CN113395531B - 播放切换方法、装置、电子设备及计算机可读存储介质 - Google Patents

播放切换方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113395531B
CN113395531B CN202110530342.4A CN202110530342A CN113395531B CN 113395531 B CN113395531 B CN 113395531B CN 202110530342 A CN202110530342 A CN 202110530342A CN 113395531 B CN113395531 B CN 113395531B
Authority
CN
China
Prior art keywords
audio
video stream
application software
real
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110530342.4A
Other languages
English (en)
Other versions
CN113395531A (zh
Inventor
苏庆辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202110530342.4A priority Critical patent/CN113395531B/zh
Publication of CN113395531A publication Critical patent/CN113395531A/zh
Application granted granted Critical
Publication of CN113395531B publication Critical patent/CN113395531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种播放切换方法、装置、电子设备及计算机可读存储介质，播放切换方法包括：响应于获取到将应用软件切换至系统的后台的第一切换指令，在后台保活应用软件并通过应用软件实时采集音频数据；将音频数据生成音频流；获取到预设图像，将预设图像生成第一视频流；将音频流和第一视频流合成第一音视频流，并通过应用软件对第一音视频流进行直播。上述方案，能够在应用软件切换至系统的后台时保持音视频流播放的连续性。

Description

播放切换方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及音视频数据处理技术领域，特别是涉及一种播放切换方法、装置、电子设备及计算机可读存储介质。
背景技术
随着智能终端的普及，基于手机、平板、电脑等各种智能设备进行互动的交流平台迅速发展，以网络直播为例，当主播开播后，观众可在直播列表中查找到主播，并点击对应的直播间从而获取音视频流进行观看。
现有技术中，当直播用的应用软件切换至系统的后台后，直播间的音视频流随即会发生断流，观众不知道主播侧发生了什么事情，且在断流后观众在直播列表中也无法查找到主播，进而观众会以为主播中止了直播便离开直播间，而实际上主播可能只是去暂时操作了其他应用软件却因此流失了观众。有鉴于此，如何在应用软件切换至系统的后台时保持音视频流播放的连续性成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种播放切换方法、装置、电子设备及计算机可读存储介质，能够在应用软件切换至系统的后台时保持音视频流播放的连续性。
为解决上述技术问题，本申请第一方面提供一种播放切换方法，所述播放切换方法包括：响应于获取到将应用软件切换至系统的后台的第一切换指令，在后台保活所述应用软件并通过所述应用软件实时采集音频数据；将所述音频数据生成音频流；获取到预设图像，将所述预设图像生成第一视频流；将所述音频流和所述第一视频流合成第一音视频流，并通过应用软件对所述第一音视频流进行直播。
为解决上述技术问题，本申请第一方面提供一种播放切换装置，所述播放切换装置包括：切换模块，用于响应于获取到将应用软件切换至系统的后台的第一切换指令，在后台保活所述应用软件并通过所述应用软件实时采集音频数据；生成模块，用于将所述音频数据生成音频流；编码模块，用于获取预设图像，将所述预设图像生成第一视频流；合成模块，用于将所述音频流和所述第一视频流合成第一音视频流，并通过应用软件对所述第一音视频流进行直播。
为解决上述技术问题，本申请第三方面提供一种电子设备，包括相互耦接的存储器和处理器，其中，所述存储器存储有程序指令，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面的播放切换方法。
为解决上述技术问题，本申请第四方面提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现上述第一方面的播放切换方法。
本申请的有益效果是：本申请在应用软件切换至系统的后台后，将应用软件在系统的后台保活，以使应用软件实时采集音频数据，将音频数据生成音频流，并获取预设图像，将预设图像生成第一视频流，进而将音频流和第一视频流合成为第一音视频流，以使应用软件在系统的后台保活时仍能通过应用软件对第一音视频流进行直播，从而在应用软件切换至系统的后台时，保持音视频流播放的连续性，进而保持开播状态使新观众在直播列表中能够查找到主播，已进入直播间的观众能够不间断地获取音视频流，减少观众的流失。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请播放切换方法一实施例的流程示意图；
图2是本申请播放切换方法另一实施例的流程示意图；
图3是本申请播放切换装置一实施例的框架示意图；
图4是本申请播放切换装置另一实施例的框架示意图；
图5是本申请电子设备一实施例的框架示意图；
图6是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请播放切换方法一实施例的流程示意图。
具体而言，可以包括如下步骤：
S101：响应于获取到将应用软件切换至系统的后台的第一切换指令，在后台保活应用软件并通过应用软件实时采集音频数据。
具体地，主播通过应用软件进行直播时将应用软件切换至系统的后台，则生成第一切换指令，获取到第一切换指令后，在系统的后台将应用软件保活，并通过应用软件实时采集主播侧产生的音频数据。
在一应用方式中，应用软件中预先设置有音频采集选项，当用户开启应用软件进行直播时，则音频采集选项自动开启以使应用软件与麦克风建立连接关系，当应用软件在系统的前台时，应用软件能够直接采集到主播通过麦克风输入的音频数据。当主播将应用软件切换至系统的后台时，生成第一切换指令，响应于第一切换指令，应用软件在系统的后台保活，并继续通过应用软件采集主播通过麦克风输入的音频数据。
S102：将音频数据生成音频流。
具体地，将音频数据与系统时间对应并实时推送至服务器，以使服务器端接收到的音频流不断流。
在一应用方式中，响应于获取到启用静音模式的静音指令，将应用软件实时采集的音频数据丢弃，并获取预设音频数据将预设音频数据生成音频流。
具体地，当获取到启用静音模式的静音指令后，将应用软件实时采集的音频数据丢弃，以使主播通过麦克风输入的音频数据被删除，进而将预设音频数据与系统时间对应，以生成音频流实时推送至服务器。其中，预设音频数据可以是静音音频也可以是音乐音频，进而在主播需要进行私密语音通话时保护主播的隐私，并保证音频流的连续性。
在一应用场景中，若用户在将应用软件切换至系统的后台前选择了启用静音模式，则生成静音指令，基于静音指令将应用软件实时采集的音频数据丢弃，进而获取预设的静音音频与系统时间对应并实时推送至服务器，以使服务器端接收到的音频流不断流，同时保护主播的隐私。
可以理解的是，若主播将应用软件切换至系统的前台并关闭静音模式，则应用软件实时采集音频数据并生成音频流。
S103：获取到预设图像，将预设图像生成第一视频流。
具体地，获取到预设图像，对预设图像进行编码并与系统时间对应以使预设图像生成第一视频流，将第一视频流实时推送至服务器，以使服务器端接收到的视频流不断流。
在一应用方式中，获取预设的一张静态图像，将静态图像作为关键帧并对静态图像进行编码，以生成第一视频数据，将第一视频数据与系统时间对应，从而获得第一视频流。
S104：将音频流和第一视频流合成第一音视频流，并通过应用软件对第一音视频流进行直播。
具体地，将音频流和第一视频流按照系统时间对齐合成，以获得第一音视频流，进而藉由应用软件对第一音视频流进行直播，以使正在直播间内收看直播的观众在主播将应用软件切换至系统的后台保活时，依然能够实时获取到音视频流，从而保证音视频流的连续性，对于还未进入直播间的观众也能在直播列表中查找到已经开播的主播，避免因主播将应用软件切换至系统的后台使得音视频流断流，以致已经开播的主播也无法在直播列表中查找到，提高主播拉新和保留观众的概率。
上述方案，在应用软件切换至系统的后台后，将应用软件在系统的后台保活，以使应用软件实时采集音频数据，将音频数据生成音频流，并获取预设图像，将预设图像生成第一视频流，进而将音频流和第一视频流合成为第一音视频流，以使应用软件在系统的后台保活时仍能通过应用软件对第一音视频流进行直播，从而在应用软件切换至系统的后台时，保持音视频流播放的连续性，进而保持开播状态使新观众在直播列表中能够查找到主播，已进入直播间的观众能够不间断地获取音视频流，减少观众的流失。
请参阅图2，图2是本申请播放切换方法另一实施例的流程示意图。
具体而言，可以包括如下步骤：
S201：响应于获取到将应用软件切换至系统的后台的第一切换指令，在后台保活应用软件并通过应用软件实时采集音频数据。
具体地，应用软件实时采集主播通过麦克风输入的音频数据，当主播将直播用的应用软件切换至系统的后台，生成第一切换指令，基于第一切换指令将应用软件在系统的后台保活，并通过应用软件继续实时采集主播通过麦克风输入的音频数据。
S202：获取到第一切换指令及第一切换指令对应的第一时间戳。
具体地，当获取到第一切换指令后，应用软件切换至系统的后台进而系统会关闭摄像机采集实时图像的功能，记录获取到第一切换指令时的时间戳，记为第一时间戳，其中，第一时间戳为应用软件进行切换时的时间临界点，通过记录第一时间戳从而确定按照新的规则生成音视频流的起点，以便于将音频流和视频流对齐合成，提高合成的准确率。
进一步地，在获取到第一切换指令后，清空当前缓存的图像数据并清空渲染队列，以便将原先实时直播的内容清除，按照应用软件切换至系统的后台后的策略进行直播。
S203：基于第一时间戳和系统的时间戳递增量生成实时时间戳，将实时时间戳与应用软件实时采集的音频数据对应，以获得音频流。
具体地，从第一时间戳开始根据系统的时间戳增量，生成实时时间戳，将实时时间戳与应用软件实时采集的音频数据进行对应，并实时推送至服务器端，以获得实时的音频流。通过实时时间戳将实时采集到的音频数据与实时的时间匹配对应。
S204：获取到预设图像，将预设图像进行编码以获得第一视频数据。
具体地，获取到预设图像，将预设图像作为视频数据中的关键帧进而编码以生成第一视频数据。
在一应用方式中，获取预设的多张静态图像，将每张静态图像作为关键帧并对多张静态图像分别进行编码，以获得各静态图像之间的差异帧，将关键帧和差异帧结合以生成第一视频数据。
S205：将实时时间戳与第一视频数据对应，以获得第一视频流。
具体地，将实时时间戳与第一视频数据进行对应，并实时推送至服务器端，以获得实时的第一视频流。其中，实时时间戳以第一时间戳为起点，保证了应用软件切在系统的前台和系统的后台之间进行切换时，实时时间戳能够单调连续递增。
进一步地，通过实时时间戳将第一视频流和音频流与实时的时间匹配对应，进而第一视频流和音频流的时间能够根据实时时间戳准确地匹配对应。
S206：将音频流和第一视频流按照实时时间戳对齐合成，以获得第一音视频流，并通过应用软件对第一音视频流进行直播。
具体地，将音频流与第一视频流按照实时时间戳对齐的方式进行合成，以获得第一音视频流，进而通过应用软件对第一音视频流进行直播以使第一音视频流推送至观众端的屏幕上。
在一应用方式中，在服务器端将音频流和第一视频流中同一实时时间戳的部分进行对齐合成，以获得第一音视频流，进而将第一音视频流推送给观众端的应用软件，以使主播侧的应用软件切换至系统的后台后，观众仍能连续地获取到音视频流。避免发生因应用软件切换至系统的后台后摄像机不再采集实时图像，以致没有视频流与音频流对齐合成进而直播断流的情况。
可选地，将音频流和第一视频流按照实时时间戳对齐合成，以获得第一音视频流，并通过应用软件对第一音视频流进行直播的步骤之后，还包括：响应于实时时间戳与第一时间戳的差值超出预设阈值，在第一音视频流中插入预设字符以使应用软件对第一音视频流进行直播。
在一应用方式中，当主播将应用软件切换至系统的后台时便开始计算当前的实时时间戳与第一时间戳的差值，当差值超出预设阈值，也即应用软件在系统的后台的时间超出预设阈值后，通过信令广播发布预设字符以通知直播间观众主播没有终止直播，在本应用方式中，预设字符为：主播貌似离开了，请不要走开。在其他应用方式中，预设字符也可由主播或开发人员自定义设置，在此不一一举例。
具体地，当主播将应用软件切换至系统的后台比如回复私信聊天时，回复时间是相对较短暂的，若主播在较短的时间间隔内便恢复正常直播，则在此期间推送第一音视频流的时间也相对短暂，无需对观众进行提醒和强调，以免观众认为主播会离开很长时间，当主播将应用软件切换至系统的后台的时间超出预设阈值，则对观众进行提醒，以免观众认为主播已终止了当前的直播，提高直播间内观众的观看体验并提高主播留存观众的概率。
在一具体应用场景中，当主播将应用软件切换至系统的后台的时间超出5分钟后，通过信令广播发布预设字符以通知直播间的观众主播没有终止直播，并提示主播已将应用软件切换至系统的后台的时间超过5分钟，以便主播尽快恢复正常直播。
进一步地，将音频流和第一视频流合成第一音视频流，并通过应用软件对第一音视频流进行直播的步骤之后，还包括：响应于接收到将应用软件切换至系统的前台的第二切换指令，获取摄像机采集的实时图像；将实时图像进行编码以获得第二视频数据；将实时时间戳与第二视频数据对应，以获得第二视频流；将音频流和第二视频流按照实时时间戳对齐合成，以获得第二音视频流，并通过应用软件对第二音视频流进行直播。
具体地，当用户将应用软件切换回系统的前台时，生成第二切换指令，响应于第二切换指令，开启摄像机以采集实时图像，将实时图像按照预设编码规则进行编码以获得第二视频数据，将实时时间戳与第二视频数据对应从而获得第二视频流，应用软件切换回系统的前台后继续实时采集音频数据并生成音频流。
进一步地，将音频流与第二视频流按照实时时间戳对齐的方式进行合成，以获得第二音视频流，进而通过应用软件对第二音视频流进行直播以使第二音视频流被推送至观众端的屏幕上，从而在应用软件在系统的前台和后台进行切换时保持音视频流的连续性。
在一应用方式中，获取到第二切换指令，记录获取到第二切换指令对应的第二时间戳，基于第二时间戳和系统的时间戳递增量以更新实时时间戳，将实时时间戳与应用软件实时采集的音频数据对应，以获得音频流，获取到摄像机采集的实时图像，将实时图像进行编码并与实时时间戳对应，以获得第二视频流，将音频流和第二视频流按照实时时间戳对齐的方式进行合成，以获得第二音视频流，从而保证直播时音视频流不断流。
优选地，预设图像的分辨率与实时图像的分辨率相同。由于主播会将应用软件在系统的前台和后台之间进行来回切换，进而用于生成视频流的原始图像会在预设图像和实时图像之间进行切换，为保证从摄像机拍摄的实时图像切换到预设图像，以及从预设图像切换回摄像机拍摄的实时图像的过程中所花费的时间尽量少，以使观众端观看直播时不易察觉到卡顿，通过将预设图像与实时图像设置成相同的分辨率，进而在对预设图像或实时图像进行编码时可以采用相同的编码规则，尽可能减少切换过程中额外的时间消耗，提高音视频流的延续性和流畅性。
在本实施例中，通过实时时间戳来将音频流和第一视频流或第二视频流对应合成，以获得音视频流从而保证音视频流的连续性，其中第一视频流基于预设图像编码而生成，第二视频流基于实时图像编码而生成，预设图像与实时图像的分辨率相同，可有效减少应用软件在系统的前台和后台之间切换时因图像编码导致的额外的时间消耗。
请参阅图3，图3是本申请播放切换装置一实施例的框架示意图。播放切换装置30包括：切换模块300、生成模块302、编码模块304和合成模块306。切换模块300用于响应于获取到将应用软件切换至系统的后台的第一切换指令，在后台保活应用软件并通过应用软件实时采集音频数据；生成模块302用于将音频数据生成音频流；编码模块304用于获取预设图像，将预设图像生成第一视频流；合成模块306用于将音频流和第一视频流合成第一音视频流，并通过应用软件对第一音视频流进行直播。
上述方案，在应用软件切换至系统的后台后，切换模块300将应用软件在系统的后台保活，以使应用软件实时采集音频数据，生成模块302将音频数据生成音频流，并获取预设图像，编码模块304将预设图像生成第一视频流，进而合成模块306将音频流和第一视频流合成为第一音视频流，以使应用软件在系统的后台保活时仍能通过应用软件对第一音视频流进行直播，从而在应用软件切换至系统的后台时，保持音视频流播放的连续性，进而保持开播状态使新观众在直播列表中能够查找到主播，已进入直播间的观众能够不间断地获取音视频流，减少观众的流失。
在一些实施例中，生成模块302还可以用于：获取到第一切换指令及第一切换指令对应的第一时间戳；基于第一时间戳和系统的时间戳递增量生成实时时间戳，将实时时间戳与应用软件实时采集的音频数据对应，以获得音频流。
在一些实施例中，编码模块304还可以用于：获取到预设图像，将预设图像进行编码以获得第一视频数据；将实时时间戳与第一视频数据对应，以获得第一视频流。
在一些实施例中，合成模块306还可以用于：将音频流和第一视频流按照实时时间戳对齐合成，以获得第一音视频流，并通过应用软件对第一音视频流进行直播。
在一些实施例中，切换模块300还可以用于：响应于接收到将应用软件切换至系统的前台的第二切换指令，获取摄像机采集的实时图像；编码模块304还可以用于：将实时图像进行编码以获得第二视频数据；将实时时间戳与第二视频数据对应，以获得第二视频流；合成模块306还可以用于：将音频流和第二视频流按照实时时间戳对齐合成，以获得第二音视频流，并通过应用软件对第二音视频流进行直播。
请参阅图4，图4是本申请播放切换装置另一实施例的框架示意图。播放切换装置40除切换模块300、生成模块302、编码模块304和合成模块306，还包括：插入模块308和筛选模块310。其中，插入模块308用于响应于实时时间戳与第一时间戳的差值超出预设阈值，在第一音视频流中插入预设字符以使应用软件对第一音视频流进行直播；筛选模块310用于响应于获取到启用静音模式的静音指令，将应用软件实时采集的音频数据丢弃，并获取预设音频数据以使生成模块302利用预设音频数据生成音频流。
上述方案，通过插入模块308在主播将应用软件切换至系统的后台的时间超过预设阈值后插入预设字符对观众进行提醒，以提高保留观众的概率，通过筛选模块310在主播启用静音模式时，将应用软件实时采集的音频数据丢弃，以保护主播的隐私。
请参阅图5，图5是本申请电子设备一实施例的框架示意图。电子设备50包括相互耦接的存储器501和处理器502，存储器501存储有程序指令，处理器502用于执行存储器501中存储的程序指令，以实现上述任一播放切换方法实施例的步骤。
具体而言，处理器502用于控制其自身以及存储器501以实现上述任一播放切换方法实施例的步骤。处理器502还可以称为CPU(Central Processing Unit，中央处理单元)。处理器502可能是一种集成电路芯片，具有信号的处理能力。处理器502还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器502可以由集成电路芯片共同实现。
上述方案，处理器502在应用软件切换至系统的后台后获取预设图像，将预设图像编码生成第一视频流，并与音频流合成以获得第一音视频流，能够在应用软件切换至系统的后台时保持音视频流播放的连续性。
请参阅图6，图6是本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令600，程序指令600用于实现上述任一播放切换方法实施例的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (6)

1.一种播放切换方法，其特征在于，包括：
响应于获取到将应用软件切换至系统的后台的第一切换指令，在后台保活所述应用软件并通过所述应用软件实时采集音频数据；
将所述音频数据生成音频流；
获取到预设图像，将所述预设图像生成第一视频流；
将所述音频流和所述第一视频流合成第一音视频流，并通过应用软件对所述第一音视频流进行直播；
所述将所述音频数据生成音频流的步骤，包括：获取到所述第一切换指令及所述第一切换指令对应的第一时间戳；其中，所述第一时间戳为所述应用软件进行切换时的时间临界点；基于所述第一时间戳和所述系统的时间戳递增量生成实时时间戳，将所述实时时间戳与所述应用软件实时采集的所述音频数据对应，以获得所述音频流；
所述获取到预设图像，将所述预设图像生成第一视频流的步骤，包括：获取到所述预设图像，将所述预设图像进行编码以获得第一视频数据；将所述实时时间戳与所述第一视频数据对应，以获得所述第一视频流；其中，所述预设图像包括预设的一张或多张静态图像，所述第一视频数据对应的实时时间戳以所述第一时间戳为起点；
所述将所述音频流和所述第一视频流合成第一音视频流，并通过应用软件对所述第一音视频流进行直播的步骤，包括：将所述音频流和所述第一视频流按照所述实时时间戳对齐合成，以获得所述第一音视频流，并通过所述应用软件对所述第一音视频流进行直播；
所述将所述音频流和所述第一视频流合成第一音视频流，并通过应用软件对所述第一音视频流进行直播的步骤之后，还包括：响应于接收到将所述应用软件切换至系统的前台的第二切换指令，获取摄像机采集的实时图像；将所述实时图像进行编码以获得第二视频数据；将所述实时时间戳与所述第二视频数据对应，以获得第二视频流；将所述音频流和所述第二视频流按照所述实时时间戳对齐合成，以获得第二音视频流，并通过所述应用软件对所述第二音视频流进行直播；其中，所述预设图像的分辨率与所述实时图像的分辨率相同。
2.根据权利要求1所述的播放切换方法，其特征在于，所述将所述音频流和所述第一视频流按照所述实时时间戳对齐合成，以获得所述第一音视频流，并通过所述应用软件对所述第一音视频流进行直播的步骤之后，还包括：
响应于所述实时时间戳与所述第一时间戳的差值超出预设阈值，在所述第一音视频流中插入预设字符以使所述应用软件对所述第一音视频流进行直播。
3.根据权利要求1所述的播放切换方法，其特征在于，所述响应于获取到将应用软件切换至系统的后台的第一切换指令，在后台保活所述应用软件并通过所述应用软件实时采集音频数据的步骤之后，还包括：
响应于获取到启用静音模式的静音指令，将所述应用软件实时采集的所述音频数据丢弃，并获取预设音频数据进入将所述音频数据生成音频流的步骤。
4.一种播放切换装置，其特征在于，包括：
切换模块，用于响应于获取到将应用软件切换至系统的后台的第一切换指令，在后台保活所述应用软件并通过所述应用软件实时采集音频数据；
生成模块，用于将所述音频数据生成音频流；
编码模块，用于获取预设图像，将所述预设图像生成第一视频流；
合成模块，用于将所述音频流和所述第一视频流合成第一音视频流，并通过应用软件对所述第一音视频流进行直播；
所述生成模块还用于获取到所述第一切换指令及所述第一切换指令对应的第一时间戳；基于所述第一时间戳和所述系统的时间戳递增量生成实时时间戳，将所述实时时间戳与所述应用软件实时采集的所述音频数据对应，以获得所述音频流；其中，所述第一时间戳为所述应用软件进行切换时的时间临界点；
所述编码模块还用于获取到所述预设图像，将所述预设图像进行编码以获得第一视频数据；将所述实时时间戳与所述第一视频数据对应，以获得所述第一视频流；其中，所述预设图像包括预设的一张或多张静态图像，所述第一视频数据对应的实时时间戳以所述第一时间戳为起点；
所述合成模块还用于将所述音频流和所述第一视频流按照所述实时时间戳对齐合成，以获得所述第一音视频流，并通过所述应用软件对所述第一音视频流进行直播；
所述切换模块还用于响应于接收到将所述应用软件切换至系统的前台的第二切换指令，获取摄像机采集的实时图像；所述编码模块还用于将所述实时图像进行编码以获得第二视频数据；将所述实时时间戳与所述第二视频数据对应，以获得第二视频流；所述合成模块还用于将所述音频流和所述第二视频流按照所述实时时间戳对齐合成，以获得第二音视频流，并通过所述应用软件对所述第二音视频流进行直播；其中，所述预设图像的分辨率与所述实时图像的分辨率相同。
5.一种电子设备，其特征在于，包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序指令，所述处理器调用所述程序指令以执行如权利要求1-3中任一项所述的方法。
6.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现如权利要求1-3中任一项所述的方法。
CN202110530342.4A 2021-05-14 2021-05-14 播放切换方法、装置、电子设备及计算机可读存储介质 Active CN113395531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110530342.4A CN113395531B (zh) 2021-05-14 2021-05-14 播放切换方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110530342.4A CN113395531B (zh) 2021-05-14 2021-05-14 播放切换方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113395531A CN113395531A (zh) 2021-09-14
CN113395531B true CN113395531B (zh) 2023-08-11

Family

ID=77617131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110530342.4A Active CN113395531B (zh) 2021-05-14 2021-05-14 播放切换方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113395531B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117389507B (zh) * 2023-12-12 2024-05-10 荣耀终端有限公司 音频数据处理方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007527A (zh) * 2015-08-05 2015-10-28 腾讯科技（深圳）有限公司 数据直播方法及装置
CN108259989A (zh) * 2018-01-19 2018-07-06 广州华多网络科技有限公司 视频直播的方法、计算机可读存储介质和终端设备
CN109089130A (zh) * 2018-09-18 2018-12-25 网宿科技股份有限公司 一种调整直播视频的时间戳的方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348337A (ja) * 2003-05-21 2004-12-09 Minolta Co Ltd ネットワーク情報処理装置
JP5236720B2 (ja) * 2010-12-13 2013-07-17 シャープ株式会社 情報処理装置、画像出力システム、画像出力システムの画像出力支援装置、プログラム及び記録媒体
US9154834B2 (en) * 2012-11-06 2015-10-06 Broadcom Corporation Fast switching of synchronized media using time-stamp management
CN107027050B (zh) * 2017-04-13 2020-11-20 广州华多网络科技有限公司 辅助直播的音视频处理方法及装置
US10477286B2 (en) * 2017-06-19 2019-11-12 Wangsu Science & Technology Co., Ltd. Streaming media file processing method and live streaming system
CN108769721A (zh) * 2018-05-23 2018-11-06 福建掌搜科技有限公司 一种直播场景智能切换系统及其方法
CN111857919A (zh) * 2020-07-16 2020-10-30 北京字节跳动网络技术有限公司 一种视频处理方法、装置、终端设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007527A (zh) * 2015-08-05 2015-10-28 腾讯科技（深圳）有限公司 数据直播方法及装置
CN108259989A (zh) * 2018-01-19 2018-07-06 广州华多网络科技有限公司 视频直播的方法、计算机可读存储介质和终端设备
CN109089130A (zh) * 2018-09-18 2018-12-25 网宿科技股份有限公司 一种调整直播视频的时间戳的方法和装置

Also Published As

Publication number Publication date
CN113395531A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
EP3562163B1 (en) Audio-video synthesis method and system
CN107483460B (zh) 一种多平台并行导播推流的方法及系统
CN110784718B (zh) 视频数据编码方法、装置、设备和存储介质
CN110505522A (zh) 视频数据的处理方法、装置、及电子设备
KR20150014722A (ko) 스크린 샷을 제공하는 장치 및 시스템, 그리고 방법
CN112752109B (zh) 视频播放控制方法和系统
CN113225585B (zh) 一种视频清晰度的切换方法、装置、电子设备以及存储介质
EP1185105A2 (en) Method and system for providing and transmitting alternative video data during interruptions in video transmission
CN113630614A (zh) 游戏直播方法、装置、系统、电子设备及可读存储介质
US11438645B2 (en) Media information processing method, related device, and computer storage medium
US8675140B2 (en) Playback apparatus for playing back hierarchically-encoded video image data, method for controlling the playback apparatus, and storage medium
CN114189711A (zh) 视频处理方法和装置、电子设备、存储介质
CN110784757A (zh) 直播客户端中的游戏直播方法及装置、介质、电子设备
CN110996122A (zh) 视频帧传输方法、装置、计算机设备及存储介质
CN113395531B (zh) 播放切换方法、装置、电子设备及计算机可读存储介质
CN109040818B (zh) 直播时的音视频同步方法、存储介质、电子设备及系统
CN107231564B (zh) 一种视频直播方法、直播系统和直播服务器
CN112087642A (zh) 云导播播放方法、云导播服务器及远程管理终端
CN111629223A (zh) 视频同步方法及装置、计算机可读存储介质以及电子设备
JP7338075B2 (ja) ビデオブロック化方法、伝送方法、サーバー、アダプタ及び記憶媒体
CN111083511A (zh) 视频传输方法及装置
CN113259762B (zh) 音频处理方法及装置、电子设备和计算机可读存储介质
CN114245153A (zh) 切片方法、装置、设备及可读存储介质
CN107493478B (zh) 编码帧率设置方法及设备
CN109862385B (zh) 直播的方法、装置、计算机可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant