CN109218849B - 一种直播数据的处理方法、装置、设备和存储介质 - Google Patents

一种直播数据的处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN109218849B
CN109218849B CN201811279759.2A CN201811279759A CN109218849B CN 109218849 B CN109218849 B CN 109218849B CN 201811279759 A CN201811279759 A CN 201811279759A CN 109218849 B CN109218849 B CN 109218849B
Authority
CN
China
Prior art keywords
live
stream
audio
data
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811279759.2A
Other languages
English (en)
Other versions
CN109218849A (zh
Inventor
陈理君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN201811279759.2A priority Critical patent/CN109218849B/zh
Publication of CN109218849A publication Critical patent/CN109218849A/zh
Application granted granted Critical
Publication of CN109218849B publication Critical patent/CN109218849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Abstract

本发明实施例公开了一种直播数据的处理方法、装置、设备和存储介质。该方法通过获取主播端上传的直播数据，其中，所述直播数据包括同时录制同一直播内容对应的直播视频流和无损音频流；在播放所述直播视频流时，屏蔽所述直播视频流中的音频流，并将所述无损音频流作为所述直播视频流的音频输出，解决因采用有损的方式对原始视频内容进行压缩而带来的原始视频内容中的音频质量下降的问题，实现提高直播视频的音频质量，以提高观众数量、点击率、平均在线时长以及观看时长的效果。

Description

一种直播数据的处理方法、装置、设备和存储介质
技术领域
本发明实施例涉及互联网技术，尤其涉及一种直播数据的处理方法、装置、设备和存储介质。
背景技术
网络直播平台向用户实时推送的直播视频流，都是由主播端录制的原始视频内容压缩得到。而为了节省流量，通常采用有损的方式对原始视频内容进行压缩，这就导致了原始视频内容中的视频和音频都存在质量下降的情况。而对于一些对音频质量较为注重的直播视频内容，如以歌唱为主的直播视频内容，音频质量的下降，不利于提高观众数量、点击率、平均在线时长以及观看时长等。
发明内容
本发明提供一种直播数据的处理方法、装置、设备和存储介质，以实现提高直播视频的音频质量，以提高观众数量、点击率、平均在线时长以及观看时长。
第一方面，本发明实施例提供了一种直播数据的处理方法，该方法包括：
获取主播端上传的直播数据，其中，所述直播数据包括同时录制同一直播内容对应的直播视频流和无损音频流；
在播放所述直播视频流时，屏蔽所述直播视频流中的音频流，并将所述无损音频流作为所述直播视频流的音频输出。
进一步的，在播放所述直播视频流时，屏蔽所述直播视频流中的音频流，并将所述无损音频流作为所述直播视频流的音频输出，包括：
播放从所述直播视频流提取的图像流，屏蔽所述直播视频流中的音频流；
获取播放中的所述图像流对应的第一时间戳；
根据所述第一时间戳确定对应的所述无损音频流；
将所述无损音频流作为所述直播视频流的音频输出。
进一步的，根据所述第一时间戳确定对应的所述无损音频流，包括：
将所述无损音频流进行解压缩，得到标记有第二时间戳的脉冲编码调制音频数据；
根据所述第一时间戳与所述第二时间戳的对比关系，确定所述第一时间戳对应的脉冲编码调制音频数据；
将所述无损音频流作为所述直播视频流的音频输出，包括：
将所述脉冲编码调制音频数据进行解码播放。
可选的，所述屏蔽所述直播视频流中的音频流包括：
将所述直播视频流中的音频流设置为预设音量。
可选的，所述屏蔽所述直播视频流中的音频流，包括：
不从所述直播视频流中提取音频流。
第二方面，本发明实施例提供了一种直播数据的处理方法，该方法包括：
同时录制同一直播内容对应的直播视频流和无损音频流；
将所述直播视频流和无损音频流作为直播数据上传。
进一步的，同时录制同一直播内容对应的直播视频流和无损音频流，包括：
同时录制同一直播内容对应的图像数据和脉冲编码调制音频数据；
将同一所述脉冲编码调制音频数据进行分流处理，得到无损音频流和有损音频流；
根据所述有损音频流和图像数据，生成直播视频流。
第三方面，本发明实施例提供了一种直播数据的处理装置，该装置包括：
直播数据获取模块，用于获取主播端上传的直播数据，其中，所述直播数据包括同时录制同一直播内容对应的直播视频流和无损音频流；
播放模块，用于在播放所述直播视频流时，屏蔽所述直播视频流中的音频流，并将所述无损音频流作为所述直播视频流的音频输出。
第四方面，本发明实施例提供了一种直播数据的处理装置，该装置包括：
录制模块，用于同时录制同一直播内容对应的直播视频流和无损音频流；
上传模块，用于将所述直播视频流和无损音频流作为直播数据上传。
第五方面，本发明实施例提供了一种直播数据的处理设备，该设备包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面和第二方面中任一所述的直播数据的处理方法。
第六方面，本发明实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面和第二方面中任一所述的直播数据的处理方法。
本发明实施例通过获取主播端上传的直播数据，其中，所述直播数据包括同时录制同一直播内容对应的直播视频流和无损音频流；在播放所述直播视频流时，屏蔽所述直播视频流中的音频流，并将所述无损音频流作为所述直播视频流的音频输出，解决因采用有损的方式对原始视频内容进行压缩而带来的原始视频内容中的音频质量下降的问题，实现提高直播视频的音频质量，以提高观众数量、点击率、平均在线时长以及观看时长的效果。
附图说明
图1为本发明实施例一提供的一种直播数据的处理方法的流程图；
图2为本发明实施例二提供的一种直播数据的处理方法的流程图；
图3为本发明实施例三提供的一种直播数据的处理方法的流程图；
图4为本发明实施例四提供的一种直播数据的处理方法的流程图；
图5为本发明实施例五提供的一种直播数据的处理装置的结构示意图；
图6为本发明实施例六提供的一种直播数据的处理装置的结构示意图；
图7为本发明实施例七提供的一种直播数据的处理设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种直播数据的处理方法的流程图，本实施例可适用于直播平台进行直播数据处理的情况，具体的，应用于对直播数据中音频流的处理。该方法可以由直播数据的处理设备来执行。本实施例对直播数据的处理设备的具体实现形式不作限定，可以是电脑、手机和平板等终端设备，该直播数据的处理设备可以使用直播平台提供的客户端，该客户端可以是手机应用或者是网页应用。观众可以通过该客户端观看直播平台上的直播内容，该直播内容由主播录制并实时上传至直播平台。该方法具体包括如下步骤：
S110、获取主播端上传的直播数据，其中，所述直播数据包括同时录制同一直播内容对应的直播视频流和无损音频流。
本实施例中，主播端主要用于同时录制同一直播内容对应的直播视频流和无损音频流，并将所述直播视频流和无损音频流作为直播数据上传。该主播端可以由直播平台提供，以供主播下载使用。
本实施例中，直播视频流可以通过摄像头配合麦克风进行录制，无损音频流可以通过麦克风录制。直播视频流和无损音频流可以通过同一麦克风录制，麦克风录制的音频数据通过分流处理，作为直播视频流中的音频流和无损音频流。由于在录制直播视频流时，需要对直播视频流进行有损压缩以节省直播视频流上传和下载的流量，减少直播平台中服务器的压力，但同时也降低了直播视频流中的音频流的音频质量。本实施例通过在主播端另外上传一条无损音频流以解决直播视频流中的音频流的音频质量降低的问题。
进一步的，本实施例对主播端上传的直播数据的获取方式，和直播数据的上传方式均不作限定。
在一实施例中，主播端将直播视频流和无损音频流打包，以生成直播数据后上传至直播平台。客户端从直播平台中获取主播端上传的直播数据，并从直播数据解析出直播视频流和无损音频流。
在一实施例中，主播端将直播视频流和无损音频流分别上传至直播平台。客户端从直播平台中获取主播端上传的直播视频流和无损音频流。
需要说明的是，由于直播视频流和无损音频流是对同一直播内容的同时录制，直播视频流和无损音频流一一对应。
S120、在播放所述直播视频流时，屏蔽所述直播视频流中的音频流，并将所述无损音频流作为所述直播视频流的音频输出。
本实施例中，在播放直播视频流的同时，屏蔽所述直播视频流中的音频流，并拉取直播视频流对应的无损音频流进行播放，替代直播视频流中音频流的播放，从而达到将无损音频流作为直播视频流的音频输出的效果。
本实施例中，对如何屏蔽所述直播视频流中的音频流不作限定。
在一实施例中，只从直播视频流提取图像流，但不从直播视频流中提取音频流，以节省计算机的计算资源，减少声卡处理音频流的复杂度。
在一实施例中，将所述直播视频流中的音频流设置为预设音量。该预设音量可以设置为零，即静音，以减少对直播视频流播放流程的更改，减少开发人员的工作量，增加实现直播视频流播放功能的代码框架的兼容性。
本实施例的技术方案，通过获取主播端上传的直播数据，其中，所述直播数据包括同时录制同一直播内容对应的直播视频流和无损音频流；在播放所述直播视频流时，屏蔽所述直播视频流中的音频流，并将所述无损音频流作为所述直播视频流的音频输出，解决因采用有损的方式对原始视频内容进行压缩而带来的原始视频内容中的音频质量下降的问题，实现提高直播视频的音频质量，以提高观众数量、点击率、平均在线时长以及观看时长的效果。
实施例二
图2为本发明实施例二提供的一种直播数据的处理方法的流程图，本实施例在上述实施例的基础上进一步细化，该直播数据的处理方法具体包括如下步骤：
S210、获取主播端上传的直播数据，其中，所述直播数据包括同时录制同一直播内容对应的直播视频流和无损音频流。
S220、播放从所述直播视频流提取的图像流，屏蔽所述直播视频流中的音频流。
本实施例中，图像流为直播视频流中的图像帧形成的数据流，可以认为是播放直播视频流中的图像帧。
本实施例对播放从直播视频流提取的图像流时，如何屏蔽所述直播视频流中的音频流不作限定。
在一实施例中，只从直播视频流提取图像流，但不从直播视频流中提取音频流，以节省计算机的计算资源，减少声卡处理音频流的复杂度。
在一实施例中，将所述直播视频流中的音频流设置为预设音量。该预设音量可以设置为零，即静音，以减少对直播视频流播放流程的更改，减少开发人员的工作量，增加实现直播视频流播放功能的代码框架的兼容性。
S230、获取播放中的所述图像流对应的第一时间戳。
本实施例中，在图像流的播放过程中，可以确定当前直播视频流的播放时间位置，播放时间位置通过第一时间戳表示，从而可以确定播放中的图像流对应的第一时间戳。该第一时间戳可以是在直播视频流的录制过程中产生，也可以是后期添加。
在一实施例中，客户端在拉取直播视频流，通过解码等操作后得到图像流及图像流对应的第一时间戳，在图像流的播放过程中，即可确定播放中的图像流对应的第一时间戳。
S240、根据所述第一时间戳确定对应的所述无损音频流。
本实施例中，由于无损音频流和直播视频流为对同一直播内容的同时录制，可以通过第一时间戳来确定播放中的图像流对应的无损音频流。
本实施例对如何根据所述第一时间戳确定对应的所述无损音频流不作限定。
在一实施例中，步骤240可以进一步细化为步骤S241-S242：
S241、将所述无损音频流进行解压缩，得到标记有第二时间戳的脉冲编码调制音频数据。
本实施例中，对声音进行采样、量化过程被称为脉冲编码调制(Pulse CodeModulation，PCM)。脉冲编码调制音频数据是最原始的音频数据完全无损，所以脉冲编码调制音频数据虽然音质优秀但体积庞大，为了解决这个问题先后诞生了一系列的音频格式，这些音频格式运用不同的方法对音频数据进行压缩，其中有无损压缩(ALAC、APE、FLAC)和有损压缩(MP3、AAC、OGG、WMA)两种。其中，自由无损音频压缩编码(Free Lossless AudioCodec，FLAC)的特点是无损压缩，也就是说音频以FLAC编码压缩后不会丢失任何信息，将FLAC文件还原为脉冲编码调制音频数据文件后，与压缩前的脉冲编码调制音频数据内容相同。
本实施例中，脉冲编码调制音频数据由主播端通过麦克风对声音进行采样、量化得到。进一步的，一方面，脉冲编码调制音频数据通过无损压缩成无损音频流，该无损音频流的格式可以是ALAC、APE和FLAC中的一种，本实施例以无损音频流的格式为FLAC为例进行说明。另一方面的，脉冲编码调制音频数据通过有损压缩成直播视频流中的音频流。
本实施例中，由于无损音频流是由脉冲编码调制音频数据进行无损压缩得到，在对无损音频流进行播放时，还需要进行解压缩。进一步的，经过解压缩得到的脉冲编码调制音频数据，被第二时间戳所述标记，该第二时间戳可以是在无损直播流的录制过程中产生，也可以是后期添加。
S242、根据所述第一时间戳与所述第二时间戳的对比关系，确定所述第一时间戳对应的脉冲编码调制音频数据。
本实施例中，由于无损音频流和直播视频流为对同一直播内容的同时录制，第一时间戳和第二时间戳可以是一致的，而且即使二者不一致，也可以通过调整时间差的方式，使得二者一致。从而可以进一步，根据第一时间戳与第二时间戳的对比关系，确定第一时间戳对应的脉冲编码调制音频数据。
S250、将所述无损音频流作为所述直播视频流的音频输出。
本实施中，将无损音频流进行解压缩得到脉冲编码调制音频数据，将所述脉冲编码调制音频数据进行解码播放。由于直播视频流中的音频流被设置为不播放或者被设置为静音，可以将无损音频流作为直播视频流的音频输出。
本实施例的技术方案，通过获取主播端上传的直播数据，其中，所述直播数据包括同时录制同一直播内容对应的直播视频流和无损音频流；播放从所述直播视频流提取的图像流，屏蔽所述直播视频流中的音频流；获取播放中的所述图像流对应的第一时间戳；根据所述第一时间戳确定对应的所述无损音频流；将所述无损音频流作为所述直播视频流的音频输出，解决因采用有损的方式对原始视频内容进行压缩而带来的原始视频内容中的音频质量下降的问题，实现提高直播视频的音频质量，以提高观众数量、点击率、平均在线时长以及观看时长的效果。进一步的，通过使用第一时间戳可以实现无损音频流和直播视频流同步播放。
实施例三
图3为本发明实施例三提供的一种直播数据的处理方法的流程图，本实施例可适用于直播平台进行直播数据处理的情况，具体的，应用于对直播数据中音频流的处理。该方法可以由直播数据的处理设备来执行。本实施例对直播数据的处理设备的具体实现形式不作限定，可以是电脑、手机和平板等终端设备，该直播数据的处理设备可以使用直播平台提供的主播端，该主播端可以是手机应用或者是网页应用。主播可以通过该主播端将录制的直播内容实时上传至直播平台。该方法具体包括如下步骤：
S310、同时录制同一直播内容对应的直播视频流和无损音频流。
本实施例中，直播数据的处理设备的配备由摄像头和麦克风。直播视频流可以通过摄像头配合麦克风进行录制，无损音频流可以通过麦克风录制。
在一实施例中，主播在进行直播内容的展示时，同时打开摄像头和麦克风以进行直播视频流和无损音频流的录制。具体的，可以通过同一麦克风对音频数据进行录制，进一步的麦克风录制的音频数据(如脉冲编码调制音频数据)通过分流处理，得到无损音频流和直播视频流中的音频流。由于在录制直播视频流时，需要对直播视频流进行有损压缩以节省直播视频流上传和下载的流量，减少直播平台中服务器的压力，但同时也降低了直播视频流中的音频流的音频质量。本实施例通过在主播端录制直播视频流的同时，同时录制对应同一直播内容的无损音频流以解决直播视频流中的音频流的音频质量降低的问题。
S320、将所述直播视频流和无损音频流作为直播数据上传。
进一步的，本实施例对直播数据的上传方式均不作限定。
在一实施例中，主播端将直播视频流和无损音频流打包，以生成直播数据后上传至直播平台。
在一实施例中，主播端将直播视频流和无损音频流分别上传至直播平台。需要说明的是，由于直播视频流和无损音频流是对同一直播内容的同时录制，直播视频流和无损音频流一一对应。
本实施例的技术方案，通过同时录制同一直播内容对应的直播视频流和无损音频流；将所述直播视频流和无损音频流作为直播数据上传，解决因采用有损的方式对原始视频内容进行压缩而带来的原始视频内容中的音频质量下降的问题，实现提高直播视频的音频质量，以提高观众数量、点击率、平均在线时长以及观看时长的效果。
实施例四
图4为本发明实施例四提供的一种直播数据的处理方法的流程图，本实施例在上述实施例的基础上进一步细化，该直播数据的处理方法具体包括如下步骤：
S410、同时录制同一直播内容对应的图像数据和脉冲编码调制音频数据。
本实施例中，通过主播端配备的摄像头录制图像数据，通过麦克风录制脉冲编码调制音频数据。本实施例对摄像头和麦克风的数量和位置都不进行限定。
进一步的，在一实施例中，为图像数据打上第一时间戳，脉冲编码调制音频数据打上第二时间戳。由于图像数据和脉冲编码调制音频数据为同时录制，第一时间戳和第二时间戳可以为同一时间戳。
S420、将同一所述脉冲编码调制音频数据进行分流处理，得到无损音频流和有损音频流。
在一实施例中，主播端通过麦克风对声音进行采样、量化得到脉冲编码调制音频数据，通过摄像头获取直播视频流中的图像数据(即图像帧)。进一步的，一方面，脉冲编码调制音频数据通过无损压缩成无损音频流，该无损音频流的格式可以是ALAC、APE和FLAC中的一种，本实施例以无损音频流的格式为FLAC为例进行说明。另一方面的，脉冲编码调制音频数据通过有损压缩成有损音频流，即直播视频流中的音频流。
S430、根据所述有损音频流和图像数据，生成直播视频流。
本实施例中，将有损音频流和图像数据根据时间戳进行合成，以生成直播视频流。
S440、将所述直播视频流和无损音频流作为直播数据上传。
在一实施例中，主播端将直播视频流和无损音频流分别上传至直播平台，以避免更改原本录制和上传直播视频流的架构，增加直播平台中直播数据处理的架构的兼容性，也减少开发人员的工作量。
本实施例的技术方案，通过同时录制同一直播内容对应的图像数据和脉冲编码调制音频数据；将同一所述脉冲编码调制音频数据进行分流处理，得到无损音频流和有损音频流；根据所述有损音频流和图像数据，生成直播视频流；将所述直播视频流和无损音频流作为直播数据上传，解决因采用有损的方式对原始视频内容进行压缩而带来的原始视频内容中的音频质量下降的问题，实现提高直播视频的音频质量，以提高观众数量、点击率、平均在线时长以及观看时长的效果。进一步的，由于在直播数据的录制过程中，仅仅至少增加一条无损音频流的录制，避免更改原本录制和上传直播视频流的架构，增加直播平台中直播数据处理的架构的兼容性，也减少开发人员的工作量。
实施例五
图5为本发明实施例五提供的一种直播数据的处理装置的结构示意图，本实施例可适用于直播平台进行直播数据处理的情况，具体的，应用于对直播数据中音频流的处理。该装置可以集成于直播数据的处理设备中。本实施例对直播数据的处理设备的具体实现形式不作限定，可以是电脑、手机和平板等终端设备，该直播数据的处理设备可以使用直播平台提供的客户端，该客户端可以是手机应用或者是网页应用。观众可以通过该客户端观看直播平台上的直播内容，该直播内容由主播录制并实时上传至直播平台。该装置具体包括如下结构：直播数据获取模块510和播放模块520。
直播数据获取模块510，用于获取主播端上传的直播数据，其中，所述直播数据包括同时录制同一直播内容对应的直播视频流和无损音频流。
播放模块520，用于在播放所述直播视频流时，屏蔽所述直播视频流中的音频流，并将所述无损音频流作为所述直播视频流的音频输出。
本实施例的技术方案，通过获取主播端上传的直播数据，其中，所述直播数据包括同时录制同一直播内容对应的直播视频流和无损音频流；在播放所述直播视频流时，屏蔽所述直播视频流中的音频流，并将所述无损音频流作为所述直播视频流的音频输出，解决因采用有损的方式对原始视频内容进行压缩而带来的原始视频内容中的音频质量下降的问题，实现提高直播视频的音频质量，以提高观众数量、点击率、平均在线时长以及观看时长的效果。
在上述实施例的基础上，播放模块520包括：
图像流播放单元，用于播放从所述直播视频流提取的图像流，屏蔽所述直播视频流中的音频流。
第一时间戳获取单元，用于获取播放中的所述图像流对应的第一时间戳。
无损音频流确定单元，用于根据所述第一时间戳确定对应的所述无损音频流。
音频输出单元，用于将所述无损音频流作为所述直播视频流的音频输出。
在上述实施例的基础上，无损音频流确定单元包括：
解压缩子单元，用于将所述无损音频流进行解压缩，得到标记有第二时间戳的脉冲编码调制音频数据。
时间戳对比子单元，用于根据所述第一时间戳与所述第二时间戳的对比关系，确定所述第一时间戳对应的脉冲编码调制音频数据。
音频输出单元包括：
解码播放子单元，用于将所述脉冲编码调制音频数据进行解码播放。
在上述实施例的基础上，播放模块520，还包括：
第一屏蔽单元，用于将所述直播视频流中的音频流设置为预设音量。
在上述实施例的基础上，播放模块520，还包括：
第二屏蔽单元，用于不从所述直播视频流中提取音频流。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例六
图6为本发明实施例六提供的一种直播数据的处理装置的结构示意图，本实施例可适用于直播平台进行直播数据处理的情况，具体的，应用于对直播数据中音频流的处理。该装置可以集成于直播数据的处理设备中。本实施例对直播数据的处理设备的具体实现形式不作限定，可以是电脑、手机和平板等终端设备，该直播数据的处理设备可以使用直播平台提供的主播端，该主播端可以是手机应用或者是网页应用。主播可以通过该主播端将录制的直播内容实时上传至直播平台。该装置具体包括如下结构：录制模块610和上传模块620。
录制模块610，用于同时录制同一直播内容对应的直播视频流和无损音频流。
上传模块620，用于将所述直播视频流和无损音频流作为直播数据上传。
本实施例的技术方案，通过同时录制同一直播内容对应的直播视频流和无损音频流；将所述直播视频流和无损音频流作为直播数据上传，解决因采用有损的方式对原始视频内容进行压缩而带来的原始视频内容中的音频质量下降的问题，实现提高直播视频的音频质量，以提高观众数量、点击率、平均在线时长以及观看时长的效果。
在上述实施例的基础上，录制模块610包括：
录制单元，用于同时录制同一直播内容对应的图像数据和脉冲编码调制音频数据。
分流处理单元，用于将同一所述脉冲编码调制音频数据进行分流处理，得到无损音频流和有损音频流。
直播视频流生成单元，用于根据所述有损音频流和图像数据，生成直播视频流。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例七
图7为本发明实施例七提供的一种直播数据的处理设备的结构示意图。如图7所示，该直播数据的处理设备包括：处理器70、存储器71、输入装置72以及输出装置73。该直播数据的处理设备中处理器70的数量可以是一个或者多个，图7中以一个处理器70为例。该直播数据的处理设备中存储器71的数量可以是一个或者多个，图7中以一个存储器71为例。该直播数据的处理设备的处理器70、存储器71、输入装置72以及输出装置73可以通过总线或者其他方式连接，图7中以通过总线连接为例。本实施例对直播数据的处理设备的具体实现形式不作限定，可以是电脑、手机和平板等终端设备，该直播数据的处理设备可以使用直播平台提供的客户端或主播端，该客户端可以是手机应用或者是网页应用。主播可以通过该主播端将录制的直播内容实时上传至直播平台。观众可以通过该客户端观看直播平台上的直播内容。
存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的直播数据的处理方法对应的程序指令/模块(例如，直播数据的处理装置中的直播数据获取模块510和播放模块520；或录制模块610和上传模块620)。存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置72可用于接收输入的数字或者字符信息，以及产生与直播数据的处理设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置73可以包括扬声器等音频设备。需要说明的是，输入装置72和输出装置73的具体组成可以根据实际情况设定。
处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的直播数据的处理方法。
实施例八
本发明实施例八还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种直播数据的处理方法，包括：
获取主播端上传的直播数据，其中，所述直播数据包括同时录制同一直播内容对应的直播视频流和无损音频流；
在播放所述直播视频流时，屏蔽所述直播视频流中的音频流，并将所述无损音频流作为所述直播视频流的音频输出。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的直播数据的处理方法操作,还可以执行本发明任意实施例所提供的直播数据的处理方法中的相关操作，且具备相应的功能和有益效果。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的直播数据的处理方法。
值得注意的是，上述直播数据的处理装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种直播数据的处理方法，其特征在于，包括：
获取主播端上传的直播数据，其中，所述直播数据包括同时录制同一直播内容对应的直播视频流和无损音频流；
播放从所述直播视频流提取的图像流，屏蔽所述直播视频流中的音频流；
获取播放中的所述图像流对应的第一时间戳；
根据所述第一时间戳确定对应的所述无损音频流；
将所述无损音频流作为所述直播视频流的音频输出。
2.根据权利要求1所述的方法，其特征在于，根据所述第一时间戳确定对应的所述无损音频流，包括：
将所述无损音频流进行解压缩，得到标记有第二时间戳的脉冲编码调制音频数据；
根据所述第一时间戳与所述第二时间戳的对比关系，确定所述第一时间戳对应的脉冲编码调制音频数据；
将所述无损音频流作为所述直播视频流的音频输出，包括：
将所述脉冲编码调制音频数据进行解码播放。
3.根据权利要求1所述的方法，其特征在于，所述屏蔽所述直播视频流中的音频流，包括：
将所述直播视频流中的音频流设置为预设音量。
4.根据权利要求1所述的方法，其特征在于，所述屏蔽所述直播视频流中的音频流，包括：
不从所述直播视频流中提取音频流。
5.一种直播数据的处理方法，其特征在于，包括：
同时录制同一直播内容对应的直播视频流和无损音频流；
将所述直播视频流和无损音频流作为直播数据上传；
其中，同时录制同一直播内容对应的直播视频流和无损音频流，包括：
同时录制同一直播内容对应的图像数据和脉冲编码调制音频数据；
将同一所述脉冲编码调制音频数据进行分流处理，得到无损音频流和有损音频流；
根据所述有损音频流和图像数据，生成直播视频流。
6.一种直播数据的处理装置，其特征在于，包括：
直播数据获取模块，用于获取主播端上传的直播数据，其中，所述直播数据包括同时录制同一直播内容对应的直播视频流和无损音频流；
播放模块，用于在播放所述直播视频流时，屏蔽所述直播视频流中的音频流，并将所述无损音频流作为所述直播视频流的音频输出；
播放模块包括：
图像流播放单元，用于播放从所述直播视频流提取的图像流，屏蔽所述直播视频流中的音频流；
第一时间戳获取单元，用于获取播放中的所述图像流对应的第一时间戳；
无损音频流确定单元，用于根据所述第一时间戳确定对应的所述无损音频流；
音频输出单元，用于将所述无损音频流作为所述直播视频流的音频输出。
7.一种直播数据的处理装置，其特征在于，包括：
录制模块，用于同时录制同一直播内容对应的直播视频流和无损音频流；
上传模块，用于将所述直播视频流和无损音频流作为直播数据上传；
其中，录制模块包括：
录制单元，用于同时录制同一直播内容对应的图像数据和脉冲编码调制音频数据；
分流处理单元，用于将同一所述脉冲编码调制音频数据进行分流处理，得到无损音频流和有损音频流；
直播视频流生成单元，用于根据所述有损音频流和图像数据，生成直播视频流。
8.一种直播数据的处理设备，其特征在于，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的直播数据的处理方法。
9.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5中任一所述的直播数据的处理方法。
CN201811279759.2A 2018-10-30 2018-10-30 一种直播数据的处理方法、装置、设备和存储介质 Active CN109218849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811279759.2A CN109218849B (zh) 2018-10-30 2018-10-30 一种直播数据的处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811279759.2A CN109218849B (zh) 2018-10-30 2018-10-30 一种直播数据的处理方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109218849A CN109218849A (zh) 2019-01-15
CN109218849B true CN109218849B (zh) 2021-07-02

Family

ID=64997787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811279759.2A Active CN109218849B (zh) 2018-10-30 2018-10-30 一种直播数据的处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN109218849B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111356009B (zh) * 2020-02-26 2022-05-31 北京大米科技有限公司 音频数据的处理方法、装置、存储介质以及终端
CN112423028A (zh) * 2020-10-26 2021-02-26 深圳Tcl新技术有限公司 多媒体文件传输方法、装置、多媒体终端以及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007002655A2 (en) * 2005-06-27 2007-01-04 Sands Alexander P System & method for concurrently downloading digital content & recording to removable media
CN101022028B (zh) * 2007-01-12 2010-08-18 炬力集成电路设计有限公司 数字版权管理多媒体播放器的快进或快退方法
US20160154239A9 (en) * 2010-02-03 2016-06-02 Hoyt Mac Layson, JR. Head Mounted Portable Wireless Display Device For Location Derived Messaging
CN102262881A (zh) * 2010-05-24 2011-11-30 中科开元信息技术(北京)有限公司 基于avs有损音频的无损编解码扩展方法
CN101958139A (zh) * 2010-08-10 2011-01-26 闫天时 高清无损音频播放系统(hdap)
CN103945272B (zh) * 2013-01-23 2018-03-06 腾讯科技（北京）有限公司 一种视频交互方法、装置和系统
CN105992022A (zh) * 2015-02-05 2016-10-05 天脉聚源（北京）科技有限公司 一种在线录制下载方法及系统
CN104902317A (zh) * 2015-05-27 2015-09-09 青岛海信电器股份有限公司 音视频同步方法及装置
US10447761B2 (en) * 2015-07-31 2019-10-15 Page Vault Inc. Method and system for capturing web content from a web server as a set of images
CN105681728B (zh) * 2016-02-19 2019-12-17 华为技术有限公司 一种视频处理方法及装置
CN205430514U (zh) * 2016-03-31 2016-08-03 王一凡 智能音频视频播放器
CN106101819A (zh) * 2016-06-21 2016-11-09 武汉斗鱼网络科技有限公司 一种基于语音识别的直播视频敏感内容过滤方法及装置
CN106973317A (zh) * 2016-12-30 2017-07-21 华为软件技术有限公司 多媒体数据处理方法、多媒体数据提供方法、装置及系统
CN107592486A (zh) * 2017-09-14 2018-01-16 光锐恒宇（北京）科技有限公司 一种视频生成方法和装置
CN108337558A (zh) * 2017-12-26 2018-07-27 努比亚技术有限公司 音视频剪辑方法及终端
CN207869239U (zh) * 2017-12-28 2018-09-14 天津益华微电子有限公司 一种便携式4k高清音视频直播系统

Also Published As

Publication number Publication date
CN109218849A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
US10546599B1 (en) Systems and methods for identifying a mute/sound sample-set attribute
WO2016150317A1 (zh) 直播视频的合成方法、装置及系统
CN110784718B (zh) 视频数据编码方法、装置、设备和存储介质
WO2020024945A1 (zh) 确定时间戳的方法和装置
CN109218849B (zh) 一种直播数据的处理方法、装置、设备和存储介质
WO2020215454A1 (zh) 一种屏幕录制的方法、客户端和终端设备
CN109040818B (zh) 直播时的音视频同步方法、存储介质、电子设备及系统
WO2020024962A1 (zh) 处理数据的方法和装置
CN111383656A (zh) 声波纹直播方法、装置、服务器、客户端设备及存储介质
CN112235600B (zh) 视频数据及视频业务请求的处理方法、装置及系统
CN116233411A (zh) 音视频同步测试的方法、装置、设备及计算机存储介质
US20230031866A1 (en) System and method for remote audio recording
CN114915840A (zh) 适用于嵌入式设备的音视频处理方法、装置、设备及介质
US8559794B2 (en) System and method for recording collaborative information
CN111866542B (zh) 音频信号处理方法、多媒体信息处理方法、装置及电子设备
CN114512152A (zh) 一种广播音频格式文件生成方法、装置、设备及存储介质
JP7343378B2 (ja) 編集システム
CN113141536B (zh) 视频封面的添加方法、装置、电子设备及存储介质
US10354695B2 (en) Data recording control device and data recording control method
JP3552945B2 (ja) Ｍｐｅｇ２データのインサート編集方法及びシステム
CN115460189B (zh) 处理设备测试方法、装置、计算机及存储介质
JP7059436B2 (ja) 編集システム
CN111131868B (zh) 基于播放器的视频录制方法及装置
CN111225210B (zh) 视频编码方法、视频编码装置及终端设备
CN114363791A (zh) 串行音频元数据生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant