CN112584189A - 直播数据处理方法、装置、系统与计算机可读存储介质 - Google Patents
直播数据处理方法、装置、系统与计算机可读存储介质 Download PDFInfo
- Publication number
- CN112584189A CN112584189A CN202011425622.0A CN202011425622A CN112584189A CN 112584189 A CN112584189 A CN 112584189A CN 202011425622 A CN202011425622 A CN 202011425622A CN 112584189 A CN112584189 A CN 112584189A
- Authority
- CN
- China
- Prior art keywords
- display
- target data
- target
- determining
- live
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种直播数据处理方法，包括：获取直播数据在显示终端的显示角度信息，并基于所述显示角度信息，确定目标数据；获取所述目标数据的显示时间戳信息，并基于所述显示时间戳信息，确定所述目标数据的播放模式；基于所述播放模式，在所述显示终端播放所述目标数据。本发明还公开了一种直播数据处理装置、系统和计算机可读存储介质。本发明根据直播数据在显示终端的显示角度信息，确定目标数据，不需要拉取全部的直播数据，并根据目标数据的显示时间戳信息，灵活确定播放模式，有助于降低直播延迟。
Description
技术领域
本发明涉及网络直播技术领域，尤其涉及直播数据处理方法、装置、系统与计算机可读存储介质。
背景技术
在互联网技术快速发展的时代潮流中，网络直播应运而生，但是，随着直播视频清晰度和码率的提升，直播延迟已经成为网络直播的一大难题。
在网络直播过程中，直播视频的数据量很大，使得推流端将直播数据推送到直播系统的时间很长；拉流端拉取全部的视频资源，使得直播系统对应的读取时间也很长，导致直播延迟的情况严重。
发明内容
本发明的主要目的在于提出一种直播数据处理方法、装置、系统与计算机可读存储介质，旨在降低直播延迟。
为实现上述目的，本发明提供一种直播数据处理方法，所述直播数据处理方法包括如下步骤：
获取直播数据在显示终端的显示角度信息，并基于所述显示角度信息，确定目标数据；
获取所述目标数据的显示时间戳信息，并基于所述显示时间戳信息，确定所述目标数据的播放模式；
基于所述播放模式，在所述显示终端播放所述目标数据。
优选地，所述获取直播数据在显示终端的显示角度信息，并基于所述显示角度信息，确定目标数据的步骤包括：
获取所述直播数据在显示终端的视场角，以及有效显示角度，并基于所述视场角和所述有效显示角度，确定所述直播数据的实际显示角度范围；
基于所述实际显示角度范围，确定所述直播数据的目标显示角度范围，并基于所述目标显示角度范围，确定目标数据。
优选地，所述基于所述目标显示角度范围，确定目标数据的步骤包括：
基于预设划分规则，对所述直播数据中的每一帧数据进行均等划分，得到等分区域，并依次对所述等分区域进行编号；
确定所述目标显示角度范围对应的目标编号，并提取所述目标编号对应的等分区域作为目标数据帧；
获取所述目标数据帧的提取时间，并基于所述提取时间，依次整合所述目标数据帧，得到目标数据。
优选地，所述获取所述目标数据的显示时间戳信息，并基于所述显示时间戳信息，确定所述目标数据的播放模式的步骤包括：
获取所述目标数据中当前显示的音视频帧携带的第一显示时间戳，以及拉取所述音视频帧时的第二显示时间戳，并确定所述第一显示时间戳与所述第二显示时间戳的差值绝对值；
基于所述差值绝对值和预设阈值，确定所述目标数据的播放模式。
优选地，所述预设阈值包括预设丢帧阈值，所述基于所述差值绝对值和预设阈值，确定所述目标数据的播放模式的步骤包括：
若所述差值绝对值大于预设丢帧阈值，则确定所述目标数据的播放模式为丢帧播放模式，所述丢帧播放模式为丢弃所述目标数据当前显示的音视频帧，播放下一音视频帧；
若所述差值绝对值小于或等于预设丢帧阈值，则确定所述目标数据的播放模式为正常播放模式。
优选地，所述预设阈值包括预设快播阈值，所述基于所述差值绝对值和预设阈值，确定所述目标数据的播放模式的步骤包括：
若所述差值绝对值大于预设快播阈值，则确定所述目标数据的播放模式为快速播放模式，所述快速播放模式为加快所述目标数据当前显示的音视频帧的播放速度；
若所述差值绝对值小于或等于预设快播阈值，则确定所述目标数据的播放模式为正常播放。
优选地，所述基于所述播放模式，在所述显示终端播放所述目标数据的步骤之后，还包括：
若所述目标数据的播放模式为非正常播放模式，则获取所述目标数据中当前显示的目标帧携带的第三显示时间戳，以及拉取所述目标帧时的第四显示时间戳，并确定所述第三显示时间戳与所述第四显示时间戳的目标差值绝对值；
当所述目标差值绝对值小于或等于所述预设阈值时，将所述目标数据的播放模式由非正常播放模式调整为正常播放模式。
此外，为实现上述目的，本发明还提供一种直播数据处理装置，所述直播数据处理装置包括：
第一确定模块，用于获取直播数据在显示终端的显示角度信息，并基于所述显示角度信息，确定目标数据；
第二确定模块，用于获取所述目标数据的显示时间戳信息，并基于所述显示时间戳信息，确定所述目标数据的播放模式；
终端播放模块，用于基于所述播放模式，在所述显示终端播放所述目标数据。
优选地，所述第一确定模块还用于：
获取所述直播数据在显示终端的视场角，以及有效显示角度，并基于所述视场角和所述有效显示角度，确定所述直播数据的实际显示角度范围；
基于所述实际显示角度范围，确定所述直播数据的目标显示角度范围，并基于所述目标显示角度范围，确定目标数据。
优选地，所述第一确定模块还用于：
基于预设划分规则，对所述直播数据中的每一帧数据进行均等划分，得到等分区域，并依次对所述等分区域进行编号；
确定所述目标显示角度范围对应的目标编号，并提取所述目标编号对应的等分区域作为目标数据帧；
获取所述目标数据帧的提取时间，并基于所述提取时间，依次整合所述目标数据帧，得到目标数据。
优选地，所述第二确定模块还用于：
获取所述目标数据中当前显示的音视频帧携带的第一显示时间戳，以及拉取所述音视频帧时的第二显示时间戳，并确定所述第一显示时间戳与所述第二显示时间戳的差值绝对值；
基于所述差值绝对值和预设阈值，确定所述目标数据的播放模式。
优选地，所述第二确定模块还用于：
若所述差值绝对值大于预设丢帧阈值，则确定所述目标数据的播放模式为丢帧播放模式，所述丢帧播放模式为丢弃所述目标数据当前显示的音视频帧，播放下一音视频帧；
若所述差值绝对值小于或等于预设丢帧阈值，则确定所述目标数据的播放模式为正常播放模式。
优选地，所述第二确定模块还用于：
若所述差值绝对值大于预设快播阈值，则确定所述目标数据的播放模式为快速播放模式，所述快速播放模式为加快所述目标数据当前显示的音视频帧的播放速度；
若所述差值绝对值小于或等于预设快播阈值，则确定所述目标数据的播放模式为正常播放模式。
优选地，所述直播数据处理装置还包括播放调整模块，所述播放调整模块用于：
若所述目标数据的播放模式为非正常播放模式，则获取所述目标数据中当前显示的目标帧携带的第三显示时间戳，以及拉取所述目标帧时的第四显示时间戳，并确定所述第三显示时间戳与所述第四显示时间戳的目标差值绝对值；
当所述目标差值绝对值小于或等于所述预设阈值时，将所述目标数据的播放模式由非正常播放模式调整为正常播放模式。
此外，为实现上述目的，本发明还提供一种直播数据处理系统，所述直播数据处理系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的直播数据处理程序，所述直播数据处理程序被所述处理器执行时实现如上所述的直播数据处理方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有直播数据处理程序，所述直播数据处理程序被处理器执行时实现如上所述的直播数据处理方法的步骤。
本发明提出的直播数据处理方法，通过获取直播数据在显示终端的显示角度信息，并基于显示角度信息，确定目标数据；获取目标数据的显示时间戳信息，并基于显示时间戳信息，确定目标数据的播放模式；基于播放模式，在显示终端播放目标数据。本发明根据直播数据在显示终端的显示角度信息，确定目标数据，不需要拉取全部的直播数据，并根据目标数据的显示时间戳信息，灵活确定播放模式，有助于降低直播延迟。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的系统结构示意图；
图2为本发明直播数据处理方法第一实施例的流程示意图；
图3为本发明直播数据处理装置较佳实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的系统结构示意图。
本发明实施例系统可以是直播平台，云端管理服务器等。
如图1所示，该系统可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的系统结构并不构成对系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及直播数据处理程序。
其中，操作系统是管理和控制直播数据处理系统与软件资源的程序，支持网络通信模块、用户接口模块、直播数据处理程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。
在图1所示的直播数据处理系统中，所述直播数据处理系统通过处理器1001调用存储器1005中存储的直播数据处理程序，并执行下述直播数据处理方法各个实施例中的操作。
基于上述硬件结构，提出本发明直播数据处理方法实施例。
参照图2，图2为本发明直播数据处理方法第一实施例的流程示意图，所述方法包括：
步骤S10，获取直播数据在显示终端的显示角度信息，并基于所述显示角度信息，确定目标数据；
本实施例直播数据处理方法运用于各大直播平台的直播数据处理系统中，尤其是采用全景直播的直播数据处理系统中，为描述方便，直播数据处理系统以直播系统简称。随着视频采集和图像处理技术的进步，全景直播作为一种能提供沉浸感、现场感的高新技术，也受到了越来越多用户的青睐。全景直播是以全景相机为中心，同时记录各个视角的景物进行音视频直播。人们在观看全景直播时，可以随意切换视角，仿佛身临其境。在全景直播过程中，需要对直播数据进行推流、拉流处理，才能在显示终端播放，其中，推流指的是将采集阶段封包好的直播数据传输到直播系统中，拉流指的是从直播系统中拉取直播数据。随着音视频清晰度和码率的大幅提升，使得推流端需要推送的数据量很大，对网络要求很高，并且将直播数据推送到直播系统的时间很长，导致直播延迟的情况严重；其次，如果拉流端拉取全景直播的全部直播数据，将会增加直播系统的读取时间，进一步加剧直播延迟的情况；而且，直播过程中的网络抖动也会引起直播延迟。因此，直播延迟已经成为全景直播的一大难题。
在本实施例中，一个完整的全景视频拍摄角度为360°+180°，其中，360°是全景相机左右转头的角度范围，180°是全景相机上下转头的角度范围，而显示终端实际显示的音视频帧的角度范围是一个完整的全景视频帧的1/3左右，如果拉流端拉取完整的直播内容，也即拉取360°+180°的全景视频，将会增加直播系统的读取时间，影响直播数据的传输速率。因此，为了降低直播延迟，只需要根据直播数据在显示终端的显示角度信息，提取能够满足显示需求的部分直播数据，也即目标数据。
进一步地，步骤S10还包括：
步骤a1，获取所述直播数据在显示终端的视场角，以及有效显示角度，并基于所述视场角和所述有效显示角度，确定所述直播数据的实际显示角度范围；
在本实施例中，显示终端的显示角度信息包括显示终端当前显示画面的视场角、有效显示角度等，其中，对显示终端而言，视场角指的是显示画面左、右边缘点分别与观察点连线，当两连线距离相等时，两连线所形成的夹角。在具体实施时，全景相机已标定出内参数，如水平焦距和竖直焦距，结合全景相机拍摄的每一张图片和内参数，可直接获取显示终端当前显示画面的视场角和有效显示角度，然后根据视场角和有效显示角度，确定直播数据在显示终端的实际显示角度范围，其中，确定实际显示角度范围，需要分别计算出实际显示角度范围的上限显示角度和下限显示角度。
具体的，计算上限显示角度的公式如下：
计算下限显示角度的公式如下：
例如，获得当前的视场角为200°，有效显示角度为100°，那么可确定显示终端的实际显示角度范围的上限显示角度为250°，下限显示角度为150°，因此，确定显示终端的实际显示角度范围为150°到250°。
需要说明的是，对于不同类型的显示终端，其有效显示角度也会有所不同。
步骤a2，基于所述实际显示角度范围，确定所述直播数据的目标显示角度范围，并基于所述目标显示角度范围，确定目标数据。
在本实施例中，为了确保在全景相机左右转头进行拍摄时，显示终端的边缘也能正常显示，避免边缘地带出现黑色区域的情况，通过将实际显示角度范围的上限显示角度增加预设角度，作为目标显示角度范围的目标上限显示角度，将下限显示角度减小相同的预设角度，作为目标显示角度范围的目标下限显示角度，从而根据目标上限显示角度和目标下限显示角度确定目标显示角度范围，其中，预设角度范围可为5°到30°。例如，若显示终端的实际显示角度范围为150°到250°，且预设角度为10°，则可确定目标显示角度范围的上限显示角度为260°，下限显示角度为140°，因此目标显示角度范围为140°到260°，从而根据直播数据中每一帧数据在140°到260°范围内的数据帧，确定目标数据。
进一步地，步骤a2中，所述基于所述目标显示角度范围，确定目标数据的步骤包括：
步骤a21，基于预设划分规则，对所述直播数据中的每一帧数据进行均等划分，得到等分区域，并依次对所述等分区域进行编号；
在本实施例中，全景直播记录的直播数据是直播场景中球面上的视频信息，由于球面上的视频信息不易表示，所以需要对直播数据中的每一帧数据进行均等划分，得到等分区域，如采用经纬图格式进行划分。通过经纬图可将球面上的视频信息点按照其经度、纬度映射到二维平面。在具体实施时，可以把每个数据帧四个角落边缘点的任一个边缘点作为坐标原点建立二维平面坐标系，如以数据帧左下角的边缘点为坐标原点，且0°经线和0°纬线经过坐标原点，将每一帧数据的经度映射为列坐标、纬度映射为行坐标，从而将球面的音视频帧展开为二维平面的数据帧，若数据帧在纬度方向上不需要划分，可对每一帧数据按照经度进行均等划分，此时的视场角为水平视场角，具体的，即对全景相机左右转头的角度范围360°按经度进行均等划分，如分成36等分，则每隔10°划分一个等分区域，并通过依次对各个等分区域进行编号，如0°到10°等分区域对应的区域编号为0，10°到20°等分区域对应的区域编号为1，以此类推，得到区域编号为0至35的36个等分区域，用编号的方式区分各等分区域。
同理地，也可在纬度方向上对每一帧数据进行均等划分，此时的视场角为垂直视场角，即对全景相机上下转头的角度范围180°按纬度进行均等划分，其中，按纬度进行均等划分的方法与按经度进行均等划分的方法类似，此处不再赘述。
需要说明的是，可根据实际的显示需求在经度和/或纬度方向上对每一帧数据进行均等划分。
步骤a22，确定所述目标显示角度范围对应的目标编号，并提取所述目标编号对应的等分区域作为目标数据帧；
在本实施例中，可根据显示角度与经度的映射关系，确定目标显示角度范围对应的目标编号，如确定直播数据的目标显示角度范围为140°到260°，可确定目标显示角度范围对应的等分区域的目标编号为13到25，也即从每一帧数据中提取编号为14至26的等分区域，作为目标数据帧。
步骤a23，获取所述目标数据帧的提取时间，并基于所述提取时间，依次整合所述目标数据帧，得到目标数据。
在本实施例中，根据每一帧目标数据帧提取时间的先后顺序，依次将目标数据帧进行拼接整合，得到连续的目标数据。
步骤S20，获取所述目标数据的显示时间戳信息，并基于所述显示时间戳信息，确定所述目标数据的播放模式；
在本实施例中，根据目标数据的显示时间戳信息，判断目标数据传输过程中的直播延迟是否在预设范围内，从而灵活确定目标数据的播放模式，如直播延迟在预设范围内，正常播放目标数据；若直播延迟超过预设范围，则对目标数据进行非正常播放，如丢帧播放或快速播放等。
进一步地，步骤S20还包括：
步骤b1，获取所述目标数据中当前显示的音视频帧携带的第一显示时间戳，以及拉取所述音视频帧时的第二显示时间戳，并确定所述第一显示时间戳与所述第二显示时间戳的差值绝对值；
在本实施例中，直播系统中记录了推流端推送直播数据时各音视频帧的显示时间戳(PTS，Presentation Time Stamp)信息，也即各音视频帧携带了PTS，其中，音视频帧携带的PTS决定了各数据帧在显示终端的理想播放时间点，即当不存在直播延迟时，各数据帧就按照理想播放时间点在显示终端播放。当接收到拉流端的拉流请求时，直播系统将拉流端拉取目标数据时的PTS也一起反馈给拉流端，将PTS反馈给拉流端的方式包括但不限于包含在音频流、包含在视频流、包含在控制流等方式。但由于在数据传输过程中，拉流端存在网络抖动等网络因素的干扰，会导致拉流端从直播系统中拉取的音视频帧不是最新的，也即存在直播延迟，使得各数据帧在显示终端的实际播放时间点在理想播放时间点之后。在具体实施时，若在待播放序列中目标数据当前显示的音视频帧携带的PTS为第一显示时间戳，拉流端拉取该音视频帧时的PTS为第二显示时间戳，通过确定第一显示时间戳与第二显示时间戳的差值绝对值，可确定此时的直播延迟是否在预设范围内。
步骤b2，基于所述差值绝对值和预设阈值，确定所述目标数据的播放模式。
在本实施例中，通过比较第一显示时间戳与第二显示时间戳的差值绝对值与预设阈值的大小关系，可确定直播延迟是否预设范围内，从而确定目标数据的播放模式，如正常播放模式或者非正常播放模式。
步骤S30，基于所述播放模式，在所述显示终端播放所述目标数据。
在本实施例中，若播放模式为正常播放模式，则直接在显示终端播放该目标数据；若播放模式为非正常播放模式，则对目标数据进行处理之后再播放，如对目标数据进行丢帧播放和/或快速播放等。
需要说明的是，通过全景相机采集实时直播的全景直播内容后，为了减小推流端推送的数据量大小，需要对直播内容进行编码。目前全景直播主要采用AVC(AdvancedVideo Coding，高级视频编码)对采集到的直播内容进行编码，从而压缩推流端推送的数据量大小。虽然采用AVC编码方式可在一定程度减小推流端推送的数据量大小，但由于直播质量越高，推流端需要推送的数据量就越大，因此，在提升全景直播的直播质量时，对数据传输时的码率要求很高，其中，码率指的是将直播内容压缩后单位时间内传输的数据量，如使用8K清晰度进行直播时，要求码率达到80Mbps才不会影响观看。由此可见，推流端推送的数据量大小严重影响到直播延迟的高低。本实施例通过优化编码，进一步减小推流端推送到直播系统的数据量大小，如采用HEVC(High Efficiency Video Coding，高效视频编码)对直播内容进行编码，得到直播数据，其中，HEVC是一种新的视频压缩标准，能以更低的码率提供更好的还原效果。通过对比可知，HEVC的压缩率比AVC的压缩率大约提升50％，也即，若通过AVC编码格式得到的直播数据量大小为1000MB，在直播质量相同的情况下，通过HEVC编码格式得到的直播数据量大小约为500MB，由此可见，采用HEVC编码格式仅需AVC编码格式的一半带宽即可播放相同质量的直播数据，可减少50％流媒体播放所需要的带宽。
本实施例的直播数据处理方法，通过获取直播数据在显示终端的显示角度信息，并基于显示角度信息，确定目标数据；获取目标数据的显示时间戳信息，并基于显示时间戳信息，确定目标数据的播放模式；基于播放模式，在显示终端播放目标数据。本发明根据直播数据在显示终端的显示角度信息，确定目标数据，不需要拉取全部的直播数据，并根据目标数据的显示时间戳信息，灵活确定播放模式，有助于降低直播延迟。
进一步地，基于本发明直播数据处理方法第一实施例，提出本发明直播数据处理方法第二实施例。
直播数据处理方法的第二实施例与直播数据处理方法的第一实施例的区别在于，所述预设阈值包括预设丢帧阈值，所述基于所述差值绝对值和预设阈值，确定所述目标数据的播放模式的步骤包括：
步骤c，若所述差值绝对值大于预设丢帧阈值，则确定所述目标数据的播放模式为丢帧播放模式，所述丢帧播放模式为丢弃所述目标数据当前显示的音视频帧，播放下一音视频帧；
在本实施例中，若差值绝对值大于预设丢帧阈值，也即直播延迟超过预设范围，如果继续正常播放目标数据会造成严重卡顿，影响观看效果，则可控制拉流端开启丢帧处理，即确定目标数据的播放模式为丢帧播放模式，其中，丢帧播放模式指的是丢弃目标数据当前显示的音视频帧，并根据音视频帧携带的显示时间戳信息，播放下一音视频帧。可以理解的，目前网络直播数据的帧率一般为30帧/秒，也即，在1秒内音视频帧的帧数为30帧，已知人的肉眼在看超过24帧/秒的静态图片就会认为是在观看连续的动态视频，因此，丢弃当前显示的音视频帧，人的肉眼是察觉不到的，也即不影响观看效果，同时，进行丢帧播放还可进一步降低直播延迟。
步骤d，若所述差值绝对值小于或等于预设丢帧阈值，则确定所述目标数据的播放模式为正常播放模式。
在本实施例中，若差值绝对值小于或等于预设丢帧阈值，也即直播延迟在预设范围内，可认为是不存在直播延迟，则不需要对目标数据进行丢帧播放，即确定目标数据的播放模式为正常播放模式。
本实施例的直播数据处理方法，当差值绝对值大于预设丢帧阈值时，丢弃目标数据当前显示的音视频帧，播放下一音视频帧，通过丢帧播放模式降低直播延迟；当差值绝对值小于或等于预设丢帧阈值时，正常播放目标数据，保证显示终端不会出现画面卡顿的情况。
进一步地，基于本发明直播数据处理方法第一、第二实施例，提出本发明直播数据处理方法第三实施例。
直播数据处理方法的第三实施例与直播数据处理方法的第一、第二实施例的区别在于，所述预设阈值包括预设快播阈值，所述基于所述差值绝对值和预设阈值，确定所述目标数据的播放模式的步骤包括：
步骤e，若所述差值绝对值大于预设快播阈值，则确定所述目标数据的播放模式为快速播放模式，所述快速播放模式为加快所述目标内容当前显示的音视频帧的播放速度；
在本实施例中，若差值绝对值大于预设快播阈值，则控制拉流端开启快播处理，也即确定目标数据的播放模式为快速播放模式，其中，快速播放模式为加快目标数据当前显示的音视频帧的播放速度。例如，若当前音视频帧的播放速度为40毫秒/帧，可将音视频帧的播放速度调整为20毫秒/帧，加快音视频帧的播放速度，从而降低直播延迟。
需要说明的是，若差值绝对值大于预设丢帧阈值，且大于预设快播阈值时，可确定对应的播放模式为丢帧播放模式、快速播放模式中的一种或两种，具体的，可根据丢帧播放模式与快速播放模式的优先级，确定对应的播放模式；也可通过预设播放间隔，结合丢帧播放模式与快速播放模式进行播放，例如，若快速播放模式的优先级高于丢帧播放模式的优先级，则在拉流端开启快播处理开始计时，在预设播放间隔内采用快速播放模式进行播放，在预设播放间隔后切换至丢帧播放模式。
步骤f，若所述差值绝对值小于或等于预设快播阈值，则确定所述目标数据的播放模式为正常播放模式。
在本实施例中，若差值绝对值小于或等于预设快播阈值，也即直播延迟在预设范围内，可认为是不存在直播延迟，则不需要对目标数据进行快速播放，即确定目标数据的播放模式为正常播放模式。
本实施例的直播数据处理方法，当差值绝对值小于或等于预设快播阈值时，正常播放目标数据；当差值绝对值大于预设快播阈值时，加快目标数据当前显示的音视频帧的播放速度，通过快速播放模式降低直播延迟。
进一步地，基于本发明直播数据处理方法第一、第二、第三实施例，提出本发明直播数据处理方法第四实施例。
直播数据处理方法的第四实施例与直播数据处理方法的第一、第二、第三实施例的区别在于，所述基于所述播放模式，在所述显示终端播放所述目标数据的步骤之后，还包括：
步骤g，若所述目标数据的播放模式为非正常播放模式，则获取所述目标数据中当前显示的目标帧携带的第三显示时间戳，以及拉取所述目标帧时的第四显示时间戳，并确定所述第三显示时间戳与所述第四显示时间戳的目标差值绝对值；
在本实施例中，非正常播放模式包括丢帧播放模式或快速播放模式，且确定第三显示时间戳与第四显示时间戳的目标差值绝对值的方法与确定第一显示时间戳与第二显示时间戳的差值绝对值的方法类似，此处不再赘述。
步骤h，当所述目标差值绝对值小于或等于所述预设阈值时，将所述目标数据的播放模式由非正常播放模式调整为正常播放模式。
在本实施例中，可设置定时检测或实时检测机制，检测当前显示的目标帧的目标差值绝对值与预设阈值的大小关系，其中，当检测到目标差值绝对值小于或等于预设阈值时，可认为此时不再存在直播延迟，可将播放模式由非正常播放模式调整为正常播放模式，也即将目标数据的播放模式由丢帧播放模式或快速播放模式调整为正常播放模式。
本实施例的直播数据处理方法，在对目标数据进行非正常播放之后，若检测到当前音视频帧的目标差值绝对值小于或等于预设阈值时，将目标数据的播放模式由非正常播放模式调整为正常播放模式，在直播延迟允许的范围内，尽可能地还原播放目标数据。
本发明还提供一种直播数据处理装置。本发明直播数据处理装置包括：
第一确定模块10，用于获取直播数据在显示终端的显示角度信息，并基于所述显示角度信息，确定目标数据；
第二确定模块20，用于获取所述目标数据的显示时间戳信息，并基于所述显示时间戳信息，确定所述目标数据的播放模式；
终端播放模块30，用于基于所述播放模式，在所述显示终端播放所述目标数据。
优选地，所述第一确定模块还用于：
获取所述直播数据在显示终端的视场角，以及有效显示角度，并基于所述视场角和所述有效显示角度，确定所述直播数据的实际显示角度范围；
基于所述实际显示角度范围，确定所述直播数据的目标显示角度范围，并基于所述目标显示角度范围，确定目标数据。
优选地，所述第一确定模块还用于：
基于预设划分规则，对所述直播数据中的每一帧数据进行均等划分，得到等分区域，并依次对所述等分区域进行编号；
确定所述目标显示角度范围对应的目标编号，并提取所述目标编号对应的等分区域作为目标数据帧；
获取所述目标数据帧的提取时间，并基于所述提取时间，依次整合所述目标数据帧，得到目标数据。
优选地，所述第二确定模块还用于：
获取所述目标数据中当前显示的音视频帧携带的第一显示时间戳，以及拉取所述音视频帧时的第二显示时间戳，并确定所述第一显示时间戳与所述第二显示时间戳的差值绝对值；
基于所述差值绝对值和预设阈值，确定所述目标数据的播放模式。
优选地，所述第二确定模块还用于：
若所述差值绝对值大于预设丢帧阈值，则确定所述目标数据的播放模式为丢帧播放模式，所述丢帧播放模式为丢弃所述目标数据当前显示的音视频帧，播放下一音视频帧；
若所述差值绝对值小于或等于预设丢帧阈值，则确定所述目标数据的播放模式为正常播放模式。
优选地，所述第二确定模块还用于：
若所述差值绝对值大于预设快播阈值，则确定所述目标数据的播放模式为快速播放模式，所述快速播放模式为加快所述目标数据当前显示的音视频帧的播放速度；
若所述差值绝对值小于或等于预设快播阈值，则确定所述目标数据的播放模式为正常播放模式。
优选地，所述直播数据处理装置还包括播放调整模块，所述播放调整模块用于：
若所述目标数据的播放模式为非正常播放模式，则获取所述目标数据中当前显示的目标帧携带的第三显示时间戳，以及拉取所述目标帧时的第四显示时间戳，并确定所述第三显示时间戳与所述第四显示时间戳的目标差值绝对值；
当所述目标差值绝对值小于或等于所述预设阈值时，将所述目标数据的播放模式由非正常播放模式调整为正常播放模式。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有直播数据处理程序，所述直播数据处理程序被处理器执行时实现如上所述的直播数据处理方法的步骤。
其中，在所述处理器上运行的直播数据处理程序被执行时所实现的方法可参照本发明直播数据处理方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端系统(可以是手机，计算机，服务器，空调器，或者网络系统等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种直播数据处理方法，其特征在于，所述方法包括如下步骤：
获取直播数据在显示终端的显示角度信息，并基于所述显示角度信息，确定目标数据；
获取所述目标数据的显示时间戳信息，并基于所述显示时间戳信息，确定所述目标数据的播放模式；
基于所述播放模式，在所述显示终端播放所述目标数据。
2.如权利要求1所述的直播数据处理方法，其特征在于，所述获取直播数据在显示终端的显示角度信息，并基于所述显示角度信息，确定目标数据的步骤包括：
获取所述直播数据在显示终端的视场角，以及有效显示角度，并基于所述视场角和所述有效显示角度，确定所述直播数据的实际显示角度范围；
基于所述实际显示角度范围，确定所述直播数据的目标显示角度范围，并基于所述目标显示角度范围，确定目标数据。
3.如权利要求2所述的直播数据处理方法，其特征在于，所述基于所述目标显示角度范围，确定目标数据的步骤包括：
基于预设划分规则，对所述直播数据中的每一帧数据进行均等划分，得到等分区域，并依次对所述等分区域进行编号；
确定所述目标显示角度范围对应的目标编号，并提取所述目标编号对应的等分区域作为目标数据帧；
获取所述目标数据帧的提取时间，并基于所述提取时间，依次整合所述目标数据帧，得到目标数据。
4.如权利要求1-3任一项所述的直播数据处理方法，其特征在于，所述获取所述目标数据的显示时间戳信息，并基于所述显示时间戳信息，确定所述目标数据的播放模式的步骤包括：
获取所述目标数据中当前显示的音视频帧携带的第一显示时间戳，以及拉取所述音视频帧时的第二显示时间戳，确定所述第一显示时间戳与所述第二显示时间戳的差值绝对值；
基于所述差值绝对值和预设阈值，确定所述目标数据的播放模式。
5.如权利要求4所述的直播数据处理方法，其特征在于，所述预设阈值包括预设丢帧阈值，所述基于所述差值绝对值和预设阈值，确定所述目标数据的播放模式的步骤包括：
若所述差值绝对值大于预设丢帧阈值，则确定所述目标数据的播放模式为丢帧播放模式，所述丢帧播放模式为丢弃所述目标数据当前显示的音视频帧，播放下一音视频帧；
若所述差值绝对值小于或等于预设丢帧阈值，则确定所述目标数据的播放模式为正常播放模式。
6.如权利要求4所述的直播数据处理方法，其特征在于，所述预设阈值包括预设快播阈值，所述基于所述差值绝对值和预设阈值，确定所述目标数据的播放模式的步骤包括：
若所述差值绝对值大于预设快播阈值，则确定所述目标数据的播放模式为快速播放模式，所述快速播放模式为加快所述目标数据当前显示的音视频帧的播放速度；
若所述差值绝对值小于或等于预设快播阈值，则确定所述目标数据的播放模式为正常播放模式。
7.如权利要求4所述的直播数据处理方法，其特征在于，所述基于所述播放模式，在所述显示终端播放所述目标数据的步骤之后，还包括：
若所述目标数据的播放模式为非正常播放模式，则获取所述目标数据中当前显示的目标帧携带的第三显示时间戳，以及拉取所述目标帧时的第四显示时间戳，并确定所述第三显示时间戳与所述第四显示时间戳的目标差值绝对值；
当所述目标差值绝对值小于或等于所述预设阈值时，将所述目标数据的播放模式由非正常播放模式调整为正常播放模式。
8.一种直播数据处理装置，其特征在于，所述直播数据处理装置包括：
第一确定模块，用于获取直播数据在显示终端的显示角度信息，并基于所述显示角度信息，确定目标数据；
第二确定模块，用于获取所述目标数据的显示时间戳信息，并基于所述显示时间戳信息，确定所述目标数据的播放模式；
终端播放模块，用于基于所述播放模式，在所述显示终端播放所述目标数据。
9.一种直播数据处理系统，其特征在于，所述直播数据处理系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的直播数据处理程序，所述直播数据处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的直播数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有直播数据处理程序，所述直播数据处理程序被处理器执行时实现如权利要求1至7中任一项所述的直播数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011425622.0A CN112584189A (zh) | 2020-12-08 | 2020-12-08 | 直播数据处理方法、装置、系统与计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011425622.0A CN112584189A (zh) | 2020-12-08 | 2020-12-08 | 直播数据处理方法、装置、系统与计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112584189A true CN112584189A (zh) | 2021-03-30 |
Family
ID=75127809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011425622.0A Pending CN112584189A (zh) | 2020-12-08 | 2020-12-08 | 直播数据处理方法、装置、系统与计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112584189A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113489745A (zh) * | 2021-07-29 | 2021-10-08 | 百果园技术(新加坡)有限公司 | 视频数据发送方法、装置、设备和存储介质 |
| CN114173081A (zh) * | 2021-12-13 | 2022-03-11 | 济南大学 | 一种远程音视频方法及系统 |
| CN116996649A (zh) * | 2023-04-04 | 2023-11-03 | 深圳Tcl新技术有限公司 | 投屏方法、装置、存储介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120019613A1 (en) * | 2009-12-11 | 2012-01-26 | Tessera Technologies Ireland Limited | Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device |
| CN106657972A (zh) * | 2016-12-30 | 2017-05-10 | 深圳超多维科技有限公司 | 一种视频播放的控制方法及装置 |
| CN108462896A (zh) * | 2018-03-23 | 2018-08-28 | 北京潘达互娱科技有限公司 | 直播数据流处理方法、装置及电子设备 |
| CN110266664A (zh) * | 2019-06-05 | 2019-09-20 | 中国联合网络通信有限公司广州市分公司 | 一种基于5G与MEC的Cloud VR视频直播系统 |
| CN111147883A (zh) * | 2019-12-31 | 2020-05-12 | 歌尔科技有限公司 | 直播方法、装置、头戴显示设备和可读存储介质 |
-
2020
- 2020-12-08 CN CN202011425622.0A patent/CN112584189A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120019613A1 (en) * | 2009-12-11 | 2012-01-26 | Tessera Technologies Ireland Limited | Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device |
| CN106657972A (zh) * | 2016-12-30 | 2017-05-10 | 深圳超多维科技有限公司 | 一种视频播放的控制方法及装置 |
| CN108462896A (zh) * | 2018-03-23 | 2018-08-28 | 北京潘达互娱科技有限公司 | 直播数据流处理方法、装置及电子设备 |
| CN110266664A (zh) * | 2019-06-05 | 2019-09-20 | 中国联合网络通信有限公司广州市分公司 | 一种基于5G与MEC的Cloud VR视频直播系统 |
| CN111147883A (zh) * | 2019-12-31 | 2020-05-12 | 歌尔科技有限公司 | 直播方法、装置、头戴显示设备和可读存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113489745A (zh) * | 2021-07-29 | 2021-10-08 | 百果园技术(新加坡)有限公司 | 视频数据发送方法、装置、设备和存储介质 |
| CN113489745B (zh) * | 2021-07-29 | 2024-04-05 | 百果园技术(新加坡)有限公司 | 视频数据发送方法、装置、设备和存储介质 |
| CN114173081A (zh) * | 2021-12-13 | 2022-03-11 | 济南大学 | 一种远程音视频方法及系统 |
| CN116996649A (zh) * | 2023-04-04 | 2023-11-03 | 深圳Tcl新技术有限公司 | 投屏方法、装置、存储介质及电子设备 |
| CN116996649B (zh) * | 2023-04-04 | 2024-04-30 | 深圳Tcl新技术有限公司 | 投屏方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106454407B (zh) | 视频直播方法及装置 | |
| CN112584189A (zh) | 直播数据处理方法、装置、系统与计算机可读存储介质 | |
| US8842974B2 (en) | Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program, and content delivery system | |
| US11863801B2 (en) | Method and device for generating live streaming video data and method and device for playing live streaming video | |
| US20170171274A1 (en) | Method and electronic device for synchronously playing multiple-cameras video | |
| US20150208103A1 (en) | System and Method for Enabling User Control of Live Video Stream(s) | |
| CN107682714B (zh) | 一种获取在线视频截图的方法及装置 | |
| US20150222815A1 (en) | Aligning videos representing different viewpoints | |
| CN101848382A (zh) | 一种视频流图像分辨率和码流的调整方法及系统 | |
| CN113141514B (zh) | 媒体流传输方法、系统、装置、设备及存储介质 | |
| WO2011097762A1 (en) | Method for synchronized content playback | |
| CN109089131B (zh) | 一种基于ios系统的录屏直播方法、装置、设备及存储介质 | |
| CN111147911A (zh) | 视频裁剪方法、装置、电子设备和存储介质 | |
| US11553215B1 (en) | Providing alternative live media content | |
| US20110243474A1 (en) | Video image processing apparatus and video image processing method | |
| CN105898395A (zh) | 一种网络视频播放方法、装置及系统 | |
| US9538247B2 (en) | Method and system for image alteration | |
| CN108737884B (zh) | 一种内容录制方法及其设备、存储介质、电子设备 | |
| US10142664B2 (en) | Method and device for determining properties of a graphical overlay for a video stream | |
| CN111405339B (zh) | 一种分屏显示方法、电子设备及存储介质 | |
| CN112672174B (zh) | 分屏直播方法、采集设备、播放设备及存储介质 | |
| WO2017198143A1 (zh) | 视频处理方法、视频播放方法、机顶盒以及vr设备 | |
| CN113542896B (zh) | 一种自由视角的视频直播方法、设备及介质 | |
| US8873642B2 (en) | Video content analysis methods and systems | |
| CN111698261B (zh) | 基于流媒体的视频播放方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210330 |
|
| RJ01 | Rejection of invention patent application after publication |