CN112272327B - 数据处理方法、装置、存储介质及设备 - Google Patents
数据处理方法、装置、存储介质及设备 Download PDFInfo
- Publication number
- CN112272327B CN112272327B CN202011156556.1A CN202011156556A CN112272327B CN 112272327 B CN112272327 B CN 112272327B CN 202011156556 A CN202011156556 A CN 202011156556A CN 112272327 B CN112272327 B CN 112272327B
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- video frame
- rendering time
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000009877 rendering Methods 0.000 claims abstract description 474
- 238000012545 processing Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012216 screening Methods 0.000 claims abstract description 44
- 230000001360 synchronised effect Effects 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004904 shortening Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000002035 prolonged effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000003028 Stuttering Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请实施例公开了一种数据处理方法、装置、存储介质及设备。其中，方法包括：获取待处理的多媒体数据包，对多媒体数据包进行分解，得到视频数据和音频数据，视频数据包括至少两个视频帧；获取视频数据中的各视频帧的属性信息，根据视频数据中的各视频帧的属性信息从视频数据中筛选出有效视频帧；对有效视频帧与音频帧进行同步处理，生成待播放的目标多媒体数据包，并对待播放的目标多媒体数据包进行渲染。通过本申请能够减少耗电量以及实现音画同步。
Description
技术领域
本申请涉计算机软件领域技术领域，尤其涉及一种数据处理方法、装置、存储介质及设备。
背景技术
在移动互联网时代，随着智能终端的推广和普及，用户不断追求高品质的音视体验，无损音源渐渐成为视频标配，对多媒体的视频的画面质量要求越来越高。
但是在现有技术中的网络环境十分复杂，机器设备的性能有限，对音视频数据进行全部渲染播放时，耗电量高，且可能会出现跳帧现象，使得音视频不同步，影响用户观看的体验感。
发明内容
本申请实施例所要解决的技术问题在于，提供一种数据处理方法、装置、存储介质及设备，能够减少耗电量且实现音画同步。
本申请实施例一方面提供一种数据处理方法，包括：
获取待处理的多媒体数据包，对上述多媒体数据包进行分解，得到视频数据和音频数据；上述视频数据包括至少两个视频帧；
获取上述视频数据中的各视频帧的属性信息，根据上述视频数据中的各视频帧的属性信息从上述视频数据中筛选出有效视频帧；
对上述有效视频帧与上述音频数据中的音频帧进行同步处理，生成待播放的目标多媒体数据包，并对所述待播放的目标多媒体数据包进行渲染。
其中，上述属性信息包括上述视频数据中的视频帧的渲染时间；
上述根据上述视频数据中的各视频帧的属性信息从上述视频数据中筛选出有效视频帧，包括：
根据上述视频数据中的视频帧的渲染时间确定上述视频数据中任意两个相邻视频帧之间的渲染时间间隔；
根据上述视频数据中任意两个相邻视频帧之间的渲染时间间隔，从上述视频数据中筛选出有效视频帧。
其中，上述视频数据中包括第一视频帧和第二视频帧，上述第一视频帧的渲染时间早于上述第二视频帧的渲染时间，且上述第一视频帧与上述第二视频帧相邻；
上述根据上述视频数据中任意两个相邻视频帧之间的渲染时间间隔，从上述视频数据中筛选出有效视频帧，包括：
若上述第一视频帧与上述第二视频帧之间的渲染时间间隔小于时间间隔阈值，则从上述音频数据中获取与上述第一视频帧对齐的第一音频帧，以及与上述第二视频帧对齐的第二音频帧；
若上述第一音频帧与上述第二音频帧相同，则将上述第一视频帧作为有效视频帧。
其中，上述对上述有效视频帧与上述音频数据中的音频帧进行同步处理，包括：
获取上述第一视频帧与上述第二视频帧之间的第一渲染时间间隔，以及获取上述第二视频帧与上述第二视频帧的后一视频帧之间的第二渲染时间间隔；
对上述第一渲染时间间隔以及上述第二渲染时间间隔进行求和处理，获得目标渲染时间间隔；
根据上述目标渲染时间间隔生成上述第一视频帧的渲染时间，以使上述第一视频帧的渲染时间与上述第一音频帧的渲染时间同步。
其中，上述对所述待播放的目标多媒体数据包进行渲染，包括：
在播放上述目标多媒体数据包的过程中，获取上述目标多媒体数据包中待播放的视频帧的渲染时间，以及获取上述目标多媒体数据包中待播放的音频帧的渲染时间；
根据上述待播放的音频帧的的渲染时间对上述待播放的音频帧进行渲染；
获取与上述待播放的视频帧对齐的目标音频帧的渲染时间，以上述目标音频帧的渲染时间为基准，将上述待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，对上述待播放的视频帧进行渲染。
其中，上述以上述目标音频帧的渲染时间为基准，将上述待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，对上述待播放的视频帧进行渲染，包括：
若上述待播放的视频帧的渲染时间与上述目标音频帧的渲染时间相同，则根据上述待播放的视频帧的渲染时间对上述待播放的视频帧进行渲染；
若上述待播放的视频帧的渲染时间与上述目标音频帧的渲染时间不相同，则根据上述目标音频帧的渲染时间对上述待播放的视频帧进行渲染。
其中，上述根据上述目标音频帧的渲染时间对上述待播放的视频帧进行渲染，包括：
若上述待播放的视频帧的渲染时间早于上述目标音频帧的渲染时间，则延长上述目标多媒体数据中上述待播放的视频帧的前一视频帧的渲染时长，在时间到达上述目标音频帧的渲染时间时，对上述待播放的视频数据以及上述目标音频帧进行渲染；
若上述待播放的视频帧的渲染时间晚于上述目标音频帧的渲染时间，则缩短上述目标多媒体数据中上述待播放的视频帧的前一视频帧的渲染时长，在时间到达上述目标音频帧的渲染时间时，对上述待播放的视频数据以及上述目标音频帧进行渲染。
本申请实施例一方面提供一种数据处理装置，包括：
获取模块，用于获取待处理的多媒体数据包，对上述多媒体数据包进行分解，得到视频数据和音频数据；上述视频数据包括至少两个视频帧；
筛选模块，用于获取上述视频数据中的各视频帧的属性信息，根据上述视频数据中的各视频帧的属性信息从上述视频数据中筛选出有效视频帧；
渲染模块，用于对上述有效视频帧与上述音频数据中的音频帧进行同步处理，生成待播放的目标多媒体数据包，并对上述待播放的目标多媒体数据包进行渲染。
其中，上述属性信息包括上述视频数据中的视频帧的渲染时间；
上述筛选模块包括：
确定单元，用于根据上述视频数据中的视频帧的渲染时间确定上述视频数据中任意两个相邻视频帧之间的渲染时间间隔；
筛选单元，用于根据上述视频数据中任意两个相邻视频帧之间的渲染时间间隔，从上述视频数据中筛选出有效视频帧。
其中，上述视频数据中包括第一视频帧和第二视频帧，上述第一视频帧的渲染时间早于上述第二视频帧的渲染时间，且上述第一视频帧与上述第二视频帧相邻；
上述筛选单元具体用于：
若上述第一视频帧与上述第二视频帧之间的渲染时间间隔小于时间间隔阈值，则从上述音频数据中获取与上述第一视频帧对齐的第一音频帧，以及与上述第二视频帧对齐的第二音频帧；
若上述第一音频帧与上述第二音频帧相同，则将上述第一视频帧作为有效视频帧。
其中，上述渲染模块包括：
第一获取单元，用于获取上述第一视频帧与上述第二视频帧之间的第一渲染时间间隔，以及获取上述第二视频帧与上述第二视频帧的后一视频帧之间的第二渲染时间间隔；
求和处理单元，用于对上述第一渲染时间间隔以及上述第二渲染时间间隔进行求和处理，获得目标渲染时间间隔；
生成单元，用于根据上述目标渲染时间间隔生成上述第一视频帧的渲染时间，以使上述第一视频帧的渲染时间与上述第一音频帧的渲染时间同步。
其中，上述渲染模块还包括：
第二获取单元，用于在播放上述目标多媒体数据包的过程中，获取上述目标多媒体数据包中待播放的视频帧的渲染时间，以及获取上述目标多媒体数据包中待播放的音频帧的渲染时间；
第一渲染单元，用于根据上述待播放的音频帧的的渲染时间对上述待播放的音频帧进行渲染；
第二渲染单元，用于获取与上述待播放的视频帧对齐的目标音频帧的渲染时间，以上述目标音频帧的渲染时间为基准，将上述待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，对上述待播放的视频帧进行渲染。
其中，第二渲染单元具体用于：
若上述待播放的视频帧的渲染时间与上述目标音频帧的渲染时间相同，则根据上述待播放的视频帧的渲染时间对上述待播放的视频帧进行渲染；
若上述待播放的视频帧的渲染时间与上述目标音频帧的渲染时间不相同，则根据上述目标音频帧的渲染时间对上述待播放的视频帧进行渲染。
其中，上述若上述待播放的视频帧的渲染时间与上述目标音频帧的渲染时间不相同，则根据上述目标音频帧的渲染时间对上述待播放的视频帧进行渲染，包括：
若上述待播放的视频帧的渲染时间早于上述目标音频帧的渲染时间，则延长上述目标多媒体数据中上述待播放的视频帧的前一视频帧的渲染时长，在时间到达上述目标音频帧的渲染时间时，对上述待播放的视频数据以及上述目标音频帧进行渲染；
若上述待播放的视频帧的渲染时间晚于上述目标音频帧的渲染时间，则缩短上述目标多媒体数据中上述待播放的视频帧的前一视频帧的渲染时长，在时间到达上述目标音频帧的渲染时间时，对上述待播放的视频数据以及上述目标音频帧进行渲染。
本申请一方面提供了一种计算机设备，包括：处理器及存储器；
其中，上述存储器用于存储计算机程序，上述处理器用于调用上述计算机程序，以执行如下步骤：
获取待处理的多媒体数据包，对上述多媒体数据包进行分解，得到视频数据和音频数据；上述视频数据包括至少两个视频帧；
获取上述视频数据中的各视频帧的属性信息，根据上述视频数据中的各视频帧的属性信息从上述视频数据中筛选出有效视频帧；
对上述有效视频帧与上述音频数据中的音频帧进行同步处理，生成待播放的目标多媒体数据包，并对上述待播放的目标多媒体数据包进行渲染。
本申请实施例一方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序包括程序指令，上述程序指令当被处理器执行时，以执行如下步骤：
获取待处理的多媒体数据包，对上述多媒体数据包进行分解，得到视频数据和音频数据；上述视频数据包括至少两个视频帧；
获取上述视频数据中的各视频帧的属性信息，根据上述视频数据中的各视频帧的属性信息从上述视频数据中筛选出有效视频帧；
对上述有效视频帧与上述音频数据中的音频帧进行同步处理，生成待播放的目标多媒体数据包，并对上述待播放的目标多媒体数据包进行渲染。
本申请实施例中，通过获取待处理的多媒体数据包，对多媒体数据包进行分解，得到视频数据和音频数据，该视频数据包括至少两个视频帧；获取视频数据中的各视频帧的属性信息，根据视频数据中的各视频帧的属性信息从视频数据中筛选出有效视频帧，以此对视频数据进行丢帧处理，减少需要渲染的视频帧的数量，减少耗电量。同时，对有效视频帧与音频帧进行同步处理，生成待播放的目标多媒体数据包，并对待播放的目标多媒体数据包进行渲染，即对视频数据进行丢帧处理，获得有效视频帧后，对该有效视频帧与音频数据中的音频帧进行同步处理，使目标多媒体数据包在播放的时候实现音画同步，避免影响用户的体验感。通过本申请对待处理的多媒体数据包进行处理，能够减少耗电量并实现音画同步。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种数据处理系统的架构示意图；
图2是本申请提供的一种数据处理方法的流程示意图；
图3为本申请实施例提供的一种筛选有效视频帧方法的示意图；
图4是本申请实施例提供的一种现有技术中音视频同步处理方法的示意图；
图5是本申请实施例提供的一种音视频同步处理方法的示意图；
图6是本申请实施例提供的一种对目标多媒体数据包进行播放的示意图；
图7是本申请实施例提供的一种对目标多媒体数据包进行播放的场景示意图；
图8是本申请提供的另一种数据处理方法的流程示意图；
图9是本申请实施例提供的一种数据处理装置的结构示意图；
图10是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。
其中，计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。本申请中，利用计算机视觉技术对多媒体数据包进行分解，得到视频数据和音频数据，并获取视频数据中的各视频帧的属性信息，根据视频数据中的各视频帧的属性信息从视频数据中筛选出有效视频帧。然后对有效视频帧与所述音频帧进行同步处理，生成待播放的目标多媒体数据包，并对待播放的目标多媒体数据包进行渲染。这样可以减少多媒体数据包播放的耗电量，并且实现音画同步，避免影响用户观看的体验感。
请参见图1，图1是本申请实施例提供的一种数据处理系统的结构示意图。如图1所示，该数据处理系统可以包括服务器10和用户终端集群。该用户终端集群可以包括一个或者多个用户终端，这里将不对用户终端的数量进行限制。如图1所示，具体可以包括用户终端100a、用户终端100b、用户终端100c、…、用户终端100n。如图1所示，用户终端100a、用户终端100b、用户终端100c、…、用户终端100n可以分别与上述服务器10进行网络连接，以便于每个用户终端可以通过该网络连接与服务器10进行数据交互。
其中，该用户终端集群中的每个用户终端均可以包括：智能手机、平板电脑、笔记本电脑、桌上型电脑、可穿戴设备、智能家居、头戴设备等具有业务数据处理功能的智能终端。应当理解，如图1所示的用户终端集群中的每个用户终端均可以安装有目标应用(即应用客户端)，当该应用客户端运行于各用户终端中时，可以分别与上述图1所示的服务器10之间进行数据交互。
其中，如图1所示，服务器10可以是指用于对待处理的多媒体数据包进行处理的后端设备，可用于对多媒体数据包进行分解，并从视频数据中筛选出有效视频帧，以及对有效视频帧与所述音频帧进行同步处理；该服务器10可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
为便于理解，本申请实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端。例如，本申请实施例可以将图1所示的用户终端100a作为目标用户终端，该目标用户终端中可以集成有具备该业务数据处理功能的目标应用(即应用客户端)。此时，该目标用户终端可以通过该应用客户端对应的业务数据平台与服务器10之间实现数据交互。
请参见图2，是本申请实施例提供的一种数据处理方法的流程示意图。该方法可由计算机设备来执行，该计算机设备可以是指图1中的服务器11或任一终端，如图2所示，该数据处理方法可以包括步骤S101-S103。
S101，获取待处理的多媒体数据包，对多媒体数据包进行分解，得到视频数据和音频数据。
当计算机设备获取待处理的多媒体数据包时，可以对该待处理的多媒体数据包进行分解，将该多媒体数据包中的视频数据以及音频数据分离，得到视频数据和音频数据。此处的待处理的多媒体数据包可以是摄影设备拍摄的音视频数据，如用户用终端设备(如手机)拍摄的音视频数据包。可以采用音视频分割技术对该多媒体数据包进行分解，分离出视频数据和音频数据。
S102，获取视频数据中的各视频帧的属性信息，根据视频数据中的各视频帧的属性信息从视频数据中筛选出有效视频帧。
对上述多媒体数据包进行分解，获得视频数据和音频数据后，该视频数据中包括至少两个视频帧，获取视频数据中的各视频帧的属性信息，根据该各视频帧的属性信息从视频数据中筛选出有效视频帧。
可选的，上述各视频帧的属性信息包括视频数据中的视频帧的渲染时间，拍摄获得该多媒体数据包的视频数据时，均有记录该视频数据中每个视频帧的渲染时间，可以根据视频数据中的视频帧的渲染时间，从视频数据中筛选出有效视频帧。其中，可以根据视频数据中的视频帧的渲染时间确定视频数据中任意两个相邻视频帧之间的渲染时间间隔，根据视频数据中任意两个相邻视频帧之间的渲染时间间隔，从视频数据中筛选出有效视频帧。其中，视频数据中包括至少两个视频帧，该各个视频帧均具有解码时间戳以及渲染时间戳，解码时间戳用于在指示在该视频帧的解码时间戳到达时对该视频帧进行解码，渲染时间戳用于指示在该视频帧的渲染时间戳到达时对该视频帧进行渲染显示。因此，可以根据各个视频帧的渲染时间戳，确定视频数据中任意两个相邻视频帧之间的渲染时间间隔，然后根据视频数据中任意两个相邻视频帧之间的渲染时间间隔，从视频数据中筛选出有效视频帧。
可选的，上述视频数据中包括第一视频帧和第二视频帧，第一视频帧的渲染时间早于第二视频帧的渲染时间，且第一视频帧与第二视频帧相邻。若第一视频帧与第二视频帧之间的渲染时间间隔小于时间间隔阈值，则从音频数据中获取与第一视频帧对齐的第一音频帧，以及与第二视频帧对齐的第二音频帧。若第一音频帧与所述第二音频帧相同，则将第一视频帧作为有效视频帧。
若第一视频帧与第二视频帧之间的渲染时间间隔小于时间间隔阈值，则说明该第一视频帧与第二视频帧相隔较近，第一视频帧与第二视频帧中的图像内容比较相似。则从音频数据中获取与第一视频帧对齐的第一音频帧，以及与第二视频帧对齐的第二音频帧，若第一音频帧与所述第二音频帧相同，则将第一视频帧作为有效视频帧，将第二视频帧丢失，即从视频数据中将第二视频帧丢掉(删除)，由于第一视频帧与第二视频帧的渲染时间相隔较近，因此第一视频帧渲染显示的时间较短，且第一视频帧与第二视频帧中的图像内容较相似，将第二视频丢掉，人眼不能察觉，也不会影响用户的观看体验感。再加上第一视频帧与第二视频帧对应的音频帧相同，因此，将第二视频帧丢失后，将第一视频帧的渲染时间延长，以使渲染第一视频帧与第二视频帧对应的音频帧渲染时，有对齐的第一视频显示即可。这样，并不会影响用户观看的体验感，实现音画同步，也实现了减少耗电量，节约电能资源。
其中，若第一视频帧与第二视频帧之间的渲染时间间隔大于或者等于时间间隔阈值，则说明第一视频帧与第二视频帧的渲染时间相隔较远，即第一视频帧渲染显示的时间较长。若将第二视频帧丢失，便会增加第一视频帧的渲染时间，即第一视频帧的显示时间，若第一视频帧显示的时间过长，可能会被人眼察觉，产生卡顿的现象，影响用户观看的体验感。因此，则将渲染时间间隔大于或者等于时间间隔阈值的两个视频帧均作为有效视频帧。因此只有在视频数据中任意两个相邻视频帧之间的渲染时间间隔小于时间间隔阈值，且两个视频帧对齐的音频帧相同时，以及均小于对齐的音频帧的渲染时间时，则可以将该相邻两个视频帧中渲染时间较晚的视频帧丢掉(即删除)，将该两个相邻视频帧中渲染时间较早的视频帧作为有效视频帧。
如图3所示，为本申请实施例提供的一种筛选有效视频帧方法的示意图，如图3所示，在正常环境下，由于终端设备(如手机)的屏幕刷新率是60fps，因此对视频数据进行解码后，会将视频数据中的至少两个视频帧编码成60fps，以使用户对应的终端设备可以以60fps的速度去渲染视频数据中的至少两个视频帧的，fps是指帧速，即每秒传输的帧数。而音频中的一个AAC(音频编码)包含1024个采样，音频采样率为44100，因此求音频采样率与采样之间的比值，获得音频数据中至少一个音频帧的帧数为43fps，因此会将该至少一个音频帧编码成43fps，以使用户对应的终端设备可以以43fps的速度去渲染音频帧。如图3所示，在正常情况下，会对视频数据中至少两个视频帧按照各自对应的渲染时间进行渲染显示，同样的，音频数据中的至少一个音频帧也按照各自对应的渲染时间进行渲染播放，且每个视频帧均有对应的音频帧。但这种情况下，会对视频数据中的至少两个视频帧全部进行渲染显示，会需要大量的电源资源以及占用大量的运行资源，耗电量大且浪费资源。而本方案会获取视频数据中的各视频帧的属性信息，根据视频数据中的各视频帧的属性信息从视频数据中筛选出有效视频帧，只对有效视频帧进行渲染显示，且不会影响用户观看的体验感，并且能减少运行资源的占用，减少耗电量，避免资源的浪费。如图3所示，在丢帧环境中，本方案会对解码后的至少两个视频帧进行检测，获取该至少两个视频帧中各视频帧的属性信息，即获取第一视频帧与第二视频帧之间的渲染时间间隔，若该渲染时间间隔小于时间间隔阈值，则从音频数据中获取与第一视频帧对齐的第一音频帧，以及与第二视频帧对齐的第二音频帧。若第一音频帧与所述第二音频帧相同，则将第一视频帧作为有效视频帧。如在丢帧环境中，第1个视频帧与第2个视频帧之间的渲染时间间隔小于时间间隔阈值，则获取与第1个视频帧对齐的第一音频帧，即第1个音频帧，获取与第2视频帧对齐的第二音频帧，即第2个音频帧。由于第一音频帧与第二音频帧不相同，因此将第1个视频帧与第2个视频帧均作为有效视频帧。若第2个视频帧与第3个视频帧之间的渲染时间间隔小于时间间隔阈值，则分别跟获取第2个视频帧与第3个视频帧对齐的音频帧，即均与第3个音频帧对齐，且第2个视频帧与第3个视频帧分别对应的渲染时间均小于第2个音频帧的渲染时间，则将第2个视频帧作为有效视频帧，将第3个视频帧从视频数据丢掉(即删除)。同样的，第5个视频帧与第6个视频帧之间的渲染时间间隔小于时间间隔阈值，且第5视频帧与第6个视频帧均与第4个音频帧对齐，且第5个视频帧与第6个视频帧分别对应的渲染时间均小于第4个音频帧的渲染时间，则将第5个视频帧作为有效视频帧，将第6个视频帧丢掉(即删除)。这样将有效视频帧的渲染显示时间延长，直到下一有效视频帧进行渲染显示，以此减少视频帧的渲染数量，减少耗电量。
S103，对有效视频帧与音频数据中的音频帧进行同步处理，生成待播放的目标多媒体数据包，并对待播放的目标多媒体数据包进行渲染。
从视频数据中筛选出有效视频帧后，对该有效视频帧与音频数据中的各个音频帧进行同步处理，生成带播放的目标多媒体数据包，并对待播放的目标多媒体数据包进行渲染，以实现音画同步，提高用户观看的体验感。
可选的，若第一视频帧与第二视频帧之间的渲染时间间隔小于时间间隔阈值，将第一视频帧作为有效视频帧，以及将第二视频帧删除后，可以获取第一视频帧与第二视频帧之间的第一渲染时间间隔，以及获取第二视频帧与第二视频帧的后一视频帧之间的第二渲染时间间隔。对第一渲染时间间隔以及第二渲染时间间隔进行求和处理，获得目标渲染时间间隔；根据目标渲染时间间隔生成第一视频帧的渲染时间，以使第一视频帧的渲染时间与第一音频帧的渲染时间同步。
将第一视频帧作为有效视频帧，以及将第二视频帧从视频数据中删除后，为了实现音画同步，避免影响用户观看的体验感，可以对从视频数据中筛选出的有效视频帧与音频数据中的音频帧进行同步处理。第一视频帧和第二视频帧属于视频数据，第一视频帧的渲染时间早于第二视频帧的渲染时间，且第一视频帧与第二视频帧相邻。若第一视频帧与第二视频帧之间的渲染时间间隔小于时间间隔阈值，将第一视频帧作为有效视频帧，以及将第二视频帧删除后，可以获取第一视频帧与第二视频帧之间的第一渲染间隔时间，即第一视频帧的渲染时间，以及获取第二视频帧与第二视频帧后一个视频帧之间的第二渲染间隔时间，即第二视频帧的渲染时间。对该第一渲染间隔时间以及第二渲染间隔时间进行求和处理，获得目标渲染间隔时间，根据该目标渲染间隔时间作为第一视频帧的渲染时间。即将第一视频帧作为有效视频帧，以及将第二视频帧丢掉后，可以将第二视频帧的渲染时间添加至第一视频帧上，即延长第一视频帧的渲染时间，以使第一视频帧的渲染时间与第一音频帧的渲染时间同步，以实现音画同步，避免影响用户观看的体验感。对有效视频帧与音频数据中的音频帧进行同步处理，生成带播放的目标多媒体数据，并对该目标多媒体数据进行渲染。
例如，待处理的多媒体数据包中第一视频帧与第二视频帧，第一视频帧与第二视频帧之间的渲染时间间隔为0.05ms，小于预先设置的时间间隔阈值0.06ms，则将第一视频帧作为有效视频帧，以及将第二视频帧丢掉(即删除)。由于第二视频帧与第二视频帧后一个视频帧之间具有渲染间隔时间，播放的时候需要有视频帧上屏，因此可以将第二视频帧与第二视频帧后一个视频帧之间的第二渲染时间间隔，与第一视频帧的第一渲染时间间隔进行求和处理，获得目标渲染时间间隔。并根据该目标渲染时间间隔生成第一视频帧的渲染时间，将延长第一视频帧的渲染时间，至第二视频帧后一个视频帧开始渲染显示时停止显示。以此实现音画同步，对视频数据中的视频帧进行丢帧处理，获得有效视频帧，可以减少播放设备的耗电量，节约电能资源。
其中，对待处理的多媒体数据包进行分解，获得视频数据和音频数据后，可以分别将视频数据放入视频缓冲器中，对该视频数据进行解码，获得至少两个视频帧。具体的，可以将音频数据放入音频缓冲器中，对该音频数据进行解码，获得至少一个音频帧，将视频数据放入视频缓冲器中，对该视频数据进行解码，获得至少两个视频帧。然后将该至少两个视频帧以及至少一个音频帧放入同步器中，根据各自的渲染控制器进行渲染播放。如图4所示，为本申请实施例提供的一种现有技术中音视频同步处理方法的示意图，如图4所示，现有技术中在对视频数据和音频数据解码之后，分别将对应的音频帧和视频帧放到了各自的音画同步的渲染队列中，这样音频帧与视频帧之间的渲染时间(即显示时间pts)没有任何联系，并且在视频帧以及音频帧进行渲染的过程中没有任何的校正，即对目标多媒体数据包进行播放的过程中不做任何校正。此时如果视频帧与视频帧之间的渲染时间出现异常，如视频帧或者音频帧缺失(丢帧)，则可能出现永远无法校正的问题。因此就会出现音画不同步(即画面快于声音或者声音快于画面)，而不能进行校正，影响用户观看的体验感。
如图5所示，为本申请实施例提供的一种音视频同步处理方法的示意图，如图5所示，对视频数据以及音频数据进行解码后，会将对应的至少两个视频帧和至少一个音频放入各自的渲染应用程序中，即视频帧放入视频渲染控制器中，音频帧放入音频渲染控制器中。并根据各视频帧的属性信息，从视频数据中筛选出有效视频帧后，至少一个音频帧则按照对应音频帧的渲染时间进行渲染播放，而有效视频帧则由渲染控制器中的视频线程轮询的去目标多媒体数据包中获取待播放的视频帧，该待播放的视频帧为有效视频帧，并确定与该待播放的视频帧对应的目标音频帧，将该待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，对齐后再对该待播放的视频帧进行渲染显示。这样可以实现音视频的音画同步，不会影响用户观看的体验感，并且还能节省电能资源。
例如，如图6所示，为本申请实施例提供的一种对目标多媒体数据包进行播放的示意图，如图6所示，可以对60fps的视频文件(即待处理的多媒体数据包)进行分解，分离出视频数据和音频数据，分别将视频数据和音频数据放入各自的渲染控制器中，视频控制器会获取至少两个视频帧中各视频帧的属性信息，如个视频帧的渲染时间。根据各视频帧的属性信息从视频数据中筛选出有效视频帧，如可以将60个视频帧中筛选出24个有效视频帧，将视频帧的帧速从60fps变成24fps，然后利用系统视频播放器对该24fps的视频帧进行渲染显示。音频控制器会对音频帧进行编码，将音频编码成43fps的帧速进行播放，然后利用系统音频播放器进行渲染播放。其中，音频帧正常的按照对应的渲染时间进行渲染播放，而有效视频帧在渲染播放的时候，会与对应的目标音频帧进行对齐后再进行渲染播放。这样，不仅不会影响用户视觉感受，而且还能保持音画同步，减少耗电量。
例如，本方案可以应用于直播场景中，如图7所示，为本申请实施例提供的一种对目标多媒体数据包进行播放的场景示意图，如图7所示，可以将第一用户端的游戏过程进行录制，获得待处理的多媒体数据包，将该待处理的数据包进行分解，获得视频数据和音频数据，根据视频数据中至少两个视频帧的属性信息，从视频数据中筛选出有效视频帧，即对视频数据进行丢帧处理，减少视频帧渲染的数量，以此减少耗电量。然后将有效视频帧与音频数据中的音频帧进行同步处理，获得目标多媒体数据包。另一用户端可以对该目标多媒体数据包进行播放，即在直播显示界面上渲染显示有效视频帧，以及渲染播放音频数据中的音频帧，同时可以在评论区对该目标多媒体数据播放的画面进行评论。
在本申请实施例中，通过获取待处理的多媒体数据包，对多媒体数据包进行分解，得到视频数据和音频数据，该视频数据包括至少两个视频帧；获取视频数据中的各视频帧的属性信息，根据视频数据中的各视频帧的属性信息从视频数据中筛选出有效视频帧，以此对视频数据进行丢帧处理，减少需要渲染的视频帧的数量，减少耗电量。同时，对有效视频帧与音频帧进行同步处理，生成待播放的目标多媒体数据包，并对待播放的目标多媒体数据包进行渲染，即对视频数据进行丢帧处理获得有效视频帧后，对该有效视频帧与音频数据中的音频帧进行同步处理，即确定与目标多媒体数据包中待播放的视频帧对齐的目标音频帧，在播放目标多媒体数据包的过程中，以目标音频帧的渲染时间为基准，对该待播放的视频帧的渲染时间进行调整，使待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，以使目标多媒体数据包在播放的时候实现音画同步，避免影响用户的体验感。通过本申请对待处理的多媒体数据包进行处理，能够减少耗电量并实现音画同步。
请参见图8，是本申请实施例提供的另一种数据处理方法的流程示意图。该方法可由计算机设备来执行，该计算机设备可以是指图1中的服务器11或任一终端，如图8所示，该数据处理方法可以包括步骤S201-S206。
S201，获取待处理的多媒体数据包，对多媒体数据包进行分解，得到视频数据和音频数据。
S202，获取视频数据中的各视频帧的属性信息，根据视频数据中的各视频帧的属性信息从视频数据中筛选出有效视频帧。
S203，对有效视频帧与音频数据中的音频帧进行同步处理，生成待播放的目标多媒体数据包。
在本申请实施例中，步骤S201-S203的具体内容可以参见图2实施例所阐述的内容，在此不再累述。
S204，在播放目标多媒体数据包的过程中，获取目标多媒体数据包中待播放的视频帧的渲染时间，以及获取目标多媒体数据包中待播放的音频帧的渲染时间。
目标多媒体数据包中包括至少一个有效视频帧以及该至少一个有效视频帧的渲染时间，该目标多媒体数包根据对待处理的多媒体数据包进行丢帧处理获得，即从待处理的多媒体数据包的视频数据中筛选出有效视频帧，并对该有效视频帧与多媒体数据包的音频数据中的音频帧进行同步处理获得的。在获得待处理的多媒体数据包时，可以是对某一场景进行拍摄或者，如对某一场游戏的画面以及声音进行拍摄获得，该多媒体数据包中包括视频数据和音频数据。其中，视频数据中的每一个视频帧均有渲染时间，可根据该渲染时间决定该视频帧在何时进行显示。同样的音频数据中的每个音频帧也具有渲染时间，该音频帧的渲染时间决定该音频帧在何时进行播放。且视频数据中的每个视频帧均具有对齐的音频帧，即视频数据中某一个视频帧所显示的目标对象在实施某个动作时，应该播放与其对齐的音频帧。例如，视频数据中的目标对象在说“吃饭”时，应播放音频数据中“吃饭”对应的音频帧。因此，在获得播放目标多媒体数据包的过程中，获取目标多媒体数据包中待播放的视频帧的渲染时间，以及与待播放的视频帧对齐的目标音频帧的渲染时间，以便对该目标多媒体数据包进行播放。
S205，根据待播放的音频帧的渲染时间对待播放的音频帧进行渲染。
由于音频数据中的每个音频帧均具有解码时间戳以及渲染时间，因此可以对多媒体数据包进行分解，获得视频数据和音频数据后，可以将音频数据放入对应的系统音频播放器中，根据每个音频帧对应的解码时间戳对对应音频帧进行解码，再根据音频数据中每个音频帧的渲染时间去读取渲染播放。该音频帧的渲染时间是指该音频帧的渲染播放时间。
S206，获取与待播放的视频帧对齐的目标音频帧的渲染时间，以目标音频帧的渲染时间为基准，将待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，对待播放的视频帧进行渲染。
可以将目标多媒体数据包的视频数据放入视频播放器中，构建一个视频线程，根据该视频线程从视频播放器中轮询获取待播放的视频帧，该视频播放器用于对目标多媒体数据包中的有效视频帧进行渲染显示，即将有效视频帧正确地“画”在屏幕上。并获取该待播放的视频帧对齐的目标音频帧的渲染时间，以目标音频帧的渲染时间为基准，将待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，对待播放的视频帧进行渲染。具体的，将音频数据放入音频播放器中后音频数据中的各个音频帧根据对应的音频帧的渲染时间进行渲染，即音频数据中的音频帧正常的播放。而视频数据中的视频帧以音频数据中音频帧的渲染时间为参考时钟，与对应的音频帧的渲染时间对齐，对待播放的视频帧进行渲染向该参考时钟对齐。然后根据各个音频帧对应的渲染时间对对应音频帧进行渲染，在各个音频帧对应的显示时间戳对对应音频帧进行显示，音频数据中的各个音频帧根据各个音频帧的渲染时间进行渲染。当视频线程从目标多媒体数据包中获得待播放的视频帧时，则获取与该待播放的视频帧对齐的目标音频帧的渲染时间，该视频帧的渲染时间是指该视频帧的显示时间。以该目标音频帧的渲染时间为基准，对待播放视频帧的渲染时间进行调整，将该待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐。将该待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐后，对该待播放的视频帧进行渲染显示。
可选的，若待播放的视频帧的渲染时间与目标音频帧的渲染时间相同，则根据待播放的视频帧的渲染时间对待播放的视频帧进行渲染；若待播放的视频帧的渲染时间与目标音频帧的渲染时间不相同，则根据目标音频帧的渲染时间对待播放的视频帧进行渲染。
若待播放的视频帧的渲染时间与该待播放的视频帧对齐的目标音频帧的渲染时间相同，则说明该待播放的视频帧与目标音频帧是同步的，则根据代播放的视频帧的渲染时间对该待播放的视频帧进行渲染显示，不作任何调整。若待播放的视频帧的渲染时间与目标音频帧的渲染时间不相同，如待播放的视频帧的渲染时间与目标音频帧的渲染时间相隔较大，则说明该待播放的视频帧与目标音频帧不同步。则以目标音频帧的渲染时间为基准，对待播放的视频帧的渲染时间进行调整，将该待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，对齐后再根据对齐后的渲染时间对该待播放的视频帧进行渲染显示。
例如，待播放的视频帧的渲染时间在第10s，则确定音频数据中与该待播放的视频帧对齐的目标音频帧的渲染时间，若该目标音频帧的渲染时间也为第10s，则说明该待播放的视频帧与目标音频帧是同步，即目前所播放的画面与声音是同步的，则不对待播放的视频帧的渲染时间进行调整，直接根据该待播放的视频帧的渲染时间进行渲染显示。若目标音频帧的渲染时间为第9s或者第11s，大于或者小于待播放的视频帧的渲染时间，则以该目标音频帧的渲染时间为基准，对待播放的视频帧的渲染时间调整，使待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，即将待播放的视频帧的渲染时间调整为第9s或者第11s，然后在第9s或者第11s对该待播放的视频帧进行渲染显示。
可选的，若待播放的视频帧的渲染时间早于目标音频帧的渲染时间，则延长目标多媒体数据中待播放的视频帧的前一视频帧的渲染时长，在时间到达目标音频帧的渲染时间时，对待播放的视频数据以及目标音频帧进行渲染。若待播放的视频帧的渲染时间晚于目标音频帧的渲染时间，则缩短目标多媒体数据中待播放的视频数据帧的前一视频帧的渲染时长，在时间到达目标音频帧的渲染时间时，对待播放的视频数据以及目标音频帧进行渲染。
若待播放的视频帧的渲染时间早于目标音频帧的渲染时间，该目标音频帧的渲染时间是指该目标音频帧实际渲染的时间，则说明该待播放的视频帧的渲染时间过早，过早对该待播放的视频帧进行渲染显示的话，可能会出现画面早于声音的现象，即出现音画不同步的现象，如画面中显示某个人已经说了某句话，但是该句话的声音隔了一段时间才播放。则延长目标多媒体数据中该待播放的视频帧的前一视频帧的渲染时长，即延长该待播放的视频帧的前一视频帧的显示时间，是使该前一视频帧在屏幕上的显示时间延长一点，直到目标音频帧的渲染时间到达时，即使待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，再对该待播放的视频帧进行渲染显示。
若待播放的视频帧的渲染时间晚于目标音频帧的渲染时间，则说明该待播放的视频帧的渲染时间过晚，与该待播放的视频帧对齐的目标音频帧已经渲染播放了，若该待播放的视频帧按照该渲染时间进行渲染显示的话，可能会出现声音早于画面的现象，即出现音画不同步的现象，如画面中显示某个人还没有说某句话，但是该句话的声音就已经播放了。则缩短目标多媒体数据中待播放的视频帧的前一视频帧的渲染时长，在时间到达目标音频帧的渲染时间时，对待播放的视频数据以及目标音频帧进行渲染。即缩短该待播放的视频帧的前面视频帧的渲染显示时间，加速前面视频帧的渲染显示时间，对该待播放的视频帧的渲染时间进行调整，以使待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，以此对待播放的视频帧进行渲染显示，以实现音画同步，以及实现减少耗电量。
在本申请实施例中，通过获取待处理的多媒体数据包，对多媒体数据包进行分解，得到视频数据和音频数据，该视频数据包括至少两个视频帧；获取视频数据中的各视频帧的属性信息，根据视频数据中的各视频帧的属性信息从视频数据中筛选出有效视频帧，以此对视频数据进行丢帧处理，减少需要渲染的视频帧的数量，减少耗电量。同时，对有效视频帧与音频帧进行同步处理，并对所述待播放的目标多媒体数据包进行渲染，即对视频数据进行丢帧处理，获得有效视频帧后，对该有效视频帧与音频数据中的音频帧进行同步处理，即确定与带播放的视频帧对齐的目标音频帧。在播放目标多媒体数据包的过程中，以目标音频帧的渲染时间为基准，对待播放的视频帧的渲染时间进行调整，使待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，以使目标多媒体数据包在播放的时候实现音画同步，避免影响用户的体验感。通过本申请对待处理的多媒体数据包进行处理，能够减少耗电量并实现音画同步。
请参见图9，是本申请实施例提供的一种数据处理装置的结构示意图。上述数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该数据处理装置为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图9所示，该数据处理装置可以包括：获取模块11、筛选模块12、渲染模块13。
获取模块11，用于获取待处理的多媒体数据包，对上述多媒体数据包进行分解，得到视频数据和音频数据；上述视频数据包括至少两个视频帧；
筛选模块12，用于获取上述视频数据中的各视频帧的属性信息，根据上述视频数据中的各视频帧的属性信息从上述视频数据中筛选出有效视频帧；
其中，上述属性信息包括上述视频数据中的视频帧的渲染时间；
上述筛选模块12包括：
确定单元，用于根据上述视频数据中的视频帧的渲染时间确定上述视频数据中任意两个相邻视频帧之间的渲染时间间隔；
筛选单元，用于根据上述视频数据中任意两个相邻视频帧之间的渲染时间间隔，从上述视频数据中筛选出有效视频帧。
其中，上述视频数据中包括第一视频帧和第二视频帧，上述第一视频帧的渲染时间早于上述第二视频帧的渲染时间，且上述第一视频帧与上述第二视频帧相邻；
上述筛选单元具体用于：
若上述第一视频帧与上述第二视频帧之间的渲染时间间隔小于时间间隔阈值，则从上述音频数据中获取与上述第一视频帧对齐的第一音频帧，以及与上述第二视频帧对齐的第二音频帧；
若上述第一音频帧与上述第二音频帧相同，则将上述第一视频帧作为有效视频帧。
渲染模块13，用于对上述有效视频帧与上述音频数据中的音频帧进行同步处理，生成待播放的目标多媒体数据包，并对所述待播放的目标多媒体数据包进行渲染。
其中，上述渲染模块13包括：
第一获取单元，用于获取上述第一视频帧与上述第二视频帧之间的第一渲染时间间隔，以及获取上述第二视频帧与上述第二视频帧的后一视频帧之间的第二渲染时间间隔；
求和处理单元，用于对上述第一渲染时间间隔以及上述第二渲染时间间隔进行求和处理，获得目标渲染时间间隔；
生成单元，用于根据上述目标渲染时间间隔生成上述第一视频帧的渲染时间，以使上述第一视频帧的渲染时间与上述第一音频帧的渲染时间同步。
其中，上述渲染模块13还包括：
第二获取单元，用于在播放上述目标多媒体数据包的过程中，获取上述目标多媒体数据包中待播放的视频帧的渲染时间，以及获取上述目标多媒体数据包中待播放的音频帧的渲染时间；
第一渲染单元，用于根据上述待播放的音频帧的的渲染时间对上述待播放的音频帧进行渲染；
第二渲染单元，用于获取与上述待播放的视频帧对齐的目标音频帧的渲染时间，以上述目标音频帧的渲染时间为基准，将上述待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，对上述待播放的视频帧进行渲染。
其中，第二渲染单元用于：
若上述待播放的视频帧的渲染时间与上述目标音频帧的渲染时间相同，则根据上述待播放的视频帧的渲染时间对上述待播放的视频帧进行渲染；
若上述待播放的视频帧的渲染时间与上述目标音频帧的渲染时间不相同，则根据上述目标音频帧的渲染时间对上述待播放的视频帧进行渲染。
其中，上述第二渲染单元还具体用于：
若上述待播放的视频帧的渲染时间早于上述目标音频帧的渲染时间，则延长上述目标多媒体数据中上述待播放的视频帧的前一视频帧的渲染时长，在时间到达上述目标音频帧的渲染时间时，对上述待播放的视频数据以及上述目标音频帧进行渲染；
若上述待播放的视频帧的渲染时间晚于上述目标音频帧的渲染时间，则缩短上述目标多媒体数据中上述待播放的视频帧的前一视频帧的渲染时长，在时间到达上述目标音频帧的渲染时间时，对上述待播放的视频数据以及上述目标音频帧进行渲染。
根据本申请的一个实施例，图2或者图8所示的数据处理方法所涉及的步骤可由图9所示的数据处理装置中的各个模块来执行。例如，图2中所示的步骤S101可由图9中的第一获取模块11来执行，图2中所示的步骤S102可由图9中的筛选模块12来执行；图2中所示的步骤S103可由图9中的渲染模块13来执行。
根据本申请的一个实施例，图9所示的数据处理装置中的各个模块可以分别或全部合并为一个或若干个单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个子单元，可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的，在实际应用中，一个模块的功能也可以由多个单元来实现，或者多个模块的功能由一个单元实现。在本申请的其它实施例中，数据处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算机设备上运行能够执行如图2或者图8中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图9中所示的数据处理装置，以及来实现本申请实施例的数据处理方法。上述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
在本申请实施例中，通过获取待处理的多媒体数据包，对多媒体数据包进行分解，得到视频数据和音频数据，该视频数据包括至少两个视频帧；获取视频数据中的各视频帧的属性信息，根据视频数据中的各视频帧的属性信息从视频数据中筛选出有效视频帧，以此对视频数据进行丢帧处理，减少需要渲染的视频帧的数量，减少耗电量。同时，对有效视频帧与音频帧进行同步处理，并对所述待播放的目标多媒体数据包进行渲染，即对视频数据进行丢帧处理，获得有效视频帧后，对该有效视频帧与音频数据中的音频帧进行同步处理，即确定与带播放的视频帧对齐的目标音频帧。在播放目标多媒体数据包的过程中，以目标音频帧的渲染时间为基准，对待播放的视频帧的渲染时间进行调整，使待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，以使目标多媒体数据包在播放的时候实现音画同步，避免影响用户的体验感。通过本申请对待处理的多媒体数据包进行处理，能够减少耗电量并实现音画同步。
请参见图10，是本申请实施例提供的一种计算机设备的结构示意图。如图10所示，上述计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图10所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取待处理的多媒体数据包，对所述多媒体数据包进行分解，得到视频数据和音频数据；所述视频数据包括至少两个视频帧；
获取所述视频数据中的各视频帧的属性信息，根据所述视频数据中的各视频帧的属性信息从所述视频数据中筛选出有效视频帧；
对所述有效视频帧与所述音频数据中的音频帧进行同步处理，生成待播放的目标多媒体数据包，并对所述待播放的目标多媒体数据包进行渲染。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
根据所述视频数据中的视频帧的渲染时间确定所述视频数据中任意两个相邻视频帧之间的渲染时间间隔；
根据所述视频数据中任意两个相邻视频帧之间的渲染时间间隔，从所述视频数据中筛选出有效视频帧。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
若所述第一视频帧与所述第二视频帧之间的渲染时间间隔小于时间间隔阈值，则从所述音频数据中获取与所述第一视频帧对齐的第一音频帧，以及与所述第二视频帧对齐的第二音频帧；
若所述第一音频帧与所述第二音频帧相同，则将所述第一视频帧作为有效视频帧；
可选的，所述视频数据中包括第一视频帧和第二视频帧，所述第一视频帧的渲染时间早于所述第二视频帧的渲染时间，且所述第一视频帧与所述第二视频帧相邻。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取所述第一视频帧与所述第二视频帧之间的第一渲染时间间隔，以及获取所述第二视频帧与所述第二视频帧的后一视频帧之间的第二渲染时间间隔；
对所述第一渲染时间间隔以及所述第二渲染时间间隔进行求和处理，获得目标渲染时间间隔；
根据所述目标渲染时间间隔生成所述第一视频帧的渲染时间，以使所述第一视频帧的渲染时间与所述第一音频帧的渲染时间同步。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
在播放所述目标多媒体数据包的过程中，获取所述目标多媒体数据包中待播放的视频帧的渲染时间，以及获取所述目标多媒体数据包中待播放的音频帧的渲染时间；
根据所述待播放的音频帧的的渲染时间对所述待播放的音频帧进行渲染；
获取与所述待播放的视频帧对齐的目标音频帧的渲染时间，以所述目标音频帧的渲染时间为基准，将所述待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，对所述待播放的视频帧进行渲染。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
若所述待播放的视频帧的渲染时间与所述目标音频帧的渲染时间相同，则根据所述待播放的视频帧的渲染时间对所述待播放的视频帧进行渲染；
若所述待播放的视频帧的渲染时间与所述目标音频帧的渲染时间不相同，则根据所述目标音频帧的渲染时间对所述待播放的视频帧进行渲染。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
若所述待播放的视频帧的渲染时间早于所述目标音频帧的渲染时间，则延长所述目标多媒体数据中所述待播放的视频帧的前一视频帧的渲染时长，在时间到达所述目标音频帧的渲染时间时，对所述待播放的视频数据以及所述目标音频帧进行渲染；
若所述待播放的视频帧的渲染时间晚于所述目标音频帧的渲染时间，则缩短所述目标多媒体数据中所述待播放的视频帧的前一视频帧的渲染时长，在时间到达所述目标音频帧的渲染时间时，对所述待播放的视频数据以及所述目标音频帧进行渲染。
在本申请实施例中，通过获取待处理的多媒体数据包，对多媒体数据包进行分解，得到视频数据和音频数据，该视频数据包括至少两个视频帧；获取视频数据中的各视频帧的属性信息，根据视频数据中的各视频帧的属性信息从视频数据中筛选出有效视频帧，以此对视频数据进行丢帧处理，减少需要渲染的视频帧的数量，减少耗电量。同时，对有效视频帧与音频帧进行同步处理，并对所述待播放的目标多媒体数据包进行渲染，即对视频数据进行丢帧处理，获得有效视频帧后，对该有效视频帧与音频数据中的音频帧进行同步处理，即确定与带播放的视频帧对齐的目标音频帧。在播放目标多媒体数据包的过程中，以目标音频帧的渲染时间为基准，对待播放的视频帧的渲染时间进行调整，使待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，以使目标多媒体数据包在播放的时候实现音画同步，避免影响用户的体验感。通过本申请对待处理的多媒体数据包进行处理，能够减少耗电量并实现音画同步。
应当理解，本申请实施例中所描述的计算机设备1000可执行前文图2以及前文图8所对应实施例中对上述数据处理方法的描述，也可执行前文图9所对应实施例中对上述数据处理装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
本申请实施例中，此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且上述计算机可读存储介质中存储有前文提及的数据处理装置所执行的计算机程序，且上述计算机程序包括程序指令，当上述处理器执行上述程序指令时，能够执行前文图2或者图8对应实施例中对上述数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。
作为示例，上述程序指令可被部署在一个计算机设备上执行，或者被部署位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链网络。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁盘、光盘、只读存储器(Read-Only Memory，ROM)或随机存储器(Random Access Memory，RAM)等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
获取待处理的多媒体数据包，对所述多媒体数据包进行分解，得到视频数据和音频数据；所述视频数据包括至少两个视频帧；
获取所述视频数据中的各视频帧的属性信息，根据所述视频数据中的各视频帧的属性信息从所述视频数据中筛选出有效视频帧；
对所述有效视频帧与所述音频数据中的音频帧进行同步处理，生成待播放的目标多媒体数据包，并对所述待播放的目标多媒体数据包进行渲染；
所述视频数据中包括第一视频帧和第二视频帧，所述第一视频帧的渲染时间早于所述第二视频帧的渲染时间，且所述第一视频帧与所述第二视频帧相邻；所述第一视频帧为有效视频帧，所述第一视频帧与所述第二视频帧具有相同音频帧；
所述对所述有效视频帧与所述音频数据中的音频帧进行同步处理，包括：
获取所述第一视频帧与所述第二视频帧之间的第一渲染时间间隔，以及获取所述第二视频帧与所述第二视频帧的后一视频帧之间的第二渲染时间间隔；
从所述视频数据中删除所述第二视频帧；
对所述第一渲染时间间隔以及所述第二渲染时间间隔进行求和处理，获得目标渲染时间间隔；
根据所述目标渲染时间间隔生成所述第一视频帧的渲染时间，以使所述第一视频帧的渲染时间与第一音频帧的渲染时间同步；所述第一音频帧为所述音频数据中与所述第一视频帧对齐的音频帧。
2.根据权利要求1所述的方法，其特征在于，所述属性信息包括所述视频数据中的视频帧的渲染时间；
所述根据所述视频数据中的各视频帧的属性信息从所述视频数据中筛选出有效视频帧，包括：
根据所述视频数据中的视频帧的渲染时间确定所述视频数据中任意两个相邻视频帧之间的渲染时间间隔；
根据所述视频数据中任意两个相邻视频帧之间的渲染时间间隔，从所述视频数据中筛选出有效视频帧。
3.根据权利要求2所述的方法，其特征在于，所述根据所述视频数据中任意两个相邻视频帧之间的渲染时间间隔，从所述视频数据中筛选出有效视频帧，包括：
若所述第一视频帧与所述第二视频帧之间的渲染时间间隔小于时间间隔阈值，则从所述音频数据中获取与所述第一视频帧对齐的第一音频帧，以及与所述第二视频帧对齐的第二音频帧；
若所述第一音频帧与所述第二音频帧相同，则将所述第一视频帧作为有效视频帧。
4.根据权利要求1所述的方法，其特征在于，所述并对所述待播放的目标多媒体数据包进行渲染，包括：
在播放所述目标多媒体数据包的过程中，获取所述目标多媒体数据包中待播放的视频帧的渲染时间，以及获取所述目标多媒体数据包中待播放的音频帧的渲染时间；
根据所述待播放的音频帧的的渲染时间对所述待播放的音频帧进行渲染；
获取与所述待播放的视频帧对齐的目标音频帧的渲染时间，以所述目标音频帧的渲染时间为基准，将所述待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，对所述待播放的视频帧进行渲染。
5.根据权利要求4所述的方法，其特征在于，所述以所述目标音频帧的渲染时间为基准，将所述待播放的视频帧的渲染时间与目标音频帧的渲染时间对齐，对所述待播放的视频帧进行渲染，包括：
若所述待播放的视频帧的渲染时间与所述目标音频帧的渲染时间相同，则根据所述待播放的视频帧的渲染时间对所述待播放的视频帧进行渲染；
若所述待播放的视频帧的渲染时间与所述目标音频帧的渲染时间不相同，则根据所述目标音频帧的渲染时间对所述待播放的视频帧进行渲染。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标音频帧的渲染时间对所述待播放的视频帧进行渲染，包括：
若所述待播放的视频帧的渲染时间早于所述目标音频帧的渲染时间，则延长所述目标多媒体数据中所述待播放的视频帧的前一视频帧的渲染时长，在时间到达所述目标音频帧的渲染时间时，对所述待播放的视频数据以及所述目标音频帧进行渲染；
若所述待播放的视频帧的渲染时间晚于所述目标音频帧的渲染时间，则缩短所述目标多媒体数据中所述待播放的视频帧的前一视频帧的渲染时长，在时间到达所述目标音频帧的渲染时间时，对所述待播放的视频数据以及所述目标音频帧进行渲染。
7.一种数据处理装置，其特征在于，包括：
获取模块，用于获取待处理的多媒体数据包，对所述多媒体数据包进行分解，得到视频数据和音频数据；所述视频数据包括至少两个视频帧；
筛选模块，用于获取所述视频数据中的各视频帧的属性信息，根据所述视频数据中的各视频帧的属性信息从所述视频数据中筛选出有效视频帧；
渲染模块，用于对所述有效视频帧与所述音频数据中的音频帧进行同步处理，生成待播放的目标多媒体数据包，并对所述待播放的目标多媒体数据包进行渲染；
所述视频数据中包括第一视频帧和第二视频帧，所述第一视频帧的渲染时间早于所述第二视频帧的渲染时间，且所述第一视频帧与所述第二视频帧相邻；所述第一视频帧为有效视频帧，所述第一视频帧与所述第二视频帧具有相同音频帧；
所述渲染模块对所述有效视频帧与所述音频数据中的音频帧进行同步处理，包括：
从所述视频数据中删除所述第二视频帧；获取所述第一视频帧与所述第二视频帧之间的第一渲染时间间隔，以及获取所述第二视频帧与所述第二视频帧的后一视频帧之间的第二渲染时间间隔；
对所述第一渲染时间间隔以及所述第二渲染时间间隔进行求和处理，获得目标渲染时间间隔；
根据所述目标渲染时间间隔生成所述第一视频帧的渲染时间，以使所述第一视频帧的渲染时间与第一音频帧的渲染时间同步；所述第一音频帧为所述音频数据中与所述第一视频帧对齐的音频帧。
8.根据权利要求7所述的装置，其特征在于，所述属性信息包括所述视频数据中的视频帧的渲染时间；
所述筛选模块根据所述视频数据中的各视频帧的属性信息从所述视频数据中筛选出有效视频帧，包括：
根据所述视频数据中的视频帧的渲染时间确定所述视频数据中任意两个相邻视频帧之间的渲染时间间隔；
根据所述视频数据中任意两个相邻视频帧之间的渲染时间间隔，从所述视频数据中筛选出有效视频帧。
9.一种计算机设备，其特征在于，包括：处理器及存储器；
其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011156556.1A CN112272327B (zh) | 2020-10-26 | 2020-10-26 | 数据处理方法、装置、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011156556.1A CN112272327B (zh) | 2020-10-26 | 2020-10-26 | 数据处理方法、装置、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112272327A CN112272327A (zh) | 2021-01-26 |
| CN112272327B true CN112272327B (zh) | 2021-10-15 |
Family
ID=74342134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011156556.1A Active CN112272327B (zh) | 2020-10-26 | 2020-10-26 | 数据处理方法、装置、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112272327B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113296723B (zh) * | 2021-05-21 | 2022-04-01 | 重庆紫光华山智安科技有限公司 | 目标框与视频帧的同步显示方法、系统、设备及介质 |
| CN113490044B (zh) * | 2021-06-29 | 2023-07-28 | 北京百度网讯科技有限公司 | 一种视频播放方法、装置、电子设备及存储介质 |
| CN113507637A (zh) * | 2021-07-13 | 2021-10-15 | 北京字跳网络技术有限公司 | 媒体文件处理方法、装置、设备、可读存储介质及产品 |
| CN113786605B (zh) * | 2021-08-23 | 2024-03-22 | 咪咕文化科技有限公司 | 视频处理方法、装置和计算机可读存储介质 |
| CN113891132A (zh) * | 2021-10-25 | 2022-01-04 | 北京字节跳动网络技术有限公司 | 一种音视频同步监控方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107509100A (zh) * | 2017-09-15 | 2017-12-22 | 深圳国微技术有限公司 | 音视频同步方法、系统、计算机装置及计算机可读存储介质 |
| CN107613357A (zh) * | 2017-09-13 | 2018-01-19 | 广州酷狗计算机科技有限公司 | 声画同步优化方法、装置及可读存储介质 |
| CN110585702A (zh) * | 2019-09-17 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 一种音画同步数据处理方法、装置、设备及介质 |
| CN111464256A (zh) * | 2020-04-14 | 2020-07-28 | 北京百度网讯科技有限公司 | 时间戳的校正方法、装置、电子设备和存储介质 |
| CN111641858A (zh) * | 2020-04-29 | 2020-09-08 | 上海推乐信息技术服务有限公司 | 一种音视频同步方法及系统 |
| CN111757158A (zh) * | 2020-06-29 | 2020-10-09 | 北京百度网讯科技有限公司 | 音视频同步播放方法、装置、设备和存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI322949B (en) * | 2006-03-24 | 2010-04-01 | Quanta Comp Inc | Apparatus and method for determining rendering duration of video frame |
| TWI314017B (en) * | 2006-07-12 | 2009-08-21 | Quanta Comp Inc | System and method for synchronizing video frames and audio frames |
| US8243119B2 (en) * | 2007-09-30 | 2012-08-14 | Optical Fusion Inc. | Recording and videomail for video conferencing call systems |
| US20130141643A1 (en) * | 2011-12-06 | 2013-06-06 | Doug Carson & Associates, Inc. | Audio-Video Frame Synchronization in a Multimedia Stream |
| US9674539B2 (en) * | 2013-03-14 | 2017-06-06 | Infocus Corporation | Concurrent decompression of multiple video streams with constrained decompression resources |
| WO2015002586A1 (en) * | 2013-07-04 | 2015-01-08 | Telefonaktiebolaget L M Ericsson (Publ) | Audio and video synchronization |
| CN107454479A (zh) * | 2017-08-22 | 2017-12-08 | 无锡天脉聚源传媒科技有限公司 | 一种多媒体数据的处理方法及装置 |
| CN107566890B (zh) * | 2017-09-15 | 2020-05-22 | 深圳国微技术有限公司 | 处理音频流播放异常的方法、装置、计算机装置及计算机可读存储介质 |
| CN107948735B (zh) * | 2017-12-06 | 2020-09-25 | 北京乐我无限科技有限责任公司 | 一种视频播放方法、装置及电子设备 |
| CN111093108B (zh) * | 2019-12-18 | 2021-12-03 | 广州酷狗计算机科技有限公司 | 音画同步判断方法、装置、终端及计算机可读存储介质 |
-
2020
- 2020-10-26 CN CN202011156556.1A patent/CN112272327B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107613357A (zh) * | 2017-09-13 | 2018-01-19 | 广州酷狗计算机科技有限公司 | 声画同步优化方法、装置及可读存储介质 |
| CN107509100A (zh) * | 2017-09-15 | 2017-12-22 | 深圳国微技术有限公司 | 音视频同步方法、系统、计算机装置及计算机可读存储介质 |
| CN110585702A (zh) * | 2019-09-17 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 一种音画同步数据处理方法、装置、设备及介质 |
| CN111464256A (zh) * | 2020-04-14 | 2020-07-28 | 北京百度网讯科技有限公司 | 时间戳的校正方法、装置、电子设备和存储介质 |
| CN111641858A (zh) * | 2020-04-29 | 2020-09-08 | 上海推乐信息技术服务有限公司 | 一种音视频同步方法及系统 |
| CN111757158A (zh) * | 2020-06-29 | 2020-10-09 | 北京百度网讯科技有限公司 | 音视频同步播放方法、装置、设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| "基于时间轴模型的音视频同步的研究与实现";刘芳;《中国优秀硕士学位论文全文数据库》;20090315;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112272327A (zh) | 2021-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112272327B (zh) | 数据处理方法、装置、存储介质及设备 | |
| CN108566558B (zh) | 视频流处理方法、装置、计算机设备及存储介质 | |
| WO2019205872A1 (zh) | 视频流处理方法、装置、计算机设备及存储介质 | |
| CN112333179B (zh) | 虚拟视频的直播方法、装置、设备及可读存储介质 | |
| CN107979763B (zh) | 一种虚拟现实设备生成视频、播放方法、装置及系统 | |
| US11670015B2 (en) | Method and apparatus for generating video | |
| CN112543342B (zh) | 虚拟视频直播处理方法及装置、存储介质、电子设备 | |
| CN102655585B (zh) | 视频会议系统及其时延测试方法、装置和系统 | |
| EP4099709A1 (en) | Data processing method and apparatus, device, and readable storage medium | |
| US11451858B2 (en) | Method and system of processing information flow and method of displaying comment information | |
| CN112637670B (zh) | 视频生成方法及装置 | |
| EP4030341A1 (en) | Image recognition method, video playback method, related device, and medium | |
| JP2020528680A (ja) | デジタルビデオコンテンツの修正 | |
| CN113535063A (zh) | 直播页面切换方法、视频页面切换方法、电子设备及存储介质 | |
| CN114139491A (zh) | 一种数据处理方法、装置及存储介质 | |
| CN108401163B (zh) | 一种实现vr直播的方法、装置及ott业务系统 | |
| CN111263183A (zh) | 唱歌状态识别方法及装置 | |
| CN110139128B (zh) | 一种信息处理方法、拦截器、电子设备及存储介质 | |
| CN111343503A (zh) | 视频的转码方法、装置、电子设备及存储介质 | |
| CN112785669B (zh) | 一种虚拟形象合成方法、装置、设备及存储介质 | |
| CN112492324A (zh) | 数据处理方法及系统 | |
| CN110300118B (zh) | 流媒体处理方法、装置及存储介质 | |
| WO2023226504A1 (zh) | 一种媒体数据处理方法、装置、设备以及可读存储介质 | |
| KR101085718B1 (ko) | 서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법 | |
| CN108683900B (zh) | 一种图像数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |