CN115550710A - 一种数据处理方法、装置、终端设备和存储介质 - Google Patents
一种数据处理方法、装置、终端设备和存储介质 Download PDFInfo
- Publication number
- CN115550710A CN115550710A CN202211048767.2A CN202211048767A CN115550710A CN 115550710 A CN115550710 A CN 115550710A CN 202211048767 A CN202211048767 A CN 202211048767A CN 115550710 A CN115550710 A CN 115550710A
- Authority
- CN
- China
- Prior art keywords
- video
- supplemented
- frames
- video frame
- difference value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000001502 supplementing effect Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 20
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000000153 supplemental effect Effects 0.000 claims 1
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 29
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 239000013589 supplement Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009469 supplementation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明实施例提供了一种数据处理方法、装置、终端设备和存储介质，该方法包括：获取解析视频流的第一视频帧；根据第一视频帧,确定与第一视频帧相距预设时间段对应的第二视频帧；根据第一视频帧和第二视频帧，确定预设时间段内的间隔视频帧数量；根据间隔视频帧数量和与预设时间段对应的预设视频帧数量，确定需要补充的视频数据，需要补充的视频数据用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差，将需要补充的视频数据增加到视频流中，并将视频流、需要补充的视频数据和音频流进行编码播放，这样，可避免出现音频和视频不同步的现象。
Description
技术领域
本发明涉及通信技术领域，特别是涉及一种数据处理方法、装置、终端设备和存储介质。
背景技术
移动设备进行网页播放时，可以采用MSE(MediaSource Extenstion，是一套能不断的把音视频二进制数据塞给video标签播放的API)播放直播的方式进行播放，也就是采用音视频双轨道进行播放，由于在播放的过程中，移动设备会发生晃动，就会出现采集编码帧率和音频采样率不稳定问题，从而出现音视频不同步播放的现象。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理方法、装置、终端设备和存储介质。
第一个方面，本发明实施例提供一种数据处理方法，所述方法包括：
获取解析视频流的第一视频帧；
根据所述第一视频帧,确定与所述第一视频帧相距预设时间段对应的第二视频帧；
根据所述第一视频帧和所述第二视频帧，确定所述预设时间段内的间隔视频帧数量；
根据所述间隔视频帧数量和与所述预设时间段对应的预设视频帧数量，确定需要补充的视频数据，所述需要补充的视频数据用于补充所述预设时间段内的间隔视频帧数量和所述预设视频帧数量的差值对应的时间差，将所述需要补充的视频数据增加到所述视频流中，并将所述视频流、所述需要补充的视频数据和音频流进行编码播放。
可选地，所述第一视频帧和所述第二视频帧均为I帧。
可选地，所述根据所述间隔视频帧数量和与所述预设时间段对应的预设视频帧数量，确定需要补充的视频数据，包括：
根据所述间隔视频帧数量和所述预设视频帧数量，确定差值数量；
若所述差值数量小于等于预设差值，则将所述差值数量确定为目标差值；
或
若所述差值数量大于预设差值，则将所述预设差值确定为目标差值；
根据所述目标差值，确定与所述目标差值对应的第二视频帧。
可选地，所述将所述需要补充的视频数据增加到所述视频流中，包括：
将与所述目标差值对应的第二视频帧确定为所述需要补充的视频数据；
将所述需要补充的视频数据补充在所述第二视频帧之前。
可选地，所述将所述需要补充的视频数据增加到所述视频流中，并将所述视频流、所述需要补充的视频数据和音频流进行编码播放，包括：
将所述需要补充的视频数据补充在所述第二视频帧之前，得到补充后的视频帧；
将所述补充后的视频帧和所述音频流进行FMP4编码合成，将合成后的媒体流数据进行播放。
第二个方面，本发明实施例提供一种数据处理装置，所述装置包括：
获取模块，用于获取解析视频流的第一视频帧；
确定模块，用于根据所述第一视频帧,确定与所述第一视频帧相距预设时间段对应的第二视频帧；
计算模块，用于根据所述第一视频帧和所述第二视频帧，确定所述预设时间段内的间隔视频帧数量；
补充模块，用于根据所述间隔视频帧数量和与所述预设时间段对应的预设视频帧数量，确定需要补充的视频数据，所述需要补充的视频数据用于补充所述预设时间段内的间隔视频帧数量和所述预设视频帧数量的差值对应的时间差，将所述需要补充的视频数据增加到所述视频流中，并将所述视频流、所述需要补充的视频数据和音频流进行编码播放。
可选地，所述第一视频帧和所述第二视频帧均为I帧。
可选地，所述补充模块用于：
根据所述间隔视频帧数量和所述预设视频帧数量，确定差值数量；
若所述差值数量小于等于预设差值，则将所述差值数量确定为目标差值；
或
若所述差值数量大于预设差值，则将所述预设差值确定为目标差值；
根据所述目标差值，确定与所述目标差值对应的第二视频帧。
可选地，所述补充模块用于：
将与所述目标差值对应的第二视频帧确定为所述需要补充的视频数据；
将所述需要补充的视频数据补充在所述第二视频帧之前。
可选地，所述补充模块用于：
将所述需要补充的视频数据补充在所述第二视频帧之前，得到补充后的视频帧；
将所述补充后的视频帧和所述音频流进行FMP4编码合成，将合成后的媒体流数据进行播放。
第三个方面，本发明实施例提供一种终端设备，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的数据处理方法。
第四个方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现第一个方面提供的数据处理方法。
本发明实施例包括以下优点：
本发明实施例提供的数据处理方法、装置、终端设备和存储介质，通过获取解析视频流的第一视频帧；根据第一视频帧,确定与第一视频帧相距预设时间段对应的第二视频帧；根据第一视频帧和第二视频帧，确定预设时间段内的间隔视频帧数量；根据间隔视频帧数量和与预设时间段对应的预设视频帧数量，确定需要补充的视频数据，需要补充的视频数据用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差，将需要补充的视频数据增加到视频流中，并将视频流、需要补充的视频数据和音频流进行编码播放，本发明实施例通过计算在预设时间段内的两个视频帧之间的间隔视频帧数量，并将该视频帧数量与预设视频帧数量进行比较，确定需要补充的视频数据，这些视频帧用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差计算音频包和视频包的播放的累计时长的时间差，然后实时生成与时间差，然后将需要补充的视频数据补充到视频流中，将视频流、需要补充的视频数据和音频流进行编码播放，这样，可避免出现音频和视频不同步的现象。
附图说明
图1是本发明的一种数据处理方法实施例的步骤流程图；
图2是本发明的另一种数据处理方法实施例的步骤流程图；
图3是本发明的再一种数据处理方法实施例的步骤流程图；
图4是本发明的一种数据处理装置实施例的结构框图；
图5是本发明的一种终端设备的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明一实施例提供一种数据处理方法，用于在音视频播放过程中进行视频的插帧处理。本实施例的执行主体为数据处理装置，设置在预先加入到终端设备上，其中，终端设备可以为移动终端、平板等。
参照图1，示出了本发明的一种数据处理方法实施例的步骤流程图，该方法具体可以包括如下步骤：
S101、获取解析视频流的第一视频帧；
具体的，用户在移动终端上播放媒体流数据，在终端设备上安装有MSE，这样，不需要在浏览器上增加插件就可以播放媒体流数据，但是由于移动设备会发生晃动，会出现采集编码帧率和音频采样率不稳定问题，从而出现音视频不同步播放的现象，对于此，本发明实施例提供一种数据处理方法，移动终端在获取到媒体流数据时，对该媒体流数据进行解析，获得视频流中的第一视频帧，并将该第一视频帧存储在视频队列中；在本发明实施例中的第一视频帧为I帧。
S102、根据第一视频帧,确定与第一视频帧相距预设时间段对应的第二视频帧；
具体地，移动终端不断将解析出的视频帧进行存储，获取与第一视频帧相距预设时间段对应的第二视频帧；
其中，预设时间段可以是一个GOP对应的时间间隔，也可以是多个GOP对应的时间间隔，每一个GOP与一个I帧图像相对应。
在具体的实施过程中，移动终端在获取第一视频帧后，当检测到下一帧与第一视频帧类型相同的第二视频帧，也可以是接下来的第n帧与第一视频帧类型相同的第二视频帧，n为大于1的自然数。
S103、根据第一视频帧和第二视频帧，确定预设时间段内的间隔视频帧数量；
具体地，终端设备在获取到第一视频帧和第二视频帧后，计算第一视频帧和第二视频帧之间的视频帧数量，其中，第一视频帧和第二视频帧可以是I帧图像；在第一视频帧和第二视频帧之间的视频帧可以包括I帧、P帧和B帧。
S104、根据间隔视频帧数量和与预设时间段对应的预设视频帧数量，确定需要补充的视频数据，需要补充的视频数据用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差，将需要补充的视频数据增加到视频流中，并将视频流、需要补充的视频数据和音频流进行编码播放。
具体地，终端设备在获取到预设时间段内的间隔视频帧数量后，将该间隔视频帧数量与预设时间段对应的预设视频帧数量进行比较，若间隔视频帧数量小于预设视频帧数量，则需要补充视频数据，需要补充的视频数据用于补充所述预设时间段内的间隔视频帧数量和所述预设视频帧数量的差值对应的时间差，将所述需要补充的视频数据增加到所述视频流中，并将所述视频流、所述需要补充的视频数据和音频流进行编码播放，这样，再与音频流进行合成编码的时候，就避免出现音视频不同步的现象。
示例性地，假如一个完整GOP数量30帧即预设视频帧数量为30帧。一个GOP为一个视频帧序列，包括1个I帧，x个P帧和y个B帧，x，y为大于等于0的自然数。
移动终端在接收到一个I帧图像即第一视频帧时，继续检测后续解析出的下一个I帧即第二视频帧，计算第一视频帧和第二视频帧之间的间隔视频帧数量，如28帧，计算间隔视频帧数量和预设视频帧数量的差值，即30-28＝2帧，需要补充的视频数据为2帧，将2帧的视频数据补充在视频流中，当把一个GOP从28帧补充成30帧完整后，和音频流一起输入到浏览器中进行编码播放。
本发明实施例提供的数据处理方法，通过获取解析视频流的第一视频帧；根据第一视频帧,确定与第一视频帧相距预设时间段对应的第二视频帧；根据第一视频帧和第二视频帧，确定预设时间段内的间隔视频帧数量；根据间隔视频帧数量和与预设时间段对应的预设视频帧数量，确定需要补充的视频数据，需要补充的视频数据用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差，将需要补充的视频数据增加到视频流中，并将视频流、需要补充的视频数据和音频流进行编码播放，本发明实施例通过计算在预设时间段内的两个视频帧之间的间隔视频帧数量，并将该视频帧数量与预设视频帧数量进行比较，确定需要补充的视频数据，这些视频帧用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差计算音频包和视频包的播放的累计时长的时间差，然后实时生成与时间差，然后将需要补充的视频数据补充到视频流中，将视频流、需要补充的视频数据和音频流进行编码播放，这样，可避免出现音频和视频不同步的现象。
本发明又一实施例对上述实施例提供的数据处理方法做进一步补充说明。
如图2所示，示出了本发明的另一种数据处理方法实施例的步骤流程图，该数据处理方法包括：
S201、获取解析视频流的第一视频帧；第一视频帧和第二视频帧均为I帧。
具体的，用户在移动终端上播放媒体流数据，在终端设备上安装有MSE，这样，不需要在浏览器上增加插件就可以播放媒体流数据，但是由于移动设备会发生晃动，会出现采集编码帧率和音频采样率不稳定问题，从而出现音视频不同步播放的现象，对于此，本发明实施例提供一种数据处理方法，移动终端在获取到媒体流数据时，对该媒体流数据进行解析，获得视频流中的第一视频帧，并将该第一视频帧存储在视频队列中；在本发明实施例中的第一视频帧为I帧。
S202、根据第一视频帧,确定与第一视频帧相距预设时间段对应的第二视频帧；
具体地，移动终端不断将解析出的视频帧进行存储，获取与第一视频帧相距预设时间段对应的第二视频帧；
其中，预设时间段可以是一个GOP对应的时间间隔，也可以是多个GOP对应的时间间隔，每一个GOP与一个I帧图像相对应。
在具体的实施过程中，移动终端在获取第一视频帧后，当检测到下一帧与第一视频帧类型相同的第二视频帧，也可以是接下来的第n帧与第一视频帧类型相同的第二视频帧，n为大于1的自然数。
S203、根据第一视频帧和第二视频帧，确定预设时间段内的间隔视频帧数量；
具体地，终端设备在获取到第一视频帧和第二视频帧后，计算第一视频帧和第二视频帧之间的视频帧数量，其中，第一视频帧和第二视频帧可以是I帧图像。在第一视频帧和第二视频帧之间的视频帧可以包括I帧、P帧和B帧。
S204、根据间隔视频帧数量和预设视频帧数量，确定差值数量；
S205、若差值数量小于等于预设差值，则将差值数量确定为目标差值；
具体地，终端设备在得到差值数量后，对差值数量和预设差值进行比较，其中，预设差值为画面不卡顿的最大值，若差值数量小于等于预设差值，则将差值数量确定为目标差值；
示例性，假如一个完整GOP数量30帧即预设视频帧数量为30帧。
移动终端在接收到一个I帧图像即第一视频帧时，继续检测后续解析出的下一个I帧即第二视频帧，计算第一视频帧和第二视频帧之间的间隔视频帧数量，如28帧，计算间隔视频帧数量和预设视频帧数量的差值，即30-28＝2帧，需要补充的视频数据为2帧，将2帧的视频数据补充在视频流中，当把一个GOP从28帧补充成30帧完整后，和音频流一起输入到浏览器中进行编码播放。
S206、若所述差值数量大于预设差值，则将所述预设差值确定为目标差值；
若差值数量大于预设差值，为了使得播放画面不出现卡顿现象，则将预设差值确定为目标差值。
S207、根据目标差值，确定与目标差值对应的第二视频帧。
S208、将与目标差值对应的第二视频帧确定为需要补充的视频数据；
S209、将需要补充的视频数据补充在第二视频帧之前，得到补充后的视频帧。
示例性地，终端设备在接收到一个I帧图像即第一视频帧时，继续检测后续解析出的下一个I帧即第二视频帧，计算第一视频帧和第二视频帧之间的间隔视频帧数量，如20帧，而超过3帧就会出现卡顿的现象，所以，可以将3帧作为目标差值，需要补充的视频帧数量为3帧，剩下的7帧则需要在后续视频流中进行补充，同时累计每个GOP中差值数量，在后续的视频流一起进行补充，消化前面累积的帧数，减少误差。在补充视频帧的过程中，对第二视频帧进行复制，得到3帧第二视频帧，并将3帧第二视频帧增加到原始视频流中第二视频帧的前面，得到补充后的视频帧。
S210、将补充后的视频帧和音频流进行FMP4编码合成，将合成后的媒体流数据进行播放。
图3为本发明的再一种数据处理方法实施例的步骤流程图,如图3所示，该数据处理方法包括：
S301、终端设备开始接收音视频数据；
S302、对音视频数据进行解析，获取视频相关信息，其中，视频相关信息至少包括I帧间隔帧数(预设视频帧数量)A和帧率；其中，I帧间隔帧数A为一个GOP内的帧数，也就是相邻两个I帧之间的预设帧数。
S303、对解析出的视频帧进行判断，判断是否为I帧；若是I帧，则执行步骤S304；若不是I帧则保存在缓存队列中；
S304、若是I帧，则进一步判断是否为首个I帧；若是首个I帧，则从该I帧开始计数，并将后续的视频帧保持在缓存队列中，若不是首个I帧，则执行步骤S305；其中，首个I帧即为预设时间段内的解析出的第一视频帧；
S305、当解析出的下一个视频帧为I帧视频帧T(即第二视频帧)，统计两个I帧视频帧之间的视频帧数量(间隔视频帧数量)N；两个I帧即为第一视频帧和第二视频帧。
S306、判断预设视频帧数量A是否大于或等于视频帧数量N的大小(A＞＝N)，若是，则执行步骤S307，若不是,结束本流程。
S307、计算视频帧数量和预设视频帧数量的差值数量,在下一帧的视频I帧即第二视频帧之前补充A-N个视频帧T(该视频帧可以是第二视频帧)。
S308、当每一个GOP补充完整后，输入到播放器中，并将补充完整的视频数据和音频数据进行编码播放。
示例性地，假如一个完整GOP数量30帧。
场景1，在接收到一个I帧时，前一个GOP帧数是28帧，那复制2个当前I帧到前一个GOP中使28帧变成30帧，按帧率参数组成一个完整的GOP。
场景2，在接收到一个I帧时，前一个GOP帧数是20帧，那复制3个当前I帧，补充到前一个GOP中使20帧变成23帧，这样还有7帧的时间差，如果不再后续补充会造成累计的误差叠加。因此在GOP中消化前面积累的帧数缺失误差。
场景3，在场景2的基础中有累计的7帧误差，假如下一个GOP收到完整的30帧，可在下一个GOP中添加2帧下一个I帧，使得下一个GOP变成32。依次类推，这样，在后续的每个GOP中补充若干个第二视频帧，直至将7帧都补充完。
场景4，在场景2的基础中有累计的7帧误差，假如下一个GOP仍是不完整的(缺少4帧)，则将统计7帧和下一个GOP中缺少的4帧之和11帧，在下一个GOP中补充3帧第二视频帧，在后续的每个GOP中将累计的差值都补充完整，然后将补充完整的视频流和音频流进行合成编码，本发明实施例中所采用的视频插帧法式，插入I帧，而不是P帧或者B帧，因为P帧和B帧都有依赖于I帧或者前面的P帧。因此统计I帧间隔的预设视频帧数量，以它作为参考依据，统计I帧间隔的视频帧数量是否有变动，从而进行视频插帧。
若预设视频帧数量大于或等于间隔的视频帧数量，则统计间隔的视频帧数量和预设视频帧数量的差值，即缺失视频帧的个数M，若M小于预设差值，当检测到下一个I帧到来时，向前补M个I帧(假定I帧解码渲染消耗时间与P帧相同)。若移动终端波动很大，M超过预设差值，则均匀地把个数M补到后面的I帧中，这样的目的是为了保持音视频同步的同时也避免画面因插帧导致的界面卡顿现象，以微弱的补偿插帧来逐步缓解因移动终端因抖动直至采集编码帧率不准不稳的问题。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
本发明实施例提供的数据处理方法，通过获取解析视频流的第一视频帧；根据第一视频帧,确定与第一视频帧相距预设时间段对应的第二视频帧；根据第一视频帧和第二视频帧，确定预设时间段内的间隔视频帧数量；根据间隔视频帧数量和与预设时间段对应的预设视频帧数量，确定需要补充的视频数据，需要补充的视频数据用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差，将需要补充的视频数据增加到视频流中，并将视频流、需要补充的视频数据和音频流进行编码播放，本发明实施例通过计算在预设时间段内的两个视频帧之间的间隔视频帧数量，并将该视频帧数量与预设视频帧数量进行比较，确定需要补充的视频数据，这些视频帧用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差计算音频包和视频包的播放的累计时长的时间差，然后实时生成与时间差，然后将需要补充的视频数据补充到视频流中，将视频流、需要补充的视频数据和音频流进行编码播放，这样，可避免出现音频和视频不同步的现象。
本发明另一实施例提供一种数据处理装置，用于执行上述实施例提供的数据处理方法。
参照图4，示出了本发明的一种数据处理装置实施例的结构框图，该装置具体可以包括如下模块：获取模块401、确定模块402、计算模块403和补充模块404，其中：
获取模块401用于获取解析视频流的第一视频帧；
确定模块402用于根据第一视频帧,确定与第一视频帧相距预设时间段对应的第二视频帧；
计算模块403用于根据第一视频帧和第二视频帧，确定预设时间段内的间隔视频帧数量；
补充模块404用于根据间隔视频帧数量和与预设时间段对应的预设视频帧数量，确定需要补充的视频数据，需要补充的视频数据用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差，将需要补充的视频数据增加到视频流中，并将视频流、需要补充的视频数据和音频流进行编码播放。
本发明实施例提供的数据处理装置，通过获取解析视频流的第一视频帧；根据第一视频帧,确定与第一视频帧相距预设时间段对应的第二视频帧；根据第一视频帧和第二视频帧，确定预设时间段内的间隔视频帧数量；根据间隔视频帧数量和与预设时间段对应的预设视频帧数量，确定需要补充的视频数据，需要补充的视频数据用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差，将需要补充的视频数据增加到视频流中，并将视频流、需要补充的视频数据和音频流进行编码播放，本发明实施例通过计算在预设时间段内的两个视频帧之间的间隔视频帧数量，并将该视频帧数量与预设视频帧数量进行比较，确定需要补充的视频数据，这些视频帧用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差计算音频包和视频包的播放的累计时长的时间差，然后实时生成与时间差，然后将需要补充的视频数据补充到视频流中，将视频流、需要补充的视频数据和音频流进行编码播放，这样，可避免出现音频和视频不同步的现象。
本发明又一实施例对上述实施例提供的数据处理装置做进一步补充说明。
可选地，第一视频帧和第二视频帧均为I帧。
可选地，补充模块用于：
根据间隔视频帧数量和预设视频帧数量，确定差值数量；
若差值数量小于等于预设差值，则将差值数量确定为目标差值；
或
若差值数量大于预设差值，则将预设差值确定为目标差值；
根据目标差值，确定与目标差值对应的第二视频帧。
可选地，补充模块用于：
将与目标差值对应的第二视频帧确定为需要补充的视频数据；
将需要补充的视频数据补充在第二视频帧之前。
可选地，补充模块用于：
将需要补充的视频数据补充在第二视频帧之前，得到补充后的视频帧；
将补充后的视频帧和音频流进行FMP4编码合成，将合成后的媒体流数据进行播放。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例提供的数据处理装置，通过获取解析视频流的第一视频帧；根据第一视频帧,确定与第一视频帧相距预设时间段对应的第二视频帧；根据第一视频帧和第二视频帧，确定预设时间段内的间隔视频帧数量；根据间隔视频帧数量和与预设时间段对应的预设视频帧数量，确定需要补充的视频数据，需要补充的视频数据用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差，将需要补充的视频数据增加到视频流中，并将视频流、需要补充的视频数据和音频流进行编码播放，本发明实施例通过计算在预设时间段内的两个视频帧之间的间隔视频帧数量，并将该视频帧数量与预设视频帧数量进行比较，确定需要补充的视频数据，这些视频帧用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差计算音频包和视频包的播放的累计时长的时间差，然后实时生成与时间差，然后将需要补充的视频数据补充到视频流中，将视频流、需要补充的视频数据和音频流进行编码播放，这样，可避免出现音频和视频不同步的现象。
本发明再一实施例提供一种终端设备，用于执行上述实施例提供的数据处理方法。
图5是本发明的一种终端设备的结构示意图，如图5所示，该终端设备包括：至少一个处理器501和存储器502；
存储器存储计算机程序；至少一个处理器执行存储器存储的计算机程序，以实现上述实施例提供的数据处理方法。
本实施例提供的终端设备，通过获取解析视频流的第一视频帧；根据第一视频帧,确定与第一视频帧相距预设时间段对应的第二视频帧；根据第一视频帧和第二视频帧，确定预设时间段内的间隔视频帧数量；根据间隔视频帧数量和与预设时间段对应的预设视频帧数量，确定需要补充的视频数据，需要补充的视频数据用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差，将需要补充的视频数据增加到视频流中，并将视频流、需要补充的视频数据和音频流进行编码播放，本发明实施例通过计算在预设时间段内的两个视频帧之间的间隔视频帧数量，并将该视频帧数量与预设视频帧数量进行比较，确定需要补充的视频数据，这些视频帧用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差计算音频包和视频包的播放的累计时长的时间差，然后实时生成与时间差，然后将需要补充的视频数据补充到视频流中，将视频流、需要补充的视频数据和音频流进行编码播放，这样，可避免出现音频和视频不同步的现象。
本申请又一实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被执行时实现上述任一实施例提供的数据处理方法。
根据本实施例的计算机可读存储介质，通过获取解析视频流的第一视频帧；根据第一视频帧,确定与第一视频帧相距预设时间段对应的第二视频帧；根据第一视频帧和第二视频帧，确定预设时间段内的间隔视频帧数量；根据间隔视频帧数量和与预设时间段对应的预设视频帧数量，确定需要补充的视频数据，需要补充的视频数据用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差，将需要补充的视频数据增加到视频流中，并将视频流、需要补充的视频数据和音频流进行编码播放，本发明实施例通过计算在预设时间段内的两个视频帧之间的间隔视频帧数量，并将该视频帧数量与预设视频帧数量进行比较，确定需要补充的视频数据，这些视频帧用于补充预设时间段内的间隔视频帧数量和预设视频帧数量的差值对应的时间差计算音频包和视频包的播放的累计时长的时间差，然后实时生成与时间差，然后将需要补充的视频数据补充到视频流中，将视频流、需要补充的视频数据和音频流进行编码播放，这样，可避免出现音频和视频不同步的现象。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、电子设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理电子设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理电子设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理电子设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理电子设备上，使得在计算机或其他可编程电子设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程电子设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者电子设备中还存在另外的相同要素。
以上对本发明所提供的一种数据处理方法和一种数据处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
获取解析视频流的第一视频帧；
根据所述第一视频帧,确定与所述第一视频帧相距预设时间段对应的第二视频帧；
根据所述第一视频帧和所述第二视频帧，确定所述预设时间段内的间隔视频帧数量；
根据所述间隔视频帧数量和与所述预设时间段对应的预设视频帧数量，确定需要补充的视频数据，所述需要补充的视频数据用于补充所述预设时间段内的间隔视频帧数量和所述预设视频帧数量的差值对应的时间差，将所述需要补充的视频数据增加到所述视频流中，并将所述视频流、所述需要补充的视频数据和音频流进行编码播放。
2.根据权利要求1所述的方法，其特征在于，所述第一视频帧和所述第二视频帧均为I帧。
3.根据权利要求2所述的方法，其特征在于，所述根据所述间隔视频帧数量和与所述预设时间段对应的预设视频帧数量，确定需要补充的视频数据，包括：
根据所述间隔视频帧数量和所述预设视频帧数量，确定差值数量；
若所述差值数量小于等于预设差值，则将所述差值数量确定为目标差值；
或
若所述差值数量大于预设差值，则将所述预设差值确定为目标差值；
根据所述目标差值，确定与所述目标差值对应的第二视频帧。
4.根据权利要求3所述的方法，其特征在于，所述将所述需要补充的视频数据增加到所述视频流中，包括：
将与所述目标差值对应的第二视频帧确定为所述需要补充的视频数据；
将所述需要补充的视频数据补充在所述第二视频帧之前。
5.根据权利要求4所述的方法，其特征在于，所述将所述需要补充的视频数据增加到所述视频流中，并将所述视频流、所述需要补充的视频数据和音频流进行编码播放，包括：
将所述需要补充的视频数据补充在所述第二视频帧之前，得到补充后的视频帧；
将所述补充后的视频帧和所述音频流进行FMP4编码合成，将合成后的媒体流数据进行播放。
6.一种数据处理装置，其特征在于，所述装置包括：
获取模块，用于获取解析视频流的第一视频帧；
确定模块，用于根据所述第一视频帧,确定与所述第一视频帧相距预设时间段对应的第二视频帧；
计算模块，用于根据所述第一视频帧和所述第二视频帧，确定所述预设时间段内的间隔视频帧数量；
补充模块，用于根据所述间隔视频帧数量和与所述预设时间段对应的预设视频帧数量，确定需要补充的视频数据，所述需要补充的视频数据用于补充所述预设时间段内的间隔视频帧数量和所述预设视频帧数量的差值对应的时间差，将所述需要补充的视频数据增加到所述视频流中，并将所述视频流、所述需要补充的视频数据和音频流进行编码播放。
7.根据权利要求6所述的装置，其特征在于，所述第一视频帧和所述第二视频帧均为I帧。
8.根据权利要求7所述的装置，其特征在于，所述补充模块用于：
根据所述间隔视频帧数量和所述预设视频帧数量，确定差值数量；
若所述差值数量小于等于预设差值，则将所述差值数量确定为目标差值；
或
若所述差值数量大于预设差值，则将所述预设差值确定为目标差值；
根据所述目标差值，确定与所述目标差值对应的第二视频帧。
9.一种终端设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现权利要求1-5任一项所述的数据处理方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-5中任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211048767.2A CN115550710A (zh) | 2022-08-30 | 2022-08-30 | 一种数据处理方法、装置、终端设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211048767.2A CN115550710A (zh) | 2022-08-30 | 2022-08-30 | 一种数据处理方法、装置、终端设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115550710A true CN115550710A (zh) | 2022-12-30 |
Family
ID=84725933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211048767.2A Pending CN115550710A (zh) | 2022-08-30 | 2022-08-30 | 一种数据处理方法、装置、终端设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115550710A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861905A (zh) * | 2023-03-01 | 2023-03-28 | 青岛警友大象科技有限公司 | 一种基于物联网的酒店管理系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101322410A (zh) * | 2005-12-02 | 2008-12-10 | 皇家飞利浦电子股份有限公司 | 检测视频数据错误的方法及装置 |
| CN106791899A (zh) * | 2016-12-13 | 2017-05-31 | 飞狐信息技术（天津）有限公司 | 直播中减少观众端画面卡顿的方法及装置以及客户端 |
| CN111050023A (zh) * | 2019-12-17 | 2020-04-21 | 深圳追一科技有限公司 | 视频检测方法、装置、终端设备及存储介质 |
| CN112367520A (zh) * | 2020-11-11 | 2021-02-12 | 郑州师范学院 | 基于人工智能的视频质量诊断系统 |
-
2022
- 2022-08-30 CN CN202211048767.2A patent/CN115550710A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101322410A (zh) * | 2005-12-02 | 2008-12-10 | 皇家飞利浦电子股份有限公司 | 检测视频数据错误的方法及装置 |
| CN106791899A (zh) * | 2016-12-13 | 2017-05-31 | 飞狐信息技术（天津）有限公司 | 直播中减少观众端画面卡顿的方法及装置以及客户端 |
| CN111050023A (zh) * | 2019-12-17 | 2020-04-21 | 深圳追一科技有限公司 | 视频检测方法、装置、终端设备及存储介质 |
| CN112367520A (zh) * | 2020-11-11 | 2021-02-12 | 郑州师范学院 | 基于人工智能的视频质量诊断系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861905A (zh) * | 2023-03-01 | 2023-03-28 | 青岛警友大象科技有限公司 | 一种基于物联网的酒店管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110446072B (zh) | 视频流切换方法、电子设备和存储介质 | |
| CN108683924B (zh) | 一种视频处理的方法和装置 | |
| CN110996182B (zh) | 时间戳处理方法、装置、电子设备及计算机存储介质 | |
| CN109391585B (zh) | 视频数据处理方法、装置、终端及计算机可读存储介质 | |
| CN108989883B (zh) | 一种直播广告方法、装置、设备及介质 | |
| US20060015735A1 (en) | Electronic watermarking method and storage medium for storing electronic watermarking program | |
| CN112601127B (zh) | 视频显示方法及装置、电子设备、计算机可读存储介质 | |
| CN105704508A (zh) | 一种视频合并方法及装置 | |
| CN115550710A (zh) | 一种数据处理方法、装置、终端设备和存储介质 | |
| KR20170067546A (ko) | 오디오 신호 및 비디오 신호의 동기화 시스템 및 그 방법 | |
| CN114827663A (zh) | 分布式直播插帧系统及方法 | |
| JP2008252262A (ja) | 符号化装置及び動画像の変化点検出方法 | |
| KR101199166B1 (ko) | 보간 프레임 생성 시스템 | |
| CN111968031B (zh) | 一种图像拼接方法、装置、存储介质及电子装置 | |
| JP5052220B2 (ja) | 動画像符号化装置 | |
| CN112511897A (zh) | 视频封面设置方法、装置、设备和存储介质 | |
| US7239716B2 (en) | Data insertion device and method of inserting data | |
| JP2006050130A (ja) | 映像符号化装置及び映像符号化方法 | |
| CN110855619B (zh) | 播放音视频数据的处理方法、装置、存储介质及终端设备 | |
| JP4167245B2 (ja) | デジタル映像処理方法及びその装置 | |
| CN112449185B (zh) | 视频解码方法、编码方法、装置、介质及电子设备 | |
| WO2005032132A1 (en) | Apparatus and method for extracting the representative still images from mpeg video | |
| CN112449188B (zh) | 视频解码方法、编码方法、装置、介质及电子设备 | |
| JP2006236475A (ja) | 符号化データ再生装置 | |
| CN114245231B (zh) | 一种多视频同步跳转方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |