CN112511768A - 多画面合成方法、装置、设备及存储介质 - Google Patents
多画面合成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112511768A CN112511768A CN202011357310.0A CN202011357310A CN112511768A CN 112511768 A CN112511768 A CN 112511768A CN 202011357310 A CN202011357310 A CN 202011357310A CN 112511768 A CN112511768 A CN 112511768A
- Authority
- CN
- China
- Prior art keywords
- picture
- video
- data
- input
- input source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 10
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 26
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 26
- 230000003139 buffering effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
Abstract
本发明公开了一种多画面合成方法、装置、设备及存储介质，针对现有的多画面合成技术，当输入源增多时，计算复杂度增加，多画面合成效率变低，实时性变差，严重影响用户的观看体验的问题，通过从CDN云服务器订阅输入码流到本地，对输入流进行解封装、解码，并记录此时UTC时间戳，建立时间同步统一基准；视频合成时，采用多进一出模型，对输入源相同的UTC时间戳，一次性合成，提高视频合成效率，防止造成视频播放卡顿，提升用户的观看体验感。
Description
技术领域
本发明属于视频处理的技术领域，尤其涉及一种多画面合成方法、装置、设备及存储介质。
背景技术
传统云导播多画面合成的理论基础是输入源中的视频显示时间戳PTS，当多个输入源的显示时间戳一致时，则启动合成多画面视频。但实际的使用场景复杂，以视频帧率25fps为例，理论值是每40毫秒接收一个视频帧。但实际场景下，视频显示时间戳间隔不是严格的40毫秒，且有突变的情况。比如突变增大2秒，这会带来两个问题：
1.由于所有的输入源没有一致的显示时间戳，则处于等待状态，造成视频播放卡顿。
2.由于突变的源2秒后合成，造成这路输入源延时处理。有延时累积问题。
另外，传统转码引擎是典型的两进一出模型合成多画面，即输入源A和输入源B的时间戳一致时，则合成多画面AB，再检测视频AB与输入源C时间戳是否一致。当输入源增多时，计算复杂度增加，多画面合成效率变低，实时性变差。所以，严重影响用户的观看体验。
发明内容
本发明的目的是提供一种多画面合成方法、装置、设备及存储介质，实现多画面实时合成，降低延时，提升用户观看体验。
为解决上述问题，本发明的技术方案为：
一种多画面合成方法，包括：
获取多个输入源的视频数据，每个输入源用于显示场景的一个画面；
将输入源的视频帧率统一为固定帧率，检测各输入源的UTC时间戳；
将各输入源的视频YUV帧数据按UTC时间戳的顺序排列，缓冲视频数据；
当各输入源的UTC时间戳一致时，批量叠加输入源的视频数据，得到多画面合成数据；
对多画面合成数据进行编码。
根据本发明一实施例，所述获取多个输入源的视频数据进一步包括：
从CDN云服务器订阅输入源到本地服务器，对输入源的码流进行解封装、解码，并记录当前的UTC时间戳。
根据本发明一实施例，所述将输入源的视频帧率统一为固定帧率进一步包括：
预先设置固定帧率的大小，逐一对比输入源的视频帧率与固定帧率的大小，将大于固定帧率的输入源及小于固定帧率的输入源的视频帧率调整为所述固定帧率。
根据本发明一实施例，所述批量叠加输入源的视频数据，得到多画面合成数据进一步包括：
当某一输入源无信号时，将前一时刻的YUV帧数据替换成当前时刻的输入源，防止多画面叠加失败。
根据本发明一实施例，所述对多画面合成数据进行编码进一步包括：
采用H.264编码方式对多画面合成数据进行编码，在编码的过程中，关闭B帧编码，减小关键帧之间的间隔。
一种多画面合成装置，包括：
数据获取模块，用于获取多个输入源的视频数据，每个输入源用于显示场景的一个画面；
帧率转换模块，用于将输入源的视频帧率统一为固定帧率，检测各输入源的UTC时间戳；
视频帧队列模块，用于将各输入源的视频YUV帧数据按UTC时间戳的顺序排列，缓冲视频数据；
视频叠加模块，用于当各输入源的UTC时间戳一致时，批量叠加输入源的视频数据，得到多画面合成数据；
编码模块，用于对多画面合成数据进行编码。
根据本发明一实施例，所述数据获取模块包括通信单元、解封装单元、解码单元及UTC记录单元；
所述通信单元用于连接本地服务器与CDN云服务器，以RTMP协议进行输入源数据传输；
所述解封装单元用于对获取的输入源的码流进行解封装操作；
所述解码单元用于对解封装后的视频数据进行解码操作；
所述UTC记录单元用于记录解码得到的视频数据的UTC时间戳。
一种多画面合成设备，包括存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述多画面合成设备执行本发明一实施例中的多画面合成方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明一实施例中的多画面合成方法。
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
1)本发明一实施例中的多画面合成方法，针对现有的多画面合成技术，当输入源增多时，计算复杂度增加，多画面合成效率变低，实时性变差，严重影响用户的观看体验的问题，通过从CDN云服务器订阅输入码流到本地，对输入流进行解封装、解码，并记录此时UTC时间戳，建立时间同步统一基准；视频合成时，采用多进一出模型，对输入源相同的UTC时间戳，一次性合成，提高视频合成效率，防止造成视频播放卡顿，提升用户的观看体验感。
2)本发明一实施例中的多画面合成方法，将输入源的帧率统一转换成固定帧率，有利于输入源UTC时间戳的一致性检测。
3)本发明一实施例中的多画面合成方法，当输入源无信号时，将前一时刻的YUV帧数据替换成当前时刻的输入源数据，防止因某一输入源无信号而使视频叠加失败，造成整个画面播放出现卡顿。
4)本发明一实施例中的多画面合成方法，采用H.264协议进行编码，并将其编码参数中的B帧编码关闭，减小了关键帧之间的间隔，降低了时延，提高了视频转码实时性。
附图说明
图1为本发明一实施例中的多画面合成方法的流图；
图2为本发明一实施例中传统的多画面合成框图；
图3为本发明一实施例中的多画面合成框图；
图4为本发明一实施例中的多画面合成细节图；
图5为本发明一实施例中的多画面合成装置框图；
图6为本发明一实施例中的多画面合成设备示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种多画面合成方法、装置、设备及存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
在具体说明本发明提出的多画面合成方法、装置、设备及存储介质之前，先介绍以下几个技术术语：
帧，是影像动画中最小单位的单幅影像画面，相当于电影胶片上的每一格镜头，一帧就是一副静止的画面，连续的帧就形成动画。
视频编码按照GOP(Group ofPictures，画面组)进行编码，一个GOP文件就是一组连续的画面(即帧)，每一个GOP文件代表了两个I帧之间的距离，GOP之间是没有联系的。
在压缩编码中，将画面可以分为I、P、B三种帧，I是内部编码帧，也称为关键帧，P是前向预测帧，B是双向内插帧。简单地讲，I帧是一个完整的画面，而P帧和B帧记录的是相对于I帧的变化，没有I帧，P帧和B帧就无法解码。
解封装，从mp4、mkv或flv等文件解出视频码流叫做解封装，其相反的过程叫做封装，其中，mp4、mkv或flv这一类叫做封装容器，H263、H264、H265这一类叫做视频码流。
解码，从视频码流解出可以播放的视频图像数据叫做解码，其相反的过程叫做编码。
视频转码，是指将已经压缩编码的视频码流转换成另一个视频码流，以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。转码本质上是一个先解码，再编码的过程，因此转换前后的码流可能遵循相同的视频编码标准，也可能不遵循相同的视频编码标准。
YUV是编译true-color颜色空间(color space)的种类，Y'UV、YUV、YCbCr、YPbPr等专有名词都可以称为YUV。“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
CDN(Content DeliveryNetwork，内容分发网络)，是在现有Internet中增加的一层新的网络架构，由遍布全球的高性能加速节点构成。这些高性能的服务节点都会按照一定的缓存策略存储您的业务内容，当用户向某一业务内容发起请求时，请求会被调度至最接近用户的服务节点，直接由服务节点快速响应，有效降低用户访问延迟，提升可用性。
UTC即为世界标准时间或世界统一时间。UTC是以原子时秒长为基础，在时刻上尽量接近于GMT的一种时间计量系统，为确保UTC和GMT相差不超过0.9s，在有需要的情况下会在UTC内加上正或负闰秒。如(2020-01-01T18:00:00z)字母T是时间和日期的分隔符，T后面表示的即为时间，末尾的z表示UTC统一时间。
H.264是新一代的编码标准，以高压缩高质量和支持多种网络的流媒体传输著称。在H.264协议里定义了三种帧，完整编码的帧叫I帧，参考之前的I帧生成的只包含差异部分编码的帧叫P帧，还有一种参考前后的帧编码的帧叫B帧。H.264采用的核心算法是帧内压缩和帧间压缩，帧内压缩是生成I帧的算法，帧间压缩是生成B帧和P帧的算法。
实施例一
本实施例提供了一种多画面合成方法，请参看图1，该方法包括：
S1：获取多个输入源的视频数据，每个输入源用于显示场景的一个画面；
S2：将输入源的视频帧率统一为固定帧率，检测各输入源的UTC时间戳；
S3：将各输入源的视频YUV帧数据按UTC时间戳的顺序排列，缓冲视频数据；
S4：当各输入源的UTC时间戳一致时，批量叠加输入源的视频数据，得到多画面合成数据；
S5：对多画面合成数据进行编码。
具体的，请参看图2。传统云导播台多画面合成系统架构为：从CDN云服务器订阅输入流到本地，对输入流解封装、解码，得到视频YUV数据和显示时间戳。视频合成采用两进一出模型，对显示时间戳相同的两个输入源合成，再将合成后的视频与其他显示时间戳相同的输入源合成，直到全部输入源合成完毕。最后将合成后的视频编码、封装输出。
本实施例提供的云导播台多画面合成系统架构，请参看图3。从CDN云服务器订阅输入流到本地，对输入流解封装、解码，记录此时UTC时间戳，建立时间同步统一基准。视频合成时，采用多进一出模型，对输入源相同的UTC时间戳，一次性合成。批量合成的优点在于有助于软件优化，提高视频合成效率，避免造成视频播放卡顿，提升用户的观看体验感。
在步骤S1中，获取多个输入源的视频数据进一步包括：
从CDN云服务器订阅输入源到本地服务器，对输入源的码流进行解封装、解码，并记录当前的UTC时间戳，建立时间同步统一基准。
CDN(Content DeliveryNetwork，内容分发网络)，是在现有Internet中增加的一层新的网络架构，由遍布全球的高性能加速节点构成。这些高性能的服务节点都会按照一定的缓存策略存储您的业务内容，当用户向某一业务内容发起请求时，请求会被调度至最接近用户的服务节点，直接由服务节点快速响应，有效降低用户访问延迟，提升可用性。
本实施例以本地UTC时间戳作为多画面视频合成的依据。从CDN云服务器订阅输入流到本地，如图4所示的输入源A、输入源B、输入源C及输入源D，记录此时的UTC时间戳。当多个输入源的UTC时间戳一致时，则启动合成多画面视频；而不是使用输入源流本身携带的显示时间戳。
在步骤S2中，将输入源的视频帧率统一为固定帧率进一步包括：
预先设置固定帧率的大小，逐一对比输入源的视频帧率与固定帧率的大小，将大于固定帧率的输入源及小于固定帧率的输入源的视频帧率调整为所述固定帧率。
由于输入源的帧率各不相同，可能存在一些源30fps，另外一些源20fps情况。如果直接视频合成，会造成高帧率的输入源播放延时，而低帧率的输入源因为帧数不足而播放卡顿问题。
帧率转换模块的目的是将输入源统一转换为25fps固定帧率。具体实施方案是将高帧率的输入源丢帧，满足25fps固定帧率。将低帧率的输入源补帧，同样满足25fps固定帧率。固定帧率有利于输入源UTC时间戳一致性检测。
在步骤S3中，将视频YUV帧数据按照UTC时间戳顺序排序，缓冲视频数据。同时，当输入源流无信号时，向之后的视频叠加提供之前的YUV帧数据，防止由于一路输入源无信号导致整个多画面无法继续叠加，造成整个画面播放卡顿问题。
在步骤S4中，批量叠加输入源的视频数据，得到多画面合成数据进一步包括：
当某一输入源无信号时，将前一时刻的YUV帧数据替换成当前时刻的输入源，防止多画面叠加失败。
在步骤S5中，对多画面合成数据进行编码进一步包括：
采用H.264编码方式对多画面合成数据进行编码，在编码的过程中，关闭B帧编码，减小关键帧之间的间隔。
H.264是新一代的编码标准，以高压缩高质量和支持多种网络的流媒体传输著称。在H.264协议里定义了三种帧，完整编码的帧叫I帧，参考之前的I帧生成的只包含差异部分编码的帧叫P帧，还有一种参考前后的帧编码的帧叫B帧。H.264采用的核心算法是帧内压缩和帧间压缩，帧内压缩是生成I帧的算法，帧间压缩是生成B帧和P帧的算法。
因此，在编码的过程中，若将B帧编码的参数关闭，则减小了两个关键帧之间的距离，从而降低编码延时，提高转码实时性。
实施例二
本实施例提供一种多画面合成装置，请参看图5，该装置包括：
数据获取模块1，用于获取多个输入源的视频数据，每个输入源用于显示场景的一个画面；
帧率转换模块2，用于将输入源的视频帧率统一为固定帧率，检测各输入源的UTC时间戳；
视频帧队列模块3，用于将各输入源的视频YUV帧数据按UTC时间戳的顺序排列，缓冲视频数据；
视频叠加模块4，用于当各输入源的UTC时间戳一致时，批量叠加输入源的视频数据，得到多画面合成数据；
编码模块5，用于对多画面合成数据进行编码。
其中，数据获取模块1包括通信单元、解封装单元、解码单元及UTC记录单元。通信单元用于连接本地服务器与CDN云服务器，以RTMP协议进行输入源数据传输；解封装单元用于对获取的输入源的码流进行解封装操作；解码单元用于对解封装后的视频数据进行解码操作；UTC记录单元用于记录解码得到的视频数据的UTC时间戳。
上述数据获取模块1、帧率转换模块2、视频帧队列模块3、视频叠加模块4及编码模块5的功能及实现方式均如实施例一所述，在此不再赘述。
实施例三
请参看图6，该多画面合成设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对多画面合成设备500中的一系列指令操作。
进一步地，处理器510可以设置为与存储介质530通信，在多画面合成设备500上执行存储介质530中的一系列指令操作。
多画面合成设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve、Vista等等。
本领域技术人员可以理解，图6示出的多画面合成设备结构并不构成对多画面合成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的多画面合成方法的步骤。
实施例二中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-only memory，ROM)、随机存取存储器(Random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。
Claims (9)
1.一种多画面合成方法，其特征在于，包括：
获取多个输入源的视频数据，每个输入源用于显示场景的一个画面；
将输入源的视频帧率统一为固定帧率，检测各输入源的UTC时间戳；
将各输入源的视频YUV帧数据按UTC时间戳的顺序排列，缓冲视频数据；
当各输入源的UTC时间戳一致时，批量叠加输入源的视频数据，得到多画面合成数据；
对多画面合成数据进行编码。
2.如权利要求1所述的多画面合成方法，其特征在于，所述获取多个输入源的视频数据进一步包括：
从CDN云服务器订阅输入源到本地服务器，对输入源的码流进行解封装、解码，并记录当前的UTC时间戳。
3.如权利要求1所述的多画面合成方法，其特征在于，所述将输入源的视频帧率统一为固定帧率进一步包括：
预先设置固定帧率的大小，逐一对比输入源的视频帧率与固定帧率的大小，将大于固定帧率的输入源及小于固定帧率的输入源的视频帧率调整为所述固定帧率。
4.如权利要求1所述的多画面合成方法，其特征在于，所述批量叠加输入源的视频数据，得到多画面合成数据进一步包括：
当某一输入源无信号时，将前一时刻的YUV帧数据替换成当前时刻的输入源，防止多画面叠加失败。
5.如权利要求1所述的多画面合成方法，其特征在于，所述对多画面合成数据进行编码进一步包括：
采用H.264编码方式对多画面合成数据进行编码，在编码的过程中，关闭B帧编码，减小关键帧之间的间隔。
6.一种多画面合成装置，其特征在于，包括：
数据获取模块，用于获取多个输入源的视频数据，每个输入源用于显示场景的一个画面；
帧率转换模块，用于将输入源的视频帧率统一为固定帧率，检测各输入源的UTC时间戳；
视频帧队列模块，用于将各输入源的视频YUV帧数据按UTC时间戳的顺序排列，缓冲视频数据；
视频叠加模块，用于当各输入源的UTC时间戳一致时，批量叠加输入源的视频数据，得到多画面合成数据；
编码模块，用于对多画面合成数据进行编码。
7.如权利要求6所述的多画面合成装置，其特征在于，所述数据获取模块包括通信单元、解封装单元、解码单元及UTC记录单元；
所述通信单元用于连接本地服务器与CDN云服务器，以RTMP协议进行输入源数据传输；
所述解封装单元用于对获取的输入源的码流进行解封装操作；
所述解码单元用于对解封装后的视频数据进行解码操作；
所述UTC记录单元用于记录解码得到的视频数据的UTC时间戳。
8.一种多画面合成设备，其特征在于，包括存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述多画面合成设备执行如权利要求1-5中任意一项所述的多画面合成方法。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的多画面合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011357310.0A CN112511768B (zh) | 2020-11-27 | 2020-11-27 | 多画面合成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011357310.0A CN112511768B (zh) | 2020-11-27 | 2020-11-27 | 多画面合成方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112511768A true CN112511768A (zh) | 2021-03-16 |
| CN112511768B CN112511768B (zh) | 2024-01-02 |
Family
ID=74966815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011357310.0A Active CN112511768B (zh) | 2020-11-27 | 2020-11-27 | 多画面合成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112511768B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114449309A (zh) * | 2022-02-14 | 2022-05-06 | 杭州登虹科技有限公司 | 一种用于云导播的动图播放方法 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09247643A (ja) * | 1996-03-08 | 1997-09-19 | Ricoh Co Ltd | 多地点テレビ会議システム |
| JPH10294933A (ja) * | 1997-04-18 | 1998-11-04 | Mitsubishi Electric Corp | 映像監視システム |
| JP2009237927A (ja) * | 2008-03-27 | 2009-10-15 | Nippon Telegr & Teleph Corp <Ntt> | 画像合成方法及び装置 |
| CN103200425A (zh) * | 2013-03-29 | 2013-07-10 | 天脉聚源(北京)传媒科技有限公司 | 一种多媒体处理装置及方法 |
| CN104768026A (zh) * | 2015-04-17 | 2015-07-08 | 中国工商银行股份有限公司 | 一种多信道音视频转码装置 |
| JP2016146044A (ja) * | 2015-02-06 | 2016-08-12 | キヤノン株式会社 | 映像処理システム、映像処理装置及びその制御方法、並びにプログラム及び記憶媒体 |
| CN106060582A (zh) * | 2016-05-24 | 2016-10-26 | 广州华多网络科技有限公司 | 视频传输系统、方法及装置 |
| CN106068495A (zh) * | 2014-01-15 | 2016-11-02 | 威智伦公司 | 将使用不同编码参数编码的多个编码成流 |
| CN107071509A (zh) * | 2017-05-18 | 2017-08-18 | 北京大生在线科技有限公司 | 多路直播的视频精确同步方法 |
| CN107306347A (zh) * | 2016-04-18 | 2017-10-31 | 中国科学院宁波材料技术与工程研究所 | 一种基于拼接式全景摄像机的实时视频流传输方法 |
| CN108184079A (zh) * | 2017-12-29 | 2018-06-19 | 北京奇虎科技有限公司 | 一种多媒体文件的合并方法和装置 |
| CN109729373A (zh) * | 2018-12-27 | 2019-05-07 | 广州华多网络科技有限公司 | 流媒体数据的混流方法、装置及存储介质、计算机设备 |
| CN110855908A (zh) * | 2019-11-18 | 2020-02-28 | 中移（杭州）信息技术有限公司 | 多方视频混屏方法、装置、网络设备及存储介质 |
| US20200092496A1 (en) * | 2017-02-01 | 2020-03-19 | Samsung Electronics Co., Ltd. | Electronic device and method for capturing and displaying image |
| CN111601151A (zh) * | 2020-04-13 | 2020-08-28 | 北京拙河科技有限公司 | 一种亿级像素视频回看方法、装置、介质及设备 |
| CN111787365A (zh) * | 2020-07-17 | 2020-10-16 | 易视腾科技股份有限公司 | 多路音视频同步方法及装置 |
-
2020
- 2020-11-27 CN CN202011357310.0A patent/CN112511768B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09247643A (ja) * | 1996-03-08 | 1997-09-19 | Ricoh Co Ltd | 多地点テレビ会議システム |
| JPH10294933A (ja) * | 1997-04-18 | 1998-11-04 | Mitsubishi Electric Corp | 映像監視システム |
| JP2009237927A (ja) * | 2008-03-27 | 2009-10-15 | Nippon Telegr & Teleph Corp <Ntt> | 画像合成方法及び装置 |
| CN103200425A (zh) * | 2013-03-29 | 2013-07-10 | 天脉聚源(北京)传媒科技有限公司 | 一种多媒体处理装置及方法 |
| CN106068495A (zh) * | 2014-01-15 | 2016-11-02 | 威智伦公司 | 将使用不同编码参数编码的多个编码成流 |
| JP2016146044A (ja) * | 2015-02-06 | 2016-08-12 | キヤノン株式会社 | 映像処理システム、映像処理装置及びその制御方法、並びにプログラム及び記憶媒体 |
| CN104768026A (zh) * | 2015-04-17 | 2015-07-08 | 中国工商银行股份有限公司 | 一种多信道音视频转码装置 |
| CN107306347A (zh) * | 2016-04-18 | 2017-10-31 | 中国科学院宁波材料技术与工程研究所 | 一种基于拼接式全景摄像机的实时视频流传输方法 |
| CN106060582A (zh) * | 2016-05-24 | 2016-10-26 | 广州华多网络科技有限公司 | 视频传输系统、方法及装置 |
| US20200092496A1 (en) * | 2017-02-01 | 2020-03-19 | Samsung Electronics Co., Ltd. | Electronic device and method for capturing and displaying image |
| CN107071509A (zh) * | 2017-05-18 | 2017-08-18 | 北京大生在线科技有限公司 | 多路直播的视频精确同步方法 |
| CN108184079A (zh) * | 2017-12-29 | 2018-06-19 | 北京奇虎科技有限公司 | 一种多媒体文件的合并方法和装置 |
| CN109729373A (zh) * | 2018-12-27 | 2019-05-07 | 广州华多网络科技有限公司 | 流媒体数据的混流方法、装置及存储介质、计算机设备 |
| CN110855908A (zh) * | 2019-11-18 | 2020-02-28 | 中移（杭州）信息技术有限公司 | 多方视频混屏方法、装置、网络设备及存储介质 |
| CN111601151A (zh) * | 2020-04-13 | 2020-08-28 | 北京拙河科技有限公司 | 一种亿级像素视频回看方法、装置、介质及设备 |
| CN111787365A (zh) * | 2020-07-17 | 2020-10-16 | 易视腾科技股份有限公司 | 多路音视频同步方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 梁思毓;姜忠鼎;: "一种面向多投影视频播放的系统架构和集群管理", 计算机应用与软件, no. 01 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114449309A (zh) * | 2022-02-14 | 2022-05-06 | 杭州登虹科技有限公司 | 一种用于云导播的动图播放方法 |
| CN114449309B (zh) * | 2022-02-14 | 2023-10-13 | 杭州登虹科技有限公司 | 一种用于云导播的动图播放方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112511768B (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7613381B2 (en) | Video data processing method and video data processing apparatus | |
| US7003794B2 (en) | Multicasting transmission of multimedia information | |
| US9992555B2 (en) | Signaling random access points for streaming video data | |
| KR20160110472A (ko) | 상이한 인코딩 파라미터를 이용해 인코딩되는 복수의 인코딩 스트리밍 | |
| JPH1075436A (ja) | ビデオ配信システムにおいてトリック再生ストリームおよび通常再生ストリーム間でインデックスを設定するシステムおよび方法 | |
| US20180077385A1 (en) | Data, multimedia & video transmission updating system | |
| WO2005071970A1 (en) | Method and apparatus for determining timing information from a bit stream | |
| EP2589222B1 (en) | Signaling video samples for trick mode video representations | |
| JP2008500752A (ja) | ビデオデータの適応型復号 | |
| US20090219437A1 (en) | Mixing of video content | |
| CN111918096A (zh) | 云导播快速切换输入源的方法、装置、设备及存储介质 | |
| US20210203704A1 (en) | Cloud gaming gpu with integrated nic and shared frame buffer access for lower latency | |
| CN107172376B (zh) | 一种基于屏幕共享的视频编码方法和装置 | |
| CN112425178B (zh) | 两遍组块并行转码处理 | |
| WO2011075548A1 (en) | Carriage systems encoding or decoding jpeg 2000 video | |
| US8854435B2 (en) | Viewpoint navigation | |
| FI105634B (fi) | Menetelmä videokuvien siirtämiseksi, tiedonsiirtojärjestelmä ja multimediapäätelaite | |
| US10002644B1 (en) | Restructuring video streams to support random access playback | |
| CN112511768B (zh) | 多画面合成方法、装置、设备及存储介质 | |
| JP4295079B2 (ja) | 特殊映像データ処理方法及び特殊映像データ処理装置及び特殊映像データ処理システム | |
| Zeng et al. | A new architecture of 8k vr fov video end-to-end technology | |
| Bassbouss et al. | Towards a high efficient 360° video processing and streaming solution in a multiscreen environment | |
| JP2001128165A (ja) | 映像信号切替え装置及びその映像信号切替え方式 | |
| US8565318B2 (en) | Restamping transport streams to avoid vertical rolls | |
| Kammachi‐Sreedhar et al. | Omnidirectional video delivery with decoder instance reduction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |