CN108769600B - 一种基于视频流调帧率的桌面共享系统及其桌面共享方法 - Google Patents
一种基于视频流调帧率的桌面共享系统及其桌面共享方法 Download PDFInfo
- Publication number
- CN108769600B CN108769600B CN201810599090.9A CN201810599090A CN108769600B CN 108769600 B CN108769600 B CN 108769600B CN 201810599090 A CN201810599090 A CN 201810599090A CN 108769600 B CN108769600 B CN 108769600B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- video
- desktop
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000009877 rendering Methods 0.000 claims abstract description 34
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Abstract
本发明目的是提供一种基于视频流调帧率的桌面共享系统及桌面共享方法，一种基于视频流调帧率的桌面共享系统包括视频解码模块、桌面渲染模块、桌面抓取模块、拼接模块、调帧模块、视频编码模块，其中：所述视频解码模块，用于负责来网络视频流(如网络监控摄像头)或本地视频文件解码进行解码得到高帧率(如每秒60帧图像)，并把解码后视频YUV数据发送给桌面渲染模块与拼接模块；所述桌面渲染模块，用于负责把视频图像A渲染显示到电脑桌面上，并为桌面抓取模块提供视频图像A的位置与大小；本发明能够有效地解决并修正桌面共享帧率不高问题，按照桌面的高帧率视频图像内容来提高帧率，同时消除冗余数据控制码率，最终提升桌面共享的品质。
Description
技术领域
本发明涉及信息处理技术领域，具体涉及一种基于视频流调帧率的桌面共享系统及桌面共享方法。
背景技术
参考图1所示，当前桌面共享的实现模式：桌面抓取模块(1)获取桌面图像，视频编码模块(2)对桌面图像进行压缩后发送给远端桌面显示(3)，远端桌面显示(3)对压缩数据解码显示。这里存在一个问题，桌面包如含类似视频监控摄像头的高帧率视频图像，视频监控摄像头的视频帧率较高(如每秒60帧图像)，但桌面抓取模块(1)获取图像为低帧率，一般为每秒20帧图像，导致远端桌面显示(3)看到桌面中的摄像头图像也为低帧率(如每秒20帧图像)，最终显示效果不佳。
发明内容
本发明目的是提供一种基于视频流调帧率的桌面共享系统及桌面共享方法，解决并修正桌面共享帧率不高问题，按照桌面的高帧率视频图像内容来提高帧率，同时消除冗余数据控制码率，最终提升桌面共享的品质。
为实现上述目的，本发明提供如下技术方案：
一种基于视频流调帧率的桌面共享系统，包括视频解码模块(1)、桌面渲染模块(2)、桌面抓取模块(3)、拼接模块(4)、调帧模块(5)、视频编码模块(6)，其中：
所述视频解码模块(1)，用于将网络视频流或本地视频文件进行解码得到高帧率的视频图像A的YUV视频数据(如每秒60帧图像)，并把解码后YUV视频数据发送给桌面渲染模块(2)与拼接模块(4)；
所述桌面渲染模块(2)，用于负责把解码后YUV视频数据渲染显示到电脑桌面上，并为桌面抓取模块(3)提供解码后YUV视频数据的位置与大小；
所述桌面抓取模块(3)，用于抓取电脑桌面获取低帧率(如每秒20帧图像)的桌面图像，并把桌面图像与视频图像A的位置与大小发给拼接模块(4)；
所述拼接模块(4)，用于把低帧率(如每秒20帧图像)桌面图像与高帧率(如每秒60帧图像)视频图像A拼接合并(方法参考步骤7)；
所述调帧模块(5)，用于控制(方法参考步骤8)视频编码GOP与I帧生成时间，去除复制桌面图像而带来数据冗余，减少传输所需的带宽；
所述视频编码模块(6)，用于负责拼接模块(4)输出视频进行压缩编码，最终输出标准视频压缩数据流，并将帧率提高为高帧率(如每秒60帧图像)。
本发明还提供一种基于视频流调帧率的桌面共享方法，包括如下步骤：
步骤(1)、视频解码模块(1)解码网络视频流(如网络监控摄像头)或本地视频文件得到高帧率(如每秒60帧图像)的视频图像A的YUV视频数据；
步骤(2)、视频解码模块(1)把解码视频图像A的YUV视频数据带上时间戳t1分别复制分发给桌面渲染模块(2)与拼接模块(4)；
步骤(3)、桌面渲染模块(2)接收视频图像A的YUV视频数据，按照视频图像A在电脑桌面图像中的位置(图像左上角坐标)与大小(图像长与宽)在电脑桌面图像中渲染显示，桌面渲染模块(2)保存时间戳t1为当前渲染时间戳t1’；
步骤(4)、桌面抓取模块(3)通过抓取桌面获取低帧率(如每秒20帧图像)的桌面图像Z的YUV视频数据带；桌面抓取模块(3)从桌面渲染模块(2)获取视频图像A的位置(图像左上角坐标)与大小(图像长与宽)与当前渲染时间戳t1’；
步骤(5)、桌面抓取模块(3)把桌面图像Z的YUV视频数据带上与视频图像A位置与大小于时间戳t1’发送给拼接模块(4)；
步骤(6)、拼接模块(4)接收到视频图像A的YUV视频数据与时间戳t’，保存到拼接模块(4)的缓存h1；
步骤(7)、拼接模块(4)拼接桌面图像Z与视频图像A的方法
(7.1)、拼接模块(4)获取桌面图像Z的YUV视频数据d1带上与视频图像A位置p1(图像左上角坐标)与大小s1(图像长与宽)与时间戳t1’；
(7.2)、拼接模块(4)按照时间戳小于视频图像A时间戳t1’条件从缓存h1获取视频图像A的视频数据队列；
(7.2)、拼接模块(4)从视频图像A的视频数据队列中取第一个YUV视频数据；
(7.3)、拼接模块(4)根据视频图像A的大小s1(图像长与宽)对视频图像A的YUV视频数据进缩放，得到视频图像A的叠加YUV视频数据；
(7.4)、拼接模块(4)根据视频图像A的位置p1(图像左上角坐标)使用视频图像A的叠加YUV视频数据对桌面图像Z的YUV视频数据进行替换，得到桌面图像Z的YUV视频数据d1的编号为1(编号视频图像A的视频数据队列的顺序编号)合并图像的YUV视频数据；拼接模块(4)按照当前时间生成合并时间戳，拼接模块(4)把合并图像的YUV视频数据与合并时间戳发送给视频编码模块(6)，拼接模块(4)把合并图像的合并时间戳与编号发送给调帧模块(5)；
(7.5)、拼接模块(4)获取桌面图像Z的YUV视频数据d2带上与视频图像A位置p2(图像左上角坐标)与大小s2(图像长与宽)与时间戳t2’；
(7.6)、拼接模块(4)依次取视频图像A的视频数据队列的YUV视频数据，重复步骤(7.3)～步骤(7.5)，生成以桌面图像Z的YUV视频数据d1为底图的其他图像(合并图像的编号为2,3,4...)；
(7.7)、拼接模块(4)获取桌面图像Z的YUV视频数据d2带上与视频图像A位置p2(图像左上角坐标)与大小s2(图像长与宽)与时间戳t2’，则重复步骤(7.1)～步骤(7.6)；生成以桌面图像Z的YUV视频数据d2为底图的所有图像；
步骤(8)、调帧模块(5)的调帧方法
(8.1)、调帧模块(5)根据统计得到桌面图像Z的帧率A(如每秒20帧图像)与视频图像A的帧率B(如每秒60帧图像)，计算帧率A与帧率B的最小公倍数C(如为60)，最小公倍数C为桌面图像Z与视频图像A不同帧率拼接重复周期，设置最小公倍数C为GOP值(I帧出现周期)；
(8.2)、调帧模块(5)设置视频编码模块(6)GOP为最小公倍数C，设置视频编码模块(6)起始时间戳；起始时间戳对应视频编码帧类型为I帧，起始时间戳取值合并图像的编号为1的时间戳；这样I帧为桌面图像Z在步骤(7.4)生成第一张合并图像，桌面图像Z复制而生成其他合并图像为P帧，所以桌面图像Z复制而带来数据冗余也被消除，从而减少传输所需的带宽；
(8.3)、调帧模块(5)发现桌面图像Z的帧率或视频图像A的帧率发生变化，则重新进行步骤(8.1)～步骤(8.2)；
步骤(9)、视频编码模块(6)接收到拼接模块(4)的合并图像的YUV视频数据与合并时间戳，保存到本身缓存h2中；
步骤(10)、视频编码模块(6)接到调帧模块(5)的GOP值与起始时间戳；视频编码模块(6)把GOP值设置到视频编码中；视频编码模块(6)根据起始时间戳在缓存h2找到合并图像对应的YUV视频数据，开始视频编码；
步骤(11)、视频编码模块(6)最终编码输出标准视频压缩数据流，但帧率提高为高帧率(如每秒60帧图像)。
与现有技术相比，本发明的有益效果是：
采用本发明的技术方案，能够有效地修正桌面共享帧率不高问题，按照桌面的高帧率视频图像内容来提高帧率，同时消除冗余数据控制码率，最终提升桌面共享的品质。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有桌面共享的实现模式结构示意图；
图2为本发明的整体功能结构示意图；
图3为本发明中局部功能结构以及调帧模块的调帧时序结构示意图；
附图数字标注：视频解码模块(1)，桌面渲染模块(2)，桌面抓取模块(3)，拼接模块(4)，调帧模块(5)，视频编码模块(6)。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图2～3所示：本发明提供一种基于视频流调帧率的桌面共享系统，包括视频解码模块(1)、桌面渲染模块(2)、桌面抓取模块(3)、拼接模块(4)、调帧模块(5)、视频编码模块(6)，其中：
所述视频解码模块(1)，用于负责对网络视频流(如网络监控摄像头)或本地视频文件进行解码得到高帧率图像(如每秒60帧图像)，并把解码后YUV视频数据发送给桌面渲染模块(2)与拼接模块(4)；
所述桌面渲染模块(2)，用于负责把解码后YUV视频数据渲染显示到电脑桌面上，并为桌面抓取模块(3)提供解码后YUV视频数据的位置与大小；
所述桌面抓取模块(3)，用于抓取电脑桌面获取低帧率(如每秒20帧图像)的桌面图像，并把桌面图像与视频图像A的位置与大小发给拼接模块(4)；
所述拼接模块(4)，用于把低帧率(如每秒20帧图像)桌面图像与高帧率(如每秒60帧图像)视频图像A拼接合并(方法参考步骤7)；
所述调帧模块(5)，用于控制(方法参考步骤8)视频编码GOP与I帧生成时间，去除复制桌面图像而带来数据冗余，减少传输所需的带宽；
所述视频编码模块(6)，用于负责拼接模块(4)输出视频进行压缩编码，最终输出标准视频压缩数据流，并将帧率提高为高帧率(如每秒60帧图像)。
本发明还提供一种基于视频流调帧率的桌面共享方法，包括如下步骤：
步骤(1)、视频解码模块(1)解码网络视频流(如网络监控摄像头)或本地视频文件得到高帧率(如每秒60帧图像)的视频图像A的YUV视频数据；
步骤(2)、视频解码模块(1)把解码视频图像A的YUV视频数据带上时间戳t1分别复制分发给桌面渲染模块(2)与拼接模块(4)；
步骤(3)、桌面渲染模块(2)接收视频图像A的YUV视频数据，按照视频图像A在电脑桌面图像中的位置(图像左上角坐标)与大小(图像长与宽)在电脑桌面图像中渲染显示，桌面渲染模块(2)保存时间戳t1为当前渲染时间戳t1’；
步骤(4)、桌面抓取模块(3)通过抓取桌面获取低帧率(如每秒20帧图像)的桌面图像Z的YUV视频数据带；桌面抓取模块(3)从桌面渲染模块(2)获取视频图像A的位置(图像左上角坐标)与大小(图像长与宽)与当前渲染时间戳t1’；
步骤(5)、桌面抓取模块(3)把桌面图像Z的YUV视频数据带上与视频图像A位置与大小于时间戳t1’发送给拼接模块(4)；
步骤(6)、拼接模块(4)接收到视频图像A的YUV视频数据与时间戳t’，保存到拼接模块(4)的缓存h1；
步骤(7)、拼接模块(4)拼接桌面图像Z与视频图像A的方法
(7.1)、拼接模块(4)获取桌面图像Z的YUV视频数据d1带上与视频图像A位置p1(图像左上角坐标)与大小s1(图像长与宽)与时间戳t1’；
(7.2)、拼接模块(4)按照时间戳小于视频图像A时间戳t1’条件从缓存h1获取视频图像A的视频数据队列；
(7.3)、拼接模块(4)从视频图像A的视频数据队列中取第一个YUV视频数据；
(7.4)、拼接模块(4)根据视频图像A的大小s1(图像长与宽)对视频图像A的YUV视频数据进缩放，得到视频图像A的叠加YUV视频数据；
(7.5)、拼接模块(4)根据视频图像A的位置p1(图像左上角坐标)使用视频图像A的叠加YUV视频数据对桌面图像Z的YUV视频数据进行替换，得到桌面图像Z的YUV视频数据d1的编号为1(编号视频图像A的视频数据队列的顺序编号)合并图像的YUV视频数据；拼接模块(4)按照当前时间生成合并时间戳，拼接模块(4)把合并图像的YUV视频数据与合并时间戳发送给视频编码模块(6)，拼接模块(4)把合并图像的合并时间戳与编号发送给调帧模块(5)；
(7.6)、拼接模块(4)依次取视频图像A的视频数据队列的YUV视频数据，重复步骤(7.3)～步骤(7.5)，生成以桌面图像Z的YUV视频数据d1为底图的其他图像(合并图像的编号为2,3,4...)；
(7.7)、拼接模块(4)获取桌面图像Z的YUV视频数据d2带上与视频图像A位置p2(图像左上角坐标)与大小s2(图像长与宽)与时间戳t2’，则重复步骤(7.1)～步骤(7.6)；生成以桌面图像Z的YUV视频数据d2为底图的所有图像；
步骤(8)、调帧模块(5)的调帧方法
(8.1)、调帧模块(5)根据统计得到桌面图像Z的帧率A(如每秒20帧图像)与视频图像A的帧率B(如每秒60帧图像)，计算帧率A与帧率B的最小公倍数C(如为60)，最小公倍数C为桌面图像Z与视频图像A不同帧率拼接重复周期，设置最小公倍数C为GOP值(I帧出现周期)；
(8.2)、调帧模块(5)设置视频编码模块(6)GOP为最小公倍数C，设置视频编码模块(6)起始时间戳；起始时间戳对应视频编码帧类型为I帧，起始时间戳取值合并图像的编号为1的时间戳；这样I帧为桌面图像Z在步骤(7.4)生成第一张合并图像，桌面图像Z复制而生成其他合并图像为P帧，所以桌面图像Z复制而带来数据冗余也被消除，从而减少传输所需的带宽；
(8.3)、调帧模块(5)发现桌面图像Z的帧率或视频图像A的帧率发生变化，则重新进行步骤(8.1)～步骤(8.2)；
步骤(9)、视频编码模块(6)接收到拼接模块(4)的合并图像的YUV视频数据与合并时间戳，保存到本身缓存h2中；
步骤(10)、视频编码模块(6)接到调帧模块(5)的GOP值与起始时间戳；视频编码模块(6)把GOP值设置到视频编码中；视频编码模块(6)根据起始时间戳在缓存h2找到合并图像对应的YUV视频数据，开始视频编码；
步骤(11)、视频编码模块(6)最终编码输出标准视频压缩数据流，但帧率提高为高帧率(如每秒60帧图像)。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (2)
1.一种基于视频流调帧率的桌面共享系统，其特征在于，包括视频解码模块(1)、桌面渲染模块(2)、桌面抓取模块(3)、拼接模块(4)、调帧模块(5)、视频编码模块(6)，其中：
所述视频解码模块(1)，用于将网络视频流或本地视频文件进行解码得到高帧率的视频图像A的YUV视频数据，并把解码后YUV视频数据发送给桌面渲染模块(2)与拼接模块(4)；
所述桌面渲染模块(2)，用于负责把解码后YUV视频数据渲染显示到电脑桌面上，并为桌面抓取模块(3)提供解码后YUV视频数据的位置与大小；
所述桌面抓取模块(3)，用于抓取电脑桌面获取低帧率的桌面图像，并把桌面图像与视频图像A的位置与大小发给拼接模块(4)；
所述拼接模块(4)，用于把低帧率桌面图像与高帧率视频图像A拼接合并；
其中，拼接模块(4)拼接桌面图像Z与视频图像A的方法如下：
(7.1)、拼接模块(4)获取桌面图像Z的YUV视频数据d1带上与视频图像A位置p1与大小s1与时间戳t1’；
(7.2)、拼接模块(4)按照时间戳小于视频图像A时间戳t1’条件从缓存h1获取视频图像A的视频数据队列；
(7.3)、拼接模块(4)从视频图像A的视频数据队列中取第一个YUV视频数据；
(7.4)、拼接模块(4)根据视频图像A的大小s1对视频图像A的YUV视频数据进缩放，得到视频图像A的叠加YUV视频数据；
(7.5)、拼接模块(4)根据视频图像A的位置p1使用视频图像A的叠加YUV视频数据对桌面图像Z的YUV视频数据进行替换，得到桌面图像Z的YUV视频数据d1的编号为1合并图像的YUV视频数据；拼接模块(4)按照当前时间生成合并时间戳，拼接模块(4)把合并图像的YUV视频数据与合并时间戳发送给视频编码模块(6)，拼接模块(4)把合并图像的合并时间戳与编号发送给调帧模块(5)；
(7.6)、拼接模块(4)依次取视频图像A的视频数据队列的YUV视频数据，重复步骤(7.3)～步骤(7.5)，生成以桌面图像Z的YUV视频数据d1为底图的其他图像，即合并图像的编号为2,3,4...；
(7.7)、拼接模块(4)获取桌面图像Z的YUV视频数据d2带上与视频图像A位置p2与大小s2与时间戳t2’，则重复步骤(7.1)～步骤(7.6)；生成以桌面图像Z的YUV视频数据d2为底图的所有图像；
所述调帧模块(5)，用于控制视频编码GOP与I帧生成时间，去除复制桌面图像而带来数据冗余，减少传输所需的带宽；
所述视频编码模块(6)，用于负责拼接模块(4)输出视频进行压缩编码，最终输出标准视频压缩数据流，并将帧率提高为高帧率。
2.一种基于视频流调帧率的桌面共享方法，其特征在于，包括如下步骤：
步骤(1)、视频解码模块(1)解码网络视频流或本地视频文件得到高帧率的视频图像A的YUV视频数据；
步骤(2)、视频解码模块(1)把解码视频图像A的YUV视频数据带上时间戳t1分别复制分发给桌面渲染模块(2)与拼接模块(4)；
步骤(3)、桌面渲染模块(2)接收视频图像A的YUV视频数据，按照视频图像A在电脑桌面图像中的位置与大小在电脑桌面图像中渲染显示，桌面渲染模块(2)保存时间戳t1为当前渲染时间戳t1’；
步骤(4)、桌面抓取模块(3)通过抓取桌面获取低帧率的桌面图像Z的YUV视频数据带；桌面抓取模块(3)从桌面渲染模块(2)获取视频图像A的位置与大小与当前渲染时间戳t1’；
步骤(5)、桌面抓取模块(3)把桌面图像Z的YUV视频数据带上与视频图像A位置与大小与时间戳t1’发送给拼接模块(4)；
步骤(6)、拼接模块(4)接收到视频图像A的YUV视频数据与时间戳t’，保存到拼接模块(4)的缓存h1；
步骤(7)、拼接模块(4)拼接桌面图像Z与视频图像A的方法
(7.1)、拼接模块(4)获取桌面图像Z的YUV视频数据d1带上与视频图像A位置p1与大小s1与时间戳t1’；
(7.2)、拼接模块(4)按照时间戳小于视频图像A时间戳t1’条件从缓存h1获取视频图像A的视频数据队列；
(7.3)、拼接模块(4)从视频图像A的视频数据队列中取第一个YUV视频数据；
(7.4)、拼接模块(4)根据视频图像A的大小s1对视频图像A的YUV视频数据进缩放，得到视频图像A的叠加YUV视频数据；
(7.5)、拼接模块(4)根据视频图像A的位置p1使用视频图像A的叠加YUV视频数据对桌面图像Z的YUV视频数据进行替换，得到桌面图像Z的YUV视频数据d1的编号为1合并图像的YUV视频数据；拼接模块(4)按照当前时间生成合并时间戳，拼接模块(4)把合并图像的YUV视频数据与合并时间戳发送给视频编码模块(6)，拼接模块(4)把合并图像的合并时间戳与编号发送给调帧模块(5)；
(7.6)、拼接模块(4)依次取视频图像A的视频数据队列的YUV视频数据，重复步骤(7.3)～步骤(7.5)，生成以桌面图像Z的YUV视频数据d1为底图的其他图像，即合并图像的编号为2,3,4...；
(7.7)、拼接模块(4)获取桌面图像Z的YUV视频数据d2带上与视频图像A位置p2与大小s2与时间戳t2’，则重复步骤(7.1)～步骤(7.6)；生成以桌面图像Z的YUV视频数据d2为底图的所有图像；
步骤(8)、调帧模块(5)的调帧方法
(8.1)、调帧模块(5)根据统计得到桌面图像Z的帧率A与视频图像A的帧率B，计算帧率A与帧率B的最小公倍数C，最小公倍数C为桌面图像Z与视频图像A不同帧率拼接重复周期，设置最小公倍数C为GOP值；
(8.2)、调帧模块(5)设置视频编码模块(6)GOP为最小公倍数C，设置视频编码模块(6)起始时间戳；起始时间戳对应视频编码帧类型为I帧，起始时间戳取值合并图像的编号为1的时间戳；这样I帧为桌面图像Z在步骤(7.4)生成第一张合并图像，桌面图像Z复制而生成其他合并图像为P帧，所以桌面图像Z复制而带来数据冗余也被消除，从而减少传输所需的带宽；
(8.3)、调帧模块(5)发现桌面图像Z的帧率或视频图像A的帧率发生变化，则重新进行步骤(8.1)～步骤(8.2)；
步骤(9)、视频编码模块(6)接收到拼接模块(4)的合并图像的YUV视频数据与合并时间戳，保存到本身缓存h2中；
步骤(10)、视频编码模块(6)接到调帧模块(5)的GOP值与起始时间戳；视频编码模块(6)把GOP值设置到视频编码中；视频编码模块(6)根据起始时间戳在缓存h2找到合并图像对应的YUV视频数据，开始视频编码；
步骤(11)、视频编码模块(6)最终编码输出标准视频压缩数据流，但帧率提高为高帧率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810599090.9A CN108769600B (zh) | 2018-06-12 | 2018-06-12 | 一种基于视频流调帧率的桌面共享系统及其桌面共享方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810599090.9A CN108769600B (zh) | 2018-06-12 | 2018-06-12 | 一种基于视频流调帧率的桌面共享系统及其桌面共享方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108769600A CN108769600A (zh) | 2018-11-06 |
| CN108769600B true CN108769600B (zh) | 2020-07-03 |
Family
ID=64021001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810599090.9A Active CN108769600B (zh) | 2018-06-12 | 2018-06-12 | 一种基于视频流调帧率的桌面共享系统及其桌面共享方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108769600B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112911299B (zh) * | 2019-12-03 | 2023-02-28 | 浙江宇视科技有限公司 | 一种视频码率控制方法、装置、电子设备和存储介质 |
| CN114205513A (zh) * | 2020-09-17 | 2022-03-18 | 华为技术有限公司 | 图片抓拍方法、图片存储方法、系统、设备以及存储介质 |
| CN114531584B (zh) * | 2022-04-24 | 2022-08-16 | 浙江华眼视觉科技有限公司 | 一种快件码识别机的视频间隔合成方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101835043A (zh) * | 2010-03-23 | 2010-09-15 | 熔点网讯(北京)科技有限公司 | 基于块编码的带宽自适应桌面共享方法 |
| CN105843576A (zh) * | 2016-03-25 | 2016-08-10 | 广东威创视讯科技股份有限公司 | 一种拼接墙窗口切换方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9124757B2 (en) * | 2010-10-04 | 2015-09-01 | Blue Jeans Networks, Inc. | Systems and methods for error resilient scheme for low latency H.264 video coding |
| US9257092B2 (en) * | 2013-02-12 | 2016-02-09 | Vmware, Inc. | Method and system for enhancing user experience for remoting technologies |
| US9930404B2 (en) * | 2013-06-17 | 2018-03-27 | Echostar Technologies L.L.C. | Event-based media playback |
-
2018
- 2018-06-12 CN CN201810599090.9A patent/CN108769600B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101835043A (zh) * | 2010-03-23 | 2010-09-15 | 熔点网讯(北京)科技有限公司 | 基于块编码的带宽自适应桌面共享方法 |
| CN105843576A (zh) * | 2016-03-25 | 2016-08-10 | 广东威创视讯科技股份有限公司 | 一种拼接墙窗口切换方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 低带宽环境下桌面共享协同设计的关键技术研究;王海波;《中国优秀硕士学位论文全文数据库》;20070615(第6期);I138-683 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108769600A (zh) | 2018-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8184636B2 (en) | Information processing device and method, and computer readable medium for packetizing and depacketizing data | |
| US10511803B2 (en) | Video signal transmission method and device | |
| US5910827A (en) | Video signal decoding arrangement and method for improved error concealment | |
| JP4806005B2 (ja) | 離散タイムラベル付けされたビデオをアナログ出力信号に変換するタイムベース再構成 | |
| EP3591972A1 (en) | Method and system for encoding video with overlay | |
| CN108769600B (zh) | 一种基于视频流调帧率的桌面共享系统及其桌面共享方法 | |
| CN108063976B (zh) | 一种视频处理方法及装置 | |
| WO2021136369A1 (zh) | 一种分布式跨节点视频同步方法及系统 | |
| CN111147860B (zh) | 一种视频数据的解码方法及装置 | |
| CN105306837A (zh) | 多图像拼接方法及装置 | |
| CN101742221A (zh) | 一种会议电视系统中的多画面合成方法及装置 | |
| JP2015171114A (ja) | 動画像符号化装置 | |
| US7403566B2 (en) | System, computer program product, and method for transmitting compressed screen images from one computer to another or many computers | |
| US11259036B2 (en) | Video decoder chipset | |
| CN104602095A (zh) | 一种组合桌面采集与同步显示方法及系统 | |
| WO2020237466A1 (zh) | 视频传输方法、装置、飞行器、播放设备及存储介质 | |
| CN113099184A (zh) | 兼容多种视频格式的图像拼接方法、装置及电子设备 | |
| CN110351576B (zh) | 一种在工业场景下进行实时视频流快速显示的方法及其系统 | |
| US20150085190A1 (en) | Information processing apparatus and method, and, program | |
| CN103716638A (zh) | 表示视频图像显示顺序的方法 | |
| US10893229B1 (en) | Dynamic pixel rate-based video | |
| KR20020015219A (ko) | 영상회의 시스템에서의 영상 전송 장치 및 그 방법 | |
| JP2011107246A (ja) | 動画像再生装置及び動画像再生方法並びにプログラム | |
| KR20030082117A (ko) | 디지털 방송 수신기에서의 오디오/비디오 립 싱크 제어 방법 | |
| CN112749044B (zh) | 多通道渲染系统的热备份方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A desktop sharing system based on video stream frame rate adjustment and its desktop sharing method Effective date of registration: 20211202 Granted publication date: 20200703 Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd. Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd. Registration number: Y2021980013922 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20220322 Granted publication date: 20200703 Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd. Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd. Registration number: Y2021980013922 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A desktop sharing system based on video stream frame rate adjustment and its desktop sharing method Effective date of registration: 20220322 Granted publication date: 20200703 Pledgee: Shanghai Guotai Junan Securities Asset Management Co.,Ltd. Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd. Registration number: Y2022990000162 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20230131 Granted publication date: 20200703 Pledgee: Shanghai Guotai Junan Securities Asset Management Co.,Ltd. Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd. Registration number: Y2022990000162 |