CN108769600A - 一种基于视频流调帧率的桌面共享系统及其桌面共享方法 - Google Patents

一种基于视频流调帧率的桌面共享系统及其桌面共享方法 Download PDF

Info

Publication number
CN108769600A
CN108769600A CN201810599090.9A CN201810599090A CN108769600A CN 108769600 A CN108769600 A CN 108769600A CN 201810599090 A CN201810599090 A CN 201810599090A CN 108769600 A CN108769600 A CN 108769600A
Authority
CN
China
Prior art keywords
video
module
desktop
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810599090.9A
Other languages
English (en)
Other versions
CN108769600B (zh
Inventor
金国庆
陈尚武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Polytron Technologies Inc
Original Assignee
Hangzhou Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Polytron Technologies Inc filed Critical Hangzhou Polytron Technologies Inc
Priority to CN201810599090.9A priority Critical patent/CN108769600B/zh
Publication of CN108769600A publication Critical patent/CN108769600A/zh
Application granted granted Critical
Publication of CN108769600B publication Critical patent/CN108769600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Abstract

本发明目的是提供一种基于视频流调帧率的桌面共享系统及桌面共享方法，一种基于视频流调帧率的桌面共享系统包括视频解码模块、桌面渲染模块、桌面抓取模块、拼接模块、调帧模块、视频编码模块，其中：所述视频解码模块，用于负责来网络视频流(如网络监控摄像头)或本地视频文件解码进行解码得到高帧率(如每秒60帧图像)，并把解码后视频YUV数据发送给桌面渲染模块与拼接模块；所述桌面渲染模块，用于负责把视频图像A渲染显示到电脑桌面上，并为桌面抓取模块提供视频图像A的位置与大小；本发明能够有效地解决并修正桌面共享帧率不高问题，按照桌面的高帧率视频图像内容来提高帧率，同时消除冗余数据控制码率，最终提升桌面共享的品质。

Description

一种基于视频流调帧率的桌面共享系统及其桌面共享方法
技术领域
本发明涉及信息处理技术领域，具体涉及一种基于视频流调帧率的桌面共享系统及桌面共享方法。
背景技术
参考图1所示，当前桌面共享的实现模式：桌面抓取模块(1)获取桌面图像，视频编码模块(2)对桌面图像进行压缩后发送给远端桌面显示(3)，远端桌面显示(3)对压缩数据解码显示。这里存在一个问题，桌面包如含类似视频监控摄像头的高帧率视频图像，视频监控摄像头的视频帧率较高(如每秒60帧图像)，但桌面抓取模块(1)获取图像为低帧率，一般为每秒20帧图像，导致远端桌面显示(3)看到桌面中的摄像头图像也为低帧率(如每秒20帧图像)，最终显示效果不佳。
发明内容
本发明目的是提供一种基于视频流调帧率的桌面共享系统及桌面共享方法，解决并修正桌面共享帧率不高问题，按照桌面的高帧率视频图像内容来提高帧率，同时消除冗余数据控制码率，最终提升桌面共享的品质。
为实现上述目的，本发明提供如下技术方案：
一种基于视频流调帧率的桌面共享系统，包括视频解码模块(1)、桌面渲染模块(2)、桌面抓取模块(3)、拼接模块(4)、调帧模块(5)、视频编码模块(6)，其中：
所述视频解码模块(1)，用于负责来网络视频流(如网络监控摄像头)或本地视频文件解码进行解码得到高帧率(如每秒60帧图像)，并把解码后视频YUV数据发送给桌面渲染模块(2)与拼接模块(4)；
所述桌面渲染模块(2)，用于负责把视频图像A渲染显示到电脑桌面上，并为桌面抓取模块(3)提供视频图像A的位置与大小；
所述桌面抓取模块(3)，用于抓取电脑桌面获取低帧率(如每秒20帧图像)的桌面图像，并把桌面图像与视频图像A的位置与大小发给拼接模块(4)；
所述拼接模块(4)，用于把低帧率(如每秒20帧图像)桌面图像与高帧率(如每秒60帧图像)视频图像A拼接合并(方法参考步骤7)；
所述调帧模块(5)，用于控制(方法参考步骤8)视频编码GOP与I帧生成时间，去除拼接模块(4)复制桌面图像而带来数据冗余，减低传输带宽；
所述视频编码模块(6)，用于负责拼接模块(4)输出视频进行压缩编码，最终输出标准视频压缩数据流，并将帧率提高为高帧率(如每秒60帧图像)。
本发明还提供一种基于视频流调帧率的桌面共享方法，包括如下步骤：
步骤(1)、视频解码模块(1)解码网络视频流(如网络监控摄像头)或本地视频文件解码进行解码得到高帧率(如每秒60帧图像)的视频图像A的YUV视频数据；
步骤(2)、视频解码模块(1)并把解码视频图像A的YUV视频数据带上时间戳t1分别复制分发给桌面渲染模块(2)与拼接模块(4)；
步骤(3)、桌面渲染模块(2)接收视频图像A的YUV视频数据，按照视频图像A的位置(图像左上角坐标)与大小(图像图像长与宽)在电脑桌面的渲染显示,桌面渲染模块(2)保存时间戳t1为当前渲染时间戳t1’；
步骤(4)、桌面抓取模块(3)通过抓取桌面获取低帧率(如每秒20帧图像)的桌面图像Z的RGB视频数据；桌面抓取模块(3)从桌面渲染模块(2)获取视频图像A的位置(图像左上角坐标)与大小(图像图像长与宽)与当前渲染时间戳t1’；
步骤(5)、桌面抓取模块(3)把桌面图像Z的YUV视频数据带上与视频图像A位置与大小与时间戳t’发送给拼接模块(4)；
步骤(6)、拼接模块(4)接收到视频图像A的YUV视频数据与时间戳t’，保存到拼接模块(4)的缓存h1；
步骤(7)、拼接模块(4)拼接桌面图像Z与视频图像A的方法
(7.1)、拼接模块(4)获取桌面图像Z的YUV视频数据d1带上与视频图像A位置p1(图像左上角坐标)与大小s1(图像长与宽)与时间戳t1’；
(7.2)、拼接模块(4)按照时间戳小与视频图像A时间戳t1’条件从缓存h1获取视频图像A的视频数据队列；
(7.2)、拼接模块(4)视频图像A的视频数据队列去第一个YUV视频数据
(7.3)、拼接模块(4)根据视频图像A的大小s1(图像长与宽)对视频图像A的YUV视频数据进缩放，得到视频图像A的叠加YUV视频数据；
(7.4)、拼接模块(4)根据视频图像A的位置p1(图像左上角坐标)使用视频图像A的叠加YUV视频数据对桌面图像Z的YUV视频数据进行替换，得到桌面图像Z的YUV视频数据d1的编号为1(编号视频图像A的视频数据队列的顺序编号)合并图像的YUV视频数据；拼接模块(4)按照当前时间生成合并时间戳，拼接模块(4)把合并图像的YUV视频数据与合并时间戳发送给视频编码模块(6)，拼接模块(4)把合并图像的合并时间戳与编号发送调帧模块(5)；
(7.5)、拼接模块(4)获取桌面图像Z的YUV视频数据d2带上与视频图像A位置p2(图像左上角坐标)与大小s2(图像长与宽)与时间戳t2’.
(7.6)、拼接模块(4)依次取视频图像A的视频数据队列的YUV视频数据，重复步骤(7.3)～步骤(7.5)，生成以桌面图像Z的YUV视频数据d1为底图的其他图像(合并图像的编号为2,3,4...)；
(7.7)、拼接模块(4)获取桌面图像Z的YUV视频数据d2带上与视频图像A位置p2(图像左上角坐标)与大小s2(图像长与宽)与时间戳t2’，则重复步骤(7.1)～步骤(7.6)；生成以桌面图像Z的YUV视频数据d2为底图的所有图像；
步骤(8)、调帧模块(5)的调帧方法
(8.1)、调帧模块(5)根据统计得到桌面图像Z的帧率A(如每秒20帧图像)与视频图像A的帧率B(如每秒60帧图像)，计算帧率A与帧率B的最小公约数C(如为60)，最小公约数C为桌面图像Z与视频图像A不同帧率拼接重复周期，设置最小公约数C为GOP值(I帧出现周期)；
(8.2)、调帧模块(5)设置视频编码模块(6)GOP为最小公约数C，设置视频编码模块(6)起始时间戳；起始时间戳对应视频编码帧类型为I帧，起始时间戳取值合并图像的编号为1的时间戳；这样I帧为桌面图像Z在步骤(7.4)生成第一张合并图像，桌面图像Z复制而生成其他合并图像为P帧，P帧为两张画面差异点，所以桌面图像Z复制而带来数据冗余也被消除，从而减少传输带宽；
(8.3)、调帧模块(5)发现桌面图像Z的帧率或视频图像A的帧率发生变化，则重新进行步骤(8.1)～步骤(8.2)；
步骤(9)、视频编码模块(6)接收到拼接模块(4)的合并图像的YUV视频数据与合并时间戳，保存本身缓存h2中；
步骤(10)、视频编码模块(6)接到调帧模块(5)的GOP值与起始时间戳；视频编码模块(6)把GOP值设置到视频编码中；视频编码模块(6)根据起始时间戳在缓存h2找到合并图像对应的YUV视频数据，开始视频编码；
步骤(11)、视频编码模块(6)最终编码输出标准视频压缩数据流，但帧率提高为高帧率(如每秒60帧图像)。
与现有技术相比，本发明的有益效果是：
采用本发明的技术方案，能够有效地修正桌面共享帧率不高问题，按照桌面的高帧率视频图像内容来提高帧率，同时消除冗余数据控制码率，最终提升桌面共享的品质。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有桌面共享的实现模式结构示意图；
图2为本发明的整体功能结构示意图；
图3为本发明中局部功能结构以及调帧模块的调帧时序结构示意图；
附图数字标注：视频解码模块(1)，桌面渲染模块(2)，桌面抓取模块(3)，拼接模块(4)，调帧模块(5)，视频编码模块(6)。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图2～3所示：本发明提供一种基于视频流调帧率的桌面共享系统，包括视频解码模块(1)、桌面渲染模块(2)、桌面抓取模块(3)、拼接模块(4)、调帧模块(5)、视频编码模块(6)，其中：
所述视频解码模块(1)，用于负责来网络视频流(如网络监控摄像头)或本地视频文件解码进行解码得到高帧率(如每秒60帧图像)，并把解码后视频YUV数据发送给桌面渲染模块(2)与拼接模块(4)；
所述桌面渲染模块(2)，用于负责把视频图像A渲染显示到电脑桌面上，并为桌面抓取模块(3)提供视频图像A的位置与大小；
所述桌面抓取模块(3)，用于抓取电脑桌面获取低帧率(如每秒20帧图像)的桌面图像，并把桌面图像与视频图像A的位置与大小发给拼接模块(4)；
所述拼接模块(4)，用于把低帧率(如每秒20帧图像)桌面图像与高帧率(如每秒60帧图像)视频图像A拼接合并(方法参考步骤7)；
所述调帧模块(5)，用于控制(方法参考步骤8)视频编码GOP与I帧生成时间，去除拼接模块(4)复制桌面图像而带来数据冗余，减低传输带宽；
所述视频编码模块(6)，用于负责拼接模块(4)输出视频进行压缩编码，最终输出标准视频压缩数据流，并将帧率提高为高帧率(如每秒60帧图像)。
本发明还提供一种基于视频流调帧率的桌面共享方法，包括如下步骤：
步骤(1)、视频解码模块(1)解码网络视频流(如网络监控摄像头)或本地视频文件解码进行解码得到高帧率(如每秒60帧图像)的视频图像A的YUV视频数据；
步骤(2)、视频解码模块(1)并把解码视频图像A的YUV视频数据带上时间戳t1分别复制分发给桌面渲染模块(2)与拼接模块(4)；
步骤(3)、桌面渲染模块(2)接收视频图像A的YUV视频数据，按照视频图像A的位置(图像左上角坐标)与大小(图像图像长与宽)在电脑桌面的渲染显示,桌面渲染模块(2)保存时间戳t1为当前渲染时间戳t1’；
步骤(4)、桌面抓取模块(3)通过抓取桌面获取低帧率(如每秒20帧图像)的桌面图像Z的RGB视频数据；桌面抓取模块(3)从桌面渲染模块(2)获取视频图像A的位置(图像左上角坐标)与大小(图像图像长与宽)与当前渲染时间戳t1’；
步骤(5)、桌面抓取模块(3)把桌面图像Z的YUV视频数据带上与视频图像A位置与大小与时间戳t’发送给拼接模块(4)；
步骤(6)、拼接模块(4)接收到视频图像A的YUV视频数据与时间戳t’，保存到拼接模块(4)的缓存h1；
步骤(7)、拼接模块(4)拼接桌面图像Z与视频图像A的方法
(7.1)、拼接模块(4)获取桌面图像Z的YUV视频数据d1带上与视频图像A位置p1(图像左上角坐标)与大小s1(图像长与宽)与时间戳t1’；
(7.2)、拼接模块(4)按照时间戳小与视频图像A时间戳t1’条件从缓存h1获取视频图像A的视频数据队列；
(7.2)、拼接模块(4)视频图像A的视频数据队列去第一个YUV视频数据
(7.3)、拼接模块(4)根据视频图像A的大小s1(图像长与宽)对视频图像A的YUV视频数据进缩放，得到视频图像A的叠加YUV视频数据；
(7.4)、拼接模块(4)根据视频图像A的位置p1(图像左上角坐标)使用视频图像A的叠加YUV视频数据对桌面图像Z的YUV视频数据进行替换，得到桌面图像Z的YUV视频数据d1的编号为1(编号视频图像A的视频数据队列的顺序编号)合并图像的YUV视频数据；拼接模块(4)按照当前时间生成合并时间戳，拼接模块(4)把合并图像的YUV视频数据与合并时间戳发送给视频编码模块(6)，拼接模块(4)把合并图像的合并时间戳与编号发送调帧模块(5)；
(7.5)、拼接模块(4)获取桌面图像Z的YUV视频数据d2带上与视频图像A位置p2(图像左上角坐标)与大小s2(图像长与宽)与时间戳t2’.
(7.6)、拼接模块(4)依次取视频图像A的视频数据队列的YUV视频数据，重复步骤(7.3)～步骤(7.5)，生成以桌面图像Z的YUV视频数据d1为底图的其他图像(合并图像的编号为2,3,4...)；
(7.7)、拼接模块(4)获取桌面图像Z的YUV视频数据d2带上与视频图像A位置p2(图像左上角坐标)与大小s2(图像长与宽)与时间戳t2’，则重复步骤(7.1)～步骤(7.6)；生成以桌面图像Z的YUV视频数据d2为底图的所有图像；
步骤(8)、调帧模块(5)的调帧方法
(8.1)、调帧模块(5)根据统计得到桌面图像Z的帧率A(如每秒20帧图像)与视频图像A的帧率B(如每秒60帧图像)，计算帧率A与帧率B的最小公约数C(如为60)，最小公约数C为桌面图像Z与视频图像A不同帧率拼接重复周期，设置最小公约数C为GOP值(I帧出现周期)；
(8.2)、调帧模块(5)设置视频编码模块(6)GOP为最小公约数C，设置视频编码模块(6)起始时间戳；起始时间戳对应视频编码帧类型为I帧，起始时间戳取值合并图像的编号为1的时间戳；这样I帧为桌面图像Z在步骤(7.4)生成第一张合并图像，桌面图像Z复制而生成其他合并图像为P帧，P帧为两张画面差异点，所以桌面图像Z复制而带来数据冗余也被消除，从而减少传输带宽；
(8.3)、调帧模块(5)发现桌面图像Z的帧率或视频图像A的帧率发生变化，则重新进行步骤(8.1)～步骤(8.2)；
步骤(9)、视频编码模块(6)接收到拼接模块(4)的合并图像的YUV视频数据与合并时间戳，保存本身缓存h2中；
步骤(10)、视频编码模块(6)接到调帧模块(5)的GOP值与起始时间戳；视频编码模块(6)把GOP值设置到视频编码中；视频编码模块(6)根据起始时间戳在缓存h2找到合并图像对应的YUV视频数据，开始视频编码；
步骤(11)、视频编码模块(6)最终编码输出标准视频压缩数据流，但帧率提高为高帧率(如每秒60帧图像)。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本实用
新型将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种基于视频流调帧率的桌面共享系统，其特征在于，包括视频解码模块(1)、桌面渲染模块(2)、桌面抓取模块(3)、拼接模块(4)、调帧模块(5)、视频编码模块(6)，其中：
所述视频解码模块(1)，用于负责来网络视频流或本地视频文件解码进行解码得到高帧率，并把解码后视频YUV数据发送给桌面渲染模块(2)与拼接模块(4)；
所述桌面渲染模块(2)，用于负责把视频图像A渲染显示到电脑桌面上，并为桌面抓取模块(3)提供视频图像A的位置与大小；
所述桌面抓取模块(3)，用于抓取电脑桌面获取低帧率的桌面图像，并把桌面图像与视频图像A的位置与大小发给拼接模块(4)；
所述拼接模块(4)，用于把低帧率桌面图像与高帧率视频图像A拼接合并；
所述调帧模块(5)，用于控制视频编码GOP与I帧生成时间，去除拼接模块(4)复制桌面图像而带来数据冗余，减低传输带宽；
所述视频编码模块(6)，用于负责拼接模块(4)输出视频进行压缩编码，最终输出标准视频压缩数据流，并将帧率提高为高帧率。
2.一种基于视频流调帧率的桌面共享方法，其特征在于，包括如下步骤：
步骤(1)、视频解码模块(1)解码网络视频流或本地视频文件解码进行解码得到高帧率(如每秒60帧图像)的视频图像A的YUV视频数据；
步骤(2)、视频解码模块(1)并把解码视频图像A的YUV视频数据带上时间戳t1分别复制分发给桌面渲染模块(2)与拼接模块(4)；
步骤(3)、桌面渲染模块(2)接收视频图像A的YUV视频数据，按照视频图像A的位置与大小在电脑桌面的渲染显示,桌面渲染模块(2)保存时间戳t1为当前渲染时间戳t1’；
步骤(4)、桌面抓取模块(3)通过抓取桌面获取低帧率的桌面图像Z的RGB视频数据；桌面抓取模块(3)从桌面渲染模块(2)获取视频图像A的位置与大小与当前渲染时间戳t1’；
步骤(5)、桌面抓取模块(3)把桌面图像Z的YUV视频数据带上与视频图像A位置与大小与时间戳t’发送给拼接模块(4)；
步骤(6)、拼接模块(4)接收到视频图像A的YUV视频数据与时间戳t’，保存到拼接模块(4)的缓存h1；
步骤(7)、拼接模块(4)拼接桌面图像Z与视频图像A的方法
(7.1)、拼接模块(4)获取桌面图像Z的YUV视频数据d1带上与视频图像A位置p1与大小s1与时间戳t1’；
(7.2)、拼接模块(4)按照时间戳小与视频图像A时间戳t1’条件从缓存h1获取视频图像A的视频数据队列；
(7.2)、拼接模块(4)视频图像A的视频数据队列去第一个YUV视频数据
(7.3)、拼接模块(4)根据视频图像A的大小s1对视频图像A的YUV视频数据进缩放，得到视频图像A的叠加YUV视频数据；
(7.4)、拼接模块(4)根据视频图像A的位置p1使用视频图像A的叠加YUV视频数据对桌面图像Z的YUV视频数据进行替换，得到桌面图像Z的YUV视频数据d1的编号为1合并图像的YUV视频数据；拼接模块(4)按照当前时间生成合并时间戳，拼接模块(4)把合并图像的YUV视频数据与合并时间戳发送给视频编码模块(6)，拼接模块(4)把合并图像的合并时间戳与编号发送调帧模块(5)；
(7.5)、拼接模块(4)获取桌面图像Z的YUV视频数据d2带上与视频图像A位置p2与大小s2与时间戳t2’.
(7.6)、拼接模块(4)依次取视频图像A的视频数据队列的YUV视频数据，重复步骤(7.3)～步骤(7.5)，生成以桌面图像Z的YUV视频数据d1为底图的其他图像，即合并图像的编号为2,3,4...；
(7.7)、拼接模块(4)获取桌面图像Z的YUV视频数据d2带上与视频图像A位置p2与大小s2与时间戳t2’，则重复步骤(7.1)～步骤(7.6)；生成以桌面图像Z的YUV视频数据d2为底图的所有图像；
步骤(8)、调帧模块(5)的调帧方法
(8.1)、调帧模块(5)根据统计得到桌面图像Z的帧率A与视频图像A的帧率B，计算帧率A与帧率B的最小公约数C，最小公约数C为桌面图像Z与视频图像A不同帧率拼接重复周期，设置最小公约数C为GOP值；
(8.2)、调帧模块(5)设置视频编码模块(6)GOP为最小公约数C，设置视频编码模块(6)起始时间戳；起始时间戳对应视频编码帧类型为I帧，起始时间戳取值合并图像的编号为1的时间戳；这样I帧为桌面图像Z在步骤(7.4)生成第一张合并图像，桌面图像Z复制而生成其他合并图像为P帧，P帧为两张画面差异点，所以桌面图像Z复制而带来数据冗余也被消除，从而减少传输带宽；
(8.3)、调帧模块(5)发现桌面图像Z的帧率或视频图像A的帧率发生变化，则重新进行步骤(8.1)～步骤(8.2)；
步骤(9)、视频编码模块(6)接收到拼接模块(4)的合并图像的YUV视频数据与合并时间戳，保存本身缓存h2中；
步骤(10)、视频编码模块(6)接到调帧模块(5)的GOP值与起始时间戳；视频编码模块(6)把GOP值设置到视频编码中；视频编码模块(6)根据起始时间戳在缓存h2找到合并图像对应的YUV视频数据，开始视频编码；
步骤(11)、视频编码模块(6)最终编码输出标准视频压缩数据流，但帧率提高为高帧率。
CN201810599090.9A 2018-06-12 2018-06-12 一种基于视频流调帧率的桌面共享系统及其桌面共享方法 Active CN108769600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810599090.9A CN108769600B (zh) 2018-06-12 2018-06-12 一种基于视频流调帧率的桌面共享系统及其桌面共享方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810599090.9A CN108769600B (zh) 2018-06-12 2018-06-12 一种基于视频流调帧率的桌面共享系统及其桌面共享方法

Publications (2)

Publication Number Publication Date
CN108769600A true CN108769600A (zh) 2018-11-06
CN108769600B CN108769600B (zh) 2020-07-03

Family

ID=64021001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810599090.9A Active CN108769600B (zh) 2018-06-12 2018-06-12 一种基于视频流调帧率的桌面共享系统及其桌面共享方法

Country Status (1)

Country Link
CN (1) CN108769600B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911299A (zh) * 2019-12-03 2021-06-04 浙江宇视科技有限公司 一种视频码率控制方法、装置、电子设备和存储介质
WO2022057358A1 (zh) * 2020-09-17 2022-03-24 华为技术有限公司 图片抓拍方法、图片存储方法、系统、设备以及存储介质
CN114531584A (zh) * 2022-04-24 2022-05-24 浙江华眼视觉科技有限公司 一种快件码识别机的视频间隔合成方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101835043A (zh) * 2010-03-23 2010-09-15 熔点网讯(北京)科技有限公司 基于块编码的带宽自适应桌面共享方法
CN103493479A (zh) * 2010-10-04 2014-01-01 布鲁珍视网络有限公司 低延迟h.264视频编码的抗误码的系统和方法
US20140226901A1 (en) * 2013-02-12 2014-08-14 Vmware, Inc. Method and system for enhancing user experience for remoting technologies
CN105843576A (zh) * 2016-03-25 2016-08-10 广东威创视讯科技股份有限公司 一种拼接墙窗口切换方法及装置
US20180070132A1 (en) * 2013-06-17 2018-03-08 Echostar Technologies L.L.C. Event-based media playback

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101835043A (zh) * 2010-03-23 2010-09-15 熔点网讯(北京)科技有限公司 基于块编码的带宽自适应桌面共享方法
CN103493479A (zh) * 2010-10-04 2014-01-01 布鲁珍视网络有限公司 低延迟h.264视频编码的抗误码的系统和方法
US20140226901A1 (en) * 2013-02-12 2014-08-14 Vmware, Inc. Method and system for enhancing user experience for remoting technologies
US20180070132A1 (en) * 2013-06-17 2018-03-08 Echostar Technologies L.L.C. Event-based media playback
CN105843576A (zh) * 2016-03-25 2016-08-10 广东威创视讯科技股份有限公司 一种拼接墙窗口切换方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王海波: "低带宽环境下桌面共享协同设计的关键技术研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911299A (zh) * 2019-12-03 2021-06-04 浙江宇视科技有限公司 一种视频码率控制方法、装置、电子设备和存储介质
CN112911299B (zh) * 2019-12-03 2023-02-28 浙江宇视科技有限公司 一种视频码率控制方法、装置、电子设备和存储介质
WO2022057358A1 (zh) * 2020-09-17 2022-03-24 华为技术有限公司 图片抓拍方法、图片存储方法、系统、设备以及存储介质
CN114531584A (zh) * 2022-04-24 2022-05-24 浙江华眼视觉科技有限公司 一种快件码识别机的视频间隔合成方法及装置

Also Published As

Publication number Publication date
CN108769600B (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN103795979B (zh) 一种分布式图像拼接同步的方法和装置
CN1060003C (zh) 用于提供压缩的视频信号的方法和装置
CN108769600A (zh) 一种基于视频流调帧率的桌面共享系统及其桌面共享方法
CN105992023B (zh) 视频图像数据的处理方法及装置
CN105744358B (zh) 视频播放的处理方法及装置
JP4806005B2 (ja) 離散タイムラベル付けされたビデオをアナログ出力信号に変換するタイムベース再構成
US8675728B2 (en) Transmitting apparatus and method, and receiving apparatus and method
CN101419827B (zh) 在音频视频交叉文件中进行音频与视频数据同步的方法
CN107835424A (zh) 一种基于数据感知的媒体同步传输播放方法
KR20040070029A (ko) 인코더 장치와 시스템 및 인코딩 방법
CN101557512A (zh) 视频终端接收视频数据延时的处理方法
CN107333133B (zh) 一种码流接收设备的码流编码的方法及装置
CN105306837A (zh) 多图像拼接方法及装置
CN105025347B (zh) 一种gop图像组的发送和接收方法
CN109874027A (zh) 一种低延时手术示教直播方法及其系统
US11259036B2 (en) Video decoder chipset
CN108401190A (zh) 一种用于对视频帧进行实时标注的方法与设备
WO2010021665A1 (en) Hypothetical reference decoder
CN102256128B (zh) 同步解码方法及其装置
CN1110205C (zh) 并行解码的数字信源解码器
KR101948309B1 (ko) 초다시점 영상 표시 시스템 및 그 방법
CN110166733B (zh) 预监方法及装置、输出盒、服务器、拼接系统
JP2006260520A (ja) 画像処理装置、画像処理方法、及び画像表示装置
KR20040065170A (ko) 화상 정보 복호 장치 및 방법
CN207475764U (zh) 一种高效视频编码的分像素插值装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A desktop sharing system based on video stream frame rate adjustment and its desktop sharing method

Effective date of registration: 20211202

Granted publication date: 20200703

Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2021980013922

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220322

Granted publication date: 20200703

Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2021980013922

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A desktop sharing system based on video stream frame rate adjustment and its desktop sharing method

Effective date of registration: 20220322

Granted publication date: 20200703

Pledgee: Shanghai Guotai Junan Securities Asset Management Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000162

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230131

Granted publication date: 20200703

Pledgee: Shanghai Guotai Junan Securities Asset Management Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000162