CN105245914B - 云桌面高清视频传输方法及系统 - Google Patents
云桌面高清视频传输方法及系统 Download PDFInfo
- Publication number
- CN105245914B CN105245914B CN201510642051.9A CN201510642051A CN105245914B CN 105245914 B CN105245914 B CN 105245914B CN 201510642051 A CN201510642051 A CN 201510642051A CN 105245914 B CN105245914 B CN 105245914B
- Authority
- CN
- China
- Prior art keywords
- data
- video
- display
- client
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 238000007906 compression Methods 0.000 claims description 25
- 230000006835 compression Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 12
- 238000012546 transfer Methods 0.000 claims description 12
- 238000013144 data compression Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 230000003111 delayed effect Effects 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000006641 stabilisation Effects 0.000 abstract 1
- 238000011105 stabilization Methods 0.000 abstract 1
- 238000005457 optimization Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供一种云桌面高清视频传输方法及系统，将整个桌面区域识别为视频数据，将所述视频数据从云桌面发送给客户端，视频数据经过过滤处理。每秒钟发往客户端的视频帧数可控，我们可以控制在指定范围内。在客户端方面，采用硬件对解码和转码处理加速对视频流的处理速度，来保证客户端的视频流畅；大幅降低了云桌面对带宽的要求，能够使用云桌面播放高清视频；播放视频流量相比以前显著降低，降低服务端对显示处理的复杂度；在图片变化较多的情况下，依然可以流畅操作播放视频稳定，不卡顿，满足3D显示数据传输要求。
Description
技术领域
本发明公开了一种视频传输方法及系统，特别涉及一种云桌面高清视频传输方法及系统。
背景技术
如图1所示，云桌面高清视频传输现有架构和协议。现有协议处理模式是将显示内容，根据变化区域区分。直接将变化区域数据发送往客户端进行绘制。现有协议根据一定的机制检测目前桌面上是否有视频，如果有则将视频区域压缩成MJPEG视频流发送到客户端(MJPEG只具备帧内压缩功能，压缩率低)。其优化的地方是，发送变动区域。原有协议处理模式虽然有显示优化处理，但是在一些情况下，每秒钟发往客户端的信息包数依然很惊人，有时发包间隔在几十微妙内。
特别是视频区域被拖动，位置发生了变化之后，之前的视频流将被销毁，必须重新检测变化区域，建立数据流，瞬时数据流量大。现有云桌面对带宽过度依赖，无法播放质量好点的视频，无法适应更多的网络情况，操作不流畅等等问题。在图片变化较多的情况下，同样存在操作不流畅的问题。
发明内容
本发明的目的是提供一种云桌面高清视频传输方法及系统，以克服现有技术云桌面对带宽要求高、操作不流畅、对播放视频支持力度弱的缺陷。
为了达到上述目的，本发明的主要思路为：
将云桌面的所有显示内容，整屏抽象为显示视频区，不区分是否在播放视频，将变动区域统一为整屏变动。对发往远端显示的数据包，在满足人眼观感需求的前提下，进行时间戳过滤，减少数据包的发送量。对发往远端的显示数据进行帧间编码和帧内编码，减少每包的数据大小。从减少发送数据包数和降低每个数据包大小两个维度上着手，降低数据传输量，降低客户端显示压力。
为了达到上述目的，本发明所采用的技术方案为：
本发明提供的一种云桌面高清视频传输方法，将整桌面区域识别为视频数据，对所述的视频数据进行过滤处理后，在对要发送的显示数据做帧间压缩和帧内压缩处理，将最终压缩结果发送给客户端。
本发明提供的一种云桌面高清视频传输方法，还具有这样的特征：
第一步，客户端向服务端发送连接请求，服务端接受到该请求后，返回服务端能提供的通道服务；
第二步，客户端向服务端发送视频通道的建立请求，服务端根据客户端提供的视频通道的属性，建立视频通道，并反馈给客户端，客户端收到服务端通道建立成功的反馈，则使显示数据接受线程处于等待接受数据状态；
第三步，客户端通过控制通道，向服务端发送对云桌面的控制信息，服务端接收到控制指令，并翻译转送给云桌面执行指令；
第四步，服务端的显示处理模块获取并绘制处理显示数据到显示缓存区，经过传输过滤模块、编码压缩模块的处理，由服务端的数据传输模块，按照最小方法头的模式传送到客户端；
第五步，客户端的数据传输模块接收显示数据，经过解编码模块和视频显示模块的处理最终在显示屏上显示；
第六步，循环执行第三、四、五步，直到一端发起中断连接请求；
第七步，任意一端，发起中断连接请求，均可不等待另一方的答复，直接断开；另一方在收到断连接请求时或发现通信连接断连后，可自行做断连处理。
本发明提供的一种云桌面高清视频传输方法，还具有这样的特征：所述的视频数据进行过滤处理；如周期性获取显示数据，过滤掉不获取的数据部分；根据绘制时间戳过滤，过滤掉无变动的数据部分和变动过于频繁的部分。
进一步，本发明提供的一种云桌面高清视频传输方法，还具有这样的特征：对要发送的显示数据做帧间压缩和帧内压缩处理，降低每个发送数据包的大小。
进一步，本发明提供的一种云桌面高清视频传输方法，还具有这样的特征：所述的视频数据进行过滤处理。
进一步，本发明提供的一种云桌面高清视频传输方法，还具有这样的特征：对要发送的显示数据做帧间压缩和帧内压缩处理，降低每个发送数据包的大小。
进一步，本发明提供的一种云桌面高清视频传输方法，还具有这样的特征：周期性获取显示数据，过滤掉不获取的数据部分；根据绘制时间戳过滤，过滤掉无变动的数据部分和变动过于频繁的部分。
另外，本发明提供一种云桌面高清视频传输系统，采用云桌面高清视频传输方法；由服务端和客户端组成；其中服务端主要包含：通信控制模块、显示处理模块、传输过滤模块、编码压缩模块、数据传输模块；客户端主要包含：数据传输模块、解编码模块和视频显示模块；通信控制模块接受和控制客户端的连接；显示处理模块获取并处理显示数据到显示缓存区；传输过滤模块对全屏显示数据的变动时间戳进行过滤；编码压缩模块对每帧要发送的显示数据，进行帧间和帧内压缩编码，并对显示文字做特殊编码处理，且对编码数据进行加密；服务端和客户端的数据传输模块都是两端之间交互数据的发送和接收；解编码模块对接到的显示数据进行解密和解编码处理；视频显示模块将解编码模块处理好的显示数据发往显示屏进行显示。
进一步，本发明提供一种云桌面高清视频传输系统，还具有这样的特征：所述通信控制模块，在接受客户端连接时，可通过云桌面高清视频传输方法，确定客户端显示器分辨率大小，以供后续的显示处理模块和编码压缩模块使用，使服务端处理显示示分辨率大小与客户端使用显示分辨率大小一致，免去客户端对显示数据的分辨率变换处理。
进一步，本发明提供一种云桌面高清视频传输系统，还具有这样的特征：其中，客户端在对编码的显示数据进行解码和转码过程中，采用多线程协调解码和转码或采用硬件加速解码和转码。
进一步，本发明提供一种云桌面高清视频传输系统，还具有这样的特征：传输过滤模块包括，显示时间戳过滤部分和过滤数据定时补发部分。显示时间戳过滤部分负责对显示时间戳进行筛选，过滤出需要发往客户端的显示数据包和不需要发送的数据包；过滤数据定时补发部分负责将过滤掉的最后一包显示数据在定时器定时时间到的时候将，过滤掉的显示数据补发到客户端进行显示。
所述显示处理模块包含整屏显示数据获取部分和整屏显示数据绘制部分。显示数据获取部分负责读取或抓取显示数据；显示绘制部分负责将获取的显示数据放入整屏显示缓存区。
所述编码压缩模块使用的编码压缩算法，要能进行帧间压缩编码和帧内压缩编码。帧间编码可以做到发送帧间的数据降重，帧内编码可以做到帧内数据降重。
所述解编码模块使用编码压缩模块的逆算法，以在客户端还原压缩前显示数据。此处解码可以使用软件解码，同样也可以使用硬件加速解码，如GUP。
所述的云桌面通信方法及系统，其特征在于：将整个显示区域整体识别为变动区域，减少变动识别区个数。
所述的云桌面通信方法及系统，其特征在于：对显示绘制时间戳进行过滤，从而减少传输显示帧数。对过滤的最后一帧数据进行补发，以保证变动显示数据的完整性。
所述的云桌面通信方法及系统，其特征在于：对发送的显示帧进行帧间编码和帧内编码，从而降低每帧的数据大小。
所述的云桌面通信方法及系统，其特征在于：对传输数据进行加密，保证传输过程中的数据安全性。
本发明解决了以往使用云桌面传输方法中，显示数据传输频繁，传输数据量大，以及瘦客户端处理显示数据能力弱的问题，能够有效的实现高清视频传输和播放。
附图说明
图1为云桌面高清视频传输系统图。
图2为云桌面高清视频传输实施案例图。
具体实施方式
下面结合附图和具体实施案例对本发明做进一步的描述。
如图2所示，本发明的云桌面高清视频传输方法及系统，包括云桌面、服务端和客户端；所述服务端和客户端之间采用云桌面高清视频传输方法进行视频数据传输。所述云桌面具有虚拟显卡、显示驱动和操作系统。
服务端有QEMU支持的云桌面，云桌面的显示数据最终均会交给QEMU的虚拟显卡来处理。而云桌面高清视频传输系统中的显示处理模块，可以通过QEMU提供的显示接口，从虚拟显卡中直接获取显示数据进行处理。
云桌面高清视频传输方法及系统，可按如下方式实施：
服务端的显示处理部分利用QEMU提供的显示接口，从虚拟显卡中直接获取全屏显示数据。并将全屏显示数据存入缓存中，以供后续编码传输使用。
传输过滤以固定周期去获取显示数据方式，获取周期设置为30ms。这样服务端就可以按固定频率来处理数据，发往客户端的显示数据也是固定的频率，都是按照每秒33帧显示数据来处理。可以保证数据传输量的稳定性。
编码压缩采用H264压缩算法，H264压缩算法可以同时实现对帧间压缩和帧内压缩的支持。但是直接使用H264压缩会使文字显示模糊，为解决文字模糊问题，要对H264算法进行对文字处理时的优化。
显示数据在传输前，客户端与服务端建立连接时，已经确定显示屏的分辨率，且每帧数据之间间隔时间固定为30ms。在发往客户端时，可使用最小包头方式，只给数据类型、校验码和显示数据。
客户端在接受到数据显示数据时，写入数据显示队列。
客户端按照多线程协同处理显示队列内的显示数据，实现对编码数据的软解。
客户端在获得解码好的显示数据后，调用显示图形库接口，将显示数据显示到显示屏上。
本发明提供的一种云桌面高清视频传输方法及系统，采用将整个桌面视为视频窗，其中任何区域的发生变化，均将所有显示的数据进行绘制；并进行一定方式的过滤和数据编码，以控制视频数据发送量，使传输数据量趋于平稳，减少数据传输量的波动，有利于云桌面带宽的限制。
Claims (6)
1.一种云桌面高清视频传输方法，其特征在于：
将整桌面区域识别为视频数据，从虚拟显卡中直接获取全屏视频数据，对所述的视频数据进行过滤处理后，在对要发送的显示数据做帧间压缩和帧内压缩处理，将最终压缩结果发送给客户端；
其中，所述过滤处理根据绘制时间戳过滤，过滤掉无变动的数据部分和变动过于频繁的部分；
第一步，客户端向服务端发送连接请求，服务端接受到该请求后，返回服务端能提供的通道服务；
第二步，客户端向服务端发送视频通道的建立请求，服务端根据客户端提供的视频通道的属性，建立视频通道，并反馈给客户端，客户端收到服务端通道建立成功的反馈，则使显示数据接受线程处于等待接受数据状态；
第三步，客户端通过控制通道，向服务端发送对云桌面的控制信息，服务端接收到控制指令，并翻译转送给云桌面执行指令；
第四步，服务端的显示处理模块获取并绘制处理显示数据到显示缓存区，经过传输过滤模块、编码压缩模块的处理，由服务端的数据传输模块，按照最小协议头的模式传送到客户端；
第五步，客户端的数据传输模块接收显示数据，经过解编码模块和视频显示模块的处理最终在显示屏上显示；
第六步，循环执行第三、四、五步，直到一端发起中断连接请求；
第七步，任意一端，发起中断连接请求，均可不等待另一方的答复，直接断开；另一方在收到断连接请求时或发现通信连接断连后，可自行做断连处理。
2.如权利要求1所述的云桌面高清视频传输方法，其特征在于：
其中，对要发送的显示数据做帧间压缩和帧内压缩处理，降低每个发送数据包的大小。
3.一种云桌面高清视频传输系统，其特征在于：
采用如权利要求1所述云桌面高清视频传输方法；
由服务端和客户端组成；其中服务端主要包含：通信控制模块、显示处理模块、传输过滤模块、编码压缩模块、数据传输模块；客户端主要包含：数据传输模块、解编码模块和视频显示模块；
通信控制模块接受和控制客户端的连接；显示处理模块获取并处理显示数据到显示缓存区；传输过滤模块对全屏显示数据的变动时间戳进行过滤；编码压缩模块对每帧要发送的显示数据，进行帧间和帧内压缩编码，并对显示文字做特殊编码处理，且对编码数据进行加密；服务端和客户端的数据传输模块都是两端之间交互数据的发送和接收；解编码模块对接到的显示数据进行解密和解编码处理；视频显示模块将解编码模块处理好的显示数据发往显示屏进行显示。
4.如权利要求3所述的云桌面高清视频传输系统，其特征在于：
其中，所述通信控制模块，在接受客户端连接时，可通过云桌面高清视频传输协议，确定客户端显示器分辨率大小，以供后续的显示处理模块和编码压缩模块使用，使服务端处理显示分辨率大小与客户端使用显示分辨率大小一致，免去客户端对显示数据的分辨率变换处理。
5.如权利要求3所述的云桌面高清视频传输系统，其特征在于：
其中，客户端在对编码的显示数据进行解码和转码过程中，采用多线程协调解码和转码或采用硬件加速解码和转码。
6.如权利要求3所述的云桌面高清视频传输系统，其特征在于：
其中，传输过滤模块包括，显示时间戳过滤部分和过滤数据定时补发部分；显示时间戳过滤部分负责对显示时间戳进行筛选，过滤出需要发往客户端的显示数据包和不需要发送的数据包；过滤数据定时补发部分负责将过滤掉的最后一包显示数据在定时器定时时间到的时候将过滤掉的显示数据补发到客户端进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510642051.9A CN105245914B (zh) | 2015-09-30 | 2015-09-30 | 云桌面高清视频传输方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510642051.9A CN105245914B (zh) | 2015-09-30 | 2015-09-30 | 云桌面高清视频传输方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105245914A CN105245914A (zh) | 2016-01-13 |
| CN105245914B true CN105245914B (zh) | 2019-02-22 |
Family
ID=55043357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510642051.9A Active CN105245914B (zh) | 2015-09-30 | 2015-09-30 | 云桌面高清视频传输方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105245914B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107360443B (zh) * | 2016-05-09 | 2019-10-01 | 南京中兴新软件有限责任公司 | 一种云桌面图像处理方法、云桌面服务器及客户端 |
| CN106970798A (zh) * | 2017-03-31 | 2017-07-21 | 山东超越数控电子有限公司 | 一种远程桌面图形加速方法 |
| CN109309867A (zh) * | 2017-07-28 | 2019-02-05 | 中兴通讯股份有限公司 | 终端的显示方法、显示终端及计算机可读存储介质 |
| CN107438104A (zh) * | 2017-08-10 | 2017-12-05 | 神思电子技术股份有限公司 | 解决云桌面环境下视频流设备占用网络带宽的方法 |
| CN108419125A (zh) * | 2018-03-08 | 2018-08-17 | 弘成科技发展有限公司 | 多媒体课堂移动端的远程控制方法 |
| CN110891084A (zh) * | 2019-11-08 | 2020-03-17 | 深圳市华科智能有限公司 | 一种基于自主hvdp协议的瘦客户端远程桌面控制系统 |
| CN111010582B (zh) * | 2019-12-18 | 2022-01-18 | 深信服科技股份有限公司 | 一种云桌面图像处理方法、装置、设备及可读存储介质 |
| CN111726654A (zh) * | 2020-06-30 | 2020-09-29 | 京东方科技集团股份有限公司 | 视频推送、播放方法、装置、系统及存储介质 |
| CN112738628A (zh) * | 2020-12-24 | 2021-04-30 | 广东双泉云创科技有限公司 | 桌面云协议的智能设置和智能管理方法 |
-
2015
- 2015-09-30 CN CN201510642051.9A patent/CN105245914B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105245914A (zh) | 2016-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105245914B (zh) | 云桌面高清视频传输方法及系统 | |
| US10567765B2 (en) | Streaming multiple encodings with virtual stream identifiers | |
| CN102204257B (zh) | 低延迟视频编码器 | |
| CN107211167A (zh) | 视频解码 | |
| US11044437B2 (en) | Method and system for combining multiple area-of-interest video codestreams into a combined video codestream | |
| CN103475902A (zh) | 一种视频编码及网络传输方法和一种视频转发服务器 | |
| CN107360443A (zh) | 一种云桌面图像处理方法、云桌面服务器及客户端 | |
| CN103165104A (zh) | 用于拼接屏的视频信号同步显示方法 | |
| EP2712660A3 (en) | Video compression system and method for compensating for bandwidth limitations for a communication channel | |
| CN104320716A (zh) | 一种基于多终端协同的视频上行链路传输方法 | |
| CN103108186A (zh) | 实现视频高清传播的方法 | |
| WO2021043706A1 (en) | Combining video streams in composite video stream with metadata | |
| CN108769735A (zh) | 一种网络传输的数据压缩中优化Spice方法 | |
| CN105245915B (zh) | 云桌面高清视频传输方法 | |
| CN108540745A (zh) | 高清双流视频的传输方法、发送端、接收端及传输系统 | |
| CN109963110A (zh) | 多方视频会议的处理方法、装置、存储介质及计算设备 | |
| US11323701B2 (en) | Systems and methods for group of pictures encoding | |
| CN101692711A (zh) | 视频编解码方法、系统及一种视频监控系统 | |
| CN102843566A (zh) | 一种3d视频数据的通讯方法和设备 | |
| CN107948142A (zh) | 一种3d高清视频点对点实时传输方法及系统 | |
| CN111049624B (zh) | 一种基于滑动窗口的高容错无反馈链路影像传输方法及系统 | |
| CN106157213B (zh) | 一种医疗视频影像直播方法 | |
| CN113973207A (zh) | 一种基于h264码流的ios远程真机web端实时操控回显方法 | |
| KR101289758B1 (ko) | Hd영상 가변스트리밍 전송시스템 및 전송방법 | |
| CN106131565A (zh) | 使用联合抖动‑帧缓冲区的视频解码及渲染 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 200433 room 323, No. 1201-1, National Road, Shanghai, Yangpu District Applicant after: SHANGHAI YOVOLE COMPUTER NETWORK Co.,Ltd. Address before: 200433 room 323, No. 1201-1, National Road, Shanghai, Yangpu District Applicant before: SHANGHAI YOVOLE COMPUTER NETWORK Co.,Ltd. |
|
| COR | Change of bibliographic data | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20160113 Assignee: Shanghai Ziyun Network Technology Co.,Ltd. Assignor: SHANGHAI YOVOLE COMPUTER NETWORK Co.,Ltd. Contract record no.: X2022310000134 Denomination of invention: Cloud Desktop HD Video Transmission Method and System Granted publication date: 20190222 License type: Common License Record date: 20220926 |