CN107318020A - 远程显示的数据处理方法及系统 - Google Patents

远程显示的数据处理方法及系统 Download PDF

Info

Publication number
CN107318020A
CN107318020A CN201710478275.XA CN201710478275A CN107318020A CN 107318020 A CN107318020 A CN 107318020A CN 201710478275 A CN201710478275 A CN 201710478275A CN 107318020 A CN107318020 A CN 107318020A
Authority
CN
China
Prior art keywords
data
frame
lossless
original image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710478275.XA
Other languages
English (en)
Other versions
CN107318020B (zh
Inventor
于韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Top Cloud Network Technology Co Ltd
Original Assignee
Changsha Top Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Top Cloud Network Technology Co Ltd filed Critical Changsha Top Cloud Network Technology Co Ltd
Priority to CN201710478275.XA priority Critical patent/CN107318020B/zh
Publication of CN107318020A publication Critical patent/CN107318020A/zh
Application granted granted Critical
Publication of CN107318020B publication Critical patent/CN107318020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种远程显示的数据处理方法及系统，发送端方法包括：S1.1.获取需要远程显示的原始图像；S1.2.根据所述原始图像生成差异数据、无损数据和有损数据，其中1帧无损数据对应N帧有损数据，1帧有损数据对应1帧差异数据；S1.3.将所述差异数据、无损数据和有损数据发送给接收端。接收端方法包括：S2.1.获取差异数据、有损数据和无损数据；S2.2.根据所述差异数据、以所述有损数据和无损数据生成显示图像帧；S2.3.显示所述显示图像帧。本发明具有兼顾无损图像显示和高实时图像显示，可同时满足低带宽、良好的用户体验及低CPU使用率这三个要求，达到最大限度接近本地PC体验显示效果的优点。

Description

远程显示的数据处理方法及系统
技术领域
本发明涉及图像远程显示技术领域，尤其涉及一种远程显示的数据处理方法及系统。
背景技术
随着信息技术的发展，在越来越多的场合需要将本地图像内容通过网络在显示在远程的显示设备上。如微软公司的RemoteFX、Citrix的HDX、Vmware的PCoIP、华为的HDP等协议都可以将远程主机的显示画面压缩，并通过网络传输到客户机设备并显示在客户机设备的屏幕上。
但是，传统的远程显示技术存在限制，尤其是在交付图形密集型应用时更是如此。良好的性能需要大量的带宽，这可能会阻塞网络。另外，如果你想降低CPU的使用率，那么协议将会阻塞带宽并降低最终用户的性能。正如桌面虚拟化专家Brian Madden所说，你可以在“低带宽、良好的用户体验、低CPU使用率三者中任选其二”。因此，有必要对远程显示进行进一步研究。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种兼顾无损图像显示和高实时图像显示，可同时满足低带宽、良好的用户体验及低CPU使用率这三个要求，达到最大限度接近本地PC体验的远程显示效果的远程显示的数据处理方法及系统。
为解决上述技术问题，本发明提出的技术方案为：一种远程显示的发送端数据处理方法，步骤包括：
S1.1.获取需要远程显示的原始图像；
S1.2.根据所述原始图像生成差异数据、无损数据和有损数据，其中1帧无损数据对应N帧有损数据，1帧有损数据对应1帧差异数据；
S1.3.将所述差异数据、无损数据和有损数据发送给接收端。
作为本发明的进一步改进，步骤S1.1中所述原始图像包括：复制操作系统显示合成模块或显示驱动模块显示缓冲区的内容所得到的原始图像；
或者，通过对原始视频文件进行解析得到的原始图像；
或者，通过图像采集设备采集得到的原始图像。
作为本发明的进一步改进，步骤S1.2中所述差异数据为将所述原始图像的图像帧按预设的分块规则进行区块划分，选择预设的图像帧为基准帧，按照区块进行比较而得到的体现图像帧与基准帧之间差异的数据；
所述无损数据为从所述原始图像中选择预设的第一特定帧，进行无损压缩得到的无损视频流；所述有损数据为从所述原始图像中选择预设的第二特定帧，进行有损压缩得到的有损视频流；
所述每个第二特定帧对应一个差异数据帧。
一种远程显示的接收端数据处理方法，步骤包括：
S2.1.获取差异数据、有损数据和无损数据；
S2.2.根据所述差异数据、以所述有损数据和无损数据生成显示图像帧；
S2.3.显示所述显示图像帧。
作为本发明的进一步改进，步骤S2.2的具体步骤包括：
S2.2.1.从所述无损数据中获取无损图像帧，从所述有损数据中获取有损图像帧，从所述差异数据中获取有损图像帧对应的差异数据帧；
S2.2.2.将所述无损图像帧和所述有损图像帧均按预设的分块规则进行区块划分；
S2.2.3.根据所述差异数据帧所记载的区块的差异数据，选择以所述无损图像帧或有损图像帧中的区块生成显示图像帧。
一种远程显示的发送端数据处理系统，包括：
原始图像获取模块：用于获取需要远程显示的原始图像；
处理模块：用于根据所述原始图像生成差异数据、无损数据和有损数据，其中1帧无损数据对应N帧有损数据，1帧有损数据对应1帧差异数据；
发送模块：用于将所述差异数据、无损数据和有损数据发送给接收端。
作为本发明的进一步改进，所述原始图像获取模块具体用于通过复制操作系统显示合成模块或显示驱动模块显示缓冲区的内容所得到的原始图像；
或者，用于通过对原始视频文件进行解析得到的原始图像；
或者，用于通过图像采集设备采集得到的原始图像；
所述处理模块具体用于将所述原始图像的图像帧按预设的分块规则进行区块划分，选择预设的图像帧为基准帧，按照区块进行比较而得到的体现图像帧与基准帧之间差异的数据；从所述原始图像中选择预设的第一特定帧，进行无损压缩得到的无损视频流；从所述原始图像中选择预设的第二特定帧，进行有损压缩得到的有损视频流；所述每个第二特定帧对应一个差异数据帧。
一种远程显示的接收端数据处理系统，包括：
获取模块：用于获取差异数据、有损数据和无损数据；
还原模块：用于根据所述差异数据、以所述有损数据和无损数据生成显示图像帧；
显示模块：用于显示所述显示图像帧。
作为本发明的进一步改进，所述还原模块具体用于从所述无损数据中获取无损图像帧，从所述有损数据中获取有损图像帧，从所述差异数据中获取有损图像帧对应的差异数据帧；将所述无损图像帧和所述有损图像帧均按预设的分块规则进行区块划分；根据所述差异数据帧所记载的区块的差异数据，选择以所述无损图像帧或有损图像帧中的区块生成显示图像帧。
一种远程显示系统，其特征在于：包括发送端设备和接收端设备，所述发送端设备和接收端设备之间网络连接；所述发送端设备包括如权利要求6或7所述的发送端数据处理系统；所述接收端设备包括如权利要求8或9所述的接收端数据处理系统。
与现有技术相比，本发明的优点在于：
1、本发明通过有损数据与无损数据结合的方式，并用有损数据采用较大的FPS(Frames Per Second，每秒传输帧数)，无损数据采用较小的FPS，不但降低了需要通过网络传输的数据量，同时，还可以具有良好的显示效果，保证远程显示的图像不会因为采用有损数据而降低显示效果。
2、本发明通过有损数据和无损数据还原得到显示图像帧的算法简单，不需要复杂的计算，占用的CPU处理量小。
附图说明
图1为本发明具体实施例的流程示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图1所示，本实施例的远程显示的发送端数据处理方法，步骤为：S1.1.获取需要远程显示的原始图像；S1.2.根据所述原始图像生成差异数据、无损数据和有损数据，其中1帧无损数据对应N帧有损数据，1帧有损数据对应1帧差异数据；S1.3.将所述差异数据、无损数据和有损数据发送给接收端。N为大于1的整数。N的取值范围优选为4至30；进一步优选为12至20。需要说明的是，在本实施例中，无损并非一个绝对的概念，而是一个相对的概念，无损既包括绝对的无损，也包括相对于有损而言损失更小。例如，在绝对概念上来说，由原始图像生成的无损数据和有损数据均具有数据损失，但无损数据相对于有损数据来说，损失更小一些。在本实施例中，步骤S1.1中所述原始图像包括：复制操作系统显示合成模块或显示驱动模块显示缓冲区的内容所得到的原始图像；或者，通过对原始视频文件进行解析得到的原始图像；或者，通过图像采集设备采集得到的原始图像。在本实施例中，针对不同的应用场景，原始图像可以用不同的方式获取。如需要远程显示本地显示器所显示的内容，则可以直接复制操作系统显示合成模块或显示驱动模块显示缓冲区的内容来获得原始图像，如通过BitBlt和GetDIBbits采集桌面数据。如需要为远程播放本地的视频文件，如电影，则可对该视频文件进行解析，从而得到原始图像。如需要在远程显示本地视频监控画面，则图像采集设备，如摄像头、监视器采集到的图像作为原始图像。当然，需要说明的是，原始图像的来源不仅仅限于上述所列举的几种，对于任何需要远程显示的图像，都可以作为原始图像。
在本实施例中，步骤S1.2中所述差异数据为将所述原始图像的图像帧按预设的分块规则进行区块划分，选择预设的图像帧为基准帧，按照区块进行比较而得到的体现图像帧与基准帧之间差异的数据；所述无损数据为从所述原始图像中选择预设的第一特定帧，进行无损压缩得到的无损视频流；所述有损数据为从所述原始图像中选择预设的第二特定帧，进行有损压缩得到的有损视频流；所述每个第二特定帧对应一个差异数据帧。原始图像是由原始图像帧构成，在本实施例中，设原始图像包括100帧原始图像帧，分别以Y1、Y2、……、Y100表示。在本实施例中，按照1：N的比例选择原始图像帧分别生成无损数据和有损数据。设N的取值为10，从原始图像帧中选择Y1、Y11、Y21、Y31、……、Y91共10帧，即第一特定帧，通过FFV1压缩格式进行无损压缩，生成无损数据，分别以L1、L2、……、L10表示10个无损图像帧。将Y1、Y2、……、Y100共100帧，即第二特定帧，通过NVEnc压缩格式进行有损压缩，生成有损数据，分别以F1、F2、……、F100来表示100个有损图像帧。其中无损图像帧L1对应的有损图像帧为F1、F2、……、F10，其余无损图像帧对应的有损图像帧依此类推。需要说明的是，本申请并不对压缩方法进行限定，可选择不同的图像压缩方法来生成有损图像帧和无损图像帧。
在本实施例中，通过对原始图像帧进行比较，生成差异数据，具体方法为：将每一帧原始图像帧按照预设的分块规则进行区块划分；选择第一特定帧为基准帧，按照第一特定帧和第二特定帧之间的对应关系，按区块比较第二特定帧与第一特定帧之间差异，并生成差异数据。对于每一个区块，差异数据帧中均有一位来表示该区块的差异情况。预设的分块规则可以是按照像素以8*8，16*16，或者32*32等方式进行分块。设本实施例中原始图像帧的分辨率均为1920*1080，采用32*32的分块方式，那么，每个图像帧可划分为1920/32＝60列，1080/32＝33.75，向上取整为34行，即一个原始图像帧划分为60*34＝2040个分块。通过Ymij来表示每个原始图像帧中的分块，m为原始图像帧的序号，取值为1至100，i为分块的行号，取值为0至59，j为分块的列号，取值为0至33。本实施例中，差异数据帧表示为一个60*34的矩阵，矩阵中的每一位对应一个区块，记差异数据帧为Cm，m为差异数据帧的序号，其中的每个元素记为Cij。
选择第一特定帧，即Y1、Y11、Y21、Y31、……、Y91共10帧为基准帧，其中，与基准帧Y1对应的原始图像帧为Y1、Y2、……、Y10共10帧。对于非基准帧的原始图像帧，如Y2、……、Y10共9帧，以原始图像帧Y2为例进行说明，比较对应区块Y1ij与Y2ij之间的相似度，如Y111与Y211之间的相似度，相似度越大，说明两个区块之间的差异越小，当两者的相似度大于预设的相似度阈值时，将差异数据帧中的C11，置为0，否则置为1。当对原始图像帧Y2和Y1中的每个区块进行比较后，即可得到原始图像帧Y2的完整的差异数据帧C2。同理，通过对原始图像帧Y3、……、Y10可分别与基准帧Y1比较可以得到原始图像帧Y3、……、Y10的差异数据帧C3、……、C10。对于原始图像帧Y12、……、Y20分别与基准帧Y11比较得到对应的差异数据帧C12、……、C20。依次类推，可以得到其它全部非基准帧的差异数据帧。
在本实施例中，对于基准帧，可以按两种方式处理得到对应的差异数据帧。第一种方式是直接将差异数据帧设置为全0的数据帧。第二种方式是与前一基准帧进行比较，得到差异数据帧。如对于基准帧Y1，由于没有前一基准帧，可直接将差异数据帧设置为全0的数据帧，对于基准帧Y11，则需要将基准帧Y11与基准帧Y1进行比较，从而得到基准帧Y11的差异数据帧C11。对于基准帧Y21，则需要将基准帧Y21与基准帧Y11进行比较，从而得到基准帧Y21的差异数据帧C21。
在本实施例中，具体通过以下方法来比较原始图像帧中对应区块的相似度。对于基准帧中的区块Y1ij和原始图像帧的区块Y2ij，以Y111和Y211为例，均为32*32像素的区块，将两个区块的对应像素点的像素值进行比较，只要其中一个像素点的像素值的差大于预设的像素差阈值时，判定该两个区块的相似度低于预设的相似度阈值，否则判定该两个区块的相似度高于预设的相似度阈值。在本实施例中，对于任意一个像素点，以RGB值来表征像素值，包括R值、G值和B值，分别对R、G、B值进行比较，只要其中一个的差值大于预设的差值，就判定像素值的差大于预设的像素差阈值。即像素值的差取分别计算的R、G、B的差值的最大值，像素值的差＝max(|R1-R2|，|G1-G2|，|B1-B2|)。R1、G1、B1分别表示Y111中像素点的R、G、B值，R2、G2、B2分别表示Y211中对应像素点的R、G、B值。
在本实施例中，无损视频流的FPS(Frames Per Second，每秒传输帧数)为1至20，有损视频流的FPS为24至150。虽然无损图像帧单帧的数据量较大，但由于无损视频流的FPS较低，因此，传输无损视频流的传输数据总量并不大，有损视频流虽然FPS较高，但因为采用有损压缩，单帧的数据量较小，因此，传输有损视频流的传输数据总量也不大，从而降低了数据传输总量，降低了数据传输对网络带宽的要求。
如图1所示，本实施例的远程显示的接收端数据处理方法，步骤为：S2.1.获取差异数据、有损数据和无损数据；S2.2.根据所述差异数据、以所述有损数据和无损数据生成显示图像帧；S2.3.显示所述显示图像帧。
在本实施例中，步骤S2.2的具体步骤包括：步骤S2.2的具体步骤包括：S2.2.1.从所述无损数据中获取无损图像帧，从所述有损数据中获取有损图像帧，从所述差异数据中获取有损图像帧对应的差异数据帧；S2.2.2.将所述无损图像帧和所述有损图像帧均按预设的分块规则进行区块划分；S2.2.3.根据所述差异数据帧所记载的区块的差异数据，选择以所述无损图像帧或有损图像帧中的区块生成显示图像帧。
在本实施例中，接着上述发送端的实例进行说明，接收端通过接收差异数据、无损数据流和有损数据流，从差异数据中可解码得到差异数据帧C1、C2、……、C100共100帧，从无损数据流可解码得到无损图像帧，L1、L2、……、L10共10帧，从有损数据流可解码得到有损图像帧，F1、F2、……、F100共100帧。将每个无损图像帧和有损图像帧均按照预设的分块规则进行区块划分，预设的分块规则可以是按照像素以8*8，16*16，或者32*32等方式进行分块。接收端的分块规则与发送端的分块规则相同。在本实施例中，发送端的分辨率为1920*1080，采用32*32的分块方式。当然，接收端接收到的无损图像帧和有损图像帧的分辨率为1920*1080，同样需要采用32*32的分块方式，那么，每个图像帧可划分为1920/32＝60列，1080/32＝33.75，向上取整为34行，即一个图像帧划分为60*34＝2040个区块。通过Lmij来表示每个无损图像帧中的欧块，m为无损图像帧的序号，取值为1至10，i为分块的行号，取值为0至59，j为区块的列号，取值为0至33。同理，可用Fnij来表示每个有损图像帧中的区块，n为有损图像帧的序号，取值为1至100，i为区块的行号，取值为0至59，j为区块的列号，取值为0至33。
在本实施例中，接收端具体按如下方式生成显示图像帧。接收端构建一个显示缓存区，该显示缓存区的大小与要显示的一帧无损图像的大小相同。对于分辨率为1920*1080图像，缓存区的大小为1920*1080*3＝6220800字节。同样，对缓存区按照上述方式进行分块，用Sij来表示每个分块，i为分块的行号，取值为0至59，j为分块的列号，取值为0至33。
在本实施例中，由于无损图像帧与有损图像帧、差异数据帧之间具有对应关系，根据差异数据帧记载的内容，对于划分的某个区块，当差异数据为0时，则用无损图像帧中的对应区块填充缓存区的对应区块，当差异数据为1时，则用有损图像帧中的对应区块填充缓存区的对应区块，从而得到接收端的显示图像帧。本实施例中，由于发送端生成差异数据时分为基准帧和非基准帧，因此，在接收端同样采用不同的方法来生成显示图像帧。对于非基准帧对应的无损图像帧和有损图像帧，以无损图像帧L1及对应的有损图像帧F2和差异数据帧C2为例进行说明，当C2ij的值为0时，则选择无损图像帧L1中第i行第j列个区块来填充缓存区的对应第i行第j列个区块，当C2ij的值为1时，则选择有损图像帧F2中第i行第j列个区块来填充缓存区的对应第i行第j列个区块。根据C2的值对每个区块进行处理后，即得到接收端的第2个显示图像帧S2。同理，对于无损图像帧L2及对应的有损图像帧F12和差异数据帧C12，则通过差异数据帧C12的值从无损图像帧L2和有损图像帧F12选择相应的区块填充缓存区，来生成显示图像帧S12。对于基准帧，相应的具有两种处理方法，第一种方法为直接用无损图像帧来生成显示图像帧，如直接以无损图像帧L1生成显示图像帧S1，以无损图像帧L11生成显示图像帧S11，依此类推。第二种方法为以对应的有损图像帧和前一无损图像帧来生成显示图像帧，以无损图像帧L1和有损图像帧F11及差异数据帧C11为例，当C11ij的值为0时，则选择无损图像帧L1中第i行第j列个区块来填充缓存区的对应第i行第j列个区块，当C11ij的值为1时，则选择有损图像帧F11中第i行第j列个区块来填充缓存区的对应第i行第j列个区块。从而得到显示图像帧S11。
本实施例的远程显示的发送端数据处理系统，包括：原始图像获取模块：用于获取需要远程显示的原始图像；处理模块：用于根据所述原始图像生成差异数据、无损数据和有损数据，其中1帧无损数据对应N帧有损数据，1帧有损数据对应1帧差异数据；发送模块：用于将所述差异数据、无损数据和有损数据发送给接收端。
在本实施例中，所述原始图像获取模块具体用于通过复制操作系统显示合成模块或显示驱动模块显示缓冲区的内容所得到的原始图像；或者，用于通过对原始视频文件进行解析得到的原始图像；或者，用于通过图像采集设备采集得到的原始图像；所述处理模块具体用于将所述原始图像的图像帧按预设的分块规则进行区块划分，选择预设的图像帧为基准帧，按照区块进行比较而得到的体现图像帧与基准帧之间差异的数据；从所述原始图像中选择预设的第一特定帧，进行无损压缩得到的无损视频流；从所述原始图像中选择预设的第二特定帧，进行有损压缩得到的有损视频流；所述每个第二特定帧对应一个差异数据帧。本实施例中，发送端数据处理系统采用如上所述的发送端数据处理方法进行处理。
本实施例的远程显示的接收端数据处理系统，包括：获取模块：用于获取差异数据、有损数据和无损数据；还原模块：用于根据所述差异数据、以所述有损数据和无损数据生成显示图像帧；显示模块：用于显示所述显示图像帧。
在本实施例中，所述还原模块具体用于从所述无损数据中获取无损图像帧，从所述有损数据中获取有损图像帧，从所述差异数据中获取有损图像帧对应的差异数据帧；将所述无损图像帧和所述有损图像帧均按预设的分块规则进行区块划分；根据所述差异数据帧所记载的区块的差异数据，选择以所述无损图像帧或有损图像帧中的区块生成显示图像帧。本实施例中，发送端数据处理系统采用如上所述的发送端数据处理方法进行处理。
本实施例的远程显示系统，包括发送端设备和接收端设备，所述发送端设备和接收端设备之间网络连接；所述发送端设备包括如上所述的发送端数据处理系统；所述接收端设备包括如上述的接收端数据处理系统。在本实施例中，发送端设备可以是具有显示装置的智能终端设备，如计算机、手机、平板电脑等，还可以是没有显示器的设备，如摄像头，监控探头等等。接收端设备是具有显示装置的设备，如计算机、手机、平板电脑、智能电视机等等。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (10)

1.一种远程显示的发送端数据处理方法，其特征在于：
S1.1.获取需要远程显示的原始图像；
S1.2.根据所述原始图像生成差异数据、无损数据和有损数据，其中1帧无损数据对应N帧有损数据，1帧有损数据对应1帧差异数据；
S1.3.将所述差异数据、无损数据和有损数据发送给接收端。
2.根据权利要求1所述的远程显示的发送端数据处理方法，其特征在于：步骤S1.1中所述原始图像包括：复制操作系统显示合成模块或显示驱动模块显示缓冲区的内容所得到的原始图像；
或者，通过对原始视频文件进行解析得到的原始图像；
或者，通过图像采集设备采集得到的原始图像。
3.根据权利要求2所述的远程显示的发送端数据处理方法，其特征在于：步骤S1.2中所述差异数据为将所述原始图像的图像帧按预设的分块规则进行区块划分，选择预设的图像帧为基准帧，按照区块进行比较而得到的体现图像帧与基准帧之间差异的数据；
所述无损数据为从所述原始图像中选择预设的第一特定帧，进行无损压缩得到的无损视频流；所述有损数据为从所述原始图像中选择预设的第二特定帧，进行有损压缩得到的有损视频流；
所述每个第二特定帧对应一个差异数据帧。
4.一种远程显示的接收端数据处理方法，其特征在于：
S2.1.获取差异数据、有损数据和无损数据；
S2.2.根据所述差异数据、以所述有损数据和无损数据生成显示图像帧；
S2.3.显示所述显示图像帧。
5.根据权利要求4所述的远程显示的接收端数据处理方法，其特征在于：步骤S2.2的具体步骤包括：
S2.2.1.从所述无损数据中获取无损图像帧，从所述有损数据中获取有损图像帧，从所述差异数据中获取有损图像帧对应的差异数据帧；
S2.2.2.将所述无损图像帧和所述有损图像帧均按预设的分块规则进行区块划分；
S2.2.3.根据所述差异数据帧所记载的区块的差异数据，选择以所述无损图像帧或有损图像帧中的区块生成显示图像帧。
6.一种远程显示的发送端数据处理系统，其特征在于，包括：
原始图像获取模块：用于获取需要远程显示的原始图像；
处理模块：用于根据所述原始图像生成差异数据、无损数据和有损数据，其中1帧无损数据对应N帧有损数据，1帧有损数据对应1帧差异数据；
发送模块：用于将所述差异数据、无损数据和有损数据发送给接收端。
7.根据权利要求6所述的远程显示的发送端数据处理系统，其特征在于：所述原始图像获取模块具体用于通过复制操作系统显示合成模块或显示驱动模块显示缓冲区的内容所得到的原始图像；
或者，用于通过对原始视频文件进行解析得到的原始图像；
或者，用于通过图像采集设备采集得到的原始图像；
所述处理模块具体用于将所述原始图像的图像帧按预设的分块规则进行区块划分，选择预设的图像帧为基准帧，按照区块进行比较而得到的体现图像帧与基准帧之间差异的数据；从所述原始图像中选择预设的第一特定帧，进行无损压缩得到的无损视频流；从所述原始图像中选择预设的第二特定帧，进行有损压缩得到的有损视频流；所述每个第二特定帧对应一个差异数据帧。
8.一种远程显示的接收端数据处理系统，其特征在于，包括：
获取模块：用于获取差异数据、有损数据和无损数据；
还原模块：用于根据所述差异数据、以所述有损数据和无损数据生成显示图像帧；
显示模块：用于显示所述显示图像帧。
9.根据权利要求8所述的远程显示的接收端数据处理系统，其特征在于：
所述还原模块具体用于从所述无损数据中获取无损图像帧，从所述有损数据中获取有损图像帧，从所述差异数据中获取有损图像帧对应的差异数据帧；将所述无损图像帧和所述有损图像帧均按预设的分块规则进行区块划分；根据所述差异数据帧所记载的区块的差异数据，选择以所述无损图像帧或有损图像帧中的区块生成显示图像帧。
10.一种远程显示系统，其特征在于：包括发送端设备和接收端设备，所述发送端设备和接收端设备之间网络连接；所述发送端设备包括如权利要求6或7所述的发送端数据处理系统；所述接收端设备包括如权利要求8或9所述的接收端数据处理系统。
CN201710478275.XA 2017-06-22 2017-06-22 远程显示的数据处理方法及系统 Active CN107318020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710478275.XA CN107318020B (zh) 2017-06-22 2017-06-22 远程显示的数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710478275.XA CN107318020B (zh) 2017-06-22 2017-06-22 远程显示的数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN107318020A true CN107318020A (zh) 2017-11-03
CN107318020B CN107318020B (zh) 2020-10-27

Family

ID=60182064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710478275.XA Active CN107318020B (zh) 2017-06-22 2017-06-22 远程显示的数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN107318020B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225210A (zh) * 2018-11-26 2020-06-02 深圳市炜博科技有限公司 视频编码方法、视频编码装置及终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1136380A (zh) * 1994-08-22 1996-11-20 菲利浦电子有限公司 用至少第一和第二数据流来记录和显示记录体上的图象的系统
CN1946144A (zh) * 2006-11-01 2007-04-11 李博航 实时视频、图像传输技术
US20070098283A1 (en) * 2005-10-06 2007-05-03 Samsung Electronics Co., Ltd. Hybrid image data processing system and method
US20100211882A1 (en) * 2009-02-17 2010-08-19 Canon Kabushiki Kaisha Remote control of a host computer
CN102036069A (zh) * 2009-09-30 2011-04-27 夏普株式会社 图像处理装置
CN104838653A (zh) * 2012-12-12 2015-08-12 苹果公司 使用差分传送进行的无损图像压缩

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1136380A (zh) * 1994-08-22 1996-11-20 菲利浦电子有限公司 用至少第一和第二数据流来记录和显示记录体上的图象的系统
US20070098283A1 (en) * 2005-10-06 2007-05-03 Samsung Electronics Co., Ltd. Hybrid image data processing system and method
CN1946144A (zh) * 2006-11-01 2007-04-11 李博航 实时视频、图像传输技术
US20100211882A1 (en) * 2009-02-17 2010-08-19 Canon Kabushiki Kaisha Remote control of a host computer
CN102036069A (zh) * 2009-09-30 2011-04-27 夏普株式会社 图像处理装置
CN104838653A (zh) * 2012-12-12 2015-08-12 苹果公司 使用差分传送进行的无损图像压缩

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225210A (zh) * 2018-11-26 2020-06-02 深圳市炜博科技有限公司 视频编码方法、视频编码装置及终端设备
CN111225210B (zh) * 2018-11-26 2022-04-01 深圳市炜博科技有限公司 视频编码方法、视频编码装置及终端设备

Also Published As

Publication number Publication date
CN107318020B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
US20210350546A1 (en) Adaptive video streaming
US7024045B2 (en) Dynamic bandwidth adaptive image compression/decompression scheme
EP3726838B1 (en) Management of memory for storing display data
CN109040786B (zh) 摄像头数据的传输方法、装置、系统及存储介质
CN108900843A (zh) 单色图像压缩方法、装置、介质及电子设备
CN109167923A (zh) 图像传输方法、装置、电子设备和存储介质
EP3059964A1 (en) Lossless data compression and decompression apparatus, system, and method
US20240104780A1 (en) Image compression method and apparatus, and intelligent terminal and computer-readable storage medium
US20100103183A1 (en) Remote multiple image processing apparatus
CN110740352B (zh) 显卡透传环境下基于spice协议的差异图像显示方法
CN103796018A (zh) 一种遥感影像实时压缩及渐进传输系统
CN103503381B (zh) 设备重定向的数据传输的方法、装置及系统
US8681860B2 (en) Moving picture compression apparatus and method of controlling operation of same
CN107318021A (zh) 一种远程显示的数据处理方法及系统
CN107318020A (zh) 远程显示的数据处理方法及系统
US20100049832A1 (en) Computer program product, a system and a method for providing video content to a target system
WO2020258942A1 (zh) 一种数据压缩方法及装置
CN107241325A (zh) 一种ip视频超低延时传输方法及装置
CN115633181A (zh) 图片处理方法、系统、装置、图像压缩装置及存储介质
US20240098270A1 (en) Method, apparatus, and device for processing video data and computer storage medium
CN108347451B (zh) 图片处理系统、方法和装置
CN110798700B (zh) 视频处理方法、视频处理装置、存储介质与电子设备
CN117319716B (zh) 基板管理控制芯片的资源调度方法及基板管理控制芯片
CN110868614B (zh) 显卡透传环境下基于spice协议的差异图像显示系统
KR101251879B1 (ko) 멀티미디어 클라우드 시스템에서 화면변화에 따른 광고영상 출력 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant