CN112584152B - 远程桌面中的差异检测与分区域动态编码方法、电子设备、计算机可读存储介质 - Google Patents

Abstract

本发明涉及一种远程桌面中的差异检测与分区域动态编码方法、电子设备、计算机可读存储介质。其中方法包括：图像差异检测步骤.其用于将被控机每一帧截取到的屏幕图像，拆分成多个小块并编号，并在当前帧中，寻找对应上一帧同一编号小块存在像素变化的各个小块，取其编号形成列表“A”；传输方式检测步骤.其用于对列表“A”中的小块区分不同区域；传输步骤.其用于对不同区域的小块，使用不同的编码器进行传输。本发明能快速检测每帧画面差异，并区分不同区域的编码类型输入给不同编码器，从而带来传输体积、高画面质量和编码速度等方面的优势。

Description

远程桌面中的差异检测与分区域动态编码方法、电子设备、计 算机可读存储介质

技术领域

本发明涉及计算机领域，尤其是一种远程桌面中的差异检测与分区域动态编码方法、电子设备、计算机可读存储介质。

背景技术

在目前的各类远程桌面场景中，包括但不限于个人电脑和移动设备，需要将远程被控机(远程桌面操作中，被控制的机器，会将每一帧的图像发送到主控机)的图像数据发送到主控机(远程桌面操作中，用于控制其他机器的主机，接收被控机的图像信息)上，这些图像数据应当尽可能快速和高质量的发送到主控机，该过程主要依赖于单一固定编码器(用于将连续或静态画面进行编码的算法)，例如x264，png，jpeg等，此类编码器专门为中、高清视频，或单帧图像设计，因此会存在无法快速响应画面变化，图像质量不清晰，编码速度慢或者带宽占用大等问题。

发明内容

本发明为解决或部分解决现有技术的不足之处，而提供一种远程桌面中的差异检测与分区域动态编码方法、电子设备、计算机可读存储介质。

为实现所述目的，本发明的技术方案为：

依据本发明的一个方面，提供一种远程桌面中的差异检测与分区域动态编码方法，包括：

图像差异检测步骤.其用于将被控机每一帧截取到的屏幕图像，拆分成多个小块并编号，并在当前帧中，寻找对应上一帧同一编号小块存在像素变化的各个小块，取其编号形成列表“A”；

传输方式检测步骤.其用于对列表“A”中的小块区分不同区域；

传输步骤.其用于对不同区域的小块，使用不同的编码器进行传输。

进一步的，在所述传输步骤中，将历史中已传输过的小块剔除。

进一步的，所述传输方式检测步骤是将列表“A”中的小块分为视频区域或非视频区域。

进一步的，在所述传输步骤中，对属于视频区域的小块使用标准视频编码器进行传输，对属于非视频区域的小块使用单帧编码器进行传输。

进一步的，所述传输方式检测步骤，进一步包括：

统计一定时长内变化频率最大或超出阈值的编号范围，若其同时出现在列表“A”中，则将这些编号记录到列表“B”，并将其认定为视频区域；

对列表“A”中未记录到列表“B”的编号，将其记录到列表“C”，并将其认定为非视频区域。

进一步的，所述传输方式检测步骤，进一步包括：

对列表“B”中的小块，使用标准视频编码器进行传输；

对列表“C”中的小块，使用单帧编码器进行传输。

进一步的，传输方式检测步骤进一步包括：

对每一个拆分后的小块中的像素数据做哈希计算，获得每一个小块的哈希校验值；

将每一个小块与对应上一帧同一编号小块的哈希校验值做比较，若哈希校验值不同则表示该小块存在像素变化，若哈希校验值相同则表示该小块不存在像素变化。

进一步的，还包括在传输步骤之前执行的缓存步骤，其包括：

步骤S31.对列表“A”中的小块，做另一轮或多轮哈希计算，该哈希计算的算法与图像差异检测步骤中的哈希计算算法一致但是随机数种子不同，或与图像差异检测步骤中的哈希计算算法不一致；

步骤S32.将列表“A”中小块的编号，以及各轮计算得到的多个哈希校验值进行记录保存，从而得到每一帧所有待传输小块的哈希校验值表，记为列表“D”；

步骤S33.用列表“A”中的哈希校验值在列表“D”进行查找，若列表“A”中某一个小块的所有哈希校验值与列表“D”中某一帧同一编号小块的所有哈希校验值都相同，则将该小块编号记录到列表“E”中，以列表“E”中的小块作为历史中已传输过的小块。

依据本发明的另一个方面，提供了一种电子设备，其中，该电子设备包括：

处理器；以及，

被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行所述的方法。

依据本发明的另一个方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现所述的方法。

本发明提供远程桌面场景下被控机图像数据传输到主控机端流程中，快速检测图像变化，动态调整图像传输编码方式的方案，能对检测的不同图像内容，不同内容区域采用不同编码传输算法，从而带来传输体积、高画面质量和编码速度等方面的优势。

所述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的所述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的台件。

在附图中：

图1示出了本发明的远程桌面中的差异检测与分区域动态编码方法的实施流程；

图2示出了本发明的传输方式检测的示意图；

图3示出了本发明的电子设备的结构示意图；

图4示出了本发明的计算机可读存储介质的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本实施例基于电子设备实施，如计算机设备，电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，如图1、2所示，实现以下的远程桌面中的差异检测与分区域动态编码方法，包括依序执行的图像差异检测步骤、传输方式检测步骤、缓存步骤、传输步骤。

所述图像差异检测步骤，具体包括以下的步骤S11～S18：

步骤S11.被控机每一帧截取到一张屏幕图像；

步骤S12.根据算法配置将该图像拆分成32X32、64X64或128X128像素的小块；

步骤S13.将每一个小块按从左到右、从上到下的顺序编号；

步骤S14.对每一个拆分后的小块中的像素数据做一轮哈希计算(将任意长度的数据压缩到某一固定长度的数据摘要的算法)，此处不限于使用单一哈希算法，对每一个小块得到一个哈希校验值；

步骤S15.将每一个小块的编号与哈希校验值保存到内存中；

步骤S16.对当前帧中，每一个小块对应内存中上一帧同一个编号的小块的哈希校验值做比较，若两个同一编号的小块的哈希校验值不同，表示该小块存在像素变化，若哈希校验值相同，则表示该小块不存在像素变化，将存在变化的小块的编号进行标记，表示其可能需要进行传输，形成待传输小块列表“A”。

所述传输方式检测步骤，具体包括以下的步骤S21～S23：

步骤S21.针对图像差异检测步骤中检测得到的待传输小块列表“A”，取列表中每一个小块的编号，对每一帧中待传输的小块进行标记；

步骤S22.统计一定时长内(时长可根据实际场景变化)变化频率最大或超出阈值的编号范围，若其同时出现在列表“A”中，则将这些编号记录到列表“B”，将其认定为视频区域，比如图2中的小块103、104；

步骤S23.对列表“A”中未记录到列表“B”的编号，将其记录到列表“C”，也即列表“A”由列表“B”和列表“C”组成，并将其认定为非视频区域，比如图2中的小块101、102。

所述缓存步骤，具体包括以下的步骤S31～S33：

步骤S31.对列表“A”中的小块，做另一轮或多轮哈希计算，该哈希计算的算法可与图像差异检测步骤中的一致(但是需要改变随机数种子)，也可使用其他哈希算法代替；

步骤S32.将列表“A”中小块的编号，以及各轮计算得到的多个哈希校验值进行记录，保存到内存中，从而得到每一帧所有待传输小块的哈希校验值表，将此表记为列表“D”；

步骤S33.在实际图像编码与传输之前，用列表“A”中的哈希校验值在列表“D”进行查找，若列表“A”中某一个小块的所有哈希校验值与列表“D”中某一帧同一编号小块的所有哈希校验值都相同，则将该小块编号记录到列表“E”中。

所述传输步骤，具体包括以下的步骤S41～S43：

步骤S41.对列表“E”中记录的小块，其为历史中已传输过的数据，无需再次传输，需要将其从“B”列表以及“C”列表中剔除；

步骤S42.对列表“B”中的小块，使用标准视频编码器传输，例如x264等；

步骤S43.对列表“C”中的小块，使用单帧编码器传输，例如png，jpeg等。

在传统远程桌面中，仅使用固定视频编码器，例如x264，会将整个屏幕画面视作视频区域进行编码，会导致画面中真正存在视频的部分，与画面中静态或变化很小的部分都被编码，从而降低了整体的画质，并且视频编码器内部算法非常复杂，会降低远程桌面操作的实时性。而本实施例所描述的算法，能快速检测每帧画面差异，并区分不同区域的编码类型输入给不同编码器，既能确保视频区域的正确快速编码，也能保证非视频区域的高清画质。

具体地，本实施例所描述的算法中，图像差异检测步骤可实现图像的快速检测响应，而传输方式检测步骤是实现视频区域检测的关键技术，其通过将视频区域进行标记，并使用视频压缩算法传输，实现不影响非视频区域的图像质量以及提高视频区域的编码速度，通过将非视频区域使用专用的图像编码算法传输，实现快速编码和高清画面。

需要说明的是：

本实施例所用的方法，可转化为可存储于计算机存储介质中的程序步骤及装置，通过被控制器调用执行的方式进行实施，其中所述装置应当被理解为计算机程序实现的功能模块。

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图3示出了根据本发明一个实施例的电子设备的结构示意图。该电子设备传统上包括处理器31和被安排成存储计算机可执行指令(程序代码)的存储器32。存储器32可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器32具有存储用于执行实施例中的任何方法步骤的程序代码34的存储空间33。例如，用于程序代码的存储空间33可以包括分别用于实现上面的方法中的各种步骤的各个程序代码34。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。该计算机可读存储介质可以具有与图3的电子设备中的存储器32类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元存储有用于执行根据本发明的方法步骤的程序代码41，即可以由诸如31之类的处理器读取的程序代码，当这些程序代码由电子设备运行时，导致该电子设备执行上面所描述的方法中的各个步骤。

应该注意的是所述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (3)

1.远程桌面中的差异检测与分区域动态编码方法，其特征在于，包括：

图像差异检测步骤.其用于将被控机每一帧截取到的屏幕图像，拆分成多个小块并编号，并在当前帧中，寻找对应上一帧同一编号小块存在像素变化的各个小块，取其编号形成列表“A”；

传输方式检测步骤.其用于对列表“A”中的小块区分不同区域，所述传输方式检测步骤是将列表“A”中的小块分为视频区域或非视频区域，其中，统计一定时长内变化频率最大或超出阈值的编号范围，若其同时出现在列表“A”中，则将这些编号记录到列表“B”，并将其认定为视频区域；对列表“A”中未记录到列表“B”的编号，将其记录到列表“C”，并将其认定为非视频区域；

传输步骤.其用于对不同区域的小块，使用不同的编码器进行传输，在所述传输步骤中，对属于视频区域的小块使用标准视频编码器进行传输，对属于非视频区域的小块使用单帧编码器进行传输；

在所述传输步骤中，将历史中已传输过的小块剔除；

图像差异检测步骤进一步包括：对每一个拆分后的小块中的像素数据做哈希计算，获得每一个小块的哈希校验值；将每一个小块与对应上一帧同一编号小块的哈希校验值做比较，若哈希校验值不同则表示该小块存在像素变化，若哈希校验值相同则表示该小块不存在像素变化；

还包括在传输步骤之前执行的缓存步骤，其包括：

步骤S31.对列表“A”中的小块，做另一轮或多轮哈希计算，该哈希计算的算法与图像差异检测步骤中的哈希计算算法一致但是随机数种子不同，或与图像差异检测步骤中的哈希计算算法不一致；

步骤S32.将列表“A”中小块的编号，以及各轮计算得到的多个哈希校验值进行记录保存，从而得到每一帧所有待传输小块的哈希校验值表，记为列表“D”；

步骤S33.用列表“A”中的哈希校验值在列表“D”进行查找，若列表“A”中某一个小块的所有哈希校验值与列表“D”中某一帧同一编号小块的所有哈希校验值都相同，则将该小块编号记录到列表“E”中，以列表“E”中的小块作为历史中已传输过的小块。

2.一种电子设备，其中，该电子设备包括：

处理器；以及，

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1所述的方法。

3.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现权利要求1所述的方法。