CN112860366A

CN112860366A - 一种基于模式识别技术实现远程桌面信息传输的系统及方法

Info

Publication number: CN112860366A
Application number: CN202110195875.1A
Authority: CN
Inventors: 张晓�; 刘贇; 吴东南; 赵晓南; 张思蒙; 杜科星
Original assignee: Northwestern Polytechnical University
Current assignee: Northwestern Polytechnical University
Priority date: 2021-02-22
Filing date: 2021-02-22
Publication date: 2021-05-28
Anticipated expiration: 2041-02-22
Also published as: CN112860366B

Abstract

本发明公开了一种基于模式识别技术实现远程桌面信息传输的系统及方法，包括通过远程桌面协议连通的主机端、显示端，其中：所述主机端用于完成自身显示内容的识别；所述显示端包括接收单元、识别单元、显示单元，接收单元用于接收主机端识别的内容；识别单元根据接收单元接收到的内容，判断其为文字或图像；显示单元将识别的内容进行显示。该一种基于模式识别技术实现远程桌面信息传输的系统及方法与现有技术相比，通过扩展浏览器插件或协议来实现，使用B/S架构，也可以通过专用的类似浏览器的客户端实现，实用性强，适用范围广泛，易于推广。

Description

一种基于模式识别技术实现远程桌面信息传输的系统及方法

技术领域

本发明涉及计算机技术领域，具体地说是一种实用性强、基于模式识别技术实现远程桌面信息传输的系统及方法。

背景技术

随着云计算和高速网络的发展，用户可租赁云计算平台提供商提供的计算资源。为了与云计算主机进行交互，需要将云计算主机显示的画面传输至用户处。在远程桌面使用场景下，主机和用户不必在同一位置。通过使用远程桌面协议，用户可看到主机侧的屏幕显示内容。

适用于Linux系统的文本传输协议包括Telnet和SSH，而远程图形传输一般是基于X11协议和框架。在Windows平台上，可传输GUI的远程桌面协议包括微软的RDP(专利号:200980150145.7)和VNC(Virtual Network Console)用到的RFB(Remote Frame Buffer)协议。TeamView也是一款支持远程桌面连接的软件，其使用的是私有协议。RDP协议是微软的私有协议，不能应用于其他操作系统或场景。VNC主要是将屏幕分为不同的区域，仅传输变化区域的方式减少数据传输量，需要客户端软件和服务器软件配合使用,这是一个跨平台的远程桌面协议。

上述远程桌面协议对网络带宽的要求都比较高，使用中有较大的延迟。在大规模云计算场景下，大量远程用户与云计算资源的交互成为瓶颈。在日常的办公，浏览网页，编程开发等场景中，上述协议将桌面上的图标、图片和文字等都作为图像进行传输。虽然简化了处理流程，但是屏幕上文字信息通过图像传输，占用了额外的带宽。

目前服务应用程序的开发主要有C/S和B/S两种架构，这两种架构的优缺点如下：

客户端—服务器结构(Client/Server，C/S)。C/S结构在技术上很成熟，它的主要特点是交互性强、具有安全的存取模式、网络通信量低、响应速度快、利于处理大量数据，可以只传输关键数据。因为客户端要负责绝大多数的业务逻辑和UI展示。它充分利用两端硬件，将任务分配到Client和Server两端，降低了系统的通讯开销。C/S架构的软件需要针对不同的操作系统系统开发不同版本的软件，加之产品的更新换代十分快，已经很难适应百台电脑以上局域网用户同时使用。

浏览器—服务器架构(Browser/Server，B/S)通过浏览器来进入工作界面，极少部分事务逻辑在前端(Browser)实现，主要事务逻辑在服务器端(Server)实现。这样使得客户端电脑负荷大大简化，减轻了系统维护、升级的支出成本，降低了用户的总体成本。B/S的主要特点是分布性强、维护方便、开发简单且共享性强、总体拥有成本低。但数据安全性问题、对服务器要求过高、数据传输速度慢、软件的个性化特点明显降低，难以实现传统模式下的特殊功能要求。其对大量的数据输入以及报表的应答等都需要通过浏览器与服务器进行交互，通信开销大，而且对于实现复杂的应用构造有较大的困难。

基于此，亟需一种新的方法，来结合两种架构的优点，使用主机端和显示端分别表示主机和用户所在位置的机器。显示端通过远程桌面协议显示主机端的桌面。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、基于模式识别技术实现远程桌面信息传输的系统及方法。

一种基于模式识别技术实现远程桌面信息传输的系统，包括通过远程桌面协议连通的主机端、显示端，其中：

所述主机端用于完成自身显示内容的识别；

所述显示端包括接收单元、识别单元、显示单元，接收单元用于接收主机端识别的内容；识别单元根据接收单元接收到的内容，判断其为文字或图像；显示单元将识别的内容进行显示。

所述主机端识别的显示内容包括图像信息和文字信息，图像分成若干图像块，图像信息具体包括图像块的位置、大小和哈希值；文字信息包括文本内容、文本框的字体、段落、大小信息；

主机端将显示内容发给显示端后，显示端保存接收过的所有图像信息，再次接收到具有相同哈希值的图像块显示请求时，则会直接在指定位置显示已保存的具有同样哈希值的图像块，实现重复图像的重用。

一种基于模式识别技术实现远程桌面信息传输的方法，包括：

步骤一、首先主机端对自身显示内容进行识别，识别成文字或图像；

步骤二、显示端通过远程桌面协议接收到主机端的信息，并将接收到的信息进行判断，然后根据判断结果显示为相应文字或图像。

所述步骤一中，主机端根据显示内容的颜色将桌面分为若干个不同的区域，然后在每个区域内顺序进行：

文字识别，识别当前区域内文本的内容和字体以及位置信息；

图像识别，对于非文本或无法识别的内容，将其切割为与背景色不同的图像块。

主机端对显示的界面进行分析，根据背景颜色将界面分为不同的区域，对于每一个区域，判断其中内容是文本还是图像：如果是文本使用包括OCR的技术分析文本的位置和大小，分析文本的位置和大小，保存文本区域的位置和大小以及背景颜色；对于不同行保存该行的文字、字体样式和大小；如果是图像，则截取与背景区分的最小图块，保存图像块位置、大小以及哈希值。

所述步骤一中图像识别完成后，对于每个区域，使用重构方法重构并与原始图像对比，所述重构方法是指按照图像的位置、大小，文本的位置、字体、内容将图像重新组装起来，并与原始图像进行对比，如对比一致则说明分割方法有效，如不一致则将该区域切分为更小的单元进行对比，直至找到不一致的内容，将不一致的内容保存为图块；重复该过程直至原始图像和重构图像一致。

所述步骤二中，显示端接收并判断主机端信息的过程为：

首先由主机端发送识别信息，显示端的识别单元判断是否保存过该图像块，如有保存则显示过相同图像块，找到具有同样的图像块，直接在指定的位置显示；

如没有保存过该图像块，则要求主机端传输图像块的实际数据；对于文本区域，发送文本区域的位置和大小以及背景颜色，然后对于不同行发送该行的位置及其中的文字、字体样式和大小。

所述步骤二中，显示端根据主机端发送的信息依次显示图像区域、图像区域内的图像块、文本区域和文本区域内的文本。

所述显示端和主机端采用智能传输协议进行信息传输，具体为：接收端向主机端发送连接请求，主机端将图像分割和文本识别信息以XML格式发送到接收端，接收端按照图块的哈希值来判断图像是否已经保存过，若已存在，将重复图像进行显示；若未保存过，请求主机端发送对应的图片原始文件，对于文本块信息，传输包括文本内容、文本框的字体、段落、大小信息。

显示端根据接收到的信息，按照图像的位置、大小，文本的位置、字体、内容将图像重新组装起来，并与原始图像进行对比，直至原始图像和重构图像一致。

本发明的一种基于模式识别技术实现远程桌面信息传输的系统及方法，具有以下优点：

本发明提供的基于模式识别技术实现远程桌面信息传输的系统及方法与现有技术相比，使用主机端和显示端分别表示主机和用户所在位置的机器，显示端通过远程桌面协议显示主机端的桌面；通过扩展浏览器插件或协议来实现，使用B/S架构，也可以通过专用的类似浏览器的客户端实现，实用性强，适用范围广泛，易于推广。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图1是本发明中系统结构示意图。

附图2是本发明图像识别过程图。

附图3是本发明主机端分割内容示意图。

附图4是本发明流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如附图1所示，一种基于模式识别技术实现远程桌面信息传输的系统，包括通过远程桌面协议连通的主机端、显示端，其中：

所述主机端用于完成自身显示内容的识别；

如图2、图3、图4所示，一种基于模式识别技术实现远程桌面信息传输的方法，首先，根据显示内容的颜色将桌面分为几个不同的区域，如菜单区，工作区等。然后，在不同的区域内进行文本识别，识别文本的内容和字体，以及位置信息。对于非文本或无法识别的内容，将其切割为与背景色不同的图像块。

其次，将图像块的位置、大小和哈希值发给远程接收端，如接收端曾显示过相同图像块，则会找到具有同样哈希值的图像块，直接在指定的位置显示。如没有保存过相同的图像块，则要求主机端传输图像块的实际数据。对于文本区域，发送文本区域的位置和大小以及背景颜色，然后对于不同行发送该行的位置及其中的文字，字体样式和大小。

最终，在远程显示端，根据发送的信息依次显示图像区域，图像区域内的图像块，文本区域和文本区域内的文本。

本发明提出的发明内容主要包括图像的分割与文本识别，重复图像的保存与重用，智能传输协议、以及基于智能传输协议的图像重构四部分。

图像的分割和文本识别：主机端对显示的界面进行分析，根据背景颜色将界面分为不同的区域。对于每一个区域，判断其中内容是文本还是图像。如果是文本使用OCR等技术分析文本的位置和大小。如果是图像，则截取与背景区分的最小图块，保存图块和图块的哈希值。

分割和分析完成后，对于每个区域，使用第四部分的重构方法重构并与原始图像对比，如一致则说明分割方法有效，如不一致则将该区域切分为更小的单元进行对比，直至找到不一致的内容，将不一致的内容保存为图块。重复该过程直至原始图像和重构图像一致。

重复图像的保存与重用：主机端将图像块的位置、大小和哈希值发给远程接收端，接收端会保存接收过的所有图像信息。再次接收到具有相同哈希值的图像块显示请求时，则会直接在指定位置显示已保存的具有同样哈希值的图像块，实现重复图像的重用。这种设计特别适用于具有相同菜单和图标的软件，如office等，可以节约网络传输资源。

智能传输协议：在显示端和主机端采用一种智能传输协议，接收端通过协议向主机端发送连接请求，主机端将图像分割和文本识别信息以XML格式发送到接收端，接收端按照图块的哈希值来判断图像是否已经保存过，若已存在，将重复图像进行显示；若未保存过，请求主机端发送对应的图片原始文件。对于文本块信息，传输文本内容，文本框的字体、段落、大小等信息。

基于智能传输协议的图像重构：显示端根据接收到的信息，按照图像的位置、大小，文本的位置、字体、内容将图像重新组装起来，并与原始图像进行对比，直至原始图像和重构图像一致。

所述主机端的具体工作过程为：

(S1)主机端进行图像识别处理，根据显示内容的颜色将桌面分为几个不同的区域。

(S2)主机端对(S1)中分割好的区域进行判断，判断其是图像还是文本。若为图像转到(S3)，文本则转到(S4)。

(S3)截取与背景区分的最小图块，保存图像块位置、大小以及哈希值。

(S4)分析文本的位置和大小，保存文本区域的位置和大小以及背景颜色；对于不同行保存该行的文字、字体样式和大小。

(S5)对于分割的每个区域，显示端会利用重构方法重构并与原始图像对比，如一致则说明分割方法有效，如不一致则会通主机端将该区域切分为更小的单元进行对比，直至找到不一致的内容，将不一致的内容保存为图块。重复该过程直至原始图像和重构图像一致。

本发明主机端显示内容：截取在线文档作分析，如图3。

在这个文档中，我们按照整体颜色不同可以划分为2个部分，区域1和区域2，其中，在区域1中根据不同图标、文字继续缩小范围，在区域2中按照文字继续缩小范围，其中有文字有图标；将其中的信息保存为以下形式：

……….

……….</div>

………</div>

所述显示端接收并判断主机端信息的过程为：

显示端的具体工作过程为：

(S11)显示端向主机端发送远程连接请求。

(S21)主机端将上述步骤中提到的(S3)(S4)以XML格式发送给显示端。

(S31)显示端曾经显示过相同图像块，则会找到具有同样哈希值的图像块，直接在指定位置显示；若没有保存过相同的图像块，则要求主机传输图像块的实际数据。对于文本区域，发送文本区域的位置和大小以及背景颜色，然后对于不同行发送该行的位置及其中的文字，字体样式和大小。

(S41)显示端根据信息重构图像。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种基于模式识别技术实现远程桌面信息传输的系统，其特征在于，包括通过远程桌面协议连通的主机端、显示端，其中：

所述主机端用于完成自身显示内容的识别；

2.根据权利要求1所述的一种基于模式识别技术实现远程桌面信息传输的系统，其特征在于，所述主机端识别的显示内容包括图像信息和文字信息，图像分成若干图像块，图像信息具体包括图像块的位置、大小和哈希值；文字信息包括文本内容、文本框的字体、段落、大小信息；

3.一种基于模式识别技术实现远程桌面信息传输的方法，其特征在于，包括：

4.根据权利要求3所述的一种基于模式识别技术实现远程桌面信息传输的方法，其特征在于，所述步骤一中，主机端根据显示内容的颜色将桌面分为若干个不同的区域，然后在每个区域内顺序进行：

5.根据权利要求4所述的一种基于模式识别技术实现远程桌面信息传输的方法，其特征在于，主机端对显示的界面进行分析，根据背景颜色将界面分为不同的区域，对于每一个区域，判断其中内容是文本还是图像：如果是文本使用包括OCR的技术分析文本的位置和大小，分析文本的位置和大小，保存文本区域的位置和大小以及背景颜色；对于不同行保存该行的文字、字体样式和大小；如果是图像，则截取与背景区分的最小图块，保存图像块位置、大小以及哈希值。

6.根据权利要求4或5所述的一种基于模式识别技术实现远程桌面信息传输的方法，其特征在于，所述步骤一中图像识别完成后，对于每个区域，使用重构方法重构并与原始图像对比，所述重构方法是指按照图像的位置、大小，文本的位置、字体、内容将图像重新组装起来，并与原始图像进行对比，如对比一致则说明分割方法有效，如不一致则将该区域切分为更小的单元进行对比，直至找到不一致的内容，将不一致的内容保存为图块；重复该过程直至原始图像和重构图像一致。

7.根据权利要求3所述的一种基于模式识别技术实现远程桌面信息传输的方法，其特征在于，所述步骤二中，显示端接收并判断主机端信息的过程为：

8.根据权利要求7所述的一种基于模式识别技术实现远程桌面信息传输的方法，其特征在于，所述步骤二中，显示端根据主机端发送的信息依次显示图像区域、图像区域内的图像块、文本区域和文本区域内的文本。

9.根据权利要求8所述的一种基于模式识别技术实现远程桌面信息传输的方法，其特征在于，所述显示端和主机端采用智能传输协议进行信息传输，具体为：接收端向主机端发送连接请求，主机端将图像分割和文本识别信息以XML格式发送到接收端，接收端按照图块的哈希值来判断图像是否已经保存过，若已存在，将重复图像进行显示；若未保存过，请求主机端发送对应的图片原始文件，对于文本块信息，传输包括文本内容、文本框的字体、段落、大小信息。

10.根据权利要求9所述的一种基于模式识别技术实现远程桌面信息传输的方法，其特征在于，显示端根据接收到的信息，按照图像的位置、大小，文本的位置、字体、内容将图像重新组装起来，并与原始图像进行对比，直至原始图像和重构图像一致。