CN115826899B - 基于远程桌面共享的涂鸦图像处理方法及系统 - Google Patents

Abstract

本发明提供的基于远程桌面共享的涂鸦图像处理方法及系统，涉及涂鸦图像处理技术领域。本发明先智能采集到基于远程桌面共享形成的目标共享涂鸦图像；抽取出至少一个局部共享涂鸦图像区域并匹配到该局部共享涂鸦图像区域在多种图像模式下对应的相关共享涂鸦图像区域，结合每一个局部共享涂鸦图像区域对应的相关共享涂鸦图像区域，智能分析出对应的局部共享涂鸦图像区域描述向量，自动输出对应的目标图像内容分析信息。本发明对局部共享涂鸦图像区域的图像信息进行智能化分析，根据分析结果对局部共享涂鸦图像区域的图像数据进行增强和补充，从而优化远程桌面共享画面，提升了流畅度，并提高了远程桌面共享的涂鸦图像处理效率及智能化水准。

Description

基于远程桌面共享的涂鸦图像处理方法及系统

技术领域

本发明涉及涂鸦图像处理技术领域，具体而言，涉及一种基于远程桌面共享的涂鸦图像处理方法及系统。

背景技术

用户远程登录Windows计算机，就如同自己的计算机一样进行操作，使用的界面与远程计算机相同。除了Windows系统自带的远程桌面共享以外，目前服务器市场上出现了turbomeeting可以方便直观地支持多方远程桌面共享，甚至软件市场上也出现了专门用于远程桌面共享的软件，比如Mikogo，teamveiver，gomeetnow远程桌面共享，或者集成于某些即时通讯软件来实现该功能方便用户，比如QQ远程共享。其中，在远程桌面共享的诸多应用中，包括基于远程桌面共享进行图像涂鸦，以形成对应的涂鸦图像。并且，在一些应用中，需要对涂鸦图像进行异常分析，以得到对应的异常分析信息，但是，在现有技术中，存在异常分析的准确度不佳的问题，从而影响了涂鸦图像的处理效率。

发明内容

有鉴于此，本发明的目的在于提供一种基于远程桌面共享的涂鸦图像处理方法及系统，以在一定程度上提高涂鸦图像异常分析的准确度。

为实现上述目的，本发明实施例采用如下技术方案：

一种基于远程桌面共享的涂鸦图像处理方法，包括：

采集到基于远程桌面共享形成的目标共享涂鸦图像；

在所述目标共享涂鸦图像中，抽取出至少一个局部共享涂鸦图像区域，所述至少一个局部共享涂鸦图像区域拼接形成的拼接图像至少属于所述目标共享涂鸦图像的一部分，在所述至少一个局部共享涂鸦图像区域包括多个局部共享涂鸦图像区域的情况下，每两个所述局部共享涂鸦图像区域之间至少具有部分区域未重合；

对于每一个局部共享涂鸦图像区域，匹配到该局部共享涂鸦图像区域在多种图像模式下对应的相关共享涂鸦图像区域，所述相关共享涂鸦图像区域和所述局部共享涂鸦图像区域之间关于图像语义相关，所述多种图像模式是指对应的共享涂鸦图像区域中的图像对象的形式不同，该形式包括虚拟对象和真实对象；

依据每一个所述局部共享涂鸦图像区域，并结合每一个所述局部共享涂鸦图像区域对应的所述相关共享涂鸦图像区域，分析出每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量；

依据每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量，将所述目标共享涂鸦图像进行图像内容分析处理，以输出所述目标共享涂鸦图像对应的目标图像内容分析信息，所述目标图像内容分析信息用于反映所述目标共享涂鸦图像中是否异常。

在一些优选的实施例中，在上述基于远程桌面共享的涂鸦图像处理方法中，至少一个所述局部共享涂鸦图像区域包括第一尺寸的局部共享涂鸦图像区域和第二尺寸的局部共享涂鸦图像区域，所述第一尺寸小于所述第二尺寸；以及，所述在所述目标共享涂鸦图像中，抽取出至少一个局部共享涂鸦图像区域的步骤，包括：

对所述目标共享涂鸦图像进行第一尺寸图像区域的抽出处理，以形成所述目标共享涂鸦图像中第一尺寸的局部共享涂鸦图像区域；

对所述目标共享涂鸦图像进行第二尺寸图像区域的抽出处理，以形成所述目标共享涂鸦图像中的第二尺寸的局部共享涂鸦图像区域。

在一些优选的实施例中，在上述基于远程桌面共享的涂鸦图像处理方法中，所述对于每一个局部共享涂鸦图像区域，匹配到该局部共享涂鸦图像区域在多种图像模式下对应的相关共享涂鸦图像区域的步骤，包括：

查找到多种图像模式中的每一种图像模式下对应的第一尺寸图像区域数据库和第二尺寸图像区域数据库；

在所述多种图像模式中的每一种图像模式下对应的第一尺寸图像区域数据库中，匹配出所述第一尺寸的局部共享涂鸦图像区域在所述多种图像模式下对应的相关共享涂鸦图像区域；

在所述多种图像模式中的每一种图像模式下对应的第二尺寸图像区域数据库中，匹配出所述第二尺寸的局部共享涂鸦图像区域在所述多种图像模式下对应的所述相关共享涂鸦图像区域。

在一些优选的实施例中，在上述基于远程桌面共享的涂鸦图像处理方法中，所述依据每一个所述局部共享涂鸦图像区域，并结合每一个所述局部共享涂鸦图像区域对应的所述相关共享涂鸦图像区域，分析出每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量的步骤，基于目标关键信息挖掘神经网络执行；

在所述依据每一个所述局部共享涂鸦图像区域，并结合每一个所述局部共享涂鸦图像区域对应的所述相关共享涂鸦图像区域，分析出每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量的步骤之前，所述基于远程桌面共享的涂鸦图像处理方法还包括：

采集到示例性涂鸦图像集合和候选关键信息挖掘神经网络，所述示例性涂鸦图像集合包括的示例性涂鸦图像不具有图像实际标识信息；

基于所述示例性涂鸦图像集合，形成包括多种图像模式下的多模式示例性涂鸦图像集合；

基于所述多模式示例性涂鸦图像集合，将所述候选关键信息挖掘神经网络进行第一网络优化处理，以形成对应的待确认关键信息挖掘神经网络；

对所述待确认关键信息挖掘神经网络进行第二网络优化处理，以形成对应的目标关键信息挖掘神经网络。

在一些优选的实施例中，在上述基于远程桌面共享的涂鸦图像处理方法中，所述示例性涂鸦图像集合包括一个图像模式下的第一示例性涂鸦图像；以及，所述基于所述示例性涂鸦图像集合，形成包括多种图像模式下的多模式示例性涂鸦图像集合的步骤，包括：

基于所述第一示例性涂鸦图像中的图像连通域标识信息，将所述第一示例性涂鸦图像进行图像拆分处理，以形成对应的多个第一示例性涂鸦图像区域；

在所述多个第一示例性涂鸦图像区域中，确定出目标第一示例性涂鸦图像区域和参考第一示例性涂鸦图像区域；

对于所述目标第一示例性涂鸦图像区域，匹配出该目标第一示例性涂鸦图像区域在多种图像模式下对应的备份示例性涂鸦图像区域，所述备份示例性涂鸦图像区域和所述目标第一示例性涂鸦图像区域之间关于图像语义相关；

在所述参考第一示例性涂鸦图像区域中，筛选得到参考示例性第一尺寸图像区域，以及，基于所述参考示例性第一尺寸图像区域在多种图像模式下对应的相关第一尺寸图像区域，取代所述参考示例性第一尺寸图像区域，形成所述参考第一示例性涂鸦图像区域对应的取代第一示例性涂鸦图像区域；

基于所述备份示例性涂鸦图像区域和所述取代第一示例性涂鸦图像区域组建形成示例性多图像模式组合涂鸦图像，并将所述示例性多图像模式组合涂鸦图像标记为多模式示例性涂鸦图像集合。

在一些优选的实施例中，在上述基于远程桌面共享的涂鸦图像处理方法中，所述示例性涂鸦图像集合包括多个图像模式下的示例性涂鸦图像区域组合；以及，所述基于所述示例性涂鸦图像集合，形成包括多种图像模式下的多模式示例性涂鸦图像集合的步骤，包括：

对于所述示例性涂鸦图像区域组合中的示例性涂鸦图像区域组合第一区域和示例性涂鸦图像区域组合第二区域，依据图像连通域标识信息分别进行图像拆分处理，以形成对应的第一数量个第一示例性涂鸦图像子区域和第二数量个第二示例性涂鸦图像子区域，所述示例性涂鸦图像区域组合第一区域对应的图像模式和所述示例性涂鸦图像区域组合第二区域对应的图像模式不同；

基于第一数量个所述第一示例性涂鸦图像子区域中的第三数量个第一示例性涂鸦图像子区域，形成所述示例性涂鸦图像区域组合第一区域对应的第一示例性子区域单元；

基于第二数量个所述第二示例性涂鸦图像子区域中的第四数量个第二示例性涂鸦图像子区域，形成所述示例性涂鸦图像区域组合第二区域对应的第二示例性子区域单元；

在所述第一示例性子区域单元和所述第二示例性子区域单元之间关于图像语义相关的情况下，对所述示例性涂鸦图像区域组合第一区域对应的第一示例性子区域单元和所述示例性涂鸦图像区域组合第二区域对应的第二示例性子区域单元进行对调处理，以形成对应的对调示例性涂鸦图像区域组合第一区域和对应的对调示例性涂鸦图像区域组合第二区域；

基于所述对调示例性涂鸦图像区域组合第一区域和所述对调示例性涂鸦图像区域组合第二区域形成对应的多图像模式对调图像区域组合，并将所述多图像模式对调图像区域组合标记为多模式示例性涂鸦图像集合。

在一些优选的实施例中，在上述基于远程桌面共享的涂鸦图像处理方法中，所述第一示例性子区域单元和所述第二示例性子区域单元之间关于图像语义相关，用于表征：

所述第一示例性子区域单元存在至少一个第一尺寸图像区域与所述第二示例性子区域单元中的第一尺寸图像区域之间关于图像语义相关，以及，所述第一示例性子区域单元中的任意一个第一尺寸图像区域与所述第二示例性子区域单元包括的第一尺寸图像区域以外的第一尺寸图像区域之间关于图像语义不相关。

在一些优选的实施例中，在上述基于远程桌面共享的涂鸦图像处理方法中，所述多模式示例性涂鸦图像集合包括示例性多图像模式组合涂鸦图像；以及，所述基于所述多模式示例性涂鸦图像集合，将所述候选关键信息挖掘神经网络进行第一网络优化处理，以形成对应的待确认关键信息挖掘神经网络的步骤，包括：

基于预先配置的目标遮盖图像区域，将所述示例性多图像模式组合涂鸦图像中的目标第一尺寸图像区域进行遮盖处理，以形成所述候选关键信息挖掘神经网络对应的待处理示例性涂鸦图像，所述目标第一尺寸图像区域属于所述示例性多图像模式组合涂鸦图像包括的多个第一尺寸图像区域中随机确定的一个第一尺寸图像区域；

基于所述候选关键信息挖掘神经网络，将所述待处理示例性涂鸦图像中所述目标遮盖图像区域遮盖的所述目标第一尺寸图像区域进行还原处理，以形成对应的还原第一尺寸图像区域；

基于所述还原第一尺寸图像区域和所述目标第一尺寸图像区域之间的区别信息，将所述候选关键信息挖掘神经网络包括的网络参数进行优化处理，以形成对应的待确认关键信息挖掘神经网络。

在一些优选的实施例中，在上述基于远程桌面共享的涂鸦图像处理方法中，所述多模式示例性涂鸦图像集合包括多图像模式对调图像区域组合；以及，所述基于所述多模式示例性涂鸦图像集合，将所述候选关键信息挖掘神经网络进行第一网络优化处理，以形成对应的待确认关键信息挖掘神经网络的步骤，包括：

在所述多图像模式对调图像区域组合包括的对调示例性涂鸦图像区域组合第一区域中，确定出任意第一尺寸图像区域，以及，基于预先配置的目标遮盖图像区域，将所述任意第一尺寸图像区域进行遮盖处理，形成所述候选关键信息挖掘神经网络对应的待处理组合第一区域，所述任意第一尺寸图像区域属于在所述对调示例性涂鸦图像区域组合第一区域中随机确定的一个第一尺寸图像区域；

在所述多图像模式对调图像区域组合包括的对调示例性涂鸦图像区域组合第二区域中，确定出随机第一尺寸图像区域，以及，基于所述目标遮盖图像区域将所述随机第一尺寸图像区域进行遮盖处理，形成所述候选关键信息挖掘神经网络对应的待处理组合第二区域，所述随机第一尺寸图像区域属于在所述对调示例性涂鸦图像区域组合第二区域中随机确定的一个第一尺寸图像区域；

通过所述候选关键信息挖掘神经网络，将所述待处理组合第一区域中的所述目标遮盖图像区域遮盖的任意第一尺寸图像区域进行还原处理，以形成对应的还原任意第一尺寸图像区域，并将所述待处理组合第二区域中的所述目标遮盖图像区域遮盖的随机第一尺寸图像区域进行还原处理，以形成对应的还原随机第一尺寸图像区域；

基于所述任意第一尺寸图像区域和所述还原任意第一尺寸图像区域之间的区别，并结合所述随机第一尺寸图像区域和所述还原随机第一尺寸图像区域之间的区别，将所述候选关键信息挖掘神经网络包括的网络参数进行优化处理，以形成对应的待确认关键信息挖掘神经网络。

本发明实施例还提供一种基于远程桌面共享的涂鸦图像处理系统，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以实现上述的基于远程桌面共享的涂鸦图像处理方法。

本发明实施例提供的基于远程桌面共享的涂鸦图像处理方法及系统，可以先采集到基于远程桌面共享形成的目标共享涂鸦图像；在目标共享涂鸦图像中，抽取出至少一个局部共享涂鸦图像区域，至少一个局部共享涂鸦图像区域拼接形成的拼接图像至少属于目标共享涂鸦图像的一部分，在至少一个局部共享涂鸦图像区域包括多个局部共享涂鸦图像区域的情况下，每两个局部共享涂鸦图像区域之间至少具有部分区域未重合；对于每一个局部共享涂鸦图像区域，匹配到该局部共享涂鸦图像区域在多种图像模式下对应的相关共享涂鸦图像区域，相关共享涂鸦图像区域和局部共享涂鸦图像区域之间关于图像语义相关，多种图像模式是指对应的共享涂鸦图像区域中的图像对象的形式不同，该形式包括虚拟对象和真实对象；依据每一个局部共享涂鸦图像区域，并结合每一个局部共享涂鸦图像区域对应的相关共享涂鸦图像区域，分析出每一个局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量；依据每一个局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量，将目标共享涂鸦图像进行图像内容分析处理，以输出目标共享涂鸦图像对应的目标图像内容分析信息。基于此，由于在进行图像内容分析处理之前，会匹配到每一个局部共享涂鸦图像区域在多种图像模式下对应的相关共享涂鸦图像区域，使得可以基于局部共享涂鸦图像区域和相关共享涂鸦图像区域，一并挖掘出对应的局部共享涂鸦图像区域描述向量，因此，局部共享涂鸦图像区域描述向量的中的信息，可以对对应的局部共享涂鸦图像区域的图像信息进行增强和补充，使得图像内容分析处理的依据更为充分，从而可以在一定程度上提高涂鸦图像异常分析的准确度，进而改善现有技术中存在的分析准确度不佳的问题；且本发明对局部共享涂鸦图像区域的图像信息进行增强和补充，实时优化远程桌面共享画面，提升了流畅度，增加了远程共享交流体验，从而提高了远程桌面共享的涂鸦图像处理效率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本发明实施例提供的基于远程桌面共享的涂鸦图像处理系统的结构框图。

图2为本发明实施例提供的基于远程桌面共享的涂鸦图像处理方法包括的各步骤的流程示意图。

图3为本发明实施例提供的基于远程桌面共享的涂鸦图像处理装置包括的各模块的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于远程桌面共享的涂鸦图像处理系统。其中，所述基于远程桌面共享的涂鸦图像处理系统可以包括存储器和处理器，还可以包括其它的器件等。

详细地，所述存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件（firmware）的形式，存在的软件功能模块（计算机程序）。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序，从而实现本发明实施例提供的基于远程桌面共享的涂鸦图像处理方法。

可以理解的是，在一些实施方式中，所述存储器可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-Only Memory，PROM），可擦除只读存储器（Erasable ProgrammableRead-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable ProgrammableRead-Only Memory，EEPROM）等。所述处理器可以是一种通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）、片上系统(System on Chip，SoC)等；还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解的是，在一些实施方式中，所述基于远程桌面共享的涂鸦图像处理系统可以是一种具备数据处理能力的服务器。

结合图2，本发明实施例还提供一种基于远程桌面共享的涂鸦图像处理方法，可应用于上述基于远程桌面共享的涂鸦图像处理系统。其中，所述基于远程桌面共享的涂鸦图像处理方法有关的流程所定义的方法步骤，可以由所述基于远程桌面共享的涂鸦图像处理系统实现。

下面将对图2所示的具体流程，进行详细阐述。

步骤S110，采集到基于远程桌面共享形成的目标共享涂鸦图像。

在本发明实施例中，所述基于远程桌面共享的涂鸦图像处理系统可以采集到基于远程桌面共享形成的目标共享涂鸦图像（其中，基于远程桌面共享形成目标共享涂鸦图像的具体方式不受限制，可以参照远程桌面共享的相关现有技术，在此不做具体的限定和描述）。

步骤S120，在所述目标共享涂鸦图像中，抽取出至少一个局部共享涂鸦图像区域。

在本发明实施例中，所述基于远程桌面共享的涂鸦图像处理系统可以在所述目标共享涂鸦图像中，抽取出至少一个局部共享涂鸦图像区域。所述至少一个局部共享涂鸦图像区域拼接形成的拼接图像至少属于所述目标共享涂鸦图像的一部分，在所述至少一个局部共享涂鸦图像区域包括多个局部共享涂鸦图像区域的情况下，每两个所述局部共享涂鸦图像区域之间至少具有部分区域未重合。

步骤S130，对于每一个局部共享涂鸦图像区域，匹配到该局部共享涂鸦图像区域在多种图像模式下对应的相关共享涂鸦图像区域。

在本发明实施例中，所述基于远程桌面共享的涂鸦图像处理系统可以对于每一个局部共享涂鸦图像区域，匹配到该局部共享涂鸦图像区域在多种图像模式下对应的相关共享涂鸦图像区域。所述相关共享涂鸦图像区域和所述局部共享涂鸦图像区域之间关于图像语义相关，所述多种图像模式是指对应的共享涂鸦图像区域中的图像对象的形式不同，该形式包括虚拟对象（如各种虚拟形象，包括虚拟人像、虚拟动物）和真实对象（如真人）。

步骤S140，依据每一个所述局部共享涂鸦图像区域，并结合每一个所述局部共享涂鸦图像区域对应的所述相关共享涂鸦图像区域，分析出每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量。

在本发明实施例中，所述基于远程桌面共享的涂鸦图像处理系统可以依据每一个所述局部共享涂鸦图像区域，并结合每一个所述局部共享涂鸦图像区域对应的所述相关共享涂鸦图像区域，分析出每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量（示例性地，在一些实施方式中，可以先分别对所述局部共享涂鸦图像区域和所述相关共享涂鸦图像区域进行关键信息挖掘，以得到对应的描述向量，然后，可以对描述向量进行聚合，以形成所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量，在另一些实施方式中，也可以先对所述局部共享涂鸦图像区域和所述相关共享涂鸦图像区域进行组合，以形成组合共享涂鸦图像区域，然后，对组合共享涂鸦图像区域进行关键信息挖掘，以得到所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量）。

步骤S150，依据每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量，将所述目标共享涂鸦图像进行图像内容分析处理，以输出所述目标共享涂鸦图像对应的目标图像内容分析信息。

在本发明实施例中，所述基于远程桌面共享的涂鸦图像处理系统可以依据每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量，将所述目标共享涂鸦图像进行图像内容分析处理，以输出所述目标共享涂鸦图像对应的目标图像内容分析信息。所述目标图像内容分析信息用于反映所述目标共享涂鸦图像中是否异常（或者，反映所述目标共享涂鸦图像的异常程度，异常可以是指违规、违法等；另外，在分析出每一个局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量之后，可以通过线性网络层对每一个局部共享涂鸦图像区域局部共享涂鸦图像区域描述向量进行线性聚合处理，然后，再对每一个局部共享涂鸦图像区域的局部共享涂鸦图像区域描述向量对应的聚合共享涂鸦图像区域描述向量进行图像语义分析，将得到的语义分析结果作为目标图像内容分析信息。或者，还可以将每一个局部共享涂鸦图像区域描述向量与预先配置的参考语义分析结果对应的描述向量进行对比分析，在局部共享涂鸦图像区域描述向量与参考语义分析结果对应的描述向量匹配的情况下，将参考语义分析结果作为每一个局部共享涂鸦图像区域所对应的语义分析结果，最后，可以基于每一个局部共享涂鸦图像区域对应的语义分析结果确定出目标图像内容分析信息，如将对应的局部共享涂鸦图像区域的数量最多的语义分析结果作为目标图像内容分析信息，或者，还可以是其它方式）。

基于此（即通过执行前述的步骤S110-步骤S150），由于在进行图像内容分析处理之前，会匹配到每一个局部共享涂鸦图像区域在多种图像模式下对应的相关共享涂鸦图像区域，使得可以基于局部共享涂鸦图像区域和相关共享涂鸦图像区域，一并挖掘出对应的局部共享涂鸦图像区域描述向量，因此，局部共享涂鸦图像区域描述向量的中的信息，可以对对应的局部共享涂鸦图像区域的图像信息进行增强和补充，使得图像内容分析处理的依据更为充分，从而可以在一定程度上提高涂鸦图像异常分析的准确度，进而改善现有技术中存在的分析准确度不佳的问题；且本发明对局部共享涂鸦图像区域的图像信息进行增强和补充，实时优化远程桌面共享画面，提升了流畅度，增加了远程共享交流体验，从而提高了远程桌面共享的涂鸦图像处理效率。

可以理解的是，在一些实施方式中，当启动桌面涂鸦功能，则在采集图像时加入了涂鸦绘画窗口。桌面涂鸦功能支持屏幕全屏、窗口、白名单三种方式截图桌面内容并进行涂鸦，在启动涂鸦时会根据参数设置对应的涂鸦方式，开启后即可进行涂鸦绘画。涂鸦是个截图窗口，该窗口也被桌面采集模块采集，并且可以自由搭配桌面共享的多个方式一起使用，最终获取到的图像数据包含涂鸦内容。如此，可以形成目标共享涂鸦图像。

可以理解的是，在一些实施方式中，至少一个所述局部共享涂鸦图像区域包括第一尺寸的局部共享涂鸦图像区域和第二尺寸的局部共享涂鸦图像区域，所述第一尺寸小于所述第二尺寸（示例性地，所述第一尺寸和所述第二尺寸的具体尺寸大小不受限制，例如，所述第二尺寸可以是所述第一尺寸的4倍，如所述第一尺寸可以为9*9，则所述第二尺寸可以为18*18，其中，划分尺寸的对象可以是像素点，即第一尺寸的局部共享涂鸦图像区域包括9*9个像素点，第二尺寸的局部共享涂鸦图像区域包括18*18个像素点），基于此，对于上述描述中的步骤S120，即所述在所述目标共享涂鸦图像中，抽取出至少一个局部共享涂鸦图像区域的步骤，其具体可以包括以下的一些子步骤：

对所述目标共享涂鸦图像进行第一尺寸图像区域的抽出处理，以形成所述目标共享涂鸦图像中第一尺寸的局部共享涂鸦图像区域；对所述目标共享涂鸦图像进行第二尺寸图像区域的抽出处理，以形成所述目标共享涂鸦图像中的第二尺寸的局部共享涂鸦图像区域（基于此，针对目标共享涂鸦图像，可以从第一尺寸和第二尺寸两个尺寸分别提取局部共享涂鸦图像区域，从而使得得到的至少一个局部共享涂鸦图像区域中包含着不同尺寸的图像信息，如此，能够使得第一共享涂鸦图像区域描述向量丰富化，增强局部共享涂鸦图像区域描述向量的语义表征）。

可以理解的是，在一些实施方式中，对于上述描述中的步骤S130，即所述对于每一个局部共享涂鸦图像区域，匹配到该局部共享涂鸦图像区域在多种图像模式下对应的相关共享涂鸦图像区域的步骤，其具体可以包括以下的一些子步骤：

查找到多种图像模式中的每一种图像模式下对应的第一尺寸图像区域数据库（所述第一尺寸图像区域数据库包括对应图像模式下的多个第一尺寸图像区域）和第二尺寸图像区域数据库（所述第二尺寸图像区域数据库包括对应图像模式下的多个第二尺寸图像区域）；

在所述多种图像模式中的每一种图像模式下对应的第一尺寸图像区域数据库中，匹配出所述第一尺寸的局部共享涂鸦图像区域在所述多种图像模式下对应的相关共享涂鸦图像区域（通过计算图像区域之间的语义相关度，以确定出相关共享涂鸦图像区域，其中，相关共享涂鸦图像区域可以是指与共享涂鸦图像区域相关，其本身可以不是涂鸦图像区域，即并不是基于涂鸦形成）；以及，在所述多种图像模式中的每一种图像模式下对应的第二尺寸图像区域数据库中，匹配出所述第二尺寸的局部共享涂鸦图像区域在所述多种图像模式下对应的所述相关共享涂鸦图像区域。

其中，可以理解的是，在一些实施方式中，对于上述描述中的步骤S140，即所述依据每一个所述局部共享涂鸦图像区域，并结合每一个所述局部共享涂鸦图像区域对应的所述相关共享涂鸦图像区域，分析出每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量的步骤，其具体可以包括以下的一些子步骤：

对于每一个所述局部共享涂鸦图像区域，对该局部共享涂鸦图像区域进行关键信息挖掘，以输出对应的第一共享涂鸦图像区域描述向量（示例性地，可以对所述局部共享涂鸦图像区域进行特征映射，以映射至特征空间中，以利用连续的描述向量来表示所述局部共享涂鸦图像区域，即可以得到所述第一共享涂鸦图像区域描述向量）；

对于每一个所述局部共享涂鸦图像区域，对该局部共享涂鸦图像区域对应的所述相关共享涂鸦图像区域进行关键信息挖掘，以输出对应的第二共享涂鸦图像区域描述向量（示例性地，可以对所述局部共享涂鸦图像区域对应的所述相关共享涂鸦图像区域进行特征映射，以映射至特征空间中，以利用连续的描述向量来表示对应的所述相关共享涂鸦图像区域，即可以得到所述第二共享涂鸦图像区域描述向量）；

对相同的所述局部共享涂鸦图像区域对应的所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量进行向量聚合处理，以形成每一个所述局部共享涂鸦图像区域对应的聚合共享涂鸦图像区域描述向量（即对于每一个所述局部共享涂鸦图像区域，可以对该局部共享涂鸦图像区域对应的所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量进行向量聚合处理，以形成该局部共享涂鸦图像区域对应的聚合共享涂鸦图像区域描述向量）；

在每一个所述局部共享涂鸦图像区域对应的所述聚合共享涂鸦图像区域描述向量中，分别挖掘出每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量（示例性地，在一些实施方式中，可以直接将所述聚合共享涂鸦图像区域描述向量作为对应的局部共享涂鸦图像区域描述向量，在其它实施方式中，也可以对所述聚合共享涂鸦图像区域描述向量进行进一步的挖掘，以形成对应的局部共享涂鸦图像区域描述向量，举例来说，可以对所述聚合共享涂鸦图像区域描述向量进行聚焦特征分析处理，即对所述聚合共享涂鸦图像区域描述向量自身进行聚焦特征分析处理，也可以理解为模态内的聚焦，以得到对应的聚焦描述向量，如此，可以将所述聚焦描述向量作为对应的局部共享涂鸦图像区域描述向量）。

其中，可以理解的是，在一些实施方式中，对于上述描述中的所述对相同的所述局部共享涂鸦图像区域对应的所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量进行向量聚合处理，以形成每一个所述局部共享涂鸦图像区域对应的聚合共享涂鸦图像区域描述向量进行向量的步骤，其具体可以包括以下的一些子步骤：

将所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量进行有权重的叠加处理，以形成所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量对应的聚合共享涂鸦图像区域描述向量（示例性地，可以将所述第一共享涂鸦图像区域描述向量和对应权重进行乘法运算，以得到第一乘法运算结果，并且，将所述第二共享涂鸦图像区域描述向量和对应的权重进行乘法运算，以得到对应的第二乘法结果，然后，可以将第一乘法运算结果和第二乘法运算结果进行加法运算，以形成对应的聚合共享涂鸦图像区域描述向量）；或者

利用描述向量处理神经网络，将所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量进行关联聚合处理，以形成所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量对应的聚合共享涂鸦图像区域描述向量（示例性地，所述描述向量处理神经网络可以基于相应示例性数据进行网络优化形成，所述描述向量处理神经网络可以对所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量进行对比，以确定出其中的关联局部向量和非关联局部向量，然后，可以对所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量进行叠加，然后，可以弱化非关联局部向量，使得聚合共享涂鸦图像区域描述向量更倾向于关联局部向量）；或者

利用描述向量双向处理神经网络（示例性地，所述描述向量双向处理神经网络的网络优化过程可以包括，即通过初始的描述向量双向处理神经网络对示例性数据进行关键信息挖掘，得到关键信息挖掘结果，然后，再对所述关键信息挖掘结果进行上采样，以形成对应的上采样结果，最后，可以基于上采样结果和示例性数据之间的区别，对初始的描述向量双向处理神经网络进行优化，形成所述描述向量双向处理神经网络），将所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量进行向量整合处理（如先对所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量进行拼接，然后，可以利用描述向量双向处理神经网络进行关键信息挖掘，以得到聚合共享涂鸦图像区域描述向量），以形成所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量对应的聚合共享涂鸦图像区域描述向量。

其中，可以理解的是，在一些实施方式中，对于上述描述中的所述将所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量进行有权重的叠加处理，以形成所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量对应的聚合共享涂鸦图像区域描述向量的步骤，在执行该步骤之前，对于上述描述中的所述对相同的所述局部共享涂鸦图像区域对应的所述第一共享涂鸦图像区域描述向量和所述第二共享涂鸦图像区域描述向量进行向量聚合处理，以形成每一个所述局部共享涂鸦图像区域对应的聚合共享涂鸦图像区域描述向量进行向量的步骤，其具体可以包括以下的一些子步骤：

对所述第二共享涂鸦图像区域描述向量进行向量参数的行列对换处理，以形成对换第二共享涂鸦图像区域描述向量，以及，对所述第一共享涂鸦图像区域描述向量和所述对换第二共享涂鸦图像区域描述向量进行叉乘运算，以得到第一关联共享涂鸦图像区域描述向量，然后，可以对所述第一关联共享涂鸦图像区域描述向量进行聚焦特征分析，以得到对应的聚焦特征分析重要性评分，可以作为对应的权重；

对所述第一共享涂鸦图像区域描述向量进行向量参数的行列对换处理，以形成对换第一共享涂鸦图像区域描述向量，以及，对所述第二共享涂鸦图像区域描述向量和所述对换第一共享涂鸦图像区域描述向量进行叉乘运算，以得到第二关联共享涂鸦图像区域描述向量，然后，可以对所述第二关联共享涂鸦图像区域描述向量进行聚焦特征分析，以得到对应的聚焦特征分析重要性评分，可以作为对应的权重。

可以理解的是，在一些实施方式中，对于上述描述中的步骤S140，即所述依据每一个所述局部共享涂鸦图像区域，并结合每一个所述局部共享涂鸦图像区域对应的所述相关共享涂鸦图像区域，分析出每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量的步骤，其可以基于目标关键信息挖掘神经网络执行。基于此，在所述依据每一个所述局部共享涂鸦图像区域，并结合每一个所述局部共享涂鸦图像区域对应的所述相关共享涂鸦图像区域，分析出每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量的步骤之前，所述基于远程桌面共享的涂鸦图像处理方法还可以包括以下的一些步骤：

采集到示例性涂鸦图像集合和候选关键信息挖掘神经网络，所述示例性涂鸦图像集合包括的示例性涂鸦图像不具有图像实际标识信息（所述候选关键信息挖掘神经网络可以是指初始搭建的关键信息挖掘神经网络，所述图像实际标识信息可以是指示例性涂鸦图像的图像标签信息）；

基于所述示例性涂鸦图像集合，形成包括多种图像模式下的多模式示例性涂鸦图像集合；

基于所述多模式示例性涂鸦图像集合，将所述候选关键信息挖掘神经网络进行第一网络优化处理，以形成对应的待确认关键信息挖掘神经网络；

对所述待确认关键信息挖掘神经网络进行第二网络优化处理，以形成对应的目标关键信息挖掘神经网络（示例性地，在进行第二网络优化处理的过程中，对应的示例性涂鸦图像可以具有图像实际标识信息）。

可以理解的是，在一些实施方式中，所述示例性涂鸦图像集合包括一个图像模式下的第一示例性涂鸦图像，基于此，对于上述描述中的所述基于所述示例性涂鸦图像集合，形成包括多种图像模式下的多模式示例性涂鸦图像集合的步骤，其具体可以包括以下的一些子步骤：

基于所述第一示例性涂鸦图像中的图像连通域标识信息（所述图像连通域标识信息可以通过对所述第一示例性涂鸦图像进行图像连通域识别处理得到，具体的识别过程可以参照相关的现有技术），将所述第一示例性涂鸦图像进行图像拆分处理，以形成对应的多个第一示例性涂鸦图像区域（示例性地，一个所述第一示例性涂鸦图像区域对应一个图像连通域）。

在所述多个第一示例性涂鸦图像区域中，确定出目标第一示例性涂鸦图像区域和参考第一示例性涂鸦图像区域（示例性地，可以在所述多个第一示例性涂鸦图像区域中，随机选择出两个第一示例性涂鸦图像区域，分别作为目标第一示例性涂鸦图像区域和参考第一示例性涂鸦图像区域）。

对于所述目标第一示例性涂鸦图像区域，匹配出该目标第一示例性涂鸦图像区域在多种图像模式下对应的备份示例性涂鸦图像区域（示例性地，可以在多种图像模式对应的图像区域数据库中，分别匹配出每一种图像模式下对应的备份示例性涂鸦图像区域），所述备份示例性涂鸦图像区域和所述目标第一示例性涂鸦图像区域之间关于图像语义相关。

在所述参考第一示例性涂鸦图像区域中，筛选得到参考示例性第一尺寸图像区域（也就是说，可以在所述参考第一示例性涂鸦图像区域中，截取出一个第一尺寸图像区域），以及，基于所述参考示例性第一尺寸图像区域在多种图像模式下对应的相关第一尺寸图像区域（可以在多种图像模式对应的图像区域数据库中匹配出对应的相关第一尺寸图像区域），取代所述参考示例性第一尺寸图像区域（如在所述参考第一示例性涂鸦图像区域中，将所述参考示例性第一尺寸图像区域更换为所述相关第一尺寸图像区域，形成对应的取代第一示例性涂鸦图像区域），形成所述参考第一示例性涂鸦图像区域对应的取代第一示例性涂鸦图像区域。

基于所述备份示例性涂鸦图像区域和所述取代第一示例性涂鸦图像区域组建形成示例性多图像模式组合涂鸦图像，并将所述示例性多图像模式组合涂鸦图像标记为多模式示例性涂鸦图像集合。

可以理解的是，在一些实施方式中，所述示例性涂鸦图像集合包括多个图像模式下的示例性涂鸦图像区域组合，基于此，对于上述描述中的所述基于所述示例性涂鸦图像集合，形成包括多种图像模式下的多模式示例性涂鸦图像集合的步骤，其具体可以包括以下的一些子步骤：

对于所述示例性涂鸦图像区域组合中的示例性涂鸦图像区域组合第一区域和示例性涂鸦图像区域组合第二区域（也就是说，所述示例性涂鸦图像区域组合包括两个图像区域，即示例性涂鸦图像区域组合第一区域和示例性涂鸦图像区域组合第二区域），依据图像连通域标识信息分别进行图像拆分处理，以形成对应的第一数量个第一示例性涂鸦图像子区域和第二数量个第二示例性涂鸦图像子区域，所述示例性涂鸦图像区域组合第一区域和所述示例性涂鸦图像区域组合第二区域对应的图像模式不同；

基于第一数量个所述第一示例性涂鸦图像子区域中的第三数量个第一示例性涂鸦图像子区域，形成所述示例性涂鸦图像区域组合第一区域对应的第一示例性子区域单元；基于第二数量个所述第二示例性涂鸦图像子区域中的第四数量个第二示例性涂鸦图像子区域，形成所述示例性涂鸦图像区域组合第二区域对应的第二示例性子区域单元（示例性地，所述第一示例性子区域单元是示例性涂鸦图像区域组合第一区域中具有完整的图像语义的部分，如一个对象的全部，可以与示例性涂鸦图像区域组合第一区域中的其它的单元相对分离，同样地，所述第二示例性子区域单元是示例性涂鸦图像区域组合第二区域中具有完整图像语义的部分，可以与示例性涂鸦图像区域组合第二区域中的其它的单元相对分离）；

在所述第一示例性子区域单元和所述第二示例性子区域单元之间关于图像语义相关的情况下，对所述示例性涂鸦图像区域组合第一区域对应的第一示例性子区域单元和所述示例性涂鸦图像区域组合第二区域对应的第二示例性子区域单元进行对调处理，以形成对应的对调示例性涂鸦图像区域组合第一区域和对应的对调示例性涂鸦图像区域组合第二区域；

基于所述对调示例性涂鸦图像区域组合第一区域和所述对调示例性涂鸦图像区域组合第二区域形成对应的多图像模式对调图像区域组合，并将所述多图像模式对调图像区域组合标记为多模式示例性涂鸦图像集合。

可以理解的是，在一些实施方式中，所述第一示例性子区域单元和所述第二示例性子区域单元之间关于图像语义相关，可以用于表征：

所述第一示例性子区域单元存在至少一个第一尺寸图像区域与所述第二示例性子区域单元中的第一尺寸图像区域之间关于图像语义相关，以及，所述第一示例性子区域单元中的任意一个第一尺寸图像区域与所述第二示例性子区域单元包括的第一尺寸图像区域以外的第一尺寸图像区域之间关于图像语义不相关（示例性地，所述第一示例性子区域单元中的第一尺寸图像区域与所述示例性涂鸦图像区域组合第二区域中所述第二示例性子区域单元以外的单元之间关于图像语义不相关）。

可以理解的是，在一些实施方式中，所述多模式示例性涂鸦图像集合包括示例性多图像模式组合涂鸦图像，基于此，对于上述描述中的所述基于所述多模式示例性涂鸦图像集合，将所述候选关键信息挖掘神经网络进行第一网络优化处理，以形成对应的待确认关键信息挖掘神经网络的步骤，其具体可以包括以下的一些子步骤：

基于预先配置的目标遮盖图像区域（如全黑的图像或全白的图像等），将所述示例性多图像模式组合涂鸦图像中的目标第一尺寸图像区域进行遮盖处理，以形成所述候选关键信息挖掘神经网络对应的待处理示例性涂鸦图像，所述目标第一尺寸图像区域属于所述示例性多图像模式组合涂鸦图像包括的多个第一尺寸图像区域中随机确定的一个第一尺寸图像区域；

基于所述候选关键信息挖掘神经网络，将所述待处理示例性涂鸦图像中所述目标遮盖图像区域遮盖的所述目标第一尺寸图像区域进行还原处理，以形成对应的还原第一尺寸图像区域；

基于所述还原第一尺寸图像区域和所述目标第一尺寸图像区域之间的区别信息，将所述候选关键信息挖掘神经网络包括的网络参数进行优化处理，以形成对应的待确认关键信息挖掘神经网络。

可以理解的是，在一些实施方式中，所述多模式示例性涂鸦图像集合包括多图像模式对调图像区域组合，基于此，对于上述描述中的所述基于所述多模式示例性涂鸦图像集合，将所述候选关键信息挖掘神经网络进行第一网络优化处理，以形成对应的待确认关键信息挖掘神经网络的步骤，其具体可以包括以下的一些子步骤：

在所述多图像模式对调图像区域组合包括的对调示例性涂鸦图像区域组合第一区域中，确定出任意第一尺寸图像区域，以及，基于预先配置的目标遮盖图像区域（如前所述），将所述任意第一尺寸图像区域进行遮盖处理，形成所述候选关键信息挖掘神经网络对应的待处理组合第一区域，所述任意第一尺寸图像区域属于在所述对调示例性涂鸦图像区域组合第一区域中随机确定的一个第一尺寸图像区域；

在所述多图像模式对调图像区域组合包括的对调示例性涂鸦图像区域组合第二区域中，确定出随机第一尺寸图像区域，以及，基于所述目标遮盖图像区域将所述随机第一尺寸图像区域进行遮盖处理，形成所述候选关键信息挖掘神经网络对应的待处理组合第二区域，所述随机第一尺寸图像区域属于在所述对调示例性涂鸦图像区域组合第二区域中随机确定的一个第一尺寸图像区域；

通过所述候选关键信息挖掘神经网络，将所述待处理组合第一区域中的所述目标遮盖图像区域遮盖的任意第一尺寸图像区域进行还原处理，以形成对应的还原任意第一尺寸图像区域，并将所述待处理组合第二区域中的所述目标遮盖图像区域遮盖的随机第一尺寸图像区域进行还原处理，以形成对应的还原随机第一尺寸图像区域；

基于所述任意第一尺寸图像区域和所述还原任意第一尺寸图像区域之间的区别，并结合所述随机第一尺寸图像区域和所述还原随机第一尺寸图像区域之间的区别，将所述候选关键信息挖掘神经网络包括的网络参数进行优化处理，以形成对应的待确认关键信息挖掘神经网络。

结合图3，本发明实施例还提供一种基于远程桌面共享的涂鸦图像处理装置，可应用于上述基于远程桌面共享的涂鸦图像处理系统。其中，所述基于远程桌面共享的涂鸦图像处理装置可以包括：

共享涂鸦图像采集模块，用于采集到基于远程桌面共享形成的目标共享涂鸦图像；

涂鸦图像区域抽取模块，用于在所述目标共享涂鸦图像中，抽取出至少一个局部共享涂鸦图像区域，所述至少一个局部共享涂鸦图像区域拼接形成的拼接图像至少属于所述目标共享涂鸦图像的一部分，在所述至少一个局部共享涂鸦图像区域包括多个局部共享涂鸦图像区域的情况下，每两个所述局部共享涂鸦图像区域之间至少具有部分区域未重合；

涂鸦图像区域匹配模块，用于对于每一个局部共享涂鸦图像区域，匹配到该局部共享涂鸦图像区域在多种图像模式下对应的相关共享涂鸦图像区域，所述相关共享涂鸦图像区域和所述局部共享涂鸦图像区域之间关于图像语义相关，所述多种图像模式是指对应的共享涂鸦图像区域中的图像对象的形式不同，该形式包括虚拟对象和真实对象；

涂鸦图像区域挖掘模块，用于依据每一个所述局部共享涂鸦图像区域，并结合每一个所述局部共享涂鸦图像区域对应的所述相关共享涂鸦图像区域，分析出每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量；

图像内容分析模块，用于依据每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量，将所述目标共享涂鸦图像进行图像内容分析处理，以输出所述目标共享涂鸦图像对应的目标图像内容分析信息，所述目标图像内容分析信息用于反映所述目标共享涂鸦图像中是否异常。

综上所述，本发明提供的基于远程桌面共享的涂鸦图像处理方法及系统，可以先采集到基于远程桌面共享形成的目标共享涂鸦图像；在目标共享涂鸦图像中，抽取出至少一个局部共享涂鸦图像区域，至少一个局部共享涂鸦图像区域拼接形成的拼接图像至少属于目标共享涂鸦图像的一部分，在至少一个局部共享涂鸦图像区域包括多个局部共享涂鸦图像区域的情况下，每两个局部共享涂鸦图像区域之间至少具有部分区域未重合；对于每一个局部共享涂鸦图像区域，匹配到该局部共享涂鸦图像区域在多种图像模式下对应的相关共享涂鸦图像区域，相关共享涂鸦图像区域和局部共享涂鸦图像区域之间关于图像语义相关，多种图像模式是指对应的共享涂鸦图像区域中的图像对象的形式不同，该形式包括虚拟对象和真实对象；依据每一个局部共享涂鸦图像区域，并结合每一个局部共享涂鸦图像区域对应的相关共享涂鸦图像区域，分析出每一个局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量；依据每一个局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量，将目标共享涂鸦图像进行图像内容分析处理，以输出目标共享涂鸦图像对应的目标图像内容分析信息。基于此，由于在进行图像内容分析处理之前，会匹配到每一个局部共享涂鸦图像区域在多种图像模式下对应的相关共享涂鸦图像区域，使得可以基于局部共享涂鸦图像区域和相关共享涂鸦图像区域，一并挖掘出对应的局部共享涂鸦图像区域描述向量，因此，局部共享涂鸦图像区域描述向量的中的信息，可以对对应的局部共享涂鸦图像区域的图像信息进行增强和补充，使得图像内容分析处理的依据更为充分，从而可以在一定程度上提高涂鸦图像异常分析的准确度，改善现有技术中存在的分析准确度不佳的问题；且本发明对局部共享涂鸦图像区域的图像信息进行增强和补充，实时优化远程桌面共享画面，提升了流畅度，增加了远程共享交流体验，从而提高了远程桌面共享的涂鸦图像处理效率。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于远程桌面共享的涂鸦图像处理方法，其特征在于，包括：

采集到基于远程桌面共享形成的目标共享涂鸦图像；

在所述目标共享涂鸦图像中，抽取出至少一个局部共享涂鸦图像区域，所述至少一个局部共享涂鸦图像区域拼接形成的拼接图像至少属于所述目标共享涂鸦图像的一部分，在所述至少一个局部共享涂鸦图像区域包括多个局部共享涂鸦图像区域的情况下，每两个所述局部共享涂鸦图像区域之间至少具有部分区域未重合；

对于每一个局部共享涂鸦图像区域，匹配到该局部共享涂鸦图像区域在多种图像模式下对应的相关共享涂鸦图像区域，所述相关共享涂鸦图像区域和所述局部共享涂鸦图像区域之间关于图像语义相关，所述多种图像模式是指对应的共享涂鸦图像区域中的图像对象的形式不同，该形式包括虚拟对象和真实对象；

依据每一个所述局部共享涂鸦图像区域，并结合每一个所述局部共享涂鸦图像区域对应的所述相关共享涂鸦图像区域，分析出每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量；

依据每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量，将所述目标共享涂鸦图像进行图像内容分析处理，以输出所述目标共享涂鸦图像对应的目标图像内容分析信息，所述目标图像内容分析信息用于反映所述目标共享涂鸦图像中是否异常；

其中，所述依据每一个所述局部共享涂鸦图像区域，并结合每一个所述局部共享涂鸦图像区域对应的所述相关共享涂鸦图像区域，分析出每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量的步骤，基于目标关键信息挖掘神经网络执行；

在所述依据每一个所述局部共享涂鸦图像区域，并结合每一个所述局部共享涂鸦图像区域对应的所述相关共享涂鸦图像区域，分析出每一个所述局部共享涂鸦图像区域对应的局部共享涂鸦图像区域描述向量的步骤之前，所述基于远程桌面共享的涂鸦图像处理方法还包括：

采集到示例性涂鸦图像集合和候选关键信息挖掘神经网络，所述示例性涂鸦图像集合包括的示例性涂鸦图像不具有图像实际标识信息；

基于所述示例性涂鸦图像集合，形成包括多种图像模式下的多模式示例性涂鸦图像集合；

基于所述多模式示例性涂鸦图像集合，将所述候选关键信息挖掘神经网络进行第一网络优化处理，以形成对应的待确认关键信息挖掘神经网络；

对所述待确认关键信息挖掘神经网络进行第二网络优化处理，以形成对应的目标关键信息挖掘神经网络；

其中，所述示例性涂鸦图像集合包括一个图像模式下的第一示例性涂鸦图像；以及，所述基于所述示例性涂鸦图像集合，形成包括多种图像模式下的多模式示例性涂鸦图像集合的步骤，包括：

基于所述第一示例性涂鸦图像中的图像连通域标识信息，将所述第一示例性涂鸦图像进行图像拆分处理，以形成对应的多个第一示例性涂鸦图像区域；

在所述多个第一示例性涂鸦图像区域中，确定出目标第一示例性涂鸦图像区域和参考第一示例性涂鸦图像区域；

对于所述目标第一示例性涂鸦图像区域，匹配出该目标第一示例性涂鸦图像区域在多种图像模式下对应的备份示例性涂鸦图像区域，所述备份示例性涂鸦图像区域和所述目标第一示例性涂鸦图像区域之间关于图像语义相关；

在所述参考第一示例性涂鸦图像区域中，筛选得到参考示例性第一尺寸图像区域，以及，基于所述参考示例性第一尺寸图像区域在多种图像模式下对应的相关第一尺寸图像区域，取代所述参考示例性第一尺寸图像区域，形成所述参考第一示例性涂鸦图像区域对应的取代第一示例性涂鸦图像区域；

基于所述备份示例性涂鸦图像区域和所述取代第一示例性涂鸦图像区域组建形成示例性多图像模式组合涂鸦图像，并将所述示例性多图像模式组合涂鸦图像标记为多模式示例性涂鸦图像集合。

2.如权利要求1所述的基于远程桌面共享的涂鸦图像处理方法，其特征在于，至少一个所述局部共享涂鸦图像区域包括第一尺寸的局部共享涂鸦图像区域和第二尺寸的局部共享涂鸦图像区域，所述第一尺寸小于所述第二尺寸；以及，所述在所述目标共享涂鸦图像中，抽取出至少一个局部共享涂鸦图像区域的步骤，包括：

对所述目标共享涂鸦图像进行第一尺寸图像区域的抽出处理，以形成所述目标共享涂鸦图像中第一尺寸的局部共享涂鸦图像区域；

对所述目标共享涂鸦图像进行第二尺寸图像区域的抽出处理，以形成所述目标共享涂鸦图像中的第二尺寸的局部共享涂鸦图像区域。

3.如权利要求2所述的基于远程桌面共享的涂鸦图像处理方法，其特征在于，所述对于每一个局部共享涂鸦图像区域，匹配到该局部共享涂鸦图像区域在多种图像模式下对应的相关共享涂鸦图像区域的步骤，包括：

查找到多种图像模式中的每一种图像模式下对应的第一尺寸图像区域数据库和第二尺寸图像区域数据库；

在所述多种图像模式中的每一种图像模式下对应的第一尺寸图像区域数据库中，匹配出所述第一尺寸的局部共享涂鸦图像区域在所述多种图像模式下对应的相关共享涂鸦图像区域；

在所述多种图像模式中的每一种图像模式下对应的第二尺寸图像区域数据库中，匹配出所述第二尺寸的局部共享涂鸦图像区域在所述多种图像模式下对应的所述相关共享涂鸦图像区域。

4.如权利要求1所述的基于远程桌面共享的涂鸦图像处理方法，其特征在于，所述示例性涂鸦图像集合包括多个图像模式下的示例性涂鸦图像区域组合；以及，所述基于所述示例性涂鸦图像集合，形成包括多种图像模式下的多模式示例性涂鸦图像集合的步骤，包括：

对于所述示例性涂鸦图像区域组合中的示例性涂鸦图像区域组合第一区域和示例性涂鸦图像区域组合第二区域，依据图像连通域标识信息分别进行图像拆分处理，以形成对应的第一数量个第一示例性涂鸦图像子区域和第二数量个第二示例性涂鸦图像子区域，所述示例性涂鸦图像区域组合第一区域对应的图像模式和所述示例性涂鸦图像区域组合第二区域对应的图像模式不同；

基于第一数量个所述第一示例性涂鸦图像子区域中的第三数量个第一示例性涂鸦图像子区域，形成所述示例性涂鸦图像区域组合第一区域对应的第一示例性子区域单元；

基于第二数量个所述第二示例性涂鸦图像子区域中的第四数量个第二示例性涂鸦图像子区域，形成所述示例性涂鸦图像区域组合第二区域对应的第二示例性子区域单元；

在所述第一示例性子区域单元和所述第二示例性子区域单元之间关于图像语义相关的情况下，对所述示例性涂鸦图像区域组合第一区域对应的第一示例性子区域单元和所述示例性涂鸦图像区域组合第二区域对应的第二示例性子区域单元进行对调处理，以形成对应的对调示例性涂鸦图像区域组合第一区域和对应的对调示例性涂鸦图像区域组合第二区域；

基于所述对调示例性涂鸦图像区域组合第一区域和所述对调示例性涂鸦图像区域组合第二区域形成对应的多图像模式对调图像区域组合，并将所述多图像模式对调图像区域组合标记为多模式示例性涂鸦图像集合。

5.如权利要求4所述的基于远程桌面共享的涂鸦图像处理方法，其特征在于，所述第一示例性子区域单元和所述第二示例性子区域单元之间关于图像语义相关，用于表征：

所述第一示例性子区域单元存在至少一个第一尺寸图像区域与所述第二示例性子区域单元中的第一尺寸图像区域之间关于图像语义相关，以及，所述第一示例性子区域单元中的任意一个第一尺寸图像区域与所述第二示例性子区域单元包括的第一尺寸图像区域以外的第一尺寸图像区域之间关于图像语义不相关。

6.如权利要求1所述的基于远程桌面共享的涂鸦图像处理方法，其特征在于，所述多模式示例性涂鸦图像集合包括示例性多图像模式组合涂鸦图像；以及，所述基于所述多模式示例性涂鸦图像集合，将所述候选关键信息挖掘神经网络进行第一网络优化处理，以形成对应的待确认关键信息挖掘神经网络的步骤，包括：

基于预先配置的目标遮盖图像区域，将所述示例性多图像模式组合涂鸦图像中的目标第一尺寸图像区域进行遮盖处理，以形成所述候选关键信息挖掘神经网络对应的待处理示例性涂鸦图像，所述目标第一尺寸图像区域属于所述示例性多图像模式组合涂鸦图像包括的多个第一尺寸图像区域中随机确定的一个第一尺寸图像区域；

基于所述候选关键信息挖掘神经网络，将所述待处理示例性涂鸦图像中所述目标遮盖图像区域遮盖的所述目标第一尺寸图像区域进行还原处理，以形成对应的还原第一尺寸图像区域；

基于所述还原第一尺寸图像区域和所述目标第一尺寸图像区域之间的区别信息，将所述候选关键信息挖掘神经网络包括的网络参数进行优化处理，以形成对应的待确认关键信息挖掘神经网络。

7.如权利要求1所述的基于远程桌面共享的涂鸦图像处理方法，其特征在于，所述多模式示例性涂鸦图像集合包括多图像模式对调图像区域组合；以及，所述基于所述多模式示例性涂鸦图像集合，将所述候选关键信息挖掘神经网络进行第一网络优化处理，以形成对应的待确认关键信息挖掘神经网络的步骤，包括：

在所述多图像模式对调图像区域组合包括的对调示例性涂鸦图像区域组合第一区域中，确定出任意第一尺寸图像区域，以及，基于预先配置的目标遮盖图像区域，将所述任意第一尺寸图像区域进行遮盖处理，形成所述候选关键信息挖掘神经网络对应的待处理组合第一区域，所述任意第一尺寸图像区域属于在所述对调示例性涂鸦图像区域组合第一区域中随机确定的一个第一尺寸图像区域；

在所述多图像模式对调图像区域组合包括的对调示例性涂鸦图像区域组合第二区域中，确定出随机第一尺寸图像区域，以及，基于所述目标遮盖图像区域将所述随机第一尺寸图像区域进行遮盖处理，形成所述候选关键信息挖掘神经网络对应的待处理组合第二区域，所述随机第一尺寸图像区域属于在所述对调示例性涂鸦图像区域组合第二区域中随机确定的一个第一尺寸图像区域；

通过所述候选关键信息挖掘神经网络，将所述待处理组合第一区域中的所述目标遮盖图像区域遮盖的任意第一尺寸图像区域进行还原处理，以形成对应的还原任意第一尺寸图像区域，并将所述待处理组合第二区域中的所述目标遮盖图像区域遮盖的随机第一尺寸图像区域进行还原处理，以形成对应的还原随机第一尺寸图像区域；

基于所述任意第一尺寸图像区域和所述还原任意第一尺寸图像区域之间的区别，并结合所述随机第一尺寸图像区域和所述还原随机第一尺寸图像区域之间的区别，将所述候选关键信息挖掘神经网络包括的网络参数进行优化处理，以形成对应的待确认关键信息挖掘神经网络。

8.一种基于远程桌面共享的涂鸦图像处理系统，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以实现权利要求1-7任意一项所述的方法。

Images