CN118097311B - 一种基于深度学习的光标检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的光标检测方法及系统，包括以下步骤：获取受控端的光标位置及受控端画面，确定受控端画面中的光标识别区域；利用目标检测法对光标识别区域中进行检测，获取光标的图像与状态；根据光标的图像与位置对受控端画面中的光标进行去除，获得去除光标的受控端残缺画面；利用图像修复法对受控端残缺画面进行修复，得到不包含光标的受控端画面；将不包含光标的受控端画面传输至控制端，将光标图像添加至控制端画面进行同步。本发明利用目标检测及生成对抗网络进行画面修复，将存在延迟的光标图像进行去除再重新合成，提高了光标同步的及时性和准确性。

Description

一种基于深度学习的光标检测方法及系统

技术领域

本发明涉及计算机远程管理领域，尤其涉及一种基于深度学习的光标检测方法及系统。

背景技术

IPKVM 通过硬件级的远程键盘、视频和鼠标控制（KVM）为远程办公和远程工作地点提供支持，可使 IT 管理员像亲自到场一样管理电脑。类似于远程桌面，远程桌面是通过安装在被控端的软件将系统当前画面通过网络传输到控制端，控制端的软件通过网络将键盘鼠标等指令发送到被控端的软件中，被控端接收后再执行；而IPKVM通过将被控主机的HDMI输出及USB接入一个采集控制的设备，该设备会采集主机HDMI视频的输出并发送到控制端，控制端通过网络将键盘鼠标的指令下发到采集控制设备，采集控制设备通过USB模拟鼠标键盘的方式将指令传到被控端主机上，从而实现远程控制。

现有的IPKVM方案不进行光标识别，通常只采集被控端的桌面视频信号，然后将被控端的画面显示在控制端上，但是画面经过网络传输后会有一定的延迟，而控制端的鼠标操控的延迟会比较低，两者之间的操作不同步导致用户操作不顺畅。为了减少这种延迟感，提出了一种新方案，即在控制端画面中叠加一个超低延迟的光标，但这就引出了两个问题：第一，叠加的光标状态无法与被控端的光标同步，只能保持默认的光标状态；第二，因为网络延迟、画面延迟等因素如果远程操控者移动鼠标过快会导致被控端桌面中的光标跟不上，桌面中会同时存在两个光标，影响观感。因此，需要一种新的方案来解决IPKVM方案中控制端画面里鼠标延迟大，鼠标状态不同步的问题。

发明内容

为解决上述问题，本发明提供了一种基于深度学习的光标检测方法及系统，通过目标检测及图像修复技术，将原画面中的光标去除，并进行重新合成，解决了IPKVM方案中控制端画面里鼠标延迟大，鼠标状态不同步的问题。

为实现上述目的，本发明提供以下技术方案：

一种基于深度学习的光标检测方法，应用于受控端和控制端，包括以下步骤：

S1.获取受控端的光标位置及受控端画面，根据光标位置确定受控端画面中的光标识别区域；

S2.利用目标检测法对光标识别区域中的光标进行检测，获取光标的图像与状态；

S3.根据光标的图像与位置对受控端画面中的光标进行去除，获得去除光标的受控端残缺画面；

S4.利用图像修复法对去除光标的受控端残缺画面进行修复，得到不包含光标的受控端画面；

S5.将不包含光标的受控端画面传输至控制端，根据受控端的光标状态，生成光标图像，根据控制端的光标位置将光标图像添加至控制端画面进行同步。

进一步地，在步骤S1中，所述根据光标位置确定受控端画面中的光标识别区域包括：以光标位置为中心，框选一个矩形区域作为所述光标识别区域。

进一步地，在步骤S2中，利用目标检测法对光标识别区域进行检测，其具体实现过程，包括以下步骤：利用目标检测法识别出光标识别区域中的光标及光标的状态，当同一个光标识别区域中识别出两个及以上个光标时，从识别出的光标中选择置信度最高的两个光标，根据受控端光标尺寸对置信度最高的两个光标进行尺寸匹配，将与受控端光标尺寸最匹配的检测结果作为光标图像。

进一步地，在步骤S3中，根据光标的图像与位置对受控端画面中的光标进行去除，其具体实现过程，包括以下步骤：根据光标图像及位置建立与光标形状与位置相同的遮罩层，将遮罩层与受控端画面合并，得到去除光标的受控端残缺画面。

进一步地，在步骤S4中，利用图像修复法对去除光标的受控端残缺画面进行修复之前，还包括：对受控端残缺画面进行归一化操作，所述归一化操作的公式为：

，

其中，处表示归一化后的受控端残缺画面中，位置为的像素值，表示去除光标的受控端残缺画面中，位置为处的像素值，表示去除光标的受控端残缺画面的像素值最大值，表示去除光标的受控端残缺画面的像素值最小值。

进一步地，在步骤S4中，利用图像修复法对去除光标的受控端残缺画面进行修复，其具体实现过程，包括以下步骤：

S41.构建图像修复模型，所述图像修复模型包括生成器、鉴别器、生成器损失函数和鉴别器损失函数，所述生成器用于根据输入生成器的数据生成图像，所述鉴别器用于鉴别输入鉴别器的图像是否为生成器生成的图像，所述生成器损失函数用于衡量生成器生成图像的损失，鉴别器损失函数用于鉴别器鉴别结果的损失；

S42.对图像修复模型中的生成器和鉴别器进行训练，直至生成器损失达到最小化的同时鉴别器损失最大化，结束训练，得到训练好的图像修复模型

S43.向训练好的图像修复模型中的生成器输入去除光标的受控端残缺画面，生成器输出修复画面。

进一步地，在步骤S4中，所述得到不包含光标的受控端画面，具体实现过程包括：根据光标图像及位置对修复画面进行裁剪，得到与光标图像尺寸相同的修复补丁图像，将修复补丁图像与去除光标的受控端残缺画面进行合并，得到不包含光标的受控端画面。

进一步地，在步骤S5中，将不包含光标的受控端画面传输至控制端，还包括对不包含光标的受控端画面进行压缩，得到压缩后的不包含光标的受控端画面，将压缩后的不包含光标的受控端画面传输至控制端。

进一步地，在步骤S1中，所述获取受控端的光标位置，具体包括：监控受控端HID设备的输入来获取受控端的光标位置。

通过上述技术方案，本发明通过目标检测，检测并去除受控端画面中的光标，再对去除后的画面进行修复并传输至控制端，从而将控制端的光标重新同步至画面中，使得控制端画面中的光标能够及时反馈，提高光标同步的及时性和准确性。

附图说明

图1为本发明的一种基于深度学习的光标检测方法的整体流程示意图。

图2为本发明实施例中一种基于深度学习的光标检测系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明进一步详细的说明。

实施例1

参见图1，一种基于深度学习的光标检测方法，应用于受控端和控制端，包括以下步骤：

S1.获取受控端的光标位置及受控端画面，根据光标位置确定受控端画面中的光标识别区域；

S2.利用目标检测法对光标识别区域中的光标进行检测，获取光标的图像与状态；

S3.根据光标的图像与位置对受控端画面中的光标进行去除，获得去除光标的受控端残缺画面；

S4.利用图像修复法对去除光标的受控端残缺画面进行修复，得到不包含光标的受控端画面；

S5.将不包含光标的受控端画面传输至控制端，根据受控端的光标状态，生成光标图像，根据控制端的光标位置将光标图像添加至控制端画面进行同步。

在一个可选的实施例中，在步骤S1中，所述根据光标位置确定受控端画面中的光标识别区域包括：以光标位置为中心，框选一个矩形区域作为所述光标识别区域。利用光标位置进行框选区域，从而提升光标检测的准确性。

在一个可选的实施例中，在步骤S2中，利用目标检测法对光标识别区域进行检测，其具体实现过程，包括以下步骤：利用目标检测法识别出光标识别区域中的光标及光标的状态，当同一个光标识别区域中识别出两个及以上个光标时，从识别出的光标中选择置信度最高的两个光标，根据受控端光标尺寸对置信度最高的两个光标进行尺寸匹配，将与受控端光标尺寸最匹配的检测结果作为光标图像。

在目标检测时，根据光标的状态依次进行识别，所述光标状态包括：

箭头光标：箭头形状，用于指示光标位置，是光标的默认状态；

文本指针：一般为字母“I”的形状，用于指示将在光标位置键入文本；

手形指针：带有手指的手形指针，用于表示用户可以与超链接或按钮等某些元素进行交互；

光标的状态并不限于以上内容，而根据设备本身设置的光标状态及对应作用。

采用YOLOv7进行目标检测，YOLO是一种目标检测算法，全名为You Only LookOnce，v7表示是YOLO算法的第七个版本，YOLO的原理为将原始图片分割成互不重合的小方块，然后通过卷积最后生产这样大小的特征图，基于上面的分析，可以认为特征图的每个元素也是对应原始图片的一个小方块，然后用每个元素来可以预测那些中心点在该小方块内的目标。

基于光标识别，本方案对YOLOv7进行了改进，由于对于光标检测中，只需要使用最大特征图进行识别，不需要FPN中另外两个特征图，因此，本方案去除了P4、P5层相关的一些网络结构，减少计算量，从而提升目标检测的速度。

当在识别区域中检测得到多个光标时，由于不同类型的光标的长宽比不同，相同类型的光标在不同的分辨率下的大小并不相同，因此可以将光标类型与长宽比关联起来，计算匹配分辨率分数，最后选分数最高的作为最终结果。

在一个可选的实施例中，在步骤S3中，根据光标的图像与位置对受控端画面中的光标进行去除，其具体实现过程，包括以下步骤：根据光标图像及位置建立与光标形状与位置相同的遮罩层，将遮罩层与受控端画面合并，得到去除光标的受控端残缺画面。

本方案定义一个距离函数来决定哪些像素点被认为是需要进行标记的,本方案中采用计算欧几里得距离的方法进行标记的判定。具体来说，当像素点与光标位置的欧几里得距离小于或等于一个给定的阈值 r时，对像素点进行标记，将标记后得到的图形作为遮罩层。所述遮罩层矩阵M表示为：

其中，表示在遮罩层矩阵M中第i行j列的值，(,)是光标在图像上的位置坐标，r是一个正实数，代表光标影响的半径范围，只有当像素点(i,j)落在以(,)为中心，r为半径的圆形区域内时，M[i, j] 的值才为 1，否则为 0。遮罩层与受控端画面合并的操作表示为：

其中表示受控端残缺画面的图像数据在位置处的像素值，表示原始图像在位置处的像素值。表示在遮罩层矩阵M中第i行j列的值，其中1表示该位置在光标覆盖的区域内，需要修复，0表示该位置不需要修复。

在一个可选的实施例中，在步骤S4中，利用图像修复法对去除光标的受控端残缺画面进行修复之前，还包括：对去除光标的受控端残缺画面进行归一化操作，所述归一化操作的公式为：

，

其中，处表示归一化后的受控端残缺画面中，位置为的像素值，表示去除光标的受控端残缺画面中，位置为处的像素值，表示去除光标的受控端残缺画面的像素值最大值，表示去除光标的受控端残缺画面的像素值最小值。

通过归一化使得预处理的数据被限定在一定的范围内，从而消除奇异样本数据导致的不良影响

在一个可选的实施例中，在步骤S4中，利用图像修复法对去除光标的受控端残缺画面进行修复，其具体实现过程，包括以下步骤：

S41.构建图像修复模型，所述图像修复模型包括生成器、鉴别器、生成器损失函数和鉴别器损失函数，所述生成器用于根据输入生成器的数据生成图像，所述鉴别器用于鉴别输入鉴别器的图像是否为生成器生成的图像，所述生成器损失函数用于衡量生成器生成图像的损失，鉴别器损失函数用于鉴别器鉴别结果的损失；

S42.对图像修复模型中的生成器和鉴别器进行训练，直至生成器损失达到最小化的同时鉴别器损失最大化，结束训练，得到训练好的图像修复模型

S43.向训练好的图像修复模型中的生成器输入去除光标的受控端残缺画面，生成器输出修复画面。

在一个可选的实施例中，在步骤S4中，所述得到不包含光标的受控端画面，具体实现过程包括：根据光标图像及位置对修复画面进行裁剪，得到与光标图像尺寸相同的修复补丁图像，将修复补丁图像与去除光标的受控端残缺画面进行合并，得到不包含光标的受控端画面。

通过将修复后的图像与遮罩 M结合，以及将受控端图像与遮罩的补集相乘，合成最终修复结果矩阵：

其中，表示在最终修复结果矩阵中位置处的像素值，表示修复模型处理后的图像在位置处的像素值；表示遮罩矩阵在位置的值，1 表示该位置的像素在修复区域内，0 表示该位置的像素在修复区域外。

在一个可选的实施例中，在步骤S5中，将不包含光标的受控端画面传输至控制端，还包括对不包含光标的受控端画面进行压缩，得到压缩后的不包含光标的受控端画面，将压缩后的不包含光标的受控端画面传输至控制端。

在一个可选的实施例中，采用JPEG编码格式对不包含光标的受控端画面进行压缩，以减小数据量，TCP/IP协议将压缩后的画面进行传输。在控制端，显示设备需要及时刷新以展示新的图像，因此需要对控制端显示设备的刷新率和响应时间进行调整，以确保用户能够实时接收到受控端的画面，提升用户的IPKVM操控体验。

在一个可选的实施例中，在步骤S1中，所述获取受控端的光标位置，具体包括：监控受控端HID设备的输入来获取受控端的光标位置。

实施例2

参见图2，一种基于深度学习的光标检测系统，应用于受控端和控制端，包括：

光标确定模块，用于获取受控端的光标位置及受控端画面，根据光标位置确定受控端画面中的光标识别区域；

光标识别模块，用于利用目标检测法对光标识别区域中的光标进行检测，获取光标的图像与状态；

光标去除模块，用于根据光标的图像与位置对受控端画面中的光标进行去除，获得去除光标的受控端残缺画面；

画面修复模块，用于利用图像修复法对去除光标的受控端残缺画面进行修复，得到不包含光标的受控端画面；

光标同步模块，将不包含光标的受控端画面传输至控制端，根据受控端的光标位置和光标状态，将光标图像添加至控制端画面进行同步。

本说明书所公开的实施例只是对本发明单方面特征的一个例证，本发明的保护范围不限于此实施例，其他任何功能等效的实施例均落入本发明的保护范围内。对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (9)

1.一种基于深度学习的光标检测方法，应用于受控端和控制端，其特征在于，包括以下步骤：

S1.获取受控端的光标位置及受控端画面，根据光标位置确定受控端画面中的光标识别区域；

S2.利用目标检测法对光标识别区域中的光标进行检测，获取光标的图像与状态，利用目标检测法识别出光标识别区域中的光标及光标的状态，当同一个光标识别区域中识别出两个及以上个光标时，从识别出的光标中选择置信度最高的两个光标，根据受控端光标尺寸对置信度最高的两个光标进行尺寸匹配，将与受控端光标尺寸最匹配的检测结果作为光标的图像；

S3.根据光标的图像与位置对受控端画面中的光标进行去除，获得去除光标的受控端残缺画面；

S4.利用图像修复法对去除光标的受控端残缺画面进行修复，得到不包含光标的受控端画面；

S5.将不包含光标的受控端画面传输至控制端，根据受控端的光标状态，生成光标图像，根据控制端的光标位置将光标图像添加至控制端画面进行同步。

2.根据权利要求1所述的一种基于深度学习的光标检测方法，其特征在于，在步骤S1中，所述根据光标位置确定受控端画面中的光标识别区域包括：以光标位置为中心，框选一个矩形区域作为所述光标识别区域。

3.根据权利要求1所述的一种基于深度学习的光标检测方法，其特征在于，在步骤S3中，根据光标的图像与位置对受控端画面中的光标进行去除，其具体实现过程，包括以下步骤：根据光标图像及位置建立与光标形状与位置相同的遮罩层，将遮罩层与受控端画面合并，得到去除光标的受控端残缺画面。

4.根据权利要求1所述的一种基于深度学习的光标检测方法，其特征在于，在步骤S4中，利用图像修复法对去除光标的受控端残缺画面进行修复之前，还包括：对去除光标的受控端残缺画面进行归一化操作，所述归一化操作的公式为：

，

其中，处表示归一化后的受控端残缺画面中，位置为的像素值，表示去除光标的受控端残缺画面中，位置为处的像素值，表示去除光标的受控端残缺画面的像素值最大值，表示去除光标的受控端残缺画面的像素值最小值。

5.根据权利要求4所述的一种基于深度学习的光标检测方法，其特征在于，在步骤S4中，利用图像修复法对去除光标的受控端残缺画面进行修复，其具体实现过程，包括以下步骤：

S41.构建图像修复模型，所述图像修复模型包括生成器、鉴别器、生成器损失函数和鉴别器损失函数，所述生成器用于根据输入生成器的数据生成图像，所述鉴别器用于鉴别输入鉴别器的图像是否为生成器生成的图像，所述生成器损失函数用于衡量生成器生成图像的损失，鉴别器损失函数用于鉴别器鉴别结果的损失；

S42.对图像修复模型中的生成器和鉴别器进行训练，直至生成器损失达到最小化的同时鉴别器损失最大化，结束训练，得到训练好的图像修复模型；

S43.向训练好的图像修复模型中的生成器输入去除光标的受控端残缺画面，生成器输出修复画面。

6.根据权利要求5所述的一种基于深度学习的光标检测方法，其特征在于，在步骤S4中，所述得到不包含光标的受控端画面，具体实现过程包括：根据光标图像及位置对修复画面进行裁剪，得到与光标图像尺寸相同的修复补丁图像，将修复补丁图像与去除光标的受控端残缺画面进行合并，得到不包含光标的受控端画面。

7.根据权利要求1所述的一种基于深度学习的光标检测方法，其特征在于，在步骤S5中，将不包含光标的受控端画面传输至控制端，还包括对不包含光标的受控端画面进行压缩，得到压缩后的不包含光标的受控端画面，将压缩后的不包含光标的受控端画面传输至控制端。

8.根据权利要求1所述的一种基于深度学习的光标检测方法，其特征在于，在步骤S1中，所述获取受控端的光标位置，具体包括：监控受控端HID设备的输入来获取受控端的光标位置。

9.一种基于深度学习的光标检测系统，应用于受控端和控制端，其特征在于，包括：

光标确定模块，用于获取受控端的光标位置及受控端画面，根据光标位置确定受控端画面中的光标识别区域；

光标识别模块，用于利用目标检测法对光标识别区域中的光标进行检测，获取光标的图像与状态，利用目标检测法识别出光标识别区域中的光标及光标的状态，当同一个光标识别区域中识别出两个及以上个光标时，从识别出的光标中选择置信度最高的两个光标，根据受控端光标尺寸对置信度最高的两个光标进行尺寸匹配，将与受控端光标尺寸最匹配的检测结果作为光标的图像；

光标去除模块，用于根据光标的图像与位置对受控端画面中的光标进行去除，获得去除光标的受控端残缺画面；

画面修复模块，用于利用图像修复法对去除光标的受控端残缺画面进行修复，得到不包含光标的受控端画面；

光标同步模块，将不包含光标的受控端画面传输至控制端，根据受控端的光标位置和光标状态，将光标图像添加至控制端画面进行同步。