CN114972818A - 一种基于深度学习与混合现实技术的目标锁定系统 - Google Patents

Abstract

本发明公开一种基于深度学习与混合现实技术的目标锁定系统，包括智能移动平台、视野扫描模块、场景扫描模块、目标检测模块、坐标变换与混合显示模块和运动控制模块。本发明的目标锁定系统将目标检测信息绘制在混合现实界面，使用户更加直观发现目标物体，从而摆脱传统人机交互方式，实现虚实交互的目的。本发明将候选目标物体包围框绘制在用户视野前方，用户可以实时选择、更换待锁定物体，提高了云台锁定目标物体的便捷性、灵敏性。

Description

一种基于深度学习与混合现实技术的目标锁定系统

技术领域

本发明涉及一种云台目标锁定技术领域。具体涉及一种利用深度学习与混合现实技术实现对目标物体进行精确跟随的系统。

背景技术

目标追踪作为计算机视觉领域的研究热点之一，基本形式是在视频流中发现目标物体并实时在若干帧中找到该目标的位置，以此引导云台锁定、跟踪物体。随着GPU（Graphic Processing Unit）计算能力飞跃提升，深度学习在计算机视觉上的发展，利用卷积神经网络的目标检测任务也越发普及。YOLO是一种端到端的目标检测模型，通过该网络可以识别出物体种类、置信度和基于图像的位置信息，Yolov5网络是对之前yolo系列网络的加强，在检测准确性，速度都有很大提升。

混合现实技术（MR,Mixed Reality）可以通过在真实场景中引入虚拟信息，结合全息影像，并通过触觉反馈、手势识别等建立虚拟场景、现实世界和用户三者之间的信息反馈。以Microsoft的HoloLens为代表的的MR设备，通过建立混合空间，增强操作者工作室沉浸感。

发明内容

本发明提供一种基于深度学习与混合现实技术的目标锁定系统，通过此系统，在增强用户体验的真实感、实时互动性的同时，解决目标场景信息更替缓慢，提高云台锁定、追踪物体的准确性与灵活性。

一种基于深度学习与混合现实技术的目标锁定系统，包括智能移动平台、视野扫描模块、场景扫描模块、目标检测模块、坐标变换与混合显示模块和运动控制模块；

所述智能移动平台主体为基于ROS系统的移动智能小车，该智能小车用于完成slam、导航、跟随任务，小车上层顶板安装有二自由度云台系统、摄像机和工控机；

所述视野扫描模块通过佩戴混合显示设备，利用设备自带的可见光摄像机和深度传感器获取操作者视野图像信息以及深度图信息，并发送给目标检测模块；

所述场景扫描模块通过搭建在ROS智能车上的相机实时扫描场景，获取场景信息，场景扫描随ROS智能车移动和云台转动不断更新，且根据指令判断是否需将扫描信息发送至目标检测模块，所述智能移动平台与操作者处于同一空间场景中；

所述目标检测模块涉及两个Yolov5目标检测网络，独立运行于工作站和工控机上，分别接收视野场景数据流和部署在移动平台上相机采集的数据流，然后基于训练得到的深度学习目标检测网络模型，对接收图像进行实时目标检测，被检测出的物体信息都包括：物体种类、物体编号、置信度、基于图像坐标位置，针对视野场景数据流将检测物体信息发送至坐标变换与混合显示模块，针对相机数据流将检测物体信息裁剪、滤波后发送至模板匹配模块和运动控制模块；

所述坐标变换与混合现实模块依据接收到的物体信息，将目标物体基于图像坐标转换为基于混合现实界面坐标，然后根据坐标关系，在混合显示界面绘制物体包围框，从用户视野观察包围框能够锁定目标物体，所述混合显示界面，控制面板上包含连接、绘制、选择、发送虚拟按钮分别用来控制场景数据传输、包围框绘制、选择待锁定目标和发送待锁定目标编号至模板匹配模块，所开发的虚拟场景，包含控制面板和虚拟包围框；

所述模板匹配模块依据混合显示模块发送的的目标编号将目标物体从视野数据流中裁剪，即裁剪掉目标物体区域外的其他图像，将目标物体与相机捕获物体进行模板匹配，找到目标物体基于相机图像的编号，将编号发送至运动控制模块；

所述运动控制模块接收模板匹配模块发送的目标编号，找到目标物体针对图像的位置信息，进而求得目标在图像中心点的坐标，在目标追踪过程中，通过转动云台带动摄像机旋转，从而使目标物体始终保持在相机图像的中心位置，对目标的跟踪角度进行计算，从而实时追踪目标物体；

本系统的操作步骤如下：分别在Hololens中打开混合显示界面，在本地端打开目标检测网络，在远程端打开场景扫描节点，用户隔空敲击控制面板上连接按钮，本地端开始接收视野图像并实时目标检测，点击绘制按钮，Hololens接收物体位置坐标并绘制矩形框包围物体，点击选择、发送按钮本地端接收目标物体编号并发送至远程端，远程端接收编号后开始对相机图像目标检测、将被检测物体与其对应基于相机图像的编号发送服务端进行模板匹配，匹配结果是找到目标物体对应在相机图像的编号，远程端接收编号后对目标实时定位、追踪。

本发明的目标锁定系统将目标检测信息绘制在混合现实界面，使用户更加直观发现目标物体，从而摆脱传统人机交互方式，实现虚实交互的目的。本发明将候选目标物体包围框绘制在用户视野前方，用户可以实时选择、更换待锁定物体，提高了云台锁定目标物体的便捷性、灵敏性。

附图说明

图1为本发明的基于深度学习与混合现实技术的目标锁定系统架构图；

图2为本发明的移动机器人机械结构图；

图3为本发明的二自由度云台机械结构图；

图4为本发明的混合现实场景中云台锁定目标物体效果示意图；

图5为本发明的云台锁定目标物体系统流程图；

图6为本发明的混合显示界面坐标与图像坐标关系变换图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于深度学习与混合现实技术的目标锁定系统，包括智能移动平台、视野扫描模块3、场景扫描模块4、目标检测模块5、坐标变换与混合显示模块8和运动控制模块9。

所述智能移动平台主体为基于ROS系统的移动智能小车，如图2所示，移动智能小车机械结构图，包括上层顶板10、主壳体11、主动轮12、诱导轮14和橡胶履带13。其中上层顶板装有二自由度云台系统、摄像机和工控机。所述移动智能小车可以完成跟踪、slam等任务。

如图3所示，二自由度云台机械结构图，该云台可以在水平和垂直方向做二自由度运动。具体包括固定支座15，上面有许多M3小孔方便固定在移动平台上。底部舵机16实现云台在水平方向360度旋转。竖直旋转支架17实现发射器正负40度翻转。跟踪相机18固定在发射器上，并于发射器同一竖直轴连接，相机随云台和竖直旋转支架运动而运动。

本发明根据模块运行部件，将系统分为三个部分本地端1、远程端2和MR混合现实端7。所述本地端1即固定工作站22，所述远程端2即移动平台和其搭载的云台系统34和工控机35，所述MR混合现实端7即用户和用户佩戴的Hololens眼镜23。

下面结合具体实例，如图4混合现实场景中云台锁定目标物体效果示意图和系统流程图5做进一步阐述，具体步骤如下：

第一步36实现本地端1和MR混合现实端7通讯，两者直接之间采用TCP/IP 21通信方式。本发明中使用本地端用于接收视频流、对视频流进行目标检测，MR混合现实端用于发送视频流，对接收的检测信息处理并绘图。所述视频流通过Hololens眼镜23中的相机实时采集。

第二步37本地端接收混合现实端发送的视频流并进行目标检测，如图4视野场景中包括人29、桌子31、椅子32，本地端的屏幕22显示三者图像且进行目标检测，检测结果包含物体的种类、置信度、编号（当有多个同一种类物体时，需单独对每个物体编号。如当场景中出现2个人，应对每个人编号1、编号2）、基于图像的位置信息。

第三步本地端初步筛选目标物体，筛选目的：初步排除掉非目标物体，将可能的目标物体信息发送至MR混合现实端。图4中过滤掉桌子信息。

第四步38 MR混合现实端接收物体检测信息并对信息分割，依据位置信息绘制矩形包围框、依据种类和编号为矩形框命名。所述虚拟矩形框绘制在距用户正前方1.5m的虚拟显示界面。经过第三步的初次筛选，绘制出人的包围框30和椅子的包围框33。

第五步将混合现实包（MRTK Mixed Reality Toolkit）导入MR混合现实端，并在虚拟场景中添加菜单栏24。所述菜单栏中连接按钮25用于开启本地段与混合现实端之间的TCP/IP通讯，绘制按钮26用于开启绘制包围框。所述按钮点击方式皆可以采用隔空敲击。

第六步39在混合现实端中选择目标，当出现物体包围框后，选择按钮27和发送按钮28移动至每个包围框的左上角方便操作者选择目标物体。

第七步选择目标物体并点击发送，将目标物体编号发送至本地端。

第八步本地端接收编号（此编号为一个非零数字），根据物体编号找到物体位置信息后，裁剪出对应物体。

所述MR混合现实端开发，以及导入MRTK包皆在Unity3D游戏引擎中完成，生成工程文件后部署在Hololens中。

以上所述为本地端和MR混合现实端交互。通过以上所述交互，本地段获得目标物体编号，并裁剪出目标物体图像。MR混合现实端绘制出物体包围框。下面介绍本地段与远程端2交互。

第一步实现本地段与远程端通讯，通讯方式仍采用TCP/IP 20通讯。本发明中远程端用于发送场景图片和物体编号。本地段用于接收场景图片、模板匹配、发送匹配结果。此次通讯建立在系统运行开始，但两者之间最初传输数值为零的数字。所述场景图片（相机图片）为云台上方追踪相机18拍摄。

第二步40本地段接收MR混合现实端传输的目标物体编号（非零数字）后，并将数字发送至远程端。

第三步41远程端接收目标物体编号后自动打开目标检测节点，检测结果是获得物体图片与对应的物体编号，并发送至本地段。由于本次目标检测是运行在工控机35上，且被检测的视频流是跟踪相机18捕捉的视频流，因此目标检测后获得的物体信息与编号与本地段发送的目标物体编号有差异。

第四步本地段中会将裁剪出目标物体的图片与远程端发送的被检测物体图片进行模板匹配43，设置阈值找到目标物体在相机图片中的编号。

第五步若无法在相机图片中找到目标物体，转动云台，重复执行第四步。

第六步44在远程端发送的被检测物体图片中发现目标物体，然后将物体编号发送至远程端。

第七步远程端接收目标物体编号，然后确定目标物体在相机图片中位置。

第八步45计算云台转动角度，确保目标物体始终保持在相机图片中心位置。

第九步通过实时分析目标物体在相机图片中距中心点的位置，计算角度，保证目标物体在图片中的中心位置，实现实时跟踪。

以上所述为本地段和远程端的交互，上述步骤关键在于寻找目标物体在跟踪相机18中的位置，然后不断调整云台角度使目标物体始终保持在相机图片中心位置。

所述在空间中绘制物体包围框，如图6混合显示界面坐标与图像坐标关系变换图所示，用户佩戴Hololens眼镜坐标T_Human46,本地端对视频流进行目标检测后得到的位置参数T_Image 47为原点，MR混合界面坐标原点是T_MR 48，三者之间具体转换关系如下：

T_Image是以图像显示界面左上角为原点，X轴Y轴如图所示的二维坐标，T_MR以混合显示界面中心为原点，水平左右方向为X负正，Z轴表示与T_Human的距离的三维坐标且影响混合显示界面宽高。首先根据混合显示界面大小和操作者体验确定T_MR的Z轴，然后根据基于图像的位置信息将包围框绘制在混合显示框，并平移T0至界面中心:T_Human*T0,最后将每个位置扩大K倍：T_Human*T0*K。

Claims (1)

1.一种基于深度学习与混合现实技术的目标锁定系统，其特征在于，包括智能移动平台、视野扫描模块、场景扫描模块、目标检测模块、坐标变换与混合显示模块和运动控制模块；

所述智能移动平台主体为基于ROS系统的移动智能小车，该智能小车用于完成slam、导航、跟随任务，小车上层顶板安装有二自由度云台系统、摄像机和工控机；

所述视野扫描模块通过佩戴混合显示设备，利用设备自带的可见光摄像机和深度传感器获取操作者视野图像信息以及深度图信息，并发送给目标检测模块；

所述场景扫描模块通过搭建在ROS智能车上的相机实时扫描场景，获取场景信息，场景扫描随ROS智能车移动和云台转动不断更新，且根据指令判断是否需将扫描信息发送至目标检测模块，所述智能移动平台与操作者处于同一空间场景中；

所述目标检测模块涉及两个Yolov5目标检测网络，独立运行于工作站和工控机上，分别接收视野场景数据流和部署在移动平台上相机采集的数据流，然后基于训练得到的深度学习目标检测网络模型，对接收图像进行实时目标检测，被检测出的物体信息都包括：物体种类、物体编号、置信度、基于图像坐标位置，针对视野场景数据流将检测物体信息发送至坐标变换与混合显示模块，针对相机数据流将检测物体信息裁剪、滤波后发送至模板匹配模块和运动控制模块；

所述坐标变换与混合现实模块依据接收到的物体信息，将目标物体基于图像坐标转换为基于混合现实界面坐标，然后根据坐标关系，在混合显示界面绘制物体包围框，从用户视野观察包围框能够锁定目标物体，所述混合显示界面，控制面板上包含连接、绘制、选择、发送虚拟按钮分别用来控制场景数据传输、包围框绘制、选择待锁定目标和发送待锁定目标编号至模板匹配模块，所开发的虚拟场景，包含控制面板和虚拟包围框；

所述模板匹配模块依据混合显示模块发送的的目标编号将目标物体从视野数据流中裁剪，即裁剪掉目标物体区域外的其他图像，将目标物体与相机捕获物体进行模板匹配，找到目标物体基于相机图像的编号，将编号发送至运动控制模块；

所述运动控制模块接收模板匹配模块发送的目标编号，找到目标物体针对图像的位置信息，进而求得目标在图像中心点的坐标，在目标追踪过程中，通过转动云台带动摄像机旋转，从而使目标物体始终保持在相机图像的中心位置，对目标的跟踪角度进行计算，从而实时追踪目标物体；

本系统的操作步骤如下：分别在Hololens中打开混合显示界面，在本地端打开目标检测网络，在远程端打开场景扫描节点，用户隔空敲击控制面板上连接按钮，本地端开始接收视野图像并实时目标检测，点击绘制按钮，Hololens接收物体位置坐标并绘制矩形框包围物体，点击选择、发送按钮本地端接收目标物体编号并发送至远程端，远程端接收编号后开始对相机图像目标检测、将被检测物体与其对应基于相机图像的编号发送服务端进行模板匹配，匹配结果是找到目标物体对应在相机图像的编号，远程端接收编号后对目标实时定位、追踪。

Images