CN115131407B - 面向数字仿真环境的机器人目标跟踪方法、装置和设备 - Google Patents
面向数字仿真环境的机器人目标跟踪方法、装置和设备 Download PDFInfo
- Publication number
- CN115131407B CN115131407B CN202211060146.6A CN202211060146A CN115131407B CN 115131407 B CN115131407 B CN 115131407B CN 202211060146 A CN202211060146 A CN 202211060146A CN 115131407 B CN115131407 B CN 115131407B
- Authority
- CN
- China
- Prior art keywords
- target
- robot
- network
- inputting
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 164
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 230000000007 visual effect Effects 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims abstract description 26
- 230000033001 locomotion Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 44
- 230000004927 fusion Effects 0.000 claims description 34
- 238000005070 sampling Methods 0.000 claims description 34
- 230000000875 corresponding effect Effects 0.000 claims description 32
- 238000007781 pre-processing Methods 0.000 claims description 29
- 230000006399 behavior Effects 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 18
- 230000004888 barrier function Effects 0.000 claims description 13
- 230000001276 controlling effect Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 21
- 238000012795 verification Methods 0.000 abstract description 9
- 238000012827 research and development Methods 0.000 abstract description 7
- 238000011161 development Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- XDLMVUHYZWKMMD-UHFFFAOYSA-N 3-trimethoxysilylpropyl 2-methylprop-2-enoate Chemical group CO[Si](OC)(OC)CCCOC(=O)C(C)=C XDLMVUHYZWKMMD-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 235000015243 ice cream Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及目标跟踪技术领域的一种面向数字仿真环境的机器人目标跟踪方法、装置和设备。所述方法在数字仿真环境中采用神经网络通过在每帧图像生成的目标映射执行检测，并提供特征比对功能，结合先前帧的目标检测结果来估计当前帧的目标运动情况，对丢失的目标具备记忆找回能力，该方法简单、便捷、在线，同时能达到实时性。本方法在数字仿真环境中模拟机器人对其各自视野内的物体的识别，进而判断出背景、敌我，并实施对指定目标的追踪。场地、硬件、软件、通讯、算法研发和最终功能的实现验证都可以在数字仿真环境中实现，节省了很多开发团队很多冗余操作，可以有效快速的实现算法验证，提升项目的进度。
Description
技术领域
本申请涉及目标跟踪技术领域，特别是涉及一种面向数字仿真环境的机器人目标跟踪方法、装置和设备。
背景技术
在智能系统的研发过程中对于一些要进行大量实验和测试的项目，往往需要先在真实的环境中进行设备的搭建，对真实环境进行采样，再对采样数据进行治理，进行大量实验验证算法的可行性和鲁棒性。现实过程复杂度高且繁琐，例如场地的清理、设备的装配、环境的配置、参数的调整等，重复性的体力劳动耗费的时间比较长。虚拟实验技术应用越来越受到人们的重视，国内的许多高校根据自身科研和教学需求建立了一些虚拟仿真试验系统。这些系统大多功能单一，只是某个环节的片段的数据的模拟，没有对于一整套项目的验证实施的方案。
计算视觉是计算机科学领域一个非常活跃的研究方向，在现实生活的各个领域中都展现出了广泛的应用。而计算机视觉算法的网络训练通常需要大量的图片数据做支撑，一般要到真实的环境中采样数天，才能做到有效的涵盖大部分的情况，数据的多少直接决定了模型训练的测试效果和泛化能力。所以数据的获取和筛选是算法成型的必要条件。如果只对整个项目中的个别对象做仿真建模，会造成项目数据的不连贯性，算法功能的测试效果也不会容易稳定。
目前目标实时跟踪技术依旧面临着巨大的挑战。目标跟踪是一个持续的过程，在应用环境中状态复杂多变，很容易出现跟丢原目标或跟踪目标不准确的情况。
发明内容
基于此，有必要针对上述技术问题，提供一种面向数字仿真环境的机器人目标跟踪方法、装置和设备。
一种面向数字仿真环境的机器人目标跟踪方法，所述方法包括：
获取当前数字仿真环境中仿真机器人上单目相机捕获的连续多帧图片；仿真机器人装配的单目相机与真实机器人装配的单目相机的视野及编码参数均相同；数字仿真环境是根据真实环境以及真实机器人参数按照1:1的比例仿真得到的。
将当前帧图片进行预处理后的预处理结果输入到目标检测网络中，得到目标物体及目标物体位置坐标偏移量；所述目标检测网络用于采用改进的残差结构网络对所述预处理结果进行特征提取，然后对提取的不同层次的特征进行融合，并根据融合后的特征进行预测，得到目标物体及目标物体位置坐标偏移量。
将所述目标物体输入到目标匹配网络中进行特征匹配，得到匹配物体的ID和类别；所述目标匹配网络用于采用Resnet结构的网络提取所述目标物体的特征，并采用Memo单元对提取的特征进行匹配分类，得到匹配物体的ID和类别。
当匹配物体与当前被跟踪物体的类别和ID相符时，则将匹配物体的目标框的坐标与激光雷达测量的角速度、线速度以及距离信息进行数据融合换算，得到当前被跟踪物体的ID、位置和速度。
将当前被跟踪物体的ID、位置和速度传输到数字仿真环境的控制端，在数字仿真环境的控制端生成控制数字仿真环境的行为控制指令。
根据所述行为控制指令驱动当前仿真机器人进行相应的动作行为，实现在数字仿真环境中当前仿真机器人对跟踪对象的追踪。
一种面向数字仿真环境的机器人目标跟踪装置，所述装置包括：
图片数据获取模块，用于获取当前数字仿真环境中仿真机器人上单目相机捕获的连续多帧图片；仿真机器人装配的单目相机与真实机器人装配的单目相机的视野及编码参数均相同；数字仿真环境是根据真实环境以及真实机器人参数按照1:1的比例仿真得到的。
跟踪目标的信息确定模块，用于将当前帧图片进行预处理后的预处理结果输入到目标检测网络中，得到目标物体及目标物体位置坐标偏移量；所述目标检测网络用于采用改进的残差结构网络对所述预处理结果进行特征提取，然后对提取的不同层次的特征进行融合，并根据融合后的特征进行预测，得到目标物体及目标物体位置坐标偏移量；将所述目标物体输入到目标匹配网络中进行特征匹配，得到匹配物体的ID和类别；所述目标匹配网络用于采用Resnet结构的网络提取所述目标物体的特征，并采用Memo单元对提取的特征进行匹配分类，得到匹配物体的ID和类别。
目标跟踪模块，用于当匹配物体与当前被跟踪物体的类别和ID相符时，则将匹配物体的目标框的坐标与激光雷达测量的角速度、线速度以及距离信息进行数据融合换算，得到当前被跟踪物体的ID、位置和速度；将当前被跟踪物体的ID、位置和速度传输到数字仿真环境的控制端，在数字仿真环境的控制端生成控制数字仿真环境的行为控制指令；根据所述行为控制指令驱动当前仿真机器人进行相应的动作行为，实现在数字仿真环境中当前仿真机器人对跟踪对象的追踪。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
上述面向数字仿真环境的机器人目标跟踪方法、装置和设备，所述方法在数字仿真环境中采用神经网络通过在每帧图像生成的目标映射执行检测并提供特征比对功能，结合先前帧的目标检测结果来估计当前帧的目标运动情况，对丢失的目标具备记忆找回能力。它简单、便捷、在线，同时能达到实时性。本方法在数字仿真环境中模拟机器人对其各自视野内物体的识别，进而判断出背景、敌我，并实施对指定目标的追踪。场地、硬件、软件、通讯、算法研发和最终功能的实现验证都可以在数字仿真环境中实现。节省了很多开发团队很多冗余操作，可以有效快速的实现算法验证，提升项目的进度。
附图说明
图1为一个实施例中面向数字仿真环境的机器人目标跟踪方法的流程示意图；
图2为另一个实施例中目标跟踪网络的结构图；
图3为另一个实施例中网络核心模块结构，其中（a）为route模块，（b）为route*X模块，（c）为CBCL模块；
图4为一个实施例中数字仿真环境建模步骤的流程示意图；
图5为另一个实施例中机器人的外形示意图，其中（a）为机器人侧面，（b）为机器人正面；
图6为一个实施例中模拟单目相机投影的俯视图示意图；
图7为一个实施例中面向数字仿真环境的机器人目标跟踪装置的结构框图；
图8为一个实施例中设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种面向数字仿真环境的机器人目标跟踪方法，该方法包括以下步骤：
步骤100：获取当前数字仿真环境中仿真机器人上单目相机捕获的连续多帧图片。仿真机器人装配的单目相机与真实机器人装配的单目相机的视野及编码参数均相同；数字仿真环境是根据真实环境以及真实机器人参数按照1:1的比例仿真得到的。
具体的，在数字仿真环境中模拟单目相机采样分辨率640*360，视角范围120°(可视角度可自定义调节)，支持视觉采样实时存储，输入网络的图片也源于此。
模拟实现场景对现实中存在的足球场进行拍摄用于建模还原。面积106m*109m，包括绿菌地、球门、围栏、跑道、边界线等细节。
在数字仿真环境中共有10只仿真机器人，分为红蓝两队，每只仿真机器人都有唯一的ID，通过Unity程序可随意切仿真换机器人的主动视野，根据当前仿真机器人捕获视觉信息来判断别的其他仿真机器人的位置和ID号。
本发明中数据来源都是来自于真实的场景包括项目算法实施中用到的相关设备和参数都是有真实物体作为事实依据的。在数据采样方面也是对真实场地和环境的1:1的模拟获得，所有的配置和参数和研发中所需要的设备都可以在数字仿真环境中配置添加。并且可以数字仿真环境与真实环境中的信息通讯，从采样到算法的实现及调试和算法验证迭代都可以在虚拟环境中实现，解决了研发，测试环境重复迁移的复杂性，提升了研发效率和产品功能落地的稳定性。
步骤102：将当前帧图片进行预处理后的预处理结果输入到目标检测网络中，得到目标物体及目标物体位置坐标偏移量；目标检测网络用于采用改进的残差结构网络对预处理结果进行特征提取，然后对提取的不同层次的特征进行融合，并根据融合后的特征进行预测，得到目标物体及目标物体位置坐标偏移量。
具体的，机器人目标跟踪网络由目标检测网络和目标匹配网络两部分组成。机器人目标跟踪网络的总网络结构图如图2所示。目标检测网络主要用于对输入的当前帧图片中的目标物体与背景进行分离检测；目标匹配网络：主要用于对目标检测网络检测到的物体进行特征匹配。
目标检测网络包括：特征提取模块，特征融合模块以及预测模块。特征提取模块用于采用改进的残差网络结构对预处理结果进行特征提取，得到多层次特征；特征融合网络用于采用上采样和拼接的方式对多层次特征进行融合，得到融合特征；预测网络用于对融合特征进行分类预测，得到目标物体及目标物体位置坐标偏移量。
以数字仿真环境来模拟现实落地应用的设备和环境的一套系统装置，并在数字仿真环境中实现算法的研发和测试的有效性。
步骤104：将目标物体输入到目标匹配网络中进行特征匹配，得到匹配物体的ID和类别；目标匹配网络用于采用Resnet结构的网络提取目标物体的特征，并采用Memo单元对提取的特征进行匹配分类，得到匹配物体的ID和类别。
具体的，匹配物体是被跟踪的目标物体。
目标匹配网络的结构如图2中所示，核心模块结构如图3所示，其中（a）为route模块，（b）为route*X模块，（c）为CBCL模块。
Memo单元借鉴残差网络结构将短连接部分用全局平均池化层、1维卷积和Softmax激活函数代替，让网络能注意到差别特征更好的用于特征的编码，提高特征匹配的准确率。Memo单元的主支路采用卷积模块对目标检测网络输出的特征进行特征提取，另外一个有全局平均池化层、1维卷积层和Softmax激活函数组成的支路采用全局平均池化层将目标检测网络输出的特征映射压缩为1*1*C的特征，然后采用1维卷积层进行卷积，并将卷积的结果采用softmax函数激活得到0-1值，最后将0-1值乘以主支路提取的特征，相当于在主支路输出的特征的对应通道上带有一定的注意力。
步骤106：当匹配物体与当前被跟踪物体的类别和ID相符时，则将匹配物体的目标框的坐标与激光雷达测量的角速度、线速度以及距离信息进行数据融合换算，得到当前被跟踪物体的ID、位置和速度。
具体的，融合当前仿真机器人捕获的视觉信息经过网络模型处理后得到的其他仿真机器人的位置、ID号以及和激光雷达获取的信息，得到被跟踪物体的ID、位置和速度信息。
目标框的坐标的确定方法：当前帧图片经过目标检测网络处理后得到目标框的偏移量：（offset_cx，offset_cy，offset_bbox_w，offset_bbox_h），其中：offset_cx、offset_cy代表目标框中心点的偏移量，offset_bbox_w、offset_bbox_h代表目标框宽高的偏移量；根据偏移量和当前帧图片的真实宽高换算得到目标框的左上右下坐标点位置。
步骤108：将当前被跟踪物体的ID、位置和速度传输到数字仿真环境的控制端，在数字仿真环境的控制端生成控制数字仿真环境的行为控制指令。
步骤110：根据行为控制指令驱动当前仿真机器人进行相应的动作行为，实现在数字仿真环境中当前仿真机器人对跟踪对象的追踪。
上述面向数字仿真环境的机器人目标跟踪方法中，所述方法在数字仿真环境中采用神经网络通过在每帧图像生成的目标映射执行检测，并提供特征比对功能，结合先前帧的目标检测结果来估计当前帧的目标运动情况，对丢失的目标具备记忆找回能力，该方法简单、便捷、在线，同时能达到实时性。本方法在数字仿真环境中模拟机器人对其各自视野内的物体的识别，进而判断出背景、敌我，并实施对指定目标的追踪。场地、硬件、软件、通讯、算法研发和最终功能的实现验证都可以在数字仿真环境中实现。节省了很多开发团队很多冗余操作，可以有效快速的实现算法验证，提升项目的进度。
在其中一个实施例中，如图4所示，步骤100前还包括如下步骤：
步骤400：获取机器人、场地、障碍物的实际参数。
机器人配置有激光雷达；场地的实际参数包括：场地面积、场地内的细节特征。
具体的，机器人参考绝影mini-lite版的四足机器人，站立尺寸700mm*500mm*360mm，最大速度3.4m/s(峰值速度>4m/s)，带激光雷达。机器人的外形如图5所示，其中（a）为机器人侧面，（b）为机器人正面。
足球场面积106m*109m，包括绿菌地、球门、围栏、跑道、边界线等细节。模拟实现场景对现实中存在的足球场进行拍摄用于建模还原。
障碍物可以为：水马体180mm*800mm*1480mm*360mm、防撞桶700mm*400mm以及雪糕桶400mm*700mm等。
步骤402：根据实际参数对机器人、场地、障碍物进行1:1建模；仿真机器人配置有模拟激光雷达和模拟单目相机；模拟激光雷达用于测量当前仿真机器人到被跟踪物体之间的距离；模拟单目相机用于实时拍摄定位到的机器人的视野范围，并将捕获到的视图传输到控制端；
具体的，在3DUnity中按照获取的机器人、场地、障碍物的参数，对机器人、场地、障碍物进行1:1建模。
步骤404：将多个仿真机器人分为两组，并进行标识，将障碍物的属性设置为可在场地内任意位置随意添加，并将场地、所有仿真机器人以及相应位置添加的障碍物的模型进行融合渲染，得到数字仿真环境的测试场景；
具体的，仿真机器人共10只，分为两队，红队5只编号为1-5，设定5种颜色特征，蓝队5只编号为6-10，设定为5种颜色特征，每只仿真机器人腿部颜色特征都为唯一颜色。
障碍物设定为可以在足球场环境内任意位置随意添加。
将足球场地、10只机器人、及相应位置添加的障碍物Unity模型进行融合渲染出整体的研究测试场景。
步骤406：给每一个仿真机器人设置配置文件，配置文件包括预先编写好的运动轨迹。
具体的，为每一只仿真机器人设置配置文件，在3DUnity中用C#程序监听线程，订阅实时数据消息，让四足机器人可以按预先编写好的运动轨迹完成动画动态渲染。
步骤408：将模拟单目相机捕获的视图、模拟激光雷达捕获的相关距离信息和每只机器人的速度信息在控制端进行整合，并将得到的整合信息传输到对应的接口；整合信息包括：ID、时间戳、图像信息、线速度、角速度、及仿真机器人的姿态信息。
具体的，在数字仿真环境中模拟激光雷达功能，激光雷达拥有100 米的测量距离，2cm 的精度，垂直 30 度（±15 度），32 万点每秒的实时出点数(设置可自定义调节)。
在数字仿真环境中建模的激光雷达和单目相机并不是一个简单的装饰配置，而是和现实环境中的实物一样拥有数据捕获功能，模拟激光雷达可以进行测距，模拟单目相机能够实时拍摄定位到的机器人的视野范围，并由C#程序在Unity内部将捕捉到的虚拟环境下的实时数据进行传输。
模拟单目相机捕获的视图和激光雷达捕获的相关距离信息以及每只机器人的速度信息由Unity端整合，包括ID、时间戳、图像信息、线速度、角速度、及机器人的姿态信息等通过TCP协议以字节码的形式进行传输到需要的接口。
将之前获取的信息整合解码通过字节段选择相应的数据信息接收。如视觉侦测中只需要用到图片，就只要解码出当前ID的机器人视觉范围内的图片数组传输到网络模型接口。
为了让项目开发者能有更多的精力放在产品功能的完善和算法的研发上，使项目相关的算法可行性分析和实现结果验证能在虚拟环境中进行，遵循数字仿真的概念，让处在Unity 3D虚拟环境中的仿真机器人，通过虚拟视觉实现对可视范围内的多个机器人进行实时跟踪，可以用于数字仿真环境中目标跟踪相关的数据采样和跟踪算法研发测试评估。
在其中一个实施例中，目标检测网络包括：特征提取网络、特征融合网络和预测网络；特征提取网络是改进的残差网络，包括：多个CBCL模块，多个残差模块；CBCL模块由依次连接的1*1卷积层、批标准化层、3*3卷积层以及Leakyrelu激活函数组成；残差模块包括1个CBCL模块和若干个残差单元，残差单元由两个CBCL模块和一个加和模块组成；特征融合网络包括上采样层和拼接模块；预测网络包括1个CBCL模块；步骤102包括：将当前帧图片进行处理成416*416*3大小的张量，得到预处理结果；将预处理结果输入到目标检测网络的特征提取网络的第一个CBCL模块中进行卷积特征提取，将得到的卷积体征输入到第一个残差模块中，得到第一层次特征；将第一层次特征输入到特征提取网络的第二个残差模块中，得到第二层次特征；将第二层次特征输入到特征提取网络的第三个残差模块中，得到第三层次特征；将第三层次特征输入到特征提取网络的第四个残差模块中，得到第四层次特征；第四层次特征输入到特征提取网络的第二个CBCL模块中，并将得到的特征输入到特征提取网络的第三个CBCL模块中，并对得到的特征进行下采样，将下采样结果输入到特征提取网络的第四个CBCL模块中，将第四个CBCL模块输出的特征输入到特征提取网络的第五个CBCL模块中，得到第五层次特征；将第三层次特征、第四层次特征以及第五层次特征输入到特征融合网络中，经过上采样层对第五层次特征进行上采样，将得到的上采样结果与第四层次特征进行拼接，再经过上采样层对得到的拼接结果进行上采样，并将得到的上采样结果与第三层次特征进行拼接，得到融合特征；将融合特征和第五层次特征输入到预测网络中，经过CBCL模块对融合特征进行卷积处理，并将得到的卷积处理结果和第五层次特征进行加和融合，得到目标物体及目标物体位置坐标偏移量。
具体的，下采样层的原理为：先通过一个标准卷积模块将输入通道减半，然后分别做矩阵窗口大小（kernel-size）为3、7、9的全局平均池化（对于不同的核大小，padding是自适应的），对三次最大池化的结果与未进行池化操作的数据进行拼接，最终拼接后通道数是原来的2倍。
上采样层的原理为：先将通道数减小再扩大（默认减小到一半），具体做法是先进行1*1卷积将通道数减小一半，再通插值法将宽高扩展到相同的形状进行拼接。
输入416*416 的图片输出为5维的向量，其中1个对应与背景分离的物体，另外4个代表检测到物体的目标框的坐标偏移量。
在其中一个实施例中，目标匹配网络包括匹配特征提取网络和Memo单元；匹配特征提取网络是Resnet50网络；步骤104包括：将目标物体输入到匹配特征提取网络中，得到目标物体特征；将目标物体特征输入到Memo单元中进行特征匹配，得到匹配物体的ID和类别。
在其中一个实施例中，Memo单元包括2个CBCL模块、2个卷积层、1全局平均池化层、以及Softmax函数；步骤：将目标物体特征输入到Memo单元中进行特征匹配，得到匹配物体的ID和类别，包括：将目标物体特征输入到Memo单元的第一个CBCL模块中，将得到结果输入到Memo单元的第二个CBCL模块中，并将得到的结果输入到Memo单元的第一个卷积层中，得到第一特征；将目标物体特征输入到Memo单元的全局平均池化层中，将得到池化结果输入到Memo单元的第二个卷积层中，并将得到的卷积结果采用Softmax函数激活，得到第二特征；将第一特征和第二特征乘积融合后，得到匹配物体的ID和类别。
具体的，输入检测到的物体得到128维的特征编码用于机器人ID匹配。
在其中一个实施例中，目标框的坐标包括目标框的左上角和右下角的坐标信息，表示为
，其中
为目标框的左上角的像素坐标，
为目标框的右下角的像素坐标。步骤108包括：当匹配物体与当前被跟踪物体的类别和ID相符时：根据匹配物体的ID将当前被跟踪物体在模拟单目相机成像平面上所成的像与目标框对应；根据模拟单目相机拍摄图片的像素规格和相机感光区域水平方向长度，确定水平方向每个像素的物理长度；根据水平方向每个像素的物理长度、当前被跟踪物体对应的目标框在相机成像平面上水平方向的坐标
和
，确定
、
的长度，其中
为过相机所在的点O的直线与相机成像平面上水平方向的垂直相交的点；根据
、
的长度以及模拟单目相机的焦距，确定
、
的角度值；根据
、
的角度值确定当前被跟踪物体的目标框在相机成像平面上水平方向的坐标
和
与相机所在的点O所成
的值；根据
的值和每个激光点相对于正前方的角度，确定
范围内的激光点，计算激光点的距离，得到每个目标框中的机器人对应的距离；根据距离和
的值确定当前被跟踪物体的位置。
具体的，网络模型检测得到的数据和模拟激光雷达的数据融合计算：
S1：激光雷达根据角速度、线速度、距离信息、和上一级侦测算法获得的指定ID的仿真机器人的位置信息进行数据融合换算。视觉检测可以检测出仿真机器人的ID、类别、目标框的坐标。目标框的坐标信息包括
。左上角为坐标原点，
为方框左上角的像素坐标，
为右下角的坐标。
S2：模拟单目相机水平向前，图6为模拟单目相机投影的俯视图，只考察水平方向。三角形COD代表模拟单目相机。比如目前模拟单目相机拍摄得到的图片是 640 * 480 像素，水平方向640 像素。相机焦距 16.16 mm，对应图6中的
mm。相机感光区域水平方向长度为 24.89 mm，竖直方向长度为18.66 mm。对应图6就是CD长度为 24.89mm，因此模拟单目相机的水平视角大小为75.2度。CD的像素长度为640，其物理长度为24.89mm，因此可以算得水平方向每个像素的物理长度。theta_max对应
和正前方的夹角，其他变量类推。远处的目标AB投影到相机成像平面CD上，目标检测算法检测出目标框。水平方向坐标分别为
、
。再通过
、
的长度，可以换算出
、
的角度值。这两个角度在激光测距中需要用到。
在前一步数据预处理后得到点云的xyz坐标后，根据theta = arctan(y/x) 可以得到每个激光点相对于正前方的角度，保存
范围内的激光点，计算其距离，可以得到每个目标框中的机器人对应的距离。
在其中一个实施例中，步骤108包括：通过TCP将被跟踪物体的ID、位置和速度传输到Uniyt端的C#控制程序，生成控制数字仿真环境的行为控制指令。
在其中一个实施例中，步骤110包括：将行为控制指令和数字仿真环境渲染成可视化动画，并在终端显示运行视频；根据行为控制指令控制当前仿真机器人进行相应的运动，并产生动态行为；行为驱动后又形成新的虚拟场景，再通过对齐渲染以形成连续的帧处理状态。
应该理解的是，虽然图1、图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，面向数字仿真环境的机器人目标跟踪方法的实施包括如下步骤：
T1：根据实物的具体参数1:1还原3D场景对足球场、四足机器人、激光雷达、单目相机进行建模。
T2：在Unity内导入设计好的模型，并制作动画让四足机器人能够具体实物运转能像实物一样拥有相同参数采集数据的能力，这些都是通过Unity和C#语言编程实现。
T3：配置文件设定，一共模拟了10只机器人，分成红蓝两队，共中一组分为1-5号，另一组分为6-10号，通过配置文件可以用shell命令加--machine参数启动相应颜色的机器人，最多添加10只机器人，也可以通过配置文件来选择以哪只机器人的视野进行观察侦测。观察侦测模式分为手动和自动两种，自动模式可以随机运动，也可以事先规划好路线。
T4：根据配置文件启动Unity仿真环境，开始相关设备的运转，在启动中实时生成的有效数据将会启用线程监听，每只机器人的数据监听是同步的。
T5：将激光雷达的测距信息、角速度、线速度，单目相机的图片信息进行组合以ID、时间戳、线速度、角速度、指定机器人视觉捕捉图片以byte类型用TCP协议实现传输。
T6：将接收到的图片信息以二进制流的形式传入到跟踪算法模型接口，解码后能过跟踪算法获得当前帧的机器人ID和位置信息。
T7：视觉检测结果以左上右下坐标形式返回，激光信息以距离和角度的方式返回，根据侦测物体目标
、
和相机相关参数换算出目标在激光数据中的水平方向角
、
的角度大小。(相机和激光安装位置相对测量距离很近，近似成一个坐标系)。
T8：每只机器人的输入为相机检测到的每只机器人的ID、距离、角度，距离已经由激光测量出来，融合到当前场景的全局信息。
T9：返回的为控制速度和状态控制量，机器人的当前位置角速度和线速度控制机器人的运行状态。
T10：根据数据协议，将视觉检测结果和控制信号发送到Unity端，视觉检测结果为一个字典，当前Uniyt渲染的动画视频。信息格式为：{‘机器人ID’：[机器人左上右下坐标(x1，y1，x2，y2)，物体类别置信度]，……}，例如：{‘0’：[（455，239，470，247），0.66259765625]，‘1’：[(467，229，467，277)，0.76599762717]，……}，展示到客户端显示屏上。
在一个实施例中，如图7所示，提供了一种面向数字仿真环境的机器人目标跟踪装置，包括：图片数据获取模块、跟踪目标的信息确定模块和跟踪模块，其中：
图片数据获取模块，用于获取当前数字仿真环境中仿真机器人上单目相机捕获的连续多帧图片；仿真机器人装配的单目相机与真实机器人装配的单目相机的视野及编码参数均相同；数字仿真环境是根据真实环境以及真实机器人参数按照1:1的比例仿真得到的。
跟踪目标的信息确定模块，用于将当前帧图片进行预处理后的预处理结果输入到目标检测网络中，得到目标物体及目标物体位置坐标偏移量；目标检测网络用于采用改进的残差结构网络对预处理结果进行特征提取，然后对提取的不同层次的特征进行融合，并根据融合后的特征进行预测，得到目标物体及目标物体位置坐标偏移量；将目标物体输入到目标匹配网络中进行特征匹配，得到匹配物体的ID和类别；目标匹配网络用于采用Resnet结构的网络提取目标物体的特征，并采用Memo单元对提取的特征进行匹配分类，得到匹配物体的ID和类别。
目标跟踪模块，用于当匹配物体与当前被跟踪物体的类别和ID相符时，则将匹配物体的目标框的坐标与激光雷达测量的角速度、线速度以及距离信息进行数据融合换算，得到当前被跟踪物体的ID、位置和速度；将当前被跟踪物体的ID、位置和速度传输到数字仿真环境的控制端，在数字仿真环境的控制端生成控制数字仿真环境的行为控制指令；根据行为控制指令驱动当前仿真机器人进行相应的动作行为，实现在数字仿真环境中当前仿真机器人对跟踪对象的追踪。
在其中一个实施例中，步骤100前还包括：获取机器人、场地、障碍物的实际参数；机器人配置有激光雷达；场地的实际参数包括：场地面积、场地内的细节特征；根据实际参数对机器人、场地、障碍物进行1:1建模；仿真机器人配置有模拟激光雷达和模拟单目相机；模拟激光雷达用于测量当前仿真机器人到被跟踪物体之间的距离；模拟单目相机用于实时拍摄定位到的机器人的视野范围，并将捕获到的视图传输到控制端；将多个仿真机器人分为两组，并进行标识，将障碍物的属性设置为可在场地内任意位置随意添加，并将场地、所有仿真机器人以及相应位置添加的障碍物的模型进行融合渲染，得到数字仿真环境的测试场景；给每一个仿真机器人设置配置文件，配置文件包括预先编写好的运动轨迹；将模拟单目相机捕获的视图、模拟激光雷达捕获的相关距离信息和每只机器人的速度信息在控制端进行整合，并将得到的整合信息传输到对应的接口；整合信息包括：ID、时间戳、图像信息、线速度、角速度、及仿真机器人的姿态信息。
在其中一个实施例中，目标检测网络包括：特征提取网络、特征融合网络和预测网络；特征提取网络是改进的残差网络，包括：多个CBCL模块，多个残差模块；CBCL模块由依次连接的1*1卷积层、批标准化层、3*3卷积层以及Leakyrelu激活函数组成；残差模块包括1个CBCL模块和若干个残差单元，残差单元由两个CBCL模块和一个加和模块组成；特征融合网络包括上采样层和拼接模块；预测网络包括1个CBCL模块；步骤102包括：将当前帧图片进行处理成416*416*3大小的张量，得到预处理结果；将预处理结果输入到目标检测网络的特征提取网络的第一个CBCL模块中进行卷积特征提取，将得到的卷积体征输入到第一个残差模块中，得到第一层次特征；将第一层次特征输入到特征提取网络的第二个残差模块中，得到第二层次特征；将第二层次特征输入到特征提取网络的第三个残差模块中，得到第三层次特征；将第三层次特征输入到特征提取网络的第四个残差模块中，得到第四层次特征；第四层次特征输入到特征提取网络的第二个CBCL模块中，并将得到的特征输入到特征提取网络的第三个CBCL模块中，并对得到的特征进行下采样，将下采样结果输入到特征提取网络的第四个CBCL模块中，将第四个CBCL模块输出的特征输入到特征提取网络的第五个CBCL模块中，得到第五层次特征；将第三层次特征、第四层次特征以及第五层次特征输入到特征融合网络中，经过上采样层对第五层次特征进行上采样，将得到的上采样结果与第四层次特征进行拼接，再经过上采样层对得到的拼接结果进行上采样，并将得到的上采样结果与第三层次特征进行拼接，得到融合特征；将融合特征和第五层次特征输入到预测网络中，经过CBCL模块对融合特征进行卷积处理，并将得到的卷积处理结果和第五层次特征进行加和融合，得到目标物体及目标物体位置坐标偏移量。
在其中一个实施例中，目标匹配网络包括匹配特征提取网络和Memo单元；匹配特征提取网络是Resnet50网络；步骤104包括：将目标物体输入到匹配特征提取网络中，得到目标物体特征；将目标物体特征输入到Memo单元中进行特征匹配，得到匹配物体的ID和类别。
在其中一个实施例中，Memo单元包括2个CBCL模块、2个卷积层、1全局平均池化层、以及Softmax函数；步骤：将目标物体特征输入到Memo单元中进行特征匹配，得到匹配物体的ID和类别，包括：将目标物体特征输入到Memo单元的第一个CBCL模块中，将得到结果输入到Memo单元的第二个CBCL模块中，并将得到的结果输入到Memo单元的第一个卷积层中，得到第一特征；将目标物体特征输入到Memo单元的全局平均池化层中，将得到池化结果输入到Memo单元的第二个卷积层中，并将得到的卷积结果采用Softmax函数激活，得到第二特征；将第一特征和第二特征乘积融合后，得到匹配物体的ID和类别。
在其中一个实施例中，目标框的坐标包括目标框的左上角和右下角的坐标信息，表示为
，其中
为目标框的左上角的像素坐标，
为目标框的右下角的像素坐标。步骤108包括：当匹配物体与当前被跟踪物体的类别和ID相符时：根据匹配物体的ID将当前被跟踪物体在模拟单目相机成像平面上所成的像与目标框对应；根据模拟单目相机拍摄图片的像素规格和相机感光区域水平方向长度，确定水平方向每个像素的物理长度；根据水平方向每个像素的物理长度、当前被跟踪物体对应的目标框在相机成像平面上水平方向的坐标
和
，确定
、
的长度，其中
为过相机所在的点O的直线与相机成像平面上水平方向的垂直相交的点；根据
、
的长度以及模拟单目相机的焦距，确定
、
的角度值；根据
、
的角度值确定当前被跟踪物体的目标框在相机成像平面上水平方向的坐标
和
与相机所在的点O所成
的值；根据
的值和每个激光点相对于正前方的角度，确定
范围内的激光点，计算激光点的距离，得到每个目标框中的机器人对应的距离；根据距离和
的值确定当前被跟踪物体的位置。
在其中一个实施例中，步骤108包括：通过TCP将被跟踪物体的ID、位置和速度传输到Uniyt端的C#控制程序，生成控制数字仿真环境的行为控制指令。
在其中一个实施例中，步骤110包括：将行为控制指令和数字仿真环境渲染成可视化动画，并在终端显示运行视频；根据行为控制指令控制当前仿真机器人进行相应的运动，并产生动态行为；行为驱动后又形成新的虚拟场景，再通过对齐渲染以形成连续的帧处理状态。
关于面向数字仿真环境的机器人目标跟踪装置的具体限定可以参见上文中对于面向数字仿真环境的机器人目标跟踪方法的限定，在此不再赘述。上述面向数字仿真环境的机器人目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种面向数字仿真环境的机器人目标跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种面向数字仿真环境的机器人目标跟踪方法，其特征在于，所述方法包括：
获取当前数字仿真环境中仿真机器人上单目相机捕获的连续多帧图片；仿真机器人装配的单目相机与真实机器人装配的单目相机的视野及编码参数均相同；数字仿真环境是根据真实环境以及真实机器人参数按照1:1的比例仿真得到的；
将当前帧图片进行预处理后的预处理结果输入到目标检测网络中，得到目标物体及目标物体位置坐标偏移量；所述目标检测网络用于采用改进的残差结构网络对所述预处理结果进行特征提取，然后对提取的不同层次的特征进行融合，并根据融合后的特征进行预测，得到目标物体及目标物体位置坐标偏移量；
将所述目标物体输入到目标匹配网络中进行特征匹配，得到匹配物体的ID和类别；所述目标匹配网络用于采用Resnet结构的网络提取所述目标物体的特征，并采用Memo单元对提取的特征进行匹配分类，得到匹配物体的ID和类别；
当匹配物体与当前被跟踪物体的类别和ID相符时，则将匹配物体的目标框的坐标与激光雷达测量的角速度、线速度以及距离信息进行数据融合换算，得到当前被跟踪物体的ID、位置和速度；
将当前被跟踪物体的ID、位置和速度传输到数字仿真环境的控制端，在数字仿真环境的控制端生成控制数字仿真环境的行为控制指令；
根据所述行为控制指令驱动当前仿真机器人进行相应的动作行为，实现在数字仿真环境中当前仿真机器人对跟踪对象的追踪；
其中，所述Memo单元包括2个CBCL模块、2个卷积层、1全局平均池化层、以及Softmax函数；目标物体特征为目标匹配网络采用Resnet结构的网络提取的所述目标物体的特征；
将所述目标物体特征输入到所述Memo单元中进行特征匹配，得到匹配物体的ID和类别，包括：
将所述目标物体特征输入到Memo单元的第一个CBCL模块中，将得到结果输入到Memo单元的第二个CBCL模块中，并将得到的结果输入到Memo单元的第一个卷积层中，得到第一特征；
将所述目标物体特征输入到Memo单元的全局平均池化层中，将得到池化结果输入到Memo单元的第二个卷积层中，并将得到的卷积结果采用Softmax函数激活，得到第二特征；
将所述第一特征和所述第二特征乘积融合后，得到匹配物体的ID和类别。
2.根据权利要求1所述的方法，其特征在于，获取当前数字仿真环境中仿真机器人上单目相机捕获的连续多帧图片，步骤前还包括：
获取机器人、场地、障碍物的实际参数；所述机器人配置有激光雷达；所述场地的实际参数包括：场地面积、场地内的细节特征；
根据所述实际参数对机器人、场地、障碍物进行1:1建模；仿真机器人配置有模拟激光雷达和模拟单目相机；所述模拟激光雷达用于测量当前仿真机器人到被跟踪物体之间的距离；所述模拟单目相机用于实时拍摄定位到的机器人的视野范围，并将捕获到的视图传输到控制端；
将多个仿真机器人分为两组，并进行标识，将障碍物的属性设置为可在场地内任意位置随意添加，并将场地、所有仿真机器人以及相应位置添加的障碍物的模型进行融合渲染，得到数字仿真环境的测试场景；
给每一个仿真机器人设置配置文件，所述配置文件包括预先编写好的运动轨迹；
将模拟单目相机捕获的视图、模拟激光雷达捕获的相关距离信息和每只机器人的速度信息在控制端进行整合，并将得到的整合信息传输到对应的接口；所述整合信息包括：ID、时间戳、图像信息、线速度、角速度、及仿真机器人的姿态信息。
3.根据权利要求1所述的方法，其特征在于，所述目标检测网络包括：特征提取网络、特征融合网络和预测网络；所述特征提取网络是改进的残差网络，包括：多个CBCL模块，多个残差模块；所述CBCL模块由依次连接的1*1卷积层、批标准化层、3*3卷积层以及Leakyrelu激活函数组成；所述残差模块包括1个CBCL模块和若干个残差单元，所述残差单元由两个CBCL模块和一个加和模块组成；所述特征融合网络包括上采样层和拼接模块；所述预测网络包括1个CBCL模块；
将当前帧图片进行预处理后的预处理结果输入到目标检测网络中，得到目标物体及目标物体位置坐标偏移量，包括：
将当前帧图片进行处理成416*416*3大小的张量，得到预处理结果；
将所述预处理结果输入到所述目标检测网络的特征提取网络的第一个CBCL模块中进行卷积特征提取，将得到的卷积体征输入到第一个残差模块中，得到第一层次特征；
将所述第一层次特征输入到所述特征提取网络的第二个残差模块中，得到第二层次特征；
将所述第二层次特征输入到所述特征提取网络的第三个残差模块中，得到第三层次特征；
将所述第三层次特征输入到所述特征提取网络的第四个残差模块中，得到第四层次特征；
所述第四层次特征输入到所述特征提取网络的第二个CBCL模块中，并将得到的特征输入到所述特征提取网络的第三个CBCL模块中，并对得到的特征进行下采样，将下采样结果输入到所述特征提取网络的第四个CBCL模块中，将第四个CBCL模块输出的特征输入到所述特征提取网络的第五个CBCL模块中，得到第五层次特征；
将所述第三层次特征、所述第四层次特征以及所述第五层次特征输入到所述特征融合网络中，经过上采样层对所述第五层次特征进行上采样，将得到的上采样结果与所述第四层次特征进行拼接，再经过上采样层对得到的拼接结果进行上采样，并将得到的上采样结果与所述第三层次特征进行拼接，得到融合特征；
将所述融合特征和所述第五层次特征输入到预测网络中，经过CBCL模块对所述融合特征进行卷积处理，并将得到的卷积处理结果和所述第五层次特征进行加和融合，得到目标物体及目标物体位置坐标偏移量。
4.根据权利要求1所述的方法，其特征在于，所述目标匹配网络包括匹配特征提取网络和Memo单元；所述匹配特征提取网络是Resnet50网络；
将所述目标物体输入到目标匹配网络中进行特征匹配，得到匹配物体的ID和类别，包括：
将所述目标物体输入到所述匹配特征提取网络中，得到目标物体特征；
将所述目标物体特征输入到所述Memo单元中进行特征匹配，得到匹配物体的ID和类别。
5.根据权利要求1所述的方法，其特征在于，目标框的坐标包括目标框的左上角和右下角的坐标信息，表示为
，其中
为目标框的左上角的像素坐标，
为目标框的右下角的像素坐标；
当匹配物体与当前被跟踪物体的类别和ID相符时，则将匹配物体的目标框的坐标与激光雷达测量的角速度、线速度以及距离信息进行数据融合换算，得到当前被跟踪物体的ID、位置和速度，包括：
当匹配物体与当前被跟踪物体的类别和ID相符时：
根据匹配物体的ID将当前被跟踪物体在模拟单目相机成像平面上所成的像与目标框对应；
根据模拟单目相机拍摄图片的像素规格和相机感光区域水平方向长度，确定水平方向每个像素的物理长度；
根据水平方向每个像素的物理长度、当前被跟踪物体对应的目标框在相机成像平面上水平方向的坐标
和
，确定
、
的长度，其中
为过相机所在的点O的直线与相机成像平面上水平方向的垂直相交的点；
根据
、
的长度以及模拟单目相机的焦距，确定
、
的角度值；
根据
、
的角度值确定当前被跟踪物体的目标框在相机成像平面上水平方向的坐标
和
与相机所在的点O所成
的值；
根据
的值和每个激光点相对于正前方的角度，确定
范围内的激光点，计算激光点的距离，得到每个目标框中的机器人对应的距离；
根据所述距离和
的值确定当前被跟踪物体的位置。
6.根据权利要求1所述的方法，其特征在于，将当前被跟踪物体的ID、位置和速度传输到数字仿真环境的控制端，在数字仿真环境的控制端生成控制数字仿真环境的行为控制指令，包括：
通过TCP将所述被跟踪物体的ID、位置和速度传输到Uniyt端的C#控制程序，生成控制数字仿真环境的行为控制指令。
7.根据权利要求1所述的方法，其特征在于，根据所述行为控制指令驱动当前仿真机器人进行相应的动作行为，实现在数字仿真环境中当前仿真机器人对跟踪对象的追踪，包括：
将所述行为控制指令和数字仿真环境渲染成可视化动画，并在终端显示运行视频；
根据所述行为控制指令控制当前仿真机器人进行相应的运动，并产生动态行为；行为驱动后又形成新的虚拟场景，再通过对齐渲染以形成连续的帧处理状态。
8.一种面向数字仿真环境的机器人目标跟踪装置，其特征在于，所述装置包括：
图片数据获取模块，用于获取当前数字仿真环境中仿真机器人上单目相机捕获的连续多帧图片；仿真机器人装配的单目相机与真实机器人装配的单目相机的视野及编码参数均相同；数字仿真环境是根据真实环境以及真实机器人参数按照1:1的比例仿真得到的；
跟踪目标的信息确定模块，用于将当前帧图片进行预处理后的预处理结果输入到目标检测网络中，得到目标物体及目标物体位置坐标偏移量；所述目标检测网络用于采用改进的残差结构网络对所述预处理结果进行特征提取，然后对提取的不同层次的特征进行融合，并根据融合后的特征进行预测，得到目标物体及目标物体位置坐标偏移量；将所述目标物体输入到目标匹配网络中进行特征匹配，得到匹配物体的ID和类别；所述目标匹配网络用于采用Resnet结构的网络提取所述目标物体的特征，并采用Memo单元对提取的特征进行匹配分类，得到匹配物体的ID和类别；
目标跟踪模块，用于当匹配物体与当前被跟踪物体的类别和ID相符时，则将匹配物体的目标框的坐标与激光雷达测量的角速度、线速度以及距离信息进行数据融合换算，得到当前被跟踪物体的ID、位置和速度；将当前被跟踪物体的ID、位置和速度传输到数字仿真环境的控制端，在数字仿真环境的控制端生成控制数字仿真环境的行为控制指令；根据所述行为控制指令驱动当前仿真机器人进行相应的动作行为，实现在数字仿真环境中当前仿真机器人对跟踪对象的追踪；
其中，所述Memo单元包括2个CBCL模块、2个卷积层、1全局平均池化层、以及Softmax函数；目标物体特征为目标匹配网络采用Resnet结构的网络提取所述目标物体的特征；所述跟踪目标的信息确定模块，还用于将所述目标物体特征输入到Memo单元的第一个CBCL模块中，将得到结果输入到Memo单元的第二个CBCL模块中，并将得到的结果输入到Memo单元的第一个卷积层中，得到第一特征；将所述目标物体特征输入到Memo单元的全局平均池化层中，将得到池化结果输入到Memo单元的第二个卷积层中，并将得到的卷积结果采用Softmax函数激活，得到第二特征；将所述第一特征和所述第二特征乘积融合后，得到匹配物体的ID和类别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211060146.6A CN115131407B (zh) | 2022-09-01 | 2022-09-01 | 面向数字仿真环境的机器人目标跟踪方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211060146.6A CN115131407B (zh) | 2022-09-01 | 2022-09-01 | 面向数字仿真环境的机器人目标跟踪方法、装置和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115131407A CN115131407A (zh) | 2022-09-30 |
| CN115131407B true CN115131407B (zh) | 2022-11-22 |
Family
ID=83387608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211060146.6A Active CN115131407B (zh) | 2022-09-01 | 2022-09-01 | 面向数字仿真环境的机器人目标跟踪方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131407B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116243623B (zh) * | 2023-05-10 | 2023-08-04 | 深圳墨影科技有限公司 | 应用于数字化机器人产业链的机器人场景仿真方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112965081A (zh) * | 2021-02-05 | 2021-06-15 | 浙江大学 | 基于融合行人信息的特征地图的模仿学习社交导航方法 |
| CN114912287A (zh) * | 2022-05-26 | 2022-08-16 | 四川大学 | 基于目标6d位姿估计的机器人自主抓取仿真系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10497145B2 (en) * | 2017-11-16 | 2019-12-03 | Nec Corporation | System and method for real-time large image homography processing |
| US11768292B2 (en) * | 2018-03-14 | 2023-09-26 | Uatc, Llc | Three-dimensional object detection |
-
2022
- 2022-09-01 CN CN202211060146.6A patent/CN115131407B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112965081A (zh) * | 2021-02-05 | 2021-06-15 | 浙江大学 | 基于融合行人信息的特征地图的模仿学习社交导航方法 |
| CN114912287A (zh) * | 2022-05-26 | 2022-08-16 | 四川大学 | 基于目标6d位姿估计的机器人自主抓取仿真系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115131407A (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sahu et al. | Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review | |
| CN110415342B (zh) | 一种基于多融合传感器的三维点云重建装置与方法 | |
| CN108898676B (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
| CN108335353B (zh) | 动态场景的三维重建方法、装置和系统、服务器、介质 | |
| CN108154550B (zh) | 基于rgbd相机的人脸实时三维重建方法 | |
| Kumar et al. | Monocular fisheye camera depth estimation using sparse lidar supervision | |
| RU2713611C2 (ru) | Способ моделирования трехмерного пространства | |
| CN107665506B (zh) | 实现增强现实的方法及系统 | |
| CN111126304A (zh) | 一种基于室内自然场景图像深度学习的增强现实导航方法 | |
| CN109176512A (zh) | 一种体感控制机器人的方法、机器人及控制装置 | |
| CN109920055A (zh) | 三维视觉地图的构建方法、装置与电子设备 | |
| CN107967457A (zh) | 一种适应视觉特征变化的地点识别与相对定位方法及系统 | |
| CN113034652A (zh) | 虚拟形象驱动方法、装置、设备及存储介质 | |
| Yu et al. | Intelligent visual-IoT-enabled real-time 3D visualization for autonomous crowd management | |
| He et al. | Ground and aerial collaborative mapping in urban environments | |
| CN115330946A (zh) | 元宇宙构建方法、装置、存储介质及电子设备 | |
| CN116503566B (zh) | 一种三维建模方法、装置、电子设备及存储介质 | |
| CN115376034A (zh) | 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置 | |
| Gao et al. | Pose refinement with joint optimization of visual points and lines | |
| Yang et al. | Recovering and simulating pedestrians in the wild | |
| CN115131407B (zh) | 面向数字仿真环境的机器人目标跟踪方法、装置和设备 | |
| Zhu et al. | Large-scale architectural asset extraction from panoramic imagery | |
| CN116977362A (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| Degol et al. | Feats: Synthetic feature tracks for structure from motion evaluation | |
| CN111531546B (zh) | 一种机器人位姿估计方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |