CN111450515A - 一种用于机器人射击对抗比赛的自动识别打击系统及方法 - Google Patents

Abstract

本发明公开了一种用于机器人射击对抗比赛的自动识别打击系统及方法，系统包括敌方机器人、我方机器人、前方相机、后方相机、云台与炮管。自动识别方法采用自适应的传统算法，通过提取敌方机器人装甲板两侧灯条的颜色特征和亮度特征检测灯条，并通过灯条的位置与多个逻辑条件检测敌方机器人的装甲板，从而实现识别高速运动的敌方机器人。通过提取边缘信息和分类器区分数字，以识别敌方机器人装甲板上的数字，从而为决策算法必要的敌方机器人信息。在自动瞄准与打击中，通过红外相机提供深度信息获取敌方机器人与我方机器人的相对位置，控制机器人云台跟踪敌方机器人，从而实现自动瞄准，并加入敌方机器人的状态预测，以实现提前预判和精准打击。

Description

一种用于机器人射击对抗比赛的自动识别打击系统及方法

技术领域

本发明涉及机器人技术领域，具体涉及一种用于机器人射击对抗比赛的自动识别打击系统及方法。

背景技术

随着人工智能技术的发展，机器人领域的相关研究成为当今热点。机器人可以协助或代替人类完成重复性和危险性的工作，为人们的生活带来巨大的便利。目前，机器人领域的相关技术包括环境感知、自主定位与导航、路径规划与智能决策等。

机器人射击对抗比赛是机器人领域的一种重要的比赛形式，例如RoboMaster人工智能挑战赛。该比赛是由大疆与全球机器人和自动化大会(IEEE InternationalConference on Robotics and Automation)联合主办的国际级大赛，比赛采用“全自动机器人射击对抗”的形式。该比赛模拟未来战场环境，考验了机器人的环境感知、预测打击、实时定位、多机协同、自主决策、运动规划等全方面的性能，针对战场环境对机器人的智能性有着很高的要求。

在机器人射击对抗比赛的比赛环境中，机器人需要自动识别敌方机器人并实现精准打击。由于比赛中双方机器人均处于高速运动状态，己方机器人的相机晃动和敌方机器人的不规则高速运动会导致相机成像模糊，如何在该条件下准确识别敌方机器人并实现精准瞄准与打击成为一大技术难题。

在自动识别中，普通的传统方法通过特征提取或模板匹配实现目标识别等任务，在特定环境下可以实现较高的准确率，但无法适用于多种环境，鲁棒性较差。深度学习在目标识别与去模糊等视觉任务中具有较为广泛的应用，且具有较高的鲁棒性，但是深度学习的计算代价较高，受限于比赛机器人所用迷你电脑的性能，无法实现较高帧率的识别。

自动瞄准需要获取敌方机器人的深度信息，以往采用的单目相机与PNP算法结合的深度估计方法误差较大，无法实现精准测距。此外，由于算法、执行机构与子弹飞行所带来的延迟，将出现子弹滞后于敌方机器人的现象，打击系统需要加入敌方机器人的状态预测，以实现提前预判和精准打击。

因此，设计一种用于机器人射击对抗比赛的自动识别与打击系统，以实现在高速运动状态下自动识别敌方机器人并自动打击，具有极高的研究意义与价值。

发明内容

有鉴于此，本发明提供了一种用于机器人射击对抗比赛的自动识别打击系统及方法，能够实现在高速运动状态下自动识别敌方机器人，并实现提前预判和精准打击。

为达到上述目的，本发明的技术方案为：系统包括敌方机器人、我方机器人、前方相机、后方相机、云台与炮管。

敌方机器人前后左右均设置有装甲板，装甲板两侧设置灯条。

前方相机设置于我方机器人前方，后方相机设置于我方机器人后方，云台为我方及其的瞄准设备，炮管为我方机器人的射击设备。

后方相机为USB广角单目相机，用于对后方视场内敌方机器人进行图像采集与检测，若检测到后方有敌方机器人出现，则控制我方机器人转身。

前方相机为Realsense RGB-D相机，用于对前方视场内敌方机器人进行图像采集，从所采集的图像中识别敌方机器人的装甲板信息。

我方机器人根据敌方机器人的装甲板信息控制云台在偏航和俯仰两个自由度下自由转动，从而带动炮管瞄准敌方机器人装甲板并进行射击。

进一步地，采用如权利要求1的系统对敌方机器人进行自动识别与打击，包括如下步骤：

步骤一：前方相机采集敌方机器人图像原图，采用自适应二值化阈值算法提取原图中敌方机器人装甲板灯两侧灯条的亮度特征与颜色特征，并将灯条的亮度特征与颜色特征进行融合，获得灯条检测结果。

对灯条检测结果依据设定的角度阈值、面积阈值以及长宽比阈值进行筛选，得到正确的敌方机器人灯条。

步骤二：将步骤一得到正确的敌方机器人灯条进行两两组合，一组中两灯条组成矩形，对矩形依据设定的两灯条角度差值阈值、两灯条高度比阈值、矩形长宽比阈值以及矩形面积阈值进行筛选，得到可能敌方装甲板信息。

依据可能敌方装甲板信息在原图中获取可能敌方装甲板原图，并依据设定的装甲板亮度阈值进行筛选，得到准确装甲板信息。

步骤三：对敌方机器人图像原图进行数字检测，得到敌方机器人数字，并将准确装甲板与敌方机器人数字进行对应。

步骤四：按照敌方机器人数字对敌方机器人进行打击优先级排序，并且对同一敌方机器人的准确装甲板信息按照装甲板面积进行打击优先级排序。

按照打击优先级选取待打击准确装甲板。

步骤五：对于待打击准确装甲板，利用前方相机采集的敌方机器人图像原图中深度信息进行测距，得到待打击准确装甲板在前方相机坐标系下的位置，并转换到我方机器人坐标系下，并得到我方机器人云台需要运动的俯仰角度和平移角度。

步骤六：依据我方机器人云台需要运动的俯仰角度和平移角度换算云台控制量。

建立卡尔曼滤波模型，解算云台角速度预测值，利用云台角速度预测值对云台控制量进行延迟补偿，控制我方机器人瞄准敌方机器人装甲板，实现瞄准打击。

进一步地，前方相机为Realsense RGB-D相机，后方相机为USB广角单目相机。

进一步地，使用前对对Realsense RGB-D相机和USB广角单目相机进行参数标定，标定的参数包括相机的内部参数、外部参数和畸变参数。

并根据Realsense RGB-D相机和USB广角单目相机的安装位置，完成相机坐标系与我方机器人坐标系的转换。

Realsense RGB-D相机的像素设置是1280×720，帧率为30fps。

USB广角单目相机的像素设置是1280×720，帧率为60fps。

进一步地，前方相机采集敌方机器人图像原图，采用自适应二值化阈值算法提取原图中敌方机器人装甲板灯两侧灯条的亮度特征与颜色特征，并将灯条的亮度特征与颜色特征进行融合，获得灯条检测结果，具体为：

将敌方机器人图像原图灰度化处理得到原图的灰度图，对原图的灰度图进行自适应二值化处理得到亮度特征二值化图像。

设置敌方机器人的预设颜色，将敌方机器人图像原图的彩色图进行RGB通道分离，通过红色分量减去绿色分量得到红色颜色特征图，蓝色分量减去红色分量得到蓝色颜色特征图，若敌方机器人预设颜色为红色，则对红色颜色特征图进行自适应阈值二值化得到颜色特征二值化图像，若敌方机器人预设颜色为蓝色，则对蓝色颜色特征图进行自适应阈值二值化得到颜色特征二值化图像。

优选地，角度阈值、面积阈值以及长宽比阈值均为经验值。

进一步地，步骤五，具体为：

根据待打击准确装甲对应的准确装甲板信息，确定中心点在前方相机坐标系下的位置为(x₁,y₁,z₁)，根据前方相机在我方机器人上的安装位置，将(x₁,y₁,z₁)转换为我方机器人坐标系下的位置(x,y,z)。

x＝x₁+x_offset

y＝y₁+y_offset

z＝z₁+z_offset

其中，x_offset、y_offset和z_offset分别为前方相机在我方机器人坐标系下的安装位置。

计算我方机器人云台需要相对运动的俯仰角度pitch和平移角度yaw；

其中，pitch_offset和yaw_offset是预置的云台做相对运动的偏差角度。

进一步地，建立卡尔曼滤波模型，解算云台角速度预测值，利用云台角速度预测值对云台控制量进行延迟补偿，具体为：

建立云台系统状态方程为：

云台系统观测方程为

其中，k当前时刻，ψ_k为k时刻云台角度观测量，ω_k为k时刻云台角速度观测值，ΔT为采样间隔，q_k-1为过程噪声，r_k为量测噪声，q_k-1与r_k均为零均值高斯白噪声，过程噪声方差阵为Q_k-1，量测噪声方差阵R_k。

构建系统状态矩阵x_k＝[ψ_k ω_k]^T，第一指代矩阵

第二指代矩阵

则云台系统状态方程和云台系统观测方程转化为：

x_k＝Φx_k-1+q_k-1

y＝Hx_k+r_k

已知初始状态为x₀，初始方差阵P₀，建立卡尔曼滤波模型，进行时间更新：

P_k|k-1＝ΦP_k-1Φ^T+Q_k-1

其中，

为系统状态先验估计，P_k|k-1为系统先验方差阵。

然后进行量测更新

K_k＝P_k|k-1H^T(HP_k|k-1H^T+R_k)^-1

P_k＝(I-K_kH)P_k|k-1

其中K_k为卡尔曼滤波增益矩阵，

为系统状态后验估计，P_k为系统后验方差阵。

由此解算得到

为k时刻云台角度预测值，

为k时刻云台角速度预测值，则可从

中获得k时刻云台角速度预测值

利用云台角速度预测值对云台控制量进行延迟补偿，具体为：在控制量中加入补偿量

α为预设的补偿系数。

有益效果：

(1)本发明提供了一种用于机器人射击对抗比赛的自动识别打击系统，以实现在高速运动状态下识别跟踪人并自动打击。通过前方相机获采集的敌方机器人图像中识别敌方机器人的装甲板信息，并根据敌方机器人的装甲板信息控制云台在偏航和俯仰两个自由度下自由转动，从而带动炮管瞄准敌方机器人装甲板并进行射击，该系统为实现高速运动状态下自动识别敌方机器人，并实现提前预判和精准打击提供了硬件基础。

(2)本发明提供的一种用于机器人射击对抗比赛的自动识别打击方法，在自动识别中，该方法采用自适应的传统算法，通过提取敌方机器人装甲板两侧灯条的颜色特征和亮度特征检测灯条，并通过灯条的位置与多个逻辑条件检测敌方机器人的装甲板，从而实现识别高速运动的敌方机器人。同时，通过提取边缘信息和分类器区分数字，以识别敌方机器人装甲板上的数字，从而为决策算法必要的敌方机器人信息。在自动瞄准与打击中，通过红外相机提供深度信息获取敌方机器人与我方机器人的相对位置，控制机器人云台跟踪敌方机器人，从而实现自动瞄准，并加入敌方机器人的状态预测，以实现提前预判和精准打击。

(3)本发明提供的一种用于机器人射击对抗比赛的自动识别打击方法，在进行敌方机器人图像中灯条的亮度特征与颜色特征提取时，采用自适应二值化阈值算法，使得亮度特征与颜色特征的提取具有较好的鲁棒性，可以适应不同环境。将亮度信息与颜色信息进行融合，使机器人在高速运动状态下导致的相机成像模糊的情况下依然可以较好地提取敌方机器人地灯条信息，为准确识别敌方装甲板奠定基础。

(4)本发明提供的一种用于机器人射击对抗比赛的自动识别打击方法，采用提取灯条、筛选灯条、组合装甲板、筛选装甲板、数字检测和自主决策选择打击装甲板的步骤，使得敌方机器人装甲板检测具有较好的逻辑性与稳定性。相比深度学习方法，传统方法的计算代价较小，可以在性能受限的机器人配载的电脑上达到30fps以上的高帧率识别，且多处自适应阈值的设置可以使该方法具有较好地鲁棒性。

(5)本发明提供的一种用于机器人射击对抗比赛的自动识别打击方法，在进行云台控制时，融合敌方机器人装甲板的识别信息，并利用Realsense RGB-D相机提供的深度信息进行测距，相比以往采用的单目相机与PNP算法结合的深度估计方法，该方法可以大大减小测距误差，从而实现精准打击。

(6)本发明提供的一种用于机器人射击对抗比赛的自动识别打击方法，在进行云台控制时，建立卡尔曼滤波模型对云台角速度进行预测，并将其用于补偿延迟所带来的滞后，以解决算法、执行机构与子弹飞行所带来的射击滞后于敌方机器人的现象，实现预测敌方机器人的运动状态并在高速运动状态下精确打击。

附图说明

图1为本发明实施例提供的自动识别打击系统的敌方机器人硬件结构示意图；

图2为本发明实施例提供的自动识别打击方法流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

实施例1

本发明提供了一种用于机器人射击对抗比赛的自动识别打击系统，包括：敌方机器人、我方机器人、前方相机、后方相机、云台与炮管。

敌方机器人前后左右均设置有装甲板，装甲板两侧设置灯条，敌方机器人结构如图1所示。

前方相机设置于我方机器人前方，后方相机设置于我方机器人后方，云台为我方及其的瞄准设备，炮管为我方机器人的射击设备。

后方相机为USB广角单目相机，用于对后方视场内敌方机器人进行图像采集与检测，若检测到后方有敌方机器人出现，则控制我方机器人转身。

前方相机为Realsense RGB-D相机，用于对前方视场内敌方机器人进行图像采集，从所采集的图像中识别敌方机器人的装甲板信息。

我方机器人根据敌方机器人的装甲板信息控制云台在偏航和俯仰两个自由度下自由转动，从而带动炮管瞄准敌方机器人装甲板并进行射击。

该系统通过前方相机获采集的敌方机器人图像中识别敌方机器人的装甲板信息，并根据敌方机器人的装甲板信息控制云台在偏航和俯仰两个自由度下自由转动，从而带动炮管瞄准敌方机器人装甲板并进行射击，该系统为实现高速运动状态下自动识别敌方机器人，并实现提前预判和精准打击提供了硬件基础。

实施例2

图2示出了本发明实施例提供的一种用于机器人射击对抗比赛的自动识别打击方法，在自动识别中，该方法采用自适应的传统算法，通过提取敌方机器人装甲板两侧灯条的颜色信息和亮度信息检测灯条，并通过灯条的位置与多个逻辑条件检测敌方机器人的装甲板，从而实现识别高速运动的敌方机器人。同时，通过边缘提取获得边缘特征，再通过分类器识别敌方机器人装甲板上的数字，从而为决策算法提供必要的敌方机器人身份信息。在自动瞄准与打击中，通过Realsense RGB-D相机提供的深度信息计算敌方机器人与我方机器人的相对位置，从而实现自动瞄准。此外，该系统通过建立卡尔曼滤波预测模型对云台角速度进行估计，从而实现敌方机器人的状态预测，以实现提前预判和精准打击。

具体地，该用于机器人射击对抗比赛的自动识别打击方法包括如下步骤：

步骤一：前方相机采集敌方机器人图像原图，采用自适应二值化阈值算法提取原图中敌方机器人装甲板灯两侧灯条的亮度特征与颜色特征，并将灯条的亮度特征与颜色特征进行融合，获得灯条检测结果。

将敌方机器人图像原图灰度化处理得到原图的灰度图，对原图的灰度图进行自适应二值化处理得到亮度特征二值化图像；

设置敌方机器人的预设颜色，将敌方机器人图像原图的彩色图进行RGB通道分离，通过红色分量减去绿色分量得到红色颜色特征图，蓝色分量减去红色分量得到蓝色颜色特征图，若敌方机器人预设颜色为红色，则对红色颜色特征图进行自适应阈值二值化得到颜色特征二值化图像，若敌方机器人预设颜色为蓝色，则对蓝色颜色特征图进行自适应阈值二值化得到颜色特征二值化图像。

通过提取敌方机器人装甲板两侧灯条的颜色特征和亮度特征检测灯条，并通过灯条的位置与多个逻辑条件检测敌方机器人的装甲板，从而实现识别高速运动的敌方机器人。

在进行敌方机器人图像中灯条的亮度特征与颜色特征提取时，采用自适应二值化阈值算法，使得亮度特征与颜色特征的提取具有较好的鲁棒性，可以适应不同环境。将亮度信息与颜色信息进行融合，使机器人在高速运动状态下导致的相机成像模糊的情况下依然可以较好地提取敌方机器人地灯条信息，为准确识别敌方装甲板奠定基础。

对灯条检测结果依据设定的角度阈值、面积阈值以及长宽比阈值进行筛选，得到正确的敌方机器人灯条。角度阈值、面积阈值以及长宽比阈值均为经验值。

筛选时，可以依据经验设定灯条的角度阈值、面积阈值以及长宽比阈值，只取符合角度阈值、面积阈值以及长宽比阈值要求的灯条即为正确的敌方机器人灯条。

本发明实施例中，前方相机为Realsense RGB-D相机，后方相机为USB广角单目相机。使用前对对Realsense RGB-D相机和USB广角单目相机进行参数标定，标定的参数包括相机的内部参数、外部参数和畸变参数；并根据Realsense RGB-D相机和USB广角单目相机的安装位置，完成相机坐标系与我方机器人坐标系的转换；Realsense RGB-D相机的像素设置是1280×720，帧率为30fps；USB广角单目相机的像素设置是1280×720，帧率为60fps。

步骤二：将步骤一得到正确的敌方机器人灯条进行两两组合，一组中两灯条组成矩形，对矩形依据设定的两灯条角度差值阈值、两灯条高度比阈值、矩形长宽比阈值以及矩形面积阈值进行筛选，得到可能敌方装甲板信息。

依据可能敌方装甲板信息在原图中获取可能敌方装甲板原图，并依据设定的装甲板亮度阈值进行筛选，得到准确装甲板信息。例如可依据经验设定装甲板亮度阈值，只取符合装甲板亮度阈值要求的敌方装甲板为准确装甲板，并获取准确装甲板信息。

步骤三：对敌方机器人图像原图进行数字检测，得到敌方机器人数字，并将准确装甲板与敌方机器人数字进行对应。

敌方机器人装甲板的数字可以作为区分敌方机器人身份的信息。首先，从灰度化图像中提取二值化Canny边缘，并通过膨胀算法补齐微小缺口以实现边缘闭合。在此基础上进行边缘检测，并分别通过轮廓面积、内白外黑特征进行初步筛选。随后，取各候选边缘的外接矩形图像，利用支持向量机进行识别，并通过非极大值抑制筛选出最终结果，从而实现数字检测。

步骤四：按照敌方机器人数字对敌方机器人进行打击优先级排序，并且对同一敌方机器人的准确装甲板信息按照装甲板面积进行打击优先级排序。

按照打击优先级选取待打击准确装甲板。即在进行打击决策时，优先考虑敌方机器人身份，并选取面积较大的装甲板进行打击。

步骤五：对于待打击准确装甲板，利用前方相机采集的敌方机器人图像原图中深度信息进行测距，得到待打击准确装甲板在前方相机坐标系下的位置，并转换到我方机器人坐标系下，并得到我方机器人云台需要运动的俯仰角度和平移角度。

具体为：

根据待打击准确装甲对应的准确装甲板信息，确定中心点在前方相机坐标系下的位置为(x₁,y₁,z₁)，根据前方相机在我方机器人上的安装位置，将(x₁,y₁,z₁)转换为我方机器人坐标系下的位置(x,y,z)；

x＝x₁+x_offset

y＝y₁+y_offset

z＝z₁+z_offset

其中，x_offset、y_offset和z_offset分别为前方相机在我方机器人坐标系下的安装位置；

计算我方机器人云台需要相对运动的俯仰角度pitch和平移角度yaw；

其中，pitch_offset和yaw_offset是预置的云台做相对运动的偏差角度。

步骤六：依据我方机器人云台需要运动的俯仰角度和平移角度换算云台控制量。

建立卡尔曼滤波模型，解算云台角速度预测值，利用云台角速度预测值对云台控制量进行延迟补偿，控制我方机器人瞄准敌方机器人装甲板，实现瞄准打击。

具体为：

建立云台系统状态方程为：

云台系统观测方程为

其中，k当前时刻，ψ_k为k时刻云台角度观测量，ω_k为k时刻云台角速度观测值，ΔT为采样间隔，q_k-1为过程噪声，r_k为量测噪声，q_k-1与r_k均为零均值高斯白噪声，过程噪声方差阵为Q_k-1，量测噪声方差阵R_k；

构建系统状态矩阵x_k＝[ψ_k ω_k]^T，第一指代矩阵

第二指代矩阵

则云台系统状态方程和云台系统观测方程转化为：

x_k＝Φx_k-1+q_k-1

y＝Hx_k+r_k

已知初始状态为x₀，初始方差阵P₀，建立卡尔曼滤波模型，进行时间更新：

P_k|k-1＝ΦP_k-1Φ^T+Q_k-1

其中，

为系统状态先验估计，P_k|k-1为系统先验方差阵；

然后进行量测更新

K_k＝P_k|k-1H^T(HP_k|k-1H^T+R_k)^-1

P_k＝(I-K_kH)P_k|k-1

其中K_k为卡尔曼滤波增益矩阵，

为系统状态后验估计，P_k为系统后验方差阵；

由此解算得到

为k时刻云台角度预测值，

为k时刻云台角速度预测值，则可从

中获得k时刻云台角速度预测值

利用云台角速度预测值对云台控制量进行延迟补偿，具体为：在控制量中加入补偿量

α为预设的补偿系数。

将补偿量

用于补偿延迟所带来的滞后，从而实现预测敌方机器人的运动状态并精确打击。云台根据预测得到的云台角速度对云台的滞后运动进行补偿，控制炮管瞄准敌方机器人装甲板，并实现精准打击。

本发明提供的用于机器人射击对抗比赛的自动识别打击系统及方法，可以在高速运动状态下完成敌方机器人的自动识别和瞄准，并为决策算法提供必要的信息。同时，加入对敌方机器人的状态预测，可以避免射击机构存在延时且弹道较长时子弹飞行需要时间等延迟问题，实现预测敌方机器人的运动状态并在高速运动状态下精确打击。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种用于机器人射击对抗比赛的自动识别打击系统，其特征在于，包括：敌方机器人、我方机器人、前方相机、后方相机、云台与炮管；

所述敌方机器人前后左右均设置有装甲板，装甲板两侧设置灯条；

所述前方相机设置于我方机器人前方，所述后方相机设置于我方机器人后方，云台为我方及其的瞄准设备，炮管为我方机器人的射击设备；

所述后方相机为USB广角单目相机，用于对后方视场内敌方机器人进行图像采集与检测，若检测到后方有敌方机器人出现，则控制我方机器人转身；

所述前方相机为Realsense RGB-D相机，用于对前方视场内敌方机器人进行图像采集，从所采集的图像中识别敌方机器人的装甲板信息；

我方机器人根据敌方机器人的装甲板信息控制云台在偏航和俯仰两个自由度下自由转动，从而带动炮管瞄准敌方机器人装甲板并进行射击。

2.一种用于机器人射击对抗比赛的自动识别打击方法，其特征在于，采用如权利要求1所述的系统对敌方机器人进行自动识别与打击，包括如下步骤：

步骤一：前方相机采集敌方机器人图像原图，采用自适应二值化阈值算法提取所述原图中敌方机器人装甲板灯两侧灯条的亮度特征与颜色特征，并将灯条的亮度特征与颜色特征进行融合，获得灯条检测结果；

对灯条检测结果依据设定的角度阈值、面积阈值以及长宽比阈值进行筛选，得到正确的敌方机器人灯条；

步骤二：将步骤一得到所述正确的敌方机器人灯条进行两两组合，一组中两灯条组成矩形，对矩形依据设定的两灯条角度差值阈值、两灯条高度比阈值、矩形长宽比阈值以及矩形面积阈值进行筛选，得到可能敌方装甲板信息；

依据所述可能敌方装甲板信息在原图中获取可能敌方装甲板原图，并依据设定的装甲板亮度阈值进行筛选，得到准确装甲板信息；

步骤三：对敌方机器人图像原图进行数字检测，得到敌方机器人数字，并将所述准确装甲板与所述敌方机器人数字进行对应；

步骤四：按照敌方机器人数字对敌方机器人进行打击优先级排序，并且对同一敌方机器人的准确装甲板信息按照装甲板面积进行打击优先级排序；

按照打击优先级选取待打击准确装甲板；

步骤五：对于待打击准确装甲板，利用前方相机采集的敌方机器人图像原图中深度信息进行测距，得到所述待打击准确装甲板在前方相机坐标系下的位置，并转换到我方机器人坐标系下，并得到我方机器人云台需要运动的俯仰角度和平移角度；

步骤六：依据我方机器人云台需要运动的俯仰角度和平移角度换算云台控制量；

建立卡尔曼滤波模型，解算云台角速度预测值，利用所述云台角速度预测值对云台控制量进行延迟补偿，控制我方机器人瞄准敌方机器人装甲板，实现瞄准打击。

3.如权利要求2所述的方法，其特征在于，前方相机为Realsense RGB-D相机，后方相机为USB广角单目相机。

4.如权利要求3所述的方法，其特征在于，使用前对对Realsense RGB-D相机和USB广角单目相机进行参数标定，标定的参数包括相机的内部参数、外部参数和畸变参数；

并根据Realsense RGB-D相机和USB广角单目相机的安装位置，完成相机坐标系与我方机器人坐标系的转换；

所述Realsense RGB-D相机的像素设置是1280×720，帧率为30fps；

所述USB广角单目相机的像素设置是1280×720，帧率为60fps。

5.如权利要求2或3所述的方法，其特征在于，所述前方相机采集敌方机器人图像原图，采用自适应二值化阈值算法提取所述原图中敌方机器人装甲板灯两侧灯条的亮度特征与颜色特征，并将灯条的亮度特征与颜色特征进行融合，获得灯条检测结果，具体为：

将所述敌方机器人图像原图灰度化处理得到原图的灰度图，对原图的灰度图进行自适应二值化处理得到亮度特征二值化图像；

设置敌方机器人的预设颜色，将所述敌方机器人图像原图的彩色图进行RGB通道分离，通过红色分量减去绿色分量得到红色颜色特征图，蓝色分量减去红色分量得到蓝色颜色特征图，若敌方机器人预设颜色为红色，则对红色颜色特征图进行自适应阈值二值化得到颜色特征二值化图像，若敌方机器人预设颜色为蓝色，则对蓝色颜色特征图进行自适应阈值二值化得到颜色特征二值化图像。

6.如权利要求2～5任一所述的方法，其特征在于，所述角度阈值、面积阈值以及长宽比阈值均为经验值。

7.如权利要求5所述的方法，其特征在于，所述步骤五，具体为：

根据待打击准确装甲对应的准确装甲板信息，确定中心点在前方相机坐标系下的位置为(x₁,y₁,z₁)，根据所述前方相机在我方机器人上的安装位置，将(x₁,y₁,z₁)转换为我方机器人坐标系下的位置(x,y,z)；

x＝x₁+x_offset

y＝y₁+y_offset

z＝z₁+z_offset

其中，x_offset、y_offset和z_offset分别为所述前方相机在我方机器人坐标系下的安装位置；

计算我方机器人云台需要相对运动的俯仰角度pitch和平移角度yaw；

其中，pitch_offset和yaw_offset是预置的云台做相对运动的偏差角度。

8.如权利要求7所述的方法，其特征在于，所述建立卡尔曼滤波模型，解算云台角速度预测值，利用所述云台角速度预测值对云台控制量进行延迟补偿，具体为：

建立云台系统状态方程为：

云台系统观测方程为

其中，k当前时刻，ψ_k为k时刻云台角度观测量，ω_k为k时刻云台角速度观测值，ΔT为采样间隔，q_k-1为过程噪声，r_k为量测噪声，q_k-1与r_k均为零均值高斯白噪声，过程噪声方差阵为Q_k-1，量测噪声方差阵R_k；

构建系统状态矩阵x_k＝[ψ_k ω_k]^T，第一指代矩阵

第二指代矩阵

则所述云台系统状态方程和所述云台系统观测方程转化为：

x_k＝Φx_k-1+q_k-1

y＝Hx_k+r_k

已知初始状态为x₀，初始方差阵P₀，建立卡尔曼滤波模型，进行时间更新：

P_k|k-1＝ΦP_k-1Φ^T+Q_k-1

其中，

为系统状态先验估计，P_k|k-1为系统先验方差阵；

然后进行量测更新

K_k＝P_k|k-1H^T(HP_k|k-1H^T+R_k)^-1

P_k＝(I-K_kH)P_k|k-1

其中K_k为卡尔曼滤波增益矩阵，

为系统状态后验估计，P_k为系统后验方差阵；

由此解算得到

为k时刻云台角度预测值，

为k时刻云台角速度预测值，则可从

中获得k时刻云台角速度预测值

利用所述云台角速度预测值对云台控制量进行延迟补偿，具体为：在控制量中加入补偿量

α为预设的补偿系数。

Images