CN115272661A - 一种自动瞄准目标的机器人视觉系统控制方法 - Google Patents

Abstract

一种自动瞄准目标的机器人视觉系统控制方法，属于计算机视觉、嵌入式开发技术领域，首先标定工业相机，得到相机的内参矩阵和畸变参数，测量物体的尺寸，得到物体在世界坐标系中的坐标，通过PnP算法求得yaw轴、pitch轴以及距离的数值，通过目标在相机坐标系下的坐标获得目标在陀螺仪坐标系下的坐标，将自身机器人的运动与目标的运动叠加在一起，即可构建物理模型进行预判打击。本发明解决了机器人在面对高速移动的目标识别锁定问题，并对目标进行运动追踪和运动预测。本发明的工业相机图像分辨率为640*480，装甲板识别帧率可达200fps左右，引入ROI之后可达280fps，数字识别准确率可达98％。使用标定板测试，5m内角度解算计算的距离误差在6％以内，角度误差在5％以内。

Description

一种自动瞄准目标的机器人视觉系统控制方法

技术领域

本发明属于计算机视觉、嵌入式开发技术领域，具体涉及一种自动瞄准目标的机器人视觉系统控制方法。

背景技术

视觉跟踪技术是计算机视觉领域的一个重要课题，有着重要的研究意义；且在军事制导、视频监控、机器人视觉导航、人机交互、以及医疗诊断等许多方面有着广泛的应用前景。但目前主流的视觉跟踪技术面临着遮挡、形变、运动模糊等难题，难以满足实际应用中复杂情景的要求，例如目标被遮挡会导致目标丢失、形变、运动模糊会导致无法追踪目标等等。本发明通过拓展卡尔曼滤波算法和改进 PnP3D到2D点对的物体运动定位算法，并且根据目标位置进行实时的ROI图像感兴趣区域处理，可以解决目标部分遮挡、目标高速运动产生的图像模糊和拖尾等问题。

发明内容

为了解决上述存在的问题，本发明提出：一种自动瞄准目标的机器人视觉系统控制方法，基于计算机视觉技术，通过单目工业相机使机器人在面对高速移动的目标识别锁定，并对目标进行运动追踪和运动预测，包括如下步骤：

S1、对采集的图片先进行ROI处理；

S2、对初步处理的图片进行轮廓的提取，对所有的轮廓迭代进行初步的筛选，筛掉长宽比大于1.4并小于2.1的矩形，并且让这些矩形进入疑似圆心矩形动态数组，之后筛掉面积过小的矩形，去掉二值化区域中的小噪点；

S3、对上一步得到的疑似圆心矩形迭代，根据面积、长宽比和 SVM进行筛选；

S4、对步骤S2中筛出来的矩形集再次进行迭代，此时根据嵌套和各种矩形的形态学特征对这些矩形进行分组操作，每一个组是一个结构体，为已打击和待打击的悬臂的集合，每个结构体包括装甲板矩形、悬臂矩形和内嵌数目三个成员；

S5、选出识别到的最终矩形后，根据识别到的圆心缩放得到下一帧的有效矩形，并且对最终矩形和圆心坐标进行ROI还原；如果当前帧没有识别到圆心，则不断扩大ROI面积进行搜索，直到扩大为整张图片；

S6、在解算过程中，先根据目标矩形中心和圆心连线的角度变化来判断旋转方向，得知旋转方向后求解需要预置的角度，对于旋转目标，首先获取实时角速度，并且对刚开始40帧进行正弦函数拟合，再根据延迟时间求解积分作为预置角度，得出预置角度后对目标矩形的四个点相应的平移并放入PNP解算中进行解算，最终得出数据发送给下位机；

S7、在下位机接收到数据后，对数据进行处理，并将数据通过比例、积分、微分控制算法PID，输入偏差err，设定调节比例kp、积分Ti、微分Td的值，通过PID计算公式

计算出自身与目标之间的差值U(t)，把差值与云台自身的目标角度进行加和，将加和得到的值作为期望值再次通过PID计算得到云台跟随目标所需要转动的角度，最总实现对目标的的跟随。

进一步地，所述步骤S1中，根据上一帧预置的一个矩形范围进行合理的缩放来对图片进行ROI的截取，根据不同的颜色进行不同的 hsv阈值处理，并且进行(5,5)的卷积对图像进行闭运算操作，完成二值化处理。

进一步地，首先运行系统，对工业相机进行初始化，通过相机的 SDK设置曝光度、图像分辨率、图像格式、图像通道；

通过C++thread库创建线程，共创建三个线程：处理线程对图像进行处理，通信线程负责上位机与下位机进行通信交互，主线程是系统的核心运行过程；

在主线程通过相机的内参和外参对相机进行标定，采集图像传输到处理线程，在处理线程先对图像进行预处理，进行颜色提取来检测红/蓝灯条，对颜色提取二值图进行形态学处理，用于图像降噪及灯条区域的闭合，通过判断两个灯条之间的位置信息：角度差大小、错位角大小、灯条长度差比率和X,Y方向投影差比率，从而分辨是否为合适的目标，然后将所有判断为合适的装甲板放入预选目标数组向量中；

对上述各项目标信息进行加权求和，从而获取最佳打击装甲板作为最终的目标装。

进一步地，角度解算：首先标定工业相机，得到相机的内参矩阵和畸变参数，测量物体的尺寸，得到物体在世界坐标系中的坐标，通过PnP算法求得yaw轴、pitch轴以及距离的数值。

进一步地，目标预测：通过目标在相机坐标系下的坐标获得目标在陀螺仪坐标系下的坐标，陀螺仪坐标系的原点跟随自身机器人运动，此时视原点静止，将自身机器人的运动与目标的运动叠加在一起，即可构建物理模型进行预判打击。

进一步地，数据处理：在预判打击的过程中肯定要进行数据处理来对抗数据误差，在获得陀螺仪坐标系下的坐标后，先进行数据剔除与插值，即剔除明显错误的数据并用上一次正确的数据做插值，在完成初步处理后，对数据进行卡尔曼滤波，保证数据平滑正确，然后再进行目标运动状态的计算。

本发明的有益效果为：本发明在使用工业相机640*480图像分辨率下，装甲板识别帧率可达200fps左右，引入ROI之后可达280fps，数字识别准确率可达98％。使用标定板测试，5m内角度解算计算的距离误差在6％以内，角度误差在5％以内。

附图说明

图1为本发明的总框架流程图；

图2为本发明的识别追踪流程图；

图3为本发明的颜色识别算法图；

图4为本发明的形态学操作算法图；

图5为本发明的姿态解算算法图；

图6为本发明的目标预测算法图；

图7为本发明的立体结构示意图；

图8为本发明的侧视图；

图9为本发明的仰视图；

图10为本发明的轮组结构示意图；

图11为本发明的轮组的局部示意图；

图12为本发明的拨弹装置的结构示意图；

图13为本发明拨弹装置的后视图；

图14为本发明弹仓的结构示意图；

图15为本发明拨弹装置的枪管剖面视图；

图16为本发明摩擦轮的结构示意图；

图17为本发明云台pitch轴俯仰的局部示意图；

图18为本发明云台yaw轴360度旋转的局部示意图；

图19为本发明云台yaw轴360度旋转的局部结构图；

图20为本发明云台的主视图；

图21为本发明云台的右视图；

图22为本发明云台的俯视图。

具体实施方式

实施例1

一种自动瞄准目标的机器人视觉系统控制方法，基于计算机视觉方法，通过单目工业相机使机器人在面对高速移动的目标识别锁定，并对目标进行运动追踪和运动预测，包括如下步骤：S1、对采集的图片先进行ROI处理；

S2、对初步处理的图片进行轮廓的提取，对所有的轮廓迭代进行初步的筛选，筛掉长宽比大于1.4并小于2.1的矩形，并且让这些矩形进入疑似圆心矩形动态数组，之后筛掉面积过小的矩形，去掉二值化区域中的小噪点；

S3、对上一步得到的疑似圆心矩形迭代，根据面积、长宽比和 SVM进行筛选；

S4、对步骤S2中筛出来的矩形集再次进行迭代，此时根据嵌套和各种矩形的形态学特征对这些矩形进行分组操作，每一个组是一个结构体，为已打击和待打击的悬臂的集合，每个结构体包括装甲板矩形、悬臂矩形和内嵌数目三个成员；

S5、选出识别到的最终矩形后，根据识别到的圆心缩放得到下一帧的有效矩形，并且对最终矩形和圆心坐标进行ROI还原；如果当前帧没有识别到圆心，则不断扩大ROI面积进行搜索，直到扩大为整张图片；

S6、在解算过程中，先根据目标矩形中心和圆心连线的角度变化来判断旋转方向，得知旋转方向后求解需要预置的角度，对于旋转目标，首先获取实时角速度，并且对刚开始40帧进行正弦函数拟合，再根据延迟时间求解积分作为预置角度，得出预置角度后对目标矩形的四个点相应的平移并放入PNP解算中进行解算，最终得出数据发送给下位机；

S7、在下位机接收到数据后，对数据进行处理，并将数据通过比例、积分、微分控制算法PID，输入偏差err，设定调节比例kp、积分Ti、微分Td的值，通过PID计算公式

计算出自身与目标之间的差值U(t)，把差值与云台自身的目标角度进行加和，将加和得到的值作为期望值再次通过PID计算得到云台跟随目标所需要转动的角度，最总实现对目标的的跟随。

其中，所述步骤S1中，根据上一帧预置的一个矩形范围进行合理的缩放来对图片进行ROI的截取，根据不同的颜色进行不同的hsv 阈值处理，并且进行(5,5)的卷积对图像进行闭运算操作，完成二值化处理。

其中，首先运行系统，对工业相机进行初始化，通过相机的SDK 设置曝光度、图像分辨率、图像格式、图像通道；

通过C++thread库创建线程，共创建三个线程：处理线程对图像进行处理，通信线程负责上位机与下位机进行通信交互，主线程是系统的核心运行过程；

在主线程通过相机的内参和外参对相机进行标定，采集图像传输到处理线程，在处理线程先对图像进行预处理，进行颜色提取来检测红/蓝灯条，对颜色提取二值图进行形态学处理，用于图像降噪及灯条区域的闭合，通过判断两个灯条之间的位置信息：角度差大小、错位角大小、灯条长度差比率和X,Y方向投影差比率，从而分辨是否为合适的目标，然后将所有判断为合适的装甲板放入预选目标数组向量中；

对上述各项目标信息进行加权求和，从而获取最佳打击装甲板作为最终的目标装。

其中，角度解算：首先标定工业相机，得到相机的内参矩阵和畸变参数，测量物体的尺寸，得到物体在世界坐标系中的坐标，通过 PnP算法求得yaw轴、pitch轴以及距离的数值。

其中，目标预测：通过目标在相机坐标系下的坐标获得目标在陀螺仪坐标系下的坐标，陀螺仪坐标系的原点跟随自身机器人运动，此时视原点静止，将自身机器人的运动与目标的运动叠加在一起，即可构建物理模型进行预判打击。

其中，数据处理：在预判打击的过程中肯定要进行数据处理来对抗数据误差，在获得陀螺仪坐标系下的坐标后，先进行数据剔除与插值，即剔除明显错误的数据并用上一次正确的数据做插值，在完成初步处理后，对数据进行卡尔曼滤波，保证数据平滑正确，然后再进行目标运动状态的计算。

实施例2

本发明基于计算机视觉技术，通过单目工业相机，解决机器人在面对高速移动的目标识别锁定问题，并对目标进行运动追踪和运动预测。

本发明具体的技术方案：

1.如附图2所示，对采集的图片先进行ROI处理。根据上一帧预置的一个矩形范围进行合理的缩放来对图片进行ROI的截取。之后根据不同的颜色进行不同的hsv阈值处理，并且进行(5,5)的卷积对图像进行闭运算操作，完成二值化处理。

2.对初步处理的图片进行轮廓的提取，对所有的轮廓迭代进行初步的筛选，筛掉长宽比大于1.4并小于2.1的矩形，并且让这些矩形进入疑似圆心矩形动态数组，之后筛掉面积过小的矩形，去掉二值化区域中的小噪点。

3.对上一步得到的疑似圆心矩形迭代，根据面积、长宽比和SVM 进行筛选，但根据实际效果来说，SVM效果并不是非常理想，因此在根据SVM筛选之前再让所有满足形态学的矩形进入动态数组，在一轮筛选过后，如果没找到圆心，再对上述矩形进行筛选，选择和上帧圆心矩形形态学符合筛选条件的矩形为圆心矩形。

4.对2步骤中筛出来的矩形集再次进行迭代，此时根据嵌套和各种矩形的形态学特征对这些矩形进行分组操作，每一个组是一个结构体，实际上为已打击和待打击的悬臂的集合，每个结构体包括装甲板矩形、悬臂矩形和内嵌数目三个成员，这样的分组操作便于后续处理和维护。分完组后，根据每个结构体中的内嵌数量区分待打击和已打击的悬臂，待打击悬臂内嵌数明显小于已打击的，因此得出了待打击结构体，其中要打击的装甲板即为里面的成员。

5.选出识别到的最终矩形后，根据识别到的圆心缩放得到下一帧的有效矩形，并且对最终矩形和圆心坐标进行ROI还原。如果当前帧没有识别到圆心，则不断扩大ROI面积进行搜索，直到扩大为整张图片。

6.在解算过程中，先根据目标矩形中心和圆心连线的角度变化来判断旋转方向，得知旋转方向后求解需要预置的角度。对于旋转目标，首先获取实时角速度，并且对刚开始40帧进行正弦函数拟合，再根据延迟时间求解积分作为预置角度。得出预置角度后对目标矩形的四个点相应的平移并放入PNP解算中进行解算，最终得出数据发送给下位机。

7.在下位机接收到数据后，对数据进行处理，并将数据通过PID 计算出自身与目标之间的差值，把差值与云台自身的目标角度进行加和，将加和得到的值作为期望值再次通过PID计算得到云台跟随目标所需要转动的角度，最总实现对目标的的跟随。

如附图1所示，首先运行系统，对工业相机进行初始化，通过相机的SDK设置曝光度、图像分辨率、图像格式、图像通道等。

通过C++thread库创建线程，共创建三个线程：处理线程对图像进行处理，通信线程负责上位机与下位机进行通信交互，主线程是系统的核心运行过程。

在主线程通过相机的内参和外参对相机进行标定，采集图像传输到处理线程。如附图3所示，在处理线程先对图像进行预处理，为检测红/蓝灯条，需要进行颜色提取。本发明使用通道相减法对目标进行颜色提取，其原理是在低曝光(3000～5000)情况下，蓝色灯条区域的B通道值要远高于R通道值，使用B通道减去R通道再二值化，能提取出蓝色灯条区域，反之亦然。此外，如附图4所示，对颜色提取二值图进行形态学处理，用于图像降噪及灯条区域的闭合。

如附图6所示通过判断两个灯条之间的位置信息：角度差大小、错位角大小、灯条长度差比率和X,Y方向投影差比率，从而分辨是否为合适的目标，然后将所有判断为合适的装甲板放入预选目标数组向量中。同时，为了消除“游离灯条”导致的错误目标，通过检测编写函数，专门用于检测并删除错误目标。

对上述各项目标信息进行加权求和，从而获取最佳打击装甲板作为最终的目标装。

角度解算：首先标定工业相机，得到相机的内参矩阵和畸变参数。之后测量物体的尺寸，得到物体在世界坐标系中的坐标。如附图5所示，通过PnP算法求得yaw轴、pitch轴以及距离的数值

目标预测：将预判打击视为一个运动学问题，需要一个参考系。但相机坐标系随着相机运动而运动，在跟随目标时坐标系也发生了变化，在相机坐标系下预判难度较大。因此引入陀螺仪坐标系的概念。陀螺仪是个姿态传感器，它一般固定在云台上某个远离振动源的位置。陀螺仪的作用就是反馈当前云台的角度数据(Yaw轴、Pitch轴、Roll 轴角度)(以Yaw轴为例，Yaw轴角度有一个零点，在忽略陀螺仪零漂的情况下，这个零点是相对固定不会改变的。这个零点可以类比为指南针的南极，无论如何移动它始终指向一个方向(实际上陀螺仪的 Yaw轴数据通过磁力计获得的)。如此一来就有了参考——无论云台处于何种姿态，只需要将相机坐标系依照Yaw轴与Pitch轴的角度数据进行反向旋转，都可以得到同一个坐标系，这个坐标系就是陀螺仪坐标系。既然可以进行坐标系的变换，坐标变换就易如反掌，可以通过目标在相机坐标系下的坐标获得目标在陀螺仪坐标系下的坐标。陀螺仪坐标系的原点跟随自身机器人运动，此时视原点静止，将自身机器人的运动与目标的运动叠加在一起，即可构建物理模型进行预判打击。

数据处理：在预判打击的过程中肯定要进行数据处理来对抗数据误差。在获得陀螺仪坐标系下的坐标后，先进行一波简单的数据剔除与插值。即剔除明显错误的数据并用上一次正确的数据做插值。在完成初步处理后，对数据进行卡尔曼滤波，保证数据平滑正确。然后再进行目标运动状态的计算，这样可以保证云台预判的流畅性。

实施例3

如图7-图9所示，包括底盘、云台、自适应轮组、拨弹装置，所述底盘包括短铝方2和长铝方8，短铝方2通过短铝方连接件1、铝方直角连接板5与长铝方8相连，底盘铝架内部转角处固接有四个自适应轮组，自适应轮组通过轮组连接铣件30固定在底盘内部的短铝方2上，在底盘铝架的四个方向分别安装两块支撑板10和一块顶部盖板13，在所述顶部盖板13上设置TB47电池9，在车体的前、后方上的支撑板10上分别设置灯条模块14和机器人判定系统12，在车体两侧的顶部盖板13下设置防护板7，在左右对称的底盘铝架中部固定设置6020安装板37，将第二6020电机210安装在6020安装板37上，并在底盘铝架下方安装场地感知模块38，云台通过3D打印云台连接件25与底盘相连，在3D打印云台连接件25的一侧设置孔位安装妙算26，在所述秒算26的两侧固接两块云台连接板16，在云台连接板16的前端分别从上至下依次通过铜柱22固定设置安装图传模块20、中心控制板18、工业摄像头23、红外线瞄准装置29，在所述云台连接板16的末端通过榫卯结构固定拨弹装置28，云台连接板16的中部外侧安装第一6020电机21；

如图20-图22所示，包括底盘、云台、自适应轮组，在左右对称的底盘铝架中部固定设置6020安装板37，将第一6020电机21安装在6020安装板37上，并在底盘铝架下方安装场地感知模块38，云台通过3D打印云台连接件25与底盘相连，底盘通过上延伸板72、上延伸侧板74支撑云台，在3D打印云台连接件25的一侧设置孔位安装妙算，在所述秒算的两侧固接两块云台连接板16，在云台连接板16的前端分别从上至下依次通过铜柱22固定设置安装图传模块 20、中心控制板18、工业摄像头、红外线瞄准装置29，云台连接板 16的中部外侧安装第一6020电机21，云台连接板16的中部内侧与云台连接板16的外侧通过中央内部铣件48相连，所述第一6020电机21通过长直铣件47与中央内部铣件48相连，长直铣件47一端通过限位板46与第一6020电机21外侧孔位相连，长直铣件47的另一端与中央内部铣件48相连，所述底盘包括短铝方2和长铝方8，短铝方2通过短铝方连接件1、铝方直角连接板5与长铝方8相连，底盘铝架内部转角处固接有四个自适应轮组。

自适应轮组固定在底盘内部的短铝方2上。

在底盘铝架的四个方向分别安装两块支撑板10和一块顶部盖板 13，在所述顶部盖板13上设置TB47电池9位置，在车体的前、后方上的支撑板10上分别设置灯条模块14和机器人判定系统12。

在车体两侧的顶部盖板13下设置防护板7。

所述中心控制板18上设置隔断支撑板73，隔断支撑板73上设置主控防护板19。

所述云台连接板16上设置摩擦轮载板45，摩擦轮载板45上设置两个摩擦轮，所述云台连接板16上设置两个3508无减速箱电机 49，两个3508无减速箱电机49分别与两个摩擦轮相连。

还包括弹仓75，伺服电机17安装在舵机安装件171上与弹仓盖板43相连形成封闭的弹仓75，弹仓75通过成品连接件40与云台连接板16相连，所述弹仓限制板42上设置舵机固定件41，舵机固定件41与2006直流无刷减速电机27相连。

如图17所示，云台连接板16的中部内侧与云台连接板16的外侧通过中央内部铣件48相连，所述第一6020电机21通过长直铣件 47与中央内部铣件48相连，长直铣件47一端通过限位板46与第一 6020电机21外侧孔位相连，长直铣件47的另一端与中央内部铣件 48相连；

第一6020电机21驱动中央内部铣件48使云台pitch轴俯仰更换角度。

如图18-图19所示，环氧板67包括内圈铣件68与外圈铣件69，第二6020电机210的上方通过底盘连接件71与固定在3D打印云台连接件25上的内圈铣件68相连，内圈铣件68与外圈铣件69夹住滚动轴承66，外圈铣件69与底盘连接件71固定连接。

第二6020电机210驱动3D打印云台连接件25、内圈铣件68、底盘连接件71旋转，从而实现云台yaw轴360度旋转。

其中，如图12-图15所示所述拨弹装置28包括拨盘35，拨盘 35上设置中心穿孔61，2006直流无刷减速电机27固定在中心穿孔 61上，2006直流无刷减速电机27的旋转轴与拨叉34的中心轴63相连，拨叉34上均匀设置若干个弹孔64，拨盘35上固定设置切口限制板36，所述中心穿孔61的四周设置若干个通孔62。

其中，拨弹装置28通过成品连接件40与弹仓限制板42相连，所述弹仓限制板42上设置舵机固定件41，伺服电机17安装在固定件41上与弹仓盖板43相连形成封闭的弹仓。

子弹存储在弹仓中，伺服电机17驱动弹仓盖板43的开与关，拨盘35上的通孔2的作用是通风散热，2006直流无刷减速电机27驱动拨叉34的中心轴3带动子弹在拨盘35中旋转，当子弹旋转至切口限制板36处，子弹从切口限制板36弹射出来。环形切线拨弹利用切线垂直的原理，解决了弹丸卡弹的问题，拨弹装置安装位置可调节、减小发射机构的整体质量。

其中，如图16所示，所述云台连接板16与云台载板65相连，在云台载板65上设置上下两个3508无减速箱电机49、摩擦轮载板 45，摩擦轮载板45上设置两个摩擦轮44，两个3508无减速箱电机 49分别与两个摩擦轮44相连，切口限制板36通过弹链15与枪管24 相连，子弹与两个摩擦轮44活动相连。

子弹从切口限制板36弹射出来后，子弹经过弹链15，并且子弹通过两个摩擦轮44的中间，两个3508无减速箱电机49分别驱动两个摩擦轮44，两个摩擦轮44起到加速子弹快速旋转的作用，可以加快经过的弹丸发射速度。

其中，如图10-图11所示，所述自适应轮组包括麦克纳姆轮6，麦克纳姆轮6通过麦克纳姆轮外侧安装板3与自制麦轮紧固件39连接锁定3508直流减速无刷电机31的电机轴，所述自制麦轮紧固件 39通过铣件连接板32与轮组连接铣件30铰接，麦克纳姆轮6上的自制麦轮紧固件39通过巨型轴承33与电机31相连，所述自制麦轮紧固件39通过避震器11与轮组连接铣件30固定连接。

3508直流减速无刷电机31驱动麦克纳姆轮6转动，铣件连接板 32、轮组连接铣件30、自制麦轮紧固件39之间的配合实现避震器11 减震的作用。本发明通过自制麦轮紧固件39与3508直流减速无刷电机31连接，通过自制麦轮紧固件39能够保证了麦克纳姆轮与3508直流减速无刷电机31稳固相连，最大限度地发挥出了电机的作用，而且自制麦轮紧固件成本较低，也相应地减少了制造的成本。

其中，所述底盘四角处的铝方直角连接板5上设置防撞轮4。防撞轮4起到防止由于撞击毁坏车体的作用。

其中，所述中心控制板18上设置主控防护板19。主控防护板19 起到防护中心控制板18的作用。

本发明能够实现的功能如下：

1、云台pitch轴俯仰更换角度；

2、云台yaw轴360度旋转；

3、拨弹仓可以进行拨弹；

4、摄像头以及图传可以传输图像；

5、两个摩擦轮增加弹丸发射速度；

6、云台可以视觉识别跟随物体移动；

7、底盘可以通过轮组全向移动；

8、底盘云台可以锁定转动；

9、底盘自旋过程中云台角度可以固定。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种自动瞄准目标的机器人视觉系统控制方法，其特征在于，基于计算机视觉方法，通过单目工业相机使机器人在面对高速移动的目标识别锁定，并对目标进行运动追踪和运动预测，包括如下步骤：

S1、对采集的图片先进行图像感兴趣区域ROI处理；

S2、对初步处理的图片进行轮廓的提取，对所有的轮廓迭代进行初步的筛选，筛掉长宽比大于1.4并小于2.1的矩形，并且让这些矩形进入疑似圆心矩形动态数组，之后筛掉面积过小的矩形，去掉二值化区域中的小噪点；

S3、对上一步得到的疑似圆心矩形迭代，根据面积、长宽比和支持向量机SVM进行筛选；

S4、对步骤S2中筛出来的矩形集再次进行迭代，此时根据嵌套和各种矩形的形态学特征对这些矩形进行分组操作，每一个组是一个结构体，为已打击和待打击的悬臂的集合，每个结构体包括装甲板矩形、悬臂矩形和内嵌数目三个成员；

S5、选出识别到的最终矩形后，根据识别到的圆心缩放得到下一帧的有效矩形，并且对最终矩形和圆心坐标进行ROI还原；如果当前帧没有识别到圆心，则不断扩大ROI面积进行搜索，直到扩大为整张图片；

S6、在解算过程中，先根据目标矩形中心和圆心连线的角度变化来判断旋转方向，得知旋转方向后求解需要预置的角度，对于旋转目标，首先获取实时角速度，并且对刚开始40帧进行正弦函数拟合，再根据延迟时间求解积分作为预置角度，得出预置角度后对目标矩形的四个点相应的平移并放入PNP解算中进行解算，最终得出数据发送给下位机；

S7、在下位机接收到数据后，对数据进行处理，并将数据通过比例、积分、微分控制算法PID，输入偏差err，设定调节比例kp、积分Ti、微分Td的值，通过PID计算公式

计算出自身与目标之间的差值U(t)，把差值与云台自身的目标角度进行加和，将加和得到的值作为期望值再次通过PID计算得到云台跟随目标所需要转动的角度，最总实现对目标的的跟随。

2.根据权利要求1所述的自动瞄准目标的机器人视觉系统控制方法，其特征在于，所述步骤S1中，根据上一帧预置的一个矩形范围进行合理的缩放来对图片进行ROI的截取，根据不同的颜色进行不同的颜色空间hsv阈值处理，并且进行(5,5)的卷积对图像进行闭运算操作，完成二值化处理。

3.根据权利要求1所述的自动瞄准目标的机器人视觉系统控制方法，其特征在于，首先运行系统，对工业相机进行初始化，通过相机的软件开发工具包SDK设置曝光度、图像分辨率、图像格式、图像通道；

通过C++thread库创建线程，共创建三个线程：处理线程对图像进行处理，通信线程负责上位机与下位机进行通信交互，主线程是系统的核心运行过程；

在主线程通过相机的内参和外参对相机进行标定，采集图像传输到处理线程，在处理线程先对图像进行预处理，进行颜色提取来检测红/蓝灯条，对颜色提取二值图进行形态学处理，用于图像降噪及灯条区域的闭合，通过判断两个灯条之间的位置信息：角度差大小、错位角大小、灯条长度差比率和X,Y方向投影差比率，从而分辨是否为合适的目标，然后将所有判断为合适的装甲板放入预选目标数组向量中；

对上述各项目标信息进行加权求和，从而获取最佳打击装甲板作为最终的目标装。

4.根据权利要求3所述的自动瞄准目标的机器人视觉系统控制方法，其特征在于，步骤S6中，角度解算：首先标定工业相机，得到相机的内参矩阵和畸变参数，测量物体的尺寸，得到物体在世界坐标系中的坐标，通过3D到2D点对的物体运动定位PnP算法求得yaw轴、pitch轴以及距离的数值。

5.根据权利要求4所述的自动瞄准目标的机器人视觉系统控制方法，其特征在于，步骤S5中，目标预测：通过目标在相机坐标系下的坐标获得目标在陀螺仪坐标系下的坐标，陀螺仪坐标系的原点跟随自身机器人运动，此时视原点静止，将自身机器人的运动与目标的运动叠加在一起，即可构建物理模型进行预判打击。

6.根据权利要求5所述的自动瞄准目标的机器人视觉系统控制方法，其特征在于，步骤S7中，数据处理：在预判打击的过程中肯定要进行数据处理来对抗数据误差，在获得陀螺仪坐标系下的坐标后，先进行数据剔除与插值，即剔除明显错误的数据并用上一次正确的数据做插值，在完成初步处理后，对数据进行卡尔曼滤波，保证数据平滑正确，然后再进行目标运动状态的计算。

Images