CN109753076B - 一种无人机视觉追踪实现方法 - Google Patents
一种无人机视觉追踪实现方法 Download PDFInfo
- Publication number
- CN109753076B CN109753076B CN201711076817.7A CN201711076817A CN109753076B CN 109753076 B CN109753076 B CN 109753076B CN 201711076817 A CN201711076817 A CN 201711076817A CN 109753076 B CN109753076 B CN 109753076B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- coordinate system
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种无人机视觉追踪实现方法，包括1)、进行无人机摄像机标定、获取摄像机内参矩阵；2)、无人机起飞，摄像机拍摄图像，并发送给地面站控制系统；3)、地面站控制系统遥控摄像机的云台，被追踪目标位于图像中心；4)、获取此时云台的姿态角
无人机控制器根据姿态角控制无人机继续飞行；5)、判断无人机是否飞行至追踪目标正上方，则无人机达到机视觉追踪的目的。无人机在追踪目标物过程中，根据无人机GPS，得出无人机当前位置，根据云台姿态角
和无人机当前位置计算出目标物当前位置，控制器根据目标物当前位置精确控制无人机实现精确视觉追踪。使用GPS+图像识别的组合方式来精确定位，控制精度高。
Description
技术领域
本发明涉及一种无人机视觉追踪实现方法。
背景技术
随着无人机技术越来越成熟，无人机的应用领域也越来越广泛，近两年除消费级无人机火爆以外，无人机在其他很多行业也得到广泛发展，如物流无人机、航拍无人机、侦查无人机等，无人机在执行任务过程中需要跟踪目标物，目前无人机定位采用GPS技术，由于GPS信号受遮挡、天气干扰严重，不能实现精确定位。
发明内容
本发明的目的在于提供一种无人机视觉追踪实现方法，解决现有技术中无人机视觉追踪移动目标物不能实现精确定位的技术问题。
为了解决上述问题，本发明采取如下技术方案：
一种无人机视觉追踪实现方法，包括如下步骤：
1)、进行无人机摄像机标定、获取摄像机内参矩阵；
2)、无人机起飞，摄像机拍摄图像，无人机控制器获取图像数据并通过无线通讯模块实时发送给地面站控制系统；
3)、地面站控制系统实时检测接收的图像数据，并判断被追踪目标是否出现当前图像中，即摄像机视野中：
3.1)、如果否，则地面站控制系统遥控摄像机的云台，再次拍摄图像，并传递给地面站控制系统检测，所述云台为三轴云台；
3.2)、如果是，则地面站控制系统在当前图像中框选出被追踪目标，并将框选出的被追踪目标数据传递给无人机；
4)、无人机控制器对框选出的被追踪目标数据进行校验，判断框选出的被追踪目标数据是否有效：
4.1)、如果无效，则将校验失败的结果传递给地面站控制系统，传递给地面站控制系统重新在当前图像中框选被追踪目标；
4.2)、如果有效，则无人机进行被追踪目标识别，并判断是否成功识别 到框选出的被追踪目标；
4.2.1)、如果失败，则将识别失败的结果传递给地面站控制系统，传递给地面站控制系统重新在当前图像中框选被追踪目标；
4.2.2)、如果成功，则无人机控制器根据图像识别输出的像素偏差控制云台对准待追踪目标；
5)、判断追踪目标是否位于图像中心：
5.1)如果否，则无人机控制器重新根据当前图像识别输出的像素偏差控制云台对准待追踪目标；
5.2)如果是，则获取此时云台的姿态角姿态角
其中，ψ为滚转角，θ为俯仰角，
为偏航角，无人机控制器根据姿态角控制无人机继续飞行；根据无人机上设置的加速度计、陀螺仪、磁传感器可以直接得出云台姿态角；
6)、判断无人机是否飞行至追踪目标正上方：
6.1)如果否、则控制器继续根据此时云台的姿态角控制无人机继续飞行；
6.2)如果是，则无人机达到机视觉追踪的目的。
进一步改进，获取相机的内参矩阵的步骤如下；
1.1)、建立相机坐标系、成像平面坐标系、像素坐标系；
相机坐标系：以相机光心Oc作为原点，OcXc轴平行与成像平面的水平方向，从相机的后方看，指向相机的右方，OcYc轴平行于成像平面竖直方向，指向相机下方，光轴OcZc垂直与XcOcYc平面；
像素坐标系：为一个二维直角坐标系，以像素为单位，以图像的左上点为原点o，ou轴与图像宽度方向平行，沿图像上顶边指向右侧，ov轴与图像高度方向平行，沿图像左边界指向下方。
成像平面坐标系：为一个二维直角坐标系，以图像中心Oi为原点，该点为相机光轴与成像平面的交点，OiXi轴与OcXc轴平行，OiYi轴与OcYc轴平行，并且两者的正方向相同；
1.2)完成相机坐标系、成像平面坐标系、像素坐标系之间的转换，
1.2.1)、将相机坐标系转换到成像平面坐标系：
设点A(X，Y，Z)为相机坐标系空间中的一点，则a(x，y，f)点为A点在到图像平面上的投影，相机的焦距为f，得出：
x/f＝X/Z，y/f＝Y/Z；
即，x＝fX/Z，y＝fY/Z；
上述变换关系用3*3的矩阵表示为：q＝MQ，其中
得出透视投影变换矩阵为：
1.2.2)、成像平面坐标系转换到像素坐标系：
设定成像平面坐标的原点Oi在以像素为单位的成像平面坐标中的坐标为(u0，v0)；设每个像素的物理尺寸大小为dx*dy(mm)，dx≠dy；
设定图像平面上某点在成像平面坐标系中的坐标为(x，y)，在像素坐标系中的坐标为(u,v)，则二者满足如下关系：
u＝x/dx+u0；v＝y/dy+v0；
用齐次坐标与矩阵形式表示为：
将等式两边都乘以Z可得：
将相机坐标系中的(1)式代入上式可得：
则获得相机的内参矩阵：
进一步改进，所述步骤5.1)中，建立成像坐标系：为一个二维直角坐标系，以图像中心Oi为原点，该点由相机光轴与图像平面的交点，OiXi轴水平，向右为正方向，OiYi轴垂直，向上为正方向；设定px为此刻所拍摄图像在OiXi方向的像素偏差值，py为在OiYi方向的像素偏差值，控制器以kpx、hpy作为进行云台闭环控制的输入量，其中，k为OiXi方向云台追踪目标的速度系数，h为为OiYi方 向云台追踪目标的速度系数，kpx用于云台的偏航角控制，hpy用于云台的俯仰角控制。
k、h值越大追踪速度越快，但是如果太大有可能出现振荡。因此需要k、h值需要实际的应用场景调节。kpx用于云台的偏航角控制，hpy用于云台的俯仰角控制。kpx、hpy是以o为坐标原点，所以能够产生一个闭环控制量，控制云台对准待追踪目标。
进一步改进，所述步骤5.2)中，无人机获取此时云台的姿态角
其中，ψ为滚转角，θ为俯仰角，
为偏航角，控制器根据姿态角控制无人机飞行追踪目标物包括两种策略：一种为使用云台的姿态角作为输入量进行控制；另一种为根据目标物和无人机在地面坐标系中的坐标偏差作为输入量控制无人机飞行。
进一步改进，所述使用云台的姿态角作为输入量控制无人机的方法如下：计算无人机偏航角与云台偏航角差，以及无人机俯仰角与云台俯仰角差，判断偏航角差是否等于0度：
1)、如果不等于0，则控制无人机改变自身姿态，向减小偏航角差的方向旋转，并再次判断；
2)如果等于0，则判断俯仰角差是否等于90度：
2.1)、如果不等于90度，则控制无人机改变自身姿态，向减小俯仰角差的方向飞行并再次判断；
2.2)、如果等于90度，则无人机位于追踪目标正上方，然后判断追踪任务是否结束：
2.2.1)、如果否，则使用云台的当前姿态角作为输入量控制无人机继续飞行；
2.2.2)、如果是，无人机达到机视觉追踪的目的。
进一步改进，所述根据目标物和无人机在地面坐标系中的坐标偏差作为输入量控制无人机飞行的步骤如下：
1)、建立地面坐标系、机体坐标系、云台坐标系、相机坐标系、像素坐标系和成像坐标系：
地面坐标系：原点Og为旋翼无人机的起飞点，OgXg轴在地平面内指向地球 北极或旋翼无人机的前飞方向，OgZg轴垂直与地平面朝下，OgYg轴垂直于XgOgZg平面，正方指向右侧；
机体坐标系：Ob为旋翼无人机中心，ObXb轴指向机体正前方，ObYb轴指向机体右侧，ObZb轴垂直与XbObYb平面并指向机体下方；
云台坐标系：定义云台三个旋转轴的交点为云台坐标系的原点Op，OpXp轴位于云台的倾转轴上，正方向指向右侧，OpYp位于滚转轴上，正方向指向云台的后方，OpZp轴垂直于XpOpYp平面并指向下方；
设定假设相机光心、云台中心和无人机机体重心三者重合，则在视觉跟踪阶段，只控制俯仰角θ和偏航角
，而不用考虑ψ滚转角，因为云台滚转只影响图像的方向，而不会影响图像的位置；
2)、计算无人机在地面坐标系中的位置坐标，假设无人机当前的位置坐标为(Xa、Ya、Za)：
2.1)、根据姿态角
，并结合无人机上气压计上的显示值可以计算出无人机的当前飞行高度H，即Za＝H；
2.2)、无人机上设置有GPS定位装置，可以直接读出测量值，以无人机起飞点为地面坐标系的原点，测得原点处的经度值Lo0、纬度值La0，无人机实际执行追踪命令时当前的经度值为Lo1、纬度值为La1，则原点与无人机当前位置的经度偏差为(Lo1-Lo0)、纬度偏差为(La1-La0)；设定在同一经度上纬度偏差1度所对应的距离是定值，为111Km；纬度偏差1分所对应的距离为1.85Km，纬度偏差1秒所对应的距离为31.8m；
则Xa＝111(La1-La0)；
同一纬度上经度偏差1度所对应的距离随纬度增高逐渐减小，可按以下公式计算：经度偏差1度所对应的距离＝111.413cos Lai-0.094cos(3Lai)；Lai为纬度值；
则Ya＝(Lo1-Lo0)[111.413cos La1-0.094cos(3La1)]；
得出当前无人机在地面坐标系的位置(Xa、Ya、Za)；
3)、计算追踪目标在地面坐标系中的位置坐标，
3.1)、当姿态角为(0、90、0)，即云台朝向垂直向下，无人机位于追踪目标物正上方：
3.2)、当姿态角为：
设定在地面坐标系中目标物与无人机的坐标偏差量为(a、b、c)，
则
c＝-H；
则目标物在地面坐标系中的坐标为
4)、控制器根据目标物的位置精确控制无人机进行追踪目标物：
无人机在飞行过程中，云台目标追踪的输出量为云台的姿态角
和被追踪目标的实际距离，测量距离存在偏差，控制器使用aruco图案识别算法，用相机内参矩阵进行像素偏差到实际距离偏差的转换，用Dx表示x方向的实际偏差距离，px表示x方向的像素偏差值，dx/f为内参矩阵输出数据，H为无人机飞行高度，即有：Dx＝px*dx*H/f；
用Dy表示y方向的实际偏差距离，py表示y方向的像素偏差值，dy/f为内参矩阵输出数据，H为高度，即有Dy＝py*dy*H/f；
控制器根据实际偏差距离Dx、Dy来控制无人机进行追踪目标物，Dx、Dy的方向性由px、py决定，形成闭环参数，完成对无人机的精准控制，实现精确视觉追踪。
与现有技术相比，本方案具有如下有益效果：
无人机在追踪目标物过程中，根据无人机GPS，得出无人机当前位置，根据云台姿态角
和无人机当前位置计算出目标物当前位置，控制器根据目标物当前位置精确控制无人机实现精确视觉追踪。使用GPS+图像识别的组合方式来精确定位，实现无人机实现精确视觉追踪，控制精度高。
附图说明
图1为本发明所述无人机视觉追踪实现方法的流程图。
具体实施方式
为使本发明的目的和技术方案更加清楚，下面结合本发明实施例对本发明的技术方案进行清楚，完整的描述。
实施例一：
如图1中的方法一所示，一种无人机视觉追踪实现方法，包括如下步骤：
1)、进行无人机摄像机标定、获取摄像机内参矩阵；
2)、无人机起飞，摄像机拍摄图像，无人机控制器获取图像数据并通过无线通讯模块实时发送给地面站控制系统；
3)、地面站控制系统实时检测接收的图像数据，并判断被追踪目标是否出现当前图像中，即摄像机视野中：
3.1)、如果否，则地面站控制系统遥控摄像机的云台，再次拍摄图像，并传递给地面站控制系统检测，所述云台为三轴云台；
3.2)、如果是，则地面站控制系统在当前图像中框选出被追踪目标，并将框选出的被追踪目标数据传递给无人机；
4)、无人机控制器对框选出的被追踪目标数据进行校验，判断框选出的被追踪目标数据是否有效：
4.1)、如果无效，则将校验失败的结果传递给地面站控制系统，传递给地面站控制系统重新在当前图像中框选被追踪目标；
4.2)、如果有效，则无人机进行被追踪目标识别，并判断是否成功识别到框选出的被追踪目标；
4.2.1)、如果失败，则将识别失败的结果传递给地面站控制系统，传递给地面站控制系统重新在当前图像中框选被追踪目标；
4.2.2)、如果成功，则无人机控制器根据图像识别输出的像素偏差控制云台对准待追踪目标；
5)、判断追踪目标是否位于图像中心：
5.1)如果否，则无人机控制器重新根据当前图像识别输出的像素偏差控制云台对准待追踪目标；
5.2)如果是，则获取此时云台的姿态角姿态角
其中，ψ为滚转角，θ为俯仰角，
为偏航角，无人机控制器根据姿态角控制无人机继续飞行；根据无人机上设置的加速度计、陀螺仪、磁传感器可以直接得出云台姿态角；
6)、判断无人机是否飞行至追踪目标正上方：
6.1)如果否、则控制器继续根据此时云台的姿态角控制无人机继续飞行；
6.2)如果是，则无人机达到机视觉追踪的目的。
在本实施例中，获取相机的内参矩阵的步骤如下；
1.1)、建立相机坐标系、成像平面坐标系、像素坐标系；
相机坐标系：以相机光心Oc作为原点，OcXc轴平行与成像平面的水平方向，从相机的后方看，指向相机的右方，OcYc轴平行于成像平面竖直方向，指向相机下方，光轴OcZc垂直与XcOcYc平面；
像素坐标系：为一个二维直角坐标系，以像素为单位，以图像的左上点为原点o，ou轴与图像宽度方向平行，沿图像上顶边指向右侧，ov轴与图像高度方向平行，沿图像左边界指向下方。
成像平面坐标系：为一个二维直角坐标系，以图像中心Oi为原点，该点为相机光轴与成像平面的交点，OiXi轴与OcXc轴平行，OiYi轴与OcYc轴平行，并且两者的正方向相同；
1.2)完成相机坐标系、成像平面坐标系、像素坐标系之间的转换，
1.2.1)、将相机坐标系转换到成像平面坐标系：
设点A(X，Y，Z)为相机坐标系空间中的一点，则a(x，y，f)点为A点在到图像平面上的投影，相机的焦距为f，得出：
x/f＝X/Z，y/f＝Y/Z；
即，x＝fX/Z，y＝fY/Z；
上述变换关系用3*3的矩阵表示为：q＝MQ，其中
得出透视投影变换矩阵为：
1.2.2)、成像平面坐标系转换到像素坐标系：
设定成像平面坐标的原点Oi在以像素为单位的成像平面坐标中的坐标为(u0，v0)；设每个像素的物理尺寸大小为dx*dy(mm)，dx≠dy；
设定图像平面上某点在成像平面坐标系中的坐标为(x，y)，在像素坐标系中的坐标为(u,v)，则二者满足如下关系：
u＝x/dx+u0；v＝y/dy+v0；
用齐次坐标与矩阵形式表示为：
将等式两边都乘以Z可得：
将相机坐标系中的(1)式代入上式可得：
则获得相机的内参矩阵：
在本实施例中，所述步骤5.1)中，建立成像坐标系：为一个二维直角坐标系，以图像中心Oi为原点，该点由相机光轴与图像平面的交点，OiXi轴水平，向右为正方向，OiYi轴垂直，向上为正方向。
为了提高控制云台的柔和性使用角速率控制方法控制，设定px为此刻所拍摄图像在OiXi方向的像素偏差值，py为在OiYi方向的像素偏差值，控制器以kpx、hpy作为进行云台闭环控制的输入量，其中，k为OiXi方向云台追踪目标的速度系数，h为为OiYi方向云台追踪目标的速度系数，kpx用于云台的偏航角控制，hpy用于云台的俯仰角控制。
k、h值越大追踪速度越快，但是如果太大有可能出现振荡。因此需要k、h值需要实际的应用场景调节。kpx用于云台的偏航角控制，hpy用于云台的俯仰角控制。kpx、hpy是以o为坐标原点，所以能够产生一个闭环控制量，控制云台对准待追踪目标。
在本实施例中，所述步骤5.2)中，无人机获取此时云台的姿态角
其中，ψ为滚转角，θ为俯仰角，
为偏航角，根据目标物和无人机在地面坐标系中的坐标偏差作为输入量控制无人机飞行的步骤如下：
1)、建立地面坐标系、机体坐标系、云台坐标系、相机坐标系、像素坐标系和成像坐标系：
地面坐标系：原点Og为旋翼无人机的起飞点，OgXg轴在地平面内指向地球北极或旋翼无人机的前飞方向，OgZg轴垂直与地平面朝下，OgYg轴垂直于XgOgZg平面，正方指向右侧；
机体坐标系：Ob为旋翼无人机中心，ObXb轴指向机体正前方，ObYb轴指向机体右侧，ObZb轴垂直与XbObYb平面并指向机体下方；
云台坐标系：定义云台三个旋转轴的交点为云台坐标系的原点Op，OpXp轴位于云台的倾转轴上，正方向指向右侧，OpYp位于滚转轴上，正方向指向云台的后方，OpZp轴垂直于XpOpYp平面并指向下方；
设定假设相机光心、云台中心和无人机机体重心三者重合，则在视觉跟踪阶段，只控制俯仰角θ和偏航角
而不用考虑ψ滚转角，因为云台滚转只影响图像的方向，而不会影响图像的位置；
2)、计算无人机在地面坐标系中的位置坐标，假设无人机当前的位置坐标为(Xa、Ya、Za)：
2.1)、根据姿态角
并结合无人机上气压计上的显示值可以计算出无人机的当前飞行高度H，即Za＝H；
2.2)、无人机上设置有GPS定位装置，可以直接读出测量值，以无人机起飞点为地面坐标系的原点，测得原点处的经度值Lo0、纬度值La0，无人机实际执行追踪命令时当前的经度值为Lo1、纬度值为La1，则原点与无人机当前位置的经度偏差为(Lo1-Lo0)、纬度偏差为(La1-La0)；设定在同一经度上纬度偏差1度所对应的距离是定值，为111Km；纬度偏差1分所对应的距离为1.85Km，纬度偏差1秒所对应的距离为31.8m；
则Xa＝111(La1-La0)；
同一纬度上经度偏差1度所对应的距离随纬度增高逐渐减小，可按以下公式计算：经度偏差1度所对应的距离＝111.413cos Lai-0.094cos(3Lai)；Lai为纬度值；
则Ya＝(Lo1-Lo0)[111.413cos La1-0.094cos(3La1)]；
得出当前无人机在地面坐标系的位置(Xa、Ya、Za)；
3)、计算追踪目标在地面坐标系中的位置坐标，
3.1)、当姿态角为(0、90、0)，即云台朝向垂直向下，无人机位于追踪目标物正上方：
3.2)、当姿态角为：
设定在地面坐标系中目标物与无人机的坐标偏差量为(a、b、c)，
则
c＝-H；
则目标物在地面坐标系中的坐标为
4)、控制器根据目标物的位置精确控制无人机进行追踪目标物：
无人机在飞行过程中，云台目标追踪的输出量为云台的姿态角
和被追踪目标的实际距离，测量距离存在偏差，控制器使用aruco图案识别算法，用相机内参矩阵进行像素偏差到实际距离偏差的转换，用Dx表示x方向的实际偏差距离，px表示x方向的像素偏差值，dx/f为内参矩阵输出数据，H为无人机飞行高度，即有：Dx＝px*dx*H/f；
用Dy表示y方向的实际偏差距离，py表示y方向的像素偏差值，dy/f为内参矩阵输出数据，H为高度，即有Dy＝py*dy*H/f；
控制器根据实际偏差距离Dx、Dy来控制无人机进行追踪目标物，Dx、Dy的方向性由px、py决定，形成闭环参数，完成对无人机的精准控制，实现精确视觉追踪。
实施例二：
如图1中的方法二所示，在本实施例中，所述使用云台的姿态角作为输入量控制无人机的方法如下：计算无人机偏航角与云台偏航角差，以及无人机俯仰角与云台俯仰角差，判断偏航角差是否等于0度：
1)、如果不等于0，则控制无人机改变自身姿态，向减小偏航角差的方向旋转，并再次判断；
2)如果等于0，则判断俯仰角差是否等于90度：
2.1)、如果不等于90度，则控制无人机改变自身姿态，向减小俯仰角差的方 向飞行并再次判断；
2.2)、如果等于90度，则无人机位于追踪目标正上方，然后判断追踪任务是否结束：
2.2.1)、如果否，则使用云台的当前姿态角作为输入量控制无人机继续飞行；
2.2.2)、如果是，无人机达到机视觉追踪的目的。
其他部分与实施例一中相同。
本发明中未做特别说明的均为现有技术或者通过现有技术即可实现，而且本发明中所述具体实施案例仅为本发明的较佳实施案例而已，并非用来限定本发明的实施范围。即凡依本发明申请专利范围的内容所作的等效变化与修饰，都应作为本发明的技术范畴。
Claims (4)
1.一种无人机视觉追踪实现方法，其特征在于，包括如下步骤：
1)、进行无人机摄像机标定、获取摄像机内参矩阵，进行图像畸变矫正；
2)、无人机起飞，摄像机拍摄图像，无人机控制器获取图像数据并通过无线通讯模块实时发送给地面站控制系统；
3)、地面站控制系统实时检测接收的图像数据，并判断被追踪目标是否出现当前图像中，即摄像机视野中：
3.1)、如果否，则地面站控制系统遥控摄像机的云台，再次拍摄图像，并传递给地面站控制系统检测，所述云台为三轴云台；
3.2)、如果是，则地面站控制系统在当前图像中框选出被追踪目标，并将框选出的被追踪目标数据传递给无人机；
4)、无人机控制器对框选出的被追踪目标数据进行校验，判断框选出的被追踪目标数据是否有效：
4.1)、如果无效，则将校验失败的结果传递给地面站控制系统，传递给地面站控制系统重新在当前图像中框选被追踪目标；
4.2)、如果有效，则无人机进行被追踪目标识别，并判断是否成功识别到框选出的被追踪目标；
4.2.1)、如果失败，则将识别失败的结果传递给地面站控制系统，传递给地面站控制系统重新在当前图像中框选被追踪目标；
4.2.2)、如果成功，则无人机控制器根据图像识别输出的像素偏差控制云台对准待追踪目标；
5)、判断追踪目标是否位于图像中心：
5.1)如果否，则无人机控制器重新根据当前图像识别输出的像素偏差控制云台对准待追踪目标；
5.2)如果是，则获取此时云台的姿态角(ψ、θ、
)，其中，ψ为滚转角，θ为俯仰角，
为偏航角，无人机控制器根据姿态角控制无人机继续飞行；根据无人机上设置的加速度计、陀螺仪、磁传感器可以直接得出云台姿态角；无人机控制器根据姿态角控制无人机飞行追踪目标物包括两种策略：一种为使用云台的姿态角作为输入量进行控制；另一种为根据目标物和无人机在地面坐标系中的坐标偏差作为输入量控制无人机飞行；
所述根据目标物和无人机在地面坐标系中的坐标偏差作为输入量控制无人机飞行的步骤如下：
5.2.1)、建立地面坐标系、机体坐标系、云台坐标系、相机坐标系、像素坐标系和成像坐标系：
地面坐标系：原点Og为旋翼无人机的起飞点，OgXg轴在地平面内指向地球北极或旋翼无人机的前飞方向，OgZg轴垂直与地平面朝下，OgYg轴垂直于XgOgZg平面，正方指向右侧；
机体坐标系：Ob为旋翼无人机中心，ObXb轴指向机体正前方，ObYb轴指向机体右侧，ObZb轴垂直与XbObYb平面并指向机体下方；
云台坐标系：定义云台三个旋转轴的交点为云台坐标系的原点Op，OpXp轴位于云台的倾转轴上，正方向指向右侧，OpYp位于滚转轴上，正方向指向云台的后方，OpZp轴垂直于XpOpYp平面并指向下方；
设定假设相机光心、云台中心和无人机机体重心三者重合，则在视觉跟踪阶段，只控制俯仰角θ和偏航角
而不用考虑ψ滚转角，因为云台滚转只影响图像的方向，而不会影响图像的位置；
5.2.2)、计算无人机在地面坐标系中的位置坐标，假设无人机当前的位置坐标为(Xa、Ya、Za)：
5.2.2.1)、根据姿态角(ψ、θ、
)，并结合无人机上气压计上的显示值可以计算出无人机的当前飞行高度H，即Za＝H；
5.2.2.2)、无人机上设置有GPS定位装置，可以直接读出测量值，以无人机起飞点为地面坐标系的原点，测得原点处的经度值Lo0、纬度值La0，无人机实际执行追踪命令时当前的经度值为Lo1、纬度值为La1，则原点与无人机当前位置的经度偏差为(Lo1-Lo0)、纬度偏差为(La1-La0)；设定在同一经度上纬度偏差1度所对应的距离是定值，为111Km；纬度偏差1分所对应的距离为1.85Km，纬度偏差1秒所对应的距离为31.8m；
则Xa＝111(La1-La0)；
同一纬度上经度偏差1度所对应的距离随纬度增高逐渐减小，可按以下公式计算：经度偏差1度所对应的距离＝111.413cos Lai-0.094cos(3Lai)；Lai为纬度值；
则Ya＝(Lo1-Lo0)[111.413cos La1-0.094cos(3La1)]；
得出当前无人机在地面坐标系的位置(Xa、Ya、Za)；
5.2.3)、计算追踪目标在地面坐标系中的位置坐标，
5.2.3.1)、当姿态角为(0、90、0)，即云台朝向垂直向下，无人机位于追踪目标物正上方：
5.2.3.2)、当姿态角为：(0、θ、
)，设定在地面坐标系中目标物与无人机的坐标偏差量为(a、b、c)，
则
c＝-H；
则目标物在地面坐标系中的坐标为(
0)；
5.2.4)、控制器根据目标物的位置精确控制无人机进行追踪目标物：
无人机在飞行过程中，云台目标追踪的输出量为云台的姿态角(ψ、θ、
)和被追踪目标的实际距离，测量距离存在偏差，控制器使用aruco图案识别算法，用相机内参矩阵进行像素偏差到实际距离偏差的转换，用Dx表示x方向的实际偏差距离，px表示x方向的像素偏差值，dx/f为内参矩阵输出数据，H为无人机飞行高度，即有：Dx＝px*dx*H/f；
用Dy表示y方向的实际偏差距离，py表示y方向的像素偏差值，dy/f为内参矩阵输出数据，H为高度，即有Dy＝py*dy*H/f；
控制器根据实际偏差距离Dx、Dy来控制无人机进行追踪目标物，Dx、Dy的方向性由px、py决定，形成闭环参数，完成对无人机的精准控制，实现精确视觉追踪；
6)、判断无人机是否飞行至追踪目标正上方：
6.1)如果否、则控制器继续根据此时云台的姿态角控制无人机继续飞行；
6.2)如果是，则无人机达到机视觉追踪的目的。
2.根据权利要求1所述的无人机视觉追踪实现方法，其特征在于，所述步骤1)中获取相机的内参矩阵的步骤如下；
1.1)、建立相机坐标系、成像平面坐标系、像素坐标系；
相机坐标系：以相机光心Oc作为原点，OcXc轴平行与成像平面的水平方向，从相机的后方看，指向相机的右方，OcYc轴平行于成像平面竖直方向，指向相机下方，光轴OcZc垂直与XcOcYc平面；
像素坐标系：为一个二维直角坐标系，以像素为单位，以图像的左上点为原点o，ou轴与图像宽度方向平行，沿图像上顶边指向右侧，ov轴与图像高度方向平行，沿图像左边界指向下方；
成像平面坐标系：为一个二维直角坐标系，以图像中心Oi为原点，该点为相机光轴与成像平面的交点，OiXi轴与OcXc轴平行，OiYi轴与OcYc轴平行，并且两者的正方向相同；
1.2)完成相机坐标系、成像平面坐标系、像素坐标系之间的转换；
1.2.1)、将相机坐标系转换到成像平面坐标系：
设点A(X，Y，Z)为相机坐标系空间中的一点，则a(x，y，f)点为A点在到图像平面上的投影，相机的焦距为f，得出：
x/f＝X/Z，y/f＝Y/Z；
即，x＝fX/Z，y＝fY/Z；
上述变换关系用3*3的矩阵表示为：q＝MQ，其中
得出透视投影变换矩阵为：
1.2.2)、成像平面坐标系转换到像素坐标系：
设定成像平面坐标的原点Oi在以像素为单位的成像平面坐标中的坐标为(u0，v0)；设每个像素的物理尺寸大小为dx*dy(mm)，dx！＝dy；
设定图像平面上某点在成像平面坐标系中的坐标为(x，y)，在像素坐标系中的坐标为(u,v)，则二者满足如下关系：
u＝x/dx+u0；v＝y/dy+v0；
用齐次坐标与矩阵形式表示为：
将等式两边都乘以Z可得：
将相机坐标系中的(1)式代入上式可得：
则获得相机的内参矩阵：
3.根据权利要求1或2所述的无人机视觉追踪实现方法，其特征在于，所述步骤5.1)中，建立成像坐标系：为一个二维直角坐标系，以图像中心Oi为原点，该点由相机光轴与图像平面的交点，OiXi轴水平，向右为正方向，OiYi轴垂直，向上为正方向；
设定px为此刻所拍摄图像在OiXi方向的像素偏差值，py为在OiYi方向的像素偏差值，控制器以kpx、hpy作为进行云台闭环控制的输入量，其中，k为OiXi方向云台追踪目标的速度系数，h为为OiYi方向云台追踪目标的速度系数，kpx用于云台的偏航角控制，hpy用于云台的俯仰角控制。
4.根据权利要求1所述的无人机视觉追踪实现方法，其特征在于，所述使用云台的姿态角作为输入量控制无人机的方法如下：
计算无人机偏航角与云台偏航角差，以及无人机俯仰角与云台俯仰角差，判断偏航角差是否等于0度：
1)、如果不等于0，则控制无人机改变自身姿态，向减小偏航角差的方向旋转，并再次判断；
2)如果等于0，则判断俯仰角差是否等于90度：
2.1)、如果不等于90度，则控制无人机改变自身姿态，向减小俯仰角差的方向飞行并再次判断；
2.2)、如果等于90度，则无人机位于追踪目标正上方，然后判断追踪任务是否结束：
2.2.1)、如果否，则使用云台的当前姿态角作为输入量控制无人机继续飞行；
2.2.2)、如果是，无人机达到机视觉追踪的目的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711076817.7A CN109753076B (zh) | 2017-11-03 | 2017-11-03 | 一种无人机视觉追踪实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711076817.7A CN109753076B (zh) | 2017-11-03 | 2017-11-03 | 一种无人机视觉追踪实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109753076A CN109753076A (zh) | 2019-05-14 |
| CN109753076B true CN109753076B (zh) | 2022-01-11 |
Family
ID=66399879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711076817.7A Active CN109753076B (zh) | 2017-11-03 | 2017-11-03 | 一种无人机视觉追踪实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109753076B (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110282105B (zh) * | 2019-06-11 | 2020-07-24 | 浙江大学 | 一种基于视觉的auv双级导引系统和方法 |
| CN112149467A (zh) * | 2019-06-28 | 2020-12-29 | 北京京东尚科信息技术有限公司 | 飞机集群执行任务的方法和长机 |
| CN110333735B (zh) * | 2019-07-02 | 2022-08-12 | 余姚市浙江大学机器人研究中心 | 一种实现无人机水陆二次定位的系统和方法 |
| CN110347171B (zh) * | 2019-07-12 | 2022-06-03 | 深圳市道通智能航空技术股份有限公司 | 一种飞行器控制方法及飞行器 |
| CN110580054B (zh) * | 2019-08-21 | 2022-06-14 | 东北大学 | 一种基于自主视觉跟踪的光电吊舱的控制系统及方法 |
| CN110968023B (zh) * | 2019-10-14 | 2021-03-09 | 北京航空航天大学 | 一种基于plc与工业相机的无人机视觉引导系统及方法 |
| CN110716579B (zh) * | 2019-11-20 | 2022-07-29 | 深圳市道通智能航空技术股份有限公司 | 目标跟踪方法及无人飞行器 |
| CN111103891B (zh) * | 2019-12-30 | 2021-03-16 | 西安交通大学 | 一种基于骨骼点检测的无人机快速姿势控制系统与方法 |
| CN111103608A (zh) * | 2020-01-02 | 2020-05-05 | 东南大学 | 一种用在林业勘测工作中的定位装置及方法 |
| CN111275760A (zh) * | 2020-01-16 | 2020-06-12 | 上海工程技术大学 | 一种基于5g与深度图像信息的无人机目标跟踪系统及方法 |
| CN111273701B (zh) * | 2020-02-28 | 2023-10-31 | 佛山科学技术学院 | 一种云台视觉控制系统以及控制方法 |
| WO2021179125A1 (zh) * | 2020-03-09 | 2021-09-16 | 深圳市大疆创新科技有限公司 | 监控系统、监控方法、移动平台和远程设备 |
| CN111637851B (zh) * | 2020-05-15 | 2021-11-05 | 哈尔滨工程大学 | 一种基于Aruco码的平面旋转角度视觉测量方法及装置 |
| CN111596693B (zh) * | 2020-06-17 | 2023-05-26 | 中国人民解放军国防科技大学 | 基于云台相机的无人机对地面目标跟踪控制方法及系统 |
| CN111879313B (zh) * | 2020-07-31 | 2022-08-12 | 中国人民解放军国防科技大学 | 一种基于无人机图像识别的多目标连续定位方法及系统 |
| CN112197766B (zh) * | 2020-09-29 | 2023-04-28 | 西安应用光学研究所 | 一种针对系留旋翼平台的视觉测姿装置 |
| CN113721665A (zh) * | 2020-11-16 | 2021-11-30 | 北京理工大学 | 应用于反低慢小目标的基于机器视觉的云台控制方法 |
| CN113110573A (zh) * | 2021-04-12 | 2021-07-13 | 上海交通大学 | 可用作汽车自动驾驶传感器搭载平台的系留无人机系统 |
| CN113160317B (zh) * | 2021-04-29 | 2024-04-16 | 福建汇川物联网技术科技股份有限公司 | 云台目标追踪控制方法、装置及云台控制设备、存储介质 |
| CN113365030B (zh) * | 2021-06-01 | 2023-07-04 | 珠海大横琴科技发展有限公司 | 一种多角度目标跟踪方法和跟踪系统 |
| CN113654528B (zh) * | 2021-09-18 | 2024-02-06 | 北方天途航空技术发展（北京）有限公司 | 通过无人机位置和云台角度估测目标坐标的方法和系统 |
| CN113776540B (zh) * | 2021-11-09 | 2022-03-22 | 北京艾克利特光电科技有限公司 | 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法 |
| CN114285996B (zh) * | 2021-12-23 | 2023-08-22 | 中国人民解放军海军航空大学 | 一种地面目标覆盖拍摄方法和系统 |
| CN114296479B (zh) * | 2021-12-30 | 2022-11-01 | 哈尔滨工业大学 | 一种基于图像的无人机对地面车辆跟踪方法及系统 |
| CN114785955B (zh) * | 2022-05-05 | 2023-08-15 | 广州新华学院 | 复杂场景下动态相机运动补偿方法、系统及存储介质 |
| CN114897935A (zh) * | 2022-05-13 | 2022-08-12 | 中国科学技术大学 | 基于虚拟相机的无人机对空中目标物的追踪方法及系统 |
| CN115144867A (zh) * | 2022-06-24 | 2022-10-04 | 山东浪潮科学研究院有限公司 | 一种基于无人机搭载三轴云台相机的目标检测定位方法 |
| CN116907511B (zh) * | 2023-09-12 | 2023-12-05 | 北京宝隆泓瑞科技有限公司 | 一种将管道坐标转换为图像坐标的方法 |
| CN116974305A (zh) * | 2023-09-18 | 2023-10-31 | 中国海洋大学 | 一种海上视觉追踪系统及方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105100728A (zh) * | 2015-08-18 | 2015-11-25 | 零度智控（北京）智能科技有限公司 | 无人机视频跟踪拍摄系统及方法 |
| CN105353772A (zh) * | 2015-11-16 | 2016-02-24 | 中国航天时代电子公司 | 一种无人机机动目标定位跟踪中的视觉伺服控制方法 |
| CN105487552A (zh) * | 2016-01-07 | 2016-04-13 | 深圳一电航空技术有限公司 | 无人机跟踪拍摄的方法及装置 |
| CN105578034A (zh) * | 2015-12-10 | 2016-05-11 | 深圳市道通智能航空技术有限公司 | 一种对目标进行跟踪拍摄的控制方法、控制装置及系统 |
| CN105652891A (zh) * | 2016-03-02 | 2016-06-08 | 中山大学 | 一种旋翼无人机移动目标自主跟踪装置及其控制方法 |
| CN105929850A (zh) * | 2016-05-18 | 2016-09-07 | 中国计量大学 | 一种具有持续锁定和跟踪目标能力的无人机系统与方法 |
| CN106094876A (zh) * | 2016-07-04 | 2016-11-09 | 苏州光之翼智能科技有限公司 | 一种无人机目标锁定系统及其方法 |
| CN106254836A (zh) * | 2016-09-19 | 2016-12-21 | 南京航空航天大学 | 无人机红外图像目标跟踪系统及方法 |
| CN106570820A (zh) * | 2016-10-18 | 2017-04-19 | 浙江工业大学 | 一种基于四旋翼无人机的单目视觉三维特征提取方法 |
| CN106586011A (zh) * | 2016-12-12 | 2017-04-26 | 高域（北京）智能科技研究院有限公司 | 航拍无人飞行器的对准方法及其航拍无人飞行器 |
| JP2017134617A (ja) * | 2016-01-27 | 2017-08-03 | 株式会社リコー | 位置推定装置、プログラム、位置推定方法 |
| CN107209854A (zh) * | 2015-09-15 | 2017-09-26 | 深圳市大疆创新科技有限公司 | 用于支持顺畅的目标跟随的系统和方法 |
-
2017
- 2017-11-03 CN CN201711076817.7A patent/CN109753076B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105100728A (zh) * | 2015-08-18 | 2015-11-25 | 零度智控（北京）智能科技有限公司 | 无人机视频跟踪拍摄系统及方法 |
| CN107209854A (zh) * | 2015-09-15 | 2017-09-26 | 深圳市大疆创新科技有限公司 | 用于支持顺畅的目标跟随的系统和方法 |
| CN105353772A (zh) * | 2015-11-16 | 2016-02-24 | 中国航天时代电子公司 | 一种无人机机动目标定位跟踪中的视觉伺服控制方法 |
| CN105578034A (zh) * | 2015-12-10 | 2016-05-11 | 深圳市道通智能航空技术有限公司 | 一种对目标进行跟踪拍摄的控制方法、控制装置及系统 |
| CN105487552A (zh) * | 2016-01-07 | 2016-04-13 | 深圳一电航空技术有限公司 | 无人机跟踪拍摄的方法及装置 |
| JP2017134617A (ja) * | 2016-01-27 | 2017-08-03 | 株式会社リコー | 位置推定装置、プログラム、位置推定方法 |
| CN105652891A (zh) * | 2016-03-02 | 2016-06-08 | 中山大学 | 一种旋翼无人机移动目标自主跟踪装置及其控制方法 |
| CN105929850A (zh) * | 2016-05-18 | 2016-09-07 | 中国计量大学 | 一种具有持续锁定和跟踪目标能力的无人机系统与方法 |
| CN106094876A (zh) * | 2016-07-04 | 2016-11-09 | 苏州光之翼智能科技有限公司 | 一种无人机目标锁定系统及其方法 |
| CN106254836A (zh) * | 2016-09-19 | 2016-12-21 | 南京航空航天大学 | 无人机红外图像目标跟踪系统及方法 |
| CN106570820A (zh) * | 2016-10-18 | 2017-04-19 | 浙江工业大学 | 一种基于四旋翼无人机的单目视觉三维特征提取方法 |
| CN106586011A (zh) * | 2016-12-12 | 2017-04-26 | 高域（北京）智能科技研究院有限公司 | 航拍无人飞行器的对准方法及其航拍无人飞行器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109753076A (zh) | 2019-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109753076B (zh) | 一种无人机视觉追踪实现方法 | |
| US11263761B2 (en) | Systems and methods for visual target tracking | |
| US10942529B2 (en) | Aircraft information acquisition method, apparatus and device | |
| US20220206515A1 (en) | Uav hardware architecture | |
| US10771699B2 (en) | Systems and methods for rolling shutter correction | |
| US9409656B2 (en) | Aerial photographing system | |
| US8666571B2 (en) | Flight control system for flying object | |
| US20200191556A1 (en) | Distance mesurement method by an unmanned aerial vehicle (uav) and uav | |
| CN111932588A (zh) | 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 | |
| CN105182992A (zh) | 无人机的控制方法、装置 | |
| US20180095469A1 (en) | Autonomous system for shooting moving images from a drone, with target tracking and holding of the target shooting angle | |
| CN111966133A (zh) | 一种云台视觉伺服控制系统 | |
| US20180024557A1 (en) | Autonomous system for taking moving images, comprising a drone and a ground station, and associated method | |
| US20220210335A1 (en) | Autofocusing camera and systems | |
| CN109753079A (zh) | 一种无人机精准降落于移动平台方法 | |
| Moore et al. | UAV altitude and attitude stabilisation using a coaxial stereo vision system | |
| CN115291536A (zh) | 基于视觉的无人机跟踪地面目标半物理仿真平台验证方法 | |
| WO2019189381A1 (ja) | 移動体、制御装置、および制御プログラム | |
| KR20210062324A (ko) | 3축 짐벌 구조를 이용한 공중 촬영 장치 및 이의 제어 방법 | |
| CN114296479B (zh) | 一种基于图像的无人机对地面车辆跟踪方法及系统 | |
| Li et al. | A homography-based visual inertial fusion method for robust sensing of a Micro Aerial Vehicle | |
| CN116164754B (zh) | 一种基于无人机运动状态的云台虚拟化方法 | |
| KR102578901B1 (ko) | Gps 신호 수신 불가 시 드론의 회귀 방법 | |
| Xie et al. | A position estimation and control system for the quadrotor in GPS-deny situation based on FAST detection and optical flow | |
| Tisse et al. | A micro aerial vehicle motion capture system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |