CN111966133A - 一种云台视觉伺服控制系统 - Google Patents

Abstract

本发明公开了一种云台视觉伺服控制系统，包括无人机云台、图像处理与目标识别模块、云台控制与目标跟踪模块、位置坐标监控模块、服务器处理中心模块，无人机云台上固定有传感器；图像处理与目标识别模块用于进行环境视频采集；云台控制与目标跟踪模块用于接收相机像素中心位置与目标特征点位置的偏差信息，调节三轴无人机云台各轴的角度；位置坐标监控模块用于通过传感器读取得到无人机云台当前的姿态及高度信息，并计算出无人机当前的经纬度，完成导航；利用该系统通过云台控制相机将目标始终保持在相机光轴上，在无人机近距离作业过程中，获得无人机世界坐标导航信息的方法，从而最大程度的保证目标跟踪的有效性。

Description

一种云台视觉伺服控制系统

技术领域

本发明涉及无人机视觉控制技术领域，具体为一种云台视觉伺服控制系统。

背景技术

现如今的四旋翼无人机自主巡航工作模式可以描述如下。首先，基于自主巡航要求，控制中心选择巡航路线及拍摄目标，并获取他们的位置和监控服务时间。然后，指定无人机巡航路线。最后，根据指定的路线，无人机从停机坪起飞，按照巡航路线找到目标，拍摄图片/视频并通过无线返回到控制中心沟通，最后返回基地。在工作中，无人机是对单一物体进行定时定点的拍摄，例如电力线绝缘子拍摄等等。此类作业的特点如下：1.已知作业目标地理位置信息。2.每次无人机作业作业目标位姿不变。3.无人机携带相机在作业过程中始终在拍摄目标。

但是，在自主巡航过程中，近目标进行拍摄的时候，GNSS信号及易受到干扰(例如电力线巡检，建筑物勘探等)，因此需要通过其他辅助传感设备进行导航，视觉导航是一种重要的导航方式。目前的视觉导航方式使通过携带多余的相机进行导航。然而在实际工作中，因无人机荷载能力有限的约束，难以携带除工作所需设备进行作业，如何能用最低成本的改造当前无人机，利用原有无人机所携带的作业相机进行导航成为新兴问题。

对于无人机而言，需要使用单一相机对场景进行判断。在无人机进行拍摄的过程中，经常需要实时的获取拍摄信息而不是只进行一次拍摄。同时相机在导航过程中需要对目标进行实时跟踪，才可以获取位置信息。在跟踪过程中，将面临两个挑战：1.保证锁定目标不丢失；2.保证目标拍摄的清晰度。首先，为尽可能物体在不规则运动中，保证目标能被相机实时跟随，在使用相同相机及拥有同等的跟踪算法前提上，最好的办法是让图像呈现在视场中心，保证云台对各个方向的相机的运动都有充足的应对时间。再者，跟踪目标拍摄不清晰也是导致目标丢失的重要原因。虽然现在有许多理论被提出消除这些影响，但这些理论是不全面的。相机的拍摄方式分为两种，一种是用 Global shutter方式拍摄，但该方式假如曝光时间过长，照片会产生像糊现象。而另一种用Rolling shutter方式拍摄，但如果逐行扫描速度不够，拍摄结果就可能出现“倾斜”、“摇摆不定”或“部分曝光”等任一种情况。而最好的克服拍摄模糊现象最好的办法就是减少拍摄目标与相机的相对运动。

发明内容

本发明的目的在于提供一种云台视觉伺服控制系统，利用该系统通过云台控制相机将目标始终保持在相机光轴上，在无人机近距离作业过程中，获得无人机世界坐标导航信息的方法，从而最大程度的保证目标跟踪的有效性。

为实现上述目的，本发明提供如下技术方案：一种云台视觉伺服控制系统，包括无人机云台、图像处理与目标识别模块、云台控制与目标跟踪模块、位置坐标监控模块、服务器处理中心模块，所述无人机云台上固定有传感器；

所述图像处理与目标识别模块包括搭载在无人机云台上的相机，用于进行环境视频采集，并将采集到的视频传输至服务器处理中心模块进行处理，识别作业目标是否出现在图像中；

所述云台控制与目标跟踪模块用于接收相机像素中心位置与目标特征点位置的偏差信息，并通过偏差值输入，调节三轴无人机云台各轴的角度；

所述位置坐标监控模块用于通过传感器读取得到无人机云台当前的姿态及高度信息，并计算出无人机当前的经纬度，完成导航。

优选的，计算目标特征点位置的坐标具体步骤如下：

S1、图像处理与目标识别模块进行工作：云台搭载的相机进行环境视频采集，并将采集到的视频传回地面服务器进行处理，识别作业目标是否出现在图像中，若作业目标出现，以画面像素建立像素坐标系，计算出目标标志物特征点处在像素视野中的坐标值，与相机中心点像素坐标值进行对比，输出像素中心位置与目标特征点位置的偏差，偏差值传送给无人机云台控制系统；

S2、云台控制与目标跟踪模块进行工作：无人机云台控制系统接收到像素中心位置与目标特征点位置的偏差信息后，以偏差值为输入，调节三轴云台各轴的角度，将目标标志物特征点移动到相机视野中心，即调整相机光轴对准物体。在之后的作业过程中，云台控制系统将实时重复该步骤，使得目标特征点实时处于相机光轴上；

S3、位置坐标监控模块进行工作：当无人机云台锁定目标处于视野中心位置后，由云台携带传感器读取得到云台当前的姿态及高度信息，进一步，计算出无人机当前的经纬度，输入无人机飞行控制单元，完成导航。

与现有技术相比，本发明的有益效果是：利用无人机搭载的视觉系统进行目标识别，云台控制系统调节伺服舵机将目标移动到视野中央，已知无人机高度与云台角度的情况下，通过几何计算出无人机与特征点的相对位置关系。当已知特征点的经纬度坐标，根据世界坐标系下的位置计算，能够计算出无人机当前位置的经纬度信息。利用了云台相机跟踪目标过程中，云台角度得变化值可以计算出无人机与目标的相对位置关系，从而获取无人机实时世界坐标，能够比较精确的根据作业目标物体的坐标计算出无人机的坐标，在无人机近距离作业过程中，获得无人机世界坐标导航信息的方法，从而最大程度的保证目标跟踪的有效性。

附图说明

图1为本发明模型示意图；

图2为本发明无人机云台相机示意图；

图3为本发明无人机云台视觉伺服控制系统实验结构示意图；

图4为本发明无人机云台模块连接示意图；

图5为本发明提供的相机成像遵循小孔成像原理图；

图6为本发明提供的仿真实验结果示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的技术方案，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1至图4，本发明提供一种技术方案：一种云台视觉伺服控制系统无人机云台、图像处理与目标识别模块、云台控制与目标跟踪模块、位置坐标监控模块、服务器处理中心模块，所述无人机云台上固定有传感器；所述图像处理与目标识别模块包括搭载在无人机云台上的相机，用于进行环境视频采集，并将采集到的视频传输至服务器处理中心模块进行处理，识别作业目标是否出现在图像中；所述云台控制与目标跟踪模块用于接收相机像素中心位置与目标特征点位置的偏差信息，并通过偏差值输入，调节三轴无人机云台各轴的角度；所述位置坐标监控模块用于通过传感器读取得到无人机云台当前的姿态及高度信息，并计算出无人机当前的经纬度，完成导航。

进一步，如图2所示，位置坐标监控模块中无人机的经纬度计算模型为：

P₁(B₁,L₁,H₁)为无人机实时的坐标数值，P₂(B₂,L₂,H₂)为目标物体的坐标数值，两者之间的连线距离为s，其中为地心，为真北，地球上任意一点记为，其中B_n为纬度，L_n为经度，H_n为高程，n为下标，P₁相对P₂方位角大小为A_AZ， P₁与P₂关系满足上式(1)。

其中，ΔL为P₁与P₂两点之间的经度差值，在途中表示为面NOP₁与NOP₂的二面角，

为P₁点纬度值的余角，图中表示为P₁O与NO连线夹角，ΔH为P₁与P₂高度差。我们可以得知，在已知P₂的坐标后，对两点之间的相对差值进行计算后，可以得到P₁当前坐标。因此，我们根据三角面余弦定理与球面正弦定理可以求得：

式中α为P₂纬度值的余角，α＝90-B₂，β为P₁和P₂与地心O的夹角，β可近似表示为

进一步，从式(1)、(2)、(3)中可以得知，的坐标与P₂、s、A_AZ、R、 H₁有关。通过假设我们得知，P₂坐标已知，地球任意一点到地心的距离R已知，同时一般H₁可以通过自带传感器进行测量得到，因此，要获得P₁的准确值，还必须求解得到P₁相对P₂方位角大小为A_AZ以及P₁与P₂连线距离s。在无人机工作过程中，该云台视觉伺服控制系统可以解决这一问题。在无人机飞行拍摄过程中，锚点特征点始终在相机光轴上。相机成像遵循小孔成像原理如图5所示，

由小孔成像模型可知，无论相机拍摄角度如何，拍摄时在相机光轴上物体，成像后总会在画面的中心位相机像素中心位置计算模型为：

目标特征点位置为：

其中导航坐标系为Σ_s(X^s,Y^s,Z^s)。建立无人机机体坐标系Σ_b(X^b,Y^b,Z^b)：原点为无人机质心，X^b轴指向无人机纵轴，Y^b轴指向无人机横轴，右方为正，Z^b轴按照右手法则确定，机体坐标系到导航坐标系的旋转矩阵

由欧拉角表示的无人机姿态(Pitch,Roll,Yaw)确定，摄像机坐标系Σ_c(X^c,Y^c,Z^c)：原点为光心，Z^c轴沿光轴方向，与X^b和Y^b满足右手法则，相机坐标系到机体坐标系的旋转矩阵

无人机云台各轴的角度为：

其中摄像机水平旋转角ψ、翻滚角φ和俯仰角θ。

进一步，计算目标特征点位置的坐标具体步骤如下：

S1、图像处理与目标识别模块进行工作：云台搭载的相机进行环境视频采集，并将采集到的视频传回地面服务器进行处理，识别作业目标是否出现在图像中，若作业目标出现，以画面像素建立像素坐标系，计算出目标标志物特征点处在像素视野中的坐标值，与相机中心点像素坐标值进行对比，输出像素中心位置与目标特征点位置的偏差，偏差值传送给无人机云台控制系统；

S2、云台控制与目标跟踪模块进行工作：无人机云台控制系统接收到像素中心位置与目标特征点位置的偏差信息后，以偏差值为输入，调节三轴云台各轴的角度，将目标标志物特征点移动到相机视野中心，即调整相机光轴对准物体。在之后的作业过程中，云台控制系统将实时重复该步骤，使得目标特征点实时处于相机光轴上；

S3、位置坐标监控模块进行工作：当无人机云台锁定目标处于视野中心位置后，由云台携带传感器读取得到云台当前的姿态及高度信息，进一步，计算出无人机当前的经纬度，输入无人机飞行控制单元，完成导航。

对于上述实施例，进行仿真实验，如图4所示，在仿真环境下，我们可以保护无人机免受风和其他外部影响。同时，无人机自身的机体振动和传感器误差将不存在。在仿真环境中，我们可以实时处理各种数据，包括采集到的图像数据。在数据读取方面，无人机可以在仿真环境下无误差地读取飞行轨迹。此外，它还可以控制实验环境，包括地标大小、无人机大小、无人机速度、摄像机视场等的调整。在本文的仿真环境中，我们让无人机在没有任何干扰的情况下飞行，消除了视频的传输延迟，使我们能够实时读取计算出的云台视觉伺服控制系统数据。

采用微软发布的基于UnrealEngine4虚拟引擎的Airsim仿真平台进行上述模拟自主降落系统的仿真实验，该平台提供了与真实世界环境相接近仿真环境、无人机模型以及应用程序编程接口等资源。在该平台下，对论文中所提及的各种可能出现的情况都进行了测试，其中GPS信号丢失的情况用取消 GPS数据的读取来模拟。首先，在Airsim平台上搭建了需要拍照的目标，并贴上了ArUco标记增加其可识别性。接着，将无人机起飞后飞至距离该平台水平距离15m左右的任意位置，确保使用机载摄像头(FOV为50度)拍摄的图像能够正确识别降落平台，然后开始对无人机下达开始自主导航的指令，无人机根据设定程序进行预计线路的巡航拍照。

仿真实验结果如下：

其中，上图1中列出了无人机飞行的轨迹，云台视觉伺服控制系统估计获得的位置信息，及目标轨迹。从图中我们可以看出，UAV使用云台视觉伺服控制系统进行导航的线路十分接近真实的预设路径，并且，云台视觉伺服控制系统可以十分有效的反映无人机的真实路径。

从图中可以看到，在仿真环境下，云台视觉伺服控制系统和与无人机真实路径的x轴，y轴基本重合。由仿真结果可以看出，在相对理想的环境下云台视觉伺服控制系统能较为准确的反映无人机的真实位置，并且，不会因为无人机姿态突变而失去导航的精度。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种云台视觉伺服控制系统，其特征在于：包括无人机云台、图像处理与目标识别模块、云台控制与目标跟踪模块、位置坐标监控模块、服务器处理中心模块，所述无人机云台上固定有传感器；

所述图像处理与目标识别模块包括搭载在无人机云台上的相机，用于进行环境视频采集，并将采集到的视频传输至服务器处理中心模块进行处理，识别作业目标是否出现在图像中；

所述云台控制与目标跟踪模块用于接收相机像素中心位置与目标特征点位置的偏差信息，并通过偏差值输入，调节三轴无人机云台各轴的角度；

所述位置坐标监控模块用于通过传感器读取得到无人机云台当前的姿态及高度信息，并计算出无人机当前的经纬度，完成导航。

2.根据权利要求1所述的一种云台视觉伺服控制系统，其特征在于：所述位置坐标监控模块中无人机的经纬度计算模型为：

P₁(B₁,L₁,H₁)为无人机实时的坐标数值，P₂(B₂,L₂,H₂)为目标物体的坐标数值，两者之间的连线距离为s，其中为地心，为真北，地球上任意一点记为，其中B_n为纬度，L_n为经度，H_n为高程，n为下标，P₁相对P₂方位角大小为A_AZ，P₁与P₂关系满足上式(1)。

其中，ΔL为P₁与P₂两点之间的经度差值，在途中表示为面NOP₁与NOP₂的二面角，

为P₁点纬度值的余角，图中表示为P₁O与NO连线夹角，ΔH为P₁与P₂高度差。我们可以得知，在已知P₂的坐标后，对两点之间的相对差值进行计算后，可以得到P₁当前坐标。因此，我们根据三角面余弦定理与球面正弦定理可以求得：

式中α为P₂纬度值的余角，α＝90-B₂，β为P₁和P₂与地心O的夹角，β可近似表示为

3.根据权利要求1所述的一种云台视觉伺服控制系统，其特征在于：所述相机像素中心位置计算模型为：

目标特征点位置为：

其中导航坐标系为Σ_s(X^s,Y^s,Z^s)。建立无人机机体坐标系Σ_b(X^b,Y^b,Z^b)：原点为无人机质心，X^b轴指向无人机纵轴，Y^b轴指向无人机横轴，右方为正，Z^b轴按照右手法则确定，机体坐标系到导航坐标系的旋转矩阵

由欧拉角表示的无人机姿态(Pitch,Roll,Yaw)确定，摄像机坐标系Σ_c(X^c,Y^c,Z^c)：原点为光心，Z^c轴沿光轴方向，与X^b和Y^b满足右手法则，相机坐标系到机体坐标系的旋转矩阵

无人机云台各轴的角度为：

其中摄像机水平旋转角ψ、翻滚角φ和俯仰角θ。

4.根据权利要求1所述的一种云台视觉伺服控制系统，其特征在于：计算目标特征点位置的坐标具体步骤如下：

S1、图像处理与目标识别模块进行工作：云台搭载的相机进行环境视频采集，并将采集到的视频传回地面服务器进行处理，识别作业目标是否出现在图像中，若作业目标出现，以画面像素建立像素坐标系，计算出目标标志物特征点处在像素视野中的坐标值，与相机中心点像素坐标值进行对比，输出像素中心位置与目标特征点位置的偏差，偏差值传送给无人机云台控制系统；

S2、云台控制与目标跟踪模块进行工作：无人机云台控制系统接收到像素中心位置与目标特征点位置的偏差信息后，以偏差值为输入，调节三轴云台各轴的角度，将目标标志物特征点移动到相机视野中心，即调整相机光轴对准物体。在之后的作业过程中，云台控制系统将实时重复该步骤，使得目标特征点实时处于相机光轴上；

S3、位置坐标监控模块进行工作：当无人机云台锁定目标处于视野中心位置后，由云台携带传感器读取得到云台当前的姿态及高度信息，进一步，计算出无人机当前的经纬度，输入无人机飞行控制单元，完成导航。

Images