CN111627068A - 用于自动校正无人机前视摄像机图像中心的装置及方法 - Google Patents

Abstract

本发明涉及自动化无人机领域，尤其是用于自动校正无人机前视摄像机图像中心的方法及装置，装置包括靶图，摄像机，校靶设备，校靶设备包括视频采集模块，电源模块以及主控制器，摄像机实时获取所对应靶图的图像；视频采集模块采集，通过视频接口接收视频数据后将其传输至主控制器；接收视频采集模块的视频数据后，提取所述图像特征点，通过特征点运算获得靶图在图像中的坐标；根据位置关系，获得摄像机的姿态信息，调整摄像机的位置；本方案校靶设备实现一体化设计，与摄像机直接连接，方便快捷；同时通过靶图上增加特征标志，采用特征提取和摄像机标定技术，能够有效自动检测前视摄像机的偏航角度、俯仰角度和横滚角，有效提高安装精度。

Description

用于自动校正无人机前视摄像机图像中心的装置及方法

技术领域

本发明涉及自动化无人机领域，尤其是用于自动校正无人机前视摄像机图像 中心的方法及装置。

背景技术

伴随着自动化技术的进步，无人机也发展地越来越快；无人机前视摄像机主 要用来辅助飞机起飞降落，用于观测飞机和跑道的距离，辅助飞行员操纵飞机。 前视摄像机的作用尤为重要，必须保证图像中心与实际物体的中心在世界坐标系 中水平、垂直、俯仰方向同轴，才能保证操作的准确高效。

前视摄像机安装时由于安装误差，导致摄像机坐标轴同机体坐标轴3个轴向 不能保持平行，产生3个方向的夹角。此时，摄像机输出画面发生偏转，视觉上 误认飞机的姿态存在偏转；但该偏转是由于摄像机安装误差造成，并非飞机本身 的姿态偏转。若不校靶，地面操作人员通过视频画面，可能会误判飞机的姿态存 在偏转，继而产生错误操作，增加了发生飞行安全事故的可能性。

因此亟需一种装置，计算摄像机坐标轴同机体坐标轴3个轴向的偏差，使安 装人员安装摄像机时，能够调整摄像机安装姿态，保证摄像机坐标轴同机体坐标 轴之间的偏差控制在可接受范围内。

发明内容

本发明所要解决的技术问题是自动检测摄像机安装姿态的误差，并通过调整 角度明显提高摄像机安装位置的准确性。

本发明所采用的技术方案是：提供一种用于自动校正无人机前视摄像机图像 中心的装置，包括靶图，摄像机，校靶设备，校靶设备包括视频采集模块，电源 模块以及主控制器，

其中，摄像机通过视频接口连接到视频采集模块，视频采集模块连接到主控 制器；电源模块一方面通过电源接口连接到摄像机，另一方面连接到主控制器； 所述摄像机用于获取靶图的图像；所述视频采集模块用于采集摄像机输出的视频 数据；主控制器用于接收视频数据并提取特征进行处理；所述电源模块用于给主 控制器和摄像机进行供电。

本发明还提供一种用于自动校正无人机前视摄像机图像中心的方法，包括以 下步骤：

步骤S1，摄像机实时获取所对应靶图的图像；

步骤S2，采集摄像机输出的视频数据，所述视频采集模块通过视频接口接收 视频数据后将其传输至主控制器；

步骤S3，接收所述视频采集模块的视频数据后，所述主控制器提取其图像特 征；

步骤S4，提取所述图像特征点，通过特征点运算获得靶图在图像中的坐标；

步骤S5，通过运算靶图图像中心位置与其他特征点间的位置关系，获得摄像 机的姿态信息；

步骤S6，所述主控制器通过分析获取的摄像机姿态信息，调整摄像机的位置。

进一步地，步骤S5中，摄像机的姿态信息基于RAC的定标方法进行获取， 世界坐标系和摄像机坐标系的关系公式如下:

理想图像坐标到数字图像坐标的变换(只考虑径向偏差)，

(u,v)为一个点的数字化坐标，(x,y)为理想的数字化坐标，为畸变中心。

进一步地，所述数字化坐标点(x,y)，(u,v)共线，或者直线(x,y)与直 线(u,v)平行或斜率相等，通常把图像中心取作畸变中心和主点的坐标，则有：

进一步地，步骤S6中，分析获取的摄像机所需调整姿态信息即参数旋转矩 阵R和向x,y方向上的平移，t₁及t₂。

根据，

得到：

再根据上式得到：

由至少7组对应点，可以求得一组解：

M₀＝(m₁,m₂,m₃,m₄,m₅,m₆,m₇,m₈)≈(sr₁,sr₂,sr₃,st₁,r₄,r₅,r₆,t₂)

对M₀除以

则得到一组解(sr₁,sr₂,sr₃,st₁,r₄,r₅,r₆,t₂)；

由

可求出S，从而t₁也可以被解出。

(r₇,r₈,r₉)＝(r₁,r₂,r₃)×(r₄,r₅,r₆)

或(r₇,r₈,r₉)＝(r₄,r₅,r₆)×(r₁,r₂,r₃)；

根据det(R)＝1,来选择(r₇,r₈,r₉)。

进一步地，步骤S6中，分析获取的摄像机所需调整姿态信息有效焦距f、z 方向上的平移t₃和畸变参数k。

进一步地，令

中k＝0作为初始值， 则有：x-u₀＝u-u₀ y-v₀＝v-v₀；

由此可以解出f,t₃.将求出的f,t₃.以及k＝0作为初始值，对下式进行线性优化：

可计算得到，f和k的真实值，进而确定相机的所需调整的姿态。

本发明的有益效果是：

1)本方案校靶设备实现一体化设计，与摄像机直接连接，方便快捷；同时 通过靶图上增加特征标志，采用特征提取和摄像机标定技术，能够有效自动检测 前视摄像机的偏航角度、俯仰角度和横滚角，有效提高安装精度；

2)具有语音播报功能，能够通过语音播报前视摄像机的偏航角度、俯仰角 度和横滚角度偏差；

3)精度达到：方位角精度：±0.1°，俯仰角精度：±0.3°横滚角精度： ±0.3°。

附图说明

图1是本发明用于自动校正无人机前视摄像机图像中心的装置结构框图；

图2是本发明用于自动校正无人机前视摄像机图像中心的方法流程示意图；

图3是本发明用于自动校正无人机前视摄像机图像中心的校靶靶图原理图。

具体实施方式

下面结合附图对本发明进一步说明。

如图1所示，本发明提供一种用于自动校正无人机前视摄像机图像中心的装 置，包括靶图，摄像机，校靶设备，校靶设备包括视频采集模块，电源模块以及 主控制器，

其中，摄像机通过视频接口连接到视频采集模块，视频采集模块连接到主控 制器；电源模块一方面通过电源接口连接到摄像机，另一方面连接到主控制器； 所述摄像机用于获取靶图的图像；所述视频采集模块用于采集摄像机输出的视频 数据；主控制器用于接收视频数据并提取特征进行处理；所述电源模块用于给主 控制器和摄像机进行供电。

如图2所示，本发明还提供一种用于自动校正无人机前视摄像机图像中心的 方法，流程如下：

摄像机实时获取所对应靶图的图像；视频采集模块采集摄像机输出的视频数 据，通过视频接口接收视频数据后将其传输至主控制器；主控制器接收所述视频 采集模块的视频数据后，提取其图像特征；提取所述图像特征点，通过特征点运 算获得靶图在图像中的坐标；通过运算靶图图像中心位置与其他特征点间的位置 关系，获得摄像机的姿态信息；主控制器通过分析获取的摄像机姿态信息，调整 摄像机的位置。

如图3所示，根据靶标的特点，特征点选取算法首先从靶图中选取出特征点。 在靶图中，可以利用的特征点有：角点，直线交点等。从特征点计算的准确性而 言，利用规则形体的统计特征，如角点，可以获取亚像素级(低于一个像素)的 准确性，降低因算法引入的三轴角度误差，提供达到性能指标的校准精度。利用 所拍摄的图像来计算三维空间中被测物体几何参数的基础是摄像机成像模型的 建立。图像是空间物体通过成像系统在像平面上的反映，即空间物体在像平面上 的投影。图像上每一个像素点的位置与空间物体表面对应点的几何位置有关。这 些位置的相互关系，由摄像机成像系统的几何投影模型既成像模型所决定。理想 的投影成像模型是光学中的中心投影，也称为针孔模型。针孔模型假设物体表面 的反射光都经过一个针孔而投影到像平面上，即满足光的直线传播条件。针孔模型主要有光心(投影中心)、成像面和光轴组成。通过特征点提取算法，根据针 孔成像模型，即可获得摄像机的位置姿态信息。

Claims (8)

1.用于自动校正无人机前视摄像机图像中心的装置，包括靶图，摄像机，校靶设备，其特征在于，校靶设备包括视频采集模块，电源模块以及主控制器，其中，摄像机通过视频接口连接到视频采集模块，视频采集模块连接到主控制器；电源模块一方面通过电源接口连接到摄像机，另一方面连接到主控制器；所述摄像机用于获取靶图的图像；所述视频采集模块用于采集摄像机输出的视频数据；主控制器用于接收视频数据并提取特征进行处理；所述电源模块用于给主控制器和摄像机进行供电。

2.用于自动校正无人机前视摄像机图像中心的方法，其特征在于，包括以下步骤：

步骤S1，摄像机实时获取所对应靶图的图像；

步骤S2，采集摄像机输出的视频数据，所述视频采集模块通过视频接口接收视频数据后将其传输至主控制器；

步骤S3，接收所述视频采集模块的视频数据后，所述主控制器提取其图像特征；

步骤S4，提取所述图像特征点，通过特征点运算获得靶图在图像中的坐标；

步骤S5，通过运算靶图图像中心位置与其他特征点间的位置关系，获得摄像机的姿态信息；

步骤S6，所述主控制器通过分析获取的摄像机姿态信息，调整摄像机的位置。

3.如权利要求2所述的用于自动校正无人机前视摄像机图像中心的方法，其特征在于：步骤S5中，摄像机的姿态信息基于RAC的定标方法进行获取，世界坐标系和摄像机坐标系的关系公式如下:

其中:(x，y)为相机中像素坐标，(X，Y，Z)为真实世界坐标，K为相机内参矩阵，(R，t)为外参矩阵，R描述照相机方向的旋转矩阵，t描述相机中心位置的三维平移向量，f表示焦距，s代表畸变系数，u₀,v₀为中心点坐标。

理想图像坐标到数字图像坐标的变换(只考虑径向偏差)，

其中，(u,v)为一个点实际的数字化坐标，(x,y)为理想的数字化坐标，(u_c,v_c)表示主点坐标，k₁为一阶畸变系数。

4.如权利要求3所述的用于自动校正无人机前视摄像机图像中心的方法，其特征在于：所述数字化坐标点(x,y)，(u,v)共线，或者直线(x,y)与直线(u,v)平行或斜率相等，通常把图像中心取作畸变中心的坐标(u₀,v₀)和主点的坐标(u_c,v_c)，则有：

5.如权利要求2所述的用于自动校正无人机前视摄像机图像中心的方法，其特征在于：步骤S6中，分析获取的摄像机所需调整姿态信息即参数旋转矩阵R和向x,y方向上的平移，t₁及t₂。

6.如权利要求5所述的用于自动校正无人机前视摄像机图像中心的方法，其特征在于：根据获取的摄像机所需调整姿态信息，

得到：

再根据上式得到：

由至少7组对应点，可以求得一组解：

M₀＝(m₁,m₂,m₃,m₄,m₅,m₆,m₇,m₈)≈(sr₁,sr₂,sr₃,st₁,r₄,r₅,r₆,t₂)

对M₀除以

则得到一组解(sr₁,sr₂,sr₃,st₁,r₄,r₅,r₆,t₂)；

由

可求出S，从而t₁也可以被解出。

(r₇,r₈,r₉)＝(r₁,r₂,r₃)×(r₄,r₅,r₆)

或(r₇,r₈,r₉)＝(r₄,r₅,r₆)×(r₁,r₂,r₃)；

根据det(R)＝1,来选择(r₇,r₈,r₉)。

7.如权利要求2所述的用于自动校正无人机前视摄像机图像中心的方法，其特征在于：步骤S6中，分析获取的摄像机所需调整姿态信息有效焦距f、z方向上的平移t₃和畸变参数k。

8.如权利要求7所述的用于自动校正无人机前视摄像机图像中心的方法，其特征在于：令

中k＝0作为初始值，

则有：x-u₀＝u-u₀ y-v₀＝v-v₀；

由此可以解出f,t₃，将求出的f,t₃.以及k＝0作为初始值，对下式进行线性优化：

可计算得到，有效焦距f和畸变参数k的真实值，进而确定摄相机的所需调整的姿态。

Images