CN109345590A - 一种基于双目视觉的无人机飞行程序校验系统及其方法 - Google Patents

一种基于双目视觉的无人机飞行程序校验系统及其方法 Download PDF

Info

Publication number
CN109345590A
CN109345590A CN201811186321.XA CN201811186321A CN109345590A CN 109345590 A CN109345590 A CN 109345590A CN 201811186321 A CN201811186321 A CN 201811186321A CN 109345590 A CN109345590 A CN 109345590A
Authority
CN
China
Prior art keywords
image
point
information
barrier
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811186321.XA
Other languages
English (en)
Inventor
史晓锋
亢凯
邓思琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongying Research Institute Of Beijing University Of Aeronautics And Astronautics
Original Assignee
Dongying Research Institute Of Beijing University Of Aeronautics And Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongying Research Institute Of Beijing University Of Aeronautics And Astronautics filed Critical Dongying Research Institute Of Beijing University Of Aeronautics And Astronautics
Priority to CN201811186321.XA priority Critical patent/CN109345590A/zh
Publication of CN109345590A publication Critical patent/CN109345590A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Abstract

本发明公开了一种基于双目视觉的无人机飞行程序校验系统及其方法，该方法包括：对双目立体视觉中的左右两台摄像机进行标定，获取左右两台摄像机在三维空间中的相互位置关系信息；采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息；将特征点信息与相互位置关系数据信息进行匹配并剔除错误信息，得到三维空间点匹配点对；构建计算模型，求解障碍物的空间三维坐标；将障碍物的空间三维坐标与已标注障碍物信息的无人机飞行路径信息进行对比；判断是否存在新的障碍物，若存在，记录新的障碍物的位置信息。该发明能自动记录新障碍物位置，提高飞行程序校验的精度和效率。

Description

一种基于双目视觉的无人机飞行程序校验系统及其方法
技术领域
本发明涉及航空飞行校验技术领域，特别是一种基于双目视觉的无人机飞行程序校验系统及其方法。
背景技术
飞行程序是为航空器运行规定的按顺序进行的一系列机动飞行，包括飞行路线、高度和机动区域。飞行程序设计是保证运行安全和进行空域规划的基础，对航空公司实现经济、高效飞行具有重要意义。飞行程序评估验证主要完成保护区超障分析和导航设施性能评估，确保满足飞行程序不同航段的所需导航性能和超障的要求。需要进行陆基导航设备性能评估、星基导航性能评估、机载设备完备性约束检验，同时还需要完成不同航段的保护区主区、副区、离场初始区以及爬升/下降梯度等进行超障分析和评价。
在超障设计检验中，判别各个超障设计是否安全的方式主要是通过飞行员观测。具体方式如下：校验飞机按照飞行程序中的最低飞行高度，完成程序飞行，通过目视观察，识别标注的障碍物，确认标注是否正确。记录障碍物有关信息。并观察是否有“新”的障碍物，若存在“新”障碍物，需要记录其位置。所以，现行的飞行程序校验方法受人为因素影响大，精度低，自动化程度低。
发明内容
本发明的目的是提供一种基于双目视觉的无人机飞行程序校验系统及其方法，能自动记录新障碍物位置，提高飞行程序校验的精度和效率。
为实现上述目的，本发明提供了如下方案：
一种基于双目视觉的无人机飞行程序校验方法，包括：
获取导航点数据以及障碍物数据；
对双目立体视觉中的左右两台摄像机进行标定，获取所述左右两台摄像机在三维空间中的相互位置关系信息；
将所述导航点数据以及障碍物数据输入到无人机校验系统软件中，得到已标注障碍物信息的无人机飞行路径信息；
采用SIFT(Scale-invariant feature transform，SIFT)角点检测算法，即尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息；
将所述特征点信息与所述左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对；
采用RANSAC(Random Sample Consensus)算子对所述匹配点对进行处理，去除错误匹配点，得到正确的三维空间点匹配点对；
通过所述正确的三维空间点匹配点对构建计算模型，求解障碍物的空间三维坐标；
将所述障碍物的空间三维坐标与所述已标注障碍物信息的无人机飞行路径信息进行对比；判断是否存在新的障碍物，若存在，记录所述新的障碍物的位置信息。
可选的，所述对双目立体视觉中的左右两台摄像机进行标定，获取所述左右两台摄像机在三维空间中的相互位置关系信息，具体包括：
用摄像机对标定模板图像进行拍摄，得到多组拍摄图像，每组所述拍摄图像均包含左右两幅不同的标定图像；
将拍摄的每组图像作为输入，应用张正友标定算法，求解所述摄像机的内外参数；
将所述摄像机的内外参数采用公式：
分别得到左右两台摄像机的投影矩阵M1和M2；
其中，ax、ay分别表示水平方向和竖直方向的有效焦距，ax＝f/dX ay＝f/dY，dX、dY分别是水平竖直的像元距,u0、v0为光学中心，R为旋转矩阵，t为平移矩阵；
对双目立体视觉中左右两台摄像机的各自内外参数进行标定，再基于双目立体视觉系统进行左右两台摄像机之间位置关系的标定，获得所述左右两摄像机在三维空间中的相互位置关系，完成整个标定过程。
可选的，所述采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息，还包括：采用尺度不变特征变换角点检测算法提取出原始的图像极值点；采用Harris角点检测算法对所述图像极值点进行二次检测，得到最终的图像特征点，具体包括：
通过高斯差边缘检测分算子建立图像的尺度空间L(x,y,σ)；其中，(x,y)为空间点图像坐标，表示图像像素的位置；σ表示高斯函数的均方差，一般取1～10；
提取所述高斯差边缘检测分算子建立图像的尺度空间内的所有局部极值点；
将所述局部极值点记作本文改进角点检测算法中的初始特征点；
采用SIFT角点检测算法根据所述初始特征点，采用公式：
计算初始特征点R的值；
其中，I(x,y)是图像的灰度值；
根据所述初始特征点的R值将所有所述局部极值点的值按从大到小排列，并选取R值排列中的前N个极值点作为最终的特征点；其中，N的值为初始特征点数的0.05倍。
可选的，所述将所述特征点信息与所述左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对，具体包括：
完成对双目立体视觉系统中左右两台摄像机的标定，得到的投影矩阵分别为M1和M2；假设某一空间点M(Xw,Yw,Zw)在左右两摄像机的图像平面上的所成的投影点分别为m1(u1,v1)、m2(u2,v2)；将所述采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息与得到的投影点进行匹配。
可选的，所述通过所述三维空间点坐标构建计算模型，求解障碍物的空间三维坐标，具体包括：
采用公式：
PM＝Q
M＝[Xw Yw Zw]T
则有：
M＝(PTP)-1PTQ
构建计算模型，求解障碍物的空间三维坐标；
其中，分别为投影矩阵Mk的第i行第j列元素。
一种基于双目视觉的无人机飞行程序校验系统，包括：
数据获取模块，用于获取导航点数据以及障碍物数据；
标定模块，用于对双目立体视觉中的左右两台摄像机进行标定，获取所述左右两台摄像机在三维空间中的相互位置关系信息；
障碍物信息基准模块，用于将所述导航点数据以及障碍物数据输入到无人机校验系统软件中，得到已标注障碍物信息的无人机飞行路径信息；
图像特征点获取模块，用于采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息；
匹配模块，用于将所述特征点信息与所述左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对；
纠错模块，用于采用RANSAC算子对所述匹配点对进行处理，去除错误匹配点，得到正确的三维空间点匹配点对；
障碍物空间位置获取模块，用于通过所述正确的三维空间点匹配点对构建计算模型，求解障碍物的空间三维坐标；
新障碍物检测模块，用于将所述障碍物的空间三维坐标与所述已标注障碍物信息的无人机飞行路径信息进行对比；判断是否存在新的障碍物，若存在，记录所述新的障碍物的位置信息。
可选的，所述标定模块具体包括：
图像拍摄单元，用于采用摄像机对标定模板图像进行拍摄，得到多组拍摄图像，每组所述拍摄图像均包含左右两幅不同的标定图像；
摄像机的内外参数求取单元，用于将拍摄的每组图像作为输入，应用张正友标定算法，求解所述摄像机的内外参数；
投影矩阵获取单元，用于将所述摄像机的内外参数采用公式：
分别得到左右两台摄像机的投影矩阵M1和M2；
其中，ax、ay分别表示水平方向和竖直方向的有效焦距，ax＝f/dXay＝f/dY，dX、dY分别是水平竖直的像元距,u0、v0为光学中心，R为旋转矩阵，t为平移矩阵；
摄像机位置关系确定单元，用于对双目立体视觉中左右两台摄像机的各自内外参数进行标定，再基于双目立体视觉系统进行左右两台摄像机之间位置关系的标定，获得左右两摄像机在三维空间中的相互位置关系，完成整个标定过程。
可选的，所述图像特征点获取模块还包括：原始图像极值点提取单元，用于采用尺度不变特征变换角点检测算法提取出原始的图像极值点；最终图像特征点确定单元，用于采用Harris角点检测算法对所述图像极值点进行二次检测，得到最终的图像特征点，具体包括：
图像尺度空间确定子单元，用于通过高斯差边缘检测分算子建立图像的尺度空间L(x,y,σ)；其中，(x,y)为空间点图像坐标，表示图像像素的位置；σ表示高斯函数的均方差，一般取1～10；
局部极值点获取子单元，用于提取所述高斯差边缘检测分算子建立图像的尺度空间内的所有局部极值点；
初始特征点检测子单元，用于将所述局部极值点记作本文改进角点检测算法中的初始特征点；
采用SIFT角点检测算法根据所述初始特征点，采用公式：
计算初始特征点R的值；
其中，I(x,y)是图像的灰度值；
排序子单元，用于根据所述初始特征点的R值将所有所述局部极值点的值按从大到小排列，并选取R值排列中的前N个极值点作为最终的特征点；其中，N的值为初始特征点数的0.05倍。
可选的，所述匹配模块，具体包括：
投影点获取单元，用于完成对双目立体视觉系统中左右两台摄像机的标定，得到的投影矩阵分别为M1和M2；假设某一空间点M(Xw,Yw,Zw)在所述左右两摄像机的图像平面上的所成的投影点分别为m1(u1,v1)、m2(u2,v2)；
匹配单元，用于将所述采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息与得到的投影点进行匹配。
可选的，所述障碍物空间位置获取模块，具体包括：
障碍物空间位置获取单元，用于采用公式：
PM＝Q
M＝[Xw Yw Zw]T
则有：
M＝(PTP)-1PTQ
构建计算模型，求解障碍物的空间三维坐标；
其中，分别为投影矩阵Mk的第i行第j列元素。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供一种基于双目视觉的无人机飞行程序校验系统及其方法，在无人机上由视觉检测识别障碍物并进行三维空间点重建，然后记录其位置的方式，代替有人机的“飞行员目视观测记录信息”的校验方式，节省了人力和飞行成本、提高了效率，提高校验的完整性。通过视觉识别检测障碍物，同时提供更加完整的数据记录过程和评估依据，使校验结果的出具更加合理，提高了校验的精度，根据图像融合和双目视觉定位，检测并记录障碍物空间位置，从而实现校验，因此具有广阔的应用价值和市场前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于双目视觉的无人机飞行程序校验方法的流程示意图；
图2为本发明基于双目视觉的无人机飞行程序校验系统的结构示意图；
图3为本发明基于双目视觉的无人机飞行程序校验系统的摄像机安装示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于双目视觉的无人机飞行程序校验系统及其方法，能自动记录新障碍物位置，提高飞行程序校验的精度和效率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于双目视觉的无人机飞行程序校验方法的流程示意图。
如图1所示，一种基于双目视觉的无人机飞行程序校验方法，包括：
步骤101：获取导航点数据以及障碍物数据；
步骤102：对双目立体视觉中的左右两台摄像机进行标定，获取左右两台摄像机在三维空间中的相互位置关系信息；
步骤103：将导航点数据以及障碍物数据输入到无人机校验系统软件中，得到已标注障碍物信息的无人机飞行路径信息；
步骤104：采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息；
步骤105：将特征点信息与左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对；
步骤106：采用RANSAC算子对匹配点对进行处理，去除错误匹配点，得到正确的三维空间点匹配点对；
步骤107：通过正确的三维空间点匹配点对构建计算模型，求解障碍物的空间三维坐标；
步骤108：将障碍物的空间三维坐标与已标注障碍物信息的无人机飞行路径信息进行对比；判断是否存在新的障碍物，若存在，记录新的障碍物的位置信息。
步骤102：对双目立体视觉中的左右两台摄像机进行标定，获取左右两台摄像机在三维空间中的相互位置关系信息，具体包括：
用摄像机对标定模板图像进行拍摄，得到多组拍摄图像，每组拍摄图像均包含左右两幅不同的标定图像；
将拍摄的每组图像作为输入，应用张正友标定算法，求解摄像机的内外参数；
将摄像机的内外参数采用公式：
分别得到左右两台摄像机的投影矩阵M1和M2；
其中，ax、ay分别表示水平方向和竖直方向的有效焦距，ax＝f/dX ay＝f/dY，dX、dY分别是水平竖直的像元距,u0、v0为光学中心，R为旋转矩阵，t为平移矩阵；
对双目立体视觉中左右两台摄像机的各自内外参数进行标定，再基于双目立体视觉系统进行左右两台摄像机之间位置关系的标定，获得左右两摄像机在三维空间中的相互位置关系，完成整个标定过程。
步骤104：采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息，还包括：采用尺度不变特征变换角点检测算法提取出原始的图像极值点；采用Harris角点检测算法对图像极值点进行二次检测，得到最终的图像特征点，具体包括：
通过高斯差边缘检测分算子建立图像的尺度空间L(x,y,σ)；其中，(x,y)为空间点图像坐标，表示图像像素的位置；σ表示高斯函数的均方差，一般取1～10；
提取高斯差边缘检测分算子建立图像的尺度空间内的所有局部极值点；
将局部极值点记作本文改进角点检测算法中的初始特征点；
采用SIFT角点检测算法根据初始特征点，采用公式：
计算初始特征点R的值；
其中，I(x,y)是图像的灰度值；
根据初始特征点的R值将所有局部极值点的值按从大到小排列，并选取R值排列中的前N个极值点作为最终的特征点；其中，N的值为初始特征点数的0.05倍。
步骤105：将特征点信息与左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对，具体包括：
完成对双目立体视觉系统中左右两台摄像机的标定，得到的投影矩阵分别为M1和M2；假设某一空间点M(Xw,Yw,Zw)在左右两摄像机的图像平面上的所成的投影点分别为m1(u1,v1)、m2(u2,v2)；将采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息与得到的投影点进行匹配。
步骤107：通过三维空间点坐标构建计算模型，求解障碍物的空间三维坐标，具体包括：
采用公式：
PM＝Q
M＝[Xw Yw Zw]T
则有：
M＝(PTP)-1PTQ
构建计算模型，求解障碍物的空间三维坐标；
其中，分别为投影矩阵Mk的第i行第j列元素。
图2为本发明基于双目视觉的无人机飞行程序校验系统的结构示意图。
如图2所示，一种基于双目视觉的无人机飞行程序校验系统，包括：
数据获取模块201，用于获取导航点数据以及障碍物数据；
标定模块202，用于对双目立体视觉中的左右两台摄像机进行标定，获取左右两台摄像机在三维空间中的相互位置关系信息；
障碍物信息基准模块203，用于将导航点数据以及障碍物数据输入到无人机校验系统软件中，得到已标注障碍物信息的无人机飞行路径信息；
图像特征点获取模块204，用于采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息；
匹配模块205，用于将特征点信息与左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对；
纠错模块206，用于采用RANSAC算子对匹配点对进行处理，去除错误匹配点，得到正确的三维空间点匹配点对；
障碍物空间位置获取模块207，用于通过正确的三维空间点匹配点对构建计算模型，求解障碍物的空间三维坐标；
新障碍物检测模块208，用于将障碍物的空间三维坐标与已标注障碍物信息的无人机飞行路径信息进行对比；判断是否存在新的障碍物，若存在，记录新的障碍物的位置信息。
标定模块202具体包括：
图像拍摄单元，用于采用摄像机对标定模板图像进行拍摄，得到多组拍摄图像，每组拍摄图像均包含左右两幅不同的标定图像；
摄像机的内外参数求取单元，用于将拍摄的每组图像作为输入，应用张正友标定算法，求解摄像机的内外参数；
投影矩阵获取单元，用于将摄像机的内外参数采用公式：
分别得到左右两台摄像机的投影矩阵M1和M2；
其中，ax、ay分别表示水平方向和竖直方向的有效焦距，ax＝f/dX ay＝f/dY，dX、dY分别是水平竖直的像元距,u0、v0为光学中心，R为旋转矩阵，t为平移矩阵；
摄像机位置关系确定单元，用于对双目立体视觉中左右两台摄像机的各自内外参数进行标定，再基于双目立体视觉系统进行左右两台摄像机之间位置关系的标定，获得左右两摄像机在三维空间中的相互位置关系，完成整个标定过程；
在进行拍摄时，应用软件绘制一张的黑白相间正方形格子标定模板，使用纸打印并张贴于空白墙上，用数码相机进行拍摄，模拟双目立体视觉拍摄左右两幅不同的标定图像进行摄像机标定使用。
图像特征点获取模块204还包括：原始图像极值点提取单元，用于采用尺度不变特征变换角点检测算法提取出原始的图像极值点；最终图像特征点确定单元，用于采用Harris角点检测算法对图像极值点进行二次检测，得到最终的图像特征点，具体包括：
图像尺度空间确定子单元，用于通过高斯差边缘检测分算子建立图像的尺度空间L(x,y,σ)；其中，(x,y)为空间点图像坐标，表示图像像素的位置；σ表示高斯函数的均方差，一般取1～10；
局部极值点获取子单元，用于提取高斯差边缘检测分算子建立图像的尺度空间内的所有局部极值点；
初始特征点检测子单元，用于将局部极值点记作本文改进角点检测算法中的初始特征点；
采用SIFT角点检测算法根据初始特征点，采用公式：
计算初始特征点R的值；
其中，I(x,y)是图像的灰度值；
排序子单元，用于根据初始特征点的R值将所有局部极值点的值按从大到小排列，并选取R值排列中的前N个极值点作为最终的特征点；其中，N的值为初始特征点数的0.05倍。
匹配模块205，具体包括：
投影点获取单元，用于完成对双目立体视觉系统中左右两台摄像机的标定，得到的投影矩阵分别为M1和M2；假设某一空间点M(Xw,Yw,Zw)在左右两摄像机的图像平面上的所成的投影点分别为m1(u1,v1)、m2(u2,v2)；
匹配单元，用于将采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息与得到的投影点进行匹配。
障碍物空间位置获取模块207，具体包括：
障碍物空间位置获取单元，用于采用公式：
PM＝Q
M＝[Xw Yw Zw]T
则有：
M＝(PTP)-1PTQ
构建计算模型，求解障碍物的空间三维坐标；
其中，分别为投影矩阵Mk的第i行第j列元素。
图3为本发明基于双目视觉的无人机飞行程序校验系统的摄像机安装示意图。
如图3所示，摄像机安装，基于双摄像机的双目立体视觉系统中的两摄像机各自安装在稳定的平台上，在进行基于双目立体视觉系统的摄像机标定及三维空间点重建的过程中，必须确保两摄像机各自的内外参数以及两摄像机间的相互位置关系不发生改变，否则需要重新对两摄像机进行标定处理，增加了工作量。关于双目立体视觉系统中两摄像机的安装直接影响了双目立体视觉系统的结构精度。
本发明的特点及有益效果在于：
提高飞行校验的效率。在无人机上由视觉检测识别障碍物并进行三维空间点重建，然后记录其位置的方式，代替有人机的“飞行员目视观测记录信息”的校验方式，节省人力和飞行成本、提高效率。
提高校验的完整性。通过视觉识别检测障碍物，同时提供更加完整的数据记录过程和评估依据，使校验结果的出具更加合理。
本发明提供的一种基于双目视觉的无人机飞行程序校验系统及其方法，通过“计算机视觉识别障碍物”这种方法提高了校验的精度，根据图像融合和双目视觉定位，检测并记录障碍物空间位置，从而实现校验，因此具有广阔的应用价值和市场前景。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于双目视觉的无人机飞行程序校验方法，其特征在于，包括：
获取导航点数据以及障碍物数据；
对双目立体视觉中的左右两台摄像机进行标定，获取所述左右两台摄像机在三维空间中的相互位置关系信息；
将所述导航点数据以及障碍物数据输入到无人机校验系统软件中，得到已标注障碍物信息的无人机飞行路径信息；
采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息；
将所述特征点信息与所述左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对；
采用RANSAC算子对所述匹配点对进行处理，去除错误匹配点，得到正确的三维空间点匹配点对；
通过所述正确的三维空间点匹配点对构建计算模型，求解障碍物的空间三维坐标；
将所述障碍物的空间三维坐标与所述已标注障碍物信息的无人机飞行路径信息进行对比；判断是否存在新的障碍物，若存在，记录所述新的障碍物的位置信息。
2.根据权利要求1所述的一种基于双目视觉的无人机飞行程序校验方法，其特征在于，所述对双目立体视觉中的左右两台摄像机进行标定，获取所述左右两台摄像机在三维空间中的相互位置关系信息，具体包括：
用摄像机对标定模板图像进行拍摄，得到多组拍摄图像，每组所述拍摄图像均包含左右两幅不同的标定图像；
将拍摄的每组图像作为输入，应用张正友标定算法，求解所述摄像机的内外参数；
将所述摄像机的内外参数采用公式：
分别得到所述左右两台摄像机的投影矩阵M1和M2；
其中，ax、ay分别表示水平方向和竖直方向的有效焦距，ax＝f/dX ay＝f/dY，dX、dY分别是水平竖直的像元距,u0、v0为光学中心，R为旋转矩阵，t为平移矩阵；
对双目立体视觉中左右两台摄像机的各自内外参数进行标定，再基于双目立体视觉系统进行所述左右两台摄像机之间位置关系的标定，获得所述左右两摄像机在三维空间中的相互位置关系，完成整个标定过程。
3.根据权利要求1所述的一种基于双目视觉的无人机飞行程序校验方法，其特征在于，所述采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息，还包括：采用尺度不变特征变换角点检测算法提取出原始的图像极值点；采用Harris角点检测算法对所述图像极值点进行二次检测，得到最终的图像特征点，具体包括：
通过高斯差边缘检测分算子建立图像的尺度空间L(x,y,σ)；其中，(x,y)为空间点图像坐标，表示图像像素的位置；σ表示高斯函数的均方差，一般取1～10；
提取所述高斯差边缘检测分算子建立图像的尺度空间内的所有局部极值点；
将所述局部极值点记作本文改进角点检测算法中的初始特征点；
采用SIFT角点检测算法根据所述初始特征点，采用公式：
计算初始特征点R的值；
其中，I(x,y)是图像的灰度值；
根据所述初始特征点的R值将所有所述局部极值点的值按从大到小排列，并选取R值排列中的前N个极值点作为最终的特征点；其中，N的值为初始特征点数的0.05倍。
4.根据权利要求1所述的一种基于双目视觉的无人机飞行程序校验方法，其特征在于，所述将所述特征点信息与所述左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对，具体包括：
完成对双目立体视觉系统中左右两台摄像机的标定，得到的投影矩阵分别为M1和M2；假设某一空间点M(Xw,Yw,Zw)在左右两摄像机的图像平面上的所成的投影点分别为m1(u1,v1)、m2(u2,v2)；将所述采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息与得到的投影点进行匹配。
5.根据权利要求1所述的一种基于双目视觉的无人机飞行程序校验方法，其特征在于，所述通过所述三维空间点坐标构建计算模型，求解障碍物的空间三维坐标，具体包括：
采用公式：
PM＝Q
M＝[Xw Yw Zw]T
则有：
M＝(PTP)-1PTQ
构建计算模型，求解障碍物的空间三维坐标；
其中，分别为投影矩阵Mk的第i行第j列元素。
6.一种基于双目视觉的无人机飞行程序校验系统，其特征在于，包括：
数据获取模块，用于获取导航点数据以及障碍物数据；
标定模块，用于对双目立体视觉中的左右两台摄像机进行标定，获取所述左右两台摄像机在三维空间中的相互位置关系信息；
障碍物信息基准模块，用于将所述导航点数据以及障碍物数据输入到无人机校验系统软件中，得到已标注障碍物信息的无人机飞行路径信息；
图像特征点获取模块，用于采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息；
匹配模块，用于将所述特征点信息与所述左右两台摄像机在三维空间中的相互位置关系数据信息进行匹配，得到三维空间点匹配点对；
纠错模块，用于采用RANSAC算子对所述匹配点对进行处理，去除错误匹配点，得到正确的三维空间点匹配点对；
障碍物空间位置获取模块，用于通过所述正确的三维空间点匹配点对构建计算模型，求解障碍物的空间三维坐标；
新障碍物检测模块，用于将所述障碍物的空间三维坐标与所述已标注障碍物信息的无人机飞行路径信息进行对比；判断是否存在新的障碍物，若存在，记录所述新的障碍物的位置信息。
7.根据权利要求6所述的一种基于双目视觉的无人机飞行程序校验系统，其特征在于，所述标定模块具体包括：
图像拍摄单元，用于采用摄像机对标定模板图像进行拍摄，得到多组拍摄图像，每组所述拍摄图像均包含左右两幅不同的标定图像；
摄像机的内外参数求取单元，用于将拍摄的每组图像作为输入，应用张正友标定算法，求解所述摄像机的内外参数；
投影矩阵获取单元，用于将所述摄像机的内外参数采用公式：
分别得到左右两台摄像机的投影矩阵M1和M2；
其中，ax、ay分别表示水平方向和竖直方向的有效焦距，ax＝f/dX ay＝f/dY，dX、dY分别是水平竖直的像元距,u0、v0为光学中心，R为旋转矩阵，t为平移矩阵；
摄像机位置关系确定单元，用于对双目立体视觉中左右两台摄像机的各自内外参数进行标定，再基于双目立体视觉系统进行所述左右两台摄像机之间位置关系的标定，获得所述左右两摄像机在三维空间中的相互位置关系，完成整个标定过程。
8.根据权利要求6所述的一种基于双目视觉的无人机飞行程序校验系统，其特征在于，所述图像特征点获取模块还包括：原始图像极值点提取单元，用于采用尺度不变特征变换角点检测算法提取出原始的图像极值点；最终图像特征点确定单元，用于采用Harris角点检测算法对所述图像极值点进行二次检测，得到最终的图像特征点，具体包括：
图像尺度空间确定子单元，用于通过高斯差边缘检测分算子建立图像的尺度空间L(x,y,σ)；其中，(x,y)为空间点图像坐标，表示图像像素的位置；σ表示高斯函数的均方差，一般取1～10；
局部极值点获取子单元，用于提取所述高斯差边缘检测分算子建立图像的尺度空间内的所有局部极值点；
初始特征点检测子单元，用于将所述局部极值点记作本文改进角点检测算法中的初始特征点；
采用SIFT角点检测算法根据所述初始特征点，采用公式：
计算初始特征点R的值；
其中，I(x,y)是图像的灰度值；
排序子单元，用于根据所述初始特征点的R值将所有所述局部极值点的值按从大到小排列，并选取R值排列中的前N个极值点作为最终的特征点；其中，N的值为初始特征点数的0.05倍。
9.根据权利要求6所述的一种基于双目视觉的无人机飞行程序校验系统，其特征在于，所述匹配模块，具体包括：
投影点获取单元，用于完成对双目立体视觉系统中左右两台摄像机的标定，得到的投影矩阵分别为M1和M2；假设某一空间点M(Xw,Yw,Zw)在所述左右两摄像机的图像平面上的所成的投影点分别为m1(u1,v1)、m2(u2,v2)；
匹配单元，用于将所述采用尺度不变特征变换角点检测算法结合Harris角点检测算法获得图像特征点信息与得到的投影点进行匹配。
10.根据权利要求6所述的一种基于双目视觉的无人机飞行程序校验系统，其特征在于，所述障碍物空间位置获取模块，具体包括：
障碍物空间位置获取单元，用于采用公式：
PM＝Q
M＝[Xw Yw Zw]T
则有：
M＝(PTP)-1PTQ
构建计算模型，求解障碍物的空间三维坐标；
其中，分别为投影矩阵Mk的第i行第j列元素。
CN201811186321.XA 2018-10-12 2018-10-12 一种基于双目视觉的无人机飞行程序校验系统及其方法 Pending CN109345590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811186321.XA CN109345590A (zh) 2018-10-12 2018-10-12 一种基于双目视觉的无人机飞行程序校验系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811186321.XA CN109345590A (zh) 2018-10-12 2018-10-12 一种基于双目视觉的无人机飞行程序校验系统及其方法

Publications (1)

Publication Number Publication Date
CN109345590A true CN109345590A (zh) 2019-02-15

Family

ID=65309643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811186321.XA Pending CN109345590A (zh) 2018-10-12 2018-10-12 一种基于双目视觉的无人机飞行程序校验系统及其方法

Country Status (1)

Country Link
CN (1) CN109345590A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241979A (zh) * 2020-01-07 2020-06-05 浙江科技学院 一种基于图像特征标定的实时障碍物检测方法
CN113567451A (zh) * 2021-07-23 2021-10-29 江苏电力信息技术有限公司 一种电缆线缺陷检测以及直径测量方法
CN114920198A (zh) * 2022-05-07 2022-08-19 中国人民解放军32181部队 一种基于目标识别系统的自动加油系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106205223A (zh) * 2016-09-21 2016-12-07 江西天祥通用航空股份有限公司 一种针对障碍物的预警方法及系统
CN108230404A (zh) * 2018-03-20 2018-06-29 珊口（上海）智能科技有限公司 标定系统、标定方法及所适用的设备
US20180188384A1 (en) * 2017-01-04 2018-07-05 Qualcomm Incorporated Systems and methods for using a sliding window of global positioning epochs in visual-inertial odometry

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106205223A (zh) * 2016-09-21 2016-12-07 江西天祥通用航空股份有限公司 一种针对障碍物的预警方法及系统
US20180188384A1 (en) * 2017-01-04 2018-07-05 Qualcomm Incorporated Systems and methods for using a sliding window of global positioning epochs in visual-inertial odometry
CN108230404A (zh) * 2018-03-20 2018-06-29 珊口（上海）智能科技有限公司 标定系统、标定方法及所适用的设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
段连飞 等: "《无人机载SAR图像信息提取技术》", 30 April 2016 *
葛均强: "基于无人机航拍图像序列的三维重建研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈盼: "基于双目视觉的无人车行驶障碍物定位跟踪方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
高宏伟: "《电子封装工艺与装备技术基础教程》", 31 July 2017, 西安电子科技大学出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241979A (zh) * 2020-01-07 2020-06-05 浙江科技学院 一种基于图像特征标定的实时障碍物检测方法
CN111241979B (zh) * 2020-01-07 2023-06-23 浙江科技学院 一种基于图像特征标定的实时障碍物检测方法
CN113567451A (zh) * 2021-07-23 2021-10-29 江苏电力信息技术有限公司 一种电缆线缺陷检测以及直径测量方法
CN114920198A (zh) * 2022-05-07 2022-08-19 中国人民解放军32181部队 一种基于目标识别系统的自动加油系统及方法

Similar Documents

Publication Publication Date Title
CN107514993B (zh) 基于无人机的面向单体建筑建模的数据采集方法及系统
CN107121125B (zh) 一种通讯基站天线位姿自动检测装置与方法
CN107314762B (zh) 基于无人机单目序列影像的电力线下方地物距离检测方法
CN105302151B (zh) 一种飞机入坞引导和机型识别的系统及方法
Vallet et al. Photogrammetric performance of an ultra light weight swinglet UAV
CN104091168B (zh) 基于无人机影像的电力线自动提取定位方法
CN105447868B (zh) 一种微小型无人机航拍数据的自动检查方法
CN109961497A (zh) 基于无人机影像的实时三维重建方法
CN107967685A (zh) 一种基于无人机遥感的桥梁墩塔裂缝无损定量检测方法
CN111080679A (zh) 一种对大型场所室内人员动态跟踪定位的方法
CN103941746A (zh) 无人机巡检图像处理系统及方法
CN109345590A (zh) 一种基于双目视觉的无人机飞行程序校验系统及其方法
CN107392247A (zh) 一种电力线下方地物安全距离实时检测方法
CN104933223B (zh) 一种输电线路通道数字化测绘方法
CN107300377A (zh) 一种绕飞轨迹下的旋翼无人机三维目标定位方法
CN104484870A (zh) 校验飞机定位方法
CN109829908A (zh) 基于双目影像的电力线下方地物安全距离检测方法及设备
KR101771492B1 (ko) 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템
CN109540104A (zh) 一种利用摄影测量技术用于公路管理的无人机系统
CN108871409A (zh) 一种故障检测方法和系统
Minghui et al. Deep learning enabled localization for UAV autolanding
CN115588144A (zh) 基于高斯动态阈值筛选的实时姿态捕捉方法及装置、设备
Xing et al. A method for building a mosaic with UAV images
CN105335764B (zh) 一种入坞飞机机型识别验证系统及方法
Douret et al. A multi-cameras 3d volumetric method for outdoor scenes: a road traffic monitoring application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215