CN106096207B - 一种基于多目视觉的旋翼无人机抗风评估方法及系统 - Google Patents

一种基于多目视觉的旋翼无人机抗风评估方法及系统 Download PDF

Info

Publication number
CN106096207B
CN106096207B CN201610499422.7A CN201610499422A CN106096207B CN 106096207 B CN106096207 B CN 106096207B CN 201610499422 A CN201610499422 A CN 201610499422A CN 106096207 B CN106096207 B CN 106096207B
Authority
CN
China
Prior art keywords
image
point
index
coordinate
index point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610499422.7A
Other languages
English (en)
Other versions
CN106096207A (zh
Inventor
郑顺义
王晓南
刘晓磊
徐俊忠
刘阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Meso Automation Technology Co Ltd
Original Assignee
Wuhan Meso Automation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Meso Automation Technology Co Ltd filed Critical Wuhan Meso Automation Technology Co Ltd
Priority to CN201610499422.7A priority Critical patent/CN106096207B/zh
Publication of CN106096207A publication Critical patent/CN106096207A/zh
Application granted granted Critical
Publication of CN106096207B publication Critical patent/CN106096207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/15Vehicle, aircraft or watercraft design
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Optimization (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computational Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Pure & Applied Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多目视觉的旋翼无人机抗风评估方法及系统,通过在无人机的旋翼上贴多个设有编号顺序的反光标志点,并对多台相机拍摄的无人机的飞行图像进行处理,根据图像上的标志点的位置,确定无人机起飞后的起始位置对应的各个标志点的基准三维坐标,以及无人机飞行旋转过程中得到的标志点对应的过程三维坐标,并将多个所述过程三维坐标中的标志点与所述基准三维坐标中对应的编号的标志点进行相似变换矩阵计算,得到多个偏移角度和位移距离,查找得到偏离所述基准坐标最大的角度以及最远的距离,将其作为无人机抗风性能的评估标准。本发明以非接触方式实现对无人机位置及姿态测量,得到的定位结果可靠性高。

Description

一种基于多目视觉的旋翼无人机抗风评估方法及系统
技术领域
本发明涉及无人机性能评估检测技术领域,具体涉及一种基于多目视觉的旋翼无人机抗风评估方法及系统。
背景技术
目前立体视觉坐标测量技术作为一种以立体视觉和光学成象原理为基础的非接触式三维测量技术,以其非接触性、并发测量速度快以及精度高等优点广泛应用于工业三维测量、虚拟现实建模、反求工程等不同领域。视觉测量是以计算机视觉为理论基础,采用高密度、低噪声和畸变小的图像传感器,通过高速实时图像采集系统,专用图像硬件处理系统以及高性能计算机完成对图像的有效处理的先进系统。它在电子学、光电探测、图像处理和计算机技术不断成熟和完善的基础上得到突飞猛进的发展,并在靶场测试、卫星监控等领域有着广泛应用。当前视觉测量的研究重点是对物体的几何尺寸及在空间的位置、姿态等的测量。视觉测量按照所用视觉传感器数量可分为单目视觉测量、双目视觉(立体视觉)测量和三(多)目视觉测量等。多目视觉测量是指利用多台相机或摄像机拍摄多张像片来进行测量工作,因其利用多台视觉传感器,所以该方法的优点是测量精度高。
现有技术中对无人机抗风性能的检测,多是通过根据测得的无人机飞行的地面的风速来估算无人机所处高度的风速,根据人眼观察到的无人机是否发生横向偏移来评估无人机的抗风性能,不够精确。
发明内容
本发明所要解决的技术问题是提供一种基于多目视觉的旋翼无人机抗风评估方法及系统,以测量风力试验场内旋翼无人机的位置及姿态,并对测得的无人机的位置以及姿态进行统计,进而评估旋翼无人机的抗风性能。
本发明解决上述技术问题的技术方案如下:
依据本发明的一个方面,提供了一种基于多目视觉的旋翼无人机抗风评估方法,所述方法包括:
S1、每隔设定时间采集摆放在特定位置的至少两台相机分别拍摄的贴有多个标志点的无人机的一张瞬时图像,得到包含至少两张图像的一个图像组并进行读取,直到读取的图像组中每张图像都能够确定出所有标志点时,确定所述所有标志点的三维坐标,并将其作为基准坐标;
S2、在所述基准坐标确定后,每隔所述设定时间采集一个图像组并进行读取,在所述图像组中的每张图像都包含所述多个标志点中的至少三个相对应的标志点时,确定所述至少三个相对应的标志点的三维坐标,将其作为过程坐标,并根据所述过程坐标中的标志点的三维坐标与所述基准坐标中相对应的标志点的三维坐标,计算出偏移角度和位移距离;
S3、在无人机的飞行过程结束后,从多个所述偏移角度和位移距离中,查找得到偏离所述基准坐标最大的角度以及最远的距离,将其作为无人机抗风性能的评估标准。
本发明的有益效果:本发明提供的一种基于多目视觉的旋翼无人机抗风评估方法,通过在无人机的旋翼上贴多个标志点,并对多台相机拍摄的无人机的飞行图像进行处理,根据图像上的标志点的位置,首先确定无人机起飞后的起始位置对应的各个标志点的基准三维坐标,然后确定在无人机飞行旋转过程中得到的标志点对应的过程三维坐标,并将多个所述过程三维坐标中的标志点与所述基准三维坐标中对应的编号的标志点进行对应,并进行计算,得到偏移角度和位移距离,查找得到偏离所述基准坐标最大的角度以及最远的距离,将其作为无人机抗风性能的评估标准。本发明以非接触方式实现对无人机位置及姿态测量,不会对无人机飞行造成任何影响,此外,该方法不受现场特高压输电形成电磁环境的影响,得到的定位结果可靠性高,无人机移动位置和姿态变化的自动计算大大降低了劳动强度,提高了作业效率。
进一步的,所述无人机上贴有的所述多个标志点预先设置有编号顺序,且多个所述标志点均为反光标志点。
采用上述进一步方案的有益效果:便于通过图像确定无人机上标志点的位置。
进一步的,S11、每隔设定时间向每台相机发送软触发信号,采集每台相机拍摄的一张图像,利用opencv库将格式为bmp的图像进行格式转换处理,得到格式为jpg的图像并进行保存,得到一个图像组。
S12、每隔设定时间读取保存得到的一个图像组,在能够确定所述图像组中每张图像中的初始标志点的位置以及其余所有标志点的编号时,转至步骤S13,否则跳转至步骤S11;
S13、对所述图像组中的相同编号的标志点进行匹配,并根据预设的相机之间的内外方位因素进行前方交会处理,得到所有标志点的三维坐标,并将其作为基准坐标。
采用上述进一步方案的有益效果:将格式为bmp的图像转换为jpg的格式,能够避免数据量过大,从而节约存储空间。确定无人机飞行后的起始位置的标志点的基准坐标,与后续的飞行过程的标志点的坐标进行对比,以对无人机的抗风性能进行评估。
进一步的,所述S21具体包括:读取一个图像组,分别对每张图像进行二值化处理,然后采用连通域搜索与合并的方法获得每张图像上不同标志点对应的连通域,计算出各个标志点的连通域重心之间的距离并进行排序,并根据排序结果确定初始标志点的位置;
然后根据预先设置的所述初始标志点与其余标志点的相对位置关系,利用数学叉乘的方法计算夹角,分别确定每张图像中其余所有标志点的编号。
采用上述进一步方案的有益效果:根据图像确定无人机上的贴的各个标志点的顺序编号。
进一步的,所述S2具体包括:
S21、在所述基准坐标确定后,每隔所述设定时间采集一个图像组并进行读取,分别搜索确定每张图像上的初始标志点的位置;
S22、如果在该图像组中至少有两张图像分别确定了初始标志点的位置,则根据所述相对位置关系,分别确定其余标志点的编号,并转至步骤S23;否则,则跳转至步骤S21;
S23、如果在该图像组中的至少两张图像中有至少三个标志点的编号可以进行匹配,则根据所述内外方位因素进行前方交会处理,得到匹配出的标志点的三维坐标,并将其作为过程坐标,并转至步骤S24;否则跳转至步骤S21;
S24、将所述过程坐标中的标志点的三维坐标与所述基准坐标中对应编号的标志点的三维坐标进行相似变换矩阵计算,得到旋转矩阵以及平移矩阵,并将旋转矩阵转换成偏移角度,平移矩阵转换成位移距离。
采用上述进一步方案的有益效果:确定无人机在不后续的飞行旋转过程中的标志点的过程坐标,并计算出偏移角度和位移距离,以对无人机的抗风性能进行评估。
依据本发明的另一个方面,提供了一种基于多目视觉的旋翼无人机抗风评估系统,包括:
采集保存模块,用于每隔设定时间采集摆放在特定位置的至少两台相机分别拍摄的贴有多个标志点的无人机的一张瞬时图像,得到包含至少两张图像的一个图像组;
基准坐标确定模块,用于读取采集得到的图像组,直到读取的图像组中每张图像都能够确定出所有标志点时,确定所述所有标志点的三维坐标,并将其作为基准坐标;
过程坐标确定模块,用于在所述基准坐标确定后,读取采集得到的图像组,在所述图像组中的每张图像都包含所述多个标志点中的至少三个相对应的标志点时,确定所述至少三个相对应的标志点的三维坐标,并将其作为过程坐标;
矩阵计算模块,用于根据所述过程坐标中的标志点的三维坐标与所述基准坐标中相对应的标志点的三维坐标,计算出偏移角度和位移距离;
性能评估模块,用于在无人机的飞行过程结束后,从多个所述偏移角度和位移距离中,查找得到偏离所述基准坐标最大的角度以及最远的距离,将其作为无人机抗风性能的评估标准。
本发明的有益效果:本发明提供的一种基于多目视觉的旋翼无人机抗风评估系统,通过在无人机的旋翼上贴多个标志点,并对多台相机拍摄的无人机的飞行图像进行处理,根据图像上的标志点的位置,首先确定无人机起飞后的起始位置对应的各个标志点的基准三维坐标,然后确定在无人机飞行旋转过程中得到的标志点对应的过程三维坐标,并将多个所述过程三维坐标中的标志点与所述基准三维坐标中对应的编号的标志点进行对应,并进行计算,得到偏移角度和位移距离,查找得到偏离所述基准坐标最大的角度以及最远的距离,将其作为无人机抗风性能的评估标准。本发明以非接触方式实现对无人机位置及姿态测量,不会对无人机飞行造成任何影响,此外,该方法不受现场特高压输电形成电磁环境的影响,得到的定位结果可靠性高,无人机移动位置和姿态变化的自动计算大大降低了劳动强度,提高了作业效率。
进一步的,所述无人机上贴有的所述多个标志点预先设置有编号顺序,且多个所述标志点均为反光标志点。
采用上述进一步方案的有益效果:便于通过图像确定无人机上标志点的位置。
进一步的,所述采集保存模块,具体用于:
每隔设定时间向每台相机发送软触发信号,采集每台相机拍摄的一张图像,利用opencv库将格式为bmp的图像进行格式转换处理,得到格式为jpg的图像并进行保存,得到一个图像组;
所述基准坐标确定模块,具体包括:
第一编号确定单元,用于每隔设定时间读取保存得到的一个图像组,确定所述图像组中每张图像中的初始标志点的位置以及其余所有标志点的编号;
第一匹配交会单元,用于对所述图像组中的相同编号的标志点进行匹配,并根据预设的相机之间的内外方位因素进行前方交会处理,得到所有标志点的三维坐标,并将其作为基准坐标。
采用上述进一步方案的有益效果:将格式为bmp的图像转换为jpg的格式,能够避免数据量过大,从而节约存储空间,确定无人机飞行后的起始位置的标志点的基准坐标,与后续的飞行过程的标志点的坐标进行对比,以对无人机的抗风性能进行评估。
进一步的,所述第一编号确定单元,具体用于:
读取一个图像组,分别对每张图像进行二值化处理,然后采用连通域搜索与合并的方法获得每张图像上不同标志点对应的连通域,计算出各个标志点的连通域重心之间的距离并进行排序,并根据排序结果确定初始标志点的位置,然后根据预先设置的所述初始标志点与其余标志点的相对位置关系,利用数学叉乘的方法计算夹角,分别确定每张图像中其余所有标志点的编号。
采用上述进一步方案的有益效果:根据图像确定无人机上的贴的各个标志点的顺序编号。
进一步的,所述过程坐标确定模块,具体包括:读取搜索单元,用于在所述基准坐标确定后,每隔所述设定时间读取一个图像组,分别搜索确定每张图像上的初始标志点的位置;
第二编号确定单元,用于如果在该图像组中至少有两张图像分别确定了初始标志点的位置,则根据所述相对位置关系,分别确定其余标志点的编号;
第二匹配交会单元,用于如果在该图像组中的至少两张图像中有至少三个标志点的编号可以进行匹配,则根据所述内外方位因素进行前方交会处理,得到匹配出的标志点的三维坐标,并将其作为过程坐标;
所述矩阵计算模块,具体用于:
将所述过程坐标中的标志点的三维坐标与所述基准坐标中对应编号的标志点的三维坐标进行相似变换矩阵计算,得到旋转矩阵以及平移矩阵,并将旋转矩阵转换成偏移角度,平移矩阵转换成位移距离。
采用上述进一步方案的有益效果:确定无人机在不后续的飞行旋转过程中的标志点的过程坐标,并计算出偏移角度和位移距离,以对无人机的抗风性能进行评估。
附图说明
图1为本发明实施例一的一种基于多目视觉的旋翼无人机抗风评估方法流程图;
图2为本发明实施例二的一种基于多目视觉的旋翼无人机抗风评估系统示意图;
图3为本发明实施例二的一种基于多目视觉的旋翼无人机抗风评估系统的安装位置示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
实施例一、一种基于多目视觉的旋翼无人机抗风评估方法。下面结合图1对本实施例提供的方法进行详细说明。
参见图1,S1、每隔设定时间采集摆放在特定位置的至少两台相机分别拍摄的贴有多个标志点的无人机的一张瞬时图像,得到包含至少两张图像的一个图像组并进行读取,直到读取的图像组中每张图像都能够确定出所有标志点时,确定所述所有标志点的三维坐标,并将其作为基准坐标。
具体的,在本实施例中,采用三台相机对无人机试验观测区中的无人机飞行进行拍照,三台相机相对于两台相机测量精度更高,无人机的旋翼上预先贴有编号顺序的多个反光标志点,其中包括初始标志点、第二标志点、第三标志点以及第四标志点,或者更多的标志点,不做限定,一般设为四到六个,其中初始标志点的周围设有多个与初始标志点距离小于设定辅助距离值mindis的多个辅助标志点,而初始标志点、第二标志点、第三标志点以及第四标志点相互之间的距离均大于所述辅助距离值mindis,因而根据各个标志点之间的距离值即可确定初始标志点的位置。另外,三台相机分别设为1号相机、2号相机以及3号相机,并对手动设定好曝光时间,配合无人机上的反光标志点以及相机上的滤光片和相机周围的红外灯,使得所成图像中无人机上的标志点与周围的背景反差最大,从而加速无人机标志点的定位。
具体的,所述步骤S1具体包括以下步骤:
S11、每隔设定时间向每台相机发送软触发信号,采集每台相机拍摄的一张图像,利用opencv库将格式为bmp的图像进行格式转换处理,得到格式为jpg的图像并进行保存,得到一个图像组。
每隔一段设定时间向摆放在特定位置的至少两台相机同时发送软触发信号,比如每隔500ms向多台相机发送一次软触发信号,即每隔500ms采集每台相机拍摄的一张图像,得到一组图像,每张图像中都包含有一个或者多个标志点,如果没有标志点的话,则本组图像数据作废,继续采集读取下一组图像数据,读取处理采集得到的一个图像组是在采集间隔的500ms时间内进行处理的,即采集一个图像图后立即进行处理,处理完之后立即采集下一个图像组,然后继续进行处理。
采集每台相机拍摄的一张图像后,利用opencv库将格式为bmp的图像进行格式转换处理,得到格式为jpg的图像并进行保存,得到一组图像,能够避免数据量过大,从而节约存储空间。
S12、每隔设定时间读取保存得到的一个图像组,在能够确定所述图像组中每张图像中的初始标志点的位置以及其余所有标志点的编号时,转至步骤S13,否则跳转至步骤S11。
具体的,每隔设定时间读取保存得到的一个图像组,分别对每张图像进行二值化处理,然后采用连通域搜索与合并的方法获得每张图像上不同标志点对应的连通域,计算出各个标志点的连通域重心之间的距离并进行排序,并根据排序结果确定初始标志点的位置;然后根据预先设置的所述初始标志点与其余标志点的相对位置关系,利用数学叉乘的方法计算夹角,分别确定每张图像中其余所有标志点的编号。
具体的,读取一个图像组,分别对每张图像进行二值化处理,将图像上的像素点的灰度值设置为0或255,使图像上的反光标志点的像素为255,背景的像素为0,以便能在图像上识别出反光标志点;然后采用连通域搜索与合并的方法获得每张图像上不同标志点对应的连通域,具体是指,首先通过八连通搜索方法得到每个标志点的连通域,因为拍摄的是无人机在飞行时的图像,所以采用八连通搜索得到的每个标志点的连通域可能是由多个小的连通域组成的,所以需要对多个小的连通域进行合并,得到一个标志点对应的一个大的连通域,合并依据是多个小连通域的包围盒有重叠部分或者很邻近,具体是如果两个小连通域的中心距离在水平和竖直方向的投影分别小于二者宽之和与高之和的一半加上一常量C,C=10像素,则对两个小连通域进行合并,若合并后的连通域点数介于给定阈值minSize和maxSize之间,使用几何重心法计算该连通域的中心。然后,计算出各个标志点的连通域重心之间的距离并进行排序,并根据排序结果确定初始标志点的位置,具体的,因为初始标志点的周围设有多个与初始标志点距离小于设定辅助距离值mindis的多个辅助标志点,而初始标志点、第二标志点、第三标志点以及第四标志点相互之间的距离均大于所述辅助距离值mindis,因而根据各个标志点之间的距离值即可确定初始标志点的位置,如果一个标志点的与其他标志点的最小距离和次小距离均小于所述辅助距离值mindis,则确定这个标志点为初始标志点。
然后根据预先设置的所述初始标志点与其余标志点的相对位置关系,这个位置关系是预先确定的已知数据,利用数学叉乘的方法计算夹角,分别确定每张图像中其余所有标志点的编号。
具体的,如果读取的一个图像组不能确定初始标志点或者确定了初始标志点但是无法确定其余全部有编号顺序的标志点,则该图像组数据作废,需要重新读取下一个图像组,即确定基准坐标的图像组必须要是能够确定所有标志点编号的图像数据。具体来说,在无人机起飞后,采集一个图像组,并进行读取,如果该图像组能够确定初始标志点的位置以及其余所有标志点的编号,则就将该图像组中对应的标志点的三维坐标作为基准坐标;如果该图像组不能够确定初始标志点的位置以及其余所有标志点的编号,则继续读取采集的下一个图像组,直到能够确定所有标志点位置与编号的图像组,然后将该图像组中对应的标志点的三维坐标作为基准坐标。
S13、对所述图像组中的相同编号的标志点进行匹配,并根据预设的相机之间的内外方位因素进行前方交会处理,得到所有标志点的三维坐标,并将其作为基准坐标。
具体的,将图像组中的每张图像中的相同编号的标志点进行匹配,并根据预设的相机之间的内外方位因素(相机提前标定好的数据,视为已知数据)进行前方交会处理,得到所有标志点的三维空间坐标,并将其作为基准坐标。
S2、在所述基准坐标确定后,每隔所述设定时间采集一个图像组并进行读取,在所述图像组中的每张图像都包含所述多个标志点中的至少三个相对应的标志点时,确定所述至少三个相对应的标志点的三维坐标,将其作为过程坐标,并根据所述过程坐标中的标志点的三维坐标与所述基准坐标中相对应的标志点的三维坐标,计算出偏移角度和位移距离。
具体的,所述S2具体包括以下步骤:
S21、在所述基准坐标确定后,每隔所述设定时间采集一个图像组并进行读取,分别搜索确定每张图像上的初始标志点的位置。
具体的,在所述基准坐标确定后,每隔所述设定时间采集一个图像组并进行读取,本步骤中分别搜索确定初始标志点的位置的方法与所述步骤S12完全相同。
S22、如果在该图像组中至少有两张图像分别确定了初始标志点的位置,则根据所述相对位置关系,分别确定其余标志点的编号,并转至步骤S23;否则,则跳转至步骤S21。
具体的,如果预先设置的是三台相机,则必须要保证该图像组中至少有两张图像能够确定出初始标志点的位置,若不能,则该图像组数据作废,跳转至步骤S31,继续读取下一组数据;若可以,则根据预先设置的所述初始标志点与其余标志点的相对位置关系,利用数学叉乘的方法计算夹角,分别确定每张图像中其余所有标志点的编号,确定每张图像中其余所有标志点的编号的方法与所述步骤21中的方法完全相同。
S23、如果在该图像组中的至少两张图像中有至少三个标志点的编号可以进行匹配,则根据所述内外方位因素进行前方交会处理,得到匹配出的标志点的三维坐标,并将其作为过程坐标,并转至步骤S24;否则跳转至步骤S31。
具体的,如果在该图像组中的至少两张图像中有至少三个标志点的编号可以进行匹配,则根据预设的相机之间的内外方位因素(相机提前标定好的数据,视为已知数据)进行前方交会处理,得到匹配出的标志点的三维坐标,并将其作为过程坐标;如果两张图像或者三张图像中只有两个或者一个标志点可以进行匹配,则跳转至步骤S31,继续读取下一组数据。
S24、将所述过程坐标中的标志点的三维坐标与所述基准坐标中对应编号的标志点的三维坐标进行相似变换矩阵计算,得到旋转矩阵以及平移矩阵,并将旋转矩阵转换成偏移角度,平移矩阵转换成位移距离。
具体的,将所述过程坐标中的标志点的三维坐标与所述基准坐标中对应编号的标志点的三维坐标进行一一对应后,再利用三维空间坐标相似变换的方法进行相似变换矩阵计算,得到旋转矩阵以及平移矩阵,并将旋转矩阵转换成偏移角度,平移矩阵转换成位移距离。
具体的,在确定基准坐标后,继续采集图像组数据进行读取,采集一个图像组后,立即进行处理,如果在该图像组中至少有两张图像分别确定了初始标志点的位置,并且在该图像组中的至少两张图像中有至少三个标志点的编号可以进行匹配,那么就计算出标志点的三维坐标,并将其作为过程坐标,并将所述过程坐标与所述基准坐标进行相似变换矩阵计算,得到偏移角度和平移距离并进行存储,然后继续采集下一个图像组并继续进行读取处理;如果在该图像组中少于两张图像分别确定了初始标志点的位置,或者在该图像组中的至少两张图像中少于三个标志点的编号可以进行匹配,那么该图像组数据作废,继续采集下一个图像组并继续进行读取处理;按照上述过程不断采集不断读取,直到无人机飞行过程结束。
S3、在无人机的飞行过程结束后,并从多个所述偏移角度和位移距离中,查找得到偏离所述基准坐标最大的角度以及最远的距离,将其作为无人机抗风性能的评估标准。
具体的,在无人机的飞行过程结束后,从由多个过程坐标与所述基准坐标进行计算得到的多个所述偏移角度和位移距离中,查找得到偏离所述基准坐标最大的角度以及最远的距离,将其作为无人机抗风性能的评估标准。
实施例二、一种基于多目视觉的旋翼无人机抗风评估系统。下面结合图2以及图3对本实施例提供的系统进行详细说明。
参见图2以及图3,本实施例提供的一种基于多目视觉的旋翼无人机抗风评估系统,包括采集保存模块41、基准坐标确定模块42、过程坐标确定模块43、矩阵计算模块44以及性能评估模块45,其中,所述基准坐标确定模块42具体包括第一编号确定单元421以及第一匹配交会单元422;所述过程坐标确定模块43具体包括读取搜索单元431、第二编号确定单元432以及第二匹配交会单元433。
所述基于多目视觉的旋翼无人机抗风评估系统通过有线线路或者无线线路与三台相机(优选方式)相连接,三台相机的摆放优选位置如图3所示,三台相机摆放在旋翼无人机飞行试验场,且在旋翼无人机飞行试验场还设置有四个鼓风机,具体如图3所示,无人机在旋翼无人机飞行试验场上空飞行旋转。
所述采集保存模块41,用于每隔设定时间采集摆放在特定位置的至少两台相机分别拍摄的贴有多个标志点的无人机的一张瞬时图像,得到包含至少两张图像的一个图像组。
具体的,在本实施例中,采用优选的三台相机对无人机试验观测区中的无人机飞行进行拍照,三台相机相对于两台相机测量精度更高,无人机的旋翼上预先贴有编号顺序的多个反光标志点,其中包括初始标志点、第二标志点、第三标志点以及第四标志点,或者更多的标志点,不做限定,一般设为四到六个,其中初始标志点的周围设有多个与初始标志点距离小于设定辅助距离值mindis的多个辅助标志点,而初始标志点、第二标志点、第三标志点以及第四标志点相互之间的距离均大于所述辅助距离值mindis,因而根据各个标志点之间的距离值即可确定初始标志点的位置。另外,三台相机分别设为1号相机、2号相机以及3号相机,并对手动设定好曝光时间,配合无人机上的反光标志点以及相机上的滤光片和相机周围的红外灯,使得所成图像中无人机上的标志点与周围的背景反差最大,从而加速无人机标志点的定位。
所述采集保存模块41每隔一段设定时间向摆放在特定位置的至少两台相机同时发送软触发信号,比如每隔500ms向多台相机发送一次软触发信号,即每隔500ms采集每台相机拍摄的一张图像,得到一组图像,每张图像中都包含有一个或者多个标志点,如果没有标志点的话,则本组图像数据作废。所述采集保存模块61采集每台相机拍摄的一张图像后,利用opencv库将格式为bmp的图像进行格式转换处理,得到格式为jpg的图像并进行保存,得到一组图像,能够避免数据量过大,从而节约存储空间。
所述基准坐标确定模块42,用于读取采集得到的图像组,直到读取的图像组中每张图像都能够确定出所有标志点时,确定所述所有标志点的三维坐标,并将其作为基准坐标。
所述基准坐标确定模块42,具体包括第一编号确定单元421以及第一匹配交会单元422。
第一编号确定单元421,用于每隔设定时间读取保存得到的一个图像组,确定所述图像组中每张图像中的初始标志点的位置以及其余所有标志点的编号。
具体的,所述第一编号确定单元421用于每隔设定时间读取保存得到的一个图像组,分别对每张图像进行二值化处理,然后采用连通域搜索与合并的方法获得每张图像上不同标志点对应的连通域,计算出各个标志点的连通域重心之间的距离并进行排序,并根据排序结果确定初始标志点的位置,然后根据预先设置的所述初始标志点与其余标志点的相对位置关系,利用数学叉乘的方法计算夹角,分别确定每张图像中其余所有标志点的编号。
第一匹配交会单元422,用于对所述第一编号确定单元中的图像组中的相同编号的标志点进行匹配,并根据预设的相机之间的内外方位因素进行前方交会处理,得到所有标志点的三维空间坐标,并将其作为基准坐标。
所述过程坐标确定模块43,用于在所述基准坐标确定后,读取采集得到的图像组,在所述图像组中的每张图像都包含所述多个标志点中的至少三个相对应的标志点时,确定所述至少三个相对应的标志点的三维坐标,并将其作为过程坐标。
所述过程坐标确定模块43,具体包括读取搜索单元431、第二编号确定单元432以及第二匹配交会单元433。
读取搜索单元431,用于在所述基准坐标确定后,每隔所述设定时间读取一个图像组,分别搜索确定每张图像上的初始标志点的位置。
第二编号确定单元432,用于如果在该图像组中至少有两张图像分别确定了初始标志点的位置,则根据所述相对位置关系,分别确定其余标志点的编号。
第二匹配交会单元433,用于如果在该图像组中的至少两张图像中有至少三个标志点的编号可以进行匹配,则根据所述内外方位因素进行前方交会处理,得到匹配出的标志点的三维坐标,并将其作为过程坐标。
所述矩阵计算模块44,用于根据所述过程坐标中的标志点的三维坐标与所述基准坐标中相对应的标志点的三维坐标,计算出偏移角度和位移距离。
具体的,所述矩阵计算模块,具体用于将所述过程坐标中的标志点的三维坐标与所述基准坐标中对应编号的标志点的三维坐标进行相似变换矩阵计算,得到旋转矩阵以及平移矩阵,并将旋转矩阵转换成偏移角度,平移矩阵转换成位移距离。
所述性能评估模块45,用于在无人机的飞行过程结束后,从多个所述偏移角度和位移距离中,查找得到偏离所述基准坐标最大的角度以及最远的距离,将其作为无人机抗风性能的评估标准。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多目视觉的旋翼无人机抗风评估方法,其特征在于,所述方法包括:
S1、每隔设定时间采集摆放在特定位置的至少两台相机分别拍摄的贴有多个标志点的无人机的一张瞬时图像,得到包含至少两张图像的一个图像组并进行读取,直到读取的图像组中每张图像都能够确定出所有标志点时,确定所述所有标志点的三维坐标,并将其作为基准坐标;
S2、在所述基准坐标确定后,每隔所述设定时间采集一个图像组并进行读取,在所述图像组中的每张图像都包含所述多个标志点中的至少三个相对应的标志点时,确定所述至少三个相对应的标志点的三维坐标,将其作为过程坐标,并根据所述过程坐标中的标志点的三维坐标与所述基准坐标中相对应的标志点的三维坐标,计算出偏移角度和位移距离;
S3、在无人机的飞行过程结束后,从多个所述偏移角度和位移距离中,查找得到偏离所述基准坐标最大的角度以及最远的距离,将其作为无人机抗风性能的评估标准;
其中,在所述S1中,直到读取的图像组中每张图像都能够确定出所有标志点时,确定所述所有标志点的三维坐标,并将其作为基准坐标的具体步骤包括:
所述无人机上贴有的所述多个标志点预先设置有编号顺序;根据预先设置的初始标志点与其余标志点的相对位置关系,利用数学叉乘的方法计算夹角,分别确定每张图像中其余所有标志点的编号;对所述图像组中的相同编号的标志点进行匹配,并根据预设的相机之间的内外方位因素进行前方交会处理,得到所有标志点的三维坐标,并将其作为基准坐标。
2.如权利要求1所述的一种基于多目视觉的旋翼无人机抗风评估方法,其特征在于,多个所述标志点均为反光标志点。
3.如权利要求2所述的一种基于多目视觉的旋翼无人机抗风评估方法,其特征在于,所述S1具体包括:
S11、每隔设定时间向每台相机发送软触发信号,采集每台相机拍摄的一张图像,利用opencv库将格式为bmp的图像进行格式转换处理,得到格式为jpg的图像并进行保存,得到一个图像组;
S12、每隔设定时间读取保存得到的一个图像组,在能够确定所述图像组中每张图像中的初始标志点的位置以及其余所有标志点的编号时,转至步骤S13,否则跳转至步骤S11;
S13、对所述图像组中的相同编号的标志点进行匹配,并根据预设的相机之间的内外方位因素进行前方交会处理,得到所有标志点的三维坐标,并将其作为基准坐标。
4.如权利要求3所述的一种基于多目视觉的旋翼无人机抗风评估方法,其特征在于,所述S12具体包括:
读取一个图像组,分别对每张图像进行二值化处理,然后采用连通域搜索与合并的方法获得每张图像上不同标志点对应的连通域,计算出各个标志点的连通域重心之间的距离并进行排序,并根据排序结果确定初始标志点的位置;
然后根据预先设置的所述初始标志点与其余标志点的相对位置关系,利用数学叉乘的方法计算夹角,分别确定每张图像中其余所有标志点的编号。
5.如权利要求4所述的一种基于多目视觉的旋翼无人机抗风评估方法,其特征在于,所述S2具体包括:
S21、在所述基准坐标确定后,每隔所述设定时间采集一个图像组并进行读取,分别搜索确定每张图像上的初始标志点的位置;
S22、如果在该图像组中至少有两张图像分别确定了初始标志点的位置,则根据所述相对位置关系,分别确定其余标志点的编号,并转至步骤S23;否则,则跳转至步骤S21;
S23、如果在该图像组中的至少两张图像中有至少三个标志点的编号可以进行匹配,则根据所述内外方位因素进行前方交会处理,得到匹配出的标志点的三维坐标,并将其作为过程坐标,并转至步骤S24;否则跳转至步骤S21;
S24、将所述过程坐标中的标志点的三维坐标与所述基准坐标中对应编号的标志点的三维坐标进行相似变换矩阵计算,得到旋转矩阵以及平移矩阵,并将旋转矩阵转换成偏移角度,平移矩阵转换成位移距离。
6.一种基于多目视觉的旋翼无人机抗风评估系统,其特征在于,包括:
采集保存模块,用于每隔设定时间采集摆放在特定位置的至少两台相机分别拍摄的贴有多个标志点的无人机的一张瞬时图像,得到包含至少两张图像的一个图像组;
基准坐标确定模块,用于读取采集得到的图像组,直到读取的图像组中每张图像都能够确定出所有标志点时,确定所述所有标志点的三维坐标,并将其作为基准坐标;
过程坐标确定模块,用于在所述基准坐标确定后,读取采集得到的图像组,在所述图像组中的每张图像都包含所述多个标志点中的至少三个相对应的标志点时,确定所述至少三个相对应的标志点的三维坐标,并将其作为过程坐标;
矩阵计算模块,用于根据所述过程坐标中的标志点的三维坐标与所述基准坐标中相对应的标志点的三维坐标,计算出偏移角度和位移距离;
性能评估模块,用于在无人机的飞行过程结束后,从多个所述偏移角度和位移距离中,查找得到偏离所述基准坐标最大的角度以及最远的距离,将其作为无人机抗风性能的评估标准;
其中,所述无人机上贴有的所述多个标志点预先设置有编号顺序;
所述基准坐标确定模块,具体用于根据预先设置的初始标志点与其余标志点的相对位置关系,利用数学叉乘的方法计算夹角,分别确定每张图像中其余所有标志点的编号;还具体用于对所述图像组中的相同编号的标志点进行匹配,并根据预设的相机之间的内外方位因素进行前方交会处理,得到所有标志点的三维坐标,并将其作为基准坐标。
7.如权利要求6所述的一种基于多目视觉的旋翼无人机抗风评估系统,其特征在于,多个所述标志点均为反光标志点。
8.如权利要求7所述的一种基于多目视觉的旋翼无人机抗风评估系统,其特征在于,所述采集保存模块,具体用于:
每隔设定时间向每台相机发送软触发信号,采集每台相机拍摄的一张图像,利用opencv库将格式为bmp的图像进行格式转换处理,得到格式为jpg的图像并进行保存,得到一个图像组;
所述基准坐标确定模块,具体包括:
第一编号确定单元,用于每隔设定时间读取保存得到的一个图像组,确定所述图像组中每张图像中的初始标志点的位置,以及根据预先设置的所述初始标志点与其余标志点的相对位置关系,利用数学叉乘的方法计算夹角,分别确定每张图像中其余所有标志点的编号;
第一匹配交会单元,用于对所述图像组中的相同编号的标志点进行匹配,并根据预设的相机之间的内外方位因素进行前方交会处理,得到所有标志点的三维坐标,并将其作为基准坐标。
9.如权利要求8所述的一种基于多目视觉的旋翼无人机抗风评估系统,其特征在于,所述第一编号确定单元,具体用于:
读取一个图像组,分别对每张图像进行二值化处理,然后采用连通域搜索与合并的方法获得每张图像上不同标志点对应的连通域,计算出各个标志点的连通域重心之间的距离并进行排序,并根据排序结果确定初始标志点的位置,然后根据预先设置的所述初始标志点与其余标志点的相对位置关系,利用数学叉乘的方法计算夹角,分别确定每张图像中其余所有标志点的编号。
10.如权利要求9所述的一种基于多目视觉的旋翼无人机抗风评估系统,其特征在于,所述过程坐标确定模块,具体包括:
读取搜索单元,用于在所述基准坐标确定后,每隔所述设定时间读取一个图像组,分别搜索确定每张图像上的初始标志点的位置;
第二编号确定单元,用于如果在该图像组中至少有两张图像分别确定了初始标志点的位置,则根据所述相对位置关系,分别确定其余标志点的编号;
第二匹配交会单元,用于如果在该图像组中的至少两张图像中有至少三个标志点的编号可以进行匹配,则根据所述内外方位因素进行前方交会处理,得到匹配出的标志点的三维坐标,并将其作为过程坐标;
所述矩阵计算模块,具体用于:
将所述过程坐标中的标志点的三维坐标与所述基准坐标中对应编号的标志点的三维坐标进行相似变换矩阵计算,得到旋转矩阵以及平移矩阵,并将旋转矩阵转换成偏移角度,平移矩阵转换成位移距离。
CN201610499422.7A 2016-06-29 2016-06-29 一种基于多目视觉的旋翼无人机抗风评估方法及系统 Active CN106096207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610499422.7A CN106096207B (zh) 2016-06-29 2016-06-29 一种基于多目视觉的旋翼无人机抗风评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610499422.7A CN106096207B (zh) 2016-06-29 2016-06-29 一种基于多目视觉的旋翼无人机抗风评估方法及系统

Publications (2)

Publication Number Publication Date
CN106096207A CN106096207A (zh) 2016-11-09
CN106096207B true CN106096207B (zh) 2019-06-07

Family

ID=57213893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610499422.7A Active CN106096207B (zh) 2016-06-29 2016-06-29 一种基于多目视觉的旋翼无人机抗风评估方法及系统

Country Status (1)

Country Link
CN (1) CN106096207B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106885622B (zh) * 2017-02-07 2019-08-30 上海理工大学 一种大视场多点三维振动测量方法
CN107796591B (zh) * 2017-09-08 2020-02-14 国网山东省电力公司电力科学研究院 一种用于小型旋翼机的抗风实验室以及实验方法
CN110176035B (zh) * 2019-05-08 2021-09-28 深圳市易尚展示股份有限公司 标志点的定位方法、装置、计算机设备和存储介质
CN110989643B (zh) * 2019-11-29 2023-12-19 北京特种机械研究所 一种基于多目视觉的无人机夜间植保系统
CN112924134A (zh) * 2021-01-25 2021-06-08 吉林大学 一种可移动抗风稳定性测试系统
CN113592721B (zh) * 2021-09-27 2021-12-17 天远三维(天津)科技有限公司 摄影测量方法、装置、设备及存储介质
CN114627395B (zh) * 2022-05-17 2022-08-05 中国兵器装备集团自动化研究所有限公司 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端
CN118314215A (zh) * 2024-04-02 2024-07-09 上海栎元医疗科技有限公司 三维医学图像标记点排序方法、系统、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103175524A (zh) * 2013-02-20 2013-06-26 清华大学 一种无标识环境下基于视觉的飞行器位置与姿态确定方法
CN104501779A (zh) * 2015-01-09 2015-04-08 中国人民解放军63961部队 基于多站测量的无人机高精度目标定位方法
US9208688B2 (en) * 2012-02-08 2015-12-08 The Boeing Company Wind calculation system using a constant bank angle turn
CN105427674A (zh) * 2015-11-02 2016-03-23 国网山东省电力公司电力科学研究院 一种无人机飞行状态实时评估预警系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9494941B2 (en) * 2009-06-26 2016-11-15 Luminati Aerospace Llc Method of guidance of unmanned aerial vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208688B2 (en) * 2012-02-08 2015-12-08 The Boeing Company Wind calculation system using a constant bank angle turn
CN103175524A (zh) * 2013-02-20 2013-06-26 清华大学 一种无标识环境下基于视觉的飞行器位置与姿态确定方法
CN104501779A (zh) * 2015-01-09 2015-04-08 中国人民解放军63961部队 基于多站测量的无人机高精度目标定位方法
CN105427674A (zh) * 2015-11-02 2016-03-23 国网山东省电力公司电力科学研究院 一种无人机飞行状态实时评估预警系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
UAV flight safety ground test and evaluation;Dawei Deng等;《2015 IEEE Autotestcon》;20151217;第422-427页
基于视觉的微小型四旋翼飞行器位姿估计研究与实现;刘晓杰;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20090815(第08期);第C031-1页
基于视觉的微小型四旋翼飞行机器人位姿估计与导航研究;郑伟;《中国博士学位论文全文数据库 信息科技辑》;20141015(第10期);第I140-48页

Also Published As

Publication number Publication date
CN106096207A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
CN106096207B (zh) 一种基于多目视觉的旋翼无人机抗风评估方法及系统
WO2022170878A1 (zh) 一种无人机测量输电线路影像距离的系统及方法
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN108317953A (zh) 一种基于无人机的双目视觉目标表面3d检测方法及系统
CN105424006B (zh) 基于双目视觉的无人机悬停精度测量方法
CN111178148B (zh) 一种基于无人机视觉系统的地面目标地理坐标定位方法
CN110415342A (zh) 一种基于多融合传感器的三维点云重建装置与方法
CN113436260A (zh) 基于多传感器紧耦合的移动机器人位姿估计方法和系统
WO2021208442A1 (zh) 一种三维场景的重建系统、方法、设备及存储介质
García-Moreno et al. LIDAR and panoramic camera extrinsic calibration approach using a pattern plane
CN112927133B (zh) 一种基于一体化标定参数的图像空间投影拼接方法
CN111307046B (zh) 基于半球图像的树高测量方法
Zhang et al. Deep learning based object distance measurement method for binocular stereo vision blind area
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
CN110992487A (zh) 手持式飞机油箱快速三维地图重建装置及重建方法
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
CN113379738A (zh) 一种基于图像的疫木检测与定位方法及系统
CN107272037A (zh) 一种道路设施位置、图像信息采集装置及采集信息的方法
CN103942786A (zh) 无人机可见光和红外图像的自适应团块目标检测方法
CN111402324A (zh) 一种目标测量方法、电子设备以及计算机存储介质
CN114529585A (zh) 基于深度视觉和惯性测量的移动设备自主定位方法
CN112489118B (zh) 一种无人机机载传感器组外参快速标定方法
CN109815966A (zh) 一种基于改进sift算法的移动机器人视觉里程计实现方法
Wei et al. A Compact Handheld Sensor Package with Sensor Fusion for Comprehensive and Robust 3D Mapping
CN112530014B (zh) 一种多无人机室内场景三维重建方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant