CN112712565A - 基于视觉与imu融合的飞机蒙皮损伤无人机绕检定位方法 - Google Patents

基于视觉与imu融合的飞机蒙皮损伤无人机绕检定位方法 Download PDF

Info

Publication number
CN112712565A
CN112712565A CN202011595863.XA CN202011595863A CN112712565A CN 112712565 A CN112712565 A CN 112712565A CN 202011595863 A CN202011595863 A CN 202011595863A CN 112712565 A CN112712565 A CN 112712565A
Authority
CN
China
Prior art keywords
camera
aerial vehicle
unmanned aerial
vision
aircraft skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011595863.XA
Other languages
English (en)
Other versions
CN112712565B (zh
Inventor
吴军
张美妙
李泽川
刘少禹
袁少博
祝玉恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN202011595863.XA priority Critical patent/CN112712565B/zh
Publication of CN112712565A publication Critical patent/CN112712565A/zh
Application granted granted Critical
Publication of CN112712565B publication Critical patent/CN112712565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法。其包括在待检测飞机旁建立视觉测量标定系统；标定视觉测量标定系统初始位置时相机的内外参数；确定不同角度下相机光心的位置关系；确定相机旋转轴的方向矢量；标定旋转轴的位置；计算旋转后相机间的外参数；确定无人机绕检过程的实时位姿参数等步骤。本发明提供的基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法能够有效地克服飞机蒙皮损伤检测无人机绕检定位的难点，提高了无人机绕检定位技术的精度，进而拓展了无人机绕检定位技术的应用场合。

Description

基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法
技术领域
本发明属于飞机蒙皮损伤检测技术领域，具体涉及一种基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法。
背景技术
飞机蒙皮作为机体的重要构件，不仅长期置于恶劣的外界环境中，而且还经常承受着各种阻力所产生的交变应力，这极易导致飞机蒙皮造成结构损伤，从而严重影响了飞机的飞行安全，所以对飞机蒙皮进行检测是工作人员的重要任务之一。
近些年，飞机蒙皮损伤检测方法主要有目视检测、超声波检测、渗透检测与涡流检测等，但这些检测方法各自存在着自身的局限性，而且存在检测盲区，难以保障飞机蒙皮损伤检测的质量。在这多种损伤检测方法中，基于视觉融合的飞机蒙皮损伤无人机绕检的检测方法不仅能够降低损伤检测的漏检率，还可以避免单纯依靠经验判断增加的人为差错，因此研究基于视觉融合的飞机蒙皮损伤无人机绕检的检测技术具有重要的实际意义。
在飞机蒙皮损伤无人机绕检的检测技术中，无人机的绕检定位是其技术的一大难点。在现阶段基于无人机的飞机蒙皮损伤检测中，无人机的飞行质量受人为因素影响较大，对于比较复杂的飞机蒙皮损伤检测环境，难以实现无人机的自动绕检定位，这极大地限制了无人机绕检技术在飞机蒙皮检测环境下的应用范围和检测效率。因此，解决无人机绕检定位问题对拓展该技术在飞机蒙皮损伤检测中的应用具有非常重要的意义。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于视觉与IMU融合定位的无人机绕检方法。
为了达到上述目的，本发明提供的基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法包括按顺序进行下列步骤：
1)在待检测飞机旁建立视觉测量标定系统；
2)标定上述视觉测量标定系统初始位置时相机的内外参数；
3)确定不同角度下相机光心的位置关系；
4)确定相机旋转轴的方向矢量；
5)标定旋转轴的位置；
6)计算旋转后相机间的外参数；
7)确定无人机绕检过程的实时位姿参数。
在步骤1)中，所述的视觉测量标定系统包括第一相机、第二相机、两个二维旋转云台和靶标；其中，二维旋转云台由水平和俯仰转台组成且间隔距离设置；第一相机和第二相机分别安装在两个二维旋转云台上且都能在水平和竖直两平面内自由独立转动；靶标设置在第一相机一侧；
在步骤2)中，所述的标定上述视觉测量标定系统初始位置时相机的内外参数的方法是：根据小孔成像模型分别建立第一相机、第二相机的数学模型；初始位置时第一相机、第二相机的内参矩阵采用张氏标定法进行标定，外参旋转矩阵R0及平移向量T0采用互拍法进行标定，畸变因子采用最小二乘法进行求解。
在步骤3)中，所述的确定不同角度下相机光心的位置关系的方法是：在距离第一相机、第二相机一定位置处放置标定板，并保持标定板的位置不变，利用二维旋转云台使第一相机和第二相机绕各自竖直和水平旋转轴旋转并不断利用相机对标定板进行拍摄，然后利用标定板角点的世界坐标和图像坐标间的单应性关系及步骤2)中标定出的相机的内参数计算出不同角度下第一相机1和第二相机2光心的位置关系。
在步骤4)中，所述的确定相机旋转轴的方向矢量的方法是：根据相机绕定轴旋转的特性，相机光心在一条确定的轨迹线上运动；根据不同位置处相机光心三维坐标采用主成分分析法对相机光心进行平面拟合；根据平面方程的特性，该平面的法向量即为相机旋转轴的方向矢量。
在步骤5)中，所述的标定旋转轴的位置的方法是：根据旋转轴上点坐标与旋转平面间的约束关系，通过将不同位置处的相机光心三维坐标投影到拟合平面获得投影转换矩阵，使用最小二乘法进行旋转平面圆拟合而求解出二维圆心坐标；根据投影转换关系解出三维圆心坐标。
在步骤6)中，所述的计算旋转后相机间的外参数的方法是：根据初始位置处相机间的外参矩阵和第一相机及第二相机的水平、竖直旋转轴方向矢量和旋转轴上点坐标，利用坐标变换Rodrigues旋转关系动态计算出旋转已知角度后相机间的外参数。
在步骤7)中，所述的确定无人机绕检过程的实时位姿参数的方法是：带有IMU传感器的无人机围绕飞机进行蒙皮损伤检测时，通过视觉测量标定系统对无人机进行定位，第一相机及第二相机构成双目相机，利用跟踪原理算法调整两个二维旋转云台的旋转角度，以实现第一相机及第二相机在无人机绕检过程中的自主跟踪定位，然后与IMU传感器的测量结果通过扩展卡尔曼滤波器进行融合，以解决无人机飞行速度过快与被遮挡的问题，最终确定出无人机绕检过程的实时位姿参数。
本发明提供的基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法基于二维旋转云台，能够实现相机自由独立的旋转同时对无人机进行跟踪定位，采用PCA(主成分分析法)拟合出相机光心所在平面；利用平面方程特性求解相机的旋转轴方向矢量；使用最小二乘法计算旋转轴位置；使用Rodrigues旋转关系动态计算出旋转后相机的外参数；使用视觉测量标定系统的测量结果与无人机携带IMU传感器的输出结果进行融合；最后进行飞机蒙皮损伤检测的无人机的实时位姿参数确定。本发明方法能够有效地克服飞机蒙皮损伤检测无人机绕检定位的难点，提高了无人机绕检定位技术的精度，进而拓展了无人机绕检定位技术的应用场合。
附图说明
图1为本发明提供的基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法流程图。
图2为本发明中视觉测量标定系统初始位置时相机外参数测量原理图。
图3为本发明中PNP算法测量原理图。
图4为本发明中相机旋转轴参数测量原理图。其中，图4(a)为竖直旋转轴参数测量原理图，图4(b)为水平旋转轴参数测量原理图。
图5为本发明中相机旋转轴示意图。
图6为本发明中无人机绕检过程示意图。
具体实施方式
下面结合附图和具体实施例对本发明提供的基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法进行详细说明。
如图1—图6所示，本发明提供的基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法包括按顺序进行下列步骤：
1)在待检测飞机7旁建立视觉测量标定系统：所述的系统包括第一相机1、第二相机2、两个二维旋转云台3和靶标4；其中，二维旋转云台3由水平和俯仰转台组成且间隔距离设置；第一相机1和第二相机2分别安装在两个二维旋转云台3上且都能在水平和竖直两平面内自由独立转动；靶标4设置在第一相机1一侧；
2)标定上述视觉测量标定系统初始位置时相机的内外参数：根据小孔成像模型分别建立第一相机1、第二相机2的数学模型；初始位置时第一相机1、第二相机2的内参矩阵采用张氏标定法进行标定，外参旋转矩阵R0及平移向量T0采用互拍法进行标定，畸变因子采用最小二乘法进行求解；
图2为本发明中视觉测量标定系统初始位置时相机外参数测量原理图。如图2所示，互拍法标定过程分为两步，首先是确定第一相机1、第二相机2旋转轴的参数和第一相机1坐标系下靶标4的位姿；然后通过第二相机2对靶标4进行拍摄，之后利用PNP算法确定靶标4在第二相机2坐标系下的位姿；最后通过靶标坐标系确定出第一相机1、第二相机2坐标系间的位姿关系，即初始位置时相机的外参数。
图3为本发明中PNP算法测量原理图。如图3所示，图中有N个世界坐标系下的三维点Pi＝[Xi Yi Zi]T和与之对应的N个投影点Ui＝[ui vi]T，则满足如下关系：
Figure BDA0002864944040000041
其中K为相机内参矩阵，ξ为靶标4的位姿，考虑到靶标位姿误差和图像噪点引起的误差，采用非线性最小二乘法模型和迭代求解方法确定出靶标4的准确位置：
Figure BDA0002864944040000042
3)确定不同角度下相机光心的位置关系：在距离第一相机1、第二相机2一定位置处放置标定板5，并保持标定板5的位置不变，利用二维旋转云台3使第一相机1和第二相机2绕各自竖直和水平旋转轴旋转并不断利用相机对标定板5进行拍摄，然后利用标定板5角点的世界坐标和图像坐标间的单应性关系及步骤2)中标定出的相机的内参数计算出不同角度下第一相机1和第二相机2光心的位置关系；
图4为本发明中相机旋转轴参数测量原理图。如图4所示，保持标定板5的位置不变，使第一相机1和第二相机2绕各自的竖直或者水平旋转轴nlv旋转，在每次旋转单位角度av后，利用第一相机1或第二相机2获取当前位置标定板5的图像。Oi位置时相机坐标系与世界坐标系间的转换关系为：
Figure BDA0002864944040000043
其中，[x y 1]T为标定板5角点在图像坐标系下的齐次坐标，s为尺度因子，[X Y Z1]T为标定板5角点在世界坐标系下的齐次坐标，Mi为相机的内参矩阵，Ri、Ti分别为Oi位置时相机坐标系与世界坐标系间的旋转矩阵及平移矢量。
4)确定相机旋转轴的方向矢量：根据相机绕定轴旋转的特性，相机光心在一条确定的轨迹线上运动；根据不同位置处相机光心三维坐标采用PCA(主成分分析法)对相机光心进行平面拟合；根据平面方程的特性，该平面的法向量即为相机旋转轴的方向矢量；
图5为本发明中相机旋转轴示意图。如图5所示，在实际测量过程中，相机旋转时的旋转轴与竖直平面间存在一定的角度，因此需要进行准确的标定。本发明采用PCA(主成分分析法)对相机旋转轴进行标定，过程如下：
PCA的核心过程是降维过程，通过三维点的去中心化，使得所有维度的数据均值为零，去三维点坐标集为：
Figure BDA0002864944040000051
计算三维点的协方差矩阵C为：
Figure BDA0002864944040000052
Figure BDA0002864944040000053
上述协方差矩阵C的最小特征值对应的特征向量即为所求平面的法向量。
5)标定旋转轴的位置：根据旋转轴上点坐标与旋转平面间的约束关系，通过将不同位置处的相机光心三维坐标投影到拟合平面获得投影转换矩阵，使用最小二乘法进行旋转平面圆拟合而求解出二维圆心坐标；根据投影转换关系解出三维圆心坐标；
旋转轴上点坐标确定的方法是三维空间圆拟合的方法。设平面方程为ux+vy+wz+d＝0，其中
Figure BDA0002864944040000054
为平面的法向量。取首个相机光心点为平面坐标系原点，通过将不同位置处的相机光心坐标(xi，yi，zi)投影到拟合平面得到投影点(xi′，yi′，zi′)，利用各旋转轴和点在同一平面的关系可获得x轴、y轴、z轴的单位向量，分别记为：
(n1x，n1y，n1z)，(n2x，n2y，n2z)，(n3x，n3y，n3z)
则二维坐标到三维坐标的转换关系为：
Figure BDA0002864944040000055
其中X0＝x0′，Y0＝y0′，Z0＝z0′
记三维坐标到二维坐标的转换关系为：
H_inv＝H-1
则三维光心点对应的二维点为：
Figure BDA0002864944040000061
使用最小二乘法建立目标函数：
Figure BDA0002864944040000062
令
Figure BDA0002864944040000063
可得
Figure BDA0002864944040000064
Figure BDA0002864944040000065
所求方程的解即为二维圆心坐标，使用转换关系矩阵H求解出平面三维圆心坐标，即为旋转轴上点的坐标。
6)计算旋转后相机间的外参数：根据初始位置处相机间的外参矩阵和第一相机1及第二相机2的水平、竖直旋转轴方向矢量和旋转轴上点坐标，利用坐标变换Rodrigues旋转关系动态计算出旋转已知角度后相机间的外参数；
记旋转轴方向矢量为
Figure BDA0002864944040000066
旋转轴上点坐标为Olv(a，b，c)，绕旋转轴的旋转角度为α，绕任意旋转轴的Rodrigues旋转矩阵为
Figure BDA0002864944040000067
为，绕过原点旋转轴的旋转矩阵为
Figure BDA0002864944040000068
旋转后所产生的偏移量为Rod_T。
当相机旋转α角后，旋转后相机相对于旋转前的旋转关系矩阵为：
Figure BDA0002864944040000069
偏心产生的位移为：
Figure BDA0002864944040000071
在初始位置的第二相机2坐标系处建立标准世界坐标系，根据Rodrigues旋转关系，第一相机1及第二相机2分别旋转角度av，αh，βv，βh后，第一相机1及第二相机2间的外参数为：
Figure BDA0002864944040000072
Figure BDA0002864944040000073
Figure BDA0002864944040000074
Figure BDA0002864944040000075
其中，RA，TA，RB，TB分别为第一相机1及第二相机2坐标系旋转后相机坐标系与世界坐标系间的旋转矩阵及平移向量。
根据第一相机1及第二相机2坐标系与世界坐标系间的旋转平移关系，取旋转后相机的外参数R、T为：
R＝inv(RB)*RA
T＝inv(RB)*(TA-TB)
其中，inv()表示矩阵的逆变换。
7)确定无人机绕检过程的实时位姿参数：带有IMU传感器的无人机6围绕待检测飞机7进行蒙皮损伤检测时，通过视觉测量标定系统对无人机进行定位，第一相机1及第二相机2构成双目相机，利用跟踪原理算法调整两个二维旋转云台3的旋转角度，以实现第一相机1及第二相机2在无人机7绕检过程中的自主跟踪定位，然后与IMU传感器的测量结果通过扩展卡尔曼滤波器进行融合，以解决无人机6飞行速度过快与被遮挡的问题，最终确定出无人机6绕检过程的实时位姿参数。
图6为本发明中无人机绕检过程示意图。如图6所示，取第一相机1坐标系O-xyz为世界坐标系，图像坐标系为Ol-XlYl，有效焦距为fl；第二相机2坐标系为Or-xyz，图像坐标系为Or-XrYr，有效焦距为fr。根据极限约束原理和相似三角形原理，空间三维坐标为：
Figure BDA0002864944040000076
其中ri为旋转矩阵元素，ti为平移矩阵元素。
扩展卡尔曼滤波基本思想是利用泰勒公式，将非线性方程进行一阶泰勒展开以实现局部线性化，将非线性系统近似看成一个线性时变系统，进而在每一个展开点使用标准KF算法进行状态估计。假定，考虑输入噪声和测量噪声时，EKF算法估计对象在离散系统状态空间下的表达式形式为：
x(k+1)＝f[x(k),(u(k)+w(k))]
y(k)＝h[x(k),(u(k)+w(k))]+v(k)
其中，f[x(k),(u(k)]为状态方程的一般形式，h[x(k),(u(k)]为观测方程的一般形式。
EKF算法与标准KF算法流程基本相同，只是在状态估计值误差协方差及卡尔曼增益计算时，采用非线性系统在运行点处的一阶导数代替线性系统对应的系统矩阵，计算公式为：
状态传递矩阵：
Figure BDA0002864944040000081
输入矩阵：
Figure BDA0002864944040000082
输出矩阵：
Figure BDA0002864944040000083
直接传递矩阵：
Figure BDA0002864944040000084
使用EFK算法对无人机6进行融合定位，首先要建立无人机6的动力学模型，将IMU传感器的输出作为EFK算法的预测值，将视觉测量标定系统的输出作为EKF算法的观测值，即可对视觉与IMU的测量结果进行融合，从而获得更加精确，鲁棒性更高的无人机定位效果。
上述结合附图对于本发明的具体实施方式作了详细说明，但这些说明中方式方法不属于限制本发明保护范围的条件，本发明的保护范围具体由随附的权利要求书限定。

Claims (8)

1.一种基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法，其特征在于：所述的定位方法包括按顺序进行下列步骤：
1)在待检测飞机旁建立视觉测量标定系统；
2)标定上述视觉测量标定系统初始位置时相机的内外参数；
3)确定不同角度下相机光心的位置关系；
4)确定相机旋转轴的方向矢量；
5)标定旋转轴的位置；
6)计算旋转后相机间的外参数；
7)确定无人机绕检过程的实时位姿参数。
2.根据权利要求1所述的基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法，其特征在于：在步骤1)中，所述的视觉测量标定系统包括第一相机(1)、第二相机(2)、两个二维旋转云台(3)和靶标(4)；其中，二维旋转云台(3)由水平和俯仰转台组成且间隔距离设置；第一相机(1)和第二相机(2)分别安装在两个二维旋转云台(3)上且都能在水平和竖直两平面内自由独立转动；靶标(4)设置在第一相机(1)一侧。
3.根据权利要求1所述的基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法，其特征在于：在步骤2)中，所述的标定上述视觉测量标定系统初始位置时相机的内外参数的方法是：根据小孔成像模型分别建立第一相机(1)、第二相机(2)的数学模型；初始位置时第一相机(1)、第二相机(2)的内参矩阵采用张氏标定法进行标定，外参旋转矩阵R0及平移向量T0采用互拍法进行标定，畸变因子采用最小二乘法进行求解。
4.根据权利要求1所述的基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法，其特征在于：在步骤3)中，所述的确定不同角度下相机光心的位置关系的方法是：在距离第一相机(1)、第二相机(2)一定位置处放置标定板(5)，并保持标定板(5)的位置不变，利用二维旋转云台(3)使第一相机(1)和第二相机(2)绕各自竖直和水平旋转轴旋转并不断利用相机对标定板(5)进行拍摄，然后利用标定板(5)角点的世界坐标和图像坐标间的单应性关系及步骤2)中标定出的相机的内参数计算出不同角度下第一相机(1)和第二相机(2)光心的位置关系。
5.根据权利要求1所述的基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法，其特征在于：在步骤4)中，所述的确定相机旋转轴的方向矢量的方法是：根据相机绕定轴旋转的特性，相机光心在一条确定的轨迹线上运动；根据不同位置处相机光心三维坐标采用主成分分析法对相机光心进行平面拟合；根据平面方程的特性，该平面的法向量即为相机旋转轴的方向矢量。
6.根据权利要求1所述的基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法，其特征在于：在步骤5)中，所述的标定旋转轴的位置的方法是：根据旋转轴上点坐标与旋转平面间的约束关系，通过将不同位置处的相机光心三维坐标投影到拟合平面获得投影转换矩阵，使用最小二乘法进行旋转平面圆拟合而求解出二维圆心坐标；根据投影转换关系解出三维圆心坐标。
7.根据权利要求1所述的基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法，其特征在于：在步骤6)中，所述的计算旋转后相机间的外参数的方法是：根据初始位置处相机间的外参矩阵和第一相机(1)及第二相机(2)的水平、竖直旋转轴方向矢量和旋转轴上点坐标，利用坐标变换Rodrigues旋转关系动态计算出旋转已知角度后相机间的外参数。
8.根据权利要求1所述的基于视觉与IMU融合的飞机蒙皮损伤无人机绕检定位方法，其特征在于：在步骤7)中，所述的确定无人机绕检过程的实时位姿参数的方法是：带有IMU传感器的无人机(6)围绕飞机(7)进行蒙皮损伤检测时，通过视觉测量标定系统对无人机进行定位，第一相机(1)及第二相机(2)构成双目相机，利用跟踪原理算法调整两个二维旋转云台(3)的旋转角度，以实现第一相机(1)及第二相机(2)在无人机(7)绕检过程中的自主跟踪定位，然后与IMU传感器的测量结果通过扩展卡尔曼滤波器进行融合，以解决无人机(6)飞行速度过快与被遮挡的问题，最终确定出无人机(6)绕检过程的实时位姿参数。
CN202011595863.XA 2020-12-28 2020-12-28 基于视觉与imu融合的飞机蒙皮损伤无人机绕检定位方法 Active CN112712565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011595863.XA CN112712565B (zh) 2020-12-28 2020-12-28 基于视觉与imu融合的飞机蒙皮损伤无人机绕检定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011595863.XA CN112712565B (zh) 2020-12-28 2020-12-28 基于视觉与imu融合的飞机蒙皮损伤无人机绕检定位方法

Publications (2)

Publication Number Publication Date
CN112712565A true CN112712565A (zh) 2021-04-27
CN112712565B CN112712565B (zh) 2024-03-01

Family

ID=75546456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011595863.XA Active CN112712565B (zh) 2020-12-28 2020-12-28 基于视觉与imu融合的飞机蒙皮损伤无人机绕检定位方法

Country Status (1)

Country Link
CN (1) CN112712565B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113720721A (zh) * 2021-08-16 2021-11-30 中国飞机强度研究所 一种飞机疲劳试验中内舱结构巡检的标定融合方法
CN113744230A (zh) * 2021-08-27 2021-12-03 中国民航大学 一种基于无人机视觉的飞机蒙皮损伤智能检测方法
CN113888640A (zh) * 2021-09-07 2022-01-04 浙江大学 一种适用于无人机云台相机的改进标定方法
CN115077832A (zh) * 2022-07-28 2022-09-20 西安交通大学 一种飞机耐高温构件三维表面振动疲劳损伤测量方法
WO2023138119A1 (zh) * 2022-01-18 2023-07-27 成都飞机工业（集团）有限责任公司 一种非接触式照相测孔标定装置及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107367229A (zh) * 2017-04-24 2017-11-21 天津大学 自由双目立体视觉转轴参数标定方法
CN110032201A (zh) * 2019-04-19 2019-07-19 成都飞机工业（集团）有限责任公司 一种基于卡尔曼滤波的imu机载视觉姿态融合的方法
CN110081881A (zh) * 2019-04-19 2019-08-02 成都飞机工业（集团）有限责任公司 一种基于无人机多传感器信息融合技术的着舰引导方法
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统
WO2020087846A1 (zh) * 2018-10-31 2020-05-07 东南大学 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
CN111862238A (zh) * 2020-07-23 2020-10-30 中国民航大学 一种全空间单目光笔式视觉测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107367229A (zh) * 2017-04-24 2017-11-21 天津大学 自由双目立体视觉转轴参数标定方法
WO2020087846A1 (zh) * 2018-10-31 2020-05-07 东南大学 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
CN110032201A (zh) * 2019-04-19 2019-07-19 成都飞机工业（集团）有限责任公司 一种基于卡尔曼滤波的imu机载视觉姿态融合的方法
CN110081881A (zh) * 2019-04-19 2019-08-02 成都飞机工业（集团）有限责任公司 一种基于无人机多传感器信息融合技术的着舰引导方法
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN111862238A (zh) * 2020-07-23 2020-10-30 中国民航大学 一种全空间单目光笔式视觉测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于之靖 等: "蜂巢模型标记的飞机蒙皮小型损伤定位方法", 激光与光电子学进展, vol. 56, no. 18, 30 September 2019 (2019-09-30) *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113720721A (zh) * 2021-08-16 2021-11-30 中国飞机强度研究所 一种飞机疲劳试验中内舱结构巡检的标定融合方法
CN113720721B (zh) * 2021-08-16 2024-05-03 中国飞机强度研究所 一种飞机疲劳试验中内舱结构巡检的标定融合方法
CN113744230A (zh) * 2021-08-27 2021-12-03 中国民航大学 一种基于无人机视觉的飞机蒙皮损伤智能检测方法
CN113744230B (zh) * 2021-08-27 2023-09-05 中国民航大学 一种基于无人机视觉的飞机蒙皮损伤智能检测方法
CN113888640A (zh) * 2021-09-07 2022-01-04 浙江大学 一种适用于无人机云台相机的改进标定方法
CN113888640B (zh) * 2021-09-07 2024-02-02 浙江大学 一种适用于无人机云台相机的改进标定方法
WO2023138119A1 (zh) * 2022-01-18 2023-07-27 成都飞机工业（集团）有限责任公司 一种非接触式照相测孔标定装置及方法
CN115077832A (zh) * 2022-07-28 2022-09-20 西安交通大学 一种飞机耐高温构件三维表面振动疲劳损伤测量方法
CN115077832B (zh) * 2022-07-28 2022-11-08 西安交通大学 一种飞机耐高温构件三维表面振动疲劳损伤测量方法

Also Published As

Publication number Publication date
CN112712565B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN112712565A (zh) 基于视觉与imu融合的飞机蒙皮损伤无人机绕检定位方法
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN110370286B (zh) 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法
CN106920261B (zh) 一种机器人手眼静态标定方法
TWI638977B (zh) 車輪對準方法與系統
CN106624709B (zh) 基于双目视觉的装配系统及装配方法
JP6324025B2 (ja) 情報処理装置、情報処理方法
CN107314771A (zh) 基于编码标志点的无人机定位以及姿态角测量方法
CN108665499B (zh) 一种基于视差法的近距飞机位姿测量方法
CN108648242B (zh) 基于激光测距仪辅助无公共视场的两相机标定方法及装置
CN106625673A (zh) 狭小空间装配系统及装配方法
CN109269525B (zh) 一种空间探测器起飞或着陆过程光学测量系统及方法
CN110047111B (zh) 一种基于立体视觉的停机坪廊桥对接误差测量方法
CN106500699B (zh) 一种适用于无人机室内自主降落的位姿估计方法
US20220230348A1 (en) Method and apparatus for determining a three-dimensional position and pose of a fiducial marker
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN112116651A (zh) 一种基于无人机单目视觉的地面目标定位方法和系统
CN108036791B (zh) 一种部件间高精度自动对接的位姿检测方法
CN114993608A (zh) 一种风洞模型三维姿态角测量方法
CN109087355A (zh) 基于迭代更新的单目相机位姿测量装置与方法
CN109489558A (zh) 距离测量系统和距离测量方法
CN106840111A (zh) 物体间位置姿态关系实时统一系统及方法
JP2007533963A5 (zh)
CN109773589B (zh) 对工件表面进行在线测量和加工导引的方法及装置、设备
JP2007533963A (ja) 物体の３ｄ位置の非接触式光学的測定方法及び測定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wu Jun

Inventor after: Zhang Meimiao

Inventor after: Guo Runxia

Inventor after: Li Zechuan

Inventor after: Liu Shaoyu

Inventor after: Yuan Shaobo

Inventor after: Zhu Yuheng

Inventor before: Wu Jun

Inventor before: Zhang Meimiao

Inventor before: Li Zechuan

Inventor before: Liu Shaoyu

Inventor before: Yuan Shaobo

Inventor before: Zhu Yuheng

GR01 Patent grant
GR01 Patent grant