CN109242918B - 一种直升机机载双目立体视觉标定方法 - Google Patents

一种直升机机载双目立体视觉标定方法 Download PDF

Info

Publication number
CN109242918B
CN109242918B CN201811362432.1A CN201811362432A CN109242918B CN 109242918 B CN109242918 B CN 109242918B CN 201811362432 A CN201811362432 A CN 201811362432A CN 109242918 B CN109242918 B CN 109242918B
Authority
CN
China
Prior art keywords
target
helicopter
camera
coordinate system
binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811362432.1A
Other languages
English (en)
Other versions
CN109242918A (zh
Inventor
涂科敏
彭勇
顾文标
雒文龙
金可
吴鑫
张超
李佳欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Helicopter Research and Development Institute
Original Assignee
China Helicopter Research and Development Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Helicopter Research and Development Institute filed Critical China Helicopter Research and Development Institute
Priority to CN201811362432.1A priority Critical patent/CN109242918B/zh
Publication of CN109242918A publication Critical patent/CN109242918A/zh
Application granted granted Critical
Publication of CN109242918B publication Critical patent/CN109242918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本申请提供了一种直升机机载双目立体视觉标定方法，属于直升机试飞测试技术领域，所述方法包括将双目相机加装在一个直升机上，建立相机坐标系，采用张氏标定法对双目相机进行静态标定，获得相机内参，之后制作地面立体黑白棋盘格靶标，确定至少四个平面靶标顶点的坐标，控制直升机飞行到所述地面立体黑白棋盘格靶标上方，通过双目相机采集靶标图像，得到平面靶标顶点在靶标图像中的位置
Figure DDA0001867664410000011
同时，获取所述平面靶标顶点在机体坐标系的位置
Figure DDA0001867664410000012
最后根据相机坐标系到机体坐标系的坐标转换关系
Figure DDA0001867664410000013
计算直升机机载双目立体视觉标定参数[Rt]。该申请解决了双目视觉测量系统在机载环境的标定问题，实现了在直升机上应用双目视觉系统进行物体的位姿测量。

Description

一种直升机机载双目立体视觉标定方法
技术领域
本申请属于直升机试飞测试技术领域，具体涉及一种直升机机载双目立体视觉标定方法。
背景技术
简单来说双目视觉就是利用两个摄像头仿制出人眼双目的效果，通过相关算法在计算机中描绘出大脑处理后的画面。我们能够通过这个技术，得到与所测目标之间的距离，得到目标的三维信息。双目视觉广泛应用在机器人导航，精密工业测量、物体识别、虚拟现实、场景重建，勘测领域。
双目视觉系统的关键技术之一是相机的标定。相机标定的目的，是获取从二维图像空间到三维机体坐标系的转换关系相关初始化参数。相机拍照是将三维空间中的点映射到二维的图像中的物理过程；进行相机标定，可以使我们获取三维空间坐标和二维图像坐标的对应变换的相关参数，从而可以根据图像中的目标点二维坐标推算其三维空间位置。
因为标定在整个基于标定相机的三维重建的几何过程占有最重要最核心的地位。标定得到的内参、外参和畸变系数，是双目视觉进行图片矫正，相机校正和3D恢复的基础。没有好的标定，双目视觉系统就无法完成3D重建。当前使用最广泛的标定方法是“张氏标定”，是指张正友教授于1998年提出的单平面棋盘格的相机标定方法，为相机标定提供了很大便利，并且具有很高的精度。从此标定可以不需要特殊的标定物，只需要一张打印出来的棋盘格。
在实验室环境下，这种标定较为容易实现，标定时的世界坐标系可以任意选取，而且靶标可以摆放在任意位置，因此可以选取良好的观测区域，使得靶标在双目视野内均有良好的可视范围，且靶标在世界坐标系的位置可以直接使用米尺或游标卡尺、显微镜、分度仪等直接精确测量。但是，在机载环境下(即当双目相机安装在直升机)使用双目视觉系统时，由于测量的参考系通常为机体或大地，使用张氏标定法标定后的测量结果是相机坐标系下的测量结果，并不符合机载测量的要求，而且，也难以实现：
首先讨论世界坐标系的选取。由于传感器与机体固连，因此世界坐标系必须与机体固连。为了避免多余的坐标转换，直接选取机载航迹和姿态测量系统的坐标系，假定其原点为机体质心。但是，机载航迹和姿态测量系统的原点位置往往处于机体内或上方，而机载测量作业往往是对下观测，坐标系原点不能与相机视野之间直接通视，这就对靶标位置的测定造成了困难。
其次，如何拍摄标定图片，也是一个难点。机腹下方空间狭小，离地面只有不到1m的距离，离目标区域(6～10m)差距很远，因此对焦距离设定在6～10m的工作范围时，在1m距离的地面放置图片，静止进行拍摄，标定图像将处于景深之外。另外，为了获取良好的双目交汇测量精度，两台相机距离应尽可能大，那么在1m的距离就很难找到两台相机能共同观测的区域。
正因为在机载环境下难以对双目相机进行标定，极大的限制了双目视觉系统在机载测量领域的应用。
发明内容
为了解决上述技术问题至少之一，本发明提供了直升机机载双目视觉系统的标定系统及方法，利用双目相机、GPS惯性导航系统、差分GPS系统、立体靶标设备，结合直升机吊挂测量作业的业务场景，旨在解决以下问题：
(1)双目相机在机载环境下的安装参数的标定；
(2)确定双目视觉测量数据与机体的相对关系。
(3)双目视觉在机载环境下的位置测量应用。
本发明提供的直升机机载双目立体视觉标定方法，包括如下步骤：
步骤一、将双目相机加装在一个直升机上，建立相机坐标系，采用张氏标定法对双目相机进行静态标定，获得相机内参A；
步骤二、制作地面立体黑白棋盘格靶标，确定至少四个平面靶标顶点的坐标；
步骤三、控制直升机飞行到所述地面立体黑白棋盘格靶标上方，通过双目相机采集靶标图像，得到平面靶标顶点在靶标图像中的位置
Figure BDA0001867664390000021
同时，获取所述平面靶标顶点在机体坐标系的位置
Figure BDA0001867664390000031
步骤四、根据相机坐标系到机体坐标系的坐标转换关系
Figure BDA0001867664390000032
计算直升机机载双目立体视觉标定参数[Rt]，其中，Zc为靶标顶点到相机坐标系原点的距离。
优选的是，所述确定至少四个平面靶标顶点的坐标包括在距离靶标10公里范围内搭建差分GPS系统基准站，以及在靶标顶点处设置GPS系统移动站天线。
优选的是，所述靶标顶点与在该点设置的GPS系统移动站天线重合，误差小于2mm。
优选的是，所述确定至少四个平面靶标顶点的坐标包括多次采集GPS系统移动站相对于差分GPS系统基准站的位置坐标，并取平均值作为平面靶标顶点的坐标。
与现有技术相比，本发明的积极效果是：用全新的技术手段解决了双目视觉测量系统在机载环境的标定问题，实现了在直升机上应用双目视觉系统进行物体的位姿测量。具体表现如下：
1、在专用的场地上摆放靶标，将黑白棋盘格绘制到立体靶标上，实现了机载环境下的双目相机的标定采样；
2、结合机载应用的实际，实现了飞行状态下的动态标定；
3、机载实时测量，对直升机振动频谱进行建模，采用卡尔曼滤波、滑窗滤波等手段，对振动造成的图像扰动进行进一步的滤除法，有效消除了直升机飞行状态下的机体振动的影响；
4、采用实时差分GPS系统精确测量靶标角点的精确坐标；
5、融合直升机自身的GPS惯性导航系统的数据，对机载双目相机进行标定。
附图说明
图1为按照本发明直升机机载双目立体视觉标定方法的一优选实施例的流程图。
图2为按照本发明直升机机载双目立体视觉标定方法的一优选实施例的双目相机安装示意图。
图3为按照本发明直升机机载双目立体视觉标定方法的一优选实施例的坐标系转换示意图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。下面结合附图对本申请的实施方式进行详细说明。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
本发明涉及一种直升机机载双目立体视觉标定方法，如图1所示，包括：
步骤一、将双目相机加装在一个直升机上，建立相机坐标系，采用张氏标定法对双目相机进行静态标定，获得相机内参A；
步骤二、制作地面立体黑白棋盘格靶标，确定至少四个平面靶标顶点的坐标；
步骤三、控制直升机飞行到所述地面立体黑白棋盘格靶标上方，通过双目相机采集靶标图像，得到平面靶标顶点在靶标图像中的位置
Figure BDA0001867664390000041
同时，获取所述平面靶标顶点在机体坐标系的位置
Figure BDA0001867664390000042
步骤四、根据相机坐标系到机体坐标系的坐标转换关系
Figure BDA0001867664390000043
计算直升机机载双目立体视觉标定参数[Rt]，其中，Zc为靶标顶点到相机坐标系原点的距离。
双目相机安装方式如图2所示，cam表示相机，为了方便安装，两个相机公用一个安装平台，相距约2m。
本实施例首先采用张氏标定法对双目相机进行静态标定，采用张张氏标定法对双目相机进行静态标定，获得两台相机的参数，包括相机内参(图像主点坐标、倾斜因子、尺度因子)，外参(两台相机之间的旋转矩阵和平移矩阵)，以及径向和切向畸变系数。
之后，进行靶标制作，黑白棋盘格靶标每个格大小为0.2x0.2m，总尺寸为2x4m，采用两块2x2m的棋盘格拼接成。2x2m的黑白棋盘格采用广告纸打印后粘贴到平整的硬木板上，打印要求角点平面和高度误差不应大于1cm。木板的拼接处要求平整无毛刺，连接处误差不应大于0.5cm。
随后，选择标定场地，标定场地应选择开阔、平整、坚实牢固地基的地面，20米范围内不能有超过10米高的楼层。标定场地应避开无线电站、高压线、变压器、铁轨等有线电干扰区。
之后，测量靶标顶点坐标，把黑白棋盘格平面靶标放到选型的标定场地上，架设好GPS基准站，GPS基准站要求离平面靶标的距离小于10公里。把GPS移动站天线放到黑白棋盘格的其中一个顶点上，天线的相位中心和黑白棋盘格平面靶标的顶点重合，要求误差小于2mm，记录30分钟原始数据。根据此方法依次测量剩余的5个顶点。选棋盘格里两块2x2m拼接处的两点按上述方法分别记录30分钟原始数据。通过以上步骤共测得6个点各30分钟的原始数据，采用差分GPS系统后处理软件结合基准站原始数据计算出这六个点的坐标。
之后，进行数据采集，将双目相机随安装平台固连到直升机机腹。直升机飞行高度15米，机头方向和靶标4m长度方向保持一致。直升机在靶标上方悬停1分钟记录高速相机和惯导数据的原始数据，重复以上步骤10次。直升机飞行高度15米，机头方向和靶标2m长度方向一致。直升机在靶标上方悬停1分钟记录高速相机和GPS惯性导航系统的原始数据，重复以上步骤10次。
最后，处理采集的数据，计算标定结果，以下解释本实施例标定原理。
根据前述，如图3所示，平面靶标顶点在机体坐标系内的坐标XbYbZb是较难直接获取的。但是通过GPS惯性导航系统系统，可以测得直升机机体坐标系与大地坐标系之间的刚体变换矩阵[Rg tg]，通过差分GPS系统可以精确测量平面靶标顶点在大地坐标系的坐标XgYgZg，直升机机体坐标系与大地坐标系转换矩阵为：
Figure BDA0001867664390000061
即可解算出6个平面靶标顶点在机体坐标系的位置。
相机坐标系到机体坐标系的坐标转换关系如下：
Figure BDA0001867664390000062
为了便于理解，将上式化为：
Figure BDA0001867664390000063
其中
Figure BDA0001867664390000064
其中，
Figure BDA0001867664390000065
是平面靶标顶点相对于机体坐标系的位置；[R t]是由相机相对于机体坐标系的方位决定，称为相机外部参数矩阵；u、v是标记点在图像坐标系中的位置；αu、αv分别为图像u轴和v轴上的尺度因子，s是描述两图像坐标轴倾斜程度的参数，(u0,v0)为主点坐标，是相机的内参数。
采用张氏标定法对双目相机进行静态标定，得出相机内参矩阵
Figure BDA0001867664390000066
采用图像识别算法进行图像匹配，识别出图像中的光学标记，通过计算得到光学标记点在相机坐标系中的位置u、v。
[Rg tg]是通过GPS惯性导航系统测量得到的；
Figure BDA0001867664390000067
是通过对靶标大地测量得到的。两者相乘，即可得到控制点在机体坐标系内的坐标
Figure BDA0001867664390000068
利用之前测量的6个平面靶标顶点，可获取多个方程，对未知量进行求解，即可分别解算出两台相机坐标系与机体坐标系的转化关系。
可以理解，在备选实施方式中，4个平面靶标顶点所组成的方程组即可解算出两台相机坐标系与机体坐标系的转化关系。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (1)

1.一种直升机机载双目立体视觉标定方法，其特征在于，包括：
步骤一、将双目相机加装在一个直升机上，建立相机坐标系，采用张氏标定法对双目相机进行静态标定，获得相机内参A；
步骤二、制作地面立体黑白棋盘格靶标，确定至少四个平面靶标顶点的坐标；
步骤三、控制直升机飞行到所述地面立体黑白棋盘格靶标上方，通过双目相机采集靶标图像，得到平面靶标顶点在靶标图像中的位置
Figure FDA0003359798370000011
同时，获取所述平面靶标顶点在机体坐标系的位置
Figure FDA0003359798370000012
步骤四、根据相机坐标系到机体坐标系的坐标转换关系
Figure FDA0003359798370000013
计算直升机机载双目立体视觉标定参数[Rt]，其中，Zc为靶标顶点到相机坐标系原点的距离；
其中，所述确定至少四个平面靶标顶点的坐标包括在距离靶标10公里范围内搭建差分GPS系统基准站，以及在靶标顶点处设置GPS系统移动站天线，所述靶标顶点与在该点设置的GPS系统移动站天线重合，误差小于2mm，所述确定至少四个平面靶标顶点的坐标包括多次采集GPS系统移动站相对于差分GPS系统基准站的位置坐标，并取平均值作为平面靶标顶点的坐标。
CN201811362432.1A 2018-11-15 2018-11-15 一种直升机机载双目立体视觉标定方法 Active CN109242918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811362432.1A CN109242918B (zh) 2018-11-15 2018-11-15 一种直升机机载双目立体视觉标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811362432.1A CN109242918B (zh) 2018-11-15 2018-11-15 一种直升机机载双目立体视觉标定方法

Publications (2)

Publication Number Publication Date
CN109242918A CN109242918A (zh) 2019-01-18
CN109242918B true CN109242918B (zh) 2022-07-15

Family

ID=65074854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811362432.1A Active CN109242918B (zh) 2018-11-15 2018-11-15 一种直升机机载双目立体视觉标定方法

Country Status (1)

Country Link
CN (1) CN109242918B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136068B (zh) * 2019-03-19 2023-06-30 浙江大学山东工业技术研究院 基于双侧远心镜头相机之间位置标定的音膜球顶装配系统
CN110490940A (zh) * 2019-08-15 2019-11-22 北京迈格威科技有限公司 基于棋盘格单幅图像的相机标定方法和装置
CN111627068A (zh) * 2019-12-31 2020-09-04 成都国翼电子技术有限公司 用于自动校正无人机前视摄像机图像中心的装置及方法
CN112490636B (zh) * 2020-11-20 2022-11-11 中国电子科技集团公司第五十四研究所 一种基于通视的机载天线自动切换方法
CN112802123B (zh) * 2021-01-21 2023-10-27 北京科技大学设计研究院有限公司 一种基于条纹虚拟靶标的双目线阵相机静态标定方法
CN113724337B (zh) * 2021-08-30 2024-02-23 合肥工业大学 一种无需依赖云台角度的相机动态外参标定方法及装置
CN114035598B (zh) * 2021-11-22 2023-11-24 青岛理工大学 一种多旋翼吊挂系统的视觉摆角检测与减摆方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010210570A (ja) * 2009-03-12 2010-09-24 Tokyo Electric Power Co Inc:The 校正用データ取得装置およびその方法
CN105981074A (zh) * 2014-11-04 2016-09-28 深圳市大疆创新科技有限公司 相机标定
CN107689065A (zh) * 2016-08-03 2018-02-13 南京理工大学 一种gps双目摄像机标定及空间点重建方法
CN108594245A (zh) * 2018-07-04 2018-09-28 北京国泰星云科技有限公司 一种目标物运动监测系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108474658B (zh) * 2017-06-16 2021-01-12 深圳市大疆创新科技有限公司 地面形态检测方法及系统、无人机降落方法和无人机

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010210570A (ja) * 2009-03-12 2010-09-24 Tokyo Electric Power Co Inc:The 校正用データ取得装置およびその方法
CN105981074A (zh) * 2014-11-04 2016-09-28 深圳市大疆创新科技有限公司 相机标定
CN107689065A (zh) * 2016-08-03 2018-02-13 南京理工大学 一种gps双目摄像机标定及空间点重建方法
CN108594245A (zh) * 2018-07-04 2018-09-28 北京国泰星云科技有限公司 一种目标物运动监测系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种用于大场景双目视觉系统摄像机的标定方法;王剑，等;《中国民航大学学报》;20160630;全文 *

Also Published As

Publication number Publication date
CN109242918A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN109242918B (zh) 一种直升机机载双目立体视觉标定方法
KR100728377B1 (ko) 레이저 스캐너 및 무선인터넷을 이용한 변경된 지역시설물의 ｇｉｓ 실시간 업데이트 방법
KR100912715B1 (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
CN102645209B (zh) 机载LiDAR点云和高分辨率影像进行空间点的联合定位方法
Xie et al. Study on construction of 3D building based on UAV images
KR101346323B1 (ko) 지상기준점과 부가매개변수를 이용한 비측량용 디지털 카메라 촬영 시스템의 자체검정 방법
CN101241011A (zh) 激光雷达平台上高精度定位、定姿的装置和方法
CN109900205B (zh) 一种高精度的单线激光器和光学相机的快速标定方法
KR20200064542A (ko) 드론을 이용한 지상기준점 측량장치 및 그 방법
CN113607135A (zh) 一种用于路桥施工领域的无人机倾斜摄影测量方法
CN108681337B (zh) 一种涵洞或桥梁专用巡查无人机及无人机巡查方法
CN101876701A (zh) 一种侧视雷达遥感影像定位方法
CN110806199A (zh) 一种基于激光投线仪和无人机的地形测量方法及系统
CN109782276A (zh) 一种长基线机载重轨干涉sar配准方法
CN114488094A (zh) 一种车载多线激光雷达与imu外参数自动标定方法及装置
JP3808833B2 (ja) 空中写真測量方法
CN110986888A (zh) 一种航空摄影一体化方法
CN110780313A (zh) 一种无人机可见光立体测量采集建模方法
CN108195359A (zh) 空间数据的采集方法及系统
Zhang Photogrammetric processing of low altitude image sequences by unmanned airship
CN113739765B (zh) 一种无额外控制点的双目协同落点测量方法
Wu Photogrammetry: 3-D from imagery
WO2022126339A1 (zh) 土木结构变形监测方法及相关设备
CN114663486A (zh) 一种基于双目视觉的建筑物测高方法及系统
CN100395779C (zh) 基于立体影像镶嵌的可量测无缝空间立体模型的生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant