CN101929863A - 一种景象匹配导航技术的实时图生成方法 - Google Patents

一种景象匹配导航技术的实时图生成方法 Download PDF

Info

Publication number
CN101929863A
CN101929863A CN 201010259770 CN201010259770A CN101929863A CN 101929863 A CN101929863 A CN 101929863A CN 201010259770 CN201010259770 CN 201010259770 CN 201010259770 A CN201010259770 A CN 201010259770A CN 101929863 A CN101929863 A CN 101929863A
Authority
CN
China
Prior art keywords
real
ccd camera
time
parameter
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 201010259770
Other languages
English (en)
Inventor
王涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
No 618 Research Institute of China Aviation Industry
Original Assignee
No 618 Research Institute of China Aviation Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by No 618 Research Institute of China Aviation Industry filed Critical No 618 Research Institute of China Aviation Industry
Priority to CN 201010259770 priority Critical patent/CN101929863A/zh
Publication of CN101929863A publication Critical patent/CN101929863A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)

Abstract

本发明涉及导航与制导领域，涉及一种景象匹配导航技术的实时图生成方法。本发明生成的实时图可以模拟多种主要误差源的影响，包括飞机姿态与高度误差的影响，成像系统的噪声干扰，CCD相机的参数误差干扰，生成的实时图非常接近真实的飞行数据，不仅可以为景象匹配导航技术的研发提供大量可靠的试验数据，还可以充分评价验证各种系统算法的性能指标，具有重要的使用价值。

Description

一种景象匹配导航技术的实时图生成方法
技术领域
本发明涉及到导航与制导领域，涉及一种景象匹配导航技术的实时图生成方法。
背景技术
景象匹配导航技术是利用飞行器实时采集的实时图与预先存储的景象基准图进行匹配计算，获得精确定位的一项技术，在综合导航，精确制导，视觉着陆等领域有着广泛的应用。景象匹配导航技术的一个主要难点问题是实时图的获取，这是因为在真实的飞行条件下实时图受到各种误差因素影响，使得实时图与基准图之间存在着较大的差异，影响实时图的干扰因素主要有以下几点：
1.成像系统的噪声影响：图像在成像、数字化和传输的过程中会在灰度值上有各种干扰，形成噪声，包括光子噪声，暗电流噪声等，这些噪声使得图像上的像素点灰度值不能正确反映空间物体对应点的光强值，降低了图像质量。
2.相机参数误差：由于相机参数标定的不准确，或者工作环境对相机参数的扰动，都会影响到实时图的分辨率，亮度等性能参数。
3.飞机姿态与高度信息对实时图的影响：飞行过程中由于飞机载体姿态的变化使摄像机无法保证垂直下视，造成实时图发生几何畸变，并且飞机高度的变化也影响到实时图的分辨率，清晰度等参数。
目前主要采用的实时图获取方法有两种：一种为计算机仿真的方法，该方法在基准图上截取部分图像作为基准子图，在基准子图上进行加噪，变形等处理后模拟产生实时图。该方法虽然获取方便，但是由于实时图的干扰因素比较复杂，并且各种干扰因素互相影响，目前尚无法对各种干扰因素准确数学建模，导致模拟生成的实时图与真实飞行条件下的实时图具有较大的差异；另一种获取实时图的方法为在飞行条件下实时采集实时图，该方法的优点是实时图完全真实可信，但是试验成本很高，受经费、空域限制等原因无法在各种区域内进行大样本采样。
发明内容
本发明的目的：针对目前实时图获取方法存在的问题，提出一种景象匹配导航技术的实时图生成方法。
本发明的技术方案，该方法在搭建物理试验平台的基础上，控制投影仪，6自由度机械臂，CCD相机，图像采集卡，使各设备协同工作，并采用时空配准技术，实现运动条件下的实时图生成。其实时图生成步骤是，
(1)标定CCD相机，投影屏幕，投影仪之间的空间位置参数，采用标定场方式实现投影仪坐标系、屏幕坐标系和CCD相机坐标系之间的坐标统一的步骤；
(2)根据具体的应用背景和实验需求进行飞行航迹规划，航迹规划包括，设置飞机的飞行轨迹、飞行速度及飞机的姿态与高度误差，其中，
(a)飞机的飞行轨迹的设置，设置航路点的坐标：A1(x1，y1)，A2(x2，y2)，A3(x3，y3)…An(xn，yn)，将各个航路点之间用直线航段连接；
(b)飞行速度的设置，根据实验需要，设置各个航段的东向速度分量Ve和北向速度分量Vn；
(c)飞机的姿态与高度误差的设置，根据实验需求，在不同的航段上设置飞机的姿态运动，包括俯仰角θ，横滚角γ，航向角Ψ，三个姿态角独立运动或同时运动；设置飞机的飞行高度误差Δh，飞行高度误差在整个航迹上保持不变或随时间而变化的步骤；
(3)在基准图上选择匹配区，利用匹配区选择程序在基准图上自动选取匹配区，记录各匹配区的四个顶角的坐标Mi1(x，y)，Mi2(x，y)，Mi3(x，y)，Mi4(x，y)…的步骤；
(4)加载实验参数：将标定好的CCD相机，投影屏幕，投影仪之间的空间位置参数加载到中央控制单元中，同时，将设置完成的航迹参数、匹配区位置参数加载到中央控制单元中的步骤；
(5)中央控制单元自检与复位：中央控制单元自检并按照中央控制单元加载的CCD相机，投影屏幕，投影仪之间的空间位置参数控制机械臂复位，保证CCD相机，投影屏幕，投影仪之间的坐标系统一的步骤；
(6)分别控制投影仪、机械臂及CCD相机按照加载参数协调工作，其中，
●控制投影仪：首先根据起始航路点的坐标A1(x1，y1)，控制基准图的初始投影位置，保证起始航路点所在的基准图位于CCD相机的视场中心；然后，根据航线的位置与方向，并且参照飞行速度Ve，Vn，控制投影仪，实现基准图按照设定的轨迹与速度滚动放映；
●控制机械臂：根据不同航段的飞机姿态运动参数，控制机械臂完成俯仰、横摆和回旋的角运动，模拟飞行器的俯仰角θ，横滚角γ，航向角Ψ的姿态变化；根据加载的高度误差参数Δh，控制机械臂进行前后的位移运动，模拟飞行器的高度变化对实时图的扰动；
●控制CCD相机：在设定的航段上调节CCD相机的焦距，模拟相机在不同焦距状态下对实时图的影响；
(7)判断当前位置是否进入匹配区：根据加载的飞行速度参数Ve，Vn，采用航迹推算的方法计算当前图像相对于基准图的位置，计算方法为：
Δx＝∫VEdt
Δy＝∫VNdt
X＝Δx+x1
Y＝Δy+y1
根据当前图像相对于基准图的位置信息以及匹配区的位置信息Mi1(x，y)，Mi2(x，y)，Mi3(x，y)，Mi4(x，y)，判断当前位置是否进入匹配区，如果进入匹配区，发出控制信号，触发CCD相机拍摄图像，否则不拍摄。
(8)生成实时图：在进入匹配区时，中央控制器存储CCD相机拍摄的图像，并记录同时刻的机械臂姿态信息，包括俯仰角θ，横滚角γ，航向角Ψ；记录机械臂的位置误差信息Δh；记录当前采集图像相对于基准图的相对位置；记录当前CCD相机的焦距，生成的实时图与其相关信息之间保持时间同步。
本发明具有的优点和有益效果，本发明生成的实时图可以模拟多种主要误差因素的影响，包括成像系统的噪声干扰，CCD相机参数误差的影响，飞机姿态与高度误差的影响，与现有的实时图生成方法相比较，本发明生成的实时图更加接近真实的飞行数据，易于实现，节约成本，可覆盖任意区域，可以实现各种地貌条件下的大样本采样。本发明还具有扩展性强，数字化程度高，操作简单，可重复使用的特点。本发明不仅可以为景象匹配导航技术的研发提供大量可靠的试验数据，还可以为各种景象匹配算法的评价验证提供支撑保障。
附图说明
图1是本发明组成结构单元示意图；
图2是本发明实时图生成流程图。
具体实施方式
1.标定物理试验平台的空间位置参数的步骤1：精确标定CCD相机，投影屏幕，投影仪之间的空间位置参数，实现摄像机坐标系、屏幕坐标系和CCD相机坐标系之间的坐标统一。空间位置参数的标定可以采用标定场完成。
2.飞行航迹规划的步骤2：
根据具体的应用背景和实验需求进行航迹规划，航迹规划的内容包括以下几点：
●飞行轨迹：设置航路点的坐标：A1(x1，y1)，A2(x2，y2)，A3(x3，y3)…An(xn，yn)，其中An为设置的第n个航路点，(xn，yn)为第n个航路点在基准图中的坐标，各个航路点之间用直线航段连接。
●飞行速度：根据实验需要，设置各个航段的飞行速度Ve，Vn，其中Ve为东向速度分量，Vn为北向速度分量。
●飞机的姿态与高度误差：根据实验需求在不同的航段上设计飞机的姿态运动，包括俯仰角θ，横滚角γ，航向角Ψ，三个姿态角的运动既可以独立运动，也可以同时运动，共同影响实时图；设计飞机的飞行高度误差Δh，Δh既可以在整个航迹上保持不变，也可以随时间而变化。
3.选择匹配区的步骤3：
在规划的轨迹上选择匹配区，匹配区的选择可以利用编写的匹配区选择程序自动选取。选取的匹配区要求包含各种地貌场景，保证实时图的多样性。记录匹配区的四个顶角的坐标Mi1(x，y)，Mi2(x，y)，Mi3(x，y)，Mi4(x，y)，其中Mi1，Mi2，Mi3，Mi4为第i个匹配区的四个顶角的坐标。
4.加载实验参数的步骤4：在中央控制单元中加载物理试验平台的空间位置参数，一旦物理实验平台的空间位置固定，该参数不再变化；在中央控制单元中加载规划的航迹参数与匹配区位置参数，该部分参数根据不同的实验背景与需求进行相应调整。
5.自检与复位的步骤5：中央控制单元自检并按照试验平台的空间位置参数控制机械臂复位，保证CCD相机，投影屏幕，投影仪之间的坐标系统一。
6.控制各设备协调工作的步骤6：
●控制投影仪：首先中央控制单元根据起始航路点的坐标A1(x1，y1)，控制基准图的初始投影位置，保证起始航路点所在的基准图位于CCD相机的视场中心；然后中央控制单元根据航线的位置与方向，并且参照飞行速度Ve，Vn，控制投影仪，实现基准图按照设定的轨迹与速度滚动放映，从而模拟动态的飞行场景。
●控制机械臂：中央控制单元根据不同航段的飞机姿态运动参数，控制6自由度机械臂完成俯仰、横摆和回旋等角运动，模拟飞行器的俯仰角θ，横滚角γ，航向角Ψ的姿态变化；中央控制单元根据设定的高度误差参数Δh，控制机械臂进行前后的位移运动，模拟飞行器的高度变化对实时图的扰动。
●控制CCD相机：在设定的航段中央控制单元调节CCD相机的焦距，模拟相机在不同焦距状态下对实时图的影响；
●判断是否进入匹配区的步骤7：中央控制单元根据飞行速度参数，采用航迹推算的方法计算当前实时图对于基准图的相对位置，计算方法为：
Δx＝∫VEdt
Δy＝∫VNdt
X＝Δx+x1
Y＝Δy+y1
其中Δx，Δy为当前时刻拍摄的实时图相对于起始航迹点的位置，(x1，y1)为起始航迹点的坐标，(X，Y)为当前拍摄实时图相对于基准图的相对位置坐标。根据当前实时图相对于基准图的位置信息以及匹配区的位置信息Mi1(x，y)，Mi2(x，y)，Mi3(x，y)，Mi4(x，y)，判断当前位置是否进入匹配区。如果进入匹配区，中央控制单元发出控制信号，触发CCD相机拍摄图像。否则不拍摄。
7.生成实时图的步骤8：在进入匹配区时，中央控制器存储CCD相机拍摄的图像，并记录同时刻的机械臂姿态信息，包括俯仰角θ，横滚角γ，航向角Ψ；记录机械臂的位置误差信息Δh；记录当前采集图像相对于基准图的相对位置；记录当前CCD相机的焦距参数。拍摄的图像与该图像的相关信息共同组成实时图，实时图与其相关信息之间通过时间同步控制保证时间同步。

Claims (1)

1.一种景象匹配导航技术的实时图生成方法，其实时图生成步骤是：
(1)标定CCD相机，投影屏幕，投影仪之间的空间位置参数，采用标定场方式实现投影仪坐标系、屏幕坐标系和CCD相机坐标系之间的坐标统一的步骤；
(2)根据具体的应用背景和实验需求进行飞行航迹规划，航迹规划包括，设置飞机的飞行轨迹、飞行速度及飞机的姿态与高度误差，其中，
(a)飞机的飞行轨迹的设置，设置航路点的坐标：A1(x1，y1)，A2(x2，y2)，A3(x3，y3)…An(xn，yn)，将各个航路点之间用直线航段连接；
(b)飞行速度的设置，根据实验需要，设置各个航段的东向速度分量Ve和北向速度分量Vn；
(c)飞机的姿态与高度误差的设置，根据实验需求，在不同的航段上设置飞机的姿态运动，包括俯仰角θ，横滚角γ，航向角Ψ，三个姿态角独立运动或同时运动；设置飞机的飞行高度误差Δh，飞行高度误差在整个航迹上保持不变或随时间而变化的步骤；
(3)在基准图上选择匹配区，利用匹配区选择程序在基准图上自动选取匹配区，记录各匹配区的四个顶角的坐标Mi1(x，y)，Mi2(x，y)，Mi3(x，y)，Mi4(x，y)…的步骤；
(4)加载实验参数：将标定好的CCD相机，投影屏幕，投影仪之间的空间位置参数加载到中央控制单元中，同时，将设置完成的航迹参数、匹配区位置参数加载到中央控制单元中的步骤；
(5)中央控制单元自检与复位：中央控制单元自检并按照中央控制单元加载的CCD相机，投影屏幕，投影仪之间的空间位置参数控制机械臂复位，保证CCD相机，投影屏幕，投影仪之间的坐标系统一的步骤；
(6)分别控制投影仪、机械臂及CCD相机按照加载参数协调工作，其中，
●控制投影仪：首先根据起始航路点的坐标A1(x1，y1)，控制基准图的初始投影位置，保证起始航路点所在的基准图位于CCD相机的视场中心；然后，根据航线的位置与方向，并且参照飞行速度Ve，Vn，控制投影仪，按照设定的轨迹与速度滚动放映基准图；
●控制机械臂：根据不同航段的飞机姿态运动参数，控制机械臂完成俯仰、横摆和回旋的角运动，模拟飞行器的俯仰角θ，横滚角γ，航向角Ψ的姿态变化；根据加载的高度误差参数Δh，控制机械臂进行前后的位移运动，模拟飞行器的高度变化对实时图的扰动；
●控制CCD相机：在设定的航段上调节CCD相机的焦距，模拟相机在不同焦距状态下对实时图的影响；
(7)判断当前位置是否进入匹配区：根据加载的飞行速度参数Ve，Vn，采用航迹推算的方法计算当前图像相对于基准图的位置，计算方法为：
Δx＝∫VEdt
Δy＝∫VNdt
X＝Δx+x1
Y＝Δy+y1
根据当前图像相对于基准图的位置信息以及匹配区的位置信息Mi1(x，y)，Mi2(x，y)，Mi3(x，y)，Mi4(x，y)，判断当前位置是否进入匹配区，如果进入匹配区，发出控制信号，触发CCD相机拍摄图像，否则不拍摄。
(8)生成实时图：在进入匹配区时，中央控制器存储CCD相机拍摄的图像，并记录同时刻的机械臂姿态信息，包括俯仰角θ，横滚角γ，航向角Ψ；记录机械臂的高度误差信息Δh；记录当前采集图像相对于基准图的相对位置；记录当前CCD相机的焦距。生成的实时图与其相关信息之间保持时间同步。
CN 201010259770 2010-08-19 2010-08-19 一种景象匹配导航技术的实时图生成方法 Pending CN101929863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010259770 CN101929863A (zh) 2010-08-19 2010-08-19 一种景象匹配导航技术的实时图生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010259770 CN101929863A (zh) 2010-08-19 2010-08-19 一种景象匹配导航技术的实时图生成方法

Publications (1)

Publication Number Publication Date
CN101929863A true CN101929863A (zh) 2010-12-29

Family

ID=43369172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010259770 Pending CN101929863A (zh) 2010-08-19 2010-08-19 一种景象匹配导航技术的实时图生成方法

Country Status (1)

Country Link
CN (1) CN101929863A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496141A (zh) * 2011-12-12 2012-06-13 中国科学院长春光学精密机械与物理研究所 将基准地图变换成与实时图相同视角的图像的装置
CN102722624A (zh) * 2012-06-08 2012-10-10 上海交通大学 一种用于飞机适航审定及设计评估的飞行场景开发方法
CN102829785A (zh) * 2012-08-30 2012-12-19 中国人民解放军国防科学技术大学 基于序列图像和基准图匹配的飞行器全参数导航方法
CN104702871A (zh) * 2015-03-19 2015-06-10 世雅设计有限公司 无人机投影显示方法、系统及装置
CN107784624A (zh) * 2017-09-28 2018-03-09 北京华航无线电测量研究所 一种匹配区图像的制作方法
CN113884089A (zh) * 2021-09-09 2022-01-04 武汉中海庭数据技术有限公司 一种基于曲线匹配的相机杆臂补偿方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5146228A (en) * 1990-01-24 1992-09-08 The Johns Hopkins University Coherent correlation addition for increasing match information in scene matching navigation systems
US6016116A (en) * 1986-09-13 2000-01-18 Gec Avionics Limited Navigation apparatus
JP2002532770A (ja) * 1998-11-20 2002-10-02 ジオメトリックス インコーポレイテッド 映像に関連してカメラポーズを決定する方法及びシステム
CN101566476A (zh) * 2009-05-15 2009-10-28 北京航空航天大学 基于6自由度机械臂的景像匹配半实物仿真系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016116A (en) * 1986-09-13 2000-01-18 Gec Avionics Limited Navigation apparatus
US5146228A (en) * 1990-01-24 1992-09-08 The Johns Hopkins University Coherent correlation addition for increasing match information in scene matching navigation systems
JP2002532770A (ja) * 1998-11-20 2002-10-02 ジオメトリックス インコーポレイテッド 映像に関連してカメラポーズを決定する方法及びシステム
CN101566476A (zh) * 2009-05-15 2009-10-28 北京航空航天大学 基于6自由度机械臂的景像匹配半实物仿真系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《系统仿真学报》 20040131 王艳丽、李铁军、陈哲 《景象匹配导航系统全局仿真技术研究》 第108-112页 1 第16卷, 第1期 2 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496141A (zh) * 2011-12-12 2012-06-13 中国科学院长春光学精密机械与物理研究所 将基准地图变换成与实时图相同视角的图像的装置
CN102496141B (zh) * 2011-12-12 2013-06-19 中国科学院长春光学精密机械与物理研究所 将基准地图变换成与实时图相同视角的图像的装置
CN102722624A (zh) * 2012-06-08 2012-10-10 上海交通大学 一种用于飞机适航审定及设计评估的飞行场景开发方法
CN102829785A (zh) * 2012-08-30 2012-12-19 中国人民解放军国防科学技术大学 基于序列图像和基准图匹配的飞行器全参数导航方法
CN102829785B (zh) * 2012-08-30 2014-12-31 中国人民解放军国防科学技术大学 基于序列图像和基准图匹配的飞行器全参数导航方法
CN104702871A (zh) * 2015-03-19 2015-06-10 世雅设计有限公司 无人机投影显示方法、系统及装置
CN107784624A (zh) * 2017-09-28 2018-03-09 北京华航无线电测量研究所 一种匹配区图像的制作方法
CN107784624B (zh) * 2017-09-28 2020-12-04 北京华航无线电测量研究所 一种匹配区图像的制作方法
CN113884089A (zh) * 2021-09-09 2022-01-04 武汉中海庭数据技术有限公司 一种基于曲线匹配的相机杆臂补偿方法及系统
CN113884089B (zh) * 2021-09-09 2023-08-01 武汉中海庭数据技术有限公司 一种基于曲线匹配的相机杆臂补偿方法及系统

Similar Documents

Publication Publication Date Title
US11704833B2 (en) Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium
US11263761B2 (en) Systems and methods for visual target tracking
CN105378506B (zh) 移动成像平台校准
WO2019090488A1 (zh) 生成模拟航线的方法、模拟飞行的方法、设备及存储介质
Meyer et al. The MADMAX data set for visual‐inertial rover navigation on Mars
US20150062123A1 (en) Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
CN101929863A (zh) 一种景象匹配导航技术的实时图生成方法
KR20150013709A (ko) 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템
CN109118543A (zh) 沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法
CN112925223A (zh) 基于视觉传感网络的无人机三维跟踪虚拟测试仿真系统
CN104931070B (zh) 一种光信号注入式仿真方法
CN110062916A (zh) 用于模拟可移动平台的操作的视觉模拟系统
CN113031462A (zh) 无人机用港机巡检航线规划系统及方法
CN105373011A (zh) 检测光电跟踪设备的实时仿真系统和计算机
CN117173756A (zh) 一种增强现实ar系统、计算机设备及存储介质
CN113052974B (zh) 物体三维表面的重建方法和装置
CN110021210B (zh) 一种具有可扩展性虚拟空间的无人机vr训练方法
Liu et al. Standard datasets for autonomous navigation and mapping: A full-stack construction methodology
CN104199314B (zh) 一种机器人智能仿真测试方法
Hintze Autonomous landing of a rotary unmanned aerial vehicle in a non-cooperative environment using machine vision
Ross et al. Vision-based target geolocation and optimal surveillance on an unmanned aerial vehicle
Mahmoudi et al. A virtual environment for evaluation of computer vision algorithms under general airborne camera imperfections
US11172125B2 (en) Method and a system to provide aerial visualization of large landscape area
Shrestha et al. Automatic pose estimation of micro unmanned aerial vehicle for autonomous landing
Wu Real Time Evaluation of Boom and Drogue Occlusion with AAR

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20101229