CN106408650A - 在轨掠飞成像对空间目标三维重建与测量方法 - Google Patents

在轨掠飞成像对空间目标三维重建与测量方法 Download PDF

Info

Publication number
CN106408650A
CN106408650A CN201610727934.4A CN201610727934A CN106408650A CN 106408650 A CN106408650 A CN 106408650A CN 201610727934 A CN201610727934 A CN 201610727934A CN 106408650 A CN106408650 A CN 106408650A
Authority
CN
China
Prior art keywords
target
image
camera
reconstruction
winged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610727934.4A
Other languages
English (en)
Other versions
CN106408650B (zh
Inventor
张小虎
丁少闻
杨夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201610727934.4A priority Critical patent/CN106408650B/zh
Publication of CN106408650A publication Critical patent/CN106408650A/zh
Application granted granted Critical
Publication of CN106408650B publication Critical patent/CN106408650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures

Abstract

本发明涉及在轨掠飞成像对空间目标三维重建与测量方法，步骤包括空间掠飞拍摄获取掠飞图像，面向空间目标的多视图三维重建，空间目标三维模型绝对尺度转换方法。本方法对任意空间目标，可以快速响应侦查需要，展开高清拍摄与测量，相比地面侦查，没有严苛的观测气候条件和观测窗口；同时不需拍摄平台提供相机参数，只需要若干组包含待测空间目标的序列图像，即可实现目标的重建及非接触测量，大大降低了在轨测量的难度及成本。

Description

在轨掠飞成像对空间目标三维重建与测量方法
技术领域
本发明设计了一种面向空间目标的三维重建与测量新技术，属于立体视觉测量与空间目标感知领域。
背景技术
为满足空间目标在轨侦查与维护需求，需要对空间目标形貌进行拍摄与测量。传统方法分地面观测和在轨测量两种。受大气折射、云雾遮挡等因素影响，地面观测难以获得理想效果，而传统在轨测量要求相机平台可提供精确的位姿信息，极大增加了任务难度。若能在不依赖拍摄平台提供相机参数的条件下，完成在轨目标测量任务，将极大提高我国目前的空间目标感知能力。
多视三维重建是一种利用不同视角图像对目标物体进行三维重建的技术，利用所重建三维模型，可以实现对目标的非接触式测量。若能将多视三维重建的思想引入空间目标感知领域，建立目标三维模型，将极大提高在轨目标侦查能力。
发明内容
本发明提供一种不依赖摄像平台提供相机参数的空间目标测量技术。为实现上述目的，本发明采用的技术方案是一种基于多视图重建的空间目标三维重建、测量方法，利用不同视角图像对目标物体进行三维重建，具体包括：
1、空间掠飞拍摄，获取掠飞图像
受空间轨道环境制约，摄像平台无法对待测目标进行自由拍摄，采用一种基于释放拍摄单元掠飞空间目标的掠飞拍摄系统来获取掠飞图像，该掠飞拍摄系统包括拍摄单元、在轨侦查平台、空间数据传输中继站以及地面数据处理站，
所述拍摄单元由高清拍摄模块、存储模块、传输模块、姿态保持模块及供电模块构成，当在轨侦查平台接近待测目标时，拍摄单元被释放并掠飞经过目标完成近距离全覆盖拍摄，并将拍摄数据传送至空间数据传输中继站。
该拍摄单元近似微纳卫星，具备高分辨率拍摄及数据传输能力，由在轨侦查平台搭载。当出现空间目标侦查及测量需求时，侦查平台通过变轨接近空间目标，并释放拍摄单元掠飞经过目标，完成对目标的全覆盖拍摄。拍摄图像由拍摄单元的数据传输模块传送，经空间数据传输中继站，发往地面数据处理终端。
所述在轨侦查平台，可以是长期停留在指定轨道待命的卫星平台，也可以是实时发射的卫星平台，其通过轨道机动变轨接近待测目标后，沿指定方向释放拍摄单元，以保证拍摄单元全覆盖近距离完成对目标的拍摄。
所述空间数据传输中继站接收拍摄单元获取的目标图像，并转发至地面数据处理站，进行后续处理与测量。
2、掠飞图像重建
在无平台提供相机参数的情况下，需要通过帧间匹配关系，计算求得每帧图像对应相机位姿信息。本发明结合空间目标特点，选取基于Surf特征的图像匹配方法实现帧间匹配；再利用运动结构恢复技术（Struct From Motion），实现相机的组网定向。结合所得相机定向信息以及Patchmatch密集匹配方法，构建目标空间点云。最后利用点云进行网格构建以及目标纹理粘贴。该方法在不依赖平台提供相机精确位姿信息的前提下，可以获取空间目标的精确三维模型，以便后续对目标进行测量与研究。
3、空间目标三维模型的尺度恢复
上述提到的基于运动结构恢复的相机组网标定方法，获得的是相对定向数据，即最终重建模型与实际目标相差一个比例缩放因子。对合作目标而言，本发明通过识别目标点云上若干合作标志点，结合标志点间固定距离，求得缩放倍数，从而将目标三维模型精确转换到绝对尺度下。对非合作目标而言，设计利用定位目标上的特定物体和结构，如太阳能帆板等，以及这些物体和结构的常见尺寸，大致计算出目标尺度信息，从而获得一个与实际目标大小接近的重建结果。利用获得的目标三维点云数据以及带纹理重建结果，即可实现对目标的测量与分析。
本发明的有益效果是，对任意空间目标，可以快速响应侦查需要，展开高清拍摄与测量，相比地面侦查，没有严苛的观测气候条件和观测窗口；同时不需拍摄平台提供相机参数，只需要若干组包含待测空间目标的序列图像，即可实现目标的重建及非接触测量，大大降低了在轨测量的难度及成本。
附图说明
图1为主视图，
图2为拍摄单元的构成图。
具体实施方式
一种基于多视图重建的空间目标三维重建与测量方法，具体步骤如下：
1、空间掠飞拍摄，获取掠飞图像
采用一种基于释放拍摄单元掠飞空间目标的掠飞拍摄系统来获取掠飞图像，该掠飞拍摄系统包括拍摄单元、在轨侦查平台、空间数据传输中继站以及地面数据处理站，
当出现空间目标侦查及测量需求时，侦查平台（卫星）通过轨道机动接近空间目标，并释放拍摄单元掠飞经过目标，完成对目标的多角度掠飞拍摄，获取掠飞图像。掠飞图像由拍摄单元的数据传输模块传送，经空间数据传输中继站，发往地面数据处理终端。
拍摄单元搭载在侦查平台上，当接近空间目标时，将拍摄单元按照一定方向弹射释放，拍摄单元在掠飞过目标的过程中连续采图，得到待测空间目标不同角度图像。采图完成后，通过回收绳将拍摄单元收回侦查平台以供再次使用。
2、掠飞图像重建
利用拍摄单元采集获得的空间目标不同视角的掠飞图像，重建得到目标三维模型。
（1）图像特征点提取与匹配。通过拍摄单元对空间目标多角度拍摄采图，获得包含目标并互有重叠的一组图像。通过空间目标上SIFT特征点的检测提取及图像间匹配，获得任两帧图像的特征点匹配对，建立图像间的匹配关系。
（2）序列图像相机定向。依据指定原则选取重合度高且适合两视图交会的两帧图像，以其中一幅图像对应相机坐标系为参考坐标系，由匹配关系计算另一幅图像对应相机位姿信息，并进行标志点匹配对交会计算，获得特征点初始空间点云。搜索与点云中同名点最多的第三幅图像，由同名点空间位置及在第三幅图上的对应图像坐标进行后方交会获得第三幅图像对应相机在参考坐标系中的位姿初值，再利用光束法平差对相机位姿进行迭代优化。在坐标系中新增第三个相机位置后，与前两帧进行空间交会，对空间点云进行扩充更新。同样方法依次将其余帧图像对应相机位置依次加入到参考坐标系中。通过以上流程，获得掠飞序列图像对应相机间的位置及光轴指向关系，即完成相机定向。
（3）构建三维模型。获得所得相机定向信息后，即可由Patchmatch方法进行图像间密集匹配，进而通过空间交会计算获得目标密集点云。利用点云进行网格构建以及目标纹理粘贴，得到空间目标三维模型。
3、尺度恢复
通过计算尺度缩放因子，将重建所得三维模型恢复到实际尺寸
（1）对合作目标而言，通过在图像中识别两个实际距离已知的合作标志点，计算其在重建三维点云中的对应点间距离，结合标志点间实际固定距离，求得尺度缩放因子，从而将目标三维模型精确缩放到绝对尺度下，此时该重建模型具有测量意义。
（2）对非合作目标而言，设计利用定位目标上的特定物体和结构，如太阳能帆板等，以及这些物体和结构的常见尺寸，大致计算出目标尺度信息，从而获得一个与实际目标大小接近的重建结果。

Claims (3)

1.一种基于多视图重建的空间目标三维重建与测量方法，利用不同视角图像对目标物体进行三维重建，其特征在于，具体步骤如下：
（1）空间掠飞拍摄，获取掠飞图像
采用一种基于释放拍摄单元掠飞空间目标的掠飞拍摄系统来获取掠飞图像，该掠飞拍摄系统包括拍摄单元、在轨侦查平台、空间数据传输中继站以及地面数据处理站，
当出现空间目标侦查及测量需求时，侦查平台通过轨道机动接近空间目标，并释放拍摄单元掠飞经过目标，完成对目标的多角度掠飞拍摄，获取掠飞图像，
（2）、掠飞图像重建
利用拍摄单元采集获得的空间目标不同视角的掠飞图像，重建得到目标三维模型，包括如下步骤
（2.1）图像特征点提取与匹配
通过拍摄单元对空间目标多角度拍摄采图，获得包含目标并互有重叠的一组图像，通过空间目标上SIFT特征点的检测提取及图像间匹配，获得任两帧图像的特征点匹配对，建立图像间的匹配关系；
（2.2）序列图像相机定向
选取重合度高且适合两视图交会的两帧图像，以其中一幅图像对应相机坐标系为参考坐标系，由匹配关系计算另一幅图像对应相机位姿信息，并进行标志点匹配对交会计算，获得特征点初始空间点云，搜索与点云中同名点最多的第三幅图像，由同名点空间位置及在第三幅图上的对应图像坐标进行后方交会获得第三幅图像对应相机在参考坐标系中的位姿初值，再利用光束法平差对相机位姿进行迭代优化，在坐标系中新增第三个相机位置后，与前两帧进行空间交会，对空间点云进行扩充更新，
同样方法依次将其余帧图像对应相机位置依次加入到参考坐标系中，
通过以上流程，获得掠飞序列图像对应相机间的位置及光轴指向关系，即完成相机定向；
（2.3）构建三维模型
获得所得相机定向信息后，即由Patchmatch方法进行图像间密集匹配，进而通过空间交会计算获得目标密集点云，利用点云进行网格构建以及目标纹理粘贴，得到空间目标三维模型；
（3）、尺度恢复
通过计算尺度缩放因子，将重建所得三维模型恢复到实际尺寸
（3.1）对合作目标而言，通过在图像中识别两个实际距离已知的合作标志点，计算其在重建三维点云中的对应点间距离，结合标志点间实际固定距离，求得尺度缩放因子，从而将目标三维模型精确缩放到绝对尺度下，此时该重建模型具有测量意义；
（3.2）对非合作目标而言，设计利用定位目标上的特定物体和结构，如太阳能帆板，以及这些物体和结构的常见尺寸，计算出目标尺度信息，从而获得一个与实际目标大小接近的重建结果。
2.根据权利要去1所述的一种基于多视图重建的空间目标三维重建与测量方法，其特征在于，所述拍摄单元搭载在侦查平台上，当接近空间目标时，将拍摄单元弹射释放，拍摄单元在掠飞过目标的过程中连续采图，得到待测空间目标不同角度图像，采图完成后，通过回收绳将拍摄单元收回侦查平台以供再次使用。
3.根据权利要去1所述的一种基于多视图重建的空间目标三维重建与测量方法，其特征在于，所述掠飞图像由拍摄单元的数据传输模块传送，经空间数据传输中继站，发往地面数据处理终端。
CN201610727934.4A 2016-08-26 2016-08-26 在轨掠飞成像对空间目标三维重建与测量方法 Active CN106408650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610727934.4A CN106408650B (zh) 2016-08-26 2016-08-26 在轨掠飞成像对空间目标三维重建与测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610727934.4A CN106408650B (zh) 2016-08-26 2016-08-26 在轨掠飞成像对空间目标三维重建与测量方法

Publications (2)

Publication Number Publication Date
CN106408650A true CN106408650A (zh) 2017-02-15
CN106408650B CN106408650B (zh) 2018-12-11

Family

ID=58004445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610727934.4A Active CN106408650B (zh) 2016-08-26 2016-08-26 在轨掠飞成像对空间目标三维重建与测量方法

Country Status (1)

Country Link
CN (1) CN106408650B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机系统的外参数标定方法
CN109540173A (zh) * 2018-09-17 2019-03-29 江西洪都航空工业集团有限责任公司 一种视觉辅助的传递对准方法
CN109753885A (zh) * 2018-12-14 2019-05-14 中国科学院深圳先进技术研究院 一种目标检测方法、装置以及行人检测方法、系统
CN110989645A (zh) * 2019-12-02 2020-04-10 西安欧意特科技有限责任公司 一种基于复眼成像原理的目标空间姿态处理方法
CN111829452A (zh) * 2020-06-04 2020-10-27 中国人民解放军63921部队 拖曳式立体测量单元、系统和空间目标测量方法
CN112001277A (zh) * 2020-08-11 2020-11-27 中国地质科学院矿产资源研究所 无人机填图方法、填图装置及填图系统
US10997747B2 (en) * 2019-05-09 2021-05-04 Trimble Inc. Target positioning with bundle adjustment
US11002541B2 (en) 2019-07-23 2021-05-11 Trimble Inc. Target positioning with electronic distance measuring and bundle adjustment
CN113256804A (zh) * 2021-06-28 2021-08-13 湖北亿咖通科技有限公司 一种三维重建尺度恢复方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101539397A (zh) * 2009-04-17 2009-09-23 中国人民解放军国防科学技术大学 物体三维姿态的精密光学测量方法
CN102607534A (zh) * 2012-03-13 2012-07-25 上海交通大学 基于运动恢复结构的卫星相对姿态测量方法
CN103927738A (zh) * 2014-01-10 2014-07-16 北京航天飞行控制中心 一种大间距模式下基于双目视觉图像的行星车定位方法
CN104392486A (zh) * 2014-11-25 2015-03-04 西安理工大学 一种点云场景重建方法
CN104778720A (zh) * 2015-05-07 2015-07-15 东南大学 一种基于空间不变特性的快速体积测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101539397A (zh) * 2009-04-17 2009-09-23 中国人民解放军国防科学技术大学 物体三维姿态的精密光学测量方法
CN102607534A (zh) * 2012-03-13 2012-07-25 上海交通大学 基于运动恢复结构的卫星相对姿态测量方法
CN103927738A (zh) * 2014-01-10 2014-07-16 北京航天飞行控制中心 一种大间距模式下基于双目视觉图像的行星车定位方法
CN104392486A (zh) * 2014-11-25 2015-03-04 西安理工大学 一种点云场景重建方法
CN104778720A (zh) * 2015-05-07 2015-07-15 东南大学 一种基于空间不变特性的快速体积测量方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
MICHAEL GOESELE 等: "Multi-View Stereo for Community Photo Collections", 《PROCEEDINGS OF ICCV 2007》 *
XIAOJING HUANG 等: "3D Building Reconstruction and Visualization for Single High Resolution Satellite Image", 《2007 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *
李南伯 等: "多模式视频监控系统在武器试飞中的应用", 《电子设计工程》 *
杨贵军 等: "农用无人机多传感器遥感辅助小麦育种信息获取", 《农业工程学报》 *
郭复胜 等: "利用相机辅助信息的分组三维场景重建", 《计算机科学与探索》 *
魏占玉 等: "基于SfM方法的高密度点云数据生成及精度分析", 《地震地质》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109540173A (zh) * 2018-09-17 2019-03-29 江西洪都航空工业集团有限责任公司 一种视觉辅助的传递对准方法
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机系统的外参数标定方法
CN109360245B (zh) * 2018-10-26 2021-07-06 魔视智能科技(上海)有限公司 无人驾驶车辆多相机系统的外参数标定方法
CN109753885A (zh) * 2018-12-14 2019-05-14 中国科学院深圳先进技术研究院 一种目标检测方法、装置以及行人检测方法、系统
CN109753885B (zh) * 2018-12-14 2020-10-16 中国科学院深圳先进技术研究院 一种目标检测方法、装置以及行人检测方法、系统
US10997747B2 (en) * 2019-05-09 2021-05-04 Trimble Inc. Target positioning with bundle adjustment
US11002541B2 (en) 2019-07-23 2021-05-11 Trimble Inc. Target positioning with electronic distance measuring and bundle adjustment
CN110989645A (zh) * 2019-12-02 2020-04-10 西安欧意特科技有限责任公司 一种基于复眼成像原理的目标空间姿态处理方法
CN110989645B (zh) * 2019-12-02 2023-05-12 西安欧意特科技有限责任公司 一种基于复眼成像原理的目标空间姿态处理方法
CN111829452A (zh) * 2020-06-04 2020-10-27 中国人民解放军63921部队 拖曳式立体测量单元、系统和空间目标测量方法
CN111829452B (zh) * 2020-06-04 2021-09-07 中国人民解放军63921部队 拖曳式立体测量单元、系统和空间目标测量方法
CN112001277B (zh) * 2020-08-11 2021-05-07 中国地质科学院矿产资源研究所 无人机填图方法、填图装置及填图系统
CN112001277A (zh) * 2020-08-11 2020-11-27 中国地质科学院矿产资源研究所 无人机填图方法、填图装置及填图系统
CN113256804A (zh) * 2021-06-28 2021-08-13 湖北亿咖通科技有限公司 一种三维重建尺度恢复方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN106408650B (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN106408650B (zh) 在轨掠飞成像对空间目标三维重建与测量方法
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN109360240B (zh) 一种基于双目视觉的小型无人机定位方法
CN109272532B (zh) 基于双目视觉的模型位姿计算方法
CN106826833B (zh) 基于3d立体感知技术的自主导航机器人系统
CN108317953A (zh) 一种基于无人机的双目视觉目标表面3d检测方法及系统
CN111045017A (zh) 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN102697508B (zh) 采用单目视觉的三维重建来进行步态识别的方法
CN105716539B (zh) 一种快速高精度的三维形面测量方法
CN104280036B (zh) 一种交通信息的检测与定位方法、装置及电子设备
CN103049912B (zh) 一种基于任意三面体的雷达-相机系统外部参数标定方法
CN108389256B (zh) 二三维交互式无人机电力杆塔巡检辅助方法
CN109739254A (zh) 一种电力巡检中采用视觉图像定位的无人机及其定位方法
CN105225269A (zh) 基于运动机构的三维物体建模系统
CN104268935A (zh) 一种基于特征的机载激光点云与影像数据融合系统及方法
CN106767720A (zh) 基于无人机的单镜头倾斜摄影测量方法、装置和系统
CN108665499B (zh) 一种基于视差法的近距飞机位姿测量方法
CN110675453B (zh) 一种已知场景中运动目标的自定位方法
CN103278138A (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN110319772A (zh) 基于无人机的视觉大跨度测距方法
CN110044374A (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
CN107917700B (zh) 基于深度学习的小幅度目标三维姿态角测量方法
CN110849331B (zh) 基于三维点云数据库模型的单目视觉测量与地面试验方法
CN104268876A (zh) 基于分块的摄像机标定方法
CN105739106A (zh) 一种体感多视点大尺寸光场真三维显示装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant