CN107103621A - 基于光场单相机的非合作航天器三维位姿测量系统 - Google Patents

基于光场单相机的非合作航天器三维位姿测量系统 Download PDF

Info

Publication number
CN107103621A
CN107103621A CN201710268367.5A CN201710268367A CN107103621A CN 107103621 A CN107103621 A CN 107103621A CN 201710268367 A CN201710268367 A CN 201710268367A CN 107103621 A CN107103621 A CN 107103621A
Authority
CN
China
Prior art keywords
camera
light field
spacecraft
algorithm
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710268367.5A
Other languages
English (en)
Inventor
许晟明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou first sense Photoelectric Technology Co., Ltd.
Original Assignee
许晟明
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 许晟明 filed Critical 许晟明
Priority to CN201710268367.5A priority Critical patent/CN107103621A/zh
Publication of CN107103621A publication Critical patent/CN107103621A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Abstract

本发明公开了一种属于机器视觉技术领域的基于光场单相机的非合作航天器位三维位姿测量方案，该测量方案包括硬件系统和算法两部分，硬件系统包括高分辨率的光场单相机，算法包括光场单相机校准算法、光场单相机深度估计算法和基于深度估计点云结果的三维形貌重建算法。本方案用于非合作航天器位姿测量时，可以做到实时获取航天器的方位、三维形貌、三维姿态等信息，相较于同样是基于光学成像敏感器的多目立体视觉以及激光扫描手段，有着设备占用空间小、工作模式简单、质量轻、能源消耗少等优点，适用于需要长时间连续运行的非合作航天器实时位姿测量。

Description

基于光场单相机的非合作航天器三维位姿测量系统
技术领域
本发明涉及机器视觉技术领域，特别是涉及一种基于光场单相机的非合作航天器三维位姿测量系统。
背景技术
对空间非合作目标进行捕获，实际上是追踪航天器和目标航天器之间相对位姿精确测量与控制的过程，空间相对状态确定技术是成功实现空间抓捕的关键。目前国内外研究及应用的主要非合作目标航天器的相对位姿测量技术有GPS导航卫星测量，微波雷达测量，激光雷达测量，光学成像测量等。
其中光学成像敏感器的有效工作距离范围比较大，通过相关图像信息处理技术能够在不同距离获取不同的相对位姿信息。在远距离时，光学成像敏感器对目标航天器成像得到弱小目标或面目标图像，通过图像信息处理技术提取出图像中的目标区域，对其进行识别和特征跟踪，获得相对导航所需的目标航天器相对距离及方位角等导航信息；近距离时，光学成像敏感器对目标航天器成像得到高分辨率图像，图像中包含丰富的几何特征信息，如角点和直线等，提取出这些几何特征信息，进而通过立体匹配或特征跟踪实现对目标航天器表面的三维重构，最终解算相对位姿参数。据此，光学成像测量系统由于具有成本低、设备简单、功耗低以及光学图像信息量大等优点，成为最主要的测量敏感器。
现有的技术方案有如下问题：首先，基于双目视觉方法时目标航天器的相对位姿是通过特征点的空间位置来确定的，特征点的位置误差来源很多，如模型误差、图像噪声误差、量化误差等，导致基于双目视觉方法的深度信息计算不准确；基于单目相机的空间位姿测量系统需要围绕目标航天器飞行围绕飞行造成空间在轨服务系统燃料的巨大消耗，而对图像序列的处理也需要更庞大的图片存储设备及多图片处理设备，而基于多目视觉方法的立体视觉导航系统则需负载多个相机及其电源等配套设备。极大的增加了整个空间在轨服务系统的成本。
发明内容
针对现有技术的不足，本发明提供了一种基于光场单相机的非合作航天器三维位姿测量系统，能够相对于已有的测量方案简化工作模式、提高实时性、减少能耗。通过改变镜头和算法参数，可以适用于较广深度范围内的非合作航天器位姿实时测量。
为了实现上述目的，本发明是通过以下技术来实现的，本发明包括包括硬件系统和算法两部分；硬件系统包括主动对接航天器、被动对接航天器和高分辨率光场单相机，高分辨率光场单相机安装在主动对接航天器上，高分辨率光场单相机由一台高分辨率工业相机的光敏感成像元件前装配一块高分辨微透镜阵列而成；算法包括光场单相机校准算法、光场单相机深度估计算法和基于深度估计点云结果的三维形貌重建算法；三维形貌重建算法整合深度估计算法的结果，形成航天器可视化的深度图像。
优选地，在本发明中，高分辨率光场单相机的微透镜阵列与光敏感成像元件平行放置，且之间的距离与最优距离的误差小于0.1％。
优选地，在本发明中，光场单相机校准算法包括以下步骤：第一，相机校准；第二，模拟测试；第三，实地拍摄；第四，深度估计；第五，三维重建。
优选地，在本发明中，光场单相机校准算法包括以下步骤光场单相机深度估计算法包括以下步骤：第一，拍摄图片；第二，对极平面图像堆叠；第三，获取兴趣点的斜率；第四，判断可靠性；第五，生成点云；第六，重建三维模型。
优选地，在本发明的光场单相机校准算法中，相机校准为采用标准的黑白棋盘校准板，置于不同距离进行拍摄，并获取棋盘位置信息；模拟测试是于航天器未发射前，将光场单相机置于于外太空类似的环境中，以确保整个测试方案能够正常运行。
优选地，在本发明的光场单相机深度估计算法中，获取兴趣点的斜率是经由多视角图像堆叠形成对极几何图像，从图像切面中获取物体表面特征点的斜率值；生成点云是将所有带有深度信息的点经由相机校准数据校准后，形成点云；重建三维模型是根据点云以及原始图像来重建三维模型。
优选地，在本发明中，光场单相机在校准过后，需要保证其镜头参数严格不变，且优于太空条件限制，相机校准需要在发射之前完成。
优选地，在本发明中，深度估计算法和基于深度估计点云结果的三维形貌重建算法，在不失实时性的同时，权衡计算效率与高速图像处理单元的能耗。
与现有技术相比，本发明具有如下的优势：本发明所提出的方案能够实现优于双目视觉的测量精度、少于单目相机绕行法和基于多目视觉方法的立体视觉导航系统所需的燃料消耗，而且设备占用空间小、工作模式简单、质量轻。
附图说明
图1是本发明实际应用场景的示意图；
图2是本发明的光场单相机的封装示意图；
图3是本发明实施的流程图；
图4是本发明光场单相机深度估计算法流程；
附图中各部件的标记如下：1、主动对接航天器，2、被动对接航天器，3、光场单相机的非合作航天器位姿测量装置，4、相机主镜头，5、微透镜阵列，6、光敏感成像元件；
101、相机校准，102、模拟测试，103、实地拍摄，104、深度估计，105、三维重建；
201、拍摄图片，202、对极平面图像堆叠，203获取兴趣点的斜率、204判断可靠性、205、生成点云、206、重建三维模型。
具体实施方式
下面结合附图对本发明的实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
图1所示的是本发明实际应用场景的示意图，包括主动对接航天器1、被动对接航天器2、光场单相机的非合作航天器位姿测量装置3，在光场单相机的非合作航天器位姿测量装置对被动对接航天器2的位姿实时测量的同时(虚线范围为拍摄范围)，会将其三维信息发送给主动对接航天器1，在精确定位的条件下，使得两者的对接成功实现。
图2所示的是本发明中作为硬件系统的光场单相机封装示意图，包括：主镜头4、微透镜阵列5、光敏感成像元件6。相机主镜头4的参数(主要是镜头焦距和焦距比数)是根据所需拍摄的范围而定，对于近距离高精度的测量，选取更大的焦距值；反之则需选取较小的焦距值，根据焦距比数匹配原理，可以凭焦距选择合适的焦距比数。微透镜阵列5与光敏感成像元件6在误差允许范围内严格平行，且两者位姿关系不会随着外界环境轻易改变。如图2中箭头所示，微透镜阵列5可以将来自不同方向的光线按照其角度的不同，分别记录到光敏感成像元件的不同像素上，达到了记录四维光场的目的，故可以通过一定的算法逆求出光线在物方空间汇聚的位置，从而得到物体的三维位置信息。
图3所示的是发明实施的流程图，包括相机校准101、模拟测试102、实地拍摄103、深度估计104、三维重建105。其中，相机校准101采用标准的黑白棋盘校准板，置于不同距离进行拍摄，并获取棋盘位置信息，以消除在各个拍摄深度时的镜头畸变误差；模拟测试102是于航天器未发射前，将光场单相机置于于外太空类似的环境中，以确保整个测试方案能够正常运行；实地拍摄103是非合作航天器位于外太空轨道中时对所关心的航天器位姿的实时拍摄；深度估计104是通过光场单相机深度估计算法得出所拍摄物体的三位点云，并凭借相机校准101中得到的校准数据，对点云位置做校准；三维重建105是针对已经校准过的点云数据，结合真实图片对所拍物体重建后的一个结果。
图4所示的是本发明光场单相机深度估计算法流程图，包括拍摄图片201、对极平面图像堆叠202、获取兴趣点的斜率203、判断可靠性204、生成点云205、重建三维模型206。拍摄图片201是利用以图1中示意封装的光场单相机获取待测物体的四维光场原始图；对极平面图像堆叠202是利用光场单相机能记录带有角度信息光线的特点获取多视角图片集；获取兴趣点的斜率203是经由多视角图像堆叠形成对极几何图像，从图像切面中获取物体表面特征点的斜率值；判断可靠性204是根据中心视角图像以及原始图像，判断获取兴趣点的斜率203中求出的斜率值是否处于置信区间中，若是，则保留结果，反之则遗弃结果；生成点云205是将所有带有深度信息的点经由相机校准数据校准后，形成点云；重建三维模型206是根据点云以及原始图像来重建三维模型。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于光场单相机的非合作航天器三维位姿测量系统，其特征在于包括硬件系统和算法两部分；硬件系统包括主动对接航天器、被动对接航天器和高分辨率光场单相机，高分辨率光场单相机安装在主动对接航天器上，高分辨率光场单相机由一台高分辨率工业相机的光敏感成像元件前装配一块高分辨微透镜阵列而成；算法包括光场单相机校准算法、光场单相机深度估计算法和基于深度估计点云结果的三维形貌重建算法；三维形貌重建算法整合深度估计算法的结果，形成航天器可视化的深度图像。
2.根据权利要求1所述的基于光场单相机的非合作航天器三维位姿测量系统，其特征在于高分辨率光场单相机的微透镜阵列与光敏感成像元件平行放置，且之间的距离与最优距离的误差小于0.1％。
3.根据权利要求1所述的基于光场单相机的非合作航天器三维位姿测量系统，其特征在于所述光场单相机校准算法包括以下步骤：第一，相机校准；第二，模拟测试；第三，实地拍摄；第四，深度估计；第五，三维重建。
4.根据权利要求1所述的基于光场单相机的非合作航天器三维位姿测量系统，其特征在于所述光场单相机校准算法包括以下步骤光场单相机深度估计算法包括以下步骤：第一，拍摄图片；第二，对极平面图像堆叠；第三，获取兴趣点的斜率；第四，判断可靠性；第五，生成点云；第六，重建三维模型。
5.根据权利要求3所述的基于光场单相机的非合作航天器三维位姿测量系统，其特征在于，所述相机校准为采用标准的黑白棋盘校准板，置于不同距离进行拍摄，并获取棋盘位置信息；所述模拟测试是于航天器未发射前，将光场单相机置于于外太空类似的环境中，以确保整个测试方案能够正常运行。
6.根据权利要求4所述的基于光场单相机的非合作航天器三维位姿测量系统，其特征在于所述获取兴趣点的斜率是经由多视角图像堆叠形成对极几何图像，从图像切面中获取物体表面特征点的斜率值；所述生成点云是将所有带有深度信息的点经由相机校准数据校准后，形成点云；所述重建三维模型是根据点云以及原始图像来重建三维模型。
CN201710268367.5A 2017-04-22 2017-04-22 基于光场单相机的非合作航天器三维位姿测量系统 Pending CN107103621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710268367.5A CN107103621A (zh) 2017-04-22 2017-04-22 基于光场单相机的非合作航天器三维位姿测量系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710268367.5A CN107103621A (zh) 2017-04-22 2017-04-22 基于光场单相机的非合作航天器三维位姿测量系统

Publications (1)

Publication Number Publication Date
CN107103621A true CN107103621A (zh) 2017-08-29

Family

ID=59656803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710268367.5A Pending CN107103621A (zh) 2017-04-22 2017-04-22 基于光场单相机的非合作航天器三维位姿测量系统

Country Status (1)

Country Link
CN (1) CN107103621A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108089196A (zh) * 2017-12-14 2018-05-29 中国科学院光电技术研究所 一种光学主被动融合的非合作目标位姿测量装置
CN108364309A (zh) * 2018-02-09 2018-08-03 清华大学深圳研究生院 一种基于手持式光场相机的空间光场恢复方法
CN108917772A (zh) * 2018-04-04 2018-11-30 北京空间飞行器总体设计部 基于序列图像的非合作目标相对导航运动估计方法
CN109459043A (zh) * 2018-12-12 2019-03-12 上海航天控制技术研究所 一种基于生成式重构图像的航天器相对导航方法
WO2020207172A1 (zh) * 2019-04-09 2020-10-15 深圳市视觉动力科技有限公司 基于三维光场技术的光学无人机监测方法及系统
CN112068128A (zh) * 2020-09-19 2020-12-11 重庆大学 一种直道场景线段型雷达数据处理及位姿获取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033972A (zh) * 2007-02-06 2007-09-12 华中科技大学 一种空间非合作物体三维信息的获取方法
CN104048648A (zh) * 2014-05-27 2014-09-17 清华大学深圳研究生院 大尺寸非合作目标的相对位姿测量方法
CN104101331A (zh) * 2014-07-24 2014-10-15 合肥工业大学 基于全光场相机的非合作目标位姿测量

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033972A (zh) * 2007-02-06 2007-09-12 华中科技大学 一种空间非合作物体三维信息的获取方法
CN104048648A (zh) * 2014-05-27 2014-09-17 清华大学深圳研究生院 大尺寸非合作目标的相对位姿测量方法
CN104101331A (zh) * 2014-07-24 2014-10-15 合肥工业大学 基于全光场相机的非合作目标位姿测量

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
高隽等: "光场深度估计方法的对比研究", 《模式识别与人工智能》 *
魏许: "空间非合作目标的近距离相对位姿测量技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108089196A (zh) * 2017-12-14 2018-05-29 中国科学院光电技术研究所 一种光学主被动融合的非合作目标位姿测量装置
CN108364309A (zh) * 2018-02-09 2018-08-03 清华大学深圳研究生院 一种基于手持式光场相机的空间光场恢复方法
CN108364309B (zh) * 2018-02-09 2020-09-01 清华大学深圳研究生院 一种基于手持式光场相机的空间光场恢复方法
CN108917772A (zh) * 2018-04-04 2018-11-30 北京空间飞行器总体设计部 基于序列图像的非合作目标相对导航运动估计方法
CN109459043A (zh) * 2018-12-12 2019-03-12 上海航天控制技术研究所 一种基于生成式重构图像的航天器相对导航方法
WO2020207172A1 (zh) * 2019-04-09 2020-10-15 深圳市视觉动力科技有限公司 基于三维光场技术的光学无人机监测方法及系统
CN111818274A (zh) * 2019-04-09 2020-10-23 深圳市视觉动力科技有限公司 基于三维光场技术的光学无人机监测方法及系统
US20220210375A1 (en) * 2019-04-09 2022-06-30 Shenzhen Vision Power Technology Co., Ltd. Method and system for optical monitoring of unmanned aerial vehicles based on three-dimensional light field technology
CN112068128A (zh) * 2020-09-19 2020-12-11 重庆大学 一种直道场景线段型雷达数据处理及位姿获取方法

Similar Documents

Publication Publication Date Title
CN107103621A (zh) 基于光场单相机的非合作航天器三维位姿测量系统
JP6484729B2 (ja) 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機
US10176595B2 (en) Image processing apparatus having automatic compensation function for image obtained from camera, and method thereof
Wenzel et al. Image acquisition and model selection for multi-view stereo
EP3134868B1 (en) Generation and use of a 3d radon image
CN105744163B (zh) 一种基于深度信息跟踪对焦的摄像机及摄像方法
EP3144880B1 (en) A method and an apparatus for generating data representative of a light field
CN102692214B (zh) 一种狭窄空间双目视觉测量定位装置及方法
CN110462686A (zh) 用于从场景获得深度信息的设备和方法
CN202075794U (zh) 一种无人机航摄立体成像处理设备
De Franchis et al. On stereo-rectification of pushbroom images
US20210377432A1 (en) Information processing apparatus, information processing method, program, and interchangeable lens
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN105357472A (zh) 遥感卫星系统及其视频图像实时传输方法
CN112837207A (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
Savoy et al. Cloud base height estimation using high-resolution whole sky imagers
Wegner et al. Depth estimation from stereoscopic 360-degree video
Teo Video-based point cloud generation using multiple action cameras
JP6847097B2 (ja) 光学取得系によりキャプチャされた画像を符号化するための装置及び方法
US10909704B2 (en) Apparatus and a method for generating data representing a pixel beam
CN105578173A (zh) 一种快速三维空间投影摄像视觉识别系统
CN113240749B (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
JP6868167B1 (ja) 撮像装置および撮像処理方法
CN116222786B (zh) 相机阵列计算成像系统及方法
CN111089564B (zh) 一种动平台动目标双目测距系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Cao Houping

Inventor after: Liu Shuguang

Inventor after: Xu Chengming

Inventor before: Xu Chengming

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171110

Address after: The big east Whampoa District of Guangzhou City, Guangdong province 510725 No. 599 No. 25 compound P202

Applicant after: Guangzhou first intelligent manufacturing technology Co., Ltd.

Address before: 200240 building 511, A building, School of mechanical and power engineering, Dongchuan Road, 800 Minhang District Road,, Shanghai

Applicant before: Xu Chengming

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171229

Address after: 510530 Yun Pu No. four, No. 6 (2 building), Whampoa District, Guangzhou, Guangdong Province, 1004

Applicant after: Guangzhou first sense Photoelectric Technology Co., Ltd.

Address before: The big east Whampoa District of Guangzhou City, Guangdong province 510725 No. 599 No. 25 compound P202

Applicant before: Guangzhou first intelligent manufacturing technology Co., Ltd.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170829