CN111652896B - 惯导辅助陨石坑由粗到精检测方法 - Google Patents

惯导辅助陨石坑由粗到精检测方法 Download PDF

Info

Publication number
CN111652896B
CN111652896B CN202010474551.7A CN202010474551A CN111652896B CN 111652896 B CN111652896 B CN 111652896B CN 202010474551 A CN202010474551 A CN 202010474551A CN 111652896 B CN111652896 B CN 111652896B
Authority
CN
China
Prior art keywords
image
merle
landing
point
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010474551.7A
Other languages
English (en)
Other versions
CN111652896A (zh
Inventor
崔平远
高锡珍
朱圣英
徐瑞
修文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010474551.7A priority Critical patent/CN111652896B/zh
Publication of CN111652896A publication Critical patent/CN111652896A/zh
Application granted granted Critical
Publication of CN111652896B publication Critical patent/CN111652896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的惯导辅助陨石坑由粗到精检测方法,属于深空探测技术领域。本发明实现方法为:基于明暗区域信息实现陨石坑图像特征边缘粗提取。利用快速傅里叶变换搜索模板与图像特征的匹配度,从而实现图像特征所在区域粗定位。通过引入惯性测量信息计算图像间重叠面积,更新模板形状,并预测搜索区域。在单一陨石坑所在区域内实现其精细检测,从而感知着陆区域形貌信息,保证着陆器精确安全着陆。本发明能够解决序列图像特征间仿射变换及信息冗余带来的特征无法检测和识别效率低的困难。本发明不仅适用于行星着陆及小天体探测任务中,也适用于月球探测任务。

Description

惯导辅助陨石坑由粗到精检测方法
技术领域
本发明涉及惯导辅助陨石坑由粗到精检测方法,属于深空探测技术领域。
技术背景
采用光学设备对着陆地形环境进行感知是保障复杂地形下着陆探测任务成功实施的重要技术手段。在着陆过程中,探测器利用光学设备(激光雷达、光学相机)对着陆区域成像,通过图像处理获取的光学信息不仅可用于障碍检测及规避,还可作为导航路标进行跟踪以实现探测器精确定位及运动参数估计。光学相机相较于激光雷达等主动传感器具有低成本,低功耗,大视场及获取图像信息丰富的优势,已广泛应用于行星探测着陆任务中。
陨石坑是太阳系天体上常见的自然形貌,随时间推移在不同光照条件和导航相机位姿下具有一致的几何轮廓(圆或椭圆)和明暗区域特性,因此陨石坑是最适用于着陆导航的观测特征。此外,陨石坑边缘地势陡峭,是障碍地形之一,需要对其进行提取及规避。探测器着陆采集图像过程中,拍摄条件(如高度、视角等)动态变化会导致同一陨石坑图像产生尺度及形状变化,且序列图像间存在信息冗余,分别检测降低计算效率。因此,考虑到精确导航和障碍规避的需要,有必要设计一种快速有效地陨石坑检测方法,保证着陆器精确安全着陆。
发明内容
为了解决行星着陆星表形貌特征识别问题,本发明的目的是提供一种惯导辅助陨石坑由粗到精检测方法,通过引入惯性测量信息,在单一陨石坑所在区域内实现陨石坑检测,保证着陆器精确安全着陆。
本发明的目的是通过下述技术方案实现的。
本发明公开的惯导辅助陨石坑由粗到精检测方法,基于明暗区域信息实现陨石坑图像特征边缘粗提取。利用快速傅里叶变换搜索模板与图像特征的匹配度,从而实现图像特征所在区域粗定位。通过引入惯性测量信息计算图像间重叠面积,更新模板形状,并预测搜索区域。在单一陨石坑所在区域内实现其精细检测,从而感知着陆区域形貌信息,保证着陆器精确安全着陆。
本发明公开的惯导辅助陨石坑由粗到精检测方法,包括如下步骤:
步骤1:基于明暗区域信息实现陨石坑图像特征边缘粗提取。
对于某一像素点(u,v),基于区域的边缘检测方法选择以像素点(u,v)为中心,大小为w×w的图像窗口,首先计算窗口内灰度均值E(M),然后寻找窗口内像素点最大灰度值max(M)和最小灰度值min(M),并计算窗口内灰度均值E(M)分别与max(M)和min(M)的差值,将该值分配给原图像像素点。图像I创建过程如式(1)所示。
I(u,v)=max[E(M)-min(M),max(M)-E(M)] (1)
将带有w×w元素的窗口M以原始图像的每个像素为中心重复式(1)所示的操作过程,从而创建一个新的图像I。
根据图像I的灰度值范围,计算阈值TI,如式(2)所示。
TI=α[max(I)-min(I)]+min(I) (2)
式中,α为常数。
利用阈值TI,对图像I进行如下二值化处理,得到陨石坑边缘特征的二值图像J。
Figure BDA0002515416010000021
按照式(1)至式(3)对图像进行处理,即实现对陨石坑边缘特征粗进行提取。
步骤2:利用快速傅里叶变换搜索模板与图像特征的匹配度,从而实现图像特征所在区域粗定位。
创建二值化模型作为搜索模板,由于陨石坑自然形状不规则,搜索模板设定为圆环,其内部半径是外部半径的一半,周围是一个黑色正方形的背景。同时,陨石坑特征尺度大小不一,需要生成半径大小不同的模板图像。
为了衡量模板图像和候选区域之间的相似度,根据公式(4)计算两者之间的相关系数
Figure BDA0002515416010000022
式中,m和n表示模板图像T大小,Iu,v表示待检图像中以(u,v)为左上顶点大小为m×n的图像子区域,Iu,v(k,l)和T(k,l)分别表示Iu,v和T在(k,l)点的灰度值,
Figure BDA0002515416010000035
和/>
Figure BDA0002515416010000034
分别表示Iu,v和T的灰度均值。
为了提高效率,利用连通域分析陨石坑边缘候选区域大小。为了保证候选区域检测充分性,采用四连通域分析候选区域大小。
通过对候选区域的四连通域分析,得到候选区域上相距最远的两点pmax和pmin,分别计算其水平方向和垂直方向上的距离,取最大值定义为模板图像中圆环外径。模板图像圆环外径确定如式(5)所示。
ri=max(|upmax-upmin|,|vpmax-vpmin|) (5)
式中,upmax,vpmax,upmin和vpmin分别表示两点pmax和pmin在图像坐标系下的横纵坐标值。
在此基础上确定陨石坑边缘区域,实现图像特征所在区域粗定位,且能够避免产生大量冗余模板,提高效率。
步骤3:通过引入惯性测量信息计算图像间重叠面积,更新模板形状,并预测搜索区域。在单一陨石坑所在区域内实现其精细检测,从而感知着陆区域形貌信息,保证着陆器精确安全着陆。
为了实现探测器状态估计,陨石坑必须在至少两个连续图像的重叠区域内进行选择。在序列图像中首先寻找相交的多边形并计算重叠区域。
探测器初始位置为t=[tx ty tz]T,探测器zc轴垂直指向于着陆平面,xc轴和yc轴分别与着陆点坐标的xl轴和yl轴平行,则基于相机投影模型计算得到相机视场与着陆平面的交点如式(6)所示。
Figure BDA0002515416010000031
式中,F1 i
Figure BDA0002515416010000032
和/>
Figure BDA0002515416010000033
分别表示相机视场与着陆平面的交点,γ表示相机视场角大小。
式(6)给出了着陆点坐标系下相机视场与着陆平面的交点,为了描述探测器旋转和平移运动情况下相机视场与着陆平面的交点变化,定义交点F1 i在相机坐标系的坐标为。
Figure BDA0002515416010000041
探测器运动后的相机视场交点矢量cF1 i+1由式(8)计算得到。
Figure BDA0002515416010000042
式中,
Figure BDA0002515416010000043
表示探测器相对运动姿态矩阵,/>
Figure BDA0002515416010000044
表示探测器相对运动平移向量,其分别由下式计算得到。
Figure BDA0002515416010000045
式中,Ci和Ci+1分别表示探测器相对着陆点坐标系的姿态矩阵,ti和ti+1表示探测器在着陆点坐标系下的位置,
Figure BDA0002515416010000046
值得注意的是,以上推导得到的探测器相对运动状态由探测器绝对状态表示,而在实际情况下探测器绝对状态为导航系统中待估状态量,通过惯性测量单元给出探测器的位置和姿态信息估计得到。
由式(8)计算得到探测器运动后的相机视场与着陆平面交点如式(10)所示。
Figure BDA0002515416010000047
同样地,计算得到交点
Figure BDA0002515416010000048
在相机坐标系下的坐标/>
Figure BDA0002515416010000049
并得到探测器运动后的相机视场与着陆平面的所有交点,以此计算序列图像间的重合区域。
作为优选,为了计算重叠区域,需要考虑四边形顶点以及四边形边界之间交点的位置,重叠区域获取步骤如下:
(1)对于第一个四边形的每个顶点,判断它是否包含在第二个四边形里面。如果是,存储该点坐标;
(2)对于第二个四边形的每个顶点,判断它是否包含在第一个四边形里面。如果是,储存该点坐标;
(3)对于其中一个四边形的每条边,判断其与另一个四边形的每条边是否相交。如果是,转入(4)计算每个点对应的图像点位置并储存交点坐标;
(4)计算每个点对应的图像点位置,连接每个像点形成凸多边形;
(5)基于相机透视成像原理确定两幅图像中重合区域,在此范围内进行陨石坑候选区域粗检测。
基于上述重叠区域获取步骤能够有效地实现序列图像间重合区域确定,从而为陨石坑候选区域粗检测提供前提条件。
在实际应用中,大多数的陨石坑在行星地形上以圆形形态分布。然而,在下降序列图像中,由于星载相机可能不总是垂直指向行星表面,陨石坑图像并不呈现为圆形。半径为r的圆环,经过仿射畸变(Ci+1,ti+1)形成椭圆环,变换后的椭圆由参数长轴a、短轴b和长轴倾角θ表示。由于图像仿射失真将圆转化为序列图像中的椭圆,在下降图像中应用相同的基于圆环的特征检测模型可能会造成不可估量的精度损失。因此,需要特征模板更新。
序列图像间像点的几何关系描述为:
Figure BDA0002515416010000051
式中,f表示相机焦距,
Figure BDA0002515416010000052
和/>
Figure BDA0002515416010000053
表示第二幅图像中像点坐标。
变换式(11)得到:
Figure BDA0002515416010000054
初始模板图像表示如式(13)所示。
(u,v,1)Qi(u,v,1)T=0 (13)
将式(12)带入到式(13)中仿射变换后模板图像表达式为:
(u,v,1)Qi+1(u,v,1)T=0 (14)
将式(14)改写成一般解析式为:
Au2+Buv+Cv2+Du+Ev+F=0 (15)
为了更加直观地描述变换后模板图像,将式(15)改写成中心点、长短轴和长轴倾角θ参数表示:
Figure BDA0002515416010000055
Figure BDA0002515416010000061
Figure BDA0002515416010000062
Figure BDA0002515416010000063
同时探测器运动导致的图像中目标运动,而运动后的目标往往只在图像中一个非常小的区域出现,所以在搜索匹配时,搜索位置可通过估计值(u0,v0)确定,比较当前及其邻域相关系数大小,找出合适区域。利用惯性信息计算序列图像间重合区域和更新特征模板,从而确定陨石坑候选区域。
因此,利用步骤2中提取的陨石坑候选区域,把每一个候选区域看作一个稀疏型陨石坑分布,然后在单一陨石坑所在区域内实现其精细检测,从而感知着陆区域形貌信息,保证着陆器精确安全着陆。
作为优选,为了减少噪声响应,提高边缘检测正确率以及限制单个边缘点对于亮度变化定位,对候选区域图像采用Canny边缘检测方法。在完成陨石坑真实边缘的提取后,利用提取出的边缘采取投票策略拟合为椭圆,确定椭圆参数。边缘精细提取具体步骤如下:
(1)利用Canny边缘检测方法提取某一候选区域图像中的陨石坑边缘,以候选区域中心为陨石坑中心;
(2)随机抽取5个像素并拟合出对应的曲线;计算拟合出的椭圆中心,判断椭圆中心点与候选区域中心的距离,如果距离在一定阈值范围内,判定曲线为备选陨石坑边缘曲线;
(3)设定阈值,计算该条曲线上所有剩余的点与该椭圆的距离,如果符合,判定该点近似的在该条曲线上,并记录;
(4)判断点的个数,多于设定最少数目,认定该拟合椭圆是正确的;并用全部在椭圆曲线上的点重新计算椭圆方程,计算新获得的椭圆与全部点距离的平方和,以此作为拟合误差;最后在正确的拟合中挑选拟合误差最小的一组参数作为曲线参数的估计结果。
(5)对每一个候选区域,重复完成上面的步骤(1)至(4),拟合得到所有候选区域的陨石坑边缘参数,从而得到在原图像中陨石坑边缘参数,实现惯导辅助由粗到精检测陨石坑特征,保证着陆器精确安全着陆。
有益效果:
1、本发明公开的惯导辅助陨石坑由粗到精检测方法,基于明暗区域信息和形态学处理实现陨石坑图像特征边缘粗提取,利用快速傅里叶变换计算模板与图像特征的匹配度,实现图像特征区域定位,从而在单一陨石坑所在区域内实现陨石坑精细检测,提高陨石坑特征检测准确性。
2、本发明公开的惯导辅助陨石坑由粗到精检测方法,通过引入惯性测量信息计算图像间重叠面积,更新模板形状,并预测搜索区域,能够解决序列图像特征间仿射变换及信息冗余带来的特征无法检测和识别效率低的困难。
3、由于行星和小天体以及月球表面均存在陨石坑特征,本发明公开的惯导辅助陨石坑由粗到精检测方法,不仅适用于行星着陆及小天体探测任务中,也适用于月球探测任务。
附图说明
图1为火星表面序列图像;
图2为序列图像重合区域计算结果;
图3为陨石坑边缘提取结果;
图4为仿射变化后图像;
图5为边缘区域确定结果,图5(a)为仿射变化后的陨石坑边缘区域检测结果,图5(b)为陨石坑边缘确定区域相关系数图;
图6为陨石坑边缘精检测结果;
图7本发明公开的惯导辅助陨石坑由粗到精检测方法流程图。
具体实施方式
为了更好的说明本发明的目的和优点,下面结合附图和实例对本发明的内容做进一步说明。
如图7所示,本实例公开的惯导辅助陨石坑由粗到精检测方法,具体步骤如下:
步骤1:基于明暗区域信息实现陨石坑图像特征边缘粗提取。
对于某一像素点(u,v),基于区域的边缘检测方法选择以其为中心,大小为w×w的图像窗口,计算窗口内灰度均值E(M),寻找窗口内像素点最大灰度值max(M)和最小灰度值min(M),并计算窗口内灰度均值E(M)分别与max(M)和min(M)的差值,最后将该值分配给原图像像素点。具体计算过程如式(20)所示。
I(u,v)=max[E(M)-min(M),max(M)-E(M)] (20)
为了最小化噪声影响,取w=3。将带有w×w元素的窗口M以原始图像的每个像素为中心重复式(20)所示的操作过程,从而创建一个新的图像I。
根据图像I的灰度值范围,计算阈值TI,如式(2)所示。
TI=α[max(I)-min(I)]+min(I) (21)
式中,α为常数。
利用阈值TI,对图像I进行如下二值化处理,得到陨石坑边缘候选区域的二值图像J。
Figure BDA0002515416010000081
按照式(20)至式(22)对图像进行处理,常数α值取0.25,即可对陨石坑边缘特征粗进行提取。
步骤2:利用快速傅里叶变换搜索模板与图像特征的匹配度,从而实现图像特征所在区域粗定位。
首创建二值化模型作为搜索模板,由于陨石坑自然形状不规则,搜索模板设定为圆环,其内部半径是外部半径的一半,周围是一个黑色正方形的背景。同时,陨石坑特征尺度大小不一,需要生成半径大小不同的模板图像。
为了衡量模板图像和候选区域之间的相似度,计算两者之间的相关系数如下
Figure BDA0002515416010000082
式中,m和n表示模板图像T大小,Iu,v表示待检图像中以(u,v)为左上顶点大小为m×n的图像子区域,Iu,v(k,l)和T(k,l)分别表示Iu,v和T在(k,l)点的灰度值,
Figure BDA0002515416010000091
和/>
Figure BDA0002515416010000092
分别表示Iu,v和T的灰度均值。
为提高效率,首先需要分析图像中陨石坑边缘候选区域大小。利用连通域分析陨石坑边缘候选区域大小,并在此基础上最终确定陨石坑边缘区域。为了保证候选区域检测充分性,采用四连通域分析候选区域大小。
通过对候选区域的四连通域分析,得到候选区域上相距最远的两点pmax和pmin,分别计算其水平方向和垂直方向上的距离,取最大值定义为模板图像中圆环外径。模板图像圆环外径确定如式(24)所示。
ri=max(|upmax-upmin|,|vpmax-vpmin|) (24)
式中,upmax,vpmax,upmin和vpmin分别表示两点pmax和pmin在图像坐标系下的横纵坐标值。
在此基础上确定陨石坑边缘区域,避免产生大量冗余模板,提高效率。
步骤3:通过引入惯性测量信息计算图像间重叠面积,更新模板形状,并预测搜索区域。在单一陨石坑所在区域内实现其精细检测,从而感知着陆区域形貌信息,保证着陆器精确安全着陆。
为了实现探测器状态估计,陨石坑必须在至少两个连续图像的重叠区域内进行选择。在序列图像中首先寻找相交的多边形并计算重叠区域。
假设探测器初始位置为t=[tx ty tz]T,探测器zc轴垂直指向于着陆平面,xc轴和yc轴分别与着陆点坐标的xl轴和yl轴平行,则基于相机投影模型计算得到相机视场与着陆平面的交点如式(25)所示。
Figure BDA0002515416010000093
式中,F1 i
Figure BDA0002515416010000094
和/>
Figure BDA0002515416010000095
分别表示相机视场与着陆平面的交点,γ表示相机视场角大小。
式(25)给出着陆点坐标系下相机视场与着陆平面的交点,为了描述探测器旋转和平移运动情况下相机视场与着陆平面的交点变化,定义交点F1 i在相机坐标系的坐标为
Figure BDA0002515416010000101
探测器运动后的相机视场交点矢量cF1 i+1可由式(27)计算得到。
Figure BDA0002515416010000102
式中,
Figure BDA0002515416010000103
表示探测器相对运动姿态矩阵,/>
Figure BDA0002515416010000104
表示探测器相对运动平移向量,其分别可由下式计算得到。
Figure BDA0002515416010000105
式中,Ci和Ci+1分别表示探测器相对着陆点坐标系的姿态矩阵,ti和ti+1表示探测器在着陆点坐标系下的位置,
Figure BDA0002515416010000106
值得注意的是,以上推导得到的探测器相对运动状态由探测器绝对状态表示,而在实际情况下探测器绝对状态为导航系统中待估状态量,因此,通过惯性测量单元给出探测器的位置和姿态信息估计得到。
由式(27)计算得到探测器运动后的相机视场与着陆平面交点如式(29)所示。
Figure BDA0002515416010000107
同样地,计算得到交点
Figure BDA0002515416010000108
和/>
Figure BDA0002515416010000109
在相机坐标系下的坐标/>
Figure BDA00025154160100001010
和/>
Figure BDA00025154160100001011
并得到探测器运动后的相机视场与着陆平面的所有交点,以此来计算序列图像间的重合区域。
为了计算重叠区域,需要考虑四边形顶点以及四边形边界之间交点的位置,算法步骤如下:
(1)对于第一个四边形的每个顶点,判断它是否包含在第二个四边形里面。如果是,存储该点坐标;
(2)对于第二个四边形的每个顶点,判断它是否包含在第一个四边形里面。如果是,储存该点坐标;
(3)对于其中一个四边形的每条边,判断其与另一个四边形的每条边是否相交。如果是,计算并储存交点坐标;
(4)计算每个点对应的图像点位置,连接每个像点形成凸多边形;
(5)基于相机透视成像原理确定两幅图像中重合区域,在此范围内进行陨石坑候选区域粗检测。
基于上述步骤能够有效地实现序列图像间重合区域确定,从而为陨石坑候选区域粗检测提供前提条件。
在实际应用中,大多数的陨石坑在行星地形上以圆形形态分布。然而,在下降序列图像中,由于星载相机可能不总是垂直指向行星表面,陨石坑图像并不呈现为圆形。半径为r的圆环,经过仿射畸变(Ci+1,ti+1)形成椭圆环,变换后的椭圆可以由参数长轴a、短轴b和长轴倾角θ表示。由于图像仿射失真将圆转化为序列图像中的椭圆,在下降图像中应用相同的基于圆环的特征检测模型可能会造成不可估量的精度损失。因此,需要特征模板更新。
序列图像间像点的几何关系可以描述为:
Figure BDA0002515416010000111
式中,f表示相机焦距,
Figure BDA0002515416010000112
和/>
Figure BDA0002515416010000113
表示第二幅图像中像点坐标。
变换式(30)得到:
Figure BDA0002515416010000114
初始模板图像表示如式(32)所示。
(u,v,1)Qi(u,v,1)T=0 (32)
将式(31)带入到式(32)中仿射变换后模板图像表达式为:
(u,v,1)Qi+1(u,v,1)T=0 (33)
将式(33)改写成一般解析式为:
Au2+Buv+Cv2+Du+Ev+F=0 (34)
为了更加直观地描述变换后模板图像,将式(34)改写成中心点、长短轴和长轴倾角θ参数表示:
Figure BDA0002515416010000115
Figure BDA0002515416010000121
Figure BDA0002515416010000122
Figure BDA0002515416010000123
同时探测器运动导致的图像中目标运动,而运动后的目标往往只在图像中一个非常小的区域出现,所以在搜索匹配时,搜索位置可通过估计值(u0,v0)确定,比较当前及其邻域相关系数大小,找出合适区域。利用惯性信息计算序列图像间重合区域和更新特征模板,从而确定陨石坑候选区域。
因此,利用步骤2中提取的陨石坑候选区域,把每一个候选区域看作一个稀疏型陨石坑分布,然后精细提取陨石坑的边缘。
为了减少噪声响应,提高边缘检测正确率以及限制单个边缘点对于亮度变化定位,对候选区域图像采用Canny边缘检测方法。在完成陨石坑真实边缘的提取后,利用提取出的边缘采取投票策略拟合为椭圆,确定椭圆参数。边缘精细提取具体步骤如下:
(1)利用Canny边缘检测方法提取某一候选区域图像中的陨石坑边缘,以候选区域中心为陨石坑中心;
(2)随机抽取5个像素并拟合出对应的曲线;计算拟合出的椭圆中心,判断椭圆中心点与候选区域中心的距离,如果距离在一定阈值范围内,判定曲线为备选陨石坑边缘曲线;
(3)设定阈值,计算该条曲线上所有剩余的点与该椭圆的距离,如果符合,判定该点近似的在该条曲线上,并记录;
(4)判断点的个数,多于设定最少数目,认定该拟合椭圆是正确的;并用全部在椭圆曲线上的点重新计算椭圆方程,计算新获得的椭圆与全部点距离的平方和,以此作为拟合误差;最后在正确的拟合中挑选拟合误差最小的一组参数作为曲线参数的估计结果。
(5)对每一个候选区域,重复完成上面的步骤(1)至(4),拟合得到所有候选区域的陨石坑边缘参数,从而得到在原图像中陨石坑边缘参数,最终实现惯导辅助下由粗到精检测陨石坑特征,保证着陆器精确安全着陆。
采用火星全球勘测者(在绕火星飞行时利用火星轨道相机(Mars OrbiterCamera,MOC)所拍摄的火星表面图像进行实验分析。该相机获取的图像分辨率较高,覆盖范围广,包含的形貌特征形貌多样,能够反应星表陨石坑图像的特点。图1给出了MOC在不同视角下拍摄的火星表面图像。基于所研究的陨石坑检测方法,首先利用惯性测量信息计算图像间重合区域,如图2所示。
利用基于区域的边缘检测方法检测重合图像中的陨石坑特征。为了消除细小特征并平滑特征边界,在陨石坑特征区域检测基础上对特征进行形态学闭操作,陨石坑边缘候选区域检测结果如图3所示。
在下降序列图像中,由于星载相机可能不总是垂直指向行星表面,陨石坑图像并不呈现为圆形。探测器着陆过程中指向变化进一步导致了图像间仿射变化,如图4所示。
仿射变化后图像中陨石坑边缘轮廓呈现出明显的椭圆形,利用惯性测量信息更新初始模板,通过FFT算法计算不同大小模板与候选区域之间的相关系数,搜索并确定相关系数最大位置。图5分别给出了仿射变化后的陨石坑边缘区域检测结果和陨石坑边缘确定区域相关系数。确定所有陨石坑所在区域,对区域内单一陨石坑实现精细检测,结果如图6所示。本发明能够提高陨石坑特征检测准确性,不仅适用于行星着陆及小天体探测任务中,也适用于月球探测任务。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.惯导辅助陨石坑由粗到精检测方法,其特征在于:包括如下步骤,
步骤1:基于明暗区域信息实现陨石坑图像特征边缘粗提取;
步骤2:利用快速傅里叶变换搜索模板与图像特征的匹配度,从而实现图像特征所在区域粗定位;
步骤3:通过引入惯性测量信息计算图像间重叠面积,更新模板形状,并预测搜索区域;在单一陨石坑所在区域内实现其精细检测,从而感知着陆区域形貌信息,保证着陆器精确安全着陆;
步骤3实现方法为,
为了实现探测器状态估计,陨石坑必须在至少两个连续图像的重叠区域内进行选择;在序列图像中首先寻找相交的多边形并计算重叠区域;
探测器初始位置为t=[tx ty tz]T,探测器zc轴垂直指向于着陆平面,xc轴和yc轴分别与着陆点坐标的xl轴和yl轴平行,则基于相机投影模型计算得到相机视场与着陆平面的交点如式(6)所示;
Figure FDA0004221800560000011
式中,
Figure FDA0004221800560000012
和/>
Figure FDA0004221800560000013
分别表示相机视场与着陆平面的交点,γ表示相机视场角大小;
式(6)给出了着陆点坐标系下相机视场与着陆平面的交点,为了描述探测器旋转和平移运动情况下相机视场与着陆平面的交点变化,定义交点F1 i在相机坐标系的坐标为;
Figure FDA0004221800560000014
探测器运动后的相机视场交点矢量cF1 i+1由式(8)计算得到;
Figure FDA0004221800560000015
式中,
Figure FDA0004221800560000021
表示探测器相对运动姿态矩阵,/>
Figure FDA0004221800560000022
表示探测器相对运动平移向量,其分别由下式计算得到;
Figure FDA0004221800560000023
式中,Ci和Ci+1分别表示探测器相对着陆点坐标系的姿态矩阵,ti和ti+1表示探测器在着陆点坐标系下的位置,
Figure FDA0004221800560000024
值得注意的是,以上推导得到的探测器相对运动状态由探测器绝对状态表示,而在实际情况下探测器绝对状态为导航系统中待估状态量,通过惯性测量单元给出探测器的位置和姿态信息估计得到;
由式(8)计算得到探测器运动后的相机视场与着陆平面交点如式(10)所示;
Figure FDA0004221800560000025
同样地,计算得到交点
Figure FDA0004221800560000026
在相机坐标系下的坐标/>
Figure FDA0004221800560000027
并得到探测器运动后的相机视场与着陆平面的所有交点,以此计算序列图像间的重合区域;
为降低精度损失,需要特征模板更新;
序列图像间像点的几何关系描述为:
Figure FDA0004221800560000028
式中,f表示相机焦距,
Figure FDA0004221800560000029
和/>
Figure FDA00042218005600000210
表示第二幅图像中像点坐标;
变换式(11)得到:
Figure FDA00042218005600000211
初始模板图像表示如式(13)所示;
(u,v,1)Qi(u,v,1)T=0(13)
将式(12)带入到式(13)中仿射变换后模板图像表达式为:
(u,v,1)Qi+1(u,v,1)T=0(14)将式(14)改写成一般解析式为:
Au2+Buv+Cv2+Du+Ev+F=0 (15)
为了更加直观地描述变换后模板图像,将式(15)改写成中心点、长短轴和长轴倾角θ参数表示:
Figure FDA0004221800560000031
Figure FDA0004221800560000032
Figure FDA0004221800560000033
Figure FDA0004221800560000034
同时探测器运动导致的图像中目标运动,而运动后的目标往往只在图像中一个非常小的区域出现,所以在搜索匹配时,搜索位置通过估计值(u0,v0)确定,比较当前及其邻域相关系数大小,找出合适区域;利用惯性信息计算序列图像间重合区域和更新特征模板,从而确定陨石坑候选区域;
因此,利用步骤2中提取的陨石坑候选区域,把每一个候选区域看作一个稀疏型陨石坑分布,然后在单一陨石坑所在区域内实现其精细检测,从而感知着陆区域形貌信息,保证着陆器精确安全着陆。
2.如权利要求1所述的惯导辅助陨石坑由粗到精检测方法,其特征在于:步骤1实现方法为,
对于某一像素点(u,v),基于区域的边缘检测方法选择以像素点(u,v)为中心,大小为w×w的图像窗口,首先计算窗口内灰度均值E(M),然后寻找窗口内像素点最大灰度值max(M)和最小灰度值min(M),并计算窗口内灰度均值E(M)分别与max(M)和min(M)的差值,将该值分配给原图像像素点;图像I创建过程如式(1)所示;
I(u,v)=max[E(M)-min(M),max(M)-E(M)] (1)
将带有w×w元素的窗口M以原始图像的每个像素为中心重复式(1)所示的操作过程,从而创建一个新的图像I;
根据图像I的灰度值范围,计算阈值TI,如式(2)所示;
TI=α[max(I)-min(I)]+min(I) (2)
式中,α为常数;
利用阈值TI,对图像I进行如下二值化处理,得到陨石坑边缘特征的二值图像J;
Figure FDA0004221800560000041
按照式(1)至式(3)对图像进行处理,即实现对陨石坑边缘特征粗进行提取。
3.如权利要求2所述的惯导辅助陨石坑由粗到精检测方法,其特征在于:步骤2实现方法为,
创建二值化模型作为搜索模板,由于陨石坑自然形状不规则,搜索模板设定为圆环,其内部半径是外部半径的一半,周围是一个黑色正方形的背景;同时,陨石坑特征尺度大小不一,需要生成半径大小不同的模板图像;
为了衡量模板图像和候选区域之间的相似度,根据公式(4)计算两者之间的相关系数
Figure FDA0004221800560000042
式中,m和n表示模板图像T大小,Iu,v表示待检图像中以(u,v)为左上顶点大小为m×n的图像子区域,Iu,v(k,l)和T(k,l)分别表示Iu,v和T在(k,l)点的灰度值,
Figure FDA0004221800560000043
和/>
Figure FDA0004221800560000044
分别表示Iu,v和T的灰度均值;
为了提高效率,利用连通域分析陨石坑边缘候选区域大小;为了保证候选区域检测充分性,采用四连通域分析候选区域大小;
通过对候选区域的四连通域分析,得到候选区域上相距最远的两点pmax和pmin,分别计算其水平方向和垂直方向上的距离,取最大值定义为模板图像中圆环外径;模板图像圆环外径确定如式(5)所示;
ri=max(|upmax-upmin|,|vpmax-vpmin|) (5)
式中,upmax,vpmax,upmin和vpmin分别表示两点pmax和pmin在图像坐标系下的横纵坐标值;
在此基础上确定陨石坑边缘区域,实现图像特征所在区域粗定位,且能够避免产生大量冗余模板,提高效率。
4.如权利要求3所述的惯导辅助陨石坑由粗到精检测方法,其特征在于:步骤3中,
为了计算重叠区域,需要考虑四边形顶点以及四边形边界之间交点的位置,重叠区域获取步骤如下:
(1)对于第一个四边形的每个顶点,判断它是否包含在第二个四边形里面;如果是,存储该点坐标;
(2)对于第二个四边形的每个顶点,判断它是否包含在第一个四边形里面;如果是,储存该点坐标;
(3)对于其中一个四边形的每条边,判断其与另一个四边形的每条边是否相交;如果是,转入(4)计算每个点对应的图像点位置并储存交点坐标;
(4)计算每个点对应的图像点位置,连接每个像点形成凸多边形;
(5)基于相机透视成像原理确定两幅图像中重合区域,在此范围内进行陨石坑候选区域粗检测;
基于上述重叠区域获取步骤能够有效地实现序列图像间重合区域确定,从而为陨石坑候选区域粗检测提供前提条件。
5.如权利要求4所述的惯导辅助陨石坑由粗到精检测方法,其特征在于:步骤3中,为了减少噪声响应,提高边缘检测正确率以及限制单个边缘点对于亮度变化定位,对候选区域图像采用Canny边缘检测方法;在完成陨石坑真实边缘的提取后,利用提取出的边缘采取投票策略拟合为椭圆,确定椭圆参数;边缘精细提取具体步骤如下,
(1)利用Canny边缘检测方法提取某一候选区域图像中的陨石坑边缘,以候选区域中心为陨石坑中心;
(2)随机抽取5个像素并拟合出对应的曲线;计算拟合出的椭圆中心,判断椭圆中心点与候选区域中心的距离,如果距离在一定阈值范围内,判定曲线为备选陨石坑边缘曲线;
(3)设定阈值,计算该条曲线上所有剩余的点与该椭圆的距离,如果符合,判定该点在该条曲线上,并记录;
(4)判断点的个数,多于设定最少数目,认定该拟合椭圆是正确的;并用全部在椭圆曲线上的点重新计算椭圆方程,计算新获得的椭圆与全部点距离的平方和,以此作为拟合误差;最后在正确的拟合中挑选拟合误差最小的一组参数作为曲线参数的估计结果;
(5)对每一个候选区域,重复完成上面的步骤(1)至(4),拟合得到所有候选区域的陨石坑边缘参数,从而得到在原图像中陨石坑边缘参数,实现惯导辅助由粗到精检测陨石坑特征,保证着陆器精确安全着陆。
CN202010474551.7A 2020-05-29 2020-05-29 惯导辅助陨石坑由粗到精检测方法 Active CN111652896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010474551.7A CN111652896B (zh) 2020-05-29 2020-05-29 惯导辅助陨石坑由粗到精检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010474551.7A CN111652896B (zh) 2020-05-29 2020-05-29 惯导辅助陨石坑由粗到精检测方法

Publications (2)

Publication Number Publication Date
CN111652896A CN111652896A (zh) 2020-09-11
CN111652896B true CN111652896B (zh) 2023-06-23

Family

ID=72349744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010474551.7A Active CN111652896B (zh) 2020-05-29 2020-05-29 惯导辅助陨石坑由粗到精检测方法

Country Status (1)

Country Link
CN (1) CN111652896B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215842B (zh) * 2020-11-04 2022-12-09 上海市瑞金康复医院 基于良性甲状腺模板的恶性结节边缘检测图像处理方法
CN112819794B (zh) * 2021-02-04 2022-12-30 青岛科技大学 一种基于深度学习的小天体陨石坑检测方法
CN112902843B (zh) * 2021-02-04 2022-12-09 北京创源微致软件有限公司 一种标签贴合效果检测方法
CN113375676B (zh) * 2021-05-26 2024-02-20 南京航空航天大学 一种基于脉冲神经网络的探测器着陆点定位方法
CN114972720B (zh) * 2022-05-30 2024-02-20 西北工业大学 一种基于自主图像感知的高精度无人定位方法
CN115393730B (zh) * 2022-07-15 2023-05-30 南京林业大学 一种火星陨石坑精确识别方法、电子设备及存储介质
CN116524031B (zh) * 2023-07-03 2023-09-22 盐城数智科技有限公司 一种基于yolov8的大范围月球车定位建图方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102944226A (zh) * 2012-12-03 2013-02-27 哈尔滨工业大学 基于明暗区域配对的陨石坑检测方法
CN103093463A (zh) * 2013-01-15 2013-05-08 南京航空航天大学 一种基于灰度图像的陨石坑检测方法
CN107389072A (zh) * 2017-08-15 2017-11-24 北京理工大学 一种小天体表面导航特征区域检测方法
CN109269511A (zh) * 2018-11-06 2019-01-25 北京理工大学 未知环境下行星着陆的曲线匹配视觉导航方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355579B2 (en) * 2009-05-20 2013-01-15 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Automatic extraction of planetary image features

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102944226A (zh) * 2012-12-03 2013-02-27 哈尔滨工业大学 基于明暗区域配对的陨石坑检测方法
CN103093463A (zh) * 2013-01-15 2013-05-08 南京航空航天大学 一种基于灰度图像的陨石坑检测方法
CN107389072A (zh) * 2017-08-15 2017-11-24 北京理工大学 一种小天体表面导航特征区域检测方法
CN109269511A (zh) * 2018-11-06 2019-01-25 北京理工大学 未知环境下行星着陆的曲线匹配视觉导航方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Crater matching algorithm based on feature descriptor;Wei Shao etc.;Advances in Space Research;全文 *
Single crater-aided inertial navigation for autonomous asteroid landing;Meng Yu etc.;Advances in Space Research;全文 *
一种基于陨石坑拟合椭圆的着陆器位姿估计算法;高锡珍等;深空探测学报;全文 *
小行星探测下降着陆段光学导航技术发展综述;张成渝;梁潇;吴奋陟;张琳;;红外与激光工程(05);全文 *

Also Published As

Publication number Publication date
CN111652896A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652896B (zh) 惯导辅助陨石坑由粗到精检测方法
CN112767490B (zh) 一种基于激光雷达的室外三维同步定位与建图方法
Zhang et al. Vision-based pose estimation for textureless space objects by contour points matching
He et al. Non-cooperative spacecraft pose tracking based on point cloud feature
Zhang et al. Robust appearance based visual route following for navigation in large-scale outdoor environments
US5719773A (en) System and method for relating a passive sensor to a geographic environment
CN108225319B (zh) 基于目标特征的单目视觉快速相对位姿估计系统及方法
Dawood et al. Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera
Lourakis et al. Model-based visual tracking of orbiting satellites using edges
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法
Kaufmann et al. Shadow-based matching for precise and robust absolute self-localization during lunar landings
Christensen et al. 3-d modelling and robot localization from visual and range data in natural scenes
CN112906573B (zh) 基于轮廓点集的行星表面导航路标匹配方法
Wang et al. 3D-LIDAR based branch estimation and intersection location for autonomous vehicles
Steffes et al. Optical terrain relative navigation approaches to lunar orbit, descent and landing
Fang et al. Ground-texture-based localization for intelligent vehicles
Jiang et al. Icp stereo visual odometry for wheeled vehicles based on a 1dof motion prior
Villa et al. Autonomous navigation and dense shape reconstruction using stereophotogrammetry at small celestial bodies
Lee et al. Visual odometry for absolute position estimation using template matching on known environment
Takaoka et al. 3D map building for a humanoid robot by using visual odometry
Oumer Visual tracking and motion estimation for an on-orbit servicing of a satellite
Hungar et al. GRAIL: A Gradients-of-Intensities-based Local Descriptor for Map-based Localization Using LiDAR Sensors
Zhang et al. A 3D occupancy grid based relocalization method for under-vehicle inspection robot
Fan et al. The registration of UAV down-looking aerial images to satellite images with image entropy and edges
Zhou et al. The general method of the tanker car mouth pose measurement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant