CN108320310A - 基于图像序列的空间目标三维姿态估计方法 - Google Patents

基于图像序列的空间目标三维姿态估计方法 Download PDF

Info

Publication number
CN108320310A
CN108320310A CN201810117595.7A CN201810117595A CN108320310A CN 108320310 A CN108320310 A CN 108320310A CN 201810117595 A CN201810117595 A CN 201810117595A CN 108320310 A CN108320310 A CN 108320310A
Authority
CN
China
Prior art keywords
image
pose
extraterrestrial target
target
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810117595.7A
Other languages
English (en)
Other versions
CN108320310B (zh
Inventor
张亚洲
张海莹
周楠
武京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201810117595.7A priority Critical patent/CN108320310B/zh
Publication of CN108320310A publication Critical patent/CN108320310A/zh
Application granted granted Critical
Publication of CN108320310B publication Critical patent/CN108320310B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

基于图像序列的空间目标三维姿态估计方法,属于空间目标的三维姿态估计和监控领域,本发明为解决现有技术不能在较少受到干扰的同时采用抗干扰能力较强、鲁棒性好的方法快速判定空间目标的三维姿态的问题。本发明的具体过程为:步骤1、对观测图像进行预处理;步骤2、对空间目标的三维姿态进行图像采集,获得目标匹配图像库;步骤3、采用尺度不变特征算法对步骤1预处理后的观测图像和步骤2目标匹配图像库中的图像进行匹配,筛选获得最相近的图像;步骤4、反向求出空间目标的三维姿态参数值,输出空间目标的姿态角。本发明用于空间目标的三维姿态估计和监控。

Description

基于图像序列的空间目标三维姿态估计方法
技术领域
本发明涉及一种空间目标三维姿态估计方法,属于空间目标的三维姿态估计和监控领域。
背景技术
三维物体的姿态直观地反映了三维物体的特征,所以三维姿态作为三维物体的重要特征之一,一直以来都是国内外研究人员的研究重点。如果可以对空间目标进行三维姿态的判断,就可以粗略判断出空间目标的目的,对空间目标做很好的分类。近年来,随着人类对空探测活动的兴起,空中作业的频率越来越高,空间活动对目标控制精度要求越来越高。在探测到一个空间目标后,怎么在第一时间判定它是否是有用的目标或者是否对我们自身有害是至关重要的。
随着望远镜成像性能的提高和自适应光学系统的发展,光学系统对空间目标的成像质量能满足空间目标监测需求,所以对于无法进行主动通讯的空间目标,我们可以使用光电望远镜对空天目标进行成像,通过图像包含的信息最终确定空间目标的三维姿态参数。最早的三维姿态判断需要多台光电望远镜同时对空间目标进行图像采集,通过多台光电望远镜的位置等信息最终求出空间目标的三维姿态参数。使用这种方法得到的三维姿态参数对环境要求很高,如果光电望远镜采集到的图像在其他光电望远镜的位置找不到对应的匹配图像时,就会导致没有办法求出目标的姿态参数。所以越来越多的研究者致力于使用单台光电望远镜采集到的图像进行三维姿态判断的研究,最初提出的GPS信号判断的研究来自李正炜等提出的《基于单站地基望远镜的空间目标姿态估计方法》,从最初提出的GPS信号判断三维姿态参数到多目光电望远镜判断三维姿态再到现在的单目光电望远镜判断方法的不断完善。
空间目标的三维姿态参数包括空间目标的俯仰角θ、偏航角和滚动角γ。以空间目标的中心点O为原点建立一个空间直角坐标系,其中OO'为空间目标的主轴方向。空间目标的俯仰角θ定义为空间目标的主轴OO'在XOY平面上投影与OX轴的夹角,偏航角定义为空间目标的主轴OO'与XOY平面所形成的夹角,滚动角γ的定义需要基于空间目标的一个初始状态,假设空间目标在某一姿态下滚动角参数为0,那么任意时刻空间目标的滚动角γ指空间目标绕主轴OO'旋转的角度,参数定义示意图如图1。所以对空间描述物体首先需要定义一个坐标系,在一个坐标系下一个运动的空间物体可以通过这三个参数进行位置的刻画。
早在20世纪70年代,国外学者就已经意识到可以利用飞行器搭载通信器材,陈娟等人提出的《空间目标三维姿态估计方法综述》使用GPS导航系统进行姿态测姿,从而计算出目标的偏航角等信息。到了20世纪80年代,GPS的姿态测量能力首次在York town(约克顿号)巡洋舰上得到了验证,《Proceedings of the Second International TechnicalMeeting of the Satellite Division of ION》,Kruczynski L R;《Performanceanalysis of a shipborne gyrocom pass with a multiantenna GPS system》,Lu G。在进入20世纪90年代后对空间目标的观测技术越来越成熟,空间目标的三维姿态研究上也取得了长足的进展,已经有研究学者实现了多个站点对目标的三维姿态判断,《光学计量仪器设计(上册)》,王因明。双站或者多站对空间目标三维姿态的判断步骤分为摄像机标定、目标指向拍摄、图像摄录、目标匹配、姿态处理等环节,《Stereo vision for small targetsin IR images sequences》,BORIS J;《采用多站图像直线特征的飞机姿态估计》,王彬等。这种方法原理简单、测量精度高、对图像质量要求低,是一种很好的判断空间目标三维姿态参数的方法。但是它的缺点在于至少有两站以上的目标图像才可以进行姿态判定,同时涉及到立体匹配,《从单站光测图像确定空间目标三维姿态》,于起峰等,经常出现两个站点采集到的图像没有对应点的情况,所以可操作性、可靠性均不是很好。
在单基站光电望远镜判断空间目标参数方向,我国在航天方面的研究很多,所以在这方面也处在领先地位。国内学者曾采用等积剖分格网建立多视角姿态模型数据库,成功将精度控制在7度左右,《空间目标三维姿态估计方法[J].武汉大学学报(信息科学版)》,魏小峰等,基本符合对精度要求较低的应用需求。同时,在2016年有研究者提出了较为成熟的研究方法,使用光电望远镜采集到的图像与模型图像进行图像相关度匹配从而确定空间目标的姿态参数,成功将精度控制在4度以内,在实验研究水平上具有了实质性的突破,但是在实际操作中由于光电望远镜图像清晰度的限制,实际应用效果并不理想。国内空间环境感知领域的主要工作集中在空间目标探测与识别上,对于如何确定已识别卫星的姿态和方位等外形特征缺乏,《利用天文观测图像对空间碎片目标进行自动识别与追踪》,杨育彬等。研究在文献《几种图像相似性度量的匹配性能比较[J].计算机应用》,陈卫兵;《利用单幅影像的空间目标姿态测定方法》,张永军等中给出了多种图像匹配的优劣对比,所以有一部分研究者提出建立空间目标的三维模型,然后对获得的图像与不同姿态下的模型图像进行对比,最终通过判断图像的相关程度来确定和输出空间目标的三维姿态的方法。虽然方法得到的精度较差,但是它提供了一个对空间目标三维姿态参数估计方法的新思路,将判断三维姿态参数转化为两个二维图像的对比。二维图像之间的相似性对比目前技术比较成熟,相关理论也比较完善。所以通过这样的转换使得问题具有了另外的解决思路,是空间目标三维姿态参数估计新的发展方向。
由于复杂的空间环境,单目望远镜得到的图像比较模糊,现在多数单目判断三维空间目标姿态参数的方法均局限在图像处理和图像匹配上。因此,怎么样得到一种抗干扰能力较强,鲁棒性好的方法快速判定空间目标的三维姿态,而较少的受到气流、云雾等的干扰,是亟需解决的问题。
发明内容
本发明是为了解决现有技术不能在较少受到干扰的同时采用抗干扰能力较强、鲁棒性好的方法快速判定空间目标的三维姿态的问题,提出的一种基于图像序列的空间目标三维姿态估计方法。
本发明所述基于图像序列的空间目标三维姿态估计方法,该方法的具体过程为:
步骤1、对观测图像进行预处理;
步骤2、对空间目标的三维姿态进行图像采集,获得目标匹配图像库;
步骤3、采用尺度不变特征算法对步骤1预处理后的观测图像和步骤2目标匹配图像库中的图像进行匹配,筛选获得最相近的图像;
步骤4、反向求出空间目标的三维姿态参数值,输出空间目标的姿态角。
本发明在现有技术的基础上,提出了一种使用SIFT特征点匹配对图像相似度进行量化,从而进行姿态判断的方法。这种方法对一幅图像进行处理,然后对目标的三维姿态进行图像采集,形成图像匹配库。最后使用特征向量的方法对采集到的图像和图像库中的图像进行匹配,从而得到最相近的图像,然后再反向求出空间目标的三维姿态参数。
利用SIFT算法原理对图像的相似度进行量化,用一个匹配成功率的向量储存图像之间的相关性关系。在一个包含有模型三维参数的图像库中与原图像SIFT算法特征匹配,匹配后计算每幅图像的匹配成功率,得到匹配成功率最大的图像即为最相似的图像,最终通过最相似的目标图像储存的三维姿态信息和光电望远镜的参数信息计算空间目标的三维姿态参数。
本发明对空间目标不同姿态角参数下形成的仿真图像库与观测图像进行SIFT特征匹配,验证了使用SIFT算法应用于空间目标三维姿态参数估计的可行性。在匹配方法中,通过一个对比实验得到在角度偏差10度之内,特征点匹配成功率大于50%。为了减少该方法的计算量,在初次匹配中采取全角度、大步长的方法对模型匹配库进行构建,从而成功的将匹配的范围缩小在20度以内。然后对这个新的角度区间重新构建小步长的匹配库,最终进一步将角度范围缩小,直到能够满足要求的精度。
本方法优点在于:(1)使用图像序列和SIFT算法将三维姿态参数的估计转化为寻求最相关图像的二维问题,简化了题目的难度;(2)将匹配结果使用一个匹配成功率矩阵进行量化,从而对图像的相关性进行量化;(3)在空间目标三维姿态估计方法中成功应用了SIFT算法,并得到了较好的效果。
附图说明
图1为空间目标三维姿态参数的定义的示意图;
图2为本发明所述采用尺度不变特征算法获得空间目标三维姿态估计参数的原理图;
图3为本发明所述采用尺度不变特征算法对预处理后的观测图像和目标匹配图像库中的图像进行匹配的原理图;
图4为SIFT算法图像匹配原理图;
图5为高斯金字塔和DoG金字塔示意图;
图6为特征点的特征向量结构示意图;
图7为视角坐标系与目标坐标系示意图;
图8为目标坐标系示意图;
图9为天鹅座飞船模型在某一角度下的SIFT特征向量描述示意图;
图10为天鹅座飞船模型在Vega Prime中第一种姿态参数设定下的图像;
图11为天鹅座飞船模型在Vega Prime中第二种姿态参数设定下的图像;
图12为天鹅座飞船模型在Vega Prime中第三种姿态参数设定下的图像;
图13为天鹅座飞船原图在SIFT算法下的匹配结果图;
图14为天鹅座飞船角度变化图像在SIFT算法下的匹配结果图;
图15为偏航角变化下匹配成功率结果示意图;
图16为观测图像在图像匹配库中的匹配结果曲线图。
具体实施方式
具体实施方式一、结合图2说明本实施方式,本实施方式所述基于图像序列的空间目标三维姿态估计方法,该方法的具体过程为:
步骤1、对观测图像进行预处理;
步骤2、对空间目标的三维姿态进行图像采集,获得目标匹配图像库;
步骤3、采用尺度不变特征算法对步骤1预处理后的观测图像和步骤2目标匹配图像库中的图像进行匹配,筛选获得最相近的图像;
步骤4、反向求出空间目标的三维姿态参数值,输出空间目标的姿态角。
本实施方式中,British Columbia大学教授David G.Lowe在1999年提出了基于不变量技术的特征检测方法,正式提出了SIFT(Scale-invariant feature transform,尺度不变特征变换)算法。SIFT方法是现有的新型高效的特征检测描述方法,它具有很好的缩放不变性、旋转不变性等特性。
具体实施方式二、本实施方式是对具体实施方式一作进一步说明,步骤1所述对观测图像进行预处理,是对观测图像进行降噪或增强处理。
本实施方式中,预处理的目的是使用SIFT算法时得到更好的特征点提取效果。
具体实施方式三、本实施方式是对具体实施方式一作进一步说明,步骤2所述获得目标匹配图像库的具体过程为:
获得一个空间目标的3D模型,对3D模型定义初始三维姿态参数值(0,0,0),改变初始三维姿态参数值(0,0,0),进行模型库的构建,获得目标匹配图像库。
本实施方式中,目标匹配图像库中的图像包含的是空间目标的三维姿态参数信息,每幅图像均可以单独确定当前状态下空间目标的三维姿态参数。
具体实施方式四、结合图3说明本实施方式,本实施方式是对具体实施方式一作进一步说明,步骤3所述采用尺度不变特征算法对预处理后的观测图像和目标匹配图像库中的图像进行匹配的具体过程为:
步骤3-1、采用尺度不变特征算法对预处理后的观测图像进行特征向量提取;
步骤3-2、将特征向量与目标匹配图像库中的任意一幅图像进行匹配;
步骤3-3、定义匹配成功率,将匹配成功率储存在矩阵中;
步骤3-4、计算矩阵的最大值,获得观测图像与目标匹配图像库中的图像的匹配成功率值;
步骤3-5、矩阵最大值所在矩阵的列数即为在图像序列中的最相似图像的次序数,获得最相似图像。
本实施方式中,对于观测图像进行SIFT算法的特征向量提取,总可以提取出pconst个点,与目标图像库中的任意一幅图像匹配,不妨假设为第i幅图像,那么匹配后总有pi个点成功匹配(i=1,2,…,n,n为图像匹配库中图像总个数)且pi≤pconst,那么定义第i幅图像的匹配成功率将匹配成功率储存在一个1×n维矩阵A中,那么矩阵A就包含了所有匹配结果信息,并且ai越大,目标图像与观测图像越相似。求出矩阵A的最大值,就得到了目标图像与观测图像的匹配成功率,而矩阵A最大值所在矩阵A的列数就代表最相似图像在图像匹配库这个图像序列的次序,例如矩阵A的最大值为ak,位于第k列,那么在图像序列的第k幅图像就是与观测图像匹配得到的最相似图像。
本实施方式中,采用MATLAB找到图像匹配库中的第k幅图像所包含的空间目标三维姿态参数信息,就得到了我们想要的空间目标三维姿态参数
考虑光电望远镜的视轴方位角As和俯仰角Es,可以得到式(2-3)(2-4)和(2-5):
γ=γ0 (2-5)
式中参数表示获得图像时刻空间目标三维姿态参数值。
编写SIFT算法程序,可以得到一幅图像的特征点个数,如图9所示:图9显示了天鹅座飞船模型在某一角度下的SIFT特征向量描述,利用MATLAB对特征向量个数进行统计,可以得到统计数据为169个特征点。
本发明中,结合图4说明SIFT算法的原理如下:
SIFT(尺度不变特征变换)算法可以完成图像之间的特征点匹配,首先建立图像的尺度空间,在尺度空间搜索图像特征点,SIFT算法对每一个特征点赋予一个特征向量,最后求解特征描述向量之间的距离完成图像之间特征点的相互匹配,最终完成整幅图像之间的匹配。
图像的像素点用(x,y)表示,高斯核函数表示为式中参数σ为尺度空间因子,表征图像的平滑程度,σ值越小表示图像被平滑程度越小,相应尺度也越小;图像用函数I(x,y)表示;一幅二维图像在不同尺度的尺度空间下由图像与高斯核的卷积描述为:
L(x,y,σ)=G(x,y,σ)*I(x,y);
假设参数k为两个相邻尺度间的比例因子,DoG算子如下:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)
式中参数k是一个比例因子,为常数,选取
通过以上两个定义,建立了两个金字塔:高斯图像金字塔和DoG算子金字塔,如图5,左侧为高斯金字塔,右侧为DoG金字塔,高斯图像分为多组多层,一组中多层之间尺度不同,层与层间相差一个比例因子k,k取假设在S个尺度间隔内变化尺度因子,DoG金字塔的计算方式由高斯金字塔相邻两层之间做差得到,那么需要在高斯金字塔中生成S+3层高斯平滑图像,这样确保得到的DoG金字塔一共有S+2层,由于最上层和最下层在特征点对比中没有向上相邻的点和向下相邻的点,所以除去两个边界层,这样实际采样恰好为S层,确保所有的特征点可以完全采集到,不至于导致特征点丢失。
金字塔中每个高斯图像的σ为:其中σ0为基础尺度因子,o,s分别为图像所在的图像组坐标、组内层坐标,o∈omin+[0,…,O-1],s∈[0,…,S-1];omin为第一个金字塔组的坐标,本实施方式中取-1,表示在计算高斯尺度空间前图像进行了一倍的放大,其余参数设定的参数值:
在获得了DoG金字塔后,对金字塔每一层的每一个像素点与同一尺度的周围8个像素点和相邻尺度对应位置的周围邻域内9×2个像素点的像素值进行比较,当被检测到这个点的像素值小于这26个比较点或者大于这26个比较点时,说明这个点是整幅图像中的一个特征点,将这个像素点标记为特征点保存并进行后续计算,一幅图像的所有特征点都可以通过这样的方法求出,对原图像和目标图像进行相同方式的处理,分别得到两个特征点集来描述这两幅图像;除去边界模糊和光滑的图像外,SIFT算法筛选出的特征点数量可以满足特征匹配的数量需求。
SIFT算法在获得特征点后需要对特征点进行标记,使用的标记方式为特征向量标记法,目的是确保在图像对比中对比结果获得方向不变性。
特征向量是对应于特征点的一个“标记”,在这个“标记”下特征点获得了“唯一性”,这样两幅图像之间的特征点就可以通过这个“标记”来一一匹配。首先利用特征点邻域像素的梯度方向分布特性,为每个特征点指定方向参数,使描述子对图像旋转具有不变性,从而使得图像匹配具有旋转不变性。
对于任意一点L(x,y)的梯度的模m(x,y)与方向θ(x,y)表示如下:
为了获得特征点的特征向量,选择特征点周围的点,对特征点的特征向量进行加权计算。首先在特征点周围取一个16×16的相邻像素点视窗,然后选择特征点周围的一个较小视窗,如图6所示,图6(a)中的圆形视窗,视窗中心点为特征点所在位置,图6中中心圆点的位置;使用式(2-1)和式(2-2)对这个视窗内所有点的梯度方向和梯度模进行计算,在每个点均得到一个梯度向量,如图6(a)中的梯度向量。在获得梯度向量后,利用梯度模确定一个高斯权重,对这些向量进行梯度方向统计,并以10度为步长,对360度方向的梯度大小和方向进行加权计算,最后得到的是一个个数为36的梯度直方图。选取最高的直方图所在角度为此特征点的特征向量方向。
在确定了特征点的特征向量后还远远不够,特征点最终需要有一个量化的标准来表征这个点所在位置的特征信息。同样在图6(a)所示的视窗内,以关键点为中心取16×16的窗口,中心点是我们要计算特征向量的特征点,每个小格代表特征点领域所在尺度空间的一个像素,箭头方向代表该像素的梯度方向,箭头长度代表梯度模值。在特征点周围一个8×8的方格中计算8个方向的梯度方向直方图,绘制每个梯度方向的累加值,并进行统计,得到了图6(b)所示的种子点。图中一个特征点由4×4共16个种子点组成,而每个种子点包含8个方向的信息,这样就把一个特征点描述成了一个16×8=128维的SIFT特征向量。这样就求得了特征点的特征向量,由于每个特征点都用一个128维的向量描述,每一个特征点以及特征点周围的信息均包含在这128维向量中,增强了SIFT算法抗噪能力,同时具有了旋转不变性等优势。
获得了图像的特征点并用特征向量对特征点进行描述后,进行图像匹配。图像匹配时,对原图像中的一个特征点与目标图像中的每一个特征点进行欧氏距离的计算,当最小欧式距离与次小欧式距离的比值小于一个阈值ε时,标记为两个特征点匹配成功,当最小欧式距离与次小欧氏距离的比值不小于阈值ε时,则两个特征点匹配失败,然后选择原图像中的下一个特征点依次与目标图像中的剩余特征点进行匹配,直到所有特征点匹配完成。阈值选取ε∈[0,1],对阈值ε可以进行调整,阈值越大匹配到的特征点越多匹配效果也越不精确,阈值越小匹配到的特征点越少越容易把正确图像排除在匹配结果之外,在本实施方式中,我们取值为0.6。
本发明中,目标姿态角原理如下:
在光电望远镜获取图像过程中,我们可以以光电望远镜所在位置,建立一个空间直角坐标系,而光电望远镜采集到的图像可以看做是在这个坐标系的原点观察空间目标的视角成像图,如图7所示,图7中的点Os为光电望远镜所在的位置,Os-XsYsZs为光电望远镜所在的坐标系,As为光电望远镜与目标连线(视轴)在XsOsYs面上投影与Xs的夹角,称为光电望远镜的视轴方位,Es为光电望远镜视轴与XsOsYs面所成夹角,称为光电望远镜的俯仰角,As和Es均可以在光电望远镜成像时直接获得。O-XYZ为空间目标所在的坐标系。
为了方便对目标的姿态角进行计算,选取空间目标坐标系O-XYZ与光电望远镜所在的坐标系Os-XsYsZs一致,空间目标所在的坐标系如图8所示,将目标坐标系与光电望远镜所在的坐标系统一后我们可以进行图像的匹配。将光电望远镜获得的图像在图像匹配数据库中进行最优匹配,选择“最相似”的图像为目标图像。通过适当的选取目标坐标系后,设定一个初始位置使得视轴与目标中心轴线重合,此时的图像参数记为(0,0,0),匹配出的目标图像对应的空间模型三维姿态参数为那么由于光电望远镜自身有视轴方位的偏差As且As为已知量,可以求出空间目标的实际俯仰角θ=As0,同理可以求得实际偏航角和滚动角γ=γ0。需要特别注意的一点是,在空间目标的三维模型中,可以随意设定模型的初始姿态角,所以在设定姿态角时,选择视轴与三维模型的中心轴线重合,避免计算滚转角γ时的繁琐。在这一部分由于采集到的图像清晰度可能很差,像素对比的方法不适合本实施方式,所以通过数字图像处理,运用SIFT算法提取图像的特征向量进行图像间的对比。
本发明中,基于Vega Prime的仿真开发过程如下:
Vega Prime是应用在声音仿真、视景仿真和虚拟现实等领域的开发软件。在我们已经有3D模型前提下,可以将模型导入到Vega Prime下。Vega Prime可以很好的渲染娱乐、城市仿真和计算可视化等。由于在实际应用中,空天环境是很复杂的,对于空天图像的采集,会受到很多的外部因素干扰,比如云层、光照等,Vega Prime提供了强大的空天环境仿真平台,它可以逼真的仿真出云层、烟雾、光照、月光以及星星等空天环境,是一款战场、空间、城市仿真中常用的仿真软件。
对于一个空间目标的3D模型,可以导入到Vega Prime中进行仿真。对于一个空间目标仿真,所设定的三维姿态参数不同,呈现出的图像具有较大的差异。不同姿态下的成像对部分特征位置会遮挡,当图像与观测图像一致时,得到的匹配点会越多。三维姿态参数不同设定下的图像如图10-图12所示。图10姿态参数为(5,30,25.5),图11姿态参数为(5,30,105.5),图12姿态参数为(10,240,25.5)。
从图10-图12天鹅座飞船在Vega Prime在不同姿态参数设定下的图像中明显看出,不同姿态参数下,得到图像具有较大差异。为了验证试验的可行性,我们改变空间目标的单一姿态参数,使用SIFT算法进行特征点匹配,匹配结果如表1:
表1天鹅座货运飞船匹配结果
原图像参数 目标图像参数 匹配点总数 成功匹配个数 匹配成功率
(0,0,0) (0,0,0) 238 238 100%
(0,0,0) (0,1,0) 233 212 90.99%
(0,0,0) (0,4,0) 233 197 84.55%
(0,0,0) (0,20,0) 247 129 52.23%
(0,0,0) (0,30,0) 232 80 34.48%
图13显示了天鹅座飞船在SIFT算法下的匹配效果,对于同一姿态参数设定下的图像,算法对获得的所有特征点均进行了成功匹配。图14显示在两幅图像角度不同时获得的匹配效果。
为了直观表现匹配成功率,我们将匹配成功率向量在MATLAB中画出来,表现它的变化规律,如图15所示:图15显示了在俯仰角和滚动角确定的情况下,单一的改变偏航角得到的匹配结果。从而验证了当观测图像接近于空间目标的三维姿态参数某一幅图像时,可以得到最高的匹配成功率,从而验证了此方法的可行性。
在本发明中,有3个参数俯仰角θ、偏航角和滚动角γ,如果每隔1度进行图像输出的话,会得到一个360×360×360的图像匹配数据库,但是实际匹配过程中真实图像的“最相似”目标图像仅仅只有一幅,所以会导致运算量巨大造成的时间成本浪费问题。由表1提供的数据可以看出,当观测图像接近于实际三维姿态角度的时候,匹配成功率会呈现一个峰值区域,在这个区域的宽度大致为20度,那么我们可以以10度为步长,进行三个方向的调整,做图像输出,得到一个36×36×36的图像匹配数据库。在这个图像匹配数据库中进行匹配,可以得到一幅最相似的图像,例如这幅图像的参数为那么将Vega Prime的俯仰角角度输出区间调整到(θ1-10,θ1+10),偏航角输出区间调整到滚动角输出区间调整为(γ1-10,γ1+10),输出步长变为1度,得到一个20×20×20的匹配库,经过两次匹配后得到的精度可以控制在2度,符合实际应用要求。
本发明中,仿真成像姿态如下:
利用Vega Prime对光电望远镜成像仿真,生成空间目标在不同姿态角下的仿真图像。由以上证明了观测图像与仿真图像在真实姿态角附近匹配成功率具有局部最优解,可以通过图像匹配的方式进行估计当前观测图像的目标姿态角。具体算法流程如下:
(a)使用Vega Prime输出步长为δ度的图像匹配库;
(b)对图像匹配库中的图像进行增强处理;
(c)输入:望远镜视轴方位As、俯仰角Es和目标精度ε;
(d)读取观测图像g(x,y);
(e)对观测图像进行增强处理;
(f)观测图像与图像匹配库进行匹配;
(g)获得匹配结果;
(h)计算三维姿态参数;
(i)验证匹配精度是否符合要求精度ε,若满足,输出结果;若不满足将步长δ改为重复(a)-(e),得到适合精度的结果为止。
在实验中,我们选择初始的步长为10度,构建一个图像匹配库。设定一个姿态参数角为(5,30,25.5)与图像匹配库中的图像进行匹配,得到的匹配成功率曲线如图16所示:从图16可以看出,匹配成功率曲线呈锯齿状,并且匹配成功率的最大值对应的图像参数为(0,30,20),那么下一个图像匹配库俯仰角的取值区间为[-10,10],偏航角取值区间为[20,40],滚动角取值区间为[10,30],步长取定为5度形成新的图像匹配库。接着对获得的图像匹配库重新匹配,最终输出符合精度要求的匹配结果。在之后的图像匹配结果中,可以成功的估计出空间目标的三维姿态参数,实验结果如表2所示:
表2不同姿态角的估计结果
从表2可以看出,对仿真环境下的估计结果效果良好,验证了本发明提出的姿态估计方法是一种有效的空间目标三维姿态估计方法。
本发明在现有技术的基础上,明确单目望远镜对空间目标三维姿态参数的判断实际上转换成了两幅图像之间相似性的比较。由于光电望远镜获得的图像比较模糊,所以导致了图像匹配结果误差较大。需要获得一种鲁棒性好的方法来克服光电望远镜采集到模糊图像带来的误差。对于两幅图像之间的相似性对比已经有较为成熟的技术和相关的理论,而且SIFT算法在二维图像对比上可以满足大多数图像匹配需求,所以在空间目标三维姿态判定上也可以将SIFT算法引入,尝试得到较为理想的效果。

Claims (4)

1.基于图像序列的空间目标三维姿态估计方法,其特征在于,该方法的具体过程为:
步骤1、对观测图像进行预处理;
步骤2、对空间目标的三维姿态进行图像采集,获得目标匹配图像库;
步骤3、采用尺度不变特征算法对步骤1预处理后的观测图像和步骤2目标匹配图像库中的图像进行匹配,筛选获得最相近的图像;
步骤4、反向求出空间目标的三维姿态参数值,输出空间目标的姿态角。
2.根据权利要求1所述的基于图像序列的空间目标三维姿态估计方法,其特征在于,步骤1所述对观测图像进行预处理,是对观测图像进行降噪或增强处理。
3.根据权利要求1所述的基于图像序列的空间目标三维姿态估计方法,其特征在于,步骤2所述获得目标匹配图像库的具体过程为:
获得一个空间目标的3D模型,对3D模型定义初始三维姿态参数值(0,0,0),改变初始三维姿态参数值(0,0,0),进行模型库的构建,获得目标匹配图像库。
4.根据权利要求1所述的基于图像序列的空间目标三维姿态估计方法,其特征在于,步骤3所述采用尺度不变特征算法对预处理后的观测图像和目标匹配图像库中的图像进行匹配的具体过程为:
步骤3-1、采用尺度不变特征算法对预处理后的观测图像进行特征向量提取;
步骤3-2、将特征向量与目标匹配图像库中的任意一幅图像进行匹配;
步骤3-3、定义匹配成功率,将匹配成功率储存在矩阵中;
步骤3-4、计算矩阵的最大值,获得观测图像与目标匹配图像库中的图像的匹配成功率值;
步骤3-5、矩阵最大值所在矩阵的列数即为在图像序列中的最相似图像的次序数,获得最相似图像。
CN201810117595.7A 2018-02-06 2018-02-06 基于图像序列的空间目标三维姿态估计方法 Expired - Fee Related CN108320310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810117595.7A CN108320310B (zh) 2018-02-06 2018-02-06 基于图像序列的空间目标三维姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810117595.7A CN108320310B (zh) 2018-02-06 2018-02-06 基于图像序列的空间目标三维姿态估计方法

Publications (2)

Publication Number Publication Date
CN108320310A true CN108320310A (zh) 2018-07-24
CN108320310B CN108320310B (zh) 2021-09-28

Family

ID=62902968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810117595.7A Expired - Fee Related CN108320310B (zh) 2018-02-06 2018-02-06 基于图像序列的空间目标三维姿态估计方法

Country Status (1)

Country Link
CN (1) CN108320310B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109283499A (zh) * 2018-09-10 2019-01-29 西北工业大学 一种基于雷达方程的有源干扰下探测范围三维可视化方法
CN109785322A (zh) * 2019-01-31 2019-05-21 北京市商汤科技开发有限公司 单眼人体姿态估计网络训练方法、图像处理方法和装置
CN111506759A (zh) * 2020-03-04 2020-08-07 中国人民解放军战略支援部队信息工程大学 一种基于深度特征的影像匹配方法及装置
CN113177582A (zh) * 2021-04-16 2021-07-27 江西航天鄱湖云科技有限公司 一种目标的卫星电子信息和光学图像信息关联方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216289A (zh) * 2008-01-11 2008-07-09 哈尔滨工业大学 基于线阵ccd的空间目标姿态测量系统及其测量方法
CN101464134A (zh) * 2009-01-16 2009-06-24 哈尔滨工业大学 一种空间目标三维位姿视觉测量方法
US8306273B1 (en) * 2009-12-28 2012-11-06 Ball Aerospace & Technologies Corp. Method and apparatus for LIDAR target identification and pose estimation
CN104748750A (zh) * 2013-12-28 2015-07-01 华中科技大学 一种模型约束下的在轨三维空间目标姿态估计方法及系统
US20160047878A1 (en) * 2011-10-25 2016-02-18 The Boeing Company Combined orbit and attitude determination system and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216289A (zh) * 2008-01-11 2008-07-09 哈尔滨工业大学 基于线阵ccd的空间目标姿态测量系统及其测量方法
CN101464134A (zh) * 2009-01-16 2009-06-24 哈尔滨工业大学 一种空间目标三维位姿视觉测量方法
US8306273B1 (en) * 2009-12-28 2012-11-06 Ball Aerospace & Technologies Corp. Method and apparatus for LIDAR target identification and pose estimation
US20160047878A1 (en) * 2011-10-25 2016-02-18 The Boeing Company Combined orbit and attitude determination system and methods
CN104748750A (zh) * 2013-12-28 2015-07-01 华中科技大学 一种模型约束下的在轨三维空间目标姿态估计方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
R LINARES,ET AL: "《Astrometric and Photometric Data Fusion for Resident Space Object Orbit,Attitude,and Shape Determination Via Multiple-Model Adaptive Estimation》", 《AIAA GUIDANCE,NAVIGATION,&CONTROL CONFERENCE》 *
VINCENZO PESCE,ET AL: "《Stereovision-based pose and inertia estimation of unknown and uncooperative space objects》", 《ADVANCES IN SPACE RESEARCH》 *
王春雪: "《基于图像的空间目标三维姿态估计研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
魏小峰,等: "《空间目标三维姿态估计方法》", 《武汉大学学报 信息科学版》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109283499A (zh) * 2018-09-10 2019-01-29 西北工业大学 一种基于雷达方程的有源干扰下探测范围三维可视化方法
CN109283499B (zh) * 2018-09-10 2022-09-13 西北工业大学 一种基于雷达方程的有源干扰下探测范围三维可视化方法
CN109785322A (zh) * 2019-01-31 2019-05-21 北京市商汤科技开发有限公司 单眼人体姿态估计网络训练方法、图像处理方法和装置
CN109785322B (zh) * 2019-01-31 2021-07-02 北京市商汤科技开发有限公司 单眼人体姿态估计网络训练方法、图像处理方法和装置
CN111506759A (zh) * 2020-03-04 2020-08-07 中国人民解放军战略支援部队信息工程大学 一种基于深度特征的影像匹配方法及装置
CN111506759B (zh) * 2020-03-04 2023-10-24 中国人民解放军战略支援部队信息工程大学 一种基于深度特征的影像匹配方法及装置
CN113177582A (zh) * 2021-04-16 2021-07-27 江西航天鄱湖云科技有限公司 一种目标的卫星电子信息和光学图像信息关联方法
CN113177582B (zh) * 2021-04-16 2024-03-15 江西航天鄱湖云科技有限公司 一种目标位置的卫星电子信息和光学图像信息关联方法

Also Published As

Publication number Publication date
CN108320310B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN103839277B (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN103854283B (zh) 一种基于在线学习的移动增强现实跟踪注册方法
CN106529538A (zh) 一种飞行器的定位方法和装置
CN108805906A (zh) 一种基于深度图的运动障碍物检测及定位方法
CN108320310A (zh) 基于图像序列的空间目标三维姿态估计方法
CN107677274B (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
CN104794737B (zh) 一种深度信息辅助粒子滤波跟踪方法
CN109785371A (zh) 一种基于归一化互相关和sift的太阳图像配准方法
CN111506759B (zh) 一种基于深度特征的影像匹配方法及装置
CN105654122B (zh) 基于核函数匹配的空间金字塔物体识别方法
CN113495575B (zh) 一种基于注意力机制的无人机自主着陆视觉引导方法
CN111062310B (zh) 一种基于虚拟样本生成的少样本无人机图像识别方法
CN111123962A (zh) 一种用于电力杆塔巡检的旋翼无人机重定位拍照方法
CN109086350B (zh) 一种基于WiFi的混合图像检索方法
CN112489089B (zh) 一种微型固定翼无人机机载地面运动目标识别与跟踪方法
CN107609571A (zh) 一种基于lark特征的自适应目标跟踪方法
Zou et al. Microarray camera image segmentation with Faster-RCNN
Cao et al. Detection method based on image enhancement and an improved faster R-CNN for failed satellite components
Koizumi et al. Development of attitude sensor using deep learning
Zhang et al. An improved YOLO algorithm for rotated object detection in remote sensing images
CN109215122B (zh) 一种街景三维重建系统及方法、智能小车
CN115760984A (zh) 一种立方星基于单目视觉的非合作目标位姿测量方法
CN111626096B (zh) 一种三维点云数据兴趣点提取方法
CN107330436A (zh) 一种基于尺度判据的全景图像sift优化方法
Strotov et al. Aerial object recognition algorithm based on contour descriptor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210928

Termination date: 20220206