CN116363205A - 基于深度学习的空间目标位姿解算方法及计算机程序产品 - Google Patents

基于深度学习的空间目标位姿解算方法及计算机程序产品 Download PDF

Info

Publication number
CN116363205A
CN116363205A CN202310331210.8A CN202310331210A CN116363205A CN 116363205 A CN116363205 A CN 116363205A CN 202310331210 A CN202310331210 A CN 202310331210A CN 116363205 A CN116363205 A CN 116363205A
Authority
CN
China
Prior art keywords
point
target
pixel
coordinate set
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310331210.8A
Other languages
English (en)
Inventor
张高鹏
王�锋
张广栋
杨秉青
路荣
陈卫宁
曹剑中
陈萍
张海峰
董森
郭惠楠
梅超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XiAn Institute of Optics and Precision Mechanics of CAS
Original Assignee
XiAn Institute of Optics and Precision Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XiAn Institute of Optics and Precision Mechanics of CAS filed Critical XiAn Institute of Optics and Precision Mechanics of CAS
Priority to CN202310331210.8A priority Critical patent/CN116363205A/zh
Publication of CN116363205A publication Critical patent/CN116363205A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的空间目标位姿解算方法及计算机程序产品,以为解决目前空间目标位姿测量时无通用模型,且太空环境下目标受光照不均匀,噪声干扰等导致的图像匹配误差大的技术问题。该方法包括:1、构建双目视觉系统,并构建BP神经网络;2、获取像素坐标集合和三维坐标集合;3、采用步骤2中的坐标集合对BP神经网络进行训练和测试,获得满足期望误差BP神经网络;4、采集目标卫星图像,获得当前目标点像素坐标集合与世界坐标系下的当前目标点三维坐标集合的对应关系;5、计算得到旋转矩阵R和平移向量
Figure DDA0004154989570000011
;6、求解目标卫星的位姿信息。

Description

基于深度学习的空间目标位姿解算方法及计算机程序产品
技术领域
本发明涉及空间目标位姿测量,具体涉及一种基于深度学习的空间目标位姿解算方法及计算机程序产品。
背景技术
为了防止废弃失效卫星碰撞造成空间碎片指数式的爆炸增长,对主动清除废弃卫星和火箭大型碎片等研究已越来越受重视。由于废弃卫星、火箭碎片等无适应的结构组件、信标或对接机构等适配机制,这种空间目标的主动清除技术仍是亟待解决的难题,而对其姿态进行准确测量,则是完成上述空间任务的重要前提。
在实际空间目标位姿测量中,相比多目视觉测量系统,采用单目视觉测量具有成本低、结构简单、测量范围大、标定步骤简单、体积小、质量小、功耗小等突出优点,成为视觉测量任务中的重要方案选择。基于单目视觉的空间目标位姿测量是目前计算机视觉领域重点研究的前沿方向,在空间操作、机器人视觉导航等领域扮演着举足轻重的角色。目前基于空间近距离视觉位姿测量技术难点还未得到有效解决:(1)由于空间目标缺乏自身三维结构的先验信息,不具备可靠识别提取的合作标志,且不同空间目标具有不同的物理结构特性,因此无法设计出基于通用模型的空间目标位姿测量总体策略;(2)无论传统的单目,双目或者多目空间目标位姿测量方法,都会涉及多图像匹配问题,而太空环境下目标受光照不均匀,噪声干扰等影响,容易出现误匹配样本,以及被遮挡的情况。
近几年来,深度学习在图像分类和目标检测方面的应用取得了极大的进展,且基于深度学习的位姿估计具有精度高,鲁棒性强,可迁移性等优点,因此研究基于深度学习的空间目标位姿估计在航天领域具有重要的价值。
发明内容
为解决目前空间目标位姿测量时无通用模型,且太空环境下目标受光照不均匀,噪声干扰等导致的图像匹配误差大的技术问题,本发明提出一种基于深度学习的空间目标位姿解算方法及计算机程序产品。
本发明提供的技术方案为:
一种基于深度学习的空间目标位姿解算方法,其特殊之处在于,包括以下步骤:
S1、构建双目视觉系统,并构建BP神经网络;
S2、采用双目视觉系统获得预设卫星模型在k个不同位置时太阳能帆板的图像,计算获得k个不同位置下太阳能帆板上多个角点的像素坐标及多个角点在世界坐标系下的三维坐标;多个角点的像素坐标构成像素坐标集合,多个角点在世界坐标系下的三维坐标构成三维坐标集合;
S3、按照像素坐标集合与三维坐标集合的对应关系,将像素坐标集合和三维坐标集合都分为训练集和测试集,采用训练集对BP神经网络进行训练学习,采用测试集对训练后的BP神经网络进行误差测试,若误差测试的期望误差满足阈值,则保留训练完成的BP神经网络,并执行步骤S4;若误差测试的期望误差未满足阈值,则返回步骤S2,采用双目视觉系统,增加m个不同位置下预设卫星模型太阳能帆板的图像,以增加训练集的数据量,直至期望误差满足阈值;
S4、采用双目视觉系统拍摄目标卫星的图像,获得目标卫星太阳能帆板上特征点的像素坐标,定义为当前目标点像素坐标集合;
将当前目标点像素坐标集合输入步骤S3训练后的BP神经网络,获得当前目标点像素坐标集合与世界坐标系下的当前目标点三维坐标集合的对应关系;
S5、采用PNP(Perspective-n-Point)算法,对当前目标点三维坐标集合进行解算,计算得到位姿参数,所述位姿参数为旋转矩阵R和平移向量
Figure BDA0004154989520000031
S6、根据当前目标点像素坐标集合与世界坐标系下的当前目标点三维坐标集合的对应关系、旋转矩阵R和平移向量
Figure BDA0004154989520000032
求解目标卫星的位姿信息。
进一步地,步骤S5具体为:
S5.1、构造物方共线误差
设定目标点三维坐标集合中有n个空间点,其中第i个空间点的空间三维坐标为
Figure BDA0004154989520000033
根据步骤S4的对应关系,对应的归一化像素点齐次坐标为/>
Figure BDA0004154989520000034
则像素点的视线投影矩阵为:
Figure BDA0004154989520000035
其中,Wi称为视线投影矩阵,视线为从光心到像素点的射线;
空间点经视线投影矩阵作用后得到该空间点在对应图像点视线上的投影点,根据目标空间共线,方程表达为:
Figure BDA0004154989520000036
其中R和
Figure BDA0004154989520000037
即为双目视觉系统在目标坐标系下的位姿参数,R为旋转矩阵,/>
Figure BDA00041549895200000310
为平移向量,根据公式(1),构造物方共线误差/>
Figure BDA0004154989520000038
Figure BDA0004154989520000039
其中,I为单位矩阵;
S5.2、采用平行透视模型进行旋转矩阵初始值的求解
目标点三维坐标集合{Qi}的齐次坐标为Qi=(Xi,Yi,Zi,1)T,对应的像素点集{qi}的齐次坐标为qi=(xi,yi,1)T,目标点三维坐标集合{Qi}的质心齐次坐标为
Figure BDA0004154989520000041
质心像素点的齐次坐标为/>
Figure BDA0004154989520000042
则旋转矩阵初始值R0为:
Figure BDA0004154989520000043
其中,
Figure BDA0004154989520000044
和/>
Figure BDA0004154989520000045
分别表示/>
Figure BDA0004154989520000046
和/>
Figure BDA0004154989520000047
对应的反对称矩阵,/>
Figure BDA0004154989520000048
和/>
Figure BDA0004154989520000049
分别为三维列向量;
S5.3、根据位姿计算的目标函数,获得旋转矩阵R和平移向量
Figure BDA00041549895200000410
根据公式(2),可得到位姿计算的目标函数
Figure BDA00041549895200000411
Figure BDA00041549895200000412
根据步骤S5.2获得旋转矩阵初始值R0进行迭代求解,迭代终止条件设定为物方共线误差的相对变化量小于提前设定的阈值;获得最优的旋转矩阵R,进而根据位姿计算的目标函数求解平移向量
Figure BDA00041549895200000415
的最优解。
进一步地,步骤5.3中,迭代终止条件具体为:连续五次迭代中对应的物方共线误差相对变化量小于0.001mm,则迭代过程终止。
进一步地,步骤S5.3中,获得最优的旋转矩阵R,则平移向量
Figure BDA00041549895200000413
的最优解/>
Figure BDA00041549895200000414
计算公式为:
Figure BDA0004154989520000051
进一步地,步骤S3中,误差测试中,期望误差Err的计算公式为:
Figure BDA0004154989520000052
其中,(xj,yj,zj)为角点Pj世界坐标系下三维坐标的计算值,(xr,yr,zr)为角点Pj世界坐标系下三维坐标的真实值,j=1、2、…、k;
期望误差的阈值为小于1*e-8
进一步地,步骤S1中,所述BP神经网络包括依次设置的输入层、隐含层及输出层;
所述输入层用于接收双目视觉系统采集的当前目标点像素坐标集合;
所述输出层用于输出对应的当前目标点三维坐标集合。
进一步地,步骤S1中,所述BP神经网络的输入层包括4个神经元,隐含层包括8个神经元,输出层包括3个神经元;
步骤S1中,所述BP神经网络的激活函数为对数函数;
BP神经网络的学习速率范围为0.01~0.8。
进一步地,步骤S2中,所述太阳能帆板的图像采用中值滤波算法进行预处理;
所述预处理包括彩色图像灰度化处理、图像滤波、直方图均衡化、边缘锐化处理和图像去噪处理。
进一步地,步骤S1中,双目视觉系统包括两个型号相同的相机,两个相机设置在与预设卫星模型的移动方向平行的平行线上,两个相机的位置固定且位于同一条平行线上。
本发明还提供一种计算机程序产品,其上存储有计算机程序,其特殊之处在于:所述计算机程序被处理器执行时实现上述基于深度学习的空间目标位姿解算方法的步骤。
本发明的有益效果:
本发明提供的方法利用绝大部分空间目标均有的太阳能帆板这一部件,利用其上的正交角点生成与双目视觉系统左右相机拍摄图像逐像素对应的密集标记点数据,获取的数据分为训练集和测试集两部分,对构建的BP神经网络进行训练,基于上述BP神经网络的训练结果拟合双目视觉测量计算模型,进而可通过空间双目视觉系统左右相机拍摄的目标点图像二维像素坐标直接得到空间目标点的三维世界坐标,完成二维像素坐标和三维空间坐标的对应,提升空间位姿的解算精度;最后,采用改进的PNP算法完成对目标位姿信息的求解,该方法准确、灵活,具有良好的鲁棒性,可以为空间任务中的目标位姿求解提供良好的技术支撑。
附图说明
图1为本发明基于深度学习的空间目标位姿解算方法实施例流程图;
图2为本发明实施例中双目视觉系统示意图;
图3为本发明实施例中BP神经网络示意图。
附图标记说明:
1-相机,2-预设卫星模型,3-太阳能帆板,4-一维位移台。
具体实施方式
参见图1,本实施例提供一种基于深度学习的空间目标位姿解算方法,该方法包括以下步骤:
S1、构建双目视觉系统,并构建BP神经网络;
参见图2,双目视觉系统包括两个型号相同的相机1,相机1位置固定;预设卫星模型2设置在一维位移台4上,预设卫星模型2可以沿一维位移台4平移,两个相机1设置在与一维位移台4延伸方向平行的同一条平行线上;预设卫星模型2上设置有太阳能帆板3。
参见图3,BP神经网络包括依次设置的输入层、隐含层及输出层;输入层用于接收双目视觉系统采集的当前目标点像素坐标集合;输出层用于输出对应的当前目标点三维坐标集合;本实施例中,BP神经网络的输入层包括4个神经元,输出层包括3个神经元;为了网络训练精度的提高,可以通过采用一个隐含层,而增加隐含层神经元个数的方法来获得,这在结构实现上,要比增加更多的隐含层要简单方便的多,隐含层神经元的个数一般选择输入层神经元数目的二倍加一;本实施例选择的隐含层包括8个神经元,因为在外太空的使用环境下,对数据的实时性要求比较高,而隐含层神经元的个数越多,运算速度就越慢,隐含层神经元的个数太少,精度又会降低,综合考虑运行速度和精度,隐含层选择8个神经元。
为了保证每个神经元的权值都能够在它们的激活函数变化最大之处进行调节,本实施例中BP神经网络的激活函数为对数函数;学习速率决定每一次循环训练中所产生的权值变化量,大的学习速率可能导致系统的不稳定,但是小的学习速率将导致训练时间长,收敛速度很慢,不过能保证网络的误差值不会跳出误差表面的低谷而最终趋于最小误差值;所以在一般情况下,倾向选择较小的学习速率以保证系统的稳定性,学习速率一般选择范围在0.01~0.8之间,本实施例选择学习速率为0.15。
S2、采用双目视觉系统获得预设卫星模型2在k个不同位置时太阳能帆板3的图像,计算获得k个不同位置下太阳能帆板3上多个角点的像素坐标及多个角点在世界坐标系下的三维坐标;多个角点的像素坐标构成像素坐标集合,多个角点在世界坐标系下的三维坐标构成三维坐标集合。
具体过程包括:
S2.1、将预设卫星模型2放置于一维位移台4上任意位置,该位置记为位置0,记录其位移量设为L0,此时采用该双目视觉系统获取预设卫星模型2的太阳能电池板图像。
S2.2、对步骤S2.1获得的两幅太阳能电池板图像进行预处理,预处理主要包括彩色图像灰度化处理、图像滤波、直方图均衡化、边缘锐化和图像去噪处理。针对实施例中太阳能帆板3图像的预处理,需要消除的主要是脉冲噪声,而椒盐噪声是脉冲噪声的最主要的类型,其表现为某一像素的灰度值相对于其邻域内其他像素灰度值差异较大,在图像中出现黑白亮暗的斑点,椒盐噪声严重影响了图像的质量,同时给后续的图像处理过程增加了很大的难度,考虑到图像邻域像素高度相关,本发明采用中值滤波的算法去除噪声。
S2.3、对步骤S2.2中预处理后的图像进行角点检测
太阳能帆板3上的正交肋条产生大量角点,采用基于Harris角点检测方法进行角点检测,提取每幅图像中每个角点的图像像素坐标。
太阳能帆板3表面往往布置有大量相互正交的金属肋条,从而产生大量角点,Harris算子是Harris等人提出的一种利用图像的灰度信息来提取角点的算子,对任意一幅图像,角点与图像灰度的自相关函数曲率特性有关,对图像中的任意一点,如果它的水平曲率和垂直曲率值都高于局部邻域中其他点,则认为该点是角点;Harris角点检测算法简单、稳定性高、鲁棒性好、抗噪能力强,特别适合空间环境下对相关算法的要求,因此,本发明采用基于Harris角点检测方法进行角点检测,提取每幅图像中每个角点的图像坐标。
S2.4、控制一维位移台4,将预设卫星模型2沿着一维位移台4移动至下一位置,该位置记为位置1,记录其位移量设为L1,重复步骤S2.1~步骤S2.3。若最终卫星模型沿着一维位移台4移动k个位置,则记录每个位置处的位移量依次为L0,L1,L2……Lk。最终得到k个位置处双目视觉系统左右相机1拍摄得到的k对图像,利用步骤2.2和步骤2.3中所述的图像预处理方法和角点检测方法,得到每个位置处每个角点在双目视觉系统左右相机1拍摄得到的图像中的像素坐标。
设定位置L0为太阳能帆板3最左下角点,并定义该角点为世界坐标系坐标原点,则其在世界坐标系中的三维坐标为(0,0,L0),由于太阳能帆板3上的正交肋条往往为规则分布,设相邻正交肋条之间沿着两个方向的间距分别为Δx和Δy,则相对位置L0处,对角点Pcd点而言,其在本发明所定义的世界坐标系中的三维坐标即为(Δxc,Δyd,L0),依次类推,可得到L0,L1,L2……Lk每个位置处每个角点在世界坐标系下的三维坐标。
上述每个位置处每个角点在双目视觉系统左右相机1拍摄得到的图像中的像素坐标以及世界坐标系下的三维坐标将作为训练BP神经网络的数据来源。
S3、按照像素坐标集合与三维坐标集合的对应关系,将像素坐标集合和三维坐标集合都分为训练集和测试集,采用训练集对BP神经网络进行训练学习,采用测试集对训练后的BP神经网络进行误差测试,若误差测试的期望误差满足阈值,则保留训练完成的BP神经网络,并执行步骤S4;若误差测试的期望误差未满足阈值,则返回步骤S2,采用双目视觉系统,增加m个不同位置下预设卫星模型2太阳能帆板3的图像,以增加训练集的数据量,直至期望误差满足阈值;其中,期望误差为利用本发明中构造的BP神经网络计算得到的角点空间坐标与角点实际空间坐标的均方差计算公式为:
Figure BDA0004154989520000101
其中,
Figure BDA0004154989520000102
为角点Pj世界坐标系下三维坐标的计算值,
Figure BDA0004154989520000103
为角点Pj世界坐标系下三维坐标的真实值,j=1、2、…、k;期望误差阈值为小于1*e-8
S4、采用双目视觉系统拍摄目标卫星的图像,获得目标卫星太阳能帆板上特征点的像素坐标,定义为当前目标点像素坐标集合;
将当前目标点像素坐标集合输入步骤S3训练后的BP神经网络,获得当前目标点像素坐标集合与世界坐标系下的当前目标点三维坐标集合的对应关系;
S5、采用PNP算法,对当前目标点三维坐标集合进行解算,计算得到位姿参数旋转矩阵R和平移向量
Figure BDA0004154989520000104
具体的:
S5.1、构造物方共线误差
设定目标点三维坐标集合中有n个空间点,其中第i个空间点的空间三维坐标为
Figure BDA0004154989520000105
根据步骤S4的对应关系,对应的归一化像素点齐次坐标为/>
Figure BDA0004154989520000106
则像素点的视线投影矩阵为:
Figure BDA0004154989520000107
其中,Wi称为视线投影矩阵,视线为从光心到像素点的射线;
空间点经视线投影矩阵作用后得到该空间点在对应图像点视线上的投影点,标准正交迭代算法的基本原理就是空间点应与其在对应图像点视线上的投影点重合,其中关系根据目标空间共线方程表达为:
Figure BDA0004154989520000111
其中R和
Figure BDA0004154989520000112
即为双目视觉系统在目标坐标系下的位姿参数,R为旋转矩阵,/>
Figure BDA0004154989520000113
为平移向量,根据公式(1),构造物方共线误差/>
Figure BDA0004154989520000114
Figure BDA0004154989520000115
其中,I为单位矩阵;
S5.2、采用平行透视模型进行旋转矩阵初始值的求解
迭代寻优初始值为R0,利用奇异值分解方法(SVD)获得绝对定向问题的最优解进而更新R,这样一个过程就能完成R和
Figure BDA0004154989520000116
的不断迭代优化。理论上,旋转矩阵初始值R0可随意选定,然而旋转矩阵初始值R0的选择对算法的运行效率影响极大,旋转矩阵初始值R0选取不当时常常使得算法计算量极大,耗时较长。本方法中,使用平行透视模型进行旋转矩阵初始值的求解。
在平行透视模型下,投影过程分为两步:第一步还是将物体平行投影到过质心且与像平面平行的平面上,但此时的投影线不平行于光轴,而平行于摄像机光心和质心的连线。平行透视模型可表示为:
Figure BDA0004154989520000117
其中,(X0,Y0,Z0)为质心坐标。平行透视模型的矩阵表示为:
Figure BDA0004154989520000121
其中
Figure BDA0004154989520000122
称为平行透视投影矩阵,其中f为焦距。
设三维空间坐标为P的实际坐标为(X,Y,Z)T=(X0+ΔX,Y0+ΔY,Z0+ΔZ)T,ΔX为P的实际坐标与质心坐标在X方向上的差,ΔY为P的实际坐标与质心坐标在Y方向上的差,ΔZ为P的实际坐标与质心坐标在Z方向上的差;平行透视模型成像误差Ierr可由泰勒公式得到:
Figure BDA0004154989520000123
平行透视模型成像误差Ierr公式表明,平行透视模型成像误差为三维点坐标的二阶无穷小,而弱视模型下像点误差为三维点坐标的一阶无穷小。因此,在本实施例中,采用平行透视模型进行旋转矩阵初始值的求解。
目标点三维坐标集合{Qi}的齐次坐标为Qi=(Xi,Yi,Zi,1)T,对应的像素点集{qi}的齐次坐标为qi=(xi,yi,1)T,目标点三维坐标集合{Qi}的质心齐次坐标为
Figure BDA0004154989520000131
质心像素点的齐次坐标为/>
Figure BDA0004154989520000132
则旋转矩阵初始值R0为:
Figure BDA0004154989520000133
其中,
Figure BDA0004154989520000134
和/>
Figure BDA0004154989520000135
分别表示/>
Figure BDA0004154989520000136
和/>
Figure BDA0004154989520000137
对应的反对称矩阵。/>
Figure BDA0004154989520000138
和/>
Figure BDA0004154989520000139
分别为三维列向量,其结果可由下式确定:
Figure BDA00041549895200001310
S5.3、根据位姿计算的目标函数,获得旋转矩阵R和平移向量
Figure BDA00041549895200001311
根据公式(2),可得到位姿计算的目标函数
Figure BDA00041549895200001312
Figure BDA00041549895200001313
根据步骤S5.2获得旋转矩阵初始值R0进行迭代求解,迭代终止条件设定为物方共线误差的相对变化量小于提前设定的阈值,具体为:连续五次迭代中对应的物方共线误差相对变化量小于0.001mm,则迭代过程终止;获得最优的旋转矩阵R,进而根据如下计算公式
Figure BDA00041549895200001314
求解平移向量
Figure BDA00041549895200001315
的最优解。
此外,算法每一次的迭代过程需要分别计算一次旋转矩阵R和平移向量
Figure BDA0004154989520000141
但实际上,每一次更新R后,均可线性求解出最优/>
Figure BDA0004154989520000142
因此,每轮迭代其实是对旋转矩阵R的迭代,不需要在每次迭代中均求解平移向量/>
Figure BDA0004154989520000143
的,换言之,只需最后一次迭代后输出平移向量/>
Figure BDA0004154989520000144
的最优解即可。因此,在迭代过程中可通过消除/>
Figure BDA0004154989520000145
的中间值来减少迭代过程中的计算量,进而提升运算效率。
S6、根据当前目标点像素坐标集合与世界坐标系下的当前目标点三维坐标集合的对应关系、旋转矩阵R和平移向量
Figure BDA0004154989520000146
求解目标卫星的位姿信息。
本实施例还提供一种计算机程序产品,其上存储有计算机程序,该计算机程序被处理器执行时实现上述基于深度学习的空间目标位姿解算方法的步骤。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

Claims (10)

1.一种基于深度学习的空间目标位姿解算方法,其特征在于,包括以下步骤:
S1、构建双目视觉系统,并构建BP神经网络;
S2、采用双目视觉系统获得预设卫星模型在k个不同位置时太阳能帆板的图像,计算获得k个不同位置下太阳能帆板上多个角点的像素坐标及多个角点在世界坐标系下的三维坐标;多个角点的像素坐标构成像素坐标集合,多个角点在世界坐标系下的三维坐标构成三维坐标集合;
S3、按照像素坐标集合与三维坐标集合的对应关系,将像素坐标集合和三维坐标集合都分为训练集和测试集,采用训练集对BP神经网络进行训练学习,采用测试集对训练后的BP神经网络进行误差测试,若误差测试的期望误差满足阈值,则保留训练完成的BP神经网络,并执行步骤S4;若误差测试的期望误差未满足阈值,则返回步骤S2,采用双目视觉系统,增加m个不同位置下预设卫星模型太阳能帆板的图像,以增加训练集的数据量,直至期望误差满足阈值;
S4、采用双目视觉系统拍摄目标卫星的图像,获得目标卫星太阳能帆板上特征点的像素坐标,定义为当前目标点像素坐标集合;
将当前目标点像素坐标集合输入步骤S3训练后的BP神经网络,获得当前目标点像素坐标集合与世界坐标系下的当前目标点三维坐标集合的对应关系;
S5、采用PNP算法,对当前目标点三维坐标集合进行解算,计算得到位姿参数,所述位姿参数为旋转矩阵R和平移向量
Figure FDA0004154989500000011
S6、根据当前目标点像素坐标集合与世界坐标系下的当前目标点三维坐标集合的对应关系、旋转矩阵R和平移向量
Figure FDA0004154989500000012
求解目标卫星的位姿信息。
2.根据权利要求1所述的基于深度学习的空间目标位姿解算方法,其特征在于:
步骤S5具体为:
S5.1、构造物方共线误差
设定目标点三维坐标集合中有n个空间点,其中第i个空间点的空间三维坐标为
Figure FDA0004154989500000021
根据步骤S4的对应关系,对应的归一化像素点齐次坐标为/>
Figure FDA0004154989500000022
则像素点的视线投影矩阵为:
Figure FDA0004154989500000023
其中,Wi称为视线投影矩阵,视线为从光心到像素点的射线;
空间点经视线投影矩阵作用后得到该空间点在对应图像点视线上的投影点,根据目标空间共线,方程表达为:
Figure FDA0004154989500000024
其中R和
Figure FDA0004154989500000025
即为双目视觉系统在目标坐标系下的位姿参数,R为旋转矩阵,/>
Figure FDA0004154989500000026
为平移向量,根据公式(1),构造物方共线误差/>
Figure FDA0004154989500000027
Figure FDA0004154989500000028
其中,I为单位矩阵;
S5.2、采用平行透视模型进行旋转矩阵初始值的求解
目标点三维坐标集合{Qi}的齐次坐标为Qi=(Xi,Yi,Zi,1)T,对应的像素点集{qi}的齐次坐标为qi=(xi,yi,1)T,目标点三维坐标集合{Qi}的质心齐次坐标为
Figure FDA0004154989500000029
质心像素点的齐次坐标为/>
Figure FDA00041549895000000210
则旋转矩阵初始值R0为:
Figure FDA0004154989500000031
其中,
Figure FDA0004154989500000032
和/>
Figure FDA0004154989500000033
分别表示/>
Figure FDA0004154989500000034
和/>
Figure FDA0004154989500000035
对应的反对称矩阵,/>
Figure FDA0004154989500000036
和/>
Figure FDA0004154989500000037
分别为三维列向量;
S5.3、根据位姿计算的目标函数,获得旋转矩阵R和平移向量
Figure FDA0004154989500000038
根据公式(2),可得到位姿计算的目标函数
Figure FDA0004154989500000039
Figure FDA00041549895000000310
根据步骤S5.2获得旋转矩阵初始值R0进行迭代求解,迭代终止条件设定为物方共线误差的相对变化量小于提前设定的阈值;获得最优的旋转矩阵R,进而根据位姿计算的目标函数求解平移向量
Figure FDA00041549895000000311
的最优解。
3.根据权利要求2所述的基于深度学习的空间目标位姿解算方法,其特征在于:
步骤5.3中,迭代终止条件具体为:连续五次迭代中对应的物方共线误差相对变化量小于0.001mm,则迭代过程终止。
4.根据权利要求3所述的基于深度学习的空间目标位姿解算方法,其特征在于:
步骤S5.3中,获得最优的旋转矩阵R,则平移向量
Figure FDA00041549895000000312
的最优解/>
Figure FDA00041549895000000313
计算公式为:
Figure FDA00041549895000000314
5.根据权利要求1-4任一所述的基于深度学习的空间目标位姿解算方法,其特征在于:
步骤S3中,误差测试中,期望误差Err的计算公式为:
Figure FDA0004154989500000041
其中,(xj,yj,zj)为角点Pj世界坐标系下三维坐标的计算值,(xr,yr,zr)为角点Pj世界坐标系下三维坐标的真实值,j=1、2、…、k;
期望误差的阈值为小于1*e-8
6.根据权利要求5所述的基于深度学习的空间目标位姿解算方法,其特征在于:
步骤S1中,所述BP神经网络包括依次设置的输入层、隐含层及输出层;
所述输入层用于接收双目视觉系统采集的当前目标点像素坐标集合;
所述输出层用于输出对应的当前目标点三维坐标集合。
7.根据权利要求6所述的基于深度学习的空间目标位姿解算方法,其特征在于:
步骤S1中,所述BP神经网络的输入层包括4个神经元,隐含层包括8个神经元,输出层包括3个神经元;
所述BP神经网络的激活函数为对数函数;
BP神经网络的学习速率范围为0.01~0.8。
8.根据权利要求7所述的基于深度学习的空间目标位姿解算方法,其特征在于:
步骤S2中,所述预处理包括彩色图像灰度化处理、图像滤波、直方图均衡化、边缘锐化处理和图像去噪处理;
所述图像去噪处理采用中值滤波算法。
9.根据权利要求8所述的基于深度学习的空间目标位姿解算方法,其特征在于:
步骤S1中,双目视觉系统包括两个型号相同的相机,两个相机设置在与预设卫星模型的移动方向平行的平行线上,两个相机的位置固定且位于同一条平行线上。
10.一种计算机程序产品,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1-9任一项所述基于深度学习的空间目标位姿解算方法的步骤。
CN202310331210.8A 2023-03-30 2023-03-30 基于深度学习的空间目标位姿解算方法及计算机程序产品 Pending CN116363205A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310331210.8A CN116363205A (zh) 2023-03-30 2023-03-30 基于深度学习的空间目标位姿解算方法及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310331210.8A CN116363205A (zh) 2023-03-30 2023-03-30 基于深度学习的空间目标位姿解算方法及计算机程序产品

Publications (1)

Publication Number Publication Date
CN116363205A true CN116363205A (zh) 2023-06-30

Family

ID=86921395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310331210.8A Pending CN116363205A (zh) 2023-03-30 2023-03-30 基于深度学习的空间目标位姿解算方法及计算机程序产品

Country Status (1)

Country Link
CN (1) CN116363205A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315018A (zh) * 2023-08-31 2023-12-29 上海理工大学 基于改进PnP的用户面部位姿检测方法、设备、介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344882A (zh) * 2018-09-12 2019-02-15 浙江科技学院 基于卷积神经网络的机器人控制目标位姿识别方法
CN111563878A (zh) * 2020-03-27 2020-08-21 中国科学院西安光学精密机械研究所 一种空间目标定位方法
CN113587904A (zh) * 2021-07-29 2021-11-02 中国科学院西安光学精密机械研究所 一种融合机器视觉和激光参照点信息的目标位姿测量方法
WO2021248636A1 (zh) * 2020-06-12 2021-12-16 东莞市普灵思智能电子有限公司 一种自动驾驶对象探测和定位系统及方法
CN114494644A (zh) * 2022-01-20 2022-05-13 中国科学院微小卫星创新研究院 一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344882A (zh) * 2018-09-12 2019-02-15 浙江科技学院 基于卷积神经网络的机器人控制目标位姿识别方法
CN111563878A (zh) * 2020-03-27 2020-08-21 中国科学院西安光学精密机械研究所 一种空间目标定位方法
WO2021248636A1 (zh) * 2020-06-12 2021-12-16 东莞市普灵思智能电子有限公司 一种自动驾驶对象探测和定位系统及方法
CN113587904A (zh) * 2021-07-29 2021-11-02 中国科学院西安光学精密机械研究所 一种融合机器视觉和激光参照点信息的目标位姿测量方法
CN114494644A (zh) * 2022-01-20 2022-05-13 中国科学院微小卫星创新研究院 一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任沁源,等: "空中机器人", 机械工业出版社, pages: 214 - 216 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315018A (zh) * 2023-08-31 2023-12-29 上海理工大学 基于改进PnP的用户面部位姿检测方法、设备、介质
CN117315018B (zh) * 2023-08-31 2024-04-26 上海理工大学 基于改进PnP的用户面部位姿检测方法、设备、介质

Similar Documents

Publication Publication Date Title
JP6768156B2 (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
US20190122378A1 (en) Apparatuses and methods for machine vision systems including creation of a point cloud model and/or three dimensional model based on multiple images from different perspectives and combination of depth cues from camera motion and defocus with various applications including navigation systems, and pattern matching systems as well as estimating relative blur between images for use in depth from defocus or autofocusing applications
CN105021124B (zh) 一种基于深度图的平面零件三维位置和法向量计算方法
CN111563878B (zh) 一种空间目标定位方法
JP6349418B2 (ja) 高精度単眼移動によるオブジェクト位置特定
Henson et al. Attitude-trajectory estimation for forward-looking multibeam sonar based on acoustic image registration
CN110490917A (zh) 三维重建方法及装置
CN114596382A (zh) 一种基于全景相机的双目视觉slam方法及系统
CN116363205A (zh) 基于深度学习的空间目标位姿解算方法及计算机程序产品
CN114494150A (zh) 一种基于半直接法的单目视觉里程计的设计方法
Almanza-Medina et al. Deep learning architectures for navigation using forward looking sonar images
Sánchez et al. Towards real time 3D tracking and reconstruction on a GPU using Monte Carlo simulations
CN114119652A (zh) 用于三维重构的方法和装置以及电子设备
JP2009186287A (ja) 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
JP6806160B2 (ja) 3次元運動評価装置、3次元運動評価方法、及びプログラム
JPH07146121A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
Huang et al. Methods on Visual Positioning Based on Basketball Shooting Direction Standardisation
CN114821113A (zh) 基于自适应鲁棒核的单目视觉惯性slam方法与系统
JP2000353244A (ja) 基礎行列を求めるための方法、ユークリッド的な3次元情報の復元方法、および3次元情報復元装置。
Almanza-Medina et al. Motion estimation of an underwater platform using images from two sonar sensors
Nickels et al. Weighting observations: The use of kinematic models in object tracking
Yang et al. Absolute scale estimation for underwater monocular visual odometry based on 2-D imaging sonar
Solari et al. An integrated neuromimetic architecture for direct motion interpretation in the log-polar domain
Tumurbaatar et al. Development of real-time object motion estimation from single camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination