CN116958263A - 一种空间观测目标姿态识别过程中单目相机智能增强方法 - Google Patents
一种空间观测目标姿态识别过程中单目相机智能增强方法 Download PDFInfo
- Publication number
- CN116958263A CN116958263A CN202311000219.7A CN202311000219A CN116958263A CN 116958263 A CN116958263 A CN 116958263A CN 202311000219 A CN202311000219 A CN 202311000219A CN 116958263 A CN116958263 A CN 116958263A
- Authority
- CN
- China
- Prior art keywords
- target
- point
- matrix
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000008569 process Effects 0.000 title claims abstract description 37
- 238000005315 distribution function Methods 0.000 claims abstract description 22
- 238000005096 rolling process Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 75
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims 7
- 238000000605 extraction Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种空间观测目标姿态识别过程中单目相机智能增强方法,包括以下步骤:S1)、建立简化的空间自由翻滚目标的运动模型;S2)、建立目标特征点在相机平面内的运动预测模型;S3)、获得像素级的特征点的先验概率密度分布函数;S4)、进行实时图像特征点识别;S5)、对步骤S4)识别出的特征点位置进行修正;S6):利用修正后的特征点对目标姿态进行计算。本发明基于单目相机进行目标特征点提取与姿态识别时,提高相机对图像中特定的特征点的识别成功率,从而提高对目标姿态识别的精度和可靠性。
Description
技术领域
本发明属于及航天领域的在轨服务领域,涉及近距离交会对接任务中的目标姿态识别技术,特别涉及一种空间观测目标姿态识别过程中单目相机智能增强方法。
背景技术
目前空间中运行的航天器数目正在逐年增加,导致空间环境日益拥挤,对失效航天器或空间碎片进行在轨服务的需求也就日益增加,包括航天器的燃料加注、故障航天器的维修、空间碎片的移除等。在轨服务的对象一般为故障、失效的航天器或空间碎片等,这些目标本身没有姿态稳定能力,在空间干扰力矩和本体惯性的作用下一般处于失控翻滚状态。对这类失控目标进行维修、捕获、移除等操作的前提是对其相对位置和姿态进行准确的测量,以确保在服务卫星对其进行接近和接触的过程中不会由于目标的翻滚运动而受到碰撞和损害。
在目标姿态识别过程中,使用单目相机具有成本低、系统简单、硬件可靠性高等优点,且多目视觉系统由于光照原因而无法协同工作时,也可使用单目算法进行精度补偿。在使用单目相机对目标进行观测时,一般通过神经网络或图像金字塔及特征点识别等算法获得空间目标的特征点在二维平面中的投影,然后使用多点透视成像算法即可得到目标的姿态。由于空间的大部分光线来自太阳直射,因此在地球阴影区与太阳直射区的光照变化幅度很大,且缺乏大气散射使得目标暗部的特征更不明显,因此图像的特征识别算法往往会出现较大的误差。
使用目标的姿态动力学规律预估目标特征点的运动模式,可以得到目标特征点的先验分布概率,从而提高对目标特征提取的准确度。目前基于空间目标运动估计的单目视觉增强算法多采用卡尔曼滤波器等信息融合方法,这类方法以目标特征点的识别误差满足高斯分布为前提假设,然而实际中影响可见光或红外相机拍摄到的图像信息的不确定因素非常复杂,实际得到的特征点误差分布与简单的高斯分布模型具有很大的差异,这使得传统的基于目标运动模型的单目相机增强方法的可靠性很低,在实际任务中容易受微小扰动而造成结果的发散。当前的航天在轨服务任务急需更稳定、更精准的单目相机增强算法来保障姿态识别的可靠性和准确性。
发明内容
发明目的:为了克服以上不足,本发明的目的是提供一种空间观测目标姿态识别过程中单目相机智能增强方法,针对航天器在轨服务任务中的目标相对姿态识别的需求,在基于单目相机进行目标特征点提取与姿态识别时,使用基于目标运动模型的单目相机增强算法,提高相机对图像中特定的特征点的识别成功率,从而提高对目标姿态识别的精度和可靠性。
技术方案:为了实现上述目的,本发明提供了一种空间观测目标姿态识别过程中单目相机智能增强方法,包括以下步骤:
S1)、建立简化的空间自由翻滚目标的运动模型;
S2)、建立目标特征点在相机平面内的运动预测模型;
S3):获得像素级的特征点的先验概率密度分布函数g(X);
S4)、同时进行实时图像特征点识别,即,通过相机获取当前的目标图像后,根据实际需求采用至少一种特征点匹配与提取方法可以得到特征点p的在图像中的一系列候选点p(1),p(2),...,p(i),...,以及这些候选点所对应的匹配度或置信度h(1),h(2),...,h(i),...,并采用匹配度最高的候选点作为当前图像中的特征点坐标值;
S5)、对步骤S4)识别出的特征点位置进行修正,即通过步骤S3)中获得的先验概率密度分布函数g(X)对步骤S4)中新图片识别出的图像中特征点中各候选点的匹配度进行修正,直至找到所有的特征点坐标,即pc,1,pc,2,...,pc,n;
S6):利用修正后的特征点对目标姿态进行计算,即获取修正的特征点坐标pc,1,pc,2,...,pc,n的基础上,通过算法计算即可得到目标的姿态及相应的旋转矩阵C。
本发明中所述步骤S1)中建立简化的空间自由翻滚目标的运动模型的具体过程如下:
对于一般的空间翻滚目标,其姿态动力学方程为
其中,ω为空间目标的角速度矢量,为角速度相对于时间的导数,
J为空间目标的惯量张量矩阵,J-1为J的逆矩阵,τ为目标受到的外力矩;
在实际的目标姿态识别任务中,由于观测频率可达到每秒10次或更高,相邻两次观测的时间间隔很小,因此在本方法中忽略两次观测之间陀螺力矩对角速度的影响,即令Jω×ω≈0;
在此假设下,目标角速度仅受干扰力矩的影响,姿态动力学方程简化为
定义相邻两次的相机拍摄之间的时间间隔为Δt,则该时间间隔内目标角速度的变化量为
假设目标受到的随机干扰力矩满足正态分布,随机干扰力矩的方差矩阵为Q(τ),可得到目标的角速度变化量的方差矩阵为
J-1Q(τ)Δt;
定义目标姿态所对应的旋转矩阵为C,同时,在时间间隔Δt内,由目标角速度引起的旋转矩阵的变化量记为ΔC(ω+Δω),则以姿态旋转矩阵描述的空间自由翻滚目标的离散化运动模型可简化为
Ck=Ck-1·ΔC(ω+Δω) (3)
其中,Ck-1和Ck分别表示第k-1时刻和第k时刻的目标姿态旋转矩阵;由以上推导的目标的角速度变化量的方差矩阵,可得ΔC(ω+Δω)的方差矩阵为DCωJ-1Q(τ)Δt2,其中DCω表示旋转矩阵C相对于角速度ω的一阶偏导数矩阵;则经过时间间隔Δt后的目标的旋转矩阵的误差方差矩阵为CDCωJ-1Q(τ)CTΔt2;其中,上标T表示矩阵的转置操作符;
由定义可知,J-1、Q(τ)和Δt2的值为不随时间变化的常数,C和DCω的值在短时间内变化幅度很小,也可认为是常值,因此在整个姿态识别的过程中可以近似认为目标的旋转矩阵的误差服从方差恒定的多元正态分布。
本发明中所述步骤S2)中建立目标特征点在相机平面内的运动预测模型的具体过程如下:
定义空间目标本体上的特征点p在目标本体坐标系下的坐标为pB,而在观测坐标下的坐标为pI,两坐标之间的关系由旋转矩阵来进行表征,即
pI=CpB (4)
对于特定的目标姿态识别任务来说,目标特征点与目标本体坐标系是固连的,即pB的值为常数;
由步骤S1)中的运动模型可知,当忽略短时间内的非线性变化特征时,空间翻滚目标的姿态旋转矩阵的预估值的随机误差满足多元正态分布规律,则特征点在观测坐标系下的坐标pI的先验估计值也满足正态分布;
定义特征点p在相机成像平面上的像素坐标为pc,满足
pc=MpI (5)
其中,M表示由三维空间坐标系转换到相机像素坐标系的投影矩阵,该矩阵是与时间和状态无关的常数矩阵,其值由相机的焦距、像距以及成像单元尺寸固有参数决定;由于以上坐标转换均为线性变换,因此特征点p在相机图片中的像素坐标pc也近似服从高斯分布,其方差记为Σ,通过第一步的分析,有Σ=MCDCωJ-1Q(τ)CTMTΔt2。
本发明中所述步骤S3)中获得像素级的特征点的先验概率密度分布函数g(X)的具体过程如下:
由前一时刻识别出目标特征点p在图像上的像素位置,经过第一步的动力学演化,得到其在当前时刻的先验预测位置,记为
则该时刻图像上所有坐标位置出现特征点p的概率均可由二元高斯分布的概率密度分布函数来进行计算,记为g(x,y);
即特征点p在第当前时刻落在坐标X(x,y)处的概率为
本发明中所述步骤S5)中对步骤S4)识别出的特征点位置进行修正的具体过程如下:
S51)、首先需要对图像候选点周围特定范围内(如3×3像素范围内)的点进行加权计算;
S52)、设候选点p(i)周围特定范围点的数目为m,将该范围内的第j个像素点记为p(i)(j),该像素点对应的特征匹配度为h(i)(j),则候选点p(i)的置信度修正值f(i)的计算公式为
S53)、比较所有候选点的置信度修正值,选取其中的最大值,其对应的候选点即为最优的候选点,即
重复上面步骤,直到找到所有的特征点坐标,即pc,1,pc,2,...,pc,n。
本发明中所述步骤S6)中获取修正的特征点坐标pc,1,pc,2,...,pc,n的基础上,通过算法计算即可得到目标的姿态及相应的旋转矩阵,其中采用的算法为多点透视成像算法。
本发明中所述步骤S5)中对步骤S4)中新图片识别出的图像中特征点中各候选点的匹配度进行修正,修正过程中通过先验概率密度分布函数g(X)对特征点的有效性和可信度进行修正,从而得到更符合目标真实运动趋势的特征点坐标,以此来剔除由于光线干扰或传感器噪声而造成的异常特征点。
本发明中所述步骤S4)中进行实时图像特征点识别时,采用使用图形金字塔或神经网络特征点匹配与提取方法可以得到特征点p在图像中的一系列候选点p(1),p(2),...,p(i),...。
上述技术方案可以看出,本发明具有如下有益效果:
1、本发明所述的一种空间观测目标姿态识别过程中单目相机智能增强方法,在进行多次观测的基础上,利用历史观测序列的信息进行目标运动的先验估计,给出下一帧图像中特定的特征点的先验坐标估计值及相应的概率密度分布函数,然后使用真实的图像进行特征点提取并使用先验概率密度分布函数对特征点的有效性和可信度进行修正,从而得到更符合目标真实运动趋势的特征点坐标,以此来剔除由于光线干扰或传感器噪声而造成的异常特征点,由修正后的特征点结合多点透视成像算法,最终提高对目标姿态识别的精度和可靠性。
2、本发明中所述的空间观测目标姿态识别过程中单目相机智能增强方法,通过使用先验概率密度对各候选点的匹配度进行修正,以避免图像中的一些异常值对识别结果造成的影响,进一步有效提高对目标姿态识别的精度和可靠性。
3、本发明中对新图片识别出的特征点概率进行修改过程中,对图像点周围特定范围内的点进行加权计算,能够有效保障算法的稳定性。
附图说明
图1为本发明所述的空间观测目标姿态识别过程中单目相机智能增强方法的结构示意图;
图2为本发明在SPEED数据库图片中进行实施的实例效果图。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明。
实施例1
如图所示的一种空间观测目标姿态识别过程中单目相机智能增强方法,包括以下步骤:
S1)、建立简化的空间自由翻滚目标的运动模型;
S2)、建立目标特征点在相机平面内的运动预测模型;
S3):获得像素级的特征点的先验概率密度分布函数g(X);
S4)、同时进行实时图像特征点识别,即,通过相机获取当前的目标图像后,根据实际需求采用至少一种特征点匹配与提取方法可以得到特征点p的在图像中的一系列候选点p(1),p(2),...,p(i),...,以及这些候选点所对应的匹配度或置信度h(1),h(2),...,h(i),...,并采用匹配度最高的候选点作为当前图像中的特征点坐标值;
S5)、对步骤S4)识别出的特征点位置进行修正,即通过步骤S3)中获得的先验概率密度分布函数g(X)对步骤S4)中新图片识别出的图像中特征点中各候选点的匹配度进行修正,直至找到所有的特征点坐标,即pc,1,pc,2,...,pc,n;
S6):利用修正后的特征点对目标姿态进行计算,即获取修正的特征点坐标pc,1,pc,2,...,pc,n的基础上,通过算法计算即可得到目标的姿态及相应的旋转矩阵C。
本实施例中所述步骤S1)中建立简化的空间自由翻滚目标的运动模型的具体过程如下:
对于一般的空间翻滚目标,其姿态动力学方程为
其中,ω为空间目标的角速度矢量,为角速度相对于时间的导数,
J为空间目标的惯量张量矩阵,J-1为J的逆矩阵,τ为目标受到的外力矩;
在实际的目标姿态识别任务中,由于观测频率可达到每秒10次或更高,相邻两次观测的时间间隔很小,因此在本方法中忽略两次观测之间陀螺力矩对角速度的影响,即令Jω×ω≈0;
在此假设下,目标角速度仅受干扰力矩的影响,姿态动力学方程简化为
定义相邻两次的相机拍摄之间的时间间隔为Δt,则该时间间隔内目标角速度的变化量为
假设目标受到的随机干扰力矩满足正态分布,随机干扰力矩的方差矩阵为Q(τ),可得到目标的角速度变化量的方差矩阵为J-1Q(τ)Δt;
定义目标姿态所对应的旋转矩阵为C,同时,在时间间隔Δt内,由目标角速度引起的旋转矩阵的变化量记为ΔC(ω+Δω),则以姿态旋转矩阵描述的空间自由翻滚目标的离散化运动模型可简化为
Ck=Ck-1·ΔC(ω+Δω) (11)
其中,Ck-1和Ck分别表示第k-1时刻和第k时刻的目标姿态旋转矩阵;由以上推导的目标的角速度变化量的方差矩阵,可得ΔC(ω+Δω)的方差矩阵为DCωJ-1Q(τ)Δt2,其中DCω表示旋转矩阵C相对于角速度ω的一阶偏导数矩阵;则经过时间间隔Δt后的目标的旋转矩阵的误差方差矩阵为CDCωJ-1Q(τ)CTΔt2,其中,上标T表示矩阵的转置操作符;
由定义可知,J-1、Q(τ)和Δt2的值为不随时间变化的常数,C和DCω的值在短时间内变化幅度很小,也可认为是常值,因此在整个姿态识别的过程中可以近似认为目标的旋转矩阵的误差服从方差恒定的多元正态分布。
本实施例中所述步骤S2)中建立目标特征点在相机平面内的运动预测模型的具体过程如下:
定义空间目标本体上的特征点p在目标本体坐标系下的坐标为pB,而在观测坐标下的坐标为pI,两坐标之间的关系由旋转矩阵来进行表征,即
pI=CpB (12)
对于特定的目标姿态识别任务来说,目标特征点与目标本体坐标系是固连的,即pB的值为常数;
由步骤S1)中的运动模型可知,当忽略短时间内的非线性变化特征时,空间翻滚目标的姿态旋转矩阵的预估值的随机误差满足多元正态分布规律,则特征点在观测坐标系下的坐标pI的先验估计值也满足正态分布;
定义特征点p在相机成像平面上的像素坐标为pc,满足
pc=MpI (13)
其中,M表示由三维空间坐标系转换到相机像素坐标系的投影矩阵,该矩阵是与时间和状态无关的常数矩阵,其值由相机的焦距、像距以及成像单元尺寸固有参数决定;由于以上坐标转换均为线性变换,因此特征点p在相机图片中的像素坐标pc也近似服从高斯分布,其方差记为Σ,通过第一步的分析,有Σ=MCDCωJ-1Q(τ)CTMTΔt2。
本实施例中所述步骤S3)中获得像素级的特征点的先验概率密度分布函数g(X)的具体过程如下:
由前一时刻识别出目标特征点p在图像上的像素位置,经过第一步的动力学演化,得到其在当前时刻的先验预测位置,记为
则该时刻图像上所有坐标位置出现特征点p的概率均可由二元高斯分布的概率密度分布函数来进行计算,记为g(x,y);
即特征点p在第当前时刻落在坐标X(x,y)处的概率为
本实施例中所述步骤S5)中对步骤S4)识别出的特征点位置进行修正的具体过程如下:
S51)、首先需要对图像候选点周围特定范围内(如3×3像素范围内)的点进行加权计算;
S52)、设候选点p(i)周围特定范围点的数目为m,将该范围内的第j个像素点记为p(i)(j),该像素点对应的特征匹配度为h(i)(j),则候选点p(i)的置信度修正值f(i)的计算公式为
S53)、比较所有候选点的置信度修正值,选取其中的最大值,其对应的候选点即为最优的候选点,即
重复上面步骤,直到找到所有的特征点坐标,即pc,1,pc,2,...,pc,n。
本实施例中所述步骤S6)中获取修正的特征点坐标pc,1,pc,2,...,pc,n的基础上,通过算法计算即可得到目标的姿态及相应的旋转矩阵,其中采用的算法为多点透视成像算法。
需要说明的是,所述多点透视成像算法是本领域的公知常识,故在此不再详细赘述。
本实施例中所述步骤S5)中对步骤S4)中新图片识别出的图像中特征点中各候选点的匹配度进行修正,修正过程中通过先验概率密度分布函数g(X)对特征点的有效性和可信度进行修正,从而得到更符合目标真实运动趋势的特征点坐标,以此来剔除由于光线干扰或传感器噪声而造成的异常特征点。
本实施例中所述步骤S4)中进行实时图像特征点识别时,采用使用图形金字塔或神经网络特征点匹配与提取方法可以得到特征点p在图像中的一系列候选点p(1),p(2),...,p(i),...。需要说明的是,也可以采用其他特征点匹配与提取方法来获取候选点,能够满足本案的需要即可。
本实施例中所述的一种空间观测目标姿态识别过程中单目相机智能增强方法,在进行多次观测的基础上,利用历史观测序列的信息进行目标运动的先验估计,给出下一帧图像中特定的特征点的先验坐标估计值及相应的概率密度分布函数,然后使用真实的图像进行特征点提取并使用先验概率密度分布函数对特征点的有效性和可信度进行修正,从而得到更符合目标真实运动趋势的特征点坐标,以此来剔除由于光线干扰或传感器噪声而造成的异常特征点,由修正后的特征点结合多点透视成像算法,最终提高对目标姿态识别的精度和可靠性。
实施例2
本实施例所述的一种空间观测目标姿态识别中单目镶件智能增加方法与实施例1中的方法相同。
下面以“航天器姿态估计数据库(SPEED)”中图片数据处理为例对一种空间观测目标姿态识别中单目镶件智能增加方法进行举例说明。
本实例以开源数据库SPEED中编号为img000195的图片作为第k-1时刻的观测结果,同时以该图像沿z轴旋转10°的后的图像作为第k时刻的观测结果,如图2所示。本实例使用经过训练的移动版特征提取卷积神经网络对目标特征点进行识别,并将航天器太阳能帆板右上角对应的特征点记为pc,如图2(a)所示,在第k-1时刻已经成功识别出了pc的位置。下面分步骤对第k时刻的pc位置进行计算。
第一步:建立简化的空间自由翻滚目标的运动模型。
设目标三个的主转动惯量分别为70kg·m2、50kg·m2以及50kg·m2,其在空间中受到的干扰力矩的方差为0.1(N·m)2,相邻两侧的观测时间间隔为0.5s,并令目标在第k时刻的姿态为零位置,则有
计算可得特征点在三维空间中的误差方差矩阵为
第二步:建立目标特征点在相机平面内的运动预测模型并计算先验概率密度分布函数。
在本例中,第k-1时刻得到的特征点像素坐标为pc=(321,82),如同2(a)所示。设测得的目标姿态旋转角速度为20°/s,因此其在两次测量直接转过的角度近似为10°,由透视矩阵计算可得目标在第k时刻的像素坐标预估值为如图2(b)所示,同时可以计算出该特征点预估值所对应的误差方差矩阵,并由以下公式计算图中各像素点的先验概率密度分布函数
图中由虚线标注出的椭圆形曲线是先验特征点周围的二元高斯分布的误差3-σ曲线。
第三步:使用特征提取神经网络对第k时刻的图片中的各像素点进行评估,并获得特征较为明显的四个局部最大值作为候选点,分别记为p(1)~p(4),如图2(c)所示。这四个候选点所对应的原始匹配度和由第二步计算得到的先验概率分别为:
由此可得修正后的各点的真实匹配度为
可见由本发明获得的匹配度最高的特征点为p(2),如图2(d)所示,需要注意的是,p(2)与先验估计的位置并不完全重合,而这不会影响本方法的最终位置识别精度。另一方面,使用单一的图像特征点提取算法得到的匹配度最高的点为p(1),显然,本发明的方法获得的结果是更准确的。
第四步:通过结合其他选取的特征点并进行匹配识别,即可解算得到目标在第k时刻的姿态。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进,这些改进也应视为本发明的保护范围。
Claims (8)
1.一种空间观测目标姿态识别过程中单目相机智能增强方法,其特征在于:包括以下步骤:
S1)、建立简化的空间自由翻滚目标的运动模型;
S2)、建立目标特征点在相机平面内的运动预测模型;
S3)、获得像素级的特征点的先验概率密度分布函数g(X);
S4)、进行实时图像特征点识别,即,通过相机获取当前的目标图像后,根据实际需求,采用采用至少一种特征点匹配与提取方法可以得到特征点p在图像中的一系列候选点p(1),p(2),...,p(i),...,以及这些候选点所对应的匹配度或置信度h(1),h(2),...,h(i),...,并采用匹配度最高的候选点作为当前图像中的特征点坐标值;S5)、对步骤S4)识别出的特征点位置进行修正,即通过步骤S3)中获得的先验概率密度分布函数g(X)对步骤S4)中新图片识别出的图像中特征点中各候选点的匹配度进行修正,直至找到所有的特征点坐标,即pc,1,pc,2,...,pc,n;
S6):利用修正后的特征点对目标姿态进行计算,即获取修正的特征点坐标pc,1,pc,2,...,pc,n的基础上,通过算法计算即可得到目标的姿态及相应的旋转矩阵C。
2.根据权利要求1所述的空间观测目标姿态识别过程中单目相机智能增强方法,其特征在于:所述步骤S1)中建立简化的空间自由翻滚目标的运动模型的具体过程如下:
对于一般的空间翻滚目标,其姿态动力学方程为
其中,ω为空间目标的角速度矢量,为角速度相对于时间的导数,
J为空间目标的惯量张量矩阵,J-1为J的逆矩阵,τ为目标受到的外力矩;
在实际的目标姿态识别任务中,由于观测频率可达到每秒10次或更高,相邻两次观测的时间间隔很小,因此在本方法中忽略两次观测之间陀螺力矩对角速度的影响,即令Jω×ω≈0;
在此假设下,目标角速度仅受干扰力矩的影响,姿态动力学方程简化为
定义相邻两次的相机拍摄之间的时间间隔为Δt,则该时间间隔内目标角速度的变化量为
假设目标受到的随机干扰力矩满足正态分布,随机干扰力矩的方差矩阵为Q(τ),可得到目标的角速度变化量的方差矩阵为J-1Q(τ)Δt;
定义目标姿态所对应的旋转矩阵为C,同时,在时间间隔Δt内,由目标角速度引起的旋转矩阵的变化量记为ΔC(ω+Δω),则以姿态旋转矩阵描述的空间自由翻滚目标的离散化运动模型可简化为
Ck=Ck-1·ΔC(ω+Δω) (3)
其中,Ck-1和Ck分别表示第k-1时刻和第k时刻的目标姿态旋转矩阵;
由以上推导的目标的角速度变化量的方差矩阵,可得ΔC(ω+Δω)的方差矩阵为DCωJ-1Q(τ)Δt2,其中DCω表示旋转矩阵C相对于角速度ω的一阶偏导数矩阵;
则经过时间间隔Δt后的目标的旋转矩阵的误差方差矩阵为CDCωJ-1Q(τ)CTΔt2;
其中,上标T表示矩阵的转置操作符,由定义可知,J-1、Q(τ)和Δt2的值为不随时间变化的常数,C和DCω的值在短时间内变化幅度很小,也可认为是常值,
因此在整个姿态识别的过程中可以近似认为目标的旋转矩阵的误差服从方差恒定的多元正态分布。
3.根据权利要求1所述的空间观测目标姿态识别过程中单目相机智能增强方法,其特征在于:所述步骤S2)中建立目标特征点在相机平面内的运动预测模型的具体过程如下:
定义空间目标本体上的特征点p在目标本体坐标系下的坐标为pB,而在观测坐标下的坐标为pI,两坐标之间的关系由旋转矩阵来进行表征,即
pI=CpB (4)
对于特定的目标姿态识别任务来说,目标特征点与目标本体坐标系是固连的,即pB的值为常数;
由步骤S1)中的运动模型可知,当忽略短时间内的非线性变化特征时,空间翻滚目标的姿态旋转矩阵的预估值的随机误差满足多元正态分布规律,则特征点在观测坐标系下的坐标pI的先验估计值也满足正态分布;
定义特征点p在相机成像平面上的像素坐标为pc,满足
pc=MpI (5)
其中,M表示由三维空间坐标系转换到相机像素坐标系的投影矩阵,该矩阵是与时间和状态无关的常数矩阵,其值由相机的焦距、像距以及成像单元尺寸固有参数决定;由于以上坐标转换均为线性变换,因此特征点p在相机图片中的像素坐标pc也近似服从高斯分布,其方差记为Σ,通过第一步的分析,有Σ=MCDCωJ-1Q(τ)CTMTΔt2。
4.根据权利要求3所述的空间观测目标姿态识别过程中单目相机智能增强方法,其特征在于:所述步骤S3)中获得像素级的特征点的先验概率密度分布函数g(X)的具体过程如下:
由前一时刻识别出目标特征点p在图像上的像素位置,经过第一步的动力学演化,得到其在当前时刻的先验预测位置,记为
则该时刻图像上所有坐标位置出现特征点p的概率均可由二元高斯分布的概率密度分布函数来进行计算,记为g(x,y);
即特征点p在第当前时刻落在坐标X(x,y)处的概率为
5.根据权利要求1所述的空间观测目标姿态识别过程中单目相机智能增强方法,其特征在于:所述步骤S5)中对步骤S4)识别出的特征点位置进行修正的具体过程如下:
S51)、首先需要对图像候选点周围特定范围内的点进行加权计算;
S52)、设候选点p(i)周围特定范围点的数目为m,将该范围内的第j个像素点记为p(i)(j),该像素点对应的特征匹配度为h(i)(j),则候选点p(i)的置信度修正值f(i)的计算公式为
S53)、比较所有候选点的置信度修正值,选取其中的最大值,其对应的候选点即为最优的候选点,即
重复上面步骤,直到找到所有的特征点坐标,即pc,1,pc,2,...,pc,n。
6.根据权利要求1所述的空间观测目标姿态识别过程中单目相机智能增强方法,其特征在于:所述步骤S6)中获取修正的特征点坐标pc,1,pc,2,...,pc,n的基础上,通过算法计算即可得到目标的姿态及相应的旋转矩阵,其中采用的算法为多点透视成像算法。
7.根据权利要求1所述的空间观测目标姿态识别过程中单目相机智能增强方法,其特征在于:所述步骤S5)中对步骤S4)中新图片识别出的图像中特征点中各候选点的匹配度进行修正,修正过程中通过先验概率密度分布函数g(X)对特征点的有效性和可信度进行修正,从而得到更符合目标真实运动趋势的特征点坐标,以此来剔除由于光线干扰或传感器噪声而造成的异常特征点。
8.根据权利要求1所述的空间观测目标姿态识别过程中单目相机智能增强方法,其特征在于:所述步骤S4)中进行实时图像特征点识别时,采用使用图形金字塔或神经网络特征点匹配与提取方法可以得到特征点p在图像中的一系列候选点p(1),p(2),...,p(i),...。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311000219.7A CN116958263B (zh) | 2023-08-09 | 2023-08-09 | 一种空间观测目标姿态识别过程中单目相机智能增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311000219.7A CN116958263B (zh) | 2023-08-09 | 2023-08-09 | 一种空间观测目标姿态识别过程中单目相机智能增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116958263A true CN116958263A (zh) | 2023-10-27 |
CN116958263B CN116958263B (zh) | 2024-04-12 |
Family
ID=88458241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311000219.7A Active CN116958263B (zh) | 2023-08-09 | 2023-08-09 | 一种空间观测目标姿态识别过程中单目相机智能增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116958263B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679537A (zh) * | 2017-05-09 | 2018-02-09 | 北京航空航天大学 | 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法 |
CN110186465A (zh) * | 2019-07-03 | 2019-08-30 | 西北工业大学 | 一种基于单目视觉的空间非合作目标相对状态估计方法 |
US20190371003A1 (en) * | 2018-05-30 | 2019-12-05 | Baidu Online Network Technology (Beijing) Co., Ltd . | Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium |
CN111377065A (zh) * | 2020-03-09 | 2020-07-07 | 西北工业大学 | 一种多航天器协同识别目标姿态参数的方法 |
CN111551152A (zh) * | 2020-06-04 | 2020-08-18 | 江苏集萃智能光电系统研究所有限公司 | 基于单目视觉的临近空间飞行器相对位姿测量方法及装置 |
CN113256711A (zh) * | 2021-05-27 | 2021-08-13 | 南京航空航天大学 | 一种单目相机的位姿估计方法及系统 |
-
2023
- 2023-08-09 CN CN202311000219.7A patent/CN116958263B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679537A (zh) * | 2017-05-09 | 2018-02-09 | 北京航空航天大学 | 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法 |
US20190371003A1 (en) * | 2018-05-30 | 2019-12-05 | Baidu Online Network Technology (Beijing) Co., Ltd . | Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium |
CN110186465A (zh) * | 2019-07-03 | 2019-08-30 | 西北工业大学 | 一种基于单目视觉的空间非合作目标相对状态估计方法 |
CN111377065A (zh) * | 2020-03-09 | 2020-07-07 | 西北工业大学 | 一种多航天器协同识别目标姿态参数的方法 |
CN111551152A (zh) * | 2020-06-04 | 2020-08-18 | 江苏集萃智能光电系统研究所有限公司 | 基于单目视觉的临近空间飞行器相对位姿测量方法及装置 |
CN113256711A (zh) * | 2021-05-27 | 2021-08-13 | 南京航空航天大学 | 一种单目相机的位姿估计方法及系统 |
Non-Patent Citations (2)
Title |
---|
JIN ZM 等: "Monocular-Based Pose Estimation of Non-Cooperative Space Targets Using EKF and EKPF", 2020 13TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING, BIOMEDICAL ENGINEERING AND INFORMATICS (CISP-BMEI 2020) * |
熊智;姚小松;郁丰;: "失效卫星空间近距离接近的位姿联合确定", 南京航空航天大学学报, no. 05 * |
Also Published As
Publication number | Publication date |
---|---|
CN116958263B (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111156984B (zh) | 一种面向动态场景的单目视觉惯性slam方法 | |
CN109345588B (zh) | 一种基于Tag的六自由度姿态估计方法 | |
Kolomenkin et al. | Geometric voting algorithm for star trackers | |
CN111563878B (zh) | 一种空间目标定位方法 | |
US11138742B2 (en) | Event-based feature tracking | |
CN103149939A (zh) | 一种基于视觉的无人机动态目标跟踪与定位方法 | |
CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
CN106846367B (zh) | 一种基于运动约束光流法的复杂动态场景的运动物体检测方法 | |
US20220230348A1 (en) | Method and apparatus for determining a three-dimensional position and pose of a fiducial marker | |
Chen et al. | Global path planning in mobile robot using omnidirectional camera | |
CN112541423A (zh) | 一种同步定位与地图构建方法和系统 | |
CN114234967A (zh) | 一种基于多传感器融合的六足机器人定位方法 | |
CN114596382A (zh) | 一种基于全景相机的双目视觉slam方法及系统 | |
CN114549549B (zh) | 一种动态环境下基于实例分割的动态目标建模跟踪方法 | |
CN116681733B (zh) | 一种空间非合作目标近距离实时位姿跟踪方法 | |
CN113420590A (zh) | 弱纹理环境下的机器人定位方法、装置、设备及介质 | |
CN116958263B (zh) | 一种空间观测目标姿态识别过程中单目相机智能增强方法 | |
Yan et al. | Horizontal velocity estimation via downward looking descent images for lunar landing | |
CN110232711B (zh) | 面向海产品抓取的双目视觉实时感知定位方法、系统、装置 | |
Yuan et al. | A method of vision-based state estimation of an unmanned helicopter | |
Oumer | Visual tracking and motion estimation for an on-orbit servicing of a satellite | |
Liu et al. | An RGB‐D‐Based Cross‐Field of View Pose Estimation System for a Free Flight Target in a Wind Tunnel | |
Comellini et al. | Vision-based navigation for autonomous space rendezvous with non-cooperative targets | |
Aggarwal et al. | Image-based visual servoing for tracking and landing on a moving target using a multirotor | |
Friedel | Event-based visual-inertial odometry using smart features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |