CN111833281B - 面向可重复使用火箭回收的多视觉敏感器数据融合方法 - Google Patents
面向可重复使用火箭回收的多视觉敏感器数据融合方法 Download PDFInfo
- Publication number
- CN111833281B CN111833281B CN202010513744.9A CN202010513744A CN111833281B CN 111833281 B CN111833281 B CN 111833281B CN 202010513744 A CN202010513744 A CN 202010513744A CN 111833281 B CN111833281 B CN 111833281B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- vision sensor
- points
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 20
- 238000004064 recycling Methods 0.000 title claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 235000015842 Hesperis Nutrition 0.000 claims abstract description 6
- 235000012633 Iberis amara Nutrition 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims description 68
- 230000003287 optical effect Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000000652 homosexual effect Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 2
- 238000011084 recovery Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种面向可重复使用火箭回收的多视觉敏感器数据融合方法。(1)对安装在箭体上的四个视觉敏感器进行预先标定,确定它们之间的固定关系;(2)图像实时处理,选定一个视觉敏感器图像,将其余三个视觉敏感器图像上的边缘点统一到选定的视觉敏感器图像上,完成图像数据融合,得到扩展的视觉敏感器图像。本发明通过预先标定给出了敏感器之间的基础矩阵,进而可以给出匹配点在图像上的范围(邻域空间),因而在搜索匹配点时,无需对整个图像进行搜索,极大地提高了计算速度。本发明解决了可重复使用火箭回收过程中目标图像信息不完整的问题,将图像融合方法运用在火箭回收过程中,计算速度较快,非常适用于在资源有限的硬件中实现。
Description
技术领域
本发明涉及一种面向可重复使用火箭回收的多视觉敏感器数据快速融合方法。
背景技术
目前所有的航天器都是搭载在运载火箭上发射升空,绝大部分运载火箭是一次性的航天器,发射的成本较高,如果运载火箭能够实现可重复使用,势必会极大地降低火箭的发射成本。视觉导航技术在可重复使用火箭回收的最终着陆段有着较好的导航精度,相比于常用的GPS、惯性导航和高度计等精密设备,视觉导航系统成本较低。
在可重复使用火箭回收过程中采用视觉导航技术需要实时地获得地面目标的图像信息,然而受到火箭形状及安装位置的限制,单个视觉敏感器无法获取目标的完整图像信息。另外,火箭飞行速度较快,且受限于功耗、体积、重量等因素,箭上硬件系统的资源、性能有限,因此要求算法快速、实时并且能够在箭上硬件系统中实现。
《一种带摄像头火箭回收装置》设计了一种包括了包括漏斗装置、摄像机、4个支撑架和多个连接杆的回收平台,火箭通过高精度的GPS等装置飞回到火箭回收平台的上空,然后对准漏斗装置的中间位置降落。该专利设计的平台较为复杂,特别是实际火箭体积较大,建造平台的费用较高,可靠性较差,并且摄像头安装在平台上,仅作监视用途。
《一种可调节姿态的火箭回收支架》提出了一种包括主动支架、被动支架、调姿发动机、球形气垫及用于驱动主动支架的驱动电机的回收支架,具有安全稳定、装置简单灵活,轻质等特点。
现有的火箭回收研究集中于着陆装置或者是整个系统的分析,对多视觉敏感器测量装置及数据快速融合方法的研究尚没有文献提及。
发明内容
本发明的技术解决问题是:克服现有技术的不足,提供了一种面向可重复使用火箭回收的多视觉敏感器数据快速融合方法,解决了可重复使用火箭回收过程中完整地获取目标图像信息的问题。
本发明的技术解决方案是:
一种面向可重复使用火箭回收的多视觉敏感器数据融合方法,步骤如下:
(1)对安装在箭体上的四个视觉敏感器进行预先标定,确定它们之间的固定关系;
(2)图像实时处理,选定一个视觉敏感器图像,将其余三个视觉敏感器图像上的边缘点统一到选定的视觉敏感器图像上,完成图像数据融合,得到扩展的视觉敏感器图像。
可重复使用火箭回收过程中,四个视觉敏感器同时工作,四个视觉敏感器均匀安装于火箭箭体的四周,两两之间在箭体周向间隔90度,每个视觉敏感器光轴平行并与箭体飞行的反方向一致。
进一步的,所述步骤(1)对安装在箭体上的四个视觉敏感器进行预先标定,确定它们之间的固定关系,具体为:
(1.1)通过第一视觉敏感器和第二视觉敏感器拍摄标定靶上的光学标识点,获取第一视觉敏感器图像上光学标识点的齐次坐标xi=(ui,vi,1)T,i=1,...,n,及第二视觉敏感器图像上对应光学标识点的齐次坐标xi'=(ui',vi',1)T,i=1,...,n;其中,n为标定靶上的光学标识点的数量;
(1.2)数据归一化;
针对第一视觉敏感器得到的图像上n个光学标识点的齐次坐标xi=(ui,vi,1)T,以相似变换T归一化各视觉敏感器图像点,得到图像点在新的坐标系下的坐标使得在新的坐标系下,图像点集的形心和敏感器坐标系原点重合,并且它们到敏感器坐标系原点的均方根距离等于/>
其中,同性缩放因子的表达式为:
式中,Δui为图像点到平移后坐标系原点的水平距离,其表达式为
Δvi为图像点到平移后坐标系原点的垂直距离,其表达式为
同理,以相似变换T′得到第二视觉敏感器图像点归一化坐标
(1.3)线性初始估计;
设归一化后由第二视觉敏感器到第一视觉敏感器的基础矩阵为将归一化后的图像点坐标带入齐次线性方程组中,形成n个线性方程,利用直接线性变换算法DLT,以方程的代数误差最小为约束,求解超定方程组,解出基础矩阵/>中的元素;
齐次线性方程组为:
其中,矢量f表示由基础矩阵的元素组成并按行优先顺序排列的9维矢量;上式齐次线性方程组的最小二乘解是矩阵A的最小奇异值对应的单位奇异矢量;
(1.4)强迫约束优化;
将得到的基础矩阵进行奇异值分解,
其中,D=diag(r,s,t)为由奇异值组成的对角矩阵,且有r≥s≥t,U和V是奇异值对应的向量矩阵;
采用对角矩阵diag(r,s,0)取代奇异值矩阵D,使得基础矩阵满足不满秩约束,得到强迫约束优化后的基础矩阵/>
(1.5)解除归一化;
将得到的基础矩阵按照下式解除归一化,得到对应于原始数据的基本矩阵F21:
(1.6)取其他视觉敏感器图像上的图像点坐标,重复步骤1.1-1.5,同理可得由第三视觉敏感器、第四视觉传感器到第一视觉敏感器的基础矩阵F31及F41。
进一步的,所述步骤(2)图像实时处理,具体为:
(2.1)通过视觉敏感器采集目标的图像信息;
(2.2)分别检测图像中的边缘点;
采用canny算法检测图像上的边缘点:
(a)对图像进行3×3阶sobel算法滤波求解图像每个点的梯度;
(b)对梯度幅值结果进行非极大抑制,每一个点的梯度方向进行梯度幅值比较,如果在梯度方向上此点的梯度大于它相邻的两个点梯度的幅值,该点置为1;否则将其判定为非边缘点,置0;
(c)梯度幅值二值化,提高边缘和其他位置的对比度,突出边缘,具体为设定一个梯度幅值阈值,若某个像素点的梯度幅值大于阈值,则此像素点梯度幅值置1,判断为边缘点,否则置0;
(2.3)生成邻域空间;
利用预先标定得到的视觉敏感器之间的基础矩阵,将敏感器图像上的边缘点投影到第一视觉敏感器图像中,形成邻域空间,具体为:设第二视觉敏感器图像上边缘点坐标为x',依据对极几何,该点在第一视觉敏感器图像上对应的边缘点在其对极线l上:
l=F21x′ (7)
将图像对极线l在第二视觉敏感器图像的正负x方向分别扩展一个像素形成邻域空间,第二视觉敏感器图像点对应第一视觉敏感器图像直线,由该直线生成邻域空间;
(2.4)边缘点匹配:采用ORB算法中的rBRIEF生成特征点的描述子,以汉明距离作为匹配准则,在邻域空间中寻找边缘点x'的精确匹配边缘点;
具体实施步骤如下:
(A1)在边缘点x'的31×31阶邻域进行高斯平滑;
(A2)以边缘点x'为中心的σ=1高斯分布中随机取第一个像素点x1,设该像素点的灰度值为I1;σ为高斯分布参数;
(A3)以x1为中心的σ=0.5高斯分布中随机取第二个像素点,设该像素点的灰度值为I2;
(A4)若I1>I2,则可得描述符相应位的值为1,否则该值为0,记录两个像素点的位置;
(A5)重复步骤(A2)~(A4),生成边缘点x'的256维二进制描述符;
(A6)同理,计算邻域空间中所有边缘点的256维二进制描述符,分别计算它们和x'的描述符的汉明距离,寻找汉明距离最短的边缘点作为边缘点x'的精确匹配点;
(A7)重复上述步骤,搜索两个敏感器图像上的所有匹配边缘点对;
(2.5)单应计算:第一视觉敏感器图像和第二视觉敏感器图像满足单应映射关系,该映射关系可由目标平面诱导;
具体为:设匹配边缘点对为其中m为匹配点对的数量,则这些匹配可由2D单应矩阵H关联:
xi′=(xi′,yi′,ωi′)=Hxi (8)
将上式展开有:
式中,hi是单应矩阵H的第i行,利用SVD分解可解得2D单应矩阵H;
(2.6)统一图像数据;
利用上述2D单应矩阵H关联关系,将第二视觉敏感器图像上的边缘点统一到第一视觉敏感器图像上,对第一视觉敏感器图像进行扩展处理,即计算第二视觉敏感器图像上边缘点在第一视觉敏感器上对应点的坐标,若第一视觉敏感器上不存在该边缘点的对应点,将该边缘点的对应点添加到第一视觉敏感器图像上;若第一视觉敏感器上存在该边缘点的对应点,不进行操作;
(2.7)同理可将第三视觉敏感器和第四视觉敏感器图像上的边缘点统一到第一视觉敏感器图像上,完成图像数据融合,得到扩展的第一视觉敏感器图像。
本发明与现有技术相比的有益效果是:
(1)本发明解决了可重复使用火箭回收过程中目标图像信息不完整的问题。将图像融合技术运用在火箭回收过程中,属于尚未应用的领域。
(2)本发明方法计算速度较快,非常适用于在资源有限的硬件中实现。本发明通过预先标定给出了敏感器之间的基础矩阵,进而可以给出匹配点在图像上的范围(邻域空间),因而在搜索匹配点时,无需对整个图像进行搜索,极大地提高了计算速度。
附图说明
图1为本发明多视觉敏感器数据融合方法示意图;
图2为生成邻域空间示意图;
图3为数据融合示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行进一步的详细描述。
本发明是一种面向可重复使用火箭回收的多视觉敏感器数据快速融合方法。为了在回收过程中实时地获取完整的目标图像信息,本发明中采用了四个视觉敏感器同时工作,四个视觉敏感器均匀地(周向每隔90度)安装于火箭箭体的四周,每个视觉敏感器光轴平行并与箭体-x方向(即箭体轴向的负方向,也就是火箭飞行的反方向)一致。以视觉敏感器1为主,将其他视觉敏感器得到的图像数据融入视觉敏感器1图像中,扩展视觉敏感器1图像、得到较为完整的目标图像。
如图1所示,本发明的算法框图主要分为预先标定和实时处理两大部分。
第一部分:对安装在箭体上的四个视觉敏感器进行预先标定,确定它们之间的固定关系;
第二部分:图像实时处理,选定一个视觉敏感器图像,将其余三个视觉敏感器图像上的边缘点统一到选定的视觉敏感器图像上,完成图像数据融合,得到扩展的视觉敏感器图像。
具体的,
第一部分对安装在箭体上的四个视觉敏感器进行预先标定,确定它们之间的固定关系(基本矩阵F),预先标定的步骤如下:
步骤1:通过视觉敏感器1和2拍摄标定靶上的光学标识器,获取视觉敏感器1图像上光学标识器的点坐标xi=(ui,vi,1)T,i=1,...,n,及视觉敏感器2图像上对应光学标识器的点坐标xi'=(ui',vi',1)T,i=1,...,n,n为标定靶上的光学标识点的数量。
步骤2:数据归一化。
数据归一化是通过平移和缩放(这里选择各向同性缩放)将数据变换到一个固定的、标准坐标系下,然后再进行其他计算。具体实施是:根据视觉敏感器1得到的图像上n个图像点的齐次坐标为xi=(ui,vi,1)T,以相似变换T(公式(1))归一化各视觉敏感器图像点,得到图像点在新的坐标系下的坐标使得在新的坐标系下,图像点集的形心和敏感器坐标系原点重合,并且它们到原点的均方根距离等于/>
其中,同性缩放因子的表达式为:
式中Δui——图像点到平移后坐标系原点的水平距离,其表达式为
Δvi——图像点到平移后坐标系原点的垂直距离,其表达式为
同理,以相似变换T′得到敏感器2图像点归一化坐标
步骤3:线性初始估计。
设归一化后由视觉敏感器2到视觉敏感器1的基础矩阵为将归一化后的图像点坐标带入公式(3)中,形成n个线性方程,利用直接线性变换算法(DLT),以方程的代数误差最小为约束,求解超定方程组,解出基础矩阵中的元素。
其中,矢量f表示由基础矩阵的元素组成并按行优先顺序排列的9维矢量。
上式是典型齐次线性方程组,其最小二乘解是矩阵A的最小奇异值对应的单位奇异矢量。
步骤4:强迫约束优化。
将得到的基础矩阵进行SVD(奇异值)分解(公式(4)),采用对角矩阵diag(r,s,0)取代奇异值矩阵D,使得基础矩阵/>满足不满秩约束,得到强迫约束优化后的基础矩阵(公式(5))。
其中,D=diag(r,s,t)为由奇异值组成的对角矩阵,且有r≥s≥t,U和V是奇异值对应的向量矩阵。
步骤5:解除归一化。
将得到的基础矩阵按照下式解除归一化,得到对应于原始数据的基本矩阵。
步骤6:取其他视觉敏感器图像上的图像点坐标,重复步骤1-5,同理可得由其他视觉敏感器到视觉敏感器1的基础矩阵F31及F41。
第二部分是实时处理部分,具体分为以下几个步骤:
步骤1:通过视觉敏感器采集目标的图像信息。
步骤2:分别检测图像中的边缘点。采用canny算法检测图像上的边缘点:
(1)对图像进行3×3阶sobel算法滤波求解图像每个点的梯度。
(2)对梯度幅值结果进行非极大抑制。每一个点的梯度方向进行梯度幅值比较,如果在梯度方向上此点的梯度大于它相邻的两个点梯度的幅值,该点置为1;否则将其判定为非边缘点,置0。
(3)梯度幅值二值化。该步骤的目的是提高边缘和其他位置的对比度,突出边缘。设定一个梯度幅值阈值,若某个像素点的梯度幅值大于阈值,则此像素点梯度幅值置1,判断为边缘点,否则置0。
步骤3:生成邻域空间。该步骤利用预先标定得到的视觉敏感器之间的基础矩阵,将敏感器图像上的边缘点投影到敏感器1图像中,形成邻域空间。设视觉敏感器2图像上边缘点坐标为x',依据对极几何,该点在视觉敏感器1图像上对应的边缘点必然在其对极线l上:
l=F21x′ (7)
考虑到误差,将图像对极线l在视觉敏感器图像2的正负x方向扩展一个像素形成邻域空间,如图2所示,视觉敏感器2图像点对应视觉敏感器1图像直线,由该直线生成邻域空间(虚线内)。
步骤5:边缘点匹配。
采用ORB算法中的rBRIEF生成特征点的描述子、以汉明距离作为匹配准则,在邻域空间中寻找边缘点x'的精确匹配边缘点。具体实施步骤如下:
(1)在边缘点x'的31×31阶邻域进行高斯平滑;
(2)以边缘点x'为中心的高斯分布(σ=1)中随机取第一个像素点x1,设该像素点的灰度值为I1;
(3)以x1为中心的高斯分布(σ=0.5)中随机取第二个像素点,设该像素点的灰度值为I2;
(4)若I1>I2,则可得描述符相应位的值为1,否则该值为0,记录两个像素点的位置;
(5)重复步骤(2)~(4),生成边缘点x'的256维二进制描述符;
(6)同理,计算邻域空间中所有边缘点的256维二进制描述符,分别计算它们和x'的描述符的汉明距离,寻找汉明距离最短的边缘点作为边缘点x'的精确匹配点;
(7)重复上述步骤,搜索两个敏感器图像上的所有匹配边缘点对。
步骤6:单应计算。
视觉敏感器1图像和视觉敏感器2图像满足单应映射关系,该映射关系可由目标平面诱导。设匹配边缘点对为其中m为匹配点对的数量,则这些匹配可由2D单应矩阵H关联:
xi′=(xi′,yi′,ωi′)=Hxi (8)
将上式展开有:
式中,hi是单应矩阵H的第i行。利用SVD分解可以解得2D单应矩阵H。
步骤7:统一图像数据。
利用公式(8)将敏感器2图像上的边缘点统一到敏感器1图像上,对视觉敏感器1图像进行扩展处理,即计算视觉敏感器2图像上边缘点在视觉敏感器1上对应点的坐标,若视觉敏感器1上不存在该边缘点的对应点,将该边缘点的对应点添加到视觉敏感器图像上;若视觉敏感器1上存在该边缘点的对应点,不进行操作。
步骤8:同理可将敏感器3和敏感器4图像上的边缘点统一到敏感器1图像上,完成图像数据融合,得到扩展的视觉敏感器1图像,如图3所示。
本发明通过预先标定给出了敏感器之间的基础矩阵,进而可以给出匹配点在图像上的范围(邻域空间),因而在搜索匹配点时,无需对整个图像进行搜索,极大地提高了计算速度。本发明解决了可重复使用火箭回收过程中目标图像信息不完整的问题,将图像融合方法运用在火箭回收过程中,计算速度较快,非常适用于在资源有限的硬件中实现。
本发明说明书中未作详细描述的内容属于本领域技术人员的公知技术。
Claims (9)
1.一种面向可重复使用火箭回收的多视觉敏感器数据融合方法,其特征在于步骤如下:
(1)对安装在箭体上的四个视觉敏感器进行预先标定,确定它们之间的固定关系;具体为:
(1.1)通过第一视觉敏感器和第二视觉敏感器拍摄标定靶上的光学标识点,获取第一视觉敏感器图像上光学标识点的齐次坐标xi=(ui,vi,1)T,i=1,...,n,及第二视觉敏感器图像上对应光学标识点的齐次坐标xi'=(ui',vi',1)T,i=1,...,n;其中,n为标定靶上的光学标识点的数量;
(1.2)数据归一化;
针对第一视觉敏感器得到的图像上n个光学标识点的齐次坐标xi=(ui,vi,1)T,以相似变换T归一化各视觉敏感器图像点,得到图像点在新的坐标系下的坐标使得在新的坐标系下,图像点集的形心和敏感器坐标系原点重合,并且它们到敏感器坐标系原点的均方根距离等于/>
同理,以相似变换T′得到第二视觉敏感器图像点归一化坐标
(1.3)线性初始估计;
设归一化后由第二视觉敏感器到第一视觉敏感器的基础矩阵为将归一化后的图像点坐标带入齐次线性方程组中,形成n个线性方程,利用直接线性变换算法DLT,以方程的代数误差最小为约束,求解超定方程组,解出基础矩阵/>中的元素;
(1.4)强迫约束优化;
(1.5)解除归一化;
(1.6)取其他视觉敏感器图像上的图像点坐标,重复步骤1.1-1.5,同理可得由第三视觉敏感器、第四视觉传感器到第一视觉敏感器的基础矩阵F31及F41;
(2)图像实时处理,选定一个视觉敏感器图像,将其余三个视觉敏感器图像上的边缘点统一到选定的视觉敏感器图像上,完成图像数据融合,得到扩展的视觉敏感器图像;
图像实时处理具体为:
(2.1)通过视觉敏感器采集目标的图像信息;
(2.2)分别检测图像中的边缘点;
(2.3)生成邻域空间;
(2.4)边缘点匹配;
(2.5)单应计算:第一视觉敏感器图像和第二视觉敏感器图像满足单应映射关系,该映射关系可由目标平面诱导;
具体为:设匹配边缘点对为其中m为匹配点对的数量,则这些匹配可由2D单应矩阵H关联:
xi′=(xi′,yi′,ωi′)=Hxi (8)
将上式展开有:
式中,hi是单应矩阵H的第i行,利用SVD分解可解得2D单应矩阵H;
(2.6)统一图像数据;
利用上述2D单应矩阵H关联关系,将第二视觉敏感器图像上的边缘点统一到第一视觉敏感器图像上,对第一视觉敏感器图像进行扩展处理,即计算第二视觉敏感器图像上边缘点在第一视觉敏感器上对应点的坐标,若第一视觉敏感器上不存在该边缘点的对应点,将该边缘点的对应点添加到第一视觉敏感器图像上;若第一视觉敏感器上存在该边缘点的对应点,不进行操作;
(2.7)同理可将第三视觉敏感器和第四视觉敏感器图像上的边缘点统一到第一视觉敏感器图像上,完成图像数据融合,得到扩展的第一视觉敏感器图像。
2.根据权利要求1所述的一种面向可重复使用火箭回收的多视觉敏感器数据融合方法,其特征在于:可重复使用火箭回收过程中,四个视觉敏感器同时工作,四个视觉敏感器均匀安装于火箭箭体的四周,两两之间在箭体周向间隔90度,每个视觉敏感器光轴平行并与箭体飞行的反方向一致。
3.根据权利要求2所述的一种面向可重复使用火箭回收的多视觉敏感器数据融合方法,其特征在于:相似变换T具体为:
其中,同性缩放因子的表达式为:
式中,Δui为图像点到平移后坐标系原点的水平距离,其表达式为Δvi为图像点到平移后坐标系原点的垂直距离,其表达式为/>
4.根据权利要求2所述的一种面向可重复使用火箭回收的多视觉敏感器数据融合方法,其特征在于:齐次线性方程组为:
其中,矢量f表示由基础矩阵的元素组成并按行优先顺序排列的9维矢量;上式齐次线性方程组的最小二乘解是矩阵A的最小奇异值对应的单位奇异矢量。
5.根据权利要求2所述的一种面向可重复使用火箭回收的多视觉敏感器数据融合方法,其特征在于:所述步骤(1.4)强迫约束优化,具体为:
将得到的基础矩阵进行奇异值分解,
其中,D=diag(r,s,t)为由奇异值组成的对角矩阵,且有r≥s≥t,U和V是奇异值对应的向量矩阵;
采用对角矩阵diag(r,s,0)取代奇异值矩阵D,使得基础矩阵满足不满秩约束,得到强迫约束优化后的基础矩阵/>
6.根据权利要求5所述的一种面向可重复使用火箭回收的多视觉敏感器数据融合方法,其特征在于:所述步骤(1.5)解除归一化,具体为:
将得到的基础矩阵按照下式解除归一化,得到对应于原始数据的基本矩阵F21:
7.根据权利要求1所述的一种面向可重复使用火箭回收的多视觉敏感器数据融合方法,其特征在于:所述步骤(2.2)分别检测图像中的边缘点,采用canny算法检测图像上的边缘点:
(a)对图像进行3×3阶sobel算法滤波求解图像每个点的梯度;
(b)对梯度幅值结果进行非极大抑制,每一个点的梯度方向进行梯度幅值比较,如果在梯度方向上此点的梯度大于它相邻的两个点梯度的幅值,该点置为1;否则将其判定为非边缘点,置0;
(c)梯度幅值二值化,提高边缘和其他位置的对比度,突出边缘,具体为设定一个梯度幅值阈值,若某个像素点的梯度幅值大于阈值,则此像素点梯度幅值置1,判断为边缘点,否则置0。
8.根据权利要求7所述的一种面向可重复使用火箭回收的多视觉敏感器数据融合方法,其特征在于:所述步骤(2.3)生成邻域空间,利用预先标定得到的视觉敏感器之间的基础矩阵,将敏感器图像上的边缘点投影到第一视觉敏感器图像中,形成邻域空间,具体为:设第二视觉敏感器图像上边缘点坐标为x',依据对极几何,该点在第一视觉敏感器图像上对应的边缘点在其对极线l上:
l=F21x′ (7)
将图像对极线l在第二视觉敏感器图像的正负x方向分别扩展一个像素形成邻域空间,第二视觉敏感器图像点对应第一视觉敏感器图像直线,由该直线生成邻域空间。
9.根据权利要求7所述的一种面向可重复使用火箭回收的多视觉敏感器数据融合方法,其特征在于:所述步骤(2.4)边缘点匹配,采用ORB算法中的rBRIEF生成特征点的描述子,以汉明距离作为匹配准则,在邻域空间中寻找边缘点x'的精确匹配边缘点;
具体实施步骤如下:
(A1)在边缘点x'的31×31阶邻域进行高斯平滑;
(A2)以边缘点x'为中心的σ=1高斯分布中随机取第一个像素点x1,设该像素点的灰度值为I1;σ为高斯分布参数;
(A3)以x1为中心的σ=0.5高斯分布中随机取第二个像素点,设该像素点的灰度值为I2;
(A4)若I1>I2,则可得描述符相应位的值为1,否则该值为0,记录两个像素点的位置;
(A5)重复步骤(A2)~(A4),生成边缘点x'的256维二进制描述符;
(A6)同理,计算邻域空间中所有边缘点的256维二进制描述符,分别计算它们和x'的描述符的汉明距离,寻找汉明距离最短的边缘点作为边缘点x'的精确匹配点;
(A7)重复上述步骤,搜索两个敏感器图像上的所有匹配边缘点对。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010513744.9A CN111833281B (zh) | 2020-06-08 | 2020-06-08 | 面向可重复使用火箭回收的多视觉敏感器数据融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010513744.9A CN111833281B (zh) | 2020-06-08 | 2020-06-08 | 面向可重复使用火箭回收的多视觉敏感器数据融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111833281A CN111833281A (zh) | 2020-10-27 |
CN111833281B true CN111833281B (zh) | 2024-04-09 |
Family
ID=72898560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010513744.9A Active CN111833281B (zh) | 2020-06-08 | 2020-06-08 | 面向可重复使用火箭回收的多视觉敏感器数据融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111833281B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115096196B (zh) * | 2022-08-25 | 2022-12-27 | 中国科学院西安光学精密机械研究所 | 一种用于火箭回收的视觉测高测速方法、系统及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102176243A (zh) * | 2010-12-30 | 2011-09-07 | 浙江理工大学 | 一种基于可见光和红外摄像机的目标测距方法 |
WO2012058902A1 (zh) * | 2010-11-02 | 2012-05-10 | 中兴通讯股份有限公司 | 全景图合成方法及装置 |
CN110081881A (zh) * | 2019-04-19 | 2019-08-02 | 成都飞机工业(集团)有限责任公司 | 一种基于无人机多传感器信息融合技术的着舰引导方法 |
WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
-
2020
- 2020-06-08 CN CN202010513744.9A patent/CN111833281B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012058902A1 (zh) * | 2010-11-02 | 2012-05-10 | 中兴通讯股份有限公司 | 全景图合成方法及装置 |
CN102176243A (zh) * | 2010-12-30 | 2011-09-07 | 浙江理工大学 | 一种基于可见光和红外摄像机的目标测距方法 |
WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
CN110081881A (zh) * | 2019-04-19 | 2019-08-02 | 成都飞机工业(集团)有限责任公司 | 一种基于无人机多传感器信息融合技术的着舰引导方法 |
Non-Patent Citations (1)
Title |
---|
一种双目视觉传感器的快速自标定方法;王涛;李恒宇;谢少荣;;计算机工程(12);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111833281A (zh) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107314771B (zh) | 基于编码标志点的无人机定位以及姿态角测量方法 | |
CN109345588B (zh) | 一种基于Tag的六自由度姿态估计方法 | |
CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
KR102037893B1 (ko) | 디지털 외관조사망도 구축 시스템 및 방법 | |
CN107833249B (zh) | 一种基于视觉引导的舰载机着陆过程姿态预估方法 | |
CN109523595B (zh) | 一种建筑工程直线棱角间距视觉测量方法 | |
CN107063261B (zh) | 用于无人机精准着陆的多特征信息地标检测方法 | |
CN110044374B (zh) | 一种基于图像特征的单目视觉测量里程的方法及里程计 | |
US7903840B2 (en) | Image processing method, image processing apparatus, image processing program and program recording medium | |
CN109631912B (zh) | 一种深空球形目标被动测距方法 | |
CN110095123B (zh) | 不规则小天体表面路标观测信息评价优化方法 | |
KR101941878B1 (ko) | 무인항공기 영상 자동 기하보정을 위한 처리시스템 | |
CN109214254B (zh) | 一种确定机器人位移的方法及装置 | |
CN106250898B (zh) | 一种基于尺度预测的图像局部区域特征提取方法 | |
CN111583342B (zh) | 一种基于双目视觉的目标快速定位方法及装置 | |
CN111833281B (zh) | 面向可重复使用火箭回收的多视觉敏感器数据融合方法 | |
CN107843261B (zh) | 一种基于激光扫描数据定位机器人位置的方法和系统 | |
CN113295171A (zh) | 一种基于单目视觉的旋转刚体航天器姿态估计方法 | |
CN113436262A (zh) | 一种基于视觉的车辆目标位置和姿态角度的检测方法 | |
CN111462310B (zh) | 一种基于多视几何的螺栓缺陷空间定位方法 | |
CN105718929B (zh) | 全天候未知环境下高精度快速圆形目标定位方法和系统 | |
CN111998823A (zh) | 基于双目异光源测距装置的目标测距方法 | |
CN114545412B (zh) | Isar图像序列等效雷达视线拟合的空间目标姿态估计方法 | |
CN116071491A (zh) | 一种多视角三维点云重建方法及装置 | |
CN115908562A (zh) | 一种异面点合作标志器及测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |