CN111145198A - 一种基于快速角点检测的非合作目标运动估计方法 - Google Patents
一种基于快速角点检测的非合作目标运动估计方法 Download PDFInfo
- Publication number
- CN111145198A CN111145198A CN201911405039.0A CN201911405039A CN111145198A CN 111145198 A CN111145198 A CN 111145198A CN 201911405039 A CN201911405039 A CN 201911405039A CN 111145198 A CN111145198 A CN 111145198A
- Authority
- CN
- China
- Prior art keywords
- cooperative target
- motion estimation
- point
- cooperative
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于快速角点检测的非合作目标运动估计方法,属于机器视觉领域,本发明提供一种抗干扰能力强、鲁棒性好、匹配质量高、实时性高、跟踪精度高的基于快速角点检测的非合作目标运动估计方法。本发明中,对双目相机内部的参数进行预设,采集双目相机拍摄的图像,并对图像进行预处理,将非合作目标从背景中分离出来;采用快速角点检测算法,提取出非合作目标的角点;对提取的角点进行三维坐标转换,并进行跟踪;采用经典卡尔曼滤波算法对坐标转换后的图像进行滤波,进行非合作目标的运动估计,并计算得出估计值。本发明主要用于对非合作目标运动进行感知测量。
Description
技术领域
本发明属于机器视觉领域,具体涉及一种基于快速角点检测的非合作目标运动估计方法。
背景技术
非合作目标的定义为空间中无法提供可用合作信息的目标,通常包括故障或报废的航天器、敌方飞行器和太空垃圾等。大多数非合作目标的特点在于目标的三维形状、尺寸大小等几何信息均是未知的,目标的位置姿态、转轴、转动惯量等运动学信息等都是不确定的。为了实现对目标的准确捕获,需要在空间环境下对目标进行运动估计以及三维重构,获取其运动和结构信息。
目前已经有很多方法能够实现对非合作目标的测量,根据所用传感器的不同,可以分类为基于GPS卫星导航测量,基于微波雷达测量,基于激光扫描测量,以及基于机器视觉测量等方法。相比于前几种方法,机器视觉测量是通过光学相机对非合作目标进行图像采集,然后利用采集到的图像信息对目标的结构和运动进行还原。该方法不需要复杂的结构以及过多的设备,只通过相机和计算机便可实现对目标的测量,因此基于视觉的测量方法已经得到了越来越广泛的应用。
但基于视觉的非合作目标运动估计还存在一些问题需要解决。例如,背景物体对特征点提取的干扰问题,特征点的匹配质量问题,特征点的跟踪精度问题以及运动估计方法的综合性能问题。
因此,就需要一种抗干扰能力强、鲁棒性好、匹配质量高、实时性高、跟踪精度高的基于快速角点检测的非合作目标运动估计方法。
发明内容
本发明针对现有的非合作目标运动估计方法中背景物体对特征点提取存在干扰、鲁棒性差、特征点匹配质量差、实时性低、特征点的跟踪精度差的缺陷,提供一种抗干扰能力强、鲁棒性好、匹配质量高、实时性高、跟踪精度高的基于快速角点检测的非合作目标运动估计方法。
本发明所涉及的一种基于快速角点检测的非合作目标运动估计方法的技术方案如下:
本发明所涉及的一种基于快速角点检测的非合作目标运动估计方法,它包括以下步骤:
步骤1、参数预设:对双目相机内部的参数进行预设,所述参数包括状态转移矩阵、测量矩阵、过程噪声协方差矩阵、测量误差协方差矩阵;
步骤2、图像采集:采集双目相机拍摄的图像,并对图像进行预处理,将非合作目标从背景中分离出来;
步骤3、角点提取:采用快速角点检测算法,提取出非合作目标的角点;
步骤4、三维坐标变换:对提取的角点进行三维坐标转换,并进行跟踪;
步骤5:卡尔曼滤波:采用经典卡尔曼滤波算法对坐标转换后的图像进行滤波,进行非合作目标的运动估计,并计算得出估计值。
进一步地:在步骤2中,它包括以下步骤:
步骤21、根据双目相机内部参数,对采集的图像进行去畸变;
步骤22、对去除畸变后的图像进行高斯平滑滤波,获得平滑图像;
步骤23、根据先验数据,设定第一感兴趣区域;
步骤24、采用OTSU阈值化方法,将非合作目标从背景中分离出来,获得二值图像;
步骤25、将二值图像缩放第一预设倍数,通过水平投影和垂直投影,获得第一非合作目标感兴趣区域;
步骤26、对第一非合作目标感兴趣区域的大小进行补偿,并将其扩展至原尺度空间,获得第二非合作目标感兴趣区域。
进一步地:在步骤3中,它包括以下步骤:
步骤31、将第二非合作目标感兴趣区域缩放第二预设倍数,并通过形态学开操作滤除背景噪点;
步骤32、对步骤32获得的图像采用特征点检测算法提取出非合作目标的特征点;
步骤33、根据非合作目标的几何特性,对特征点进行筛选,并拟合出其外接轮廓;
步骤34、将所述外接轮廓扩展至原尺度空间,并获得外接轮廓的角点;
步骤35、以每个外接轮廓角点为中心,进行局部角点提取,获取非合作目标的角点。
进一步地:在步骤4中,它包括以下步骤:
步骤41、根据最小欧氏距离原则对同一时刻的双目图像提取出来的非合作目标的角点进行匹配;
步骤42、对匹配后的角点进行三维坐标变换;
步骤43、设k为正整数,对于每个k-1时刻的点,在k时刻找离它最近的点和次最近的点;
步骤44、如果k时刻有多个点与k-1时刻的一个点距离最近,则利用次最近距离来进行匹配。
本发明所涉及的一种基于快速角点检测的非合作目标运动估计方法的有益效果是:
本发明所涉及的一种基于快速角点检测的非合作目标运动估计方法,采用由粗到精的策略进行roi提取以及角点检测,极大地减少了图像处理耗费的时间,提高了算法的实时性,同时也保证了角点提取的准确性以及算法的鲁棒性;利用非合作目标的强几何特性,筛选出数量少但具有较强表征能力的特征点,减小了特征点追踪的计算量。
附图说明
图1为非合作目标运动估计方法的整体流程图;
图2为快速角点提取算法流程图。
图3为图2中快速角点提取算法过程中对应的图片效果。
具体实施方式
下面结合实施例对本发明的技术方案做进一步的说明,但并不局限于此,凡是对本发明技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的保护范围中。
实施例1
结合图1和图2和图3说明本实施例,在本实施例中,本实施例所涉及的一种基于快速角点检测的非合作目标运动估计方法,对双目相机采集的图像进行预处理,将非合作目标从背景中分离出来;采用快速角点检测算法,提取出非合作目标的角点;对提取的角点进行三维坐标转换,并进行跟踪;采用经典卡尔曼滤波算法,进行非合作目标的运动估计。
一种基于快速角点检测的非合作目标运动估计方法包括以下步骤:
步骤1、对双目相机内部的参数进行预设,包括状态转移矩阵,测量矩阵,过程噪声协方差矩阵,测量误差协方差矩阵;
步骤2、采集双目相机拍摄的图像,并对图像进行预处理,将非合作目标从背景中分离出来;步骤2的具体步骤如下:
步骤21、根据双目相机内部参数,对采集图像进行去畸变;现实中相机透镜存在两种畸变,一是由透镜的形状造成的径向畸变,表述如下:
其中,(x,y)是成像装置上畸变点的原始位置,是校正径向畸变后的新位置,k1、 k2和K3是径向畸变系数,r是畸变点(x,y)距光学中心的径向距离。随着距光学中心的径向距离的增加,矩形网格上的外部点越来越向内偏移。
二是整个相机的组装过程中造成的切向畸变,表述如下:
式中,p1、p2是切向畸变系数。
步骤22、对去除畸变后的图像进行高斯平滑滤波,获得平滑图像;
高斯滤波公式是
式中,G)(x)为高斯滤波函数,σ为高斯函数方差。
步骤23、根据先验知识,设定较宽泛的roi区域;
步骤25、将二值图像缩放8倍,通过水平投影以及垂直投影,获得精确的非合作目标 roi;
步骤26、对非合作目标roi大小进行适当补偿,并将其扩展至原尺度空间;
步骤3、采用快速角点检测算法,提取出非合作目标的角点;步骤三的具体步骤如下:
步骤31、将roi缩放4倍,并进行形态学开操作,滤除掉背景噪点;
步骤32、采用FAST特征点检测器,提取出非合作目标的特征点;FAST特征检测算法是基于将点P与其周围的点进行直接比较的思想。如果附近的几个点与P类似,那么P将与P周围的所有点进行比较。
FAST只使用P周围的点。环上的各个点被分类为比P更暗,比P更亮,或者类似于P。低于Ip-t就是较暗像素,高于Ip+t就是较亮像素,在这之间便是相似像素。一旦完成分类,FAST检测器就需要环上的一些或者比P更暗或者比P更亮的邻近点。如果环的像素总数为N,那么这条只包含更亮或更暗的弧必须至少包含N/2+1个像素(即环上总数的一半以上)。
步骤33、根据非合作目标的强几何特性,对特征点进行筛选,并拟合出其最小外接轮廓;筛选规则如下:
G={Gi|Gi=Fj,d(Fj,Fcenter)>0.7*dmax}
将筛选后的点集G进行最小外接轮廓拟合。
步骤34、将最小外接轮廓扩展至原尺度空间,并获得最小外接轮廓的角点。
步骤35、以每个最小外接轮廓角点为中心,进行局部角点提取,最终获取到非合作目标的精确角点。
步骤4、将提取的角点进行三维坐标转换,并进行跟踪;步骤四的具体步骤如下:
步骤41、对同一时刻的双目图像提取出来的非合作目标角点,根据最小欧氏距离原则,进行匹配;
步骤42、对匹配后的角点,进行三维坐标变换;
步骤43、对于每个k-1时刻的点,在k时刻找离它最近的点和次最近的点。
步骤44、如果k时刻有多个点与k-1时刻的一个点距离最近,则利用次最近距离来进行匹配。
步骤5、采用经典卡尔曼滤波算法,进行非合作目标的运动估计,并计算得出估计值。
Claims (4)
1.一种基于快速角点检测的非合作目标运动估计方法,其特征在于,它包括以下步骤:
步骤1、参数预设:对双目相机内部的参数进行预设,所述参数包括状态转移矩阵、测量矩阵、过程噪声协方差矩阵、测量误差协方差矩阵;
步骤2、图像采集:采集双目相机拍摄的图像,并对图像进行预处理,将非合作目标从背景中分离出来;
步骤3、角点提取:采用快速角点检测算法,提取出非合作目标的角点;
步骤4、三维坐标变换:对提取的角点进行三维坐标转换,并进行跟踪;
步骤5:卡尔曼滤波:采用经典卡尔曼滤波算法对坐标转换后的图像进行滤波,进行非合作目标的运动估计,并计算得出估计值。
2.根据权利要求1所述的一种基于快速角点检测的非合作目标运动估计方法,其特征在于,在步骤2中,它包括以下步骤:
步骤21、根据双目相机内部参数,对采集的图像进行去畸变;
步骤22、对去除畸变后的图像进行高斯平滑滤波,获得平滑图像;
步骤23、根据先验数据,设定第一感兴趣区域;
步骤24、采用OTSU阈值化方法,将非合作目标从背景中分离出来,获得二值图像;
步骤25、将二值图像缩放第一预设倍数,通过水平投影和垂直投影,获得第一非合作目标感兴趣区域;
步骤26、对第一非合作目标感兴趣区域的大小进行补偿,并将其扩展至原尺度空间,获得第二非合作目标感兴趣区域。
3.根据权利要求1所述的基于快速角点检测的非合作目标运动估计方法,其特征在于,在步骤3中,它包括以下步骤:
步骤31、将第二非合作目标感兴趣区域缩放第二预设倍数,并通过形态学开操作滤除背景噪点;
步骤32、对步骤32获得的图像采用特征点检测算法提取出非合作目标的特征点;
步骤33、根据非合作目标的几何特性,对特征点进行筛选,并拟合出其外接轮廓;
步骤34、将所述外接轮廓扩展至原尺度空间,并获得外接轮廓的角点;
步骤35、以每个外接轮廓角点为中心,进行局部角点提取,获取非合作目标的角点。
4.根据权利要求1所述的基于快速角点检测的非合作目标运动估计方法,其特征在于,在步骤4中,它包括以下步骤:
步骤41、根据最小欧氏距离原则对同一时刻的双目图像提取出来的非合作目标的角点进行匹配;
步骤42、对匹配后的角点进行三维坐标变换;
步骤43、设k为正整数,对于每个k-1时刻的点,在k时刻找离它最近的点和次最近的点;
步骤44、如果k时刻有多个点与k-1时刻的一个点距离最近,则利用次最近距离来进行匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911405039.0A CN111145198B (zh) | 2019-12-31 | 2019-12-31 | 一种基于快速角点检测的非合作目标运动估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911405039.0A CN111145198B (zh) | 2019-12-31 | 2019-12-31 | 一种基于快速角点检测的非合作目标运动估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111145198A true CN111145198A (zh) | 2020-05-12 |
CN111145198B CN111145198B (zh) | 2023-06-30 |
Family
ID=70522294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911405039.0A Active CN111145198B (zh) | 2019-12-31 | 2019-12-31 | 一种基于快速角点检测的非合作目标运动估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111145198B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112258525A (zh) * | 2020-10-30 | 2021-01-22 | 西安费斯达自动化工程有限公司 | 一种基于鸟类高帧频序列图像丰度统计和种群识别算法 |
CN112344914A (zh) * | 2020-10-30 | 2021-02-09 | 哈尔滨工业大学(深圳) | 基于柔性臂手眼相机的自适应视觉测量方法及系统 |
CN113836964A (zh) * | 2020-06-08 | 2021-12-24 | 北京图森未来科技有限公司 | 车道线角点检测方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102914302A (zh) * | 2012-09-12 | 2013-02-06 | 西北工业大学 | 一种无人机着陆视觉导航合作目标鲁棒检测方法 |
CN109373912A (zh) * | 2018-12-21 | 2019-02-22 | 福州大学 | 一种基于双目视觉的非接触式六自由度位移测量方法 |
-
2019
- 2019-12-31 CN CN201911405039.0A patent/CN111145198B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102914302A (zh) * | 2012-09-12 | 2013-02-06 | 西北工业大学 | 一种无人机着陆视觉导航合作目标鲁棒检测方法 |
CN109373912A (zh) * | 2018-12-21 | 2019-02-22 | 福州大学 | 一种基于双目视觉的非接触式六自由度位移测量方法 |
Non-Patent Citations (1)
Title |
---|
孙增玉等: "基于视觉技术的非合作航天器相对位姿测量方法", 《宇航计测技术》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113836964A (zh) * | 2020-06-08 | 2021-12-24 | 北京图森未来科技有限公司 | 车道线角点检测方法及装置 |
CN113836964B (zh) * | 2020-06-08 | 2023-11-10 | 北京图森未来科技有限公司 | 车道线角点检测方法及装置 |
CN112258525A (zh) * | 2020-10-30 | 2021-01-22 | 西安费斯达自动化工程有限公司 | 一种基于鸟类高帧频序列图像丰度统计和种群识别算法 |
CN112344914A (zh) * | 2020-10-30 | 2021-02-09 | 哈尔滨工业大学(深圳) | 基于柔性臂手眼相机的自适应视觉测量方法及系统 |
CN112258525B (zh) * | 2020-10-30 | 2023-12-19 | 西安费斯达自动化工程有限公司 | 一种基于鸟类高帧频序列图像丰度统计和种群识别算法 |
Also Published As
Publication number | Publication date |
---|---|
CN111145198B (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112017225B (zh) | 一种基于点云配准的深度图像匹配方法 | |
EP1505543A2 (en) | Video object tracking | |
JP6095018B2 (ja) | 移動オブジェクトの検出及び追跡 | |
CN111145198B (zh) | 一种基于快速角点检测的非合作目标运动估计方法 | |
CN108981672A (zh) | 基于单目机器人与测距传感器结合的舱门实时定位方法 | |
CN108225319B (zh) | 基于目标特征的单目视觉快速相对位姿估计系统及方法 | |
CN111709968B (zh) | 一种基于图像处理的低空目标探测跟踪方法 | |
CN109559324A (zh) | 一种线阵图像中的目标轮廓检测方法 | |
CN110555868A (zh) | 一种复杂地面背景下运动小目标检测方法 | |
CN114897705A (zh) | 一种基于特征优化的无人机遥感图像拼接方法 | |
CN114549549B (zh) | 一种动态环境下基于实例分割的动态目标建模跟踪方法 | |
CN113781523B (zh) | 一种足球检测跟踪方法及装置、电子设备、存储介质 | |
CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
CN112017221B (zh) | 基于尺度空间的多模态图像配准方法、装置和设备 | |
CN111089586B (zh) | 一种基于多帧累加算法的全天时星敏感器星点提取方法 | |
CN113298725A (zh) | 一种轮船图标图像叠加误差的纠正方法 | |
CN112734816A (zh) | 基于CSS-Delaunay的异源图像配准方法 | |
CN107886530A (zh) | 一种改进的基于sift特征的图像配准算法 | |
CN117036404A (zh) | 一种单目热成像同时定位与建图方法和系统 | |
CN116863357A (zh) | 一种无人机遥感堤坝影像定标与智能分割变化检测方法 | |
CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
CN113592953A (zh) | 一种基于特征点集的双目非合作目标位姿测量方法 | |
Xiang et al. | A modified joint trilateral filter based depth map refinement method | |
CN115096196B (zh) | 一种用于火箭回收的视觉测高测速方法、系统及存储介质 | |
CN110322474A (zh) | 一种基于无人机平台的图像动目标实时检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220629 Address after: 150000 No. 311, third floor, science and Technology Park building, Harbin University of technology, No. 434, sub postal street, Nangang District, Harbin, Heilongjiang Province Applicant after: Harbin Zhiwu Technology Co.,Ltd. Address before: 518110 room 214, No. 67, Xikeng Road, Xikeng community, Fucheng street, Longhua District, Shenzhen City, Guangdong Province Applicant before: Harbin Huizhi (Shenzhen) Technology Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |