CN111145198A - 一种基于快速角点检测的非合作目标运动估计方法 - Google Patents

一种基于快速角点检测的非合作目标运动估计方法 Download PDF

Info

Publication number
CN111145198A
CN111145198A CN201911405039.0A CN201911405039A CN111145198A CN 111145198 A CN111145198 A CN 111145198A CN 201911405039 A CN201911405039 A CN 201911405039A CN 111145198 A CN111145198 A CN 111145198A
Authority
CN
China
Prior art keywords
cooperative target
motion estimation
point
cooperative
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911405039.0A
Other languages
English (en)
Other versions
CN111145198B (zh
Inventor
吴立刚
孙光辉
刘健行
周栋
万龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Zhiwu Technology Co ltd
Original Assignee
Harbin Huizhi Shenzhen Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Huizhi Shenzhen Technology Co Ltd filed Critical Harbin Huizhi Shenzhen Technology Co Ltd
Priority to CN201911405039.0A priority Critical patent/CN111145198B/zh
Publication of CN111145198A publication Critical patent/CN111145198A/zh
Application granted granted Critical
Publication of CN111145198B publication Critical patent/CN111145198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于快速角点检测的非合作目标运动估计方法,属于机器视觉领域,本发明提供一种抗干扰能力强、鲁棒性好、匹配质量高、实时性高、跟踪精度高的基于快速角点检测的非合作目标运动估计方法。本发明中,对双目相机内部的参数进行预设,采集双目相机拍摄的图像,并对图像进行预处理,将非合作目标从背景中分离出来;采用快速角点检测算法,提取出非合作目标的角点;对提取的角点进行三维坐标转换,并进行跟踪;采用经典卡尔曼滤波算法对坐标转换后的图像进行滤波,进行非合作目标的运动估计,并计算得出估计值。本发明主要用于对非合作目标运动进行感知测量。

Description

一种基于快速角点检测的非合作目标运动估计方法
技术领域
本发明属于机器视觉领域,具体涉及一种基于快速角点检测的非合作目标运动估计方法。
背景技术
非合作目标的定义为空间中无法提供可用合作信息的目标,通常包括故障或报废的航天器、敌方飞行器和太空垃圾等。大多数非合作目标的特点在于目标的三维形状、尺寸大小等几何信息均是未知的,目标的位置姿态、转轴、转动惯量等运动学信息等都是不确定的。为了实现对目标的准确捕获,需要在空间环境下对目标进行运动估计以及三维重构,获取其运动和结构信息。
目前已经有很多方法能够实现对非合作目标的测量,根据所用传感器的不同,可以分类为基于GPS卫星导航测量,基于微波雷达测量,基于激光扫描测量,以及基于机器视觉测量等方法。相比于前几种方法,机器视觉测量是通过光学相机对非合作目标进行图像采集,然后利用采集到的图像信息对目标的结构和运动进行还原。该方法不需要复杂的结构以及过多的设备,只通过相机和计算机便可实现对目标的测量,因此基于视觉的测量方法已经得到了越来越广泛的应用。
但基于视觉的非合作目标运动估计还存在一些问题需要解决。例如,背景物体对特征点提取的干扰问题,特征点的匹配质量问题,特征点的跟踪精度问题以及运动估计方法的综合性能问题。
因此,就需要一种抗干扰能力强、鲁棒性好、匹配质量高、实时性高、跟踪精度高的基于快速角点检测的非合作目标运动估计方法。
发明内容
本发明针对现有的非合作目标运动估计方法中背景物体对特征点提取存在干扰、鲁棒性差、特征点匹配质量差、实时性低、特征点的跟踪精度差的缺陷,提供一种抗干扰能力强、鲁棒性好、匹配质量高、实时性高、跟踪精度高的基于快速角点检测的非合作目标运动估计方法。
本发明所涉及的一种基于快速角点检测的非合作目标运动估计方法的技术方案如下:
本发明所涉及的一种基于快速角点检测的非合作目标运动估计方法,它包括以下步骤:
步骤1、参数预设:对双目相机内部的参数进行预设,所述参数包括状态转移矩阵、测量矩阵、过程噪声协方差矩阵、测量误差协方差矩阵;
步骤2、图像采集:采集双目相机拍摄的图像,并对图像进行预处理,将非合作目标从背景中分离出来;
步骤3、角点提取:采用快速角点检测算法,提取出非合作目标的角点;
步骤4、三维坐标变换:对提取的角点进行三维坐标转换,并进行跟踪;
步骤5:卡尔曼滤波:采用经典卡尔曼滤波算法对坐标转换后的图像进行滤波,进行非合作目标的运动估计,并计算得出估计值。
进一步地:在步骤2中,它包括以下步骤:
步骤21、根据双目相机内部参数,对采集的图像进行去畸变;
步骤22、对去除畸变后的图像进行高斯平滑滤波,获得平滑图像;
步骤23、根据先验数据,设定第一感兴趣区域;
步骤24、采用OTSU阈值化方法,将非合作目标从背景中分离出来,获得二值图像;
步骤25、将二值图像缩放第一预设倍数,通过水平投影和垂直投影,获得第一非合作目标感兴趣区域;
步骤26、对第一非合作目标感兴趣区域的大小进行补偿,并将其扩展至原尺度空间,获得第二非合作目标感兴趣区域。
进一步地:在步骤3中,它包括以下步骤:
步骤31、将第二非合作目标感兴趣区域缩放第二预设倍数,并通过形态学开操作滤除背景噪点;
步骤32、对步骤32获得的图像采用特征点检测算法提取出非合作目标的特征点;
步骤33、根据非合作目标的几何特性,对特征点进行筛选,并拟合出其外接轮廓;
步骤34、将所述外接轮廓扩展至原尺度空间,并获得外接轮廓的角点;
步骤35、以每个外接轮廓角点为中心,进行局部角点提取,获取非合作目标的角点。
进一步地:在步骤4中,它包括以下步骤:
步骤41、根据最小欧氏距离原则对同一时刻的双目图像提取出来的非合作目标的角点进行匹配;
步骤42、对匹配后的角点进行三维坐标变换;
步骤43、设k为正整数,对于每个k-1时刻的点,在k时刻找离它最近的点和次最近的点;
步骤44、如果k时刻有多个点与k-1时刻的一个点距离最近,则利用次最近距离来进行匹配。
本发明所涉及的一种基于快速角点检测的非合作目标运动估计方法的有益效果是:
本发明所涉及的一种基于快速角点检测的非合作目标运动估计方法,采用由粗到精的策略进行roi提取以及角点检测,极大地减少了图像处理耗费的时间,提高了算法的实时性,同时也保证了角点提取的准确性以及算法的鲁棒性;利用非合作目标的强几何特性,筛选出数量少但具有较强表征能力的特征点,减小了特征点追踪的计算量。
附图说明
图1为非合作目标运动估计方法的整体流程图;
图2为快速角点提取算法流程图。
图3为图2中快速角点提取算法过程中对应的图片效果。
具体实施方式
下面结合实施例对本发明的技术方案做进一步的说明,但并不局限于此,凡是对本发明技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的保护范围中。
实施例1
结合图1和图2和图3说明本实施例,在本实施例中,本实施例所涉及的一种基于快速角点检测的非合作目标运动估计方法,对双目相机采集的图像进行预处理,将非合作目标从背景中分离出来;采用快速角点检测算法,提取出非合作目标的角点;对提取的角点进行三维坐标转换,并进行跟踪;采用经典卡尔曼滤波算法,进行非合作目标的运动估计。
一种基于快速角点检测的非合作目标运动估计方法包括以下步骤:
步骤1、对双目相机内部的参数进行预设,包括状态转移矩阵,测量矩阵,过程噪声协方差矩阵,测量误差协方差矩阵;
步骤2、采集双目相机拍摄的图像,并对图像进行预处理,将非合作目标从背景中分离出来;步骤2的具体步骤如下:
步骤21、根据双目相机内部参数,对采集图像进行去畸变;现实中相机透镜存在两种畸变,一是由透镜的形状造成的径向畸变,表述如下:
Figure BDA0002348401130000031
Figure BDA0002348401130000032
其中,(x,y)是成像装置上畸变点的原始位置,
Figure BDA0002348401130000033
是校正径向畸变后的新位置,k1、 k2和K3是径向畸变系数,r是畸变点(x,y)距光学中心的径向距离。随着距光学中心的径向距离的增加,矩形网格上的外部点越来越向内偏移。
二是整个相机的组装过程中造成的切向畸变,表述如下:
Figure BDA0002348401130000041
Figure BDA0002348401130000042
式中,p1、p2是切向畸变系数。
步骤22、对去除畸变后的图像进行高斯平滑滤波,获得平滑图像;
高斯滤波公式是
Figure BDA0002348401130000043
式中,G)(x)为高斯滤波函数,σ为高斯函数方差。
步骤23、根据先验知识,设定较宽泛的roi区域;
步骤24、采用OTSU阈值化方法(大津算法),将非合作目标从背景中分离出来;OTSU阈值化方法就是遍历所有可能的阈值,然后对每个阈值结果的两类像素计算方差
Figure BDA0002348401130000044
OTSU算法目标是使下列表达式最小:
Figure BDA0002348401130000045
其中w1(t)和w2(t)是根据两类像素的数量计算而来的权值,
Figure BDA0002348401130000046
是第w类像素计算方差,
Figure BDA0002348401130000047
是第一类像素计算方差,
Figure BDA0002348401130000048
是第二类像素计算方差。
步骤25、将二值图像缩放8倍,通过水平投影以及垂直投影,获得精确的非合作目标 roi;
步骤26、对非合作目标roi大小进行适当补偿,并将其扩展至原尺度空间;
步骤3、采用快速角点检测算法,提取出非合作目标的角点;步骤三的具体步骤如下:
步骤31、将roi缩放4倍,并进行形态学开操作,滤除掉背景噪点;
步骤32、采用FAST特征点检测器,提取出非合作目标的特征点;FAST特征检测算法是基于将点P与其周围的点进行直接比较的思想。如果附近的几个点与P类似,那么P将与P周围的所有点进行比较。
FAST只使用P周围的点。环上的各个点被分类为比P更暗,比P更亮,或者类似于P。低于Ip-t就是较暗像素,高于Ip+t就是较亮像素,在这之间便是相似像素。一旦完成分类,FAST检测器就需要环上的一些或者比P更暗或者比P更亮的邻近点。如果环的像素总数为N,那么这条只包含更亮或更暗的弧必须至少包含N/2+1个像素(即环上总数的一半以上)。
步骤33、根据非合作目标的强几何特性,对特征点进行筛选,并拟合出其最小外接轮廓;筛选规则如下:
G={Gi|Gi=Fj,d(Fj,Fcenter)>0.7*dmax}
其中d(Fj,Fcenter)=||Fj-Fcenter||2
Figure BDA0002348401130000051
将筛选后的点集G进行最小外接轮廓拟合。
步骤34、将最小外接轮廓扩展至原尺度空间,并获得最小外接轮廓的角点。
步骤35、以每个最小外接轮廓角点为中心,进行局部角点提取,最终获取到非合作目标的精确角点。
步骤4、将提取的角点进行三维坐标转换,并进行跟踪;步骤四的具体步骤如下:
步骤41、对同一时刻的双目图像提取出来的非合作目标角点,根据最小欧氏距离原则,进行匹配;
步骤42、对匹配后的角点,进行三维坐标变换;
步骤43、对于每个k-1时刻的点,在k时刻找离它最近的点和次最近的点。
步骤44、如果k时刻有多个点与k-1时刻的一个点距离最近,则利用次最近距离来进行匹配。
步骤5、采用经典卡尔曼滤波算法,进行非合作目标的运动估计,并计算得出估计值。

Claims (4)

1.一种基于快速角点检测的非合作目标运动估计方法,其特征在于,它包括以下步骤:
步骤1、参数预设:对双目相机内部的参数进行预设,所述参数包括状态转移矩阵、测量矩阵、过程噪声协方差矩阵、测量误差协方差矩阵;
步骤2、图像采集:采集双目相机拍摄的图像,并对图像进行预处理,将非合作目标从背景中分离出来;
步骤3、角点提取:采用快速角点检测算法,提取出非合作目标的角点;
步骤4、三维坐标变换:对提取的角点进行三维坐标转换,并进行跟踪;
步骤5:卡尔曼滤波:采用经典卡尔曼滤波算法对坐标转换后的图像进行滤波,进行非合作目标的运动估计,并计算得出估计值。
2.根据权利要求1所述的一种基于快速角点检测的非合作目标运动估计方法,其特征在于,在步骤2中,它包括以下步骤:
步骤21、根据双目相机内部参数,对采集的图像进行去畸变;
步骤22、对去除畸变后的图像进行高斯平滑滤波,获得平滑图像;
步骤23、根据先验数据,设定第一感兴趣区域;
步骤24、采用OTSU阈值化方法,将非合作目标从背景中分离出来,获得二值图像;
步骤25、将二值图像缩放第一预设倍数,通过水平投影和垂直投影,获得第一非合作目标感兴趣区域;
步骤26、对第一非合作目标感兴趣区域的大小进行补偿,并将其扩展至原尺度空间,获得第二非合作目标感兴趣区域。
3.根据权利要求1所述的基于快速角点检测的非合作目标运动估计方法,其特征在于,在步骤3中,它包括以下步骤:
步骤31、将第二非合作目标感兴趣区域缩放第二预设倍数,并通过形态学开操作滤除背景噪点;
步骤32、对步骤32获得的图像采用特征点检测算法提取出非合作目标的特征点;
步骤33、根据非合作目标的几何特性,对特征点进行筛选,并拟合出其外接轮廓;
步骤34、将所述外接轮廓扩展至原尺度空间,并获得外接轮廓的角点;
步骤35、以每个外接轮廓角点为中心,进行局部角点提取,获取非合作目标的角点。
4.根据权利要求1所述的基于快速角点检测的非合作目标运动估计方法,其特征在于,在步骤4中,它包括以下步骤:
步骤41、根据最小欧氏距离原则对同一时刻的双目图像提取出来的非合作目标的角点进行匹配;
步骤42、对匹配后的角点进行三维坐标变换;
步骤43、设k为正整数,对于每个k-1时刻的点,在k时刻找离它最近的点和次最近的点;
步骤44、如果k时刻有多个点与k-1时刻的一个点距离最近,则利用次最近距离来进行匹配。
CN201911405039.0A 2019-12-31 2019-12-31 一种基于快速角点检测的非合作目标运动估计方法 Active CN111145198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911405039.0A CN111145198B (zh) 2019-12-31 2019-12-31 一种基于快速角点检测的非合作目标运动估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911405039.0A CN111145198B (zh) 2019-12-31 2019-12-31 一种基于快速角点检测的非合作目标运动估计方法

Publications (2)

Publication Number Publication Date
CN111145198A true CN111145198A (zh) 2020-05-12
CN111145198B CN111145198B (zh) 2023-06-30

Family

ID=70522294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911405039.0A Active CN111145198B (zh) 2019-12-31 2019-12-31 一种基于快速角点检测的非合作目标运动估计方法

Country Status (1)

Country Link
CN (1) CN111145198B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258525A (zh) * 2020-10-30 2021-01-22 西安费斯达自动化工程有限公司 一种基于鸟类高帧频序列图像丰度统计和种群识别算法
CN112344914A (zh) * 2020-10-30 2021-02-09 哈尔滨工业大学(深圳) 基于柔性臂手眼相机的自适应视觉测量方法及系统
CN113836964A (zh) * 2020-06-08 2021-12-24 北京图森未来科技有限公司 车道线角点检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102914302A (zh) * 2012-09-12 2013-02-06 西北工业大学 一种无人机着陆视觉导航合作目标鲁棒检测方法
CN109373912A (zh) * 2018-12-21 2019-02-22 福州大学 一种基于双目视觉的非接触式六自由度位移测量方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102914302A (zh) * 2012-09-12 2013-02-06 西北工业大学 一种无人机着陆视觉导航合作目标鲁棒检测方法
CN109373912A (zh) * 2018-12-21 2019-02-22 福州大学 一种基于双目视觉的非接触式六自由度位移测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙增玉等: "基于视觉技术的非合作航天器相对位姿测量方法", 《宇航计测技术》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836964A (zh) * 2020-06-08 2021-12-24 北京图森未来科技有限公司 车道线角点检测方法及装置
CN113836964B (zh) * 2020-06-08 2023-11-10 北京图森未来科技有限公司 车道线角点检测方法及装置
CN112258525A (zh) * 2020-10-30 2021-01-22 西安费斯达自动化工程有限公司 一种基于鸟类高帧频序列图像丰度统计和种群识别算法
CN112344914A (zh) * 2020-10-30 2021-02-09 哈尔滨工业大学(深圳) 基于柔性臂手眼相机的自适应视觉测量方法及系统
CN112258525B (zh) * 2020-10-30 2023-12-19 西安费斯达自动化工程有限公司 一种基于鸟类高帧频序列图像丰度统计和种群识别算法

Also Published As

Publication number Publication date
CN111145198B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN112017225B (zh) 一种基于点云配准的深度图像匹配方法
EP1505543A2 (en) Video object tracking
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
CN111145198B (zh) 一种基于快速角点检测的非合作目标运动估计方法
CN108981672A (zh) 基于单目机器人与测距传感器结合的舱门实时定位方法
CN108225319B (zh) 基于目标特征的单目视觉快速相对位姿估计系统及方法
CN111709968B (zh) 一种基于图像处理的低空目标探测跟踪方法
CN109559324A (zh) 一种线阵图像中的目标轮廓检测方法
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
CN114897705A (zh) 一种基于特征优化的无人机遥感图像拼接方法
CN114549549B (zh) 一种动态环境下基于实例分割的动态目标建模跟踪方法
CN113781523B (zh) 一种足球检测跟踪方法及装置、电子设备、存储介质
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN112017221B (zh) 基于尺度空间的多模态图像配准方法、装置和设备
CN111089586B (zh) 一种基于多帧累加算法的全天时星敏感器星点提取方法
CN113298725A (zh) 一种轮船图标图像叠加误差的纠正方法
CN112734816A (zh) 基于CSS-Delaunay的异源图像配准方法
CN107886530A (zh) 一种改进的基于sift特征的图像配准算法
CN117036404A (zh) 一种单目热成像同时定位与建图方法和系统
CN116863357A (zh) 一种无人机遥感堤坝影像定标与智能分割变化检测方法
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
CN113592953A (zh) 一种基于特征点集的双目非合作目标位姿测量方法
Xiang et al. A modified joint trilateral filter based depth map refinement method
CN115096196B (zh) 一种用于火箭回收的视觉测高测速方法、系统及存储介质
CN110322474A (zh) 一种基于无人机平台的图像动目标实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220629

Address after: 150000 No. 311, third floor, science and Technology Park building, Harbin University of technology, No. 434, sub postal street, Nangang District, Harbin, Heilongjiang Province

Applicant after: Harbin Zhiwu Technology Co.,Ltd.

Address before: 518110 room 214, No. 67, Xikeng Road, Xikeng community, Fucheng street, Longhua District, Shenzhen City, Guangdong Province

Applicant before: Harbin Huizhi (Shenzhen) Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant