CN110827257B - 一种嵌入式机载红外图像视觉导航定位方法 - Google Patents

一种嵌入式机载红外图像视觉导航定位方法 Download PDF

Info

Publication number
CN110827257B
CN110827257B CN201911058232.1A CN201911058232A CN110827257B CN 110827257 B CN110827257 B CN 110827257B CN 201911058232 A CN201911058232 A CN 201911058232A CN 110827257 B CN110827257 B CN 110827257B
Authority
CN
China
Prior art keywords
image
target
camera system
detection
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911058232.1A
Other languages
English (en)
Other versions
CN110827257A (zh
Inventor
赵伟
陈旭
花思齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinweifeng Optoelectronics Technology Co ltd
Original Assignee
Nanjing Xinweifeng Optoelectronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xinweifeng Optoelectronics Technology Co ltd filed Critical Nanjing Xinweifeng Optoelectronics Technology Co ltd
Publication of CN110827257A publication Critical patent/CN110827257A/zh
Application granted granted Critical
Publication of CN110827257B publication Critical patent/CN110827257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种嵌入式机载红外图像视觉导航定位方法,包括步骤一:读取摄像头采集到的红外原始图像f(x,y),利用背景抑制算法对图像进行处理,得到校正后的图像f1(x,y);步骤二:对校正后的图像f1(x,y)分别进行单帧目标检测和帧间目标检测,将检测结果综合判断,得到最终的检测结果图像f2(x,y);根据相机系与图像系映射关系及毫米波雷达测距结果得到目标点在相机系内的坐标(xc,yc,zc);根据机体系与相机系存在默认的坐标转换矩阵T,可得目标在机体系内的坐标(xb,yb,zb),本发明的有益效果是:提高了图像质量以方便后期定位、避免了高频噪声的影响、目标定位更加精准。

Description

一种嵌入式机载红外图像视觉导航定位方法
技术领域
本发明涉及无人机技术领域,具体为一种嵌入式机载红外图像视觉导航定位方法。
背景技术
随着小型无人机行业的快速发展,黑飞无人机在威胁公众安全、侵犯公众隐私、干扰重大活动等方面的不良案例越来越多,未来很有可能成为人们日常生活及大型活动的重大威胁源,以此对低空安防提出了迫切的需求,通过对黑飞无人机的探测定位实现预警、防御和管控具有十分重要的现实意义。
目前,主要基于地基或车载平台实现一定空域范围内黑飞无人机的探测发现,常见的方法有雷达探测、光学探测、声音探测、无源侦察探测等。但对于地基平台或者车载平台来说,存在两个缺点:1)由于黑飞无人机一般飞行高度较低,导致在进行远距离探测时,黑飞无人机与各种探测系统形成的探测角度非常小,且易受建筑物遮挡影响,因此基于地基或车载平台的探测系统的探测距离非常有限;2)基于地基平台或者车载平台进行探测定位时,需要同时测量黑飞无人机的俯仰角和方位角,测量结果不够准确;3)单个地基无源侦察探测系统只能测向不能定位,多个地基无源侦察系统能够定位,但是布站不便,应用场景受限。
发明内容
本发明的目的在于提供一种嵌入式机载红外图像视觉导航定位方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种嵌入式机载红外图像视觉定位方法,包括以下步骤:
步骤一:读取摄像头采集到的红外原始图像f(x,y),利用背景抑制算法对图像进行处理,得到校正后的图像f1(x,y);
步骤二:利用不同检测算法对不同虚警的抑制作用效果,具体是对校正后的图像f1(x,y)分别进行单帧目标检测和帧间比较目标检测,将检测结果综合判断,得到最终的检测结果图像f2(x,y);
步骤三:读取检测结果图像f2(x,y),其中(xt,yt)为图像中检测到的目标质心坐标位置,根据相机系与图像系映射关系及毫米波雷达测距结果得到目标点在相机系内的坐标(xc,yc,zc);
步骤四:由于相机与无人机存在固联关系,机体系与相机系存在默认的坐标转换矩阵T,可得目标在机体系内的坐标(xb,yb,zb)。
优选的,所述步骤一当中的背景抑制过程具体如下:
a、采用中值滤波对红外原始图像f(x,y)进行平滑及噪声消除,对滤波模板下的对应像素进行灰度值排序进行中值求取,将中值赋给当前模板的中心像素,用这种方式得到预处理图像f'(x,y);其目的是为了更多的保护图像边缘和细节信息,起到质量提高和特征增强的效果;
b、引入降分辨率思想,采用高斯金字塔降采样将图像的高频部分和低频部分区分开;在低分辨率下,使得复杂的红外背景进一步被平滑,图像上的高频噪声得到了抑制,同时保留了大部分复杂背景估计所需的低空杂波信号,得到降采样图像f”(x,y);所述高斯金字塔构造公式为:
c、通过Cubic插值算法对图片f”(x,y)进行分辨率调整,重新调整为与预处理图像相同尺寸的目标图像,所述Cubic插值算法避免了因为放大红外图像而导致边缘细节退化,所述构造的Cubic函数如下:
d、将预处理图像f'(x,y)与预测背景f”'(x,y)进行差分,可以将背景和目标区分开,从而达到提高图像信噪比的目的,得到校正后的图像f1(x,y)。
优选的,所述步骤二的目标检测过程具体如下:
S1、所述单帧目标检测具体是利用用灰度信息区域分割对目标进行提取;
S2、所述帧间目标检测具体是利用目标时间连通性实现序列图像之间的目标关联和目标检测,依据目标与背景运动规律的差别,通过运动特性进行有效检测;
S3、根据两种方法检测的判决结果,对所检测的目标进行分级,确定被检测的目标的可信度,得到具有较高确信度的目标检测结果f2(x,y)。
优选的,所述步骤三中相机系与图像系的具体映射过程如下:
A、根据目标检测结果,给出当前目标质心在图像系内的成像点坐标信息(xt,yt);
B、默认摄像机系的主轴与成像平面交点的像素坐标在图像中心,OcXcYcZc为相机系,OtXtYt为图像平面,目标点M在摄像机系的坐标表示为M(xc,yc,zc),在图像平面上的成像点坐标为m(xt,yt);通过毫米波测距,可得相机与目标的距离L。根据几何关系:可以解算相机系与图像系之间存在的映射关系,得到目标点在摄像机系内的坐标(xc,yc,zc)。
优选的,所述步骤四当中机体系与相机系的坐标转换具体过程如下:所述相机的姿态角设置为[θφψ]T,其转换关系如下:
与现有技术相比,本发明的有益效果是:
1、本发明通过对摄取图像进行背景抑制算法和滤波预处理起到了提高摄取图像质量和特征增强的效果;而经过质量提高和特征增强后的图像可以为后续的定位打好基础。
2、引入降分辨率思想,使得复杂的红外背景进一步被平滑,图像上的高频噪声得到了抑制,同时保留了大部分复杂背景估计所需的低空杂波信号。
3、分别利用单帧目标检测和帧间目标检测这两种不同算法来应对不同杂波,起到了抑制效果;从而既能可靠的提取目标,又能具有较低的虚警率;以便得到准确度较高的目标检测结果,从而来提高更准确的定位坐标。
附图说明
图1为本发明流程图;
图2为本发明红外相机小孔成像模型图;
图3为本发明无人机与相机角度关系图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-3,本发明提供一种技术方案:一种嵌入式机载红外图像视觉导航定位方法,包括以下步骤:
步骤一:读取摄像头采集到的红外原始图像f(x,y),利用背景抑制算法对图像进行处理,得到校正后的图像f1(x,y);
步骤二:利用不同检测算法对不同虚警的抑制作用效果,具体是对校正后的图像f1(x,y)分别进行单帧目标检测和帧间比较目标检测,将检测结果综合判断,得到最终的检测结果图像f2(x,y);
步骤三:读取检测结果图像f2(x,y),其中(xt,yt)为图像中检测到的目标质心坐标位置,根据相机系与图像系映射关系及毫米波雷达测距结果得到目标点在相机系内的坐标(xc,yc,zc);
步骤四:由于相机与无人机存在固联关系,机体系与相机系存在默认的坐标转换矩阵T,可得目标在机体系内的坐标(xb,yb,zb)。
所述步骤一当中的背景抑制过程具体如下:
a、采用中值滤波对红外原始图像f(x,y)进行平滑及噪声消除,对滤波模板下的对应像素进行灰度值排序进行中值求取,将中值赋给当前模板的中心像素,用这种方式得到预处理图像f'(x,y);其目的是为了更多的保护图像边缘和细节信息,起到质量提高和特征增强的效果;
b、引入降分辨率思想,采用高斯金字塔降采样将图像的高频部分和低频部分区分开;在低分辨率下,使得复杂的红外背景进一步被平滑,图像上的高频噪声得到了抑制,同时保留了大部分复杂背景估计所需的低空杂波信号,得到降采样图像f”(x,y);所述高斯金字塔构造公式为:
c、通过Cubic插值算法对图片f”(x,y)进行分辨率调整,重新调整为与预处理图像相同尺寸的目标图像,所述Cubic插值算法避免了因为放大红外图像而导致边缘细节退化,所述构造的Cubic函数如下:
d、将预处理图像f'(x,y)与预测背景f”'(x,y)进行差分,可以将背景和目标区分开,从而达到提高图像信噪比的目的,得到校正后的图像f1(x,y)。
所述步骤二的目标检测过程具体如下:
S1、所述单帧目标检测具体是利用用灰度信息区域分割对目标进行提取;
S2、所述帧间比较目标检测具体是利用目标时间连通性实现序列图像之间的目标关联和目标检测,依据目标与背景运动规律的差别,通过运动特性进行有效检测;
S3、根据两种方法检测的判决结果,对所检测的目标进行分级,确定被检测的目标的可信度,得到具有较高确信度的目标检测结果f2(x,y)。
所述步骤三中相机系与图像系的具体映射过程如下:
A、根据目标检测结果,给出当前目标质心在图像系内的成像点坐标信息(xt,yt);
B、默认摄像机系的主轴与成像平面交点的像素坐标在图像中心,OcXcYcZc为相机系,OtXtYt为图像平面,目标点M在摄像机系的坐标表示为M(xc,yc,zc),在图像平面上的成像点坐标为m(xt,yt);通过毫米波测距,可得相机与目标的距离L。根据几何关系:可以解算相机系与图像系之间存在的映射关系,得到目标点在摄像机系内的坐标(xc,yc,zc)。
所述步骤四当中机体系与相机系的坐标转换具体过程如下:所述相机的姿态角设置为[θφψ]T,其转换关系如下:
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种嵌入式机载红外图像视觉导航定位方法,其特征在于,包括以下步骤:
步骤一:读取相机采集到的红外原始图像f(x,y),利用背景抑制算法对图像进行处理,得到校正后的图像f1(x,y);
步骤二:利用不同检测算法对不同虚警的抑制作用效果,具体是对校正后的图像f1(x,y)分别进行单帧目标检测和帧间比较目标检测,将检测结果综合判断,得到最终的检测结果图像f2(x,y);
步骤三:读取检测结果图像f2(x,y),其中(xt,yt)为图像中检测到的目标质心坐标位置,根据相机系与图像系映射关系及毫米波雷达测距结果得到目标点在相机系内的坐标(xc,yc,zc);
步骤四:由于相机与无人机存在固联关系,机体系与相机系存在默认的坐标转换矩阵T1,可得目标在机体系内的坐标(xb,yb,zb);
所述步骤一当中的背景抑制算法具体如下:
a、采用中值滤波对红外原始图像f(x,y)进行平滑及噪声消除,对滤波模板下的对应像素进行灰度值排序进行中值求取,将中值赋给当前模板的中心像素,用这种方式得到预处理图像f1(x,y);
b、采用高斯金字塔构造公式将采样图像的高频部分和低频部分区分开;在低分辨率下,使得复杂的红外背景进一步被平滑,图像上的高频噪声得到了抑制,同时保留了大部分复杂背景估计所需的低空杂波信号,得到降采样图像f”(x,y);
c、通过Cubic插值算法对图片进行分辨率调整,重新调整为与预处理图像相同尺寸的目标图像,所述Cubic插值算法的函数如下:
d、将预处理图像与预测背景f”'(x,y)进行差分,可以将背景和目标区分开,从而达到提高图像信噪比的目的,得到校正后的图像。
2.根据权利要求1所述的一种嵌入式机载红外图像视觉导航定位方法,其特征在于:所述步骤二中的目标检测的检测过程具体如下:
S1、所述单帧目标检测具体是利用用灰度信息区域分割对目标进行提取;
S2、所述帧间比较目标检测具体是利用目标时间连通性实现序列图像之间的目标关联和目标检测,依据目标与背景运动规律的差别,通过运动特性进行有效检测;
S3、根据两种方法检测的判决结果,对所检测的目标进行分级,确定被检测的目标的可信度,得到具有较高确信度的目标检测结果。
3.根据权利要求1所述的一种嵌入式机载红外图像视觉导航定位方法,其特征在于:所述步骤三中相机系与图像系的具体映射过程如下:
A、根据目标检测结果,给出当前目标质心在图像系内的成像点坐标信息(xt,yt);
B、默认相机系的主轴与成像平面交点的像素坐标在图像中心,OcXcYcZc为相机系,OtXtYt为图像平面,目标点M在相机系的坐标表示为M(xc,yc,zc),在图像平面上的成像点坐标为m(xt,yt);通过毫米波测距,可得相机与目标的距离L,根据几何关系:可以解算相机系与图像系之间存在的映射关系,得到目标点在相机系内的坐标(xc,yc,zc)。
4.根据权利要求1所述的一种嵌入式机载红外图像视觉导航定位方法,其特征在于:所述步骤四当中机体系与相机系的坐标转换具体过程如下:所述相机的姿态角设置为[θ φψ]T,其转换关系如下:
其中T1为机体系与相机系的坐标转换矩阵。
CN201911058232.1A 2019-10-14 2019-11-01 一种嵌入式机载红外图像视觉导航定位方法 Active CN110827257B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019109738269 2019-10-14
CN201910973826 2019-10-14

Publications (2)

Publication Number Publication Date
CN110827257A CN110827257A (zh) 2020-02-21
CN110827257B true CN110827257B (zh) 2024-03-29

Family

ID=69552163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911058232.1A Active CN110827257B (zh) 2019-10-14 2019-11-01 一种嵌入式机载红外图像视觉导航定位方法

Country Status (2)

Country Link
CN (1) CN110827257B (zh)
WO (1) WO2021072996A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827257B (zh) * 2019-10-14 2024-03-29 南京信为峰光电科技有限公司 一种嵌入式机载红外图像视觉导航定位方法
CN116124094B (zh) * 2022-12-13 2024-10-15 西北工业大学 基于无人机侦察图像与组合导航信息的多目标协同定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016075615A (ja) * 2014-10-08 2016-05-12 三菱電機株式会社 目標検出装置
CN106204629A (zh) * 2016-08-17 2016-12-07 西安电子科技大学 天基雷达与红外数据融合在轨动目标检测方法
CN106842185A (zh) * 2017-03-30 2017-06-13 福建无线电设备有限公司 低小慢目标监测系统及其工作方法
CN114661066A (zh) * 2022-04-18 2022-06-24 中国电子科技集团公司第五十四研究所 一种基于强化学习的无人机集群智能避障方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724850B1 (en) * 2011-06-21 2014-05-13 The United States Of America As Represented By The Secretary Of The Navy Small object detection using meaningful features and generalized histograms
CN109859247B (zh) * 2019-02-19 2022-09-06 南京理工大学 近地面场景红外小目标检测方法
CN110827257B (zh) * 2019-10-14 2024-03-29 南京信为峰光电科技有限公司 一种嵌入式机载红外图像视觉导航定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016075615A (ja) * 2014-10-08 2016-05-12 三菱電機株式会社 目標検出装置
CN106204629A (zh) * 2016-08-17 2016-12-07 西安电子科技大学 天基雷达与红外数据融合在轨动目标检测方法
CN106842185A (zh) * 2017-03-30 2017-06-13 福建无线电设备有限公司 低小慢目标监测系统及其工作方法
CN114661066A (zh) * 2022-04-18 2022-06-24 中国电子科技集团公司第五十四研究所 一种基于强化学习的无人机集群智能避障方法

Also Published As

Publication number Publication date
CN110827257A (zh) 2020-02-21
WO2021072996A1 (zh) 2021-04-22

Similar Documents

Publication Publication Date Title
US9031285B2 (en) Detection of floating objects in maritime video using a mobile camera
CN101214851B (zh) 船舶行驶智能型全天候主动安全预警系统及其预警方法
CN111027496B (zh) 基于空时联合局部对比度的红外弱小目标检测方法
Gershikov et al. Horizon line detection in marine images: which method to choose?
CN109859247B (zh) 近地面场景红外小目标检测方法
CN105427342B (zh) 一种水下小目标声呐图像目标检测跟踪方法和系统
CN108229433B (zh) 一种基于直线段检测和形状特征的靠岸舰船检测方法
JP2009064410A (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
CN102176243A (zh) 一种基于可见光和红外摄像机的目标测距方法
CN104834915B (zh) 一种复杂云天背景下小红外目标检测方法
CN111323756B (zh) 一种基于深度学习的航海雷达目标检测方法及装置
CN112184749B (zh) 基于视频sar跨域联合的动目标跟踪方法
CN110827257B (zh) 一种嵌入式机载红外图像视觉导航定位方法
CN107942329A (zh) 机动平台单通道sar对海面舰船目标检测方法
CN112597839B (zh) 基于车载毫米波雷达的道路边界检测方法
US20240303852A1 (en) Methods and systems for detecting vessels
CN111323757B (zh) 一种航海雷达目标检测方法及装置
CN117075112A (zh) 一种方位角航迹匹配的无人艇雷达光电融合方法
CN114549642B (zh) 一种低对比度红外弱小目标检测方法
CN108520255B (zh) 一种红外弱小目标检测方法及装置
CN112669332A (zh) 一种基于双向局部极大值和峰值局部奇异性判断海天条件和检测红外目标的方法
Ji-yang et al. On-board ship targets detection method based on multi-scale salience enhancement for remote sensing image
Li et al. A sea–sky–line detection method for long wave infrared image based on improved Swin Transformer
CN115267827A (zh) 一种基于高度密度筛选的激光雷达港区障碍物感知方法
Pappas et al. Superpixel-guided CFAR detection of ships at sea in SAR imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231211

Address after: South Side, Floor 4, Building 3, Sancai Building, No. 10, Yongzhi Road, Qinhuai District, Nanjing, Jiangsu Province, 210000

Applicant after: NANJING XINWEIFENG OPTOELECTRONICS TECHNOLOGY CO.,LTD.

Address before: 210000 f108-8, science and technology entrepreneurship R & D incubation complex building (No.5 building), Nanjing Baixia high tech Industrial Park, No.5 Yongzhi Road, Qinhuai District, Nanjing City, Jiangsu Province

Applicant before: Nanjing xinweifeng Defense Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant