CN113936197A - 一种基于视觉显著性对图像进行目标检测的方法和系统 - Google Patents

一种基于视觉显著性对图像进行目标检测的方法和系统 Download PDF

Info

Publication number
CN113936197A
CN113936197A CN202111157663.0A CN202111157663A CN113936197A CN 113936197 A CN113936197 A CN 113936197A CN 202111157663 A CN202111157663 A CN 202111157663A CN 113936197 A CN113936197 A CN 113936197A
Authority
CN
China
Prior art keywords
image
visual saliency
intensity
laser reflection
scales
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111157663.0A
Other languages
English (en)
Other versions
CN113936197B (zh
Inventor
胡以华
张鑫源
石亮
徐世龙
方佳节
王一程
韩飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111157663.0A priority Critical patent/CN113936197B/zh
Publication of CN113936197A publication Critical patent/CN113936197A/zh
Application granted granted Critical
Publication of CN113936197B publication Critical patent/CN113936197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features

Abstract

本发明提出一种基于视觉显著性对图像进行目标检测的方法和系统。方法包括:步骤S1、利用激光反射层析成像装置获取激光反射层析雷达图像;步骤S2、通过对激光反射层析雷达图像在不同采样尺度上进行分解,来提取激光反射层析雷达图像的基于不同采样尺度的强度特征和基于不同采样尺度的方向特征;步骤S3、根据不同采样尺度的强度特征之间的差异确定强度特征图,以及根据不同采样尺度的方向特征之间的差异确定方向特征图;步骤S4、融合强度特征图和方向特征图,以获取激光反射层析雷达图像的视觉显著图;步骤S5、对视觉显著图进行均值滤波处理,并将经均值滤波处理的视觉显著图与激光反射层析雷达图像相乘,以得到目标轮廓图像。

Description

一种基于视觉显著性对图像进行目标检测的方法和系统
技术领域
本发明属于目标检测领域,尤其涉及一种基于视觉显著性对图像进行目标检测的方法和系统。
背景技术
激光反射层析雷达成像是一种兼顾远距离和高分辨率成像的新型激光雷达系统,其工作原理是通过激光雷达探测目标的多个角度并收集回波信号,获取目标多角度的深度信息,利用成像算法来计算重构目标的层析面轮廓图像。但在实际工作过程中,利用常见的成像算法(例如,滤波反投影算法)在计算重构目标的层析面轮廓图像时,会产生大量的伪影,且实际探测所得信号的信噪比较低,导致重构图像存在很多噪点,从而影响重构图像的准确性。
此外,现有的激光反射层析雷达图像目标检测方法主要包括阈值分割法,其基本原理是:通过设定不同的特征阈值,把图像像素点分为若干类。设原始图像为f(x,y),按照一定的准则f(x,y)中找到特征值T,将图像分割为两个部分,得到阈值分割图像,若取分割后的图像上的点的灰度值为0或255,也就是将整个图像呈现出明显的黑白效果,即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的阈值分割图像,即为二值化处理。此种实现方式中,分割阈值的选取是个难点。例如,图1(a)为根据本发明比较例的飞机模型目标的俯视图,图1(b)为根据本发明比较例的飞机模型目标的仰视图,图1(c)为根据本发明比较例的飞机模型目标的滤波反投影重构图像,可见阈值分割法所得图像存在问题包括:(i)选取的分割阈值较小,可能会保留过多伪影和噪点,如图1(d)所示;(ii)选取的分割阈值较大,可能会失去大量目标信息,如图1(e)所示。
因此,需要提出一种能够尽可能去除伪影和噪点,并同时保留目标信息的激光反射层析雷达图像的目标检测方法。
发明内容
为了解决上述技术问题,本发明提出了一种基于视觉显著性对图像进行目标检测的技术方案。
本发明第一方面公开了一种基于视觉显著性对图像进行目标检测的方法,所述图像为激光反射层析雷达图像,所述方法具体包括:
步骤S1、利用激光反射层析成像装置获取所述激光反射层析雷达图像,所述激光反射层析成像装置包括激光器、衰减片、扩束镜、旋转台、光学镜头、探测器和示波器;
步骤S2、通过对所述激光反射层析雷达图像在不同采样尺度上进行分解,来提取所述激光反射层析雷达图像的基于所述不同采样尺度的强度特征和基于所述不同采样尺度的方向特征;
步骤S3、根据所述不同采样尺度的强度特征之间的差异确定强度特征图,以及根据所述不同采样尺度的方向特征之间的差异确定方向特征图;
步骤S4、融合所述强度特征图和所述方向特征图,以获取所述激光反射层析雷达图像的视觉显著图,所述视觉显著图表征所述激光反射层析雷达图像的视觉显著性;
步骤S5、对所述视觉显著图进行均值滤波处理,并将经均值滤波处理的视觉显著图与所述激光反射层析雷达图像相乘,以得到目标轮廓图像,其中,获取所述经均值滤波处理的视觉显著图具有平滑二维分布。
根据本发明第一方面的方法,所述激光器的波长范围为400-1700纳米;所述探测器为硅基探测器或者铟镓砷探测器,所述硅基探测器的响应带宽为400-1100纳米,光敏面为0.04平方毫米,截止频率为3吉赫,具备响应脉宽为1纳秒的信号的能力,所述铟镓砷探测器的响应带宽为900-1700纳米;所述光学镜头为C型可变焦光学镜头。
根据本发明第一方面的方法,在所述步骤S2中,所述激光反射层析雷达图像为源图像I0,所述采样尺度包括1/2、1/4、1/8、1/16、1/32、1/64、1/128、1/256,利用所述采样尺度经高斯滤波对所述源图像I0进行分解,以获取具有第一采样尺度1/2的第一分解图像I1、具有第二采样尺度1/4的第二分解图像I2、具有第三采样尺度1/8的第三分解图像I3、具有第四采样尺度1/16的第四分解图像I4、具有第五采样尺度1/32的第五分解图像I5、具有第六采样尺度1/64的第六分解图像I6、具有第七采样尺度1/128的第七分解图像I7、具有第八采样尺度1/256的第八分解图像I8。。
根据本发明第一方面的方法,在所述步骤S2中,从各个分解图像I1-I8中分别提取提取所述强度特征和方向特征,所述强度特征以图像亮度信息为基础,包含八组强度特征信息,所述方向特征包含八组方向特征信息,每组方向特征信息具有0°、45°、90°、135°四个方向上的特征信息。。
根据本发明第一方面的方法,所述步骤S3具体包括:
对任意具有不同采样尺度的两组强度特征信息通过插值处理实现尺度归一化;将经归一化的两组强度特征求取差的绝对值,以获取一幅强度特征图;重复上述步骤,获取多幅强度特征图;
对任意具有不同采样尺度的两组方向特征信息通过插值处理实现尺度归一化;将经归一化的两组方向特征求取差的绝对值,以获取一幅方向特征图;重复上述步骤,获取多幅方向特征图,每一幅方向特征图包含0°、45°、90°、135°四个方向上的特征信息。
根据本发明第一方面的方法,所述步骤S4具体包括:
通过插值处理实现所述多幅强度特征图的尺度归一化,将尺度归一化的多幅强度特征图通过线性求和,以得到强度特征融合图;
通过插值处理实现所述多幅方向特征图的尺度归一化,将尺度归一化的多幅方向特征图通过线性求和,以得到方向特征融合图;
将所述强度特征融合图和所述方向特征融合图进行线性叠加,以获取所述激光反射层析雷达图像的视觉显著图。
根据本发明第一方面的方法,在所述步骤S5中,所述均值滤波处理具体包括:对任一像素点,获取与所述任一像素点相邻的若干像素点作为邻域点;对所述邻域点的像素值求取平均数,作为所述任一像素点经均值滤波后的像素值。
本发明第二方面公开了一种基于视觉显著性对图像进行目标检测的系统,所述图像为激光反射层析雷达图像,所述系统具体包括:
第一处理单元,被配置为,利用激光反射层析成像装置获取所述激光反射层析雷达图像,所述激光反射层析成像装置包括激光器、衰减片、扩束镜、旋转台、光学镜头、探测器和示波器;
第二处理单元,被配置为,通过对所述激光反射层析雷达图像在不同采样尺度上进行分解,来提取所述激光反射层析雷达图像的基于所述不同采样尺度的强度特征和基于所述不同采样尺度的方向特征;
第三处理单元,被配置为,根据所述不同采样尺度的强度特征之间的差异确定强度特征图,以及根据所述不同采样尺度的方向特征之间的差异确定方向特征图;
第四处理单元,被配置为,融合所述强度特征图和所述方向特征图,以获取所述激光反射层析雷达图像的视觉显著图,所述视觉显著图表征所述激光反射层析雷达图像的视觉显著性;
第五处理单元,被配置为,对所述视觉显著图进行均值滤波处理,并将经均值滤波处理的视觉显著图与所述激光反射层析雷达图像相乘,以得到目标轮廓图像,其中,获取所述经均值滤波处理的视觉显著图具有平滑二维分布。
根据本发明第二方面的系统,所述激光器的波长范围为400-1700纳米;所述探测器为硅基探测器或者铟镓砷探测器,所述硅基探测器的响应带宽为400-1100纳米,光敏面为0.04平方毫米,截止频率为3吉赫,具备响应脉宽为1纳秒的信号的能力,所述铟镓砷探测器的响应带宽为900-1700纳米;所述光学镜头为C型可变焦光学镜头。
根据本发明第二方面的系统,所述激光反射层析雷达图像为源图像I0,所述采样尺度包括1/2、1/4、1/8、1/16、1/32、1/64、1/128、1/256,所述第二处理单元具体被配置为:利用所述采样尺度经高斯滤波对所述源图像I0进行分解,以获取具有第一采样尺度1/2的第一分解图像I1、具有第二采样尺度1/4的第二分解图像I2、具有第三采样尺度1/8的第三分解图像I3、具有第四采样尺度1/16的第四分解图像I4、具有第五采样尺度1/32的第五分解图像I5、具有第六采样尺度1/64的第六分解图像I6、具有第七采样尺度1/128的第七分解图像I7、具有第八采样尺度1/256的第八分解图像I8
根据本发明第二方面的系统,所述第二处理单元具体被配置为,从各个分解图像I1-I8中分别提取提取所述强度特征和方向特征,所述强度特征以图像亮度信息为基础,包含八组强度特征信息,所述方向特征包含八组方向特征信息,每组方向特征信息具有0°、45°、90°、135°四个方向上的特征信息。
根据本发明第二方面的系统,所述第三处理单元具体被配置为:
对任意具有不同采样尺度的两组强度特征信息通过插值处理实现尺度归一化;将经归一化的两组强度特征求取差的绝对值,以获取一幅强度特征图;重复上述步骤,获取多幅强度特征图;
对任意具有不同采样尺度的两组方向特征信息通过插值处理实现尺度归一化;将经归一化的两组方向特征求取差的绝对值,以获取一幅方向特征图;重复上述步骤,获取多幅方向特征图,每一幅方向特征图包含0°、45°、90°、135°四个方向上的特征信息。
根据本发明第二方面的系统,所述第四处理单元具体被配置为:
通过插值处理实现所述多幅强度特征图的尺度归一化,将尺度归一化的多幅强度特征图通过线性求和,以得到强度特征融合图;
通过插值处理实现所述多幅方向特征图的尺度归一化,将尺度归一化的多幅方向特征图通过线性求和,以得到方向特征融合图;
将所述强度特征融合图和所述方向特征融合图进行线性叠加,以获取所述激光反射层析雷达图像的视觉显著图。
根据本发明第二方面的系统,所述第五处理单元具体被配置为,所述均值滤波处理具体包括:对任一像素点,获取与所述任一像素点相邻的若干像素点作为邻域点;对所述邻域点的像素值求取平均数,作为所述任一像素点经均值滤波后的像素值。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时,实现本发明第一方面所述的一种基于视觉显著性对图像进行目标检测的方法中的步骤。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现本发明第一方面所述的一种基于视觉显著性对图像进行目标检测的方法中的步骤。
综上,本发明的技术方案采用视觉显著性检测和图像融合技术,输入激光反射层析雷达图像,通过视觉显著性检测得到视觉显著图,然后对其均值滤波后与初始输入的激光反射层析雷达图像相乘,得到融合后的目标轮廓像,从而实现目标检测。该技术方案解决了阈值分割法存在的选取分割阈值较小会保留过多伪影和噪点;选取的分割阈值较大会失去大量目标信息的技术问题。该技术方案能够滤除大量伪影和噪点,同时尽可能保留目标信息。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1(a)为根据本发明比较例的飞机模型目标的俯视图;
图1(b)为根据本发明比较例的飞机模型目标的仰视图;
图1(c)为根据本发明比较例的飞机模型目标的滤波反投影重构图像;
图1(d)为根据本发明比较例的选取较小分割阈值时的分割结果图像;
图1(e)为根据本发明比较例的选取较大分割阈值时的分割结果图像;
图2为根据本发明实施例的一种基于视觉显著性对图像进行目标检测的方法的流程图;
图3为根据本发明实施例的激光反射层析成像装置的示意图;
图4(a)为根据本发明实施例的三棱柱模型的反投影重建图像;
图4(b)为根据本发明实施例的三棱柱模型的视觉显著图;
图4(c)为根据本发明实施例的三棱柱模型的目标轮廓图像;
图4(d)为根据本发明实施例的选取较大分割阈值时的三棱柱模型的分割结果图像;
图4(e)为根据本发明实施例的选取较小分割阈值时的三棱柱模型的分割结果图像;
图5(a)为根据本发明实施例的目标飞机的三维视觉显著图;
图5(b)为根据本发明实施例的目标飞机的三维视觉显著图经平滑后的二维分布示意图;
图6(a)为根据本发明实施例的基于1度间隔采集的360组数据得到的目标飞机的二维轮廓图像;
图6(b)为根据本发明实施例的基于2度间隔采集的180组数据得到的目标飞机的二维轮廓图像;
图6(c)为根据本发明实施例的基于4度间隔采集的90组数据得到的目标飞机的二维轮廓图像;
图6(d)为根据本发明实施例的基于1度间隔采集的360组数据得到的目标飞机的目标轮廓图像;
图6(e)为根据本发明实施例的基于2度间隔采集的180组数据得到的目标飞机的目标轮廓图像;
图6(f)为根据本发明实施例的基于4度间隔采集的90组数据得到的目标飞机的目标轮廓图像;
图7为根据本发明实施例的一种基于视觉显著性对图像进行目标检测的系统的结构图;
图8为根据本发明实施例的一种电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明第一方面公开了一种基于视觉显著性对图像进行目标检测的方法。所述图像为激光反射层析雷达图像。激光反射层析成像技术是在计算机层析扫描基础上发展而来的新型成像探测技术,其基本原理是将目标表面轮廓在多角度下进行反射投影,某角度下用平行激光束完全覆盖三维目标后得到该角度下包含目标表面反射分布信息的回波数据,将采集到的回波数据解卷积处理后进行图像重构。
图2为根据本发明实施例的一种基于视觉显著性对图像进行目标检测的方法的流程图;如图2所示,所述方法具体包括:
步骤S1、利用激光反射层析成像装置获取所述激光反射层析雷达图像,所述激光反射层析成像装置包括激光器、衰减片、扩束镜、旋转台、光学镜头、探测器和示波器;
步骤S2、通过对所述激光反射层析雷达图像在不同采样尺度上进行分解,来提取所述激光反射层析雷达图像的基于所述不同采样尺度的强度特征和基于所述不同采样尺度的方向特征;
步骤S3、根据所述不同采样尺度的强度特征之间的差异确定强度特征图,以及根据所述不同采样尺度的方向特征之间的差异确定方向特征图;
步骤S4、融合所述强度特征图和所述方向特征图,以获取所述激光反射层析雷达图像的视觉显著图,所述视觉显著图表征所述激光反射层析雷达图像的视觉显著性;
步骤S5、对所述视觉显著图进行均值滤波处理,并将经均值滤波处理的视觉显著图与所述激光反射层析雷达图像相乘,以得到目标轮廓图像,其中,获取所述经均值滤波处理的视觉显著图具有平滑二维分布。
在步骤S1,利用激光反射层析成像装置获取所述激光反射层析雷达图像,所述激光反射层析成像装置包括激光器、衰减片、扩束镜、旋转台、光学镜头、探测器和示波器。
在一些实施例中,所述激光器的波长范围为400-1700纳米;所述探测器为硅基探测器或者铟镓砷探测器,所述硅基探测器的响应带宽为400-1100纳米,光敏面为0.04平方毫米,截止频率为3吉赫,具备响应脉宽为1纳秒的信号的能力,所述铟镓砷探测器的响应带宽为900-1700纳米;所述光学镜头为C型可变焦光学镜头。
具体地,成像装置的工作原理为:发射单元发出脉冲激光,光斑完全覆盖目标,经由目标表面反射分布调制后得到反应目标深度信息的回波波形,由接收单元的光学系统接收后经由雪崩光电二极管转换后由示波器采集,旋转目标一周进行等间隔采样得到全角度下的回波波形。滤波反投影过程包括:将角度φ得到的回波以旋转中心为轴对称,再与角度φ+180°得到的回波叠加得到角度φ的投影数据,先对其进行一次一维傅立叶变换,再与滤波器函数进行卷积运算,得到各个方向卷积滤波后的投影数据;然后把它们沿各个方向进行反投影,即按其原路径平均分配到每一矩阵单元上,进行重叠后得到每一矩阵单元的值;再经过适当处理后得到被扫描目标的断层图像。
图3为根据本发明实施例的激光反射层析成像装置的示意图;如图3所示,该装置采用532纳米波长的调Q激光器(调Q技术又叫Q开关技术,是将一般输出的连续激光能量压缩到宽度极窄的脉冲中发射,从而使光源的峰值功率可提高几个数量级的一种技术),脉冲调制样式(指发射激光脉冲形状)为高斯脉冲,脉冲宽度为1纳秒。发射光束经过一个可调节的衰减片后,经扩束镜扩束后指向目标。接收镜头采用工业标准C型口光圈可变焦的光学镜头,后面接硅基探测器(即为硅基雪崩光电二极管),响应带宽为400-1100纳米,光敏面为0.04平方毫米,截止频率达3吉赫,可响应脉宽1纳秒的信号;该装置本身是非相干探测体制且目标对激光产生漫反射,所以光路并未设计为收发同轴模式。在该实施例中,目标为一个高1米,底边长为0.8米、1米、1米的三棱柱模型,设置步进角度为1度,进行360度全角度探测,共收集了360组投影回波,探测距离39.7米。回波配准后作标准的滤波反投影处理,滤波算子采用R-L滤波器(即Ram-Lak滤波器,重建图像过程中必须恢复投影的频率成分,斜坡滤波器即为一条过原点的直线,恢复的幅度与频率相等,频率越高的成分恢复越多),反投影重建图像如图4(a)所示。
具体地,信号源触发Nd:YAG激光器发出脉冲激光,经由衰减片衰减后再经由扩束镜压缩发散角后照射转台上的目标,使得光斑完全覆盖目标;采用C型口光学镜头接收发射脉冲经由目标表面反射率分布调制后的回波波形,耦合到雪崩光电二极管的光敏面上完成光电转换,再由示波器完成采集。将角度φ得到的回波以旋转中心为轴对称,再与角度φ+180°得到的回波叠加得到角度φ的投影数据,先对其进行一次一维傅立叶变换,再与滤波器函数进行卷积运算,得到各个方向卷积滤波后的投影数据;然后把它们沿各个方向进行反投影,即按其原路径平均分配到每一矩阵单元上,进行重叠后得到每一矩阵单元的值;再经过适当处理后得到被扫描目标的断层图像。
在步骤S2,通过对所述激光反射层析雷达图像在不同采样尺度上进行分解,来提取所述激光反射层析雷达图像的基于所述不同采样尺度的强度特征和基于所述不同采样尺度的方向特征。
在一些实施例中,在所述步骤S2中,所述激光反射层析雷达图像为源图像I0,所述采样尺度包括1/2、1/4、1/8、1/16、1/32、1/64、1/128、1/256,利用所述采样尺度经高斯滤波对所述源图像I0进行分解,以获取具有第一采样尺度1/2的第一分解图像I1、具有第二采样尺度1/4的第二分解图像I2、具有第三采样尺度1/8的第三分解图像I3、具有第四采样尺度1/16的第四分解图像I4、具有第五采样尺度1/32的第五分解图像I5、具有第六采样尺度1/64的第六分解图像I6、具有第七采样尺度1/128的第七分解图像I7、具有第八采样尺度1/256的第八分解图像I8
在一些实施例中,在所述步骤S2中,从各个分解图像I1-I8中分别提取提取所述强度特征和方向特征,所述强度特征以图像亮度信息为基础,包含八组强度特征信息,所述方向特征包含八组方向特征信息,每组方向特征信息具有0°、45°、90°、135°四个方向上的特征信息。
在步骤S3,根据所述不同采样尺度的强度特征之间的差异确定强度特征图,以及根据所述不同采样尺度的方向特征之间的差异确定方向特征图
在一些实施例中,所述步骤S3具体包括:
对任意具有不同采样尺度的两组强度特征信息通过插值处理实现尺度归一化;将经归一化的两组强度特征求取差的绝对值,以获取一幅强度特征图;重复上述步骤,获取多幅强度特征图;例如选取具有不同采样尺度的两组强度特征信息可以为:I2-I5、I2-I6、I3-I6、I3-I7、I4-I7、I4-I8的强度特征信息。
对任意具有不同采样尺度的两组方向特征信息通过插值处理实现尺度归一化;将经归一化的两组方向特征求取差的绝对值,以获取一幅方向特征图;重复上述步骤,获取多幅方向特征图,每一幅方向特征图包含0°、45°、90°、135°四个方向上的特征信息,例如选取具有不同采样尺度的两组方向机特征信息可以为:I2-I5、I2-I6、I3-I6、I3-I7、I4-I7、I4-I8的方向特征信息。
在步骤S4,融合所述强度特征图和所述方向特征图,以获取所述激光反射层析雷达图像的视觉显著图,所述视觉显著图表征所述激光反射层析雷达图像的视觉显著。
在一些实施例中,所述步骤S4具体包括:
通过插值处理实现所述多幅强度特征图的尺度归一化,将尺度归一化的多幅强度特征图通过线性求和,以得到强度特征融合图;
通过插值处理实现所述多幅方向特征图的尺度归一化,将尺度归一化的多幅方向特征图通过线性求和,以得到方向特征融合图;
将所述强度特征融合图和所述方向特征融合图进行线性叠加,以获取所述激光反射层析雷达图像的视觉显著图。
组合强度特征图的方向特征图的方式是简单的线性叠加,视觉显著性检测即提取图像中的显著区域(感兴趣的区域),在图像中即为灰度值较高的区域。
在步骤S5中,对所述视觉显著图进行均值滤波处理,并将经均值滤波处理的视觉显著图与所述激光反射层析雷达图像相乘,以得到目标轮廓图像,其中,获取所述经均值滤波处理的视觉显著图具有平滑二维分布。
在一些实施例中,在所述步骤S5中,所述均值滤波处理具体包括:对任一像素点,获取与所述任一像素点相邻的若干像素点作为邻域点;对所述邻域点的像素值求取平均数,作为所述任一像素点经均值滤波后的像素值。
所述视觉显著图如图4(b)所示;经均值滤波处理的视觉显著图与所述激光反射层析雷达图像相乘后的图像(所述目标轮廓图像)如图4(c)所示;与阈值分割图像的方式相比,选取较大分割阈值时的分割图像如图4(d)所示,选取较小分割阈值时的分割图像如图4(e)所示。可见,选取较大分割阈值时,大量目标信息丢失;选取较小分割阈值时,图像中存在伪影和噪点。而采用本发明第一方面的方法得到的目标轮廓图像(如图4(c)所示),不仅消除了滤波反投影图像中的伪影和噪点,而且保留了尽可能多的目标信息,因此这种方法用于激光反射层析雷达图像目标检测具有可行性。
具体示例
运用3DSMAX(一款三维画图软件,用于绘制目标三维模型)生成探测目标飞机的1:1三维立体模型如图1(a)-1(b)所示,其中飞机翼展约为13米,长约19米,机身高度约为2.8米。设置激光雷达距离目标坐标原点约为10千米,激光束中心相对于目标场景的俯仰角为0度,激光束发散角为1毫拉德,激光束分解为30*30的子光束线阵。得到滤波反投影重构图像图1(c),经过视觉显著性检测,得到的视觉显著图的三维显示结果如图5(a)所示,具体流程包括先进行多尺度低级特征提取,分别得到强度特征和方向特征,然后采用中央-周边差操作分别得到强度特征图和方向特征图,最后将强度特征图和方向特征图组合,得到视觉显著图。
对视觉显著图进行均值滤波处理,得到平滑后的二维分布如图5(b)所示,其采用的主要方法为邻域平均法。基本原理是用均值代替原图像中的各个像素值,即对待处理的当前像素点(x,y),选择一个模板,该模板由其近邻的若干像素组成,求模板中所有像素的均值,再把该均值赋予当前像素点(x,y),作为处理后图像在该点上的灰度g(x,y),即
Figure BDA0003288878630000141
其中2m+1为滤波器大小,即(2m+1)2为该模板中包含当前像素在内的像素总个数。
将平滑后的二维分布图与初始输入的激光反射层析雷达图像相乘,即可得到融合后的目标轮廓像。在360度采样角度下,以1、2、4度间隔采集的360、180、90组数据运用滤波反投影算法重构目标的二维轮廓图像分别如图6(a)、6(b)、6(c)所示,将其与视觉显著图均值滤波后的二维分布相乘,即可得到融合后的目标轮廓图像如图6(d)、6(e)、6(f)所示,可以看到,融合后的图像明显消除了滤波反投影图像中的伪影和噪点,同时保留了足够多的目标信息。
可见,本发明第一方面的方法易于实现激光反射层析雷达图像目标检测,可以有效消除滤波反投影图像中的伪影和噪点,同时保留了尽可能多的目标信息,提高了重构图像的准确性,较之常见的阈值分割方法具有明显优势,这种基于视觉显著性和图像融合的激光反射层析雷达图像目标检测方法,是一种激光反射层析雷达图像目标检测的全新思路。
本发明第二方面公开了一种基于视觉显著性对图像进行目标检测的系统,所述图像为激光反射层析雷达图像。图7为根据本发明实施例的一种基于视觉显著性对图像进行目标检测的系统的结构图;如图7所示,所述系统700具体包括:
第一处理单元701,被配置为,利用激光反射层析成像装置获取所述激光反射层析雷达图像,所述激光反射层析成像装置包括激光器、衰减片、扩束镜、旋转台、光学镜头、探测器和示波器;
第二处理单元702,被配置为,通过对所述激光反射层析雷达图像在不同采样尺度上进行分解,来提取所述激光反射层析雷达图像的基于所述不同采样尺度的强度特征和基于所述不同采样尺度的方向特征;
第三处理单元703,被配置为,根据所述不同采样尺度的强度特征之间的差异确定强度特征图,以及根据所述不同采样尺度的方向特征之间的差异确定方向特征图;
第四处理单元704,被配置为,融合所述强度特征图和所述方向特征图,以获取所述激光反射层析雷达图像的视觉显著图,所述视觉显著图表征所述激光反射层析雷达图像的视觉显著性;
第五处理单元705,被配置为,对所述视觉显著图进行均值滤波处理,并将经均值滤波处理的视觉显著图与所述激光反射层析雷达图像相乘,以得到目标轮廓图像,其中,获取所述经均值滤波处理的视觉显著图具有平滑二维分布。
根据本发明第二方面的系统,所述激光器的波长范围为400-1700纳米;所述探测器为硅基探测器或者铟镓砷探测器,所述硅基探测器的响应带宽为400-1100纳米,光敏面为0.04平方毫米,截止频率为3吉赫,具备响应脉宽为1纳秒的信号的能力,所述铟镓砷探测器的响应带宽为900-1700纳米;所述光学镜头为C型可变焦光学镜头。
根据本发明第二方面的系统,所述激光反射层析雷达图像为源图像I0,所述采样尺度包括1/2、1/4、1/8、1/16、1/32、1/64、1/128、1/256,所述第二处理单元702具体被配置为:利用所述采样尺度经高斯滤波对所述源图像I0进行分解,以获取具有第一采样尺度1/2的第一分解图像I1、具有第二采样尺度1/4的第二分解图像I2、具有第三采样尺度1/8的第三分解图像I3、具有第四采样尺度1/16的第四分解图像I4、具有第五采样尺度1/32的第五分解图像I5、具有第六采样尺度1/64的第六分解图像I6、具有第七采样尺度1/128的第七分解图像I7、具有第八采样尺度1/256的第八分解图像I8
根据本发明第二方面的系统,所述第二处理单元702具体被配置为,从各个分解图像I1-I8中分别提取提取所述强度特征和方向特征,所述强度特征以图像亮度信息为基础,包含八组强度特征信息,所述方向特征包含八组方向特征信息,每组方向特征信息具有0°、45°、90°、135°四个方向上的特征信息。
根据本发明第二方面的系统,所述第三处理单元703具体被配置为:
对任意具有不同采样尺度的两组强度特征信息通过插值处理实现尺度归一化;将经归一化的两组强度特征求取差的绝对值,以获取一幅强度特征图;重复上述步骤,获取多幅强度特征图;
对任意具有不同采样尺度的两组方向特征信息通过插值处理实现尺度归一化;将经归一化的两组方向特征求取差的绝对值,以获取一幅方向特征图;重复上述步骤,获取多幅方向特征图,每一幅方向特征图包含0°、45°、90°、135°四个方向上的特征信息。
根据本发明第二方面的系统,所述第四处理单元704具体被配置为:
通过插值处理实现所述多幅强度特征图的尺度归一化,将尺度归一化的多幅强度特征图通过线性求和,以得到强度特征融合图;
通过插值处理实现所述多幅方向特征图的尺度归一化,将尺度归一化的多幅方向特征图通过线性求和,以得到方向特征融合图;
将所述强度特征融合图和所述方向特征融合图进行线性叠加,以获取所述激光反射层析雷达图像的视觉显著图。
根据本发明第二方面的系统,所述第五处理单元705具体被配置为,所述均值滤波处理具体包括:对任一像素点,获取与所述任一像素点相邻的若干像素点作为邻域点;对所述邻域点的像素值求取平均数,作为所述任一像素点经均值滤波后的像素值。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时,实现本发明第一方面所述的一种基于视觉显著性对图像进行目标检测的方法中的步骤。
图8为根据本发明实施例的一种电子设备的结构图;如图8所示,电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本公开的技术方案相关的部分的结构图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现本发明第一方面所述的一种基于视觉显著性对图像进行目标检测的方法中的步骤。
综上,本发明的技术方案采用视觉显著性检测和图像融合技术,输入激光反射层析雷达图像,通过视觉显著性检测得到视觉显著图,然后对其均值滤波后与初始输入的激光反射层析雷达图像相乘,得到融合后的目标轮廓像,从而实现目标检测。该技术方案解决了阈值分割法存在的选取分割阈值较小会保留过多伪影和噪点;选取的分割阈值较大会失去大量目标信息的技术问题。该技术方案能够滤除大量伪影和噪点,同时尽可能保留目标信息。
请注意,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于视觉显著性对图像进行目标检测的方法,其特征在于,所述图像为激光反射层析雷达图像,所述方法具体包括:
步骤S1、利用激光反射层析成像装置获取所述激光反射层析雷达图像,所述激光反射层析成像装置包括激光器、衰减片、扩束镜、旋转台、光学镜头、探测器和示波器;
步骤S2、通过对所述激光反射层析雷达图像在不同采样尺度上进行分解,来提取所述激光反射层析雷达图像的基于所述不同采样尺度的强度特征和基于所述不同采样尺度的方向特征;
步骤S3、根据所述不同采样尺度的强度特征之间的差异确定强度特征图,以及根据所述不同采样尺度的方向特征之间的差异确定方向特征图;
步骤S4、融合所述强度特征图和所述方向特征图,以获取所述激光反射层析雷达图像的视觉显著图,所述视觉显著图表征所述激光反射层析雷达图像的视觉显著性;
步骤S5、对所述视觉显著图进行均值滤波处理,并将经均值滤波处理的视觉显著图与所述激光反射层析雷达图像相乘,以得到目标轮廓图像,其中,获取所述经均值滤波处理的视觉显著图具有平滑二维分布。
2.根据权利要求1所述的一种基于视觉显著性对图像进行目标检测的方法,其特征在于,其中:
所述激光器的波长范围为400-1700纳米;
所述探测器为硅基探测器或者铟镓砷探测器,所述硅基探测器的响应带宽为400-1100纳米,光敏面为0.04平方毫米,截止频率为3吉赫,具备响应脉宽为1纳秒的信号的能力,所述铟镓砷探测器的响应带宽为900-1700纳米;
所述光学镜头为C型可变焦光学镜头。
3.根据权利要求2所述的一种基于视觉显著性对图像进行目标检测的方法,其特征在于,在所述步骤S2中,所述激光反射层析雷达图像为源图像I0,所述采样尺度包括1/2、1/4、1/8、1/16、1/32、1/64、1/128、1/256,利用所述采样尺度经高斯滤波对所述源图像I0进行分解,以获取具有第一采样尺度1/2的第一分解图像I1、具有第二采样尺度1/4的第二分解图像I2、具有第三采样尺度1/8的第三分解图像I3、具有第四采样尺度1/16的第四分解图像I4、具有第五采样尺度1/32的第五分解图像I5、具有第六采样尺度1/64的第六分解图像I6、具有第七采样尺度1/128的第七分解图像I7、具有第八采样尺度1/256的第八分解图像I8
4.根据权利要求3所述的一种基于视觉显著性对图像进行目标检测的方法,其特征在于,在所述步骤S2中,从各个分解图像I1-I8中分别提取提取所述强度特征和方向特征,所述强度特征以图像亮度信息为基础,包含八组强度特征信息,所述方向特征包含八组方向特征信息,每组方向特征信息具有0°、45°、90°、135°四个方向上的特征信息。
5.根据权利要求4所述的一种基于视觉显著性对图像进行目标检测的方法,其特征在于,所述步骤S3具体包括:
对任意具有不同采样尺度的两组强度特征信息通过插值处理实现尺度归一化;将经归一化的两组强度特征求取差的绝对值,以获取一幅强度特征图;重复上述步骤,获取多幅强度特征图;
对任意具有不同采样尺度的两组方向特征信息通过插值处理实现尺度归一化;将经归一化的两组方向特征求取差的绝对值,以获取一幅方向特征图;重复上述步骤,获取多幅方向特征图,每一幅方向特征图包含0°、45°、90°、135°四个方向上的特征信息。
6.根据权利要求5所述的一种基于视觉显著性对图像进行目标检测的方法,其特征在于,所述步骤S4具体包括:
通过插值处理实现所述多幅强度特征图的尺度归一化,将尺度归一化的多幅强度特征图通过线性求和,以得到强度特征融合图;
通过插值处理实现所述多幅方向特征图的尺度归一化,将尺度归一化的多幅方向特征图通过线性求和,以得到方向特征融合图;
将所述强度特征融合图和所述方向特征融合图进行线性叠加,以获取所述激光反射层析雷达图像的视觉显著图。
7.根据权利要求6所述的一种基于视觉显著性对图像进行目标检测的方法,其特征在于,在所述步骤S5中,所述均值滤波处理具体包括:对任一像素点,获取与所述任一像素点相邻的若干像素点作为邻域点;对所述邻域点的像素值求取平均数,作为所述任一像素点经均值滤波后的像素值。
8.一种基于视觉显著性对图像进行目标检测的系统,其特征在于,所述图像为激光反射层析雷达图像,所述系统具体包括:
第一处理单元,被配置为,利用激光反射层析成像装置获取所述激光反射层析雷达图像,所述激光反射层析成像装置包括激光器、衰减片、扩束镜、旋转台、光学镜头、探测器和示波器;
第二处理单元,被配置为,通过对所述激光反射层析雷达图像在不同采样尺度上进行分解,来提取所述激光反射层析雷达图像的基于所述不同采样尺度的强度特征和基于所述不同采样尺度的方向特征;
第三处理单元,被配置为,根据所述不同采样尺度的强度特征之间的差异确定强度特征图,以及根据所述不同采样尺度的方向特征之间的差异确定方向特征图;
第四处理单元,被配置为,融合所述强度特征图和所述方向特征图,以获取所述激光反射层析雷达图像的视觉显著图,所述视觉显著图表征所述激光反射层析雷达图像的视觉显著性;
第五处理单元,被配置为,对所述视觉显著图进行均值滤波处理,并将经均值滤波处理的视觉显著图与所述激光反射层析雷达图像相乘,以得到目标轮廓图像,其中,获取所述经均值滤波处理的视觉显著图具有平滑二维分布。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时,实现权利要求1至7中任一项所述的一种基于视觉显著性对图像进行目标检测的方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,权利要求1至7中任一项所述的一种基于视觉显著性对图像进行目标检测的方法中的步骤。
CN202111157663.0A 2021-09-30 2021-09-30 一种基于视觉显著性对图像进行目标检测的方法和系统 Active CN113936197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111157663.0A CN113936197B (zh) 2021-09-30 2021-09-30 一种基于视觉显著性对图像进行目标检测的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111157663.0A CN113936197B (zh) 2021-09-30 2021-09-30 一种基于视觉显著性对图像进行目标检测的方法和系统

Publications (2)

Publication Number Publication Date
CN113936197A true CN113936197A (zh) 2022-01-14
CN113936197B CN113936197B (zh) 2022-06-17

Family

ID=79277762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111157663.0A Active CN113936197B (zh) 2021-09-30 2021-09-30 一种基于视觉显著性对图像进行目标检测的方法和系统

Country Status (1)

Country Link
CN (1) CN113936197B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782464A (zh) * 2022-04-07 2022-07-22 中国人民解放军国防科技大学 基于目标区域局部增强的反射层析激光雷达图像分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279957A (zh) * 2013-05-31 2013-09-04 北京师范大学 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法
CN103729848A (zh) * 2013-12-28 2014-04-16 北京工业大学 基于光谱显著性的高光谱遥感图像小目标检测方法
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps
CN109559310A (zh) * 2018-11-30 2019-04-02 国网山东省电力公司电力科学研究院 基于显著性检测的输变电巡检图像质量评价方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279957A (zh) * 2013-05-31 2013-09-04 北京师范大学 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法
CN103729848A (zh) * 2013-12-28 2014-04-16 北京工业大学 基于光谱显著性的高光谱遥感图像小目标检测方法
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps
CN109559310A (zh) * 2018-11-30 2019-04-02 国网山东省电力公司电力科学研究院 基于显著性检测的输变电巡检图像质量评价方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782464A (zh) * 2022-04-07 2022-07-22 中国人民解放军国防科技大学 基于目标区域局部增强的反射层析激光雷达图像分割方法
CN114782464B (zh) * 2022-04-07 2023-04-07 中国人民解放军国防科技大学 基于目标区域局部增强的反射层析激光雷达图像分割方法

Also Published As

Publication number Publication date
CN113936197B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
DE102016107959B4 (de) Auf strukturiertem Licht basierende Multipfadlöschung bei ToF-Bilderzeugung
Zennaro et al. Performance evaluation of the 1st and 2nd generation Kinect for multimedia applications
US10453249B2 (en) Method for alignment of low-quality noisy depth map to the high-resolution colour image
CN110702034A (zh) 高反光表面三维面形测量方法、服务器及系统
WO2014099048A2 (en) Methods and apparatus for merging depth images generated using distinct depth imaging techniques
JP2015513680A (ja) 4dライダ・データ・セットに基づく群葉貫通
EP3631512A1 (en) Multipath mitigation for time of flight system
US20210350115A1 (en) Methods and apparatus for identifying surface features in three-dimensional images
CN113936197B (zh) 一种基于视觉显著性对图像进行目标检测的方法和系统
Chen et al. A color-guided, region-adaptive and depth-selective unified framework for Kinect depth recovery
Zhang et al. Application of image fusion algorithm combined with visual saliency in target extraction of reflective tomography lidar image
CN116593504B (zh) Ct成像方法、装置、设备及存储介质
Tabkha et al. Semantic enrichment of point cloud by automatic extraction and enhancement of 360° panoramas
CN112686842A (zh) 一种光斑检测方法、装置、电子设备及可读存储介质
US8818124B1 (en) Methods, apparatus, and systems for super resolution of LIDAR data sets
CN116863083A (zh) 变电站三维点云数据的处理方法和装置
CN102735347A (zh) 目标跟踪红外凝视层析成像方法及装置
Nguyen et al. Image blurring effects due to depth discontinuitites: Blurring that creates emergent image details
Zhang et al. NSCT‐based fusion method for forward‐looking sonar image mosaic
Bethmann et al. Object-based semi-global multi-image matching
CN112099102B (zh) 一种天线阵列机械扫描式全息图像重建方法
Xu et al. Sensitivity study for object reconstruction using a network of time-of-flight depth sensors
CN104036463A (zh) 一种编码孔径光谱成像仪的编码方法
KR102211483B1 (ko) 레이저 어레이 패턴 분석 기반 물체 정보 추정 장치 및 방법
Song et al. GM-APD lidar single-source data self-guided: Obtaining high-resolution depth map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant