CN115731456A - 基于快照式光谱偏振相机的目标检测方法 - Google Patents

基于快照式光谱偏振相机的目标检测方法 Download PDF

Info

Publication number
CN115731456A
CN115731456A CN202211426119.6A CN202211426119A CN115731456A CN 115731456 A CN115731456 A CN 115731456A CN 202211426119 A CN202211426119 A CN 202211426119A CN 115731456 A CN115731456 A CN 115731456A
Authority
CN
China
Prior art keywords
image
polarization
spectrum
target
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211426119.6A
Other languages
English (en)
Inventor
沈英
周则兵
王舒
黄峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202211426119.6A priority Critical patent/CN115731456A/zh
Publication of CN115731456A publication Critical patent/CN115731456A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明涉及一种基于快照式光谱偏振相机的目标检测方法，其特征在于，包括以下步骤：步骤S1:利用快照式光谱相机和快照式偏振相机，获取检测目标的光谱及偏振图像；步骤S2:对检测目标的光谱特性筛选特征波段，对特征波段光谱图进行PCA变换处理，获得光谱预处理结果SP 0 图，同时计算偏振的总光强图像S 0 和新偏振参量I s 图，并将S 0 与I s 图进行PCA变换处理，获得偏振预处理结果Po 0 图;步骤S3:对SP 0 图与Po 0 图进行配准与融合，获得融合图像F;步骤S4:根据目标特征信息，对F图进行目标检测。本发明通过光谱与偏振信息的互补性，融合光谱与偏振信息，从而提高多目标检测时的检测性能。

Description

基于快照式光谱偏振相机的目标检测方法
技术领域
本发明属于图像融合技术和计算机视觉领域，具体涉及一种基于快照式光谱偏振相机的目标检测方法。
背景技术
目标伪装与识别技术在不断的对抗中互相促进、发展。先进伪装涂层和伪装网的使用，让目标能够更好地融入到周围的环境中，导致传统的光学目标检测方法出现失误，很难准确地分辨目标。光强、光谱和偏振信息揭示了物体和背景的不同特征，并且已经证明，通过使用空间和光谱信息，或者空间和偏振信息，都可以获得良好的检测结果。然而，光谱成像受到光谱范围、光谱分辨率及波段提取算法的影响，在光谱曲线与背景相近的人造目标的检测上存在一定的误差。而偏振成像虽然对于探测人造目标的探测识别有着明显优势，但是其结果受光线角度的影响较大。所以单独利用光谱或偏振信息来对多个不同材质的伪装目标检测，可能出现漏检。
发明内容
有鉴于此，本发明的目的在于提供一种基于快照式光谱偏振相机的目标检测方法，通过光谱与偏振信息的互补性，融合光谱与偏振信息，从而提高多目标检测时的检测性能。
为实现上述目的，本发明采用如下技术方案：
一种基于快照式光谱偏振相机的目标检测方法，其特征在于，包括以下步骤：
步骤S1:利用快照式光谱相机和快照式偏振相机，获取检测目标的光谱及偏振图像；
步骤S2:对检测目标的光谱特性筛选特征波段，对特征波段光谱图进行PCA变换处理，获得光谱预处理结果SP0图，同时计算偏振的总光强图像S0和新偏振参量Is图，并将S0与Is图进行PCA变换处理，获得偏振预处理结果Po0图；
步骤S3:对SP0图与Po0图进行配准与融合，获得融合图像F；
步骤S4:根据目标特征信息，对F图进行目标检测。
进一步的，所述步骤S2具体为：
1)根据目标的光谱特性对光谱源图像进行波段筛选得到波段子集；
2)利用PCA变换对波段子集进行处理，得到SP0图；
3)计算偏振的S0与Is图：
S0＝I0+I90
Figure BDA0003944293460000021
其中，I0、I90表示0°和90°两个偏振方向的光强值，S1为水平方向和垂直方向之间的线偏振光分量；S2为45°～135°方向的线偏振光分量。
4)利用PCA变换对偏振的S0与Is图处理，得到Po0图。
进一步的，所述步骤S3具体为：
1)对SP0图与Po0图进行配准；
2)利用加权最小二乘滤波从源图像分离出基层：
Bn＝Fλ(In)
其中，In是第n个源图像，Fλ是加权最小二乘滤波器，Bn为基层图像；
3)计算细节层图像Dn：
Dn＝In-Bn
4)利用图像滤波器L和
Figure BDA0003944293460000031
对源图像In进行滤波，得到显著性图Sn，并比较显著性图，以确定初始权重图Pn：
Figure BDA0003944293460000032
Figure BDA0003944293460000033
5)以相应的源图像In作为引导图像在每个权重映射Pn上进行引导滤波，得到权重图：
Figure BDA0003944293460000034
Figure BDA0003944293460000035
其中r1，ε1，r2和ε2是引导滤波器的参数，WB n和WD n是基层和细节层的权重图；
6)以权重图像为基础，对分解后的光谱及偏振图像的基层与细节层图像进行加权融合，并将融合后的基层与细节层图像进行叠加得到最后的融合图像F：
Figure BDA0003944293460000036
其中αn为加权系数，Bn、Dn为光谱及偏振图像的基层与细节层图像，F为融合图像。
进一步的，所述步骤S4根据目标特征，利用模板匹配、RCNN、YOLO或SSD方法对融合图像F进行目标检测。
本发明与现有技术相比具有以下有益效果：
本发明利用快照式光谱与偏振相机获取图像，提高了图像获取的实时性，实现不同相机之间的同步采集，同时利用相机的便携性，扩大了算法的应用场合；利用最优聚类框架对多光谱图像进行波段筛选，减少了数据冗余并具有较高的通用性；引入IS偏振参量以提高偏振PCA变换图像的目标对比度，从而提高后续图像融合的质量；利用加权最小二乘滤波对基于引导滤波的融合方法进行优化，以此提高融合图像的细节表达能力，保存更多的目标表面细节信息，增加目标与模板之间的相似度，进而提高目标检测时的检测准确率。
附图说明
图1是本发明方法流程图；
图2是本发明一实施例中光谱图像配准结果；
图3是本发明一实施例中偏振图像配准结果；
图4是本发明一实施例中光谱图像基层图像；
图5是本发明一实施例中光谱图像细节层图像；
图6是本发明一实施例中偏振图像基层图像；
图7是本发明一实施例中偏振图像细节层图像；
图8是本发明一实施例中融合图像；
图9是本发明一实施例中目标检测图像。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种快照式光谱偏振多模态目标检测方法，包括以下步骤：
步骤S1：利用快照式光谱和快照式偏振相机同步采集获取多光谱及偏振图像矩阵。
步骤S2：针对检测目标的光谱特性筛选特征波段，对特征波段光谱图进行PCA变换处理，获得光谱预处理结果SP0图，同时计算偏振的总光强图像S0和新偏振参量Is图，将S0与Is图进行PCA变换处理，获得偏振预处理结果Po0图；
步骤S3：对SP0图与Po0图进行配准与融合，融合图像F；
步骤S4：根据目标特征，对F图进行目标检测。
以下为本发明具体实施实例。
本实施例中光谱相机选用可实时获取660～975nm内的25个波段光谱图像的快照多光谱相机(MQ022HG-IM-SM5X5-NIR，XIMEA)，偏振相机选择可实时获取偏振0°、45°、90°、135°四个角度的图像的偏振滤光片阵列相机(BLACKFLYSBFS-U3-51S5PC,FLIR,CANADA)，二者平行放置；二者均采用35mm焦距的透镜(VIS-NIR，#67-716，EDMUND)，伪装目标为单一偏振信息难以检测的具有小马赛克图案的防光谱侦察伪装网与单一光谱信息难以检测的涂有草原伪装图案的铝合金板(30cm×30cm)。
本实施例中，步骤S1中使用的像素滤光探测器阵列式快照相机将单片滤镜阵列集成到标准CMOS探测器上，大大减少了系统杂散光、提高了灵敏度和成像速度，同时每个像素滤镜的晶片级设计可实现紧凑的快照式光谱与偏振采集，极大地增加了摄像机的便携性和灵活性，特别适用于尺寸和质量受限的应用领域，如小型无人机伪装目标侦察识别应用场合。同时，联合运用快照式光谱相机与快照式偏振相机可以弥补像素滤光探测器阵列式光谱快照相机在空间分辨率上的缺陷，并降低光照对偏振特性的影响。
本实施例中，步骤S2使用的最优聚类框架可以发挥基于聚类和排序方法的优势，得到相关性更低、信息更具区分度的波段子集，从而在保持较高信息量的同时降低波段冗余度。
优选地，偏振参量IS是基于斯托克斯矢量S＝(S0，S1，S2，S3)T提出的一个新偏振参量：
Figure BDA0003944293460000061
其中，S1为水平方向和垂直方向之间的线偏振光分量；S2为45°～135°方向的线偏振光分量。
其不仅在目标/背景对比度方面，优于偏振度与线偏振角参数图像，而且噪声也远低于二者。S0为总光强图像，具有丰富的细节信息，提取二者的主要特征参与光谱偏振融合，可以明显提高融合图像质量及目标检测性能。
本实施例中，步骤S3使用图像融合算法融合光谱与偏振图像。如图4及图5所示，在该算法提取的光谱的基层与细节层图像中伪装网的特性较明显，但伪装板的特征较少；如图6及图7所示，在该算法提取的偏振的基层与细节层图像中伪装板的特性较明显，但伪装网的特征较少。
为融合光谱与偏振图像的优势，突显两种伪装目标，对所有基层与细节层图像进行步骤S3初始权重映射Pn计算。根据所有基层与细节层图像，计算初始权重映射Pn：
Figure BDA0003944293460000071
Figure BDA0003944293460000072
然而，获得的权重映射通常是噪声的，且不与对象边界对齐，这可能会使融合的图像产生伪影。因此，在每个权重映射Pn上进行引导滤波，并以相应的源图像In作为引导图像
Figure BDA0003944293460000073
Figure BDA0003944293460000074
其中r1，ε1，r2和ε2是引导滤波器的参数，WB n和WD n是基层和细节层的权重图。且正则化参数ε和窗口大小r对最终的滤波结果的影响较大。窗口越大，平滑效果越明显；窗口越小，保留的细节越多；正则化参数越大，正则化能力越强，但对滤波效果的影响有限。
接着利用权重图加权融合光谱图像与偏振图像的基层和细节层图像，并进行叠加，得到最后的融合结果：
Figure BDA0003944293460000081
其中αn为加权系数，Bn、Dn为光谱及偏振图像的基层与细节层图像，F为融合图像，结果如图8所示。
最后，根据目标特征，利用模板匹配、RCNN、YOLO及SSD等方法对融合图像F进行目标检测，其结果如图9所示，融合图像成功突显了伪装网与伪装板的细节及特征，将两种伪装目标都检测了出来，证明本发明的融合算法实现光谱与偏振信息的互补提高了伪装目标检测性能。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种基于快照式光谱偏振相机的目标检测方法，其特征在于，包括以下步骤：
步骤S1:利用快照式光谱相机和快照式偏振相机，获取检测目标的光谱及偏振图像；
步骤S2:对检测目标的光谱特性筛选特征波段，对特征波段光谱图进行PCA变换处理，获得光谱预处理结果SP0图，同时计算偏振的总光强图像S0和新偏振参量Is图，并将S0与Is图进行PCA变换处理，获得偏振预处理结果Po0图；
步骤S3:对SP0图与Po0图进行配准与融合，获得融合图像F；
步骤S4:根据目标特征信息，对F图进行目标检测。
2.根据权利要求1所述的基于快照式光谱偏振相机的目标检测方法，其特征在于，所述步骤S2具体为：
1)根据目标的光谱特性对光谱源图像进行波段筛选得到波段子集；
2)利用PCA变换对波段子集进行处理，得到SP0图；
3)计算偏振的S0与Is图：
S0＝I0+I90
Figure FDA0003944293450000011
其中，I0、I90表示0°和90°两个偏振方向的光强值，S1为水平方向和垂直方向之间的线偏振光分量；S2为45°～135°方向的线偏振光分量。
4)利用PCA变换对偏振的S0与Is图处理，得到Po0图。
3.根据权利要求1所述的基于快照式光谱偏振相机的目标检测方法，其特征在于，所述步骤S3具体为：
1)对SP0图与Po0图进行配准；
2)利用加权最小二乘滤波从源图像分离出基层：
Bn＝Fλ(In)
其中，In是第n个源图像，Fλ是加权最小二乘滤波器，Bn为基层图像；
3)计算细节层图像Dn：
Dn＝In-Bn
4)利用图像滤波器L和
Figure FDA0003944293450000021
对源图像In进行滤波，得到显著性图Sn，并比较显著性图，以确定初始权重图Pn：
Figure FDA0003944293450000022
Figure FDA0003944293450000023
5)以相应的源图像In作为引导图像在每个权重映射Pn上进行引导滤波，得到权重图：
Figure FDA0003944293450000024
Figure FDA0003944293450000025
其中r1，ε1，r2和ε2是引导滤波器的参数，WB n和WD n是基层和细节层的权重图；
6)以权重图像为基础，对分解后的光谱及偏振图像的基层与细节层图像进行加权融合，并将融合后的基层与细节层图像进行叠加得到最后的融合图像F：
Figure FDA0003944293450000031
其中αn为加权系数，Bn、Dn为光谱及偏振图像的基层与细节层图像，F为融合图像。
4.根据权利要求1所述的基于快照式光谱偏振相机的目标检测方法，其特征在于，所述步骤S4根据目标特征，利用模板匹配、RCNN、YOLO或SSD方法对融合图像F进行目标检测。
CN202211426119.6A 2022-11-15 2022-11-15 基于快照式光谱偏振相机的目标检测方法 Pending CN115731456A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211426119.6A CN115731456A (zh) 2022-11-15 2022-11-15 基于快照式光谱偏振相机的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211426119.6A CN115731456A (zh) 2022-11-15 2022-11-15 基于快照式光谱偏振相机的目标检测方法

Publications (1)

Publication Number Publication Date
CN115731456A true CN115731456A (zh) 2023-03-03

Family

ID=85295675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211426119.6A Pending CN115731456A (zh) 2022-11-15 2022-11-15 基于快照式光谱偏振相机的目标检测方法

Country Status (1)

Country Link
CN (1) CN115731456A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091361A (zh) * 2023-03-23 2023-05-09 长春理工大学 一种多偏振参量图像融合方法、系统及地形勘探监测仪

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091361A (zh) * 2023-03-23 2023-05-09 长春理工大学 一种多偏振参量图像融合方法、系统及地形勘探监测仪

Similar Documents

Publication Publication Date Title
Ayhan et al. A novel utilization of image registration techniques to process mastcam images in mars rover with applications to image fusion, pixel clustering, and anomaly detection
CN108492274B (zh) 一种长波红外偏振特征提取与融合的图像增强方法
CN104574347B (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
CN109086675B (zh) 一种基于光场成像技术的人脸识别及攻击检测方法及其装置
CN109410207A (zh) 一种基于ncc特征的无人机巡线图像输电线路检测方法
CN108564092A (zh) 基于sift特征提取算法的向日葵病害识别方法
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及系统
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN111369605A (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN111428673B (zh) 一种用于指纹增强显示的偏振矢量彩色图像融合方法
CN115731456A (zh) 基于快照式光谱偏振相机的目标检测方法
CN114694043B (zh) 复杂场景下机载多光谱多域优选特征的地面伤员识别方法、装置及介质
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
Zhao et al. SRA-CEM: An improved CEM target detection algorithm for hyperspectral images based on sub-region analysis
CN114067188A (zh) 一种伪装目标的红外偏振图像融合方法
CN104700359A (zh) 像平面不同极轴方向图像序列进行超分辨率重建的方法
CN115035168B (zh) 基于多约束的光伏面板多源图像配准方法、装置及系统
CN116883851A (zh) 一种基于高光谱图像比对的字画艺术品鉴定方法
CN115035281B (zh) 一种快速的红外全景图像拼接方法
CN116543184A (zh) 一种局部能量响应特征变换的多模态图像匹配方法及系统
Liu et al. An improved APAP algorithm via line segment correction for UAV multispectral image stitching
CN115511928A (zh) 多光谱图像的匹配方法
CN109781259B (zh) 一种图谱关联的精准测量空中运动小目标红外光谱的方法
CN107730535A (zh) 一种可见光红外级联视频跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination