CN116503704B - 一种强背景下目标偏振探测系统及其探测方法 - Google Patents

一种强背景下目标偏振探测系统及其探测方法 Download PDF

Info

Publication number
CN116503704B
CN116503704B CN202310759860.2A CN202310759860A CN116503704B CN 116503704 B CN116503704 B CN 116503704B CN 202310759860 A CN202310759860 A CN 202310759860A CN 116503704 B CN116503704 B CN 116503704B
Authority
CN
China
Prior art keywords
image
information
feature
fusion
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310759860.2A
Other languages
English (en)
Other versions
CN116503704A (zh
Inventor
付强
刘轩玮
才华
史浩东
刘壮
李英超
姜会林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202310759860.2A priority Critical patent/CN116503704B/zh
Publication of CN116503704A publication Critical patent/CN116503704A/zh
Application granted granted Critical
Publication of CN116503704B publication Critical patent/CN116503704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种强背景下目标偏振探测系统及其探测方法。图像信号采集模块，用于多通道的图像信息采集和信号转换；基于YoLoV3神经网络的特征提取模块，用于加深网络层数，获得结合强度信息与偏振信息的融合特征图，提取强度模态与偏振光模态的特征差异；基于Darknet神经网络的特征提取模块，用于获得高动态范围图像的特征值提取；基于残差网络的特征融合模块，用于学习不同模态间的权重，获得强度模态信息与偏振模态信息的融合特征图，利用注意力机制处理对融合后的特征图进行选择和优化；图像打印模块，用于过滤背景信息。来解决强背景光下目标探测识别能力差，图像图像清晰度和对比度低的问题。

Description

一种强背景下目标偏振探测系统及其探测方法
技术领域
本发明属于光学探测领域，具体涉及一种强背景下目标偏振探测系统及其探测方法。
背景技术
偏振探测技术利用光的偏振特性，可获得目标的偏振态、 空间轮廓等特征，从而提高目标在图像中的对比度。同时，偏振成像探测系统稳定性高、抗干扰能力强、探测距离远，在强背景光下暗弱目标探测领域具有突出优势。
由于强背景光的影响，场景具有丰富的色彩信息和照明信息，而且动态范围较大，由于受普通摄像机的硬件结构的限制，真实场景的动态范围远远超过了普通摄像机可以捕获的范围，而高动态范围图像就是通过扩大动态范围来同时展示更多自然场景亮暗处的细节信息，包含的色彩信息较丰富，对比度也较高，高动态范围图像包含的信息与真实场景更加贴近，其像素亮度值正比于场景中对应点的实际亮度值。因此该技术可以体现出低曝光度图像中包含的高亮处细节，也能体现出高曝光度图像中包含的低暗处细节。
但是高动态范围图像亮度区间大且分布不平均。传统映射算法不考虑图像的亮度分布特性，因此很容易在极亮和黑暗区域丢失细节。被认为是非常明亮和非常黑暗的原始区间对彼此影响不大。因此需要一种更有效的方法，来解决强背景光下目标探测识别能力差，图像图像清晰度和对比度低的问题。
发明内容
本发明提供一种强背景下目标偏振探测系统及其探测方法，来解决强背景光下目标探测识别能力差，图像图像清晰度和对比度低的问题。
本发明通过以下技术方案实现：
一种多模态加权融合的强背景光下目标偏振探测系统，包括
图像信号采集模块，用于多通道的图像信息采集和信号转换；
基于YoLoV3神经网络的特征提取模块，用于加深网络层数，增强特征提取能力，获得结合强度信息与偏振信息的融合特征图，提取强度模态与偏振光模态的特征差异；
基于Darknet神经网络的特征提取模块，用于获得包含丰富细节信息的特征图像，和高动态范围图像的特征值提取；
基于残差网络的特征融合模块，用于学习不同模态间的权重，使得不同模态的特征信息可以更好地融合，获得更好结合高动态范围图像模态信息，强度模态信息与偏振模态信息的融合特征图，利用注意力机制处理对融合后的特征图进行选择和优化；
图像打印模块，用于过滤背景信息，打印出只包含准确目标信息的图像。
一种多模态加权融合的强背景光下目标偏振探测系统，所述图像信号采集模块包括滤光片、偏振片、CCD探测器、多路复用器和A/D转换器；
所述滤光片将接收到的图像依次经过偏振片、CCD探测器分别传输至基于YoLoV3神经网络的特征提取模块与多路复用器，所述多路复用器将接收到的图像经过A/D转换器传输至基于Darknet神经网络的特征提取模块。
一种多模态加权融合的强背景光下目标偏振探测系统，所述基于YoLoV3神经网络的特征提取模块包括卷积层、归一化层、Leaky ReLU激活函数、强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块；
所述卷积层接收CCD探测器的图像信号，并通过归一化层和Leaky ReLU激活函数后，分别传输至强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块，所述强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块将提取特征后的图像信号传输至基于残差网络的特征融合模块；
一种多模态加权融合的强背景光下目标偏振探测系统，所述基于Darknet神经网络的特征提取模块包括亮度层图像转换、色度层图像转换、亮度层图像分区、对数压缩、引导滤波、亮度层色度层融合和亮度色度融合图像特征提取；
所述亮度层图像转换和色度层图像转换分别接收A/D转换器发送的高动态范围目标信息图像，所述亮度层图像转换将高动态范围目标信息图像进行亮度层图像分区后在进行对数压缩，将对数压缩后的图像信号分别进行引导滤波与亮度层色度层融合，将色度层图像转换后的图像信号也进行引导滤波，
将亮度层色度层融合后的图像进行特征提取并传输至基于残差网络的特征融合模块。
一种多模态加权融合的强背景光下目标偏振探测系统，所述基于残差网络的特征融合模块包括Res1残差网络单元、Res2残差网络单元、Res8残差网络单元、Res8残差网络单元、Res4残差网络单元、多模态信息整合、Concat级联、权重分析、加权融合、注意力机制处理、损失函数分析和最终特征图采集；
所述Res1残差网络单元、Res2残差网络单元、Res8残差网络单元、Res8残差网络单元及Res4残差网络单元，有效避免由于网络层数过深导致的模型退化问题；
所述Res1残差网络单元、Res2残差网络单元、Res8残差网络单元、Res8残差网络单元和Res4残差网络单元接收强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块将提取特征后的图像信号与将亮度层色度层融合后进行特征提取的图像信号并将其分别传输至多模态信息整合、Concat级联和权重分析，并将三组特征的图像依次进行加权融合、注意力机制处理、损失函数分析和最终特征图采集后将最终特征图传输至图像打印模块，
一种多模态加权融合的强背景光下目标偏振探测系统，所述图像打印模块包括阈值比对、半色调图像生成和图像打印；
将最终特征图的像素点的灰度值与设定阈值进行比对后，对图像进行半色调图像生成最终打印出只包含准确目标信息的图像。
一种多模态加权融合的强背景光下目标偏振探测方法，所述目标偏振探测方法使用如上述多模态加权融合的强背景光下目标偏振探测系统，所述目标偏振探测方法具体包括以下步骤：
步骤1：将滤光片和偏振片与CCD探测器以对齐的方式镶嵌；每组与CCD探测器对齐镶嵌的一个滤光片和或一个偏振片构成一条通道，共计7条通道；
步骤2：分别获取步骤1中7条通道的目标信息图像，并将7条通道的目标信息图像整合到一条图像信道并将图像信号转换成高动态范围目标信息图像；
步骤3：将步骤2的目标信息图像传递到基于YoLoV3神经网络的特征提取模块进行编码、解码操作；
步骤4：将步骤3解码后的信息代入Leaky ReLU激活函数，并获取强度模态的特征图和偏振模态的特征图/>；
步骤5：基于Darknet53神经网络的特征提取模块采集来自A/D转换器输出的高动态范围目标信息图像，将图像信息转换、亮度分区、对数压缩并分区后对高亮层图像经压缩后结果进行导引滤波后，再进行亮度色度融合图像，最终获得亮度色度融合模态的特征图；
步骤6：将步骤4的强度模态的特征图、偏振模态的特征图/>和亮度色度融合模态的特征图/>进行多模态加权融合，再进行降维，对降维后的不同模态的特征进行描述，再进行特征图融合后，得到加权融合特征图；
步骤7：对步骤6的加权融合特征图进行优化后在进行损失函数分析，将得到的包含细节信息最丰富的最终特征图像传递到图像打印模块；
步骤8：对步骤7得到的最终特征图像的像素点的灰度值与阈值δ进行比对，对背景和目标进行分割；
当像素点的灰度值大于阈值δ时，将该像素点划分为背景像素点；当像素点的灰度值小于阈值δ时，将该像素点划分为目标像素点，进而实现背景和目标的分割；阈值δ是神经网络基于图像信息实时获取的；
步骤9：将步骤8的分割后的目标信息生成半色调图像并打印。
一种多模态加权融合的强背景光下目标偏振探测方法，所述步骤3具体为，
步骤3.1：基于YoLoV3神经网络的特征提取模块采集来自多通道的CCD探测器的目标信息图像，并传递到卷积层对这些信息进行编码操作；
步骤3.2：卷积层对信息进行编码后，传递到归一化层进行解码操作；
所述步骤4具体为，
步骤4.1：解码后的信息代入Leaky ReLU激活函数中运行，使神经网络的表现力更强，获取更好的数据拟合；
步骤4.2：将步骤4.2运行后信息的YoLoV3神经网络在强度和偏振两个分支上分别获取3个多尺度的特征图，强度模态的特征图记为，偏振模态的特征图记为。
一种多模态加权融合的强背景光下目标偏振探测方法，所述步骤5具体为，
步骤5.1：基于Darknet53神经网络的特征提取模块采集来自A/D转换器输出的高动态范围目标信息图像；并通过颜色空间转换将输入的高动态范围图像转换到L*a*b*空间，记录图像亮度数据，/>与/>记录图像色度细节。从而得到亮度层和色度层图像；
步骤5.2：依据L*可得具体图像亮度数据，求取图像最大亮度值\最小亮度值，采取亮度分区法把亮度图像划分为低暗（—/>）、适中（/>—/>）、高亮（/>—/>）三个区间；
步骤5.3：接着对亮度层图像进行对数压缩并分区，由于高动态范围图像具有较大的动态区间，实现显示效果较差的不同亮度区域图像的相同校正系数；对高亮层图像进行划分，对数映射后在不同区域选择不同的调整参数γ，以校正亮度层图像；
步骤5.4：以高亮层图像经压缩后结果作为导引图像，对色度层图像进行导引滤波；
步骤5.5：把色度层在滤波后的图像和高亮层压缩后的图像相结合获得亮度色度融合图像，利用Darknet53神经网络在亮度色度融合图中提取3个多尺度的特征图，亮度色度融合模态的特征图记为。
一种多模态加权融合的强背景光下目标偏振探测方法，所述步骤6具体为，
步骤6.1：使用残差网络，对所提取到的强度模态特征，偏振模态特征和亮度色度融合模态特征进行多模态加权融合；
步骤6.2：用神经网络对不同模态特征图，/>和/>进行降维，以完成各模态在不同通道上的信息整合；
步骤6.3：利用Concat级联，对不同模态的特征进行描述，亮度色度融合模态的特征描述符为，偏振模态的特征描述符为/>，强度模态的特征描述符为/>，相加后记为；
步骤6.4：将三个模态的特征描述符分别除以特征描述符之和，作为各自模态的权重，与特征图相乘后再级联融合，作为加权融合特征图；
步骤6.5：对步骤6.2-6.4所得到的三组特征行加权融合，得到多模态加权融合特征图记为。
本发明的有益效果是：
本发明利用红，绿，蓝三组滤光片实现多通道的不同强度信息采集。利用0°、45°、90°、135°四组偏振片实现多通道的不同偏振信息采集。来解决探测通道单一，目标信息获取不全面的问题。
本发明利用YoLoV3神经网络对强度信息和偏振信息进行多尺度特征提取，增强特征提取能力，获得结合强度信息与偏振信息的融合特征图，提取强度模态与偏振光模态的特征差异。
本发明利用Darknet53神经网络来获得包含丰富细节信息的特征图像，和高动态范围图像的特征值提取。可以利用调整参数对图像亮度和色度自行调整，得到最适合当前应用需求的亮度色度融合特征图。
本发明利用残差网络学习不同模态间的权重，使得不同模态的特征信息可以更好地融合，获得更好结合高动态范围图像模态信息，强度模态信息与偏振模态信息的融合特征图。并且利用注意力机制处理对融合后的特征图进行选择和优化。最后对神经网络进行损失函数分析，可以增强图像视觉可视化效果，同时提高了视觉理解能力。
附图说明
图1是本发明的结构示意图。
图2是本发明的进行多模态加权融合的神经网络结构图。
图3是本发明的进行注意力机制处理的神经网络结构图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种多模态加权融合的强背景光下目标偏振探测系统，所述目标偏振探测系统包括图像信号采集模块、基于YoLoV3神经网络的特征提取模块、基于Darknet神经网络的特征提取模块、基于残差网络的特征融合模块和图像打印模块；包括
图像信号采集模块，用于多通道的图像信息采集和信号转换；
基于YoLoV3神经网络的特征提取模块，用于加深网络层数，增强特征提取能力，获得结合强度信息与偏振信息的融合特征图，提取强度模态与偏振光模态的特征差异；
基于Darknet神经网络的特征提取模块，用于获得包含丰富细节信息的特征图像，和高动态范围图像的特征值提取；
基于残差网络的特征融合模块，用于学习不同模态间的权重，使得不同模态的特征信息可以更好地融合，获得更好结合高动态范围图像模态信息，强度模态信息与偏振模态信息的融合特征图，利用注意力机制处理对融合后的特征图进行选择和优化；
图像打印模块，用于过滤背景信息，打印出只包含准确目标信息的图像。
一种多模态加权融合的强背景光下目标偏振探测系统，所述图像信号采集模块包括滤光片、偏振片、CCD探测器、多路复用器和A/D转换器；
所述滤光片和偏振片与CCD探测器以对齐的方式镶嵌，在不同的CCD探测器前分别放置红色滤光片620nm～750nm、绿色滤光片495～570nm和蓝色滤光片476～495nm，以获取目标强度信息图像；
所述偏振片，获取目标偏振信息图像；
每组与CCD探测器对齐镶嵌的一个滤光片和或一个偏振片构成一条通道，共计7条通道；
所述A/D转换器，将图像信号转换成数字信号，并将数字信号传递给神经网络模块；
所述多路复用器，将多条图像信道整合到一条图像信道上，使该信道所获取的图像同时包含来自7条通道的图像信息；
所述CCD探测器对每个通道成像，获取来自多通道的目标信息图像；
所述滤光片将接收到的图像依次经过偏振片、CCD探测器分别传输至基于YoLoV3神经网络的特征提取模块与多路复用器，所述多路复用器将接收到的图像经过A/D转换器传输至基于Darknet神经网络的特征提取模块。
一种多模态加权融合的强背景光下目标偏振探测系统，所述基于YoLoV3神经网络的特征提取模块包括卷积层、归一化层、Leaky ReLU激活函数、强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块；
所述卷积层，对目标信息图像进行编码操作；
所述归一化层，对目标信息图像进行解码操作；
所述Leaky ReLU激活函数，获取更好的数据拟合；
所述强度信息多尺度特征提取模块，获取强度模态的特征图；
所述偏振信息多尺度特征提取模块，获取偏振模态的特征图；
所述卷积层接收CCD探测器的图像信号，并通过归一化层和Leaky ReLU激活函数后，分别传输至强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块，所述强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块将提取特征后的图像信号传输至基于残差网络的特征融合模块；
一种多模态加权融合的强背景光下目标偏振探测系统，所述基于Darknet神经网络的特征提取模块包括亮度层图像转换、色度层图像转换、亮度层图像分区（分为高亮度、中亮度和低亮度）、（亮度层分区图像）对数压缩、（色度层图像）引导滤波、亮度层色度层融合和亮度色度融合图像特征提取；
所述亮度层图像转换及色度层图像转换，将高动态范围目标信息图像通过颜色空间转换到图像亮度数据和图像色度细节的空间；
所述亮度层图像分区，把亮度图像划分为低暗、中亮度、高亮三个区间；
所述对数压缩，实现显示效果较差的不同亮度区域图像的相同校正系数；
所述引导滤波，对色度层图像进行导引滤波，在滤波后同输入的色度层图像相似，其图像纹理同导引图像也更加相似；
所述亮度色度融合图像特征提取，把色度层在滤波后的图像和高亮层压缩后的图像相结合获得亮度色度融合图像，利用Darknet53神经网络在亮度色度融合图中提取3个多尺度的特征图；
所述亮度层图像转换和色度层图像转换分别接收A/D转换器发送的高动态范围目标信息图像，所述亮度层图像转换将高动态范围目标信息图像进行亮度层图像分区后在进行对数压缩，将对数压缩后的图像信号分别进行引导滤波与亮度层色度层融合，将色度层图像转换后的图像信号也进行引导滤波，
将亮度层色度层融合后的图像进行特征提取并传输至基于残差网络的特征融合模块。
一种多模态加权融合的强背景光下目标偏振探测系统，所述基于残差网络的特征融合模块包括Res1残差网络单元、Res2残差网络单元、Res8残差网络单元、Res8残差网络单元、Res4残差网络单元、多模态信息整合、Concat级联、权重分析、加权融合、注意力机制处理、损失函数分析和最终特征图采集；
所述Res1残差网络单元、Res2残差网络单元、Res8残差网络单元、Res8残差网络单元及Res4残差网络单元，有效避免由于网络层数过深导致的模型退化问题；
所述多模态信息整合，将强度模态的特征图、偏振模态的特征图和亮度色度融合模态的特征图进行降维，以完成各模态在不同通道上的信息整合；
所述Concat级联，对不同模态的特征进行描述；
所述加权融合，三个模态的特征描述符分别除以特征描述符之和，作为各自模态的权重，与特征图相乘后再级联融合，作为加权融合特征图；
所述注意力机制处理，利用通道注意力机制和空间注意力机制对融合后的特征图进行选择；
所述损失函数分析，增强图像视觉可视化效果，同时提高了视觉理解能力；
所述最终特征图采集，采集包含细节信息最丰富的最终特征图像；
所述Res1残差网络单元、Res2残差网络单元、Res8残差网络单元、Res8残差网络单元和Res4残差网络单元接收强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块将提取特征后的图像信号与将亮度层色度层融合后进行特征提取的图像信号并将其分别传输至多模态信息整合、Concat级联和权重分析，并将三组特征的图像依次进行加权融合、注意力机制处理、损失函数分析和最终特征图采集后将最终特征图传输至图像打印模块，
一种多模态加权融合的强背景光下目标偏振探测系统，所述图像打印模块包括阈值比对、半色调图像生成和图像打印；
所述阈值比对，将最终特征图的像素点的灰度值与设定阈值进行比对区分目标像素点与背景像素点；
所述半色调图像生成，用于控制图像打印；
所述图像打印，最终打印出只包含准确目标信息的图像；
将最终特征图的像素点的灰度值与设定阈值进行比对后，对图像进行半色调图像生成最终打印出只包含准确目标信息的图像。
一种多模态加权融合的强背景光下目标偏振探测方法，所述目标偏振探测方法使用如上述多模态加权融合的强背景光下目标偏振探测系统，所述目标偏振探测方法具体包括以下步骤：
步骤1：将滤光片和偏振片与CCD探测器以对齐的方式镶嵌；在不同CCD探测器前放置红色滤光片620nm～750nm、绿色滤光片495～570nm和蓝色滤光片476～495nm，获取目标强度信息图像；放置0°、45°、90°、135°四组偏振片，获取目标偏振信息图像；每组与CCD探测器对齐镶嵌的一个滤光片和或一个偏振片构成一条通道，共计7条通道；
步骤2：分别获取步骤1中7条通道的目标信息图像，并将7条通道的目标信息图像整合到一条图像信道并将图像信号转换成高动态范围目标信息图像；
步骤2.1：用CCD探测器对每个通道成像，获取来自多通道的目标信息图像；
步骤2.2：将多条目标信息图像信道使用多路复用器整合到一条图像信道上，使该信道所获取的图像同时包含来自7条通道的图像信息；
步骤2.3：将整合后的图像信道使用A/D转换器转换成数字信号，并传递给基于Darknet53神经网络的特征提取模块；
步骤3：将步骤2的目标信息图像传递到基于YoLoV3神经网络的特征提取模块进行编码、解码操作；
步骤4：将步骤3解码后的信息代入Leaky ReLU激活函数，并获取强度模态的特征图和偏振模态的特征图/>；
步骤5：基于Darknet53神经网络的特征提取模块采集来自A/D转换器输出的高动态范围目标信息图像，将图像信息转换、亮度分区、对数压缩并分区后对高亮层图像经压缩后结果进行导引滤波后，再进行亮度色度融合图像，最终获得亮度色度融合模态的特征图；
步骤6：将步骤4的强度模态的特征图、偏振模态的特征图/>和亮度色度融合模态的特征图/>进行多模态加权融合，再进行降维，对降维后的不同模态的特征进行描述，再进行特征图融合后，得到加权融合特征图；
步骤7：对步骤6的加权融合特征图进行优化后在进行损失函数分析，将得到的包含细节信息最丰富的最终特征图像传递到图像打印模块；
步骤7.1：对特征融合模块进行优化，利用通道注意力机制和空间注意力机制对融合后的特征图进行选择；经过注意力模块处理后的特征图记为；
步骤7.2：对神经网络进行损失函数分析，可以增强图像视觉可视化效果，同时提高了视觉理解能力；损失函数包含三个部分，分别为回归损失、置信度损失以及分类损失；
步骤8：对步骤7得到的最终特征图像的像素点的灰度值与阈值δ进行比对，对背景和目标进行分割；
当像素点的灰度值大于阈值δ时，将该像素点划分为背景像素点；当像素点的灰度值小于阈值δ时，将该像素点划分为目标像素点，进而实现背景和目标的分割；阈值δ是神经网络基于图像信息实时获取的；
步骤9：将步骤8的分割后的目标信息生成半色调图像并打印。
所述半色调图像生成用于控制图像打印，当识别像素点为目标像素点时，继续打印。识别像素点为背景像素点时，自动停止打印。
一种多模态加权融合的强背景光下目标偏振探测方法，所述步骤3具体为，
步骤3.1：基于YoLoV3神经网络的特征提取模块采集来自多通道的CCD探测器的目标信息图像，并传递到卷积层对这些信息进行编码操作；
步骤3.2：卷积层对信息进行编码后，传递到归一化层进行解码操作；
所述步骤4具体为，
步骤4.1：解码后的信息代入Leaky ReLU激活函数中运行，使神经网络的表现力更强，获取更好的数据拟合；
步骤4.2：将步骤4.2运行后信息的YoLoV3神经网络在强度和偏振两个分支上分别获取3个多尺度的特征图，强度模态的特征图记为，偏振模态的特征图记为。
一种多模态加权融合的强背景光下目标偏振探测方法，所述步骤5具体为，
步骤5.1：基于Darknet53神经网络的特征提取模块采集来自A/D转换器输出的高动态范围目标信息图像；并通过颜色空间转换将输入的高动态范围图像转换到L*a*b*空间，记录图像亮度数据，/>与/>记录图像色度细节。从而得到亮度层和色度层图像；
步骤5.2：依据L*可得具体图像亮度数据，求取图像最大亮度值（白点）\最小亮度值（黑点），采取亮度分区法把亮度图像划分为低暗（—/>）、适中（/>—/>）、高亮（/>—/>）三个区间；
步骤5.3：接着对亮度层图像进行对数压缩并分区，由于高动态范围图像具有较大的动态区间，因此可以实现显示效果较差的不同亮度区域图像的相同校正系数；对高亮层图像进行划分，对数映射后在不同区域选择不同的调整参数γ，以校正亮度层图像；
步骤5.4：以高亮层图像经压缩后结果作为导引图像，对色度层图像进行导引滤波，图像整体不仅在滤波后同输入的色度层图像相似，其图像纹理同导引图像也更加相似；
步骤5.5：把色度层在滤波后的图像和高亮层压缩后的图像相结合获得亮度色度融合图像，利用Darknet53神经网络在亮度色度融合图中提取3个多尺度的特征图，亮度色度融合模态的特征图记为。
一种多模态加权融合的强背景光下目标偏振探测方法，所述步骤6具体为，
步骤6.1：使用残差网络，对所提取到的强度模态特征，偏振模态特征和亮度色度融合模态特征进行多模态加权融合，残差网络结构中有5个残差网络单元，可以有效避免由于网络层数过深导致的模型退化问题；
步骤6.2：用神经网络对不同模态特征图，/>和/>进行降维，以完成各模态在不同通道上的信息整合；
步骤6.3：利用Concat级联，对不同模态的特征进行描述，亮度色度融合模态的特征描述符为，偏振模态的特征描述符为/>，强度模态的特征描述符为/>，相加后记为；
步骤6.4：将三个模态的特征描述符分别除以特征描述符之和，作为各自模态的权重，与特征图相乘后再级联融合，作为加权融合特征图；
步骤6.5：对步骤6.2-6.4所得到的三组特征行加权融合，得到多模态加权融合特征图记为。

Claims (8)

1.一种多模态加权融合的强背景光下目标偏振探测系统，其特征在于，包括
图像信号采集模块，用于多通道的图像信息采集和信号转换；
基于YoLoV3神经网络的特征提取模块，用于加深网络层数，增强特征提取能力，获得结合强度信息与偏振信息的融合特征图，提取强度模态与偏振光模态的特征差异；
基于Darknet神经网络的特征提取模块，用于获得包含丰富细节信息的特征图像，和高动态范围图像的特征值提取；
基于残差网络的特征融合模块，用于学习不同模态间的权重，使得不同模态的特征信息可以更好地融合，获得更好结合高动态范围图像模态信息，强度模态信息与偏振模态信息的融合特征图，利用注意力机制处理对融合后的特征图进行选择和优化；
图像打印模块，用于过滤背景信息，打印出只包含准确目标信息的图像；
所述图像信号采集模块包括滤光片、偏振片、CCD探测器、多路复用器和A/D转换器；
所述滤光片将接收到的图像依次经过偏振片、CCD探测器分别传输至基于YoLoV3神经网络的特征提取模块与多路复用器，所述多路复用器将接收到的图像经过A/D转换器传输至基于Darknet神经网络的特征提取模块；
所述基于Darknet神经网络的特征提取模块包括亮度层图像转换、色度层图像转换、亮度层图像分区、对数压缩、引导滤波、亮度层色度层融合和亮度色度融合图像特征提取；
所述亮度层图像转换和色度层图像转换分别接收A/D转换器发送的高动态范围目标信息图像，所述亮度层图像转换将高动态范围目标信息图像进行亮度层图像分区后再进行对数压缩，将对数压缩后的图像信号分别进行引导滤波与亮度层色度层融合，将色度层图像转换后的图像信号也进行引导滤波，将亮度层色度层融合后的图像进行特征提取并传输至基于残差网络的特征融合模块。
2.根据权利要求1所述的强背景光下目标偏振探测系统，其特征在于，所述基于YoLoV3神经网络的特征提取模块包括卷积层、归一化层、Leaky ReLU激活函数、强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块；
所述卷积层接收CCD探测器的图像信号，并通过归一化层和Leaky ReLU激活函数后，分别传输至强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块，所述强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块将提取特征后的图像信号传输至基于残差网络的特征融合模块。
3.根据权利要求1或2所述的强背景光下目标偏振探测系统，其特征在于，所述基于残差网络的特征融合模块包括Res1残差网络单元、Res2残差网络单元、Res8残差网络单元、Res4残差网络单元、多模态信息整合、Concat级联、权重分析、加权融合、注意力机制处理、损失函数分析和最终特征图采集；
所述Res1残差网络单元、Res2残差网络单元、Res8残差网络单元及Res4残差网络单元，有效避免由于网络层数过深导致的模型退化问题；
所述Res1残差网络单元、Res2残差网络单元、Res8残差网络单元和Res4残差网络单元接收强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块将提取特征后的图像信号与将亮度层色度层融合后进行特征提取的图像信号并将其分别传输至多模态信息整合、Concat级联和权重分析，并将三组特征的图像依次进行加权融合、注意力机制处理、损失函数分析和最终特征图采集后将最终特征图传输至图像打印模块。
4.根据权利要求1所述的强背景光下目标偏振探测系统，其特征在于，所述图像打印模块包括阈值比对、半色调图像生成和图像打印；
将最终特征图的像素点的灰度值与设定阈值进行比对后，对图像进行半色调图像生成最终打印出只包含准确目标信息的图像。
5.一种多模态加权融合的强背景光下目标偏振探测方法，其特征在于，所述目标偏振探测方法使用如权利要求1-4任一所述多模态加权融合的强背景光下目标偏振探测系统，所述目标偏振探测方法具体包括以下步骤：
步骤1：将滤光片和偏振片与CCD探测器以对齐的方式镶嵌；每组与CCD探测器对齐镶嵌的一个滤光片和或一个偏振片构成一条通道，共计7条通道；
步骤2：分别获取步骤1中7条通道的目标信息图像，并将7条通道的目标信息图像整合到一条图像信道并将图像信号转换成高动态范围目标信息图像；
步骤3：将步骤2的目标信息图像传递到基于YoLoV3神经网络的特征提取模块进行编码、解码操作；
步骤4：将步骤3解码后的信息代入Leaky ReLU激活函数，并获取强度模态的特征图{I1,I2,I3}和偏振模态的特征图{P1，P2,P3}；
步骤5：基于Darknet53神经网络的特征提取模块采集来自A/D转换器输出的高动态范围目标信息图像，将图像信息转换、亮度分区、对数压缩并分区后对高亮层图像经压缩后结果进行导引滤波后，再进行亮度色度融合图像，最终获得亮度色度融合模态的特征图{V1，V2,V3}；
步骤6：将步骤4的强度模态的特征图{I1,I2,I3}、偏振模态的特征图{P1，P2,P3}和亮度色度融合模态的特征图{V1，V2,V3}进行多模态加权融合，再进行降维，对降维后的不同模态的特征进行描述，再进行特征图融合后，得到加权融合特征图；
步骤7：对步骤6的加权融合特征图进行优化后再进行损失函数分析，将得到的包含细节信息最丰富的最终特征图像传递到图像打印模块；
步骤8：对步骤7得到的最终特征图像的像素点的灰度值与阈值δ进行比对，对背景和目标进行分割；
当像素点的灰度值大于阈值δ时，将该像素点划分为背景像素点；当像素点的灰度值小于阈值δ时，将该像素点划分为目标像素点，进而实现背景和目标的分割；阈值δ是神经网络基于图像信息实时获取的；
步骤9：将步骤8的分割后的目标信息生成半色调图像并打印。
6.根据权利要求5所述的强背景光下目标偏振探测方法，其特征在于，所述步骤3具体为，
步骤3.1：基于YoLoV3神经网络的特征提取模块采集来自多通道的CCD探测器的目标信息图像，并传递到卷积层对这些信息进行编码操作；
步骤3.2：卷积层对信息进行编码后，传递到归一化层进行解码操作；
所述步骤4具体为，
步骤4.1：解码后的信息代入Leaky ReLU激活函数中运行，使神经网络的表现力更强，获取更好的数据拟合；
步骤4.2：将步骤4.2运行后信息的YoLoV3神经网络在强度和偏振两个分支上分别获取3个多尺度的特征图，强度模态的特征图记为{I1,I2,I3}，偏振模态的特征图记为{P1，P2,P3}。
7.根据权利要求5所述的强背景光下目标偏振探测方法，其特征在于，所述步骤5具体为，
步骤5.1：基于Darknet53神经网络的特征提取模块采集来自A/D转换器输出的高动态范围目标信息图像；并通过颜色空间转换将输入的高动态范围图像转换到L*a*b*空间，L*记录图像亮度数据，a*与b*记录图像色度细节，从而得到亮度层和色度层图像；
步骤5.2：依据L*可得具体图像亮度数据，求取图像最大亮度值\最小亮度值，采取亮度分区法把亮度图像划分为低暗、适中、高亮三个区间；
步骤5.3：接着对亮度层图像进行对数压缩并分区，由于高动态范围图像具有较大的动态区间，实现显示效果较差的不同亮度区域图像的相同校正系数；对高亮层图像进行划分，对数映射后在不同区域选择不同的调整参数γ，以校正亮度层图像；
步骤5.4：以高亮层图像经压缩后结果作为导引图像，对色度层图像进行导引滤波；
步骤5.5：把色度层在滤波后的图像和高亮层压缩后的图像相结合获得亮度色度融合图像，利用Darknet53神经网络在亮度色度融合图中提取3个多尺度的特征图，亮度色度融合模态的特征图记为{V1，V2,V3}。
8.根据权利要求5所述的强背景光下目标偏振探测方法，其特征在于，所述步骤6具体为，
步骤6.1：使用残差网络，对所提取到的强度模态特征，偏振模态特征和亮度色度融合模态特征进行多模态加权融合；
步骤6.2：用神经网络对不同模态特征图{I1,I2,I3}，{P1，P2,P3}和{V1，V2,V3}进行降维，以完成各模态在不同通道上的信息整合；
步骤6.3：利用Concat级联，对不同模态的特征进行描述，亮度色度融合模态的特征描述符为Av，偏振模态的特征描述符为Ap，强度模态的特征描述符为AI，相加后记为Am；
步骤6.4：将三个模态的特征描述符分别除以特征描述符之和Am，作为各自模态的权重，与特征图相乘后再级联融合，作为加权融合特征图；
步骤6.5：对步骤6.2-6.4所得到的三组特征行加权融合，得到多模态加权融合特征图记为{M1,M2,M3}。
CN202310759860.2A 2023-06-27 2023-06-27 一种强背景下目标偏振探测系统及其探测方法 Active CN116503704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310759860.2A CN116503704B (zh) 2023-06-27 2023-06-27 一种强背景下目标偏振探测系统及其探测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310759860.2A CN116503704B (zh) 2023-06-27 2023-06-27 一种强背景下目标偏振探测系统及其探测方法

Publications (2)

Publication Number Publication Date
CN116503704A CN116503704A (zh) 2023-07-28
CN116503704B true CN116503704B (zh) 2023-09-05

Family

ID=87327008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310759860.2A Active CN116503704B (zh) 2023-06-27 2023-06-27 一种强背景下目标偏振探测系统及其探测方法

Country Status (1)

Country Link
CN (1) CN116503704B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574296A (zh) * 2014-12-24 2015-04-29 长春理工大学 一种用于偏振去雾霾的多小波融合处理图片的方法
CN106846288A (zh) * 2017-01-17 2017-06-13 中北大学 一种双模态红外图像差异特征指数测度的多算法融合方法
CN107633495A (zh) * 2017-08-02 2018-01-26 中北大学 一种基于互补关系的红外偏振与光强图像多算法2d‑vmd内嵌式融合方法
CN107909112A (zh) * 2017-11-27 2018-04-13 中北大学 一种红外光强与偏振图像多类变元组合的融合方法
CN111292279A (zh) * 2020-01-17 2020-06-16 中国科学院上海技术物理研究所 一种基于彩色图像融合的偏振图像可视化方法
CN111445430A (zh) * 2020-03-31 2020-07-24 中北大学 基于差异特征幅值区间融合有效度分布的双模态红外图像融合算法选择方法
CN113358063A (zh) * 2021-06-04 2021-09-07 华中科技大学 一种基于相位加权融合的面结构光三维测量方法及系统
CN114693577A (zh) * 2022-04-20 2022-07-01 合肥工业大学 一种基于Transformer的红外偏振图像融合方法
WO2022204666A1 (en) * 2021-03-25 2022-09-29 Sri International Polarized image enhancement using deep neural networks
CN115265365A (zh) * 2022-07-29 2022-11-01 南昌航空大学 一种高精度激光投影视觉三维测量系统
CN115393233A (zh) * 2022-07-25 2022-11-25 西北农林科技大学 一种基于自编码器的全线偏振图像融合方法
CN115861608A (zh) * 2022-10-26 2023-03-28 中国人民解放军陆军工程大学 一种基于光强与偏振线索的伪装目标分割方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574296A (zh) * 2014-12-24 2015-04-29 长春理工大学 一种用于偏振去雾霾的多小波融合处理图片的方法
CN106846288A (zh) * 2017-01-17 2017-06-13 中北大学 一种双模态红外图像差异特征指数测度的多算法融合方法
CN107633495A (zh) * 2017-08-02 2018-01-26 中北大学 一种基于互补关系的红外偏振与光强图像多算法2d‑vmd内嵌式融合方法
CN107909112A (zh) * 2017-11-27 2018-04-13 中北大学 一种红外光强与偏振图像多类变元组合的融合方法
CN111292279A (zh) * 2020-01-17 2020-06-16 中国科学院上海技术物理研究所 一种基于彩色图像融合的偏振图像可视化方法
CN111445430A (zh) * 2020-03-31 2020-07-24 中北大学 基于差异特征幅值区间融合有效度分布的双模态红外图像融合算法选择方法
WO2022204666A1 (en) * 2021-03-25 2022-09-29 Sri International Polarized image enhancement using deep neural networks
CN113358063A (zh) * 2021-06-04 2021-09-07 华中科技大学 一种基于相位加权融合的面结构光三维测量方法及系统
CN114693577A (zh) * 2022-04-20 2022-07-01 合肥工业大学 一种基于Transformer的红外偏振图像融合方法
CN115393233A (zh) * 2022-07-25 2022-11-25 西北农林科技大学 一种基于自编码器的全线偏振图像融合方法
CN115265365A (zh) * 2022-07-29 2022-11-01 南昌航空大学 一种高精度激光投影视觉三维测量系统
CN115861608A (zh) * 2022-10-26 2023-03-28 中国人民解放军陆军工程大学 一种基于光强与偏振线索的伪装目标分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
强度图像和偏振度图像融合网络的设计;闫德利等;《光学精密工程》;第1256-1266页 *

Also Published As

Publication number Publication date
CN116503704A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
Tremeau et al. Color in image and video processing: most recent trends and future research directions
CN110490041B (zh) 人脸图像采集装置及方法
CN102812705B (zh) 图像编码器和图像解码器
CN105430359A (zh) 成像方法、图像传感器、成像装置及电子装置
CN101115131A (zh) 基于像素空间相关性的图像融合效果实时评价方法及装置
CN105430361A (zh) 成像方法、图像传感器、成像装置及电子装置
CN105430363A (zh) 成像方法、成像装置及电子装置
CN102088539B (zh) 一种预拍照画质评价方法和系统
CN105578080A (zh) 成像方法、图像传感器、成像装置及电子装置
CN111355936A (zh) 用于人工智能的采集和处理图像数据的方法及系统
CN105578081A (zh) 成像方法、图像传感器、成像装置及电子装置
CN107317967A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN116309116A (zh) 一种基于raw图像的低弱光图像增强方法与装置
CN112070691A (zh) 一种基于U-Net的图像去雾方法
CN107197266B (zh) 一种hdr视频编码方法
CN107920205A (zh) 图像处理方法、装置、存储介质和电子设备
CN116503704B (zh) 一种强背景下目标偏振探测系统及其探测方法
CN105554485A (zh) 成像方法、成像装置及电子装置
CN107197235A (zh) 一种hdr视频预处理方法
EP3139341A1 (en) Methods, systems and apparatus for specular highlight reconstruction
CN115330633A (zh) 图像色调映射方法及装置、电子设备、存储介质
CN114549386A (zh) 一种基于自适应光照一致性的多曝光图像融合方法
CN113591591A (zh) 人工智能现场行为识别系统
CN115810021A (zh) 一种色调映射方法、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant