CN115219026B - 偏振智能感知系统及感知方法 - Google Patents

偏振智能感知系统及感知方法 Download PDF

Info

Publication number
CN115219026B
CN115219026B CN202210825609.7A CN202210825609A CN115219026B CN 115219026 B CN115219026 B CN 115219026B CN 202210825609 A CN202210825609 A CN 202210825609A CN 115219026 B CN115219026 B CN 115219026B
Authority
CN
China
Prior art keywords
image
polarization
information
polarized
target scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210825609.7A
Other languages
English (en)
Other versions
CN115219026A (zh
Inventor
姚东
梁瀚钢
蒋春明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202210825609.7A priority Critical patent/CN115219026B/zh
Publication of CN115219026A publication Critical patent/CN115219026A/zh
Application granted granted Critical
Publication of CN115219026B publication Critical patent/CN115219026B/zh
Priority to PCT/CN2023/099545 priority patent/WO2024012117A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/447Polarisation spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种偏振智能感知系统及感知方法,其中的感知方法包括S1、对目标场景进行偏振成像,获得偏振图像;S2、对偏振图像进行解算,获得目标场景的偏振信息;S3、根据偏振信息生成待还原的目标场景的图像信息;S4、根据图像信息、光谱信息以及强度信息,应用神经网络获取目标场景的解译信息。本发明可以广泛应用于各种运载平台环境,具有较强的环境适应性,能够获取常规光学传感器所不能感知的目标场景信息,如偏振度信息、偏振相角信息、图像增强信息等,适用于海洋环境、低照度环境、水雾环境等恶劣情况。本发明将偏振成像技术与人工智能技术相结合,以接近于“实时”的计算速度开展信息搜寻、识别、存储等处理工作。

Description

偏振智能感知系统及感知方法
技术领域
本发明涉及偏振成像技术领域,特别涉及一种偏振智能感知系统及感知方法。
背景技术
随着人类对自然界探索的深入,恶劣环境下的光学成像需求越来越多,需要光学设备具有越来越强的环境适应性。例如,海洋及周边环境占地球表面面积约70%,人类对其相对了解较少,目前世界各国均正在开展海洋资源开发研究,在海洋环境下实现信息有效获取是开展进一步科学研究和实践应用的基础;同时,在昏暗的照明条件下,获取更加清晰目标场景照明图像将有利于机器视觉对目标的准确识别。
我国近海水体散射特性十分复杂,环境复杂多变,空气含水量大、人造目标稀少、目标影像单一、海冰海浪环境影响显著。光强度成像技术一般都会受到环境因素的影响,变化的光照条件,如强光、弱光、阴影等都会为成像带来干扰。当海洋条件和弱光照条件相结合的时候,为光学成像设备的环境适应能力带来了越来越高的要求,因此,需要光学观测设备具有更好的环境适应性。
偏振光的基本维度之一,依托于目标场景偏振信息的成像技术是一种独特的成像技术,相对而言具有更好的环境适应性。因为不同偏振方向的光对水气的穿透能力不同,利用偏振信息可以实现去雾;因为偏振解译信息具有对低对比度数据的增强作用,因此适用于在恶劣的环境下进行远距离的图像信息获取,在背景噪声抑制、探测距离提升、细节特征增强、以及目标伪装识别等方面具有相对优势。同时偏振成像技术可以抑制太阳耀光,并对人造目标进行高亮突出显示,这些优点为其在恶劣的环境下(如海洋场景中)的广泛应用奠定了基础,因此具有更好的环境适应性。
同时,本文为了获得更好的目标场景复原图像,提出了偏振图像增强模型,采用强度图像、偏振度图像和偏振相角图像综合计算处理的方式,获取更好目标凸显效果的融合偏振图像,可作为神经网络的基础输入数据之一。
人的信息处理能力是有限的,这与海量信息的处理需求不相匹配,而人工智能的出现恰恰可以较好的填补人类天生弊端,实现快速图像解译。目前,市场上具有恶劣环境适应性的光学设备尚未见广泛报道,海洋遥感多基于红外光学谱段对水汽的高穿透性。与上述技术途径不同的是,本发明提出将偏振成像技术与人工智能技术相结合,使系统具有较强的环境适应性。
发明内容
本发明的目的是为了克服已有技术的缺陷,提出一种偏振智能感知系统及感知方法,将偏振成像技术与人工智能技术相结合,以接近于“实时”的计算速度开展信息搜寻与处理,适用于海域势态感知、目标搜索、海冰检测等多种应用场景,尤其适用于海洋环境、低照度环境、水雾环境等恶劣情况。
为实现上述目的,本发明采用以下具体技术方案:
本发明提供的偏振智能感知系统,包括:
偏振光学成像模块,用于对目标场景进行偏振成像,获得偏振图像;
偏振图像处理模块,用于对偏振图像进行解算,获得目标场景的偏振信息;
目标场景图像增强模块,用于根据偏振信息生成待还原的目标场景的图像信息;
目标场景解译模块,用于基于图像信息、光谱信息或强度信息,应用神经网络获取目标场景的解译信息。
优选地,偏振图像处理模块包括:
偏振图像预处理单元,用于对偏振图像进行预处理;
偏振信息解算单元,用于对预处理后的偏振图像进行解算,获得像元的偏振度信息和偏振相角信息。
优选地,目标场景图像增强模块采用基于DETR网络的多维度目标检测神经网络,多维度目标检测神经网络包括:
预处理子模块,以强度图像、偏振度、偏振相角、已还原的目标场景图像、光谱信息联合作为输入或部分组合作为输入,结合降噪模块以及CNN神经网络对偏振图像进行降噪和特征融合
变换器子模块,使用Transformer模型提取目标对象的相关数据;
预测输出子模块,使用FNN神经网络对变换器子模块输出的数据进行处理得到多目标检测结果。
优选地,目标场景图像增强模块采用偏振图像增强模型:IMG(O)=k1*C1{I0,I45,I90,I135}+k2*C2{IMG(D)}+k3*C3{IMG(A)}
其中,IMG(O)表示待还原的所述目标场景的图像信息,C1{I0,I45,I90,I135}表示强度图像0°、45°、90°和135°偏振图像的计算后的优选图像,该优选图像为单独某偏振角度图像或多角度的计算图像;IMG(D)表示偏振度图像,C2{IMG(D)}表示利用偏振度图像所得到的含有目标空间的边缘凸显信息的计算图像;IMG(A)表示偏振相角图像,C3{IMG(A)}表示利用偏振相角图像获取的含有目标物表面信息的计算图像;k1、k2和k3分别表示所述偏振图像的计算优选图像、偏振度计算图像与所述偏振相角计算图像三种图像的强度系数。
优选地,偏振光学成像模块包括相适配的偏振光学镜头和偏振探测器。
本发明提供的偏振智能感知方法,利用偏振智能感知系统实现,包括如下步骤:
S1、对目标场景进行偏振成像,获得偏振图像;
S2、对偏振图像进行解算,获得目标场景的偏振信息;
S3、根据偏振信息生成待还原的目标场景的图像信息;
S4、根据图像信息、光谱信息或强度信息,应用神经网络获取目标场景的解译信息。
优选地,步骤S2具体包括如下子步骤:
S21、对偏振图像进行预处理;
S22、从预处理后的偏振图像中获取目标场景的斯托克斯矢量;
S23、基于斯托克斯矢量解算目标场景的偏振信息;
偏振信息包括偏振度信息和偏振相角信息;
偏振度信息DoP的计算公式为:
Figure GDA0004129530590000041
或线偏振度信息DoLP的计算公式为:
Figure GDA0004129530590000042
其中,I、Q、U、V分别为目标场景的斯托克斯矢量;
偏振相角信息AoLP的计算公式为:
Figure GDA0004129530590000043
优选地,在步骤S21中,将临近的四像元定义为一个超级像素I=[I0,I45,I90,I135],探测强度定义为Id,真实目标强度为It,采用多项式拟合方式对探测强度进行标定,实现对偏振图像的去噪,多项式拟合方式为:
It=a0+a1Id+a2Id 2…anId n
其中,a0…an为多项式的系数。
优选地,在步骤S3中,构建基于DETR网络的多维度目标检测神经网络,多维度目标检测神经网络包括:
预处理子模块,以强度图像、偏振度、偏振相角、已还原的目标场景图像、光谱信息联合作为输入或部分组合作为输入,结合降噪模块以及CNN神经网络对偏振图像进行降噪和特征融合
变换器子模块,使用Transformer模型提取目标对象的相关数据;
预测输出子模块,使用FNN神经网络对变换器子模块输出的数据进行处理得到多目标检测结果。
优选地,在步骤S3中,构建偏振图像增强模型:IMG(O)=k1*C1{I0,I45,I90,I135}+k2*C2{IMG(D)}+k3*C3{IMG(A)}
其中,IMG(O)表示待还原的所述目标场景的图像信息,C1{I0,I45,I90,I135}表示强度图像0°、45°、90°和135°偏振图像的计算后的优选图像,该优选图像为单独某偏振角度图像或多角度的计算图像;IMG(D)表示偏振度图像,C2{IMG(D)}表示利用偏振度图像所得到的含有目标空间的边缘凸显信息的计算图像;IMG(A)表示偏振相角图像,C3{IMG(A)}表示利用偏振相角图像获取的含有目标物表面信息的计算图像;k1、k2和k3分别表示所述偏振图像的计算优选图像、偏振度计算图像与所述偏振相角计算图像三种图像的强度系数。
本发明能够取得如下技术效果:
1、本发明可以广泛应用于各种运载平台环境,具有较强的环境适应性,能够获取常规光学传感器所不能感知的目标场景信息,如偏振度信息、偏振相角信息、图像增强信息等。新的信息维度的获取,为本系统的广泛应用奠定了技术基础,适用于海域势态感知、目标搜索、海冰检测等多种应用场景,尤其适用于海洋环境、低照度环境、水雾环境等恶劣情况;
2、本发明将偏振成像技术与人工智能技术相结合,以接近于“实时”的计算速度开展信息搜寻与处理;
3、获取高质量目标场景图像信息;
4、更加准确地对目标场景图像进行解译,对图像中典型物体进行分类,并获取目标物体的位置信息。
附图说明
图1是根据本发明实施例提供的偏振智能感知系统的逻辑结构示意图;
图2是根据本发明实施例提供的卡塞格林折反式偏振光学系统的结构示意图;
图3是根据本发明实施例提供的偏振像差优化前后的对比示意图;
图4是根据本发明实施例提供的偏振智能感知方法的流程示意图;
图5是根据本发明实施例提供的基于DETR网络的多维度目标检测神经网络的逻辑结构示意图。
其中的附图标记包括:偏振智能感知系统100、偏振光学成像模块101、偏振图像处理模块102、目标场景图像增强模块103、目标场景解译模块104。
具体实施方式
在下文中,将参考附图描述本发明的实施例。在下面的描述中,相同的模块使用相同的附图标记表示。在相同的附图标记的情况下,它们的名称和功能也相同。因此,将不重复其详细描述。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,而不构成对本发明的限制。
图1示出了根据本发明实施例提供的偏振智能感知系统的逻辑结构。
如图1所示,本发明实施例提供的偏振智能感知系统100包括偏振光学成像模块101、偏振图像处理模块102、目标场景图像增强模块103和目标场景解译模块104,偏振光学成像模块101用于对目标场景进行偏振成像,获得偏振图像;偏振图像处理模块102用于对偏振图像进行解算,获得目标场景的偏振信息;目标场景图像增强模块103用于根据偏振信息生成待还原的目标场景的图像信息;目标场景解译模块104用于基于图像信息、光谱信息或强度信息,应用神经网络获取目标场景的解译信息。
偏振光学成像模块101由偏振光学镜头和偏振探测器构成,偏振光学镜头泛指各类可以成像的光学系统,优选的,需要与偏振探测器的要求相适应,例如镜头的空间分辨力在偏振探测器空间频率处的MTF值要优于0.3;同时要求具有偏振像差抑制能力,能够较好地保持入射光的偏振信息,不引入额外像差;偏振光学镜头包括但不限于定焦镜头、变焦镜头、折射类镜头、反射类镜头以及折反射类镜头等。偏振探测器是指能够获取目标场景偏振特征的图像感知器件,可以是分焦平面类型相机、分振幅型相机、分孔径型相机、分时成像类相机等图像感知器件,具体选择需要与光学镜头的结构相适应。
根据不同的偏振实现机理,可以有不同的偏振光学镜头结构。在这里以折反射偏振镜头为主进行说明,如图2所示的卡塞格林折反式偏振光学系统,透射偏振补偿镜组3位于主镜3与次镜1之间,透射偏振补偿镜组3包括从主镜3向次镜1方向依次设置的第一透镜至第四透镜21-24,第一透镜21的前表面(朝向主镜3的一面)为凸面,第一透镜21的后表面为凹面,第二透镜22的前表面与后表面均为凹面,第三透镜23的前表面为凹面,第三透镜23的后表面为凸面,第二透镜22的前表面与后表面均为凸面。
在卡塞格林折反式偏振光学系统中采用反射方式与折射方式相结合的方式,实现偏振像差的矫正,同时满足系统空间分辨率的要求,与分像面偏振探测器相适应。在此类偏振镜头设计过程中,应该详细计算探测器表面处偏振像差分布,得出图像初始的偏振像差分布特性。
常规的镜头将产生较强的偏振像差,这对入射光的偏振特性带来较强的影响,因此,对于偏振遥感镜头而言,需要开展偏振像差优化设计。常规未开展偏振像差优化的镜头往往存有较大的偏振像差,如下图3中左图所示;采用透射元件与反射元件相结合的方式实现偏振像差优化,如图3中右图所示。
偏振图像处理模块102包括:偏振图像预处理单元和偏振信息解算单元,偏振图像预处理单元用于对偏振图像进行预处理,如灰度值拉伸、去噪、锐化等操作,以便更好开展后续工作;偏振信息解算单元用于对预处理后的偏振图像进行解算,获得像元的偏振度信息和偏振相角信息。
在获取偏振原始图像后,需根据需求解算偏振信息,包括但不限于偏振信息、偏振相角信息和强度信息。以分焦平面类探测器为例,原始偏振图像中包括I0、I45、I90、I135等不同角度的强度信息,利用这些信息可以计算出斯托克斯矢量:
Figure GDA0004129530590000081
根据计算出的斯托克斯矢量,求解逐像元的偏振度信息和偏振相角信息。
Figure GDA0004129530590000082
由偏振度信息构成的图像被称之为偏振度图像IMG(D);
Figure GDA0004129530590000083
由偏振相角信息构成的图像被称之为偏振相角图像IMG(A)。
目标场景图像增强模块103结合使用需求,开展图像增强、融合等工作,结合输入数据特点,构建神经元网络模型,实现对输入图像的准实时处理,生成客户关注的信息传递给下一节点。例如,经过样本训练,可对海洋船舶、海冰、浅礁、岛屿、人员等目标进行智能识别感知。
目标场景图像增强模块103采用偏振图像增强模型:IMG(O)=k1*C1{I0,I45,I90,I135}+k2*C2{IMG(D)}+k3*C3{IMG(A)}
其中,IMG(O)表示待还原的所述目标场景的图像信息,C{I0,I45,I90,I135}表示强度图像0°、45°、90°和135°偏振图像的计算后的优选图像,该优选图像为单独某偏振角度图像或多角度的计算图像,计算过程包括但不限于常规算法中加权平均、滤波、降噪等过程;IMG(D)表示偏振度图像,C2{IMG(D)}表示利用偏振度图像所得到的计算图像(含有目标空间的边缘凸显信息);IMG(A)表示偏振相角图像,C3{IMG(A)}表示利用偏振相角图像获取的计算图像(含有目标物表面信息);k1、k2和k3分别表示三种图像的强度系数。
或者目标场景图像增强模块103采用基于DETR网络的多维度目标检测神经网络,多维度目标检测神经网络包括预处理子模块、变换器子模块和预测输出子模块;预处理子模块以强度图像、偏振度、偏振相角、已还原的目标场景图像、光谱信息联合作为输入或部分组合作为输入,结合降噪模块以及CNN神经网络对偏振图像进行降噪和特征融合;变换器子模块使用Transformer模型提取目标对象的相关数据;预测输出子模块,使用FNN神经网络对变换器子模块输出的数据进行处理得到多目标检测结果。
上述内容详细说明了本发明实施例提供的偏振智能感知系统的逻辑结构。与该偏振智能感知系统相对应,本发明实施例还提供一种利用偏振智能感知系统实现的偏振智能感知方法。
图4示出了根据本发明实施例提供的偏振智能感知方法的流程。
如图4所示,本发明实施例提供的偏振智能感知方法,包括如下步骤:
S1、对目标场景进行偏振成像,获得偏振图像。
S2、对偏振图像进行解算,获得目标场景的偏振信息。
步骤S2具体包括如下子步骤:
S21、对偏振图像进行预处理。
本过程主要实现对传感器探测强度的标定,以常规的四线性偏振方向探测器为例(未来可拓展成全偏振探测器),将临近的四像元定义为一个超级像素I=[I0,I45,I90,I135],探测强度定义为Id,真实目标强度为It,去噪过程的核心目的在于通过探测强度Id获取目标真实强度It。在本发明中,采用多项式拟合的方式来实现探测强度的标定。噪声的成分包括但不限于偏振消光方向的串扰、探测器本有噪声如暗电流噪声、散粒噪声、1/f噪声、热噪声等,标定过程可以表示为下述公式:
It=a0+a1Id+a2Id 2…anId n
其中,a0…an为多项式的系数,可以通过实验室及外场试验标定,数学方法可以为最小二乘法、多元线性回归法等。
S22、从预处理后的偏振图像中获取目标场景的斯托克斯矢量(I,Q,U,V)。
S23、基于斯托克斯矢量解算目标场景的偏振信息。
偏振信息包括偏振度信息和偏振相角信息;
偏振度信息DoP的计算公式为:
Figure GDA0004129530590000101
或线偏振度信息DoLP的计算公式为:
Figure GDA0004129530590000102
其中,I、Q、U、V分别为目标场景的斯托克斯矢量;
偏振相角信息AoLP的计算公式为:
Figure GDA0004129530590000103
针对分焦平面型偏振探测系统,由于该分焦平面型偏振探测系统感知的是线偏振信息(I,Q,U),而不能感知圆偏振信息,因此其线偏振度的计算公式为:
Figure GDA0004129530590000104
偏振相角解算公式仍然为
Figure GDA0004129530590000105
根据不同的目标场景,适应性解算不同的偏振信息,如对边缘特征明显型目标主要提取其偏振度信息,对面特征明显型目标主要提取其偏振相角信息。二者在智能识别算法中的权重在此处智能选择。经智能驱动解算后,分配至偏振度图像和偏振相角图像的权重比值分别为K1和K2。
S3、根据偏振信息生成待还原的目标场景的图像信息。
结合目标的偏振特征,可以利用神经网络开展人工智能识别,与传统的强度图像相比具有显著优势。常规的人工智能处理技术主要基于强度图像,具有较为成熟的人工智能框架,如yolo系列,但是该系统主要利用强度图像。偏振信息是目标场景的独立信息维度,市场上尚未出现与目标偏振图像相适应的人工智能处理框架,因此本发明所提出的“偏振相机”+“人工智能”的模式具有创新性。在实用性方面本发明具有非常广泛的应用前景,例如:海面上的人造目标搜索、海面以及水下目标的探测和识别、烟雾气候环境条件下的导航、星载或机载遥感等;同时可与其它技术相结合,如常规强度图像信息获取技术、光谱获取技术、雷达技术等。
在人工智能识别方面,结合使用需求,开展图像增强、融合等工作,结合输入数据特点,构建神经元网络模型,实现对输入图像的准实时处理,生成客户关注的信息传递给下一节点。例如,经过样本训练,可对海洋船舶、海冰、浅礁、岛屿、人员等目标进行智能识别感知。
神经元网络模型包括但不限于以下两种,二者皆可用于还原更接近与目标场景的真实信息的图像:
1、构建偏振图像增强模型,例如一种模型可以表示为:IMG(O)=k1*C1{I0,I45,I90,I135}+k2*C2{IMG(D)}+k3*C3{IMG(A)}
其中,IMG(O)表示待还原的所述目标场景的图像信息,C1{I0,I45,I90,I135}表示强度图像0°、45°、90°和135°偏振图像的计算后的优选图像,该优选图像为单独某偏振角度图像或多角度的计算图像;IMG(D)表示偏振度图像,C2{IMG(D)}表示利用偏振度图像所得到的含有目标空间的边缘凸显信息的计算图像;IMG(A)表示偏振相角图像,C3{IMG(A)}表示利用偏振相角图像获取的含有目标物表面信息的计算图像;k1、k2和k3分别表示所述偏振图像的计算优选图像、偏振度计算图像与所述偏振相角计算图像三种图像的强度系数。
2、构建CNN神经网络,以偏振图像(包括偏振度图像A,偏振相角图像B以及各偏振角度图像)为输入,以对应的人为已优化IMG(O)为标签,围绕典型的目标场景进行训练,最终得到能够智能输出理想IMG(O)的网络结构。
为了利用偏振相机能获取到普通可见光相机不同的目标相关信息的优势来优化目标检测任务,提出了一种基于DETR网络的多维度目标检测神经网络,如图5所示,具体包括预处理、变换器和预测输出三个子模块。在预处理子模块中,以强度图像、偏振度、偏振相角、已还原的目标场景图像、光谱信息联合作为输入或部分组合作为输入,并使用降噪模块以及CNN神经网络对多通道图像进行降噪和特征融合;在变换器子模块中,使用了Transformer模型来提取目标对象的相关数据;在预测输出子模块中,使用FNN神经网络对变换器子模块输出进行处理得到多目标检测结果。
如图5所示,将同一视角下的可见光强、偏振度、偏振相角、红外共四个不同维度的图像,组合在一起作为一个4通道图像输入到专门训练的DETR网络中。在这个网络中,首先对其进行降噪预处理,接着使用Down-CNN(由卷积层和池化层构成)融合各通道图像特征并降低分辨率以减少后续内存需求;接着通过4个transform块提取各对象相关特征,最后通过两个FNN获取图像中包含的对象类型和对应类型所在位置。其训练标签由labelImg生成,训练任务为预测结果和训练标签之间的二分图匹配问题,采用匈牙利算法优化求解最小损失,并以此获取训练完成的网络。其中,损失函数定义如下:将预测结果看作为固定长度N的序列
Figure GDA0004129530590000121
标签表示为O:Oi=(ci,bi),其中i∈(1,N),ci表示对象类型,bi为四元组,则匈牙利算法定义的最小匹配策略如下:
Figure GDA0004129530590000122
其中,
Figure GDA0004129530590000123
同时考虑了类别和真实框之间的相似度预测,ci的类别预测置信度为
Figure GDA0004129530590000124
边界框预测为
Figure GDA0004129530590000125
那么
Figure GDA0004129530590000126
可以表示为:
Figure GDA0004129530590000127
其中,
Figure GDA0004129530590000128
为将L1损失和iou损失线性结合得到:
Figure GDA0004129530590000129
那么整体损失表示为:
Figure GDA00041295305900001210
训练目标为将整体损失最小化。
基于偏振图像和常规图像的显著差异特性,偏振图像对强偏振信息的入射光非常敏感,能够实现“弱光亮化,亮光弱化”的效果。上文所提及的船舶、海冰、浅礁、岛屿、人员等场景均具有与背景显著的偏振特性,在偏振图像上将呈现出显著的差异性,这点有别于传统强度图像,也是本发明的出发点。
在具体实现层面具有多种灵活的技术解决方式,例如:单独使用偏振度图像,识别目标场景中人造结构的轮廓(如楼宇)、识别光滑的表面(如玻璃)、识别移动的人造物体(如汽车);再如:利用偏振度图像和偏振相角图像相融合的方式,实现暗场景增强(如对阴影的去除);再如:利用偏振度图像,估算目标物体的倾斜角度等。
以偏振图像作为人工智能识别的样品集,将比常规强度图像更好的识别出具有偏振特性的目标。
S4、根据图像信息、光谱信息或强度信息,应用神经网络获取目标场景的解译信息。
本发明不仅可以通过偏振信息生成待还原的目标场景的图像信息作为神经网络的输入获取目标场景的解译,还可以通过光谱信息或强度信息作为神经网络的输入获取目标场景的解译信息,并存储综合计算数据。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。

Claims (8)

1.一种偏振智能感知系统,其特征在于,包括:
偏振光学成像模块,用于对目标场景进行偏振成像,获得偏振图像;
偏振图像处理模块,用于对所述偏振图像进行解算,获得所述目标场景的偏振信息;
目标场景图像增强模块,用于根据所述偏振信息生成待还原的所述目标场景的图像信息;
所述目标场景图像增强模块采用基于DETR网络的多维度目标检测神经网络,所述多维度目标检测神经网络包括:
预处理子模块,以强度图像、偏振度、偏振相角、已还原的目标场景图像、光谱信息联合作为输入或部分组合作为输入,结合降噪模块以及CNN神经网络对所述偏振图像进行降噪和特征融合;
变换器子模块,使用Transformer模型提取目标对象的相关数据;
预测输出子模块,使用FNN神经网络对所述变换器子模块输出的数据进行处理得到多目标检测结果;
目标场景解译模块,用于基于所述图像信息、光谱信息或强度信息,应用神经网络获取所述目标场景的解译信息。
2.如权利要求1所述的偏振智能感知系统,其特征在于,所述偏振图像处理模块包括:
偏振图像预处理单元,用于对所述偏振图像进行预处理;
所述偏振信息的解算单元,用于对预处理后的偏振图像进行解算,获得像元的偏振度信息和偏振相角信息。
3.如权利要求1所述的偏振智能感知系统,其特征在于,所述目标场景图像增强模块采用偏振图像增强模型:
IMG(O)=k1*C1{I0,I45,I90,I135}+k2*C2{IMG(D)}+k3*C3{IMG(A)};
其中,IMG(O)表示待还原的所述目标场景的图像信息,C1{I0,I45,I90,I135}表示强度图像0°、45°、90°和135°偏振图像的计算后的优选图像,该优选图像为单独某偏振角度图像或多角度的计算图像;
IMG(D)表示偏振度图像,C2{IMG(D)}表示利用偏振度图像所得到的含有目标空间的边缘凸显信息的计算图像;IMG(A)表示偏振相角图像,C3{IMG(A)}表示利用偏振相角图像获取的含有目标物表面信息的计算图像;k1、k2和k3分别表示所述偏振图像的计算优选图像、偏振度计算图像与偏振相角计算图像的强度系数。
4.如权利要求1所述的偏振智能感知系统,其特征在于,所述偏振光学成像模块包括相适配的偏振光学镜头和偏振探测器,所述偏振光学镜头具有弱偏振调制特性。
5.一种利用权利要求1~4中任一项所述的偏振智能感知系统实现的偏振智能感知方法,其特征在于,包括如下步骤:
S1、对目标场景进行偏振成像,获得偏振图像;
S2、对所述偏振图像进行解算,获得所述目标场景的偏振信息;
S3、根据所述偏振信息生成待还原的所述目标场景的图像信息;构建基于DETR网络的多维度目标检测神经网络,所述多维度目标检测神经网络包括:
预处理子模块,以强度图像、偏振度、偏振相角、已还原的目标场景图像、光谱信息联合作为输入或部分组合作为输入,结合降噪模块以及CNN神经网络对所述偏振图像进行降噪和特征融合;
变换器子模块,使用Transformer模型提取目标对象的相关数据;
预测输出子模块,使用FNN神经网络对所述变换器子模块输出的数据进行处理得到多目标检测结果;
S4、根据所述图像信息、光谱信息或强度信息,应用神经网络获取所述目标场景的解译信息。
6.如权利要求5所述的偏振智能感知方法,其特征在于,步骤S2具体包括如下子步骤:
S21、对所述偏振图像进行预处理;
S22、从预处理后的偏振图像中获取所述目标场景的斯托克斯矢量;
S23、基于所述斯托克斯矢量解算所述目标场景的偏振信息;
所述偏振信息包括偏振度信息和偏振相角信息;
所述偏振度信息DoP的计算公式为:
Figure FDA0004129530570000021
或线偏振度信息DoLP的计算公式为:
Figure FDA0004129530570000031
其中,I、Q、U、V分别为所述目标场景的斯托克斯矢量;
所述偏振相角信息AoLP的计算公式为:
Figure FDA0004129530570000032
7.如权利要求6所述的偏振智能感知方法,其特征在于,在步骤S21中,将临近的四像元定义为一个超级像素I=[I0,I45,I90,I135],探测强度定义为Id,真实目标强度为It,采用多项式拟合方式对探测强度进行标定,实现对所述偏振图像的去噪,多项式拟合方式为:
It=a0+a1Id+a2Id 2…anId n
其中,a0…an为多项式的系数。
8.如权利要求5所述的偏振智能感知方法,其特征在于,在步骤S3中,构建偏振图像增强模型:
IMG(O)=k1*C1{I0,I45,I90,I135}+k2*C2{IMG(D)}+k3*C3{IMG(A)}
其中,IMG(O)表示待还原的所述目标场景的图像信息,C1{I0,I45,I90,I135}表示强度图像0°、45°、90°和135°偏振图像的计算后的优选图像,该优选图像为单独某偏振角度图像或多角度的计算图像;IMG(D)表示偏振度图像,C2{IMG(D)}表示利用偏振度图像所得到的含有目标空间的边缘凸显信息的计算图像;IMG(A)表示偏振相角图像,C3{IMG(A)}表示利用偏振相角图像获取的含有目标物表面信息的计算图像;k1、k2和k3分别表示所述偏振图像的计算优选图像、偏振度计算图像与偏振相角计算图像三种图像的强度系数。
CN202210825609.7A 2022-07-14 2022-07-14 偏振智能感知系统及感知方法 Active CN115219026B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210825609.7A CN115219026B (zh) 2022-07-14 2022-07-14 偏振智能感知系统及感知方法
PCT/CN2023/099545 WO2024012117A1 (zh) 2022-07-14 2023-06-09 偏振智能感知系统及感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210825609.7A CN115219026B (zh) 2022-07-14 2022-07-14 偏振智能感知系统及感知方法

Publications (2)

Publication Number Publication Date
CN115219026A CN115219026A (zh) 2022-10-21
CN115219026B true CN115219026B (zh) 2023-05-12

Family

ID=83612088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210825609.7A Active CN115219026B (zh) 2022-07-14 2022-07-14 偏振智能感知系统及感知方法

Country Status (2)

Country Link
CN (1) CN115219026B (zh)
WO (1) WO2024012117A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115219026B (zh) * 2022-07-14 2023-05-12 中国科学院长春光学精密机械与物理研究所 偏振智能感知系统及感知方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500444A (zh) * 2013-09-04 2014-01-08 北京航空航天大学 一种偏振图像融合方法
US9513162B2 (en) * 2015-03-16 2016-12-06 Raytheon Company Tunable multi-band spectro-polarimeter
CN104978724B (zh) * 2015-04-02 2017-09-12 中国人民解放军63655部队 基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法
US9824295B2 (en) * 2016-02-18 2017-11-21 L-3 Communications Cincinnati Electronics Corporation Imaging systems and methods including obscurant characterization
CN111861914B (zh) * 2020-07-07 2023-02-03 天津大学 基于深度神经网络的低照度彩色偏振图像增强方法
CN112070698B (zh) * 2020-09-07 2022-08-05 合肥工业大学 基于多通道偏振距离模型的目标与背景对比度增强方法
CN114067188A (zh) * 2021-11-24 2022-02-18 江苏科技大学 一种伪装目标的红外偏振图像融合方法
CN115219026B (zh) * 2022-07-14 2023-05-12 中国科学院长春光学精密机械与物理研究所 偏振智能感知系统及感知方法

Also Published As

Publication number Publication date
CN115219026A (zh) 2022-10-21
WO2024012117A1 (zh) 2024-01-18

Similar Documents

Publication Publication Date Title
Li et al. LAP-Net: Level-aware progressive network for image dehazing
US9247159B2 (en) Infrared camera detection systems and methods
CN101241173B (zh) 红外体视热像方法及其系统
Sargent et al. Conditional generative adversarial network demosaicing strategy for division of focal plane polarimeters
CN115219026B (zh) 偏振智能感知系统及感知方法
CN112561996A (zh) 一种自主水下机器人回收对接中目标检测方法
CN113255521A (zh) 一种面向嵌入式平台的双模目标检测方法及系统
US11546508B1 (en) Polarization imaging system with super resolution fusion
de Oliveira Gaya et al. Single image restoration for participating media based on prior fusion
CN110503609A (zh) 一种基于混合感知模型的图像去雨方法
Chen et al. Real-time image enhancement for vision-based autonomous underwater vehicle navigation in murky waters
CN116739958B (zh) 一种双谱段偏振超分辨率融合探测方法和系统
Yue et al. Low-illumination traffic object detection using the saliency region of infrared image masking on infrared-visible fusion image
Wang et al. Per-pixel water detection on surfaces with unknown reflectance
CN106683064B (zh) 一种基于二维耦合卷积的多聚焦图像融合方法
Miao et al. Image denoising and enhancement strategy based on polarization detection of space targets
Zou et al. Self-tuning underwater image fusion method based on dark channel prior
de León et al. Generalized adversarial networks for stress field recovering processes from photoelasticity images
CN109118460B (zh) 一种分光偏振光谱信息同步处理方法及系统
CN114862896A (zh) 一种基于深度模型的可见光至红外图像转换方法
Reda et al. Haze removal methods: a comprehensive review
CN117911282B (zh) 一种图像去雾模型的构建方法及应用
Jiang et al. DDFN: a depth-differential fusion network for multi-focus image
Lebedev et al. Multisensor image fusion based on generative adversarial networks
Qiu et al. ARODNet: adaptive rain image enhancement object detection network for autonomous driving in adverse weather conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant