CN112163627A - 目标物体的融合图像生成方法、装置及系统 - Google Patents
目标物体的融合图像生成方法、装置及系统 Download PDFInfo
- Publication number
- CN112163627A CN112163627A CN202011072940.3A CN202011072940A CN112163627A CN 112163627 A CN112163627 A CN 112163627A CN 202011072940 A CN202011072940 A CN 202011072940A CN 112163627 A CN112163627 A CN 112163627A
- Authority
- CN
- China
- Prior art keywords
- image
- polarization
- parameter
- target
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000010287 polarization Effects 0.000 claims abstract description 443
- 238000001228 spectrum Methods 0.000 claims abstract description 88
- 238000001429 visible spectrum Methods 0.000 claims abstract description 77
- 238000002329 infrared spectrum Methods 0.000 claims abstract description 75
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 230000009466 transformation Effects 0.000 claims description 33
- 239000011521 glass Substances 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 15
- 230000006870 function Effects 0.000 description 7
- 238000007499 fusion processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
Abstract
本发明提供的目标物体的融合图像生成方法、装置及系统，获取目标物体的图像数据，并根据图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像；对至少一个偏振图像进行解析，获得至少一个偏振参量图像；对至少一个偏振参量图像进行计算，获得目标偏振参量图像；对至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；将目标偏振参量图像和目标光谱图像进行融合处理，生成目标融合图像。本方案能够将光场成像技术与偏振成像技术相结合，实时获得低对比度目标物体的融合图像。
Description
技术领域
本发明涉及光电探测领域，尤其涉及目标物体的融合图像生成方法、装置及系统。
背景技术
自然界中的物体在反射、散射以及发射光波的过程中，都会表现出与自身化学特性、物理特性等密切相关的偏振特性。目标物体的偏振特性会受到环境条件、自身材质、结构、表面轮廓、表面粗糙度、温度、湿度等多种因素的影响，由于偏振特性的可变性和复杂性，因此具有相同或相近反射光谱的目标可能会存在较大的偏振特性差异。通常的光电检测系统是根据光强的差别来区分目标物体，然而，当目标物体强度差别不明显或者目标背景杂乱时，很难对雾中目标、远距离目标、低照度目标等光强低对比度目标进行区分，但是目标物体与目标背景之间的偏振特性差异能够改善探测此类目标物体的能力。
光是一种分布在空间中的电磁场，具有振幅、相位、波长等多种属性。传统的光学成像只能捕获到光辐射在二维平面上的投影强度，而丢失了其它维度的光学信息。而光场成像是一种新型的光电成像技术，其通过在传统成像的焦平面处放置一块微透镜阵列可获取光线的四维信息。从数理模型上看，光场成像过程对应于四维变量与二维变量之间的相互转换；从信号处理来看，光场的获取方式和处理算法分别等价于离散数据的采样与重采样，可进行图像超分辨率重建，经改装后也可进行运动目标的光谱成像。
目前的偏振成像装置无法解决快速运动中的远距离目标、雾中目标、低照度目标等低对比度目标的探测需求，因此无法提供具有以上特征的低对比度目标的实时目标物体的融合图像。
发明内容
本发明提供了目标物体的融合图像生成方法、装置及系统，能够将光场成像技术与偏振成像技术相结合，获得低对比度目标物体的实时目标物体的融合图像。
第一方面，本发明实施例提供了一种目标物体的融合图像生成方法，包括：
获取目标物体的图像数据，并根据所述图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像，其中，所述图像数据包括至少一个偏振图像数据、至少一个可见光谱图像数据和至少一个近红外光谱图像数据；
对所述至少一个偏振图像进行解析，获得至少一个偏振参量图像；
对所述至少一个偏振参量图像进行计算，获得目标偏振参量图像；
对所述至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；
将所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像。
可选地，所述目标物体的原始光谱经过预设的玻片阵列中的红滤光片、绿滤光片和蓝滤光片，得到所述至少一个可见光谱图像数据；
所述目标物体的所述原始光谱经过所述玻片阵列中的偏振片，得到所述至少一个偏振图像数据；
所述目标物体的所述原始光谱经过所述玻片阵列中的近红外滤光片，得到所述至少一个近红外光谱图像数据；
所述根据所述图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像，包括：
根据所述至少一个偏振图像数据，生成所述至少一个偏振图像；
根据所述至少一个可见光谱图像数据，生成所述至少一个可见光谱图像；
根据所述至少一个近红外光谱图像数据，生成所述至少一个近红外光谱图像。
可选地，所述对所述至少一个偏振图像进行解析，获得至少一个偏振参量图像，包括：
所述至少一个偏振图像中包括：偏振角为0°的第一偏振图像、偏振角为60°的第二偏振图像和偏振角为120°的第三偏振图像；
确定所述第一偏振图像的偏振强度I(0°)；
确定所述第二偏振图像的偏振强度I(60°)；
确定所述第三偏振图像的偏振强度I(120°)；
利用下述第一公式，计算出偏振强度I、第一参量Q和第二参量U，所述第一公式如下：
其中，所述第一参量Q用于表征偏振角为0°和偏振角为90°的线偏振光分量之差，所述第二参量U用于表征偏振角为45°和偏振角为135°的线偏振光分量之差；
根据所述偏振强度I、所述第一参量Q和所述第二参量U，利用如下第二公式计算第三参量P和第四参量A，所述第二公式如下：
其中，所述第三参量P用于表征偏振度，所述第四参量A用于表征偏振角；
根据所述偏振强度I、第一参量Q和第三参量P，利用如下第三公式计算第五参量Ex，第六参量Ey、第七参量ΔE和第八参量β，所述第三公式如下：
其中，所述第五参量Ex用于表征X方向的振动矢量，所述第六参量Ey用于表征Y方向的振动矢量，所述第七参量ΔE用于表征所述第五参量Ex和所述第六参量Ey之间的矢量差，所述第八参量β用于表征所述第六参量Ey和所述第五参量Ex之间的方位角；
根据所述第一参量Q、所述第二参量U，所述第三参量P、所述第四参量A、所述第五参量Ex，所述第六参量Ey、所述第七参量ΔE和所述第八参量β，生成所述至少一个偏振参量图像。
可选地，所述对所述至少一个偏振参量图像进行计算，获得目标偏振参量图像，包括:
针对每一个偏振参量图像，获取该偏振参量图像在像素点(x,y)的灰度值；
利用如下第四公式计算所述偏振参量图像的清晰度，所述第四公式如下：
其中，D(f)用于表征当前偏振参量图像的清晰度，所述清晰度用于表征当前偏振参量图像的清晰程度与纹理变换程度，所述f(x,y)用于表征当前偏振参量图像在像素点(x,y)的灰度值；
利用如下第五公式计算所述偏振参量图像的方差，所述第五公式如下：
其中，所述D(g)用于表征当前偏振参量图像的方差，所述方差用于表征图像细节信息量，所述u用于表征当前偏振参量图像的平均灰度值，所述平均灰度值为当前偏振参量图像中的各个像素点灰度值的平均值；
利用如下第六公式计算所述偏振参量图像的信息熵，所述第六公式如下：
其中，所述D(s)用于表征当前偏振参量图像的信息熵，所述信息熵用于表征偏振参量图像纹理，所述pi用于表征当前图像中灰度值为i的像素出现的概率，所述L用于表征灰度级总数；
根据所述清晰度，所述方差和所述信息熵，利用预设的信任函数和模糊测度算法，获得当前偏振参量图像的模糊积分；
统计每一个偏振参量图像计算出的所述模糊积分，将具有最大值的所述模糊积分对应的所述偏振参量图像确定为目标偏振参量图像。
可选地，所述将所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像，包括：
利用预设的离散小波变换规则，对所述目标偏振参量图像和所述目标光谱图像进行小波变换，以获得小波变换后的目标偏振参量图像和目标光谱图像；
利用预设的最大值融合规则，对小波变换后的所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像。
第二方面，本发明实施例还提供了一种目标物体的融合图像生成装置，包括：
生成模块，用于获取目标物体的图像数据，并根据所述图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像，其中，所述图像数据包括至少一个偏振图像数据、至少一个可见光谱图像数据和至少一个近红外光谱图像数据；
解析模块，用于对所述生成模块生成的所述至少一个偏振图像进行解析，获得至少一个偏振参量图像；
第一计算模块，用于对所述解析模块解析出的所述至少一个偏振参量图像进行计算，获得目标偏振参量图像；
第二计算模块，用于对所述生成模块生成的所述至少一个可见光谱图像和所述至少一个近红外光谱图像进行计算，获得目标光谱图像；
融合模块，用于将所述第一计算模块获得的所述目标偏振参量图像和所述第二计算模块获得的所述目标光谱图像进行融合处理，生成目标融合图像。
可选地，当所述至少一个偏振图像中包括：偏振角为0°的第一偏振图像、偏振角为60°的第二偏振图像和偏振角为120°的第三偏振图像时，
所述解析模块，用于执行以下步骤：
确定所述第一偏振图像的偏振强度I(0°)；
确定所述第二偏振图像的偏振强度I(60°)；
确定所述第三偏振图像的偏振强度I(120°)；
利用下述第一公式，计算出偏振强度I、第一参量Q和第二参量U，所述第一公式如下：
其中，所述第一参量Q用于表征偏振角为0°和偏振角为90°的线偏振光分量之差，所述第二参量U用于表征偏振角为45°和偏振角为135°的线偏振光分量之差；
根据所述偏振强度I、所述第一参量Q和所述第二参量U，利用如下第二公式计算第三参量P和第四参量A，所述第二公式如下：
其中，所述第三参量P用于表征偏振度，所述第四参量A用于表征偏振角；
根据所述偏振强度I、第一参量Q和第三参量P，利用如下第三公式计算第五参量Ex，第六参量Ey、第七参量ΔE和第八参量β，所述第三公式如下：
其中，所述第五参量Ex用于表征X方向的振动矢量，所述第六参量Ey用于表征Y方向的振动矢量，所述第七参量ΔE用于表征所述第五参量Ex和所述第六参量Ey之间的矢量差，所述第八参量β用于表征所述第六参量Ey和所述第五参量Ex之间的方位角；
根据所述第一参量Q、所述第二参量U，所述第三参量P、所述第四参量A、所述第五参量Ex，所述第六参量Ey、所述第七参量ΔE和所述第八参量β，生成所述至少一个偏振参量图像。
第三方面，本发明实施例还提供了一种目标物体的融合图像生成系统，包括：第二方面或第二方面任一可能实现方式的目标物体的融合图像生成装置和光场成像装置，其中，所述光场成像装置包括光学透镜组、玻片阵列、微透镜阵列和图像传感器；
所述光学透镜组用于采集目标物体发出的原始光谱；
所述玻片阵列用于将所述原始光谱处理为原始偏振图像、原始可见光谱图像和原始近红外光谱图像；
所述微透镜阵列用于将所述原始偏振图像、所述原始可见光谱图像和所述原始近红外光谱图像成像在与微透镜一一对应的所述图像传感器的宏像素上，生成目标物体图像；
所述图像传感器，用于将所述目标物体图像的光信号转变为电信号，以生成所述目标物体的图像数据，将所述图像数据发送给所述目标物体的融合图像生成装置；
所述玻片阵列放置于所述光学透镜组的孔径光阑所在的位置处，所述微透镜阵列位于所述光学透镜组的焦点所在的位置，所述图像传感器位于所述目标物体通过所述玻片阵列、所述光学透镜组和所述微透镜阵列所成像的位置处。
可选地，所述玻片阵列包括红滤光片、绿滤光片、蓝滤光片、0°线偏振片、60°线偏振片、120°线偏振片、第一近红外滤光片、第二近红外滤光片和第三近红外滤光片；
所述红滤光片、所述绿滤光片和所述蓝滤光片，用于将所述原始光谱处理为所述原始可见光谱图像；
所述0°线偏振片、所述60°线偏振片和所述120°线偏振片，用于将所述原始光谱处理为所述原始偏振图像；
所述第一近红外滤光片、所述第二近红外滤光片和第三近红外滤光片，用于将所述原始光谱处理为所述原始近红外光谱图像；
所述玻片阵列为3×3的阵列单元，每一个所述阵列单元上安装有相应的玻片。
可选地，所述目标物体的融合图像生成装置包括数字信号处理DSP芯片。
本发明实施例提供的目标物体的融合图像生成方法、装置及系统，获取目标物体的图像数据，并根据图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像；对至少一个偏振图像进行解析，获得至少一个偏振参量图像；对至少一个偏振参量图像进行计算，获得目标偏振参量图像；对至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；将目标偏振参量图像和目标光谱图像进行融合处理，生成目标融合图像。本发明实施例能够将光场成像技术与偏振成像技术相结合，实时获得低对比度目标物体的目标物体的融合图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种目标物体的融合图像生成方法的流程图；
图2是本发明一个实施例提供的另一种目标物体的融合图像生成方法的流程图；
图3是本发明一个实施例提供的一种目标物体的融合图像生成装置所在设备的硬件结构图；
图4是本发明一个实施例提供的一种目标物体的融合图像生成装置的示意图；
图5是本发明一个实施例提供的一种目标物体的融合图像生成系统的示意图；
图6是本发明一个实施例提供的另一种目标物体的融合图像生成系统的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明一个实施例提供的一种目标物体的融合图像生成方法的流程图，如图1所示，该方法可以包括以下步骤：
步骤101、获取目标物体的图像数据，并根据图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像；
步骤102、对至少一个偏振图像进行解析，获得至少一个偏振参量图像；
步骤103、对至少一个偏振参量图像进行计算，获得目标偏振参量图像；
步骤104、对至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；
步骤105、将目标偏振参量图像和目标光谱图像进行融合处理，生成目标融合图像。
本发明实施例提供的目标物体的融合图像生成方法，获取目标物体的图像数据，并根据图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像；对至少一个偏振图像进行解析，获得至少一个偏振参量图像；对至少一个偏振参量图像进行计算，获得目标偏振参量图像；对至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；将目标偏振参量图像和目标光谱图像进行融合处理，生成目标融合图像。本发明实施例能够将光场成像技术与偏振成像技术相结合，实时获得低对比度目标物体的目标物体的融合图像。
可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，
所述目标物体的原始光谱经过预设的玻片阵列中的红滤光片、绿滤光片和蓝滤光片，得到所述至少一个可见光谱图像数据；
所述目标物体的所述原始光谱经过所述玻片阵列中的偏振片，得到所述至少一个偏振图像数据；
所述目标物体的所述原始光谱经过所述玻片阵列中的红外滤光片，得到所述至少一个近红外光谱图像数据；
所述根据所述图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像，包括：
根据所述至少一个偏振图像数据，生成所述至少一个偏振图像；
根据所述至少一个可见光谱图像数据，生成所述至少一个可见光谱图像；
根据所述至少一个近红外光谱图像数据，生成所述至少一个近红外光谱图像。
在本发明实施例中，目标物体的原始光谱经过预设的玻片阵列中的红滤光片、绿滤光片和蓝滤光片，得到三个可见光谱图像数据，根据三个可见光谱图像数据，生成对应的三个可见光谱图像；目标物体的原始光谱经过预设的玻片阵列中的0度偏振片、60度偏振片和120度偏振片，得到三个偏振图像数据，根据三个偏振图像数据，生成对应的三个偏振图像；目标物体的原始光谱经过玻片阵列中的近红外滤光片，得到三个近红外光谱图像数据，根据三个近红外光谱图像数据，生成对应的三个近红外光谱图像。通过对三种不同类型的图像数据进行分类后处理，能够得到相对应的偏振图像、可见光谱图像和近红外光谱图像，提高了偏振图像、可见光谱图像和近红外光谱图像处理的准确度和效率。
可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，
所述对所述至少一个偏振图像进行解析，获得至少一个偏振参量图像，包括：
所述至少一个偏振图像中包括：偏振角为0°的第一偏振图像、偏振角为60°的第二偏振图像和偏振角为120°的第三偏振图像；
确定所述第一偏振图像的偏振强度I(0°)；
确定所述第二偏振图像的偏振强度I(60°)；
确定所述第三偏振图像的偏振强度I(120°)；
利用下述第一公式，计算出偏振强度I、第一参量Q和第二参量U，所述第一公式如下：
其中，所述第一参量Q用于表征偏振角为0°和偏振角为90°的线偏振光分量之差，所述第二参量U用于表征偏振角为45°和偏振角为135°的线偏振光分量之差；
根据所述偏振强度I、所述第一参量Q和所述第二参量U，利用如下第二公式计算第三参量P和第四参量A，所述第二公式如下：
其中，所述第三参量P用于表征偏振度，所述第四参量A用于表征偏振角；
根据所述偏振强度I、第一参量Q和第三参量P，利用如下第三公式计算第五参量Ex，第六参量Ey、第七参量ΔE和第八参量β，所述第三公式如下：
其中，所述第五参量Ex用于表征X方向的振动矢量，所述第六参量Ey用于表征Y方向的振动矢量，所述第七参量ΔE用于表征所述第五参量Ex和所述第六参量Ey之间的矢量差，所述第八参量β用于表征所述第六参量Ey和所述第五参量Ex之间的方位角；
根据所述第一参量Q、所述第二参量U，所述第三参量P、所述第四参量A、所述第五参量Ex，所述第六参量Ey、所述第七参量ΔE和所述第八参量β，生成所述至少一个偏振参量图像。
在本发明实施例中，通过对三个偏振图像进行解析，获得解析后的八个偏振参量图像。具体包括：根据每个偏振图像的偏振强度，获得用于表征0°和90°线偏振光分量之差的第一参量Q和用于表征45°和135°线偏振光分量之差的第二参量U；根据偏振强度、第一参量Q和第二参量U获得用于表征偏振度的第三参量P和用于表征偏振角的第四参量P；根据偏振强度、第一参量Q和第三参量P获得用于表征X方向的振动矢量的第五参量Ex、用于表征Y方向的振动矢量的第六参量Ey、用于表征第五参量Ex和第六参量Ey之间的矢量差的第七参量ΔE及用于表征第六参量Ey和第五参量Ex之间的方位角的第八参量β。根据获得的八个参量，生成对应于八个参量的八个偏振参量图像，以用于从这八个偏振参量图像中选取满足用户需求的最佳偏振参量图像。
可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，
所述对所述至少一个偏振参量图像进行计算，获得目标偏振参量图像，包括:
针对每一个偏振参量图像，获取该偏振参量图像在像素点(x,y)的灰度值；
利用如下第四公式计算所述偏振参量图像的清晰度，所述第四公式如下：
其中，D(f)用于表征当前偏振参量图像的清晰度，所述清晰度用于表征当前偏振参量图像的清晰程度与纹理变换程度，所述f(x,y)用于表征当前偏振参量图像在像素点(x,y)的灰度值；
利用如下第五公式计算所述偏振参量图像的方差，所述第五公式如下：
其中，所述D(g)用于表征当前偏振参量图像的方差，所述方差用于表征图像细节信息量，所述u用于表征当前偏振参量图像的平均灰度值，所述平均灰度值为当前偏振参量图像中的各个像素点灰度值的平均值；
利用如下第六公式计算所述偏振参量图像的信息熵，所述第六公式如下：
其中，所述D(s)用于表征当前偏振参量图像的信息熵，所述信息熵用于表征偏振参量图像纹理，所述pi用于表征当前图像中灰度值为i的像素出现的概率，所述L用于表征灰度级总数；
根据所述清晰度，所述方差和所述信息熵，利用预设的信任函数和模糊测度算法，获得当前偏振参量图像的模糊积分；
统计每一个偏振参量图像计算出的所述模糊积分，将具有最大值的所述模糊积分对应的所述偏振参量图像确定为目标偏振参量图像。
在本发明实施例中，对目标物体进行图像融合处理的目的是在保留图像视觉效果的基础上，突显被观测目标物体的细节、纹理特征。因此，更进一步地，从获得的八个偏振参量图像中选取一个在图像细节、纹理和清晰度方面处理较好的偏振参量图像。其中，方差是对偏振参量图像对比度进行测量，能够反映偏振参量图像细节信息量；信息熵反映偏振参量图像纹理，信息熵越大，纹理越丰富；清晰度反映偏振参量图像清晰程度以及纹理变换程度，清晰度越大，其偏振参量图像越清晰。因此，对每一个偏振参量图像进行方差、信息熵和清晰度的计算后，再利用预设的信任函数和模糊测度算法，计算出每一个偏振参量图像的模糊积分，将具有最大值模糊积分的偏振参量图像作为最佳偏振参量图像即目标偏振参量图像，该目标偏振参量图像在保留图像视觉效果的基础上，能够突显被观测目标物体的细节和纹理特征，使其满足用户需要。
需要说明的是，由于从三个可见光谱图像和三个近红外光谱图像中获得目标光谱图像的方法与上述获得目标偏振参量图像的方法相同，此处不再赘述，具体的方法可参考目标偏振参量图像的选取方法。因此，从若干个偏振参量图像获得了目标偏振参量图像和从三个可见光谱图像和三个近红外光谱图像中获得了目标光谱图像，以便于对目标偏振参量图像和目标光谱图像进行融合处理，以获得目标融合图像。
可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，
所述将所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像，包括：
利用预设的离散小波变换规则，对所述目标偏振参量图像和所述目标光谱图像进行小波变换，以获得小波变换后的目标偏振参量图像和目标光谱图像；
利用预设的最大值融合规则，对小波变换后的所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像。
在本发明实施例中，基于小波变换的图像融合方法在众多的图像融合技术中能够使得图像融合效果更好。与传统的数据融合算法相比较，小波变换应用于图像融合的优势在于它可以将图像分解到不同的频率域，在不同的频率域运用不同的融合算法，得到融合图像的多分辨率分解，从而在融合图像中保留原图像在不同特征下的显著特征。针对小波变换的图像融合方法，选取了适用于本发明的偏振参量图像和光谱图像的基于区域最大值融合规则，能够获得图像融合效果极佳的目标融合图像。
如图2所示，为了更加清楚地说明本发明的技术方案及优点，下面对本发明实施例提供的目标物体的融合图像生成方法进行详细说明，具体包括以下步骤：
步骤201、获取目标物体的图像数据，并将图像数据分类为至少一个偏振图像数据、至少一个可见光谱图像数据和至少一个近红外光谱图像数据。
在本步骤中，目标物体的原始光谱经过预设的玻片阵列中的红滤光片、绿滤光片和蓝滤光片，得到三个可见光谱图像数据；目标物体的原始光谱经过预设的玻片阵列中的0度偏振片、60度偏振片和120度偏振片，得到三个偏振图像数据；目标物体的原始光谱经过玻片阵列中的三个近红外滤光片，得到三个近红外光谱图像数据。
步骤202、根据至少一个偏振图像数据、至少一个可见光谱图像数据和至少一个近红外光谱图像数据，对应生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像。
在本步骤中，根据三个可见光谱图像数据，生成对应的三个可见光谱图像；根据三个偏振图像数据，生成对应的三个偏振图像；根据三个近红外光谱图像数据，生成对应的三个近红外光谱图像。
步骤203、对至少一个偏振图像进行解析，获得至少一个偏振参量图像。
在本步骤中，通过对三个偏振图像进行解析，获得解析后的八个偏振参量图像。具体包括：根据每个偏振图像的偏振强度，获得用于表征0°和90°线偏振光分量之差的第一参量Q和用于表征45°和135°线偏振光分量之差的第二参量U；根据偏振强度、第一参量Q和第二参量U获得用于表征偏振度的第三参量P和用于表征偏振角的第四参量P；根据偏振强度、第一参量Q和第三参量P获得用于表征X方向的振动矢量的第五参量Ex、用于表征Y方向的振动矢量的第六参量Ey、用于表征第五参量Ex和第六参量Ey之间的矢量差的第七参量ΔE及用于表征第六参量Ey和第五参量Ex之间的方位角的第八参量β。根据获得的八个参量，生成对应于八个参量的八个偏振参量图像，以用于从这八个偏振参量图像中选取满足用户需求的最佳偏振参量图像。
步骤204、对至少一个偏振参量图像进行计算，获得目标偏振参量图像。
在本步骤中，对目标物体进行图像融合处理的目的是在保留图像视觉效果的基础上，突显被观测目标物体的细节、纹理特征。因此，更进一步地，从获得的八个偏振参量图像中选取一个在图像细节、纹理和清晰度方面处理较好的偏振参量图像。其中，方差是对偏振参量图像对比度进行测量，能够反映偏振参量图像细节信息量；信息熵反映偏振参量图像纹理，信息熵越大，纹理越丰富；清晰度反映偏振参量图像清晰程度以及纹理变换程度，清晰度越大，其偏振参量图像越清晰。因此，对每一个偏振参量图像进行方差、信息熵和清晰度的计算后，再利用预设的信任函数和模糊测度算法，计算出每一个偏振参量图像的模糊积分，将具有最大值模糊积分的偏振参量图像作为最佳偏振参量图像即目标偏振参量图像，该目标偏振参量图像在保留图像视觉效果的基础上，能够突显被观测目标物体的细节和纹理特征，使其满足用户需要。
步骤205、对至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像。
在本步骤中，对三个可见光谱图像和三个近红外光谱图像分别计算每一个可见光谱图像和每一个近红外光谱图像的清晰度、方差和信息熵，根据计算出的清晰度、方差和信息熵，利用预设的信任函数和模糊测度算法，计算出每一个可见光谱图像和每一个近红外光谱图像的模糊积分值，根据模糊积分值的大小，确定模糊积分值最大的一个可见光谱图像或近红外光谱图像为目标光谱图像。
步骤206、利用预设的离散小波变换规则，对目标偏振参量图像和目标光谱图像进行小波变换，以获得小波变换后的目标偏振参量图像和目标光谱图像；
在本步骤中，基于小波变换的图像融合方法在众多的图像融合技术中能够使得图像融合效果更好。与传统的数据融合算法相比较，小波变换应用于图像融合的优势在于它可以将图像分解到不同的频率域，在不同的频率域运用不同的融合算法，得到融合图像的多分辨率分解，从而在融合图像中保留原图像在不同特征下的显著特征。利用预设的离散小波变换规则，对前一步骤获得的目标偏振参量图像和目标光谱图像进行分别进行离散小波平稳变换，以获得离散小波平稳变换后的目标偏振参量图像和目标光谱图像。
步骤207、利用预设的最大值融合规则，对小波变换后的目标偏振参量图像和目标光谱图像进行融合处理，生成目标融合图像。
在本步骤中，根据用户对目标物体成像特征的需求选择适用于目标偏振参量图像和目标光谱图像的最大值融合规则，再将融合后的结果进行离散平稳小波逆变换，得到最终的目标融合图像。
如图3和图4所示，本发明实施例提供了目标物体的融合图像生成装置所在的设备和目标物体的融合图像生成装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的目标物体的融合图像生成装置所在设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。
如图4所示，本实施例提供的目标物体的融合图像生成装置，包括：
生成模块401，用于获取目标物体的图像数据，并根据所述图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像，其中，所述图像数据包括至少一个偏振图像数据、至少一个可见光谱图像数据和至少一个近红外光谱图像数据；
解析模块402，用于对所述生成模块401生成的所述至少一个偏振图像进行解析，获得至少一个偏振参量图像；
第一计算模块403，用于对所述解析模块402解析出的所述至少一个偏振参量图像进行计算，获得目标偏振参量图像；
第二计算模块404，用于对所述生成模块401生成的所述至少一个可见光谱图像和所述至少一个近红外光谱图像进行计算，获得目标光谱图像；
融合模块405，用于将所述第一计算模块403获得的所述目标偏振参量图像和所述第二计算模块404获得的所述目标光谱图像进行融合处理，生成目标融合图像。
本发明实施例提供的目标物体的融合图像生成装置，获取目标物体的图像数据，并根据图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像；对至少一个偏振图像进行解析，获得至少一个偏振参量图像；对至少一个偏振参量图像进行计算，获得目标偏振参量图像；对至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；将目标偏振参量图像和目标光谱图像进行融合处理，生成目标融合图像。本发明实施例能够将光场成像技术与偏振成像技术相结合，实时获得低对比度目标物体的目标物体的融合图像。
可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，
当所述目标物体的原始光谱经过预设的玻片阵列中的红滤光片、绿滤光片和蓝滤光片，得到所述至少一个可见光谱图像数据；所述目标物体的所述原始光谱经过所述玻片阵列中的偏振片，得到所述至少一个偏振图像数据；所述目标物体的所述原始光谱经过所述玻片阵列中的近红外滤光片，得到所述至少一个近红外光谱图像数据时，
所述生成模块，用于执行以下步骤：
根据所述至少一个偏振图像数据，生成所述至少一个偏振图像；
根据所述至少一个可见光谱图像数据，生成所述至少一个可见光谱图像；
根据所述至少一个近红外光谱图像数据，生成所述至少一个近红外光谱图像。
可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，
当所述至少一个偏振图像中包括：偏振角为0°的第一偏振图像、偏振角为60°的第二偏振图像和偏振角为120°的第三偏振图像时，
所述解析模块，用于执行以下步骤：
确定所述第一偏振图像的偏振强度I(0°)；
确定所述第二偏振图像的偏振强度I(60°)；
确定所述第三偏振图像的偏振强度I(120°)；
利用下述第一公式，计算出偏振强度I、第一参量Q和第二参量U，所述第一公式如下：
其中，所述第一参量Q用于表征偏振角为0°和偏振角为90°的线偏振光分量之差，所述第二参量U用于表征偏振角为45°和偏振角为135°的线偏振光分量之差；
根据所述偏振强度I、所述第一参量Q和所述第二参量U，利用如下第二公式计算第三参量P和第四参量A，所述第二公式如下：
其中，所述第三参量P用于表征偏振度，所述第四参量A用于表征偏振角；
根据所述偏振强度I、第一参量Q和第三参量P，利用如下第三公式计算第五参量Ex，第六参量Ey、第七参量ΔE和第八参量β，所述第三公式如下：
其中，所述第五参量Ex用于表征X方向的振动矢量，所述第六参量Ey用于表征Y方向的振动矢量，所述第七参量ΔE用于表征所述第五参量Ex和所述第六参量Ey之间的矢量差，所述第八参量β用于表征所述第六参量Ey和所述第五参量Ex之间的方位角；
根据所述第一参量Q、所述第二参量U，所述第三参量P、所述第四参量A、所述第五参量Ex，所述第六参量Ey、所述第七参量ΔE和所述第八参量β，生成所述至少一个偏振参量图像。
可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，
所述第一计算模块，用于执行以下步骤：
针对每一个偏振参量图像，获取该偏振参量图像在像素点(x,y)的灰度值；
利用如下第四公式计算所述偏振参量图像的清晰度，所述第四公式如下：
其中，D(f)用于表征当前偏振参量图像的清晰度，所述清晰度用于表征当前偏振参量图像的清晰程度与纹理变换程度，所述f(x,y)用于表征当前偏振参量图像在像素点(x,y)的灰度值；
利用如下第五公式计算所述偏振参量图像的方差，所述第五公式如下：
其中，所述D(g)用于表征当前偏振参量图像的方差，所述方差用于表征图像细节信息量，所述u用于表征当前偏振参量图像的平均灰度值，所述平均灰度值为当前偏振参量图像中的各个像素点灰度值的平均值；
利用如下第六公式计算所述偏振参量图像的信息熵，所述第六公式如下：
其中，所述D(s)用于表征当前偏振参量图像的信息熵，所述信息熵用于表征偏振参量图像纹理，所述pi用于表征当前图像中灰度值为i的像素出现的概率，所述L用于表征灰度级总数(通常取值为256)；
根据所述清晰度，所述方差和所述信息熵，利用预设的信任函数和模糊测度算法，获得当前偏振参量图像的模糊积分；
统计每一个偏振参量图像计算出的所述模糊积分，将具有最大值的所述模糊积分对应的所述偏振参量图像确定为目标偏振参量图像。
可选地，基于图1所示的一种目标物体的融合图像生成方法，在本发明的一种实施例中，
所述融合模块，用于执行以下步骤：
利用预设的离散小波变换规则，对所述目标偏振参量图像和所述目标光谱图像进行小波变换，以获得小波变换后的目标偏振参量图像和目标光谱图像；
利用预设的最大值融合规则，对小波变换后的所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像。
上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
如图5所示，本发明实施例还提供了目标物体的融合图像生成系统，包括：上述任一实施例所提供的目标物体的融合图像生成装置501和光场成像装置502，其中，所述光场成像装置502包括光学透镜组5021、玻片阵列5022、微透镜阵列5023和图像传感器5024；
所述光学透镜组5021用于采集目标物体发出的原始光谱；
所述玻片阵列5022用于将所述原始光谱处理为原始偏振图像、原始可见光谱图像和原始近红外光谱图像；
所述微透镜阵列5023用于将所述原始偏振图像、所述原始可见光谱图像和所述原始近红外光谱图像成像在与微透镜一一对应的所述图像传感器5024的宏像素上，生成目标物体图像；
所述图像传感器5024，用于将所述目标物体图像的光信号转变为电信号，以生成所述目标物体的图像数据，将所述图像数据发送给所述目标物体的融合图像生成装置501；
所述玻片阵列5022放置于所述光学透镜组5021的孔径光阑所在的位置处，所述微透镜阵列5023位于所述光学透镜组5021的焦点所在的位置，所述图像传感器5024位于所述目标物体通过所述玻片阵列5022、所述光学透镜组5021和所述微透镜阵列5023所成像的位置处。
在本发明实施例中，光学透镜组的焦距为f，目标物体与微透镜阵列之间的距离即物距为P，目标物体成像与与微透镜阵列之间的距离即物距即像距为Q，则可以根据公式：
计算出目标物体的放大率
由于偏振图像或光谱图像的分辨率由微透镜数量决定，因此，为了提高图像分辨率，则需要目标物体成像的尺寸尽可能的小，所以，微透镜阵列应当最大限度的贴近图像传感器的焦平面位置处。但由于图像传感器焦平面保护窗的限制，因此，微透镜阵列与图像传感器的距离Q一般为工作波长的两个数量级。进一步地，根据夫琅禾费衍射模型，微透镜的最佳直径S可利用公式：
计算出，其中，λ为成像通道的平均波长。进一步地，根据计算出的微透镜的直径S，通过微透镜的分辨率极限R的求解公式：
其中，M为目标物体的放大率。进一步地，利用下述公式求得玻片阵列中各个玻片的最小分辨尺寸F为：
其中，M2为玻片阵列虚像与实际物体之间的分辨率，玻片阵列中的各个玻片尺寸均不小于最小分辨尺寸F。
可选地，基于图5所示的目标物体的融合图像生成系统，在本发明一个实施例中，
如图6所示5022，所述玻片阵列包括红滤光片601、绿滤光片602、蓝滤光片603、0°线偏振片604、60°线偏振片605、120°线偏振片606、第一近红外滤光片607、第二近红外滤光片608和第三近红外滤光片609；
所述红滤光片、所述绿滤光片和所述蓝滤光片，用于将所述原始光谱处理为所述原始可见光谱图像；
所述0°线偏振片、所述60°线偏振片和所述120°线偏振片，用于将所述原始光谱处理为所述原始偏振图像；
所述第一近红外滤光片、所述第二近红外滤光片和第三近红外滤光片，用于将所述原始光谱处理为所述原始近红外光谱图像；
所述玻片阵列为3×3的阵列单元，每一个所述阵列单元上安装有相应的玻片。
在本发明实施例中，确定每一个玻片在玻片阵列中的位置，以便于根据图像数据确定三个偏振光谱图像数据、三个可见光谱图像数据和三个近红外光谱图像数据。例如，玻片阵列中第一行三个玻片分别为中心波长443nm和带宽30nm的蓝滤光片，中心波长550nm和带宽20nm的绿滤光片，0°线偏振片；玻片阵列中第二行三个玻片分别为中心波长665nm和带宽20nm的红色滤光片，60°线偏振片，120°线偏振片；玻片阵列中第三行三个玻片分别为中心波长780nm和带宽30nm的近红外滤光片A，中心波长850nm和带宽50nm的近红外滤光片B，中心波长920nm和带宽50nm的近红外滤光片C。
可选地，基于图5所示的目标物体的融合图像生成系统，在本发明一个实施例中，
所述目标物体的融合图像生成装置包括数字信号处理DSP芯片。
在本发明实施例中，目标物体的融合图像生成装置中包括四个DSP芯片，利用四个DSP芯片并行处理方法，实现对三个偏振光谱图像数据、三个可见光谱图像数据和三个近红外可见光谱图像数据的处理，最终形成偏振与光谱融合的目标融合图像。
综上所述，本发明各个实施例所提供的目标物体的融合图像生成方法、装置及系统，至少具有如下有益效果：
1、在本发明实施例中，获取目标物体的图像数据，并根据图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像；对至少一个偏振图像进行解析，获得至少一个偏振参量图像；对至少一个偏振参量图像进行计算，获得目标偏振参量图像；对至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；将目标偏振参量图像和目标光谱图像进行融合处理，生成目标融合图像。本发明实施例能够将光场成像技术与偏振成像技术相结合，实时获得低对比度目标物体的目标物体的融合图像。
2、在本发明实施例中，目标物体的原始光谱经过预设的玻片阵列中的红滤光片、绿滤光片和蓝滤光片，得到三个可见光谱图像数据，根据三个可见光谱图像数据，生成对应的三个可见光谱图像；目标物体的原始光谱经过预设的玻片阵列中的0度偏振片、60度偏振片和120度偏振片，得到三个偏振图像数据，根据三个偏振图像数据，生成对应的三个偏振图像；目标物体的原始光谱经过玻片阵列中的近红外滤光片，得到三个近红外光谱图像数据，根据三个近红外光谱图像数据，生成对应的三个近红外光谱图像。通过对三种不同类型的图像数据进行分类后处理，能够得到相对应的偏振图像、可见光谱图像和近红外光谱图像，提高了偏振图像、可见光谱图像和近红外光谱图像处理的准确度和效率。
3、在本发明实施例中，通过对三个偏振图像进行解析，获得解析后的八个偏振参量图像。具体包括：根据每个偏振图像的偏振强度，获得用于表征0°和90°线偏振光分量之差的第一参量Q和用于表征45°和135°线偏振光分量之差的第二参量U；根据偏振强度、第一参量Q和第二参量U获得用于表征偏振度的第三参量P和用于表征偏振角的第四参量P；根据偏振强度、第一参量Q和第三参量P获得用于表征X方向的振动矢量的第五参量Ex、用于表征Y方向的振动矢量的第六参量Ey、用于表征第五参量Ex和第六参量Ey之间的矢量差的第七参量ΔE及用于表征第六参量Ey和第五参量Ex之间的方位角的第八参量β。根据获得的八个参量，生成对应于八个参量的八个偏振参量图像，以用于从这八个偏振参量图像中选取满足用户需求的最佳偏振参量图像。
4、在本发明实施例中，对目标物体进行图像融合处理的目的是在保留图像视觉效果的基础上，突显被观测目标物体的细节、纹理特征。因此，更进一步地，从获得的八个偏振参量图像中选取一个在图像细节、纹理和清晰度方面处理较好的偏振参量图像。其中，方差是对偏振参量图像对比度进行测量，能够反映偏振参量图像细节信息量；信息熵反映偏振参量图像纹理，信息熵越大，纹理越丰富；清晰度反映偏振参量图像清晰程度以及纹理变换程度，清晰度越大，其偏振参量图像越清晰。因此，对每一个偏振参量图像进行方差、信息熵和清晰度的计算后，再利用预设的信任函数和模糊测度算法，计算出每一个偏振参量图像的模糊积分，将具有最大值模糊积分的偏振参量图像作为最佳偏振参量图像即目标偏振参量图像，该目标偏振参量图像在保留图像视觉效果的基础上，能够突显被观测目标物体的细节和纹理特征，使其满足用户需要。
5、在本发明实施例中，基于小波变换的图像融合方法在众多的图像融合技术中能够使得图像融合效果更好。与传统的数据融合算法相比较，小波变换应用于图像融合的优势在于它可以将图像分解到不同的频率域，在不同的频率域运用不同的融合算法，得到融合图像的多分辨率分解，从而在融合图像中保留原图像在不同特征下的显著特征。针对小波变换的图像融合方法，选取了适用于本发明的偏振参量图像和光谱图像的基于区域最大值融合规则，能够获得图像融合效果极佳的目标融合图像。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制情况下，由语句“包括一〃....〃”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.目标物体的融合图像生成方法，其特征在于，包括：
获取目标物体的图像数据，并根据所述图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像，其中，所述图像数据包括至少一个偏振图像数据、至少一个可见光谱图像数据和至少一个近红外光谱图像数据；
对所述至少一个偏振图像进行解析，获得至少一个偏振参量图像；
对所述至少一个偏振参量图像进行计算，获得目标偏振参量图像；
对所述至少一个可见光谱图像和至少一个近红外光谱图像进行计算，获得目标光谱图像；
将所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像。
2.根据权利要求1所述的方法，其特征在于，
所述目标物体的原始光谱经过预设的玻片阵列中的红滤光片、绿滤光片和蓝滤光片，得到所述至少一个可见光谱图像数据；
所述目标物体的所述原始光谱经过所述玻片阵列中的偏振片，得到所述至少一个偏振图像数据；
所述目标物体的所述原始光谱经过所述玻片阵列中的近红外滤光片，得到所述至少一个近红外光谱图像数据；
所述根据所述图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像，包括：
根据所述至少一个偏振图像数据，生成所述至少一个偏振图像；
根据所述至少一个可见光谱图像数据，生成所述至少一个可见光谱图像；
根据所述至少一个近红外光谱图像数据，生成所述至少一个近红外光谱图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述至少一个偏振图像进行解析，获得至少一个偏振参量图像，包括：
所述至少一个偏振图像中包括：偏振角为0°的第一偏振图像、偏振角为60°的第二偏振图像和偏振角为120°的第三偏振图像；
确定所述第一偏振图像的偏振强度I(0°)；
确定所述第二偏振图像的偏振强度I(60°)；
确定所述第三偏振图像的偏振强度I(120°)；
利用下述第一公式，计算出偏振强度I、第一参量Q和第二参量U，所述第一公式如下：
其中，所述第一参量Q用于表征偏振角为0°和偏振角为90°的线偏振光分量之差，所述第二参量U用于表征偏振角为45°和偏振角为135°的线偏振光分量之差；
根据所述偏振强度I、所述第一参量Q和所述第二参量U，利用如下第二公式计算第三参量P和第四参量A，所述第二公式如下：
其中，所述第三参量P用于表征偏振度，所述第四参量A用于表征偏振角；
根据所述偏振强度I、第一参量Q和第三参量P，利用如下第三公式计算第五参量Ex，第六参量Ey、第七参量ΔE和第八参量β，所述第三公式如下：
其中，所述第五参量Ex用于表征X方向的振动矢量，所述第六参量Ey用于表征Y方向的振动矢量，所述第七参量ΔE用于表征所述第五参量Ex和所述第六参量Ey之间的矢量差，所述第八参量β用于表征所述第六参量Ey和所述第五参量Ex之间的方位角；
根据所述第一参量Q、所述第二参量U，所述第三参量P、所述第四参量A、所述第五参量Ex，所述第六参量Ey、所述第七参量ΔE和所述第八参量β，生成所述至少一个偏振参量图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述至少一个偏振参量图像进行计算，获得目标偏振参量图像，包括:
针对每一个偏振参量图像，获取该偏振参量图像在像素点(x,y)的灰度值；
利用如下第四公式计算所述偏振参量图像的清晰度，所述第四公式如下：
其中，D(f)用于表征当前偏振参量图像的清晰度，所述清晰度用于表征当前偏振参量图像的清晰程度与纹理变换程度，所述f(x,y)用于表征当前偏振参量图像在像素点(x,y)的灰度值；
利用如下第五公式计算所述偏振参量图像的方差，所述第五公式如下：
其中，所述D(g)用于表征当前偏振参量图像的方差，所述方差用于表征图像细节信息量，所述u用于表征当前偏振参量图像的平均灰度值，所述平均灰度值为当前偏振参量图像中的各个像素点灰度值的平均值；
利用如下第六公式计算所述偏振参量图像的信息熵，所述第六公式如下：
其中，所述D(s)用于表征当前偏振参量图像的信息熵，所述信息熵用于表征偏振参量图像纹理，所述pi用于表征当前图像中灰度值为i的像素出现的概率，所述L用于表征灰度级总数；
根据所述清晰度，所述方差和所述信息熵，利用预设的信任函数和模糊测度算法，获得当前偏振参量图像的模糊积分；
统计每一个偏振参量图像计算出的所述模糊积分，将具有最大值的所述模糊积分对应的所述偏振参量图像确定为目标偏振参量图像。
5.根据权利要求1所述的方法，其特征在于，所述将所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像，包括：
利用预设的离散小波变换规则，对所述目标偏振参量图像和所述目标光谱图像进行小波变换，以获得小波变换后的目标偏振参量图像和目标光谱图像；
利用预设的最大值融合规则，对小波变换后的所述目标偏振参量图像和所述目标光谱图像进行融合处理，生成目标融合图像。
6.目标物体的融合图像生成装置，其特征在于，包括：
生成模块，用于获取目标物体的图像数据，并根据所述图像数据生成至少一个偏振图像、至少一个可见光谱图像和至少一个近红外光谱图像，其中，所述图像数据包括至少一个偏振图像数据、至少一个可见光谱图像数据和至少一个近红外光谱图像数据；
解析模块，用于对所述生成模块生成的所述至少一个偏振图像进行解析，获得至少一个偏振参量图像；
第一计算模块，用于对所述解析模块解析出的所述至少一个偏振参量图像进行计算，获得目标偏振参量图像；
第二计算模块，用于对所述生成模块生成的所述至少一个可见光谱图像和所述至少一个近红外光谱图像进行计算，获得目标光谱图像；
融合模块，用于将所述第一计算模块获得的所述目标偏振参量图像和所述第二计算模块获得的所述目标光谱图像进行融合处理，生成目标融合图像。
7.根据权利要求6所述的装置，其特征在于，
当所述至少一个偏振图像中包括：偏振角为0°的第一偏振图像、偏振角为60°的第二偏振图像和偏振角为120°的第三偏振图像时，
所述解析模块，用于执行以下步骤：
确定所述第一偏振图像的偏振强度I(0°)；
确定所述第二偏振图像的偏振强度I(60°)；
确定所述第三偏振图像的偏振强度I(120°)；
利用下述第一公式，计算出偏振强度I、第一参量Q和第二参量U，所述第一公式如下：
其中，所述第一参量Q用于表征偏振角为0°和偏振角为90°的线偏振光分量之差，所述第二参量U用于表征偏振角为45°和偏振角为135°的线偏振光分量之差；
根据所述偏振强度I、所述第一参量Q和所述第二参量U，利用如下第二公式计算第三参量P和第四参量A，所述第二公式如下：
其中，所述第三参量P用于表征偏振度，所述第四参量A用于表征偏振角；
根据所述偏振强度I、第一参量Q和第三参量P，利用如下第三公式计算第五参量Ex，第六参量Ey、第七参量ΔE和第八参量β，所述第三公式如下：
其中，所述第五参量Ex用于表征X方向的振动矢量，所述第六参量Ey用于表征Y方向的振动矢量，所述第七参量ΔE用于表征所述第五参量Ex和所述第六参量Ey之间的矢量差，所述第八参量β用于表征所述第六参量Ey和所述第五参量Ex之间的方位角；
根据所述第一参量Q、所述第二参量U，所述第三参量P、所述第四参量A、所述第五参量Ex，所述第六参量Ey、所述第七参量ΔE和所述第八参量β，生成所述至少一个偏振参量图像。
8.目标物体的融合图像生成系统，其特征在于，包括：权利要求6至7中任一所述的目标物体的融合图像生成装置和光场成像装置，其中，所述光场成像装置包括光学透镜组、玻片阵列、微透镜阵列和图像传感器；
所述光学透镜组用于采集目标物体发出的原始光谱；
所述玻片阵列用于将所述原始光谱处理为原始偏振图像、原始可见光谱图像和原始近红外光谱图像；
所述微透镜阵列用于将所述原始偏振图像、所述原始可见光谱图像和所述原始近红外光谱图像成像在与微透镜一一对应的所述图像传感器的宏像素上，生成目标物体图像；
所述图像传感器，用于将所述目标物体图像的光信号转变为电信号，以生成所述目标物体的图像数据，将所述图像数据发送给所述目标物体的融合图像生成装置；
所述玻片阵列放置于所述光学透镜组的孔径光阑所在的位置处，所述微透镜阵列位于所述光学透镜组的焦点所在的位置，所述图像传感器位于所述目标物体通过所述玻片阵列、所述光学透镜组和所述微透镜阵列所成像的位置处。
9.根据权利要求8所述的系统，其特征在于，
所述玻片阵列包括红滤光片、绿滤光片、蓝滤光片、0°线偏振片、60°线偏振片、120°线偏振片、第一近红外滤光片、第二近红外滤光片和第三近红外滤光片；
所述红滤光片、所述绿滤光片和所述蓝滤光片，用于将所述原始光谱处理为所述原始可见光谱图像；
所述0°线偏振片、所述60°线偏振片和所述120°线偏振片，用于将所述原始光谱处理为所述原始偏振图像；
所述第一近红外滤光片、所述第二近红外滤光片和第三近红外滤光片，用于将所述原始光谱处理为所述原始近红外光谱图像；
所述玻片阵列为3×3的阵列单元，每一个所述阵列单元上安装有相应的玻片。
10.根据权利要求8所述的系统，其特征在于，
所述目标物体的融合图像生成装置包括数字信号处理DSP芯片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011072940.3A CN112163627B (zh) | 2020-10-09 | 2020-10-09 | 目标物体的融合图像生成方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011072940.3A CN112163627B (zh) | 2020-10-09 | 2020-10-09 | 目标物体的融合图像生成方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112163627A true CN112163627A (zh) | 2021-01-01 |
| CN112163627B CN112163627B (zh) | 2024-01-23 |
Family
ID=73866417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011072940.3A Active CN112163627B (zh) | 2020-10-09 | 2020-10-09 | 目标物体的融合图像生成方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112163627B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105139367A (zh) * | 2015-07-27 | 2015-12-09 | 中国科学院光电技术研究所 | 一种基于非下采样剪切波的可见光偏振图像融合方法 |
| CN106370309A (zh) * | 2016-11-07 | 2017-02-01 | 上海资誉电子科技有限公司 | 低空小目标的红外搜索系统 |
| CN108376419A (zh) * | 2017-12-11 | 2018-08-07 | 江苏大学 | 一种盆栽生菜的综合长势监测方法及装置 |
| WO2018145575A1 (zh) * | 2017-02-10 | 2018-08-16 | 杭州海康威视数字技术股份有限公司 | 图像融合设备和图像融合方法 |
| CN108492274A (zh) * | 2018-04-03 | 2018-09-04 | 中国人民解放军国防科技大学 | 一种长波红外偏振特征提取与融合的图像增强方法 |
| CN109029726A (zh) * | 2018-05-25 | 2018-12-18 | 西北工业大学 | 一种窗口集成式光谱/偏振成像系统 |
| CN109633796A (zh) * | 2018-12-26 | 2019-04-16 | 深圳大学 | 微透镜阵列加工系统与加工工艺 |
| CN109668567A (zh) * | 2019-01-02 | 2019-04-23 | 中国人民解放军国防科技大学 | 一种无人机多云条件下偏振光定向方法 |
| CN110081978A (zh) * | 2019-04-29 | 2019-08-02 | 南京理工大学 | 一种瞬态多光谱偏振成像装置及其成像方法 |
| CN110363070A (zh) * | 2019-05-31 | 2019-10-22 | 合刃科技（武汉）有限公司 | 智能识别道路状态的方法、装置及计算机程序产品 |
| CN110458960A (zh) * | 2019-06-26 | 2019-11-15 | 西安电子科技大学 | 一种基于偏振的彩色物体三维重建方法 |
| CN111344711A (zh) * | 2018-12-12 | 2020-06-26 | 合刃科技（深圳）有限公司 | 图像采集方法及装置 |
| CN210954346U (zh) * | 2019-10-28 | 2020-07-07 | 长春理工大学 | 一种机载双谱段偏振全天时海面目标搜索系统 |
| CN111443045A (zh) * | 2020-04-26 | 2020-07-24 | 深圳市中达瑞和科技有限公司 | 光谱成像分析系统及光谱成像分析方法 |
| CN111458026A (zh) * | 2020-05-18 | 2020-07-28 | 中国工程物理研究院流体物理研究所 | 一种紫外偏振与可见光谱信息融合相机及方法 |
| CN111735776A (zh) * | 2020-07-01 | 2020-10-02 | 中国科学院合肥物质科学研究院 | 基于微纳法布里-珀罗谐振腔的偏振高光谱成像装置 |
-
2020
- 2020-10-09 CN CN202011072940.3A patent/CN112163627B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105139367A (zh) * | 2015-07-27 | 2015-12-09 | 中国科学院光电技术研究所 | 一种基于非下采样剪切波的可见光偏振图像融合方法 |
| CN106370309A (zh) * | 2016-11-07 | 2017-02-01 | 上海资誉电子科技有限公司 | 低空小目标的红外搜索系统 |
| WO2018145575A1 (zh) * | 2017-02-10 | 2018-08-16 | 杭州海康威视数字技术股份有限公司 | 图像融合设备和图像融合方法 |
| CN108376419A (zh) * | 2017-12-11 | 2018-08-07 | 江苏大学 | 一种盆栽生菜的综合长势监测方法及装置 |
| CN108492274A (zh) * | 2018-04-03 | 2018-09-04 | 中国人民解放军国防科技大学 | 一种长波红外偏振特征提取与融合的图像增强方法 |
| CN109029726A (zh) * | 2018-05-25 | 2018-12-18 | 西北工业大学 | 一种窗口集成式光谱/偏振成像系统 |
| CN111344711A (zh) * | 2018-12-12 | 2020-06-26 | 合刃科技（深圳）有限公司 | 图像采集方法及装置 |
| CN109633796A (zh) * | 2018-12-26 | 2019-04-16 | 深圳大学 | 微透镜阵列加工系统与加工工艺 |
| CN109668567A (zh) * | 2019-01-02 | 2019-04-23 | 中国人民解放军国防科技大学 | 一种无人机多云条件下偏振光定向方法 |
| CN110081978A (zh) * | 2019-04-29 | 2019-08-02 | 南京理工大学 | 一种瞬态多光谱偏振成像装置及其成像方法 |
| CN110363070A (zh) * | 2019-05-31 | 2019-10-22 | 合刃科技（武汉）有限公司 | 智能识别道路状态的方法、装置及计算机程序产品 |
| CN110458960A (zh) * | 2019-06-26 | 2019-11-15 | 西安电子科技大学 | 一种基于偏振的彩色物体三维重建方法 |
| CN210954346U (zh) * | 2019-10-28 | 2020-07-07 | 长春理工大学 | 一种机载双谱段偏振全天时海面目标搜索系统 |
| CN111443045A (zh) * | 2020-04-26 | 2020-07-24 | 深圳市中达瑞和科技有限公司 | 光谱成像分析系统及光谱成像分析方法 |
| CN111458026A (zh) * | 2020-05-18 | 2020-07-28 | 中国工程物理研究院流体物理研究所 | 一种紫外偏振与可见光谱信息融合相机及方法 |
| CN111735776A (zh) * | 2020-07-01 | 2020-10-02 | 中国科学院合肥物质科学研究院 | 基于微纳法布里-珀罗谐振腔的偏振高光谱成像装置 |
Non-Patent Citations (3)
| Title |
|---|
| HONG-WU YUAN等: "A new polarization image fusion method based on Choquet fuzzy integral", 《 INTERNATIONAL SYMPOSIUM ON PHOTOELECTRONIC DETECTION AND IMAGING 2013: INFRARED IMAGING AND APPLICATIONS》, pages 1 - 12 * |
| 尹可: "基于微透镜阵列的多光束共焦成像系统若干问题的研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, no. 2014, pages 030 - 23 * |
| 贾镕等: "潜指纹紫外偏振图像模糊自适应融合算法研究", 《计算机工程》, vol. 46, no. 11, pages 267 - 272 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112163627B (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7440637B2 (en) | Method and apparatus for image mosaicing | |
| Uss et al. | Maximum likelihood estimation of spatially correlated signal-dependent noise in hyperspectral images | |
| WO2017175231A1 (en) | Image dehazing and restoration | |
| CN111083365B (zh) | 一种最佳焦平面位置快速检测方法及装置 | |
| Raghavendra et al. | Comparative evaluation of super-resolution techniques for multi-face recognition using light-field camera | |
| WO2007114847A2 (en) | Single-image vignetting correction | |
| WO2013013563A1 (zh) | 路面积水积冰检测方法及装置 | |
| CN110520768B (zh) | 高光谱光场成像方法和系统 | |
| Štolc et al. | Depth and all-in-focus imaging by a multi-line-scan light-field camera | |
| JP2024507089A (ja) | 画像のコレスポンデンス分析装置およびその分析方法 | |
| CN113630549A (zh) | 变焦控制方法、装置、电子设备和计算机可读存储介质 | |
| Sasaki et al. | Passive 3D location estimation of non-line-of-sight objects from a scattered thermal infrared light field | |
| Wu | Research on feature point extraction and matching machine learning method based on light field imaging | |
| Wang et al. | Rapid 3D measurement of high dynamic range surface based on multi-polarization fringe projection | |
| JP2017134561A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| CN112163627B (zh) | 目标物体的融合图像生成方法、装置及系统 | |
| Jawad et al. | Measuring object dimensions and its distances based on image processing technique by analysis the image using sony camera | |
| Zhu et al. | Three-dimensional measurement of fringe projection based on the camera response function of the polarization system | |
| Pashchenko et al. | An algorithm for the visualization of stereo images simultaneously captured with different exposures | |
| Zhang et al. | Light field salient object detection via hybrid priors | |
| Zhao et al. | 3D reconstruction and dehazing with polarization vision | |
| Alasal et al. | Improving passive 3D model reconstruction using image enhancement | |
| Bharath et al. | Swarm intelligence based image fusion for thermal and visible images | |
| Gendre et al. | Interest of polarimetric refocused images calibrated in depth for control by vision | |
| Rodríguez | A methodology to develop computer vision systems in civil engineering: Applications in material testing and fish tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |