CN111292279B - 一种基于彩色图像融合的偏振图像可视化方法 - Google Patents
一种基于彩色图像融合的偏振图像可视化方法 Download PDFInfo
- Publication number
- CN111292279B CN111292279B CN202010051816.2A CN202010051816A CN111292279B CN 111292279 B CN111292279 B CN 111292279B CN 202010051816 A CN202010051816 A CN 202010051816A CN 111292279 B CN111292279 B CN 111292279B
- Authority
- CN
- China
- Prior art keywords
- image
- polarization
- color
- fusion
- dop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 91
- 230000004927 fusion Effects 0.000 title claims abstract description 34
- 238000007794 visualization technique Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000012800 visualization Methods 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于彩色图像融合的偏振图像可视化方法,首先将偏振图像转换为光强、偏振度和偏振角的三通道图像;其次将图像分解为偏振光彩色图像与自然光灰度图像;再次,对分解的两幅图像进行图像融合,具体是根据需求选择合适的边缘保持的融合算法将两幅图像的光强通道融合;然后,将融合后的光强和偏振角通道进行归一化;最后,将归一化后的图像投影到HSV颜色空间得到最终的具有可视化的偏振彩色图像。本发明将突显原图像中的低偏振度的高频细节特征,作为提高图像信息量和可读性的解决方案。
Description
技术领域
本发明属于偏振图像处理领域,尤其是涉及偏振图像可视化的融合方法。
技术背景
偏振图像是关于同一目标或场景的强度图像、偏振度图像和偏振角图像的三通道图像。图像可视化是充分考虑人的视觉感受,将多通道图像用彩色图像形式表达,有助于非专业人士快速理解图像特征。图像融合是将不同通道的图像经过一定的处理,突出和强化图像中的有用信息,利于对图像进一步分析、理解及目标的检测、识别。
由于人眼不具备偏振视觉敏感性,偏振图像的可视化需要采用特殊的颜色空间和图像处理方法,使偏振图像更直观,发挥偏振图像在光滑目标、散射体和空间高频信息的对比能力。需要采用偏振态图像可视化处理技术将三通道图像的综合体现在一副图像中。
一种最常用偏振图像可视化方法是采用彩色空间直接映射实现多通道的图像的同时显示。例如采用光强度图像、偏振度图像和偏振角图像分别映射到 HSV颜色空间的亮度(value)、饱和度(saturation)和色相角(hue)通道。另一种方法是在HSV颜色空间映射前,先将光强度图像与偏振度图像融合,作为亮度通道,融合算法通常采用边缘保持的融合算法(如拉普拉斯金字塔融合算法、小波包融合算法、开关算子融合算法等),以增强偏振度图像细节特征。
采用以上两这种方法获得融合图像虽然能放大图像中高偏振度成分的色彩对比度。但在整体偏振度动态较大的复杂场景下,对低偏振度目标细节成分的显示,尤其是对如云层、水面等自然目标边缘的表现上,图像对比度较低。客观表现为彩色图像的信息熵较低。
因此,现有技术中需要一种能够突显偏振图像中的低偏振度的高频细节特征,提高图像信息量和可读性的解决方案。
发明内容
本发明的目的在于提出一种能够提高偏振图像信息熵的基于彩色图像融合的偏振图像可视化方法。
根据本发明的基于彩色图像融合的偏振图像可视化方法,包括:
1)偏振图像S由光强图像I、偏振度图像DoP和偏振角图像AoP组成,在像元位置(x,y)处的Sx,y偏振量表示为:
其中Ix,y表示像元光强,DoPx,y表示像元偏振度,AoPx,y像元偏振角;
2)S图像中的Ix,y分解为线偏振分量I_Polx,y和自然光分量I_Unpolx,y,即
Ix,y=Ix,y·DoPx,y+Ix,y·(1-DoPx,y)=I_Polx,y+I_Unpolx,y
则
依次对S中每个像元作处理,将S图像分解为代表偏振光的彩色图像S_Pol 与代表自然光的灰度图像S_Unpol。
3)采用边缘保持的彩色融合算法融合彩色图像S_Pol与灰度图像S_Unpol 为S’。将I_Pol图像与I_Unpol图像作融合处理,生成融合图像I_mix。融合后的偏振图像S’由光强融合图像I_mix、偏振度图像DoP和偏振角图像AoP 组成。
4)将融合后的图像S’归一化。I_mix从max(I_mix)~max(I_mix)归一化为I_mix’,AoP从-90°~90°归一化为AoP’,DoP不作归一化。像元位置(x,y) 处S’x,y偏振量表示为:
5)将归一化后的偏振图像转化到HSV颜色空间,AoP’映射到色相角,DoP 映射到饱和度,I_mix’映射到亮度。得到最终的偏振彩色融合图像并输出。
本发明的基于彩色图像融合的偏振图像可视化方法,依据偏振图像分解的偏振光的彩色图像与自然光的灰度图像再融合,本质上是原图的光强通道分解为偏振光光强部分与自然光光强部分,然后再作融合。根据本发明的偏振图像融合方法,能提高偏振图像低偏振度区域的色彩对比度,提高图像整体信息熵。
附图说明
图1为本发明的融合流程框图;
图2至图4为不同场景偏振图像在不同融合可视化方法下的图像,其中:
图2为可见光偏振相机实拍获得的云自然目标的偏振图像及偏振处理结果:图a是光强图像,图b是偏振度图像,图c是偏振角图像伪彩图,图d是偏振通道直接HSV图像可视化方法,图e是基于偏振光与偏振度通道融合的HSV图像可视化方法,图f是本发明方法;
图3为可见光偏振相机实拍获得的室内人造目标的偏振图像及偏振处理结果:图a是光强图像,图b是偏振度图像,图c是偏振角图像伪彩图,图d是偏振通道直接HSV图像可视化方法,图e是基于偏振光与偏振度通道融合的HSV 图像可视化方法,图f是本发明方法;
图4为可见光偏振相机实拍获得的外景楼房和云的偏振图像及偏振处理结果:图a是光强图像,图b是偏振度图像,图c是偏振角图像伪彩图,图d是偏振通道直接HSV图像可视化方法,图e是基于偏振光与偏振度通道融合的HSV 图像可视化方法,图f是本发明方法;
具体实施方式
下面参照附图1的融合流程图,以图2至图4共3组场景的偏振图像融合为例,对本发明的示例性实施方式进行详细描述。对示例性实施方式的描述仅仅是出于示范目的,而绝不是对本发明及其应用或用法的限制。则本发明的具体实施步骤为:
1)偏振图像S由光强图像I、偏振度图像DoP和偏振角图像AoP组成,在像元位置(x,y)处的Sx,y偏振量表示为:
其中Ix,y表示像元光强,DoPx,y表示像元偏振度,AoPx,y像元偏振角;
2)S图像中的Ix,y分解为线偏振分量I_Polx,y和自然光分量I_Unpolx,y,即
Ix,y=Ix,y·DoPx,y+Ix,y·(1-DoPx,y)=I_Polx,y+I_Unpolx,y
则
依次对S中每个像元作处理,将S图像分解为代表偏振光的彩色图像S_Pol 与代表自然光的灰度图像S_Unpol。
3)采用边缘保持的彩色融合算法融合彩色图像S_Pol与灰度图像S_Unpol 为S’。将I_Pol图像与I_Unpol图像作融合处理,生成融合图像I_mix。融合后的偏振图像S’由光强融合图像I_mix、偏振度图像DoP和偏振角图像AoP 组成。
4)将融合后的图像S’归一化。I_mix从max(I_mix)~max(I_mix)归一化为I_mix’,AoP从-90°~90°归一化为AoP’,DoP不作归一化。像元位置(x,y) 处S’x,y偏振量表示为:
5)将归一化后的偏振图像转化到HSV颜色空间,AoP’映射到色相角,DoP 映射到饱和度,I_mix’映射到亮度。得到最终的偏振彩色融合图像并输出。
对于常规的RGB通道的彩色显示,需要进行HSV到RGB的通道映射显示。
为例验证本发明的有效性,将本发明与直接HSV图像可视化方法和基于偏振光与偏振度通道融合的HSV图像可视化方法,对不同偏振场景可见光偏振相机实拍获得的图像作融合显示的对比:图2是云目标的场景,此场景偏振度空间变化较小且高频信息较少;图3是室内人造目标,此场景偏振度空间变化较大且高频信息较多;图4是外景楼房和云,此场景包含了图2与图3两类偏振目标。其中采用的边缘保持型融合算法为拉普拉斯金字塔融合算法。
图2到图4的图d、图e、图f展示了不同显示方式的主观对比结果。表1展示了不同可视化方法得到的彩色图像在平均梯度、信息熵和色彩丰度下的客观结果。通过以上对比结果,可以看出本发明相对于其他可视化方法,在某些场景的偏振图片的信息量、色彩丰富度和图像锐度方面具有优势。通过本发明得到的融合图像,能够同时准确表现可见偏振图像中的高偏振和高光强目标,同时也能进一步提升弱偏振和低光强目标的细节特征。
表1三种场景不同偏振图像彩色显示方法的客观评价结果。
Claims (1)
1.一种基于彩色图像融合的偏振图像可视化方法,其特征在于包含以下步骤:
1)偏振图像S由光强图像I、偏振度图像DoP和偏振角图像AoP组成,在像元位置(x,y)处的Sx,y偏振量表示为:
其中Ix,y表示在像元位置(x,y)处的像元光强,DoPx,y表示在像元位置(x,y)处的像元偏振度,AoPx,y在像元位置(x,y)处的像元偏振角;
2)S图像中的Ix,y分解为线偏振分量I_Polx,y和自然光分量I_Unpolx,y,即
Ix,y=Ix,y·DoPx,y+Ix,y·(1-DoPx,y)=I_Polx,y+I_Unpolx,y
则
依次对S中每个像元作处理,将S图像分解为代表偏振光的彩色图像S_Pol与代表自然光的灰度图像S_Unpol;
3)采用边缘保持的彩色融合算法融合彩色图像S_Pol与灰度图像S_Unpol为S’;将I_Pol图像与I_Unpol图像作融合处理,生成融合图像I_mix,融合后的偏振图像S’由光强融合图像I_mix、偏振度图像DoP和偏振角图像AoP组成;
4)将融合后的图像S’归一化,I_mixx,y从min(I_mix)~max(I_mix)归一化为I_mix’x,y,AoPx,y从-90°~90°归一化为AoP’x,y,DoPx,y不作归一化,像元位置(x,y)处S’x,y偏振量表示为:
5)将归一化后的偏振图像转化到HSV颜色空间,AoP’映射到色相角,DoP映射到饱和度,I_mix’映射到亮度,得到最终的偏振彩色融合图像并输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010051816.2A CN111292279B (zh) | 2020-01-17 | 2020-01-17 | 一种基于彩色图像融合的偏振图像可视化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010051816.2A CN111292279B (zh) | 2020-01-17 | 2020-01-17 | 一种基于彩色图像融合的偏振图像可视化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111292279A CN111292279A (zh) | 2020-06-16 |
CN111292279B true CN111292279B (zh) | 2022-07-29 |
Family
ID=71030675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010051816.2A Active CN111292279B (zh) | 2020-01-17 | 2020-01-17 | 一种基于彩色图像融合的偏振图像可视化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111292279B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111307065B (zh) * | 2020-03-05 | 2021-10-26 | 中国铁道科学研究院集团有限公司基础设施检测研究所 | 基于偏振分光的钢轨廓形检测方法、系统及装置 |
CN112070698B (zh) * | 2020-09-07 | 2022-08-05 | 合肥工业大学 | 基于多通道偏振距离模型的目标与背景对比度增强方法 |
CN116503704B (zh) * | 2023-06-27 | 2023-09-05 | 长春理工大学 | 一种强背景下目标偏振探测系统及其探测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500443A (zh) * | 2013-10-10 | 2014-01-08 | 中国科学院上海技术物理研究所 | 一种基于傅里叶变换的红外偏振图像融合方法 |
CN104835113A (zh) * | 2015-04-30 | 2015-08-12 | 北京环境特性研究所 | 一种基于超分辨率图像重建的偏振图像融合方法 |
CN104978724A (zh) * | 2015-04-02 | 2015-10-14 | 中国人民解放军63655部队 | 基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法 |
CN106952282A (zh) * | 2017-03-03 | 2017-07-14 | 南京理工大学 | 一种基于偏振参数的伪装识别方法 |
CN108460750A (zh) * | 2018-04-03 | 2018-08-28 | 中国人民解放军国防科技大学 | 一种水面背景下舰船目标长波红外图像增强方法 |
CN108492274A (zh) * | 2018-04-03 | 2018-09-04 | 中国人民解放军国防科技大学 | 一种长波红外偏振特征提取与融合的图像增强方法 |
CN109410160A (zh) * | 2018-10-09 | 2019-03-01 | 湖南源信光电科技股份有限公司 | 基于多特征和特征差异驱动的红外偏振图像融合方法 |
CN109813429A (zh) * | 2019-03-27 | 2019-05-28 | 北京理工大学 | 一种偏振成像系统逐点标定方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2011242408B2 (en) * | 2010-04-21 | 2016-12-15 | Commonwealth Scientific And Industrial Research Organisation | Shape and photometric invariants recovery from polarisation images |
-
2020
- 2020-01-17 CN CN202010051816.2A patent/CN111292279B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500443A (zh) * | 2013-10-10 | 2014-01-08 | 中国科学院上海技术物理研究所 | 一种基于傅里叶变换的红外偏振图像融合方法 |
CN104978724A (zh) * | 2015-04-02 | 2015-10-14 | 中国人民解放军63655部队 | 基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法 |
CN104835113A (zh) * | 2015-04-30 | 2015-08-12 | 北京环境特性研究所 | 一种基于超分辨率图像重建的偏振图像融合方法 |
CN106952282A (zh) * | 2017-03-03 | 2017-07-14 | 南京理工大学 | 一种基于偏振参数的伪装识别方法 |
CN108460750A (zh) * | 2018-04-03 | 2018-08-28 | 中国人民解放军国防科技大学 | 一种水面背景下舰船目标长波红外图像增强方法 |
CN108492274A (zh) * | 2018-04-03 | 2018-09-04 | 中国人民解放军国防科技大学 | 一种长波红外偏振特征提取与融合的图像增强方法 |
CN109410160A (zh) * | 2018-10-09 | 2019-03-01 | 湖南源信光电科技股份有限公司 | 基于多特征和特征差异驱动的红外偏振图像融合方法 |
CN109813429A (zh) * | 2019-03-27 | 2019-05-28 | 北京理工大学 | 一种偏振成像系统逐点标定方法 |
Non-Patent Citations (2)
Title |
---|
"Compact and robust linear stokes polarization camera";Nicolas Lefaudeux等;《SPIE Digital Library》;20080401;1-12页 * |
"高位灰度图像假彩色显示方法研究";陈振跃等;《北京理工大学学报》;20140331;第34卷(第3期);294-298页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111292279A (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111292279B (zh) | 一种基于彩色图像融合的偏振图像可视化方法 | |
Zheng et al. | Qualitative and quantitative comparisons of multispectral night vision colorization techniques | |
US11062480B2 (en) | Method and apparatus for processing image | |
Hanumantharaju et al. | Color image enhancement using multiscale retinex with modified color restoration technique | |
CN110248242B (zh) | 一种图像处理和直播方法、装置、设备和存储介质 | |
CN106251286A (zh) | 图像处理方法、装置及设备 | |
Yu et al. | A false color image fusion method based on multi-resolution color transfer in normalization YCBCR space | |
Cepeda-Negrete et al. | Dark image enhancement using perceptual color transfer | |
CN111105359B (zh) | 一种高动态范围图像的色调映射方法 | |
CN109074637A (zh) | 用于从多个相应的输入图像通道生成输出图像的方法和系统 | |
CN110599418A (zh) | 一种变换域融合的全局色调映射方法 | |
CN109427041B (zh) | 一种图像白平衡方法及系统、存储介质及终端设备 | |
CN110175967B (zh) | 图像去雾处理方法、系统、计算机设备和存储介质 | |
CN106709888B (zh) | 一种基于人眼视觉模型的高动态范围图像产生方法 | |
US8600157B2 (en) | Method, system and computer program product for object color correction | |
CN105139368B (zh) | 一种可用于机器视觉的混合型色调映射方法 | |
CN110782400A (zh) | 一种自适应的光照均匀实现方法和装置 | |
CN110493584B (zh) | 一种高动态范围场景可视化方法、装置和存储介质 | |
CN105118032B (zh) | 一种基于视觉系统的宽动态处理方法 | |
Huang et al. | Visual and infrared dual-band false color image fusion method motivated by Land’s experiment | |
Rattanapitak et al. | Comparative efficiency of color models for multi-focus color image fusion | |
Qian et al. | Effective contrast enhancement method for color night vision | |
CN106408617A (zh) | 一种基于yuv颜色空间的交互式单幅图像材质获取系统和方法 | |
Livingston et al. | Image processing for human understanding in low-visibility | |
CN112435173A (zh) | 一种图像处理和直播方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |