CN111815549A - 一种基于导向滤波图像融合的夜视图像彩色化方法 - Google Patents
一种基于导向滤波图像融合的夜视图像彩色化方法 Download PDFInfo
- Publication number
- CN111815549A CN111815549A CN202010656342.4A CN202010656342A CN111815549A CN 111815549 A CN111815549 A CN 111815549A CN 202010656342 A CN202010656342 A CN 202010656342A CN 111815549 A CN111815549 A CN 111815549A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- filtering
- color
- night vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 37
- 230000004927 fusion Effects 0.000 title claims abstract description 28
- 230000004297 night vision Effects 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012546 transfer Methods 0.000 claims description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于导向滤波图像融合的夜视图像彩色化方法，属于数字图像处理技术领域。针对的是红外图像和可见光图像的融合，以在一幅融合图像上显示多种信息，突出目标。具体地，首先采用基于导向滤波的图像融合算法对两幅或两幅以上的多波段灰度图像进行加权融合，获取一幅拥有多幅图像细节信息的灰度融合图像，然后根据Welsh算法对融合图像进行颜色传递，从而获得最终自然的彩色图像。该方法获得的彩色图像在图像对比度、色彩鲜艳度、图像清晰度等方面优于传统的夜视图像彩色化方法。
Description
技术领域
本发明涉及一种基于导向滤波图像融合的夜视图像彩色化方法，属于数字图像处理技术领域。
背景技术
夜视图像彩色化技术致力于得到与人眼在白昼条件下与可见光波段相吻合的、色彩信息更加接近物体真实颜色的彩色夜视图像，它相比伪彩色夜视图像进一步提高了目标的识别速率和正确率，所以具有很高的实际意义和应用价值。
随着对不同光谱灵敏度的传感器获得的不同波段的图像的使用性不断提高，促进了图像融合技术的发展。互补和部分冗余的多波段图像的有效组合可以获取从单个传感器生成的图像中无法直接看到的信息。用于人们观察的图像不仅仅将来自两个或多个传感器的信息组合成一个融合图像，而且还应以直观的格式呈现融合图像，以最大程度地提高识别速度，同时最大程度地减少认知工作量。融合图像最好使用熟悉的表示形式(例如自然色)以促进场景或目标识别，或者应突出显示感兴趣的细节以加快搜索速度。研究表明，人眼在任何时候只能分辨出约100种灰度，但可以分辨出数千种颜色。彩色图像可以对被感知的场景产生更完整，更准确的心理表现，从而带来更好的态势感知。如果利用人眼对颜色高度敏感的特性把夜视图像进行彩色化，可以帮助观察者在隐藏和伪装的军用背景下更快更准确的识别目标。
最早实现夜视图像彩色化的方法是把灰度图像的灰度值进行彩色编码以及彩色空间映射的伪彩色方法。国际上比较著名的伪彩色算法包括美国海军研究实验室提出的NRL法，荷兰的TNO人力因素研究所开发的TNO法和美国麻省理工学院Waxman提出的MIT法。为了使夜视图像获得自然的彩色，近些年来颜色传递算法被广泛的应用到图像融合当中。近年来，许多改进的夜视图像彩色化算法被提出，但都没能从根本上克服夜视图像色彩不真实的缺陷。因此，如果能真正研究出和人眼白天看到的一样彩色的自然彩色夜视技术，那么无论是对军用夜视下战场态势的理解还是民用夜视的安全监控都具有非常现实的意义。
鉴于此，本发明针对红外图像和可见光图像，提出了一种基于导向滤波图像融合的夜视图像彩色化方法，以提高夜视图像的彩色化效果。
发明内容
本发明提出了一种基于导向滤波图像融合的夜视图像彩色化方法，用于获取在图像清晰度、对比度、色彩鲜艳度等方面效果更佳的夜视图像彩色化方法。所述方法包括：
(1)基于双尺度分解的源图像基层和细节层提取方法；
(2)基于导向滤波的源图像权重图构建及优化方法；
(3)基于Welsh算法的融合图像颜色传递方法。
具体内容如下：
如图1总体技术线路图，首先对输入的红外、近红外、可见光图像进行双尺度分解，然后基于源图像构建权重图，在双尺度下对权重图加权融合获取细节丰富的融合图像，最后采用Welsh颜色传递算法对融合图像进行上色，得到自然彩色夜视图像。如图2基于导向滤波的图像融合算法原理图，包括双尺度分解、构建权重图、双尺度融合重建三个部分。
(1)基于双尺度分解的源图像基层和细节层提取方法。
对每个源图像采用一个简单的均值滤波来获取图像的基层Bn，滤波器越大，得到的基层模糊程度越高。而细节层Dn是源图像减去基层图，随着滤波半径的增大，细节层的信息也会相应增加。滤波器大小为31×31，计算公式为：
Bn＝In*Z (1)
Dn＝In-Bn (2)
其中Bn是基层，Dn是细节层，In是第n个源图像，Z是均值滤波器。
(2)基于导向滤波的源图像权重图构建及优化方法。
首先对源图像进行拉普拉斯滤波得到高频细节，然后再对得到的高频细节进行一次高斯滤波，获得S1、S2和S3图。这两个滤波器一个是高通滤波，一个是低通滤波。高斯滤波的建议参数，窗口为11×11，sigma＝5，计算公式为：
Hn＝In*L (3)
其中L是3×3的拉普拉斯滤波器，Hn是高通滤波细节，g是高斯滤波，Sn是对高通滤波取绝对值后再进行一次高斯滤波构建的显著图。
然后根据式(5)比较显著图S1、S2和S3来确定权重映射图P1，P2，P3。
其中，N是源图像的数量，Sn k是在第n幅图像中某位置像素点k的显著值。
上面获得的权值图P1、P2、P3通常有噪声，并可能存在不完全对齐等问题，很容易造成融合后的图像有伪影等，因此在基于空间连续性的思想下，需要对得到的权重图进行导向滤波。对每个权值映射Pn进行引导图像滤波，以对应的源图像作为引导图像。
其中Wn B和Wn D是基础层和细节层的最终权重图，G是导向滤波。
最后，将N个权重映射的值归一化，使它们在每个像素k处和为1。到此为止，我们得到了在(1)中得到的基层和细节层对应的权重图，可以进行双尺度融合重建。
双尺度图像重建包括以下两个步骤。首先，通过加权平均将不同源图像的基层和细节层融合在一起。
然后将融合基层B与融合细节层D相结合，得到融合后的图像F。
(3)根据Welsh算法对融合图像进行颜色传递，获得最终的彩色夜视图像。
将参考图像和灰度图像分别由RGB空间转换到lαβ色彩空间。根据灰度图像的亮度及标准差，对参考图像进行亮度重映射，公式如下：
L＝(nl＇/nl)*(l–ml)+ml＇ (11)
其中，l是参考图像l通道的数据，L是变换后得到新的参考图像l通道的值，ml和ml＇分别是参考图像和灰度图像l通道的均值，nl和nl＇表示它们的l通道标准方差。
对灰度图像上的每一个像素，从参考图像中找一个最匹配像素，并从该点获取颜色信息，将匹配点的α、β颜色通道的值赋给灰度图像的对应像素点，从而实现色彩的传递。将参考图像和灰度图像从lαβ空间转换到RGB空间。
附图说明
图1为本发明的总体技术路线。
图2为本发明的基于导向滤波的图像融合算法原理图。
具体实施方式
本发明步骤如下：
第一步：双尺度分解
将输入的源图像进行均值滤波获取图像的基层，滤波器大小为31×31，源图像减去基层，获取图像的细节层。
第二步：构建权重图
对源图像进行拉普拉斯滤波获取高频细节，由于拉普拉斯滤波在求x,y方向梯度时会产生负值，对滤波结果取绝对值。再对高频细节进行一次高斯滤波，获得显著图S1、S2和S3，比较显著图来确定权重映射图P1，P2，P3。对得到的权重图进行导向滤波，以对应的源图像作为引导图像，不同层的权重图将用不同的参数进行滤波。将3个权重映射的值归一化，使它们在每个像素k处和为1。
第三步：双尺度融合重建
对第一步获得的基层和细节层与对应权重图进行加权平均，然后相加获得融合图像。
第四步：颜色传递
选取源图像对应的参考图像，采用Welsh算法进行颜色传递，得到最终自然的夜视彩色图像。
Claims (4)
1.一种基于导向滤波图像融合的夜视图像彩色化方法，其特征在于，所述方法包括：
(1)基于双尺度分解的源图像基层和细节层提取方法；
(2)基于导向滤波的源图像权重图构建及优化方法；
(3)基于Welsh算法的融合图像颜色传递方法。
2.根据权利要求1所述的基于双尺度分解的源图像基层和细节层提取方法，其特征在于：源图像包括可见光图像和红外图像，对每个源图像进行均值滤波，其中滤波器大小为31×31，可以得到对应源图像的基层，再与源图像做差法运算，获得细节层。
3.根据权利要求1所述的基于导向滤波的源图像权重图构建及优化方法，其特征在于：利用显著性对源图像构建融合权重图，并利用导向滤波优化权重图。首先对源图像进行拉普拉斯滤波得到高频细节，并对得到的高频细节进行高斯滤波获得显著图；通过比较显著性图来确定权重图，以对应的源图像作为引导图像，对每个权重图进行导向滤波；对每个权重图进行归一化处理，使其中像素和为1。
4.根据权利要求1所述的基于Welsh算法的融合图像颜色传递方法，其特征在于：根据Welsh算法对融合图像进行颜色传递，首先将参考图像和灰度图像分别由RGB空间转换到lαβ色彩空间；再根据灰度图像的亮度及标准差，对参考图像进行亮度重映射；并针对灰度图像上的像素，从参考图像中找出最匹配像素点以获取颜色信息，将匹配点的α、β颜色通道的值赋给灰度图像的对应像素点，从而实现色彩的传递；最后将参考图像和灰度图像从lαβ空间转换到RGB空间，实现夜视图像彩色化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010656342.4A CN111815549A (zh) | 2020-07-09 | 2020-07-09 | 一种基于导向滤波图像融合的夜视图像彩色化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010656342.4A CN111815549A (zh) | 2020-07-09 | 2020-07-09 | 一种基于导向滤波图像融合的夜视图像彩色化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111815549A true CN111815549A (zh) | 2020-10-23 |
Family
ID=72843184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010656342.4A Pending CN111815549A (zh) | 2020-07-09 | 2020-07-09 | 一种基于导向滤波图像融合的夜视图像彩色化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815549A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113129243A (zh) * | 2021-03-10 | 2021-07-16 | 同济大学 | 基于红外与可见光图像融合的血管图像增强方法和系统 |
| CN113298177A (zh) * | 2021-06-11 | 2021-08-24 | 华南理工大学 | 夜间图像着色方法、装置、介质和设备 |
| CN113554733A (zh) * | 2021-07-28 | 2021-10-26 | 北京大学 | 基于语言的解耦合条件注入灰度图像彩色化方法 |
| CN116309216A (zh) * | 2023-02-27 | 2023-06-23 | 南京博视医疗科技有限公司 | 基于多波段的伪彩色图像融合方法及图像融合系统 |
| CN117437151A (zh) * | 2023-12-21 | 2024-01-23 | 成都市晶林科技有限公司 | 一种噪声抑制的伪彩映射方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107705268A (zh) * | 2017-10-20 | 2018-02-16 | 天津工业大学 | 一种基于改进的Retinex与Welsh近红外图像增强与彩色化算法 |
| CN108830818A (zh) * | 2018-05-07 | 2018-11-16 | 西北工业大学 | 一种快速多聚焦图像融合方法 |
| CN109509163A (zh) * | 2018-09-28 | 2019-03-22 | 洛阳师范学院 | 一种基于fgf的多聚焦图像融合方法及系统 |
| CN109919884A (zh) * | 2019-01-30 | 2019-06-21 | 西北工业大学 | 基于高斯滤波加权的红外和可见光图像融合方法 |
| CN109934793A (zh) * | 2019-01-30 | 2019-06-25 | 绵阳慧视光电技术有限责任公司 | 一种基于整数dct变换的实时图像融合方法 |
| CN111062905A (zh) * | 2019-12-17 | 2020-04-24 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
| CN111179208A (zh) * | 2019-12-09 | 2020-05-19 | 天津大学 | 基于显著图与卷积神经网络的红外-可见光图像融合方法 |
| CN111223069A (zh) * | 2020-01-14 | 2020-06-02 | 天津工业大学 | 一种图像融合方法及系统 |
-
2020
- 2020-07-09 CN CN202010656342.4A patent/CN111815549A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107705268A (zh) * | 2017-10-20 | 2018-02-16 | 天津工业大学 | 一种基于改进的Retinex与Welsh近红外图像增强与彩色化算法 |
| CN108830818A (zh) * | 2018-05-07 | 2018-11-16 | 西北工业大学 | 一种快速多聚焦图像融合方法 |
| CN109509163A (zh) * | 2018-09-28 | 2019-03-22 | 洛阳师范学院 | 一种基于fgf的多聚焦图像融合方法及系统 |
| CN109919884A (zh) * | 2019-01-30 | 2019-06-21 | 西北工业大学 | 基于高斯滤波加权的红外和可见光图像融合方法 |
| CN109934793A (zh) * | 2019-01-30 | 2019-06-25 | 绵阳慧视光电技术有限责任公司 | 一种基于整数dct变换的实时图像融合方法 |
| CN111179208A (zh) * | 2019-12-09 | 2020-05-19 | 天津大学 | 基于显著图与卷积神经网络的红外-可见光图像融合方法 |
| CN111062905A (zh) * | 2019-12-17 | 2020-04-24 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
| CN111223069A (zh) * | 2020-01-14 | 2020-06-02 | 天津工业大学 | 一种图像融合方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 何永强;王群;李国松;胡志盛;: "基于融合图像特征库的夜视图像彩色化研究", 激光与红外, no. 12, pages 1393 - 1397 * |
| 马爽;方建安;孙韶媛;谷小婧;: "基于伪彩色融合图像聚类的夜视图像上色算法", 光学学报, no. 06, pages 1502 - 1507 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113129243A (zh) * | 2021-03-10 | 2021-07-16 | 同济大学 | 基于红外与可见光图像融合的血管图像增强方法和系统 |
| CN113298177A (zh) * | 2021-06-11 | 2021-08-24 | 华南理工大学 | 夜间图像着色方法、装置、介质和设备 |
| CN113554733A (zh) * | 2021-07-28 | 2021-10-26 | 北京大学 | 基于语言的解耦合条件注入灰度图像彩色化方法 |
| CN116309216A (zh) * | 2023-02-27 | 2023-06-23 | 南京博视医疗科技有限公司 | 基于多波段的伪彩色图像融合方法及图像融合系统 |
| CN116309216B (zh) * | 2023-02-27 | 2024-01-09 | 南京博视医疗科技有限公司 | 基于多波段的伪彩色图像融合方法及图像融合系统 |
| CN117437151A (zh) * | 2023-12-21 | 2024-01-23 | 成都市晶林科技有限公司 | 一种噪声抑制的伪彩映射方法 |
| CN117437151B (zh) * | 2023-12-21 | 2024-03-08 | 成都市晶林科技有限公司 | 一种噪声抑制的伪彩映射方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111815549A (zh) | 一种基于导向滤波图像融合的夜视图像彩色化方法 | |
| CN111062905B (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
| Hogervorst et al. | Fast natural color mapping for night-time imagery | |
| Toet et al. | Progress in color night vision | |
| CN110660088A (zh) | 一种图像处理的方法和设备 | |
| CN105096286B (zh) | 遥感图像的融合方法及装置 | |
| CN106952246A (zh) | 基于视觉注意特性的可见光红外图像增强彩色融合方法 | |
| CN105657580B (zh) | 一种胶囊内镜视频摘要生成方法 | |
| EP3058549B1 (en) | Converting an image from a dual-band sensor to a visible color image | |
| CN107633495A (zh) | 一种基于互补关系的红外偏振与光强图像多算法2d‑vmd内嵌式融合方法 | |
| CN107977950B (zh) | 基于多尺度指导滤波的快速有效视频图像融合方法 | |
| Yu et al. | A false color image fusion method based on multi-resolution color transfer in normalization YCBCR space | |
| Cepeda-Negrete et al. | Dark image enhancement using perceptual color transfer | |
| CN111462128A (zh) | 一种基于多模态光谱图像的像素级图像分割系统及方法 | |
| CN111563866B (zh) | 一种多源遥感图像融合方法 | |
| US20100002956A1 (en) | Method and system for converting at least one first-spectrum image into a second-spectrum image | |
| CN115330653A (zh) | 基于边窗滤波的多源图像融合方法 | |
| Qian et al. | Color contrast enhancement for color night vision based on color mapping | |
| CN105139370B (zh) | 一种基于可见光与近红外双波段相机的实时图像融合方法 | |
| Khan et al. | Saliency based visualization of hyper-spectral images | |
| Qian et al. | Fast color contrast enhancement method for color night vision | |
| Rahman et al. | Multisensor fusion and enhancement using the Retinex image enhancement algorithm | |
| CN109215006A (zh) | 基于显著性总变分模型与*2-范数优化的图像融合方法 | |
| Qian et al. | Effective contrast enhancement method for color night vision | |
| CN110033408B (zh) | 针对多云雨地区的sar与多光谱遥感数据的融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201023 |