CN110827375B - 一种基于微光图像的红外图像真彩着色方法及系统 - Google Patents
一种基于微光图像的红外图像真彩着色方法及系统 Download PDFInfo
- Publication number
- CN110827375B CN110827375B CN201911049224.0A CN201911049224A CN110827375B CN 110827375 B CN110827375 B CN 110827375B CN 201911049224 A CN201911049224 A CN 201911049224A CN 110827375 B CN110827375 B CN 110827375B
- Authority
- CN
- China
- Prior art keywords
- image
- low
- light
- infrared
- sample set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004040 coloring Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000007781 pre-processing Methods 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 230000004297 night vision Effects 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 11
- 238000004088 simulation Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 9
- 239000003086 colorant Substances 0.000 abstract description 5
- 230000009469 supplementation Effects 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000029553 photosynthesis Effects 0.000 description 1
- 238000010672 photosynthesis Methods 0.000 description 1
- 230000000243 photosynthetic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G06T5/70—
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于微光图像的红外图像真彩着色方法及系统，该方法对同时采集的同一目标区域的红外图像和微光图像进行如下处理：S1预处理红外图像；S2预处理微光图像；S3预处理后的红外图像和微光图像作为待融合图像，输入生成对抗网络模型进行融合；所述生成对抗网络模型利用U‑net网络构建并经训练样本集训练获得；所述训练样本集包括标准样本集和自身采集样本集。本发明利用微光图像和红外图像来实现图像信息的融合与补充，最终在黑白红外图像的基础上，合成具有真实色彩的彩色图像，解决了传统方法中在图像部分黑暗区域无法全彩着色的问题。
Description
技术领域
本发明涉及红外照片真彩着色的方法，属于红外图像处理与人工智能领域，具体涉及一种基于微光图像的红外图像真彩着色方法及系统。
背景技术
随着我国经济发展，对平安城市和智能安防建设的重视，视频监控系统的需求稳步增长，对监控系统的要求也日益提升，高清化、智能化、全天候的监控平台成为各行业应用领域的共同目标。近年来，随着计算机、人工智能等核心技术的发展与突破，室内监控和白天正常情况下的监控已不是难题，视频追踪、人脸识别、异常行为监测等基于地面监控设备的应用已逐步成熟并广泛应用于各领域市场。然而，在环境亮度低、成像质量不高的情形下，传统的监控设备无法获取高质量的视频或图像。如何实时获取高清晰度、真彩色的视频数据，并以此为基础实现夜视人脸识别、夜视目标跟踪、夜视用户行为分析预警等终端应用，已成为视频监控领域亟待解决的技术问题。
传统夜视系统（夜视仪、夜视眼镜、夜视监控设备）包括微光夜视系统与红外夜视系统。微光夜视系统由于其工作原理的制约，系统在低光照情形下，成像质量不好，以此为基础的目标识别、跟踪类应用等，效果欠佳。红外夜视系统采集的灰度图像虽然亮度高，但细节信息缺乏。微光夜视系统得到的图像亮度低，同样细节信息缺乏，同时由于人眼能够分辨的灰度级别有限：只能分辨大约几十种灰度级，但可以区分上千种彩色。另一方面，现代化的人工智能技术应用于图像识别与分类，同样的客观条件下，彩色图像的识别率远远高于灰度图像。因此，针对人眼对于色彩更为敏感的特性，以及现代化智能安防监控的技术需求，研发具有采集、还原观测区域目标对象真彩信息的夜视系统，具有重要的现实意义与应用价值。
近些年来，国内外彩色夜视领域的研究主要集中在微光与红外图像融合，微光双波段融合等多源信息的采集与融合技术。图像融合的方法包括基于YUV空间的色彩传递算法、基于拉普拉斯金字塔变换的图像融合算法、基于微光光学增强的图像融合算法、基于小波变换的图像融合方法等等。然而，这些图像融合类方法，实现的夜视效果往往为伪彩色，丢失了夜视目标真实的彩色信息，同时也干扰了对目标的准确识别与评估。
因此，如何结合微光图像和红外图像的特点，实现黑白红外图像的真彩着色，具有较强的现实意义与应用价值。
发明内容
本发明的目的是提供一种基于微光图像的红外图像真彩着色方法及系统。
本发明提供的一种基于微光图像的红外图像真彩着色方法，对同时采集的同一目标区域的红外图像和微光图像进行如下处理：
S1预处理红外图像；
S2预处理微光图像；
S3 将预处理后的红外图像和微光图像作为待融合图像，输入生成对抗网络模型进行融合；
所述生成对抗网络模型的生成器利用U-net网络构建并经训练样本集训练获得；
所述训练样本集包括标准样本集和自身采集样本集；其中：
标准样本集包括三类样本：红外传感器采集的夜视红外图像、普通图像传感器白天采集的图像、以及普通图像传感器在低照度情形下采集的微光图像；
自身采集样本集包括三类样本：普通图像传感器白天采集的目标区域图像、基于目标区域图像模拟的红外图像、以及基于目标区域图像模拟的微光图像；
红外图像的模拟通过将目标区域图像转换为灰度图像获得；
通过调低目标区域图像的对比度和光照度，来模拟微光图像。
作为优选，所述红外图像采用短时多曝光连拍模式采集。
进一步的，预处理红外图像至少包括对红外图像进行去噪滤波，目的在于提高红外图像的图像质量。
对红外图像进行去噪滤波的一种具体实施方式为：
所述红外图像为采用连拍模式拍摄获得的连续图像，拍摄速率为10~15张/秒；
对同一秒内采集的若干红外图像，做如下处理：
S1.1 对若干红外图像，逐像素进行像素值平均处理，以剔除失真像素；
S1.2 对处理后的红外图像进行高斯平滑滤波，剔除高斯噪声；
S1.3 计算去噪后的红外图像的信噪比，若信噪比低于预设的信噪比阈值，则重复子步骤S1.2直至信噪比不低于信噪比阈值；信噪比阈值为经验值。
作为优选，所述微光图像采用长曝光模式采集。
进一步的，预处理微光图像至少包括对微光图像进行去噪滤波，目的在于提高微光图像的图像质量。
对微光图像进行去噪滤波的一种具体实施方式为：
S2.1 对微光图像进行高斯平滑滤波，剔除高斯噪声；
S2.2计算去噪后的微光图像的信噪比，并通过信噪比调整微光图像的对比度，保留信噪比最高时的对比度数值及对应的微光图像；
S2.3 计算S2.2所保留微光图像的信噪比，若低于预设的信噪比阈值，则重复子步骤S2.1~S2.2，直至信噪比不低于信噪比阈值；信噪比阈值为经验值。
步骤S3中，训练的过程具体为：
接收输入的预设比例，根据预设比例取标准样本集和自身采集样本集中样本并合并；利用合并后的样本集对生成对抗网络模型进行训练。
作为优选，构建的生成器包括顺次连接的第一卷积层、第二卷积层、第三卷积层、第一激活层、第一下采样层、第一上采样层、扩展路径的特征图、第四卷积层、第二激活层、第五卷积层、第三激活层、第六卷积层。
作为优选，第一卷积层和第二卷积层为5×5卷积层，第三卷积层为8×8卷积层，第一激活层采用RELU层，第一上采样层为2×2卷积层，第四卷积层为5×5卷积层，第五卷积层为8×8卷积层，第六卷积层为1×1卷积层。
本发明提供的一种基于微光图像的红外图像真彩着色系统，包括：
红外图像预处理模块，用来预处理红外图像；
微光图像预处理模块，用来预处理微光图像；
融合模块，用来将预处理后的红外图像和微光图像作为待融合图像，输入生成对抗网络模型进行融合；
所述生成对抗网络模型的生成器利用U-net网络构建并经训练样本集训练获得；
所述训练样本集包括标准样本集和自身采集样本集；其中：
标准样本集包括三类样本：红外传感器采集的夜视红外图像、普通图像传感器白天采集的图像、以及普通图像传感器在低照度情形下采集的微光图像；
自身采集样本集包括三类样本：普通图像传感器白天采集的目标区域图像、基于目标区域图像模拟的红外图像、以及基于目标区域图像模拟的微光图像；
红外图像的模拟通过将目标区域图像转换为灰度图像获得；
通过调低目标区域图像的对比度和光照度，来模拟微光图像。
本发明利用两种不同传感器对同一目标区域的数据进行采集，获得目标区域的微光图像和红外图像，利用构建的生成对抗网络，从而实现图像信息的融合与补充，最终在黑白红外图像的基础上，合成具有真实色彩的彩色图像，从而解决传统方法中在图像部分黑暗区域无法实现全彩着色的问题，从而为红外夜视领域的应用提供有力支撑。
附图说明
图1为本发明流程示意图；
图2为实施例中原始的红外图像；
图3为实施例中所采集的微光图像；
图4为采用本发明方法将图2和图3所示图像合成的图像。
具体实施方式
为了更清楚地说明本发明技术方案，下面将对照附图提供本发明实施例及其所产生的技术效果。显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施方式。
实施例中可利用计算机语言（例如C++），来编写相应的计算机程序来自动执行本发明，即利用所编写的计算机程序自动对红外图像进行真彩着色。本实施例中，以800×600分辨率的红外摄像头和普通摄像头作为图像采集装置，两摄像头距离50mm，并排放置；模型构建和训练所基于的深度学习平台采用Tensorflow 2.0版本。
下面将结合附图1，来描述本发明方法及系统的具体实施方式。
本发明用来对同时采集的同一目标区域的红外图像和微光图像进行如下处理，以实现利用微光图像给红外图像进行真彩着色。
S1 对红外传感器所采集的红外图像进行预处理，预处理的目的是提高图像质量。
在图像处理领域，以提高图像质量为目的的原始图像预处理为常规步骤，一般采用去噪滤波等方法。
为便于理解，下面将提供一种具体的红外图像预处理方法，显然预处理方法并不限于此方法：
S1.1 本实施例中，为提高系统的鲁棒性，红外图像的采集采用短时多曝光连拍模式，按照每秒10-15张的拍摄速率，连续采集10~15张红外图像。对采集到的10~15张红外图像，逐像素进行像素值平均处理，以剔除失真像素；
S1.2 对处理后的红外图像进行高斯平滑滤波，剔除高斯噪声；
S1.3 计算去噪后的红外图像信噪比，若信噪比低于预设的信噪比阈值，则重复子步骤S1.2，直至信噪比不低于信噪比阈值；信噪比阈值为经验值，一般在45dB~55dB之间选择。
最终红外图像记录采集时间并保存。
需要说明的是，除了高斯平滑滤波，也可以采用中值滤波、均值滤波等方法，具体实施时，可根据应用需求及使用环境进行选择。
S2对普通图像传感器（例如CCD图像传感器）所采集的微光图像进行预处理，同红外图像预处理目的一样，此处预处理目的也是提升微光图像质量，以及增加判断功能。
普通图像传感器采集的微光图像往往噪点过多，成像质量不佳，需要进行预处理以提升图像质量，为后续融合奠定基础。
在图像处理领域，以提高图像质量为目的的原始图像预处理为常规步骤，为便于理解，下面将提供一种具体的红外图像预处理方法，显然预处理方法并不限于此方法。
对微光图像进行去噪滤波的一种具体实施方式为：
S2.1 对微光图像进行高斯平滑滤波，剔除高斯噪声；
S2.2计算去噪后的微光图像的信噪比，并通过信噪比调整微光图像的对比度，保留信噪比最高时的对比度数值及对应的微光图像；
S2.3 计算S2.2所保留微光图像的信噪比，若低于预设的信噪比阈值，则重复子步骤S2.1~S2.2，直至信噪比不低于信噪比阈值；信噪比阈值为经验值，同样根据具体应用场景及图片质量取值，一般在45dB~55dB之间选择。
为进一步提高微光图像质量，可采用长曝光模式采集微光图像。
S3 将步骤S1和步骤S2预处理后的红外图像和微光图像作为待融合图像，输入红外真彩照片合成模型进行融合。
生成对抗网络模型需要提前搭建并训练，本实施例采用采用GTX1080Ti作GPU计算，选用Ubuntu 16.0.4下的Tensorflow 2.0深度学习框架来搭建并学习生成对抗网络（GAN，Generative Adversarial Networks）模型。生成对抗网络模型包括生成器和判别器，传统技术中，生成器端输入随机噪声或单张图像，输出为合成的图像。而本发明需要输入两张图像，即同一目标区域同时拍摄的微光图像和红外图像，因此传统的生成器并不适合本发明。
下面将分别描述生成对抗网络模型的搭建和训练过程。
（一）生成对抗网络模型的搭建
本发明基于U-net网络构建生成器，所构建生成器包括顺次连接的第一卷积层（卷积核为5×5）、第二卷积层（卷积核为5×5）、第三卷积层（卷积核为8×8）、第一激活层（采用RELU层）、第一下采样层（采样层步长为2）、第一上采样层（卷积核为2×2，含于扩展路径中）、扩展路径的特征图、第四卷积层（卷积核为5×5）、第二激活层（采用RELU层）、第五卷积层（卷积核为8×8）、第三激活层、第六卷积层（卷积核为1×1）。
考虑到微光照片由普通图像传感器在长曝光模式下拍摄，可能出现局部区域黑暗，从而导致采集数据信息不足，为提取更大区域的局部特征，所以本实施例中选择较大的卷积核，即，将第一卷基层和第二卷积层设为5×5卷积层，第三卷积层设为8×8卷积层，以兼顾低照度局部信息不全时的特征提取。本实施例中，第一下采样层采用max pooling操作实现，本实施例中下采样层步长为2，进行一次下采样，即将特征数量减半。
考虑到传统的生成器仅输入RGB三通道颜色空间的单张图像，而本发明需同时输入微光图像和红外图像，因此增加生成器输入图像的接口通道数，将传统的RGB三通道扩展为RGBI四通道，其中，R、G、B三个通道用来存储微光图像的颜色信息，I通道用来存储红外图像的灰度信息。
判别器使用传统的PatchGAN判别器，其用来对图像的每个大小为N × N的patch做真假判别。将一张图片所有patch的结果取平均作为最终的判别器输出。具体实现时可使用一个NxN输入的全卷积层，最后一层每个像素过sigmoid输出为真的概率。
（二）生成对抗网络模型的训练。
（1）训练前需构建训练样本集，训练样本集包括标准样本集和自身采集样本集两类样本集。标准样本集包括三类样本，三类样本分目录保存，分别为：红外传感器采集的夜视红外图像、普通图像传感器白天采集的图像、以及普通图像传感器在低照度情形下采集的微光图像。
本发明用于红外照片真彩着色，多用于夜视摄像监控领域，由于监控摄像头拍摄的目标区域相对固定，因此可在样本集中加入自身采集的目标区域图像样本，来构造样本集，从而进一步提升最终红外图像的着色质量。
自身采集样本集同样包括三类样本，分目录保存，分别为：普通图像传感器白天采集的目标区域图像、基于目标区域图像模拟的红外图像、以及基于目标区域图像模拟的微光图像。红外图像的模拟通过将目标区域图像转换为灰度图像获得；由于白天的目标区域图像无法用作微光图像样本，因此通过调低目标区域图像的对比度和光照度，来模拟微光图像。
对本发明而言，上述两类样本集缺一不可，标准样本集用来保证真实的样本数据，自身采集样本集用来保证数据的区域特性，更加利于后续高质量的彩色红外照片合成。
（2）在构建完成训练样本集后，利用构建的训练样本集对生成对抗网络模型进行训练。
一种具体的训练方法为：
（a）按照一定比例取标准样本集和自身采集样本集的样本并合并，比例根据场景及夜视环境不同可自定义调整；此处，比例指从标准样本集和自身采集样本集中所取样本量的比例。当待融合的微光图像质量较差，应加大标准样本量；反之，可减少标准样本量。较差质量的图像一般指在外界强光干扰或全黑环境下所采集的图像。
（b）将合并后的样本集进一步划分为训练集和测试集，其中，训练集和测试集中样本量比例为（7~9）:（3~1）；
（c）将训练集划出部分样本构建验证集，验证集样本量占原始训练集样本量比例为2~15%。
（d）利用训练集对生成对抗网络模型进行训练，训练步数根据训练集中样本量灵活调整。测试集和验证集用来验证训练模型的准确度。
对于不同的使用环境及精确度需求，用户可手动配置训练集、验证集、测试集中样本量的比例。训练后的生成对抗网络模型即红外真彩照片合成模型。
将待融合图像（即步骤S1和步骤S2预处理后的红外图像和微光图像）输入红外真彩照片合成模型，模型直接生成合成图像，该合成图像具有红外图像的完整轮廓信息、细节信息，以及微光图像中的真实色彩信息。
在试验过程中，小概率会出现合成图像部分区域全黑的情况，无法获知色彩信息，但轮廓信息和细节信息依然完整，此时，可通过对合成图像增加光照来重现色彩信息。
在本发明中，由于微光图像和红外图像不是由同一传感器在完全一致的时刻下采集获得，所以两种图像数据存在微小视觉差。但本发明中，两传感器位置靠近且相对固定，并且训练时采用了带相同视觉位置偏移的微光图像样本和红外图像样本，因此可抵消视觉差。
图2~4为本发明的实验效果，图2和图3分别为所采集的红外图像和微光图像，图4为合成图像，为了使该图像能符合专利审查指南对附图的要求，故去掉了合成图像的颜色信息，但仍然可以明显看出，合成图像具有完整的轮廓信息和清晰的细节信息。
专业人员可以进一步意识到，结合本文中所公开的实施例描述的示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能性一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应超过本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。
可以理解的是，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其它各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (9)
1.一种基于微光图像的红外图像真彩着色方法，其特征是：
对同时采集的同一目标区域的红外图像和微光图像进行如下处理：
S1预处理红外图像；
S2预处理微光图像；
S3 将预处理后的红外图像和微光图像作为待融合图像，输入生成对抗网络模型进行融合；
所述生成对抗网络模型的生成器利用U-net网络构建并经训练样本集训练获得；
所述训练样本集包括标准样本集和自身采集样本集；其中：
标准样本集包括三类样本：红外传感器采集的夜视红外图像、普通图像传感器白天采集的图像、以及普通图像传感器在低照度情形下采集的微光图像；
自身采集样本集包括三类样本：普通图像传感器白天采集的目标区域图像、基于目标区域图像模拟的红外图像、以及基于目标区域图像模拟的微光图像；
红外图像的模拟通过将目标区域图像转换为灰度图像获得；
通过调低目标区域图像的对比度和光照度，来模拟微光图像。
2.如权利要求1所述的基于微光图像的红外图像真彩着色方法，其特征是：
所述红外图像采用短时多曝光连拍模式采集。
3.如权利要求1所述的基于微光图像的红外图像真彩着色方法，其特征是：
所述预处理红外图像至少包括对红外图像进行去噪滤波。
4.如权利要求1所述的基于微光图像的红外图像真彩着色方法，其特征是：
所述微光图像采用长曝光模式采集。
5.如权利要求1所述的基于微光图像的红外图像真彩着色方法，其特征是：
所述预处理微光图像至少包括对微光图像进行去噪滤波。
6.如权利要求1所述的基于微光图像的红外图像真彩着色方法，其特征是：
步骤S3中，训练的过程具体为：
接收输入的预设比例，根据预设比例取标准样本集和自身采集样本集中样本并合并；利用合并后的样本集对生成对抗网络模型进行训练。
7.如权利要求1所述的基于微光图像的红外图像真彩着色方法，其特征是：
构建的生成器包括顺次连接的第一卷积层、第二卷积层、第三卷积层、第一激活层、第一下采样层、第一上采样层、扩展路径的特征图、第四卷积层、第二激活层、第五卷积层、第三激活层、第六卷积层。
8.如权利要求7所述的基于微光图像的红外图像真彩着色方法，其特征是：
第一卷积层和第二卷积层为5×5卷积层，第三卷积层为8×8卷积层，第一激活层采用RELU层，第一上采样层为2×2卷积层，第四卷积层为5×5卷积层，第五卷积层为8×8卷积层，第六卷积层为1×1卷积层。
9.一种基于微光图像的红外图像真彩着色系统，其特征是，包括：
红外图像预处理模块，用来预处理红外图像；
微光图像预处理模块，用来预处理微光图像；
融合模块，用来将预处理后的红外图像和微光图像作为待融合图像，输入生成对抗网络模型进行融合；
所述生成对抗网络模型的生成器利用U-net网络构建并经训练样本集训练获得；
所述训练样本集包括标准样本集和自身采集样本集；其中：
标准样本集包括三类样本：红外传感器采集的夜视红外图像、普通图像传感器白天采集的图像、以及普通图像传感器在低照度情形下采集的微光图像；
自身采集样本集包括三类样本：普通图像传感器白天采集的目标区域图像、基于目标区域图像模拟的红外图像、以及基于目标区域图像模拟的微光图像；
红外图像的模拟通过将目标区域图像转换为灰度图像获得；
通过调低目标区域图像的对比度和光照度，来模拟微光图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911049224.0A CN110827375B (zh) | 2019-10-31 | 2019-10-31 | 一种基于微光图像的红外图像真彩着色方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911049224.0A CN110827375B (zh) | 2019-10-31 | 2019-10-31 | 一种基于微光图像的红外图像真彩着色方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110827375A CN110827375A (zh) | 2020-02-21 |
| CN110827375B true CN110827375B (zh) | 2023-05-30 |
Family
ID=69551720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911049224.0A Active CN110827375B (zh) | 2019-10-31 | 2019-10-31 | 一种基于微光图像的红外图像真彩着色方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110827375B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365559B (zh) * | 2020-11-19 | 2022-08-26 | 华侨大学 | 一种基于结构相似度的生成对抗网络的红外图像着色方法 |
| CN116740211B (zh) * | 2023-06-15 | 2024-01-30 | 云南大学 | 一种面向边缘设备的近红外图像彩色化方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600553A (zh) * | 2016-12-15 | 2017-04-26 | 华中科技大学 | 一种基于卷积神经网络的dem超分辨率方法 |
| CN107481214A (zh) * | 2017-08-29 | 2017-12-15 | 北京华易明新科技有限公司 | 一种微光图像与红外图像融合方法 |
| WO2018113512A1 (zh) * | 2016-12-21 | 2018-06-28 | 腾讯科技（深圳）有限公司 | 图像处理方法以及相关装置 |
| WO2018215066A1 (en) * | 2017-05-24 | 2018-11-29 | HELLA GmbH & Co. KGaA | Method and system for automatically colorizing night-vision images |
| CN109087269A (zh) * | 2018-08-21 | 2018-12-25 | 厦门美图之家科技有限公司 | 弱光图像增强方法及装置 |
| CN109242928A (zh) * | 2018-10-24 | 2019-01-18 | 天津工业大学 | 一种轻量级具有融合层的近红外图像彩色化深度学习模型 |
| CN109684924A (zh) * | 2018-11-21 | 2019-04-26 | 深圳奥比中光科技有限公司 | 人脸活体检测方法及设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102506459B1 (ko) * | 2016-05-20 | 2023-03-03 | 매직 립, 인코포레이티드 | 콘볼루셔널 이미지 변환 추정을 수행하기 위한 방법 및 시스템 |
| US10002408B2 (en) * | 2016-08-04 | 2018-06-19 | Intel Corporation | Restoring color and infrared images from mosaic data |
-
2019
- 2019-10-31 CN CN201911049224.0A patent/CN110827375B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600553A (zh) * | 2016-12-15 | 2017-04-26 | 华中科技大学 | 一种基于卷积神经网络的dem超分辨率方法 |
| WO2018113512A1 (zh) * | 2016-12-21 | 2018-06-28 | 腾讯科技（深圳）有限公司 | 图像处理方法以及相关装置 |
| WO2018215066A1 (en) * | 2017-05-24 | 2018-11-29 | HELLA GmbH & Co. KGaA | Method and system for automatically colorizing night-vision images |
| CN107481214A (zh) * | 2017-08-29 | 2017-12-15 | 北京华易明新科技有限公司 | 一种微光图像与红外图像融合方法 |
| CN109087269A (zh) * | 2018-08-21 | 2018-12-25 | 厦门美图之家科技有限公司 | 弱光图像增强方法及装置 |
| CN109242928A (zh) * | 2018-10-24 | 2019-01-18 | 天津工业大学 | 一种轻量级具有融合层的近红外图像彩色化深度学习模型 |
| CN109684924A (zh) * | 2018-11-21 | 2019-04-26 | 深圳奥比中光科技有限公司 | 人脸活体检测方法及设备 |
Non-Patent Citations (3)
| Title |
|---|
| Matthias Limmer.Infrared Colorization Using Deep Convolutional Neural Networks.《2016 15th IEEE International Conference on Machine Learning and Applications (ICMLA) 》.2016,第61-68页. * |
| 何炳阳 ; 张智诠 ; 李强 ; 蒋晓瑜 ; .基于CbCr查找表的双波段图像彩色融合算法.光学学报.2017,(第01期),第382-391页. * |
| 刘超 ; 张晓晖 ; .超低照度下微光图像的深度卷积自编码网络复原.光学精密工程.2018,(第04期),第216-226页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110827375A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020259118A1 (en) | Method and device for image processing, method and device for training object detection model | |
| CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
| WO2021022983A1 (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108510451B (zh) | 一种基于双层卷积神经网络的重建车牌的方法 | |
| JP2022509034A (ja) | ニューラルネットワークを使用した輝点除去 | |
| CN105930822A (zh) | 一种人脸抓拍方法及系统 | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN109993804A (zh) | 一种基于条件生成对抗网络的道路场景去雾方法 | |
| CN112184604B (zh) | 一种基于图像融合的彩色图像增强方法 | |
| CN110288623B (zh) | 无人机海上网箱养殖巡检图像的数据压缩方法 | |
| CN111079764A (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
| CN115937794B (zh) | 小目标对象检测方法、装置、电子设备及存储介质 | |
| Zhang et al. | Feed-net: Fully end-to-end dehazing | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| CN112651911A (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN103870847B (zh) | 一种低照度环境下对地监控的运动目标检测方法 | |
| CN107220945A (zh) | 多重退化的极模糊图像的复原方法 | |
| CN112308087B (zh) | 基于动态视觉传感器的一体化成像识别方法 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 | |
| CN112767267A (zh) | 基于仿真偏振带雾场景数据集的图像去雾方法 | |
| CN116029954A (zh) | 一种图像融合方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |