CN111968039A - 基于硅传感器相机的昼夜通用图像处理方法、装置及设备 - Google Patents

基于硅传感器相机的昼夜通用图像处理方法、装置及设备 Download PDF

Info

Publication number
CN111968039A
CN111968039A CN201910419387.7A CN201910419387A CN111968039A CN 111968039 A CN111968039 A CN 111968039A CN 201910419387 A CN201910419387 A CN 201910419387A CN 111968039 A CN111968039 A CN 111968039A
Authority
CN
China
Prior art keywords
image
visible light
network model
processing
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910419387.7A
Other languages
English (en)
Other versions
CN111968039B (zh
Inventor
陆峰
吕飞帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201910419387.7A priority Critical patent/CN111968039B/zh
Publication of CN111968039A publication Critical patent/CN111968039A/zh
Application granted granted Critical
Publication of CN111968039B publication Critical patent/CN111968039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种基于硅传感器相机的昼夜通用图像处理方法、装置及设备，该方法包括：获取待处理的原始图像，其中，所述原始图像为可见光和近红外的混合图像；采用预先训练好的分离阶段的神经网络模型对所述原始图像进行处理，获得可见光图像；采用预先训练好的修复阶段的神经网络模型，对所述可见光图像进行修复处理，获得修复后的彩色图像，实现了图像增强，得到高质量的可见光图像。

Description

基于硅传感器相机的昼夜通用图像处理方法、装置及设备
技术领域
本申请涉及计算机视觉和图像处理技术领域，尤其涉及一种基于硅传感器相机的昼夜通用图像处理方法、装置及设备。
背景技术
许多实用的成像系统，例如24小时监控系统，需要在全天候不间断的稳定地捕获高质量彩色图像，但这不可避免的会受到环境光照变化的影响。通常相机在充足的日光下工作良好，但在夜间光线不足时表现不佳，无法满足实际应用需求。简单地使用闪光灯或增加曝光时间是不切实际的，因为它们会改变拍摄图像的色调、造成能源的浪费、导致图像模糊等。
现在通常采用特定的滤光片阵列直接捕获近红外信息和可见光信息，由于近红外信息和可见光信息相互影响，这种方式形成的图像的分辨率和质量会受到影响，无法得到高质量的图像。
发明内容
本申请提供一种基于硅传感器相机的昼夜通用图像处理方法、装置及设备，以解决现有技术通过硅传感器相机采集的图像的质量不高等缺陷。
本申请第一个方面提供一种基于硅传感器相机的昼夜通用图像处理方法，包括：
获取待处理的原始图像，其中，所述原始图像为可见光和近红外的混合图像；
采用预先训练好的分离阶段的神经网络模型对所述原始图像进行处理，获得可见光图像；
采用预先训练好的修复阶段的神经网络模型，对所述可见光图像进行修复处理，获得修复后的彩色图像。
本申请第二个方面提供一种基于硅传感器相机的昼夜通用图像处理装置，包括：
获取模块，用于获取待处理的原始图像，其中，所述原始图像为可见光和近红外的混合图像；
分离模块，用于采用预先训练好的分离阶段的神经网络模型对所述原始图像进行处理，获得可见光图像；
修复模块，用于采用预先训练好的修复阶段的神经网络模型，对所述可见光图像进行修复处理，获得修复后的彩色图像。
本申请第三个方面提供一种基于硅传感器相机的昼夜通用图像处理设备，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；
所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的方法。
本申请第四个方面提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现第一个方面提供的方法。
本申请提供的基于硅传感器相机的昼夜通用图像处理方法、装置及设备，通过采用深度神经网络，对去除红外滤片的硅传感器相机采集的原始图像进行处理，获取高质量的彩色图像，实现了图像增强，得到高质量的可见光图像。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于硅传感器相机的昼夜通用图像处理方法的流程示意图；
图2为本申请实施例适用的系统的结构示意图；
图3为本申请实施例提供的光学成像系统的结构示意图；
图4为本申请一实施例提供的图像模型的结构示意图；
图5为本申请一实施例提供的基于深度神经网络和硅传感器相机的昼夜通用图像处理方法的流程示意图；
图6为本申请一实施例提供的基于硅传感器相机的昼夜通用图像处理装置的结构示意图；
图7为本申请一实施例提供的基于硅传感器相机的昼夜通用图像处理设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
本申请一实施例提供一种基于硅传感器相机的昼夜通用图像处理方法，用于对质量不高的图像进行图像增强。本实施例的执行主体为基于硅传感器相机的昼夜通用图像处理装置，可以设置在基于硅传感器相机的昼夜通用图像处理设备上，其中，基于硅传感器相机的昼夜通用图像处理设备可以是任意的计算机设备，比如PC电脑、笔记本电脑、平板电脑等等。
图1为本申请实施例提供的基于硅传感器相机的昼夜通用图像处理方法的流程示意图，如图1所示，该方法包括：
步骤S101，获取待处理的原始图像，其中，所述原始图像为可见光和近红外的混合图像；
步骤S102，采用预先训练好的分离阶段的神经网络模型对所述原始图像进行处理，获得可见光图像；
步骤S103，采用预先训练好的修复阶段的神经网络模型，对所述可见光图像进行修复处理，获得修复后的彩色图像。
具体地，步骤S101中，获取待处理的原始图像，原始图像是采用去除红外滤光片的硅传感器相机拍摄获得，原始图像是可见光和近红外的混合图像，也就是说原始图像是可见光信号和近红外信号混合的图像；
步骤S102中,采用预先训练好的分离阶段的神经网络模型对原始图像进行处理，将原始图像中的近红外信号去除，得到可见光图像；
步骤S103中，采用预先训练好的修复阶段的神经网络模型，对所述可见光图像进行修复处理，获得修复后的彩色图像，所述彩色图像为高质量图像。
图2为本申请实施例适用的系统的结构示意图，如图2所示，通过去除红外滤波片的硅传感器相机采集可见光和近红外的混合图像，将混合图像分离为近红外图像和可见光图像，在夜间情况下可见光图像质量较差，然后在分离出的近红外图像的指导下对分离的可见光图像进行修复和增强，从而将输入图片稳定转换为高质量的彩色图像。
本申请提供的基于硅传感器相机的昼夜通用图像处理方法，通过采用深度神经网络，对去除红外滤片的硅传感器相机采集的原始图像进行处理，获取高质量的彩色图像，实现了图像增强，得到高质量的可见光图像。
本申请又一实施例对上述实施例提供的方法做进一步补充说明。
图3为本申请实施例提供的光学成像系统的结构示意图，如图3所示，所述系统包括：额外光源、电动旋转机、红外滤光片、可见光滤光片和硅传感器相机。其中，电动旋转机用来保证滤光片的切换不会对图像对齐产生影响，额外光源和滤光片的组合来模拟不同的光照情况，其中，额外光源为卤素光。
具体地，本成像系统的硬件包含：1个额外光源(Asahi Lax103)、2个电动旋转机(Thorlabs FW102C)、2个红外滤光片(Thorlabs FESH0700)、2个可见光滤光片(ThorlabsFELH0850)、1个硅传感器相机(Bitran CS-63C)、1个880nm带通滤光片。其中，带通滤光片用于模拟夜间照明的情况。
本申请提供的成像系统的硬件为去除红外滤光片的普通硅传感器相机并选择深度神经网络作为图像增强方法的一个具体实例，从而能够解决白天拍摄图像对比度较低和夜间拍摄图像丢失颜色信息的问题，能够在全天24小时各种光照条件下进行高质量的彩色成像。
图4为本申请一实施例提供的图像模型的结构示意图，如图4所示，硅传感器相机的成像主要由4部分数据构成：可见光信息、近红外信息、散粒噪声和热噪声，其中，散粒噪声与光照的强度相关，而热噪声(或读出噪声)则与光照强度无关。在模拟硅传感器相机拍摄的混合图像时，使用泊松分布来模拟散粒噪声，使用高斯分布来模拟热噪声，使用不同的比例权重来表示不同的光照环境，进而生成不同光照环境下，硅传感器相机拍摄的可见光与近红外混合的图像。
具体地，利用上述的光学成像系统采集不同光照环境下，硅传感器相机拍摄的混合图像、可见光图像、近红外图像，为本申请提出的基于硅传感器相机的昼夜通用图像处理方法提供所需的训练数据集。
在包含可见光和近红外图像的公开数据集基础上，模拟不同光照环境下硅传感器相机拍摄的混合图像，从而在一定程度上克服采集数据面临的场景匮乏、光照不连续等问题，为本申请提出的图像增强方法提供所需的大规模训练数据集。
对于采集的训练数据集，分两步进行训练，包括分离阶段和修复增强阶段。
第一阶段，分离阶段是将硅传感器拍摄的混合图像分解为近似于当前光照条件下硅传感器相机拍摄的可见光图像和近红外图像。
具体地，分离阶段的神经网络模型包括分离网络模型和比率网络模型。
其中，所述分离网络模型的建立过程如下：
获取训练样本中的混合图像、可见光图像和近红外图像，所述混合图像包括可见光信号和近红外信号；
根据预设的分离神经网络，将所述混合图像中的所述近红外信号进行分离，得到分离后红外图像；
根据得到的分离后红外图像和所述样本中的近红外图像，对预设的分离神经网络进行训练，得到所述分离网络模型。
所述比率网络模型的建立过程如下：
获取所述训练样本中的混合图像、可见光图像和近红外图像，所述混合包括可见光信号和近红外信号；
根据所述分离网络模型、预设的比率神经网络和混合图像，计算得到分离后的可见光图像；
根据得到的所述分离后的可见光图像和样本中的可见光图像，对预设的比率神经网络进行训练，得到所述比率网络模型。
具体地，可采用如下的公式计算得到可见光图像：
Ivis＝Iinput-Isep×Iratio；
其中，Ivis表示分离后的可见光图像的特征矩阵；
Iinput为混合图像的特征矩阵；
Isep为分离网络模型输出的特征矩阵；
Iratio为需要训练的比率网络的特征矩阵。
第二阶段，修复增强阶段：依据分离出的近红外图像作为指导，对分离的可见光图像进行修复和增强，将其合成为高质量的色彩丰富的图像；修复阶段的神经网络模型包括颜色修复网络模型和亮度修复网络模型。
所述颜色修复网络模型的建立过程如下：
获取所述训练样本中的混合图像、可见光图像和近红外图像，所述混合图像包括可见光信号和近红外信号；
根据所述分离网络模型、预设的比率神经网络和所述混合图像，计算得到分离后的可见光图像；
将所述分离后的可见光图像进行颜色空间转换，获得颜色转换后的可见光图像；
根据颜色转换后的可见光图像和样本中的可见光图像，对预设的颜色修复神经网络进行训练，得到所述颜色修复网络模型。
所述亮度修复网络模型的建立过程如下：
获取所述训练样本中的混合图像、可见光图像和近红外图像，所述混合图像包括可见光信号和近红外信号；
根据所述分离网络模型、比率神经网络和所述混合图像，计算得到分离后的可见光图像；
将所述分离后的可见光图像进行颜色空间转换，获得颜色转换后的可见光图像；
根据颜色转换后的可见光图像和样本中的可见光图像，对预设的亮度修复神经网络进行训练，得到所述亮度修复网络模型。
示例性的，下面是模型训练的过程，需要采集大量的样本数据，包括白天和夜间的图像，通过不断调整训练模型的参数，直到训练出满足条件的模型。
具体地，考虑到白天和夜间是两种最为常见的光照条件，对于每个场景需要采集7张图像(白天3张，夜间4张)分别为：
白天图像3张：硅传感器相机拍摄的混合图像A1、可见光图像B1、近红外图像C1；
夜间图像4张：硅传感器相机拍摄的混合图像A2、可见光图像B2、近红外图像C2、长曝光清晰的可见光图像B3；
若是白天图像，输入为去除红外滤光片的硅传感器相机拍摄的原始混合图像A1，采用预先设定的分离网络模型，对原始混合图像A1进行分离，输出为分离的近红外图像M1；
理想情况下，分离出的近红外图像M1应该无限接近于相同光照条件下该相机拍摄的近红外图像C1；
再采用所述比率网络模型对所述近红外图像和所述原始图像进行处理，获得分离后的可见光图像N1，理想情况下，分离后的可见光图像N1应该无限接近于相同光照条件下该相机拍摄的可见光图像B1。
采用修复网络模型对分离后的可见光图像N进行修复，获得修复后的高质量的可见光图像，理想情况下，该图像应该无限接近于正常光照下带有红外滤光片的硅传感器相机拍摄的图像B1。
若是夜间图像，输入为去除红外滤光片的硅传感器相机拍摄的原始混合图像A2，采用预先设定的分离网络模型，对原始混合图像A2进行分离，输出为分离的近红外图像M2；
理想情况下，分离出的近红外图像M2应该无限接近于相同光照条件下该相机拍摄的近红外图像C2；
采用所述比率网络模型对所述近红外图像和所述原始图像进行处理，获得分离后的可见光图像N2，理想情况下，分离后的可见光图像N2应该无限接近于相同光照条件下该相机拍摄的可见光图像B2。
采用修复网络模型对分离后的可见光图像N2进行修复，获得修复后的高质量的可见光图像，理想情况下，该图像应该无限接近于长曝光清晰的可见光图像B3。
可选地，步骤102具体包括：
采用所述分离网络模型对所述原始图像进行处理，获得近红外图像；
采用所述比率网络模型对所述近红外图像和所述原始图像进行处理，获得所述可见光图像。
在上述实施例的基础上，在获取的原始图像后，采用分离网络模型对所述原始图像进行处理，获得当前光照下的近红外图像；进一步的，采用所述比率网络模型对所述近红外图像和所述原始图像进行处理，获得所述可见光图像，也就是：将所述原始图像的特征矩阵减去所述近红外图像的特征矩阵与所述比率网络模型的乘积，获得所述可见光图像的特征矩阵。
具体地，可采用如下的公式进行计算：
Ivis＝Iinput-Isep×Iratio；
其中，Ivis表示分离后的可见光图像的特征矩阵；
Iinput为混合图像的特征矩阵；
Isep为分离网络模型输出的特征矩阵；
Iratio为需要训练的比率网络的特征矩阵。
在上述实施例的基础上，可选地，所述修复阶段的神经网络模型包括：亮度修复网络模型和颜色修复网络模型。可选地，步骤103具体包括：
采用所述亮度修复网络模型，对所述可见光图像进行处理，获得一维亮度矩阵；
采用所述颜色修复网络模型，对所述可见光图像进行处理，获得二维颜色矩阵；
对所述一维亮度矩阵和所述二维颜色矩阵进行处理，获得修复后的彩色图像。
将原始图像进行分解后，得到分离后的可见光图像，在对得到的可见光图像采用修复阶段的神经网络模型进行修复，在此过程中，不仅可以去除散粒噪声和热噪声等噪声，还可以实现图像增强。
具体地，在获取到分离后的可见光图像后，采用亮度修复网络模型，对所述可见光图像进行处理，获得一维亮度矩阵；采用所述颜色修复网络模型，对所述可见光图像进行处理，获得二维颜色矩阵；在获取到一维亮度矩阵和二维颜色矩阵后，将两个矩阵合并，合并后的矩阵由YUV颜色空间转换成RGB颜色空间，即获得修复后的彩色图像。
需要说明的是，在一维亮度矩阵和二维颜色矩阵合并的时候，先后顺序并不进行限定。可选地，在所述采用预先训练好的修复阶段的神经网络模型，对所述可见光图像进行修复处理，获得修复后的彩色图像之前，还包括：
将RGB颜色空间的所述可见光图像转换成YUV颜色空间的可见光图像。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
在神经网络训练的过程中，采用有效的U-Net作为神经网络的基本元素。对于U-Net模块，在本申请实施例中使用步长大小为2的卷积层进行下采样，并使用线性放缩的方法进行上采样。设置第一层的特征图通道数为32，后续随着特征图的尺寸减小，特征图的数量加倍。对于除了比率子网络的其他子网络的所有卷积层，使用Leak-ReLU作为激活函数，设计卷积核大小为3×3。而对于比率子网络，使用ReLU作为激活函数，输出层使用Sigmoid作为激活函数。四个子网络都是由1个U-Net模块组成，不同之处在于颜色修复网络的输入尺寸是输入的一半。
图5为本申请一实施例提供的基于深度神经网络和硅传感器相机的昼夜通用图像处理方法的流程示意图，如图5所示，首先对带有可见光滤光片的W×H×3的图像进行归一化操作，将图像像素值从[0，65535]放缩到[-1，1]，并将其作为分离子网络和比率子网络的输入。分离子网络的输出即为模拟的近红外图像，然后根据如下公式计算可见光图像：
Ivis＝Iinput-Isep×Iratio
其中，Ivis表示分离的可见光图像，Iinput为输入的混合图像，Isep为分离子网络的输出，Iratio为比率子网络的输出。然后将分离的可见光图像从RGB颜色空间转换为YUV颜色空间，将亮度分量作为亮度修复子网络的输入，将颜色分量作为颜色修复子网络的输入。经过两个修复网络的修复和增强，将输出结果进行结合，再转为RGB颜色空间，即可得到修复增强后的高质量的彩色图像。
本申请实施例在NVIDIA GPU 1080 Ti上进行训练，采用Kears和TensorFlow作为实现框架，在训练过程中，输入图像L经过分离子网络、比率子网络、亮度修复子网络和颜色修复子网络之后得到高质量的彩色图像E，除了将E与目标结果G进行比较之外，还对分离子网络和分离的可见光图像的结果进行约束。使用均方误差(MSE)和SSIM质量评价标准作为网络的Loss函数，然后采用反向传播算法，采用Adam优化方法进行参数更新和训练，初始学习率为0.002，批训练样本数为16。使用随机剪裁和数据增强的方法避免网络过拟合，随机剪裁大小为256×256×3。训练过程采用学习率衰减方法，每经过一个epoch，学习率衰减为当前学习率的95％，当Loss不再进行下降时将学习率衰减为当前学习率的50％。当Loss低于一定阈值或者迭代次数达到上限(本实例设定为200)时停止训练，认为网络收敛，保持网络当前的参数。
本申请提供的基于硅传感器相机的昼夜通用图像处理方法，通过使用去除红外滤光片的硅传感器相机进行昼夜通用彩色成像的方案，能够在全天24小时各种光照条件下进行高质量的彩色成像，这有利于提升24小时监控系统的成像质量，同时降低成本。
本申请另一实施例提供一种基于硅传感器相机的昼夜通用图像处理装置，用于执行上述实施例的方法。
图6为本申请实施例提供的基于硅传感器相机的昼夜通用图像处理装置的结构示意图，如图6所示，该图像处理装置包括获取模块10、分离模块20和修复模块30；
其中，获取模块10用于获取待处理的原始图像，其中，所述原始图像为可见光和近红外的混合图像；
分离模块20用于采用预先训练好的分离阶段的神经网络模型对所述原始图像进行处理，获得可见光图像；
修复模块30用于采用预先训练好的修复阶段的神经网络模型，对所述可见光图像进行修复处理，获得修复后的彩色图像。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
根据本实施例提供的基于硅传感器相机的昼夜通用图像处理装置，通过采用深度神经网络，对去除红外滤片的硅传感器相机采集的原始图像进行处理，获取高质量的彩色图像，实现了图像增强，得到高质量的可见光图像。
本申请再一实施例对上述实施例提供的装置做进一步补充说明，并用于执行上述方法实施例提供的方法。
在上述实施例的基础上，可选地，所述预先训练好的分离阶段的神经网络模型包括分离网络模型和比率网络模型。
可选地，所述分离模块，包括：
采用所述分离网络模型对所述原始图像进行处理，获得近红外图像；
采用所述比率网络模型对所述近红外图像和所述原始图像进行处理，获得所述可见光图像。
可选地，所述采用所述比率网络模型对所述近红外图像和所述原始图像进行处理，获得所述可见光图像，具体包括：
将所述原始图像的特征矩阵减去所述近红外图像的特征矩阵与所述比率网络模型的乘积，获得所述可见光图像的特征矩阵。
可选地，所述修复阶段的神经网络模型包括：亮度修复网络模型和颜色修复网络模型。
可选地，所述修复模块，包括：
采用所述亮度修复网络模型，对所述可见光图像进行处理，获得一维亮度矩阵；
采用所述颜色修复网络模型，对所述可见光图像进行处理，获得二维颜色矩阵；
对所述一维亮度矩阵和所述二维颜色矩阵进行处理，获得修复后的彩色图像。
可选地，在修复模块之前，还包括：
将RGB颜色空间的所述可见光图像转换成YUV颜色空间的可见光图像。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
根据本实施例提供的基于硅传感器相机的昼夜通用图像处理装置，通过采用深度神经网络，对去除红外滤片的硅传感器相机采集的原始图像进行处理，获取高质量的彩色图像，实现了图像增强，得到高质量的可见光图像。
本申请又一实施例提供一种基于硅传感器相机的昼夜通用图像处理设备，用于执行上述实施例提供的方法。
图7为本申请实施例提供的基于硅传感器相机的昼夜通用图像处理设备的结构示意图，如图7所示。该设备包括：至少一个处理器51和存储器52；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现上述实施例提供的方法。
根据本实施例的基于硅传感器相机的昼夜通用图像处理设备，通过采用深度神经网络，对去除红外滤片的硅传感器相机采集的原始图像进行处理，获取高质量的彩色图像，实现了图像增强，得到高质量的可见光图像。
本申请再一实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述任一实施例提供的方法。
根据本实施例的计算机可读存储介质，通过采用深度神经网络，对去除红外滤片的硅传感器相机采集的原始图像进行处理，获取高质量的彩色图像，实现了图像增强，得到高质量的可见光图像。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种基于硅传感器相机的昼夜通用图像处理方法，其特征在于，包括：
获取待处理的原始图像，其中，所述原始图像为可见光和近红外的混合图像；
采用预先训练好的分离阶段的神经网络模型对所述原始图像进行处理，获得可见光图像；
采用预先训练好的修复阶段的神经网络模型，对所述可见光图像进行修复处理，获得修复后的彩色图像。
2.根据权利要求1所述的方法，其特征在于，所述预先训练好的分离阶段的神经网络模型包括分离网络模型和比率网络模型。
3.根据权利要求2所述的方法，其特征在于，所述采用预先训练好的分离阶段的神经网络模型对所述原始图像进行处理，获得可见光图像，包括：
采用所述分离网络模型对所述原始图像进行处理，获得近红外图像；
采用所述比率网络模型对所述近红外图像和所述原始图像进行处理，获得所述可见光图像。
4.根据权利要求3所述的方法，其特征在于，所述采用所述比率网络模型对所述近红外图像和所述原始图像进行处理，获得所述可见光图像，具体包括：
将所述原始图像的特征矩阵减去所述近红外图像的特征矩阵与所述比率网络模型的乘积，获得所述可见光图像的特征矩阵。
5.根据权利要求1所述的方法，其特征在于，所述修复阶段的神经网络模型包括：亮度修复网络模型和颜色修复网络模型。
6.根据权利要求5所述的方法，其特征在于，所述采用预先训练好的修复阶段的神经网络模型，对包含可见光信号的图像进行修复处理，获得修复后的彩色图像，包括：
采用所述亮度修复网络模型，对所述可见光图像进行处理，获得一维亮度矩阵；
采用所述颜色修复网络模型，对所述可见光图像进行处理，获得二维颜色矩阵；
对所述一维亮度矩阵和所述二维颜色矩阵进行处理，获得修复后的彩色图像。
7.根据权利要求1-6任一所述的方法，其特征在于，在所述采用预先训练好的修复阶段的神经网络模型，对所述可见光图像进行修复处理，获得修复后的彩色图像之前，还包括：
将RGB颜色空间的所述可见光图像转换成YUV颜色空间的可见光图像。
8.一种基于硅传感器相机的昼夜通用图像处理装置，其特征在于，包括：
获取模块，用于获取待处理的原始图像，其中，所述原始图像为可见光和近红外的混合图像；
分离模块，用于采用预先训练好的分离阶段的神经网络模型对所述原始图像进行处理，获得可见光图像；
修复模块，用于采用预先训练好的修复阶段的神经网络模型，对所述可见光图像进行修复处理，获得修复后的彩色图像。
9.根据权利要求8所述的装置，其特征在于，所述预先训练好的分离阶段的神经网络模型包括分离网络模型和比率网络模型。
10.一种基于硅传感器相机的昼夜通用图像处理设备，其特征在于，包括：存储器和至少一个处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现权利要求1-7中任一项所述的方法。
CN201910419387.7A 2019-05-20 2019-05-20 基于硅传感器相机的昼夜通用图像处理方法、装置及设备 Active CN111968039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910419387.7A CN111968039B (zh) 2019-05-20 2019-05-20 基于硅传感器相机的昼夜通用图像处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910419387.7A CN111968039B (zh) 2019-05-20 2019-05-20 基于硅传感器相机的昼夜通用图像处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111968039A true CN111968039A (zh) 2020-11-20
CN111968039B CN111968039B (zh) 2023-08-22

Family

ID=73358175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910419387.7A Active CN111968039B (zh) 2019-05-20 2019-05-20 基于硅传感器相机的昼夜通用图像处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111968039B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570129A (zh) * 2021-07-20 2021-10-29 武汉钢铁有限公司 带钢酸洗浓度的预测方法及计算机可读存储介质
CN114022999A (zh) * 2021-10-27 2022-02-08 北京云迹科技有限公司 一种自动售货机的缺货检测方法、装置、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345732A (zh) * 2013-07-26 2013-10-09 电子科技大学 基于Contourlet变换的PCNN图像增强算法及装置
CN106805939A (zh) * 2015-12-01 2017-06-09 广西大学 一种近红外波段led光源影像成像系统
CN106911876A (zh) * 2015-12-22 2017-06-30 三星电子株式会社 用于输出图像的方法和设备
CN108734675A (zh) * 2018-05-17 2018-11-02 西安电子科技大学 基于混合稀疏先验模型的图像复原方法
CN109658341A (zh) * 2018-10-26 2019-04-19 深圳市华星光电技术有限公司 增强图像对比度的方法及其装置
CN109685732A (zh) * 2018-12-18 2019-04-26 重庆邮电大学 一种基于边界捕捉的深度图像高精度修复方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345732A (zh) * 2013-07-26 2013-10-09 电子科技大学 基于Contourlet变换的PCNN图像增强算法及装置
CN106805939A (zh) * 2015-12-01 2017-06-09 广西大学 一种近红外波段led光源影像成像系统
CN106911876A (zh) * 2015-12-22 2017-06-30 三星电子株式会社 用于输出图像的方法和设备
CN108734675A (zh) * 2018-05-17 2018-11-02 西安电子科技大学 基于混合稀疏先验模型的图像复原方法
CN109658341A (zh) * 2018-10-26 2019-04-19 深圳市华星光电技术有限公司 增强图像对比度的方法及其装置
CN109685732A (zh) * 2018-12-18 2019-04-26 重庆邮电大学 一种基于边界捕捉的深度图像高精度修复方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
强振平等: "深度学习图像修复方法综述", 《中国图象图形学报》 *
窦易文等: "基于神经网络的低照度真彩色图像增强", 《计算机工程与设计》 *
谭海曙等: "基于神经网络的图像亮度和对比度自适应增强", 《光电子.激光》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570129A (zh) * 2021-07-20 2021-10-29 武汉钢铁有限公司 带钢酸洗浓度的预测方法及计算机可读存储介质
CN114022999A (zh) * 2021-10-27 2022-02-08 北京云迹科技有限公司 一种自动售货机的缺货检测方法、装置、设备和介质

Also Published As

Publication number Publication date
CN111968039B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN111292264B (zh) 一种基于深度学习的图像高动态范围重建方法
CN110675336A (zh) 一种低照度图像增强方法及装置
CN111986084B (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
CN111669514B (zh) 高动态范围成像方法和装置
CN110544213A (zh) 一种基于全局和局部特征融合的图像去雾方法
CN110223251B (zh) 适用于人工与自然光源的卷积神经网络水下图像复原方法
CN111402145B (zh) 一种基于深度学习的自监督低照度图像增强方法
CN109829868B (zh) 一种轻量级深度学习模型图像去雾方法、电子设备及介质
CN111724317A (zh) Raw域视频去噪监督数据集构造方法
CN115393227B (zh) 基于深度学习的微光全彩视频图像自适应增强方法及系统
CN112508812A (zh) 图像色偏校正方法、模型训练方法、装置及设备
CN115115516B (zh) 基于Raw域的真实世界视频超分辨率的构建方法
CN111968039B (zh) 基于硅传感器相机的昼夜通用图像处理方法、装置及设备
CN114219722A (zh) 一种利用时频域层级处理的低光照图像增强方法
CN106709888B (zh) 一种基于人眼视觉模型的高动态范围图像产生方法
CN110838088B (zh) 一种基于深度学习的多帧降噪方法、装置及终端设备
CN110557572B (zh) 一种图像处理方法、装置及卷积神经网络系统
CN104010134B (zh) 用于形成具有宽动态范围的系统和方法
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN111161189A (zh) 一种基于细节弥补网络的单幅图像再增强方法
CN116245968A (zh) 基于Transformer的LDR图像生成HDR图像的方法
Yang et al. Bokehornot: Transforming bokeh effect with image transformer and lens metadata embedding
Li et al. Rendering nighttime image via cascaded color and brightness compensation
CN113658068A (zh) 基于深度学习的cmos相机的去噪增强系统及方法
CN116934583A (zh) 基于深浅特征融合网络的遥感图像超分辨率算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant