CN117575969B - 一种红外图像画质增强方法、装置、电子设备及存储介质 - Google Patents

一种红外图像画质增强方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117575969B
CN117575969B CN202311440535.6A CN202311440535A CN117575969B CN 117575969 B CN117575969 B CN 117575969B CN 202311440535 A CN202311440535 A CN 202311440535A CN 117575969 B CN117575969 B CN 117575969B
Authority
CN
China
Prior art keywords
image
quality
enhancement
model
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311440535.6A
Other languages
English (en)
Other versions
CN117575969A (zh
Inventor
吕继先
陈翔
廖科文
林洁煌
曾荣贵
谢佳洽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Chengzhi Intelligent Machine Technology Co ltd
Original Assignee
Guangzhou Chengzhi Intelligent Machine Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Chengzhi Intelligent Machine Technology Co ltd filed Critical Guangzhou Chengzhi Intelligent Machine Technology Co ltd
Priority to CN202311440535.6A priority Critical patent/CN117575969B/zh
Publication of CN117575969A publication Critical patent/CN117575969A/zh
Application granted granted Critical
Publication of CN117575969B publication Critical patent/CN117575969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种红外图像画质增强方法、装置、电子设备及存储介质，方法包括：获取待处理的红外图像；将红外图像输入画质增强模型进行画质增强处理，获得第一图像；其中，画质增强模型基于配对的低画质图像和高画质图像训练生成；画质增强模型包括依次连接的多层卷积层和U‑Net结构，U‑Net结构的输入包括画质增强模型的模型输入与多层卷积层的输出相加的结果；对第一图像进行边缘检测处理，得到掩码图；基于掩码图，对第一图像进行边缘加强，得到目标图像。本发明通过多层卷积层和U‑Net结构的画质增强模型进行初步画质增强，进而结合边缘检测处理和边缘加强，进一步增强边缘细节，本发明能够有效增强红外图像的画质，可广泛应用于图像处理技术领域。

Description

一种红外图像画质增强方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其是一种红外图像画质增强方法、装置、电子设备及存储介质。
背景技术
由于红外图像相对可见光图像细节较少，导致物体边缘模糊。即使是红外图像，依旧像可见光图像一样存在噪点问题，严重影响观感，因此需要一种画质增强算法对红外图像进行处理，以提高用户观感。
目前主流的画质增强算法，大模型效果好，但推理速度慢，无法在边缘设备上达到实时处理；小模型推理速度快，但其成像效果差，无法达到画质增强的目的。
发明内容
有鉴于此，本发明实施例提供一种红外图像画质增强方法、装置、电子设备及存储介质，能够有效增强红外图像的画质。
一方面，本发明的实施例提供了一种红外图像画质增强方法，包括：
获取待处理的红外图像；
将红外图像输入画质增强模型进行画质增强处理，获得第一图像；
其中，画质增强模型基于配对的低画质图像和高画质图像训练生成；画质增强模型包括依次连接的多层卷积层和U-Net结构，U-Net结构的输入包括画质增强模型的模型输入与多层卷积层的输出相加的结果；
对第一图像进行边缘检测处理，得到掩码图；
基于掩码图，对第一图像进行边缘加强，得到目标图像。
可选地，方法还包括：
基于配对的低画质图像和高画质图像，创建画质增强模型。
可选地，基于配对的低画质图像和高画质图像，创建画质增强模型，包括：
获取低画质图像，对低画质图像进行去噪处理和去模糊处理，得到与低画质图像配对的高画质图像；
基于多层卷积层和U-Net结构配置初始模型；
通过初始模型得到低画质图像的增强结果；
根据增强结果和高画质图像得到增强损失值，根据增强损失值对初始模型的参数进行调整，得到训练完成的画质增强模型。
可选地，基于多层卷积层和U-Net结构配置初始模型，包括：
基于面向边缘的卷积块构建多层卷积层；
基于多层卷积层和U-Net结构配置初始模型，结合残差连接配置初始模型；其中，残差连接的连接部分包括模型输入和多层卷积层的输出。
可选地，通过初始模型得到低画质图像的增强结果，包括：
将低画质图像转化为YUV格式，获得第一YUV图像；
对第一YUV图像进行切片处理，得到若干相同尺寸的第二YUV图像；
将各个第二YUV图像的Y通道数据输入初始模型，得到对应的若干输出结果；
对各个输出结果进行拼接处理，获得增强结果。
可选地，根据增强结果和高画质图像得到增强损失值，包括：
根据增强结果和高画质图像，通过损失函数得到增强损失值；
其中，损失函数包括峰值信噪比损失函数和结构相似度损失函数，增强损失值包括峰值信噪比损失值和结构相似度损失值。
可选地，基于掩码图，对第一图像进行边缘加强，得到目标图像，包括：
对掩码图进行取反处理，获得反掩码图；
将第一图像与掩码图相乘，得到第二图像；
将第一图像与反掩码图相乘，得到第三图像；
将第二图像和第三图像相加，得到目标图像。
另一方面，本发明的实施例提供了一种红外图像画质增强装置，包括：
第一模块，用于获取待处理的红外图像；
第二模块，用于将红外图像输入画质增强模型进行画质增强处理，获得第一图像；
其中，画质增强模型基于配对的低画质图像和高画质图像训练生成；画质增强模型包括依次连接的多层卷积层和U-Net结构，U-Net结构的输入包括画质增强模型的模型输入与多层卷积层的输出相加的结果；
第三模块，用于对第一图像进行边缘检测处理，得到掩码图；
第四模块，用于基于掩码图，对第一图像进行边缘加强，得到目标图像。
可选地，装置还包括：
第五模块，用于基于配对的低画质图像和高画质图像，创建画质增强模型。
另一方面，本发明的实施例提供了一种电子设备，包括处理器以及存储器；
存储器用于存储程序；
处理器执行程序实现如前面的方法。
另一方面，本发明的实施例提供了一种计算机可读存储介质，存储介质存储有程序，程序被处理器执行实现如前面的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明实施例首先获取待处理的红外图像；将红外图像输入画质增强模型进行画质增强处理，获得第一图像；其中，画质增强模型基于配对的低画质图像和高画质图像训练生成；画质增强模型包括依次连接的多层卷积层和U-Net结构，U-Net结构的输入包括画质增强模型的模型输入与多层卷积层的输出相加的结果；对第一图像进行边缘检测处理，得到掩码图；基于掩码图，对第一图像进行边缘加强，得到目标图像。本发明实施例通过包含多层卷积层和U-Net结构的画质增强模型进行初步画质增强，进而结合边缘检测处理和边缘加强，进一步增强图像边缘细节。本发明实施例能够有效增强红外图像的画质。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种红外图像画质增强方法的流程示意图；
图2为本发明实施例提供的低画质图像示例的示意图；
图3为本发明实施例提供的高画质图像示例的示意图；
图4为本发明实施例提供的原始ECBSR模型的结构示意图；
图5为本发明实施例提供的基于ECBSR模型修改后的模型结构示意图；
图6为本发明实施例提供的ECB的结构示意图；
图7为本发明实施例提供的红外图像原图示例的示意图；
图8为本发明实施例提供的第一图像示例的示意图；
图9为本发明实施例提供的红外图像原图示例的局部放大图；
图10为本发明实施例提供的第一图像示例的局部放大图；
图11为本发明实施例提供的掩码图示例的示意图；
图12为本发明实施例提供的反掩码图示例的示意图；
图13为本发明实施例提供的强边缘图示例的示意图；
图14为本发明实施例提供的剔除强边缘的示例图；
图15为本发明实施例提供的目标图像示例的示意图；
图16为本发明实施例提供的一种红外图像画质增强装置的结构示意图；
图17为本发明实施例提供的一种电子设备的框架示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一方面，如图1所示，本发明的实施例提供了一种红外图像画质增强方法，包括：
S100、获取待处理的红外图像；
S200、将红外图像输入画质增强模型进行画质增强处理，获得第一图像；
其中，画质增强模型基于配对的低画质图像和高画质图像训练生成；画质增强模型包括依次连接的多层卷积层和U-Net结构，U-Net结构的输入包括画质增强模型的模型输入与多层卷积层的输出相加的结果；
需要说明的是，一些实施例中，方法还可以包括：基于配对的低画质图像和高画质图像，创建画质增强模型。
其中，一些实施例中，基于配对的低画质图像和高画质图像，创建画质增强模型，包括：获取低画质图像，对低画质图像进行去噪处理和去模糊处理，得到与低画质图像配对的高画质图像；基于多层卷积层和U-Net结构配置初始模型；通过初始模型得到低画质图像的增强结果；根据增强结果和高画质图像得到增强损失值，根据增强损失值对初始模型的参数进行调整，得到训练完成的画质增强模型。其中，去噪处理和去模糊处理可以通过微调的超分算法real-esrgan实现，具体将real-esrgan的输出倍数由四倍改为一倍。
示例性地，一些具体实施例中，用于模型训练的低画质图像和高画质图像的数据集(训练集)可以通过如下步骤制作：考虑到画质增强的算法训练过程需要配置低画质图像和高画质图像进行配对训练，但现实中此图像对难以采集，通常只能采集到低画质图像。通过调研发现，目前主流的超分算法real-esrgan在实现超分的同时也达到画质增强的目的，即去噪和去模糊功能。因此本发明中，模型算法训练的高画质图像，由采集的低画质图像经过微调的real-esrgan算法生成，同时人为筛选感官上画质存在提升的图像对。real-esrgan微调过程如下：保证其原始模型结构和训练方法不变，只修改模型输出图像倍数，由四倍改为一倍，即舍去超分功能，只保留去噪和去模糊功能。其中，采集的低画质图像示例如图2所示，对图2所示的低画质图像进行去噪和去模糊后得到的高画质图像示例如图3所示。
一些实施例中，基于多层卷积层和U-Net结构配置初始模型，可以包括：基于面向边缘的卷积块构建多层卷积层；基于多层卷积层和U-Net结构配置初始模型，结合残差连接配置初始模型；其中，残差连接的连接部分包括模型输入和多层卷积层的输出。
示例性地，一些具体实施例中，关于初始模型及画质增强模型的算法设计可以通过如下步骤实现：考虑到大模型无法在边缘设备上适用，因此本发明采用小模型进行部署，具体采用ECBSR算法/模型，ECBSR原本是用于图像超分算法，且提取特征能力相较于同等计算复杂度的算法更为优越，因此本发明将其用于画质增强。原算法设计由于图像超分辨率算法，并不适用于画质增强算法，因此本发明对ECBSR进行了改进工作。其具体实施如下：
(1)移除pixel shuffle结构，该结构是一种上采样结构，通常用户超分辨率中的图像放大操作，但该方法会引入画质模糊问题，因此舍弃；
(2)引入U-net结构替换pixel shuffle结构，U-net结构在提取细粒度特征上效果较好，可保证像素级的画质增强目的；
(3)由于算法部署于边缘设备，同时引入了U-net结构，考虑到计算量的问题，因此移除部分卷积模块。其中，模型修改前后对比如图4(原始ECBSR模型)和图5(修改后本发明实施例应用的模型结构)。原始ECBSR模型的卷积层(图4中Conv3×3)和修改后本发明实施例应用的模型结构的卷积层(图5中Conv3×3)均应用到面向边缘的卷积块(ECB)，ECB的结构如图6所示，ECB可以更高效地提取图像的纹理信息和边缘信息，以便更好地完成SR任务，在训练时本文训练ECB的参数，但是在推理时，可以将ECB结构重参数化成一个3x3的卷积，提高推理速度。
一些实施例中，通过初始模型得到低画质图像的增强结果，可以包括：将低画质图像转化为YUV格式，获得第一YUV图像；对第一YUV图像进行切片处理，得到若干相同尺寸的第二YUV图像；将各个第二YUV图像的Y通道数据输入初始模型，得到对应的若干输出结果；对各个输出结果进行拼接处理，获得增强结果。
示例性地，一些具体实施例中，模型的训练过程可以通过如下步骤实现：首先加载数据集，加载低画质图像和相对应的高画质图像，并将其都转为YUV格式(YUV是编译true-color颜色空间(color space)的种类，Y'UV,YUV,YCbCr，YPbPr等专有名词都可以称为YUV，彼此有重叠。“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色)，由于画质增强过程中，U，V维度数据属于无效数据，因此算法只输入Y通道数据，且该方法可减少模型计算量，降低内存占用。同时考虑到本发明方法中的算法输入和输出大小一致，为进一步降低内存占用，训练阶段，图像输入算法之前，对低画质图像进行切片处理，将其划分为3*3的网格，接着将低画质网格输入至模型中，输入图像大小为原始图像的1/9大小，最后将模型输出结果重新进行拼接，得到算法处理结果(即增强结果)。
一些实施例中，根据增强结果和高画质图像得到增强损失值，可以包括：根据增强结果和高画质图像，通过损失函数得到增强损失值；其中，损失函数包括峰值信噪比损失函数和结构相似度损失函数，增强损失值包括峰值信噪比损失值和结构相似度损失值。
示例性地，一些具体实施例中，通过将算法处理结果与高画质图像进行损失计算得到增强损失值，进而可以通过如反向传播的方式进行模型的参数调整；其中，本发明方法的损失函数包括峰值信噪比损失函数和结构相似度损失函数。
S300、对第一图像进行边缘检测处理，得到掩码图；
S400、基于掩码图，对第一图像进行边缘加强，得到目标图像；
需要说明的是，一些实施例中，步骤S400可以包括：对掩码图进行取反处理，获得反掩码图；将第一图像与掩码图相乘，得到第二图像；将第一图像与反掩码图相乘，得到第三图像；将第二图像和第三图像相加，得到目标图像。
示例性地，一些具体实施例中，由于改进后的ECBSR算法计算复杂度仍然很低，其提取特征能力有限，因此针对某些场景效果很好，但对某些场景存在涂抹痕迹，丢失纹理特征，如图7、图8、图9和图10所示，其中，图7为红外图像原图示例，图8为第一图像示例，图9为图7左上角处方框的放大图，图9中方框展示红外图像的边缘细节，图10为图8左上角处方框的放大图，图10中方框展示红外图像的边缘细节(相较于图9缺失纹理特征)。
鉴于此，本发明通过步骤S300和S400的流程方法实现达到无损画质增强的目的，示例性地，一些具体实施例中，步骤S300和S400的流程方法可以通过如下步骤实现：
为解决纹理特征丢失的问题，本发明实施例设计了一种结合canny边缘检测的画质改进方法。经过测试发现，当canny算法检测到边缘的部分，本发明实施例中的深度学习算法处理效果较好，没有检测到边缘的部分，深度学习算法处理往往存在涂抹痕迹，降低画质。因此本发明实施例将canny边缘检测与深度学习算法相结合，达到无损画质增强的目的。其具体实施如下：
(1)首先利用canny边缘检测算法对原始图像进行边缘提取，得到掩码图(如图11所示，白色像素为1，黑色像素为0)；
(2)将掩码图取反(黑白像素反转)，得到反掩码图(如图12所示，白色像素为0，黑色像素为1)；
(3)将原图与掩码图相乘，只保留图像增强的强边缘，强边缘图示例如图13所示；
(4)将原图与反掩码图相乘，剔除原图的强边缘，剔除强边缘后的图示例如图14所示；
(5)将(3)与(4)生成图的进行相加，得到最终效果图(即目标图像，示例如图15所示)。
为详细说明本发明实施例的技术原理，下面结合附图和一些具体实施例对本发明实施例的画质增强模型的训练以及应用原理的数据逻辑的整体流程作进一步说明，应当理解的是，下述为对本发明的解释，不能看做对本发明的限制。
首先需要说明的是，由于无人机通常飞行高度较高，距离拍摄目标较远，因此往往存在对焦不准的问题，且红外图像相对可见光图像细节较少，导致物体边缘模糊。即使是红外图像，依旧像可见光图像一样存在噪点问题，严重影响观感。鉴于此，本发明实施例通过如下流程原理实现红外图像画质增强：
1、数据集制作：考虑到画质增强的算法训练过程需要配置低画质图像和高画质图像进行配对训练，但现实中此图像对难以采集，通常只能采集到低画质图像。通过调研发现，目前主流的超分算法real-esrgan在实现超分的同时也达到画质增强的目的，即去噪和去模糊功能。因此本发明中，算法训练的高画质图像，由采集的低画质图像经过微调的real-esrgan算法生成，同时人为筛选感官上画质存在提升的图像对。real-esrgan微调过程如下：保证其原始模型结构和训练方法不变，只修改模型输出图像倍数，由四倍改为一倍，即舍去超分功能，只保留去噪和去模糊功能。其中，采集的低画质图像示例如图2所示，对图2所示的低画质图像进行去噪和去模糊后得到的高画质图像示例如图3所示。
2、算法设计：考虑到大模型无法在边缘设备上适用，因此本发明采用小模型进行部署，具体采用ECBSR算法/模型，ECBSR原本是用于图像超分算法，且提取特征能力相较于同等计算复杂度的算法更为优越，因此本发明将其用于画质增强。原算法设计由于图像超分辨率算法，并不适用于画质增强算法，因此本发明对ECBSR进行了改进工作。其具体实施如下：
(1)移除pixel shuffle结构，该结构是一种上采样结构，通常用户超分辨率中的图像放大操作，但该方法会引入画质模糊问题，因此舍弃；
(2)引入U-net结构替换pixel shuffle结构，U-net结构在提取细粒度特征上效果较好，可保证像素级的画质增强目的；
(3)由于算法部署于边缘设备，同时引入了U-net结构，考虑到计算量的问题，因此移除部分卷积模块。其中，模型修改前后对比如图4(原始ECBSR模型)和图5(修改后本发明实施例应用的模型结构)。其中，LR和HR分别表示模型的输入和输出。原始ECBSR模型的卷积层(图4中Conv3×3)和修改后本发明实施例应用的模型结构的卷积层(图5中Conv3×3)均应用到面向边缘的卷积块(ECB)，ECB的结构如图6所示，ECB可以更高效地提取图像的纹理信息和边缘信息，以便更好地完成SR任务，在训练时本文训练ECB的参数，但是在推理时，可以将ECB结构重参数化成一个3x3的卷积，提高推理速度。
3、算法训练：首先加载数据集，加载低画质图像和相对应的高画质图像，并将其都转为YUV格式(YUV是编译true-color颜色空间(color space)的种类，Y'UV,YUV,YCbCr，YPbPr等专有名词都可以称为YUV，彼此有重叠。“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色)，由于画质增强过程中，U，V维度数据属于无效数据，因此算法只输入Y通道数据，且该方法可减少模型计算量，降低内存占用。同时考虑到本发明方法中的算法输入和输出大小一致，为进一步降低内存占用，训练阶段，图像输入算法之前，对低画质图像进行切片处理，将其划分为3*3的网格，接着将低画质网格输入至模型中，输入图像大小为原始图像的1/9大小，最后将模型输出结果重新进行拼接，得到算法处理结果(即增强结果)。将算法处理结果与高画质图像进行损失计算，本发明的损失函数包括峰值信噪比损失函数和结构相似度损失函数。
4、解决“油画现象”，由于改进后的ECBSR算法计算复杂度仍然很低，其提取特征能力有限，因此针对某些场景效果很好，但对某些场景存在涂抹痕迹，丢失纹理特征，如图7、图8、图9和图10所示，其中，图7为红外图像原图示例，图8为第一图像示例，图9为图7左上角处方框的放大图，图9中方框展示红外图像的边缘细节，图10为图8左上角处方框的放大图，图10中方框展示红外图像的边缘细节(相较于图9缺失纹理特征)。
为解决此问题，本发明通过步骤S300和S400的流程方法实现达到无损画质增强的目的，示例性地，一些具体实施例中，步骤S300和S400的流程方法可以通过如下步骤实现：
为解决纹理特征丢失的问题，本发明实施例设计了一种结合canny边缘检测的画质改进方法。经过测试发现，当canny算法检测到边缘的部分，本发明实施例中的深度学习算法处理效果较好，没有检测到边缘的部分，深度学习算法处理往往存在涂抹痕迹，降低画质。因此本发明实施例将canny边缘检测与深度学习算法相结合，达到无损画质增强的目的。其具体实施如下：
(1)首先利用canny边缘检测算法对原始图像进行边缘提取，得到掩码图(如图11所示，白色像素为1，黑色像素为0)；
(2)将掩码图取反(黑白像素反转)，得到反掩码图(如图12所示，白色像素为0，黑色像素为1)；
(3)将原图与掩码图相乘，只保留图像增强的强边缘，强边缘图示例如图13所示；
(4)将原图与反掩码图相乘，剔除原图的强边缘，剔除强边缘后的图示例如图14所示；
(5)将(3)与(4)生成图的进行相加，得到最终效果图(即目标图像，示例如图15所示)。
综上所述，本发明实施例通过引入超分算法思想，用来做1:1画质增强，达到去噪和去模糊的效果；同时引入U-Net结构对ECBSR算法进行改进，更加注重细粒度特征提取，保证图像细节完整；并且，通过将边缘检测和深度学习算法相结合，对于强边缘部分利用深度学习算法增强，弱边缘部分则进行保留，达到无损画质增强的效果。
另一方面，如图16所示，本发明的实施例提供了一种红外图像画质增强装置500，包括：第一模块510，用于获取待处理的红外图像；第二模块520，用于将红外图像输入画质增强模型进行画质增强处理，获得第一图像；其中，画质增强模型基于配对的低画质图像和高画质图像训练生成；画质增强模型包括依次连接的多层卷积层和U-Net结构，U-Net结构的输入包括画质增强模型的模型输入与多层卷积层的输出相加的结果；第三模块530，用于对第一图像进行边缘检测处理，得到掩码图；第四模块540，用于基于掩码图，对第一图像进行边缘加强，得到目标图像。
一些实施例中，装置还可以包括：第五模块，用于基于配对的低画质图像和高画质图像，创建画质增强模型。
本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
如图17所示，本发明实施例的另一方面还提供了一种电子设备600，包括处理器610以及存储器620；
存储器620用于存储程序；
处理器610执行程序实现如前面的方法。
本发明方法实施例的内容均适用于本电子设备实施例，本电子设备实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例的另一方面还提供了一种计算机可读存储介质，存储介质存储有程序，程序被处理器执行实现如前面的方法。
本发明方法实施例的内容均适用于本计算机可读存储介质实施例，本计算机可读存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行装置、装置或设备(如基于计算机的装置、包括处理器的装置或其他可以从指令执行装置、装置或设备取指令并执行指令的装置)使用，或结合这些指令执行装置、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行装置、装置或设备或结合这些指令执行装置、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (7)

1.一种红外图像画质增强方法，其特征在于，包括：
获取待处理的红外图像；
将所述红外图像输入画质增强模型进行画质增强处理，获得第一图像；
其中，所述画质增强模型基于配对的低画质图像和高画质图像训练生成；所述画质增强模型包括依次连接的多层卷积层和U-Net结构，所述U-Net结构的输入包括所述画质增强模型的模型输入与所述多层卷积层的输出相加的结果；
对所述第一图像进行边缘检测处理，得到掩码图；
基于所述掩码图，对所述第一图像进行边缘加强，得到目标图像；
所述基于所述掩码图，对所述第一图像进行边缘加强，得到目标图像，包括：
对所述掩码图进行取反处理，获得反掩码图；
将所述第一图像与所述掩码图相乘，得到第二图像；
将所述第一图像与所述反掩码图相乘，得到第三图像；
将所述第二图像和所述第三图像相加，得到所述目标图像；
其中，所述方法还包括：
基于配对的低画质图像和高画质图像，创建所述画质增强模型；
所述基于配对的低画质图像和高画质图像，创建所述画质增强模型，包括：
获取低画质图像，对所述低画质图像进行去噪处理和去模糊处理，得到与所述低画质图像配对的高画质图像；
基于所述多层卷积层和所述U-Net结构配置初始模型；
通过所述初始模型得到所述低画质图像的增强结果；
根据所述增强结果和所述高画质图像得到增强损失值，根据所述增强损失值对所述初始模型的参数进行调整，得到训练完成的所述画质增强模型。
2.根据权利要求1所述的一种红外图像画质增强方法，其特征在于，所述基于所述多层卷积层和所述U-Net结构配置初始模型，包括：
基于面向边缘的卷积块构建所述多层卷积层；
基于所述多层卷积层和所述U-Net结构配置初始模型，结合残差连接配置所述初始模型；其中，所述残差连接的连接部分包括模型输入和所述多层卷积层的输出。
3.根据权利要求1所述的一种红外图像画质增强方法，其特征在于，所述通过所述初始模型得到所述低画质图像的增强结果，包括：
将所述低画质图像转化为YUV格式，获得第一YUV图像；
对所述第一YUV图像进行切片处理，得到若干相同尺寸的第二YUV图像；
将各个所述第二YUV图像的Y通道数据输入所述初始模型，得到对应的若干输出结果；
对各个所述输出结果进行拼接处理，获得所述增强结果。
4.根据权利要求1所述的一种红外图像画质增强方法，其特征在于，所述根据所述增强结果和所述高画质图像得到增强损失值，包括：
根据所述增强结果和所述高画质图像，通过损失函数得到所述增强损失值；
其中，所述损失函数包括峰值信噪比损失函数和结构相似度损失函数，所述增强损失值包括峰值信噪比损失值和结构相似度损失值。
5.一种红外图像画质增强装置，其特征在于，包括：
第一模块，用于获取待处理的红外图像；
第二模块，用于将所述红外图像输入画质增强模型进行画质增强处理，获得第一图像；
其中，所述画质增强模型基于配对的低画质图像和高画质图像训练生成；所述画质增强模型包括依次连接的多层卷积层和U-Net结构，所述U-Net结构的输入包括所述画质增强模型的模型输入与所述多层卷积层的输出相加的结果；
第三模块，用于对所述第一图像进行边缘检测处理，得到掩码图；
第四模块，用于基于所述掩码图，对所述第一图像进行边缘加强，得到目标图像；
所述基于所述掩码图，对所述第一图像进行边缘加强，得到目标图像，包括：
对所述掩码图进行取反处理，获得反掩码图；
将所述第一图像与所述掩码图相乘，得到第二图像；
将所述第一图像与所述反掩码图相乘，得到第三图像；
将所述第二图像和所述第三图像相加，得到所述目标图像；
所述装置还包括：
第五模块，用于基于配对的低画质图像和高画质图像，创建所述画质增强模型；
所述基于配对的低画质图像和高画质图像，创建所述画质增强模型，包括：
获取低画质图像，对所述低画质图像进行去噪处理和去模糊处理，得到与所述低画质图像配对的高画质图像；
基于所述多层卷积层和所述U-Net结构配置初始模型；
通过所述初始模型得到所述低画质图像的增强结果；
根据所述增强结果和所述高画质图像得到增强损失值，根据所述增强损失值对所述初始模型的参数进行调整，得到训练完成的所述画质增强模型。
6.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1至4中任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至4中任一项所述的方法。
CN202311440535.6A 2023-10-31 2023-10-31 一种红外图像画质增强方法、装置、电子设备及存储介质 Active CN117575969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311440535.6A CN117575969B (zh) 2023-10-31 2023-10-31 一种红外图像画质增强方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311440535.6A CN117575969B (zh) 2023-10-31 2023-10-31 一种红外图像画质增强方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117575969A CN117575969A (zh) 2024-02-20
CN117575969B true CN117575969B (zh) 2024-05-07

Family

ID=89883435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311440535.6A Active CN117575969B (zh) 2023-10-31 2023-10-31 一种红外图像画质增强方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117575969B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581379A (zh) * 2019-09-30 2021-03-30 华为技术有限公司 图像增强方法以及装置
CN113284055A (zh) * 2021-03-18 2021-08-20 华为技术有限公司 一种图像处理的方法以及装置
CN114390307A (zh) * 2021-12-28 2022-04-22 广州虎牙科技有限公司 图像画质增强方法、装置、终端及可读存储介质
CN116894801A (zh) * 2023-07-19 2023-10-17 广州虎牙科技有限公司 图像画质增强方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581379A (zh) * 2019-09-30 2021-03-30 华为技术有限公司 图像增强方法以及装置
CN113284055A (zh) * 2021-03-18 2021-08-20 华为技术有限公司 一种图像处理的方法以及装置
CN114390307A (zh) * 2021-12-28 2022-04-22 广州虎牙科技有限公司 图像画质增强方法、装置、终端及可读存储介质
CN116894801A (zh) * 2023-07-19 2023-10-17 广州虎牙科技有限公司 图像画质增强方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN117575969A (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
Galdran Image dehazing by artificial multiple-exposure image fusion
US11055827B2 (en) Image processing apparatus and method
US11164295B2 (en) Methods and apparatus for enhancing optical images and parametric databases
JP6100744B2 (ja) 自動修復を用いたカラー文書画像セグメンテーション及び二値化
US9813614B2 (en) Method and system for analog/digital image simplification and stylization
US20150071530A1 (en) Image processing apparatus and method, and program
Xie et al. Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering
Xiong et al. Unsupervised low-light image enhancement with decoupled networks
CN108027961A (zh) 用于逆色调映射的方法和装置
DE112010003988T5 (de) Verfahren und System zur Transformation eines digitalen Bildes von einem Bild mitniedrigem Dynamikumfang (Low Dynamic Range, LDR) in ein Bild mit hohem Dynamikumfang (High Dynamic Range, HDR)
Liu et al. Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives
Ancuti et al. Image and video decolorization by fusion
US11887218B2 (en) Image optimization method, apparatus, device and storage medium
KR20200132682A (ko) 이미지 최적화 방법, 장치, 디바이스 및 저장 매체
JP5676610B2 (ja) 画像シーケンスの関心領域に基づくアーティファクト低減のためのシステム及び方法
CN114511449A (zh) 图像增强方法、装置及计算机可读存储介质
Wang et al. Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition
Hsieh et al. Variational contrast-saturation enhancement model for effective single image dehazing
CN110580696A (zh) 一种细节保持的多曝光图像快速融合方法
Tan et al. Low-light image enhancement with geometrical sparse representation
Yang et al. Correction of overexposure utilizing haze removal model and image fusion technique
CN117575969B (zh) 一种红外图像画质增强方法、装置、电子设备及存储介质
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System
Kaur et al. Image sharpening using basic enhancement techniques
AU2011200830B2 (en) Method, apparatus and system for modifying quality of an image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant