CN113256501B - 一种图像处理方法、存储介质及终端设备 - Google Patents

一种图像处理方法、存储介质及终端设备 Download PDF

Info

Publication number
CN113256501B
CN113256501B CN202010085273.6A CN202010085273A CN113256501B CN 113256501 B CN113256501 B CN 113256501B CN 202010085273 A CN202010085273 A CN 202010085273A CN 113256501 B CN113256501 B CN 113256501B
Authority
CN
China
Prior art keywords
image
processed
characteristic
feature
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010085273.6A
Other languages
English (en)
Other versions
CN113256501A (zh
Inventor
郑加章
刘阳兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202010085273.6A priority Critical patent/CN113256501B/zh
Publication of CN113256501A publication Critical patent/CN113256501A/zh
Application granted granted Critical
Publication of CN113256501B publication Critical patent/CN113256501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了一种图像处理方法、存储介质及终端设备，所述图像处理方法通过根据所述待处理图像以及待处理图像对应的参考图像，确定所述待处理图像的若干特征图像；并将所述待处理图像以及若干特征图像输入至经训练的第一网络模型，通过所述预设网络模型提取所述待处理图像对应的输出图像。本发明通过采用根据参考图像得到的待处理图像对应的若干特征图像，来增强待处理图像的图像细节，可以提高输出图像的信噪比并降低输出图像的噪声，进而提高了输出图像的图像质量。

Description

一种图像处理方法、存储介质及终端设备
技术领域
本发明涉及超声技术领域，特别涉及一种图像处理方法、存储介质及终端设备。
背景技术
随着科技的发展，依托于科技的摄像头技术已经越来越成熟，在日常生产和生活中，使用智能移动终端(如智能手机、平板电脑等)的内置摄像头进行拍照已经成为一种常态。因此，随着拍照的需求的常态化发展，如何更优的满足用户的拍照需求成为发展的主要方向，比如，满足用户在夜间、日间的多场场景中的清晰拍照需求。
在夜景或暗光条件下，由于低光子数和低信噪比的原因，相机获取的短曝光图像噪声较多，并且无法清晰对图像中的细节进行成像。目前为了弥补采集的图像无法清晰地对图像中每个细节呈现的问题，普遍采用硬件方法，例如，提高ISO，增大光圈，延长曝光时间和使用闪光灯等。然而在对采用硬件方法时，应然会存在相应的问题，例如，高ISO会放大噪声，降低信噪比；增加曝光时间虽然可以有效的增加光子数，但会因相机抖动或物体运动而引入模糊，闪光灯会造成光线不均匀且对中远景失效。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供一种图像处理方法、存储介质及终端设备。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种图像处理方法，其包括：
获取待处理图像，并获取所述待处理图像对应的参考图像；
根据所述待处理图像以及参考图像，确定所述待处理图像的若干特征图像；
将所述待处理图像以及若干特征图像输入至经训练的第一网络模型，通过所述第一网络模型提取所述待处理图像对应的输出图像。
所述图像处理方法，其中，所述待处理图像为环境光亮度低于预设亮度阈值的场景下的图像，所述参考图像为信噪比高于所述待处理图像的信噪比的图像，其中，所述待处理图像的拍摄场景与所述参考图像的拍摄场景相似性满足预设条件。
所述图像处理方法，其中，所述根据所述待处理图像以及参考图像，确定所述待处理图像的若干特征图像具体包括：
将所述待处理图像以及参考图像输入经训练的第二网络模型，通过所述第二网络模型输出待处理图像对应的若干第一特征图像，以及所述参考图像对应的若干第二特征图像，其中，所述若干第一特征图像与所述若干第二特征图像一一对应；
根据所述若干第一特征图像和若干第二特征图像确定所述待处理图像对应的若干特征图像。
所述图像处理方法，其中，所述根据所述若干第一特征图像和若干第二特征图像确定所述待处理图像对应的若干特征图像具体包括：
分别按照预设规则将所述若干第一特征图像和若干第二特征图像进行划分，以得到各第一特征图像对应的第一图像块集以及各第二特征图像对应的第二图像块集；
对于每个第一图像块集中的每个第一图像块，在该第一图像块集对应的第二图像块集中查找该第一图像块对应的第二图像块；
根据查找到的所有第二图像块生成该第一特征图像对应的特征图像，其中，该第一特征图像为该第一图像块集对应的第一特征图像。
所述图像处理方法，其中，所述在该第一图像块集对应的第二图像块集中查找该第一图像块对应的第二图像块具体包括：
对于该第一图像块集对应的第二图像块集中每个第二图像块，计算该第二图像块与该第一图像块的相似性；
根据计算的所有相似性确定该第一图像块对应的第二图像块。
所述图像处理方法，其中，所述第二网络模型的训练过程具体包括：
基于预设的训练样本集对第三网络模型进行训练，其中，所述第三网络模型包括图像特征提取模块，所述训练样本集包括多组训练图像组，每组训练图像组包括训练图像和以及所述训练图像对应的正常图像；
当所述第三网络模型训练完成后，去除所述第三网络模型中的图像特征提取模块后的所有网络层，以得到经训练的第二网络模型。
所述图像处理方法，其中，所述第一网络模型包括编码模块、非线性处理模块以及解码模块；所述将所述待处理图像以及若干特征图像输入至经训练的第一网络模型，通过所述预设网络模型提取所述待处理图像对应的输出图像具体包括：
将所述待处理图像输入至编码模块，通过所述编码模块输出所述待处理图像对应的第三特征图像；
将所述第三特征图像输入至非线性处理模块，通过所述非线性处理模块输出所述待处理图像对应的第四特征图像；
将所述第四特征图像以及所述若干特征图像输入至解码模块，通过所述解码模块输出所述待处理图像对应的输出图像。
所述图像处理方法，其中，所述解码模块包括依次堆叠的若干解码单元，所述若干解码单元中除最后一解码单元外的各解码单元均包括解码子单元以及融合子单元；所述将所述第四特征图像以及所述若干特征图像输入至解码模块，通过所述解码模块输出所述待处理图像对应的输出图像具体包括：
将所述第四特征图像作为目标特征图像，并将若干解码单元中第一解码单元作为目标解码单元；
将目标特征图像输入至目标解码单元，并通过目标解码单元的解码子单元提取所述目标特征图像对应的第五特征图像，并通过目标解码单元的融合子单元将所述第五特征图像与所述第五特征图像对应的特征图像进行融合以得到第六特征图像，其中，所述特征图像的图像尺度与所述第五特征图像的图像尺度相同；
将所述第六特征图像作为目标特征图像，所述目标解码单元后一解码单元作为目标解码单；
继续执行将目标特征图像输入至目标解码单元的步骤，直至最后一个解码单元，并通过最后一个解码单元得到所述待处理图像对应的输出图像。
所述图像处理方法，其中，所述获取待处理图像，并获取所述待处理图像对应的参考图像之后包括：
分别对所述待处理图像以及所述参考图像进行预处理，并将预处理后的待处理图像作为待处理图像，以及将预处理后的参考图像作为参考图像。
所述图像处理方法，其中，所述将所述待处理图像以及若干特征图像输入至经训练的第一网络模型，通过所述预设网络模型提取所述待处理图像对应的输出图像之后包括：
对所述输出图像进行钳制以及拉伸处理，并将钳制以及拉伸处理后的输出图像作为所述待处理图像对应的输出图像。
一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像处理方法中的步骤。
一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的图像处理方法中的步骤。
有益效果：与现有技术相比，本发明提供了一种图像处理方法、存储介质及终端设备，所述图像处理方法通过根据述待处理图像以及待处理图像对应的参考图像，确定所述待处理图像的若干特征图像；并将所述待处理图像以及若干特征图像输入至经训练的第一网络模型，通过所述第一网络模型提取所述待处理图像对应的输出图像。本发明通过采用根据参考图像得到的待处理图像对应的若干特征图像，来增强待处理图像的图像细节，可以提高输出图像的信噪比并降低输出图像的噪声，进而提高了输出图像的图像质量。
附图说明
图1为本发明提供的图像处理方法的流程图。
图2为本发明提供的图像处理方法中第三网络模型的结构示意图。
图3为本发明提供的图像处理方法中第一网络模型的结构示意图。
图4为本发明提供的终端设备的结构原理图。
具体实施方式
本发明提供一种图像处理方法、存储介质及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本实施例提供了一种图像处理方法，该方法可以应用具有前置摄像或者后置摄像功能的电子设备，所述电子设备可以以各种形式来实现。例如，手机、平板电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)等。另外，该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。
如图1所示，本实施提供了一种图像处理方法，所述方法可以包括以下步骤：
S10、获取待处理图像，并获取所述待处理图像对应的参考图像。
具体地，所述待处理图像和所述参考图像均可以为直接通过配置有成像器的电子设备拍摄的图像，也均可以是通过外部设备发送的图像，还均可以是通过网络(例如，百度等)下载的图像等。当然，所述待处理图像和所述参考图像的获取方式也可以不同，例如，所述待处理图像是直接通过配置有成像器的电子设备拍摄的图像，所述参考图像为通过外部设备发送的图像。
进一步，所述参考图像的第一拍摄场景与待处理图像的第二拍摄场景相同，其中，所述第一拍摄场景与第二拍摄场景相同指的是第一拍摄场景与第二拍摄场景的相似性满足预设条件，例如，所述相似性大于预设相似性阈值(例如，50％等)。由此，在本实施例的一个可能实现方式中，所述待处理图像和参考图像可以是通过连拍功能对同一拍摄场景进行连拍而得到两个图像，其中，在对同一拍摄场景进行连拍时，可以同时获取到若干连续图像，在若干连续图像中选取一张待处理图像，以及一张参考图像。例如，选取若干图像中的第一张图像作为待处理图像，在若干图像的其余图像中选取一张图像作为参考图像，其中，所述参考图像的信噪比高于待处理图像的信噪比。
进一步，在本实施例的一个实现方式中，所述待处理图像为环境光亮度低于预设亮度阈值的场景下拍摄的图像，所述参考图像可以为该拍摄场景拍摄得到的信噪比高于待处理图像的信噪比的图像。其中，所述预设亮度阈值为预先设置的，当环境光亮度低于预设亮度阈值时，可以确定所述环境光亮度对应的拍摄场景为夜景或者暗光场景。可以理解的是，所述待处理图像可以为暗光条件下拍摄得到的图像。此外，由于通过长曝光可以使得图像携带较少的噪音，从而所述参考图像可以为暗光条件下拍摄的长曝光图像，其中，并且所述待处理图像和所述参考图像均为bayer格式图像，其中，所述bayer格式图像中绿色像素的数量为红色像素的数量与蓝色像素的数量和。当然，在实际应用中，所述参考图像也可以为正常光条件下拍摄得到的图像。
S20、根据所述待处理图像以及参考图像，确定所述待处理图像的若干特征图像。
具体地，所述若干特征图像为根据所述待处理图像和所述参考图像得到，并且若干特征图像的图像尺度不同，即对于若干特征图像中的每一张特征图像，该特征图像的图像尺度与若干特征图像中其余特征图像的图像尺度均不相同。例如，所述特征图像的数量为4张，分别记为特征图像A、特征图像B、特征图像C以及特征图像D，特征图像A的图像尺度为128*128*16、特征图像B的图像尺度为64*64*32、特征图像C的图像尺度为32*32*64以及特征图像D的图像尺度为16*16*128。
进一步，在本实施例的一个实现方式中，所述根据所述待处理图像以及参考图像，确定所述待处理图像的若干特征图像具体包括：
S21、将所述待处理图像以及参考图像输入经训练的第二网络模型，通过所述第二网络模型输出待处理图像对应的若干第一特征图像，以及所述参考图像对应的若干第二特征图像，其中，所述若干第一特征图像与所述若干第二特征图像一一对应；
S22、根据所述若干第一特征图像和若干第二特征图像确定所述待处理图像对应的若干特征图像。
具体地，在所述步骤S21中，所述若干第一特征图像为将待处理图像输入至经训练的第二网络模型，通过第二网络模型输出的若干第一特征图像，并且各第一特征图像的图像尺度不同；所述若干第二特征图像为将参考图像输入至经训练的第二网络模型，通过第二网络模型输出的若干第二特征图像，并且第二特征图像的图像尺寸不同。由此，若干第一特征图像的图像数量与若干第二特征图像的图像数量相等，若干第一特征图像与若干第二特征图像一一对应，并且第一特征图像与其对应的第二特征图像的图像尺度相同。例如，第一特征图像的图像尺度为64*64*32，那么该第一特征图像对应的第二特征图像的图像尺度也有64*64*32。
进一步，所述第二网络模型为通过采用训练图像以及训练图像对应的正常图像进行训练得到，其中，所述训练图像为环境光亮度低于预设亮度阈值的场景下，拍摄的曝光时长低于预设曝光时长的图像，所述正常图像可以为环境光亮度低于预设亮度阈值的场景下，拍摄的曝光时长大于预设曝光时长的图像，也可以为环境光亮度等于预设亮度阈值的场景下，拍摄的曝光时长等于预设曝光时长的图像，其中，所述正常图像对应的拍摄场景与训练图像对应的拍摄场景相同，即正常图像和训练图像为在同一拍摄场景下拍摄得到一组图像对，其中，所述训练图像为bayer格式图像，正常图像为RGB格式图像。由此，在本实施例的一个可能实现方式中，所述训练图像为暗光条件下对一拍摄场景进行拍摄得到的短曝光图像，正常图像为暗光条件下对该拍摄场景进行拍摄得到长曝光图像，其中，短曝光指的是相机为了实时性在较短时间内拍照所需要的曝光时间，长曝光指的是希望获取理想图像所需要的曝光时间。例如，所述训练图像和以及所述训练图像对应的正常图像均为采用Sonya7s2单反相机对暗光条件下同一拍摄场景进行数据采集得到的图像，所述训练图像的曝光时间为0.1s，正常图像的曝光时间为10s。此外，在本实施例的另一个实现方式中，所述训练图像为暗光条件下对一拍摄场景进行拍摄得到的短曝光图像，正常图像为正常光条件下对该拍摄场景进行拍摄得到图像。例如，所述训练图像可以采用Sony a7s2单反相机对暗光条件下一拍摄场景进行数据采集得到的图像，所述正常图像为采用Sony a7s2单反相机对正常光条件下盖拍摄场景进行拍摄采集得到的图像。
进一步，在采用训练图像以及训练图像对应的正常图像对第二网络模型进行训练前，可以相对所述训练图像进行预处理，并对所述正常图像进行归一化处理，这样通过预处理和归一化处理可以规范输入数据，提高第二网络模型的收敛速度。此外，在本实施例的一个可能实现方式中，所述预处理包括黑电平去除、归一化处理、颜色通道分离、放大处理和钳制处理等。
所述黑电平去除可以是将训练图像减去黑电平数值(例如，512)，以校正所述训练图像的数据偏差，避免训练图像的图像数据遭到摄像头中电信号的干扰。此外，所述归一化处理是将减去黑电平数值后的Bayer数据归一化至[0,1]之间，归一化方式采用min-max标准化方法，这样可以防止输入数据过大而使神经元输出饱和，以及减少误差反向传播过程中参数调整的巨大波动，方便神经网络快速的学习。其中，所述min-max的计算公式可以为：
Figure BDA0002381817080000091
其中，Xin为输入像素值，Xout为归一化后的像素值，min为最大像素值和max为最小像素值，min和max可以是根据训练图像确定，例如，当训练图像为采用的Sony相机采集的短曝光Bayer数据为14位数据时，min＝0，max＝16383-512。
进一步，所述训练图像为bayer图像，所述颜色通道分离为按照训练图像Bayer数据的颜色排列顺序将归一化后的Bayer数据提取分为4个颜色通道，例如，训练图像Bayer数据的颜色排列顺序为RGBG，则4个颜色通道分别存储RGBG数据。这样通过颜色通道分离可以使得相同颜色的数据分布能够连续，能够提高训练得到第二网络模型的效果。
进一步，所述放大处理是对颜色通道分离的训练图像乘以一个曝光系数，其中，该曝光系数为长曝光时间与短曝光时间的倍数，例如，某一单反相机在暗光环境下拍照成像的短曝光时间为0.1s，长曝光时间为10s，那么曝光系数可以为100。这样通过放大处理可以平衡输入数据和输出数据的亮度关系，减少差异，提高第二网络模型的训练速度。此外，所述钳制处理是将放大处理后的训练图像钳制到[0,1]之间，即将放大处理后的训练图像中大于1的数据全部置为1，这样可以防止图像过曝。
进一步，所述对正常图像进行归一化处理为将正常图像归一化至[0,1]之间，所述归一化方式可以采用min-max标准化方法。其中，min-max的计算公式为：
Figure BDA0002381817080000092
其中，Xin为输入像素值，Xout为归一化后的像素值，min为最大像素值和max为最小像素值，min和max以是根据正常图像确定，例如，正常图像为采用的Sony相机采集的长曝光RGB输出数据为8位数据，那么，min＝0，max＝255。
进一步，在本实施例的一个实现方式中，所述第二网络模型的训练过程可以为：
基于预设的训练样本集对第三网络模型进行训练；
当所述第三网络模型训练完成后，去除所述第三网络模型中的图像特征提取模块后的所有网络层，以得到经训练的第二网络模型。
具体地，所述训练样本集包括多组训练图像组，每组训练图像组包括训练图像和以及所述训练图像对应的正常图像。第三网络模型对应训练图像组中的训练图像和正常图像与用于训练第二网络模型的训练图像和正常图像，即将用于训练第二网络模型的训练样本集作为用于训练第三网络模型的训练样本集。由此，该训练样本集中每组训练图像组包括的训练图像为环境光亮度低于预设亮度阈值的场景下，拍摄的曝光时长低于预设曝光时长的图像，该训练图像组包括的正常图像为环境光亮度低于预设亮度阈值的场景下，拍摄的曝光时长大于预设曝光时长的图像，并且所述正常图像对应的拍摄场景与训练图像对应的拍摄参数相同，即正常图像和训练图像为在同一拍摄场景下拍摄得到一组图像对，其中，所述训练图像为bayer格式图像，正常图像为RGB格式图像。当然，在采用训练图像和正常图像对第三网络模型进行训练之前，同样对训练图像进行预处理以及对正常图像进行归一化处理，所述预处理过程和归一化处理过程与对用于训练第二网络模型的训练图像进行的预处理过程，以及对用于训练第二网络模型的正常图像的归一化处理过程相同，这里就不再一一说明，具体请参照上述预处理过程以及归一化过程的说明。
进一步，所述第三网络模型可以为Unet网络结构，所述Unet网络机构包括一个编码器、一个非线性处理层以及一个解码器。从而，所述第三网络模型包括编码器、非线性处理层以及解码器，其中，所述编码器用于对输入图像进行下采样，以得到该输入图像对应的特征图像，并且编码器包括的每个下采样单元均可以输出一张特征图像，并且各下采样单元输出的特征图像的图像尺度不同。故此，所述编码器为第三网络模型的图像特征提取模块，那么在对第三网络模型训练完成后，可以仅保留第三网络模型的编码器，将非线性处理层以及解码器去除(即将图像特征提取模型后的所有网络层去除)，这样就得到可以提取输入图像的多张不同尺寸特征图像的网络结构，并将该网络结构作为第二网络模型。也就是说，所述第二网络模型为由经训练的第三网络模型的编码器构成。
进一步，在本实施例的一个实现方式中，如图2所示，所述编码器包括若干下采样层，若干下采样层的数量与若干特征图像的图像数量相等，所述若干特征图像与若干下采样层一一对应，并且若干特征图像中每个特征图像均为其对应的下采样层的输出图像。所述编码器包括4个下采样层，分别记为第一下采样层、第二下采样层、第三下采样层以及第四下采样层；所述第一下采样层、第二下采样层、第三下采样层以及第四下采样层均包括两个卷积层和一个最大池化层，其中，每个卷积层的卷积核大小均为3*3，步长均为1，所述最大池化层的卷积核大小为2*2，步长为2。此外，所述第一下采样层、第二下采样层、第三下采样层以及第四下采样层的通道数分别为16,32,64以及128。
进一步，图2所示，所述非线性处理层可以包括两个卷积层，其中，每个卷积层的卷积核大小为卷积核大小均为3*3，步长均为1。所述解码器包括5个上采样层，分别记为第一上采样层、第二上采样层、第三上采样层、第四上采样层以及第五上采样层。所述第一上采样层、第二上采样层、第三上采样层以及第四上采样层均包括反卷积层、短连接层以及两个卷积层，其中，反卷积层的卷积核大小为2*2，步长为2，所述短连接层用于将反卷积的输出图像与相同通道数的下采样层中的输出图像进行合并，所述卷积层的卷积核大小为3*3，步长为1，其中，所述第一上采样层、第二上采样层、第三上采样层以及第四上采样层的通道数分别为128,64,32以及16。所述第五上采样层包括反卷积层，所述反卷积层的卷积核大小为2*2，步长为2。
进一步，在本实施例的一个实现方式中，在基于预设的训练样本集对第三网络模型进行训练时将预处理后的训练图像输入至第三网络模型，通过第三网络模型输出训练图像对应的预测图像，并基于所述预测图像以及训练图像对应的归一化处理后的正常图像确定训练图像对应的损失函数，在计算得到损失函数后，采用该损失函数进行误差反向传播来修正第三网络模型的网络参数。其中，损失函数为第三网络模型输出的预测图像与归一化处理后的正常图像之间的差异，并且在获取到损失函数后可以通过求导损失函数来得到第三网络模型的网络参数的修正值，再通过优化器的修正方式来第三网络模型的网络参数，直至训练满足预设条件(例如，训练次数达到预设阈值或者损失函数满足预设条件，其中，预设条件可以为预测图像与正常图像的差异低于预设阈值等)。此外，在本实施例的一个可能实现方式中，所述损失函数采用MS-SSIM损失函数和L1损失函数相结合，其中MS-SSIM损失函数的权重和L1损失函数的权重均为1，所述优化器采用Adam优化器训练。
进一步，在本实施例的一个实现方式中，所述第三网络模型的初始参数采用xavier初始化方式，采用初始化方式能够使得第三网络模型的训练得到更好的收敛。此外，所述神经网络中的激活函数均采用Leaky Relu激活函数，该激活函数能够解决Relu激活函数在存在梯度为0的问题。
进一步，由第二网络模型的训练过程可以得知，在将待处理图像和参考图像输入第二网络模型之前，可以对所述待处理图像和参考图像进行预处理，相应的，所述获取待处理图像，并获取所述待处理图像对应的参考图像之后包括：分别对所述待处理图像以及所述参考图像进行预处理，并将预处理后的待处理图像作为待处理图像，以及将预处理后的参考图像作为参考图像。此外，对待处理图像以及参考图像的预处理过程与对用于训练第二网络模型的训练图像的预处理过程相同，这里就不一一说明，具体可以参加对用于训练第二网络模型的训练图像的预处理过程的说明。此外，所述待处理图像对应的若干第一特征图像为将待处理图像输入第二网络模型中，第二网络模型中的各下采样层输出的特征图像，所述参考图像对应的若干第二特征图像为将参考图像输入第二网络模型中，第二网络模型中的各下采样层输出的特征图像。故此，若干第一特征图像的图像数量与若干第二特征图像的图像数量相等，若干第一特征图像与若干第二特征图像一一对应，并且第一特征图像与其对应的第二特征图像的图像尺度相同。
进一步，在所述步骤S22中，所述若干特征图像的图像数量与若干第一特征图像的图像数量相等，且若干特征图像与若干第一特征图像一一对应，其中，对于若干特征图像中的每一特征图像，该特征图像的图像尺度与其对应的第一特征图像的图像尺度相等。由此，在根据若干第一特征图像和若干第二特征图像确定若干特征图像可以为：对于若干第一特征图像中的每一第一特征图像，根据该第一特征图像以及该第一特征图像对应的第二特征图像确定该第一特征图像对应的特征图像，以得到若干特征图像。
在本实施例的一个实现方式中，所述根据所述若干第一特征图像和若干第二特征图像确定所述待处理图像对应的若干特征图像具体包括：
S221、分别按照预设规则将所述若干第一特征图像和若干第二特征图像进行划分，以得到各第一特征图像对应的第一图像块集以及各第二特征图像对应的第二图像块集；
S222、对于每个第一图像块集中的每个第一图像块，在该第一图像块集对应的第二图像块集中查找该第一图像块对应的第二图像块；
S223、根据查找到的所有第二图像块生成该第一特征图像对应的特征图像，其中，该第一特征图像为该第一图像块集对应的第一特征图像。
具体地，在所述步骤S221中，所述预设规则为预先设定的，用于划分第一特征图像和第二特征图像，其中，若干第一特征图像中的各第一特征图像和若干第二特征图像中的各第二特征图像均按照该预设规则进行划分。也就是说，所述分别按照预设规则将所述若干第一特征图像和若干第二特征图像进行划分指的是将若干第一特征图像和若干第二特征图像形成的图像集中的每一张图像，均按照按预设规则进行划分成若干图像块。由此，对于若干第一特征图像中的每一张第一特征图像，按照预设规则对该第一特征图像进行划分，可以得到若干第一图像块，并将划分得到的所有第一图像块形成的图像块集合作为第一图像块集，每个第一特征图像对应一个第一图像块集。相应的，若干第二特征图像中的每一张第二特征图像按照预设规则进行划分，可以得到该第二特征图像对应的第二图像块集。
进一步，所述若干第一特征图像与所述若干第二特征图像一一对应，那么划分得到的若干第一图像块集和划分得到的若干第二图像块集一一对应。此外，由第二网络模型的训练过程可以知道，若干第一特征图像的图像尺度互不相同，若干第二特征图像的图像尺度也互不相同，并且各第一特征图像与其对应的第二特征图像的图像尺度相同，从而各第一特征图像对应的第一图像块集中的第一图像块数量不同，各第二特征图像对应的第二图像块集中的第二图像块数量不同，并且各第一图像块集与其对应的第二图像块集中的图像块数量相同。
进一步，在本实施例的一个可能实现方式中，所述预设规则包括预设图像块的图像尺寸以及预设滑动步长。相应的，所述按照预设规则将第一特征图像划分为若干第一图像块为以按预设图像块的图像尺寸和预设滑动步长的滑动窗口将该第一特征图像进行分块，以得到若干第一图像块，当然，值得说明的各第一特征图像和各第二特征图像的按照预设规则划分的划分方式相同。此外，在本实施例的一个可能实现方式中，所述预设图像块的图像尺寸可以为3*3，预设滑动步长可以为1。
进一步，在所述步骤S222中，在所述对于每个第一图像块集中的每个第一图像块，在该第一图像块集对应的第二图像块集中查找该第一图像块对应的第二图像块中，该第一特征图像为第一图像块集对应的第一特征图像，所述第二图像块集对应的第二特征图像为该第一特征图像对应的第二特征图像。也就是说，对于第一图像块集中的每个图像块，在该第一图像块集对应的第二图像块集中查找该第一图像块对应的第二图像块，其中，所述第一图像块集与第二图像块集的对应关系是根据第一特征图像与第二特征图像的对应关系确定。
进一步，在本实施例的一个实现方式中，所述在该第一图像块集对应的第二图像块集中查找该第一图像块对应的第二图像块具体包括：
对于该第一图像块集对应的第二图像块集中每个第二图像块，计算该第二图像块与该第一图像块的相似性；
根据计算的所有相似性确定该第一图像块对应的第二图像块。
具体地，所述相似性为通过相似性运算得到，计算该第二图像块与该第一图像块的相似性指的是，通过相似性运算来确定第二图像块与第一图像块的相似性，其中，所述相似性运算可以为内积运算。也就是说，对于第一图像块集中的每一个第一图像块，分别计算该第一图形块与第一图像块集对应的第二图像块集中的每个第二图像块的相似性。此外，在计算得到各第二图像块对应的相似性后，根据所述相似性确定该第一图像块对应的第二图像块，其中，该第一图像块对应的第二图像块为第二图像块集中的一个图像块，该第二图像块集为该第一图像块所属第一图像块集对应的第二图像块集。
进一步，在本实施例的一个实现方式中，根据计算的所有相似性确定该第一图像块对应的第二图像块可以为根据相似性高低来确定第一图像块对应的第二图像块，例如，第二图像块为第二图像块集中与第一图像块相似性最高的第二图像块。当然，在实际应用中，第二图像块集中与第一图像块相似性最高的第二图像块可以为多个，当第二图像块集中与第一图像块相似性最高的第二图像块为多个时，可随机选区一个相似性最高的第二图像块的作为第一图像块对应的第二图像块，也可以采用平均法将多个第二图像块进行融合，以得到第一图像块对应的第二图像块，还可以采用加权平均的方法将多个第二图像块进行融合，以得到第一图像块对应的第二图像块。当然，值得说明的，根据根据计算的所有相似性确定的第一图像块对应的第二图像块的数量为1。
进一步，在所述步骤S223中，所述查找到所有第二图像块指的是根据各第一图像块对应的第二图像块，在确定第一图像块对应的第二图像块后，采用各第一图像块对应的第二图像块替换该第一图像块，以得到第一特征图像对应的特征图像。此外，当采用第二图像块替换其对应的第一图像块后，对于第二图像块与第二图像块的重合部分，采用平均法进行融合，并将融合后的得到图像作为重合部分的图像。由此，根据若干第一特征图像和若干第二特征图像确定的特征图像的图像数量与第一特征图像的数量相等，并且各特征图像与确定该特征图像的第一特征图像的图像尺度相同。
S30、将所述待处理图像以及若干特征图像输入至经训练的第一网络模型，通过所述预设网络模型提取所述待处理图像对应的输出图像。
具体地，所述第一网络模型基于预设训练样本集训练得到，预设训练样本集包括多组训练样本，每组训练样本均包括训练图像a、训练图像a对应的若干特征图像a，以及训练图像对应的正常图像a，所述若干特征图像a根据训练图像a以及训练图像a对应的参考图像a确定。此外，所述训练图像a与正常图像a的对应关系可以与用于训练第三网络模型的训练图像和正常图像对应关系相同，训练图像a与参考图像a的对应关系与上述待处理图像与其对应的参考图像的对应关系相同，这里均不在一一说明，具体请参照上述说明。当然，值得说明的是，训练样本中的训练图像a，与用于确定训练样本中的若干特征图像a的训练图像a为同一训练图像，也就是说，用于确定训练样本中的若干特征图像a的训练图像a为该训练样本中的训练图像a。同时，在训练第一网络模型之前，可以先训练第二网络模型，并且当第二网络模型训练完后，通过第二网络模型分别输出训练图像a对应的若干特征图像a以及训练图像a对应的参考图像a的若干特征图像b，最后根据若干特征图像a和若干特征图像b确定训练图像对应的若干特征图像a。
示例性地，在本实施例的一个可能实现方式中，用于训练第一网络模型的训练样本的确定过程可以为：获取训练图像a、训练图像a对应的参考图像a及训练图像a对应的正常图像a；分别将训练图像a以及参考图像a输入至经训练的第二网络模型，通过第二网络模型输入若干特征图像a以及若干特征图像b；根据若干特征图像a和若干特征图像b确定训练图像对应的若干特征图像a。
进一步，在本实施例的一个实现方式中，所述第一网络模型包括编码模块、非线性处理模块以及解码模块；所述将所述待处理图像以及若干特征图像输入至经训练的第一网络模型，通过所述预设网络模型提取所述待处理图像对应的输出图像具体包括：
将所述待处理图像输入至编码模块，通过所述编码模块输出所述待处理图像对应的第三特征图像；
将所述第三特征图像输入至非线性处理模块，通过所述非线性处理模块输出所述待处理图像对应的第四特征图像；
将所述第四特征图像以及所述若干特征图像输入至解码模块，通过所述解码模块输出所述待处理图像对应的输出图像。
具体地，所述编码模型用于输出待处理图像对应的第三特征图像，所述第三特征图像为将所述待处理图像输入至编码模块，通过编码模型输出的特征图像，其中，所述第三特征图像与通过第二网络模型输出的待处理图像对应的若干第一特征图像中一第一特征图像相对应，从而第三特征图像与待处理图像中一张特征图像对应。在本实施例的一个可能实现方式中，所述编码模块的网络结构与第二网络模型的网络结构相同，也就是说，所述编码模块为所述第三网络模型中的编码器，所述编码模型的网络结构与编码器的网络结构相同，具体可以参照第三网络模型中的编码器的说明，这里就不一一说明。当然，值得说明的是，在将第三网络模型的编码器作为第二网络模型时，第二网络模型的输出项为编码器中各下采样层的输出项形成的图像集，而将第三网络模型的编码器作为第一网络模型的编码模型时，所述编码模块输出的第三特征图像为编码器中最后一下采样层输出的输出项。由此，第三特征图像与待处理图像对应的若干特征图像中，根据第二网络模型包括的最后一个下采样层输出的第一特征图像确定的特征图像相对应，并且第三特征图像的图像尺度与该特征图像的图像尺度相同。此外，所述非线性处理模块位于所述编码模块与所述解码模块之间，并且所述编码模块与所述解码模块通过连接，其中，所述非线性处理模块的网络结构以及功能与第三网络模型中的非线性处理层的网络结构以及功能相同，这里就不再一一说明，具体可以参照第三网络模型中的非线性处理层的说明。
进一步，在本实施例的一个实现方式中，所述解码模块包括依次堆叠的若干解码单元，所述若干解码单元中除最后一解码单元外的各解码单元均包括解码子单元以及融合子单元。相应的，所述将所述第四特征图像以及所述若干特征图像输入至解码模块，通过所述解码模块输出所述待处理图像对应的输出图像具体包括：
将所述第四特征图像作为目标特征图像，并将若干解码单元中第一解码单元作为目标解码单元；
将目标特征图像输入至目标解码单元，并通过目标解码单元的解码子单元提取所述目标特征图像对应的第五特征图像，并通过目标解码单元的融合子单元将所述第五特征图像与所述第五特征图像对应的特征图像进行融合以得到第六特征图像，其中，所述特征图像的图像尺度与所述第五特征图像的图像尺度相同；
将所述第六特征图像作为目标特征图像，所述目标解码单元后一解码单元作为目标解码单；
继续执行将目标特征图像输入至目标解码单元的步骤，直至最后一个解码单元，并通过最后一个解码单元得到输出图像。
具体地，所述解码模块包括若干依次堆叠解码单元，若干解码单元中最后一个解码单元的网络结构与其余解码单元的网络结构不同，其中，其余解码单元的网络结构相同。这里为了便于说明，将其余解码单元集为第一解码单元，将最后一个解码单元集为第二解码单元，第一解码单元的数量与编码模块中下采样层的数量相等，并且若干第一解码单元与若干下采样层一一对应，各第一解码单元与其对应的下采样层通过短链接相连接，以使得各下采样层输出的特征图像可以通过短链接输入至其对应的第一解码单元。当然，值得说明的，各第一解码单元的通道数与其对应的下采样层的通道数相同。
进一步，所述第二解码单元包括反卷积层，通过该反卷积层输出待处理图像对应的输出图像。第一解码单元包括解码子单元以及融合子单元，其中，所述解码子单元均包括反卷积层、短连接层以及两个卷积层，所述融合单元包括3个ResNet残差模块组成，并且融合子单元的输入数据为该解码子单元中最后卷积层的输出结果与该输出结果对应尺度特征图像，所述融合子单元的输出数据为输出结果与该输出结果对应尺度特征图像的融合图，并将所述融合图最为下一第一解码单元的输入数据。这样可以通过该融合子单元与第二网络模型共同完成神经纹理迁移，可以将从参考图像中提取相似纹理特征迁移到待处理图像中，以丰富待处理图像的数据细节，进而提高输出图像的图像质量。
当然，值得说明的是，由于第一网络模型中的编码模块与第二网络模型的网络结构相同，从而编码模型中的各下采样层与第二网络模型中的各采样层一一对应，并且解码模块中的各第一解码单元与编码模块中的各下采样层一一对应，由此，输入第一网络模型的若干特征图像与各解码子单元输出的若干特征图像一一对应的。从而，解码子单元输出特征图像后，可以在输入的若干特征图像中找到其对应的特征图像，从而可以将最后卷积层的输出结果与该输出结果对应尺度特征图像作为融合子单元的输入数据。
进一步，在本实施例的一个实现方式中，如图3所示，所述编码模块包括四个下采样层，各下采样层的通达数分别为16,32,64以及128。相应的，所述解码器包括5个解码单元，分别记为解码单元a、解码单元b、解码单元c、解码单元d以及解码单元e。所述解码单元a、解码单元b、解码单元c、解码单元d为第一解码单元，其中，各第一解码单元中的反卷积层的卷积核大小为2*2，步长为2，所述短连接层用于将反卷积的输出图像与相同通道数的下采样层中的输出图像进行合并，所述卷积层的卷积核大小为3*3，步长为1，其中，所述解码单元a、解码单元b、解码单元c、解码单元d的通道数分别为128,64,32以及16。所述解码单元e为第二解码单元，其中，第二解码单元的反卷积层的卷积核大小为2*2，步长为2。
进一步，在本实施例的一个实现方式中，为了提供输出图像的图像质量，所述将所述待处理图像以及若干特征图像输入至经训练的第一网络模型，通过所述预设网络模型提取所述待处理图像对应的输出图像之后包括：
对所述输出图像进行钳制以及拉伸处理，并将钳制以及拉伸处理后的输出图像作为所述待处理图像对应的输出图像。
具体地，所述钳制处理是将数据钳制到[0,1]之间，以及防止图像过曝。所述拉伸处理是将数据乘以255，使其还原为[0,255]范围的正常可视数据。
基于上述图像处理方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像处理方法中的步骤。
基于上述图像处理方法，本发明还提供了一种终端设备，如图4所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像处理方法，其特征在于，其包括：
获取待处理图像，并获取所述待处理图像对应的参考图像；
根据所述待处理图像以及参考图像，确定所述待处理图像的若干特征图像；
将所述待处理图像以及若干特征图像输入至经训练的第一网络模型，通过所述第一网络模型提取所述待处理图像对应的输出图像；
所述待处理图像以及参考图像，确定所述待处理图像的若干特征图像具体包括：
将所述待处理图像以及参考图像输入经训练的第二网络模型，通过所述第二网络模型输出待处理图像对应的若干第一特征图像，以及所述参考图像对应的若干第二特征图像，其中，所述若干第一特征图像与所述若干第二特征图像一一对应；
根据所述若干第一特征图像和若干第二特征图像确定所述待处理图像对应的若干特征图像；
所述根据所述若干第一特征图像和若干第二特征图像确定所述待处理图像对应的若干特征图像具体为：
对于若干第一特征图像中的每一第一特征图像，根据该第一特征图像以及该第一特征图像对应的第二特征图像确定该第一特征图像对应的特征图像，以得到若干特征图像；
所述第一网络模型为训练好的网络模型，所述第一网络模型包括编码模块、非线性处理模块以及解码模块；所述将所述待处理图像以及若干特征图像输入至经训练的第一网络模型，通过所述第一网络模型提取所述待处理图像对应的输出图像具体包括：
将所述待处理图像输入至编码模块，通过所述编码模块输出所述待处理图像对应的第三特征图像；
将所述第三特征图像输入至非线性处理模块，通过所述非线性处理模块输出所述待处理图像对应的第四特征图像；
将所述第四特征图像以及所述若干特征图像输入至解码模块，通过所述解码模块输出所述待处理图像对应的输出图像。
2.根据权利要求1所述图像处理方法，其特征在于，所述待处理图像为环境光亮度低于预设亮度阈值的场景下的图像，所述参考图像为信噪比高于所述待处理图像的信噪比的图像，其中，所述待处理图像的拍摄场景与所述参考图像的拍摄场景相似性满足预设条件。
3.根据权利要求1所述图像处理方法，其特征在于，所述根据所述若干第一特征图像和若干第二特征图像确定所述待处理图像对应的若干特征图像具体包括：
分别按照预设规则将所述若干第一特征图像和若干第二特征图像进行划分，以得到各第一特征图像对应的第一图像块集以及各第二特征图像对应的第二图像块集；
对于每个第一图像块集中的每个第一图像块，在该第一图像块集对应的第二图像块集中查找该第一图像块对应的第二图像块；
根据查找到的所有第二图像块生成该第一特征图像对应的特征图像，其中，该第一特征图像为该第一图像块集对应的第一特征图像。
4.根据权利要求3所述图像处理方法，其特征在于，所述在该第一图像块集对应的第二图像块集中查找该第一图像块对应的第二图像块具体包括：
对于该第一图像块集对应的第二图像块集中每个第二图像块，计算该第二图像块与该第一图像块的相似性；
根据计算的所有相似性确定该第一图像块对应的第二图像块。
5.根据权利要求1所述图像处理方法，其特征在于，所述第二网络模型的训练过程具体包括：
基于预设的训练样本集对第三网络模型进行训练，其中，所述第三网络模型包括图像特征提取模块，所述训练样本集包括多组训练图像组，每组训练图像组包括训练图像和以及所述训练图像对应的正常图像；
当所述第三网络模型训练完成后，去除所述第三网络模型中的图像特征提取模块后的所有网络层，以得到经训练的第二网络模型。
6.根据权利要求1所述图像处理方法，其特征在于，所述解码模块包括依次堆叠的若干解码单元，所述若干解码单元中除最后一解码单元外的各解码单元均包括解码子单元以及融合子单元；所述将所述第四特征图像以及所述若干特征图像输入至解码模块，通过所述解码模块输出所述待处理图像对应的输出图像具体包括：
将所述第四特征图像作为目标特征图像，并将若干解码单元中第一解码单元作为目标解码单元；
将目标特征图像输入至目标解码单元，并通过目标解码单元的解码子单元提取所述目标特征图像对应的第五特征图像，并通过目标解码单元的融合子单元将所述第五特征图像与所述第五特征图像对应的特征图像进行融合以得到第六特征图像，其中，所述特征图像的图像尺度与所述第五特征图像的图像尺度相同；
将所述第六特征图像作为目标特征图像，所述目标解码单元后一解码单元作为目标解码单；
继续执行将目标特征图像输入至目标解码单元的步骤，直至最后一个解码单元，并通过最后一个解码单元得到所述待处理图像对应的输出图像。
7.根据权利要求1-6任一所述图像处理方法，其特征在于，所述获取待处理图像，并获取所述待处理图像对应的参考图像之后包括：
分别对所述待处理图像以及所述参考图像进行预处理，并将预处理后的待处理图像作为待处理图像，以及将预处理后的参考图像作为参考图像。
8.根据权利要求1-6任一所述图像处理方法，其特征在于，所述将所述待处理图像以及若干特征图像输入至经训练的第一网络模型，通过所述第一网络模型提取所述待处理图像对应的输出图像之后包括：
对所述输出图像进行钳制以及拉伸处理，并将钳制以及拉伸处理后的输出图像作为所述待处理图像对应的输出图像。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～8任意一项所述的图像处理方法中的步骤。
10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-8任意一项所述的图像处理方法中的步骤。
CN202010085273.6A 2020-02-10 2020-02-10 一种图像处理方法、存储介质及终端设备 Active CN113256501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010085273.6A CN113256501B (zh) 2020-02-10 2020-02-10 一种图像处理方法、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010085273.6A CN113256501B (zh) 2020-02-10 2020-02-10 一种图像处理方法、存储介质及终端设备

Publications (2)

Publication Number Publication Date
CN113256501A CN113256501A (zh) 2021-08-13
CN113256501B true CN113256501B (zh) 2022-08-23

Family

ID=77219388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010085273.6A Active CN113256501B (zh) 2020-02-10 2020-02-10 一种图像处理方法、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN113256501B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527034B (zh) * 2008-03-07 2013-01-23 深圳迈瑞生物医疗电子股份有限公司 自适应帧相关的方法和装置
US10043243B2 (en) * 2016-01-22 2018-08-07 Siemens Healthcare Gmbh Deep unfolding algorithm for efficient image denoising under varying noise conditions
CN106485689B (zh) * 2016-10-10 2019-08-30 努比亚技术有限公司 一种图片处理方法和装置
CN110689486A (zh) * 2018-07-06 2020-01-14 北京大学 图像的处理方法、装置、设备及计算机可存储介质
CN109447907B (zh) * 2018-09-20 2020-06-16 宁波大学 一种基于全卷积神经网络的单图像增强方法
CN109544488B (zh) * 2018-10-08 2021-06-01 西北大学 一种基于卷积神经网络的图像合成方法
CN110191291B (zh) * 2019-06-13 2021-06-25 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
CN110650295B (zh) * 2019-11-26 2020-03-06 展讯通信（上海）有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
CN113256501A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
CN108764208B (zh) 图像处理方法和装置、存储介质、电子设备
CN107592473A (zh) 曝光参数调整方法、装置、电子设备和可读存储介质
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN108804658B (zh) 图像处理方法和装置、存储介质、电子设备
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN112348747A (zh) 图像增强方法、装置及存储介质
CN108401110B (zh) 图像的获取方法、装置、存储介质及电子设备
CN108717530A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108574803B (zh) 图像的选取方法、装置、存储介质及电子设备
CN113992850A (zh) 基于isp的图像处理方法及装置、存储介质和摄像设备
CN107194901B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN110838088B (zh) 一种基于深度学习的多帧降噪方法、装置及终端设备
US10769416B2 (en) Image processing method, electronic device and storage medium
CN112308785A (zh) 图像去噪方法、存储介质及终端设备
CN108513068B (zh) 图像的选取方法、装置、存储介质及电子设备
CN116416122A (zh) 图像处理方法及其相关设备
CN113052768B (zh) 一种处理图像的方法、终端及计算机可读存储介质
CN107295261B (zh) 图像去雾处理方法、装置、存储介质和移动终端
CN111953888B (zh) 暗光成像方法、装置、计算机可读存储介质及终端设备
CN116055895B (zh) 图像处理方法及其装置、芯片系统和存储介质
US20230222639A1 (en) Data processing method, system, and apparatus
CN113256501B (zh) 一种图像处理方法、存储介质及终端设备
CN111383188B (zh) 一种图像处理方法、系统及终端设备
CN107481199B (zh) 图像去雾处理方法、装置、存储介质和移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant