CN112087556B - 一种暗光成像方法、装置、可读存储介质及终端设备 - Google Patents

一种暗光成像方法、装置、可读存储介质及终端设备 Download PDF

Info

Publication number
CN112087556B
CN112087556B CN201910507768.0A CN201910507768A CN112087556B CN 112087556 B CN112087556 B CN 112087556B CN 201910507768 A CN201910507768 A CN 201910507768A CN 112087556 B CN112087556 B CN 112087556B
Authority
CN
China
Prior art keywords
image
training
model
processed
training image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910507768.0A
Other languages
English (en)
Other versions
CN112087556A (zh
Inventor
孟俊彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN201910507768.0A priority Critical patent/CN112087556B/zh
Publication of CN112087556A publication Critical patent/CN112087556A/zh
Application granted granted Critical
Publication of CN112087556B publication Critical patent/CN112087556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，尤其涉及一种暗光成像方法、装置、存储介质及终端设备。所述方法包括：获取第一待处理图像和第一待处理图像对应的拍摄环境亮度；若拍摄环境亮度小于预设环境亮度，则对第一待处理图像进行预处理，得到第二待处理图像；将第二待处理图像输入至已训练的生成对抗网络模型中，获取生成网络对抗模型输出的拍摄图像；生成对抗网络模型包括训练方式为对抗式训练的生成模型与判别模型，生成模型为利用多组训练图像训练得到的卷积网络模型，每组训练图像包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，第二训练图像的清晰度高于第一训练图像的清晰度，通过增加图像的清晰度来进行模型训练可提高细节恢复效果。

Description

一种暗光成像方法、装置、可读存储介质及终端设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种暗光成像方法、装置、计算机可读存储介质及终端设备。
背景技术
暗光条件下，基于单目摄像头的快速清晰成像往往是一个非常具有挑战的任务。目前除了利用增大曝光时间、打开大光圈、采用高感光度ISO和打开闪光灯等物理方法进行解决外，最常用的是基于图像处理的解决方法，如基于深度学习的暗光成像方法，目前基于深度学习的暗光成像方法虽然能达到不错的效果，但在暗光条件下，目前基于深度学习的暗光成像方法所获取的训练图像所能采集到的细节信息仍是比较少的，从而使得现有的基于深度学习的暗光成像方法存在细节恢复较差的问题。
发明内容
本发明实施例提供了一种暗光成像方法、装置、计算机可读存储介质及终端设备，能够改善暗光成像中的细节恢复，以解决现有暗光成像方法中细节恢复差的问题。
本发明实施例的第一方面提供了一种暗光成像方法，应用于移动终端，所述暗光成像方法，包括：
获取第一待处理图像和所述第一待处理图像对应的拍摄环境亮度；
若所述拍摄环境亮度小于预设环境亮度，则对所述第一待处理图像进行预处理，得到第二待处理图像；
将所述第二待处理图像输入至已训练的生成对抗网络模型中，获取所述生成网络对抗模型输出的拍摄图像；
其中，所述生成对抗网络模型包括训练方式为对抗式训练的生成模型与判别模型，所述生成模型为利用多组训练图像训练得到的卷积网络模型，每组训练图像包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，所述第二训练图像的清晰度高于所述第一训练图像的清晰度。
进一步地，所述第二训练图像为所述第一训练图像经过高反差处理和/或锐化处理后的图像。
优选地，所述对所述第一待处理图像进行预处理，得到第二待处理图像，包括：
获取所述第一待处理图像中各第一像素点分别对应的第一像素值和所述移动终端所对应的预设像素值；
将所述第一待处理图像中各所述第一像素点的第一像素值分别减去所述预设像素值，得到第三待处理图像；
对所述第三待处理图像进行归一化处理，得到所述第二待处理图像。
可选地，所述生成模型通过下述步骤训练得到：
获取多组训练图像，每组训练图像包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，其中，各所述第一训练图像和各所述第二训练图像均为所述拍摄环境亮度小于所述预设环境亮度下拍摄的图像，每组训练图像中所述第二训练图像与所述第一训练图像相对应，且每组训练图像中所述第二训练图像的曝光时间大于所述第一训练图像的曝光时间；
分别对每组训练图像中的所述第一训练图像和所述第二训练图像进行预处理，得到各所述第一训练图像对应的各第三训练图像和各所述第二训练图像对应的各第四训练图像；
分别对各所述第四训练图像进行高反差处理和/或锐化处理，得到经过高反差处理和/或锐化处理后的各第五训练图像，其中，各所述第五训练图像的清晰度高于对应的第四训练图像的清晰度；
将各所述第三训练图像输入至初始生成模型，得到所述初始生成模型输出的第一生成图像；
根据各所述第一生成图像和各所述第一生成图像分别对应的各所述第五训练图像确定所述初始生成模型训练的第一训练误差；
若所述第一训练误差小于第一误差阈值，则确定所述初始生成模型训练完成，并将所述初始生成模型确定为已训练的所述生成模型；
若所述第一训练误差大于或者等于所述第一误差阈值，则调整所述初始生成模型的第一模型参数，并返回执行所述将各所述第三训练图像输入至初始生成模型，得到所述初始生成模型输出的第一生成图像的步骤以及后续步骤。
进一步地，所述初始生成模型包括第一卷积层和第二卷积层，所述初始生成模型输出所述第一生成图像的过程包括：
在所述初始生成模型的所述第一卷积层中对所述第三训练图像进行下采样，得到所述第三训练图像的第一图像特征；
在所述初始生成模型的所述第二卷积层中对所述第一图像特征进行上采样，得到第二图像特征；
根据所述第一图像特征和所述第二图像特征进行图像重构，得到所述初始生成模型输出的所述第一生成图像。
优选地，所述分别对每组训练图像中的所述第一训练图像和所述第二训练图像进行预处理，得到各所述第一训练图像对应的各第三训练图像和各所述第二训练图像对应的各第四训练图像，包括：
获取各所述第一训练图像中各第二像素点分别对应的第二像素值、各所述第二训练图像中各第三像素点分别对应的第三像素值和所述移动终端所对应的预设像素值；
将各所述第一训练图像中各所述第二像素点的第二像素值分别减去所述预设像素值，得到各所述第一训练图像对应的各第六训练图像，以及将各所述第二训练图像中各所述第三像素点的第三像素值分别减去所述预设像素值，得到各所述第二训练图像对应的各第七训练图像；
分别对各所述第六训练图像和各所述第七训练图像进行归一化处理，得到各所述第一训练图像对应的各所述第三训练图像和各所述第二训练图像对应的各所述第四训练图像。
可选地，所述判别模型通过下述步骤训练得到：
获取高动态范围图像，并将所述高动态范围图像输入至初始判别模型；
获取所述生成模型输出的多张第二生成图像，并将各所述第二生成图像输入至所述初始判别模型，以使得所述初始判别模型根据所述高动态范围图像得到各所述第二生成图像的判别结果；
根据所述判别结果确定所述初始判别模型训练的第二训练误差；
若所述第二训练误差小于第二误差阈值，则确定所述初始判别模型训练完成，并将所述初始判别模型确定为已训练的所述判别模型；
若所述第二训练误差大于或者等于所述第二误差阈值，则调整所述初始判别模型的第二模型参数，并返回执行所述将各所述第二生成图像输入至初始判别模型，以使得所述初始判别模型根据所述高动态范围图像得到各所述第二生成图像的判别结果的步骤以及后续步骤。
本发明实施例的第二方面提供了一种暗光成像装置，应用于移动终端，所述暗光成像装置包括：
待处理图像获取模块，用于获取第一待处理图像和所述第一待处理图像对应的拍摄环境亮度；
第一预处理模块，用于若所述拍摄环境亮度小于预设环境亮度，则对所述第一待处理图像进行预处理，得到第二待处理图像；
拍摄图像获取模块，用于将所述第二待处理图像输入至已训练的生成对抗网络模型中，获取所述生成网络对抗模型输出的拍摄图像；
其中，所述生成对抗网络模型包括训练方式为对抗式训练的生成模型与判别模型，所述生成模型为利用多组训练图像训练得到的卷积网络模型，每组训练图像包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，所述第二训练图像的清晰度高于所述第一训练图像的清晰度。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述第一方面所述暗光成像方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前述第一方面所述暗光成像方法的步骤。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，在移动终端进行拍摄时，可获取第一待处理图像和所述第一待处理图像对应的拍摄环境亮度；若所述拍摄环境亮度小于预设环境亮度，则对所述第一待处理图像进行预处理，得到第二待处理图像；将所述第二待处理图像输入至已训练的生成对抗网络模型中，获取所述生成网络对抗模型输出的拍摄图像；其中，所述生成对抗网络模型包括训练方式为对抗式训练的生成模型与判别模型，所述生成模型为利用多组训练图像训练得到的卷积网络模型，每组训练图像包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，所述第二训练图像的清晰度高于所述第一训练图像的清晰度。本发明实施例中，通过利用第一训练图像和清晰度高于第一训练图像的第二训练图像来对生成对抗网络模型中的生成模型进行监督训练，使得生成模型能学习到较多的细节信息，从而使得可直接将暗光环境下的待处理图像输入至已训练的生成对抗网络模型，以生成细节恢复较好的拍摄图像，减少或者避免图像噪声，提高暗光环境下的图像拍摄效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种暗光成像方法的一个实施例流程图；
图2为本发明实施例中一种暗光成像方法在一个应用场景下对第一待处理图像进行预处理的流程示意图；
图3为本发明实施例中一种暗光成像方法的一个实施例示意图；
图4为本发明实施例提供的生成模型的结构示意图；
图5为本发明实施例提供的判别模型的结构示意图；
图6为本发明实施例中一种暗光成像方法在一个应用场景下训练生成模型的流程示意图；
图7为本发明实施例中一种暗光成像方法在一个应用场景下训练判别模型的流程示意图；
图8为本发明实施例中生成模型与判别模型对抗训练的示意图；
图9为通过现有的暗光成像方法所获取的拍摄图像；
图10为通过本发明实施例中的暗光成像方法所获取的拍摄图像；
图11为本发明实施例中一种暗光成像装置的一个实施例结构图；
图12为本发明一实施例提供的一种终端设备的示意图。
具体实施方式
本发明实施例提供了一种暗光成像方法、装置、计算机可读存储介质及终端设备，用于改善暗光成像中的细节恢复，以解决现有暗光成像方法中细节恢复差的问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供了一种暗光成像方法，应用于移动终端，所述暗光成像方法包括：
步骤S101、获取第一待处理图像和所述第一待处理图像对应的拍摄环境亮度；
本发明实施例的执行主体为具备拍摄功能的移动终端，如可以为具备拍照功能的手机、平板电脑、相机等移动终端。在所述移动终端执行拍照操作时，可获取第一待处理图像和所述第一待处理图像对应的拍摄环境亮度，其中，所述第一待处理图像可以为所述移动终端的摄像捕获到的画面，如通过所述移动终端的摄像头所拍摄到的画面，所述拍摄环境亮度是指所述移动终端拍摄所述第一待处理图像时所在的环境的光线亮度，如所述拍摄环境亮度可为所述移动终端在晴天情况下拍摄所述第一待处理图像时所在的室外环境的光线亮度；又如所述拍摄环境亮度还可为所述移动终端在夜晚情况拍摄所述第一待处理图像时所在的室外环境的光线亮度；再如，当所述第一待处理图像的拍摄环境为室内时，所述拍摄环境亮度可以为此时室内环境的光线亮度，等等。
步骤S102、若所述拍摄环境亮度小于预设环境亮度，则对所述第一待处理图像进行预处理，得到第二待处理图像；
可以理解的是，所述预设环境亮度可以为预先设置的光线亮度阈值，所述光线亮度阈值可根据所述移动终端的实际成像质量进行确定，如当环境的光线亮度大于或者等于某一预设光线亮度时，所述移动终端可得到成像质量较好的拍摄图像；而当环境的光线亮度小于该预设光线亮度时，所述移动终端所得到的拍摄图像的成像质量将较差时，则可将该预设光线亮度确定为所述光线亮度阈值，以作为所述预设环境亮度。
本发明实施例中，当所述移动终端检测到所述第一待处理图像对应的拍摄环境亮度小于所述预设环境亮度时，例如，当所述预设环境亮度为50坎德拉每平方米，而所述移动终端检测到所述第一待处理图像对应的拍摄环境亮度为20坎德拉每平方米时，则可认为所述第一待处理图像对应的拍摄环境为暗光拍摄环境，此时若直接输出所述第一待处理图像的话，所得到的拍摄图像的成像质量较差，因此，为提高暗光拍摄环境中的拍摄质量，所述终端设备可首先对所述第一待处理图像进行预处理，得到所述第二待处理图像，随后可将所述第二待处理图像输入至已训练的生成对抗网络模型中，以通过所述生成对抗网络模型对所述第一待处理图像进行图像处理，来得到拍摄质量较好的拍摄图像输出给用户。
具体地，如图2所示，本发明实施例中，所述对所述第一待处理图像进行预处理，得到第二待处理图像，可以包括：
步骤S201、获取所述第一待处理图像中各第一像素点分别对应的第一像素值和所述移动终端所对应的预设像素值；
步骤S202、将所述第一待处理图像中各所述第一像素点的第一像素值分别减去所述预设像素值，得到第三待处理图像；
步骤S203、对所述第三待处理图像进行归一化处理，得到所述第二待处理图像。
对于上述步骤S201和步骤S202，可以理解的是，为减少所述移动终端中摄像头感应器的偏差，提高图像处理效果，以提高所述移动终端的图像拍摄效果，所述终端设备在获取到所述第一待处理图像后，可通过对所述第一待处理图像减去所述移动终端所对应的黑电平值，以减少所述移动终端中摄像头感应器的偏差。其中，在所述移动终端出厂时，所述移动终端中即会设置有一预设像素值，所述预设像素值即为所述移动终端所对应的黑电平值，以通过减去黑电平值来减少所述移动终端中摄像头感应器的偏差。在此，所述移动终端在获取到所述第一待处理图像后，可首先获取所述第一待处理图像中各所述第一像素点分别对应的第一像素值，然后可将所述第一待处理图像中各所述第一像素点的第一像素值分别减去所述预设像素值，以得到所述第三待处理图像，从而实现对所述第一待处理图像进行黑电平去除目的。
对于上述步骤S203，在对所述第一待处理图像去除黑电平，得到所述第三待处理图像后，可进一步对所述第三待处理图像进行归一化处理，如可获取所述第三待处理图像中各所述第一像素点的新第一像素值(即所述第一像素值减去所述预设像素值后的像素值)，并可根据各所述新第一像素值找到所述第三待处理图像中的最大像素值，然后可将各所述第一像素点的新第一像素值分别除以所述最大像素值来对所述第三待处理图像进行归一化处理，以使得所述生成对抗网络模型在处理所述第三待处理图像时更容易收敛，从而提高所述生成网络对抗模型的处理速度和处理效率，提高拍摄图像的成像质量。
需要说明的是，所述对所述第三待处理图像进行预处理，还可以包括在RAW域分离RGBG各通道，即可首先获取所述第三待处理图像所对应的原始数据raw data，然后可按照RGBG通道的排列顺序，将所述raw data的通道进行分离，以将原本单通道的raw data分离成如图3所示的4个RGBG图层，并可以将这4个RGBG图层输入至所述生成对抗网络模型的生成模型301中，从而得到所述生成模型301输出的RGB图像，以通过在将所述第三待处理图像输入至所述生成模型301之前对所述第三待处理图像进行通道分离操作，来降低所述生成模型301的处理负担，从而提高所述生成模型301的图像处理速度和效率。
步骤S103、将所述第二待处理图像输入至已训练的生成对抗网络模型中，获取所述生成网络对抗模型输出的拍摄图像；
其中，所述生成对抗网络模型包括训练方式为对抗式训练的生成模型与判别模型，所述生成模型为利用多组训练图像训练得到的卷积网络模型，每组训练图像包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，所述第二训练图像的清晰度高于所述第一训练图像的清晰度。
本发明实施例中，所述生成对抗网络模型包括如图4所示的生成模型301和如图5所示的判别模型801，其中，所述生成模型301为利用多组训练图像训练得到的卷积网络模型，如为利用多组训练图像训练得到的U型全卷积网络模型，而每组训练图像可以包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，且每组训练图像中的第二训练图像的清晰度高于该组训练图像中的第一训练图像的清晰度。
在本实施例中，图像的清晰度可以理解为图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值；可以理解的是，若图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值越大，则说明该图像的清晰度越高，反之，若图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值越小，则说明该图像的清晰度越低。也就是说，第二训练图像的清晰度高于第一训练图像的清晰度，可以理解为，第二训练图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值，大于第一训练图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值。
为便于理解，接下来针对第二训练图像的清晰度高于第一训练图像的清晰度进行举例说明。假设一组训练图像包括训练图像A和训练图像B，且该训练图像A和该训练图像B中的图像内容是完全一样的，其中，该训练图像A和该训练图像B中均包括像素点a和像素点b，像素点a为图像中地物边界(或物体边界)上的像素点，而像素点b为与该地物边界(或物体边界)相邻的像素点；若该训练图像A中像素点a的像素值与像素点b的像素值之间的差值为10，而该训练图像B中像素点a的像素值与像素点b的像素值之间的差值为30，则可以认为该训练图像B的清晰度高于该训练图像A的清晰度，因此，可以将该训练图像A作为该组训练图像中的第一训练图像，将该训练图像B作为该组训练图像中的第二训练图像。
在一种可能的实现方式中，每组训练图像中的第二训练图像均为该组训练图像中的第一训练图像经过高反差处理和/或锐化处理后的图像。例如，可对第一训练图像进行高反差处理来得到第二训练图像；或者可对第一训练图像进行锐化处理来得到第二训练图像；又或者可先对第一训练图像进行高反差处理，然后对经过高反差处理后的图像进行锐化处理来得到第二训练图像。
优选地，每组训练图像中的第二训练图像的曝光时间还可以大于该组训练图像中的第一训练图像的曝光时间，也就是说，每组训练图像中的第一训练图像与第二训练图像的图像内容相同，但第二训练图像的曝光时间大于第一训练图像的曝光时间，且每组训练图像中的第二训练图像的清晰度还可高于该组训练图像中的第一训练图像的清晰度，即在获取第一训练图像时，还可延长曝光时间得到与第一训练图像的图像内容相同的长曝光图像，并可对长曝光图像进行高反差处理和/或锐化处理处理来得到清晰度更高的第二训练图像。
在此，可将每组训练图像输入至所述生成模型301中，以使得所述生成模型301根据每组训练图像中的所述第一训练图像得到对应的各生成图像，然后将各生成图像与每组训练图像中的所述第二训练图像进行比对来训练所述生成模型301，从而使得所述生成模型301在学习每组训练图像中所述第一训练图像与所述第二训练图像之间的映射关系时可学习到所述第二训练图像中的更多细节信息。所述生成模型301和所述判别模型801的训练方式为对抗式训练模式。
在此，所述移动终端得到预处理后的第二待处理图像之后，可直接将所述第二待处理图像输入至已训练的生成对抗网络模型中，所述生成对抗网络模型中的所述生成模型301则可对所述第二待处理图像进行特征提取、重构来得到处理后的拍摄图像，以使得所述移动终端可在不需要增大曝光时间、不需要打开大光圈、不需要采用高感光度ISO或者打开闪光灯的情况下，得到细节恢复较好的暗光环境下的拍摄图像，减少或者避免图像噪声的引入，提高暗光环境下的图像拍摄效果。
进一步地，如图6所示，本发明实施例中，所述生成模型301可通过下述步骤训练得到：
步骤S601、获取多组训练图像，每组训练图像包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，其中，各所述第一训练图像和各所述第二训练图像均为所述拍摄环境亮度小于所述预设环境亮度下拍摄的图像，每组训练图像中所述第二训练图像与所述第一训练图像相对应，且每组训练图像中所述第二训练图像的曝光时间大于所述第一训练图像的曝光时间；
可以理解的是，在训练所述生成模型301之前，需要预先获取用于训练的多组训练图像，即可获取多张拍摄环境亮度小于所述预设环境亮度下拍摄的质量较差的短曝光图像来作为各组训练图像中的第一训练图像，并可通过延长暗光环境下的曝光时间来获取质量较好的长曝光图像来作为各组训练图像中的第二训练图像，即在每组训练图像中作为训练输入的短曝光图像均具有与之相对应的作为训练输出的长曝光图像，其中，每组训练图像中第一训练图像与第二训练图像的图像内容相同。在此，所述短曝光图像的曝光时间和所述长曝光图像的曝光时间均可根据实际情况进行确定，但所述长曝光图像的曝光时间需大于所述短曝光图像的曝光时间，例如，在一个应用场景中，可将所述短曝光图像的曝光时间确定为1/20秒，并可将所述长曝光图像的曝光时间确定为1/5秒。
步骤S602、分别对每组训练图像中的所述第一训练图像和所述第二训练图像进行预处理，得到各所述第一训练图像对应的各第三训练图像和各所述第二训练图像对应的各第四训练图像；
在此，为提高所述生成模型301的训练效果，在获取到多组训练图像后，可分别对每组训练图像中的所述第一训练图像和所述第二训练图像进行预处理，如分别对每组训练图像中的所述第一训练图像和所述第二训练图像进行黑电平去除和归一化处理等预处理操作。在此，对每组训练图像中的所述第一训练图像和所述第二训练图像进行黑电平去除的处理过程与前述对所述第一待处理图像进行黑电平去除的处理过程相同，且对每组训练图像中的所述第一训练图像和所述第二训练图像进行归一化处理的处理过程也与前述对所述第一待处理图像进行归一化处理的处理过程相同。
具体地，本发明实施例中，所述分别对每组训练图像中的所述第一训练图像和所述第二训练图像进行预处理，得到各所述第一训练图像对应的各第三训练图像和各所述第二训练图像对应的各第四训练图像，可以包括：
步骤a、获取各所述第一训练图像中各第二像素点分别对应的第二像素值、各所述第二训练图像中各第三像素点分别对应的第三像素值和所述移动终端所对应的预设像素值；
步骤b、将各所述第一训练图像中各所述第二像素点的第二像素值分别减去所述预设像素值，得到各所述第一训练图像对应的各第六训练图像，以及将各所述第二训练图像中各所述第三像素点的第三像素值分别减去所述预设像素值，得到各所述第二训练图像对应的各第七训练图像；
步骤c、分别对各所述第六训练图像和各所述第七训练图像进行归一化处理，得到各所述第一训练图像对应的各所述第三训练图像和各所述第二训练图像对应的各所述第四训练图像。
可以理解的是，上述步骤a与前述所述的步骤S201的内容相似、且原理相同，上述步骤b与前述所述的步骤S202的内容相似、且原理相同，以及上述步骤c与前述所述的步骤S203的内容相似、且原理相同，为简明起见，在此不再赘述。
步骤S603、分别对各所述第四训练图像进行高反差处理和/或锐化处理，得到经过高反差处理和/或锐化处理后的各第五训练图像，其中，各所述第五训练图像的清晰度高于对应的第四训练图像的清晰度；
为使得所述生成模型301能够在训练过程中能学习到更多的细节信息，本发明实施例中，在对质量较好的各所述第二训练图像进行预处理得到各所述第四训练图像之后，可对各所述第四训练图像进行高反差处理和/或锐化处理，如可对各所述第四训练图像进行高反差处理来得到对应的各第五训练图像；又如可对各所述第四训练图像进行锐化处理来得到对应的各第五训练图像；又如可通过调用PhotoShop中的高反差处理功能来对各所述第四训练图像进行高反差处理，并可对经过高反差处理后的各所述第四训练图像再进行锐化处理，得到经过高反差处理及锐化处理后的各第五训练图像，以使得所得到的各第五训练图像的清晰度较高，从而便于所述生成模型学习到更多的细节信息。
步骤S604、将各所述第三训练图像输入至初始生成模型，得到所述初始生成模型输出的各第一生成图像；
本发明实施例中，所述初始生成模型可包括第一卷积层和第二卷积层，所述移动终端在对质量较差的各所述第一训练图像进行预处理得到各所述第三训练图像后，可将各所述第三训练图像输入至所述初始生成模型中，以首先在所述初始生成模型的所述第一卷积层中对各所述第三训练图像进行下采样，得到各所述第三训练图像的第一图像特征；然后可将各所述第一图像特征输送至所述初始生成模型的所述第二卷积层中，并可在所述第二卷积层中对各所述第一图像特征进行上采样，得到各第二图像特征；最后可根据各所述第一图像特征和各所述第二图像特征来进行图像重构，得到所述初始生成模型输出的各所述第一训练图像分别对应的各所述第一生成图像。
本发明实施例中，所述第一卷积层和所述第二卷积层均可包括多层，如图4所示，所述第一卷积层和所述第二卷积层均可包括四层，其中，第一层第一卷积层可与第四层第二卷积层连接、第二层第一卷积层可与第三层第二卷积层连接、第三层第一卷积层可与第二层第二卷积层连接。
在此，在所述第一卷积层中对所述第三训练图像进行下采样的过程可具体为：即在将所述第三训练图像输入至所述初始生成模型后，可首先在所述初始生成模型的所述第一层第一卷积层中对所述第三训练图像进行下采样，得到所述第三训练图像的第一个第一图像特征，并可将所述第一个第一图像特征传输至所述第二层第一卷积层；其次，可在所述第二层第一卷积层中再对所述第一个第一图像特征进行下采样，得到第二个第一图像特征，并可将所述第二个第一图像特征传输至所述第三层第一卷积层；随后可在所述第三层第一卷积层中再对所述第二个第一图像特征进行下采样，得到第三个第一图像特征，并可将所述第三个第一图像特征传输至所述第四层第一卷积层；最后可以在所述第四层第一卷积层中对所述第三个第一图像特征进行下采样，得到第四个第一图像特征，并可将所述第四个第一图像特征传输至第一层第二卷积层中。
进一步地，在所述第二卷积层中对所述第一图像特征进行上采样的过程可具体为：首先在所述第一层第二卷积层中对所述第四个第一图像特征进行上采样得到第一个第二图像特征，并可将所述第一个第二图像特征传输至所述第二层第二卷积层；其次在所述第二层第二卷积层中，可结合所述第一个第二图像特征和所述第三层第一卷积层中的第三个第一图像特征进行上采样，得到第二个第二图像特征，并可将所述第二个第二图像特征传输至所述第三层第二卷积层；随后在所述第三层第二卷积层中，可结合所述第二个第二图像特征和所述第二层第一卷积层中的第二个第一图像特征进行上采样，得到第三个第二图像特征，并可将所述第三个第二图像特征传输至所述第四层第二卷积层；最后在所述第四层第二卷积层中，可结合所述第三个第二图像特征和所述第一层第一卷积层中的第一个第一图像特征进行上采样，得到第四个第二图像特征，从而可通过对所述第四个第二图像特征进行图像重构来得到所述初始生成模型输出的所述第三训练图像对应的所述第一生成图像。
需要说明的是，本发明实施例中，各层第一卷积层和各层第二卷积层中均可使用修正线性单元(ReLU)作为激活函数，并且所述第一层第一卷积层和所述第一层第二卷积层中均可使用3×3、步长为1的卷积核进行卷积处理，第二层、第三层、第四层第一卷积层中均可使用3×3、步长为2的卷积核进行卷积处理，第二层、第三层、第四层第二卷积层中分别使用3×3、步长为2的卷积核来分别对所述第一图像特征和所述第二图像特征进行卷积处理，最后图像重构时可使用2×2的卷积核进行反卷积实现。
步骤S605、根据各所述第一生成图像和各所述第一生成图像分别对应的各所述第五训练图像确定所述初始生成模型训练的第一训练误差；
步骤S606、判断所述第一训练误差是否小于第一误差阈值；
步骤S607、若所述第一训练误差小于所述第一误差阈值，则确定所述初始生成模型训练完成，并将所述初始生成模型确定为已训练的所述生成模型；
步骤S608、若所述第一训练误差大于或者等于所述第一误差阈值，则调整所述初始生成模型的第一模型参数，并返回执行所述将各所述第三训练图像输入至初始生成模型，得到所述初始生成模型输出的各第一生成图像的步骤以及后续步骤。
对于上述步骤S605至步骤S608，可以理解的是，在得到所述初始生成模型输出的各所述第三训练图像对应的各所述第一生成图像后，可根据各所述第一生成图像和各所述第一生成图像分别对应的各所述第五训练图像来确定所述初始生成模型训练的第一训练误差，如可通过确定各所述第一生成图像与对应的各所述第五训练图像之间的相似性来确定所述第一训练误差，并可判断所述第一训练误差是否小于所述第一误差阈值，例如可判断所述第一训练误差是否小于5％。在此，所述第一误差阈值可以在训练具体的生成对抗网络模型时确定，如可将所述第一误差阈值确定为某一特定阈值，比如确定为5％。
在此，当所述第一训练误差小于所述第一误差阈值时，如当所述第一训练误差为3％时，则可确定所述初始生成模型训练完成，即可将训练完成的所述初始生成模型确定为已训练的所述生成模型301；而当所述第一训练误差大于或者等于所述第一误差阈值时，如当所述第一训练误差为9％时，则可调整所述初始生成模型的第一模型参数，并可将第一模型参数调整后的初始生成模型确定为新的初始生成模型，然后重新再进行训练图像的训练，以通过反复调整所述初始生成模型的第一模型参数，并进行多次训练图像的训练来使得后续训练得到的第一训练误差小于所述第一误差阈值。
本发明实施例中，在训练所述生成模型时，通过对长曝光的各所述第二训练图像进行高反差处理和/或锐化处理来增加各所述第二训练图像的图像清晰度，使得所述生成模型在训练过程中可学习到更多的细节信息，从而改善暗光成像中的细节恢复，提高暗光成像的图像质量。
进一步地，如图7所示，本发明实施例中，所述判别模型801可通过下述步骤训练得到：
步骤S701、获取高动态范围图像，并将所述高动态范围图像输入至初始判别模型；
可以理解的是，为使得所述生成模型301输出的生成图像具有丰富的图像色彩和图像细节，本发明实施例中，可获取多张高动态范围图像HDR图像来对所述判别模型进行半监督训练，从而可通过利用所述多张HDR图像半监督训练后的所述判别模型801与所述生成模型301的对抗训练来使得所述生成模型301能学习到所述多张HDR图像的丰富图像色彩和丰富图像细节。
步骤S702、获取所述生成模型输出的多张第二生成图像，并将各所述第二生成图像输入至所述初始判别模型，以使得所述初始判别模型根据所述高动态范围图像得到各所述第二生成图像的判别结果；
本发明实施例中，在得到训练完成的所述生成模型301后，可首先获取多张基于暗光环境下拍摄的质量较差的短曝光图像，并将所获取的这多张短曝光图像输入至所述生成模型301中，以得到所述生成模型301输出的各所述短曝光图像对应的各所述第二生成图像，随后可将各所述第二生成图像输入至所述初始判别模型中，以使得所述初始判别模型通过将各所述第二生成图像与所述高动态范围图像进行比对来得到各所述第二生成图像的判别结果，所述判别结果为所述初始判别模型判别的各所述第二生成图像是否为真实的HDR图像。
步骤S703、根据所述判别结果确定所述初始判别模型训练的第二训练误差；
步骤S704、判断所述第二训练误差是否小于第二误差阈值；
步骤S705、若所述第二训练误差小于所述第二误差阈值，则确定所述初始判别模型训练完成，并将所述初始判别模型确定为已训练的所述判别模型；
步骤S706、若所述第二训练误差大于或者等于所述第二误差阈值，则调整所述初始判别模型的第二模型参数，并返回执行所述将各所述第二生成图像输入至所述初始判别模型，以使得所述初始判别模型根据所述高动态范围图像得到各所述第二生成图像的判别结果的步骤以及后续步骤。
对于上述步骤S703至步骤S706，可以理解的是，在得到所述初始判别模型输出的各所述第二生成图像对应的判别结果后，可根据各所述判别结果来确定所述初始判别模型训练的第二训练误差，如可首先获取所述判别结果的总个数和所述判别结果中判别正确的正确个数，其次利用所述正确个数除以所述总个数来得到判别正确率，最后利用1减去所述判别正确率来得到所述第二训练误差，并判断所述第二训练误差是否小于第二误差阈值，例如，判断所述第二训练误差是否小于4％。在此，所述第二误差阈值可以在训练具体的生成对抗网络模型时确定，如可将所述第二误差阈值确定为某一特定阈值，比如确定为4％。因此，当所述第二训练误差小于所述第二误差阈值时，如当所述第二训练误差为2％(2％小于4％)时，则可确定所述初始判别模型训练完成，并可将训练完成的所述初始判别模型确定为已训练的所述判别模型801；而当所述第二训练误差大于或者等于所述第二误差阈值时，如当所述第二训练误差为10％(10％大于4％)时，则可调整所述初始判别模型的第二模型参数，并将第二模型参数调整后的初始判别模型确定为新的初始判别模型，然后重新进行各所述第二生成图像的训练，以通过反复调整所述初始判别模型的第二模型参数，并进行多次各所述第二生成图像的训练，来使得后续训练得到的第二训练误差小于所述第二误差阈值。
进一步地，如图8所示，所述判别模型801与所述生成模型301之间为对抗式训练模式，即通过所述判别模型801对所述生成模型301输出的生成图像是否为真实HDR图像的判别结果来分别训练所述生成模型301和所述判别模型801，也就是说，当所述判别模型801能判别出所述生成模型301输出的生成图像不是真实HDR图像时，可训练所述生成模型301，以提高所述生成模型301输出的生成图像与真实HDR图像的相似性，从而使得所述判别模型801将所述生成模型301输出的生成图像判别为真实HDR图像。而当所述判别模型801将所述生成模型301输出的生成图像判别为真实HDR图像时，则可训练所述判别模型801，以提高所述判别模型801的判别准确性，从而使得所述判别模型801能将所述生成模型301输出的生成图像判别为不是真实HDR图像。
具体地，可通过各短曝光图像作为训练输入和通过各短曝光图像对应的长曝光图像作为训练输出来监督训练所述生成模型301，以将所述生成模型301的模型参数训练至符合第一预设训练要求的状态，其中，所述第一预设训练要求的状态可以理解为所述生成模型301输出的生成图像可使所述判别模型801将所述生成图像判别为真实HDR图像的状态，即使得所述判别模型801判别出所述生成模型301输出的生成图像为真实HDR图像。在所述生成模型301当次训练完成后，可保持所述生成模型301不变，并可通过所述HDR图像和所述生成模型301输出的各所述第二生成图像来训练所述判别模型801，以使得所述判别模型801可判别出所述生成模型301输出的生成图像不是真实HDR图像，即降低所述判别模型801判别出所述生成模型301输出的生成图像为真实HDR图像的概率，以将所述判别模型801的模型参数训练至符合第二预设训练要求的状态，其中，所述第二预设训练要求的状态可以理解为所述判别模型801可将所述生成模型301输出的所述生成图像判别为不是真实HDR图像的状态。而在所述判别模型801当次训练完成时，可保持所述判别模型801不变，并可再次对所述生成模型301进行训练，以再次提高所述生成模型301输出的生成图像与真实HDR图像之间的相似性，即将所述生成模型301的模型参数再次训练至符合第一预设训练要求的状态，而在所述生成模型301的模型参数再次训练至符合第一预设训练要求的状态时，可重新进行所述判别模型801的训练，以将所述判别模型801的模型参数再次训练至符合第二预设训练要求的状态，以此对所述生成模型301和所述判别模型801进行对抗迭代，直达两者的迭代次数满足预设次数阈值，或者所述判别模型801与所述生成模型301之间的对抗误差满足预设条件时，确定生成对抗网络模型训练完成，可用于进行后续的暗光成像处理。
本发明实施例中，在训练所述判别模型时，通过引入细节较为丰富、颜色饱和度较高的HDR图像来供所述判别模型学习，使得与所述判别模型对抗式训练的所述生成模型在后续训练过程中可学习到所述HDR图像较为丰富的图像色彩和图像细节，从而改善暗光成像中的细节恢复，提高所述移动终端暗光成像的图像质量。
请参见图9和图10，图9示出了通过现有的暗光成像方法所获取的拍摄图像，图10示出了通过本发明实施例中的暗光成像方法所获取的拍摄图像，两者对比可知，本发明实施例中的暗光成像方法所获取的图像清晰度更好，颜色和细节恢复更好，图像效果明显优于现有的暗光成像方法的图像效果。
本发明实施例中，在移动终端进行拍摄时，可获取第一待处理图像和所述第一待处理图像对应的的拍摄环境亮度；若所述拍摄环境亮度小于预设环境亮度，则对所述第一待处理图像进行预处理，得到第二待处理图像；将所述第二待处理图像输入至已训练的生成对抗网络模型中，获取所述生成网络对抗模型输出的拍摄图像；其中，所述生成对抗网络模型包括训练方式为对抗式训练的生成模型与判别模型，所述生成模型为利用多组训练图像训练得到的卷积网络模型，每组训练图像包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，所述第二训练图像的清晰度高于所述第一训练图像的清晰度。本发明实施例中，通过利用第一训练图像和清晰度高于第一训练图像的第二训练图像来对生成对抗网络模型中的生成模型进行监督训练，使得所述生成模型能学习到较多的细节信息，从而使得可直接将暗光环境下的待处理图像输入至已训练的生成对抗网络模型，以生成细节恢复较好的拍摄图像，减少或者避免图像噪声的引入，提高暗光环境下的图像拍摄效果。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
上面主要描述了一种暗光成像方法，下面将对一种暗光成像装置进行详细描述。
图11示出了本发明实施例中一种暗光成像装置的一个实施例结构图。所述暗光成像装置应用于移动终端，如图11所示，所述暗光成像装置包括：
待处理图像获取模块1101，用于获取第一待处理图像和所述第一待处理图像对应的拍摄环境亮度；
第一预处理模块1102，用于若所述拍摄环境亮度小于预设环境亮度，则对所述第一待处理图像进行预处理，得到第二待处理图像；
拍摄图像获取模块1103，用于将所述第二待处理图像输入至已训练的生成对抗网络模型中，获取所述生成网络对抗模型输出的拍摄图像；
其中，所述生成对抗网络模型包括训练方式为对抗式训练的生成模型与判别模型，所述生成模型为利用多组训练图像训练得到的卷积网络模型，每组训练图像包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，所述第二训练图像的清晰度高于所述第一训练图像的清晰度。
进一步地，所述第二训练图像为所述第一训练图像经过高反差处理和/或锐化处理后的图像。
优选地，所述第一预处理模块1102，可以包括：
第一像素值获取单元，用于获取所述第一待处理图像中各第一像素点分别对应的第一像素值和所述移动终端所对应的预设像素值；
第一预设像素值减去单元，用于将所述第一待处理图像中各所述第一像素点的第一像素值分别减去所述预设像素值，得到第三待处理图像；
第一归一化处理单元，用于对所述第三待处理图像进行归一化处理，得到所述第二待处理图像。
可选地，所述暗光成像装置，还可以包括：
训练图像获取模块，用于获取多组训练图像，每组训练图像包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，其中，各所述第一训练图像和各所述第二训练图像均为所述拍摄环境亮度小于所述预设环境亮度下拍摄的图像，每组训练图像中所述第二训练图像与所述第一训练图像相对应，且每组训练图像中所述第二训练图像的曝光时间大于所述第一训练图像的曝光时间；
第二预处理模块，用于分别对每组训练图像中的所述第一训练图像和所述第二训练图像进行预处理，得到各所述第一训练图像对应的各第三训练图像和各所述第二训练图像对应的各第四训练图像；
高反差处理模块，用于分别对各所述第四训练图像进行高反差处理和/或锐化处理，得到经过高反差处理和/或锐化处理后的各第五训练图像，其中，各所述第五训练图像的清晰度高于对应的第四训练图像的清晰度；
第一生成图像获取模块，用于将各所述第三训练图像输入至初始生成模型，得到所述初始生成模型输出的各第一生成图像；
第一训练误差确定模块，用于根据各所述第一生成图像和各所述第一生成图像分别对应的各所述第五训练图像确定所述初始生成模型训练的第一训练误差；
第一训练完成确定模块，用于若所述第一训练误差小于第一误差阈值，则确定所述初始生成模型训练完成，并将所述初始生成模型确定为已训练的所述生成模型；
第一模型参数调整模块，用于若所述第一训练误差大于或者等于所述第一误差阈值，则调整所述初始生成模型的第一模型参数，并返回执行所述将各所述第三训练图像输入至初始生成模型，得到所述初始生成模型输出的各第一生成图像的步骤以及后续步骤。
进一步地，所述初始生成模型包括第一卷积层和第二卷积层，所述第一生成图像获取模块，可以包括：
下采样单元，用于在所述初始生成模型的所述第一卷积层中对所述第三训练图像进行下采样，得到所述第三训练图像的第一图像特征；
上采样单元，用于在所述初始生成模型的所述第二卷积层中对所述第一图像特征进行上采样，得到第二图像特征；
图像重构单元，用于根据所述第一图像特征和所述第二图像特征进行图像重构，得到所述初始生成模型输出的所述第一生成图像。
优选地，所述第二预处理模块，可以包括：
第二像素值获取单元，用于获取各所述第一训练图像中各第二像素点分别对应的第二像素值、各所述第二训练图像中各第三像素点分别对应的第三像素值和所述移动终端所对应的预设像素值；
第二预设像素值减去单元，用于将各所述第一训练图像中各所述第二像素点的第二像素值分别减去所述预设像素值，得到各所述第一训练图像对应的各第六训练图像，以及将各所述第二训练图像中各所述第三像素点的第三像素值分别减去所述预设像素值，得到各所述第二训练图像对应的各第七训练图像；
第二归一化处理单元，用于分别对各所述第六训练图像和各所述第七训练图像进行归一化处理，得到各所述第一训练图像对应的各所述第三训练图像和各所述第二训练图像对应的各所述第四训练图像。
可选地，所述暗光成像装置，还可以包括：
高动态范围图像获取模块，用于获取高动态范围图像，并将所述高动态范围图像输入至初始判别模型；
判别结果获取模块，用于获取所述生成模型输出的多张第二生成图像，并将各所述第二生成图像输入至所述初始判别模型，以使得所述初始判别模型根据所述高动态范围图像得到各所述第二生成图像的判别结果；
第二训练误差确定模块，用于根据所述判别结果确定所述初始判别模型训练的第二训练误差；
第二训练完成确定模块，用于若所述第二训练误差小于第二误差阈值，则确定所述初始判别模型训练完成，并将所述初始判别模型确定为已训练的所述判别模型；
第二模型参数调整模块，用于若所述第二训练误差大于或者等于所述第二误差阈值，则调整所述初始判别模型的第二模型参数，并返回执行所述将各所述第二生成图像输入至所述初始判别模型，以使得所述初始判别模型根据所述高动态范围图像得到各所述第二生成图像的判别结果的步骤以及后续步骤。
图12是本发明一实施例提供的终端设备的示意图。如图12所示，该实施例的终端设备12包括：处理器1200、存储器1201以及存储在所述存储器1201中并可在所述处理器1200上运行的计算机程序1202，例如暗光成像程序。所述处理器1200执行所述计算机程序1202时实现上述各个暗光成像方法实施例中的步骤，例如图1所示的步骤S101至步骤103。或者，所述处理器1200执行所述计算机程序1202时实现上述各装置实施例中各模块/单元的功能，例如图11所示模块1101至模块1103的功能。
示例性的，所述计算机程序1202可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器1201中，并由所述处理器1200执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序1202在所述终端设备1200中的执行过程。例如，所述计算机程序1202可以被分割成待处理图像获取模块、第一预处理模块、拍摄图像获取模块，各模块具体功能如下：
待处理图像获取模块，用于获取第一待处理图像和所述第一待处理图像对应的的拍摄环境亮度；
第一预处理模块，用于若所述拍摄环境亮度小于预设环境亮度，则对所述第一处理图像进行预处理，得到第二待处理图像；
拍摄图像获取模块，用于将所述第二待处理图像输入至已训练的生成对抗网络模型中，获取所述生成网络对抗模型输出的拍摄图像；
其中，所述生成对抗网络模型包括训练方式为对抗式训练的生成模型与判别模型，所述生成模型为利用多组训练图像训练得到的卷积网络模型，每组训练图像包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，所述第二训练图像的清晰度高于所述第一训练图像的清晰度。
所述终端设备1200可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器1200、存储器1201。本领域技术人员可以理解，图12仅仅是终端设备1200的示例，并不构成对终端设备1200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器1200可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器1201可以是所述终端设备1200的内部存储单元，例如终端设备1200的硬盘或内存。所述存储器1201也可以是所述终端设备1200的外部存储设备，例如所述终端设备1200上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器1201还可以既包括所述终端设备1200的内部存储单元也包括外部存储设备。所述存储器1201用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器1201还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种暗光成像方法，其特征在于，应用于移动终端，所述暗光成像方法包括：
获取第一待处理图像和所述第一待处理图像对应的拍摄环境亮度；
若所述拍摄环境亮度小于预设环境亮度，则对所述第一待处理图像进行预处理，得到第二待处理图像；
将所述第二待处理图像输入至已训练的生成对抗网络模型中，获取所述生成对抗网络模型 输出的拍摄图像；
其中，所述生成对抗网络模型包括训练方式为对抗式训练的生成模型与判别模型，所述生成模型为利用多组训练图像训练得到的卷积网络模型，每组训练图像包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，所述第二训练图像的清晰度高于所述第一训练图像的清晰度，所述清晰度为图像中地物边界或物体边界上的像素点的像素值和与所述地物边界或物体边界相邻的像素点的像素值之间的差值。
2.根据权利要求1所述的暗光成像方法，其特征在于，所述第二训练图像为所述第一训练图像经过高反差处理和/或锐化处理后的图像。
3.根据权利要求1所述的暗光成像方法，其特征在于，所述对所述第一待处理图像进行预处理，得到第二待处理图像，包括：
获取所述第一待处理图像中各第一像素点分别对应的第一像素值和所述移动终端所对应的预设像素值；
将所述第一待处理图像中各所述第一像素点的第一像素值分别减去所述预设像素值，得到第三待处理图像；
对所述第三待处理图像进行归一化处理，得到所述第二待处理图像。
4.根据权利要求1所述的暗光成像方法，其特征在于，所述生成模型通过下述步骤训练得到：
获取多组训练图像，每组训练图像包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，其中，各所述第一训练图像和各所述第二训练图像均为所述拍摄环境亮度小于所述预设环境亮度下拍摄的图像，每组训练图像中所述第二训练图像与所述第一训练图像相对应，且每组训练图像中所述第二训练图像的曝光时间大于所述第一训练图像的曝光时间；
分别对每组训练图像中的所述第一训练图像和所述第二训练图像进行预处理，得到各所述第一训练图像对应的各第三训练图像和各所述第二训练图像对应的各第四训练图像；
分别对各所述第四训练图像进行高反差处理和/或锐化处理，得到经过高反差处理和/或锐化处理后的各第五训练图像，其中，各所述第五训练图像的清晰度高于对应的第四训练图像的清晰度；
将各所述第三训练图像输入至初始生成模型，得到所述初始生成模型输出的各第一生成图像；
根据各所述第一生成图像和各所述第一生成图像分别对应的各所述第五训练图像确定所述初始生成模型训练的第一训练误差；
若所述第一训练误差小于第一误差阈值，则确定所述初始生成模型训练完成，并将所述初始生成模型确定为已训练的所述生成模型；
若所述第一训练误差大于或者等于所述第一误差阈值，则调整所述初始生成模型的第一模型参数，并返回执行所述将各所述第三训练图像输入至初始生成模型，得到所述初始生成模型输出的各第一生成图像的步骤以及后续步骤。
5.根据权利要求4所述的暗光成像方法，其特征在于，所述初始生成模型包括第一卷积层和第二卷积层，所述初始生成模型输出所述第一生成图像的过程，包括：
在所述初始生成模型的所述第一卷积层中对所述第三训练图像进行下采样，得到所述第三训练图像的第一图像特征；
在所述初始生成模型的所述第二卷积层中对所述第一图像特征进行上采样，得到第二图像特征；
根据所述第一图像特征和所述第二图像特征进行图像重构，得到所述初始生成模型输出的所述第一生成图像。
6.根据权利要求4所述的暗光成像方法，其特征在于，所述分别对每组训练图像中的所述第一训练图像和所述第二训练图像进行预处理，得到各所述第一训练图像对应的各第三训练图像和各所述第二训练图像对应的各第四训练图像，包括：
获取各所述第一训练图像中各第二像素点分别对应的第二像素值、各所述第二训练图像中各第三像素点分别对应的第三像素值和所述移动终端所对应的预设像素值；
将各所述第一训练图像中各所述第二像素点的第二像素值分别减去所述预设像素值，得到各所述第一训练图像对应的各第六训练图像，以及将各所述第二训练图像中各所述第三像素点的第三像素值分别减去所述预设像素值，得到各所述第二训练图像对应的各第七训练图像；
分别对各所述第六训练图像和各所述第七训练图像进行归一化处理，得到各所述第一训练图像对应的各所述第三训练图像和各所述第二训练图像对应的各所述第四训练图像。
7.根据权利要求1至6中任一项所述的暗光成像方法，其特征在于，所述判别模型通过下述步骤训练得到：
获取高动态范围图像，并将所述高动态范围图像输入至初始判别模型；
获取所述生成模型输出的多张第二生成图像，并将各所述第二生成图像输入至所述初始判别模型，以使得所述初始判别模型根据所述高动态范围图像得到各所述第二生成图像的判别结果；
根据所述判别结果确定所述初始判别模型训练的第二训练误差；
若所述第二训练误差小于第二误差阈值，则确定所述初始判别模型训练完成，并将所述初始判别模型确定为已训练的所述判别模型；
若所述第二训练误差大于或者等于所述第二误差阈值，则调整所述初始判别模型的第二模型参数，并返回执行所述将各所述第二生成图像输入至所述初始判别模型，以使得所述初始判别模型根据所述高动态范围图像得到各所述第二生成图像的判别结果的步骤以及后续步骤。
8.一种暗光成像装置，其特征在于，应用于移动终端，所述暗光成像装置包括：
待处理图像获取模块，用于获取第一待处理图像和所述第一待处理图像对应的拍摄环境亮度；
第一预处理模块，用于若所述拍摄环境亮度小于预设环境亮度，则对所述第一待处理图像进行预处理，得到第二待处理图像；
拍摄图像获取模块，用于将所述第二待处理图像输入至已训练的生成对抗网络模型中，获取所述生成对抗网络模型 输出的拍摄图像；
其中，所述生成对抗网络模型包括训练方式为对抗式训练的生成模型与判别模型，所述生成模型为利用多组训练图像训练得到的卷积网络模型，每组训练图像包括作为训练输入的第一训练图像和作为训练输出的第二训练图像，所述第二训练图像的清晰度高于所述第一训练图像的清晰度，所述清晰度为图像中地物边界或物体边界上的像素点的像素值和与所述地物边界或物体边界相邻的像素点的像素值之间的差值。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述暗光成像方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述暗光成像方法的步骤。
CN201910507768.0A 2019-06-12 2019-06-12 一种暗光成像方法、装置、可读存储介质及终端设备 Active CN112087556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910507768.0A CN112087556B (zh) 2019-06-12 2019-06-12 一种暗光成像方法、装置、可读存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910507768.0A CN112087556B (zh) 2019-06-12 2019-06-12 一种暗光成像方法、装置、可读存储介质及终端设备

Publications (2)

Publication Number Publication Date
CN112087556A CN112087556A (zh) 2020-12-15
CN112087556B true CN112087556B (zh) 2023-04-07

Family

ID=73733566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910507768.0A Active CN112087556B (zh) 2019-06-12 2019-06-12 一种暗光成像方法、装置、可读存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN112087556B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115633259B (zh) * 2022-11-15 2023-03-10 深圳市泰迅数码有限公司 基于人工智能的智能摄像头自动调控方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN107862270A (zh) * 2017-10-31 2018-03-30 深圳云天励飞技术有限公司 人脸分类器训练方法、人脸检测方法及装置、电子设备
CN108765344A (zh) * 2018-05-30 2018-11-06 南京信息工程大学 一种基于深度卷积神经网络的单幅图像雨线去除的方法
CN109118447A (zh) * 2018-08-01 2019-01-01 Oppo广东移动通信有限公司 一种图片处理方法、图片处理装置及终端设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN107862270A (zh) * 2017-10-31 2018-03-30 深圳云天励飞技术有限公司 人脸分类器训练方法、人脸检测方法及装置、电子设备
CN108765344A (zh) * 2018-05-30 2018-11-06 南京信息工程大学 一种基于深度卷积神经网络的单幅图像雨线去除的方法
CN109118447A (zh) * 2018-08-01 2019-01-01 Oppo广东移动通信有限公司 一种图片处理方法、图片处理装置及终端设备

Also Published As

Publication number Publication date
CN112087556A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
CN107403421B (zh) 一种图像去雾方法、存储介质及终端设备
EP4109392A1 (en) Image processing method and image processing device
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
US11600025B2 (en) Image processing method, image processing apparatus, image processing system, and learnt model manufacturing method
CN110675336A (zh) 一种低照度图像增强方法及装置
WO2021057474A1 (zh) 主体对焦方法、装置、电子设备和存储介质
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
US11508038B2 (en) Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system
WO2022133194A1 (en) Deep perceptual image enhancement
CN111028170B (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
KR102095443B1 (ko) 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치
CN112348747A (zh) 图像增强方法、装置及存储介质
WO2020093782A1 (en) Method, system, and computer-readable medium for improving quality of low-light images
CN110675334A (zh) 一种图像增强方法及装置
CN115496668A (zh) 图像处理方法、装置、电子设备及存储介质
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
CN110717864B (zh) 一种图像增强方法、装置、终端设备及计算机可读介质
CN111814745A (zh) 手势识别方法、装置、电子设备及存储介质
CN112087556B (zh) 一种暗光成像方法、装置、可读存储介质及终端设备
CN113658065A (zh) 图像降噪方法及装置、计算机可读介质和电子设备
CN111105370B (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111383188B (zh) 一种图像处理方法、系统及终端设备
US20230222639A1 (en) Data processing method, system, and apparatus
CN112489144A (zh) 图像处理方法、图像处理装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant