CN109191388A - 一种暗图像处理方法及系统 - Google Patents

Abstract

本申请实施例公开了一种暗图像处理方法及系统，涉及图像处理技术领域。所述方法包括：获取网络训练的图像数据集；搭建全卷积网络结构；训练所述全卷积网络；生成全卷积网络模型；根据所述全卷积网络模型，处理暗图像。本申请的暗图像处理方法及系统，通过获取图像数据集，训练搭建的全卷积网络，利用生成的全卷积网络模型处理暗图像，提高图像处理效果，改善摄影体验。

Description

一种暗图像处理方法及系统

技术领域

本申请涉及图像处理技术领域，尤其涉及暗图像处理方法及系统。

背景技术

随着移动互联网、移动终端的发展，信息以超出想象的速度发生爆发式的增长。在信息时代，图像是用户信息交互的重要载体，使用移动终端拍照已成为一种生活方式。但在暗光条件，由于低亮度和低信噪比等致使图像质量下降，而长曝光的拍摄条件导致图像模糊且不真实。目前，暗光条件的拍摄图像可以利用去噪、去模糊、图像增强等技术进行图像处理。然而，现有技术的缩放或直方图拉伸等图像后处理可以缓解噪声影响，但不能从根本上解决低信噪比问题。此外，若采用物理方法在暗光条件增加信噪比，例如，开放光圈、延长曝光时间以及使用闪光灯等，也存在无法抓拍等缺陷。暗光条件的快速成像系统一直是计算摄影的挑战，需要进一步研究。

因此，期望提供一种暗图像处理方法及系统，通过获取图像数据集，训练搭建的全卷积网络，利用生成的全卷积网络模型处理暗图像，提高图像处理效果，改善摄影体验。

发明内容

根据本申请的一些实施例的第一方面，提供了一种暗图像处理方法，应用于终端(例如，电子设备等)中，所述方法可以包括：获取网络训练的图像数据集；搭建全卷积网络结构；训练所述全卷积网络；生成全卷积网络模型；根据所述全卷积网络模型，处理暗图像。

在一些实施例中，所述获取网络训练的图像数据集包括获取明暗成对的目标图像集和输入图像集。

在一些实施例中，所述训练所述全卷积网络进一步包括：裁剪所述目标图像集和所述输入图像集；翻转所述目标图像集和所述输入图像集；执行所述全卷积网络的迭代训练。

在一些实施例中，所述裁剪用于缩小图像尺寸；所述翻转用于图像数据增强，包括水平翻转和竖直翻转。

在一些实施例中，所述搭建全卷积网络结构进一步包括：构建多个卷积层和池化层，逐层执行反卷积、反池化处理，用于像素值预测；增加反卷积层和反池化层对卷积层得到的特征图进行上采样，并对结果执行图像相加、图像插值操作，以还原图像尺寸。

在一些实施例中，所述像素值预测包括像素预测，以及每一像素的RGB值预测。

在一些实施例中，所述全卷积网络结构包括一次或多次卷积和池化，一次或多次反卷积和反池化，以及插值。

在一些实施例中，所述卷积操作和反卷积操作包括将卷积核在图像上往返移动扫描，计算得到卷积或反卷积后的图像；所述池化操作包括对卷积图像每隔两个像素取一个区域最大值，得到池化图像；所述反池化操作包括将图像案子池化时的最大值的位置反向扩充，非最大值位置执行零值处理，得到反池化图像；所述插值操作包括用相邻的像素值取均值插入在两个像素之间，以扩大一倍图像尺寸。

在一些实施例中，所述根据所述全卷积网络模型，处理暗图像进一步包括：向所述全卷积网络模型，输入一个暗图像；根据所述全卷积网络模型，处理所述暗图像；输出所述暗图像对应的亮图像。

根据本申请的一些实施例的第二方面，提供了一个系统，包括：一个存储器，被配置为存储数据及指令；一个与存储器建立通信的处理器，其中，当执行存储器中的指令时，所述处理器被配置为：获取网络训练的图像数据集；搭建全卷积网络结构；训练所述全卷积网络；生成全卷积网络模型；根据所述全卷积网络模型，处理暗图像。

因此，根据本申请的一些实施例的暗图像处理方法及系统，通过获取图像数据集，训练搭建的全卷积网络，利用生成的全卷积网络模型处理暗图像，提高图像处理效果，改善摄影体验。

附图说明

为更好地理解并阐述本申请的一些实施例，以下将结合附图参考实施例的描述，在这些附图中，同样的数字编号在附图中指示相应的部分。

图1是根据本申请的一些实施例提供的网络环境系统的示例性示意图。

图2是根据本申请的一些实施例提供的电子设备功能配置的示例性单元示意图。

图3是根据本申请的一些实施例提供的暗图像处理方法的示例性流程图。

图4是根据本申请的一些实施例提供的训练全卷积网络模型的示例性流程图。

图5是根据本申请的一些实施例提供的具体的暗图像处理方法的示例性流程图。

图6是根据本申请的一些实施例提供的全卷积网络的示例性结构图。

具体实施方式

以下参考附图的描述为便于综合理解由权利要求及其等效内容所定义的本申请的各种实施例。这些实施例包括各种特定细节以便于理解，但这些仅被视为示例性的。因此，本领域技术人员可以理解对在此描述的各种实施例进行各种变化和修改而不会脱离本申请的范围和精神。另外，为简要并清楚地描述本申请，本申请将省略对公知功能和结构的描述。

在以下说明书和权利要求书中使用的术语和短语不限于字面含义，而是仅为能够清楚和一致地理解本申请。因此，对于本领域技术人员，可以理解，提供对本申请各种实施例的描述仅仅是为说明的目的，而不是限制所附权利要求及其等效定义的本申请。

下面将结合本申请一些实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一”、“一个”、“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个相绑定的列出项目的任何或所有可能组合。表达“第一”、“第二”、“所述第一”和“所述第二”是用于修饰相应元件而不考虑顺序或者重要性，仅仅被用于区分一种元件与另一元件，而不限制相应元件。

根据本申请一些实施例的终端可以是电子设备，该电子设备可以包括智能手机、个人电脑(PC，例如平板电脑、台式电脑、笔记本、上网本、掌上电脑PDA)、移动电话、电子书阅读器、便携式多媒体播放器(PMP)、音频/视频播放器(MP3/MP4)、摄像机、虚拟现实设备(VR)和可穿戴设备等中的一种或几种的组合。根据本申请的一些实施例，所述可穿戴设备可以包括附件类型(例如手表、戒指、手环、眼镜、或头戴式装置(HMD))、集成类型(例如电子服装)、装饰类型(例如皮肤垫、纹身或内置电子装置)等，或几种的组合。在本申请的一些实施例中，所述电子设备可以是灵活的，不限于上述设备，或者可以是上述各种设备中的一种或几种的组合。在本申请中，术语“用户”可以指示使用电子设备的人或使用电子设备的设备(例如人工智能电子设备)。

本申请实施例提供了一种暗图像处理方法。为了便于理解本申请实施例，以下将参考附图对本申请实施例进行详细描述。

图1是根据本申请的一些实施例提供的网络环境系统100的示例性示意图。如图1所示，网络环境系统100可以包括电子设备110、网络120和服务器130等。电子设备110可以包括总线111、处理器112、存储器113、输入/输出模块114、显示器115、通信模块116和物理键117等。在本申请的一些实施例中，电子设备110可以省略一个或多个元件，或者可以进一步包括一个或多个其它元件。

总线111可以包括电路。所述电路可以互连电子设备110内的一个或多个元件(例如，总线111、处理器112、存储器113、输入/输出模块114、显示器115、通信模块116和物理键117)。所述电路也可以在电子设备110内的一个或多个元件之间实现通信(例如，获取和/或发送信息)。

处理器112可以包括一个或多个协处理器(Co-processor)、应用处理器(AP，Application Processor)和通信处理器(Communication Processor)。作为示例，处理器112可以执行与电子设备110的一个或多个元件的控制和/或数据处理(例如，处理暗图像等操作)。

存储器113可以存储数据。所述数据可以包括与电子设备110中的一个或多个其它元件相关的指令或数据。例如，所述数据可以包括处理器112处理前的原始数据，中间数据和/或处理后的数据。存储器113可以包括非永久记忆性存储器和/或永久记忆性存储器。作为示例，存储器113可以存储暗图像、亮图像等。

根据本申请的一些实施例，存储器113可以存储软件和/或程序。所述程序可以包括内核、中间件、应用编程接口(API，Application Programming Interface)和/或应用程序(或“应用”)。

所述内核、所述中间件或所述应用编程接口的至少一部分可以包括操作系统(OS，Operating System)。作为示例，所述内核可以控制或管理用于执行其他程序(例如，中间件、应用编程接口和应用程序)中实现的操作或功能的系统资源(例如，总线111、处理器112、存储器113等)。此外，所述内核可以提供接口。所述接口可以通过所述中间件、所述应用编程接口或所述应用程序访问电子设备110的一个或多个元件以控制或管理系统资源。

所述中间件可以作为数据传输的中间层。所述数据传输可以允许应用编程接口或应用程序与所述内核通信用以交换数据。作为示例，所述中间件可以处理从所述应用程序获取的一个或多个任务请求。例如，所述中间件可以向一个或多个应用程序分配电子设备110的系统资源(例如，总线111、处理器112、存储器113等)的优先级，以及处理所述一个或多个任务请求。所述应用编程接口可以是所述应用程序用于控制从所述内核或所述中间件提供功能的接口。所述应用编程接口也可以包括一个或多个接口或功能(例如，指令)。所述功能可以用于启动控制、数据通道控制、安全控制、通信控制、文件控制、窗口控制、文本控制、图像处理、信息处理等。

输入/输出模块114可以向电子设备110的其他元件发送从用户或外部设备输入的指令或数据。输入/输出模块114也可以将从电子设备110的其他元件获取的指令或数据输出给用户或外部设备。在一些实施例中，输入/输出模块114可以包括输入单元，用户可以通过所述输入单元输入信息或指令。

显示器115可以显示内容。所述内容可以向用户显示各种类型(例如，文本、图像、视频、图标和/或符号等，或几种的组合)。显示器115可以包括液晶显示器(LCD，LiquidCrystal Display)、发光二极管(LED，Light-Emitting Diode)显示器、有机发光二极管(OLED，Organic Light Emitting Diode)显示器、微型机电系统(MEMS，Micro ElectroMechanical Systems)显示器或电子纸显示器等，或几种的组合。显示器115可以包括显示屏、触摸屏等。所述显示屏可以显示暗图像、亮图像等。所述红外图像可以通过红外摄像头采集得到；所述普通图像可以通过普通摄像头采集得到。在一些实施例中，显示器115可以显示虚拟键。所述触摸屏可以获取所述虚拟键的输入。显示器115可以通过所述触摸屏获取输入。所述输入可以包括触摸输入、手势输入、动作输入、接近输入、电子笔或用户身体部分的输入(例如，悬停输入)。

通信模块116可以配置设备之间的通信。在一些实施例中，网络环境系统100可以进一步包括电子设备140。作为示例，所述设备之间的通信可以包括电子设备110和其他设备(例如，服务器130或电子设备140)之间的通信。例如，通信模块116可以通过无线通信或有线通信连接到网络120，与其他设备(例如，服务器130或电子设备140)实现通信。

所述无线通信可以包括微波通信和/或卫星通信等。所述无线通信可以包括蜂窝通信(例如，全球移动通信(GSM，Global System for Mobile Communications)、码分多址(CDMA，Code Division MultipleAccess)、第三代移动通信(3G，The 3rd GenerationTelecommunication)、第四代移动通信(4G)、第五代移动通信(5G)、长期演进技术(LTE，Long Term Evolution)、长期演进技术升级版(LTE-A，LTE-Advanced)、宽带码分多址(WCDMA，Wideband Code Division MultipleAccess)、通用移动通信系统(UMTS，UniversalMobile Telecommunications System)、无线宽带(WiBro，Wireless Broadband)等，或几种的组合。根据本申请的一些实施例，所述无线通信可以包括无线局域网(WiFi，WirelessFidelity)、蓝牙、低功耗蓝牙(BLE，Bluetooth Low Energy)、紫蜂协议(ZigBee)、近场通讯(NFC，Near FieldCommunication)、磁安全传输、射频和体域网(BAN，BodyAreaNetwork)等，或几种的组合。根据本申请的一些实施例，所述有线通信可以包括全球导航卫星系统(Glonass/GNSS，Global Navigation Satellite System)、全球定位系统(GPS，GlobalPosition System)、北斗导航卫星系统或伽利略(欧洲全球卫星导航系统)等。所述有线通信可以包括通用串行总线(USB，Universal Serial Bus)、高清多媒体接口(HDMI，High-Definition Multimedia Interface)、推荐标准232(RS-232，Recommend Standard 232)、和/或简易老式电话服务(POTS，Plain Old Telephone Service)等，或几种的组合。

物理键117可以用于用户交互。物理键117可以包括一个或多个实体键。在一些实施例中，用户可以自定义物理键117的功能。作为示例，物理键117可以发送指令。所述指令可以包括启动网络模型训练、启动暗图像处理等。

在一些实施例中，电子设备110可以进一步包括传感器。所述传感器可以包括但不限于光敏传感器、声敏传感器、气敏传感器、化学传感器、压敏传感器、温敏传感器、流体传感器、生物传感器、激光传感器、霍尔传感器、位置传感器、加速度传感器、智能传感器等，或几种的组合。

在一些实施例中，电子设备110可以进一步包括红外设备、图像采集设备等。作为示例，所述红外设备可以通过红外线投射方式，以及眨眼识别、注视识别等技术获取眼睛的信息。例如，所述红外设备可以采集红外图像等。又例如，所述红外设备通过采集用户的眨眼动作来认证用户信息。作为示例，所述图像采集设备可以包括摄像头、虹膜装置等。所述摄像头可以实现眼球追踪等功能。所述虹膜装置可以利用虹膜识别技术进行身份认证(例如，认证用户信息)。所述虹膜装置可以包括虹膜摄像头，所述虹膜摄像头可以获取虹膜信息，所述虹膜信息可以存储在存储器113中。

网络120可以包括通信网络。所述通信网络可以包括计算机网络(例如，局域网(LAN，Local Area Network)或广域网(WAN，Wide Area Network))、互联网和/或电话网络等，或几种的组合。网络120可以向网络环境系统100中的其他设备(例如，电子设备110、服务器130、电子设备140等)发送信息。

服务器130可以通过网络120连接网络环境系统100中的其他设备(例如，电子设备110、电子设备140等)。在一些实施例中，服务器130可以通过网络120与电子设备110进行数据传输等。例如，服务器130可以通过网络120向电子设备110发送暗图像和/或明暗成对的图像集等，电子设备110可以通过网络120向服务器130发送暗图像和/或亮图像等。

电子设备140可以与电子设备110相同或不同的类型。根据本申请的一些实施例，在电子设备110中执行的部分或全部操作可以在另一设备或多个设备(例如，电子设备140和/或服务器130)中执行。在一些实施例中，当电子设备110自动或响应于请求执行一种或多种功能和/或服务时，电子设备110可以请求其他设备(例如，电子设备140和/或服务器130)替代执行功能和/或服务。在一些实施例中，电子设备110除执行功能或服务外，进一步执行与其相关的一种或多种功能。在一些实施例中，其他设备(例如，电子设备140和/或服务器130)可以执行所请求的功能或其它相关的一种或多种功能，可以将执行结果发送给电子设备110。电子设备110可以重复执行结果或进一步处理执行结果，以提供所请求的功能或服务。作为示例，电子设备110可以使用云计算、分布式技术和/或客户端-服务端计算计算等，或几种的组合。在一些实施例中，根据云计算服务性质的不同，所述云计算可以包括公有云、私有云和混合云等。例如，电子设备110可以与电子设备140进行数据传输等，例如，共享暗图像、亮图像和/或明暗成对的图像集等。

需要说明的是，以上对于网络环境系统100的描述，仅为描述方便，并不能把本申请限制在所举实施例的范围之内。可以理解，对于本领域技术人员，基于本系统的原理，可能在不背离该原理的前提下，对各个元件进行任意组合，或者构成子系统与其他元件连接，对实施上述方法和系统的应用领域进行形式和细节上的各种修正和改变。例如，网络环境系统100可以进一步包括数据库等。又例如，电子设备110可以不包括物理键117等。诸如此类的变形，均在本申请的保护范围之内。

图2是根据本申请的一些实施例提供的电子设备功能配置的示例性单元框图。如图2所示，处理器112可以包括处理模块200，所述处理模块200可以包括获取单元210，确定单元220，控制单元230，生成单元240，处理单元250。

根据本申请的一些实施例，获取单元210可以获取数据。在一些实施例中，所述数据可以包括信息，所述信息可以包括但不限于文本、图像、音频、视频、动作、手势、声音、眼睛(例如，虹膜信息等)、气息、光等，或几种的组合。在一些实施例中，所述信息可以包括但不限于输入信息、系统信息和/或通信信息等。作为示例，获取单元210可以通过输入/输出模块114、显示器115的触摸屏、物理键117和/或传感器获取电子设备110的输入信息。所述输入信息可以包括其他设备(例如，电子设备140)和/或用户的输入，例如，按键输入、触控输入、手势输入、动作输入、远程输入、传输输入、眼睛输入、声音输入、气息输入、光输入等，或几种的组合。所述输入信息的获取部件可以包括但不限于红外设备、图像采集设备、传感器等，或几种的组合。作为示例，获取单元210可以通过图像采集设备获取暗图像、亮图像和/或明暗成对的图像集等。

在一些实施例中，获取单元210可以通过网络120获取通信信息。所述通信信息可以包括应用软件信息、通讯信号(例如，语音信号、视频信号等)、短消息等。在一些实施例中，获取单元210可以通过网络120、存储器113和/或传感器获取系统信息。所述系统信息可以包括但不限于电子设备110的系统状态、预设信息、存储器113存储的信息(例如，虹膜认证信息等)等，或几种的组合。

在一些实施例中，所述信息可以包括指令。所述指令包括用户指令和/或系统指令等，或几种的组合。所述指令可以包括触发指令、认证指令、填写指令等，或几种的组合。所述认证指令可以包括认证用户信息指令等。作为示例，当用户按下物理键(例如，快捷键等)时，电子设备110可以启动网络模型对暗图像增强亮度和清晰度处理操作。

根据本申请的一些实施例，确定单元220可以确定信息。在一些实施例中，确定单元220可以确定全卷积网络结构。作为示例，确定单元220可以通过获取的图像数据集，确定全卷积网络结构等。在一些实施例中，确定单元220可以通过更新的卷积层，确定像素值预测。

根据本申请的一些实施例，控制单元230可以控制网络训练。在一些实施例中，控制单元230可以利用图像数据集训练全卷积网络。作为示例，控制单元230可以根据全卷积网络结构，训练所述全卷积网络。在一些实施例中，控制单元230可以利用输入图像集，执行全卷积网络的迭代训练等。

根据本申请的一些实施例，生成单元240可以生成数据。在一些实施例中，生成单元240可以通过控制单元230的迭代训练，生成全卷积网络模型。在一些实施例中，生成单元240可以通过全卷积网络模型处理输入图像集，生成目标图像集。作为示例，生成单元240可以通过全卷积网络模型处理暗图像，生成与暗图像对应的亮图像等。

根据本申请的一些实施例，处理单元250可以处理数据。在一些实施例中，处理单元250可以处理输入图像集和/或目标图像集。作为示例，处理单元250可以裁剪或翻转输入图像集和/或目标图像集。在一些实施例中，处理单元250可以处理暗图像等。作为示例，处理单元250可以利用全卷积网络模型处理暗图像等。

需要说明的是，以上对于处理模块200中的单元描述，仅为描述方便，并不能把本申请限制在所举实施例的范围之内。可以理解，对于本领域技术人员，基于本系统的原理，可能在不背离该原理的前提下，对各个单元进行任意组合，或者构成子模块与其他单元连接，对实施上述模块和单元的功能进行形式和细节上的各种修正和改变。例如，处理模块200可以进一步分析单元，用于认证当前用户信息与存储用户信息的一致性等。又例如，处理模块200可以进一步包括存储单元，所述存储单元可以存储暗图像、亮图像等。诸如此类的变形，均在本申请的保护范围之内。

图3是根据本申请的一些实施例提供的暗图像处理方法的示例性流程图。如图3所示，流程300可以通过处理模块200实现。

在301，获取网络训练的图像数据集。操作301可以通过处理模块200的获取单元210实现。在一些实施例中，获取单元210可以通过网络120、输入/输出模块114、图像采集设备等获取网络训练的图像数据集。在一些实施例中，所述图像数据集可以包括明暗成对的输入图像集和目标图像集。所述明暗成对的输入图像集和目标图像集可以包括暗光环境获取的输入图像集(例如，暗图像)以及对应的亮光环境获取的目标图像集(例如，亮图像)等。

在302，搭建全卷积网络结构。操作302可以通过处理模块200的确定单元220、处理单元250实现。在一些实施例中，确定单元220可以确定全卷积网络结构，处理单元250可以搭建所述全卷积网络结构。所述全卷积网络结构，可以包括多个卷积层和池化层，并将神经网络的全连接层替换为反卷积层、反池化层，用于像素值预测；增加反卷积层和反池化层对卷积层得到的特征图进行上采样，通过图像插值，图像相加等还原图像尺寸，并实现不同尺度图像细节的还原。所述神经网络包括将多个卷积层和池化层叠加在一起，最后通过全连接层输出不同的分类类别。所述卷积层可以用于提取特征，所述卷积的结果可以称为特征图。所述不同尺度指可以为在图像清晰度处理的过程中，不同的反卷积层还原的图像细节尺度不一样。第一和第二反卷积层，对图像纹理的细节还原效果好，第三和第四反卷积层对图像的物体轮廓还原效果好，需要将不同反卷积层的图像相加，以保证图像还原的清晰度。所述像素值预测可以包括像素预测，以及每一像素的RGB值预测。所述上采样可以包括反卷积和反池化两项操作处理。

图6是根据本申请的一些实施例提供的全卷积网络的示例性结构图。如图6所示，全卷积网络结构600可以通过处理模块200实现。全卷积网络结构600可以是流程300中操作302搭建的一种全卷积网络的示例性结构图。根据本申请的一些实施例，所述全卷积网络结构可以包括一次或多次卷积和池化，一次或多次反卷积和反池化，以及插值。所述卷积操作和反卷积操作可以包括将卷积核在图像上往返移动扫描，计算得到卷积或反卷积后的图像。所述池化操作可以包括对卷积图像每隔两个像素取一个区域最大值，得到池化图像。所述反池化操作可以包括将图像案子池化时的最大值的位置反向扩充，非最大值位置执行零值处理，得到反池化图像。所述插值操作可以包括将图像尺寸扩大一倍。所述插值操作可以包括用相邻的像素值取均值插入在两个像素之间，以扩大一倍图像尺寸。所述图像插值方法可以包括最邻近元法或其他图像插值方法(双线性内插法、三次内插法等)。

在303，训练所述全卷积网络。操作303可以通过处理模块200的控制单元230实现。在一些实施例中，控制单元230可以根据获取的图像数据集以及搭建的全卷积网络结构，训练所述全卷积网络。

在304，生成全卷积网络模型。操作304可以通过处理模块200的生成单元240实现。在一些实施例中，生成单元240可以通过图像数据集在全卷积网络中的训练，生成全卷积网络模型。

根据本申请的一些实施例，流程300可以进一步包括裁剪或翻转所述图像数据集。在一些实施例中，处理单元250可以裁剪或翻转所述图像数据集。所述图像裁剪可以包括相对裁剪、绝对裁剪、固定裁剪、缩略图、大小裁剪等，或几种的组合。作为示例，所述明暗成对的目标图像集和输入图像集可以裁剪为预设大小的图像，以缩小图像尺寸，并进一步提高训练速度。在一些实施例中，所述翻转用于图像数据增强，包括水平翻转和竖直翻转。作为示例，所述明暗成对的目标图像集和输入图像集可以分别做水平翻转，和/或竖直翻转，以增加网络训练的图像数量，提高训练精度。

在305，根据所述全卷积网络模型，处理暗图像。操作305可以通过处理模块200的处理单元250现。在一些实施例中，处理单元250可以通过所述全卷积网络模型，处理暗图像。作为示例，暗图像作为所述全卷积网络模型的输入图像，处理单元250可以通过所述全卷积网络模型处理输入的所述暗图像，并输出所述暗图像对应的目标图像(例如，亮图像)。

根据本申请的一些实施例，流程300可以进一步包括生成亮图像。在一些实施例中，生成单元240可以通过所述暗图像在所述全卷积网络中的处理，生成与所述暗图像对应的亮图像。

根据本申请的一些实施例，流程300通过图像到图像的训练方式，训练深度神经网络学习暗光环境下原始图像处理技术，可以包括颜色转换，去马赛克，降噪和图像增强等。所述全卷积网络模型利用图像到图像的训练方式，可以有效避免放大噪声，改善图像处理效果。

需要说明的是，以上对于流程300的描述，仅为描述方便，并不能把本申请限制在所举实施例的范围之内。可以理解，对于本领域技术人员，基于本系统的原理，可能在不背离该原理的前提下，对各个操作进行任意组合，或者构成子流程与其它操作组合，对实施上述流程和操作的功能进行形式和细节上的各种修正和改变。例如，流程300可以进一步包括裁剪或翻转所述图像数据集、生成亮图像等操作。诸如此类的变形，均在本申请的保护范围之内。

图4是根据本申请的一些实施例提供的训练全卷积网络模型的示例性流程图。如图4所示，流程400可以通过处理模块200实现。流程400是流程300中操作301至操作304的一种具体实现方式。

在401，获取明暗成对的目标图像集和输入图像集。操作401可以通过处理模块200的获取单元210实现。在一些实施例中，获取单元210可以通过输入/输出模块114获取明暗成对的目标图像集和输入图像集。所述明暗成对的目标图像集和输入图像集可以利用图像采集设备通过同一角度或相近位置的不同曝光时间采集得到。

在402，裁剪所述目标图像集和所述输入图像集。操作402可以通过处理模块200的处理单元250实现。所述裁剪可以用于缩小所述目标图像集和所述输入图像集的图像尺寸。在一些实施例中，所述图像裁剪可以包括相对裁剪、绝对裁剪、固定裁剪、缩略图、大小裁剪等，或几种的组合。在一些实施例中，处理单元250可以利用图像分割，裁剪所述目标图像集和所述输入图像集。所述图像分割方法可以包括但不限于基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。作为示例，所述明暗成对的目标图像集和输入图像集可以裁剪为预设大小的图像，以缩小图像尺寸，并进一步提高训练速度。

在403，翻转所述目标图像集和所述输入图像集。操作403可以通过处理模块200的处理单元250实现。所述翻转可以用于所述目标图像集和所述输入图像集的图像数据增强，包括水平翻转和竖直翻转。在一些实施例中，处理单元250可以将所述目标图像集和所述输入图像集做水平翻转，和/或竖直翻转处理，以增加网络训练的图像数量，提高训练精度。

在404，执行全卷积网络的迭代训练。操作404可以通过处理模块200的控制单元230实现。在一些实施例中，控制单元230可以根据所述目标图像集和所述输入图像集，执行全卷积网络的迭代训练。

图6是根据本申请的一些实施例提供的全卷积网络的示例性结构图。如图6所示，全卷积网络结构600可以通过处理模块200实现。如图6所示，全卷积网络结构600可以包括流程400中操作404的一种具体实现方式。作为示例，控制单元230可以对一个任意尺寸(长为W，宽为H)的输入图像集(例如，暗图像)，做第一次卷积(Conv)和池化(Pooling)，卷积后尺寸不变，池化后图像尺寸降一半，得到尺寸为(W/2*H/2)的卷积图像；做第二次卷积(Conv)和池化(Pooling)，卷积后尺寸不变，池化后图像尺寸降一半，得到尺寸为(W/4*H/4)的卷积图像；做第三次卷积(Conv)和池化(Pooling)，卷积后尺寸不变，池化后图像尺寸降一半，得到尺寸为(W/8*H/8)的卷积图像；做第四次卷积(Conv)和池化(Pooling)，卷积后尺寸不变，池化后图像尺寸降一半，得到卷积图像尺寸为原尺寸的1/16(W/16*H/16)。

进一步，控制单元230可以对第四次处理得到的卷积图像(W/16*H/16)通过第一反卷积层执行反卷积(Deconv)，反池化(Unpooling)和插值(Interp)，反卷积图像尺寸不变，反池化和插值操作均会使图像尺寸扩大一倍(即，反池化后图像尺寸*2；插值操作后图像尺寸*2)，以得到图像尺寸为W/4*H/4的第四亮图像；对第三次处理得到的卷积图像(W/8*H/8)通过第二反卷积层执行反卷积(Deconv)和反池化(Unpooling)，反卷积图像尺寸不变，反池化会使图像尺寸扩大一倍(即，反池化后图像尺寸*2)，以得到图像尺寸为W/4*H/4的第三亮图像；对第二次处理得到的卷积图像(W/4*H/4)通过第三反卷积层执行反卷积(Deconv)和反池化(Unpooling)，反卷积图像尺寸不变，反池化会使图像尺寸扩大一倍(即，反池化后图像尺寸*2)，以得到图像尺寸为W/2*H/2的第二亮图像；对第一次处理得到的卷积图像(W/2*H/2)通过第四反卷积层执行反卷积(Deconv)和反池化(Unpooling)，反卷积图像尺寸不变，反池化会使图像尺寸扩大一倍(即，反池化后图像尺寸*2)，以得到图像尺寸为W*H的第一亮图像。

进一步，控制单元230可以将所述第四亮图像(W/4*H/4)与第三亮图像(W/4*H/4)相加，图像相加后尺寸不变，相加后的图像做插值(Interp)，插值操作使图像尺寸扩大一倍(即，插值操作后图像尺寸*2)，得到第一相加图像(W/2*H/2)；将所述第一相加图像(W/2*H/2)与第二亮图像(W/2*H/2)相加，图像相加后尺寸不变，相加后的图像做插值(Interp)，插值操作使图像尺寸扩大一倍(即，插值操作后图像尺寸*2)，得到第二相加图像(W*H)；将所述第二相加图像(W*H)与第一亮图像(W*H)相加，图像相加后尺寸不变，相加后的图像做插值(Interp)，插值操作使图像尺寸扩大一倍(即，插值操作后图像尺寸*2)，得到第三相加图像(W*H)。所述第三相加图像(W*H)即全卷积网络训练的目标图像集。所述图像相加可以增强图像纹理的还原效果以及图像轮廓的还原效果。

在405，生成全卷积网络模型。操作405可以通过处理模块200的生成单元240实现。在一些实施例中，生成单元240可以根据所述全卷积网络的迭代训练，生成全卷积网络模型。

图5是根据本申请的一些实施例提供的具体的暗图像处理方法的示例性流程图。如图5所示，流程500可以通过处理模块200实现。流程500是流程300中操作305的一种具体实现方式。

在501，获取全卷积网络模型。操作501可以通过处理模块200的获取单元210实现。在一些实施例中，获取单元210可以通过网络120获取全卷积网络模型。

在502，输入一个暗图像。操作502可以通过处理模块200的获取单元210、控制单元230实现。在一些实施例中，获取单元210可以获取一个暗图像；控制单元230可以将所述获取的暗图像输入所述全卷积网络模型。

在503，根据所述全卷积网络模型，处理所述暗图像。操作503可以通过处理模块200的处理单元250实现。在一些实施例中，处理单元250可以根据所述全卷积网络模型，处理所述暗图像。

在504，输出所述暗图像对应的亮图像。操作504可以通过处理模块200的控制单元230、生成单元240实现。在一些实施例中，控制单元230可以利用所述全卷积网络模型输出所述暗图像对应的目标图像。作为示例，控制单元230可以输出生成单元240生成的所述暗图像对应的亮图像。

根据本申请的一些实施例，所述全卷积网络模型利用原始的低曝光率、低亮度输入图像，以及对应的长曝光率目标图像作为数据集，构建一种端到端训练模式的全卷积网络结构，用于处理低亮度图像。所述全卷积网络模型直接使用原始的低亮度图像，替代了大量的传统图像处理流程，直接通过训练的网络将图像映射成明亮清晰的目标图像。

根据本申请的一些实施例，所述全卷积网络模型实现的暗图像处理方法，无需通过长曝光来提高图像亮度，以便于移动端在无三脚架的情况下，保证手持拍摄的效果。此外，利用所述全卷积网络模型的暗图像处理方法可以现实黑暗环境下的抓拍操作，以克服传统的长时间曝光方法，无法满足拍摄清晰图像的需求。所述暗图像处理方法可以进一步减少暗光环境下拍摄对闪光灯的需求。

需要说明的是，以上对于流程400、流程500的描述，仅为描述方便，并不能把本申请限制在所举实施例的范围之内。可以理解，对于本领域技术人员，基于本系统的原理，可能在不背离该原理的前提下，对各个操作进行任意组合，或者构成子流程与其它操作组合，对实施上述流程和操作的功能进行形式和细节上的各种修正和改变。诸如此类的变形，均在本申请的保护范围之内。

综上所述，根据本申请实施例的暗图像处理方法及系统，通过获取图像数据集，训练搭建的全卷积网络，利用生成的全卷积网络模型处理暗图像，提高图像处理效果，改善摄影体验。

需要注意的是，上述的实施例仅仅是用作示例，本申请不限于这样的示例，而是可以进行各种变化。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于一计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(Read-Only Memory，ROM)或随机存储器(Random Access Memory，RAM)等。

以上所揭露的仅为本申请一些优选的实施例，不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种暗图像处理方法，其特征在于，包括：

获取网络训练的图像数据集；

搭建全卷积网络结构；

训练所述全卷积网络；

生成全卷积网络模型；

根据所述全卷积网络模型，处理暗图像。

2.根据权利要求1所述的暗图像处理方法，其特征在于，所述获取网络训练的图像数据集包括获取明暗成对的目标图像集和输入图像集。

3.根据权利要求2所述的暗图像处理方法，其特征在于，所述训练所述全卷积网络进一步包括：

裁剪所述目标图像集和所述输入图像集；

翻转所述目标图像集和所述输入图像集；

执行所述全卷积网络的迭代训练。

4.根据权利要求3所述的暗图像处理方法，其特征在于，所述裁剪用于缩小图像尺寸；所述翻转用于图像数据增强，包括水平翻转和竖直翻转。

5.根据权利要求1所述的暗图像处理方法，其特征在于，所述搭建全卷积网络结构进一步包括：

构建多个卷积层和池化层，逐层执行反卷积、反池化处理，用于像素值预测；

增加反卷积层和反池化层对卷积层得到的特征图进行上采样，并对结果执行图像相加、图像插值操作，以还原图像尺寸。

6.根据权利要求5所述的暗图像处理方法，其特征在于，所述像素值预测包括像素预测，以及每一像素的RGB值预测。

7.根据权利要求5所述的暗图像处理方法，其特征在于，所述全卷积网络结构包括一次或多次卷积和池化，一次或多次反卷积和反池化，以及插值。

8.根据权利要求7所述的暗图像处理方法，其特征在于，所述卷积操作和反卷积操作包括将卷积核在图像上往返移动扫描，计算得到卷积或反卷积后的图像；所述池化操作包括对卷积图像每隔两个像素取一个区域最大值，得到池化图像；所述反池化操作包括将图像案子池化时的最大值的位置反向扩充，非最大值位置执行零值处理，得到反池化图像；所述插值操作包括用相邻的像素值取均值插入在两个像素之间，以扩大一倍图像尺寸。

9.根据权利要求1所述的暗图像处理方法，其特征在于，所述根据所述全卷积网络模型，处理暗图像进一步包括：

向所述全卷积网络模型，输入一个暗图像；

根据所述全卷积网络模型，处理所述暗图像；

输出所述暗图像对应的亮图像。

10.一个系统，其特征在于，包括：

一个存储器，被配置为存储数据及指令；

一个与存储器建立通信的处理器，其中，当执行存储器中的指令时，所述处理器被配置为：

获取网络训练的图像数据集；

搭建全卷积网络结构；

训练所述全卷积网络；

生成全卷积网络模型；

根据所述全卷积网络模型，处理暗图像。