CN116152123B - 图像处理方法、电子设备及可读存储介质 - Google Patents

Abstract

一种图像处理方法、电子设备及可读存储介质，其中，该图像处理方法包括获取第一图像；对第一图像进行边缘检测，得到第一图像的边缘提取图；将第一图像和边缘提取图的点乘结果，与第一图像进行合并，得到合并后图像；利用合并后图像，对第一图像进行图像清晰度增强处理，得到第二图像，第二图像的清晰度高于第一图像，如此实现了提升图像的清晰度。

Description

图像处理方法、电子设备及可读存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、电子设备、计算机程序产品及计算机可读存储介质。

背景技术

针对低光照图像，手机等电子设备进行去噪声处理的力度通常较大，如此会致使图像的清晰度降低，例如图像的暗部区域信息不明显，线条不明显甚至涂抹严重。

基于此，需要提供一种图像处理方法，能够提升低光照图像的清晰度。

发明内容

本申请提供了一种图像处理方法、电子设备、计算机程序产品及计算机可读存储介质，目的在于提升低光照图像的清晰度。

为了实现上述目的，本申请提供了以下技术方案：

第一方面，本申请提供了一种图像处理方法，该方法包括：获取第一图像；对第一图像进行边缘检测，得到第一图像的边缘提取图；将第一图像和边缘提取图的点乘结果，与第一图像进行合并，得到合并后图像；利用合并后图像，对第一图像进行图像清晰度增强处理，得到第二图像，第二图像的清晰度高于第一图像。

在上述图像处理方法中，图像的边缘检测可以大幅度地减少图像的数据量，剔除图像数据中的不相关信息，保留图像的重要结构的信息。在第一图像的基础上点乘边缘提取图，可加强第一图像的轮廓，便于对第一图像进行图像清晰度增强处理过程中对图像轮廓的识别，以增强图像的线条清晰度，进而保证第二图像的清晰度高于第一图像的清晰度。进一步的，将第一图像和边缘提取图做点乘之后，可能会导致第一图像的细节内容丢失，在第一图像和边缘提取图的点乘结果合并第一图像，利用合并后图像对第一图像进行图像清晰度增强处理，得到第二图像，可以保证在图像清晰度增强处理过程中，利用第一图像补充图像的细节内容，如此还可以保证第二图像不缺失图像细节内容，以提升图像清晰度。

在一个可能的实施方式中，对第一图像进行边缘检测，得到第一图像的边缘提取图，包括：调用线条检测网络对第一图像进行边缘检测，得到第一图像的边缘提取图；线条检测网络用于对图像进行边缘检测。

在上述可能的实施方式中，线条检测网络用于对图像进行边缘检测，因此，可调用线条检测网络对第一图像进行边缘检测，得到第一图像的边缘提取图。

在一个可能的实施方式中，对合并后图像进行图像清晰度增强处理，得到第二图像，包括：调用图像增强网络对合并后图像进行图像清晰度增强处理，得到第二图像，图像增强网络用于将低光照图像处理成图像清晰度增强的图像。

在上述可能的实施方式中，图像增强网络用于将低光照图像处理成图像清晰度增强的图像，因此，可调用图像增强网络对合并后图像进行图像清晰度增强处理，得到第二图像，当然，第二图像的清晰度要高于第一图像。一些实施例中，图像增强网络可为U形神经网结构的网络。

在一个可能的实施方式中，线条检测网络包括U形神经网结构的网络和生成对抗网络的判别器，U形神经网结构的网络的输出值作为生成对抗网络的判别器的输入值。调用线条检测网络对第一图像进行边缘检测，得到第一图像的边缘提取图，包括：调用U形神经网结构的网络对第一图像进行边缘检测，得到第一图像的边缘提取图。

在上述可能的实施方式中，生成对抗网络的判别器用于识别输入值为真实值的概率，U形神经网结构的网络用于获得输入图像的边缘，即实现对输入图像的边缘检测。因此，调用U形神经网结构的网络对第一图像进行边缘检测，得到第一图像的边缘提取图。一些实施例中，U形神经网结构的网络的一种示例为U-Net。

在一个可能的实施方式中，线条检测网络的训练方式，包括：对样本图像进行下采样，得到下采样图像；利用边缘检测算法，对下采样图像进行边缘检测，得到边缘图像；对边缘图像进行上采样，得到与样本图像同等大小的边缘提取图；对样本图像进行退化降质处理，得到低光照带噪声图像；将低光照带噪声图像和边缘提取图作为一对训练样本，对线条检测网络进行训练。

在上述可能的实施方式中，对样本图像先进行下采样再进行边缘提取，最后再上采样得到样本图像的边缘提取图，可以通过下采样实现保留样本图像中的有效图像数据，去除干扰数据，进而保证以下采样图像进行边缘提取得到的边缘图像更准确。

在一个可能的实施方式中，将低光照带噪声图像和边缘提取图作为一对训练样本，对线条检测网络进行训练，包括：利用U形神经网结构的网络对低光照带噪声图像进行边缘检测，得到第一边缘图像；利用生成对抗网络的判别器对第一边缘图像进行处理，得到第二边缘图像；采用第一损失函数的损失和第二损失函数的损失形成的联合损失计算梯度，并以梯度训练线条检测网络；其中：第一损失函数的损失指代采用第一损失函数计算出的第一边缘图像和边缘提取图的损失；第二损失函数的损失指代采用第二损失函数计算出的第二边缘图像和边缘提取图的损失；第二损失函数包括生成对抗网络的判别器的损失函数。

在一个可能的实施方式中，图像增强网络的训练方式，包括：利用训练完成的线条检测网络对样本图像进行边缘检测，得到边缘提取图；对样本图像进行退化降质处理，得到低光照带噪声图像；将边缘提取图和低光照带噪声图像进行点乘的点乘结果，与低光照带噪声图像进行合并，得到合并图像；将合并图像和样本图像作为一对训练样本，对图像增强网络进行训练。

在一个可能的实施方式中，对第一图像进行边缘检测，得到第一图像的边缘提取图之前，还包括：计算第一图像的图像亮度；确定第一图像的图像亮度小于阈值。

在上述可能的实施方式中，在第一图像的图像亮度小于阈值的场景下，对第一图像进行边缘检测，可节省功耗。

在一个可能的实施方式中，对第一图像进行边缘检测，得到第一图像的边缘提取图之前，还包括：获取当前环境的环境光亮度；确定环境光亮度小于门限值，第一图像为当前环境下拍摄的图像。

在上述可能的实施方式中，在确定当前环境的环境光亮度小于门限值的场景下，对当前环境拍摄的第一图像进行边缘检测，也可节省功耗。

第二方面，本申请提供了一种电子设备，包括：一个或多个处理器、存储器、摄像头和显示屏；存储器、摄像头以及显示屏与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，电子设备执行第一方面中任意一项所述的方法。

第三方面，本申请提供了一种计算机可读存储介质，用于存储计算机程序，计算机程序被执行时，具体用于实现如第一方面中任意一项所述的方法。

第四方面，本申请提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面中任意一项所述的方法。

附图说明

图1为本申请实施例提供的低光照图像的展示图；

图2为本申请实施例提供的电子设备的硬件结构图；

图3为本申请实施例提供的电子设备的软件框架图；

图4为本申请实施例提供的线条检测器的训练过程的展示图；

图5为本申请实施例提供的线条检测器的训练过程的另一展示图；

图6为本申请实施例提供的U-Net的一种结构示意图；

图7为本申请实施例提供的图像增强网络的训练过程的展示图；

图8为本申请实施例提供的图像处理方法的展示图；

图9为本申请实施例提供的图像拍摄应用场景的图像处理方法的信令图；

图10为本申请实施例提供的处理图库的图像的应用场景的图像处理的方法的信令图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

用户在暗环境下使用电子设备拍摄图像，例如拍摄夜景图像，电子设备的摄像头拍摄的图像属于低光照图像。针对低光照图像，电子设备对图像进行的去噪声处理力度通常较大，如此会致使图像的暗部区域信息不明显，线条不明显甚至涂抹严重。针对此，本申请实施例提供一种图像处理方案，电子设备利用图像处理方案处理低光照图像，可提升在暗部区域的线条清晰度，使得图像清晰度更加出色。

示例性的，图1中（a）展示了一张去噪声处理后的低光照图像，图1中（b）展示了经本申请实施例提供的图像处理方案处理后的低光照图像，为使图像的内容显示清晰，图1中的两幅图被增强了明亮度，但这并不构成对图像的明亮度的限定。可以看出：图1中（a）的低光照图像的线条不清晰，暗部区域存在涂抹感；图1中的（b）的低光照图像的线条清晰度增强，暗部区域的图像清晰度也得以增强。

本申请实施例提供的图像处理方案可以适用于手机，平板电脑，个人数字助理（Personal Digital Assistant，PDA），桌面型、膝上型、笔记本电脑，超级移动个人计算机（Ultra-mobile Personal Computer，UMPC），手持计算机，上网本以及可穿戴设备等电子设备。

以手机为例，图2为本申请实施例提供的一种电子设备的组成示例。如图2所示，电子设备200可以包括处理器210、内部存储器220、摄像头230、显示屏240、移动通信模块250、无线通信模块260以及传感器模块270等。

可以理解的是，本实施例示意的结构并不构成对电子设备200的具体限定。在另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，智能传感集线器（sensorhub）和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器210中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了系统的效率。

内部存储器220可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器210通过运行存储在内部存储器220的指令，从而执行电子设备200的各种功能应用以及数据处理。内部存储器220可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器210通过运行存储在内部存储器220的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备200的各种功能应用以及数据处理。

一些实施例中，内部存储器220存储的是用于图像处理方法的指令。处理器210可以通过执行存储在内部存储器220中的指令，实现对低光照图像进行图像增强处理，得到图像清晰度增强的图像。

一些实施例中，内部存储器220还存储图像处理系统，图像处理系统可包括线条检测器和图像增强网络，线条检测器也可称为线条检测网络、线条检测模型或者线条检测模块，用于对输入图像进行边缘检测，得到边缘提取图；图像增强网络也可称为图像增强模型或图像增强模块，用于对低光照图像和边缘提取图进行处理，得到图像清晰度增强的图像。

电子设备可以通过ISP，摄像头230，视频编解码器，GPU，显示屏240以及应用处理器等实现拍摄功能。

ISP用于处理摄像头230反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头230中。

摄像头230包含镜头和感光元件（也为图像传感器）。摄像头230用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备可以包括1个或N个摄像头230，N为大于1的正整数。

电子设备通过GPU，显示屏240，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏240和应用处理器。GPU通过执行数学和几何计算，用于图像渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏240用于显示图像，视频界面等。显示屏240包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oled，量子点发光二极管(quantum dotlight emitting diodes，QLED)等。在一些实施例中，电子设备可以包括1个或N个显示屏240，N为大于1的正整数。

电子设备200的无线通信功能可以通过天线1，天线2，移动通信模块250，无线通信模块260，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块250可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施例中，移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。

无线通信模块260可以提供应用在电子设备200上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

传感器模块270中，环境光传感器270A用于感知环境光亮度。一些实施例中，电子设备可以根据感知的环境光亮度来获知环境光亮。

压力传感器270B用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器270B可以设置于显示屏240。压力传感器270B的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器270B，电极之间的电容改变。电子设备根据电容的变化确定压力的强度。当有触摸操作作用于显示屏240，电子设备根据压力传感器270B检测触摸操作强度。电子设备也可以根据压力传感器270B的检测信号计算触摸的位置。

触摸传感器270C，也称“触控器件”。触摸传感器270C可以设置于显示屏240，由触摸传感器270C与显示屏240组成触摸屏，也称“触控屏”。触摸传感器270C用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏240提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器270C也可以设置于电子设备的表面，与显示屏240所处的位置不同。

另外，在上述部件之上，电子设备运行有操作系统。例如iOS^®操作系统，Android^®操作系统，Windows^®操作系统等。在操作系统上可以安装运行应用程序。

图3为本申请实施例提供的电子设备的软件结构示意图。

分层架构将电子设备的操作系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，电子设备的操作系统为Android系统。Android系统可以分为五层，从上至下分别为应用程序（application，APP）层、应用程序框架层（简称为FWK）、系统库、硬件抽象层（Hardware Abstraction Layer，HAL）以及内核层。

应用程序层可以包括一系列应用程序包。如图3所示，应用程序包可以包括图库、地图、日历、通话和相机等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图3所示，应用程序框架层可以包括窗口管理服务，内容提供器，电话管理器，视图系统以及资源管理器等。

窗口管理服务用于管理窗口程序。窗口管理服务可以实现窗口的添加、删除、显示和隐藏控制等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。电话管理器用于提供电子设备的通信功能。例如通话状态的管理（包括接通，挂断等）。视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。在本申请一些实施例中，应用冷启动会在Android runtime中运行，Android runtime由此获取到应用的优化文件状态参数，进而Android runtime可以通过优化文件状态参数判断优化文件是否因系统升级而导致过时，并将判断结果返回给应用管控模块。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器（surface manager）、媒体库（Media Libraries）、三维图形处理库（例如：OpenGL ES）以及二维图形引擎（例如：SGL）等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。三维图形处理库用于实现三维图形绘图，图像渲染、合成和图层处理等。二维图形引擎是2D绘图的绘图引擎。

HAL位于内核层和应用程序框架层之间，起着承上启下的作用。一些实施例中，HAL层包括相机处理模块和图库处理模块，相机处理模块用于对摄像头拍摄的图像进行图像增强处理，得到图像清晰度增强的图像并提供于相机应用。图库处理模块，用于对图库应用的图像进行图像增强处理，得到图像清晰度增强的图像并提供于图库应用。相机处理模块和图库处理模块的具体工作过程，可参见图9和图10的实施例内容。

内核层是硬件和软件之间的层。内核层至少包含显示驱动和传感器驱动等。一些实施例中，显示驱动用于控制显示屏显示图像。传感器驱动用于控制多个传感器运行，如控制压力传感器、触摸传感器、环境光传感器以及图像传感器运行。

在上述五层架构之下，电子设备还设置有硬件层，硬件层可包括前述提出的电子设备硬件部件。示例性的，图3展示了显示屏和摄像头。

需要说明的是，本申请实施例虽然以Android^®系统为例进行说明，但是其基本原理同样适用于基于iOS^®、Windows^®等操作系统的电子设备。

下述实施例中所涉及的技术方案均可以在具有上述硬件架构和软件架构的电子设备中实现。

前述内容中提出：电子设备的内部存储器220存储有图像处理系统，图像处理系统可包括线条检测器和图像增强网络。

线条检测器属于U-Net结合GAN的网络。U-Net是一个用于医学图像分割的全卷积神经网络；GAN的全称是Generative adversarial network，可称呼为生成对抗网络。U-Net也可有更广泛的方式使用，U-Net指的是一般的U形神经网结构。

GAN主要结构包括一个生成器G（Generator）和一个判别器D（Discriminator）。

一些实施例中，U-Net结合GAN的方式可以为：以U-Net替代GAN框架中的生成器。

为了使U-Net和GAN结合的网络具有对输入图像进行边缘检测，得到边缘提取图的功能，需要对U-Net和GAN结合的网络进行训练。图4展示了将U-Net和GAN结合的网络作为一个整体进行训练的过程。

对U-Net和GAN结合的网络进行训练的过程，可以理解成是有监督的学习方法。因此，训练网络的样本数据包括：样本图像和标签，标签即样本图像的边缘提取图，为了保证样本图像的边缘提取图的清晰，样本图像则为清晰图像。

如图4所示，对样本图像进行下采样，得到下采样图像；利用Sobel算子（Sobeloperator，索贝尔算子）等边缘检测算法，对下采样图像进行边缘检测，得到边缘图像；对边缘图像进行上采样，得到与样本图像同等大小的边缘提取图。

因样本图像为清晰图像，训练线条检测器过程中需要低亮度且清晰度不高的图像，因此，对样本图像进行退化降质处理，得到低光照带噪声图像。一些实施例中，退化降质处理可包括：降低图像亮度和对图像加噪声。降低图像亮度的方式可为：在图像的所有像素点亮度值乘或者加一个增强系数，使得图像整体变暗。对图像加噪声的方式可为：对图像添加椒盐噪声、高斯噪声等。

将一张样本图像对应的低光照带噪声图像和边缘提取图作为一对训练样本，利用训练样本对线条检测器进行训练。

需要说明的是，对样本图像先进行下采样再进行边缘提取，最后再上采样得到样本图像的边缘提取图，可以通过下采样实现保留样本图像中的有效图像数据，去除干扰数据，进而保证以下采样图像进行边缘提取得到的边缘图像更准确。

因下采样图像进行边缘提取得到的边缘图像的尺寸小于样本图像，因此，对边缘图像进行上采样，得到与样本图像尺寸相同的边缘提取图。

如前述内容，线条检测器属于U-Net结合GAN的网络。训练线条检测器可以理解成对U-Net和GAN进行训练。图5展示了利用低光照带噪声图像和边缘提取图训练U-Net和GAN的过程。

如图5所示，低光照带噪声图像作为样本图像，输入到U-Net，U-Net可对低光照带噪声图像进行边缘检测，得到并输出边缘图像1。

一些实施例中，U-Net分为下采样和上采样两个子过程。示例性的，图6展示了一种具有四层结构的U-Net的结构示意图，图6展示U-Net对输入图像分别进行了4次下采样和4次上采样。下采样过程中送入U-Net的图像大小为572×572，经过四层卷积、池化后得到32×32×1024张特征图；在上采样过程中，先对下采样得到的特征图进行两次卷积得到28×28×1024张特征图，然后再经过四层反卷积层，在每一层的反卷积过程中都会以叠加的方式融合下采样过程中得到的浅层特征，最终输出分割后的图像。

U-Net输出的边缘图像1输入到GAN的判别器，GAN的判别器对边缘图像1进行处理，得到边缘图像2。GAN的判别器可以理解成是一种二分类网络，将U-Net输出的图像作为负样本，低光照带噪声图像对应的边缘提取图作为正样本。

在U-Net结合GAN的网络的训练过程中，U-Net作为GAN的生成器，其目标就是尽量生成真实的图片去欺骗GAN的判别器。而判别器的目标就是尽量把生成器生成的图片和真实的图片分别开来。如此使得U-Net不断优化自己生成的图像让判别器判断不出来，判别器也要优化自己让自己判断得更准确。

如图5所示，在U-Net结合GAN的网络的训练阶段，损失函数层采用L ₁ 和判别器的损失函数L _D 两个损失形成联合LJoint计算梯度，进行反向传播以训练U-Net结合GAN的网络。

一些实施例中，损失函数层将损失L ₁ 和判别器的损失函数L _D 采用下述公式1相加得到联合损失LJoint。

公式1

LJoint＝L ₁ +λL _D

公式1中，λ表示权重，典型值为0.1。

L ₁ 可指代交叉熵损失函数等常规损失函数。

判别器的损失函数L _D 如下：

上式中，G 代表生成器，D 代表判别器，H 代表交叉熵，z 是输入随机数据。D(x)是对生成器输出的数据的判断概率，1代表数据绝对真实，0代表数据绝对虚假。D(G(z))代表判断结果与1的距离。其中，生成器想取得良好的效果，那就要做到，让判别器将生成器输出的数据判别为真数据，即D(G(z))与1的距离越小越好。

图像增强网络可采用U-Net等U形神经网结构的网络。

为了使图像增强网络具有将低光照图像处理成图像清晰度增强的图像的功能，需要对图像增强网络进行训练。图7展示了图像增强网络的训练过程。

如图7所示，将样本图像进行退化降质处理，得到低光照带噪声图像，其中，退化降质处理如前述内容，此处不再赘述。样本图像则为清晰图像。

利用训练完成的线条检测器对样本图像进行边缘检测，得到边缘提取图。将边缘提取图和低光照带噪声图像进行点乘，得到点乘结果，该点乘结果和低光照带噪声图像进行合并，得到合并图像。

可知的，图像的边缘检测可以大幅度地减少图像的数据量，剔除图像数据中的不相关信息，仅保留图像的重要结构的信息。基于此，在低光照带噪声图像的基础上点乘边缘提取图，可加强低光照带噪声图像的轮廓，以便于图像增强网络识别图像中的线条。

将边缘提取图和低光照带噪声图像进行点乘，可以造成低光照带噪声图像的细节图像内容丢失，因此，将点乘结果和低光照带噪声图像进行合并，可实现在训练图像增强网络训练过程中，图像增强网络利用低光照带噪声图像获知图像细节内容。

图像增强网络的训练过程可以理解成是采用有监督的学习方法。训练图像增强网络的样本数据包括：合并图像和标签，标签即样本图像。

在图像增强网络的训练阶段，损失函数层采用Huber loss计算梯度，进行反向传播以训练图像增强网络。当然，损失函数层也可采用其他损失函数计算梯度。

线条检测器和图像增强网络经前述内容训练完成之后，可用于对低光照图像进行处理，得到图像清晰度得以增强的图像。

图8展示了线条检测器和图像增强网络处理低光照图像的过程。

如图8所示，低光照图像输入到线条检测器，线条检测器对其进行边缘检测，得到边缘提取图；边缘提取图和低光照图像进行点乘之后的点乘结果，再与低光照图像进行合并，得到合并结果，该合并结果则作为图像增强网络的输入图像。图像增强网络处理输入图像，得到增强后的图像并输出，该增强后的图像即为相对于低光照图像，图像清晰度得以增强的图像。

以下结合两种应用场景，对线条检测器和图像增强网络处理低光照图像的过程进行具体介绍。

一种应用场景中，电子设备在暗环境下拍摄出低光照图像，为了增强电子设备拍摄的图像的清晰度，电子设备在图像拍摄的应用场景中，调用线条检测器和图像增强网络运行，得到清晰度增加的图像。

以下结合图3展示的电子设备的软件框架中的模块，对电子设备拍摄图像过程进行介绍。图9为电子设备拍摄图像方法的信令图。

如图9所示，电子设备拍摄图像的方法，包括：

S901、相机应用响应于用户的操作，通过传感器驱动控制摄像头启动运行，以采集图像。

用户通过点击相机应用的图标、输入特定手势或者点击特定按钮的方式，输入启动相机应用运行的操作，相机应用响应于用户的操作，启动运行，并通过传感器驱动向摄像头发送控制指令，以控制摄像头启动运行。

S902、摄像头采集图像。

摄像头受传感器发送的控制指令，启动运行，并开始采集图像。摄像头采集的图像可显示于电子设备的显示屏，以形成相机预览界面。

S903、相机处理模块获取摄像头采集的图像。

相机预览界面包括拍摄按钮，用户点击拍摄按钮，相机应用响应于该点击操作，需要保存摄像头采集的图像。若电子设备处于暗环境下，摄像头采集的图像则为低光照图像，该低光照图像经ISP处理，可能会导致图像的暗部区域信息不明显，线条不明显甚至涂抹严重。

为避免如此，用户点击拍摄按钮，相机应用响应于该操作，保存摄像头采集的图像之前，相机处理模块先采集该图像并处理该图像。相机处理模块如前述电子设备的软件结构的内容，为HAL的功能模块。一些实施例中，相机应用可向相机处理模块发送指令，以控制相机处理模块获取摄像头采集的图像。

相机处理模块可在电子设备处于暗环境的情况下，获取摄像头拍摄的图像。

一些实施例中，相机处理模块获取环境光传感器检测的环境光亮度，判断环境光亮度小于门限值（示例为10lux），则判定电子设备处于暗环境。

另一些实施例中，相机处理模块也可利用摄像头采集的图像，来判断电子设备是否处于暗环境。相机处理模块获取的摄像头采集的图像包括的每个像素点的红(Red)、绿(Green)、蓝(Blue)分量，相机处理模块计算每个像素点的红(Red)、绿(Green)、蓝(Blue)分量的平均值，作为图像的图像亮度。相机处理模块判断该图像亮度小于阈值，则可认定摄像头采集的图像为低光照图像，即电子设备处于暗环境。其中，阈值可根据实际情况进行设定。

S904、相机处理模块调用线条检测器对图像进行边缘检测，得到边缘提取图。

如前述内容，线条检测器用于对输入图像进行边缘检测，得到边缘提取图。基于此，相机处理模块获取摄像头采集的图像之后，将图像作为线条检测器的输入图像，线条检测器对图像进行边缘检测，得到边缘提取图。

一些实施例中，线条检测器属于U-Net结合GAN的网络。基于此，相机处理模块调用线条检测器对图像进行边缘检测，则指代相机处理模块调用U-Net对图像进行边缘检测。

S905、相机处理模块将图像和边缘提取图进行点乘，得到点乘结果，再将点乘结果和图像进行合并，得到合并后的图像。

如前述内容，边缘提取图包括图像的重要结构的信息，在摄像头采集的原图上点乘边缘提取图，可以在原图上强化图像的轮廓，有助于图像增强网络识别图像中的线条。

S906、相机处理模块调用图像增强网络处理合并后的图像，得到增强后图像。

如前述内容，图像增强网络具有处理输入图像，得到清晰度得以增强的图像的功能。因此，相机处理模块得到合并后的图像之后，将合并后的图像作为图像增强网络的输入图像，调用图像增强网络处理合并后的图像，图像增强网络输出的图像，则为清晰度得以增强的图像。

S907、相机处理模块向相机应用发送增强后图像。

相机处理模块得到图像增强网络输出的图像之后，将该图像上传到相机应用。

S908、相机应用保存增强后图像。

相机应用接收到相机处理模块上传的清晰度得以增强的图像之后，可将该图像进行保存。如此，电子设备处于暗环境拍摄图像，电子设备经步骤S903至步骤S906对摄像头采集的图像进行处理，可以得到清晰度较高的图像。

另一种应用场景中，电子设备的图库中保存的图像，也可能为低光照图像。电子设备也可利用线条检测器和图像增强网络，将图库中保存的低光照图像处理成清晰度增强的图像。

以下同样结合图3展示的电子设备的软件框架中的模块，对处理电子设备图库保存的图像的过程进行介绍。

图10展示了处理图库中图像的方法的信令图。如图10所示，本实施例提供的图像的处理方法，包括：

S1001、图库应用响应于用户的操作，显示图像的浏览界面。

图库应用可向用户展示电子设备存储的图像。用户在图库应用的主界面选中一张图像，图库应用响应于用户的操作，显示图像的浏览界面。

S1002、图库应用响应于用户对图像的操作，向图库处理模块发送控制指令以控制图库处理模块处理图像。

示例性的，图像的浏览界面可包括图像的编辑按钮，用户可通过点击编辑按钮，触发图库应用调用图库处理模块处理图像。用户针对图库应用展示的低光照图像，会触发图库应用调用图库处理模块处理图像。

用户点击图像的编辑按钮，图库应用响应于用户的点击操作，向图库处理模块发送控制指令，该控制指令用于触发图库处理模块处理图像。

用户也可通过对图像输入特定手势、点击特定按钮的方式输入操作，图库应用响应于用户对图像的操作，向图库处理模块发送控制指令。

一些实施例中，图库应用向图库处理模块发送的控制指令可以携带用户操作的图像的标识。

S1003、图库处理模块调用线条检测器对图像进行边缘检测，得到边缘提取图。

图库处理模块如前述电子设备的软件结构的内容，为HAL的功能模块。图库处理模块接收到图库应用发送的控制指令，获取该控制指令指定的图像。图库处理模块调用线条检测器对图像进行边缘检测，得到边缘提取图。

一些实施例中，线条检测器属于U-Net结合GAN的网络。基于此，图库处理模块调用线条检测器对图像进行边缘检测，则指代图库处理模块调用U-Net对图像进行边缘检测。

一些实施例中，图库应用发送的控制指令携带图像的标识，图库处理模块利用图像的标识获取图像。

一些实施例中，图库处理模块获取图像之后，可在检测图像为低光照图像的情况下，调用线条检测器对图像进行边缘检测。

图库处理模块获取图像包括的每个像素点的红(Red)、绿(Green)、蓝(Blue)分量，图库处理模块计算每个像素点的红(Red)、绿(Green)、蓝(Blue)分量的平均值，作为图像的图像亮度。相机处理模块判断该图像亮度小于阈值，则可认定图像为低光照图像。其中，阈值可根据实际情况进行设定。

如前述内容，线条检测器用于对输入图像进行边缘检测，得到边缘提取图。基于此，图库处理模块获取到图像之后，将图像作为线条检测器的输入图像，线条检测器对图像进行边缘检测，得到边缘提取图。

S1004、图库处理模块将图像和边缘提取图进行点乘，得到点乘结果，将点乘结果和图像进行合并，得到合并后的图像。

如前述内容，边缘提取图包括图像的重要结构的信息，在原图上点乘边缘提取图，可以在原图上强化图像的轮廓，有助于图像增强网络识别图像中的线条。

S1005、图库处理模块调用图像增强网络处理合并后图像，得到增强后图像。

如前述内容，图像增强网络具有处理输入图像，得到清晰度得以增强的图像的功能。因此，图库处理模块得到合并后的图像之后，将合并后的图像作为图像增强网络的输入图像，调用图像增强网络处理合并后的图像，图像增强网络输出的图像，则为清晰度得以增强的图像。

S1006、图库处理模块向图库应用发送增强后图像。

图库处理模块得到图像增强网络输出的图像之后，将该图像上传到图库应用。

S1007、图库应用保存增强后图像。

图库应用接收到增强后图像，可以增强后图像替换原图的方式保存增强后图像，也可单独保存增强后图像。如此，针对电子设备的图库应用保存的低光照图像，电子设备经步骤S1003至步骤S1006对图像进行处理，可以得到清晰度较高的图像。

本申请另一实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

计算机可读存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器（RandomAccess Memory，RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本申请另一实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

获取第一图像；

对所述第一图像进行边缘检测，得到所述第一图像的边缘提取图；

将所述第一图像和所述边缘提取图的点乘结果，与所述第一图像进行合并，得到合并后图像；所述点乘结果与所述第一图像进行合并指代所述点乘结果和所述第一图像进行拼接组合；

利用所述合并后图像，对所述第一图像进行图像清晰度增强处理，得到第二图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行边缘检测，得到所述第一图像的边缘提取图，包括：

调用线条检测网络对所述第一图像进行边缘检测，得到所述第一图像的边缘提取图；所述线条检测网络用于对图像进行边缘检测。

3.根据权利要求1所述的方法，其特征在于，所述利用所述合并后图像，对所述第一图像进行图像清晰度增强处理，得到第二图像，包括：

调用图像增强网络利用所述合并后图像，对所述第一图像进行图像清晰度增强处理，得到所述第二图像，所述图像增强网络用于将低光照图像处理成图像清晰度增强的图像。

4.根据权利要求2所述的方法，其特征在于，所述线条检测网络包括U形神经网结构的网络和生成对抗网络的判别器，所述U形神经网结构的网络的输出值作为所述生成对抗网络的判别器的输入值，所述调用线条检测网络对所述第一图像进行边缘检测，得到所述第一图像的边缘提取图，包括：

调用所述U形神经网结构的网络对所述第一图像进行边缘检测，得到所述第一图像的边缘提取图。

5.根据权利要求2所述的方法，其特征在于，所述线条检测网络的训练方式，包括：

对样本图像进行下采样，得到下采样图像；

利用边缘检测算法，对所述下采样图像进行边缘检测，得到边缘图像；

对所述边缘图像进行上采样，得到与所述样本图像同等大小的边缘提取图；

对所述样本图像进行退化降质处理，得到低光照带噪声图像；

将所述低光照带噪声图像和边缘提取图作为一对训练样本，对所述线条检测网络进行训练。

6.根据权利要求5所述的方法，其特征在于，所述将所述低光照带噪声图像和边缘提取图作为一对训练样本，对所述线条检测网络进行训练，包括：

利用U形神经网结构的网络对所述低光照带噪声图像进行边缘检测，得到第一边缘图像；

利用生成对抗网络的判别器对所述第一边缘图像进行处理，得到第二边缘图像；

采用第一损失函数的损失和第二损失函数的损失形成的联合损失计算梯度，并以所述梯度训练所述线条检测网络；

其中：所述第一损失函数的损失指代采用第一损失函数计算出的所述第一边缘图像和所述边缘提取图的损失；所述第二损失函数的损失指代采用第二损失函数计算出的所述第二边缘图像和所述边缘提取图的损失；所述第二损失函数包括所述生成对抗网络的判别器的损失函数。

7.根据权利要求3所述的方法，其特征在于，所述图像增强网络的训练方式，包括：

利用训练完成的线条检测网络对样本图像进行边缘检测，得到边缘提取图；

对所述样本图像进行退化降质处理，得到低光照带噪声图像；

将所述边缘提取图和低光照带噪声图像进行点乘的点乘结果，与所述低光照带噪声图像进行合并，得到合并图像；

将所述合并图像和样本图像作为一对训练样本，对所述图像增强网络进行训练。

8.根据权利要求1至7中任意一项所述的方法，其特征在于，所述对所述第一图像进行边缘检测，得到所述第一图像的边缘提取图之前，还包括：

计算所述第一图像的图像亮度；

确定所述第一图像的图像亮度小于阈值。

9.根据权利要求1至7中任意一项所述的方法，其特征在于，所述第一图像为在当前环境拍摄的图像，所述对所述第一图像进行边缘检测，得到所述第一图像的边缘提取图之前，还包括：

获取当前环境的环境光亮度；

确定所述环境光亮度小于门限值。

10.一种电子设备，其特征在于，包括：

一个或多个处理器、存储器、摄像头和显示屏；

所述存储器、所述摄像头以及所述显示屏与所述一个或多个所述处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，所述电子设备执行如权利要求1至9任意一项所述的方法。

11.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序被执行时，具体用于实现如权利要求1至9任意一项所述的方法。