CN111080515A - 图像处理方法、神经网络训练方法及装置 - Google Patents

Abstract

本公开提供了一种图像处理方法、神经网络训练方法及装置。其中图像处理方法包括：获取原始格式的原始图像；将原始图像中的目标区域进行放大，得到原始格式的放大图像，目标区域包括待处理的目标对象；对放大图像进行清晰化处理，得到放大清晰图像。通过对原始格式的图像放大，并清晰化处理，使得系统计算的效率更高，总体运算量更小，并且得到的图像质量更高。

Description

图像处理方法、神经网络训练方法及装置

技术领域

本公开一般地涉及图像处理领域，具体涉及图像处理方法、神经网络训练方法及装置。

背景技术

在图像处理领域中，需要将图像进行放大，而不同于简单的图像放大，超分辨率技术能够在不使图像变模糊的情况下放大图像的给定区域。并且随着人工智能发展，基于神经网络的超分辨算法可以得到好于其他算法的结果。而在一些方案中，对图像进行超分辨率放大过程中需要占用大量的系统资源，并且计算的效率低下，在一些低计算力的终端设备中，可能并没有足够计算能力来通过神经网络进行超分辨率的计算。

发明内容

为了解决现有技术中存在的上述问题，本公开的第一方面提供一种图像处理方法，其中，方法包括：获取原始格式的原始图像；将原始图像中的目标区域进行放大，得到原始格式的放大图像，目标区域包括待处理的目标对象；对放大图像进行清晰化处理，得到放大清晰图像。

在一例中，将原始图像中的目标区域进行放大，得到原始格式的放大图像，还包括：确定原始图像中的目标区域；对目标区域进行放大，得到与原始图像尺寸相同的原始格式的放大图像。

在一例中，获取原始格式的原始图像，还包括：获取原始图像的像素值信息；将原始图像中的目标区域进行放大，得到原始格式的放大图像，还包括：基于原始图像中的目标区域相应的像素值信息，将目标区域进行放大，得到原始格式的放大图像。

在一例中，获取原始格式的原始图像，还包括：通过相机的图像传感器，获取原始格式的原始图像，及，原始图像的拍摄信息；将原始图像中的目标区域进行放大，得到原始格式的放大图像，还包括：还基于原始图像中的拍摄信息，将目标区域进行放大，得到原始格式的放大图像。

在一例中，原始格式为拜耳格式。

在一例中，方法还包括：对放大清晰图像进行图像信号处理，得到可视化图像。

在一例中，通过神经网络，将原始图像中的目标区域进行放大，得到原始格式的放大图像，并对放大图像进行清晰化处理，得到放大清晰图像。

本公开的第二方面提供一种神经网络训练方法，神经网络应用于第一方面的图像处理方法，神经网络训练方法包括：获取原始格式的训练样本图像及训练样本图像的放大样本图像；输入训练样本图像至神经网络；通过神经网络，得到原始格式的放大清晰图像；基于放大样本图像与放大清晰图像计算得到损失值；基于损失值调整神经网络的参数。

在一例中，获取原始格式的训练样本图像及训练样本图像的放大样本图像，还包括：通过相机的图像传感器获取原始格式的图像作为放大样本图像；通过对放大样本图像进行下采样，将放大样本图像缩小，得到训练样本图像。

在一例中，获取原始格式的训练样本图像及训练样本图像的放大样本图像，还包括：通过相机图像传感器，获取拍摄信息；输入训练样本图像至神经网络还包括：输入拍摄信息至神经网络。

在一例中，原始格式为拜耳格式。

本公开的第三方面提供一种图像处理装置，装置包括：获取模块，用于获取原始格式的原始图像；第一处理模块，用于将原始图像中的目标区域进行放大，得到原始格式的放大图像，目标区域包括待处理的目标对象；第二处理模块，用于对放大图像进行清晰化处理，得到放大清晰图像。

本公开的第四方面提供一种神经网络训练装置，神经网络应用于第一方面的图像处理方法，装置包括：接收模块，用于获取原始格式的训练样本图像及训练样本图像的放大样本图像；输入模块，用于输入训练样本图像至神经网络；转化模块，用于通过神经网络，得到原始格式的放大清晰图像；损失计算模块，用于基于放大样本图像与放大清晰图像计算得到损失值；调整模块，用于基于损失值调整神经网络的参数。

本公开的第五方面提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的图像处理方法或第二方面的神经网络训练方法。

本公开的第六方面提供一种计算机可读存储介质，其中存储有指令，指令被处理器执行时，执行如第一方面的图像处理方法或第二方面的神经网络训练方法。

本公开提供的图像处理方法、神经网络训练方法及装置通过先对原始格式(Raw格式)的原始图像进行放大，并进行清晰化处理，使得系统计算的效率更高，总体运算量更小，并且得到的图像质量更高。

附图说明

通过参考附图阅读下文的详细描述，本公开实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：

图1示出了根据本公开一实施例图像处理方法的流程示意图；

图2示出了根据本公开另一实施例图像处理方法的流程示意图；

图3示出了根据本公开一实施例神经网络训练方法的流程示意图；

图4示出了根据本公开一实施例图像处理装置示意框图；

图5示出了根据本公开另一实施例图像处理装置示意框图；

图6示出了根据本公开一实施例神经网络训练；

图7是本公开实施例提供的一种电子设备示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。

需要注意，虽然本文中使用“第一”、“第二”等表述来描述本公开的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。

在一些传统方案中，对图像进行图像信号处理(Image Signal Processing，ISP)后对图像中的目标区域做超分辨率计算以得到放大图像，导致对目标区域以外的图像进行图像信号处理的运算被浪费。图1示出了本公开实施例提供的一种图像处理方法10，包括步骤S11-步骤S13，下文进行详细说明：

步骤S11，获取原始格式的原始图像。

可以从相机的图像传感器(image sensor)获取原始格式(raw格式)的图像，其中图像传感器可以是CCD(Charge-coupled Device，电荷耦合器件)传感器、CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)传感器或CIS(Contact Image Sensor，接触式图像传感器)。获取的原始格式的图像，可以更好的保证超分辨率计算后放大图片的质量，并且能够保证后续其他流程的兼容性，其中原始格式是图像传感器捕捉到光源信号后，转换为数字信号的原始数据，在一例中，原始格式为拜耳格式(Bayer格式)，即图像传感器通过拜耳阵列(Bayer pattern)得到的图像数据格式。

步骤S12，将原始图像中的目标区域进行放大，得到原始格式的放大图像，目标区域包括待处理的目标对象。

针对原始图像中需要放大的目标对象，对原始图像中的目标对象所在的目标区域进行放大处理，得到目标区域的放大图像，目标对象可以是原始图像中的特定目标，也开始是原始图像中的指定区域。通过直接对原始格式的原始图像进行放大处理，能够获取更多的图像信息，避免在其他图像处理过程中对图像信息的丢失。在一例中，步骤S12可以通过神经网络执行，即通过神经网络将原始图像中的目标区域进行放大，得到原始格式的放大图像。

输入的是原始格式的图像，输出也是原始格式，保证了图像在放大过程中不会有信息损失，故可以保证最好的放大效果。并且输出的原始格式的图像，也能够保证兼容性。

在一例中，步骤12可以包括：确定原始图像中的目标区域；对目标区域进行放大，得到与原始图像尺寸相同的原始格式的放大图像。在原始图像中，基于目标对象确定目标区域，并且根据原始图像的尺寸对目标区域进行放大，得到的放大图像与获取的原始图像尺寸相同，从而在后续的图像处理过程中，无需对处理过程做额外的变动或假设，可以兼容多种不同的应用环境。

在另一例中，获取原始格式的原始图像包括获取原始图像的像素值信息，即可以是获取拜耳格式的图像每个像素点的像素值，基于拜耳格式图像每个像素点的像素值，对原始图像进行放大。在一些实施例中，可以通过将每个像素点的像素值输入神经网络，也作为原始图像的信息，使神经网络能够基于更多的信息对原始图像进行放大。

在又一例中，获取原始格式的原始图像为通过相机的图像传感器获取原始格式的原始图像，同时获取原始图像的拍摄信息，并且也基于拍摄信息对目标区域进行放大。其中，拍摄信息可以包括感光度(ISO)、曝光时间、对焦位置等信息。在一些实施例中，可以通过将拍摄信息一并输出神经网络中，能够进一步的提高通过神经网络输出得到的放大图像的质量。

步骤S13，对放大图像进行清晰化处理，得到放大清晰图像。

可以对放大图像进行滤波处理使其锐化，从而提高图像的解析力，从而得到放大清洗图像。

在一些实施例中，步骤S13页可以通过前述神经网络一并执行，即通过神经网络将原始图像中的目标区域进行放大，得到原始格式的放大图像，对放大图像进行清晰化处理，得到放大清晰图像。

在一示例性的实例中，原始图像是H×W尺寸的拜耳格式的图像，其中H、W分别为图像的长、宽尺寸，根据目标对象取出其中1/N的部分作为待放大的目标区域，将其转化成H/(2N)×W/(2N)尺寸的4通道张量(tensor)，其中拜耳格式中拜耳阵列(Bayer Pattern)BGGR各一个通道。然后运行神经网络：

I_(t+1)＝f(W_t×I_t)

其中，W_t×I_t表示第t层的权重W_t与第t层的激活I_t进行卷积或上采样卷积运算。f表示每一层的激活函数。

最后得到的最后一层输出是一个H/2×W/2的4通道张量，将其重新转化为H×W尺寸的拜耳格式，即为得到的放大图像。

在一实施例中，如图2所述，图像处理方法10还包括步骤S14，对放大清晰图像进行图像信号处理，得到可视化图像。

对经过放大的放大清晰图像，进行图像信号处理(Image Signal Processing，ISP)，将原始格式的图像转化为可视化的图像，如RGB、TIFF格式等。可以通过相机中的图像处理器进行图像信号处理，图像信号处理可以对图像进行性纠正、噪声去除、坏点去除等处理，提高图像质量。并且，由于先对目标区域进行了放大处理，即，对其他部分的图像进行了舍弃，从而避免了图像信号处理运算的浪费，降低了总运算量，节约了成本。

通过上述任一实施例的图像处理方法，保证了通过超分辨率得到的图像质量，并且降低了运算量，提高了效率。

基于同一发明构思，本公开还提供了一种应用于上述图像处理方法实施例方法中的神经网络的训练方法，如图3所示，神经网络训练方法20包括步骤S21-步骤S25，具体说明如下：

步骤S21，获取原始格式的训练样本图像及训练样本图像的放大样本图像。

获取用于训练的训练样本图像，以及作为标准值的训练样本图像的放大样本图像，并且作为训练样本的图像也为原始格式，如拜耳格式等。

在一例中，可以通过相机的图像传感器获取原始格式的图像作为放大样本图像；通过对放大样本图像进行下采样，将放大样本图像缩小，得到训练样本图像。直接通过相机的图像传感器可以方便的获取原始格式的图像，而为了能够方便的获取训练样本，可以将从图像传感器获取到的图像作为上述作为标准值的训练样本图像的放大样本图像，同时，对其进行下采样，即压缩图像，将其压缩成小尺寸的图像作为训练样本图像。基于该种方式，能够方便得到训练样本。

步骤S22，输入训练样本图像至神经网络。

将获取到的原始格式的训练样本图像输入神经网络。

步骤S23，通过神经网络，得到原始格式的放大清晰图像。

通过神经网络对输入的训练样本图像进行上采样卷积运算，从而将训练样本图像放大，得到放大图像。

步骤S24，基于放大样本图像与放大清晰图像计算得到损失值。

神经网络在在训练过程中，尤其训练初期，得到的放大图像与作为标准值的放大样本图像差距会比较大。通过比对并通过损失函数得到损失值。

步骤S25，基于损失值调整神经网络的参数。

根据得到的损失值，调整神经网络的参数，并进而进行下一次迭代，直到损失值小于一个阈值，则训练完毕，得到的神经网络可以用于前述任一图像处理方法的实施例中。

在一例中，获取原始格式的训练样本图像及训练样本图像的放大样本图像，还包括：通过相机图像传感器，获取拍摄信息；输入训练样本图像至神经网络还包括：输入拍摄信息至神经网络。在通过图像传感器获取图像时，获取拍摄信息，并且在训练神经网络时，将图像以及图像对应的拍摄信息一并输入神经网络中，让神经网络接收并分析更多的信息，从而进一步保证训练完成的神经网络能够输出质量更高的图像。

通过上述实施例训练得到的神经网络，能够用于图像处理方法中，对原始格式的原始图像进行放大，并且通过上述训练方式得到的神经网络能够保证放大得到的图像质量。

基于同一发明构思，图4示出了本公开实施例提供的一种图像处理装置100，如图4所示，图像处理装置100包括：获取模块110，用于获取原始格式的原始图像；第一处理模块120，用于将原始图像中的目标区域进行放大，得到原始格式的放大图像，目标区域包括待处理的目标对象；第二处理模块130，用于对放大图像进行清晰化处理，得到放大清晰图像。

在一例中，第一处理模块120还用于：确定原始图像中的目标区域；对目标区域进行放大，得到与原始图像尺寸相同的原始格式的放大图像。

在一例中，获取模块110还用于：获取原始图像的像素值信息；第一处理模块120还用于：基于原始图像中的目标区域相应的像素值信息，将目标区域进行放大，得到原始格式的放大图像。

在一例中，获取模块110还用于：通过相机的图像传感器，获取原始格式的原始图像，及，原始图像的拍摄信息；第一处理模块120还用于：还基于原始图像中的拍摄信息，将目标区域进行放大，得到原始格式的放大图像。

在一例中，原始格式为拜耳格式。

在一例中，如图5所示，图像处理装置100还包括：图像信号处理模块140，用于对放大清晰图像进行图像信号处理，得到可视化图像。

在一例中，第一处理模块120通过神经网络将原始图像中的目标区域进行放大，得到原始格式的放大图像；第二处理模块130通过神经网络对放大图像进行清晰化处理，得到放大清晰图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

基于同一发明构思，图6示出了本公开实施例提供的一种神经网络训练装置200，训练完毕的神经网络用于图像处理方法10，如图6所示，神经网络训练装置200包括：接收模块210，用于获取原始格式的训练样本图像及训练样本图像的放大样本图像；输入模块220，用于输入训练样本图像至神经网络；转化模块230，用于通过神经网络，得到原始格式的放大清晰图像；损失计算模块240，用于基于放大样本图像与放大清晰图像计算得到损失值；调整模块250，用于基于损失值调整神经网络的参数。

在一例中，接收模块210还用于：通过相机的图像传感器获取原始格式的图像作为放大样本图像；通过对放大样本图像进行下采样，将放大样本图像缩小，得到训练样本图像。

在一例中，接收模块210还用于：通过相机图像传感器，获取拍摄信息；输入模块220还包括：输入拍摄信息至神经网络。

在一例中，原始格式为拜耳格式。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

如图7所示，本公开的一个实施方式提供了一种电子设备300。其中，该电子设备300包括存储器301、处理器302、输入/输出(Input/Output，I/O)接口303。其中，存储器301，用于存储指令。处理器302，用于调用存储器301存储的指令执行本公开实施例的图像处理方法或神经网络训练方法。其中，处理器302分别与存储器301、I/O接口303连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器301可用于存储程序和数据，包括本公开实施例中涉及的图像处理方法或神经网络训练方法的程序，处理器302通过运行存储在存储器301的程序从而执行电子设备300的各种功能应用以及数据处理。

本公开实施例中处理器302可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器302可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。

本公开实施例中的存储器301可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。

本公开实施例中，I/O接口303可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备300的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本公开实施例中I/O接口303可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。

可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本公开实施例涉及的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本公开实施的前述说明。前述说明并非是穷举性的也并非要将本公开限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本公开的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本公开的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本公开。

Claims (15)

1.一种图像处理方法，其中，所述方法包括：

获取原始格式的原始图像；

将所述原始图像中的目标区域进行放大，得到所述原始格式的放大图像，所述目标区域包括待处理的目标对象；

对所述放大图像进行清晰化处理，得到放大清晰图像。

2.根据权利要求1所述的图像处理方法，其中，所述将所述原始图像中的目标区域进行放大，得到所述原始格式的放大图像，还包括：

确定所述原始图像中的目标区域；

对所述目标区域进行放大，得到与所述原始图像尺寸相同的所述原始格式的放大图像。

3.根据权利要求1所述的图像处理方法，其中，所述获取原始格式的原始图像，还包括：获取所述原始图像的像素值信息；

所述将所述原始图像中的目标区域进行放大，得到所述原始格式的放大图像，还包括：基于所述原始图像中的所述目标区域相应的所述像素值信息，将所述目标区域进行放大，得到所述原始格式的所述放大图像。

4.根据权利要求1所述的图像处理方法，其中，所述获取原始格式的原始图像，还包括：通过相机的图像传感器，获取所述原始格式的所述原始图像，及，所述原始图像的拍摄信息；

所述将所述原始图像中的目标区域进行放大，得到所述原始格式的放大图像，还包括：基于所述原始图像中的所述拍摄信息，将所述目标区域进行放大，得到所述原始格式的所述放大图像。

5.根据权利要求4所述的图像处理方法，其中，所述原始格式为拜耳格式。

6.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：对所述放大清晰图像进行图像信号处理，得到可视化图像。

7.根据权利要求1-6任一项所述的图像处理方法，其特征在于，通过神经网络，将所述原始图像中的目标区域进行放大，得到所述原始格式的放大图像，并对所述放大图像进行清晰化处理，得到放大清晰图像。

8.一种神经网络训练方法，其中，所述神经网络应用于如权利要求1-7任一项所述的图像处理方法，所述神经网络训练方法包括：

获取原始格式的训练样本图像及所述训练样本图像的放大样本图像；

输入所述训练样本图像至所述神经网络；

通过所述神经网络，得到所述原始格式的放大清晰图像；

基于所述放大样本图像与所述放大清晰图像计算得到损失值；

基于所述损失值调整所述神经网络的参数。

9.根据权利要求8所述的神经网络训练方法，其中，所述获取原始格式的训练样本图像及所述训练样本图像的放大样本图像，还包括：

通过相机的图像传感器获取所述原始格式的图像作为所述放大样本图像；

通过对所述放大样本图像进行下采样，将所述放大样本图像缩小，得到所述训练样本图像。

10.根据权利要求8所述的神经网络训练方法，其中，

所述获取原始格式的训练样本图像及所述训练样本图像的放大样本图像，还包括：通过相机图像传感器，获取拍摄信息；

所述输入所述训练样本图像至所述神经网络还包括：输入所述拍摄信息至所述神经网络。

11.根据权利要求10所述的神经网络训练方法，其中，所述原始格式为拜耳格式。

12.一种图像处理装置，其中，所述装置包括：

获取模块，用于获取原始格式的原始图像；

第一处理模块，用于将所述原始图像中的目标区域进行放大，得到所述原始格式的放大图像，所述目标区域包括待处理的目标对象；

第二处理模块，用于对所述放大图像进行清晰化处理，得到放大清晰图像。

13.一种神经网络训练装置，其中，所述神经网络应用于如权利要求1-7任一项所述的图像处理方法，所述神经网络训练装置包括：

接收模块，用于获取原始格式的训练样本图像及所述训练样本图像的放大样本图像；

输入模块，用于输入所述训练样本图像至所述神经网络；

转化模块，用于通过所述神经网络，得到所述训练样本图像中的所述目标区域对应的所述原始格式的放大清晰图像；

损失计算模块，用于基于所述放大样本图像与所述放大清晰图像计算得到损失值；

调整模块，用于基于所述损失值调整所述神经网络的参数。

14.一种电子设备，其中，所述电子设备包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行如权利要求1-7中任一项所述的图像处理方法或如权利要求8-11中任一项所述的神经网络训练方法。

15.一种计算机可读存储介质，其中存储有指令，所述指令被处理器执行时，执行如权利要求1-7中任一项所述的图像处理方法或如权利要求8-11中任一项所述的神经网络训练方法。

Images