CN111696039A - 图像处理方法及装置、存储介质和电子设备 - Google Patents

Abstract

本公开提供了一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，涉及图像处理技术领域。该图像处理方法包括：获取待处理图像；对所述待处理图像在第一域中进行图像属性调整处理，得到第一类型图像；在第二域中对所述第一类型图像对应的第二域图像进行图像属性调整处理，得到第二类型图像；将所述第二类型图像进行编码，生成所述待处理图像对应的目标图像。本公开实施例的技术方案能结合多个域中的图像属性调整处理，提高对图像的调整效果和输出的目标图像的质量。

Description

图像处理方法及装置、存储介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备。

背景技术

为了提高图像分辨率，可以使用重建算法将低分辨率图像或视频调整为高分辨率的图像或视频。

相关技术中，在对图像进行图像处理的分区单一，可用信息不足，无法保证输出的RGB图像的表现力，且图像处理效果较差。另外，存在一定的局限性且不能及时修正，因此输出的图像的质量较差。

发明内容

本公开提供一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服图像质量差的问题。

根据本公开的一个方面，提供了一种图像处理方法，包括：获取待处理图像；对所述待处理图像在第一域中进行图像属性调整处理，得到第一类型图像；在第二域中对所述第一类型图像对应的第二域图像进行图像属性调整处理，得到第二类型图像；将所述第二类型图像进行编码，生成所述待处理图像对应的目标图像。

根据本公开的一个方面，提供一种图像处理装置，包括：图像获取模块，用于获取待处理图像；第一域处理模块，用于对所述待处理图像在第一域中进行图像属性调整处理，得到第一类型图像；第二域处理模块，用于在第二域中对所述第一类型图像对应的第二域图像进行图像属性调整处理，得到第二类型图像；目标图像生成模块，用于将所述第二类型图像进行编码，生成所述待处理图像对应的目标图像。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述的图像处理方法。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的图像处理方法。

在本公开的一些实施例所提供的技术方案中，通过对待处理图像在第一域中进行图像属性调整处理得到第一类型图像，再对第二域中对第一类型图像对应的第二域图像进行一次图像属性调整处理得到第二类型图像。一方面，通过分别在每个域中进行图像属性调整处理，避免了传统图像处理时由于分区单一而导致的有用信息不足的问题，在第一域和第二域中均进行了图像属性调整处理，提升了最终图像属性调整的性能。另一方面，通过第一域和第二域中图像属性调整处理的结合，能从多个域的角度来提升调整效果，进而能够基于第一域和第二域中的多次图像属性调整处理来提升目标图像的质量。再一方面，先在第一域进行图像属性调整处理，进一步在第二域进行图像属性调整处理，避免了只在一个域进行处理存在的输入格式的局限性，在出现问题时能够及时进行修正，提高了可靠性和稳定性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图；

图2示出了适于用来实现本公开实施例的电子设备的结构示意图；

图3示意性示出了根据本公开示例性实施例的图像处理方法的流程图；

图4示出了本公开实施例中通过相机输出目标图像的流程示意图；

图5示出了本公开实施例中变焦操作对应的操作界面的示意图；

图6示出了本公开实施例中第一种RAW域重建的流程示意图；

图7示出了本公开实施例中第二种RAW域重建的流程示意图；

图8示出了本公开实施例中通过传感器端的超分辨率重建处理输出目标图像的流程示意图；

图9示意性示出了本公开示例性实施例中图像处理装置的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”仅是为了区分的目的，不应作为本公开内容的限制。

相关技术中，超分辨率重建技术方案，绝大多数是在YUV域或者RGB域中，对图像或者视频进行处理。这主要受限于当前待处理的LR输入，大多是经过编解码后的RGB图像或视频。仅有少数的超分辨率重建算法支持RAW域图像的处理。并且，都只对RAW域图像进行SR。这种做法在落地实施时有两个方面的问题：RAW图像的尺寸往往都非常大，直接处理会带来较大的计算负荷；在相机的传感器Sensor端，一幅RAW域图像，会经过很多处理环节(手机相机中的ISP)后，再送到编解码器得到最终的RGB图像，一方面，ISP的操作绝大多数是在YUV域中，仅在最开始的RAW域中进行SR，如果SR出现问题，很难修正。另一方面，即使没有出现问题，由于相机最终的输出结果是RGB图像，仅在RAW域中对图像进行SR操作，很难保证最终输出RGB图像的表现力。另外一些方案在输入端，需要同时有RAW域图像及其对应的RGB图像，这在手机相机的传感器端(流水线的方式，RGB图像时最终的输出结果)，是不现实的。

为了解决上述技术问题，本公开实施例中提供了一种图像处理方法。图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图。

如图1所示，该系统架构100可以包括第一端101、网络102以及第二端103。其中，第一端101可以是客户端，例如可以为各种能够用于采集图像的手持设备(智能手机)、平板电脑、台式计算机、车载设备、可穿戴设备等等。网络102用以在第一端101和第二端103之间提供通信链路的介质，网络102可以包括各种连接类型，例如有线通信链路、无线通信链路等等，在本公开实施例中，第一端101和第二端103之间的网络102可以是有线通信链路，例如可以通过串口连接线提供通信链路，也可以是无线通信链路，通过无线网络提供通信链路。第二端103可以是客户端，例如便携式计算机、台式计算机、智能手机等具有数据处理功能的终端设备，用于进行数据处理。其中，当第一端和第二端均为客户端时，二者可以为同一个客户端。第二端也可以为服务器，例如本地服务器或者是云服务器等等，此处不做限定。

应该理解，图1中的第一端、网络和第二端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端、网络和服务器。

需要说明的是，本公开实施例所提供的图像处理方法可以完全由第二端执行，也可以由第一端执行，此处不做特殊限定。相应地，图像处理装置可设置于第二端103中。

图2示出了适于用来实现本公开示例性实施方式的一种电子设备的示意图。需要说明的是，图2示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的图像处理方法。

具体的，如图2所示，电子设备200可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber IdentificationModule，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804、磁传感器2805、加速度传感器2806、距离传感器2807、接近光传感器2808、指纹传感器2809、温度传感器2810、触摸传感器2811、环境光传感器2812及骨传导传感器2813等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器210中还可以设置存储器，用于存储指令和数据。

USB接口230是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口230可以用于连接充电器为电子设备200充电，也可以用于电子设备200与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。

电子设备200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。

移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块260可以提供应用在电子设备200上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案。

电子设备200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

电子设备200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。在一些实施例中，电子设备200可以包括1个或N个摄像模组291，N为大于1的正整数，若电子设备200包括N个摄像头，N个摄像头中有一个是主摄像头。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。

电子设备200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。

音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。

扬声器271，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备200可以通过扬声器271收听音乐，或收听免提通话。受话器272，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时，可以通过将受话器272靠近人耳接听语音。麦克风273，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风273发声，将声音信号输入到麦克风273。电子设备200可以设置至少一个麦克风273。耳机接口274用于连接有线耳机。

针对电子设备200包括的传感器，深度传感器2801用于获取景物的深度信息。压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器2803可以用于确定电子设备200的运动姿态。气压传感器2804用于测量气压。磁传感器2805包括霍尔传感器。电子设备200可以利用磁传感器2805检测翻盖皮套的开合。加速度传感器2806可检测电子设备200在各个方向上(一般为三轴)加速度的大小。距离传感器2807用于测量距离。接近光传感器2808可以包括例如发光二极管(LED)和光检测器，例如光电二极管。指纹传感器2809用于采集指纹。温度传感器2810用于检测温度。触摸传感器2811可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏290提供与触摸操作相关的视觉输出。环境光传感器2812用于感知环境光亮度。骨传导传感器2813可以获取振动信号。

按键294包括开机键，音量键等。按键294可以是机械按键。也可以是触摸式按键。马达293可以产生振动提示。马达293可以用于来电振动提示，也可以用于触摸振动反馈。指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口295用于连接SIM卡。电子设备200通过SIM卡和网络交互，实现通话以及数据通信等功能。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

图3示意性示出了本公开的示例性实施方式的图像处理方法的流程图，该图像处理方法可以应用于图像处理过程中的采集端，例如拍摄图像、拍摄视频或者是图像预览等图像采集过程中。参考图3所示，以终端作为执行主体，该图像处理方法可以包括步骤S310至步骤S340，详细介绍如下：

在步骤S310中，获取待处理图像。

本公开实施例中，待处理图像可以为使用终端拍摄的图像、拍摄的视频或者是待预览图像。可以为终端的摄像头采集得到的，也可以为从终端本地获取得到的，也可以为从其他设备中获取得到的，例如从网上下载的。本公开实施例中的超分辨率重建算法，可以应用于相机传感器端(采集端)，即超分辨率重建算法在相机传感器端的落地方式。可以用于手机拍照模式，也可以用在手机预览或视频录制模式中，此处不做限定。

此处的待处理图像可以为一张图像或者是一帧视频，在计算力允许的情况下，待处理图像可以为多帧图像或者是多帧视频。例如可以将依次将视频中的每一帧图像作为待处理图像，以对其进行处理。待处理图像可以为RAW格式的原始图像数据，即传感器阵列感光后的数据通过数模转换得到原始的RAW数据。RAW是未经处理、也未经压缩的格式。RAW文件是一种记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据(设置、快门速度、光圈值、白平衡等)的文件。

在得到待处理图像之后，可以对待处理图像进行显示优化处理。其中，显示优化处理包括黑电平校正处理以及坏点校正处理中的至少一种。黑电平校正指的是对通过校正值对传感器的所有区域的像素数据进行校正，看是否为黑平衡。具体过程可以包括：在调试相机镜头过程，把设备放入封闭的密封箱中，会发现镜头呈现黑色，但是黑色的程度不够黑，这是由于暗电流的影响，传感器出来的实际原始数据并不是我们需要的黑平衡(数据不为0)，所以需要找到一个矫正值，然后将所有的区域的像素减去此矫正值，如果图像呈现纯黑色，说明矫正成功。

坏点校正处理指的是对存在的坏点进行消除。坏点指的是无法正确捕捉光线的感光组件单元，若感光元件出现坏点，会直接造成成像的暇疵。坏点可以包括静态坏点和动态坏点。软件需要通过一定算法来识别真正的坏点。如，连续评估N帧，对得到的坏点表做比较和匹配，认为在50％以上帧中出现的坏点，才认为是真正的坏点。静态坏点校正：基于已有的静态坏点表，比较当前点的坐标是否与静态坏点表中的某个坐标一致，若一致则判定为坏点，然后再计算校正结果对其进行校正。动态坏点校正：可以实时的检测和校正传感器的亮点与暗点，并且校正的坏点个数不受限制。动态坏点校正相对静态坏点校正具有更大的不确定性。可以对找到的坏点做中值滤波，替换原来的值即可实现矫正过程。

通过对待处理图像进行黑电平校正以及坏点校正等操作，能够修正传感器感光阵列的硬件问题，提高用于超分辨率重建方法的图像的质量。除此之外，还可以对待处理图像，进行裁剪、缩放、或图像增强等，可以保证图像质量，使其能够在图像显示终端中呈现出更好的显示效果。

图4中示意性示出了通过相机输出目标图像的流程示意图，参考图4中所示，主要包括以下步骤：

在步骤S410中，通过传感器采集图像，得到RAW图像。在步骤S420中，对RAW图像进行ISP前处理得到YUV图像。ISP前处理，指的是在RAW域中的降噪、镜头损失矫正等。在步骤S430中，对YUV图像进行ISP后处理。在步骤S440中，对后处理图像进行编码。在步骤S450中，根据编码结果得到RGB图像。为了提高RGB图像的质量，可以对待处理图像进行图像属性调整处理。

在步骤S320中，对所述待处理图像在第一域中进行图像属性调整处理，得到第一类型图像。

本公开实施例中，图像属性调整处理指的是对待处理图像的属性参数等进行调整的操作，具体可以包括但不限于超分辨率重建处理、特征提取以及其他能够在两个不同域进行的用于调整图像属性的操作。第一类型图像可以与图像属性调整处理的类型相对应。本公开实施例中，以图像属性调整处理为超分辨率重建处理为例进行说明。超分辨率重建处理，是一种提升图像分辨率的方法，能够在不改变硬件设备的同时，将低分辨率图像或视频变成清晰的高分辨率结果。包括进行图像分辨率的缩放和图像的处理，以生成适应输出所需要的视频图像分辨率。图像处理分为图像的效果处理和形态处理，效果处理为图像的增强，锐化，平滑，去噪，去模糊，去雾，修复等操作之一，或组合；若为组合，其处理顺序可以为任意指定；形态处理为图像剪切，拼接等操作之一，或组合。分辨率缩放为对待处理图像对应的原图进行分辨率的放大或缩小，缩放的比例为对应输出所需要的比例。

超分辨率重建方法的主要目标，是恢复图像或视频在成像、传输等过程中丢失的纹理细节信息。例如，RAW域图像或视频具有最原始、最完整的信息，因此，在RAW域中进行SR任务，将能有效提升最终输出的目标图像的质量。

超分辨率重建算法均可以采用多帧处理的方式。在视频或预览模式中，图像数据是源源不断的，目前常用的是30fps，因此视频的多帧获取较容易，针对这种模式，可以充分利用视频的时域特性，以解决单帧图像中信息不足的问题。在拍照模式中，可以通过多次曝光出一张图的方式，获取用于SR的多帧信息。

本公开实施例中，第一域指的是RAW域。对于同一个感光传感器Sensor，其输出的RAW数据的大小始终是固定的。当进行高倍变焦时，最终拍摄输出的RGB图像只是RAW数据局部区域放大的结果。基于此，对所述待处理图像在第一域中进行图像属性调整处理，得到第一类型图像包括：对待处理图像中的有效区域进行超分辨率重建处理，得到第一类型图像。

有效区域指的是接收到变焦的区域，其可以为待处理图像的部分区域。有效区域可以响应于变焦操作而确定，具体可以根据变焦操作对应的变焦倍数来确定。变焦操作可以根据用户作用于拍照界面的变焦按键的触发操作而启动。例如，两个手指向外滑动拍照界面或者点击变焦按键等等。变焦倍数指的是分辨率的放大倍数。例如变焦倍数可以为10倍或者是20倍等等。参考图5中所示的示意图，若检测到用户对终端500的拍照界面501的向外滑动操作，则可以确定10倍的变焦倍数。

具体地，当手机相机的界面触发了变焦功能时，将界面的变焦倍数下发给ISP(Image Signal Processor，图像处理器)。RAW域SR根据变焦倍数确定其应处理的有效区域，也即是RAW域SR模块的输入只是原始RAW数据中的一部分。

在响应于变焦操作得到变焦倍数后，可以基于变焦倍数和有效区域之间的对应关系来确定有效区域。有效区域指的是变焦操作之后呈现在终端的预览界面的区域。有效区域具体可以由根据变焦倍数而确定的参考区域来确定。在不同情况下，可以直接通过参考区域来确定有效区域或者是通过对参考区域进行调整而得到有效区域。例如，如果需要在RAW域进行分辨率调整，则有效区域为参考区域；如果需要在RAW域进行等分辨率增强处理，则有效区域为调整后的参考区域。

有效区域之外的其他待处理图像可以称为剩余区域。参考区域可以用待处理图像中心的区域来表示。具体地，可以根据待处理图像的分辨率以及变焦倍数的比值来确定参考区域，进而确定出有效区域。例如，待处理图像的分辨率为4000×3000，变焦倍数为10倍，则可以待处理图像的中心为原点，将待处理图像缩放10倍，得到参考区域。因此，参考区域可以为待处理图像中心的400×300的区域。

在确定有效区域之后，可以在第一域中对有效区域进行超分辨率重建处理，将重建后的有效区域的图像作为第一类型图像。第一类型图像可以用于表示第一重建图像。具体而言，对有效区域进行超分辨率重建处理可以包括以下两种方式，即可以通过在RAW域进行分辨率提升或者是在RAW域进行有效区域的增强处理。

在RAW域的两种处理方式不能同时存在，且可以根据选取规则进行确定。选取规则例如可以为场景类型或者是分辨率提升有效性。场景类型例如可以为需要提升分辨率的阶段，不同场景类型对应的选取规则可以不同。具体地，RAW域中进行分辨率提升的劣势在于可能会影响图像的色彩以及引入明显的块效应等，优势在于流程通路较为简单，有利于ISP的前处理模块进行调试。YUV域中进行分辨率提升的劣势在于需要RAW域SR和ISP前处理环节进行严格的适配，增加了流程通路的难度，优势在于YUV域中的分辨率提升技术较为成熟，且不会产生明显的块效应。如果分辨率提升有效性为第一域中有效性大，则通过在RAW域进行分辨率提升以实现第一域的SR处理。如果分辨率提升有效性为第二域中有效性大，则通过在YUV域进行分辨率提升以实现第二域的SR处理。

若根据选取规则确定使用第一种方式来进行超分辨率重建处理，则可以将有效区域的分辨率提升至预设分辨率，且所述预设分辨率与所述待处理图像的分辨率相同。即，在RAW域SR完成有效区域的分辨率提升操作。具体地，可以将有效区域的图像的分辨率进行插值操作，使得有效区域的分辨率与待处理图像本身相同，实现了分辨率提升操作。此处对插值的具体过程不做详细描述。

图6中示出了第一种RAW域重建的具体流程图。参考图6中所示，主要包括：

对分辨率为4000×3000的待处理图像610进行切分，根据变焦倍数得到分辨率为400×300的有效区域620。然后输入至RAW域的超分辨率重建模块630，RAW域的超分辨率重建模块对有效区域620在第一域中使用插值操作进行超分辨率提升至预设分辨率。其中，由于拍照模式中，一般输出RGB图像与RAW数据的尺寸是一致，因此预设分辨率为4000×3000。从而得到第一域的SR结果，即分辨率为4000×3000的第一类型图像640，以将其输入至图像处理器的前处理模块650。

图6中的技术方案，通过在第一域中对待处理图像的有效区域进行分辨率提升，能够减少计算量且提高了操作有效性。并且由于RAW图像中具有最完整、最原始的信息，能够提升SR的最终表现力，提升输入至前处理模块的图像质量。

对于第二种方式而言，对所述待处理图像中的有效区域进行超分辨率重建处理，得到所述第一类型图像包括：对所述有效区域进行等分辨率增强处理；将增强处理后的有效区域重新填充至所述待处理图像中，以得到所述第一类型图像。等分辨率增强处理，指的是不改变分辨率，而只对其清晰度等参数来进行增强。等分辨率增强处理可以为1：1的增强处理。本公开实施例中，在得到有效区域之后，可以在第一域中对有效区域的图像进行清晰度提升，而不改变有效区域的分辨率。在得到增强处理后的有效区域时，可以将增强处理后的有效区域填充至待处理图像的剩余区域中，以将剩余区域和增强处理后的有效区域进行拼接，得到第一类型图像。此处的第一类型图像可以看作由两部分组成。

具体来说，可以通过预设参数来调整清晰度。预设参数可以包括以下至少一个：相邻像素幅度斜率、平滑过渡因子、降噪系数。相邻像素幅度的斜率是指：图像中某一像素点与相邻区域的像素点的差异程度，斜率越大，差异越大。例如图像的频谱图中暗的点数比较多时，因为各点与相邻区域像素点的差异都不大，那么相邻像素平均幅度斜率比较低，图像视觉效果比较柔和，反之若图像的频谱图中亮的点数多，边界分明且细节突出，那么处于边界附件的像素点之间差异较大，即幅度斜率比较大，图像的视觉效果一定是比较尖锐的。所以若将相邻像素幅度的斜率调整得越高，图像的边缘会变得越尖锐、细节增强越多，相应的图像视觉效果越清晰。

来源于不同选取方向和频率成分的图像所包含的图像信息不同，适合的清晰度调整参数也不一样。在具体的清晰度参数调整过程中，还可以针对不同选取方向和不同频率的像素采用不同的预设参数。根据统计平均值将预设参数中的相邻像素幅度斜率、平滑过渡因子、降噪系数设置成适合有效区域清晰度水平的值，以提高有效区域的清晰度。

图7中示意性示出了第二种RAW域重建的具体流程图。参考图7中所示，主要包括：

对分辨率为4000×3000的待处理图像710进行切分，根据变焦倍数得到分辨率为400×300的有效区域720。然后输入至RAW域的超分辨率重建模块730，RAW域的超分辨率重建模块对有效区域720在第一域中进行清晰度增强，得到增强处理后的有效区域740。接下来，将增强处理后的有效区域740通过填充模块750填充至待处理图像中，得到第一域的SR结果，即分辨率为400×300的第一类型图像760，以将其输入至图像处理器的前处理模块770。

图7中的技术方案，通过在第一域中对待处理图像的有效区域进行等分辨率增强处理，这种替换原始RAW数据的方式，能够降低ISP前处理操作的难度。当变焦倍数不同时，选取的有效区域的大小是不固定的，也即是RAW域SR的输出大小是不一致的，如果将RAW域SR的输出直接传递给ISP前处理模块，会极大程度上增加ISP前处理模块的处理难度。

需要补充的是，在方式二中，在根据变焦倍数以及待处理图像的分辨率确定参考区域后，参考区域的边界处可能不连续，造成边界中断的问题。为了解决上述问题，可以对由变焦倍数确定的参考区域进行扩充，得到扩充后的参考区域作为有效区域。具体地，可以根据扩充参数来对其进行扩充，扩充参数可以根据边界的完整度或者是变焦倍数来确定。例如边界缺失较多，则扩充参数越大；边界缺失越少，则扩充参数越小。变焦倍数越小，其扩充参数越小；变焦倍数越大，则扩充参数越大。

考虑到边界问题对最终结果的影响，在选择有效区域时，可以选取更大范围区域的数据。如通过变焦倍数计算出的参考区域大小为m×n，输入到RAW域SR模块的大小可以为(s×m)×(s×n)，s用于表示扩充参数，是一个大于1的常数，具体数值可以根据实际需求而定。通过对参考区域进行扩充，能够提高边界的完整性和可靠性，得到更完整的有效区域。

继续参考图3中所示，在步骤S330中，在第二域中对所述第一类型图像对应的第二域图像进行图像属性调整处理，得到第二类型图像。

本公开实施例中，在得到第一类型图像后，可以基于ISP前处理模块对得到的第一类型图像进行图像前处理，以将第一类型图像转换为初始的第二域图像。第二域图像指的是YUV格式的数据。YUV格式是指亮度参量和色度参量分开表示的像素格式，该格式不但可以避免相互干扰，还可以降低色度的采样率而不会对图像质量影响太大。其中，Y表示明亮度，也就是灰阶值；U和V表示的则是色度，作用是描述影像色彩及饱和度，用于指定像素的颜色。

由于在第一域中进行超分辨率重建处理时存在两种方式，因此在第二域进行超分辨率重建处理时也对应地存在两种方式，第二域的超分辨率重建处理方式与第一域的重建方式不同且互补。即，通过在YUV域进行等分辨率增强处理或者是在YUV域进行分辨率提升来实现第二域的超分辨率重建处理。

具体地，方式一、若第一域进行了分辨率调整，则对所述第二域图像进行等分辨率增强处理，以得到所述第二类型图像。即，对分辨率为4000×3000的有效区域进行等分辨率增强处理，不改变分辨率，只调整其清晰度。第二类型图像用于表示第二重建图像。

方式二、若第一域进行了等分辨率增强处理，则对所述第二域图像进行分辨率调整，以得到所述第二类型图像。第二域图像包括有效区域和剩余区域，因此在第二域中对所述第二域图像进行超分辨率重建处理，得到第二类型图像包括：在第二域中对所述第一类型图像对应的第二域图像的分辨率进行提升，得到所述第二类型图像。具体而言，同时对剩余区域和有效区域的分辨率进行提升，以使得有效区域和剩余区域的分辨率提升至待处理图像对应的预设分辨率。

如此一来，结合RAW域和YUV域的超分辨率重建处理的过程可以包括：方式一、RAW域SR完成有效区域的分辨率提升操作，后续的YUV域SR完成1：1的图像增强处理。方式二、RAW域SR完成有效区域的1：1增强处理，然后将有效区域的处理结果重新填充回原始的RAW数据中，后续的YUV域SR完成相应的分辨率提升操作。其中，RAW域SR的输出可以看作是YUV域SR的输入，以与其相连的前一图像重建处理输出的目标图像为输入，通过第二域进行超分辨率重建处理，能够得到第二类型图像。

通过结合两个域的超分辨率重建处理得到第二类型图像，克服了传统超分辨率重建算法有用信息不足的问题，避免了局限性。在RAW域和YUV域中均进行了SR处理，提升了最终SR结果的性能，也提高了分辨率提升质量。本技术方案中用于描述超分辨重建算法在整个相机流程中的落地方式，对超分辨重建算法本身没有严格的要求，因此更加灵活，能够使其快速的集成与落地。

需要说明的是，第一域和第二域在进行超分辨率重建处理时，均可以通过插值或神经网络的方式实现。例如，对待处理图像计算像素值梯度，根据像素值梯度在原有的像素点之间插入新的像素点，从而得到像素数更高(即分辨率更高)的第二类型图像。也可以采用SRCNN(Super-Resolution Convolutional Neural Network，超分辨率神经网络)或SRCNN的改进版本，通过大量的样本图像对进行训练，每个样本图像对包括一张样本图像(sample)和对应的一张高清图像(ground truth)，从而通过调整网络参数，直到达到一定的准确率；在应用时将待处理图像输入经过训练的网络，输出对应的第二类型图像。

在步骤S340中，将所述第二类型图像进行编码，生成所述待处理图像对应的目标图像。

本公开实施例中，可以对第二类型图像进行后处理，后处理指的是在第二域对第二域中超分辨率重建处理后的第二类型图像进行去噪、锐化、颜色矫正中的一种或多种的组合。具体可以将第二类型图像输入至ISP后处理模块进行图像后处理，以得到后处理图像。

进一步地，可以将后处理图像进行编码，得到目标图像。此处的目标图像可以为RGB格式图像。RGB图像中，每个像素点都有红、绿、蓝三个基底颜色。对于图像显示器来说，它是通过RGB格式来显示图像的，而在传输图像数据时又是使用YUV格式，这是因为YUV格式可以节省带宽。因此就需要显示时将YUV格式转换为RGB格式。具体地，可以将后处理图像输入至编码器，按照转换公式将第二类型图像的Y、U、V分量进行重新组合，以将其转换至所有像素点的R、G、B分量完成编码，从而得到目标图像。

基于对待处理图像进行的超分辨率重建处理，图8中示意性示出了通过超分辨率重建处理输出目标图像的流程示意图，参考图8中所示，主要包括以下步骤：

在步骤S810中，通过传感器采集图像，得到RAW图像。在步骤S820中，RAW域进行超分辨率重建处理。在步骤S830中，对RAW图像进行ISP前处理得到YUV图像。在步骤S840中，YUV域进行超分辨率重建处理。在步骤S850中，对YUV图像进行ISP后处理。在步骤S860中，对后处理图像进行编码。在步骤S870中，根据编码结果得到RGB图像。

本公开实施例中，可以将图8中的步骤应用于智能手机终端。响应于用户触发的变焦操作对应的变焦倍数，对待处理图像在第一域中进行分辨率调整和等分辨率增强处理，得到第一类型图像；对所述第一类型图像进行图像前处理，得到第二域中的第二域图像；在所述第二域中对所述第二域图像进行超分辨率重建处理和分辨率调整处理，得到第二类型图像；对所述第二类型图像进行图像后处理，以便于根据得到的后处理图像生成所述目标图像。

智能手机在拍摄图像的过程中，将ISP采集得到的低分辨率图像，通过两个过程进行输出：过程一、将待处理图像发送到图像处理终端，提取有效区域，并对有效区域进行RAW域的超分辨率重建处理，输出第一类型图像；过程二、可以先通过智能手机终端内部设置的图像处理单元对第一类型图像进行图像前处理，将前处理后的图像输入图像处理终端进行YUV域的超分辨率重建处理，得到第二类型图像，再对第二类型图像进行编码，显示目标图像，以使得目标图像的分辨率和清晰度满足终端的要求。

本公开实施例中的技术方案，通过分别在每个域中对单帧图像进行超分辨率重建处理，避免了传统超分辨率重建算法有用信息不足的问题，在第一域和第二域中均进行了重建处理，降低了复杂度且提升了最终超分辨率重建的性能。通过第一域和第二域中超分辨率重建的结合，能从多个域的角度来提升重建效果，保证了最终输出的目标图像的表现力，进而能够基于第一域和第二域中的多次超分辨率重建处理来提升目标图像的质量。先在第一域进行超分辨率重建处理，进一步在第二域进行超分辨率重建处理，通过先在第一域超分辨率重建处理后在第二域超分辨率重建处理的固定顺序，避免了只在一个域进行处理存在的局限性，也避免了仅在第一域进行超分辨率重建处理时图像尺寸较大而导致的计算负担较大的问题，减小了计算量，并且避免了只在第一域进行超分辨率重建处理出现问题时难以进行修正的问题，能够及时进行修正，避免了不必要的损失和可能造成的图像质量较差的问题，减少资源消耗且提高了输出的RGB图像的图像质量。本公开实施例中提供的一种超分辨率重建方案在传感器端的落地方式，在RAW域和YUV域，均会进行SR处理。在处理RAW图像时，不需要其相应的RGB域图像。因此避免了输入图像的局限性。首先在RAW域中对RAW数据进行SR，由于RAW图像中具有最完整、最原始的信息，将能够提升SR的最终表现力。其次，在RAW域SR的后续环节中，加入了YUV域的SR处理，能够进一步的提升图像的重建效果。两个域的SR算法相辅相成，都能有效增强最终输出图像的质量。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

图9示意性示出了本公开的示例性实施方式的图像处理装置的方框图。参考图9所示，根据本公开的示例性实施方式的图像处理装置900可以包括以下模块：

图像获取模块901，用于获取待处理图像；

第一域处理模块902，用于对所述待处理图像在第一域中进行图像属性调整处理，得到第一类型图像；

第二域处理模块903，用于在第二域中对所述第一类型图像对应的第二域图像进行图像属性调整处理，得到第二类型图像；

目标图像生成模块904，用于将所述第二类型图像进行编码，生成所述待处理图像对应的目标图像。

在本公开的一种示例性实施例中，所述图像属性调整处理为超分辨率重建处理。

在本公开的一种示例性实施例中，第一域处理模块包括：有效区域确定模块，用于若检测到变焦操作，则通过所述变焦操作对应的变焦倍数在所述待处理图像中确定参考区域，并基于所述参考区域确定有效区域；重建执行模块，用于对所述待处理图像中的所述有效区域进行超分辨率重建处理，得到所述第一类型图像。

在本公开的一种示例性实施例中，重建执行模块包括：分辨率调整模块，用于将所述有效区域的分辨率调整至预设分辨率，以得到所述第一类型图像，所述预设分辨率与所述待处理图像的分辨率相同。

在本公开的一种示例性实施例中，重建执行模块包括：增强模块，用于对所述有效区域进行等分辨率增强处理；区域填充模块，用于将增强处理后的有效区域重新填充至所述待处理图像的剩余区域中，以得到所述第一类型图像。

在本公开的一种示例性实施例中，所述装置还包括：区域扩充模块，用于基于扩充参数对所述参考区域进行扩充，得到扩充后的参考区域作为所述有效区域。

在本公开的一种示例性实施例中，第二域处理模块包括：等分辨率增强模块，用于对所述第二域图像进行等分辨率增强处理，以得到所述第二类型图像；其中，所述第二域图像通过对所述第一域中的第一类型图像进行图像前处理而确定。

在本公开的一种示例性实施例中，第二域处理模块包括：分辨率提升模块，用于在所述第二域中，将所述有效区域以及剩余区域对应的所述第二域图像的分辨率提升至预设分辨率，得到所述第二类型图像。

在本公开的一种示例性实施例中，所述装置还包括：重建算法模块，用于通过插值算法或深度学习算法进行所述超分辨率重建处理。

在本公开的一种示例性实施例中，所述装置还包括：第一调整处理模块，用于响应于变焦操作对应的变焦倍数，对所述待处理图像在第一域中进行图像属性调整处理，得到第一类型图像；前处理模块，用于对所述第一类型图像进行图像前处理，得到第二域中的第二域图像；第二处理模块，用于在所述第二域中对所述第二域图像进行图像属性调整处理，得到第二类型图像；后处理模块，用于对所述第二类型图像进行图像后处理，以便于根据得到的后处理图像生成所述目标图像。

在本公开的一种示例性实施例中，第一域处理模块包括：图像优化模块，用于对所述待处理图像进行显示优化处理，并将优化后的图像在第一域中进行图像属性调整处理，以获取所述第一类型图像；其中，所述显示优化处理包括黑电平校正处理以及坏点校正处理中的至少一种。

由于本公开实施方式的图像处理装置的各个功能模块与上述图像处理方法的实施方式中相同，因此在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像；

对所述待处理图像在第一域中进行图像属性调整处理，得到第一类型图像；

在第二域中对所述第一类型图像对应的第二域图像进行图像属性调整处理，得到第二类型图像；

将所述第二类型图像进行编码，生成所述待处理图像对应的目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述图像属性调整处理为超分辨率重建处理。

3.根据权利要求2所述的图像处理方法，其特征在于，所述对所述待处理图像在第一域中进行图像属性调整处理，得到第一类型图像，包括：

若检测到变焦操作，则通过所述变焦操作对应的变焦倍数在所述待处理图像中确定参考区域，并基于所述参考区域确定有效区域；

对所述待处理图像中的所述有效区域进行超分辨率重建处理，得到所述第一类型图像。

4.根据权利要求3所述的图像处理方法，其特征在于，所述对所述待处理图像中的所述有效区域进行所述图像属性调整处理，得到所述第一类型图像，包括：

将所述有效区域的分辨率调整至预设分辨率，以得到所述第一类型图像，所述预设分辨率与所述待处理图像的分辨率相同。

5.根据权利要求3所述的图像处理方法，其特征在于，所述对所述待处理图像中的所述有效区域进行所述图像属性调整处理，得到所述第一类型图像包括：

对所述有效区域进行等分辨率增强处理；

将增强处理后的有效区域重新填充至所述待处理图像的剩余区域中，以得到所述第一类型图像。

6.根据权利要求5所述的图像处理方法，其特征在于，所述方法还包括：

基于扩充参数对所述参考区域进行扩充，得到扩充后的参考区域作为所述有效区域。

7.根据权利要求4所述的图像处理方法，其特征在于，所述在第二域中对所述第一类型图像对应的第二域图像进行图像属性调整处理，得到第二类型图像，包括：

对所述第二域图像进行等分辨率增强处理，以得到所述第二类型图像，其中，所述第二域图像通过对所述第一域中的第一类型图像进行图像前处理而确定。

8.根据权利要求5所述的图像处理方法，其特征在于，所述在第二域中对所述第一类型图像对应的第二域图像进行图像属性调整处理，得到第二类型图像，包括：

在所述第二域中，将所述有效区域以及剩余区域对应的所述第二域图像的分辨率提升至预设分辨率，得到所述第二类型图像。

9.根据权利要求2所述的图像处理方法，其特征在于，所述方法还包括：

通过插值算法或深度学习算法进行所述超分辨率重建处理。

10.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

响应于变焦操作对应的变焦倍数，对所述待处理图像在第一域中进行图像属性调整处理，得到第一类型图像；

对所述第一类型图像进行图像前处理，得到第二域中的第二域图像；

在所述第二域中对所述第二域图像进行图像属性调整处理，得到第二类型图像；

对所述第二类型图像进行图像后处理，以便于根据得到的后处理图像生成所述目标图像。

11.根据权利要求1所述的图像处理方法，其特征在于，所述对所述待处理图像在第一域中进行图像属性调整处理，得到第一类型图像，包括：

对所述待处理图像进行显示优化处理，并将优化后的图像在第一域中进行所述图像属性调整处理，以获取所述第一类型图像；

其中，所述显示优化处理包括黑电平校正处理以及坏点校正处理中的至少一种。

12.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取待处理图像；

第一域处理模块，用于对所述待处理图像在第一域中进行图像属性调整处理，得到第一类型图像；

第二域处理模块，用于在第二域中对所述第一类型图像对应的第二域图像进行图像属性调整处理，得到第二类型图像；

目标图像生成模块，用于将所述第二类型图像进行编码，生成所述待处理图像对应的目标图像。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-11任意一项所述的图像处理方法。

14.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-11任意一项所述的图像处理方法。

Images