CN114092323A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备，其中，本申请通过识别当前用户的注视区域，并获取待处理图像，然后根据当前用户的注视区域在待处理图像中确定出需要进行超分辨率图像处理的目标区域，最后对待处理图像中的目标区域进行超分辨率图像处理，相应得到超分辨率图像。相较于相关技术，本申请利用人眼在注视时以注视点为原点向外扩展，对于越向外的区域，对像素清晰度感知越低的特性，只对人眼能够清楚感知的区域进行超分辨率图像处理。这样，使得用户仍能够感知到清晰的图像，但是电子设备进行超分辨率图像处理的计算量却得以大幅降低，从而大幅提升了电子设备对图像进行超分辨率图像处理的效率。

Description

图像处理方法、装置、存储介质及电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

目前，拍摄功能的好坏已经成为衡量一台电子设备(比如智能手机、平板电脑等)性能的关键，用户可以随时随地通过电子设备拍摄想要拍摄的场景。为了提升拍摄质量，相关技术通过对图像进行超分辨率图像处理来增加图像的分辨率，使得图像更为清晰。然而，超分辨率图像处理需要占用电子设备大量的处理资源，因此，如何高效的对图像进行超分辨率图像处理变得尤为重要。

发明内容

本申请提供了一种图像处理方法、装置、存储介质及电子设备，能够高效的实现对图像的超分辨率图像处理。

本申请提供图像处理方法，包括：

识别当前用户的注视区域；

获取待处理图像；

根据所述注视区域，确定所述待处理图像中需要进行超分辨率图像处理的目标区域；

对所述待处理图像中的目标区域进行超分辨率图像处理，得到超分辨率图像。

本申请提供的图像处理装置，包括：

区域识别模块，用于识别当前用户的注视区域；

图像获取模块，用于获取待处理图像；

区域确定模块，用于根据所述注视区域，确定所述待处理图像中需要进行超分辨率图像处理的目标区域；

超分处理模块，用于对所述待处理图像中的目标区域进行超分辨率图像处理，得到超分辨率图像。

本申请提供的存储介质，其上存储有计算机程序，当所述计算机程序被处理器加载时执行如本申请任一实施例提供的图像处理方法。

本申请提供的电子设备，包括处理器和存储器，所述存储器存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如本申请任一实施例提供的图像处理方法。

本申请还提供一种电子设备，包括图像信号前处理器和应用处理器，其中，所述应用处理器用于识别当前用户的注视区域；

所述图像信号前处理器用于：

获取待处理图像；

根据所述注视区域，确定所述待处理图像中需要进行超分辨率图像处理的目标区域；以及

对所述待处理图像中的目标区域进行超分辨率图像处理，得到超分辨率图像。

相较于相关技术，本申请通过识别当前用户的注视区域，并获取待处理图像，然后根据当前用户的注视区域在待处理图像中确定出需要进行超分辨率图像处理的目标区域，最后对待处理图像中的目标区域进行超分辨率图像处理，相应得到超分辨率图像。相较于相关技术，本申请利用人眼在注视时以注视点为原点向外扩展，对于越向外的区域，对像素清晰度感知越低的特性，只对人眼能够清楚感知的区域进行超分辨率图像处理。这样，使得用户仍能够感知到清晰的图像，但是电子设备进行超分辨率图像处理的计算量却得以大幅降低，从而大幅提升了电子设备对图像进行超分辨率图像处理的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像处理方法的一流程示意图。

图2是本申请实施例中进行超分辨率图像处理的对比示意图。

图3是本申请实施例中提供的图像处理界面的示例图。

图4是本申请实施例中提供的选择子界面的示例图。

图5是本申请实施例中识别出的注视区域的示意图。

图6是将图5中注视区域映射为目标区域的一示意图。

图7是将图5中注视区域映射为目标区域的另一示意图。

图8是将图7中目标区域内圆形图像内容转换为矩形图像内容的示意图。

图9是本申请实施例提供的图像处理方法的另一流程示意图。

图10是本申请实施例中对待处理图像进行分割的示意图。

图11是本申请实施例中合成得到超分辨率图像的示意图。

图12是本申请实施例提供的图像处理装置的一结构示意图。

图13是本申请实施例提供的电子设备的一结构示意图。

图14是本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

应当说明的是，以下的说明是通过所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

超分辨率(Super-Resolution)技术是近几年迅速发展起来的一种图像放大技术，其通过硬件或软件方式提高原有图像的分辨率，通过一幅或者多幅低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。以手动端的应用为例，在光学变焦或者数码变焦的手机拍摄场景中，使用超分技术能够将模糊图像快速转化为更为清晰的图像进行输出。然而目前限制这一技术的主要原因在于：由于手机羸弱的运算处理能力，实时完成拍摄中每一帧图片的快速实时超分是目前硬件能力所达不到的。因此，如何高效的对图像进行超分辨率图像处理变得尤为重要。

为此，本申请实施例提供一种图像处理方法、图像处理装置、存储介质以及电子设备。其中，该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置，或者集成了该图像处理装置的电子设备，其中该图像处理装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑等可移动电子设备，也可以是台式电脑等固定电子设备。

请参照图1，图1为本申请实施例提供的图像处理方法的流程示意图，本申请实施例提供的图像处理方法的具体流程可以如下：

在101中，识别当前用户的注视区域。

应当说明的是，人眼的视力是中心视力，通俗地说，就是只有眼球注视的那一小块地方能够看清楚。人眼的视角大概150度左右，双眼加一起差不多180度，也就是眼球前面的物体基本都能看见，但是绝大部分都看不清楚，越靠近注视区域边缘的物体就越模糊。基于此，本申请利用人眼在注视时以注视点为原点向外扩展，对于越向外的区域，对像素清晰度感知越低的特性，只对人眼能够清楚感知的区域进行超分辨率图像处理。这样，用户仍然感知到的是清晰的图像，但是电子设备进行超分辨率图像处理的计算量却得以大幅降低。

比如，请参照图2，对于一副图像，需要对该图像的全部区域进行超分辨率图像处理，而本申请中进行对该图像中的部分区域进行超分辨率图像处理。

以下实施例中以电子设备为执行主体进行说明。

其中，电子设备首先识别当前用户在屏幕的注视区域。

示例性的，电子设备可以按照预先配置的眼球追踪方式，对当前用户的眼球注视位置进行追踪，进而利用该注视位置确定出当前用户在屏幕的注视区域。应当说明的是，眼球追踪是指当人的眼球看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，电子设备即使通过图像捕捉或扫描提取这些特征，从而实时追踪眼球的变化，得到其注视位置。本申请实施例中，对于采用何种眼球追踪方式不做具体限制，可由本领域普通技术人员根据实际需要进行选取。

比如，电子设备在追踪到当前用户眼球的注视位置之后，以该注视位置为圆心，按照预设的注视半径(用于描述用户所能清楚感知的范围，可由本领域普通技术人员根据实际需要取经验值)在屏幕确定出对应的圆形区域，作为当前用户的注视区域。

在102中，获取待处理图像。

本申请实施例中，电子设备处理对当前用户的注视区域进行识别之外，还获取到需要进行超分辨率图像处理的待处理图像。

示例性的，电子设备可以在接收到输入的超分指令时，根据用户输入的超分指令确定需要进行超分辨率图像处理的待处理图像；或者是在电子设备设备采集得到新的图像时，将其作为待处理图像等。

比如，电子设备可以通过包括指令输入接口的图像处理界面接收输入的超分指令，如图3所示，该指令输入接口可以为输入框的形式，用户可以在该输入框形式的指令输入接口中键入需要进行超分辨率图像处理的图像的标识信息，并输入确认信息(如直接按下键盘的回车键)以输入超分指令，该超分指令携带有需要进行超分辨率图像处理的图像的标识信息。相应的，电子设备即可根据接收到的超分指令中的标识信息获取到需要进行超分辨率图像处理的待处理图像。

又比如，在图3所示的图像处理界面中，还包括“打开”控件，一方面，电子设备在侦测到该打开控件触发时，将在图像处理界面之上叠加显示选择子界面(如图4所示)，该选择子界面向用户提供本地储存的可进行超分辨率图像处理的图像的缩略图，如图像A、图像B、图像C、图像D、图像E、图像F等图像的缩略图，供用户查找并选中需要进行超分辨率图像处理的图像的缩略图；另一方面，用户可以在选中需要进行超分辨率图像处理的图像的缩略图之后，触发选择子界面提供的确认控件，以向电子设备输入超分指令，该超分指令与用户选中的图像的缩略图相关联，指示电子设备将用户选中的图像作为需要进行超分辨率图像处理的待处理图像。

此外，本领域普通技术人员还可以根据实际需要设置其它输入超分指令的具体实现方式，本发明对此不做具体限制。

又比如，电子设备在拍摄预览时，将摄像头采集到的图像作为需要进行超分辨率图像处理的待处理图像。

应当说明的是，以上101和102的执行先后顺序不受序号大小的影响，可以是101在102之前执行，也可以是102在101之前执行，还可以是101和102同时执行。

在103中，根据前述注视区域，确定待处理图像中需要进行超分辨率图像处理的目标区域。

本申请实施例中，电子设备在识别到当前用户的注视区域以及获取到需要进行超分辨率图像处理的待处理图像时，进一步根据前述注视区域，以及配置的目标区域选取方式确定待处理图像中需要进行超分辨率图像处理的目标区域。

应当说明的是，本申请实施例中对于目标区域选取方式的配置不做具体限制，可由本领域普通技术人员根据实际需要进行配置，以目标区域为待处理图像的局部区域为约束，最终确定的目标区域可以与前述注视区域相同，也可以小于前述注视区域，还可以大于前述注视区域。

在104中，对待处理图像中的目标区域进行超分辨率图像处理，得到超分辨率图像。

本申请实施例中，在确定待处理图像中需要进行超分辨率图像处理的目标区域之后，电子设备即按照配置的超分辨率图像处理方式对待处理图像中的目标区域进行超分辨率图像处理，相应得到待处理图像的超分辨率图像。

应当说明的是，本申请实施例中对于采用何种超分辨率图像处理方式不做具体限定，可由本领域普通技术人员根据实际需要进行选取，比如单帧图像的超分辨率图像处理算法，多帧图像的超分辨率图像处理算法。

由上可知，本申请通过识别当前用户的注视区域，并获取待处理图像，然后根据当前用户的注视区域在待处理图像中确定出需要进行超分辨率图像处理的目标区域，最后对待处理图像中的目标区域进行超分辨率图像处理，相应得到超分辨率图像。相较于相关技术，本申请利用人眼在注视时以注视点为原点向外扩展，对于越向外的区域，对像素清晰度感知越低的特性，只对人眼能够清楚感知的区域进行超分辨率图像处理。这样，使得用户仍能够感知到清晰的图像，但是电子设备进行超分辨率图像处理的计算量却得以大幅降低，从而大幅提升了电子设备对图像进行超分辨率图像处理的效率。

在一实施例中，识别当前用户的注视区域之后，还包括：

在识别到当前用户未注视屏幕时，不进行超分辨率图像处理。

可以理解的是，在当前用户未注视屏幕时，说明当前用户的关注点并不在电子设备，此时没有必要对电子设备中的待处理图像进行超分辨率图像处理。

可选地，在一实施例中，识别当前用户的注视区域，包括：

(1)识别当前用户的注视点；

(2)获取当前用户的注视半径；

(3)以前述注视点为原点，根据前述注视半径生成圆形的注视区域。

本申请实施例提供一可选的注视区域识别方案。

其中，电子设备按照预先配置的眼球追踪方式，对当前用户的眼球注视点进行追踪，相应识别得到当前用户的注视点。本申请实施例中，对于采用何种眼球追踪方式不做具体限制，可由本领域普通技术人员根据实际需要进行选取。

应当说明的是，不同用户在注视时所能感知到的清晰范围是不同的，本申请实施例中采用注视半径来表征用户注视时所能清晰感知的范围。基于此，对于电子设备的每一授权用户(比如电子设备的机主，机主授权能够使用电子设备的其他用户)，本申请实施例中预先标定有与其对应的注视半径，利用该注视半径来描述其注视时所能清晰感知的范围。其中，对于注视半径的标定方式，本申请实施例中不做具体限制，可由本领域普通技术人员根据实际需要选取合适的标定方式。

相应的，电子设备还获取当前用户的注视半径。示例性的，电子设备可以先对当前用户进行身份识别，以得到当前用户的身份信息，然后根据当前用户的身份信息获取到当前用户的注视半径。

比如，电子设备预先采集授权用户(包括机主，以及机主授权能够使用电子设备的其他用户)的人脸信息，并将采集到人脸信息与对应授权用户的身份信息关联后存储至人脸库中。

在获取当前用户的注视半径时，电子设备首先通过前置摄像头进行图像拍摄，得到拍摄图像。然后对得到的拍摄图像进行人脸识别，得到拍摄图像的人脸信息。再将识别得到人脸信息与人脸库中的人脸信息进行匹配，当匹配成功时，则将人脸库中匹配的人脸信息所关联的身份信息作为当前用户的身份信息。最后，即可根据当前用户的身份信息查找到与之对应的注视半径。

在识别到当前用户的注视点，并获取到其注视半径之后，电子设备即以前述注视点为原点，根据前述注视半径生成一个圆形区域，作为当前用户的注视区域。

比如，请参照图5，其中，“o”表示电子设备识别到的当前用户的注视点，R表示电子设备获取到的当前用户的注视半径，相应的，电子设备以o为圆心，以R为半径，生成当前用户的注视区域。

可选地，在一实施例中，确定待处理图像中需要进行超分辨率图像处理的目标区域，包括：

(1)获取圆形的注视区域的外接矩形区域，并将外接矩形区域映射至待处理图像中，将外接矩形区域的映射区域设为目标区域；或者

(2)将圆形的注视区域映射至待处理图像中，将圆形的注视区域的映射区域设为目标区域。

本申请实施例中，进一步提供可选地确定需要进行超分辨率图像处理的目标区域的确定方式。

作为一可选地实施方式，在确定待处理图像中需要进行超分辨率图像处理的目标区域时，电子设备首先获取前述注视区域的外接矩形区域(比如，最小外接矩形区域)，然后将该外接矩形区域映射至待处理图像中(比如，根据待处理图像的尺寸大小、屏幕的尺寸大小以及外接矩形区域的位置等，将外接矩形区域由屏幕等比缩放至待处理图像中，如图6所示)，将该外接矩形的映射区域(同为矩形)设为待处理图像中需要进行超分辨率图像处理的目标区域。

作为另一种可选地实施方式，在确定待处理图像需要进行超分辨率图像处理的目标区域时，电子设备直接将圆形的注视区域映射至待处理图像中(比如，根据待处理图像的尺寸大小、屏幕的尺寸大小以及圆形的目标区域的位置等，将前述目标区域由屏幕等比缩放至待处理图像中，如图7所示)，将前述注视区域的映射区域(同为圆形区域)设为待处理图像中需要进行超分辨率图像处理的目标区域。

可选地，在一实施例中，在圆形的注视区域的映射区域被设为目标区域时，对待处理图像中的目标区域进行超分辨率图像处理，包括：

(1)将目标区域内的圆形图像内容转换为矩形图像内容；

(2)对矩形图像内容进行超分辨率图像处理，得到处理后的矩形图像内容；

(3)将处理后的矩形图像内容转换回圆形图像内容。

本申请实施例中，提供一可选地超分辨率图像处理方式。

其中，在圆形的注视区域的映射区域被设为目标区域时，电子设备首先将目标区域内的圆形图像内容转换为矩形图像内容。

比如，请参照图8，电子设备以目标区域内圆形图像内容的圆心为原点，建立直角坐标系，然后利用下述公式转为极坐标系对圆形图像内容进行转换：

(ρ,θ)＝(ρcos(θ),ρsin(θ))；

其中，ρ表示极径，θ表示极角，x表示横坐标，y表示纵坐标。

如图8所示，圆形图像内容中越靠近圆形部分的面积被放得越大，越远离圆心的面积被缩得越小。由此，本申请中通过这种圆形图像内容到矩形图像内容的转换，能够增加当前用户的注视点中心区域的计算权重比例，减少远离注视点的区域的计算权重比例。

在将目标区域内的圆形图像内容转换为矩形图像内容之后，即可对该矩形图像内容进行超分辨率图像处理，相应得到处理后的矩形图像内容。其中，本申请实施例对采用何种超分辨率图像处理算法不做具体限制，可由本领域普通技术人员根据实际需要进行选取。

在完成对前述矩形图像内容的超分辨率图像处理之后，电子设备即可将处理后的矩形图像内容转换回圆形图像内容，由此实现对目标区域内容圆形图像内容的超分辨率图像处理。

可选地，在一实施例中，获取待处理图像，包括：

(1)通过摄像头对拍摄场景进行图像采集，将采集到的图像设为待处理图像；

对待处理图像中的目标区域进行超分辨率图像处理，得到超分辨率图像之后，还包括：

(2)将超分辨率图像作为拍摄场景的预览图像进行展示。

本申请实施例提供的图像处理方法可以应用于预览场景。

其中，拍摄场景为电子设备在启动拍摄类应用程序(可以系统自带的拍摄类应用程序，也可以是第三方拍摄类应用程序)后摄像头所对准的场景，其可以为任何场景，可以包括人和物等。

应当说明的是，对于如何启动电子设备的拍摄类应用程序以及何种拍摄类应用程序，本申请中不做具体限制。示例性的，电子设备可以根据用户操作来启动电子设备的系统应用“相机”，在启动“相机”后，电子设备将通过摄像头实时进行图像采集，此时，其摄像头所对准的场景即为拍摄场景。比如，电子设备可以根据用户对“相机”入口的触摸操作来启动“相机”，还可以根据用户的语音口令“启动相机”来启动“相机”等。

本申请实施例中，电子设备通过摄像头对拍摄场景进行图像采集，并将采集到的图像设为待处理图像，通过以上实施例中所提供的图像处理方法对待处理图像进行超分辨率图像处理。在完成对待处理图像中目标区域的超分辨率图像处理，相应得到超分辨率图像之后，电子设备即将该超分辨率图像作为拍摄场景的预览图像进行展示。其中，电子设备可以将超分辨率图像作为拍摄场景的预览图像直接进行展示，也可以将超分辨率图像作为拍摄场景的预览图像降采样至屏幕的相同分辨率后进行展示。

由此，在预览时，电子设备根据用户注视区域仅对预览图像的局部进行超分辨率图像处理，这样，能够达到对预览图像全局进行超分辨率图像处理的同样感知效果，但是本申请能够使得超分辨率图像处理的计算量大幅降低，达到提升超分辨率图像处理效率的目的。

可选地，在一实施例中，将超分辨率图像作为拍摄场景的预览图像进行展示之后，还包括：

当接收到图像成像指令时，对待处理图像的全部区域进行超分辨率图像处理，得到成像图像。

本申请实施例中，电子设备在接收到针对拍摄场景的图像成像指令时，对待处理图像的全部区域进行超分辨率图像处理，将全部区域均进行超分辨率图像处理的待处理图像作为前述图像成像指令的成像图像。

请参照图9，本申请提供的图像处理方法的流程还可以为：

在201中，电子设备识别当前用户在屏幕的圆形注视区域。

应当说明的是，人眼的视力是中心视力，通俗地说，就是只有眼球注视的那一小块地方能够看清楚。人眼的视角大概150度左右，双眼加一起差不多180度，也就是眼球前面的物体基本都能看见，但是绝大部分都看不清楚，越靠近注视区域边缘的物体就越模糊。基于此，本申请利用人眼在注视时以注视点为原点向外扩展，对于越向外的区域，对像素清晰度感知越低的特性，只对人眼能够清楚感知的区域进行超分辨率图像处理。这样，用户仍然感知到的是清晰的图像，但是电子设备进行超分辨率图像处理的计算量却得以大幅降低。

本申请实施例中，电子设备首先识别当前用户在屏幕的圆形注视区域。

其中，电子设备按照预先配置的眼球追踪方式，对当前用户的眼球注视点进行追踪，相应识别得到当前用户的注视点。本申请实施例中，对于采用何种眼球追踪方式不做具体限制，可由本领域普通技术人员根据实际需要进行选取。

应当说明的是，不同用户在注视时所能感知到的清晰范围是不同的，本申请实施例中采用注视半径来表征用户注视时所能清晰感知的范围。基于此，对于电子设备的每一授权用户(比如电子设备的机主，机主授权能够使用电子设备的其他用户)，本申请实施例中预先标定有与其对应的注视半径，利用该注视半径来描述其注视时所能清晰感知的范围。其中，对于注视半径的标定方式，本申请实施例中不做具体限制，可由本领域普通技术人员根据实际需要选取合适的标定方式。

相应的，电子设备还获取当前用户的注视半径。示例性的，电子设备可以先对当前用户进行身份识别，以得到当前用户的身份信息，然后根据当前用户的身份信息获取到当前用户的注视半径。

比如，电子设备预先采集授权用户(包括机主，以及机主授权能够使用电子设备的其他用户)的人脸信息，并将采集到人脸信息与对应授权用户的身份信息关联后存储至人脸库中。

在获取当前用户的注视半径时，电子设备首先通过前置摄像头进行图像拍摄，得到拍摄图像。然后对得到的拍摄图像进行人脸识别，得到拍摄图像的人脸信息。再将识别得到人脸信息与人脸库中的人脸信息进行匹配，当匹配成功时，则将人脸库中匹配的人脸信息所关联的身份信息作为当前用户的身份信息。最后，即可根据当前用户的身份信息查找到与之对应的注视半径。

在识别到当前用户的注视点，并获取到其注视半径之后，电子设备即以前述注视点为原点，根据前述注视半径生成一个圆形区域，作为当前用户的圆形注视区域。

比如，请参照图5，其中，“o”表示电子设备识别到的当前用户的注视点，R表示电子设备获取到的当前用户的注视半径，相应的，电子设备以o为圆心，以R为半径，生成当前用户的圆形注视区域。

在202中，电子设备通过摄像头对拍摄场景进行图像采集，将采集到的图像设为待处理图像。

其中，拍摄场景为电子设备在启动拍摄类应用程序(可以系统自带的拍摄类应用程序，也可以是第三方拍摄类应用程序)后摄像头所对准的场景，其可以为任何场景，可以包括人和物等。

应当说明的是，对于如何启动电子设备的拍摄类应用程序以及何种拍摄类应用程序，本申请中不做具体限制。示例性的，电子设备可以根据用户操作来启动电子设备的系统应用“相机”，在启动“相机”后，电子设备将通过摄像头实时进行图像采集，此时，其摄像头所对准的场景即为拍摄场景。比如，电子设备可以根据用户对“相机”入口的触摸操作来启动“相机”，还可以根据用户的语音口令“启动相机”来启动“相机”等。

本申请实施例中，电子设备通过摄像头对拍摄场景进行图像采集，并将采集到的图像设为待处理图像。

应当说明的是，以上201和202的执行先后顺序不受序号大小的影响，可以是201在202之前执行，也可以是202在201之前执行，还可以是201和202同时执行。

在203中，电子设备将圆形注视区域映射至待处理图像中，并将圆形注视区域的映射区域设为需要进行超分辨率图像处理的目标区域。

其中，电子设备直接将圆形的注视区域映射至待处理图像中(比如，根据待处理图像的尺寸大小、屏幕的尺寸大小以及圆形的目标区域的位置等，将前述目标区域由屏幕等比缩放至待处理图像中，如图7所示)，将前述注视区域的映射区域(同为圆形区域)设为待处理图像中需要进行超分辨率图像处理的目标区域。

在204中，电子设备将目标区域内的圆形图像内容转换为矩形图像内容。

在确定待处理图像中需要进行超分辨率图像处理的目标区域之后，电子设备即对待处理图像的目标区域进行超分辨率图像处理。

比如，请参照图10，电子设备将待处理图像分割为两部分，其中一部分为需要进行超分辨率图像处理的目标区域，另一部分即为不需要进行超分辨率图像处理的其它区域。这样，电子设备只对分割出的目标区域进行超分辨率图像处理，然后再将超分辨率图像处理后的目标区域和未进行超分辨率图像处理的其它区域合成为完整的超分辨率图像，如图11所示。

其中，电子设备首先将目标区域内的圆形图像内容转换为矩形图像内容。

比如，请参照图8，电子设备以目标区域内圆形图像内容的圆心为原点，建立直角坐标系，然后利用下述公式转为极坐标系对圆形图像内容进行转换：

(ρ,θ)＝(ρcos(θ),ρsin(θ))；

其中，ρ表示极径，θ表示极角，x表示横坐标，y表示纵坐标。

如图8所示，圆形图像内容中越靠近圆形部分的面积被放得越大，越远离圆心的面积被缩得越小。由此，本申请中通过这种圆形图像内容到矩形图像内容的转换，能够增加当前用户的注视点中心区域的计算权重比例，减少远离注视点的区域的计算权重比例。

在205中，电子设备对矩形图像内容进行超分辨率图像处理，得到处理后的矩形图像内容。

在将目标区域内的圆形图像内容转换为矩形图像内容之后，即可对该矩形图像内容进行超分辨率图像处理，相应得到处理后的矩形图像内容。其中，本申请实施例对采用何种超分辨率图像处理算法不做具体限制，可由本领域普通技术人员根据实际需要进行选取。

在206中，电子设备将处理后的矩形图像内容转换回圆形图像内容，得到超分辨率图像。

在完成对前述矩形图像内容的超分辨率图像处理之后，电子设备即可将处理后的矩形图像内容转换回圆形图像内容。然后，电子设备将超分辨率图像处理后的圆形图像内容和未进行超分辨率图像处理的其它图像内容合成为完整的图像，记为超分辨率图像，由此实现对目标区域内容圆形图像内容的超分辨率图像处理。

在207中，电子设备将超分辨率图像作为拍摄场景的预览图像进行展示。

在完成对待处理图像中目标区域的超分辨率图像处理，相应得到超分辨率图像之后，电子设备即将该超分辨率图像作为拍摄场景的预览图像进行展示。其中，电子设备可以将超分辨率图像作为拍摄场景的预览图像直接进行展示，也可以将超分辨率图像作为拍摄场景的预览图像降采样至屏幕的相同分辨率后进行展示。

由此，在预览时，电子设备根据用户注视区域仅对预览图像的局部进行超分辨率图像处理，这样，能够达到对预览图像全局进行超分辨率图像处理的同样感知效果，但是本申请能够使得超分辨率图像处理的计算量大幅降低，达到提升超分辨率图像处理效率的目的。

本申请还提供一种图像处理装置。请参照图12，图12为本申请实施例提供的图像处理装置的结构示意图。其中该图像处理装置应用于电子设备，该图像处理装置包括区域识别模块301、图像获取模块302、区域确定模块303以及超分处理模块304，如下：

区域识别模块301，用于识别当前用户的注视区域；

图像获取模块302，用于获取待处理图像；

区域确定模块303，用于根据前述注视区域，确定待处理图像中需要进行超分辨率图像处理的目标区域；

超分处理模块304，用于对待处理图像中的目标区域进行超分辨率图像处理，得到超分辨率图像。

可选地，在一实施例中，在识别当前用户的注视区域时，区域识别模块301用于：

识别当前用户的注视点；

获取当前用户的注视半径；

以前述注视点为原点，根据前述注视半径生成圆形的注视区域。

可选地，在一实施例中，在确定待处理图像中需要进行超分辨率图像处理的目标区域时，区域确定模块303用于：

获取圆形的注视区域的外接矩形区域，并将外接矩形区域映射至待处理图像中，将外接矩形区域的映射区域设为目标区域；或者

将圆形的注视区域映射至待处理图像中，将圆形的注视区域的映射区域设为目标区域。

可选地，在一实施例中，在圆形的注视区域的映射区域被设为目标区域，对待处理图像中的目标区域进行超分辨率图像处理时，超分处理模块304用于：

将目标区域内的圆形图像内容转换为矩形图像内容；

对矩形图像内容进行超分辨率图像处理，得到处理后的矩形图像内容；

将处理后的矩形图像内容转换回圆形图像内容。

可选地，在一实施例中，在获取待处理图像时，图像获取模块302用于：

通过摄像头对拍摄场景进行图像采集，将采集到的图像设为待处理图像；

本申请提供的图像处理装置还包括图像预览模块，在对待处理图像中的目标区域进行超分辨率图像处理，得到超分辨率图像之后，用于：

将超分辨率图像作为拍摄场景的预览图像进行展示。

可选地，在一实施例中，在将超分辨率图像作为拍摄场景的预览图像进行展示之后，超分处理模块304用于：

当接收到图像成像指令时，对待处理图像的全部区域进行超分辨率图像处理，得到成像图像。

应当说明的是，本申请实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思，在图像处理装置上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见以上实施例，此处不再赘述。

本申请还提供一种电子设备，请参照图13，电子设备包括处理器401和存储器402。

本申请实施例中的处理器401是通用处理器，比如ARM架构的处理器。

存储器402中存储有计算机程序，其可以为高速随机存取存储器，还可以为非易失性存储器，比如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402中计算机程序的访问，实现本申请提供的任一图像处理方法中的步骤，比如：

识别当前用户的注视区域；

获取待处理图像；

根据前述注视区域，确定待处理图像中需要进行超分辨率图像处理的目标区域；

对待处理图像中的目标区域进行超分辨率图像处理，得到超分辨率图像。

应当说明的是，本申请实施例提供的电子设备与上文实施例中的图像处理方法属于同一构思，在电子设备上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见特征提取方法实施例，此处不再赘述。

本申请还提供一种电子设备，请参照图14，电子设备包括图像信号前处理器501和应用处理器502。

其中，应用处理器502内置图像信号处理器(图中未示出)，图像信号处理器能够对图像数据进行处理，提升图像数据的质量。比如，图像信号处理器能够对图像数据做坏点校正处理，消除图像数据中的坏点。

图像信号前处理器501相较于应用处理器502中的图像信号处理器，其在图像信号处理器对图像数据进行处理之前进行一些差异化处理，可以看做是图像信号处理器进行处理之前的预处理。

本申请实施例中，图像信号前处理器和应用处理器502协同实现本申请提供的任一图像处理方法中的步骤，比如：

应用处理器502用于识别当前用户的注视区域；

图像信号前处理器501用于：

获取待处理图像；

根据注视区域，确定待处理图像中需要进行超分辨率图像处理的目标区域；以及

对待处理图像中的目标区域进行超分辨率图像处理，得到超分辨率图像。

可选地，在一实施例中，在识别当前用户的注视区域时，应用处理器502用于：

识别当前用户的注视点；

获取当前用户的注视半径；

以前述注视点为原点，根据前述注视半径生成圆形的注视区域。

可选地，在一实施例中，在确定待处理图像中需要进行超分辨率图像处理的目标区域时，图像信号前处理器501用于：

获取圆形的注视区域的外接矩形区域，并将外接矩形区域映射至待处理图像中，将外接矩形区域的映射区域设为目标区域；或者

将圆形的注视区域映射至待处理图像中，将圆形的注视区域的映射区域设为目标区域。

可选地，在一实施例中，在圆形的注视区域的映射区域被设为目标区域，对待处理图像中的目标区域进行超分辨率图像处理时，图像信号前处理器501用于：

将目标区域内的圆形图像内容转换为矩形图像内容；

对矩形图像内容进行超分辨率图像处理，得到处理后的矩形图像内容；

将处理后的矩形图像内容转换回圆形图像内容。

可选地，在一实施例中，在获取待处理图像时，图像信号前处理器501用于：

通过摄像头对拍摄场景进行图像采集，将采集到的图像设为待处理图像；

在对待处理图像中的目标区域进行超分辨率图像处理，得到超分辨率图像之后，应用处理器502还用于：

将超分辨率图像作为拍摄场景的预览图像进行展示。

可选地，在一实施例中，在将超分辨率图像作为拍摄场景的预览图像进行展示之后，图像信号前处理器501用于：

当接收到图像成像指令时，对待处理图像的全部区域进行超分辨率图像处理，得到成像图像。

应当说明的是，本申请实施例提供的电子设备与上文实施例中的图像处理方法属于同一构思，在图像处理装置上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见以上实施例，此处不再赘述。

需要说明的是，对本申请实施例的图像处理方法而言，本领域普通测试人员可以理解实现本申请实施例的图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的处理器执行，在执行过程中可包括如图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

识别当前用户的注视区域；

获取待处理图像；

根据所述注视区域，确定所述待处理图像中需要进行超分辨率图像处理的目标区域；

对所述待处理图像中的目标区域进行超分辨率图像处理，得到超分辨率图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述识别当前用户的注视区域，包括：

识别所述当前用户的注视点；

获取所述当前用户的注视半径；

以所述注视点为原点，根据所述注视半径得到圆形的注视区域。

3.根据权利要求2所述的图像处理方法，其特征在于，所述确定待处理图像中需要进行超分辨率图像处理的目标区域，包括：

获取所述圆形的注视区域的外接矩形区域，并将所述外接矩形区域映射至所述待处理图像中，将所述外接矩形区域的映射区域设为所述目标区域；或者

将所述圆形的注视区域映射至所述待处理图像中，将所述圆形的注视区域的映射区域设为所述目标区域。

4.根据权利要求2所述的图像处理方法，其特征在于，在所述圆形的注视区域的映射区域被设为所述目标区域时，所述对所述待处理图像中的目标区域进行超分辨率图像处理，包括：

将所述目标区域内的圆形图像内容转换为矩形图像内容；

对所述矩形图像内容进行超分辨率图像处理，得到处理后的矩形图像内容；

将所述处理后的矩形图像内容转换回圆形图像内容。

5.根据权利要求1-4任一项所述的图像处理方法，其特征在于，所述获取待处理图像，包括：

通过摄像头对拍摄场景进行图像采集，将采集到的图像设为所述待处理图像；

所述对所述待处理图像中的目标区域进行超分辨率图像处理，得到超分辨率图像之后，还包括：

将所述超分辨率图像作为所述拍摄场景的预览图像进行展示。

6.根据权利要求5所述的图像处理方法，其特征在于，所述将所述超分辨率图像作为所述拍摄场景的预览图像进行展示之后，还包括：

当接收到图像成像指令时，对所述待处理图像的全部区域进行超分辨率图像处理，得到成像图像。

7.一种图像处理装置，其特征在于，所述所述图像处理装置包括：

区域识别模块，用于识别当前用户的注视区域；

图像获取模块，用于获取待处理图像；

区域确定模块，用于根据所述注视区域，确定所述待处理图像中需要进行超分辨率图像处理的目标区域；

超分处理模块，用于对所述待处理图像中的目标区域进行超分辨率图像处理，得到超分辨率图像。

8.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器加载时执行如权利要求1-6任一项所述的图像处理方法。

9.一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器通过加载所述计算机程序，用于执行如权利要求1-6任一项所述的图像处理方法。

10.一种电子设备，包括图像信号前处理器和应用处理器，其中，

所述应用处理器用于识别当前用户的注视区域；

所述图像信号前处理器用于：

获取待处理图像；

根据所述注视区域，确定所述待处理图像中需要进行超分辨率图像处理的目标区域；以及

对所述待处理图像中的目标区域进行超分辨率图像处理，得到超分辨率图像。

Images