CN111145087A - 一种图像处理方法及电子设备 - Google Patents

Abstract

本发明实施例提供一种图像处理方法及电子设备，涉及通信技术领域，以解决现有的电子设备处理图像的质量较差的问题。该方法包括：根据原始眼部图像，获取第一坐标值，第一坐标值为原始眼部图像中眼睛的原始注视方向对应的坐标值；在第一坐标值位于目标范围内、且第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值的情况下，根据第一差值，通过调整原始眼部图像矫正原始注视方向，目标范围根据电子设备的硬件参数确定；输出矫正图像，矫正图像为调整后的原始眼部图像。该方法应用于电子设备矫正图像的场景中。

Description

一种图像处理方法及电子设备

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种图像处理方法及电子设备。

背景技术

目前，在用户使用电子设备进行自拍或视频通话的过程中，电子设备可以通过眼神矫正算法，矫正电子设备采集的图像中的用户的眼睛的注视方向(即用户的眼神)，如此可以使得图像中的用户的眼睛的注视方向为朝向电子设备的摄像头所在的方向，从而可以使得电子设备获取的图像更加生动。

然而，在上述过程中，由于电子设备会矫正其采集的所有图像中用户的眼睛的注视方向，因此当用户的眼睛的注视方向比较极端，不适合进行矫正时，电子设备仍然会进行矫正，如此可能导致矫正后的图像出现图像扭曲、失真的情况，从而导致电子设备处理的图像质量较差。

发明内容

本发明实施例提供一种图像处理方法及电子设备，以解决现有的电子设备处理图像的质量较差的问题。

为了解决上述技术问题，本发明实施例是这样实现的：

第一方面，本发明实施例提供了一种图像处理方法，该方法包括：根据原始眼部图像，获取第一坐标值，第一坐标值为原始眼部图像中眼睛的原始注视方向对应的坐标值；并在第一坐标值位于目标范围内、且第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值的情况下，根据该第一差值，通过调整原始眼部图像矫正原始注视方向，目标范围根据电子设备的硬件参数确定；以及输出矫正图像，矫正图像为调整后的原始眼部图像。

第二方面，本发明实施例提供了一种电子设备，该电子设备包括获取模块、调整模块和输出。获取模块，用于根据原始眼部图像，获取第一坐标值，第一坐标值为原始眼部图像中眼睛的原始注视方向对应的坐标值；调整模块，用于在获取模块获取的第一坐标值位于目标范围内、且第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值的情况下，根据该第一差值，通过调整原始眼部图形矫正原始注视方向，目标范围根据电子设备的硬件参数确定；输出模块，用于输出矫正图像，该矫正图像为调整模块调整后的原始眼部图像。

第三方面，本发明实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在该存储器上并可在该处理器上运行的计算机程序，该计算机程序被该处理器执行时实现如上述第一方面中的图像处理方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现如上述第一方面中的图像处理方法的步骤。

在本发明实施例中，可以根据原始眼部图像，获取第一坐标值(原始眼部图像中眼睛的原始注视方向对应的坐标值)；并在该第一坐标值位于目标范围(根据电子设备的硬件参数确定)、且第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值的情况下，根据该第一差值，通过调整原始眼部图像矫正原始注视方向；以及输出矫正图像，矫正图像为调整后的原始眼部图像。通过该方案，由于目标范围可以根据电子设备的硬件参数确定，因此当第一坐标值位于该目标范围内时，可以确定原始眼部图像中眼睛的原始注视方向朝向电子设备，如此可以确定原始眼部图像中眼睛的原始注视方向需要调整，从而可以避免电子设备调整眼睛的注视方向原本未朝向电子设备的图像。并且，由于第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值，因此电子设备调整原始眼部图像的调整值比较小，如此可以避免电子设备对原始眼部图像进行大角度的调整，从而可以避免电子设备调整后的原始眼部图像出现扭曲，进而可以提升电子设备处理的图像质量。

附图说明

图1为本发明实施例提供的安卓操作系统的架构示意图；

图2为本发明实施例提供的图像处理方法的流程示意图；

图3为本发明实施例提供的图像处理方法的应用流程示意图；

图4为本发明实施例提供的编码解码结构深度卷积网络图；

图5为本发明实施例提供的下采样方式示意图；

图6为本发明实施例提供的电子设备的结构示意图；

图7为本发明实施例提供的电子设备的硬件示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本文中术语“和/或”，是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系，例如A/B表示A或者B。

本发明的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一差值和第二差值等是用于区别不同的差值，而不是用于描述差值的特定顺序。

在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或者两个以上，例如，多个元件是指两个或者两个以上的元件等。

本发明实施例提供一种图像处理方法及电子设备，可以根据原始眼部图像，获取第一坐标值(原始眼部图像中眼睛的原始注视方向对应的坐标值)；并在该第一坐标值位于目标范围(根据电子设备的硬件参数确定)、且第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值的情况下，根据该第一差值，通过调整原始眼部图像矫正原始注视方向；以及输出矫正图像，矫正图像为调整后的原始眼部图像。通过该方案，由于目标范围可以根据电子设备的硬件参数确定，因此当第一坐标值位于该目标范围内时，可以确定原始眼部图像中眼睛的原始注视方向朝向电子设备，如此可以确定原始眼部图像中眼睛的原始注视方向需要调整，从而可以避免电子设备调整眼睛的注视方向原本未朝向电子设备的图像。并且，由于第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值，因此电子设备调整原始眼部图像的调整值比较小，如此可以避免电子设备对原始眼部图像进行大角度的调整，从而可以避免电子设备调整后的原始眼部图像出现扭曲，进而可以提升电子设备处理的图像质量。

本发明实施例中的电子设备可以为具有操作系统的电子设备。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本发明实施例不作具体限定。

下面以安卓操作系统为例，介绍一下本发明实施例提供的图像处理方法所应用的软件环境。

如图1所示，为本发明实施例提供的一种可能的安卓操作系统的架构示意图。在图1中，安卓操作系统的架构包括4层，分别为：应用程序层、应用程序框架层、系统运行库层和内核层(具体可以为Linux内核层)。

其中，应用程序层包括安卓操作系统中的各个应用程序(包括系统应用程序和第三方应用程序)。

应用程序框架层是应用程序的框架，开发人员可以在遵守应用程序的框架的开发原则的情况下，基于应用程序框架层开发一些应用程序。

系统运行库层包括库(也称为系统库)和安卓操作系统运行环境。库主要为安卓操作系统提供其所需的各类资源。安卓操作系统运行环境用于为安卓操作系统提供软件环境。

内核层是安卓操作系统的操作系统层，属于安卓操作系统软件层次的最底层。内核层基于Linux内核为安卓操作系统提供核心系统服务和与硬件相关的驱动程序。

以安卓操作系统为例，本发明实施例中，开发人员可以基于上述如图1所示的安卓操作系统的系统架构，开发实现本发明实施例提供的图像处理方法的软件程序，从而使得该图像处理方法可以基于如图1所示的安卓操作系统运行。即处理器或者电子设备可以通过在安卓操作系统中运行该软件程序实现本发明实施例提供的图像处理方法。

本发明实施例中的电子设备可以为移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明实施例不作具体限定。

本发明实施例提供的电子设备方法的执行主体可以为上述的电子设备，也可以为该电子设备中能够实现该电子设备方法的功能模块和/或功能实体，具体的可以根据实际使用需求确定，本发明实施例不作限定。下面以电子设备为例，对本发明实施例提供的电子设备方法进行示例性的说明。

本发明实施例中，在用户通过电子设备进行视频会议、拍摄照片的过程中，电子设备可以从电子设备采集的图像，获取该图像中的原始眼部图像，并根据该原始眼部图像，获取该原始眼部图像中眼睛的原始注视方向对应的坐标值；然后，电子设备可以根据该坐标值，确定是否对该原始眼部图像进行调整，并在该原始眼部图像需要进行调整的情况下，根据该坐标值和电子设备中的参考坐标值确定调整值，并调整该原始。

下面具体结合各个附图，对本发明实施例提供的图像处理方法进行示例性的说明。

如图2所示，本发明实施例提供一种图像处理方法，该方法可以包括下述的S201-S205。

S201、电子设备根据原始眼部图像，获取第一坐标值。

其中，上述第一坐标值可以为上述原始眼部图像中眼睛的原始注视方向(以下简称为原始注视方向)对应的坐标值。

需要说明的是，本发明实施例中，上述原始注视方向可以表示原始眼部图像中眼睛的眼神。

本发明实施例中，在电子设备处于自拍模式或视频模式的情况下，电子设备可以根据电子设备获取的原始眼部图像(例如电子设备实时采集的用户的眼部图像)，获取上述第一坐标值。然后，在根据该第一坐标值确定是否调整该原始眼部图像，以及该原始眼部图像对应的调整量。

可选的，本发明实施例中，上述S201具体可以通过下述的S201a和S201b实现。

S201a、电子设备提取原始眼部图像中的眼部特征点。

其中，上述眼部特征点可以用于指示上述原始注视方向。

S201b、电子设备将该眼部特征点映射到预设坐标系，得到第一坐标值。

本发明实施例中，电子设备可以先从上述原始眼部图像中提取上述眼部特征点，然后再将该眼部特征点映射到上述预设坐标系，然后可以得到上述第一坐标值。

需要说明的是，本发明实施例中，上述眼部特征点可以为原始眼部图像中用于指示上述原始注视方向的特征图。

可选的，本发明实施例中，上述预设坐标系可以为以电子设备摄像头所在位置为原点的二维坐标系。

可选的，本发明实施例中，电子设备可以通过下采样的方式得到上述第一坐标值。

示例性的，如图3所示，假设电子设备采集的图像为会议视频或电子设备成像的视频中的单个图像帧，电子设备可以先通过特征点检测，从该图像帧中截取人脸眼部特征图像。具体的，电子设备可以以单眼的两个眼角的距离作为间距选择对象(radio)，进行长为2radio，宽为radio的矩阵截取人脸眼部特征图像，然后将截取的人脸眼部特征图像的尺寸调整(resize)为(128,64)，得到上述原始眼部图像。接着，电子设备可以将该原始眼部图像和初始化为(0,0)的第一参考坐标值(reangle)输入至下采样，下采样层可以通过卷积池化提取上述眼部特征图(即上述眼部特征点)，并将该眼部特征点输入至预测原始眼部图像的眼神的坐标，然后获取上述第一坐标值(angle)。

可选的，本发明实施例中，图3中的下采样模块中可以增加一个y＝w*x+b的计算量，得到上述第一坐标值。其中，y表示上述第一坐标值，w用于卷积核的权重值，b表示卷积核的偏置值，x表示上一层下采样得到的特征图。

S202、电子设备确定该第一坐标值是否位于目标范围内。

本发明实施例中，在电子设备获取到上述第一坐标值之后，电子设备可以先确定第一坐标值是否位于上述目标范围内。如果第一坐标值位于该目标范围内，那么电子设备可以继续执行下述的S203；如果第一坐标值位于该目标范围外，那么电子设备可以结束本发明实施例提供的图像处理方法的流程。也就是说，上述原始眼部图像中眼睛的原始注视方向不在电子设备所在的方向，该原始眼部图像不需要进行调整。

可选的，本发明实施例中，上述目标范围具体可以根据电子设备的屏幕尺寸和电子设备的摄像头相对于电子设备的屏幕的位置确定。

示例性的，假设电子设备的屏幕为的长度为15厘米(cm)，宽度为10cm，且电子设备的摄像头位于电子设备的屏幕的顶端的中间位置，且上述预设坐标系的原点为电子设备的摄像头所在位置，那么上述目标范围(记为X)可以为(-5,0)、(5,0)、(-5,-15)和(5,-15)四个坐标点构成的矩形区域。

如此，当上述第一坐标值(记为angle)为(-2,-3)时，那么电子设备可以确定该第一坐标值位于上述目标范围内，即原始眼部图像中眼睛的原始注视方向(即眼神)位于电子设备的屏幕范围内。当上述第一坐标值为(-6,0)，那么电子设备可以确定该第一坐标值位于上述目标范围外，即原始眼部图像中眼睛的原始注视方向位于电子设备的屏幕范围外。

需要说明的是，本发明实施例中，如果上述第一坐标值中的横坐标值和/或纵坐标值不在上述目标范围内，则该第一坐标值不在目标范围内。

S203、电子设备确定第一参考坐标值与第一坐标值之间的第一差值的绝对值是否小于或等于预设阈值。

需要说明的是，本发明实施例中，上述第一参考坐标值与第一坐标值之间的第一差值的绝对值可以为电子设备需要调整原始眼部图像中眼睛的位置距离，即矫正距离。

可选地，本发明实施例中，上述第一参考坐标值可以为电子设备的厂商在电子设备中预设的坐标值。例如，第一参考坐标值可以为(0,0)。

本发明实施例中，在上述第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值的情况下，电子设备可以继续执行下述的S204；在第一参考坐标值与第一坐标值之间的第一差值的绝对值大于预设阈值的情况下，电子设备可以通过其它方式，调整上述原始眼部图像，具体实现方式将在下述实施例中进行详细描述，此处不予赘述。

本发明实施例中，上述第一参考坐标值与第一坐标值之间的第一差值可以包括：第一参考坐标值中的横坐标值与第一坐标值中的横坐标值之间的差值，第一参考坐标值中的纵坐标值与第一坐标值中的纵坐标值之间的差值。

需要说明的是，本发明实施例中，上述第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值可以用于指示：第一参考坐标值中的横坐标值与第一坐标值中的横坐标值之间的差值的绝对值小于或等于预设阈值，且第一参考坐标值中的纵坐标值与第一坐标值中的纵坐标值之间的差值的绝对值小于或等于预设阈值。

可选的，本发明实施例中，上述预设阈值可以根据以下至少一项确定：电子设备处理图像的能力、图像被调整的临界值(即图像不出现扭曲、形变的临界值)。

本发明实施例中，如图3所示，在上述第一坐标值位于上述目标范围内的情况下，电子设备可以确定第一参考坐标值(reangle)与该第一坐标值(angle)之间的第一差值的绝对值(可以记为|reangle-angle|)是否小于或等于预设阈值(记为R)。

如果|reangle-angle|≤R，那么电子设备可以确定矫正距离(即|reangle-angle|)合适(即矫正后的图像不会出现扭曲、形变)。反之，如果|reangle-angle|＞R，那么电子设备可以确定矫正距离过大(即矫正后的图像可能会出现扭曲、形变)。如此，若矫正距离合适，则布尔值为真(即bool＝True)电子设备可以将下采样输出至上采样。若矫正距离过大，则布尔值为假(即bool＝False)，电子设备可以调整第一参考坐标值(reangle)。

S204、在第一坐标值位于目标范围内、且第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值的情况下，电子设备采用该第一差值，通过调整原始眼部图像矫正原始注视方向。

其中，上述目标范围可以根据电子设备的硬件参数确定。

本发明实施例中，在上述第一坐标值位于目标范围内、且第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值的情况下，电子设备可以根据第一差值(即reangle-angle)，通过调整原始眼部图像矫正上述原始注视方向，从而可以使得调整后的原始眼部图像中眼睛的注视方向为朝向电子设备的摄像头的方向。

本发明实施例中，电子设备可以采用上述第一参考坐标值的横坐标值与第一坐标值的横坐标值之间的差值，调整原始眼部图像中眼睛(具体可以为眼球)的横向位置(即水平方向上的位置)；采用上述第一参考坐标值的纵坐标值与第一坐标值的纵坐标值之间的差值，调整原始眼部图像中眼睛(具体可以为眼球)的纵向位置(即垂直方向上的位置)。

具体的，如果上述第一参考坐标值的横坐标值与第一坐标值的横坐标值之间的差值大于零，那么电子设备可以将原始眼部图像中眼球的位置向预设坐标系中的X轴正向移动该差值的绝对值对应的长度；如果第一参考坐标值的横坐标值与第一坐标值的横坐标值之间差值小于零，那么电子设备可以将原始眼部图像中眼球的位置向预设坐标系中的X轴反向移动该差值的绝对值对应的长度；如果第一参考坐标值的横坐标值与第一坐标值的横坐标值之间差值等于零，那么电子设备可以不调整原始眼部图像中眼球的横向位置。

相应的，如果上述第一参考坐标值的纵坐标值与第一坐标值的纵坐标值之间的差值大于零，那么电子设备可以将原始眼部图像中眼球的位置向预设坐标系中的Y轴正向移动该差值的绝对值对应的长度；如果第一参考坐标值的纵坐标值与第一坐标值的纵坐标值之间差值小于零，那么电子设备可以将原始眼部图像中眼球的位置向预设坐标系中的Y轴反向移动该差值的绝对值对应的长度；如果第一参考坐标值的纵坐标值与第一坐标值的纵坐标值之间差值等于零，那么电子设备可以不调整原始眼部图像中眼球的纵向位置。

示例性的，如图3所示，在电子设备将下采样输出至上采样之后，电子设备可以通过上采样的方式，通过卷积池化提取原始眼部图像的眼部特征图(即上述眼部特征点)，从而调整上述原始眼部图像，以矫正上述原始注视方向。

可选的，本发明实施例中，下采样和上采样采用的是如图4所示的编码解码结构的深度卷积网络。该编码解码结构通过精心设计的下采样和上采样提取分辨率为1/2、1/4、1/8、1/16、1/32的五种大小不同的眼部特征图(即眼部特征点)，通过下采样和上采样中间的全连接(concat)进行通道拼接，既利用了低层采样中丰富的位置信息，又利用了高层采样中丰富的抽象信息进行调整原始眼部图像(即矫正图预测)。而下采样得到的高层抽象特征，在增加了y＝w*x+b的计算量下，可以直接获取上述第一坐标值(即angle预测)。并且可以通过复用下采样模型参数的方式，引入矫正强度控制模块，如此可以通过该矫正强度控制模块中断不必要的矫正图预测，从而可以提升本发明实施例提供的图像处理方法的整体性能。

本发明实施例中，下采样和上采样中的卷积层可以为有残差链接的3×3卷积核。

本发明实施例中，下采样可以通过三种不同的采样方式进行，分别为池化A(即pooling A)、池化B(即pooling B)、池化C(即pooling C)，如此可以使得同一层包括更多的感受野(receptive field)，从而可以满足各种不同特征图的提取。

下面分别对上述三种采样方式(pooling A、pooling B和pooling C)进行示例性的说明。

本发明实施例中，pooling A可以用于较低层次的下采样。如图5中的(a)所示，pooling A可以通过两种不同的并行下采样方式，能提取到多而不同低层信息，且具有两种不同的感受野。其中，pooling A具体可以为：

1)分支(branch)1：平均池化。

2)branch2：卷积核大小为3×3、步长为2。

本发明实施例中，如图5中的(b)所示，pooling B可以在中层通过三种下采样进行特征提取，并通过1X1卷积核缩小维度来，从而进行性能和精度的平衡。其中，pooling B具体可以为：

1)branch1：平均池化。

2)branch2：卷积核大小为3×3，步长为2。

3)branch3：1×1卷积核缩维，3×3卷积核、步长为1提取特征，3×3卷积核、步长为2进行下采样。

本发明实施例中，如图5中的(c)所示，pooling C在高层引入了非线性特征提取，在高层中非线性计算可以加速网络训练，并且可以使得网络更加稳定。其中，pooling C具体可以为：

1)branch1：平均池化。

2)branch2：1×1卷积核缩维，3×3卷积核、步长为2下采样。

3)branch3：1X1卷积核缩维，1X3卷积提取特征，3X1卷积提取特征，3×3卷积、步长为2下采样。

S205、电子设备输出矫正图像。

其中，上述矫正图像可以为调整后的原始眼部图像。

本发明实施例中，在电子设备调整上述原始眼部图像之后，电子设备可以输出其调整后的原始眼部图像。

可选的，本发明实施例中，电子设备输出上述矫正图像的方式可以包括以下至少一种方式：电子设备显示矫正图像、电子设备保存矫正图像、电子设备将矫正图像发送给其它电子设备。

当然，实际实现时，电子设备还可以以其它任意可能的方式输出上述矫正图像，具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，上述矫正图像可以为上述原始眼部图像所在的图像矫正后的图像。

示例性的，如图3所示，在电子设备通过上采样的方式调整上述原始眼部图像之后，电子设备可以输出眼神矫正图预测，即输出上述矫正图像。

本发明实施例提供一种图像处理方法，由于目标范围可以根据电子设备的硬件参数确定，因此当第一坐标值位于该目标范围内时，可以确定原始眼部图像中眼睛的原始注视方向朝向电子设备，如此可以确定原始眼部图像中眼睛的原始注视方向需要调整，从而可以避免电子设备调整眼睛的注视方向原本未朝向电子设备的图像。并且，由于第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值，因此电子设备调整原始眼部图像的调整值比较小，如此可以避免电子设备对原始眼部图像进行大角度的调整，从而可以避免电子设备调整后的原始眼部图像出现扭曲，进而可以提升电子设备处理的图像质量。

可选的，本发明实施例中，在上述S203之后，本发明实施例提供的图像处理方法还可以包括下述的S206和S207。

S206、在第一坐标值位于目标范围、且第一参考坐标值与第一坐标值之间的第一差值的绝对值大于预设阈值的情况下，电子设备根据第一坐标值和预设阈值，确定第二参考坐标值。

S207、电子设备根据第二参考坐标值与第一坐标值之间的第二差值，通过调整原始眼部图像矫正原始注视方向。

可以理解，在第一坐标值位于目标范围、且第一参考坐标值与第一坐标值之间的第一差值的绝对值大于预设阈值的情况下，电子设备根据第一坐标值和预设阈值，将第一参考坐标值调整为第二参考坐标值。

本发明实施例中，上述第一参考坐标值与第一坐标值之间的第一差值的绝对值大于预设阈值可以包括以下至少一项：第一参考坐标值中的横坐标值与第一坐标值中的横坐标值之间的差值的绝对值小于或等于预设阈值，第一参考坐标值中的纵坐标值与第一坐标值中的纵坐标值之间的差值的绝对值小于或等于预设阈值。

可选的，本发明实例中，上述S206具体可以通过下述的S206a或S206b实现。

S206a、在第一坐标值位于目标范围、且第一参考坐标值与第一坐标值之间的第一差值的绝对值大于预设阈值的情况下，若第一坐标值小于0，则电子设备将第二参考坐标值确定为第一坐标值与预设阈值之和。

需要说明的是，本发明实施例中，电子设备可以根据第一坐标值的横坐标值和预设阈值，确定第二参考坐标值的横坐标值；根据第一坐标值的纵坐标值和预设阈值，确定第二参考坐标值的纵坐标值。

本发明实施例中，若上述第一坐标值小于0(angle＜0)，则电子设备可以将上述第一参考坐标值(reangle)调整为：angle+R，即将第二参考坐标值确定为：angle+R。此时，第二参考坐标值与第一坐标值之间的第二差值可以为：reangle-angle＝angle+R-angle＝R，如此第二差值的绝对值可以等于上述预设阈值，从而电子设备可以采用第二参考坐标值与第一坐标值之间差值对原始眼部图像进行调整，即电子设备采用调整值R对原始眼部图像进行调整，以矫正原始眼部图像中眼睛的注视方向。

S205b、在第一坐标值位于目标范围、且第一参考坐标值与第一坐标值之间的第一差值的绝对值大于预设阈值的情况下，若第一坐标值大于或等于0，则电子设备将第二参考坐标值确定为第一坐标值与预设阈值之差。

本发明实施例中，若上述第一坐标值大于或等于0(angle≥0)，则电子设备可以将上述第一参考坐标值(re angle)调整为：angle-R，即将第二参考坐标值确定为：angle-R。此时，第二参考坐标值与第一坐标值之间的第二差值可以为：reangle-angle＝angle-R-angle＝-R，如此第二差值的绝对值可以等于上述预设阈值，从而电子设备可以采用第二参考坐标值与第一坐标值之间差值对原始眼部图像进行调整，即电子设备采用调整值-R对原始眼部图像进行调整，以矫正原始眼部图像中眼睛的注视方向。

本发明实施例中，在第一坐标值位于目标范围、且第一参考坐标值与第一坐标值之间差值的绝对值大于预设阈值的情况下，电子设备可以对重新确定第二参考坐标值，即将第一参考值调整为第二参考值，如此可以使得电子设备调整原始眼部图像的调整量位于上述预设阈值内，从而可以避免电子设备调整后的原始眼部图像发生形变、扭曲，进而可以提高电子设备处理的图像的质量。

需要说明的是，本发明实施例中，上述各个附图所示的图像处理方法均是以结合本发明实施例中的一个附图为例示例性的说明的。具体实现时，上述各个附图所示图像处理方法还可以结合上述实施例中示意的其它可以结合的任意附图实现，此处不再赘述。

如图6所示，本发明实施例提供一种电子设备300，该电子设备300包括获取模块301、调整模块302和输出模块303。获取模块301，可以用于根据原始眼部图像，获取第一坐标值，第一坐标值为原始眼部图像中眼睛的原始注视方向对应的坐标值；调整模块302，可以用于在获取模块301获取的第一坐标值位于目标范围内、且第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值的情况下，根据该第一差值，通过调整原始眼部图形矫正该原始注视方向，目标范围根据电子设备的硬件参数确定；输出模块303，可以用于输出矫正图像，矫正图像为调整模块302调整后的原始眼部图像。

可选的，如图6所示，电子设备300还可以包括确定模块304。确定模块304，可以用于在获取模块301获取的第一坐标值位于目标范围、且第一参考坐标值与第一坐标值之间的第一差值的绝对值大于预设阈值的情况下，根据第一坐标值和预设阈值，确定第二参考坐标值；调整模块302，还用于根据确定模块304确定的第二参考坐标值与第一坐标值之间的第二差值，通过调整原始眼部图像矫正原始注视方向。

可选的，若第一坐标值小于或等于0，则确定模块304具体可以用于将第二参考坐标值确定为第一坐标值与预设阈值之和；若第一坐标值大于0，则确定模块304具体可以用于将第二参考坐标值确定为第一坐标值与预设阈值之差。

可选的，获取模块301，具体用于提取原始眼部图像中的眼部特征点；并将眼部特征点映射到预设坐标系，得到第一坐标值。

可选的，目标范围具体可以根据电子设备的屏幕尺寸和电子设备的摄像头相对于屏幕的位置确定。

本发明实施例提供的电子设备能够实现上述图像处理方法实施例中电子设备执行的各个过程，且能达到相同的技术效果，为避免重复，此处不再赘述。

本发明实施例提供一种电子设备，由于目标范围可以根据电子设备的硬件参数确定，因此当第一坐标值位于该目标范围内时，可以确定原始眼部图像中眼睛的原始注视方向朝向电子设备，如此可以确定原始眼部图像中眼睛的原始注视方向需要调整，从而可以避免电子设备调整眼睛的注视方向原本未朝向电子设备的图像。并且，由于第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值，因此电子设备调整原始眼部图像的调整值比较小，如此可以避免电子设备对原始眼部图像进行大角度的调整，从而可以避免电子设备调整后的原始眼部图像出现扭曲，进而可以提升电子设备处理的图像质量。

图7为实现本发明各个实施例的一种电子设备的硬件示意图。如图7所示，电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，处理器110，可以用于根据原始眼部图像，获取第一坐标值，第一坐标值为原始眼部图像中眼睛的原始注视方向对应的坐标值；并在第一坐标值位于目标范围内、且第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值的情况下，根据该第一差值，通过调整原始眼部图形矫正该原始注视方向，目标范围根据电子设备的硬件参数确定；以及输出矫正图像，矫正图像为调整后的原始眼部图像。

可以理解，本发明实施例中，上述电子设备的结构示意图(例如图6)中的获取模块301、调整模块302、输出模块303、确定模块304均可以通过上述处理器110实现。其中，电子设备的结构示意图中的输出模块303还可以通过上述显示单元106实现。

本发明实施例提供一种电子设备，由于目标范围可以根据电子设备的硬件参数确定，因此当第一坐标值位于该目标范围内时，可以确定原始眼部图像中眼睛的原始注视方向朝向电子设备，如此可以确定原始眼部图像中眼睛的原始注视方向需要调整，从而可以避免电子设备调整眼睛的注视方向原本未朝向电子设备的图像。并且，由于第一参考坐标值与第一坐标值之间的第一差值的绝对值小于或等于预设阈值，因此电子设备调整原始眼部图像的调整值比较小，如此可以避免电子设备对原始眼部图像进行大角度的调整，从而可以避免电子设备调整后的原始眼部图像出现扭曲，进而可以提升电子设备处理的图像质量。

应理解的是，本发明实施例中，射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块102为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元103可以将射频单元101或网络模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与电子设备100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103包括扬声器、蜂鸣器以及受话器等。

输入单元104用于接收音频或视频信号。输入单元104可以包括图像捕获装置(如摄像头)1040、图形处理器(graphics processing unit，GPU)1041和麦克风1042。图像捕获装置1040(如摄像头)采集静态图片或视频的图像数据。图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或网络模块102进行发送。麦克风1042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。

电子设备100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在电子设备100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器105还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板1071可覆盖在显示面板1061上，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图7中，触控面板1071与显示面板1061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元108为外部装置与电子设备100连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备100内的一个或多个元件或者可以用于在电子设备100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器110可包括一个或多个处理单元；可选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

电子设备100还可以包括给各个部件供电的电源111(比如电池)，可选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备100包括一些未示出的功能模块，在此不再赘述。

可选的，本发明实施例还提供一种电子设备，包括如图7所示的处理器110，存储器109，存储在存储器109上并可在处理器110上运行的计算机程序，该计算机程序被处理器110执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被如图7所示的处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，该计算机可读存储介质可以包括只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种图像处理方法，应用于电子设备，其特征在于，所述方法包括：

根据原始眼部图像，获取第一坐标值，所述第一坐标值为所述原始眼部图像中眼睛的原始注视方向对应的坐标值；

在所述第一坐标值位于目标范围内、且第一参考坐标值与所述第一坐标值之间的第一差值的绝对值小于或等于预设阈值的情况下，根据所述第一差值，通过调整所述原始眼部图像矫正所述原始注视方向，所述目标范围根据所述电子设备的硬件参数确定；

输出矫正图像，所述矫正图像为调整后的所述原始眼部图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第一坐标值位于所述目标范围、且所述第一差值的绝对值大于所述预设阈值的情况下，根据所述第一坐标值和所述预设阈值，确定第二参考坐标值；

根据所述第二参考坐标值与所述第一坐标值之间的第二差值，通过调整所述原始眼部图像矫正所述原始注视方向。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一坐标值和所述预设阈值，确定第二参考坐标值，包括：

若所述第一坐标值小于或等于0，则将所述第二参考坐标值确定为所述第一坐标值与所述预设阈值之和；

若所述第一坐标值大于0，则将所述第二参考坐标值确定为所述第一坐标值与所述预设阈值之差。

4.根据权利要求1所述的方法，其特征在于，所述根据原始眼部图像，获取第一坐标值，包括：

提取所述原始眼部图像中的眼部特征点；

将所述眼部特征点映射到预设坐标系，得到所述第一坐标值。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述目标范围具体根据所述电子设备的屏幕尺寸和所述电子设备的摄像头相对于所述屏幕的位置确定。

6.一种电子设备，其特征在于，所述电子设备包括获取模块、调整模块和输出模块；

所述获取模块，用于根据原始眼部图像，获取第一坐标值，所述第一坐标值为所述原始眼部图像中眼睛的原始注视方向对应的坐标值；

所述调整模块，用于在所述获取模块获取的第一坐标值位于目标范围内、且第一参考坐标值与所述第一坐标值之间的第一差值的绝对值小于或等于预设阈值的情况下，根据所述第一差值，通过调整所述原始眼部图像矫正所述原始注视方向，所述目标范围根据所述电子设备的硬件参数确定；

所述输出模块，用于输出矫正图像，所述矫正图像为所述调整模块调整后的所述原始眼部图像。

7.根据权利要求6所述的电子设备，其特征在于，所述电子设备还包括确定模块；

所述确定模块，用于在所述获取模块获取的所述第一坐标值位于目标范围、且所述第一差值的绝对值大于所述预设阈值的情况下，根据所述第一坐标值和所述预设阈值，确定第二参考坐标值；

所述调整模块，还用于根据所述确定模块确定的所述第二参考坐标值与所述第一坐标值之间的第二差值，通过调整所述原始眼部图像矫正所述原始注视方向。

8.根据权利要求7所述的电子设备，其特征在于，

若所述第一坐标值小于或等于0，则所述确定模块具体用于将所述第二参考坐标值确定为所述第一坐标值与所述预设阈值之和；

若所述第一坐标值大于0，则所述确定模块具体用于将所述第二参考坐标值调整为所述第一坐标值与所述预设阈值之差。

9.根据权利要求6所述的电子设备，其特征在于，所述获取模块，具体用于提取所述原始眼部图像中的眼部特征点；并将所述眼部特征点映射到预设坐标系，得到所述第一坐标值。

10.根据权利要求6至9中任一项所述的电子设备，其特征在于，所述目标范围具体根据所述电子设备的屏幕尺寸和所述电子设备的摄像头相对于所述屏幕的位置确定。

Images