CN111445413A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质，所述方法包括如下步骤：通过第一摄像头获取包括被拍摄对象人眼的第一图像；以及，获取第一摄像头与被拍摄对象之间的第一距离；获取被拍摄对象的注视视线与显示屏之间的第一注视夹角；根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域；对所述部分人眼区域进行美颜处理，如此，通过第一注视夹角、目标视场角和第一距离可以更加准确、合理地确定需要对人眼区域的哪些部分进行美颜处理，从而，可使美颜处理后的人眼区域更加有神、更加自然，改善现有美颜技术的眼部处理缺陷。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着电子设备(如手机、平板电脑等等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。

现有的电子设备中的相机功能越来越智能，可以在拍摄过程中自动对拍摄的人像进行美颜处理，例如，很多照片美颜、视频美颜中主要包含磨皮、美白、大眼、亮瞳、瘦脸等技术，但是，现有的亮瞳技术的亮瞳效果不太自然，导致有假眼睛的感觉。

发明内容

本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，能够改善图像的眼部区域的美颜效果。

第一方面，本申请实施例提供一种图像处理方法，应用于电子设备，所述电子设备包括第一摄像头和显示屏，所述方法包括如下步骤：

通过所述第一摄像头获取包括被拍摄对象人眼的第一图像；以及，获取所述第一摄像头与所述被拍摄对象之间的第一距离；

获取所述被拍摄对象的注视视线与所述显示屏之间的第一注视夹角；

根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域；对所述部分人眼区域进行美颜处理

第二方面，本申请实施例提供一种图像处理装置，应用于电子设备，所述电子设备包括第一摄像头和显示屏，所述装置包括：

获取单元，用于通过所述第一摄像头获取包括被拍摄对象人眼的第一图像；以及，获取所述第一摄像头与所述被拍摄对象之间的第一距离；

所述获取单元，还用于获取所述被拍摄对象的注视视线与所述显示屏之间的第一注视夹角；

确定单元，用于根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域；

处理单元，用于对所述部分人眼区域进行美颜处理。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具备如下有益效果：

可以看出，本申请实施例中提供的图像处理方法、装置、电子设备及存储介质，通过第一摄像头获取包括被拍摄对象人眼的第一图像；以及，获取第一摄像头与被拍摄对象之间的第一距离；获取被拍摄对象的注视视线与显示屏之间的第一注视夹角；根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域；对所述部分人眼区域进行美颜处理，第一距离的远近影响对人眼区域进行美颜的区域面积大小，第一注视夹角的大小影响对人眼区域进行美颜的区域位置和区域面积大小，如此，通过第一注视夹角、目标视场角和第一距离可以更加准确、合理地确定需要对人眼区域的哪些部分进行美颜处理，从而，可使美颜处理后的人眼区域更加有神、更加自然，改善现有美颜技术的眼部处理缺陷。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种电子设备的结构示意图；

图1B是本申请实施例提供的一种在拍摄场景下需要进行人像美颜时，电子设备中运行眼球追踪服务的演示示意图；

图1C是本申请实施例提供的一种图像处理方法的流程示意图；

图1D是本申请实施例提供的一种通过第一摄像头获取第一图像的场景示意图；

图1E是本申请实施例提供的一种可能的拍摄场景的场景示意图；

图1F是本申请实施例提供的一种第一注视夹角的演示示意图；

图1G是本申请实施例提供的一种确定第一图像中位于被拍摄对象的人眼区域的部分人眼区域的演示示意图；

图2是是本申请实施例提供的另一种图像处理方法的流程示意图；

图3是本申请实施例提供的一种眼球追踪场景下确定注视点的流程示意图；

图4是本申请实施例提供的一种电子设备的结构示意图；

图5是本申请实施例提供的一种图像处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(userequipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。

下面对本申请实施例进行详细介绍。

请参阅图1A，图1A是本申请实施例公开的一种电子设备的结构示意图，电子设备100包括存储和处理电路110，以及与所述存储和处理电路110连接的传感器170，其中：

电子设备100可以包括控制电路，该控制电路可以包括存储和处理电路110。该存储和处理电路110可以包括存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。

存储和处理电路110可用于运行电子设备100中的软件，例如互联网浏览应用程序，互联网协议语音(Voice over Internet Protocol,VOIP)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示屏上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备100中的其它功能等，本申请实施例不作限制。

电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出，即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。传感器170可以包括超声波指纹识别模组，还可以包括环境光传感器，基于光和电容的接近传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，和其它传感器等，超声波指纹识别模组可以集成于屏幕下方，或者，超声波指纹识别模组可以设置于电子设备的侧面或者背面，在此不作限定，该超声波指纹识别模组可以用于采集指纹图像。

传感器170可以包括第一摄像头和第二摄像头，第一摄像头可以为前置摄像头或者后置摄像头，第二摄像头可以为前置摄像头或者后置摄像头，第二摄像头可以为红外(Infrared Radiation，IR)摄像头或者可见光摄像头，IR摄像头在拍摄时，瞳孔反射红外光，因此IR摄像头在拍摄瞳孔图像会比RGB相机更加准确；可见光摄像头需要进行更多的后续瞳孔检测，计算精度和准确性比IR摄像头要高，通用性比IR摄像头更好，但是计算量大。

输入-输出电路150还可以包括一个或多个显示屏，例如显示屏130。显示屏130可以包括液晶显示屏，有机发光二极管显示屏，电子墨水显示屏，等离子显示屏，使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即，显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。

电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。

通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication，NFC)的电路。例如，通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。

电子设备100还可以进一步包括电池，电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。

用户可以通过输入-输出电路150输入命令来控制电子设备100的操作，并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。

本申请实施例可应用于照片或者视频拍摄场景，在对拍摄的图像进行美颜处理过程中，可结合电子设备中的眼球追踪功能，具体地，电子设备可以运行眼球追踪应用，请参阅图1B，图1B为本申请实施例提供的一种在拍摄场景下需要进行人像美颜时，电子设备中运行眼球追踪服务的演示示意图，其中，存储和处理电路110中的存储器可存储多个应用程序，例如电子书、浏览器、相机应用、支付应用、系统应用，存储和处理电路110中的一个或多个微处理器还可用于运行安装的应用程序，以实现各个功能，例如可以实现解锁功能，又例如可以实现用户眼球注视点跟踪的功能，实现注视点跟踪的功能，需要进行眼球追踪。其中，眼球注视点为用户的眼球注视电子设备所在平面的注视点位置，眼球追踪软件开发工具包接口是电子设备为眼球追踪应用提供的软件开发工具包(software developmentkit，SDK)接口，负责为眼球追踪应用提供获取注视点以及输入的应用程序接口(application programming interface，API)接口，其中，眼球追踪服务负责管理注视点算法、确定注视点后处理、输入处理以及鉴权和参数设置，眼球追踪核心算法可包括标定算法和估计注视点算法，眼球追踪策略与注视点算法后处理相关。主要包括滤波注视点跳动、注视点转监听注视点输入的应用，眼球追踪鉴权用于回调各模块，负责鉴权请求者是否被允许，参数设置模块用于解析配置和实时更新配置，图像美颜模块获取根据眼球追踪应用提供的被拍摄对象注视的视线，确定被拍摄对象注视的视线与电子设备显示屏的第一视线夹角，然后结合第一摄像头的第一视场角和第一摄像头与被拍摄对象之间的第一距离计算出被拍摄者的人眼需要美化的区域。其中，眼球追踪服务还可通过照相机原生开发工具包(Native Development Kit，NDK)接口调用相机应用，照相机应用会调用第一摄像头，通过第一摄像头采集包括被拍摄对象的人眼的第一图像。

请参阅图1C，图1C是本申请实施例提供的一种图像处理方法的流程示意图，应用于如图1A所示的电子设备，所述电子设备包括第一摄像头和显示屏，如图1C所示，本申请提供的图像处理方法包括：

101、通过所述第一摄像头获取包括被拍摄对象人眼的第一图像；以及，获取所述第一摄像头与所述被拍摄对象之间的第一距离。

其中，第一图像是包含被拍摄对象人眼部位的图像。被拍摄对象是指第一摄像头的拍摄画面中的人物。

其中，第一摄像头可以是后置摄像头，或者前置摄像头，此处不作限制。

本申请实施例中，请参阅图1D，图1D为本申请实施例中的一种通过第一摄像头获取第一图像的场景示意图，其中，获取第一图像，可通过电子设备上设置的第一摄像头拍摄第一图像。

其中，获取第一摄像头与被拍摄对象之间的第一距离，具体可包括：在第一摄像头进行自动对焦时，获取自动对焦的焦距以及像距，然后根据高斯成像公式确定第一摄像头与被拍摄对象之间的第一距离，高斯成像公式如下：

1/u+1/v＝1/f，

其中，u为第一摄像头与被拍摄对象之间的第一距离，v为像距，f为自动对焦的焦距。

可选地，所述电子设备还包括第二摄像头，上述步骤101之前，还可包括以下步骤：

A1、通过所述第二摄像头获取拍摄者注视所述显示屏上的注视数据；

A2、根据所述注视数据确定所述第一摄像头的拍摄画面中的所述被拍摄对象。

其中，第二摄像头可以是前置摄像头，具体实施中，若第一摄像头为后置摄像头，则第二摄像头可以是前置摄像头，通过第二摄像头可以获取拍摄者注视显示屏上的注视数据，本申请实施例中，考虑到第一摄像头的拍摄画面中有可能有多个人物，请参阅图1E，图1E为本申请实施例中一种可能的拍摄场景的场景示意图，第一摄像头为后置摄像头，第二摄像头为前置摄像头，拍摄者注视显示屏中第一摄像头的拍摄画面，可以根据拍摄者的注视数据确定拍摄者关注的其中一个人物，并将拍摄者关注的人物作为“被拍摄对象”，进而根据该被拍摄对象的视线进行人眼区域的美颜处理。

可选地，若第一摄像头为前置摄像头，则用户可以通过第一摄像头进行自拍，第二摄像头可以是前置摄像头，第二摄像头和第一摄像头可以是同一摄像头，或者，也可以是不同的摄像头，从而，第二摄像头也可以获取拍摄者注视显示屏上的注视数据，若拍摄画面中有多个人物，可以根据拍摄者的注视数据确定拍摄者关注的其中一个人物，并将拍摄者关注的人物作为“被拍摄对象”，进而根据该被拍摄对象的视线进行人眼区域的美颜处理。

其中，上述注视数据可以包括拍摄者的视线方向和拍摄者的人眼图像，根据所述注视数据确定所述第一摄像头的拍摄画面中的所述被拍摄对象，可包括：对人眼图像进行图像分析，确定人眼图像中瞳孔的第一瞳孔位置，然后根据拍摄者的视线将第一瞳孔位置转换成拍摄者关注显示屏上的关注点，最后，确定显示屏上关注点对应的被拍摄对象。

102、获取所述被拍摄对象的注视视线与所述显示屏之间的第一注视夹角。

请参阅图1F，图1F为本申请实施例中的一种第一注视夹角的演示示意图，其中，被拍摄对象的视线可能注视第一摄像头，也可能注视拍摄者，或者，注视其他方向，被拍摄对象注视不同的方向时，被拍摄对象的眼球会移动到不同位置，被拍摄对象的瞳孔也会发生变化，因此，可以通过第一摄像头获取摄对象的注视视线，然后确定该注视视线与显示屏之间的第一注视夹角，从而，可以根据第一注视夹角对被拍摄对象的人眼区域进行美颜处理。

103、根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域；对所述部分人眼区域进行美颜处理。

其中，第一距离的远近影响对人眼区域进行美颜的面积大小，第一距离越大，对人眼区域进行美颜的面积越小；第一注视夹角的大小影响对人眼区域进行美颜的位置和面积大小，第一注视夹角不同，对人眼区域进行美颜处理的位置不同，且第一注视夹角越大，对人眼区域进行美颜的面积越大；第一摄像头的目标视场角会影响对人眼区域进行美颜的面积大小，目标视场角越大，对人眼区域进行美颜的面积越小。因此，可根据第一注视夹角确定部分人眼区域的区域位置，可根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定部分人眼区域的面积大小，例如，4假定第一距离为3米，目标视场角为87°，第一注视夹角为-30°，可确定目标方位为瞳孔右方60％大小的部分人眼区域，可确定人眼区域位于瞳孔右方，靠近瞳孔且占人眼区域面积约为60％的部分人眼区域，最后对该部分人眼区域进行美颜处理，从而，可使美颜处理后的图片或视频中的人眼区域更加有神、更加自然，改善现有美颜技术的眼部处理缺陷。

可选地，上述步骤103中，根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域，可包括以下步骤：

31、根据所述第一注视夹角确定所述第一图像中位于所述被拍摄对象的人眼区域的目标方位；

32、根据所述第一注视夹角、所述目标视场角和所述第一距离确定目标比例；

33、确定所述人眼区域中位于所述目标方位，且与所述人眼区域的人眼区域面积之间的比例为所述目标比例的部分人眼区域。

电子设备可以预先设置注视夹角与方位之间的映射关系，从而，可以在获取第一注视夹角之后，根据该映射关系确定与第一注视夹角对应的目标方位。其中，可以以瞳孔为参考位置定义人眼区域的方位，目标方位可以是以下任意一种：瞳孔左边、瞳孔右边、瞳孔上边、瞳孔下边、瞳孔左上方、瞳孔左下方、瞳孔右上方、瞳孔右下方等等，此处不作限制。从而，可以先确定第一图像中被拍摄对象的第二瞳孔位置，然后根据目标方位确定需要进行美颜处理的部分人眼区域的区域范围。

电子设备中还可预先设置注视夹角、目标视场角和第一距离与目标比例之间的映射关系，可选地，该映射关系可以表示以下公式：

其中，γ为目标比例，α为第一注视夹角，β为第一摄像头的目标视场角，k1为注视夹角影响系数，k2为视场角影响系数，d1为第一距离，d0为预设的基准距离，λ为距离影响系数。

进一步地，可以根据所述第一注视夹角、所述目标视场角和所述第一距离确定目标比例，并确定人眼区域中位于所述目标方位，且与人眼区域的人眼区域面积之间的比例为所述目标比例的部分人眼区域，请参阅图1G，图1G为本申请实施例提供的一种确定第一图像中位于被拍摄对象的人眼区域的部分人眼区域的演示示意图，其中，目标方位为瞳孔右方，目标比例为60％，进而，可以确定人眼区域位于瞳孔右方，靠近瞳孔且占人眼区域面积约为60％的部分人眼区域，最后对该部分人眼区域进行美颜处理。

可选地，上述步骤33中，所述根据所述第一注视夹角确定所述第一图像中位于所述被拍摄对象的人眼区域的目标方位，可包括以下步骤：

3301、若所述第一注视夹角处于第一预设范围，确定所述目标方位为所述第一图像中位于所述被拍摄对象的人眼区域的左边；

3302、若所述第一注视夹角处于第二预设范围，确定所述目标方位为所述第一图像中位于所述被拍摄对象的人眼区域的右边，所述第一预设范围的上限值小于或所述第二预设范围的下限值。

具体实施中，可以瞳孔位置为参考位置，设置瞳孔左边和瞳孔右边两个方位，其中，第一注视夹角的范围为(-180°，0°]，第一预设范围可以是(-180°，-90°]，第二预设范围可以是(-90°，0°)，从而，若所述第一注视夹角处于第一预设范围可确定所述目标方位为所述第一图像中位于所述被拍摄对象的人眼区域的左边，确定若所述第一注视夹角处于第二预设范围，确定所述目标方位为所述第一图像中位于所述被拍摄对象的人眼区域的右边。

可选地，若所述被遮挡区域包括部分瞳孔区域，上述步骤32中，根据所述第一注视夹角、所述目标视场角和所述第一距离确定目标比例，可包括以下步骤：

3201、根据预设的距离与比例之间的第一映射关系确定与所述第一距离对应的第一比例；

3202、根据预设的视场角与比例偏移量之间的第二映射关系确定与所述目标视场角对应的第一比例偏移量；

3203、根据预设的注视夹角与比例偏移量之间的第三映射关系确定与所述第一注视夹角对应的第二比例偏移量；

3204、根据所述第一比例、所述第一比例偏移量和所述第二比例偏移量确定所述目标比例。

其中，电子设备中可以预先设置预设的距离与比例之间的第一映射关系，从而，可以根据该第一映射关系确定与所述第一距离对应的第一比例，还可设置预设的视场角与比例偏移量之间的第二映射关系，从而，可以确定与所述目标视场角对应的第一比例偏移量，以及，可以预先设置注视夹角与比例偏移量之间的第三映射关系，从而，可以确定与所述第一注视夹角对应的第二比例偏移量，最后，可以根据所述第一比例、所述第一比例偏移量和所述第二比例偏移量确定所述目标比例，如此，可以确定更加合理、准确的目标比例。

可选地，上述步骤103中，对所述部分人眼区域进行美颜处理，可包括以下步骤：

34、对所述部分人眼区域的亮度进行调整，且调整后的亮度大于调整前的亮度；

或者，

35、对所述部分人眼区域的对比度进行调整，调整后的对比度大于调整前的对比度。

其中，可以对需要进行美颜处理的部分人眼区域的亮度进行提亮处理，具体地，可以根据第一图像当前的亮度信息确定目标亮度，然后将该部分人眼区域的亮度调整至目标亮度。

其中，还可以将部分人眼区域的对比度进行调整，具体地，可根据第一图像的当前对比度确定目标对比度，然后将该部分人眼区域的对比度调整至目标对比度。

可选地，上述步骤103之前，还可包括以下步骤：

若所述目标视场角大于预设角度阈值，对所述第一图像进行畸变校正，得到畸变校正后的第一图像。

本申请实施例中，考虑到当目标视场角较大时，可能会导致拍摄的第一图像中的被拍摄对象变形，例如，可能导致用户的瞳孔区域从圆形变成椭圆形，因此，可在在根据所述第一夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像进行美颜处理之前，对所述第一图像进行畸变校正，得到畸变校正后的第一图像，再对畸变校正后的第一图像中被拍摄对象的人眼区域进行美颜处理，如此，可以改善第一图像的图像效果，提升用户体验。

可以看出，本申请实施例中通过第一摄像头获取包括被拍摄对象人眼的第一图像；以及，获取第一摄像头与被拍摄对象之间的第一距离；获取被拍摄对象的注视视线与显示屏之间的第一注视夹角；根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域；对所述部分人眼区域进行美颜处理，第一距离的远近影响对人眼区域进行美颜的区域面积大小，第一注视夹角的大小影响对人眼区域进行美颜的区域位置和区域面积大小，如此，通过第一注视夹角、目标视场角和第一距离可以更加准确、合理地确定需要对人眼区域的哪些部分进行美颜处理，从而，可使美颜处理后的人眼区域更加有神、更加自然，改善现有美颜技术的眼部处理缺陷。

请参阅图2，图2为本申请实施例提供的一种图像处理方法的流程示意图，所述方法包括：

201、通过所述第一摄像头获取包括被拍摄对象人眼的第一图像；以及，获取所述第一摄像头与所述被拍摄对象之间的第一距离。

202、获取所述被拍摄对象的注视视线与所述显示屏之间的第一注视夹角。

203、根据所述第一注视夹角确定所述第一图像中位于所述被拍摄对象的人眼区域的目标方位。

204、根据所述第一注视夹角、所述目标视场角和所述第一距离确定目标比例。

205、确定所述人眼区域中位于所述目标方位，且与所述人眼区域的人眼区域面积之间的比例为所述目标比例的部分人眼区域。

206、对所述部分人眼区域进行美颜处理。

其中，上述步骤201-206的具体实现过程可参照步骤101-步骤103中相应的描述，在此不再赘述。

可以看出，本申请实施例中通过根据第一注视夹角确定第一图像中位于所述被拍摄对象的人眼区域的目标方位；根据第一注视夹角、目标视场角和第一距离确定目标比例；确定人眼区域中位于目标方位，且与人眼区域的人眼区域面积之间的比例为目标比例的部分人眼区域；对部分人眼区域进行美颜处理，如此，通过第一注视夹角、目标视场角和第一距离可以更加准确、合理地确定需要对人眼区域的哪些部分进行美颜处理，从而，可使美颜处理后的人眼区域更加有神、更加自然，改善现有美颜技术的眼部处理缺陷。

请参阅图3，图3为本申请实施例提供的一种拍摄场景下对第一图像进行美颜处理的流程示意图，所述方法包括：

其中，如图3所示，电子设备运行相机应用，启动相机服务和眼球追踪服务，相机应用可向眼球追踪服务请求获得拍摄者注视显示屏上的注视数据，眼球追踪服务通过第二摄像头获取拍摄者注视显示屏上的注视数据，例如眼球注视位置；然后，眼球追踪服务将拍摄者关注的注视数据反馈至相机应用；相机应用根据该注视数据确定第一摄像头的拍摄画面中的被拍摄对象；相机服务通过第一摄像头获取第一图像，获取所述第一摄像头与所述被拍摄对象之间的第一距离，获取所述被拍摄对象的注视视线与所述显示屏之间的第一注视夹角；进而，将第一距离和第一注视夹角发送至图像美颜模块，图像美颜模块获取第一摄像头的目标视场角，接着，美颜处理模块根据第一注视夹角、第一摄像头的目标视场角和第一距离确定第一图像的人眼区域中需要进行美颜处理的部分人眼区域，最后，对部分人眼区域进行美颜处理。

可以看出，本申请实施例中通过根据第一注视夹角确定第一图像中位于所述被拍摄对象的人眼区域的目标方位；根据第一注视夹角、目标视场角和第一距离确定目标比例；确定人眼区域中位于目标方位，且与人眼区域的人眼区域面积之间的比例为目标比例的部分人眼区域；对部分人眼区域进行美颜处理，如此，通过第一注视夹角、目标视场角和第一距离可以更加准确、合理地确定需要对人眼区域的哪些部分进行美颜处理，从而，可使美颜处理后的人眼区域更加有神、更加自然，改善现有美颜技术的眼部处理缺陷。

以下是实施上述图像处理方法的装置，具体如下：

与上述一致地，请参阅图4，图4是本申请实施例提供的一种电子设备的结构示意图，该电子设备包括：处理器410、通信接口430、第一摄像头440、第二摄像头450、显示屏460、和存储器420；以及一个或多个程序421，所述一个或多个程序421被存储在所述存储器420中，并且被配置成由所述处理器执行，所述程序421包括用于执行以下步骤的指令：

通过所述第一摄像头获取包括被拍摄对象人眼的第一图像；以及，获取所述第一摄像头与所述被拍摄对象之间的第一距离；

获取所述被拍摄对象的注视视线与所述显示屏之间的第一注视夹角；

根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域；对所述部分人眼区域进行美颜处理。

在一个可能的示例中，在所述根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域方面，所述程序421包括用于执行以下步骤的指令：

根据所述第一注视夹角确定所述第一图像中位于所述被拍摄对象的人眼区域的目标方位；

根据所述第一注视夹角、所述目标视场角和所述第一距离确定目标比例；

确定所述人眼区域中位于所述目标方位，且与所述人眼区域的人眼区域面积之间的比例为所述目标比例的部分人眼区域。

在一个可能的示例中，在所述根据所述第一注视夹角确定所述第一图像中位于所述被拍摄对象的人眼区域的目标方位方面，所述程序421包括用于执行以下步骤的指令：

若所述第一注视夹角处于第一预设范围，确定所述目标方位为所述第一图像中位于所述被拍摄对象的人眼区域的左边；

若所述第一注视夹角处于第二预设范围，确定所述目标方位为所述第一图像中位于所述被拍摄对象的人眼区域的右边，所述第一预设范围的上限值小于所述第二预设范围的下限值。

在一个可能的示例中，在所述根据所述第一注视夹角、所述目标视场角和所述第一距离确定目标比例方面，所述程序421包括用于执行以下步骤的指令：

根据预设的距离与比例之间的第一映射关系确定与所述第一距离对应的第一比例；

根据预设的视场角与比例偏移量之间的第二映射关系确定与所述目标视场角对应的第一比例偏移量；

根据预设的注视夹角与比例偏移量之间的第三映射关系确定与所述第一注视夹角对应的第二比例偏移量；

根据所述第一比例、所述第一比例偏移量和所述第二比例偏移量确定所述目标比例。

在一个可能的示例中，在所述对所述部分人眼区域进行美颜处理方面，所述程序421包括用于执行以下步骤的指令：

对所述部分人眼区域的亮度进行调整，且调整后的亮度大于调整前的亮度；

或者，对所述部分人眼区域的对比度进行调整，调整后的对比度大于调整前的对比度。

在一个可能的示例中，所述电子设备还包括第二摄像头，在所述通过所述第一摄像头获取包括被拍摄对象人眼的第一图像之前，所述程序421还包括用于执行以下步骤的指令：

通过所述第二摄像头获取拍摄者注视所述显示屏上的注视数据；

根据所述注视数据确定所述第一摄像头的拍摄画面中的所述被拍摄对象。

在一个可能的示例中，在所述根据所述第一夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像进行美颜处理之前，所述程序421还包括用于执行以下步骤的指令：

若所述目标视场角大于预设角度阈值，对所述第一图像进行畸变校正，得到畸变校正后的第一图像。

请参阅图5，图5是本实施例提供的一种图像处理装置的结构示意图，所述图像处理装置500应用于电子设备，所述电子设备包括第一摄像头和显示屏，该装置500包括获取单元501、确定单元502和处理单元503，其中，

所述获取单元501，用于通过所述第一摄像头获取包括被拍摄对象人眼的第一图像；以及，获取所述第一摄像头与所述被拍摄对象之间的第一距离；

所述获取单元501，还用于获取所述被拍摄对象的注视视线与所述显示屏之间的第一注视夹角；

所述确定单元502，用于根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域；

所述处理单元503，用于对所述部分人眼区域进行美颜处理。

可选地，在所述根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域方面，所述确定单元502具体用于：

根据所述第一注视夹角确定所述第一图像中位于所述被拍摄对象的人眼区域的目标方位；

根据所述第一注视夹角、所述目标视场角和所述第一距离确定目标比例；

确定所述人眼区域中位于所述目标方位，且与所述人眼区域的人眼区域面积之间的比例为所述目标比例的部分人眼区域。

可选地，在所述根据所述第一注视夹角确定所述第一图像中位于所述被拍摄对象的人眼区域的目标方位方面，所述确定单元502具体用于：

若所述第一注视夹角处于第一预设范围，确定所述目标方位为所述第一图像中位于所述被拍摄对象的人眼区域的左边；

若所述第一注视夹角处于第二预设范围，确定所述目标方位为所述第一图像中位于所述被拍摄对象的人眼区域的右边，所述第一预设范围的上限值小于所述第二预设范围的下限值。

可选地，在所述根据所述第一注视夹角、所述目标视场角和所述第一距离确定目标比例方面，所述确定单元502具体用于：

根据预设的距离与比例之间的第一映射关系确定与所述第一距离对应的第一比例；

根据预设的视场角与比例偏移量之间的第二映射关系确定与所述目标视场角对应的第一比例偏移量；

根据预设的注视夹角与比例偏移量之间的第三映射关系确定与所述第一注视夹角对应的第二比例偏移量；

根据所述第一比例、所述第一比例偏移量和所述第二比例偏移量确定所述目标比例。

可选地，在所述对所述部分人眼区域进行美颜处理方面，所述处理单元503具体用于：

对所述部分人眼区域的亮度进行调整，且调整后的亮度大于调整前的亮度；

或者，对所述部分人眼区域的对比度进行调整，调整后的对比度大于调整前的对比度。

可选地，所述电子设备还包括第二摄像头，在所述通过所述第一摄像头获取包括被拍摄对象人眼的第一图像之前，所述获取单元501，还用于通过所述第二摄像头获取拍摄者注视所述显示屏上的注视数据；

所述确定单元502，还用于根据所述注视数据确定所述第一摄像头的拍摄画面中的所述被拍摄对象。

可选地，在所述根据所述第一夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像进行美颜处理之前，所述处理单元503，还用于若所述目标视场角大于预设角度阈值，对所述第一图像进行畸变校正，得到畸变校正后的第一图像。

可以看出，本申请实施例中所描述的图像处理装置，应用于电子设备，通过第一摄像头获取包括被拍摄对象人眼的第一图像；以及，获取第一摄像头与被拍摄对象之间的第一距离；获取被拍摄对象的注视视线与显示屏之间的第一注视夹角；根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域；对所述部分人眼区域进行美颜处理，第一距离的远近影响对人眼区域进行美颜的区域面积大小，第一注视夹角的大小影响对人眼区域进行美颜的区域位置和区域面积大小，如此，通过第一注视夹角、目标视场角和第一距离可以更加准确、合理地确定需要对人眼区域的哪些部分进行美颜处理，从而，可使美颜处理后的人眼区域更加有神、更加自然，改善现有美颜技术的眼部处理缺陷。

可以理解的是，本实施例的图像处理装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备包括第一摄像头和显示屏，所述方法包括：

通过所述第一摄像头获取包括被拍摄对象人眼的第一图像；以及，获取所述第一摄像头与所述被拍摄对象之间的第一距离；

获取所述被拍摄对象的注视视线与所述显示屏之间的第一注视夹角；

根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域；对所述部分人眼区域进行美颜处理。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域，包括：

根据所述第一注视夹角确定所述第一图像中位于所述被拍摄对象的人眼区域的目标方位；

根据所述第一注视夹角、所述目标视场角和所述第一距离确定目标比例；

确定所述人眼区域中位于所述目标方位，且与所述人眼区域的人眼区域面积之间的比例为所述目标比例的部分人眼区域。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一注视夹角确定所述第一图像中位于所述被拍摄对象的人眼区域的目标方位，包括：

若所述第一注视夹角处于第一预设范围，确定所述目标方位为所述第一图像中位于所述被拍摄对象的人眼区域的左边；

若所述第一注视夹角处于第二预设范围，确定所述目标方位为所述第一图像中位于所述被拍摄对象的人眼区域的右边，所述第一预设范围的上限值小于所述第二预设范围的下限值。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一注视夹角、所述目标视场角和所述第一距离确定目标比例，包括：

根据预设的距离与比例之间的第一映射关系确定与所述第一距离对应的第一比例；

根据预设的视场角与比例偏移量之间的第二映射关系确定与所述目标视场角对应的第一比例偏移量；

根据预设的注视夹角与比例偏移量之间的第三映射关系确定与所述第一注视夹角对应的第二比例偏移量；

根据所述第一比例、所述第一比例偏移量和所述第二比例偏移量确定所述目标比例。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述部分人眼区域进行美颜处理，包括：

对所述部分人眼区域的亮度进行调整，且调整后的亮度大于调整前的亮度；

或者，对所述部分人眼区域的对比度进行调整，调整后的对比度大于调整前的对比度。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述电子设备还包括第二摄像头，在所述通过所述第一摄像头获取包括被拍摄对象人眼的第一图像之前，所述方法还包括：

通过所述第二摄像头获取拍摄者注视所述显示屏上的注视数据；

根据所述注视数据确定所述第一摄像头的拍摄画面中的所述被拍摄对象。

7.根据权利要求1-6任一项所述的方法，其特征在于，在所述根据所述第一夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像进行美颜处理之前，所述方法还包括：

若所述目标视场角大于预设角度阈值，对所述第一图像进行畸变校正，得到畸变校正后的第一图像。

8.一种图像处理装置，其特征在于，应用于电子设备，所述电子设备包括第一摄像头和显示屏，所述装置包括：

获取单元，用于通过所述第一摄像头获取包括被拍摄对象人眼的第一图像；以及，获取所述第一摄像头与所述被拍摄对象之间的第一距离；

所述获取单元，还用于获取所述被拍摄对象的注视视线与所述显示屏之间的第一注视夹角；

确定单元，用于根据所述第一注视夹角、所述第一摄像头的目标视场角和所述第一距离确定所述第一图像中所述被拍摄对象的部分人眼区域；

处理单元，用于对所述部分人眼区域进行美颜处理。

9.一种电子设备，其特征在于，包括处理器、通信接口、第一摄像头、第二摄像头、显示屏、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。

Images