CN106470308A - 图像处理方法以及电子设备 - Google Patents

Abstract

本发明提供了一种图像处理方法以及电子设备。所述方法一种图像处理方法，应用于电子设备，其中包括：获取第一预览图像；显示所述第一预览图像；跟踪用户的眼球以确定用户在所述第一预览图像上的关注位置；根据所述关注位置确定拍照参数；以及使用所述拍照参数捕获目标图像。根据本发明的图像处理方法以及电子设备，可以根据用户的眼球指向的位置来自动设置拍照参数而捕获图像，无需用户触摸电子设备上的屏幕，不仅提高了用户的便利性，还能够防止用户的手遮挡屏幕，而且能够在如今主流的多摄像头电子设备上广泛应用。

Description

图像处理方法以及电子设备

技术领域

本发明涉及一种图像处理方法以及电子设备，尤其涉及可以根据用户的眼球指向的位置确定拍照参数而捕获图像，无需用户触摸电子设备上的屏幕的图像处理方法以及电子设备。

背景技术

如今，拍摄功能不仅限于在数码相机等专用于拍摄的电子设备上，而且在智能手机、平板电脑等其他各种电子设备上都得到了普及。近年来，电子设备上的拍摄功能越来越强大，甚至可以根据某个局部环境调整对焦、曝光、白平衡等拍照参数。具体地，对于大部分具有触摸屏的电子设备而言，用户可以通过触摸显示在电子设备的屏幕上的预览图像来告诉电子设备期望根据哪一个局部环境调整拍照参数。

图5是用于说明现有技术中根据触摸位置调整拍照参数的示意图。如图5所示，当用户认为右侧的人物B比较重要时，可以通过触碰显示单元上显示的预览图像中人物B的脸部的位置，从而告知电子设备根据人物B的脸部设置拍照参数。这样，电子设备会根据人物B的脸部的光线条件来调整曝光参数或者白平衡以及/或者对人物B的脸部进行对焦。此时，用户需要用一只手支撑电子设备以对准拍摄对象并且用另一只手触碰电子设备的显示单元。然而，随着电子设备尺寸越来越大，特别是对于女士或者瘦小的用户而言，有时难以仅使用一只手来稳定地支撑电子设备，这不仅对用户带来了不便，而且在拍摄时容易出现抖动而影响拍摄效果。

此外，当用户用一只手触碰电子设备的显示单元时，常常不可避免地遮挡显示单元上的某些区域，造成视觉遮挡。另外，对于不具有摄影知识的用户而言，不知道如何调整拍照参数，即使用户有一定的摄影知识，但也不一定习惯通过触摸显示单元来根据局部环境调整拍照参数，因此无法得到良好效果的图像。

发明内容

本发明鉴于以上课题完成，其目的在于，提供一种图像处理方法以及电子设备，可以根据用户的眼球指向的位置来自动设置拍照参数而捕获图像，无需用户触摸电子设备上的屏幕，不仅提高了用户的便利性，还能够防止用户的手遮挡屏幕，而且能够在如今主流的多摄像头电子设备上广泛应用。

本发明的一个实施例提供一种图像处理方法，应用于电子设备，其中包括：获取第一预览图像；显示所述第一预览图像；跟踪用户的眼球以确定用户在所述第一预览图像上的关注位置；根据所述关注位置确定拍照参数；以及使用所述拍照参数捕获目标图像。

本发明的实施例还提供一种电子设备，其中包括：第一摄像头，配置来获取第一预览图像以及捕获目标图像；第二摄像头，配置来跟踪所述人脸部位中的眼球的位置；显示单元，配置来显示所述第一摄像头所获取的第一预览图像；以及处理单元，配置来通过所述显示单元显示所述第一摄像头所获取的所述第一预览图像，通过所述第二摄像头跟踪用户的眼球的位置以确定用户在所显示的第一预览图像上的关注位置，根据所述关注位置确定拍照参数，并且通过所述第一摄像头使用所述拍照参数捕获目标图像。

根据本发明的图像处理方法以及电子设备，可以根据用户的眼球指向的位置来自动设置拍照参数而捕获图像，无需用户触摸电子设备上的屏幕，不仅提高了用户的便利性，还能够防止用户的手遮挡屏幕，而且能够在如今主流的多摄像头电子设备上广泛应用。

附图说明

图1是根据本发明的实施例的图像处理方法的流程图。

图2(a)、(b)是用于说明本发明中在显示单元上显示关注位置的说明图。

图3是根据本发明的实施例的电子设备的功能框图。

图4(a)、(b)是根据本发明的实施例的电子设备的立体图。

图5是用于说明现有技术中根据触摸位置调整拍照参数的示意图。

具体实施方式

为使本领域的技术人员能够更好地理解本发明的技术方案，下面结合附图详细说明本发明的图像处理方法以及电子设备的具体实施方式。当然，本发明不限于此，在本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

【图像处理方法】

下面，结合附图来详细说明本发明的图像处理方法。其中，本发明的图像处理方法应用于电子设备，电子设备可以是任何形式的设备，作为非限制性示例，可以是平板电脑、笔记本电脑、台式电脑、PDA等以运算功能为主的设备、也可以是电子书籍、电视、显示器等以显示功能为主的设备，还可以是智能电话、便携式电话等以通话功能为主的设备。

该电子设备通常包括第一摄像头以及第二摄像头。第一摄像头通常面向电子设备的后方(例如后摄像头)以方便用户对准位于电子设备后方的拍摄对象的同时能够在电子设备的显示单元上观察预览图像。当然，本发明不限于此，第一摄像头也可以是面向电子设备的侧方的摄像头，或者是可以调整面向角度的摄像头。第二摄像头一般面向用户(例如前摄像头)，以方便用户进行自拍。第一摄像头与第二摄像头可以是相同配置，也可以是不同配置。例如，第一摄像头的分辨率可以高于第二摄像头的分辨率，从而节省成本。又例如，第二摄像头可以包括比第一摄像头更加广角的镜头，以方便在近距离拍摄用户的脸部。

图1是根据本发明的实施例的图像处理方法的流程图。如图1所示，本发明的图像处理方法包括：

获取第一预览图像(步骤S110)。典型地，第一预览图像是用户期望拍摄的对象的取景图像，用户可以通过该第一预览图像观察取景范围并且预测拍摄出来的目标图像的效果。通常情况下，通过第一摄像头获取第一预览图像。当然，除了第一摄像头外，例如在自拍时也可以通过第二摄像头来获取第一预览图像。然而，本发明不限于此，也可以通过位于电子设备外部的其他摄像头获取第一预览图像。

随后，显示所述第一预览图像(步骤S120)。具体而言，可以通过电子设备的显示单元显示该第一预览图像。对于智能型电子设备而言，一般在打开相机的应用程序时通常会自动地通过第一摄像头获取第一预览图像，并且显示在显示单元上。由此，用户能够看到第一预览图像。

接下来，跟踪用户的眼球以确定用户在所述第一预览图像上的关注位置(步骤S130)。这里，可以通过第二摄像头直接检测用户的眼球，并且根据眼球的位置来计算眼球指向的电子设备的显示单元上的坐标。可以使用现有的眼球跟踪技术进行眼球跟踪，因此在这里不再详细叙述眼球跟踪的细节。由于第一预览图像在显示单元上的坐标是已知的，因此可以通过两个坐标的映射关系来确定用户的眼球在第一预览图像上的指向位置。此时，可以将该指向位置作为用户在第一预览图像上的关注位置。优选地，可以当所述眼球所指向的位置在所述第一预览图像上相对停留规定阈值时间以上时，将所述位置确定为用户在第一预览图像上的关注位置。其中，相对停留例如可以是指向点的位移小于一定阈值，或者指向点未超出较小的规定区域内。

然而，由于眼球的面积较小，电子设备有时难以通过第二摄像头直接检测并且跟踪眼球。在这种情况下，可以首先通过第二摄像头检测是否存在人脸。当检测到人脸时，开启眼球跟踪功能，由此跟踪用户的眼球以确定用户在第一预览图像上的关注位置。相反，当没有检测到人脸时，可以按照传统的方法检测用户在显示单元上的触摸位置，并且根据触摸位置的坐标来确定用户在第一预览图像上的关注位置。当然，本发明不限于此，当没有检测到人脸时，还可以根据第一预览图像中的场景来自动识别关注位置。

优选地，跟踪眼球以确定用户在所显示的第一预览图像上的关注位置以后，在显示单元上的第一预览图像上显示所述关注位置。可以使用任何标记(例如但不限于“+”、“○”、“⊙”、“⊕”等)来显示关注位置。进一步优选地，实时地检测关注位置的变化并且使得在第一预览图像上显示的关注位置也随之变化。图2是用于说明本发明中在显示单元上显示关注位置的说明图。假设通过第一摄像头获取了如图2(a)所示的第一预览图像。此时，检测到用户的眼球指向人物A的脸部，因此在第一预览图像的人物A的脸部显示标记f“+”，以表示将人物A的脸部确定为关注位置。随后，用户的眼球指向的位置又移动到了人物B的脸部，此时在第一预览图像中显示的标记f也随之移动到人物B的脸部，如图2(b)所示。这样，能够让用户看到电子设备所确定的关注位置，使得拍摄功能变得进一步人性化。

接下来，根据所述关注位置确定拍照参数(步骤S140)。拍照参数例如可以包括曝光参数(光圈、快门速度、感光度)、白平衡参数(色温值)、对焦位置等等。具体而言，可以以该关注位置所对应的场景的光线条件来确定曝光参数以及/或者白平衡参数。例如，当关注位置在人物B的脸部时，根据人物B的脸部的光线条件调整光圈、快门速度、感光度中的至少一个以使得该人物B的脸部的曝光合适(例如但不限于18％灰)，或者调整色温值以设置与人物B的脸部的光线条件相适应的白平衡。此外，还可以对所述关注位置进行对焦以捕获目标图像。例如，当关注位置在人物B的脸部时，对人物B的脸部进行对焦，以获得人物B的脸部为清晰的图像。

最后，使用所述拍照参数捕获目标图像(步骤S150)。一般地，如果第一预览图像是通过第一摄像头获取的情况下使用第一摄像头捕获目标图像。同样地，如果第一预览图像是通过第二摄像头获取的情况下使用第二摄像头捕获目标图像。然而，本发明不限于此，也不排除通过与获取第一预览图像不同的摄像头来捕获图像的情况。

应当指出，本发明能够广泛应用于当今较为主流的具备多个摄像头的电子设备。以具备前后两个摄像头的情况为例，可以通过第一摄像头获取实时的第一预览图像的同时通过第二摄像头跟踪眼球位置。这不仅可以通过使用多核处理器来实现，也可以使用多线程的单核处理器实现上述功能，使得同时处理两个摄像头采集的图像数据。

通过以上方法，可以根据用户的眼球指向的位置来自动设置拍照参数而捕获图像，无需用户触摸电子设备上的屏幕，不仅提高了用户的便利性，还能够防止用户的手遮挡屏幕，而且能够在如今主流的多摄像头电子设备上广泛应用。

以上说明了本发明的图像处理方法的多个实施例。显然，本领域技术人员在不脱离本发明的精神和范围内可以对上述实施例作出各种组合、修改或者变形。本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

【电子设备】

下面，结合附图来详细说明本发明的电子设备。本发明的电子设备可以是任何形式的设备，作为非限制性示例，可以是平板电脑、笔记本电脑、台式电脑、PDA等以运算功能为主的设备、也可以是电子书籍、电视、显示器等以显示功能为主的设备，还可以是智能电话、便携式电话等以通话功能为主的设备。

图3是根据本发明的实施例的电子设备的功能框图。图4是根据本发明的实施例的电子设备的立体图。图4(a)是根据本发明的电子设备的正面的示意图，图4(b)是根据本发明的电子设备的背面的示意图。

如图3所示，电子设备300包括：第一摄像头310、第二摄像头320、显示单元330以及处理单元340。当然，除了上述部件以外，电子设备300还可以包括存储单元、天线、电池等其他各种部件，但由于这些部件不构成本发明的发明点，因此省略其详细的说明。

第一摄像头310以及第二摄像头320用于获取图像。第一摄像头310通常面向电子设备的后方(例如后摄像头)以方便用户对准位于电子设备300后方的拍摄对象的同时能够在电子设备300的显示单元330上观察预览图像，如图4(b)所示。当然，本发明不限于此，第一摄像头310也可以是面向电子设备的侧方的摄像头，或者是可以调整面向角度的摄像头。第二摄像头320一般面向用户(例如前摄像头)，以方便用户进行自拍，如图4(a)所示。第一摄像头310与第二摄像头320可以是相同配置，也可以是不同配置。例如，第一摄像头310的分辨率可以高于第二摄像头320的分辨率，从而节省成本。又例如，第二摄像头320可以包括比第一摄像头310更加广角的镜头，以方便在近距离拍摄用户的脸部。

显示单元330用于显示图像，通常位于在电子设备300的正面，如图4(a)所示。显示单元典型为TFT(薄膜晶体管)显示器或者OLED(有机发光二极管)显示器，但本发明不限于此，还可以是其他任何形式的显示器，只要能够显示图像即可。

处理单元340用于控制电子设备300中的各类部件来执行规定的处理，位于电子设备300的内部(未图示)。处理单元340可以是通用型微处理器以执行规定程序，也可以是专用型逻辑处理器。本发明中，处理器可以是任何配置的处理器。

下面，结合附图详细说明处理单元340执行的处理。

首先，获取第一预览图像。典型地，第一预览图像是用户期望拍摄的对象的取景图像，用户可以通过第一预览图像观察取景范围并且预测拍摄出来的目标图像的效果。通常情况下，通过第一摄像头310获取第一预览图像。当然，除了第一摄像头310外，例如在自拍时也可以通过第二摄像头320来获取第一预览图像。然而，本发明不限于此，也可以通过位于电子设备300外部的其他摄像头获取第一预览图像。

随后，通过显示单元330显示所述第一预览图像。对于智能型电子设备而言，一般在打开相机的应用程序时通常会自动地通过第一摄像头310获取第一预览图像，并且显示在显示单元330上。由此，用户能够看到第一预览图像。

接下来，跟踪用户的眼球以确定用户在所述第一预览图像上的关注位置。这里，可以通过第二摄像头320直接检测用户的眼球，并且根据眼球的位置来计算眼球指向的电子设备的显示单元上的坐标。可以使用现有的眼球跟踪技术进行眼球跟踪，因此在这里不再详细叙述眼球跟踪的细节。由于第一预览图像在显示单元330上的坐标是已知的，因此可以通过两个坐标的映射关系来确定用户的眼球在第一预览图像上的指向位置。此时，可以将该指向位置作为用户在第一预览图像上的关注位置。优选地，处理单元340可以当所述眼球所指向的位置在所述第一预览图像上相对停留规定阈值时间以上时，将所述位置确定为用户在第一预览图像上的关注位置。其中，相对停留例如可以是指向点的位移小于一定阈值，或者指向点未超出较小的规定区域内。

然而，由于眼球的面积较小，处理单元340有时难以通过第二摄像头直接检测并且跟踪眼球。在这种情况下，可以首先通过第二摄像头320检测是否存在人脸。当检测到人脸时，开启眼球跟踪功能，由此跟踪用户的眼球以确定用户在第一预览图像上的关注位置。相反，当没有检测到人脸时，可以按照传统的方法检测用户在显示单元330上的触摸位置，并且根据触摸位置的坐标来确定用户在第一预览图像上的关注位置。当然，本发明不限于此，当没有检测到人脸时，还可以根据第一预览图像中的场景来自动识别关注位置。

优选地，处理单元340在跟踪眼球以确定用户在所显示的第一预览图像上的关注位置以后，在显示单元330上的第一预览图像上显示所述关注位置。可以使用任何标记(例如但不限于“+”、“○”、“⊙”、“⊕”等)来显示关注位置。进一步优选地，处理单元340实时地检测关注位置的变化并且使得第一预览图像上显示的关注位置也随之变化。图2是用于说明本发明中在显示单元上显示关注位置的说明图。假设通过第一摄像头获取了如图2(a)所示的第一预览图像。此时，检测到用户的眼球指向人物A的脸部，因此在第一预览图像的人物A的脸部显示标记f“+”，以表示将人物A的脸部确定为关注位置。随后，用户的眼球指向的位置又移动到了人物B的脸部，此时在第一预览图像中显示的标记f也随之移动到人物B的脸部，如图2(b)所示。这样，能够让用户看到电子设备所确定的关注位置，使得拍摄功能变得进一步人性化。

接下来，根据所述关注位置确定拍照参数。拍照参数例如可以包括曝光参数(光圈、快门速度、感光度)、白平衡参数(色温值)、对焦位置等等。具体而言，可以以该关注位置所对应的场景的光线条件来确定曝光参数以及/或者白平衡参数。例如，当关注位置在人物B的脸部时，根据人物B的脸部的光线条件调整光圈、快门速度、感光度中的至少一个以使得该人物B的脸部的曝光合适(例如但不限于18％灰)，或者调整色温值以设置与人物B的脸部的光线条件相适应的白平衡。此外，还可以对所述关注位置进行对焦以捕获目标图像。例如，当关注位置在人物B的脸部时，对人物B的脸部进行对焦，以获得人物B的脸部为清晰的图像。

最后，使用所述拍照参数捕获目标图像。一般地，如果第一预览图像是通过第一摄像头310获取的情况下使用第一摄像头310捕获目标图像。同样地，如果第一预览图像是通过第二摄像头320获取的情况下使用第二摄像头320捕获目标图像。然而，本发明不限于此，也不排除通过与获取第一预览图像不同的摄像头来捕获图像的情况。

应当指出，本发明能够广泛应用于当今较为主流的具备多个摄像头的电子设备。以具备前后两个摄像头的情况为例，可以通过第一摄像头获取实时的第一预览图像的同时通过第二摄像头跟踪眼球位置。这不仅可以通过使用多核处理器来实现，也可以使用多线程的单核处理器实现上述功能，使得同时处理两个摄像头采集的图像数据。

通过以上处理，可以根据用户的眼球指向的位置来自动设置拍照参数而捕获图像，无需用户触摸电子设备上的屏幕，不仅提高了用户的便利性，还能够防止用户的手遮挡屏幕，而且能够在如今主流的多摄像头电子设备上广泛应用。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上说明了本发明的电子设备的多个实施例。显然，本领域技术人员在不脱离本发明的精神和范围内可以对上述实施例作出各种组合、修改或者变形。本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (10)

1.一种图像处理方法，应用于电子设备，其中包括：

获取第一预览图像；

显示所述第一预览图像；

跟踪用户的眼球以确定用户在所述第一预览图像上的关注位置；

根据所述关注位置确定拍照参数；以及

使用所述拍照参数捕获目标图像。

2.如权利要求1所述的图像处理方法，其中，

所述拍照参数包括曝光参数以及/或者白平衡参数，

所述根据所述关注位置确定拍照参数包括：

根据所述关注位置所对应的场景的光线条件，确定曝光参数以及/或者白平衡参数。

3.如权利要求1所述的图像处理方法，其中，

所述拍照参数包括对焦位置：

所述根据所述关注位置确定拍照参数包括：

对所述关注位置进行对焦以捕获目标图像。

4.如权利要求1所述的图像处理方法，其中，

所述跟踪用户的眼球以确定用户在所述第一预览图像上的关注位置包括：

跟踪所述人脸部位中的眼球的位置，并且当所述眼球所指向的位置在所述第一预览图像上相对停留规定阈值时间以上时，将所述位置确定为用户在所显示的第一预览图像上的关注位置。

5.如权利要求1所述的图像处理方法，其中，

在所述显示所述第一预览图像之后还包括：

检测人脸部位，

当检测到人脸部位时，开启眼球跟踪功能。

6.一种电子设备，其中包括：

第一摄像头，配置来捕获图像；

第二摄像头，配置来捕获图像；

显示单元，配置来显示图像；以及

处理单元，配置来获取第一预览图像并且通过所述显示单元显示所述第一预览图像，通过所述第二摄像头跟踪用户的眼球的位置以确定用户在所述第一预览图像上的关注位置，根据所述关注位置确定拍照参数，并且使用所述拍照参数捕获目标图像。

7.如权利要求6所述的电子设备，其中，

所述拍照参数包括曝光参数以及/或者白平衡参数，

所述处理单元根据所述关注位置所对应的场景的光线条件，确定曝光参数以及/或者白平衡参数。

8.如权利要求6所述的电子设备，其中，

所述拍照参数包括对焦位置：

所述处理单元对所述关注位置进行对焦以捕获目标图像。

9.如权利要求6所述的电子设备，其中，

所述处理单元通过所述第二摄像头跟踪所述人脸部位中的眼球的位置，并且当所述眼球所指向的位置在所述第一预览图像上相对停留规定阈值时间以上时，将所述位置确定为用户在所显示的第一预览图像上的关注位置。

10.如权利要求6所述的电子设备，其中，

所述处理单元在所述显示所述第一预览图像之后，通过所述第二摄像头检测人脸部位，并且当检测到人脸部位时，开启眼球跟踪功能。