CN114079729A - 拍摄控制方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种拍摄控制方法、装置、电子设备及存储介质，所述方法包括如下步骤：通过眼球追踪模块获取显示屏被注视的注视点信息；根据注视点信息获取注视点所在注视区域的区域图像信息；根据注视点信息和区域图像信息确定摄像头模组的拍摄模式；根据拍摄模式控制摄像头模组进行拍摄，如此，能够基于眼球追踪技术确定用户注视点信息和注视点所在注视区域的区域图像信息，用户注视点信息和注视点所在注视区域的区域图像信息可反映拍摄需求变化，进而能够根据用户拍摄需求变化自动选取合适的拍摄模式，提供更好的拍摄效果，提升用户体验。

Description

拍摄控制方法、装置、电子设备及存储介质

技术领域

本申请涉及显示技术领域，具体涉及一种拍摄控制方法、装置、电子设备及存储介质。

背景技术

随着电子设备(如手机、平板电脑等等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。

目前的用户在使用电子设备的相机应用时，一般通过用户手动调节倍率来控制镜头切换，例如，通过对图像放大和预览场景的切换来触发镜头的切换功能(由广角切换到主摄，或由主摄切换到长焦)。但是目前的镜头切换技术难以贴合客户的实时拍摄需求变化自动进行镜头切换。

发明内容

本申请实施例提供了一种拍摄控制方法、装置、电子设备及存储介质，能够基于眼球追踪技术实现拍摄时不同镜头的自动切换，根据用户拍摄需求变化自动选取合适的拍摄模式，提供更好的拍摄效果，提升用户体验。

第一方面，本申请实施例提供一种拍摄控制方法，应用于电子设备，所述电子设备包括眼球追踪模块、显示屏和摄像头模组，所述方法包括：

通过所述眼球追踪模块获取所述显示屏被注视的注视点信息；

根据所述注视点信息获取注视点所在注视区域的区域图像信息；

根据所述注视点信息和所述区域图像信息确定摄像头模组的拍摄模式；根据所述拍摄模式控制所述摄像头模组进行拍摄。

第二方面，本申请实施例提供一种拍摄控制装置，应用于电子设备，所述电子设备包括眼球追踪模块、显示屏和摄像头模组，所述装置包括：

获取单元，用于通过所述眼球追踪模块获取所述显示屏被注视的注视点信息；

所述获取单元，还用于根据所述注视点信息获取注视点所在注视区域的区域图像信息；

确定单元，用于根据所述注视点信息和所述区域图像信息确定摄像头模组的拍摄模式；

拍摄单元，用于根据所述拍摄模式控制所述摄像头模组进行拍摄。

第三方面，本申请实施例提供一种电子设备，包括第一摄像头、第二摄像头、处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具备如下有益效果：

可以看出，本申请实施例中提供的拍摄控制方法、装置、电子设备及存储介质，通过眼球追踪模块获取显示屏被注视的注视点信息；根据注视点信息获取注视点所在注视区域的区域图像信息；根据注视点信息和区域图像信息确定摄像头模组的拍摄模式；根据拍摄模式控制摄像头模组进行拍摄，如此，能够基于眼球追踪技术确定用户注视点信息和注视点所在注视区域的区域图像信息，用户注视点信息和注视点所在注视区域的区域图像信息可反映拍摄需求变化，进而能够根据用户拍摄需求变化自动选取合适的拍摄模式，提供更好的拍摄效果，提升用户体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种电子设备的结构示意图；

图1B是本申请实施例提供的一种拍摄控制方法的流程示意图；

图1C是本申请实施例提供的一种注视点运动趋势信息的演示示意图；

图1D是本申请实施例提供的一种根据拍摄模式控制摄像头模组进行拍摄的演示示意图；

图1E是本申请实施例提供的一种景深原理示意图；

图2是本申请实施例提供的另一种拍摄控制方法的流程示意图；

图3是本申请实施例提供的一种电子设备的结构示意图；

图4是本申请实施例提供的一种拍摄控制装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(userequipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。

下面对本申请实施例进行详细介绍。

请参阅图1A，图1A是本申请实施例公开的一种电子设备的结构示意图，电子设备100包括存储和处理电路110，以及与所述存储和处理电路110连接的传感器170，其中：

电子设备100可以包括控制电路，该控制电路可以包括存储和处理电路110。该存储和处理电路110可以包括存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。

存储和处理电路110可用于运行电子设备100中的软件，例如互联网浏览应用程序，互联网协议语音(Voice over Internet Protocol,VOIP)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示屏上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备100中的其它功能等，本申请实施例不作限制。

电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出，即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。传感器170可以包括指纹识别模组，还可以包括环境光传感器，基于光和电容的接近传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，和其它传感器等，超声波指纹识别模组可以集成于屏幕下方，或者，指纹识别模组可以设置于电子设备的侧面或者背面，在此不作限定，该指纹识别模组可以用于采集指纹图像。

传感器170还可以包括红外(Infrared Radiation，IR)摄像头和可见光摄像头，IR摄像头和可见光摄像头可构成眼球追踪模块，眼球追踪模块用于进行眼球追踪，其中，IR摄像头在拍摄时，瞳孔反射红外光，因此IR摄像头在拍摄瞳孔图像会比RGB摄像头更加准确；可见光摄像头需要进行更多的后续瞳孔检测，计算精度和准确性比IR摄像头要高，通用性比IR摄像头更好，但是计算量大。

输入-输出电路150还可以包括一个或多个显示屏，例如显示屏130。显示屏130可以包括液晶显示屏，有机发光二极管显示屏，电子墨水显示屏，等离子显示屏，使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即，显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。

电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。

通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication，NFC)的电路。例如，通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。

电子设备100还可以进一步包括电池，电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。

用户可以通过输入-输出电路150输入命令来控制电子设备100的操作，并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。

请参阅图1B，图1B是本申请实施例提供的一种拍摄控制方法的流程示意图，应用于如图1A所示的电子设备，所述电子设备包括眼球追踪模块、显示屏和摄像头模组，如图1B所示，本申请提供的拍摄控制方法包括：

101、通过所述眼球追踪模块获取所述显示屏被注视的注视点信息。

其中，眼球追踪模块可包括摄像头，通过摄像头对用户进行眼球追踪，进行眼球追踪的摄像头可以为红外摄像头或者可见光摄像头等等，此处不作限制。

其中，注视点信息可包括注视点位置、注视时长等信息。

具体实施中，随着用户视线在显示屏上进行移动，眼球追踪模块可检测用户眼球注视显示屏上的注视点信息，例如，眼球追踪模块可检测用户眼球注视显示屏上的第一注视点位置，以及注视第一注视点位置的第一时长，当用户视线移动，可检测用户眼球注视显示屏上的第二注视注视点位置，以及注视第二注视点位置的第二注视时长，从而，眼球追踪模块可检测到不同时间用户注视显示屏上不同注视点位置以及注视点位置对应的注视时长。

102、根据所述注视点信息获取注视点所在注视区域的区域图像信息。

其中，根据注视点信息获取注视点所在注视区域的区域图像信息，区域图像信息可包括人物、物体等图像信息，例如，用户注视人物，则可根据注视点信息确定显示屏中注视点所在注视区域包括的人物有关的区域图像信息，用户注视山、树等物体，则可根据注视点信息确定显示屏中注视点所在注视区域包括的物体有关的区域图像信息。

可选地，上述步骤102中，所述注视点信息包括至少一个注视点位置以及与所述至少一个注视点位置对应的至少一个注视时长，所述根据所述注视点信息获取注视点所在注视区域的区域图像信息，可包括以下步骤：

21、确定注视时长大于预设时长的注视点位置；

22、确定所述注视点位置周围第一范围区域为注视区域；或者；确定所述注视点位置对应的注视对象的轮廓包围区域为注视区域；

23、提取所述注视区域的图像信息，得到所述区域图像信息。

具体实施中，可预先设定预设时长，在确定用户注视一个注视点位置的注视时长大于预设时长时，可确定该注视点位置周围第一范围区域为注视区域，具体地，第一范围区域可以为一个预设注视框或者一个预设注视圈，预设注视框或者预设注视圈的尺寸大小可以由系统默认设定，也可由用户自行设定，此处不作限制，例如，当显示屏显示画面中的图像内容为一片天空，可将注视点位置周围处于预设注视框或预设注视圈范围内的第一范围区域确定为注视区域。

或者，在确定用户注视一个注视点位置的注视时长大于预设时长时，可确定该注视点位置对应的注视对象的轮廓包围区域为注视区域，具体地，若注视点位置对应的图像内容为特定的注视对象，例如人脸、人像，或者树木、山、动物等物体，又或者为聊天界面框、应用图标等，上述注视对象具有自身特定的轮廓，因此，可将注视对象的轮廓包围区域确定为注视区域。

103、根据所述注视点信息和所述区域图像信息确定摄像头模组的拍摄模式；根据所述拍摄模式控制所述摄像头模组进行拍摄。

其中，上述注视点信息和区域图像信息可反应用户注视显示屏上的注视内容，随着用户注视点关注的注视点信息的变化，可反映用户的拍摄需求变化，进而能够根据用户拍摄需求变化自动选取合适的拍摄模式。

其中，摄像头模组可包括不同类型的两个以上摄像镜头，不同类型的镜头具有不同的焦距和光圈，例如，感光镜头(等效焦距27毫米，光圈1.6)、广角镜头(等效焦距16毫米，光圈2.2)、长焦镜头(等效焦距125毫米，光圈3.5)、标准镜头(焦距在40-55毫米)等，此处不作限制。

上述拍摄模式可包括以下至少一种：超感光拍摄模式、长焦拍摄模式、广角拍摄模式等等，此处不作限制。电子设备一般设置两个以上镜头，例如，有的电子设备有两个镜头、三个镜头或者四个镜头等，电子设备通过设置不同类型的对焦镜头，通过不同类型的镜头在不同拍摄模式下单独或者协同工作，能够实现更多的拍摄效果，满足用户不同的拍摄需求。根据拍摄模式控制摄像头模组进行拍摄，具体地，电子设备在确定拍摄模式后，可确定该拍摄模式下至少一个镜头的类型，以及在两个以上镜头协同工作的情况下，作为主摄像头的镜头类型和辅摄像头的镜头类型，例如，在第一拍摄模式下，将长焦镜头作为主摄像头，广角镜头作为副摄像头；又例如，在第二拍摄模式下，通过广角摄像头单独进行拍摄，从而可根据用户拍摄需求变化自动选取合适的拍摄模式，提供更好的拍摄效果。

可选地，上述步骤103中，根据所述注视点信息和所述区域图像信息确定摄像头模组的拍摄模式，可包括以下步骤：

31、根据所述注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息；

32、根据所述区域图像信息分析所述注视区域的注视区域变化信息；

33、根据所述注视点运动趋势信息和所述注视区域变化信息确定所述摄像头模组的拍摄模式。

请参阅图1C，图1C为本申请实施例中的一种注视点运动趋势信息的演示示意图，其中，注视点运动趋势信息具体包括注视点在是否随时间变化、如何变化的信息，如图1C中的左图所示，注视点可能随时间变化在一个区域范围内运动，运动范围较为集中，例如，假定显示屏的显示界面中包括人脸，用户的注视点随时间变化在该人脸区域运动，未超出人脸范围；或者，如图1C中的右图所示，注视点可能随时间变化在较大范围内运动，运动范围较为分散，例如，假定显示屏的显示界面中包括树木、山、水等景物，随时间变化用户的注视点先落在树木所在区域，然后移动到山所在区域，因此，上述注视点运动趋势信息即可反映随时间变化注视点的变化趋势。

其中，根据所述区域图像信息分析所述注视区域的注视区域变化信息，具体地，可分析注视点运动到不同位置时，注视区域的图像内容是否发生变化，以及如何变化的信息。例如，注视点运动过程中，若用户的注视点所在注视区域的图像内容集中在人脸区域，则表明注视区域的图像内容较为固定；若用户的注视点所在注视区域的图像内容分别有树木、山和水，表明注视区域的图像内容发生了变化。

通过根据注视点运动趋势信息和注视区域变化信息确定摄像头模组的拍摄模式，可以依据注视点运动趋势信息和注视区域变化信息中反映的用户的拍摄需求，根据用户拍摄需求自动进行拍摄模式切换，实时满足变化的用户拍摄需求。

可选地，上述步骤32中，所述根据所述区域图像信息分析所述注视区域的注视区域变化信息，可包括以下步骤：

3201、对所述区域图像信息进行特征提取，得到区域图像特征；

3202、对所述区域图像特征输入特征训练模型进行训练，得到注视区域的特征信息；

3203、根据所述注视区域的特征信息分析所述注视区域中的图像内容随注视点变化的信息，得到注视区域变化信息。

其中，对所述区域图像信息进行图像特征提取的特征提取算法可包括以下至少一种：方向梯度直方图(Histogram of Oriented Gradients，HOG)算法、霍夫变换法或Haar特征级联分类器算法等等，此处不做限制。

其中，注视区域的特征信息可包括注视区域的位置特征信息以及注视区域包含注视对象的特征信息，注视区域的特征信息用于表征注视区域的注视对象，例如，注视区域的特征信息可以为人脸的特征信息、人像的特征信息、山的特征信息、树木的特征信息等等，此处不作限制，通过注视区域的特征信息可确定注视区域的注视对象。

其中，在不同时刻检测到不同的多个注视点对应的多个注视区域中，可包括不同的区域图像信息，可将每一注视点对应的区域图像信息进行特征提取，得到区域图像特征，得到不同注视区域对应的区域图像特征，将区域图像特征依次输入图像特征训练模型，通过图像特征训练模型将输入的区域图像特征进行训练，得到不同注视点所在注视区域的特征信息，具体地，若眼球追踪模块检测到的注视点信息中包括M个注视点，M为正整数，从M个注视点对应M个注视区域的区域图像信息中可提取到区域图像特征，将M个注视点分别对应的区域图像特征依次输入到图像特征训练模型，可得到M个注视区域的M个注视区域特征信息，例如，可得到注视区域的人脸特征信息，具体可包括人脸各个部位(鼻子、眼睛、下巴、额头等)的特征信息。

其中，图像内容变化信息是指用户的注视对象是否变化、如何变化的信息，具体地，可根据M个注视区域的M个注视区域特征信息分析用户的注视对象是否变化，若M个注视区域的区域图像信息中，存在N次注视对象相同，N为小于或等于M的正整数，可计算该注视对象的出现概率，若该出现概率大于预设概率阈值，可判断该注视对象为用户重点关注的目标对象，表明注视区域的图像内容集中在所述目标对象上，即随着注视点发生变化，注视点对应的注视区域中的注视对象为目标对象，例如，目标对象可以为一个人物或者一个物体。若随着注视点的变化，注视区域的图像内容发生变化，例如，假定显示屏的显示界面包括人像和书桌，在1-2s内，用户注视点所在注视区域的注视对象为人像，在3-4s内，用户注视点所在注视区域的注视对象为书桌，则表明注视点对应的注视区域中的注视对象不集中在目标对象上。本申请实施例中，通过分析用户的注视对象是否发生变化，若未变化，得到用户注视点集中的目标对象；若变化，则说明用户有更大的视角拍摄需求。如此，可通过分析注视区域变化信息，实时确定用户在拍摄过程中的拍摄需求变化。

可选地，上述步骤33中，所述根据所述注视点运动趋势信息和所述注视区域变化信息确定摄像头模组的拍摄模式，可包括以下步骤：

3301、分析所述注视点运动趋势信息或所述注视区域变化信息满足的预设拍摄条件；

3302、根据预设的拍摄条件与拍摄模式之间的映射关系确定与所述预设拍摄条件对应的拍摄模式，将所述与所述预设拍摄条件对应的拍摄模式作为所述摄像头模组的拍摄模式。

本申请实施例中，可预先针对每一种拍摄模式设置拍摄条件，并创建拍摄条件与拍摄模式之间的映射关系，从而，可根据预设的拍摄条件与拍摄模式之间的映射关系确定与所述预设拍摄条件对应的拍摄模式，将与预设拍摄条件对应的拍摄模式作为摄像头模组的拍摄模式，拍摄模式可包括以下至少一种：长焦镜头拍摄模式、广角镜头拍摄模式、标准镜头+长焦镜头拍摄模式、标准镜头+广角镜头拍摄模式或广角镜头+长焦镜头双摄模式等，此处不作限制。

可选地，上述步骤3301中，所述分析所述注视点运动趋势信息和所述注视区域变化信息满足的预设拍摄条件，可包括以下步骤：

A1、若所述注视点运动趋势信息表征注视点集中在第二范围区域，且所述第二范围区域的第一深度信息大于第一预设深度阈值，确定所述注视点运动趋势信息满足第一预设拍摄条件，所述第一预设拍摄条件对应的拍摄模式为长焦镜头拍摄模式；

A2、若所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上，且所述目标对象的第二深度信息大于第二预设深度阈值，确定所述注视点运动趋势信息满足第二预设拍摄条件，所述第二预设拍摄条件对应的拍摄模式为长焦镜头拍摄模式；

A3、若所述注视点运动趋势信息表征注视点运动范围不集中在所述第二范围区域，且注视区域变化信息表征所述注视区域的图像内容不集中在所述目标对象上，确定所述注视点运动趋势信息和所述注视区域变化信息满足第三预设拍摄条件，所述第三预设拍摄条件对应的拍摄模式为广角镜头拍摄模式。

本申请实施例中，可预先设置关于注视点运动趋势信息和所述注视区域变化信息的拍摄条件，从而可分析注视点运动趋势信息和/注视区域变化信息满足的预设拍摄条件。

其中，若注视点运动趋势信息表征注视点集中在第二范围区域，表明用户的注视点位置较为集中，第二范围区域的第一深度信息大于第一预设深度阈值，则可确定对应的拍摄模式为长焦镜头拍摄模式，将拍摄的镜头切换为长焦镜头；若注视区域变化信息表征注视区域的图像内容集中在目标对象上，表明用户注视的图像内容较为固定，若目标对象的第二深度信息大于第二预设深度阈值，则可确定对应的拍摄模式为长焦镜头拍摄模式，将拍摄的镜头切换为长焦镜头；若注视点运动趋势信息表征注视点运动范围不集中在第二范围区域，且注视区域变化信息表征注视区域的图像内容不集中在所述目标对象上，表明用户具有较大的视角拍摄需求，可将拍摄的镜头切换为广焦镜头。

举例说明，请参阅图1D，图1D为本申请实施例提供的一种根据拍摄模式控制摄像头模组进行拍摄的演示示意图，其中，摄像头模组包括标准镜头(焦距在40至55毫米之间的镜头)、广角镜头和长焦镜头，电子设备可预先设定一个镜头(例如，标准镜头)为默认的主摄像头，然后，在确定注视点运动趋势信息满足第一预设拍摄条件时，可将拍摄的主摄像头切换为长焦镜头，否则维持主摄像头为标准镜头；若确定注视点运动趋势信息满足第二预设拍摄条件，可将拍摄的主摄像头切换为长焦镜头，否则维持主摄像头为标准镜头；确定注视点运动趋势信息和注视区域变化信息满足第三预设拍摄条件，可将拍摄的主摄像头切换为广角镜头，否则维持主摄像头为标准镜头，如此，可根据注视点运动趋势信息和注视区域变化信息自动控制拍摄镜头的切换。

可选地，本申请实施例中，所述方法还包括：

B1、在所述根据所述注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息之后，若所述注视点运动趋势信息表征注视点集中在第二范围区域，则计算所述第二范围区域的所述第一深度信息；或者，

B2、在所述根据所述注视区域的特征信息分析所述注视区域中的图像内容随注视点变化的信息，得到注视区域变化信息之后，若所述注视区域变化信息表征所述注视区域的图像内容集中在所述目标对象上，则计算所述目标对象的第二深度信息。

本申请实施例中，可在根据所述注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息之后，根据注视点运动趋势信息判断是否进行深度计算，若注视点运动趋势信息表征注视点集中在第二范围区域，则计算第二范围区域的第一深度信息，将第一深度信息预先缓存至缓存区，将第一深度信息用于后续判断是否满足预设拍摄条件的操作，在后续分析注视点运动趋势信息满足的预设拍摄条件时，从缓存区调用该第一深度信息。在根据所述注视区域的特征信息分析注视区域中的图像内容随注视点变化的信息，得到注视区域变化信息之后，若注视区域变化信息表征注视区域的图像内容集中在所述目标对象上，则计算目标对象的第二深度信息，将第二深度信息预先缓存至缓存区，将第二深度信息用于后续判断是否满足预设拍摄条件的操作，在后续分析注视区域变化信息满足的预设拍摄条件时，从缓存区调用该第二深度信息。如此，可接收后续分析所述注视点运动趋势信息和所述注视区域变化信息满足的预设拍摄条件时，计算深度信息的时间。

其中，计算所述第二范围区域的第一深度信息，具体地，可确定第二范围区域平行于拍摄镜头的成像平面且经过第二范围区域的拍摄对象的平面为焦平面，然后，针对所述焦平面获取第二范围区域的第一深度信息，请参阅图1E，图1E为本申请实施例提供的一种景深原理示意图，其中，可先根据拍摄镜头的光圈值、物距、弥撒圆直径和拍摄镜头的焦距确定焦平面对应的前景深和后景深，具体公式如下：

其中，△L1为前景深，△L2为后景深，F为光圈值、L为物距、δ为弥撒圆直径和f为第一摄像头的焦距。

然后可根据前景深和后景深计算焦平面对应的第一深度信息，具体公式如下：

计算目标对象的第二深度信息的方式可参考上述计算第一深度信息的方式，此处不再赘述。

可以看出，本申请实施例中通过眼球追踪模块获取显示屏被注视的注视点信息；根据注视点信息获取注视点所在注视区域的区域图像信息；根据注视点信息和区域图像信息确定摄像头模组的拍摄模式；根据拍摄模式控制摄像头模组进行拍摄，如此，能够基于眼球追踪技术确定用户注视点信息和注视点所在注视区域的区域图像信息，用户注视点信息和注视点所在注视区域的区域图像信息可反映拍摄需求变化，进而能够根据用户拍摄需求变化自动选取合适的拍摄模式，提供更好的拍摄效果，提升用户体验。

请参阅图2，图2为本申请实施例提供的一种拍摄控制方法的流程示意图，应用于电子设备，所述电子设备包括眼球追踪模块、显示屏和摄像头模组，所述方法包括：

201、通过所述眼球追踪模块获取所述显示屏被注视的注视点信息。

202、根据所述注视点信息获取注视点所在注视区域的区域图像信息。

203、根据所述注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息。

204、根据所述区域图像信息分析所述注视区域的注视区域变化信息。

205、若所述注视点运动趋势信息表征注视点集中在第二范围区域，且所述第二范围区域的第一深度信息大于第一预设深度阈值，确定所述注视点运动趋势信息满足第一预设拍摄条件。

206、若所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上，且所述目标对象的第二深度信息大于第二预设深度阈值，确定所述注视点运动趋势信息满足第二预设拍摄条件。

207、若所述注视点运动趋势信息表征注视点运动范围不集中在所述第二范围区域，且注视区域变化信息表征所述注视区域的图像内容不集中在所述目标对象上，确定所述注视点运动趋势信息和所述注视区域变化信息满足第三预设拍摄条件。

208、根据预设的拍摄条件与拍摄模式之间的映射关系确定与所述预设拍摄条件对应的拍摄模式，将所述与所述预设拍摄条件对应的拍摄模式作为所述摄像头模组的拍摄模式。

209、根据所述拍摄模式控制所述摄像头模组进行拍摄。

其中，上述步骤201-209的具体实现过程可参照步骤101-步骤103中相应的描述，在此不再赘述。

可以看出，本申请实施例中通过眼球追踪模块获取显示屏被注视的注视点信息；根据注视点信息获取注视点所在注视区域的区域图像信息；根据注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息；根据区域图像信息分析注视区域的注视区域变化信息；对区域图像信息进行特征提取，得到区域图像特征；对区域图像特征输入特征训练模型进行训练，得到注视区域的特征信息；根据注视区域的特征信息分析注视区域中的图像内容随注视点变化的信息，得到注视区域变化信息；分析注视点运动趋势信息或注视区域变化信息满足的预设拍摄条件；根据预设的拍摄条件与拍摄模式之间的映射关系确定与预设拍摄条件对应的拍摄模式，根据拍摄模式控制摄像头模组进行拍摄，如此，通过根据注视点运动趋势信息和注视区域变化信息确定摄像头模组的拍摄模式，可以依据注视点运动趋势信息和注视区域变化信息中反映的用户的拍摄需求，根据用户拍摄需求自动进行拍摄模式切换，实时满足变化的用户拍摄需求，提供更好的拍摄效果，提升用户体验。

以下是实施上述拍摄控制方法的装置，具体如下：

与上述一致地，请参阅图3，图3是本申请实施例提供的一种电子设备的结构示意图，该电子设备包括：处理器310、通信接口330和存储器320；还包括眼球追踪模块340、显示屏350、摄像头模组360，以及一个或多个程序321，所述一个或多个程序321被存储在所述存储器320中，并且被配置成由所述处理器执行，所述程序321包括用于执行以下步骤的指令：

通过所述眼球追踪模块获取所述显示屏被注视的注视点信息；

根据所述注视点信息获取注视点所在注视区域的区域图像信息；

根据所述注视点信息和所述区域图像信息确定摄像头模组的拍摄模式；根据所述拍摄模式控制所述摄像头模组进行拍摄。

在一个可能的示例中，所述注视点信息包括至少一个注视点位置以及与所述至少一个注视点位置对应的至少一个注视时长，在所述根据所述注视点信息获取注视点所在注视区域的区域图像信息方面，所述程序321包括用于执行以下步骤的指令：

确定注视时长大于预设时长的注视点位置；

确定所述注视点位置周围第一范围区域为注视区域；或者；确定所述注视点位置对应的注视对象的轮廓包围区域为注视区域；

提取所述注视区域的图像信息，得到所述区域图像信息。

在一个可能的示例中，在所述根据所述注视点信息和所述区域图像信息确定摄像头模组的拍摄模式方面，所述程序321包括用于执行以下步骤的指令：

根据所述注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息；

根据所述区域图像信息分析所述注视区域的注视区域变化信息；

根据所述注视点运动趋势信息和所述注视区域变化信息确定所述摄像头模组的拍摄模式。

在一个可能的示例中，在所述根据所述区域图像信息分析所述注视区域的注视区域变化信息方面，所述程序321还包括用于执行以下步骤的指令：

对所述区域图像信息进行特征提取，得到区域图像特征；

对所述区域图像特征输入特征训练模型进行训练，得到注视区域的特征信息；

根据所述注视区域的特征信息分析所述注视区域中的图像内容随注视点变化的信息，得到注视区域变化信息。

在一个可能的示例中，在所述根据所述注视点运动趋势信息和所述注视区域变化信息确定摄像头模组的拍摄模式方面，所述程序321包括用于执行以下步骤的指令：

分析所述注视点运动趋势信息或所述注视区域变化信息满足的预设拍摄条件；

根据预设的拍摄条件与拍摄模式之间的映射关系确定与所述预设拍摄条件对应的拍摄模式，将所述与所述预设拍摄条件对应的拍摄模式作为所述摄像头模组的拍摄模式。

在一个可能的示例中，在所述分析所述注视点运动趋势信息和所述注视区域变化信息满足的预设拍摄条件方面，所述程序321包括用于执行以下步骤的指令：

若所述注视点运动趋势信息表征注视点集中在第二范围区域，且所述第二范围区域的第一深度信息大于第一预设深度阈值，确定所述注视点运动趋势信息满足第一预设拍摄条件，所述第一预设拍摄条件对应的拍摄模式为长焦镜头拍摄模式；

若所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上，且所述目标对象的第二深度信息大于第二预设深度阈值，确定所述注视点运动趋势信息满足第二预设拍摄条件，所述第二预设拍摄条件对应的拍摄模式为长焦镜头拍摄模式；

若所述注视点运动趋势信息表征注视点运动范围不集中在所述第二范围区域，且注视区域变化信息表征所述注视区域的图像内容不集中在所述目标对象上，确定所述注视点运动趋势信息和所述注视区域变化信息满足第三预设拍摄条件，所述第三预设拍摄条件对应的拍摄模式为广角镜头拍摄模式。

在一个可能的示例中，所述程序321还包括用于执行以下步骤的指令：

在所述根据所述注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息之后，若所述注视点运动趋势信息表征注视点集中在第二范围区域，则计算所述第二范围区域的所述第一深度信息；或者，

在所述根据所述注视区域的特征信息分析所述注视区域中的图像内容随注视点变化的信息，得到注视区域变化信息之后，若所述注视区域变化信息表征所述注视区域的图像内容集中在所述目标对象上，则计算所述目标对象的第二深度信息。

请参阅图4，图4是本实施例提供的一种拍摄控制装置的结构示意图，所述拍摄控制装置400应用于电子设备，所述电子设备包括眼球追踪模块、显示屏和摄像头模组，该装置400包括获取单元401、确定单元402和拍摄单元403，其中，

所述获取单元401，用于通过所述眼球追踪模块获取所述显示屏被注视的注视点信息；

所述获取单元401，还用于根据所述注视点信息获取注视点所在注视区域的区域图像信息；

确定单元402，用于根据所述注视点信息和所述区域图像信息确定摄像头模组的拍摄模式；

拍摄单元403，用于根据所述拍摄模式控制所述摄像头模组进行拍摄。

可选地，所述注视点信息包括至少一个注视点位置以及与所述至少一个注视点位置对应的至少一个注视时长，在所述根据所述注视点信息获取注视点所在注视区域的区域图像信息方面，所述获取单元401具体用于：

确定注视时长大于预设时长的注视点位置；

确定所述注视点位置周围第一范围区域为注视区域；或者；确定所述注视点位置对应的注视对象的轮廓包围区域为注视区域；

提取所述注视区域的图像信息，得到所述区域图像信息。

可选地，在所述根据所述注视点信息和所述区域图像信息确定摄像头模组的拍摄模式方面，所述确定单元402具体用于：

根据所述注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息；

根据所述区域图像信息分析所述注视区域的注视区域变化信息；

根据所述注视点运动趋势信息和所述注视区域变化信息确定所述摄像头模组的拍摄模式。

可选地，在所述根据所述区域图像信息分析所述注视区域的注视区域变化信息方面，所述确定单元402还用于：

对所述区域图像信息进行特征提取，得到区域图像特征；

对所述区域图像特征输入特征训练模型进行训练，得到注视区域的特征信息；

根据所述注视区域的特征信息分析所述注视区域中的图像内容随注视点变化的信息，得到注视区域变化信息。

可选地，在所述根据所述注视点运动趋势信息和所述注视区域变化信息确定摄像头模组的拍摄模式方面，所述确定单元402具体用于：

分析所述注视点运动趋势信息或所述注视区域变化信息满足的预设拍摄条件；

根据预设的拍摄条件与拍摄模式之间的映射关系确定与所述预设拍摄条件对应的拍摄模式，将所述与所述预设拍摄条件对应的拍摄模式作为所述摄像头模组的拍摄模式。

可选地，在所述分析所述注视点运动趋势信息和所述注视区域变化信息满足的预设拍摄条件方面，所述确定单元402具体用于：

若所述注视点运动趋势信息表征注视点集中在第二范围区域，且所述第二范围区域的第一深度信息大于第一预设深度阈值，确定所述注视点运动趋势信息满足第一预设拍摄条件，所述第一预设拍摄条件对应的拍摄模式为长焦镜头拍摄模式；

若所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上，且所述目标对象的第二深度信息大于第二预设深度阈值，确定所述注视点运动趋势信息满足第二预设拍摄条件，所述第二预设拍摄条件对应的拍摄模式为长焦镜头拍摄模式；

若所述注视点运动趋势信息表征注视点运动范围不集中在所述第二范围区域，且注视区域变化信息表征所述注视区域的图像内容不集中在所述目标对象上，确定所述注视点运动趋势信息和所述注视区域变化信息满足第三预设拍摄条件，所述第三预设拍摄条件对应的拍摄模式为广角镜头拍摄模式。

可选地，所述确定单元402还用于：

在所述根据所述注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息之后，若所述注视点运动趋势信息表征注视点集中在第二范围区域，则计算所述第二范围区域的所述第一深度信息；或者，

在所述根据所述注视区域的特征信息分析所述注视区域中的图像内容随注视点变化的信息，得到注视区域变化信息之后，若所述注视区域变化信息表征所述注视区域的图像内容集中在所述目标对象上，则计算所述目标对象的第二深度信息。

可以看出，本申请实施例中所描述的拍摄控制装置，通过眼球追踪模块获取显示屏被注视的注视点信息；根据注视点信息获取注视点所在注视区域的区域图像信息；根据注视点信息和区域图像信息确定摄像头模组的拍摄模式；根据拍摄模式控制摄像头模组进行拍摄，如此，能够基于眼球追踪技术确定用户注视点信息和注视点所在注视区域的区域图像信息，用户注视点信息和注视点所在注视区域的区域图像信息可反映拍摄需求变化，进而能够根据用户拍摄需求变化自动选取合适的拍摄模式，提供更好的拍摄效果，提升用户体验。

可以理解的是，本实施例的拍摄控制装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种拍摄控制方法，其特征在于，应用于电子设备，所述电子设备包括眼球追踪模块、显示屏和摄像头模组，所述方法包括：

通过所述眼球追踪模块获取所述显示屏被注视的注视点信息；

根据所述注视点信息获取注视点所在注视区域的区域图像信息；

根据所述注视点信息和所述区域图像信息确定摄像头模组的拍摄模式；根据所述拍摄模式控制所述摄像头模组进行拍摄。

2.根据权利要求1所述的方法，其特征在于，所述注视点信息包括至少一个注视点位置以及与所述至少一个注视点位置对应的至少一个注视时长，所述根据所述注视点信息获取注视点所在注视区域的区域图像信息，包括：

确定注视时长大于预设时长的注视点位置；

确定所述注视点位置周围第一范围区域为注视区域；或者；确定所述注视点位置对应的注视对象的轮廓包围区域为注视区域；

提取所述注视区域的图像信息，得到所述区域图像信息。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述注视点信息和所述区域图像信息确定摄像头模组的拍摄模式，包括：

根据所述注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息；

根据所述区域图像信息分析所述注视区域的注视区域变化信息；

根据所述注视点运动趋势信息和所述注视区域变化信息确定所述摄像头模组的拍摄模式。

4.根据权利要求3所述的方法，其特征在于，所述根据所述区域图像信息分析所述注视区域的注视区域变化信息，包括：

对所述区域图像信息进行特征提取，得到区域图像特征；

将所述区域图像特征输入特征训练模型进行训练，得到注视区域的特征信息；

根据所述注视区域的特征信息分析所述注视区域中的图像内容随注视点变化的信息，得到注视区域变化信息。

5.根据权利要求3或4所述的方法，其特征在于，所述根据所述注视点运动趋势信息和所述注视区域变化信息确定摄像头模组的拍摄模式，包括：

分析所述注视点运动趋势信息或所述注视区域变化信息满足的预设拍摄条件；

根据预设的拍摄条件与拍摄模式之间的映射关系确定与所述预设拍摄条件对应的拍摄模式，将所述与所述预设拍摄条件对应的拍摄模式作为所述摄像头模组的拍摄模式。

6.根据权利要求5所述的方法，其特征在于，所述分析所述注视点运动趋势信息和所述注视区域变化信息满足的预设拍摄条件，包括

若所述注视点运动趋势信息表征注视点集中在第二范围区域，且所述第二范围区域的第一深度信息大于第一预设深度阈值，确定所述注视点运动趋势信息满足第一预设拍摄条件，所述第一预设拍摄条件对应的拍摄模式为长焦镜头拍摄模式；

若所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上，且所述目标对象的第二深度信息大于第二预设深度阈值，确定所述注视点运动趋势信息满足第二预设拍摄条件，所述第二预设拍摄条件对应的拍摄模式为长焦镜头拍摄模式；

若所述注视点运动趋势信息表征注视点运动范围不集中在所述第二范围区域，且注视区域变化信息表征所述注视区域的图像内容不集中在所述目标对象上，确定所述注视点运动趋势信息和所述注视区域变化信息满足第三预设拍摄条件，所述第三预设拍摄条件对应的拍摄模式为广角镜头拍摄模式。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在所述根据所述注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息之后，若所述注视点运动趋势信息表征注视点集中在第二范围区域，则计算所述第二范围区域的所述第一深度信息；或者，

在所述根据所述注视区域的特征信息分析所述注视区域中的图像内容随注视点变化的信息，得到注视区域变化信息之后，若所述注视区域变化信息表征所述注视区域的图像内容集中在所述目标对象上，则计算所述目标对象的第二深度信息。

8.一种拍摄控制装置，其特征在于，应用于电子设备，所述电子设备包括眼球追踪模块、显示屏和摄像头模组，所述装置包括：

获取单元，用于通过所述眼球追踪模块获取所述显示屏被注视的注视点信息；

所述获取单元，还用于根据所述注视点信息获取注视点所在注视区域的区域图像信息；

确定单元，用于根据所述注视点信息和所述区域图像信息确定摄像头模组的拍摄模式；

拍摄单元，用于根据所述拍摄模式控制所述摄像头模组进行拍摄。

9.一种电子设备，其特征在于，包括眼球追踪模块、显示屏、处理器、存储器、通信接口，以及一个或多个程序，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。

Images