CN113890987A - 一种自动调焦方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提出一种自动调焦方法、装置、电子设备及存储介质，该方法包括：通过眼球追踪技术模拟用户在预设场景图像中的注视点；判断注视点在同一位置的停留时长是否超过第一预设时长；如果是，则根据注视点，调节相机的焦距。本申请在see‑through场景中根据用户的注视点自动调焦，且根据用户的注视点调节相机的曝光值和补偿值，使得图像可以在注视点周围呈现明亮的特征，随着注视点四周向外亮度逐渐降低。这种特性可以使得VR或AR等设备更关注于用户的注视点周围的图像，减少对图像边缘的曝光时间以此来降低每帧的曝光时间，提高相机的帧率从而减轻用户使用VR或AR等设备的眩晕感，提高用户的体验度。

Description

一种自动调焦方法、装置、电子设备及存储介质

技术领域

本申请属于电子设备技术领域，具体涉及一种自动调焦方法、装置、电子设备及存储介质。

背景技术

目前市场上出现了很多新型的电子设备，如VR(Virtual Reality，虚拟现实)设备、AR(Augmented Reality，增强现实)设备等。这些设备上很多都配置有相机，用户可以通过相机观看到虚拟影像。

当前，相关技术中的很多VR设备、AR设备等都具有see-through场景，在该场景中使用的相机都是定焦的。定焦的相机无法实现调节焦距的功能，如果用户想要聚焦see-through场景中远处的物体，定焦的相机是无法实现的，不能根据用户的需求来调节焦距，灵活性很差。

发明内容

本申请提出一种自动调焦方法、装置、电子设备及存储介质，在see-through场景中根据用户的注视点自动调焦，以此使用户聚焦远景或者近景物体，增强用户在see-through场景的体验感。

本申请第一方面实施例提出了一种自动调焦方法，包括：

通过眼球追踪技术模拟用户在预设场景图像中的注视点；

判断所述注视点在同一位置的停留时长是否超过第一预设时长；

如果是，则根据所述注视点，调节相机的焦距。

在本申请的一些实施例中，所述根据所述注视点，调节相机的焦距，包括：

获取相机的当前焦距；

根据所述注视点，确定目标焦距；

将所述相机的焦距由所述当前焦距调节为所述目标焦距。

在本申请的一些实施例中，所述将所述相机的焦距由所述当前焦距调节为所述目标焦距，包括：

根据相机的当前焦距和所述目标焦距，确定焦距的调节方向；

根据所述调节方向及预设倍数，基于所述当前焦距每隔第二预设时长调节所述相机的焦距，直至所述相机的焦距达到目标焦距，或者直至所述注视点对应的位置发生改变。

在本申请的一些实施例中，所述根据所述注视点，调节相机的焦距之后，还包括：

根据所述预设场景图像和调节后所述相机的焦距，生成以所述注视点对应的位置为中心点的所述预设场景图像对应的新场景图像；

显示所述新场景图像。

在本申请的一些实施例中，所述通过眼球追踪技术模拟用户在预设场景图像中的注视点之后，还包括：

根据所述注视点，控制所述预设场景图像的曝光值和亮度补偿值。

在本申请的一些实施例中，所述根据所述注视点，控制所述预设场景图像的曝光值和亮度补偿值，包括：

在所述预设场景图像中以所述注视点对应的位置为中心点，控制每个像素点的曝光值和亮度补偿值，使像素点的亮度与像素点和所述中心点之间的距离成反比。

在本申请的一些实施例中，所述通过眼球追踪技术模拟用户在预设场景图像中的注视点之前，还包括：

若确定开启眼球追踪模式，则执行所述通过眼球追踪技术模拟用户在预设场景图像中的注视点的操作；

若确定不开启眼球追踪模式，则显示定焦模式的预设场景图像。

本申请第二方面的实施例提供了一种自动调焦装置，包括：

注视点模拟模块，用于通过眼球追踪技术模拟用户在预设场景图像中的注视点；

注视点判断模块，用于判断所述注视点在同一位置的停留时长是否超过第一预设时长；

焦距调节模块，用于如果所述注视点判断模块确定所述注视点在同一位置的停留时长超过第一预设时长，则根据所述注视点，调节相机的焦距。

本申请第三方面的实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现上述第一方面所述的方法。

本申请第四方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述第一方面所述的方法。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

在本申请实施例中，在see-through场景中根据用户的注视点实现控制相机焦距的功能，以此使用户聚焦远景或者近景物体，增强用户在see-through场景的体验感。且根据用户的注视点调节相机的曝光值和补偿值，使得图像可以在注视点周围呈现明亮的特征，随着注视点四周向外亮度逐渐降低。这种特性可以使得VR或AR等设备更关注于用户的注视点周围的图像，减少对图像边缘的曝光时间以此来降低每帧的曝光时间，提高相机的帧率从而减轻用户使用VR或AR等设备的眩晕感，提高用户的体验度。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。

在附图中：

图1示出了本申请一实施例所提供的一种自动调焦方法的流程示意图；

图2示出了本申请一实施例所提供的一种自动调焦方法的另一流程示意图；

图3示出了本申请一实施例所提供的一种自动调焦装置的结构示意图；

图4示出了本申请一实施例所提供的一种电子设备的结构示意图；

图5示出了本申请一实施例所提供的一种存储介质的示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

下面结合附图来描述根据本申请实施例提出的一种自动调焦方法、装置、电子设备及存储介质。

本申请实施例提供了一种自动调焦方法，该方法适用于任意包含屏幕和相机的电子设备，如AR设备、VR设备等。该方法利用眼球追踪技术模拟出用户在实际使用场景中的注视点，在see-through场景中根据此注视点，自动调节相机的焦点，从而实现自动对焦和根据用户需要聚焦远景或者近景物体的功能。同时根据用户的注视点，还可以自动调节相机的曝光值和亮度补偿值，使得图像可以在注视点周围呈现明亮的特征，随着注视点向外亮度逐渐降低。

参见图1，该方法具体包括以下步骤：

步骤101：通过眼球追踪技术模拟用户在预设场景图像中的注视点。

本申请的执行主体为AR设备、VR设备等包括屏幕和相机的电子设备。用户启动这些电子设备时，电子设备的屏幕会显示用于询问是否开启眼球追踪模式的询问界面，若电子设备检测到用户选择不开启眼球追踪模式，则进入see-through场景时，进入普通的定焦模式的see-through场景，显示定焦模式的预设场景图像，即以预设焦距显示预设场景图像，焦距不可调。其中，预设场景图像可以为预先设置在电子设备中的see-through场景下的场景图像。

若电子设备通过显示的询问界面确定用户选择开启眼球追踪模式，则进入可自动调焦的see-through场景，并通过眼球追踪技术实时模拟用户在预设场景图像中的注视点，确定用户的注视点落在预设场景图像中的位置。

在实际使用场景中用户重点关注其注视点周围的物体而不是边缘的物体，因此通过眼部追踪技术模拟出用户的注视点，模拟出用户的注视点，确定出注视点对应的位置之后，还根据该注视点，控制预设场景图像的曝光值和亮度补偿值。具体地，在预设场景图像中以用户的注视点对应的位置为中心点，控制每个像素点的曝光值和亮度补偿值，使像素点的亮度与像素点和该中心点之间的距离成反比，使得see-through场景中的图像以用户的注视点为中心向四周曝光值和补偿值逐渐降低。

具体可以使注视点对应的位置处的像素点的曝光值和亮度补偿值为预设的正常的值，然后以注视点为中心向四周线性降低曝光值和亮度补偿值直到边缘达到0为止。即通过控制曝光值和亮度补偿值，使得距离用户的注视点对应的位置越近的像素点的亮度越大，距离该注视点对应的位置越远的像素点的亮度越小。从而使显示的预设场景图像中用户的注视点周围的景物更加明亮，而距离用户注视点越远的景物越昏暗，突出用户关注的景物，使得图像中各个位置的亮度随用户的注视点的移动而变化。且可以减少对图像边缘的曝光时间以此来降低每帧的曝光时间，提高相机的帧率从而减轻用户使用VR或AR等电子设备的眩晕感，提高用户体验度。

模拟出用户的注视点之后，还通过步骤102的操作来判断用户可能关注的景物。

步骤102：判断注视点在同一位置的停留时长是否超过第一预设时长。

具体地，通过眼球追踪技术模拟出用户的注视点，并确定出该注视点在预设场景图像中对应的位置之后开始计时，计时的时长即为注视点在其对应的位置处的停留时长，将该停留时长与第一预设时长进行比较，若停留时长大于或等于第一预设时长，则确定该注视点当前对应的位置处的景物是用户关注的景物。若比较出计时的时长小于第一预设时长，且用户的注视点并未发生改变，则继续进行计时并判断。若在计时的时长达到第一预设时长之前用户的注视点就发生了改变，则确定该注视点对应的位置处的景物并不是用户关注的景物。重新通过眼球追踪技术模拟用户的注视点，并重新对用户改变后的注视点的停留时长进行计时。

上述第一预设时长可以为8s或10s等。本申请实施例并不限制第一预设时长的具体取值，实际应用中可根据需求来设定。

在用户的注视点发生改变后，还利用上述方式依据改变后的注视点控制曝光值和亮度补偿值的改变，以使显示的预设场景图像中突出的景物随着用户注视点的变化而改变。

步骤103：如果是，则根据注视点，调节相机的焦距。

如果步骤102中判断出用户的注视点在同一位置的停留时长达到了第一预设时长，则确定出当前注视点对应的位置处的景物是用户关注的景物，通过自动调节相机的焦距，使显示的画面中注视点对应的位置处的景物大小适中且显示在画面中心。

本申请实施例中，步骤103可以包括：

S1031：获取相机的当前焦距；

S1032：根据用户的注视点，确定目标焦距；

S1033：将相机的焦距由当前焦距调节为目标焦距。

确定目标焦距以后可以一次将相机的焦距直接调节到目标焦距。调焦后根据预设场景图像和目标焦距，生成以用户的注视点对应的位置为中心点的预设场景图像对应的新场景图像，并显示该新场景图像，使用户能够直观地看到其关注的景物变清晰的过程。

在本申请一实施例中，步骤S1033将相机的焦距由当前焦距调节为目标焦距的过程还可以包括：

A1：根据相机的当前焦距和目标焦距，确定焦距的调节方向；

A2：根据调节方向及预设倍数，基于当前焦距每隔第二预设时长调节相机的焦距，直至相机的焦距达到目标焦距，或者直至用户的注视点对应的位置发生改变。

上述调节方向包括放大或缩小两种调节方向。具体地，根据用户的注视点确定目标焦距。视觉上远近不同的景物对应的像素深度不同，本申请实施例可以通过大量试验确定不同像素深度的景物作为关注点时的目标焦距，并在电子设备中预先设置不同像素深度对应的目标焦距。在判断用户的注视点在同一位置的停留时长超过第一预设时长后，根据用户的注视点对应位置处景物的像素深度，获取该像素深度对应的预设的目标焦距。将相机的当前焦距与该目标焦距比较，若当前焦距小于目标焦距，则确定调节方向为放大焦距。若当前焦距大于目标焦距，则确定调节方向缩小焦距。

确定出调节方向后，以第二预设时长为周期，基于当前焦距根据预设倍数周期性地调节相机的焦距。第二预设时长可以为3s、5s或10s等。上述预设倍数可以为1倍或2倍等。本申请实施例并不限制第二预设时长和预设倍数的取值，实际应用好可根据需求进行设定。

例如，假设第二预设时长为5s,预设倍数为1倍。若调节方向为缩小焦距，则每隔5s将相机的焦距缩小一倍。若调节方向为放大焦距，则每隔5s将相机的焦距放大一倍。

在周期性地调节焦距的过程中，若检测到用户注视点发生变化，则按照上述步骤102和103的操作重新依据变化后的注视点来调节焦距。若整个调节过程中用户的注视点均未发生变化，则按照上述方式周期性地调节焦距，直至相机的焦距达到目标焦距。

在上述自动调焦的过程中，每次调焦后，都根据预设场景图像和调节后相机的焦距，生成以用户的注视点对应的位置为中心点的预设场景图像对应的新场景图像，并显示该新场景图像。从而使用户直观地看到每次调焦后的画面变化，使用户能够感受到其所关注的景物在视觉上距离自己越来越近。

本申请实施例在see-through场景中使用变焦相机，根据眼球追踪技术在see-through场景中模拟出用户的注视点，电子设备以用户的注视点为相机的焦点进行自动对焦和远景或者近景物体的聚焦。如果用户想聚焦远景或者近景物体时，用户需要将注视点保持在要聚焦的远景或者近景物体上至少持续第一预设时长，如果第一预设时长内用户没有移动注视点则系统认为用户想要聚焦该远景或者近景物体。设备会以用户的注视点为焦点放大或者缩小焦距，这时用户就可以在see-through场景中看到更清楚的远景或者近景物体。

为了便于理解本申请实施例提工自动调焦方法，下面结合附图进行说明。如图2所示，S1：判断是否开启眼球追踪模式，如果是，则执行步骤S3,如果否，则执行步骤S2。S2：进入定焦模式的see-through场景，显示定焦模式的预设场景图像。S3：进入变焦模式的see-through场景，通过眼球追踪技术模拟用户在预设场景图像中的注视点。S4：根据用户的注视点，控制预设场景图像的曝光值和亮度补偿值。S5：判断用户的注视点在同一位置的停留时长是否超过第一预设时长，如果是，则执行步骤S6，如果否，则返回步骤S4。S6：以用户的注视点为中心自动调节焦距。S7：根据预设场景图像和调节后的焦距，显示更清晰的远景或者近景图像。

在本申请实施例中，在see-through场景中根据用户的注视点实现控制相机焦距的功能，以此使用户聚焦远景或者近景物体，增强用户在see-through场景的体验感。且根据用户的注视点调节相机的曝光值和补偿值，使得图像可以在注视点周围呈现明亮的特征，随着注视点四周向外亮度逐渐降低。这种特性可以使得VR或AR等设备更关注于用户的注视点周围的图像，减少对图像边缘的曝光时间以此来降低每帧的曝光时间，提高相机的帧率从而减轻用户使用VR或AR等设备的眩晕感，提高用户的体验度。

本申请实施例提供了一种自动调焦装置，该装置用于执行上述任一实施例所提供的自动调焦方法，如图3所示，该装置包括：

注视点模拟模块201，用于通过眼球追踪技术模拟用户在预设场景图像中的注视点；

注视点判断模块202，用于判断注视点在同一位置的停留时长是否超过第一预设时长；

焦距调节模块203，用于如果注视点判断模块确定注视点在同一位置的停留时长超过第一预设时长，则根据注视点，调节相机的焦距。

焦距调节模块203，用于获取相机的当前焦距；根据注视点，确定目标焦距；将相机的焦距由当前焦距调节为目标焦距。

焦距调节模块203，用于根据相机的当前焦距和目标焦距，确定焦距的调节方向；根据调节方向及预设倍数，基于当前焦距每隔第二预设时长调节相机的焦距，直至相机的焦距达到目标焦距，或者直至注视点对应的位置发生改变。

该装置还包括：显示模块，用于根据预设场景图像和调节后相机的焦距，生成以注视点对应的位置为中心点的预设场景图像对应的新场景图像；显示新场景图像。

该装置还包括：亮度控制模块，用于根据注视点，控制预设场景图像的曝光值和亮度补偿值。

亮度控制模块，用于在预设场景图像中以注视点对应的位置为中心点，控制每个像素点的曝光值和亮度补偿值，使像素点的亮度与像素点和中心点之间的距离成反比。

该装置还包括：模式确定模块，用于若确定开启眼球追踪模式，则执行注视点模拟模块201的操作；若确定不开启眼球追踪模式，则显示定焦模式的预设场景图像。

本申请的上述实施例提供的自动调焦装置与本申请实施例提供的自动调焦方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种电子设备，以执行上自动调焦方法。请参考图4，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示，电子设备9包括：处理器900，存储器901，总线902和通信接口903，所述处理器900、通信接口903和存储器901通过总线902连接；所述存储器901中存储有可在所述处理器900上运行的计算机程序，所述处理器900运行所述计算机程序时执行本申请前述任一实施方式所提供的自动调焦方法。

其中，存储器901可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口903(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线902可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器901用于存储程序，所述处理器900在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述自动调焦方法可以应用于处理器900中，或者由处理器900实现。

处理器900可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器900中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器900可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器901，处理器900读取存储器901中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的自动调焦方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的自动调焦方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的自动调焦方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的自动调焦方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种自动调焦方法，其特征在于，包括：

通过眼球追踪技术模拟用户在预设场景图像中的注视点；

判断所述注视点在同一位置的停留时长是否超过第一预设时长；

如果是，则根据所述注视点，调节相机的焦距。

2.根据权利要求1所述的方法，其特征在于，所述根据所述注视点，调节相机的焦距，包括：

获取相机的当前焦距；

根据所述注视点，确定目标焦距；

将所述相机的焦距由所述当前焦距调节为所述目标焦距。

3.根据权利要求2所述的方法，其特征在于，所述将所述相机的焦距由所述当前焦距调节为所述目标焦距，包括：

根据相机的当前焦距和所述目标焦距，确定焦距的调节方向；

根据所述调节方向及预设倍数，基于所述当前焦距每隔第二预设时长调节所述相机的焦距，直至所述相机的焦距达到目标焦距，或者直至所述注视点对应的位置发生改变。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述注视点，调节相机的焦距之后，还包括：

根据所述预设场景图像和调节后所述相机的焦距，生成以所述注视点对应的位置为中心点的所述预设场景图像对应的新场景图像；

显示所述新场景图像。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述通过眼球追踪技术模拟用户在预设场景图像中的注视点之后，还包括：

根据所述注视点，控制所述预设场景图像的曝光值和亮度补偿值。

6.根据权利要求5所述的方法，其特征在于，所述根据所述注视点，控制所述预设场景图像的曝光值和亮度补偿值，包括：

在所述预设场景图像中以所述注视点对应的位置为中心点，控制每个像素点的曝光值和亮度补偿值，使像素点的亮度与像素点和所述中心点之间的距离成反比。

7.根据权利要求1-3任一项所述的方法，其特征在于，所述通过眼球追踪技术模拟用户在预设场景图像中的注视点之前，还包括：

若确定开启眼球追踪模式，则执行所述通过眼球追踪技术模拟用户在预设场景图像中的注视点的操作；

若确定不开启眼球追踪模式，则显示定焦模式的预设场景图像。

8.一种自动调焦装置，其特征在于，包括：

注视点模拟模块，用于通过眼球追踪技术模拟用户在预设场景图像中的注视点；

注视点判断模块，用于判断所述注视点在同一位置的停留时长是否超过第一预设时长；

焦距调节模块，用于如果所述注视点判断模块确定所述注视点在同一位置的停留时长超过第一预设时长，则根据所述注视点，调节相机的焦距。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。

Images