CN114581514A - 一种双眼注视点的确定方法和电子设备 - Google Patents

Abstract

本申请实施例公开了一种双眼注视点的确定方法和电子设备，涉及图像处理领域，可以根据一个人眼的注视点确定另一人眼的注视点，由此节省了检测另一人眼的注视点过程中所耗费的计算量，同时能够精简电子设备中的硬件结构，降低硬件成本。该方法包括：确定第一人眼的第一注视点坐标，第一人眼是用户双眼中的一个，第一注视点坐标是第一人眼的注视点在第一显示屏上的坐标，第一显示屏与第一人眼对应；根据第一注视点坐标，确定第二注视点坐标，第二注视点坐标是用户的第二人眼的在第二显示屏上的坐标，第二显示屏与第二人眼对应。

Description

一种双眼注视点的确定方法和电子设备

技术领域

本申请实施例涉及图像处理领域，尤其涉及一种双眼注视点的确定方法和电子设备。

背景技术

目前，虚拟现实(virtual reality，VR)技术已经得到广泛的应用。示例性的，应用虚拟现实技术，可以通过用户佩戴的VR头盔等VR设备，利用电脑模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身临其境，可以即时、没有限制地观察三维空间内的事物。

以VR设备为VR头盔为例，在VR头盔工作时，可以根据用户观察位置的不同，向用户展示对应区域的场景。因此，为了能够向用户提供准确的图像显示，VR头盔需要能够快速地确定用户的观察位置。在具体实现中，VR头盔可以通过分别确定用户的左右眼对应的注视点或注视区域，确定用户的观察位置。示例性的，可以在VR头盔中分别针对左右眼设置对应的部件，以便能够分别获取左眼和右眼的注视点。但是，由于需要分别对左眼和右眼进行注视点相关信息的获取和计算，因此，目前的方案存在VR头盔等VR设备中的硬件成本过高，以及计算量过大的问题。

发明内容

本申请实施例提供一种双眼注视点的确定方法和电子设备，可以根据一个人眼的注视点确定另一人眼的注视点，由此节省了检测另一人眼的注视点过程中所耗费的计算量，同时能够精简电子设备中的硬件结构，降低硬件成本。

为了达到上述目的，本申请实施例采用如下技术方案：

第一方面，提供一种双眼注视点的确定方法，该方法包括：确定第一人眼的第一注视点坐标，第一人眼是用户双眼中的一个，第一注视点坐标是第一人眼的注视点在第一显示屏上的坐标，第一显示屏与第一人眼对应；根据第一注视点坐标，确定第二注视点坐标，第二注视点坐标是用户的第二人眼的在第二显示屏上的坐标，第二显示屏与第二人眼对应。

基于该方案，提供了一种仅需获取一个人眼的注视点即可确定双眼注视点的方案。在该示例中，通过获取的第一注视点坐标，可以计算获取第二注视点的坐标。其中，第一注视点的坐标可以是以第一显示屏为基准的局部坐标系下的坐标。第二注视点的坐标可以是以第二显示屏为基准的局部坐标系下的坐标。当然，第二注视点的坐标也可以是以第一显示屏为基准的局部坐标系下的坐标。或者，第一注视点的坐标和/或第二注视点的坐标可以是基于其他二维或三维坐标系下的坐标。应当理解的是，在现有技术中，需要分别检测第一人眼和第二人眼的注视点，由此需要用户的双眼附近分别设置用于检测注视点的部件。在获取对应的信息后，对于双眼的注视点坐标的计算可以并行或串行进行，并最终获取双眼分别对应的注视点坐标。相较于该方案，本示例提供的方案，只需要在一个人眼附近设置用于检测注视点的部件。或者，在双眼附近都设置有该部件时，只需要启动一个进行工作即可。在确定第一人眼的注视点之后，可以根据本申请提供的任一种可能的实现方式，计算获取另一个人眼对应的注视点坐标。由此能够避免在并行或者串行分别计算双眼注视点坐标时，大量的重复性计算，同时能够压缩计算量。由此提升计算效率，降低电子设备的计算压力。而由于本方案只需要一个检测模块即可实现，因此能够有效地降低电子设备中硬件成本。

在一种可能的设计中，第一人眼观察的位置与第二人眼观察的位置相同或相似；根据第一注视点坐标，确定第二注视点坐标，包括：根据第一注视点坐标，确定第一人眼观察的位置在虚拟三维空间中的三维坐标，根据三维坐标，确定第二注视点坐标。基于该方案，提供了一种根据第一人眼的注视点坐标确定另一个人眼的注视点坐标的方案示例。应当理解的是，人眼在进行观察时，双眼的观察点是相同或相近的，由此才能够清晰地观察到对应位置的物体。在本示例中，电子设备可以根据第一人眼的注视点所观察的位置，确定第二人眼的注视点在第二显示屏上的坐标。比如，根据第一注视点在第一显示屏上的坐标，可以确定用户所观察物体在虚拟的三维场景下的具体位置，由于第二注视点所对应的位置与该虚拟的三维场景下的具体位置存在对应关系，因此可以据此推定第二注视点在第二显示屏上的坐标。由此即可不需要单独采集以及计算第二注视点的位置，便确定该注视点的坐标。

在一种可能的设计中，根据第一注视点坐标，确定三维坐标，包括：根据第一注视点坐标，以及第一空间映射矩阵，确定三维坐标；根据三维坐标，以及第二空间映射矩阵，确定第二注视点坐标；其中，第一空间映射矩阵用于指示第一注视点坐标与三维坐标之间的映射关系，第二空间映射矩阵用于指示第二注视点坐标与三维坐标之间的映射关系。基于该方案，提供了一种具体的根据第一注视点坐标确定三维坐标，并根据三维坐标确定第二注视点坐标的方案。需要说明的是，其中的第一空间映射矩阵和第二空间映射矩阵，是在现有的图像渲染过程中已有的对应关系，因此，在本方案的执行过程中，可以不需要重新获取上述两个对应关系，而是直接从渲染对应的计算部件(如ISP或CPU或GPU等)获取该对应关系用于计算获取第二注视点坐标。由此能够达到数据重复利用的效果，进而提升计算效率。

在一种可能的设计中，根据第一注视点坐标，确定第二注视点坐标，包括：根据第一注视点坐标，确定第二注视点的搜寻区域，搜寻区域是第二显示屏上的区域，第二注视点的坐标在搜寻区域中；在搜寻区域中，确定第二关注点的坐标，其中，第二注视点坐标对应的图像特征与第一注视点坐标对应的图像特征相同或相似。基于该方案，提供了又一种根据第一注视点坐标确定第二注视点坐标的方案示例。在该示例中，基于第一注视点与第二注视点之间的位置关系，以及第一注视点与第二注视点之间的图像特征关系，即可确定第二注视点的具体坐标位置。

在一种可能的设计中，根据第一注视点坐标，确定第二注视点的搜寻区域，包括：根据第一注视点坐标，以及第一空间映射矩阵，确定第一人眼观察的位置在虚拟三维空间中的三维坐标，第一空间映射矩阵用于指示第一注视点坐标与三维坐标所在空间坐标之间的映射关系；根据三维坐标与第二人眼的位置关系，确定第二人眼与三维坐标对应位置的连线与第二人眼对应显示屏的交点；在交点附近，根据第一注视点坐标，确定第二注视点坐标，其中，第二注视点坐标对应的图像特征与第一注视点坐标对应的图像特征相同或相似。基于该方案，提供了一种具体的根据第一注视点与第二注视点的位置关系以及图像特征关系确定第二注视点坐标的方案。显而易见的，第一注视点与虚拟三维空间中的观察位置，以及第一人眼是处于同一条直线上的。类似的，第二注视点与虚拟三维空间中的观察位置，以及第二人眼也在同一条直线上。在本示例中，可以根据第一注视点以及第一空间映射矩阵，确定三维空间的观察位置所在坐标。结合第二人眼在空间中的坐标位置，就可以得到第二人眼与观察位置之间的连线(也就是视线)。由于第二注视点是在第二显示屏上的点，因此，理论上，该视线与第二显示屏的交点就可以是第二注视点。但是，在实际实时过程中，由于空间干扰以及计算误差的因素，该交点可能与第二注视点并不绝对重合。因此，在本申请中，可以在该交点附近，寻找与第一注视点对应的像素特征相同或相似的位置，作为第二注视点。由此即可准确地确定第二注视点的位置。需要说明的是，在本申请的另一些实现方式中，电子设备中可以预设有在一定景深范围之内的，第一显示屏上和第二显示屏上各个像素点的对应关系，进而在获取第一注视点的位置之后，直接根据该对应关系确定第二注视点在第二显示屏上的位置。其中，该第一显示屏上和第二显示屏上各个像素点的对应关系可以是根据第一空间映射矩阵和第二空间映射矩阵融合确定的。

在一种可能的设计中，根据第一注视点坐标，确定第二注视点的搜寻区域，包括：根据第一注视点坐标，以及第一注视点与用户的双眼位置关系，确定核面，核面是包括第一注视点，以及用于双眼所在位置的平面；确定核面和第二人眼对应的显示屏的交线；在交线上确定第二注视点坐标，其中，第二注视点坐标对应的图像特征与第一注视点坐标对应的图像特征相同或相似。基于该方案，提供了又一种根据第一人眼的注视点位置确定第二人眼的注视点位置的方案。在该方案中，可以不需要计算获取空间中虚拟的三维坐标，而是直接根据第一注视点与第一人眼和第二人眼之间的位置关系，确定第二注视点可能的位置。在该示例中，可以根据后去第一注视点位置的过程中，得到的第一注视点与第一人眼的连线，以及第一人眼和第二人眼的连线，确定同时包括第一注视点、第一人眼以及第二人眼的核面。可以理解的是，第二注视点也应在该核面上。在本示例中，可以将核面与第二显示屏的交线称为核线。在该核线上即可搜寻与第一注视点对应图像特征相同或相似的点作为第二注视点。由此，可以在不获取第一空间映射矩阵的情况下，根据第一注视点坐标确定第二注视点坐标。

在一种可能的设计中，在所述第一人眼的第一注视点坐标之前，确定所述用户的主视眼为所述第一人眼。基于该方案，电子设备可以将主视眼作为第一人眼，由此可以获取更加准确的第一注视点坐标，因此据此计算获取的第二注视点坐标就更加准确。其中，主视眼的确定可以是根据当前用户的历史数据确定的，也可以是通过检测双眼注视点的变化情况确定的。

在一种可能的设计中，第一人眼对应的显示屏与第二人眼对应的显示屏相同，或者，第一人眼对应的显示屏与第二人眼对应的显示屏不同。基于该方案，提出了一种显示屏的设置方案，即第一显示屏和第二显示屏可以是相同的一块显示屏，用于在不同位置显示不同的图像，以便向左眼和右眼分别展示对应的图像。当然，在其他一些实现方式中，该显示屏还可以是其他具有显示功能的部件，比如，可以是通过微型投影仪实现其显示功能的。

第二方面，提供一种双眼注视点的确定装置，该装置包括：获取单元，用于确定第一人眼的第一注视点坐标，第一人眼是用户双眼中的一个，第一注视点坐标是第一人眼的注视点在第一显示屏上的坐标，第一显示屏与第一人眼对应；确定单元，用于根据第一注视点坐标，确定第二注视点坐标，第二注视点坐标是用户的第二人眼的在第二显示屏上的坐标，第二显示屏与第二人眼对应。

在一种可能的设计中，第一人眼观察的位置与第二人眼观察的位置相同或相似。确定单元，用于根据第一注视点坐标，确定第一人眼观察的位置在虚拟三维空间中的三维坐标，根据三维坐标，确定第二注视点坐标。

在一种可能的设计中，确定单元，用于根据第一注视点坐标，以及第一空间映射矩阵，确定三维坐标；根据三维坐标，以及第二空间映射矩阵，确定第二注视点坐标；其中，第一空间映射矩阵用于指示第一注视点坐标与三维坐标之间的映射关系，第二空间映射矩阵用于指示第二注视点坐标与三维坐标之间的映射关系。

在一种可能的设计中，确定单元，用于根据第一注视点坐标，确定第二注视点的搜寻区域，搜寻区域是第二显示屏上的区域，第二注视点的坐标在搜寻区域中；在搜寻区域中，确定第二关注点的坐标，其中，第二注视点坐标对应的图像特征与第一注视点坐标对应的图像特征相同或相似。

在一种可能的设计中，确定单元，用于根据第一注视点坐标，以及第一空间映射矩阵，确定第一人眼观察的位置在虚拟三维空间中的三维坐标，第一空间映射矩阵用于指示第一注视点坐标与三维坐标所在空间坐标之间的映射关系；根据三维坐标与第二人眼的位置关系，确定第二人眼与三维坐标对应位置的连线与第二人眼对应显示屏的交点；在交点附近，根据第一注视点坐标，确定第二注视点坐标，其中，第二注视点坐标对应的图像特征与第一注视点坐标对应的图像特征相同或相似。

在一种可能的设计中，确定单元，用于根据第一注视点坐标，以及第一注视点与用户的双眼位置关系，确定核面，核面是包括第一注视点，以及用于双眼所在位置的平面；确定核面和第二人眼对应的显示屏的交线；在交线上确定第二注视点坐标，其中，第二注视点坐标对应的图像特征与第一注视点坐标对应的图像特征相同或相似。

在一种可能的设计中，第一人眼对应的显示屏与第二人眼对应的显示屏相同，或者，第一人眼对应的显示屏与第二人眼对应的显示屏不同。

第三方面，提供一种电子设备，电子设备设置有至少一个显示屏。该电子设备包括一个或多个处理器和一个或多个存储器；一个或多个存储器与一个或多个处理器耦合，一个或多个存储器存储有计算机指令；当一个或多个处理器执行计算机指令时，使得电子设备执行如上述第一方面以及各种可能的设计中任一种的双眼注视点的确定方法。

第四方面，提供一种芯片系统，芯片系统包括接口电路和处理器；接口电路和处理器通过线路互联；接口电路用于从存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，芯片系统执行如上述第一方面以及各种可能的设计中任一种的双眼注视点的确定方法。

第五方面，提供一种计算机可读存储介质，计算机可读存储介质包括计算机指令，当计算机指令运行时，执行如上述第一方面以及各种可能的设计中任一种的双眼注视点的确定方法。

第六方面，提供一种计算机程序产品，计算机程序产品中包括指令，当计算机程序产品在计算机上运行时，使得计算机可以根据指令执行如上述第一方面以及各种可能的设计中任一种的双眼注视点的确定方法。

应当理解的是，上述第二方面，第三方面，第四方面，第五方面以及第六方面提供的技术方案，其技术特征均可对应到第一方面及其可能的设计中提供的双眼注视点的确定方法，因此能够达到的有益效果类似，此处不再赘述。

附图说明

图1为一种双眼观察过程的示例性说明；

图2为本申请实施例提供的一种显示设备的组成示意图；

图3为本申请实施例提供的一种检测模块的组成示意图；

图4为本申请实施例提供的一种双眼注视点的确定方法的流程示意图；

图5A为本申请实施例提供的一种第一注视点的确定方法的示意图；

图5B为本申请实施例提供的又一种第一注视点的确定方法的示意图；

图6为本申请实施例提供的又一种第一注视点的确定方法的示意图；

图7为本申请实施例提供的一种第二注视点的确定方法的示意图；

图8为本申请实施例提供的又一种双眼注视点的确定方法的流程示意图；

图9为本申请实施例提供的又一种第二注视点的确定方法的示意图；

图10为本申请实施例提供的一种双眼注视点的确定装置的组成示意图；

图11为本申请实施例提供的一种电子设备的组成示意图；

图12为本申请实施例提供的一种芯片系统的组成示意图。

具体实施方式

人眼在观察三维空间中的物体时，可以通过左眼获取与左眼视线对应的视线平面中三维物体的投影画面，还可以通过右眼获取与右眼视线对应的视线平面中三维物体的投影画面。上述两个投影画面均为二维图像。人可以通过对上述两个二维图像进行合成处理，由此获取立体视觉。示例性的，请参考图1中的(a)，人在同时使用双眼观看一个具有三维特征的物体时，左眼和右眼的视线会通过不同的路径聚焦在被观测物体上。例如，左眼的视线为如图1中的(a)所示的视线1，右眼的视线为如图1中的(a)所示的视线2。结合图1中的(b)，人眼可以通过左眼获取与视线1对应的，物体在视线平面1上的投影画面。人眼还可以通过右眼获取与视线2对应的，物体在视线平面2上的投影画面。显而易见的，同一个物体在不同视线平面上的投影画面是不同的。人可以根据获取的两个投影画面之间的差异进行分析，由此在脑中还原物体的三维特征，进而获取立体视觉。本申请中，该立体视觉也可称为三维立体感受。

需要说明的是，三维立体感受可以通过视差，观察者的观察经验、被观察物体之间的相互遮挡关系产生。在目前的显示方案中，通过显示屏向观众展示二维图像，由此能够带来的三维立体感受也就够明显，甚至没有三维立体感受。然而，通过VR技术，可以为用户提供沉浸在虚拟三维场景中的接近真实的体验。作为一种可能的实现方式，本申请中，以通过头戴式显示器(head-mounted display，HMD)作为载体使用VR技术为用户提供服务为例。需要说明的是，由于HMD外形接近头盔，因此，在本申请中，HMD也可称为VR头盔或VR眼镜。一般而言，VR头盔可以在为人眼展示的图像上，人眼关注的区域附近(即注视点附近区域)，对对应的像素进行高清渲染，而不需要对其他区域进行高清渲染。由此即可降低VR头盔在渲染过程中的计算压力。可以理解的是，为了能够准确地对注视点附近区域进行准确的高清渲染，则VR头盔就需要能够准确地获取人眼在不同时刻的注视点。

已有技术中，可以分别在用户的左眼和右眼附近设置对应的检测模块。例如，可以在VR头盔上的左眼附近设置检测模块L，用于检测左眼的注视点。还可以在VR头盔上的右眼附近设置检测模块R，用于检测右眼的注视点。由此获取不同时刻用户左眼和右眼的注视点，以便能够对对应区域进行高清渲染，在为用户提供清晰的三维立体感受的同时，节省算力。

一般而言，上述检测模块可以包括用于发射检测激光的光源，光电探测器，以及用于调整检测模块位置的机械部件等。而为了能够获取左眼和右眼各自的注视点，因此在VR头盔上需要至少设置两套上述检测模块。由此也导致了VR头盔硬件投入的提升。

另外，在VR头盔检测获取左眼和右眼的注视点的过程中，虽然左眼和右眼的注视点各不相同，但是其计算过程大致相似。由于VR头盔需要分别计算获取左眼和右眼的注视点，因此需要将上述计算过程至少重复进行两次。需要说明的是，一般而言，VR技术中使用的载体(如上述VR头盔)需要满足便携性和移动性的要求，因此，其处理单元的体积不能过大，这也就限制的了VR头盔的运算能力的大小。而至少重复进行两次上述计算过程会给VR头盔造成非常大的运算负担。

需要说明的是，VR技术本身相较于一般的显示技术，具有至少以下三个特点：较高的刷新率及较低的时延，较大的视场角(Field of View，FoV)，以及较高的分辨率。为了能够满足这三个要求，VR头盔的运算本就已经处于接近饱和的状态。结合上述说明，在此VR头盔的运算压力本就较大的情况下，再进行上述至少两次重复的注视点运算过程，无疑会对VR头盔造成更大的负担。

为了解决上述问题，本申请实施例提供的注视点的位置确定方法，能够通过一个眼睛的注视点推测获取另一个眼睛的注视点，而不需要重复进行注视点运算，即可获取双眼的注视点，由此能够显著地降低VR技术实现过程中对于算力的要求。在本申请的一些实现方式中，该方案的实现仅依靠一套检测检测模块即可实现，由此也能够明显地节省实现VR技术的设备的硬件成本。

需要说明的是，一般而言，VR头盔由于需要在同一时刻向左眼和右眼展示不同的二维图像，同时，VR头像在展示左眼或右眼的二维图像时，只需要对对应注视点附近的图像进行精细化渲染。也就是说，根据左眼或右眼的注视点，VR头盔需要能够确定在对应二维图像上的位置即可。因此，在本申请的以下说明中，区别于实际场景中三维物体的坐标可以通过地理坐标系等全局坐标系进行标定，左眼和/或右眼的注视点坐标，可以为基于对应二维图像的局部坐标下进行标定的。

以下结合附图对本申请实施例提供的注视点的位置方法进行详细说明。

请参考图2，为本申请实施例提供的一种显示设备200的组成示意图。该显示设备能够用于支持VR技术的显示。本申请实施例提供的注视点的位置方法均能够在如图2所示的位置的设备上实现。在具体实现中，该显示设备200可以为VR头盔，或者VR一体机中的显示部件等。

如图2所示，该显示设备200可以包括处理器210，第一显示屏221，第二显示屏222，以及检测模块等。需要说明的是，在本申请的一些实现方式中，第一显示屏221和第二显示屏222的功能也可以通过一块显示屏实现。比如，在需要对左眼展示对应图像的区域显示与左眼对应的图像，在需要对右眼展示对应图像的区域显示与右眼对应的图像。当然，第一显示屏221和第二显示屏222的功能也可以由更多数量的显示屏共同实现的，本申请实施例对于第一显示屏221和第二显示屏222的具体构成不作限制。以下以第一显示屏221和第二显示屏222分别由一块显示屏构成为例。

可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

其中，处理器210可以包括一个或多个处理单元，例如：处理单元可以为处理器(Central Processing Unit，CPU)，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，微控制单元(Microcontroller Unit，MCU)等具有处理功能的部件。在另一些实现方式中，处理单元也可以包括现场可编程门阵列(Field-Programmable Gate Array，FPGA)等具有运算能力的部件。

显示设备200可以在处理器210的控制下通过第一显示屏221和/或第二显示屏222实现显示功能。以处理器210中包括GPU为例。GPU可以为图像处理的微处理器，连接第一显示屏221以及第二显示屏222。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

第一显示屏221和第二显示屏222用于显示图像，视频等。显示屏包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organiclight-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，AMOLED)，柔性发光二极管(flexlight-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。

如图2所示，在显示设备200中还可以包括检测模块231。在一些实现方式中，显示设备200中设置的检测模块231可以设置在一个显示屏附近，例如，检测模块231可以设置在第一显示屏221附近。该检测模块231可以用于检测确定第一显示屏221对应的人眼的注视点。例如，检测模块231可以用于确定人眼的注视点在第一显示屏221上的坐标位置。在另一些实现方式中，显示设备200中还可以包括检测模块232，该检测模块232可以设置在不同于检测模块231相对的人眼的另一个人眼附近。例如，检测模块232可以设置在第二显示屏222附近，用于检测第二显示屏222对应的人眼的注视点在第二显示屏222上的坐标。

在本申请的不同实现方式中，根据采用的注视点检测方案的不同，检测模块231和/或检测模块232可以具有不同的组成。例如，以检测模块231为例。如图3中的(a)所示，检测模块231中可以包括用于产生检测光的激光源231a，用于调整激光源231a发出的检测光相对于人眼的入射角度/入射位置的反射微镜231b，以及用于检测检测光经过人眼反射之后的光信号的光电探测器，例如，在如图3中的(a)所示的组成示例中，该光电探测器可以为光电二极管231c。在一些实现方式中，检测模块231中还可以设置有扫描仪。其中，该扫描仪中的具有反射功能的部件可以用于实现反射微镜231b的作用。扫描仪中还可以设置有微机电系统(micro-electro-mechanical systems,MEMS)驱动器，实现对于反射微镜231b的角度的调整。基于如图3中的(a)所示的组成，检测模块231可以通过光电二极管响应法确定人眼的注视点。在另一些实现方式中，如图3中的(b)所示，检测模块231包括检测光源231d和拍摄单元231e。基于如图3中的(b)所示的组成，检测模块231可以用于通过基于模型的视频眼图方案确定人眼的注视点。对于光电二极管响应法和基于模型的视频眼图方案(以下简称为视频眼图法)的具体实现，将在以下方法的说明中详细说明，此处不再赘述。需要说明的是，如图3中的(a)和如图3中的(b)所示的组成，仅为检测模块231的一种可能的示例，在另一些实现方式中，检测模块231还可以包括更多或更少的部件，以便用于支持对应单个人眼的注视点的确定方法。本申请实施例对于检测模块231的具体组成不作限制。

另外，上述示例中是以检测模块231的组成为例进行说明的。当如图2所示的显示设备200中还包括检测模块232时，检测模块232也可具有类似的组成，以实现对对应人眼的注视点的检测。当然在同一个显示设备200中，检测模块231和检测模块232的组成可以相同，也可以不同。本申请实施例对此不作限制。

应当理解的是，本申请实施例提供的方案，能够通过一个检测模块确定对应的一个人眼的注视点，并根据该注视点，推定出另一个注视点。也就是说，在本申请实施例的方法应用于如图2所示的显示设备200中时，一次确定用户双眼的注视点的过程，只需要一个检测模块工作即可。也就是说，当显示设备200中同时设置了检测模块231和检测模块232时，在一次检测过程中只需要使用其中的一个检测模块即可。为了便于说明，以下以显示设备200中包括一个检测模块，即检测模块231为例进行说明。

本申请实施例提供的双眼注视点的确定方法均能够在如图2所示的显示设备中实现。

以下结合附图对本申请实施例提供的方案进行详细说明。

需要说明的是，本申请实施例提供的方案，能够用于确定人眼的注视点。因此能够应用于各个对眼动跟踪有需求的场景中，而并不局限于本申请实施例中涉及的VR场景下。其中，眼动跟踪也可称为视线追踪。其英文为eye tracking，或者eye pose estimation，或者gaze estimation，或者gaze tracking等。眼动跟踪的研究起源于20世纪30年代，经过近百年的研究产生了多种算法。除去原始的观察法等，现在临床和商用产品中使用的方法大体可分为如下五类：眼电学法(electro-oculography，EoG)，电极法(electromagnetic)，隐形镜片法(contact lenses)，光电二极管响应法(photodiode correspondence)和视频眼图法(video-oculography)。前三种方法多用于临床，对人眼有一定的侵入性。商用产品一般采用非侵入性的方案，如视频眼图法或者光电二极管响应法等。其中，且由于图像处理方案有较长的研究历史，尤以视频眼图法的使用更加广泛。本申请实施例提供的方案，结合现有的眼动跟踪方案，能够根据用户双眼中任一个人眼的注视点的位置，确定另一个人眼的注视点。由此使得相关设备可以节省至少一半的算力，同时对设备的硬件要求更低，达到显著降低成本的目的。

请参考图4，为本申请实施例提供的一种双眼注视点的确定方法的流程示意图。如图4所示，该方法可以包括：

S401、确定第一人眼的第一注视点在第一显示屏上的位置。

其中，第一显示屏是为第一人眼显示二维图像的显示屏。例如，第一人眼为左眼时，则第一显示屏向左眼展示对应的二维图像。又如，第一人眼为右眼时，则第一显示屏为右眼显示对应的二维图像。

作为一种示例，以下对第一注视点在第一显示屏上的位置的确定方式进行示例性说明。为了便于陈述，以下以该方案应用于VR头盔，其中设置有如图2所示的一个检测模块231为例进行说明。可以理解的是，当VR头盔中设置了一个检测模块时，则该检测模块对应的人眼即为第一人眼。

在一些实施例中，以检测模块具有如图3中的(a)所示的组成为例。VR头盔可以根据光电二极管响应法确定人眼的注视点。应当理解的是，如图5A中的(a)所示，在人眼的表面，覆盖有一层并不与眼球完全紧贴的角膜，因此，在入射光的角度不同时，在固定位置接收到的反射光的强度也不同。在本示例中，可以通过监测反射光的强度分布情况，确定人眼瞳孔的位置，进而确定人眼的注视点。

作为一种示例，VR头盔可以获取光电二极管响应和人眼瞳孔坐标间的对应关系，进而根据用户当前观看景物时，光电二极管的响应情况(如光电二极管可以将接收到的光信号转换为电信号，光信号的强度不同，对应电信号的强度也不同)，确定人眼瞳孔坐标，由此确定注视点的位置。示例性的，光电二极管响应和人眼瞳孔坐标间的对应关系可以通过如图5A中的(b)所示方法获取。激光源可以向反射微镜发射检测激光，反射微镜可以将检测激光反射到人眼上，检测激光通过角膜的折射被人眼反射，再次通过角膜的折射后被光电二极管接收。光电二极管可以接收检测激光，确定检测激光的强度，并依据接收到的检测激光强度产生相应的电信号响应。通过控制MEMS驱动器，可以调整反射微镜的位姿(如调整反射微镜的角度)，从而调整反射到人眼上的检测激光在人眼上的入射位置。可以理解的是，当入射位置不同的检测激光，通过人眼的反射后的反射光的强度也不同。在本示例中，可以通过光电二极管检测通过人眼以及角膜反射后的获取的光信号(如称为反射光信号)的强度，由此确定人眼在当前位置下，反射光信号的强度最大时反射微镜的位姿。由此，即可获取人眼的瞳孔在当前位置下与反射微镜的位姿的对应关系。需要说明的是，在本示例中，是以通过MEMS驱动器调整反射微镜的位姿为例进行说明的，在其他一些实现方式中，还可采用其他的具有类似功能部件实现反射微镜位姿的调整，本申请所述对此不作限制。

另外，人眼在观看不同角度时，瞳孔的位置不同。不同瞳孔的位置可以对应到一个注视点坐标。作为一种示例，请参考图5B。在确定人眼位置和注视点坐标的对应关系时，可以在人眼对应的显示屏上显示如图5B所示的注视点示例，以引导人眼将注视点调整到该注视点示例的位置。其中，该注视点示例的坐标已知。因此，此时的人眼的位置对应的注视点坐标即可以被标定为该注视点示例的坐标。类似的，可以通过该方法确定人眼在不同位置时对应的注视点坐标。

在通过该方法确定人眼的注视点坐标时，可以通过调整反射微镜的位姿，确定当前人眼的位置，并根据标定的人眼位置与注视点坐标的对应关系，确定当前时刻人眼的注视点坐标。在本申请的一些示例中，结合上述说明，人眼在观看不同位置时，对应与不同的瞳孔坐标，因此可以通过瞳孔坐标来区别人眼观看不同位置时注视点的差异。

在另一些实施例中，以检测模块具有如图3中的(b)所示的组成为例。VR头盔可以根据眼动跟踪法确定人眼的注视点。结合图6，检测光源可以作为如图6所示的光源，光源发出的光线照射在人眼上时，可以通过拍摄单元拍摄人眼对于当前的人眼响应图像。进而通过分析该人眼响应图像确定当前的瞳孔位置。以光电探测器为红外发光二极管(infraredlight emitting diode，IR LED)为例。VR头盔可以获取人眼的瞳孔中心(pupil center)坐标和IR LED在角膜上的光斑(glint)坐标的对应关系。并根据瞳孔中心与IR LED在角膜上的光斑之间的向量，确定瞳孔坐标。作为一种示例，拍摄单元可以接收光源的光线通过人眼的折射/反射后获取的出射光线，由此绘制与当前出射光线对应的人眼响应图像。通过分析该响应图像的特征，就可以确定当前状态下瞳孔的坐标。后续就可以根据确定的瞳孔坐标，确定当前状态下的注视点坐标。其中，在一些实现方式中，本示例中的瞳孔坐标和注视点坐标的对应关系可以通过类似与上述图5B中所示的方法获取。考虑到VR头盔在测量过程中可能会发生移动，因此，当测量过程中VR头盔和瞳孔出现相对移动时，那么就无法准确地获取瞳孔坐标。在本申请的一些实现方式中，可以根据上述响应图像中，瞳孔位置的响应光斑，构建瞳孔闪烁矢量(pupil-glint vector)，进而根据该瞳孔闪烁矢量准确地确定注视点坐标。可以看到，在该方案中，拍摄单元是能够获取人眼对于入射光线的响应图像的部件。在一些实现方式中，该拍摄单元可以包括用于调整视场角和汇聚光线的镜头，以及用于感光的图像传感器。例如，该图像传感器可以为基于互补金属氧化物半导体(ComplementaryMetal-Oxide-Semiconductor，CMOS)的图像传感器，也可以是基于电荷耦合器件(chargecoupled device，CCD)的图像传感器。应当理解的是，上述示例中，举出了几种可以实现拍摄单元功能的具体实现，而在本申请的另一些实现方式中，该拍摄单元还可以通过其他组成实现其功能，此处不作赘述。

需要说明的是，上述示例中，仅提供了两种通过检测模块确定人眼注视点坐标的示例，在其他一些实现方式中，还可以通过其他方法确定第一人眼的注视点坐标。例如，可以通过虹膜-巩膜边缘跟踪技术，基于交比不变性(cross ratio invariance)的标定方案等。具体的方案可以根据实际需要灵活选取，本申请实施例对此不作限制。

S402、根据第一注视点，确定第一注视点对应的对象在三维场景中的位置。

可以理解的是，在用户佩戴VR头盔时，VR头盔可以向用户展示虚拟三维场景中的景物。结合前述说明，该虚拟三维场景中的景物的展示，可以是通过分别在左眼对应的显示屏(如第一显示屏)上展示该虚拟三维场景在第一显示屏上投影的二维图像，同时，在右眼对应的显示屏(如第二显示屏)上展示该虚拟三维场景在第二显示屏上投影的二维图像实现的。在本示例中，VR头盔可以根据第一注视点在二维图像中的坐标位置，确定该位置在虚拟的三维场景中的位置。

S403、根据第一注视点在三维场景中的位置，确定第二人眼的第二注视点在第二显示屏上的位置。

在本示例中，根据第一注视点的位置，可以确定该第一注视点所观察的对象在对应的虚拟三维场景中的位置。其中，第一注视点的位置，可以为第一注视点在第一人眼对应的第一显示屏上的二维坐标下的坐标。该坐标可以为第一显示屏对应的局部坐标。例如，坐标中心可以为第一显示屏的左下角。

可以理解的是，由于VR头盔可以为人眼提供三维视觉，结合上述说明，第一人眼在第一显示屏上看到的二维图像，可以看作是对应的虚拟三维场景下的物体第一显示屏上的投影图像。具体的，在获取该投影的图像的过程中，上述二维图像可以通过图像渲染等方法获取。一般而言，在进行图像渲染过程中，可以根据三维场景与第一显示屏对应的空间映射矩阵(如空间映射矩阵1)，获取上述投影图像(如上述二维图像)。本申请实施例中，可以根据该空间映射矩阵1，以及第一注视点的位置，确定该注视点在三维场景中的注视区域。示例性的，请参考图7，以第一人眼为左眼，第二人眼为右眼为例。用户的左眼可以在第一显示屏上看到对应的虚拟三维场景中的物体(如图中的树)在第一显示屏上的二维投影。根据上述S401，VR头盔可以获取左眼注视点在第一显示屏上的位置，如第一注视点的坐标(X11，Y11)。可以理解的是，如图7所示，该左眼在注视点对应位置实际上是视线上与该坐标(X11，Y11)对应三维场景中树的对应位置。通过上述空间映射矩阵1，可以确定该对应位置在三维场景中的坐标(X01，Y01，Z01)。由此，即可确定用户注视点在三维场景中的准确位置。需要说明的是，本示例中的空间映射矩阵，可以是用于标识三维场景和二维图像间的对应关系的映射矩阵。

应当理解的是，如图7所示，一般而言，用户在观看三维场景中的物体时，左眼和右眼所注视的位置近似一致。也就是说，在左眼的注视点为三维场景中的坐标(X01，Y01，Z01)时，右眼的注视点在三维场景中的坐标为(X01，Y01，Z01)或者接近(X01，Y01，Z01)。在本示例中，可以根据三维场景中的位置(如坐标(X01，Y01，Z01))，确定右眼的注视点在第二显示屏上的注视点。

示例性的，类似于上述三维场景中的物体到第一显示屏上的投影图像的渲染过程，第二显示屏上向用户的右眼展示的二维图像，也可通过对应的空间映射矩阵(如空间映射矩阵2)确定。例如，根据三维场景中的坐标(X01，Y01，Z01)，进行空间映射矩阵2的运算，即可获取该位置在第二显示屏上的坐标(X21，Y21)。由此，即可确定用户右眼的注视点即(X21，Y21)。

可以看到，基于上述说明，本申请实施例提供的方法，可以通过一个注视点的位置，推定另一个人眼的注视点的位置。也就是说，即使只有一个检测模块能够确定一个人眼的注视点，VR头盔也可以据此确定另一个人眼的注视点。可以理解的是，根据一个注视点推定另一个注视点的位置所需算力，明显小于通过检测模块重新获取另一个注视点所需要的算力，因此能够在快速确定双眼注视点的同时，明显地降低对于VR头盔算力的要求。而由于只需要一个检测模块，因此相比于现有技术中至少需要设置两个检测模块的方案，能够显著地降低硬件成本。在获取了双眼的注视点后，VR头盔就可以据此执行其他操作，例如，VR头盔可以据此分别进行针对左眼和右眼的局部渲染优化，降低远离注视点区域的图像分辨率。当然，在设备获取双眼的注视点后，还可以用于其他功能的实现，例如，通过人眼的注视点的位置变化，执行对应的界面上鼠标的移动，点击，拖动等操作对应的响应。

请参考图8，为本申请实施例提供的又一种双眼注视点的确定方法的流程示意图。如图8所示，该方案可以包括：

S801、确定第一人眼的第一注视点在第一显示屏上的位置。

在本示例中，S801的执行方法与如图4所示的S401类似，其具体过程可以作为参考，此处不再赘述。

S802、根据第一注视点的位置，确定第二注视点在第二显示屏上的搜寻区域。

S803、根据第一注视点在第一显示屏上的像素信息，在搜寻区域中，确定第二注视点在第二显示屏上的位置。

与图4所示方法不同，本示例中，提供了另一种根据第一注视点的位置确定第二注视点的方案。

应当理解的是，用户的双眼(如左眼和右眼)在观察三维环境中的物体时，与被观察物体所在位置可以构成一个平面。本申请中，可以将该平面称为核面。核面与不同显示屏的交线可以称为与该显示屏对应的核线。本示例中，可以根据第二显示屏的核线约束与第一注视点对应的第二注视点在第二显示屏上可能的搜寻区域，并据此确定第二注视点的位置。

例如，结合图9，以用户正在观看VR头盔提供的虚拟树木的图像为例。当前左眼的瞳孔位置P1，右眼的瞳孔位置P2，以及所观察的虚拟树木的对应位置P0，可以构成核面。该核面可以与第二显示屏相交，该交线即为第二显示屏的核线。可以理解的是，在该核线上，即存在与P3对应的P4点。在本示例中，可以将第二显示屏的核线作为P4点的搜寻区域。在确定该P4点对应的搜寻区域之后，VR头盔可以根据P3点在第一显示屏上显示图像对应的图像特征，在该上述搜寻区域之内(或者在搜寻区域附近)搜索具有类似(或相同)图像特征的点，该点就可以作为P4在第二显示屏上的位置。

上述核面的确定，可以是根据P1，P2以及P0在同一坐标系下的位置确定的。其中P0的位置可以是根据P3在第一显示屏上的位置以及对应的空间映射矩阵(如前述空间映射矩阵1)计算获取的。

在本申请的另一些实现方式中，核面的确定还可以不需依赖于对P0的计算。例如，结合图9，P1、P2以及P3所构成的平面与核面重合。因此，VR头盔也可以根据P1、P2以及P3的位置，确定核面。其中，P1和P3之间的连线可以在确定P3的位置时获取。两个人眼的瞳孔之间的连线(即P1和P2)可以是根据VR头盔的设计参数确定的。比如，VR头盔设计时会考虑用户最佳佩戴位置，也就是说，对于一个VR头盔，在用户使用过程中，用户的双眼连线相对于VR头盔的位置是确定的。因此，对于该VR头盔，即可根据对应的设计参数确定P1和P2所在直线。这样，根据P1和P3之间的连线，以及P1和P2之间的连线，即可确定平面P1P2P3，该平面即为核面。

作为一种示例，VR头盔可以在获取左眼在第一显示屏上的注视点(即P3点在第一显示屏对应的二维坐标系下的坐标)，获取该P3点在空间坐标系下的位置。根据P3在空间坐标系下的位置，结合P1和P3的连线在该空间坐标系下的位置以及P2和P1的连线在空间坐标系下的位置，即可确定包括P1，P2和P3的核面在该空间坐标系下的位置情况。类似的VR头盔还可确定第二显示屏在该空间坐标系下的位置情况。由此，即可确定在该空间坐标系下的与第二显示屏对应的核线位置。可以理解的是，由于该第二显示屏对应的核线是核面和第二显示屏所在平面的交线，因此，该核线会落在第二显示屏上。在本示例中，VR头盔可以在获取核线在空间坐标系下的位置之后，将其转换为以第二显示屏为基础的二维坐标系下的位置，该位置即为核线在第二显示屏上的位置。接着，VR头盔就可以根据P3点在第一显示屏上对应图像的图像特征，在第二显示屏上的核线附近对应的像素进行搜索，将与P3点的图像特征相似的点作为P4点对应的像素。由此，VR头盔就可以将该P4点对应的像素位置，作为P4点在第二显示屏上的位置，也就获取了右眼在第二显示屏上的基于第二显示屏的二维坐标系的注视点坐标。

需要说明的是，对比本申请图7所示的方案，该图8和图9所示的方案中，可以不需要P0的在三维空间中的位置即可计算获取P4在第二显示屏上的二维坐标。因此，在一些无法计算获取P0位置的情况下，比如封装在渲染过程中的空间映射矩阵无法被获取时，VR头盔也可采用如图8以及图9所示的方案，根据第一注视点(如图9中的P3)的位置，计算获取第二注视点(如图9所示的P4)的位置。

另外需要说明的是，在VR头盔可以计算获取P0的位置的情况下，除了可以根据前述说明中的方案确定P4的位置之外，还可以根据P0的位置以及用户右眼瞳孔的位置P2，确定P4的位置。比如，结合图9，由于P4点是P0在第二显示屏上的投影，因此，P4点在第二显示屏上所在区域，可以被约束在P2和P4的连线与第二显示屏的交点附近。在本示例中，VR头盔也可将P2和P4的连线，与第二显示屏的交点的附近区域，作为P4点的搜寻区域。进而根据P3点在第一显示屏上对应的图像特征，在该搜寻区域之内确定与上述图像特征相同或相似的点，作为该P4的位置。

由此，即可实现根据一只人眼的注视点，推定获取另一只人眼的注视点的目的。通过该方案，也能够在只设置一个检测模块的情况下，实现双眼注视点的确定，由此显著降低获取双眼注视点的算力需求以及硬件成本。

需要说明的是，在上述示例中，均是以VR头盔中设置有一个检测模块为例进行说明的。在本申请的另一些实施例中，对于已经设置有两个检测模块的现有VR头盔，也可以通过控制其中一个检测模块获取对应人眼的注视点，并根据如图4或图8所示方案推定另一个人眼的注视点的方法，确定双眼注视点。由此，同时只需要一个检测模块工作即可，因此在能够降低对算力的压力同时，能够达到降低功耗，以及延长检测模块工作寿命的作用。

应当理解的是，如上述说明，在按照如图4或图8所示方案确定双眼注视点时，如果设备中只包括一个检测模块，则可以根据检测模块的设置位置，确定对应人眼的注视点，并据此推定另一个人眼的注视点。如果设备中同时包括两个检测模块时，则可以随机选取或者根据预设的策略(比如间隔使用两个检测模块)通过一个检测模块确定对应人眼的注视点，并据此推定另一个人眼的注视点。

在本申请的另一些实现方式中，当设备中同时设置有两个检测模块时，在选择选取哪个检测模块确定第一人眼的注视点时，还可以确定主视眼，将该主视眼作为第一人眼，由此提升检测获取的第一人眼的注视点位置的准确度，进而提升双眼注视点坐标的标定精度。

一般而言，人类在观察物体时，双眼有主视眼和辅视眼之分。其中，主视眼也叫注视眼、优势眼。通过大量研究，可以发现在人通过双眼观察物体时，主视眼的注视点会较好的集中在注视区域。与之相对的，辅视眼的注视点坐标会在注视区域周围不规则运动。而主视眼所看到的东西会被大脑优先接受。

由于需要根据第一人眼的注视点坐标推定第二人眼的注视点坐标，因此，第一人眼的注视点坐标越稳定准确，则第二人眼的注视点坐标就越稳定准确。在本示例中，在需要执行如图4所示的S401或如图8所示的S801时，VR头盔可以先确定当前用户在观看景物时的主视眼。作为一种示例，在执行上述S401和/或S801之前，VR头盔可以分别统计当前用户的左右眼注视坐标数据，分析其表现差异，确定主视眼。例如，以VR头盔中在左眼和右眼附近均设置有检测模块为例。VR头盔可以通过检测模块分别确定左眼和右眼的注视点在预设时间段内的分布情况，左眼的注视坐标比右眼的注视坐标稳定，则认为左眼为主视眼。由于同一个用户的主视眼和辅视眼一般不会发生变化，因此，在后续同一个用户在使用VR头盔时，VR头盔即可仅启动左眼附近的检测模块，通过如图4或图8所示的方案，确定左眼和右眼的注视点坐标。类似的，如果右眼为主视眼，则VR头盔可以仅启动右眼附近的检测模块，通过如图4或图8所示的方案，确定左眼和右眼的注视点坐标。

需要说明的是，上述确定主视眼的方案，能够应用在同时设置有两个检测模块的设备中，也可以设置在只有一个检测模块的设备中。示例性的，在该检测模块可以设置有移动结构，通过该移动结构，可以控制检测模块在左眼附近以及右眼附近进行灵活移动。由此，在确定主视眼之后，可以根据控制该移动结构，使得检测模块移动到对应的主视眼的检测位置，以便对主视眼的注视点进行检测。

上述主要从电子设备的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对其中涉及的设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

请参考图10，示出了本申请实施例提供的一种双眼注视点的确定装置1000的示意图。如图10所示，该装置包括：获取单元1001，用于确定第一人眼的第一注视点坐标，第一人眼是用户双眼中的一个，第一注视点坐标是第一人眼的注视点在第一显示屏上的坐标，第一显示屏与第一人眼对应；确定单元1002，用于根据第一注视点坐标，确定第二注视点坐标，第二注视点坐标是用户的第二人眼的在第二显示屏上的坐标，第二显示屏与第二人眼对应。

在一种可能的设计中，第一人眼观察的位置与第二人眼观察的位置相同或相似。确定单元1002，用于根据第一注视点坐标，确定第一人眼观察的位置在虚拟三维空间中的三维坐标，根据三维坐标，确定第二注视点坐标。

在一种可能的设计中，确定单元1002，用于根据第一注视点坐标，以及第一空间映射矩阵，确定三维坐标；根据三维坐标，以及第二空间映射矩阵，确定第二注视点坐标；其中，第一空间映射矩阵用于指示第一注视点坐标与三维坐标之间的映射关系，第二空间映射矩阵用于指示第二注视点坐标与三维坐标之间的映射关系。

在一种可能的设计中，确定单元1002，用于根据第一注视点坐标，确定第二注视点的搜寻区域，搜寻区域是第二显示屏上的区域，第二注视点的坐标在搜寻区域中；在搜寻区域中，确定第二关注点的坐标，其中，第二注视点坐标对应的图像特征与第一注视点坐标对应的图像特征相同或相似。

在一种可能的设计中，确定单元1002，用于根据第一注视点坐标，以及第一空间映射矩阵，确定第一人眼观察的位置在虚拟三维空间中的三维坐标，第一空间映射矩阵用于指示第一注视点坐标与三维坐标所在空间坐标之间的映射关系；根据三维坐标与第二人眼的位置关系，确定第二人眼与三维坐标对应位置的连线与第二人眼对应显示屏的交点；在交点附近，根据第一注视点坐标，确定第二注视点坐标，其中，第二注视点坐标对应的图像特征与第一注视点坐标对应的图像特征相同或相似。

在一种可能的设计中，确定单元1002，用于根据第一注视点坐标，以及第一注视点与用户的双眼位置关系，确定核面，核面是包括第一注视点，以及用于双眼所在位置的平面；确定核面和第二人眼对应的显示屏的交线；在交线上确定第二注视点坐标，其中，第二注视点坐标对应的图像特征与第一注视点坐标对应的图像特征相同或相似。

在一种可能的设计中，第一人眼对应的显示屏与第二人眼对应的显示屏相同，或者，第一人眼对应的显示屏与第二人眼对应的显示屏不同。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

图11示出了的一种电子设备1100的组成示意图。如图11所示，该电子设备1100可以包括：处理器1101和存储器1102。该存储器1102用于存储计算机执行指令。示例性的，在一些实施例中，当该处理器1101执行该存储器1102存储的指令时，可以使得该电子设备1100执行上述实施例中任一种所示的双眼注视点的确定方法。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

图12示出了的一种芯片系统1200的组成示意图。该芯片系统1200可以包括：处理器1201和通信接口1202，用于支持相关设备实现上述实施例中所涉及的功能。在一种可能的设计中，芯片系统还包括存储器，用于保存终端必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。需要说明的是，在本申请的一些实现方式中，该通信接口1202也可称为接口电路。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在上述实施例中的功能或动作或操作或步骤等，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包括这些改动和变型在内。

Claims (10)

1.一种双眼注视点的确定方法，其特征在于，所述方法包括：

确定第一人眼的第一注视点坐标，所述第一人眼是用户双眼中的一个，所述第一注视点坐标是所述第一人眼的注视点在第一显示屏上的坐标，所述第一显示屏与所述第一人眼对应；

根据所述第一注视点坐标，确定第二注视点坐标，所述第二注视点坐标是所述用户的第二人眼的在第二显示屏上的坐标，所述第二显示屏与所述第二人眼对应。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一注视点坐标，确定第二注视点坐标，包括：

根据所述第一注视点坐标，确定所述第一人眼观察的位置在虚拟三维空间中的三维坐标，根据所述三维坐标，确定所述第二注视点坐标。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一注视点坐标，确定所述三维坐标，包括：

根据所述第一注视点坐标，以及第一空间映射矩阵，确定所述三维坐标；

根据所述三维坐标，以及第二空间映射矩阵，确定所述第二注视点坐标；

其中，所述第一空间映射矩阵用于指示所述第一注视点坐标与所述三维坐标之间的映射关系，所述第二空间映射矩阵用于指示所述第二注视点坐标与所述三维坐标之间的映射关系。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一注视点坐标，确定第二注视点坐标，包括：

根据所述第一注视点坐标，确定所述第二注视点的搜寻区域，所述搜寻区域是所述第二显示屏上的区域，所述第二注视点的坐标在所述搜寻区域中；

在所述搜寻区域中，确定所述第二关注点的坐标，其中，所述第二注视点坐标对应的图像特征与所述第一注视点坐标对应的图像特征相同或相似。

5.根据权利要求4所述的方法，其特征在于，

所述根据所述第一注视点坐标，确定所述第二注视点的搜寻区域，包括：

根据所述第一注视点坐标，以及第一空间映射矩阵，确定所述第一人眼观察的位置在虚拟三维空间中的三维坐标，所述第一空间映射矩阵用于指示所述第一注视点坐标与所述三维坐标所在空间坐标之间的映射关系；

根据所述三维坐标与第二人眼的位置关系，确定所述第二人眼与所述三维坐标对应位置的连线与所述第二人眼对应显示屏的交点；

将以所述交点为中心的预设大小的第一区域作为所述搜寻区域；

所述在所述搜寻区域中，确定所述第二关注点的坐标，包括：

在所述第一区域中，根据所述第一注视点坐标，确定所述第二注视点坐标，其中，所述第二注视点坐标对应的图像特征与所述第一注视点坐标对应的图像特征相同或相似。

6.根据权利要求4所述的方法，其特征在于，所述根据所述第一注视点坐标，确定所述第二注视点的搜寻区域，包括：

根据所述第一注视点坐标，以及所述第一注视点与所述用户的双眼位置关系，确定核面，所述核面是包括所述第一注视点，以及用于双眼所在位置的平面；

确定所述核面和所述第二人眼对应的显示屏的交线；

将以所述交线为中心的预设大小的第二区域作为所述搜寻区域；

所述在所述搜寻区域中，确定所述第二关注点的坐标，包括：

在所述第二区域中，确定所述第二注视点坐标，其中，所述第二注视点坐标对应的图像特征与所述第一注视点坐标对应的图像特征相同或相似。

7.根据权利要求1-6中任一项所述的方法，其特征在于，在所述第一人眼的第一注视点坐标之前，所述方法还包括：

确定所述用户的主视眼为所述第一人眼。

8.一种电子设备，其特征在于，所述电子设备设置有至少一个显示屏，

所述电子设备包括一个或多个处理器和一个或多个存储器；所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器存储有计算机指令；

当所述一个或多个处理器执行所述计算机指令时，使得所述电子设备执行如权利要求1-7中任一项所述的双眼注视点的确定方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机指令，当所述计算机指令运行时，执行如权利要求1-7中任一项所述的双眼注视点的确定方法。

10.一种芯片系统，所述芯片系统包括接口电路和处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从存储器接收信号，并向处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行计算机指令时，所述芯片系统执行如权利要求1-7中任一项所述的双眼注视点的确定方法。

Images