CN109766012A - 视线计算方法及装置 - Google Patents

Abstract

本发明公开了一种视线计算方法及装置，涉及视觉技术领域，主要目的在于现有的视线计算过程中，往往需要用户每次佩戴VR、AR设备时都需要先进行视线标定的操作，整体上增加了时间消耗，影响设备使用过程中的效率的问题。本发明的方法主要包括：获取人眼包围盒的参数信息；根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数；获取当前瞳孔位置信息，并根据所述模型参数、所述瞳孔位置信息，通过所述视线计算模型计算视线坐标，所述视线坐标为人眼观测设备屏幕中的位置。本发明适用于使用VR、AR等设备时视线的计算。

Description

视线计算方法及装置

技术领域

本发明涉及视觉技术领域，特别是涉及一种视线计算方法及装置。

背景技术

随着科技的进步，虚拟现实技术和增强现实技术不断发展。眼球跟踪与视线计算技术作为上述技术的支持，也随之快速发展。其中，视线计算的过程即在用户使用VR(Virtual Reality，虚拟现实，简称VR)或AR (Augmented Reality，增强现实，简称AR)设备时，VR或AR设备需要对用户当前人眼所观察的屏幕位置进行判断，即视线计算，从而根据用户的视线进行相应的响应。

目前，在对用户的视线进行计算的过程中，需要用户在每次佩戴AR 或VR设备时进行视线标定操作来确定视线模型的相关参数，在根据得到的相关参数的视线模型计算当前用户视线所观测的位置。然而，在实际应用中，现有的视线计算过程中，往往需要用户每次佩戴VR、AR设备时都需要先进行视线标定的操作，整体上增加了时间消耗，影响设备使用时的效率。

发明内容

有鉴于此，本发明提供的视线计算方法及装置，其目的在于解决现有的视线计算过程中，耗时较长影响设备使用效率的问题。

本发明的目的是采用以下技术方案来实现的：

第一方面，本发明提供了一种视线计算方法，所述方法包括：

获取人眼包围盒的参数信息；

根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数；

获取当前瞳孔位置信息，并根据所述模型参数、所述瞳孔位置信息，通过所述视线计算模型计算视线坐标，所述视线坐标为人眼观测设备屏幕中的位置。

可选的，所述根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数包括：

根据所述人眼包围盒的参数信息，以及瞳孔与人眼包围盒的位置关系，确定瞳孔基准位置，所述瞳孔与人眼包围盒的位置关系中包含有瞳孔基准位置与人眼包围盒之间的相对位置，所述人眼包围盒的参数信息包括包围盒长度、包围盒宽度以及包围盒预设顶点坐标；

根据所述瞳孔基准位置，以及瞳孔与目标标定点的关系，确定所述目标标定点的位置，所述瞳孔与目标标定点的关系中包含有瞳孔位置与目标标定点之间的相对位置，所述目标标定点为人眼观看屏幕中预设目标时的瞳孔位置；

根据目标标定点的位置，以及目标标定点对应的屏幕中预设目标位置，计算所述预设视线模型中的模型参数。

可选的，在根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数之前，所述方法还包括：

获取所述瞳孔与目标标定点的关系；

获取所述瞳孔与人眼包围盒的位置关系。

可选的，所述获取所述瞳孔与目标标定点的关系包括：

获取屏幕中样本目标的位置；

获取人眼观测所述屏幕中样本目标时的瞳孔位置，作为样本目标标定点；

计算第一样本瞳孔位置，并根据所述第一样本瞳孔位置及所述样本目标标定点确定所述瞳孔与目标标定点的关系。

可选的，所述获取所述瞳孔与人眼包围盒的位置关系包括：

获取第二样本瞳孔的位置，以及样本人眼包围盒的参数信息，所述第二样本瞳孔的位置是当人眼观测试目标时对应的瞳孔位置，所述样本人眼包围盒的参数信息包括包围盒长度、包围盒宽度、以及包围盒预设顶点坐标；

根据所述第二样本瞳孔的位置以及样本人眼包围盒的参数信息，确定瞳孔与人眼包围盒之间的相对位置关系，作为所述瞳孔与人眼包围盒的位置关系。

可选的，所述人眼包围盒为矩形，所述瞳孔与人眼包围盒的位置关系包括纵向比例关系及横向比例关系，所述纵向比例关系为瞳孔位置的纵坐标至包围盒边界的纵向距离与包围盒宽度的比例关系，所述横向比例关系为瞳孔位置的横坐标至包围盒边界的横向距离与包围盒长度的比例关系；

所述根据所述人眼包围盒的参数信息，以及瞳孔与人眼包围盒的位置关系，确定瞳孔基准位置，包括：

根据所述包围盒预设顶点的横坐标、包围盒长度以及横向比例关系，计算所述瞳孔基准位置的横坐标；

根据所述包围盒预设顶点的纵坐标、包围盒宽度以及纵向比例关系，计算所述瞳孔基准位置的纵坐标。

第二方面，本发明提供了一种视线计算装置，所述装置包括：

确定单元，用于根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数；

计算单元，用于获取当前瞳孔位置信息，并根据所述模型参数、所述瞳孔位置信息，通过所述视线计算模型计算视线坐标，所述视线坐标为人眼观测设备屏幕中的位置。

可选的，所述确定单元包括：

第一确定模块，用于根据所述人眼包围盒的参数信息，以及瞳孔与人眼包围盒的位置关系，确定瞳孔基准位置，所述瞳孔与人眼包围盒的位置关系中包含有瞳孔基准位置与人眼包围盒之间的相对位置，所述人眼包围盒的参数信息包括包围盒长度、包围盒宽度以及包围盒预设顶点坐标；

第二确定模块，用于根据所述瞳孔基准位置，以及瞳孔与目标标定点的关系，确定所述目标标定点的位置，所述瞳孔与目标标定点的关系中包含有瞳孔位置与目标标定点之间的相对位置，所述目标标定点为人眼观看屏幕中预设目标时的瞳孔位置；

计算模块，用于根据目标标定点的位置，以及目标标定点对应的屏幕中预设目标位置，计算所述预设视线模型中的模型参数。

可选的，所述装置还包括：

第二获取单元，用于获取所述瞳孔与目标标定点的关系；

第三获取单元，用于获取所述瞳孔与人眼包围盒的位置关系。

可选的，所述第二获取单元包括：

第一获取模块，用于获取屏幕中样本目标的位置；

第二获取模块，用于获取人眼观测所述屏幕中样本目标时的瞳孔位置，作为样本目标标定点；

计算模块，用于计算第一样本瞳孔位置，并根据所述第一样本瞳孔位置及所述样本目标标定点确定所述瞳孔与目标标定点的关系。

可选的，所述第三获取单元包括：

第一获取模块，用于获取第二样本瞳孔的位置，以及样本人眼包围盒的参数信息，所述第二样本瞳孔的位置是当人眼观测试目标时对应的瞳孔位置，所述样本人眼包围盒的参数信息包括包围盒长度、包围盒宽度、以及包围盒预设顶点坐标；

确定模块，用于根据所述第二样本瞳孔的位置以及样本人眼包围盒的参数信息，确定瞳孔与人眼包围盒之间的相对位置关系，作为所述瞳孔与人眼包围盒的位置关系。

可选的，所述人眼包围盒为矩形，所述瞳孔与人眼包围盒的位置关系包括纵向比例关系及横向比例关系，所述纵向比例关系为瞳孔位置的纵坐标至包围盒边界的纵向距离与包围盒宽度的比例关系，所述横向比例关系为瞳孔位置的横坐标至包围盒边界的横向距离与包围盒长度的比例关系；

所述第一确定模块，包括：

第一计算子模块，用于根据所述包围盒预设顶点的横坐标、包围盒长度以及横向比例关系，计算所述瞳孔基准位置的横坐标；

第二计算子模块，用于根据所述包围盒预设顶点的纵坐标、包围盒宽度以及纵向比例关系，计算所述瞳孔基准位置的纵坐标。

第三方面，本发明提供了一种存储介质，所述存储介质存储有多条指令，所述指令适用于由处理器加载并执行如第一方面所述的视线计算方法。

第四方面，本发明提供了一种电子设备，所述电子设备包括存储介质和处理器；

所述处理器，适于实现各指令；

所述存储介质，适于存储多条指令；

所述指令适于由所述处理器加载并执行如第一方面所述的视线计算方法。

借由上述技术方案，本发明提供的视线计算方法及装置，对于现有技术现有的视线计算过程中，往往需要用户每次佩戴VR、AR设备时都需要先进行视线标定的操作，整体上增加了时间消耗，影响设备使用时的效率的问题，本发明能够通过获取人眼包围盒的参数信息，然后根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数，最后获取当前瞳孔位置信息，并根据所述模型参数、所述瞳孔位置信息，通过所述视线计算模型计算视线坐标，其中，视线坐标为人眼观测设备屏幕中的位置。这样，能够通过人眼包围盒确定预设视线计算模型的模型参数，从而避免了在视线计算过程中需要每次进行视线标定的过程，从而减少了时间的消耗，提高了效率。另外，由于本方案无需用户每次佩戴AR、VR设备时的视线标定过程，因此可以简化用户使用上述设备时的操作步骤，使得用户在使用带有视线计算时更为便捷。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种视线计算方法的流程图；

图2示出了本发明实施例提供的另一种视线计算方法的流程图；

图3示出了本发明实施例提供的一种瞳孔检测过程的示意图；

图4示出了本发明实施例提供的另一种瞳孔检测过程的示意图；

图5示出了本发明实施例提供的又一种瞳孔检测过程的示意图；

图6示出了本发明实施例提供的再一种瞳孔检测过程的示意图；

图7示出了本发明实施例提供的一种视线计算过程中人眼包围盒示意图；

图8示出了本发明实施例提供的一种视线计算装置的组成框图；

图9示出了本发明实施例提供的另一种视线计算装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种视线计算方法，如图1所示，所述方法主要包括：

101、获取人眼包围盒的参数信息。

为解决在现有的视线计算过程中需要进行视线标定过程所带来时间消耗的问题，在本发明实施例中，通过对佩戴VR、AR设备的用户的人眼进行包围盒的获取。具体的，获取该人眼包围盒的参数信息。在本步骤中，所述参数信息可以包括包围盒的长度、宽度以及坐标等相关参数，在此对于参数信息中包含的数据内容、种类、数量并不做具体的限定，仅需确保后续步骤中能够根据人眼包围盒的确定预设视线计算模型的模型参数即可。

另外，在本步骤中，对于人眼包围盒及其参数信息的获取方式可以通过深度学习、机器学习的方式训练对应的包围盒获取模型，也可以通过其他软件进行获取，例如可以通过OpenCV自带的人眼识别库进行人眼包围盒的获取，在此对于人眼包围盒的获取方式可以采用上述或现有技术中任意中方式进行，在此并不做具体的限定，可根据用户需要进行获取。

102、根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数。

其中，在预设视线计算模型中，为了计算的准确性，模型参数都是因人而异的，因此，对于视线计算过程中，对于视线计算模型的模型参数的确定是后续计算人眼的视线计算结果准确与否的重要因素。因此，在本发明实施例中，需要在本步骤对模型参数进行确定。另外，在用户使用AR、 VR设备时，人眼瞳孔对于包围盒之间是存在一定的关系的，例如位置之间的相对关系。因此，基于二者之间存在的关联，可以通过前述步骤中获取的人眼包围盒对人眼瞳孔的位置进行计算，确定出当用户观察屏幕中心基准点时的瞳孔位置。

具体的，在本步骤中可以根据所述人眼包围盒的参数信息，以及瞳孔与人眼包围盒的位置关系，确定瞳孔基准位置，该瞳孔与人眼包围盒的位置关系可以在进行视线计算之前，通过采集大量的样本得出。然后根据所述瞳孔基准位置，以及瞳孔与目标标定点的关系，确定所述目标标定点的位置，其中目标标定点的数量可以根据预设视线计算模型的模型参数的数量选取。例如，当模型中的参数为5个时，则可以选取5个目标标定点。最后，在根据目标标定点的位置，以及目标标定点对应的屏幕中预设目标位置，计算所述预设视线模型中的模型参数。当然，在本步骤中具体确定预设视线计算模型的模型参数的方式包括但不限于上述所述的方式进行。

例如，当通过瞳孔样本通过大量的数据训练得到了不同参数信息的人眼包围盒及视线计算模型的对应表时，则在本步骤中可以通过该对应表直接确定对应当前的人眼包围盒的模型参数。

103、获取当前瞳孔位置信息，并根据所述模型参数、所述瞳孔位置信息，通过所述视线计算模型计算视线坐标。

其中，所述视线坐标为人眼观测设备屏幕中的位置。当前述步骤102 中得到了模型参数后，即可对当前用户的视线的坐标进行计算，其中，在本步骤中首先要获取当前用户的瞳孔位置信息，该位置信息可以为坐标。然后，将该瞳孔位置信息代入至确定了模型参数的视线计算模型中，求解出的坐标即为当前用户人眼视线观测屏幕中的位置，即所述视线坐标。

本发明实施例提供的视线计算方法，对于现有技术现有的视线计算过程中，往往需要用户每次佩戴VR、AR设备时都需要先进行视线标定的操作，整体上增加了时间消耗，影响设备使用时效率的问题，本发明能够通过获取人眼包围盒的参数信息，然后根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数，最后获取当前瞳孔位置信息，并根据所述模型参数、所述瞳孔位置信息，通过所述视线计算模型计算视线坐标，其中，视线坐标为人眼观测设备屏幕中的位置。这样，能够通过人眼包围盒确定预设视线计算模型的模型参数，从而避免了在视线计算过程中需要每次进行视线标定的过程，从而减少了时间的消耗，提高了效率。另外，由于本方案无需用户每次佩戴AR、VR设备时的视线标定过程，因此可以简化用户使用上述设备时的操作步骤，使得用户在使用带有视线计算时更为便捷。

进一步的，依据图1所示的方法，本发明的另一个实施例还提供了另一种视线计算方法，如图2所示，所述方法主要包括：

201、获取瞳孔与目标标定点的关系。

具体的，本步骤可以包括：首先，获取屏幕中样本目标的位置。然后，获取人眼观测所述屏幕中样本目标时的瞳孔位置，作为样本目标标定点。最后，计算第一样本瞳孔位置，并根据所述第一样本瞳孔位置及所述样本目标标定点确定所述瞳孔与目标标定点的关系。另外，为了确保所得到的瞳孔与目标标定点的关系的准确性，在本发明实施例中，可以通过多组人眼进行上述方法的执行，并根据多组结果确定所述瞳孔与目标标定点的关系。在本发明实施例中，对于目标标定点的设置数量及位置可以根据需要进行选取，在此不做限定，但需要确保设置的数量及位置的科学性，避免后续计算结果存在误差的情况，例如，可以选取5个样本目标标定点，其中4个分别位于屏幕四角，另一个位于屏幕中心位置。

其中，在本步骤中执行上述方法时，其具体执行过程可以如下述示例所示：

步骤a、在AR、VR视觉设备中设置5个目标，并记录下点1,2,3,4,5 在屏幕上的坐标P_std_i(x,y),i＝1,2,3,4,5。若在VR设备上使用本方法，则需要对图像进行反畸变处理，得到P_std_i(x,y),i＝1,2,3,4,5，该P_std_i(x,y)记录的是反畸变后点的位置。

步骤b、用户使用VR\AR设备，通过瞳孔检测记录使用者观看点 1,2,3,4,5时，人眼的图像上瞳孔的坐标位置P_pup_i(x,y),i＝1,2,3,4,5。

步骤c、通过对瞳孔坐标位置计算，得到瞳孔与目标标定点的位置关系，其计算过程可以包括：将P_pup_i(x,y),i＝1,2,3,4,5内所有的点都减去第一个点的坐标P_pup_1(x,y)，得到点坐标集合P_pup_new_i(x,y),i＝1,2,3,4,5。该点坐标集合P_pup_new_i(x,y)则可以用于表征瞳孔与目标标定点二者时间的位置关系。

其中，在步骤b中，瞳孔检测过程包括：首先拍摄人眼图像，如图3；二值化处理，如图4；开运算，如图5；连通区域检测，得到图5瞳孔边界点集合；椭圆拟合，即用上步得到的瞳孔边界点集合进行椭圆拟合，得到椭圆方程；计算瞳孔坐标位置，如图6其中椭圆中心(图6中灰色部分) 即是瞳孔的中心P_pup_i(x,y),i＝1,2,3,4,5。

需要说明的是，在本发明实施例中，步骤201及步骤202的执行顺序可以如本发明实施例所述的顺序执行，还可以先进行步骤202中获取瞳孔与人眼包围盒的位置关系，再执行本步骤所述的方法，在此，对于执行顺序并不做限定，可以根据实际需要选取。此外，在本发明实施例中，对于瞳孔与目标标定点的关系除了使用上述所述的基于坐标点间的关系外，还可以采用视线角度关系，即瞳孔观察屏幕中心点时的视线与观测设备中设置的观测点时的视线夹角来确定。

202、获取瞳孔与人眼包围盒的位置关系。

具体的，本步骤可以包括：首先，获取第二样本瞳孔的位置，以及样本人眼包围盒的参数信息，所述第二样本瞳孔的位置是当人眼观测试目标时对应的瞳孔位置，所述样本人眼包围盒的参数信息包括包围盒长度、包围盒宽度、以及包围盒预设顶点坐标；然后，根据所述第二样本瞳孔的位置以及样本人眼包围盒的参数信息，确定瞳孔与人眼包围盒之间的相对位置关系，作为所述瞳孔与人眼包围盒的位置关系。另外，为了提高适应性所采用的多组人眼可以为多个不同人的人眼执行上述关系的确定的，当然，为了进一步的提高准确性还可以在执行上述方法时采用同一人眼多次观测的多组人眼数据进行上述关系的确定。

其中，在具体执行上述方式时，其过程可以如下示例所示：

步骤1、如图7所示，在执行时以为确定瞳孔的准确性，以瞳孔中心进行检测。由此，在本示例中首先获得多组人眼观看标定点1时的图像，并进行人眼检测，人眼检测到的瞳孔中心即为视线基准。

步骤2、通过图像处理的方式得到人眼的外包围盒、即图中矩形边框。人眼检测方法可以通过使用深度学习，机器学习的方式自己训练，也可以使用Opencv自带的人眼识别库。

步骤3、采集人眼包围盒的参数信息，其中人眼外包围盒左上点为P(x,y)，长度为W，宽度为H。瞳孔中心为P0(x,y)，之后计算瞳孔中心相对于P(x,y)的距离分别为：横向距离为w＝P0.x–P.x，竖直距离为h＝P0.y– P.y；

步骤4、依据上一步骤得到数据w及h，进行视线基准计算，视线基准的计算方法可以多种方式，在本示例的P_std_x＝w/W,P_std_y＝h/H。其中，该的P_std_x＝w/W,P_std_y＝h/H即为本发明实施例所述瞳孔与人眼外包围盒的关系。

步骤5、通过多组人眼数据按照上述步骤多次重复步骤2～4计算多组的P_std_i_x及P_std_i_y，最后取平均值得到最终的P_std_x，P_std_y，其中i对应的是不同的人眼瞳孔数据。

由此，通过预先获取所述瞳孔与人眼包围盒的位置关系，以及获取所述瞳孔与目标标定点的关系，能够为后续根据这两个关系确定视线计算模型的模型参数提供支持。

203、获取人眼包围盒的参数信息。

在本发明实施例中，对于获取人眼包围盒的方式、以及参数信息等描述皆与前述实施例中步骤101中的描述一致，在此不做赘述。

204、根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数。

其中，所述人眼包围盒为矩形，所述瞳孔与人眼包围盒的位置关系包括纵向比例关系及横向比例关系，所述纵向比例关系为瞳孔位置的纵坐标至包围盒边界的纵向距离与包围盒宽度的比例关系，所述横向比例关系为瞳孔位置的横坐标至包围盒边界的横向距离与包围盒长度的比例关系。

具体的，本步骤可以包括：首先，根据所述人眼包围盒的参数信息，以及瞳孔与人眼包围盒的位置关系，确定瞳孔基准位置，其中，所述瞳孔与人眼包围盒的位置关系中包含有瞳孔基准位置与人眼包围盒之间的相对位置，所述人眼包围盒的参数信息包括包围盒长度、包围盒宽度以及包围盒预设顶点坐标。其中，在确定瞳孔基准位置时可以通过所述包围盒预设顶点的横坐标、包围盒长度以及横向比例关系，计算所述瞳孔基准位置的横坐标；以及根据所述包围盒预设顶点的纵坐标、包围盒宽度以及纵向比例关系，计算所述瞳孔基准位置的纵坐标。

然后，根据所述瞳孔基准位置，以及瞳孔与目标标定点的关系，确定所述目标标定点的位置，所述瞳孔与目标标定点的关系中包含有瞳孔位置与目标标定点之间的相对位置，所述目标标定点为人眼观看屏幕中预设目标时的瞳孔位置。

最后，根据目标标定点的位置，以及目标标定点对应的屏幕中预设目标位置，计算所述预设视线模型中的模型参数。

具体的，在执行本发明实施例所述的上述步骤203至204的过程时，其过程可以如下述示例所示：

首先，当用户使用设备时，采集人眼图像,并进行人眼检测得到人眼外包围盒，人眼外包围盒左上点(包围盒位置)为P_eyebox(x,y)，长度为 Box_W，宽度为Box_H。

其次，根据瞳孔与人眼包围盒的关系，确定视线的瞳孔基准位置 P_standard_eye(x，y)为：P_standard_eye.x＝P_eyebox.x+Box_W*P_std_x； P_standard_eye.y＝P_eyebox.y+Box_H*P_std_y。

再根据瞳孔基准点与目标标定点的位置关系，确定目标标定点的坐标 P_calibration_new_i(x,y)＝P_pup_new_i(x,y)+P_standard_eye(x，y), i＝1,2,3,4,5。即P_calibration_new_i(x,y)每个点的位置为P_pup_new_i(x,y)加上P_standard_eye(x，y)。

之后，根据P_std_i(x,y)和P_calibration_new_i(x,y),i＝1,2,3,4,5，代入到下述的进行视线计算模型中，求解出模型参数，其中视线模型为：

式中，x，y为P_calibration_new_i(x,y)，X,Y为对应的P_std_i(x,y)。由 P_std_i(x,y)和P_calibration_new_i(x,y),i＝1,2,3,4,5可计算出模型参数a0–a5 和b0–b5，完成当视线模型中的模型参数的计算。

205、获取当前瞳孔位置信息，并根据所述模型参数、所述瞳孔位置信息，通过所述视线计算模型计算视线坐标。

其中，所述视线坐标为人眼观测设备屏幕中的位置。根据前述步骤204 中的示例，本步骤具体可以为：

使用上述“瞳孔检测过程”得到当人眼图像上瞳孔的位置P_pup，令x ＝P_pup.x,y＝P_pup.y带入下式，

计算出视线的位置P(X,Y)，即可得到视线坐标，从而确定用户在当前视线在设备屏幕中的位置。

进一步的，依据上述方法实施例，本发明的另一个实施例还提供了一种视线计算装置，如图8所示，所述装置主要包括：

第一获取单元31，可以用于获取人眼包围盒的参数信息；

确定单元32，可以用于根据所述第一获取单元31获取的人眼包围盒的参数信息确定预设视线计算模型的模型参数；

计算单元33，可以用于获取当前瞳孔位置信息，并根据所述确定单元 32确定的模型参数、所述瞳孔位置信息，通过所述视线计算模型计算视线坐标，所述视线坐标为人眼观测设备屏幕中的位置。

可选的，如图9所示，所述确定单元32包括：

第一确定模块321，可以用于根据所述人眼包围盒的参数信息，以及瞳孔与人眼包围盒的位置关系，确定瞳孔基准位置，所述瞳孔与人眼包围盒的位置关系中包含有瞳孔基准位置与人眼包围盒之间的相对位置，所述人眼包围盒的参数信息包括包围盒长度、包围盒宽度以及包围盒预设顶点坐标；

第二确定模块322，可以用于根据所述第一确定模块321确定的瞳孔基准位置，以及瞳孔与目标标定点的关系，确定所述目标标定点的位置，所述瞳孔与目标标定点的关系中包含有瞳孔位置与目标标定点之间的相对位置，所述目标标定点为人眼观看屏幕中预设目标时的瞳孔位置；

计算模块323，可以用于根据第二确定模块322确定的目标标定点的位置，以及目标标定点对应的屏幕中预设目标位置，计算所述预设视线模型中的模型参数。

可选的，如图9所示所述装置还包括：

第二获取单元34，可以用于获取所述瞳孔与目标标定点的关系，以便确定单元32根据所述瞳孔与目标标定点的关系确定所述视线计算模型的模型参数；

第三获取单元35，可以用于获取所述瞳孔与人眼包围盒的位置关系，以便确定单元32根据所述瞳孔与人眼包围盒的位置关系确定所述视线计算模型的模型参数。

可选的，如图9所示，所述第二获取单元34包括：

第一获取模块341，可以用于获取屏幕中样本目标的位置；

第二获取模块342，可以用于获取人眼观测所述第一获取模块341获取的屏幕中样本目标时的瞳孔位置，作为样本目标标定点；

计算模块343，可以用于根据第二获取模块342获取的样本目标标定点与设定的基准点瞳孔坐标计算第一样本瞳孔位置，并根据所述第一样本瞳孔位置及所述样本目标标定点确定所述瞳孔与目标标定点的关系。

可选的，如图9所示，所述第三获取单元35包括：

第一获取模块351，可以用于获取第二样本瞳孔的位置，以及样本人眼包围盒的参数信息，所述第二样本瞳孔的位置是当人眼观测试目标时对应的瞳孔位置，所述样本人眼包围盒的参数信息包括包围盒长度、包围盒宽度、以及包围盒预设顶点坐标；

确定模块352，可以用于根据所述第一获取模块351获取的第二样本瞳孔的位置以及样本人眼包围盒的参数信息，确定瞳孔与人眼包围盒之间的相对位置关系，作为所述瞳孔与人眼包围盒的位置关系。

可选的，如图9所示，所述人眼包围盒为矩形，所述瞳孔与人眼包围盒的位置关系包括纵向比例关系及横向比例关系，所述纵向比例关系为瞳孔位置的纵坐标至包围盒边界的纵向距离与包围盒宽度的比例关系，所述横向比例关系为瞳孔位置的横坐标至包围盒边界的横向距离与包围盒长度的比例关系；

所述第一确定模块321，包括：

第一计算子模块3211，可以用于根据所述包围盒预设顶点的横坐标、包围盒长度以及横向比例关系，计算所述瞳孔基准位置的横坐标；

第二计算子模块3212，可以用于根据所述包围盒预设顶点的纵坐标、包围盒宽度以及纵向比例关系，计算所述瞳孔基准位置的纵坐标。

借由上述实施例所述的方案，本发明实施例提供了一种视线计算方法及装置，对于现有技术现有的视线计算过程中，往往需要用户每次佩戴 VR、AR设备时都需要先进行视线标定的操作，整体上增加了时间消耗，影响设备使用时的效率问题，本发明能够通过获取人眼包围盒的参数信息，然后根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数，最后获取当前瞳孔位置信息，并根据所述模型参数、所述瞳孔位置信息，通过所述视线计算模型计算视线坐标，其中，视线坐标为人眼观测设备屏幕中的位置。这样，能够通过人眼包围盒确定预设视线计算模型的模型参数，从而避免了在视线计算过程中需要每次进行视线标定的过程，从而减少了时间的消耗，提高了效率。另外，由于本方案无需用户每次佩戴AR、 VR设备时的视线标定过程，因此可以简化用户使用上述设备时的操作步骤，使得用户在使用带有视线计算时更为便捷。

进一步的，依据上述方法实施例，本发明的另一个实施例还提供了一种存储介质，所述存储介质存储有多条指令，所述指令适用于由处理器加载并执行如上所述的视线计算方法。

本发明实施例提供的视线计算存储介质中的指令，该指令能够通过获取人眼包围盒的参数信息，然后根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数，最后获取当前瞳孔位置信息，并根据所述模型参数、所述瞳孔位置信息，通过所述视线计算模型计算视线坐标，其中，视线坐标为人眼观测设备屏幕中的位置。这样，能够通过人眼包围盒确定预设视线计算模型的模型参数，从而避免了在视线计算过程中需要每次进行视线标定的过程，从而减少了时间的消耗，提高了效率。另外，由于本方案无需用户每次佩戴AR、VR设备时的视线标定过程，因此可以简化用户使用上述设备时的操作步骤，使得用户在使用带有视线计算时更为便捷。

进一步的，依据上述方法实施例，本发明的另一个实施例还提供了一种电子设备，所述电子设备包括存储介质和处理器；

所述处理器，适于实现各指令；

所述存储介质，适于存储多条指令；

所述指令适于由所述处理器加载并执行如上所述的视线计算方法。

本发明实施例提供的视线计算电子设备，能够通过获取人眼包围盒的参数信息，然后根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数，最后获取当前瞳孔位置信息，并根据所述模型参数、所述瞳孔位置信息，通过所述视线计算模型计算视线坐标，其中，视线坐标为人眼观测设备屏幕中的位置。这样，能够通过人眼包围盒确定预设视线计算模型的模型参数，从而避免了在视线计算过程中需要每次进行视线标定的过程，从而减少了时间的消耗，提高了效率。另外，由于本方案无需用户每次佩戴AR、VR设备时的视线标定过程，因此可以简化用户使用上述设备时的操作步骤，使得用户在使用带有视线计算时更为便捷。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的视线计算方法及装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (14)

1.一种视线计算方法，其特征在于，包括：

获取人眼包围盒的参数信息；

根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数；

获取当前瞳孔位置信息，并根据所述模型参数、所述瞳孔位置信息，通过所述视线计算模型计算视线坐标，所述视线坐标为人眼观测设备屏幕中的位置。

2.根据权利要求1所述的方法，其特征在于，所述根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数包括：

根据所述人眼包围盒的参数信息，以及瞳孔与人眼包围盒的位置关系，确定瞳孔基准位置，所述瞳孔与人眼包围盒的位置关系中包含有瞳孔基准位置与人眼包围盒之间的相对位置，所述人眼包围盒的参数信息包括包围盒长度、包围盒宽度以及包围盒预设顶点坐标；

根据所述瞳孔基准位置，以及瞳孔与目标标定点的关系，确定所述目标标定点的位置，所述瞳孔与目标标定点的关系中包含有瞳孔位置与目标标定点之间的相对位置，所述目标标定点为人眼观看屏幕中预设目标时的瞳孔位置；

根据目标标定点的位置，以及目标标定点对应的屏幕中预设目标位置，计算所述预设视线模型中的模型参数。

3.根据权利要求2所述的方法，其特征在于，在根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数之前，所述方法还包括：

获取所述瞳孔与目标标定点的关系；

获取所述瞳孔与人眼包围盒的位置关系。

4.根据权利要求3所述的方法，其特征在于，所述获取所述瞳孔与目标标定点的关系包括：

获取屏幕中样本目标的位置；

获取人眼观测所述屏幕中样本目标时的瞳孔位置，作为样本目标标定点；

计算第一样本瞳孔位置，并根据所述第一样本瞳孔位置及所述样本目标标定点确定所述瞳孔与目标标定点的关系。

5.根据权利要求3所述的方法，其特征在于，所述获取所述瞳孔与人眼包围盒的位置关系包括：

获取第二样本瞳孔的位置，以及样本人眼包围盒的参数信息，所述第二样本瞳孔的位置是当人眼观测试目标时对应的瞳孔位置，所述样本人眼包围盒的参数信息包括包围盒长度、包围盒宽度、以及包围盒预设顶点坐标；

根据所述第二样本瞳孔的位置以及样本人眼包围盒的参数信息，确定瞳孔与人眼包围盒之间的相对位置关系，作为所述瞳孔与人眼包围盒的位置关系。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述人眼包围盒为矩形，所述瞳孔与人眼包围盒的位置关系包括纵向比例关系及横向比例关系，所述纵向比例关系为瞳孔位置的纵坐标至包围盒边界的纵向距离与包围盒宽度的比例关系，所述横向比例关系为瞳孔位置的横坐标至包围盒边界的横向距离与包围盒长度的比例关系；

所述根据所述人眼包围盒的参数信息，以及瞳孔与人眼包围盒的位置关系，确定瞳孔基准位置，包括：

根据所述包围盒预设顶点的横坐标、包围盒长度以及横向比例关系，计算所述瞳孔基准位置的横坐标；

根据所述包围盒预设顶点的纵坐标、包围盒宽度以及纵向比例关系，计算所述瞳孔基准位置的纵坐标。

7.一种视线计算装置，其特征在于，所述装置包括：

第一获取单元，用于获取人眼包围盒的参数信息；

确定单元，用于根据所述人眼包围盒的参数信息确定预设视线计算模型的模型参数；

计算单元，用于获取当前瞳孔位置信息，并根据所述模型参数、所述瞳孔位置信息，通过所述视线计算模型计算视线坐标，所述视线坐标为人眼观测设备屏幕中的位置。

8.根据权利要求7所述的装置，其特征在于，所述确定单元包括：

第一确定模块，用于根据所述人眼包围盒的参数信息，以及瞳孔与人眼包围盒的位置关系，确定瞳孔基准位置，所述瞳孔与人眼包围盒的位置关系中包含有瞳孔基准位置与人眼包围盒之间的相对位置，所述人眼包围盒的参数信息包括包围盒长度、包围盒宽度以及包围盒预设顶点坐标；

第二确定模块，用于根据所述瞳孔基准位置，以及瞳孔与目标标定点的关系，确定所述目标标定点的位置，所述瞳孔与目标标定点的关系中包含有瞳孔位置与目标标定点之间的相对位置，所述目标标定点为人眼观看屏幕中预设目标时的瞳孔位置；

计算模块，用于根据目标标定点的位置，以及目标标定点对应的屏幕中预设目标位置，计算所述预设视线模型中的模型参数。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

第二获取单元，用于获取所述瞳孔与目标标定点的关系；

第三获取单元，用于获取所述瞳孔与人眼包围盒的位置关系。

10.根据权利要求9所述的装置，其特征在于，所述第二获取单元包括：

第一获取模块，用于获取屏幕中样本目标的位置；

第二获取模块，用于获取人眼观测所述屏幕中样本目标时的瞳孔位置，作为样本目标标定点；

计算模块，用于计算第一样本瞳孔位置，并根据所述第一样本瞳孔位置及所述样本目标标定点确定所述瞳孔与目标标定点的关系。

11.根据权利要求9所述的装置，其特征在于，所述第三获取单元包括：

第一获取模块，用于获取第二样本瞳孔的位置，以及样本人眼包围盒的参数信息，所述第二样本瞳孔的位置是当人眼观测试目标时对应的瞳孔位置，所述样本人眼包围盒的参数信息包括包围盒长度、包围盒宽度、以及包围盒预设顶点坐标；

确定模块，用于根据所述第二样本瞳孔的位置以及样本人眼包围盒的参数信息，确定瞳孔与人眼包围盒之间的相对位置关系，作为所述瞳孔与人眼包围盒的位置关系。

12.根据权利要求7-11中任一项所述的装置，其特征在于，所述人眼包围盒为矩形，所述瞳孔与人眼包围盒的位置关系包括纵向比例关系及横向比例关系，所述纵向比例关系为瞳孔位置的纵坐标至包围盒边界的纵向距离与包围盒宽度的比例关系，所述横向比例关系为瞳孔位置的横坐标至包围盒边界的横向距离与包围盒长度的比例关系；

所述第一确定模块，包括：

第一计算子模块，用于根据所述包围盒预设顶点的横坐标、包围盒长度以及横向比例关系，计算所述瞳孔基准位置的横坐标；

第二计算子模块，用于根据所述包围盒预设顶点的纵坐标、包围盒宽度以及纵向比例关系，计算所述瞳孔基准位置的纵坐标。

13.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适用于由处理器加载并执行如权利要求1-6中任一项所述的视线计算方法。

14.一种电子设备，其特征在于，所述电子设备包括存储介质和处理器；

所述处理器，适于实现各指令；

所述存储介质，适于存储多条指令；

所述指令适于由所述处理器加载并执行如权利要求1-6中任一项所述的视线计算方法。