CN112799518B - 眼球追踪数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种眼球追踪数据处理方法及系统，该方法包括：终端设备向服务器发送眼球追踪校准参数，眼球追踪校准参数至少包括第一参数类型的第一参数值、以及与终端设备的设备型号对应的第一置信度；服务器判断是否存储有第一参数类型的保存值以及与保存值对应的第二置信度；若服务器存储有第一参数类型的保存值以及与保存值对应的第二置信度，则服务器判断第二置信度是否小于第一置信度；若第二置信度小于第一置信度，则服务器将保存值以及第二置信度分别替换为第一参数值以及第一置信度。本发明能够解决现有技术中低精度终端设备无法获得高精度校准参数值的问题。

Description

眼球追踪数据处理方法及系统

技术领域

本发明涉及计算机技术领域，特别是涉及一种眼球追踪数据处理方法及系统。

背景技术

眼球追踪技术是一种有广泛应用前景的技术，在作为人机交互手段和改善用户体验方面得到广泛关注，不但在移动互联网终端设备上有应用，在VR（Virtual Reality，虚拟现实）领域更是被认为将来不可获取的关键技术。

眼球追踪技术采集用户的眼部数据来实现眼动跟踪，一般都需要进行初始化，比如每次使用前的校准操作，得到校准参数值（比如KAPPA角、角膜折射率等）。这些初始化工作一般在用户的终端设备上完成，比如手机、VR一体机、电脑等，这就依赖终端设备的计算精度，如果终端设备的计算精度高，则可以获得高精度的校准参数值，但如果终端设备的计算精度低，就无法获得高精度的校准参数值。

发明内容

为此，本发明的一个目的在于提出一种眼球追踪数据处理方法，以解决现有技术中计算低精度终端设备无法获得高精度校准参数值的问题。

本发明提供一种眼球追踪数据处理方法，所述方法包括：

终端设备向服务器发送眼球追踪校准参数，所述眼球追踪校准参数至少包括第一参数类型的第一参数值、以及与所述终端设备的设备型号对应的第一置信度；

所述服务器判断是否存储有所述第一参数类型的保存值以及与所述保存值对应的第二置信度；

若所述服务器存储有所述第一参数类型的保存值以及与所述保存值对应的第二置信度，则所述服务器判断所述第二置信度是否小于所述第一置信度；

若所述第二置信度小于所述第一置信度，则所述服务器将所述保存值以及所述第二置信度分别替换为所述第一参数值以及所述第一置信度。

根据本发明提供的眼球追踪数据处理方法，服务器预先存储有第一参数类型的保存值以及与保存值对应的第二置信度，当终端设备向服务器发送眼球追踪校准参数时，服务器会比较预先存储的第二置信度与终端设备发送的眼球追踪校准参数中的第一置信度的大小，若第二置信度小于第一置信度，则说明该终端设备提供的校准参数精度更高，也即终端设备发送的眼球追踪校准参数中的第一参数值更加准确，因此，服务器会将保存值以及第二置信度分别替换为第一参数值以及第一置信度，这样，当其它低精度终端设备需要使用第一参数类型的参数时，可以从服务器中调用更加准确的第一参数值，解决了现有技术中低精度终端设备无法获得高精度校准参数值的问题。

另外，根据本发明上述的眼球追踪数据处理方法，还可以具有如下附加的技术特征：

进一步地，所述服务器中存储有与所述第一参数类型对应的贡献者数；所述服务器判断所述第二置信度是否小于所述第一置信度的步骤之后，所述方法还包括：

若所述第二置信度小于所述第一置信度，则所述服务器将所述保存值以及所述第二置信度分别替换为所述第一参数值以及所述第一置信度，并将所述贡献者数置为1。

进一步地，所述服务器判断所述第二置信度是否小于所述第一置信度的步骤之后，所述方法还包括：

若所述第二置信度等于所述第一置信度，则采用下式对所述保存值进行替换：

C=（A*N+B）/（N+1）；

其中，C表示替换后的所述保存值，A表示所述保存值，B表示所述第一参数值，N表示执行本次更新前保存的贡献者数；

并用N+1替换本次更新前保存的贡献者数。

进一步地，所述方法还包括：

当所述终端设备采用服务描述子中的本地服务连接使用一个眼球追踪本地服务，且所述服务描述子的服务状态显示当前服务的平均响应时间超出期望服务水平时，所述终端设备根据服务描述子中对所需服务的描述，与所述服务器协商获得可用服务连接；

所述服务器向所述终端设备反馈所述可用服务连接的预测服务响应水平；

若所述服务器反馈的所述预测服务响应水平优于所述终端设备正在使用的本地服务连接所对应的服务响应水平，则所述终端设备将服务连接由本地服务连接切换为与所述服务器的远程服务连接。

进一步地，所述方法还包括：

当所述终端设备采用服务描述子中的远程服务连接使用一个所述服务器上的眼球追踪云服务，且所述服务描述子的服务状态显示当前服务的平均响应时间超出期望服务水平时，所述终端设备根据服务描述子中对所需服务的描述，判断是否存在非空的本地服务连接；

若存在非空的本地服务连接，且所述终端设备测算到所述本地服务连接的服务响应水平在期望服务水平范围内，则所述终端设备将服务连接由与所述服务器的远程服务连接切换为本地服务连接。

进一步地，所述方法还包括：

当用户首次使用一新型号的终端设备，且用户之前使用的其它所有终端设备中没有一个与所述新型号的终端设备有完全相同的参数配置，则所述服务器判断是否存储有融合后的所述新型号的终端设备所需要的眼球追踪个性化校准参数；

若所述服务器存储有融合后的所述新型号的终端设备所需要的眼球追踪个性化校准参数，则所述新型号的终端设备直接使用融合后的所述新型号的终端设备所需要的眼球追踪个性化校准参数。

本发明的另一个目的在于提出一种眼球追踪数据处理系统，以解决现有技术中计算低精度终端设备无法获得高精度校准参数值的问题。

本发明提供一种眼球追踪数据处理系统，包括终端设备和服务器：

所述终端设备用于向所述服务器发送眼球追踪校准参数，所述眼球追踪校准参数至少包括第一参数类型的第一参数值、以及与所述终端设备的设备型号对应的第一置信度；

所述服务器用于判断是否存储有所述第一参数类型的保存值以及与所述保存值对应的第二置信度；

若所述服务器存储有所述第一参数类型的保存值以及与所述保存值对应的第二置信度，则所述服务器用于判断所述第二置信度是否小于所述第一置信度；

若所述第二置信度小于所述第一置信度，则所述服务器用于将所述保存值以及所述第二置信度分别替换为所述第一参数值以及所述第一置信度。

根据本发明提供的眼球追踪数据处理系统，服务器预先存储有第一参数类型的保存值以及与保存值对应的第二置信度，当终端设备向服务器发送眼球追踪校准参数时，服务器会比较预先存储的第二置信度与终端设备发送的眼球追踪校准参数中的第一置信度的大小，若第二置信度小于第一置信度，则说明该终端设备提供的校准参数精度更高，也即终端设备发送的眼球追踪校准参数中的第一参数值更加准确，因此，服务器会将保存值以及第二置信度分别替换为第一参数值以及第一置信度，这样，当其它低精度终端设备需要使用第一参数类型的参数时，可以从服务器中调用更加准确的第一参数值，解决了现有技术中低精度终端设备无法获得高精度校准参数值的问题。

另外，根据本发明上述的眼球追踪数据处理系统，还可以具有如下附加的技术特征：

进一步地，所述服务器中存储有与所述第一参数类型对应的贡献者数；

若所述第二置信度小于所述第一置信度，则所述服务器用于将所述保存值以及所述第二置信度分别替换为所述第一参数值以及所述第一置信度，并将所述贡献者数置为1。

进一步地，若所述第二置信度等于所述第一置信度，则所述服务器用于采用下式对所述保存值进行替换：

C=（A*N+B）/（N+1）；

其中，C表示替换后的所述保存值，A表示所述保存值，B表示所述第一参数值，N表示执行本次更新前保存的贡献者数；

并用N+1替换本次更新前保存的贡献者数。

进一步地，当所述终端设备采用服务描述子中的本地服务连接使用一个眼球追踪本地服务，且所述服务描述子的服务状态显示当前服务的平均响应时间超出期望服务水平时，所述终端设备用于根据服务描述子中对所需服务的描述，与所述服务器协商获得可用服务连接；

所述服务器用于向所述终端设备反馈所述可用服务连接的预测服务响应水平；

若所述服务器反馈的所述预测服务响应水平优于所述终端设备正在使用的本地服务连接所对应的服务响应水平，则所述终端设备用于将服务连接由本地服务连接切换为与所述服务器的远程服务连接。

进一步地，当所述终端设备采用服务描述子中的远程服务连接使用一个所述服务器上的眼球追踪云服务，且所述服务描述子的服务状态显示当前服务的平均响应时间超出期望服务水平时，所述终端设备用于根据服务描述子中对所需服务的描述，判断是否存在非空的本地服务连接；

若存在非空的本地服务连接，且所述终端设备测算到所述本地服务连接的服务响应水平在期望服务水平范围内，则所述终端设备用于将服务连接由与所述服务器的远程服务连接切换为本地服务连接。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。

附图说明

本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一实施例的眼球追踪数据处理方法的流程图；

图2是一种终端设备的结构框图；

图3是一种服务器的结构框图；

图4是另一种服务器的结构框图；

图5是根据本发明另一实施例的眼球追踪数据处理方法的流程图；

图6是根据本发明又一实施例的眼球追踪数据处理方法的流程图；

图7是另一种终端设备的结构框图；

图8是眼球追踪主控模块、校准模块和视线估计模块之间的服务请求关系示意图；

图9是又一种服务器的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明一实施例提出的眼球追踪数据处理方法，包括步骤S101~S104。

S101，终端设备向服务器发送眼球追踪校准参数，所述眼球追踪校准参数至少包括第一参数类型的第一参数值、以及与所述终端设备的设备型号对应的第一置信度。

其中，终端设备和服务器可以是具体的物理设备，也可以是实现相应功能的逻辑设备或设备组合，所述设备组合可以是物理设备组合或者物理与虚拟设备的组合，虚拟设备可以是虚拟机、虚拟服务器等。设备组合，如云端服务器可以是提供云服务的云平台，可以由多个物理和虚拟的服务器和相关设备组成。

终端设备可以是独立的一台物理设备，如VR一体机或AR头显，也可以是一套设备，如一台眼球追踪设备与一台电脑的组合。

终端设备和服务器之间通过通信网络交换数据，通信网络是可实现终端设备和服务器之间通信的适用任何网络。

本实施例中，实现眼球追踪需要至少一个用于眼球追踪的终端设备和至少一个用于眼球追踪的服务器。

请参阅图2，用于眼球追踪的终端设备具体包括一个终端决策模块、一个可发起服务请求的眼球追踪主控模块、一个控制传感器的眼动数据采集模块和可选的若干眼球追踪本地服务模块，可选的眼球追踪本地服务模块（简称本地服务模块）可以为0个至多个。

眼球追踪主控模块调度眼动数据采集模块、眼球追踪本地服务模块和云服务模块，对眼球跟踪数据进行处理得到视觉交互信息，作为视觉交互输入提供给终端应用层使用。眼动数据采集模块在主控模块调度下负责控制眼动传感器工作和采集传感器的信号数据；终端决策模块负责动态配置调度本地服务模块和云服务模块的策略。

请参阅图3，用于眼球追踪的服务器具体包括眼球追踪个性化信息融合管理模块、服务器决策模块和至少一个眼球追踪服务模块（简称云服务模块）。

需要指出的是，请参阅图4，本发明的技术方案中，能响应同一服务请求的服务模块可以不只一个，它们构成一个族。同族的服务模块虽然实现同样的服务功能，但是具体实现方式可以不同，服务性能也可以不同。比如有的响应速度快精度低，而有的响应速度慢但精度高。

具体的，可以为每个用户分配一个账号，当终端设备D检测到用户A是第一次使用该终端设备D时，终端设备D中的眼球追踪主控模块启动眼动数据采集模块，请求调用校准模块，校准模块显示眼球追踪校准程序界面，引导用户眼睛完成校准所需的交互动作（比如依次注视屏幕上动态显示的校准点），采集获得校准数据，最后根据内置的校准模型计算得到该用户A的眼球追踪校准参数，这个眼球追踪校准参数就是由该终端设备D得到的，该眼球追踪校准参数至少包括第一参数类型的第一参数值、以及与所述终端设备D的设备型号对应的第一置信度。第一参数类型例如是KAPPA角，置信度反映了终端设备所提供的校准参数的精度，通常情况下，终端设备的性能越强，它所提供的校准参数值精度越高，对应的置信度也就越高。因此，第一置信度反映了终端设备D所能提供的校准参数值的精度。

终端设备D在获得眼球追踪校准参数后，会将眼球追踪校准参数发送给服务器，具体发送给服务器的眼球追踪个性化信息融合管理模块进行后续的融合操作。

S102，所述服务器判断是否存储有所述第一参数类型的保存值以及与所述保存值对应的第二置信度。

其中，服务器会先判断是否存储有第一参数类型的保存值以及与保存值对应的第二置信度，例如，服务器会先判断是否存储有角膜折射率的保存值以及对应的第二置信度。若服务器未存储第一参数类型的保存值以及与保存值对应的第二置信度，则服务器将终端设备D发送的第一参数类型的第一参数值、以及与所述终端设备的设备型号对应的第一置信度作为第一参数类型的保存值以及与保存值对应的第二置信度。

需要指出的是，终端设备D将眼球追踪校准参数传递给服务器的眼球追踪个性化信息融合管理模块，基于终端设备D采用的眼球追踪校准方案，它的每个校准参数结果值有一个的置信度值，该置信度值可以是在服务器预设的，也可以是终端设备D在提交数据时一并提供的，如果终端设备提供参数值时一并提供了置信度值，则使用终端设备提供的置信度值，否则采用服务器根据该设备型号对应的置信度预设值。

S103，若所述服务器存储有所述第一参数类型的保存值以及与所述保存值对应的第二置信度，则所述服务器判断所述第二置信度是否小于所述第一置信度。

其中，若服务器预先存储有第一参数类型的保存值以及与保存值对应的第二置信度，该保存值以及对应的第二置信度可以是由其它终端设备发送的，例如终端设备E发送的，即第一参数类型的保存值是由终端设备E计算得到的，第二置信度反映的是终端设备E的参数值的精度，对于这种情况，服务器会比较第二置信度和第一置信度的大小，判断第二置信度是否小于第一置信度。

S104，若所述第二置信度小于所述第一置信度，则所述服务器将所述保存值以及所述第二置信度分别替换为所述第一参数值以及所述第一置信度。

其中，若第二置信度小于第一置信度，则说明终端设备D提供的参数值精度优于终端设备E提供的参数值精度，也即相比第二参数值，第一参数值是由配置更好的终端设备计算得到的，因此，服务器将保存值以及第二置信度分别替换为第一参数值以及第一置信度，也即，将第一参数值作为新的保存值进行存储，同时存储第一参数值对应的第一置信度。

可以理解的，如果后续有新的终端设备F，通过终端设备F能够得到第一参数类型的第三参数值以及对应的第三置信度，且第三置信度大于第一置信度，则，服务器会将第三参数值作为新的保存值进行存储，同时存储第三参数值对应的第三置信度，这样，就能够对服务器存储的第一参数类型的保存值进行不断的更新，保证服务器存储的第一参数类型的保存值始终是由高精度的终端设备计算得到的。同理，可以对其它参数类型的保存值进行更新。

当某一终端设备需要第一参数类型的参数值，它先从服务器获取存储的当前使用该设备的用户的个性化参数，检查是否有所需参数值，且置信度不低于本终端设备的置信度，如果有，只需使用服务器提供的最新的第一参数类型的保存值即可。可以理解的，基于服务器参数融合的作用，当前设备从服务器获取的参数值可能是由不同类型的设备共同提供的，这些设备分别提供了当前设备所需的一批参数中的某一些。

根据上述的眼球追踪数据处理方法，服务器预先存储有第一参数类型的保存值以及与保存值对应的第二置信度，当终端设备向服务器发送眼球追踪校准参数时，服务器会比较预先存储的第二置信度与终端设备发送的眼球追踪校准参数中的第一置信度的大小，若第二置信度小于第一置信度，则说明该终端设备提供的校准参数精度更高，也即终端设备发送的眼球追踪校准参数中的第一参数值更加准确，因此，服务器会将保存值以及第二置信度分别替换为第一参数值以及第一置信度，这样，当其它低精度终端设备需要使用第一参数类型的参数时，可以从服务器中调用更加准确的第一参数值，解决了现有技术中低精度终端设备无法获得高精度校准参数值的问题。

此外，作为一个具体示例，服务器中还存储有与第一参数类型（例如角膜折射率）对应的贡献者数，贡献者数表示的是有多少个设备为这个参数（例如角膜折射率）的值做了贡献，当第一个设备提供值的时候，它是第一个贡献者，则服务器中存储的与第一参数类型对应的贡献者数就是1。基于此，所述服务器判断所述第二置信度是否小于所述第一置信度的步骤之后，所述方法还包括：

若所述第二置信度小于所述第一置信度，则所述服务器将所述保存值以及所述第二置信度分别替换为所述第一参数值以及所述第一置信度，并将所述贡献者数置为1。

此外，若所述第二置信度等于所述第一置信度，则采用下式对所述保存值进行替换，这样有效减弱某个贡献者误差较大带来的影响：

C=（A*N+B）/（N+1）；

其中，C表示替换后的所述保存值，A表示所述保存值，B表示所述第一参数值，N表示执行本次更新前保存的贡献者数；

并用N+1替换本次更新前保存的贡献者数，即服务器将贡献者数加一，也即增加了一个为第一参数类型的参数值做贡献的终端设备。

此外，还有一种情况，若所述服务器未存储第一参数类型的保存值以及与保存值对应的第二置信度，则直接将第一参数类型的第一参数值作为第一参数类型的保存值进行存储，同时存储第一参数值对应的第一置信度，并且将贡献者数置为1，也即只有一个终端设备为第一参数类型的参数值做贡献。

基于上述内容，本发明实现了基于置信度融合多个终端设备的眼球追踪校准参数，以优化用户的个性化眼球追踪校准参数值。

一般在考虑实现云端眼球追踪个性化数据管理方案的时候，采用为不同型号设备各自保留一个眼球追踪参数配置，这样每个用户对应有多个设备型号的配置，不同设备型号的参数配置不完全相同，互不影响，但可能交集。

而本发明中，通过眼球追踪个性化信息融合管理，并不为不同型号设备单独保留眼球追踪个性化，而是为每个用户只保留一份融合的配置，该配置可以覆盖用户使用的所有设备型号，没有冗余参数信息。因为眼球追踪的个性化参数是因人眼生理特征不同产生，所以以用户为中心进行数据管理是最合理的。

融合有一个很大的优势是，可以让低精度的设备使用高精度设备的参数值，从而改进低精度设备的性能。

融合的具体做法是把一个用户所使用过的所有设备的眼球追踪个性化信息在服务器进行融合，这是在用户使用过程中自动完成的，每当用户使用一个新设备型号的时候，有可能产生数据融合。

而且，另一优点就是，当用户第一次使用一个新型号的终端设备时，之前用户使用的所有设备中没有一个与它有完全相同的参数配置，但如果服务器保存的融合参数中已经有了它所需要的眼球追踪个性化校准参数，就可以直接使用，而所述新型号的终端设备不需要为用户执行一次新的校准操作。简化了用户操作，提升了用户体验。

具体的，当用户首次使用一新型号的终端设备，且用户之前使用的其它所有终端设备中没有一个与所述新型号的终端设备有完全相同的参数配置，则所述服务器判断是否存储有融合后的所述新型号的终端设备所需要的眼球追踪个性化校准参数；

若所述服务器存储有融合后的所述新型号的终端设备所需要的眼球追踪个性化校准参数，则所述新型号的终端设备直接使用融合后的所述新型号的终端设备所需要的眼球追踪个性化校准参数。

举例说明：

终端设备1贡献了参数：a

终端设备2贡献了参数：a,b

终端设备3贡献了参数：a,c

用户使用过这个三个设备后，系统会保存融合参数：a,b,c

如果这时有设备4，设备4需要a、b、c三个参数，它可以选择直接使用已经保存的参数值。

当然，设备4可能会产生更好的a、b、c（即设备4提供的参数值精度更高），如果设备4确实是这样，它在初始化阶段检测到服务器上有存储的参数a、b、c，但是至少有一个的置信度低于设备4的置信度，这时它应该执行眼球追踪校准过程产生新的a、b、c参数值，并发送到服务器，服务器重新执行融合，这就是置信度的引入意义。

设备4首先询问服务器是否有可用的参数值，如果有，它就根据自身的置信度判断是否使用已有的值（即保存值），如果已有的值基于置信度标准优于自己产生的值，设备4就用服务器中已有的值，否则就用自己产生参数值，并提交服务器执行融合。

此外，本发明还提供了基于实时服务性能的动态调度机制，来实现最佳的眼球追踪交互体验。该机制保证服务模块是可以实时动态被另一能实现同样服务功能但服务响应更优的另一个服务模块替换，而且这两个服务模块不一定在同一个计算节点上。所述服务模块包括在终端设备本地的服务模块和在服务器端的服务模块。

终端设备上的眼球追踪本地服务模块和服务器上的眼球追踪服务模块，都是为其他模块提供服务支撑，完成其他模块的服务请求，为区别它们，分别简称本地服务模块和云服务模块，又可统称为服务模块。

服务模块有一个基准服务响应时间的属性参数，该参数是服务模块在基于所部署计算节点处于某个负荷水平时统计其在一段预设长度的连续时间内处理服务请求的平均服务响应时间。

服务请求模块是需要服务模块为其提供服务的模块，有至少一个服务模块为其提供服务。

处于一个处理流程最末端的模块在该流程中，它是一个纯粹的服务模块，称为流程末端模块。

处于一个处理流程中间的模块可以即是服务模块又是服务请求模块。

因为可发起服务请求的眼球追踪主控模块处于终端设备上，因此终端设备至少会有一个服务请求模块。

本方案中，服务请求模块所需的每个服务，用服务描述子来定义它。服务描述子包括服务名、功能参数、性能参数、服务连接、期望服务水平和服务状态。其中，服务连接含有两个连接项，第一个是本地服务连接，第二个是远程服务连接。

1）服务名：指定了所请求的服务类别，比如校准服务、视线估计服务；

2）功能参数：是服务模块所接收的数据参数和返回的结果参数（这些参数根据具体眼球追踪技术方案实现来确定）；

3）性能参数：是服务模块可达到的服务水平，在一个实施例中，服务水平可以采用枚举类型，如取为：最快响应、均衡性能、最高精度三个值，这三值反映了服务模块处理服务请求所消耗的计算资源是不同的，最快响应对应的计算资源需求最少，完成服务请求处理所需时间最短；

4）服务连接：是服务请求模块与服务模块的具体实例建立通信连接所需的参数，在一个实施例中可用IP地址和端口号的组合来实现。

5）期望服务水平：是服务请求模块对服务模块的服务响应时间的预期。

6）服务状态：是当前正在提供服务的服务模块的服务响应时间，该服务响应时间是取设定最近一段时间T（取>0的值）内的平均服务响应时间。服务请求模块在每完成一次服务请求处理后刷新服务状态。

如果一个模块不需要任何服务模块提供服务支持，即它是一个处理流程中的最后一个模块，则它的服务连接为空。因此，流程末端模块的服务连接为空。

在一种实施例中，本地服务连接指向的服务模块可被看做是标配服务模块。当既有本地服务连接项和远程服务项都有有效值的时候，远程服务连接指向的服务模块必须是本地服务连接指向的本地服务模块的等价功能集或者是它的功能超集，即它能完成标配本地服务模块的所有功能。

本方案中，终端设备上本地服务模块不是必须的，当没有本地服务模块时，终端设备的服务请求模块的服务描述子中，本地服务连接项值为空。反之，当终端设备的服务请求模块的服务描述子中，本地服务连接项值为空时，终端决策模块认为终端设备上不存在对应的本地服务模块。

其中，终端设备中的终端决策模块通过与服务器中的服务器决策模块协商获得可用服务连接，获得后终端服务模块改变服务请求模块的服务连接配置。这里的可用服务连接是指在协商该连接时，服务器决策模块返回的预测服务响应水平被终端决策模块判定可接受的服务响应水平时，认可该服务连接为可用。

基于上述内容，本发明提供的方法还包括：

当一个服务描述子的本地连接、远程连接均为空的时候，终端决策模块认为没有本地服务模块，直接根据服务描述子中对所需服务的描述，跟服务器决策模块协商获得可用服务连接，作为远程服务连接，并通知服务请求模块远程连接项已经生效，可以建立服务连接请求服务处理。

在协商服务连接时，终端决策模块从预设默认的性能参数开始，沿着响应时间缩短的趋势方向，逐次进行协商。例如，服务性能水平分为最快响应、均衡性能、最高精度三个级别，三个级别可以预测响应时间是逐次增加的。假设默认性能配置是均衡性能，则终端决策模块可以尝试协商的有两个级别，而且是，首先尝试均衡性能，如果均衡性能水平协商返回的服务响应时间满足预期服务水平（服务器返回的服务响应时间+当前网络时延超< =期望服务水平），则协商完成。如果协商返回的服务响应时间超出期望服务水平（服务器返回的服务响应时间+当前网络时延超>期望服务水平），则继续协商下一个级别，即最快响应级别，如果返回的服务响应时间加上当前网络时延满足预期服务水平，则协商完成；如果返回的服务响应时间不能满足预期，因为这是最后一个级别了，如果这也是最后一个可协商的服务器，所以返回的服务连接一定被使用，并完成协商，如果还有其他服务器，重复该协商过程。

此外，请参阅图5，本发明提供的方法还包括：

S201，当所述终端设备采用服务描述子中的本地服务连接使用一个眼球追踪本地服务，且所述服务描述子的服务状态显示当前服务的平均响应时间超出期望服务水平时，所述终端设备根据服务描述子中对所需服务的描述，与所述服务器协商获得可用服务连接；

S202，所述服务器向所述终端设备反馈所述可用服务连接的预测服务响应水平；

S203，若所述服务器反馈的所述预测服务响应水平优于所述终端设备正在使用的本地服务连接所对应的服务响应水平，则所述终端设备将服务连接由本地服务连接切换为与所述服务器的远程服务连接。

具体的，终端设备的服务请求模块已发出的所有服务请求得到处理后，终止当前使用的本地服务连接，采用远程服务连接与云服务模块建立连接，成功建立连接后，通知终端决策模块切换完成，等待新服务需求出现后发出新的服务请求。与当前服务器协商未能获得可用服务连接时，如果还有其他服务器，则可重复以上协商过程，直到协商成功一个可用连接，或者完成所有协商尝试未果，则等待一段预设时间后再尝试协商。

此外，请参阅图6，所述方法还包括：

S301，当所述终端设备采用服务描述子中的远程服务连接使用一个所述服务器上的眼球追踪云服务，且所述服务描述子的服务状态显示当前服务的平均响应时间超出期望服务水平时，所述终端设备根据服务描述子中对所需服务的描述，判断是否存在非空的本地服务连接；

S302，若存在非空的本地服务连接，且所述终端设备测算到所述本地服务连接的服务响应水平在期望服务水平范围内，则所述终端设备将服务连接由与所述服务器的远程服务连接切换为本地服务连接。

切换完成后，终端决策模块通知服务器决策模块：终端设备已放弃使用远程连接对应的云服务模块。

此外，当一个终端设备的服务请求模块正在使用远程连接，服务描述子的服务状态显示当前服务的平均响应时间超出期望服务水平范围，而且该服务描述子本地服务连接项为空值。这时终端决策模块认为没有本地服务模块，直接根据服务描述子中对所需服务的描述，跟服务器决策模块协商尝试获得新的可用服务连接，如果得到新的可用服务连接，则更新远程服务连接项的值，并通知服务请求模块新的远程连接项已经生效，可以终止当前连接切换到新的远程服务连接。如果未能协商到新的可用远程服务连接，则保持不变。

下面以实例说明动态优化机制的过程：

对于一个眼球追踪系统，请参阅图7，终端设备包括眼球追踪主控模块、眼动数据采集模块、校准模块、视线估计模块和终端决策模块。

该实施例中，眼球追踪主控模块调度眼动数据采集模块控制视频传感器采集眼部视频数据。

其中，眼球追踪主控模块是服务请求模块，校准模块、视线估计模块是本地服务模块，它们之间的服务请求关系如图8所示。眼动数据采集模块由于不会有服务器端可替换模块，所以不设置为服务模块。

根据以上描述，眼球追踪主控模块有两个服务描述子SD1和SD2示例如表1，其中数值是示例性的。表中服务状态列，如果数据为零，表示还没有发生服务请求处理。

表1

本实施例中服务器的模块部署如图9所示，有三组服务，分别是位置计算服务、校准服务和视线估计服务，每一组服务都有不少于一个服务模块，多于一个模块时可以提供不能性能的服务请求响应服务。

以视线估计服务模块的切换为例。终端决策模块监控发现服务描述子SD2的服务状态值为40ms，超过期望服务水平30ms，表明当前终端设备上正在运行的应用负荷较重，导致正在使用的本地视线估计服务模块响应超过期望服务水平，终端决策模块立刻启动与服务器决策模块的协商。终端决策模块根据服务描述子SD2中的服务描述，组织协商请求发给服务器决策模块。服务器决策模块接收到协商请求，解析出服务名为“视线估计”确定请求的服务属于视线估计服务组，解析出功能参数列表，在视线估计服务组中筛选出参数列表匹配的候选服务模块，进一步解析出服务性能参数为“均衡”，从候选服务列表中进一步筛选出第一个匹配的模块，确定视线估计服务模块1符合协商请求的视线估计服务模块。服务器决策模块接下来测算该模块接收终端设备服务请求后的服务响应时间，如果预测的服务响应时间满足解析出的协商请求中期望服务水平，则匹配成功，返回匹配的云服务的连接信息（视线估计服务模块1运行实例的IP值和端口值）和预测的服务响应时间。

该实施例中，预测服务模块响应时间采用如下方法。首先为服务模块确定一个基准服务响应时间，该参数是服务模块在基于所部署计算节点的处于某个负荷水平时统计其在一段预设长度的连续时间内处理服务请求的平均响应时间，在进行该测量时的计算节点负荷水平称为基准负荷水平，基准负荷水平可以取一个值如80%，也可以是一个区间，如[80%,85%]，

在预测服务模块的服务响应时间时，通过对该模块的基准服务响应时间进行修正得到。例如，当前负荷偏离基准负荷水平达到（1+a）倍时，此时当前预测服务响应时间为基准服务响应时间与（1+a）的乘积，a为正表示当前负荷高于基准负荷，a为副表示当前负荷小于当前负荷。当然，也可以实测平均服务响应时间与基准响应时间的对应关系，得到更准确的修正关系式。

终端决策模块收到协商结果，解析是协商成功获得可用服务连接，则把SD2的远程连接改为获得的远程服务连接，并通知眼球追踪主控模块切换连接。眼球追踪主控模块收到切换连接通知后，在已发出的所有服务请求得到处理后，终止当前使用的本地服务连接，采用远程服务连接与视线估计服务模块1建立连接，并刷新服务状态值为0，此时SD2如下表2。然后眼球追踪主控模块新服务需求出现后向视线估计服务模块1发送服务请求。

表2

接下来说明一个服务请求模块在同时配置了本地服务连接和远程服务连接的情况，从远程连接切换回本地连接的过程。

现在眼球追踪主控模块的服务描述子SD2已经配置了本地连接和远程连接，并且正在使用远程连接的服务模块。终端决策模块监控眼球追踪主控模块的服务描述子中的服务状态，当检测到在预设的最近一段时间内服务响应时间超出期望服务水平，表明当前云服务模块响应显著下降。这时终端决策模块测算本地服务模块的服务响应水平，如果测算显示本地服务模块接管服务后的服务响应时间能让达到期望服务水平，则终端决策模块通知眼球追踪主控模块切换回到本地连接。眼球追踪主控模块收到切换连接通知后，在完成已发出的所有服务请求得到处理后，终止当前使用的远程服务连接，用本地服务连接与本地服务模块建立连接，连接建立成功后，刷新服务状态值为0，通知终端决策模块已完成切换，终端决策模块把SD2的远程连接重置为空，并通知服务器决策模块：终端设备已放弃使用远程连接对应的云服务模块。

再一种实施例情形：模块配置同前面实施例，现在终端设备上的视线估计模块配置为要根据眼动跟踪传感器的位置对视线估计进行补偿，为此需要计算眼球追踪传感器和眼球的相对位置，判断传感器偏离基准位置的幅度，据此偏离幅度对视线估计进行补偿修正。在实施例采用视频传感器的情形下，基准位置可以定义为当瞳孔在眼睛中央的时候对应的视频帧中出现在画面的中央区域。由于终端设备上没有位置服务，本地视线估计模块的服务描述子本地连接为空，在未与服务器协商到可用远程连接之前，其远程连接也是空，如表3所示。

表3

终端决策模块发现SD3的本地连接、远程连接均为空的时候，终端决策模块认为没有本地服务模块，直接跟服务器决策模块协商获得可用服务连接，作为远程服务连接，并通知本地视线估计模块远程连接项已经生效，可以建立服务连接请求服务处理。在协商服务连接时，终端决策模块从预设默认的最高精度性能参数开始，沿着响应时间缩短的趋势方向，逐次进行协商。假设本次协商服务器返回的最高精度服务的预测响应时间不能达到预期，则改为用次级的均衡性能进行协商，假设此次协商成功，本地视线估计服务建立远程服务连接，最终SD3远程连接配置更新完成后，如表4所示。

表4

下面以一具体应用场景对本发明进行说明：

用户A已经分配了账号A，他第一次使他的VR一体机设备D时，设备D开机后，主控模块检测到用户A还没有进行过校准操作（本地和服务器配置中没有用户校准数据），眼球追踪主控模块启动眼动数据采集模块，请求调用校准模块，校准模块显示眼球追踪校准程序界面，引导用户眼睛完成校准所需的交互动作（比如依次注视屏幕上动态显示的校准点），采集获得校准数据，最后根据校准模型计算得到该用户A的校准参数，该参数会在终端设备作为配置信息保持，并上传到服务器作为个性化参数的一部分保存。当下次用户A使用同类型设备登录时，该参数可以直接使用。具体校准参数根据采用的校准方法而异，比如基于单摄像头多红外光源的3D眼球模型眼球追踪方案，采用屏幕单注视或多注视点校准方案来确定眼球模型中的视线与光轴的夹角，该角度值即为参数值。

完成校准后，用户A可以进入VR内容界面，比如是一个模拟射击游戏，可以视线来直接瞄准，注视足够长时间触发射击。这个游戏过程开始时默认使用的终端设备本地的视线估计模块，当游戏场景复杂时，终端设备渲染画面计算压力大增，导致视线估计处理响应变慢，当终端决策模块监测到本地的视线估计模块响应已经低于预设的阈值时，向服务器请求视线估计服务支持，服务器决策模块评估后给出一个可以提供视线估计服务的连接和响应性能，终端决策模块收到服务器返回信息，比较发现服务器视线估计响应性能优于本地视线估计响应性能，终端决策模块修改主控模块请求视线估计服务的服务描述子，把服务连接改为服务器连接。终端决策模块检测到服务连接发生变化后，处理完当前一次视线估计请求后，把下一个服务请求发送到新的服务连接，由服务器端来处理服务视线估计。借助5G网络的低时延特性，远程服务请求响应时延可以达到毫秒级。用户A继续一段射击游戏后，在一个新的游戏场景中，终端设备的渲染负荷下降，而这时，网络和服务器的负荷都比加大。终端决策模块检测服务器视线估计服务响应低于预期水平，它把视线估计服务重新改回到本地视线估计估计模块，主控模块模块发现配置更改后把新的请求切换到本地视线估计服务。

另外一次，当用户A重新登录改系统时，它使用的终端设备可以是前一次的设备D，也可以另一台设备E。假如他用的是设备E，如果该设备E配置的眼球追踪需要校准的参数与设备D是一致的，则在服务器存储的用户个性化校准参数就可以在这次眼球追踪交互中直接使用，这就实现了把设备D的校准参数迁移到了设备E。

当用户A使用过多种不同类型的终端设备后，云端会记录他的不重复的个性化眼球追踪参数。比如设备D提供了KAPPA角参数信息，设备G提供了角膜折射率参数信息，等等。当再有一种新设备被使用的时候，如果它要求的个性化参数是已经存储的用户A个性化参数集合的一个子集，就不需要进行校准操作，可直接使用，只是这些参数可能来自多个不同型号的设备。

本发明另一实施例提出的眼球追踪数据处理系统，包括终端设备和服务器：

所述终端设备用于向所述服务器发送眼球追踪校准参数，所述眼球追踪校准参数至少包括第一参数类型的第一参数值、以及与所述终端设备的设备型号对应的第一置信度；

所述服务器用于判断是否存储有所述第一参数类型的保存值以及与所述保存值对应的第二置信度；

若所述服务器存储有所述第一参数类型的保存值以及与所述保存值对应的第二置信度，则所述服务器用于判断所述第二置信度是否小于所述第一置信度；

若所述第二置信度小于所述第一置信度，则所述服务器用于将所述保存值以及所述第二置信度分别替换为所述第一参数值以及所述第一置信度。

本实施例中，所述服务器中存储有与所述第一参数类型对应的贡献者数；

若所述第二置信度小于所述第一置信度，则所述服务器用于将所述保存值以及所述第二置信度分别替换为所述第一参数值以及所述第一置信度，并将所述贡献者数置为1。

本实施例中，若所述第二置信度等于所述第一置信度，则所述服务器用于采用下式对所述保存值进行替换：

C=（A*N+B）/（N+1）；

其中，C表示替换后的所述保存值，A表示所述保存值，B表示所述第一参数值，N表示执行本次更新前保存的贡献者数；

并用N+1替换本次更新前保存的贡献者数。

本实施例中，当所述终端设备采用服务描述子中的本地服务连接使用一个眼球追踪本地服务，且所述服务描述子的服务状态显示当前服务的平均响应时间超出期望服务水平时，所述终端设备用于根据服务描述子中对所需服务的描述，与所述服务器协商获得可用服务连接；

所述服务器用于向所述终端设备反馈所述可用服务连接的预测服务响应水平；

若所述服务器反馈的所述预测服务响应水平优于所述终端设备正在使用的本地服务连接所对应的服务响应水平，则所述终端设备用于将服务连接由本地服务连接切换为与所述服务器的远程服务连接。

本实施例中，当所述终端设备采用服务描述子中的远程服务连接使用一个所述服务器上的眼球追踪云服务，且所述服务描述子的服务状态显示当前服务的平均响应时间超出期望服务水平时，所述终端设备用于根据服务描述子中对所需服务的描述，判断是否存在非空的本地服务连接；

若存在非空的本地服务连接，且所述终端设备测算到所述本地服务连接的服务响应水平在期望服务水平范围内，则所述终端设备用于将服务连接由与所述服务器的远程服务连接切换为本地服务连接。

根据本实施例提供的眼球追踪数据处理系统，服务器预先存储有第一参数类型的保存值以及与保存值对应的第二置信度，当终端设备向服务器发送眼球追踪校准参数时，服务器会比较预先存储的第二置信度与终端设备发送的眼球追踪校准参数中的第一置信度的大小，若第二置信度小于第一置信度，则说明该终端设备提供的校准参数精度更高，也即终端设备发送的眼球追踪校准参数中的第一参数值更加准确，因此，服务器会将保存值以及第二置信度分别替换为第一参数值以及第一置信度，这样，当其它低精度终端设备需要使用第一参数类型的参数时，可以从服务器中调用更加准确的第一参数值，解决了现有技术中低精度终端设备无法获得高精度校准参数值的问题。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种眼球追踪数据处理方法，其特征在于，所述方法包括：

终端设备向服务器发送眼球追踪校准参数，所述眼球追踪校准参数至少包括第一参数类型的第一参数值、以及与所述终端设备的设备型号对应的第一置信度，第一置信度反映终端设备所提供的第一参数值的精度；

所述服务器判断是否存储有所述第一参数类型的保存值以及与所述保存值对应的第二置信度，第二置信度反映服务器中第一参数类型的保存值的精度；

若所述服务器存储有所述第一参数类型的保存值以及与所述保存值对应的第二置信度，则所述服务器判断所述第二置信度是否小于所述第一置信度；

若所述第二置信度小于所述第一置信度，则所述服务器将所述保存值以及所述第二置信度分别替换为所述第一参数值以及所述第一置信度；

若所述第二置信度大于所述第一置信度，则所述终端设备调用所述服务器的第一参数类型的保存值作为终端设备的第一参数值。

2.根据权利要求1所述的眼球追踪数据处理方法，其特征在于，所述服务器中存储有与所述第一参数类型对应的贡献者数；所述服务器判断所述第二置信度是否小于所述第一置信度的步骤之后，所述方法还包括：

若所述第二置信度小于所述第一置信度，则所述服务器将所述保存值以及所述第二置信度分别替换为所述第一参数值以及所述第一置信度，并将所述贡献者数置为1。

3.根据权利要求2所述的眼球追踪数据处理方法，其特征在于，所述服务器判断所述第二置信度是否小于所述第一置信度的步骤之后，所述方法还包括：

若所述第二置信度等于所述第一置信度，则采用下式对所述保存值进行替换：

C=（A*N+B）/（N+1）；

其中，C表示替换后的所述保存值，A表示所述保存值，B表示所述第一参数值，N表示执行本次更新前保存的贡献者数；

并用N+1替换本次更新前保存的贡献者数。

4.根据权利要求1所述的眼球追踪数据处理方法，其特征在于，所述方法还包括：

当所述终端设备采用服务描述子中的本地服务连接使用一个眼球追踪本地服务，且所述服务描述子的服务状态显示当前服务的平均响应时间超出期望服务水平时，所述终端设备根据服务描述子中对所需服务的描述，与所述服务器协商获得可用服务连接；

所述服务器向所述终端设备反馈所述可用服务连接的预测服务响应水平；

若所述服务器反馈的所述预测服务响应水平优于所述终端设备正在使用的本地服务连接所对应的服务响应水平，则所述终端设备将服务连接由本地服务连接切换为与所述服务器的远程服务连接。

5.根据权利要求1所述的眼球追踪数据处理方法，其特征在于，所述方法还包括：

当所述终端设备采用服务描述子中的远程服务连接使用一个所述服务器上的眼球追踪云服务，且所述服务描述子的服务状态显示当前服务的平均响应时间超出期望服务水平时，所述终端设备根据服务描述子中对所需服务的描述，判断是否存在非空的本地服务连接；

若存在非空的本地服务连接，且所述终端设备测算到所述本地服务连接的服务响应水平在期望服务水平范围内，则所述终端设备将服务连接由与所述服务器的远程服务连接切换为本地服务连接。

6.根据权利要求1所述的眼球追踪数据处理方法，其特征在于，所述方法还包括：

当用户首次使用一新型号的终端设备，且用户之前使用的其它所有终端设备中没有一个与所述新型号的终端设备有完全相同的参数配置，则所述服务器判断是否存储有融合后的所述新型号的终端设备所需要的眼球追踪个性化校准参数；

若所述服务器存储有融合后的所述新型号的终端设备所需要的眼球追踪个性化校准参数，则所述新型号的终端设备直接使用融合后的所述新型号的终端设备所需要的眼球追踪个性化校准参数。

7.一种眼球追踪数据处理系统，其特征在于，包括终端设备和服务器：

所述终端设备用于向所述服务器发送眼球追踪校准参数，所述眼球追踪校准参数至少包括第一参数类型的第一参数值、以及与所述终端设备的设备型号对应的第一置信度，第一置信度反映终端设备所提供的第一参数值的精度；

所述服务器用于判断是否存储有所述第一参数类型的保存值以及与所述保存值对应的第二置信度，第二置信度反映服务器中第一参数类型的保存值的精度；

若所述服务器存储有所述第一参数类型的保存值以及与所述保存值对应的第二置信度，则所述服务器用于判断所述第二置信度是否小于所述第一置信度；

若所述第二置信度小于所述第一置信度，则所述服务器用于将所述保存值以及所述第二置信度分别替换为所述第一参数值以及所述第一置信度；

若所述第二置信度大于所述第一置信度，则终端设备用于调用所述服务器的第一参数类型的保存值作为终端设备的第一参数值。

8.根据权利要求7所述的眼球追踪数据处理系统，其特征在于，所述服务器中存储有与所述第一参数类型对应的贡献者数；

若所述第二置信度小于所述第一置信度，则所述服务器用于将所述保存值以及所述第二置信度分别替换为所述第一参数值以及所述第一置信度，并将所述贡献者数置为1。

9.根据权利要求8所述的眼球追踪数据处理系统，其特征在于：

若所述第二置信度等于所述第一置信度，则所述服务器用于采用下式对所述保存值进行替换：

C=（A*N+B）/（N+1）；

其中，C表示替换后的所述保存值，A表示所述保存值，B表示所述第一参数值，N表示执行本次更新前保存的贡献者数；

并用N+1替换本次更新前保存的贡献者数。

10.根据权利要求7所述的眼球追踪数据处理系统，其特征在于：

当所述终端设备采用服务描述子中的本地服务连接使用一个眼球追踪本地服务，且所述服务描述子的服务状态显示当前服务的平均响应时间超出期望服务水平时，所述终端设备用于根据服务描述子中对所需服务的描述，与所述服务器协商获得可用服务连接；

所述服务器用于向所述终端设备反馈所述可用服务连接的预测服务响应水平；

若所述服务器反馈的所述预测服务响应水平优于所述终端设备正在使用的本地服务连接所对应的服务响应水平，则所述终端设备用于将服务连接由本地服务连接切换为与所述服务器的远程服务连接。

Images