CN109410285A - 一种校准方法、装置、终端设备及存储介质 - Google Patents

一种校准方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN109410285A
CN109410285A CN201811311763.2A CN201811311763A CN109410285A CN 109410285 A CN109410285 A CN 109410285A CN 201811311763 A CN201811311763 A CN 201811311763A CN 109410285 A CN109410285 A CN 109410285A
Authority
CN
China
Prior art keywords
calibration
information
user
server
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811311763.2A
Other languages
English (en)
Other versions
CN109410285B (zh
Inventor
黄通兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Beijing Qixin Yiwei Information Technology Co Ltd
Original Assignee
Beijing Qixin Yiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qixin Yiwei Information Technology Co Ltd filed Critical Beijing Qixin Yiwei Information Technology Co Ltd
Priority to CN201811311763.2A priority Critical patent/CN109410285B/zh
Publication of CN109410285A publication Critical patent/CN109410285A/zh
Priority to US16/533,292 priority patent/US11042217B2/en
Priority to EP19200376.2A priority patent/EP3650989B1/en
Priority to AU2019253847A priority patent/AU2019253847B2/en
Application granted granted Critical
Publication of CN109410285B publication Critical patent/CN109410285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32—Fiducial marks and measuring scales within the optical system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种校准方法、装置、终端设备及存储介质。所述方法包括：获取校准过程中的用户信息，所述用户信息用于确定校准后的信息；将所述用户信息和校准标识信息发送至服务器；接收所述服务器的所述校准后的信息。利用该方法，能够有效的节省终端设备的计算资源，提高终端设备处理效率。

Description

一种校准方法、装置、终端设备及存储介质
技术领域
本发明实施例涉及眼球追踪技术领域，尤其涉及一种校准方法、装置、终端设备及存储介质。
背景技术
随着人机交互技术的发展，眼球追踪技术得到了广泛的应用。眼球追踪，也称为视线追踪，是一种机器视觉技术，通过设备捕捉用户眼部图像，然后采用算法进行分析，最后得到用户注视位置的技术。
用户在首次使用眼球追踪产品进行辅助沟通、实验分析或玩游戏的时候，需要对用户注视点进行校准，以保证用户在使用眼球追踪产品时的准确性。在注视点校准过程中，需要终端设备采集用户注视显示屏上多个校准点时的数据，然后基于获取的数据进行注视点校准。
在对用户注视点进行校准时，均需要占用终端设备硬件资源进行图像处理和注视追踪计算。因此用户首次使用眼球追踪产品进行注视点校准时，终端设备无法像不用眼球追踪产品时顺畅，有可能会出现卡顿现象，降低了用户的使用体验。
发明内容
本发明实施例提供了一种校准方法、装置、终端设备及存储介质，有效提升了用户首次使用眼球追踪产品进行注视点校准时终端设备的处理速度。
第一方面，本发明实施例提供了一种校准方法，包括：
获取校准过程中的用户信息，所述用户信息用于确定校准后的信息；
将所述用户信息和校准标识信息发送至服务器；
接收所述服务器的所述校准后的信息。
第二方面，本发明实施例还提供了一种校准方法，包括：
接收终端设备发送的用户信息和校准标识信息；
根据所述用户信息和校准标识信息，确定校准后的信息；
将所述校准后的信息发送至所述终端设备。
第三方面，本发明实施例提供了一种校准方法，包括：
终端设备获取校准过程中的用户信息，所述用户信息用于确定校准后的信息；
所述终端设备将所述用户信息和校准标识信息发送至服务器；
所述服务器接收所述终端设备发送的所述用户信息和校准标识信息；
所述服务器根据所述用户信息和校准标识信息确定校准后的信息，并将所述校准后的信息发送至所述终端设备；
所述终端设备接收所述校准后的信息。
第四方面，本发明实施例提供了一种校准装置，包括：
信息获取模块，用于获取校准过程中的用户信息，所述用户信息用于确定校准后的信息；
信息发送模块，用于将所述用户信息和校准标识信息发送至服务器；
结果接收模块，用于接收所述服务器的所述校准后的信息。
第五方面，本发明实施例提供了一种校准装置，包括：
信息接收模块，用于接收终端设备发送的用户信息和校准标识信息；
结果确定模块，用于根据所述用户信息和校准标识信息，确定校准后的信息；
结果发送模块，用于将所述校准后的信息发送至所述终端设备。
第六方面，本发明实施例还提供了一种终端设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面所提供的校准方法；
眼球追踪装置，分别与所述处理器和存储装置连接，用于获取校准过程中的用户信息；
通信装置，分别与所述处理器和存储装置连接，用于将用户信息和校准标识信息发送至服务器并接收所述服务器的校准后的信息；
显示装置，分别与所述处理器和存储装置连接，用于显示标识物、校准点和初始校准界面。
第七方面，本发明实施例提供了一种服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第二方面所提供的校准方法；
数据通信装置，分别与所述处理器和存储装置连接，用于接收终端设备发送的用户信息和校准标识信息并将校准后的信息发送至所述终端设备。
第八方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所提供的校准方法。
第九方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第二方面所提供的校准方法。
本发明实施例提供了一种校准方法、装置、终端设备及存储介质，利用上述技术方案，能够获取用户注视校准点时的用户信息；然后将该用户信息和对应的校准标识信息发送至服务器，使服务器基于用户信息和对应的校准标识信息确定校准后的信息；最后接收服务器反馈的校准后的信息以完成注视点的校准，该校准方法有效的节省了终端设备的计算资源，提高了终端设备处理效率，提升了用户使用终端设备的体验。此外，通过服务器进行校准计算能够方便升级校准算法，同时校准算法存储于服务器中有效的增加了校准算法的保密性。
附图说明
图1a为本发明实施例一提供的一种校准方法的流程示意图；
图1b为本发明实施例一提供的校准后的信息显示示意图；
图2a为本发明实施例二提供的一种校准方法的流程示意图；
图2b为本发明实施例二提供的初始校准界面示意图；
图2c为本发明实施例二提供的校准界面中校准点位置示意图；
图2d为本发明实施例二提供的基于校准后的信息进行注视点追踪的场景示意图；
图3为本发明实施例三提供的一种校准方法的流程示意图；
图4a为本发明实施例四提供的一种校准方法的流程示意图；
图4b为本发明实施例四提供的校准时序图；
图5为本发明实施例五提供的一种校准装置的结构示意图；
图6为本发明实施例六提供的一种校准装置的结构示意图；
图7为本发明实施例七提供的一种终端设备的结构示意图；
图8为本发明实施例八提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1a为本发明实施例一提供的一种校准方法的流程示意图，该方法可适用于用户使用眼球追踪产品前进行校准的情况，更加具体的，该方法可适用于用户使用眼球追踪产品前进行注视点校准的情况。该方法可以由校准装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上，在本实施例中终端设备包括但不限于：计算机、个人数字助理或手机等设备。
目前，用户首次使用眼球追踪产品时，均需要占用终端设备硬件资源进行图像处理和注视追踪计算。这就导致了：需要在用户本地电脑(以集成眼球追踪产品的电脑为例)中使用本地计算资源进行图像处理和注视点追踪，这样的方式需要用户电脑硬件配置非常好，否则会造成用户资源的占用、电脑卡顿、反应慢和用户体验不理想等问题，如果需要更好的用户体验，需要重新购买或者升级现有的硬件设备，这样就导致用户入门使用门槛提高。此外，眼球注视追踪算法(校准算法)保密性降低：用户在使用眼球追踪技术时候，所有的文件是存放在用户本地电脑中，每个用户电脑一份，这样降低了保密性，并且用户升级时需要到指定的位置去下载对应的眼球注视追踪算法，这样既增加用户使用难度，又降低了眼球追踪技术算法的保密性。
如图1a所示，本发明实施例一提供的一种校准方法，包括如下步骤：
S101、获取校准过程中的用户信息，所述用户信息用于确定校准后的信息。
一般的，用户初次使用眼球追踪产品时，都需要进行注视点校准。在本实施例中，校准过程可以理解为眼球追踪产品进行注视点校准的过程。校准过程可以是在显示装置上显示供用户进行注视的一些校准点、一片校准区域或一段校准轨迹等校准标识。为了便于用户注视校准点，校准点可以设置为同心圆图案，还可以在同心圆中心处进行十字显示。用户信息可以理解为校准过程中用户的特征数据，该特征数据可以用于确定用户注视校准点、校准区域或校准轨迹时的实际注视点、实际注视区域或实际注视轨迹。其中，实际注视点可以理解为校准过程中在显示装置中用户视线实际看向的点。
其中，用户信息可以包括眼部特征信息和用户位置信息；用户信息还可以仅包括眼部特征信息。眼部特征信息可以理解为校准过程中通过眼球追踪装置获取的眼部数据。用户位置信息可以理解为校准过程中用户相对于眼球追踪产品的位置。
当校准过程中校准标识不同时，本步骤获取的用户信息可以不同。如，当校准标识为校准点时，用户信息可以为用户注视校准点时的眼部特征信息；当校准标识为校准轨迹时，用户信息可以为预设时间内的眼部特征信息。
本步骤并不对获取用户信息的方式进行限定。一般的，获取用户位置信息时，可以通过图像采集装置采集用户图像，然后对用户图像和预先存储的基准图像进行分析得到用户位置信息；也可以通过位置传感器得到用户位置信息。获取用户眼部特征信息时，可以采用瞳孔-角膜反射法，也可以基于接触/非接触式的传感器(例如电极、电容传感器)推算眼睛的运动。
可选的，当获取用户的眼部特征信息时，本步骤可以通过眼球追踪装置获取。眼球追踪装置可以理解为获取用户眼球特征以对用户眼球进行追踪的装置。眼球追踪装置可以为眼动仪，也可以为照相机或摄像机。其中，眼部特征信息可以包括眼部图像信息、瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置和/或光斑(也称为普尔钦斑)位置等。
可以理解的是，用户眼部特征信息可以包括用户左眼特征信息，也可以包括用户右眼特征信息。
在本实施例中，当不同用户初次使用眼球追踪产品时，都会触发眼球追踪产品进入校准模式，以对该用户注视点进行校准。可以理解的是，眼球追踪产品可以对用户进行身份认证以确定该用户是否为初次使用者。如，眼球追踪产品可以基于用户登录眼球追踪产品时的登录标识确定用户身份，也可以基于用户标识信息如虹膜特征、指纹特征和/或声纹特征确定用户身份。当用户为初次使用者时，眼球追踪产品可以直接进入校准模式。
S102、将所述用户信息和校准标识信息发送至服务器。
在本实施例中，校准标识信息可以理解为用于标识校准标识的数据。校准标识信息可以包括校准标识的位置信息和校准标识的深度信息。校准标识可以为一些校准点、一片校准区域或一段校准轨迹。
服务器可以理解为与终端设备进行通信连接的设备。该设备可以接收用户信息和校准标识信息以辅助终端设备完成校准计算。
当获取校准过程中的用户信息后，本步骤可以将用户信息和校准标识信息发送至服务器，以使服务器基于接收到的用户信息和校准标识信息进行校准计算。这样能够有效节省终端设备的计算资源。可以理解的是，终端设备与服务器间可以始终进行通信连接；也可以在终端设备获取完用户信息后，向服务器发送通信连接请求，以建立与服务器的通信连接。
S103、接收所述服务器的校准后的信息。
在本实施例中，校准后的信息可以理解为服务器校准结束后返回的数据。校准后的信息可以包括校准结果、校准后的图像和/或下一步操作界面等。
可以理解的是，基于校准后的信息所包含内容的不同本实施例在接收服务器的校准后的信息后可以执行不同的操作，即，可以将该校准后的信息进行存储，也可以显示校准后的信息供用户查看。校准完毕后，用户就可以使用校准后的眼球追踪产品进行辅助沟通。
具体地，校准后的信息可以包括校准结果，也可以不包括校准结果。当校准后的信息包括校准结果时，基于该校准后的信息用户可以使用眼球追踪产品进行注视点追踪，实现眼睛和显示设备的交互。一般的，校准后的信息中的校准结果可以包括实际注视点(基于用户眼部特征信息确定的注视点)、用户位置信息和校准点间的对应关系。在每次使用眼球追踪产品时，可以基于该对应关系使用校准后的注视点进行人机交互；当校准后的信息不包括校准结果时，终端设备在基于眼球追踪产品进行视线追踪时，可以仅获取用户的眼部特征信息，由服务器基于校准结果进行注视点的确定，以实现人机交互功能。
图1b为本发明实施例一提供的校准后的信息显示示意图。其中，图1b中所示出的校准后的信息可以为实际注视点与校准点的对应关系。如图1b所示，其示出了校准点11、左眼实际注视点12和右眼实际注视点13的位置关系。可以理解的是，图1b中仅以一个校准点11为例，并未将全部校准点及对应的实际注视点(左眼实际注视点和右眼实际注视点)的对应关系示出。
本发明实施例一提供了一种校准方法。利用上述方法，能够获取校准过程中的用户信息；然后将该用户信息和对应的校准标识信息发送至服务器，使服务器基于用户信息和对应的校准标识信息确定校准后的信息；最后接收服务器反馈的校准后的信息以完成注视点的校准，该校准方法有效的节省了终端设备的计算资源，降低了硬件使用标准，提高了终端设备处理效率，提升了用户使用终端设备的体验。此外，通过服务器进行校准计算能够方便升级校准算法，同时校准算法存储于服务器中有效的增加了校准算法的保密性。
实施例二
图2a为本发明实施例二提供的一种校准方法的流程示意图，本实施例二在上述各实施例的基础上进行优化。在本实施例中，在所述获取校准过程中的用户信息之前，进一步优化包括了：启动校准操作，提供一标识物，所述标识物被配置在显示装置对应于用户头部位置处；所述标识物的移动范围在预设范围内，则获取用户位置信息。
进一步地，本实施例还将获取校准过程中的用户信息，进一步优化为：根据预设规则显示至少两个校准点；获取用户注视各校准点时的眼部特征信息。
在上述优化的基础上，本实施例还使将所述用户信息和校准标识信息发送至服务器，具体优化为：各所述校准点对应的眼部特征信息获取完成，则将用户位置信息、各所述眼部特征信息和对应的校准标识信息发送至服务器；相应的，所述校准后的信息包括所述眼部特征信息对应的实际注视点、用户位置信息和校准点间的对应关系。
进一步地，本实施例还在所述获取校准过程中的用户信息之前，优化包括了：启动开始操作，显示初始校准界面。本实施例尚未详尽的内容请参考实施例一。
如图2a所示，本发明实施例二提供的一种校准方法，包括如下步骤：
S201、启动开始操作，显示初始校准界面。
在本实施例中，开始操作可以由启动指令触发启动，启动指令可以理解为启动校准的命令。初始校准界面可以理解为进行校准的第一个操作界面。该初始校准界面中可以包括校准提示，校准提示可以理解为供用户查看的提示信息。
一般的，启动指令可以为用户通过相应按键触发的指令；也可以是基于用户的身份信息进行识别所触发的指令。对用户身份信息进行识别时可以基于用户的登录标识、虹膜特征、声纹特征和/或指纹特征。当对用户身份信息进行识别确定该用户为首次使用者时，可以触发启动指令。
本步骤基于启动指令启动开始操作后，可以首先将初始校准界面显示在显示装置中，供用户进行操作。
图2b为本发明实施例二提供的初始校准界面示意图。如图2b所示，该初始校准界面中包含有校准提示21，其中，校准提示21的位置及内容不作限定，本领域技术人员可以根据需求进行选择。如可以将校准提示21放置在校准界面中任一空白位置处。校准提示21的具体内容可以为，“按任意键开始校准”、“按确定键开始校准”或“按空格键开始校准”等。此外，该初始校准界面中还可以包括位置调节框22和标识物23。该标识物23可以标识用户头部位置，位置调节框22可以用于限定标识物23所移动的范围。
S202、启动校准操作，提供一标识物，所述标识物被配置在显示装置对应于用户头部位置处。
在本实施例中校准操作可以由校准指令触发，校准指令可以理解为开始进行校准的指令。在本实施例中，在进行校准时，可以首先通过启动指令进入校准模式。在眼球追踪产品处于校准模式时，可以首先在显示装置中显示初始校准界面供用户再次确定是否开始校准，当需要开始校准时，用户可以触发校准指令。标识物可以理解为初始校准界面中用于标识用户头部位置的标识信息。
可以理解的是，该校准指令可以为用户通过相应按键触发的指令，也可以是通过用户语音或眼部特征触发的指令。
一般的，当开始校准时，本实施例可以首先对用户的坐姿进行调整，在对用户坐姿进行调整时，可以基于标识物对用户坐姿进行调整。本步骤可以在显示装置中对应于用户头部位置的位置处显示标识物，以指示用户当前位置。其中，显示装置中对应于用户头部位置的位置可以为用户相对于显示装置的位置。如图2b所示，标识物23的位置可以设置在显示装置中对应于用户头部位置。标识物23的位置根据用户头部位置的变化而变化。可以理解的是，该标识物23还可以设置为所采集到的用户图像。将采集到的用户图像显示在显示装置对应位置处，以完成用户坐姿的调整。
参见图2b，当启动校准操作后，可以开始进行校准。在开始校准时，校准界面中校准提示21的内容可以为“确定头动范围：挪动头部并保持小猫位于窗内”，从而指示用户进行坐姿调整，其中小猫可以为标识物23，标识物23在显示装置中的位置可以对应于用户头部位置。窗可以为位置调节框22。
S203、判断所述标识物的移动范围是否在预设范围内，若是，则执行S204；若否，则执行S202。
在本实施例中，预设范围可以为预先设定的头动范围。本步骤可以通过判断标识物的移动范围是否在预设范围内确定用户坐姿是否标准。可以理解的是，标识物的位置可以反映用户头部位置，故通过判断标识物的移动范围既可以对用户坐姿进行判断。当用户移动时，显示装置中标识物的位置也会进行对应的移动。当标识物的移动范围在预设范围内时，可以认为用户坐姿标准。
一般的，如果在预设次数或预设时间内标识物的移动范围均在预设范围内，则可以执行S204；否则，可以说明用户当前坐姿不满足条件，可以提醒用户进行坐姿调整并继续将标识物配置在显示装置中对应于用户头部位置处，即执行S202，直至标识物的移动范围在预设范围内。需要注意的是，为了避免计算误差，也可以在标识物的移动范围在预设范围内的次数大于一定值时，即执行S204。
S204、获取用户位置信息。
此处并不对用户位置信息的获取方式进行限定。本步骤可以通过位置传感器进行获取；也可以通过对用户图像进行分析得到用户位置信息。获取用户位置信息可以供服务器进行校准后的信息的确定。
S205、根据预设规则显示至少两个校准点。
一般的，校准点的位置、形状及数量等信息可以为预先设定的。当完成用户坐姿调整后，本步骤可以根据预设规则显示预先设定的校准点，校准点的个数可以为至少两个。可以理解的是，校准点个数越多校准后的信息越准确。其中，预设规则可以为预先设定的校准点的显示规则，如依次显示或同时显示。可以理解的是，各校准点可以位于显示装置不同位置处，以便于更加精准的对用户注视点进行校准。
图2c为本发明实施例二提供的校准界面中校准点位置示意图。如图2c所示，各个校准点31可以位于显示装置不同位置处。更加具体的，各个校准点31可以均匀分布在显示装置中。
在进行校准时，本步骤可以将图2c中各校准点依次显示供用户进行注视。可以理解的是，各个校准点31的显示顺序不作限定，可以将显示界面中左上角至右下角的各校准点31依次显示，也可以任取一个校准点31进行显示；还可以从显示装置正中间位置处的校准点31起依次进行显示。
S206、获取用户注视各校准点时的眼部特征信息。
当显示装置中显示校准点时，本步骤则可以获取用户注视校准点时的眼部特征信息。当各校准点依次显示于显示装置上时，本步骤可以依次获取用户注视各校准点时的眼部特征信息。所述眼部特征信息对应所述用户的实际注视点。可以理解的是，本步骤在获取用户注视各校准点时的眼部特征信息时，可以将各眼部特征信息进行保存。
S207、各所述校准点对应的眼部特征信息获取完成，则将用户位置信息、各所述眼部特征信息和对应的校准标识信息发送至服务器。
在本步骤中，校准点对应的眼部特征信息可以理解为校准点显示时所获取的用户注视该校准点时的眼部特征信息。
当预先设定的所有校准点对应的眼部特征信息均获取完成时，即用户注视了预先设定的所有校准点，并获取了用户注视所有校准点的眼部特征信息时，本步骤可以将获取的用户位置信息、所有眼部特征信息和对应的校准标识信息发送至服务器，以供服务器进行校准计算。其中本步骤中的校准标识可以为校准点，相应地，校准标识信息可以为校准点信息。
此外，本步骤也可以在每获取完一个校准点对应的眼部特征信息后，将该眼部特征信息和对应的校准标识信息和用户位置信息发送至服务器。可以理解的是，用户位置信息也可以在校准过程中仅发送一次，如在本次校准过程中首次向服务器发送用户眼部特征信息和校准标识信息时或向服务器发送最后一个眼部特征信息和对应的校准标识信息时发送。
可以理解的是，如果终端设备和服务器没有建立通信连接，则终端设备可以先向服务器发送连接请求。在与服务器建立通信连接后，将用户位置信息、各眼部特征信息和对应的校准标识信息发送至服务器。
S208、接收所述服务器的校准后的信息，所述校准后的信息包括所述眼部特征信息对应的实际注视点、用户位置信息和校准点间的对应关系。
本步骤中的校准后的信息可以为校准结果，服务器向终端设备发送校准结果以供终端设备基于该校准结果进行视线追踪。
图2d为本发明实施例二提供的基于校准后的信息进行注视点追踪的场景示意图。在接收到服务器发送的校准后的信息后，即可基于该校准后的信息进行注视点追踪。如图2d所示，终端设备41中显示有操作对象42和各个操作按钮，如“>”、“<”、“背部”、“手部”、“足部”和“返回”等。当校准后的信息中包括校准结果时，终端设备41可通过眼球追踪装置获取用户信息然后基于校准后的信息确定用户实际想要操作的点，以实现人机交互；当校准后的信息不包括校准结果时，终端设备41可以通过眼球追踪装置获取用户信息，然后使服务器基于该用户信息实现人机交互。
本发明实施例二提供的一种校准方法，优化增加了确定用户位置信息的操作和显示初始校准界面操作；具体化了信息获取操作和信息发送操作。利用该方法，能够在启动开始操作后，显示初始校准界面，以进一步监听校准指令确定是否启动校准操作。在校准的过程中终端设备首先通过标识物的位置标识用户头部位置，以实现对用户坐姿的调整。当坐姿调整完成后获取用户注视各校准点时的眼部特征信息，当预先设定的各校准点对应的眼部特征信息获取完成后，将用户位置信息、各眼部特征信息和对应的校准标识信息发送至服务器，以供服务器进行校准计算。然后接收服务器的校准后的信息以完成校准。该校准方法在节省终端设备的计算资源，提升校准算法保密性的基础上更加准确的对用户信息和校准标识信息进行获取，提升了注视点校准的准确率。
实施例三
图3为本发明实施例三提供的一种校准方法的流程示意图，该方法可适用于用户使用眼球追踪产品前进行校准的情况，该方法可以由校准装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在服务器上，在本实施例中服务器包括但不限于：计算机。该计算机相较于执行实施例一中的计算机而言可以具有较强的配置，如具备较强的处理数据能力。
如图3所示，本发明实施例三提供的一种校准方法，包括如下步骤：
S301、接收终端设备发送的用户信息和校准标识信息。
在本实施例中，用户信息可以理解为在校准过程中用户的特征数据，该特征数据可以用于确定用户注视校准点、校准区域或校准轨迹时的实际注视点、实际注视区域或实际注视轨迹。所述用户信息可以包括用户的眼部特征信息和用户位置信息，也可以仅包括用户眼部特征信息。眼部特征信息可以理解为校准过程中通过眼球追踪装置获取的眼部数据。用户位置信息可以理解为校准过程中用户相对于眼球追踪产品的位置。其中，实际注视点可以理解为校准过程中在显示装置中用户视线实际看向的点。校准标识信息可以理解为用于标识校准标识的数据。校准标识信息可以包括校准标识的位置信息和校准标识的深度信息。校准标识可以为一些校准点、一片校准区域或一段校准轨迹。
本步骤可以接收终端设备发送的用户信息和校准标识信息用于进行校准计算。
S302、根据用户信息和校准标识信息，确定校准后的信息。
本步骤可以首先基于用户信息确定用户实际注视点、注视区域和/或注视轨迹，然后建立其(实际注视点、注视区域和/或注视轨迹)和校准标识信息的对应关系，以确定校准后的信息。其中用户信息中还可以包括用户位置信息，故在确定校准后的信息时，也可以结合用户位置信息确定校准后的信息。
此处并不对确定对应关系的具体技术手段进行限定，本领域技术人员可以根据实际需求进行确定。示例性的，可以将实际注视点、用户位置信息和校准点代入注视点估计模型中，确定待求解的校准参数，从而得到三者的对应关系。
其中眼部特征信息可以包括眼部图像信息、瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置和/或光斑(也称为普尔钦斑)位置等。此处并不对基于眼部特征确定用户实际注视点的具体技术手段进行限定。本领域技术人员可以基于眼部特征信息所包含的具体内容确定对应的技术手段确定实际注视点、注视区域和/或注视轨迹。
示例性的，可以通过分析用户瞳孔特征和光斑特征的相对位置确定用户实际注视点；也可以通过用户虹膜特征和光斑特征的相对位置信息确定用户的实际注视点。
S303、将所述校准后的信息发送至所述终端设备。
在确定完校准后的信息后，本步骤可以将校准后的信息发送至终端设备，以使终端设备基于该校准后的信息使用眼球追踪产品进行辅助沟通。校准后的信息可以包括校准结果、校准后的图像和/或下一步操作界面等。校准结果可以包括实际注视点(基于用户眼部特征信息确定的注视点)、用户位置信息和校准点间的对应关系。
进一步地，根据所述用户信息和校准标识信息，确定校准后的信息，包括：
根据所述用户信息对应的实际注视点和校准标识信息，确定所述实际注视点和校准点的映射关系；
根据用户位置信息和所述映射关系，确定校准后的信息。
在确定校准后的信息时，可以首先基于用户信息对应的实际注视点和校准标识信息，确定实际注视点和校准点的映射关系。然后将该映射关系和用户位置信息建立对应关系以得到校准后的信息。其中，用户位置信息可以包括在用户信息中，也可以在终端设备向服务器发送用户信息和校准标识信息时发送。相应的，校准后的信息可以包括实际注视点、用户位置信息和校准点间的对应关系。
示例性的，本步骤可以将实际注视点的位置信息和校准标识信息代入预先选取的映射关系模型，求得映射参数，从而得到实际注视点和校准点的映射关系；也可以计算各实际注视点与对应的校准标识信息间的位置偏差，得到实际注视点和校准点间的映射关系。本步骤在根据用户位置信息和映射关系确定校准后的信息时，可以直接建立用户位置信息和映射关系的对应表，以得到校准后的信息。
本发明实施例三提供了一种校准方法。利用上述方法，能够基于接收的用户信息和校准标识信息确定校准后的信息，在确定完校准后的信息后可以将该校准后的信息发送至终端设备，以节省终端设备进行校准后的信息计算的计算资源。提高了终端设备处理效率，提升了用户使用终端设备的体验。此外，在服务器端进行校准计算能够有效的增加校准算法的保密性。
实施例四
图4a为本发明实施例四提供的一种校准方法的流程示意图，本实施例在上述实施例的基础上具体化了终端设备和服务器的交互过程。本实施例可适用于终端设备和服务器交互完成注视点校准的情况。
如图4a所示，本发明实施例四提供的一种校准方法，包括如下步骤：
S401、终端设备获取校准过程中的用户信息，所述用户信息用于确定校准后的信息。
S402、所述终端设备将所述用户信息和校准标识信息发送至服务器。
S403、所述服务器接收所述终端设备发送的所述用户信息和校准标识信息。
S404、所述服务器根据所述用户信息和校准标识信息确定校准后的信息，并将所述校准后的信息发送至所述终端设备。
S405、所述终端设备接收所述校准后的信息。
本实施例中需要的基本条件为：集成有眼球追踪装置的终端设备、存储有校准算法的服务器，校准算法包括计算注视点的眼球追踪算法。在终端设备中应用校准后的信息确定注视点时，终端设备中还可以包括调用注视点实现眼睛和显示设备交互的辅助沟通、试验分析软件。该软件可以辅助确定用户注视点。
一般的，当用户初次使用眼球追踪产品时，都需要对用户注视点进行校准。开始校准后，终端设备可以出现初始校准界面，并逐次显示校准点同时保存用户注视各校准点时的用户信息。校准点显示完毕后，将校准过程中获取的各数据打包发送至服务器，供服务器进行校准计算，节省了终端设备的计算资源，省时省力，用户体验增加。服务器得到校准后的信息(通过服务器计算校准后的信息方便升级计算校准算法，同时增加校准算法保密性)后，将校准后的信息返回终端设备，用户基于该校准后的信息可以使用眼球追踪产品。
可以理解的是，在进行校准的过程中，终端设备相应数据均进行了保存，然后在校准点显示完毕后，将所有数据(校准标识信息和用户信息)发送至服务器，由服务器进行计算并将校准后的信息返回给终端设备。
本实施例中终端设备与服务器交互完成校准的具体操作可参见上述实施例，在此不再赘述。
图4b为本发明实施例四提供的校准时序图。如图4b所示，用户可以首先启动眼球追踪，本地电脑(终端设备)监测到启动指令后，可以通过初始校准界面提示校准。用户触发校准指令启动校准操作。本地电脑监测到校准指令后显示校准收集数据，即通过显示装置显示校准点，然后收集用户注视各校准点时的用户信息。在所有校准点对应的用户信息均获取完成后，本地电脑可以将用户信息和校准标识信息发送至云端(服务器)。服务器接收到本地电脑传输的数据后，计算校准后的信息，并将校准后的信息反馈给本地电脑。本地电脑接收到校准后的信息后通知用户开始使用眼球追踪。
本发明实施例四提供了一种校准方法。利用上述方法，能够通过终端设备与服务器交互，完成了对用户注视点的校准。通过服务器进行校准计算有效的节省了终端设备的计算资源，提高了终端设备的处理效率。此外，通过服务器进行校准计算能够有效的增加校准算法的保密性，节省校准后的信息的计算时间。
实施例五
图5为本发明实施例五提供的一种校准装置的结构示意图，该装置可适用于用户使用眼球追踪产品前进行校准的情况，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上。
如图5所示，该装置包括：信息获取模块51、信息发送模块52和结果接收模块53；
其中，信息获取模块51，用于获取校准过程中的用户信息，所述用户信息用于确定校准后的信息；
信息发送模块52，用于将所述用户信息和校准标识信息发送至服务器；
结果接收模块53，用于接收所述服务器的所述校准后的信息。
在本实施例中，该装置首先通过信息获取模块51获取校准过程中的用户信息，所述用户信息用于确定校准后的信息；其次通过信息发送模块52将所述用户信息和校准标识信息发送至服务器；最后通过结果接收模块53接收所述服务器的所述校准后的信息。
本实施例提供了一种校准装置，能够获取用户注视校准点时的用户信息；然后将该用户信息和对应的校准标识信息发送至服务器，使服务器基于用户信息和对应的校准标识信息确定校准后的信息；最后接收服务器反馈的校准后的信息以完成注视点的校准。该校准方法有效的节省了终端设备的计算资源，提高了终端设备处理效率，提升了用户使用终端设备的体验。此外，通过服务器进行校准计算能够方便升级校准算法，同时校准算法存储于服务器中有效的增加了校准算法的保密性。
进一步的，本实施例中的校准装置，还优化包括了：
标识物配置模块，用于启动校准操作，提供一标识物，所述标识物被配置在显示装置对应于用户头部位置处；
位置获取模块，用于所述标识物的移动范围在预设范围内，则获取用户位置信息。
在上述优化的基础上，信息获取模块51，具体用于：根据预设规则显示至少两个校准点；获取用户注视各校准点时的眼部特征信息。
基于上述技术方案，信息发送模块52，具体用于：各所述校准点对应的眼部特征信息获取完成，则将用户位置信息、各所述眼部特征信息和对应的校准标识信息发送至服务器；相应的，所述校准后的信息包括所述眼部特征信息对应的实际注视点、用户位置信息和校准点间的对应关系。
进一步地，本实施例中的校准装置，还优化包括了：
校准界面显示模块，用于启动开始操作，显示初始校准界面。
上述校准装置可执行本发明实施例一或实施例二所提供的校准方法，具备执行方法相应的功能模块和有益效果。
实施例六
图6为本发明实施例六提供的一种校准装置的结构示意图。该装置可适用于用户使用眼球追踪产品前进行校准的情况，其中该装置可由软件和/或硬件实现，并一般集成在服务器上。
如图6所示，该装置包括：信息接收模块61、结果确定模块62和结果发送模块63；
其中，信息接收模块61，用于接收终端设备发送的用户信息和校准标识信息；
结果确定模块62，用于根据所述用户信息和校准标识信息，确定校准后的信息；
结果发送模块63，用于将所述校准后的信息发送至所述终端设备。
在本实施例中，该装置首先通过信息接收模块61接收终端设备发送的用户信息和校准标识信息；其次通过结果确定模块62根据所述用户信息和校准标识信息，确定校准后的信息；最后通过结果发送模块63将所述校准后的信息发送至所述终端设备。
本实施例提供了一种校准装置，能够基于接收的用户信息和校准标识信息确定校准后的信息，在确定完校准后的信息后可以将该校准后的信息发送至终端设备，以节省终端设备进行校准后的信息计算的计算资源。提高了终端设备处理效率，提升了用户使用终端设备的体验。此外，在服务器端进行校准计算能够有效的增加校准算法的保密性。
进一步的，结果确定模块63，具体用于：根据所述用户信息对应的实际注视点和校准标识信息，确定所述实际注视点和校准点的映射关系；根据用户位置信息和所述映射关系，确定校准后的信息。
本实施例上述校准装置可执行本发明实施例三所提供的校准方法，具备执行方法相应的功能模块和有益效果。
实施例七
图7为本发明实施例七提供的一种终端设备的结构示意图。如图7所示，本发明实施例七提供的终端设备包括：一个或多个处理器71、存储装置72、眼球追踪装置73、通信装置74和显示装置75；
该终端设备中的处理器71可以是一个或多个，图7中以一个处理器71为例；存储装置72用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器71执行，使得所述一个或多个处理器71实现如本发明实施例一或实施例二所述的校准方法；眼球追踪装置73，分别与处理器71和存储装置72连接，用于获取校准过程中的用户信息；通信装置74，分别与处理器71和存储装置72连接，用于将用户信息和校准标识信息发送至服务器并接收所述服务器的校准后的信息；显示装置75，分别与处理器71和存储装置72连接，用于显示标识物、校准点和初始校准界面。
终端设备中的处理器71、存储装置72、眼球追踪装置73、通信装置74和显示装置75可以通过总线或其他方式连接，图7中以通过总线连接为例。
该终端设备中的存储装置72作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一或二所提供校准方法对应的程序指令/模块(例如，附图5所示的校准装置中的模块，包括：信息获取模块51、信息发送模块52和结果接收模块53)。处理器71通过运行存储在存储装置72中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述实施例一和实施例二中的校准方法。
存储装置72可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储装置72可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置72可进一步包括相对于处理器71远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
眼球追踪装置73可用于获取校准过程中的用户信息，该终端设备还可以包括输入装置，该输入装置可以接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。通信装置74可用于将用户信息和校准标识信息发送至服务器并接收服务器的校准后的信息。显示装置75可用于显示标识物、校准点和初始校准界面。此外，终端设备还可以包括输出装置，该输出装置可包括扬声器等播放装置。
并且，当上述终端设备所包括一个或者多个程序被所述一个或者多个处理器71执行时，程序进行如下操作：
获取校准过程中的用户信息，所述用户信息用于确定校准后的信息；将所述用户信息和校准标识信息发送至服务器；接收所述服务器的所述校准后的信息。
实施例八
图8为本发明实施例八提供的一种服务器的结构示意图。如图8所示，本发明实施例八提供的服务器包括：一个或多个处理器81、存储装置82和数据通信装置83；
该服务器中的处理器81可以是一个或多个，图8中以一个处理器81为例；存储装置82用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器81执行，使得所述一个或多个处理器81实现如本发明实施例三中所述的校准方法；数据通信装置83，分别与处理器81和存储装置82连接，用于接收终端设备发送的用户信息和校准标识信息并将校准后的信息发送至所述终端设备。
服务器中的处理器81、存储装置82和数据通信装置83可以通过总线或其他方式连接，图8中以通过总线连接为例。
该服务器的存储装置82作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例三所提供校准方法对应的程序指令/模块(例如，附图6所示的校准装置中的模块，包括：信息接收模块61、结果确定模块62和结果发送模块63)。处理器81通过运行存储在存储装置82中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述实施例三中校准方法。
存储装置82可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储装置82可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置82可进一步包括相对于处理器81远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
服务器中的数据通信装置83可以接收终端设备发送的用户信息和校准标识信息并将校准后的信息发送至终端设备。此外，服务器还可以包括输入装置和输出装置，输入装置可用于接收输入的数字或字符信息，以及产生与服务器的用户设置以及功能控制有关的键信号输入。其中输入装置可包括按键、麦克风和/或摄像头等设备。输出装置可包括显示屏和/或扬声器等设备。
并且，当上述服务器所包括一个或者多个程序被所述一个或者多个处理器81执行时，程序进行如下操作：
接收终端设备发送的用户信息和校准标识信息；根据所述用户信息和校准标识信息，确定校准后的信息；将所述校准后的信息发送至所述终端设备。
实施例九
本发明实施例九提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行本发明实施例一所提供的校准方法，该方法包括：
获取校准过程中的用户信息，所述用户信息用于确定校准后的信息；将所述用户信息和校准标识信息发送至服务器；接收所述服务器的所述校准后的信息。
可选的，该程序被处理器执行时还可以用于执行本发明实施例二所提供的校准方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
实施例十
本发明实施例十提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行实施例三所提供的校准方法，该方法包括：
接收终端设备发送的用户信息和校准标识信息；根据所述用户信息和校准标识信息，确定校准后的信息；将所述校准后的信息发送至所述终端设备。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种校准方法，其特征在于，包括：
获取校准过程中的用户信息，所述用户信息用于确定校准后的信息；
将所述用户信息和校准标识信息发送至服务器；
接收所述服务器的所述校准后的信息。
2.根据权利要求1所述的方法，其特征在于，在所述获取校准过程中的用户信息之前，还包括：
启动校准操作，提供一标识物，所述标识物被配置在显示装置对应于用户头部位置处；
所述标识物的移动范围在预设范围内，则获取用户位置信息。
3.根据权利要求2所述的方法，其特征在于，所述获取校准过程中的用户信息，包括：
根据预设规则显示至少两个校准点；
获取用户注视各校准点时的眼部特征信息。
4.根据权利要求3所述的方法，其特征在于，所述将所述用户信息和校准标识信息发送至服务器，包括：
各所述校准点对应的眼部特征信息获取完成，则将用户位置信息、各所述眼部特征信息和对应的校准标识信息发送至服务器；相应的，所述校准后的信息包括所述眼部特征信息对应的实际注视点、用户位置信息和校准点间的对应关系。
5.根据权利要求1所述的方法，其特征在于，在所述获取校准过程中的用户信息之前，还包括：
启动开始操作，显示初始校准界面。
6.一种校准方法，其特征在于，包括：
接收终端设备发送的用户信息和校准标识信息；
根据所述用户信息和校准标识信息，确定校准后的信息；
将所述校准后的信息发送至所述终端设备。
7.根据权利要求6所述的方法，其特征在于，所述根据所述用户信息和校准标识信息，确定校准后的信息，包括：
根据所述用户信息对应的实际注视点和校准标识信息，确定所述实际注视点和校准点的映射关系；
根据用户位置信息和所述映射关系，确定校准后的信息。
8.一种校准方法，其特征在于，包括：
终端设备获取校准过程中的用户信息，所述用户信息用于确定校准后的信息；
所述终端设备将所述用户信息和校准标识信息发送至服务器；
所述服务器接收所述终端设备发送的所述用户信息和校准标识信息；
所述服务器根据所述用户信息和校准标识信息确定校准后的信息，并将所述校准后的信息发送至所述终端设备；
所述终端设备接收所述校准后的信息。
9.一种校准装置，其特征在于，包括：
信息获取模块，用于获取校准过程中的用户信息，所述用户信息用于确定校准后的信息；
信息发送模块，用于将所述用户信息和校准标识信息发送至服务器；
结果接收模块，用于接收所述服务器的所述校准后的信息。
10.一种校准装置，其特征在于，包括：
信息接收模块，用于接收终端设备发送的用户信息和校准标识信息；
结果确定模块，用于根据所述用户信息和校准标识信息，确定校准后的信息；
结果发送模块，用于将所述校准后的信息发送至所述终端设备。
11.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的校准方法；
眼球追踪装置，分别与所述处理器和存储装置连接，用于获取校准过程中的用户信息；
通信装置，分别与所述处理器和存储装置连接，用于将用户信息和校准标识信息发送至服务器并接收所述服务器的校准后的信息；
显示装置，分别与所述处理器和存储装置连接，用于显示标识物、校准点和初始校准界面。
12.一种服务器，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求6-7中任一所述的校准方法；
数据通信装置，分别与所述处理器和存储装置连接，用于接收终端设备发送的用户信息和校准标识信息并将校准后的信息发送至所述终端设备。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的校准方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求6-7中任一所述的校准方法。
CN201811311763.2A 2018-11-06 2018-11-06 一种校准方法、装置、终端设备及存储介质 Active CN109410285B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811311763.2A CN109410285B (zh) 2018-11-06 2018-11-06 一种校准方法、装置、终端设备及存储介质
US16/533,292 US11042217B2 (en) 2018-11-06 2019-08-06 Calibration method and apparatus, terminal equipment and storage medium
EP19200376.2A EP3650989B1 (en) 2018-11-06 2019-09-30 Calibration method and apparatus, terminal equipment and storage medium
AU2019253847A AU2019253847B2 (en) 2018-11-06 2019-10-23 Calibration method and apparatus, terminal equipment and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811311763.2A CN109410285B (zh) 2018-11-06 2018-11-06 一种校准方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN109410285A true CN109410285A (zh) 2019-03-01
CN109410285B CN109410285B (zh) 2021-06-08

Family

ID=65471795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811311763.2A Active CN109410285B (zh) 2018-11-06 2018-11-06 一种校准方法、装置、终端设备及存储介质

Country Status (4)

Country Link
US (1) US11042217B2 (zh)
EP (1) EP3650989B1 (zh)
CN (1) CN109410285B (zh)
AU (1) AU2019253847B2 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976528A (zh) * 2019-03-22 2019-07-05 北京七鑫易维信息技术有限公司 一种基于头动调整注视区域的方法以及终端设备
CN110174937A (zh) * 2019-04-09 2019-08-27 北京七鑫易维信息技术有限公司 注视信息控制操作的实现方法及装置
CN110223339A (zh) * 2019-05-27 2019-09-10 盐城工学院 一种基于机器视觉热保护器校准点中心定位方法
CN110377157A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 一种应用于眼动追踪的校准方法、装置及系统
CN112148112A (zh) * 2019-06-27 2020-12-29 北京七鑫易维科技有限公司 校准方法及装置、非易失性存储介质和处理器
CN112149453A (zh) * 2019-06-26 2020-12-29 北京七鑫易维科技有限公司 眼球追踪的校准方法、装置及系统
CN112353505A (zh) * 2020-10-30 2021-02-12 上海联影医疗科技股份有限公司 部件校准方法、装置、计算机设备和存储介质
CN112686958A (zh) * 2019-10-18 2021-04-20 上海商汤智能科技有限公司 标定方法、装置及电子设备
CN113253829A (zh) * 2020-02-10 2021-08-13 Oppo广东移动通信有限公司 眼球跟踪校准方法及相关产品
CN113311937A (zh) * 2020-02-27 2021-08-27 Oppo广东移动通信有限公司 眼球追踪的校准方法及相关装置
CN113395438A (zh) * 2020-03-12 2021-09-14 Oppo广东移动通信有限公司 眼球追踪技术的图像校正方法及相关装置
CN113495613A (zh) * 2020-03-18 2021-10-12 北京七鑫易维信息技术有限公司 眼球追踪校准方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112050818A (zh) * 2020-07-29 2020-12-08 深圳市修远文化创意有限公司 一种校准定位的方法及其相关装置
CN114486232B (zh) * 2020-11-12 2023-09-22 珠海优特电力科技股份有限公司 阀门状态标定方法、装置、目标检测设备及存储介质
CN114401065B (zh) * 2021-12-06 2023-03-21 深圳市亚略特科技股份有限公司 一种本地时间校准方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012082971A1 (en) * 2010-12-16 2012-06-21 Siemens Corporation Systems and methods for a gaze and gesture interface
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
CN102760198A (zh) * 2011-04-27 2012-10-31 德信互动科技（北京）有限公司 近距离体感互动装置和方法
CN105760795A (zh) * 2016-01-28 2016-07-13 宇龙计算机通信科技(深圳)有限公司 一种显示信息的方法及终端
CN106020461A (zh) * 2016-05-13 2016-10-12 陈盛胜 基于眼球追踪技术的视频交互方法
CN106406509A (zh) * 2016-05-16 2017-02-15 上海青研科技有限公司 一种头戴式眼控虚拟现实设备
CN106901686A (zh) * 2017-02-28 2017-06-30 北京七鑫易维信息技术有限公司 眼动测试任务的执行方法、服务器、测试端及系统
CN107422842A (zh) * 2017-03-16 2017-12-01 联想(北京)有限公司 一种信息处理方法及装置
CN108681699A (zh) * 2018-05-04 2018-10-19 上海像我信息科技有限公司 一种基于深度学习的视线估计方法及视线估计装置
CN108700934A (zh) * 2015-09-24 2018-10-23 托比股份公司 能够进行眼睛追踪的可穿戴设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140055337A1 (en) * 2012-08-22 2014-02-27 Mobitv, Inc. Device eye tracking calibration
US9426447B2 (en) * 2012-10-09 2016-08-23 Electronics And Telecommunications Research Institute Apparatus and method for eye tracking
WO2016075532A1 (en) 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration
JP2017134558A (ja) * 2016-01-27 2017-08-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012082971A1 (en) * 2010-12-16 2012-06-21 Siemens Corporation Systems and methods for a gaze and gesture interface
CN102760198A (zh) * 2011-04-27 2012-10-31 德信互动科技（北京）有限公司 近距离体感互动装置和方法
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
CN108700934A (zh) * 2015-09-24 2018-10-23 托比股份公司 能够进行眼睛追踪的可穿戴设备
CN105760795A (zh) * 2016-01-28 2016-07-13 宇龙计算机通信科技(深圳)有限公司 一种显示信息的方法及终端
CN106020461A (zh) * 2016-05-13 2016-10-12 陈盛胜 基于眼球追踪技术的视频交互方法
CN106406509A (zh) * 2016-05-16 2017-02-15 上海青研科技有限公司 一种头戴式眼控虚拟现实设备
CN106901686A (zh) * 2017-02-28 2017-06-30 北京七鑫易维信息技术有限公司 眼动测试任务的执行方法、服务器、测试端及系统
CN107422842A (zh) * 2017-03-16 2017-12-01 联想(北京)有限公司 一种信息处理方法及装置
CN108681699A (zh) * 2018-05-04 2018-10-19 上海像我信息科技有限公司 一种基于深度学习的视线估计方法及视线估计装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976528A (zh) * 2019-03-22 2019-07-05 北京七鑫易维信息技术有限公司 一种基于头动调整注视区域的方法以及终端设备
CN110174937A (zh) * 2019-04-09 2019-08-27 北京七鑫易维信息技术有限公司 注视信息控制操作的实现方法及装置
CN110223339B (zh) * 2019-05-27 2021-07-16 盐城工学院 一种基于机器视觉热保护器校准点中心定位方法
CN110223339A (zh) * 2019-05-27 2019-09-10 盐城工学院 一种基于机器视觉热保护器校准点中心定位方法
CN112149453B (zh) * 2019-06-26 2024-08-09 北京七鑫易维科技有限公司 眼球追踪的校准方法、装置及系统
CN112149453A (zh) * 2019-06-26 2020-12-29 北京七鑫易维科技有限公司 眼球追踪的校准方法、装置及系统
CN112148112A (zh) * 2019-06-27 2020-12-29 北京七鑫易维科技有限公司 校准方法及装置、非易失性存储介质和处理器
CN112148112B (zh) * 2019-06-27 2024-02-06 北京七鑫易维科技有限公司 校准方法及装置、非易失性存储介质和处理器
CN110377157A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 一种应用于眼动追踪的校准方法、装置及系统
CN112686958A (zh) * 2019-10-18 2021-04-20 上海商汤智能科技有限公司 标定方法、装置及电子设备
CN112686958B (zh) * 2019-10-18 2024-09-24 北京绝影智联科技有限公司 标定方法、装置及电子设备
CN113253829A (zh) * 2020-02-10 2021-08-13 Oppo广东移动通信有限公司 眼球跟踪校准方法及相关产品
CN113253829B (zh) * 2020-02-10 2022-05-06 Oppo广东移动通信有限公司 眼球跟踪校准方法及相关产品
CN113311937A (zh) * 2020-02-27 2021-08-27 Oppo广东移动通信有限公司 眼球追踪的校准方法及相关装置
CN113395438A (zh) * 2020-03-12 2021-09-14 Oppo广东移动通信有限公司 眼球追踪技术的图像校正方法及相关装置
CN113495613A (zh) * 2020-03-18 2021-10-12 北京七鑫易维信息技术有限公司 眼球追踪校准方法及装置
CN113495613B (zh) * 2020-03-18 2023-11-21 北京七鑫易维信息技术有限公司 眼球追踪校准方法及装置
CN112353505A (zh) * 2020-10-30 2021-02-12 上海联影医疗科技股份有限公司 部件校准方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
AU2019253847B2 (en) 2021-04-08
AU2019253847A1 (en) 2020-05-21
US11042217B2 (en) 2021-06-22
CN109410285B (zh) 2021-06-08
EP3650989A1 (en) 2020-05-13
US20200142478A1 (en) 2020-05-07
EP3650989B1 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
CN109410285A (zh) 一种校准方法、装置、终端设备及存储介质
CN108498102B (zh) 康复训练方法及装置、存储介质、电子设备
CN108671539A (zh) 目标对象交互方法及装置、电子设备、存储介质
CN109508687A (zh) 人机交互控制方法、装置、存储介质和智能设备
CN109032351A (zh) 注视点函数确定方法、注视点确定方法、装置及终端设备
US10930265B2 (en) Cognitive enhancement of communication with tactile stimulation
US11523240B2 (en) Selecting spatial locations for audio personalization
CN113168227A (zh) 执行电子装置的功能的方法以及使用该方法的电子装置
EP3959693A1 (en) Virtual, augmented and extended reality system
WO2014201831A1 (en) Wearable smart glasses as well as device and method for controlling the same
CN110427849B (zh) 人脸姿态确定方法、装置、存储介质和电子设备
CN110412765A (zh) 增强现实图像拍摄方法、装置、存储介质及增强现实设备
CN110047488A (zh) 语音翻译方法、装置、设备及控制设备
CN109145667A (zh) 基于扫码器的快速识别条码方法、系统、设备及存储介质
US11106280B1 (en) On-the-fly calibration for improved on-device eye tracking
CN109976528A (zh) 一种基于头动调整注视区域的方法以及终端设备
CN113491502A (zh) 一种眼球追踪校准检验方法、装置、设备及存储介质
US20140368432A1 (en) Wearable smart glasses as well as device and method for controlling the same
CN110349271A (zh) 透镜颜色调节方法、装置、存储介质及增强现实设备
CN112711331A (zh) 机器人交互方法、装置、存储设备和电子设备
CN110152160A (zh) 自闭症康复干预系统
CN113641238A (zh) 一种控制方法、装置、终端设备、受控设备及存储介质
CN108905207A (zh) 一种声音提示方法及装置
KR102213219B1 (ko) 사용자 생체 정보를 이용한 주문 결제 시스템 및 그 동작 방법
CN109865290A (zh) 角色控制方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant