CN112148112B - 校准方法及装置、非易失性存储介质和处理器 - Google Patents
校准方法及装置、非易失性存储介质和处理器 Download PDFInfo
- Publication number
- CN112148112B CN112148112B CN201910565652.2A CN201910565652A CN112148112B CN 112148112 B CN112148112 B CN 112148112B CN 201910565652 A CN201910565652 A CN 201910565652A CN 112148112 B CN112148112 B CN 112148112B
- Authority
- CN
- China
- Prior art keywords
- calibration
- point
- functional control
- area
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000003993 interaction Effects 0.000 claims abstract description 33
- 238000011156 evaluation Methods 0.000 claims description 54
- 238000010586 diagram Methods 0.000 claims description 15
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 25
- 230000000694 effects Effects 0.000 abstract description 17
- 230000000875 corresponding effect Effects 0.000 description 42
- 210000001508 eye Anatomy 0.000 description 20
- 230000006870 function Effects 0.000 description 10
- 230000004424 eye movement Effects 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 210000001742 aqueous humor Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种校准方法及装置、非易失性存储介质和处理器。其中，该方法包括：在人机交互界面中展示至少一个功能控件；检测用户的注视点；判断所述注视点是否位于所述功能控件所在的区域，其中，该区域为用于触发所述功能控件所对应操作的有效触发区域；在判断结果为是的情况下，基于所述注视点的位置选中校准点；依据所述校准点对所述指定参数进行校准，得到目标校准结果，其中，所述指定参数用于计算所述注视点的位置。本申请解决了相关技术中无法兼顾校准效果和校准过程的简化的技术问题。
Description
技术领域
本申请涉及眼动控制领域，具体而言，涉及一种校准方法及装置、非易失性存储介质和处理器。
背景技术
目视控制，又称为眼动控制，是通过眼部运动操控计算机的软件交互方式，当前阶段主要应用与肢体残疾尤其是为例如渐冻人这样身体无法自由活动的特殊人群所使用，用于控制计算机进行交流，一般用户也可以用于辅助操作计算机。
在当前阶段，为了实现通过眼神准确的对计算机进行控制，在使用前须先进行校准操作，当前的校准方式有3点校准方式，9点校准方式或更多点位的校准方式。理论上，随着校准点数的增加，校准的过程的时间也有所增加，而对后期使用目视控制操作计算机而言，则是校准点数越多，使用效果越好。
但是，如果为了追求完善的操作体验而在前期设置过多校准点位，有可能因人眼部差异，可能会出现以下问题：使用人坐姿或者位置的关系无法被仪器的摄像头采集到屏幕边缘的点位(如右上角，左下角)，从而导致校准无法完成；同时，因为遥测式眼动仪器在校准期间须尽量确保当前坐姿或尽量避免身体或头颈部移动，使用人会产生疲劳，从而影响用户体验。
而如果仅仅为了简化校准过程，使用尽可能少的校准点(如1点或3点)，则在校准完成后的使用过程中效果又不如多点校准的效果好。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种校准方法及装置、非易失性存储介质和处理器，以至少解决相关技术中无法兼顾校准效果和校准过程的简化的技术问题。
根据本申请实施例的一个方面，提供了一种校准方法，应用于眼球追踪，包括：在人机交互界面中展示至少一个功能控件；检测用户的注视点；判断注视点是否位于功能控件所在的区域，其中，该区域为用于触发功能控件所对应操作的有效触发区域；在判断结果为是的情况下，基于注视点的位置选中校准点；依据校准点对指定参数进行校准，得到目标校准结果，其中，指定参数用于计算注视点的位置。
可选地，基于所述注视点的位置选中校准点，包括：确定所述功能控件所属区域中与所述注视点对应的目标点位信息，并将该目标点位信息对应的目标点作为所述校准点。
可选地，基于所述注视点的位置选中校准点，包括：判断注视点的位置是否与功能控件所属区域中的中心点位置重合；在判断结果指示注视点的位置与中心点位置重合时，基于注视点的位置选中校准点；在判断结果指示注视点的位置与中心点位置不重合时，将注视点在所述人机交互界面中对应的注视点标识移动至中心点位置，并基于移动后的注视点标识的位置选中所述校准点。
可选地，依据校准点对指定参数进行校准包括：确定指定校准方式的第一评价指标，该第一评价指标用于量化指定校准方式的校准准确度；统计预设时长内基于注视点选中的至少一个功能控件的数量，得到第一数量；确定指定校准方式所采用的校准点的第二数量；依据第一数量和第二数量确定第二评价指标；比较第一评价指标和第二评价指标的大小；在第二评价指标大于第一评价指标，且基于所述注视点选择的功能控件所对应的校准点和指定校准方式所对应的校准点不重合时，确定第一数量和第二数量的和值；基于和值所指示数量的校准点对指定参数进行校准。
可选地，默认校准方式；方法还包括：在第二评价指标小于第一评价指标时，采用默认校准方式对指定参数进行校准。
可选地，判断注视点是否位于功能控件所在的区域，包括：按照预设统计周期周期性判断注视点是否位于功能控件所在的区域；指定校准方式包括：在上一个预设统计周期内采用的校准方式，其中，在上一个预设统计周期内采用的校准方式是基于校准点数量的校准方式。
可选地，依据校准点对指定参数进行校准之后，方法还包括：采集用户的眼图信息；并在功能控件上展示基于眼图信息对目标应用进行控制的交互标识。
根据本申请实施例的另一方面，提供了另一种校准方法，包括：采用指定校准方式对指定参数进行校准，得到第一校准结果，其中，指定参数用于对人机交互界面中的注视点位置进行计算；在人机交互界面中展示目标应用的至少一个功能控件；判断目标对象的注视点是否位于至少一个功能控件所在的区域，其中，该区域为用于触发功能控件所对应操作的有效触发区域；在判断结果为是的情况下，基于注视点的位置选中校准点；依据校准点对指定参数进行校准，得到第二校准结果；以及基于第二校准结果对第一校准结果进行修正。
可选地，依据校准点对指定参数进行校准包括：确定指定校准方式的第一评价指标，该第一评价指标用于量化指定校准方式的校准准确度；统计预设时长内基于注视点选中的至少一个功能控件的数量，得到第一数量；确定指定校准方式所采用的校准点的第二数量；依据第一数量和第二数量确定第二评价指标；比较第一评价指标和第二评价指标的大小；
在第二评价指标大于第一评价指标，且基于所述注视点选择的功能控件所对应的校准点和指定校准方式所对应的校准点不重合时，确定第一数量和第二数量的和值；基于和值所指示数量的校准点对指定参数进行校准。
根据本申请实施例的又一方面，提供了一种校准装置，包括：展示模块，用于在人机交互界面中展示至少一个功能控件；检测模块，用于检测用户的注视点；判断模块，用于判断注视点是否位于功能控件所在的区域，其中，该区域为用于触发功能控件所对应操作的有效触发区域；确定模块，用于在判断结果为是的情况下，基于注视点的位置选中校准点；校准模块，用于依据校准点对指定参数进行校准，得到目标校准结果，其中，指定参数用于计算注视点的位置。
根据本申请实施例的又一方面，提供了一种非易失性存储介质，该存储介质包括至少一个存储的程序，其中，在程序被处理器运行时执行以上所述的校准方法。
根据本申请实施例的再一方面，提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行以上所述的校准方法。
在本申请实施例中，采用检测注视点是否位于功能控件所在区域，并在判断结果为是的情况下，基于该注视点的位置选中校准点，从而基于该校准点进行校准的方式，由于利用了应用的功能控件选中校准点，从而实现校准过程，因此，采用本申请实施例中的方案，可以在应用的使用过程中实现校准，而不必在校准过程中单独设置过多的校准点或者不用设置校准过程，从而在满足校准效果的同时，也简化了校准流程，进而解决了相关技术中无法兼顾校准效果和校准过程的简化的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为根据本申请实施例的一种校准方法的流程图；
图2为根据本申请实施例的一种校准点确定过程的流程图；
图3a是根据相关技术的一种3点校准方式的校准原理示意图；
图3b是根据相关技术的一种9点校准方式的校准原理示意图；
图4为根据本申请实施例的一种眼控应用菜单中的功能控件示意图；
图5是根据本申请实施例的一种可选的语音求助应用菜单中的功能控件示意图；
图6是根据本申请实施例的一种可选的身体感觉应用菜单中的功能控件示意图；
图7是根据本申请实施例的一种可选的沟通标志菜单中的功能控件示意图；
图8为根据本申请实施例的一种校准装置的结构框图；
图9为根据本申请实施例的另一种校准方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好地理解上述实施例，以下将本申请实施例中涉及的术语解释如下：
眼控应用：响应于眼动信息(例如注视点信息)执行特定操作的应用。在本申请的实施例中，该应用具有一个或多个人机交互按钮，该按钮下方设置有用于采集用户注视点的指定点位。
功能控件：应用中进行人机交互的控件，在该控件被触发时，控制应用执行相应的动作，例如，音乐播放应用中，调整音量大小的控件、播放/暂停控件等。该控件的表现形式包括但不限于：按钮等。
在本申请实施例中，利用应用的功能控件选中校准点，例如，在注视点停留于某一个功能控件时，如果该功能控件设置了隐藏的校准点位，则可以将此处的点位作为校准点，从而实现了校准过程，因此，采用本申请实施例中的方案，可以在应用的使用过程中实现校准，而不必在校准过程中单独设置过多的校准点或者不用设置校准过程。
根据本申请实施例，提供了一种校准的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的校准方法，如图1所示，该方法包括如下步骤：
步骤S102，在人机交互界面中展示至少一个功能控件。在本申请的一些实施例中，人机交互界面可以为目标应用的人机交互界面。
在本申请的一些可选实施例中，上述目标应用为眼控应用，上述功能控件可以为与某一个应用的多项功能一一对应的图标，例如按钮等，也可以为某一个应用的应用图标，该应用图标被触发时，相应的应用被启动。其中，目标应用的表现形式并不限于上述描述。
在目标应用启动后，可以在目标应用的人机交互界面中展示功能控件，从而利用该功能控件下隐藏的校准点位作为校准点进行校准。其中，此处隐藏的含义包括但不限于：将该功能控件所在区域下的一个或多个点或全部点作为校准点，具体会在下文中详细说明，此处不再赘述。
步骤S104，检测用户的注视点；该注视点的表现形式包括但不限于注视点对应的光标等标识信息。
检测用户的注视点可以理解为采集或者获得用户的注视点，在本申请的一些实施例中，可以使用眼球追踪装置获得注视点，其中，该眼球追踪装置可以是微机电系统(MEMS)，例如包括MEMS红外扫描反射镜、红外光源、红外接收器。
在本申请的另一些实施例中，眼球追踪装置还可以是电容传感器，其通过眼球与电容极板之间的电容值来检测眼球运动。
在又一个实施例中，眼球追踪装置还可以是肌电流检测器，例如通过在鼻梁、额头、耳朵或耳垂处放置电极，通过检测的肌电流信号模式来检测眼球运动。
步骤S106，判断注视点是否位于功能控件所在的区域，其中，该区域为用于触发功能控件所对应操作的有效触发区域；
其中，上述有效触发区域的含义包括但不限于：在采用注视点选中该区域时，会触发功能控件对应的操作。例如，该功能控件为音乐播放应用中的暂停控件时，在注视点选中该暂停控件后，会触发音乐播放应用暂停音乐的播放。在一个可选实施例中，在注视点(即注视点标识)在该区域(或功能控件)上的驻留时间大于预设时长时，则确定上述区域(或功能控件)被选中。
步骤S108，在判断结果为是的情况下，基于注视点的位置选中校准点；在本申请的一些实施例中，校准点是预先设置在相应功能控件所对应的区域的，即校准点隐藏在功能控件下方，因此，在注视点移动至相应的功能控件时，则确定相应的校准点被选中，可以将该校准点用于校准。
另外，在注视点未位于功能控件所在的区域时，即在上述判断结果为否的情况下，则不会实现对校准点的选中，从这一点也可以看出，校准点所在的位置是和功能控件所在的区域重合的，校准点可以隐藏在功能控件下方。
还需要说明的是，在注视点被选中时，可以基于截止到当前时刻被选中的所有校准点对上述指定参数进行校准，也可以继续检测注视点，依据后续注视点选中的校准点和当前被选中的所有校准点共同对上述指定参数进行校准。
其中，在继续基于检测到的注视点选中校准点时，可以确定预设统计时间周期，在校准点的选中时间超出预设统计时间周期时，则停止本次校准点的选中，并统计预设统计时间周期内检测到的校准点，基于预设统计时间周期内检测到的校准点对上述指定参数进行校准。另外，也可以实时统计被选中的校准点的数量，在该数量到达预设阈值时，停止校准点的检测过程，并基于在上述数量到达预设阈值之前检测到的校准点对上述指定参数进行校准。
步骤S110，依据校准点对指定参数进行校准，得到目标校准结果，其中，指定参数用于计算注视点的位置。在本申请的一些实施例中，上述指定参数用于修正瞳孔与光斑的偏移量，具体地，检测图像中瞳孔中心位置v以及两个红外线光斑的位置u1和u2，利用监测到的u1和u2估计视线注视点位置g。其中，g和v、u1、u2的关系可以用公式表示为：
在上述公式中，R是角膜的曲率半径，K是眼球中心到角膜的曲率中心的距离，n1为房水和角膜的折射率，α和β则是视线方向的两个补偿角。对不同的人而言，R、K、n1、α和β等参数也不尽相同，因此，视线估计设备在使用之前需要进行参数校准。
上述指定参数包括但不限于：上述的R、K、n1、α和β等。
需要说明的是，目标对象眼球上的光斑可以是在校准的过程中，由近红外装置发出的红外光映射在目标对象眼球上所产生的光斑，其中，在校准的过程中通常采用两个近红外装置向目标对象眼球上映射出两个光斑。
在本申请实施例中，采用检测注视点是否位于功能控件所在区域，并在判断结果为是的情况下，基于该注视点的位置选中校准点，从而基于该校准点进行校准的方式，由于利用了应用的功能控件选中校准点，从而实现校准过程。因此，采用本申请实施例中的方案，可以在应用的使用过程中实现校准，而不必在校准过程中单独设置过多的校准点或者不用设置校准过程，从而在满足校准效果的同时，也简化了校准流程，进而解决了相关技术中无法兼顾校准效果和校准过程的简化的技术问题。
基于注视点的位置选中校准点的方式有多种，例如，在对校准结果要求不是特别严格的场景下，可以基于注视点在功能控件所属区域中的位置选中校准点，而不必关注注视点是否位于功能控件所属区域的中心位置，具体地：确定功能控件所属区域中与注视点对应的目标点位信息，并将该目标点位信息对应的目标点作为校准点。
又例如，由于上述功能控件所属区域的大小(体积或面积)一般大于注视点(例如光标)的大小，在对校准结果要求比较精确的情况下，可以设计一些实现方式使得注视点与功能控件所属区域的中心点重合，以使得校准结果更加准确。具体地，如图2所示：步骤S202，判断注视点的位置是否与功能控件所属区域中的中心点位置重合；步骤S204，在判断结果指示注视点的位置与中心点位置重合时，基于注视点的位置选中校准点；步骤S206，在判断结果指示注视点的位置与中心点位置不重合时，将注视点在人机交互界面中对应的注视点标识移动至中心点位置，并基于移动后的注视点标识的位置选中校准点。采用上述处理过程，由于在注视点标识和中心点位置不一致时，可以使注视点移动至中心点位置，因此，可以引导用户的注视点按照注视点标识移动至中心点位置(即校准点位置)，从而实现校准点的选中，进而完成对上述指定参数的校准。
以功能控件为交互按钮为例，由于校准点的大小(包括体积或面积等)要小于交互按钮的大小，理论上，在交互按钮处隐藏的指定点位的大小与校准界面小球大小一致，并且位于交互按钮的正中部，所以，在使用中，为了确保采集位置的准确，当用户使用目视控制光标要操控某个交互按钮时，当光标停留在按钮上的时候，交互按钮自带的吸附效果会将光标指针吸附到按钮的正中部，此时光标指针与隐藏在交互按钮下方的小球重合后，会开始采集用户眼图以及开始和交互按钮进行交互，采集用户眼图的采集周期与设置的人机交互周期是一致的：即当目光停留在按钮上时，光标指针被吸附到交互按钮的中部，此时按钮上出现交互图标，并且此时开始采集用户眼图，如果在交互完成前用户闭眼或目光离开目标导致交互未完成，则此位置此次不采集用户眼图。
在本申请的一些实施例中，在依据校准点对指定参数进行校准时，在对目标应用持续操作过程中，可以持续对上述指定参数进行优化，以保证优化效果。其中，在应用运行过程中：
确定指定校准方式(包括但不限于目标应用的校准方式)的第一评价指标，该第一评价指标用于量化指定校准方式的校准准确度；统计预设时长内基于注视点选中的至少一个功能控件的数量，得到第一数量；确定指定校准方式所采用的校准点的第二数量；依据第一数量和第二数量确定第二评价指标；比较第一评价指标和第二评价指标的大小；在第二评价指标大于第一评价指标，且基于注视点选择的功能控件所对应的校准点和指定校准方式所对应的校准点不重合时，确定第一数量和第二数量的和值；基于和值所指示数量的校准点对指定参数进行校准。其中，在本申请的一些可选实施例中，上述第二评价指标为对基于第一数量和第二数量确定的校准方式的评价指标，例如，基于第一数量和第二数量的和值确定的校准方式的评价指标，又例如，基于第一数量和第二数量的平均值确定的校准方式的评价指标。上述“基于注视点选择的功能控件所对应的校准点和指定校准方式所对应的校准点不重合”是指上述两种方式确定的校准点不存在重合的情况，即两种校准方式所用到的校准点是不同的。
上述第一评价指标和第二评价指标包括但不限于用于指示校准准确度的分数。上述预设时长为预先设置的校准周期，即在该预设时长内如果已经完成对所有功能控件的选中，并基于所有被选中的功能控件对应的校准点进行校准完成后，可以退出校准过程，以节省运行资源。
其中，上述指定校准方式包括但不限于：默认校准方式(例如目标应用的默认校准方式)；此时，在第二评价指标小于第一评价指标时，采用默认校准方式对指定参数进行校准。即在本申请的一些实施例中，可以预先设置默认校准方式，如果当前的校准点数多于默认校准方式对应的校准点数，即当前的校准方式的校准效果优于默认校准方式的校准效果，则选用校准效果更优的校准方式进行校准。
以默认校准方式为3点校准方式为例，如图3a所示，3点校准方式有三个校准点，当用户的注视点(即注视点标识，例如注视点对应的光标)分别移动至上述三个校准点的中心位置时，则确定校准完成，此时需要使用单独的校准界面进行校准，而采用本申请实施例中的方案，如图4所示，应用列表内，共有8个可以通过目视控制点选的交互按钮。
此8个按钮下，除了“退出应用”按钮以外，图标下方均隐藏了“指定点位”，在用户注视选择该图标的同时，软件可以自动采集此时用户的眼部特征，例如选择5号“沟通标志”，对比上图(3点校准)，5号按钮所处的位置非3个默认校准点的位置，则此时计算的校准结果为3个校准点+5号图标对应的校准点，共计4个校准点的位置，如果基于4个校准点位置计算的校准分数高于默认的基于3个校准点的校准方式，则此时自动使用4个校准点进行校准。
以在交互按钮下隐藏有更多校准点位的应用为例，如图4、图5、图6和图7所示，在图4、图5、图6和图7分别为语音求助，身体感觉和沟通标志功能菜单，其中粗实线框体所划出的范围，均为默认的不会随着内容的更改而改变体积或者外形的按钮，在按钮下方均可以设置“隐藏的”指定点位，从而实现在使用过程中N个点位校准，提升使用效果。
正如上面所述，为了保证校准效果，上述功能控件的大小是固定的，不会随着功能控件中所展示内容的改变而变化。
在判断注视点是否位于功能控件所在的区域的过程中，为了防止误判，例如，注视点仅是短暂地经过某个功能控件，而非选中该功能控件，此时可以采用以下方式：判断注视点在功能控件的驻留时间是否大于预设阈值，例如，5s，如果是，则确定选中该功能控件。在选择该功能控件后，如果该功能控件隐藏有校准点位，且注视点的位置与校准点位一致，则确定检测到一个校准点。
为保证校准结果的持续更新，在本申请的一些实施例中，按照预设统计周期周期性判断注视点是否位于功能控件所在的区域；此时，上述指定校准方式包括：在上一个预设统计周期内采用的校准方式，其中，在上一个预设统计周期内采用的校准方式是基于校准点数量的校准方式，例如3点校准方式、9点校准方式、15点校准方式等。其中，3点校准方式的原理如图3a所示，即在校准界面中设置3个校准点，利用3个校准点进行校准；9点校准方式的原理如图3b所示，其原理和3点校准方式类似，此处不再赘述。
在依据校准点对指定参数进行校准之后，便可以采集用户的眼图信息；并在功能控件上展示基于眼图信息对目标应用进行控制的交互标识，在注视点选中交互标识时，触发执行相应的操作。
基于上述实施例可知，本申请实施例提供的方案在校准过程中的采集点数可以尽可能地少(例如3点校准)，使用户尽快完成校准，达到基本可用的状态(即可以满足使用应用的条件)，在使用眼控应用程序时，通过目视控制光标和‘隐藏’于常用按钮下的指定点位完成采集交互，实现在使用过程中达到“校准”了更多点的作用，从而修正结果，随着触发的指定点越多，则相当于在进行了“默认校准点数+指定点数”数量点位的校准，以实现在使用中修正的校准结果好于起始阶段默认点数校准结果。即少量的校准点理论上使用效果低于大量校准点校准的效果，通过在应用使用过程中的持续校准过程，得以实现初期低门槛校准，而在使用过程中软件自动采集可以不断的修正校准结果，从而实现更好的使用体验。
图8为根据本申请实施例的一种校准装置的结构框图。该装置用于实现图1所示方法，如图8所示，该校准装置包括：
展示模块80，用于在人机交互界面中展示至少一个功能控件；
检测模块82，用于检测用户的注视点；
判断模块84，用于判断注视点是否位于功能控件所在的区域，其中，该区域为用于触发功能控件所对应操作的有效触发区域。其中，上述有效触发区域的含义包括但不限于：在采用注视点选中该区域时，会触发功能控件对应的操作。例如，该功能控件为音乐播放应用中的暂停控件时，在注视点选中该暂停控件后，会触发音乐播放应用暂停音乐的播放。在一个可选实施例中，在注视点(即注视点标识)在该区域(或功能控件)上的驻留时间大于预设时长时，则确定上述区域(或功能控件)被选中
确定模块86，用于在判断结果为是的情况下，基于注视点的位置选中校准点；
校准模块88，用于依据校准点对指定参数进行校准，得到目标校准结果，其中，指定参数用于计算注视点的位置。
在本申请的一些实施例中，在对校准结果要求不是特别严格的场景下，可以基于注视点在功能控件所属区域中的位置选中校准点，而不必关注注视点是否位于区域的中心位置，具体地，上述确定模块86还用于：确定区域中与注视点对应的目标点位信息，并将该目标点位信息对应的目标点作为校准点。
由于上述区域的体积一般大于注视点标识(例如注视点光标)的体积，在对校准结果要求比较精确的情况下，可以设计一些实现方式使得注视点与区域的中心点重合，以使得校准结果更加准确。具体地，上述装置还包括：判断单元，用于判断注视点的位置是否与区域中的中心点位置重合；确定单元，在判断结果指示注视点的位置与中心点位置重合时，基于注视点的位置选中校准点；移动单元，用于在判断结果指示注视点的位置与中心点位置不重合时，将注视点在人机交互界面中对应的注视点标识移动至中心点位置，并基于移动后的注视点标识的位置选中校准点。
需要说明的是，图8所示实施例的优选实施方式，可以参见实施例1的相关描述，此处不再赘述。
图9为根据本申请实施例的另一种校准方法的流程图。如图9所示，该方法包括：
步骤S902，采用指定校准方式对指定参数进行校准，得到第一校准结果，其中，指定参数用于对人机交互界面中的注视点位置进行计算；
其中，上述指定校准方式包括但不限于：默认校准方式；此时，在第二评价指标小于第一评价指标时，采用默认校准方式对指定参数进行校准。即在本申请的一些实施例中，可以预先设置默认校准方式，如果当前的校准点数多于默认校准方式对应的校准点数，即当前的校准方式的校准效果优于默认校准方式的校准效果，则选用校准效果更优的校准方式进行校准。
在本申请的一些实施例中，上述方法还可以包括：步骤1，展示校准界面，例如图3a和图3b所示的校准界面；步骤2，在校准界面中检测注视点与校准界面中校准点是否重合，如果重合则确定该校准点校准成功；步骤3，在选中相应的校准点后，确定在预设统计周期内被注视点选中(即与注视点重合)的所有校准点，依据选中的所有校准点对上述指定参数进行校准，得到最终的校准结果，即上述第一校准结果。
步骤S904，在人机交互界面中展示目标应用的至少一个功能控件；
步骤S906，判断目标对象的注视点是否位于至少一个功能控件所在的区域，其中，该区域为用于触发功能控件所对应操作的有效触发区域；
步骤S908，在判断结果为是的情况下，基于注视点的位置选中校准点；
步骤S910，依据校准点对指定参数进行校准，得到第二校准结果；以及
步骤S912，基于第二校准结果对第一校准结果进行修正。
在本申请的一些实施例中，在依据校准点对指定参数进行校准的过程中：确定指定校准方式的第一评价指标，该第一评价指标用于量化指定校准方式的校准准确度；统计预设时长内基于注视点选中的至少一个功能控件的数量，得到第一数量；确定指定校准方式所采用的校准点的第二数量；依据第一数量和第二数量确定第二评价指标；比较第一评价指标和第二评价指标的大小；在第二评价指标大于第一评价指标，且基于所述注视点选择的功能控件所对应的校准点和指定校准方式所对应的校准点不重合时，确定第一数量和第二数量的和值；基于和值所指示数量的校准点对指定参数进行校准。
本申请实施例还提供一种非易失性存储介质，该存储介质包括至少一个存储的程序，其中，在程序被处理器运行时执行图1或图9所示的校准方法。
本申请实施例还提供一种处理器，该处理器用于运行程序，其中，程序运行时执行图1或图9所示的校准方法。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (12)
1.一种校准方法，用于眼球追踪，其特征在于，包括：
在人机交互界面中展示至少一个功能控件；
检测用户的注视点；
判断所述注视点是否位于所述功能控件所在的区域，当所述注视点在所述功能控件所在的区域上的驻留时间大于预设时长时，则确定所述功能控件被选中，其中，该区域为用于触发所述功能控件所对应操作的有效触发区域；
在判断结果为是的情况下，基于所述注视点的位置选中所述功能控件下隐藏的校准点，其中，将所述功能控件所在区域下的一个或多个点或全部点作为校准点；
依据所述校准点对指定参数进行校准，得到目标校准结果，其中，所述指定参数用于计算所述注视点的位置。
2.根据权利要求1所述的方法，其特征在于，基于所述注视点的位置选中校准点，包括：
确定所述功能控件所属区域中与所述注视点对应的目标点位信息，并将该目标点位信息对应的目标点作为所述校准点。
3.根据权利要求1所述的方法，其特征在于，基于所述注视点的位置选中校准点，包括：
判断所述注视点的位置是否与所述功能控件所属区域中的中心点位置重合；
在判断结果指示所述注视点的位置与所述中心点位置重合时，基于所述注视点的位置选中所述校准点；在判断结果指示所述注视点的位置与所述中心点位置不重合时，将所述注视点在所述人机交互界面中对应的注视点标识移动至所述中心点位置，并基于移动后的注视点标识的位置选中所述校准点。
4.根据权利要求1所述的方法，其特征在于，依据所述校准点对所述指定参数进行校准包括：
确定指定校准方式的第一评价指标，该第一评价指标用于量化所述指定校准方式的校准准确度；
统计预设时长内基于所述注视点选中的所述至少一个功能控件的数量，得到第一数量；确定所述指定校准方式所采用的校准点的第二数量；依据所述第一数量和第二数量确定第二评价指标；
比较所述第一评价指标和第二评价指标的大小；
在所述第二评价指标大于所述第一评价指标，且基于所述注视点选择的功能控件所对应的校准点和指定校准方式所对应的校准点不重合时，确定所述第一数量和第二数量的和值；
基于所述和值所指示数量的校准点对所述指定参数进行校准。
5.根据权利要求4所述的方法，其特征在于，所述指定校准方式包括：默认校准方式；所述方法还包括：在所述第二评价指标小于所述第一评价指标时，采用所述默认校准方式对所述指定参数进行校准。
6.根据权利要求4所述的方法，其特征在于，
判断所述注视点是否位于功能控件所在的区域，包括：按照预设统计周期周期性判断所述注视点是否位于功能控件所在的区域；
所述指定校准方式包括：在上一个预设统计周期内采用的校准方式，其中，所述在上一个预设统计周期内采用的校准方式是基于校准点数量的校准方式。
7.根据权利要求1至6中任意一项所述的方法，其特征在于，依据所述校准点对所述指定参数进行校准之后，所述方法还包括：采集用户的眼图信息；并在所述功能控件上展示基于所述眼图信息对目标应用进行控制的交互标识。
8.一种校准方法，其特征在于，包括：
采用指定校准方式对指定参数进行校准，得到第一校准结果，其中，所述指定参数用于对用户的注视点位置进行计算；
在人机交互界面中展示目标应用的至少一个功能控件；
判断目标对象的注视点是否位于所述至少一个功能控件所在的区域，当所述注视点在所述功能控件所在的区域上的驻留时间大于预设时长时，则确定所述功能控件被选中，其中，该区域为用于触发所述功能控件所对应操作的有效触发区域；
在判断结果为是的情况下，基于所述注视点的位置选中所述功能控件下隐藏的校准点，其中，将所述功能控件所在区域下的一个或多个点或全部点作为校准点；
依据所述校准点对所述指定参数进行校准，得到第二校准结果；以及
基于第二校准结果对所述第一校准结果进行修正。
9.根据权利要求8所述的方法，其特征在于，依据所述校准点对所述指定参数进行校准包括：
确定所述指定校准方式的第一评价指标，该第一评价指标用于量化所述指定校准方式的校准准确度；
统计预设时长内基于所述注视点选中的所述至少一个功能控件的数量，得到第一数量；确定所述指定校准方式所采用的校准点的第二数量；依据所述第一数量和第二数量确定第二评价指标；
比较所述第一评价指标和第二评价指标的大小；
在所述第二评价指标大于所述第一评价指标，且基于所述注视点选择的功能控件所对应的校准点和指定校准方式所对应的校准点不重合时，确定所述第一数量和第二数量的和值；
基于所述和值所指示数量的校准点对所述指定参数进行校准。
10.一种校准装置，其特征在于，包括：
展示模块，用于在人机交互界面中展示至少一个功能控件；
检测模块，用于检测用户的注视点；
判断模块，用于判断所述注视点是否位于所述功能控件所在的区域，其中，该区域为用于触发所述功能控件所对应操作的有效触发区域当所述注视点在所述功能控件所在的区域上的驻留时间大于预设时长时，则确定所述功能控件被选中；
确定模块，用于在判断结果为是的情况下，基于所述注视点的位置选中所述功能控件下隐藏的校准点，其中，将所述功能控件所在区域下的一个或多个点或全部点作为校准点；
校准模块，用于依据所述校准点对指定参数进行校准，得到目标校准结果，其中，所述指定参数用于计算所述注视点的位置。
11.一种非易失性存储介质，其特征在于，所述存储介质包括至少一个存储的程序，其中，在所述程序被处理器运行时执行权利要求1至8中任意一项所述的校准方法。
12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至8中任意一项所述的校准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910565652.2A CN112148112B (zh) | 2019-06-27 | 2019-06-27 | 校准方法及装置、非易失性存储介质和处理器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910565652.2A CN112148112B (zh) | 2019-06-27 | 2019-06-27 | 校准方法及装置、非易失性存储介质和处理器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112148112A CN112148112A (zh) | 2020-12-29 |
| CN112148112B true CN112148112B (zh) | 2024-02-06 |
Family
ID=73868623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910565652.2A Active CN112148112B (zh) | 2019-06-27 | 2019-06-27 | 校准方法及装置、非易失性存储介质和处理器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112148112B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220330863A1 (en) * | 2021-04-19 | 2022-10-20 | Microsoft Technology Licensing, Llc | Systems and methods of capturing eye-gaze data |
| US11619993B2 (en) | 2021-04-19 | 2023-04-04 | Microsoft Technology Licensing, Llc | Systems and methods for gaze-tracking |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012052061A1 (en) * | 2010-10-22 | 2012-04-26 | Institut für Rundfunktechnik GmbH | Method and system for calibrating a gaze detector system |
| CN104641316A (zh) * | 2012-07-30 | 2015-05-20 | 约翰·哈登 | 光标移动设备 |
| CN105744262A (zh) * | 2014-12-12 | 2016-07-06 | 致茂电子(苏州)有限公司 | 可校正光源的检测系统及其光源校正方法 |
| CN106846396A (zh) * | 2017-01-04 | 2017-06-13 | 西安工程大学 | 基于视觉注意机制的织物起球等级评价方法 |
| CN107111355A (zh) * | 2014-11-03 | 2017-08-29 | 宝马股份公司 | 用于校准眼睛跟踪系统的方法和系统 |
| CN107329562A (zh) * | 2017-05-18 | 2017-11-07 | 北京七鑫易维信息技术有限公司 | 监测方法和装置 |
| CN107407977A (zh) * | 2015-03-05 | 2017-11-28 | 索尼公司 | 信息处理设备、控制方法及程序 |
| CN108038884A (zh) * | 2017-11-01 | 2018-05-15 | 北京七鑫易维信息技术有限公司 | 校准方法、装置、存储介质和处理器 |
| CN109032351A (zh) * | 2018-07-16 | 2018-12-18 | 北京七鑫易维信息技术有限公司 | 注视点函数确定方法、注视点确定方法、装置及终端设备 |
| CN109410285A (zh) * | 2018-11-06 | 2019-03-01 | 北京七鑫易维信息技术有限公司 | 一种校准方法、装置、终端设备及存储介质 |
| CN109558012A (zh) * | 2018-12-26 | 2019-04-02 | 北京七鑫易维信息技术有限公司 | 一种眼球追踪方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9851791B2 (en) * | 2014-11-14 | 2017-12-26 | Facebook, Inc. | Dynamic eye tracking calibration |
-
2019
- 2019-06-27 CN CN201910565652.2A patent/CN112148112B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012052061A1 (en) * | 2010-10-22 | 2012-04-26 | Institut für Rundfunktechnik GmbH | Method and system for calibrating a gaze detector system |
| CN104641316A (zh) * | 2012-07-30 | 2015-05-20 | 约翰·哈登 | 光标移动设备 |
| CN107111355A (zh) * | 2014-11-03 | 2017-08-29 | 宝马股份公司 | 用于校准眼睛跟踪系统的方法和系统 |
| CN105744262A (zh) * | 2014-12-12 | 2016-07-06 | 致茂电子(苏州)有限公司 | 可校正光源的检测系统及其光源校正方法 |
| CN107407977A (zh) * | 2015-03-05 | 2017-11-28 | 索尼公司 | 信息处理设备、控制方法及程序 |
| CN106846396A (zh) * | 2017-01-04 | 2017-06-13 | 西安工程大学 | 基于视觉注意机制的织物起球等级评价方法 |
| CN107329562A (zh) * | 2017-05-18 | 2017-11-07 | 北京七鑫易维信息技术有限公司 | 监测方法和装置 |
| CN108038884A (zh) * | 2017-11-01 | 2018-05-15 | 北京七鑫易维信息技术有限公司 | 校准方法、装置、存储介质和处理器 |
| CN109032351A (zh) * | 2018-07-16 | 2018-12-18 | 北京七鑫易维信息技术有限公司 | 注视点函数确定方法、注视点确定方法、装置及终端设备 |
| CN109410285A (zh) * | 2018-11-06 | 2019-03-01 | 北京七鑫易维信息技术有限公司 | 一种校准方法、装置、终端设备及存储介质 |
| CN109558012A (zh) * | 2018-12-26 | 2019-04-02 | 北京七鑫易维信息技术有限公司 | 一种眼球追踪方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112148112A (zh) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10191558B2 (en) | Multipurpose controllers and methods | |
| RU2644265C2 (ru) | Устройство отображения изображения и устройство для ввода информации | |
| US8466875B2 (en) | Electroencephalogram interface system, electroencephalogram interface apparatus, method, and computer program | |
| CN105378595B (zh) | 通过触摸输入校准眼睛跟踪系统的方法 | |
| KR101785255B1 (ko) | 형상 구별 시력 평가 및 추적 시스템 | |
| CN109976535B (zh) | 一种校准方法、装置、设备及存储介质 | |
| AU2017248115B2 (en) | A device and method for measuring viewing distances | |
| US11017257B2 (en) | Information processing device, information processing method, and program | |
| CN112148112B (zh) | 校准方法及装置、非易失性存储介质和处理器 | |
| WO2021244145A1 (zh) | 头戴显示设备的交互方法、终端设备及存储介质 | |
| KR20140011204A (ko) | 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치 | |
| US20200103965A1 (en) | Method, Device and System for Controlling Interaction Control Object by Gaze | |
| CN107111355A (zh) | 用于校准眼睛跟踪系统的方法和系统 | |
| US11481037B2 (en) | Multipurpose controllers and methods | |
| CN112748798B (zh) | 一种眼球追踪校准方法及相关设备 | |
| TW202301871A (zh) | 提升使用者體驗和注視互動準確度之光學系統和相關方法 | |
| US11259698B2 (en) | Apparatus and method for capturing a visual field of a person having a scotoma | |
| CN110174937A (zh) | 注视信息控制操作的实现方法及装置 | |
| JP2023517380A (ja) | 眼球追跡校正方法及び装置 | |
| JPH1145141A (ja) | データ入力装置 | |
| CN106774912B (zh) | 一种操控vr设备的方法及装置 | |
| JPWO2020016970A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN113491502A (zh) | 一种眼球追踪校准检验方法、装置、设备及存储介质 | |
| JP6856200B2 (ja) | 視線検出校正方法、システム、及びコンピュータプログラム | |
| KR101943206B1 (ko) | 착시 ui를 이용하여 명령을 입력하는 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |