CN110908511A - 触发重新校正的方法及相关装置 - Google Patents

触发重新校正的方法及相关装置 Download PDF

Info

Publication number
CN110908511A
CN110908511A CN201911090032.4A CN201911090032A CN110908511A CN 110908511 A CN110908511 A CN 110908511A CN 201911090032 A CN201911090032 A CN 201911090032A CN 110908511 A CN110908511 A CN 110908511A
Authority
CN
China
Prior art keywords
point
output point
algorithm output
algorithm
target verification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911090032.4A
Other languages
English (en)
Other versions
CN110908511B (zh
Inventor
韩世广
方攀
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911090032.4A priority Critical patent/CN110908511B/zh
Publication of CN110908511A publication Critical patent/CN110908511A/zh
Application granted granted Critical
Publication of CN110908511B publication Critical patent/CN110908511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本申请实施例公开了一种触发重新校正的方法及相关装置，应用于电子设备，方法包括：选取电子设备的显示屏幕的目标验证点；检测用户注视显示屏幕的算法输出点，算法输出点为电子设备计算得到的用户人眼在显示屏幕上的注视位置；根据目标验证点和算法输出点确定算法输出点是否校正成功；若否，则触发重新校正。本申请实施例有利于实现提高校正效果，以及提高注视准确度。

Description

触发重新校正的方法及相关装置
技术领域
本申请涉及移动终端技术领域，具体涉及一种触发重新校正的方法及相关装置。
背景技术
随着科学技术的进步，人机交互的方式越来越多样化。人眼的视点是一种重要的人体信息，近年来眼球追踪在人机系统领域发挥着越来越重要的作用。其中，眼球追踪是实现人机交互的主要方式之一，眼球追踪主要利用高清晰度摄像机和电磁、超声波、不可见红外线等采集人的头部的图像，然后经过一定的图像处理，实时的找出人的瞳孔的位置，最后采用一定的算法判断出人的视线方向等信息。虽然眼球在一定程度上达到人与移动装备交互的效果，但是也存在着明显的不足。
发明内容
本申请实施例提供了一种触发重新校正的方法及相关装置，以期能够实现通过判断校正效果触发重新校正，从而实现提高校正效果，以及提高注视准确度。
第一方面，本申请实施例提供一种触发重新校正的方法，应用于电子设备，所述方法包括：
选取所述电子设备的显示屏幕的目标验证点；
检测用户注视所述显示屏幕的算法输出点，所述算法输出点为所述电子设备计算得到的用户人眼在所述显示屏幕上的注视位置；
根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功；
若否，则触发重新校正。
第二方面，本申请实施例提供一种触发重新校正的装置，应用于电子设备，所述触发重新校正的装置包括处理单元和通信单元，其中，
所述处理单元，通过所述通信单元选取所述电子设备的显示屏幕的目标验证点；以及检测用户注视所述显示屏幕的算法输出点，所述算法输出点为所述电子设备计算得到的用户人眼在所述显示屏幕上的注视位置；以及根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功；以及若否，则触发重新校正。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中，电子设备首先选取所述电子设备的显示屏幕的目标验证点；然后检测用户注视所述显示屏幕的算法输出点，所述算法输出点为所述电子设备计算得到的用户人眼在所述显示屏幕上的注视位置；其次根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功；若否，最后则触发重新校正。可见，通过对目标验证点和算法输出点确定校正结果，然后根据校正效果确定是否触发重新校正，从而实现提高校正效果，以及提高注视准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种触发重新校正的系统的示意图；
图2是本申请实施例提供的一种触发重新校正的方法的流程示意图；
图3a是本申请实施例提供的一种显示屏幕上的目标验证点的分布示意图；
图3b是本申请实施例提供的一种选中目标验证点的示意图；
图3c是本申请实施例提供的一种输出算法点的流程示意图；
图3d是本申请实施例提供的一种目标应用的屏幕区域划分的示意图；
图3e是本申请实施例提供的一种分屏显示的验证示意图；
图4是本申请实施例提供的另一种触发重新校正的方法的流程示意图；
图5是本申请实施例提供的一种电子设备的结构示意图；
图6是本申请实施例提供的一种触发重新校正的装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
如图1所示，图1为一种触发重新校正的系统100的示意图，该触发重新校正的系统100包括算法输出点检测装置110、数据处理装置120，所述算法输出点检测装置110连接所述数据处理装置120，算法输出点检测装置110用于检测用户注视所述显示屏幕的算法输出点，并发给数据处理装置120进行处理，数据处理装置120用于对所述算法输出点和目标验证点进行处理，确定所述算法输出点是否校正成功，若否，则触发重新校正。触发重新校正的系统100应用于电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。
目前，触发重新校正的方法是由用户体验差触发，尝试重新校正解决问题。该方法用户体验较差，且用户可能也不会重新校正，即不能100％触发重新校正。
针对上述问题，本申请提出一种触发重新校正的方法，下面结合附图对本申请实施例进行详细介绍。
请参阅图2，图2是本申请实施例提供了一种触发重新校正的方法的流程示意图，应用于电子设备，如图所示，本触发重新校正的方法包括：
S201，电子设备选取所述电子设备的显示屏幕的目标验证点；
其中，如图3a所示，图3a为一种显示屏幕上的目标验证点的分布示意图，所述显示屏幕的当前界面可以为验证界面。显示屏幕可以分为屏幕边界区域和屏幕常用区域，图中显示屏幕中的黑点为目标验证点，所述目标验证点的分布、数量和大小可以由用户预先设置或电子设备默认设置，电子设备默认设备可以根据显示屏幕的大小，用户使用习惯(例如用户使用中常常遮挡部分显示区域，该区域的目标验证点可减少)等。图3b所示，图3b为一种选中目标验证点的示意图。显示屏幕显示选中的一个目标验证点，当用户注视到该目标验证点后，点击显示屏幕任意区域(或通过语音确认注视到该目标验证点)，即进入验证阶段，该目标验证点同时会产生变化作为进入验证阶段的标志，例如颜色变化等。
具体实现中，选取所述电子设备的显示屏幕的目标验证点可以通过用户事先设置的验证点顺序依次验证，还可以通过用户点击选择每次的验证目标点，还可以是电子设备默认设置所述目标验证点依次出现或者验证程序会随机显示一个验证点等。
S202，所述电子设备检测用户注视所述显示屏幕的算法输出点，所述算法输出点为所述电子设备计算得到的用户人眼在所述显示屏幕上的注视位置；
其中，所述电子设备设置有红外传感装置和摄像装置，如图3c所示，图3c为一种输出算法点的流程示意图，利用红外灯照射在人眼上出现光斑，使用红外传感器将光斑以及瞳孔的图片拍摄，通过视线估计算法处理图片，计算注视方向以及注视点落点。
S203，所述电子设备根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功；
其中，根据目标验证点的位置和所述算法输出点的位置进行比较，确定算法输出点和目标验证点的距离是否在预设范围内，即确定所述算法输出点的是否校正成功。
S204，若否，所述电子设备则触发重新校正。
其中，若所述算法输出点没有校正成功，则触发重新校正。
具体实现中，电子设备校正所述算法输出点的过程是针对该用户生成特有的注视点位置映射到屏幕坐标的多元多次多项式，该多项式一般体现为二元二次多项式:
Xgace＝a0+a1*Vx+a2*Vy+a3*Vx*Vy
Ygace＝b0+b1*Vx+b2*Vy+b3*Vx*Vy
因为二元二次多项式有4个未知参数，所以一般至少需要4个点进行拟合求得。
其中Xgace和Ygace指的是手机屏幕上注视点的坐标；Vx和Vy指的是拍摄的人脸和人眼红外图中瞳孔的横坐标和竖坐标。
具体实现中，眼动跟踪的重新校正还可以根据用户日常使用所述电子设备的准确率进行校正提醒，或者在使用一段预设时间后进入算法输出点校正。
可以看出，本申请实施例中，电子设备首先选取所述电子设备的显示屏幕的目标验证点；然后检测用户注视所述显示屏幕的算法输出点，所述算法输出点为所述电子设备计算得到的用户人眼在所述显示屏幕上的注视位置；其次根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功；若否，最后则触发重新校正。可见，通过对目标验证点和算法输出点确定校正结果，然后根据校正效果确定是否触发重新校正，从而实现提高校正效果，以及提高注视准确度。
在一个可能的示例中，所述根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功，包括：确定所述目标验证点和所述算法输出点的误差距离；若所述误差距离大于预设距离阈值，确定所述算法输出点校正失败；若所述误差距离小于预设距离阈值，确定所述算法输出点校正成功。
其中，通过目标验证点和算法输出点确定所述目标验证点和所述算法输出点的相对距离，根据相对距离确定所述算法输出点是否校正成功。
具体实现中，所述预设距离阈值可以通过用户设置得到，还可以通过电子设备确定显示屏幕以及显示风格确定，所述显示风格包括显示字体大小等。例如，用户设置的显示字体越小，对注视点的要求越高，即预设距离阈值越小，校正后的算法输出点的精确率越高。
可见，本示例中，电子设备能够根据算法输出点和显示屏幕的目标验证点的距离确定所述算法输出点是否校正成功，提高了算法输出点校正的效率和准确率，提升了用户体验感。
在一个可能的示例中，所述确定所述目标验证点和所述算法输出点的误差距离，包括：在所述电子设备显示屏所在平面建立直角坐标系；获取所述目标验证点的第一坐标点f(x0,y0)和N帧图像对应的N个所述算法输出点的第二坐标点f`(xi,yi)，其中，i为大于1小于N的整数；根据所述第一坐标点f(x,y)和所述N个第二坐标点f`(xi,yi)计算得到所述误差距离。
其中，在所述电子设备的显示屏幕所在水平面上建立平面坐标系，通过所述平面坐标系确定所述目标验证点的坐标位置和所述算法输出点的坐标位置，根据所述目标验证点的坐标位置和所述算法输出点的坐标位置确定所述目标验证点与所述算法输出点之间的误差距离。
具体实现中，当用户注视一个目标验证点时，可以采集多帧图像，确定每帧图像对应的算法输出点的第二坐标点。例如，用户注视目标验证点a时，在预设时间内采集N帧用户注视验证目标点a的图像，根据N帧用户注视验证目标点a的图像对应的N个算法输出点，计算N个算法输出点与目标验证点a之间的误差距离。
可见，本示例中，电子设备能够基于目标验证点和对应的多个算法输出点的坐标位置确定目标验证点与算法输出点的误差距离,提高了算法输出点校正的效率和准确率。
在一个可能的示例中，所述根据所述第一坐标点f(x,y)和所述N个第二坐标点f`(xi,yi)计算得到所述误差距离，包括：根据误差距离计算式计算得到所述误差距离，所述误差距离计算式为
Figure BDA0002266572600000071
其中，所述S为误差距离。
其中，计算所述误差距离时，可以先计算N个第二坐标点与所述第一坐标点之间的误差距离，然后将N个第二坐标点与所述第一坐标点之间的误差距离求平均值，得到最终的误差距离值。
具体实现中，可以先计算N个算法输出点中每个算法输出点与目标验证点a之间的误差距离，即可根据
Figure BDA0002266572600000072
其中，i大于0小于等于N的整数。将S1,S2…SN相加后再除以N得到最终的误差距离。
可见，本示例中电子设备能够根据N个第二坐标点与所述第一坐标点之间的多个误差距离确定目标验证点与算法输出点的误差距离,提高了算法输出点校正的效率和准确率。
在一个可能的示例中，所述选取目标验证点之前，还包括：确定目标应用；根据所述目标应用确定第一检测区域和第二检测区域，所述第一检测区域为浏览区域，所述第二检测区域为输入区域。
其中，由于用户习惯或电子设备固定区域的功能设置，电子设备显示屏幕显示不同应用时可被划分为不同显示区域，不同显示区域对用户注视点的算法输出的精确度要求不同，因此在选取目标验证点之前，还可以先确定校正用户注视的算法输出点的目标应用或目标功能，根据目标应用或目标功能确定电子设备各个区域的目标验证点以及算法输出点的精确度要求。
具体实现中，如图3d所示，图3d为一种目标应用的屏幕区域划分的示意图，其中，显示屏幕仅供浏览的显示区域对算法输出点的精确度要求较低，而显示屏幕中可以用于输入用户指令的输入区域的算法输出点的精确度要求较高。
可见，本示例中，电子设备能够根据目标应用的显示屏幕的区域划分确定每个区域的算法输出点的精确度要求，根据算法输出点的精确度要求校正算法输出点，实现了算法输出点校正的区别性和提高了算法输出点校正的准确性。
在一个可能的示例中，所述根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功，包括：根据所述第一检测区域的所述目标验证点和所述算法输出点确定第一误差距离Si；根据所述第二检测区域的所述目标验证点和所述算法输出点确定第二误差距离Sj；获取所述第一检测区域和第二检测区域的预设权值；根据所述第一误差距离Si、第二误差距离Sj以及所述第一检测区域和第二检测区域的预设权值计算得到综合误差距离；根据所述综合误差距离和预设误差阈值进行比较，确定所述算法输出点是否校正成功。
其中，检测到第一检测区域的第一误差距离和第二检测区域的第二误差距离后，获取第一检测区域的误差距离的预设权值q和第二检测区域的误差距离的预设权值p，然后计算出所述电子设备显示屏幕的算法输出点的综合误差距离，进而判断是否校正成功。
具体实现中，所述第一误差距离可以是将第一检测区域的N个误差距离的平均误差距离，所述第二误差距离可以是将第二检测区域的M个误差距离的平均误差距离，然后分别乘以对应的权值计算综合误差距离。还可以是将第一检测区域的N个误差距离、第一检测区域的预设权值以及第二检测区域的M个误差距离和第二检测区域对应的预设权值根据第一预设计算公式计算得到综合误差距离，所述第一预设计算公式为：
Figure BDA0002266572600000081
其中，Sz为第一检测区域和第二检测区域的综合误差距离，q和p为所述第一检测区域和第二检测区域的预设权值，其中，q<p。
具体实现中，若所述算法输出点的校正的目标功能为分屏时，提高应用分界区域的算法输出点的精确度。如图3e所示，图3e为一种分屏显示的验证示意图，其中，将多个应用的相邻区域的预设权值增大且使远离相邻区域的算法输出点坐标的预设权值变小，或者减小所述目标验证点的直径大小等。
可见，本示例中，所述电子设备通过目标应用的显示屏幕的区域划分确定每个区域的算法输出点的预设权值，根据算法输出点的预设权值确定算法输出点与目标验证点之间的误差距离，实现了算法输出点校正的区别性和提高了算法输出点校正的准确性。
在一个可能的示例中，所述触发重新校正之后，还包括：根据所述误差距离确定偏移位置；根据所述偏移位置计算距离校准数据，所述距离校准数据包括第一纵向偏移距离和第一横向偏移距离；根据所述第一纵向偏移距离和所述第一横向偏移距离确定纵向校准数据和横向校准数据；根据所述纵向校准数据和所述横向校准数据对所述算法输出点进行校准。
其中，确定所述算法输出点的误差距离时，同时还确定所述算法输出点与所述目标验证点的方向信息或偏移信息，根据误差距离和便宜信息确定所述算法输出点相对于所述目标验证点的偏移距离。然后根据偏移距离校正所述算法输出点。
具体实现中，距离校准数据包括纵向校准数据和横向校准数据，根据横向校准数据和纵向校准数据调整所述算法输出点，校准其下次输出的算法输出点的精度和准确度。
可见，本示例中，所述电子设备能够根据算法输出点的误差距离确定其偏移位置，进而确定所述算法输出点的校准数据，并根据校准数据对所述算法输出点进行校准，提高了算法输出点校正的准确性。
与上述图2所示的实施例一致的，请参阅图4，图4是本申请实施例提供的一种触发重新校正的方法的流程示意图，应用于电子设备，如图所示，本触发重新校正的方法包括：
S401，电子设备选取所述电子设备的显示屏幕的目标验证点；
S402，所述电子设备检测用户注视所述显示屏幕的算法输出点，所述算法输出点为所述电子设备计算得到的用户人眼在所述显示屏幕上的注视位置；
S403，所述电子设备确定所述目标验证点和所述算法输出点的误差距离；
S404，所述电子设备在所述电子设备显示屏所在平面建立直角坐标系；
S405，所述电子设备获取所述目标验证点的第一坐标点f(x,y)和N帧图像对应的N个所述算法输出点的第二坐标点f`(xi,yi)，其中，i为大于1小于N的整数；
S406，所述电子设备根据所述第一坐标点f(x,y)和所述N个第二坐标点f`(xi,yi)计算得到所述误差距离。
S407，若所述误差距离大于预设距离阈值，所述电子设备确定所述算法输出点校正失败，则触发重新校正；
S408，若所述误差距离小于预设距离阈值，所述电子设备确定所述算法输出点校正成功。
可以看出，本申请实施例中，电子设备首先选取所述电子设备的显示屏幕的目标验证点；然后检测用户注视所述显示屏幕的算法输出点，所述算法输出点为所述电子设备计算得到的用户人眼在所述显示屏幕上的注视位置；其次根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功；若否，最后则触发重新校正。可见，通过对目标验证点和算法输出点确定校正结果，然后根据校正效果确定是否触发重新校正，从而实现提高校正效果，以及提高注视准确度。
此外，电子设备能够根据N个第二坐标点与所述第一坐标点之间的多个误差距离确定目标验证点与算法输出点的误差距离,提高了算法输出点校正的效率和准确率。
与上述图2、图4所示的实施例一致的，请参阅图5，图5是本申请实施例提供的一种电子设备500的结构示意图，如图所示，所述电子设备500包括处理器510、存储器520、通信接口530以及一个或多个程序521，其中，所述一个或多个程序521被存储在上述存储器520中，并且被配置由上述处理器510执行，所述一个或多个程序521包括用于执行以下步骤的指令；
选取所述电子设备的显示屏幕的目标验证点；
检测用户注视所述显示屏幕的算法输出点，所述算法输出点为所述电子设备计算得到的用户人眼在所述显示屏幕上的注视位置；
根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功；
若否，则触发重新校正。
可以看出，本申请实施例中，电子设备首先选取所述电子设备的显示屏幕的目标验证点；然后检测用户注视所述显示屏幕的算法输出点，所述算法输出点为所述电子设备计算得到的用户人眼在所述显示屏幕上的注视位置；其次根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功；若否，最后则触发重新校正。可见，通过对目标验证点和算法输出点确定校正结果，然后根据校正效果确定是否触发重新校正，从而实现提高校正效果，以及提高注视准确度。
在一个可能的示例中，在所述根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功方面，所述程序中的指令具体用于执行以下操作：确定所述目标验证点和所述算法输出点的误差距离；若所述误差距离大于预设距离阈值，确定所述算法输出点校正失败；若所述误差距离小于预设距离阈值，确定所述算法输出点校正成功。
在一个可能的示例中，在所述确定所述目标验证点和所述算法输出点的误差距离方面，所述程序中的指令具体用于执行以下操作：在所述电子设备显示屏所在平面建立直角坐标系；获取所述目标验证点的第一坐标点f(x,y)和N帧图像对应的N个所述算法输出点的第二坐标点f`(xi,yi)，其中，i为大于1小于N的整数；根据所述第一坐标点f(x,y)和所述N个第二坐标点f`(xi,yi)计算得到所述误差距离。
在一个可能的示例中，在所述根据所述第一坐标点f(x,y)和所述N个第二坐标点f`(xi,yi)计算得到所述误差距离方面，所述程序中的指令具体用于执行以下操作：根据误差距离计算式计算得到所述误差距离，所述误差距离计算式为
Figure BDA0002266572600000111
其中，所述S为误差距离。
在一个可能的示例中，所述程序还包括用于执行以下操作的指令：所述选取目标验证点之前，确定目标应用；根据所述目标应用确定第一检测区域和第二检测区域，所述第一检测区域为浏览区域，所述第二检测区域为输入区域。
在一个可能的示例中，在所述根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功方面，所述程序中的指令具体用于执行以下操作：根据所述第一检测区域的所述目标验证点和所述算法输出点确定第一误差距离Si；根据所述第二检测区域的所述目标验证点和所述算法输出点确定第二误差距离Sj；获取所述第一检测区域和第二检测区域的预设权值；根据所述第一误差距离Si、第二误差距离Sj以及所述第一检测区域和第二检测区域的预设权值计算得到综合误差距离；根据所述综合误差距离和预设误差阈值进行比较，确定所述算法输出点是否校正成功。在一个可能的示例中，所述程序还包括用于执行以下操作的指令：所述触发重新校正之后，根据所述误差距离确定偏移位置；根据所述偏移位置计算距离校准数据，所述距离校准数据包括第一纵向偏移距离和第一横向偏移距离；根据所述第一纵向偏移距离和所述第一横向偏移距离确定纵向校准数据和横向校准数据；根据所述纵向校准数据和所述横向校准数据对所述算法输出点进行校准。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图6是本申请实施例中所涉及的触发重新校正的装置600的功能单元组成框图。应用于电子设备，所述触发重新校正的装置包括处理单元601和通信单元602，其中，
所述处理单元601，通过所述通信单元602选取所述电子设备的显示屏幕的目标验证点；以及检测用户注视所述显示屏幕的算法输出点，所述算法输出点为所述电子设备计算得到的用户人眼在所述显示屏幕上的注视位置；以及根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功；以及若否，则触发重新校正。
其中，所述触发重新校正的装置600还可以包括存储单元603，用于存储电子设备的程序代码和数据。所述处理单元601可以是处理器，所述通信单元602可以是触控显示屏或者收发器，存储单元603可以是存储器。
可以看出，本申请实施例中，电子设备首先选取所述电子设备的显示屏幕的目标验证点；然后检测用户注视所述显示屏幕的算法输出点，所述算法输出点为所述电子设备计算得到的用户人眼在所述显示屏幕上的注视位置；其次根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功；若否，最后则触发重新校正。可见，通过对目标验证点和算法输出点确定校正结果，然后根据校正效果确定是否触发重新校正，从而实现提高校正效果，以及提高注视准确度。
在一个可能的示例中，在所述根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功方面，所述处理单元601具体用于：确定所述目标验证点和所述算法输出点的误差距离；若所述误差距离大于预设距离阈值，确定所述算法输出点校正失败；若所述误差距离小于预设距离阈值，确定所述算法输出点校正成功。
在一个可能的示例中，在所述确定所述目标验证点和所述算法输出点的误差距离方面，所述处理单元601具体用于：在所述电子设备显示屏所在平面建立直角坐标系；获取所述目标验证点的第一坐标点f(x,y)和N帧图像对应的N个所述算法输出点的第二坐标点f`(xi,yi)，其中，i为大于1小于N的整数；根据所述第一坐标点f(x,y)和所述N个第二坐标点f`(xi,yi)计算得到所述误差距离。
在一个可能的示例中，在所述根据所述第一坐标点f(x,y)和所述N个第二坐标点f`(xi,yi)计算得到所述误差距离方面，所述处理单元601具体用于：根据误差距离计算式计算得到所述误差距离，所述误差距离计算式为
Figure BDA0002266572600000131
其中，所述S为误差距离。
在一个可能的示例中，所述处理单元601在所述选取目标验证点之前，还用于确定目标应用；根据所述目标应用确定第一检测区域和第二检测区域，所述第一检测区域为浏览区域，所述第二检测区域为输入区域。
在一个可能的示例中，在所述根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功方面，所述处理单元601具体用于：根据所述第一检测区域的所述目标验证点和所述算法输出点确定第一误差距离Si；根据所述第二检测区域的所述目标验证点和所述算法输出点确定第二误差距离Sj；获取所述第一检测区域和第二检测区域的预设权值；根据所述第一误差距离Si、第二误差距离Sj以及所述第一检测区域和第二检测区域的预设权值计算得到综合误差距离；根据所述综合误差距离和预设误差阈值进行比较，确定所述算法输出点是否校正成功。在一个可能的示例中，所述处理单元601在所述触发重新校正之后，还用于根据所述误差距离确定偏移位置；根据所述偏移位置计算距离校准数据，所述距离校准数据包括第一纵向偏移距离和第一横向偏移距离；根据所述第一纵向偏移距离和所述第一横向偏移距离确定纵向校准数据和横向校准数据；根据所述纵向校准数据和所述横向校准数据对所述算法输出点进行校准。
可以理解的是，由于触发重新校正的方法实施例与触发重新校正的装置实施例为相同技术构思的不同呈现形式，因此，本申请中触发重新校正的方法实施例部分的内容应同步适配于触发重新校正的装置实施例部分，此处不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序被计算机执行时实现上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种触发重新校正的方法，其特征在于，应用于电子设备，所述方法包括：
选取所述电子设备的显示屏幕的目标验证点；
检测用户注视所述显示屏幕的算法输出点，所述算法输出点为所述电子设备计算得到的用户人眼在所述显示屏幕上的注视位置；
根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功；
若否，则触发重新校正。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功，包括：
确定所述目标验证点和所述算法输出点的误差距离；
若所述误差距离大于预设距离阈值，确定所述算法输出点校正失败；
若所述误差距离小于预设距离阈值，确定所述算法输出点校正成功。
3.根据权利要求2所述的方法，其特征在于，所述确定所述目标验证点和所述算法输出点的误差距离，包括：
在所述电子设备显示屏所在平面建立直角坐标系；
获取所述目标验证点的第一坐标点f(x,y)和N帧图像对应的N个所述算法输出点的第二坐标点f`(xi,yi)，其中，i为大于1小于N的整数；
根据所述第一坐标点f(x,y)和所述N个第二坐标点f`(xi,yi)计算得到所述误差距离。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一坐标点f(x,y)和所述N个第二坐标点f`(xi,yi)计算得到所述误差距离，包括：
根据误差距离计算式计算得到所述误差距离，所述误差距离计算式为
Figure FDA0002266572590000011
其中，所述S为误差距离。
5.根据权利要求1所述的方法，其特征在于，所述选取目标验证点之前，还包括：
确定目标应用；
根据所述目标应用确定第一检测区域和第二检测区域，所述第一检测区域为浏览区域，所述第二检测区域为输入区域。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功，包括：
根据所述第一检测区域的所述目标验证点和所述算法输出点确定第一误差距离Si；
根据所述第二检测区域的所述目标验证点和所述算法输出点确定第二误差距离Sj；
获取所述第一检测区域和第二检测区域的预设权值；
根据所述第一误差距离Si、第二误差距离Sj以及所述第一检测区域和第二检测区域的预设权值计算得到综合误差距离；
根据所述综合误差距离和预设误差阈值进行比较，确定所述算法输出点是否校正成功。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述触发重新校正之后，还包括：
根据所述误差距离确定偏移位置；
根据所述偏移位置计算距离校准数据，所述距离校准数据包括第一纵向偏移距离和第一横向偏移距离；
根据所述第一纵向偏移距离和所述第一横向偏移距离确定纵向校准数据和横向校准数据；
根据所述纵向校准数据和所述横向校准数据对所述算法输出点进行校准。
8.一种触发重新校正的装置，其特征在于，应用于电子设备，所述触发重新校正的装置包括处理单元和通信单元，其中，
所述处理单元，通过所述通信单元选取所述电子设备的显示屏幕的目标验证点；以及检测用户注视所述显示屏幕的算法输出点，所述算法输出点为所述电子设备计算得到的用户人眼在所述显示屏幕上的注视位置；以及根据所述目标验证点和所述算法输出点确定所述算法输出点是否校正成功；以及若否，则触发重新校正。
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序被计算机执行时实现如权利要求1-7任一项所述的方法。
CN201911090032.4A 2019-11-08 2019-11-08 触发重新校正的方法及相关装置 Active CN110908511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911090032.4A CN110908511B (zh) 2019-11-08 2019-11-08 触发重新校正的方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911090032.4A CN110908511B (zh) 2019-11-08 2019-11-08 触发重新校正的方法及相关装置

Publications (2)

Publication Number Publication Date
CN110908511A true CN110908511A (zh) 2020-03-24
CN110908511B CN110908511B (zh) 2022-03-15

Family

ID=69817250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911090032.4A Active CN110908511B (zh) 2019-11-08 2019-11-08 触发重新校正的方法及相关装置

Country Status (1)

Country Link
CN (1) CN110908511B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399658A (zh) * 2020-04-24 2020-07-10 Oppo广东移动通信有限公司 眼球注视点的校准方法、装置、电子设备及存储介质
CN111459271A (zh) * 2020-03-27 2020-07-28 Oppo广东移动通信有限公司 注视偏移误差确定方法及装置
CN111857333A (zh) * 2020-06-29 2020-10-30 维沃移动通信有限公司 眼动追踪方法、装置及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012742A (zh) * 2010-11-24 2011-04-13 广东威创视讯科技股份有限公司 一种眼睛鼠标的校正方法及其装置
CN102043952A (zh) * 2010-12-31 2011-05-04 山东大学 一种基于双光源的视线跟踪方法
CN103366381A (zh) * 2013-08-06 2013-10-23 山东大学 基于空间位置的视线跟踪校正方法
CN104113680A (zh) * 2013-04-19 2014-10-22 北京三星通信技术研究有限公司 视线跟踪系统及方法
US20150049013A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
US20160128568A1 (en) * 2014-11-06 2016-05-12 International Business Machines Corporation Correcting systematic calibration errors in eye tracking data
CN106371566A (zh) * 2015-07-24 2017-02-01 由田新技股份有限公司 用于眼部追踪的校正模块、方法及计算机可读取记录媒体
CN108968907A (zh) * 2018-07-05 2018-12-11 四川大学 眼动数据的校正方法及装置
CN109240497A (zh) * 2018-08-28 2019-01-18 北京航空航天大学青岛研究院 一种在虚拟现实场景中的眼动追踪自动校准方法
CN110069124A (zh) * 2018-01-22 2019-07-30 简韶逸 双模式视线追踪方法与系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012742A (zh) * 2010-11-24 2011-04-13 广东威创视讯科技股份有限公司 一种眼睛鼠标的校正方法及其装置
CN102043952A (zh) * 2010-12-31 2011-05-04 山东大学 一种基于双光源的视线跟踪方法
CN104113680A (zh) * 2013-04-19 2014-10-22 北京三星通信技术研究有限公司 视线跟踪系统及方法
CN103366381A (zh) * 2013-08-06 2013-10-23 山东大学 基于空间位置的视线跟踪校正方法
US20150049013A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
US20160128568A1 (en) * 2014-11-06 2016-05-12 International Business Machines Corporation Correcting systematic calibration errors in eye tracking data
CN106371566A (zh) * 2015-07-24 2017-02-01 由田新技股份有限公司 用于眼部追踪的校正模块、方法及计算机可读取记录媒体
CN110069124A (zh) * 2018-01-22 2019-07-30 简韶逸 双模式视线追踪方法与系统
CN108968907A (zh) * 2018-07-05 2018-12-11 四川大学 眼动数据的校正方法及装置
CN109240497A (zh) * 2018-08-28 2019-01-18 北京航空航天大学青岛研究院 一种在虚拟现实场景中的眼动追踪自动校准方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459271A (zh) * 2020-03-27 2020-07-28 Oppo广东移动通信有限公司 注视偏移误差确定方法及装置
CN111459271B (zh) * 2020-03-27 2024-03-08 Oppo广东移动通信有限公司 注视偏移误差确定方法及装置
CN111399658A (zh) * 2020-04-24 2020-07-10 Oppo广东移动通信有限公司 眼球注视点的校准方法、装置、电子设备及存储介质
CN111399658B (zh) * 2020-04-24 2022-03-15 Oppo广东移动通信有限公司 眼球注视点的校准方法、装置、电子设备及存储介质
CN111857333A (zh) * 2020-06-29 2020-10-30 维沃移动通信有限公司 眼动追踪方法、装置及电子设备

Also Published As

Publication number Publication date
CN110908511B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN110908511B (zh) 触发重新校正的方法及相关装置
JP5664064B2 (ja) 視線検出装置および補正係数算出プログラム
US11379960B2 (en) Image processing method, image processing apparatus, and wearable device
US20190244369A1 (en) Display device and method for image processing
US10319104B2 (en) Method and system for determining datum plane
CN110780742B (zh) 眼球追踪处理方法及相关装置
US20160253791A1 (en) Optical distortion compensation
CN111543934A (zh) 一种视力检测方法、装置、电子产品及存储介质
CN111368678B (zh) 图像处理方法及相关装置
CN104574321A (zh) 图像修正方法、图像修正装置和视频系统
CN110706283B (zh) 用于视线追踪的标定方法、装置、移动终端及存储介质
CN108762496B (zh) 一种信息处理方法及电子设备
KR20130027520A (ko) 피부색 영역 및 얼굴 영역에 기초한 뷰포인트 검출기
CN105160632B (zh) 一种畸变校正方法及移动终端
CN110850961A (zh) 一种头戴式显示设备的校准方法及头戴式显示设备
CN112200771A (zh) 一种高度测量方法、装置、设备和介质
CN111626166A (zh) 图像处理方法、装置、电子设备及存储介质
CN107133008B (zh) 移动终端自动调整输出的方法
CN113342157B (zh) 眼球追踪处理方法及相关装置
CN111314687B (zh) 一种vr影像处理方法、装置、vr眼镜及可读存储介质
CN108960097B (zh) 一种获取人脸深度信息的方法及装置
CN109901716B (zh) 视线点预测模型建立方法、装置及视线点预测方法
CN110266947B (zh) 拍照方法及相关装置
CN112004151B (zh) 电视设备的控制方法、电视设备及可读存储介质
CN113116291A (zh) 眼球追踪的标定校准方法、装置、移动终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant