CN116661587B - 眼动数据处理方法及电子设备 - Google Patents

眼动数据处理方法及电子设备 Download PDF

Info

Publication number
CN116661587B
CN116661587B CN202211717837.9A CN202211717837A CN116661587B CN 116661587 B CN116661587 B CN 116661587B CN 202211717837 A CN202211717837 A CN 202211717837A CN 116661587 B CN116661587 B CN 116661587B
Authority
CN
China
Prior art keywords
image
calibration
detected
user
calibration image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211717837.9A
Other languages
English (en)
Other versions
CN116661587A (zh
Inventor
舒畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211717837.9A priority Critical patent/CN116661587B/zh
Publication of CN116661587A publication Critical patent/CN116661587A/zh
Application granted granted Critical
Publication of CN116661587B publication Critical patent/CN116661587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请提供了一种眼动数据处理方法及电子设备，该方法包括：获取待测图像；根据待测图像的头部姿态数据，对第一标定图像进行修正，得到多个第二标定图像和每个第二标定图像的注视点的标定位置；根据待测图像、多个第二标定图像、和每个第二标定图像的注视点的标定位置，确定待测图像的注视点的预测位置；根据待测图像的注视点的预测位置，触发电子设备执行相应的操作。从而，本申请实现了注视点的位置的准确预测，能够准确触发电子设备执行相应的操作，提高了用户的使用体验。

Description

眼动数据处理方法及电子设备
技术领域
本申请属于终端技术领域，尤其涉及一种眼动数据处理方法及电子设备。
背景技术
随着各种新技术的诞生，在电子设备上通过眼动跟踪(eye tracking)技术控制电子设备进行相应操作的研究越来越为人所熟知。眼动跟踪技术是对眼睛注视点的位置进行预测的一种技术。例如，在拍照场景中，电子设备可以获取眼睛的视线在拍摄画面所在的显示界面上的注视位置，便于根据该注视点的位置进行对焦。
目前，在通过眼动跟踪技术预测注视点的位置时，电子设备可采集用户的待测头部图像，并根据待测头部图像的视线特征和标定头部图像的视线特征之间的关系，以及标定头部图像的注视点的标定位置，实现待测头部图像的注视点的位置的预测。
然而，上述的实现过程中，由于视线特征与头部姿态相关，在待测头部图像与标定头部图像之间的头部姿态差异较大时，难以准确确定上述关系，导致预测的注视点的位置准确率较低，使用户的体验不高。
发明内容
本申请提供了一种眼动数据处理方法及电子设备，实现了注视点的位置的准确预测，保证了用户的使用体验。
第一方面，本申请提供一种眼动数据处理方法，包括：
获取待测图像，待测图像包括与用户注视所述电子设备的显示屏有关的区域；
根据待测图像的头部姿态数据，对第一标定图像进行修正，得到多个第二标定图像和每个第二标定图像的注视点的标定位置，第一标定图像为根据预先设定的注视点的标定位置获取的图像，每个第二标定图像的头部姿态数据与待测图像的头部姿态数据相同；
根据待测图像、多个第二标定图像、和每个第二标定图像的注视点的标定位置，确定待测图像的注视点的预测位置，待测图像的注视点的预测位置为用户注视电子设备的显示屏中的真实位置；
根据待测图像的注视点的预测位置，触发电子设备执行相应的操作。
上述方法中，电子设备可获取包括用户的眼部区域和头部区域的待测图像，便于根据用户的眼部区域和头部区域获取待测图像的头部姿态。
电子设备生成待测图像的头部姿态数据对应的标定图，即多个第二标定图像，代替用户重新标定，便于电子设备根据获得的多个第二标定图像确定待测图像的注视点的预测位置。
另外，电子设备基于待测图像、多个第二标定图像、和每个第二标定图像的注视点的标定位置，可以获得更加准确的待测图像的注视点的预测位置，为电子设备根据待测图像的注视点的预测位置，触发相应的操作做好数据准备。
此外，电子设备还可根据待测图像的注视点的预测位置，触发电子设备执行相应的操作，能够解放用户的双手，在用户不方便用手执行相应的操作时，也能触发相应的操作，提高了用户的操作体验。
电子设备执行的操作可以包括：眼神解锁、眼控拍照(对焦)、裸眼3D、眼动浏览、身份识别、或眼控游戏。
结合第一方面，在第一方面的某些实现方式中，根据所述待测图像的头部姿态数据，对第一标定图像进行修正，得到多个第二标定图像和每个第二标定图像的注视点的标定位置，包括：
根据待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置，确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置，用户的眼部中心的每个注视参考位置用于表示用户能够注视到电子设备的显示屏中的注视点；
根据每个第二标定图像中用户的眼部中心的注视位置，得到所述每个第二标定图像的注视点的标定位置。
结合第一方面，在第一方面的某些实现方式中，该方法还包括：
根据待测图像的头部姿态数据和第一标定图像的头部姿态数据，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度；
在确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件时，根据待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置，确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置。
上述方法中，电子设备可在确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件时，根据待测图像和第一标定图像确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置。
也就是说，电子设备在待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的差异较大时，获取多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置，便于在待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的差异较大时，电子设备也能准确获得待测图像的注视点的预测位置。
结合第一方面，在第一方面的某些实现方式中，头部姿态数据包括偏航角、俯仰角、和翻滚角，根据待测图像的头部姿态数据和第一标定图像的头部姿态数据，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度，包括：
确定待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的至少一种角度的差值大于预设阈值；
确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件，包括：
在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的至少一种角度的差值大于预设阈值时，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
其中，头部姿态数据可以包括偏航角、俯仰角、和翻滚角。
基于上述描述，电子设备可以根据偏航角、俯仰角、和翻滚角确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度。
由此，电子设备可在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的至少一种角度的差值大于预设阈值时，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
从而，为电子设备在待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件时，执行确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置做好准备。
结合第一方面，在第一方面的某些实现方式中，根据待测图像的头部姿态数据和第一标定图像的头部姿态数据，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度，还包括：
待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值大于预设阈值；
确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件，还包括：
在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值大于预设阈值时，待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
由此，电子设备可在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值大于预设阈值时，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
从而，为电子设备在待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件时，执行确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置做好准备。
结合第一方面，在第一方面的某些实现方式中，根据待测图像的头部姿态数据和第一标定图像的头部姿态数据，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度，还包括：
待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的累加值的差值大于预设阈值；
确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件，还包括：
在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的累加值的差值大于预设阈值时，待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
由此，电子设备可在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的累加值的差值大于预设阈值时，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
从而，为电子设备在待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件时，执行确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置做好准备。
结合第一方面，在第一方面的某些实现方式中，在确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度不满足预设条件时，该方法还包括：
根据第一标定图像和多个第二标定图像，得到多个第三标定图像；
更新多个第二标定图像为多个第三标定图像；
根据第一标定图像中用户的眼部中心的注视标定位置和每个第二标定图像中用户的眼部中心的注视位置，得到多个第一位置；
根据每个第一位置，得到每个第三标定图像的注视点的标定位置；
更新每个第二标定图像的标定注视点位置为每个第三标定图像的标定注视点位置。
上述方法中，在确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度不满足预设条件时，电子设备可根据第一标定图像和第二标定图像，得到第三标定图像，便于电子设备根据待测图像和第三标定图像获得待测图像的注视点的标定位置。
另外，在待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度不满足预设条件，可执行下述步骤：
根据待测图像、第一标定图像、和第一标定图像的注视点的标定位置，确定待测图像的注视点的预测位置。
也就是说，在待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度不满足预设条件时，可以直接根据待测图像和第一标定图像确定待测图像的注视点的预测位置，提高确定待测图像的注视点的预测位置的效率。
结合第一方面，在第一方面的某些实现方式中，获取待测图像之前，还包括：
显示第一界面；
在第一界面中显示注视点的标定位置；
采集用户注视注视点的标定位置时的图像；
将用户注视注视点的标定位置时的图像，确定为第一标定图像；
根据第一标定图像，确定第一标定图像中用户的眼部中心的注视标定位置。
上述方法中，第一标定图像可以为电子设备在获得待测图像之前采集的图像。
电子设备可采集用户注视注视点的标定位置时的图像，作为第一标定图像，便于电子设备根据待测图像和第一标定图像确定第二标定图像，以及确定待测图像的注视点的预测位置。
结合第一方面，在第一方面的某些实现方式中，第一标定图像为预存的图像，第一标定图像中用户的眼部中心的注视标定位置为预存的位置。
其中，第一标定图像可以为电子设备预先存储的图像，第一标定图像中用户的眼部中心的注视标定位置为预存的位置。
结合第一方面，在第一方面的某些实现方式中，根据待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置，确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置，包括：
将待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置输入视线合成模型，得到多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置；视线合成模型用于视线合成模型用于修正标定图像的头部姿态为待测图像的头部姿态和修正标定图像中用户的眼部中心的注视位置为用户的眼部中心的注视参考位置。
上述方法中，通过视线合成模型，高效地获得多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置。
结合第一方面，在第一方面的某些实现方式中，根据待测图像、多个第二标定图像、和每个第二标定图像的注视点的标定位置，确定待测图像的注视点的预测位置，包括：
将根据待测图像、多个第二标定图像、和每个第二标定图像的注视点的标定位置输入眼动标定模型，得到待测图像的注视点的预测位置；眼动标定模型用于根据待测图像的视线特征与每个标定图像的视线特征之间的关系，预测待测图像的注视点位置。
上述方法中，通过眼动标定模型可以根据眼动标定模型，高效地获得待测图像的注视点的预测位置。
第二方面，本申请提供一种眼动数据处理装置，该实现眼动数据处理装置用于执行第一方面及第一方面任一种可能的设计中的眼动数据处理方法。
具体地，该实现眼动数据处理装置，包括：获取模块、确定模块、和触发模块。
获取模块，用于获取待测图像，待测图像包括与用户注视所述电子设备的显示屏有关的区域；
确定模块，用于根据待测图像的头部姿态数据，对第一标定图像进行修正，得到多个第二标定图像和每个第二标定图像的注视点的标定位置，第一标定图像为根据预先设定的注视点的标定位置获取的图像，每个第二标定图像的头部姿态数据与待测图像的头部姿态数据相同；
确定模块，还用于根据待测图像、多个第二标定图像、和每个第二标定图像的注视点的标定位置，确定待测图像的注视点的预测位置，待测图像的注视点的预测位置为用户注视电子设备的显示屏中的真实位置；
触发模块，用于根据待测图像的注视点的预测位置，触发电子设备执行相应的操作。
结合第二方面，在第二方面的某些实现方式中，确定模块，具体用于：
根据待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置，确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置，用户的眼部中心的每个注视参考位置用于表示用户能够注视到电子设备的显示屏中的注视点；
根据每个第二标定图像中用户的眼部中心的注视位置，得到每个第二标定图像的注视点的标定位置。
结合第二方面，在第二方面的某些实现方式中，确定模块，具体用于：
根据待测图像的头部姿态数据和第一标定图像的头部姿态数据，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度；
在确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件时，根据待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置，确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置。
结合第二方面，在第二方面的某些实现方式中，确定模块，具体用于：
确定待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的至少一种角度的差值大于预设阈值；
确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件，包括：
在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的至少一种角度的差值大于预设阈值时，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
结合第二方面，在第二方面的某些实现方式中，确定模块，具体用于：
待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值大于预设阈值；
确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件，还包括：
在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值大于预设阈值时，待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
结合第二方面，在第二方面的某些实现方式中，根据待测图像的头部姿态数据和第一标定图像的头部姿态数据，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度，还包括：
待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的累加值的差值大于预设阈值；
确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件，还包括：
在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的累加值的差值大于预设阈值时，待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
结合第二方面，在第二方面的某些实现方式中，确定模块，具体用于：
根据第一标定图像和多个第二标定图像，得到多个第三标定图像；
更新多个第二标定图像为多个第三标定图像；
根据第一标定图像中用户的眼部中心的注视标定位置和每个第二标定图像中用户的眼部中心的注视位置，得到多个第一位置；
根据每个第一位置，得到每个第三标定图像的注视点的标定位置；
更新每个第二标定图像的标定注视点位置为每个第三标定图像的标定注视点位置。
结合第二方面，在第二方面的某些实现方式中，获取模块，还用于：
显示第一界面；
在第一界面中显示注视点的标定位置；
采集用户注视注视点的标定位置时的图像；
将用户注视注视点的标定位置时的图像，确定为第一标定图像；
根据第一标定图像，确定第一标定图像中用户的眼部中心的注视标定位置。
结合第二方面，在第二方面的某些实现方式中，第一标定图像为预存的图像，第一标定图像中用户的眼部中心的注视标定位置为预存的位置。
结合第一方面，在第一方面的某些实现方式中，确定模块，具体用于：
将待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置输入视线合成模型，得到多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置；视线合成模型用于视线合成模型用于修正标定图像的头部姿态为待测图像的头部姿态和修正标定图像中用户的眼部中心的注视位置为用户的眼部中心的注视参考位置。
结合第二方面，在第二方面的某些实现方式中，确定模块，具体用于：
根据每个第二标定图像中用户的眼部中心的注视位置，得到每个第二标定图像的注视点的标定位置；
将根据待测图像、多个第二标定图像、和每个第二标定图像的注视点的标定位置输入眼动标定模型，得到待测图像的注视点的预测位置；眼动标定模型用于根据待测图像的视线特征与每个标定图像的视线特征之间的关系，预测待测图像的注视点位置。
第三方面，本申请提供一种电子设备，包括处理器；当处理器执行存储器中的计算机代码或指令时，使得电子设备执行第一方面及第一方面任一种可能的设计中的眼动数据处理方法。
第四方面，本申请提供一种电子设备，包括一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器上，当计算机程序被一个或多个处理器执行时，使得电子设备执行第一方面及第一方面任一种可能的设计中的眼动数据处理方法。
第五方面，本申请提供一种芯片系统，该芯片系统包括处理器，用于从存储器中调用并运行计算机程序，使得安装有芯片系统的电子设备执行第一方面及第一方面任一种可能的设计中的眼动数据处理方法。
第六方面，本申请提供一种计算机可读存储介质，包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行第一方面及第一方面任一种可能的设计中的眼动数据处理方法。
第七方面，本申请提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行第一方面及第一方面任一种可能的设计中的眼动数据处理方法。
可以理解的是，上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A-图1C为本申请一实施例提供的一种头部姿态与注视点的位置的关系示意图；
图2为本申请一实施例提供的一种眼动数据处理方法的场景示意图；
图3为本申请一实施例提供的一种电子设备的结构示意图；
图4为本申请一实施例提供的一种电子设备的结构示意图；
图5A-图5B为本申请一实施例提供的一种人机交互界面示意图；
图6为本申请一实施例提供的一种眼动数据处理方法的流程示意图；
图7为本申请一实施例提供的一种眼动数据处理方法的流程示意图；
图8为本申请一实施例提供的一种视线合成模型处理数据的示意图；
图9为本申请一实施例提供的一种眼动标定模型处理数据的示意图；
图10为本申请一实施例提供的一种眼动数据处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
以下，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。
如图1A-图1C所示，用户在注视电子设备100时，不同的头部姿态对应不同的用户的眼部中心的注视位置和不同的注视方向A，不同的头部姿态数据对应的用户注视电子设备100的显示屏中的位置C不同。
在一些实施例中，用户的眼部中心可以为用户的人眼虹膜中心。
其中，人眼虹膜中心相当于人眼的瞳孔。
不同的用户的人眼虹膜中心的位置对应不同的注视方向A。
在另一些实施例中，用户的眼部中心可以为用户的人眼眼角中心。
注视方向A用于表示用户的眼部中心的注视位置与注视电子设备100的显示屏中的位置C之间的方向向量。
也就是说，注视方向A与电子设备100的显示屏的交点为注视电子设备100的显示屏中的位置C。
电子设备100在确定待测图像的注视点的预测位置时，可采集包括眼部区域和头部区域的待测图像，将待测图像、标定图像、和标定图像的注视点的标定位置输入眼动标定模型，可以输出待测图像的注视点的预测位置。
其中，注视点的标定位置可以为一个，也可以为几个。例如，标定注视点的标定位置可以为5个。
另外，在注视点的标定位置为几个时，对应的标定图像不同。
在标定图像为几个时，每个标定图像的头部姿态不同。
对应地，视线特征与头部姿态相关，那么，每个标定图像的头部姿态不同时，视线特征不同。
为了便于说明，以标定图像为5个，将待测图像、标定图像、和标定图像的注视点的标定位置输入眼动标定模型，眼动标定模型对输入的数据进行处理为例，简单说明眼动标定模型的功能。
将待测图像、标定图像、和标定图像的注视点的标定位置输入眼动标定模型后，眼动标定模型可提取待测图像和每个标定图像的视线特征，并根据待测图像的视线特征与每张标定图像的视线特征之间的关系。以及根据待测图像的视线特征与每张标定图像的视线特征之间的关系，确定与待测图像最接近的标定图像，并确定与待测图像最接近的标定图像的注视点的标定位置，以该注视点的标定位置为参考，确定待测图像的注视点的预测位置。
其中，上述标定图像的注视点的标定位置可以采用坐标进行表示。
例如，与待测图像最接近的标定图像的注视点的标定位置的坐标为(x1，y1)，对应地，待测图像的注视点的预测位置可以为α(x1，y1)。
可以理解的是，待测图像的头部姿态的变化空间理论上有多种，根据待测图像的头部姿态确定的待测图像的视线特征，难以找到与待测图像最接近的标定图像，或者找到的与待测图像最接近的标定图像与待测图像的头部姿态差异较大，使得根据该待测图像的注视点的标定位置，确定的待测图像的注视点的预测位置准确率不高。
也就是说，在待测图像的头部姿态与每个标定图像的头部姿态都差异较大时，眼动标定模型输出的待测图像的注视点的预测位置准确率不高。
本申请可提供一种眼动数据处理方法、眼动数据处理装置、电子设备、芯片系统、计算机可读存储介质、以及计算机程序产品，考虑到待测图像的头部姿态多种多样，可以根据待测图像的头部姿态、标定图像、标定图像的头部姿态、标定图像中用户的眼部中心的注视位置、和用户的眼部中心的多个注视参考位置，合成多个新的标定图像，使得可以根据待测图像、多个新的标定图像、新的标定图像的注视点的标定位置，确定待测图像的注视点的预测位置。
从而，保证了注视点的位置的准确预测，提高了触发电子设备执行相应的操作的准确率，提高了用户的使用体验。
其中，能够根据预测的注视点的位置触发的操作可以包括：眼神解锁、眼控拍照(对焦)、裸眼3D、眼动浏览、身份识别、或眼控游戏。
对于上述能够根据预测的注视点的位置触发的操作，需要说明的是：
针对眼神解锁而言，可以通过待测图像的注视点的预测位置，实现无痕解锁，可以防止偷窥和窃取密码。
针对眼控拍照而言，可以通过待测图像的注视点的预测位置，完成对焦操作，可以解放双手。
针对裸眼3D而言，可以通过待测图像的注视点的预测位置，调整3D画面，增强观看自由度。
针对眼动浏览而言，可以通过待测图像的注视点的预测位置，实现自动翻页。
针对身份识别而言，可以通过待测图像的注视点的预测位置，实现身份识别和活体检测，增加电子设备的安全性。
针对眼控游戏而言，可以通过待测图像的注视点的预测位置，融合触碰和滑动等方式，提升游戏的操作感。
其中，本申请提供的眼动数据处理方法，可以应用于电子设备。电子设备可以为具有显示屏硬件以及相应软件支持的电子设备。
例如，电子设备可以为手机、平板电脑、可穿戴设备、车载设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等设备。
请参阅图2，图2示出了本申请一实施例提供的一种眼动数据处理方法的场景示意图。
如图2所示，用户注视电子设备100时，电子设备100能够确定待测图像的注视点的预测位置，便于根据待测图像的注视点的预测位置，触发电子设备执行相应的操作。
例如，用户注视电子设备100时，电子设备100确定的待测图像的注视点的预测位置为位置A，电子设备可根据该位置B，触发电子设备执行相应的操作。
需要说明的是，待测图像的注视点的预测位置与待测图像的头部姿态相关，不同头部姿态的待测图像对应不同的注视点的预测位置。
应理解，上述为对场景的举例说明，并不对本申请的场景作任何限定。
为了便于说明，图3中，以电子设备100为手机为例进行示意。
如图3所示，在一些实施例中，电子设备100可以包括处理器101、通信模块102、显示屏103、和摄像头104等。
其中，处理器101可以包括一个或多个处理单元，例如：处理器101可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器，图像信号处理器(imagesignal processor，ISP)，控制器，存储器，视频流编解码器，数字信号处理器(digitalsignal processor，DSP)，基带处理器，和/或神经网络处理器(neural-networkprocessing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器101中。
控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器101中还可以设置存储器，用于存储指令和数据。
在一些实施例中，处理器101中的存储器为高速缓冲存储器。该存储器可以保存处理器101刚用过或循环使用的指令或数据。如果处理器101需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器101的等待时间，因而提高了系统的效率。
在一些实施例中，处理器101可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
通信模块102可以包括天线1，天线2，移动通信模块，和/或无线通信模块。
其中，显示屏103可以显示人机交互界面中的图像或视频等。
摄像头104可以用于捕获图像或录制视频。
如图3所示，在一些实施例中，电子设备100还可以包括传感器105、内部存储器106、外部存储器接口107、USB接口108、充电管理模块109、电源管理模块110、和电池111等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
充电管理模块109用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。
在一些有线充电的实施例中，充电管理模块109可以通过USB接口108接收有线充电器的充电输入。
在一些无线充电的实施例中，充电管理模块109可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块109为电池111充电的同时，还可以通过电源管理模块110为电子设备100供电。
电源管理模块110用于连接电池111，充电管理模块109与处理器101。电源管理模块110接收电池111和/或充电管理模块109的输入，为处理器101，内部存储器106，外部存储器，和通信模块102等供电。电源管理模块110还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。
在其他一些实施例中，电源管理模块110也可以设置于处理器101中。
在另一些实施例中，电源管理模块110和充电管理模块109也可以设置于同一个器件中。
外部存储器接口107可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口107与处理器101通信，实现数据存储功能。例如将音乐，视频流等文件保存在外部存储卡中。
内部存储器106可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器101通过运行存储在内部存储器106的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器106可以包括存储程序区和存储数据区。
其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器106可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universalflash storage，UFS)等。
电子设备100中的传感器模块103可以包括图像传感器、触摸传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、环境光传感器、指纹传感器、温度传感器、骨传导传感器等部件，以实现对于不同信号的感应和/或获取功能。
可选地，电子设备100还可以包括外设设备，例如鼠标、按键、指示灯、键盘、扬声器、麦克风等。
按键包括开机键，音量键等。按键可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
指示器可以是指示灯，可以用于指示充电状态和电量变化，也可以用于指示消息、未接来电、和通知等。
可以理解的是，本实施例示意的结构并不构成对电子设备100的具体限定。
在另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
请参考图4，为本申请实施例提供的一种电子设备的示意图。本申请实施例提供的眼动数据处理方法应用于图3所示的电子设备100时，电子设备100中的软件可以划分为如图4所示的应用程序层201，硬件抽象层(Hardware Abstraction Layer，HAL)202以及驱动层203。
应用程序层201中可以安装有多个应用程序，其中可以包括用于实现拍摄功能的相机应用程序(camera application)。
其中，相机应用程序的是指运行于操作系统上，能够执行拍照任务的计算机程序。当相机应用程序的格式为安卓应用程序包(Android application package，APK)格式时，相机应用程序可以运行于安卓操作系统上。
在本申请实施例中，相机应用程序可以是有拍摄功能的应用程序。例如，功能为分享短视频的应用程序，如果具有拍摄功能，即可作为本申请实施例中相机应用程序。
硬件抽象层202是一个位于操作系统内核与硬件电路之间的软件，通常用于将硬件抽象化，以实现操作系统与硬件电路在逻辑层的交互。在本申请实施例中，硬件抽象层202可以包括能够实现相机应用程序与图像传感器在逻辑层交互的相机硬件抽象层(camera Hardware Abstraction Layer，camera HAL)。
驱动层203中可以安装有多个用于驱动硬件工作的驱动(driver)。
需要说明的是，应用程序层201，硬件抽象层202以及驱动层203中也可以包括其他内容，在此不做具体限定。
基于前述描述，结合图5A-图5B所示，详细介绍电子设备实现本申请的眼动数据处理方法。为了便于说明，图5A-图5B中，以电子设备为手机，触发的操作为眼动对焦操作为例进行示意。
请参阅图5A-图5B，图5A-图5B示出了本申请一实施例提供的人机交互界面示意图。
手机可显示如图5A所示的界面11，界面11用于显示拍摄过程中的画面。
其中，界面11中可以包括取景框201。取景框201用于显示拍摄过程中的图像或者录制过程中的视频。
手机未获取到待测图像的注视点的预测位置，界面11中未显示对焦框202。手机获取到待测图像的注视点的预测位置后，界面11从未显示对焦框202变为在注视点的预测位置显示对焦框201。
另外，取景框201中显示对焦框202，可以用于提示用户手机将对此位置进行对焦。
从而，手机可从显示如图5A所示的界面11变为显示如图5B所示的界面11。
由此，手机可以根据注视点的预测位置进行对焦。
综上，手机在图片拍摄或者视频的录制过程中，可获取待测图像的注视点的预测位置。从而，手机可以根据该注视点的预测位置，触发对焦操作，使得用户能够解放双手，提高用户的使用体验。
基于上述场景描述，下面，本申请以电子设备为例，结合附图和应用场景，对本申请实施例提供的眼动数据处理方法进行详细阐述。
请参阅图6，图6示出了本申请一实施例提供的眼动数据处理方法的流程示意图。
如图6所示，本申请提供的眼动数据处理方法可以包括：
S101、获取待测图像。
其中，待测图像包括与用户注视电子设备的显示屏有关的区域。
可以理解的是，待测图像包括与用户注视电子设备的显示屏有关的区域，可以便于电子设备确定待测图像的头部姿态，以及待测图像的视线特征。
在一些实施例中，待测图像包括用户的注视信息。
例如，注视信息可以包括头部区域、眼部区域、眼角的坐标、人脸网格(face grid)等。
其中，电子设备可以根据用户的头部区域确定待测图像的头部姿态，以及根据头部区域、眼部区域、眼角的坐标、和人脸网格确定待测图像的视线特征。
其中，在电子设备包括前置摄像头和后置摄像头时，待测图像通常为电子设备的前置摄像头采集的图像。
其中，在眼控拍照场景中，电子设备采用后置摄像头拍摄时，前置摄像头可在后置摄像头采集图像的同时，采集用户的包括眼部区域和头部区域的待测图像。
基于上述描述，电子设备获取待测图像和第一标定图像，可为根据待测图像和第一标定图像确定第二标定图像做好数据准备。
S102、根据待测图像的头部姿态数据，对第一标定图像进行修正，得到多个第二标定图像和每个第二标定图像的注视点的标定位置。
其中，第一标定图像为根据预先设定的注视点的标定位置获取的图像，每个第二标定图像的头部姿态数据与待测图像的头部姿态数据相同。
其中，电子设备获取待测图像之前，还需要获取第一标定图像。
在一些实施例中，电子设备可在获取待测图像之前，采集第一标定图像。
采集第一标定图像的具体过程包括：
显示第一界面；
在第一界面中显示注视点的标定位置；
采集用户注视注视点的标定位置时的图像；
将用户注视注视点的标定位置时的图像，确定为第一标定图像；
根据第一标定图像，确定第一标定图像中用户的眼部中心的注视标定位置。
其中，电子设备还可根据第一标定图像，确定第一标定图像中用户的人眼的标定注视方向。
本申请对第一界面的具体实现方式不做限定。
也就是说，电子设备可显示第一界面，并在第一界面中显示标定点，将该标定点在第一界面中的位置作为注视点的标定位置。
其中，注视点的标定位置可用坐标进行表示。
另外，第一显示界面可显示一次标定点，也可显示多次不同位置的标定点。在第一界面多次显示不同位置的标定点时，电子设备采集到的第一标定图像不同，对应地，第一标定图像中用户的眼部中心的注视标定位置不同。
在另一些实施例中，第一标定图像为预存的图像，第一标定图像中用户的眼部中心的注视标定位置为预存的位置。
其中，第一标定图像中用户的人眼的标定注视方向可以为预存的注视方向。
基于上述描述，电子设备获取第一标定图像，可为根据待测图像和第一标定图像确定第二标定图像做好数据准备。
由于电子设备在获取待测图像之前获取的第一标定图像的头部姿态可能与待测图像的头部姿态差异较大，导致待测图像的视线特征与第一标定图像的视线特征差异较大。在待测图像的视线特征与第一标定图像的视线特征差异较大时，难以获得准确的待测图像的注视点的预测位置。
从而，电子设备在第一标定图像的基础上，可重新获取与待测图像的头部姿态的差异较小的第二标定图像，为获得准确的待测图像的注视点的预测位置做好准备。
在一些实施例中，电子设备可根据待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置，确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置。
另外，电子设备可根据每个第二标定图像中用户的眼部中心的注视位置，得到每个第二标定图像的注视点的标定位置。
应理解，用户的眼部中心的一个注视位置对应一个注视点的标定位置。
其中，用户的眼部中心的每个注视参考位置用于表示用户能够注视到电子设备的显示屏中的注视点。
另外，用户的眼部中心的每个注视参考位置可以为预先获取的位置。
例如，电子设备可显示一个界面，在该界面中显示位置不同的标定点，采集用户注视不同的标定点时用户的眼部中心的注视位置，得到用户的眼部中心的多个注视参考位置。
其中，用户的眼部中心的注视参考位置可以与第一标定图像中用户的眼部中心的注视标定位置相同。
在另一些实施例中，电子设备可根据待测图像的头部姿态数据、用户的人眼的多个参考注视方向、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的人眼的多个标定注视方向，确定多个第二标定图像和每个第二标定图像中用户的人眼的注视方向。
另外，电子设备可根据每个第二标定图像中用户的人眼的注视方向，得到每个第二标定图像的注视点的标定位置。
应理解，用户的人眼的一个注视方向对应一个注视点的标定位置。
其中，用户的人眼的多个参考注视方向用于表示用户能够注视到电子设备的显示屏中的注视点。
另外，用户的眼部中心的每个参考注视方向可以为预先获取的注视方向。
例如，电子设备可显示一个界面，在该界面中显示位置不同的标定点，采集用户注视不同的标定点时用户的人眼的注视方向，得到用户的人眼的多个参考注视方向。
其中，用户的人眼的参考注视方向可以与第一标定图像中用户的人眼的标定注视方向相同。
在一些实施例中，头部姿态数据可以包括头部活动的幅度。
在另一些实施例中，头部姿态数据可以包括偏航角、俯仰角、和翻滚角的角度值。
在一些实施例中，电子设备可以将待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置输入视线合成模型，得到多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置。
其中，视线合成模型用于视线合成模型用于修正标定图像的头部姿态为待测图像的头部姿态和修正标定图像中用户的眼部中心的注视位置为用户的眼部中心的注视参考位置。
具体而言，视线合成模型可以在第一标定图像的基础上，将第一标定图像的头部姿态替换为待测图像的头部姿态数据，将第一标定图像中用户的眼部中心的注视标定位置替换为每个用户的眼部中心的注视参考位置。
基于上述描述，视线合成模型输出的多个标定图像的头部姿态数据相同，但每个第二标定图像中用户的眼部中心的注视位置不同。
另外，每个第二标定图像中用户的眼部中心的注视位置与每个用户的眼部中心的注视参考位置为同一位置。
本申请可将视线合成模型存储在电子设备和/或与电子设备通信的存储设备中，方便电子设备调用该视线合成模型修正图像的头部姿态和用户的眼部中心的注视位置。
S103、根据待测图像、多个第二标定图像、和每个第二标定图像的注视点的标定位置，确定待测图像的注视点的预测位置。
其中，待测图像的注视点的预测位置为用户注视电子设备的显示屏中的真实位置。
基于S102，电子设备可确定每个第二标定图像中用户的眼部中心的注视位置，由于，每个第二标定图像中用户的眼部中心的注视位置可对应一个注视点的标定位置，那么，电子设备可以根据每个第二标定图像中用户的眼部中心的注视位置，得到每个第二标定图像的注视点的标定位置。
在一些实施例中，电子设备可以将待测图像、多个第二标定图像、和每个第二标定图像的注视点的标定位置输入眼动标定模型，得到待测图像的注视点的预测位置。
其中，眼动标定模型用于根据待测图像的视线特征与每个标定图像的视线特征之间的关系，预测待测图像的注视点位置。
具体而言，眼动标定模型可以提取待测图像的视线特征和每个第二标定图像的视线特征，并确定待测图像的视线特征与每个第二标定图像的视线特征之间的关系。
眼动标定模型还可以根据待测图像的视线特征与每个第二标定图像的视线特征之间的关系，确定与待测图像最接近的第二标定图像，以及确定与待测图像最接近的第二标定图像的注视点的标定位置，以该注视点的标定位置为参考，确定待测图像的注视点的预测位置。
为了便于说明，以第二标定图像的注视点的标定位置和待测图像的注视点的预测位置皆可以采用坐标进行表示为例进行说明。
假设与待测图像最接近的第二标定图像的注视点的标定位置为(x0，y0)，那么，待测图像的注视点的预测位置可以为β(x0，y0)。
在一些实施例中，眼动标定模型为SAGE-SFO模型。
本申请对眼动标定模型的类型不做具体限定。
本申请可将眼动标定模型存储在电子设备和/或与电子设备通信的存储设备中，方便电子设备调用该眼动标定模型根据待测图像的视线特征与每个标定图像的视线特征之间的关系，预测待测图像的注视点位置。
S104、根据待测图像的注视点的预测位置，触发电子设备执行相应的操作。
本申请对电子设备根据待测图像的注视点的预测位置，执行的操作不做具体限定。
其中，电子设备执行的操作可以包括眼神解锁、眼控拍照(对焦)、裸眼3D、眼动浏览、身份识别、眼控游戏。
以眼控拍照(对焦)为例，电子设备在获取到待测图像的注视点的预测位置后，可以根据注视点的预测位置触发对焦操作。
结合图5A-图5B，电子设备获取到待测图像的注视点的预测位置后，电子设备的界面11从未显示对焦框202变为在注视点的预测位置显示对焦框201。
由此，电子设备可以根据注视点的预测位置进行对焦。
可见，电子设备可根据待测图像的注视点的预测位置，触发相应的操作，能够解放用户的双手，在用户不方便用手执行相应的操作时，也能触发相应的操作，提高了用户的操作体验。
本申请提供的眼动数据处理方法，通过电子设备获取包括用户的眼部区域和头部区域的待测图像，能够便于获取待测图像的头部姿态数据。电子设备根据待测图像的头部姿态数据，对第一标定图像进行修正，得到多个第二标定图像和每个第二标定图像的注视点的标定位置，能够通过多个第二标定图像来代替用户重新对第一标定图像的标定，以使得获得与待测图像的头部姿态的相似度更高的第二标定图像，便于电子设备根据更加准确的第二标定图像确定待测图像的注视点的预测位置。可见，电子设备可在确定待测图像的注视点的预测位置时，允许待测图像与第一标定图像的头部姿态不一致，增加确定待测图像的注视点的预测位置方案落地的可行性。
电子设备根据待测图像、多个第二标定图像、和每个第二标定图像中用户的眼部中心的注视位置对应的注视点的标定位置，确定更加准确的待测图像的注视点的预测位置，能够为电子设备根据待测图像的注视点的预测位置，触发相应的操作做好数据准备。
电子设备根据待测图像的注视点的预测位置，触发电子设备执行相应的操作。从而，能够解放用户的双手，在用户不方便用手执行相应的操作时，也能触发相应的操作，提高了用户的操作体验。
基于上述图6所示实施例的描述，头部姿态数据可描述用户头部姿态的变化情况，头部姿态数据可包括但不限于如偏航角(yaw)、俯仰角(pitch)、翻滚角(roll)。
在头部姿态数据包括偏航角、俯仰角、和翻滚角时，电子设备可根据待测图像的偏航角、俯仰角、和翻滚角和第一标定图像的偏航角、俯仰角、和翻滚角，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度，在相似度满足预设条件时执行：
电子设备可根据待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置，确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置。
下面，结合图7，详细介绍本申请的眼动数据处理方法的具体实现过程。
请参阅图7，图7示出了本申请一实施例提供的眼动数据处理方法的流程示意图。
如图7所示，本申请提供的眼动数据处理方法可以包括：
S201、获取待测图像。
其中，S201与图6所示实施例中的S101的具体实现方式类似，本申请此处不再赘述。
S202、根据待测图像的头部姿态数据和第一标定图像的头部姿态数据，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度。
电子设备确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度，存在三种情况：
情况一、确定待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的至少一种角度的差值大于预设阈值。
情况二、待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值大于预设阈值。
情况三、待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的累加值的差值大于预设阈值。
针对情况一而言，待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的至少一种角度的差值大于预设阈值可以为：
待测图像的偏航角与第一标定图像的偏航角之间的差值大于预设阈值；
待测图像的俯仰角与第一标定图像的俯仰角之间的差值大于预设阈值；
待测图像的翻滚角与第一标定图像的翻滚角之间的差值大于预设阈值。
其中，针对情况一而言，偏航角、俯仰角、和翻滚角可对应同一个预设阈值，也可以对应不同的预设阈值。
针对情况二而言，待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值大于预设阈值可以为：
待测图像的偏航角和俯仰角的累加值与第一标定图像的偏航角和俯仰角的累加值之间的差值大于预设阈值；
待测图像的偏航角和翻滚角的累加值与第一标定图像的偏航角和翻滚角的累加值之间的差值大于预设阈值；
待测图像的翻滚角和俯仰角的累加值与第一标定图像的翻滚角和俯仰角的累加值之间的差值大于预设阈值。
S203、判断待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度是否满足预设条件。
其中，在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的至少一种角度的差值大于预设阈值时，电子设备确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值大于预设阈值时，电子设备确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的累加值的差值大于预设阈值时，电子设备确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
其中，待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件，用于表示待测图像和第一标定图像的头部姿态之间的差异较大。
在待测图像和第一标定图像的头部姿态之间的差异较大时，电子设备根据待测图像和第一标定图像获得的待测图像的注视点的预测位置不准确。
由此，电子设备可以执行S204，也就是，根据待测图像和第一标定图像获得第二标定图像，便于电子设备根据待测图像和第二标定图像获得准确的待测图像的注视点的预测位置。
另外，在第一标定图像有多个时，电子设备可确定多个第一标定图像的偏航角、俯仰角、和翻滚角的每种角度的角度范围，待测图像中的偏航角、俯仰角、和翻滚角中的至少一种角度不在对应的角度范围内时，电子设备确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
其中，在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的差值皆等于预设阈值、皆小于预设阈值、以及两个角度的差值皆小于预设阈值且一个角度的差值等于预设阈值、两个角度的差值皆等于预设阈值且一个角度的差值小于预设阈值时，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度不满足预设条件。
在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值等于或者小于预设阈值时，待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度不满足预设条件。
在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的累加值的差值等于或者小于预设阈值时，待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度不满足预设条件。
其中，待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度不满足预设条件，用于表示待测图像和第一标定图像的头部姿态之间的差异较小。
在确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件时，电子设备可执行S204。
在确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度不满足预设条件时，电子设备可执行S205-S209、或者以下步骤：
根据待测图像、第一标定图像、和第一标定图像的注视点的标定位置，确定待测图像的注视点的预测位置。
另外，在第一标定图像有多个时，电子设备可确定多个第一标定图像的偏航角、俯仰角、和翻滚角的每种角度的角度范围，待测图像中的偏航角、俯仰角、和翻滚角中的三种角度皆在各自的角度范围内时，电子设备确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度不满足预设条件。
S204、根据待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置，确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置。
S205、根据每个第二标定图像中用户的眼部中心的注视位置，得到每个第二标定图像的注视点的标定位置。
S204和S205与图6所示实施例中的S103的具体实现方式类似，本申请此处不再赘述。
S206、根据待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置，确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置。
S207、根据每个第二标定图像中用户的眼部中心的注视位置，得到每个第二标定图像的注视点的标定位置。
S206和S207与图7所示实施例中的S204和S205的具体实现方式类似，本申请此处不再赘述。
S208、根据第一标定图像和多个第二标定图像，得到多个第三标定图像。
基于S206，电子设备可以获得多个第二标定图像，从而，电子设备可以将第一标定图像和每个第二标定图像进行加权平均处理或者融合处理，可以得到多个第三标定图像。
另外，第一标定图像为多个时，电子设备可以将每个第一标定图像和每个第二标定图像进行加权平均处理或者融合处理，可以得到多个第三标定图像。
S209、更新多个第二标定图像为多个第三标定图像。
电子设备在获得多个第三标定图像后，可以将多个第二标定图像更新为多个第三标定图像。
S210、根据第一标定图像中用户的眼部中心的注视标定位置和每个第二标定图像中用户的眼部中心的注视位置，得到多个第一位置。
基于S205，电子设备可以获得每个第二标定图像中用户的眼部中心的注视位置，从而，电子设备可以将第一标定图像中用户的眼部中心的注视位置和每个第二标定图像中用户的眼部中心的注视位置进行加权平均处理或者融合处理，可以得到多个第一位置。
另外，第一标定图像为多个，第一标定图像中用户的眼部中心的注视位置对应具有多个时，电子设备可以将每个第一标定图像中用户的眼部中心的注视位置和每个第二标定图像中用户的眼部中心的注视位置进行加权平均处理或者融合处理，可以得到多个第一位置。
S211、根据每个第一位置，得到每个第三标定图像的注视点的标定位置。
电子设备在获得多个第一位置后，可以将每个第二标定图像中用户的眼部中心的注视位置对应的标定注视点位置更新为多个第一位置。
S212、更新每个第二标定图像的标定注视点位置为每个第三标定图像的标定注视点位置。
需要说明的是，在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的差值皆等于预设阈值、待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值等于预设阈值、以及待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的累加值的差值等于预设阈值时，电子设备可执行S204、S205-S209、或者以下步骤：
根据待测图像、第一标定图像、和第一标定图像的注视点的标定位置，确定待测图像的注视点的预测位置。
另外，在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的差值皆等于预设阈值、皆小于预设阈值、以及两个角度的差值皆小于阈值且一个角度的差值等于预设阈值、两个角度的差值皆等于预设阈值且一个角度的差值小于预设阈值、待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值小于预设阈值、以及待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的累加值的差值小于预设阈值时，电子设备可执行上述步骤。
在待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度不满足预设条件，电子设备执行上述步骤，不执行S204和S205-S209。
也就是说，电子设备可以直接根据待测图像和第一标定图像确定待测图像的注视点的预测位置，提高了确定待测图像的注视点的预测位置的效率。
S213、根据待测图像、多个第二标定图像、和每个第二标定图像中用户的眼部中心的注视位置对应的注视点的标定位置，确定待测图像的注视点的预测位置。
S214、根据待测图像的注视点的预测位置，触发电子设备执行相应的操作。
其中，S213和S214与图6所示实施例中的S103和S104的具体实现方式类似，本申请此处不再赘述。
本申请中，头部姿态数据包括偏航角、俯仰角、和翻滚角，便于通过偏航角、俯仰角、和翻滚角获得更加准确的头部姿态数据。那么，电子设备可根据待测图像和第一标定图像待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角的差异，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度，便于在待测图像的头部姿态数据与第一标定图像的头部姿态数据的差异较大时，即待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件时，根据待测图像和第一标定图像重新生成多个第二标定图像，便于电子设备根据待测图像和多个第二标定图像获得准确的待测图像的注视点的预测位置。
可见，电子设备仅在待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件时，重新生成多个第二标定图像，保证了确定待测图像的注视点的预测位置的效率。
其中，在待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度不满足预设条件时，电子设备可根据待测图像和第一标定图像生成第二标定图像，便于电子设备根据待测图像和第二标定图像获得准确的待测图像的注视点的预测位置。
另外，电子设备还可在根据待测图像和第一标定图像生成第二标定图像后，更新多个第二标定图像为多个第三标定图像，便于电子设备根据待测图像和第三标定图像获得准确的待测图像的注视点的预测位置。
此外，电子设备还可在待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度不满足预设条件时，直接根据待测图像和第一标定图像获得准确的待测图像的注视点的预测位置，提高了确定待测图像的注视点的预测位置的效率。
可见，在待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度不满足预设条件时，电子设备可通过多种方式获得准确的待测图像的注视点的预测位置，保证了获得准确的待测图像的注视点的预测位置的方法的多样性。
基于上前文描述，在一个具体实施例中，假设如下内容：
1、电子设备为手机；
2、头部姿态数据包括偏航角、俯仰角、和翻滚角；
3、电子设备的操作为拍摄照片过程中的对焦操作；
4、在待测图像和标定图像1中的偏航角、俯仰角、和翻滚角中的至少一种角度的差值大于阈值1时，确定待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度满足预设条件。
基于上述假设内容，手机结合方式一、方式二、和方式三，可执行本申请提供的眼动数据处理方法。
方式一，在待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度不满足预设条件时，根据待测图像和标定图像1确定待测图像的注视点的预测位置，手机执行眼动数据处理方法可以包括如下步骤：
步骤11、手机获取待测图像。
步骤12、手机判断待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度是否满足预设条件。
在确定待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度满足预设条件时，手机可执行步骤13-步骤15；在确定待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度不满足预设条件时，手机可执行步骤15。
步骤13、手机确定待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度满足预设条件时，将待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、标定图像1、标定图像1的头部姿态数据、和标定图像1中用户的眼部中心的注视标定位置输入视线合成模型，得到多个标定图像2和每个标定图像2中用户的眼部中心的注视位置。
其中，视线合成模型处理数据的具体过程可参见图8。
步骤14、手机根据每个标定图像2中用户的眼部中心的注视位置，得到每个标定图像2的注视点的标定位置。
步骤15、手机将待测图像、多个标定图像2、和每个标定图像2的注视点的标定位置输入眼动标定模型，输出待测图像的注视点的预测位置。
步骤16、待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度不满足预设条件时，将待测图像、标定图像1、和标定图像1的注视点的标定位置输入眼动标定模型，输出待测图像的注视点的预测位置。
其中，眼动标定模型处理数据的具体过程可参见图9。
步骤17、手机根据待测图像的注视点的预测位置，触发手机进行对焦。
方式二，在待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度不满足预设条件时，根据待测图像和标定图像2确定待测图像的注视点的预测位置，手机执行眼动数据处理方法可以包括如下步骤：
步骤21、手机获取待测图像。
步骤22、手机判断待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度是否满足预设条件。
在确定待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度满足预设条件时，手机可执行步骤23-步骤25；在确定待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度不满足预设条件时，手机可执行步骤26-步骤29。
步骤23、手机确定待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度满足预设条件时，将待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、标定图像1、标定图像1的头部姿态数据、和标定图像1中用户的眼部中心的注视标定位置输入视线合成模型，得到多个标定图像2和每个标定图像2中用户的眼部中心的注视位置。
步骤24、手机根据每个标定图像2中用户的眼部中心的注视位置，得到每个标定图像2的注视点的标定位置。
步骤25、手机将待测图像、多个标定图像2、和每个标定图像2的注视点的标定位置输入眼动标定模型，输出待测图像的注视点的预测位置。
步骤26、待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度不满足预设条件时，将待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、标定图像1、标定图像1的头部姿态数据、和标定图像1中用户的眼部中心的注视标定位置输入视线合成模型，得到多个标定图像2和每个标定图像2中用户的眼部中心的注视位置。
步骤27、手机根据每个标定图像2中用户的眼部中心的注视位置，得到每个标定图像2的注视点的标定位置。
步骤28、手机将待测图像、多个标定图像2、和每个标定图像2的注视点的标定位置输入眼动标定模型，输出待测图像的注视点的预测位置。
步骤29、手机根据待测图像的注视点的预测位置，触发手机进行对焦。
方式三，在待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度不满足预设条件时，根据待测图像和标定图像3确定待测图像的注视点的预测位置，手机执行眼动数据处理方法可以包括如下步骤：
步骤31、手机获取待测图像。
步骤32、手机判断待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度是否满足预设条件。
在确定待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度满足预设条件时，手机可执行步骤33-步骤35；在确定待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度不满足预设条件时，手机可执行步骤36-步骤41。
步骤33、手机确定待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度满足预设条件时，将待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、标定图像1、标定图像1的头部姿态数据、和标定图像1中用户的眼部中心的注视标定位置输入视线合成模型，得到多个标定图像2和每个标定图像2中用户的眼部中心的注视位置。
步骤34、手机根据每个标定图像2中用户的眼部中心的注视位置，得到每个标定图像2的注视点的标定位置。
步骤35、手机将待测图像、多个标定图像2、和每个标定图像2中用户的眼部中心的注视位置对应的注视点的标定位置输入眼动标定模型，输出待测图像的注视点的预测位置。
步骤36、待测图像的头部姿态数据与标定图像1的头部姿态数据之间的相似度不满足预设条件时，将待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、标定图像1、标定图像1的头部姿态数据、和标定图像1中用户的眼部中心的注视标定位置输入视线合成模型，得到多个标定图像2和每个标定图像2中用户的眼部中心的注视位置。
步骤37、根据标定图像1和多个标定图像2，得到多个标定图像3。
步骤38、更新多个标定图像2为多个标定图像3。
步骤39、根据标定图像1中用户的眼部中心的注视位置和每个标定图像2中用户的眼部中心的注视位置，得到多个位置1。
步骤40、根据每个位置1，得到每个标定图像3的注视点的标定位置。
步骤41、更新每个标定图像2的标定注视点位置为每个标定图像3的注视点的标定位置。
步骤42、手机将待测图像、多个标定图像2、和每个标定图像2的注视点的标定位置输入眼动标定模型，输出待测图像的注视点的预测位置。
步骤43、手机根据待测图像的注视点的预测位置，触发手机进行对焦。
示例性地，本申请还提供一种眼动数据处理装置。
下面，结合图10，对本申请一实施例提供的眼动数据处理装置进行详细说明。
请参阅图10，图10示出了本申请一实施例提供的眼动数据处理装置的示意性框图。
如图10所示，眼动数据处理装置300可以独立存在，也可以集成在其他设备中，可以与上述电子设备之间实现相互通信，用于实现上述任一方法实施例中对应于电子设备的操作，本申请的眼动数据处理装置300可以包括：获取模块301、确定模块302、和触发模块303。
获取模块301，用于获取待测图像，待测图像包括与用户注视所述电子设备的显示屏有关的区域；
确定模块302，用于根据待测图像的头部姿态数据，对第一标定图像进行修正，得到多个第二标定图像和每个第二标定图像的注视点的标定位置，第一标定图像为根据预先设定的注视点的标定位置获取的图像，每个第二标定图像的头部姿态数据与待测图像的头部姿态数据相同；
确定模块302，还用于根据待测图像、多个第二标定图像、和每个第二标定图像中用户的眼部中心的注视位置对应的注视点的标定位置，确定待测图像的注视点的预测位置，待测图像的注视点的预测位置为用户注视电子设备的显示屏中的真实位置；
触发模块303，用于根据待测图像的注视点的预测位置，触发电子设备执行相应的操作。
在一些实施例中，确定模块302，具体用于：
根据待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置，确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置，用户的眼部中心的每个注视参考位置用于表示用户能够注视到电子设备的显示屏中的注视点；
根据每个第二标定图像中用户的眼部中心的注视位置，得到每个第二标定图像的注视点的标定位置。
在一些实施例中，确定模块302，具体用于：
根据待测图像的头部姿态数据和第一标定图像的头部姿态数据，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度；
在确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件时，根据待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置，确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置。
在一些实施例中，头部姿态数据包括偏航角、俯仰角、和翻滚角。
在一些实施例中，确定模块302，具体用于：
确定待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的至少一种角度的差值大于预设阈值；
在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的至少一种角度的差值大于预设阈值时，确定待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
在一些实施例中，确定模块302，具体用于：
确定待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值大于预设阈值；
在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值大于预设阈值时，待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
在一些实施例中，确定模块302，具体用于：
待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的累加值的差值大于预设阈值；
在待测图像和第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的累加值的差值大于预设阈值时，待测图像的头部姿态数据与第一标定图像的头部姿态数据之间的相似度满足预设条件。
在一些实施例中，确定模块302，具体用于：
根据第一标定图像和多个第二标定图像，得到多个第三标定图像；
更新多个第二标定图像为多个第三标定图像；
根据第一标定图像中用户的眼部中心的注视标定位置和每个第二标定图像中用户的眼部中心的注视位置，得到多个第一位置；
根据每个第一位置，得到每个第三标定图像的注视点的标定位置；
更新每个第二标定图像的标定注视点位置为每个第三标定图像的标定注视点位置。
在一些实施例中，获取模块301，具体用于：
显示第一界面；
在第一界面中显示注视点的标定位置；
采集用户注视注视点的标定位置时的图像；
将用户注视注视点的标定位置时的图像，确定为第一标定图像；
根据第一标定图像，确定第一标定图像中用户的眼部中心的注视标定位置。
在一些实施例中，第一标定图像为预存的图像，第一标定图像中用户的眼部中心的注视标定位置为预存的位置。
在一些实施例中，确定模块302，具体用于：
将待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、第一标定图像的头部姿态数据、和第一标定图像中用户的眼部中心的注视标定位置输入视线合成模型，得到多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置；视线合成模型用于视线合成模型用于修正标定图像的头部姿态为待测图像的头部姿态和修正标定图像中用户的眼部中心的注视位置为用户的眼部中心的注视参考位置。
在一些实施例中，确定模块302，具体用于：
将根据待测图像、多个第二标定图像、和每个第二标定图像的注视点的标定位置输入眼动标定模型，得到待测图像的注视点的预测位置；眼动标定模型用于根据待测图像的视线特征与每个标定图像的视线特征之间的关系，预测待测图像的注视点位置。
示例性地，本申请提供一种电子设备，包括一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器上，当计算机程序被一个或多个处理器执行时，使得电子设备执行前文实施例中的眼动数据处理方法。
可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，上述实施例中涉及的电子设备还可以包括：接收模块、和确定模块。其中，接收模块、和确定模块相互配合，可以用于支持电子设备执行上述步骤，和/或用于本文所描述的技术的其他过程。
需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
本实施例提供的电子设备，用于执行上述眼动数据处理方法，因此可以达到与上述实现方法相同的效果。
示例性地，本申请提供一种芯片系统，芯片系统包括处理器，用于从存储器中调用并运行计算机程序，使得安装有芯片系统的电子设备执行前文实施例中的眼动数据处理方法。
示例性地，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有代码或指令，当代码或指令在电子设备上运行时，使得电子设备执行时实现前文实施例中的眼动数据处理方法。
示例性地，本申请提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得电子设备实现前文实施例中的眼动数据处理方法。
其中，本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片系统均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种眼动数据处理方法，其特征在于，应用于电子设备，所述方法包括：
获取待测图像，所述待测图像包括与用户注视所述电子设备的显示屏有关的区域；
根据所述待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、所述第一标定图像的头部姿态数据、和所述第一标定图像中用户的眼部中心的注视标定位置，确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置，用户的眼部中心的每个注视参考位置用于表示用户能够注视到所述电子设备的显示屏中的注视点，所述第一标定图像为根据预先设定的注视点的标定位置获取的图像，每个第二标定图像的头部姿态数据与所述待测图像的头部姿态数据相同；
根据每个第二标定图像中用户的眼部中心的注视位置，得到所述每个第二标定图像的注视点的标定位置；
根据所述待测图像、所述多个第二标定图像、和所述每个第二标定图像的注视点的标定位置，确定所述待测图像的注视点的预测位置，所述待测图像的注视点的预测位置为用户注视所述电子设备的显示屏中的真实位置；
根据所述待测图像的注视点的预测位置，触发所述电子设备执行相应的操作。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述待测图像的头部姿态数据和第一标定图像的头部姿态数据，确定所述待测图像的头部姿态数据与所述第一标定图像的头部姿态数据之间的相似度；
在确定所述待测图像的头部姿态数据与所述第一标定图像的头部姿态数据之间的相似度满足预设条件时，根据所述待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、所述第一标定图像、所述第一标定图像的头部姿态数据、和所述第一标定图像中用户的眼部中心的注视标定位置，确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置。
3.根据权利要求2所述的方法，其特征在于，所述头部姿态数据包括偏航角、俯仰角、和翻滚角，根据所述待测图像的头部姿态数据和第一标定图像的头部姿态数据，确定所述待测图像的头部姿态数据与所述第一标定图像的头部姿态数据之间的相似度，包括：
确定所述待测图像和所述第一标定图像中的偏航角、俯仰角、和翻滚角中的至少一种角度的差值大于预设阈值；
确定所述待测图像的头部姿态数据与所述第一标定图像的头部姿态数据之间的相似度满足预设条件，包括：
在所述待测图像和所述第一标定图像中的偏航角、俯仰角、和翻滚角中的至少一种角度的差值大于所述预设阈值时，确定所述待测图像的头部姿态数据与所述第一标定图像的头部姿态数据之间的相似度满足预设条件。
4.根据权利要求3所述的方法，其特征在于，所述根据所述待测图像的头部姿态数据和第一标定图像的头部姿态数据，确定所述待测图像的头部姿态数据与所述第一标定图像的头部姿态数据之间的相似度，还包括：
所述待测图像和所述第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值大于预设阈值；
所述确定所述待测图像的头部姿态数据与所述第一标定图像的头部姿态数据之间的相似度满足预设条件，还包括：
在所述待测图像和所述第一标定图像中的偏航角、俯仰角、和翻滚角中的任意两种角度的累加值的差值大于所述预设阈值时，所述待测图像的头部姿态数据与所述第一标定图像的头部姿态数据之间的相似度满足预设条件。
5.根据权利要求3所述的方法，其特征在于，所述根据所述待测图像的头部姿态数据和第一标定图像的头部姿态数据，确定所述待测图像的头部姿态数据与所述第一标定图像的头部姿态数据之间的相似度，还包括：
所述待测图像和所述第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的累加值的差值大于预设阈值；
所述确定所述待测图像的头部姿态数据与所述第一标定图像的头部姿态数据之间的相似度满足预设条件，还包括：
在所述待测图像和所述第一标定图像中的偏航角、俯仰角、和翻滚角中的三种角度的累加值的差值大于所述预设阈值时，所述待测图像的头部姿态数据与所述第一标定图像的头部姿态数据之间的相似度满足预设条件。
6.根据权利要求2所述的方法，其特征在于，在确定所述待测图像的头部姿态数据与所述第一标定图像的头部姿态数据之间的相似度不满足预设条件时，所述方法还包括：
根据所述第一标定图像和所述多个第二标定图像，得到多个第三标定图像；
更新多个第二标定图像为多个第三标定图像；
根据所述第一标定图像中用户的眼部中心的注视标定位置和所述每个第二标定图像中用户的眼部中心的注视位置，得到多个第一位置；
根据每个第一位置，得到每个第三标定图像的注视点的标定位置；
更新每个第二标定图像的标定注视点位置为每个第三标定图像的标定注视点位置。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述获取待测图像之前，还包括：
显示第一界面；
在所述第一界面中显示注视点的标定位置；
采集用户注视所述注视点的标定位置时的图像；
将用户注视所述注视点的标定位置时的图像，确定为第一标定图像；
根据所述第一标定图像，确定所述第一标定图像中用户的眼部中心的注视标定位置。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述第一标定图像为预存的图像，所述第一标定图像中用户的眼部中心的注视标定位置为预存的位置。
9.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、第一标定图像、所述第一标定图像的头部姿态数据、和所述第一标定图像中用户的眼部中心的注视标定位置，确定多个第二标定图像和每个第二标定图像中用户的眼部中心的注视位置，包括：
将所述待测图像的头部姿态数据、用户的眼部中心的多个注视参考位置、所述第一标定图像、所述第一标定图像的头部姿态数据、和所述第一标定图像中用户的眼部中心的注视标定位置输入视线合成模型，得到所述多个第二标定图像和所述每个第二标定图像中用户的眼部中心的注视位置；所述视线合成模型用于修正标定图像的头部姿态为待测图像的头部姿态和修正标定图像中用户的眼部中心的注视位置为用户的眼部中心的注视参考位置。
10.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述待测图像、所述多个第二标定图像、和所述每个第二标定图像的注视点的标定位置，确定所述待测图像的注视点的预测位置，包括：
将根据所述待测图像、所述多个第二标定图像、和所述每个第二标定图像的注视点的标定位置输入眼动标定模型，得到所述待测图像的注视点的预测位置；所述眼动标定模型用于根据待测图像的视线特征与每个标定图像的视线特征之间的关系，预测待测图像的注视点位置。
11.一种眼动数据处理装置，其特征在于，所述眼动跟踪装置包括用于执行如权利要求1-10任一项所述的眼动数据处理方法。
12.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
以及一个或多个计算机程序，其中所述一个或多个计算机程序存储在所述存储器上，当所述计算机程序被所述一个或多个处理器执行时，使得所述电子设备执行如权利要求1-10任一项所述的眼动数据处理方法。
13.一种芯片系统，其特征在于，所述芯片系统包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片系统的电子设备执行如权利要求1-10任一项所述的眼动数据处理方法。
CN202211717837.9A 2022-12-29 2022-12-29 眼动数据处理方法及电子设备 Active CN116661587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211717837.9A CN116661587B (zh) 2022-12-29 2022-12-29 眼动数据处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211717837.9A CN116661587B (zh) 2022-12-29 2022-12-29 眼动数据处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN116661587A CN116661587A (zh) 2023-08-29
CN116661587B true CN116661587B (zh) 2024-04-12

Family

ID=87715983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211717837.9A Active CN116661587B (zh) 2022-12-29 2022-12-29 眼动数据处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN116661587B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046546A (zh) * 2019-03-05 2019-07-23 成都旷视金智科技有限公司 一种自适应视线追踪方法、装置、系统及存储介质
CN110636218A (zh) * 2019-08-19 2019-12-31 RealMe重庆移动通信有限公司 对焦方法、装置、存储介质及电子设备
CN113116291A (zh) * 2019-12-31 2021-07-16 Oppo广东移动通信有限公司 眼球追踪的标定校准方法、装置、移动终端及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106662917B (zh) * 2014-04-11 2020-06-12 脸谱科技有限责任公司 眼睛跟踪校准系统和方法
PT3154410T (pt) * 2014-06-12 2023-03-15 Sr Labs S R L Dispositivo e método de calibração para um rastreador ocular e equipamento de controlo ocular compreendendo o referido dispositivo de calibração

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046546A (zh) * 2019-03-05 2019-07-23 成都旷视金智科技有限公司 一种自适应视线追踪方法、装置、系统及存储介质
CN110636218A (zh) * 2019-08-19 2019-12-31 RealMe重庆移动通信有限公司 对焦方法、装置、存储介质及电子设备
CN113116291A (zh) * 2019-12-31 2021-07-16 Oppo广东移动通信有限公司 眼球追踪的标定校准方法、装置、移动终端及存储介质

Also Published As

Publication number Publication date
CN116661587A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN110544272B (zh) 脸部跟踪方法、装置、计算机设备及存储介质
KR20180081362A (ko) 촬영 방법 및 전자 장치
WO2021147434A1 (zh) 基于人工智能的人脸识别方法、装置、设备及介质
CN111553846B (zh) 超分辨率处理方法及装置
CN111127509B (zh) 目标跟踪方法、装置和计算机可读存储介质
CN111400605A (zh) 基于眼球追踪的推荐方法及装置
KR20170097884A (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
JP2021531589A (ja) 目標対象の動作認識方法、装置及び電子機器
CN111768352A (zh) 图像处理方法及装置
CN112749590B (zh) 目标检测方法、装置、计算机设备和计算机可读存储介质
CN114255204A (zh) 弱视训练方法、装置、设备及存储介质
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN111882642A (zh) 三维模型的纹理填充方法及装置
CN109831817B (zh) 终端控制方法、装置、终端及存储介质
CN111524528B (zh) 防录音检测的语音唤醒方法及装置
CN116661587B (zh) 眼动数据处理方法及电子设备
CN114422686A (zh) 参数调整方法及相关装置
US20230401897A1 (en) Method for preventing hand gesture misrecognition and electronic device
CN111310526B (zh) 目标跟踪模型的参数确定方法、装置及存储介质
KR20180083144A (ko) 마커를 검출하기 위한 방법 및 그 전자 장치
CN112214115A (zh) 输入方式的识别方法、装置、电子设备及存储介质
CN111581119A (zh) 页面回收方法及装置
CN111510553A (zh) 一种运动轨迹展示方法、装置和可读存储介质
CN111367949A (zh) 数据查询方法、装置、计算机设备和存储介质
CN112861565A (zh) 确定轨迹相似度的方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant