CN117711054A - 一种数据的检验方法、电子设备及介质 - Google Patents

Abstract

本申请公开了一种数据的检验方法、电子设备及介质，涉及计算机技术领域，该方法包括：获取待检验数据，该待检验数据中的数据包括人脸图像以及该人脸图像中人眼注视的注视点，该待检验数据包括第一数据集和第二数据集；然后根据眼动无标定模型，对第一数据集中的数据进行检验，将第一数据集中检验通过的数据作为参考数据，接着根据参考数据和眼部标定模型，对第二数据集中的数据进行检验，得到检验结果。该方法能够对数据可靠性进行检验。

Description

一种数据的检验方法、电子设备及介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据的检验方法、电子设备及介质。

背景技术

随机计算机技术的发展，眼动跟踪技术也飞速发展，眼动跟踪技术是一种通过跟踪人眼在视觉场景中的运动来获取信息的技术。一般地，眼动跟踪技术可以应用于可移动的电子设备，通过计算用户在屏幕上的注视点，实现多种操作，例如，眼动翻页、眼控游戏、注视识别等。

目前，在使用眼动跟踪技术的过程中，需要使用标定数据，该标定数据可以是包括人眼的人脸图像，并且，该标定数据还携带有人脸图像中人眼注视的注视点(例如在屏幕中的注视点)。而上述眼动跟踪技术的跟踪效果受标定数据影响较大，在标定数据的可靠性较差的情况下，将会导致眼动跟踪技术的跟踪效果较差。

因此，如何检验数据(例如标定数据)的可靠性，是业界需要解决的技术问题。

发明内容

本申请提供一种数据的检验方法、电子设备及介质，能够对数据可靠性进行检验。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供了一种数据检验方法，该方法可以应用于电子设备，该方法包括获取待检验数据，该待检验数据中的数据包括人脸图像以及人脸图像中人眼注视的注视点，该待检验数据包括第一数据集和第二数据集；然后根据眼动无标定模型，对该第一数据集中的数据进行检验，将第一数据集中检验通过的数据作为参考数据，接着，再根据参考数据和眼动标定模型，对第二数据集中的数据进行检验，得到检验结果。

该方法结合了眼动无标定模型和眼动标定模型各自的优点，先利用眼动无标定模型进行冷启动，对待检验数据进行了初筛，得到较为准确的参考数据，并将该参考数据作为眼动标定模型的输入，为眼动标定模型提供了可靠的标定数据，再利用眼动标定模型对后续采集的数据进行检验。该方法为数据可靠性的提供了检验方式，该方法是一种渐进式的检验方式，不仅流程简单，而且还能够应用到对用户进行个体化的标定场景中。进一步的，采用检验通过的数据，能够为后续提供较好的数据基础，提高眼动跟踪效果。

在一些可能的实现方式中，根据眼动无标定模型，对第一数据集中的数据进行检验可以是将第一数据集中的人脸图像输入给眼动无标定模型，该眼动无标定模型对该人脸图像进行处理，眼动无标定模型输出人脸图像中人眼注视的预测点，然后可以确定第一数据集中人脸图像中人眼注视的注视点与眼动无标定模型输出人脸图像中人眼注视的预测点之间的偏差，基于该偏差与第一检验阈值，对第一数据集中的数据进行检验。

在一些可能的实现方式中，根据参考数据和眼动标定模型，对第二数据集中的数据进行检验可以是将参考数据和第二数据集中的人脸图像输入给眼动标定模型，得到该眼动标定模型输出的人脸图像中人眼注视的预测点，然后可以确定该第二数据集中人脸图像中人眼注视的注视点与眼动标定模型输出的人脸图像中人眼注视的预测点之间的偏差，基于该偏差与第二检验阈值，对第二数据集中的数据进行检验。

在一些可能的实现方式中，该方法还包括：若检验结果标定第二数据集中的数据检验通过，则保留该第二数据集中检验通过的数据。以便后续利用该检验通过的数据进行眼动跟踪，能够提高跟踪效果。

在一些可能的实现方式中，该方法还包括：在得到第二数据集中检验通过的数据后，可以接着利用该第二数据集中检验通过的数据以及眼动标定模型，对先前的参考数据进行检验，并将检验不通过的参考数据丢弃，从而进一步提高数据的可靠性，进一步的，也能够为后续使用眼动跟踪技术，提供较好的数据基础，进而提高眼动跟踪的跟踪效果。

在一些可能的实现方式中，该方法还包括：如果检验结果表征第二数据集中的数据检验未通过，则丢弃第二数据集中检验未通过的数据，从而减少对可靠性较差的数据的使用，减少可靠性较差的数据对眼动跟踪的影响。

在一些可能的实现方式中，获取待检验数据可以是电子设备展示标定界面，该标定界面中包括标记，接着，用户可以在电子设备的提示下，注视该标记，电子设备可以获取用户注视该标定界面中标记时的人脸图像，然后根据注视所述标定界面中标记时的人脸图像以及该标记在标定界面中的位置，获取待检验数据。

在一些可能的实现方式中，上述偏差可以通过预测点和注视点之间的距离表征。

第二方面，本申请提供了一种电子设备，包括：摄像头、处理器和存储器；

摄像头用于采集人脸图像；

其中，在存储器中存储有一个或多个计算机程序，一个或多个计算机程序包括指令；当指令被处理器执行时，使得电子设备执行如第一方面中任一项的方法。

第三方面，一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，电子设备执行如第一方面中任一项的方法。

第四方面，本申请提供了一种计算机程序产品，包括指令；当指令被电子设备运行时，使得电子设备执行上述第一方面中任一项的方法。

本申请的技术方案具有如下有益效果：

本申请提供了一种数据的检验方法，该方法包括获取待检验数据，该待检验数据中的数据包括人脸图像以及人脸图像中人眼注视的注视点，该待检验数据包括第一数据集和第二数据集；然后根据眼动无标定模型，对该第一数据集中的数据进行检验，将第一数据集中检验通过的数据作为参考数据，接着，再根据参考数据和眼动标定模型，对第二数据集中的数据进行检验，得到检验结果。

该方法结合了眼动无标定模型和眼动标定模型各自的优点，先利用眼动无标定模型进行冷启动，对数据进行初筛，得到较为准确的参考数据，并将该参考数据作为眼动标定模型的输入，为眼动标定模型提供可靠的标定数据，再利用该眼动标定模型对后续采集的数据进行检验。该方法为数据可靠性的提供了检验方式，该方法是一种渐进式的检验方式，不仅流程简单，而且还能够应用到对用户进行个体化的标定场景中。进一步的，采用检验通过的数据，能够为后续提供较好的数据基础，提高眼动跟踪效果。

应当理解的是，本申请中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反，可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此，本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而，还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解，无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中，还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。

附图说明

图1为本申请实施例提供的一种电子设备的结构示意图；

图2为本申请实施例提供的一种应用场景的示意图；

图3为本申请实施例提供的一种数据的检验方法的流程图；

图4为本申请实施例提供的一种眼动无标定模型的结构示意图；

图5为本申请实施例提供的一种眼动标定模型的示意图。

具体实施方式

本申请说明书和权利要求书及附图说明中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于限定特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

为了下述各实施例的描述清楚简洁，首先给出相关技术的简要介绍：

眼动跟踪技术是一种通过跟踪人眼在视觉场景中的运动来获取信息的技术。例如，获取用户在观看图像、视频、网页或其他视觉刺激时的注意点和兴趣点。该眼动跟踪技术可以应用在可移动的电子设备上，例如，手机、平板电脑、笔记本电脑等。在电子设备上应用眼动跟踪技术时，往往要求电子设备需要配置有摄像头或其他传感器，来跟踪用户的眼球运动，进而在电子设备上实现各种应用。例如，基于眼动跟踪技术，电子设备可以实现眼动翻页、眼控游戏、注视识别等。

目前，眼动跟踪技术主要是基于眼动无标定模型或眼动标定模型来实现。

眼动无标定模型是指无需预先进行个体化标定的模型，该眼动无标定模型的输入通常是一张包括人眼的人脸图像，工程实现过程中，通常会对该人脸图像进行预处理，得到和眼动跟踪最相关的图像信息以及辅助信息(例如可以是人脸在人脸图像中的位置等)，输出为人眼注视的预测点。该眼动无标定模型基于计算机视觉技术进行人眼运动的跟踪和预测，通常包括深度学习算法和计算机视觉算法。优点在于，不需要预先对用户进行标定，因此，可以快速地应用于各种场景。

眼动标定模型是指需要预先进行个体化标定的模型，该眼动标定模型的输入包括标定数据(例如人眼注视特定位置时的人脸图像)以及测试数据(例如待预测注视点的人脸图像)，输出为测试数据中人眼注视的预测点。该眼动标定模型通过让用户注视特定位置或者按照特定的眼球运动方式来进行个体化标定，建立个体化的眼动模型。优点在于，精度较高，可以更加准确地跟踪和预测人眼的注视点。然而，该眼动标定模型需要花费时间，进行个体化标定。并且，标定数据的可靠性，也会影响眼动标定模型的预测结果，进而影响眼动跟踪技术的跟踪效果。可见，如何检验标定数据的可靠性，是业界需要解决的技术问题。

有鉴于此，本申请实施例提供了一种数据的检验方法，该方法可以应用于电子设备，具体地包括：电子设备获取第一数据集，该第一数据集中的数据包括人脸图像以及该人脸图像中人眼注视的注视点，接着将第一数据集中的人脸图像输入到眼动无标定模型，得到眼动无标定模型的预测结果，该眼动无标定模型的预测结果可以是第一数据集中的人脸图像中人眼注视的预测点，将第一数据集中的人脸图像中人眼注视的注视点与预测点之间偏差小于或等于第一检验阈值的数据，作为参考数据集。接着，电子设备获取第二数据集，该第二数据集中的数据包括人脸图像以及该人脸图像中人眼注视的注视点，电子设备将该第二数据集中的人脸图像以及参考数据集中的数据，输入给眼动标定模型，得到眼动标定模型的预测结果，该眼动标定模型的预测结果可以是第二数据集中的人脸图像中人眼注视的预测点，根据第二数据集中的人眼注视的注视点与预测点之间偏差与第二检验阈值，对第二数据集中的数据进行检验。例如，若第二数据集中的人眼注视的注视点与预测点之间偏差小于或等于第二检验阈值，则表征第二数据集中的数据检验通过，否则，检验不通过。

该方法结合了眼动无标定模型和眼动标定模型各自的优点，先利用眼动无标定模型进行冷启动，对数据进行初筛，得到较为准确的参考数据，并将该参考数据作为眼动标定模型的输入，为眼动标定模型提供可靠的标定数据，再利用该眼动标定模型对后续采集的数据进行检验。该方法为数据可靠性的提供了检验方式，该方法是一种渐进式的检验方式，不仅流程简单，而且还能够应用到对用户进行个体化的标定场景中。进一步的，采用检验通过的数据，能够为后续提供较好的数据基础，提高眼动跟踪效果。

在一些实施例中，电子设备可以是手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)、手持计算机、上网本、个人数字助理(Personal Digital Assistant，PDA)、可穿戴电子设备、智能手表等设备，本申请对上述电子设备的具体形式不做特殊限制。在本实施例中，电子设备的结构可以如图1所示，该图为本申请实施例提供的一种电子设备的结构示意图。

电子设备可以包括处理器110，内部存储器121，传感器模块180，摄像头193，显示屏194。其中传感器模块180可以包括陀螺仪传感器180B，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，环境光传感器180L等。

可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。例如，在本申请中，处理器可以获取待检验数据，所述待检验数据中的数据包括人脸图像以及所述人脸图像中人眼注视的注视点，所述待检验数据包括第一数据集和第二数据集；根据眼动无标定模型，对所述第一数据集中的数据进行检验，将所述第一数据集中检验通过的数据作为参考数据；根据所述参考数据和眼动标定模型，对所述第二数据集中的数据进行检验，得到检验结果。

其中，控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

电子设备通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oled，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备的显示屏194上可以显示一系列图形用户界面(graphical userinterface，GUI)，这些GUI都是该电子设备的主屏幕。一般来说，电子设备的显示屏194的尺寸是固定的，只能在该电子设备的显示屏194中显示有限的控件。控件是一种GUI元素，它是一种软件组件，包含在应用程序中，控制着该应用程序处理的所有数据以及关于这些数据的交互操作，用户可以通过直接操作(direct manipulation)来与控件交互，从而对应用程序的有关信息进行读取或者编辑。一般而言，控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。在一些示例中，在对用户进行个体化标定过程中，可以在显示屏的特征位置显示标记，以便摄像头采集用户人眼注视该标记(如注视点)时的人脸图像。

电子设备可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备可以包括1个或N个摄像头193，N为大于1的正整数。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备的各种功能应用以及数据处理。例如，在本实施例中，处理器110可以通过执行存储在内部存储器121中的指令，实现获取待检验数据，所述待检验数据中的数据包括人脸图像以及所述人脸图像中人眼注视的注视点，所述待检验数据包括第一数据集和第二数据集；根据眼动无标定模型，对所述第一数据集中的数据进行检验，将所述第一数据集中检验通过的数据作为参考数据；根据所述参考数据和眼动标定模型，对所述第二数据集中的数据进行检验，得到检验结果的步骤。

其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flashstorage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备的各种功能应用以及数据处理。

陀螺仪传感器180B可以用于确定电子设备的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

磁传感器180D包括霍尔传感器。电子设备可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备是翻盖机时，电子设备可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测电子设备在各个方向上(一般为三轴)加速度的大小。当电子设备静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备通过发光二极管向外发射红外光。电子设备使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备附近有物体。当检测到不充分的反射光时，电子设备可以确定电子设备附近没有物体。电子设备可以利用接近光传感器180G检测用户手持电子设备贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备是否在口袋里，以防误触。

需要说明的是，上述陀螺仪传感器180B，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，环境光传感器180L等传感器，可以将摄像头193采集用户人脸图像时，传感器所采集的数据作为辅助信息，一并用于注视点的预测等。

在本申请实施例中，电子设备包括硬件层、运行在硬件层之上的操作系统层，以及运行在操作系统层上的应用层。其中，硬件层可以包括中央处理器(central processingunit，CPU)、内存管理单元(memory management unit，MMU)和内存(也称为主存)等硬件。操作系统层的操作系统可以是任意一种或多种通过进程(process)实现业务处理的计算机操作系统，例如，Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。应用层可以包含浏览器、通讯录、文字处理软件、即时通信软件等应用。

下面为了使得本申请的技术方案更清楚、易于理解，下面对本申请实施例提供的数据的检验方法的应用场景进行介绍。

如图2所示，该图为本申请实施例提供的一种应用场景的示意图。该场景可以是利用电子设备201的眼动跟踪技术之前，对用户202进行标定，得到用户202的标定数据的场景。在该场景中，电子设备201可以分多轮采集用户202的标定数据，为了便于理解，以分两轮为例，进行介绍。

在第一轮中，电子设备201可以向用户202呈现标定界面203，该标定界面203包括标记204，本申请实施例不具体限定标记204的样式。在另一些示例中，该标记204也可以采用其他样式，例如，正方形、五角星等。电子设备201展示该标定界面203后，用户202可以注视该标定界面203中的标记204，此时电子设备201可以采集用户202的人脸图像(电子设备上的各类传感器也可以同时采集传感器数据)，例如，可以通过前置摄像头(例如RGB摄像头或红外摄像头等)来采集用户202的人脸图像，然后基于采集的人脸图像和标记204在标定界面203(或屏幕)中的位置，得到用户202的一个第一轮的标定数据。电子设备可以通过多次改变标记204的位置并进行多次采集用户202的人脸图像，能够得到多个标定数据。

电子设备201可以利用眼动无标定模型，对多个标定数据进行初筛，去除误差较大的标定数据，得到初筛后的标定数据。该初筛后的标定数据具有一定的可靠性，因此，可以将该初筛后的标定数据，作为参考数据，以对后续采集的标定数据进行检验。在一些示例中，在得到3个具有一定可靠性的标定数据后，电子设备201可以将这3个标定数据作为参考数据，然后进入第二轮。

在第二轮中，电子设备201继续改变标记204在标定界面203中的位置，并采集用户202注视位置改变后的标记204时的人脸图像，基于该标记204改变后的位置以及人脸图像，得到用户202的一个第二轮的标定数据。然后，电子设备201可以利用眼动标定模型以及第一轮得到的参考数据，对第二轮的标定数据的可靠性进行检验，进而得到该第二轮的标定数据的检验结果。

需要说明的是，电子设备201还可以进行更多轮的检验，例如进行第三轮的检验，在进行第三轮的检验过程中，可以将第二轮检验通过的标定数据作为参考数据，对第三轮采集的标定数据进行检验，也可以是利用第一轮检验通过的标定数据，对第三轮采集的标定数据进行检验。

该方法中，将标定数据的采集过程分为多轮，在第一轮采集过程中，采用眼动无标定模型，对第一轮采集的标定数据进行初筛，该眼动无标定模型对误差较大的标定数据较为敏感，进而滤除掉明显不合理的标定数据，即，可靠性较差的标定数据，将初筛后剩余的标定数据(检验通过的数据)作为参考数据；在第二轮采集过程中，由于第一轮提供了具有一定可靠性的标定数据，可以采用眼动标定模型以及第一轮得到的参考数据，对第二轮采集的标定数据的可靠性进行检验，进而得到检验结果。该方法结合了眼动无标定模型和眼动标定模型各自的优点，与单独采用眼动无标定模型相比，提高了对后续标定数据进行检验的准确率；与单独采用眼动标定模型相比，提高了眼动标定模型的输入数据中的标定数据部分的可靠性，进而提高检验结果的准确率；并且该方法避免了至少第一个标定数据无法使用采用眼动标定模型的情况。

需要说明的是，上述图2所示的应用场景仅仅是示例性介绍，本申请实施例提供的数据检验方法还可以应用到其他场景中。

为了使本申请的技术方案更加清楚、易于理解，下面结合附图，以电子设备的角度，对本申请实施例提供的数据的检验方法进行介绍。如图3所示，该图为本申请实施例提供的一种数据的检验方法的流程图，该方法包括：

S301、电子设备获取N个标定数据。

其中，N为正整数，在一些示例中，N可以是3、4、5，当然N也可以是其他更大或更小的数值。

标定数据是指人脸图像中人眼注视特定位置的数据，标定数据可以人脸图像以及该人脸图像中人眼所注视的位置，例如，该位置可以由坐标表征。N个标定数据可以是待检验数据中的第一数据集，待检验数据还包括第二数据集，第二数据集可以包括L个标定数据。其中，L为正整数，N+L为待检验数据的总个数。本申请实施例中以待检验数据均为标定数据为例进行介绍，在另一些示例中，待检验数据还可以是其他数据。

在一些示例中，电子设备可以向用户展示图2中所示的标定界面，提示用户注视标定界面中的标记，在用户注视标定界面的标记过程中，采集用户的人脸图像。电子设备可以基于标定界面中标记的位置(人眼注视的注视点)以及采集的人脸图像，得到一个标定数据。在另一些示例中，电子设备上的相关传感器(如上述陀螺仪传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、环境光传感器等)也可以采集相关数据，电子设备基于传感器采集的相关数据、标定界面中标记的位置和采集的人脸图像，得到一个标定数据。

基于类似的方式，电子设备可以获取N个标定数据，其中，N个标定数据可以是对一个用户进行多次标定得到的。在一些示例中，N可以是5。电子设备获取的N个标定数据也可以称为电子设备第一轮获取的标定数据。

S302、电子设备利用眼动无标定模型，对N个标定数据进行检验，得到M个检验通过的标定数据。

其中，M为正整数，M≤N。眼动无标定模型是指无需预先进行个体化标定的模型，该眼动无标定模型的输入是一张包括人眼的人脸图像，输出为该人脸图像中人眼的注视点。

如图4所示，该图为本申请实施例提供的一种眼动无标定模型的结构示意图。

该眼动无标定模型包括输入图像410、卷积网络420、全连接网络430和预测结果440。该眼动无标定模型得到输入图像410后，对该输入图像410进行处理，得到左眼图像411、右眼图像412、脸部图像413以及脸部位置414，其中，脸部位置414是指人脸在输入图像410中所在的区域。该卷积网络420包括第一卷积网络421、第二卷积网络422和第三卷积网络423，左眼图像411输入给第一卷积网络421，右眼图像412输入给第二卷积网络422，脸部图像413输入给第三卷积网络423，第一卷积网络421、第二卷积网络422和第三卷积网络423的输出以及脸部位置414均输入给全连接网络430，全连接网络430输出预测结果440，该预测结果440可以是输入图像410中人眼注视的预测点，该预测点可以通过坐标表示。

在本申请实施例中，输入图像410可以是人脸图像，预测结果440可以是人脸图像中人眼注视的预测点。在得到人脸图像中人眼注视的预测点后，电子设备可以将人脸图像中人眼注视的预测点以及该人脸图像中人眼注视的注视点进行比较，得到比较结果。若比较结果表征预测点与注视点之间的偏差大于第一检验阈值，则确定该标定数据检验不通过，若比较结果表征该预测点与注视点之间的偏差小于或等于第一检验阈值，则确定该标定数据检验通过。

在一些示例中，预测点和注视点均可通过坐标表示，电子设备可以计算预测点和注视点之间的坐标距离，预测点和注视点之间的偏差可以通过该坐标距离表征，通过比较坐标距离与第一检验阈值，来确定该标定数据是否检验通过。

电子设备可以采用类似的方式，对N个标定数据中的每一个标定数据进行检验，进而得到M个检验通过的标定数据。

在一些实施例中，电子设备可以对N个标定数据中的至少一个标定数据进行检验，直至得到M个检验通过的标定数据。例如，以N＝5，M＝3为例，在示例中，电子设备可以先利用眼动无标定模型对第一个标定数据进行检验，若检验通过，则继续对第二个标定数据进行检验，若检验通过，则对第三个标定数据进行检验，若检验通过，则可以不对后续的标定数据进行检验，进一步提高检验效率。

对于后续未检验的标定数据，电子设备可以直接丢弃后续未检验的标定数据，也可以在后续过程中，利用眼动标定模型进行检验，利用眼动标定模型进行检验的方式，后续进行介绍。

需要说明的是，在上述S301-S302是以电子设备连续获取多个标定数据之后，再统一检验每一个标定数据为例进行介绍。在另一些场景中，电子设备也可以每获取一个标定数据，对该标定数据的可靠性进行检验，若检验不通过，则提示用户重新注视标定界面中的标记，然后电子设备采集用户的人脸图像，直至检验通过后，再开始获取下一个标定数据。

S303、电子设备从M个检验通过的标定数据中，确定出K个标定数据，作为参考数据。

其中，K为正整数，K≤M。延续上述实施例，N＝5，M＝3，K可是1、2、3中的任一个，以K＝2为例。

电子设备可以从M(3)个标定数据中随机选择K(2)个标定数据作为参考数据，也可以从M(3)个标定数据中选择前K(2)标定数据作为参考数据。在另一些示例中，K＝M的情况下，电子设备可以将M个标定数据均作为参考数据。示例性的，前K个标定数据是指预测点与注视点之间的偏差由小到大排序后对应的K个标定数据。

需要说明的是，本申请实施例不具体限定参考数据的确定方式，本领域技术人员可以基于实际需要从M个标定数据选择K个标定数据作为参考数据。

S304、电子设备获取第N+1个标定数据。

电子设备获取第N+1个标定数据的方式与电子设备获取前N个标定数据的方式类似，此处不再赘述。其中，该第N+1个标定数据可以是待检验数据中的第二数据集中的第一个数据，第二数据集包括L个数据。

S305、电子设备利用眼动标定模型和K个标定数据，对第N+1个标定数据的可靠性进行检验。

眼动标定模型是指需要预先进行个体化标定的模型，该眼动标定模型的输入通常包括标定数据以及测试数据，输出为测试数据中人眼注视的预测点。

如图5所示，该图为本申请实施例提供的一种眼动标定模型的示意图。该眼动标定模型503的输入包括两个部分，第一部分是测试数据501，第二部分为参考数据502，该参考数据可以是眼动无标定模型检验通过的标定数据，该眼动标定模型503的输出为测试数据中人脸图像中人眼注视的预测点。

其中，第二部分中的参考数据502的个数与该眼动标定模型503的训练过程中所采用的参考数据502的个数一致。例如，该眼动标定模型503在训练过程中，输入的参考数据502的个数为3个，则在应用过程中，眼动标定模型503输入的参考数据的个数也为3个。

电子设备获取到第N+1个标定数据后，可以利用眼动标定模型503对该第N+1个标定数据的可靠性进行检验。电子设备可以将该第N+1个标定数据中的人脸图像作为上述输入中第一部分的测试数据501，将前述K个标定数据作为上述输入中第二部分的参考数据502，其中K的个数与该眼动标定模型503的训练过程相关，该眼部标定模型可以输出该第N+1个标定数据中的人脸图像中人眼注视的预测点，然后根据将该第N+1个标定数据中的人脸图像中人眼注视的预测点与该第N+1个标定数据中的人脸图像中人眼注视的注视点之间的偏差和第二检验阈值，对第N+1个标定数据的可靠性进行检验，得到检验结果。其中，第二检验阈值可以与第一检验阈值相同，也可以不同，示例性的，第二检验阈值可以小于第一检验阈值，该种情况可以得到可靠性高于参考数据的标定数据，第二检验阈值可以大于第一检验阈值，该种情况可以得到可靠性低于参考数据的标定数据。本领域技术人员可以基于实际需要进行设定。

在一些示例中，电子设备可以在该第N+1个标定数据中的人脸图像中人眼注视的预测点与该第N+1个标定数据中的人脸图像中人眼注视的注视点之间的偏差大于第二检验阈值，确定该第N+1个标定数据未通过检验；电子设备可以在该第N+1个标定数据中的人脸图像中人眼注视的预测点与该第N+1个标定数据中的人脸图像中人眼注视的注视点之间的偏差小于或等于第二检验阈值，确定该第N+1个标定数据通过检验。其中，偏差的计算方式可以参数上述S302中的介绍，此处不再赘述。

S306、若第N+1个标定数据未通过检验，电子设备丢弃该第N+1个标定数据。

如果第N+1个标定数据未通过检验，则电子设备可以丢弃该第N+1个标定数据。

S307、若第N+1个标定数据通过检验，电子设备保留该第N+1个标定数据。

如果第N+1个标定数据通过检验，则电子设备可以保留该第N+1个标定数据，如此，使具有一定可靠性的标定数据被保留，而可靠性较差的标定数据被丢弃，进而，在使用这些被保留的标定数据过程中，由于这些标定数据的可靠性较高，进而在应用过程中，能够提高眼动跟踪技术的跟踪效果。

需要说明的是，对于第N+2、N+3、…、N+L个标定数据，均可以按照上述S305-S307所示的方式，检验标定数据的可靠性并进行后续处理，此处不再赘述。其中，L为正整数，N+L为待检验的标定数据的总个数。电子设备获取的第N+1至第N+L个标定数据也可以称为电子设备第二轮获取的标定数据。其中，第N+1至第N+L个标定数据均为第二数据集中的数据。

当然，在另一些实施例中，电子设备可以先获取第N+1至第N+L个标定数据，然后分别对第N+1至第N+L个标定数据中的每个标定数据的可靠性进行检验，接着进行后续保留或丢弃处理。

在一些实施例中，当电子设备完成对第N+1至第N+L个标定数据中的每个标定数据的可靠性检验后，电子设备还可以利用眼动标定模型、第N+1至第N+L个标定数据检验通过的标定数据，对M个检验通过的标定数据(通过眼动无标定模型检验通过的数据)的可靠性进行二次检验，具体过程可以参见S305，此处不再赘述。

该方法对M个检验通过的标定数据(通过眼动无标定模型检验通过的数据)的可靠性进行二次检验后，能够进一步检验标定数据的可靠性，并删除不可靠的标定数据，保留可靠的标定数据，进一步提高眼动跟踪技术的跟踪效果。

基于上述内容描述，本申请实施例提供了一种数据的检验方法，该方法将标定数据的采集过程分为多轮，在第一轮采集过程中，采用眼动无标定模型，对第一轮采集的标定数据进行初筛，该眼动无标定模型对误差较大的标定数据较为敏感，进而滤除掉明显不合理的标定数据，即，可靠性较差的标定数据，将初筛后剩余的标定数据(检验通过的数据)作为参考数据；在第二轮采集过程中，由于第一轮提供了具有一定可靠性的标定数据，可以采用眼动标定模型以及第一轮得到的参考数据，对第二轮采集的标定数据的可靠性进行检验，进而得到检验结果。该方法结合了眼动无标定模型和眼动标定模型各自的优点，与单独采用眼动无标定模型相比，提高了对后续标定数据进行检验的准确率；与单独采用眼动标定模型相比，提高了眼动标定模型的输入数据中的标定数据部分的可靠性，进而提高检验结果的准确率；并且该方法避免了至少第一个标定数据无法使用采用眼动标定模型的情况。

本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中包括指令，当上述指令在电子设备上运行时，使得该电子设备执行图3中的相关方法步骤，以实现上述实施例中的方法。

本实施例还提供了一种包含指令的计算机程序产品，当该计算机程序产品在电子设备上运行时，使得该电子设备执行如图3中的相关方法步骤，以实现上述实施例中的方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据的检验方法，其特征在于，包括：

获取待检验数据，所述待检验数据中的数据包括人脸图像以及所述人脸图像中人眼注视的注视点，所述待检验数据包括第一数据集和第二数据集；

根据眼动无标定模型，对所述第一数据集中的数据进行检验，将所述第一数据集中检验通过的数据作为参考数据；

根据所述参考数据和眼动标定模型，对所述第二数据集中的数据进行检验，得到检验结果。

2.根据权利要求1所述的方法，其特征在于，所述根据眼动无标定模型，对所述第一数据集中的数据进行检验，包括：

将第一数据集中的人脸图像输入给眼动无标定模型，得到所述眼动无标定模型输出的人脸图像中人眼注视的预测点；

根据所述第一数据集中的人脸图像中人眼注视的注视点与所述眼动无标定模型输出的人脸图像中人眼注视的预测点之间的偏差与第一检验阈值，对所述第一数据集中的数据进行检验。

3.根据权利要求1所述的方法，其特征在于，所述根据所述参考数据和眼动标定模型，对所述第二数据集中的数据进行检验，包括：

将所述参考数据和所述第二数据集中的人脸图像输入给眼动标定模型，得到所述眼动标定模型输出的人脸图像中人眼注视的预测点；

根据所述第二数据集中的人脸图像中人眼注视的注视点与所述眼动标定模型输出的人脸图像中人眼注视的预测点之间的偏差与第二检验阈值，对所述第二数据集中的数据进行检验。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

若所述检验结果表征所述第二数据集中的数据检验通过，则保留第二数据集中检验通过的数据。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据所述第二数据集中检验通过的数据与眼动标定模型，对所述参考数据进行检验，丢弃检验不通过的参考数据。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若所述检验结果表征所述第二数据集中的数据检验未通过，则丢弃第二数据集中检验未通过的数据。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述获取待检验数据，包括：

展示标定界面，所述标定界面包括标记；

获取注视所述标定界面中标记时的人脸图像；

根据所述注视所述标定界面中标记时的人脸图像以及所述标记在标定界面的位置，获取待检验数据。

8.根据权利要求2或3所述的方法，其特征在于，所述偏差通过所述预测点和所述注视点之间的距离表征。

9.一种电子设备，其特征在于，包括：摄像头、处理器和存储器；

所述摄像头，用于采集人脸图像；

其中，在所述存储器中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令；当所述指令被所述处理器执行时，使得所述电子设备执行如权利要求1-8任一项所述的方法。

10.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，所述电子设备执行如权利要求1-8任一项所述的方法。