CN109298786A - 标注准确率评估方法及装置 - Google Patents

Abstract

本发明涉及数据标注技术领域，提供一种标注准确率评估方法及装置。其中，标注准确率评估方法包括：获得通过目光追踪得到的标注人员在对至少一幅第一目标图像进行标注的过程中的目光落点；统计落入每幅第一目标图像的显示范围内的目光落点的数量，将目光落点的数量输入至评估函数，获得评估函数输出的第一目标图像的标注准确率。由于目光落点反映了标注人员在标注过程中的关注度分布，从而，上述方法相当于基于标注人员对第一目标图像的关注度评估标注结果的准确性，因此获得的标注准确率对于评估标注结果正确与否具有较高的参考价值。

Description

标注准确率评估方法及装置

技术领域

本发明涉及数据标注领域，具体而言，涉及一种标注准确率评估方法及装置。

背景技术

在和图像有关的机器学习任务中，经常需要对图像进行标注，例如注明图像中对象的类别，在图像中框选出感兴趣的对象，在图像中标识出感兴趣的区域等。目前，对于图像的标注工作绝大部分仍然要依赖于人工完成，例如，在特定的标注平台上显示要标注的图片，标注人员通过点击鼠标、操作键盘等行为完成标注。

然而现有技术中的标注平台，只是作为一种标注工具被使用，并不能给出任何有关标注结果是否准确的评价。

发明内容

有鉴于此，本发明实施例提供一种标注准确率评估方法及装置，对标注结果进行定量评估，以改善上述问题。

为实现上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种标注准确率评估方法，包括：

获得通过目光追踪得到的标注人员在对至少一幅第一目标图像进行标注的过程中的目光落点，其中，目光落点为表示标注人员的视线与用于显示至少一幅第一目标图像的显示屏所在平面的交汇位置的点；

统计落入每幅第一目标图像的显示范围内的目光落点的数量，将目光落点的数量输入至评估函数，获得评估函数输出的第一目标图像的标注准确率，其中，评估函数为表示目光落点的数量与标注准确率的关系的函数。

根据目光落点的定义可知，其反映了标注人员在标注过程中所关注的屏幕位置，即标注人员在标注过程中的关注度分布。从而，上述方法通过目光追踪，统计标注过程中落入第一目标图像的显示范围内的目光落点的数量，并带入到评估函数进行计算标注准确率，相当于基于标注人员对第一目标图像的关注度评估标注结果的准确性，因此获得的标注准确率对于评估标注结果是否正确具有较高的参考价值。

结合第一方面，在第一方面的第一种可能的实现方式中，获得通过目光追踪得到的标注人员在对至少一幅第一目标图像进行标注的过程中的目光落点，包括：

获得在标注人员对至少一幅第一目标图像进行标注的过程中由摄像头采集的标注人员的至少一帧第一面部图像；

对每帧第一面部图像进行目光追踪，获得第一面部图像中的标注人员的目光落点。

在上述实现方式中，对每帧第一面部图像都会进行目光追踪并获得该帧第一面部图像中的标注人员的目光落点，一般而言，各帧之间的时间间隔是确定的，因此统计出的落入某幅第一目标图像的显示范围内的目光落点的数量，实际上表示了标注人员对该第一目标图像关注的时长。发明人经长期研究发现，该时长与标注的准确性密切相关，如果标注人员对某幅第一目标图像的关注时间过短，很可能存在标注草率的情况，标注错误的可能性较大，如果标注人员对某幅第一目标图像的关注时间过长，很可能存在标注内容模棱两可，标注人员犹豫不定的情况，也会影响标注的准确性。从而，基于目光落点的数量计算标注准确率，能够体现标注结果的准确性和标注人员对第一目标图像的关注时长的关系，充分利用了上述研究结果的内容，获得的标注准确率对于评估标注结果具有较高的参考价值。

此外，摄像头是一种非常常见的设备，其价格也比较便宜，采用此种实现方式成本较低。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，对每帧第一面部图像进行目光追踪，获得第一面部图像中的标注人员的目光落点，包括：

利用目光追踪算法对每帧第一面部图像进行目光追踪，获得表示标注人员的视线的向量；

计算向量所在直线与显示屏所在平面的交点，并基于交点确定标注人员的目光落点。

目前，有很多现有的程序实现了目光追踪算法，可以直接利用这些程序进行实施。这些程序的部署的方式不限，例如可以是SDK的形式，也可以是服务的形式等。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，向量包括表示左眼视线的第一向量以及表示右眼视线的第二向量，计算向量所在直线与显示屏所在平面的交点，并基于交点确定标注人员的目光落点，包括

计算第一向量与显示屏所在平面的第一交点，以及计算第二向量与显示屏所在平面的第二交点；

判断第一交点与第二交点的距离是否小于预设距离；

若是，将第一交点以及第二交点的中点确定为标注人员的目光落点。

在上述实现方式中，通过双眼的视线确定目光落点，考虑到正常情况下，人需要双眼对准同一对象才能对其进行有效观察，因此在其他一些实现方式中，只利用单眼的视线确定目光落点也是可以的。

结合第一方面，在第一方面的第四种可能的实现方式中，统计落入每幅第一目标图像的显示范围内的目光落点的数量，将目光落点的数量输入至评估函数，获得评估函数输出的第一目标图像的标注准确率，包括：

统计落入每幅第一目标图像的显示范围内的目光落点的数量，在每统计到一个目光落点时，将更新后的目光落点的数量输入至评估函数，获得评估函数输出的第一目标图像的标注准确率。

在上述实现方式中，标注准确率在标注过程中实时计算，在其他一些实现方式中，也可以完成标注后再计算标注准确率。

结合第一方面或第一方面的第一种至第四种中的任意一种可能的实现方式，在第一方面的第五种可能的实现方式中，在获得评估函数输出的第一目标图像的标注准确率之后，方法还包括：

在显示屏上显示标注准确率。

可以将标注准确率通过显示屏反馈给标注人员，以便其获知标注准确率的评估结果，并针对该结果采取相应的措施。

结合第一方面或第一方面的第一种至第四种中的任意一种可能的实现方式，在第一方面的第六种可能的实现方式中，在获得评估函数输出的第一目标图像的标注准确率之后，方法还包括：

判断标注准确率是否低于预设阈值；

若是，在显示屏上显示表示标注准确率对应的第一目标图像需要重新标注的提示。

在上述实现方式中，自动分析标注准确率，并根据分析结果提示标注人员重新标注，既减轻了标注人员分析标注结果的负担，又促使标注人员重新标注可能存在问题的图像，有利于改善标注结果的准确性。

结合第一方面的第一种至第三种中的任意一种可能的实现方式，在第一方面的第七种可能的实现方式中，在将目光落点的数量输入至评估函数之前，方法还包括：

获得在标注人员对至少一幅第二目标图像进行标注的过程中由摄像头采集的标注人员的至少一帧第二面部图像，其中，第二目标图像为已经进行过正确标注的图像；

对每帧第二面部图像进行目光追踪，获得第二面部图像中的标注人员的目光落点；

统计落入每幅第二目标图像的显示范围内的目光落点的数量，获得统计结果；

获得标注人员对至少一幅第二目标图像的标注结果，并将标注结果与正确标注结果对比，获得表示标注结果是否正确的对比结果；

将统计结果作为评估模型的输入，以及将对比结果作为评估模型的真实数据，训练评估模型，直至评估模型预测的标注准确率与对比结果相一致；

将训练好的评估模型确定为评估函数。

评估函数可以通过训练的方式得到，从而其输入输出的特性曲线符合实际中目光落点的数量与标注准确率的关系。

第二方面，本发明实施例提供一种标注准确率评估装置，包括：

目光落点获取模块，用于获得通过目光追踪得到的标注人员在对至少一幅第一目标图像进行标注的过程中的目光落点，其中，目光落点为表示标注人员的视线与用于显示至少一幅第一目标图像的显示屏所在平面的交汇位置的点；

标注准确率计算模块，用于统计落入每幅第一目标图像的显示范围内的目光落点的数量，将目光落点的数量输入至评估函数，获得评估函数输出的第一目标图像的标注准确率，其中，评估函数为表示目光落点的数量与标注准确率的关系的函数。

第三方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤。

第四方面，本发明实施例提供一种电子设备，包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤。

为使本发明的上述目的、技术方案和有益效果能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了一种可应用于本发明实施例中的电子设备的结构框图；

图2示出了本发明实施例提供的标注准确率评估方法的流程图；

图3示出了本发明实施例提供的一种图像标注场景的示意图；

图4示出了本发明实施例提供的一种评估函数的示意图；

图5示出了本发明实施例提供的标注准确率评估方法的步骤S10的流程图；

图6示出了本发明实施例提供的标注准确率评估方法的步骤S20至步骤S25的流程图；

图7示出了本发明第实施例提供的标注准确率评估装置的功能模块图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于将一个实体或者操作与另一个实体或操作区分开来，而不能理解为指示或暗示相对重要性，也不能理解为要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

图1示出了一种可应用于本发明实施例中的电子设备的结构框图。参照图1，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、显示屏108以及眼球追踪装置110，这些组件通过总线系统112和/或其他形式的连接机构(未示出)互连。

处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备100中的其他组件以执行期望的功能。

存储装置104可以各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行计算机程序指令，以实现本发明实施例中的方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。在本发明实施例所涉及的应用场景中，用户一般是指标注人员。

显示屏108用于显示标注人员期望看到的各种信息，例如至少需要显示被标注的图像。在标注人员通过输入装置106对图像进行标注后，显示屏108还需要显示标注人员标注的结果。

眼球追踪装置110用于在标注过程中捕捉标注人员的眼球运动，并将获得的数据发送至处理器102处理或者发送至存储装置104存储，这些数据可以被用于计算标注人员在标注过程中的目光落点，关于目光落点，在后文中再进行详细阐述。眼球追踪装置110可以是摄像头或专门用于眼球追踪的头盔。

可以理解，图1所示的结构仅为示意，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。于本发明实施例中，电子设备100可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备等通用设备，也可以是专门用于图像标注的专业设备。

图2示出了本发明实施例提供的标注准确率评估方法的流程图。在后文中，均以该方法应用于如图1所示的电子设备100的处理器102为例进行说明。参照图2，该方法包括：

步骤S10：获得通过目光追踪得到的标注人员在对至少一幅第一目标图像进行标注的过程中的目光落点。

第一目标图像是指被标注的图像，为了便于和后文的第二目标图像区分，在标注时，第一目标图像显示在显示屏108上，可以每次显示一幅第一目标图像，也可以同时显示多幅第一目标图像，这里不作限定。可以理解的，在大多数情况下，会开发相应的标注程序，提供给标注人员一个用户界面，以便其选择需要标注的图像以及查看标注的结果，此时第一目标图像通常显示在用户界面中设定好的显示区域内。

目光落点是指标注人员的视线与显示屏108所在平面的交汇位置，例如可以是视线与该平面的交点或者由视线与该平面的交点所确定的点，在具体实施时，目光落点就是显示屏108所在平面上的一个坐标。目光落点反映了标注人员在标注过程中所关注的屏幕位置，因此标注过程中目光落点的分布实际上就是标注人员在标注过程中的关注度的分布。

目光落点可以通过目光追踪获得，所谓目光追踪即追踪标注过程中标注人员的目光运动轨迹，可以通过眼球追踪装置110的辅助实现目光追踪。眼球追踪装置110常见的有两类，一类是通用设备，如普通的摄像头，一类是专用设备，如眼球追踪头盔等。

图3示出了本发明实施例提供的一种图像标注场景的示意图。参照图3，摄像头设置在显示屏108上方，常见的设备如笔记本电脑、手机在该位置都设置有摄像头，当然摄像头设置在其他位置也是可以的，标注人员位于显示屏108前，观察显示屏108上显示的第一目标图像的内容，并操作键盘鼠标等输入设备完成标注。在标注过程中，摄像头拍摄标注人员的面部图像，记录下标注人员眼球运动的情况，处理器102可以对拍摄的视频帧进行分析获得标注人员视线的方向，并结合显示屏108的位置信息，进一步获得标注过程中标注人员的目光落点。目前，有一些现有的目光追踪程序实现了目光追踪算法，可以用于目光追踪，例如Webgazer.js、Face++ Gaze Estimation API等。这些程序可以以SDK或服务接口等方式进行部署，具体形式不作限定。

对于使用专用设备进行目光追踪的情况，以眼球追踪头盔为例，在标注过程中标注人员需要佩戴头盔，头盔内部会捕捉标注人员的眼球运动，并进行目光追踪，将获得的数据，例如标注人员视线的方向等反馈至电子设备100的处理器102，处理器102进一步根据这些数据结合显示屏108的位置信息计算出目光落点。当然，不排除某些专用设备在设定相应的空间位置参数后可以直接计算出目光落点，此时处理器102直接使用获得的目光落点就可以了。

不难看出，不论采用何种设备进行目光追踪，其基本原理是类似的。相较而言，采用摄像头的实现方式成本较低，其计算精度一般也能够满足普通用户的需求，因此在后文中进行详细阐述时，将以采用摄像头的实现方式为例，但并不构成对本发明保护范围的限制。

步骤S11：统计落入每幅第一目标图像的显示范围内的目光落点的数量，将目光落点的数量输入至评估函数，获得评估函数输出的第一目标图像的标注准确率。

在步骤S10中计算出了目光落点的在显示屏108所在平面上的坐标，而第一目标图像在显示屏108上的显示范围显然是可以获得的，将目光落点的坐标和该显示范围的边界进行对比即可判断出目光落点是否落入某幅第一目标图像的显示范围内。可以设置一个数据结构，例如数组，其中的每个元素对应一幅第一目标图像所包含的目光落点的数量，初始时其值为0，每统计到一个落入第一目标图像的显示范围内的目光落点时，就将该图像对应的数组元素的值累加1，直至统计完所有的目光落点。

评估函数是一个表示目光落点的数量与标注准确率的关系的函数，其输入为目光落点的数量，输出为估计的标注准确率，即第一目标图像被正确标注的概率。之前已经阐述过，目光落点反映了标注人员在标注过程中所关注的屏幕位置，那么统计出的落入每幅第一目标图像的显示范围内的目光落点的数量则反映了标注人员对于每幅第一目标图像的关注度。一幅第一目标图像包含的目光落点的数量越多，表明关注度越高。因此，评估函数实际上是基于标注人员对于每幅第一目标图像的关注度来评估标注结果的准确性的，发明人经长期研究发现，对于被标注图像的关注度和标注结果的准确性是高度相关的，举最简单的例子，如果标注人员的目光落点不在被标注图像上，即标注人员根本没有关注到该图像，显然不可能获得良好的标注结果，基于这一发现内容，评估函数获得的标注准确率对于评估标注结果是否正确具有较高的参考价值。

评估函数应当适当地构造，使得输出的标注准确率与实际标注结果的正确性保持一致。评估函数可以事先通过统计、训练等方法获得。图4示出了本发明实施例提供的一种评估函数的示意图，其横轴为目光落点的数量，纵轴为标注准确率。可以理解的，图4仅为示意，并不代表真实的评估函数的形态。对于每幅第一目标图像都会用评估函数估计一个标注准确率，对于被标注的至少一幅第一目标图像共估计出至少一个标注准确率。

可以理解的，步骤S10以及步骤S11可以在标注结束之后执行，但也可以在标注的同时就执行，即在标注的过程中实时计算目光落点的坐标，每获得一个目光落点就判断其是否落入某幅第一目标图像的显示范围内，若判断结果为是，将该第一目标图像对应的目光落点数量的统计结果累加1，并根据当前统计出的目光落点的数量实时计算该第一目标图像在当前的标注准确率。

在本发明的一个实施例中，可以将步骤S11中获得的至少一个标注准确率在显示屏108上显示，以便标注人员获知标注准确率的评估结果，并针对该结果采取相应的措施，例如在某个标注准确率较低时，检查对应的第一目标图像是否标注正确，若不正确重新进行标注。可以理解的，如果标注准确率是实时计算的，那么在显示屏108上也可以实时地更新显示标注准确率，以便标注人员及时发现标注准确率较低的情况，从而及时采取应对措施。例如，标注人员在因疲劳而注意力涣散时，通过观察实时显示的标注准确率，可以及时意识到自身的精神状况不佳，从而暂停标注工作或者重新集中精神进行标注。

进一步的，作为一种可选的方案，也可以自动分析标注准确率，并根据分析结果提示标注人员重新标注，减轻标注人员自行分析标注结果的负担。具体可以采用如下做法：在获得标注准确率后，判断其是否低于预设阈值，若判断结果为是，在显示屏108上显示表示标注准确率对应的第一目标图像需要重新标注的提示。标注人员看到提示后，可以检查相应的第一目标图像的标注结果，及时更正标注错误，有利于改善标注结果的准确性。

在本发明的一个实施例中，基于摄像头采集的数据实现目光追踪。其步骤如图5所示，图5示出了本发明实施例提供的标注准确率评估方法的步骤S10的流程图。

步骤S100：获得在标注人员对至少一幅第一目标图像进行标注的过程中由摄像头采集的标注人员的至少一帧第一面部图像。

摄像头通常应当设置在正对标注人员的位置，以便充分捕捉标注人员的眼球运动。第一面部图像就是指标注人员的面部图像，为了便于和后文的第二面部图像区分。步骤S100中的至少一帧第一面部图像可以是摄像头采集的连续的视频帧，在一些实现方式中，如果电子设备100的处理能力有限，也可以采取降低帧率的措施，例如每隔几帧选一帧第一面部图像进行处理。当然，这里为了阐述方便，不妨认为各帧第一面部图像之间是连续的。

步骤S101：对每帧第一面部图像进行目光追踪，获得第一面部图像中的标注人员的目光落点。

一般而言，一帧第一面部图像可以计算出一个目光落点，即该帧图像的采集时刻标注人员的目光落点。由于摄像头采集的各视频帧之间的时间间隔通常是固定的，因此统计出的落入某幅第一目标图像的显示范围内的目光落点的数量，实际上表示了标注人员对该第一目标图像关注的时长，而时长也是标注人员对于该第一目标图像的关注度的一种量化体现。

发明人经长期研究发现，标注人员对第一目标图像关注的时长与标注的准确性密切相关，如果标注人员对某幅第一目标图像的关注时间过短，很可能存在标注草率的情况，标注错误的可能性较大，如果标注人员对某幅第一目标图像的关注时间过长，很可能存在标注内容模棱两可，标注人员犹豫不定的情况，也会导致标注的准确性下降。

图4中评估函数的曲线恰好反映了这样的关系，从图4中可以看出，在目光落点的数量较小和较大时，标注准确率的数值都较低，而在目光落点的数量适中时(如图中的4左右)，标注准确率较高(可以达到90％左右)。从而，将目光落点的数量输入至评估函数计算标注准确率，获得的标注准确率能够体现标注结果的准确性和标注人员对第一目标图像的关注时长的关系，即充分利用了上述研究的成果，这样的评估结果对于标注人员来说有良好的参考价值。

进一步的，步骤S101中的目光追踪可以通过目光追踪算法实现，例如可以是之前提到的Webgazer.js等现有程序中实现的算法，当然也包括任何新开发的具有目光追踪功能的算法。将每帧第一面部图像输入至实现了目光追踪算法的目光追踪程序，目光追踪程序将会输出的表示标注人员的视线的向量。同时，事先确定好显示屏108所在平面的位置，然后计算向量所在直线与显示屏108所在平面的交点，并基于交点确定标注人员的目光落点。

其中，表示标注人员的视线的向量和显示屏108所在平面应当统一为同一坐标系，由于摄像头和显示屏108的位置关系可以事先标定，因此这一点是可以实现的。关于表示视线的向量，现有的目光追踪程序通常会输出两个向量：表示左眼视线的第一向量以及表示右眼视线的第二向量，这两个向量所在的直线与显示屏108所在平面一般会有两个交点(理想情况下只有一个交点)，分别称为第一交点和第二交点。正常情况下，人需要双眼对准同一对象才能对其进行有效观察，可以设定一个预设距离，若两个交点之间的距离小于该预设距离，表示当前正在进行有效观察，可以将两个交点的中点确定为一个目光落点。若两个交点之间的距离不小于该预设距离，表示当前并未进行有效观察，无需计算目光落点。当然，在绝大多数情况下，特别是在图像标注过程中，标注人员的双眼不会观察不同的对象，第一交点和第二交点之间的距离几乎总是很小。

可以理解的，目光落点也有其他的确定方法，并不一定要选择第一交点与第二交点的中点。例如，也可以计算第一向量与第二向量的交点，然后将该交点投影到显示屏108所在平面上作为目光落点。

另一方面，根据上面的分析，既然在绝大多数情况下，第一交点与第二交点之间的距离很小，因此在某些实现方式中，也可以只利用单眼的视线确定目光落点，此时，只要将单眼的视线对应的向量所在的直线与显示屏108所在平面的交点确定为目光落点就可以了。

根据上面的阐述，要使得输出的标注准确率有较高的参考价值，评估函数的选取十分重要。在本发明的一个实施例中，在步骤S10执行之前，通过训练的方式获得评估函数，其步骤如图6所示，图6示出了本发明实施例提供的标注准确率评估方法的步骤S20至步骤S25的流程图。

步骤S20：获得在标注人员对至少一幅第二目标图像进行标注的过程中由摄像头采集的标注人员的至少一帧第二面部图像。

第二目标图像是指训练过程中需要被标注的图像，为了便于和前文的第一目标图像区分。第二目标图像在步骤S20执行之前已经由不同于当前标注人员的其他人进行过正确标注并保存了正确标注结果。步骤S20中的标注人员应当在不知道正确标注结果的前提下进行标注，以保持标注过程的客观性。步骤S20与步骤S100类似，不再重复阐述。

步骤S21：对每帧第二面部图像进行目光追踪，获得第二面部图像中的标注人员的目光落点。

第二面部图像就是指训练过程中标注人员的面部图像，为了便于和前文的第一面部图像区分。步骤S21与步骤S101类似，不再重复阐述。

步骤S22：统计落入每幅第二目标图像的显示范围内的目光落点的数量，获得统计结果。

步骤S21与步骤S11的前半部分类似，不再重复阐述。

步骤S23：获得标注人员对至少一幅第二目标图像的标注结果，并将标注结果与正确标注结果对比，获得表示标注结果是否正确的对比结果。

例如，可以设置一个数据结构，如一个布尔型的数组，其中的每个元素表示一幅第二目标图像的标注结果是否正确。在对比完所有的标注结果和正确标注结果后，数组的所有元素都得到填充，该数组即可作为所谓的对比结果。

步骤S24：将统计结果作为评估模型的输入，以及将对比结果作为评估模型的真实数据，训练评估模型，直至评估模型预测的标注准确率与对比结果相一致。

步骤S24中采用机器学习中通用的训练方法，其中，真实数据(ground truth)就是模型输出的参考标准。训练的过程即优化模型的参数，使得模型预测输出的标注准确率与对比结果一致或者至少在一个可以容忍的误差范围内一致。所谓一致是指预测的标注准确率能够有效地反映对比结果，例如，对比结果为错误(实际标注结果和正确标注结果不同)时，标注准确率应当为一个大于50％的值，对比结果为正确(实际标注结果和正确标注结果相同)时，标注准确率应当为一个小于50％的值。

步骤S25：将训练好的评估模型确定为评估函数。

最终训练好的对评估模型就是要使用的评估函数，根据评估函数的训练过程可知，其输入输出的特性曲线符合实际中目光落点的数量与标注准确率的关系，因此用该函数预测标注准确率和实际标注的正确与否是比较符合的。

可以理解的，由于训练集毕竟有限，因此训练出的评估函数难免存在局限，在使用该函数的过程中，如果发现一些评估不正确的样本，例如明明标注正确输出的标注准确率却较低的样本，可以将其加入到训练集中重新训练评估函数，以进一步对其进行优化，并将优化后的评估函数重新应用于标注准确率的评估过程。

本发明实施例还提供一种标注准确率评估装置200，如图7所示。参照图7，该装置包括：

目光落点获取模块210，用于获得通过目光追踪得到的标注人员在对至少一幅第一目标图像进行标注的过程中的目光落点，其中，目光落点为表示标注人员的视线与用于显示至少一幅第一目标图像的显示屏所在平面的交汇位置的点；

标注准确率计算模块220，用于统计落入每幅第一目标图像的显示范围内的目光落点的数量，将目光落点的数量输入至评估函数，获得评估函数输出的第一目标图像的标注准确率，其中，评估函数为表示目光落点的数量与标注准确率的关系的函数。

本发明实施例提供的标注准确率评估装置200，其实现原理及产生的技术效果在前述方法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法施例中相应内容。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器读取并运行时，执行本发明实施例提供的标注准确率评估方法的步骤。这种计算机可读存储介质可以是，但不限于图1示出的存储装置104。

本发明实施例还提供一种电子设备，包括存储器以及处理器，存储器中存储有计算机程序指令，计算机程序指令被处理器读取并运行时，执行本发明实施例提供的标注准确率评估方法的步骤。该电子设备可以是，但不限于图1示出的电子设备100。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得计算机设备执行本发明各个实施例所述方法的全部或部分步骤。前述的计算机设备包括：个人计算机、服务器、移动设备、智能穿戴设备、网络设备、虚拟设备等各种具有执行程序代码能力的设备，前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟、磁带或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种标注准确率评估方法，其特征在于，包括：

获得通过目光追踪得到的标注人员在对至少一幅第一目标图像进行标注的过程中的目光落点，其中，所述目光落点为表示所述标注人员的视线与用于显示所述至少一幅第一目标图像的显示屏所在平面的交汇位置的点；

统计落入每幅第一目标图像的显示范围内的目光落点的数量，将所述目光落点的数量输入至评估函数，获得所述评估函数输出的所述第一目标图像的标注准确率，其中，所述评估函数为表示所述目光落点的数量与所述标注准确率的关系的函数。

2.根据权利要求1所述的准确率评估方法，其特征在于，所述获得通过目光追踪得到的标注人员在对至少一幅第一目标图像进行标注的过程中的目光落点，包括：

获得在所述标注人员对所述至少一幅第一目标图像进行标注的过程中由摄像头采集的所述标注人员的至少一帧第一面部图像；

对每帧第一面部图像进行目光追踪，获得所述第一面部图像中的所述标注人员的目光落点。

3.根据权利要求2所述的标注准确率评估方法，其特征在于，所述对每帧第一面部图像进行目光追踪，获得所述第一面部图像中的所述标注人员的目光落点，包括：

利用目光追踪算法对每帧第一面部图像进行目光追踪，获得表示所述标注人员的视线的向量；

计算所述向量所在直线与所述显示屏所在平面的交点，并基于所述交点确定所述标注人员的目光落点。

4.根据权利要求3所述的标注准确率评估方法，其特征在于，所述向量包括表示左眼视线的第一向量以及表示右眼视线的第二向量，所述计算所述向量所在直线与所述显示屏所在平面的交点，并基于所述交点确定所述标注人员的目光落点，包括

计算所述第一向量与所述显示屏所在平面的第一交点，以及计算所述第二向量与所述显示屏所在平面的第二交点；

判断所述第一交点与所述第二交点的距离是否小于预设距离；

若是，将所述第一交点以及所述第二交点的中点确定为所述标注人员的目光落点。

5.根据权利要求1所述的标注准确率评估方法，其特征在于，所述统计落入每幅第一目标图像的显示范围内的目光落点的数量，将所述目光落点的数量输入至评估函数，获得所述评估函数输出的所述第一目标图像的标注准确率，包括：

统计落入每幅第一目标图像的显示范围内的目光落点的数量，在每统计到一个目光落点时，将更新后的所述目光落点的数量输入至所述评估函数，获得所述评估函数输出的所述第一目标图像的所述标注准确率。

6.根据权利要求1－5中任一项所述的标注准确率评估方法，其特征在于，在所述获得所述评估函数输出的所述第一目标图像的标注准确率之后，所述方法还包括：

在所述显示屏上显示所述标注准确率。

7.根据权利要求1－5中任一项所述的标注准确率评估方法，其特征在于，在所述获得所述评估函数输出的所述第一目标图像的标注准确率之后，所述方法还包括：

判断所述标注准确率是否低于预设阈值；

若是，在所述显示屏上显示表示所述标注准确率对应的所述第一目标图像需要重新标注的提示。

8.根据权利要求2－4中任一项所述的标注准确率评估方法，其特征在于，在所述将所述目光落点的数量输入至评估函数之前，所述方法还包括：

获得在所述标注人员对至少一幅第二目标图像进行标注的过程中由所述摄像头采集的所述标注人员的至少一帧第二面部图像，其中，所述第二目标图像为已经进行过正确标注的图像；

对每帧第二面部图像进行目光追踪，获得所述第二面部图像中的所述标注人员的目光落点；

统计落入每幅第二目标图像的显示范围内的目光落点的数量，获得统计结果；

获得所述标注人员对所述至少一幅第二目标图像的标注结果，并将所述标注结果与正确标注结果对比，获得表示所述标注结果是否正确的对比结果；

将所述统计结果作为评估模型的输入，以及将所述对比结果作为所述评估模型的真实数据，训练所述评估模型，直至所述评估模型预测的标注准确率与所述对比结果相一致；

将训练好的所述评估模型确定为所述评估函数。

9.一种标注准确率评估装置，其特征在于，包括：

目光落点获取模块，用于获得通过目光追踪得到的标注人员在对至少一幅第一目标图像进行标注的过程中的目光落点，其中，所述目光落点为表示所述标注人员的视线与用于显示所述至少一幅第一目标图像的显示屏所在平面的交汇位置的点；

标注准确率计算模块，用于统计落入每幅第一目标图像的显示范围内的目光落点的数量，将所述目光落点的数量输入至评估函数，获得所述评估函数输出的所述第一目标图像的标注准确率，其中，所述评估函数为表示所述目光落点的数量与所述标注准确率的关系的函数。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行权利要求1－8中任一项所述的方法的步骤。

11.一种电子设备，包括存储器以及处理器，所述存储器中存储有计算机程序指令，其特征在于，所述计算机程序指令被所述处理器读取并运行时，执行权利要求1－8中任一项所述的方法的步骤。