CN111639608A - 自动标注方法、装置、计算机可读介质和电子设备 - Google Patents

Abstract

本申请实施例公开了一种自动标注方法、装置、计算机可读介质和电子设备。该方法包括：基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据；根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注；其中，所述目标对象的所述视频图像与所述视觉神经数据同步采集。藉此，在对目标对象进行视觉训练时，可以准确确定目标对象视觉聚焦的时间间隔数据，并可以实现对目标对象视觉聚焦的信号进行标注，有助于深入理解目标对象的视觉认知的神经机制，使目标对象具有更好的视觉训练效果。

Description

自动标注方法、装置、计算机可读介质和电子设备

技术领域

本申请属于图像处理技术领域，具体涉及一种自动标注方法、装置、计算机可读介质和电子设备。

背景技术

目前针对活动动物的视觉训练，大多通过观察动物执行动作获得奖励或者惩罚来实现，多数只能用于研究动物的探索能力。比如，通过设计“十”字形迷宫，在迷宫末端放置不同颜色的LED灯，通过训练动物，使其可以针对特定颜色的线索做出相应的动作。但是，这种方式，只能对动物的行为进行训练，不能判断动物观察特定目标图像(比如不同颜色的LED灯等)的抉择时间窗，对动物的视觉训练仅停留于表面，无法深入理解动物视觉认知的神经机制，导致训练效果较差。

发明内容

有鉴于此，本申请实施例提供一种自动标注方法、装置、计算机可读介质和电子设备，以解决或缓解现有技术中的上述问题。

本申请实施例采用的技术方案如下：

本申请实施例提供一种自动标注方法，包括：基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据；根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述时间神经数据中所述目标对象视觉聚焦的信号进行标注；其中，所述目标对象的所述视频图像与所述视觉神经数据同步采集。

可选地，在本申请的任一实施例中，所述基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据，包括：基于预先训练的脸部识别模型，根据采集的所述视频图像，对所述目标对象进行识别，确定所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧；根据所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧，确定所述视频图像中所述目标对象视觉聚焦的时间间隔数据。

可选地，在本申请的任一实施例中，所述根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注，包括：将所述时间间隔数据和采集的所述目标对象的视觉神经数据进行一一对应，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注。

可选地，在本申请的任一实施例中，在所述基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据之前，还包括：基于卷积神经网络的目标检测算法，根据所述目标对象的样本视频集，得到所述脸部识别模型，其中，所述样本视频集定义所述目标对象的样本视频图像的集合。

本申请实施例还提供一种自动标注装置，包括：时间间隔确定单元，配置为基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据；视觉神经标注单元，配置为根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注；其中，所述目标对象的所述视频图像与所述视觉神经数据同步采集。

可选地，在本申请的任一实施例中，所述时间间隔确定单元包括：视频帧确定子单元，配置为基于预先训练的所述脸部识别模型，根据采集的所述视频图像，对所述目标对象进行识别，确定所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧；时间间隔计算子单元，配置为根据所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧，确定所述视频图像中所述目标对象视觉聚焦的时间间隔数据。

可选地，在本申请的任一实施例中，所述视觉神经标注单元，进一步配置为将所述时间间隔数据和采集的所述目标对象的视觉神经数据进行一一对应，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注。

可选地，在本申请的任一实施例中，所述自动标注系统还包括：模型训练单元，配置为基于卷积神经网络的目标检测算法，根据所述目标对象的样本视频集，得到所述脸部识别模型，其中，所述样本视频集定义所述目标对象的样本视频图像的集合。

本申请实施例还提供一种计算机可读介质，其上存储有计算机程序，所述程序为如上述任一实施例所述的自动标注方法。

本申请实施例还提供一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如上述任一实施例所述的自动标注方法。

在本申请实施例的技术方案中，基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据；根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注；其中，所述目标对象的所述视频图像与所述视觉神经数据同步采集。藉此，在对目标对象进行视觉训练时，可以准确确定目标对象视觉聚焦的时间间隔(观察特定目标的抉择时间窗)，并可以实现对目标对象视觉聚焦的信号(视觉神经信号)进行标注，有助于深入理解目标对象的视觉认知的神经机制，使目标对象具有更好的视觉训练效果。

附图说明

为了更清楚的说明本申请实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为根据本申请的一些实施例提供的自动标注方法的流程示意图；

图2为根据本申请的一些实施例提供的自动标注方法中步骤S101的流程示意图；

图3为根据本申请的一些实施例提供的自动标注装置的结构示意图；

图4为根据本申请的一些实施例提供的自动标注装置中时间间隔确定单元的结构示意图；

图5为根据本申请的一些实施例提供的电子设备的结构示意图；

图6为根据本申请的一些实施例提供的电子设备的硬件结构；

图7为根据本申请的一些实施例提供的自动标注系统的示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

示例性方法

图1为根据本申请的一些实施例提供的自动标注方法的流程示意图；如图1所示，该自动标注方法，包括：

步骤S101、基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据；

在本申请实施例中，视频图像为目标对象在特定区域中活动时，一段时间内的视频数据；目标对象视觉聚焦的时间定义在视频图像中，目标对象正视目标物体(比如，特定目标图像)的时间。时间间隔数据定义在视频图像中，目标对象正视目标物体的时间长度，即目标物体正视目标物体，对目标物体进行观察的时间段。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，可以通过特定的目标图像对目标对象进行刺激，使目标对象可以正视目标图像，对目标图像进行辨别，实现目标对象的视觉聚焦。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

图2为根据本申请的一些实施例提供的自动标注方法中步骤S101的流程示意图；如图2所示，所示基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据，包括：

步骤S111、基于预先训练的所述脸部识别模型，根据采集的所述视频图像，对所述目标对象进行识别，确定所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧；

在本申请实施例中，在基于预先训练的所述脸部识别模型，根据采集的所述视频图像，对所述目标对象进行识别时，基于预先训练的所述脸部识别模型，根据采集的所述视频图像，对所述目标对象进行脸部标注，以对所述目标对象进行识别。藉此，在视频图像中，准确的找到需要进行分析的目标对象。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，在确定所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧时，通过对所述视频图像进行固定采样率进行分帧，确定目标对象在视频图像中的“观察帧”，将目标对象在视频图像中第一次的“观察帧”定义为目标对象在视频图像中视觉聚焦的初始帧，将目标对象在视频图像中最后一次“观察帧”定义为目标对象在视频图像中视觉聚焦的结束帧。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

步骤S121、根据所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧，确定所述视频图像中所述目标对象视觉聚焦的时间间隔数据。

在本申请实施例中，在根据所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧，确定所述视频图像中所述目标对象视觉聚焦的时间间隔数据时，计算目标对象在视频图像中视觉聚焦的初始帧的时间与结束帧的时间之间的差，确定目标对象视觉聚焦的时间间隔数据。即，计算目标对象在视频图像中第一次的“观察帧”至目标对象在视频图像中最后一次“观察帧”的时间间隔数据，确定目标对象视觉聚焦的时间间隔数据。在此，将目标对象在视频图像中第一次的“观察帧”至目标对象在视频图像中最后一次“观察帧”的时间间隔数据定义为目标对象视觉聚焦(比如，正视特定目标图像)的“时间窗”。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

步骤S102、根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注。

在本申请实施例中，采集目标对象的视觉神经数据与采集目标对象的视频图像同步进行，即目标对象的视觉神经数据与目标对象的视频图像之间存在一一对应的关系。因而，在视频图像中目标对象视觉聚焦时，将存在相对应的视觉神经网络数据与之相对应。藉此，通过在视频图像中确定的目标对象视觉聚焦的时间间隔数据，即可对视觉神经数据中目标对象视觉聚焦的信号进行标注。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，目标对象的视觉神经数据可以为目标对象的脑电信号，目标对象视觉聚焦的信号可以为目标对象的视觉神经元响应。在对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注时，既是对目标对象视觉聚焦时的视觉神经元响应进行标注。藉此，可以深入理解目标对象的视觉认知的神经机制，使目标对象具有更好的视觉训练效果。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在一些可选实施例中，所述根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注，具体为：将所述时间间隔数据和采集的所述目标对象的视觉神经数据进行一一对应，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，在将所述时间间隔数据和采集的所述目标对象的视觉神经数据进行一一对应，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注时，通过将时间间隔数据中的时间标注信息传递至视觉神经网络数据中，以对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注。藉此，将目标对象视觉聚焦的时间窗与目标对象的视觉神经信号关联起来，目标对象的视觉训练深入至神经机制，使目标对象的视觉训练效果更好。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在一些可选实施例中，在所述基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据之前，还包括：基于卷积神经网络的目标检测算法，根据所述目标对象的样本视频集，得到所述脸部识别模型，其中，所述样本视频集定义所述目标对象的样本视频图像的集合。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，在基于卷积神经网络的目标检测算法，根据所述目标对象的样本视频集，得到所述脸部识别模型时，基于卷积神经网络的目标检测算法，根据所述目标对象的样本视频集，对所述样本视频图像中的所述目标对象的脸部进行识别、标注、训练，得到所述脸部识别模型。卷积神经网络的目标检测算法可以为faster rcnn算法，以实现对目标对象的脸部进行检测。藉此，使视频图像中目标对象的脸部检测更为准确，提高脸部识别模型的训练精度。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，通过采集的样本视频集，对样本视频图像中的每帧图像进行离线标注(比如，目标对象正视特定目标图像时定义为第一类别，其它未正视特定目标图像时定义为第二类别等)、训练，得到脸部识别模型(比如，目标对象的脸部特征图像)，以对视频图像中的目标对象进行识别。通过对视频图像中第一类别进行识别，找出目标对象视觉聚焦(正视特定目标图像)的初始帧和结束帧，即可确定视频图像中目标对象视觉聚焦的时间窗(即时间间隔数据)；进而，完成对视觉神经网络数据中目标对象视觉聚焦的信号的标注。藉此，通过确定视频图像中目标对象视觉聚焦的时间间隔数据，有针对性的对视觉神经网络数据中的信号进行标注、采集，一方面避免了采集过多的冗余信息，另一方面，可以深入理解目标对象的视觉认知的神经机制，使目标对象具有更好的视觉训练效果。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

示例性装置

图3为根据本申请的一些实施例提供的自动标注装置的结构示意图；如图3所示，该装置包括：时间间隔确定单元201，配置为基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据；视觉神经标注单元202，配置为根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注；其中，所述目标对象的所述视频图像与所述视觉神经数据同步采集。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

图4为根据本申请的一些实施例提供的自动标注装置中时间间隔确定单元201的结构示意图；如图4所示，所示时间间隔确定单元201包括：视频帧确定子单元211，配置为基于预先训练的所述脸部识别模型，根据采集的所述视频图像，对所述目标对象进行识别，确定所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧；时间间隔计算子单元221，配置为根据所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧，确定所述视频图像中所述目标对象视觉聚焦的时间间隔数据。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在一些可选实施中，所述视觉神经标注单元202，进一步配置为将所述时间间隔数据和采集的所述目标对象的视觉神经数据进行一一对应，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在一些可选实施例中，所述自动标注系统，还包括：模型训练单元，配置为基于卷积神经网络的目标检测算法，根据所述目标对象的样本视频集，得到所述目标对象的所述脸部识别模型，其中，所述样本视频集定义所述目标对象的样本视频图像的集合。

本申请实施例提供的自动标注装置能够实现前述自动标注方法实施例中的各个过程，并达到相同的功能和效果，在此不再重复。

示例性介质

本申请实施例还提供一种计算机可读介质，用于存储计算机程序，该计算机可读介质可以为可读存储介质，比如U盘、光盘、硬盘等；也可以为可读信号介质，比如光、电、磁、电磁等器件。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在一些可选实施例中，该计算机可读介质存储的计算机程序在被处理器执行时，可以实现以下流程：基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据；根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注；其中，所述目标对象的所述视频图像与所述视觉神经数据同步采集。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

可选地，该计算机可读介质存储的计算机程序在被处理器执行时，所述基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据，包括：基于预先训练的所述脸部识别模型，根据采集的所述视频图像，对所述目标对象进行识别，确定所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧；根据所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧，确定所述视频图像中所述目标对象视觉聚焦的时间间隔数据。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

可选地，该计算机可读介质存储的计算机程序在被处理器执行时，所述根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注，具体为：将所述时间间隔数据和采集的所述目标对象的视觉神经数据进行一一对应，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注。

可选地，该计算机可读介质存储的计算机程序在被处理器执行时，在所述基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据之前，还包括：基于卷积神经网络的目标检测算法，根据所述目标对象的样本视频集，得到所述脸部识别模型，其中，所述样本视频集定义所述目标对象的样本视频图像的集合。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

本申请实施例提供的计算机可读介质能够实现前述自动标注方法实施例中的各个过程，并达到相同的功能和效果，在此不再重复。

示例性设备

图5为根据本申请的一些实施例提供的电子设备的结构示意图；如图5所示，该电子设备包括：

一个或多个处理器301；

计算机可读介质302，可以配置为存储一个或多个程序，

所示一个或多个处理器301执行一个或多个程序时，实现如下步骤：基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据；根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注；其中，所述目标对象的所述视频图像与所述视觉神经数据同步采集。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

可选地，所述一个或多个处理器301执行一个或多个程序时，所述基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据的步骤，包括：基于预先训练的所述脸部识别模型，根据采集的所述视频图像，对所述目标对象进行识别，确定所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧；根据所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧，确定所述视频图像中所述目标对象视觉聚焦的时间间隔数据。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

可选地，所述一个或多个处理器301执行一个或多个程序时，所述根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注的步骤，包括：将所述时间间隔数据和采集的所述目标对象的视觉神经数据进行一一对应，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

可选地，所述一个或多个处理器301执行一个或多个程序时，所述在所述基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据的步骤之前，还包括：基于卷积神经网络的目标检测算法，根据所述目标对象的样本视频集，得到所述脸部识别模型，其中，所述样本视频集定义所述目标对象的样本视频图像的集合。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

本申请实施例提供的电子设备能够实现前述自动标注方法实施例中的各个过程，并达到相同的功能和效果，在此不再重复。

图6为根据本申请的一些实施例提供的电子设备的硬件结构；如图6所示，该电子设备的硬件结构可以包括：处理器401、通信接口403、计算机可读介质404和通信总线402；

其中，处理器401、通信接口403、计算机可读介质404通过通信总线402完成相互间的通信；

可选地，通信接口403可以为通信模块的接口，如GSM模块的接口；

其中，处理器401具体可以配置为：基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据；根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注；其中，所述目标对象的所述视频图像与所述视觉神经数据同步采集。

处理器401可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本申请实施例的电子设备以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器存储介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的长曝光拍摄控制方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

示例性系统

图7为根据本申请的一些实施例提供的自动标注系统的示意图；如图7所示，该系统包括：主机、训练箱体、微控制器、视频采集模块、透明隔板、刺激模块、行为反馈模块、惩罚模块、门控装置、奖励模块、视觉神经数据采集与分析模块、红外同步打标模块；

本申请实施例中，训练箱体，包括：准备区、观察区和抉择区；整体为多臂迷宫，采用黑色不透明邮寄玻璃材料制作，能够有效减少外界光源对目标对象的干扰。训练箱体的侧面放置有微处理器，上方安装视频采集模块；训练箱体的准备区和每个臂末端侧面镶嵌奖励模块，用于目标对象训练过程中给予奖励；训练箱体的侧面安装惩罚模块，用于训练过程中对目标对象进行惩罚。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

本申请实施例中，刺激模块，采用液晶显示器来呈现特定目标图像，由位于抉择区的位置传感器和两台液晶显示器组成。当目标对象进入观察区，位置传感器被遮挡后发送一个低电平信号给微控制器，微控制器检测到此信号后向主机发送信号，主机接收到信号后通过主机上的可视化软件随机在每个屏幕上投放特定的目标图像，供目标对象进行辨别。特定的目标图像的类型和播放时长由主机进行设定。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

本申请实施例中，行为反馈模块由红外传感器组成，与微控制器相连，主要用于反馈动物的行为信息。主机会预先设定特定的目标图像随机出现在某个臂端，目标对象在观察区观察每个臂端显示屏上呈现的目标图像，然后做出选择走向某个臂端，经过特定位置的红外传感器时，微控制器则会检测到一个电信号，并把此信号发送给主机，由主机进行判断目标对象是否做出了正确的决策。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

本申请实施例中，奖励模块，由食盒和电机制成，用微控制器控制电机开启和关闭，用于奖励投食，用于对目标对象执行正确行为反馈后进行投食犒赏或者执行错误行为反馈后进行声音惩罚。奖励模块由电机与食盒构成，当目标对象做出正确的行为反馈后，微控制器驱动电机将食盒转出，给予食物奖励，一段时间后转回，投食时间可调。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

本申请实施例中，惩罚模块，主要为蜂鸣器，由蜂鸣器发出噪声来对目标对象进行惩罚，其中蜂鸣器和单片机相连，当目标对象做出错误行为时，微控制器向单片机发送指令驱动蜂鸣器发出噪声对目标对象实施惩罚。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

本申请实施例利用控食后目标对象对食物的生理需求，利用奖励模块给目标对象喂食，给食量可通过电机旋转延时时间来调节，易于控制，且投食方式不会造成目标对象成瘾以及其他负面影响。且无效实验回合不会获得奖励，错误的趋向行为会对目标对象进行惩罚措施，这样可以强化目标对象行为的目的性，提高训练的正确率和训练速度。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

本申请实施例中，红外同步打标模块，用于使目标对象的视频图像与视觉神经数据的同步采集。当红外传感器检测到目标对象时，同时向微控制器发送一个电平信号，然后微控制器根据设定好的程序对目标对象进行视觉神经数据和视频图像的同步采集。通过主机发送多位高低电平信号，高低电平信号的不同组合方式用于区分不同位置的红外探传感器。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

本申请实施例中，视觉神经数据采集与分析模块，主要用于采集并且分析目标对象的视觉神经数据；视频采集模块，主要用于采集目标对象训练过程中的样本视频图像，通过高清摄像头记录目标对象的行为以及姿态，然后上传给主机，以生产样本视频集；或者，采集目标对象的视频图像，以对视觉神经数据中目标对象视觉聚焦的信号进行标注。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，透明隔板区域是观察区，目标对象在这里停留观察，门自动打开后目标对象走向其中一个臂。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

本申请实施例提供的自动标注系统能够实现前述自动标注方法实施例中的各个过程，并达到相同的功能和效果，在此不再重复。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专业保护范围应由权利要求限定。

Claims (10)

1.一种自动标注方法，其特征在于，包括：

基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据；

根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注；

其中，所述目标对象的所述视频图像与所述视觉神经数据同步采集。

2.根据权利要求1所述的方法，其特征在于，所述基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据，包括：

基于预先训练的所述脸部识别模型，根据采集的所述视频图像，对所述目标对象进行识别，确定所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧；

根据所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧，确定所述视频图像中所述目标对象视觉聚焦的时间间隔数据。

3.根据权利要求1所述的方法，其特征在于，所述根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注，包括：

将所述时间间隔数据和采集的所述目标对象的视觉神经数据进行一一对应，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注。

4.根据权利要求1-3任一所述的方法，其特征在于，在所述基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据之前，还包括：

基于卷积神经网络的目标检测算法，根据所述目标对象的样本视频集，得到所述脸部识别模型，其中，所述样本视频集定义所述目标对象的样本视频图像的集合。

5.一种自动标注装置，其特征在于，包括：

时间间隔确定单元，配置为基于预先训练的脸部识别模型，根据采集的视频图像，确定所述视频图像中目标对象视觉聚焦的时间间隔数据；

视觉神经标注单元，配置为根据所述时间间隔数据和采集的所述目标对象的视觉神经数据，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注；

其中，所述目标对象的所述视频图像与所述视觉神经数据同步采集。

6.根据权利要求5所述的装置，其特征在于，所述时间间隔确定单元包括：

视频帧确定子单元，配置为基于预先训练的所述脸部识别模型，根据采集的所述视频图像，对所述目标对象进行识别，确定所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧；

时间间隔计算子单元，配置为根据所述目标对象在所述视频图像中视觉聚焦的初始帧和结束帧，确定所述视频图像中所述目标对象视觉聚焦的时间间隔数据。

7.根据权利要求5所述的装置，其特征在于，所述视觉神经标注单元，进一步配置为将所述时间间隔数据和采集的所述目标对象的视觉神经数据进行一一对应，对所述视觉神经数据中所述目标对象视觉聚焦的信号进行标注。

8.根据权利要求5-7任一所述的装置，其特征在于，还包括：模型训练单元，配置为基于卷积神经网络的目标检测算法，根据所述目标对象的样本视频集，得到所述目标对象的所述脸部识别模型，其中，所述样本视频集定义所述目标对象的样本视频图像的集合。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序为如权利要求1-4任一所述的自动标注方法。

10.一种电子设备，其特征在与，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1-4任一所述的自动标注方法。

Images