CN116229242A - 图像的标签配置方法及装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种图像的标签配置方法及装置、电子设备及存储介质。其中，该方法包括：获取待标注的样本图像；采用目标预测模型预测所述样本图像中的多个标注框，其中，每个标注框包括一个目标对象；检测选定指令，在所述多个标注框中选定目标标注框，并对所述目标标注框进行高亮显示；检测针对所述目标标注框的属性标注指令，根据所述属性标注指令为所述目标标注框配置属性标签。通过本发明，减少了画框和选框所消耗的时间人力，解决了相关技术中对图像配置标签效率低的技术问题。

Description

图像的标签配置方法及装置、电子设备及存储介质

技术领域

本发明涉及安监领域，具体而言，涉及一种图像的标签配置方法及装置、电子设备及存储介质。

背景技术

相关技术中随着人工智能技术的兴起，各种人工智能产品也喷涌而出，人工智能产品所需要的数据支持也成为了产品效果呈现的关键部分。数据标注作为人工智能产品中必不缺少的一部分，数据标注工具已经在各种数据标注中普及使用，尤其是在行人目标检测中更为普遍，在项目前期，一个已经标注好的大量数据对于项目的推动帮助十分巨大，然而在没有可使用的开源标注数据时，标注工作需要从头开始，一个一个给目标画上框，标属性，其中，画框操作繁琐，将会花费很多时间。在标注过程中，也会遇到很多行人拥挤在一个场景的复杂情况，这会导致标框之间出现大量的重合，会增大标注工作的复杂度，相关技术中的标注工具中的处理是标好的标框与正在编辑的标框呈现是一个颜色，会导致重合的标框之间难以区分识别，给标注者在判断的过程中带来一定程度的影响，这既不利于标注工作也不利于标注完后的回溯检查工作，加大标注与回溯工作的难度；此外，行人状态的标注工具中的多目标多标签的现状仍较多是通过鼠标画一个标框，然后给这个标框输入制定好的属性标签，再进行下一个目标的标注；此标注方法在面对大量数据时，所需要的耗时是十分巨大的，而且在输入多个标签的同时，需要使用分割符号加以隔开各个属性标签，在标注过程中，容易出现分隔符号写错或者漏写的情况，易导致数据信息错误造成数据不能使用，影响最终的模型效果。

为了解决行人状态标注过程中多标签多分类并存中出现的前期数据准备难、行人拥挤的复杂场景导致标框过多难区分难标记以及输入多标签时分割符易输入错的标注问题，减少通过分割符来隔开标签以及在保证质量的情况下提高标注效率。如何尽可能的减少错误并提高标注效率，对行人状态的图像标注提出了较高的挑战。

针对相关技术中存在的上述问题，暂未发现有效的解决方案。

发明内容

本发明提供了一种图像的标签配置方法及装置、电子设备及存储介质。

根据本申请实施例的一个方面，提供了一种图像的标签配置方法，所述方法包括：获取待标注的样本图像；采用目标预测模型预测所述样本图像中的多个标注框，其中，每个标注框包括一个目标对象；检测选定指令，在所述多个标注框中选定目标标注框，并对所述目标标注框进行高亮显示；检测针对所述目标标注框的属性标注指令，根据所述属性标注指令为所述目标标注框配置属性标签。

进一步，在采用目标预测模型预测所述样本图像中的多个标注框之前，所述方法还包括：获取第一训练数据集和第二训练数据集，其中，所述第一训练数据集包括多张第一训练图片，第二训练数据集包括多张第二训练图片，所述第一训练图片和所述第二训练图片中均包括所述目标对象，所述第一训练图片包括标注有所述目标对象的位置框，所述第二训练图片不包括标注有所述目标对象的位置框；采用所述第一训练数据集训练初始预测模型，得到中间预测模型；将所述第二训练数据集中的第二训练图片输入所述中间预测模型预测，输出包括预测框的第三训练图片；根据用户指令校正所述第三训练图片中的预测框，得到第四训练图片；将所述第四训练图片添加至所述第一训练数据集，并采用所述第一训练数据集和所述第二训练数据集迭代训练所述中间预测模型，得到所述目标预测模型。

进一步，在采用目标预测模型预测所述样本图像中的多个标注框之后，所述方法还包括：分别读取所述多个标注框的位置参数，其中，所述位置参数包括：中心点横坐标、中心点纵坐标、宽度、高度；按照中心点纵坐标对所述多个标注框进行排序，得到第一标注框序列，针对所述第一标注框序列中中心点纵坐标相同的标注框集合，按照中心点横坐标进行排序，得到第二标注框序列；将所述第二标注框序列存储至所述样本图像关联的标注文件中。

进一步，在所述多个标注框中选定目标标注框，并对所述目标标注框进行高亮显示包括：在所述多个标注框的显示界面中检测针对目标标注框的选定指令；在所述多个标注框的显示界面中选定所述目标标注框；在所述显示界面中对所述目标标注框进行高亮显示，对除所述目标标注框之外的其他标注框进行非高亮显示。

进一步，根据所述属性标注指令为所述目标标注框配置属性标签包括：解析所述属性标注指令的触发按键；定位所述触发按键在键盘上的目标列和目标行；在预设标签集合中查找与所述目标列匹配的目标标签类别，其中，每个标签类别对应键盘的一列，每个标签类别包括若干个相同属性类别的属性标签；在所述目标标签类别的预设标签子集合中查找与所述目标行匹配的目标属性标签；为所述目标标注框配置所述目标属性标签。

进一步，在解析所述属性标注指令的触发按键之后，所述方法还包括：在可视化键盘中查找与所述触发按键对应的第一虚拟键盘；在所述可视化键盘中将所述第一虚拟键盘从第一颜色切换为第二颜色，其中，所述第一颜色用于表征当前键盘对应的属性标签已经被配置，所述第二颜色用于表征当前键盘对应的属性标签未被配置。

进一步，在所述多个标注框中选定目标标注框之前，所述方法还包括以下至少之一：检测针对所述目标标注框的编辑指令，根据所述编辑指令在所述样本图像关联的标注文件中调整所述目标标注框的显示尺寸和显示位置；检测针对所述目标标注框的删除指令，在所述样本图像关联的标注文件中删除所述目标标注框；检测针对所述目标标注框的增加指令，在所述样本图像关联的标注文件中添加所述目标标注框。

根据本申请实施例的另一个方面，还提供了一种图像的标签配置装置，包括：第一获取模块，用于获取待标注的样本图像；预测模块，用于采用目标预测模型预测所述样本图像中的多个标注框，其中，每个标注框包括一个目标对象；选定模块，用于检测选定指令，在所述多个标注框中选定目标标注框，并对所述目标标注框进行高亮显示；配置模块，用于检测针对所述目标标注框的属性标注指令，根据所述属性标注指令为所述目标标注框配置属性标签。

进一步，所述装置还包括：第二获取模块，用于在所述预测模块采用目标预测模型预测所述样本图像中的多个标注框之前，获取第一训练数据集和第二训练数据集，其中，所述第一训练数据集包括多张第一训练图片，第二训练数据集包括多张第二训练图片，所述第一训练图片和所述第二训练图片中均包括所述目标对象，所述第一训练图片包括所述目标对象的位置框，所述第二训练图片不包括所述目标对象的位置框；第一训练模块，用于采用所述第一训练数据集训练初始预测模型，得到中间预测模型；输出模块，用于将所述第二训练数据集中的第二训练图片输入所述中间预测模型预测，输出包括预测框的第三训练图片；校正模块，用于根据用户指令校正所述第三训练图片中的预测框，得到第四训练图片；第二训练模块，用于将所述第四训练图片添加至所述第一训练数据集，并采用所述第一训练数据集和所述第二训练数据集迭代训练所述中间预测模型，得到所述目标预测模型。

进一步，所述装置还包括：读取模块，用于在所述预测模块采用目标预测模型预测所述样本图像中的多个标注框之后，分别读取所述多个标注框的位置参数，其中，所述位置参数包括：中心点横坐标、中心点纵坐标、宽度、高度；排序模块，用于按照中心点纵坐标对所述多个标注框进行排序，得到第一标注框序列，针对所述第一标注框序列中中心点纵坐标相同的标注框集合，按照中心点横坐标进行排序，得到第二标注框序列；存储模块，用于将所述第二标注框序列存储至所述样本图像关联的标注文件中。

进一步，所述选定模块包括：检测单元，用于在所述多个标注框的显示界面中检测针对目标标注框的选定指令；选定单元，用于在所述多个标注框的显示界面中选定所述目标标注框；显示单元，用于在所述显示界面中对所述目标标注框进行高亮显示，对除所述目标标注框之外的其他标注框进行非高亮显示。

进一步，所述配置模块包括：解析单元，用于解析所述属性标注指令的触发按键；定位单元，用于定位所述触发按键在键盘上的目标列和目标行；第一查找单元，用于在预设标签集合中查找与所述目标列匹配的目标标签类别，其中，每个标签类别对应键盘的一列，每个标签类别包括若干个相同属性类别的属性标签；第一查找单元，用于在所述目标标签类别的预设标签子集合中查找与所述目标行匹配的目标属性标签；配置单元，用于为所述目标标注框配置所述目标属性标签。

进一步，所述配置模块还包括：第二查找单元，用于在所述解析单元解析所述属性标注指令的触发按键之后，在可视化键盘中查找与所述触发按键对应的第一虚拟键盘；切换单元，用于在所述可视化键盘中将所述第一虚拟键盘从第一颜色切换为第二颜色，其中，所述第一颜色用于表征当前键盘对应的属性标签已经被配置，所述第二颜色用于表征当前键盘对应的属性标签未被配置。

进一步，所述装置还包括以下至少之一：编辑模块，用于在所述选定模块在所述多个标注框中选定目标标注框之前，检测针对所述目标标注框的编辑指令，根据所述编辑指令在所述样本图像关联的标注文件中调整所述目标标注框的显示尺寸和显示位置；删除模块，用于在所述选定模块在所述多个标注框中选定目标标注框之前，检测针对所述目标标注框的删除指令，在所述样本图像关联的标注文件中删除所述目标标注框；添加模块，用于在所述选定模块在所述多个标注框中选定目标标注框之前，检测针对所述目标标注框的增加指令，在所述样本图像关联的标注文件中添加所述目标标注框。

根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。

根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。

通过本发明，获取待标注的样本图像，采用目标预测模型预测样本图像中的多个标注框，其中，每个标注框包括一个目标对象，检测选定指令，在多个标注框中选定目标标注框，并对目标标注框进行高亮显示，检测针对目标标注框的属性标注指令，根据属性标注指令为目标标注框配置属性标签。通过自动预测图像中的包括目标对象的标注框，并区分已标注好的标签和选中的标框。该标注方法通过减少对行人目标的画框操作，先将目标对象的框识别出后，再对每个目标标注框进行标签的标注操作，从而大大缩减了前期的标注数据的准备过程，避免了某些特定场景因行人过多使标框重合面积过大导致标注工作复杂性增高，回溯识别难，和通过手动一一选中标框，使用分割符分割多个标签导致效率低下、出现标签错误的情况。让标注者能够将注意力集中在标签本身，从而有效地提升了标注质量以及标注速度，减少了画框和选框所消耗的时间人力，解决了相关技术中对图像配置标签效率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种计算机的硬件结构框图；

图2是根据本发明实施例的一种图像的标签配置方法的流程图；

图3是本发明实施例预标定标注框的流程图；

图4是本发明实施例行人状态目标分类标注工具的界面示意图；

图5是本发明实施例行人框引导标注的流程图；

图6是本发明实施例标签标注方法的整体流程图；

图7是根据本发明实施例的一种图像的标签配置装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本申请实施例一所提供的方法实施例可以在控制器、服务器、计算机、平板或者类似的运算调度装置中执行。以运行在计算机上为例，图1是本发明实施例的一种计算机的硬件结构框图。如图1所示，计算机可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述计算机还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机的结构造成限定。例如，计算机还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种图像的标签配置方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种图像的标签配置方法，图2是根据本发明实施例的一种图像的标签配置方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取待标注的样本图像；

步骤S204，采用目标预测模型预测所述样本图像中的多个标注框，其中，每个标注框包括一个目标对象；

可选的，目标对象可以是项目中所需要标识的行人，也可以是车辆，动物，机器人等。在此以目标对象为行人为例进行说明，标注框是样本中框选行人的图形框，如矩形框，圆形框，胶囊框等图形框。

步骤S206，检测选定指令，在所述多个标注框中选定目标标注框，并对所述目标标注框进行高亮显示；

本实施例可以通过配置特定的颜色参数，显示样式等实现高亮显示，从而使目标标注框在视觉上区别其他标注框。

步骤S208，检测针对所述目标标注框的属性标注指令，根据所述属性标注指令为所述目标标注框配置属性标签。

本实施例的属性标签(Label)用于标识数据的特征、类别和属性等。在计算机中用来建立数据与机器学习训练要求所定义的机器可读数据编码间的联系。

可选的，依据目标对象的不同，可以配置不同的属性标签，如针对行人配置安检员、乘客等身份标签，戴帽子、戴眼镜、戴口罩、短袖、长发；位置：正面、背面、侧面等外观标签等。

通过上述步骤，获取待标注的样本图像，采用目标预测模型预测样本图像中的多个标注框，其中，每个标注框包括一个目标对象，检测选定指令，在多个标注框中选定目标标注框，并对目标标注框进行高亮显示，检测针对目标标注框的属性标注指令，根据属性标注指令为目标标注框配置属性标签。通过自动预测图像中的包括目标对象的标注框，并区分已标注好的标签和选中的标框。该标注方法通过减少对行人目标的画框操作，先将目标对象的框识别出后，再对每个目标标注框进行标签的标注操作，从而大大缩减了前期的标注数据的准备过程，避免了某些特定场景因行人过多使标框重合面积过大导致标注工作复杂性增高，回溯识别难，和通过手动一一选中标框，使用分割符分割多个标签导致效率低下、出现标签错误的情况。让标注者能够将注意力集中在标签本身，从而有效地提升了标注质量以及标注速度，减少了画框和选框所消耗的时间人力，解决了相关技术中对图像配置标签效率低的技术问题。

在本实施例的一个实施方式中，在采用目标预测模型预测所述样本图像中的多个标注框之前，还包括：获取第一训练数据集和第二训练数据集，其中，所述第一训练数据集包括多张第一训练图片，第二训练数据集包括多张第二训练图片，所述第一训练图片和所述第二训练图片中均包括所述目标对象，所述第一训练图片包括所述目标对象的位置框，所述第二训练图片不包括所述目标对象的位置框；采用所述第一训练数据集训练初始预测模型，得到中间预测模型；将所述第二训练数据集中的第二训练图片输入所述中间预测模型预测，输出包括预测框的第三训练图片；根据用户指令校正所述第三训练图片中的预测框，得到第四训练图片；将所述第四训练图片添加至所述第一训练数据集，并采用所述第一训练数据集和所述第二训练数据集迭代训练所述中间预测模型，得到所述目标预测模型。

图3是本发明实施例预标定标注框的流程图，流程包括：

收集真实场景下的行人数据，作为训练数据集，行人数据为包括行人的图片；

对收集的行人数据进行单独位置框的标注；

查找其他行人框的数据，与真实项目场景的标注数据合并，使用目标检测模型进行单独的行人框检测模型训练(行人检测可能是行人人体框的检测或者是人头的检测)，该模型训练为一个适用在数据标注工作中的模型，可以为SSD、Fast-rcnn和YOLO等。单独进行行人框的模型训练可以很快收敛得到一个较好的模型，而多任务的目标检测需要兼容行人框的回归预测损失同时还需要行人的多标签的分类预测损失，两个损失互相制约，很难得到一个可以马上进行预标定的行人框标定模型；

得到用于预标定的行人检测模型能对行人框的位置进行推理预测(可以是离线批量处理也可以在标注工具中单图预标定模式)，预测出的行人框位置(中心点横坐标、中心点纵坐标，宽、高)写入保存到xml或json形式的文件；

在标注时，标注工具自动对标注文件进行解析，标注员对预测出的每个框位置进行再调整或不调整，实现校正，再进行行人的多标签属性的标注；

将新标注的行人框加入到历史数据集中再训练，进一步提升行人框的模型预测准确性，再用新训练的行人框预测模型进行对未标注数据进行行人框预测产生标注文件。以此往复迭代，直到目标预测模型的预测准确率达到某个预设值，行人框预测越来越准确，标注工具对预测出来的行人框从刚开始的微调到后期不需要调整。标注人员将精力开始投入到多标签属性的标注工作中。可选的，可以仅对行人框标注而不进行多属性标签的标注，以期更高效率的达到预测行人框的水平；

可选的，在行人框和多属性标签数据达到一定量时，项目的多标签分类的目标检测模型经过训练已经具备了行人框预测及多标签的预标定水平，预标定模型可由之前的单独训练的行人框预测模型转向到项目使用的多标签分类的目标检测模型，以此达到标注员不仅减少了行人框的调整同时多标签属性的标注工作也得到了辅助，减少了工作量。

在一个示例中，在采用目标预测模型预测所述样本图像中的多个标注框之后，还包括：分别读取所述多个标注框的位置参数，其中，所述位置参数包括：中心点横坐标、中心点纵坐标、宽度、高度；按照中心点纵坐标对所述多个标注框进行排序，得到第一标注框序列，针对所述第一标注框序列中中心点纵坐标相同的标注框集合，按照中心点横坐标进行排序，得到第二标注框序列；将所述第二标注框序列存储至所述样本图像关联的标注文件中。

可选的，按照中心点横坐标对所述多个标注框进行排序，得到第三标注框序列，针对所述第三标注框序列中中心点纵坐标相同的标注框集合，按照中心点纵坐标进行排序，得到第四标注框序列；将所述第四标注框序列存储至所述样本图像关联的标注文件中。排序后，可以按照第二标注框序列(或第四标注框序列)依次有序选定目标标注框，减少人工选定标注框的操作。在另一些示例中，也可以按照标注框的宽度或高度或面积对多个标注框进行排序。

首先，行人框预测模型(目标预测模型)对图像预测出来所有行人框，其参数为中心点横坐标、中心点纵坐标、宽和高。对所有框进行中心点坐标排序，从先进行Y坐标值排序，使其呈现Y值由大到小排序，出现相同Y坐标值则按照X坐标值由小到大排序，以此规则按照顺序存储到图片对应的xml标注文件中。标注工具读取标注文件信息，解析后将排序好的信息框读取到工具列表，依次进行选定框展示。

在一个实施方式中，检测选定指令，在所述多个标注框中选定目标标注框，并对所述目标标注框进行高亮显示包括：在所述多个标注框的显示界面中检测针对目标标注框的选定指令；在所述多个标注框的显示界面中选定所述目标标注框；在所述显示界面中对所述目标标注框进行高亮显示，对除所述目标标注框之外的其他标注框进行非高亮显示。

在一个示例中，当前选定的标注框呈现高亮的橙色，除当前选定行人框情况外，其他行人框呈现灰色，绿色框显示较明显，灰色框较不明显同时可以细致观察到。需要说明的时，颜色不限于指定某两种颜色，其他合适颜色均可。

在一个实施场景中，根据所述属性标注指令为所述目标标注框配置属性标签包括：解析所述属性标注指令的触发按键；定位所述触发按键在键盘上的目标列和目标行；在预设标签集合中查找与所述目标列匹配的目标标签类别，其中，每个标签类别对应键盘的一列，每个标签类别包括若干个相同属性类别的属性标签；在所述目标标签类别的预设标签子集合中查找与所述目标行匹配的目标属性标签；为所述目标标注框配置所述目标属性标签。

可选的，在解析所述属性标注指令的触发按键之后，还包括：在可视化键盘中查找与所述触发按键对应的第一虚拟键盘；在所述可视化键盘中将所述第一虚拟键盘从第一颜色切换为第二颜色，其中，所述第一颜色用于表征当前键盘对应的属性标签已经被配置，所述第二颜色用于表征当前键盘对应的属性标签未被配置。

在一个示例中，对当前选定的目标标注框进行多标签属性标注；行人标签属性可以按照需求进行配置修改，如在安检场景下的行人标签可以分为身份标签：安检员、乘客；外观标签：戴帽子、戴眼镜、戴口罩、短袖、长发；位置：正面、背面、侧面。动作：行走、站立、蹲地、卧躺、弯腰。每一类标签对应在工具中，分不同行陈列；第一类标签快捷键绑定对应键盘分布数字行“123456...”，第二类标签快捷键绑定对应键盘分布字母行“QWERT...”，第三类标签快捷键绑定对应键盘分布字母行“ASDFG...”，第四类标签快捷键绑定对应键盘分布字母行“ZXCVBN...”；该陈列方式能够与大众习惯的键盘区域进行映射，提升了快捷键的熟练程度，同时不同行对应不同的类别标签，减少了标注混淆。标注时，可视化按键以两种不同的颜色进行呈现，红色表示使用，灰色表示未使用，颜色鲜明，易于分辨，重复快捷键操作则消除使用状态，该可视化快捷键可以通过键盘进行快捷方式操作同时也可以满足用鼠标点击。

图4是本发明实施例行人状态目标分类标注工具的界面示意图，包括可视化键盘区域(用于展示标注标签的快捷键)，图片展示区域(用于展示当前标注的样本图片，图片2)，图片列表栏(用于展示所有样本图片，高亮提示当前标注的样本图片，图片2)，标注框列表栏(用于展示所有标注框已经标注的标签信息，高亮提示当前选中的目标标注框，框2)，本实施例的标注工具包括一些其他辅助的可视化和快捷键，如标注工具可视化显示标注框显示总图片量、目前在标注的图片名称、总图片数中的排位数，通过观察以上数据可以查看标注进度，定位异常图片。同时，选择预标定的模型，并勾选自动预测框控件，实现在进入每张图标注时的自动预测行人框。当前图片的行人框数目和当前标注行人框排位显示在标注工具头部。发现预测少标或多标框，通过对应快捷键进行增加框和删除框处理。通过快捷控件“空格键”进行框的下一个切换，当前图片框已经标注完，再操作“空格键”则将进行下一张图标注；同时选定到图像列表，可以单独选定到任意一张图进行标注或查看。

在本实施例的一些示例中，在所述多个标注框中选定目标标注框之前，还包括以下至少之一：检测针对所述目标标注框的编辑指令，根据所述编辑指令在所述样本图像关联的标注文件中调整所述目标标注框的显示尺寸和显示位置；检测针对所述目标标注框的删除指令，在所述样本图像关联的标注文件中删除所述目标标注框；检测针对所述目标标注框的增加指令，在所述样本图像关联的标注文件中添加所述目标标注框。

对选定行人框进行标注，如需调整框的大小和位置可以鼠标选择调整框位置和大小，修改其标注文件参数。如需行人框预测有误识别，则进行行人框删除处理，程序删除标注文件该框对应所有信息；如发现有未预测到的行人，选择增加框按钮或快捷键，增加画框后则在该图像对应的标注文件中添加该框的参数信息。

图5是本发明实施例行人框引导标注的流程图，进入第k张图(待标注的样本图像)，在标注界面中排序显示标框、标签，按需调整标框对象，依次对每个框标注标签，完成之后，进入第k+1张图(待标注的样本图像)，直到最后一张图。

图6是本发明实施例标签标注方法的整体流程图，公开一种行人目标状态的图像标注方法和工具。如图6所示，本方案通过新的模型训练预标定策略先解决行人框的预测，将目标检测多标签标注问题拆解成目标框的标注和多标签的标注。标注时，同一张图不同框的标注会进行排序展示进行引导标注，将多标签的标注使用快捷键和控件显示方式结合替代传统勾选类别框或输入数字以符号拼接的形式进行标注的操作。使用标注文件存储和标签控件解析后有序可视化使得多标签属性的回溯和检查工作更为便利。本标注方法和工具极大的提升了行人多标签目标检测的标注效率和准确性。

本标注工具采用更有效率的预标定策略，使用单独行人框模型进行前期的行人框学习，使之快速达到行人框的标注水平，减少了行人框和多标签属性学习的复杂性，从而减少了标注员需要每次对行人框进行标注的操作；本标注工具将预测行人框按照一定的排序规则进行排序，标注者通过键盘上下键、空格键等自定义的快捷方式进行图片、标框之间的切换；通过对当前行人框和未标框赋予易于区分的两种不同的颜色，选中的标框进行高亮处理，其它未选中的框做一定的透明处理，使其在标注过程中，更加的突出，易于分辨；此外，将所有标签属性以按钮的形式一一罗列至标签工具界面上，并给每个按钮绑定快捷方式，通过键盘来进行多属性标签的标注，标注的标签呈现红色易于观察。此方法将传统的鼠标+键盘的标注方式改为了全程键盘进行，减少了鼠标选中标框、画标框，以及手动输入分割符分割多个标签的繁琐步骤。

本实施例为了实现快速有效的任务分工，编程语言及文件保存方法采用Python等，可视化应用PyQt5、Opencv库等实现，该工具的开发较为容易，不受语言的限制，具有基础开发能力的编程人员可根据策略和方法开发出同类工具。同时，本方案不限于对于行人的多标签标注，其他类似的项目标注同样可以做适当配置便进行使用。

本实施例采用合适的预标定策略，使用单独行人框模型进行前期的行人框学习，使之快速达到行人框的标注水平，减少了行人框和多标签属性学习的复杂性，从而减少了标注员需要每次对行人框进行标注的操作；将预测行人框按照一定的排序规则进行排序，标注者通过键盘上下键、空格键等自定义的快捷方式进行图片、标框之间的切换；通过对当前行人框和未标框赋予易于区分的两种不同的颜色，选中的标框进行高亮处理，其它未选中的框做一定的透明处理，使其在标注过程中，更加的突出，易于分辨；此外，将所有标签属性以按钮的形式一一罗列至标签工具界面上，并给每个按钮绑定快捷方式，通过键盘来进行多属性标签的标注，标注的标签呈现红色易于观察。此方法将传统的鼠标+键盘的标注方式改为了全程键盘进行，减少了鼠标选中标框、画标框，以及手动输入分割符分割多个标签的繁琐步骤。本方案效率高，且有效地提高了数据标注的数据正确率。

本实施例的标注方法通过减少对行人目标的画框操作，先将行人目标框识别出后，再对每个目标框进行标签的标注操作，从而大大缩减了前期的标注数据的准备过程，以及标注工具中避免了某些特定场景因行人过多使标框重合面积过大导致标注工作的复杂性增高，回溯识别难的和通过手动一一选中标框的动作，使用分割符分割多个标签导致效率低下、出现标签错误的情况，让标注者能够将注意力集中在标签本身，从而有效地提升了标注质量以及标注速度。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种图像的标签配置装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图7是根据本发明实施例的一种图像的标签配置装置的结构框图，如图7所示，该装置包括：第一获取模块70，预测模块72，选定模块74，配置模块76，其中，

第一获取模块70，用于获取待标注的样本图像；

预测模块72，用于采用目标预测模型预测所述样本图像中的多个标注框，其中，每个标注框包括一个目标对象；

选定模块74，用于检测选定指令，在所述多个标注框中选定目标标注框，并对所述目标标注框进行高亮显示；

配置模块76，用于检测针对所述目标标注框的属性标注指令，根据所述属性标注指令为所述目标标注框配置属性标签。

可选的，所述装置还包括：第二获取模块，用于在所述预测模块采用目标预测模型预测所述样本图像中的多个标注框之前，获取第一训练数据集和第二训练数据集，其中，所述第一训练数据集包括多张第一训练图片，第二训练数据集包括多张第二训练图片，所述第一训练图片和所述第二训练图片中均包括所述目标对象，所述第一训练图片包括所述目标对象的位置框，所述第二训练图片不包括所述目标对象的位置框；第一训练模块，用于采用所述第一训练数据集训练初始预测模型，得到中间预测模型；输出模块，用于将所述第二训练数据集中的第二训练图片输入所述中间预测模型预测，输出包括预测框的第三训练图片；校正模块，用于根据用户指令校正所述第三训练图片中的预测框，得到第四训练图片；第二训练模块，用于将所述第四训练图片添加至所述第一训练数据集，并采用所述第一训练数据集和所述第二训练数据集迭代训练所述中间预测模型，得到所述目标预测模型。

可选的，所述装置还包括：读取模块，用于在所述预测模块采用目标预测模型预测所述样本图像中的多个标注框之后，分别读取所述多个标注框的位置参数，其中，所述位置参数包括：中心点横坐标、中心点纵坐标、宽度、高度；排序模块，用于按照中心点纵坐标对所述多个标注框进行排序，得到第一标注框序列，针对所述第一标注框序列中中心点纵坐标相同的标注框集合，按照中心点横坐标进行排序，得到第二标注框序列；存储模块，用于将所述第二标注框序列存储至所述样本图像关联的标注文件中。

可选的，所述选定模块包括：检测单元，用于在所述多个标注框的显示界面中检测针对目标标注框的选定指令；选定单元，用于在所述多个标注框的显示界面中选定所述目标标注框；显示单元，用于在所述显示界面中对所述目标标注框进行高亮显示，对除所述目标标注框之外的其他标注框进行非高亮显示。

可选的，所述配置模块包括：解析单元，用于解析所述属性标注指令的触发按键；定位单元，用于定位所述触发按键在键盘上的目标列和目标行；第一查找单元，用于在预设标签集合中查找与所述目标列匹配的目标标签类别，其中，每个标签类别对应键盘的一列，每个标签类别包括若干个相同属性类别的属性标签；第一查找单元，用于在所述目标标签类别的预设标签子集合中查找与所述目标行匹配的目标属性标签；配置单元，用于为所述目标标注框配置所述目标属性标签。

可选的，所述配置模块还包括：第二查找单元，用于在所述解析单元解析所述属性标注指令的触发按键之后，在可视化键盘中查找与所述触发按键对应的第一虚拟键盘；切换单元，用于在所述可视化键盘中将所述第一虚拟键盘从第一颜色切换为第二颜色，其中，所述第一颜色用于表征当前键盘对应的属性标签已经被配置，所述第二颜色用于表征当前键盘对应的属性标签未被配置。

可选的，所述装置还包括以下至少之一：编辑模块，用于在所述选定模块在所述多个标注框中选定目标标注框之前，检测针对所述目标标注框的编辑指令，根据所述编辑指令在所述样本图像关联的标注文件中调整所述目标标注框的显示尺寸和显示位置；删除模块，用于在所述选定模块在所述多个标注框中选定目标标注框之前，检测针对所述目标标注框的删除指令，在所述样本图像关联的标注文件中删除所述目标标注框；添加模块，用于在所述选定模块在所述多个标注框中选定目标标注框之前，检测针对所述目标标注框的增加指令，在所述样本图像关联的标注文件中添加所述目标标注框。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取待标注的样本图像；

S2，采用目标预测模型预测所述样本图像中的多个标注框，其中，每个标注框包括一个目标对象；

S3，检测选定指令，在所述多个标注框中选定目标标注框，并对所述目标标注框进行高亮显示；

S4，检测针对所述目标标注框的属性标注指令，根据所述属性标注指令为所述目标标注框配置属性标签。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取待标注的样本图像；

S2，采用目标预测模型预测所述样本图像中的多个标注框，其中，每个标注框包括一个目标对象；

S3，检测选定指令，在所述多个标注框中选定目标标注框，并对所述目标标注框进行高亮显示；

S4，检测针对所述目标标注框的属性标注指令，根据所述属性标注指令为所述目标标注框配置属性标签。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种图像的标签配置方法，其特征在于，所述方法包括：

获取待标注的样本图像；

采用目标预测模型预测所述样本图像中的多个标注框，其中，每个标注框包括一个目标对象；

检测选定指令，在所述多个标注框中选定目标标注框，并对所述目标标注框进行高亮显示；

检测针对所述目标标注框的属性标注指令，根据所述属性标注指令为所述目标标注框配置属性标签。

2.根据权利要求1所述的方法，其特征在于，在采用目标预测模型预测所述样本图像中的多个标注框之前，所述方法还包括：

获取第一训练数据集和第二训练数据集，其中，所述第一训练数据集包括多张第一训练图片，第二训练数据集包括多张第二训练图片，所述第一训练图片和所述第二训练图片中均包括所述目标对象，所述第一训练图片包括所述目标对象的位置框，所述第二训练图片不包括所述目标对象的位置框；

采用所述第一训练数据集训练初始预测模型，得到中间预测模型；

将所述第二训练数据集中的第二训练图片输入所述中间预测模型预测，输出包括预测框的第三训练图片；

根据用户指令校正所述第三训练图片中的预测框，得到第四训练图片；

将所述第四训练图片添加至所述第一训练数据集，并采用所述第一训练数据集和所述第二训练数据集迭代训练所述中间预测模型，得到所述目标预测模型。

3.根据权利要求1所述的方法，其特征在于，在采用目标预测模型预测所述样本图像中的多个标注框之后，所述方法还包括：

分别读取所述多个标注框的位置参数，其中，所述位置参数包括：中心点横坐标、中心点纵坐标、宽度、高度；

按照中心点纵坐标对所述多个标注框进行排序，得到第一标注框序列，针对所述第一标注框序列中中心点纵坐标相同的标注框集合，按照中心点横坐标进行排序，得到第二标注框序列；

将所述第二标注框序列存储至所述样本图像关联的标注文件中。

4.根据权利要求1所述的方法，其特征在于，检测选定指令，在所述多个标注框中选定目标标注框，并对所述目标标注框进行高亮显示包括：

在所述多个标注框的显示界面中检测针对目标标注框的选定指令；

在所述多个标注框的显示界面中选定所述目标标注框；

在所述显示界面中对所述目标标注框进行高亮显示，对除所述目标标注框之外的其他标注框进行非高亮显示。

5.根据权利要求1所述的方法，其特征在于，根据所述属性标注指令为所述目标标注框配置属性标签包括：

解析所述属性标注指令的触发按键；

定位所述触发按键在键盘上的目标列和目标行；

在预设标签集合中查找与所述目标列匹配的目标标签类别，其中，每个标签类别对应键盘的一列，每个标签类别包括若干个相同属性类别的属性标签；

在所述目标标签类别的预设标签子集合中查找与所述目标行匹配的目标属性标签；

为所述目标标注框配置所述目标属性标签。

6.根据权利要求5所述的方法，其特征在于，在解析所述属性标注指令的触发按键之后，所述方法还包括：

在可视化键盘中查找与所述触发按键对应的第一虚拟键盘；

在所述可视化键盘中将所述第一虚拟键盘从第一颜色切换为第二颜色，其中，所述第一颜色用于表征当前键盘对应的属性标签已经被配置，所述第二颜色用于表征当前键盘对应的属性标签未被配置。

7.根据权利要求1所述的方法，其特征在于，在所述多个标注框中选定目标标注框之前，所述方法还包括以下至少之一：

检测针对所述目标标注框的编辑指令，根据所述编辑指令在所述样本图像关联的标注文件中调整所述目标标注框的显示尺寸和显示位置；

检测针对所述目标标注框的删除指令，在所述样本图像关联的标注文件中删除所述目标标注框；

检测针对所述目标标注框的增加指令，在所述样本图像关联的标注文件中添加所述目标标注框。

8.一种图像的标签配置装置，其特征在于，包括：

第一获取模块，用于获取待标注的样本图像；

预测模块，用于采用目标预测模型预测所述样本图像中的多个标注框，其中，每个标注框包括一个目标对象；

选定模块，用于检测选定指令，在所述多个标注框中选定目标标注框，并对所述目标标注框进行高亮显示；

配置模块，用于检测针对所述目标标注框的属性标注指令，根据所述属性标注指令为所述目标标注框配置属性标签。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：

存储器，用于存放计算机程序；

处理器，用于通过运行存储器上所存放的程序来执行权利要求1至7中任一项所述的方法步骤。

10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7中任一项所述的方法步骤。

Images