CN114861612A - 一种文本标注方法及装置 - Google Patents

Abstract

本申请公开了一种文本标注方法及装置为待标注数据源新建标注项目；建立标注项目与待标注数据源之间的第一映射关系，以利用第一映射关系查看待标注数据源；利用预设的文本标注模型，对待标注数据源中的目标标注数据标注可视化连接，以使用户通过可视化连接查看与目标标注数据对应的二维和/或三维标本数据。本申请可以为每次标注创建相应的标注项目，以此区分每次不同目的的标注，同时，利用文本标注模型，对待标注数据源中的目标标注数据标注可视化连接，通过设置可视化连接，可以更为有效的集中显示二维和/或三维标本数据，提升了标注效果，同时能够标注二维和/或三维标本数据提升了标注内容的丰富度。

Description

一种文本标注方法及装置

技术领域

本发明涉及数据标注领域，特别涉及一种文本标注方法及装置。

背景技术

文本标注是人工智能技术发展的基础。在人工智能领域，模型训练、预测结果评测都需要用到“标注工具”，文本标注不仅可以产生各种需要的label(标签)数据，还可以将预测结果可视化展示，方便工程人员、客户查看模型提供的数据预测服务。

关于文本标注有两个主要的标注方向。一个是机器视觉中的实例(物体)的类别、mask(掩膜：即物体所在区域的标注)、关键点等标注；另一类是自然语言中的实体、关系等序列化特征标注。

现有的标注方法有很多，但是标注只局限于对数据源中简单的区域标注，可食用的标注内容有限，标注丰富度不足。

因此，需要一种更为丰富的标注方式，提升标注效果。

发明内容

有鉴于此，本发明的目的在于提供一种文本标注方法及装置，能够提高标注效果。其具体方案如下：

一种文本标注方法，包括：

为待标注数据源新建标注项目；

建立所述标注项目与所述待标注数据源之间的第一映射关系，以利用所述第一映射关系查看所述待标注数据源；

利用预设的文本标注模型，对所述待标注数据源中的目标标注数据标注可视化连接，以使用户通过所述可视化连接查看与所述目标标注数据对应的二维和/或三维标本数据。

可选的，所述利用预设的文本标注模型，对所述待标注数据源中的目标标注数据标注可视化连接，以使用户通过所述可视化连接查看与所述目标标注数据对应的二维标本数据的过程，包括：

利用所述文本标注模型，对所述待标注数据源中目标像素点进行标注，添加对应的二维显示连接，以使用户通过所述二维显示连接查看与所述目标标注数据对应的二维标本数据。

可选的，所述利用所述文本标注模型，对所述待标注数据源中目标像素点进行标注，添加对应的二维显示连接的过程，包括：

利用所述文本标注模型，以所述目标像素点为中心渲染一个膨胀的九宫格，利用箭头指向九宫格中存在与所述目标像素点对应的二维显示连接；

其中，所述九宫格中每一个格子用于代表一个与所述目标像素点对应的二维显示连接。

可选的，所述用预设的文本标注模型，对所述待标注数据源中的目标标注数据标注可视化连接，以使用户通过所述可视化连接查看与所述目标标注数据对应的三维标本数据的过程，包括：

利用所述文本标注模型，对所述待标注数据源中所述目标标注数据进行三维标注，提供与所述目标标注数据对应的三维类别图层。

可选的，所述利用所述文本标注模型，对所述待标注数据源中目标标注数据进行三维标注，得到三维标注数据，以利用所述三维标注数据查看与所述目标标注数据对应的标本数据的三维类别图层的过程，包括：

利用所述文本标注模型，通过3D渲染稀疏矩阵对所述待标注数据源中目标标注数据进行三维标注，得到三维标注数据，以利用所述三维标注数据查看与所述目标标注数据对应的标本数据的三维类别图层。

可选的，还包括：

获取所述待标注数据源中已有的历史标注数据，建立所述标注项目与所述历史标注数据的第二映射关系。

可选的，所述为待标注数据源新建标注项目之后，还包括：

为所述标注项目配置对应的项目密码。

可选的，还包括：

对所述待标注数据源中的所述标注数据和/或所述历史标注数据进行信息增强。

可选的，还包括：

接收快捷键自定义信息，以使用户自定义操作快捷键，实现利用键盘按键、鼠标按键、鼠标指针轨迹和/或手势及组合控制方式。

本发明还公开了一种文本标注装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如前述的文本标注方法。

本发明中，文本标注方法，包括：为待标注数据源新建标注项目；建立标注项目与待标注数据源之间的第一映射关系，以利用第一映射关系查看待标注数据源；利用预设的文本标注模型，对待标注数据源中的目标标注数据标注可视化连接，以使用户通过可视化连接查看与目标标注数据对应的二维和/或三维标本数据。

本发明可以为每次标注创建相应的标注项目，以此区分每次不同目的的标注，同时，利用文本标注模型，对待标注数据源中的目标标注数据标注可视化连接，通过设置可视化连接，可以更为有效的集中显示二维和/或三维标本数据，提升了标注效果，同时能够标注二维和/或三维标本数据提升了标注内容的丰富度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种文本标注方法流程示意图；

图2为本发明实施例公开的另一种文本标注方法流程示意图；

图3为本发明实施例公开的一种文本标注运行过程示意图；

图4为本发明实施例公开的一种信息增强效果对比示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种文本标注方法，参见图1所示，该方法包括：

S11：为待标注数据源新建标注项目；

S12：建立标注项目与待标注数据源之间的第一映射关系，以利用第一映射关系查看待标注数据源。

具体的，一个文本可以根据不同的需要进行多次标注，由于每次标注的内容在分类和重点上有所区别，为了区分不同标注每次标注前，为待标注数据源新建标注项目，利用不同的标注项目区分每次不同的标注，使得可以利用标注项目区分同一数据源不同批次的标注。

具体的，在新建标注项目后，同时建立起标注项目与待标注数据源之间的第一映射关系，根据第一映射关系便可以通过标注项目查看待标注数据源中与之对应的标注数据，才能建立标注项目与待标注数据源的对应关系。

具体的，标注项目的创建方式可以包括：1、跟随标注项目创建引导对待标注数据源文件夹创建标注项目，2、跟随标注项目创建引导对待标注数据源文本创建标注项目，3、利用待标注数据源文件夹通过快捷键新建标注项目，4、选中待标注数据源文本通过快捷键新建标注项目。

S13：利用预设的文本标注模型，对待标注数据源中的目标标注数据标注可视化连接，以使用户通过可视化连接查看与目标标注数据对应的二维和/或三维标本数据。

具体的，为了丰富标注内容，利用预设的文本标注模型，从待标注数据源中匹配出所需可视化连接的目标标注数据，确定目标标注数据后为其创建相应的标注可视化连接，以使用户通过可视化连接查看与目标标注数据对应的二维和/或三维标本数据，通过设置可视化连接，可以更为有效的集中显示二维和/或三维标本数据，提升了标注效果，同时能够标注二维和/或三维标本数据提升了标注内容的丰富度。

需要说明的是，预设的文本标注模型为预先利用历史待标注数据源进行标准训练得到的标注模型，因此，能够有效的标注出待标注数据源中的目标标注数据。

可见，本发明实施例可以为每次标注创建相应的标注项目，以此区分每次不同目的的标注，同时，利用文本标注模型，对待标注数据源中的目标标注数据标注可视化连接，通过设置可视化连接，可以更为有效的集中显示二维和/或三维标本数据，提升了标注效果，同时能够标注二维和/或三维标本数据提升了标注内容的丰富度。

进一步的，利用利用文本标注模型，还可以对待标注数据源中的文本进行标注，得到标注数据，例如，利用文本标注模型，对待标注数据源进行物体类别、物体掩膜和文本边界的文本标注，得到文本标注数据。

具体的，可以进行常规的物体类别标注(BBox:边界框标注)，物体的掩膜(mask)标注，在标注的过程中，提供点、线、矩形框、圆、椭圆、多边形外，还可以提供正多边形等基于边界自适应生成的边界标注。同时基于以上方法进行粗标注，得到实例的大致区域，由边界检测算法对边界精调(用户可以设置标本的几何特性增强检测算法)，获得精确标注标本。

进一步的，可以提供与标注过程相逆的裁剪过程，裁剪的形式与标注的形式一样。用户可以对某个特定的实例区域进行裁剪，也可以对两个或多个实例求交、并、补、差运算得到新的实例区域。此外，用户可以在完成一个样本标注后使用热键对标注实例进行切换、可以进入新的实例标注、可以切换待标注样本、可以进入标注的样本展示。同时，还可以提供了标本的隐藏功能，使用此功能可以让同一个待标注样本的多个标本进行部分隐藏，方便用户观察对比部分实例。

本发明实施例公开了一种具体的文本标注方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

进一步的，上述S13利用预设的文本标注模型，对待标注数据源中的目标标注数据标注可视化连接，以使用户通过可视化连接查看与目标标注数据对应的二维标本数据的过程，可以包括：

利用文本标注模型，对待标注数据源中目标像素点进行标注，添加对应的二维显示连接，以使用户通过二维显示连接查看与目标标注数据对应的二维标本数据。

具体的，可以以待标注数据源中某个像素点为基础标注点进行标注，添加对应的二维显示连接，提升标注的灵活性和精度，具体的标注方式可以为利用文本标注模型，以目标像素点为中心渲染一个膨胀的九宫格，利用箭头指向九宫格中存在与目标像素点对应的二维显示连接；

其中，九宫格中每一个格子用于代表一个与目标像素点对应的二维显示连接。

具体的，对于某一个像素，在平面上有且仅有8个相邻的像素点，分别为：东、西、南、北、东北、东南、西南和西北8个方向，将这8个方向在通道维度上排列，那么得到的标签实际是一个shape为[h,w,c]，其中h为文本的高、w为文本的宽、c＝8*Instance_category_number，即第三个维度称之为通道，它的大小为c，c的数值是8倍的实例类别数。所以通道轴上每8个层代表了一种实例的连接情况。对于一个实例，它的连接情况是内部的所有像素，8个connect值都是1，只有实例的边界有部分邻居间没有连接，所以稀疏矩阵只记录边界上的connect关键点，这样可以在保证信息量不减少的情况下极大地降低标本的数据量大小。

具体的，二维标本数据是指在源文本上，通过热键切换到连接展示功能，可以实现鼠标定位点的连接信息可视化展示，有连接的方向使用箭头展示，无连接的方向无任何符号，同时所有的箭头指向的展示区域在一个放大的九宫格区域，若没有任何连接则只展示九宫格。

进一步的，上述S13利用预设的文本标注模型，对待标注数据源中的目标标注数据标注可视化连接，以使用户通过可视化连接查看与目标标注数据对应的三维标本数据的过程，可以包括：

利用文本标注模型，对待标注数据源中目标标注数据进行三维标注，提供与目标标注数据对应的三维类别图层。

具体的，通过三维标注可以显示标本数据的三维类别图层，支持标本数据在三维空间上进行旋转、缩放和拖拽等操作，显示内容更加丰富，其标注过程可以具体为，利用文本标注模型，通过3D渲染稀疏矩阵对待标注数据源中目标标注数据进行三维标注，得到三维标注数据，以利用三维标注数据查看与目标标注数据对应的标本数据的三维类别图层。

具体的，由于需要可视化展示的标注相对其它类型标注所需数量较少，且有聚集性，因此，可以在连接展示方法中，使用优化后的稀疏矩阵保存这些多维矩阵，通过在三维空间中在保存了三维边界，实现信息量不损失的情况下，最小化保存数据量。所谓连接标本的三维边界即标注数据在三维空间中的关键点。

具体的，3D展示连接标本是指，在标注界面上3D渲染稀疏矩阵，1的部分使用颜色空间中的某种颜色进行上色，0的部分进行透明化处理，最后形成实例的3D展示，在渲染界面支持对结果进行放大缩小、旋转等操作，并且也支持标注标本与预测标本的共同展示，这里有虚拟化技术，将两者重合部分给予一定的透明度，差异部分进行着重展示，用户可以在三维空间中进行实例选择，即只观察某一实例的标本，以方便用户观察两者之间的差异。另一方面，二维和三维的连接展示方法还支持分图层展示连接标本。用户可以只观察某类实例的图层(8个通道层)，同时可以实现在只观察8个通道层中的某个实例。

此外，本发明实施例还公开了一种文本标注方法，参见图2和图3所示，包括：

S21：为待标注数据源新建标注项目；

S22：为标注项目配置对应的项目密码。

具体的，可以为标注项目配置对应的项目密码，这样只有拥有密码的用户才能够查看相应的标注项目，相当于为每个标注项目设置访问权限，提高了安全性。

S23：建立标注项目与待标注数据源之间的第一映射关系，以利用第一映射关系查看待标注数据源；

S24：获取待标注数据源中已有的历史标注数据，建立标注项目与历史标注数据的第二映射关系。

具体的，由于待标注数据源在本次标注项目新建前，可能已经有其它标注项目，因此，根据用户选择，可以获取待标注数据源中已有的历史标注数据，建立标注项目与历史标注数据的第二映射关系，这样通过本次的标注项目，也可以查看之前标注的标注数据。

S25：利用预设的文本标注模型，对待标注数据源中的目标标注数据标注可视化连接，以使用户通过可视化连接查看与目标标注数据对应的二维和/或三维标本数据。

S26：对待标注数据源中的标注数据和/或历史标注数据进行信息增强。

进一步的，可以对待标注数据源中的标注数据和/或历史标注数据进行信息增强，参见图4所示。其中包括当前文本已有的标注数据回显，如类别的显示、mask的显示、关键点显示、连接回显等。数据增强方法还支持导入已有机器学习模型，此方法可以驱动已有的模型获取待标注文本的预测标本，并支持将预测标本回显到源图之上。另一方面是信息增强模块的关键点，它支持对标注信息的自适应修订。如mask区域的标注标本，它可能有锯齿，导致对实例有侵入，或包含了部分背景和其他实例，此时自适应检测方法会基于优化算法对边界进行检测，以获取更好的mask标注边界，方便标注人员实现精细化标注，提高标注效率。信息增强方法的边界检测方法也支持修订模式设置，比如对于某种文本数据，边界一般呈现出边界线是水平或竖向的直线，拐角是垂直的，那么用户可以设置相应的模式，这样边界检测及其修订会更加准确。

S27：接收快捷键自定义信息，以使用户自定义操作快捷键，实现利用键盘按键、鼠标按键、鼠标指针轨迹和/或手势及组合控制方式。

具体的，为了方便用户使用，可以接收快捷键自定义信息，以使用户自定义操作快捷键，实现利用键盘按键、鼠标按键、鼠标指针轨迹和/或手势及组合控制方式。可以在完成一个样本标注后使用热键对标注实例进行切换、可以进入新的实例标注、可以切换待标注样本、可以进入标注的样本展示。同时，还提供了标本的隐藏功能，使用此功能可以让同一个待标注样本的多个标本进行部分隐藏，方便用户观察和对比部分实例。

此外，一个文本标注项目标注完成之后，支持通过身份验证后，导出标注标本。身份验证后，可以直接导出当前项目的所有标注标本为明文，提供给AI模型训练，也可以将相同数据源的不同项目标本整合到一起，还可以将当前项目的部分类别、部分数据(待标注文本)的标本进行明文导出。

可见，本发明实施例可以将标注工作和标注后标本的使用进行权限分离，使用管理者可以单独拥有使用权限，而标注人员不能使用项目的标注明文。有利于标注标本的保护，防止意外泄露标注数据，并且提供了正多边形、连接和自定义标签类型等标注形式，为更多的标注数据类型提供了可能性，方便研究人员提出新的模型，本发明实施例使用的边界检测算法优化了标注人员的标注标本，实现了工具的自动化精标工作，同时利用多维度的标本展示功能，为用户提供了标注标本和预测标本的展示、对比功能，还支持标本导出，通过密码验证且可以以多种形式导出标本明文。其中主要包括导出当前项目的标本、导出同数据源的多个项目标本、导出当前项目数据源的部分数据的标本、导出数据源的部分标本类型下的标本。另外，也支持多语言AI模型的导入、明文标本加载为模型使用的标本接口。可以减轻程序员在数据预处理上的工作。

此外，本发明实施例还公开了一种文本标注装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序以实现如前述的文本标注方法。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本发明所提供的技术内容进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种文本标注方法，其特征在于，包括：

为待标注数据源新建标注项目；

建立所述标注项目与所述待标注数据源之间的第一映射关系，以利用所述第一映射关系查看所述待标注数据源；

利用预设的文本标注模型，对所述待标注数据源中的目标标注数据标注可视化连接，以使用户通过所述可视化连接查看与所述目标标注数据对应的二维和/或三维标本数据。

2.根据权利要求1所述的文本标注方法，其特征在于，所述利用预设的文本标注模型，对所述待标注数据源中的目标标注数据标注可视化连接，以使用户通过所述可视化连接查看与所述目标标注数据对应的二维标本数据的过程，包括：

利用所述文本标注模型，对所述待标注数据源中目标像素点进行标注，添加对应的二维显示连接，以使用户通过所述二维显示连接查看与所述目标标注数据对应的二维标本数据。

3.根据权利要求2所述的文本标注方法，其特征在于，所述利用所述文本标注模型，对所述待标注数据源中目标像素点进行标注，添加对应的二维显示连接的过程，包括：

利用所述文本标注模型，以所述目标像素点为中心渲染一个膨胀的九宫格，利用箭头指向九宫格中存在与所述目标像素点对应的二维显示连接；

其中，所述九宫格中每一个格子用于代表一个与所述目标像素点对应的二维显示连接。

4.根据权利要求3所述的文本标注方法，其特征在于，所述用预设的文本标注模型，对所述待标注数据源中的目标标注数据标注可视化连接，以使用户通过所述可视化连接查看与所述目标标注数据对应的三维标本数据的过程，包括：

利用所述文本标注模型，对所述待标注数据源中所述目标标注数据进行三维标注，提供与所述目标标注数据对应的三维类别图层。

5.根据权利要求4所述的文本标注方法，其特征在于，所述利用所述文本标注模型，对所述待标注数据源中目标标注数据进行三维标注，得到三维标注数据，以利用所述三维标注数据查看与所述目标标注数据对应的标本数据的三维类别图层的过程，包括：

利用所述文本标注模型，通过3D渲染稀疏矩阵对所述待标注数据源中目标标注数据进行三维标注，得到三维标注数据，以利用所述三维标注数据查看与所述目标标注数据对应的标本数据的三维类别图层。

6.根据权利要求1至5任一项所述的文本标注方法，其特征在于，还包括：

获取所述待标注数据源中已有的历史标注数据，建立所述标注项目与所述历史标注数据的第二映射关系。

7.根据权利要求1至5任一项所述的文本标注方法，其特征在于，所述为待标注数据源新建标注项目之后，还包括：

为所述标注项目配置对应的项目密码。

8.根据权利要求1至5任一项所述的文本标注方法，其特征在于，还包括：

对所述待标注数据源中的所述标注数据和/或所述历史标注数据进行信息增强。

9.根据权利要求1至5任一项所述的文本标注方法，其特征在于，还包括：

接收快捷键自定义信息，以使用户自定义操作快捷键，实现利用键盘按键、鼠标按键、鼠标指针轨迹和/或手势及组合控制方式。

10.一种文本标注装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至9任一项所述的文本标注方法。

Images