CN108829435A - 一种图像标注方法及通用图像标注工具 - Google Patents

Abstract

本申请提供了一种图像标注方法，根据图像标注需求对功能配置文件进行配置和解析，加载相应的功能模块，生成标注工具；根据所述标注工具中的绘制插件对图像进行标绘，并根据所述标注工具中的界面插件对标绘后的图像的属性进行标注，对图像进行标绘包括打点标绘、标线标绘、标框标绘和区域标绘。根据不同的图像标注需求可以灵活配置生成相应的标注工具，实现了打点标绘、标线标绘、标框标绘和区域标绘，还可以实现对标绘后的图像的属性进行标注，提高了图像标注的效率。

Description

一种图像标注方法及通用图像标注工具

技术领域

本发明涉及图像处理技术领域，更具体的，涉及一种图像标注方法及通用图像标注工具。

背景技术

随着无人驾驶技术的兴起和发展，无人驾驶技术中最核心的智能识别技术成为研究重点。例如汽车行驶在道路上，它是否能准确识别前方的障碍物，在遇到红绿灯应该停止还是通行，而智能识别技术的发展得益于庞大的、准确的道路、街景样例数据，这些数据可以帮助改进和优化智能识别技术。

图像标注工具可以快速、便捷、高效的生产智能识别技术所需要的样例数据，目前已经存在的类似技术方案，这些技术方案都可以基于图片进行绘图和标注，但所解决的只是特定领域的业务需求。如Openlayers和Leaflet是一套开源的WebGIS客户端JavaScript库，都可以支持在地图图片上展示空间信息和图形要素，也可以在地图上进行图形的标注和绘制。但它们是地理信息系统的解决方案，围绕的核心是地理数据，而地理数据是各种地理特征、空间位置特征和时域特征的总和，不能作为智能识别算法的学习和训练数据来使用。

发明内容

有鉴于此，本发明提供了一种图像标注方法及通用图像标注工具，根据不同的图像标注需求可以灵活配置生成相应的标注工具，提高了图像标注的效率。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种图像标注方法，包括：

根据图像标注需求对功能配置文件进行配置和解析，加载相应的功能模块，生成标注工具；

根据所述标注工具中的绘制插件对图像进行标绘，并根据所述标注工具中的界面插件对标绘后的图像的属性进行标注，对图像进行标绘包括打点标绘、标线标绘、标框标绘和区域标绘。

可选的，所述根据图像标注需求对功能配置文件进行配置和解析，加载相应的功能模块，生成标注工具，包括：

根据图像标注需求中的业务场景对功能配置文件进行配置；

对所述功能配置文件进行解析，根据所述功能配置文件中的业务场景标识确定业务插件集合；

对所述业务插件集合对应的每个功能模块进行加载，并根据所述功能配置文件分别创建每个功能模块的对象实例；

加载地图模块，根据所述功能配置文件对地图模块的相关参数进行初始化；

当完成所有的加载和初始化后生成标注工具。

可选的，所述根据所述标注工具中的绘制插件对图像进行标绘，包括：

监听鼠标事件和/或键盘事件，获取用户标绘图像在屏幕坐标系中的坐标；

将用户标绘图像在屏幕坐标系中的坐标转换为用户标绘图像在地图坐标系中的坐标；

根据用户标绘图像在地图坐标系中的坐标，创建与用户标绘图像相对应的对象；

在地图中绘制与用户标绘图像相对应的对象。

一种通用图像标注工具，包括：

标注工具生成单元，用于根据图像标注需求对功能配置文件进行配置和解析，加载相应的功能模块，生成标注工具；

图像标注单元，用于根据所述标注工具中的绘制插件对图像进行标绘，并根据所述标注工具中的界面插件对标绘后的图像的属性进行标注，对图像进行标绘包括打点标绘、标线标绘、标框标绘和区域标绘。

可选的，所述标注工具生成单元包括：

配置子单元，用于根据图像标注需求中的业务场景对功能配置文件进行配置；

解析子单元，用于对所述功能配置文件进行解析，根据所述功能配置文件中的业务场景标识确定业务插件集合；

第一加载子单元，用于对所述业务插件集合对应的每个功能模块进行加载，并根据所述功能配置文件分别创建每个功能模块的对象实例；

第二加载子单元，用于加载地图模块，根据所述功能配置文件对地图模块的相关参数进行初始化；

生成子单元，用于当完成所有的加载和初始化后生成标注工具。

可选的，所述图像标注单元包括：

监听子单元，用于监听鼠标事件和/或键盘事件，获取用户标绘图像在屏幕坐标系中的坐标；

转换子单元，用于将用户标绘图像在屏幕坐标系中的坐标转换为用户标绘图像在地图坐标系中的坐标；

创建子单元，用于根据用户标绘图像在地图坐标系中的坐标，创建与用户标绘图像相对应的对象；

绘制子单元，用于在地图中绘制与用户标绘图像相对应的对象。

相对于现有技术，本发明的有益效果如下：

本发明公开的一种图像标注方法及通用图像标注工具，根据图像标注需求对功能配置文件进行配置和解析，加载相应的功能模块，生成标注工具，根据不同的图像标注需求可以灵活配置生成相应的标注工具，满足了不同图像标注需求，并实现了打点标绘、标线标绘、标框标绘和区域标绘，还可以实现对标绘后的图像的属性进行标注，提高了图像标注的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种图像标注方法流程图；

图2为本发明实施例公开的一种生成标注工具的方法流程图；

图3为本发明实施例公开的一种图像标绘方法流程图；

图4为本发明实施例公开的一种通用图像标注工具结构示意图；

图5为本发明实施例公开的一种通用图像标注工具整体架构图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本实施例公开了一种图像标注方法，应用于通用图像标注工具，具体包括以下步骤：

S101：根据图像标注需求对功能配置文件进行配置和解析，加载相应的功能模块，生成标注工具；

图像标注需求可以为无人驾驶图像标注需求、关键点图像标注需求、智能家居图像标注需求、图文识别类图像标注需求等。

可以根据不同的图像标注需求对功能配置文件进行配置，对功能配置文件进行配置具体为对不同标注功能参数的配置。

可以理解的是，不同图像标注需求配置后的功能配置文件不同。

通过对配置完成的功能配置文件进行解析，得到标注功能参数，并根据标注功能参数加载相应的功能模块，加载后的功能模块组成标注工具。

S102：根据所述标注工具中的绘制插件对图像进行标绘，并根据所述标注工具中的界面插件对标绘后的图像的属性进行标注。

标注工具具体是以插件的形式存在的，对图像进行标绘包括打点标绘、标线标绘、标框标绘和区域标绘，因此，相应的绘制插件包括打点标绘插件、标线标绘插件、标框标绘插件和区域标绘插件。

其中，打点标绘需要标识出物体的关键点位置，主要满足对特征要求细致的标注业务，如人脸关键点标注、人体骨骼关键点标注等。

标线标绘标识出物体的骨架，通常是一条曲线，主要应用于比较精细化的标注业务，如自动驾驶中的道路线识别。

标框标绘标识出物体的位置范围，通常是一个矩形框区域，如人脸识别、行人识别、车辆物体等识别。

区域标绘标识出物体的轮廓范围，与标框标绘相比要求更加精细，需要准确的绘制出物体的边界，通常数据更加精准。如自动驾驶中的道路识别、车辆物体识别，也包括驾驶环境相关的物体识别，如建筑物、天空、树木等。

界面插件是对标绘后的图像的属性进行标注的插件，包括类型级联组件和标注表单，其中，类型级联组件实现了点、线、框和区域之间的关联性标注，标注表单实现了对标绘后的图像的不同属性的标注，属性可以为图像本身的属性，也可以为图像中内容的属性，例如图像为人，人的属性可以为情绪、性别和年龄等。

比如标绘一辆汽车，需要区域标绘插件，对汽车的轮廓进行标绘，在完成标绘后界面插件提供一个对话框，对汽车的属性进行标注，如在道路上、白色车身等属性。

具体的，请参阅图2，所述根据图像标注需求对功能配置文件进行配置和解析，加载相应的功能模块，生成标注工具，包括：

S201：根据图像标注需求中的业务场景对功能配置文件进行配置；

业务场景可以为无人驾驶类、关键点类、智能家居类和图文识别类等，每个业务场景对应一个业务场景标识。

S202：对所述功能配置文件进行解析，根据所述功能配置文件中的业务场景标识确定业务插件集合；

单独的插件功能是无法独立运行的，需要一个业务插件集合进行运行，从而输出具体的标注工具，完成具体的标注。

S203：对所述业务插件集合对应的每个功能模块进行加载，并根据所述功能配置文件分别创建每个功能模块的对象实例；

S204：加载地图模块，根据所述功能配置文件对地图模块的相关参数进行初始化；

地图模块的相关参数包括地图比例尺、地图中心点坐标等。

S205：当完成所有的加载和初始化后生成标注工具。

请参阅图3，所述根据所述标注工具中的绘制插件对图像进行标绘，包括：

S301：监听鼠标事件和/或键盘事件，获取用户标绘图像在屏幕坐标系中的坐标；

其中，鼠标事件包括单击、双击、右击、鼠标滑轮等，响应于用于对鼠标的操作，对应的用户操作行为为鼠标滑轮操作放大地图，按住鼠标左键拖动地图等操作。键盘事件主要是用来响应用户的键盘操作，如用户使用键盘的方向键拖动地图。

S302：将用户标绘图像在屏幕坐标系中的坐标转换为用户标绘图像在地图坐标系中的坐标；

例如，用户在地图上用鼠标点一下绘制了一个点，那么这么个点会自动映射到图片上的对应点。将用户标绘图像在屏幕坐标系中的坐标转换为用户标绘图像在地图坐标系中的坐标十分有必要，因为任何的数据标注，都是对图片中的物体来操作的，所以必须准确的来标注所标注的物体坐标和范围。

S303：根据用户标绘图像在地图坐标系中的坐标，创建与用户标绘图像相对应的对象；

具体的，根据用户标绘图像在地图坐标系中的坐标，创建与用户标绘图像相对应的对象，包括：

1)鼠标点击产生一个原始点(x,y)；

2)地图监听鼠标点击事件，获得这个原始点(x,y)；

3)地图调度坐标系转换模块，并将原始点(x,y)传递进去；

4)坐标系获得底图图片的宽w高h，将原始点转换成地图坐标点(x0,y0),返回给地图；

5)地图传递给组件模块，组件模块创建图形数据结构对象p，并根据地图坐标点(x0,y0)初始化形成p(x0,y0)；

S304：在地图中绘制与用户标绘图像相对应的对象。

具体的，在地图中绘制与用户标绘图像相对应的对象，包括：

1)始化形成p(x0,y0)；

2)组件模块将点p(x0,y0)传递给图层模块；

3)图层模块存储点p(x0,y0)并立即触发图形更新事件，告之地图模块；

4)地图模块接到通知调度渲染模块；

5)渲染模块去图层模块获取点p(x0,y0)，并在canvas上绘制点p。

本实施例公开的通用图像标注工具可以根据不同的图像标注需求进行配置和解析，加载相应的功能模块，生成相应的标注工具，根据不同的图像标注需求可以灵活配置生成相应的标注工具，满足了不同图像标注需求。并能根据标注工具实现了打点标绘、标线标绘、标框标绘和区域标绘，还可以实现对标绘后的图像的属性进行标注，提高了图像标注的效率。

基于上述实施例公开的一种图像标注方法，请参阅图4，本实施例对应公开了一种通用图像标注工具，具体包括：

标注工具生成单元401，用于根据图像标注需求对功能配置文件进行配置和解析，加载相应的功能模块，生成标注工具；

图像标注单元402，用于根据所述标注工具中的绘制插件对图像进行标绘，并根据所述标注工具中的界面插件对标绘后的图像的属性进行标注，对图像进行标绘包括打点标绘、标线标绘、标框标绘和区域标绘。

所述标注工具生成单元401包括：

配置子单元，用于根据图像标注需求中的业务场景对功能配置文件进行配置；

解析子单元，用于对所述功能配置文件进行解析，根据所述功能配置文件中的业务场景标识确定业务插件集合；

第一加载子单元，用于对所述业务插件集合对应的每个功能模块进行加载，并根据所述功能配置文件分别创建每个功能模块的对象实例；

第二加载子单元，用于加载地图模块，根据所述功能配置文件对地图模块的相关参数进行初始化；

生成子单元，用于当完成所有的加载和初始化后生成标注工具。

所述图像标注单元402包括：

监听子单元，用于监听鼠标事件和/或键盘事件，获取用户标绘图像在屏幕坐标系中的坐标；

转换子单元，用于将用户标绘图像在屏幕坐标系中的坐标转换为用户标绘图像在地图坐标系中的坐标；

创建子单元，用于根据用户标绘图像在地图坐标系中的坐标，创建与用户标绘图像相对应的对象；

绘制子单元，用于在地图中绘制与用户标绘图像相对应的对象。

请参阅图5，图5为本实施例公开的通用图像标注工具的整体架构图，本实施例公开的通用图像标注工具采用三层架构，分为基础平台库、通用产品库和应用工具层。

其中，基础平台库主要实现三大模块功能。第一是图形功能，包括图形的绘制与编辑、图形样式设置与渲染、高级图形操作的功能。第二是导航功能，包括底图的平移、放大与缩小、等比例显示等导航功能。第三是数据管理功能，规定了基础平台库数据的规范，包括数据的输入和数据的输出格式。

通用产品库是一套基础的数据标注产品库，是对基础平台库的二次业务封装。这一层包括多种标注场景，例如：无人驾驶、关键点、智能家居、图文识别等类，并能根据这些基础场景做进一步的定制开发工作。

应用工具层，是响应具体的标注业务要求，满足客户数据定制要求的工具层。在这一层可以具体定制的部分包括数据输出格式、标注功能以及页面的样式。

本实施例公开的通用图像标注工具可以根据不同的图像标注需求进行配置和解析，加载相应的功能模块，生成相应的标注工具，根据不同的图像标注需求可以灵活配置生成相应的标注工具，满足了不同图像标注需求。并能根据标注工具实现了打点标绘、标线标绘、标框标绘和区域标绘，还可以实现对标绘后的图像的属性进行标注，提高了图像标注的效率。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种图像标注方法，其特征在于，包括：

根据图像标注需求对功能配置文件进行配置和解析，加载相应的功能模块，生成标注工具；

根据所述标注工具中的绘制插件对图像进行标绘，并根据所述标注工具中的界面插件对标绘后的图像的属性进行标注，对图像进行标绘包括打点标绘、标线标绘、标框标绘和区域标绘。

2.根据权利要求1所述的方法，其特征在于，所述根据图像标注需求对功能配置文件进行配置和解析，加载相应的功能模块，生成标注工具，包括：

根据图像标注需求中的业务场景对功能配置文件进行配置；

对所述功能配置文件进行解析，根据所述功能配置文件中的业务场景标识确定业务插件集合；

对所述业务插件集合对应的每个功能模块进行加载，并根据所述功能配置文件分别创建每个功能模块的对象实例；

加载地图模块，根据所述功能配置文件对地图模块的相关参数进行初始化；

当完成所有的加载和初始化后生成标注工具。

3.根据权利要求1所述的方法，其特征在于，所述根据所述标注工具中的绘制插件对图像进行标绘，包括：

监听鼠标事件和/或键盘事件，获取用户标绘图像在屏幕坐标系中的坐标；

将用户标绘图像在屏幕坐标系中的坐标转换为用户标绘图像在地图坐标系中的坐标；

根据用户标绘图像在地图坐标系中的坐标，创建与用户标绘图像相对应的对象；

在地图中绘制与用户标绘图像相对应的对象。

4.一种通用图像标注工具，其特征在于，包括：

标注工具生成单元，用于根据图像标注需求对功能配置文件进行配置和解析，加载相应的功能模块，生成标注工具；

图像标注单元，用于根据所述标注工具中的绘制插件对图像进行标绘，并根据所述标注工具中的界面插件对标绘后的图像的属性进行标注，对图像进行标绘包括打点标绘、标线标绘、标框标绘和区域标绘。

5.根据权利要求4所述的通用图像标注工具，其特征在于，所述标注工具生成单元包括：

配置子单元，用于根据图像标注需求中的业务场景对功能配置文件进行配置；

解析子单元，用于对所述功能配置文件进行解析，根据所述功能配置文件中的业务场景标识确定业务插件集合；

第一加载子单元，用于对所述业务插件集合对应的每个功能模块进行加载，并根据所述功能配置文件分别创建每个功能模块的对象实例；

第二加载子单元，用于加载地图模块，根据所述功能配置文件对地图模块的相关参数进行初始化；

生成子单元，用于当完成所有的加载和初始化后生成标注工具。

6.根据权利要求4所述的通用图像标注工具，其特征在于，所述图像标注单元包括：

监听子单元，用于监听鼠标事件和/或键盘事件，获取用户标绘图像在屏幕坐标系中的坐标；

转换子单元，用于将用户标绘图像在屏幕坐标系中的坐标转换为用户标绘图像在地图坐标系中的坐标；

创建子单元，用于根据用户标绘图像在地图坐标系中的坐标，创建与用户标绘图像相对应的对象；

绘制子单元，用于在地图中绘制与用户标绘图像相对应的对象。