CN108830466A

CN108830466A - 一种基于云平台的图像内容语义标注系统和方法

Info

Publication number: CN108830466A
Application number: CN201810548686.6A
Authority: CN
Inventors: 焦健; 刑警; 张沛轩; 张立华
Original assignee: Changchun Bori Electronic Technology Co Ltd
Current assignee: Changchun Bori Electronic Technology Co Ltd
Priority date: 2018-05-31
Filing date: 2018-05-31
Publication date: 2018-11-16

Abstract

本发明公开了一种基于云平台的图像内容语义标注系统和方法，属于图像标注技术领域。本发明通过提供基于云的在线人员管理和图像管理来节省时间，减少管理成本；通过标注审核模块、半自动标注模块作为图像标注的审核纠错系统来发现和改正标注人员产生的错误或者不精确标注，提高标注的准确率；通过提供多种多样的图像标注方法使该图像标注工具获得广泛的应用场景；还提供了基于深度学习的半自动标注模块，用来辅助图像标注模块。在标注人员进行标注前提供基于深度学习的预标注，标注人员根据预标注结果进行调整，减少标注人员工作量，节省人工成本，缩短标注周期。

Description

一种基于云平台的图像内容语义标注系统和方法

技术领域

本发明属于图像标注技术领域，特别是涉及到一种基于云平台的图像内容语义标注系统和方法。

背景技术

随着近年来人工智能的发展。图像标注任务的需求越来越大。随即出现了一些用于标注图像的工具.这些标注图像的工具多数是桌面版的离线应用程序。

现有技术中的标注图像的工具主要有以下几种：一、基于标签的图像标注。这种标注方法是给图像打标签。例如：输入一张图像，图像标注的输出结果为输出几个关键词。二、桌面版的图像标注应用程序。这种标注方法一般用于为基于深度学习的目标检测和识别算法提供训练数据。例如：一张图中有多架飞机，标注时对图中每一架飞机都用矩形框标记并且记录相应的长宽坐标等信息。三、在线图像标注网站。现有的在线图像标注网站仅仅提供单一类型的标注，并缺少管理功能等。

现有技术中的标注图像的工具主要存在以下缺陷：

1)缺少有效的对大量图像以及众多标注人员的管理，工作效率低。离线版本的图像标注工具只能单机运行。对于有些标注需求图片数量能达到几万甚至几十万，显然无法一个人完成。这种离线的单机版无法完成项目成员之间的相互协作，以及整个标注任务的管理。需要给标注人员分发图像。最后收集标注结果。

2)标注类型单一。有的标注工具只能给图像添加标签类型的标注。有的只能提供用于目标检测的矩形框标注或者特征点标注，而不能提供适应多种任务的多种标注类型。这样限制了工具的应用场景。

3)缺少审核以及纠错流程。现有的图像标注工具缺少对标注结果进行审核以及对错误标注的纠错功能，降低了标注的整体准确率。

4)缺少半自动标注功能。半自动标注是用深度学习算法对待标准图像进行初步标注，然后进行人工审核。

因此现有技术当中亟需要一种新型的技术方案来解决这一问题。

发明内容

本发明所要解决的技术问题是：提供一种基于云平台的图像内容语义标注系统和方法，用于解决现有技术中的标注图像的工具缺少有效的对大量图像以及众多标注人员的管理，工作效率低；标注类型单一；缺少审核以及纠错流程以及缺少半自动标注功能的技术问题。

一种基于云平台的图像内容语义标注系统，包括服务端服务器和客户端服务器，

所述服务端服务器为具有云服务功能的存储服务器和运算服务器，用于用户信息存储、图像存储和人工智能引擎；

所述客户端服务器包括标注人员管理模块、图像管理模块、图像标注模块、标注审核模块、半自动标注模块和标注下载模块；

所述标注人员管理模块用于用户注册登录、加入或退出组织用户以及用户搜索；

所述图像管理模块用于创建图像目录、图像上传、生成图像标注任务指令并分配给标注人员；

所述图像标注模块用于标注图像、添加或者删除图像标注、放大或者缩小图像、添加或者删除标注物体的类别、显示图像列表；

所述标注审核模块用于对标注完成的图像创建审核任务，并将显示审核出错的图像传送给标注人员纠错；

所述半自动标注模块用于在标注人员标注前对图像进行预标注；

所述标注下载模块用于下载标注数据。

一种基于云平台的图像内容语义标注的方法，利用所述的一种基于云平台的图像内容语义标注系统，包括以下步骤，并且以下步骤顺次进行，

步骤一、用户注册以及登录：

在客户端服务器上打开登录界面，用户输入用户名密码以及头像，完成注册和登录，进入标注界面；

步骤二、创建图片标注项目

在标注界面点击创建图像标注项目，设置所述项目所要标注的物体的种类；

步骤三、上传待标注图像

在步骤二中创建的项目中点击上传图像按钮进入上传页面，在本地电脑上选择上传的图像或者包含图像的文件夹并拖拽到上传页面上，点击开始按钮上传当前图像，上传后的图像作为待标注图像存储至服务端服务器；

步骤四、为标注人员分配任务

项目管理员进入项目人员页面，添加参与标注的人员到项目人员列表中，进入任务页面，选择要标注的图像和标注人员，点击创建任务，为选定的标注人员分配标注任务；

步骤五、标注人员对图像进行标注

1)进入标注页面：标注人员进入项目主页，点击任务列表，查看属于自己的任务，选择一个待完成的任务，点击该任务进入标注页面；

2)选择标注工具：在标注页面的侧边栏中选择标注工具；

3)添加新的标注：在标注页面一侧的标注列表上点击添加按钮添加，页面上弹出添加标注窗口，在所述添加标注窗口上选择将要添加的标注类型；

4)选取标注目标范围:在标注目标的左上角点击一次，拖动鼠标到目标的右下角，再次点击，鼠标拖动选定的范围为标注目标范围；

5)服务端服务器标注：将标注目标范围的图像和标注类型信息发送到服务端服务器的人工智能引擎，人工智能引擎启动基于CNN卷积神经网络CNN的深度学习算法，对图像进行标注，将标注结果返回到客户端服务器的客户端窗口；

6)标注完成：标注人员查看该标注结果，标注结果有偏差，标注人员通过标注工具进行人工改正；

标注结果准确，标注人员点击确认按钮，完成标注，标注列表中显示新的标注；

步骤六、标注审核：审核人员打开步骤四中已经完成标注的图像，对标注结果进行审核，审核通过，点击通过按钮，该标注显示已审核状态；审核未通过，审核人员输入未通过的原因,并将该图片重新发送给标注人员，标注人员重复步骤五重新标注；

步骤七、下载标注结果

用户在下载页面选择已审核状态中需要下载的图像，点击下载，服务端服务器将用户选择的图像压缩为一个文件发送到客户端服务器。

所述步骤五中标注工具包括关键点标注、标签标注，矩形标注、多边形标注、像素级分割标注、人体骨架标注以及半自动标注。

所述步骤五中的标注类型包括关键点标注、标签标注，矩形标注、多边形标注、像素级分割标注、人体骨架标注以及半自动标注。

通过上述设计方案，本发明可以带来如下有益效果：

1)高效：

通过提供基于云的在线人员管理和图像管理来节省时间，减少管理成本。

2)高准确率：

通过标注审核模块、半自动标注模块作为图像标注的审核纠错系统来发现和改正标注人员产生的错误或者不精确标注，提高标注的准确率。

3)高度适应性：

通过提供多种多样的图像标注方法使该图像标注工具获得广泛的应用场景；

4)半自动标注模块辅助功能：

还提供了基于深度学习的半自动标注模块，用来辅助图像标注模块。在标注人员进行标注前提供基于深度学习的预标注，标注人员根据预标注结果进行调整，减少标注人员工作量，节省人工成本，缩短标注周期。

附图说明

以下结合附图和具体实施方式对本发明作进一步的说明：

图1为本发明一种基于云平台的图像内容语义标注系统和方法中的系统结构框图。

图2为本发明一种基于云平台的图像内容语义标注系统和方法中方法流程框图。

具体实施方式

一种基于云平台的图像内容语义标注系统，包括服务端服务器和客户端服务器：

一、服务端服务器:

服务端服务器是整个云服务的存储服务器和运算服务器包括一下几部分：

1)、用户信息存储：存储用户信息，包括用户名，密码，头像等；存储组织成员，如公司，小组等信息的数据库。

2)、图像存储：用于存储图像标注任务中的图像，图像按照所在目录结构树形存储。

3)、人工智能引擎：为基于深度学习的半自动标注模块提供神经网络运算。

二、客户端服务器：

客户端服务器是系统提供的面向标注用户的云服务，包括以下几个部分：

1)、标注人员管理模块：包括用户注册登录、加入退出组织用户以及用户搜索。

2)、图像管理模块：包括创建图像目录、图像上传、生成图像标注任务并分配给标注人员。

3)、图像标注模块：对待标注图像进行标注，该模块包括可显示图像列表、添加或者删除图像标注、对图像进行放大或者缩小、添加或者删除标注物体的类别并包含多种标注工具。标注工具包括：关键点标注、标签标注，矩形标注、多边形标注、像素级分割标注、人体骨架标注以及半自动标注。

4)、标注审核模块：该模块对标注完成的图像创建审核任务，并将审核出错的图像交给标注人员纠错。同时该模块提供基于深度学习的自动审核用来找出一些低级的错误。

5)、半自动标注模块：该模块用来辅助图像标注模块。在标注人员进行标注前提供基于深度学习的预标注，标注人员根据预标注结果进行调整。该模块可以减少标注人员工作量。

6)、标注下载模块：在标注完成后，可以对标注数据进行下载。下载前可以对图片进行选择，同时可以选择下载哪些种类的标注数据。

步骤一、用户注册以及登录：

用户在客户端服务器输入用户名密码以及头像，完成注册和登录。

步骤二、创建图片标注项目

登录后在网页上点击创建项目，创建一个图像标注项目，然后设置项目所要标注的物体的种类。

步骤三、上传待标记图像

在上述创建的项目中点击上传图像进入上传页面，在本地电脑上选择将要上传的图像或者包含图像的文件夹拖拽到上传页面上，点击开始按钮上传当前图像，之后等待上传结束。

步骤四、为标注人员分配任务

项目管理员进入项目人员页面，将参与标注的人员添加到项目中，然后进入任务页面，选择要标注的图像和标注人员，点击创建任务，为这些标注人员分配标注任务。

步骤五、标注人员对图像进行标注

1)、进入标注页面：标注人员进入项目主页，点击任务列表，查看所有属于自己的任务。选择一个没有完成的任务，点击该任务进入标注页面。

2)、选择标注工具：在标注页面左侧边栏选择一个标注工具，这里选择半自动标注。

3)添加一个新的标注：在标注页面右侧标注列表上点击添加按钮添加一个新的标注。在添加标注窗口选择一个将要添加的标注类型。

4)选取标注目标范围:在要标记的目标左上角点击一次，拖动鼠标到目标右下角，再次点击确定目标范围。

5)服务端服务器标注：在确定标注目标后。目标区域的图像和标注类型信息会发送到服务端服务器的人工智能引擎。该引擎会启动基于CNN(卷积神经网络)的深度学习算法，对图像进行标注。然后将标注结果返回到客户端窗口。标注人员查看改结果，如果该结果有不足之处，人工进行改正。

步骤六、标注完成：标注人员在确认标注无误后点击确认按钮，完成标注，标注列表中显示新的标注。

步骤六、标注审核：审核人员打开已经完成标注的图像，观察标注是否正确以及准确。如果审核通过，点击通过按钮。该标注将变为已审核状态。如果审核没有通过，审核人员输入没有通过的原因,之后该图片会重新发送给标注人员重复步骤五。

步骤七、下载标注结果

在图片变为已审核状态后。可以对图像进行下载。在下载页面选择需要下载的图像，然后点击下载。服务端服务器会挑选用户选择的图像，并将它们压缩为一个文件。之后发送到客户端服务器。

Claims

1.一种基于云平台的图像内容语义标注系统，其特征是：包括服务端服务器和客户端服务器，

所述标注下载模块用于下载标注数据。

2.一种基于云平台的图像内容语义标注的方法，利用如权利要求1所述的一种基于云平台的图像内容语义标注系统，其特征是：包括以下步骤，并且以下步骤顺次进行，

步骤一、用户注册以及登录：

步骤二、创建图片标注项目

步骤三、上传待标注图像

步骤四、为标注人员分配任务

步骤五、标注人员对图像进行标注

2)选择标注工具：在标注页面的侧边栏中选择标注工具；

步骤七、下载标注结果

3.根据权利要求2所述的一种基于云平台的图像内容语义标注的方法，其特征是：所述步骤五中标注工具包括关键点标注、标签标注，矩形标注、多边形标注、像素级分割标注、人体骨架标注以及半自动标注。

4.根据权利要求2所述的一种基于云平台的图像内容语义标注的方法，其特征是：所述步骤五中的标注类型包括关键点标注、标签标注，矩形标注、多边形标注、像素级分割标注、人体骨架标注以及半自动标注。