CN115205631A - 一种图像辅助标注系统 - Google Patents
一种图像辅助标注系统 Download PDFInfo
- Publication number
- CN115205631A CN115205631A CN202210829795.1A CN202210829795A CN115205631A CN 115205631 A CN115205631 A CN 115205631A CN 202210829795 A CN202210829795 A CN 202210829795A CN 115205631 A CN115205631 A CN 115205631A
- Authority
- CN
- China
- Prior art keywords
- image
- annotation
- labeling
- data
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 96
- 238000012549 training Methods 0.000 claims abstract description 81
- 238000011161 development Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000012795 verification Methods 0.000 claims abstract description 7
- 230000018109 developmental process Effects 0.000 claims description 22
- 238000013526 transfer learning Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000000691 measurement method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012986 modification Methods 0.000 abstract description 5
- 230000004048 modification Effects 0.000 abstract description 5
- 238000007726 management method Methods 0.000 description 13
- 238000012550 audit Methods 0.000 description 4
- GPRLSGONYQIRFK-MNYXATJNSA-N triton Chemical compound [3H+] GPRLSGONYQIRFK-MNYXATJNSA-N 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种图像辅助标注系统，该系统包括样本管理模块、数据标注模块、协作开发模块及辅助标注模块。本发明通过工程手段开发图像辅助标注平台，帮助标注工程师更方便的进行数据标注的工作，从繁杂的工作中解脱出来；本发明提供了辅助标注功能，根据预训练模型辅助标注图像；本发明提供了数据标注模块，支持图像在线标注，支持多种标注类型及多种标注框格式；本发明的模型训练过程自动调参，无需手工修改；本发明提供了样本管理功能，支持对图像及标签的版本进行管理；本发明提供了协作开发功能，支持多人在线协作标注、协作校验；本发明操作便捷，流程自动化，标注工程师不需要专业的知识。
Description
技术领域
本发明涉及图像标注领域，具体来说，涉及一种图像辅助标注系统。
背景技术
在计算机视觉领域，图像标注是最重要的任务之一。高精度的训练数据，对应着高质量的图像标注。图像标注对机器学习模型的性能有着重要的影响，标注数据质量越高、数量越多，模型的训练效果越好。
现有的图像标注技术主要是传统手工标注、半自动智能标注。传统手工标注任务复杂，繁琐，耗时，需要花大量时间整理和待标注数据，而且完全依赖于标注操作人员的专业知识，长时间标注的标签质量也无法保证。市面上一些半自动智能客户端标注工具，其内部仅仅集成了常见的物体检测等模型，无法满足各种类型图像的标注需求。另外一些半自动智能标注系统，如PaddleOCR(基于飞桨的OCR工具库)等系统，其标注的过程包括：手动训练模型、修改模型参数配置、然后再启动模型进行训练等，过程复杂，需要对AI充分了解的工程师才能上手，普通的标注工程师使用其平台需要学习成本。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种图像辅助标注系统，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种图像辅助标注系统，该系统包括样本管理模块、数据标注模块、协作开发模块及辅助标注模块；
所述样本管理模块，用于在线上传图像并对图像进行预处理，且对图像和图像导出的标签进行版本管理和版本控制；
所述数据标注模块，用于对图像标注数据进行归类、整理、编辑、纠错、标记及批注，并为待标注数据增加标签，且生产满足机器学习训练要求的机器可读数据编码；
所述协作开发模块，用于基于OT技术对创建的标注任务实现多人在线协作开发，且实时对图像标注的内容进行获取及对已标注图像的状态进行审核；
所述辅助标注模块，用于基于迁移学习对标注完成的小批量样本进行训练，并生成预训练模型，且通过预训练模型辅助标注新的未标注的图像，同时基于预测结果继续进行预训练模型的训练。
进一步的，所述在线上传图像并对图像进行预处理包括图像在线上传、图像预览、图像删除、创建标注任务及导出标签；
所述版本管理用于记录对图像和标签的改动，改动包括发布版本、版本记录展示及版本回退。
进一步的，所述数据标注模块支持的标注类型包括分类标注、框图标注、区域识别标注及描点标注；支持的标注框包括多边形、四边形及矩形；支持的标注任务包括目标检测、图像分类、语义分割、实例分割、文字识别及文字检测；
所述数据标注模块包括标注任务，标注任务实现图像的在线标注及根据预训练模型辅助标注，且标注完成的样本集为包含图像及标签的样本数据，并提供下载功能。
进一步的，所述数据的标注还包括以下步骤：
基于样本数据对标注任务进行创建，且在标注工作台进行图像的标注；
基于预先训练的预训练模型，自动的对图像数据进行预测，并在预测成功后，在标注工作台对预测结果进行显示，且对不合理的标注内容进行微调；
标注全部完成后，将标注任务的数据发布为图像+标签的标准样本数据。
进一步的，所述基于OT技术对创建的标注任务实现多人在线协作开发时，OT算法的核心是操作转换transform：
[A',B']＝transform(A,B)
apply[apply(S,A),B']＝apply[apply(S,B),A']
其中，apply()表示操作转字符串，A和B表示两个操作，A和B经过转换之后生成A`和B`，使得对于相同的内容S经过A和B`的应用结果等于经过B和A`的应用结果。
进一步的，所述多人在线协作开发还包括以下步骤：
标注任务创建后，将标注任务分享至不同的标注者，每个标注者均加入到标注任务中，即可协作开发；
网关程序将存储在NAS上的待标注图像自动分派至标注者，且每张图像之间的处理均互斥；
标注者A完成图像标注并提交后，其他标注者即可看到该标注者标注的图像；
所有图像标注完成后，提交审核，且图像标注审核成功后，发布为新的样本数据，并进行预训练模型的训练。
进一步的，所述基于迁移学习对标注完成的小批量样本进行训练时，训练包括样本转换及样本部署。
进一步的，所述基于预测结果继续进行预训练模型的训练还包括以下步骤：
工程师对预测结果进行检查及调整；
调整之后的图像作为新的样本，进行预训练模型的训练。
进一步的，所述迁移学习涉及领域D及任务，领域D定义为由d维特征空间X和边缘概率分布p(x)组成，其中x表示一个样本数据点，即：
D＝{X,p(x)},x＝{x1,x2…xn}∈X
给定一个领域D，任务T定义为由标签空间Y和预训练模型f(x)组成，即：
T＝{Y,f(x)},y∈X
按统计观点预训练模型f(x)＝P(y|x)，解释为条件概率分布。
进一步的，所述预训练模型的训练过程基于迁移学习，所述迁移学习还包括以下步骤：
数据准备：准备带标注的数据；
选择源任务：源任务为训练好的一个网络；
重用模型：把训练好的网络的前n层复制到目标网络的前n层，且随机初始化目标网络剩下的其他层；
调整模型：维持原有层的权重，并选择优化方法及度量方法；
训练和测试：开始训练目标任务，并迭代训练，直到精度和性能符合预期，并保存训练模型。
本发明的有益效果为：本发明通过工程手段开发图像辅助标注平台，帮助标注工程师更方便的进行数据标注的工作，从繁杂的工作中解脱出来。本发明提供了辅助标注功能，根据预训练模型辅助标注图像；本发明提供了数据标注模块，支持图像在线标注，支持多种标注类型及多种标注框格式；本发明的模型训练过程自动调参，无需手工修改；本发明提供了样本管理功能，支持对图像及标签的版本进行管理；本发明提供了协作开发功能，支持多人在线协作标注、协作校验；本发明操作便捷，流程自动化，标注工程师不需要专业的知识。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种图像辅助标注系统的平台架构图；
图2是根据本发明实施例的一种图像辅助标注系统的平台工作流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种图像辅助标注系统，将迁移学习、多人协作、数据库存储、文件存储等前后端技术整合起来实现的一种在线图像辅助标注平台，帮助标注工程师更方便的进行数据标注的工作，主要对象是在线图像辅助标注，指的是存储在服务器上、且需要在浏览器上访问样本集图像，并在线实现图像的手动标注及自动标注。参考图1为图像辅助标注平台架构图；
该平台按照分层架构实现，前后端分离，前端采用Vue框架，后端网关服务采用的是Django框架(一个开放源代码的Web应用框架)实现的无状态服务，网关服务Gateway支持横向扩容提高业务承载能力，基础服务包括NAS文件系统、Redis数据库、Mysql数据库、Inference服务、Triton服务，NAS文件系统主要用于存储非文本数据，比如图像、标签；Redis缓存作为访问数据库的缓存层，避免频繁访问数据库，减轻数据库访问压力；Inference服务提供模型转换、部署服务；Triton服务提供生成SDK(软件开发工具包)及预测服务。只需要一个浏览器即可使用该平台在线图像标注。
该平台按照分层架构实现，前后端分离，前端页面选用Vue.js实现图像辅助标注平台的页面布局和交互逻辑，Web服务器将前端页面发送的HTTP API请求转发到后端网关服务Gateway，该网关服务对外提供HTTP API接口调用，所有API接口都是无状态的，所以能够通过网关服务横向扩容来提高业务承载能力；
Mysql数据库和NAS文件系统主要存储图像辅助标注平台的业务数据；
进一步，通过浏览器注册图像辅助标注平台账户，登录平台，实现上传样本集，在浏览器端进行在线标注，上传的图像等数据关联信息存储在Mysql中，数据内容存储在NAS文件系统中。
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的图像辅助标注系统，该系统包括样本管理模块、数据标注模块、协作开发模块及辅助标注模块；
所述样本管理模块，用于在线上传图像并对图像进行预处理，且对图像和图像导出的标签进行版本管理和版本控制(即用于图像在线上传、图像预览、标签导出、图像及标签的版本管理、标注任务的创建)；
其中，所述在线上传图像并对图像进行预处理包括图像在线上传、图像预览、图像删除、创建标注任务及导出标签；
所述版本管理用于记录对图像和标签的改动，改动包括发布版本、版本记录展示及版本回退。
所述数据标注模块，用于对图像标注数据进行归类、整理、编辑、纠错、标记及批注等操作，并为待标注数据增加标签，且生产满足机器学习训练要求的机器可读数据编码(即用于图像在线标注、根据预训练模型辅助标注、标注框预览、下载标注后的标签)；
其中，所述数据标注模块支持的标注类型包括分类标注、框图标注、区域识别标注及描点标注，以及其它标注等；支持的标注框包括多边形、四边形及矩形等；支持的标注任务包括目标检测、图像分类、语义分割、实例分割、文字识别及文字检测；
所述数据标注模块包括标注任务，标注任务实现图像的在线标注及根据预训练模型辅助标注，且标注完成的样本集为发布为标准的包含图像及标签的样本数据，并提供下载功能。
所述数据的标注还包括以下步骤：
基于样本数据对标注任务进行创建，且点击立即标注，在标注工作台进行图像的标注(手动)；
点击辅助标注，基于预先训练的预训练模型，自动的对图像数据进行预测，并在预测成功后，在标注工作台对预测结果进行显示(即实现了模型辅助标注功能)，预测结果支持在线编辑修改，且对不合理的标注内容进行微调；
标注全部完成后，将标注任务的数据发布为图像+标签的标准样本数据。
所述协作开发模块，用于基于OT(Operation Transformation)技术对创建的标注任务实现多人在线协作开发，包括协作标注、已标注图像的协作校验等，且实时对图像标注的内容进行获取及对已标注图像的状态进行审核(即用于多人在线协作标注、在线协作校验标签)；
其中，所述基于OT技术对创建的标注任务实现多人在线协作开发时，OT算法的核心是操作转换transform：
[A′，B′]＝transform(A，B)
apply[apply(S，A)，B′]＝apply[apply(S，B)，A′]
其中，apply()表示操作转字符串，A和B表示两个操作，A和B经过转换之后生成A`和B`，使得对于相同的内容S经过A和B`的应用结果等于经过B和A`的应用结果。
所述多人在线协作开发还包括以下步骤：
标注任务创建后，将标注任务分享至不同的标注者，每个标注者均加入到标注任务中，即可协作开发；
网关程序将存储在NAS上的待标注图像自动分派至标注者，且每张图像之间的处理均互斥；标注者A正在标注此图像时，程序不会将该图像分派给其他标注者；
标注者A完成图像标注并提交后，其他标注者即可看到该标注者标注的图像；
所有图像标注完成后，提交审核，审核任务支持分派给多个审核者审核，且图像标注审核成功后，发布为新的样本数据，并进行预训练模型的训练。
所述辅助标注模块，用于基于迁移学习对标注完成的小批量样本进行训练，并生成预训练模型，且通过预训练模型辅助标注新的未标注的图像，同时基于预测结果继续进行预训练模型的训练(即用于模型训练、模型转换、模型部署、模型预测)；
其中，所述基于迁移学习对标注完成的小批量样本进行训练时，训练包括样本转换及样本部署。
所述基于预测结果继续进行预训练模型的训练还包括以下步骤：
工程师对预测结果进行检查及调整；
调整之后的图像作为新的样本，进行预训练模型的训练。这是一个不断迭代的过程，随着数据量的增加，训练生成的预训练模型的精度会越来越高。
所述迁移学习涉及领域D(Domain)及任务(Task)两个重要概念，领域D定义为由d维特征空间(feature space)X和边缘概率分布p(x)组成，其中x表示一个样本数据点，即：
D＝{X,p(x)},x＝{x1,x2…xn}∈X
给定一个领域D，任务T定义为由标签空间Y和预训练模型f(x)组成，即：
T＝{Y,f(x)},y∈X
按统计观点预训练模型f(x)＝P(y|x)，解释为条件概率分布。
所述迁移学习为给定源域：
及其对应的源任务Ts和目标域：
及其对应的目标任务Tt，迁移学习的目标是在Ds≠Dt或Ts≠Tt条件下，降低目标域预训练模型ft(xt)的泛化误差，提高预训练模型ft(xt)的学习效果；其中，Ds为源域的数据，Ts为源域的任务，Dt为目标域的数据，Tt为目标域的任务；
属于Xs，表示源域的观测样本，
属于Ys，表示源域的观测样本
对应的标签，
属于Xt，表示目标域的观测样本，
属于Yt，表示目标域的观测样本
对应的标签，通常情况下，源域的观测样本数目ns与目标域的观测样本数目nt存在如下关系：1≤nt＜＜ns。
参考如图2所示的图像辅助标注平台工作流程图。
具体的，通过浏览器上传样本集，在样本集详情预览图像内容。创建标注任务，标注小批量的图像数据。标注完成的数据(图像+标签)进行模型训练，其包括转换、部署的过程，该过程是全自动的，无需调参。模型训练后生成的预训练模型。通过预训练模型，批量自动标注未标注的图像，得到新的标注图像数据。该批标注数据，由标注工程师进行检查和调整，就得到标准的标注数据。将人工调整之后的数据和原始标注样本数据合并，得到完整的标注数据。新的样本标注数据重新进行模型训练，生成新的预训练模型，继续批量自动标注未标注图像。不断地迭代，样本标注数据会越来越多，新的预训练模型的精度会越来越高。
所述预训练模型的训练过程基于迁移学习，整个训练过程自动化且高效，迁移学习TL(Transfer Learning)是把已经训练好的模型参数迁移到新的模型来帮助新模型训练，所述迁移学习还包括以下步骤：
数据准备：准备带标注的数据(图像+标签)；
选择源任务：源任务为训练好的一个网络(base network)；
重用模型：把训练好的网络的前n层复制到目标网络(target network)的前n层，且随机初始化目标网络剩下的其他层；
调整模型：维持原有层的权重，并选择合适的优化方法及合适的度量方法等；
训练和测试：开始训练目标任务(target task)，并迭代训练，直到精度和性能符合预期，并保存训练模型。
考虑到大部分数据或任务是存在相关性的，所以通过迁移学习，将已经学到的模型参数通过分享给新模型，帮助新模型训练，从而加快并优化模型的学习效率。
Vue.js是一套响应式的JavaScript开发库。
HTTP API是超文本传输协定应用程序编程接口。
Gateway为网关程序。
NAS为“网络存储器”，是一种专用数据存储服务器。
Redis为一个高性能的key-value数据库。
Mysql为关系型数据库。
Inference Service为推理服务程序。
Triton Service为预测服务程序。
综上所述，本发明通过工程手段开发图像辅助标注平台，帮助标注工程师更方便的进行数据标注的工作，从繁杂的工作中解脱出来。本发明提供了辅助标注功能，根据预训练模型辅助标注图像；本发明提供了数据标注模块，支持图像在线标注，支持多种标注类型及多种标注框格式；本发明的模型训练过程自动调参，无需手工修改；本发明提供了样本管理功能，支持对图像及标签的版本进行管理；本发明提供了协作开发功能，支持多人在线协作标注、协作校验；本发明操作便捷，流程自动化，标注工程师不需要专业的知识。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像辅助标注系统，其特征在于，该系统包括样本管理模块、数据标注模块、协作开发模块及辅助标注模块；
其中，所述样本管理模块，用于在线上传图像并对图像进行预处理，且对图像和图像导出的标签进行版本管理和版本控制；
所述数据标注模块，用于对图像标注数据进行归类、整理、编辑、纠错、标记及批注，并为待标注数据增加标签，且生产满足机器学习训练要求的机器可读数据编码；
所述协作开发模块，用于基于OT技术对创建的标注任务实现多人在线协作开发，且实时对图像标注的内容进行获取及对已标注图像的状态进行审核；
所述辅助标注模块，用于基于迁移学习对标注完成的小批量样本进行训练，并生成预训练模型，且通过预训练模型辅助标注新的未标注的图像，同时基于预测结果继续进行预训练模型的训练。
2.根据权利要求1所述的一种图像辅助标注系统，其特征在于，所述在线上传图像并对图像进行预处理包括图像在线上传、图像预览、图像删除、创建标注任务及导出标签；
所述版本管理用于记录对图像和标签的改动，改动包括发布版本、版本记录展示及版本回退。
3.根据权利要求1所述的一种图像辅助标注系统，其特征在于，所述数据标注模块支持的标注类型包括分类标注、框图标注、区域识别标注及描点标注；支持的标注框包括多边形、四边形及矩形；支持的标注任务包括目标检测、图像分类、语义分割、实例分割、文字识别及文字检测；
所述数据标注模块包括标注任务，标注任务实现图像的在线标注及根据预训练模型辅助标注，且标注完成的样本集为包含图像及标签的样本数据，并提供下载功能。
4.根据权利要求3所述的一种图像辅助标注系统，其特征在于，所述数据的标注还包括以下步骤：
基于样本数据对标注任务进行创建，且在标注工作台进行图像的标注；
基于预先训练的预训练模型，自动的对图像数据进行预测，并在预测成功后，在标注工作台对预测结果进行显示，且对不合理的标注内容进行微调；
标注全部完成后，将标注任务的数据发布为图像+标签的标准样本数据。
5.根据权利要求1所述的一种图像辅助标注系统，其特征在于，所述基于OT技术对创建的标注任务实现多人在线协作开发时，OT算法的核心是操作转换transform：
[A',B']＝transform(A,B)
apply[apply(S,A),B']＝apply[apply(S,B),A']
其中，apply()表示操作转字符串，A和B表示两个操作，A和B经过转换之后生成A`和B`，使得对于相同的内容S经过A和B`的应用结果等于经过B和A`的应用结果。
6.根据权利要求5所述的一种图像辅助标注系统，其特征在于，所述多人在线协作开发还包括以下步骤：
标注任务创建后，将标注任务分享至不同的标注者，每个标注者均加入到标注任务中，即可协作开发；
网关程序将存储在NAS上的待标注图像自动分派至标注者，且每张图像之间的处理均互斥；
标注者A完成图像标注并提交后，其他标注者即可看到该标注者标注的图像；
所有图像标注完成后，提交审核，且图像标注审核成功后，发布为新的样本数据，并进行预训练模型的训练。
7.根据权利要求1所述的一种图像辅助标注系统，其特征在于，所述基于迁移学习对标注完成的小批量样本进行训练时，训练包括模型转换及模型部署。
8.根据权利要求7所述的一种图像辅助标注系统，其特征在于，所述基于预测结果继续进行预训练模型的训练还包括以下步骤：
工程师对预测结果进行检查及调整；
调整之后的图像作为新的样本，进行预训练模型的训练。
9.根据权利要求8所述的一种图像辅助标注系统，其特征在于，所述迁移学习涉及领域D及任务，领域D定义为由d维特征空间X和边缘概率分布p(x)组成，其中x表示一个样本数据点，即：
D＝{X,p(x)},x＝{x1,x2…xn}∈X
给定一个领域D，任务T定义为由标签空间Y和预训练模型f(x)组成，即：
T＝{Y,f(x)},y∈X
按统计观点预训练模型f(x)＝P(y|x)，解释为条件概率分布。
10.根据权利要求9所述的一种图像辅助标注系统，其特征在于，所述预训练模型的训练过程基于迁移学习，所述迁移学习还包括以下步骤：
数据准备：准备带标注的数据；
选择源任务：源任务为训练好的一个网络；
重用模型：把训练好的网络的前n层复制到目标网络的前n层，且随机初始化目标网络剩下的其他层；
调整模型：维持原有层的权重，并选择优化方法及度量方法；
训练和测试：开始训练目标任务，并迭代训练，直到精度和性能符合预期，并保存训练模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210829795.1A CN115205631A (zh) | 2022-07-14 | 2022-07-14 | 一种图像辅助标注系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210829795.1A CN115205631A (zh) | 2022-07-14 | 2022-07-14 | 一种图像辅助标注系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115205631A true CN115205631A (zh) | 2022-10-18 |
Family
ID=83582147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210829795.1A Pending CN115205631A (zh) | 2022-07-14 | 2022-07-14 | 一种图像辅助标注系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115205631A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108881446A (zh) * | 2018-06-22 | 2018-11-23 | 深源恒际科技有限公司 | 一种基于深度学习的人工智能平台系统 |
| CN109101994A (zh) * | 2018-07-05 | 2018-12-28 | 北京致远慧图科技有限公司 | 一种卷积神经网络迁移方法、装置、电子设备及存储介质 |
| CN111652307A (zh) * | 2020-05-29 | 2020-09-11 | 广西大学 | 基于卷积神经网络的红木家具智能无损鉴定方法及装置 |
| CN112966772A (zh) * | 2021-03-23 | 2021-06-15 | 之江实验室 | 一种多人在线的图像半自动标注方法及系统 |
| CN113239191A (zh) * | 2021-04-27 | 2021-08-10 | 北京妙医佳健康科技集团有限公司 | 一种基于小样本数据的人工辅助文本标注方法及装置 |
-
2022
- 2022-07-14 CN CN202210829795.1A patent/CN115205631A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108881446A (zh) * | 2018-06-22 | 2018-11-23 | 深源恒际科技有限公司 | 一种基于深度学习的人工智能平台系统 |
| CN109101994A (zh) * | 2018-07-05 | 2018-12-28 | 北京致远慧图科技有限公司 | 一种卷积神经网络迁移方法、装置、电子设备及存储介质 |
| CN111652307A (zh) * | 2020-05-29 | 2020-09-11 | 广西大学 | 基于卷积神经网络的红木家具智能无损鉴定方法及装置 |
| CN112966772A (zh) * | 2021-03-23 | 2021-06-15 | 之江实验室 | 一种多人在线的图像半自动标注方法及系统 |
| CN113239191A (zh) * | 2021-04-27 | 2021-08-10 | 北京妙医佳健康科技集团有限公司 | 一种基于小样本数据的人工辅助文本标注方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| GARIN: ""如何实现协同编辑-理解Operational Transformation"", pages 1 - 6, Retrieved from the Internet <URL:https://segmentfault.com/a/1190000039128679?sort=votes> * |
| 深度学习与NLP: ""深度学习模型-13 迁移学习（Transfer Learning）技术概述"", pages 1 - 5, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/27368456> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11238312B2 (en) | Automatically generating labeled synthetic documents | |
| CN112507973B (zh) | 一种基于ocr技术的文本和图片识别系统 | |
| CN110895586B (zh) | 生成新闻页面的方法、装置、计算机设备及存储介质 | |
| CN1122245C (zh) | 图象相片产生方法和系统 | |
| US10970534B2 (en) | Document processing system capture flow compiler | |
| US11886850B2 (en) | Transformation templates to automate aspects of computer programming | |
| WO2023130837A1 (zh) | 面向科研应用的自动机器学习实现方法、平台及装置 | |
| US20240185181A1 (en) | Systems and methods for intelligent forms automation | |
| CN109271616A (zh) | 一种基于标准文献题录特征值的智能提取方法 | |
| CN116258131A (zh) | 基于模板引擎的方案编制方法及系统 | |
| CN115238710A (zh) | 一种文档智能生成与管理方法及装置 | |
| CN113255879B (zh) | 一种深度学习标注方法、系统、计算机设备和存储介质 | |
| Shidaganti et al. | Chatgpt: Information retrieval from image using robotic process automation and ocr | |
| CN116721713B (zh) | 一种面向化学结构式识别的数据集构建方法和装置 | |
| CN113705180A (zh) | 一种文档编审方法、装置、电子设备及存储介质 | |
| Terras | The role of the library when computers can read: Critically adopting Handwritten Text Recognition (HTR) technologies to support research | |
| US11379435B2 (en) | System and method for automated document generation | |
| CN115205631A (zh) | 一种图像辅助标注系统 | |
| CN114861937A (zh) | 一种数据的识别和训练方法 | |
| WO2006071368A2 (en) | System and method for information encapsulation for providing multiple deliverable formats from one information source | |
| CN117332761B (zh) | 一种pdf文档智能识别标注系统 | |
| US11507728B2 (en) | Click to document | |
| CN113111920B (zh) | 一种基于plm的项目数据管理系统及应用方法 | |
| Lowagie | One automatic cataloging flow: tests and first results | |
| KR102555809B1 (ko) | 문서 양식을 웹폼으로 변환하는 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |