CN116612369A - 一种自适应的深度学习自动标注方法 - Google Patents

一种自适应的深度学习自动标注方法 Download PDF

Info

Publication number
CN116612369A
CN116612369A CN202310543550.7A CN202310543550A CN116612369A CN 116612369 A CN116612369 A CN 116612369A CN 202310543550 A CN202310543550 A CN 202310543550A CN 116612369 A CN116612369 A CN 116612369A
Authority
CN
China
Prior art keywords
deep learning
marking
marked
automatic
labeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310543550.7A
Other languages
English (en)
Inventor
曹连东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Freesense Image Technology Co ltd
Original Assignee
Shanghai Freesense Image Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Freesense Image Technology Co ltd filed Critical Shanghai Freesense Image Technology Co ltd
Priority to CN202310543550.7A priority Critical patent/CN116612369A/zh
Publication of CN116612369A publication Critical patent/CN116612369A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种自适应的深度学习自动标注方法，包括以下步骤：采集图片并进行数据标注；训练标注后的图片得到深度学习网络模型，设定标注参数对未标注的剩余图片进行预测，得到预测结果并识别是否符合设定的标注参数，若符合自动标注结束，若不符合重新导入至到自动标注合格，并对标注后的数据进行验证。本发明能够实现自适应多种类型的深度学习任务，兼容性高。标注过程中大部分工作量由机器代替人工完成，标注效率大大提升。

Description

一种自适应的深度学习自动标注方法
技术领域
本发明涉及人工智能领域，特别是涉及一种自适应的深度学习自动标注方法。
背景技术
深度学习最早兴起于图像识别，在最近几年可以说是已经深入各行各业。深度学习在计算机视觉，语音识别，自然语言处理，机器人控制，生物信息，医疗，法律，金融，推荐系统，搜索引擎，电脑游戏，娱乐等领域均有应用。
数据标注是深度学习中不可或缺的一环，但人工标注的过程毕竟是一个主观的工作，所以也会有一定的错误率(常见0％-5％)。例如标注人员素质参差不齐,标注质量难以把控,达到一定准确率后很难再进一步提升，为了纠正类似的标注问题，最好的方法当然是多人标注同一条数据，比如说每条数据5人参与标注，中标最多的标签即为最终结果。
在做深度学习(Deep Learning)项目的过程中，需要经常对数据(图片、音频、视频、文本)进行标注处理，而且标注数据这一繁琐而平凡的过程主要是由人工来完成的。在传统的图像标注过程中，会存在一定的繁琐性、精准度低等问题，本发明的目的在于通过开发一种自适应的算法来解决该问题。该算法在不管是效率上还是稳定性上，都能够更好的进行检测与判定。且该算法可兼容多种类型任务，例如分类、检测、分割等，标注工作是一项需要大量手动操作的任务。
发明内容
为了尽可能的减少数据标记的工作量，本发明提出了一种自适应的深度学习图像辅助标注解决方案，来有效的解决该问题。
为实现上述目的，本发明提供如下技术方案：
一种自适应的深度学习自动标注方法，包括以下步骤：
采集图片并进行数据标注；
训练标注后的图片得到深度学习网络模型，
设定标注参数对未标注的剩余图片进行预测，得到预测结果并识别是否符合设定的标注参数，若符合自动标注结束，若不符合重新导入至到自动标注合格，并对标注后的数据进行验证。
作为本发明进一步的方案，在采集图片中使用labelme对图片进行人工标注，对标注的数据集训练得到深度学习网络模型。
作为本发明进一步的方案，自动标注的步骤包括：导入待标注图片，使用训练得到的深度学习网络模型对其进行预测；将预测得到的标注区域根据置信度的值的大小进行排序，得到排序结果；根据排序结果和置信度阈值过滤置信度低于阈值所对应的目标物体的区域。
作为本发明进一步的方案，自动标注的步骤还包括：使用iou-thres进行去重，去重结束后进行json格式保存。
作为本发明进一步的方案，标注后的数据进行验证的步骤包括：输入批量图片进行标注，得到标注数据集f；设置相关参数，对输入的图片在训练模型下，进行自动标注，从而得到另一标注数据集g；对数据集f和数据集g中的对应数据进行同标注区域交并比计算；保留自动标注的区域信息,删除初始标注的区域信息。
作为本发明进一步的方案，两个同位置标注区域中，人工标注区域A，自动标注区域B，对这两个多边形不规则区域进行交并比运算，与thres-patience进行对比判断。
作为本发明进一步的方案，所述深度学习网络模型包括分类模型、检测模型和分割模型。
作为本发明进一步的方案，图片自动标注的过程中首先启动自动标注算法；判断conf-thres、iou-thres是否符合设定条件，符合则保存自动批准数据集。
本发明具有以下有益效果：
本发明具有很好的兼容性，能够自适用于多种类型的深度学习任务中；避免了因为人工原因导致标注质量难以把控的问题，很好的控制标注数据质量；在待标注数据量过大且标注繁琐的情况下，能够极大的提高了检测准确率以及稳定性。
为更清楚地阐述本发明的结构特征和功效，下面结合附图与具体实施例来对本发明进行详细说明。
附图说明
图1为本发明实施例1标注数据图。
图2为本发明实施例1产品标注图。
图3为本发明训练流程图。
图4是本发明自适应辅助标注流程图。
图5是本发明标注数据验证流程图。
图6是本发明实施例1预测结果示例图。
图7是本发明实施例1标注区域交并比示例图。
具体实施方式
下面将结合附图和有关知识对本发明作出进一步的说明，进行清楚、完整地描述，显然，所描述的应用仅仅是本发明的一部分实施例，而不是全部的实施例。
参照图1-图7所示，本发明提供了一种自适应的深度学习自动标注方法，包括以下步骤：采集图片并进行数据标注；训练标注后的图片得到深度学习网络模型，如图3所示，以分割(seg)为例，先人工标注少量图片，然后将标注数据进行规范化处理转成coco格式，训练模型，得到一个简单的深度学习模型。
设定标注参数对未标注的剩余图片进行预测，得到预测结果并识别是否符合设定的标注参数，若符合自动标注结束，若不符合重新导入至到自动标注合格，并对标注后的数据进行验证；如图4所示，设置好标注参数，如conf-thres、iou-thres等相关参数，基于训练好的网络权重文件进行对未标注的剩余图片进行预测，得到json预测结果文件并进行保存，最后对json文件中的标注数据进行人工检查微调。
在本发明中，在采集图片中使用labelme对图片进行人工标注，对标注的数据集训练得到深度学习网络模型。
在本发明中，设定标注参数对未标注的剩余图片进行预测，得到预测结果并识别是否符合设定的标注参数，若符合自动标注结束，若不符合重新导入至到自动标注合格，并对标注后的数据进行验证；
其中自动标注的步骤包括：导入待标注图片，使用训练得到的深度学习网络模型对其进行预测；将预测得到的标注区域根据置信度的值的大小进行排序，得到排序结果；根据排序结果和置信度阈值过滤置信度低于阈值所对应的目标物体的区域；使用iou-thres进行去重，去重结束后进行json格式保存；
在本发明中，标注后的数据进行验证的步骤包括：输入批量图片进行标注，得到标注数据集f；设置相关参数，对输入的图片在训练模型下，进行自动标注，从而得到另一标注数据集g；对数据集f和数据集g中的对应数据进行同标注区域交并比计算；保留自动标注的区域信息,删除初始标注的区域信息，进一步，两个同位置标注区域中，人工标注区域A，自动标注区域B，对这两个多边形不规则区域进行交并比运算，与thres-patience进行对比判断。根据对比判断保留自动标注的区域信息,删除人工标注的区域信息，提高标注精度，最后保存。
本发明能够实现自适应多种类型的深度学习任务，兼容性高。标注过程中大部分工作量由机器代替人工完成，标注效率大大提升。提高标注数据质量，对检测准确率有一定帮助。标注人工数量减少，降低企业人工成本。数据维护成本降低，更好的管理标注数据；以及具有很好的兼容性，能够自适用于多种类型的深度学习任务中；避免了因为人工原因导致标注质量难以把控的问题，很好的控制标注数据质量；在待标注数据量过大且标注繁琐的情况下，能够极大的提高了检测准确率以及稳定性。
实施例1
本发明提供了一种自适应的深度学习自动标注方法，包括以下步骤：
如图1-图7所示，训练部分包括：采集图片并进行数据标注；训练标注后的图片得到深度学习网络模型；具体为：采集图片，使用labelme对图片进行人工标注，标注后的数据格式如图1所示，产品标注图如图2所示，标注少量图片后，对数据集进行规范化处理使其符合分割(seg)模型的训练标准，然后训练出一个简单的深度学习网络模型。
在本实施例中，自动标注阶段，设定标注参数对未标注的剩余图片进行预测，得到预测结果并识别是否符合设定的标注参数，若符合自动标注结束；
具体包括：首先导入待标注图片，使用训练得到的模型对其进行预测；将预测得到的标注区域根据所述置信度的值的大小进行排序，得到排序结果；根据排序结果，和置信度阈值(conf-thres)过滤置信度低于阈值所对应的目标物体的区域。置信度阈值主要用来卡置信度的作用，例如conf-thres＝0.90,那么预测过程中会将置信度低于0.90的标注区域自动过滤，只保留＞0.90的标注区域。
然后再使用iou-thres进行去重，在设置该参数时要注意，iou-thres过大容易出现一个目标多个检测区域；iou-thres过小容易出现检测结果少的问题。以图6的预测结果图为例:
如果iou-thres＝0.99，无法去重，检测框会全部输出，只能靠conf-thres控制去重；
如果iou-thres＝0.9，可以进行去重，IOU:0.91和0.92只留一个，保留置信度高的检测框；
如果iou-thres＝0.5，去重范围变大，容易出现检测出来的少的问题。三个重叠检测框变一个，选择阈值最大的那个。
去重结束后会得到最终预测出的标注数据，进行json格式保存
最后再通过标注软件进行人工检查微调，即得到最优数据。
在本实施例中，若不符合重新导入至到自动标注合格，并对标注后的数据进行验证，具体包括：输入批量图片，首先进行人工标注，得到标注数据集f。
在训练模型存在的情况下，设置好相关参数，对输入的图片进行自动标注，从而得到另一批标注数据集g。
对数据集f和g中的对应数据进行同标注区域交并比计算，标注区域交并比示例图如图6所示，例如两个同位置标注区域，人工标注区域A，自动标注区域B，对这两个多边形不规则区域进行交并比运算，与thres-patience进行对比判断。例如thres-patience＝0.5，那么区域交并比运算结果如果＞0.5的情况下，则保留自动标注的区域信息,删除人工标注的区域信息，提高标注精度，最后保存。
本发明具有很好的兼容性，能够自适用于多种类型的深度学习任务中；避免了因为人工原因导致标注质量难以把控的问题，很好的控制标注数据质量；在待标注数据量过大且标注繁琐的情况下，能够极大的提高了检测准确率以及稳定性。
以上结合具体实施例描述了本发明的技术原理，仅是本发明的优选实施方式。本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (8)

1.一种自适应的深度学习自动标注方法，其特征在于，包括以下步骤：
采集图片并进行数据标注；
训练标注后的图片得到深度学习网络模型，
设定标注参数对未标注的剩余图片进行预测，得到预测结果并识别是否符合设定的标注参数，若符合自动标注结束，若不符合重新导入至到自动标注合格，并对标注后的数据进行验证。
2.如权利要求1所述的一种自适应的深度学习自动标注方法，其特征在于，在采集图片中使用labelme对图片进行人工标注，对标注的数据集训练得到深度学习网络模型。
3.如权利要求2所述的一种自适应的深度学习自动标注方法，其特征在于，自动标注的步骤包括：导入待标注图片，使用训练得到的深度学习网络模型对其进行预测；将预测得到的标注区域根据置信度的值的大小进行排序，得到排序结果；根据排序结果和置信度阈值过滤置信度低于阈值所对应的目标物体的区域。
4.如权利要求3所述的一种自适应的深度学习自动标注方法，其特征在于，自动标注的步骤还包括：使用iou-thres进行去重，去重结束后进行json格式保存。
5.如权利要求1所述的一种自适应的深度学习自动标注方法，其特征在于，标注后的数据进行验证的步骤包括：输入批量图片进行标注，得到标注数据集f；设置相关参数，对输入的图片在训练模型下，进行自动标注，从而得到另一标注数据集g；对数据集f和数据集g中的对应数据进行同标注区域交并比计算；保留自动标注的区域信息,删除初始标注的区域信息。
6.如权利要求5所述的一种自适应的深度学习自动标注方法，其特征在于，两个同位置标注区域中，人工标注区域A，自动标注区域B，对这两个多边形不规则区域进行交并比运算，与thres-patience进行对比判断。
7.如权利要求4所述的一种自适应的深度学习自动标注方法，其特征在于，所述深度学习网络模型包括分类模型、检测模型和分割模型。
8.如权利要求7所述的一种自适应的深度学习自动标注方法，其特征在于，图片自动标注的过程中首先启动自动标注算法；判断conf-thres、iou-thres是否符合设定条件，符合则保存自动批准数据集。
CN202310543550.7A 2023-05-15 2023-05-15 一种自适应的深度学习自动标注方法 Pending CN116612369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310543550.7A CN116612369A (zh) 2023-05-15 2023-05-15 一种自适应的深度学习自动标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310543550.7A CN116612369A (zh) 2023-05-15 2023-05-15 一种自适应的深度学习自动标注方法

Publications (1)

Publication Number Publication Date
CN116612369A true CN116612369A (zh) 2023-08-18

Family

ID=87675876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310543550.7A Pending CN116612369A (zh) 2023-05-15 2023-05-15 一种自适应的深度学习自动标注方法

Country Status (1)

Country Link
CN (1) CN116612369A (zh)

Similar Documents

Publication Publication Date Title
CN110148400B (zh) 发音类型的识别方法、模型的训练方法、装置及设备
CN111309912A (zh) 文本分类方法、装置、计算机设备及存储介质
CN110334214B (zh) 一种自动识别案件中虚假诉讼的方法
CN108846441B (zh) 一种图像相似检测方法和装置、计算机可读存储介质
CN110413997B (zh) 针对电力行业的新词发现方法及其系统、可读存储介质
CN110196897A (zh) 一种基于问答模板的案例识别方法
CN117274212A (zh) 一种桥梁水下结构裂缝检测方法
CN112926694A (zh) 基于改进的神经网络对图像中的猪只进行自动识别的方法
CN117093260A (zh) 一种基于决策树分类算法的融合模型网站结构解析方法
CN116612369A (zh) 一种自适应的深度学习自动标注方法
CN114120057A (zh) 一种基于PaddleDetection的混淆矩阵生成方法
CN114155522A (zh) 一种点云数据质检修复方法及系统
CN113658108A (zh) 一种基于深度学习的玻璃缺陷检测方法
CN113900935A (zh) 一种缺陷自动识别方法、装置、计算机设备及存储介质
CN115080732A (zh) 投诉工单处理方法、装置、电子设备和存储介质
CN111727108B (zh) 用于控制机器人的方法、装置及系统以及存储介质
CN112487214A (zh) 基于实体共现矩阵的知识图谱关系抽取方法及系统
CN114637849B (zh) 基于人工智能的法律关系认知方法及系统
CN117668671B (zh) 一种基于机器学习的教育资源治理方法
CN112686238B (zh) 一种基于深度学习的航运单识别方法
US20220383030A1 (en) Using few shot learning on recognition system for character image in industrial processes
CN116467486A (zh) 一种基于时域信息增强的多模态微视频分类方法
CN111626091B (zh) 人脸图像标注方法、装置及计算机可读存储介质
Kuboi Element Detection in Japanese Comic Book Panels
CN117371533B (zh) 一种生成数据标签规则的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination