CN116664988B - 图片自动标注方法、装置、计算机设备和存储介质 - Google Patents
图片自动标注方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116664988B CN116664988B CN202310909233.2A CN202310909233A CN116664988B CN 116664988 B CN116664988 B CN 116664988B CN 202310909233 A CN202310909233 A CN 202310909233A CN 116664988 B CN116664988 B CN 116664988B
- Authority
- CN
- China
- Prior art keywords
- picture
- marking
- marked
- mode
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000002159 abnormal effect Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 description 20
- 230000007547 defect Effects 0.000 description 14
- 235000012431 wafers Nutrition 0.000 description 14
- 238000001514 detection method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000000206 photolithography Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 229940095676 wafer product Drugs 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图片自动标注方法、装置、计算机设备和存储介质。所述方法包括：获取多个图片集，每个图片集对应一种图片状态；基于图片状态，确定目标打标模式；基于目标打标模式对多个图片集中的待打标图片进行打标，生成打标图片；将打标图片按照自定义规则划分成多个标注数据集并确定打标合格图片，多个标注数据集包括已打标合格图片集和未打标合格图片集；将未打标合格图片集作为待打标图片，并基于待打标图片判断是否需要重新确定目标打标模式和/或迭代打标。采用本方法能够确定更优的目标打标模式进行迭代打标，能够节省前期大量的重复进行数据自动清洗、图像打标、模型训练的时间，从而能够高效且高质量的实现图像的自动打标。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及应用于晶圆制造过程中的一种图片自动标注方法、装置、计算机设备和存储介质。
背景技术
晶圆的制造过程需要经历例如掺杂、蚀刻、光刻、切割等许多步骤，最后才进行封装，制作成一个集成电路。在这些步骤中，难免会损坏单颗晶圆从而影响后期集成电路性能，因此在完成封装之前检测出不合格晶圆极其重要。
影响晶圆产品是否合格的表面缺陷有很多种。在晶圆片的缺陷种类中，无图案晶圆与图案晶圆是最常见的两种晶圆形式。晶圆表面冗余物、晶体缺陷、机械损伤（划痕图案）是较为常见缺陷。冗余物是晶圆表面较为常见的缺陷种类，主要包括纳米级的微小颗粒、微米级的灰尘、相关工序的残留物。随着半导体尺寸越来越小，单颗晶元的制作越来越精细，在缺陷检测方面存在着细小缺陷和非缺陷难以辨别、缺陷形状和背景图案相似、识别精度低等问题。随着机器视觉识别、机器学习等人工智能算法的发展，目前主要采用图像标注方法检测识别晶圆缺陷。
目前图像标注方法主要采用监督学习和半监督学习的方式，如通过已标注的图像数据或者人工标注部分图像进行模型的训练，但集成电路行业缺陷图像的识别与打标，因晶圆制造过程中的缺陷类型与形状呈现多样化、且半导体数据图像具有较小、分辨率低的特点，如需根据缺陷类型等调整模型，还需要重新进行相关编程进行模型构建，导致难以快速训练出理想的高精度的打标模型，进而难以实现快速且准确的图像标注。其中，构建打标模型的时间大多花费在数据清洗与图像打标上，数据清洗和图像打标约占整个模型构建时间的60%，如何在降低数据清洗与图像打标的时间的同时，又可保证打标模型自动标注的图像数据的高质量性是目前亟需解决的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种标注质量较高，且能够节省大量时间的图片自动标注方法、装置、计算机设备和存储介质。
第一个方面，本实施例提供了一种图片自动标注方法，所述方法包括：
获取多个图片集，每个所述图片集对应一种图片状态；
基于所述图片状态，确定目标打标模式；
基于所述目标打标模式对多个所述图片集中的待打标图片进行打标，生成打标图片；
将所述打标图片按照自定义规则划分成多个标注数据集并确定打标合格图片，多个所述标注数据集包括已打标合格图片集和未打标合格图片集；
将所述未打标合格图片集作为待打标图片，并基于所述待打标图片判断是否需要重新确定目标打标模式和/或迭代打标。
在其中一个实施例中，所述获取多个图片集包括：
获取待打标图片，确定所述待打标图片的图片状态；
根据所述待打标图片的图片状态，将所述待打标图片划分为多个图片集，每个所述图片集对应一个索引标识；所述多个图片集至少包括待打标图片集以及已打标图片集。
在其中一个实施例中，所述图片状态包括打标状态，所述获取多个图片集还包括：
获取所述待打标图片的打标状态；
若所述待打标图片为非首次打标，则获取所需打标进度下的历史打标图片；
根据所述历史打标图片的索引标识，获得多个图片集；所述多个图片集至少包括按照自定义规则划分的多个标注数据集以及已打标图片集，根据多个标注数据集划分出多个待打标图片集。
在其中一个实施例中，所述获取多个图片集还包括：
提取所述待打标图片的图片特征；
基于所述图片特征，确定离群点；
若所述待打标图片的离群点数量超过所述离群阈值，则将所述待打标图片作为异常图片，并生成异常图片集。
在其中一个实施例中，所述自定义规则包括：根据所述打标图片的置信度阈值将所述打标图片进行划分；
或者，根据置信度值和置信度区间将所述打标图片进行划分。
在其中一个实施例中，所述根据所述打标图片的置信度阈值将所述打标图片进行划分包括：
确定第一置信度阈值和第二置信度阈值，生成的所述打标图片上的所有标注框阈值与所述第一置信度阈值和第二置信度阈值对比；
若所述打标图片上的所有标注框阈值都大于所述第一置信度阈值，则所述打标图片为合格标注图片；
若所述打标图片上的所有标注框阈值都小于所述第一置信度阈值且大于所述第二置信度阈值，则所述打标图片为高置信度图片；
若所述打标图片上的所有标注框阈值都小于所述第二置信度阈值，则所述打标图片为低置信度图片。
在其中一个实施例中，所述根据所述打标图片的置信度阈值将所述打标图片进行划分包括：
确定第三置信度阈值，生成的所述打标图片上的所有标注框阈值与所述第三置信度阈值对比；
若所述打标图片上的所有标注框阈值都大于所述第三置信度阈值，则所述打标图片为高置信度图片；
若所述打标图片上的所有标注框阈值都小于所述第三置信度阈值，则所述打标图片为低置信度图片。
在其中一个实施例中，所述基于所述图片状态，确定目标打标模式包括；所述目标打标模式包括第一打标模式和第二打标模式；图片状态包括类型信息以及打标次数信息；
若多个所述图片集为首次打标，则基于类型信息查找是否存在对应类型信息的模型；
若不存在，则确定目标打标模式为第一打标模式；所述第一打标模式包括：训练自动打标模型，基于训练后的所述自动打标模型自动打标所述待打标图片；
若存在，则确定目标打标模式为第二打标模式；所述第二打标模式包括：基于已存在的所述自动打标模型直接自动打标所述待打标图片。
在其中一个实施例中，所述基于所述图片状态，确定目标打标模式还包括：选定当前打标进度下的任意打标次数以进行回滚打标；
当目标打标模式为第一打标模式，删除选定打标次数及大于所述选定打标次数形成的所有数据，重新开始选定打标次数下的打标；
当目标打标模式为第二打标模式，保留选定打标次数下的训练数据，删除选定打标次数及大于所述选定打标次数形成的其他所有数据。
在其中一个实施例中，基于所述图片状态，确定目标打标模式包括：
若所述图片集为非首次打标，则基于所述打标次数信息，获取最大打标次数下的历史打标图片；
基于所述历史打标图片，确定高置信度图片占比以及低置信度图片占比；
基于所述高置信度图片占比以及所述低置信度图片占比，确定目标打标模式。
在其中一个实施例中，所述基于高置信度图片占比以及低置信度图片占比，确定目标打标模式包括：
若所述高置信度图片占比低于第一阈值，则目标打标模式为第一打标模式；
若所述低置信度图片占比低于第二阈值，则目标打标模式为第二打标模式；
若所述高置信度图片占比不低于第一阈值，且所述低置信度图片占比不低于第二阈值，则确定历史打标图片的置信度分布信息；
若所述置信度分布信息存在异常，则目标打标模式为第一打标模式；
若所述置信度分布信息不存在异常，则目标打标模式为第二打标模式。
在其中一个实施例中，所述基于所述目标打标模式对多个所述图片集中的待打标图片进行打标，生成打标图片；所述目标打标模式为第一打标模式，其中，执行所述第一打标模式的步骤包括：
获取多个图片集的已打标图片集并分类为训练集和验证集，生成训练数据集；
基于所述训练集、验证集和训练权重训练预训练模型，得到所述自动打标模型；
基于训练后的所述自动打标模型对多个所述图片集中的待打标图片进行自动打标。
在其中一个实施例中，所述基于所述目标打标模式对多个所述图片集中的待打标图片进行打标，生成打标图片；所述目标打标模式为第二打标模式，其中，执行所述第二打标模式的步骤包括：
获取已存在的自动打标模型；
基于所述已存在的自动打标模型对多个所述图片集进行自动打标。
在其中一个实施例中，所述基于所述目标打标模式对多个所述图片集中的待打标图片进行打标，生成打标图片包括：
确定所述自动打标模型的模型参数；所述模型参数包括：迭代打标次数、模型训练次数；
基于所述迭代打标次数获取所述图片集中的所述待打标图片，以及基于所述模型训练次数确定训练权重；
基于所述训练权重自动打标所述待打标图片，生成打标图片。
第二个方面，本实施例提供了一种图片自动标注装置，所述装置包括：
图片获取模块，用于获取多个图片集以及对应多个所述图片集的图片状态；
模式确定模块，用于基于所述图片状态，确定目标打标模式；
自动打标模块，用于基于所述目标打标模式对多个所述图片集中的待打标图片进行打标，生成打标图片；
图片分类模块，用于将所述打标图片按照自定义规则划分成多个标注数据集，多个所述标注数据集包括已打标合格图片集和未打标合格图片集；
迭代判断模块，用于将未打标合格图片集作为待打标图片，并基于所述待打标图片判断是否需要重新确定目标打标模式和/或迭代打标。
第三个方面，本实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
第四个方面，本实施例提供了种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
上述图片自动标注方法、装置、计算机设备和存储介质，该图片自动标注方法基于图片集的图片状态，确定目标打标模式，通过区分目标打标模式对多个图片集中的待打标图片进行迭代打标，如此可根据图片状态确定更优的目标打标模式进行打标，基于更优的目标打标模式，能够节省前期大量的重复进行数据自动清洗、图像打标、模型训练的时间，从而能够高效且高质量的实现图像的自动打标，并且，打标之后进行打标图片的状态确认，将符合要求的打标合格图片进行筛除，再对剩下的未打标合格图片进行迭代打标，进一步实现数据的清洗，使每一次打标之后的数据量减少，无需进行重复冗余的打标，有效提高打标效率。
附图说明
图1为本申请一个实施例中图片自动标注方法的应用环境图；
图2为本申请一个实施例中图片自动标注方法的流程示意图；
图3为本申请另一个实施例中图片自动标注方法的流程示意图；
图4为一个实施例中图片自动标注装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图片自动标注方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，图2是本申请一实施例的图片自动标注方法的流程示意图。
如图2所示，图片自动标注方法包括以下步骤：
步骤S202：获取多个图片集，每个所述图片集对应一种图片状态。
其中，图片集是指图片的集中归类，例如图片集为用于存储同种状态图片的文件夹。打标时可以单个图片集为单位快速获取同种图片状态的图片作为待打标图片，有利于缩短数据挑选的时间。
示例性的，多个图片集包括未打标图片集、迭代n次时的已打标图片集、按照缺陷类型划分的图片集等，按照缺陷类型划分的图片集，例如机械损伤图片集、晶圆表面存在冗余物图片集、晶体损伤图片集等。
示例性的，图片状态包括类型信息以及打标次数信息。
步骤S204：基于所述图片状态，确定目标打标模式。
示例性的，若图片状态为类型信息，可通过对比类型信息与打标模型信息是否匹配来确定目标打标模式。若图片状态为打标次数信息，可以通过历史打标图片打标的精确度来确定目标打标模式。
在一实施例中所述目标模式包括第一打标模式和第二打标模式。
其中，示例性的，所述第一打标模式包括：训练自动打标模型，基于训练后的所述自动打标模型自动打标待打标图片。所述第二打标模式包括：基于已存在的所述自动打标模型直接自动打标待打标图片。
步骤S206：基于所述目标打标模式对多个所述图片集中的待打标图片进行打标，生成打标图片。
步骤S208：将所述打标图片按照自定义规则划分成多个标注数据集，多个所述标注数据集包括已打标合格图片集和未打标合格图片集。
步骤S210：将未打标合格图片集作为待打标图片，并基于所述待打标图片判断是否需要重新确定目标打标模式和/或迭代打标。
示例性的，迭代打标指的是通过模型的自动打标后，筛选出符合预期的已打标合格图片，并获取未打标合格图片确定还需打标的图片作为待打标图片，并基于所述待打标图片判断是否需要重新确定目标打标模式和/或迭代打标的循环执行，即判断是否重复步骤S204和/或步骤S206继续对需打标图片进行打标，直至所有需打标图片达到合格的打标要求，但是，若剩下的未打标合格图片数量已经较少时，可配合人工标注完成收尾。
上述图片自动标注方法中，基于图片集的图片状态，确定目标打标模式，通过区分目标打标模式对多个图片集中的待打标图片进行打标，如此可根据图片状态确定更优的目标打标模式并重复进行打标，基于更优的目标打标模式，能够节省前期大量的重复进行数据自动清洗、图像打标、模型训练的时间，从而能够高效且高质量的实现图像的自动打标；并且，打标之后进行打标图片的状态确认，将符合要求的打标合格图片进行筛除，再对剩下的未打标合格图片进行迭代打标，进一步实现数据的清洗，使每一次打标之后的数据量减少，无需进行重复冗余的打标，有效提高打标效率。
在一个实施例中，如图3所示，步骤S202包括：
步骤1：获取所述待打标图片，确定所述待打标图片的图片状态；
示例性的，所述待打标图片中包括已打标图片、未打标图片以及异常图片。
步骤2：根据所述待打标图片的图片状态，将所述待打标图片划分为多个图片集，每个所述图片集对应一个索引标识；所述多个图片集至少包括待打标图片集以及已打标图片集。可以理解的是，通过索引标识图片集中的图片状态，在获取图片集对应的图片时，可根据索引标识直接获取对应的图片集，加速数据获取的速度。
在一个实施例中，步骤S202还包括：
步骤1：获取所述待打标图片的打标状态；
步骤2：若所述待打标图片为非首次打标，则获取所需打标进度下的历史打标图片。
示例性的，例如当前待打标图片已进行了第5次打标动作，则可获取第1至第5次自动打标得到的打标图片。用户在打标中途退出再进行打标或需开展下一次打标之前，都可以选择所需的打标次数，如用户选择继续处理，则默认选择最大的打标次数，获取最大打标次数进度下的历史打标图片，并随着打标的迭代增加打标次数信息，如用户需回滚至之前的打标次数，如发现第5次打标情况未达到理想状态，需回滚至第3次重新开始打标，则选择打标次数为3，并自动获取对应第3次打标的待打标图片数据，以及删除选定打标次数之后的数据，即第4次以及第5次待打标图片的数据，是否保留训练数据则根据选定的目标模式决定。
步骤3：根据所述历史打标图片的索引标识，获得多个图片集；所述多个图片集至少包括按照自定义规则划分的多个标注数据集以及已打标图片集，根据多个标注数据集中的未打标合格图片集划分出多个待打标图片集。
示例性的，索引标识包括文件夹标识、编号标识等，其中文件夹标识包括文件名，每种类型的图片集对应一个文件夹的文件名，例如文件名命名为已打标图片、未打标图片、暂不标注图片、丢弃/删除图片等。即在本实施例中所述待打标图片的索引标识为文件名“未打标图片”，所述历史打标图片的索引标识为根据打标次数确定的文件名，例如第5次打标的已打标图片。
根据待打标图片的索引标识和历史打标图片的索引标识，可以快速的识别对应图片集的文件路径，从而快速的获取待打标图片的文件夹和历史打标文件夹中的图片集数据，或按照索引标识对图片进行分类并快速合并至对应的文件夹中，有效的缩短数据获取和分类存储的时间。当然，若是当前图片为首次打标图片，则只需根据待打标图片的图片状态以及索引标识划分待打标的图片。
在一个实施例中，如图3所示，步骤S202还包括：对待打标图片进行异常图片检测，若图片存在异常则自动丢弃。由于在半导体工艺中，不同分层的图像差异比较大，因此在分层进行处理时进行异常图片检测，更易于剔除不属于当前分层的异常图片。
具体的，步骤S202中对待打标图片进行异常检测的步骤包括：
步骤1：提取所述待打标图片的图片特征。
示例性的，图片特征包括色彩特征和纹理特征等，色彩特征包括颜色直方图、颜色矩等，纹理特征包括LBP特征（Local binary patterns）、灰度共生矩阵等。
步骤2：基于所述图片特征，确定离群点。
示例性的，采用异常检测算法针对图片特征分别找出离群点，其中，异常检测算法包括局部离群因子算法（local outlier factor）、孤立森林算法（Isolation Forest）等。
步骤3：若所述待打标图片的离群点数量超过所述离群阈值，则将所述待打标图片作为异常图片，并生成异常图片集，异常图片集文件夹用于保存筛选出的异常图片。
具体的，若某张待打标图片共提取了x个特征，其中有n个特征处于离群位置，例如x=4，n=3，2为离群阈值，由于离群点数量超过离群阈值，则确定该图片为异常图片，并将该图片丢弃至异常图片集的文件夹中。
在一实施例中，自定义规则包括：根据所述打标图片的置信度阈值将所述打标图片划分为已打标合格图片、低置信度图片和高置信度图片。
示例性的，设定一个或多个置信度阈值，将自动打标的图片根据置信度划分为已打标合格图片、高置信度图片和低置信度图片。
在另一个实施例中，自定义规则还可以包括：根据置信度值和置信度区间将所述打标图片进行划分。示例性的，存在大量打标图片的置信度值比较集中和接近，则将同一置信度或置信度位于同一置信度区间内的打标图片归为一个图片集，因为置信度相同或接近的打标图片，打标好坏情况接近，如此划分图片，可快速对大量的图片进行确认和筛选。
在一实施例中，如图3所示，在步骤S204所述基于所述图片状态，确定目标打标模式中，所述目标打标模式包括第一打标模式和第二打标模式；图片状态包括类型信息以及打标次数信息，步骤S204包括以下步骤：
步骤1：若多个所述图片集为首次打标，则基于类型信息查找是否存在对应类型信息的模型；
步骤2：若不存在，则确定目标打标模式为第一打标模式，通过训练自动打标模型，基于训练后的所述自动打标模型对所述待打标图片进行自动打标；
步骤3：若存在，则确定目标打标模式为第二打标模式；基于已存在的对应类型信息的模型，即自动打标模型，直接对所述待打标图片进行自动打标。
可以理解的是，在本实施例中，通过先确定图片集的打标次数信息，判断图片集中的图片是否是首次打标，若是首次打标，则基于图片的类型信息查找是否存在匹配的精度符合要求的自动打标模型，若存在，则直接进去自动打标阶段，如此省去了模型调整和模型训练的时间便能得到最优的标注，在确保打标质量的前提下还能够极大的节省了时间；若不存在匹配的自动打标模型，则先训练或微调模型得到高精度的自动打标模型之后再进行图片的自动打标。通过细分图片的图片状态匹配不同的打标模式，能够更加灵活高效的实现图片的自动打标。
在一实施例中，步骤S204基于所述图片状态，确定目标打标模式还包括：
步骤1：选定当前打标进度下的任意打标次数以进行回滚打标；
步骤2：当目标打标模式为第一打标模式，删除选定打标次数及大于所述选定打标次数形成的所有数据，重新开始选定打标次数下的打标；
步骤3：当目标打标模式为第二打标模式，保留选定打标次数下的训练数据，删除选定打标次数及大于所述选定打标次数形成的其他所有数据。
在一实施例中，请继续参阅图3，步骤S204基于所述图片状态，确定目标打标模式还包括以下步骤：
步骤1：若所述图片集为非首次打标，则基于所述打标次数信息，获取最大打标次数下的历史打标图片；
步骤2：基于所述历史打标图片，确定高置信度图片占比以及低置信度图片占比；
示例性的，对每次自动打标生成的图片按照置信度分布划分，将生成的打标图片划分为未能打标图片、打标合格图片、高置信度图片和低置信度图片，未能打标图片可能存在，当多个图片集为非首次打标时，获取历史打标图片，历史打标图片包括未能打标图片、打标合格图片、高置信度图片和低置信度图片，通过汇总计算历史打标图片中高置信度图片以及低置信度图片占总图片数的比例，得到高置信度图片占比以及低置信度图片占比。
步骤3：基于高置信度图片占比以及低置信度图片占比，确定目标打标模式。
示例性的，步骤“基于高置信度图片占比以及低置信度图片占比，确定目标打标模式”具体包括：
若所述高置信度图片占比低于第一阈值，则目标打标模式为第一打标模式；可以理解的是，当高置信度占地低于第一阈值时，则说明使用的自动打标模型的精度不够，因此需重新对所述自动打标模型进行训练后，再进行图片的自动打标，以提高打标精度。
若所述低置信度图片占比低于第二阈值，则目标打标模式为第二打标模式；可以理解的是，当低置信度占地低于第二阈值时，则说明使用的自动打标模型的精度足够，因此可直接采用当前的所述自动打标模型自动打标，以节省时间。
若所述高置信度图片占比不低于第一阈值，且所述低置信度图片占比不低于第二阈值，则确定历史打标图片的置信度分布信息。
判断置信度分布信息是否存在异常，若所述置信度分布信息存在异常，则目标打标模式为第一打标模式；若所述置信度分布信息不存在异常，则目标打标模式为第二打标模式。可以理解的是，若置信度分布信息异常，则说明当前自动打标模型存在偏差，需要重新训练自动打标模型。
其中，第一阈值和第二阈值的设定，使用者可根据实际情况，例如图片的打标精度要求、应用场景等自行设定，本实施例对具体的阈值数值不做限定。
示例性的，在步骤S206“所述基于所述目标打标模式对多个所述图片集中的待打标图片进行打标，生成打标图片”中，所述目标打标模式为第一打标模式，在本实施例中，执行第一打标模式的步骤包括：
步骤1：获取多个图片集的已打标图片集并分类为训练集和验证集，生成训练数据集，生成训练数据集。
示例性的，当图片集中的待打标图片为非首次打标图片时，则获取历史打标数据，并将历史打标数据中打标合格的图片以及异常图片去除，剩余的为本次打标的待打标图片；从所述打标合格的图片中挑选图片并获取图片的标注框数据，检查图片与标注框是否一一匹配，按照一定的比例划分为训练集和验证集，生成包含不同图片状态的训练数据集。当然，也可以通过人工标注将至少部分首次打标图片和非首次打标图片进行人工标注，得到部分打标合格的图片作为训练数据集。
步骤2：基于所述训练集、验证集和训练权重训练预训练模型，得到所述自动打标模型。
示例性的，训练权重是上一次迭代打标时模型训练的结果权重，如此能够有效的减少训练时间。若待打标图片为首次打标，则初始训练权重为预先设置的默认权重。
步骤3：基于训练后的所述自动打标模型对多个所述图片集中的待打标图片进行自动打标。将打标结果分类放入按照打标次数新生成的图片集中，其中将得到的打标图片分成打标合格图片、高置信度图片、低置信度图片并存入对应的文件夹中。
示例性的，在步骤S206“所述基于所述目标打标模式对多个所述图片集中的待打标图片进行打标，生成打标图片”中，所述目标打标模式为第二打标模式，在本实施例中，执行第二打标模式的步骤包括：
步骤1：获取已存在的自动打标模型。
示例性的，若待打标图片为首次打标，且存在对应类型的信息模型，则直接获取已有的自动打标模型，若待打标图片为非首次打标，则直接读取历史打标图片和上一次模型训练的结果权重，获取上一次训练得到的自动打标模型，如此使得训练过程收敛更快，模型训练的时间大大缩短。
步骤2：基于所述已存在的自动打标模型对多个所述图片集进行自动打标，并按照置信度分别将标注得到的图片分为打标合格图片、高置信度图片和低置信度图片并分别进行存储。
在一个实施例中，步骤S208中的所述自定义规则包括：根据所述打标图片的置信度阈值将所述打标图片进行划分；或者，根据置信度值和置信度区间将所述打标图片进行划分。每次打标完成后对得到的打标图片进行划分，实现数据的进一步清洗拆分。
示例性的，所述根据所述打标图片的置信度阈值将所述打标图片进行划分包括：
步骤1：确定第一置信度阈值和第二置信度阈值，生成的所述打标图片上的所有标注框阈值与所述第一置信度阈值和第二置信度阈值对比；
步骤2：若所述打标图片上的所有标注框阈值都大于所述第一置信度阈值，则所述打标图片为合格标注图片；
步骤3：若所述打标图片上的所有标注框阈值都小于所述第一置信度阈值且大于所述第二置信度阈值，则所述打标图片为高置信度图片；
步骤4：若所述打标图片上的所有标注框阈值都小于所述第二置信度阈值，则所述打标图片为低置信度图片。
可以理解的是，对自动标注后生成的打标图片进行置信度的划分，筛选出已打标合格的图片，避免该部分图片进行重复冗余的打标，有利于提高打标效率，并且将图片分为高置信度图片和低置信度图片，有利于后续进行迭代打标时根据置信度确定图片是否为待打标图片，快速完成数据清洗的功能。
示例性的，所述根据所述打标图片的置信度阈值将所述打标图片进行划分包括：
步骤1：确定第三置信度阈值，生成的所述打标图片上的所有标注框阈值与所述第三置信度阈值对比；
步骤2：若所述打标图片上的所有标注框阈值都大于所述第三置信度阈值，则所述打标图片为高置信度图片；
步骤3：若所述打标图片上的所有标注框阈值都小于所述第三置信度阈值，则所述打标图片为低置信度图片。
可以理解的是，将打标图片划分为高置信度图片和低置信度图片，可用于确定高置信度图片占比以及低置信度图片占比，进而确定目标打标模式，提高目标打标模式确定的效率。
示例性的，步骤S206“所述基于所述目标打标模式对多个所述图片集中的待打标图片进行打标，生成打标图片”包括：
步骤1：确定所述自动打标模式的模型参数；
示例性的，所述模型参数包括：迭代打标次数、模型训练次数。
具体的，以迭代打标次数为例，当用户需要对已进行多次打标的图片进行打标时，模型参数中选定的迭代打标次数为n次，则获取的是进行n-1次自动标注后得到的图片集和自动打标模型，基于历史自动打标模型对当前待打标图片进行回滚打标。
在其他实施例中，所述模型参数还包括：使用训练集中的全部样本训练的次数、置信度阈值、交并比阈值、批量大小、图像尺寸等。其中，交并比是用于描述两个标注框的重叠程度；批量大小表示单次用以训练模型的图片的个数。
步骤2：基于所述迭代打标次数获取所述图片集中的所述待打标图片，以及基于所述模型训练次数确定训练权重；
步骤3：基于所述训练权重自动打标所述待打标图片，生成打标图片。
由此可见，本实施例通过模型并调整模型的参数，最终确定自动打标模型以及待打标图片，可实现灵活的打标，适用于多种多样的打标场景，且能够重复利用前序的数据资源和模型，大量的节省了前期的数据清洗和图像打标的时间。
需注意的是，当通过修改迭代次数回滚迭代时，需根据确定的目标打标模式检查当前迭代次数下是否已存在打标模型的权重文件和打标结果文件，若存在，则需要先删除文件。例如，当迭代次数选5时，需要将现有的已存在第5次迭代结束后得到打标模型权重文件和打标结果文件进行删除。如此避免重新回滚进行第5次迭代时重新生成的数据文件与旧文件存在冲突。
以下结合图1中所示场景为例具体本申请的图片自动标注方法的实施，该图片自动标注方法能够通过终端实现：
在本实施例中，终端的软件可包括主页面、可视化打标页面、自动标注页面，也可将以上多个页面的功能集合至一可视化交互页面中，通过内置的协同机制实现各页面功能的联动使用，在此实施例中，示例性介绍主要包括主页面、可视化打标页面、自动标注页面。
主页面设置有图片路径设置、参数配置、迭代次数选择等功能。图片路径可设置图片集的文件路径和工程存储文件路径，参数配置可设置打标类型名称与ID，从主页面中设置迭代次数，则从主页面跳转至可视化打标页面，在可视化打标页面展示的图片数据在对应迭代次数下的文件夹中获取，当然在跳转可视化打标页面前也可从设置的图片路径下获取到包含待打标图片的待打标文件。
在主页面跳转可视化打标页面之前或者跳转过程中，会对待打标文件中的图片进行分类并合并和/或导出。示例性的，待打标图片存储在待打标文件中，待打标文件内包含多个子文件夹，每个子文件夹可能存储待打标图片或已打标图片，且以文件名称标记图片状态，如此刻通过识别文件名和文件路径获取和分类对应的图片数据。
在一实施例中，主页面还包括针对不同打标类型的页面设定，还包括：
项目选择项，此为本次标注操作的名称。同一工程存储文件路径下可以存在多个不同的标注操作，标注操作名称不重复即可。
还可包括选配项，如果没有配置将在待打标文件同级目录下查找，如：
文件路径，为类别文件（class.yaml）所在路径选择项，在没有配置的情况下，必须在待打标文件同级目录下进行；
标签路径，在不配置和待打标文件同级目录下没有情况时默认没有标签。
可视化打标页面可对导入的待打标图片或已自动标注生成标注框的图片进行可视化展示，可分开展示待打标图片列表、高置信度图片列表、低置信度图片列表，针对高置信度图片列表和低置信度图片列表还可显示对应的置信度值；更为加快查看或挑选的进度，页面支持多图显示和操作，并根据需要进行打标、丢弃、暂不标注等操作，最终形成包括已打标、异常丢弃、暂不标注、未处理等多种图片状态，未处理指待打标图片未被进行打标、异常丢弃、暂不标注等操作（即图片未进行任何操作，为原始状态），不同图片状态对应设置有不同的文件路径，如打标完成的图片移到已打标文件夹（manual_ok）、暂不标注的图片移到暂不标注文件夹（manual_ng）、删除的图片移到丢弃文件夹（manual_discard）。
另外，可视化打标页面支持不同打标类型的文件夹选择，以快速切换不同的文件夹进行操作处理。
在自动标注页面，可选择目标打标模式，根据所需选择第一打标模式或第二打标模式。
以下以用户视角简介在使用终端进行打标时的具体流程：
步骤1: 第一次进入可视化打标页面（即第一次从主页面进入可视化打标页面）进行打标、删除等操作改变图片状态：
具体的，生成工程存储路径的图片文件夹，并从图片路径将待打标文件中的图片转移到工程存储路径的图片文件夹下，生成根据迭代次数设定的runs/iter0文件夹，迭代次数可与模型自动标注次数对应，如第一次在可视化打标界面中，是未通过模型进行自动标注过的，那么迭代次数为0，即iter0，同时根据设定自动生成iter0/manual_ok、iter0/manual_discard文件夹，iter0/manual_ok文件夹用于存放标注结果，iter0/manual_discard文件夹用于存在丢弃的异常图片。例如在可视化打标页面进行打标，完成打标的图片存放在iter0/manual_ok文件夹中；在可视化打标页面选择丢弃的图片，存放在iter0/manual_discard文件夹中。同时，根据先前所述，获取的待打标文件可能自带部分已打标图片和异常图片，则识别并将将此部分已打标图片自动读取并移到manual_ok文件夹内，异常图片则转移至iter0/manual_discard文件夹中。
步骤2：在第一次进入可视化打标页面完成打标和挑选等操作之后，则第一次进入自动打标页面。
具体的，在自动打标页面中可选择目标打标模式，在选择目标打标模式后对每个模型参数进行配置，例如对迭代次数、置信度阈值、图像尺寸、数据样本个数等参数进行配置。值得说明的是，主页面和自动打标页面均设置有迭代次数选项，在主页面中，默认迭代次数为0，但如果图片已经通过自动标注模型自动标注过多次，那么从主页面跳转至可视化打标页面的过程中，会选择所选迭代次数的数据进行展示；在自动打标页面，迭代次数一般无需变动，自动打标页面上的迭代次数根据实际迭代次数的增加会自动更改，当然也可以在自动打标页面上选择所需重新开始的迭代次数进行回滚。
需说明的是，例如第1次迭代会创建runs/iter1文件夹，用于存放训练、自动标注、人工标注等一系列过程产生的数据，由于支持回滚（即进行第三次标注时，存在失误或需回滚至第一次打标），可在自动打标页面选择所需回滚的迭代次数，如选择iter1，则需检测iter1的文件夹是否存在，并根据目标打标模式进行操作，例如：当目标打标模式为第一打标模式，则删除整个iter1文件夹，并前述步骤重建runs/iter1文件夹；当目标打标模式为第二打标模式，则保留iter1中的训练数据文件夹，且删除iter1的其他文件夹，并按照之前的步骤重新打标。
步骤3：在完成目标打标模式和模型参数的选择确定后，点击标注按钮后根据触发信号会进行如下操作：
根据所选择迭代次数或上次迭代次数情况，生成根据迭代层次设定的runs/iterX文件夹（X为大于0的整数，iterX表示迭代第X次），用于本次打标后的数据存放。读取此前所有打标的manual_ok和manual_discard图片信息进行统计，因本实施例中默认的迭代次数为0，因此先前的打标文件只有Iter0，则此处是将iter0目录下的manual_ok和manual_discard文件夹中的图片信息进行统计，其中所有manual_ok中的图片被视为已正确打标的图片，这部分数据用于训练，由于第一次进入或只在可视化打标页面中进行人工标注时还未存在高置信度图片和低置信度图片的划分，此时的标注图片从原始的待打标文件中读取，一般在跳转自动标注页面前，用户需要在可视化打标页先手动标注部分图片，如引导用户先手动标注100张；iter0文件夹中的原始待打标文件中，除去manual_ok和manual_discard中的图片，剩余的图片被视为本次迭代的待打标图片。基于选择的目标打标模式和参数选择进行待打标图片的自动标注。
当目标打标模式为第一打标模式时，读取历史打标文件中除去manual_ok和manual_discard中的图片，剩余的被视为本次迭代的待打标图片，完成打标数据整理，如原始待打标文件的所有图片除去run/iter0文件目录下manual_ok和manual_discard中的图片，剩余的被视为本次迭代的待打标图片；读取本次迭代之前所有迭代的manual_ok数据（包括图片数据和标注框数据），检查图片和标注框是否一一匹配，然后按照一定的比例划分为训练集和验证集，存储在新生成的splits文件夹中；采用训练集和验证集对自动打标模型进行训练，模型训练的初始权重为上一次迭代的训练结果权重（若本次迭代为首次迭代，则权重为一个预先设置的默认权重），如此能够有效减少训练时间。经训练生成runs/iter1/train文件夹，其中存储了模型训练的输出信息和模型训练的结果权重。训练完成后读取结果权重用于对待待打标图片进行自动标注，并根据置信度分别将标注结果进行分类并分别放入新生成的runs/iter1/高置信度图片和runs/iter1/低置信度图片文件夹中。
当目标打标模式为第二打标模式时，则读取原始待打标文件的所有图片且除去manual_ok和manual_discard中的图片，剩余的被视为本次迭代的待打标图片数据，完成打标数据整理；直接读取已有的模型权重进行自动打标，并将生成的打标图片根据置信度分类放入新生成的runs/iter1/高置信度图片和runs/iter1/低置信度图片文件夹中。
另外，可自适应确定检测情况划分自动标注图片。具体的，当确定标注的置信度阈值逐渐从1减小到0的过程中，验证集的精确率会从1下降到0。当取精确率为p1（例如，可以取0.98）的对应阈值t1为第一置信度阈值，在待标注图片中，一张图片的所有检测框阈值都大于t1，则这张图片以及它的标注框数据直接归入manual_ok文件夹，无需再进行人工检查；当取精确率为p2（例如，可以取0.5）的那个对应阈值t2为第二置信度阈值，在待标注图片中，一张图片的所有检测框阈值小于t1且大于t2，则该图片会被分到高置信度图片文件夹中；当图片的所有检测框阈值小于t2，则该图片会被分到低置信度图片文件夹中。
步骤4：第二次进入可视化打标页面。
在完成第一次自动标注之后，即可第二次进入可视化打标页面，在iter 1文件目录下生成manual_ok，manual_discard和manual_ng文件夹，分别存放已打标的、丢弃的、暂不标注的图片，并在可视化打标页面中高置信度和/或低置信度的自动标注图片进行已标注、删除、暂不标注等操作，并对应存放至manual_ok，manual_discard和manual_ng文件夹中。
步骤5：第二次进入自动打标页面。
生成runs/iter2文件夹，用于本次迭代数据的存放，即第二次迭代的数据存放。读取此前所有迭代次数的manual_ok和manual_discard中的图片信息并进行分类和统计，因先前的迭代次数有iter0和iter1，则此处是将iter0和iter1文件目录下的manual_ok和manual_discard文件夹中的图片信息进行统计，其中所有manual_ok中的图片被视为已拥有标注的图片，这部分数据用于训练自动标注模型；原始待打标文件的所有图片且除去manual_ok和manual_discard中的图片，剩余的被视为本次迭代所需的待打标图片。
步骤6：查看高置信度图片文件夹和低置信度图片文件夹，确认是否需要再进行自动标注模型的迭代打标，若需要，则依据上述步骤确定目标打标模式并进行迭代打标，若不需要，则点击手动打标或结束打标。当点击结束打标时，终端输出打标数据，并生成一个结果文件夹，结果文件夹中包含打标的图片和标注框数据。需说明的是，当低置信度图片的数量小于50张时手动打标更能节省资源，因此当低置信度图片的数量小于50张时提示用户可进行手动打标。
在本实施例中，目标打标模式的选用策略包括根据打标类型、迭代次数、是否设定已存在模型路径确定所需模式，另外，主页面或自动打标页面可设置已存在模型路径信息；以下定义几种场景，分场景固定模式应用：
场景一，曾进行过同类图片的标注，已存在相关模型，则选择该模型并确定第二打标模式；
场景二，设定已存在模型路径并存在相关模型，则选择该模型并确定第二打标模式；
场景三，没有任何此次操作外的相关模型，且为首次自动标注，必须采用第一打标模式；
场景四，没有任何此次操作外的相关模型，但为非首次自动标注，可选择第一打标模式或第二打标模式。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行，且步骤的序号也并不代表这些步骤的先后顺序，除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图片自动标注方法的图片自动标注装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图片自动标注装置实施例中的具体限定可以参见上文中对于图片自动标注方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种图片自动标注装置，包括：图片获取模块、模式确定模块和自动打标模块，其中：
图片获取模块10，用于获取多个图片集，每个所述图片集对应一种图片状态。
模式确定模块20，用于基于所述图片状态，确定目标打标模式。
自动打标模块30，用于基于所述目标打标模式对多个所述图片集中的待打标图片进行迭代打标，生成打标图片。
图片分类模块40，用于将所述打标图片按照自定义规则划分成多个标注数据集，多个所述标注数据集包括已打标合格图片集和未打标合格图片集；
迭代判断模块50，用于将未打标合格图片集作为待打标图片，并基于所述待打标图片判断是否需要重新确定目标打标模式和/或迭代打标。
上述图片自动标注装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图片自动标注方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取多个图片集以及对应多个所述图片集的图片状态；
基于所述图片状态，确定目标打标模式；
基于所述目标打标模式对多个所述图片集中的待打标图片进行迭代打标，生成打标图片。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时上述实施例中任意一种图片自动标注方法：
获取多个图片集以及对应多个所述图片集的图片状态；
基于所述图片状态，确定目标打标模式；
基于所述目标打标模式对多个所述图片集中的待打标图片进行迭代打标，生成打标图片。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述实施例中任意一种图片自动标注方法：
获取多个图片集以及对应多个所述图片集的图片状态；
基于所述图片状态，确定目标打标模式；
基于所述目标打标模式对多个所述图片集中的待打标图片进行迭代打标，生成打标图片。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (16)
1.一种图片自动标注方法，其特征在于，所述方法包括：
获取多个图片集，所述多个图片集至少包括待打标图片集以及已打标图片集，每个所述图片集对应一种图片状态；图片状态包括类型信息以及打标次数信息；
基于所述图片状态，确定目标打标模式；所述基于所述图片状态，确定目标打标模式包括：若所述图片集为首次打标，则基于类型信息查找是否存在对应类型信息的模型来确定目标打标模式；若所述图片集为非首次打标，则基于所述打标次数信息，获取最大打标次数下的历史打标图片；基于所述历史打标图片，确定高置信度图片占比以及低置信度图片占比；基于所述高置信度图片占比以及所述低置信度图片占比，确定目标打标模式；
基于所述目标打标模式对多个所述图片集中的待打标图片进行自动打标，生成打标图片；
将所述打标图片按照自定义规则划分成多个标注数据集并确定打标合格图片，多个所述标注数据集包括已打标合格图片集和未打标合格图片集；
将未打标合格图片集作为待打标图片，并基于所述待打标图片判断是否需要重新确定目标打标模式和/或迭代打标。
2.根据权利要求1所述的图片自动标注方法，其特征在于，所述获取多个图片集包括：
获取待打标图片，确定所述待打标图片的图片状态；
根据所述待打标图片的图片状态，将所述待打标图片划分为多个图片集，每个所述图片集对应一个索引标识。
3.根据权利要求2所述的图片自动标注方法，其特征在于，所述图片状态包括打标状态，所述获取多个图片集还包括：
获取所述待打标图片的打标状态；
若所述待打标图片为非首次打标，则获取所需打标进度下的历史打标图片；
根据所述历史打标图片的索引标识，获得多个图片集；所述多个图片集至少包括按照自定义规则划分的多个标注数据集以及已打标图片集，根据多个标注数据集划分出多个待打标图片集。
4.根据权利要求2所述的图片自动标注方法，其特征在于，所述获取多个图片集还包括：
提取所述待打标图片的图片特征；
基于所述图片特征，确定离群点；
若所述待打标图片的离群点数量超过离群阈值，则将所述待打标图片作为异常图片，并生成异常图片集。
5.根据权利要求1或3所述的图片自动标注方法，其特征在于，所述自定义规则包括：根据所述打标图片的置信度阈值将所述打标图片进行划分；
或者，根据置信度值和置信度区间将所述打标图片进行划分。
6.根据权利要求5所述的图片自动标注方法，其特征在于，所述根据所述打标图片的置信度阈值将所述打标图片进行划分包括：
确定第一置信度阈值和第二置信度阈值，生成的所述打标图片上的所有标注框阈值与所述第一置信度阈值和第二置信度阈值对比；
若所述打标图片上的所有标注框阈值都大于所述第一置信度阈值，则所述打标图片为合格标注图片；
若所述标图片上的所有标注框阈值都小于所述第一置信度阈值且大于所述第二置信度阈值，则所述打标图片为高置信度图片；
若所述打标图片上的所有标注框阈值都小于所述第二置信度阈值，则所述打标图片为低置信度图片。
7.根据权利要求5所述的图片自动标注方法，其特征在于，所述根据所述打标图片的置信度阈值将所述打标图片进行划分包括：
确定第三置信度阈值，生成的所述打标图片上的所有标注框阈值与所述第三置信度阈值对比；
若所述打标图片上的所有标注框阈值都大于所述第三置信度阈值，则所述打标图片为高置信度图片；
若所述标图片上的所有标注框阈值都小于所述第三置信度阈值，则所述打标图片为低置信度图片。
8.根据权利要求1所述的图片自动标注方法，其特征在于，所述基于所述图片状态，确定目标打标模式包括：所述目标打标模式包括第一打标模式和第二打标模式；
若多个所述图片集为首次打标，则基于类型信息查找是否存在对应类型信息的模型；
若不存在，则确定目标打标模式为第一打标模式；所述第一打标模式包括：训练自动打标模型，基于训练后的所述自动打标模型自动打标所述待打标图片；
若存在，则确定目标打标模式为第二打标模式；所述第二打标模式包括：基于已存在的所述自动打标模型直接自动打标所述待打标图片。
9.根据权利要求8所述的图片自动标注方法，其特征在于，所述基于所述图片状态，确定目标打标模式还包括：选定当前打标进度下的任意打标次数以进行回滚打标；
当目标打标模式为第一打标模式，删除选定打标次数及大于所述选定打标次数形成的所有数据，重新开始选定打标次数下的打标；
当目标打标模式为第二打标模式，保留选定打标次数下的训练数据，删除选定打标次数及大于所述选定打标次数形成的其他所有数据。
10.根据权利要求1所述的图片自动标注方法，其特征在于，所述基于所述高置信度图片占比以及低置信度图片占比，确定目标打标模式包括：
若所述高置信度图片占比低于第一阈值，则目标打标模式为第一打标模式；
若所述低置信度图片占比低于第二阈值，则目标打标模式为第二打标模式；
若所述高置信度图片占比不低于第一阈值，且所述低置信度图片占比不低于第二阈值，则确定历史打标图片的置信度分布信息；
若所述置信度分布信息存在异常，则目标打标模式为第一打标模式；
若所述置信度分布信息不存在异常，则目标打标模式为第二打标模式。
11.根据权利要求8所述的图片自动标注方法，其特征在于，所述基于所述目标打标模式对多个所述图片集中的待打标图片进行打标，生成打标图片；所述目标打标模式为第一打标模式，其中，执行所述第一打标模式的步骤包括：
获取多个图片集的已打标图片集并分类为训练集和验证集，生成训练数据集；
基于所述训练集、验证集和训练权重训练预训练模型，得到所述自动打标模型；
基于训练后的所述自动打标模型对多个所述图片集中的待打标图片进行自动打标。
12.根据权利要求8所述的图片自动标注方法，其特征在于，所述基于所述目标打标模式对多个所述图片集中的待打标图片进行打标，生成打标图片；所述目标打标模式为第二打标模式，其中，执行所述第二打标模式的步骤包括
获取已存在的自动打标模型；
基于所述已存在的自动打标模型对多个所述图片集进行自动打标。
13.根据权利要求1所述的图片自动标注方法，其特征在于，所述基于所述目标打标模式对多个所述图片集中的待打标图片进行打标，生成打标图片包括：
确定自动打标模型的模型参数；所述模型参数包括：迭代打标次数、模型训练次数；
基于所述迭代打标次数获取所述图片集中的所述待打标图片，以及基于所述模型训练次数确定训练权重；
基于所述训练权重自动打标所述待打标图片，生成打标图片。
14.一种图片自动标注装置，其特征在于，所述装置包括：
图片获取模块，用于获取多个图片集以及对应多个所述图片集的图片状态；所述多个图片集至少包括待打标图片集以及已打标图片集；图片状态包括类型信息以及打标次数信息；
模式确定模块，用于基于所述图片状态，确定目标打标模式；所述基于所述图片状态，确定目标打标模式包括：若所述图片集为首次打标，则基于类型信息查找是否存在对应类型信息的模型来确定目标打标模式；若所述图片集为非首次打标，则基于所述打标次数信息，获取最大打标次数下的历史打标图片；基于所述历史打标图片，确定高置信度图片占比以及低置信度图片占比；基于所述高置信度图片占比以及所述低置信度图片占比，确定目标打标模式；
自动打标模块，用于基于所述目标打标模式对多个所述图片集中的待打标图片进行自动打标，生成打标图片；
图片分类模块，用于将所述打标图片按照自定义规则划分成多个标注数据集，多个所述标注数据集包括已打标合格图片集和未打标合格图片集；
迭代判断模块，用于将未打标合格图片集作为待打标图片，并基于所述待打标图片判断是否需要重新确定目标打标模式和/或迭代打标。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述的方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310909233.2A CN116664988B (zh) | 2023-07-24 | 2023-07-24 | 图片自动标注方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310909233.2A CN116664988B (zh) | 2023-07-24 | 2023-07-24 | 图片自动标注方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116664988A CN116664988A (zh) | 2023-08-29 |
| CN116664988B true CN116664988B (zh) | 2023-11-21 |
Family
ID=87723292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310909233.2A Active CN116664988B (zh) | 2023-07-24 | 2023-07-24 | 图片自动标注方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664988B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020261A (zh) * | 2012-12-24 | 2013-04-03 | 南京邮电大学 | 一种图像自动标注方法 |
| WO2020206958A1 (zh) * | 2019-04-09 | 2020-10-15 | 苏宁云计算有限公司 | 一种基于迭代式学习的智能辅助标注方法及系统 |
| CN112530824A (zh) * | 2020-11-11 | 2021-03-19 | 上海华力微电子有限公司 | 半导体芯片缺陷选取定位方法及定位模块 |
| CN112884135A (zh) * | 2021-04-29 | 2021-06-01 | 聚时科技(江苏)有限公司 | 一种基于边框回归的数据标注校正方法 |
| CN113554550A (zh) * | 2021-06-30 | 2021-10-26 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
| CN114255223A (zh) * | 2021-12-21 | 2022-03-29 | 中国地质大学（武汉） | 基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法和设备 |
| CN114429577A (zh) * | 2022-01-27 | 2022-05-03 | 西安交通大学 | 一种基于高置信标注策略的旗帜检测方法及系统及设备 |
| WO2022142783A1 (zh) * | 2020-12-29 | 2022-07-07 | 华为云计算技术有限公司 | 一种图像处理方法以及相关设备 |
| CN115239719A (zh) * | 2022-09-22 | 2022-10-25 | 南昌昂坤半导体设备有限公司 | 缺陷检测方法、系统、电子设备及存储介质 |
| CN115331052A (zh) * | 2022-08-10 | 2022-11-11 | 深圳亿嘉和科技研发有限公司 | 一种基于深度学习的垃圾数据标注系统及方法 |
| CN115761391A (zh) * | 2022-10-12 | 2023-03-07 | 电子科技大学长三角研究院(湖州) | 一种基于yolo的数据集半自动标注方法 |
| CN116051558A (zh) * | 2023-03-31 | 2023-05-02 | 菲特（天津）检测技术有限公司 | 一种缺陷图像标注方法、装置、设备及介质 |
| CN116128839A (zh) * | 2023-01-20 | 2023-05-16 | 杭州广立微电子股份有限公司 | 晶圆缺陷识别方法、装置、电子设备以及存储介质 |
| CN116152594A (zh) * | 2022-12-13 | 2023-05-23 | 北京理工大学重庆创新中心 | 一种构建焊缝x光片人工智能训练集的标注方法 |
| CN116342623A (zh) * | 2023-03-29 | 2023-06-27 | 深圳智现未来工业软件有限公司 | 训练晶圆图像的多缺陷分割模型的方法和装置 |
| CN116385770A (zh) * | 2023-03-03 | 2023-07-04 | 清华大学 | Pcb缺陷板标注和存储方法、系统、电子设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7144244B2 (ja) * | 2018-08-31 | 2022-09-29 | 株式会社日立ハイテク | パターン検査システム |
| US11200659B2 (en) * | 2019-11-18 | 2021-12-14 | Stmicroelectronics (Rousset) Sas | Neural network training device, system and method |
-
2023
- 2023-07-24 CN CN202310909233.2A patent/CN116664988B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020261A (zh) * | 2012-12-24 | 2013-04-03 | 南京邮电大学 | 一种图像自动标注方法 |
| WO2020206958A1 (zh) * | 2019-04-09 | 2020-10-15 | 苏宁云计算有限公司 | 一种基于迭代式学习的智能辅助标注方法及系统 |
| CN112530824A (zh) * | 2020-11-11 | 2021-03-19 | 上海华力微电子有限公司 | 半导体芯片缺陷选取定位方法及定位模块 |
| WO2022142783A1 (zh) * | 2020-12-29 | 2022-07-07 | 华为云计算技术有限公司 | 一种图像处理方法以及相关设备 |
| CN112884135A (zh) * | 2021-04-29 | 2021-06-01 | 聚时科技(江苏)有限公司 | 一种基于边框回归的数据标注校正方法 |
| CN113554550A (zh) * | 2021-06-30 | 2021-10-26 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
| CN114255223A (zh) * | 2021-12-21 | 2022-03-29 | 中国地质大学（武汉） | 基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法和设备 |
| CN114429577A (zh) * | 2022-01-27 | 2022-05-03 | 西安交通大学 | 一种基于高置信标注策略的旗帜检测方法及系统及设备 |
| CN115331052A (zh) * | 2022-08-10 | 2022-11-11 | 深圳亿嘉和科技研发有限公司 | 一种基于深度学习的垃圾数据标注系统及方法 |
| CN115239719A (zh) * | 2022-09-22 | 2022-10-25 | 南昌昂坤半导体设备有限公司 | 缺陷检测方法、系统、电子设备及存储介质 |
| CN115761391A (zh) * | 2022-10-12 | 2023-03-07 | 电子科技大学长三角研究院(湖州) | 一种基于yolo的数据集半自动标注方法 |
| CN116152594A (zh) * | 2022-12-13 | 2023-05-23 | 北京理工大学重庆创新中心 | 一种构建焊缝x光片人工智能训练集的标注方法 |
| CN116128839A (zh) * | 2023-01-20 | 2023-05-16 | 杭州广立微电子股份有限公司 | 晶圆缺陷识别方法、装置、电子设备以及存储介质 |
| CN116385770A (zh) * | 2023-03-03 | 2023-07-04 | 清华大学 | Pcb缺陷板标注和存储方法、系统、电子设备及存储介质 |
| CN116342623A (zh) * | 2023-03-29 | 2023-06-27 | 深圳智现未来工业软件有限公司 | 训练晶圆图像的多缺陷分割模型的方法和装置 |
| CN116051558A (zh) * | 2023-03-31 | 2023-05-02 | 菲特（天津）检测技术有限公司 | 一种缺陷图像标注方法、装置、设备及介质 |
Non-Patent Citations (3)
| Title |
|---|
| Convolutional Neural Network for Wafer Surface Defect Classification and the Detection of Unknown Defect Class;Sejune Cheon 等;《IEEE TRANSACTIONS ON SEMICONDUCTOR MANUFACTURING》;163-170 * |
| 基于深度学习的工件缺陷无损检测方法研究;聂瑜;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-1356 * |
| 晶圆表面缺陷自动检测技术的研究;倪天宇;《中国优秀硕士学位论文全文数据库 信息科技辑》;I135-460 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116664988A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20160163035A1 (en) | Automatic Defect Classification Without Sampling and Feature Selection | |
| US11507038B2 (en) | Quality control method and computing device utilizing method | |
| CN110610482A (zh) | 一种基于resnet的工件瑕疵检测方法 | |
| CN112037222B (zh) | 一种神经网络模型的自动更新方法及系统 | |
| US11423531B2 (en) | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof | |
| CN115937170A (zh) | 电路板检测方法、装置、计算机设备及存储介质 | |
| CA3166581A1 (en) | Method and system for training inspection equipment for automatic defect classification | |
| US20200202252A1 (en) | Method of classifying defects in a specimen semiconductor examination and system thereof | |
| CN109993026B (zh) | 亲属识别网络模型的训练方法及装置 | |
| CN111598084B (zh) | 缺陷分割网络训练方法、装置、设备及可读存储介质 | |
| CN117576108B (zh) | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 | |
| CN116664988B (zh) | 图片自动标注方法、装置、计算机设备和存储介质 | |
| CN116266387A (zh) | 基于重参数化残差结构和坐标注意力机制的yolov4的图像识别算法及系统 | |
| CN107193979B (zh) | 一种同源图片检索的方法 | |
| CN115829925A (zh) | 外观缺陷检测方法、装置、计算机设备及存储介质 | |
| CN116209957A (zh) | 晶片上半导体结构的缺陷检测 | |
| CN113868460A (zh) | 一种图像检索方法、装置及系统 | |
| CN113361811A (zh) | 运行状态预测方法、系统、设备及计算机可读存储介质 | |
| CN113743447B (zh) | 半导体瑕疵识别方法、装置、计算机设备和存储介质 | |
| JP2019144870A (ja) | 対象検査のためのシステム及び方法 | |
| CN114648527B (zh) | 尿路上皮细胞玻片图像分类方法、装置、设备和介质 | |
| CN116503412B (zh) | 外观缺陷检测方法、装置、计算机设备和存储介质 | |
| JP2005025445A (ja) | 最適化問題計算装置および方法 | |
| US20230108313A1 (en) | Data triage in microscopy systems | |
| US20230022057A1 (en) | Method for retrieving images from database |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |