CN117372816A - 一种智能驾驶的图像自动标注方法、标注系统及存储介质 - Google Patents
一种智能驾驶的图像自动标注方法、标注系统及存储介质 Download PDFInfo
- Publication number
- CN117372816A CN117372816A CN202311448405.7A CN202311448405A CN117372816A CN 117372816 A CN117372816 A CN 117372816A CN 202311448405 A CN202311448405 A CN 202311448405A CN 117372816 A CN117372816 A CN 117372816A
- Authority
- CN
- China
- Prior art keywords
- labeling
- images
- image
- result
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 196
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000012216 screening Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims description 38
- 230000008447 perception Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明属于智能驾驶技术领域，具体涉及一种智能驾驶的图像自动标注方法、标注系统及存储介质，本智能驾驶的图像自动标注方法包括：获取待标注图像；从待标注图像中筛选出高质量图像及低质量图像；分类保存图像；根据标签的分类原则将图像及与图像对应的初始标注结果存储到对应的数据库中；查找和提取满足所需场景的若干张图像及与图像对应的初始标注结果作为业务数据集；对业务数据集中图像进行自动标注，以获取最终的标注结果；本发明可以减少和替代人工挑选高质量图像的工作，降低无效图像和低质量图像对后续标注工作的影响，能够让使用者在功能需求的前期快速地标注出一些有用的数据，减少单模型标注时的漏检，提高标注结果的准确性。
Description
技术领域
本发明属于智能驾驶技术领域，具体涉及一种智能驾驶的图像自动标注方法、标注系统及存储介质。
背景技术
现有技术中，像L2以上的高阶驾驶辅助系统(ADAS)需要基于数据进行驱动，建立和优化深度学习感知模型，进而为汽车的智能驾驶技术赋能。智能驾驶的汽车通常会使用摄像头来采集周围的环境数据，而这些图像数据往往需要进行分类和标注，才能被用作感知模型的训练数据。为了提升图像识别的检测性能，感知模型需要依靠大规模、高质量的数据进行学习，而这些大规模的数据往往通过人工标注或者利用标注模型进行辅助标注。
待标注图像的质量良莠不齐，一般待标注的图像是从路采视频流中抽帧取得，图像可能有模糊、遮挡等质量问题；随着数据量的增加，数据的筛选和存储也变得更加困难，如何快速地从海量数据中挑选出需要的图像，以及高质量的图像如何有效地保存在数据库中，这些都是亟待解决的问题；人工标注的成本较高，团队分工协作的效率较低，而且在标注质量审核阶段的驳回率较高；效果受限于模型的检测能力。前期的数据量不足，大模型的搭建工作较为困难，但是采用小模型时标注的误检率和漏检率较高且准确率较低；标注模型需要根据业务需求进行定制化地设计，现有的开源模型无法满足ADAS多任务功能的需求，比如检测车辆目标时除了车辆的位置和类别信息之外，还有车头朝向、异常状态等信息。当存在新的功能需求时，标注模型需要重新设计和训练，会浪费较多的资源以及增加成本。
因此，亟需开发一种新的智能驾驶的图像自动标注方法、标注系统及存储介质，以解决上述问题。
发明内容
本发明的目的是提供一种智能驾驶的图像自动标注方法、标注系统及存储介质。
为了解决上述技术问题，本发明提供了一种智能驾驶的图像自动标注方法，其包括：获取待标注图像；从待标注图像中筛选出高质量图像及低质量图像；将高质量图像作为正样本保存及低质量图像作为负样本保存；将筛选后的高质量图像输入到初始标注模型中，以检测图像中所有目标，并将检测结果作为初始标注结果，通过统计每张图像中目标的种类和数量对每张图像打标签，根据标签的分类原则将图像及与图像对应的初始标注结果存储到对应的数据库中；从数据库的索引目录中查找和提取满足所需场景的若干张图像及与图像对应的初始标注结果作为业务数据集；对业务数据集中图像进行自动标注，以获取最终的标注结果。
具体地，所述获取待标注图像的方法包括：获取智能驾驶场景所需的各种图像数据，对所有的图像进行缩放或截取以统一到同一尺寸，以作为待标注图像。
具体地，所述从待标注图像中筛选出高质量图像及低质量图像的方法包括：通过判断待标注图像的模糊程度、遮挡程度以及光线强度，以筛选出高质量图像及低质量图像。
具体地，所述对业务数据集中图像进行自动标注，以获取最终的标注结果的方法包括：通过从业务数据集中提取出的图像训练初始的业务感知模型；将全部的业务数据集中图像输入初始的业务感知模型，以得到业务数据集的自动标注结果；将业务数据集中对图像的自动标注结果与初始标注结果进行加权融合，以对标注结果中的目标位置进行融合后获取最终标注结果；将获取的最终标注结果继续训练和优化业务感知模型，以优化自动标注结果。
具体地，将同一张图像中的同类目标进行判断和融合，按照标注数据的类型分为目标框融合、多边形融合和关键点融合；在同一张图像中将图像对应的初始标注结果以及自动标注结果按照不同类别分别进行整理，并依次将同类别的标注结果两两匹配；判断标注结果的类型是否属于目标框、多边形和关键点这三种数据中的一种；若判断标注结果的类型均不属于目标框、多边形和关键点这三种数据中的一种，判断为无效数据并舍弃；若判断标注结果的类型属于目标框、多边形和关键点这三种数据中的一种，根据数据类型进行相应的融合操作。
具体地，针对类型为目标框的标注结果，计算两个框的交并比；其中，IOU为交并比，Sa∩Sb表示初始标注结果的目标框和自动标注结果的目标框相互重合部分的面积，Sa∪Sb表示初始标注结果的目标框和自动标注结果的目标框两者并集的面积；若两个框存在重合区域，则重合区域的左上角点(xmin,ymin)和右下角点(xmax,ymax)的计算公式如下：/>其中，(xamin,yamin)和(xamax,yamax)分别表示初始标注结果的目标框的左上角点坐标和右下角点坐标，(xbmin,ybmin)和(xbmax,ybmax)分别表示自动标注结果的目标框的左上角点坐标和右下角点坐标，max(·)表示取最大值函数，min(·)表示取最小值函数；两框的交集面积和并集面积的计算公式为：当IOU>阈值T1时，使用加权框融合公式计算两个框融合后的结果；当IOU≤阈值T1时，保留两个框的标注结果；对应的目标框融合公式为：
其中，(xrmin,yrmin)和(xrmax,yrmax)分别表示融合后目标框的左上角点坐标和右下角点坐标，ca,cb分别表示初始标注结果和自动标注结果对应目标框的置信度。
具体地，针对类型为多边形的标注结果，计算IOG，且IOG为两个多边形的交集与自身的比值；通过用OpenCV创建空白的数组,并使用多边形分别填充空白数组,统计非空的像素值，以得到单个多边形的面积；通过两个多边形填充空白数组，以获取两个多边形的并集面积；通过两个多边形的面积和减去并集面积得到两个多边形的交集面积，以分别计算出两个多边形的IOG；当IOG>阈值T2时，选择IOG值大者的多边形作为融合后的结果；当IOG≤阈值T2时，保留两个多边形的标注结果。
具体地，针对类型为关键点的标注结果，对每个目标按照关键点的对应关系，依次计算彼此之间的距离；若距离<阈值T3，通过加权点融合公式计算两个对应点融合后的结果；若距离≥阈值T3，保留两个标注结果；对应的关键点融合公式为：其中，(xai,yai)表示初始标注结果中第i个关键点的坐标，(xbi,ybi)表示自动标注结果中第i个关键点的坐标，(xri,yri)表示融合后的第i个关键点的坐标，n表示总的关键点个数。
另一方面，本发明提供一种采用如上述的智能驾驶的图像自动标注方法的图像自动标注系统，其特征在于，包括：数据采集模块，获取待标注图像；图像质量检测模块，从待标注图像中筛选出高质量图像及低质量图像；数据筛选模块，将高质量图像作为正样本保存及低质量图像作为负样本保存，将筛选后的高质量图像输入到初始标注模型中，以检测图像中所有目标，并将检测结果作为初始标注结果，通过统计每张图像中目标的种类和数量对每张图像打标签，根据标签的分类原则将图像及与图像对应的初始标注结果存储到对应的数据库中；自动标注模块，从数据库的索引目录中查找和提取满足所需场景的若干张图像及与图像对应的初始标注结果作为业务数据集，对业务数据集中图像进行自动标注，以获取最终的标注结果。
第三方面，本发明提供一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序，所述计算机程序在被处理器执行时，实现如上述的智能驾驶的图像自动标注方法。
本发明的有益效果是，本发明通过对待标注图像进行初步地筛选，可以减少和替代人工挑选高质量图像的工作，降低无效图像和低质量图像对后续标注工作的影响，通过对待标注图像作进一步地筛选，根据图像检测的目标结果将图像自动地打上标签，然后根据标签的分类原则存储到对应的数据库中，以便实际业务需求的查找和提取，能够让使用者在功能需求的前期快速地标注出一些有用的数据，并利用这些数据训练出自己初始的业务感知模型，并通过不断地迭代优化，最终得到满意的业务感知模型，初始标注模型可以采用开源模型或者利用开源数据集训练出的模型，降低了前期的标注成本，业务感知模型为实际的业务需求模型，推理出的结果更加完整，将其作为标注模型可以减少开发过程中整体的资源消耗，两者结合，能够减少单模型标注时的漏检，提高标注结果的准确性。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的智能驾驶的图像自动标注方法的流程图；
图2是本发明的加权融合操作的示意图；
图3是本发明的图像自动标注系统的流程图；
图4是本发明的图像质量检测模块的示意图；
图5是本发明的数据筛选模块的示意图；
图6是本发明的自动标注模块的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1，在本实施例中，如图1至图2所示，本实施例提供了一种智能驾驶的图像自动标注方法，其包括：获取待标注图像；从待标注图像中筛选出高质量图像及低质量图像；将高质量图像作为正样本保存及低质量图像作为负样本保存；将筛选后的高质量图像输入到初始标注模型中，以检测图像中所有目标，并将检测结果作为初始标注结果，通过统计每张图像中目标的种类和数量对每张图像打标签，根据标签的分类原则将图像及与图像对应的初始标注结果存储到对应的数据库中；从数据库的索引目录中查找和提取满足所需场景的若干张图像及与图像对应的初始标注结果作为业务数据集；对业务数据集中图像进行自动标注，以获取最终的标注结果。
在本实施例中，本实施例通过对待标注图像进行初步地筛选，可以减少和替代人工挑选高质量图像的工作，降低无效图像和低质量图像对后续标注工作的影响，通过对待标注图像作进一步地筛选，根据图像检测的目标结果将图像自动地打上标签，然后根据标签的分类原则存储到对应的数据库中，以便实际业务需求的查找和提取，能够让使用者在功能需求的前期快速地标注出一些有用的数据，并利用这些数据训练出自己初始的业务感知模型，并通过不断地迭代优化，最终得到满意的业务感知模型，初始标注模型可以采用开源模型或者利用开源数据集训练出的模型，降低了前期的标注成本，业务感知模型为实际的业务需求模型，推理出的结果更加完整，将其作为标注模型可以减少开发过程中整体的资源消耗，两者结合，能够减少单模型标注时的漏检，提高标注结果的准确性。
为了能够实现图像获取，所述获取待标注图像的方法包括：获取智能驾驶场景所需的各种图像数据，对所有的图像进行缩放或截取以统一到同一尺寸，以作为待标注图像。
具体地，智能驾驶场景所需的各种图像数据包括：摄像头采集的视频流、特殊场景的仿真图像、AI生成式图像等，对于视频流等数据需要额外进行抽帧等操作，最终将所有的图像以缩放或截取的方式统一到同一个尺寸上，作为待标注图像。
为了能够对图像进行筛选，所述从待标注图像中筛选出高质量图像及低质量图像的方法包括：通过判断待标注图像的模糊程度、遮挡程度以及光线强度，以筛选出高质量图像及低质量图像。
具体地，输入图像首先会经过由各类卷积组成的特征提取网络进行特征提取操作，然后提取出来的特征会经过特征压缩网络压缩成一维向量，最后分别输入到模糊、遮挡、光照三个分类器中进行分类，每个分类器的分类属性都有正常、轻度、中等、严重四个选项，最终同时输出图像的模糊程度、遮挡程度以及光线强度。
具体地，高质量图像一般为无模糊(模糊的分类为正常)、无遮挡(遮挡的分类为正常)、正常光照的图像。为提高检测模型的鲁棒性，也可以适当地放宽高质量图像的判断标准。
具体地，高质量图像用于后续的自动标注，而低质量图像用于迭代和优化图像质量检测模型。
具体地，初始标注模型可以采用开源模型或者利用开源数据集训练出的模型，比如SAM(Segment Anything Model)等模型，旨在降低感知模型开发前期的标注成本，后期数据量充足时替换成自己的标注大模型。
具体地，标签的分类原则主要依据每张图像中目标的种类和数量，以目标的种类作为数据存储时的主要分类原则，并以每种目标对应的数量作为第二分类属性来辅助第一分类属性进行数据存储。同时在数据库中创建至少一个用于存放不同类别的json文件作为索引目录，该目录主要记录图像的完整保存路径和图像中包含的所有类别及其对应目标的数量。
为了能够实现对图像进行标注，所述对业务数据集中图像进行自动标注，以获取最终的标注结果的方法包括：通过从业务数据集中提取出的图像训练初始的业务感知模型；将全部的业务数据集中图像输入初始的业务感知模型，以得到业务数据集的自动标注结果；将业务数据集中对图像的自动标注结果与初始标注结果进行加权融合，以对标注结果中的目标位置进行融合后获取最终标注结果；将获取的最终标注结果继续训练和优化业务感知模型，以优化自动标注结果。
具体地，从所提取出的业务数据集图像中挑选出适量的部分数据，并导入标注软件进行调整和完善标注结果，训练出一个初始的业务感知模型。
为了能够优化自动标注结果，将同一张图像中的同类目标进行判断和融合，按照标注数据的类型分为目标框融合、多边形融合和关键点融合；在同一张图像中将图像对应的初始标注结果以及自动标注结果按照不同类别分别进行整理，并依次将同类别的标注结果两两匹配；判断标注结果的类型是否属于目标框、多边形和关键点这三种数据中的一种；若判断标注结果的类型均不属于目标框、多边形和关键点这三种数据中的一种，判断为无效数据并舍弃；若判断标注结果的类型属于目标框、多边形和关键点这三种数据中的一种，根据数据类型进行相应的融合操作。
具体地，目标框融合用于目标检测任务，多边形融合用于语义分割或实例分割任务，关键点融合用于关键点检测任务。
具体地，针对类型为目标框的标注结果，计算两个框的交并比；其中，IOU为交并比，Sa∩Sb表示初始标注结果的目标框和自动标注结果的目标框相互重合部分的面积，Sa∪Sb表示初始标注结果的目标框和自动标注结果的目标框两者并集的面积；若两个框存在重合区域，则重合区域的左上角点(xmin,ymin)和右下角点(xmax,ymax)的计算公式如下：/>其中，(xamin,yamin)和(xamax,yamax)分别表示初始标注结果的目标框的左上角点坐标和右下角点坐标，(xbmin,ybmin)和(xbmax,ybmax)分别表示自动标注结果的目标框的左上角点坐标和右下角点坐标，max(·)表示取最大值函数，min(·)表示取最小值函数；两框的交集面积和并集面积的计算公式为：当IOU>阈值T1时，使用加权框融合公式计算两个框融合后的结果；当IOU≤阈值T1时，保留两个框的标注结果；对应的目标框融合公式为：
其中，(xrmin,yrmin)和(xrmax,yrmax)分别表示融合后目标框的左上角点坐标和右下角点坐标，ca,cb分别表示初始标注结果和自动标注结果对应目标框的置信度。
具体地，针对类型为多边形的标注结果，计算IOG，且IOG为两个多边形的交集与自身的比值；通过用OpenCV创建空白的数组,并使用多边形分别填充空白数组,统计非空的像素值，以得到单个多边形的面积；通过两个多边形填充空白数组，以获取两个多边形的并集面积；通过两个多边形的面积和减去并集面积得到两个多边形的交集面积，以分别计算出两个多边形的IOG；当IOG>阈值T2时，选择IOG值大者的多边形作为融合后的结果；当IOG≤阈值T2时，保留两个多边形的标注结果。
具体地，针对类型为关键点的标注结果，对每个目标按照关键点的对应关系，依次计算彼此之间的距离；若距离<阈值T3，通过加权点融合公式计算两个对应点融合后的结果；若距离≥阈值T3，保留两个标注结果；对应的关键点融合公式为：其中，(xai,yai)表示初始标注结果中第i个关键点的坐标，(xbi,ybi)表示自动标注结果中第i个关键点的坐标，(xri,yri)表示融合后的第i个关键点的坐标，n表示总的关键点个数。
具体地，遍历完所有类别的标注结果，最后保留的标注结果作为最终结果进行输出。
具体地，可以将双模型融合的自动标注方法替换成至少两个模型组合标注的形式，同时也可以将多任务模型换成多个单任务模型。
实施例2，在实施例1的基础上，如图1至图6所示，本实施例提供一种采用如实施例1所提供的智能驾驶的图像自动标注方法的图像自动标注系统，其特征在于，包括：数据采集模块，获取待标注图像；图像质量检测模块，从待标注图像中筛选出高质量图像及低质量图像；数据筛选模块，将高质量图像作为正样本保存及低质量图像作为负样本保存，将筛选后的高质量图像输入到初始标注模型中，以检测图像中所有目标，并将检测结果作为初始标注结果，通过统计每张图像中目标的种类和数量对每张图像打标签，根据标签的分类原则将图像及与图像对应的初始标注结果存储到对应的数据库中；自动标注模块，从数据库的索引目录中查找和提取满足所需场景的若干张图像及与图像对应的初始标注结果作为业务数据集，对业务数据集中图像进行自动标注，以获取最终的标注结果。
具体地，数据采集模块用于获取智能驾驶场景所需的各种图像数据，然后将其统一到同一个尺寸，作为待标注图像。各种图像数据包括摄像头采集的视频流、特殊场景的仿真图像、AI生成式图像等等，对于视频流等数据需要额外进行抽帧等操作，最终将所有的图像以缩放或截取的方式统一到同一个尺寸上。
具体地，图像质量检测模块用于检测待标注图像的质量，包括模糊程度、遮挡程度以及光照强度，筛选高质量的图像用于后续的标注工作。
具体地，数据筛选模块用于将检测完的高质量图像进行分类和数据存储，利用初始标注模型检测图像中所包含的目标，然后根据目标的类别和数量，将图像及其初始标注结果归类存储到数据库中。
具体地，自动标注模块用于业务数据集图像的自动标注，修正和完善初始标注结果，得到最终可以用于模型训练的标签文件。
具体地，图像质量检测模块主要由图像质量检测模型所构成，该模型为多任务分类模型，包括：特征提取网络、特征压缩网络以及模糊、遮挡和光照三个分类器。输入图像首先会经过由各类卷积组成的特征提取网络进行特征提取操作，然后提取出来的特征会经过特征压缩网络压缩成一维向量，最后分别输入到模糊、遮挡、光照三个分类器中进行分类。每个分类器的分类属性都有正常、轻度、中等、严重四个选项，最终同时输出图像的模糊程度、遮挡程度以及光线强度。
实施例3，在上述实施例的基础上，本实施例提供一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序，所述计算机程序在被处理器执行时，实现如实施例1所提供的智能驾驶的图像自动标注方法。
综上所述，本发明通过对待标注图像进行初步地筛选，可以减少和替代人工挑选高质量图像的工作，降低无效图像和低质量图像对后续标注工作的影响，通过对待标注图像作进一步地筛选，根据图像检测的目标结果将图像自动地打上标签，然后根据标签的分类原则存储到对应的数据库中，以便实际业务需求的查找和提取，能够让使用者在功能需求的前期快速地标注出一些有用的数据，并利用这些数据训练出自己初始的业务感知模型，并通过不断地迭代优化，最终得到满意的业务感知模型，初始标注模型可以采用开源模型或者利用开源数据集训练出的模型，降低了前期的标注成本，业务感知模型为实际的业务需求模型，推理出的结果更加完整，将其作为标注模型可以减少开发过程中整体的资源消耗，两者结合，能够减少单模型标注时的漏检，提高标注结果的准确性。
本申请中选用的各个器件(未说明具体结构的部件)均为通用标准件或本领域技术人员知晓的部件，其结构和原理都为本技术人员均可通过技术手册得知或通过常规实验方法获知。
在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (10)
1.一种智能驾驶的图像自动标注方法，其特征在于，包括：
获取待标注图像；
从待标注图像中筛选出高质量图像及低质量图像；
将高质量图像作为正样本保存及低质量图像作为负样本保存；
将筛选后的高质量图像输入到初始标注模型中，以检测图像中所有目标，并将检测结果作为初始标注结果，通过统计每张图像中目标的种类和数量对每张图像打标签，根据标签的分类原则将图像及与图像对应的初始标注结果存储到对应的数据库中；
从数据库的索引目录中查找和提取满足所需场景的若干张图像及与图像对应的初始标注结果作为业务数据集；
对业务数据集中图像进行自动标注，以获取最终的标注结果。
2.如权利要求1所述的智能驾驶的图像自动标注方法，其特征在于，
所述获取待标注图像的方法包括：
获取智能驾驶场景所需的各种图像数据，对所有的图像进行缩放或截取以统一到同一尺寸，以作为待标注图像。
3.如权利要求1所述的智能驾驶的图像自动标注方法，其特征在于，
所述从待标注图像中筛选出高质量图像及低质量图像的方法包括：
通过判断待标注图像的模糊程度、遮挡程度以及光线强度，以筛选出高质量图像及低质量图像。
4.如权利要求1所述的智能驾驶的图像自动标注方法，其特征在于，
所述对业务数据集中图像进行自动标注，以获取最终的标注结果的方法包括：
通过从业务数据集中提取出的图像训练初始的业务感知模型；
将全部的业务数据集中图像输入初始的业务感知模型，以得到业务数据集的自动标注结果；
将业务数据集中对图像的自动标注结果与初始标注结果进行加权融合，以对标注结果中的目标位置进行融合后获取最终标注结果；
将获取的最终标注结果继续训练和优化业务感知模型，以优化自动标注结果。
5.如权利要求4所述的智能驾驶的图像自动标注方法，其特征在于，
将同一张图像中的同类目标进行判断和融合，按照标注数据的类型分为目标框融合、多边形融合和关键点融合；
在同一张图像中将图像对应的初始标注结果以及自动标注结果按照不同类别分别进行整理，并依次将同类别的标注结果两两匹配；
判断标注结果的类型是否属于目标框、多边形和关键点这三种数据中的一种；
若判断标注结果的类型均不属于目标框、多边形和关键点这三种数据中的一种，判断为无效数据并舍弃；
若判断标注结果的类型属于目标框、多边形和关键点这三种数据中的一种，根据数据类型进行相应的融合操作。
6.如权利要求5所述的智能驾驶的图像自动标注方法，其特征在于，
针对类型为目标框的标注结果，计算两个框的交并比；
其中，IOU为交并比，Sa∩Sb表示初始标注结果的目标框和自动标注结果的目标框相互重合部分的面积，Sa∪Sb表示初始标注结果的目标框和自动标注结果的目标框两者并集的面积；
若两个框存在重合区域，则重合区域的左上角点(xmin,ymin)和右下角点(xmax,ymax)的计算公式如下：
其中，(xamin,yamin)和(xamax,yamax)分别表示初始标注结果的目标框的左上角点坐标和右下角点坐标，(xbmin,ybmin)和(xbmax,ybmax)分别表示自动标注结果的目标框的左上角点坐标和右下角点坐标，max(·)表示取最大值函数，min(·)表示取最小值函数；
两框的交集面积和并集面积的计算公式为：
当IOU>阈值T1时，使用加权框融合公式计算两个框融合后的结果；
当IOU≤阈值T1时，保留两个框的标注结果；
对应的目标框融合公式为：
其中，(xrmin,yrmin)和(xrmax,yrmax)分别表示融合后目标框的左上角点坐标和右下角点坐标，ca,cb分别表示初始标注结果和自动标注结果对应目标框的置信度。
7.如权利要求6所述的智能驾驶的图像自动标注方法，其特征在于，
针对类型为多边形的标注结果，计算IOG，且IOG为两个多边形的交集与自身的比值；
通过用OpenCV创建空白的数组,并使用多边形分别填充空白数组,统计非空的像素值，以得到单个多边形的面积；
通过两个多边形填充空白数组，以获取两个多边形的并集面积；
通过两个多边形的面积和减去并集面积得到两个多边形的交集面积，以分别计算出两个多边形的IOG；
当IOG>阈值T2时，选择IOG值大者的多边形作为融合后的结果；
当IOG≤阈值T2时，保留两个多边形的标注结果。
8.如权利要求7所述的智能驾驶的图像自动标注方法，其特征在于，
针对类型为关键点的标注结果，对每个目标按照关键点的对应关系，依次计算彼此之间的距离；
若距离<阈值T3，通过加权点融合公式计算两个对应点融合后的结果；
若距离≥阈值T3，保留两个标注结果；
对应的关键点融合公式为：
其中，(xai,yai)表示初始标注结果中第i个关键点的坐标，(xbi,ybi)表示自动标注结果中第i个关键点的坐标，(xri,yri)表示融合后的第i个关键点的坐标，n表示总的关键点个数。
9.一种采用如权利要求1-8任一项所述的智能驾驶的图像自动标注方法的图像自动标注系统，其特征在于，包括：
数据采集模块，获取待标注图像；
图像质量检测模块，从待标注图像中筛选出高质量图像及低质量图像；
数据筛选模块，将高质量图像作为正样本保存及低质量图像作为负样本保存，将筛选后的高质量图像输入到初始标注模型中，以检测图像中所有目标，并将检测结果作为初始标注结果，通过统计每张图像中目标的种类和数量对每张图像打标签，根据标签的分类原则将图像及与图像对应的初始标注结果存储到对应的数据库中；
自动标注模块，从数据库的索引目录中查找和提取满足所需场景的若干张图像及与图像对应的初始标注结果作为业务数据集，对业务数据集中图像进行自动标注，以获取最终的标注结果。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序，所述计算机程序在被处理器执行时，实现如权利要求1-8任一项所述的智能驾驶的图像自动标注方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311448405.7A CN117372816A (zh) | 2023-11-02 | 2023-11-02 | 一种智能驾驶的图像自动标注方法、标注系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311448405.7A CN117372816A (zh) | 2023-11-02 | 2023-11-02 | 一种智能驾驶的图像自动标注方法、标注系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117372816A true CN117372816A (zh) | 2024-01-09 |
Family
ID=89394527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311448405.7A Pending CN117372816A (zh) | 2023-11-02 | 2023-11-02 | 一种智能驾驶的图像自动标注方法、标注系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372816A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649665A (zh) * | 2024-01-29 | 2024-03-05 | 中国科学院自动化研究所 | 矿区自动驾驶场景数据标注方法及系统 |
-
2023
- 2023-11-02 CN CN202311448405.7A patent/CN117372816A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649665A (zh) * | 2024-01-29 | 2024-03-05 | 中国科学院自动化研究所 | 矿区自动驾驶场景数据标注方法及系统 |
| CN117649665B (zh) * | 2024-01-29 | 2024-05-14 | 中国科学院自动化研究所 | 矿区自动驾驶场景数据标注方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107506763B (zh) | 一种基于卷积神经网络的多尺度车牌精准定位方法 | |
| EP3806064B1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| CN110210276A (zh) | 一种移动轨迹获取方法及其设备、存储介质、终端 | |
| CN103838566A (zh) | 信息处理装置和信息处理方法 | |
| CN117372816A (zh) | 一种智能驾驶的图像自动标注方法、标注系统及存储介质 | |
| CN112287896A (zh) | 一种基于深度学习的无人机航拍图像目标检测方法及系统 | |
| CN105260428A (zh) | 图片处理方法和装置 | |
| CN112927776A (zh) | 一种面向医学检验报告的人工智能自动解读系统 | |
| CN114820679B (zh) | 图像标注方法、装置、电子设备和存储介质 | |
| Gu et al. | Embedded and real-time vehicle detection system for challenging on-road scenes | |
| CN110097603B (zh) | 一种时尚图像主色调解析方法 | |
| CN113361496B (zh) | 一种基于U-Net的城市建成区统计方法 | |
| CN114419603A (zh) | 一种自动驾驶车辆控制方法、系统和自动驾驶车辆 | |
| CN114821620A (zh) | 基于行文本框纵向合并的文本内容提取识别方法 | |
| CN113139452A (zh) | 基于目标检测的使用手机行为的检测方法 | |
| US20230386188A1 (en) | Image analysis system an update method for machine learning model | |
| CN110766663A (zh) | 一种钻石多尺度定级及内含物可视化的智能方法 | |
| CN117115727A (zh) | 一种变电站缺陷判别方法及系统 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN113435358B (zh) | 用于训练模型的样本生成方法、装置、设备、程序产品 | |
| CN104809438A (zh) | 一种检测电子眼的方法和设备 | |
| CN115546824A (zh) | 禁忌图片识别方法、设备及存储介质 | |
| CN114639084A (zh) | 一种基于ssd改进算法的路侧端车辆感知方法 | |
| CN107403192A (zh) | 一种基于多分类器的快速目标检测方法及系统 | |
| CN116503406B (zh) | 基于大数据的水利工程信息管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |