CN113222070B - 一种仿真图像数据自动标注方法及系统 - Google Patents

一种仿真图像数据自动标注方法及系统 Download PDF

Info

Publication number
CN113222070B
CN113222070B CN202110620062.2A CN202110620062A CN113222070B CN 113222070 B CN113222070 B CN 113222070B CN 202110620062 A CN202110620062 A CN 202110620062A CN 113222070 B CN113222070 B CN 113222070B
Authority
CN
China
Prior art keywords
individual
bounding box
image
semantic
simulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110620062.2A
Other languages
English (en)
Other versions
CN113222070A (zh
Inventor
董乾
薛云志
孟令中
王鹏淇
杨光
师源
武斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Software of CAS
Original Assignee
Institute of Software of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Software of CAS filed Critical Institute of Software of CAS
Priority to CN202110620062.2A priority Critical patent/CN113222070B/zh
Publication of CN113222070A publication Critical patent/CN113222070A/zh
Application granted granted Critical
Publication of CN113222070B publication Critical patent/CN113222070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种仿真图像数据自动标注方法及系统，本方法步骤包括：1)获取仿真图像、整体语义图像和个体语义图像集合，以及拍摄该仿真图像的仿真相机参数和个体参数集合；2)根据所述个体语义图像集合确定所述仿真图像中包含的个体集合并计算每一个体的粗糙2D包围盒；3)基于个体对应的所述粗糙2D包围盒和个体语义图像计算个体的精确2D包围盒；4)根据个体对应的个体语义图像和整体语义图像确定所述个体的遮挡率，去掉遮挡率小于设定遮挡率阈值的个体；5)利用精确2D包围盒判断个体是否为无效个体，去掉无效个体；6)根据个体集合以及个体对应的精确2D包围盒，对该仿真图像的进行数据标注和组织，得到标注后的仿真图像。

Description

一种仿真图像数据自动标注方法及系统
技术领域
本发明属于计算机软件技术领域，具体涉及一种仿真图像数据自动标注方法及系统。
背景技术
随着机器学习技术特别是深度学习技术的快速发展，机器学习越来越得到各领域的重视与研究，机器学习在图像算法领域得到了广泛的应用和发展，如图像识别、分类、检测等，这些任务需要大量的数据来提高模型的泛化性与效果表现。机器学习算法的训练、测试需要大量数据作为支撑，但是在某些具体的领域带有标注的数据却很少，因此在特定的领域需要大量的数据进行标注。
现阶段为了准确的进行目标边界框标注，主要通过人工方式手动标注或人工利用自动化标注工具实现。然而，人工使用数据标注软件进行标注过程中，因为在标注类别多且目标多的物体时，往往需要寻找类别，浪费标注数据的时间，导致标注速度慢。在计算机视觉和无人车方面常用的数据集，如ImageNet(图像识别最大的数据库)、Kitti(无人车的真实场景数据)和Cityscapes(真实城市道路的场景数据)，包含的数据主要都是普通场景，特殊条件下的场景极少。对于场景条件的限制会极大增加通过人工方式获取数据集的获取周期和产生成本，这使得实时采集数据进行标注的传统数据集获取方法变得不可行。
随着传感器方面的仿真不断进步，计算机成像的发展已经可以为自动驾驶提供摄像头的训练测试数据，英伟达、谷歌等公司在自动驾驶领域虚拟仿真图像的利用上证明了借助虚拟图像的可行性，为机器学习算法提供数据的准确性，仿真图像很好的解决了场景条件的限制的问题。
视觉算法数据自动生成能够为深度学习模型的训练过程生成大批量、多种类的可用仿真图像数据集。与此同时，由于图像原始数据中经常出现大量的遮挡情况，为提高标注的准确性就需要对遮挡情况进行逐一人工分析。因此，遮挡情况下的批量图像数据的人工标注更需要大量的时间和资金，且由于标注人员的失误，可能会存在标注错误或不正确的数据，因此越来越多的学者通过研究机器学习的方法进行图像的自动标注，但是遮挡情况的自动化标注的机器学习算法对数据集的依赖性较大，难以适应于多种场景，存在目标边界框标注不准确的问题。
因此传统的人工标注方法以及机器学习自动标注方法存在费时费力、成本高昂、标注不准确等缺陷，且对于遮挡情况下批量图像数据仍需要人工标注。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供一种仿真图像数据自动标注方法及系统。本方法对于预数据标注的仿真图像，进行了粗糙2D包围盒标注、精确2D包围盒标注、遮挡判断、尺寸筛选、数据标注及组织等步骤，可高效率地完成仿真图像的数据自动标注。本发明使用二分法对于粗糙2D包围盒标注进一步的进行精确标注。对于仿真图像中可能存在遮挡的个体进行了判断和处理，使用仿真图像中每个个体的像素信息，而不是整个图像的像素信息。
本发明还提出了一种仿真图像数据自动标注系统，用于仿真图像数据自动标注方法的实现。
如图1所示，本发明所提供的仿真图像数据自动标注方法包括以下步骤：
步骤1：获取仿真图像、整体语义图像和个体语义图像集合，以及仿真相机参数和个体参数集合；
步骤2：根据所述个体语义图像集合确定所述仿真图像中包含的个体集合，对所述个体集合中的每个个体，利用所述仿真相机参数和所述个体参数集合中该个体对应的个体参数计算所述个体的粗糙2D包围盒；
步骤3：对所述个体集合中的每个所述个体，基于对应的所述粗糙2D包围盒，利用所述个体对应的所述个体语义图像，通过二分法计算所述个体的精确2D包围盒；
步骤4：对所述个体集合中的每个所述个体，利用所述个体对应的所述个体语义图像和所述整体语义图像，进行所述个体的遮挡判断，从所述个体集合中去掉遮挡严重的个体；
步骤5：对所述个体集合中的每个所述个体，利用对应的所述精确2D包围盒，进行所述个体的尺寸筛选，从所述个体集合中去掉尺寸不足的个体；
步骤6：根据步骤5筛选后的所述个体集合以及所述个体集合中每个所述个体对应的所述精确2D包围盒，进行数据标注和组织，形成图像分类数据和目标检测数据。
进一步的，步骤1中所述的仿真图像、整体语义图像和个体语义图像集合是由所述仿真相机在虚拟环境中的同一时刻渲染生成，使得所述仿真图像和所述整体语义图像在相同位置的像素间具有一致性的对应关系，从而保障所述整体语义图像准确记录所述仿真图像的语义信息；每一所述个体语义图像记录所述仿真图像中的一对应单一个体的语义信息，本质上只考虑了所述单一个体的语义渲染成像而隐藏了其他的物体；所述个体语义图像集合是由所述仿真图像中的所有个体语义图像为元素组成的集合。
仿真相机参数包括但不限于世界坐标下仿真相机的空间位置
Figure GDA0003744026550000031
航偏角
Figure GDA0003744026550000032
俯仰角
Figure GDA0003744026550000033
横滚角
Figure GDA0003744026550000034
成像焦距f、成像水平分辨率dx、成像垂直分辨率dy、光心成像像素偏移[u0 v0]T。
个体参数集合是由所述仿真图像中的个体参数信息为元素组成的集合。所述个体参数信息包括但不限于个体位置[XO YO ZO]T、航偏角yawO、俯仰角pitchO、横滚角rollO、中心位置偏移量[XL YL ZL]T、包围盒半边长信息[XE YE ZE]T。其中，所述中心位置偏移量是指在个体坐标系下中心位置距个体定位点的偏移量；所述包围盒半边长是指个体包围盒的长、宽、高的一半，在个体坐标系下可由第一卦限中的包围盒顶点坐标表示。
进一步的，步骤2中利用步骤1中获取的所述仿真相机参数空间位置
Figure GDA0003744026550000035
航偏角
Figure GDA0003744026550000036
俯仰角
Figure GDA0003744026550000037
横滚角
Figure GDA0003744026550000038
成像焦距f、成像水平分辨率dx、成像垂直分辨率dy、光心成像像素偏移[u0 v0]T、所述个体[XO YO ZO]T、航偏角yawO、俯仰角pitchO、横滚角rollO、中心位置偏移量[XL YL ZL]T、包围盒半边长信息[XE YE ZE]T进行所述个体粗糙2D包围盒的左右边界
Figure GDA0003744026550000039
和上下边界
Figure GDA00037440265500000310
进一步的，步骤3具体为：
对于所述个体精确2D包围盒的左边界XL，通过所述个体对应的所述个体语义图像的像素操作，基于二分法的计算过程如下，如图2所示：
步骤3.1：在粗糙2D包围盒
Figure GDA00037440265500000311
内逐列扫描，计算像素列和
Figure GDA00037440265500000312
步骤3.2：设置中心位置
Figure GDA00037440265500000313
设置左边界下限
Figure GDA00037440265500000314
步骤3.3：计算左边界估计值
Figure GDA00037440265500000315
步骤3.4：判断val[Xl]是否等于0，如果等于0，则XL＝Xl；如果不等于0，则XC＝Xl；
步骤3.5：判断XL+1是否等于XC；如果等于XC，则进入步骤3.6；如果不等于XC，则返回步骤3.3；
步骤3.6：输出精确2D包围盒的左边界Xl＝XL。
类似的，可以计算所述个体精确2D包围盒的右边界XR和上下边界YT、YB。
进一步的，步骤4具体为：
具体的，计算所述个体精确2D包围盒的像素区域面积S包围盒，计算所述个体在所述整体语义图像的像素面积S物体，得到所述个体的遮挡率如下：
Figure GDA0003744026550000041
其中，像素区域面积可通过像素点的数量计算，当遮挡率小于5％时，认为所述个体被遮挡，不计入标注中。比如一辐图中有两辆车，前面一辆车是完整的，后面一辆车被前车遮挡了一部分，那么在计算遮挡率时需要统计后面一辆车的像素，后面一辆车的像素与包围盒的像素之比小于5％，则认为后一车辆被遮挡。
进一步的，步骤5中去掉尺寸不足个体的判断条件如下：
Figure GDA0003744026550000042
式中，W代表包围盒的宽度，H代表包围盒的高度，即当包围盒边框的宽高比大于2或者面积小于50*40时，认为该目标无效，不计入标注中。
进一步的，步骤6中的数据标注根据不同任务有所不同：
对于图像分类任务，根据所述个体的精确2D包围盒对所述个体进行图像裁剪，并根据个体语义图像标注目标类别。
对于目标检测任务，记录所述个体的精确2D包围盒信息，根据个体语义图像标注目标类别，并存储整体语义图像。
另一方面，本发明提出了一种仿真数据图像自动标注系统，包括如下模块，如图3所示；
数据获取模块，用于获取仿真图像、整体语义图像和个体语义图像集合，以及仿真相机参数和个体参数集合。
粗糙2D包围盒标注模块，用于计算所述个体集合中所述个体的粗糙2D包围盒。
精确2D包围盒标注模块，用于计算所述个体集合中所述个体的精确2D包围盒。
遮挡判断模块，用于从所述个体集合中去掉遮挡严重的个体。
尺寸筛选模块，用于从所述个体集合中去掉尺寸不足的个体；
数据组织模块，用于进行数据标注和组织，形成图像分类数据和目标检测数据。
本发明的优点如下：
(1)本发明适用于批量仿真图像的数据自动标注，可以节省大量的人力成本。
(2)使用二分法对于粗糙2D包围盒标注进行精确2D包围盒标注，提高了数据自动标注的效率。
(3)对于仿真图像中可能存在遮挡的个体进行了判断和处理，去掉遮挡严重的个体，降低了传统方法中人工二次数据标注的时间和成本，提高了数据标注的准确率。
附图说明
图1为仿真图像数据自动标注方法流程图；
图2为基于二分法的2D包围盒边界计算流程图；
图3为仿真数据图像自动标注系统图；
图4为利用仿真相机参数进行像素坐标转换流程图。
具体实施方式
下面结合附图对本发明进行进一步详细描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明提出了一种仿真图像数据自动标注方法及系统，包括以下步骤：
步骤1：获取仿真图像、整体语义图像和个体语义图像集合，以及仿真相机参数和个体参数集合；
步骤2：根据所述个体语义图像集合确定所述仿真图像中包含的个体集合，对所述个体集合中的每个个体，利用所述仿真相机参数和所述个体参数集合对应的个体参数计算所述个体的粗糙2D包围盒；
步骤3：对所述个体集合中的所述每个个体，基于对应的所述粗糙2D包围盒，利用所述个体对应的所述个体语义图像，通过二分法计算所述个体的精确2D包围盒；
步骤4：对所述个体集合中的所述每个个体，利用所述个体对应的所述个体语义图像和所述物体语义图像，进行所述个体的遮挡判断，从所述个体集合中去掉遮挡严重的个体；
步骤5：对所述个体集合中的所述每个个体，利用对应的所述精确2D包围盒，进行所述个体的尺寸筛选，从所述个体集合中去掉尺寸不足的个体；
步骤6：根据所述个体集合以及所述个体集合中所述每个个体对应的所述精确2D包围盒，进行数据标注和组织，形成图像分类数据和目标检测数据。
进一步的，步骤1中所述的仿真图像、整体语义图像和个体语义图像集合是由所述仿真相机在虚拟环境中的同一时刻渲染生成，使得所述仿真图像和所述整体语义图像在相同位置的像素间具有一致性的对应关系，从而保障所述整体语义图像准确记录所述仿真图像的语义信息；所述个体语义图像记录所述仿真图像中的单一个体的语义信息，本质上只考虑了所述单一个体的语义渲染成像而隐藏了其他的物体；所述个体语义图像集合是由所述仿真图像中的所有个体语义图像为元素组成的集合。
仿真相机参数包括但不限于世界坐标下仿真相机的空间位置
Figure GDA0003744026550000061
航偏角
Figure GDA0003744026550000062
俯仰角
Figure GDA0003744026550000063
横滚角
Figure GDA0003744026550000064
成像焦距f、成像水平分辨率dx、成像垂直分辨率dy、光心成像像素偏移[u0 v0]T。
个体参数集合是由所述仿真图像中的个体参数信息为元素组成的集合。所述个体参数信息包括但不限于个体位置[XO YO ZO]T、航偏角yawO、俯仰角pitchO、横滚角rollO、中心位置偏移量[XL YL ZL]T、包围盒半边长信息[XE YE ZE]T。其中，所述中心位置偏移量是指在个体坐标系下中心位置距个体定位点的偏移量；所述包围盒半边长是指个体包围盒的长、宽、高的一半，在个体坐标系下可由第一卦限中的包围盒顶点坐标表示。
进一步的，步骤2中利用步骤1中获取的所述仿真相机参数空间位置
Figure GDA0003744026550000065
航偏角
Figure GDA0003744026550000066
俯仰角
Figure GDA0003744026550000067
横滚角
Figure GDA0003744026550000068
成像焦距f、成像水平分辨率dx、成像垂直分辨率dy、光心成像像素偏移[u0 v0]T、所述个体[XO YO ZO]T、航偏角yawO、俯仰角pitchO、横滚角rollO、中心位置偏移量[XL YL ZL]T、包围盒半边长信息[XE YE ZE]T进行所述个体粗糙2D包围盒的计算过程如下：
步骤2.1：根据所述个体的航偏角yawO、俯仰角pitchO、横滚角rollO，计算所述个体的旋转矩阵QO；对于航偏角yaw、俯仰角pitch、横滚角roll构造旋转矩阵Q的具体计算过程如下：
Figure GDA0003744026550000069
步骤2.2：基于所述个体[XO YO ZO]T、中心位置偏移量[XL YL ZL]T、包围盒半边长信息[XE YE ZE]T和所述个体的旋转矩阵QO，计算所述个体在世界坐标系中包围盒顶点的坐标
Figure GDA00037440265500000610
i,j,k∈{1,-1}如下：
Figure GDA0003744026550000071
步骤2.3：利用所述仿真相机参数空间位置
Figure GDA0003744026550000072
航偏角
Figure GDA0003744026550000073
俯仰角
Figure GDA0003744026550000074
横滚角
Figure GDA0003744026550000075
成像焦距f、成像水平分辨率dx、成像垂直分辨率dy、光心成像像素偏移[u0 v0]T，将所述个体的包围盒顶点
Figure GDA0003744026550000076
从世界坐标转换为像素坐标
Figure GDA0003744026550000077
步骤2.3中，对于世界坐标系下的空间位置点[Xw Yw Zw]，利用所述仿真相机参数进行像素坐标转换的计算过程如下，如图4所示：
步骤2.3.1：输入世界坐标系下的空间位置点[Xw Yw Zw]T；
步骤2.3.2：根据所述仿真相机的航偏角、俯仰角和横滚角计算旋转矩阵Q；
步骤2.3.3：利用在世界坐标系下的所述仿真相机位置和所述空间位置点以及所述旋转矩阵，计算相机坐标系下的所述空间位置点[Xw Yw Zw]T；
步骤2.3.4：利用所述仿真相机的集中和相机坐标系下的所述空间位置点，计算图像坐标系下的所述空间位置点对应的平面成像点[x y]T；
步骤2.3.5：利用所述仿真相机的成像分辨率和光心的成像像素偏移，计算所述平面成像点在图像上对应的像素坐标[u v]T；
步骤2.4：利用所述个体包围盒顶点的像素坐标
Figure GDA0003744026550000078
计算粗糙包围盒的左右边界
Figure GDA0003744026550000079
和上下边界
Figure GDA00037440265500000710
具体计算过程如下：
Figure GDA00037440265500000711
Figure GDA00037440265500000712
Figure GDA00037440265500000713
Figure GDA00037440265500000714
进一步的，步骤3具体为：
对于所述个体精确2D包围盒的左边界XL，通过所述个体对应的所述个体语义图像的像素操作，基于二分法的计算过程如下：
步骤3.1：在粗糙2D包围盒
Figure GDA0003744026550000081
内逐列扫描，计算像素列和
Figure GDA0003744026550000082
步骤3.2：设置中心位置
Figure GDA0003744026550000083
设置左边界下限
Figure GDA0003744026550000084
步骤3.3：计算左边界估计值
Figure GDA0003744026550000085
步骤3.4：判断val[Xl]是否等于0，如果等于0，则XL＝Xl；如果不等于0，则XC＝Xl；
步骤3.5：判断XL+1是否等于XC；如果等于XC，则进入步骤3.6；如果不等于XC，则返回步骤3.3；
步骤3.6：输出精确2D包围盒的左边界Xl＝XL。
类似的，可以计算所述个体精确2D包围盒的右边界XR和上下边界YT、YB。
进一步的，步骤4具体为：
具体的，计算所述个体精确2D包围盒的像素区域面积S包围盒，计算所述个体在所述整体语义图像的像素面积S物体，得到所述个体的遮挡率如下：
Figure GDA0003744026550000086
其中，像素区域面积可通过像素点的数量计算，当遮挡率小于5％时，认为所述个体被遮挡，不计入标注中。
进一步的，步骤5中去掉尺寸不足个体的判断条件如下：
Figure GDA0003744026550000087
式中，W代表包围盒的宽度，H代表包围盒的高度，即当包围盒边框的宽高比大于2或者面积小于50*40时，认为该目标无效，不计入标注中。
进一步的，步骤6中的数据标注根据不同任务有所不同：
对于图像分类任务，根据所述个体的精确2D包围盒对所述个体进行图像裁剪，并根据个体语义图像标注目标类别。
对于目标检测任务，记录所述个体的精确2D包围盒信息，根据个体语义图像标注目标类别，并存储整体语义图像。
另一方面，本发明提出了一种仿真数据图像自动标注系统，包括如下模块；
数据获取模块，用于获取仿真图像、整体语义图像和个体语义图像集合，以及仿真相机参数和个体参数集合。
粗糙2D包围盒标注模块，用于计算所述个体集合中所述个体的粗糙2D包围盒。
精确2D包围盒标注模块，用于计算所述个体集合中所述个体的精确2D包围盒。
遮挡判断模块，用于从所述个体集合中去掉遮挡严重的个体。
尺寸筛选模块，用于从所述个体集合中去掉尺寸不足的个体；
数据组织模块，用于进行数据标注和组织，形成图像分类数据和目标检测数据。
尽管为说明目的公开了本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (8)

1.一种仿真图像数据自动标注方法，其步骤包括：
1)获取仿真图像，该仿真图像的整体语义图像和该仿真图像对应的个体语义图像集合，以及拍摄该仿真图像的仿真相机参数和个体参数集合；
2)根据所述个体语义图像集合确定所述仿真图像中包含的个体集合，对所述个体集合中的每个个体，利用所述仿真相机参数和所述个体参数集合中该个体对应的个体参数计算所述个体的粗糙2D包围盒；
3)对所述个体集合中的每个所述个体，基于对应的所述粗糙2D包围盒，利用所述个体对应的所述个体语义图像，通过二分法计算所述个体的精确2D包围盒；其中，通过二分法计算所述个体的精确2D包围盒的方法为：31)在粗糙2D包围盒
Figure FDA0003744026540000011
内逐列扫描，计算像素列和
Figure FDA0003744026540000012
其中
Figure FDA0003744026540000013
分别为个体粗糙2D包围盒的左、右、上、下边界；32)设置中心位置
Figure FDA0003744026540000014
设置左边界下限
Figure FDA0003744026540000015
33)计算左边界估计值
Figure FDA0003744026540000016
34)判断val[Xl]是否等于0，如果等于0则XL＝Xl，如果不等于0则XC＝Xl；35)判断XL+1是否等于XC，如果等于XC则进入步骤36)，如果不等于XC则返回步骤33)；36)输出精确2D包围盒的左边界Xl＝XL；37)按照上述步骤31～36)的方法分别生成精确2D包围盒的右边界XR和上边界YT、下边界YB，得到个体的精确2D包围盒；
4)对所述个体集合中的每个所述个体，根据所述个体对应的所述个体语义图像和整体语义图像确定所述个体的遮挡率，从所述个体集合中去掉遮挡率小于设定遮挡率阈值的个体；
5)对所述个体集合中的每个所述个体，利用对应的所述精确2D包围盒判断所述个体是否为无效个体，从所述个体集合中去掉无效个体；
6)根据步骤5)筛选后的所述个体集合以及所述个体集合中每个所述个体对应的所述精确2D包围盒，对该仿真图像的进行数据标注和组织，得到标注后的仿真图像。
2.如权利要求1所述的方法，其特征在于，所述仿真图像、整体语义图像和个体语义图像集合是由仿真相机在虚拟环境中的同一时刻渲染生成，使得所述仿真图像和所述整体语义图像在相同位置的像素间具有一致性的对应关系，所述整体语义图像用于记录所述仿真图像的语义信息；每一所述个体语义图像记录所述仿真图像中的一对应单一个体的语义信息。
3.如权利要求1或2所述的方法，其特征在于，根据所述个体的精确2D包围盒的像素区域面积S包围盒、所述个体在所述整体语义图像的像素面积S物体，计算得到所述个体的
Figure FDA0003744026540000021
当个体的遮挡率小于5％时，则从所述个体集合中删除对应个体。
4.如权利要求1或2所述的方法，其特征在于，如果所述个体的精确2D包围盒满足
Figure FDA0003744026540000022
或
Figure FDA0003744026540000023
或W*H＜50*40；则判定所述个体为无效个体；其中，W代表精确2D包围盒的宽度，H代表精确2D包围盒的高度。
5.一种仿真图像数据自动标注系统，其特征在于，包括数据获取模块、粗糙2D包围盒标注模块、精确2D包围盒标注模块、遮挡判断模块、尺寸筛选模块和数据组织模块；其中，
所述数据获取模块，用于获取仿真图像，该仿真图像的整体语义图像和该仿真图像对应的个体语义图像集合，以及拍摄该仿真图像的仿真相机参数和个体参数集合；
所述粗糙2D包围盒标注模块，用于计算所述个体集合中每个所述个体的粗糙2D包围盒；
所述精确2D包围盒标注模块，用于基于每一所述个体对应的所述粗糙2D包围盒，利用所述个体对应的所述个体语义图像，通过二分法计算所述个体的精确2D包围盒；其中，通过二分法计算所述个体的精确2D包围盒的方法为：31)在粗糙2D包围盒
Figure FDA0003744026540000024
内逐列扫描，计算像素列和
Figure FDA0003744026540000025
其中
Figure FDA0003744026540000026
分别为个体粗糙2D包围盒的左、右、上、下边界；32)设置中心位置
Figure FDA0003744026540000027
设置左边界下限
Figure FDA0003744026540000028
33)计算左边界估计值
Figure FDA0003744026540000029
34)判断val[Xl]是否等于0，如果等于0则XL＝Xl，如果不等于0则XC＝Xl；35)判断XL+1是否等于XC，如果等于XC则进入步骤36)，如果不等于XC则返回步骤33)；36)输出精确2D包围盒的左边界Xl＝XL；37)按照上述步骤31～36)的方法分别生成精确2D包围盒的右边界XR和上边界YT、下边界YB，得到个体的精确2D包围盒；
所述遮挡判断模块，用于根据所述个体对应的所述个体语义图像和整体语义图像确定所述个体的遮挡率，从所述个体集合中去掉遮挡率小于设定遮挡率阈值的个体；
所述尺寸筛选模块，用于利用所述个体对应的所述精确2D包围盒判断所述个体是否为无效个体，从所述个体集合中去掉无效个体；
所述数据组织模块，用于利用仿真图像的所述个体集合以及所述个体集合中每个所述个体对应的所述精确2D包围盒，对该仿真图像的进行数据标注和组织，得到标注后的仿真图像。
6.如权利要求5所述的系统，其特征在于，所述仿真图像、整体语义图像和个体语义图像集合是由仿真相机在虚拟环境中的同一时刻渲染生成，使得所述仿真图像和所述整体语义图像在相同位置的像素间具有一致性的对应关系，所述整体语义图像用于记录所述仿真图像的语义信息；每一所述个体语义图像记录所述仿真图像中的一对应单一个体的语义信息。
7.如权利要求5所述的系统，其特征在于，所述遮挡判断模块根据所述个体的精确2D包围盒的像素区域面积S包围盒、所述个体在所述整体语义图像的像素面积S物体，计算得到所述个体的
Figure FDA0003744026540000031
当个体的遮挡率小于5％时，则从所述个体集合中删除对应个体。
8.如权利要求5所述的系统，其特征在于，如果所述个体的精确2D包围盒满足
Figure FDA0003744026540000032
或
Figure FDA0003744026540000033
或W*H＜50*40；则所述尺寸筛选模块判定所述个体为无效个体；其中，W代表精确2D包围盒的宽度，H代表精确2D包围盒的高度。
CN202110620062.2A 2021-06-03 2021-06-03 一种仿真图像数据自动标注方法及系统 Active CN113222070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110620062.2A CN113222070B (zh) 2021-06-03 2021-06-03 一种仿真图像数据自动标注方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110620062.2A CN113222070B (zh) 2021-06-03 2021-06-03 一种仿真图像数据自动标注方法及系统

Publications (2)

Publication Number Publication Date
CN113222070A CN113222070A (zh) 2021-08-06
CN113222070B true CN113222070B (zh) 2022-10-14

Family

ID=77082647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110620062.2A Active CN113222070B (zh) 2021-06-03 2021-06-03 一种仿真图像数据自动标注方法及系统

Country Status (1)

Country Link
CN (1) CN113222070B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744417B (zh) * 2021-11-08 2022-03-22 山东捷瑞数字科技股份有限公司 一种复杂节点模型的尺寸标注方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372577A (zh) * 2016-08-23 2017-02-01 北京航空航天大学 一种基于深度学习的交通标志自动识别与标注方法
CN107730905A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法
CN109523629B (zh) * 2018-11-27 2023-04-07 上海交通大学 一种基于物理仿真的物体语义和位姿数据集生成方法
CN109918988A (zh) * 2018-12-30 2019-06-21 中国科学院软件研究所 一种结合成像仿真技术的可移植的无人机检测系统
CN109978955B (zh) * 2019-03-11 2021-03-19 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN112258610B (zh) * 2020-10-10 2023-12-01 万物镜像(北京)计算机系统有限公司 图像标注方法、装置、存储介质及电子设备
CN112509110A (zh) * 2020-12-16 2021-03-16 清华大学 一种陆地对抗智能体的图像数据集自动采取与标注框架

Also Published As

Publication number Publication date
CN113222070A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN111340797B (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN107341453B (zh) 一种车道线提取方法及装置
CN112257605B (zh) 基于自标注训练样本的三维目标检测方法、系统及装置
Erickson et al. The accuracy of photo-based three-dimensional scanning for collision reconstruction using 123D catch
CN116229007B (zh) 利用bim建模的四维数字图像构建方法、装置、设备及介质
Aati et al. Comparative study of photogrammetry software in industrial field
CN112084916A (zh) 基于遮挡率的城市三维天际轮廓线自动化生成与诊断方法
CN113222070B (zh) 一种仿真图像数据自动标注方法及系统
Sun et al. Geographic, geometrical and semantic reconstruction of urban scene from high resolution oblique aerial images.
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN110866945A (zh) 一种倾斜摄影模型自动识别生成三维树的方法
CN111797832B (zh) 一种图像感兴趣区域自动生成方法及系统及图像处理方法
CN117274388A (zh) 基于视觉文本关系对齐的无监督三维视觉定位方法及系统
CN114627438A (zh) 目标检测模型生成方法、目标检测方法、设备及介质
CN116823748A (zh) 一种基于深度学习和Halcon的螺栓拧紧工业检测方法和装置
Lee et al. Semi-automatic framework for traffic landmark annotation
CN111709991B (zh) 一种铁路工机具的检测方法、系统、装置和存储介质
CN114863274A (zh) 基于深度学习的地表绿网苫盖提取方法
CN117523417B (zh) 应用于自然资源统一确权登记的方法及电子设备
CN115035251B (zh) 一种基于领域增强合成数据集的桥面车辆实时追踪方法
Apellániz et al. LiDAR-based curb detection for ground truth annotation in automated driving validation
CN115311296B (zh) 数据生成、图像识别方法及计算机存储介质和终端设备
CN114708230B (zh) 基于图像分析的车架质量检测方法、装置、设备及介质
CN112802049B (zh) 一种家庭物品检测数据集构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant