CN111353535B - 标注方法和装置 - Google Patents
标注方法和装置 Download PDFInfo
- Publication number
- CN111353535B CN111353535B CN202010130461.6A CN202010130461A CN111353535B CN 111353535 B CN111353535 B CN 111353535B CN 202010130461 A CN202010130461 A CN 202010130461A CN 111353535 B CN111353535 B CN 111353535B
- Authority
- CN
- China
- Prior art keywords
- dimensional image
- image information
- labeling
- area
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 230000001502 supplementing effect Effects 0.000 claims description 8
- 239000013589 supplement Substances 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种标注方法和装置。其中，该方法包括：通过安装在第一对象上的设备，采集所述第一对象所在环境的三维图像信息和二维图像信息；根据所述三维图像信息和所述二维图像信息对所述环境内的第二对象进行标注，其中，所述第二对象为除所述第一对象之外的其他对象。本发明解决了现有技术中进行标注时的准确度较低的技术问题。
Description
技术领域
本发明涉及数据标注领域，具体而言，涉及一种标注方法和装置。
背景技术
数据标注种类繁多，例如：分类、拉框、注释、标记等，其用于为机器学习构建训练数据，可以包括训练集和测试集。因此标注的准确度对训练结果的影响非常大。
现有技术中，通常使用标注对象的一类信息进行标注，例如，对标注对象的二维图像进行标注，或对标注对象的三维图像进行标注。但由于二维图像的局限性，或由于获取三维图像的设备的局限性，导致标注结果并不准确。此时，为了得到准确的标注结果，对于一个标注对象，可能需要使用多个二维图像才能够进行准确的标注，从而需要消耗较多的标注资源。
针对现有技术中进行标注时的准确度较低的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种标注方法和装置，以至少解决现有技术中进行标注时的准确度较低的技术问题。
根据本发明实施例的一个方面，提供了一种标注方法，包括：通过安装在第一对象上的设备，采集第一对象所在环境的三维图像信息和二维图像信息；根据三维图像信息和二维图像信息对环境内的第二对象进行标注，其中，第二对象为除第一对象之外的其他对象。
进一步地，设备包括雷达设备和图像采集设备，三维图像信息包括雷达设备采集的环境的点云数据，二维图像信息包括图像采集设备采集的图像数据。
进一步地，在通过安装在第一对象上的设备，采集第一对象所在环境的三维图像信息和二维图像信息之后，以三维图像的方式显示点云数据；接收视角调整指令，并根据视角调整指令调整三维图像的显示视角。
进一步地，根据三维图像信息和二维图像信息对环境内的第二对象进行标注，包括：在三维图像信息中识别出第二对象所在的第一区域；将三维图像信息中第二对象所在的第一区域映射至二维图像信息中，以确定第二对象在二维图像信息中所在的第二区域；从二维图像信息的第二区域获取补充点，并通过补充点和点云数据对对象的类型进行标注。
进一步地，在三维图像信息中识别出第二对象所在的第一区域，包括：在显示三维图像信息的过程中，确定每一帧三维图像信息中第二对象所在的第一区域，并设置每个第二对象的标识，其中，通过长方体标注第一区域，每一帧内的同一个第二对象设置同一个标识；调整长方体的大小，以使长方体为第二对象的最小外接长方体。
进一步地，在显示三维图像信息的过程中，确定每一帧三维图像信息中第二对象所在的第一区域，包括：识别出预设时间段内不连续的多帧三维图像信息中第二对象所在的第一区域；通过不连续的多帧三维图像信息拟合第一对象的移动轨迹，其中，第一对象在预设时间段内匀速移动；根据第一对象的移动轨迹确定预设时间段内其他帧三维图像信息中对象所在的第一区域。
根据本发明实施例的一个方面，提供了一种标注装置，包括：采集模块，用于通过安装在第一对象上的设备，采集第一对象所在环境的三维图像信息和二维图像信息；标注模块，用于根据三维图像信息和二维图像信息对环境内的第二对象进行标注，其中，第二对象为除第一对象之外的其他对象。
进一步地，设备包括雷达设备和图像采集设备，三维图像信息包括雷达设备采集的环境的点云数据，二维图像信息包括图像采集设备采集的图像数据。
根据本发明实施例的一个方面，提供了一种标注系统，包括：安装在第一对象上的设备，用于采集第一对象所在环境的三维图像信息和二维图像信息；标注装置，与设备通信，用于获取三维图像信息和二维图像信息，并根据三维图像信息和二维图像信息对环境内的第二对象进行标注，其中，第二对象为除第一对象之外的其他对象。
进一步地，设备包括雷达设备和图像采集设备，三维图像信息包括雷达设备采集的环境的点云数据，二维图像信息包括图像采集设备采集的图像数据。
进一步地，上述系统还包括：显示装置，用于在通过安装在第一对象上的设备，采集第一对象所在环境的三维图像信息和二维图像信息之后，以三维图像的方式显示点云数据，并接收视角调整指令，根据视角调整指令调整三维图像的显示视角。
进一步地，标注装置还用于在三维图像信息中识别出第二对象所在的第一区域；将三维图像信息中第二对象所在的第一区域映射至二维图像信息中，以确定第二对象在二维图像信息中所在的第二区域；从二维图像信息的第二区域获取补充点，并通过补充点和点云数据对对象的类型进行标注。
根据本发明实施例的一个方面，提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的标注方法。
根据本发明实施例的一个方面，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述的标注方法。
在本发明实施例中，通过安装在第一对象上的设备，采集第一对象所在环境的三维图像信息和二维图像信息；根据三维图像信息和二维图像信息对环境内的第二对象进行标注，其中，第二对象为除第一对象之外的其他对象。上述方案通过获取环境的三维图像信息和二维图像信息，并使用三维图像信息和二维图像信息互相辅助进行标注，从而达到了提高标注准确度的效果，现有技术中进行标注时的准确度较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种标注方法的流程图；
图2是根据本发明实施例的一种标注装置的示意图；以及
图3是根据本发明的一种标注系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种标注方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种标注方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，通过安装在第一对象上的设备，采集第一对象所在环境的三维图像信息和二维图像信息。
具体的，上述第一对象可以为行驶中的汽车，安装在第一对象上的设备可以是雷达设备和图像采集设备，其中，雷达设备用于获取三维图像信息，图像采集设备用于采集二维图像信息。
在一种可选的实施例中，可以在汽车的前端设置雷达设备和图像采集设备，在汽车行驶的过程中，连续采集汽车周围的三维图像信息和二维图像信息。
步骤S104，根据三维图像信息和二维图像信息对环境内的第二对象进行标注，其中，第二对象为除第一对象之外的其他对象。
具体的，上述第二对象是第一对象所在环境内的其他任意对象，例如：人物、车辆等。对第二对象进行标注，用于确定第二对象的具体类型，例如，如果第二对象为汽车，可以根据汽车的品牌、大小等维度对汽车进行标注；如果第二对象为人物，可以根据人物的年龄、性别等维度对任务进行标注。具体的标注目标可以根据实际需求来确定，本申请不做具体限定。
在上述方案中，三维图像信息和二维图像信息互相辅助进行第二对象的标注。如果单独使用二维图像信息进行第二对象的标注，则需要从多个角度设置图像采集装置获取多个角度的二维图像信息，导致会消耗较多的标注资源；而如果单独使用三维图像信息进行第二对象的标注，则可能由于雷达设备获得的三维图像信息的质量原因，难以保证标注结果的准确性。
在一种可选的实施例中，可以将二维图像信息作为三维图像信息的补充信息，对环境中的第二对象进行标注。例如，三维图像信息可以包括点云数据，可以从二维图像信息中提取补充点，作为三维图像信息的补充，从而使得三维图像信息的准确度更高，进而提高标注的准确程度。
上述方案将三维图像信息和二维图像信息进行结合，从而使得二维图像信息和三维图像信息能够互相辅助，从而提高标注的准确性。
由此可知，本申请上述实施例，通过安装在第一对象上的设备，采集第一对象所在环境的三维图像信息和二维图像信息；根据三维图像信息和二维图像信息对环境内的第二对象进行标注，其中，第二对象为除第一对象之外的其他对象。上述方案通过获取环境的三维图像信息和二维图像信息，并使用三维图像信息和二维图像信息互相辅助进行标注，从而达到了提高标注准确度的效果，现有技术中进行标注时的准确度较低的技术问题。
作为一种可选的实施例，设备包括雷达设备和图像采集设备，三维图像信息包括雷达设备采集的环境的点云数据，二维图像信息包括图像采集设备采集的图像数据。
具体的，上述雷达设备可以为激光雷达设备，通过发射激光扫射第一对象周围的物体，获取物体反射回的激光，构成云点数据，从而确定物体的坐标位置。图像采集装置可以是摄像机，按照预设的频率采集图像数据。
需要说明的是，安装在第一对象上的雷达设备发射激光的方向和图像采集设备采集图像的方向本申请不做具体限定。例如，雷达设备可以向预设的多个方向发射激光，图像采集设备可以采集一个指定方向的图像数据，该指定方向可以根据预设的指令进行切换。
作为一种可选的实施例，在通过安装在第一对象上的设备，采集第一对象所在环境的三维图像信息和二维图像信息之后，上述方法还包括：以三维图像的方式显示点云数据；接收视角调整指令，并根据视角调整指令调整三维图像的显示视角。
在上述方案中，可以根据设备对三维图像信息的获取，实时显示三维图像信息，也即实时以三维图像的方式显示云点数据。在显示三维图像信息的同时，还可以对观看的视角进行调整。
在一种可选的实施例中，在显示点云数据的同时，标注员可以通过滑动屏幕来下发视角调整指令，显示的内容根据标注员在屏幕上的滑动，调整显示的视角，以满足标注师从各个角度观看第二对象的需求。
作为一种可选的实施例，根据三维图像信息和二维图像信息对环境内的第二对象进行标注，包括：在三维图像信息中识别出第二对象所在的第一区域；将三维图像信息中第二对象所在的第一区域映射至二维图像信息中，以确定第二对象在二维图像信息中所在的第二区域；从二维图像信息的第二区域获取补充点，并通过补充点和点云数据对对象的类型进行标注。
具体的，由于第二对象所在的第一区域是三维图像中的第一区域，因此可以通过长方体对第二对象所在的第一区域进行标识。
将第一区域映射至二维图像信息中时，可以通过三维图像信息和二维图像信息之间的变换矩阵来进行，该变换矩阵可以在雷达设备和图像采集装置设置完成后，从二者获取的三维图像信息和二维图像信息中，对同一个物体的同一个点进行标记，并获得同一个点分别在三维图像信息和二维图像信息中的坐标，得到多对特征点，然后根据多对特征点即可获取到二者之间的变换矩阵。
设置在第一对象中的雷达设备可能并不是激光雷达，而是普通的雷达，或扫描距离较远，从而导致云点数据较为稀疏，在只能获取到稀疏点云数据的情况下，难以确定物体的类型，从而难以对第二对象进行标注。在该种情况下，从二维图像信息中的同一个第二对象所在的第二区域处，采集补充点，来对稀疏点云数据进行补充，从而使云点数据较为丰富，达到了提高对第二对象标注的准确程度的效果。
作为一种可选的实施例，在三维图像信息中识别出第二对象所在的第一区域，包括：在显示三维图像信息的过程中，确定每一帧三维图像信息中第二对象所在的第一区域，并设置每个第二对象的标识，其中，通过长方体标注第一区域，每一帧内的同一个第二对象设置同一个标识；调整长方体的大小，以使长方体为第二对象的最小外接长方体。
在确定第一区域前，三维图像信息中不包括用于标识第二对象的长方体。可以先确定雷达设备的位置，然后在播放点云数据之后，确定每一帧三维图像信息中的第二对象，并为每一帧中的同一个物体设置相同的ID。
调整长方体的大小，用于使长方体为第二对象的最小外接长方体，最小外接长方体内通常仅包括一个第二对象，且包含一个完整的第二对象。调整长方体的大小可以是调整长方体的边长，从而使其更加精确。
需要说明的是，多帧三维图像信息中可能存在多个相同的第二对象，可以先对一个第二对象在所有帧上进行标注，然后再遍历所有第二对象，从而完成所有出现过的第二对象的标注。
作为一种可选的实施例，在显示三维图像信息的过程中，确定每一帧三维图像信息中第二对象所在的第一区域，包括：识别出预设时间段内不连续的多帧三维图像信息中第二对象所在的第一区域；通过不连续的多帧三维图像信息拟合第一对象的移动轨迹，其中，第一对象在预设时间段内匀速移动；根据第一对象的移动轨迹确定预设时间段内其他帧三维图像信息中对象所在的第一区域。
具体的，上述其他帧三维图像信息指的是预设时间段内除了抽取的不连续的多帧三维图像信息之外的三维图像信息。
在上述方案中，识别不连续的多帧三维图像信息中第二对象所在的第一区域，可以是使用长方体对抽取的不连续的多帧三维图像信息中的第二对象进行标识。抽取的不连续的多帧三维图像信息可以包括预设时间段内初始阶段和结束阶段的三维图像信息，从而能够拟合出第一对象在预设时间段内的移动轨迹。
在一种可选的实施例中，可以设置上述预设时间段为15s，上述方案基于一种假设，每辆车在15s内的运行均是匀速的。在对车辆的移动轨迹进行拟合后，由于车辆的运行是匀速的，因此可以根据车辆的移动轨迹，确定剩余的三维图像信息中的第二对象所在的第一区域。可以抽取15s内的多帧三维图像信息，标注员仅对抽取的三维图像信息进行标注，然后拟合出车辆的运行轨迹后，根据车辆的运行轨迹，即可补齐在中间未抽取的其他帧三维图像信息中对第二对象的识别。
实施例2
根据本发明实施例，提供了一种标注装置的实施例，图2是根据本发明实施例的一种标注装置的示意图，如图2所示，该装置包括：
采集模块20，用于通过安装在第一对象上的设备，采集第一对象所在环境的三维图像信息和二维图像信息。
标注模块22，用于根据三维图像信息和二维图像信息对环境内的第二对象进行标注，其中，第二对象为除第一对象之外的其他对象。
作为一种可选的实施例，设备包括雷达设备和图像采集设备，三维图像信息包括雷达设备采集的环境的点云数据，二维图像信息包括图像采集设备采集的图像数据。
作为一种可选的实施例，上述装置还包括：显示模块，用于在通过安装在第一对象上的设备，采集第一对象所在环境的三维图像信息和二维图像信息之后，以三维图像的方式显示点云数据；接收模块，用于接收视角调整指令，并根据视角调整指令调整三维图像的显示视角。
作为一种可选的实施例，标注模块包括：识别子模块，用于在三维图像信息中识别出第二对象所在的第一区域；映射子模块，用于将三维图像信息中第二对象所在的第一区域映射至二维图像信息中，以确定第二对象在二维图像信息中所在的第二区域；补充子模块，用于从二维图像信息的第二区域获取补充点，并通过补充点和点云数据对对象的类型进行标注。
作为一种可选的实施例，识别子模块包括：确定单元，用于在显示三维图像信息的过程中，确定每一帧三维图像信息中第二对象所在的第一区域，并设置每个第二对象的标识，其中，通过长方体标注第一区域，每一帧内的同一个第二对象设置同一个标识；调整单元，用于调整长方体的大小，以使长方体为第二对象的最小外接长方体。
作为一种可选的实施例，确定单元包括：识别子单元，用于识别出预设时间段内不连续的多帧三维图像信息中第二对象所在的第一区域；拟合子单元，用于通过不连续的多帧三维图像信息拟合第一对象的移动轨迹，其中，第一对象在预设时间段内匀速移动；确定子单元，用于根据第一对象的移动轨迹确定预设时间段内其他帧三维图像信息中对象所在的第一区域。
实施例3
根据本发明实施例，提供了一种标注系统，图3是根据本发明的一种标注系统的示意图，结合图3所示，该系统包括：
安装在第一对象上的设备30，用于采集第一对象所在环境的三维图像信息和二维图像信息。
具体的，上述第一对象可以为行驶中的汽车，安装在第一对象上的设备可以是雷达设备和图像采集设备，其中，雷达设备用于获取三维图像信息，图像采集设备用于采集二维图像信息。
在一种可选的实施例中，可以在汽车的前端设置雷达设备和图像采集设备，在汽车行驶的过程中，连续采集汽车周围的三维图像信息和二维图像信息。
标注装置32，与设备通信，用于获取三维图像信息和二维图像信息，并根据三维图像信息和二维图像信息对环境内的第二对象进行标注，其中，第二对象为除第一对象之外的其他对象。
具体的，上述第二对象是第一对象所在环境内的其他任意对象，例如：人物、车辆等。对第二对象进行标注，用于确定第二对象的具体类型，例如，如果第二对象为汽车，可以根据汽车的品牌、大小等维度对汽车进行标注；如果第二对象为人物，可以根据人物的年龄、性别等维度对任务进行标注。具体的标注目标可以根据实际需求来确定，本申请不做具体限定。
在上述方案中，三维图像信息和二维图像信息互相辅助进行第二对象的标注。如果单独使用二维图像信息进行第二对象的标注，则需要从多个角度设置图像采集装置获取多个角度的二维图像信息，导致会消耗较多的标注资源；而如果单独使用三维图像信息进行第二对象的标注，则可能由于雷达设备获得的三维图像信息的质量原因，难以保证标注结果的准确性。
在一种可选的实施例中，可以将二维图像信息作为三维图像信息的补充信息，对环境中的第二对象进行标注。例如，三维图像信息可以包括点云数据，可以从二维图像信息中提取补充点，作为三维图像信息的补充，从而使得三维图像信息的准确度更高，进而提高标注的准确程度。
上述方案将三维图像信息和二维图像信息进行结合，从而使得二维图像信息和三维图像信息能够互相辅助，从而提高标注的准确性。
由此可知，本申请上述实施例，通过安装在第一对象上的设备采集第一对象所在环境的三维图像信息和二维图像信息，并通过标注装置获取三维图像信息和二维图像信息，并根据三维图像信息和二维图像信息对环境内的第二对象进行标注，其中，第二对象为除第一对象之外的其他对象。上述方案通过获取环境的三维图像信息和二维图像信息，并使用三维图像信息和二维图像信息互相辅助进行标注，从而达到了提高标注准确度的效果，现有技术中进行标注时的准确度较低的技术问题。
作为一种可选的实施例，设备包括雷达设备和图像采集设备，三维图像信息包括雷达设备采集的环境的点云数据，二维图像信息包括图像采集设备采集的图像数据。
具体的，上述雷达设备可以为激光雷达设备，通过发射激光扫射第一对象周围的物体，获取物体反射回的激光，构成云点数据，从而确定物体的坐标位置。图像采集装置可以是摄像机，按照预设的频率采集图像数据。
需要说明的是，安装在第一对象上的雷达设备发射激光的方向和图像采集设备采集图像的方向本申请不做具体限定。例如，雷达设备可以向预设的多个方向发射激光，图像采集设备可以采集一个指定方向的图像数据，该指定方向可以根据预设的指令进行切换。
作为一种可选的实施例，上述系统还包括：显示装置，用于在通过安装在第一对象上的设备，采集第一对象所在环境的三维图像信息和二维图像信息之后，以三维图像的方式显示点云数据，并接收视角调整指令，根据视角调整指令调整三维图像的显示视角。
在上述方案中，可以根据设备对三维图像信息的获取，实时显示三维图像信息，也即实时以三维图像的方式显示云点数据。在显示三维图像信息的同时，还可以对观看的视角进行调整。
在一种可选的实施例中，在显示点云数据的同时，标注员可以通过滑动屏幕来下发视角调整指令，显示的内容根据标注员在屏幕上的滑动，调整显示的视角，以满足标注师从各个角度观看第二对象的需求。
作为一种可选的实施例，标注装置还用于在三维图像信息中识别出第二对象所在的第一区域；将三维图像信息中第二对象所在的第一区域映射至二维图像信息中，以确定第二对象在二维图像信息中所在的第二区域；从二维图像信息的第二区域获取补充点，并通过补充点和点云数据对对象的类型进行标注。
具体的，由于第二对象所在的第一区域是三维图像中的第一区域，因此可以通过长方体对第二对象所在的第一区域进行标识。
将第一区域映射至二维图像信息中时，可以通过三维图像信息和二维图像信息之间的变换矩阵来进行，该变换矩阵可以在雷达设备和图像采集装置设置完成后，从二者获取的三维图像信息和二维图像信息中，对同一个物体的同一个点进行标记，并获得同一个点分别在三维图像信息和二维图像信息中的坐标，得到多对特征点，然后根据多对特征点即可获取到二者之间的变换矩阵。
设置在第一对象中的雷达设备可能并不是激光雷达，而是普通的雷达，或扫描距离较远，从而导致云点数据较为稀疏，在只能获取到稀疏点云数据的情况下，难以确定物体的类型，从而难以对第二对象进行标注。在该种情况下，从二维图像信息中的同一个第二对象所在的第二区域处，采集补充点，来对稀疏点云数据进行补充，从而使云点数据较为丰富，达到了提高对第二对象标注的准确程度的效果。
实施例4
根据本发明实施例，提供了一种存储介质，存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行实施例1所述的标注方法。
实施例5
根据本发明实施例，提供了一种处理器，处理器用于运行程序，其中，所述程序运行时执行实施例1所述的标注方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种标注方法，其特征在于，包括：
通过安装在第一对象上的设备，采集所述第一对象所在环境的三维图像信息和二维图像信息；
根据所述三维图像信息和所述二维图像信息对所述环境内的第二对象进行标注，其中，所述第二对象为除所述第一对象之外的其他对象；
所述设备包括雷达设备和图像采集设备，所述三维图像信息包括所述雷达设备采集的所述环境的点云数据，所述二维图像信息包括所述图像采集设备采集的图像数据；
根据所述三维图像信息和所述二维图像信息对所述环境内的第二对象进行标注，包括：
在所述三维图像信息中识别出所述第二对象所在的第一区域；
将所述三维图像信息中所述第二对象所在的所述第一区域映射至所述二维图像信息中，以确定所述第二对象在所述二维图像信息中所在的第二区域；
从所述二维图像信息的所述第二区域获取补充点，并通过所述补充点和所述点云数据对所述对象的类型进行标注。
2.根据权利要求1所述的方法，其特征在于，在通过安装在第一对象上的设备，采集所述第一对象所在环境的三维图像信息和二维图像信息之后，所述方法还包括：
以三维图像的方式显示所述点云数据；
接收视角调整指令，并根据所述视角调整指令调整所述三维图像的显示视角。
3.根据权利要求1所述的方法，其特征在于，在所述三维图像信息中识别出所述第二对象所在的第一区域，包括：
在显示所述三维图像信息的过程中，确定每一帧三维图像信息中所述第二对象所在的第一区域，并设置每个所述第二对象的标识，其中，通过长方体标注所述第一区域，每一帧内的同一个第二对象设置同一个标识；
调整所述长方体的大小，以使所述长方体为所述第二对象的最小外接长方体。
4.根据权利要求3所述的方法，其特征在于，在显示所述三维图像信息的过程中，确定每一帧三维图像信息中所述第二对象所在的第一区域，包括：
识别出预设时间段内不连续的多帧三维图像信息中所述第二对象所在的第一区域；
通过不连续的多帧三维图像信息拟合所述第一对象的移动轨迹，其中，所述第一对象在所述预设时间段内匀速移动；
根据所述第一对象的移动轨迹确定所述预设时间段内其他帧三维图像信息中所述对象所在的第一区域。
5.一种标注装置，其特征在于，包括：
采集模块，用于通过安装在第一对象上的设备，采集所述第一对象所在环境的三维图像信息和二维图像信息；
标注模块，用于根据所述三维图像信息和所述二维图像信息对所述环境内的第二对象进行标注，其中，所述第二对象为除所述第一对象之外的其他对象；
所述设备包括雷达设备和图像采集设备，所述三维图像信息包括所述雷达设备采集的所述环境的点云数据，所述二维图像信息包括所述图像采集设备采集的图像数据；
标注模块包括：
识别子模块，用于在所述三维图像信息中识别出所述第二对象所在的第一区域；
映射子模块，用于将所述三维图像信息中所述第二对象所在的所述第一区域映射至所述二维图像信息中，以确定所述第二对象在所述二维图像信息中所在的第二区域；
补充子模块，用于从所述二维图像信息的所述第二区域获取补充点，并通过所述补充点和所述点云数据对所述对象的类型进行标注。
6.一种标注系统，其特征在于，包括：
安装在第一对象上的设备，用于采集所述第一对象所在环境的三维图像信息和二维图像信息；
标注装置，与所述设备通信，用于获取所述三维图像信息和所述二维图像信息，并根据所述三维图像信息和所述二维图像信息对所述环境内的第二对象进行标注，其中，所述第二对象为除所述第一对象之外的其他对象；
所述设备包括雷达设备和图像采集设备，所述三维图像信息包括所述雷达设备采集的所述环境的点云数据，所述二维图像信息包括所述图像采集设备采集的图像数据；
所述标注装置还用于在所述三维图像信息中识别出所述第二对象所在的第一区域，将所述三维图像信息中所述第二对象所在的所述第一区域映射至所述二维图像信息中，以确定所述第二对象在所述二维图像信息中所在的第二区域，并从所述二维图像信息的所述第二区域获取补充点，并通过所述补充点和所述点云数据对所述对象的类型进行标注。
7.根据权利要求6所述的系统，其特征在于，所述系统还包括：
显示装置，用于在通过安装在第一对象上的设备，采集所述第一对象所在环境的三维图像信息和二维图像信息之后，以三维图像的方式显示所述点云数据，并接收视角调整指令，根据所述视角调整指令调整所述三维图像的显示视角。
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至4中任意一项所述的标注方法。
9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至4中任意一项所述的标注方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010130461.6A CN111353535B (zh) | 2020-02-28 | 2020-02-28 | 标注方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010130461.6A CN111353535B (zh) | 2020-02-28 | 2020-02-28 | 标注方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111353535A CN111353535A (zh) | 2020-06-30 |
| CN111353535B true CN111353535B (zh) | 2023-11-03 |
Family
ID=71192441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010130461.6A Active CN111353535B (zh) | 2020-02-28 | 2020-02-28 | 标注方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111353535B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106971403A (zh) * | 2017-04-27 | 2017-07-21 | 武汉数文科技有限公司 | 点云图像处理方法及装置 |
| CN109978984A (zh) * | 2017-12-27 | 2019-07-05 | Tcl集团股份有限公司 | 人脸三维重建方法及终端设备 |
| CN110197148A (zh) * | 2019-05-23 | 2019-09-03 | 北京三快在线科技有限公司 | 目标物体的标注方法、装置、电子设备和存储介质 |
| CN110598743A (zh) * | 2019-08-12 | 2019-12-20 | 北京三快在线科技有限公司 | 一种目标对象的标注方法和装置 |
-
2020
- 2020-02-28 CN CN202010130461.6A patent/CN111353535B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106971403A (zh) * | 2017-04-27 | 2017-07-21 | 武汉数文科技有限公司 | 点云图像处理方法及装置 |
| CN109978984A (zh) * | 2017-12-27 | 2019-07-05 | Tcl集团股份有限公司 | 人脸三维重建方法及终端设备 |
| CN110197148A (zh) * | 2019-05-23 | 2019-09-03 | 北京三快在线科技有限公司 | 目标物体的标注方法、装置、电子设备和存储介质 |
| CN110598743A (zh) * | 2019-08-12 | 2019-12-20 | 北京三快在线科技有限公司 | 一种目标对象的标注方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111353535A (zh) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108694882B (zh) | 用于标注地图的方法、装置和设备 | |
| CN110598743A (zh) | 一种目标对象的标注方法和装置 | |
| CN111310667B (zh) | 确定标注是否准确的方法、装置、存储介质与处理器 | |
| CN110197148B (zh) | 目标物体的标注方法、装置、电子设备和存储介质 | |
| KR101845473B1 (ko) | 미디어 콘텐츠에 광고 콘텐츠의 적응적 삽입 | |
| CN109344804A (zh) | 一种激光点云数据的识别方法、装置、设备和介质 | |
| CN103065519B (zh) | 坡道定点停车和起步检测系统及其检测方法 | |
| CN112132901A (zh) | 一种点云标注的方法、装置、电子设备及存储介质 | |
| GB2506239A (en) | Projecting maintenance history using optical reference points | |
| CN109934873B (zh) | 标注图像获取方法、装置及设备 | |
| CN103000067B (zh) | 直角转弯检测系统及其检测方法 | |
| CN108597034B (zh) | 用于生成信息的方法和装置 | |
| CN111259980B (zh) | 标注数据的处理方法和装置 | |
| CN109903308B (zh) | 用于获取信息的方法及装置 | |
| CN111353535B (zh) | 标注方法和装置 | |
| CN108833964B (zh) | 一种实时的连续帧信息植入识别系统 | |
| CN112489240B (zh) | 一种商品陈列巡检方法、巡检机器人以及存储介质 | |
| JP6311461B2 (ja) | 視線分析システムおよび視線分析装置 | |
| EP3671410A1 (en) | Method and device to control a virtual reality display unit | |
| CN108628913B (zh) | 视频的处理方法及装置 | |
| CN115761678A (zh) | 车辆视觉感知方法、装置、电子设备及存储介质 | |
| CN113343857B (zh) | 标注方法、装置、存储介质及电子装置 | |
| CN112561930B (zh) | 一种对视频流中目标进行实时加框的系统及方法 | |
| CN115361526A (zh) | 一种基于图像处理的养猪场巡检系统及方法 | |
| CN113411543A (zh) | 一种多路监控视频融合显示方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |