CN114373105A - 一种点云标注及数据集制作的方法、系统、装置及介质 - Google Patents
一种点云标注及数据集制作的方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN114373105A CN114373105A CN202111565263.3A CN202111565263A CN114373105A CN 114373105 A CN114373105 A CN 114373105A CN 202111565263 A CN202111565263 A CN 202111565263A CN 114373105 A CN114373105 A CN 114373105A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- rgb
- cloud data
- objects
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 45
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000002372 labelling Methods 0.000 claims description 40
- 238000003860 storage Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种点云标注及数据集制作的方法、系统、装置及介质，其中方法包括：获取彩色图像，将所述彩色图像内同一标签的物体处理成为单一颜色；获取带有RGB信息的点云数据；对所述彩色图像内不同标签的物体进行RGB值采样，不同标签的物体代表不同类物体；根据采样获得的RGB值对每一类物体进行RGB阈值计算；根据计算获得的RGB阈值对所述点云数据进行标注；对标注后的所述点云数据进行下采样，保存下采样后的所述点云数据，生成数据集。本发明可实现点云数据采集与标注的自动化，不需要人为选取点云数据自行标注，极大提升标注与数据集制作的效率与速度。本发明可广泛应用于数据处理技术领域。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种点云标注及数据集制作的方法、系统、装置及介质。
背景技术
由于智能化的推进，智能制造不断推动制造业中高新技术的发展，机器人抓取技术在工业领域的应用也越来越多，但深度学习结合点云实现抓取任务的研究并不多，如何从工业昏暗杂乱的环境中从稳健地检测与分割散乱堆叠多个物体将是一项具有挑战性的任务，利用深度学习算法从三维点云中提取物体位姿信息的研究在国内外还鲜有公开报道，具有较高的研究和应用价值。三维点云标注将直接影响数据集的质量，同时也将直接影响深度学习算法预测结果的准确性。
目前，三维点云在工业抓取上面的应用还较少，应用受限的主要原因之一就是数据标注的办法太少，几乎没有比较方便快捷的标注方法。现阶段点云应用的领域大部分在于激光点云的研究，虽然也有许多公开的软件可以实现点云数据的标注，但是都是针对激光点云数据的标注，整个标注过程十分繁琐，需要依靠不同的依赖库以及运行系统对软件进行安装与使用，标注时需要人为选取点云数据，标注精度完全靠人为选取的精度来保证。同时，标注耗费的时间长，不同抓取目标都需要制作数据集，这一类的标注方法满足不了快速迁移应用的需求。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种点云标注及数据集制作的方法、系统、装置及介质。
本发明所采用的技术方案是：
一种点云标注及数据集制作的方法，包括以下步骤：
获取彩色图像，将所述彩色图像内同一标签的物体处理成为单一颜色；
获取带有RGB信息的点云数据，所述点云数据与所述彩色图像匹配；
对所述彩色图像内不同标签的物体进行RGB值采样，不同标签的物体代表不同类物体；
根据采样获得的RGB值对每一类物体进行RGB阈值计算；
根据计算获得的RGB阈值对所述点云数据进行标注；
对标注后的所述点云数据进行下采样，保存下采样后的所述点云数据，生成数据集。
进一步，所述数据集用于深度学习网络中实现分类与实例分割的训练。
进一步，所述彩色图像内不同类物体的颜色不同。
进一步，所述不同类物体为多个不同物体或同一个物体的不同部分。
进一步，所述获取带有RGB信息的点云数据，包括：
采用相机采集被标注物体的深度图像和RGB图像；
根据所述深度图像和所述RGB图像生成带有RGB数据的点云数据。
进一步，所述对所述彩色图像内不同标签的物体进行RGB值采样，包括：
获取与深度图像对齐后的RGB图像，根据所述RGB图像对每一类物体进行颜色像素裁剪取样；
将裁剪取样获得的像素图片放至对应的计算容器进行计算，获得RGB值。
进一步，所述根据采样获得的RGB值对每一类物体进行RGB阈值计算，包括：
分别计算每一类物体所裁剪出来的像素样本，分析所述像素样本的最大值、最小值、均值以及各阈值区间内的分布；
根据分析获得的数据设定每类物体对应的像素值以及涵盖的阈值区间；
将获得的各类物体的阈值信息储存在阈值图像中。
进一步，所述根据计算获得的RGB阈值对所述点云数据进行标注，包括：
根据所述阈值图像获取各类物体的RGB阈值，给对各类物体设定搜索阈值；
配置不同类别的标签，对每一类物体标注的类别以阈值信息为基础设定标签；
从缓冲器中加载带有RGB信息的点云数据，遍历所有点云数据，根据阈值信息与类别标签信息对每一个点云数据进行搜索与匹配，以对每一个点云数据添加类别标签；
点云数据遍历添加标签完成，生成标注完成的点云模型。
进一步，所述对标注后的所述点云数据进行下采样，包括：
获取点云数据的深度范围，根据深度范围划分n个区间；
统计各个区间中点云数据的个数；
设定各个区间的下采样去除数据的百分比，根据设定的百分比随机去除各个区间的点云数据。
进一步，所述下采样后的所述点云数据包括三维空间的坐标信息、每个点对应的RGB信息以及标签信息；
所述保存下采样后的所述点云数据，包括：
将所述RGB信息去除，保留三维空间的坐标信息和所述标签信息；
其中，保存所述点云数据的格式为PCD格式或TXT文件格式。
本发明所采用的另一技术方案是：
一种点云标注及数据集制作的系统，包括：
预处理模块，用于获取彩色图像，将所述彩色图像内同一标签的物体处理成为单一颜色；
点云采集模块，用于获取带有RGB信息的点云数据；
RGB值采样模块，用于对所述彩色图像内不同标签的物体进行RGB值采样，不同标签的物体代表不同类物体；
阈值计算模块，用于根据采样获得的RGB值对每一类物体进行RGB阈值计算；
颜色标注模块，用于根据计算获得的RGB阈值对所述点云数据进行标注；
数据保存模块，用于对标注后的所述点云数据进行下采样，保存下采样后的所述点云数据，生成数据集。
本发明所采用的另一技术方案是：
一种点云标注及数据集制作的装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明先对需要采集的物体进行颜色处理，对被采集物体进行采样并计算阈值，利用阈值对带有RGB信息的点云数据进行标注，保存后生成数据集，实现点云数据采集与标注的自动化，不需要人为选取点云数据自行标注，极大提升标注与数据集制作的效率与速度。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种点云标注及数据集制作的方法的流程图
图2是本发明实施例中点云标注的流程图；
图3是本发明实施例中点云标注一本书的RGB图；
图4是本发明实施例中点云标注一本书的效果图；
图5是本发明实施例中点云标注多个物体的效果图
图6是本发明实施例中一种云标注及数据集制作装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本实施例提供一种点云标注及数据集制作装置，该装置的结构如图6所示，包括：
预处理单元，用于对不同类别物体表面颜色的预处理，对每一类物体进行RGB图像采样与阈值计算，还包括完成相机标定以及内参的获取；
相机设置单元，用于对相机的开启与关闭、得到图像数据；
数据处理单元，用于向缓冲器输送图像数据、点云数据以及完成点云数据的下采样；
控制单元，用于创建显示与控制接口，向外展示最新图片数据与标注完成的点云数据，满足人为观察的需要并接受指令是否储存当下数据；
文件配置单元，用于配置储存文件的文件名与文件路径，包括深度图像、RGB图像与点云数据等文件的配置；
点云标注单元，用于给点云数据进行标注。
在一些可选的实施例中，预处理单元用于给数据采集前期做好准备，为点云标注单元提供各类物体的RGB阈值以及由像素坐标向相机坐标系下转换成点云数据所需的内参。主要包括但不限于以下三个工作：
工作1、对不同类别的物体进行表面颜色处理。这一步是整个装置进行的前提条件，必须保证每一类物体有不同的颜色特征才能够进行以下的步骤。
工作2、对每一类物体进行颜色采样，本实施例预先采集一张对齐后的RGB图像，对每一类物体裁剪出一部分像素放在阈值处理器中，根据处理器中的算法对每一个样本进行统计与分析，得到每一类物体对应的RGB阈值，并储存在阈值图像中。
工作3、得到深度图像的内参，包括深度相机的焦距、相机原点以及相机的缩放系数。本实施例使用张正友标定法对深度相机进行标定，使用8*6规格大小为3*3cm的标定板采集了20张深度图像，并使用MATLAB的Camera Calibator工具箱进行标定并得到内参。
在一些可选的实施例中，控制单元主要用于控制点云标注是否开始，控制单元的实现需要两步：
第一步、对外显示点云数据的三维模型。
第二步、接收外部的指令，用于判断是否进行标注并保存。
在一些可选的实施例中，控制单元有内置的计数器，用于计算点云数据的大小以及保存的点云数据的规模。
在一些可选的实施例中，点云标注单元从数据处理单元获取点云数据，从预处理单元获取RGB阈值信息与类别信息，经过控制单元之后开始进行点云数据的自动标注。
优选地，点云标注的实现可以脱离整个装置实现，但是得到的点云数据必须包含RGB信息，而且必须通过其他途径获得RGB阈值与类别信息。
在一些可选的实施例中，文件配置单元接收数据处理单元的图像数据和点云标注单元标注完成的点云数据，为每一类数据分配储存的路径并设置文件名，以此生成数据集。本实施例中文件配置单元读取控制单元中的计数器内容，并按照数据采集的先后生成顺序的文件名。
如图1所示，本实施例还提供了一种点云标注及数据集制作的方法，该方法可由上述装置来实现，具体包括以下步骤：
S101、获取彩色图像，将彩色图像内同一标签的物体处理成为单一颜色。
S102、获取带有RGB信息的点云数据。
S103、对彩色图像内不同标签的物体进行RGB值采样，不同标签的物体代表不同类物体。
S104、将数据放入缓冲器中，这里的数据包括图像数据和点云数据。
S105、根据采样获得的RGB值对每一类物体进行RGB阈值计算。
S106、根据计算获得的RGB阈值对点云数据进行标注。
S107、对标注后的点云数据进行下采样。
S108、保存下采样后的点云数据，生成数据集。
本实施例的方法中，需要对被采集的物体进行颜色处理，同一标签的物体需要处理成为单一颜色，不同标签之间的物体RGB值相差越大标注出来的物体更加准确。数据采集之前需要对不同标签的物体进行RGB值采样，以此计算出对应的RGB阈值用于点云标注。同一种标签下的物体只需要采样一次。本实施例中点云数据的采集与标注都自动完成，不需要人为选取点云数据自行标注，极大地提高了点云数据的采集与标注效率。
示例地，如图3和图4所示，本实施例对一本书与多样物体进行标注作为示例，使用本发明的技术方案进行点云数据的采集与标注。同理，使用本发明方案不断得到标注的点云数据便可以生成相应的数据集用于深度学习网络中实现分类与实例分割的训练。
在一些可选的实施例中，本实施例方法应用的前提是各种类别的物体必须有不同的颜色，比如将各类物体刷上不同颜色的油漆等，以便应用本发明的技术方案，具体实施方式多种多样，本实施例中不做严格限定。
示例地，如图5所示，标注的标签一共有5类，显然，本实施例的标注方法既可以标注不同物体，也可以标注同一物体的不同部分。
在本实施例中，应用的对象是带有RGB信息的点云数据，本实施例使用微软的Kinect V2相机，该相机可以得到被标注物体的深度图像与RGB图像，并生成带有RGB数据的点云数据，符合实施例的使用要求。
在一些可选的实施例中，步骤S103需要对每一类物体进行采样。本实施例先得到一张与深度图像对齐之后的RGB图像，然后对每一类物体进行颜色像素裁剪取样，并将采集的像素图片放到对应的计算容器中。
每一类物体可以仅采集一张样本，也可以针对不同区域采集多张样本，但必须对每一类物体进行采样，采样得到的不同类别的样本放入不同的容器中等待下一步计算。
在一些可选的实施例中，缓冲器中储存着最新的深度图像数据、RGB图像数据以及点云数据。缓冲器中的数据会不断刷新，每次都只保存最新的信息，并将信息用于与外界建立的接口进行显示，采集人员可以通过显示窗口的信息进行输入下一步的指令。
在一些可选的实施例中，骤S105对每一类物体进行RGB阈值计算与设定时，分别计算每一类物体所裁剪出来的样本，分析其最大值、最小值、均值以及各阈值区间内的分布，并以此设定每种物体对应的像素值以及涵盖的阈值区间。
步骤S105还设定一个可以手动调节的波动阈值，以此更加精确地设定每一类物体的阈值，提高标注的准确性。同时，针对同一类物体的多个区域采集的样本信息可以定义成同一类物体，实现阈值的拼接。
可选地，计算得到的各类物体的阈值信息将会储存在阈值图像中。阈值图像每一行像素对应着每一种物体的RGB阈值信息，用于记录不同物体的阈值信息并在标注的时候提供相应的信息以做物体的分类。阈值图像可以不断储存新种类的颜色阈值，避免了每次采集点云数据的重复阈值计算，只要对该种物体进行过一次RGB数值采样，便可以在以后的标注中调用所储存的阈值信息。
在一些可选的实施例中，如图2所示，步骤S106进行点云数据标注，具体包括以下步骤S201～S205：
S201、打开阈值储存图像，获取各个类别的RGB阈值信息并给每一个类别的物体设定搜索阈值。
可选地，本实施例还针对阈值范围设定一个手动设定的波动阈值，实现人为干预阈值范围，进一步精细调整阈值，提升标注的准确性。其中，每一个类别都有一个波动阈值，波动阈值可以在采集开始前设定，也可以在采集时进行实验并进行调整。
S202、配置不同类别的标签，给每一类物体标注的类别以阈值信息为基础设定标签，本实施例一共有五类标签，分别为0、1、2、3、4。
S203、从缓冲器中加载带有RGB信息的点云数据。
S204、遍历所有点云数据，并利用阈值信息与类别标签信息对每一个点云数据进行搜索与匹配，给每一个点云数据添加类别标签。
S205、点云数据遍历添加标签完成，生成标注完成的点云模型。
在一些可选的实施例中，步骤S107基于深度对点云数据进行下采样，具体包括以下步骤A1～A3：
A1、得到点云数据的深度范围，并分为5个区间。
A2、统计各个区间中点云数据的个数。
A3、设定各个区间的下采样去除数据的百分比，本实施例以深度由小到大的区间分别设定为10％、30％、50％、70％、90％，随机去除各个区间的点云数据。
本实施例仅设置了五类标签的标注演示，实际应用的类别种类可以自行设定，本发明不做严格的限定。
可选地，点云数据的下采样可以保留深度较小的标注物体，去除大部分的背景点云数据。
在一些可选的实施例中，本实施例最终标注完成后保存的点云数据包括三维空间的XYZ信息、每个点对应的RGB信息以及标签信息，最终保留的时候也可以将RGB信息去除，仅保留三维空间点的坐标和标签信息。优选地，本实施例中的点云数据可以保存为PCD格式和TXT文件格式。最终标注结果如图4和图5所示，每一个颜色代表标注出来的一类物体。重复通过相机不断得到点云数据并应用本发明方案可以生成相应采集物体的数据集。
本实施例还提供了一种点云标注及数据集制作的系统，包括：
预处理模块，用于获取彩色图像，将所述彩色图像内同一标签的物体处理成为单一颜色；
点云采集模块，用于获取带有RGB信息的点云数据；
RGB值采样模块，用于对所述彩色图像内不同标签的物体进行RGB值采样，不同标签的物体代表不同类物体；
阈值计算模块，用于根据采样获得的RGB值对每一类物体进行RGB阈值计算；
颜色标注模块，用于根据计算获得的RGB阈值对所述点云数据进行标注；
数据保存模块，用于对标注后的所述点云数据进行下采样，保存下采样后的所述点云数据，生成数据集。
本实施例的一种点云标注及数据集制作的系统，可执行本发明方法实施例所提供的一种点云标注及数据集制作的方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供了一种点云标注及数据集制作的装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如图1所示的方法。
本实施例的一种点云标注及数据集制作的装置，可执行本发明方法实施例所提供的一种点云标注及数据集制作的方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种点云标注及数据集制作的方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种点云标注及数据集制作的方法，其特征在于，包括以下步骤：
获取彩色图像，将所述彩色图像内同一标签的物体处理成为单一颜色；
获取带有RGB信息的点云数据；
对所述彩色图像内不同标签的物体进行RGB值采样，不同标签的物体代表不同类物体；
根据采样获得的RGB值对每一类物体进行RGB阈值计算；
根据计算获得的RGB阈值对所述点云数据进行标注；
对标注后的所述点云数据进行下采样，保存下采样后的所述点云数据，生成数据集。
2.根据权利要求1所述的一种点云标注及数据集制作的方法，其特征在于，所述获取带有RGB信息的点云数据，包括：
采用相机采集被标注物体的深度图像和RGB图像；
根据所述深度图像和所述RGB图像生成带有RGB数据的点云数据。
3.根据权利要求2所述的一种点云标注及数据集制作的方法，其特征在于，所述对所述彩色图像内不同标签的物体进行RGB值采样，包括：
获取与深度图像对齐后的RGB图像，根据所述RGB图像对每一类物体进行颜色像素裁剪取样；
将裁剪取样获得的像素图片放至对应的计算容器进行计算，获得RGB值。
4.根据权利要求3所述的一种点云标注及数据集制作的方法，其特征在于，所述根据采样获得的RGB值对每一类物体进行RGB阈值计算，包括：
分别计算每一类物体所裁剪出来的像素样本，分析所述像素样本的最大值、最小值、均值以及各阈值区间内的分布；
根据分析获得的数据设定每类物体对应的像素值以及涵盖的阈值区间；
将获得的各类物体的阈值信息储存在阈值图像中。
5.根据权利要求4所述的一种点云标注及数据集制作的方法，其特征在于，所述根据计算获得的RGB阈值对所述点云数据进行标注，包括：
根据所述阈值图像获取各类物体的RGB阈值，给对各类物体设定搜索阈值；
配置不同类别的标签，对每一类物体标注的类别以阈值信息为基础设定标签；
加载带有RGB信息的点云数据，遍历所有点云数据，根据阈值信息与类别标签信息对每一个点云数据进行搜索与匹配，以对每一个点云数据添加类别标签；
点云数据遍历添加标签完成，生成标注完成的点云模型。
6.根据权利要求1所述的一种点云标注及数据集制作的方法，其特征在于，所述对标注后的所述点云数据进行下采样，包括：
获取点云数据的深度范围，根据深度范围划分n个区间；
统计各个区间中点云数据的个数；
设定各个区间的下采样去除数据的百分比，根据设定的百分比随机去除各个区间的点云数据。
7.根据权利要求1所述的一种点云标注及数据集制作的方法，其特征在于，所述下采样后的所述点云数据包括三维空间的坐标信息、每个点对应的RGB信息以及标签信息；
所述保存下采样后的所述点云数据，包括：
将所述RGB信息去除，保留三维空间的坐标信息和所述标签信息；
其中，保存所述点云数据的格式为PCD格式或TXT文件格式。
8.一种点云标注及数据集制作的系统，其特征在于，包括：
预处理模块，用于获取彩色图像，将所述彩色图像内同一标签的物体处理成为单一颜色；
点云采集模块，用于获取带有RGB信息的点云数据；
RGB值采样模块，用于对所述彩色图像内不同标签的物体进行RGB值采样，不同标签的物体代表不同类物体；
阈值计算模块，用于根据采样获得的RGB值对每一类物体进行RGB阈值计算；
颜色标注模块，用于根据计算获得的RGB阈值对所述点云数据进行标注；
数据保存模块，用于对标注后的所述点云数据进行下采样，保存下采样后的所述点云数据，生成数据集。
9.一种点云标注及数据集制作的装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111565263.3A CN114373105B (zh) | 2021-12-20 | 2021-12-20 | 一种点云标注及数据集制作的方法、系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111565263.3A CN114373105B (zh) | 2021-12-20 | 2021-12-20 | 一种点云标注及数据集制作的方法、系统、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114373105A true CN114373105A (zh) | 2022-04-19 |
| CN114373105B CN114373105B (zh) | 2024-07-26 |
Family
ID=81140057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111565263.3A Active CN114373105B (zh) | 2021-12-20 | 2021-12-20 | 一种点云标注及数据集制作的方法、系统、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114373105B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821248A (zh) * | 2022-07-01 | 2022-07-29 | 深圳大学 | 面向点云理解的数据主动筛选标注方法和装置 |
| CN115408544A (zh) * | 2022-08-19 | 2022-11-29 | 梅卡曼德（北京）机器人科技有限公司 | 图像数据库构建方法、装置、设备、存储介质及产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107346550A (zh) * | 2017-07-05 | 2017-11-14 | 滁州学院 | 一种针对具有颜色信息的三维点云数据快速配准方法 |
| CN108010036A (zh) * | 2017-11-21 | 2018-05-08 | 江南大学 | 一种基于rgb-d相机的物体对称轴检测方法 |
| US20210090274A1 (en) * | 2019-09-25 | 2021-03-25 | Blue River Technology Inc. | Identifying and treating plants using depth information in a single image |
| CN112861653A (zh) * | 2021-01-20 | 2021-05-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、系统、设备及存储介质 |
| KR20210090384A (ko) * | 2020-01-10 | 2021-07-20 | 현대모비스 주식회사 | 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치 |
-
2021
- 2021-12-20 CN CN202111565263.3A patent/CN114373105B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107346550A (zh) * | 2017-07-05 | 2017-11-14 | 滁州学院 | 一种针对具有颜色信息的三维点云数据快速配准方法 |
| CN108010036A (zh) * | 2017-11-21 | 2018-05-08 | 江南大学 | 一种基于rgb-d相机的物体对称轴检测方法 |
| US20210090274A1 (en) * | 2019-09-25 | 2021-03-25 | Blue River Technology Inc. | Identifying and treating plants using depth information in a single image |
| KR20210090384A (ko) * | 2020-01-10 | 2021-07-20 | 현대모비스 주식회사 | 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치 |
| CN112861653A (zh) * | 2021-01-20 | 2021-05-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、系统、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 梁晋等: "3D反求技术", vol. 1, 31 January 2019, 华中科技大学出版社, pages: 14 * |
| 赵姝馨: "基于几何深度学习的三维点云场景理解研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 9, 15 September 2021 (2021-09-15), pages 138 - 286 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821248A (zh) * | 2022-07-01 | 2022-07-29 | 深圳大学 | 面向点云理解的数据主动筛选标注方法和装置 |
| CN115408544A (zh) * | 2022-08-19 | 2022-11-29 | 梅卡曼德（北京）机器人科技有限公司 | 图像数据库构建方法、装置、设备、存储介质及产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114373105B (zh) | 2024-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pound et al. | CellSeT: novel software to extract and analyze structured networks of plant cells from confocal images | |
| CN109886928B (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
| CN114373105B (zh) | 一种点云标注及数据集制作的方法、系统、装置及介质 | |
| JP6453298B2 (ja) | 細胞診標本を観察および解析するためのシステムおよび方法 | |
| EP3452959A1 (en) | Model construction in a neural network for object detection | |
| Dzyubachyk et al. | Automated analysis of time-lapse fluorescence microscopy images: from live cell images to intracellular foci | |
| EP3006551B1 (en) | Image processing device, image processing method, program, and storage medium | |
| CN111415364B (zh) | 一种计算机视觉中图像分割样本的转换方法、系统及存储介质 | |
| EP3844668A1 (en) | System and method for training a damage identification model | |
| CN109711285B (zh) | 识别模型的训练、测试方法和装置 | |
| CN110188495B (zh) | 一种基于深度学习的二维户型图生成三维户型图的方法 | |
| JP2018512567A5 (zh) | ||
| JP2021047841A (ja) | 関心点をラベル付けする方法、装置、コンピュータ機器及び記憶媒体 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN109857878B (zh) | 物品标注方法及装置、电子设备及存储介质 | |
| CN110727816A (zh) | 兴趣点类别确定方法和装置 | |
| CN111340831A (zh) | 点云边缘检测方法和装置 | |
| CN110807754B (zh) | 基于深度语义分割的真菌显微图像分割检测方法及系统 | |
| CN114419038A (zh) | 轮毂表面缺陷的识别方法及装置、存储介质、电子设备 | |
| CN111160374A (zh) | 一种基于机器学习的颜色识别方法及系统、装置 | |
| CN114872574A (zh) | 基于充电桩的采集与监控系统及方法 | |
| CN113177957B (zh) | 一种细胞图像的分割方法、装置、电子设备及存储介质 | |
| CN112434585A (zh) | 一种车道线的虚实识别方法、系统、电子设备及存储介质 | |
| CN116188463A (zh) | Fish图像信号自动检测分析方法、装置、设备以及介质 | |
| CN111046262A (zh) | 一种数据标注方法、装置及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |