CN109919046B - 一种基于关系特征的三维点云特征学习方法和装置 - Google Patents
一种基于关系特征的三维点云特征学习方法和装置 Download PDFInfo
- Publication number
- CN109919046B CN109919046B CN201910122589.5A CN201910122589A CN109919046B CN 109919046 B CN109919046 B CN 109919046B CN 201910122589 A CN201910122589 A CN 201910122589A CN 109919046 B CN109919046 B CN 109919046B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- sub
- area
- features
- morphological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000000877 morphologic effect Effects 0.000 claims description 105
- 230000006870 function Effects 0.000 claims description 37
- 230000004927 fusion Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于关系特征的三维点云特征学习方法和装置，方法包括：获取3D点云数据，确定3D点云数据中的各个子点云区域，对各个子点云区域进行特征提取，确定各个子点云区域的区域特征，根据各个子点云区域的区域特征，确定每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征，根据每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征，融合得到每一个子点云区域的全局关系特征，将每一个子点云区域的全局关系特征进行融合，得到3D点云数据的全局关系特征，实现了充分利用3维点云的关系特征，更加能体现物体的结构关系，提高了物体3维识别的准确性。
Description
技术领域
本发明涉及计算机视觉与机器学习技术领域，尤其涉及一种基于关系特征的三维点云特征学习方法和装置。
背景技术
3D点云识别在雷达信息处理、场景重构等实际应用中发挥着重要的作用。不同于2D图片的像素信息紧密且有序，3D点云数据由稀疏且无序的3D坐标构成，因而缺少结构化表示方式，这给3D点云数据分析带来较大挑战。
早期3D点云识别方法着重于浅层特征的提取，其中代表性的手工特征有SpinImage算子、快速点特征直方图和热核特征。随着硬件计算能力的快速发展，研究者们也在3D点云处理和识别展开了一系列开创性工作。
相关技术中，采用PointNet++对3D点云进行特征提取，然而PointNet++仅考虑了3D点云的各区域的区域特征，使得对3D点云数据的识别准确度较差。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明提出一种基于关系特征的三维点云特征学习方法，根据确定的各个子点云区域的区域特征，确定每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征，并将关系特征进行融合，实现了充分利用3维点云的关系特征，更加能体现物体的结构关系，提高了物体3维识别的准确性，解决了现有技术中3维点云识别因仅考虑了区域特征，识别准确度较低的技术问题。
本发明提出一种基于关系特征的三维点云特征学习装置。
本发明一方面实施例提出了一种基于关系特征的三维点云特征学习方法，方法包括：
获取3D点云数据，确定所述3D点云数据中的各个子点云区域；
对各个子点云区域进行特征提取，确定所述各个子点云区域的区域特征；
根据所述各个子点云区域的区域特征，确定每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征；
根据每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征，融合得到每一个子点云区域的全局关系特征；
将所述每一个子点云区域的全局关系特征进行融合，得到所述3D点云数据的全局关系特征。
本发明又一方面实施例提出了一种基于关系特征的三维点云特征学习装置，所述装置包括：
第一确定模块，用于获取3D点云数据，确定所述3D点云数据中的各个子点云区域；
第二确定模块，用于对各个子点云区域进行特征提取，确定所述各个子点云区域的区域特征；
第三确定模块，用于根据所述各个子点云区域的区域特征，确定每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征；
第一融合模块，用于根据每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征，融合得到每一个子点云区域的全局关系特征；
第二融合模块，用于将所述每一个子点云区域的全局关系特征进行融合，得到所述3D点云数据的全局关系特征。
本发明实施例所提供的技术方案可以包含如下的有益效果：
获取3D点云数据，确定3D点云数据中的各个子点云区域，对各个子点云区域进行特征提取，确定各个子点云区域的区域特征，根据各个子点云区域的区域特征，确定每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征，根据每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征，融合得到每一个子点云区域的全局关系特征，将每一个子点云区域的全局关系特征进行融合，得到3D点云数据的全局关系特征，实现了充分利用3维点云的关系特征，更加能体现物体的结构关系，提高了物体3维识别的准确性。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的基于关系特征的三维点云特征学习方法的流程示意图；
图2为本发明实施例所提供的物体3D点云示意图；
图3为本发明实施例所提供的另一种基于关系特征的三维点云特征学习方法的流程示意图；
图4为本发明实施例所提供的椅子的3维点云特征学习的结构示意图；以及
图5为本发明实施例提供的一种基于关系特征的三维点云特征学习装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于关系特征的三维点云特征学习方法和装置。
图1为本发明实施例所提供的基于关系特征的三维点云特征学习方法的流程示意图。
如图1所示，该方法包括以下步骤：
步骤101，获取3维点云数据，确定3维点云数据中的各个子点云区域。
本发明实施例中可以通过雷达传感器扫描获取3维点云数据，或者是通过RGBD相机扫描获取3维点云数据，对此本实施例中不做限定。
获取3维点云数据后，可以确定3维点云数据中的各个子点云区域，作为一种可能的实现方式，根据获取的3维点云数据寻找最稀疏的若干个点云，以每一个点云为质心，确定该点云预设范围内的邻近点云，包含该点云和该点云预设范围内的邻近点云的球体区域即为一个子点云区域。从而，确定3维点云数据中的各个子点云区域。
步骤102，对各个子点云区域进行特征提取，确定各个子点云区域的区域特征。
其中，区域特征包含形态特征和位置特征。
作为一种可能的实现方式，可以采用点云网络PointNet++对初始3D点云数据进行重复采样和分组，将原始数据分解，得到3维点云数据中各个子点云区域的形态特征和位置特征。
步骤103，根据各个子点云区域的区域特征，确定每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征。
其中，关系特征包含形态关系特征和位置关系特征。
图2为本发明实施例所提供的物体3D点云示意图，如图2所示，图中示出了飞机、电脑、琵琶、椅子等各种物体，各物体的子点云区域均是在形态和位置上具有一定的对应关系，例如，图2中A所示的飞机的3D点云图，图中1和2对应的子点云区域在位置和形态上都具有对称性关系，3和4对应的子点云区域在位置和形态上具有对称性关系，5和6对应的子点云区域在位置和形态上也具有对称性关系。同理，图2中的其它物体的各子点云区域之间也存在形态和位置上的对称性关系，这说明形态和位置上的关系特征普遍存在于3维物体中，对3维物体的各子点云区域间的形态关系特征和位置关系特征进行获取，用于对3维物体识别，因形态关系特征和位置关系特征更能说明物体中各子点云区域的结构性关系，在对物体进行识别时可提高3维物体识别的准确性。
具体地，利用形态特征关系函数gu确定每一个子点云区域的形态特征与各个子点云区域的形态特征之间的形态关系特征，以及利用位置特征关系函数gv确定每一个子点云区域的位置特征与各个子点云区域的位置特征之间的位置关系特征。
步骤104，根据每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征，融合得到每一个子点云区域的全局关系特征。
具体地，针对每一个子点云区域，将相应子点云区域形态特征与各个子点云区域的形态特征之间的形态关系特征，以及相应子点云区域的位置特征与各个子点云区域的位置特征之间的位置关系特征进行融合，确定相应子点云区域的全局关系特征。作为一种可能的实现方式，针对第i个子点云区域，确定第i个子点云区域的全局关系特征为yi，
其中，ui为第i个子点云的形态特征，vi为第i个子点云的位置特征，gu(ui,uj)为确定第i个子点云与第j个子点云之间的形态关系特征的函数，gv(vi,vj)为确定第i个子点云与第j个子点云之间的位置关系特征的函数，j为包含第i个子点云区域的任意一个子点云区域，例如，子点云区域共计N个，则j的取值为1-N，h为融合函数，用于融合第i个子点云与第j个子点云之间的形态关系特征和位置关系特征的函数，f为特征编码函数。
步骤105，将每一个子点云区域的全局关系特征进行融合，得到3维点云数据的全局关系特征。
具体地，确定每一个子点云区域的全局关系特征后，则将各个子点云的关系特征进行融合，作为一种可能的实现方式，可以采用最大池化方法或者是平均池化方法，将各个子点云的关系特征进行融合，得到3维点云数据的全局关系特征。本实施例中对特征融合时采用的池化方法不作限定。
本发明实施例的基于关系特征的三维点云特征学习方法中，获取3D点云数据，确定3D点云数据中的各个子点云区域，对各个子点云区域进行特征提取，确定各个子点云区域的区域特征，根据各个子点云区域的区域特征，确定每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征，根据每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征，融合得到每一个子点云区域的全局关系特征，将每一个子点云区域的全局关系特征进行融合，得到3D点云数据的全局关系特征。通过确定各个子点云区域之间的关系特征，确定每一个子点云区域的全局关系特征，将每一个子点云区域的全局关系特征进行融合得到3D点云数据的全局关系特征，实现了充分利用3维点云的关系特征，提高了对3维点云识别的准确性。
基于上一实施例，本发明实施例提出了另一种基于关系特征的三维点云特征学习方法，图3为本发明实施例所提供的另一种基于关系特征的三维点云特征学习方法的流程示意图，如图3所示，该方法包含如下的步骤：
步骤301，获取3维点云数据，确定3维点云数据中的各个子点云区域。
具体可参照上一实施例中的步骤101，原理相同，此处不再赘述。
本发明实施例中，以椅子的3维点云数据为例进行说明，图4为本发明实施例所提供的椅子的3维点云特征学习的结构示意图，如图4所示，图中示出了椅子的3维点云数据，以及根据椅子的3维点云数据确定的各个子点云区域。
步骤302，对各个子点云区域进行特征提取，确定各个子点云区域的形态特征和位置特征。
具体可参照上一实施例中的步骤102，原理相同，此处不再赘述。
步骤303，利用形态特征关系函数gu确定每一个子点云区域的形态特征与各个子点云区域的形态特征之间的形态关系特征，以及利用位置特征关系函数gv确定每一个子点云区域的位置特征与各个子点云区域的位置特征之间的位置关系特征。
本发明实施例中，根据各个子点云区域的形态特征，针对每一个子点云区域，利用形态特征关系函数gu确定该子点云区域的形态关系特征与各个子点云区域的形态特征之间的形态关系特征，其中，所述形态关系特征还包含每一个子点云区域与自身的形态关系特征。具体地，针对每一个子点云区域，分别确定该子点云区域的形态特征与各个子点云区域的形态特征对应的组合矩阵，例如，子点云区域为i，则该子点云区域i的形态特征与子点云区域j的形态特征对应的组合矩阵表示为i*j*C1，其中，C1为子点云区域的形态特征维度，进而，将该组合矩阵利用通道数为C1的卷积操作确定子点云区域i的形态特征与子点云区域j的形态特征之间的形态关系特征，同理，可确定个子点云区域i与其它各个子点云区域的形态特征之间的形态关系特征，其中，还需要确定子点云区域i的形态特征与自己本身的形态特征之间的形态关系特征。进而，可确定每一个子点云区域与自身，以及与各个子点云区域的形态特征之间的位置关系特征，例如，子点云区域为N个，则确定的两两子点云区域间的形态关系特征则共有N*N个，其原理相同，此处不一一赘述。
本发明实施例中，根据各个子点云区域的位置关系特征，针对每一个子点云区域，利用位置特征关系函数gv确定每一个子点云区域的位置特征与各个子点云区域的位置特征之间的位置关系特征，其中，所述位置关系特征还包含每一个子点云区域与自身的位置关系特征。具体地，针对每一个子点云区域，分别确定该子点云区域的位置特征与各个子点云区域的位置特征对应的组合矩阵，例如，子点云区域为i，则该子点云区域i的位置特征与子点云区域j的位置特征对应的组合矩阵表示为i*j*C2，其中，C2为子点云区域的位置特征维度，进而，将该组合矩阵利用通道数为C2的卷积操作确定子点云区域i的位置特征与子点云区域j的位置特征之间的位置关系特征，同理，可确定个子点云区域i与其它各个子点云区域的位置特征之间的位置关系特征，其中，还需要确定子点云区域i的形态特征与自己本身的形态特征之间的形态关系特征。进而，可确定每一个子点云区域与自身，以及与各个子点云区域的位置特征之间的位置关系特征，例如，子点云区域为N个，则确定的两两子点云区域间的位置关系特征则共有N*N个，其原理相同，此处不一一赘述。
需要说明的是，本实施例中形态特征的维度数C1和位置特征对应的维度数C2可以相同也可以不同，一般来说形态特征的维度数C1大于位置特征对应的维度数C2。
步骤304，针对每一个子点云区域，将相应子点云区域与各个子点云区域的形态特征之间的形态关系特征，以及相应子点云区域与各个子点云区域的位置特征之间的位置关系特征进行融合，确定相应子点云区域的全局关系特征。
如图4中所示，子点云区域为4个，假设第i个子点云区域为第2个子点云区域，针对第2个子点云区域，根据形态特征关系函数gu确定第2个子点云区域与第1个子点云区域的形态关系特征，同理，确定第2个子点云区域与自身区域的形态关系特征，第2个子点云区域与第3个子点云区域的形态关系特征，以及第2个子点云区域与第4个子点云区域的形态关系特征。再根据位置特征关系函数gv确定的第2个子点云区域与第1个子点云区域的位置关系特征，同理，确定第2个子点云区域与自身区域的位置关系特征，第2个子点云区域与第3个子点云区域的位置关系特征，以及第2个子点云区域与第4个子点云区域的位置关系特征。进而，利用融合函数h将第2个子点云区域与第1个子点云区域的形态关系特征与位置关系特征进行拼接，再将第2个子点云区域分别与第2个子点云区域的形态关系特征与位置关系特征进行拼接，依次类推，将第2个子点云区域与第3个子点云区域的形态关系特征进行拼接，将第2个子点云区域与第4个子点云区域的形态关系特征进行拼接，进而，再进行按位求和，获取该第2个子点云区域对应的全局关系特征y2，也就是说
其中，j取值为1-4。同理，可得到第1个子点云区域对应的全局关系特征y1，第3个子点云区域对应的全局关系特征y3，以及第4个子点云区域对应的全局关系特征y4。
步骤305，将每一个子点云区域的全局关系特征进行融合，得到3维点云数据的全局关系特征。
具体地，将第1个子点云区域对应的全局关系特征y1-第4个子点云的全局关系特征y4采用池化方法进行融合，得到椅子对应的点云数据的全局关系特征，点云数据的全局关系特征考虑了各个子点云区域之间的位置特征之间的位置关系特征，以及形态特征之间的形态关系特征，并将形态关系特征和位置关系特征融合，实现了形态关系特征和位置关系特征的互补，更加能体现物体的结构关系，提高了物体3维识别的准确性。
步骤306，将3维点云数据的全局关系特征作为训练样本，对识别模型进行训练，以使训练后的识别模型可学习得到输入的物体对应的点云数据与输出的物体种类的概率分布关系。
具体地，将点云数据的全局关系特征作为训练样本，对识别模型进行训练，以使得训练后的识别模型可学习得到输入的点云数据与输出的物体种类的概率分布关系，将概率分布最高的物体的种类确定为要识别的点云数据对应的物体种类，因点云数据的全局关系特征充分考虑了位置关系特征和形态关系特征，使得形态关系特征和位置关系特征进行互补，更加能体现物体的结构关系，将获取的3维物体的全局全系特征用于对识别模型进行训练，提高了识别模型对3维物体识别的准确性。
本发明实施例的基于关系特征的三维点云特征学习方法中，获取3维点云数据，提取3维点云数据中的各个子点云区域的位置特征和形态特征，利用位置特征关系函数确定两两子点云之间位置关系特征，以及利用形态特征关系函数确定两两子点云之间的形态关系特征，将形态关系特征和位置关系特征融合后，获取点云数据的全局关系特征，点云数据的全局关系特征充分考虑了各个子点云区域之间的位置特征之间的位置关系特征，以及形态特征之间的形态关系特征，并将形态关系特征和位置关系特征融合，实现了形态关系特征和位置关系特征的互补，更加能体现物体的结构关系，而将获取的3维物体的全局全系特征用于对识别模型进行训练，提高了识别模型对3维物体识别的准确性。
为了实现上述实施例，本发明还提出一种基于关系特征的三维点云特征学习装置。
图5为本发明实施例提供的一种基于关系特征的三维点云特征学习装置的结构示意图。
如图5所示，该装置包括：第一确定模块51、第二确定模块52、第三确定模块53、第一融合模块54和第二融合模块55。
第一确定模块51，用于获取3维点云数据，确定3维点云数据中的各个子点云区域。
第二确定模块52，用于对各个子点云区域进行特征提取，确定各个子点云区域的区域特征。
第三确定模块53，用于根据各个子点云区域的区域特征，确定每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征。
第一融合模块54，用于根据每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征，融合得到每一个子点云区域的全局关系特征。
第二融合模块55，用于将每一个子点云区域的全局关系特征进行融合，得到3维点云数据的全局关系特征。
进一步地，在本发明实施例的一种可能的实现方式中，该装置还包括：训练模块。
训练模块，用于将3维点云数据的全局关系特征作为训练样本，对识别模型进行训练，以使训练后的识别模型可学习得到输入的物体对应的点云数据与输出的物体种类的概率分布关系。
作为一种可能的实现方式，区域特征，包含形态特征和位置特征，上述第三确定模块53，具体用于：
利用形态特征关系函数gu确定每一个子点云区域的形态特征与所述各个子点云区域的形态特征之间的形态关系特征，以及利用位置特征关系函数gv确定每一个子点云区域的位置特征与所述各个子点云区域的位置特征之间的位置关系特征。
作为一种可能的实现方式，上述第一融合模块54，具体用于：
针对每一个子点云区域，将相应子点云区域与各个子点云区域的形态特征之间的形态关系特征，以及相应子点云区域与各个子点云区域的位置特征之间的位置关系特征进行融合，确定相应子点云区域的全局关系特征。
作为一种可能的实现方式，第一融合模块54，具体用于：
针对第i个子点云区域，确定所述第i个子点云区域的全局关系特征为yi，
其中，ui为第i个子点云的形态特征，vi为第i个子点云的位置特征，gu(ui,uj)为确定第i个子点云与第j个子点云之间的形态关系特征的函数，gv(vi,vj)为确定第i个子点云与第j个子点云之间的位置关系特征的函数，h为融合函数，用于融合第i个子点云与第j个子点云之间的形态关系特征和位置关系特征的函数，f为特征编码函数。
需要说明的是，前述对学习方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
本发明实施例的基于关系特征的三维点云特征学习装置中，获取3维点云数据，提取3维点云数据中的各个子点云区域的位置特征和形态特征，利用位置特征关系函数确定两两子点云之间位置关系特征，以及利用形态特征关系函数确定两两子点云之间的形态关系特征，将形态关系特征和位置关系特征融合后，获取点云数据的全局关系特征，点云数据的全局关系特征充分考虑了各个子点云区域之间的位置特征之间的位置关系特征，以及形态特征之间的形态关系特征，并将形态关系特征和位置关系特征融合，实现了形态关系特征和位置关系特征的互补，更加能体现物体的结构关系，而将获取的3维物体的全局全系特征用于对识别模型进行训练，提高了识别模型对3维物体识别的准确性。为了实现上述实施例，本发明实施例提出了一种，实现如前述方法实施例所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于关系特征的三维点云特征学习方法，其特征在于，包括：
获取3维点云数据，确定所述3维点云数据中的各个子点云区域；
对所述各个子点云区域进行特征提取，确定所述各个子点云区域的区域特征；其中，所述区域特征，包含形态特征和位置特征；
根据所述各个子点云区域的区域特征，确定每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征；
根据每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征，融合得到每一个子点云区域的全局关系特征；
将所述每一个子点云区域的全局关系特征进行融合，得到所述3维点云数据的全局关系特征。
2.根据权利要求1所述的学习方法，其特征在于，所述根据所述各个子点云区域的区域特征，确定每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征，包括：
利用形态特征关系函数gu确定每一个子点云区域的形态特征与所述各个子点云区域的形态特征之间的形态关系特征，以及利用位置特征关系函数gv确定每一个子点云区域的位置特征与所述各个子点云区域的位置特征之间的位置关系特征。
3.根据权利要求2所述的学习方法，其特征在于，所述根据每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的区域关系特征，融合得到每一个子点云区域的全局关系特征，包括：
针对每一个子点云区域，将相应子点云区域与所述各个子点云区域的形态特征之间的形态关系特征，以及相应子点云区域与所述各个子点云区域的位置特征之间的位置关系特征进行融合，确定相应子点云区域的全局关系特征。
4.根据权利要求3所述的学习方法，其特征在于，所述针对每一个子点云区域，将相应子点云区域与所述各个子点云区域的形态特征之间的形态关系特征，以及相应子点云区域与所述各个子点云区域的位置特征之间的位置关系特征进行融合，确定相应子点云区域的全局关系特征，包括：
针对第i个子点云区域，确定所述第i个子点云区域的全局关系特征为yi，
其中，ui为第i个子点云的形态特征，vi为第i个子点云的位置特征，gu(ui,uj)为确定第i个子点云与第j个子点云之间的形态关系特征的函数，gv(vi,vj)为确定第i个子点云与第j个子点云之间的位置关系特征的函数，h为融合函数，用于融合第i个子点云与第j个子点云之间的形态关系特征和位置关系特征的函数，f为特征编码函数。
5.根据权利要求1-4任一所述的学习方法，其特征在于，所述方法还包括：
将所述3维点云数据的全局关系特征作为训练样本，对识别模型进行训练，以使训练后的所述识别模型可学习得到输入的点云数据与输出的物体种类的概率分布关系。
6.一种基于关系特征的三维点云特征学习装置，其特征在于，包括：
第一确定模块，用于获取3维点云数据，确定所述3维点云数据中的各个子点云区域；
第二确定模块，用于对所述各个子点云区域进行特征提取，确定所述各个子点云区域的区域特征；其中，所述区域特征，包含形态特征和位置特征；
第三确定模块，用于根据所述各个子点云区域的区域特征，确定每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征；
第一融合模块，用于根据每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征，融合得到每一个子点云区域的全局关系特征；
第二融合模块，用于将所述每一个子点云区域的全局关系特征进行融合，得到所述3维点云数据的全局关系特征。
7.根据权利要求6所述的学习装置，其特征在于，所述第三确定模块，具体用于：
利用形态特征关系函数gu确定每一个子点云区域的形态特征与所述各个子点云区域的形态特征之间的形态关系特征，以及利用位置特征关系函数gv确定每一个子点云区域的位置特征与所述各个子点云区域的位置特征之间的位置关系特征。
8.根据权利要求7所述的学习装置，其特征在于，所述第一融合模块，具体用于：
针对每一个子点云区域，将相应子点云区域与所述各个子点云区域的形态特征之间的形态关系特征，以及相应子点云区域与所述各个子点云区域的位置特征之间的位置关系特征进行融合，确定相应子点云区域的全局关系特征。
9.根据权利要求8所述的学习装置法，其特征在于，所述第一融合模块，具体用于：
针对第i个子点云区域，确定所述第i个子点云区域的全局关系特征为yi，
其中，ui为第i个子点云的形态特征，vi为第i个子点云的位置特征，gu(ui,uj)为确定第i个子点云与第j个子点云之间的形态关系特征的函数，gv(vi,vj)为确定第i个子点云与第j个子点云之间的位置关系特征的函数，h为融合函数，用于融合第i个子点云与第j个子点云之间的形态关系特征和位置关系特征的函数，f为特征编码函数。
10.根据权利要求6-9任一所述的学习装置，其特征在于，所述装置还包括：
训练模块，用于将所述3维点云数据的全局关系特征作为训练样本，对识别模型进行训练，以使训练后的所述识别模型可学习得到输入的物体对应的点云数据与输出的物体种类的概率分布关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910122589.5A CN109919046B (zh) | 2019-02-19 | 2019-02-19 | 一种基于关系特征的三维点云特征学习方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910122589.5A CN109919046B (zh) | 2019-02-19 | 2019-02-19 | 一种基于关系特征的三维点云特征学习方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109919046A CN109919046A (zh) | 2019-06-21 |
| CN109919046B true CN109919046B (zh) | 2020-10-13 |
Family
ID=66961761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910122589.5A Active CN109919046B (zh) | 2019-02-19 | 2019-02-19 | 一种基于关系特征的三维点云特征学习方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109919046B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107066935A (zh) * | 2017-01-25 | 2017-08-18 | 网易（杭州）网络有限公司 | 基于深度学习的手部姿态估计方法及装置 |
| US10008027B1 (en) * | 2014-10-20 | 2018-06-26 | Henry Harlyn Baker | Techniques for determining a three-dimensional representation of a surface of an object from a set of images |
| CN109034077A (zh) * | 2018-08-01 | 2018-12-18 | 湖南拓视觉信息技术有限公司 | 一种基于多尺度特征学习的三维点云标记方法和装置 |
| CN109146935A (zh) * | 2018-07-13 | 2019-01-04 | 中国科学院深圳先进技术研究院 | 一种点云配准方法、装置、电子设备及可读存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282663B2 (en) * | 2015-08-15 | 2019-05-07 | Salesforce.Com, Inc. | Three-dimensional (3D) convolution with 3D batch normalization |
| CN108230377B (zh) * | 2017-12-19 | 2020-08-21 | 武汉国安智能装备有限公司 | 点云数据的拟合方法和系统 |
| CN109063753B (zh) * | 2018-07-18 | 2021-09-14 | 北方民族大学 | 一种基于卷积神经网络的三维点云模型分类方法 |
-
2019
- 2019-02-19 CN CN201910122589.5A patent/CN109919046B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10008027B1 (en) * | 2014-10-20 | 2018-06-26 | Henry Harlyn Baker | Techniques for determining a three-dimensional representation of a surface of an object from a set of images |
| CN107066935A (zh) * | 2017-01-25 | 2017-08-18 | 网易（杭州）网络有限公司 | 基于深度学习的手部姿态估计方法及装置 |
| CN109146935A (zh) * | 2018-07-13 | 2019-01-04 | 中国科学院深圳先进技术研究院 | 一种点云配准方法、装置、电子设备及可读存储介质 |
| CN109034077A (zh) * | 2018-08-01 | 2018-12-18 | 湖南拓视觉信息技术有限公司 | 一种基于多尺度特征学习的三维点云标记方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| Recurrent relational networks for complex relational reasoning;Rasmus Berg Palm et al.;《arXiv》;20181129;第1-22页 * |
| Relational Kernel-Based Grasping with Numerical Features;Laura Antanas et al.;《ResearchGate》;20151231;第1-12页 * |
| 基于投影的三维模型检索的研究;张帆;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180715;I138-766 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109919046A (zh) | 2019-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112329702B (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
| CN110827202A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| Liu et al. | Deep representation learning for road detection using Siamese network | |
| CN111027581A (zh) | 一种基于可学习编码的3d目标检测方法及系统 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN113963251A (zh) | 一种海洋生物检测方法、系统和设备 | |
| CN112348737A (zh) | 模拟图像生成的方法、电子设备及存储介质 | |
| CN116188999A (zh) | 一种基于可见光和红外图像数据融合的小目标检测方法 | |
| CN115240168A (zh) | 感知结果获取方法、装置、计算机设备、存储介质 | |
| Lechgar et al. | Detection of cities vehicle fleet using YOLO V2 and aerial images | |
| CN116310368A (zh) | 一种激光雷达3d目标检测方法 | |
| CN116071720A (zh) | 一种基于激光雷达的车道线及车辆检测方法、设备及介质 | |
| CN115098717A (zh) | 三维模型检索方法、装置、电子设备及存储介质 | |
| CN114511731A (zh) | 目标检测器的训练方法、装置、存储介质和电子设备 | |
| CN112488220B (zh) | 一种基于深度学习的小目标检测方法 | |
| CN116778262B (zh) | 一种基于虚拟点云的三维目标检测方法和系统 | |
| CN117789160A (zh) | 一种基于聚类优化的多模态融合目标检测方法及系统 | |
| CN117495891A (zh) | 点云边缘检测方法、装置和电子设备 | |
| CN109919046B (zh) | 一种基于关系特征的三维点云特征学习方法和装置 | |
| CN116664829A (zh) | 一种rgb-t语义分割方法、系统、装置及存储介质 | |
| CN113591543B (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
| CN114092623A (zh) | 点云数据去重方法及存储介质 | |
| KR101972095B1 (ko) | 물체탐지 성능 향상용 인공물체 추가 방법 및 장치 | |
| CN114359891A (zh) | 一种三维车辆检测方法、系统、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |