CN109919046A - 一种基于关系特征的三维点云特征学习方法和装置 - Google Patents

一种基于关系特征的三维点云特征学习方法和装置 Download PDF

Info

Publication number
CN109919046A
CN109919046A CN201910122589.5A CN201910122589A CN109919046A CN 109919046 A CN109919046 A CN 109919046A CN 201910122589 A CN201910122589 A CN 201910122589A CN 109919046 A CN109919046 A CN 109919046A
Authority
CN
China
Prior art keywords
point cloud
feature
sector domain
cloud sector
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910122589.5A
Other languages
English (en)
Other versions
CN109919046B (zh
Inventor
鲁继文
周杰
段岳圻
郑宇�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910122589.5A priority Critical patent/CN109919046B/zh
Publication of CN109919046A publication Critical patent/CN109919046A/zh
Application granted granted Critical
Publication of CN109919046B publication Critical patent/CN109919046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于关系特征的三维点云特征学习方法和装置,方法包括:获取3D点云数据,确定3D点云数据中的各个子点云区域,对各个子点云区域进行特征提取,确定各个子点云区域的区域特征,根据各个子点云区域的区域特征,确定每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征,根据每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征,融合得到每一个子点云区域的全局关系特征,将每一个子点云区域的全局关系特征进行融合,得到3D点云数据的全局关系特征,实现了充分利用3维点云的关系特征,更加能体现物体的结构关系,提高了物体3维识别的准确性。

Description

一种基于关系特征的三维点云特征学习方法和装置
技术领域
本发明涉及计算机视觉与机器学习技术领域,尤其涉及一种基于关系特征的三维点云特征学习方法和装置。
背景技术
3D点云识别在雷达信息处理、场景重构等实际应用中发挥着重要的作用。不同于2D图片的像素信息紧密且有序,3D点云数据由稀疏且无序的3D坐标构成,因而缺少结构化表示方式,这给3D点云数据分析带来较大挑战。
早期3D点云识别方法着重于浅层特征的提取,其中代表性的手工特征有SpinImage算子、快速点特征直方图和热核特征。随着硬件计算能力的快速发展,研究者们也在3D点云处理和识别展开了一系列开创性工作。
相关技术中,采用PointNet++对3D点云进行特征提取,然而PointNet++仅考虑了3D点云的各区域的区域特征,使得对3D点云数据的识别准确度较差。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明提出一种基于关系特征的三维点云特征学习方法,根据确定的各个子点云区域的区域特征,确定每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征,并将关系特征进行融合,实现了充分利用3维点云的关系特征,更加能体现物体的结构关系,提高了物体3维识别的准确性,解决了现有技术中3维点云识别因仅考虑了区域特征,识别准确度较低的技术问题。
本发明提出一种基于关系特征的三维点云特征学习装置。
本发明一方面实施例提出了一种基于关系特征的三维点云特征学习方法,方法包括:
获取3D点云数据,确定所述3D点云数据中的各个子点云区域;
对各个子点云区域进行特征提取,确定所述各个子点云区域的区域特征;
根据所述各个子点云区域的区域特征,确定每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征;
根据每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征,融合得到每一个子点云区域的全局关系特征;
将所述每一个子点云区域的全局关系特征进行融合,得到所述3D点云数据的全局关系特征。
本发明又一方面实施例提出了一种基于关系特征的三维点云特征学习装置,所述装置包括:
第一确定模块,用于获取3D点云数据,确定所述3D点云数据中的各个子点云区域;
第二确定模块,用于对各个子点云区域进行特征提取,确定所述各个子点云区域的区域特征;
第三确定模块,用于根据所述各个子点云区域的区域特征,确定每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征;
第一融合模块,用于根据每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征,融合得到每一个子点云区域的全局关系特征;
第二融合模块,用于将所述每一个子点云区域的全局关系特征进行融合,得到所述3D点云数据的全局关系特征。
本发明实施例所提供的技术方案可以包含如下的有益效果:
获取3D点云数据,确定3D点云数据中的各个子点云区域,对各个子点云区域进行特征提取,确定各个子点云区域的区域特征,根据各个子点云区域的区域特征,确定每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征,根据每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征,融合得到每一个子点云区域的全局关系特征,将每一个子点云区域的全局关系特征进行融合,得到3D点云数据的全局关系特征,实现了充分利用3维点云的关系特征,更加能体现物体的结构关系,提高了物体3维识别的准确性。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例所提供的基于关系特征的三维点云特征学习方法的流程示意图;
图2为本发明实施例所提供的物体3D点云示意图;
图3为本发明实施例所提供的另一种基于关系特征的三维点云特征学习方法的流程示意图;
图4为本发明实施例所提供的椅子的3维点云特征学习的结构示意图;以及
图5为本发明实施例提供的一种基于关系特征的三维点云特征学习装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于关系特征的三维点云特征学习方法和装置。
图1为本发明实施例所提供的基于关系特征的三维点云特征学习方法的流程示意图。
如图1所示,该方法包括以下步骤:
步骤101,获取3维点云数据,确定3维点云数据中的各个子点云区域。
本发明实施例中可以通过雷达传感器扫描获取3维点云数据,或者是通过RGBD相机扫描获取3维点云数据,对此本实施例中不做限定。
获取3维点云数据后,可以确定3维点云数据中的各个子点云区域,作为一种可能的实现方式,根据获取的3维点云数据寻找最稀疏的若干个点云,以每一个点云为质心,确定该点云预设范围内的邻近点云,包含该点云和该点云预设范围内的邻近点云的球体区域即为一个子点云区域。从而,确定3维点云数据中的各个子点云区域。
步骤102,对各个子点云区域进行特征提取,确定各个子点云区域的区域特征。
其中,区域特征包含形态特征和位置特征。
作为一种可能的实现方式,可以采用点云网络PointNet++对初始3D点云数据进行重复采样和分组,将原始数据分解,得到3维点云数据中各个子点云区域的形态特征和位置特征。
步骤103,根据各个子点云区域的区域特征,确定每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征。
其中,关系特征包含形态关系特征和位置关系特征。
图2为本发明实施例所提供的物体3D点云示意图,如图2所示,图中示出了飞机、电脑、琵琶、椅子等各种物体,各物体的子点云区域均是在形态和位置上具有一定的对应关系,例如,图2中A所示的飞机的3D点云图,图中1和2对应的子点云区域在位置和形态上都具有对称性关系,3和4对应的子点云区域在位置和形态上具有对称性关系,5和6对应的子点云区域在位置和形态上也具有对称性关系。同理,图2中的其它物体的各子点云区域之间也存在形态和位置上的对称性关系,这说明形态和位置上的关系特征普遍存在于3维物体中,对3维物体的各子点云区域间的形态关系特征和位置关系特征进行获取,用于对3维物体识别,因形态关系特征和位置关系特征更能说明物体中各子点云区域的结构性关系,在对物体进行识别时可提高3维物体识别的准确性。
具体地,利用形态特征关系函数gu确定每一个子点云区域的形态特征与各个子点云区域的形态特征之间的形态关系特征,以及利用位置特征关系函数gv确定每一个子点云区域的位置特征与各个子点云区域的位置特征之间的位置关系特征。
步骤104,根据每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征,融合得到每一个子点云区域的全局关系特征。
具体地,针对每一个子点云区域,将相应子点云区域形态特征与各个子点云区域的形态特征之间的形态关系特征,以及相应子点云区域的位置特征与各个子点云区域的位置特征之间的位置关系特征进行融合,确定相应子点云区域的全局关系特征。作为一种可能的实现方式,针对第i个子点云区域,确定第i个子点云区域的全局关系特征为yi其中,ui为第i个子点云的形态特征,vi为第i个子点云的位置特征,gu(ui,uj)为确定第i个子点云与第j个子点云之间的形态关系特征的函数,gv(vi,vj)为确定第i个子点云与第j个子点云之间的位置关系特征的函数,j为包含第i个子点云区域的任意一个子点云区域,例如,子点云区域共计N个,则j的取值为1-N,h为融合函数,用于融合第i个子点云与第j个子点云之间的形态关系特征和位置关系特征的函数,f为特征编码函数。
步骤105,将每一个子点云区域的全局关系特征进行融合,得到3维点云数据的全局关系特征。
具体地,确定每一个子点云区域的全局关系特征后,则将各个子点云的关系特征进行融合,作为一种可能的实现方式,可以采用最大池化方法或者是平均池化方法,将各个子点云的关系特征进行融合,得到3维点云数据的全局关系特征。本实施例中对特征融合时采用的池化方法不作限定。
本发明实施例的基于关系特征的三维点云特征学习方法中,获取3D点云数据,确定3D点云数据中的各个子点云区域,对各个子点云区域进行特征提取,确定各个子点云区域的区域特征,根据各个子点云区域的区域特征,确定每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征,根据每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征,融合得到每一个子点云区域的全局关系特征,将每一个子点云区域的全局关系特征进行融合,得到3D点云数据的全局关系特征。通过确定各个子点云区域之间的关系特征,确定每一个子点云区域的全局关系特征,将每一个子点云区域的全局关系特征进行融合得到3D点云数据的全局关系特征,实现了充分利用3维点云的关系特征,提高了对3维点云识别的准确性。
基于上一实施例,本发明实施例提出了另一种基于关系特征的三维点云特征学习方法,图3为本发明实施例所提供的另一种基于关系特征的三维点云特征学习方法的流程示意图,如图3所示,该方法包含如下的步骤:
步骤301,获取3维点云数据,确定3维点云数据中的各个子点云区域。
具体可参照上一实施例中的步骤101,原理相同,此处不再赘述。
本发明实施例中,以椅子的3维点云数据为例进行说明,图4为本发明实施例所提供的椅子的3维点云特征学习的结构示意图,如图4所示,图中示出了椅子的3维点云数据,以及根据椅子的3维点云数据确定的各个子点云区域。
步骤302,对各个子点云区域进行特征提取,确定各个子点云区域的形态特征和位置特征。
具体可参照上一实施例中的步骤102,原理相同,此处不再赘述。
步骤303,利用形态特征关系函数gu确定每一个子点云区域的形态特征与各个子点云区域的形态特征之间的形态关系特征,以及利用位置特征关系函数gv确定每一个子点云区域的位置特征与各个子点云区域的位置特征之间的位置关系特征。
本发明实施例中,根据各个子点云区域的形态特征,针对每一个子点云区域,利用形态特征关系函数gu确定该子点云区域的形态关系特征与各个子点云区域的形态特征之间的形态关系特征,其中,所述形态关系特征还包含每一个子点云区域与自身的形态关系特征。具体地,针对每一个子点云区域,分别确定该子点云区域的形态特征与各个子点云区域的形态特征对应的组合矩阵,例如,子点云区域为i,则该子点云区域i的形态特征与子点云区域j的形态特征对应的组合矩阵表示为i*j*C1,其中,C1为子点云区域的形态特征维度,进而,将该组合矩阵利用通道数为C1的卷积操作确定子点云区域i的形态特征与子点云区域j的形态特征之间的形态关系特征,同理,可确定个子点云区域i与其它各个子点云区域的形态特征之间的形态关系特征,其中,还需要确定子点云区域i的形态特征与自己本身的形态特征之间的形态关系特征。进而,可确定每一个子点云区域与自身,以及与各个子点云区域的形态特征之间的位置关系特征,例如,子点云区域为N个,则确定的两两子点云区域间的形态关系特征则共有N*N个,其原理相同,此处不一一赘述。
本发明实施例中,根据各个子点云区域的位置关系特征,针对每一个子点云区域,利用位置特征关系函数gv确定每一个子点云区域的位置特征与各个子点云区域的位置特征之间的位置关系特征,其中,所述位置关系特征还包含每一个子点云区域与自身的位置关系特征。具体地,针对每一个子点云区域,分别确定该子点云区域的位置特征与各个子点云区域的位置特征对应的组合矩阵,例如,子点云区域为i,则该子点云区域i的位置特征与子点云区域j的位置特征对应的组合矩阵表示为i*j*C2,其中,C2为子点云区域的位置特征维度,进而,将该组合矩阵利用通道数为C2的卷积操作确定子点云区域i的位置特征与子点云区域j的位置特征之间的位置关系特征,同理,可确定个子点云区域i与其它各个子点云区域的位置特征之间的位置关系特征,其中,还需要确定子点云区域i的形态特征与自己本身的形态特征之间的形态关系特征。进而,可确定每一个子点云区域与自身,以及与各个子点云区域的位置特征之间的位置关系特征,例如,子点云区域为N个,则确定的两两子点云区域间的位置关系特征则共有N*N个,其原理相同,此处不一一赘述。
需要说明的是,本实施例中形态特征的维度数C1和位置特征对应的维度数C2可以相同也可以不同,一般来说形态特征的维度数C1大于位置特征对应的维度数C2。
步骤304,针对每一个子点云区域,将相应子点云区域与各个子点云区域的形态特征之间的形态关系特征,以及相应子点云区域与各个子点云区域的位置特征之间的位置关系特征进行融合,确定相应子点云区域的全局关系特征。
如图4中所示,子点云区域为4个,假设第i个子点云区域为第2个子点云区域,针对第2个子点云区域,根据形态特征关系函数gu确定第2个子点云区域与第1个子点云区域的形态关系特征,同理,确定第2个子点云区域与自身区域的形态关系特征,第2个子点云区域与第3个子点云区域的形态关系特征,以及第2个子点云区域与第4个子点云区域的形态关系特征。再根据位置特征关系函数gv确定的第2个子点云区域与第1个子点云区域的位置关系特征,同理,确定第2个子点云区域与自身区域的位置关系特征,第2个子点云区域与第3个子点云区域的位置关系特征,以及第2个子点云区域与第4个子点云区域的位置关系特征。进而,利用融合函数h将第2个子点云区域与第1个子点云区域的形态关系特征与位置关系特征进行拼接,再将第2个子点云区域分别与第2个子点云区域的形态关系特征与位置关系特征进行拼接,依次类推,将第2个子点云区域与第3个子点云区域的形态关系特征进行拼接,将第2个子点云区域与第4个子点云区域的形态关系特征进行拼接,进而,再进行按位求和,获取该第2个子点云区域对应的全局关系特征y2,也就是说其中,j取值为1-4。同理,可得到第1个子点云区域对应的全局关系特征y1,第3个子点云区域对应的全局关系特征y3,以及第4个子点云区域对应的全局关系特征y4
步骤305,将每一个子点云区域的全局关系特征进行融合,得到3维点云数据的全局关系特征。
具体地,将第1个子点云区域对应的全局关系特征y1-第4个子点云的全局关系特征y4采用池化方法进行融合,得到椅子对应的点云数据的全局关系特征,点云数据的全局关系特征考虑了各个子点云区域之间的位置特征之间的位置关系特征,以及形态特征之间的形态关系特征,并将形态关系特征和位置关系特征融合,实现了形态关系特征和位置关系特征的互补,更加能体现物体的结构关系,提高了物体3维识别的准确性。
步骤306,将3维点云数据的全局关系特征作为训练样本,对识别模型进行训练,以使训练后的识别模型可学习得到输入的物体对应的点云数据与输出的物体种类的概率分布关系。
具体地,将点云数据的全局关系特征作为训练样本,对识别模型进行训练,以使得训练后的识别模型可学习得到输入的点云数据与输出的物体种类的概率分布关系,将概率分布最高的物体的种类确定为要识别的点云数据对应的物体种类,因点云数据的全局关系特征充分考虑了位置关系特征和形态关系特征,使得形态关系特征和位置关系特征进行互补,更加能体现物体的结构关系,将获取的3维物体的全局全系特征用于对识别模型进行训练,提高了识别模型对3维物体识别的准确性。
本发明实施例的基于关系特征的三维点云特征学习方法中,获取3维点云数据,提取3维点云数据中的各个子点云区域的位置特征和形态特征,利用位置特征关系函数确定两两子点云之间位置关系特征,以及利用形态特征关系函数确定两两子点云之间的形态关系特征,将形态关系特征和位置关系特征融合后,获取点云数据的全局关系特征,点云数据的全局关系特征充分考虑了各个子点云区域之间的位置特征之间的位置关系特征,以及形态特征之间的形态关系特征,并将形态关系特征和位置关系特征融合,实现了形态关系特征和位置关系特征的互补,更加能体现物体的结构关系,而将获取的3维物体的全局全系特征用于对识别模型进行训练,提高了识别模型对3维物体识别的准确性。
为了实现上述实施例,本发明还提出一种基于关系特征的三维点云特征学习装置。
图5为本发明实施例提供的一种基于关系特征的三维点云特征学习装置的结构示意图。
如图5所示,该装置包括:第一确定模块51、第二确定模块52、第三确定模块53、第一融合模块54和第二融合模块55。
第一确定模块51,用于获取3维点云数据,确定3维点云数据中的各个子点云区域。
第二确定模块52,用于对各个子点云区域进行特征提取,确定各个子点云区域的区域特征。
第三确定模块53,用于根据各个子点云区域的区域特征,确定每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征。
第一融合模块54,用于根据每一个子点云区域的区域特征与各个子点云区域的区域特征之间的关系特征,融合得到每一个子点云区域的全局关系特征。
第二融合模块55,用于将每一个子点云区域的全局关系特征进行融合,得到3维点云数据的全局关系特征。
进一步地,在本发明实施例的一种可能的实现方式中,该装置还包括:训练模块。
训练模块,用于将3维点云数据的全局关系特征作为训练样本,对识别模型进行训练,以使训练后的识别模型可学习得到输入的物体对应的点云数据与输出的物体种类的概率分布关系。
作为一种可能的实现方式,区域特征,包含形态特征和位置特征,上述第三确定模块53,具体用于:
利用形态特征关系函数gu确定每一个子点云区域的形态特征与所述各个子点云区域的形态特征之间的形态关系特征,以及利用位置特征关系函数gv确定每一个子点云区域的位置特征与所述各个子点云区域的位置特征之间的位置关系特征。
作为一种可能的实现方式,上述第一融合模块54,具体用于:
针对每一个子点云区域,将相应子点云区域与各个子点云区域的形态特征之间的形态关系特征,以及相应子点云区域与各个子点云区域的位置特征之间的位置关系特征进行融合,确定相应子点云区域的全局关系特征。
作为一种可能的实现方式,第一融合模块54,具体用于:
针对第i个子点云区域,确定所述第i个子点云区域的全局关系特征为yi其中,ui为第i个子点云的形态特征,vi为第i个子点云的位置特征,gu(ui,uj)为确定第i个子点云与第j个子点云之间的形态关系特征的函数,gv(vi,vj)为确定第i个子点云与第j个子点云之间的位置关系特征的函数,h为融合函数,用于融合第i个子点云与第j个子点云之间的形态关系特征和位置关系特征的函数,f为特征编码函数。
需要说明的是,前述对学习方法实施例的解释说明也适用于该实施例的装置,此处不再赘述。
本发明实施例的基于关系特征的三维点云特征学习装置中,获取3维点云数据,提取3维点云数据中的各个子点云区域的位置特征和形态特征,利用位置特征关系函数确定两两子点云之间位置关系特征,以及利用形态特征关系函数确定两两子点云之间的形态关系特征,将形态关系特征和位置关系特征融合后,获取点云数据的全局关系特征,点云数据的全局关系特征充分考虑了各个子点云区域之间的位置特征之间的位置关系特征,以及形态特征之间的形态关系特征,并将形态关系特征和位置关系特征融合,实现了形态关系特征和位置关系特征的互补,更加能体现物体的结构关系,而将获取的3维物体的全局全系特征用于对识别模型进行训练,提高了识别模型对3维物体识别的准确性。为了实现上述实施例,本发明实施例提出了一种,实现如前述方法实施例所述的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于关系特征的三维点云特征学习方法,其特征在于,包括:
获取3维点云数据,确定所述3维点云数据中的各个子点云区域;
对所述各个子点云区域进行特征提取,确定所述各个子点云区域的区域特征;
根据所述各个子点云区域的区域特征,确定每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征;
根据每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征,融合得到每一个子点云区域的全局关系特征;
将所述每一个子点云区域的全局关系特征进行融合,得到所述3维点云数据的全局关系特征。
2.根据权利要求1所述的学习方法,其特征在于,所述区域特征,包含形态特征和位置特征,所述根据所述各个子点云区域的区域特征,确定每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征,包括:
利用形态特征关系函数gu确定每一个子点云区域的形态特征与所述各个子点云区域的形态特征之间的形态关系特征,以及利用位置特征关系函数gv确定每一个子点云区域的位置特征与所述各个子点云区域的位置特征之间的位置关系特征。
3.根据权利要求2所述的学习方法,其特征在于,所述根据每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的区域关系特征,融合得到每一个子点云区域的全局关系特征,包括:
针对每一个子点云区域,将相应子点云区域与所述各个子点云区域的形态特征之间的形态关系特征,以及相应子点云区域与所述各个子点云区域的位置特征之间的位置关系特征进行融合,确定相应子点云区域的全局关系特征。
4.根据权利要求3所述的学习方法,其特征在于,所述针对每一个子点云区域,将相应子点云区域与所述各个子点云区域的形态特征之间的形态关系特征,以及相应子点云区域与所述各个子点云区域的位置特征之间的位置关系特征进行融合,确定相应子点云区域的全局关系特征,包括:
针对第i个子点云区域,确定所述第i个子点云区域的全局关系特征为yi其中,ui为第i个子点云的形态特征,vi为第i个子点云的位置特征,gu(ui,uj)为确定第i个子点云与第j个子点云之间的形态关系特征的函数,gv(vi,vj)为确定第i个子点云与第j个子点云之间的位置关系特征的函数,h为融合函数,用于融合第i个子点云与第j个子点云之间的形态关系特征和位置关系特征的函数,f为特征编码函数。
5.根据权利要求1-4任一所述的学习方法,其特征在于,所述方法还包括:
将所述3维点云数据的全局关系特征作为训练样本,对识别模型进行训练,以使训练后的所述识别模型可学习得到输入的点云数据与输出的物体种类的概率分布关系。
6.一种基于关系特征的三维点云特征学习装置,其特征在于,包括:
第一确定模块,用于获取3维点云数据,确定所述3维点云数据中的各个子点云区域;
第二确定模块,用于对所述各个子点云区域进行特征提取,确定所述各个子点云区域的区域特征;
第三确定模块,用于根据所述各个子点云区域的区域特征,确定每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征;
第一融合模块,用于根据每一个子点云区域的区域特征与所述各个子点云区域的区域特征之间的关系特征,融合得到每一个子点云区域的全局关系特征;
第二融合模块,用于将所述每一个子点云区域的全局关系特征进行融合,得到所述3维点云数据的全局关系特征。
7.根据权利要求6所述的学习装置,其特征在于,所述区域特征,包含形态特征和位置特征,所述第三确定模块,具体用于:
利用形态特征关系函数gu确定每一个子点云区域的形态特征与所述各个子点云区域的形态特征之间的形态关系特征,以及利用位置特征关系函数gv确定每一个子点云区域的位置特征与所述各个子点云区域的位置特征之间的位置关系特征。
8.根据权利要求7所述的学习装置,其特征在于,所述第一融合模块,具体用于:
针对每一个子点云区域,将相应子点云区域与所述各个子点云区域的形态特征之间的形态关系特征,以及相应子点云区域与所述各个子点云区域的位置特征之间的位置关系特征进行融合,确定相应子点云区域的全局关系特征。
9.根据权利要求8所述的学习装置法,其特征在于,所述第一融合模块,具体用于:
针对第i个子点云区域,确定所述第i个子点云区域的全局关系特征为yi其中,ui为第i个子点云的形态特征,vi为第i个子点云的位置特征,gu(ui,uj)为确定第i个子点云与第j个子点云之间的形态关系特征的函数,gv(vi,vj)为确定第i个子点云与第j个子点云之间的位置关系特征的函数,h为融合函数,用于融合第i个子点云与第j个子点云之间的形态关系特征和位置关系特征的函数,f为特征编码函数。
10.根据权利要求6-9任一所述的学习装置,其特征在于,所述装置还包括:
训练模块,用于将所述3维点云数据的全局关系特征作为训练样本,对识别模型进行训练,以使训练后的所述识别模型可学习得到输入的物体对应的点云数据与输出的物体种类的概率分布关系。
CN201910122589.5A 2019-02-19 2019-02-19 一种基于关系特征的三维点云特征学习方法和装置 Active CN109919046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910122589.5A CN109919046B (zh) 2019-02-19 2019-02-19 一种基于关系特征的三维点云特征学习方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910122589.5A CN109919046B (zh) 2019-02-19 2019-02-19 一种基于关系特征的三维点云特征学习方法和装置

Publications (2)

Publication Number Publication Date
CN109919046A true CN109919046A (zh) 2019-06-21
CN109919046B CN109919046B (zh) 2020-10-13

Family

ID=66961761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910122589.5A Active CN109919046B (zh) 2019-02-19 2019-02-19 一种基于关系特征的三维点云特征学习方法和装置

Country Status (1)

Country Link
CN (1) CN109919046B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031088A1 (en) * 2015-08-15 2017-02-23 Salesforce.Com, Inc Three-dimensional (3d) convolution with 3d batch normalization
CN107066935A (zh) * 2017-01-25 2017-08-18 网易(杭州)网络有限公司 基于深度学习的手部姿态估计方法及装置
US10008027B1 (en) * 2014-10-20 2018-06-26 Henry Harlyn Baker Techniques for determining a three-dimensional representation of a surface of an object from a set of images
CN108230377A (zh) * 2017-12-19 2018-06-29 武汉国安智能装备有限公司 点云数据的拟合方法和系统
CN109034077A (zh) * 2018-08-01 2018-12-18 湖南拓视觉信息技术有限公司 一种基于多尺度特征学习的三维点云标记方法和装置
CN109063753A (zh) * 2018-07-18 2018-12-21 北方民族大学 一种基于卷积神经网络的三维点云模型分类方法
CN109146935A (zh) * 2018-07-13 2019-01-04 中国科学院深圳先进技术研究院 一种点云配准方法、装置、电子设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10008027B1 (en) * 2014-10-20 2018-06-26 Henry Harlyn Baker Techniques for determining a three-dimensional representation of a surface of an object from a set of images
WO2017031088A1 (en) * 2015-08-15 2017-02-23 Salesforce.Com, Inc Three-dimensional (3d) convolution with 3d batch normalization
CN107066935A (zh) * 2017-01-25 2017-08-18 网易(杭州)网络有限公司 基于深度学习的手部姿态估计方法及装置
CN108230377A (zh) * 2017-12-19 2018-06-29 武汉国安智能装备有限公司 点云数据的拟合方法和系统
CN109146935A (zh) * 2018-07-13 2019-01-04 中国科学院深圳先进技术研究院 一种点云配准方法、装置、电子设备及可读存储介质
CN109063753A (zh) * 2018-07-18 2018-12-21 北方民族大学 一种基于卷积神经网络的三维点云模型分类方法
CN109034077A (zh) * 2018-08-01 2018-12-18 湖南拓视觉信息技术有限公司 一种基于多尺度特征学习的三维点云标记方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LAURA ANTANAS ET AL.: "Relational Kernel-Based Grasping with Numerical Features", 《RESEARCHGATE》 *
RASMUS BERG PALM ET AL.: "Recurrent relational networks for complex relational reasoning", 《ARXIV》 *
张帆: "基于投影的三维模型检索的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN109919046B (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
EP3961484A1 (en) Medical image segmentation method and device, electronic device and storage medium
CN108734211B (zh) 图像处理的方法和装置
JP4825222B2 (ja) 改良された画像セグメンテーション方法
CN107633522A (zh) 基于局部相似性活动轮廓模型的脑部图像分割方法和系统
CN108596046A (zh) 一种基于深度学习的细胞检测计数方法及系统
CN110570352B (zh) 图像标注方法、装置、系统及细胞标注方法
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
CN105122308A (zh) 用于使用连续染色组织上的单细胞划分的多路生物标志定量的系统和方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN106408037A (zh) 图像识别方法及装置
CN104699781B (zh) 基于双层锚图散列的sar图像检索方法
CN109272467A (zh) 一种基于多尺度边缘线索的层次化图像分割方法
CN109740752A (zh) 深度模型训练方法及装置、电子设备及存储介质
Pham et al. SHREC’18: Rgb-d object-to-cad retrieval
CN108596881A (zh) 一种爆破后岩石粒度的智能图像统计方法
Mamdouh et al. A New Model for Image Segmentation Based on Deep Learning.
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
Zeng et al. Efficient fetal ultrasound image segmentation for automatic head circumference measurement using a lightweight deep convolutional neural network
CN115063655A (zh) 一种融合超列的类激活映射图生成方法
CN105528791B (zh) 一种面向触摸屏手绘图像的质量评价装置及其评价方法
CN112200264A (zh) 基于散射复用的高通量免成像分类方法与装置
CN109919046A (zh) 一种基于关系特征的三维点云特征学习方法和装置
Zhu et al. Real-time traffic sign detection based on YOLOv2
CN114663917A (zh) 基于多视角的多人三维人体位姿估计方法及装置
Keshtkar et al. Knowledge-based image segmentation using swarm intelligence techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant