CN104616278A - 三维点云兴趣点检测方法和系统 - Google Patents

三维点云兴趣点检测方法和系统 Download PDF

Info

Publication number
CN104616278A
CN104616278A CN201310541258.8A CN201310541258A CN104616278A CN 104616278 A CN104616278 A CN 104616278A CN 201310541258 A CN201310541258 A CN 201310541258A CN 104616278 A CN104616278 A CN 104616278A
Authority
CN
China
Prior art keywords
point
interest
shape description
vector
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310541258.8A
Other languages
English (en)
Other versions
CN104616278B (zh
Inventor
王山东
宫鲁津
张辉
李宣旼
李炯旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecom R&D Center
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201310541258.8A priority Critical patent/CN104616278B/zh
Priority to KR1020140012990A priority patent/KR101822185B1/ko
Priority to US14/324,450 priority patent/US9547901B2/en
Publication of CN104616278A publication Critical patent/CN104616278A/zh
Application granted granted Critical
Publication of CN104616278B publication Critical patent/CN104616278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了一种三维点云兴趣点检测方法和系统,所述系统包括:3D点云数据获取模块,用于获取3D点云数据;形状描述模块,用于使用输入的3D点云中的像素点的邻域点至该像素点处切平面的有向距离分布信息,来生成该像素点与邻域点所在表面的形状描述向量;兴趣点提取模块,基于生成的形状描述向量来提取兴趣点。

Description

三维点云兴趣点检测方法和系统
技术领域
本发明涉及计算机视觉领域和智能机器人学领域,更具体地讲,本发明涉及一种三维(3D)点云兴趣点检测方法和系统。
背景技术
近年来随着深度相机或三维扫描仪的普及,三维点云数据的获取及处理技术受到广泛关注。在计算机视觉和智能机器人学领域,三维点云兴趣点检测算法是很多高级应用技术的起点算法,如表面配准(Surface registration)或物体识别(Object recognition)技术等。
兴趣点检测算法具有三个重要特性:(1)稀疏性(Sparseness),即兴趣点数量应该尽可能少以便后续描述匹配算法的高效可行;(2)可区别性(Distinctiveness),即每个兴趣点都能独特代表该点所在的表面结构信息;(3)可重复性(Repeatability),即兴趣点应该在不同的数据变换条件下能够被多次重复检测到。
现有的三维点云兴趣点检测算法大致分为两类:一类是基于二维图像兴趣点检测的扩展算法,如SIFT3D和Harris3D算法等;另一类是专门针对三维点云数据提出的兴趣点检测算法,如LSP、ISS、KPQ、NARF等。SIFT3D算法是将经典的SIFT2D算法(IJCV2004:Distinctive image features fromscale-invariant keypoints)应用到点云数据深度值或反映法向变化的特征值上,在构造尺度空间时对空间体数据进行重采样以及高斯滤波操作,邻域点集的确定是通过计算各点到中心点的欧氏距离,然后找出所有满足某个预定义半径距离的点集,为加速计算引入了八叉树搜索结构。Harris3D算法(TVC2011:Harris3D:a robust extension of the Harris operator for interest point detection on3D meshes)主要检测三维点云中的角点,类似于Harris2D算法,首先利用邻域点法向信息构造一个高斯平滑的自相关矩阵,然后通过求解矩阵特征值判断该点是否为兴趣角点。LSP算法(PR2007:3D free-form object recognition inrange images using local surface patches)基于最大和最小主曲率信息为每个点计算出一个显著性值即形状指数(SI:Shape Index),兴趣点被识别的条件是该点的SI与该点邻域平均SI存在明显区别。ISS算法(ICCV2009:Intrinsic shapesignatures:a shape descriptor for3D object recognition)基于协方差矩阵特征值分解的方法识别兴趣点,兴趣点的邻域点在三个主方向上的分布存在明显差异,并且与主方向对应的最小变化率大于某一阈值。KPQ算法(IJCV2010:Onthe repeatability and quality of keypoints for local feature-based3D objectretrieval from cluttered scenes)类似于ISS,兴趣点的计算过程也是依赖于协方差矩阵的特征值分解,不同的是该算法只选择前两个特征值比例大于某一阈值的点作为初始兴趣点,然后利用曲率信息为初始兴趣点估算兴趣值,最后通过非极大值抑制操作筛选出兴趣点。NARF算法(ICRA2011:point featureextraction on3D range scans taking into account object boundaries)是主要针对深度图像提出的一种兴趣点检测算法,该算法在计算兴趣值时考虑了边界信息对表面稳定造成的影响,确保所检测兴趣点位于局部稳定同时附近又出现较大变化的区域。
从以上描述内容可以看出,现有的兴趣点检测技术都采用类似的算法框架:首先利用局部或全局几何结构信息估算候选点的显著性或兴趣值,然后进行非极大值抑制或其他操作从而筛选出兴趣点。SIFT是一种尺度不变兴趣点检测算法,作用于存在尺度变换的图像数据上具有非常优秀的性能表现,然而三维点云数据记录的是物体表面位置信息,其尺度特性并不突出,因而扩展的SIFT3D算法在重复率性能方面并没有明显优势。Harris3D算法所检测的兴趣点通常位于物体边界或表面结构突变的区域,尽管这些位置是所期待的特征区域,但这些区域也极不稳定,给后续描述子的计算与匹配过程带来负面影响。LSP所检测的兴趣点整体分布较为均匀,对突出特征的识别能力较差,另外由于其是基于二阶导数(曲率)的算法,因而对噪声较为敏感,测试重复率不高。ISS的兴趣点通常位于形状独特的区域,综合测试重复率较高,但由于其对整个邻域进行矩阵特征值分解操作,随着邻域半径的增大,矩阵操作无法准确反应表面特征,因而该算法对存在相互遮挡和聚集的场景数据不鲁棒。KPQ是一种自适应邻域半径的兴趣点检测算法,能够避免较大平坦区域无兴趣点的现象,是专门为物体识别(Object Retrieval)应用而设计。与ISS类似,KPQ对遮挡和聚集不鲁棒,另外,由于KPQ算法在估算初始兴趣点的兴趣值时需要进行平面拟合、重采样、求解曲率等操作,因此该算法运行效率较慢。NARF检测的兴趣点位于局部表面稳定附近有突变的区域,由于考虑到边界的影响,兴趣点位于边界附近的可能性较大。另外由于该算法涉及法向及曲率的求解,对噪声较敏感,因此该算法运行效率也受到限制。综上,现有技术存在的问题在于,要么对噪声、遮挡、聚集等不鲁棒,要么算法运行效率较低。因此需要一种能够提高算法的鲁棒性同时又降低算法的运行时间的技术方案。
发明内容
本发明的目的在于提供一种快速鲁棒的三维点云兴趣点检测方法和系统。
根据本发明的一方面,提供了一种3D点云兴趣点检测系统,包括:3D点云数据获取模块,用于获取3D点云数据;形状描述模块,用于使用输入的3D点云中的像素点的邻域点至该像素点处切平面的有向距离分布信息,来生成该像素点与邻域点所在表面的形状描述向量;兴趣点提取模块,基于生成的形状描述向量来提取兴趣点。
优选地,形状描述模块可包括:局部参考架构造模块,用于构造3D点云中的像素点的局部参考架,所述局部参考架为以像素点为中心的坐标系的X轴、Y轴和Z轴;有向距离分布图计算模块,用于计算以像素点为中心的外围邻域点至像素点所在切平面的有向距离分布图,所述有向距离分布图被表示为包括外围邻域点在切平面上的投影方向与X轴的方向夹角和到切平面的有向距离;形状描述生成模块,用于对计算的有向距离分布图采用有限维度的向量进行表示以生成形状描述向量。
优选地,每个外围邻域点可都对应一个映射关系f(θ)=d,其中θ为像素点在切平面上的投影方向与X轴的方向夹角,范围为-π~π;d为该像素点到切平面的有向距离。
优选地,形状描述生成模块可用于将有向距离分布图沿θ轴方向均匀划分为N个区间,统计每个区间点的数量以及区间内的有向距离之和,其中,每个区间的点数量被定义为向量<n1,n2,...,nN>,每个区间的有向距离之和被定义为向量<d1,d2,...,dN>,其中,ni表示第i个区间的点数值,di表示第i个区间的有向距离之和的数值,形状描述向量被定义为一个N维向量:其中,当ni=0所对应的向量分量为0;最后对该向量做归一化处理获得的最终的形状描述向量是<D1,D2,...,DN>。
优选地,兴趣点提取模块可包括:兴趣值计算模块,基于生成的形状描述向量来计算兴趣值;边界点识别模块,通过判断形状描述向量中零分量的个数,来确定像素点属于边界点或位于边界附近;兴趣点识别模块,根据计算的兴趣值来识别兴趣点。
优选地,兴趣值计算模块可通过使用以下公式中的一个来计算兴趣值:公式一:将兴趣值定义为形状描述向量分量的平均值与方差的乘积:I=μ·σ2,其中,μ表示形状描述向量分量D1,D2,...,DN的平均值,σ2表示其方差;公式二:将兴趣值定义为<Di,Dj>对的最大变化率:
其中,Di,Dj表示形状描述向量的分量;公式三:将兴趣值定义为相邻形状描述向量分量的累积差异:其中,Di,Dj表示形状描述向量的分量。
根据本发明的另一方面,提供了一种3D点云兴趣点检测方法,包括:获取3D点云数据;使用输入的3D点云中的像素点的邻域点至该像素点处切平面的有向距离分布信息,来生成该像素点与邻域点所在表面的形状描述向量;基于生成的形状描述向量来提取兴趣点。
优选地,生成形状描述向量的步骤可包括:构造3D点云中的像素点的局部参考架,所述局部参考架为以像素点为中心的坐标系的X轴、Y轴和Z轴;计算以像素点为中心的外围邻域点至当前像素点所在切平面的有向距离分布图,所述有向距离分布图被表示为包括外围邻域点在切平面上的投影方向与X轴的方向夹角和到切平面的有向距离;对计算的有向距离分布图采用有限维度的向量进行表示以生成形状描述向量。
优选地,每个外围邻域点可都对应一个映射关系f(θ)=d,其中θ为像素点在切平面上的投影方向与X轴的方向夹角,范围为-π~π;d为该像素点到切平面的有向距离。
优选地,可通过将有向距离分布图沿θ轴方向均匀划分为N个区间,统计每个区间点的数量以及区间内的有向距离之和,来生成形状描述向量,其中,每个区间的点数量被定义为向量<n1,n2,...,nN>,每个区间的有向距离之和被定义为向量<d1,d2,...,dN>,其中,ni表示第i个区间的点数值,di表示第i个区间的有向距离之和的数值,形状描述向量被定义为一个N维向量:
其中,当ni=0所对应的向量分量为0;最后对该向量做归一化处理获得的最终的形状描述向量是<D1,D2,...,DN>。
优选地,提取兴趣点的步骤可包括:基于生成的形状描述向量来计算兴趣值;通过判断形状描述向量中零分量的个数,来确定像素点属于边界点或位于边界附近;根据计算的兴趣值来识别兴趣点。
优选地,可通过使用以下公式中的一个来计算兴趣值:公式一:将兴趣值定义为形状描述向量分量的平均值与方差的乘积:I=μ·σ2,其中,μ表示形状描述向量分量D1,D2,...,DN的平均值,σ2表示其方差;公式二:将兴趣值定义为<Di,Dj>对的最大变化率:其中,Di,Dj表示形状描述向量的分量;公式三:将兴趣值定义为相邻形状描述向量分量的累积差异:其中,Di,Dj表示形状描述向量的分量。
根据本发明实施例的3D点云兴趣点检测系统和方法,对三维点的位置信息进行统计分析获得兴趣值,无需计算曲率等高阶微分信息,因而对存在噪声、数据空洞(Missing holes)或点密度变化(Point density variation)的点云数据具有较好的稳定性,同时还减少计算量提升了算法效率。
将在接下来的描述中部分阐述本发明另外的方面和/或优点,还有一部分通过描述将是清楚的,或者可以经过本发明的实施而得知。
附图说明
通过下面结合示例性附图进行的描述,本发明的上述和其他目的和特点将会变得更加清楚,其中:
图1是示出根据本发明实施例的3D点云兴趣点检测系统的结构的框图;
图2是示出形状描述模块的结构的框图;
图3是示出一个内部点的局部参考架和外围邻域点的示例的示意图;
图4是示出图3的内部点的有向距离分布图的示例;
图5是示出图3的内部点的形状描述示意图;
图6是示出一个边界点的局部参考架和外围邻域点的示例的示意图;
图7是示出图6的边界点的有向距离分布图的示例;
图8是示出图6的边界点的形状描述示意图;
图9是示出兴趣点提取模块的结构的框图;
图10是示出边界点识别模块执行的边界点检测结果的示意图;
图11示出根据本发明实施例的3D点云兴趣点检测方法的流程图;
图12是示出生成形状描述向量的过程的流程图;
图13是示出提取兴趣点的过程的流程图;
图14是根据本发明实施例的三维点云兴趣点检测结果的示例;
图15和16是本发明与现有技术的结果对比图。
具体实施方式
现在,详细描述本发明的实施例,其示例在附图中表示,其中,相同的标号始终表示相同的部件。以下通过参考附图描述实施例以解释本发明。
图1是示出根据本发明实施例的3D点云兴趣点检测系统的结构的框图。
如图1所示,3D点云兴趣点检测系统包括:3D点云数据获取模块10、形状描述模块20和兴趣点提取模块30。
具体地讲,3D点云数据获取模块10用于获取3D点云数据。例如,3D点云数据获取模块10可获取各种形式的3D点云数据,例如,3D扫描仪获得的无序点云、由深度相机获得的深度图像、由软件生成的3D网格模型等。
优选地,在获取3D点云数据之后,可以先用一种预处理模块对输入的3D点云数据进行预处理。例如,去除输入数据中的噪点、剔除背景点、数据降采样处理等操作。具体地讲,例如,通过统计分析邻域点集的分布状况可以识别噪声点和稀疏坏点;通过深度阈值或利用现有的点云分割技术可以剔除掉无关的背景点;为了提高算法的整体速度,可以使用三维滤波算法对输入数据进行降采样,后续处理都是在降采样后的点云数据上进行。应该理解,任何能够完成上述功能的其他算法都可以被采用来执行上述预处理操作。
此外,应该理解,以上只是举出预处理操作的几个示例,根据实际情况预处理可包括其他操作。
形状描述模块20用于使用输入点云中的像素点的邻域点至该像素点处切平面的有向距离分布信息,来生成该像素点与邻域点所在表面的形状描述向量,从而反应该平面的局部变化情况。也就是说,形状描述向量直观反映了局部表面的凸凹变化情况,表面变化越大的点兴趣值就越大,是兴趣点的可能性就越大;其次,从形状描述向量也可以很容易判断该点是否属于边界点;最后,形状描述可以直接作为兴趣点的描述算子,用于特征点匹配相关算法中。
下面参照图2对形状描述模块20的结构进行详细描述。
如图2所示,形状描述模块20包括局部参考架(Local reference frame)构造模块201、有向距离分布图计算模块202、形状描述生成模块203。
具体地讲,局部参考架构造模块201用于构造3D点云中的像素点的局部参考架,所述局部参考架为以当前像素点为中心的坐标系的X轴、Y轴和Z轴。
例如,可通过基于论文(3DimPvt2012:A repeatable and efficient canonicalreference for surface matching)中提到的方法来构造局部参考架。具体地讲,首先,该方法使用中心点附近的小邻域内的像素点估算Z轴即法向方向。其次,利用该中心点的外围邻域点确定该中心点所在切平面上的X轴方向:具体地讲,首先计算邻域点距切平面的有向距离,然后将最大有向距离对应的点投影到切平面上,从中心点指向投影点的方向即是X轴方向;在确定了X轴方向之后,就可确定出Y轴方向。该方法能够获得唯一不含糊(Unique andunambiguous)的局部参考架,具有较高的可重复率。应该理解,在本发明实施例中,任何其他能够构造唯一不含糊局部参考架的算法都可以被采用。
图3是示出局部参考架和外围邻域点的示意图。如图3所示,该局部参考架标有X轴、Y轴和Z轴,另外深色的标示点为外围邻域点,外围邻域半径由用户指定,本发明示例性实施例可采用4mr~10mr的外环邻域范围,其中mr代表三维点云分辨率(Mesh resolution),即点云中所有相邻点距的平均。
有向距离分布图计算模块202用于计算以当前像素点为中心的外围邻域点至当前像素点所在切平面的有向距离分布图,所述有向距离分布图被表示为包括外围邻域点在切平面上的投影方向与X轴的方向夹角和到切平面的有向距离。
具体地讲,每个外围邻域点都对应一个映射关系f(θ)=d,其中θ为该点在切平面上的投影方向与X轴的方向夹角,范围为-π~π;d为该点到切平面的有向距离,即该距离有正负之分。
图4是示出图3所示的内部点(该内部点是相对于边界点而言的)的有向距离分布图,其中,横轴代表外围邻域点投影到切平面上后与X轴的夹角,单位为弧度,纵轴代表邻域点到切平面的有向距离,单位为mr。与图3、图4类似,图6和图7为一个边界点的示意图。
形状描述生成模块203用于对有向距离分布图计算模块202计算的有向距离分布图采用有限维度的向量进行表示以生成形状描述向量。
具体地讲,在获得上述距离分布图后,可对该距离分布图进行统计分析,例如,用一个有限维度的向量表示整体变化趋势。具体操作如下:将有向距离分布图沿θ轴方向均匀划分为N个区间,统计每个区间点的数量以及区间内的有向距离之和,如图5所示,这里选择N=18,图5是一个内部点的形状描述示意图。其中,黑色柱图表示每个区间的点数量,白色柱图表示每个区间的有向距离之和。图8是一个边界点的形状描述示意图。
由于局部参考架是唯一不模糊的,因而很容易将这些统计量推广为形状描述向量,具体解释:将黑色柱图和白色柱图的统计量分别定义为向量<n1,n2,...,nN>和向量<d1,d2,...,dN>,其中ni表示黑色柱图中第i个区间的数值,di表示白色柱图中第i个区间的数值。形状描述向量被定义为一个N维向量:即该向量的每个分量表示对应区间的平均有向距离,注意当ni=0所对应的向量分量直接设为0。最后对该向量做归一化处理获得最终的形状描述向量<D1,D2,...,DN>。
兴趣点提取模块40基于生成的形状描述向量来提取兴趣点。图9是示出兴趣点提取模块的结构的框图。
具体的讲,如图9所示,兴趣点提取模块30包括兴趣值计算模块301、边界点识别模块302、兴趣点识别模块303。
应该理解,兴趣值越大,该点属于兴趣点的可能性就越大。根据本发明的示例性实施例,兴趣点位于局部表面变化剧烈并且有明显的形状辨识度,因此兴趣值计算模块301基于生成的形状描述向量(即,N维形状描述向量<D1,D2,...,DN>)来计算兴趣值。可通过以下三种方法来计算兴趣值:
方法一:将兴趣值定义为Di的平均值与方差的乘积:I=μ·σ2
其中,μ表示D1,D2,...,DN的平均值,σ2表示其方差。
方法二:将兴趣值定义为<Di,Dj>对的最大变化率: I = max i , j ( | D i - D j | min ( | i - j | , N - | i - j | ) ) ,
其中,Di,Dj表示生成的形状描述向量的分量。
方法三:将兴趣值定义为相邻Di的累积差异:
其中,Di,Dj表示生成的形状描述向量的分量。
另外,边界点识别模块302通过判断N维形状描述向量中零分量的个数,并将该个数与阈值进行比较,如果该个数大于阈值,则确定该点属于边界点或位于边界附近。根据本发明示例性实施例,所述阈值是0.5N。应该理解,该阈值可由用户设定或者根据具体情况而改变。图10是示出边界点识别模块302执行的边界点检测结果的示意图。
兴趣点识别模块303用于基于计算的兴趣值来识别兴趣点,即选择局部邻域范围内较大兴趣值的点作为兴趣点。例如,兴趣点识别模块303可按照兴趣点稀疏性原则来选择局部邻域范围内较大兴趣值的点作为兴趣点。
具体的讲,兴趣点识别模块303首先可采用平滑算法(如高斯平滑)对兴趣值计算模块301计算得到的兴趣值进行平滑处理,此操作有利于避免因噪声干扰导致的局部计算误差;然后可采用非极大值抑制(Non-maximumsuppression)算法选择局部最大兴趣值点,此操作中邻域半径可以控制兴趣点的距离间隔;最后将这些兴趣值点按位置关系映射到原始点云中最近的点,即为最终兴趣点。
应该理解,边界及其附近点是否成为兴趣候选点,要根据不同的应用需求而定。对于某些内部特征不是很明显的数据,边界及附近点将作为兴趣点候选,此时需要对所有点统一进行兴趣值计算,然后识别、定位兴趣点。可以使用任意现有的方法进行这里的兴趣值计算,识别、定位兴趣点,因此在此不再赘述。
图11是示出根据本发明实施例的3D点云兴趣点检测方法的流程图。
如图11所示,在步骤S1101,获取3D点云数据。这里的3D点云数据包括各种形式的3D点云数据。
优选地,对输入的3D点云数据进行预处理(图中未示出)。例如,去除输入数据中的噪点、剔除背景点、数据降采样处理等操作。
在步骤S1102,使用输入点云中的像素点的邻域点至该像素点处切平面的有向距离分布信息来生成该像素点与邻域点所在表面的形状描述向量。下面将参照图12对步骤S1102的操作进行详细描述。
如图12所示,在步骤S1201,构造3D点云中的像素点的局部参考架,所述局部参考架为以当前像素点为中心的坐标系的X轴、Y轴和Z轴。例如,可通过基于论文(3DimPvt2012:A repeatable and efficient canonical reference forsurface matching)中提到的方法来构造局部参考架。
在步骤S1202,计算以当前像素点为中心的外围邻域点至当前像素点所在切平面的有向距离分布图,所述有向距离分布图被表示为包括外围邻域点在切平面上的投影方向与X轴的方向夹角和到切平面的有向距离。
具体地讲,每个外围邻域点都对应一个映射关系f(θ)=d,其中θ为该点在切平面上的投影方向与X轴的方向夹角,范围为-π~π;d为该点到切平面的有向距离,即该距离有正负之分。
随后,在步骤S1203,针对计算的有向距离分布图采用有限维度的向量进行表示以生成形状描述向量。
接着回到图11,在步骤S1103,基于生成的形状描述向量来提取兴趣点。下面参照图13来描述步骤S1103的详细操作。
如图13所示,在步骤S1301,基于生成的形状描述向量(即,N维形状描述向量<D1,D2,...,DN>)来计算兴趣值。例如,可通过以下三种方法来计算兴趣值:
方法一:将兴趣值定义为Di的平均值与方差的乘积:I=μ·σ2
其中,μ表示D1,D2,...,DN的平均值,σ2表示其方差。
方法二:将兴趣值定义为<Di,Dj>对的最大变化率: I = max i , j ( | D i - D j | min ( | i - j | , N - | i - j | ) ) ,
其中,Di,Dj表示生成的形状描述向量的分量。
方法三:将兴趣值定义为相邻Di的累积差异:
其中,Di,Dj表示生成的形状描述向量的分量。
在步骤S1302,通过判断形状描述向量中零分量的个数,来确定该点属于边界点或位于边界附近。
在步骤S1303,基于计算的兴趣值来识别兴趣点,即选择局部邻域范围内较大兴趣值的点作为兴趣点。例如,可按照兴趣点稀疏性原则来选择局部邻域范围内较大兴趣值的点作为兴趣点。
图14是根据本发明实施例的三维点云兴趣点检测结果的示例。
如上所述,根据本发明实施例的3D点云兴趣点检测系统和方法,从三维点云数据中检测兴趣点,并能对其进行特征描述,同时还可以准确识别边界点。为了验证本发明实施例的有效性,这里选择论文(IJCV2013:PerformanceEvaluation of3D Keypoint Detectors)使用的五种点云数据集进行可重复性测试。评估可重复性方法与论文方法一致,从绝对重复率(Absolute repeatability)和相对重复率(Relative repeatability)两个方面对算法性能进行评估。图14为针对Kinect数据的兴趣点检测可视化结果示例。图15和16是本发明与现有技术的对比结果。实验结果表明,本发明在多种数据上都具有较高的可重复性和很好的稳定性,并且算法运行速度很快,点云数量100k情况下,ISS和LSP用时差不多大概为3000ms,NARF用时约230ms,而本发明算法平均用时150ms。
尽管已经参照本发明实施例具体显示和描述了本发明,但是本领域的技术人员应该理解,在不脱离由权利要求限定的本发明的精神和范围的情况下,可以对其进行形式和细节上的各种改变。

Claims (12)

1.一种3D点云兴趣点检测系统,包括:
3D点云数据获取模块,用于获取3D点云数据;
形状描述模块,用于使用输入的3D点云中的像素点的邻域点至该像素点处切平面的有向距离分布信息,来生成该像素点与邻域点所在表面的形状描述向量;
兴趣点提取模块,基于生成的形状描述向量来提取兴趣点。
2.如权利要求1所述的3D点云兴趣点检测系统,其中,形状描述模块包括:
局部参考架构造模块,用于构造3D点云中的像素点的局部参考架,所述局部参考架为以像素点为中心的坐标系的X轴、Y轴和Z轴;
有向距离分布图计算模块,用于计算以像素点为中心的外围邻域点至像素点所在切平面的有向距离分布图,所述有向距离分布图被表示为包括外围邻域点在切平面上的投影方向与X轴的方向夹角和到切平面的有向距离;
形状描述生成模块,用于对计算的有向距离分布图采用有限维度的向量进行表示以生成形状描述向量。
3.如权利要求2所述的3D点云兴趣点检测系统,其中,每个外围邻域点都对应一个映射关系f(θ)=d,其中θ为像素点在切平面上的投影方向与X轴的方向夹角,范围为-π~π;d为该像素点到切平面的有向距离。
4.如权利要求3所述的3D点云兴趣点检测系统,其中,形状描述生成模块用于将有向距离分布图沿θ轴方向均匀划分为N个区间,统计每个区间点的数量以及区间内的有向距离之和,
其中,每个区间的点数量被定义为向量<n1,n2,...,nN>,每个区间的有向距离之和被定义为向量<d1,d2,...,dN>,其中,ni表示第i个区间的点数值,di表示第i个区间的有向距离之和的数值,形状描述向量被定义为一个N维向量:其中,当ni=0所对应的向量分量为0;
最后对该向量做归一化处理获得的最终的形状描述向量是<D1,D2,...,DN>。
5.如权利要求1所述的3D点云兴趣点检测系统,其中,兴趣点提取模块包括:
兴趣值计算模块,基于生成的形状描述向量来计算兴趣值;
边界点识别模块,通过判断形状描述向量中零分量的个数,来确定像素点属于边界点或位于边界附近;
兴趣点识别模块,根据计算的兴趣值来识别兴趣点。
6.如权利要求5所述的3D点云兴趣点检测系统,其中,兴趣值计算模块通过使用以下公式中的一个来计算兴趣值:
公式一:将兴趣值定义为形状描述向量分量的平均值与方差的乘积:I=μ·σ2
其中,μ表示形状描述向量分量D1,D2,...,DN的平均值,σ2表示其方差;
公式二:将兴趣值定义为<Di,Dj>对的最大变化率: I = max i , j ( | D i - D j | min ( | i - j | , N - | i - j | ) ) ,
其中,Di,Dj表示形状描述向量的分量;
公式三:将兴趣值定义为相邻形状描述向量分量的累积差异: I = &Sigma; i = 1 , j = i + 1 N | D i - D j | ,
其中,Di,Dj表示形状描述向量的分量。
7.一种3D点云兴趣点检测方法,包括:
获取3D点云数据;
使用输入的3D点云中的像素点的邻域点至该像素点处切平面的有向距离分布信息,来生成该像素点与邻域点所在表面的形状描述向量;
基于生成的形状描述向量来提取兴趣点。
8.如权利要求7所述的3D点云兴趣点检测方法,其中,生成形状描述向量的步骤包括:
构造3D点云中的像素点的局部参考架,所述局部参考架为以像素点为中心的坐标系的X轴、Y轴和Z轴;
计算以像素点为中心的外围邻域点至当前像素点所在切平面的有向距离分布图,所述有向距离分布图被表示为包括外围邻域点在切平面上的投影方向与X轴的方向夹角和到切平面的有向距离;
对计算的有向距离分布图采用有限维度的向量进行表示以生成形状描述向量。
9.如权利要求8所述的3D点云兴趣点检测方法,其中,每个外围邻域点都对应一个映射关系f(θ)=d,其中θ为像素点在切平面上的投影方向与X轴的方向夹角,范围为-π~π;d为该像素点到切平面的有向距离。
10.如权利要求9所述的3D点云兴趣点检测方法,其中,通过将有向距离分布图沿θ轴方向均匀划分为N个区间,统计每个区间点的数量以及区间内的有向距离之和,来生成形状描述向量,
其中,每个区间的点数量被定义为向量<n1,n2,...,nN>,每个区间的有向距离之和被定义为向量<d1,d2,...,dN>,其中,ni表示第i个区间的点数值,di表示第i个区间的有向距离之和的数值,形状描述向量被定义为一个N维向量:其中,当ni=0所对应的向量分量为0;
最后对该向量做归一化处理获得的最终的形状描述向量是<D1,D2,...,DN>。
11.如权利要求7所述的3D点云兴趣点检测方法,其中,提取兴趣点的步骤包括:
基于生成的形状描述向量来计算兴趣值;
通过判断形状描述向量中零分量的个数,来确定像素点属于边界点或位于边界附近;
根据计算的兴趣值来识别兴趣点。
12.如权利要求11所述的3D点云兴趣点检测方法,其中,通过使用以下公式中的一个来计算兴趣值:
公式一:将兴趣值定义为形状描述向量分量的平均值与方差的乘积:I=μ·σ2
其中,μ表示形状描述向量分量D1,D2,...,DN的平均值,σ2表示其方差;
公式二:将兴趣值定义为<Di,Dj>对的最大变化率: I = max i , j ( | D i - D j | min ( | i - j | , N - | i - j | ) ) ,
其中,Di,Dj表示形状描述向量的分量;
公式三:将兴趣值定义为相邻形状描述向量分量的累积差异: I = &Sigma; i = 1 , j = i + 1 N | D i - D j | ,
其中,Di,Dj表示形状描述向量的分量。
CN201310541258.8A 2013-11-05 2013-11-05 三维点云兴趣点检测方法和系统 Active CN104616278B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310541258.8A CN104616278B (zh) 2013-11-05 2013-11-05 三维点云兴趣点检测方法和系统
KR1020140012990A KR101822185B1 (ko) 2013-11-05 2014-02-05 3d 포인트 클라우드 poi 검출 방법 및 장치
US14/324,450 US9547901B2 (en) 2013-11-05 2014-07-07 Method and apparatus for detecting point of interest (POI) in three-dimensional (3D) point clouds

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310541258.8A CN104616278B (zh) 2013-11-05 2013-11-05 三维点云兴趣点检测方法和系统

Publications (2)

Publication Number Publication Date
CN104616278A true CN104616278A (zh) 2015-05-13
CN104616278B CN104616278B (zh) 2020-03-17

Family

ID=53150711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310541258.8A Active CN104616278B (zh) 2013-11-05 2013-11-05 三维点云兴趣点检测方法和系统

Country Status (2)

Country Link
KR (1) KR101822185B1 (zh)
CN (1) CN104616278B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844639A (zh) * 2016-03-24 2016-08-10 四川大学 一种基于几何约束的深度图融合与点云过滤方法
CN108010116A (zh) * 2017-11-30 2018-05-08 西南科技大学 点云特征点检测方法和点云特征提取方法
CN110603571A (zh) * 2017-04-26 2019-12-20 Abb瑞士股份有限公司 用于操作机器人的机器人系统和方法
WO2020119509A1 (zh) * 2018-12-13 2020-06-18 华为技术有限公司 点云编解码方法和编解码器
CN111626096A (zh) * 2020-04-08 2020-09-04 南京航空航天大学 一种三维点云数据兴趣点提取方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101640228B1 (ko) * 2016-01-14 2016-07-22 와파시스템 주식회사 배관 도면 생성 시스템, 배관 도면 생성 방법 및 기록 매체
US11555899B2 (en) 2019-02-19 2023-01-17 Infineon Technologies Ag Random hardware fault and degradation protection apparatus for time-of-flight receiver
KR102276369B1 (ko) * 2019-12-27 2021-07-12 중앙대학교 산학협력단 3차원 포인트 클라우드 신뢰도 판단 시스템 및 방법
KR102354359B1 (ko) 2020-02-11 2022-01-21 한국전자통신연구원 포인트 클라우드 이상치 제거 방법 및 이를 구현하는 장치
KR102295084B1 (ko) * 2020-12-17 2021-08-27 주식회사 리안컴퍼니 문화재 디지털 복원을 위한 스캔영상 보정방법 및 문화재 디지털 복원 시스템
KR102583675B1 (ko) * 2021-04-20 2023-09-27 아주대학교산학협력단 이미지 분류 방법 및 시스템
KR102655213B1 (ko) * 2021-07-08 2024-04-05 한국과학기술원 4차원 레이더의 포인트 클라우드 필터링 방법 및 데이터 처리 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120099782A1 (en) * 2010-10-20 2012-04-26 Samsung Electronics Co., Ltd. Image processing apparatus and method
US20120206438A1 (en) * 2011-02-14 2012-08-16 Fatih Porikli Method for Representing Objects with Concentric Ring Signature Descriptors for Detecting 3D Objects in Range Images
CN102945289A (zh) * 2012-11-30 2013-02-27 苏州搜客信息技术有限公司 基于cgci-sift局部特征的图像检索方法
CN103065354A (zh) * 2012-12-24 2013-04-24 中国科学院深圳先进技术研究院 点云优化方法及其装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5468824B2 (ja) 2009-06-22 2014-04-09 株式会社豊田自動織機 3次元における形状の一致を判定する方法および装置
US8872851B2 (en) * 2010-09-24 2014-10-28 Intel Corporation Augmenting image data based on related 3D point cloud data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120099782A1 (en) * 2010-10-20 2012-04-26 Samsung Electronics Co., Ltd. Image processing apparatus and method
US20120206438A1 (en) * 2011-02-14 2012-08-16 Fatih Porikli Method for Representing Objects with Concentric Ring Signature Descriptors for Detecting 3D Objects in Range Images
CN102945289A (zh) * 2012-11-30 2013-02-27 苏州搜客信息技术有限公司 基于cgci-sift局部特征的图像检索方法
CN103065354A (zh) * 2012-12-24 2013-04-24 中国科学院深圳先进技术研究院 点云优化方法及其装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844639A (zh) * 2016-03-24 2016-08-10 四川大学 一种基于几何约束的深度图融合与点云过滤方法
CN105844639B (zh) * 2016-03-24 2019-04-12 四川大学 一种基于几何约束的深度图融合与点云过滤方法
CN110603571A (zh) * 2017-04-26 2019-12-20 Abb瑞士股份有限公司 用于操作机器人的机器人系统和方法
CN110603571B (zh) * 2017-04-26 2023-11-03 Abb瑞士股份有限公司 用于操作机器人的机器人系统和方法
CN108010116A (zh) * 2017-11-30 2018-05-08 西南科技大学 点云特征点检测方法和点云特征提取方法
CN108010116B (zh) * 2017-11-30 2021-02-09 西南科技大学 点云特征点检测方法和点云特征提取方法
WO2020119509A1 (zh) * 2018-12-13 2020-06-18 华为技术有限公司 点云编解码方法和编解码器
CN111327906A (zh) * 2018-12-13 2020-06-23 华为技术有限公司 点云编解码方法和编解码器
CN111327906B (zh) * 2018-12-13 2022-08-09 华为技术有限公司 点云编解码方法和编解码器
CN111626096A (zh) * 2020-04-08 2020-09-04 南京航空航天大学 一种三维点云数据兴趣点提取方法
CN111626096B (zh) * 2020-04-08 2023-08-08 南京航空航天大学 一种三维点云数据兴趣点提取方法

Also Published As

Publication number Publication date
CN104616278B (zh) 2020-03-17
KR20150051854A (ko) 2015-05-13
KR101822185B1 (ko) 2018-01-26

Similar Documents

Publication Publication Date Title
CN104616278A (zh) 三维点云兴趣点检测方法和系统
Bazazian et al. Fast and robust edge extraction in unorganized point clouds
CN109711437A (zh) 一种基于yolo网络模型的变压器部件识别方法
Caelli et al. Machine learning and image interpretation
Prasad et al. Finding axes of symmetry from potential fields
JP2012168941A (ja) 記述子を用いて3dオブジェクトまたはオブジェクトを表す方法
WO2012071688A1 (zh) 基干感知信息的三维模型形狀分析方法
CN103136751A (zh) 一种改进型sift图像特征匹配算法
Tang et al. 3D Object Recognition in Cluttered Scenes With Robust Shape Description and Correspondence Selection.
Zou et al. Surface matching with salient keypoints in geodesic scale space
CN106228539A (zh) 一种三维点云中多种几何基元自动识别方法
CN109816051B (zh) 一种危化品货物特征点匹配方法及系统
CN103489011A (zh) 一种具有拓扑鲁棒性的三维人脸识别方法
Lian et al. Weakly supervised road segmentation in high-resolution remote sensing images using point annotations
Araújo et al. Connectivity-based cylinder detection in unorganized point clouds
Arvanitis et al. Broad-to-narrow registration and identification of 3D objects in partially scanned and cluttered point clouds
Chen et al. A local tangent plane distance-based approach to 3D point cloud segmentation via clustering
Tian et al. License plate detection in an open environment by density-based boundary clustering
Quan et al. Polynomial local shape descriptor on interest points for 3D part-in-whole matching
Ahmad et al. A modified kohonen self-organizing map (KSOM) clustering for four categorical data
Ni et al. Probabilistic spatial database operations
Guo et al. SGLBP: Subgraph‐based local binary patterns for feature extraction on point clouds
Xin et al. Accurate and complete line segment extraction for large-scale point clouds
Ai et al. Geometry preserving active polygon-incorporated sign detection algorithm
Chen et al. Image-based airborne LiDAR point cloud encoding for 3D building model retrieval

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant