CN109255815A - 一种基于零阶球谐函数的物体检测与识别方法 - Google Patents

一种基于零阶球谐函数的物体检测与识别方法 Download PDF

Info

Publication number
CN109255815A
CN109255815A CN201811001906.XA CN201811001906A CN109255815A CN 109255815 A CN109255815 A CN 109255815A CN 201811001906 A CN201811001906 A CN 201811001906A CN 109255815 A CN109255815 A CN 109255815A
Authority
CN
China
Prior art keywords
point cloud
formula
tested
srt
spherical harmonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811001906.XA
Other languages
English (en)
Other versions
CN109255815B (zh
Inventor
汪日伟
赵津东
温显斌
程瑞
刘凤连
李雷辉
李文龙
张静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology
Original Assignee
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology filed Critical Tianjin University of Technology
Priority to CN201811001906.XA priority Critical patent/CN109255815B/zh
Publication of CN109255815A publication Critical patent/CN109255815A/zh
Application granted granted Critical
Publication of CN109255815B publication Critical patent/CN109255815B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于零阶球谐函数的物体检测与识别的方法,其技术特点在于:包括以下步骤:步骤1、将待测点云进行球坐标转化;步骤2、将标准点云和待测点云的球坐标进行转化后,分别计算标准点云和待测点云的SRT结果;步骤3、根据待测点云计算结果遍历标准库中每一个点云存储的SRT值,计算不同物体标准点云和待测点云基于SRT零阶向量的欧氏距离,通过阈值进行判断可得出待测物体的检测识别结果与分类信息,并可根据不同物体点云间的欧氏距离的大小,得出物体间的相似程度。本发明的时间复杂度能够满足实时性的要求,可以实时分析扫描到的点云信息。

Description

一种基于零阶球谐函数的物体检测与识别方法
技术领域
本发明属于三维点云处理技术领域,涉及物体检测与识别方法,尤其是一种基于零阶球谐函数的物体检测与识别的方法。
背景技术
目前,点云技术在逆向工程中有很普遍的应用。在构建大量的几何模型之后,需要对点云模型进行特征描述和分类,并根据点云模型的特征信息进行某类特定的物体的检索。而如何从场景中检索某类特定的物体是目前亟待解决的问题。在过去的几年中,基于物体3D点云识别的一般方法需要先将两模型的三维点云对齐到同一坐标系下(又可称为粗配准),然后通过ICP算法进行精确配准,当点云之间的配准误差小于阈值时认为识别成功。而最近Reuter M提出的光谱特征法由于其具有平移旋转不变特性,在非刚性模型识别算法中的应用非常有效,但光谱特征法的计算结果精度低。近年来,Syed Afaq Ali Shah等人提出了一种基于关键点表面表示法,但其时间复杂度依然不能满足实时性的要求,极大的限制了上述识别算法在实际场景中的应用。
经检索,未发现与本发明相同或相似的已公开的专利文献。
发明内容
本发明的目的在于克服现有技术的不足,提供一种设计合理、计算精度高且能够满足实时性要求基于零阶球谐函数的物体检测与识别的方法。
本发明解决其技术问题是采取以下技术方案实现的:
一种基于零阶球谐函数的物体检测与识别的方法,包括以下步骤:
步骤1、输入待测点云,并将该待测点云进行球坐标转化;
步骤2、将标准点云和待测点云的球坐标进行转化后,分别计算标准点云和待测点云的SRT结果,STR是点云通过零阶球谐函数计算后得到的点云描述向量;
步骤3、根据待测点云的SRT计算结果遍历标准库中每一个点云存储的SRT值,计算标准点云和待测点云基于SRT零阶向量的欧氏距离,通过预设的阈值T进行判断可得出待测物体的检测识别结果与分类信息,并可根据不同物体点云间的欧氏距离d的大小,得出物体间的相似程度,如果d≤T则可认为两模型相互匹配,当待测模型识别成功或点云库遍历结束时停止检索。
而且,所述步骤1的具体方法为:利用待测点云数据描述某一物体,并对待测点云进行平移,将待测点云的质心与坐标原点重合,然后根据如下公式1所示的转换方法定义出一个球函数,在球坐标系下根据拉普拉斯方程的Legendre扩展,完成待测点云的球坐标转化:
将具有N个顶点的三维点云的每一个点通过公式1从笛卡尔坐标系(xi,yi,zi),i∈[1,N]转换为球坐标系其中R为当前点到原点的距离,θ为当前点与Z轴的夹角,为当前点与Y轴的夹角;所述公式1如下所示:
而且,所述步骤2的具体步骤包括:
(1)把N个顶点的代入球谐函数中,利用l阶m次球谐波函数逼近原模型,l为球谐函数的阶数,m为-l<m<l的整数,然后我们可以得到期望值E,即如下所示公式2:
其中,Cj是点云模型的球谐系数,为Cj对应的球谐函数;
(2)将公式2中的期望表达式对Ck求偏导数,k∈[0,1,2,...,(l+1)2-1],获得如下所示公式3:
其中,为Ck对应的球谐函数;
(3)将公式3中的偏导数方程的值设为0,可得驻点方程,即如下所示公式4:
(4)为了简化计算表达,我们可以假设,即如下所示公式5:
那么公式4中的驻点方程可改写为内积形式,即如下所示公式6:
(5)将公式6中的内积方程展开为矩阵方程,即如下所示公式7:
(6)求解公式7的矩阵方程可以求得模型的球谐扩展系数并通过零阶球谐系数C0与零阶球谐函数可拟合出点云向量描述形式,即如下所示公式8:
其中,SRT为最终的点云的描述向量。
本发明的优点和积极效果是:
1、本发明运用零阶球谐函数,由于其具有旋转不变的性质,相对于其他识别方法,可以省略掉点云对齐的计算步骤,从而满足实时性的要求,因此本发明可以应用在汽车自动驾驶中可以在检测识别过程中不进行点云对齐操作,其时间复杂度能够满足实时性的要求,可以实时分析前方所遇到的障碍物。
2、本发明在计算时运用到了球谐函数计算点云的SRT(Spherical RadiusTransform,球半径变换算法的点云描述向量),将点云分解为零阶球谐函数下的分量,其特性决定了对于本身为近似圆形的点云识别结果更加有优势,相对于其他识别方法识别精确度有显著提高,若将本发明应用在人脸识别中,可在保证识别准确性的同时快速的分析出人脸的特征,经过比对后可以给出人脸识别的结果。
附图说明
图1是本发明的处理流程图;
图2是本发明的步骤1的点云坐标-笛卡尔坐标系到球坐标系变换示意图。
具体实施方式
以下结合附图对本发明实施例作进一步详述:
本发明的一种基于零阶球谐函数的物体检测与识别的方法,使用零阶球谐函数及其对应的球谐系数组合成一组描述三维点云的向量,通过引入零阶球谐波函数解决三维点云的识别问题,为了完成这个目的,分为以下几个步骤:首先用三维点云数据来描述某一物体,进而定义出一个球函数,对点云进行平移,将质心与原点重合,在球坐标系下根据拉普拉斯方程的Legendre扩展,完成待测点云的球坐标转化;然后进行零阶球谐函数拟合,分别计算标准点云和待测点云的球谐系数和点云的向量描述(SRT值);最后遍历标准库中每一个点云,计算标准点云和待测点云基于零阶球谐函数的SRT向量间的欧氏距离,若距离值值小于设定的零阶阈值则可认为两模型相互匹配,当待测模型识别成功或点云库遍历结束时停止检索。本发明的核心是将物体的三维点云分解为一组零阶球谐波函数的正交基扩展系数。
一种基于零阶球谐函数的物体检测与识别的方法,如图1所示,包括以下步骤:
步骤1、输入待测点云,并将该待测点云进行球坐标转化;
所述步骤1的具体方法为:利用待测点云数据描述某一物体,并对待测点云进行平移,将待测点云的质心与坐标原点重合,然后根据如公式(1)所示的转换方法定义出一个球函数,在球坐标系下根据拉普拉斯方程的Legendre扩展,完成待测点云的球坐标转化:
如图2所示,将具有N个顶点的三维点云的每一个点通过公式(1)从笛卡尔坐标系(xi,yi,zi),i∈[1,N]转换为球坐标系其中R为当前点到原点的距离,θ为当前点与Z轴的夹角,为当前点与Y轴的夹角;
步骤2、将标准点云和待测点云的球坐标进行转化后,分别计算标准点云和待测点云的SRT结果,STR是点云通过零阶球谐函数计算后得到的点云描述向量;
所述步骤2的具体步骤包括:
(1)把N个顶点的代入球谐函数中,利用l阶m次球谐波函数逼近原模型,l为球谐函数的阶数,m为-l<m<l的整数,然后我们可以得到期望值E:
其中,Cj是点云模型的球谐系数,为Cj对应的球谐函数;
(2)将公式(2)中的期望表达式对Ck求偏导数,k∈[0,1,2,...,(l+1)2-1]
其中,为Ck对应的球谐函数;
(3)将公式(3)中的偏导数方程的值设为0,可得驻点方程:
(4)为了简化计算表达,我们可以假设:
那么公式(4)中的驻点方程可改写为内积形式:
(5)将公式(6)中的内积方程展开为矩阵方程:
(6)求解公式(7)的矩阵方程可以求得模型的球谐扩展系数并通过零阶球谐系数c0与零阶球谐函数可拟合出点云向量描述形式:
其中,SRT为最终的点云的描述向量。
步骤3、根据待测点云的SRT计算结果遍历标准库中每一个点云存储的SRT值,计算标准点云和待测点云基于SRT零阶向量的欧氏距离,通过预设的阈值T进行判断可得出待测物体的检测识别结果与分类信息,并可根据不同物体点云间的欧氏距离d的大小,得出物体间的相似程度,如果d≤T则可认为两模型相互匹配,当待测模型识别成功或点云库遍历结束时停止检索。
本发明还可应用在人脸识别领域,可以利用零阶球谐函数进行识别筛选,在保证识别准确性的同时快速的分析出人脸的特征,经过比对后可以给出人脸识别的结果。
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。

Claims (3)

1.一种基于零阶球谐函数的物体检测与识别的方法,其特征在于:包括以下步骤:
步骤1、输入待测点云,并将该待测点云进行球坐标转化;
步骤2、将标准点云和待测点云的球坐标进行转化后,分别计算标准点云和待测点云的SRT结果,STR是点云通过零阶球谐函数计算后得到的点云描述向量;
步骤3、根据待测点云的SRT计算结果遍历标准库中每一个点云存储的SRT值,计算标准点云和待测点云基于SRT零阶向量的欧氏距离,通过预设的阈值T进行判断可得出待测物体的检测识别结果与分类信息,并可根据不同物体点云间的欧氏距离d的大小,得出物体间的相似程度,如果d≤T则可认为两模型相互匹配,当待测模型识别成功或点云库遍历结束时停止检索。
2.根据权利要求1所述的一种基于零阶球谐函数的物体检测与识别的方法,其特征在于:所述步骤1的具体方法为:利用待测点云数据描述某一物体,并对待测点云进行平移,将待测点云的质心与坐标原点重合,然后根据如下公式1所示的转换方法定义出一个球函数,在球坐标系下根据拉普拉斯方程的Legendre扩展,完成待测点云的球坐标转化:
将具有N个顶点的三维点云的每一个点通过公式1从笛卡尔坐标系(xi,yi,zi),i∈[1,N]转换为球坐标系其中R为当前点到原点的距离,θ为当前点与Z轴的夹角,为当前点与Y轴的夹角;所述公式1如下所示:
3.根据权利要求1所述的一种基于零阶球谐函数的物体检测与识别的方法,其特征在于:所述步骤2的具体步骤包括:
(1)把N个顶点的代入球谐函数中,利用l阶m次球谐波函数逼近原模型,l为球谐函数的阶数,m为-l<m<l的整数,然后我们可以得到期望值E,即如下所示公式2:
其中,Cj是点云模型的球谐系数,为Cj对应的球谐函数;
(2)将公式2中的期望表达式对Ck求偏导数,k∈[0,1,2,...,(l+1)2-1],获得如下所示公式3:
其中,为Ck对应的球谐函数;
(3)将公式3中的偏导数方程的值设为0,可得驻点方程,即如下所示公式4:
(4)为了简化计算表达,我们可以假设,即如下所示公式5:
那么公式4中的驻点方程可改写为内积形式,即如下所示公式6:
(5)将公式6中的内积方程展开为矩阵方程,即如下所示公式7:
(6)求解公式7的矩阵方程可以求得模型的球谐扩展系数并通过零阶球谐系数C0与零阶球谐函数可拟合出点云向量描述形式,即如下所示公式8:
其中,SRT为最终的点云的描述向量。
断可得出待测物体的检测识别结果与分类信息,并可根据不同物体点云间的欧氏距离d的大小,得出物体间的相似程度,如果d≤T则可认为两模型相互匹配,当待测模型识别成功或点云库遍历结束时停止检索。
本发明还可应用在人脸识别领域,可以利用零阶球谐函数进行识别筛选,在保证识别准确性的同时快速的分析出人脸的特征,经过比对后可以给出人脸识别的结果。
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。
CN201811001906.XA 2018-08-30 2018-08-30 一种基于零阶球谐函数的物体检测与识别方法 Expired - Fee Related CN109255815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811001906.XA CN109255815B (zh) 2018-08-30 2018-08-30 一种基于零阶球谐函数的物体检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811001906.XA CN109255815B (zh) 2018-08-30 2018-08-30 一种基于零阶球谐函数的物体检测与识别方法

Publications (2)

Publication Number Publication Date
CN109255815A true CN109255815A (zh) 2019-01-22
CN109255815B CN109255815B (zh) 2019-11-12

Family

ID=65050328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811001906.XA Expired - Fee Related CN109255815B (zh) 2018-08-30 2018-08-30 一种基于零阶球谐函数的物体检测与识别方法

Country Status (1)

Country Link
CN (1) CN109255815B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915533A (zh) * 2020-08-10 2020-11-10 上海金桥信息股份有限公司 一种基于低动态范围的高精图像信息提取方法
CN114359023A (zh) * 2022-01-10 2022-04-15 成都智元汇信息技术股份有限公司 基于复杂度将图片分流调度到中心的方法、设备及系统
CN114612534A (zh) * 2022-03-17 2022-06-10 南京航空航天大学 一种基于球谐特征的多视飞机整机点云配准方法
CN115049813A (zh) * 2022-08-17 2022-09-13 南京航空航天大学 一种基于一阶球谐的粗配准方法、装置及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408445A (zh) * 2014-12-19 2015-03-11 吉林纪元时空动漫游戏科技股份有限公司 实时人体自动检测方法
CN105488535A (zh) * 2015-12-05 2016-04-13 乔付 一种三维点云匹配方法
CN106127851A (zh) * 2016-07-01 2016-11-16 范国宏 一种基于曲面分割的三维点云物体检测的方法
CN106384383A (zh) * 2016-09-08 2017-02-08 哈尔滨工程大学 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法
CN106709943A (zh) * 2017-01-12 2017-05-24 重庆邮电大学 一种基于最优传输的点云配准方法
CN106778790A (zh) * 2017-02-15 2017-05-31 苏州博众精工科技有限公司 一种基于三维点云的目标识别与定位方法及系统
US20170277943A1 (en) * 2016-03-25 2017-09-28 Fuji Xerox Co., Ltd. Hand-raising detection device, non-transitory computer readable medium, and hand-raising detection method
CN107316007A (zh) * 2017-06-07 2017-11-03 浙江捷尚视觉科技股份有限公司 一种基于深度学习的监控图像多类物体检测与识别方法
CN109241901A (zh) * 2018-08-30 2019-01-18 天津理工大学 一种对具有孔洞的三维点云的检测与识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408445A (zh) * 2014-12-19 2015-03-11 吉林纪元时空动漫游戏科技股份有限公司 实时人体自动检测方法
CN105488535A (zh) * 2015-12-05 2016-04-13 乔付 一种三维点云匹配方法
US20170277943A1 (en) * 2016-03-25 2017-09-28 Fuji Xerox Co., Ltd. Hand-raising detection device, non-transitory computer readable medium, and hand-raising detection method
CN106127851A (zh) * 2016-07-01 2016-11-16 范国宏 一种基于曲面分割的三维点云物体检测的方法
CN106384383A (zh) * 2016-09-08 2017-02-08 哈尔滨工程大学 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法
CN106709943A (zh) * 2017-01-12 2017-05-24 重庆邮电大学 一种基于最优传输的点云配准方法
CN106778790A (zh) * 2017-02-15 2017-05-31 苏州博众精工科技有限公司 一种基于三维点云的目标识别与定位方法及系统
CN107316007A (zh) * 2017-06-07 2017-11-03 浙江捷尚视觉科技股份有限公司 一种基于深度学习的监控图像多类物体检测与识别方法
CN109241901A (zh) * 2018-08-30 2019-01-18 天津理工大学 一种对具有孔洞的三维点云的检测与识别方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915533A (zh) * 2020-08-10 2020-11-10 上海金桥信息股份有限公司 一种基于低动态范围的高精图像信息提取方法
CN111915533B (zh) * 2020-08-10 2023-12-01 上海金桥信息股份有限公司 一种基于低动态范围的高精图像信息提取方法
CN114359023A (zh) * 2022-01-10 2022-04-15 成都智元汇信息技术股份有限公司 基于复杂度将图片分流调度到中心的方法、设备及系统
CN114359023B (zh) * 2022-01-10 2022-11-18 成都智元汇信息技术股份有限公司 基于复杂度将图片分流调度到中心的方法、设备及系统
CN114612534A (zh) * 2022-03-17 2022-06-10 南京航空航天大学 一种基于球谐特征的多视飞机整机点云配准方法
CN115049813A (zh) * 2022-08-17 2022-09-13 南京航空航天大学 一种基于一阶球谐的粗配准方法、装置及系统

Also Published As

Publication number Publication date
CN109255815B (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN109255815B (zh) 一种基于零阶球谐函数的物体检测与识别方法
Liu et al. Lpd-net: 3d point cloud learning for large-scale place recognition and environment analysis
CN109241901B (zh) 一种对具有孔洞的三维点云的检测与识别方法
JP2016161569A (ja) オブジェクトの3d姿勢およびオブジェクトのランドマーク点の3dロケーションを求める方法、およびオブジェクトの3d姿勢およびオブジェクトのランドマークの3dロケーションを求めるシステム
CN105740899A (zh) 一种机器视觉图像特征点检测与匹配复合的优化方法
CN107358629B (zh) 一种基于目标识别的室内建图与定位方法
CN108830888B (zh) 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法
Biegelbauer et al. Model-based 3D object detection: efficient approach using superquadrics
CN112200915B (zh) 一种基于靶标三维模型纹理影像的前后形变量检测方法
Yin et al. Overview of robotic grasp detection from 2D to 3D
Tschopp et al. Superquadric object representation for optimization-based semantic SLAM
CN102968400A (zh) 一种基于空间直线识别与匹配的多视角三维数据拼接方法
Yuan et al. 3D point cloud recognition of substation equipment based on plane detection
Han et al. Sq-slam: Monocular semantic slam based on superquadric object representation
Zhou et al. Histograms of Gaussian normal distribution for 3D feature matching in cluttered scenes
Liu et al. Robust 3-d object recognition via view-specific constraint
Wang et al. Absolute depth measurement of objects based on monocular vision
Wan et al. 6DOF object positioning and grasping approach for industrial robots based on boundary point cloud features
Chen et al. A Framework for 3D Object Detection and Pose Estimation in Unstructured Environment Using Single Shot Detector and Refined LineMOD Template Matching
Bülow et al. Spectral registration of volume data for 6-dof spatial transformations plus scale
Asif et al. Model-free segmentation and grasp selection of unknown stacked objects
Hui et al. A novel recognition algorithm in 3D point clouds based for on local spherical harmonics
Hu et al. Visual Odometry Implementation and Accuracy Evaluation Based on Real-time Appearance-based Mapping.
Jia et al. Improved normal iterative closest point algorithm with multi-information
Peng et al. An improved algorithm for detection and pose estimation of texture-less objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191112

Termination date: 20200830