CN104574273A - 点云拼接系统及方法 - Google Patents

点云拼接系统及方法 Download PDF

Info

Publication number
CN104574273A
CN104574273A CN201310476517.3A CN201310476517A CN104574273A CN 104574273 A CN104574273 A CN 104574273A CN 201310476517 A CN201310476517 A CN 201310476517A CN 104574273 A CN104574273 A CN 104574273A
Authority
CN
China
Prior art keywords
angle point
cloud
point
pictures
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310476517.3A
Other languages
English (en)
Inventor
吴新元
张旨光
谢鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Priority to CN201310476517.3A priority Critical patent/CN104574273A/zh
Priority to TW102138354A priority patent/TWI599987B/zh
Priority to US14/513,396 priority patent/US20150104105A1/en
Publication of CN104574273A publication Critical patent/CN104574273A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration by non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Abstract

一种点云拼接方法,该方法包括如下步骤:从主机中获取需要拼接的点云,每个点云所对应的图片及标定参数;初步计算出每张图片的曲率尺度空间角点;根据初步计算的曲率尺度空间角点,通过边缘梯度和插值的方法,得到每张图片的亚像素角点;将每张图片的亚像素角点根据标定参数转换为三维空间坐标,通过欧式空间的不变性原理进行匹配亚像素角点,得到共同的角点;通过共同的角点计算出不同视角的转换矩阵,将所有点云转化到同一视角下,得到一个完整的点云,完成拼接。本发明还提供一种点云拼接系统。利用本发明可以提高了点云拼接的效率,保护了物体表面的完整性。

Description

点云拼接系统及方法
技术领域
本发明涉及一种点云处理技术,尤其涉及一种点云拼接系统及方法。
背景技术
结构光三维扫描仪单次扫描只能得到单面的点云,多次从不同角度扫描一个物体后会得到不同视角的点云。将它们拼接在一起,就可以得到一个该物体完整的点云。现有的点云拼接方法主要是通过粘贴标志点进行匹配,然后用求取不同视角的转换矩阵进行拼接,然而粘贴标志点有很多不方便的地方,如操作麻烦、在物体表面会造成孔洞等,如此一来,降低了点云拼接的效率,且破坏了物体的完整性。
发明内容
鉴于以上内容,有必要提供一种点云拼接系统,其可以不需要粘贴标志点,同样可以进行点云拼接,如此一来,提高了点云拼接的效率,且避免了因为点云拼接而在物体表面造成的空洞,保护了物体表面的完整性。
还有必要提供一种点云拼接方法,其可以不需要粘贴标志点,同样可以进行点云拼接,如此一来,提高了点云拼接的效率,且避免了因为点云拼接而在物体表面造成的空洞,保护了物体表面的完整性。
一种点云拼接系统,该系统运行于主机中,该系统包括:获取模块,用于从主机中获取需要拼接的点云,每个点云所对应的图片及标定参数;计算模块,用于对每张图片进行滤波处理,并通过Canny算子计算出每张图片的边缘,选择曲率局部极大值点作为候选值点,初步计算出每张图片的曲率尺度空间角点;所述计算模块,还用于根据初步计算的曲率尺度空间角点,通过边缘梯度和插值的方法,得到每张图片的亚像素角点;转换模块,用于将每张图片的亚像素角点根据标定参数转换为三维空间坐标,通过欧式空间的不变性原理进行匹配亚像素角点,得到共同的角点;拼接模块,用于通过共同的角点计算出不同视角的转换矩阵,将所有点云转化到同一视角下,得到一个完整的点云,完成拼接。
一种点云拼接方法,该方法运用于主机中,该方法包括如下步骤:从主机中获取需要拼接的点云,每个点云所对应的图片及标定参数;对每张图片进行滤波处理,并通过Canny算子计算出每张图片的边缘,选择曲率局部极大值点作为候选值点,初步计算出每张图片的曲率尺度空间角点;根据初步计算的曲率尺度空间角点,通过边缘梯度和插值的方法,得到每张图片的亚像素角点;将每张图片的亚像素角点根据标定参数转换为三维空间坐标,通过欧式空间的不变性原理进行匹配亚像素角点,得到共同的角点;通过共同的角点计算出不同视角的转换矩阵,将所有点云转化到同一视角下,得到一个完整的点云,完成拼接。
相较于现有技术,所述的点云拼接系统及方法,其可以不需要粘贴标志点,同样可以进行点云拼接,如此一来,提高了点云拼接的效率,且避免了因为点云拼接而在物体表面造成的空洞,保护了物体表面的完整性。
附图说明
图1是本发明点云拼接系统较佳实施例的运行环境示意图。
图2是本发明点云拼接系统较佳实施例的功能模块图。
图3是本发明点云拼接方法较佳实施例的作业流程图。
图4是本发明亚像素角点计算过程的示意图。
主要元件符号说明
主机 1
显示设备 2
输入设备 3
点云拼接系统 10
存储设备 12
处理器 14
获取模块 100
计算模块 102
转换模块 104
拼接模块 106
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
如图1所示,是本发明点云拼接系统较佳实施例的运行环境示意图。该点云拼接系统10运行于一台主机1中,该主机1连接一台显示设备2及输入设备3。该主机1包括存储设备12,至少一个处理器14。所述输入设备3可以为键盘或鼠标。所述主机1为点云扫描机台(例如,结构光三维扫描仪),该点云扫描机台用于通过CCD及光栅尺(图中未示出)在不同角度对物体表面进行拍摄,并通过拍摄的图片计算得到组成物体表面的点云。
在本实施例中,所述点云拼接系统10以软件程序或指令的形式安装在存储设备12中,并由处理器14执行。在其它实施例中,所述存储设备12可以为主机1外接的存储器。所示存储设备12存储有主机1在不同角度对物体进行拍摄的图片及每张图片对应的点云。
如图2所示,是本发明点云拼接系统10较佳实施例的功能模块图。该点云拼接系统10包括获取模块100、计算模块102、转换模块104及拼接模块106。本发明所称的模块是完成一特定功能的计算机程序段,比程序更适合于描述软件在计算机中的执行过程,因此本发明以下对软件描述都以模块描述。
所述获取模块100用于从存储设备12中获取需要拼接的两个或两个以上点云,每个点云所对应的图片及标定参数。所述标定参数包括CCD的焦距、CCD的中心点、CCD旋转矩阵、CCD平移矩阵等。需要说明的是,所获取的需要拼接的点云可能不在同一个坐标系中,因此无法直接拼接成一个整体。
所述计算模块102用于对每张图片进行滤波处理,并通过Canny算子计算出每张图片的边缘(如边缘点),从每张图片的边缘中选择曲率局部极大值点作为候选值点,初步计算出每张图片的曲率尺度空间(Curvaturescale space,CSS)角点。角点检测广泛用于图片识别匹配技术,角点是一种含有足够信息可以从不同角度提取出来的点。
具体而言,通过Canny算子计算出每张图片的边缘,然后对边缘表示成:Γ(u)=[X(u,δ),Y(u,δ)],其中,(X(u,δ)表示高斯滤波后的横坐标,Y(u,δ)表示高斯滤波后的纵坐标。对曲线上的点计算曲率:选择曲率局部极大值点作为候选值点,当候选值点同时满足下面两个条件时,该点为角点:条件一:大于阈值T,条件二:至少大于两侧相邻的点曲率极小值的两倍。
对于Canny算子提取出的曲线进行填补(曲线可能有断裂),形成T型角点,若得出的角点与T型角点相邻,去掉T型角点,如此一来,初步计算出CSS角点。
所述计算模块102还用于根据初步计算的CSS角点,通过边缘梯度和插值的方法,得到每张图片的亚像素角点。
初步提取出来的CSS角点不够精确,要达到亚像素级才能满足测量的要求。初步计算出了CSS角点后,通过三次样条插值函数对灰度边缘图进行内插,用解方程的方法计算使目标边缘定位(即CSS角点)达到亚像素级。如图4所示:假设起始角点q在实际亚像素角点附近,检测所有的q-p向量。若角点p位于一个均匀的区域(p点在区域内部),则角点p处的梯度为0。若q-p向量的方向与边缘的方向一致(p点在区域边缘),则此边缘上角点p处的梯度与q-p向量正交,在这两种情况下,角点p处的梯度与q-p向量的点积为0。在角点p周围找到很多组梯度以及相关的向量q-p,令其点积为0,然后通过求解方程组,方程组的解即为角点q的亚像素角点的位置,也就是精确的亚像素角点位置。
所述转换模块104用于将每张图片的亚像素角点根据标定参数转换为三维空间坐标,通过欧式空间的不变性原理进行匹配亚像素角点,得到共同的角点。所述共同的角点是指该角点属于两张或两张以上的图片。
具体而言,利用欧式空间变换的不变性可以找到共同的角点。欧式变换具有距离,角度,面积的不变性,它们都可以作为匹配约束条件。
以距离为约束条件为例:
首先,对于双目测量(即通过两个CCD进行测量)进行拍照的左右两幅图片可以根据极线矫正和相位匹配角点,然后,通过标定参数将亚像素角点转换为三维坐标。
计算出待拼接的两个点云所对应图片的亚像素角点坐标后,得到两组坐标集,记为P,Q,其中P中有n1个点,Q中有n2个点。当P、Q间的公共点数目等于或者大于3时,可以确定公共点的对应关系,并且可以计算出P,Q间的坐标转换参数,进而完成P,Q间的拼接。
使用距离进行匹配的具体步骤为:
1)计算距离模板库:P,Q都可以用来计算模板库,这里选择点集Q。计算Q中所有点的距离,并记录构成每段距离的两个端点,A到B的距离和B到A的距离认为相同,在模板库中只保留一个。编程实现时,可以设计一个结构Distant,包含三个对象,即distant{S,P1,P2},其中P1,P2是两个端点,s是距离值。计算Q中所有点的距离,形成距离模板库。
2)寻找P中每点可能的对应点:设P中任意一点P1,计算P中另外一点P2到P1的距离s12,在距离模板库中寻找距离等于s12的Distant对象。仅一个距离信息无法确定公共点的对应关系,这时,可以在P中再选一点P3,计算距离s13,如果也能在模板库中找到相同的边,则在Q中的两段距离的公共端点即为与p1对应的公共点。
3)检核:为了避免错误匹配的出现,需要进行检核。计算P中所有的到p1的距离,并在模板库中寻找各段距离的对应对象,多段距离的公共端点为p1的对应点。
此外,还可以加入边边夹角和三角形面积约束条件,让匹配更准确。
所述拼接模块106用于通过共同的角点计算出不同视角的转换矩阵,将所有点云转化到同一视角下,得到一个完整的点云,完成拼接。
匹配完成以后获得了共同的角点的三维坐标,可以根据这些共同的角点计算出空间对应关系,求出坐标系之间的转换矩阵。目前有三角法,最小二乘法,奇异值分解(SVD)法和四元数法计算转换矩阵。
四元数法求解过程如下:
计算共同的角点集P(mi)和Q(m′i)的质心:
u = 1 N Σm i , u ′ = 1 N Σ m ′ i
将共同的角点集做相对质心的平移
pi=mi-ui,p′i=mi-u′i
根据移动后共同的角点计算相关矩阵K
K = 1 N Σ p i ( p ′ i ) T
由矩阵K中元素构造出四维对称矩阵
K a = K 11 + K 22 + K 33 K 32 - K 23 K 13 - K 31 K 21 - K 12 K 32 - K 23 K 11 - K 22 - K 33 K 12 + K 21 K 31 + K 13 K 13 - K 31 K 12 + K 21 - K 11 + K 22 - K 33 K 23 + K 32 K 21 - K 12 K 31 + K 13 K 23 + K 32 - K 11 - K 22 + K 33
计算最大特征值对应的特征向量
q=[q0,q1,q2,q3]T
计算旋转矩阵
R = q 0 2 + q 1 2 - q 2 2 - q 3 2 2 ( q 1 q 2 - q 0 q 3 ) 2 ( q 1 q 3 + q 0 q 2 ) 2 ( q 1 q 2 + q 0 q 3 ) q 0 2 + q 2 2 - q 1 2 - q 3 2 2 ( q 2 q 3 - q 0 q 1 ) 2 ( q 1 q 3 - q 0 q 2 ) 2 ( q 2 q 3 + q 0 q 1 ) q 0 2 + q 3 2 - q 1 2 - q 2 2
计算平移矩阵
T=u'-Ru,
求出转换矩阵(即旋转矩阵和平移矩阵)后就可以把一组点云转换到另一组点云同一坐标系下,这样就可以得到一个完整的拼接后的点云。
如图3所示,是本发明点云拼接方法较佳实施例的作业流程图。
步骤S10,获取模块100从存储设备12中获取需要拼接的点云,每个点云所对应的图片及标定参数。所述标定参数包括CCD的焦距、CCD的中心点、CCD旋转矩阵、CCD平移矩阵等。需要说明的是,所获取的需要拼接的点云可能不在同一个坐标系中,因此无法直接拼接成一个整体。
步骤S20,计算模块102对每张图片进行滤波处理,并通过Canny算子计算出每张图片的边缘(如边缘点),从每张图片的边缘中选择曲率局部极大值点作为候选值点,初步计算出每张图片的曲率尺度空间(Curvaturescale space,CSS)角点。角点检测广泛用于图片识别匹配技术,角点是一种含有足够信息可以从不同角度提取出来的点。
具体而言,通过Canny算子计算出每张图片的边缘,然后对边缘表示成:Γ(u)=[X(u,δ),Y(u,δ)],其中,(X(u,δ)表示高斯滤波后的横坐标,Y(u,δ)表示高斯滤波后的纵坐标。对曲线上的点计算曲率:选择曲率局部极大值点作为候选值点,当候选值点同时满足下面两个条件时,该点为角点:条件一:大于阈值T,条件二:至少大于两侧相邻的点曲率极小值的两倍。
对于Canny算子提取出的曲线进行填补(曲线可能有断裂),形成T型角点,若得出的角点与T型角点相邻,去掉T型角点,如此一来,初步计算出CSS角点。
步骤S30,计算模块102根据初步计算的CSS角点,通过边缘梯度和插值的方法,得到每张图片的亚像素角点。
初步提取出来的CSS角点不够精确,要达到亚像素级才能满足测量的要求。初步计算出了CSS角点后,通过三次样条插值函数对灰度边缘图进行内插,用解方程的方法计算使目标边缘定位(即CSS角点)达到亚像素级。如图4所示:假设起始角点q在实际亚像素角点附近,检测所有的q-p向量。若角点p位于一个均匀的区域(p点在区域内部),则角点p处的梯度为0。若q-p向量的方向与边缘的方向一致(p点在区域边缘),则此边缘上角点p处的梯度与q-p向量正交,在这两种情况下,角点p处的梯度与q-p向量的点积为0。在角点p周围找到很多组梯度以及相关的向量q-p,令其点积为0,然后通过求解方程组,方程组的解即为角点q的亚像素角点的位置,也就是精确的亚像素角点位置。
步骤S40,转换模块104将每张图片的亚像素角点根据标定参数转换为三维空间坐标,通过欧式空间的不变性原理进行匹配亚像素角点,得到共同的角点。所述共同的角点是指该角点属于两张或两张以上的图片。
具体而言,利用欧式空间变换的不变性可以找到共同的角点。欧式变换具有距离,角度,面积的不变性,它们都可以作为匹配约束条件。
以双目测量和距离约束为例:
首先,对于左右两幅图片可以根据极线矫正和相位匹配角点,然后通过标定参数将亚像素角点转换为三维坐标。
计算出待拼接的两个点云所对应图片的亚像素角点坐标后,得到两组坐标集,记为P,Q,其中P中有n1个点,Q中有n2个点。当P、Q间的公共点数目等于或者大于3时,可以确定公共点的对应关系,并且可以计算出P,Q间的坐标转换参数,进而完成P,Q间的拼接。
使用距离进行拼接的具体步骤为:
1)计算距离模板库:P,Q都可以用来计算模板库,这里选择点集Q。计算Q中所有点的距离,并记录构成每段距离的两个端点,A到B的距离和B到A的距离认为相同,在模板库中只保留一个。编程实现时,可以设计一个结构Distant,包含三个对象,即distant{S,P1,P2},其中P1,P2是两个端点,s是距离值。计算Q中所有点的距离,形成距离模板库。
2)寻找P中每点可能的对应点:设P中任意一点P1,计算P中另外一点P2到P1的距离s12,在距离模板库中寻找距离等于s12的Distant对象。仅一个距离信息无法确定公共点的对应关系,这时,可以在P中再选一点P3,计算距离s13,如果也能在模板库中找到相同的边,则在Q中的两段距离的公共端点即为与p1对应的公共点。
3)检核:为了避免错误匹配的出现,需要进行检核。计算P中所有的到p1的距离,并在模板库中寻找各段距离的对应对象,多段距离的公共端点为p1的对应点。
此外,还可以加入边边夹角和三角形面积约束条件,让匹配更准确。
步骤S50,拼接模块106用于通过共同的角点计算出不同视角的转换矩阵,将所有点云转化到同一视角(即同一坐标系)下,得到一个完整的点云,完成拼接。
具体而言,匹配完成以后获得了共同的角点的三维坐标,可以根据这些共同的角点计算出空间对应关系,求出坐标系之间的转换矩阵。目前有三角法,最小二乘法,奇异值分解(SVD)法和四元数法计算转换矩阵。
其中,四元数法求解过程如下:
计算共同的角点集P(mi)和Q(m′i)的质心:
u = 1 N Σm i , u ′ = 1 N Σ m ′ i
将共同的角点集做相对质心的平移
pi=mi-ui,p′i=mi-u′i
根据移动后共同的角点计算相关矩阵K
K = 1 N Σ p i ( p ′ i ) T
由矩阵K中元素构造出四维对称矩阵
K a = K 11 + K 22 + K 33 K 32 - K 23 K 13 - K 31 K 21 - K 12 K 32 - K 23 K 11 - K 22 - K 33 K 12 + K 21 K 31 + K 13 K 13 - K 31 K 12 + K 21 - K 11 + K 22 - K 33 K 23 + K 32 K 21 - K 12 K 31 + K 13 K 23 + K 32 - K 11 - K 22 + K 33
计算最大特征值对应的特征向量
q=[q0,q1,q2,q3]T
计算旋转矩阵
R = q 0 2 + q 1 2 - q 2 2 - q 3 2 2 ( q 1 q 2 - q 0 q 3 ) 2 ( q 1 q 3 + q 0 q 2 ) 2 ( q 1 q 2 + q 0 q 3 ) q 0 2 + q 2 2 - q 1 2 - q 3 2 2 ( q 2 q 3 - q 0 q 1 ) 2 ( q 1 q 3 - q 0 q 2 ) 2 ( q 2 q 3 + q 0 q 1 ) q 0 2 + q 3 2 - q 1 2 - q 2 2
计算平移矩阵
T=u'-Ru,
求出转换矩阵(即旋转矩阵和平移矩阵)后就可以把一组点云转换到另一组点云同一坐标系下,这样就可以得到一个完整的拼接后的点云。

Claims (12)

1.一种点云拼接系统,该系统运行于主机中,其特征在于,该系统包括:
获取模块,用于从主机中获取需要拼接的两个或两个以上的点云,每个点云所对应的图片及标定参数;
计算模块,用于对每张图片进行滤波处理,并计算出每张图片的边缘,从每张图片的边缘中选择曲率局部极大值点作为候选值点,初步计算出每张图片的曲率尺度空间角点;
所述计算模块,还用于根据初步计算出的曲率尺度空间角点,通过边缘梯度和插值的方法,得到每张图片的亚像素角点;
转换模块,用于将每张图片的亚像素角点根据标定参数转换为三维空间坐标,通过欧式空间的不变性原理进行匹配亚像素角点,得到共同的角点;及
拼接模块,用于通过共同的角点计算出不同视角的转换矩阵,将所有点云转化到同一视角下,得到一个完整的点云,完成所述两个或两个以上点云的拼接。
2.如权利要求1所述的点云拼接系统,其特征在于,所述初步计算出每张图片的曲率尺度空间角点的方式如下:
通过Canny算子计算出每张图片的边缘,然后对边缘表示成曲线Γ(u)=[X(u,δ),Y(u,δ)],其中,X(u,δ)表示高斯滤波后的横坐标,Y(u,δ)表示高斯滤波后的纵坐标;
对曲线上的点计算曲率,选择曲率局部极大值点作为候选值点,当候选值点同时满足下面两个条件时,确定该点为角点:条件一,大于阈值T,条件二,至少大于两侧相邻的点曲率极小值的两倍;及
对于Canny算子提取出的曲线进行填补,形成T型角点,若确定得出的角点与T型角点相邻,去掉T型角点,从而初步计算出曲率尺度空间角点。
3.如权利要求1所述的点云拼接系统,其特征在于,所述欧式空间的不变性包括欧式空间的距离、角度或面积的不变性。
4.如权利要求1所述的点云拼接系统,其特征在于,所述标定参数包括CCD的焦距、CCD的中心点、CCD旋转矩阵及CCD平移矩阵。
5.如权利要求1所述的点云拼接系统,其特征在于,所述不同视角的转换矩阵通过三角法,最小二乘法,奇异值分解法或四元数法进行计算。
6.如权利要求1所述的点云拼接系统,其特征在于,所述四元数法进行计算的过程如下:
计算共同的角点集P(mi)和Q(m′i)的质心:
将共同的角点集做相对质心的平移pi=mi-ui,p′i=mi-u′i,根据移动后共同的角点计算相关矩阵K,由矩阵K中元素构造出四维对称矩阵 K a = K 11 + K 22 + K 33 K 32 - K 23 K 13 - K 31 K 21 - K 12 K 32 - K 23 K 11 - K 22 - K 33 K 12 + K 21 K 31 + K 13 K 13 - K 31 K 12 + K 21 - K 11 + K 22 - K 33 K 23 + K 32 K 21 - K 12 K 31 + K 13 K 23 + K 32 - K 11 - K 22 + K 33 , 计算最大特征值对应的特征向量,q=[q0,q1,q2,q3]T,计算旋转矩阵, R = q 0 2 + q 1 2 - q 2 2 - q 3 2 2 ( q 1 q 2 - q 0 q 3 ) 2 ( q 1 q 3 + q 0 q 2 ) 2 ( q 1 q 2 + q 0 q 3 ) q 0 2 + q 2 2 - q 1 2 - q 3 2 2 ( q 2 q 3 - q 0 q 1 ) 2 ( q 1 q 3 - q 0 q 2 ) 2 ( q 2 q 3 + q 0 q 1 ) q 0 2 + q 3 2 - q 1 2 - q 2 2 , 计算平移矩阵,T=u'-Ru,通过旋转矩阵和平移矩阵把一组点云转换到另一组点云的同一坐标系下。
7.一种点云拼接方法,该方法运用于主机中,其特征在于,该方法包括如下步骤:
从主机中获取需要拼接的两个或两个以上的点云,每个点云所对应的图片及标定参数;
对每张图片进行滤波处理,并计算出每张图片的边缘,从每张图片的边缘中选择曲率局部极大值点作为候选值点,初步计算出每张图片的曲率尺度空间角点;
根据初步计算出的曲率尺度空间角点,通过边缘梯度和插值的方法,得到每张图片的亚像素角点;
将每张图片的亚像素角点根据标定参数转换为三维空间坐标,通过欧式空间的不变性原理进行匹配亚像素角点,得到共同的角点;及
通过共同的角点计算出不同视角的转换矩阵,将所有点云转化到同一视角下,得到一个完整的点云,完成所述两个或两个以上点云的拼接。
8.如权利要求7所述的点云拼接方法,其特征在于,所述初步计算出每张图片的曲率尺度空间角点的方式如下:
通过Canny算子计算出每张图片的边缘,然后对边缘表示成曲线Γ(u)=[X(u,δ),Y(u,δ)],其中,X(u,δ)表示高斯滤波后的横坐标,Y(u,δ)表示高斯滤波后的纵坐标;
对曲线上的点计算曲率,选择曲率局部极大值点作为候选值点,当候选值点同时满足下面两个条件时,确定该点为角点:条件一,大于阈值T,条件二,至少大于两侧相邻的点曲率极小值的两倍;及
对于Canny算子提取出的曲线进行填补,形成T型角点,若确定得出的角点与T型角点相邻,去掉T型角点,从而初步计算出曲率尺度空间角点。
9.如权利要求7所述的点云拼接方法,其特征在于,所述欧式空间的不变性包括欧式空间的距离、角度或面积的不变性。
10.如权利要求7所述的点云拼接方法,其特征在于,所述标定参数包括CCD的焦距、CCD的中心点、CCD旋转矩阵及CCD平移矩阵。
11.如权利要求7所述的点云拼接方法,其特征在于,所述不同视角的转换矩阵通过三角法,最小二乘法,奇异值分解法或四元数法进行计算。
12.如权利要求7所述的点云拼接方法,其特征在于,所述四元数法进行计算的过程如下:
计算共同的角点集P(mi)和Q(m′i)的质心:
将共同的角点集做相对质心的平移pi=mi-ui,p′i=mi-u′i,根据移动后共同的角点计算相关矩阵K,由矩阵K中元素构造出四维对称矩阵 K a = K 11 + K 22 + K 33 K 32 - K 23 K 13 - K 31 K 21 - K 12 K 32 - K 23 K 11 - K 22 - K 33 K 12 + K 21 K 31 + K 13 K 13 - K 31 K 12 + K 21 - K 11 + K 22 - K 33 K 23 + K 32 K 21 - K 12 K 31 + K 13 K 23 + K 32 - K 11 - K 22 + K 33 , 计算最大特征值对应的特征向量,q=[q0,q1,q2,q3]T,计算旋转矩阵, R = q 0 2 + q 1 2 - q 2 2 - q 3 2 2 ( q 1 q 2 - q 0 q 3 ) 2 ( q 1 q 3 + q 0 q 2 ) 2 ( q 1 q 2 + q 0 q 3 ) q 0 2 + q 2 2 - q 1 2 - q 3 2 2 ( q 2 q 3 - q 0 q 1 ) 2 ( q 1 q 3 - q 0 q 2 ) 2 ( q 2 q 3 + q 0 q 1 ) q 0 2 + q 3 2 - q 1 2 - q 2 2 , 计算平移矩阵,T=u′-Ru,通过旋转矩阵和平移矩阵把一组点云转换到另一组点云的同一坐标系下。
CN201310476517.3A 2013-10-14 2013-10-14 点云拼接系统及方法 Pending CN104574273A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310476517.3A CN104574273A (zh) 2013-10-14 2013-10-14 点云拼接系统及方法
TW102138354A TWI599987B (zh) 2013-10-14 2013-10-24 點雲拼接系統及方法
US14/513,396 US20150104105A1 (en) 2013-10-14 2014-10-14 Computing device and method for jointing point clouds

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310476517.3A CN104574273A (zh) 2013-10-14 2013-10-14 点云拼接系统及方法

Publications (1)

Publication Number Publication Date
CN104574273A true CN104574273A (zh) 2015-04-29

Family

ID=52809729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310476517.3A Pending CN104574273A (zh) 2013-10-14 2013-10-14 点云拼接系统及方法

Country Status (3)

Country Link
US (1) US20150104105A1 (zh)
CN (1) CN104574273A (zh)
TW (1) TWI599987B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105928472A (zh) * 2016-07-11 2016-09-07 西安交通大学 一种基于主动斑投射器的三维形貌动态测量方法
CN109901202A (zh) * 2019-03-18 2019-06-18 成都希德瑞光科技有限公司 一种基于点云数据的机载系统位置修正方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976312B (zh) * 2016-05-30 2019-03-01 北京建筑大学 基于点特征直方图的点云自动配准方法
CN108510439B (zh) * 2017-02-28 2019-08-16 贝壳找房(北京)科技有限公司 点云数据的拼接方法、装置和终端
CN110335297B (zh) * 2019-06-21 2021-10-08 华中科技大学 一种基于特征提取的点云配准方法
CN111189416B (zh) * 2020-01-13 2022-02-22 四川大学 基于特征相位约束的结构光360°三维面形测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050168460A1 (en) * 2002-04-04 2005-08-04 Anshuman Razdan Three-dimensional digital library system
CN102968400A (zh) * 2012-10-18 2013-03-13 北京航空航天大学 一种基于空间直线识别与匹配的多视角三维数据拼接方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173066B1 (en) * 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US7333644B2 (en) * 2003-03-11 2008-02-19 Siemens Medical Solutions Usa, Inc. Systems and methods for providing automatic 3D lesion segmentation and measurements
US7027557B2 (en) * 2004-05-13 2006-04-11 Jorge Llacer Method for assisted beam selection in radiation therapy planning
KR100810326B1 (ko) * 2006-10-10 2008-03-04 삼성전자주식회사 다해상도 3차원 모델 생성 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050168460A1 (en) * 2002-04-04 2005-08-04 Anshuman Razdan Three-dimensional digital library system
CN102968400A (zh) * 2012-10-18 2013-03-13 北京航空航天大学 一种基于空间直线识别与匹配的多视角三维数据拼接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘伟: "三维点云拼接与融合技术研究", 《万方学位论文全文数据库》 *
苏宇等: "一种基于曲率尺度空间的图像拼接算法", 《计算机工程与应用》 *
顾国庆: "基于亚像素的特征提取关键技术研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105928472A (zh) * 2016-07-11 2016-09-07 西安交通大学 一种基于主动斑投射器的三维形貌动态测量方法
CN109901202A (zh) * 2019-03-18 2019-06-18 成都希德瑞光科技有限公司 一种基于点云数据的机载系统位置修正方法

Also Published As

Publication number Publication date
US20150104105A1 (en) 2015-04-16
TWI599987B (zh) 2017-09-21
TW201523510A (zh) 2015-06-16

Similar Documents

Publication Publication Date Title
CN104574273A (zh) 点云拼接系统及方法
EP2731075B1 (en) Backfilling points in a point cloud
Wu et al. Integrated point and edge matching on poor textural images constrained by self-adaptive triangulations
Golparvar-Fard et al. Evaluation of image-based modeling and laser scanning accuracy for emerging automated performance monitoring techniques
US20190333231A1 (en) Stereo visual odometry method based on image gradient joint optimization
CN103411553B (zh) 多线结构光视觉传感器的快速标定方法
CN111735439B (zh) 地图构建方法、装置和计算机可读存储介质
CN103017653B (zh) 一种球面全景影像与三维激光扫描点云的配准及测量方法
Zhang et al. A 3D reconstruction method for pipeline inspection based on multi-vision
CN104484887B (zh) 摄像机与二维激光测距仪联合使用时的外参数标定方法
CN102589530B (zh) 基于二维相机和三维相机融合的非合作目标位姿测量方法
CN106361345A (zh) 基于摄像头标定的视频图像中人体身高测量的系统及方法
CN104182982A (zh) 双目立体视觉摄像机标定参数的整体优化方法
CN103252778A (zh) 用于估计机器人位置的设备及其方法
CN103822581B (zh) 一种基于压缩感知的不规则物体体积测量方法
CN105389774A (zh) 对齐图像的方法和装置
CN105678757A (zh) 一种物体位移测量方法
CN103292733B (zh) 一种基于相移和三视张量的对应点查找方法
Khoshelham et al. Generation and weighting of 3D point correspondences for improved registration of RGB-D data
CN105091772A (zh) 平面物体二维变形量的测量方法
CN101865656B (zh) 一种使用少数共面点精确定位多摄像头系统位姿的方法
CN104036512A (zh) 一种基于正交消隐点的新型Tsai’s摄像机标定改进方法
KR101117239B1 (ko) 객체 인식시스템 및 이를 이용하는 객체 인식 방법
CN105631872A (zh) 基于多特征点的遥感图像配准方法
JP2016217941A (ja) 3次元データ評価装置、3次元データ測定システム、および3次元計測方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150429

RJ01 Rejection of invention patent application after publication