CN101739717B - 三维彩色点云非接触扫描方法 - Google Patents

三维彩色点云非接触扫描方法 Download PDF

Info

Publication number
CN101739717B
CN101739717B CN2009102285029A CN200910228502A CN101739717B CN 101739717 B CN101739717 B CN 101739717B CN 2009102285029 A CN2009102285029 A CN 2009102285029A CN 200910228502 A CN200910228502 A CN 200910228502A CN 101739717 B CN101739717 B CN 101739717B
Authority
CN
China
Prior art keywords
point clouds
image
colour
dimensional
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009102285029A
Other languages
English (en)
Other versions
CN101739717A (zh
Inventor
马杰
魏兵
杨岳
高阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Vst Technology Co ltd
Original Assignee
Tianjin Huixin Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Huixin Software Co Ltd filed Critical Tianjin Huixin Software Co Ltd
Priority to CN2009102285029A priority Critical patent/CN101739717B/zh
Publication of CN101739717A publication Critical patent/CN101739717A/zh
Application granted granted Critical
Publication of CN101739717B publication Critical patent/CN101739717B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明属于图像三维信息重构的技术领域，涉及一种三维彩色点云非接触扫描方法，利用结构光投影机和两个CCD摄像机采集图像，包括下列步骤：进行被测物体单面图像采集；利用条纹光的相位信息对每幅条纹结构光投射到被测物体表面的彩色图像进行格雷空时编码；根据每对图像像素同名相位位置和两个CCD传感器的相对位置计算出被测物体的空间三维坐标；利用三维空间线性插值法计算被测物体三维坐标点的彩色信息；进行彩色图像纹理特征的提取；根据计算出的三维坐标和其彩色信息，形成单面的彩色点云；形成多面点云形成；并进行不同彩色点云面拼接。本发明的三维彩色点云非接触扫描方法，具有操作简单，精度高的优点。

Description

三维彩色点云非接触扫描方法
技术领域
本发明属于图像三维信息重构的技术领域，涉及一种三维彩色点云非接触扫描方法。
背景技术
目前，非接触彩色三维建模一般采用彩色纹理贴图方法进行，这种方法精度不够，而且操作起来非常复杂，而黑白三维扫描系统物体拼接采用贴标记点的方式进行，这个过程操作复杂，识别算法稳定性不高，属于一种半自动方法。用这种进行方法进行拼接时，物体表面标记点作为参考点，系统可以根据不同角度的这些公共参考点，将其拼合在统一坐标系内，从而获得完整的三维扫描数据。准确识别这些参考点位置是整个系统关键，通常需要人工辅助提高识别精度。如果这一步操作不当，在整个后续拼接过程就会出现三维点云分层现象。
发明内容
本发明的目的是克服现有技术的上述不足，提供一种操作简单，精度高的三维彩色点云非接触扫描方法。
本发明的技术方案如下：
三维彩色点云非接触扫描方法，利用利用结构光投影机和两个CCD摄像机采集图像，包括下列步骤：
1)首先对整个系统进行初始化：进行结构光投影机和CCD摄像机的焦距调节，使其成像尺寸与被测物的实际大小做到匹配；调节完毕后，进行两个CCD摄像机的镜头参数标定处理，计算出两个CCD摄像机的相对位置及镜头的焦距、主点、径向及切向畸变；
2)接着进行被测物体单面图像采集：利用结构光投影机将多幅不同尺度的条纹结构光透射到被测物体表面，利用两个CCD摄像机采集多对带有条纹结构的图像，采集的图像被送入计算机后进行图像预处理；
3)利用条纹光的相位信息对每幅条纹结构光投射到被测物体表面的彩色图像进行格雷空时编码；
4)根据每对图像像素同名相位位置和两个CCD传感器的相对位置计算出被测物体的空间三维坐标；
5)利用三维空间线性插值法计算被测物体三维坐标点的彩色信息；
6)进行彩色图像纹理特征的提取；
7)根据计算出的三维坐标和其彩色信息，形成单面的彩色点云；
8)多面点云形成：将被测物体旋转一个角度，重新进行步骤2-7，形成一个新的彩色点云面；
9)将新生彩色点云面与前次生成面纹理特征进行匹配，计算出两幅面不同特征间的马氏距离，找到最近的距离匹配特征，根据其相对位置计算出两幅点云面相对旋转和平移，进而将两幅彩色点云面归一在同一个坐标下，完成基于纹理特征点的不同彩色点云面拼接；重复上述过程，可以将旋转多次彩色点云面归一化在一个尺度下，从而完成整个被测物体全拼接过程。
本发明的创新点有两处：
1、基于插值色彩的物体三维点云坐标形成：与传统黑白三维扫描系统相比，系统纹理信息更加丰富，以前非接触彩色三维建模都采用彩色纹理贴图方法进行，这种方法精度不够，而且操作起来非常复杂，而本发明的直接生成彩色点云可以弥补这种缺陷；本发明在进行三维数据重构的同时保持物体表面真彩显示，较好的保留了被测物体本色，非常适用于数字文物、古建筑测量等对纹理和色彩要求高的场合。
2、基于彩色纹理的自动拼接方法：传统黑白三维扫描系统物体拼接采用贴标记点的方式进行，这个过程操作复杂，识别算法稳定性不高，属于一种半自动方法；本发明采用了像素的局部色彩纹理特征匹配方法，能够快速找到拼接曲面的同名特征点，通过换算它们之间的相互旋转和平移关系，将其归一化在同一坐标系下，完成拼接转换过程，该法属于自动拼接方法。本发明由于无需在物体表面粘贴任何参考点，就能够完成拼接功能，与其他的参考点法进行拼接的方法相比，大大提高了拼接效率。此外，系统也支持参考点拼接方法，适用于被测物体表面纹理特征不明显的场合。
3、本发明具有灵活的点云处理方法，即支持删除、取消、分块显示等基本操作，又可进行点云噪声处理及修剪。三维点云的处理效率高，运算速度快，适合高精度物体扫描。对三维图像实现任意旋转、缩放、局部缩放等操作。
附图说明
图1：三维彩色点云扫描方法结构框图。
图2 三维彩色点云处理工作流程图。
具体实施方式
本发明采用的三维扫描系统图像采集单元由两个彩色扫描摄像机和一个工业结构光投影机组成，见图1。整个扫描系统采用计算机控制，通过结构光投影机将不同分辨率的8副条纹光投射到被测物体表面，与此同时计算机控制两个CCD图像传感器采集每次投射的彩色图像，形成格雷空时编码，计算机会根据两幅图像像素同名相位(即格雷空时编码相同)位置和两个CCD传感器的相对位置计算出被测物体空间三维坐标。
系统软件处理主要流程如图2所示：首先对左右摄像机拍摄的图像进行预处理，进行纹理分析后将每一个纹理特征点保存下来，然后根据左右摄像机的空间位置解算图像像素的三维空间坐标，形成被测物体空间点云，最后根据点云纹理特征，通过插值方法将其像素颜色还原出来，形成一个彩色点云面；通过旋转被测物体，重复上述过程形成多个相互交叠彩色点云面；最后系统根据点云面的纹理特征匹配程度将这些彩色点云面自动拼接出来，形成被测物体的三维彩色点云。下面详细介绍本发明的工作流程：
(1)首先对整个系统进行初始化：包括进行结构光投影机和CCD摄像机的焦距调节，使其成像尺寸与被测物的实际大小做到匹配；调节完毕后，进行两个CCD摄像机的镜头参数标定处理，系统采用符合国家标准、精度达到0.001mm的标靶进行图像采集，然后采用张正友[2]标定方法计算出CCD的相对位置及镜头的焦距、主点、径向及切向畸变，构造旋转矩阵R和平移矢量T，旋转矩阵R＝[r1，r2，r3；r4，r5，r6；r7，r8，r9]和平移矢量T＝[tx，ty，tz]；其中旋转矩阵R和平移矢量T表示中第二个CCD相对于第一个CCD摄像机坐标系原点的旋转向量和位置平移向量。
(2)接着进行被测物体单面图像采集：将8幅(根据扫描精度要求，确定扫描的幅数)不同尺度的条纹结构光透射到物体表面，CCD图像传感器实时采集到带有条纹结构的图像，经过计算机采集后进行图像预处理；
(3)利用两CCD的相对位置和条纹光的相位信息，计算出图像中每个像素的实际三维坐标，像素的彩色信息采用如下的双线性插值方法得到：
通过结构光投影机将不同分辨率的8副条纹光投射到被测物体表面，两个CCD图像传感器采集每次投射的彩色图像，形成格雷空时编码，计算机会根据两幅图像像素同名相位(即格雷空时编码相同)位置和两个CCD传感器的相对位置计算出被测物体空间三维坐标。
一般双目CCD三坐标测量模型可用下式表示[1]：
x＝zX1/f1
y＝zY1/f1
z＝f1(f2tx-X2tz)/(X2(r7X1+r8Y1+f1r9)-f2(r1X1+r2Y1+f1r3))
 ＝f1(f2ty-Y2tz)/(Y2(r7X1+r8Y1+f1r9)-f2(r4X1+r5Y1+f1r6))
已知焦距f1、f2、旋转矩阵R和平移矢量T。公式里(X1，Y1)，(X2，Y2)分别为两幅图里的同相位像素点。就可以得到被测物体点的三维空间坐标。该方法不仅能方便计算物体表面的三维尺寸，而且保留下物体表面像素的彩色信息，与传统黑白三维扫描相比，更加适合数字文物，古建筑测量等色彩要求高的应用场合。
对于一个待计算像素，它的位置坐标可以表示为(i+u，j+v)(其中i、j均为浮点坐标的整数部分，u、v为浮点坐标的小数部分，是取值[0，1)区间浮点数)，则这个像素的值P(i+u，j+v)可由原图像中坐标为(i，j)、(i+1，j)、(i，j+1)、(i+1，j+1)所对应的周围四个像素值决定，即：
P(i+u，j+v)＝(1-u)(1-v)P(i，j)+(1-u)vP(i，j+1)+u(1-v)P(i+1，j)+uvP(i+1，j+1)，式中P(i，j)表示图像(i，j)处的像素值。
由于是对三维彩色空间中色彩进行插值，因此发明采用的是三维空间线性插值法，它是在三维离散数据张量积网格上进行线性插值的方法。这个张量积网格可能在每一维度上都有任意不重叠的网格像素点，但并不是三角化的有限元分析网格。网格上像素点在局部矩形棱柱上线性地近似可以计算出点被测物体三维坐标点RGB(x，y，z)的色彩值；
(4)在处理同时，进行彩色图像纹理特征的提取，系统利用基于小波纹理特征[3][4]提取方法，将像素对应的局部特征记录下来；
(5)形成单面彩色点云：根据计算出的三维坐标和其彩色像素信息，形成单面的彩色点云。系统采用DirectX编程，可以方便控制三维彩色曲面得旋转、缩放及局部删除等操作；
(6)多面点云形成：将被测物体旋转一个角度，重新进行3-5步的操作，形成一个新的彩色点云面，同样记录下成面上每个像素的色彩纹理信息；将新生彩色点云面与前次生成面纹理特征进行匹配，计算出两幅面不同特征间的马氏距离，找到最近的距离匹配特征，根据其相对位置计算出两幅点云面相对旋转和平移，进而将两幅彩色点云面归一在同一个坐标下，完成基于纹理特征点的不同彩色点云面拼接。重复上述过程，可以将旋转多次彩色点云面归一化在一个尺度下，从而完成整个被测物体全拼接过程。
参考文献：
[1]周富强，邾继贵，杨学友，叶声华等，双目视觉传感器的现场标定技术，仪器仪表学报，2000，21(2)，142-145
[2]Z.Zhang.A flexible new technique for camera calibration.IEEE Transactions on PatternAnalysis and Machine Intelligence，22(11)：1330-1334，2000
[3]Kamarainen JK，Kyrki V，Kalviainen H.Invariance properties of Gabor filter-basedfeatures-Overview and applications.IEEE Trans on Image Processing，2006，15(5)：1088-1099.
[4]Manjunath BS，Ma WY.Texture features for browsing and retrieval of image data.IEEETrans on Pattern Analysis and Machine Intelligence，1996，18(8)：837-842.

Claims (1)

1.三维彩色点云非接触扫描方法，利用利用结构光投影机和两个CCD摄像机采集图像，包括下列步骤：
1)首先对整个系统进行初始化：进行结构光投影机和CCD摄像机的焦距调节，使其成像尺寸与被测物的实际大小做到匹配；调节完毕后，进行两个CCD摄像机的镜头参数标定处理，计算出两个CCD摄像机的相对位置及镜头的焦距、主点、径向及切向畸变；
2)接着进行被测物体单面图像采集：利用结构光投影机将多幅不同尺度的条纹结构光透射到被测物体表面，利用两个CCD摄像机采集多对带有条纹结构的图像，采集的图像被送入计算机后进行图像预处理；
3)利用条纹光的相位信息对每幅条纹结构光投射到被测物体表面的彩色图像进行格雷空时编码；
4)根据每对图像像素同名相位位置和两个CCD传感器的相对位置计算出被测物体的空间三维坐标；
5)利用三维空间线性插值法计算被测物体三维坐标点的彩色信息；
6)进行彩色图像纹理特征的提取；
7)根据计算出的三维坐标和其彩色信息，形成单面的彩色点云；
8)多面点云形成：将被测物体旋转一个角度，重新进行步骤2)至7)，形成一个新的彩色点云面；
9)将新生彩色点云面与前次生成面纹理特征进行匹配，计算出两幅点云面不同特征间的马氏距离，找到最近的距离匹配特征，根据其相对位置计算出两幅点云面相对旋转和平移，进而将两幅彩色点云面归一在同一个坐标下，完成基于纹理特征点的不同彩色点云面拼接；重复上述过程，可以将旋转多次彩色点云面归一化在一个尺度下，从而完成整个被测物体全拼接过程。
CN2009102285029A 2009-11-12 2009-11-12 三维彩色点云非接触扫描方法 Expired - Fee Related CN101739717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009102285029A CN101739717B (zh) 2009-11-12 2009-11-12 三维彩色点云非接触扫描方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009102285029A CN101739717B (zh) 2009-11-12 2009-11-12 三维彩色点云非接触扫描方法

Publications (2)

Publication Number Publication Date
CN101739717A CN101739717A (zh) 2010-06-16
CN101739717B true CN101739717B (zh) 2011-11-16

Family

ID=42463164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102285029A Expired - Fee Related CN101739717B (zh) 2009-11-12 2009-11-12 三维彩色点云非接触扫描方法

Country Status (1)

Country Link
CN (1) CN101739717B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680039A (zh) * 2017-09-22 2018-02-09 武汉中观自动化科技有限公司 一种基于白光扫描仪的点云拼接方法及系统

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT106430B (pt) 2012-07-03 2018-08-07 Cesar Augusto Dos Santos Silva Sistema para medição da distância interpupilar usando um dispositivo equipado com um ecrã e uma câmara
CN104299211B (zh) * 2014-09-25 2020-12-29 苏州笛卡测试技术有限公司 一种自由移动式三维扫描方法
CN106155299B (zh) * 2015-04-23 2019-06-11 青岛海信电器股份有限公司 一种对智能设备进行手势控制的方法及装置
CN106568394A (zh) * 2015-10-09 2017-04-19 西安知象光电科技有限公司 一种手持式三维实时扫描方法
CN106562833A (zh) * 2015-10-11 2017-04-19 东莞市叁的打印技术科技有限公司 一种应用于牙颌模型的颜色信息扫描方法
CN105761243A (zh) * 2016-01-28 2016-07-13 四川川大智胜软件股份有限公司 基于结构光投影的三维全脸照相系统及其照相方法
CN106091976B (zh) * 2016-05-27 2017-07-25 武汉大学 矩形体的自动化检测与三维重构系统及方法
CN108151671B (zh) * 2016-12-05 2019-10-25 先临三维科技股份有限公司 一种三维数字成像传感器、三维扫描系统及其扫描方法
CN106802138B (zh) 2017-02-24 2019-09-24 先临三维科技股份有限公司 一种三维扫描系统及其扫描方法
CN107221025B (zh) * 2017-05-31 2020-01-03 天津大学 一种同步获取物体表面三维彩色点云模型的系统和方法
CN108986024B (zh) * 2017-06-03 2024-01-23 西南大学 一种基于网格的激光点云规则排列处理方法
CN109751969A (zh) * 2017-11-01 2019-05-14 天津微深科技有限公司 一种利用正反格雷码线移光栅的三维非接触扫描方法
CN108053481B (zh) * 2017-12-26 2021-11-30 深圳市易尚展示股份有限公司 三维点云法向量的生成方法、装置和存储介质
CN108648222B (zh) * 2018-04-27 2021-08-17 华中科技大学 结构光深度数据空间分辨率的提升方法及装置
CN109870118B (zh) * 2018-11-07 2020-09-11 南京林业大学 一种面向绿色植物时序模型的点云采集方法
CN111862301B (zh) * 2019-04-12 2021-10-22 北京城市网邻信息技术有限公司 图像处理和对象建模方法与设备、图像处理装置及介质
CN110243307A (zh) * 2019-04-15 2019-09-17 深圳市易尚展示股份有限公司 一种自动化三维彩色成像与测量系统
CN110037808A (zh) * 2019-05-14 2019-07-23 苏州大学 基于结构光扫描的术中肝脏表面信息实时采集方法及系统
CN111493878A (zh) * 2020-03-17 2020-08-07 北京天智航医疗科技股份有限公司 用于骨科手术的光学三维扫描设备及测量骨骼表面的方法
CN111640083B (zh) * 2020-06-09 2022-07-08 中国科学院长春光学精密机械与物理研究所 一种物体表面点云的颜色复原方法及系统
CN113137938B (zh) * 2021-04-13 2023-04-25 思看科技(杭州)股份有限公司 三维扫描系统、方法、计算机设备和存储介质
CN113513987B (zh) * 2021-07-10 2023-04-18 深慧视(深圳)科技有限公司 一种3d点云坐标生成装置
CN113905223B (zh) * 2021-10-11 2023-08-29 西安知微传感技术有限公司 基于单个彩色相机零配准误差彩色3d成像方法及彩色相机

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680039A (zh) * 2017-09-22 2018-02-09 武汉中观自动化科技有限公司 一种基于白光扫描仪的点云拼接方法及系统

Also Published As

Publication number Publication date
CN101739717A (zh) 2010-06-16

Similar Documents

Publication Publication Date Title
CN101739717B (zh) 三维彩色点云非接触扫描方法
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN106709947B (zh) 一种基于rgbd相机的三维人体快速建模系统
Zhang et al. A 3D reconstruction method for pipeline inspection based on multi-vision
CN106839977B (zh) 基于光栅投影双目成像技术的盾构渣土体积实时测量方法
WO2021203883A1 (zh) 三维扫描方法、三维扫描系统和计算机可读存储介质
CN107240129A (zh) 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN104574432B (zh) 一种自动多视角人脸自拍图像的三维人脸重建方法及系统
WO2016175150A1 (ja) テンプレート作成装置及びテンプレート作成方法
KR20200044676A (ko) 활성 깊이 센싱을 위한 방법 및 장치 그리고 이의 교정방법
CN111768452A (zh) 一种基于深度学习的非接触式自动贴图方法
CN111833392B (zh) 标记点多角度扫描方法、系统及装置
CN109751969A (zh) 一种利用正反格雷码线移光栅的三维非接触扫描方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
Jiang OpenCorr: An open source library for research and development of digital image correlation
CN110942506A (zh) 一种物体表面纹理重建方法、终端设备及系统
CN102316355A (zh) 3d机器视觉信号的生成方法及3d机器视觉传感器
CN106155299A (zh) 一种对智能设备进行手势控制的方法及装置
CN104933704A (zh) 一种三维立体扫描方法及系统
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
Yin et al. High dynamic range 3D laser scanning with the single-shot raw image of a color camera
CN117450955B (zh) 基于空间环形特征的薄型物体三维测量方法
CN111739103A (zh) 一种基于单点标定物的多相机标定系统
CN104809757A (zh) 一种通过颜色与形状组合匹配三维点云的设备与方法
CN113920191A (zh) 一种基于深度相机的6d数据集构建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: TIANJIN HI-TECH SUPERCONDUCTING ELECTRONIC TECHNOL

Free format text: FORMER OWNER: TIANJIN HUIXIN SOFTWARE CO., LTD.

Effective date: 20120217

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120217

Address after: 300384 Tianjin Huayuan Industrial Park Wuhua Avenue No. 2 Haitai torch Pioneering Park A block, room 505

Patentee after: Tianjin Hi-tech Superconducting Electronic Technology Co.,Ltd.

Address before: 300384 Tianjin Huayuan Industrial Park Haitai development 6 Road 6 green industrial base building A room 502-67

Patentee before: TIANJIN HUIXIN SOFTWARE Co.,Ltd.

Effective date of registration: 20120217

Address after: 300384 Tianjin Huayuan Industrial Park Wuhua Avenue No. 2 Haitai torch Pioneering Park A block, room 505

Patentee after: Tianjin Hi-tech Superconducting Electronic Technology Co.,Ltd.

Address before: 300384 Tianjin Huayuan Industry Development Area six Haitai development road 6 Qin sea green industrial base building A room 502-67

Patentee before: TIANJIN HUIXIN SOFTWARE Co.,Ltd.

ASS Succession or assignment of patent right

Owner name: TIANJIN VISEN TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: TIANJIN HI-TECH SUPERCONDUCTING ELECTRONIC TECHNOLOGY CO., LTD.

Effective date: 20130307

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130307

Address after: The 300384 Tianjin City Huayuan Industrial Zone Development Road six No. 6 Haitai green industry base building A room 502-67

Patentee after: TIANJIN VST TECHNOLOGY Co.,Ltd.

Address before: 300384 Tianjin Huayuan Industrial Park Wuhua Avenue No. 2 Haitai torch Pioneering Park A block, room 505

Patentee before: Tianjin Hi-tech Superconducting Electronic Technology Co.,Ltd.

DD01 Delivery of document by public notice

Addressee: TIANJIN VST TECHNOLOGY Co.,Ltd.

Document name: Notification of Passing Examination on Formalities

DD01 Delivery of document by public notice

Addressee: Ma Jie

Document name: Notification of Termination of Patent Right

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111116

Termination date: 20131112