CN112097688A - 基于光栅投影三维成像的多光谱三维形貌测量方法及装置 - Google Patents
基于光栅投影三维成像的多光谱三维形貌测量方法及装置 Download PDFInfo
- Publication number
- CN112097688A CN112097688A CN202010912830.7A CN202010912830A CN112097688A CN 112097688 A CN112097688 A CN 112097688A CN 202010912830 A CN202010912830 A CN 202010912830A CN 112097688 A CN112097688 A CN 112097688A
- Authority
- CN
- China
- Prior art keywords
- multispectral
- measured
- coordinate system
- image
- grating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 20
- 238000000691 measurement method Methods 0.000 title claims abstract description 6
- 238000001228 spectrum Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000005259 measurement Methods 0.000 claims abstract description 29
- 230000003595 spectral effect Effects 0.000 claims abstract description 27
- 230000003287 optical effect Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 38
- 230000009466 transformation Effects 0.000 claims description 20
- 238000000295 emission spectrum Methods 0.000 claims description 17
- 230000010363 phase shift Effects 0.000 claims description 17
- 238000012876 topography Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 11
- 239000000463 material Substances 0.000 abstract description 11
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000036541 health Effects 0.000 abstract description 4
- 238000009659 non-destructive testing Methods 0.000 abstract description 3
- 238000007500 overflow downdraw method Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2531—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings, projected with variable angle of incidence on the object, and one detection device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于光栅投影三维成像的多光谱三维形貌测量方法及装置,属于无损检测技术领域。本发明装置主要包括信号处理器、光谱分析仪、多光谱图像采集仪、多光谱投影仪。本发明方法可以在测量表面颜色、材质不均匀的物体时自适应性调节装置所工作的光谱波段,针对所测量物体不同区域光谱发射率不同的情况自动规划待测量光谱集,并通过多光谱图像数据融合的方法提高测量的整体精度,而且测量速度快,测得点云密集,点云泊松重构得到的物体表面三维形貌细节丰富。本发明大幅提高了光学三维形貌测量技术对测量环境的适应性,可以应用于材料的健康检测系统中。
Description
技术领域
本发明涉及一种基于光栅投影三维成像的多光谱三维形貌测量方法及装置,属于无损检测(Nondestructive Testing,NDT)技术领域。
背景技术
材料健康监测技术的概念主要来源于仿生学理论,该项技术主要是采用某一种技术手段针对系统的结构进行监测,通过相关数据的分析诊断系统发生的某种形式的变化,并分析变化是会否影响系统的正常工作,同时针对系统提出相关的建议。较为理想的结构健康监测系统能够在系统的结构件发生变化的初期就能发现问题,并且准确判断出相关问题或者损伤的位置以及问题或者损伤的严重程度,同时针对结构件损伤针对系统安全性的影响进行分析,预测损伤结构件的最长使用周期。
而光学三维形貌检测是材料损伤检测的重要一环,主要用于分析、检测材料表面深度分布、孔隙率、应变分布等信息。但现有三维形貌测量技术存在诸多不足,激光扫描类技术设备复杂且对被测物体有损伤;传统三坐标测量仪属于接触式测量,测量速度慢,适用场景有限;共焦测量技术需要在共焦面上逐层扫描,测量速度慢,机械振动对测量精度的影响大;后来针对以上不足提出的多光谱三维形貌测量技术也存在缺陷,如中国专利CN210603219U公开的检测方法,该方法的缺陷是只考虑了材料表面颜色均匀一致、各位置光谱发射率相同的情形,且需要在测量前标定多光谱灰度差和纵向高度的曲线,使用场景和适用范围严重受限,无法针对待测量物体提出适时的多光谱三维形貌测量方案。因此,开发一种测量精度高、速度快,能自适应性测量表面颜色、材质不均匀的物体的三维形貌测量装置是必要的。
发明内容
本发明的目的是提出一种基于光栅投影三维成像的多光谱三维形貌测量方法及装置,以克服已有技术的不足,在测量表面颜色、材质不均匀的物体时,自适应性调节装置所工作的光谱波段,针对所测量物体不同区域光谱发射率不同的情况自动规划待测量光谱集,并通过多光谱图像数据融合的方法提高测量的整体精度,从而实现实时的高精度三维形貌测量。
本发明提出的基于光栅投影三维成像的多光谱三维形貌测量方法,包括以下步骤:
(1)搭建一个由信号处理器、光谱分析仪、多光谱图像采集仪和多光谱投影仪组成的多光谱三维形貌测量装置,将待测物体置于多光谱投影仪、多光谱图像采集仪和光谱分析仪的重叠视区内,分别对多光谱投影仪、多光谱图像采集仪进行标定,得到多光谱投影仪、多光谱图像采集仪的内部参数、外部参数及畸变系数,组成多光谱图像采集仪的内参矩阵A1、A2、多光谱图像采集仪的外参矩阵A3和待测物体表面上任意点在像素坐标系、图像坐标系、相机坐标系和世界坐标系中的变换关系如下:
其中,Zc为待测物体表面上任意点在相机坐标系下的Z轴坐标,(u,v)表示待测物体表面上任意点在像素坐标系中的坐标,sx'、sy'分别为多光谱图像采集仪的单个像元在图像坐标系中的横轴和纵轴方向的长度,cx”、cy”为多光谱图像采集仪在像素坐标系中的主点坐标,即多光谱图像采集仪中的相机的光轴和像平面交点的像素坐标,f为多光谱图像采集仪中相机的焦距,对于待测物体表面上任意点的三维坐标(X,Y,Z),下标c表示该点在相机坐标系中的坐标,下标w表示该点在世界坐标系中的坐标,下标p表示该点在投影仪坐标系中的坐标,A1为从图像坐标系变换到像素坐标系的坐标转换矩阵,A2为从相机坐标系变换到图像坐标系的坐标转换矩阵,A3为从世界坐标系变换到相机坐标系的坐标转换矩阵,R和T分别为从世界坐标系到相机坐标系的旋转矩阵和平移矩阵,上标T表示矩阵转置,将A1、A2称为多光谱图像采集仪的内部参数矩阵,A3称为相机的外部参数矩阵;
(2)光谱分析仪采集待测物体在自然光下的多个区域的发射光谱曲线,并将采集得到的多个发射光谱曲线发送至信号处理器,信号处理器从接收的多个发射光谱曲线中分别提取各发射光谱的峰值波段,得到由多个峰值波段组成的峰值波段集,将该峰值波段集记为待测量光谱集S,按区域面积大小对待测量光谱集S中的各待测量光谱从大到小进行排序,得到S={s1,s2,s3,…};
(3)按顺序从待测量光谱集S选择一个待测量光谱,将该待测量光谱作为多光谱图像采集仪中滤光装置的光谱透过波段和多光谱投影仪的投影波段,利用四步相移法,多光谱投影仪利用该投影波段向待测物体投影光栅图像,该光栅图像灰度的表达式为:
In(x,y)=m(x,y)+n(x,y)cos[φ(x,y)+δn]
其中,In(x,y)为第n幅光栅图的灰度图像,n=0,1,2,3,m(x,y)为投影时背景光强,n(x,y)为光栅图像的条纹调制强度,φ(x,y)为相位主值,δn为第n幅光栅图像的相移,δn=πn/2;
(4)多光谱图像采集仪中的相机分别拍摄四幅由待测物体的高度对光栅条纹进行调制的光栅投影图像In c(x,y),n=0,1,2,3,根据该四幅光栅投影图像,通过下式计算得到步骤(3)的待测物体表面上任意点的相位主值φ(x,y):
利用多频外差法,对所述的相位主值φ(x,y)进行相位展开,根据经典的光栅投影三维成像模型,有:
其中,θi为步骤(3)中的四部相移法中设定空间频率光栅投影图像的连续相位分布,λi为四部相移法中单位周期光栅在参考平面的长度,投影在同一平面上的不同空间频率的光栅投影图像的连续相位之间存在如下关系:
根据上述关系,得到设定空间频率下的光栅投影图像的连续相位分布:
从而根据经典的光栅投影三维成像模型,得到待测物体表面上任意点在相机坐标系中的三维坐标,并根据步骤(1)得到的内部参数矩阵和外部参数矩阵,计算得到待测物体表面上任意点在世界坐标系中的坐标如下:
将待测物体表面上所有点在世界坐标系中的坐标记为一组点云数据;
(5)按步骤(2)中待测量光谱集S的顺序,遍历待测量光谱集S中峰值波段,重复步骤(3)和步骤(4),得到多组点云数据,将多组点云数据记为多光谱点云数据;
(6)利用迭代最近点算法,将步骤(5)的多光谱点云数据融合,使待测物体表面上同一区域的多光谱点云数据重合;
(7)利用泊松重构方法,对步骤(6)融合后的多光谱点云数据进行三维重构,方法如下:求解如下泊松方程:
其中,Δ为拉普拉斯算符,为散度算符,χ为待测物体的指示函数,为融合后的多光谱点云表面的向量场,求解上述泊松方程,得到指示函数χ,提取指示函数χ的等势面,得到待测物体的表面形貌数据,实现光栅投影式多光谱三维形貌的测量。
本发明提出的基于光栅投影三维成像的多光谱三维形貌测量装置,包括:信号处理器、光谱分析仪、多光谱图像采集仪和多光谱投影仪,其中所述的光谱分析仪与信号处理器通过信号线相互连接,所述的多光谱图像采集仪通过信号线与信号处理器相连,多光谱投影仪通过信号线与信号处理器相连;其中,
所述的信号处理器,用于对光谱分析仪得到的多个区域的光谱发射率数据进行分析处理,得到待测物体多个区域的光谱发射峰值波段,组成待测量光谱集S,为下一步的三维测量提供参数支持;其次是作为控制器,协同控制多光谱图像采集仪和多光谱投影仪,完成三维形貌测量任务;最后是对采集到的光栅投影图像进行后处理,完成多光谱点云数据的融合和待测物体表面的形貌重建;
所述的光谱分析仪,用于采集和分析待测物体表面多个区域的光谱发射率信息,并将此信息传输给信号处理器;
所述的多光谱图像采集仪,包括相机和滤光装置,用于采集四步相移法中的投影光栅图像,其中滤光装置透过的光谱波段分别为待测量光谱集S中的光谱波段,相机拍摄完成后将采集到的投影光栅图像传输给信号处理器;
所述的多光谱投影仪,用于向待测物体投影光栅图像,多光谱投影仪的光源覆盖可见光到近短波红外的光谱范围。
本发明提出的基于光栅投影三维成像的多光谱三维形貌测量方法及装置,其优点是:
本发明的基于光栅投影三维成像的多光谱三维形貌测量方法及装置,利用主动式三维光学成像方法中的光栅投影法进行三维形貌测量,同时对视场内所有被测点进行扫描,测量速度快,测得点云密集,点云泊松重构得到的物体表面三维形貌细节丰富;多光谱数据融合技术使该方法可以自适应性测量表面颜色、材质不均匀的物体,大幅提高了光学三维形貌测量技术对测量环境的适应性。本发明装置与现有多光谱三维测量装置相比,具有测量速度快、精度高,对环境及材料的适应性强等特点。本发明的基于光栅投影三维成像的多光谱三维形貌测量方法及装置,可以应用于材料的健康检测系统中。
附图说明
图1是本发明的基于光栅投影三维成像的多光谱三维形貌测量装置的结构示意图。
图2是本发明的一个实施例中的四步相移法投影光栅示意图。
图3是本发明实施例中单一光谱表面形貌测量结果和多光谱表面形貌测量结果对比。
图1中,1-信号处理器、2-光谱分析仪、3-多光谱图像采集仪、4-多光谱投影仪、5-待测物体,其中多光谱图像采集仪包括CCD相机和滤光装置,多光谱投影仪包括RGB投影仪和红外投影仪。
具体实施方式
本发明提出的基于光栅投影三维成像的多光谱三维形貌测量方法,包括以下步骤:
(1)搭建一个如图1所示的由信号处理器1、光谱分析仪2、多光谱图像采集仪3和多光谱投影仪4组成的多光谱三维形貌测量装置,将待测物体5置于多光谱投影仪、多光谱图像采集仪和光谱分析仪的重叠视区内,分别对多光谱投影仪、多光谱图像采集仪进行标定,得到多光谱投影仪、多光谱图像采集仪的内部参数、外部参数及畸变系数,利用标准色块对光谱分析仪进行校准,组成多光谱图像采集仪的内参矩阵A1、A2、多光谱图像采集仪的外参矩阵A3和待测物体表面上任意点在像素坐标系、图像坐标系、相机坐标系和世界坐标系中的变换关系如下:
其中,Zc为待测物体表面上任意点在相机坐标系下的Z轴坐标,(u,v)表示待测物体表面上任意点在像素坐标系中的坐标,sx'、sy'分别为多光谱图像采集仪的单个像元在图像坐标系中的横轴和纵轴方向的长度,cx”、cy”为多光谱图像采集仪在像素坐标系中的主点坐标,即多光谱图像采集仪中的相机的光轴和像平面交点的像素坐标,f为多光谱图像采集仪中相机的焦距,对于待测物体表面上任意点的三维坐标(X,Y,Z),下标c表示该点在相机坐标系中的坐标,下标w表示该点在世界坐标系中的坐标,下标p表示该点在投影仪坐标系中的坐标,A1为从图像坐标系变换到像素坐标系的坐标转换矩阵,A2为从相机坐标系变换到图像坐标系的坐标转换矩阵,A3为从世界坐标系变换到相机坐标系的坐标转换矩阵,R和T分别为从世界坐标系到相机坐标系的旋转矩阵和平移矩阵,上标T表示矩阵转置,将A1、A2称为多光谱图像采集仪的内部参数矩阵,A3称为相机的外部参数矩阵;
(2)光谱分析仪采集待测物体在自然光下的多个区域的发射光谱曲线,并将采集得到的多个发射光谱曲线发送至信号处理器,信号处理器从接收的多个发射光谱曲线中分别提取各发射光谱的峰值波段,一般取为发射光谱峰值正负5nm的光谱波段,得到由多个峰值波段组成的峰值波段集,将该峰值波段集记为待测量光谱集S,按区域面积大小对待测量光谱集S中的各待测量光谱从大到小进行排序,得到S={s1,s2,s3,…};
(3)按顺序从待测量光谱集S选择一个待测量光谱,将该待测量光谱作为多光谱图像采集仪中滤光装置的光谱透过波段和多光谱投影仪的投影波段,利用四步相移法,多光谱投影仪利用该投影波段向待测物体投影光栅图像,该光栅图像灰度的表达式为:
In(x,y)=m(x,y)+n(x,y)cos[φ(x,y)+δn]
其中,In(x,y)为第n幅光栅图的灰度图像,n=0,1,2,3,m(x,y)为投影时背景光强,n(x,y)为光栅图像的条纹调制强度,φ(x,y)为相位主值,δn为第n幅光栅图像的相移,δn=πn/2;
(4)多光谱图像采集仪中的相机分别拍摄四幅由待测物体的高度对光栅条纹进行调制的光栅投影图像In c(x,y),n=0,1,2,3,根据该四幅光栅投影图像,通过下式计算得到步骤(3)的待测物体表面上任意点的相位主值φ(x,y):
利用多频外差法,对所述的相位主值φ(x,y)进行相位展开,根据经典的光栅投影三维成像模型,有:
其中,θi为步骤(3)中的四部相移法中设定空间频率光栅投影图像的连续相位分布,λi为四部相移法中单位周期光栅在参考平面的长度,投影在同一平面上的不同空间频率的光栅投影图像的连续相位之间存在如下关系:
根据上述关系,得到设定空间频率下的光栅投影图像的连续相位分布:
从而根据经典的光栅投影三维成像模型,得到待测物体表面上任意点在相机坐标系中的三维坐标,并根据步骤(1)得到的内部参数矩阵和外部参数矩阵,计算得到待测物体表面上任意点在世界坐标系中的坐标如下:
将待测物体表面上所有点在世界坐标系中的坐标记为一组点云数据;
(5)按步骤(2)中待测量光谱集S的顺序,遍历待测量光谱集S中峰值波段,重复步骤(3)和步骤(4),得到多组点云数据,将多组点云数据记为多光谱点云数据;
(6)利用迭代最近点(Iterative Closest Point,ICP)算法,将步骤(5)的多光谱点云数据融合,使待测物体表面上同一区域的多光谱点云数据重合;例如,对于点云P={p1,p2,…,pn}和Q={q1,q2,…,qn},利用仿射变换从P坐标系到Q坐标系的转换过程为:
qi=R0pi+T0
为了求解参数R0和T0,其所要求解的最小化目标函数为:
(7)利用泊松重构方法,对步骤(6)融合后的多光谱点云数据进行三维重构,方法如下:为了得到待测物体的指示函数,求解如下泊松方程:
其中,Δ为拉普拉斯算符,为散度算符,χ为待测物体的指示函数,为融合后的多光谱点云表面的向量场,求解上述泊松方程,得到指示函数χ,提取指示函数χ的等势面,得到待测物体的表面形貌数据,实现光栅投影式多光谱三维形貌的测量。
本发明提出的基于光栅投影三维成像的多光谱三维形貌测量装置,其结构如图1所示,包括:信号处理器1、光谱分析仪2、多光谱图像采集仪3和多光谱投影仪4,其中所述的光谱分析仪2与信号处理器1通过信号线相互连接,所述的多光谱图像采集仪3通过信号线与信号处理器1相连,多光谱投影仪4通过信号线与信号处理器1相连;其中,
所述的信号处理器1,用于对光谱分析仪2得到的多个区域的光谱发射率数据进行分析处理,得到待测物体5多个区域的光谱发射峰值波段,组成待测量光谱集S,为下一步的三维测量提供参数支持;其次是作为控制器,协同控制多光谱图像采集仪和多光谱投影仪,完成三维形貌测量任务;最后是对采集到的光栅投影图像进行后处理,完成多光谱点云数据的融合和待测物体表面的形貌重建;
所述的光谱分析仪2,用于采集和分析待测物体表面多个区域的光谱发射率信息,并将此信息传输给信号处理器;
所述的多光谱图像采集仪3,包括相机和滤光装置,用于采集四步相移法中的投影光栅图像,其中滤光装置透过的光谱波段分别为待测量光谱集S中的光谱波段,相机拍摄完成后将采集到的投影光栅图像传输给信号处理器;
所述的多光谱投影仪4,用于向待测物体投影光栅图像,多光谱投影仪的光源覆盖可见光到近短波红外(380nm-1100nm)的光谱范围。
以下结合附图介绍本发明的实施例:
步骤1,将待测物体置于测量装置平台上,测量装置如附图1所示,将待测物体置于光谱分析仪2的测量范围中,利用标准色块对光谱分析仪进行校准。
步骤2,对多光谱图像采集仪中的相机进行标定,得到内部参数矩阵、外部参数矩阵及畸变系数,为后续数据处理做准备,对多光谱投影仪进行对焦,使多光谱投影仪在待测物体表面的投影清晰。
步骤3,利用光谱分析仪采集待测物体在自然光下的多个区域的发射光谱曲线,并将得到的多个发射光谱曲线发送至信号处理器,信号处理器从接收的多个发射光谱曲线中分别提取各发射光谱曲线的峰值波段,得到峰值波段集,记为待测量光谱集S。
步骤4,按顺序从待测量光谱集S选择一个待测量光谱,将该待测量光谱作为多光谱图像采集仪中的滤光装置的光谱透过波段和多光谱投影仪的投影波段,利用四步相移法,多光谱投影仪向待测物体投影一组光栅图像,该光栅图像投影在平面上的效果如附图2所示,利用多光谱图像采集仪采集受待测物体高度调制的投影光栅图像,重复以上操作,直到遍历待测量光谱集S,并将采集到的图像传输给信号处理器。
步骤5,通过信号处理器,利用迭代最近点(ICP)算法,融合多光谱点云数据,利用泊松重建算法,恢复待测物体表面形貌。最终物体表面多光谱三维形貌恢复结果和单光谱三维形貌恢复结果如附图3所示。
本发明实施例中,使用的信号处理器,由惠普公司生产,产品型号为暗影精灵5、使用的光谱分析仪,由Instrument Systems公司生产,产品型号为CAS 140CT、使用的多光谱图像采集仪,包括相机和滤光装置,其中相机由度申科技有限公司生产,产品型号为M3S501M-H,滤光装置由SIGMA KOKI公司生产,产品型号为SHPF-25C、使用的多光谱投影仪,包括RGB投影仪与红外投影仪,其中RGB投影仪由德州仪器公司生产,产品型号为DLPLightCrafter 4500,红外投影仪由巨维达光电技术有限公司生产,型号为PDC03-B-850。
本发明未尽事宜为公知技术。
上述实施例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰,都应涵盖在本发明的保护范围之内。
Claims (2)
1.一种基于光栅投影三维成像的多光谱三维形貌测量方法及装置,其特征在于,该方法包括以下步骤:
(1)搭建一个由信号处理器、光谱分析仪、多光谱图像采集仪和多光谱投影仪组成的多光谱结构光测量系统,将待测物体置于多光谱投影仪、多光谱图像采集仪和光谱分析仪的重叠视区内,分别对多光谱投影仪、多光谱图像采集仪进行标定,得到多光谱投影仪、多光谱图像采集仪的内部参数、外部参数及畸变系数,组成多光谱图像采集仪的内参矩阵A1、A2、多光谱图像采集仪的外参矩阵A3和待测物体表面上任意点在像素坐标系、图像坐标系、相机坐标系和世界坐标系中的变换关系如下:
其中,Zc为待测物体表面上任意点在相机坐标系下的Z轴坐标,(u,v)表示待测物体表面上任意点在像素坐标系中的坐标,sx'、sy'分别为多光谱图像采集仪的单个像元在图像坐标系中的横轴和纵轴方向的长度,cx”、cy”为多光谱图像采集仪在像素坐标系中的主点坐标,即多光谱图像采集仪中的相机的光轴和像平面交点的像素坐标,f为多光谱图像采集仪中相机的焦距,对于待测物体表面上任意点的三维坐标(X,Y,Z),下标c表示该点在相机坐标系中的坐标,下标w表示该点在世界坐标系中的坐标,下标p表示该点在投影仪坐标系中的坐标,A1为从图像坐标系变换到像素坐标系的坐标转换矩阵,A2为从相机坐标系变换到图像坐标系的坐标转换矩阵,A3为从世界坐标系变换到相机坐标系的坐标转换矩阵,R和T分别为从世界坐标系到相机坐标系的旋转矩阵和平移矩阵,上标T表示矩阵转置,将A1、A2称为多光谱图像采集仪的内部参数矩阵,A3称为相机的外部参数矩阵;
(2)光谱分析仪采集待测物体在自然光下的多个区域的发射光谱曲线,并将采集得到的多个发射光谱曲线发送至信号处理器,信号处理器从接收的多个发射光谱曲线中分别提取各发射光谱的峰值波段,得到由多个峰值波段组成的峰值波段集,将该峰值波段集记为待测量光谱集S,按区域面积大小对待测量光谱集S中的各待测量光谱从大到小进行排序,得到S={s1,s2,s3,…};
(3)按顺序从待测量光谱集S选择一个待测量光谱,将该待测量光谱作为多光谱图像采集仪中滤光装置的光谱透过波段和多光谱投影仪的投影波段,利用四步相移法,多光谱投影仪利用该投影波段向待测物体投影光栅图像,该光栅图像灰度的表达式为:
In(x,y)=m(x,y)+n(x,y)cos[φ(x,y)+δn]
其中,In(x,y)为第n幅光栅图的灰度图像,n=0,1,2,3,m(x,y)为投影时背景光强,n(x,y)为光栅图像的条纹调制强度,φ(x,y)为相位主值,δn为第n幅光栅图像的相移,δn=πn/2;
(4)多光谱图像采集仪中的相机分别拍摄四幅由待测物体的高度对光栅条纹进行调制的光栅投影图像In c(x,y),n=0,1,2,3,根据该四幅光栅投影图像,通过下式计算得到步骤(3)的待测物体表面上任意点的相位主值φ(x,y):
利用多频外差法,对所述的相位主值φ(x,y)进行相位展开,根据经典的光栅投影三维成像模型,有:
其中,θi为步骤(3)中的四部相移法中设定空间频率光栅投影图像的连续相位分布,λi为四部相移法中单位周期光栅在参考平面的长度,投影在同一平面上的不同空间频率的光栅投影图像的连续相位之间存在如下关系:
根据上述关系,得到设定空间频率下的光栅投影图像的连续相位分布:
从而根据经典的光栅投影三维成像模型,得到待测物体表面上任意点在相机坐标系中的三维坐标,并根据步骤(1)得到的内部参数矩阵和外部参数矩阵,计算得到待测物体表面上任意点在世界坐标系中的坐标如下:
将待测物体表面上所有点在世界坐标系中的坐标记为一组点云数据;
(5)按步骤(2)中待测量光谱集S的顺序,遍历待测量光谱集S中峰值波段,重复步骤(3)和步骤(4),得到多组点云数据,将多组点云数据记为多光谱点云数据;
(6)利用迭代最近点算法,将步骤(5)的多光谱点云数据融合,使待测物体表面上同一区域的多光谱点云数据重合;
(7)利用泊松重构方法,对步骤(6)融合后的多光谱点云数据进行三维重构,方法如下:求解如下泊松方程:
2.一种光栅投影式多光谱三维形貌测量装置,其特征在于,该装置包括:信号处理器、光谱分析仪、多光谱图像采集仪和多光谱投影仪,其中所述的光谱分析仪与信号处理器通过信号线相互连接,所述的多光谱图像采集仪通过信号线与信号处理器相连,多光谱投影仪通过信号线与信号处理器相连;其中,
所述的信号处理器,用于对光谱分析仪得到的多个区域的光谱发射率数据进行分析处理,得到待测物体多个区域的光谱发射峰值波段,组成待测量光谱集S,为下一步的三维测量提供参数支持;其次是作为控制器,协同控制多光谱图像采集仪和多光谱投影仪,完成三维形貌测量任务;最后是对采集到的光栅投影图像进行后处理,完成多光谱点云数据的融合和待测物体表面的形貌重建;
所述的光谱分析仪,用于采集和分析待测物体表面多个区域的光谱发射率信息,并将此信息传输给信号处理器;
所述的多光谱图像采集仪,包括相机和滤光装置,用于采集四步相移法中的投影光栅图像,其中滤光装置透过的光谱波段分别为待测量光谱集S中的光谱波段,相机拍摄完成后将采集到的投影光栅图像传输给信号处理器;
所述的多光谱投影仪,用于向待测物体投影光栅图像,多光谱投影仪的光源覆盖可见光到近短波红外的光谱范围。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010912830.7A CN112097688B (zh) | 2020-09-03 | 2020-09-03 | 基于光栅投影三维成像的多光谱三维形貌测量方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010912830.7A CN112097688B (zh) | 2020-09-03 | 2020-09-03 | 基于光栅投影三维成像的多光谱三维形貌测量方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112097688A true CN112097688A (zh) | 2020-12-18 |
CN112097688B CN112097688B (zh) | 2021-07-06 |
Family
ID=73757547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010912830.7A Active CN112097688B (zh) | 2020-09-03 | 2020-09-03 | 基于光栅投影三维成像的多光谱三维形貌测量方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112097688B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113008164A (zh) * | 2021-03-23 | 2021-06-22 | 南京理工大学 | 快速高精度三维面形重构方法 |
CN113916156A (zh) * | 2021-12-13 | 2022-01-11 | 英特维科技(深圳)有限公司 | 一种高速高精度三维检测系统及方法 |
CN114485483A (zh) * | 2022-04-15 | 2022-05-13 | 中国空气动力研究与发展中心低速空气动力研究所 | 一种基于多相机组合成像的冰形在线测量方法及装置 |
CN115588127A (zh) * | 2022-10-18 | 2023-01-10 | 武汉际上导航科技有限公司 | 一种机载激光点云与多光谱影像融合的方法 |
CN117347312A (zh) * | 2023-12-06 | 2024-01-05 | 华东交通大学 | 基于多光谱结构光的柑橘连续检测方法和设备 |
CN118505573A (zh) * | 2024-07-18 | 2024-08-16 | 奥谱天成(湖南)信息科技有限公司 | 光谱数据恢复方法、装置及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2199718C1 (ru) * | 2001-12-11 | 2003-02-27 | А4 Визион С.А. | Устройство для бесконтактного контроля и распознавания поверхностей трехмерных объектов |
CN101627280A (zh) * | 2006-11-21 | 2010-01-13 | 曼蒂斯影像有限公司 | 三维几何建模和三维视频内容创建 |
US20140028800A1 (en) * | 2012-07-30 | 2014-01-30 | Canon Kabushiki Kaisha | Multispectral Binary Coded Projection |
US20160091299A1 (en) * | 2014-08-29 | 2016-03-31 | Robert Smythe | Interferometric non-contact optical probe and measurement |
CN106989675A (zh) * | 2017-05-03 | 2017-07-28 | 交通运输部公路科学研究所 | 基于目标表面特征参数的多光谱成像系统 |
CN107076549A (zh) * | 2015-05-29 | 2017-08-18 | 新日铁住金株式会社 | 金属体的形状检查装置和金属体的形状检查方法 |
CN107576280A (zh) * | 2017-09-05 | 2018-01-12 | 河北工业大学 | 基于并行四颜色通道的条纹投影三维形貌测量方法及装置 |
US20180253856A1 (en) * | 2017-03-01 | 2018-09-06 | Microsoft Technology Licensing, Llc | Multi-Spectrum Illumination-and-Sensor Module for Head Tracking, Gesture Recognition and Spatial Mapping |
CN108775875A (zh) * | 2018-08-31 | 2018-11-09 | 苏州大学 | 一种基于色散光谱编码的微结构形貌测量方法及其装置 |
CN109115128A (zh) * | 2018-10-29 | 2019-01-01 | 清华大学 | 一种基于面结构光的焊道三维形貌检测方法 |
CN109916336A (zh) * | 2019-02-03 | 2019-06-21 | 武汉斌果科技有限公司 | 基于光谱调制与多光谱成像的高动态范围三维测量方法 |
CN110763154A (zh) * | 2019-11-25 | 2020-02-07 | 宁波五维检测科技有限公司 | 大视场微观3d形貌多通道测量装置及方法 |
CN111009007A (zh) * | 2019-11-20 | 2020-04-14 | 华南理工大学 | 一种指部多特征全面三维重建方法 |
-
2020
- 2020-09-03 CN CN202010912830.7A patent/CN112097688B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2199718C1 (ru) * | 2001-12-11 | 2003-02-27 | А4 Визион С.А. | Устройство для бесконтактного контроля и распознавания поверхностей трехмерных объектов |
CN101627280A (zh) * | 2006-11-21 | 2010-01-13 | 曼蒂斯影像有限公司 | 三维几何建模和三维视频内容创建 |
US20140028800A1 (en) * | 2012-07-30 | 2014-01-30 | Canon Kabushiki Kaisha | Multispectral Binary Coded Projection |
US20160091299A1 (en) * | 2014-08-29 | 2016-03-31 | Robert Smythe | Interferometric non-contact optical probe and measurement |
CN107076549A (zh) * | 2015-05-29 | 2017-08-18 | 新日铁住金株式会社 | 金属体的形状检查装置和金属体的形状检查方法 |
US20180253856A1 (en) * | 2017-03-01 | 2018-09-06 | Microsoft Technology Licensing, Llc | Multi-Spectrum Illumination-and-Sensor Module for Head Tracking, Gesture Recognition and Spatial Mapping |
CN106989675A (zh) * | 2017-05-03 | 2017-07-28 | 交通运输部公路科学研究所 | 基于目标表面特征参数的多光谱成像系统 |
CN107576280A (zh) * | 2017-09-05 | 2018-01-12 | 河北工业大学 | 基于并行四颜色通道的条纹投影三维形貌测量方法及装置 |
CN108775875A (zh) * | 2018-08-31 | 2018-11-09 | 苏州大学 | 一种基于色散光谱编码的微结构形貌测量方法及其装置 |
CN109115128A (zh) * | 2018-10-29 | 2019-01-01 | 清华大学 | 一种基于面结构光的焊道三维形貌检测方法 |
CN109916336A (zh) * | 2019-02-03 | 2019-06-21 | 武汉斌果科技有限公司 | 基于光谱调制与多光谱成像的高动态范围三维测量方法 |
CN111009007A (zh) * | 2019-11-20 | 2020-04-14 | 华南理工大学 | 一种指部多特征全面三维重建方法 |
CN110763154A (zh) * | 2019-11-25 | 2020-02-07 | 宁波五维检测科技有限公司 | 大视场微观3d形貌多通道测量装置及方法 |
Non-Patent Citations (6)
Title |
---|
A M WALLACE: "Multi-spectral laser detection and ranging for range profiling and surface characterization", 《JOURNAL OF OPTICS A: PURE AND APPLIED OPTICS》 * |
ZHANG NY: "A study on multi-spectral projection moire measurement", 《CONFERENCE ON HOLOGRAPHY, DIFFRACTIVE OPTICS AND APPLICATIONS II》 * |
ZHANG, HUI: "Feature-Level Change Detection Using Deep Representation and Feature Change Analysis for Multispectral Imagery", 《IEEE GEOSCIENCE AND REMOTE SENSING》 * |
王悦扬: "基于多光谱成像的人脸活体检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
赵首博: "一种可调谐多光谱成像系统", 《2015年无人机系统与任务载荷技术及应用研讨会摘要集中国光学工程学会会议论文集》 * |
邓吉: "多光谱离焦三维投影测量技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113008164A (zh) * | 2021-03-23 | 2021-06-22 | 南京理工大学 | 快速高精度三维面形重构方法 |
CN113916156A (zh) * | 2021-12-13 | 2022-01-11 | 英特维科技(深圳)有限公司 | 一种高速高精度三维检测系统及方法 |
CN114485483A (zh) * | 2022-04-15 | 2022-05-13 | 中国空气动力研究与发展中心低速空气动力研究所 | 一种基于多相机组合成像的冰形在线测量方法及装置 |
CN115588127A (zh) * | 2022-10-18 | 2023-01-10 | 武汉际上导航科技有限公司 | 一种机载激光点云与多光谱影像融合的方法 |
CN115588127B (zh) * | 2022-10-18 | 2024-05-10 | 武汉际上导航科技有限公司 | 机载激光点云与多光谱影像融合的方法 |
CN117347312A (zh) * | 2023-12-06 | 2024-01-05 | 华东交通大学 | 基于多光谱结构光的柑橘连续检测方法和设备 |
CN117347312B (zh) * | 2023-12-06 | 2024-04-26 | 华东交通大学 | 基于多光谱结构光的柑橘连续检测方法和设备 |
CN118505573A (zh) * | 2024-07-18 | 2024-08-16 | 奥谱天成(湖南)信息科技有限公司 | 光谱数据恢复方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112097688B (zh) | 2021-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112097688B (zh) | 基于光栅投影三维成像的多光谱三维形貌测量方法及装置 | |
CN109242828B (zh) | 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法 | |
CN106839977B (zh) | 基于光栅投影双目成像技术的盾构渣土体积实时测量方法 | |
KR101948852B1 (ko) | 비접촉식 균열 평가를 위한 이종영상 스캐닝 방법 및 장치 | |
CN111351450B (zh) | 基于深度学习的单帧条纹图像三维测量方法 | |
US4525858A (en) | Method and apparatus for reconstruction of three-dimensional surfaces from interference fringes | |
US6909514B2 (en) | Wheel profile inspection apparatus and method | |
CN104359459B (zh) | 采用三维激光扫描反射率信息生成隧道内壁影像的方法 | |
CN104266587B (zh) | 一种三维测量系统及获得真实3d纹理点云数据方法 | |
KR20190142626A (ko) | Uav 탑재용 하이브리드 이미지 스캐닝에 기반한 자동화 구조물 균열 평가 시스템 및 그 방법 | |
CN111353997B (zh) | 一种基于条纹投影的实时三维面型缺陷检测方法 | |
CN109974625B (zh) | 一种基于色相优化灰度的彩色物体结构光三维测量方法 | |
TWI489101B (zh) | 結合三維及二維形貌之量測方法及裝置 | |
CN111189416B (zh) | 基于特征相位约束的结构光360°三维面形测量方法 | |
KR102256583B1 (ko) | 3d 포인트 클라우드를 이용한 2d 영상에서의 피사체 위치 계측 시스템 | |
CN108259865A (zh) | 一种基于单像素探测器的彩色成像方法和系统 | |
US20200219273A1 (en) | Surface roughness measurement | |
CN114485477B (zh) | 一种结冰三维外形在线测量方法及测量装置 | |
CN117346694B (zh) | 复合面型样品的检测方法、检测系统 | |
CN101221041A (zh) | 三维数字化测量中的一种颜色渲染方法 | |
CN105841620A (zh) | 基于投影云纹方法的离面位移测量系统及方法 | |
CN112414304B (zh) | 基于激光光栅投射的焊后焊缝表面三维测量方法 | |
Yingchun et al. | An on-line phase measuring profilometry based on modulation | |
KR101514366B1 (ko) | 감시 카메라 시스템의 영상합성 장치 및 그 방법 | |
Moeller | Monitoring powerline corridors with stereo satellite imagery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |