CN115200510A - 一种获取物体表面深度信息的装置和方法 - Google Patents
一种获取物体表面深度信息的装置和方法 Download PDFInfo
- Publication number
- CN115200510A CN115200510A CN202110382987.8A CN202110382987A CN115200510A CN 115200510 A CN115200510 A CN 115200510A CN 202110382987 A CN202110382987 A CN 202110382987A CN 115200510 A CN115200510 A CN 115200510A
- Authority
- CN
- China
- Prior art keywords
- image
- stripe
- interference
- light
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000001427 coherent effect Effects 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 239000004065 semiconductor Substances 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 16
- 238000005516 engineering process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000002366 time-of-flight method Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2441—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
Abstract
本发明公开了一种获取物体表面深度信息的装置和方法。该方法包括:将相干光投射的被测物体表面,并根据被测物体表面的反射光和参考光得到第一条纹图像;基于第一条纹图像计算得到条纹宽度更大的第二条纹图像;以及根据第二条纹图像得到表征被测物体表面深度信息的三维点云数据。与传统的激光扫描法和飞行时间法相比,在保证测量精度的前提下成本更低,可广泛使用于三维面部识别和手势识别等领域。
Description
技术领域
本发明涉及三维识别技术领域,更具体地,涉及一种获取物体表面深度信息的装置和方法。
背景技术
随着计算机、信息处理、光电子技术的快速发展,三维轮廓测量技术得到了广泛的应用。尤其是在工业制造、产品检验、医学影像、影视特效、面部识别以及文物保护等领域,三维扫描技术具有广阔的应用前景和研究意义。随着光电传感技术、图像探测与识别技术以及信息处理技术的不断发展和完善,光学三维轮廓测量技术得到了广泛的应用。光学三维轮廓测量技术由于具备不触碰被测物体、测量精度较高、实时响应度高等优势,被广泛认为是最具前景的三维轮廓测量技术。
现有的光学三维轮廓测量技术主要分为激光扫描法、飞行时间法以及光栅投影法等几类。
激光扫描法是通过控制激光器旋转或者待测物体旋转的方式,用线激光扫描整个待测物体,待测物体表面的条纹走向图像会随着物体的高度改变而发生变化,由相机获取相应的图像,再经过相机的标定与还原技术,便可以得到物体的三维表面数据。激光扫描法虽然具有后期图像处理简单和测量精度高等优势。但是激光扫描系统的造价昂贵,而且激光或者物体移动过程中会引进机械误差,整个物体扫描过程中还需要进行标定操作,导致其测量速度较慢。
飞行时间法是由激光器发出两束激光脉冲,其中一束激光脉冲在发射位置通过反射直接被光电传感器接收,此时计时器开始计时,另一束激光脉冲经过被测物体的表面反射后进入光电传感器,此时计时器关闭。通过计时器所计时间与介质下光速即可以确定被测物体轮廓高度与激光发射器之间的距离。飞行时间法的不足之处是需要高响应频率和高分辨率的电子设备,测量系统的成本较高。且该方法基于点扫描的方式,测量速度较慢。
基于光学三角法的光栅投影法的三维轮廓测量系统的难点在于解决解调相位函数和解决系统稳定性。并且由于光栅投影法产生的条纹间距比较大,并未包含被测物体表面轮廓细节,所以当物体表面存在突变时解调的结果无法准确反映物体的高度。
发明内容
鉴于上述问题,本发明的目的在于提供一种获取物体表面深度信息的装置和方法,与传统的激光扫描法和飞行时间法相比,在保证测量精度的前提下成本更低,可广泛使用于三维面部识别和手势识别等领域。
根据本发明实施例的一方面,提供了一种获取物体表面深度信息的装置,包括光源发射系统、图像传感器以及图像处理系统,所述光源发射系统分别用于在第一模式下将相干光投射到被测物体表面和所述图像传感器,以及在第二模式下将相干光投射到所述被测物体表面,所述图像传感器用于在所述第一模式下采集所述被测物体表面的有干涉图像,并在所述第二模式下采集所述被测物体表面的无干涉图像,所述图像处理系统基于所述有干涉图像和所述无干涉图像之间的差异获得第一条纹图像,并基于所述第一条纹图像计算获得第二条纹图像,所述第二条纹图像与所述第一条纹图像的条纹宽度不一致,以便于所述图像处理系统基于所述第二条纹图像得到表征所述被测物体表面深度信息的三维点云数据。
可选的,所述图像处理系统包括:图像提取模块,用于基于所述有干涉图像和无干涉图像得到所述第一条纹图像;条纹计算模块,用于基于所述第一条纹图像计算得到所述第二条纹图像;以及深度信息计算模块,用于基于所述第二条纹图像得到所述三维点云数据。
可选的,所述第二条纹图像的条纹宽度大于所述第一条纹图像的条纹宽度。
可选的,所述图像提取模块通过在所述有干涉图像中滤除所述无干涉图像以得到所述第一条纹图像。
可选的,所述条纹计算模块用于获取所述第一条纹图像中干涉条纹的光强信息,并将所述光强信息与沿干涉条纹相变方向变化的预设正弦波相乘以得到新的干涉条纹,从而得到所述第二条纹图像。
可选的,所述深度信息计算模块根据标定两点求距离的方法建立所述第二条纹图像与世界坐标系的比例关系,通过条纹图像的空间还原操作以得到所述三维点云数据。
可选的,所述深度信息计算模块根据所述第一条纹图像和所述第二条纹图像基于双目视差法计算得到所述三维点云数据。
可选的,所述光源发射系统包括:光源,用于发射所述相干光;以及光学模组,用于接收所述相干光并进行变换,在所述第一模式下将变换后的光投射到被测物体表面和所述图像传感器,以及在第二模式下将变换后的光投射到所述被测物体表面。
可选的,所述光学模组包括:与所述相干光入射方向垂直放置的扩束镜和散束镜;以及与所述相干光入射方向呈一定角度放置的平行平板,其中,所述平行平板在所述第一模式下工作于半透半反射模式,以及在所述第二模式下工作于全反射模式。
可选的,所述平行平板包括电致光吸收膜和电极,通过控制施加于所述平行平板上的电压的通断实现对所述相干光的选择性通过。
可选的,所述光源包括:半导体激光器,用于发射相干激光;以及调制器,用于对所述相干激光进行高频调制,并将调制后的相干激光发射到所述光学模组。
可选的,所述图像处理系统还包括:光源控制模块,所述光源控制模块用于在第三模式下关闭光源,以便于所述图像传感器在自然光环境下采集所述被测物体表面的二维图像;以及三维重建模块,用于将所述三维点云数据与所述二维图像关联,以得到所述被测物体的三维模型。
可选的,所述三维重建模块用于基于所述三维点云数据构建所述被测物体的表面轮廓,以及采用所述二维图像对所述表面轮廓进行贴图处理,得到所述被测物体的三维模型。
根据本发明实施例的另一方面,提供了一种获取物体表面深度信息的方法,包括:将相干光投射到被测物体表面和图像传感器,并在所述图像传感器上获得有干涉图像;将相干光投射到所述被测物体表面,在所述图像传感器上获得无干涉图像;根据所述有干涉图像和所述无干涉图像之间的差异得到第一条纹图像;基于所述第一条纹图像计算得到第二条纹图像,所述第二条纹图像与所述第一条纹图像的条纹宽度不一致;以及基于所述第二条纹图像得到表征所述被测物体表面深度信息的三维点云数据。
可选的,所述根据所述有干涉图像和所述无干涉图像之间的差异得到第一条纹图像包括:通过在所述有干涉图像中滤除所述无干涉图像以得到所述第一条纹图像。
可选的,所述第二条纹图像的条纹宽度大于所述第一条纹图像的条纹宽度。
可选的,所述基于所述第一条纹图像计算得到第二条纹图像包括:获取所述第一条纹图像中干涉条纹的光强信息,并将所述光强信息与沿干涉条纹相变方向变化的预设正弦波相乘以得到新的干涉条纹,从而得到所述第二条纹图像。
可选的,所述基于所述第二条纹图像得到表征所述被测物体表面深度信息的三维点云数据包括:根据标定两点求距离的方法建立所述第二条纹图像与世界坐标系的比例关系,通过条纹图像的空间还原操作以得到所述三维点云数据。
可选的,所述基于所述第二条纹图像得到表征所述被测物体表面深度信息的三维点云数据包括:根据所述第一条纹图像和所述第二条纹图像基于双目视差法计算得到所述三维点云数据。
可选的,所述方法还包括:基于所述三维点云数据构建所述被测物体的表面轮廓;在自然光环境下采集所述被测物体表面的二维图像;以及采用所述二维图像对所述表面轮廓进行贴图处理,得到所述被测物体的三维模型。
本发明的获取物体表面深度信息的装置和方法采用相干光对被测物体进行照射,得到第一条纹图像,然后根据第一条纹图像通过模拟计算得到条纹宽度更大的第二条纹图像,并根据第二条纹图像得到表征被测物体表面深度信息的三维点云数据,与传统的双目相机测量法相比,不仅具有测量范围大、测量精度高的特点,而且仅需要一个图像传感器,大大降低了系统成本和实用性。
此外,本发明的获取物体表面深度信息的装置不需要阵列激光器和传感器,并且对处理电路的高速性能的要求也不高,与传统的激光扫描法和飞行时间法相比,在保证测量精度的前提下成本更低,可广泛使用于三维面部识别和手势识别等领域。
进一步的,本发明的获取物体表面深度信息的装置通过在带干涉条纹信息的有干涉图像中剥离不带干涉条纹信息的无干涉图像,继而得到第一条纹图像,从而可以减小激光光束不均匀的影响和在有干涉图像中剥离激光散斑,有利于提高系统测量的精度和可靠性。
附图说明
通过以下参照附图对本发明实施例的描述,本发明的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示出根据本发明第一实施例的一种获取物体表面深度信息的装置的结构示意图;
图2示出图1中的一种获取物体表面深度信息的装置的图像处理系统的结构示意图;
图3示出根据本发明第二实施例的一种获取物体表面深度信息的方法的流程示意图。
具体实施方式
以下将参照附图更详细地描述本发明的各种实施例。在各个附图中,相同的元件采用相同或类似的附图标记来表示。为了清楚起见,附图中的各个部分没有按比例绘制。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
图1示出根据本发明第一实施例的一种获取物体表面深度信息的装置的结构示意图。如图1所示,该获取物体表面深度信息的装置100包括光源110、光学模组120、图像传感器130以及图像处理系统140。
光源110和光学模组120构成本装置的发射相干光的光源发射系统。进一步的,光源110选自半导体激光器,用于发射相干激光,具有体积小、寿命长的优点。光学模组120接收光源110发射的相干光并进行转换,将转换后的光束投射至待测物体101表面和图像传感器130。图像传感器130例如为CCD相机或CMOS相机,用于进行实时拍摄,以获得待测物体101表面的图像。图像处理系统140用于对图像传感器获得的图像进行处理,得到表征被测物体101表面深度信息的三维点云数据。
在另一种实施例中,光源发射系统还包括调制器,该调制器用于对半导体激光器发出的相干激光进行高频调制,并将调制后的相干激光发射到所述光学模组120。
本发明的装置100获取待测物体101表面深度信息的原理是将光源110发出的相干光分束之后,部分相干光束入射到待测物体101表面,另一部分相干光作为参考光入射到图像传感器130,经由待测物体101表面反射的第一反射光与参考光在图像传感器130处形成因待测物体表面高度变化而发生形变的带有干涉条纹信息的有干涉图像,然后根据有干涉图像得到第一条纹图像,并根据第一条纹图像得到表征待测物体101表面深度信息的三维点云数据。
其中,根据有干涉图像得到第一条纹图像的步骤是为了减小光束不均匀的影响和在有干涉图像中剥离激光散斑。进一步的,根据有干涉图像得到第一条纹图像的步骤包括:在得到有干涉图像之后,将光源110发出的相干光全部入射到待测物体101表面,然后图像传感器130获得经由待测物体101表面反射的第二反射光,拍摄不带干涉条纹信息的无干涉图像,之后在有干涉图像中滤除无干涉图像以提取干涉条纹,从而得到滤除环境光干扰的第一条纹图像。
在一种实施例中,可以通过控制光学模组120对相干光的变换过程,使得其在第一模式下将变换后的光投射到被测物体101表面和所述图像传感器130,以及在第二模式下将变换后的光投射到所述被测物体101表面。
进一步的,光学模组120可以包括扩束镜121、散束镜122、平行平板123、平行平板124以及散束镜125。扩束镜121和散束镜122与所述相干光的入射方向垂直放置,用于改变相干激光的光束直径和发散角。平行平板123与相干光的入射方向呈第一角度放置,平行平板124与相干光的入射方向呈第二角度放置。平行平板123用于接收散束镜122转换换后的光束并进行变换,并在第一模式下处于半透半反射模式,将散束镜122变换后的部分光束投射到待测物体101表面,将另一部分光束投射到平行平板124,经平行平板124反射之后从而投射到图像传感器130。平行平板123还用于在第二模式下处于全反射模式,将散束镜122变换后的光束全部投射到待测物体101表面。例如,平行平板123包括电致光吸收膜和电极,通过控制施加于平行平板123上的电压的通断实现对相干光的选择性通过。
进一步的,本发明的图像处理系统140根据第一条纹图像得到表征待测物体101的表面深度信息的三维点云数据的原理为:基于所述第一条纹图像计算得到条纹宽度大于第一条纹图像的条纹宽度的第二条纹图像,然后基于第二条纹图像得到该三维点云数据。
以不同入射角对像平面照射的相干光在像平面上形成一个等相位传播方向的相干平面波,这个相干平面波与物像平面波的方向矢量相加之后形成干涉条纹的相变方向,所以激光光线经由待测物体表面高低起伏后,图像传感器130获取的条纹图像中干涉条纹的光强信息是具有固定周期的正弦波。由于对特定张角范围内的物像和特定张角内照射光的光程是固定的,干涉条纹的变化主要由待测物体表面深度的变化导致的条纹位置的变化。假设Di表示某一个位置的物像深度变化,P表示相干管和成像光束中相干部分两者中较小的一个可有效检测的光强信息,N表示相干部分之外的其他光强信息(例如非聚焦的杂散方向的光强信息和非相干部分的成像光强信息)、X表示某个起点开始计量的干涉条纹相变方向的线距离,α、ω、λ和c分别表示相干光的入射角、频率、波长和光速,则可以得到干涉条纹的光强信息I为:
其中,X上的条纹距离表现为干涉条纹的波长d与物像深度变化Di的关系:
Di=λ=d×sinα
由于本实施例中投射到待测物体表面上的相干光是等间距多条并列的曲线阵列,条纹比较细密,故直接在第一条纹图像上获得待测物体的深度信息的计算量十分巨大。因此通过模拟相干光入射角的方式,产生条纹宽度更大的干涉条纹,首先获得第一条纹图像中干涉条纹的光强信息I,然后用正弦函数对该光强信息进行调制,例如将获得的光强信息I与沿干涉条纹相变方向变化的预设正弦波相乘得到新的干涉条纹,从而得到条纹宽度大于第一条纹图像的条纹宽度的第二条纹图像,假设沿X变化方向与光强信息I相乘的正弦波波长为(d+δ),则新的干涉条纹的条纹宽度增加至正弦波波长的(1+d/δ)倍,然后通过识别这些放大后的条纹获得待测物体的深度信息。
进一步的,本实施例的图像处理系统140根据标定两点求距离的方法建立所述第二条纹图像与世界坐标系的比例关系,通过条纹图像的空间还原操作以得到所述三维点云数据。
在另一种实施例中,当第二条纹图像中不能提取到有效的深度信息时,也可以根据第一条纹图像和第二条纹图像基于双目视差法来计算得到所述三维点云数据。同样的,假设沿X变化方向与光强信息I相乘的正弦波波长为(d+δ),则新的干涉条纹的入射角与第一条纹图像的入射角相比变化了(δ/d)弧度,所以可以通过双目视差法来计算不同视角时物像深度导致图像视高的变化,继而获得带有待测物体表面深度信息的三维点云数据。
双目视觉测量是根据相似三角形测量的理论,采用双目相机采集同一目标物体的两幅图像,通过搜索左右两幅图像中匹配的像素,计算匹配像素坐标的差,获得第三维距离的方法。它通过计算两图像中匹配像素的位置差,并将这个差值设置在图像的灰度范围内,构成两幅图像匹配像素的位置差的图像,称作视差图像。获取视差图像之后,根据双目相机相似三角原理,计算视差图像的每个像素点的三维坐标,得到目标物体的三维点云。
更进一步的,图像处理系统140还用于基于所述三维点云数据构建被测物体101的三维模型。例如,图像处理系统140在第三模式下关闭光源110,然后根据自然光环境下图像传感器130获取的二维图像和三维点云数据得到被测物体101的三维模型。例如,图像处理系统140基于三维点云数据构建被测物体101的表现轮廓,然后采用二维图像对所述表面轮廓进行贴图处理,得到被测物体的三维模型。
应当理解,本发明的根据三维点云数据实现被测物体的三维重建的方法不以上述实施例为限制,本领域的其他根据三维点云数据实现被测物体的三维重建的方法也适用于本发明。
图2示出图1中的一种获取物体表面深度信息的装置的图像处理系统的结构示意图。
如图2所示,图像处理系统140包括图像提取模块141、条纹计算模块142、深度信息计算模块143、光源控制模块144以及三维重建模块。
图像提取模块141用于根据第一模式下图像传感器130获得的有干涉图像P1和第二模式下图像传感器130获得的无干涉图像P2得到第一条纹图像。
条纹计算模块142用于基于所述第一条纹图像计算得到条纹宽度大于第一条纹图像的条纹宽度的第二条纹图像。具体的,条纹计算模块142通过模拟相干光入射角的方式来产生条纹宽度更大的干涉条纹,首先获得第一条纹图像中干涉条纹的光强信息I,然后用正弦函数对该光强信息进行调制,例如将获得的光强信息I与沿干涉条纹相变方向变化的预设正弦波相乘得到新的干涉条纹,从而得到条纹宽度大于第一条纹图像的条纹宽度的第二条纹图像。
深度信息计算模块143用于根据所述第二条纹图像得到所述三维点云数据。在一种实施例中,深度信息计算模块143根据标定两点求距离的方法建立所述第二条纹图像与世界坐标系的比例关系,通过条纹图像的空间还原操作以得到所述三维点云数据。在另一种实施例中,深度信息计算模块143根据第一条纹图像和第二条纹图像基于双目视差法来计算得到所述三维点云数据。
光源控制模块144用于在第三工作下关闭光源110。三维重建模块145用于根据自然光环境下图像传感器获得的二维图像P3以及三维点云数据得到被测物体的三维模型。其中,二维图像P3记录了环境光在被测物体101表面的第三反射光。进一步的,三维重建模块145基于所述三维点云数据构建所述被测物体的表面轮廓,以及采用所述二维图像P3对所述表面轮廓进行贴图处理,得到所述被测物体的三维模型。
图3示出根据本发明第二实施例的一种获取物体表面深度信息的方法的流程示意图。如图3所示,本实施例的获取物体表面深度信息的方法包括步骤S310-S350。
在步骤S310中,将相干光投射到被测物体表面和图像传感器,并在图像传感器上获得有干涉图像。具体的,将光源发出的相干光分束之后,部分相干光束入射到待测物体表面,另一部分相干光作为参考光入射到图像传感器130,经由待测物体表面反射的第一反射光与参考光在图像传感器处形成因待测物体表面高度变化而发生形变的带有干涉条纹信息的有干涉图像。
在步骤S320中,将相干光投射到被测物体表面,在图像传感器上获得无干涉图像。具体的,在得到有干涉图像之后,将光源发出的相干光全部入射到待测物体表面,然后图像传感器获得经由待测物体表面反射的第二反射光,拍摄不带干涉条纹信息的无干涉图像。
在步骤S330中,根据有干涉图像和无干涉图像得到第一条纹图像。具体的,在有干涉图像中滤除无干涉图像以提取干涉条纹以得到第一条纹图像,从而减小光束不均匀的影响和在有干涉图像中剥离激光散斑。
在步骤S340中,基于第一条纹图像计算得到第二条纹图像。具体的,可以通过模拟相干光入射角的方式,产生条纹宽度更大的干涉条纹,首先获得第一条纹图像中干涉条纹的光强信息,然后用正弦函数对该光强信息进行调制,例如将获得的光强信息与沿干涉条纹相变方向变化的预设正弦波相乘得到新的干涉条纹,从而得到条纹宽度大于第一条纹图像的条纹宽度的第二条纹图像。
在步骤S350中,基于第二条纹图像得到三维点云数据,并基于三维点云数据构建被测物体的三维模型。具体的,可以根据标定两点求距离的方法建立所述第二条纹图像与世界坐标系的比例关系,通过条纹图像的空间还原操作以得到所述三维点云数据;或者根据第一条纹图像和第二条纹图像基于双目视差法来计算得到所述三维点云数据。然后基于所述三维点云数据构建所述被测物体的表面轮廓,以及采用记录了环境光在被测物体表面的第三反射光的二维图像对所述表面轮廓进行贴图处理,以得到所述被测物体的三维模型。
应当理解,步骤S350的根据三维点云数据实现被测物体的三维重建的方法不以上述实施例为限制,本领域的其他根据三维点云数据实现被测物体的三维重建的方法也适用于本发明。
综上所述,本发明的获取物体表面深度信息的装置和方法采用相干光对被测物体进行照射,得到第一条纹图像,然后根据第一条纹图像通过模拟计算得到条纹宽度更大的第二条纹图像,并根据第二条纹图像得到表征被测物体表面深度信息的三维点云数据,与传统的双目相机测量法相比,不仅具有测量范围大、测量精度高的特点,而且仅需要一个图像传感器,大大降低了系统成本和实用性。
此外,本发明的获取物体表面深度信息的装置不需要阵列激光器和传感器,并且对处理电路的高速性能的要求也不高,与传统的激光扫描法和飞行时间法相比,在保证测量精度的前提下成本更低,可广泛使用于三维面部识别和手势识别等领域。
进一步的,本发明的获取物体表面深度信息的装置通过在带干涉条纹信息的有干涉图像中剥离不带干涉条纹信息的无干涉图像,继而得到第一条纹图像,从而可以减小激光光束不均匀的影响和在有干涉图像中剥离激光散斑,有利于提高系统测量的精度和可靠性。
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
依照本发明的实施例如上文,这些实施例并没有详尽叙述所有的细节,也不限制该发明仅为的具体实施例。显然,根据以上描述,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明的保护范围应当以本发明权利要求所界定的范围为准。
Claims (20)
1.一种获取物体表面深度信息的装置,包括光源发射系统、图像传感器以及图像处理系统,
所述光源发射系统分别用于在第一模式下将相干光投射到被测物体表面和所述图像传感器,以及在第二模式下将相干光投射到所述被测物体表面,
所述图像传感器用于在所述第一模式下采集所述被测物体表面的有干涉图像,并在所述第二模式下采集所述被测物体表面的无干涉图像,
所述图像处理系统基于所述有干涉图像和所述无干涉图像之间的差异获得第一条纹图像,并基于所述第一条纹图像计算获得第二条纹图像,所述第二条纹图像与所述第一条纹图像的条纹宽度不一致,以便于所述图像处理系统基于所述第二条纹图像得到表征所述被测物体表面深度信息的三维点云数据。
2.根据权利要求1所述的装置,其中,所述图像处理系统包括:
图像提取模块,用于基于所述有干涉图像和无干涉图像得到所述第一条纹图像;
条纹计算模块,用于基于所述第一条纹图像计算得到所述第二条纹图像;以及
深度信息计算模块,用于基于所述第二条纹图像得到所述三维点云数据。
3.根据权利要求2所述的装置,其中,所述第二条纹图像的条纹宽度大于所述第一条纹图像的条纹宽度。
4.根据权利要求2所述的装置,所述图像提取模块通过在所述有干涉图像中滤除所述无干涉图像以得到所述第一条纹图像。
5.根据权利要求2所述的装置,所述条纹计算模块用于获取所述第一条纹图像中干涉条纹的光强信息,并将所述光强信息与沿干涉条纹相变方向变化的预设正弦波相乘以得到新的干涉条纹,从而得到所述第二条纹图像。
6.根据权利要求2所述的装置,所述深度信息计算模块根据标定两点求距离的方法建立所述第二条纹图像与世界坐标系的比例关系,通过条纹图像的空间还原操作以得到所述三维点云数据。
7.根据权利要求2所述的装置,所述深度信息计算模块根据所述第一条纹图像和所述第二条纹图像基于双目视差法计算得到所述三维点云数据。
8.根据权利要求1所述的装置,所述光源发射系统包括:
光源,用于发射所述相干光;以及
光学模组,用于接收所述相干光并进行变换,在所述第一模式下将变换后的光投射到被测物体表面和所述图像传感器,以及在第二模式下将变换后的光投射到所述被测物体表面。
9.根据权利要求8所述的装置,所述光学模组包括:
与所述相干光入射方向垂直放置的扩束镜和散束镜;以及
与所述相干光入射方向呈一定角度放置的平行平板,
其中,所述平行平板在所述第一模式下工作于半透半反射模式,以及在所述第二模式下工作于全反射模式。
10.根据权利要求9所述的装置,所述平行平板包括电致光吸收膜和电极,通过控制施加于所述平行平板上的电压的通断实现对所述相干光的选择性通过。
11.根据权利要求8所述的装置,所述光源包括:
半导体激光器,用于发射相干激光;以及
调制器,用于对所述相干激光进行高频调制,并将调制后的相干激光发射到所述光学模组。
12.根据权利要求1所述的装置,所述图像处理系统还包括:
光源控制模块,所述光源控制模块用于在第三模式下关闭光源,以便于所述图像传感器在自然光环境下采集所述被测物体表面的二维图像;以及
三维重建模块,用于将所述三维点云数据与所述二维图像关联,以得到所述被测物体的三维模型。
13.根据权利要求12所述的装置,所述三维重建模块用于基于所述三维点云数据构建所述被测物体的表面轮廓,以及采用所述二维图像对所述表面轮廓进行贴图处理,得到所述被测物体的三维模型。
14.一种获取物体表面深度信息的方法,包括:
将相干光投射到被测物体表面和图像传感器,并在所述图像传感器上获得有干涉图像;
将相干光投射到所述被测物体表面,在所述图像传感器上获得无干涉图像;
根据所述有干涉图像和所述无干涉图像之间的差异得到第一条纹图像;
基于所述第一条纹图像计算得到第二条纹图像,所述第二条纹图像与所述第一条纹图像的条纹宽度不一致;以及
基于所述第二条纹图像得到表征所述被测物体表面深度信息的三维点云数据。
15.根据权利要求14所述的方法,所述根据所述有干涉图像和所述无干涉图像之间的差异得到第一条纹图像包括:
通过在所述有干涉图像中滤除所述无干涉图像以得到所述第一条纹图像。
16.根据权利要求14所述的方法,其中,所述第二条纹图像的条纹宽度大于所述第一条纹图像的条纹宽度。
17.根据权利要求16所述的方法,所述基于所述第一条纹图像计算得到第二条纹图像包括:
获取所述第一条纹图像中干涉条纹的光强信息,并将所述光强信息与沿干涉条纹相变方向变化的预设正弦波相乘以得到新的干涉条纹,从而得到所述第二条纹图像。
18.根据权利要求14所述的方法,所述基于所述第二条纹图像得到表征所述被测物体表面深度信息的三维点云数据包括:
根据标定两点求距离的方法建立所述第二条纹图像与世界坐标系的比例关系,通过条纹图像的空间还原操作以得到所述三维点云数据。
19.根据权利要求14所述的方法,所述基于所述第二条纹图像得到表征所述被测物体表面深度信息的三维点云数据包括:
根据所述第一条纹图像和所述第二条纹图像基于双目视差法计算得到所述三维点云数据。
20.根据权利要求14所述的方法,还包括:
基于所述三维点云数据构建所述被测物体的表面轮廓;
在自然光环境下采集所述被测物体表面的二维图像;以及
采用所述二维图像对所述表面轮廓进行贴图处理,得到所述被测物体的三维模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110382987.8A CN115200510A (zh) | 2021-04-09 | 2021-04-09 | 一种获取物体表面深度信息的装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110382987.8A CN115200510A (zh) | 2021-04-09 | 2021-04-09 | 一种获取物体表面深度信息的装置和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115200510A true CN115200510A (zh) | 2022-10-18 |
Family
ID=83570264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110382987.8A Pending CN115200510A (zh) | 2021-04-09 | 2021-04-09 | 一种获取物体表面深度信息的装置和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115200510A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1758020A (zh) * | 2005-11-18 | 2006-04-12 | 北京航空航天大学 | 基于自适应正弦条纹投射的立体视觉检测系统 |
WO2006107929A1 (en) * | 2005-04-06 | 2006-10-12 | Dimensional Photonics International, Inc. | Determining positional error of an optical component using structured light patterns |
CN103649678A (zh) * | 2011-07-14 | 2014-03-19 | 法罗技术股份有限公司 | 具有相位和间距调节的基于光栅的扫描仪 |
US20150070472A1 (en) * | 2013-09-11 | 2015-03-12 | National Taiwan University | Measuring apparatus for three-dimensional profilometry and method thereof |
CN106871815A (zh) * | 2017-01-20 | 2017-06-20 | 南昌航空大学 | 一种Kinect与条纹反射法结合的类镜面三维面形测量方法 |
US20180120097A1 (en) * | 2015-04-22 | 2018-05-03 | Siemens Aktiengesellschaft | Method For Determining Depth |
CN108267097A (zh) * | 2017-07-17 | 2018-07-10 | 杭州先临三维科技股份有限公司 | 基于双目三维扫描系统的三维重构方法和装置 |
JP2020118533A (ja) * | 2019-01-23 | 2020-08-06 | 国立大学法人福井大学 | 計測対象物の面外変位分布や3次元形状を計測する方法とその装置 |
-
2021
- 2021-04-09 CN CN202110382987.8A patent/CN115200510A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006107929A1 (en) * | 2005-04-06 | 2006-10-12 | Dimensional Photonics International, Inc. | Determining positional error of an optical component using structured light patterns |
CN1758020A (zh) * | 2005-11-18 | 2006-04-12 | 北京航空航天大学 | 基于自适应正弦条纹投射的立体视觉检测系统 |
CN103649678A (zh) * | 2011-07-14 | 2014-03-19 | 法罗技术股份有限公司 | 具有相位和间距调节的基于光栅的扫描仪 |
US20150070472A1 (en) * | 2013-09-11 | 2015-03-12 | National Taiwan University | Measuring apparatus for three-dimensional profilometry and method thereof |
US20180120097A1 (en) * | 2015-04-22 | 2018-05-03 | Siemens Aktiengesellschaft | Method For Determining Depth |
CN106871815A (zh) * | 2017-01-20 | 2017-06-20 | 南昌航空大学 | 一种Kinect与条纹反射法结合的类镜面三维面形测量方法 |
CN108267097A (zh) * | 2017-07-17 | 2018-07-10 | 杭州先临三维科技股份有限公司 | 基于双目三维扫描系统的三维重构方法和装置 |
JP2020118533A (ja) * | 2019-01-23 | 2020-08-06 | 国立大学法人福井大学 | 計測対象物の面外変位分布や3次元形状を計測する方法とその装置 |
Non-Patent Citations (1)
Title |
---|
何文杰: "双目线结构光测量系统三维数据融合研究", 激光杂志, 30 June 2020 (2020-06-30), pages 10 - 16 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Giancola et al. | A survey on 3D cameras: Metrological comparison of time-of-flight, structured-light and active stereoscopy technologies | |
US11166004B2 (en) | Three-dimensional computational imaging method and apparatus based on single-pixel sensor, and non-transitory computer-readable storage medium | |
Corti et al. | A metrological characterization of the Kinect V2 time-of-flight camera | |
EP3491332B1 (en) | Reflectivity map estimate from dot based structured light systems | |
US9501833B2 (en) | Method and system for providing three-dimensional and range inter-planar estimation | |
EP1643210B1 (en) | Method and apparatus for measuring shape of an object | |
US9063283B2 (en) | Pattern generation using a diffraction pattern that is a spatial fourier transform of a random pattern | |
Beder et al. | A comparison of PMD-cameras and stereo-vision for the task of surface reconstruction using patchlets | |
US20120154542A1 (en) | Plural detector time-of-flight depth mapping | |
CN107860337B (zh) | 基于阵列相机的结构光三维重建方法与装置 | |
US10996335B2 (en) | Phase wrapping determination for time-of-flight camera | |
US10105906B2 (en) | Structured light generating device and measuring system and method | |
CN210036591U (zh) | 一种基于频域oct技术的三维彩色动态成像装置 | |
US20170018114A1 (en) | Video imaging to assess specularity | |
Li et al. | Laser scanning based three dimensional measurement of vegetation canopy structure | |
US20240103168A1 (en) | Three-dimensional image capturing according to time-of-flight measurement and light spot pattern measurement | |
Yin et al. | Real-time and accurate monocular 3D sensor using the reference plane calibration and an optimized SGM based on opencl acceleration | |
CN216448823U (zh) | 一种获取物体表面深度信息的装置 | |
CN115200510A (zh) | 一种获取物体表面深度信息的装置和方法 | |
CN115824170A (zh) | 一种摄影测量与激光雷达融合测量海洋波浪的方法 | |
Langmann | Wide area 2D/3D imaging: development, analysis and applications | |
Nagamatsu et al. | Self-calibrated dense 3D sensor using multiple cross line-lasers based on light sectioning method and visual odometry | |
Lim et al. | A novel one-body dual laser profile based vibration compensation in 3D scanning | |
US20220196386A1 (en) | Three-dimensional scanner with event camera | |
US11651503B2 (en) | Determining depth in a depth image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |