CN107860337B - 基于阵列相机的结构光三维重建方法与装置 - Google Patents

基于阵列相机的结构光三维重建方法与装置 Download PDF

Info

Publication number
CN107860337B
CN107860337B CN201710939820.0A CN201710939820A CN107860337B CN 107860337 B CN107860337 B CN 107860337B CN 201710939820 A CN201710939820 A CN 201710939820A CN 107860337 B CN107860337 B CN 107860337B
Authority
CN
China
Prior art keywords
camera
array
structured light
array camera
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710939820.0A
Other languages
English (en)
Other versions
CN107860337A (zh
Inventor
李凡月
马晓月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huatian Technology Kunshan Electronics Co Ltd
Original Assignee
Huatian Technology Kunshan Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huatian Technology Kunshan Electronics Co Ltd filed Critical Huatian Technology Kunshan Electronics Co Ltd
Priority to CN201710939820.0A priority Critical patent/CN107860337B/zh
Publication of CN107860337A publication Critical patent/CN107860337A/zh
Application granted granted Critical
Publication of CN107860337B publication Critical patent/CN107860337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于阵列相机的结构光三维重建方法与装置，包括投影模组、阵列相机和处理器，投影模组用于投影出结构光，要求具有光强随机分布特性，且随机光场的统计特性是投影距离的函数，以使该结构光的特性具有唯一性。这样，投影模组投影结构光将提供很多固定的不同的特征点，可降低图像匹配难度，增加正确匹配的可靠性。阵列相机包括排布成阵列的若干相机，可提供N个成像通道(N>＝2)，陈列相机中每个相机(成像通道)从不同位置、不同视角采集图像信息。由于阵列相机的光学参数可由半导体加工工艺保障，各成像通道与光源通道之间的光学参数无需标定，从而能够有效保证摄像系统的标定质量，适合大批量生产。

Description

基于阵列相机的结构光三维重建方法与装置
技术领域
本发明涉及光学三维测量技术领域，具体是涉及一种基于阵列相机的结构光三维重建方法与装置。
背景技术
光学三维测量方法根据测量方式不同可以分为：主动传感式和被动传感式。主动传感式区别于被动传感式的主要方面是：需要投射结构光进行三维测量，由于物体的三维特征会对结构光场的空间或者时间进行调制，因而得到的调制信息中包含了所测物体的高度信息，通过对调制的信息进行解调，就能得到物体上每一点的高度信息。主动传感式光学三维测量中主要有飞行时间法、激光三角法、基于相位测量的方法。基于相位测量方法的基本原理是：当光栅投射到物体的表面时，相位会受到所测物体高度的调制。因而，可以通过获取相位的变化值，再通过相位值还原物体的高度信息。相移法是基于相位测量方法中最成熟最可靠的一种，其对测量设备的要求相对而言比较简单，而且有着较高的测量精度，可以达到等效波长的几十分之一到几百分之一；但相移法对正弦光栅的标准性和相移的准确度要求较高；而且在测量过程中，对于高度变化过快和具有复杂面形的物体的测量会存在遮挡和阴影等问题；对于表面过于光滑的反光物体测量效果也并不理想；由于在计算相位值时采用了反正切函数，因而通过这种方法得到的相位值是被包裹在之间的，因而要得到连续正确的相位值，还需要对相位进行展开。这种方法需要对所测物体和参考平面的多幅图像进行采集，因而很难完成实时测量。
被动传感式不需要结构光的投射，直接从一个或者多个摄像系统中来获取所测物体的高度信息，常用的被动传感式三维测量方法有单目相机移动法、双目立体视觉法和多目立体视法。单目相机移动法的测量精度受限于相机或物体移动位移的精度。双目立体视觉法根据匹配的像点，依据立体视差原理来获取被测物体的三维轮廓，其优点为直观、结构简单、测量精度较高，但主要问题是多幅图像上同名点的搜索及主动匹配较为困难。多目立体视法是为减少图像特征匹配的多义性，在双目立体视觉的基础上，增加一台或多台辅助相机构。辅助相机构的增加减少了因目标特征模糊而产生的误匹配现象，但同时计算量相应增加。
综上，目前的光学三维测量方法中，无论是主动传感式光学三维测量，还是被动传感式光学三维测量，所测物体的三维信息都是从摄像系统所采集的图片中得到的。因此，要完成光学三维测量，建立摄像系统中图像的像素点和空间对应某物点之间的关系有着相当重要的作用。这种对应关系是由摄像系统的参数和摄像系统的成像模型决定的。而摄像系统的标定是光学三维测量最基本、也是最重要的步骤之一，对多数摄像系统来说，物距是焦距的十几倍、上百倍、或者是成千上万倍，因而摄像系统参数的一个微小误差可能会被放大至数倍。摄像系统标定的好坏直接决定了测量的精度。因此，迫切需要寻求一种能够有效保证摄像系统标定质量的新的结构光三维重建方法。
发明内容
为了解决上述技术问题，本发明提出一种新的基于阵列相机的结构光三维重建方法与装置，无需对摄像系统进行标定，从而能够有效保证摄像系统标定质量，适合大批量生产，且具有匹配难度低，正确匹配可靠性高的优点。
本发明的技术方案是这样实现的：
一种基于阵列相机的结构光三维重建装置，包括投影模组、由排布成阵列的若干相机组成的阵列相机和处理器，所述投影模组投射具有光强随机分布特性且随机光场的统计特性是投影距离的函数的结构光到三维待测目标物体上，所述阵列相机的若干相机提供若干不同位置、不同视角的成像通道，每个相机的一个成像通道采集在所述结构光照射下的三维待测目标物体一幅图像信息，所述处理器根据所述阵列相机采集到的各图像信息进行图像匹配获取三维待测目标物体的三维深度信息。
一种基于阵列相机的结构光三维重建方法，包括如下步骤：
1)通过投影模组投射具有光强随机分布特性且随机光场的统计特性是投影距离的函数的结构光到三维待测目标物体上；
2)通过由排布成阵列的若干相机组成的阵列相机采集在步骤1中结构光照射下的三维待测目标物体的图像信息，其中，若干相机提供若干不同位置、不同视角的成像通道，每个相机的成像通道采集三维待测目标物体的一幅图像信息；
3)通过处理器对所述阵列相机采集到的各图像信息进行图像匹配获取三维待测目标物体的三维深度信息。
进一步的，通过处理器对所述阵列相机采集到的各图像信息进行图像匹配获取三维待测目标物体的三维深度信息，包括如下步骤：
A)处理器对步骤2中阵列相机采集到的各图像信息进行预处理，该预处理包括进行图像数据类型转化和图像格式转化；
B)处理器根据面扫描方法确定各图像信息之间像素点的最佳对应深度关系，包括利用阵列相机中各相机的内外参数计算不同相机图像信息之间的像素点的对应关系单应性矩阵；从阵列相机中选择一个作为参考相机，利用单应性矩阵计算其他相机图像和参考相机图像平面在不同深度时的匹配分数，每个像素点选择匹配效果较好的深度，形成一反应各相机各图像信息之间像素点在什么深度时匹配效果最好的关系深度图；
C)处理器根据该关系深度图进行三维建模，包括对关系深度图进行分割、配准和建网。
进一步的，步骤1中投影模组投射的结构光为随机散斑，在三维待测目标物体上形成散斑图案。
进一步的，所述处理器为计算机。
本发明的有益效果是：
本发明提出一种基于阵列相机的结构光三维重建方法与装置，装置包括投影模组、阵列相机和处理器，投影模组用于投影出结构光，要求具有光强随机分布特性，且随机光场的统计特性是投影距离的函数，以使该结构光的特性具有唯一性。这样，投影模组投影结构光将提供很多固定的不同的特征点，可降低图像匹配难度，增加正确匹配的可靠性。阵列相机包括排布成阵列的若干相机，可提供N个成像通道(N>＝2)，陈列相机中每个相机(成像通道)从不同位置、不同视角采集图像信息。由于阵列相机的光学参数可由半导体加工工艺保障，各成像通道与光源通道之间的光学参数无需标定，从而能够有效保证摄像系统的标定质量，适合大批量生产。处理器比如计算机或PC机等，用于对各图像信息进行处理运算，探测不同阵列相机各成像通道之间的视差，从而获取三维信息，即根据阵列相机中不同成像通道的视差分析出目标物体的三维深度信息。
附图说明
图1为本发明基于阵列相机的结构光三维重建装置结构示意图；
图2为本发明中基于阵列相机的结构光三维重建方法示例图流程图。
具体实施方式
为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明，其目的仅在于更好理解本发明的内容而非限制本发明的保护范围。实施例附图的结构中各组成部分未按正常比例缩放，故不代表实施例中各结构的实际相对大小。
如图1所示，一种基于阵列相机的结构光三维重建装置，包括投影模组1、由排布成阵列的若干相机组成的阵列相机2和处理器3，所述投影模组投射具有光强随机分布特性且随机光场的统计特性是投影距离的函数的结构光到三维待测目标物体4上，所述阵列相机的若干相机提供若干不同位置、不同视角的成像通道，每个相机的一个成像通道采集在所述结构光照射下的三维待测目标物体一幅图像信息，所述处理器根据所述阵列相机采集到的各图像信息进行图像匹配获取三维待测目标物体的三维深度信息。
基于上述装置的结构光三维重建方法过程是投影模组投影出无编码结构光，阵列相机拍摄下该结构光照明下的实际三维待测目标物体，处理器根据图像匹配获取目标物体的三维深度信息。如图2所示，示出了根据本发明的结构光三维重建方法的示例性流程图，具体包括如下步骤：
1)通过投影模组投射具有光强随机分布特性且随机光场的统计特性是投影距离的函数的结构光到三维待测目标物体上；
2)通过由排布成阵列的若干相机组成的阵列相机采集在步骤1中结构光照射下的三维待测目标物体的图像信息，其中，若干相机提供若干不同位置、不同视角的成像通道，每个相机的成像通道采集三维待测目标物体的一幅图像信息；
3)通过处理器对所述阵列相机采集到的各图像信息进行图像匹配获取三维待测目标物体的三维深度信息。
步骤3中通过处理器对所述阵列相机采集到的各图像信息进行图像匹配获取三维待测目标物体的三维深度信息，具体分为如下步骤：
A)处理器对步骤2中阵列相机采集到的各图像信息进行预处理，该预处理包括进行图像数据类型转化和图像格式转化；
B)处理器根据面扫描方法确定各图像信息之间像素点的最佳对应深度关系，包括利用阵列相机中各相机的内外参数计算不同相机图像信息之间的像素点的对应关系单应性矩阵；从阵列相机中选择一个作为参考相机，利用单应性矩阵计算其他相机图像和参考相机图像平面的在不同深度时的匹配分数，每个像素点选择匹配效果较好的深度，形成一反应各相机各图像信息之间像素点在什么深度时匹配效果最好的关系深度图；
C)处理器根据该关系深度图进行三维建模，包括对关系深度图进行分割、配准和建网。
上述结构和方法中，投影模组用于投影出结构光，要求具有光强随机分布特性，且随机光场的统计特性是投影距离的函数，目的是在三维待测目标物体表面叠加加独一无二的纹理特征点，使该结构光的特性具有唯一性。比如可以采用投影随机散斑的形式，以在三维待测目标物体上形成散斑图案，这样，投影模组投影结构光将提供很多固定的不同的特征点，可降低图像匹配难度，增加正确匹配的可靠性。阵列相机用于拍摄下该结构光照明下的实际三维待测目标物体的图像，阵列相机包括排布成阵列的若干相机，可提供N个成像通道(N>＝2)，陈列相机中每个相机(成像通道)从不同位置、不同视角采集图像信息。由于阵列相机的光学参数可由半导体加工工艺保障，因此，各成像通道与光源通道之间的光学参数无需标定，从而能够有效保证摄像系统的标定质量，适合大批量生产。处理器比如计算机或PC机等，用于对各图像信息进行处理运算，探测不同阵列相机各成像通道之间的视差，从而获取三维信息，即根据阵列相机中不同成像通道的视差分析出目标物体的三维深度信息。
以上实施例是参照附图，对本发明的优选实施例进行详细说明。本领域的技术人员通过对上述实施例进行各种形式上的修改或变更，但不背离本发明的实质的情况下，都落在本发明的保护范围之内。

Claims (4)

1.一种基于阵列相机的结构光三维重建装置，其特征在于，包括投影模组、由排布成阵列的若干相机组成的阵列相机和处理器，所述投影模组投射具有光强随机分布特性且随机光场的统计特性是投影距离的函数的结构光到三维待测目标物体上，所述阵列相机的若干相机提供若干不同位置、不同视角的成像通道，每个相机的一个成像通道采集在所述结构光照射下的三维待测目标物体一幅图像信息，所述处理器根据所述阵列相机采集到的各图像信息进行图像匹配获取三维待测目标物体的三维深度信息，首先，所述处理器对所述阵列相机采集到的各图像信息进行预处理，该预处理包括进行图像数据类型转化和图像格式转化；其次，所述处理器根据面扫描方法确定各图像信息之间像素点的最佳对应深度关系，包括利用阵列相机中各相机的内外参数计算不同相机图像信息之间的像素点的对应关系单应性矩阵；从阵列相机中选择一个作为参考相机，利用单应性矩阵计算其他相机图像和参考相机图像平面在不同深度时的匹配分数，每个像素点选择匹配效果较好的深度，形成一反应各相机各图像信息之间像素点在什么深度时匹配效果最好的关系深度图；最后，所述处理器根据该关系深度图进行三维建模，包括对关系深度图进行分割、配准和建网。
2.一种基于阵列相机的结构光三维重建方法，其特征在于，包括如下步骤：
1)通过投影模组投射具有光强随机分布特性且随机光场的统计特性是投影距离的函数的结构光到三维待测目标物体上；
2)通过由排布成阵列的若干相机组成的阵列相机采集在步骤1中结构光照射下的三维待测目标物体的图像信息，其中，若干相机提供若干不同位置、不同视角的成像通道，每个相机的成像通道采集三维待测目标物体的一幅图像信息；
3)通过处理器对所述阵列相机采集到的各图像信息进行图像匹配获取三维待测目标物体的三维深度信息；包括如下步骤：
A)处理器对步骤2中阵列相机采集到的各图像信息进行预处理，该预处理包括进行图像数据类型转化和图像格式转化；
B)处理器根据面扫描方法确定各图像信息之间像素点的最佳对应深度关系，包括利用阵列相机中各相机的内外参数计算不同相机图像信息之间的像素点的对应关系单应性矩阵；从阵列相机中选择一个作为参考相机，利用单应性矩阵计算其他相机图像和参考相机图像平面在不同深度时的匹配分数，每个像素点选择匹配效果较好的深度，形成一反应各相机各图像信息之间像素点在什么深度时匹配效果最好的关系深度图；
C)处理器根据该关系深度图进行三维建模，包括对关系深度图进行分割、配准和建网。
3.根据权利要求2所述的基于阵列相机的结构光三维重建方法，其特征在于，步骤1中投影模组投射的结构光为随机散斑，在三维待测目标物体上形成散斑图案。
4.根据权利要求2所述的基于阵列相机的结构光三维重建方法，其特征在于，所述处理器为计算机。
CN201710939820.0A 2017-10-11 2017-10-11 基于阵列相机的结构光三维重建方法与装置 Active CN107860337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710939820.0A CN107860337B (zh) 2017-10-11 2017-10-11 基于阵列相机的结构光三维重建方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710939820.0A CN107860337B (zh) 2017-10-11 2017-10-11 基于阵列相机的结构光三维重建方法与装置

Publications (2)

Publication Number Publication Date
CN107860337A CN107860337A (zh) 2018-03-30
CN107860337B true CN107860337B (zh) 2020-03-24

Family

ID=61699750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710939820.0A Active CN107860337B (zh) 2017-10-11 2017-10-11 基于阵列相机的结构光三维重建方法与装置

Country Status (1)

Country Link
CN (1) CN107860337B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924407B (zh) * 2018-06-15 2020-12-18 深圳奥比中光科技有限公司 一种深度成像方法及系统
CN109118573A (zh) * 2018-07-02 2019-01-01 景致三维（江苏）股份有限公司 辅助光矩阵阵列三维重建系统中图像建模方法
CN109282757B (zh) * 2018-07-27 2020-09-25 深圳大学 一种光场度量标定方法及标定系统
CN109242958A (zh) * 2018-08-29 2019-01-18 广景视睿科技（深圳）有限公司 一种三维建模的方法及其装置
CN110505467B (zh) * 2019-09-24 2024-02-06 福州大学 一种自适应滤镜匹配的双目摄像头模组及其立体匹配方法
CN111121722A (zh) * 2019-12-13 2020-05-08 南京理工大学 结合激光点阵和偏振视觉的双目三维成像方法
CN113766284A (zh) * 2020-06-02 2021-12-07 云米互联科技(广东)有限公司 音量调节方法、电视机和存储介质
CN116168344A (zh) * 2023-02-21 2023-05-26 航天正通汇智(北京)科技股份有限公司 一种基于阵列计算视觉的安保监测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028672A (en) * 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
CN101608908A (zh) * 2009-07-20 2009-12-23 杭州先临三维科技股份有限公司 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法
CN101706263A (zh) * 2009-11-10 2010-05-12 倪友群 三维表面测量方法及测量系统
WO2011137596A1 (zh) * 2010-05-07 2011-11-10 深圳泰山在线科技有限公司 结构光测量方法以及系统
CN104596439A (zh) * 2015-01-07 2015-05-06 东南大学 一种基于相位信息辅助的散斑匹配三维测量方法
CN104634276A (zh) * 2015-02-12 2015-05-20 北京唯创视界科技有限公司 三维测量系统、拍摄设备和方法、深度计算方法和设备
CN104899882A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种复杂场景的深度获取方法
CN106355621A (zh) * 2016-09-23 2017-01-25 邹建成 基于阵列图像的深度信息获取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100590450B1 (ko) * 2003-10-29 2006-06-19 재단법인서울대학교산학협력재단 입체상을 사용한 보풀 측정방법 및 이를 이용한 보풀측정기

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028672A (en) * 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
CN101608908A (zh) * 2009-07-20 2009-12-23 杭州先临三维科技股份有限公司 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法
CN101706263A (zh) * 2009-11-10 2010-05-12 倪友群 三维表面测量方法及测量系统
WO2011137596A1 (zh) * 2010-05-07 2011-11-10 深圳泰山在线科技有限公司 结构光测量方法以及系统
CN102884397A (zh) * 2010-05-07 2013-01-16 深圳泰山在线科技有限公司 结构光测量方法以及系统
CN104596439A (zh) * 2015-01-07 2015-05-06 东南大学 一种基于相位信息辅助的散斑匹配三维测量方法
CN104634276A (zh) * 2015-02-12 2015-05-20 北京唯创视界科技有限公司 三维测量系统、拍摄设备和方法、深度计算方法和设备
CN104899882A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种复杂场景的深度获取方法
CN106355621A (zh) * 2016-09-23 2017-01-25 邹建成 基于阵列图像的深度信息获取方法

Also Published As

Publication number Publication date
CN107860337A (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
CN107860337B (zh) 基于阵列相机的结构光三维重建方法与装置
CN106548489B (zh) 一种深度图像与彩色图像的配准方法、三维图像采集装置
EP3531066B1 (en) Three-dimensional scanning method including a plurality of lasers with different wavelengths, and scanner
KR102674646B1 (ko) 뷰로부터 거리 정보를 획득하는 장치 및 방법
JP4290733B2 (ja) ３次元形状計測方法及びその装置
US9501833B2 (en) Method and system for providing three-dimensional and range inter-planar estimation
CN104197861B (zh) 基于结构光灰度向量的三维数字成像方法
EP2568253B1 (en) Structured-light measuring method and system
CN112945141B (zh) 基于微透镜阵列的结构光快速成像方法及系统
CN113205592B (zh) 一种基于相位相似性的光场三维重建方法及系统
CN106875435B (zh) 获取深度图像的方法及系统
CN110390719A (zh) 基于飞行时间点云重建设备
CN109307483B (zh) 一种基于结构光系统几何约束的相位展开方法
CN107967697B (zh) 基于彩色随机二元编码结构照明的三维测量方法和系统
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
WO2004044522A1 (ja) ３次元形状計測方法およびその装置
KR20120058828A (ko) 3차원 좌표 추출 시스템 및 그 방법
CN104335005A (zh) 3d扫描以及定位系统
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
KR20160121509A (ko) 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭
CN111028294B (zh) 一种基于深度相机的多距离标定方法及系统
CN108645353A (zh) 基于多帧随机二元编码光场的三维数据采集系统及方法
Beltran et al. A comparison between active and passive 3d vision sensors: Bumblebeexb3 and Microsoft Kinect
CN105427302A (zh) 一种基于移动稀疏相机采集阵列的三维采集及重建系统
CN112648936A (zh) 基于差分投影的立体视觉检测方法及检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant