CN114413787B - 基于结构光的三维测量方法及大景深三维深度相机系统 - Google Patents
基于结构光的三维测量方法及大景深三维深度相机系统 Download PDFInfo
- Publication number
- CN114413787B CN114413787B CN202210072630.4A CN202210072630A CN114413787B CN 114413787 B CN114413787 B CN 114413787B CN 202210072630 A CN202210072630 A CN 202210072630A CN 114413787 B CN114413787 B CN 114413787B
- Authority
- CN
- China
- Prior art keywords
- depth
- field
- camera
- structured light
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 17
- 230000007704 transition Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
Abstract
本发明涉及3D检测与测量领域，具体涉及一种基于结构光的三维测量方法及大景深三维深度相机系统。大景深三维深度相机系统包括结构光投影模块、图像接收模块及系统主控模块；其中结构光投影模块可以为无焦投影模块或多个有焦投影模块。图像接收模块包括具有不同景深的摄像头。利用结构光投影模块投影编码结构光，利用多个具有不同景深的摄像头采集被测物体反射的结构光图片；系统主控模块处理各摄像头拍摄的结构光图片，计算出被测物体的三维点云。解决当前结构光深度相机三维成像景深小的问题。
Description
技术领域
本发明涉及3D检测与测量领域，具体涉及一种基于结构光的三维测量方法及大景深三维深度相机系统。
背景技术
基于结构光的三维测量方法，因具有高精度、非接触、测量效率高等优点已经成为一种重要的三维测量方式。结构光的三维相机通常包括三部分：结构光投影模块，结构光拍摄模块和数据处理系统。首先，结构光投影模块向被测物体投射结构光，然后，结构光拍摄模块拍摄被测物体上的结构光图片并传送到数据处理系统，最后由数据处理系统进行数据处理得到被测物体的三维点云数据。
但是，由于通常情况下，结构光投影模块和结构光拍摄模块都是有景深的，所以结构光三维相机的景深就是结构光投影装置景深和结构光拍摄装置景深的交集，这样就导致结构光相机一般情况下景深都比较小。当被测物体处于结构光相机的景深范围之外时，就会拍摄到被测物体失焦的结构光图片，并导致被测物体的三维点云数据误差增大，甚至不能生成三维点云数据。
目前，在二维拍摄中，实现大景深相机的方式主要有两种：调整焦距和多摄像头。调整焦距是通过调整镜头与图像传感器芯片的距离来适应被测物体与相机的距离，如单反相机。多摄像头是通过多个摄像头分别拍摄不同景深的图片，通过将多个摄像头拍摄的图片融合来得到大景深的图片。而在结构光等主动光学三维测量领域，因结构光投影设备与摄像头均具有景深，基于二维拍摄的经验，可以利用多组摄像头解决摄像头景深不足的问题，但是当被测物体在结构光投影设备的景深之外时，投影到物体上的结构光图案是模糊的图案，此时摄像头拍摄的结构光图案是模糊的，因此不能很好地进行3D重建，目前针对上述问题尚无较好的解决方案。
发明内容
本发明的目的是提供一种基于结构光的三维测量方法及大景深三维深度相机系统，以解决当前结构光深度相机三维成像景深小的问题。
本发明的技术方案是提供一种基于结构光的三维测量方法，其特殊之处在于，包括以下步骤：
步骤1、利用无焦结构光投影模块向被测物体投射一组编码结构光；
步骤2、利用多个具有不同景深的摄像头同时采集被测物体反射的结构光图片；
步骤3、处理各摄像头拍摄的结构光图片，计算出被测物体的三维点云；
先分别处理各摄像头拍摄的结构光图片，获得相应的点云；将各摄像头对应的点云进行融合，得到被测物体的点云；
或，先将各摄像头拍摄的结构光图片进行融合得到大景深图片，再将大景深图片进行计算得到被测物体的点云。
进一步地，步骤3中，先分别处理各摄像头拍摄的结构光图片，获得相应的点云；将各摄像头对应的点云进行融合，得到被测物体的点云；具体包括以下步骤：
a、分别计算各个摄像头拍摄的结构光图片，得到与各个摄像头对应的点云；
b、删除各个摄像头对应点云中位于摄像头景深之外的点云，分别得到各个摄像头景深范围内的点云；
c、将结构光投射到被测物体表面的位置点作为特征点，通过这些特征点，就可以计算出不同摄像头拍摄的结构光图片的对应关系，进而可以得到多个位于各个摄像头景深范围内点云的对应关系；
d、以主摄像头景深范围内点云为基准，根据多个位于各个摄像头景深范围内点云的对应关系，将其他摄像头景深范围内点云通过平移和旋转转换到主摄像头的坐标系下，得到被测物体的点云。
进一步地，步骤d之后还包括步骤e：对摄像头景深重叠区域的点云进行融合，使得点云在两个摄像头的景深重叠区域过渡更加平滑；
对于任意两个摄像头景深的重合区域，可以将这两个摄像头景深重叠区域的点云叠加起来，得到被测物体更加密集的点云；也可以对两个摄像头重叠区域的点云进行平均或者加权平均，将平均或者加权平均后的点云作为景深重合区域的点云，这样，融合后的点云过渡平滑，在过渡区域不出现明显的跳变。
进一步地，步骤d中，可以将景深处于中间位置的摄像头或者景深范围最常用的摄像头作为主摄像头。
进一步地，步骤3中，先将各摄像头拍摄的结构光图片进行融合得到大景深图片，再将大景深图片进行计算得到被测物体的点云数据，具体包括以下步骤：
a、先将主摄像头拍摄的图片作为融合后的大景深图片，根据该图片计算被测物体的三维点云；
b、根据步骤a计算的三维点云数据即可以得到被测物体每个区域的深度值；
c、根据被测物体每个区域的深度值可以得到相应区域在哪个摄像头的景深范围内；即得到被测物体各个区域与相应摄像头的对应列表；
d、融合时，根据被测物体各个区域与相应摄像头的对应列表，针对被测物体不同区域选用相应摄像头拍摄的结构光图片实现融合。
e、将步骤d融合后的图片作为大景深图片，并根据该图片计算被测物体的三维点云。
f、根据步骤e计算的被测物体的三维点云数据得到被测物体每个区域的深度值；重复步骤c到e，直到两次计算的点云差异在误差范围内为止。
进一步地，步骤d中，具体融合时，将结构光投射到被测物体表面的位置点作为特征点，通过这些特征点，就可以计算出不同摄像头拍摄的结构光图片的对应关系，进而可以对这几个摄像头拍摄的结构光图片进行融合。
本发明还提供一种大景深三维深度相机系统，其特殊之处在于：包括无焦结构光投影模块、图像接收模块及系统主控模块；
上述无焦结构光投影模块用于向被测物体投射一组编码结构光；这里的无焦结构光投影模块是指其投影的结构光不会失焦；
上述图像接收模块包括多个具有不同景深的摄像头，用于采集从被测物体反射的结构光图片；
上述系统主控模块与无焦结构光投影模块及图像接收模块电连接，上述系统主控模块包括存储器与处理器，存储器上存储计算机程序，所述计算机程序被处理器执行时，完成上述基于结构光的三维测量方法中步骤3的过程。
进一步地，无焦结构光投影模块可以包括单个激光器及设置在激光器出射光路中的一维或者二维扫描微振镜构成；无焦结构光投影模块还可以由激光器阵列构成。
进一步地，为了使更好地对被测物体进行三维重建，各个摄像头的景深最好要有重合区域，例如摄像头a的景深范围是200mm～500mm，摄像头b的景深范围是400mm～1000mm，摄像头c的景深范围是800mm～2000mm。
本发明还提供另一种基于结构光的三维测量方法，其特殊之处在于，包括以下步骤：
步骤1、利用投影景深不同的多个有焦结构光投影模块分时段向被测物体投射编码结构光；有焦结构光投影模块是指其投影的结构光在一段距离内(也就是其景深范围内)是清楚的，在景深范围外是模糊的，如DLP(数字光处理)结构光模组。
步骤2、利用与各个有焦结构光投影模块具有相同景深的多个摄像头或者景深范围与各个有焦结构光投影模块重叠的多个摄像头，分别采集相应结构光图片，此时，我们定义各个摄像头的景深为各摄像头景深和与之对应的有焦结构光投影模块景深的重叠区域；
步骤3、处理各摄像头拍摄的结构光图片，计算出被测物体的点云；
先分别处理各摄像头拍摄的结构光图片，获得相应的点云；将各摄像头对应的点云进行融合，得到被测物体的点云数据。
进一步地，步骤3具体为：
a、分别计算各个摄像头拍摄的结构光图片，得到与各个摄像头对应的点云；
b、删除各个摄像头对应点云中位于摄像头景深之外的点云，分别得到位于各个摄像头景深范围内的点云；
c、将结构光投射到被测物体表面的位置点作为特征点，通过这些特征点，就可以计算出不同摄像头拍摄的结构光图片的对应关系，进而得到多个位于各个摄像头景深范围内点云的对应关系；
d、以主摄像头景深范围内点云为基准，根据多个位于各个摄像头景深范围内点云的对应关系，将其他摄像头景深范围内点云通过平移和旋转转换到主摄像头的坐标系下，得到被测物体的点云。
进一步地，还包括步骤e、对摄像头景深重叠区域的点云进行融合，使得点云在两个摄像头的景深重叠区域过渡更加平滑。
对于任意两个摄像头景深的重合区域，可以将这两个摄像头景深重叠区域的点云叠加起来，得到被测物体更加密集的点云；也可以对两个摄像头重叠区域的点云进行平均或者加权平均，将平均或者加权平均后的点云作为景深重合区域的点云，这样，融合后的点云过渡平滑，在过渡区域不出现明显的跳变。
进一步地，步骤d中，可以将景深处于中间位置的摄像头或者景深范围最常用的摄像头作为主摄像头。
本发明还提供一种大景深三维深度相机系统，其特殊之处在于：包括多个有焦结构光投影模块、图像接收模块及系统主控模块；
上述多个有焦结构光投影模块具有不同的投影景深，用于分时段向被测物体投射一组编码结构光；
上述图像接收模块包括多个具有不同景深的摄像头，多个摄像头与多个有焦结构光投影模块一一对应，且相对应的摄像头与有焦结构光投影模块具有相同的景深，或者相对应的摄像头的景深与有焦结构光投影模块有重叠区域，此时，我们定义各个摄像头的景深为各摄像头景深和与之对应的有焦结构光投影模块景深的重叠区域；用于采集相应有焦结构光投影模块投影至被测物体反射的结构光图片；
上述系统主控模块与有焦结构光投影模块及图像接收模块电连接，上述系统主控模块包括存储器与处理器，存储器上存储计算机程序，所述计算机程序被处理器执行时，完成上述基于结构光的三维测量方法中步骤3的过程。
进一步地，为了更好地对被测物体进行三维重建，各个摄像头的景深最好要有重合区域，例如摄像头a的景深范围是200mm～500mm，摄像头b的景深范围是400mm～1000mm，摄像头c的景深范围是800mm～2000mm。
本发明还提供另一种基于结构光的三维测量方法，其特殊之处在于，包括以下步骤：
步骤1、利用投影景深不同的多个有焦结构光投影模块向被测物体投射不同波长的编码结构光；有焦结构光投影模块是指其投影的结构光在一段距离内(也就是其景深范围内)是清楚的，在景深范围外是模糊的，如DLP(数字光处理)结构光模组。
步骤2、利用与有焦结构光投影模块具有相同景深及包含对应波长滤光片的摄像头或者景深范围与有焦结构光投影模块重叠并具有包含对应波长滤光片的摄像头采集相应结构光图片，此时，我们定义各个摄像头的景深为各摄像头景深和与之对应的有焦结构光投影模块景深的重叠区域；
步骤3、处理各摄像头拍摄的结构光图片，计算出被测物体的点云；
先分别处理各摄像头拍摄的结构光图片，获得相应的点云；将各摄像头的三维点云数据进行融合，得到被测物体的点云数据。
进一步地，步骤3具体为：
a、分别计算各个摄像头拍摄的结构光图片，得到与各个摄像头对应的点云；
b、删除各个摄像头对应点云中位于摄像头景深之外的点云，分别得到位于各个摄像头景深范围内的点云；
c、将结构光投射到被测物体表面的位置点作为特征点，计算不同摄像头拍摄的结构光图片的对应关系，进而得到多个位于各个摄像头景深范围内点云的对应关系；
d、以主摄像头景深范围内点云为基准，根据多个位于各个摄像头景深范围内点云的对应关系，将其他摄像头景深范围内点云通过平移和旋转转换到主摄像头的坐标系下，得到被测物体的点云。
进一步地，还包括步骤e、对摄像头景深重叠区域的点云进行融合，使得点云在两个摄像头的景深重叠区域过渡更加平滑。
步骤e具体为：对于任意两个摄像头景深的重合区域，可以将这两个摄像头景深重叠区域的点云叠加起来，得到被测物体更加密集的点云；也可以对两个摄像头重叠区域的点云进行平均或者加权平均，将平均或者加权平均后的点云作为景深重合区域的点云，这样，融合后的点云过渡平滑，在过渡区域不出现明显的跳变。
进一步地，步骤d中，可以将景深处于中间位置的摄像头或者景深范围最常用的摄像头作为主摄像头。
本发明还提供一种大景深三维深度相机系统，其特殊之处在于：包括多个有焦结构光投影模块、图像接收模块及系统主控模块；
上述多个有焦结构光投影模块具有不同的投影景深，分别用于向被测物体投射一组不同波长的编码结构光；
上述图像接收模块包括多个具有不同景深的摄像头，多个摄像头与多个有焦结构光投影模块一一对应，且相对应的摄像头与有焦结构光投影模块具有相同的景深，或者相对应的摄像头的景深与有焦结构光投影模块有重叠区域，此时，我们定义各个摄像头的景深为各摄像头景深和与之对应的有焦结构光投影模块景深的重叠区域；上述具有不同景深的摄像头还可以设有滤光片，各个摄像头的滤光片要与各个有焦结构光投影模块的投影激光器波长对应，用于同时采集相应有焦结构光投影模块投影至被测物体反射的结构光图片；
上述系统主控模块与有焦结构光投影模块及图像接收模块电连接，上述系统主控模块包括存储器与处理器，存储器上存储计算机程序，所述计算机程序被处理器执行时，完成上述基于结构光的三维测量方法中步骤3的过程。
进一步地，为了更好地对被测物体进行三维重建，各个摄像头的景深最好要有重合区域，例如摄像头a的景深范围是200mm～500mm，摄像头b的景深范围是400mm～1000mm，摄像头c的景深范围是800mm～2000mm。
本发明的有益效果是：
1、本发明利用无焦结构光投影模块投影大景深结构光，以此保证投影的结构光不会失焦，同时利用多个不同景深的摄像头对被测物体进行三维建模，从而实现增大整个结构光成像系统景深的目的。
2、本发明利用多个不同景深的有焦结构光投影模块分时段投影不同景深的结构光，利用多个景深与有焦结构光投影模块相对应的摄像头对被测物体进行三维建模，从而实现增大整个结构光成像系统景深的目的。
3、本发明利用不同景深的多个不同投影波长的有焦结构光投影模块投影不同景深的结构光，利用多个不同景深的，滤光片波长与有焦结构光投影模块分别对应的多个摄像头同时对被测物体进行三维建模，从而实现增大整个结构光成像系统景深的目的。
附图说明
图1是实施例1中选用无焦结构光投影模块的三维深度相机系统示意图；
图2是实施例3中选用有焦结构光投影模块的三维深度相机系统示意图；
图3是根据本发明实施例的摄像头a和摄像头b的景深重叠区域的示意图；
图4是根据本发明实施例的摄像头b和摄像头c的景深重叠区域的示意图；
图5是根据本发明实施例的摄像头b和摄像头c三维重建的点云在景深重叠区域对应点的示意图；
图6是根据本发明实施例的摄像头a和摄像头b拍摄的图片根据投射到被测物体上的结构光进行特征点匹配，以实现图片融合的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
实施例1
从图1可以看出，本实施例涉及的三维深度相机系统主要包含如下三部分：图像接收模块1，编码结构光投影模组2和系统主控模块3。其中编码结构光投影模组2选用无焦结构光投影模块，用于向被测物体投影编码结构光；这里的无焦结构光投影模块是指其投影的结构光不会失焦，其实现可以由单束激光经过一维或者二维扫描微振镜的作用或者激光器阵列等方式实现；图像接收模块1用于采集从被测物体反射的结构光图片序列，其中，图像接收模块1中的a，b，c分别表示不同景深的摄像头模组，用于采集被测物体不同景深的结构光图片；系统主控模块3与无焦结构光投影模块及图像接收模块1电连接，接收图像接收模块不同摄像头采集的结构光图片，并对结构光图片分别计算，分别得到被测物体的相应三维点云数据，然后将得到的三维点云数据进行融合，得到被测物体的点云数据。具体过程如下：
首先，无焦结构光投影模块向被测物体投射一组编码结构光。同时，图像接收模块1中的摄像头a，b，和c同时采集从被测物体反射的结构光图片。其中，摄像头a的景深范围是200mm～500mm，摄像头b的景深范围是400mm～1000mm，摄像头c的景深范围是800mm～2000mm。
然后系统主控模块3根据摄像头a，摄像头b和摄像头c拍摄的结构光图片，分别计算出相应待测物体的三维点云。由于根据摄像头a，摄像头b和摄像头c拍摄的结构光图片计算出来的点云分别是以各自的相机坐标系构建的点云，所以，我们需要首先将三个点云通过旋转和位移变换到同一坐标系下。此例中，我们以摄像头b作为主摄像头，那么我们就需要将摄像头b的相机坐标系作为整个系统的坐标系，并且将根据摄像头a和摄像头c拍摄的结构光图片计算出来的点云经过RT变换(旋转和位移变换)，变换到摄像头b的相机坐标系，然后进行点云融合。
在进行点云融合时，由于三个摄像头的景深已知，并且摄像头景深之外的点云往往误差较大，所以我们需要将三个摄像头各自景深之外的点云删掉，然后对剩余部分进行融合。
由于此例中三个摄像头的景深范围是重合的，所以点云融合的难点在于重合区域的融合。例如摄像头a和摄像头b的重合区域是400mm～500mm，如图3所示，摄像头b和摄像头c的重合区域是800mm～1000mm，如图4所示。为了使融合后的点云过渡平滑，在过渡区域不出现明显的跳变，本实例中采用移动加权平均算法。该方法主要过程如下：
我们首先以摄像头b和摄像头c的重合区域的点云作为融合对象，并且将摄像头b作为主摄像头。我们知道在结构光三维重建过程中，摄像头中图像传感器的每个像素与该摄像头拍摄图片计算出来的点云是一一对应关系，即：每一个像素对应点云中的一个点，点云中的每一个点对应图像传感器中的一个像素。所以在进行摄像头b和摄像头c的点云融合时，为了找到他们点云之间的对应关系，我们需要首先找到他们拍摄图片之间的对应关系，该关系可以经过两摄像头的标定得到。所以在进行融合时，我们可以首先计算出摄像头b在重合区域的点云中每个点与摄像头c在重合区域点云的对应关系。假设摄像头b的点云在重合区域中的点p的坐标值为(px,py,pz)，它对应于摄像头c的点云在重合区域的点q，坐标值为(qx,qy,qz)，如图5所示，那么它们融合后点p′的坐标为
同理，可以计算出摄像头b和摄像头c重合区域融合后的点云，以及摄像头a和摄像头b重合区域融合后的点云。
实施例2
与实施示例1不同的是，系统主控模块3接收到图像接收模块1不同摄像头采集的结构光图片后，先将结构光图片进行融合得到被测物体的大景深图片，然后利用融合后的大景深图片计算得到被测物体的三维点云。具体过程如下：
首先，无焦结构光投影模块向被测物体投射一组编码结构光。同时，图像接收模块1中的摄像头a，b和c同时采集从被测物体反射的结构光图片。其中，摄像头a的景深范围是200mm～500mm，摄像头b的景深范围是400mm～1000mm，摄像头c的景深范围是800mm～2000mm。
然后系统主控模块3将摄像头a，摄像头b和摄像头c拍摄的图片进行融合，得到融合后的图片。具体方法为：
我们都知道，两张以上的图片进行融合时，关键在于找出这几张图片中的的特征点，也就是找到被测物体上的某一点分别对应这几张图片中的哪些坐标点。只要找出了这些特征点，就可以算出这几张图片的对应关系，进而对这几张图片进行融合。而无焦结构光投影模块2投射的结构光就是对被测物体表面的编码，不同位置用不同的编码表示，所以结构光投射到的位置就可以作为特征点，通过这些特征点，就可以计算出不同摄像头拍摄的结构光图片的对应关系，进而可以对这几个摄像头拍摄的结构光图片进行融合，如图6所示。需要注意的是，我们一般选取景深最常用的摄像头作为主摄像头，将其他摄像头拍摄的结构光图片分别融合到主摄像头拍摄的图片中。最后将融合后的结构光图片进行计算，就可以得到被测物体的三维点云。
由于景深的限制，每个摄像头拍摄的图像都有清晰的地方(图像未失焦)和模糊的地方(图像失焦)，所以本方法的目的是通过将摄像头a，摄像头b，和摄像头c拍摄图像的清晰部分组合起来，得到融合后清晰的图像。具体而言，假设对于被测物体的某一区域，该区域在摄像头a的景深范围内，但是不在摄像头b和摄像头c的景深范围内，那么，摄像头a拍摄的图片是清楚的，而摄像头b和摄像头c拍摄的图像是模糊的，所以融合后的图片在该区域应该选择摄像头a拍摄的；假如该区域在摄像头b的景深范围内，但是不在摄像头a和摄像头c的景深范围内，那么，摄像头b拍摄的图片是清楚的，而摄像头a和摄像头c拍摄的图像是模糊的，所以融合后的图片在该区域应该选择摄像头b拍摄的；假如该区域在摄像头c的景深范围内，但是不在摄像头a和摄像头b的景深范围内，那么，摄像头c拍摄的图片是清楚的，而摄像头a和摄像头b拍摄的图像是模糊的，所以融合后的图片在该区域应该选择摄像头c拍摄的。
所以该方法的难点在于找出融合后图片中所有区域在谁的景深范围内，或者哪个摄像头拍摄该区域的图片是清楚的。本实例采用的方法是迭代法，具体为：先将主摄像头b拍摄的图片作为融合后的图片，根据该图片计算被测物体的三维点云。根据该点云数据即可以得到被测物体每个区域的深度值，进而可以得到该区域在哪个摄像头的景深范围内，从而在下一次融合时该区域选用该摄像头拍摄的图片。也就是说，每次对各个摄像头拍摄的图片进行融合时，根据上一次计算的点云数据，确定融合时每个区域选用哪个摄像头拍摄的图片，完成图片的融合。需要注意的是，当某区域的深度值落在两个摄像头的景深重叠区域时，选取这两个摄像头中的任何一个拍摄的图片都可以，但是尽量选取主摄像头拍摄的图片，因为融合图片是以主摄像头拍摄的图片作为基础图片的，选用主摄像头拍摄的图片不用再经过其他变换，而如果选取其他摄像头拍摄的图片，融合时还需要先将图片变换到主摄像头拍摄图片的图片坐标系下，再进行融合。
实施例3
从图2可以看出，与实施示例1不同的是，本实施例采用多个有焦结构光投影模块作为编码结构光投影模组2，如图2中的A，B，C所示，不同的有焦投影模块具有不同的投影景深，分时段投影结构光。有焦结构光投影模块是指其投影的结构光在一段距离内(也就是其景深范围内)是清楚的，在景深范围外是模糊的，如DLP(数字光处理)结构光模组。同时，图像接收模块1也包含不同景深的摄像头模组，如图2中的a，b，c所示，并且图像接收模块1中的摄像头a，摄像头b和摄像头c的景深要与编码结构光投影模组2中有焦投影模块的投影景深一一对应，二者景深可以相同，也可以具有重叠区域即可，此时，我们定义摄像头的景深为摄像头景深与有焦结构光投影模块景深的重叠区域；用于分别采集投影模块A，B，C投射到被测物体的结构光图片。系统主控模块3对图片分别计算，分别得到被测物体的三维点云数据，然后将得到的三维点云数据进行融合，得到被测物体的点云数据。具体过程如下：
首先，编码结构光投影模块A投射一组编码结构光。同时，图像接收模块中的摄像头a采集从被测物体反射的结构光图片。
然后，编码结构光投影模块B投射一组编码结构光。同时，图像接收模块中的摄像头b采集从被测物体反射的结构光图片。
然后，编码结构光投影模块C投射一组编码结构光。同时，图像接收模块中的摄像头c采集从被测物体反射的结构光图片。
然后，系统主控模块3分别根据摄像头a，摄像头b和摄像头c拍摄的结构光图片计算出被测物体的三维点云。最后使用实施例1中的方法对摄像头a，摄像头b和摄像头c的点云进行融合得到被测物体的点云。
实施例4
与实施示例3不同的是，编码结构光投影模组2由多个有焦投影模块构成，如图2中的A，B，C所示，不同的有焦投影模块具有不同的投影景深，并且可以同时投影不同波长的结构光。同时，图像接收模块1也包含不同景深的摄像头模组，如图2中的a，b，c所示，并且图像接收模块1中的摄像头a，摄像头b和摄像头c的景深要与编码结构光投影模组2中有焦投影模块的投影景深对应，图像接收模块1中的摄像头a，摄像头b和摄像头c的滤光片波长要与编码结构光投影模组2中有焦投影模块的投影光波长对应，用于分别采集投影模块A，B，C投射到被测物体的结构光图片。具体过程如下：
首先，编码结构光投影模块A，编码结构光投影模块B和编码结构光投影模块C分别投射一组编码结构光。同时，图像接收模块中的摄像头a，摄像头b和摄像头c分别采集被测物体上结构光投影模块A，B和C投射的结构光图片。
然后，分别由摄像头a，摄像头b和摄像头c拍摄的图片计算出被测物体的三维点云。最后使用实施例1中的方法对摄像头a，摄像头b和摄像头c的点云进行融合得到被测物体的点云。
Claims (17)
1.一种基于结构光的三维测量方法，其特征在于，包括以下步骤：
步骤1、利用无焦结构光投影模块向被测物体投射一组编码结构光；
步骤2、利用多个具有不同景深的摄像头同时采集被测物体反射的结构光图片；
步骤3、处理各摄像头拍摄的结构光图片，计算出被测物体的三维点云；
先分别处理各摄像头拍摄的结构光图片，获得相应的点云；将各摄像头对应的点云进行融合，得到被测物体的点云；具体包括：
a、分别计算各个摄像头拍摄的结构光图片，得到与各个摄像头对应的点云；
b、删除各个摄像头对应点云中位于摄像头景深之外的点云，分别得到位于各个摄像头景深范围内的点云；
c、将结构光投射到被测物体表面的位置点作为特征点，计算不同摄像头拍摄的结构光图片的对应关系，进而得到多个位于各个摄像头景深范围内点云的对应关系；
d、以主摄像头景深范围内点云为基准，根据多个位于各个摄像头景深范围内点云的对应关系，将其他摄像头景深范围内点云通过平移和旋转转换到主摄像头的坐标系下，得到被测物体的点云；
或，先将各摄像头拍摄的结构光图片进行融合得到大景深图片，再将大景深图片进行计算得到被测物体的点云，具体包括：
a、先将主摄像头拍摄的图片作为融合后的大景深图片，根据该图片计算被测物体的三维点云；
b、根据步骤a计算的三维点云数据得到被测物体每个区域的深度值；
c、根据被测物体每个区域的深度值得到相应区域在哪个摄像头的景深范围内，即得到被测物体各个区域与相应摄像头的对应列表；
d、融合时，根据被测物体各个区域与相应摄像头的对应列表，针对被测物体不同区域选用相应摄像头拍摄的结构光图片实现融合；
e、将步骤d融合后的图片作为大景深图片，并根据该图片计算被测物体的三维点云；
f、根据步骤e计算的被测物体的三维点云数据得到被测物体每个区域的深度值；重复步骤c到e，直到两次计算的点云差异在误差范围内为止。
2.根据权利要求1所述的基于结构光的三维测量方法，其特征在于，先分别处理各摄像头拍摄的结构光图片，获得相应的点云；将各摄像头对应的点云进行融合，得到被测物体的点云中的步骤d之后还包括步骤e：对摄像头景深重叠区域的点云进行融合，使得点云在两个摄像头的景深重叠区域过渡更加平滑；
对于任意两个摄像头景深的重合区域，将这两个摄像头景深重叠区域的点云叠加起来，得到被测物体更加密集的点云；
或，对任意两个摄像头景深的重合区域的点云进行平均或者加权平均，将平均或者加权平均后的点云作为景深重合区域的点云。
3.根据权利要求2所述的基于结构光的三维测量方法，其特征在于：先分别处理各摄像头拍摄的结构光图片，获得相应的点云；将各摄像头对应的点云进行融合，得到被测物体的点云中的步骤d中，将景深处于中间位置的摄像头或者景深范围最常用的摄像头作为主摄像头。
4.根据权利要求3所述的基于结构光的三维测量方法，其特征在于：先将各摄像头拍摄的结构光图片进行融合得到大景深图片，再将大景深图片进行计算得到被测物体的点云中的步骤d中，具体融合时，将结构光投射到被测物体表面的位置点作为特征点。
5.一种大景深三维深度相机系统，其特征在于：包括无焦结构光投影模块、图像接收模块及系统主控模块；
所述无焦结构光投影模块用于向被测物体投射一组编码结构光；
所述图像接收模块包括多个具有不同景深的摄像头，用于采集从被测物体反射的结构光图片；
所述系统主控模块与无焦结构光投影模块及图像接收模块电连接，所述系统主控模块包括存储器与处理器，存储器上存储计算机程序，所述计算机程序被处理器执行时，完成权利要求1-4任一所述基于结构光的三维测量方法中步骤3的过程。
6.根据权利要求5所述的大景深三维深度相机系统，其特征在于：所述无焦结构光投影模块包括单个激光器及设置在激光器出射光路中的一维或者二维扫描微振镜；
或，所述无焦结构光投影模块由激光器阵列构成。
7.根据权利要求6所述的大景深三维深度相机系统，其特征在于：各个摄像头的景深有重合区域。
8.一种基于结构光的三维测量方法，其特征在于，包括以下步骤：
步骤1、利用投影景深不同的多个有焦结构光投影模块分时段向被测物体投射编码结构光；
步骤2、利用与各个有焦结构光投影模块具有相同景深的多个摄像头或者景深范围与各个有焦结构光投影模块重叠的多个摄像头，分别采集相应结构光图片，此时，定义各个摄像头的景深为各摄像头景深和与之对应的有焦结构光投影模块景深的重叠区域；
步骤3、处理各摄像头拍摄的结构光图片，计算出被测物体的点云；
先分别处理各摄像头拍摄的结构光图片，获得相应的点云；将各摄像头对应的点云进行融合，得到被测物体的点云数据，具体包括：
a、分别计算各个摄像头拍摄的结构光图片，得到与各个摄像头对应的点云；
b、删除各个摄像头对应点云中位于摄像头景深之外的点云，分别得到位于各个摄像头景深范围内的点云；
c、将结构光投射到被测物体表面的位置点作为特征点，计算不同摄像头拍摄的结构光图片的对应关系，进而得到多个位于各个摄像头景深范围内点云的对应关系；
d、以主摄像头景深范围内点云为基准，根据多个位于各个摄像头景深范围内点云的对应关系，将其他摄像头景深范围内点云通过平移和旋转转换到主摄像头的坐标系下，得到被测物体的点云。
9.根据权利要求8所述的基于结构光的三维测量方法，其特征在于，步骤d之后还包括步骤e：对摄像头景深重叠区域的点云进行融合，使得点云在两个摄像头的景深重叠区域过渡更加平滑；
对于任意两个摄像头景深的重合区域，将这两个摄像头景深重叠区域的点云叠加起来，得到被测物体更加密集的点云；
或，对任意两个摄像头景深的重合区域的点云进行平均或者加权平均，将平均或者加权平均后的点云作为景深重合区域的点云。
10.根据权利要求9所述的基于结构光的三维测量方法，其特征在于：步骤d中，将景深处于中间位置的摄像头或者景深范围最常用的摄像头作为主摄像头。
11.一种大景深三维深度相机系统，其特征在于：包括多个有焦结构光投影模块、图像接收模块及系统主控模块；
所述多个有焦结构光投影模块具有不同的投影景深，用于分时段向被测物体投射一组编码结构光；
所述图像接收模块包括多个具有不同景深的摄像头，多个摄像头与多个有焦结构光投影模块一一对应，且相对应的摄像头与有焦结构光投影模块具有相同的景深，或者相对应的摄像头的景深与有焦结构光投影模块有重叠区域，此时，定义各个摄像头的景深为各摄像头景深和与之对应的有焦结构光投影模块景深的重叠区域；用于采集相应有焦结构光投影模块投影至被测物体反射的结构光图片；
所述系统主控模块与有焦结构光投影模块及图像接收模块电连接，所述系统主控模块包括存储器与处理器，存储器上存储计算机程序，所述计算机程序被处理器执行时，完成权利要求8至10任一所述基于结构光的三维测量方法中步骤3的过程。
12.根据权利要求11所述的一种大景深三维深度相机系统，其特征在于：各个摄像头的景深有重合区域。
13.一种基于结构光的三维测量方法，其特征在于，包括以下步骤：
步骤1、利用投影景深不同的多个有焦结构光投影模块向被测物体投射不同波长的编码结构光；
步骤2、利用与有焦结构光投影模块具有相同景深及包含对应波长滤光片的摄像头或者景深范围与有焦结构光投影模块重叠并包含对应波长滤光片的摄像头采集相应结构光图片，此时，定义各个摄像头的景深为各摄像头景深和与之对应的有焦结构光投影模块景深的重叠区域；
步骤3、处理各摄像头拍摄的结构光图片，计算出被测物体的点云；
先分别处理各摄像头拍摄的结构光图片，获得相应的点云；将各摄像头对应的点云进行融合，得到被测物体的点云，具体包括：
a、分别计算各个摄像头拍摄的结构光图片，得到与各个摄像头对应的点云；
b、删除各个摄像头对应点云中位于摄像头景深之外的点云，分别得到位于各个摄像头景深范围内的点云；
c、将结构光投射到被测物体表面的位置点作为特征点，计算不同摄像头拍摄的结构光图片的对应关系，进而得到多个位于各个摄像头景深范围内点云的对应关系；
d、以主摄像头景深范围内点云为基准，根据多个位于各个摄像头景深范围内点云的对应关系，将其他摄像头景深范围内点云通过平移和旋转转换到主摄像头的坐标系下，得到被测物体的点云。
14.根据权利要求13所述的基于结构光的三维测量方法，其特征在于，步骤d之后还包括步骤e：对摄像头景深重叠区域的点云进行融合，使得点云在两个摄像头的景深重叠区域过渡更加平滑；
对于任意两个摄像头景深的重合区域，将这两个摄像头景深重叠区域的点云叠加起来，得到被测物体更加密集的点云；
或，对任意两个摄像头景深的重合区域的点云进行平均或者加权平均，将平均或者加权平均后的点云作为景深重合区域的点云。
15.根据权利要求14所述的基于结构光的三维测量方法，其特征在于：步骤d中，将景深处于中间位置的摄像头或者景深范围最常用的摄像头作为主摄像头。
16.一种大景深三维深度相机系统，其特征在于：包括多个有焦结构光投影模块、图像接收模块及系统主控模块；
所述多个有焦结构光投影模块具有不同的投影景深，分别用于向被测物体投射一组不同波长的编码结构光；
所述图像接收模块包括多个具有不同景深的摄像头，多个摄像头与多个有焦结构光投影模块一一对应，且相对应的摄像头与有焦结构光投影模块具有相同的景深，或者相对应的摄像头的景深与有焦结构光投影模块有重叠区域，此时，定义各个摄像头的景深为各摄像头景深和与之对应的有焦结构光投影模块景深的重叠区域；所述具有不同景深的摄像头设有不同波长的滤光片，各个摄像头的滤光片与各个有焦结构光投影模块的投影激光器波长对应，用于同时采集相应有焦结构光投影模块投影至被测物体反射的结构光图片；
所述系统主控模块与有焦结构光投影模块及图像接收模块电连接，所述系统主控模块包括存储器与处理器，存储器上存储计算机程序，所述计算机程序被处理器执行时，完成上述权利要求13-15任一所述基于结构光的三维测量方法中步骤3的过程。
17.根据权利要求16所述的一种大景深三维深度相机系统，其特征在于：各个摄像头的景深有重合区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210072630.4A CN114413787B (zh) | 2022-01-21 | 2022-01-21 | 基于结构光的三维测量方法及大景深三维深度相机系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210072630.4A CN114413787B (zh) | 2022-01-21 | 2022-01-21 | 基于结构光的三维测量方法及大景深三维深度相机系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114413787A CN114413787A (zh) | 2022-04-29 |
| CN114413787B true CN114413787B (zh) | 2024-04-19 |
Family
ID=81274865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210072630.4A Active CN114413787B (zh) | 2022-01-21 | 2022-01-21 | 基于结构光的三维测量方法及大景深三维深度相机系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114413787B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274352B (zh) * | 2023-11-17 | 2024-02-06 | 四川川大智胜软件股份有限公司 | 一种三维重建系统、相位计算方法和三维重建方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013088261A (ja) * | 2011-10-17 | 2013-05-13 | Canon Inc | 三次元形状計測装置、三次元形状計測装置の制御方法、およびプログラム |
| CN104634276A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 三维测量系统、拍摄设备和方法、深度计算方法和设备 |
| CN107395974A (zh) * | 2017-08-09 | 2017-11-24 | 广东欧珀移动通信有限公司 | 图像处理系统及方法 |
| CN110288642A (zh) * | 2019-05-25 | 2019-09-27 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 基于相机阵列的三维物体快速重建方法 |
| CN112070709A (zh) * | 2020-09-04 | 2020-12-11 | 三一重工股份有限公司 | 三维点云信息的采集方法、装置及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7768656B2 (en) * | 2007-08-28 | 2010-08-03 | Artec Group, Inc. | System and method for three-dimensional measurement of the shape of material objects |
| CN107748475A (zh) * | 2017-11-06 | 2018-03-02 | 深圳奥比中光科技有限公司 | 结构光投影模组、深度相机及制造结构光投影模组的方法 |
-
2022
- 2022-01-21 CN CN202210072630.4A patent/CN114413787B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013088261A (ja) * | 2011-10-17 | 2013-05-13 | Canon Inc | 三次元形状計測装置、三次元形状計測装置の制御方法、およびプログラム |
| CN104634276A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 三维测量系统、拍摄设备和方法、深度计算方法和设备 |
| CN107395974A (zh) * | 2017-08-09 | 2017-11-24 | 广东欧珀移动通信有限公司 | 图像处理系统及方法 |
| CN110288642A (zh) * | 2019-05-25 | 2019-09-27 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 基于相机阵列的三维物体快速重建方法 |
| CN112070709A (zh) * | 2020-09-04 | 2020-12-11 | 三一重工股份有限公司 | 三维点云信息的采集方法、装置及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于动态参数控制的结构光三维扫描系统;沈杭锦;吴以凡;张桦;吴燕萍;;杭州电子科技大学学报;20131215(06);第53-56页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114413787A (zh) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7043085B2 (ja) | 視点から距離情報を取得するための装置及び方法 | |
| CN109813251B (zh) | 用于三维测量的方法、装置以及系统 | |
| US8290358B1 (en) | Methods and apparatus for light-field imaging | |
| EP3650807A1 (en) | Handheld large-scale three-dimensional measurement scanner system simultaneously having photography measurement and three-dimensional scanning functions | |
| CN102494609B (zh) | 一种基于激光探针阵列的三维摄影方法及装置 | |
| US9456198B2 (en) | Depth estimating image capture device and image sensor | |
| CN108924408B (zh) | 一种深度成像方法及系统 | |
| US9681037B2 (en) | Imaging apparatus and its control method and program | |
| CA2299426A1 (en) | Scanning apparatus and methods | |
| CN109883391B (zh) | 基于微透镜阵列数字成像的单目测距方法 | |
| CN105282443A (zh) | 一种全景深全景图像成像方法 | |
| EP3480648A1 (en) | Adaptive three-dimensional imaging system | |
| CN111080705B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
| CN105184784A (zh) | 基于运动信息的单目相机获取深度信息的方法 | |
| JP2000065542A (ja) | ３次元画像撮影装置 | |
| CN114413787B (zh) | 基于结构光的三维测量方法及大景深三维深度相机系统 | |
| CN108881717A (zh) | 一种深度成像方法及系统 | |
| JP2000009442A (ja) | ３次元画像撮影装置 | |
| US10404904B2 (en) | Focus detection device, focus adjustment device, and camera | |
| CN108924407B (zh) | 一种深度成像方法及系统 | |
| CN111127379B (zh) | 光场相机2.0的渲染方法及电子设备 | |
| JP7300895B2 (ja) | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 | |
| CN108616698B (zh) | 成像装置 | |
| CN114187724B (zh) | 一种基于亿级像素相机的目标区域安防与监控系统 | |
| CN110708532A (zh) | 一种普适光场单元图像生成方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |