CN107403449B - 一种基于光度立体视觉的视觉系统及其三维重建方法 - Google Patents
一种基于光度立体视觉的视觉系统及其三维重建方法 Download PDFInfo
- Publication number
- CN107403449B CN107403449B CN201710674505.XA CN201710674505A CN107403449B CN 107403449 B CN107403449 B CN 107403449B CN 201710674505 A CN201710674505 A CN 201710674505A CN 107403449 B CN107403449 B CN 107403449B
- Authority
- CN
- China
- Prior art keywords
- cameras
- leds
- spot generator
- measured object
- vision system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 28
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 9
- 230000001960 triggered effect Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 description 9
- 238000002310 reflectometry Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004148 unit process Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000011872 anthropometric measurement Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于光度立体视觉的视觉系统,包括:光斑发生器,所述光斑发生器能够投射密集的斑点;至少3个LED,所述至少3个LED的每一个形成一个点光源;两个相机,所述两个相机构成一对立体相机;和控制电路,所述控制电路分别与光斑发生器、至少3个LED和两个相机通信连接,以控制:所述光斑发生器投射密集的斑点;所述至少3个LED相继被点亮,且在同一时间只有一个LED被点亮;所述两个相机被同时触发以采集在光斑发生器照射下的物体表面的图像;和所述两个相机中的一个被触发以采集在LED照射下的物体表面的图像。本发明还公开了相应的三维重建方法。本发明的视觉系统体积小,且有快速测量模式和精确测量模式。
Description
技术领域
本发明涉及光学三维测量领域,尤其涉及一种基于光度立体视觉的视觉系统及其三维重建方法。
背景技术
三维重建技术在三维建模、逆向工程、3D打印、人体测量、人机交互、电影和动画制作等方面具有广泛的应用。基于正弦条纹的系统,具有很高的测量精度,但成本高,因此难以在消费级应用中使用。近年来,廉价的三维成像传感器如Kinect)使得3D数据获取的成本大大降低,但这些廉价的传感器精度很有限,不能直接得到高精度的三维重建。目前为了提高三维重建的精度,一类方法是对多点观测的三维点云进行加权平均,另一类方法是与其他类型的三维重建方法进行融合,如光度立体视觉方法、从明暗恢复形状的方法等。
其中,经典的光度立体视觉方法利用同一个相机拍摄的3张不同光照条件下的图像,可以计算出被测物体表面的法线方向。光度立体视觉方法能够很好地重建表面的高频细节,但得到的结果容易出现低频的畸变。并且光度立体视觉方法大部分还处于实验室研究阶段,对使用的条件要求非常严格。此外,基于点光源的光度立体视觉系统比基于平行光的立体视觉系统具有更加紧凑的结构,但为了保证法线方向估计的精度,各个点光源之间需要保持着较大的间距,这就使得立体视觉系统的体积较大。有的立体视觉方法假设目标表面具有均匀的反射率,对具有均匀反射率的目标重建效果很好,但不适用于具有多反射率的目标。而在实际应用环境中,具有多反射率的目标是很常见的。并且有些对传感器尺寸很敏感的产品,比如手机,其希望搭载或外挂的3D传感器的尺寸越小越好。
发明内容
为了解决以上技术问题,本发明提出了一种可以结合光度立体视觉和传统立体视觉的视觉系统,该系统可以有快速测量模式和精确测量模式两种模式,并且,该系统中点光源之间的距离可以很小,这就使得本发明的系统体积可以做到很小,从而具备良好的便携性和实用性。本发明还提出一种可以结合光度立体视觉和传统立体视觉的三维重建方法,其能适应具有多反射率表面的被测物体,大大提高了立体视觉的三维重建精度。
本发明解决上述技术问题所采用的技术方案如下:
根据本发明的一方面,一种基于光度立体视觉的视觉系统,所述视觉系统包括如下装置:
光斑发生器,所述光斑发生器能够投射密集的斑点;
至少3个LED,所述至少3个LED的每一个形成一个点光源;
两个相机,所述两个相机构成一对立体相机;和
控制电路,所述控制电路分别与光斑发生器、至少3个LED和两个相机通信连接,以控制:所述光斑发生器投射密集的斑点;所述至少3个LED相继被点亮,且在同一时间只有一个LED被点亮;所述两个相机被同时触发以采集在光斑发生器照射下的物体表面的图像;和所述两个相机中的一个被触发以采集在LED照射下的物体表面的图像。
作为本发明上述技术方案的可选方案,所述视觉系统还包括封装外壳,光斑发生器和两个相机嵌入在封装外壳的同一表面且光斑发生器位于该表面的中心位置。
作为本发明上述技术方案的可选方案,所述两个相机对称地固定在光斑发生器的两侧。
作为本发明上述技术方案的可选方案,LED为3个或4个。
作为本发明上述技术方案的进一步改进,所述视觉系统还包括与LED数量相同的多个旋转臂,其中多个旋转臂的一端分别固定有一个LED,多个旋转臂的另一端以光斑发生器为中心对称地枢轴连接于封装外壳上。
作为本发明上述技术方案的进一步改进,所述多个旋转臂的长度小于封装外壳长轴的一半。
作为本发明上述技术方案的进一步改进,所述封装外壳为六面体,且在连接旋转臂的位置处均设置有长条形凹槽。
作为本发明上述技术方案的进一步改进,所述视觉系统中的光斑发生器为近红外光斑发生器,和/或两个相机为近红外相机。
作为本发明上述技术方案的可选方案,所述视觉系统还包括数据处理单元,所述数据处理单元对两个相机采集的图像进行处理和分析。
根据本发明的另一方面,一种基于光度立体视觉的三维重建方法,所述方法包括如下步骤:
通过光斑发生器向被测物体表面投射密集的斑点;
使用一对立体相机同时采集密集的斑点图像;
相继点亮至少三个LED,且在同一时间只有一个LED被点亮,使用一个相机分别同时采集单个LED被点亮时的图像;
对立体相机所采集的密集的斑点图像进行处理以得到被测物体的初始深度图;
对单个LED照射下的至少三幅图像进行处理以得到被测物体表面的法线方向;
将被测物体的初始深度图和被测物体表面的法线方向进行融合,从而得到优化后的被测物体的目标深度图。
本发明相对现有技术具有如下有益的技术效果:
在本发明的一种基于光度立体视觉的视觉系统中,首先,控制电路可以控制光斑发生器投射密集的斑点,之后控制两个相机被同时触发以采集在光斑发生器照射下的物体表面的斑点图像,从而可以通过对这对斑点图像进行处理以得到被测物体的初始深度像;其次,控制电路可以控制至少3个LED相继被点亮,且在同一时间只有一个LED被点亮,同时控制所述两个相机中的一个被触发以分别采集在单个LED照射下的物体表面的至少三幅图像,从而通过对这至少三幅图像进行处理以得到被测物体表面的法线方向,并通过融合被测物体的初始深度像和法线方向可以得到优化的深度像。也就是说,本发明的立体视觉系统可以有两种模式,一种是快速测量模式,即只利用控制电路控制光斑发生器和一对立体相机得到被测物体的初始深度像,另一种是高精度测量模式,即利用控制电路分别控制光斑发生器、一对立体相机和至少三个LED得到被测物体优化后的高精度深度图像。用户可以根据实际需要而任意选择两种模式。
在本发明的一种基于光度立体视觉的视觉系统中,视觉系统可以包括与LED数量相同的多个旋转臂,且多个旋转臂的其中一端枢轴连接于封装外壳上,则多个旋转臂可以绕各自的枢轴中心旋转,从而使本发明的立体视觉系统在第一种快速测量模式下,多个旋转臂可以尽量贴近本系统使得系统保持更小的体积,而在第二种高精度测量模式下,多个旋转臂可以展开使得LED之间有更大的间距从而得到更好的视觉测量效果。
在本发明的一种基于光度立体视觉的视觉系统中,封装外壳上连接旋转臂的位置处均设置有长条形凹槽,这样使得旋转臂旋转贴近视觉系统时可以被容纳在凹槽内,从而使得本发明的视觉系统的结构更加紧凑,从外表上看也更加美观。
本发明的一种基于光度立体视觉的三维重建方法,可以结合传统立体视觉方法和光度立体视觉方法,即将由传统立体视觉方法所得到的被测物体的粗略深度像与光度立体视觉方法所得到的被测物体表面的法线相融合,从而得到高精度的被测物体的深度像。
附图说明
图1为本发明一种基于光度立体视觉的视觉系统的另一个实施例的系统具体结构示意图;
图2为上述实施例中系统的旋转臂展开时的具体结构示意图;
图3为本发明一种基于光度立体视觉的视觉系统的另一个实施例的系统具体结构示意图;
图4为上述实施例中系统的旋转臂展开时的具体结构示意图;
图5为本发明一种基于光度立体视觉的三维重建方法的一个实施例中光斑发生器与LED被分别点亮的时序示意图;
图6为本发明一种基于光度立体视觉的三维重建方法的技术效果。
具体实施方式
以下结合附图对本发明的各个实施例作进一步详细地说明。
根据本发明的一方面,一种基于光度立体视觉的视觉系统的一个实施例,所述视觉系统可以包括如下装置:
光斑发生器10,所述光斑发生器10能够投射密集的斑点;
至少3个LED,所述至少3个LED的每一个形成一个点光源;
两个相机31、32,所述两个相机31、32构成一对立体相机;和
控制电路,所述控制电路分别与光斑发生器10、至少3个LED和两个相机31、32通信连接,以控制:所述光斑发生器10投射密集的斑点;所述至少3个LED相继被点亮,且在同一时间只有一个LED被点亮;所述两个相机31、32被同时触发以采集在光斑发生器10照射下的物体表面的图像;和所述两个相机31、32中的一个被触发以采集在LED照射下的物体表面的图像。
作为本发明上述实施例的优选实施方式,所述视觉系统还包括封装外壳50,光斑发生器10和两个相机31、32嵌入在封装外壳50的同一表面且光斑发生器10位于该表面的中心位置。优选地,所述两个相机31、32对称地固定在光斑发生器10的两侧。当然,根据实际测量需要,两个相机31、32也可以不对称地固定在光斑发生器10的两侧,只要两个相机31、32能够同时拍摄到光斑发生器10照射下的物体表面的图像即可,这样便可以根据立体视觉测量领域中常用的立体视觉匹配方法,例如,极线约束方法,得到被测物体的初始深度像。在封装外壳50的内部,两个相机31、32可以固定安装在刚性的结构上,以保证它们之间的相互位置关系保持不变。
作为本发明上述实施例的优选实施方式,控制电路主要包括单片机及其外围电路。
在实施上述实施例的过程中,控制电路可以控制光斑发生器10投射各种类型的密集斑点,该密集斑点的形状可以是圆形、十字架形和其结合,和/或各种类似的密集斑点形状,只要其能够在两个相机31、32所拍摄的图像中被分别精确定位密集斑点的中心位置即可。
作为本发明上述实施例的进一步改进,所述视觉系统中的光斑发生器10可以为近红外光斑发生器10,和/或两个相机31、32为近红外相机。在这种情况下,近红外光斑发生器10可以向被测物体的表面投射近红外密集的散乱斑点,这样可以增强被测物体表面的纹理特性,并且,由相机采集的在近红外光斑发生器10投射下的被测物体表面的图像,与在普通可见光投射下的被测物体表面的图像不同,它们之间具有一定的互补特性。在光斑发生器10选择为近红外光斑发生器10的情况下,为了更好的拍摄效果,两个相机31、32也可以选择为近红外相机。更进一步,LED点光源也可以采用近红外LED点光源。
作为本发明上述实施例的优选实施方式,所述视觉系统还包括数据处理单元,所述数据处理单元对两个相机31、32采集的图像进行处理和分析,例如,对左右两个相机31、32采集的图像进行立体匹配。优选地,所述数据处理单元为基于现场可编程门阵列FPGA的数据处理单元。所述数据处理单元可以封装在封装外壳50内,也可以是单独的处理器,还可以是结合类似计算机的硬件。
作为上述实施例的一个具体实施方式,本申请的视觉系统可以由两个CMOS相机、一个波长为830nm的近红外光斑发生器10、至少三个中心波长为830nm的近红外LED点光源、控制电路和基于现场可编程门阵列的数据处理单元组成。相机的镜头上安装窄带滤光片,用于过滤环境光。两个相机31、32固定安装在一个刚性的结构上。两个相机31、32、光斑发生器10和LED的工作状态均由控制电路统一控制,控制电路主要包括单片机及其外围电路。数据处理单元对拍摄到的图像进行处理和分析。当然,本申请的视觉系统可以采用任何其它波段的近红外光斑发生器10、任何其它类型的近红外相机以及任何其它波段的近红外LED点光源。优选地,近红外光斑发生器10和近红外LED点光源的波段可以相同。
基于本发明的上述视觉系统,可以有两种模式,一种是快速测量模式,即只利用控制电路控制光斑发生器10和一对立体相机得到被测物体的初始深度像,另一种是高精度测量模式,即利用控制电路分别控制光斑发生器10、一对立体相机和至少三个LED得到被测物体优化后的高精度深度图像。用户可以根据实际需要而任意选择两种模式。
根据本发明一种基于光度立体视觉的视觉系统的另一个实施例,如图1所示,其在上述实施例的基础上,LED的数量为3个,分别为21、22、和23,并且在包括上述实施例中的基本装置的前提下,本实施例的视觉系统还包括3个旋转臂41、42和43,其中3个旋转臂41、42和43的一端分别固定有一个LED,3个旋转臂41、42和43的另一端以光斑发生器10为中心对称地枢轴连接于封装外壳50上。优选得,所述封装外壳50为六面体。优选地,其中2个旋转臂42、43的枢轴中心设置在封装外壳50面向被测物体那一面的上/下顶点处,另一个旋转臂41的枢轴中心设置在与上述2个旋转臂相对的另一条边的中心位置处。当然,本实施例中的附图标记只是为了起解释说明的作用,3个旋转臂也可以是任意其它类似位置的设置。作为本实施例优选的实施方式,如图2所示,在连接旋转臂41、42和43的位置处均设置有长条形凹槽61、62和63,用于容纳旋转贴近封装外壳50的旋转臂41、42和43,以使得整个视觉系统的结构更加紧凑,外观上也更加美观。更优选地,3个旋转臂的长度小于封装外壳50长轴的一半。这样,3个旋转臂41、42和43可以绕各自的枢轴中心旋转,从而使本发明的立体视觉系统在第一种如图1所示的快速测量模式下,3个旋转臂41、42和43可以尽量贴近本系统使得系统出于折叠状态从而保持更小的体积,而在第二种如图2所示高精度测量模式下,3个旋转臂41、42和43可以展开使得LED之间有更大的间距从而得到更好的视觉测量效果。
根据本发明一种基于光度立体视觉的视觉系统的另一个实施例,如图3所示,其在上述实施例的基础上,LED的数量为4个,分别为21、22、23和24,并且在包括上述实施例中的基本装置的前提下,本实施例的视觉系统还包括4个旋转臂41、42、43和44,其中4个旋转臂41、42、43和44的一端分别固定有一个LED,4个旋转臂41、42、43和44的另一端以光斑发生器10为中心对称地枢轴连接于封装外壳50上。优选得,所述封装外壳50为六面体。优选地,其中2个旋转臂41、42的枢轴中心设置在封装外壳50面向被测物体那一面的上/下顶点处,另2个旋转臂的枢轴中心设置在与上述2个旋转臂43、44相对的另一条边的顶点位置处。当然,本实施例中的附图标记只是为了起解释说明的作用,3个旋转臂也可以是任意其它类似位置的设置。作为本实施例优选的实施方式,如图4所示,在连接旋转臂41、42、43和44的位置处均设置有长条形凹槽61、62、63和64,用于容纳旋转贴近封装外壳50的旋转臂41、42、43和44,以使得整个视觉系统的结构更加紧凑,外观上也更加美观。更优选地,4个旋转臂41、42、43和44的长度小于封装外壳50长轴的一半。这样,4个旋转臂41、42、43和44可以绕各自的枢轴中心旋转,从而使本发明的立体视觉系统在第一种如图3所示的快速测量模式下,4个旋转臂41、42、43和44可以尽量贴近本系统使得系统出于折叠状态从而保持更小的体积,而在第二种如图4所示的高精度测量模式下,如图4所示,4个旋转臂可以展开使得LED之间有更大的间距从而得到更好的视觉测量效果。
值得说明的是,在上述各个实施例中,为了美观,封装外壳50的边角处可以设置为图1-4所示的包角形状。当然,设置成正六面体形状也是可以的。同样,为了美观,长条形凹槽和/或旋转臂的边角处也可以设置为包角形状。各个旋转臂的长度可以为等长,也可以其中两个或两个以上为等长,也可以长度均不相同。
在本发明的上述各个实施例中,旋转臂的旋转可以由控制电路控制,或者由其它控制器控制从而自动完成将视觉系统从折叠状态变换为展开状态和/或从展开状态变换为折叠状态。其中,旋转臂展开的角度可以根据实际测量需要人任意设置。
在实际实施本发明的上述各个实施例的情况下,本发明的视觉系统还可以包括显示器,用于显示相机采集的图像,以及被测物体的深度像。优选地,上述各个实施例的视觉系统还可以包括开关,以转换控制电路、光斑发生器10和相机31、32中的一种或多种的启动或关闭。开关可以集成在封装外壳50上,也可以为单独的开关。
根据本发明的另一方面,一种基于光度立体视觉的三维重建方法的一个实施例,所述方法可以包括如下步骤:
通过光斑发生器10向被测物体表面投射密集的斑点;
使用一对立体相机同时采集密集的斑点图像;
相继点亮至少三个LED,且在同一时间只有一个LED被点亮,只使用一个相机分别同时采集单个LED被点亮时的图像;
对立体相机所采集的密集的斑点图像进行处理以得到被测物体的初始深度图;
对单个LED照射下的至少三幅图像进行处理以得到被测物体表面的法线方向;
将被测物体的初始深度图和被测物体表面的法线方向进行融合,从而得到优化后的被测物体的目标深度图。
在上述实施例中,对立体相机所采集的密集的斑点图像进行处理可以发生在采集斑点图像之后,即实时生成被测物体的初始深度图。在上述实施例中,对单个LED照射下的至少三幅图像进行处理可以发生在该至少三幅图像被采集完成后,即实时生成测物体表面的法线方向。当然,对立体相机所采集的密集的斑点图像进行处理的步骤和/或对单个LED照射下的至少三幅图像进行处理的步骤可以发生在所有图像被采集完成之后。
作为本发明上述实施例的优选实施方式,可以使用任何一种光度立体视觉的方法来得到被测物体表面的法线方向。
在上述方法的实施例中,所使用的装置与本发明的上述视觉系统中的装置相同,在此不再累赘陈述。为了进一步具体地说明上述方法是如何实施的,以LED为4个为例。当用户把视觉系统设置为快速测量模式时,如图3所示,旋转臂处于折叠状态,LED处于关闭状态,光斑发生器10持续点亮向被测物体表面投射密集的斑点,两个相机31、32在控制电路输出的脉冲的触发下,持续采集图像并传输至数据处理单元进行处理,实时生成被测物体表面的深度图像。在这个模式下,每个重建周期只有一对散斑图像用于三维重建。当用户把视觉系统设置为高精度测量模式时,如图4所示,4根旋转臂41、42、43和44展开。在一个重建周期内,如图5所示,光斑发生器10在A时段首先被点亮向被测物体表面投射密集的斑点,以在被测物体表面形成密集的散乱斑点,用于增强被测物体表面的纹理特征,两个相机31、32采集一对密集的斑点图像并传输至数据处理单元进行处理,得到被测物体的初始深度图;在B时段,光斑发生器10关闭,LED21被点亮且另外三个LED22、23和24均关闭,两个相机31、32中的一个采集一幅图像;在C时段,光斑发生器10关闭,LED22被点亮且且另外三个LED21、23、24均关闭,同一个相机采集一幅图像;在D时段,光斑发生器10关闭,LED23被点亮且且另外三个LED21、22、24均关闭,同一个相机采集一对图像;在E时段,光斑发生器10关闭,LED24被点亮且且另外三个LED21、22、23均关闭,同一个相机采集一对图像。相机将每个LED点亮时的图像传输至数据处理单元进行处理,用于光度分析从而计算出被测物体表面的法线方向。最后将被测物体的初始深度图和被测物体表面的法线方向进行融合,从而得到优化后的被测物体的目标深度图。值得说明的是,上述LED的附图标示只是起解释说明的作用,其序号并不代表实际操作中各个LED被点亮的顺序,只要每次是单个LED被点亮的情况,其都被涵盖在本实施例的范围内。
在实施上述实施例的过程中,光斑发生器10可以投射各种类型的密集斑点,该密集斑点的形状可以是圆形、十字架形和其结合,和/或各种类似的密集斑点形状,只要其能够在两个相机31、32所拍摄的图像中被分别精确定位密集斑点的中心位置即可。
对于本发明的上述方法,为了得到精确的被测物体的深度像,需要对整个视觉系统进行标定,例如,标定一对立体相机的内外参数如内部参数包括镜头焦距、主点、畸变系数等,外部参数包括左、右相机坐标系之间的旋转矩阵和平移向量和标定各个LED的亮度和相对于相机坐标系的位置。本发明所使用的标定方法可以为立体视觉测量领域内的公知的任意通用方法,只要其能得到系统的各个参数即可。
作为本发明上述实施例的优选实施方式,利用一对密集的斑点图像得到被测物体的初始深度图可以使用任何双目立体匹配方法,例如利用极线约束的方法。
作为本发明上述实施例的具体实施方式,根据由一对密集的斑点图像进行立体匹配得到的初始深度图可以计算出被测物体表面的初始三维点云Pm,由初始三维点云Pm可以计算出被测物体表面的初始法线方向场Nm,Nm的噪声特性主要表现为高频噪声。用4张LED照明的图像,应用光度立体视觉方法而计算出的被测物体表面的法线方向场记为Np,它的噪声特性主要表现为低频噪声。根据它们各自的噪声特性,可以采用以下步骤对它们进行融合:
S1、优化法线方向,其包括:
(a)对Nm和NP进行高斯平滑,得到它们的低频分量和/>
(b)计算从到Np的旋转矩阵场R。
(c)用旋转矩阵场R对进行校正,得到优化后的法向量场/>
S2:根据优化后的法线方向,优化被测物体的三维点云位置,并输出被测物体的目标深度图,其具体如下:
对于某个像素点(x,y),给定其深度值Z(x,y),该点的三维坐标P(x,y)可表示为:
其中,Fx和Fy为等效焦距单位为像素。
三维点云位置优化的目标是使得优化后的深度图同时符合立体匹配得到三维点云Pm和法向场Nc。为了达到这个目的,构建一个目标函数,其包含两个误差项,即位置误差项Ep和法向误差项En。
位置误差线定义为:
其中,Pi为优化的点坐标。
由式(1)可得,
法向误差项定义的依据是:优化后的表面切线方向应与Nc垂直。切线方向Tx和Ty定义为:
因此法向误差项可以定义为:
总误差函数为:
E(Z)=λEp+(1-λ)En (7)
其中,λ∈[0,1]。
通过最小化式(7),可以得到优化后的深度图,即被测物体的目标深度图。
为了更好地体现本发明一种基于光度立体视觉的三维重建方法的技术效果,请参看图6。其中图6的左图为被测物体的初始深度图,图6的右图为使用本方法后优化后的被测物体的目标深度图,从中可见,三维重建的效果更加好,细节更加清晰。
以上是对本发明的较佳实施例进行的具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (9)
1.一种基于光度立体视觉的三维重建方法,其特征在于,包括快速测量模式和高精度测量模式,采用基于光度立体视觉的视觉系统,所述视觉系统包括如下装置:
光斑发生器,至少三个LED,两个相机,多个旋转臂,封装外壳和控制电路;每一个所述LED形成一个点光源;所述两个相机构成一对立体相机;所述多个旋转臂的一端分别固定有一个所述LED;所述控制电路分别与所述光斑发生器、所有所述LED和所有所述相机通信连接;
所述三维重建方法包括如下步骤:
在所述高精度测量模式下,展开所述多个旋转臂,使得所述视觉系统具有第一体积;
通过所述光斑发生器向被测物体表面投射密集的斑点;
使用所述一对立体相机同时采集密集的斑点图像;
相继点亮所述至少三个LED,且在同一时间只有一个LED被点亮,只使用一个相机分别同时采集单个LED被点亮时的图像;
对所述一对立体相机所采集的密集的斑点图像进行处理以得到被测物体的初始深度图;
对单个LED照射下的至少三幅图像进行处理以得到被测物体表面的法线方向;
将被测物体的初始深度图和被测物体表面的法线方向进行融合,从而得到优化后的被测物体的目标深度图;
在所述快速测量模式下,折叠所述多个旋转臂,使得所述视觉系统具有第二体积;其中,所述第一体积大于所述第二体积;
通过所述光斑发生器向被测物体表面投射密集的斑点;
使用所述一对立体相机同时采集密集的斑点图像;
对所述一对立体相机所采集的密集的斑点图像进行处理以得到被测物体的初始深度图。
2.根据权利要求1所述的一种基于光度立体视觉的三维重建方法,其特征在于,光斑发生器和两个相机嵌入在封装外壳的同一表面且光斑发生器位于该表面的中心位置。
3.根据权利要求2所述的一种基于光度立体视觉的三维重建方法,其特征在于,所述两个相机对称地固定在光斑发生器的两侧。
4.根据权利要求1所述的一种基于光度立体视觉的三维重建方法,其特征在于,LED为3个或4个。
5.根据权利要求4所述的一种基于光度立体视觉的三维重建方法,其特征在于,所述多个旋转臂的数量与所述LED的数量相同,所述多个旋转臂的另一端以光斑发生器为中心对称地枢轴连接于封装外壳上。
6.根据权利要求5所述的一种基于光度立体视觉的三维重建方法,其特征在于,所述多个旋转臂的长度小于封装外壳长轴的一半。
7.根据权利要求6所述的一种基于光度立体视觉的三维重建方法,其特征在于,所述封装外壳为六面体,且在连接旋转臂的位置处均设置有长条形凹槽。
8.根据权利要求1所述的一种基于光度立体视觉的三维重建方法,其特征在于,所述视觉系统中的光斑发生器为近红外光斑发生器,和/或两个相机为近红外相机。
9.根据权利要求1所述的一种基于光度立体视觉的三维重建方法,其特征在于,所述视觉系统还包括数据处理单元,所述数据处理单元对两个相机采集的图像进行处理和分析。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710674505.XA CN107403449B (zh) | 2017-08-09 | 2017-08-09 | 一种基于光度立体视觉的视觉系统及其三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710674505.XA CN107403449B (zh) | 2017-08-09 | 2017-08-09 | 一种基于光度立体视觉的视觉系统及其三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107403449A CN107403449A (zh) | 2017-11-28 |
CN107403449B true CN107403449B (zh) | 2023-11-24 |
Family
ID=60401727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710674505.XA Active CN107403449B (zh) | 2017-08-09 | 2017-08-09 | 一种基于光度立体视觉的视觉系统及其三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107403449B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108613637B (zh) * | 2018-04-13 | 2020-04-07 | 深度创新科技(深圳)有限公司 | 一种基于参考图像的结构光系统解相方法及系统 |
CN109377547B (zh) * | 2018-09-20 | 2023-09-29 | 东南大学 | 一种自标定光源方向的光度立体三维重建系统及重建方法 |
CN110487214A (zh) * | 2019-08-26 | 2019-11-22 | 中国计量大学 | 一种基于光度立体技术和结构光技术相结合的产品合格率的检测系统及其检测方法 |
CN110675486B (zh) * | 2019-08-28 | 2023-03-07 | 电子科技大学 | 一种非刚性人体运动的频域重建方法 |
CN110455815B (zh) * | 2019-09-05 | 2023-03-24 | 西安多维机器视觉检测技术有限公司 | 一种电子元器件外观缺陷检测的方法及系统 |
CN111986266A (zh) * | 2020-08-10 | 2020-11-24 | 中国民航大学 | 一种光度立体视觉点光源参数标定方法 |
CN112164105B (zh) * | 2020-08-27 | 2022-04-08 | 周波 | 一种双目视觉与未标定光度视觉结合的方法 |
CN112858318B (zh) * | 2021-04-26 | 2021-08-06 | 高视科技(苏州)有限公司 | 屏幕异物缺陷与灰尘的区分方法、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101329163A (zh) * | 2008-07-15 | 2008-12-24 | 合肥工业大学 | 基于双目的三维表面建模系统 |
EP2272047A1 (en) * | 2008-04-02 | 2011-01-12 | Eykona Technologies Ltd | 3d imaging system |
CN104634276A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 三维测量系统、拍摄设备和方法、深度计算方法和设备 |
CN105654549A (zh) * | 2015-12-31 | 2016-06-08 | 中国海洋大学 | 基于结构光技术和光度立体技术的水下三维重建装置及方法 |
CN207281829U (zh) * | 2017-08-09 | 2018-04-27 | 深度创新科技(深圳)有限公司 | 一种基于光度立体视觉的视觉系统 |
-
2017
- 2017-08-09 CN CN201710674505.XA patent/CN107403449B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2272047A1 (en) * | 2008-04-02 | 2011-01-12 | Eykona Technologies Ltd | 3d imaging system |
CN101329163A (zh) * | 2008-07-15 | 2008-12-24 | 合肥工业大学 | 基于双目的三维表面建模系统 |
CN104634276A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 三维测量系统、拍摄设备和方法、深度计算方法和设备 |
CN105654549A (zh) * | 2015-12-31 | 2016-06-08 | 中国海洋大学 | 基于结构光技术和光度立体技术的水下三维重建装置及方法 |
CN207281829U (zh) * | 2017-08-09 | 2018-04-27 | 深度创新科技(深圳)有限公司 | 一种基于光度立体视觉的视觉系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107403449A (zh) | 2017-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107403449B (zh) | 一种基于光度立体视觉的视觉系统及其三维重建方法 | |
US11869139B2 (en) | System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function | |
US11003897B2 (en) | Three-dimensional real face modeling method and three-dimensional real face camera system | |
CN104634276B (zh) | 三维测量系统、拍摄设备和方法、深度计算方法和设备 | |
Holroyd et al. | A coaxial optical scanner for synchronous acquisition of 3D geometry and surface reflectance | |
US8300234B2 (en) | Estimating spectral distribution of reflections from object surface based on low frequency illumination | |
CN111060023A (zh) | 一种高精度3d信息采集的设备及方法 | |
CN107228625B (zh) | 三维重建方法、装置及设备 | |
EP2104365A1 (en) | Method and apparatus for rapid three-dimensional restoration | |
KR20160124669A (ko) | 주변광을 차단하는 3차원 이미징 및 깊이 측정을 위한 씨모스 이미지 센서 | |
CN107917701A (zh) | 基于主动式双目立体视觉的测量方法及rgbd相机系统 | |
KR20160124674A (ko) | 등극선 레이저 포인트 스캔을 이용한 3차원 카메라의 타임스탬프 측정 | |
WO2014153022A1 (en) | Specular object scanner for measuring reflectance properties of objects | |
JP2003203220A (ja) | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム | |
CN106572340A (zh) | 摄像系统、移动终端及图像处理方法 | |
CN107783353A (zh) | 用于捕捉立体影像的装置及系统 | |
Huang et al. | Near light correction for image relighting and 3D shape recovery | |
CN104408762A (zh) | 利用单目和二维平台获取物体图像信息及三维模型的方法 | |
EP3381015B1 (en) | Systems and methods for forming three-dimensional models of objects | |
CN207281829U (zh) | 一种基于光度立体视觉的视觉系统 | |
Yeh et al. | A streamlined photometric stereo framework for cultural heritage | |
CN207365904U (zh) | 三维重建装置及设备 | |
CN107449403A (zh) | 一种时‑空四维联合成像模型及应用 | |
JP2022523122A (ja) | 可動スキャナを使用したテクスチャモデルの生成 | |
CN107392955B (zh) | 一种基于亮度的景深估算装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |