CN109087395A - 一种三维重建的方法及系统 - Google Patents
一种三维重建的方法及系统 Download PDFInfo
- Publication number
- CN109087395A CN109087395A CN201810807580.3A CN201810807580A CN109087395A CN 109087395 A CN109087395 A CN 109087395A CN 201810807580 A CN201810807580 A CN 201810807580A CN 109087395 A CN109087395 A CN 109087395A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- depth information
- unit
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种三维重建的方法及系统。该三维重建的方法包括:通过调节镜头和物体的距离,采集不同的预置数量的图像;利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息;对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息;对所述全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用所述三维点云数据构建三维模型。本发明提供的三维重建的方法通过图像中的色差来分析相位的变化,并进一步通过相位差信息得到深度信息并完成三维建模,达到了快速生成高精度的三维模型目的。
Description
技术领域
本发明涉及三维重建技术领域,尤其涉及一种三维重建的方法及系统。
背景技术
三维重建是计算机视觉方向重要的研究方向和研究热点,其综合了图像处理、立体视觉和计算机图形学等多种技术。相比于二维图像,三维图像更能够准确的反映真实世界的信息,且如自动寻导机器人、无人驾驶、无人机等各个热门领域都有重要的应用。目前三维重建的方式主要有三种:单目重建、双目重建和多目重建。单目三维重建是当前的一项研究热点,因为单目视觉系统具有结构简单、成本低的优点,同时相较于双目或者多目视觉系统,单目视觉在同一时间只需要处理单幅图像,节约了计算机处理时间。
光的相位的差异往往隐藏着很重要的信息,例如物体的形状以及物体表面的折射率,全聚焦图像没有相位差,而散焦图像引入了一些模糊点从而将一些相位信息转变为亮度的变化。现在技术中,相位差显微镜的出现解决了全聚焦部分相位差的问题,但也只是定性的分析;干涉仪可以很好的定量分析相位的变化,且能够达到高速高精度,但是其过于笨重、相位难以展开且分辨率受限。因此如何通过相位差信息得到深度信息来进行三维重建便是我们需要解决的技术问题。
发明内容
本发明所要解决的技术问题在于提供了一种通过图像中的色差来分析相位的变化,并进一步通过相位差信息得到深度信息并完成三维建模,达到快速生成高精度的三维模型目的的三维重建的方法及系统。
为解决上述技术问题,本发明采用以下技术方案:
第一方面提供了一种三维重建的方法,该三维重建的方法包括:
通过调节镜头和物体的距离,采集不同的预置数量的图像;
利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息;
对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息;
对所述全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用所述三维点云数据构建三维模型。
其中,所述利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息包括:
步骤A:通过公式ΔI(x,y)=IR(x,y)+IB(x,y)-2IG(x,y)计算得到每幅图像各点的亮度差ΔI(x,y),其中,IR(x,y)为红色通道的亮度值;IG(x,y)为绿色通道的亮度值;IB(x,y)为蓝色通道的亮度值;
步骤B:通过公式ΔξRB=ξ(λR)-ξ(λB)=λR·Δf'(λR)-λB·Δf'(λB)求解得到各点的散焦程度差ΔξRB,单位为mm2;其中,ξ(λR)为红色通道散焦程度,单位为mm2;ξ(λB)为蓝色通道散焦程度,单位为mm2;λR为红光波长,单位为mm;Δf'(λR)为红光焦距变化量,单位为mm;λB为蓝光波长,单位为mm;Δf'(λB)为蓝光焦距变化量,单位为mm;
步骤C:将步骤A计算得到亮度差ΔI(x,y)和步骤B计算得到的散焦程度差ΔξRB代入公式计算得到各点的相位信息单位为弧度;其中,I(x,y)为图像的亮度值;是波的相位在二维方向上的梯度,单位无量纲;
步骤D:将步骤C计算得到的相位信息代入公式计算得到每幅图像各点的深度信息z(x,y),单位为mm;其中,λ为光的波长,单位为mm;Δn为表示不同波长光波的折射率之差,单位无量纲。
其中,所述通过调节镜头和物体的距离,采集不同的预置数量的图像具体为:通过控制机器人运动调节光学采集系统中的镜头和物体的距离,每调节一次距离采集一幅物体的图像,以采集到预置数量的图像。
其中,所述对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息包括:通过高斯方程或者多项式拟合的方式对每一个点的于所有图像中的深度信息进行拟合得到每一个点的更精确的深度信息,由所有点的更精确的深度信息得到全聚焦图像的深度信息。
第二方面提供了另一种三维重建的方法,该三维重建的方法包括:
获取图像采集端通过调节镜头和物体的距离采集的不同的预置数量的图像;
利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息;
对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息;
对所述全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用所述三维点云数据构建三维模型。
第三方面提供了一种三维重建的系统,该三维重建的系统包括图像采集端和图像处理端;
所述图像采集端,用于调节镜头和物体的距离,采集不同的预置数量的图像,并将采集的图像发送给图像处理系统;
所述图像处理端包括:
计算模块,用于利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息;
全局优化模块,用于对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息;
构建模块,用于对所述全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用所述三维点云数据构建三维模型。
其中,所述计算模块包括:
亮度差计算单元,用于通过公式ΔI(x,y)=IR(x,y)+IB(x,y)-2IG(x,y)计算得到每幅图像各点的亮度差ΔI(x,y),其中,IR(x,y)为红色通道的亮度值;IG(x,y)为绿色通道的亮度值;IB(x,y)为蓝色通道的亮度值;
散焦程度差计算单元,用于通过公式ΔξRB=ξ(λR)-ξ(λB)=λR·Δf'(λR)-λB·Δf'(λB)求解得到各点的散焦程度差ΔξRB,单位为mm2;其中,ξ(λR)为红色通道散焦程度,单位为mm2;ξ(λB)为蓝色通道散焦程度,单位为mm2;λR为红光波长,单位为mm;Δf'(λR)为红光焦距变化量,单位为mm;λB为蓝光波长,单位为mm;Δf'(λB)为蓝光焦距变化量,单位为mm;
相位计算单元,用于将亮度差计算单元计算得到亮度差ΔI(x,y)和散焦程度差计算单元计算得到的散焦程度差ΔξRB代入公式计算得到各点的相位信息单位为弧度;其中,I(x,y)为图像的亮度值;是波的相位在二维方向上的梯度,单位无量纲;
深度计算单元,用于将相位计算单元计算得到的相位信息代入公式计算得到每幅图像各点的深度信息z(x,y),单位为mm;其中,λ为光的波长,单位为mm;Δn为表示不同波长光波的折射率之差,单位无量纲。其中,所述图像采集端具体用于:通过控制机器人运动调节光学采集系统中的镜头和物体的距离,每调节一次距离采集一幅物体的图像,以采集到预置数量的图像。
其中,所述全局优化模块具体用于:通过高斯方程或者多项式拟合的方式对每一个点的于所有图像中的深度信息进行拟合得到每一个点的更精确的深度信息,由所有点的更精确的深度信息得到全聚焦图像的深度信息。
第四方面提供了另一种三维重建的系统,应用于图像处理端,该三维重建的系统包括:
图像接收模块,用于获取图像采集端通过调节镜头和物体的距离采集的不同的预置数量的图像;
计算模块,用于利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息;
全局优化模块,用于对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息;
构建模块,用于对所述全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用所述三维点云数据构建三维模型。
与现有技术相比,本发明的有益效果为:本发明通过调节镜头和物体的距离,采集物体的若干幅图像,利用图像色差引起的相位变化来恢复图像的深度信息,得到全聚焦图像的深度信息,并对全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用三维点云数据构建三维模型,达到快速生成高精度的三维模型的目的。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据本发明实施例的内容和这些附图获得其他的附图。
图1是本发明具体实施方式中提供的一种三维重建的方法的第一实施例的方法流程图。
图2是本发明具体实施方式中提供的一种三维重建的方法的第二实施例的方法流程图。
图3是本发明具体实施方式中提供的一种三维重建的系统的第一实施例的结构方框图。
图4是本发明具体实施方式中提供的一种三维重建的系统的第二实施例的结构方框图。
图5为采集的刀具零件头部的图像。
图6为刀具零件头部三维重建后的三维模型图像。
图7为刀具零件头部三维重建后的三维模型局部图像。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚,下面将结合附图对本发明实施例的技术方案作进一步的详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,其是本发明具体实施方式中提供的一种三维重建的方法的第一实施例的方法流程图。如图1所示,在一些实施例中,该三维重建的方法包括步骤S101~步骤S104,具体内容如下:
步骤S101:通过调节镜头和物体的距离,采集不同的预置数量的图像。
搭建包括机器人和光学采集系统的图像采集端,物体置于机器人的载物台上,图像采集端通过机器人调节光学采集系统的镜头到物体的距离直到物体大部分处于景深范围之内且清晰,利用光学采集系统中的照相机对图像进行采集。具体的,步骤S101:通过调节镜头和物体的距离,采集不同的预置数量的图像包括:通过控制机器人运动调节光学采集系统中的镜头和物体的距离,每调节一次距离采集一幅物体的图像,以采集到预置数量的图像。即通过移动照相机的镜头到物体的距离,多个位置采集多幅图像。
步骤S102:利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息。
色差是由于照相机的镜头没有把不同波长的光线聚焦到同一个焦平面,或者与镜头对不同波长的光线放大的程度不同而形成的。色差又可分为“纵向色差”和“横向色差”,色差的程度随着镜头表明玻璃的色散程度不同而有所差异。光的相位由于传播太快而不容易被直接测量,而可通过强度的测量来计算相位的差异。当白光照射到介质表面时,通过光的折射率以及传播速度不同从而偏离聚焦平面一定距离而产生了相位变化。在亮度传输方程中可以定量的精确分析相位的变化,其在光轴方向(z方向)的强度变化与相位相关。通过采集若干张不同z方向上的图像,可以将图像上所有点的相位恢复出来。
利用步骤S101中采集的预置数量的图像,对于每一幅图像,利用每幅图像各点的亮度差和散焦程度差计算得到图像中各点的相位信息,再通过各点的相位信息可以计算得到每一幅图像中各点的深度信息。
对于采集的图像,散焦之后的亮度传输方程可以通过近轴波方程推导。设波长为λ和距离为z,所以散焦是由于两个不同的散焦程度ξ=λ·z引起的,所以可以得到公式(1):
其中,为相位信息,单位为弧度;其中,I(x,y)为图像的亮度值;是波的相位在二维方向上的梯度,单位无量纲。对于公式(1)可以采用标准的泊松算法来计算相位信息在实际计算过程中使用频域的泊松算法来加速运算速度以及忽略边界条件的影响。
对于图像中的一点,将RGB三色通道分离到到不同的光的亮度,分别为:IR(x,y)、IG(x,y)、IB(x,y),IR(x,y)为红色通道的亮度值,IG(x,y)为绿色通道的亮度值,IB(x,y)为蓝色通道的亮度值,其中亮度值取0~255的标量值,则各点的亮度差可以通过公式(2)来计算:
ΔI(x,y)=IR(x,y)+IB(x,y)-2IG(x,y) (2)
其中,ΔI(x,y)为亮度差,亮度差也取0~255的标量值。
对于一个简单的成像系统而言,一个不同于初始波长为λ0的波长λ的光照射物体时,焦距f的变化可以表示为公式(3):
其中,Δf(λ)为波长λ的焦距变化,单位为mm;f(λ0)为初始波长λ0的焦距,单位为mm;n(λ)为波长为λ的光在物体表面的折射率,单位无量纲;n(λ0)为波长为λ0的光在物体表面的折射率。推广到4f成像系统,公式(3)可以推广为公式(4):
其中,Δf'(λ)为焦距变化量,单位为mm;Δf1(λ)为波长为λ的光通过第一块棱镜焦距的变化量,单位为mm;Δf2(λ)为波长为λ的光通过第二块棱镜焦距的变化量,单位为mm;f1(λ)为波长为λ0的光在第一块棱镜处的焦距值与波长为λ的光在第一块棱镜处的焦距的变化量之差,单位为mm;f2(λ)为波长为λ0的光在第二块棱镜处的焦距值与波长为λ的光在第二块棱镜处的焦距的变化量之差,单位为mm;因此4f成像系统中散焦程度的衡量为公式(5):
ξ(λ)=λ·Δf'(λ) (5)
其中,ξ(λ)为波长为λ的光波的散焦程度,单位为mm2。当照相机的镜头到物体的距离变化时,假设以绿光为基准,即绿光一直都在聚焦平面上,则由于不同光相位的不同导致了散焦程度的不同,即红蓝光离聚焦平面的距离在变化,这种散焦程度所代表的相位信息包含了实际的深度信息,由公式(5)可以得到公式(6):
ΔξRB=ξ(λR)-ξ(λB)=λR·Δf'(λR)-λB·Δf'(λB) (6)
其中,ΔξRB为散焦程度差,单位为mm2,其中,ξ(λR)为红色通道散焦程度,单位为mm2;ξ(λB)为蓝色通道散焦程度,单位为mm2;λR为红光波长,单位为m;Δf'(λR)为红光焦距变化量,单位为mm;λB为蓝光波长,单位为mm;Δf'(λB)为蓝光焦距变化量,单位为mm;故通过求解公式(1)可以得到图像上个点的相位信息,计算出各点的相位信息后通过公式(7)转化为深度信息:
其中,z(x,y)为点的深度信息,单位为mm;其中,λ为光的波长,单位为mm;Δn为表示不同波长光波的折射率之差,单位无量纲。
由于超景深显微镜头带有消色差的功能,所以三色光通过透镜之后基本在聚焦平面和聚焦平面很微小的距离内,因此红蓝光散焦效果基本相同,可以采用公式ΔI(x,y)=IR(x,y)+IB(x,y)-2IG(x,y)计算亮度差ΔI(x,y)。
因此在一些实施例中,步骤S102包括步骤S1021~步骤S1024,具体内容如下:
步骤S1021:通过公式(2):ΔI(x,y)=IR(x,y)+IB(x,y)-2IG(x,y)计算得到每幅图像各点的亮度差ΔI(x,y),其中,IR(x,y)为红色通道的亮度值;IG(x,y)为绿色通道的亮度值;IB(x,y)为蓝色通道的亮度值;。
步骤S1022:通过公式(6)ΔξRB=ξ(λR)-ξ(λB)=λR·Δf'(λR)-λB·Δf'(λB)求解得到各点的散焦程度差ΔξRB,单位为mm2,其中,ξ(λR)为红色通道散焦程度,单位为mm2;ξ(λB)为蓝色通道散焦程度,单位为mm2;λR为红光波长,单位为mm;Δf'(λR)为红光焦距变化量,单位为mm;λB为蓝光波长,单位为mm;Δf'(λB)为蓝光焦距变化量,单位为mm。
步骤S1023:将步骤A计算得到亮度差ΔI(x,y)和步骤B计算得到的散焦程度差ΔξRB代入公式(1):计算得到各点的相位信息单位为弧度;其中,I(x,y)为图像的亮度值;是波的相位在二维方向上的梯度,单位无量纲。
步骤S1024:将步骤C计算得到的相位信息代入公式(7):计算得到每幅图像各点的深度信息z(x,y),单位为mm;其中,λ为光的波长,单位为mm;Δn为表示不同波长光波的折射率之差,单位无量纲。
例如,假设照相机采集到了m幅(P1、P2、……、Pm)图像,对于第i幅图像Pi设(x,y)表示为图像中的一点,则将RGB三色通道分离得到红绿蓝三种光的亮度分别为IR(x,y)、IG(x,y)和IB(x,y),通过公式(2):ΔI(x,y)=IR(x,y)+IB(x,y)-2IG(x,y)计算得到亮度差,再通过公式(6):ΔξRB=ξ(λR)-ξ(λB)=λR·Δf'(λR)-λB·Δf'(λB)计算得到散焦程度差,将亮度差和散焦程度差代入公式(1):得到相位信息最后通过公式(7):计算得到深度信息z(x,y)。
步骤S103:对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息。该全局优化的过程可以通过数据拟合的方式实现,以得到全聚焦图像的深度信息。
在一些实施例中,步骤S103包括:通过高斯方程或者多项式拟合的方式对每一个点的于所有图像中的深度信息进行拟合得到每一个点的更精确的深度信息,由所有点的更精确的深度信息得到全聚焦图像的深度信息。这样可以提高全聚焦图像深度信息的精确度,使得获取的三维模型更准确。
步骤S104:对所述全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用所述三维点云数据构建三维模型。
其中,步骤S102~步骤S104的执行主体为图像处理端,该图像处理端包括一交换机、一计算机和一显示器,图像处理端通过交换机获取步骤S101中图像采集端采集的图像,通过计算机对图像进行处理,具体包括:利用图像色差引起的相位变化来恢复图像的深度信息,得到全聚焦图像的深度信息,并对全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用三维点云数据构建三维模型,完成图像的三维重建,图像处理端通过显示器进行人机交互。
在一应用场景中,以一个刀具零件头部为被测物体为例,采用epson四轴机器人和sony高清照相机搭建图像采集端,通过控制机器人中的步进电机,采用合适的步长,将镜头从远到近移向被测物体。一共移动了200步,故总共采集到了200幅图像,P1、P2、P3、……、P200表示从第1幅到第200幅的图像。对于第i幅图像Pi,设(x,y)表示为图像中的一点,则RGB三色通道分离得到红绿蓝三种光的亮度分别为IRi(x,y)、IGi(x,y)和IBi(x,y),则亮度差通过公式(2):ΔI(x,y)=IR(x,y)+IB(x,y)-2IG(x,y)求得。通过公式(4):和公式(6):ΔξRB=ξ(λR)-ξ(λB)=λR·Δf'(λR)-λB·Δf'(λB)可以求得散焦程度差ΔξRB的值。将亮度差和散焦程度差代入公式(1):求解得到相位信息最后通过公式(7):计算得到点(x,y)的深度信息z(x,y);同理,求得每一幅图像中各点的深度信息。对于采集到的多幅图片,通过对图像上各点的深度信息进行拟合计算得到其在全聚焦图像上的深度为zi(x,y),然后经过处理得到三维点云数据,从而完成图像的三维重建。图5为采集到刀具零件头部的200幅图像中的一幅图像,图像中大部分区域式聚焦的,部分区域出现了散焦现象,视场内刀具的实际尺寸为10mm。图6为刀具零部件头部三维重建后的三维模型图像,已经将深度数据归一化到0~255。图7为刀具零件头部三维重建后的三维模型局部图像,可以看出在多倍放大的情况下零件上的凹凸都清晰可见,经过粗略的估算和测量,精度已经达到微米级别。
综上所述,本实施例通过调节镜头和物体的距离,采集物体的若干幅图像,利用图像色差引起的相位变化来恢复图像的深度信息,得到全聚焦图像的深度信息,并对全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用三维点云数据构建三维模型,达到快速生成高精度的三维模型的目的,可适用于较宽尺寸范围的目标的三维重建,可以在工业和科研领域的三维重建,尤其是以非接触式光学被动测量方法进行遥感测量,生物医学测量和精密复杂仪器零件的外形和缺陷检测方面该方法可以达到良好的效果。
请参考图2,其是本发明具体实施方式中提供的一种三维重建的方法的第二实施例的方法流程图,该三维重建的方法的执行主体均为图像处理端,如图2所示,该三维重建的方法包括:
步骤S201:获取图像采集端通过调节镜头和物体的距离采集的不同的预置数量的图像。
图像处理端包括一交换机、一计算机和一显示器,图像处理端通过交换机获取图像采集端通过调节镜头和物体的距离采集的不同的预置数量的图像,以利用图像色差引起的相位变化来恢复图像的深度信息,并完成三维建模。
步骤S202:利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息。
步骤S202的计算过程与本发明具体实施方式中提供的一种三维重建的方法的第一实施例中的步骤S102一样,具体内容请参见方法的第一实施例中的步骤S102及步骤S1021~步骤S1024,这里不再赘述。
步骤S203:对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息。
步骤S203的全局优化过程与本发明具体实施方式中提供的一种三维重建的方法的第一实施例中的步骤S103一样,具体内容请参见方法的第一实施例中的步骤S103,这里不再赘述。
步骤S204:对所述全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用所述三维点云数据构建三维模型。
本实施例通过调节镜头和物体的距离,采集物体的若干幅图像,利用图像色差引起的相位变化来恢复图像的深度信息,得到全聚焦图像的深度信息,并对全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用三维点云数据构建三维模型,达到快速生成高精度的三维模型的目的。
以下是本发明具体实施方式中提供的一种三维重建的系统的实施例,三维重建的系统的实施例基于上述的三维重建的方法的实施例实现,在三维重建的系统中未尽的描述,请参考前述三维重建的方法的实施例。
请参考图3,其是本发明具体实施方式中提供的一种三维重建的系统的第一实施例的结构方框图。如图3所示,该三维重建的系统包括图像采集端10和图像处理端20。图像采集端10,用于通过调节镜头和物体的距离,采集不同的预置数量的图像,并将采集的图像发送给图像处理系统。图像处理端20包括:
计算模块21,用于利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息。
全局优化模块22,用于对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息。
构建模块23,用于对所述全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用所述三维点云数据构建三维模型。
在一些实施例中,计算模块21包括:
亮度差计算单元210,用于通过公式ΔI(x,y)=IR(x,y)+IB(x,y)-2IG(x,y)计算得到每幅图像各点的亮度差ΔI(x,y),其中,IR(x,y)为红色通道的亮度值;IG(x,y)为绿色通道的亮度值;IB(x,y)为蓝色通道的亮度值。
散焦程度差计算单元211,用于通过公式ΔξRB=ξ(λR)-ξ(λB)=λR·Δf'(λR)-λB·Δf'(λB)求解得到各点的散焦程度差ΔξRB,单位为mm2,其中,ξ(λR)为红色通道散焦程度,单位为mm2;λR为红光波长,单位为mm;Δf'(λR)为红光焦距变化量,单位为mm;λB为蓝光波长,单位为mm;Δf'(λB)为蓝光焦距变化量,单位为mm。
相位计算单元212,用于将亮度差计算单元210计算得到亮度差ΔI(x,y)和散焦程度差计算单元211计算得到的散焦程度差ΔξRB代入公式计算得到各点的相位信息单位为弧度;其中,I(x,y)为图像的亮度值;是波的相位在二维方向上的梯度,单位无量纲;
深度计算单元213,用于将相位计算单元212计算得到的相位信息代入公式计算得到每幅图像各点的深度信息z(x,y),单位为mm;其中,λ为光的波长,单位为mm;Δn为表示不同波长光波的折射率之差,单位无量纲。
在一些实施例中,图像采集端10具体用于:通过控制机器人运动调节光学采集系统中的镜头和物体的距离,每调节一次距离采集一幅物体的图像,以采集到预置数量的图像。
在一些实施例中,全局优化模块22具体用于:通过高斯方程或者多项式拟合的方式对每一个点的于所有图像中的深度信息进行拟合得到每一个点的更精确的深度信息,由所有点的更精确的深度信息得到全聚焦图像的深度信息。
综上所述,本实施例通过调节镜头和物体的距离,采集物体的若干幅图像,利用图像色差引起的相位变化来恢复图像的深度信息,得到全聚焦图像的深度信息,并对全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用三维点云数据构建三维模型,达到快速生成高精度的三维模型的目的,可适用于较宽尺寸范围的目标的三维重建,可以在工业和科研领域的三维重建,尤其是以非接触式光学被动测量方法进行遥感测量,生物医学测量和精密复杂仪器零件的外形和缺陷检测方面该方法可以达到良好的效果。
请参考图4,其是本发明具体实施方式中提供的一种三维重建的系统的第二实施例的结构方框图,该三维重建的系统应用于图像处理端,如图4所示,该三维重建的系统包括:
图像接收模块41,用于获取图像采集端通过调节镜头和物体的距离采集的不同的预置数量的图像。
计算模块42,用于利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息。
本实施例中的计算模块42与本发明具体实施方式中提供的一种三维重建的系统的第一实施例中的计算模块21一样,具体内容请参见系统的第一实施例中的计算模块21及其子单元(亮度差计算单元210、散焦程度差计算单元211、相位计算单元212、和深度计算单元213),这里不再赘述。
全局优化模块43,用于对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息。
本实施例中的全局优化模块42与本发明具体实施方式中提供的一种三维重建的系统的第一实施例中的全局优化模块22一样,具体内容请参见系统的第一实施例中的全局优化模块22,这里不再赘述。
构建模块44,用于对所述全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用所述三维点云数据构建三维模型。
综上所述,本实施例提供三维重建的系统通过调节镜头和物体的距离,采集物体的若干幅图像,利用图像色差引起的相位变化来恢复图像的深度信息,得到全聚焦图像的深度信息,并对全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用三维点云数据构建三维模型,达到快速生成高精度的三维模型的目的,可适用于较宽尺寸范围的目标的三维重建,可以在工业和科研领域的三维重建,尤其是以非接触式光学被动测量方法进行遥感测量,生物医学测量和精密复杂仪器零件的外形和缺陷检测方面该方法可以达到良好的效果。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理,而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释,本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式,这些方式都将落入本发明的保护范围之内。
Claims (10)
1.一种三维重建的方法,其特征在于,所述三维重建的方法包括:
通过调节镜头和物体的距离,采集不同的预置数量的图像;
利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息;
对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息;
对所述全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用所述三维点云数据构建三维模型。
2.根据权利要求1所述的三维重建的方法,其特征在于,所述利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息包括:
步骤A:通过公式ΔI(x,y)=IR(x,y)+IB(x,y)-2IG(x,y)计算得到每幅图像各点的亮度差ΔI(x,y),其中,IR(x,y)为红色通道的亮度值;IG(x,y)为绿色通道的亮度值;IB(x,y)为蓝色通道的亮度值;
步骤B:通过公式ΔξRB=ξ(λR)-ξ(λB)=λR·Δf'(λR)-λB·Δf'(λB)求解得到各点的散焦程度差ΔξRB,单位为mm2;其中,ξ(λR)为红色通道散焦程度,单位为mm2;ξ(λB)为蓝色通道散焦程度,单位为mm2;λR为红光波长,单位为mm;Δf'(λR)为红光焦距变化量,单位为mm;λB为蓝光波长,单位为mm;Δf'(λB)为蓝光焦距变化量,单位为mm;
步骤C:将步骤A计算得到亮度差ΔI(x,y)和步骤B计算得到的散焦程度差ΔξRB代入公式计算得到各点的相位信息单位为弧度;其中,I(x,y)为图像的亮度值;是波的相位在二维方向上的梯度,单位无量纲;
步骤D:将步骤C计算得到的相位信息代入公式计算得到每幅图像各点的深度信息z(x,y),单位为mm;其中,λ为光的波长,单位为mm;Δn为表示不同波长光波的折射率之差,单位无量纲。
3.根据权利要求1所述的三维重建的方法,其特征在于,所述通过调节镜头和物体的距离,采集不同的预置数量的图像具体为:通过控制机器人运动调节光学采集系统中的镜头和物体的距离,每调节一次距离采集一幅物体的图像,以采集到预置数量的图像。
4.根据权利要求1所述的三维重建的方法,其特征在于,所述对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息包括:通过高斯方程或者多项式拟合的方式对每一个点的于所有图像中的深度信息进行拟合得到每一个点的更精确的深度信息,由所有点的更精确的深度信息得到全聚焦图像的深度信息。
5.一种三维重建的方法,其特征在于,所述三维重建的方法包括:
获取图像采集端通过调节镜头和物体的距离采集的不同的预置数量的图像;
利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息;
对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息;
对所述全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用所述三维点云数据构建三维模型。
6.一种三维重建的系统,其特征在于,所述三维重建的系统包括图像采集端和图像处理端;
所述图像采集端,用于通过调节镜头和物体的距离,采集不同的预置数量的图像,并将采集的图像发送给图像处理系统;
所述图像处理端包括:
计算模块,用于利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息;
全局优化模块,用于对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息;
构建模块,用于对所述全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用所述三维点云数据构建三维模型。
7.根据权利要求6所述的三维重建的系统,其特征在于,所述计算模块包括:
亮度差计算单元,用于通过公式ΔI(x,y)=IR(x,y)+IB(x,y)-2IG(x,y)计算得到每幅图像各点的亮度差ΔI(x,y),其中,IR(x,y)为红色通道的亮度值;IG(x,y)为绿色通道的亮度值;IB(x,y)为蓝色通道的亮度值;
散焦程度差计算单元,用于通过公式ΔξRB=ξ(λR)-ξ(λB)=λR·Δf'(λR)-λB·Δf'(λB)求解得到各点的散焦程度差ΔξRB,单位为mm2;其中,ξ(λR)为红色通道散焦程度,单位为mm2;ξ(λB)为蓝色通道散焦程度,单位为mm2;λR为红光波长,单位为mm;Δf'(λR)为红光焦距变化量,单位为mm;λB为蓝光波长,单位为mm;Δf'(λB)为蓝光焦距变化量,单位为mm;
相位计算单元,用于将亮度差计算单元计算得到亮度差ΔI(x,y)和散焦程度差计算单元计算得到的散焦程度差ΔξRB代入公式计算得到各点的相位信息单位为弧度;其中,I(x,y)为图像的亮度值;是波的相位在二维方向上的梯度,单位无量纲;
深度计算单元,用于将相位计算单元计算得到的相位信息代入公式计算得到每幅图像各点的深度信息z(x,y),单位为mm;其中,λ为光的波长,单位为mm;Δn为表示不同波长光波的折射率之差,单位无量纲。
8.根据权利要求6所述的三维重建的系统,其特征在于,所述图像采集端具体用于:通过控制机器人运动调节光学采集系统中的镜头和物体的距离,每调节一次距离采集一幅物体的图像,以采集到预置数量的图像。
9.根据权利要求6所述的三维重建的系统,其特征在于,所述全局优化模块具体用于:通过高斯方程或者多项式拟合的方式对每一个点的于所有图像中的深度信息进行拟合得到每一个点的更精确的深度信息,由所有点的更精确的深度信息得到全聚焦图像的深度信息。
10.一种三维重建的系统,应用于图像处理端,其特征在于,所述三维重建的系统包括:
图像接收模块,用于获取图像采集端通过调节镜头和物体的距离采集的不同的预置数量的图像;
计算模块,用于利用每幅图像各点的亮度差和散焦程度差计算得到各点的相位信息,通过各点的相位信息计算每一幅图像中各点的深度信息;
全局优化模块,用于对所有图像的深度信息做全局优化,得到全聚焦图像的深度信息;
构建模块,用于对所述全聚焦图像的深度信息进行网格化处理得到三维点云数据,利用所述三维点云数据构建三维模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810807580.3A CN109087395B (zh) | 2018-07-18 | 2018-07-18 | 一种三维重建的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810807580.3A CN109087395B (zh) | 2018-07-18 | 2018-07-18 | 一种三维重建的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109087395A true CN109087395A (zh) | 2018-12-25 |
CN109087395B CN109087395B (zh) | 2023-03-28 |
Family
ID=64838414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810807580.3A Active CN109087395B (zh) | 2018-07-18 | 2018-07-18 | 一种三维重建的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109087395B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110455815A (zh) * | 2019-09-05 | 2019-11-15 | 西安多维机器视觉检测技术有限公司 | 一种电子元器件外观缺陷检测的方法及系统 |
CN110490921A (zh) * | 2019-08-05 | 2019-11-22 | 合肥工业大学 | 一种三维gis数据的采集与处理方法 |
CN110554046A (zh) * | 2019-09-05 | 2019-12-10 | 西安多维机器视觉检测技术有限公司 | 一种用于电子元器件引脚的检测系统和方法 |
CN110657750A (zh) * | 2019-10-10 | 2020-01-07 | 西安多维机器视觉检测技术有限公司 | 一种用于刀具刃口钝化的检测系统和方法 |
WO2020227918A1 (en) * | 2019-05-14 | 2020-11-19 | Intel Corporation | Automatic point cloud validation for immersive media |
CN112935013A (zh) * | 2021-02-10 | 2021-06-11 | 哈尔滨工业大学 | 一种测量粘性介质对板坯料剪切应变的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017219391A1 (zh) * | 2016-06-24 | 2017-12-28 | 深圳市唯特视科技有限公司 | 一种基于三维数据的人脸识别系统 |
CN107615747A (zh) * | 2015-05-19 | 2018-01-19 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法和存储介质 |
-
2018
- 2018-07-18 CN CN201810807580.3A patent/CN109087395B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107615747A (zh) * | 2015-05-19 | 2018-01-19 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法和存储介质 |
WO2017219391A1 (zh) * | 2016-06-24 | 2017-12-28 | 深圳市唯特视科技有限公司 | 一种基于三维数据的人脸识别系统 |
Non-Patent Citations (1)
Title |
---|
张娟等: "基于矩保持法的彩色目标深度测量", 《计算机测量与控制》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020227918A1 (en) * | 2019-05-14 | 2020-11-19 | Intel Corporation | Automatic point cloud validation for immersive media |
US11869141B2 (en) | 2019-05-14 | 2024-01-09 | Intel Corporation | Automatic point cloud validation for immersive media |
CN110490921A (zh) * | 2019-08-05 | 2019-11-22 | 合肥工业大学 | 一种三维gis数据的采集与处理方法 |
CN110455815A (zh) * | 2019-09-05 | 2019-11-15 | 西安多维机器视觉检测技术有限公司 | 一种电子元器件外观缺陷检测的方法及系统 |
CN110554046A (zh) * | 2019-09-05 | 2019-12-10 | 西安多维机器视觉检测技术有限公司 | 一种用于电子元器件引脚的检测系统和方法 |
CN110455815B (zh) * | 2019-09-05 | 2023-03-24 | 西安多维机器视觉检测技术有限公司 | 一种电子元器件外观缺陷检测的方法及系统 |
CN110657750A (zh) * | 2019-10-10 | 2020-01-07 | 西安多维机器视觉检测技术有限公司 | 一种用于刀具刃口钝化的检测系统和方法 |
CN110657750B (zh) * | 2019-10-10 | 2021-12-10 | 西安多维机器视觉检测技术有限公司 | 一种用于刀具刃口钝化的检测系统和方法 |
CN112935013A (zh) * | 2021-02-10 | 2021-06-11 | 哈尔滨工业大学 | 一种测量粘性介质对板坯料剪切应变的方法 |
CN112935013B (zh) * | 2021-02-10 | 2022-01-07 | 哈尔滨工业大学 | 一种测量粘性介质对板坯料剪切应变的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109087395B (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109087395A (zh) | 一种三维重建的方法及系统 | |
KR101843838B1 (ko) | 4카메라그룹 평면 어레이의 특징점의 3차원 측정 시스템 및 측정 방법 | |
CN105578019B (zh) | 一种可获得深度信息的影像提取系统与对焦方法 | |
CN107833181B (zh) | 一种基于变焦立体视觉的三维全景图像生成方法 | |
US20040125228A1 (en) | Apparatus and method for determining the range of remote objects | |
CN102519434B (zh) | 一种用于立体视觉三维恢复数据精度测量的试验验证方法 | |
CN105004324B (zh) | 一种具有三角测距功能的单目视觉传感器 | |
KR20090107536A (ko) | 정량적 3-d 이미징을 위한 방법 | |
CN102884397A (zh) | 结构光测量方法以及系统 | |
CN102072706A (zh) | 一种多相机定位与跟踪方法及系统 | |
CN102042807B (zh) | 一种目标空间坐标的柔性立体视觉测量装置 | |
WO2020258434A1 (zh) | 一种基于tie的相位成像方法、装置及可读存储介质 | |
CN110673325A (zh) | 显微镜系统、智能医疗设备、自动对焦方法和存储介质 | |
CN110009687A (zh) | 基于三相机的彩色三维成像系统及其标定方法 | |
JP2018181333A (ja) | 医学−光学式表示システムを作動させるための方法 | |
Mutahira et al. | Focus measurement in color space for shape from focus systems | |
CN114359406A (zh) | 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法 | |
Subbarao | Direct recovery of depth map I: differential methods | |
US11348271B2 (en) | Image processing device and three-dimensional measuring system | |
CN103083089B (zh) | 数字立体显微系统的虚拟标尺方法和系统 | |
WO2011139150A1 (en) | Improved optical rangefinding and imaging apparatus | |
US10429632B2 (en) | Microscopy system, microscopy method, and computer-readable recording medium | |
CN204154990U (zh) | 座舱平视显示系统 | |
CN206038278U (zh) | 凹面镜成像测量长焦镜头调制传递函数的装置 | |
CN110702015A (zh) | 输电线路覆冰厚度测量方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |