CN106231177A - 场景深度测量方法、设备及成像装置 - Google Patents

场景深度测量方法、设备及成像装置 Download PDF

Info

Publication number
CN106231177A
CN106231177A CN201610573245.2A CN201610573245A CN106231177A CN 106231177 A CN106231177 A CN 106231177A CN 201610573245 A CN201610573245 A CN 201610573245A CN 106231177 A CN106231177 A CN 106231177A
Authority
CN
China
Prior art keywords
scene
depth
image
value
zoom lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610573245.2A
Other languages
English (en)
Inventor
李其昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Weijing Jingtai Technology Co Ltd
Original Assignee
Chengdu Weijing Jingtai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Weijing Jingtai Technology Co Ltd filed Critical Chengdu Weijing Jingtai Technology Co Ltd
Priority to CN201610573245.2A priority Critical patent/CN106231177A/zh
Publication of CN106231177A publication Critical patent/CN106231177A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种场景深度测量方法、设备及成像装置。该场景深度测量方法包括以下步骤：S1驱动一可变焦透镜单元在至少两个光焦度下对同一场景获取至少两幅图像，各幅图像的放大率相同；S2分别获取每幅图像的相对散焦度值或聚焦度值；S3通过DFD算法或DFF算法获取所述场景的相对深度分布。本发明的场景深度测量方法、设备及成像装置，不用改变同一场景图像的放大率，简化了图像处理，能较快速有效地测量场景的相对深度分布。

Description

场景深度测量方法、设备及成像装置
技术领域
本发明涉及一种物体距离的测量方法和设备，具体涉及一种场景深度测量方法、设备及基于上述场景深度测量设备的成像装置。
背景技术
近年来，随着美国微软公司在Kinect产品上的成功，深度摄像头技术受到了业界越来越多的关注。深度摄像头是对场景与摄像头之间的距离进行测量。通过获取场景的深度信息给人机交互技术带来了很大的发展空间，配合上普通摄像头的二维图像，人们可以轻易获得一个周围场景的三维信息。因而该类产品开始获得广泛应用到工业自动化、计算机图形学、虚拟现实、机器人同自然人交互、医疗外科及计算机视觉等多个领域。
现有技术的深度摄像头主要通过透镜，光电传感器等光学设备实现实时计算场景深度。目前市场流行的深度摄像头大多属于主动发光式，比如专利文献US8150142B2，WO2013010913A1都有相关描述。这些技术使用红外光发射器向场景中照射红外线，并使用红外摄像头捕捉场景反射回来的红外线，通过与标定图像比对或计算与发射红外线之间的相位差等方式来计算场景深度。
然而上述深度摄像头需要使用红外发射器，这不仅增加了设备成本和耗电量，使电路结构变复杂，而且在应用到成像设备中时，仅拍摄图像深度，自动对焦性能差，因而进一步的应用受到限制。
此外,对比文件1(CN102997891A)公开了一种场景深度的测量装置和方法,其采用双摄像头的方式,每一摄像头采集一幅散焦图像,由于场景深度的变化会导致图像上散焦程度的变化，根据两幅图像中不同散射程度构建点扩散函数上的对应关系，根据对应像素坐标构建深度映射关系，最终估计实际景深值并可估计出物体高度及宽度等二维尺寸。对比文件1不仅需要用两个摄像头，成本高昂，而且二者拍摄的图像需要能相互匹配，若图像放大率有差异时，要实现相互匹配需要较为复杂的图像处理算法，容易出现偏差，且获得场景的相对深度分布缓慢的问题。
发明内容
有鉴于此，本发明提供一种场景深度测量方法、设备及成像装置，用以解决现有技术中存在场景的相对深度测量时图像处理复杂，获取场景相对深度缓慢的问题。
一种场景深度测量方法，其中，所述场景深度测量方法包括以下步骤：S1驱动一可变焦透镜单元在至少两个光焦度下对同一场景获取至少两幅图像，各幅图像的放大率相同；S2分别获取每幅图像的相对散焦度值或聚焦度值；S3通过DFD算法或DFF算法获取所述场景的相对深度分布。
较佳地，所述场景深度测量方法采用所述DFD算法时包括以下步骤：S11在T1时刻，以第一驱动电压驱动一可变焦透镜单元在第一光焦度获取第一图像；S12获取所述第一图像的第一相对散焦度；S13在T2时刻，以第二驱动电压驱动所述可变焦透镜单元在第二光焦度获取第二图像，其中所述第一驱动电压不同于所述第二驱动电压；S14获取所述第二图像的第二相对散焦度；S15依据所述第一相对散焦度和所述第二相对散焦度通过DFD算法获取场景的相对深度分布。
较佳地，所述场景深度测量方法在步骤S11之前还包括：S10像距获取步骤，获取所述可变焦透镜单元的像距。
较佳地，所述场景深度测量方法在步骤S15之后还包括以下步骤：S16依据所述像距、所述场景的相对深度分布与所述可变焦透镜单元的对焦面深度分布之间的映射关系以及高斯成像公式，获取所述场景的绝对深度。
较佳地，场景深度测量方法采用DFF算法时包括以下步骤：
S21在多个时刻，控制所述可变焦透镜单元处于不同的光焦度，分别采集同一场景的同一目标在每一时刻的图像；
S22获取每一时刻的图像的聚焦值；
S23依据每一时刻的图像的聚焦值，拟合出聚焦值分布与对焦面深度分布之间的映射关系；
S24选取聚焦值峰值所对应的对焦面深度值作为所述同一场景的同一目标的相对深度值；
S25不断改变所述同一场景的目标，按照上述步骤S21～S24获取所述同一场景中多个目标各自对应的相对深度值；
S26依据多个相对深度值，拟合出场景的相对深度分布图。
较佳地，所述多个相对深度值中包括在所述可变焦透镜单元处于最小光焦度值下获取的相对深度值和所述可变焦透镜单元在最大光焦度值下获取的相对深度值。
较佳地，所述可变焦透镜单元为液晶透镜、液晶微透镜阵列或液体透镜。
本发明还提供一种场景深度测量设备，包括：可变焦透镜单元、处理单元及存储器，所述处理单元分别连接所述存储器和所述可变焦透镜单元，所述处理单元调用所述存储器存储的程序指令实现以下功能：
驱动一可变焦透镜单元在至少两个光焦度下对同一场景获取至少两幅图像，各幅图像的放大率相同；
分别获取每幅图像的相对散焦度值或聚焦度值；
通过DFD算法或DFF算法获取所述场景的相对深度分布。
较佳地，所述可变焦透镜单元为液晶透镜或液晶微透镜阵列或液体透镜。
本发明还提供一种成像装置，所述成像装置包括：主透镜单元及图像传感器单元，其中，所述成像装置还包括如前面所述的场景深度测量设备。
本发明的场景深度测量方法、设备及成像装置利用可变焦透镜单元测量场景的相对深度分布，与传统的采用机械运动测量场景的相对深度分布相比，不用改变同一场景图像的放大率，简化了图像处理，能较快速有效地测量场景的相对深度分布。
附图说明
图1为本发明较佳实施方式的场景深度测量方法的流程示意图。
图2为本发明实施例1的场景深度测量方法采用DFD算法的流程示意图。
图3为图2中采集两幅图像获取场景的相对深度的示意图。
图4为本发明实施例2的场景深度测量方法采用DFF算法的流程示意图。
图5为图4中对焦平面深度分布与同一场景中同一目标聚焦值分布之间的变化关系示意图。
图6为本发明实施例3的场景深度测量设备的结构示意图。
图7为本发明实施例4的成像装置的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
请参见图1，图1为本发明较佳实施方式的场景深度测量方法的流程示意图。如图1所示，本发明较佳实施方式的场景深度测量方法主要包括以下步骤：
S1驱动一可变焦透镜单元在至少两个光焦度下对同一场景获取至少两幅图像，各幅图像的放大率相同；在这里，主要是分成至少两个时刻，每一时刻分别对可变焦透镜单元施加驱动电压，在驱动电压所对应的光焦度下获取同一场景的图像，而且由于可变焦透镜单元是采用电控制可变焦透镜单元的梯度折射率变化，进而实现焦距变化，因而像距是不变的，可以保证各幅图像的放大率不会发生变化。当然这里的至少两幅图像是指最少采集到两幅图像就可实现场景相对深度的测量，当然要保证场景的相对深度分布的准确性，可以采集3幅及以上的图像，此时只需用多个时刻施加不同的驱动电压至可变焦透镜单元，使其在相应的多个光焦度下获取相应的多幅图像。
S2分别获取每幅图像的相对散焦度值或聚焦度值；这里可以依据弥散圆的计算公式来获取每幅图像的相对散焦度值或聚焦度值。公式如下：
R＝qD/2＝s*D*[1/f–1/u–1/s]/2
式中，R为弥散圆半径，D是含有该可变焦透镜单元的透镜系统的光阑，s表示像距，f表示焦距，u表示物距。当R接近或等于0时，表示汇聚为一个点，此时可认为处于完全聚焦状态。
S3通过DFD算法或DFF算法获取所述场景的相对深度分布。这里的DFD算法是指离焦深度法(Depth from Defocus，简称DFD)，是图像处理中一种常见的测量场景深度的算法。DFF算法是指聚焦深度法(Depth from focus，简称DFF)是图像处理中另一种常见的测量场景深度的算法。
本发明的场景深度测量方法利用可变焦透镜单元并结合DFD或DFF算法测量场景的相对深度分布，与传统的透镜系统中使透镜进行机械运动测量场景的相对深度分布相比，不用改变同一场景图像的放大率，简化了图像处理，能较快速有效地测量场景的相对深度分布。
实施例1
请参见图2和图3，图2为本发明实施例1的场景深度测量方法采用DFD算法的流程示意图，图3为图2中采集两幅图像获取场景的相对深度的示意图。如图2和图3所示，本发明的场景深度测量方法采用所述DFD算法时主要包括以下步骤：
S11在T1时刻，以第一驱动电压驱动一可变焦透镜单元在第一光焦度获取第一图像；
S12获取所述第一图像的第一相对散焦度；也是通过弥散圆公式来获取第一相对散焦度。
S13在T2时刻，以第二驱动电压驱动所述可变焦透镜单元在第二光焦度获取第二图像，其中所述第一驱动电压不同于所述第二驱动电压；
S14获取所述第二图像的第二相对散焦度；
S15依据所述第一相对散焦度和所述第二相对散焦度通过DFD算法获取场景的相对深度分布。这里只需第一图像和第二图像两幅图像即可获取场景的相对深度分布，简化了图像处理的复杂度。
在一个较佳实施例中，所述场景深度测量方法在步骤S11之前还包括：
S10像距获取步骤，获取所述可变焦透镜单元的像距。要获取到像距，控制可变焦透镜单元处于非对焦状态，让透镜系统中除可变焦透镜单元外的其它光学透镜(如玻璃透镜或树脂透镜)(无可变焦透镜单元时，相当于现有摄像装置的镜头部分)处于一光焦度(opt ical power)下，获得其物距，然后利用高斯成像公式:1/f＝1/u+1/v,因光焦度与焦距之间是倒数关系，因而可以得出像距v的大小。由于包括可变焦透镜单元的透镜系统在工作时无需进行机械位移，因此一旦获取像距v后，其一直保持不变。当然还可以采用其它方式求出像距v。
在一个较佳实施例中，所述场景深度测量方法在步骤S15之后还包括以下步骤：
S16依据所述像距、所述场景的相对深度分布与所述可变焦透镜单元的对焦面深度分布之间的映射关系以及高斯成像公式，获取所述场景的绝对深度。
以下该可变焦透镜单元以液晶透镜为例，控制在两个时刻分别对液晶透镜施加不同的驱动电压，使得透镜系统的焦距发生变化，假设两个时刻透镜系统的焦距分别为f1和f2，相对应的对焦平面深度(即液晶透镜到场景中的对焦平面的距离)分别为u1和u2，像距v为固定值。我们可根据两幅图像的相对散焦度计算出场景的相对深度值d(其原理在下文详细叙述)。该场景的相对深度值为一标量，其一个可行的表达式为)，其中α为比例系数，依据透镜系统特性设定。当液晶透镜驱动电压已知时，透镜系统对焦平面的深度可以通过标定方法事先获取，即获取液晶透镜的驱动电压与对焦平面深度的对应关系(或者液晶透镜驱动电压与对焦平面深度的标定关系)。液晶透镜驱动电压与对焦平面深度的对应关系(标定关系)可通过如下过程得出：
首先需要测量液晶透镜的光焦度P与驱动电压(V1，V2)变化的关系，寻找出像差最小的电压组合(频率，振幅)，使得总的光焦度P总＝P+-P-最大。测量液晶透镜光焦度P随着驱动电压(V1，V2)变化的关系，测量方法可参考现有技术，经过测量得到液晶透镜的光焦度(optical power)随驱动电压变化的关系：光焦度optical_power＝fun1(V1,V2)，具体的关系可参见以下论文：如B.Wang,M.Ye,and S.Sato的论文《“Lens of electricallycontrollable focal length made by a glass lens and liquid-crystal layers”,Appl.Opt.43,3420–3425(2004)》，M.Ye,M.Noguchi,B.Wang and S.Sato的论文《Zoom lenssystem without moving elements realised using liquid crystal lenses》以及MaoYe,Bin Wang等的论文《Low-Voltage-Driving Liquid Crystal Lens》。
在一个具体实施例中，以液晶透镜为例，将干涉相干光通过液晶透镜，形成干涉条纹，并用成像装置将干涉图采集记录。接着采用第三方软件FringeXP获取全部暗条纹或亮条纹的位置，然后采用软件FringeXP获取液晶透镜的zernike系数，从而依据液晶透镜的光焦度公式P＝4Z3λ/(D/2)2，获得液晶透镜的光焦度P，其中，D为条纹的直径，λ为光的波长，Z3为液晶透镜的zernike系数。通过不断变化电压(V1，V2)，寻找到综合像差量RMS<0.07λ时候，所对应的起步焦距例如液晶透镜处于正透镜时取最小焦距值fmin，并记录起步焦距fmin时的控制电压(V1fmin，V2fmin)。之后固定V1＝V1fmin，连续变化V2＝V2fmin+Vstep，Vstep表示步进电压，可以根据精度的要求，选取0.1V或0.05V，当然并不局限于这些值，可以依据需要任意设定。记录每一个电压(V1fmin，V2fmin+K1*Vstep)组合下的焦距fK，其中K1∈[0，(V1fmin-V2fmin)/Vstep]。从而确定了焦距fK需要的控制电压(V1fmin，V2fmin+K1*Vstep)。以上是针对液晶透镜为正透镜时的情况，对于液晶透镜为负透镜时，固定V2＝V2fmin,连续变化V1＝V1fmin+Vstep,这里的Vstep与前面相同，也表示步进电压，可依据需要任意设定。然后记录每一个电压(V1fmin+K2*Vstep，V2fmin)组合下的焦距FK，其中，K2∈[(V1fmin-V2fmin)/Vstep，0]，从而确定了焦距FK需要的控制电压(V1fmin+K2*Vstep，V2fmin)。
还有，指定的场景深度值Depth’映射得到目标物距值u’，由目标物距值u’根据物距与焦距一一对应的关系：u＝v/(v/(P1+P2)-1)计算液晶透镜需要输出的光焦度P1’，根据光焦度opt ical_power＝1/f1＝fun1(V1,V2)公式计算需要的电压(V1’，V2’),即可得到液晶透镜在控制电压(V1’,V2’)下，对场景深度值为Depth’的物体清晰对上焦。
此外，成清晰像必须满足高斯成像公式：1/f＝1/u+1/v，f为成像光学系统焦距，u为物距，v为像距。组合透镜的总焦距与子透镜之间的关系为：1/f’＝1/f1+1/f2–d/(f1*f2)，f’为总焦距，f1为液晶透镜焦距，f2为玻璃透镜的焦距，d为液晶透镜和玻璃透镜之间的距离。在液晶成像系统中，没有任何机械移动，像距v保持不变，所以对焦的物距u与透镜组焦距f’一一对应：u＝fun2(f’)＝vf’/(v–f’)＝v/(v/(1/f1+1/f2–d/(f1*f2))-1)。由于在实际系统中，当液晶透镜贴附在玻璃透镜上时，d的取值可以是d＝0，即：u＝v/(v/(P1+P2)-1)。这里的P1是液晶透镜的光焦度，P2是玻璃透镜的光焦度。也就是说，作为成像系统时，可变焦透镜单元是微调焦设备，需要与主透镜单元(包括多个玻璃透镜和/或多个树脂透镜)结合使用，作为摄像头，当然主透镜单元的很多参数都可通过现有技术获取，这里就不再介绍。
还有，在使用时，我们通过读取驱动电压值直接获取透镜系统对焦平面深度，依据对焦平面深度拟合出场景的绝对深度D。
依据两幅图像的相对散焦度来计算场景的相对深度的具体方法如下：
首先，设定一个场景在经过可变焦透镜单元汇聚后在图像传感器上所成的散焦图像可以表示为：
i ( x , y ) = i f ( x , y ) * h ( x , y ; d ~ )
其中i(x，y)为实际场景成像，if(x，y)为对焦理想清晰图像，与距离无关，为成像系统的光传递函数，其值与相对深度以及成像系统其他参数(光圈，像距)有关，*为二维卷积运算符。场景的成像过程可以被认为是if(x，y)经过光传递函数的调制后生成了图像i(x，y)。如果我们能计算出场景的光传递函数也就可以由此推断出该点的相对深度。通常情况下，是无法直接获取的，原因是假想的场景理想清晰的图像if(x，y)是无法直接获取的，因此我们无法直接从i(x，y)计算出这里我们通过计算两张图像之间的相对散焦度消除场景本身带来的影响，进而求解深度。假设i1(x,y),i2(x,y)为液晶透镜处于不同焦距时获取的图像。我们对i1(x,y),i2(x,y)，进行傅里叶变换如下，
I 1 ( f r ) = I f ( f r ) H 1 ( f r ; d ~ )
I 2 ( f r ) = I f ( f r ) H 2 ( f r ; d ~ )
这里fr为场景的空间频率。两幅图像的相对散焦度R(fr)可以是 或归一化的相对散焦度这里以后者为例，则两幅图像的相对散焦度
R ( f r ) = I 1 ( f r ) - I 2 ( f r ) I 1 ( f r ) + I 2 ( f r ) = I f ( f r ) H 1 ( f r ; d ) - I f ( f r ) H 2 ( f r ; d ) I f ( f r ) H 1 ( f r ; d ~ ) + I f ( f r ) H 2 ( f r ; d ~ ) = H 1 ( f r ; d ) - H 2 ( f r ; d ) H 1 ( f r ; d ~ ) + H 2 ( f r ; d ~ )
我们可以看到经过傅里叶变换后的相对散焦度R(fr)消除了场景固有信息If(fr)的影响，只取决于场景空间频率fr和假设已知某一空间频率fr0的相对散焦度R(fr0)，我们即可计算出一个可选的方法就是对场景的相对散焦度R(fr)使用以fr0为中心波段的窄带通滤波器(例如Laplacian-Of-Gauss ian)计算出R(fr0)，进而求解出场景的相对深度
实施例2
请参见图4和图5，图4为本发明实施例2的场景深度测量方法采用DFF算法的流程示意图，图5为图4中对焦平面深度分布与同一场景中同一目标聚焦值分布之间的变化关系示意图。如图4和图5所示，本发明的场景深度测量方法采用DFF算法时主要包括以下步骤：
S21在多个时刻，控制所述可变焦透镜单元处于不同的光焦度，分别收集同一场景的同一目标在每一时刻的图像；
S22获取每一时刻的图像的聚焦值；
S23依据每一时刻的图像的聚焦值，拟合出聚焦值分布与对焦面深度分布之间的映射关系；
S24选取聚焦值峰值所对应的对焦面深度值作为所述同一场景的同一目标的相对深度值；
S25不断改变所述同一场景的目标，按照上述步骤S21～S24获取所述同一场景中多个目标各自对应的相对深度值；
S26依据多个相对深度值，拟合出场景的相对深度分布图。
在一个较佳实施例中，所述多个相对深度值中包括在所述可变焦透镜单元处于最小光焦度值下获取的相对深度值和所述可变焦透镜单元在最大光焦度值下获取的相对深度值。
在一个较佳实施例中，所述可变焦透镜单元为液晶透镜、液晶微透镜阵列或液体透镜。
控制可变焦透镜单元(如液晶透镜)使其在不同时刻分别处于不同状态，并获取不同图像，然后对所获取图像使用聚焦深度算法(DFF)计算场景深度。聚焦深度算法的原理描述如下:以场景中的一个点(目标)为例，计算该点在不同图像上所成像的聚焦值，并进行曲线拟合。聚焦值的计算可以有很多种，比如使用计算拉普拉斯平方和算子等，具体详见Pertuz S,Puig D,Garcia M A.Analys is of focus measure operators for shape-from-focus[J].Pattern Recognit ion,2013,46(5):1415-1432。
如图5所示，当我们通过变化液晶透镜驱动电压使得透镜系统的对焦平面深度发生变化时，该点在不同图像上的聚焦值也会发生变化。图5中拍摄了六幅图像，该点(同一目标)在不同图像上的聚焦值不同，各聚焦值对应的对焦平面深度分别为d1、d2、d3、d4、d5及d6，其中在聚焦值处于峰值时，此时该点处于此透镜系统的对焦平面深度d3上。然后我们可以通过对该场景中的不同目标在多幅图像中获取聚焦值的峰值的方式获取该点处于对焦状态时的透镜系统焦距，并根据已知的液晶透镜驱动电压与透镜系统对焦平面深度的对应关系推算出场景的相对深度。这里，该对应关系的获取可以通过标定获得，即在测量场景的相对深度之前，测试液晶透镜在各驱动电压下，场景的各目标在透镜系统的对焦平面深度值，然后建立起索引表，通过查询索引表中对焦平面深度值所对应的驱动电压值，施加该驱动电压值即可实现对位于对焦平面深度处的目标进行自动对焦。
实施例3
请参见图6，图6为本发明实施例3的场景深度测量设备的结构示意图。如图6所示，本发明实施例3提供一种场景深度测量设备，包括：
用于形成梯度折射率分布的可变焦透镜单元10；
处理单元20；
存储有程序指令的存储器30；
其中，所述处理单元20分别连接所述存储器30和所述可变焦透镜单元10，所述处理单元20调用所述存储器30存储的程序指令实现以下功能：
驱动一可变焦透镜单元在至少两个光焦度下对同一场景获取至少两幅图像，各幅图像的放大率相同；
分别获取每幅图像的相对散焦度值或聚焦度值；
通过DFD算法或DFF算法获取所述场景的相对深度分布。
在一个较佳实施例中，所述可变焦透镜单元10为液晶透镜或液晶微透镜阵列或液体透镜。
本发明的场景深度测量设备利用可变焦透镜单元测量场景深度分布，与传统的采用机械运动测量场景的相对深度分布相比，不用改变同一场景图像的放大率，简化了图像处理，能较快速有效地测量场景的相对深度分布。
进一步地，上述场景深度测量设备采用DFD算法测量场景深度时，包括：
第一图像获取模块，用于在T1时刻以第一驱动电压驱动一可变焦透镜单元在第一光焦度获取第一图像；
第一相对散焦度获取模块，用于获取所述第一图像的第一相对散焦度；
第二图像获取模块，用于在T2时刻以第二驱动电压驱动所述可变焦透镜单元在第二光焦度获取第二图像，其中，所述第一驱动电压不同于所述第二驱动电压；
第二相对散焦度获取模块，用于获取所述第二图像的第二相对散焦度；
场景的相对深度分布获取模块，用于依据所述第一相对散焦度和所述第二相对散焦度通过DFD算法获取场景的相对深度分布。
进一步地，上述场景深度测量设备还包括：
像距获取模块，用于获取所述可变焦透镜单元的像距。
可选地，上述场景深度测量设备还包括：
场景的绝对深度获取模块，用于依据所述像距、所述场景的相对深度分布与所述可变焦透镜单元的对焦面深度分布之间的映射关系以及高斯成像公式，获取所述场景的绝对深度。
还有，上述场景深度测量设备采用DFF算法测量场景深度时，包括：
多图采集模块，用于在多个时刻，控制所述可变焦透镜单元处于不同的光焦度，分别采集同一场景的同一目标在每一时刻的图像；
聚焦值获取模块，用于获取每一时刻的图像的聚焦值；
映射关系建立模块，用于依据每一时刻的图像的聚焦值，拟合出聚焦值分布与对焦面深度分布之间的映射关系；
同一目标的相对深度值获取模块，选取聚焦值峰值所对应的对焦面深度值作为所述同一场景的同一目标的相对深度值；
多个相对深度值获取模块，不断改变所述同一场景的目标，按照上述步骤S21～S24获取所述同一场景中多个目标各自对应的相对深度值；
相对深度分布图拟合模块，依据多个相对深度值，拟合出场景的相对深度分布图。
较佳地，所述多个相对深度值中包括在所述可变焦透镜单元处于最小光焦度值下获取的相对深度值和所述可变焦透镜单元在最大光焦度值下获取的相对深度值。
实施例4
请参见图7，图7为本发明实施例4的成像装置的结构示意图。如图7所示，本发明实施例4是基于实施例3的基础上提供一种成像装置，包括：
主透镜单元40，包括多个透镜单元，；
图像传感器单元50，用于将拍摄的光学图像转换为图像信号；
其中，所述成像装置还包括一场景深度测量设备，该场景深度测量设备包括：
用于形成梯度折射率分布的可变焦透镜单元10；
处理单元20；
存储有程序指令的存储器30；
其中，所述处理单元20分别连接所述存储器30和所述可变焦透镜单元10，所述处理单元20调用所述存储器30存储的程序指令实现以下功能：
驱动一可变焦透镜单元在至少两个光焦度下对同一场景获取至少两幅图像，各幅图像的放大率相同；
分别获取每幅图像的相对散焦度值或聚焦度值；
通过DFD算法或DFF算法获取所述场景的相对深度分布。
在一个较佳实施例中，所述可变焦透镜单元10为液晶透镜或液晶微透镜阵列或液体透镜。
本发明实施例4中的成像装置所包括的场景深度测量设备的进一步结构构成，请参见实施例3的叙述，在此不再赘述。
本发明的成像装置利用可变焦透镜单元测量场景深度分布，与传统的采用机械运动测量场景的相对深度分布相比，不用改变同一场景图像的放大率，简化了图像处理，能较快速有效地测量场景的相对深度分布。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种场景深度测量方法，其特征在于，所述场景深度测量方法包括以下步骤：
S1驱动一可变焦透镜单元在至少两个光焦度下对同一场景获取至少两幅图像，各幅图像的放大率相同；
S2分别获取每幅图像的相对散焦度值或聚焦度值；
S3通过DFD算法或DFF算法获取所述场景的相对深度分布。
2.如权利要求1所述的场景深度测量方法，其特征在于，所述场景深度测量方法采用所述DFD算法时包括以下步骤：
S11在T1时刻，以第一驱动电压驱动一可变焦透镜单元在第一光焦度获取第一图像；
S12获取所述第一图像的第一相对散焦度；
S13在T2时刻，以第二驱动电压驱动所述可变焦透镜单元在第二光焦度获取第二图像，其中所述第一驱动电压不同于所述第二驱动电压；
S14获取所述第二图像的第二相对散焦度；
S15依据所述第一相对散焦度和所述第二相对散焦度通过DFD算法获取场景的相对深度分布。
3.如权利要求2所述的场景深度测量方法，其特征在于，所述场景深度测量方法在步骤S11之前还包括：
S10像距获取步骤，获取所述可变焦透镜单元的像距。
4.如权利要求3所述的场景深度测量方法，其特征在于，所述场景深度测量方法在步骤S15之后还包括以下步骤：
S16依据所述像距、所述场景的相对深度分布与所述可变焦透镜单元的对焦面深度分布之间的映射关系以及高斯成像公式，获取所述场景的绝对深度。
5.如权利要求1所述的场景深度测量方法，其特征在于，场景深度测量方法采用DFF算法时包括以下步骤：
S21在多个时刻，控制所述可变焦透镜单元处于不同的光焦度，分别采集同一场景的同一目标在每一时刻的图像；
S22获取每一时刻的图像的聚焦值；
S23依据每一时刻的图像的聚焦值，拟合出聚焦值分布与对焦面深度分布之间的映射关系；
S24选取聚焦值峰值所对应的对焦面深度值作为所述同一场景的同一目标的相对深度值；
S25不断改变所述同一场景的目标，按照上述步骤S21～S24获取所述同一场景中多个目标各自对应的相对深度值；
S26依据多个相对深度值，拟合出场景的相对深度分布图。
6.如权利要求5所述的场景深度测量方法，其特征在于，所述多个相对深度值中包括在所述可变焦透镜单元处于最小光焦度值下获取的相对深度值和所述可变焦透镜单元在最大光焦度值下获取的相对深度值。
7.如权利要求1至6任一项所述的场景深度测量方法，其特征在于，所述可变焦透镜单元为液晶透镜、液晶微透镜阵列或液体透镜。
8.一种场景深度测量设备，其特征在于，包括：可变焦透镜单元、处理单元及存储器，所述处理单元分别连接所述存储器和所述可变焦透镜单元，所述处理单元调用所述存储器存储的程序指令实现以下功能：
驱动一可变焦透镜单元在至少两个光焦度下对同一场景获取至少两幅图像，各幅图像的放大率相同；
分别获取每幅图像的相对散焦度值或聚焦度值；
通过DFD算法或DFF算法获取所述场景的相对深度分布。
9.如权利要求8所述的场景深度测量设备，其特征在于，所述可变焦透镜单元为液晶透镜或液晶微透镜阵列或液体透镜。
10.一种成像装置，所述成像装置包括：主透镜单元及图像传感器单元，其特征在于，所述成像装置还包括权利要求8或9所述的场景深度测量设备。
CN201610573245.2A 2016-07-20 2016-07-20 场景深度测量方法、设备及成像装置 Pending CN106231177A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610573245.2A CN106231177A (zh) 2016-07-20 2016-07-20 场景深度测量方法、设备及成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610573245.2A CN106231177A (zh) 2016-07-20 2016-07-20 场景深度测量方法、设备及成像装置

Publications (1)

Publication Number Publication Date
CN106231177A true CN106231177A (zh) 2016-12-14

Family

ID=57531748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610573245.2A Pending CN106231177A (zh) 2016-07-20 2016-07-20 场景深度测量方法、设备及成像装置

Country Status (1)

Country Link
CN (1) CN106231177A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301665A (zh) * 2017-05-03 2017-10-27 中国科学院计算技术研究所 具有可变焦光学摄像头的深度摄像头及其控制方法
CN107991841A (zh) * 2017-11-10 2018-05-04 苏州灵猴机器人有限公司 景深自动测试装置
CN108701361A (zh) * 2017-11-30 2018-10-23 深圳市大疆创新科技有限公司 深度值确定方法和装置
CN109151301A (zh) * 2017-06-28 2019-01-04 三星电子株式会社 包括相机模块的电子装置
CN110470219A (zh) * 2019-08-16 2019-11-19 福建农林大学 基于边缘频谱保留的散焦图像测距方法及装置
CN111866387A (zh) * 2020-07-27 2020-10-30 支付宝(杭州)信息技术有限公司 深度图像成像系统和方法
CN111983828A (zh) * 2019-05-22 2020-11-24 电子科技大学 聚焦深度测量方法和测量装置
CN113066116A (zh) * 2021-03-08 2021-07-02 郭洪志 一种至少具有两个感光器的图像成像深度处理方法
CN113504678A (zh) * 2021-07-22 2021-10-15 北京京东方技术开发有限公司 一种透镜、景深传感器、景深测量系统及透镜的制作方法
CN113902791A (zh) * 2021-11-22 2022-01-07 郑州大学 一种基于液态镜头深度聚焦的三维重建方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置
CN102959586A (zh) * 2011-04-12 2013-03-06 松下电器产业株式会社 运动推测装置、深度推测装置以及运动推测方法
CN103198473A (zh) * 2013-03-05 2013-07-10 腾讯科技（深圳）有限公司 一种深度图生成方法及装置
CN105446049A (zh) * 2014-09-02 2016-03-30 深圳市墨克瑞光电子研究院 成像装置和成像方法
CN105467714A (zh) * 2014-09-05 2016-04-06 深圳市墨克瑞光电子研究院 液晶透镜成像装置及液晶透镜成像方法
US20160220120A1 (en) * 2015-02-04 2016-08-04 Postech Academy-Industry Foundation Optical imaging apparatus for multi-depth image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959586A (zh) * 2011-04-12 2013-03-06 松下电器产业株式会社 运动推测装置、深度推测装置以及运动推测方法
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置
CN103198473A (zh) * 2013-03-05 2013-07-10 腾讯科技（深圳）有限公司 一种深度图生成方法及装置
CN105446049A (zh) * 2014-09-02 2016-03-30 深圳市墨克瑞光电子研究院 成像装置和成像方法
CN105467714A (zh) * 2014-09-05 2016-04-06 深圳市墨克瑞光电子研究院 液晶透镜成像装置及液晶透镜成像方法
US20160220120A1 (en) * 2015-02-04 2016-08-04 Postech Academy-Industry Foundation Optical imaging apparatus for multi-depth image

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALEX PAUL PENTLAND: "A New Sense for Depth of Field", 《IEEE》 *
G. SURYA; M. SUBBARAO: "Depth from defocus by changing camera aperture: a spatial domain approach", 《IEEE》 *
J. ENS; P. LAWRENCE: "An investigation of methods for determining depth from focus", 《IEEE》 *
M. SUBBARAO; TAO CHOI: "Accurate recovery of three-dimensional shape from image focus", 《IEEE》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301665A (zh) * 2017-05-03 2017-10-27 中国科学院计算技术研究所 具有可变焦光学摄像头的深度摄像头及其控制方法
CN109151301A (zh) * 2017-06-28 2019-01-04 三星电子株式会社 包括相机模块的电子装置
CN109151301B (zh) * 2017-06-28 2022-02-11 三星电子株式会社 包括相机模块的电子装置
US11048061B2 (en) 2017-06-28 2021-06-29 Samsung Electronics Co., Ltd Electronic device including camera module
CN107991841A (zh) * 2017-11-10 2018-05-04 苏州灵猴机器人有限公司 景深自动测试装置
CN108701361A (zh) * 2017-11-30 2018-10-23 深圳市大疆创新科技有限公司 深度值确定方法和装置
CN111983828A (zh) * 2019-05-22 2020-11-24 电子科技大学 聚焦深度测量方法和测量装置
CN113589562A (zh) * 2019-05-22 2021-11-02 电子科技大学 图像采集方法、聚焦深度测量方法和测量装置
CN110470219A (zh) * 2019-08-16 2019-11-19 福建农林大学 基于边缘频谱保留的散焦图像测距方法及装置
CN111866387A (zh) * 2020-07-27 2020-10-30 支付宝(杭州)信息技术有限公司 深度图像成像系统和方法
CN111866387B (zh) * 2020-07-27 2021-11-02 支付宝(杭州)信息技术有限公司 深度图像成像系统和方法
CN113066116A (zh) * 2021-03-08 2021-07-02 郭洪志 一种至少具有两个感光器的图像成像深度处理方法
CN113504678A (zh) * 2021-07-22 2021-10-15 北京京东方技术开发有限公司 一种透镜、景深传感器、景深测量系统及透镜的制作方法
CN113902791A (zh) * 2021-11-22 2022-01-07 郑州大学 一种基于液态镜头深度聚焦的三维重建方法及装置

Similar Documents

Publication Publication Date Title
CN106231177A (zh) 场景深度测量方法、设备及成像装置
CN106060358B (zh) 场景连续分析方法、设备及成像装置
CN106226975B (zh) 自动对焦方法、设备及成像装置
Cai et al. Ray calibration and phase mapping for structured-light-field 3D reconstruction
CN106454116B (zh) 自动全焦成像方法及装置
Yau et al. Underwater camera calibration using wavelength triangulation
CN108732719A (zh) 光学影像撷取镜头组、取像装置及电子装置
EP3144879A1 (en) A method and an apparatus for generating data representative of a light field
CN203101791U (zh) 红外变焦光场相机
DE112009001652T5 (de) Mehrkanal-Erfassung
CN113780258A (zh) 一种光电计算光场智能深度分类方法和装置
CN103592756B (zh) 一种共孔径光束二维定位跟踪方法及装置
CN103313642B (zh) 内窥镜装置
CN109087395A (zh) 一种三维重建的方法及系统
CN106204554A (zh) 基于多聚焦图像的景深信息获取方法、系统及拍摄终端
CN110491316A (zh) 一种投影仪及其投影控制方法
Kagawa et al. A three‐dimensional multifunctional compound‐eye endoscopic system with extended depth of field
CN106791373A (zh) 对焦处理方法、装置及终端设备
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN114595636A (zh) 一种单目快照式深度偏振四维成像方法和系统
CN205829812U (zh) 场景连续分析设备及成像装置
CN114372916A (zh) 一种自动化点云拼接方法
CN103149698B (zh) 一种基于硅基液晶的主动光学变焦系统及其变焦方法
CN207689359U (zh) 一种便携式地面高光谱成像仪
CN207096113U (zh) 一种拍摄圆柱体不同面的装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161214

RJ01 Rejection of invention patent application after publication