CN113589562A - 图像采集方法、聚焦深度测量方法和测量装置 - Google Patents

图像采集方法、聚焦深度测量方法和测量装置 Download PDF

Info

Publication number
CN113589562A
CN113589562A CN202110898514.3A CN202110898514A CN113589562A CN 113589562 A CN113589562 A CN 113589562A CN 202110898514 A CN202110898514 A CN 202110898514A CN 113589562 A CN113589562 A CN 113589562A
Authority
CN
China
Prior art keywords
liquid crystal
crystal lens
driving voltage
lens
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110898514.3A
Other languages
English (en)
Inventor
叶茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110898514.3A priority Critical patent/CN113589562A/zh
Publication of CN113589562A publication Critical patent/CN113589562A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306—Details
    • G02F1/1309—Repairing; Testing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/294—Variable focal length devices

Landscapes

  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Liquid Crystal (AREA)

Abstract

本发明涉及光学成像技术领域，本发明解决了聚焦深度测量技术中图像采集效率较低的问题，提供一种图像采集方法、聚焦深度测量方法和测量装置。该深度测量方法包括以下步骤：液晶透镜接收第一驱动电压；将液晶透镜接收的第一驱动电压切换为第二驱动电压；响应于第一驱动电压至第二驱动电压的切换，液晶透镜连续变焦；在液晶透镜变焦的过程中采集同一场景中不同对焦物的一系列图像；采集各幅图像中每个像素点的对焦评价值；采集每个像素点的场景深度。本发明发现了液晶透镜的动态变焦特性，其采集过程中液晶透镜分别呈透镜状态且成像像差均小于0.1，本发明无须等待液晶透镜完成变焦后采集图像，从而提高采集效率。

Description

图像采集方法、聚焦深度测量方法和测量装置
本申请是2019年5月22日提交、发明名称为“聚焦深度测量方法和测量装置”、申请号为201910427957.7的发明专利申请的分案申请。
技术领域
本发明属于光学成像技术领域，具体是一种图像采集方法、聚焦深度测量方法和测量装置。
背景技术
通过电控液晶透镜变焦的研究很多，例如：
发表于2009年6月1日的论文“基于双折射原理共焦系统超分辨性能及轴向扫描技术研究”(现有技术1)，其通过改变电压Vc为不同的值，研究不同驱动电压下液晶透镜的焦距变化。
发表于2016年5月1日的论文“石墨烯基液晶微透镜阵列的制作与成像探测研究”(现有技术2)，其选取了多组不同固定电压值观察并测量微透镜阵列的焦距变化情况。
发表于2017年3月10日的论文“快速响应弯曲排列液晶透镜的研究”(现有技术3)，其测量焦距的方法为：在测量焦距过程中，通过在滑道铁轨上移动白屏的位置来寻找液晶透镜盒的焦点，若当焦点落在屏幕上时，出射光由于会聚作用，在白屏上光斑中也会形成一个小圆亮点，此时再测量白屏与液晶透镜盒之间的距离，该距离即为测得的焦距，然后通过改变不同的电压，在不同电压下，滑动白屏测量不同电压下液晶盒所对应的焦距。
通过现有技术1至现有技术3可以看出现有技术均是调节电压至某一特定电压值后，研究液晶透镜的焦距变化情况，而在液晶透镜连续变焦的过程中研究焦距变化的技术很少。造成这一现象的主要有以下几个原因：
1、液晶透镜的工作原理为：加在液晶透镜上的电压使液晶层中产生轴对称的不均匀电场，从而引起液晶层中液晶分子轴对称不均匀取向，液晶透镜在特定电压下形成光学透镜状的折射率分布，此时液晶透镜成为一种光学透镜。这种透镜状的折射率分布可由加在液晶透镜上的电压来改变，所以液晶透镜可电控调焦。研究人员一直认为，液晶透镜要呈现光学透镜状态，必须要给液晶透镜加上特定的电压值，且此特定的电压值产生一个特定焦距；换言之，要获得具有特定焦距的液晶透镜，必须给液晶透镜加上此特定焦距对应的电压。
2、论文“石墨烯基液晶微透镜阵列的制作与成像探测研究”(现有技术2)当中通过实验论证了：“在外部电场的驱动下，液晶分子的倾斜角度并不是随电压的变化立刻变化，同时两者之间也不是作线性变化，而是有一定的阈值电压Vth(该论文中实验得到的阈值电压约为1.5Vrms)，当施加电压大于这个阈值电压时，液晶分子开始偏转”。因此，造成研究人员认为如果施加驱动电压的改变值小于阈值时液晶分子偏转角度不会变化的观点，也就造成研究人员认为液晶透镜无法动态连续变焦的技术偏见。但该论文的实验过程中分别选取了1.5Vrms、2.0Vrms、3.0Vrms、4.0Vrms、5.0Vrms、6.0Vrms的固定电压值进行的实验(其电压值是非连续变换的)，所以其并没有证明在液晶透镜驱动电压连续变换的过程中，驱动电压的改变值小于阈值不会导致液晶分子偏转的角度变化(例如在液晶透镜驱动电压由1.5Vrms变换为6.0Vrms的过程中，驱动电压的改变值小于1.5Vrms不会导致液晶分子偏转的角度变化)。
综合上述因素，最终导致研究人员存在液晶透镜无法动态连续变焦的技术偏见。
发明专利CN106231177A于2016年12月14日公开的场景深度测量方法、设备及成像装置，其说明书实施例1公开的场景深度测量方法包括以下步骤：S11在T1时刻，以第一驱动电压驱动一液晶透镜在第一光焦度获取第一图像；S12获取所述第一图像的第一相对散焦度；通过弥散圆公式来获取第一相对散焦度。S13在T2时刻，以第二驱动电压驱动所述液晶透镜在第二光焦度获取第二图像，其中所述第一驱动电压不同于所述第二驱动电压；S14获取所述第二图像的第二相对散焦度……其采集图像的方式还是在液晶透镜完成变焦后采集的，这也说明在图像采集技术中技术人员没有克服液晶透镜无法动态连续变焦的技术偏见。该领域的技术人员也无法预见液晶透镜在连续变焦过程中均为透镜状态，导致在图像采集过程中，只能人工调整多次电压，每次电压调整后都需要待液晶透镜完成变焦才人工进行图像采集，造成图像采集效率较低的问题。而场景深度测量是通过采集一系列不同焦段的图像进行计算从而采集场景深度，其采集的图像数量越多，深度测量结果越精确；由于现有的图像采集方法采集效率较低，也就难以采集到更多的图像，最终导致场景深度测量结果的精确度较低。同时，现有的图像采集方法是人工进行图像采集，也难以采集更多的图像。
发明内容
有鉴于此，本发明提供了一种基于液晶透镜动态变焦特性的图像采集方法、聚焦深度测量方法和测量装置，用以解决现有技术中存在的场景深度测量过程中图像采集效率较低的问题。
本发明采用的技术方案是：
第一方面，本发明提供一种聚焦深度测量方法，包括以下步骤：
S1、液晶透镜接收第一驱动电压；
S2、将所述液晶透镜接收的所述第一驱动电压切换为第二驱动电压；
S3、响应于所述第一驱动电压至第二驱动电压的切换，液晶透镜连续变焦，液晶透镜在变焦过程中保持透镜状态；
S4、在液晶透镜连续变焦的过程中对同一场景采集至少两幅图像；
S5、采集各幅图像中每个像素点的对焦评价值；
S6、通过DFF算法采集每个像素点的场景深度；
其中，液晶透镜在第一驱动电压和第二驱动电压时，液晶透镜分别呈透镜状态。
优选地，液晶透镜在变焦过程中像差RMS小于0.1。
优选地，液晶透镜位于图像采集装置的光阑位置。
优选地，液晶透镜在变焦过程中从正透镜到负透镜变化。
优选地，通过提高图像传感器的采集频率，采集更多不同焦段的图像。
第二方面，本发明提供一种图像采集方法，包括括以下步骤：
液晶透镜接收第一驱动电压；
将所述液晶透镜接收的所述第一驱动电压切换为第二驱动电压；
响应于所述第一驱动电压至第二驱动电压的切换，液晶透镜连续变焦；
在液晶透镜连续变焦的过程中对同一场景采集至少两幅图像。
优选地，调节第一驱动电压和第二驱动使液晶透镜特性从正透镜到负透镜变化，并从液晶透镜开始变焦至液晶透镜开始变焦的后4秒内控制图像传感器每隔1/15秒采集一次图像。
第三方面，本发明通过一种聚焦深度测量装置，包括：液晶透镜、图像传感器、处理单元及存储器，所述处理单元分别连接存储器、图像传感器和液晶透镜，所述处理单元调用存储器存储的程序指令实现以下功能：
使液晶透镜接收第一驱动电压；将所述液晶透镜接收的所述第一驱动电压切换为第二驱动电压；响应于所述第一驱动电压至第二驱动电压的切换，液晶透镜连续变焦，液晶透镜在变焦过程中保持透镜状态；在液晶透镜连续变焦的过程中对同一场景采集至少两幅图像；采集各幅图像中每个像素点的对焦评价值；通过DFF算法采集所述场景的相对深度分布；
其中，液晶透镜在第一驱动电压和第二驱动电压时，液晶透镜分别呈透镜状态。
优选地，在所述液晶透镜连续变焦的过程中按图像采集频率f对同一场景采集至少两幅图像，且各幅图像的放大率相同。
优选地，所述液晶透镜置于整个成像系统光阑位置。
综上所述，本发明的有益效果如下：
本发明发现了液晶透镜具有在变焦过程中始终保持着透镜状态的特性，利用这一特性对图像进行动态采集，克服了液晶透镜无法动态连续变焦的技术偏见，本发明无须等待液晶透镜完成变焦后再采集图像，从而节约了图像的采集时间，提高了采集效率。
附图说明
图1为实施例1中图像采集装置的结构示意图；
图2为图1的俯视图；
图3为图1中A-A处的剖视图；
图4为实施例1中液晶透镜的结构示意图；
图5为实施例1中所采集的各图像的光焦度Power、像差RMS与时间的关系图。
附图标记如下：
1、第一ITO电极；2、紫外胶；3、Cr电极；4、间隔子；5、液晶层；6、第二ITO电极；7、第一基板；8、第二基板；9、第三基板；10、液晶透镜；11、玻璃透镜；12、图像传感器；13、第一对焦物；14、第二对焦物；15、第三对焦物；16、桌面；17、第四对焦物；18、第五对焦物。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施例1：
本发明实施例1公开了一种基于液晶透镜动态变焦特性的图像采集方法，该图像采集方法采用如图1和图2所示的图像采集装置进行采集，图像采集装置从左至右依次包括液晶透镜、玻璃透镜和图像传感器，图像传感器的受光面朝向玻璃透镜设置，且液晶透镜的右侧面与玻璃透镜的左侧面相接触。该液晶透镜位于图像采集装置的光阑位置，玻璃透镜的焦距为8mm。
液晶透镜的结构如图4所示，其包括沿透镜通光方向(通光方向为垂直于液晶层的方向)依次设置的第三基板、第一ITO电极、紫外胶、Cr电极、第二基板、液晶层、第二ITO电极和第一基板。且第二基板与第二ITO电极之间设置有间隔子垫起液晶层所需的厚度。该液晶透镜中施加在Cr电极与第二ITO电极之间的电压为V1，施加在第一ITO电极与第二ITO电极之间的电压为V2。
使用该图像采集装置进行图像采集的场景如图1和图2所示，将第五对焦物、第四对焦物、第三对焦物、第二对焦物、第一对焦物、液晶透镜、玻璃透镜和图像传感器从左至右放置在桌面上，使第五对焦物、第四对焦物、第三对焦物、第二对焦物、第一对焦物的图像向右依次穿过液晶透镜和玻璃透镜被图像传感器采集。为保证图像传感器能采集到这五个对焦物的图像，五个对焦物的尺寸及摆放方式如图3所示，第一对焦物沿通光方向的投影尺寸小于第二对焦物沿通光方向投影的尺寸，第二对焦物沿通光方向的投影尺寸小于第三对焦物沿通光方向投影的尺寸，第三对焦物沿通光方向的投影尺寸小于第四对焦物沿通光方向投影的尺寸，第四对焦物沿通光方向的投影尺寸小于第五对焦物沿通光方向投影的尺寸。第五对焦物、第四对焦物、第三对焦物、第二对焦物和第一对焦物沿通光方向交错放置于桌面上。
图像采集装置的采集原理为：首先，在液晶透镜上不加电压使透镜工作在非透镜状态，初始对焦物距u0为30cm。分别测量液晶透镜在第一驱动电压(V11＝36Vrms，V21＝14Vrms，f1＝1000hz)、第二驱动电压(V12＝20Vrms，V22＝52Vrms，f2＝1000hz)工作时的工作状态。测得液晶透镜的驱动电压为在第一驱动电压时，液晶透镜所成的像位于图像传感器上，其光焦度Power1＝4.4m-1；测得液晶透镜的驱动电压为在第二驱动电压时，液晶透镜所成的像位于图像传感器上，其光焦度Power2＝-2.5m-1。即液晶透镜在第一驱动电压、第二驱动电压工作时为透镜状态，且液晶透镜在第一驱动电压或第二驱动电压下工作时液晶透镜分别呈光焦度不同的液晶状态。根据高斯公式：
Figure BDA0003198809190000071
Figure BDA0003198809190000072
其中，u0为初始对焦物距，v为像距，fglass为玻璃透镜的焦距，fLC为液晶透镜的焦距，光焦度power＝1/fLC，将上述两式相减可得：
Figure BDA0003198809190000081
将u0＝30cm，Power1＝4.4m-1带入上式，求得液晶透镜处于第一驱动电压时，对焦物距u1约为13cm；将u0＝30cm，Power2＝-2.5m-1带入上式，求得液晶透镜处于第二驱动电压时，对焦物距u2约为120cm。
将第一对焦物移动至对焦物距13cm处，移动第五对焦物至对焦物距120cm处，将第二对焦物移至对焦物距30cm处，移动第三对焦物至对焦物距45cm处，移动第四对焦物至对焦物距60cm处。
现有的图像采集方式为：使电压V1和V2逐级调节如表1所示，使液晶透镜特性从正透镜到负透镜变化(V1从36Vrms逐级变为20Vrms，V2由14Vrms逐级变为52Vrms，对焦物距从13cm变为120cm)，每次V1、V2的数值调节后，都等待液晶透镜完成变焦才控制图像传感器采集一次图像，共采集22次图像，所采集的各图像的光焦度Power及像差RMS如表1所示。由于液晶透镜位于图像采集装置的光阑位置，所以采集到的各幅图像的放大率相同。
V1(Vrms) V2(Vrms) Power(m<sup>-1</sup>) RMS(wave) V1(Vrms) V2(Vrms) Power(m<sup>-1</sup>) RMS(wave)
36.000 14.000 4.440 0.044 20.000 42.000 -1.577 0.030
36.000 15.000 4.373 0.046 20.000 43.000 -1.679 0.030
36.000 16.000 4.247 0.052 20.000 44.000 -1.806 0.038
36.000 17.000 4.145 0.052 20.000 45.000 -1.889 0.033
36.000 18.000 4.014 0.053 20.000 46.000 -1.995 0.036
36.000 19.000 3.874 0.053 20.000 47.000 -2.078 0.034
36.000 20.000 3.741 0.051 20.000 48.000 -2.183 0.036
36.000 21.000 3.593 0.051 20.000 49.000 -2.280 0.036
36.000 22.000 3.458 0.049 20.000 50.000 -2.371 0.035
36.000 23.000 3.303 0.049 20.000 51.000 -2.458 0.035
36.000 24.000 3.176 0.044 20.000 52.000 -2.553 0.039
表1
实施例1中图像采集方式为：将电压V1和V2进行调节，使液晶透镜特性从正透镜到负透镜变化(V1从36Vrms变为20Vrms，V2从14Vrms变为52Vrms，对焦物距从13cm变为120cm)；控制图像传感器从液晶透镜开始变焦至液晶透镜开始变焦的后4秒内采集60次图像(每隔1/15秒采集一次图像，即图像采集频率为15Hz)，所采集的各图像的光焦度Power及像差RMS如表2和图5所示。由于液晶透镜位于图像采集装置的光阑位置，所以采集到的各幅图像的放大率相同。
time(ms) Power(m<sup>-1</sup>) RMS(wave) time(ms) Power(m<sup>-1</sup>) RMS(wave)
66.667 4.357 0.066 2066.667 -0.998 0.056
133.333 4.355 0.066 2133.333 -1.077 0.057
200.000 4.356 0.066 2200.000 -1.212 0.058
266.667 4.356 0.066 2266.667 -1.273 0.058
333.333 4.354 0.066 2333.333 -1.374 0.059
400.000 4.357 0.066 2400.000 -1.418 0.059
466.667 4.358 0.067 2466.667 -1.463 0.059
533.333 4.282 0.066 2533.333 -1.539 0.060
600.000 3.749 0.055 2600.000 -1.573 0.060
666.667 3.512 0.050 2666.667 -1.635 0.060
733.333 3.085 0.046 2733.333 -1.658 0.061
800.000 2.887 0.043 2800.000 -1.684 0.061
866.667 2.671 0.041 2866.667 -1.724 0.061
933.333 2.277 0.047 2933.333 -1.742 0.061
1000.000 2.218 0.057 3000.000 -1.773 0.061
1066.667 2.021 0.074 3066.667 -1.786 0.062
1133.333 1.879 0.080 3133.333 -1.809 0.061
1200.000 1.731 0.083 3200.000 -1.822 0.062
1266.667 1.404 0.091 3266.667 -1.828 0.061
1333.333 1.223 0.092 3333.333 -1.843 0.061
1400.000 0.862 0.082 3400.000 -1.851 0.061
1466.667 0.704 0.080 3466.667 -1.860 0.061
1533.333 0.391 0.079 3533.333 -1.865 0.061
1600.000 0.232 0.076 3600.000 -1.868 0.062
1666.667 0.066 0.071 3666.667 -1.872 0.061
1733.333 -0.213 0.064 3733.333 -1.879 0.061
1800.000 -0.333 0.061 3800.000 -1.885 0.061
1866.667 -0.568 0.058 3866.667 -1.881 0.061
1933.333 -0.684 0.056 3933.333 -1.884 0.061
2000.000 -0.800 0.056 4000.000 -1.890 0.061
表2
从表2和图5可以看出，液晶透镜在变焦过程中(从正透镜到负透镜变化过程中)，液晶透镜始终保持着透镜状态且像差RMS都小于0.1(该特性即为液晶透镜动态变焦特性)，所采集到的图像质量好，其克服了液晶透镜无法动态连续变焦的技术偏见。本实施例在液晶透镜变焦的过程中对图像进行采集，其无须等待液晶透镜完成变焦后再采集图像，相较于现有的采集方法大大节约采集时间，从而提高了图像采集效率。
同时，从表2和图5可以看出，在液晶透镜驱动电压连续变换的过程中，焦距是连续变化的，也就是说在液晶透镜驱动电压连续变换的过程中，液晶分子偏转的角度是连续变化的，即在液晶透镜驱动电压连续变换的过程中，液晶分子偏转的角度与驱动电压的改变值是否小于阈值无关(液晶透镜驱动电压连续变换的过程也并不存在使液晶分子偏转角度不变的阈值)。
由于本实施例图像采集过程处于液晶透镜的连续变焦过程中，在该过程中，只需通过提高图像传感器的采集频率，便可采集到更多不同焦段的图像，这样的采集方式十分简单，高效。
实施例2：
本发明实施例2公开了一种基于液晶透镜动态变焦特性的聚焦深度测量方法，该测量方法包括三步，第一步为图像采集，第二步为采集各幅图像中每个像素点的对焦评价值，第三步为通过DFF算法采集每个像素点的场景深度。
实施例2的第一步图像采集的方式与实施例1中的采集方法相同，其调节电压V1和V2使液晶透镜特性从正透镜到负透镜变化，并从液晶透镜开始变焦至液晶透镜开始变焦的后4秒内控制图像传感器每隔1/15秒采集一次图像，共采集60次图像，这60幅图像中各幅图像的放大率相同。
实施例2的第二步为采集各幅图像中每个像素点的对焦评价值，其具体是采用MLAP算子的公式计算每个像素点x方向与y方向的二阶导数绝对值之和作为该像素点的对焦评价值ci，j。MLAP算子的公式为美国电气与电子工程师协会分析与机器智能汇刊(IEEETRANSACTIONS ON PA’ITERN ANALYSIS AND MACHINE INTELLIGENCE,VOL.16.NO.8,AUGUST1994)于1994年8月公开的期刊“Shape from Focus”中的公式，MLAP算子的公式为：
Figure BDA0003198809190000111
实施例2的第三步通过DFF算法采集每个像素点的场景深度，其具体包括以下步骤：
S1、分别对多张图像中的同一个像素点的评价值通过优化目标函数拟合为曲线，该优化目标函数为IEEE图像处理汇刊(IEEE transactions on image processing:apublication of the IEEE Signal Processing Society)于2015年12月公开的期刊“Variational Depth from Focus Reconstruction”中的多项式；该优化目标函数为：
Figure BDA0003198809190000112
其中，D(d)＝-∑i∑jci，j(di，j)，ci，j为各像素点的对焦评价值，R为图像TV范数，α为权衡因子；
S2、通过ADMM(Alternating Direction Method of Multipliers)算法计算拟合曲线的最优解(即得到拟合曲线的最小值，该值所对应的光焦度为该像素点最清晰时的光焦度)，得到该像素点最清晰时对应的液晶透镜光焦度；
S4、利用像素点与光焦度的一一对应关系采集场景深度。
本实施例的有益效果为：由于本实施例图像采集过程处于液晶透镜的连续变焦过程中，在该过程中，只需通过提高图像传感器的采集频率，便可采集到更多不同焦段的图像；如此，在深度测量过程中计算得到每个像素点更多的对焦评价值，最后得到的场景深度测量结果更精确。实施例2证明了实施例1中的图像采集方法解决了场景深度测量过程中图像采集效率低的问题。
实施例3：
本发明实施例3公开了一种基于液晶透镜动态变焦特性的图像采集方法，实施例3中图像采集方法与实施例1中图像采集方法的区别点在于：实施例3中图像采集方法使用的图像采集装置中液晶透镜偏离于系统的光阑位置，实施例3中图像采集方法除上述区别点外与实施例1中图像采集方法相同。由于实施例3中液晶透镜偏离于系统的光阑位置，所以实施例3图像传感器采集的60幅图像中各幅图像的放大率不同，即各幅图像中像素点的放大率不同。
实施例4：
本发明实施例4公开了一种基于液晶透镜动态变焦特性的聚焦深度测量方法，该测量方法包括三步，第一步为图像采集，第二步为采集各幅图像中每个像素点的对焦评价值，第三步为通过DFF算法采集每个像素点的场景深度。
实施例4的第一步图像采集的方式与实施例3中的采集方法相同，其调节电压V1和V2使液晶透镜特性从正透镜到负透镜变化，并从液晶透镜开始变焦至液晶透镜开始变焦的后4秒内控制图像传感器每隔1/15秒采集一次图像，共采集60次图像，这60幅图像中各幅图像的放大率不同。
实施例4的第二步采集各幅图像中每个像素点的对焦评价值，其具体为采用MLAP算子的公式计算每个像素点x方向与y方向的二阶导数绝对值之和作为该像素点的对焦评价值ci，j。MLAP算子的公式为美国电气与电子工程师协会分析与机器智能汇刊(IEEETRANSACTIONS ON PA’ITERN ANALYSIS AND MACHINE INTELLIGENCE,VOL.16.NO.8,AUGUST1994)于1994年8月公开的期刊“Shape from Focus”中的公式，MLAP算子的公式为：
Figure BDA0003198809190000131
实施例4的第三步通过DFF算法采集每个像素点的场景深度，其具体包括以下步骤：
S1、分别对多张图像中的同一个像素点的评价值通过优化目标函数拟合为曲线，该优化目标函数为IEEE图像处理汇刊(IEEE transactions on image processing:apublication of the IEEE Signal Processing Society)于2015年12月公开的期刊“Variational Depth from Focus Reconstruction”中的多项式；该优化目标函数为：
Figure BDA0003198809190000132
其中，D(d)＝-∑i∑jci，j(di，j)，ci，j为各像素点的对焦评价值，R为图像TV范数，α为权衡因子；
S2、通过ADMM(Alternating Direction Method of Multipliers)算法计算拟合曲线的最优解(即得到拟合曲线的最小值，该值所对应的光焦度为该像素点最清晰时的光焦度)，得到该像素点最清晰时对应的液晶透镜光焦度；
S4、利用像素点与光焦度的一一对应关系采集场景深度。
其中，实施例4的第三步在采集每个像素点的场景深度的计算过程中，由于各计算结果与像素点的放大率无关，所以图像放大率不影响第三步中场景深度的计算结果。
但实施例4的第二步采集各幅图像中每个像素点对焦评价值的过程中，参与计算各幅图像的放大率不同，所以采用MLAP算子的公式计算每个像素点x方向与y方向的二阶导数绝对值之和的结果是存在一定误差(在图像边0缘处误差最大)，最终导致实施例4中得到场景深度结果的精确性低于的实施例2中得到场景深度结果，因此实施例4只能用于精度要求较低的场景深度测量过程中。
实施例4也证明了实施例3中的图像采集方法解决了场景深度测量过程中图像采集效率低的问题。
实施例5：
本发明实施例5公开了一种基于液晶透镜动态变焦特性的聚焦深度测量装置，包括：液晶透镜、图像传感器、处理单元及存储器，该液晶透镜位于光阑位置处，处理单元分别连接存储器、图像传感器和液晶透镜，处理单元调用存储器存储的程序指令实现以下功能：
使液晶透镜接收第一驱动电压；将所述液晶透镜接收的所述第一驱动电压切换为第二驱动电压；响应于所述第一驱动电压至第二驱动电压的切换，液晶透镜连续变焦；在液晶透镜连续变焦的过程中对同一场景采集至少两幅图像；采集各幅图像中每个像素点的对焦评价值；通过DFF算法采集场景的相对深度分布。
其中，液晶透镜在第一驱动电压和第二驱动电压时，液晶透镜分别呈透镜状态。
实施例5中聚焦深度测量装置的图像采集过程处于液晶透镜的连续变焦过程中，在该过程中，只需通过提高图像传感器的采集频率，便可采集到更多不同焦段的图像；如此，在深度测量过程中计算得到每个像素点更多的对焦评价值，最后得到的场景深度测量结果更精确。
实施例6：
本发明实施例6公开了一种基于液晶透镜动态变焦特性的聚焦深度测量装置，包括：液晶透镜、图像传感器、处理单元及存储器，该液晶透镜位于光阑位置处，处理单元分别连接存储器、图像传感器和液晶透镜，处理单元调用存储器存储的程序指令实现以下功能：
使液晶透镜接收第一驱动电压；将所述液晶透镜接收的所述第一驱动电压切换为第二驱动电压；响应于所述第一驱动电压至第二驱动电压的切换，液晶透镜连续变焦；在液晶透镜连续变焦的过程中对同一场景采集至少两幅图像，且各幅图像的放大率相同；采集各幅图像中每个像素点的对焦评价值；通过DFF算法采集场景的相对深度分布。
其中，液晶透镜在第一驱动电压和第二驱动电压时，液晶透镜分别呈透镜状态。
实施例6中聚焦深度测量装置在采集过程中液晶透镜置于整个成像系统光阑位置的，保证采集的各幅图像的放大率相同，从而提高了深度测量结果的精确性。
实施例7：
本发明实施例7公开了一种基于液晶透镜动态变焦特性的聚焦深度测量装置，包括：液晶透镜、图像传感器、处理单元及存储器，该液晶透镜位于光阑位置处，处理单元分别连接存储器、图像传感器和液晶透镜，处理单元调用存储器存储的程序指令实现以下功能：
使液晶透镜接收第一驱动电压；将所述液晶透镜接收的所述第一驱动电压切换为第二驱动电压；响应于所述第一驱动电压至第二驱动电压的切换，液晶透镜连续变焦；在所述液晶透镜连续变焦的过程中按图像采集频率f对同一场景采集至少两幅图像，且各幅图像的放大率相同；采集各幅图像中每个像素点的对焦评价值；通过DFF算法采集场景的相对深度分布。
其中，液晶透镜在第一驱动电压和第二驱动电压时，液晶透镜分别呈透镜状态。
实施例7中图像采集频率f≥15Hz。
实施例7中聚焦深度测量装置只需通过提高图像传感器的采集频率f便可采集到更多不同焦段的图像；如此，在深度测量过程中计算得到每个像素点更多的对焦评价值，最后得到的场景深度测量结果更精确。
实施例8：
本发明实施例8公开了一种基于液晶透镜动态变焦特性的聚焦深度测量装置，包括：液晶透镜、图像传感器、处理单元及存储器，该液晶透镜位于光阑位置处，处理单元分别连接存储器、图像传感器和液晶透镜，处理单元调用存储器存储的程序指令实现以下功能：
使液晶透镜接收第一驱动电压；将所述液晶透镜接收的所述第一驱动电压切换为第二驱动电压；响应于所述第一驱动电压至第二驱动电压的切换，液晶透镜连续变焦；在液晶透镜连续变焦的过程中对同一场景采集至少两幅图像，且各幅图像的放大率相同；
通过MLAP算子计算各幅图像中每个像素点x方向与y方向的二阶导数绝对值之和作为该像素点的对焦评价值；
将各幅图像中的同一个像素点的对焦评价值通过优化目标函数拟合为曲线；该优化目标函数为：
Figure BDA0003198809190000161
其中，D(d)＝-∑i∑jci，j(di，j)，ci，j为各像素点的对焦评价值，R为图像TV范数，α为权衡因子。
通过ADMM算法计算拟合曲线的最小值，得到该像素点最清晰时对应的液晶透镜光焦度；
利用光焦度与像素点的一一对应关系采集场景深度。
其中，液晶透镜在第一驱动电压和第二驱动电压时，液晶透镜分别呈透镜状态。
以上对本发明所提供的聚焦深度测量方法和测量装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。不应理解为对本发明的限制。

Claims (10)

1.一种聚焦深度测量方法，其特征在于，包括以下步骤：
S1、液晶透镜接收第一驱动电压；
S2、将所述液晶透镜接收的所述第一驱动电压切换为第二驱动电压；
S3、响应于所述第一驱动电压至第二驱动电压的切换，液晶透镜连续变焦，液晶透镜在变焦过程中保持透镜状态；
S4、在液晶透镜连续变焦的过程中对同一场景采集至少两幅图像；
S5、采集各幅图像中每个像素点的对焦评价值；
S6、通过DFF算法采集每个像素点的场景深度；
其中，液晶透镜在第一驱动电压和第二驱动电压时，液晶透镜分别呈透镜状态。
2.根据权利要求1所述的聚焦深度测量方法，其特征在于，液晶透镜在变焦过程中像差RMS小于0.1。
3.根据权利要求1所述的聚焦深度测量方法，其特征在于，液晶透镜位于图像采集装置的光阑位置。
4.根据权利要求1所述的聚焦深度测量方法，其特征在于，液晶透镜在变焦过程中从正透镜到负透镜变化。
5.根据权利要求1所述的聚焦深度测量方法，其特征在于，通过提高图像传感器的采集频率，采集更多不同焦段的图像。
6.一种图像采集方法，其特征在于，包括以下步骤：
液晶透镜接收第一驱动电压；
将所述液晶透镜接收的所述第一驱动电压切换为第二驱动电压；
响应于所述第一驱动电压至第二驱动电压的切换，液晶透镜连续变焦；
在液晶透镜连续变焦的过程中对同一场景采集至少两幅图像。
7.根据权利要求6所述的图像采集方法，其特征在于，调节第一驱动电压和第二驱动使液晶透镜特性从正透镜到负透镜变化，并从液晶透镜开始变焦至液晶透镜开始变焦的后4秒内控制图像传感器每隔1/15秒采集一次图像。
8.一种的聚焦深度测量装置，其特征在于，包括：液晶透镜、图像传感器、处理单元及存储器，所述处理单元分别连接存储器、图像传感器和液晶透镜，所述处理单元调用存储器存储的程序指令实现以下功能：
使液晶透镜接收第一驱动电压；将所述液晶透镜接收的所述第一驱动电压切换为第二驱动电压；响应于所述第一驱动电压至第二驱动电压的切换，液晶透镜连续变焦，液晶透镜在变焦过程中保持透镜状态；在液晶透镜连续变焦的过程中对同一场景采集至少两幅图像；采集各幅图像中每个像素点的对焦评价值；通过DFF算法采集所述场景的相对深度分布；
其中，液晶透镜在第一驱动电压和第二驱动电压时，液晶透镜分别呈透镜状态。
9.如权利要求8所述的聚焦深度测量装置，其特征在于，在所述液晶透镜连续变焦的过程中按图像采集频率f对同一场景采集至少两幅图像，且各幅图像的放大率相同。
10.如权利要求9所述的聚焦深度测量装置，其特征在于，所述液晶透镜置于整个成像系统光阑位置。
CN202110898514.3A 2019-05-22 2019-05-22 图像采集方法、聚焦深度测量方法和测量装置 Pending CN113589562A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110898514.3A CN113589562A (zh) 2019-05-22 2019-05-22 图像采集方法、聚焦深度测量方法和测量装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910427957.7A CN111983828B (zh) 2019-05-22 2019-05-22 聚焦深度测量方法和测量装置
CN202110898514.3A CN113589562A (zh) 2019-05-22 2019-05-22 图像采集方法、聚焦深度测量方法和测量装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910427957.7A Division CN111983828B (zh) 2019-05-22 2019-05-22 聚焦深度测量方法和测量装置

Publications (1)

Publication Number Publication Date
CN113589562A true CN113589562A (zh) 2021-11-02

Family

ID=73436371

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910427957.7A Active CN111983828B (zh) 2019-05-22 2019-05-22 聚焦深度测量方法和测量装置
CN202110898514.3A Pending CN113589562A (zh) 2019-05-22 2019-05-22 图像采集方法、聚焦深度测量方法和测量装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910427957.7A Active CN111983828B (zh) 2019-05-22 2019-05-22 聚焦深度测量方法和测量装置

Country Status (1)

Country Link
CN (2) CN111983828B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111983828B (zh) * 2019-05-22 2021-08-31 电子科技大学 聚焦深度测量方法和测量装置
CN113344941A (zh) * 2021-05-14 2021-09-03 深圳市华汉伟业科技有限公司 一种基于聚焦图像的深度估计方法及图像处理装置
CN116381973B (zh) * 2023-06-05 2023-08-11 南昌虚拟现实研究院股份有限公司 一种液晶透镜变焦响应测试方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070279539A1 (en) * 2004-11-16 2007-12-06 Citizen Co., Ltd. Autofocus Device
CN106231177A (zh) * 2016-07-20 2016-12-14 成都微晶景泰科技有限公司 场景深度测量方法、设备及成像装置
CN111983828A (zh) * 2019-05-22 2020-11-24 电子科技大学 聚焦深度测量方法和测量装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070279539A1 (en) * 2004-11-16 2007-12-06 Citizen Co., Ltd. Autofocus Device
CN106231177A (zh) * 2016-07-20 2016-12-14 成都微晶景泰科技有限公司 场景深度测量方法、设备及成像装置
CN111983828A (zh) * 2019-05-22 2020-11-24 电子科技大学 聚焦深度测量方法和测量装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JULIEN N. P. MARTEL等: "Real-Time Depth From Focus on a Programmable Focal Plane Processor", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS–I》 *
MAO YE等: "Low-Voltage-Driving Liquid Crystal Lens", 《THE JAPAN SOCIETY OF APPLIED PHYSICS》 *

Also Published As

Publication number Publication date
CN111983828A (zh) 2020-11-24
CN111983828B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN111983828B (zh) 聚焦深度测量方法和测量装置
US20140019098A1 (en) Metrics for Designing a Plenoptic Imaging System
CN103529543A (zh) 一种显微镜自动调焦方法
Liu et al. Continuous optical zoom microscope with extended depth of field and 3D reconstruction
CN110543004B (zh) 一种高放大倍率大变倍比数码显微镜物镜
JP4715016B2 (ja) ポリシリコン膜の評価方法
CN113568153B (zh) 一种显微成像设备以及纳米尺度三维形貌测量系统
CN103487927A (zh) 一种显微镜自动调焦方法
CN111999878B (zh) 一种显微成像系统及其实时对焦方法
US7330574B2 (en) Best-focus estimation by lateral scanning
CN103323939A (zh) 数字切片实时扫描自动聚焦系统及方法
CN108873275B (zh) 变焦适配器光学系统、变焦适配器及内窥镜系统
CN112019751B (zh) 基于标定信息的自动聚焦方法
CN103606181A (zh) 一种显微三维重构方法
CN105676356B (zh) 一种纤芯的定位方法及光纤熔接的纤芯对位校准方法
CN113705298A (zh) 图像采集方法、装置、计算机设备及存储介质
CN104813214B (zh) 一种近红外激光聚焦镜头及激光印刷设备
CN117555123B (zh) 一种电子显微镜自动对焦方法及装置
Jia et al. Autofocus algorithm using optimized Laplace evaluation function and enhanced mountain climbing search algorithm
US6215586B1 (en) Active optical image enhancer for a microscope
CN104991336B (zh) 一种用于纵向扫描的显微镜系统
CN106842496B (zh) 基于频域比较法的自动调节焦点的方法
Bahy Autofocus microscope system based on blur measurement approach
JP6595576B2 (ja) ズーム顕微鏡
CN114967093B (zh) 一种基于显微高光谱成像平台的自动对焦方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211102

RJ01 Rejection of invention patent application after publication