CN108053468A - 一种单目视觉聚焦堆栈采集与场景重建方法 - Google Patents

Abstract

本发明公开了一种单目视觉聚焦堆栈采集与场景重建方法，其包括：通过电控旋转器控制定焦镜头的转动，采集聚焦堆栈数据；在定焦镜头的转动的过程中，固定探测器，并沿相机的光轴同步平移定焦透镜；根据对定焦镜头的位置调整，建立电控旋转器的转动角度与成像面深度的对应关系；根据电控旋转器的转动角度和成像面深度的对应关系，并结合透镜成像的物像关系，建立电控旋转器的转动角度与聚焦物面深度之间的对应关系；根据电控旋转器的转动角度与聚焦物面深度之间的对应关系，利用极大化聚焦测度泛函计算每一物点的深度，输出场景深度图和全聚焦图，以重构三维场景。本发明能够来满足对相机拍摄视场(FOV)下三维场景重构、图像深度信息和全聚焦的需求，生成深度图和全聚焦图像。

Description

一种单目视觉聚焦堆栈采集与场景重建方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，是一种单目视觉聚焦堆栈 采集与场景重建方法。

背景技术

图像深度是指真实场景到摄像机成像平面之间的距离。深度信息在传感 器中也得到了广泛的应用，如图像识别与处理、智能机器人、虚拟与现实技术 等。

目前图像深度信息的获取主要有两种方式，即深度相机拍摄和深度估计 软件估计。在深度相机系统中，深度的获取大多数靠飞行时间原理来估计深度， 但是由于受到环境影响因素较大，其精确性较低。另外还有基于双目立体匹配 的深度传感装置，其对硬件要求较高，且算法复杂，计算的时间较长，不适合 广泛的使用。对于深度估计软件，往往在处理数据的过程中准确率较低。

因此，希望有一种技术方案来克服或至少减轻现有技术的上述缺陷中的 至少一个。

发明内容

本发明的目的在于提供一种单目视觉聚焦堆栈采集与场景重建方法来克 服或至少减轻现有技术的上述缺陷中的至少一个。

为实现上述目的，本发明提供一种单目视觉聚焦堆栈采集与场景重建方 法，其包括：

步骤100，通过电控旋转器控制定焦镜头的转动，采集聚焦堆栈数据；其 中：在定焦镜头的转动的过程中，固定探测器，并沿相机的光轴同步平移定焦 透镜；

步骤200，根据步骤100中对定焦镜头的位置调整，建立电控旋转器的转 动角度与成像面深度的对应关系；

步骤300，根据步骤200得到的电控旋转器的转动角度和成像面深度的对 应关系，并结合透镜成像的物像关系，建立电控旋转器的转动角度与聚焦物面 深度之间的对应关系；

步骤400，根据步骤300中得到的电控旋转器的转动角度与聚焦物面深度 之间的对应关系，利用极大化聚焦测度泛函计算每一物点的深度，进而输出场 景深度图和全聚焦图，并由深度图和全聚焦图重构三维场景。

进一步地，通过在不同的时刻对输入电控旋转器的电流大小进行控制， 使电控旋转器输出目标转动方向和转动角度，电控旋转器将其转动方向和转动 角度传递给定焦镜头。

进一步地，步骤200得到的成像面深度与发电控旋转器的转动角度之间 的对应关系为：a＝a₀+k(p_i)，其中：p_i为电控旋转器的转动角度，a₀为初 始成像面深度，a为成像面深度，k(p_i)为成像面深度与旋转角度之间的变换 函数。

进一步地，步骤300得到的聚焦物面深度与电控旋转器的转动角度之间 的对应关系为：

其中：f为定焦透镜的焦距，d为成像面与物面在相机光轴上的水平距离。

进一步地，步骤400中的“利用极大化聚焦测度泛函计算每一物点的深 度”为：

d(x，y)＝max_d|focus{F(d，x，y)}|；

其中：F(d，x，y)为步骤100采集到的聚焦堆栈，最大聚焦测度所在位置 作为物点的图像深度；

步骤400中的“全聚焦图”的模型可以描述为下式：

I(x，y)＝F(d(x，y)，x，y)。

本发明将探测器固定，通过高精度电控旋转器带动定焦镜头转动使镜头 沿光轴移动完成数据采集，由于聚焦堆栈是对一定视场(FOV)下的三维场景的 多成像平面成像，因而能够实现相机拍摄视场(FOV)下的三维场景重构，并且 可以生成在一定视场下的精确深度图和全聚焦图，并且体积较小，受限条件较 小，可以广泛应用在众多领域。

附图说明

图1是本发明实施例提供的单目视觉聚焦堆栈采集与场景重建方法的流 程示意图。

图2是对场景生成聚焦堆栈的示意图。

图3是控制高精度电控旋转器转动的原理图。

图4是根据本发明一实施例提供的生成聚焦堆栈的示意图。

具体实施方式

在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或 类似功能的元件。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、 “右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系 为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而 不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和 操作，因此不能理解为对本发明保护范围的限制。

如图1所示，本发明实施例提供的单目视觉聚焦堆栈采集与场景重建方 法包括如下步骤：

步骤100，通过电控旋转器控制定焦镜头的转动，采集聚焦堆栈数据。相 机包括定焦镜头和探测器，定焦镜头指的是在采集聚焦堆栈过程中镜头的焦距 固定。聚焦堆栈是一组聚焦在不同成像平面或采用不同参数拍摄的成像序列， 本实施方式中的聚焦堆栈为一组聚焦在不同成像平面的成像序列。

具体地，本实施方式是通过固定探测器，沿相机的光轴同步移动定焦透 镜的方式完成聚焦堆栈采集，在直线平移定焦透镜的过程中，需要通过电控旋 转器控制定焦镜头的转动，使定焦镜头转动至预设角度。

如图4所示，首先根据图4说明沿相机的光轴直线平移定焦透镜的过程： 图4的左侧包括第1次物面、第n次物面等，示出的是场景中的多个物面位置。 右侧为位置固定的探测器。中间包括第1次成像、第n次成像等，示出的是定 焦透镜在相机的光轴上的不同位置。

然后根据图3说明沿相机的光轴直线平移定焦透镜的过程中还需要通过 电控旋转器控制定焦镜头的转动，使定焦镜头转动至预设角度，具体过程为：

通过在不同的时刻对输入电控旋转器的电流大小进行控制，使电控旋转 器输出不同的转动方向和转动角度，这样受电控旋转器控制的定焦镜头的转动 方向和转动角度也能够被控制。在本实施例中，定焦镜头的转动角度的控制精 度较高(比如1度)。这样就可以在定焦镜头沿着相机光轴方向平移过程中， 同时转动定焦镜头，完成对场景的聚焦堆栈数据采集。

实现电控旋转器输出目标转动方向和转动角度的方法很多，比如：电控 旋转器内部有一个基准电路，与外界获得的直流偏置电压进行比较，然后将获 得的电压差进行输出，进而控制电控旋转器的转动方向和转动角度。不同的电 压差对应不同的方向和转动角度。例如：如图3所示，在0.5ms时，电控旋转 器输出的转动方向是顺时针，转动角度是-90°；在1ms时，电控旋转器输出 的转动方向是顺时针，转动角度是-45°；1.5ms时，电控旋转器输出的转动 方向是顺时针，转动角度是0°；在2ms时，电控旋转器输出的转动方向是顺 时针，转动角度是45°；在2.5ms时，电控旋转器输出的转动方向是顺时针， 转动角度是90°。

电控旋转器需要将其转动方向和转动角度传递给定焦镜头，因此，电控 旋转器与定焦镜头之间的连接关系可以采用如图2中示出的方式。图2中，固 定栓旋钮2通过卡在不同的卡槽中来配合电控旋转器调节归零角度。定焦镜头 1由套筒3外包，通过控制电控旋转器输入电压来控制高精度电控旋转器的转 动角度，进而改变定焦镜头1的位置来完成场景聚焦堆栈的数据采集，其具体 采集情况如图4所示。

步骤200，根据步骤100中对定焦镜头的位置调整，建立电控旋转器的转 动角度与成像面深度的对应关系。其中，

定焦镜头的位置包括定焦镜头的在相机光轴上相对于成像面的水平距离、 定焦镜头相对于初始位置的转动角度。初始位置可以理解为开始拍摄时调整镜 头位置使得被拍摄的物体的某一部位被准确聚焦的位置。成像面深度是指成像 面与定焦镜头所在的平面之间在相机光轴上的水平距离。比如：设电控旋转器 的转动角度为p_i，初始成像面深度为a₀，成像面深度为a，则由于不同的转动角 度对应定焦镜头的在相机光轴上探测器的探测面的不同的水平距离，即对应不 同的成像面深度a，从而得到电控旋转器的转动角度与成像面深度的对应关系 为：

a＝a₀+k(p_i)，其中：k(p_i)指的是成像面深度与旋转角度之间的变换 函数，由具体镜头参数所决定。

步骤300，根据步骤200得到的电控旋转器的转动角度和成像面深度的对 应关系，并结合透镜成像的物像关系，建立电控旋转器的转动角度与聚焦物面 深度之间的对应关系。聚焦物面深度是指物面与定焦镜头所在的平面之间在相 机光轴上的水平距离。

步骤300中，透镜成像的物像关系由成像公式可知式(1)：

式(1)中，f为定焦透镜的焦距，a₀为初始成像面深度，d₀为初始成像 面与物面在相机光轴上的水平距离。

利用上述式(1)，当定焦镜头的在相机光轴上相对于成像面的水平距离 发生变化时，则可表示为式(2)：

将式(1)和式(2)变形为下式(3)，即聚焦物面深度与电控旋转器的 转动角度之间的对应关系为：

式(3)中，a为成像面深度，d为成像面与物面在相机光轴上的水平距 离。Δd＝d-d₀可以由高精度电控旋转器的转动角度p_i来描述，可得式(4)：

由式(4)得到聚焦物面深度增量与电控旋转器的转动角度之间的对应关 系。

步骤400，根据步骤300中得到的聚焦物面深度与电控旋转器的转动角度 的之间对应关系，利用极大化聚焦测度泛函计算场景中每一物点的深度，进而 输出场景深度图和全聚焦图，并由深度图和全聚焦图重构三维场景。

根据聚焦堆栈F(d，x，y)，建立聚焦测度泛函focus{F(d，x，y)}描述点(x，y) 在不同深度d所对应的聚焦程度。极大化聚焦测度泛函focus{F(d，x，y)}得到场 景深度图，因此场景的深度图可表示为如下式(5)：

d(x，y)＝max_d|focus{F(d，x，y)}| (5)

其中，(x，y)为物点在成像面上的坐标。极大化目标泛函的过程是将任意 点(x，y)的最大聚焦测度所在位置的深度为点(x，y)的深度。

场景的全聚焦图像可以通过获取具有最大聚焦测度值的像素来实现，对 于一组多维的聚焦堆栈，结合最大聚焦测度，全聚焦图的模型可以描述为如下 式(6)：

I(x，y)＝F(d(x，y)，x，y) (6)

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对 其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术 方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换， 并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种单目视觉聚焦堆栈采集与场景重建方法，其特征在于，包括：

步骤100，通过电控旋转器控制定焦镜头的转动，采集聚焦堆栈数据；其中：在定焦镜头的转动的过程中，固定探测器，并沿相机的光轴同步平移定焦透镜；

步骤200，根据步骤100中对定焦镜头的位置调整，建立电控旋转器的转动角度与成像面深度的对应关系；

步骤300，根据步骤200得到的电控旋转器的转动角度和成像面深度的对应关系，并结合透镜成像的物像关系，建立电控旋转器的转动角度与聚焦物面深度之间的对应关系；

步骤400，根据步骤300中得到的电控旋转器的转动角度与聚焦物面深度之间的对应关系，利用极大化聚焦测度泛函计算每一物点的深度，进而输出场景深度图和全聚焦图，并由深度图和全聚焦图重构三维场景。

2.如权利要求1所述的单目视觉聚焦堆栈采集与场景重建方法，其特征在于，通过在不同的时刻对输入电控旋转器的电流大小进行控制，使电控旋转器输出目标转动方向和转动角度，电控旋转器将其转动方向和转动角度传递给定焦镜头。

3.如权利要求1所述的单目视觉聚焦堆栈采集与场景重建方法，其特征在于，步骤200得到的成像面深度与发电控旋转器的转动角度之间的对应关系为：a＝a₀+k(p_i)，其中：p_i为电控旋转器的转动角度，a₀为初始成像面深度，a为成像面深度，k(p_i)为成像面深度与旋转角度之间的变换函数。

4.如权利要求3所述的单目视觉聚焦堆栈采集与场景重建方法，其特征在于，步骤300得到的聚焦物面深度与电控旋转器的转动角度之间的对应关系为：

<mrow> <mi>d</mi> <mo>=</mo> <mfrac> <mrow> <mi>f</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>a</mi> <mn>0</mn> </msub> <mo>+</mo> <mi>k</mi> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>)</mo> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>a</mi> <mn>0</mn> </msub> <mo>+</mo> <mi>k</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> </mrow> </mfrac> </mrow>

其中：f为定焦透镜的焦距，d为成像面与物面在相机光轴上的水平距离。

5.如权利要求4所述的单目视觉聚焦堆栈采集与场景重建方法，其特征在于，步骤400中的“利用极大化聚焦测度泛函计算每一物点的深度”为：

d(x，y)＝max_d|focus{F(d，x，y)}|；

其中：F(d，x，y)为步骤100采集到的聚焦堆栈，最大聚焦测度所在位置作为物点的图像深度；

步骤400中的“全聚焦图”的模型可以描述为下式：

I(x，y)＝F(d(x，y)，x，y)。