CN108053468B

CN108053468B - 一种单目视觉聚焦堆栈采集与场景重建方法

Info

Publication number: CN108053468B
Application number: CN201711293627.0A
Authority: CN
Inventors: 刘畅; 赵旭; 亢新凯; 邱钧
Original assignee: Beijing Information Science and Technology University
Current assignee: Beijing Information Science and Technology University
Priority date: 2017-12-08
Filing date: 2017-12-08
Publication date: 2021-02-26
Anticipated expiration: 2037-12-08
Also published as: CN108053468A

Abstract

本发明公开了一种单目视觉聚焦堆栈采集与场景重建方法，其包括：通过电控旋转器控制定焦镜头的转动，采集聚焦堆栈数据；在定焦镜头的转动的过程中，固定探测器，并沿相机的光轴同步平移定焦透镜；根据对定焦镜头的位置调整，建立电控旋转器的转动角度与成像面深度的对应关系；根据电控旋转器的转动角度和成像面深度的对应关系，并结合透镜成像的物像关系，建立电控旋转器的转动角度与聚焦物面深度之间的对应关系；根据电控旋转器的转动角度与聚焦物面深度之间的对应关系，利用极大化聚焦测度泛函数计算每一物点的深度，输出场景深度图和全聚焦图，以重构三维场景。本发明能够来满足对相机拍摄视场(FOV)下三维场景重构、图像深度信息和全聚焦的需求，生成深度图和全聚焦图像。

Description

一种单目视觉聚焦堆栈采集与场景重建方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，是一种单目视觉聚焦堆栈采集与场景重建方法。

背景技术

图像深度是指真实场景到摄像机成像平面之间的距离。深度信息在传感器中也得到了广泛的应用，如图像识别与处理、智能机器人、虚拟与现实技术等。

目前图像深度信息的获取主要有两种方式，即深度相机拍摄和深度估计软件估计。在深度相机系统中，深度的获取大多数靠飞行时间原理来估计深度，但是由于受到环境影响因素较大，其精确性较低。另外还有基于双目立体匹配的深度传感装置，其对硬件要求较高，且算法复杂，计算的时间较长，不适合广泛的使用。对于深度估计软件，往往在处理数据的过程中准确率较低。

因此，希望有一种技术方案来克服或至少减轻现有技术的上述缺陷中的至少一个。

发明内容

本发明的目的在于提供一种单目视觉聚焦堆栈采集与场景重建方法来克服或至少减轻现有技术的上述缺陷中的至少一个。

为实现上述目的，本发明提供一种单目视觉聚焦堆栈采集与场景重建方法，其包括：

步骤100，通过电控旋转器控制定焦镜头的转动，采集聚焦堆栈数据；其中：在定焦镜头的转动的过程中，固定探测器，并沿相机的光轴同步平移定焦透镜；

步骤200，根据步骤100中对定焦镜头的位置调整，建立电控旋转器的转动角度与成像面深度的对应关系；

步骤300，根据步骤200得到的电控旋转器的转动角度和成像面深度的对应关系，并结合透镜成像的物像关系，建立电控旋转器的转动角度与聚焦物面深度之间的对应关系；

步骤400，根据步骤300中得到的电控旋转器的转动角度与聚焦物面深度之间的对应关系，利用极大化聚焦测度泛函计算每一物点的深度，进而输出场景深度图和全聚焦图，并由深度图和全聚焦图重构三维场景。

进一步地，通过在不同的时刻对输入电控旋转器的电流大小进行控制，使电控旋转器输出目标转动方向和转动角度，电控旋转器将其转动方向和转动角度传递给定焦镜头。

进一步地，步骤200得到的成像面深度与发电控旋转器的转动角度之间的对应关系为：a＝a₀+k(p_i)，其中：p_i为电控旋转器的转动角度，a₀为初始成像面深度，a为成像面深度，k(p_i)为成像面深度与旋转角度之间的变换函数。

进一步地，步骤300得到的聚焦物面深度与电控旋转器的转动角度之间的对应关系为：

其中：f为定焦透镜的焦距，d为成像面与物面在相机光轴上的水平距离。

进一步地，步骤400中的“利用极大化聚焦测度泛函计算每一物点的深度”为：

d(x,y)＝max_d|focus{F(d,x,y)}|；

其中：F(d,x,y)为步骤100采集到的聚焦堆栈，最大聚焦测度所在位置作为物点的图像深度；

步骤400中的“全聚焦图”的模型可以描述为下式：

I(x,y)＝F(d(x,y),x,y)。

本发明将探测器固定，通过高精度电控旋转器带动定焦镜头转动使镜头沿光轴移动完成数据采集，由于聚焦堆栈是对一定视场(FOV)下的三维场景的多成像平面成像，因而能够实现相机拍摄视场(FOV)下的三维场景重构，并且可以生成在一定视场下的精确深度图和全聚焦图，并且体积较小，受限条件较小，可以广泛应用在众多领域。

附图说明

图1是本发明实施例提供的单目视觉聚焦堆栈采集与场景重建方法的流程示意图。

图2是对场景生成聚焦堆栈的示意图。

图3是控制高精度电控旋转器转动的原理图。

图4是根据本发明一实施例提供的生成聚焦堆栈的示意图。

具体实施方式

在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

如图1所示，本发明实施例提供的单目视觉聚焦堆栈采集与场景重建方法包括如下步骤：

步骤100，通过电控旋转器控制定焦镜头的转动，采集聚焦堆栈数据。相机包括定焦镜头和探测器，定焦镜头指的是在采集聚焦堆栈过程中镜头的焦距固定。聚焦堆栈是一组聚焦在不同成像平面或采用不同参数拍摄的成像序列，本实施方式中的聚焦堆栈为一组聚焦在不同成像平面的成像序列。

具体地，本实施方式是通过固定探测器，沿相机的光轴同步移动定焦透镜的方式完成聚焦堆栈采集，在直线平移定焦透镜的过程中，需要通过电控旋转器控制定焦镜头的转动，使定焦镜头转动至预设角度。

如图4所示，首先根据图4说明沿相机的光轴直线平移定焦透镜的过程：图4的左侧包括第1次物面、第n次物面等，示出的是场景中的多个物面位置。右侧为位置固定的探测器。中间包括第1次成像、第n次成像等，示出的是定焦透镜在相机的光轴上的不同位置。

然后根据图3说明沿相机的光轴直线平移定焦透镜的过程中还需要通过电控旋转器控制定焦镜头的转动，使定焦镜头转动至预设角度，具体过程为：

通过在不同的时刻对输入电控旋转器的电流大小进行控制，使电控旋转器输出不同的转动方向和转动角度，这样受电控旋转器控制的定焦镜头的转动方向和转动角度也能够被控制。在本实施例中，定焦镜头的转动角度的控制精度较高(比如1度)。这样就可以在定焦镜头沿着相机光轴方向平移过程中，同时转动定焦镜头，完成对场景的聚焦堆栈数据采集。

实现电控旋转器输出目标转动方向和转动角度的方法很多，比如：电控旋转器内部有一个基准电路，与外界获得的直流偏置电压进行比较，然后将获得的电压差进行输出，进而控制电控旋转器的转动方向和转动角度。不同的电压差对应不同的方向和转动角度。例如：如图3所示，在0.5ms时，电控旋转器输出的转动方向是顺时针，转动角度是-90°；在1ms时，电控旋转器输出的转动方向是顺时针，转动角度是-45°；1.5ms时，电控旋转器输出的转动方向是顺时针，转动角度是0°；在2ms时，电控旋转器输出的转动方向是顺时针，转动角度是45°；在2.5ms时，电控旋转器输出的转动方向是顺时针，转动角度是90°。

电控旋转器需要将其转动方向和转动角度传递给定焦镜头，因此，电控旋转器与定焦镜头之间的连接关系可以采用如图2中示出的方式。图2中，固定栓旋钮2通过卡在不同的卡槽中来配合电控旋转器调节归零角度。定焦镜头1由套筒3外包，通过控制电控旋转器输入电压来控制高精度电控旋转器的转动角度，进而改变定焦镜头1的位置来完成场景聚焦堆栈的数据采集，其具体采集情况如图4所示。

步骤200，根据步骤100中对定焦镜头的位置调整，建立电控旋转器的转动角度与成像面深度的对应关系。其中，

定焦镜头的位置包括定焦镜头的在相机光轴上相对于成像面的水平距离、定焦镜头相对于初始位置的转动角度。初始位置可以理解为开始拍摄时调整镜头位置使得被拍摄的物体的某一部位被准确聚焦的位置。成像面深度是指成像面与定焦镜头所在的平面之间在相机光轴上的水平距离。比如：设电控旋转器的转动角度为p_i，初始成像面深度为a₀，成像面深度为a,则由于不同的转动角度对应定焦镜头的在相机光轴上探测器的探测面的不同的水平距离，即对应不同的成像面深度a，从而得到电控旋转器的转动角度与成像面深度的对应关系为：

a＝a₀+k(p_i)，其中：k(p_i)指的是成像面深度与旋转角度之间的变换函数，由具体镜头参数所决定。

步骤300，根据步骤200得到的电控旋转器的转动角度和成像面深度的对应关系，并结合透镜成像的物像关系，建立电控旋转器的转动角度与聚焦物面深度之间的对应关系。聚焦物面深度是指物面与定焦镜头所在的平面之间在相机光轴上的水平距离。

步骤300中，透镜成像的物像关系由成像公式可知式(1)：

式(1)中，f为定焦透镜的焦距，a₀为初始成像面深度，d₀为初始成像面与物面在相机光轴上的水平距离。

利用上述式(1)，当定焦镜头的在相机光轴上相对于成像面的水平距离发生变化时，则可表示为式(2)：

将式(1)和式(2)变形为下式(3)，即聚焦物面深度与电控旋转器的转动角度之间的对应关系为：

式(3)中，a为成像面深度，d为成像面与物面在相机光轴上的水平距离。Δd＝d-d₀可以由高精度电控旋转器的转动角度p_i来描述，可得式(4)：

由式(4)得到聚焦物面深度增量与电控旋转器的转动角度之间的对应关系。

步骤400，根据步骤300中得到的聚焦物面深度与电控旋转器的转动角度的之间对应关系，利用极大化聚焦测度泛函计算场景中每一物点的深度，进而输出场景深度图和全聚焦图，并由深度图和全聚焦图重构三维场景。

根据聚焦堆栈F(d,x,y)，建立聚焦测度泛函focus{F(d,x,y)}描述点(x,y)在不同深度d所对应的聚焦程度。极大化聚焦测度泛函focus{F(d,x,y)}得到场景深度图，因此场景的深度图可表示为如下式(5)：

d(x,y)＝max_d|focus{F(d,x,y)}| (5)

其中，(x,y)为物点在成像面上的坐标。极大化目标泛函的过程是将任意点(x,y)的最大聚焦测度所在位置的深度为点(x,y)的深度。

场景的全聚焦图像可以通过获取具有最大聚焦测度值的像素来实现，对于一组多维的聚焦堆栈,结合最大聚焦测度，全聚焦图的模型可以描述为如下式(6)：

I(x,y)＝F(d(x,y),x,y) (6)

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种单目视觉聚焦堆栈采集与场景重建方法，其特征在于，包括：

步骤200，根据步骤100中对定焦镜头的位置调整，建立电控旋转器的转动角度与成像面深度的对应关系：a＝a₀+k(p_i)，其中：p_i为电控旋转器的转动角度，a₀为初始成像面深度，a为成像面深度，k(p_i)为成像面深度与旋转角度之间的变换函数；

步骤300，根据步骤200得到的电控旋转器的转动角度和成像面深度的对应关系，并结合透镜成像的物像关系，建立电控旋转器的转动角度与聚焦物面深度之间的对应关系：

其中：f为定焦透镜的焦距，d为成像面与物面在相机光轴上的水平距离；

步骤400，根据步骤300中得到的电控旋转器的转动角度与聚焦物面深度之间的对应关系，利用极大化聚焦测度泛函数计算每一物点的深度，进而输出场景深度图和全聚焦图，并由深度图和全聚焦图重构三维场景；

步骤400中的“利用极大化聚焦测度泛函数计算每一物点的深度”为：

d(x,y)＝max_d|focus{F(d,x,y)}|；

步骤400中的“全聚焦图”的模型描述为下式：

I(x,y)＝F(d(x,y),x,y)。

2.如权利要求1所述的单目视觉聚焦堆栈采集与场景重建方法，其特征在于，通过在不同的时刻对输入电控旋转器的电流大小进行控制，使电控旋转器输出目标转动方向和转动角度，电控旋转器将其转动方向和转动角度传递给定焦镜头。