CN105719290B

CN105719290B - 一种使用时域视觉传感器的双目立体深度匹配方法

Info

Publication number: CN105719290B
Application number: CN201610036310.8A
Authority: CN
Inventors: 胡燕翔
Original assignee: Tianjin Normal University
Current assignee: Tianjin Normal University
Priority date: 2016-01-20
Filing date: 2016-01-20
Publication date: 2019-02-05
Anticipated expiration: 2036-01-20
Also published as: CN105719290A

Abstract

本发明公开了一种使用时域视觉传感器的双目立体深度匹配方法，并给出具体实现步骤。与目前广泛使用的基于“帧图像”的双目立体深度匹配方法不同，本发明使用一种新型成像器件‑‑时域视觉传感器进行视觉信息采集，以其输出事件序列作为算法输入来进行空间运动目标的立体深度匹配与计算。由于这种成像器件只对拍摄场景中的光强变化进行采样与输出，因此具有很高的时间分辨率以及极低的信息冗余。与现有的方法相比，本发明提出的立体深度匹配方法可以显著地降低计算量，提高算法的实时性与连续性。

Description

一种使用时域视觉传感器的双目立体深度匹配方法

技术领域

本发明涉及计算机视觉、数字图像处理以及图像传感器设计等多个技术领域，具体涉及一种使用时域视觉传感器的双目立体深度匹配方法。

背景技术

一、双目立体深度匹配方法

双目立体视觉系统模拟生物双眼的视差功能，使用两台性能相同、相对位置固定的摄像机，同时从不同的角度获取同一场景的两幅图像，然后计算原空间中任意一点在这两幅图像中的(位置)视差，进而通过三角测距原理计算出该点的三维坐标信息。双目立体视觉是机器视觉的重要分支之一，已应用于工业检测、追踪定位、三维重建、机器人导航避障、图像分割等很多领域。

双目立体视觉通过以下几个步骤获取空间点的立体深度：摄像机标定、图像获取、图像校正、立体深度匹配、计算深度和表面差。其中核心的立体深度匹配是使用图像匹配算法获取空间一点在左右图像中的匹配点对，根据左右匹配点对的视差信息获得视差图，为进一步计算深度及其它处理奠定基础。

附图1给出双目视觉立体深度计算的基本原理。经过严格配准与标定的两台相同像机平行固定，则空间一点P在两台相机中的成像原理如左图所示。图中O_R和O_T为两个成像面的焦点，他们之间的连线称为基线，长度为b；成像焦距为f。空间一点P距基线为Z，其在左右成像面的成像点分别为p和p’(双目立体视觉系统中的左右相机经过配准及校正后，两个匹配点p和p’应当具有相同的行坐标和不同的列坐标)。设p点的横坐标为X_R，p’的横坐标为X_T。由相似三角形定理可得：

上式变形可得：

上式中d=X_R-X_T为p和p’的横坐标之差(左右两个成像面的相同行)。由此只要获得了坐标差d，就可以获得空间点到基线的距离Z，然后根据坐标平面的变换可以确定空间点的深度距离。上述寻找空间点P在两个成像面中的两个投影点p和p’的过程称为立体(深度)匹配。

在匹配过程中均以一幅图像为参考图像，另外一幅为目标图像。如果左视图中一点(x,y)，在右视图中对应的匹配点为(x’, y’)，这两个匹配点的坐标差值为d(x,y)。则对于已经校正过的左、右视图，这两个匹配点只在横向扫描线

上存在差异。因此有：

对于参考图像中的每一像素点(x,y)，均能求出视差d，进而形成与像素坐标一致的视差图。附图1右图为最常见的左右相机平行匹配方法。

已经提出的基于“帧图像”的立体匹配算法有很多种，大体分为基于区域的匹配与基于特征的匹配。基于区域的匹配通过度量左右图像中两个小区域的某种相似度来判断其是否匹配。而基于特征的匹配则是首先提取参考图像中的某种特征，例如边缘、角点等，然后在目标图像中寻找对应的特征并计算其位置差。在实际双目相机产品中基于区域的匹配方法得到了广泛使用。通常匹配算法由四个步骤组成：匹配代价函数计算、代价叠加、视差计算和一致性检查优化。代价函数表示图像像素（局部）的相似性测度，一般以能量最小化策略构成，即同一空间点在左右两幅图像中的对应成像点（或周围小区域）之间具有最小的亮度差。常用的代价函数有：SAD(绝对差值之和)、SSD（差平方和）、归一化SSD、归一化相关等。以上这些代价函数的基本形式在实际应用中可进行各种变形。

图2给出双目立体深度匹配的示例说明。以左图为参考，使用右图进行匹配得到的深度图如（c）所示，由图可见，距离相机较近的空间点（高亮度）具有较大的视差，距离愈远则视差越小。

二、视觉传感器

依据成像原理，当前规范使用的半导体图像传感器芯片（CCD及CMOS）都是基于“帧采样”模式进行图像采集的：

1、所有像素在复位后开始感光（收集光电荷），在达到设定曝光时间后停止感光；

2、依次读出每个像素所收集的光电荷，并将其转换为电压；

3、该电压经模数转换后变为数字量，输出后存储。该数字量即为该点的亮度值。所有像素亮度值组成的二维矩阵即为所拍摄图像。

在使用上述“帧采样”图像传感器相机的机器视觉系统中，图像序列（视频）的拍摄速度通常为30帧/秒。机器视觉系统中的计算机执行图像处理算法提取目标并进行判别与分析。

上述“帧采样”成像方式存在的缺点：

（1）、背景数据冗余。相邻两帧间存在大量的冗余背景信息，不变的背景区域被重复采样读出，对系统的处理和存储能力带来巨大压力。拍摄速度越高，则传输、存储和处理压力越大，实时性差；

（2）、高响应延迟。场景中的变化不能立即被图像传感器感知并输出，而必须按照“帧”的节奏被感知和输出。这种高响应延迟对于高速运动目标的跟踪与识别非常不利，运动速度越快则检测结果的间断性和误差越明显。

发明内容

本发明针对上述现有技术中存在的技术问题，提供了一种使用时域视觉传感器的双目立体深度匹配方法。

本发明为解决这一问题所采取的技术方案是：

一种使用时域视觉传感器的双目立体深度匹配方法，该方法使用一对经标定配准的时域视觉传感器作为视觉输入源，以左视觉传感器输出的事件序列为参考，对右视觉传感器的事件序列进行时间--空间的双重比较来得到匹配代价，选取具有最小匹配代价且满足匹配顺序一致性和视差平滑性检查的事件作为匹配对象。

该方法包括如下步骤：

设空间运动点在经过标定校正的左右TVS产生的AE序列分别为{}和{ }，其中L代表左相机，R代表右相机；上标i，j分别表示左、右相机产生的第i和第j个AE，P为事件极性，ti，tj为AE的时间标记；

循环执行以下步骤：

（1）接收AE，根据其来源归入AE_L或AE_R：

FPGA控制器收集来自左右相机的AE，进行时间戳标记和来源标记，输出的AE流为：

（式1）

匹配计算将左TVS的AE流作为参考序列，在右AE流中寻找其对应的AE；因此根据时间戳t及来源source将AE流分为依时间排序的左右两列：

（式2）

（式3）

更新Tc；

（2）若Tc≤ΔT，返回（1）；否则继续；

（3）自中选择未被处理且与Tc间隔大于ΔT的最近作为参考事件，将满足以下条件的加入匹配目标候选集合：

、时间差有限性：

、视差距离有限性：

、极线平行：

、事件属性：

、匹配唯一性：未与其他AE匹配；

（4）计算匹配代价；使用以下公式计算与匹配目标集合中每个AE的匹配代价：

（式4）

上式中W1为极线差权重，当yL=yR时，此项为0；W2为时间差权重；

（5）匹配事件确定：

、选择匹配目标集中具有最小匹配代价的AE进行匹配顺序一致性检查：对深度匹配图中（）周围ΔL范围内的视差值进行匹配顺序一致性检查；

、视差平滑性检查：将当前所得视差与（）周围ΔL范围内的已有视差平滑一致性检查；若当前视差为周围已有视差的平均值为标准差为则，K为经验参数，；

、若当前AE满足以上条件，认为其为匹配AE，将视差写入深度匹配图（）位置，标记为已匹配；若不满足，则选取具有次最小代价的AE重复上述过程；若选择匹配目标集中的AE均不满足上述条件，则深度匹配图()位置标记为0；

（6）返回（1）继续或结束。

本发明具有的优点和积极效果是：

本发明根据双目立体深度测量的原理，使用TVS为输入源，通过比较左右TVS产生的AE序列进行时间-空间匹配。由于TVS采用变化采样、异步输出、地址事件表示的成像原理，因此具有极低数据冗余、高实时性与时间分辨率的优势，非常适合于运动目标的立体深度测量计算。

同时由于采用“变化采样+像素异步输出”的采样原理，因此场景中的变化能够以微秒级的延迟被感知和输出，相当于帧采样下的几千~几万帧/每秒。如此高的时间分辨率深度计算具有更高的准确性，适合于高速运动目标跟踪与定位应用；TVS的数据输出量通常只有“帧采样”图像传感器的5-10%，因此计算量大为降低，深度计算的实时性大大提高，同时有利于系统成本的降低。

附图说明

图1是双目视觉立体深度计算的基本原理以及平行式双目相机的构成图；左：三角测距原理；右：双目相机平行配置；

图2是使用双目视觉方法进行立体深度匹配计算的示例图；从左到右分别为：左视图；右视图；视差图；

图3是本发明的TVS双目视觉系统的硬件结构图；

图4是本发明的使用时域视觉传感器的双目立体深度匹配方法的流程图。

具体实施方式

以下参照附图对本发明的使用时域视觉传感器的双目立体深度匹配方法进行详细的说明。下面描述的具体实施例仅是本发明的最佳实施方式，而不能理解为对本发明的限制。

近年来，研究者依据生物视觉“变化采样”的原理，采用超大规模集成电路（VLSI）技术设计出新型工作模式的“视觉传感器（Vision Sensor, VS）”。原理包括：

(1)、生物视觉系统不以“帧”的方式进行成像，视觉感光细胞只对变化敏感，并将这种变化以神经脉冲的形式传递到大脑视皮层进行处理；

(2)、模仿生物视觉的成像机理，VS像素只对场景中的“变化事件（ActivityEvent， AE）”敏感并采样输出。按其性质，AE可分为空间变化（某像素与其周边像素的亮度关系发生变化）和时间变化（像素自身的亮度发生变化）两大类。时域变化敏感的视觉传感器称之为时域视觉传感器（Temporal Vision Sensor，TVS）；

(3)、TVS中的各像素自主地检测所感受的光强是否发生变化。具体方法是每个像素周期测量极短时间内的光生电流变化量。当光生电流变化量超过设定的阈值时，表明该点所受的光强发生变化，因此每个AE的产生代表了光强发生了固定的变化量。像素产生的AE通过串行总线异步输出，像素间互不关联；

(4)、通常采用称为“地址事件表示（Address-Event-Representation，AER）”的方法表示AE，即AE=（x,y,P）,其中（x,y）为像素在像素阵列中的行列地址，P表示变化的属性（增加或减小）；

(5)、TVS输出的每个AE被后端系统接口赋予一个时间戳T，该时间戳指出AE的具体输出时间，即AE=（x,y,P,T）；

(6)、TVS使用串行总线输出AE。因此当同时有多个AE产生时，TVS中的输出仲裁逻辑将根据设定的仲裁方式依次输出AE，常用的仲裁方式包括轮询、区域优先等。因此AE的输出时间T并不等于其实际发生时间，而是具有不同的随机延迟。

由以上介绍可见，TVS与传统“帧采样”图像传感器相比，其最突出的优点是：

(1)、输出数据量小，无冗余信息。输出数据只包括场景中的变化信息，数据量通常为“帧采样”方式的5~10%；

(2)、实时性高。像素能够立即感知亮度的变化并输出，“变化-输出”的延迟可以减小到微秒级，相当于几千~几万帧的拍摄速度。

将TVS用于空间运动目标的立体深度匹配及计算的原理如下：

1、由于TVS只对空间的运动目标敏感，因此空间运动一点将在左右TVS都产生AE。根据左右对应AE的地址的不同，可以计算视差；

2、基于TVS的双目立体深度匹配及计算适用于场景中运动目标的距离计算。适合的应用包括机器人导航、运动目标定位与测速等；

3、基于TVS的双目立体视觉系统的结构与基于“帧采样”图像传感器的系统结构相同，经过相机标定及位置校正后，同一空间运动点在左右TVS产生的地址事件具有相同的行坐标和相似的产生时间；

空间运动点D在左右TVS产生的事件分别为DL(x, y, P, t1)和DR(x, y+dy, P,t2)。由于TVS在同时感知多个AE时需要进行仲裁输出，以及由于像素电路的制造差异，因此由同一个运动目标所产生的多个AE的输出时间并不相同，这意味着t1很可能不同于t2，因此在匹配时除考虑空间相关外，还必须考虑到时间相关的因素。

本发明的使用时域视觉传感器的双目立体深度匹配计算方法，使用TVS作为视觉输入源，基于匹配AE的产生时间有限性和视差有限性的前提，通过对左右TVS产生的相关地址-事件序列进行时间—空间双重比较匹配来确定成像平面上每一点的视差值，进而计算视场中点的立体深度。

一个具体实施例如下：

一、相机标定

1、使用两台TVS构成水平型双目相机，相机系统构成如附图3所示。包括：（1）、两台TVS相机；（2）、FPGA接口控制器，接收左右相机产生的AE流，并对其进行时间标记和来源标记，通过USB等接口发送至后端处理器；（3）、使用DSP/MCU执行双目立体深度匹配和计算，输出深度图。

2、按照被广泛使用的“张正友法”对此相机进行标定和校正，通过标定建立三维场景中物点的坐标与图像像点坐标的对应关系，确定相机内部参数和相机外部参数；通过校正保证对应匹配点的对极线平行。

二、匹配算法

设空间运动点在经过标定校正的左右TVS产生的AE序列分别为，其中L代表左相机，R代表右相机；上标i，j分别表示左、右相机产生的第i和第j个AE，P为事件极性，ti，tj为AE的时间标记。

1、算法参数

定义以下参数：

（1）ΔT：时间偏差允许范围。若与相匹配的事件为，则。ΔT与TVS的AE感知速度及场景中运动点数量有关；

（2）ΔH：极线偏差允许范围。若与相匹配的事件为，则。建议值ΔH=1~2。

（3）当前时间戳Tc：若最新接收的事件为，则。

（4）视差范围ΔD：空间一点在左右相机产生的最大视差范围，与视觉传感器的面阵大小和镜头焦距有关，通过标定测出；同时由于通常视觉传感器的地址编码以左上角为原点，因此在以左TVS为参照系的情况下，必有。

（5）匹配顺序一致性检查范围ΔL：设的匹配事件为的匹配事件为。若（xi1> xi3），则必有（xi2> xi4）成立。

（6）深度匹配图Disparity：与TVS像素阵列同样大小的二维数组，每个元素记录当前此位置的视差值，即若Disparity(x,y)=d，则与(x,y)的匹配点为(x-d,y)。

2、匹配算法

以AE_L为参考，循环执行以下步骤：

（1）接收AE，根据其来源归入AE_L或AE_R：

按照附图1的结构，FPGA控制器收集来自左右相机的AE，进行时间戳标记和来源标记，输出的AE流为：

（式1）

匹配计算将左TVS的AE流作为参考序列，在右AE流中寻找其对应的AE。因此根据时间戳t及来源source将AE流分为依时间排序的左右两列：

（式2）

（式3）

更新Tc。

（2）若Tc≤ΔT，返回（1）；否则继续；

、时间差有限性：

、视差距离有限性：

、极线平行：

、事件属性：

、匹配唯一性：未与其他AE匹配；

（4）计算匹配代价。使用以下公式计算与匹配目标集合中每个AE的匹配代价：

（式4）

上式中W1为极线差权重，当yL=yR时，此项为0；W2为时间差权重。

（5）匹配事件确定：

、视差平滑性检查：将当前所得视差与（）周围ΔL范围内的已有视差平滑一致性检查；若当前视差为周围已有视差的平均值为，标准差为则K为经验参数，。

、若当前AE满足以上条件，认为其为匹配AE，将视差写入深度匹配图（）位置，标记为已匹配；若不满足，则选取具有次最小代价的AE重复上述过程；若选择匹配目标集中的AE均不满足上述条件，则深度匹配图()位置标记为0。

（6）、返回（1）继续或结束。

算法流程图见附图4。

Claims

1.一种使用时域视觉传感器TVS的双目立体深度匹配方法，其特征在于：该方法使用一对经标定配准的TVS作为视觉输入源，以左TVS输出的变化事件AE序列为参考，对右TVS的AE序列进行时间--空间的双重比较来得到匹配代价，选取具有最小匹配代价且满足匹配顺序一致性和视差平滑性检查的右AE作为匹配对象；该方法按如下步骤进行：

设空间运动点在经过标定校正的左右TVS产生的AE序列分别为，和{AE(x_j,y_j,P,t_j,R)} ，其中L代表左TVS，R代表右TVS；下标i，j分别表示左、右TVS产生的第i和第j个AE，P为AE极性，ti，tj为AE的时间标记；{ }表示按时间排序的AE队列；

循环执行以下步骤：

（1）设初始时刻Tc=0，

FPGA控制器收集来自左右TVS的AE，对其进行时间戳标记和来源标记，根据其来源和时间分别顺序加入

并将Tc更新为最新接收AE的时间；

（2）若Tc≤ΔT，返回（1）继续收集AE；否则继续；其中ΔT为预设的延迟时间，其意义是只对距当前时间ΔT之前的AE进行处理，建议值ΔT=2ms；

（3）自AE_L中选择未被处理且与Tc间隔大于ΔT的最近作为参考AE，将满足以下条件的加入匹配目标候选集合：

、时间差有限性：（式2）

、视差距离有限性：（式3）

ΔD为水平差距，建议值ΔD=2像素；

、极线平行：（式4）

ΔH为垂直差距，建议值ΔH=2像素；

、左右AE属性：左AE极性与右AE极性相同；

、匹配唯一性：未与其他AE匹配；

（4）计算匹配代价；使用以下公式计算与匹配目标候选集合中每个AE的匹配代价：

（式5）

上式中W ₁为极线差权重，建议值0.7，当y _i =y _j时，此项为0；W ₂为时间差权重，建议值0.3；

（5）匹配AE确定：

、选择匹配目标候选集中具有最小匹配代价的AE进行匹配顺序一致性检查：对深度匹配图中(x_j,y_j)周围ΔL范围内的视差值进行匹配顺序一致性检查：若(x_i,y_i)左右两侧ΔL范围内有其它点已匹配，则他们的水平匹配方向不能相反；

ΔL建议值3~5；

、视差平滑性检查：将当前所得视差与(x_j,y_j)周围ΔL范围内的已有视差平滑一致性检查；若当前视差为Dc，周围已有视差的平均值为标准差为则：（式6）

K为经验参数，；

、若当前匹配目标满足以上条件，认为其匹配，将视差(x_j-x_i)写入深度匹配图(x_i,y_i)位置，且标记为已匹配；若不满足，则选取匹配目标候选集合中具有次最小代价的AE重复上述过程；若选择匹配目标集中的AE均不满足上述条件，则深度匹配图(x_i,y_i)位置标记为0；

（6）返回（1）继续或结束。