CN110288659A - 一种基于双目视觉的深度成像及信息获取方法 - Google Patents

Abstract

本发明提供了一种基于双目视觉的深度成像及信息获取方法，该方法通过畸变校正和极线校正对双目摄像头拍摄的图像进行空间校准，构造基于校准后图像对的二维视差标签集合，每次选取不同的标签组合作为源汇点构造网络图并设计边权值，采用最大流算法迭代求取网络的最小割集，根据设计的标签更新策略完成像素点的二维视差标签分配，迭代终止时可以得到比较稠密的视差图，结合三角测距原理计算得到场景的深度信息，通过采集关键点的深度信息进一步优化计算结果，结合GPS数据和摄像头架设的高度、角度信息，场景中任一目标的位置及物理尺度信息均可被获取。

Description

一种基于双目视觉的深度成像及信息获取方法

技术领域

本发明属深度成像领域，尤其涉及一种基于双目视觉的深度成像方法及信息获取方法。

背景技术

深度成像是利用成像设备提取场景深度信息，并将深度信息表示为深度图像的技术。该技术可以与目标检测、目标识别、图像分割等技术结合，应用于智能视频监控、无人驾驶汽车、智能交通、安防及机器人自动控制等领域。在实际场景中，可用于在地铁、车站、广场、商场、公园等重要场所及人流密集区域的行人检测。本发明创新性的提出了二维视差存在下的双目深度成像方法，结合智能三维立体监控摄像头，优化了深度信息的获取及修正方法，获得了目标的物理尺度信息及世界位置信息，是对监控手段的智能化升级，也是智慧城市的重要体现所在。

国内外很多大学和科研机构也均对深度成像技术进行过研究，并取得了一定的研究成果。传统深度成像技术包括激光深度成像、双目视觉深度成像和雷达深度成像技术，其中，激光深度成像设备造价较高，且易受光照影响，雷达成像设备虽然可以获得大视场的深度信息，但是，雷达信号只对强散射点有不错的效果，相较这两种成像技术，双目深度成像技术具有成本低，易实现，适用场景更加广泛的优势。双目深度成像技术的核心是立体匹配算法，立体匹配算法可根据匹配基元不同分为两类：一类是以SGBM算法为代表的局部立体匹配算法，另一类是以alpha-beta swap算法为代表的全局立体匹配算法。由于全局立体匹配算法融入了多种先验知识，最终的算法结果相较局部立体匹配算法来说更有优势。但是，在实际数据获取及相机标定中，由于存在系统误差，一对待匹配图像不仅有横向视差，还存在纵向视差，传统的alpha-beta swap算法在算法设计中仅考虑了横向视差存在的情况，因而无法满足实际系统的应用需要；由于视差值一般为整数，损失了部分系统精度，所以计算出的深度信息还不够准确，进一步影响了目标物理尺度信息和世界位置信息的准确计算获取。

发明内容

为了克服上述缺陷，进一步提高双目深度成像的精度，对传统立体匹配算法设计中融入二维视差的考虑，获取较为准确的视差值，采用测量修正法进一步优化根据视差值计算出的深度信息，结合摄像机架设高度、角度信息及GPS信息，获得目标的物理尺度及世界位置信息。

本发明的目的是提供一种基于双目视觉的深度成像及信息获取方法，可以克服现有双目深度成像算法难以适应二维视差存在的问题，提高算法本身的视差计算能力，通过构造二维视差存在下的网络图、权值及标签更新策略，计算出较为准确的视差值，结合摄像头架设角度、高度信息和GPS数据，实现场景内目标的物理尺度计算和世界位置信息获取。

为达到上述目的，本发明的技术解决方案是：

一种基于双目视觉的深度成像及信息获取方法，步骤包括：

1)采用棋盘格标定板进行双目相机标定，根据标定结果进行图像畸变校正和极线校正，得到空间校准后的图像对。

2)设定合适的二维视差取值范围，根据二维视差的不同取值，设置对应的二维视差标签，构成二维视差标签集合；设置最大流监测值，初始化为无穷大；

3)选取一对不同的二维视差标签作为源点和汇点构造无向网络图，如图1所示，根据视差标签和图像对的像素信息设计t-link边的权值，根据相邻像素点的像素信息设计n-link边的权值；

4)执行最大流算法求取网络的最大流和最小割，读取最大流监测值，判断当前最大流与最大流监测值相比是否下降；

如果判别为否，各像素点视差标签不变，最大流监测值也不变；

如果判别为是，更新当前最大流为最大流监测值，保留最小割结果，进入步骤5)

5)根据最小割结果，依据视差标签更新策略，将源点集合内像素点的二维视差标签更新为汇点的二维视差标签，将汇点集合内像素点的二维视差标签更新为源点的二维视差标签，判断是否遍历完所有的视差标签组合构造网络图并执行最大流算法；

如果判别为否，进入步骤3)；

如果判别为是，保留当前所有视差标签的分配结果，进入步骤6)；

6)根据二维视差标签与二维视差之间的对应关系，得到所有像素点的二维视差值和视差图像；根据三角测距原理，计算场景所有像素点对应的深度信息；

7)采集关键点的深度信息，结合计算出的关键点深度信息，根据检测值与计算值之间的差异，得到深度信息修正值，补偿由于视差精度不足引起的系统误差，进一步得到更为准确的全局深度信息；

8)采集相机架设角度和高度信息，结合场景中目标的深度信息，进一步输出场景内目标的相关物理尺度信息；结合GPS数据，输出目标的世界位置信息。

上述方法中，根据二维视差标签集合的构造方式，在选择一对二维视差标签组合执行最大流算法时，采用升序或降序的标签选取方式，保证选取的视差标签组合不重复。若视差范围较大，可通过降低图像分辨率，减小视差范围，降低视差标签数目，减少算法迭代次数，再根据降低图像分辨率的比例，计算真实视差，优化视差计算速度。

上述方法中，边权值设计时采用截断函数防止过大的权值出现，保证算法可以更好的优化，减少计算出的视差图中的噪声区域，提高图像中视差连续区域的平滑性。截断函数中的阈值U，经实验分析，当初始图像像素被灰度归一化为0～1后，U＝0.0784有最佳优化效果，当初始图像仅被灰度化后，U＝20有最佳优化效果。

上述方法中，每次执行最大流算法都可以收敛到当前视差标签组合下的局部最优解，最大流算法获得的最小割分割结果与最大后验概率估计的结果一致，当所有视差标签组合执行完最大流算法时，算法收敛到局部最优解，同时生成了较为稠密的视差图。

上述方法中，由于视差值是根据像素坐标计算得到，一般为整数，损失了部分精度，因此采用LED单点测距仪对关键点测量深度信息，与根据关键点处视差值计算出的深度信息求差值，得到深度信息修正值，优化图像中所有像素点的深度信息。

上述方法中，根据修正后的深度信息、摄像头架设角度、高度信息，可通过构造图3所示的物理尺度计算模型，根据三角测距原理进一步计算得到目标的物理尺度信息，如高度、宽度等。

与现有技术相比，本发明可实现场景的深度成像，并对深度信息修正，结合部分架设信息，能获得目标的物理尺度信息，结合GPS数据，能获得目标的世界位置信息了，适用于开放或封闭区域的深度成像，应用范围广泛，有利于目标检测中目标的相关属性信息获取。

附图说明：

图1为含边权值的无向网络图

图2为二维视差下的相机成像模型

图3为物理尺度计算模型

图4为基于双目视觉的深度成像及信息获取方法流程图

图5为基于双目视觉的深度成像及信息获取方法中的深度成像示意图。

图6为基于双目视觉的深度成像及信息获取方法中的深度成像效果说明图。

具体实施方式：

下面结合附图与具体实施方式对本技术方案进一步说明如下：

如图4所示，描述了基于双目视觉的深度成像及信息获取方法流程，首先进行彩色图像采集，获取某一监控区域的彩色图像，设定合适的二维视差范围，初始化最大流监测值，根据标签集合设定规则，构建二维视差标签集合，迭代选取一对二维视差标签组合构造网络图，并进行边权值的设计，再执行最大流算法优化，计算网络最大流和最小割结果，判断最大流相较最大流监测值是否有所下降。如果判别为否，不执行最大流监测值更新和标签更新。如果判断为是，更新最大流监测值为当前最大流，根据最小割结果执行标签更新策略。然后判断是否遍历完所有视差标签组合，如果判别为否，选择不同的二维视差标签重新构造网络图并优化。如果判别为是，生成视差图结果。根据三角测距原理和视差结果计算每个像素点对应的全局深度信息，结合采集到的关键点深度信息，计算得到深度信息修正值，完成全局深度信息修正。利用摄像头架设信息和GPS信息，输出目标物理尺度信息和目标世界位置信息。

具体到本例中，步骤包括：

1)采用棋盘格标定板进行双目相机标定，根据标定结果进行图像畸变校正和极线校正，得到空间校准后的图像对。

2)设定合适的二维视差取值范围，根据二维视差的不同取值，设置对应的二维视差标签，构成二维视差标签集合；设置最大流监测值，初始化为无穷大；

3)选取一对不同的二维视差标签作为源点和汇点构造无向网络图(如图1所示)，根据视差标签和图像对的像素信息设计t-link边的权值，根据相邻像素点的像素信息设计n-link边的权值；

4)执行最大流算法求取网络的最大流和最小割，读取最大流监测值，判断当前最大流与最大流监测值相比是否下降；

如果判别为否，各像素点视差标签不变，最大流监测值也不变；

如果判别为是，更新当前最大流为最大流监测值，保留最小割结果，进入步骤5)

5)根据最小割结果，依据视差标签更新策略，将源点集合内像素点的二维视差标签更新为汇点的二维视差标签，将汇点集合内像素点的二维视差标签更新为源点的二维视差标签，判断是否遍历完所有的视差标签组合构造网络图并执行最大流算法；

如果判别为否，进入步骤3)；

如果判别为是，保留当前所有视差标签的分配结果，进入步骤6)；

6)根据二维视差标签与二维视差之间的对应关系，得到所有像素点的二维视差值和视差图像；根据三角测距原理，计算场景所有像素点对应的深度信息；

7)采集关键点的深度信息，结合计算出的关键点深度信息，根据检测值与计算值之间的差异，得到深度信息修正值，补偿由于视差精度不足引起的系统误差，进一步得到更为准确的全局深度信息；

8)采集相机架设角度和高度信息，结合场景中目标的深度信息，进一步输出场景内目标的相关物理尺度信息；结合GPS数据，获得目标的世界位置信息。

所述步骤2)中，根据设定好的二维视差范围，设计对应不同纵向和横向视差组合的二维视差标签集合，例如：设定好的纵向视差l∈[l₁,l_m]，横向视差d∈[d₁,d_n]，其中m，n为正整数，则二维视差标签集合可被设计为F＝{u₁,u₂,…,u_m×n]。

所述步骤3)中，给定一组初始标签f，P＝{P_m|m∈F}，其中P_m＝{p∈P|f_p＝m}表示视差标签被分配为m的像素点集合。

像素点其中且f_p∈{u₁,u₂}，如图1所示，与u₁和u₂相连的边是t-link边，分别记作和对于像素对且{p,q}∈N，{p,q}之间被一条边相连，这种连接相邻像素点的边是n-link边，记作e_{p,q}。

以D_p表示像素点p处的视差标签f_p与观测到的真实数据的符合程度，f_p所含的纵向视差为l_p，f_p所含的横向视差为d_p，V_p,q表示相邻像素对p，q之间的光滑程度，则：

其中，p_x表示像素点p的横坐标，p_y为其纵坐标。I’_{px+lp，py+dp}表示与像素点p形成纵向视差为l_p、横向视差为d_p的像素点处的强度。；

无向网络图中与p相连的t-link边权值设计分为两种：

第一种，对于边，权值设计为

第二种，对于边，权值设计为

其中，f_p∈{u₁,u₂}，N_p表示与p相邻的像素点集合。；

无向网络图中一对相邻像素点p，q之间相连的n-link边权值设计为：

V_p,q(l₂,l₂,d₁,d₂)。

所述步骤5)中，根据最小割结果得到分别属于源点和汇点集合的像素点集，像素点的二维视差标签更新策略如下：

其中，S为最小割结果中的源点集，T为最小割结果中的汇点集；若f_p被更新为u₁，则p处纵向视差更新为l₁，横向视差更新为d₁。

所述步骤6)中，三角测距原理如下：

用双目相机采集图像进行立体匹配时，如图2所示，O_CL和O_CR表示两个水平放置的相机，选择O_CL作为世界坐标系的原点建立世界坐标系为x_cO_CLy_cz_c，其中x_c轴与成像平面坐标系的x轴平行，y_c轴与成像平面坐标系的y轴平行，z_c轴为左相机的光轴，在相机标定校准十分准确的情况下，场景内同一点P在左右图像各自的图像坐标系内只有横坐标有差异，则P的坐标根据其在左图成像点P_L和右图成像点P_R坐标值、相机的焦距f、两个相机的基线距b，由△PP_LP_R和△PO_CLO_CR相似，通过三角几何关系原理得：

其中：Y＝Y_L＝Y_R。

若视差d已知，将X_L＝X_R+d代入上面公式计算得：

由此将视差d与场景内P点的三维坐标相联系，场景中P点的深度D也可通过几何关系进行计算：

所述步骤7)中，根据LED单点测距仪器采集到的关键点深度信息D_mes，对计算出的关键点深度信息D计算差异，得到深度信息的修正值ε，进一步修正图像内所有像素点的深度信息，公式如下：

ε＝D_mes-D

D_global＝D_cal+ε

其中，D_global为图像内所有像素点的修正后深度信息矩阵，D_cal为通过立体匹配算法计算出的视差进一步计算得到深度信息矩阵。

所述步骤8)中，构造计算目标物理尺度的模型如图3所示，由相机成像原理可知，C点与E点对应的图像坐标是一致的，同理D点与F点对应的图像坐标是一致的，则对于图3中的目标，高度计算方式如下：

其中，h为目标高度，H为相机假设高度，θ为架设相机与竖直方向的夹角，α为相机竖直广角，D_AE为修正后的E点深度值，l_MN为图像分辨率中的图像高度信息，l_ME为E点在图像坐标系中的纵坐标。

对于中的目标宽度计算方式如下：

其中，W_EF为目标宽度，D_AF为修正后的F点深度值，l_MF为F点在图像坐标系中的纵坐标。

如图5为基于双目视觉的深度成像及信息获取方法中的深度成像示意图。深度成像过程以图示形式表示，步骤为：1采集彩色图像，2对彩色图像灰度化或者灰度归一化，3根据设定的视差范围构建视差标签结合，4选取视差标签组合构造网络图，5最大流算法优化构造的网络图，6对最大流结果进行判断是否在下降，7根据最小割结果完成视差标签更新，8迭代终止时，输出视差图，即深度图像。

如图6为本发明在含有二维视差的数据集上可以得到目标良好的深度信息，并且在仅含一维视差的数据集上，本发明仍能保持较好的性能。

现有技术中，二维视差标签是指在双目立体匹配中，根据实际中出现的二维视差(横向视差和纵向视差)，不同的二维视差值被定义为相应的二维视差标签，将视差计算问题转化为标签分配的问题，构造基于二维视差标签的网络图，采用最大流算法求解网络最小割集，根据标签更新策略分配每个像素点的视差标签，再根据二维视差标签与二维视差值之间的对应关系，可得到每个像素点的视差信息。

Claims (6)

1.一种基于双目视觉的深度成像及信息获取方法，其特征是步骤包括：

a)进行彩色图像采集，获取某一监控区域的彩色图像，设定合适的二维视差范围，初始化最大流监测值；

b)根据标签集合设定规则，构建二维视差标签集合；

c)迭代选取一对二维视差标签组合；

d)构造网络图，并进行边权值的设计；

e)执行最大流算法优化，计算网络最大流和最小割结果，判断最大流相较最大流监测值是否有所下降：

如果判别为否，不执行最大流监测值更新和标签更新，直接进入步骤f)；

如果判断为是，更新最大流监测值为当前最大流，根据最小割结果执行标签更新策略，然后进入步骤f)；

f)判断是否遍历完所有视差标签组合：

如果判别为否，则进入步骤b)；

如果判别为是，则生成视差图，然后进入步骤g)；

g)根据三角测距原理和视差结果计算每个像素点对应的全局深度信息；再结合采集到的关键点深度信息，计算得到深度信息修正值，完成全局深度信息修正；

利用摄像头架设信息和GPS信息，分别输出目标物理尺度信息和目标世界位置信息。

2.根据权利要求1所述的方法，其特征是，

所述步骤a)和b)中，采用双目相机采集彩色图像；

采用棋盘格标定板进行双目相机标定，根据标定结果进行图像畸变校正和极线校正，得到空间校准后的图像对；

设定合适的二维视差取值范围，根据二维视差的不同取值，设置对应的二维视差标签，构成二维视差标签集合；设置最大流监测值，初始化为无穷大；

所述步骤c)和d)中，选取一对不同的二维视差标签作为源点和汇点构造无向网络图，根据视差标签和图像对的像素信息设计t-link边的权值，根据相邻像素点的像素信息设计n-link边的权值；

所述步骤e)中，执行最大流算法求取网络的最大流和最小割，读取最大流监测值，判断当前最大流与最大流监测值相比是否下降；

如果判别为否，各像素点视差标签不变，最大流监测值也不变；

如果判别为是，更新最大流监测值为当前最大流，保留最小割结果；

所述步骤f)中，根据最小割结果，依据视差标签更新策略，将源点集合内像素点的二维视差标签更新为汇点的二维视差标签，将汇点集合内像素点的二维视差标签更新为源点的二维视差标签，判断是否遍历完所有的视差标签组合构造网络图并执行最大流算法；

如果判别为否，进入步骤b)；

如果判别为是，保留当前所有视差标签的分配结果，进入步骤g)；

所述步骤g)中，根据二维视差标签与二维视差之间的对应关系，得到所有像素点的二维视差值和视差图像；根据三角测距原理，计算场景所有像素点对应的深度信息；

采集关键点的深度信息，结合计算出的关键点深度信息，根据检测值与计算值之间的差异，得到深度信息修正值，补偿由于视差精度不足引起的系统误差，进一步得到更为准确的全局深度信息；

采集相机架设角度和高度信息，结合场景中目标的深度信息，进一步输出场景内目标的相关物理尺度信息；结合GPS数据，获得目标的世界位置信息。

3.根据权利要求2所述的方法，其特征是所述步骤b)中，根据预设的二维视差范围，设计对应不同纵向和横向视差组合的二维视差标签集合；其中，预设的纵向视差l∈[l₁,l_m]，横向视差d∈[d₁,d_n]，m，n为正整数，则二维视差标签集合被设计为F＝{u₁,u₂,…,u_m×n}，其中，u_m×n为二维视差标签；

所述步骤c)中，给定一组初始标签f，P＝{P_m|m∈F}，其中P_m＝{p∈P|f_p＝m}表示视差标签被分配为m的像素点集合；

无向网络图中像素点其中且f_p∈{u₁,u₂}，与二维视差标签u₁和u₂相连的边是t-link边，分别记作和对于像素对且{p,q}∈N，N表示相邻像素点的集合，{p,q}之间被一条边相连，这种连接相邻像素点的边是n-link边，记作e_{p,q}；

以D_p表示像素点p处的视差标签f_p与观测到的真实数据的符合程度，f_p所含的纵向视差为l_p，f_p所含的横向视差为d_p，V_p,q表示相邻像素对p、q之间的光滑程度，则：

其中，I_p表示基准图中像素点p处的强度，p_x表示像素点p的横坐标，p_y为其纵坐标；I’_{px+lp，py+dp}表示与像素点p形成纵向视差为l_p、横向视差为d_p的待匹配图像中该处像素点的强度；U为一常量。

所述步骤d)中，无向网络图中与p相连的t-link边权值设计分为两种：

第一种，对于边，权值设计为

第二种，对于边，权值设计为

其中，f_p∈{u₁,u₂}，N_p表示与p相邻的像素点集合；

无向网络图中一对相邻像素点p，q之间相连的n-link边权值设计为：

V_p,q(l₁,l₂,d₁,d₂)；

所述步骤e)中，根据最小割结果得到分别属于源点和汇点集合的像素点集，像素点的二维视差标签更新策略如下：

其中，S为最小割结果中的源点集，T为最小割结果中的汇点集；若f_p被更新为u₁，则p处纵向视差更新为l₁，横向视差更新为d₁。

4.根据权利要求2所述的方法，其特征是所述步骤g)中，三角测距方法如下：

用双目相机采集图像进行立体匹配时，O_CL和O_CR表示两个水平放置的相机，选择O_CL作为原点来建立世界坐标系为x_cO_CLy_cz_c；其中x_c轴与成像平面坐标系的x轴平行，y_c轴与成像平面坐标系的y轴平行，z_c轴为左相机的光轴；

在相机标定校准准确的情况下，场景内同一点P在左右图像各自的图像坐标系内只有横坐标有差异，则点P的坐标根据其在左图成像点P_L和右图成像点P_R坐标值、相机的焦距f、两个相机的基线距b，由△PP_LP_R和△PO_CLO_CR相似，通过三角几何关系原理得：

其中：Y＝Y_L＝Y_R；点左图成像点P_L坐标为(X_L，Y_L)，右图成像点P_R坐标为(X_R，Y_R)；

若视差d已知，将X_L＝X_R+d代入上面公式计算得：

由此将视差d与场景内P点的三维坐标相联系，场景中P点的深度D可通过几何关系进行计算：

其中，f为相机焦距。

5.根据权利要求4所述的方法，其特征是所述步骤g)中，根据LED单点测距仪器采集到的关键点深度信息D_mes，对计算出的关键点深度信息D计算差异，得到深度信息的修正值ε，进一步修正图像内所有像素点的深度信息，公式如下：

ε＝D_mes-D

D_global＝D_cal+ε

其中，D_global为图像内所有像素点的修正后深度信息矩阵，D_cal为通过立体匹配算法计算出的视差进一步计算得到深度信息矩阵。

6.根据权利要求2所述的方法，其特征是所述步骤g)中，构造计算目标物理尺度的模型，相机位于A点；由相机成像原理可知，C点与E点对应的图像坐标是一致的，同理D点与F点对应的图像坐标是一致的，则对于模型中的目标高度计算方式如下：

其中，h为目标高度，H为相机架设高度，θ为架设相机与竖直方向的夹角，α为相机竖直广角，D_AE为修正后的E点深度值，l_MN为图像分辨率中的图像高度信息，l_ME为E点在图像坐标系中的纵坐标；

对于模型中的目标宽度计算方式如下：

其中，W_EF为目标宽度，D_AF为修正后的F点深度值，l_MF为F点在图像坐标系中的纵坐标。