CN107845108A

CN107845108A - 一种光流值计算方法、装置及电子设备

Info

Publication number: CN107845108A
Application number: CN201710858595.8A
Authority: CN
Inventors: 谢春华; 于炀
Original assignee: SHANGHAI WEI ZHOU MICROELECTRONICS TECHNOLOGY Co Ltd
Current assignee: Zhangjiagang Kangdexin Optronics Material Co Ltd
Priority date: 2017-09-21
Filing date: 2017-09-21
Publication date: 2018-03-27
Anticipated expiration: 2037-09-21
Also published as: CN107845108B

Abstract

本发明实施例公开了光流值计算方法、装置及电子设备。其中，所述方法包括：通过可测深度摄像头TOF模块获取TOF深度图，通过双摄像模块获取左摄图和右摄图；根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值；基于左摄图和右摄图构造高斯金字塔，将所述深度提取点的视差值作为金字塔初始光流值；根据所述高斯金字塔计算得到所述深度提取点的光流值。可以对大视差区域或者无特征区域场景，仍然能够很好的对特征点进行匹配。能够提高光流值计算的准确度。并且可以减少构建金字塔的层数，从而提升运算速度，同时弥补单独采用TOF拍摄深度图分辨率较小的缺陷。

Description

一种光流值计算方法、装置及电子设备

技术领域

本发明涉及3D图像处理技术领域，尤其涉及一种光流值计算方法、装置及电子设备。

背景技术

目前三维立体呈像多半是利用视差原理来实现，藉由产生提供给左眼的影像及提供给右眼的影像，使观者在适当角度观看画面时产生三维空间感。双视角(two-view)立体影片即是利用此原理制成的影片，其每一幅画面均包含提供给左眼的影像及提供给右眼的影像。利用双视角影片可计算出画面中对象的相对距离的深度信息，各像素的深度信息即构成深度图(depth map)。配合所得出的深度图能够将双视角立体影片进一步合成以形成多视角(multi-view)的立体影片。

双摄像头深度是基于左右视差进行估计，需要将左右两图中的点进行匹配,Lucas-Kanade光流法是一种广泛运用的运动估计方法，它能对连续帧内的特征点进行匹配，因此也运用于深度估计的视差估计中。虽然光流法可以准确的得出光流值，但光流法运动估计只适用于运动缓慢的物体。如果物体运动速度较快，无法对前后两图中的点进行匹配。因此发展出基于高斯金字塔的光流法，虽然基于高斯金字塔的光流法可以扩大计算的运动区域，但是仍然不能完全解决大运动区域的情况。对于视差估计问题，基于高斯金字塔的光流法对大视差区域，同时对于无特征区域如白墙，一些周期性场景，将无法很好的匹配左右特征点，所以其对于无特征、遮挡、周期的场景存在一定误差。

发明内容

本发明实施例提供了一种光流值计算方法、装置及电子设备,以解决现有技术中双摄像头光流法无法对无特征区域或者大视差区域无法进行匹配的技术问题。

第一方面，本发明实施例提供了一种光流值计算方法，包括：

获取TOF深度图，并获取左摄图和右摄图；

根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值；

基于左摄图和右摄图构造高斯金字塔，将所述深度提取点的视差值作为金字塔初始光流值；

根据所述高斯金字塔计算得到所述深度提取点的光流值。

进一步的，所述方法还包括：

根据所述光流值生成双摄深度图。

进一步的，所述方法还包括：

将所述双摄深度图和TOF深度图进行融合，生成融合深度图。

进一步的，所述将所述双摄深度图和TOF深度图进行融合包括：

根据拍摄光照参数确定融合系数权值；

根据所述融合系数权值对所述双摄深度图和TOF深度图进行融合。

更进一步的，在通过TOF模块获取TOF深度图之前，还包括：

通过双摄像模块获取光照参数。

第二方面，本发明实施例还提供了一种光流值计算装置，包括：

图像获取模块，用于获取TOF深度图，并获取左摄图和右摄图；；

视差值提取模块，用于根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值；

金字塔构造模块，用于基于左摄图和右摄图构造高斯金字塔，将所述深度提取点的视差值的作为金字塔初始光流值；

光流值提取模块，用于根据所述高斯金字塔计算得到所述深度提取点的光流值。

进一步的，所述装置还包括：

双摄深度图生成模块，用于根据所述光流值生成双摄深度图。

进一步的，所述装置还包括：

融合模块，用于将所述双摄深度图和TOF深度图进行融合，生成融合深度图。

进一步的，所述融合模块用于：

根据拍摄光照参数确定融合系数权值；

更进一步的，所述装置还包括：

光照参数获取模块，用于通过双摄像模块获取光照参数。

第三方面，本发明实施例还提供了一种电子设备，其包括：

一个或多个处理器；

用于获取TOF深度图的深度摄像头TOF模块；

用于获取左摄图和右摄图的摄像模块；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例提供的任一所述的光流值计算方法。

本发明实施例提供的光流值计算方法、装置及电子设备，通过引入TOF深度图，并将TOF深度图对应的视差值做为光流法高斯金字塔的顶层进行计算。可以对大视差区域或者无特征区域场景，仍然能够很好的对特征点进行匹配。能够提高光流值计算的准确度。并且可以减少构建金字塔的层数，从而提升运算速度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实施例一提供的光流值计算方法的流程示意图；

图2是本发明实施例一提供的光流值计算方法中高斯金字塔的示意图；

图3是本发明实施例二提供的光流值计算方法的流程示意图；

图4是本发明实施例三提供的光流值计算方法的流程示意图；

图5是本发明实施例四提供的光流值计算装置的结构示意图；

图6是本发明实施例五提供的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的光流值计算方法的流程示意图，本实施例的方法适用于对机电系统进行控制的情况。可以由光流值装置来执行，该装置可通过硬件和/或软件的方式实现，并一般可以应用于3D拍摄系统中。

参见图1，所述光流值计算方法，包括：

S110，获取TOF深度图，并获取左摄图和右摄图。

可测深度摄像头(Time of Flight，ToF)是利用光在传播中遇见物体反射的特性来计算从发射到接收到反射的延时从而估计深度。假设由发射到接收的延时为△t，则光传播的距离与深度之间的关系为△t*c/2，其中c为光速，实际中并无法直接测量出，一般通过计算2个信号的相位差来计算延时。假设s(t)为发射的信号，r(t)为传感器接收到的信号，发射信号与接收信号的互相关系数(Cross correlation)为：

令ψ＝2πfx，计算几个个不同相位的ψ₀＝0,ψ₂＝π,的C(x)值，即可算出相位从而估计深度:

在本实施例中，采用双摄像头+ToF 3D拍摄系统摄像头配置：采用双摄像头+ToF模组组成摄像头组。TOF与其它摄像头相比，具有更高的帧率。更加适用于光流值计算。

S120，根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值。

示例性的，可接收用户从所述TOF深度图中选取的深度提取点，该深度提取点可以是特征明显的像素点。或者，通过对所述TOF深度图进行图像识别，选取与周围像素点存在明显差异的像素点作为深度提取点。由于TOF深度图中不仅包括像素点的像素特征，还包括光线从光源到该像素点的距离。因此，可以从所述TOF深度图获取到选取的深度提取点的所对应的视差值。

S130，基于左摄图和右摄图构造高斯金字塔，将所述深度提取点的视差值的作为金字塔初始光流值。

构造左摄图和右摄图构造高斯金字塔。图2是本发明实施例一提供的光流值计算方法中高斯金字塔的示意图。参见图2，可以按获取顺序将第一张左摄图或右摄图作为0层，即金字塔的最底层。然后依次采用降采样的左摄图或右摄图的方式构造高斯金字塔。由于向下各层的图像的尺寸大小按需要减少。因此，需要将右摄图和左摄图的尺寸大小进行压缩调整。示例性的，0层图像的尺寸为1920x1280，即将获取到右摄图或者左摄图的原始尺寸做为0层金字塔的大小，则金字塔1,2层图像对应的尺寸分别为960x640,480x320。

光流法假设物体运动是缓慢发生，并且在一定邻域内亮度相同。

在这种假设下即I(x,y,t)＝I(x+u,y+v,t+1)，(u,v)即为图像中点(x,y)的运动向量，即(x,y,t)，(x+u,y+v,t+1)2点匹配。

在求解左右图视差的问题中，可将左右图视作相邻时间内的连续图像，即I(t)＝leftImage,I(t+1)＝rightImage。

通过对I(x+u,y+v,t+1)进行一阶Taylor展开可知

I(x+u,y+v,t+1)＝I(x,y,t)+uI_x+vI_y+I_t

由上式可得：

uI_x+vI_y+I_t＝0

即：

uI_x+vI_y＝-I_t

其中

Lucas-Kanade算法中假设图像中一定小的邻域内运动变化一致，例如在5x5的邻域内，

写成矩阵的形式即为Ad＝b，通过最小均方方法求解

A^TAd＝A^Tb

即

最后可解出

通常可以给邻域内点赋以权重，越接近邻域中心的点权重越大，这样加权的等式可写作：

A^TWAd＝A^TWb。

W为n×n的对角矩阵，其中n为邻域内的像素点总数，W_ii＝w_i，一般的w_i可以设置为关于i点与邻域中心点距离D_i的高斯函数，即最后可解出光流为：

由上述方法可以看出，光流法实质是一种迭代运算方法。由于光流法假设物体运动缓慢，这样对发生大运动的区域无法匹配，进而无法迭代运算得到相应的运算结果。

因此，在本实施例中，将所述深度提取点的视差值作为金字塔初始光流值。利用ToF深度图作为先验信息。由于ToF分辨率较小，可将ToF视差图作为金字塔顶层图像的初始光流值，即g_L＝[ToF(x,y)]^T。

S140，根据所述高斯金字塔计算得到所述深度提取点的光流值。

ToF视差图与金字塔顶层的图像分辨率存在对应关系，这样金字塔顶层的图像上每一点在ToF图上都存在对应的点。利用Iterative Lucas-Kanade计算该层对应的光流值。然后将计算的结果传入下一层作为下一层的光流初始值即g_L-1＝2(g_L+d_L)，最终的光流结果为d＝g₀+d₀。

示例性的，可采用如下方式计算光流结果d：

获取u点对应的TOF视差值作为金字塔初始值，即

For L＝Lm：0(步长-1)

第L层图像上的对应的点u^L＝[x,y]^T＝u/2^L，计算该点对应的在x,y方向上梯度值

在邻域[x-w,x+w]×[y-w,y+w],计算

初始Iteraitve Lucas-Kanade值为

For k＝1:K(步长为1，或者||η_k||<threshold)

计算左右图像之差

在邻域[x-w,x+w]×[y-w,y+w]内，计算

获得光流值为o_k＝G^-1b_k

设置

End for

设置g_L-1＝2(g_L+d_L)

End for

d＝g₀+d₀。

本实施例通过引入TOF深度图，并将TOF深度图做为光流法高斯金字塔的顶层进行计算。对大视差区域或者无特征区域场景，仍然能够很好的对特征点进行匹配。能够提高光流值计算的准确度。并且可以减少构建金字塔的层数，从而提升运算速度。

在本实施例的一个优选实施方式中，所述方法还包括：根据所述光流值生成双摄深度图。具体的，可以根据上述方法依次计算得到所述高斯金字塔中最低一层所对应的图像中任意一点的深度值，因此，可得到该图像的2D+Z值，并据此生成双摄深度图。

实施例二

图3为本发明实施例二提供的光流值计算方法的流程示意图。本实施例以上述实施例为基础进行优化，所述方法增加如下步骤：将所述双摄深度图和TOF深度图进行融合，生成融合深度图。

参见图3，所述光流值计算方法，包括：

S210，获取TOF深度图，并获取左摄图和右摄图。

S220，根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值。

S230，基于左摄图和右摄图构造高斯金字塔，将所述深度提取点的视差值的作为金字塔初始光流值。

S240，根据所述高斯金字塔计算得到所述深度提取点的光流值。

S250，根据所述光流值生成双摄深度图。

S260，将所述双摄深度图和TOF深度图进行融合，生成融合深度图。

ToF测距范围主要由发射光的频率决定，由于传感器的限制，ToF获取的深度图存在分辨率较小的问题，且受环境光的影响。而采用光流法对大视差区域或者无特征周期性区域存在运算精度低的缺点，因此，需要将二种方法得到的深度图进行融合，以得到更为精确的深度图。

由于双摄深度图和TOF深度图分辨率大小可能并不一致，因此，可以采用插值法或者合并法将双摄深度图和TOF深度图的分辨率调整一致。示例性的，对于分辨率较小的图，可以采用插值法，补充相应的像素点和深度信息，使之分辨率增大，而对于分辨率较大的深度图，可以采用合并法，即计算某一区域，例如3*3区域的灰度值或者RGB值和深度值的平均值，将3*3区域视为一个新的像素点，并将上述平均值作为该像素点的属性。

本实施例通过增加如下步骤：将所述双摄深度图和TOF深度图进行融合，生成融合深度图。通过将所述双摄深度图和TOF深度图进行融合，可以综合ToF法和光流法两种方法的优点，以使得得到的深度图结果更准确，能够有效减小误差。

实施例三

图4为本发明实施例三提供的光流值计算方法的流程示意图。本实施例以上述实施例为基础进行优化，将所述双摄深度图和TOF深度图进行融合具体优化为：根据拍摄光照参数确定融合系数权值；根据所述融合系数权值对所述双摄深度图和TOF深度图进行融合。

参见图4，所述光流值计算方法，包括：

S310，获取TOF深度图，并获取左摄图和右摄图。

S320，根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值。

S330，基于左摄图和右摄图构造高斯金字塔，将所述深度提取点的视差值的作为金字塔初始光流值。

S340，根据所述高斯金字塔计算得到所述深度提取点的光流值。

S350，根据所述光流值生成双摄深度图。

S360，根据拍摄光照参数确定融合系数权值。

所述融合系数权值介于(0,1)之间。TOF技术采用主动光探测方式，与一般光照需求不一样的是，TOF照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量，所以，TOF的照射单元都是对光进行高频调制之后再进行发射，测量结果受外界环境干扰较为明显，尤其是受外界光源干扰。在受到外界光源干扰严重时，TOF深度图准确性较差。因此需要减少TOF深度图的融合系数权值。融合系数权值可以由人工设定，也可由侦测到的拍摄光照参数确定。

S370，根据所述融合系数权值对所述双摄深度图和TOF深度图进行融合。

可以根据上述得到的融合系数权值进行融合。示例性的，可以采用如下方式进行融合：

D＝(1-α)D_stereo+αD_ToF；其中α为融合系数权值。

本实施例通过将所述双摄深度图和TOF深度图进行融合具体优化为：根据拍摄光照参数确定融合系数权值；根据所述融合系数权值对所述双摄深度图和TOF深度图进行融合。可以更准确的确定TOF深度图的融合比例，以进一步的提高融合深度图的深度精确度。

在本实施例的另一优选实施方式中，在通过TOF模块获取TOF深度图之前，增加如下步骤：通过双摄像模块获取光照参数。由于配置的双摄像模块在拍摄前，需要测量曝光时间以及光圈等光照参数，以调整拍摄参数，获得清晰的图像。因此，可以通过双摄像模块获取上述光照参数，并根据光照参数确定融合系数权值。示例性的，可以设定曝光时间以及光圈的数值与融合系数权值的对应关系，根据对应关系确定融合系数权值。通过双摄像模块获取光照参数，可以自动确定融合系数权值。以使得融合系数权值能够贴合实际光照情况，进一步提高了融合深度图的准确率。

实施例四

图5是本发明实施例四提供的光流值计算装置的结构示意图，如图5所示，所述装置包括：

图像获取模块410，用于获取TOF深度图，并获取左摄图和右摄图；；

视差值提取模块420，用于根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值；

金字塔构造模块430，用于基于左摄图和右摄图构造高斯金字塔，将所述深度提取点的视差值的作为金字塔初始光流值；

光流值提取模块440，用于根据所述高斯金字塔计算得到所述深度提取点的光流值。

本实施例提供的光流值计算装置，通过引入TOF深度图，并将TOF视差信息做为光流法高斯金字塔的顶层进行计算。可以对大视差区域或者无特征区域场景，仍然能够很好的对特征点进行匹配。能够提高光流值计算的准确度。并且可以减少构建金字塔的层数，从而提升运算速度。

在上述各实施例的基础上，所述装置还包括：

在上述各实施例的基础上，所述融合模块用于：

根据拍摄光照参数确定融合系数权值；

在上述各实施例的基础上，所述装置还包括：

光照参数获取模块，用于通过双摄像模块获取光照参数。

本发明实施例所提供光流值计算装置可用于执行本发明任意实施例提供的光流值计算方法，具备相应的功能模块，实现相同的有益效果。

实施例六

如图6所示，为本发明实施例六提供的电子设备的结构示意图，如图6所示，该电子设备包括：

一个或多个处理器610，图6中以一个处理器610为例；

存储器620；

所述电子设备还可以包括：输入装置630和输出装置640。

以及，用于获取TOF深度图的深度摄像头TOF模块；

用于获取左摄图和右摄图的摄像模块；(图中未示出)

所述电子设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。

存储器620作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的光流值计算方法对应的程序指令/模块(例如，附图5所示的图像获取模块510、视差值提取模块520、金字塔构造模块530和光流值提取模块540)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例提供的光流值计算方法。

存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置630可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。

显然，本领域技术人员应该明白，上述本发明的各模块或各步骤可以通过如上所述的设备实施。可选地，本发明实施例可以用计算机装置可执行的程序来实现，从而可以将它们存储在存储装置中由处理器来执行，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等；或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种光流值计算方法，其特征在于，包括：

获取TOF深度图，并获取左摄图和右摄图；

根据所述TOF深度图根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值；

根据所述高斯金字塔计算得到所述深度提取点的光流值。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述光流值生成双摄深度图。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述双摄深度图和TOF深度图进行融合，生成融合深度图。

4.根据权利要求3所述的方法，其特征在于，所述将所述双摄深度图和TOF深度图进行融合包括：

根据拍摄光照参数确定融合系数权值；

5.根据权利要求4所述的方法，其特征在于，在通过TOF模块获取TOF深度图之前，还包括：

通过双摄像模块获取光照参数。

6.一种光流值计算装置，其特征在于，包括：

图像获取模块，用于获取TOF深度图，并获取左摄图和右摄图；视差值提取模块，用于根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值；

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

9.根据权利要求8所述的装置，其特征在于，所述融合模块用于：

根据拍摄光照参数确定融合系数权值；

10.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

用于获取TOF深度图的深度摄像头TOF模块；

用于获取左摄图和右摄图的摄像模块；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。