CN108062741A - 双目图像处理方法、成像装置和电子设备 - Google Patents

Abstract

本发明提供了一种双目图像处理方法，以及使用该双目图像处理方法的成像装置和电子设备。该双目图像处理方法包括：由所述一对图像采集子单元构成的成像单元获取第一图像和第二图像；将所述第一图像和第二图像发送给图像处理单元进行处理，以获取第一图像的视差图。

Description

双目图像处理方法、成像装置和电子设备

技术领域

本发明涉及图像处理技术，特别涉及一种快速的全局立体匹配方法。

背景技术

2017年成为双摄像头智能手机爆发的元年，紧跟苹果iPhone 7Plus开启的双摄像头浪潮，众多手机厂商纷纷推出双摄像头手机，以不断提升拍照方面的用户体验，满足市场的刚需。目前双摄像头手机主流的功能是背景虚化功能，这就需要测量视场中的物体的距离，以决定主体和背景分属的区域，进而决定虚化的方式。

双摄像头从不同的角度采集物理世界的图像，得到的双目图像会稍微有些差异。立体匹配以其中一张图像为参考图，以另外一张图像为目标图，搜索参考图中的每个像素在目标图中的对应像素，进而生成一张视差图，最后使用三角测量法得到视场中物点的距离。

目前主流的立体匹配算法可以分为局部立体匹配算法和全局立体匹配算法。局部立体匹配算法具有速度快的优点，但其得到的深度图有很多缺陷，例如无法准确计算大片低纹理区域的视差；全局立体匹配算法能够准确地计算视场的视差，但是算法计算量大，程序运行速度慢，无法很好地满足双摄像头手机对于实时性的要求。

因此急需一种图像处理方法，能够降低算法的运算量，还能够提升算法的实时性，保证用户体验。

发明内容

根据本发明实施例，提供了一种双目图像处理方法，用于一电子设备，电子设备包括由一对图像采集子单元构成的成像单元，双目图像处理方法包含：由一对图像采集子单元构成的成像单元获取第一图像和第二图像；将第一图像和第二图像发送给图像处理单元进行处理，以获取第一图像的视差图。

进一步，根据本发明实施例的双目图像处理方法，图像处理单元对第一图像和第二图像进行灰度变换，以获取第一灰度图像和第二灰度图像；若一对图像采集子单元为黑白摄像头，则无需进行灰度变换，第一图像和第二图像即为第一灰度图像和第二灰度图像。

进一步，根据本发明实施例的双目图像处理方法，由图像处理单元对第一灰度图像和第二灰度图像进行处理，以获取第一图像的初始视差图；由图像处理单元以第一图像为对象，构建双边空间，把初始视差图转换到双边空间中；由图像处理单元以第一图像在双边空间中的初始视差为起始点，迭代获取最终视差；由图像处理单元将最终视差转换到像素空间中，得到第一图像的视差图。

进一步，根据本发明实施例的双目图像处理方法，获取第一图像的初始视差图的方法包含：由图像处理单元对第一灰度图像进行处理，以获得每个像素的边缘强度；由图像处理单元根据每个像素的边缘强度获取第一灰度图像中的稳定像素点和非稳定像素点；由图像处理单元针对稳定像素点和非稳定像素点进行处理，获取第一图像的初始视差图。

进一步，根据本发明实施例的双目图像处理方法，构建双边空间的方法包含：根据稳定像素点和非稳定像素点的位置坐标和颜色空间，构建五维空间；对五维空间进行下采样操作，获取五维双边空间。

进一步，根据本发明实施例的双目图像处理方法，双目图像处理方法还包含：由图像处理单元对第一图像的视差图进行平滑处理。

进一步，根据本发明实施例的双目图像处理方法，平滑处理方法为双边滤波，滤波系数通过第一图像生成。

根据本发明的另一实施例，提供了一种电子设备，包括：成像单元，其由一对图像采集子单元构成，用于对被摄体成像以获取第一图像和第二图像；图像处理单元，用于对第一图像和第二图像进行处理，以获取第一图像的视差图。

进一步，根据本发明实施例的电子设备，还包括：存储单元，用于储存图像数据，其中，图像处理单元从存储单元读取图像数据进行处理。

进一步，根据本发明实施例的电子设备，图像处理单元对第一图像和/或第二图像执行灰度变换处理、边缘强度提取、视差图获取、视差图平滑处理中的一个或多个。

根据本发明又一实施例，提供了一种双目图像处理方法，用于一成像装置，成像装置包括由一对图像采集子单元构成的成像单元，双目图像处理方法包含：由一对图像采集子单元构成的成像单元获取第一图像和第二图像；将第一图像和第二图像发送给图像处理单元进行处理，以获取第一图像的视差图。

进一步，根据本发明实施例的双目图像处理方法，图像处理单元对第一图像的视差图进行平滑处理。

进一步，根据本发明实施例的双目图像处理方法，平滑处理方法为双边滤波，滤波系数通过第一图像生成。

根据本发明再一实施例，提供了一种成像装置，包括：成像单元，其由一对图像采集子单元构成，用于对被摄体成像以获取第一图像和第二图像；图像处理单元，用于对第一图像和第二图像进行处理，以获取第一图像的视差图。

进一步，根据本发明实施例的成像装置，图像处理单元对第一图像的视差图还进行平滑处理。

进一步，根据本发明实施例的成像装置，平滑处理方法为双边滤波，滤波系数通过第一图像生成。

根据本发明实施例的双目图像处理方法以及使用该双目图像处理方法的成像装置和电子设备，其能够大幅降低算法的运算量，提升算法程序的实时性，为双摄像头功能提供理想的解决方案。

要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。

附图说明

图1为图示根据本发明电子设备的框图；

图2为图示根据本发明电子设备的双目图像处理方法的流程图；

图3为图2中S2的子步骤流程图；

图4为图3中S21的具体步骤流程图；

图5为本发明实施提供的Sobel算子提取水平边缘的掩模板；

图6为本发明实施提供的Sobel算子提取竖直边缘的掩模板；

图7为本发明实施提供的计算稳定点阈值的区域分割图；

图8为本发明实施提供的非稳定像素点搜索稳定像素点的8个方向示意图；

图9为图示根据本发明成像装置的框图；

图10为图示根据本发明成像装置的双目图像处理方法的流程图。

具体实施方式

以下将结合附图，详细描述本发明的优选实施例，对本发明做进一步阐述。

首先，将结合图1描述根据本发明实施例的电子设备，本发明的电子设备优选地例如是：智能手机、平板电脑、数码相机、笔记本电脑等中的任意一个，以及其他用双摄像头实现采集图像的电子设备。

图1是图示根据本发明实施例的电子设备的框图。如图1所示，本发明实施例的电子设备1具有成像单元11、图像处理单元12以及存储单元13，可以理解的是，图1中为了简化描述仅仅示出了与本发明紧密相关的组件，根据本发明实施例的电子设备1还可以包括诸如中央处理器、通信单元、I/O单元的其他组件。

具体地，成像单元11包括一对图像采集子单元，在本实施例中，一对图像采集子单元为一对摄像头111和112，图1所示的摄像头111和112为左右布置，该布置方式仅仅是示例性的，摄像头111和112还可以上下布置。本实施例中，摄像头111和112是经过校准的，其各自采集物理世界的图像，这样得到的双目图像满足对极线约束，即对应像素点处于图像的同一行上，为后续算法节省大量运算量。摄像头可以是彩色摄像头，也可以是黑白摄像头。

具体地，图像处理单元12用于对一对图像采集子单元即摄像头111和112构成的成像单元11获取左目图像和右目图像。图像处理单元12可以是由诸如图像处理单元GPU、数字信号处理器DSP、专用集成电路ASIC中的任一配置。在本实施例中，如果摄像头为彩色摄像头，则图像处理单元12对左目图像和右目图像进行灰度变换，得到左目灰度图像和右目灰度图像，从而节省后续算法的运算量和存储空间。

由于以左目头像为参考图像，在本实施例中，图像处理单元12对左目图像执行灰度变换处理、边缘强度提取、视差图获取等处理，进一步地，本发明的图像处理单元还可以对视差图进行平滑处理，以解决视差值呈现的较强的块效应，提升视差图的效果。

具体地，存储单元13可以用于存储在图像处理单元12中处理和控制的程序，以及永久或临时存储图像数据以及输入或输出数据。存储单元13可以选用闪存型存储介质、硬盘型存储介质、多媒体卡微型存储介质、随机存取存储器、只读存储器等。此外，电子设备1可以操作网络存储介质诸如云平台，使其通过网络传输执行存储单元13的功能。在本发明的一个实施例中，图像处理单元12将左目图像、右目图像、左目灰度图像、右目灰度图像以及其他相关临时数据存储在存储单元13中，并且图像处理单元12从存储单元13读取各种数据。

如上所述，在根据本发明实施例的电子设备1中，通过对由诸如相机左右布置的双摄像头111和112获取的原始图像数据，并执行灰度变换处理、边缘强度提取、视差图获取、视差图平滑处理中的一个或多个，从而获取左目视图的视差图，以降低算法的运算量，还能够提升算法的实时性，保证双摄像头的用户体验。

以上结合图1描述了根据本发明实施例的电子设备1，以下将参照图2～8描述根据本发明实施例的双目图像处理方法。

图2是图示根据本发明实施例的电子设备的双目图像处理方法流程图。如图2所示，根据本发明实施例的电子设备的双目图像处理方法包括如下步骤：

在步骤S1中，由摄像头111、112获取左目图像和右目图像；此后，步骤处理进到步骤S2中。

在步骤S2中，将左目图像和右目图像发送给图像处理单元12进行处理，以获取左目图像的视差图。如果摄像头111、112为彩色摄像头，则图像处理单元12首先对左目图像和右目图像进行灰度变换，得到左目灰度图像和右目灰度图像，从而节省后续算法的运算量和存储空间。

在步骤S2中，如图3、4所示，获取左目图像的视差图通过如下子步骤来实现：

在S21中，由图像处理单元12对不需灰度变换的左目图像和右目图像或经灰度变换后的左目灰度图像和右目灰度图像进行处理，以获取左目图像的初始视差图；如图4所示，具体地，针对左目灰度图像，以边缘检测算子计算图像中每个像素的边缘强度，在本实施例中，使用Sobel算子来提取边缘强度信息，Sobel算子使用两个方向的掩模板，图5是本实施例提供的Sobel算子提取水平边缘的掩模板，使用该掩模板与图像的对应点做卷积，可以计算得到梯度分量G_x，图6是Sobel算子提取竖直边缘的掩模板，使用该掩模板与图像的对应点做卷积，可以计算得到梯度分量G_y，Sobel边缘检测的计算公式是：

针对左目图像的边缘强度图像，使用图像二值化算法，提取稳定像素点，标记为数值1，其它的是非稳定像素点，标记为数值0。如图7所示，在选取阈值时，把整幅图像均分为9个区域，计算第k个区域边缘强度的平均值，取均值的一半作为该区域的阈值T_k,以此来判断第k个区域的任意一个像素点(i,j)是否为稳定像素点：

针对稳定像素点，可以根据应用场景选择不同的匹配算子，计算初始视差值，在本实施例中，采用基于固定窗口SAD匹配算子。对于左目图像中的点(x,y)，记作种子点，以种子点为中心建立一个正方形窗口，窗口边长为2*n+1，在右目图像中挑选一定视差范围内的点(x-d,y)，记作候选点，以候选点为中心建立一个正方形窗口，窗口边长为2*n+1，取左目图像素点的灰度I_l与右目图像素点的灰度I_r来计算SAD，用来衡量种子点与候选点之间的相似度：

分别计算种子点与所对应的所有候选点之间的SAD，可以得到一个SAD序列，根据WTA(winner take all)原则来选择最佳匹配点，并确定种子点的初始视差。

如图8所示，针对非稳定像素点，搜索其8个方向上的稳定像素点，分别是水平向左、水平向右、竖直向上、竖直向下、左上45度、右上45度、左下45度、右下45度。在第i个方向上搜索，当遇到第一个稳定像素点时，记录其灰度值g_i和初始视差值d_i，如此最多可以得到8组灰度值与视差值，据此统计与当前非稳定像素点的灰度g差异小于T(一般设定为60)的稳定像素点的个数：

进而计算当前非稳定点的视差：

非稳定点的SAD序列都记为0，即SAD序列不会影响最终视差的取值。此后，步骤处理进到S22中。

在S22中，由图像处理单元12以左目图像为对象，构建双边空间，把初始视差图转换到双边空间中；具体地，以左目图像为对象，构建双边空间。左目图像是一张二维离散像素点集，定义域为像素位置坐标(x,y)，值域为三通道颜色，这里不限定颜色空间的类型，可以是任意类型的颜色空间，在本实施例中，使用RGB空间，如果需要使用其它颜色空间，可以进行颜色空间的转换。综合定义域和值域成为五维空间(x,y,R,G,B)，对这五维空间进行下采样和向下取整操作，成为五维双边空间，其中定义域上的采样率记O_s，值域上的采样率记为O_c。像素空间转换到双边空间公式：

由于是下采样，会形成多个像素对应一个晶格的情况，即一个晶格之中包含了多个像素点。因此，像素空间转双边空间的本质是像素与晶格之间映射的过程，产生的结果是目标对象的个数减少了，晶格数量大约是像素数量的1/100～1/10，大大减少后续运算所需的存储空间和运算量。假定原图像中像素点个数为M，生成的晶格数量为N，建立双边空间的过程即为生成一个N行M列映射矩阵S的过程，矩阵的每个元素只有两个取值：0和1，每一行代表行号所对应的晶格包含了列元素为1的列号所对应的像素点。

在构建双边空间的过程中，每把一个像素映射到晶格后，都要检查该像素是否为稳定像素点，如果是稳定像素点，则需要进行三个处理：把像素的SAD序列加总到晶格的SAD序列中；把像素的初始视差值加总到晶格的初始视差值中；为晶格的稳定像素点计数器加1。如果是非稳定像素点，则需要进行两步处理：把像素的初始视差值加总到晶格的初始视差值中；为晶格的非稳定像素点计数器加1。这样在双边空间构建完毕后，所有生成的晶格都有两类信息：对于稳定像素点，晶格有自己的SAD序列，初始视差值和稳定像素点总数，记为A类信息；对于非稳定像素点，晶格有自己的初始视差值和非稳定像素点总数，记为B类信息。此时需要对初始视差值进行归一化，即使用初始视差除以像素点总数，如果该晶格有至少一个稳定像素点，则使用A类信息来计算，如果该晶格没有稳定像素点，则使用B类信息计算，且其晶格的SAD序列都赋值为0。此后，步骤处理进到S23中。

在S23中，由图像处理单元12以左目图像在双边空间中的初始视差为起始点，迭代获取最终视差；具体地，针对生成的双边空间，在此需要构建其能量函数。能量函数的自变量为每个晶格的视差，分为两项：平滑项和数据项，表达式为：

其中，A_i,j是晶格i与晶格j之间的平滑程度系数，d是晶格的视差，f(d_i)是晶格i在视差d_i时的SAD取值，λ是平滑项与数据项之间的权重参数。

公式的第一项为平滑项，矩阵A描述了所有晶格中任意两个晶格之间的平滑程度，这个程度是由两个晶格在五维双边空间中的距离决定的，这里不限定计算矩阵A的方法，此处使用高斯函数来计算矩阵A的元素：

其中，(b_i0,b_i1,b_i2,b_i3,b_i4)是晶格i在双边空间里的坐标，(b_j0,b_j1,b_j2,b_j3,b_j4)是晶格j在双边空间里的坐标，σ_s,σ_c分别都高斯函数的方差，用来控制空间和颜色的相关性程度。

至此，全局立体匹配的能量函数就构建完毕了，并且该函数值有一组较好的初始视差，使用开源的函数库Ceres就可以对这个能量函数进行迭代求解，从而计算出所有晶格最终的视差值。由于晶格数量N约为像素点数量M的1/100～1/10，因此，本发明提出的能量函数中自变量的数量显著下降，迭代求解的过程会加快很多，并且求解得到的结果会更加稳定和准确。此后，步骤处理进到S24中。

在S24中，由图像处理单元12将最终视差转换到像素空间中，得到左目图像的视差图。具体地，晶格的视差转换为像素点的视差转换公式如下：

G＝S^T*D

其中，G为像素点的视差向量，S为构建双边空间时生成的映射矩阵，D为晶格的视差向量。

由于通过上述方法得到的像素点的视差值会呈现出较强的块效应，因此，本发明中，为了进一步提升效果，优选地，还包括如下步骤：由图像处理单元12对左目图像的视差图进行平滑处理，在本实施例中，选用双边滤波进行平滑处理，滤波系数通过左目图像生成。

以上，参照图1到图8描述了根据本发明实施例的电子设备及其双目图像处理方法。进一步地，本发明还可应用于成像装置2。

如图9所示，根据本发明实施例的成像装置2包括成像单元21和图像处理单元22。具体地，成像单元21类似于参照图1描述的成像单元11，其包括一对摄像头211、212，一对摄像头211、212左右布置，并经过校准，其各自采集物理世界的图像，这样得到的双目图像满足对极线约束，即对应像素点处于图像的同一行上，为后续算法节省大量运算量。摄像头可以是彩色摄像头，也可以是黑白摄像头。具体地，图像处理单元22用于对一对图像采集子单元即摄像头211和212构成的成像单元21获取左目图像和右目图像。图像处理单元22可以是由诸如图像处理单元GPU、数字信号处理器DSP、专用集成电路ASIC中的任一配置。在本实施例中，如果摄像头为彩色摄像头，则图像处理单元22对左目图像和右目图像进行灰度变换，得到左目灰度图像和右目灰度图像，从而节省后续算法的运算量和存储空间。

由于以左目头像为参考图像，在本实施例中，图像处理单元22对左目图像执行灰度变换处理、边缘强度提取、视差图获取等处理，进一步地，本发明的图像处理单元还可以对视差图进行平滑处理，以解决视差值呈现的较强的块效应，提升视差图的效果。

如上所述，在根据本发明实施例的成像装置2中，通过对由诸如相机左右布置的双摄像头211、212获取的原始图像数据，并执行灰度变换处理、边缘强度提取、视差图获取、视差图平滑处理中的一个或多个，从而获取左目视图的视差图，以降低算法的运算量，还能够提升算法的实时性，保证双摄像头的用户体验。

如图10所示，根据本发明实施例的成像装置的双目图像处理方法包括如下步骤：

S201：由一对图像采集子单元采集，在本实施例中，通过一对摄像头211、212构成的成像单元22获取左目图像和右目图像；

S202：将所述左目图像和右目图像发送给图像处理单元22进行处理，以获取左目图像的视差图。

具体的图像处理方法，和用于本发明实施例的电子设备的双目图像处理方法一致，此处不再赘述。

为了更好的效果，根据本发明实施例的成像装置2的图像处理单元22还可以对视差图进行平滑处理，以解决视差值呈现的较强的块效应，提升视差图的效果。在本实施例中，选用双边滤波进行平滑处理，滤波系数通过左目图像生成。

以上，参照图1～10描述了根据本发明实施例的图像处理方法以及使用该图像处理方法的成像装置和电子设备，通过对由诸如双摄像头获取的原始图像数据进行处理，不仅实现了视差的精确计算，而且运算量小，实时性高，提升了用户体验。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

Claims (16)

1.一种双目图像处理方法，用于一电子设备，所述电子设备包括由一对图像采集子单元构成的成像单元，其特征在于，所述双目图像处理方法包含：

由所述一对图像采集子单元构成的成像单元获取第一图像和第二图像；

将所述第一图像和第二图像发送给图像处理单元进行处理，以获取第一图像的视差图。

2.如权利要求1所述双目图像处理方法，其特征在于，所述图像处理单元对第一图像和第二图像进行灰度变换，以获取第一灰度图像和第二灰度图像；若所述一对图像采集子单元为黑白摄像头，则无需进行所述灰度变换，所述第一图像和第二图像即为第一灰度图像和第二灰度图像。

3.如权利要求2所述双目图像处理方法，其特征在于，所述图像处理单元处理所述第一图像和第二图像，获取第一图像的视差图的方法包含：

由所述图像处理单元对所述第一灰度图像和第二灰度图像进行处理，以获取第一图像的初始视差图；

由所述图像处理单元以所述第一图像为对象，构建双边空间，把所述初始视差图转换到双边空间中；

由所述图像处理单元以第一图像在双边空间中的初始视差为起始点，迭代获取最终视差；

由所述图像处理单元将所述最终视差转换到像素空间中，得到第一图像的视差图。

4.如权利要求3所述双目图像处理方法，其特征在于，获取第一图像的初始视差图的方法包含：

由所述图像处理单元对第一灰度图像进行处理，以获得每个像素的边缘强度；

由所述图像处理单元根据所述每个像素的边缘强度获取第一灰度图像中的稳定像素点和非稳定像素点；

由所述图像处理单元针对所述稳定像素点和非稳定像素点进行处理，获取第一图像的初始视差图。

5.如权利要求3所述双目图像处理方法，其特征在于，构建双边空间的方法包含：根据所述稳定像素点和非稳定像素点的位置坐标和颜色空间，构建五维空间；对五维空间进行下采样和向下取整操作，获取五维双边空间。

6.如权利要求1～5中任一项所述双目图像处理方法，其特征在于，所述双目图像处理方法还包含：由所述图像处理单元对所述第一图像的视差图进行平滑处理。

7.如权利要求6所述双目图像处理方法，其特征在于，所述平滑处理方法为双边滤波，滤波系数通过第一图像生成。

8.一种电子设备，其特征在于，包括：

成像单元，其由一对图像采集子单元构成，用于对被摄体成像以获取第一图像和第二图像；

图像处理单元，用于对所述第一图像和第二图像进行处理，以获取第一图像的视差图。

9.如权利要求8所述电子设备，其特征在于，还包括：存储单元，用于储存图像数据，其中，所述图像处理单元从存储单元读取图像数据进行处理。

10.如权利要求8或9所述电子设备，其特征在于，所述图像处理单元，对第一图像和/或第二图像执行灰度变换处理、边缘强度提取、视差图获取、视差图平滑处理中的一个或多个。

11.一种双目图像处理方法，用于一成像装置，所述成像装置包括由一对图像采集子单元构成的成像单元，其特征在于，所述双目图像处理方法包含：

由所述一对图像采集子单元构成的成像单元获取第一图像和第二图像；

将所述第一图像和第二图像发送给图像处理单元进行处理，以获取第一图像的视差图。

12.如权利要求11所述双目图像处理方法，其特征在于，所述图像处理单元对所述第一图像的视差图进行平滑处理。

13.如权利要求12所述双目图像处理方法，其特征在于，所述平滑处理方法为双边滤波，滤波系数通过第一图像生成。

14.一种成像装置，其特征在于，包括：

成像单元，其由一对图像采集子单元构成，用于对被摄体成像以获取第一图像和第二图像；

图像处理单元，用于对所述第一图像和第二图像进行处理，以获取第一图像的视差图。

15.如权利要求14所述成像装置，其特征在于，所述图像处理单元对第一图像的视差图还进行平滑处理。

16.如权利要求15所述成像装置，其特征在于，所述平滑处理方法为双边滤波，滤波系数通过第一图像生成。