CN102663765A - 一种基于语义分割的三维图像立体匹配方法和系统 - Google Patents

Abstract

本发明适用于图像处理领域，提供了一种基于语义分割的三维图像立体匹配方法和系统，所述方法包括以下步骤：计算获取的左右图像的整体视差值；将所述左右图像分为小图像，分别计算小图像的特征，将相同特征的小图像组合为一个连续的连续区域，计算每个连续区域小图像的数量，进而计算每块连续区域的长和宽；对不同连续区域分别计算精确视差值。本发明实施例，初步计算三维图像左右画面的整体视差值，根据语义分割将图像分割为不同的连续区域，每块连续区域的长和宽以及所述整体视差值分别计算每块连续区域的精确视差值，通过建立连续的连续区域，使得三维图像的视差计算更加准确，不再受到目标大小和窗口大小匹配的限制。

Description

一种基于语义分割的三维图像立体匹配方法和系统

技术领域

本发明属于图像处理领域，尤其涉及一种基于语义分割的三维图像立体匹配方法和系统。

背景技术

立体视觉中关键技术就是要对多幅图像的对应点进行匹配并建立对应的关系，这个过程就叫立体匹配，立体匹配的目的是最终获得图像中物体的视差。这种对应关系建立得正确与否决定了立体匹配方法的优劣。同时，完成立体匹配的时间长短也是衡量方法好坏的重要指标。实际上现有的许多方法都难以在匹配准确率和时间效率上都能兼顾。

现有的方法是基于预定窗口或者自适应窗口，并对窗口内像素进行代价计算。这样的一类方法当图像中的目标大小与窗口大小不一致的时候会导致错误的匹配，匹配精度较差。

发明内容

本发明实施例的目的在于提供一种基于语义分割的三维图像立体匹配方法和系统，以解决现有技术立体匹配受目标大小和窗口大小匹配限制的问题。

本发明实施例是这样实现的，一种基于语义分割的三维图像立体匹配方法，所述方法包括以下步骤：

计算获取的左右图像的整体视差值；

将所述左右图像分为小图像，分别计算小图像的特征，将相同特征的小图像组合为一个连续的连续区域，计算每个连续区域小图像的数量，进而计算每块连续区域的长和宽；

对不同连续区域分别计算精确视差值。

本发明实施例的另一目的在于提供一种基于语义分割的三维立体匹配系统，所述系统包括：

整体视差值计算单元，用于计算获取的左右图像的整体视差值；

语义分割单元，用于将所述左右图像分为小图像，分别计算小图像的特征，将相同特征的小图像组合为一个连续的连续区域，计算每个连续区域小图像的数量，进而计算每块连续区域的长和宽；

视差值分别计算单元，用于对根据所述语义分割单元产生的不同连续区域分别计算精确视差值。

本发明实施例，初步计算三维图像左右画面的整体视差值，根据语义分割将图像分割为不同的连续区域，获取每块连续区域的长宽参数，并根据每块连续区域的长和宽以及所述整体视差值分别计算每块连续区域的精确视差值，通过建立连续的连续区域，使得三维图像的视差计算更加平滑，更加准确，不再受到目标大小和窗口大小匹配的限制。

附图说明

图1是本发明实施例提供的基于语义分割三维图像立体匹配方法的流程图；

图2本发明实施例提供的三维图像立体匹配方法中将图像等分为若干小图像的示例图；

图3是本发明实施例提供的三围图像立体匹配方法中分别计算每块连续区域视差值的示例图；

图4是本发明实施例提供的三围图像立体匹配方法中步骤S103的具体实现流程图；

图5是本发明实施例提供的三围图像立体匹配方法中语义分割的示例图；

图6是本发明实施例提供的三围图像立体匹配方法中图像语义样本库样本的示例图；

图7是本发明实施例提供的三围图像立体匹配方法中图像语义样本库的示例图；

图8是本发明实施例提供的基于语义分割三维图像立体匹配系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例，初步计算三维图像左右画面的整体视差值，根据语义分割将图像分割为不同的连续区域，获取每块连续区域的长宽参数，并根据每块连续区域的长和宽以及所述整体视差值分别计算每块连续区域的精确视差值，通过建立连续的连续区域，使得三维图像的视差计算更加平滑，更加准确，不再受到目标大小和窗口大小匹配的限制。

实施例一

如图1所示为本发明实施例提供的基于语义分割三维图像立体匹配方法的流程图，详述如下：

在步骤S101中，水平校正获取的左右图像。

在本发明实施例中，对通过平行双目摄像或单目相机平动摄取的左右图像进行初步校正，使得左右两幅图像中的同一物体处于同一水平线上，避免因左右图像不在同一水平线而引起的计算误差。

在步骤S102中，计算获取的左右图像的整体视差值。

在本发明实施例中，使用现有技术的固定窗口法、自适应窗口法、基于图论图像分割的方法计算左右图像的整体视差值。

在步骤S103中，将所述左右图像分为小图像，分别计算小图像的特征，将相同特征的小图像组合为一个连续的连续区域，计算每个连续区域小图像的数量，进而计算每块连续区域的长和宽。

在本发明实施例中，将所述左右图像分割为多个小图像，如图2所示。每个小图像的长宽为L*L，那么只需获取每块连续区域小图像的数量即可知道该连续区域的长和宽。将左右图像分为不同的连续区域方法详见图4以及对图4的描述，在此不再赘述。

在步骤S104中，对不同连续区域分别计算精确视差值。

在本发明实施例中，对根据语义分割产生的不同连续区域分别计算视差值，其计算方法具体为：计算每块连续区域水平方向每一行视差的平均值，将该平均值设置为该行的视差值，计算方法为根据公式

E_i(x)＝E_i(W_i/2)

计算视差的平均值，其中E_i(x)表示第i行x位置的视差值，其中W_i表示第i行的长度，那么长度的一半即为中间值，即取i行长度一半位置的视差值为i行的平均值，如图3所示。

本发明实施例，初步计算三维图像左右画面的整体视差值，根据语义分割将图像分割为不同的连续区域，获取每块连续区域的长宽参数，并根据每块连续区域的长和宽以及所述整体视差值分别计算每块连续区域的精确视差值，通过建立连续的连续区域，使得三维图像的视差计算更加平滑，更加准确，不再受到目标大小和窗口大小匹配的限制。

实施例二

如图4所示为本发明实施例1提供的步骤S103的具体实现流程图，详述如下：

在步骤S401中，将整幅图像等分为小图像，并计算每块小图像的特征f_i。

在本发明实施例中，将整幅图像等分为若干小图像。计算每块小图像块的特征，其计算方法为：

首先根据高斯函数与小图像做卷积可得到尺度为δ(取2的指数级数，例如2，4，8等)的图像特征：

$L(x,y,\mathrm{\δ})=G(x,y,\mathrm{\δ})\×I(x,y),G(x,y,\mathrm{\δ})=\frac{1}{2\mathrm{\π}{\mathrm{\δ}}^2}{e}^{-(x^2+y^2)/{2\mathrm{\δ}}^2},$

然后求得不同尺度级的差分特征D(x，y，δ)＝L(x，y，kδ)-L(x，y，δ)，

由此可获得多种尺度特征，例如D(x，y，2)，D(x，y，4)，D(x，y，8)，将此三种尺度的特征依次串接起来可得到小图像的特征。例如第i个小图像的尺寸为5×5，那么第i个小图像的特征维度为5×5×3，即75。

在步骤S402中，根据所述小图像的特征f_i按照高斯联合JointBoost分类训练法计算小图像的概率模型参数θ₁。

在本发明实施例中，根据已标定好的小图像和小图像的特征f_i，采用高斯联合JointBoost分类训练法获得小图像的概率模型参数θ₁。其基本原理是通过一系列的弱分类器组合成一个强分类器以完成分类结果的判断。

$H\left(f_i\right)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{h}_m\left(f_i\right),$

M表示弱分类器个数，sigh()是指示0-1的符号函数，即满足条件时该函数返回1，否则返回0；y(f_i)是f_i的某个特征分量，a，b，c是预设常量。根据

计算可得到θ₁，根据

计算可得到θ₂，f_x表示非f_i所属小图像的特征，由此获得小图像的概率模型参数θ₁。

在步骤S403中，根据所述小图像的概率模型参数θ₁和小图像的特征f_i建立每块连续区域的概率模型，计算该连续区域的概率模型参数θ。

在本发明实施例中，根据公式：

$F(c,\mathrm{\θ})=\underset{i\∈I}{\mathrm{\Σ}}{F}_1(c_i,f_i,{\mathrm{\θ}}_1)+\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}{F}_2(c_i,c_j,f_{\mathrm{ij}},{\mathrm{\θ}}_2),$

F₁(c_i，f_i，θ₁)＝-logP(c_i|f_i，θ₁)，

F₂(c_i，c_j，f_ij，θ₂)＝-λlogP(c_i，c_j|f_ij，θ₂)

建立每个小图像的概率模型，其中F₁度量第i个图像块特征f_i和标记类别c_i的一致性，F₂度量标记类别为c_i的第i个图像块与其邻域图像块类别c_j的一致性，如图5所示，P(c_i|f_i，θ₁)表示根据第i个图像块的特征f_i，将该图像块归属于标记类别c_i的概率。同理，P(c_i，c_j|f_ij，θ₂)表示根据特征f_ij使得f_i的邻域图像块也属于c_i的概率。θ＝(θ₁，θ₂)为待求参数，此处θ表示连续区域的概率模型参数，θ₁该连续区域中某个小图像的概率模型参数，θ₂表示所述概率模型参数为θ₁的小图像的相邻小图像的概率模型参数，公式θ＝(θ₁，θ₂)表示连续区域的概率模型参数与组成该区域的小图像的概率模型参数θ₁和其相邻小图像的概率模型参数θ₂相关，λ表示权重值在[0，1]之间，f_ij特征通过f_ij＝f_i-f_j获得，即表示为同一尺度下不同空间位置的差分特征。公式 $F(c,\mathrm{\θ})=\underset{i\∈I}{\mathrm{\Σ}}{F}_1(c_i,f_i,{\mathrm{\θ}}_1)+\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}{F}_2(c_i,c_j,f_{\mathrm{ij}},{\mathrm{\θ}}_2)$ 输出的是标号为C的连续区域的概率模型参数θ。

在步骤S404中，建立语义图像样本库，为每个语义图像样本编号，并为每个编号的语义图像样本设置标准概率模型参数，将所述连续区域的概率模型参数θ与语义图像样本库中的标准概率模型参数相比较，获得语义图像样本结果。

在本发明实施例中，通过长期的计算与记录，可以得出不同的语义图像的样本的标准概率模型参数，将这些概率模型参数进行记载，即语义图像样本库中概率模型参数为已知量，如图6、图7所示。将所述概率模型参数θ与语义图像样本库中的概率模型参数相比较，如果θ＝1，而语义图像样本库中概率模型参数1所对应的为草地，那么所述连续区域即为草地。

实施例三

如图8所示为本发明实施例提供的基于语义分割三维图像立体匹配系统的结构图，为了便于说明，仅示出于本发明实施例相关的部分，包括：

图像校正单元81，用于水平校正获取的左右图像。

整体视差值计算单元82，用于计算所述图像校正单元81校正的左右图像的整体视差值。

语义分割单元83，用于将所述左右图像分为小图像，分别计算小图像的特征，将相同特征的小图像组合为一个连续的连续区域，计算每个连续区域小图像的数量，进而计算每块连续区域的长和宽。

视差值分别计算单元84，用于对根据所述语义分割单元83产生的不同连续区域分别计算精确视差值。

在本发明实施例中，对根据语义分割产生的不同连续区域分别计算视差值，其计算方法具体为：计算每块连续区域水平方向每一行视差的平均值，将该平均值设置为该行的视差值，计算方法为根据公式

E_i(x)＝E_i(W_i/2)

计算视差的平均值，其中E_i(x)表示第i行x位置的视差值，其中W_i表示第i行的长度，那么长度的一半即为中间值，即为取i行长度一半位置的视差值为i行的平均值。

其中，所述语义分割单元83具体包括：

小图像特征计算子单元831，用于将整幅图像等分为若干小图像，计算每块小图像的特征f_i。

小图像概率模型参数计算子单元832，用于根据所述小图像特征计算子单元831计算的小图像的特征，计算小图像的概率模型参数θ₁。

语义分割子单元833，用于根据所述小图像的概率模型参数θ₁和小图像的特征f_i建立每块连续区域的概率模型，计算该连续区域的概率模型参数θ。

语义分割结果比对子单元834，用于建立语义图像样本库，为每个语义图像样本编号，并为每个编号的语义图像样本设置标准概率模型参数，将所述连续区域的概率模型参数θ与语义图像样本库中的标准概率模型参数相比较，获得语义图像样本结果。

本实施例提供的基于语义分割三维图像立体匹配系统可以使用在前述对应的基于语义分割三维图像立体匹配方法，详情参见上述基于语义分割三维图像立体匹配方法实施例一和二的相关描述，在此不再赘述。

本领域普通技术人员可以理解为实施例三所包括的各个单元、子单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元、子单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本发明实施例，初步计算三维图像左右画面的整体视差值，根据语义分割将图像分割为不同的连续区域，获取每块连续区域的长宽参数，并根据每块连续区域的长和宽以及所述整体视差值分别计算每块连续区域的精确视差值，通过建立连续的连续区域，使得三维图像的视差计算更加平滑，更加准确，不再受到目标大小和窗口大小匹配的限制。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于语义分割的三维图像立体匹配方法，其特征在于，所述方法包括以下步骤：

计算获取的左右图像的整体视差值；

将所述左右图像分为小图像，分别计算小图像的特征，将相同特征的小图像组合为一个连续的连续区域，计算每个连续区域小图像的数量，进而计算每块连续区域的长和宽；

对不同连续区域分别计算精确视差值。

2.如权利要求1所述的方法，其特征在于，在所述计算获取的左右图像的整体视差值的步骤之前，所述方法还包括以下步骤：

水平校正获取的左右图像。

3.如权利要求1所述的方法，其特征在于，所述对不同连续区域分别计算精确视差值的步骤具体为：

计算每块连续区域水平方向每一行视差的平均值，该平均值为该行的视差值，计算方法为根据公式

E_i(x)＝E_i(W_i/2)

计算视差的平均值，其中E_i(x)表示第i行x位置的视差值，W_i表示第i行的长度。

4.如权利要求1所述的方法，其特征在于，所述将所述左右图像分为小图像，分别计算小图像的特征，将相同特征的小图像组合为一个连续的连续区域的步骤具体为：

将整幅图像等分为小图像，并计算每块小图像的特征f_i；

根据所述小图像的特征f_i按照高斯联合JointBoost分类训练法计算小图像的概率模型参数θ₁；

根据所述小图像的概率模型参数θ₁和小图像的特征f_i建立每块连续区域的概率模型，计算所述连续区域的概率模型参数θ。

5.如权利要求4所述的方法，其特征在于，在所述根据所述概率模型参数θ和小图像的特征f_i建立每块连续区域的概率模型，计算该连续区域的概率模型参数的步骤之后，所述方法还包括以下步骤：

建立语义图像样本库，为每个语义图像样本编号，并为每个编号的语义图像样本设置标准概率模型参数，将所述连续区域的概率模型参数θ与语义图像样本库中的标准概率模型参数相比较，获得语义图像样本结果。

6.一种基于语义分割的三维图像立体匹配系统，其特征在于，所述系统包括：

整体视差值计算单元，用于计算获取的左右图像的整体视差值；

语义分割单元，用于将所述左右图像分为小图像，分别计算小图像的特征，将相同特征的小图像组合为一个连续的连续区域，计算每个连续区域小图像的数量，进而计算每块连续区域的长和宽；

视差值分别计算单元，用于对根据所述语义分割单元产生的不同连续区域分别计算精确视差值。

7.如权利要求6所述的系统，其特征在于，所述系统还包括：

图像校正单元，用于水平校正获取的左右图像。

8.如权利要求6所述的系统，其特征在于，所述视差值分别计算单元计算的步骤具体为：

计算每块连续区域水平方向每一行视差的平均值，该平均值为该行的视差值，计算方法为根据公式

E_i(x)＝E_i(W_i/2)

计算视差的平均值，其中E_i(x)表示第i行x位置的视差值，W_i表示第i行的长度。

9.如权利要求6所述的系统，其特征在于，所述语义分割单元具体包括：

小图像特征计算子单元，用于将整幅图像等分为若干小图像，计算每块小图像的特征f_i；

小图像概率模型参数计算子单元，用于根据所述小图像特征计算子单元计算的小图像的特征，计算小图像的概率模型参数θ₁；

语义分割子单元，用于根据所述小图像的概率模型参数θ₁和小图像的特征fi建立每块连续区域的概率模型，计算该连续区域的概率模型参数θ。

10.如权利要求9所述的系统，其特征在于，所述语义分割单元还包括：

语义分割结果比对子单元，用于建立语义图像样本库，为每个语义图像样本编号，并为每个编号的语义图像样本设置标准概率模型参数，将所述连续区域的概率模型参数θ与语义图像样本库中的标准概率模型参数相比较，获得语义图像样本结果。

Images