CN110428462A - 多相机立体匹配方法和装置 - Google Patents

Abstract

本发明提出一种多相机立体匹配方法和装置，其中，方法包括：根据预设的阵列结构搭建多相机阵列；控制红外散斑发射器向训练场景投射结构光光斑，通过多相机阵列获取多视点图像；提取多视点图像的图像特征，并根据图像特征训练特征提取器，以便于根据训练好的图像特征提取器进行场景深度信息的获取。本发明可以克服传统的RGB匹配特征稀疏以及特征提取和匹配的高计算复杂度，实现高速、准确的立体匹配并能够通过概率推断的方法进一步提高立体匹配结果。

Description

多相机立体匹配方法和装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种多相机立体匹配方法和装置。

背景技术

立体匹配技术是三维重建及计算机视觉领域的重点问题。随着虚拟现实技术以及增强现实技术的发展和普及，高速度高精度的立体匹配正在成为愈加迫切的需要。高质量的深度图在三维重建、自动驾驶、人脸识别及定位等各个领域都有着重要的应用价值。

相关技术中，场景深度信息的获取基于RGB图像和深度图像之间信息的匹配计算，计算量较大，且目前的商业深度相机都存在着深度图质量差、深度残缺以及深度序列帧率低的问题，这就导致在基于RGB图像与深度图像匹配时，匹配不到与RGB像素对应的深度信息，或者匹配的深度信息偏差较大，导致场景深度信息获取精确度不高。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种多相机立体匹配方法，克服传统的RGB匹配特征稀疏以及特征提取和匹配的高计算复杂度，实现高速、准确的立体匹配并能够通过概率推断的方法进一步提高立体匹配结果。

本发明的第二个目的在于提出一种多相机立体匹配装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种多相机立体匹配方法，包括：根据预设的阵列结构搭建多相机阵列；控制红外散斑发射器向训练场景投射结构光光斑，通过所述多相机阵列获取多视点图像；提取所述多视点图像的图像特征，并根据所述图像特征训练特征提取器，以便于根据训练好的所述图像特征提取器进行场景深度信息的获取。

本发明实施例的多相机立体匹配方法，可以克服传统的RGB匹配特征稀疏以及特征提取和匹配的高计算复杂度，实现高速、准确的立体匹配并能够通过概率推断的方法进一步提高立体匹配结果。

本发明的实施例中，在所述根据预设的阵列结构搭建多相机阵列之后，还包括：根据张正友标定法以及光束平差法获得满足精度阈值的所述多相机阵列的相机参数；所述通过所述多相机阵列获取多视点图像之后，还包括：根据所述相机参数对所述多视点图像进行校正。

本发明的实施例中，所述提取所述多视点图像的图像特征，并根据所述图像特征训练特征提取器，包括：获取校正后的所述多视点图像；将所述多视点图像输入所述特征提取器中的编码矩阵，获取所述多视点图像中每个像素点的压缩特征；将所述压缩特征输入所述特征提取器中的解码矩阵，获取解码多视点图像；计算所述解码多视点图像和所述多视点图像的图像差值，并监测所述差值是否大于预设阈值；若大于所述预设阈值则调整所述编码矩阵的矩阵参数，直至所述差值不大于所述预设阈值，则完成对所述特征提取器的训练。

本发明的实施例中，所述多相机立体匹配方法，还包括控制所述红外散斑发射器向检测场景投射结构光光斑后，通过所述多相机阵列获取目标多视点图像；将所述目标多视点图像输入训练好的所述特征提取器，以便于所述特征提取器中的编码矩阵提取所述目标多视点图像中每个像素点的压缩特征；根据所述压缩特征和预设条件随机场模型估算所述目标多视点图像中每个像素点的深度值最大后验概率；根据所述最大后验概率和变分法得到所述每个像素点的目标深度值；根据所述目标深度值构建所述检测场景的立体模型获取。

本发明的实施例中，所述根据所述压缩特征和预设条件随机场模型估算所述目标多视点图像中每个像素点的深度值最大后验概率，包括：

将所述压缩特征输入随机场模型公式，获取所述最大后验概率，其中，所述随机场模型公式为：

其中，Y是深度图上可能的深度值的集合，D是所述目标多视点图像上的像素点的压缩特征集合，数据项ψ_u(l_i)代表着深度图上某一像素点对应的深度l_i的可能概率，ψ_p(l_i,l_j)为平滑自定义项，代表相邻像素点的接近程度。

为达上述目的，本发明第二方面实施例提出了一种多相机立体匹配装置，包括：搭建模块，用于根据预设的阵列结构搭建多相机阵列；控制模块，用于控制红外散斑发射器向训练场景投射结构光光斑；第一获取模块，用于通过所述多相机阵列获取多视点图像；提取模块，用于提取所述多视点图像的图像特征；训练模块，用于根据所述图像特征训练特征提取器，以便于根据训练好的所述图像特征提取器进行场景深度信息的获取。

本发明实施例的多相机立体匹配装置，通过搭建模块、控制模块、第一获取模块、提取模块和训练模块，克服传统的RGB匹配特征稀疏以及特征提取和匹配的高计算复杂度，实现高速、准确的立体匹配并能够通过概率推断的方法进一步提高立体匹配结果。

在本发明实施例中，所述多相机立体匹配装置，还包括：第二获取模块，用于根据张正友标定法以及光束平差法获得满足精度阈值的所述多相机阵列的相机参数。

在本发明实施例中，所述多相机立体匹配装置，还包括：校正模块，用于根据所述相机参数对所述多视点图像进行校正。

为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5任一所述的多相机立体匹配方法。

为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一所述的多相机立体匹配方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种多相机立体匹配方法的流程示意图；

图2为本发明实施例所提供的另一种多相机立体匹配方法的流程示意图；

图3为本发明实施例提供的一种多相机立体匹配装置的结构示意图；

图4为本发明实施例提供的另一种多相机立体匹配装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的多相机立体匹配方法和装置。

图1为本发明实施例所提供的一种多相机立体匹配方法的流程示意图。

针对上述实施例，本发明实施例提供了多相机立体匹配方法，如图1所示，该多相机立体匹配方法包括以下步骤：

步骤101，根据预设的阵列结构搭建多相机阵列。

具体的，设计均匀排布的多相机阵列，并引入红外结构光斑投射器，组成基于结构光的多相机阵列系统，设计并实验验证系统结构的合理性，其中，包括相机排布结构、散斑投射器的位置和红外散斑的投射功率。

步骤102，控制红外散斑发射器向训练场景投射结构光光斑，通过多相机阵列获取多视点图像。

具体的，控制红外散斑发射器向训练场景投射结构光光斑，根据张正友标定法以及光束平差法获得满足精度阈值的多相机阵列的相机参数，包括相机的内参和外参，利用标定好的相机阵列采集多视点图像，通过多相机阵列获取多视点图像之后，根据相机参数对多视点图像进行校正，最终得到水平、竖直基线对齐的多视点带有散斑的红外图像。

步骤103，提取多视点图像的图像特征，并根据图像特征训练特征提取器，以便于根据训练好的图像特征提取器进行场景深度信息的获取。

具体的，利用采集并校正的多视点带有散斑的红斑图像，来训练散斑结构对应的基于自编码器的特征提取器。该特征提取器由输入的图像x∈R^m×n,编码矩阵W∈R^n×k和解编码矩阵W∈R^k×n组成，其中，m,n,k分别为图像像素个数、以像素为中心的图像块的像素个数以及编码矩阵的特征通道数。获取校正后的多视点图像，将多视点图像输入特征提取器中的编码矩阵W∈R^n×k，获取多视点图像中每个像素点的压缩特征，将压缩特征输入特征提取器中的解码矩阵W∈R^k×n，获取解码多视点图像，计算解码多视点图像和多视点图像的图像差值，并监测差值是否大于预设阈值，若大于预设阈值则调整编码矩阵的矩阵参数，直至差值不大于预设阈值，则完成对特征提取器的训练，其中，预设阈值根据实验数据标定。作为一种可能实现的方式，为了保证编码过程尽量不损失有效信息，同时编码矩阵尽可能稀疏且解码矩阵尽可能稠密，训练特征提取器的过程需描述为如下公式(1)：

其中，输入的图像x∈R^m×n，编码矩阵W∈R^n×k和解编码矩阵W∈R^k×n，m,n,k分别为图像像素个数、以像素为中心的图像块的像素个数以及编码矩阵的特征通道数，sign(xW)为特征二值序列。

训练得到图像块的编码矩阵后，将利用每个像素点所在图像块的压缩后的特征二值序列sign(xW)作为当前像素点的压缩特征，用于后续的匹配过程。

获得待匹配图形的特征提取器后，根据该特征提取器获取场景深度信息，具体而言，本发明实施例提供一种多相机立体匹配方法，如图2所示，该方法包括以下步骤：

步骤201，控制红外散斑发射器向检测场景投射结构光光斑后，通过多相机阵列获取目标多视点图像。

具体的，在检测场景中，控制红外散斑发射器向检测场景投射结构光光斑后，通过上述标定好的、进行校正过的多相机阵列获取检测场景下的目标多视点图像，其中，目标多视点图像覆盖了检测场景多个角度的图像。

步骤202，将目标多视点图像输入训练好的特征提取器，以便于特征提取器中的编码矩阵提取目标多视点图像中每个像素点的压缩特征。

具体的，将获取到的目标多视点图像输入上述训练好的特征提取器，通过特征提取器中的编码矩阵，提取目标多视点图像中的每个像素点的压缩特征。

步骤203，根据压缩特征和预设条件随机场模型估算目标多视点图像中每个像素点的深度值最大后验概率。

具体的，根据上述实施例特征提取器中的编码矩阵提取目标多视点图像中每个像素点的压缩特征，将压缩特征输入随机场模型公式，获取最大后验概率，其中，随机场模型如下公式(2)所示：

其中，Y是深度图上可能的深度值的集合，D是目标多视点图像上的像素点的压缩特征集合，数据项ψ_u(l_i)代表着深度图上某一像素点对应的深度l_i的可能概率，ψ_p(l_i,l_j)为平滑自定义项，代表相邻像素点的接近程度，其中，ψ_u(l_i)＝|h(x_i)-h(x_i+li)|，意味着对应像素点对的特征二值序列越相近，则当前的l_i越有可能是深度图上该点的深度值，ψ_p(l_i,l_j)＝max(τ,|l_i-l_j|)，意味着深度图上相邻的像素点的深度很有可能在数值上很接近，故迭代过程鼓励相邻的像素点的深度值尽可能相似，以保证图像尽可能不出现数值变化很大的深度值噪声点和深度图的局部平滑。

步骤204，根据最大后验概率和变分法得到每个像素点的目标深度值。

具体的，获取最大后验概率后，利用变分法来实现条件随机场的基于最大后验概率的到每个像素点的目标深度值。用近似分布代替原后验概率分布P(Y|D)，并利用KL散度来衡量目标分布Q(Y)和原分布P(Y|D)的近似程度，最终求解得到近似分布的条件随机长并能够利用GPU并行特性进行深度值的推断。

步骤205，根据目标深度值构建检测场景的立体模型获取。

具体的，利用CUDA完成基于条件随机场的推断算法，获得融合了多视点信息的目标深度值的最大后验推断，从而根据目标深度值构建立体模型，实现多相机高速立体匹配，得到高质量、高速度的场景深度结果。

本实施例中多相机立体匹配方法，克服传统的RGB匹配特征稀疏以及特征提取和匹配的高计算复杂度，实现高速、准确的立体匹配并能够通过概率推断的方法进一步提高立体匹配结果。

为了实现上述实施例，本发明还提出一种多相机立体匹配装置。

图3为本发明实施例提供的一种多相机立体匹配装置的结构示意图。

如图3所示，该多相机立体匹配装置包括：搭建模块10、控制模块20、第一获取模块30、提取模块40、训练模块50，其中，搭建模块10，用于根据预设的阵列结构搭建多相机阵列，其次控制模块20，控制红外散斑发射器向训练场景投射结构光光斑，接着第一获取模块30，通过所述多相机阵列获取多视点图像，然后提取模块40，提取所述多视点图像的图像特征，最后训练模块50，根据所述图像特征训练特征提取器，以便于根据训练好的所述图像特征提取器进行场景深度信息的获取。

基于上述实施例，本发明实施例还提供了一种多相机立体匹配装置的可能的实现方式，如图4所示，在上一实施例的基础上，多相机立体匹配装置还包括：第二获取模块60，用于根据张正友标定法以及光束平差法获得满足精度阈值的所述多相机阵列的相机参数，校正模块70，用于根据所述相机参数对所述多视点图像进行校正。

需要说明的是，前述对多相机立体匹配方法实施例的解释说明也适用于该实施例的多相机立体匹配装置，此处不再赘述。

本发明实施例中的多相机立体匹配装置，通过搭建模块、第一获取模块、控制模块、第二获取模块、校正模块、提取模块和训练模块，克服传统的RGB匹配特征稀疏以及特征提取和匹配的高计算复杂度，实现高速、准确的立体匹配并能够通过概率推断的方法进一步提高立体匹配结果。

为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如上述实施例所描述的多相机立体匹配方法。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，计算机程序被处理器执行时实现如上述实施例所描述的多相机立体匹配方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种多相机立体匹配方法，其特征在于，包括以下步骤：

根据预设的阵列结构搭建多相机阵列；

控制红外散斑发射器向训练场景投射结构光光斑，通过所述多相机阵列获取多视点图像；

提取所述多视点图像的图像特征，并根据所述图像特征训练特征提取器，以便于根据训练好的所述图像特征提取器进行场景深度信息的获取。

2.如权利要求1所述的方法，其特征在于，在所述根据预设的阵列结构搭建多相机阵列之后，还包括：

根据张正友标定法以及光束平差法获得满足精度阈值的所述多相机阵列的相机参数；

所述通过所述多相机阵列获取多视点图像之后，还包括：

根据所述相机参数对所述多视点图像进行校正。

3.如权利要求2所述的方法，其特征在于，所述提取所述多视点图像的图像特征，并根据所述图像特征训练特征提取器，包括：

获取校正后的所述多视点图像；

将所述多视点图像输入所述特征提取器中的编码矩阵，获取所述多视点图像中每个像素点的压缩特征；

将所述压缩特征输入所述特征提取器中的解码矩阵，获取解码多视点图像；

计算所述解码多视点图像和所述多视点图像的图像差值，并监测所述差值是否大于预设阈值；

若大于所述预设阈值则调整所述编码矩阵的矩阵参数，直至所述差值不大于所述预设阈值，则完成对所述特征提取器的训练。

4.如权利要求1所述的方法，其特征在于，还包括：

控制所述红外散斑发射器向检测场景投射结构光光斑后，通过所述多相机阵列获取目标多视点图像；将所述目标多视点图像输入训练好的所述特征提取器，以便于所述特征提取器中的编码矩阵提取所述目标多视点图像中每个像素点的压缩特征；

根据所述压缩特征和预设条件随机场模型估算所述目标多视点图像中每个像素点的深度值最大后验概率；

根据所述最大后验概率和变分法得到所述每个像素点的目标深度值；

根据所述目标深度值构建所述检测场景的立体模型获取。

5.如权利要求4所述的方法，其特征在于，所述根据所述压缩特征和预设条件随机场模型估算所述目标多视点图像中每个像素点的深度值最大后验概率，包括：

将所述压缩特征输入随机场模型公式，获取所述最大后验概率，其中，所述随机场模型公式为：

其中，Y是深度图上可能的深度值的集合，D是所述目标多视点图像上的像素点的压缩特征集合，数据项ψ_u(l_i)代表着深度图上某一像素点对应的深度l_i的可能概率，ψ_p(l_i,l_j)为平滑自定义项，代表相邻像素点的接近程度。

6.一种多相机立体匹配装置，其特征在于，所述装置包括：

搭建模块，用于根据预设的阵列结构搭建多相机阵列；

控制模块，用于控制红外散斑发射器向训练场景投射结构光光斑；

第一获取模块，用于通过所述多相机阵列获取多视点图像；

提取模块，用于提取所述多视点图像的图像特征；

训练模块，用于根据所述图像特征训练特征提取器，以便于根据训练好的所述图像特征提取器进行场景深度信息的获取。

7.如权利要求6所述的装置，其特征在于，还包括：

第二获取模块，用于根据张正友标定法以及光束平差法获得满足精度阈值的所述多相机阵列的相机参数。

8.如权利要求6所述的装置，其特征在于，还包括：

校正模块，用于根据所述相机参数对所述多视点图像进行校正。

9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5任一所述的多相机立体匹配方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一所述的多相机立体匹配方法。