CN103279973A - 基于混合并行的立体图像匹配系统 - Google Patents

Abstract

本发明提出一种基于混合并行的立体图像匹配系统。包括：接收模块，用于接收立体图像，并存入缓存中，其中，立体图像包括左视图和右视图；分析模块用于对立体图像进行分析以提取立体图像的左视图像素集合和右视图像素集合；计算模块用于根据左视图像素集合与右视图像素集合中多对像素点分别计算左视图和右视图的预定数量像素和多个视差的匹配代价；比较模块用于对多个视差的匹配代价进行比较，选择最小的匹配代价对应的视差作为立体图像的视差。根据本发明的系统，避免了大容量的资源存储，并且通过多个方向的复用降低了资源消耗，使逻辑资源和存储资源的需求较为均衡，解决了高分辨率图像处理受资源限制的问题。

Description

基于混合并行的立体图像匹配系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于混合并行的立体图像匹配系统。

背景技术

立体视觉是图像处理的重要内容之一，双目匹配则是立体视觉中较为传统的方法。块匹配的主要过程是计算图像块的差异，也就是匹配代价。块匹配算法的基本计算公式为：

$C(x,y,d)=\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=-n}{\overset{n}{\mathrm{\Σ}}}|L(x+i,y+j)-R(x-d+i,y+j)|,$

$d(x,y)=\underset{0{\≤d\≤d}_{\max }}{\arg \min }C(x,y,d),$

其中，L(x,y)为参考图像在(x,y)坐标的值，R(x,y)为候选图像在(x,y)坐标的值，2n+1为匹配块的尺寸，C(x,y,d)为参考图像(x,y)对应视差d的匹配代价，d(x,y)为参考图像(x,y)点的视差结果。对图像中每个点，计算视差取不同值时对应的匹配代价，最小匹配代价对应的值为该点的视差。

定义初始代价Δ(x,y,d)=|L(x,y)-R(x-d,y)|，对每个视差每个点来说，计算匹配代价的可以看成统计初始代价在以该点为中心的一个矩形匹配窗内的和。

匹配代价的计算是整个算法中运算量最高的部分。对于单个视差，计算匹配代价时可以利用复用方式减少运算量。现有技术在立体图像的匹配中使用行方向复用方式和二维复用方式。其中，行方向复用方式是考虑左右相邻的两个匹配窗有重叠部分，其公式如下：

$C(x,y,d)=C(x-1,y,d)+\underset{j=-n}{\overset{n}{\mathrm{\Σ}}}\mathrm{\Δ}(x+n,y+j,d)-\underset{j=-n}{\overset{n}{\mathrm{\Σ}}}\mathrm{\Δ}(x-n-1,y+j,d)$

计算(x,y)点的匹配代价时，通过寄存器存储上一个点的计算结果C(x-1,y,d),则只需要对匹配窗不重叠的部分进行初始代价的求和，在硬件上时可以用加法树实现。

定义即U(x,y,d)为点(x,y)对应视差d的初始代价纵向累加之和，则公式可简化为：C(x,y,d)=C(x-1,y,d)+U(x+n,y,d)-U(x-n-1,y,d)。

二维复用方式进一步考虑了列方向的数据复用，简化对初始代价纵向累加之和，公式如下：U(x,y+1,d)=U(x,y,d)+Δ(x,y+n+1,d)-Δ(x,y-n,d)。

该方法进一步考虑了在进行纵向累加时，上下相邻点的求和区域具有重叠部分，不重叠的部分仅为两个点，因此可以采用复用的方式简化运算。该方法每次只计算一行的匹配代价，计算时不需要复杂的加法树结构，但是需要存储上一行的计算结果以实现列方向的复用。

现有技术存在如下缺点如下：

（1）只考虑行方向复用的方式需要利用加法树实现纵向累加的计算，因此需要消耗较多的逻辑资源。以生成128个处理单元，匹配窗尺寸25*25为例，此时整体需要3072个加法器，加法器输入位宽为8～12，加法器所占的逻辑单元数目在30K以上。

（2）引入列方向复用后，二维复用的方式减少了逻辑资源的应用，但是需要利用大量的片上存储资源来存储上一行的匹配代价结果。以图像尺寸1280*1024，匹配块尺寸25*25，视差范围0～255为例，此时U的位宽为13，若处理速度达到30fps，则带宽需求为30*1024*1280*256*13=130Gb/s，这么高的带宽难以利用片外存储资源实现，只能采用片上存储，整体需要的片上存储资源大小为1280*256*13=4.26Mb，占用了大部分的存储资源，这给实现完整的片上图像处理系统带来了困难。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为此，本发明的目的在于提出一种基于混合并行的立体图像匹配系统。

为达到上述目的，本发明的实施例提出一种基于混合并行的立体图像匹配系统，包括：接收模块，用于接收立体图像，并存入缓存中，其中，所述立体图像包括左视图和右视图；分析模块，用于对立体图像进行分析以提取所述立体图像的左视图像素集合和右视图像素集合；计算模块，用于根据所述左视图像素集合与所述右视图像素集合中多对像素点分别计算所述左视图和右视图的预定数量像素和多个视差的匹配代价；以及比较模块，用于对所述多个视差的匹配代价进行比较，以选择最小的匹配代价对应的视差作为所述立体图像的视差。

在本发明的一个实施例中，所述计算模块同时计算预定数量相邻多行中同一横坐标对应的多个像素的匹配代价，其中，所述横坐标按行扫描的顺序递增。

在本发明的一个实施例中，所述计算模块具体包括：求差单元，用于对所述立体图像的左视图像素集合和右视图像素集合中每对像素点进行做差，并根据差值的绝对值得到多个视差的初始代价；相加单元，用于对所述多个视差的第一行当前计算像素的匹配窗口内与中心点横坐标相同的像素点的初始代价进行求和以得到所述多个视差中第一行的初始代价纵向累加之和；第一复用单元，用于对所述第一行当前计算像素的初始代价纵向累加之和进行列方向复用得到剩余行当前计算像素的初始代价纵向累加之和；以及第二复用单元，用于根据所述每一行当前计算像素的初始代价纵向累加之和对所述多个视差中每个视差进行行方向复用得到对应行当前计算像素的匹配代价。

在本发明的一个实施例中，所述第二复用单元依次对并行处理的多行中最顶行的像素采用行方向复用进行处理。

在本发明的一个实施例中，所述计算模块对所述并行处理的多行中最顶行以下的像素以预定数量为单位采用所述行方向复用和列方向复用进行处理。

在本发明的一个实施例中，通过所述列方向复用进行处理的预定数量的像素在列方向相邻。

在本发明的一个实施例中，所述列方向复用通过如下公式进行，所述公式为，

$U(x,y,d)=\underset{j=-n}{\overset{n}{\mathrm{\Σ}}}\mathrm{\Δ}(x,y+j,d),$

U(x,y+k,d)=U(x,y+k-1,d)+Δ(x,y+n+k,d)-Δ(x,y+k-n,d)，其中，x为第一行处理点的横坐标，y为第一行处理点的纵坐标，d为对应的视差，n为中心点到匹配窗边界的距离,k代表行的编号，若同时计算P_R行，则k的取值范围为1,2,3,…,P_F-1，Δ(x,y,d)为点(x,y)对应视差d的初始代价，U(x,y,d)为点(x,y)对应视差d的初始代价纵向累加之和。

在本发明的一个实施例中，所述行方向复用通过如下公式进行，所述公式为，C(x,y,d)=C(x-1,y,d)+U(x+n,y,d)-U(x-n-1,y,d)，其中，x为处理点的横坐标，y为处理点的纵坐标，d为对应的视差，n为中心点到匹配窗边界的距离，C(x,y,d)为点(x,y)对应视差d的匹配代价，C(x-1,y,d)为点(x-1,y)对应视差d的匹配代价,U(x,y,d)为点(x,y)对应视差d的初始代价纵向累加之和。

根据本发明的系统，通过引入新的像素级别的并行度，同时计算多行中同一个横坐标的像素对应的匹配代价，使得可以在不存储之前匹配代价结果的条件下引入列方向的数据复用，既避免了大容量的资源存储，又通过多个方向的复用降低了资源消耗，使逻辑资源和存储资源的需求较为均衡，解决了高分辨率图像处理受资源限制的问题。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于混合并行的立体图像匹配系统的框架图；

图2为根据本发明一个实施例的立体图像匹配的结构示意图；

图3为根据本发明一个实施例的计算模块的计算示意图

图4为根据本发明一个实施例的混合复用的结构原理示意图；

图5为根据本发明一个实施例的现有技术中一维复用的结构原理图；以及

图6为根据本发明一个实施例的现有技术中二维复用的结构原理图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1为根据本发明一个实施例的基于混合并行的立体图像匹配系统的框架图。图2为本发明实施例的立体图像匹配的结构示意图。如图1所示，根据本发明实施例的基于混合并行的立体图像匹配系统包括接收模块100、分析模块200、计算模块300和比较模块400。

接收模块100用于接收立体图像，其中，立体图像包括左视图和右视图。

分析模块200用于对立体图像进行分析以提取立体图像的左视图像素集合和右视图像素集合。

具体地，窗口内横坐标相同的像素组成一个竖条，每个匹配代价计算模块同时计算上下相邻的P_R个竖条内初始代价之和U(x,y,d)～U(x,y+P_R-1,d)，从而实现同时计算P_R行的匹配代价。该P_R个竖条存在重叠的部分，需要的数据为多个点的初始代价Δ(x,y-n,d)～Δ(x,y+n+P_R-1,d)。

对获取的立体图像进行分析，以提取立体图像的左视图像素集合和右视图像素集合分别表示为,L_S(x,y)={L(x,y-n),L(x,y-n+1)…L(x,y+n+P_R-1)}，R_S(x,y)={R(x,y-n),R(x,y-n+1)…R(x,y+n+P_R-1)},多个点的像素为一个集合，记集合

L_S(x,y)={L(x,y-n),L(x,y-n+1)…L(x,y+n+P_R-1)},R_S(x,y)={R(x,y-n),R(x,y-n+1)…R(x,y+n+P_R-1)}，对于视差d而言，其左视图集合为L_S(x,y)，右视图集合为R_S(x-d,y)。

对于同时生成P_D个计算单元，每个计算单元同时计算P_R行的情况，需要得到d=0,1,2,…,P_D-1对应的图像像素集合。

在本发明的一个实施例中，图像数据按行依次输入到缓存中，因此数据缓存模块内部利用2n+P_R行的缓存得到集合L_S(x,y)和R_S(x,y)，进而对像素集合R_S(x,y)中的所有元素进行依次延时。本发明中系统的一个特点为同时计算的视差数目P_D不必等于视差级别的数目d_max。对于P_D<d_max的情况，分析模块将整个视差范围0<d_max分成多个小的视差范围0～P_D-1,P_D～2*P_D-1,…每次只输出一个小范围内视差对应的图像像素集合。具体地，分析模块的输出以行为单位进行扫描，对于左右图像的一行数据，将进行多次循环扫描,并在第k次扫描时输出时对候选图像的数据附加延时kP_D,即第一次扫描时输出像素集合L_S(x,y)和R_S(x,y)，得到d=0,1,2,…,P_D-1对应的数据；第二次扫描时输出像素集合L_S(x,y)和R_S(x-P_D,y)…依此类推，直到遍历整个视差范围。通过这种特殊的缓存策略，可以将整个视差范围分成多个部分计算，视差级别的并行数目可以灵活地调整。

计算模块300用于根据左视图像素集合与右视图像素集合中多对像素点同时计算左视图和右视图的预定数量和多个视差的匹配代价。计算模块对并行处理的多行中最顶行以下的像素以预定数量为单位采用行方向复用和列方向复用进行处理。计算模块300同时计算预定数量相邻多行中同一横坐标对应的多个像素的匹配代价，其中，横坐标按行扫描的顺序递增。图3为根据本发明一个实施例的计算模块的计算示意图。计算过程的大体如图3所示。

在本发明的一个实施例中，计算模块30具体包括求差单元310、相加单元320、第一复用单元330和第二复用单元340。

求差单元310用于对立体图像的左视图像素集合和右视图像素集合中每对像素点进行做差，并根据差值的绝对值得到多个视差的初始代价。

首先用多个减法器和绝对值逻辑，对左视图和右视图像素集合L_S(x,y)和R_S(x-d,y)的每个像素点进行做差，并根据差值的绝对值得到集合内所有像素对应视差d的初始代价Δ(x,y-n,d),Δ(x,y-n+1,d)…Δ(x,y+n+P_R-1,d)，其中，y为处理点的纵坐标，d为对应的视差，n为中心点到匹配窗边界的距离，P_R为并行计算的行数，Δ(x,y-n,d)为(x,y-n)点对应视差d时的初始代价。

相加单元320用于对多个视差的第一行中每个点计算初始代价纵向累加之和，初始代价纵向累加之和为该点匹配窗内与该点横坐标相同的点的初始代价之和。图4为根据本发明一个实施例的混合复用的结构原理示意图。如图4的步骤2所示，利用多输入加法树，将初始代价Δ(x,y-n,d),Δ(x,y-n+1,d)…Δ(x,y+n,d)相加，得到第一列的初始代价之和U(x,y,d)，

其中，x为第一行处理点的横坐标，y为第一行处理点的纵坐标，d为对应的视差，Δ(x,y,d)为点(x,y)对应视差d的初始代价，U(x,y,d)为点(x,y)对应视差d的初始代价纵向累加之和。

第一复用单元330用于对第一行当前计算像素的初始代价纵向累加之和进行列方向复用得到剩余多行当前计算像素的初始代价纵向累加之和。通过列方向复用进行处理的预定数量的像素在列方向相邻。

在本发明的一个实施例中，第一复用单元330以预定数量为单位依次对立体图像最顶行采用列方向复用进行处理。如图4的步骤3所示，利用第一行当前计算像素的初始代价之和U(x,y,d)和首尾两点的初始代价Δ(x,y-n,d)、Δ(x,y+n+1,d)计算相邻列的初始代价之和U(x,y+1,d)，公式为：U(x,y+1,d)=U(x,y,d)+Δ(x,y+n+1,d)-Δ(x,y-n,d)，其中，x为第一行处理点的横坐标，y为处理点的纵坐标，d为对应的视差，n为中心点到匹配窗边界的距离。

进一步通过级联的方式计算出剩余多行当前计算像素的初始代价之和U(x,y+2,d),U(x,y+3,d)…U(x,y+P_R-1,d),，此时计算每个初始代价之和只需要进行一个加法器和一个减法器。

第二复用单元340用于根据每一行当前计算像素的初始代价纵向累加之和对多个视差中每个视差进行行方向复用得到对应行当前计算像素的匹配代价。第二复用单元340依次对并行处理的多行中最顶行的像素采用行方向复用进行处理。

如图4的步骤4所示，利用U(x,y,d),U(x,y+1,d)…U(x,y+P_R-1,d),计算C(x,y,d),C(x,y+1,d)…C(x,y+P_R-1,d),。以C(x,y,d)为例，首先将U(x,y,d)延时得到U(x-n-1,y,d)，进一步对上个周期的结果用寄存器进行存储得到C(x-1,y,d)，此时可以利用横向的数据复用公式进行计算：

C(x,y,d)=C(x-1,y,d)+U(x,y,d)-U(x-n-1,y,d)，其中，x为处理点的横坐标，y为处理点的纵坐标，d为对应的视差，n为中心点到匹配窗边界的距离，C(x,y,d)为点(x,y)对应视差d的匹配代价，C(x-1,y,d)为点(x-1,y)对应视差d的匹配代价,U(x,y,d)为点(x,y)对应视差d的初始代价纵向累加之和。

比较模块400用于对多个视差的匹配代价进行比较，以选择最小的匹配代价对应的视差作为立体图像的视差。

具体地，比较不同视差对应的匹配代价，取最小匹配代价对应的视差作为视差结果进行输出。在并行计算的视差数目p_D<d_max的情况，一个周期无法得到d=0,1,2,…,d_max-1对应的匹配代价，因此只能得到局部视差范围内的匹配代价的极小值。由于分析模块中以行为单位进行多次扫描，因此同一个个点不同视差范围内的匹配代价将相隔一行的处理时间得到。此时比较模块将得到的局部极小值和对应的视差进行缓存；通过分析模块和计算模块得到新视差范围的匹配代价后，比较得到新的视差范围内的匹配代价的局部极小值与对应视差；进一步将新得到的极小值与之前缓存的极小值进行比较，较小值对应了已经计算过的视差范围内的匹配代价最小值。将较小值和对应视差重新缓存，经过上述多次比较后最终得到整个视差范围内的匹配代价最小值和视差结果。

在本发明的一个实施例中，通过图像分析模块和视差比较模块的设计，可以实现同时计算任意数目视差的匹配代价。通过灵活的调整视差级别的并行度和像素级别的并行度，可以实现对处理速度、逻辑资源和片上存储资源的折中，使系统消耗的片上存储资源和逻辑资源较为均衡。

根据本发明的系统，通过引入新的像素级别的并行度，同时计算多行中同一个横坐标的像素对应的匹配代价，使得可以在不存储之前匹配代价结果的条件下引入列方向的数据复用，既避免了大容量的资源存储，又通过多个方向的复用降低了资源消耗，使逻辑资源和存储资源的需求较为均衡，解决了高分辨率图像处理受资源限制的问题。

为了验证本发明的有益效果对不同尺寸的图像采用本发明和软件结果方式的处理进行了对比，结果如表1所示。

表1

从表1可以看出，本发明与软件结果相比能够有效地加速。对于高分辨率图像，在处理图像尺寸为1280*1024，视差取值范围为0～255的情况下，本发明的逻辑单元为24.79K，消耗片上存储资源为0.95Mb，处理速度可以达到46.3帧/秒；在一片FPGA上还有充裕的资源实现其他图像处理逻辑，形成完整的图像处理系统。图5为根据本发明一个实施例的现有技术中一维复用的结构原理图。图6为根据本发明一个实施例的现有技术中二维复用的结构原理图。如图5和图6所示，对于相同的处理，若采用传统的一维复用结构，则加法器部分占用的逻辑资源即在30K以上，若采用传统的二维复用结构，则片上存储资源需要4Mb以上。而采用本文提出的混合并行结构，在保证处理速度的情况下，逻辑资源和存储资源的占用都较为有限。

应当理解，本发明的系统实施例中的各个模块和单元的具体操作过程可与方法实施例中的描述相同，此处不再详细描述。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于混合并行的立体图像匹配系统，其特征在于，包括：

接收模块，用于接收立体图像，并存入缓存中，其中，所述立体图像包括左视图和右视图；

分析模块，用于对立体图像进行分析以提取所述立体图像的左视图像素集合和右视图像素集合；

计算模块，用于根据所述左视图像素集合与所述右视图像素集合中多对像素点分别计算所述左视图和右视图的预定数量像素和多个视差的匹配代价；以及

比较模块，用于对所述多个视差的匹配代价进行比较，以选择最小的匹配代价对应的视差作为所述立体图像的视差。

2.如权利要求1所述的基于混合并行的立体图像匹配系统，其特征在于，所述计算模块同时计算预定数量相邻多行中同一横坐标对应的多个像素的匹配代价，其中，所述横坐标按行扫描的顺序递增。

3.如权利要求1所述的基于混合并行的立体图像匹配系统，其特征在于，所述计算模块具体包括：

求差单元，用于对所述立体图像的左视图像素集合和右视图像素集合中每对像素点进行做差，并根据差值的绝对值得到多个视差的初始代价；

相加单元，用于对所述多个视差的第一行当前计算像素的匹配窗口内与中心点横坐标相同的像素点的初始代价进行求和以得到所述多个视差中第一行的初始代价纵向累加之和；

第一复用单元，用于对所述第一行当前计算像素的初始代价纵向累加之和进行列方向复用得到剩余行当前计算像素的初始代价纵向累加之和；以及

第二复用单元，用于根据所述每一行当前计算像素的初始代价纵向累加之和对所述多个视差中每个视差进行行方向复用得到对应行当前计算像素的匹配代价。

4.如权利要求3所述的基于混合并行的立体图像匹配系统，其特征在于，所述第二复用单元依次对并行处理的多行中最顶行的像素采用行方向复用进行处理。

5.如权利要求1所述的基于混合并行的立体图像匹配系统，其特征在于，所述计算模块对所述并行处理的多行中最顶行以下的像素以预定数量为单位采用所述行方向复用和列方向复用进行处理。

6.如权利要求4所述的基于混合并行的立体图像匹配系统，其特征在于，通过所述列方向复用进行处理的预定数量的像素在列方向相邻。

7.如权利要求3所述的基于混合并行的立体图像匹配系统，其特征在于，所述列方向复用通过如下公式进行，所述公式为，

$U(x,y,d)=\underset{j=-n}{\overset{n}{\mathrm{\&Sigma;}}}\mathrm{\&Delta;}(x,y+j,d),$

U(x,y+k,d)=U(x,y+k-1,d)+Δ(x,y+n+k,d)-Δ(x,y+k-n,d)，

其中，x为第一行处理点的横坐标，y为第一行处理点的纵坐标，d为对应的视差，n为中心点到匹配窗边界的距离,k代表行的编号，若同时计算P_R行，则k的取值范围为1,2,3,…,P_F-1，Δ(x,y,d)为点(x,y)对应视差d的初始代价，U(x,y,d)为点(x,y)对应视差d的初始代价纵向累加之和。

8.如权利要求3所述的基于混合并行的立体图像匹配系统，其特征在于，所述行方向复用通过如下公式进行，所述公式为，

C(x,y,d)=C(x-1,y,d)+U(x+n,y,d)-U(x-n-1,y,d)

其中，x为处理点的横坐标，y为处理点的纵坐标，d为对应的视差，n为中心点到匹配窗边界的距离，C(x,y,d)为点(x,y)对应视差d的匹配代价，C(x-1,y,d)为点(x-1,y)对应视差d的匹配代价,U(x,y,d)为点(x,y)对应视差d的初始代价纵向累加之和。

Images