CN103544696B - 一种用于fpga实现的缝合线实时查找方法 - Google Patents

Abstract

本发明属于图像信息处理领域，提供了一种用于FPGA实现的缝合线实时查找方法，包括获取经过标定的当前时刻各路摄像机采集的图像帧；计算重叠区域在Lab颜色空间下的图像差异；利用前后帧之间该重叠区域的相关信息重新计算差异矩阵；采用动态规划算法计算缝合线。整个方法计算消耗小，可以达到实时处理的要求。

Description

一种用于FPGA实现的缝合线实时查找方法

技术领域

本发明属于图像信息处理领域，涉及视频拼接中的缝合线实时查找方法，尤其涉及一种用于FPGA实现的缝合线实时查找方法。

背景技术

近年来，随着视频监控技术的发展，利用鱼眼镜头获取180度全景图像的技术越来越成熟。所谓180度全景图像，指的是在水平方向对180度视角范围内的场景拍摄所成的图像，由于是采用鱼眼镜头成像，图像会发生畸变。虽然180度全景图像满足了大视角范围内成像的需求，能够得到180度视角范围内的所有景物，但由于受图像分辨率的限制，对图像中某些景物的细节方面表现不足，无法达到实际监控的需要。180度鱼眼镜头成像镜头虽然具有大视野、宽视角场景的优势，但是其分辨率不高成为其发展应用的瓶颈。

高速球是现今安防市场中的高端一体化摄像设备。这种摄像机能够快速精准的聚焦定位、缩小放大和快速平稳的环视浏览，使得用户可以快速监控目标的细节如可疑人物的面部特征、肇事车辆的车牌号等。但高速球的观察范围有限，不能同时兼顾多个不同的场景。

因此，具有大视野、宽视角场景，同时拥有高分辨率的视频监控成为安防邻域新的突破方向。由于单个CMOS采集图像像素基本达到极限，现阶段提高图像分辨率的技术主要是将多个CMOS获取的图像进行拼接。图像拼接技术已经比较成熟，效果也比较好，然而视频拼接在实时性上的要求，成为视频拼接技术的瓶颈。

视频拼接技术与图像拼接技术基本一样，主要包括三个步骤：配准、缝合线查找以及融合。配准过程是确定有关联的多个图像在同一个坐标系下的位置，这里采用查找表映射的方法进行变换；配准过程完毕之后，对图像重叠部分缝合线的计算；计算得到缝合线之后，采用金字塔融合技术进行融合，消除拼缝的视觉影响。这三个过程中，缝合线的查找算法的优劣直接决定着视频拼接实时性的好坏，缝合线的查找算法是视频拼接中的关键环节。

FPGA即现场可编程门阵列，较于PC在实时性上具有很大的优势。FPGA采用硬件并行处理，打破了顺序执行的模式，在每个时钟周期内可以完成更多的处理任务。另外成本较低，稳定性优良是FPGA的另一优势。因此使用FPGA来处理视频拼接，从硬件本身来说，就极大提高了处理速度，为视频拼接的实时处理创造了硬件基础。

本发明提出一种用于FPGA实现的缝合线实时查找方法，可以实现缝合线的实时查找，而且其算法充分利用FPGA的并行特性，非常适合在FPGA上实现，对于实现高分辨率并且同时具有大视野、宽视角场景的视频实时监控具有非常重要的意义。

发明内容

本发明针对图像拼接中缝合线查找算法不能满足视频拼接实时性要求的问题，提出一种用于FPGA实现的、基于前后帧约束的改进动态规划方法，实现视频拼接的缝合线实时查找。该方法首先计算对齐帧的重叠区域的差异，然后利用前后帧之间的相关信息重新计算差异矩阵，最后利用改进的动态规划算法计算查找缝合线。整个方法计算消耗小，可以达到实时处理的要求。

本发明采用的技术方案是：

一种用于FPGA实现的缝合线实时查找方法，包括以下步骤：

S1.获取经过标定的当前时刻各路摄像机采集的图像帧，得到各图像帧的相对位置关系，确定各相邻图像帧之间的重叠区域；

S2.计算每个相邻图像帧之间的重叠区域在Lab颜色空间下的图像差异，得到该重叠区域的差异矩阵；

S3.利用前后帧之间该重叠区域的相关信息重新计算差异矩阵：以前一时刻该图像帧重叠区域中所计算的缝合线位置为基准，以水平方向向两边扩展，根据重叠区域内每个像素点与该缝合线的水平直线距离计算一个权值矩阵，将这个权值矩阵与步骤S2得到的差异矩阵求和，结果作为该重叠区域最终的差异矩阵；

S4.根据步骤S3得到的最终的差异矩阵，采用动态规划算法计算缝合线。

进一步地，所述步骤S4中采用动态规划算法计算缝合线的方法为：从当前时刻该图像帧重叠区域的上端到下端，搜索一条最优路径，使该最优路径经过的像素点位置的图像差异值之和最小，所述图像差异值是指最终的差异矩阵中该像素点位置对应的值，该最优路径即为该重叠区域的缝合线；在搜索最优路径时，对于当前位置像素点，不仅搜索下一行中与当前位置相邻的三个像素点，同时还搜索同一行中与当前位置像素点相邻的两个像素点。

进一步地，所述步骤S3中根据每个像素点距离该缝合线的直线距离计算一个权值矩阵的方法为：首先计算每个像素点位置距离该缝合线的水平距离d；然后计算该像素点的权值c₂＝Ae^bd，其中A与b为预设的参数；则得到了由每个像素点的权值组成的权值矩阵。

进一步地，所述步骤S3中缝合线的初值，即初始时刻各图像帧重叠区域的缝合线为该重叠区域的中线。

进一步地，所述各步骤均在FPGA中实现。

本发明实现了缝合线的快速实时计算查找，为视频实时拼接的实现奠定了基础。取得的有益效果：在保证最优缝合线查找效果的前提下，降低了缝合线查找的计算代价，使之达到实时查找计算的要求。其中，在Lab颜色空间下，可以更准确的描述图像之间的差异；引入前后帧相关信息差异矩阵，保证了视频图像前后帧之间的相关性，提高了拼接后视频图像的连贯性；采用改进的动态规划算法，扩展了动态规划算法的搜索方向，可以有效提升缝合线查找算法的效果。

附图说明

图1是本发明所述方法流程图；

图2是一种三路视频实时拼接装置的实物示意图。

图3是配准后图像的相对位置关系以及重叠区域。其中I₁与I₂表示对齐的两帧图像，Ω表示两帧图像的重叠区域。

图4是基于前一帧缝合线的当前帧差异矩阵更新示意图。L表示前一帧视频图像所计算出的缝合线，图中虚线表示水平方向上，每个像素点位置距离缝合线的远近。

图5是图像缝合线示意图。其中，S表示缝合线的起点，T表示缝合线的终点，粗线表示缝合线。粗线经过的位置的差异值之和是所有路线中差异最小的。

图6是最优缝合线查找的数学模型。

图7是传统动态规划算法搜索方向。只能搜索下一行与当前位置相邻的三个点。

图8是改进的动态规划算法搜索方向。可以搜索下一行与当前相邻的三个点以及同一行与当前位置相邻的两个点。

具体实施方式

本发明提出一种用于FPGA实现的缝合线实时查找方法。该方法能够对经过配准的每一帧视频图像进行实时的缝合线计算，从而实现多路视频的实时拼接。

如图1所示，本发明提供的缝合线查找方法通过以下步骤实现：

步骤S1，获取经过标定的当前时刻各路摄像机采集的图像帧，得到各图像帧的相对位置关系，确定各相邻图像帧之间的重叠区域。

步骤S2，计算每个相邻图像帧之间的重叠区域在Lab颜色空间下的图像差异，得到该重叠区域的差异矩阵。

步骤S3，利用前后帧之间该重叠区域的相关信息重新计算差异矩阵：以前一时刻该图像帧重叠区域中所计算的缝合线位置为基准，以水平方向向两边扩展，根据重叠区域内每个像素点与该缝合线的水平直线距离计算一个权值矩阵，将这个权值矩阵与步骤第二步得到的差异矩阵求和，结果作为该重叠区域最终的差异矩阵。

步骤S4，根据步骤第三步得到的最终的差异矩阵，采用动态规划算法计算缝合线。

图2示出了一种三路视频实时拼接装置。本发明所述方法可以用于该装置中，并且从实际应用情况看，本发明所述方法能够实现缝合线的实时查找，视频拼接效果较好。

下面对本发明各步骤作进一步说明。

步骤S1：获取经过标定的当前时刻各路摄像机采集的图像帧，得到各图像帧的相对位置关系，确定各相邻图像帧之间的重叠区域。

各路摄像机的标定可以采用本领域技术人员熟知的标定方法。一般来说，包括配准与对齐两个步骤。其中配准过程是确定相邻图像帧之间相对位置关系的过程，如图3所示，其中I₁与I₂表示配准后的两帧图像，Ω表示两帧图像的重叠区域。确定了图像帧之间的相对关系之后，就可以计算得到重叠区域，缝合线的查找就是在重叠区域中计算得到的。对齐的过程是确定不同摄像机在同一时刻所采集到的图像帧，然后对这些同一时刻采集到的图像帧进行拼接。对齐过程是视频拼接中的重要一环，通常直接通过硬件控制摄像机CMOS的采集端，可以实现精度非常高的视频帧之间的对齐。

步骤S2：计算每个相邻图像帧之间的重叠区域在Lab颜色空间下的图像差异，得到该重叠区域的差异矩阵。

在确定了如图3所示拼接的图像的重叠区域之后，接下来计算重叠区域的差异，这也是进行缝合线查找数据基础。

图像的存储一般都是以RGB三个颜色通道来存储，为了更好地描述图像之间的差异，本发明采用在Lab颜色空间下计算重叠区域的图像差异。颜色模型Lab是基于人对颜色的感觉的一种颜色模型，这种颜色模型有两大优势。第一，Lab颜色空间描述的是颜色的显示方式，而不是生成颜色所需的特定色料的数量，所以Lab颜色模型被视为与设备无关的颜色模型，消除了颜色空间对设备的依赖性。第二，色域宽阔。它不仅包含了RGB，CMYK的所有色域，还能表现它们不能表现的色彩，另外人的肉眼能感知的色彩，都能通过Lab模型表现出来。因此在Lab颜色空间下可以更加准确地描述重叠区域的差异。

Lab颜色模型是由亮度L和有关色彩的a，b三个要素组成。L表示亮度（Luminosity），a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围。

RGB颜色模型与Lab颜色模型之间有着相应的转换关系：

L＝F(R，G，B)

a＝G(R，G，B)

b＝H(R，G，B)

其中，R，G，B分别表示RGB颜色空间下三个颜色通道的值；F(·)、G(·)、H(·)分别表示对应的转换函数。

经过颜色空间的转换后，计算在Lab颜色空间下重叠区域的差异。对重叠区域进行逐行扫描，计算每个像素点位置对应的源图像之间的差异，本发明采用欧氏距离来定量描述重叠区域相应像素点位置的差异，对于图像I₁与I₂，其重叠区域的差异计算的具体公式如下：

c₁＝(w_l×(L(I₁)-L(I₂))²+w_c×(a(I₁)-a(I₂))²+w_c×(b(I₁)-b(I₂))²)^1/2

经过计算，得到差异矩阵。其中w_l、w_c分别表示对应的权重，可以根据情况预先设定，本实施例中均设置为1/3；L(·)、a(·)、b(·)分别表示对应图像的Lab颜色模型中三个分量的值。c₁表示计算得到的重叠区域每个像素点的图像差异值。将每个图像差异值组成的重叠区域的差异矩阵记为C₁。

步骤S3：利用前后帧之间该重叠区域的相关信息重新计算差异矩阵。

以前一时刻该图像帧重叠区域中所计算的缝合线位置为基准，以水平方向向两边扩展，根据重叠区域内每个像素点与该缝合线的水平直线距离计算一个权值矩阵。如图4，L表示前一帧视频图像所计算出的缝合线，图中虚线表示水平方向上，每个像素点位置距离该缝合线的远近。具体实施方法是对重叠区域进行逐行扫描，计算每个像素点位置距离该缝合线的水平距离d，以(p₀，q)表示前一帧视频图像所计算出的缝合线在第q行所经过的像素点，(p，q)表示当前像素点的位置，则水平距离d的计算方法为：

d＝||(p-p₀)||₁

本发明中根据重叠区域内每个像素点与该缝合线的水平直线距离计算一个权值矩阵的方法可以根据实际情况采用不同的模型，本实施例中采用指数函数的方法，计算当前像素点位置的相关性权值c₂：

c₂＝f(d)＝Ae^bd

其中A与b为参数，根据实际情况设定，本实施例中分别设置为1和5。d为计算的对应像素点位置距离缝合线的水平距离。

这样就计算得到了由重叠区域内每个像素点的权值组成的权值矩阵C₂，将这个权值矩阵与步骤S2得到的差异矩阵求和，结果作为该重叠区域最终的差异矩阵C，且C＝C₁+C₂。

本发明中对于缝合线的初值，即初始时刻（第一帧）各图像帧重叠区域的缝合线可以根据实际情况具体设定，本实施例中初始时刻各图像帧重叠区域的缝合线为该重叠区域的中线。

步骤S4：采用动态规划算法计算查找缝合线。

缝合线的计算，本质上就是要在步骤S3中计算的差异矩阵C中，找一条分界线，这条分界线所经过的位置的差异值之和最小。如图5所示，图中颜色较粗的分界线所经过的位置的差异值之和最小，也就是需要计算的缝合线。因此可以将缝合线的计算抽象成在带权值的无向图中寻找最优路径的问题。

建立如图6所示的图模型，重叠区域中每个点的位置代表图中的节点，每个点对应的图像差异表示图中的边，采用动态规划算法从重叠区域的上端到下端，查找一条最优路径，经过的位置的差异值之和最小，这条路径就是要查找的缝合线。

本发明采用动态规划的方法来查找最优缝合线，动态规划算法的优势在于计算速度与代价较小，符合视频拼接的实时性要求。常用的动态规划方法的思想如下：在计算得到的差异矩阵中，从下端到上端，逐行像素计算当前像素位置到重叠区域最上端的差异值之和的最小值，并记录。每个像素位置计算的过程中，该像素点位置搜索的范围只有该像素点的下一行中与其相邻的三个点。计算完毕之后，取重叠区域中最上端的一行中，差异值之和最小的像素点，从上端往下端回溯，依次记录所经过的像素点，最终找到缝合线。其中，在从下端到上端开始遍历时，起始行（即最下行）各像素点对应的差异值之和即为差异值矩阵C的最下行相应的值。

上述常用的动态规划算法计算缝合线，在从下端到上端的搜索过程中，当前像素点位置搜索的范围只是下一行与当前像素点相邻的三个点，搜索方向如图7所示，因此搜索存在较大局限性。其中动态规划算法的递推关系可以描述为：

E_i，j＝e_i，j+min(E_i-1，j-1，E_i-1，j，E_i-1，j+1)

其中E_i，j表示从最下行起点到位置(i，j)的所经过的位置的差异值之代数和。e_i，j表示位置(i，j)处的差异值。

为了提高搜索效果，本发明还提供了一种改进的动态规划算法，如图8所示，当前像素点位置不仅可以搜索下一行与当前像素点相邻的三个点，还可以搜索同一行与当前像素点相邻的两个点，扩大了搜索范围，提高了缝合线查找的效果。其递推关系如下：

E_i，j＝e_i，j+min(E_i-1，j-1，E_i-1，j，E_i-1，j+1，E_i，j-1，E_i，j+1)

其中E_i，j表示从最下行起点到位置(i，j)的所经过的位置的差异值之代数和。e_i，j表示位置(i，j)处的差异值。

这样从重叠区域的最下行起点开始，采用改进的动态规划算法进行缝合线的查找计算，最终得到当前时刻该重叠区域的缝合线。

本发明中整个查找过程可以在FPGA中进行，计算过程中没有迭代运算，运算速度快，而且运算过程中只需要开辟较小的内存空间，从空间和时间上可以达到缝合线实时计算的要求。空间上，FPGA是逐行地读取视频帧的像素，从以上的算法递推关系来看，算法每次计算只与相邻两行的差异矩阵相关，在算法计算的过程中，只需要开辟两行像素大小的内存空间。另外在每两行差异矩阵数值计算的过程中，只需要在开辟一行像素大小的空间来记录最优路径的方向。因此在整个算法执行过程中，总共只要开辟三行像素大小的存储空间。运算时间上，根据以上的递推关系，每次计算只要做5次加法以及一次比较运算，没有迭代，计算速度很快。

Claims (4)

1.一种用于FPGA实现的缝合线实时查找方法，其特征在于包括以下步骤：

S1.获取经过标定的当前时刻各路摄像机采集的图像帧，得到各图像帧的相对位置关系，确定各相邻图像帧之间的重叠区域；

S2.计算每个相邻图像帧之间的重叠区域在Lab颜色空间下的图像差异，得到该重叠区域的差异矩阵；

S3.利用前后帧之间该重叠区域的相关信息重新计算差异矩阵：以前一时刻该图像帧重叠区域中所计算的缝合线位置为基准，以水平方向向两边扩展，根据重叠区域内每个像素点与该缝合线的水平直线距离计算一个权值矩阵，将这个权值矩阵与步骤S2得到的差异矩阵求和，结果作为该重叠区域最终的差异矩阵；

所述计算权值矩阵的方法为：首先计算每个像素点位置距离该缝合线的水平距离d；然后计算该像素点的权值c₂＝Ae^bd，其中A与b为预设的参数；则得到了由每个像素点的权值组成的权值矩阵；

S4.根据步骤S3得到的最终的差异矩阵，采用动态规划算法计算缝合线。

2.根据权利要求1所述的用于FPGA实现的缝合线实时查找方法，其特征在于：所述步骤S4中采用动态规划算法计算缝合线的方法为：从当前时刻该图像帧重叠区域的上端到下端，搜索一条最优路径，使该最优路径经过的像素点位置的图像差异值之和最小，所述图像差异值是指最终的差异矩阵中该像素点位置对应的值，该最优路径即为该重叠区域的缝合线；在搜索最优路径时，对于当前位置像素点，不仅搜索下一行中与当前位置相邻的三个像素点，同时还搜索同一行中与当前位置像素点相邻的两个像素点。

3.根据权利要求1或2所述的用于FPGA实现的缝合线实时查找方法，其特征在于：所述步骤S3中缝合线的初值，即初始时刻各图像帧重叠区域的缝合线为该重叠区域的中线。

4.根据权利要求1或2所述的用于FPGA实现的缝合线实时查找方法，其特征在于：所述各步骤均在FPGA中实现。