CN103679668B - 图像拼接反馈系统 - Google Patents

Abstract

图像拼接反馈系统，包括帧图像提供模块、数据传输模块、第一RAM选择模块、第二RAM选择模块、相关性模块、RAM存储阵列、过程控制模块、锁帧状态控制模块、图像检测模块。相关性模块结合上一帧相对于模板帧的相关性数据和偏移量数据及当前图像检测信号，计算出当前帧相对于模板帧的相关性；相关性模块输出的当前帧相对于模板帧的偏移量数据和相关性数据经过过程控制模块形成流水化的反馈环路，并通过此环路对采集图像进行跟踪。适用于两张或两张以上相邻间具有部分重叠的图像的拼接，且图像无旋转。用ASIC的方式实现了有效数据反馈再应用的方法和结构，达到了高速、低成本、计算量小且流水化的结构，尤其适用于刮擦传感器采集的指纹图像拼接。

Description

图像拼接反馈系统

技术领域

本发明涉数字图像识别领域，尤其涉及一种图像拼接反馈系统。

背景技术

图像拼接技术可以解决由于采集窗口视角和大小的限制，不能产生很大图片的问题。所谓的图像拼接技术就是将两张或两张以上相邻间具有部分重叠的图像进行无缝拼接，生成一幅大型且有较宽视角的高分辨率图像的技术。图像拼接技术最早应用于航空领域，现已广泛应用于数字视频、动态分析、指纹重构等领域。

然而，现有技术中，频域和空域的方法都具有一定的不足，最常见的现象就是拼接后的图像发生不同程度的形变，对于后端处理时的很多环节都会造成严重的影响，直接影响到图像识别率。且在估计相邻图像的冗余度的过程中，现有的方法太消耗硬件资源，或者需要消耗较长的处理时间，或者普适的图像范围并不理想等，从而使产品的性价比降低。

发明内容

为解决上述技术问题，本发明提供的图像拼接反馈系统，其特征在于，包括帧图像提供模块、数据传输模块、第一RAM选择模块、第二RAM选择模块、相关性模块、RAM存储阵列、过程控制模块、锁帧状态控制模块、图像检测模块；

所述相关性模块包括帧图像读选择控制模块、相关性计算模块、偏移量跟踪模块；

所述相关性模块计算出帧图像提供模块提供的当前帧相对于模板帧的相关性数据和偏移量数据，再传输给数据传输模块、图像检测模块、锁帧状态控制模块和过程控制模块，图像检测模块根据接收的当前帧相对于模板帧的相关性数据检测当前采集对象相对于采集窗口的状态，并将检测到的当前采集对象相对于采集窗口的状态提供给所述相关性模块；

所述过程控制模块将缓存的上一帧相对于模板帧的相关性数据和偏移量数据传回给相关性模块；

所述相关性数据包括相关性矩阵的最大值最小值及其坐标；所述相关性矩阵为两帧图像在各种覆盖情况下的相关性运算结果组成的矩阵。

所述相关性模块还结合上一帧图像相对于模板帧的相关性数据和偏移量数据及当前图像检测信号，计算出当前帧相对于模板帧的相关性；相关性模块输出的当前帧相对于模板帧的偏移量数据和当前帧相对于模板帧的相关性数据经过过程控制模块形成流水化的反馈环路，并通过此反馈环路对帧图像进行跟踪。所述当前图像检测信号为图像检测模块检测到的当前采集对象相对于采集窗口的状态。所述相关性为两帧图像的重叠程度，所述两帧图像分别为模板帧和当前帧。

所述RAM存储阵列由四个或四个以上的RAM组成；所述RAM存储阵列的分配为：

至少用一个RAM存储当前正在进行相关性计算的当前帧图像数据，定义为当前帧RAM；至少用一个RAM存储当前正在进行相关性计算的模板帧图像数据，定义为模板帧RAM；至少用一个RAM存储当前正在采集的帧图像数据，定义为输入帧RAM；至少用一个RAM存储当前释放锁帧传出的图像数据，定义为输出帧RAM；还包含一个RAM存储当前相关性矩阵，定义为相关性矩阵RAM。

所述帧图像提供模块提供采集到的每一帧图像，并将帧图像通过第一RAM选择模块选择放入RAM存储阵列中输入帧RAM；

所述数据传输模块传输相关性数据、偏移量数据、帧图像；

所述第二RAM选择模块对输出帧RAM读地址、读数据和读使能进行处理和中转；所述选定数据为第一RAM选择模块选择放入RAM存储阵列中的输入帧RAM的帧图像数据；

所述过程控制模块为对整个拼接过程的控制模块；

所述锁帧状态控制模块在相关性模块每次的相关性计算中判断此帧是否需要锁帧或释放锁帧，并输出锁帧控制信号给第一RAM选择模块和第二RAM选择模块；

所述图像检测模块通过实时采集的帧图像及相关性模块计算出的相关性数据判断采集对象相对于采集窗口的状态。

所述相关性计算模块根据第一RAM选择模块传来的模板帧和当前帧计算两帧图像的相关性，若模板帧为两帧图像中参照不动的那一帧，则所述当前帧为两帧图像中参照模板帧上下左右移动的另一帧图像，根据模板帧和当前帧的覆盖情况，选取两帧图像覆盖区域的部分或全部数据，将两帧图像覆盖区域中的一一对应的数据求差值平方之和得到当前覆盖情况下的相关性运算结果；

所述相关性数据由相关性计算模块并行输出到数据传输模块、图像检测模块和过程控制模块；两帧图像在各种覆盖情况下的相关性数据组成两帧图像的相关性矩阵；所述相关性矩阵由相关性计算模块输出到RAM存储阵列存储及偏移量跟踪模块，并由偏移量跟踪模块计算两帧图像的偏移量数据；

若两帧图像在采集对象相对于采集窗口的主要移动方向上的相关位移没达到规定的阈值，则丢弃当前帧，采用下一帧图像代替当前帧并与模板帧参与相关性计算，此时的模板帧为当前锁帧的那一帧；若两帧图像之间的位移达到了规定的阈值，则输出当前进行相关性计算的模板帧，再把当前帧转换成模板帧锁定，进行下一轮相关性计算。

所述偏移量数据由偏移量跟踪模块输出，包括参与运算的两帧图像的水平和垂直方向的偏移量，水平和垂直方向的速度、水平和垂直方向的速度权重。

所述偏移量跟踪模块根据当前相关性矩阵求出的开窗范围，包括上下左右四个值。在下一帧进行相关性计算时，在前后两帧图像完全重合的基础上，固定一帧不动，上下左右移动另一帧的移动范围一一对应于开窗范围的四个值。

所述规定的阈值为根据试验得到的经验值。

本发明提供的一种图像拼接反馈系统。适用于两张或两张以上相邻间具有部分重叠的图像的拼接，且图像无旋转。用ASIC的方式实现了有效数据反馈再应用的方法和结构，达到了高速、低成本、计算量小且流水化的结构，尤其适用于刮擦传感器采集的指纹图像拼接。

附图说明

图1为本发明相关性模块在拼接中的反馈环路示意图。

具体实施方式

下面结合附图来说明本发明的优选实施例，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图像拼接反馈系统，包括帧图像提供模块1、数据传输模块2、第一RAM选择模块3、第二RAM选择模块4、相关性模块5、RAM存储阵列6、过程控制模块7、锁帧状态控制模块8、图像检测模块9。

帧图像提供模块1提供采集到的每一帧图像，并将帧图像通过第一RAM选择模块3选择放入RAM存储阵列6中的输入帧RAM。数据传输模块2传输相关性数据、偏移量数据、帧图像等。所述第二RAM选择模块对输出帧RAM读地址、读数据和读使能进行处理和中转；所述选定数据为第一RAM选择模块3选择放入RAM存储阵列6中的输入帧RAM的帧图像数据。

相关性模块5将计算出的当前帧相对于模板帧的相关性数据和偏移量数据，同时传输给数据传输模块2、图像检测模块9、过程控制模块7和锁帧状态控制模块8。相关性模块5包括帧图像读选择控制模块51、相关性计算模块52、偏移量跟踪模块53。帧图像读选择控制模块51按照上一帧图像求得的开窗范围，将每一种覆盖情况选取的覆盖区域数据以流水线的方式依次从RAM中读取后送入相关性计算模块52，帧图像读选择控制模块51生成指定RAM的读控制信号，如RAM的读地址，读使能，并生成相关控制信号给相关性计算模块52和偏移量跟踪模块53。相关性计算模块52接收第一RAM选择模块3传来的两帧图像中参与运算的数据，并将两帧图像分别设为模板帧和当前帧，计算两帧图像的相关性，若模板帧为两帧图像中参照不动的那一帧，则所述当前帧为两帧图像中参照模板帧上下左右移动的另一帧图像。根据模板帧和当前帧的覆盖情况，选取两帧图像覆盖区域的部分或全部数据，将两帧图像覆盖区域中的一一对应的数据求差值平方之和得到当前覆盖情况下的相关性运算结果；两帧图像在各种覆盖情况下的相关性运算结果组成两帧图像的相关性矩阵。相关性数据包括相关性矩阵的最大值最小值及其坐标。

相关性计算模块52将相关性数据并行输出到数据传输模块2、图像检测模块9和过程控制模块7，相关性矩阵输出到RAM存储阵列6存储及偏移量跟踪模块53，偏移量跟踪模块53通过过程控制模块7提供的上一帧相对于模板帧的相关性数据和上一帧相对于模板帧的偏移量数据、图像检测模块9提供的当前图像检测信号，以及帧图像读选择控制模块51提供的相关控制信号对相关性矩阵进行偏移量计算，得到当前帧相对于模板帧的偏移量数据和下一帧的开窗范围和相应的控制信号。偏移量模块53输出的偏移量数据包括参与运算的两帧水平和垂直方向的偏移量，水平和垂直方向的速度、水平和垂直方向的速度权重等。在偏移量跟踪模块53根据当前相关性矩阵求出的开窗范围，包括上下左右四个值，及下一帧进行相关性计算时，在前后两帧图像完全重合的基础上，固定一帧不动，上下左右移动另一帧的移动范围一一对应于开窗范围的四个值。若两帧图像在采集对象相对于采集窗口的主要移动方向上的相关位移没达到规定的阈值，则丢弃当前帧，采用下一帧图像代替当前帧并与模板帧参与相关性计算，此时的模板帧为当前帧锁帧的那一帧；若两帧图像之间的位移达到了规定的阈值，则输出当前进行相关性计算的模板帧，再把当前帧转换成模板帧锁定，进行下一轮相关性计算。所述规定的阈值为根据试验得到的经验值。

RAM存储阵列6，由四个或四个以上的RAM组成，每一个RAM存储一帧图像，RAM存储阵列6的分配为：至少用一个RAM存储当前正在进行相关性计算的当前帧图像数据，定义为当前帧RAM；至少用一个RAM存储当前正在进行相关性计算的模板帧图像数据，定义为模板帧RAM；至少用一个RAM存储当前正在采集的帧图像数据，定义为输入帧RAM；至少用一个RAM存储当前释放锁帧传出的图像数据，定义为输出帧RAM；还包含一个RAM存储当前相关性矩阵，定义为相关性矩阵RAM。

过程控制模块7为对整个拼接过程的控制模块。锁帧状态控制模块8在相关性模块每次的相关性计算中判断此帧是否需要锁帧或释放锁帧，输出锁帧控制信号给第一RAM选择模块3和第二RAM选择模块4。

图像检测模块9通过实时采集的帧图像及相关性模块5计算出的相关性数据判断采集窗口采集到有效采集对象、采集对象离开采集窗口及采集对象在采集窗口上移动等状态。

相关性计算模块5计算出的当前帧相对于模板帧的相关性数据和偏移量数据，传输给数据传输模块2、图像检测模块9、锁帧状态控制模块10和过程控制模块7，图像检测模块9根据接收的当前帧相对于模板帧的相关性数据检测当前采集对象相对于采集窗口的状态，并将检测到的当前采集对象相对于采集窗口的状态提供给相关性模块5；

过程控制模块7在将当前帧偏移量跟踪时，将缓存的上一帧相对于模板帧的相关性数据和偏移量数据传回给相关性模块5；

相关性模块5还结合上一帧相对于模板帧的相关性数据和偏移量数据及当前图像检测信号，计算出当前帧相对于模板帧的相关性；相关性模块5输出的当前帧相对于模板帧的偏移量数据和当前帧相对于模板帧的相关性数据经过过程控制模块7形成流水化的反馈环路，并通过此环路对采集图像进行跟踪。所述当前图像检测信号为图像检测模块9检测到的当前采集对象相对于采集窗口的状态。

本发明提供的一种图像拼接反馈系统。适用于两张或两张以上相邻间具有部分重叠的图像的拼接，且图像无旋转。用ASIC的方式实现了有效数据反馈再应用的方法和结构，达到了高速、低成本、计算量小且流水化的结构，尤其适用于刮擦传感器采集的指纹图像拼接。

本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于以上的说明，而是由权利要求书的范围来确定的。

Claims (6)

1.图像拼接反馈系统，其特征在于，包括帧图像提供模块、数据传输模块、第一RAM选择模块、第二RAM选择模块、相关性模块、RAM存储阵列、过程控制模块、锁帧状态控制模块、图像检测模块；

所述相关性模块包括帧图像读选择控制模块、相关性计算模块、偏移量跟踪模块；

所述相关性模块计算出帧图像提供模块提供的当前帧相对于模板帧的相关性数据和偏移量数据，再传输给数据传输模块、图像检测模块、锁帧状态控制模块和过程控制模块，图像检测模块根据接收的当前帧相对于模板帧的相关性数据检测当前采集对象相对于采集窗口的状态，并将检测到的当前采集对象相对于采集窗口的状态提供给所述相关性模块；

所述过程控制模块将缓存的上一帧图像相对于模板帧的相关性数据和偏移量数据传回给相关性模块；

所述相关性数据包括相关性矩阵的最大值最小值及其坐标；所述相关性矩阵为两帧图像在各种覆盖情况下的相关性运算结果组成的矩阵；

所述相关性模块还结合上一帧图像相对于模板帧的相关性数据和偏移量数据及当前图像检测信号，计算出当前帧相对于模板帧的相关性；相关性模块输出的当前帧相对于模板帧的偏移量数据和当前帧相对于模板帧的相关性数据经过过程控制模块形成流水化的反馈环路，并通过此反馈环路对帧图像进行跟踪；所述当前图像检测信号为图像检测模块检测到的当前采集对象相对于采集窗口的状态；所述相关性为两帧图像的重叠程度，所述两帧图像分别为模板帧和当前帧；

所述第一RAM选择模块将当前帧RAM和模板帧RAM中的选定数据传入相关性模块；所述选定数据为第一RAM选择模块选择放入RAM存储阵列中的输入帧RAM的帧图像数据。

2.根据权利要求1所述的图像拼接反馈系统，其特征在于，所述帧图像提供模块提供采集到的每一帧图像，并将帧图像通过第一RAM选择模块选择放入RAM存储阵列中的输入帧RAM；

所述数据传输模块传输相关性数据、帧图像、阈值参数；

所述第二RAM选择模块对输出帧RAM读地址、读数据和读使能进行处理和中转；

所述过程控制模块为对整个拼接过程的控制模块；

所述锁帧状态控制模块在相关性模块每帧的相关性计算中判断此帧是否需要锁帧或释放锁帧，并输出锁帧控制信号给第一RAM选择模块和第二RAM选择模块；

所述图像检测模块通过实时采集的帧图像及相关性模块计算出的相关性数据判断采集对象相对于采集窗口的状态。

3.根据权利要求1所述的图像拼接反馈系统，其特征在于，所述RAM存储阵列由四个或四个以上的RAM组成；所述RAM存储阵列的分配为：

至少用一个RAM存储当前正在进行相关性计算的当前帧图像数据，定义为当前帧RAM；至少用一个RAM存储当前正在进行相关性计算的模板帧图像数据，定义为模板帧RAM；至少用一个RAM存储当前正在采集的帧图像数据，定义为输入帧RAM；至少用一个RAM存储当前释放锁帧传出的图像数据，定义为输出帧RAM；还包含一个RAM存储当前相关性矩阵，定义为相关性矩阵RAM。

4.根据权利要求1所述的图像拼接反馈系统，其特征在于，所述相关性计算模块根据第一RAM选择模块传来的选定数据计算两帧图像的相关性，若模板帧为两帧图像中参照不动的那一帧，则所述当前帧为两帧图像中参照模板帧上下左右移动的另一帧图像；根据模板帧和当前帧的覆盖情况，选取两帧图像覆盖区域的部分或全部数据，将两帧图像覆盖区域中的一一对应的数据求差值平方之和得到当前覆盖情况下的相关性运算结果；

所述相关性数据由相关性计算模块并行输出到数据传输模块、图像检测模块和过程控制模块；两帧图像在各种覆盖情况下的相关性运算结果组成两帧图像的相关性矩阵；所述相关性矩阵由相关性计算模块输入到RAM存储阵列存储及偏移量跟踪模块，并由偏移量跟踪模块计算两帧图像的偏移量数据；

若两帧图像在采集对象相对于采集窗口的主要移动方向上的相关位移没达到规定的阈值，则丢弃当前帧，采用下一帧图像代替当前帧并与模板帧参与相关性计算，此时的模板帧为当前帧锁帧的那一帧；若两帧图像之间的位移达到了规定的阈值，则输出当前进行相关性计算的模板帧，再把当前帧转换成模板帧锁定，进行下一轮相关性计算。

5.根据权利要求1或4所述的图像拼接反馈系统，其特征在于，所述偏移量数据由偏移量跟踪模块输出，包括参与运算的两帧图像的水平和垂直方向的偏移量，水平和垂直方向的速度、水平和垂直方向的速度权重。

6.根据权利要求1所述的图像拼接反馈系统，其特征在于，所述偏移量跟踪模块根据当前相关性矩阵求出的开窗范围包括上下左右四个值，在下一帧进行相关性计算时，在前后两帧图像完全重合的基础上，固定一帧不动，上下左右移动另一帧的移动范围一一对应于开窗范围的四个值。