CN103516997B - 多源视频图像信息实时融合方法及装置 - Google Patents

Abstract

本发明公开了一种多源视频图像信息实时融合方法及装置。其中，该方法包括：对多源视频图像信息先后进行空间域上二维多尺度分解、时间域上一维多尺度分解，得到分解系数，其中，分解系数包括低通子带系数和多个带通方向子带系数；对低通子带系数和各带通方向子带系数进行融合；将融合后的低通子带系数和融合后的各带通方向子带系数先后进行时间域上一维多尺度逆变换、空间域上二维多尺度逆变换，得到融合的视频图像信息。通过本发明，达到了提高智能报警系统的报警实时性、精准性的效果。

Description

多源视频图像信息实时融合方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种多源视频图像信息实时融合方法及装置。

背景技术

随着城市化步伐的加速，城市人口密集场所数量也随之增加、范围也逐步扩大，如何实时准确地对城市人口密集场所进行监控及报警显得日益重要。目前，大多数视频监控报警系统都没有对来自不同类型传感器的视频图像（即多源视频图像）进行分析并检测，从而使得视频监控报警系统或多或少存在视频检测精度不高、分析结果不够准确、甚至出现误报警的问题。

因此，目前迫切需要解决的一个技术问题就是：如何在报警系统中对来自不同类型传感器的视频图像中的有用信息进行实时、有效的融合，使视频监控报警系统更加完整和准确。

发明内容

本发明提供了一种多源视频图像信息实时融合方法及装置，以至少解决上述问题。

根据本发明的一个方面，提供了一种多源视频图像信息实时融合方法，包括：对多源视频图像信息先后进行空间域上二维多尺度分解、时间域上一维多尺度分解，得到分解系数，其中，分解系数包括低通子带系数和多个带通方向子带系数；对低通子带系数和各带通方向子带系数进行融合；将融合后的低通子带系数和融合后的各带通方向子带系数先后进行时间域上一维多尺度逆变换、空间域上二维多尺度逆变换，得到融合的视频图像信息。

优选地，在对多源视频图像信息先后进行空间域上二维多尺度分解、时间域上一维多尺度分解之前，还包括：对多源视频图像进行预处理操作，得到多源视频图像信息，其中，多源视频图像信息中包括多源视频图像序列，预处理操作包括：对多源视频图像先后进行空间上的配准、时间上的配准。

优选地，对多源视频图像信息先后进行空间域上二维多尺度分解、时间域上一维多尺度分解，包括：对多源视频图像序列中每一帧分别进行空间域上二维多尺度分解、时间域上一维多尺度分解。

优选地，对低通子带系数进行融合包括：采用基于三维局部空-时区域能量加权平均方法对低通子带系数进行融合。

优选地，对各带通方向子带系数进行融合包括：根据三维不同分解层下的分解系数对各带通方向子带系数进行融合。

根据本发明的另一方面，提供了一种多源视频图像信息实时融合装置，包括：分解模块，用于对多源视频图像信息先后进行空间域上二维多尺度分解、时间域上一维多尺度分解，得到分解系数，其中，分解系数包括低通子带系数和多个带通方向子带系数；融合模块，用于对低通子带系数和各带通方向子带系数进行融合；逆变换模块，用于将融合后的低通子带系数和融合后的各带通方向子带系数先后进行时间域上一维多尺度逆变换、空间域上二维多尺度逆变换，得到融合的视频图像信息。

优选地，该装置还包括：预处理模块，用于对多源视频图像进行预处理操作，得到多源视频图像信息，其中，多源视频图像信息中包括多源视频图像序列，预处理操作包括：对多源视频图像先后进行空间上的配准、时间上的配准。

优选地，分解模块包括：分解单元，用于对多源视频图像序列中每一帧分别进行空间域上二维多尺度分解、时间域上一维多尺度分解。

优选地，融合模块包括：第一融合单元，用于采用基于三维局部空-时区域能量加权平均方法对低通子带系数进行融合。

优选地，融合模块包括：第二融合单元，用于根据三维不同分解层下的分解系数对各带通方向子带系数进行融合。

通过本发明，采用对来自不同类型传感器的多源视频图像分别进行实时分解、融合操作后得到融合后的视频图像信息的方式，解决了现有报警系统中对来自不同类型传感器的视频图像中的有用信息无法进行实时、有效的融合，使视频监控报警系统不完整、报警不准确的问题，进而达到了提高智能报警系统的报警实时性、精准性的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的多源视频图像信息实时融合方法流程图；

图2是根据本发明优选实施例的多源视频图像信息实时融合流程图；

图3是根据本发明实施例的多源视频图像信息实时融合装置的结构框图；

图4是根据本发明一个优选实施例的多源视频图像信息实时融合装置的结构框图；

图5是根据本发明另一个优选实施例的多源视频图像信息实时融合装置的结构框图；

图6是根据本发明优选实施例的基于多源视频图像信息实时融合方法的智能报警系统的结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1是根据本发明实施例的多源视频图像信息实时融合方法流程图，如图1所示，该方法主要包括以下步骤（步骤S102-步骤S106）。

步骤S102，对多源视频图像信息先后进行空间域上二维多尺度分解、时间域上一维多尺度分解，得到分解系数，其中，分解系数包括低通子带系数和多个带通方向子带系数。

步骤S104，对低通子带系数和各带通方向子带系数进行融合。

步骤S106，将融合后的低通子带系数和融合后的各带通方向子带系数先后进行时间域上一维多尺度逆变换、空间域上二维多尺度逆变换，得到融合的视频图像信息。

在本实施例的步骤S102之前，还可以对多源视频图像进行预处理操作，从而得到多源视频图像信息，其中，多源视频图像信息中可以包括多源视频图像序列，预处理操作可以包括：对多源视频图像先后进行空间上的配准、时间上的配准，在实际应用中，该预处理操作时比较严格的，即对多源视频图像进行严格空间上和严格时间上的配准，当然，预处理操作还可以根据实际处理需要增加一些其它的辅助处理手段，但主要还是配准操作。

在本实施例的步骤S102中，对多源视频图像信息先后进行空间域上二维多尺度分解、时间域上一维多尺度分解时，可以采用这样的方式进行：可以对多源视频图像进行预处理操作后得到的多源视频图像序列中的每一帧分别进行空间域上二维多尺度分解、时间域上一维多尺度分解，从而得到分解系数（即，低通子带系数和各带通方向子带系数）。在实际应用中，空间域上的多尺度分解也可以称之为空间域上的多尺度变换，时间域上的多尺度分解也可以称之为时间域上的多尺度变换。

在本实施例的步骤S104中，对低通子带系数进行融合时可以这样实现：可以采用基于三维局部空-时区域能量加权平均方法对低通子带系数进行融合。

在本实施例的步骤S104中，对各个带通子带系数进行融合可以这样实现：可以根据三维不同分解层下的分解系数对各带通方向子带系数进行融合。

下面结合图2及优选实施例对上述多源视频图像信息实时融合方法进行详细说明。

图2是根据本发明优选实施例的多源视频图像信息实时融合流程图，如图2所示，该流程主要包括以下步骤（步骤S202-步骤S226）：

步骤S202，初始化，设置视频图像序列的总帧数N的值；

步骤S204，对多源视频图像序列进行预处理，主要是先后对多源视频图像进行空间和时间上的严格配准；

步骤S206，判断视频图像序列是否读取完毕，如果没有读取完毕，执行步骤S208；否则，执行步骤S212；

步骤S208，继续读取多源视频图像的当前帧；

步骤S210，对当前帧的视频图像进行空间域上二维多尺度变换，此步骤执行完后回到步骤S206，继续判断视频图像序列是否读取完毕；

步骤S212，根据空间域二维多尺度变换的变换系数构造时间域上的N阶一维向量，并对其进行一维多尺度变换；

步骤S214，根据时间域一维多尺度变换后得到的各个一维向量，构造出时间域上的低通方向的子带系数和各个带通方向的子带系数；

步骤S216，采用基于三维局部空-时区域能量加权平均方法对低通子带系数进行融合，并得到融合后的低通子带系数；

步骤S218，根据三维不同分解层下的变换系数对各带通方向子带系数进行融合，并得到融合后的各带通方向子带系数；

步骤S220，对融合后的低通子带系数及各带通方向子带系数进行时间域上的一维多尺度逆变换；

步骤S222，在步骤S220的基础上，再进行空间域上的二维多尺度逆变换；

步骤S224，显示最终的融合视频图像；

步骤S226，融合结束。

采用上述实施例提供的多源视频图像信息实时融合方法，能够对来自不同类型传感器的多源视频图像分别进行实时分解、融合操作后得到融合后的视频图像信息，可以解决现有报警系统中对来自不同类型传感器的视频图像中的有用信息无法进行实时、有效的融合，使视频监控报警系统不完整、报警不准确的问题，进而取得了提高智能报警系统的报警实时性、精准性的效果。

图3是根据本发明实施例的多源视频图像信息实时融合装置的结构框图，该装置用以实现上述实施例提供的多源视频图像信息实时融合方法，如图3所示，该装置主要包括：分解模块10、融合模块20和逆变换模块30。其中，分解模块10，用于对多源视频图像信息先后进行空间域上二维多尺度分解、时间域上一维多尺度分解，得到分解系数，其中，分解系数包括低通子带系数和多个带通方向子带系数；融合模块20，连接至分解模块10，用于对低通子带系数和各带通方向子带系数进行融合；逆变换模块30，连接至融合模块20，用于将融合后的低通子带系数和融合后的各带通方向子带系数先后进行时间域上一维多尺度逆变换、空间域上二维多尺度逆变换，得到融合的视频图像信息。

图4是根据本发明一个优选实施例的多源视频图像信息实时融合装置的结构框图，如图4所示，该优选装置还可以包括：预处理模块40，与分解模块10连接，用于对多源视频图像进行预处理操作，得到多源视频图像信息，其中，多源视频图像信息中包括多源视频图像序列，预处理操作包括：对多源视频图像先后进行空间上的配准、时间上的配准。

在该优选装置中，分解模块10可以包括：分解单元12，用于对多源视频图像序列中每一帧分别进行空间域上二维多尺度分解、时间域上一维多尺度分解。

在该优选装置中，融合模块20可以包括：第一融合单元22，用于采用基于三维局部空-时区域能量加权平均方法对低通子带系数进行融合。

在该优选装置中，融合模块20还可以包括：第二融合单元24，用于根据三维不同分解层下的分解系数对各带通方向子带系数进行融合。

需要说明的是，图4所示出的优选多源视频图像信息实时融合装置仅为一种较佳的实施方式，在实际应用中，完全可以采取与图4所示出的装置类似甚至不同的实施方式来实现。

例如，在实际应用中，也可以采取以下的实施方式：

图5是根据本发明另一个优选实施例的多源视频图像信息实时融合装置的结构框图，如图5所示，该融合装置主要包括：多源视频图像预处理模块52、多源视频图像实时融合模块54及融合视频图像显示模块56，其中：

多源视频图像预处理模块52，主要用于预处理多源视频图像，包括对多源视频图像进行严格空间上和时间上的配准等。

多源视频图像实时融合模块54，包括：多源视频图像变换子模块542、不同分解层下变换系数融合子模块544和多源视频图像逆变换子模块546。其中，多源视频图像变换子模块542用于对多源视频图像进行空间域及时间域上的多尺度变换；不同分解层下变换系数融合子模块544用于对不同分解层下的变换系数（即上述分解系数）进行融合；多源视频图像逆变换子模块546，用于对融合后的变换系数（即上述分解系数）进行时间域及空间域上的多尺度逆变换。

融合视频图像显示模块56，主要用于显示融合后的视频图像。

采用上述实施例提供的多源视频图像信息实时融合装置，能够对来自不同类型传感器的多源视频图像分别进行实时分解、融合操作后得到融合后的视频图像信息，可以解决现有报警系统中对来自不同类型传感器的视频图像中的有用信息无法进行实时、有效的融合，使视频监控报警系统不完整、报警不准确的问题，进而取得了提高智能报警系统的报警实时性、精准性的效果。

当然，在实际应用中上述多源视频图像信息实时融合方法及装置都可以融合在智能报警系统中进行使用，但融合方式可以是多样的。下面结合图6对本实施例给出的一种智能报警系统（其中，融合了图5所示的多源视频图像信息实时融合装置中）进行适当描述。

图6是根据本发明优选实施例的基于多源视频图像信息实时融合方法的智能报警系统的结构示意图，如图6所示，该智能报警系统主要包括：多源视频图像采集模块62、多源视频图像实时融合模块64、融合视频图像比较判断模块66和智能报警模块68，其中：

多源视频图像采集模块62，主要用于对来自不同成像传感器的多源视频图像进行采集。

多源视频图像实时融合模块64（功能与图5示出的多源视频图像信息实时融合装置的功能相同），主要用于对来自不同成像传感器的多源视频图像进行实时融合，可以进一步包括多源视频图像预处理模块、多源视频图像实时融合模块及融合视频图像显示模块（在图6中不再重复示出）。

融合视频图像比较判断模块66，主要用于判断融合后视频图像中的环境信息、目标的存在特性及位置特性是否达到报警的阈值。

智能报警模块68，主要用于监控及报警。

通过该智能报警系统，能够解决现有报警系统中对来自不同类型传感器的视频图像中的有用信息无法进行实时、有效的融合，使视频监控报警系统不完整、报警不准确的问题，进而取得了提高智能报警系统的报警实时性、精准性的效果。

从以上的描述中，可以看出，本发明实现了如下技术效果：（1）融合视频图像时，能充分利用输入视频图像在空间域和时间域上的多分辨特点，可以提高融合视频图像的质量；（2）在融合变换系数时考虑了不同分解层下的变换系数（即分解系数）之间的联系，能够将多源视频图像中不同分解层下的变换系数（即分解系数）有效地结合在一起，可以提高融合视频图像的对比度；（3）智能报警系统根据实时融合后的视频图像中的来自多源视频图像的不同特性进行报警，从而提高了报警系统的实时性和精准性。通过本发明实施例，对来自不同类型传感器的多源视频图像分别进行实时分解、融合操作后得到融合后的视频图像信息，解决了现有报警系统中对来自不同类型传感器的视频图像中的有用信息无法进行实时、有效的融合，使视频监控报警系统不完整、报警不准确的问题，进而达到了提高智能报警系统的报警实时性、精准性的效果。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种多源视频图像信息实时融合方法，其特征在于，包括：

对多源视频图像信息先后进行空间域上二维多尺度分解、时间域上一维多尺度分解，得到分解系数，其中，所述分解系数包括低通子带系数和多个带通方向子带系数；

对所述低通子带系数和各所述带通方向子带系数进行融合；

将融合后的低通子带系数和融合后的各带通方向子带系数先后进行时间域上一维多尺度逆变换、空间域上二维多尺度逆变换，得到融合的视频图像信息；

其中，在对多源视频图像信息先后进行空间域上二维多尺度分解、时间域上一维多尺度分解之前，还包括：对多源视频图像进行预处理操作，得到所述多源视频图像信息，其中，所述多源视频图像信息中包括多源视频图像序列，所述预处理操作包括：对所述多源视频图像先后进行空间上的配准、时间上的配准；

对多源视频图像信息先后进行空间域上二维多尺度分解、时间域上一维多尺度分解，包括：对所述多源视频图像序列中每一帧进行空间域上二维多尺度分解，对所述多源视频图像序列中各帧进行时间域上一维多尺度分解。

2.根据权利要求1所述的方法，其特征在于，对所述低通子带系数进行融合包括：

采用基于三维局部空-时区域能量加权平均方法对所述低通子带系数进行融合。

3.根据权利要求2所述的方法，其特征在于，对各所述带通方向子带系数进行融合包括：

根据三维不同分解层下的分解系数对各所述带通方向子带系数进行融合。

4.一种多源视频图像信息实时融合装置，其特征在于，包括：

分解模块，用于对多源视频图像信息先后进行空间域上二维多尺度分解、时间域上一维多尺度分解，得到分解系数，其中，所述分解系数包括低通子带系数和多个带通方向子带系数；

融合模块，用于对所述低通子带系数和各所述带通方向子带系数进行融合；

逆变换模块，用于将融合后的低通子带系数和融合后的各带通方向子带系数先后进行时间域上一维多尺度逆变换、空间域上二维多尺度逆变换，得到融合的视频图像信息；

所述装置还包括：预处理模块，用于对多源视频图像进行预处理操作，得到所述多源视频图像信息，其中，所述多源视频图像信息中包括多源视频图像序列，所述预处理操作包括：对所述多源视频图像先后进行空间上的配准、时间上的配准；

其中，所述分解模块包括：分解单元，用于对所述多源视频图像序列中每一帧进行空间域上二维多尺度分解，对所述多源视频图像序列中各帧进行时间域上一维多尺度分解。

5.根据权利要求4所述的装置，其特征在于，所述融合模块包括：

第一融合单元，用于采用基于三维局部空-时区域能量加权平均方法对所述低通子带系数进行融合。

6.根据权利要求5所述的装置，其特征在于，所述融合模块包括：

第二融合单元，用于根据三维不同分解层下的分解系数对各所述带通方向子带系数进行融合。