CN113657508A - 一种多维信息融合的安防系统决策方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及一种多维信息融合的安防系统决策方法、装置、计算机设备及存储介质。该方法包括：获取目标区域的图像信息、声音信息及文本信息；根据所获取的图像信息、声音信息及文本信息构建图像信息的D_p值矩阵、声音信息的D_v值矩阵、文本信息D_t值矩阵及融合数据最终矩阵D_f，并将融合数据最终矩阵D_f与预设的专家系统矩阵进行比对，以判断融合数据最终矩阵D_f是否能够触发相应的决策数据；其中，D_f＝D_p+D_v+D_t。本发明根据对多维数据(包括图像信息、声音信息及文本信息)的获取而构建出融合数据最终矩阵D_f，通过将融合数据最终矩阵D_f与预设的专家系统矩阵进行比对以获得决策数据，能够提高决策的准确性。

Description

一种多维信息融合的安防系统决策方法、装置、计算机设备及 存储介质

技术领域

本发明涉及一种多维信息融合的安防系统决策方法、装置、计算机设备及存储介质。

背景技术

随着人们生活水平的日益提高和城市发展的需要，智能安防系统对于城市的安全和社会的平安治理具有重要的作用，在信息手段发达的今天，智慧城市的发展已经进入合理如何应用所获得的数据给出精准的管理策略，如何挖掘信息中的潜在内容，在管理方面更加高效，在管理手段方面更加现代化和智能化，同时在现代应用中如何将新型技术用于智慧城市安防领域，譬如5G技术、步态识别等技术，使得工作人员能够通过简单的信息库支持根据目标的图像声音等信息后做出相应的安防决策。

然而，在实际应用中，通常的做法是将简单的个人经验、甚至是表象信息作为安防决策的主要表征，这样存在以下技术困难：

第一，图像信息、声音信息等信息维度不同，包含的信息量也不同，甚至在目标的跟踪方面，研究的手段和已有的技术提出了不同的研究方向和实施方法，单纯用传统的信息分析手段，无法体现多维度信息与决策信息之间的关系权重，导致信息管理中的复杂程度高，信息冗余数量大，无法精简，表征上无法特征化的问题。第二，对于同一样目标的多源信息中存在大量的冗余信息，低质量信息，关联不明确，信息融合的标准不明确，这就导致了信息处理的孤立性和匹配不足，计算不标准，计算机无法发挥最大的数据分析能力，导致安防决策发布方面智能化程度低下。

发明内容

本发明的目的在于提出一种多维信息融合的安防系统决策方法，该方法包括：获取目标区域的图像信息、声音信息及文本信息；根据所获取的图像信息、声音信息及文本信息构建图像信息的D_p值矩阵、声音信息的D_v值矩阵、文本信息D_t值矩阵及融合数据最终矩阵D_f，并将融合数据最终矩阵D_f与预设的专家系统矩阵进行比对，以判断融合数据最终矩阵D_f是否能够触发相应的决策数据；其中，D_f＝D_p+D_v+D_t。

本发明根据对多维数据(包括图像信息、声音信息及文本信息)的获取而构建出融合数据最终矩阵D_f，通过将融合数据最终矩阵D_f与预设的专家系统矩阵进行比对以获得决策数据，能够提高决策的准确性。

附图说明

图1为多维信息融合的安防系统图；

图2为一个实施例中计算机设备的内部结构框图；

图3为多维信息融合的安防系统整体系统结构图。

具体实施方式

如下结合附图，对本申请方案作进一步描述。

参阅图1至图3，一种多维信息融合的安防系统决策方法，包括：

获取目标区域的图像信息、声音信息及文本信息；

根据所获取的图像信息、声音信息及文本信息构建图像信息的D_p值矩阵、声音信息的D_v值矩阵、文本信息D_t值矩阵及融合数据最终矩阵D_f，并将融合数据最终矩阵D_f与预设的专家系统矩阵进行比对，以判断融合数据最终矩阵D_f是否能够触发相应的决策数据；其中，D_f＝D_p+D_v+D_t。

本实施例可从多维的安防系统终端(包括摄像头、能够获取声音信号的传感器、为网络安全员配备的文本信息录入终端等)获取不同维度的信息，所述的不同维度的信息包括图像信息、声音信息及文本信息共三个维度的信息；针对上述三个维度的信息，依算法进行分析关键表征数据的提取。建立构建安防多维数据库，基于安防多维数据库，生成安防多维信息的实体、属性、关联的多维信息单元，该多维信息单元可组合成多维信息矩阵，通过标准化处理后以用于后续研究使用。

图1显示了本实施例所阐述的多维信息融合的安防系统图，其中包括：

虚线框I内的①、②、③部分分别是多维信息的来源，包括图像信息获取单元①、声音信息获取单元②、文本信息获取单元③，图中的标记只是概念陈述，主要为了表明信息来源的多维度。

图像信息获取单元①获取的图像信息可以是动态的图像信息(例如视频)或者是静态的图像信息(例如图片)，主要通过系统中的能够获取各波段图像信息的摄像头或者其他图像获取设备；

声音信息获取单元②表示的是用于获取声音信息(包括环境声音、目标的特殊声音等)的设备，例如声音信号的传感器；

文本信息获取单元③包括为网络安全员配备的文本信息录入终端(尤其是手持式终端)，主要指的是通过网络安全员获取的信息，可透过网络安全员以标准的选择性的软件获取的标准化文本信息，也就是网络安全员的文字汇报、记录、登记等信息。根据安防监控的特殊性，加入了以网络安全员作为主要采集文本信息的主体，为了保证数据的标准化和可决策度，手持式终端的文本信息已选择既定选项为主要方式。

通过上述信息获取单元采集到的数据为后续的决策提供了最全面的原始数据。

虚线框II显示的是直接对接虚线框I中的图像信息获取单元①、声音信息获取单元②及文本信息获取单元③，在实际中在虚线框II被配置为不同信息的存储器和信息之间的传递链路，虚线框II中可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。图像信息获取单元①、声音信息获取单元②及文本信息获取单元③获取的信息可以通过虚线框II与虚线框III的服务器进行信息传递，由于数据的多源和结构的差异化，虚线框II可配置成对数据的初筛和初级信息获取的噪声去除(即去噪处理)，虚线框II中可配置成对图像信息、声音信息及文本信息进行去噪处理的前置数据初级处理器，以纯化数据，在不涉密的情况下，使用云系统在作为虚线框II的部分构件处理功能会取得更好的效果。

服务器④的主要作用是接收经过虚线框II的数据预处理后的图像信、声音信息及文本信息进行融合处理，融合的方式是采用矩阵的方法，通过赋予不同的信息关键表征因子，在构建模型时考虑不同的权重，最终将多维数据进行融合并且给出融合的评价指标，评价指标符合预设阈值，则融合有效，系统可以根据融合后的数据结合专家系统给出相应的决策数据。

此外，为了满足决策的实时性，提供了另一种上报模式。通过权重给出了相应的数据上报等级，根据所获取的图像信息、声音信息及文本信息的权重、可以直接上传到服务器④，服务器④直接进行关键表征数据的识别与预设的专家数据库进行比对，能够快速对图像信息、声音信息及文本信息进行响应。

服务器④是硬件和软件的总体表述，信息存储的环境是硬件系统，而具体融合算法构建依赖于服务器④中的融合算法，二者可以同时进行也可以分别运行。

下面具体地描述本实施例的实施流程，包括以下步骤：

步骤1，从图1中所示的图像信息获取单元①、声音信息获取单元②及文本信息获取单元③分别获取相应的图像信息、声音信息和文本信息，获取过程中图像信息在传递前保证了分辨率，通过硬件还可以提供特定的图像信息和声音信息，比如采用不同的摄像头、不同滤波器的声音传感器、利用标准化文本信息获取相应信息，获取手段可以是摄像头、手机、文本记录、笔记本电脑记录等多种方法。其中网络安全员采集的文本信息中可以打包上报图像信息与声音信息，作为一个数据包组一起传递。

步骤2，对于数据获取后进行数据级别的预处理，根据图像信息、声音信息、文本信息的软件处理，这主要发生在图1的虚线框II中，通过在虚线框II中对图像信息、声音信息及文本信息进行数据初步的处理，去除相应的噪声信息。

步骤3，通过虚线框III的服务器④构建实体信息、属性列表、关系属性，构建初步的信息单元，在本部分，信息单元以向量的形式呈现。并按照如下方法技术图像信息的D_p值矩阵、声音信息的D_v值矩阵或者文本信息D_t值矩阵：

其中ω₁+ω₂+ω₃＝1；

n表示的是获取n组图像信息或者声音信息或者文本信息；

ω_i表示的是不同的组成部分权值；

w_ij表示的是图像信息或者声音信息或者文本信息抽象因素与预设的标准专家数据库因素相比较差值的权重；

α_is表示预设的专家数据库中的数值；

α_ij表示表示第i组图像信息或者声音信息或者文本信息的第j个属性值；τ表示目标种类被单独附以权重值，说明目标的种类与其可能造成的后果有直接的关系

δ表示该目标的抽象属性是否在其他来源信息中也有，表明的是知识图谱的交叉性因子。δ的取值可以预设的，例如当目标的抽象属性在其他来源信息中也有出现时，δ的取值为X；而当目标的抽象属性在其他来源信息中未有出现时，δ的取值为Y。

D值的表征了n次图像信息或者声音信息或者文本信息的获取后对于总数据集的影响，此算法的α_ij的具体分布可以根据需要进行系统内的重设，不限于此类评价方法，修改的依据是安防监控系统在实际应用中的关键决定因素。

例如:获取关键区域的车辆移动图像信息，发现有异常移动的车辆，该车辆行驶到该区域出现，反复的循环绕行，或者有频繁的人员出入等，获取该图像信息后，在步骤3中，将一段时间内的按照固定的采样时间，比如将第1次采样的图像信息抽象为{τ，α₁₁，α₁₂，α₁₃，α₁₄,δ}分别为{目标，行为，表征，人员情况，时间,相关来源}的属性列表，因此本例子为{车辆，形式、出现、不明、时间、有}，属性的描述的信息在系统中为通过算法的方式得到相应的数值，因为不同的数值对于最终的决策有区别，即对于结果的影响是不同的，因此给予不同的权值分配，同时结合专家库中的相应阈值，结合不同的权值分配，能够计算出一段时间内，根据上述计算公司，计算出n组视频的图像信息的D_p值矩阵。

步骤3中形成的有图像信息的D_p值矩阵、声音信息的D_v值矩阵、文本信息D_t值矩阵，三类矩阵通过稀疏化构建同样空间的数据矩阵，并进行融合，构建出最终矩阵D_f，其中，D_f＝D_p+D_v+D_t。

最终矩阵作为输入矩阵与同空间的预设的专家系统矩阵进行对比，分析出两者的差异，专家矩阵的影响为相应的决策矩阵，设定阈值已决定最终矩阵是否能够触发相应的决策数据。

此外，步骤3的可设有紧急响应机制，主要是服务器④直接接收图像信息获取单元①、声音信息获取单元②及文本信息获取单元③分别获取的数据，然后进行决策，此种情况主要应对紧急时间的处理，可在图像信息获取单元①、声音信息获取单元②及文本信息获取单元③的信息收集过程中设置相应的紧急表征数据，信息中心含有紧急表征数据时，跳过虚线框II的数据预处理，直接进入服务器④中进行处理，服务器④中可配置有本地的大型计算机系统，因此相应速度更快。由于是紧急情况，信息可无需融合，直接出发以紧急表征数据映射的决策方法。比如图像信息中含有“火灾”图像；声音信息中含有“大规模人声”；文本信息中含有“命案”“暴乱”等关键文字时，直接检索其对应的决策信息，而无需进行信息融合。

步骤4是全系统信息的显示层面，如图1所示，虚线框Ⅳ中示出了显示设备⑤，显示设备⑤可采用集中显示的方式，在一个显示场景中，出现更换的图像信息，声音波形信息，融合后的信息指标与标准指标的比较，决策选择与决策信息的分发等。这样便于管理，同时避免了大量信息的涌入，管理者丧失信息的决策性和管理性。

图2显示了该系统中的计算机设备的内部结构图。该计算机设备分布于虚线框II中和虚线框III中，如果虚线框II采用云系统，则图2所示主要配置于虚线框III中。包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。

该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现本发明的相关算法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行数据分析与决策映射的作用。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本发明提供的算法实现主要以计算机程序的形式存在。计算机设备的存储器中可存储组成相应的矩阵分析算法。

在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取图像信息、声音信息和文本信息的输入；

通过处理器对上述信息进行计算；

最后得到决策的映射结果，计算机输出决策数据。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

图3为多维信息融合的安防系统的系统软件结构图，可以看到在多维信息不仅仅是本发明建立的范围，涉及到的多维信息非常多，对于数据源的处理和初步的决策在步骤2中，阐述在图1的虚线框I、虚线框II中完成相应的工作，在数据处理能力的总结层面，主要在图1的虚线框III部分完成。图1的虚线框III中也有相应的功能应用，包括图3中“应用”和“应急指挥”“事件通知/预警”中。

本发明具有如下有益效果：通过对多维感知数据的深度挖掘构建一套决策支持信息库，能够给智慧城市安防提供了一种科学的统一的决策方法，打破安防、治安、等领域的壁垒，通过系统的应用发现，应用该系统的过程中，决策速度明显加快，决策准确性有明显的提高。

Claims (8)

1.一种多维信息融合的安防系统决策方法，其特征在于，该方法包括：

获取目标区域的图像信息、声音信息及文本信息；

根据所获取的图像信息、声音信息及文本信息构建图像信息的D_p值矩阵、声音信息的D_v值矩阵、文本信息D_t值矩阵及融合数据最终矩阵D_f，并将融合数据最终矩阵D_f与预设的专家系统矩阵进行比对，以判断融合数据最终矩阵D_f是否能够触发相应的决策数据；其中，D_f＝D_p+D_v+D_t。

2.根据权利要求1所述的一种多维信息融合的安防系统决策方法，其特征在于，图像信息的D_p值矩阵、声音信息的D_v值矩阵或者文本信息D_t值矩阵可通过如下方法计算：

其中ω₁+ω₂+ω₃＝1；

n表示的是获取n组图像信息或者声音信息或者文本信息；

ω_i表示的是不同的组成部分权值；

w_ij表示的是图像信息或者声音信息或者文本信息抽象因素与预设的标准专家数据库因素相比较差值的权重；

α_is表示预设的专家数据库中的数值；

α_ij表示表示第i组图像信息或者声音信息或者文本信息的第j个属性值；

τ表示目标种类被单独附以权重值；

δ表示该目标的抽象属性是否在其他来源信息中也有。

3.一种多维信息融合的安防系统决策装置，其特征在于，包括：

信息获取模块，用于获取目标区域的图像信息、声音信息及文本信息；

处理器模块，用于根据所获取的图像信息、声音信息及文本信息构建图像信息的D_p值矩阵、声音信息的D_v值矩阵、文本信息D_t值矩阵及融合数据最终矩阵D_f，并将融合数据最终矩阵D_f与预设的专家系统矩阵进行比对，以判断融合数据最终矩阵D_f是否能够触发相应的决策数据；其中，D_f＝D_p+D_v+D_t。

4.根据权利要求3所述的一种多维信息融合的安防系统决策装置，其特征在于：

图像信息的D_p值矩阵、声音信息的D_v值矩阵或者文本信息D_t值矩阵可通过如下方法计算：

其中ω₁+ω₂+ω₃＝1；

n表示的是获取n组图像信息或者声音信息或者文本信息；

ω_i表示的是不同的组成部分权值；

w_ij表示的是图像信息或者声音信息或者文本信息抽象因素与预设的标准专家数据库因素相比较差值的权重；

α_is表示预设的专家数据库中的数值；

α_ij表示表示第i组图像信息或者声音信息或者文本信息的第j个属性值；

τ表示目标种类被单独附以权重值；

δ表示该目标的抽象属性是否在其他来源信息中也有。

5.根据权利要求3或4所述的一种多维信息融合的安防系统决策装置，其特征在于：

该处理器模块包括前置数据初级处理器和后置服务器，该前置数据初级处理器被设置成用于接收来自信息获取模块所获取的图像信息、声音信息及文本信息，并对所述的图像信息、声音信息及文本信息进行去噪处理后发送至后置服务器。

6.根据权利要求3或4所述的一种多维信息融合的安防系统决策装置，其特征在于：

该信息获取模块包括用于获取图像信息的图像信息获取单元、用于获取声音信息的声音信息获取单元以及用于获取文本信息的文本信息获取单元，其中，

该图像信息获取单元包括摄像头；

该声音信息获取单元包括能够获取声音信号的传感器；

该文本信息获取单元包括为网络安全员配备的文本信息录入终端。

7.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1或2所述的一种多维信息融合的安防系统决策方法。

8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1或2所述的一种多维信息融合的安防系统决策方法。

Images