CN111475498A - 一种异质消防数据的处理方法、装置及存储介质 - Google Patents

Abstract

本发明实施例提供了一种异质消防数据的处理方法、装置及存储介质，所述方法包括：获取消防数据；通过预处理所述消防数据确定异质消防数据；对所述异质消防数据进行校正处理；本发明通过获取消防数据，通过预处理消防数据，确定消防数据中异质消防数据，根据异质消防数据的特征信息，使用相对应数据校正策略，对其异质消防数据进行相对应的数据校正处理，能够有效地消除异质消防数据质量问题，提高其异质消防数据的数据可用性，使得异质消防数据能够用于数据分析。

Description

一种异质消防数据的处理方法、装置及存储介质

技术领域

本发明涉及数据处理技术领域，特别是涉及一种异质消防数据的处理方法、装置及存储介质。

背景技术

消防设备、应急照明设备等小数据目前在消防控制室或者区域监控中心已经初步建立，但在跨部门、跨行业的大数据汇集共享上，不同程度的存在信息壁垒、信息孤岛的现象，每个消防系统设备之间尚未建立有效的信息交换、共享的机制和平台，这样在整体消防行业的趋势预测、数据分析就缺失完整的大数据支撑。

在大数据中分有高质量的数据以及低质量数据，虽然数量足够多，但实际上数据质量并非完全一致，存在参差不齐；其他质量问题，但事实上因不确定性等因素的存在，仅从技术层面上将数据质量问题完全消除是非常困难的，可操作的解决方法往往是对实例层数据质量问题进行一定程度的修正，达到提高数据质量的实际效果。

目前对于消防数据中对于异质消防数据处理方法，一般选择舍弃异质消防数据，但舍弃的异质消防数据仍存在其自身价值，如何处理异质消防数据以及提高异质消防数据的可用性是需要解决的问题。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种异质消防数据的处理方法和相应的一种异质消防数据的处理装置。

为了解决上述问题，本发明实施例公开了一种异质消防数据的处理方法，所述方法包括：

获取消防数据；

通过预处理所述消防数据确定异质消防数据；

对所述异质消防数据进行校正处理；

进一步地，所述获取消防数据的步骤，包括：

预设置消防数据库；

在所述预设置消防数据库内获取消防数据；

进一步地，所述通过预处理所述消防数据确定异质消防数据的步骤，包括：

对所述消防数据进行预处理，所述预处理包括检查消防数据一致性、处理无效值和缺失值；

当所述消防数据未能满足消防数据一致性、超出处理无效值阈值和缺失值阈值中的任意一项时，确定为异质消防数据。

进一步地，所述对所述异质消防数据进行校正处理的步骤，包括：

预设异质消防数据特征信息，所述特征信息包括数据丢失、数据无效、数据不一致；

检测当前所述异质消防数据的特征信息；

根据所述特征信息对所述异质消防数据进行相对应的校正处理；

进一步地，所述根据所述特征信息对所述异质消防数据进行相对应的校正处理的步骤，包括：

当所述特征信息为数据丢失时，对所述异质消防数据进行数据丢失处理；

当所述特征信息为数据无效时，对所述异质消防数据进行数据无效处理；

当所述特征信息为数据不一致时，对所述异质消防数据进行数据不一致处理；

进一步地，所述对所述异质消防数据进行数据丢失处理的步骤，包括：

获取所述异质消防数据的遗漏值；

根据贝叶斯线性回归模型计算最可能值；

使用所述最可能值填充所述遗漏值；

进一步地，所述对所述异质消防数据进行数据无效处理的步骤，包括：

对所述异质消防数据进行平滑数据处理，其中平滑数据处理包括分箱法、聚类算法以及多元线性回归；

通过平滑数据处理消除数据无效；

进一步地，所述对所述异质消防数据进行数据不一致处理的步骤，包括：

记录所述异质消防数据中不一致数据；

更正所述不一致数据；

本发明实施例还公开了一种异质消防数据的处理装置，所述装置包括：

获取模块，用于获取消防数据；

预处理模块，用于通过预处理所述消防数据确定异质消防数据；

校正模块，用于对所述异质消防数据进行校正处理；

本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时，实现上述方法的步骤。

本发明实施例包括以下优点：通过获取消防数据，通过预处理消防数据，确定消防数据中异质消防数据，根据异质消防数据的特征信息，使用相对应数据校正策略，对其异质消防数据进行相对应的数据校正处理，能够有效地消除异质消防数据质量问题，提高其异质消防数据的数据可用性，使得异质消防数据能够用于数据分析。

附图说明

图1是本发明一种异质消防数据的处理方法实施例一的步骤流程图；

图2是本发明一种异质消防数据的处理方法实施例二的步骤流程图；

图3是本发明一种异质消防数据的处理方法实施例三的步骤流程图；

图4是本发明一种异质消防数据的处理方法实施例四的步骤流程图；

图5是本发明一种异质消防数据的处理方法实施例五的步骤流程图；

图6是本发明一种异质消防数据的处理方法实施例六的步骤流程图；

图7是本发明一种异质消防数据的处理方法实施例七的步骤流程图；

图8是本发明一种异质消防数据的处理方法实施例八的步骤流程图；

图9是本发明一种异质消防数据的处理装置某一实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种异质消防数据的处理方法实施例一的步骤流程图，具体可以包括如下步骤：

步骤S10，获取消防数据；

步骤S20，通过预处理所述消防数据确定异质消防数据；

步骤S30，对所述异质消防数据进行校正处理；

在本发明实施例中，通过获取消防数据，在消防数据中通过预处理得到异质消防数据，根据异质消防数据的特征信息，对异质消防数据进行相对应的校正处理；其中异质消防数据在本发明中能够相适应的理解为质量较低、质量较差；能够对消防数据中数据质量进行一定程度的校正，实现提高数据质量的实际效果。

参照图2，示出了本发明的一种异质消防数据的处理方法实施例二的步骤流程图，所述获取消防数据，具体可以包括如下步骤：

步骤S101，预设置消防数据库；

步骤S102，在所述预设置消防数据库内获取消防数据；

在本发明实施例中，通过在预设置的消防数据库内，获取消防数据；基于目前数据共享形成的大数据库，能够将跨行业、跨领域之间的大数据进行汇集以及共享；通过获取消防设备或者消防系统的消防数据，形成预设置消防数据库，能够有效地针对消防数据进行质量分析，并对其中的异质消防数据进行处理，实现整个消防数据的可用性的同时，也提高了对整体消防行业在大数据的支撑，能够明确其趋势以及长远分析。

参照图3，示出了本发明的一种异质消防数据的处理方法实施例三的步骤流程图，所述通过预处理所述消防数据确定异质消防数据，具体可以包括如下步骤：

步骤S201，对所述消防数据进行预处理，所述预处理包括检查消防数据一致性、处理无效值和缺失值；

步骤S202，当所述消防数据未能满足消防数据一致性、超出处理无效值阈值和缺失值阈值中的任意一项时，确定为异质消防数据；

在本发明实施例中，通过对消防数据进行预处理，预处理分别为检测消防数据是否一致、消防数据的处理无效值以及消防数据的缺失值；当消防数据不一致、处理无效值超出预先设置的阈值以及缺失值超出预先设置的阈值时，将当前预处理的消防数据确定为异质消防数据；通过对数据进行检测、分析，根据预先设定阈值，判断当前的消防数据是否为异质消防数据，便于后续对于异质消防数据处理，也避免将高质量的消防数据作为异质消防数据进行处理，而导致其质量降低。

参照图4，示出了本发明的一种异质消防数据的处理方法实施例四的步骤流程图，所述对所述异质消防数据进行校正处理，具体可以包括如下步骤：

步骤S301，预设异质消防数据特征信息，所述特征信息包括数据丢失、数据无效、数据不一致；

步骤S302，检测当前所述异质消防数据的特征信息；

步骤S303，根据所述特征信息对所述异质消防数据进行相对应的校正处理；

在本发明实施例中，通过预设的异质消防数据特征信息，特征信息分别是数据丢失、数据无效、数据不一致，通过获取异质消防数据中的特征信息，分析其在数据丢失、数据无效以及数据不一致中所占比重，确定该异质消防数据的具体特征信息，根据其具体的特征信息进行相对应的校正处理；能够实现有效的针对异质消防数据的质量问题进行相对应的校正处理。

参照图5，示出了本发明的一种异质消防数据的处理方法实施例五的步骤流程图，所述根据所述特征信息对所述异质消防数据进行相对应的校正处理，具体可以包括如下步骤：

步骤S3031，当所述特征信息为数据丢失时，对所述异质消防数据进行数据丢失处理；

步骤S3032，当所述特征信息为数据无效时，对所述异质消防数据进行数据无效处理；

步骤S3033，当所述特征信息为数据不一致时，对所述异质消防数据进行数据不一致处理；

在本发明实施例中，根据特征信息包括数据丢失、数据无效、数据不一致，相对应的对异质消防数据作出相应的处理，能够有效地解决异质消防数据的实际质量问题，提高其数据的可用性。

参照图6，示出了本发明的一种异质消防数据的处理方法实施例六的步骤流程图，所述对所述异质消防数据进行数据丢失处理，具体可以包括如下步骤：

步骤S30311，获取所述异质消防数据的遗漏值；

步骤S30312，根据贝叶斯线性回归模型计算最可能值；

步骤S30313，使用所述最可能值填充所述遗漏值；

在本发明实施例中，所述数据丢失指待处理数据部分属性数据遗漏，需要对其进行补充；通过获取异质消防数据中数据遗漏，形成遗漏值；再通过贝叶斯线性回归模型推导计算其最可能值，将最可能值用于填充遗漏值；其中贝叶斯线性回归模型是使用统计学中贝叶斯推断方法求解的线性回归模型，将线性模型的参数视为随机变量，并通过模型参数(权重系数)的先验计算其后验；贝叶斯线性回归可以使用数值方法求解，在一定条件下，也可得到解析型式的后验或其有关统计量；能够实现在数据丢失下通过计算最可能值用于填充至遗漏值，对具有数据丢失特征信息的异质消防数据进行数据校正处理。

参照图7，示出了本发明的一种异质消防数据的处理方法实施例七的步骤流程图，所述对所述异质消防数据进行数据无效处理，具体可以包括如下步骤：

步骤S30321，对所述异质消防数据进行平滑数据处理，其中平滑数据处理包括分箱法、聚类算法以及多元线性回归；

步骤S30322，通过平滑数据处理消除数据无效；

在本发明实施例中，所述数据无效是数据测量变量的随机错误或偏差；通过对异质消防数据进行平滑数据处理；平滑数据处理包括分箱法、聚类算法以及多元线性回归；其中分箱法通过考察邻域值来平滑存储数据的值，因分箱法可导致值相邻，能够实现局部平滑；聚类算法通过聚类将类似的值组织形成集合，对于集合外数据进行舍弃；多元线性回归可以通过数据拟合一个函数来平滑数据，找出适合数据的数学方程式；通过平滑数据处理能够有效地实现消除数据无效。

参照图8，示出了本发明的一种异质消防数据的处理方法实施例八的步骤流程图，所述对所述异质消防数据进行数据不一致处理，具体可以包括如下步骤：

步骤S30331，记录所述异质消防数据中不一致数据；

步骤S30332，更正所述不一致数据；

在本发明实施例中，对于异质消防数据存在数据不一致的情况，将其进行记录，记录后再加以更正，使得更正后的异质消防数据的质量调高，提高其数据可用性。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图9，示出了本发明的一种异质消防数据的处理装置某一实施例的结构框图，具体可以包括如下模块：

获取模块1001，用于获取消防数据；

预处理模块1002，用于通过预处理所述消防数据确定异质消防数据；

校正模块1003，用于对所述异质消防数据进行校正处理。

在一优选实施例中，所述获取模块1001可以包括：

消防数据库单元，用于预设置消防数据库；

第一获取单元，用于在所述预设置消防数据库内获取消防数据。

在一优选实施例中，所述预处理模块1002可以包括：

预处理子单元，用于对所述消防数据进行预处理，所述预处理包括检查消防数据一致性、处理无效值和缺失值；

确定单元，用于当所述消防数据未能满足消防数据一致性、超出处理无效值阈值和缺失值阈值中的任意一项时，确定为异质消防数据。

在一优选实施例中，所述校正模块1003可以包括：

异质消防数据特征信息单元，用于预设异质消防数据特征信息，所述特征信息包括数据丢失、数据无效、数据不一致；

检测单元，用于检测当前所述异质消防数据的特征信息；

校正子单元，用于根据所述特征信息对所述异质消防数据进行相对应的校正处理。

在一优选实施例中，所述校正子单元可以包括：

数据丢失处理单元，用于当所述特征信息为数据丢失时，对所述异质消防数据进行数据丢失处理；

数据无效处理单元，用于当所述特征信息为数据无效时，对所述异质消防数据进行数据无效处理；

数据不一致处理单元，用于当所述特征信息为数据不一致时，对所述异质消防数据进行数据不一致处理。

在一优选实施例中，所述数据丢失处理单元可以包括：

遗漏值单元，用于获取所述异质消防数据的遗漏值；

计算单元，用于根据贝叶斯线性回归模型计算最可能值；

填充单元，用于使用所述最可能值填充所述遗漏值。

在一优选实施例中，所述数据无效处理单元可以包括：

平滑数据处理单元，用于对所述异质消防数据进行平滑数据处理，其中平滑数据处理包括分箱法、聚类算法以及多元线性回归；

消除单元，用于通过平滑数据处理消除数据无效。

在一优选实施例中，所述数据不一致处理单元可以包括：

记录单元，用于记录所述异质消防数据中不一致数据；

更正单元，用于更正所述不一致数据。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时，执行如本申请实施例中的应用程序的日志生成方法。

本发明实施例包括以下优点：通过获取消防数据，通过预处理消防数据，确定消防数据中异质消防数据，根据异质消防数据的特征信息，使用相对应数据校正策略，对其异质消防数据进行相对应的数据校正处理，能够有效地消除异质消防数据质量问题，提高其异质消防数据的数据可用性，使得异质消防数据能够用于数据分析。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种异质消防数据的处理方法、装置及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种异质消防数据的处理方法，其特征在于，包括：

获取消防数据；

通过预处理所述消防数据确定异质消防数据；

对所述异质消防数据进行校正处理。

2.根据权利要求1所述的方法，其特征在于，所述获取消防数据的步骤，包括：

预设置消防数据库；

在所述预设置消防数据库内获取消防数据。

3.根据权利要求1所述的方法，其特征在于，所述通过预处理所述消防数据确定异质消防数据的步骤，包括：

对所述消防数据进行预处理，所述预处理包括检查消防数据一致性、处理无效值和缺失值；

当所述消防数据未能满足消防数据一致性、超出处理无效值阈值和缺失值阈值中的任意一项时，确定为异质消防数据。

4.根据权利要求1所述的方法，其特征在于，所述对所述异质消防数据进行校正处理的步骤，包括：

预设异质消防数据特征信息，所述特征信息包括数据丢失、数据无效、数据不一致；

检测当前所述异质消防数据的特征信息；

根据所述特征信息对所述异质消防数据进行相对应的校正处理。

5.根据权利要求4所述的方法，其特征在于，所述根据所述特征信息对所述异质消防数据进行相对应的校正处理的步骤，包括：

当所述特征信息为数据丢失时，对所述异质消防数据进行数据丢失处理；

当所述特征信息为数据无效时，对所述异质消防数据进行数据无效处理；

当所述特征信息为数据不一致时，对所述异质消防数据进行数据不一致处理。

6.根据权利要求5所述的方法，其特征在于，所述对所述异质消防数据进行数据丢失处理的步骤，包括：

获取所述异质消防数据的遗漏值；

根据贝叶斯线性回归模型计算最可能值；

使用所述最可能值填充所述遗漏值。

7.根据权利要求5所述的方法，其特征在于，所述对所述异质消防数据进行数据无效处理的步骤，包括：

对所述异质消防数据进行平滑数据处理，其中平滑数据处理包括分箱法、聚类算法以及多元线性回归；

通过平滑数据处理消除数据无效。

8.根据权利要求5所述的方法，其特征在于，所述对所述异质消防数据进行数据不一致处理的步骤，包括：

记录所述异质消防数据中不一致数据；

更正所述不一致数据。

9.一种异质消防数据的处理装置，其特征在于，包括：

获取模块，用于获取消防数据；

预处理模块，用于通过预处理所述消防数据确定异质消防数据；

校正模块，用于对所述异质消防数据进行校正处理。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，

所述程序被处理器执行时，实现权利要求1～8之任一项所述方法的步骤。

Images