CN103984708A - 巨灾风险大数据处理的应急分解分拣方法及系统 - Google Patents

Abstract

本发明涉及大数据处理领域，更具体地，涉及一种巨灾风险大数据处理的应急分解分拣方法及系统。所述方法包括：采集巨灾风险中的大数据；将大数据事件按照不相交的事件属性进行分类，然后再按照大数据事件下的一级或者多级的事件逐层分解，直至大数据事件不可分解为止；将采集到的事件数据进行初级判断使各事件分别归类到最低层级的事件中；最后将各最低一级的事件数据根据该级其事故灾难度进行分拣处理。本发明的方法首先在整体上对巨灾风险大数据进行事件分类和层级分解，然后在最低层级的事件中根据其灾害严重度对该层级下的数据进行判比分拣，使得各事件数据都有唯一的层级和事故灾难度，该方法能够对大数据进行快速有效的分拣处理。

Description

巨灾风险大数据处理的应急分解分拣方法及系统

技术领域

本发明涉及大数据处理领域，更具体地，涉及一种巨灾风险大数据处理的应急分解分拣方法及系统。

背景技术

巨灾是指对人民生命财产造成特别巨大的破坏损失，对区域或国家经济社会产生严重影响的灾害事件。巨灾风险实际上是指因重大自然灾害、疾病传播、恐怖主义袭击或特大人为事故造成的生命或财产巨大损失的风险。巨灾风险中的大数据表现在于：死亡人数巨大、伤员数量特多、灾民数量特多、财产损失巨大、受灾面积巨大，因而导致保险金额巨大、银行资金损失巨大、巨额的灾害救济金，然后又进一步导致应急联动规模庞大、应急救援队伍庞大、自救互救规模庞大、志愿者队伍庞大、记者队伍庞大、应急物资需要量巨大、医疗药品需要量巨大，进而最终导致人的信息传递量大、移动网络信息频繁、手机短信使用频繁、微博微信发布频繁、媒体报导铺天盖地、物流网络信息繁忙、物联网信息繁忙等。巨灾中所涉及的灾害损失数据都是大数据。大数据实际上是指巨量的资料，即所涉及的资料量规模巨大到无法透过目前主流的软件或数据分析工具在合理的时间内达到撷取、管理、处理和整理。由此可知，大数据除了非常庞大和复杂之外，数据之间的关系也是异常的错综复杂。在应急管理中，大数据表现为巨大风险的严重程度远远超过正常载体的承受能力，除了所涉及的数据量庞大和信息异常的错综复杂之外，查询问题的方法和应急管理方法也非常复杂，涉及的人、事、物的面多而广，无法采用常规的数据处理方法比如数据仓库、软件分析和数据挖掘等方法来处理和整理。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷(不足)，提供一种能有效、快速针对巨灾风险中的大数据进行处理的巨灾风险大数据处理的应急分解分拣方法。

本发明还提供一种能有效、快速对巨灾风险中的大数据进行处理的巨灾风险大数据处理的应急分拣系统。

为解决上述技术问题，本发明的技术方案如下：

一种巨灾风险大数据处理的应急分解分拣方法，包括：

S1.采集巨灾风险中的大数据；

S2.将大数据事件按照不相交的事件属性进行分类；

S3.按照大数据事件一级或者多级的事件逐层分解，直至大数据事件不可分解为止；S4.将采集到的大数据按事故灾难度进行初级判断，使各大数据事件分别归类到最低层级的事件中；

S5.将各最低层级事件中的大数据根据其事故灾难度进行分拣处理。

本发明的方法首先在整体上对巨灾风险大数据进行层级分解，然后在最低层级中根据大数据事件的事故灾难度对该层层级下的大数据进行判别与分拣处理，使得巨灾风险下大数据中的各类数据都有唯一的层级和标识符，能够对大数据进行快速有效的分拣处理。

作为一种优选方案，所述S5的具体步骤包括：

S51.根据最低层级事件的事故灾难度用n个不同的标识符数字表示n个不同程度的事故灾害后果；

S52.以某一种事故灾难度作为基准，然后在n个标识符数字中选择某一标识符数字来标识该事故灾难度的事件，该标识符数字即为基准数据，将该最低层级事件中的大数据与基准数据进行比较形成三类数据：事故灾难度严重于基准数据所代表事件的事故灾难度的大数据、事故灾难度轻于基准数据所代表事件的事故灾难度的大数据以及事故灾难度等同于基准数据所代表事件的事故灾难度的大数据，将形成的三类数据分别分配对应的标识符数字；

S53.将形成的三类数据重复执行步骤S52至该最低层级事件中的大数据均分配到唯一的与其事故灾难度相匹配的标识符数字为止。

本发明针对巨灾风险中大数据的快速、有效的处理提出了一种应急分解分拣算法，通过设置基准数据来对大数据中各类事件的事故灾难度所对应的标识符进行对比判断，能够快速有效地将大数据进行一一归类，对大数据的分拣非常有效。

作为进一步的优选方案，所述S5中还包括：

建立n个与该最低层级事件的n个事故灾难度相匹配的应急工作点，n个应急工作点用于存储对应标识符数字所表示的事故灾难度的相应大数据事件。不同事故灾难度事件的标识符数字对于不同的应急工作点来存储分拣好的数据，方便对巨灾后续工作的应急救援、医疗急救、物资发放、指挥调度等工作的协调管理。

一种巨灾风险大数据处理的应急分解分拣系统，包括：

数据采集模块，用于采集巨灾风险中的大数据；

事件分类模块，用于将大数据事件按照不相交的事件属性进行分类

事件分解模块，按照大数据事件下的一级或者多级的事件逐层分解，直至大数据事件不可分解为止；

事件分拣模块，用于将各最低层级事件中的大数据根据该级的事故灾难度进行分拣处理。

本发明的系统首先构建事件分类模块，然后再构建分解模块，最后构建分拣模块。其中事件分类模块将大数据事件按照不相交的事件属性进行分类，事件分解模块在整体上对巨灾风险大数据事件进行逐层分解，再应用最低层级事件的分拣模块对不同事故灾难度的大数据事件进行判别分拣，使得各类事件都有唯一的层级和标识符数字，实现对大数据进行快速、有效的分拣处理。

作为一种优选方案，所述事件分拣模块具体包括：

事故灾难度标识模块，用于根据最低层级事件的事故灾难度用n个不同的标识符数字表示n个不同程度的事故灾害后果；

判别模块，用于以某一种事故灾难度作为基准，在n个标识符数字中选择某一标识符数字来标识该事故灾难度的事件，该数字即为基准数据，将该最低层级事件中的大数据与基准数据进行比较形成三类数据：事故灾难度严重于基准数据所代表事件的事故灾难度的大数据、事故灾难度轻于基准数据所代表事件的事故灾难度的大数据以及事故灾难度等同于基准数据所代表事件的事故灾难度的大数据，将形成的三类数据分别分配对应的标识符数字，并将形成的三类数据进行第一批分拣后，重新选择新的基准数据继续进行判比，一直到该最低层级事件中的大数据均分配到唯一的标识符数字为止。

本发明针对大数据的分拣构建了事故灾难度标识模块和判别模块，通过在判别模块中设置基准数据来对大量的数据进行判比，能够快速有效地将大数据进行一一归类，最后经过大数据的分拣模块对大数据进行快速且高效率的分拣。

作为进一步的优选方案，所述事件分拣模块还包括：

应急工作点模块，用于建立n个与该最低层级事件的n个事故灾难度相匹配的应急工作点，n个应急工作点用于存储对应数字所表示的事故灾难度的相应大数据事件。本发明的系统构建的应急工作点模块是根据不同事件的事故灾难度来建立的，应急分拣后的数据通过应急工作点来存储，方便对巨灾后续工作的应急救援、医疗急救、物资发放、指挥调度等工作的协调管理。

与现有技术相比，本发明技术方案的有益效果是：

本发明的方法和系统通过对大数据进行事件分类、层级分解以及最低层级事件的应急分拣，能够有效快速地对大数据进行应急分拣处理。

附图说明

图1为本发明一种巨灾风险大数据处理的应急分解分拣方法具体实施例的流程图。

图2为实施例1中最低层级事件中包括偶数个事故灾难度时进行大数据分拣的原理图。

图3为实施例1中最低层级事件中包括奇数个事故灾难度时进行大数据分拣的原理图。

图4为本发明一种巨灾风险大数据的数据处理的应急分拣系统具体实施例的架构模块流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实例对本发明的技术方案做进一步的说明。

实例1

如图1所示，为本发明一种巨灾风险大数据处理的应急分解分拣方法具体实施的流程图。参见图1，本发明提出一种巨灾风险大数据处理的应急分解分拣方法的具体步骤包括：

S101.采集巨灾风险中的大数据；

S102.将大数据事件按照不相交的事件属性进行分类；

S103.按照大数据事件下的一级或者多级的事件逐层分解，直至大数据事件不可分解为止；

S104.然后将采集到的大数据进行初级判断，使大数据分别归类到最低层级事件中；

S105.将各最低层级事件中的大数据根据其事故灾难度进行分拣处理。其中，通常地在同一次巨灾风险中，把受灾严重性属于同一灾难程度或灾害级别的事故灾难后果称之为具有相同的事故灾难度，把不同的灾难程度或灾害级别的事故灾难后果称之为具有不相同的事故灾难度。

在具体实施过程中，由于采集的大数据种类繁多，信息繁杂，因此，在步骤S102、S103中根据采集到的数据先对其按照不相交的事件属性进行分类，然后按照巨灾风险大数据事件的层级结构进行逐层分解，使得每一个采集到的数据能够对应到具体的层级。具体地，可以采用如下步骤进行分级：

第1步：将大数据事件应急分类：

将一场巨灾风险的各类大数据按照不相交的事件属性分为若干类，假设为N类：A₁，A₂，…，A_N，则A_i(i＝1，2，…，N)满足

第2步：大数据事件应急分解；

(i)对每一类大数据事件A_i，按照其二级事件不相交的属性进行分解，不妨假设A₁可分为m₁(m₁≥1)个子类：A₂可分为m₂(m₂≥1)个子类：可分为m_N(m_N≥1)个子类： 则大数据事件A_i(i＝1，2，…，N)的二级子事件A_ij(j＝1，2，…，m_j，下同。)，满足 $\underset{j=1}{\overset{m_j}{\∩}}{A}_{\mathrm{ij}}=\mathrm{\Φ};$

(ii)对每一类大数据的二级事件A_ij，如果还可以继续分解为三级子事件，则按第2步中(i)的方法继续往下分解；

第3步：重复第2步，如此继续进行，一直分解到事件不可再分解为止。

在具体实施过程中，步骤S105的具体步骤包括：

S1051.根据最低层级事件的事故灾难度用n个不同的标识符数字表示n个不同程度的事故灾害后果；假设某巨灾风险大数据的一级事件可分为n类(n≥1为正整数，下同)，各类别大数据最低层级事件按照该层级数据的不同程度的事故灾害后果度分别用1，2，3，…，n的标识符数字来标识不同程度的事故灾害后果。

S1052.以某一种事故灾难度作为基准，然后在n个标识符数字中选择某一标识符数字来标识该事故灾难度的事件，该标识符数字即为基准数据，将该最低层级事件中的大数据与基准数据进行比较形成三类数据：事故灾难度严重于基准数据所代表事件的事故灾难度的大数据、事故灾难度轻于基准数据所代表事件的事故灾难度的大数据以及事故灾难度等同于基准数据所代表事件的事故灾难度的大数据，将形成的三类数据分别分配对应的标识符以及对应的标识符区域；具体地，假设，如果n为偶数，则选取n的中值为基准数据v，此时如果n为奇数，则选取不大于的最大整数部分作为基准数据v，此时

接着，对该层级下的所有大数据，将其与基准数据所代表事件的事故灾难度进行比较。具体比较方法如下：

(i)n为偶数，则事故灾难度属于中度者全都分派相同的标识符数字并设立临时应急工作点，编号为“”。对事故灾难度严重于基准数据v的全都分派区域标识符a(a＜v)；对事故灾难度轻于基准数据v的全都分派区域标识符b(b＞v)。于是形成了：事故灾难度中度的应急工作点编号为“”，事故灾难度严重的应急工作点编号小于“”，事故灾难度轻的应急工作点编号大于“”。此时，巨灾风险大数据应急分拣原理如图2所示。

(ii)n为奇数，则事故灾难度属于中度者全都分派相同的标识符数字并设立临时应急工作点，编号为“”。对事故灾难度严重于基准数据v的全都分派区域标识符a(a＜v)；对事故灾难度轻于基准数据v的全都分派区域标识符b(b＞v)。于是形成了：事故灾难度中度的应急工作点编号为“”，事故灾难度严重的应急工作点编号小于“”，事故灾难度轻的应急工作点编号大于“ $\left[\frac{n}{2}\right]$ ”。

S1053.将形成的三类数据重复执行步骤S1052至该最低层级事件中的大数据均分配到唯一的标识符为止。即将基准数据v的左右两边的区域标识符a和b按照上述步骤S105的分拣原理再继续下去，直至所有的数据都被处理一遍。

在具体实施过程中，为了能够及时对分拣的数据进行存储和归类，本具体实施例还建立n个与该最低层级事件相对应的n个不同事故灾难度事件的应急工作点，n个应急工作点分别用于存储n个不同事故灾难度的各类数据方便对巨灾后续工作的应急救援、医疗急救、物资发放、指挥调度等工作的协调管理。

实施例2

本发明在实施1的基础上，还提出了一种巨灾风险大数据处理的应急分解分拣系统。如图4所示，为本发明一种巨灾风险大数据处理的应急分拣系统具体实施例的架构图。下面结合图4对本具体实施例一种巨灾风险大数据处理的应急分拣系统进行详细描述。

参见图4，本具体实施例一种巨灾风险大数据处理的应急分拣系统具体包括：

数据采集模块201，用于采集巨灾风险中的大数据；

事件分类模块202，用于将大数据事件按照不相交的事件属性进行分类；

事件分解模块203，按照大数据事件下的一级或者多级的事件逐层分解，直至大数据事件不可分解为止；

事件分拣模块204，用于将各最低层级事件中的大数据根据该级的重要度进行分拣处理。

其中，事件分拣模块204具体包括如下模块：

事故灾难度标识模块2041，用于根据最低层级事件的事故灾难度用n个不同的标识符数字表示n个不同程度的事故灾害后果；

判别模块2042，用于以某一种事故灾难度作为基准，在n个标识符数字中选择某一标识符数字来标识该事故灾难度的事件，该标识符数字即为基准数据，将该最低层级事件中的大数据与基准数据进行比较形成三类数据：事故灾难度严重于基准数据所代表事件的事故灾难度的大数据、事故灾难度轻于基准数据所代表事件的事故灾难度的大数据以及事故灾难度等同于基准数据所代表事件的事故灾难度的大数据，将形成的三类数据分别分配对应的标识符数字，并将形成的三类数据进行第一批分拣后，重新选择新的基准数据继续进行判比，一直到该最低层级事件中的大数据均分配到唯一的标识符数字为止。

在具体实施过程中，事件分解模块204可以内置如下算法对各大数据事件进行分解：

第1步：将大数据事件应急分类：

将一场巨灾风险的各类大数据按照不相交的事件属性分为若干类，假设为N类：A₁，A₂，…，A_N，则A_i(i＝1，2，…，N)满足

第2步：大数据事件应急分解

(i)对每一类大数据事件A_i，按照其二级事件不相交的属性进行分解，不妨假设A₁可分为m₁(m₁≥1)个子类：A₂可分为m₂(m₂≥1)个子类：可分为m_N(m_N≥1)个子类： 则大数据事件A_i(i＝1，2，…，N)的二级子事件A_ij(j＝1，2，…，m_j，下同。)，满足 $\underset{j=1}{\overset{m_j}{\∩}}{A}_{\mathrm{ij}}=\mathrm{\Φ};$

(ii)对每一类大数据的二级事件A_ij，如果还可以继续分解为三级子事件，则按第2步中(i)的方法继续往下分解；

第3步：重复第2步，如此继续进行，一直分解到事件不可再分解为止。

在具体实施过程中，判别模块2042中的基准数据优先选用中值。具体地，可以在判别模块2042中内置如下算法实现大数据的分拣：

假设，如果n为偶数，则选取n的中值为基准数据v，此时如果n为奇数，则选取不大于的最大整数部分作为基准数据v，此时

接着，对该层级下的所有大数据，将其与基准数据所代表的事故灾难度进行比较。具体比较如下：

(i)n为偶数，则事故灾难度属于中度者全都分派相同的标识符数字并设立临时应急工作点，编号为“”。对事故灾难度严重于基准数据v的全都分派区域标识符a(a＜v)；对事故灾难度轻于基准数据v的全都分派区域标识符b(b＞v)。于是形成了：事故灾难度中度的应急工作点编号为“”，事故灾难度严重的应急工作点编号小于“”，事故灾难度轻的应急工作点编号大于“”。

(ii)n为奇数，则事故灾难度属于中度者全都分派相同的标识符数字并设立临时应急工作点，编号为“”。对事故灾难度严重于基准数据v的全都分派区域标识符a(a＜v)；对事故灾难度轻于基准数据v的全都分派区域标识符b(b＞v)。于是形成了：事故灾难度中度的应急工作点编号为“”，事故灾难度严重的应急工作点编号小于“”，事故灾难度轻的应急工作点编号大于“ $\left[\frac{n}{2}\right]$ ”。

(iii)将基准数据v的左右两边的数据按照上述步骤的应急分拣原理再继续分拣，如此重复直至所有的大数据都被处理一遍。

在具体实施过程中，为了能够及时对分拣的数据进行存储和归类，本具体实施例在事件分拣模块204中设置了应急工作点模块2043，用于建立n个与该最低层级事件的n个事故灾难度对应的应急工作点，n个应急工作点用于存储对应事故灾难度标识符数字的大数据。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种巨灾风险大数据处理的应急分解分拣方法，其特征在于，包括：

S1.采集巨灾风险中的大数据；

S2.将大数据事件按照不相交的事件属性进行分类；

S3.按照大数据事件一级或者多级的事件逐层分解，直至大数据事件不可分解为止；

S4.将采集到的大数据按事故灾难度进行初级判断，使各大数据事件分别归类到最低层级的事件中；

S5.将各最低层级事件中的大数据根据其事故灾难度进行分拣处理。

2.根据权利要求1所述的巨灾风险大数据处理的应急分解分拣方法，其特征在于，所述S5的具体步骤包括：

S51.根据最低层级事件的事故灾难度用n个不同的标识符数字表示n个不同程度的事故灾害后果；

S52.以某一种事故灾难度作为基准，然后在n个标识符数字中选择某一标识符数字来标识该事故灾难度的事件，该标识符数字即为基准数据，将该最低层级事件中的大数据与基准数据进行比较形成三类数据：事故灾难度严重于基准数据所代表事件的事故灾难度的大数据、事故灾难度轻于基准数据所代表事件的事故灾难度的大数据以及事故灾难度等同于基准数据所代表事件的事故灾难度的大数据，将形成的三类数据分别分配对应的标识符数字；

S53.将形成的三类数据重复执行步骤S52至该最低层级事件中的大数据均分配到唯一的与其事故灾难度相匹配的标识符数字为止。

3.根据权利要求2所述的巨灾风险大数据处理的应急分解分拣方法，其特征在于， 所述S5中还包括：

建立n个与该最低层级事件的n个事故灾难度相匹配的应急工作点，n个应急工作点用于存储对应标识符数字所表示的事故灾难度的相应大数据事件。

4.一种巨灾风险大数据处理的应急分解分拣系统，其特征在于，包括：

数据采集模块，用于采集巨灾风险中的大数据；

事件分类模块，用于将大数据事件按照不相交的事件属性进行分类；

事件分解模块，按照大数据事件下的一级或者多级的事件逐层分解，直至大数据事件不可分解为止；

事件分拣模块，用于将各最低层级事件中的大数据根据该级的事故灾难度进行分拣处理。

5.根据权利要求4所述的巨灾风险大数据处理的应急分解分拣系统，其特征在于，所述事件分拣模块具体包括：

事故灾难度标识模块，用于根据最低层级事件的事故灾难度用n个不同的标识符数字表示n个不同程度的事故灾害后果；

判别模块，用于以某一种事故灾难度作为基准，在n个标识符数字中选择某一标识符数字来标识该事故灾难度的事件，该数字即为基准数据，将该最低层级事件中的大数据与基准数据进行比较形成三类数据：事故灾难度严重于基准数据所代表事件的事故灾难度的大数据、事故灾难度轻于基准数据所代表事件的事故灾难度的大数据以及事故灾难度等同于基准数据所代表事件的事故灾难度的大数据，将形成的三类数据分别分配对应的标识符数字，并将形成的三类数据进行第一批分拣后，重新选择新的基准数据继续进行判比，一直到该最低层级事件中的大数据均分配到唯一的标识符数字为止。

6.根据权利要求5所述的巨灾风险大数据处理的应急分解分拣系统，其特征在于，所述事件分拣模块还包括：

应急工作点模块，用于建立n个与该最低层级事件的n个事故灾难度相匹配的应急工作点，n个应急工作点用于存储对应标识符数字所表示的事故灾难度的相应大数据事件。