CN107945082A - 一种应急预案生成方法和系统 - Google Patents

Abstract

本发明涉及一种应急预案生成方法和系统。该方法首先对目标案例及其关联案例进行结构化描述；利用模糊化方法对这些案例进行处理，生成案例的模糊化表示向量，然后计算目标案例与其它关联案例的相似度，从而生成案例模糊相似度集；设立模糊相似度阀值，从案例模糊相似度集中选取出相似度大于阀值的案例，生成目标案例的相似历史案例集，以及对应的应急预案集；构建强化学习系统，对相似历史案例集及对应的应急预案进行强化学习，生成概率判别函数，即对某一历史案例，能够准确快速地生成相应的应急预案；将目标案例代入概率判别函数，生成最后的应急预案。本发明能够在面对新的突发事件案例时，快速、自动、准确地生成相应的应急预案。

Description

一种应急预案生成方法和系统

技术领域

本发明涉及智慧城市领域，具体涉及一种应急预案生成方法和系统。

背景技术

目前，应急预案的生成是基于事发前已有的预案库，当突发事件发生时，从应急预案库中选取合适的预案进行处置。然而，突发事件具有突发性、变化性等特征，以往基于预案库选取预案的方式对处理突发事件存在不准确、效率低等问题。

专利CN201310752783.4已有的应急预案生成方法具体为：先将原有应急预案分解生成数字化应急预案库；根据突发事件的类型、等级等生成该事件下应急预案的信息维度；再匹配，选择出相似度最高的预案的过程维度信息生成初步处置流程；采用初始场景到结束场景线路正确的路线匹配策略进行正确性验证、修订，得到更为合理的处置流程；对突发事件进行处置，直至事件处理结束。如果应急事件扩大，则更新事件信息维度，循环执行上述流程直到处置结束。处理结束后，完善其他维度信息，形成新的数字化处置预案存入应急预案库，以便以后使用。

然而该类方法仍然是在已有的预案库中选取匹配度最高的预案，预案生成灵活度不高，并且不能从突发事件中自动学习预案生成方法。

发明内容

针对现有技术存在的缺陷，本发明提供一种基于模糊集相似性及强化学习的应急预案生成方法和系统，用于自动化、准确地生成预案。

为实现上述目的，本发明提供了一种应急预案生成方法，包括：

S1：对突发事件目标案例进行结构化描述，形成突发事件特征向量；

S2：计算所述突发事件目标案例与历史案例的相似度；

S3：对所述相似度设置相似度阈值，选取相似度大于相似度阈值的案例，构建相似历史案例集，及对应相似案例集的应急预案集；

S4：构建强化学习系统，利用所述相似历史案例集及对应相似案例集的应急预案集，生成突发事件应急预案；

S5：对应急预案效果进行的评估，建立判别函数；

S6：将目标案例输入判别函数，生成所述突发事件目标案例的应急预案。

进一步的，所述计算所述突发事件目标案例与历史案例的相似度具体为：利用模糊集相似性计算所述突发事件目标案例与历史案例的相似度。同时，利用所述模糊集相似性计算对所述突发事件目标案例与历史案例进行模糊化，分别获取所述突发事件目标案例与历史案例的模糊向量。所述历史案例Cn，计算其模糊向量Vn＝(v1，v2，v3……vk)，其中，vi表示事件模糊化后向量的维度。所述目标案例Y，计算其模糊化后的向量N＝(n1，n2，n3……nk)。从而，利用模糊集相似性计算所述突发事件目标案例与历史案例的相似度具体为：计算目标案例Y与任一历史案例Cn的余弦值，得到模糊相似度集。

进一步的，强化学习系统采用贪心算法进行构建，具体包括四元组<X，A，P，R>，其中X表示历史案例集，A表示根据案例选择某一个预案，P表示选择某一预案的概率值ε或1-ε，R表示指的是某一应对预案的效果评价。

优选的，所述强化学习系统是通过在突发事件案例集X中使用所述贪心算法进行迭代运算，从而学习到一个判别函数policy，根据所述判别函数，在状态X下就能得知要执行的所述预案A＝policy(X)。所述判别函数优劣取决于所述累计奖赏R，累积奖赏R越大，所述判别函数效率越优，选择判别函数效率优所对应的预案A，构成突发事件应急预案的备选预案集。所述某一预案的概率值ε或1-ε。

另外，本发明还提供了一种应急预案生成系统，包括：

突发事件描述单元，用于对突发事件目标案例进行结构化描述，形成突发事件特征向量；

相似度计算单元，与突发事件描述单元相耦合，用于计算所述突发事件目标案例与历史案例的相似度；

相似案例集构建单元，与相似度计算单元相耦合，用于对所述相似度设置相似度阈值，选取相似度大于相似度阈值的案例，构建相似历史案例集，及对应相似案例集的应急预案集；

强化学习单元，与相似案例集构建单元相耦合，对所述突发事件案例及应对方案进行学习；利用所述相似历史案例集及对应相似案例集的应急预案集，生成突发事件应急预案；

应急预案评估单元，与强化学习单元相耦合，用于对应急预案效果进行的评估，建立判别函数；

应急预案生成单元，与应急预案评估单元相耦合，将目标案例输入判别函数，生成所述突发事件目标案例的应急预案。

进一步的，所述相似度计算单元具体为：利用模糊集相似性计算所述突发事件目标案例与历史案例的相似度。利用所述模糊集相似性计算对所述突发事件目标案例与历史案例进行模糊化，分别获取所述突发事件目标案例与历史案例的模糊向量。所述相似度计算单元对所述历史案例Cn，计算其模糊向量Vn＝(v1，v2，v3……vk)，其中，vi表示事件模糊化后向量的维度。所述相似度计算单元对所述目标案例Y，计算其模糊化后的向量N＝(n1，n2，n3……nk)。所述相似度计算单元计算所述突发事件目标案例与历史案例的相似度具体为：计算目标案例Y与任一历史案例Cn的余弦值，得到模糊相似度集。

进一步的，所述强化学习单元采用贪心算法进行构建，具体包括四元组<X，A，P，R>，其中X表示历史案例集，A表示根据案例选择某一个预案，P表示选择某一预案的概率值ε或1-ε，R表示指的是某一应对预案的效果评价。通过在突发事件案例集X中使用所述贪心算法进行迭代运算，从而学习到一个判别函数policy，根据所述判别函数，在状态X下就能得知要执行的所述预案A＝policy(X)。所述判别函数优劣取决于所述累计奖赏R，累积奖赏R越大，所述判别函数效率越优，选择判别函数效率优所对应的预案A，构成突发事件应急预案的备选预案集。所述强化学习单元中的所述某一预案的概率值ε或1-ε。

附图说明

附图，其被包括以提供本发明的进一步理解而且被并入并构成本说明书的一部分，所述附图示出本发明的实施例并且连同说明书用来解释本发明的原理，在附图中：

图1是本发明的应急预案生成流程图；

图2是道路交通案例结构化表示示意图；

图3是构建的应急预案系统示意图；

图4是强化学习流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

现在将详细参考本发明的实施例，这些实施例的示例在附图中示出。元件的后缀“模块”和“单元”在此用于方便描述，并且因此可以可交换地被使用，而且没有任何可区别的意义或功能。

本发明实施例提供了一种应急预案生成方法，如图1所示，包括：

S1：对突发事件目标案例进行结构化描述，形成突发事件特征向量；

S2：计算所述突发事件目标案例与历史案例的相似度；

S3：对所述相似度设置相似度阈值，选取相似度大于相似度阈值的案例，构建相似历史案例集，及对应相似案例集的应急预案集；

S4：构建强化学习系统，利用所述相似历史案例集及对应相似案例集的应急预案集，生成突发事件应急预案；

S5：对应急预案效果进行的评估，建立判别函数；

S6：将目标案例输入判别函数，生成所述突发事件目标案例的应急预案。

进一步的，所述计算所述突发事件目标案例与历史案例的相似度具体为：利用模糊集相似性计算所述突发事件目标案例与历史案例的相似度。同时，利用所述模糊集相似性计算对所述突发事件目标案例与历史案例进行模糊化，分别获取所述突发事件目标案例与历史案例的模糊向量。所述历史案例Cn，计算其模糊向量Vn＝(v1，v2，v3……vk)，其中，vi表示事件模糊化后向量的维度。所述目标案例Y，计算其模糊化后的向量N＝(n1，n2，n3……nk)。从而，利用模糊集相似性计算所述突发事件目标案例与历史案例的相似度具体为：计算目标案例Y与任一历史案例Cn的余弦值得到模糊相似度集。

进一步的，强化学习系统采用贪心算法进行构建，具体包括四元组<X，A，P，R>，其中X表示历史案例集，A表示根据案例选择某一个预案，P表示选择某一预案的概率值ε或1-ε，R表示指的是某一应对预案的效果评价。

具体的，利用ε-贪心算法来构建强化学习系统，算法如下：

输入：目标案例的相似案例集的应对方案数K；

相似案例集的应对方案评价函数R；

尝试次数T；

探索概率ε；

过程：

1：R＝0；

2：对任意的i＝1，2，…K：Q(i)＝0，count(i)＝0；(Q(i)和count(i)分别记录相似案例集的某一个应对方案的平均评价和选中次数)

3：foR t＝1，2，…，T do

4：if Rand()<ε then

5：k＝从1，2，…，K中以均匀分布随机选取

6：else

7：k＝选取平均评价最高的方案

8：end if

9：v＝R(k)；

10：R＝R+v；

11：Q(k)＝(Q(k)×count(k)+v)/(count(k)+1)；

12：count(k)＝count(k)+1；

13：end foR

输出：累计评价R

将突发事件目标案例输入强化学习系统(学习器)，如图4所示，当满足迭代条件时，按概率从相似案例集应急预案中选取相应预案，并对选取的预案进行效果评估，评估后，对预案评估结果进行累加，得到最后的累积评价，获得累积评价最好的案例，即可生成目标案例的应急预案。

通过不断调整概率值ε，找到使累计评价R最高的ε值，建立判别函数policy(X)，其中X表示的是案例，判别函数以概率值ε从方案中以均匀分布随机选取，以概率值1-ε选取平均评价最高的方案。所述判别函数优劣取决于所述累计奖赏R，累积奖赏R越大，所述判别函数效率越优，选择判别函数效率优所对应的预案A，构成突发事件应急预案的备选预案集。将目标案例输入判别函数policy，从而生成目标案例应对预案。

本发明另一实施例还提出了一种具体的道路交通突发事件应急预案生成方法，具体包括如下步骤：

对突发事件目标案例及其所对应的已有突发事件案例集进行结构化描述，以发生的一场道路交通突发事件Y为例，将Y以及与Y相关的已有道路交通案例进行结构化描述，如图2所示，即将道路交通突发事件结构化属性表示为{事故原因、降雨量、降雪量、障碍物、散落物、财产损失}；

将目标案例及其对应的已有突发事件案例集进行模糊化表示并计算它们之间的相似度。以某一道路交通突发事件Y为例，其对应的已有突发事件案例C＝{C1，C2，...，Cm}，首先将它们的结构化属性转化为定性描述，再利用转化函数将定性描述变为定量描述。以财产损失属性为例，可将财产损失转化为模糊集{轻微、中度、严重}，财产损失轻微模糊集指的是损失小于1万元，中度模糊集指的是损失大于等于1万元小于10万元，重度模糊集指的是损失大于等于10万元。当财产损失属于轻微模糊集时，即损失小于1万元时，对应的转化函数为1/(1-ln(损失值/10000))；当财产损失属于中度模糊集时，即损失大于等于一万元小于10万元，对应的转化函数为ln(损失值/10000)；当财产损失属于重度模糊集时，即损失大于等于10万元时，对应的转化函数为1/ln(损失值/10000)。因此，通过以上模糊化方法，即可以把突发事件案例集进行模糊化的表示。对已有案例Ci来说，Ci转化为{vi1，vi2，...，vim}，目标案例Y转化为{y1，y2，...，yn}，然后计算目标案例Y与任一已有案例的余弦值从而得到模糊相似度集。

设立相似度阀值β为0.825，从模糊相似度集中选取相似度值大于等于β的已有案例，形成相似历史案例集，并构建起相似历史案例集所对应的历史应急预案集。

构建相应的强化学习系统，对突发事件案例及应对方案进行学习，通过对应对方案效果的评估，最终生成判别函数。强化学习任务对应了四元组<X，A，P，R>，X表示历史案例集，A表示根据案例选择某一个预案，P表示选择某一预案的概率值ε或者1-ε，R表示指的是某一应对预案的效果评价，强化学习系统要做的是通过不断尝试从而学习到一个判别函数policy，根据这个判别函数，在X下就能得知要执行的动作A＝policy(X)，这里的判别函数为概率函数，判别函数的优劣取决于较长期执行这它后的累计奖赏，累计奖赏越大，判别函数越优。

本发明的算法参数选择如下：

强化学习算法的迭代次数T设为2000次；相似历史案例集应急预案评估函数R为sign(预案)，当应急预案历史效果好时，R为1，当其效果差时，R为-1；ε表示选择某一预案的探索概率，先设定它的值为0.01，在算法每迭代2000次后，再依次累加0.01，继续算法迭代，直至ε累加至1.0，再从这100个ε值中选取使得累积评价R最大的ε值。

当找到这样的ε值后，在面对目标案例时，随机生成一个大于0小于1的正数，如果它小于ε，则从相似案例集的应对方案中随机选取一个方案；如果它大于ε，则从相似案例集的应对方案中选取平均评价最高的一个方案。

另外，本发明实施例还提供了一种应急预案生成系统，如图3所示，包括：

突发事件描述单元，用于对突发事件目标案例进行结构化描述，形成突发事件特征向量；

相似度计算单元，与突发事件描述单元相耦合，用于计算所述突发事件目标案例与历史案例的相似度；

相似案例集构建单元，与相似度计算单元相耦合，用于对所述相似度设置相似度阈值，选取相似度大于相似度阈值的案例，构建相似历史案例集，及对应相似案例集的应急预案集；

强化学习单元，与相似案例集构建单元相耦合，对所述突发事件案例及应对方案进行学习；利用所述相似历史案例集及对应相似案例集的应急预案集，生成突发事件应急预案；

应急预案评估单元，与强化学习单元相耦合，用于对应急预案效果进行的评估，建立判别函数；

应急预案生成单元，与应急预案评估单元相耦合，将目标案例输入判别函数，生成所述突发事件目标案例的应急预案。

进一步的，所述相似度计算单元具体为：利用模糊集相似性计算所述突发事件目标案例与历史案例的相似度。利用所述模糊集相似性计算对所述突发事件目标案例与历史案例进行模糊化，分别获取所述突发事件目标案例与历史案例的模糊向量。所述相似度计算单元对所述历史案例Cn，计算其模糊向量Vn＝(v1，v2，v3……vk)，其中，vi表示事件模糊化后向量的维度。所述相似度计算单元对所述目标案例Y，计算其模糊化后的向量N＝(n1，n2，n3……nk)。所述相似度计算单元计算所述突发事件目标案例与历史案例的相似度具体为：计算目标案例Y与任一历史案例Cn的余弦值，得到模糊相似度集。

进一步的，所述强化学习单元采用贪心算法进行构建，具体包括四元组<X，A，P，R>，其中X表示历史案例集，A表示根据案例选择某一个预案，P表示选择某一预案的概率值ε或1-ε，R表示指的是某一应对预案的效果评价。通过在突发事件案例集X中使用所述贪心算法进行迭代运算，从而学习到一个判别函数policy，根据所述判别函数，在状态X下就能得知要执行的所述预案A＝policy(X)。所述判别函数优劣取决于所述累计奖赏R，累积奖赏R越大，所述判别函数效率越优，选择判别函数效率优所对应的预案A，构成突发事件应急预案的备选预案集。将目标案例输入判别函数policy，从而生成目标案例应对预案。

本说明书详述各种实施例。应理解关于一个实施例详述的方法、要素和概念可与关于其他实施例详述的方法、要素和概念组合。尽管一些此类布置已特别描述，但许多还没有描述——由于大量的置换和组合。然而，所有此类组合的实施方式根据所提供教导对于技术人员是直截了当的。

在本说明书中公开的不同实施例内的要素和教导也意味着交换和组合。节标题仅为读者方便而提供，并且不应理解为限制实施例或本发明的保护范围。在一个标题下的教导和要素可以容易地与在另一个标题下的要素和教导组合。

尽管本发明已详述行为的特别排序与要素的特别组合，但应认识到其他所考虑方法可以重排序行为(可能省略一些行为和添加其他行为)，并且其他所考虑组合可省略一些要素和添加其他要素，等等。

尽管公开为完整系统，但所详述布置的子组合也被单独考虑(例如，省略完整系统的各种特征)。

鉴于上面讨论的原理和特征可应用到的各种实施例，显然详述实施例仅是例示性的，并且不应认为限制本发明的保护范围。相反，我们将我们的发明要求为所有此类修改均可落入附随权利要求及其等同物的保护范围和实质之内。

Claims (20)

1.一种应急预案生成方法，包括：

S1：对突发事件目标案例进行结构化描述，形成突发事件特征向量；

S2：计算所述突发事件目标案例与历史案例的相似度；

S3：对所述相似度设置相似度阈值，选取相似度大于相似度阈值的案例，构建相似历史案例集，及对应相似案例集的应急预案集；

S4：构建强化学习系统，利用所述相似历史案例集及对应相似案例集的应急预案集，生成突发事件应急预案；

S5：对应急预案效果进行的评估，建立判别函数；

S6：将目标案例输入判别函数，生成所述突发事件目标案例的应急预案。

2.如权利要求1所述的应急预案生成方法，所述计算所述突发事件目标案例与历史案例的相似度具体为：利用模糊集相似性计算所述突发事件目标案例与历史案例的相似度。

3.如权利要求2所述的应急预案生成方法，所述利用模糊集相似性计算所述突发事件目标案例与历史案例的相似度之前还包括：利用所述模糊集相似性计算对所述突发事件目标案例与历史案例进行模糊化，分别获取所述突发事件目标案例与历史案例的模糊向量。

4.如权利要求3所述的应急预案生成方法，对所述历史案例Cn，计算其模糊向量Vn＝(v1，v2，v3……vk)，其中，vi表示事件模糊化后向量的维度。

5.如权利要求3所述的应急预案生成方法，对所述目标案例Y，计算其模糊化后的向量N＝(n1，n2，n3……nk)。

6.如权利要求2所述的应急预案生成方法，所述利用模糊集相似性计算所述突发事件目标案例与历史案例的相似度具体为：计算目标案例Y与任一历史案例Cn的余弦值，得到模糊相似度集。

7.如权利要求1所述的应急预案生成方法，所述强化学习系统采用贪心算法进行构建，具体包括四元组＜X，A，P，R＞，其中X表示历史案例集，A表示根据案例选择某一个预案，P表示选择某一预案的概率值ε或1-ε，R表示指的是某一应对预案的效果评价。

8.如权利要求7所述的应急预案生成方法，所述强化学习系统是通过在突发事件案例集X中使用所述贪心算法进行迭代运算，从而学习到一个判别函数policy，根据所述判别函数，在状态X下就能得知要执行的所述预案A＝policy(X)。

9.如权利要求7所述的应急预案生成方法，所述判别函数优劣取决于所述累计奖赏R，累积奖赏R越大，所述判别函数效率越优，选择判别函数效率优所对应的预案A，构成突发事件应急预案的备选预案集。

10.如权利要求7所述的应急预案生成方法，所述某一预案的概率值ε或1-ε。

11.一种应急预案生成系统，包括：

突发事件描述单元，用于对突发事件目标案例进行结构化描述，形成突发事件特征向量；

相似度计算单元，与突发事件描述单元相耦合，用于计算所述突发事件目标案例与历史案例的相似度；

相似案例集构建单元，与相似度计算单元相耦合，用于对所述相似度设置相似度阈值，选取相似度大于相似度阈值的案例，构建相似历史案例集，及对应相似案例集的应急预案集；

强化学习单元，与相似案例集构建单元相耦合，对所述突发事件案例及应对方案进行学习；利用所述相似历史案例集及对应相似案例集的应急预案集，生成突发事件应急预案；

应急预案评估单元，与强化学习单元相耦合，用于对应急预案效果进行的评估，建立判别函数；

应急预案生成单元，与应急预案评估单元相耦合，将目标案例输入判别函数，生成所述突发事件目标案例的应急预案。

12.如权利要求11所述的应急预案生成系统，所述相似度计算单元具体为：利用模糊集相似性计算所述突发事件目标案例与历史案例的相似度。

13.如权利要求12所述的应急预案生成系统，所述相似度计算单元还包括：利用所述模糊集相似性计算对所述突发事件目标案例与历史案例进行模糊化，分别获取所述突发事件目标案例与历史案例的模糊向量。

14.如权利要求13所述的应急预案生成系统，所述相似度计算单元对所述历史案例Cn，计算其模糊向量Vn＝(v1，v2，v3……vk)，其中，vi表示事件模糊化后向量的维度。

15.如权利要求13所述的应急预案生成系统，所述相似度计算单元对所述目标案例Y，计算其模糊化后的向量N＝(n1，n2，n3……nk)。

16.如权利要求12所述的应急预案生成系统，所述相似度计算单元计算所述突发事件目标案例与历史案例的相似度具体为：计算目标案例Y与任一历史案例Cn的余弦值，得到模糊相似度集。

17.如权利要求11所述的应急预案生成系统，所述强化学习单元采用贪心算法进行构建，具体包括四元组＜X，A，P，R＞，其中X表示历史案例集，A表示根据案例选择某一个预案，P表示选择某一预案的概率值ε或1-ε，R表示指的是某一应对预案的效果评价。

18.如权利要求17所述的应急预案生成系统，所述强化学习单元是通过在突发事件案例集X中使用所述贪心算法进行迭代运算，从而学习到一个判别函数policy，根据所述判别函数，在状态X下就能得知要执行的所述预案A＝policy(X)。

19.如权利要求17所述的应急预案生成系统，所述强化学习单元中的所述判别函数优劣取决于所述累计奖赏R，累积奖赏R越大，所述判别函数效率越优，选择判别函数效率优所对应的预案A，构成突发事件应急预案的备选预案集。

20.如权利要求17所述的应急预案生成系统，所述强化学习单元中的所述某一预案的概率值ε或1-ε。