CN111680021A - 一种多源异构灾情数据处理、呈现方法及装置 - Google Patents

Abstract

本说明书一个或多个实施例提供一种多源异构灾情数据处理、呈现方法及装置，通过根据数据来源类型确定数据源编码结果，根据数据中的灾害类型，确定灾情信息编码结果，从多源异构灾情数据中提取目标数据，将目标数据、数据源编码和灾情信息编码统一进行存储，建立了目标数据和数据源、灾情信息之间的关联性，更全面地反映出不同来源、不同灾害类型的灾情数据的特征和属性，通过编码的方式尽可能完整的保存多源异构灾情数据的来源信息和灾害信息，实现异源、异构灾情信息的统一融合，能够更加有条理地对多源异构灾情数据进行管理和呈现。

Description

一种多源异构灾情数据处理、呈现方法及装置

技术领域

本说明书一个或多个实施例涉及灾情数据处理技术领域，尤其涉及一种多源异构灾情数据处理、呈现方法及装置。

背景技术

地震灾害是最为严重的自然灾害之一，每年造成的伤亡人数都十分庞大，地震发生后，政府部门急需了解地震灾害规模、最严重灾害区域、灾区背景信息等，公众则需要了解地震破坏状况、救灾措施和地震灾害发展态势，地震应急信息的快速收集、处理、判定和发布，对提高抗震救灾能力，安抚公众和稳定社会具有重要的意义。

由于地震灾情信息包括来自于全国范围内的速报网络的信息和舆情信息等，来源复杂、结构各异，目前对于多源异构灾情数据的处理和存储往往只是根据灾害类型进行区分，缺少灾情获取来源，由于灾情信息往往来源广，数量大，对来源进行统计往往更有利于分析地震灾情情况，做出判断，辅助救援，因此缺少灾情信息来源码字会造成灾情信息的不完整性，在呈现请求的数据时由于缺乏规范统一的数据存储方式，呈现数据的过程往往耗费大量的时间和精力，也容易造成数据的杂乱和丢失。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种多源异构灾情数据处理、呈现方法及装置，以解决多源异构灾情数据处理信息没有考虑数据来源，处理和呈现数据缺乏统一化、规范化的问题。

基于上述目的，本说明书一个或多个实施例提供了一种多源异构灾情数据处理方法，包括：

读取多源异构灾情数据；

根据多源异构灾情数据的来源类型所对应的预设的编码集中的第一码字，确定多源异构灾情数据的数据源编码结果；

根据多源异构灾情数据的灾害类型所对应的预设的编码集中的第二码字，确定多源异构灾情数据的灾情信息编码结果；

从多源异构灾情数据中提取目标数据，将同一多源异构灾情数据包含的目标数据、所对应的数据源编码和灾情信息编码统一进行存储。

优选地，读取多源异构灾情数据包括：

识别多源异构灾情数据的来源类型；

根据多源异构灾情数据的来源类型，选择对应的预设接口算法进行读取。

优选地，根据多源异构灾情数据的灾害类型所对应的编码集中的第二码字，确定多源异构灾情数据的灾情信息编码结果包括：

根据多源异构灾情数据的灾害大类、灾害子类和灾害小类分别得出其在编码集中对应的第一子编码、第二子编码和第三子编码，将第一子编码、第二子编码和第三子编码拼接组成灾情信息编码结果。

优选地，在灾情信息编码结果前添加灾情信息的地理位置所对应的基础地理信息码，形成多源异构灾情数据的灾情信息最终编码结果。

优选地，从多源异构灾情数据中提取目标数据包括：

为读取的多源异构灾情数据设定规范格式，规范格式中包含用于识别出目标数据的标识码；

排除不符合规范格式的多源异构灾情数据，从符合规范格式的多源异构灾情数据中根据标识码提取目标数据。

一种多源异构灾情数据呈现方法，基于上述的任意一种多源异构灾情数据处理方法，呈现方法包括：

根据接收到的数据请求，确定与数据请求相关的数据源编码和灾情信息编码；

从存储的多源异构灾情数据中提取出与数据源编码和灾情信息编码对应的目标数据，并予以呈现。

优选地，呈现方法还包括，采用机器学习算法根据目标数据预测灾情烈度，具体包括：

采用交叉验证递归消除法对所有目标数据进行特征选择，得到初始特征集；

采用网格搜索法遍历所有初始特征集，对初始特征集进行调参，得到优选特征集；

采用主成分分析降维法，对优选特征集进行降维，得到指定维数的特征向量集；

采用特征向量集对建立好的预测模型进行反复训练直到预测模型收敛；

将目标数据输入收敛的预测模型，预测灾情烈度。

一种多源异构灾情数据处理装置，包括：

读取模块，用于读取多源异构灾情数据；

数据源编码模块，用于根据多源异构灾情数据的来源类型所对应的编码集中的第一码字，确定多源异构灾情数据的数据源编码结果；

灾情信息编码模块，用于根据多源异构灾情数据的灾害类型所对应的编码集中的第二码字，确定多源异构灾情数据的灾情信息编码结果；

数据提取模块，用于从多源异构灾情数据中提取目标数据；

数据存储模块，用于将同一多源异构灾情数据包含的目标数据、所对应的数据源编码和灾情信息编码统一进行存储。

优选地，还包括地理信息代码设置模块，用于在灾情信息编码结果前添加灾情信息的地理位置所对应的基础地理信息码，形成多源异构灾情数据的灾情信息最终编码结果。

一种多源异构灾情数据呈现装置，基于上述任意一种多源异构灾情数据处理装置，呈现装置包括：

请求处理模块：用于根据接收到的数据请求，确定与数据请求相关的数据源编码和灾情信息编码；

数据呈现模块，用于从存储的多源异构灾情数据中提取出与数据源编码和灾情信息编码对应的目标数据，并予以呈现。

从上面所述可以看出，本说明书一个或多个实施例提供的多源异构灾情数据处理、呈现方法及装置，通过根据数据来源类型确定数据源编码结果，根据数据中的灾害类型，确定灾情信息编码结果，从多源异构灾情数据中提取目标数据，将目标数据、数据源编码和灾情信息编码统一进行存储，建立了目标数据和数据源、灾情信息之间的关联性，更全面地反映出不同来源、不同灾害类型的灾情数据的特征和属性，通过编码的方式尽可能完整的保存多源异构灾情数据的来源信息和灾害信息，实现异源、异构灾情信息的统一融合，能够更加有条理地对多源异构灾情数据进行管理和呈现。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例的多源异构灾情数据处理方法示意图；

图2为本说明书一个或多个实施例的多源异构灾情数据呈现方法示意图；

图3为本说明书一个或多个实施例的多源异构灾情数据处理装置示意图；

图4为本说明书一个或多个实施例的多源异构灾情数据呈现装置示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本公开进一步详细说明。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。

本发明实施例提供一种多源异构灾情数据处理方法，如图1所示，包括如下步骤：

S101读取多源异构灾情数据；

S102根据多源异构灾情数据的来源类型所对应的预设的编码集中的第一码字，确定多源异构灾情数据的数据源编码结果；

上述数据源编码，是用于表示多源异构灾情数据的来源类型，如业务报送数据、泛在感知数据、舆情感知数据和承载体基础数据等，其中每种数据来源类型中还可包含若干子类，各子类对应的编码集中的第一码字如下表1所示，即用三位数的阿拉伯数字码作为数据源编码。

表1数据源编码表

S103根据多源异构灾情数据的灾害类型所对应的预设的编码集中的第二码字，确定多源异构灾情数据的灾情信息编码结果；

上述灾情信息编码，是用于表示多源异构灾情数据的灾害类型，灾害类型中可进一步分为灾害大类、灾害子类和灾害小类，如灾害大类包括人员伤亡及失踪、房屋破坏、生命线工程灾情和次生灾害等，灾害大类、灾害子类和灾害小类分别在编码集中对应第一子编码、第二子编码和第三子编码，如下表2所示，将第一子编码、第二子编码和第三子编码拼接组成七位阿拉伯数字码，作为第二码字，即灾情信息编码结果，其中第三子编码为4位数的灾情信息顺序号，未在表中示出。

表2灾情信息编码表

S104从多源异构灾情数据中提取目标数据，将同一多源异构灾情数据包含的目标数据、所对应的数据源编码和灾情信息编码统一进行存储。

其中，从多源异构灾情数据中提取目标数据具体包括：

为读取的多源异构灾情数据设定规范格式，规范格式中包含用于识别出目标数据的标识码；

排除不符合规范格式的多源异构灾情数据，从符合规范格式的多源异构灾情数据中根据标识码提取目标数据，举例来说，对于xml格式的多源异构灾情数据文件，标识码可以在文件中以代码形式呈现，如<name>王某某</name>表示伤亡或失踪人员姓名为王某某，<age>9</age>表示王某某的年龄为9岁。

对于Excel表格格式的多源异构灾情数据文件，标识码可以在文件中以行名和列名的形式呈现，如将伤亡或失踪人员的信息写入同一行中，用身份证号码作为行名，用姓名和年龄作为列名，分别用于识别人员的姓名和年龄。

上述将同一多源异构灾情数据包含的目标数据、所对应的数据源编码和灾情信息编码统一进行存储可以为：根据灾害类型分别建立多源异构数据库，将目标数据、所对应的数据源编码和灾情信息编码按下表3中所示的数据格式标准转换处理后进行存储。

表3

作为一种实施例，读取多源异构灾情数据包括：

识别多源异构灾情数据的来源类型；

根据多源异构灾情数据的来源类型，选择对应的预设接口算法进行读取。

举例来说，舆情感知数据接口算法如下：

1.设置接口地址：云服务器IP(域名)和端口，外部请求该地址；

2.规定数据格式：确定数据格式为Json数据文件；

3.规定文件名称规范：按照灾情类型编码设置不同的目录,规定目录下的数据文件命名规范；

4.发送数据:数据来源方可以通过一定的方式(例如ftp)将数据文件，按照规范发送到云服务器下的指定地址中；

5.启动监听服务：监听上述接口地址目录下的数据文件，搜索获取数据，这里我们采用了改进的rsync算法进行监控文件的变化,可以加快接口数据的接受速度。

通过对不同来源类型的多源异构灾情数据分别设置接口算法，可以对多源数据进行统一接收和管理，提供一个开放统一的应用环境，使获取到的灾情数据更加全面和及时。

作为一种实施例，在灾情信息编码结果前添加灾情信息的地理位置所对应的基础地理信息码，形成多源异构灾情数据的灾情信息最终编码结果。

上述基础地理信息码用于表示灾情信息发生的地理位置，举例来说，该基础地理信息码为12位，其中1～6位表示省、市、县(市、区)，采用《中华人民共和国行政区划代码》(GB/T2260—1995)中规定的代码；7～9位表示乡、镇或街道办事处代码，采用《县以下行政区划代码编制规则》(GB10114—88)的编码方法，001～099表示街道办事处，100～199表示镇，200～399表示乡；10～12位表示行政村、社区代码，形成的灾情信息最终编码结果为19位阿拉伯数字码。

通过添加基础地理信息码，可以在管理多源异构灾情数据时根据其灾情发生地理位置，更方便准确的进行管理。

本发明的实施例还提供一种多源异构灾情数据呈现方法，基于前述任意一种实施例中所述的多源异构灾情数据处理方法，所述呈现方法如图2所示，包括如下步骤：

S201根据接收到的数据请求，确定与数据请求相关的数据源编码和灾情信息编码；

如数据请求中包含某地某次地震中的人员伤亡和失踪情况，则数据源编码和灾情信息编码均是与该次地震的人员伤亡失踪情况相关的。

S202从存储的多源异构灾情数据中提取出与数据源编码和灾情信息编码对应的目标数据，并予以呈现。

上述呈现方式可以是将目标数据整理为指定文件发送给请求方，也可以显示在外部显示设备上，具体不做限定。

作为一种实施例，本方法还包括：

采用机器学习算法根据目标数据预测灾情烈度，具体包括：

采用交叉验证递归消除法(RFECV，Recursive Feature Elimination Cross-validation)对所有目标数据进行特征选择，得到初始特征集；

交叉验证递归消除法主要是反复构建模型，根据系数选出最符合要求的特征，把选出来的特征放到一边，然后在剩余的特征上重复该过程，直到遍历所有特征，在这个过程中被消除的次序就是特征的排序。

采用网格搜索法(Grid search)遍历所有初始特征集，对初始特征集进行调参，得到优选特征集；

网格搜索法是指定参数值的一种穷举搜索方法，通过将估计函数的参数通度过交叉验证的方法进行优化来得到最优的学习算法，即对特征进行交叉评估，自动调整至最佳参数组合，得到优选特征集。

采用主成分分析(PCA，Principal Component Analysis)降维法，对优选特征集进行降维，得到指定维数的特征向量集；

PCA降维，即将数据投射到低维子空间实现降维，如特征向量中既存在高维向量又存在低维向量，算法学习需要的样本数量呈指数级增加，通过PCA降维可以缓解维度灾难问题，并让信息损失最小化。

采用特征向量集对建立好的预测模型进行反复训练直到预测模型收敛；

将目标数据输入收敛的预测模型，预测灾情烈度。

举例来说，针对电信灾害数据，提取出的目标数据包括地理位置、包括舆情、震源深度、震级在内的非电信数据和包含传输光缆中断长度，通信设备损坏等级，基站退服个数和通信线杆倒塌个数在内的电信数据，采用机器学习算法将上述数据进行模型模型训练，最终可预测地震烈度和经济损失程度。

本发明实施例还提供一种多源异构灾情数据处理装置，如图3所示，包括：

读取模块301，用于读取多源异构灾情数据；

数据源编码模块302，用于根据多源异构灾情数据的来源类型所对应的编码集中的第一码字，确定多源异构灾情数据的数据源编码结果；

灾情信息编码模块303，用于根据多源异构灾情数据的灾害类型所对应的编码集中的第二码字，确定多源异构灾情数据的灾情信息编码结果；

数据提取模块304，用于从多源异构灾情数据中提取目标数据；

数据存储模块305，用于将同一多源异构灾情数据包含的目标数据、所对应的数据源编码和灾情信息编码统一进行存储。

作为一种实施方式，处理装置还包括地理信息代码设置模块，用于在灾情信息编码结果前添加灾情信息的地理位置所对应的基础地理信息码，形成多源异构灾情数据的灾情信息最终编码结果。

本发明实施例还提供一种多源异构灾情数据呈现装置，基于前述任意一种实施例中所述的多源异构灾情数据处理装置，所述呈现装置如图4所示，包括：

请求处理模块401：用于根据接收到的数据请求，确定与数据请求相关的数据源编码和灾情信息编码；

数据呈现模块402，用于从存储的多源异构灾情数据中提取出与数据源编码和灾情信息编码对应的目标数据，并予以呈现。

需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种多源异构灾情数据处理方法，其特征在于，包括：

读取多源异构灾情数据；

根据多源异构灾情数据的来源类型所对应的预设的编码集中的第一码字，确定所述多源异构灾情数据的数据源编码结果；

根据多源异构灾情数据的灾害类型所对应的预设的编码集中的第二码字，确定所述多源异构灾情数据的灾情信息编码结果；

从所述多源异构灾情数据中提取目标数据，将同一多源异构灾情数据包含的目标数据、所对应的所述数据源编码和所述灾情信息编码统一进行存储。

2.根据权利要求1所述的多源异构灾情数据处理方法，其特征在于，所述读取多源异构灾情数据包括：

识别多源异构灾情数据的来源类型；

根据多源异构灾情数据的来源类型，选择对应的预设接口算法进行读取。

3.根据权利要求1所述的多源异构灾情数据处理方法，其特征在于，根据多源异构灾情数据的灾害类型所对应的编码集中的第二码字，确定所述多源异构灾情数据的灾情信息编码结果包括：

根据所述多源异构灾情数据的灾害大类、灾害子类和灾害小类分别得出其在编码集中对应的第一子编码、第二子编码和第三子编码，将所述第一子编码、第二子编码和第三子编码拼接组成灾情信息编码结果。

4.根据权利要求1所述的多源异构灾情数据处理方法，其特征在于，在所述灾情信息编码结果前添加所述灾情信息的地理位置所对应的基础地理信息码，形成所述多源异构灾情数据的灾情信息最终编码结果。

5.根据权利要求1所述的多源异构灾情数据处理方法，其特征在于，所述从所述多源异构灾情数据中提取目标数据包括：

为读取的多源异构灾情数据设定规范格式，所述规范格式中包含用于识别出目标数据的标识码；

排除不符合所述规范格式的多源异构灾情数据，从符合所述规范格式的多源异构灾情数据中根据所述标识码提取目标数据。

6.一种多源异构灾情数据呈现方法，其特征在于，基于如权利要求1-5中任意一项所述的多源异构灾情数据处理方法，所述呈现方法包括：

根据接收到的数据请求，确定与所述数据请求相关的数据源编码和灾情信息编码；

从存储的多源异构灾情数据中提取出与所述数据源编码和所述灾情信息编码对应的所述目标数据，并予以呈现。

7.根据权利要求6所述的多源异构灾情数据呈现方法，其特征在于，所述方法还包括，采用机器学习算法根据所述目标数据预测灾情烈度，具体包括：

采用交叉验证递归消除法对所有所述目标数据进行特征选择，得到初始特征集；

采用网格搜索法遍历所有所述初始特征集，对所述初始特征集进行调参，得到优选特征集；

采用主成分分析降维法，对所述优选特征集进行降维，得到指定维数的特征向量集；

采用所述特征向量集对建立好的预测模型进行反复训练直到预测模型收敛；

将所述目标数据输入收敛的预测模型，预测灾情烈度。

8.一种多源异构灾情数据处理装置，其特征在于，包括：

读取模块，用于读取多源异构灾情数据；

数据源编码模块，用于根据多源异构灾情数据的来源类型所对应的编码集中的第一码字，确定所述多源异构灾情数据的数据源编码结果；

灾情信息编码模块，用于根据多源异构灾情数据的灾害类型所对应的编码集中的第二码字，确定所述多源异构灾情数据的灾情信息编码结果；

数据提取模块，用于从所述多源异构灾情数据中提取目标数据；

数据存储模块，用于将同一多源异构灾情数据包含的目标数据、所对应的所述数据源编码和所述灾情信息编码统一进行存储。

9.根据权利要求8所述的多源异构灾情数据处理装置，其特征在于，还包括地理信息代码设置模块，用于在所述灾情信息编码结果前添加所述灾情信息的地理位置所对应的基础地理信息码，形成所述多源异构灾情数据的灾情信息最终编码结果。

10.一种多源异构灾情数据呈现装置，其特征在于，基于如权利要求8-9中任意一项所述的多源异构灾情数据处理装置，所述呈现装置包括：

请求处理模块：用于根据接收到的数据请求，确定与所述数据请求相关的数据源编码和灾情信息编码；

数据呈现模块，用于从存储的多源异构灾情数据中提取出与所述数据源编码和所述灾情信息编码对应的所述目标数据，并予以呈现。

Images