CN104850593A - 一种基于大数据的应急物资数据存储及流通监测方法 - Google Patents

Abstract

本发明公开了一种基于大数据的应急物资数据存储及流通监测方法。本发明设置一任务节点，将物流络中的计算节点形成计算环；任务节点根据收到的任务请求，从数据库中提取对应的进出库物资记录数据；并将其中的库对象作为分析对象与数据集进行分离；任务节点对计算环中的计算节点进行哈希处理后与所述分析对象进行映射，为每一计算节点分配一分析对象分割集；计算节点从收到的分析对象分割集中提取需要处理的分析对象，然后获取该分析对象与物流网中其他具有物资转运关系的库物资记录数据；然后根据收到的任务对象对该库物资记录数据进行异常检查，并将检查结果发送给任务节点。本发明能够对数据进行快速分析与监控。

Description

一种基于大数据的应急物资数据存储及流通监测方法

技术领域

本发明涉及物资流通大数据分析研究与应用领域，具体涉及一种基于大数据的应急物资数据存储及流通监测方法。针对应急工作特点以及物流信息管理与监控的需求，本发明以Key-Value列数据(HBase)为基础存储环境，基于并行架构实现支持层次化网络中P2P关系的快速分析，实现物流动态网络中路径、收发以及运输异常的高性能识别与分析技术。本发明在交通、航空、灾害防控、环境保护、人流监控、物流追溯等方面具有积极的应用价值。

背景技术

应急物资(Emergency Supplies)是指为应对严重自然灾害、突发性公共卫生事件、公共安全事件及军事冲突等突发公共事件应急处置过程中所必需的保障性物质。其主要包括以下类别：

●生命保障：此类物资主要包括用于灾区群众生命、健康保障物资，包括饮用水、食品、药品、帐篷等；

●救援装备：此类物资主要用于灾区救援工作，主要包括救援工程机械、应急通讯保障设备等；

应急物资是突发事故应急救援和处置的重要物质支撑。以地震为例，在应急处置工作中，需要集结大量各种类别应急资源。根据应急指挥统一调度、运输、分发。由于应急物资具有较大针对性，例如：药品针对伤员救助需求、食品\饮用水针对灾区人员安置需求、大型装备针对抢险救灾需求等。因此，针对应急工作特点建立高性能物流管理与信息服务系统是必须的。通过这一系统可以实现海量应急物资数据的统一管理、高性能查询、追溯以及实时异常检测等工作。为应急处置活动的顺利开展奠定基础。应急物流的管理离不开物资对象与物流网络两个基本元素。在应急工作中，这两个元素呈现以下两方面的特点

1.物资对象批量化组织：根据应急工作的特点，通常需要集结较大数量的同类物资。通过批次化的组织方式实现运输与分发。通常以批次为基础，针对个体对象进行统一的处置。在应急物资的管理活动中，批次化的组织方式是实现应急物资流通信息管理，跟踪以及异常发现的基础；

2.应急流通节点体系层次化与物流网络树形化：结合国家有关应急管理制度的要求。通常在灾区形成以省-市-县行政级别为层次的物资集散分发体系。在物资流通过程中，根据应急需求分批、分组定向运输，既而形成层次化、多流向的流通组织方式。

基于以上特点，应急物资流通的监测，主要包括在以下三个方面：

1.应急物资的流通网络监测：即为应急物资流通网络中的流通节点之间的层次关系的监测。根据管理与调度工作的要求，应急物资自一级流通节点依次向下一级节点流通，不允许同一级节点之间相互流通、跨等级流通以及不同的行政区域之间的流通。通常情况下，由于应急工作混乱、信息沟通不畅等原因，会发生物资转运错误的情况，因此需要在监控工作中针对全网范围物资的流向路径进行检查，消除流通错误的情况。

2.监控物资运输的异常：由于应急工作的特点，物流管理工作需要跟踪每一批次、每一分组物资的运输，及时发现由于各种原因导致的物资丢失、物资运输失效等情况；

3.基于批次的应急物资跟踪、溯源与异常发现：物资对象以批次为单位实现分发。在分发过程中经过分组，分发到不同节点。在物资流通过程中，根据不同节点物资分发与到达的数量统计，发现应急物流网络中的异常情况；可以快速追溯发生滞留、误操作的节点。同时，也可以基于时间针对物流情况进行统计，分析整个网络中物流工作的效率，协助决策优化。

数据的有序存储、管理、查询与统计的开展是应急物流管理的基础。应急工作具有较大的事件相关性。在灾害时间发生时会形成较大的突发数据增量。在多数应急工作中，应急物资种类繁多，数量庞大，往往形成较大的增量冲击。传统的关系数据库由于其一致性保障以及事务处理等方面技术实现机制的限制，无法应对突发性高增量应急物流数据的性能响应。针对这一情况，本发明基于大数据技术发明了一种应急物流监控技术。

发明内容

针对目前应急物资管理领域的技术方法与新的发展需求之间的矛盾，本发明的目的在于提供一种基于大数据的应急物资数据存储及流通监测方法。通过这一方法实现大数据应用背景下各种类别的应急物资的高性能监测。在这一基础上实现各种约束条件下应急物资流通的监测，及时发现流通过程中的异常现象，为完善应急物资管理，构建应急保障体系提供有效的技术支撑。

本发明的技术方案为：

一种基于大数据的应急物资数据存储方法，其特征在于，流通节点对于读取或收到的应急物资记录存储到一Key-value数据库Store中；其中，该数据库的库标识storeID哈希值为该记录的key，该库的全部进出物资记录、盘库信息作为该key对应value值；

所述Key-value数据库Store的数据存储模型为：SStorree＝{StoreID,resColumes},resColumes＝{rCol_i|i＝1,2,...n}；其中，resColumes为该数据 库的物资记录列族，其由n个列rCol构成，第i类物资记录在列rCol_i中；

对于任一列rCol＝{colName,rColArray},rColArray＝{rColCell_j|j＝1,2,.....m}；其中colName为列的名称，与物资批次标识resourceID对应；rColArray为列簇集合，rColCell_j是列簇集合rColArray中的第j个列簇rColcell，用于存储与当前列rcol对应物资的同一时段内进出库物资记录信息；m为列簇rColcell的总数。

进一步的，所述列簇集合rColArray包括两部分信息：1)基于时间流关系组织的进出库物资记录信息；2)记录所述数据库中物资库存情况的盘库信息。

进一步的，所述列簇集合rColArray是以时段划分创建，每一时段对应创建或扩展出一列，构成列簇集合 $\mathrm{rColArray}=\left\{{\left({\log }_{(t_{k-1},t_k),}{\mathrm{storeage}}_{(t_{k-1},t_k),}\right)}_k\right|k=\mathrm{1,2},....n\};$ 其中为第k-1到k时刻之间的进出库物资记录信息；为第k-1到k时刻之间的盘库信息； values＝{(from,to,Number,time,objectID)_p|p＝1,2,...s}，其中Lname为该时段物资记录簇的名称，Values为第k-1到k时刻内该批次物资的进出库物资记录信息，from为物资来源信息，to为物资流向信息，Number为进出库数量信息，Time为进出库操作时间信息，objectID为操作的物资标识。

进一步的，所述Lname由对应批次物资的标识加时间戳构成。

进一步的，所述盘库信息  ${\mathrm{storage}}_{(t_{k-1},t_k)}=\{\mathrm{SName},\mathrm{StoreValue}\},\mathrm{StoreValue}=\{{\mathrm{Storeage}}_{t_{k-1}},{\mathrm{Storage}}_{t_k}\};$ 其中，SName为盘库记录簇的名称，与该时段的物资记录簇对应；为t_k-1时刻所存储类别物资的库存情况，为t_k时刻所存储类别物资的库存情况。

一种基于大数据的应急物资流通监测方法，其步骤为：

1)在物流网中设置一任务节点，所述任务节点将物流络中的计算节点形成计算环；

2)所述任务节点根据收到的任务请求，从数据库中提取对应的进出库物资记录数据；并将其中的库对象作为分析对象与数据集进行分离；

3)所述任务节点对所述计算环中的计算节点进行哈希处理后与所述分析对象进行映射，为每一计算节点分配一分析对象分割集；

4)所述任务节点根据任务请求创建任务对象并将其与所述分析对象分割集一起发送给对应的计算节点；其中，所述任务对象用于缓存任务基本信息、映射信息，以及监控各个计算节点任务执行情况和收集汇总结果给所述任务节点；

5)所述计算节点从收到的分析对象分割集中提取需要处理的分析对象，然后获取该分析对象与物流网中其他具有物资转运关系的库物资记录数据；然后根据收到的任务对象对该库物资记录数据进行异常检查，并将检查结果发送给所述任务节点。

进一步的，所述异常检查的方法为：

71)计算节点该库记录数据中提取每个流通节点的进出库物资记录数据；然后根据该进出库物资记录数据，获取与其发生转运关系的进出库物资记录数据，得到一转运路径，检查该转运路径是否满足应急管理规则，如果存在异常则作为路径异常记录；

72)从所述任务节点获取转运关系库中与当前记录对应的收发货信息，检查是否存在收发不对应的情况，如果存在则作为收发异常记录；

73)将两记录A、B的时间与管理要求的时差要求进行对比，如果超过该时差，则作为运输异常记录；其中，记录A为物资p进入a库的记录，同时该记录标识物资来自b库；记录B为物资p出b库的记录，同时该记录标识发往a库。

进一步的，所述异常检查的方法为：

81)计算节点从所分配的分析对象集keys中获取当前分析对象，以及当前分析对象的全部进出库物资记录keyLogs；

82)计算节点从当前keyLogs中获取一条进出库物资记录log，如果该记录log为进库记录则获取当前记录log中物资来源信息，然后检查物资来源库与当前库的组织关系，如果违反应急管理规则则记录当前记录log为路径异常；如果该记录log为出库物资记录，则从该记录log中获取物资流向信息，然后检查物资流向库与当前库的组织关系，如果违反应急管理规则则记录该记录log为路径异常；

83)如果该记录log满足应急管理规则，则检查该记录log的收发货记录时间差是否符合设定条件，如果不符合，则记录当前记录log为运输异常。

进一步的，所述任务节点根据收到的任务请求，从数据库中提取对应的进出库物资记录数据的方法为：任务节点根据任务请求中的物资批次信息resourceID从数据库中获取对应名称的列，如果存在对应的列，则根据任务请求中的时间约束条件t₁确定其时段边界(t_k，t_k+1)、时间条件t2确定其时段边界(t_m，t_m+1)，然后分别获取t1、t2对应的列簇名称，然后将这两个列簇以及其之间全部时段列簇的数据记录形成选集；然后从该选集中逐条过滤，删除时间不满足t₁，t₂约束的数据；最后将选集中的剩余数据作为对应的进出库物资记录数据。

本发明基于Key-Value为模型的列数据库(HBase)为存储支撑；采用并行架构计算系统实现实时监控与异常识别；通过数据集与对象集分离的方式，实现物流网络中支持P2P关系 分析的技术。在这一基础上，面向应急指挥提供高性能的异常识别与流通监控等工具，满足应急处置工作的基本要求，实现快速分析与监控，其步骤包括：

1)基于Key-Value列数据库实现物流信息的高性能管理、组织；

1-1)围绕物流信息的特点以及Key-Vaule数据库存储膨胀、多值查询与索引效能低的特点，采用增量自适应的物流信息管理模型，实现物流信息的统一管理与组织。

1-2)在上述管理模型中，根据物资标识实现列的管理，实现物资分类的快速索引；

1-3)在上述管理模型中，根据时间段(1小时)自动划分物流信息的分段，每个时间分段的全部物流信息形成一对独立的进出库记录簇与盘库数据簇。以时间段与物资信息构成列簇的名称，实现快速检索；

1-4)在数据增量过程中，自动根据时间段形成新的列簇，并更新对应时段内盘库信息；

1-5)在上述存储组织的基础上，通过列、列簇的名称支持物流管理工作中常见的条件约束查询。克服Key-Value列数据库(HBase)的缺陷；

2)针对物流网络监控中的数据处理分析特点，建立并行架构，通过这一并行架构实现支持P2P关系的高性能分析。这一架构由两层构成，上层任务节点实现数据分割、任务调度与缓存管理；下层计算节点实现数据处理；

2-1)并行架构接受分析请求；

2-2)任务节点根据任务请求从底层数据库中提取对应的全部库的物资进出库记录数据；并将其中的库对象(每一库对象对应一库标识StoreID)作为分析对象与数据集进行分离；每一数据库为一分析对象，数据集为数据库中存储的数据记录；各个流通节点都把本节点的记录数据存储在该底层数据库中。

2-3)任务节点将底层的计算节点形成计算环，将其进行哈希处理后与分析对象集进行映射，形成分析对象的分割；

2-4)任务节点根据任务请求创建任务对象并将其与分析对象的分割集一起发送给各个计算节点；同时，创建数据集缓存；任务对象主要用于缓存任务基本信息、映射信息，监控各个计算节点任务执行情况，收集汇总结果，这一任务对象需要发送给计算节点，在计算任务执行过程缓存，并与任务节点通信；

2-5)计算节点接受任务调度请求，开展计算分析；

2-6)在计算过程中，计算节点提取分割集中的分析对象，通过任务节点的缓存获取该分析对象与物流网中其他具有物资转运关系的库记录数据；

2-7)根据分析请求，计算节点完成异常检查。

3)在分析过程中，对每个流通节点依次分析；

4)计算节点在本地的分析子集(即该计算节点分配的要处理的库对象集合)中提取每个流通节点的进出库信息；

4-1)根据该进出库信息，获取与其发生转运关系的库信息得到一转运路径，检查其与当前库的路径是否满足应急管理规则(规则之前就创建好了，保存在计算节点中)，如果存在异常则作为路径异常记录；

4-2)从任务节点缓存中获取转运关系库中与当前记录对应的收发货信息，检查是否存在收发不对应的情况，如果存在则作为收发异常记录；

4-3)将两个记录A、B的时间与管理要求的时差要求进行对比，是否该转运工作的时差超过管理要求，如果超过则作为运输异常记录；其中，记录A：物资p进入a库的记录，同时，该记录标识物资来自b库；记录B：物资p出b库的记录，同时，该记录标识发往a库；

4-4)完成全部进出库记录的检查工作，形成当前库的全部异常信息汇总；

4-5)完成全部分析对象的检查工作，形成局部分析结果；

5)汇总全部分析结果，完成物流网络的分析工作，返回全部异常识别情况；

通过上述过程，本发明针对当前大数据应用环境下应急物资流通监测的前沿技术需求，利用键值数据库实现流式物流信息的管理与组织；在计算逻辑分层调度的基础上，通过并行节点实现高性能P2P关系分析，满足应急物资流通监测的要求。

本发明在“数据驱动”的原则基础上，突破传统的基于关系数据库的存储-处理架构模式限制。实现海量物流流式数据快速分析；

与现有技术相比，本发明的积极成果体现在：

1.本发明利用键值数据库实现海量流式数据的高性能管理。同时，针对键值数据库存储膨胀与索引效率低下的问题，发明了自适应的物流信息存储管理模型。这一模型在以物资标识与时间区间标识开展列与列簇的组织，实现流式物流记录数据的有序管理。满足查询与分析的响应性能需求；

2.本发明以并行架构为基础。通过多点协同计算实现大数据环境下的应急物资流网络P2P关系快速分析和实时监测。在分析和监测过程中，结合计算数据集与分析对象集分离、基于哈希映射的分析集分割的手段。实现并行环境下高性能P2P关系计算；

3.在上述大数据技术基础上，本发明提出了一种应急物流异常检测与识别方法，可以对层次化网络中的路径异常、运输异常以及转运异常进行高性能分析，满足应急物流管理与指挥调度工作的要求；

4.在基于大数据的应急物资流通监测的实验中表明。本发明所提供的方法在整体计算性能提升方面达到30％，在保证足够计算正确性的情况下有效提高海量应急物资流通监测的需 求；

综上，本发明针对应急物资的流通行为实现高性能监测，提供大数据背景下海量物资流通数据管理的核心技术。利用并行架构提高数据处理能力，在物资流通领域具有积极的应用价值。

附图说明

图1发明整体技术方案；

图2自适应的物流信息存储管理模型；

图3物流数据插入操作；

图4基于时间约束的查询操作；

图5支持P2P关系分析的并行计算架构图；

图6支持P2P关系分析的任务节点并行计算流程图；

图7支持P2P关系分析的计算节点并行计算流程图；

图8物流大数据高性能监控分析流程图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

应急物资流通监测工作的工作重心有两点：1)监控仓储异常与转运异常。检查当前物流网络中，是否存在分发、转运错误的情况。同时，检查物流网络中物资库存情况是否存在异常；2检查当前物流转运中的运输异常，是否存在路径混乱、转运失效与丢失、运输迟滞的情况。为指挥调度与决策提供依据。

结合应急工作中数据高增量、高并发的特点。本发明基于Hbase建立基本数据存储环境。针对HBase数据库key-value存储模型存储膨胀与数据组织效率低的问题。本发明通过扩展列簇的方式实现物流进出库流式数据的自适应组织。为开展全网物流异常检查提供支撑。

在海量数据高性能计算方面，本发明设计一种并行架构。与基于批处理模式Mapreduce不同，这一架构将数据集与分析对象集分离，将分析对象集分割并组织并行计算；在计算过程中，以内存共享的方式实现海量数据集的高性能分析。其由两个层次构成。上层由一任务节点构成，负责数据集的提取、任务的分割与调度以及缓存的管理。下层的多个计算节点根据分配的任务内容开展计算处理。分析、识别网络中的异常。结果经过汇聚后形成分析结论。

在这一并行架构的基础上，本发明设提出了应急物流异常快速检测、识别的技术。通过 这一技术可以实现应急物流的库存、分发、转运异常，也可以分析转运效率。满足应急处置活动中物流监控的基本要求。

本发明具体技术方案如图1所示

1.自适应的物流信息管理与组织模型

针对应急活动中高增量、高并发的数据特点。本发明以Hbase为基础实现基本数据存储管理。HBase数据库是基于Key-value的Nosql数据库。其基于CAP与BASE原则设计。具有较好基本IO性能与系统伸缩性。比较适合应急场景中大数据的管理。然而，Key-Value数据库的本质是一个以哈希关系构成的IO存储索引散列。仅在基于主Key的查询方面性能较好。在应急物流监控应用中多值查询、条件约束查询反面性能较差。针对这一问题，本发明在Key-Value的基础上，设计一种应急物流信息存储模型，在充分发挥Hbase性能的同时，满足上层分析的需求。

这一模型结构如图2所示，其定义如下：

SStorree＝{StoreID,resColumes},resColumes＝{rCol_i|i＝1,2,...n} 

其中StoreID为库标识，这一标识用于主key。每个库的全部物资进出库、盘库信息都记录在该主key对应的列中。

resColumes为该库的物资信息列族。其由一组列rCol构成。第i类物资都记录在列rCol_i中：

rCol＝{colName,rColArray},rColArray＝{rColCell_j|j＝1,2,.....m}

其中colName为该列的名称，这一名称与特定批次物资的标识resourceID对应、在查询中，通过批次标识可以直接定位当前库中所存储的列位置；rColCell_j是列簇集合rColArray中的第j个列簇rColcell；其用于存储与当前列rCol对应物资的同一时段内进出库信息；m为列簇集合中的列簇rColcell总数。

rColArray为列簇集合。一个库的物资信息由两个部分构成：1)进出库日志信息；2)盘库信息。进出库信息基于时间流关系组织进出库的基本日志；盘库信息根据要求记录特定时间本库该物资库存情况。在整个应急工作中，由于物流工作繁重，一个库的进出库数据会迅速膨胀。同时，由于缺乏必要的时间约束查询支持。在其中检索、查询特定时段的进出库信息较为困难。针对这一情况，本发明采用基于时项溢出的自适应簇组织。即将这个应急工作以特定时段区间(1小时)为划分，建立对应列簇。

$\mathrm{rColArray}=\left\{{\left({\log }_{(t_{k-1},t_k),}{\mathrm{storeage}}_{(t_{k-1},t_k),}\right)}_k\right|k=\mathrm{1,2},....n\};$

其中为第k-1到k时刻之间的物流信息记录簇(即进出库日志信息)；

为第k-1到k时刻之间的盘库信息记录簇；

values＝{(from,to,Number,time,objectID)_p|p＝1,2,...s}

其中Lname为该时段物流信息记录簇的名称，这一名称由该批次物资的标识加时间戳构成：def(Lname)＝resourceID∪t_k-1∪t_k；

Values为该时段内，该批次物资的进出库信息记录。其由一个时间序列构成。

from为物资来源信息，当本条信息为入库操作信息时，其记录向本库转运物资的发货库标识；当本条信息为出库操作信息时，其记录本库的标识；

to为物资流向信息，当本条信息为入库操作信息时，其记录向本库标识；当本条信息为出库操作信息时，其记录收货库的标识；

Number为进出库数量信息；

Time为该进出库操作时间信息；

objectID为该操作的物资标识；

${\mathrm{storage}}_{(t_{k-1},t_k)}=\{\mathrm{SName},\mathrm{StoreValue}\},\mathrm{StoreValue}=\{{\mathrm{Storeage}}_{t_{k-1}},{\mathrm{Storage}}_{t_k}\}$

其中SName为该盘库记录簇的名称，其名称与该时段的物流信息记录簇对应：

def(SName)＝def(Lname)∪"::Storage"

通过盘库记录簇与物流信息簇之间可以通过名称匹配快速定位。

为t_k-1时刻该库中该类物资的库存情况

为t_k时刻该库中该类物资的库存情况

在应急物资物流数据增量过程中，通过上述模型实现Key-value化的存储组织。这一过程如图3所示。

其基本流程如下：

1.接受进出库信息Msg；

2.从该Msg中获取当前操作的库标识；

3.检查当前数据表中是否存在该库标识对应的主键。如果有则执行步骤5，否则执行步骤4；

4.以该库标识为主key在数据表中创建新的库记录；

5.从该Msg信息中获取物资对象信息，并提取其对应的物资批次信息resourceID；

6.检查当前数据表中是否存在与resourceID对应的列名称；如果存在该列则执行步骤8 否则执行步骤7；

7.在当前数据表中创建新的列，该列的名称以resourceID为标识；

8.通过Msg获取该操作时间t，根据t确定时段边界t_k-1与t_k

9.查看当前库记录中resourceID对应的列中是否有与对应t_k-1与t_k时段的物流信息簇，如果有则执行步骤10否则执行步骤11；

10.将当前Msg记录在当前时段对应的列簇中，结束数据插入操作；

11.创建与(t_k-1,t_k)时段对应的物流信息簇以及盘库记录簇；

12.更新(t_k-2,t_k-1)簇中t_k-1时刻的库存数据；更新(t_k-1,t_k)时刻的库存数据；

13.执行步骤10；

通过以上操作实现增量过程中，基于时项的自适应数据组织，通过簇可以实现基于时间约束的快速查询；

这一模型，以resourceID为列名称、以物资标识、时间边界为列簇名称；通过这一组织方式，可以实现时间约束的快速查询。这一查询过程如图4：

这一流程如下：

1.任务节点接收用户提交的查询请求req，这一请求中包括物资批次信息resourceID以及时间约束条件t₁，t₂，t₁<t₂；

2.根据resourceID从当前数据表中获取对应名称的列；

3.如果当前数据表中存在resourceID对应的列则执行步骤5，否则执行步骤4；

4.返回当前查询NULL结果，结束当前查询操作；

5.根据req中时间条件t1确定其时段边界(t_k，t_k+1)，其中t_k≤t1≤t_k+1

6.根据req中时间条件t2确定其时段边界(t_m，t_m+1)，其中t_m≤t2≤t_m+1

7.获取t1对应的列簇名称resourceIDtkt_k+1

8.获取t2对应的列簇名称resourceIDt_mt_m+1

9.获取7,8中两个列簇以及其之间全部时段列簇的数据记录，形成选集；

10.在选集中逐条过滤，删除时间不满足t₁，t₂约束的数据；

11.将选集中的剩余数据作为查询结果返回查询。

2.支持P2P关系分析的并行处理架构

在物流监控过程中，通常需要进行全网的异常检查。这一检查根据不同库之间物资分发与转运关系识别进出库不匹配的情况。由于在应急工作中数据量较为庞大，且不同库之间层次关系复杂，传统的单机处理无法保障响应性能要求。以Mapreduce为代表的并行架构是近年来流行的大数据高性能处理架构。其以Map-Reduce为基本计算流程。在处理过程中将数 据首先进行分割(split)后开展任务分配与计算组织。这一方式在基于全网路由分析过程中存在较大问题，通常情况下，需要以P2P的方式，针对单个仓储节点与全网中全部其他仓储节点开展关系进行检查。Map-reduce架构由于数据分集处理的模式，较难满足这一计算任务的要求。针对这一问题，本发明在前述应急物流存储模型的基础上，提出一种并行计算架构。这一架构由两个层次构成，上层任务层负责任务数据组织、数据全集缓存管理以及任务调度；底层计算层数据全集缓存交互的基础上，开展点对点的关系分析。满足应急物流监控的基本要去。图5中展示了这一并行分析架构的基本情况：

这一架构由两个层次构成

任务层：其主要由任务节点与数据全集缓存构成，其中每一任务节点分配一缓存。任务管理节点负责整个计算任务的协同与组织。其依据“负载平均”的原则建立集中调度策略并对任务进行分发与组织。在计算过程中，其接收输入的待分析应急物资数据集(即查询返回的选集)。根据选集中的主key从选集中过滤形成分析对象(库对象)列表。其调度工作在库对象列表与底层计算节点之间建立映射关系。这一关系建立过程中，首选将底层全部计算节点形成计算环。对每个节点标识进行哈希处理。而后，将哈希结果与前述提取的分析对象列表进行range映射。这样就可以形成分析对象在计算节点中的均匀分布。当计算节点任务分配完毕后，任务层将个节点映射的分析对象信息子集送给节点任务接口。而后任务节点启动全部计算任务开始数据处理。

在数据处理过程中，任务节点通过数据访问接口，面向计算节点提供缓存中数据集的访问服务，从而实现全局范围的p2p式关系分析。

计算层：其主要由计算节点构成。计算节点负责计算分包任务的计算处理工作。在任务执行过程中，其通过任务接口接受任务节点分发的计算任务分包。分包中包含了该节点需要处理的分析对象子集。在计算分析过程中。计算节点对子集中每一个分析对象(即流通节点上)开展面向全局的p2p关系分析。其通过数据访问结构，从任务节点的缓存中获取该分析对象的全部关系数据。在本地进行关系异常检查。完成全部分析对象发处理后，将异常信息结果汇聚并由任务节点返回应用请求。

这一计算框架在并行架构的基础上开展数据处理。其通过对象与关系集分离的方式实现高性能P2P关系分析，满足地震应急工作的基本要求。

图6中展示了这一处理的基本流程。

任务节点处理流程如下：

1、任务节点获取应用提交的任务请求req，从中获取要分析的物资信息resourceID与时间约束条件t₁，t₂；

2、任务节点根据请求中的内容从底层数据库中获取约束条件下的全部仓库进出库记录信息dataTbl；

3、任务节点从datatTbl中获取全部参与物资流通的仓库标识(主key)列表。形成分析对象列表keysArray；

4、任务节点从当前系统中获取计算层中全部计算节点信息；

5、将计算节点形成首位相接的封闭计算环，而后对其中每个计算节点的标识进行哈希处理，形成全局唯一的哈希映射码，全部哈希映射码构成nodeHashArray；

6、将keyArray中的分析对象进行分割，形成一组子集。每个子集由一组分析对象构成，且与nodeHashArray中的哈希映射码对应；

7、任务节点为当前分析任务创建任务对象以及缓存，将dataTbl(即待分析应急物资数据集)放置在缓存中，形成全局关系数据集缓存；

8、任务节点将任务信息以及步骤6中分割的分析对象子集发送到哈希对应的计算节点；

9、计算节点获取全部任务信息后，启动分析计算任务。对本地分析对象子集中的对象进行全局p2p(点对点)关系分析；

10、计算节点完成本地对象分析后，将发现的异常信息返回任务节点；

11、任务节点汇总全部信息后，返回应用；

计算节点获取该任务的请求信息后根据本地分配的分析对象子集进行关系分析。在分析过程中，其依次提取子集中对象，通过任务节点的缓存获取与其产生物流交互关系的全部记录，开展异常识别分析。图7中展示了这一过程：

这一过程如下：

1、计算节点获取当前任务信息job(即库对象分包与任务信息)以及所分配的分析对象集keys；

2、计算节点根据job中的缓存信息与任务节点建立缓存连接，如果成功则执行步骤4否则执行步骤3；

3、计算节点抛出异常信息，结束当前任务操作；

4、计算节点启动计算任务，设置当前分析任务标记i，令i＝0；

5、计算节点从keys中获取第i个分析对象：key_i；

6、根据key_i的信息获取当前分析库的标识，通过任务节点缓存获取与当前库发生物资转运的全部记录信息；

7、根据步骤6中的记录信息依次检查路径以及收发异常；

8、将当前库分析的异常结果保存；

9、完成当前对象的处理分析任务，设置任务标记i＝i+1；

10、当前任务标记i溢出keys的边界则执行步骤11否则执行步骤5；

11、将全部异常信息汇总返回任务节点。

3.高性能物流网络异常检查

本发明通过前述应急物流存储模型实现海量物流记录数据的存储与组织。通过并行处理架构实现物流异常高性能分析。在这一基础上，本发明通过路径异常、收发异常以及物流时间三个方面实现应急工作中的物流监控：

路径异常检查：检查物流网络中全部仓库的进出货记录，分析库-库转运过程中，是否存在不符合应急管理制度的物资流向情况。如果存在则作为路径异常处理；

收发异常检查：在发生转运关系的两个库之间，分别检查其发货与收货记录，是否匹配。如果存在记录不匹配的情况，则作为收发异常处理；

物流运输异常：在发生转运关系的两个库之间，检查发货时间与到货时间是否在工作要求时差范围之内，如果在要求时差之间，则将其视为合格的运输操作。否则作为运输异常处理。

整个计算过程如图8，其流程如下：

1.获取分析任务请求；

2.任务节点完成任务调度，启动计算节点开展分析工作；

3.计算节点从所分配的keys中获取当前分析对象；

4.通过任务节点缓存获取当前分析对象的全部进出库记录keyLogs；

5.从当前keyLogs中获取一条进出库记录log；

6.当前log为进库记录则执行步骤7，否则执行步骤13；

7.获取当前log中from信息，根据管理制度检查from的库与当前库的组织关系，如果违反规定则记录当前log的路径异常；

8.如果对应库节点中没有与当前记录对应的进出库记录，则从任务节点缓存中获取from对应的库节点的发货记录；如果记录存在则执行步骤9，否则记录当前log的收发异常；

9.将发货记录与当前记录的时间与规定的运输时差要求做对比，判断当前log记录的收发货时间是否符合设定条件，如果收发货记录时间差不符合设定条件，则记录当前log的运输异常；

10.如果当前库对象还有进出库log则执行步骤5，否则执行步骤11；

11.如果当前keys中还有待分析的对象则执行步骤3否则执行步骤12；

12.汇总全部的异常信息，返回任务节点。

13.当前记录为出库记录，从log中获取to信息，根据管理制度检查to的库与当前库的组织关系，如果违反规定则记录当前log的路径异常；

14.从任务节点缓存中获取to对应的库节点收货记录；如果记录存在则执行步骤15，否则记录当前log的收发异常；

15.将收货记录与当前记录的时间与规定的运输时差要求做对比，如果收发货记录时间差不符合设定条件，则记录当前log的运输异常；

16.如果当前库对象还有进出库log则执行步骤5，否则执行步骤11；

17.如果当前keys中还有待分析的对象则执行步骤3否则执行步骤12；

18.汇总全部的异常信息，返回任务节点。

Claims (9)

1.一种基于大数据的应急物资数据存储方法，其特征在于，流通节点对于读取或收到的应急物资记录存储到一Key-value数据库Store中；其中，该数据库的库标识storeID哈希值为该记录的key，该库的全部进出物资记录、盘库信息作为该key对应value值；

所述Key-value数据库Store的数据存储模型为：SStorree＝{StoreID,resColumes},resColumes＝{rCol_i|i＝1,2,...n}；其中，resColumes为该数据库的物资记录列族，其由n个列rCol构成，第i类物资记录在列rCol_i中；

对于任一列rCol＝{colName,rColArray},rColArray＝{rColCell_j|j＝1,2,.....m}；其中colName为列的名称，与物资批次标识resourceID对应；rColArray为列簇集合，rColCell_j是列簇集合rColArray中的第j个列簇rColcell，用于存储与当前列rcol对应物资的同一时段内进出库物资记录信息；m为列簇rColcell的总数。

2.如权利要求1所述的方法，其特征在于，所述列簇集合rColArray包括两部分信息：1)基于时间流关系组织的进出库物资记录信息；2)记录所述数据库中物资库存情况的盘库信息。

3.如权利要求1或2所述的方法，其特征在于，所述列簇集合rColArray是以时段划分创建，每一时段对应创建或扩展出一列，构成列簇集合 $\mathrm{rColArray}=\left\{{\left({\log }_{(t_{k-1},t_k),}{\mathrm{storeage}}_{(t_{k-1},t_k),}\right)}_k\right|k=\mathrm{1,2},....n\};$ 其中为第k-1到k时刻之间的进出库物资记录信息；为第k-1到k时刻之间的盘库信息；values＝{(from,to,Number,time,objectID)_p|p＝1,2,...s}，其中Lname为该时段物资记录簇的名称，Values为第k-1到k时刻内该批次物资的进出库物资记录信息，from为物资来源信息，to为物资流向信息，Number为进出库数量信息，Time为进出库操作时间信息，objectID为操作的物资标识。

4.如权利要求3所述的方法，其特征在于，所述Lname由对应批次物资的标识加时间戳构成。

5.如权利要求3所述的方法，其特征在于，所述盘库信息 ${\mathrm{storage}}_{(t_{k-1},t_k)}=\{\mathrm{SName},\mathrm{StoreValue}\},\mathrm{StoreValue}=\{{\mathrm{Storeage}}_{t_{k-1}},{\mathrm{Storage}}_{t_k}\};$ 其中，SName为盘库记录簇的名称，与该时段的物资记录簇对应；为t_k-1时刻所存储类别物资的库存情况，为t_k时刻所存储类别物资的库存情况。

6.一种基于大数据的应急物资流通监测方法，其中应急物资流通数据为基于权利要求1所述方法存储的数据，其步骤为：

1)在物流网中设置一任务节点，所述任务节点将物流络中的计算节点形成计算环；

2)所述任务节点根据收到的任务请求，从数据库中提取对应的进出库物资记录数据；并将其中的库对象作为分析对象与数据集进行分离；

3)所述任务节点对所述计算环中的计算节点进行哈希处理后与所述分析对象进行映射，为每一计算节点分配一分析对象分割集；

4)所述任务节点根据任务请求创建任务对象并将其与所述分析对象分割集一起发送给对应的计算节点；其中，所述任务对象用于缓存任务基本信息、映射信息，以及监控各个计算节点任务执行情况和收集汇总结果给所述任务节点；

5)所述计算节点从收到的分析对象分割集中提取需要处理的分析对象，然后获取该分析对象与物流网中其他具有物资转运关系的库物资记录数据；然后根据收到的任务对象对该库物资记录数据进行异常检查，并将检查结果发送给所述任务节点。

7.如权利要求6所述的方法，其特征在于，所述异常检查的方法为：

71)计算节点该库记录数据中提取每个流通节点的进出库物资记录数据；然后根据该进出库物资记录数据，获取与其发生转运关系的进出库物资记录数据，得到一转运路径，检查该转运路径是否满足应急管理规则，如果存在异常则作为路径异常记录；

72)从所述任务节点获取转运关系库中与当前记录对应的收发货信息，检查是否存在收发不对应的情况，如果存在则作为收发异常记录；

73)将两记录A、B的时间与管理要求的时差要求进行对比，如果超过该时差，则作为运输异常记录；其中，记录A为物资p进入a库的记录，同时该记录标识物资来自b库；记录B为物资p出b库的记录，同时该记录标识发往a库。

8.如权利要求7所述的方法，其特征在于，所述异常检查的方法为：

81)计算节点从所分配的分析对象集keys中获取当前分析对象，以及当前分析对象的全部进出库物资记录keyLogs；

82)计算节点从当前keyLogs中获取一条进出库物资记录log，如果该记录log为进库记录则获取当前记录log中物资来源信息，然后检查物资来源库与当前库的组织关系，如果违反应急管理规则则记录当前记录log为路径异常；如果该记录log为出库物资记录，则从该记录log中获取物资流向信息，然后检查物资流向库与当前库的组织关系，如果违反应急管理规则则记录该记录log为路径异常；

83)如果该记录log满足应急管理规则，则检查该记录log的收发货记录时间差是否符合设定条件，如果不符合，则记录当前记录log为运输异常。

9.如权利要求6或7所述的方法，其特征在于，所述任务节点根据收到的任务请求，从数据库中提取对应的进出库物资记录数据的方法为：任务节点根据任务请求中的物资批次信息resourceID从数据库中获取对应名称的列，如果存在对应的列，则根据任务请求中的时间约束条件t₁确定其时段边界(t_k，t_k+1)、时间条件t2确定其时段边界(t_m，t_m+1)，然后分别获取t1、t2对应的列簇名称，然后将这两个列簇以及其之间全部时段列簇的数据记录形成选集；然后从该选集中逐条过滤，删除时间不满足t₁，t₂约束的数据；最后将选集中的剩余数据作为对应的进出库物资记录数据。