CN105225190A - 一种仓储物流大数据共享平台 - Google Patents

Abstract

本发明公开了一种仓储物流大数据共享平台，所述共享平台运行于相应的服务器系统中，其主要包括数据交换单元和接入管理单元，所述接入管理单元向相应的业务系统提供并管理对应的接入点，使业务系统通过对应的接入点接入平台；所述数据交换单元获取接入平台的业务系统数据，并针对该业务系统数据制定对应的数据交换标准以及流程，据此完成数据交换，实现数据共享。基于本发明提供的数据交换共享平台的建立可以打破当前的企业间“信息孤岛”现象，建立不同业务系统的数据共享平台，形成仓储物流综合信息库。同时，通过统一的数据交换平台实现各业务系统之间数据交换的单一安全通道，在实现信息共享的基础上也确保了各自数据信息的安全。

Description

一种仓储物流大数据共享平台

技术领域

本发明属于大数据应用领域，具体涉及生产企业在仓储物流方面的数据采集、加工、挖掘、利用和共享技术。

背景技术

对于仓储物流管理来说，有效地实施大数据应用，可能会极大地促进企业改进商业模式、形成新的价值理念，而这也正是大数据的战略意义所在。所谓大数据应用，指的是从多种渠道中收集电子信息并进行应用分析，从而识别发展模式、趋势及其他智能信息。这种分析可能会帮助企业识别那些已经发生但不易被察觉的信息，也有可能帮助企业预测未来将要发生的情况。大数据应用包含两大要素：

要素一：大量。大数据一词中“大”主要指的是可用于分析的信息量。在供应链领域，它可能包括销售网点体系、条形码扫描设备、射频识别阅读仪、用于车辆和手提电话的全球定位系统以及用于管理交通、库房和其他运作的软件体系。

要素二：多样性。数据不仅应该采撷自一个信息源，而且除了那些记录在数据库中的信息等结构性数据以外，还应包括隐藏在文本、影像资料以及其他形式文件中的非结构性数据。

由此，现有大量企业依然面临着数据不缺，只是不懂得如何分析和应用的问题。过去，以每日、每周或每月为单位对模型或数据进行分析就足够了。但现在，企业如果想避免库存不足或者由于恶劣天气导致的延迟送货等现象的发生，就必须进行实时或者近乎实时的数据分析。

发明内容

针对现有技术只是把仓储物流中的数据进行采集和存储，各种业务数据相对独立，相互之间无法实现有效的共享和交换的问题，本发明的目的在于提供一种能够有效实现各种业务系统数据相互共享、相互交换的仓储物流大数据共享平台。

为了达到上述目的，本发明采用如下的技术方案：

一种仓储物流大数据共享平台，所述共享平台运行于相应的服务器系统中，主要包括数据交换单元和接入管理单元，所述接入管理单元向相应的业务系统提供并管理对应的接入点，使业务系统通过对应的接入点接入平台；所述数据交换单元获取接入平台的业务系统数据，并针对该业务系统数据制定对应的数据交换标准以及流程，据此完成数据交换，实现数据共享。

优选的，所述数据交换单元包括：

数据交换标准模块，所述数据交换标准模块针对接入平台的业务系统的综合性应用内容的需求进行计算分析，定义出一系列的数据交换标准；

数据交换流程模块，所述数据交换流程模块针对不同数据确定和管理对应的数据流转方式；

数据结构映射模块，所述数据结构映射模块确定平台中数据交换标准与业务系统中数据项之间对应的映射关系；

数据交换流执行模块，所述数据交换流执行模块验证数据，并根据数据读入数据交换流程模块确定的对应的数据流转方式，根据数据流转方式启动数据交换过程。

进一步的，所述数据交换流执行模块根据业务需要，同时可以并发若干个数据交换流程。

优选的，所述接入管理单元主要包括：

接入点注册模块，所述接入点注册模块完成相应接入点在平台中的信息注册；

接入点配置模块，所述接入点配置模块根据相应业务系统数据对完成注册的接入点进行配置，使得业务系统数据可通过接入点发布到共享平台；

接入点维护模块，所述接入点维护模块完成平台接入点的增减、修改、查询。

优选的，所述共享平台还配置交换前置子系统，所述交换前置子系统运行在业务系统配置的交换前置机中，用于完成业务系统数据的发送和接受。

进一步的，所述交换前置子系统主要包括：

信息交换模块，所述信息交换模块与共享平台中的数据交换单元之间配合构成信息交换总线；

前置交换数据库，所述前置交换数据库作为前置交换信息库存储进行交换的数据；

应用适配器系统，所述应用适配器系统自动从前置交换信息库提取数据发送到信息交换总线，同时，从信息交换总线上获取信息并存储到部门交换信息库。

进一步的，所述交换前置子系统中的前置交换数据库通过交换桥接子系统连接业务系统的应用数据库，所述交换桥接子系统作为业务系统的应用数据库到前置交换数据库之间的信息交换桥接接口，以完成两个数据库之间的在线实时交换。

优选的，所述共享平台中还设置有运行监控平台，该运行监控平台包括：

传输监控模块，所述传输监控模块对共享平台本身和流过交换平台的数据包进行观察与控制；

前置节点运行监控模块，所述前置节点运行监控模块针对分布在不同物理位置的前置交换系统状态进行必要的监控，及时发现异常的监控节点；

数据库运行监控模块，所述数据库运行监控模块对平台数据库以及各接入节点数据运行的状态，能通过图示的方式进行提醒；

适配器监控模块，所述适配器监控模块对数据传输量，数据传输速率，历史数据统计进行监控管理。

优选的，所述共享平台的系统架构主要包括信息共享交换层、信息资源目录层以及数据资源层，所述信息共享交换层通过信息资源目录层与数据资源层进行数据传输。

基于本发明提供的数据交换共享平台的建立可以打破当前的企业间“信息孤岛”现象，建立不同业务系统的数据共享平台，形成仓储物流综合信息库。同时，通过统一的数据交换平台实现各业务系统之间数据交换的单一安全通道，在实现信息共享的基础上也确保了各自数据信息的安全。

从未来发展的角度看，当前建立台可以为以后新的业务系统的建设提供标准，一旦标准形成，审批、监察等业务都可以直接利用共享的基础信息库数据，从而减少了数据采集的资本投入，也提高了监管工作效率和公共服务水平，取得了良好的经济效益和社会效益。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明提供的共享平台的系统架构图；

图2为本发明提供的共享平台应用时的物理架构示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

本实例提供的仓储物流大数据共享平台作为一个系统软件运行在相应的服务器系统中。

参见图1，本共享平台的系统架构主要包括上层的信息共享交换层、中间层的信息资源目录层以及下层的数据资源层。

其中，信息共享交换层主要用于向用户提供本共享平台所提供的功能服务。该信息共享交换层主要包括数据交换服务、基础构建库、信息安全服务以及信息导航服务。

信息资源目录层提供相应的目录，以指引信息共享交换层提供的功能服务与数据资源层提供数据资源之间的对应关系，完成两者之间的数据交换。其主要包括数据目录、服务目录、应用目录、用户目录以及元数据管理。其中，元数据管理实现数据资源层与信息资源目录层之间的数据传递。

数据资源层主要用于存储整个共享平台运行的数据。其主要包括元数据库、决策支持库、主题库、基础库、业务规则库、业务信息库、平台日志库以及其他数据库。

基于上述的系统架构，本共享平台的功能主要由数据交换单元和接入管理单元相互配合完成，其中接入管理单元向相应的业务系统提供并管理对应的接入点，使业务系统通过对应的接入点接入平台；而数据交换单元获取接入平台的业务系统数据，并针对该业务系统数据制定对应的数据交换标准以及流程，据此完成数据交换，实现数据共享。

具体的，数据交换单元为整个平台功能实现的核心，其主要由数据交换标准模块、数据交换流程模块、数据结构映射管理模块、数据交换流执行模块。以下说明一下这些模块具体形成的方案。

其中，数据交换标准模块：

该数据交换标准模块根据对目标系统综合性应用内容的需求进行计算分析，定义出一系列的数据交换标准。这些标准将反映各个应用所需要的数据的结构。同时在标准中定义的还有数据“宿主”位置等信息，表示该块数据将向哪个业务系统请求获得。

该模块确定的所有的数据交换标准定义信息，均以XML结构记录。可以通过数据交换标准定义管理工具完成如下功能：

1.新建标准、修改或删除标准；

2.维护标准中的属性，包括数据结构、数据“宿主”位置、缺省过滤条件等；

3.实现对用户身份识别与管理权限控制。

数据交换流程模块：

数据交换是依据数据交换流程实现的，针对不同的数据，需要设定和管理不同的数据流转过程。该模块通过提供图形化界面，供给数据交换平台的管理人员实现数据流转过程的定义。数据交换流转过程的描述也采用XML方式。

该模块具体功能如下：

1.新建流程、修改或删除流程；

2.维护流程的规则、数据加工过程和数据路由方式；

3.实现对用户身份识别与管理权限控制。

数据结构映射管理模块：

针对数据交换标准模块确定的数据交换标准并不知道在具体业务系统内的相应数据的位置、属性、名称等等信息，通过本数据结构映射管理模块定义业务系统内对数据交换标准中的对应项的映射关系。这种定义包括数据项与数据项的对应或组合对应(公式化)、数据类型的匹配或转换关系、数据项位置描述记录等等。以XML结构保存定义的内容。

该数据结构映射管理模块进行映射关系定义的过程如下：

1.导入数据交换标准模块确定的数据交换标准定义信息；

2.维护数据交换标准与内部数据结构间的映射定义表，包括数据项与数据项的对应或组合对应(公式化)、数据类型的匹配或转换关系、数据项位置描述记录等等；

3.实现对管理员的身份识别与管理权限控制。

数据交换流执行模块：

该模块主要用于具体实现数据交换，其中数据交换流的执行是通过应用集成中间件实现的。采用中间件产品可以保证数据交换的高效、安全和可靠地进行。该模块的工作原理是：首先验证待交换数据，再读入数据交换流程，根据流程设定，启动数据交换过程。根据业务需要，同时可以并发若干个数据交换流程。当业务变化时，只需修改数据交换流程定义，就可以实现基于新业务的数据交换过程，因此系统具有很好的可扩展能力。

本数据交换流执行模块进行数据交换的具体过程如下：

1.接收数据；

2.验证数据，针对接收的数据根据数据结构映射管理模块定位的映射关系，确定对应的数据交换标准，再利用该数据交换标准来验证该数据是否需要交换；

3.分析流程定义，在验证通过后针对接受的数据读入对应的数据交换流程；

4.根据读入的流程进行数据交互；

5.进行数据交互的事务管理；

6.进行日志管理和交换数据存储；

7.消息队列管理；

8.实现对管理员的身份识别与管理权限控制

本平台中的接入管理单元其主要包括接入点注册模块、接入点配置模块、接入点维护模块。

其中，接入点注册模块，完成接入点信息在平台中的注册。

在接入点向信息交换平台注册时，信息交换平台会自动检测接入点提供的属性信息是否正确，只有正确后，才可以注册，接入点才可以接入信息交换平台。

接入点配置模块，根据相应业务系统数据对完成注册的接入点进行配置，使得业务系统数据可通过接入点发布到共享平台。

由于有很大一部分的业务系统早已开发完成，且采用的数据库不同，有Sybase、Oracle、SQLServer、Access等等，各个业务系统根据实际需要，挑选可共享的数据，通过接入点配置模块定制不同的共享接入点，将共享接入点发布到数据交换平台上；也可以根据业务系统自身的不同的数据种类定制不同的共享接入点，将共享接入点发布到数据交换平台上。这样就最大限度的提供了各自业务系统数据的共享，也保证了各业务系统数据的安全。

共享接入点的管理员通过接入点配置模块，可以根据需要设置本接入点的类型(只能收、只能发、接收都可)、本节点只接收那种信息类型,如果管理员本身是接入点的创建者，还可以设置本接入点的管理员帐号。

接入点维护模块，完成平台接入点的增减、修改、查询。

(一)新增接入点

根据各个业务系统的实际需要，系统管理员可以增加新的接入点，和建立新接入点的管理员帐号。为了便于管理和资源的充分利用，规定一个单位或部门只有一个共享(单位或部门内部共享)接入点(因为多个业务系统可以通过一个接入点接入交换信息平台).

如果要新增接入点，由使用单位或部门提出书面申请，经系统平台管理员审核同意后，统一由系统平台管理员新增接入点，同时由系统平台管理员设置新增接入点的相关信息

(二)修改接入点

因为各个单位、部门的业务系统的数据种类是变化的，且用户的要求也是变化的，所以共享接入点的管理员要根据需求实时来修改其共享接口，满足其他用户、单位、部门对数据的需求。共享接入点的管理员先查询到要修改的接口，然后对接口的关键字及其他属性进行修改，但接入点的唯一标识(比接入点编号)不允许修改.修改后的共享接口在数据交换平台上能立即反映出来，以便其他单位、部门使用。

(三)删除接入点

如果共享接入点的管理员认为其定制的共享接入点已没有使用意义或已被新的的共享接入点替代，由接入点的管理员提出书面申请，经数据交换平台系统管理员(接入点的创建者)审核通过后，统一由交换平台系统管理员进行删除。共享接入点的管理员只能申请删除自己管理的共享接入点，在共享接入点删除后，数据交换平台记录删除日志,并删除与它有关的在数据交换服务器(JMS)的队列.删除接入点的信息要在数据交换平台监控上立即反映出来，以便其他单位、部门不再向它发送信息。

(四)查询接入点

根据需要,可以按类型、状态查询各个接入点的情况，可以统计各个接入点的类型、状态(是否有效、是否已删除)。

针对上述的共享平台，为了进一步提高共享平台与各业务系统之间数据交换的安全性，以适应政府职能部门的业务系统的接入。

本实例在上述方案的基础上进一步的配置交换前置子系统。

该交换前置子系统主要运行在相应业务系统(如政府职能部门业务系统)配置的交换前置机中，成为与信息交换总线相连接的桥梁，同时也是与部门内部业务系统及业务信息库相隔离的防火墙。在部门前置机上安装前置交换数据库、应用适配器和信息交换软件，用于实现信息的发送和接收。

具体的，该交换前置子系统主要由相应的操作系统、前置交换数据库、应用适配器系统以及信息交换模块配合实现。

其中，交换前置子系统相应的操作系统一般采用Windows2003Server或Linux。

前置交换数据库，通过在部门交换前置机安装SQLServer/MySQL数据库作为部门前置交换信息库。

应用适配器系统，其安装在交换前置机中，负责自动从部门前置交换信息库提取数据发送到信息交换总线，同时，从信息交换总线上获取信息并存储到部门交换信息库。部门交换前置机上的应用适配器系统还实现部门业务信息库与部门交换信息库之间的信息交换桥接功能。

信息交换模块，由部门交换前置机安装消息中间件产品构成，与共享平台中的数据交换单元共同构成信息交换总线。

为了保证交换前置子系统与部分业务系统之间的数据能够进行在线实时交换，本方案还在进一步配置交换桥接子系统。

该交换桥接子系统作为部门业务应用数据库(或文件等数据)到前置交换数据库(或文件等数据)之间的信息交换桥接接口，连接部门业务应用数据库和前置交换数据库，以完成两个数据库(或文件等数据)之间的在线实时交换的系统。

之所以采用桥接系统是为了保护业务系统的安全性和独立性，信息交换平台通过交换前置机与业务系统相连，在前置机上建立交换库，用于存储各节点向外发布的信息和从其他节点交换过来的信息。

桥接系统的实现可以利用集成中间件提供的编程接口，但业务系统接口的编程是必不可少的，必须像适配器提供一个透明的数据提供源。考虑到业务系统的复杂情形，有时并不一定是提供数据接口，也可以是文件的各式，提供给前置交换系统，再通过交换平台的进行传递。

桥接系统还包括把数据交换到目的系统的情形。比如把A系统的数据通过交换平台传递到B系统，那么B系统在接收这些数据时也需要利用桥接系统编写相应的适配器。

在具体实现时，本交换桥接子系统还提供相应的分工界面，由此明确在整个数据交换过程中共享平台、业务单位和业务系统开发商之间分工合作关系。

交换系统从源到目的都涉及不同单位、不同网络、不同架构的异构业务系统，除了在组织协调大量的工作外，通过分工界面明确显示所涉及到的系统或职能单元的分工，能够大大提高整个数据共享的效率和可靠性。

以下举例说明：

交换平台从某部门的业务系统获取数据后，传送到中心数据库，再通过中心数据库分发到三个不同的业务系统，这里至少涉及4个不同的系统：

首先数据源提供系统必须把数据送入到前置机的数据，或者放在本地由数据交换平台去抓取。数据交换平台无法从业务系统中去获取数据，因为它不知道业务系统的数据结构和逻辑，比如数据交换平台并不知道OA系统中一份公文的数据保存在哪些表，流程现在是什么状态，从安全的角度也不应该由数据交换平台直接抓取。正确的做法是业务系统根据要求把数据提取出来放到某个位置(数据库或者文件系统)，交换系统适配器去获得这些数据。

其次，接收的目的系统，在获取到数据后也要对数据进行解析放入到自己的系统中，否则数据交换平台不知道该把数据放在什么位置，即使知道也不安全。

所以，从分工界面来说，数据交换与业务系统有着密切的关心，必须有业务系统的支持才能实现信息的交换。

另外，为了进一步本共享平台运行的可靠性，本方案还进一步配置运行监控平台。该监控平台主要包括传输监控模块、前置节点运行监控模块、数据库运行监控模块、适配器监控模块。

其中，传输监控模块的主要任务是对交换平台本身和流过交换平台的数据包进行观察与控制。

传输监控包括如下几个方面：

(1)对数据流量和状态的查询、统计与审计；

(2)对信息交换平台自身运行状态的查询和监控；

(3)对信息交换平台的远程监控。

数据流量和状态的监控，首先是对于所有通过信息交换平台进行交换的数据总量的把握，其次是对每个通过信息交换平台的数据包状态的微观把握。通过监控功能，可以了解在指定时间内按照进入/转出、目的地/来源地、数据量大小等项目进行查询和统计，从而实现对总量的把握；通过对数据状态(例如等待处理、正在进行、处理完毕、回执收到、处理中断等)的监控，可以追踪某一个指定数据的状态。

对信息交换平台自身运行状态的查询和监控，是为了确认信息交换平台自身的运行是否正常。查询和监控的对象主要是构成共享平台的各类软件运行实体(例如进程、队列等)。以进程为例，监控的主要操作包括查询进程状态、停止进程、重新启动进程等。

对信息交换平台的远程监控，是指通过监控命令的交换，对系统中的远端信息交换平台部件进行上述监控。

由于信息交换平台的运行记录不仅是进行监控的重要依据，还是进行审计的重要基础，因此根据监控的功能设计，必须实现相应的日志机制。

前置节点运行监控模块，针对中心数据交换平台通过网络连接了许多不同节点的情况，对分布在不同物理位置的前置交换系统状态进行必要的监控，及时发现异常的监控节点。

数据库运行监控模块，针对数据交换平台涉及中心数据库，前置节点数据库等多套数据库系统，进行实时监控各节点数据运行的状态，能通过图示的方式进行提醒。

适配器监控模块，对桥接服务实行数据传输量监控，速率监控，历史数据统计等监控管理，对有关交换的各种组件运行状态及日志情况进行。

参见图2，基于上述方案形成的共享平台，其在具体应用时，相应的业务系统通过交换平台接入点连接共享平台，接入共享平台的业务系统，需要开发相应的适配器。同时，共享平台在运行时，可实施统一接入编码、数据备份及恢复、用户管理以及日志管理

1、实施统一接入编码

接入点编号是由数据交换共享平台统一分配给各个使用单位或部门。各个使用单位或部门要接入信息交换平台，必须先申请接入点编号。获得接入点编号后，必须要先进行接入点注册，然后才可以通过接入点接入到数据交换共享平台。

2、数据备份及恢复

数据交换共享平台涉及大量数据的存储，需要有良好的数据存储机制确保数据的安全，避免数据丢失。

3、用户管理

数据交换共享平台作为一套专门的信息交换系统，具有完善的用户管理体系，能创建不同权限、不同角色的用户帐号，对系统内的信息进行查看和访问。

4、日志管理

管理员能查看系统不同类型的日志，对平台的运行状态进行监控，及时发现运行过程中出现的问题。并提供日志审核的功能。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种仓储物流大数据共享平台，所述共享平台运行于相应的服务器系统中，其特征在于，所述共享平台主要包括数据交换单元和接入管理单元，所述接入管理单元向相应的业务系统提供并管理对应的接入点，使业务系统通过对应的接入点接入平台；所述数据交换单元获取接入平台的业务系统数据，并针对该业务系统数据制定对应的数据交换标准以及流程，据此完成数据交换，实现数据共享。

2.根据权利要求1所述的一种仓储物流大数据共享平台，其特征在于，所述数据交换单元包括：

数据交换标准模块，所述数据交换标准模块针对接入平台的业务系统的综合性应用内容的需求进行计算分析，定义出一系列的数据交换标准；

数据交换流程模块，所述数据交换流程模块针对不同数据确定和管理对应的数据流转方式；

数据结构映射模块，所述数据结构映射模块确定平台中数据交换标准与业务系统中数据项之间对应的映射关系；

数据交换流执行模块，所述数据交换流执行模块验证数据，并根据数据读入数据交换流程模块确定的对应的数据流转方式，根据数据流转方式启动数据交换过程。

3.根据权利要求2所述的一种仓储物流大数据共享平台，其特征在于，所述数据交换流执行模块根据业务需要，同时可以并发若干个数据交换流程。

4.根据权利要求1所述的一种仓储物流大数据共享平台，其特征在于，所述接入管理单元主要包括：

接入点注册模块，所述接入点注册模块完成相应接入点在平台中的信息注册；

接入点配置模块，所述接入点配置模块根据相应业务系统数据对完成注册的接入点进行配置，使得业务系统数据可通过接入点发布到共享平台；

接入点维护模块，所述接入点维护模块完成平台接入点的增减、修改、查询。

5.根据权利要求1所述的一种仓储物流大数据共享平台，其特征在于，所述共享平台还配置交换前置子系统，所述交换前置子系统运行在业务系统配置的交换前置机中，用于完成业务系统数据的发送和接受。

6.根据权利要求5所述的一种仓储物流大数据共享平台，其特征在于，所述交换前置子系统主要包括：

信息交换模块，所述信息交换模块与共享平台中的数据交换单元之间配合构成信息交换总线；

前置交换数据库，所述前置交换数据库作为前置交换信息库存储进行交换的数据；

应用适配器系统，所述应用适配器系统自动从前置交换信息库提取数据发送到信息交换总线，同时，从信息交换总线上获取信息并存储到部门交换信息库。

7.根据权利要求6所述的一种仓储物流大数据共享平台，其特征在于，所述交换前置子系统中的前置交换数据库通过交换桥接子系统连接业务系统的应用数据库，所述交换桥接子系统作为业务系统的应用数据库到前置交换数据库之间的信息交换桥接接口，以完成两个数据库之间的在线实时交换。

8.根据权利要求1所述的一种仓储物流大数据共享平台，其特征在于，所述共享平台中还设置有运行监控平台，该运行监控平台包括：

传输监控模块，所述传输监控模块对共享平台本身和流过交换平台的数据包进行观察与控制；

前置节点运行监控模块，所述前置节点运行监控模块针对分布在不同物理位置的前置交换系统状态进行必要的监控，及时发现异常的监控节点；

数据库运行监控模块，所述数据库运行监控模块对平台数据库以及各接入节点数据运行的状态，能通过图示的方式进行提醒；

适配器监控模块，所述适配器监控模块对数据传输量，数据传输速率，历史数据统计进行监控管理。

9.根据权利要求8所述的一种仓储物流大数据共享平台，其特征在于，所述共享平台的系统架构主要包括信息共享交换层、信息资源目录层以及数据资源层，所述信息共享交换层通过信息资源目录层与数据资源层进行数据传输。