CN113127439A - 一种物流大数据平台 - Google Patents

Abstract

本发明提供一种物流大数据平台，针对物流网站的大规模数据的采集，数据清洗、处理和分析，信息挖掘，结果展示以及数据的存储，在数据采集的阶段用户可以选择要获取数据的物流网站，同时用户可以自主输入网址并编写针对该网址的数据爬取函数，数据处理部分主要是对数据的格式化和对数据的清洗，数据分析主要是利用医域专线的出度数和入度数以及区域内的物流公司、快递网点的数量表征区域物流发展水平，进而与GDP、物流从业人数和交通便捷性等进行比较分析，数据挖掘则主要包括聚类分析和关联规则分析，系统可视化展示部分主要是通过表格、图片和地图的方式呈现给用户。

Description

一种物流大数据平台

技术领域

本发明涉创业技术领域，具体涉及一种物流大数据平台。

背景技术

区域物流与经济空间的发展有着密不可分的关系,这种联系反应在经济地理学空间上就形成了一种空间结构。全球性的地理结构出现了一种新的空间结构模式—枢纽网络结构，而物流过程很强烈地依赖于这种空间结构。实际上一方面经济发展及其空间结构可以更好地带动物流的建设，另一方面物流的快速发展也可以促进经济空间结构的发展，两者之间存在着互为因果的关系。而不平衡的物流发展也会带来经济发展不平衡的现象,因此正确认识物流发展的状况也显得格外重要，区域物流的发展是否跟得上空间结构的发展脚步也变得越来越关键，在空间内部，城市和区域之间的物流业发展形成的空间结构将直接影响到地区经济的发展，在此背景下对物流的研究变得刻不容缓。而对物流的研究，也必将导致对区域的空间结构更深入的研究。

发明内容

本发明的目的在于提供一种物流大数据平台，针对物流网站的大规模数据的采集，数据清洗、处理和分析，信息挖掘，结果展示以及数据的存储。在数据采集的阶段用户可以选择要获取数据的物流网站，同时用户可以自主输入网址并编写针对该网址的数据爬取函数；数据处理部分主要是对数据的格式化和对数据的清洗，包括去掉重复的数据，补上不完整的数据以及去掉明显错误的数据等；数据分析主要是利用医域专线的出度数和入度数以及区域内的物流公司、快递网点的数量表征区域物流发展水平，进而与GDP、物流从业人数和交通便捷性等进行比较分析；数据挖掘则主要包括聚类分析和关联规则分析，同时还包括区域物流网络结构的分析以及针对复杂网络的社区发现算法等；系统可视化展示部分主要是通过表格、图片和地图的方式呈现给用户；数据库部分主要是提供对采集和处理之后的数据进行存储和管理，实现用户对数据的查询功能，同时提供对用户自主上传的数据的入库功能，包括市级区域的GDP数据、物流业从业人数和交通便捷性指数等。

为实现上述目的，本发明采用的技术方案是：

一种物流大数据平台，其特征在于：系统主要是对物流网站进行的数据挖掘，包括采集模块，GIS基本功能模块，分析与挖掘模块，展示输出模块。

(1)采集模块设计，采集模块主要包括了对物流网站数据的获取和清洗。数据采集和数据清洗是整个挖掘过程的关键步骤，数据质置的好坏对于最后挖掘的结果至关重要。本系统主要采用网络爬虫的方法针对物流网站进行数据的采集。主要包括四个方面的物流数据，分别是物流专线数据，物流企业、快递公司及网点分布数据，物流货物运输数据和物流招聘和求职数据，涉及到的网站包括全国物流信息网、中国物通网、全国物流交易中心和物流天下网等七个网站。将从物流网站获得到的数据经过处理后按照统一的格式存储到数据库中。

(2)GIS基本功能模块设计，GIS基本功能模块是地理信息分析系统的典型功能单元，这里主要包括的是系统提供的针对地图的一些基本操作例如移动、缩小、放大、全图显示、要素选择、取消选择以及要素识别等功能。系统主要通过调用ArcGISEngine的特定接口来实现这些功能。

(3)分析与挖掘模块设计，分析与挖掘模块是系统的核心模块，主要提供了三个方面的功能。第一方面是数据的查询功能，用户可以很方便查询到不同市级区域的物流数据信息，其中还包括区域与区域之间的物流联系数据信息；第二方面是全国范围内的物流分布分析与挖掘，识别不同地区在全国范围内的物流发展水平屈于什么层次，提供了不同的聚类模型供用户选择，并且提供物流数据与用户输入的数据进行相关性分析等功能：第三方面是对物流网络的结构进行分析，包括网络中心性的计算以及在物流网络中发现隐藏社区的算法。

(4)展示输出模块设计，展示输出模块是对计算结果的输出，这里同样包括将数据库的数据以表或图的形式导出的功能，除此之外还包含了多种可视化显示功能，包括数据表格，统计图，专题地图和区域物流网络结构图等。

本平台使用MongoDB数据库进行存储，一方面MongoDB是非关系型数据库，针对海量的文本数据其具有较高的存储效率，另一方面其又是和关系型数据库最相似的数据库，并且功能丰富，数据查询方便且快速，语法和关系型数据库中表查询近似，因此其具有两种不同类型数据库的特点。同时MongoDB数据库支持的数据格式不需要那么严谨，和JSON的格式很相似，不需要提前设置元数据信息，因此在存储数据量巨大并且不同数据类型的时候更加方便。与关系型数据库相比较而言，MongoDB可以保证多个用户高速访问，并且很方便获取数据，同时MongoDB数据库内置了GridFS（一个实用方便的分布式的文件管理系统），支持对海址数据分块后存储在不同的节点上性能优越。

本系统采用Client/Server的架构，包括了界面层、业务逻辑层和数据访问层3层，该架构可以理解成在用户和数据库之间建立了中间层。

(I)数据访问层：主要是通过针对数据库的各种操作，从而达到管理数据的目的，包括了基本的增、删、改、查，其为业务逻辑层或者是界面层提供数据服务，数据访间层需要通过业务逻辑层才能到在界面层展现给用户。

(2)业务逻辑层：该层是主要是对具体逻辑进行处理和分析，同时具有承上启下的作用，在界面层和数据访问层中间建起了联系的渠道，通过这个渠道不仅将数据访问层取得的数据经处理给到界面层，而且也可以界面层的输入经这个渠道处理后放到数据访问层。

(3)界面层：主要是与用户交互的界面，并提供给用户良好的交互体验，同时提供接收用户的输入和显示结果的功能。

基于物流网站的数据挖掘系统平台是将大数据挖掘方法应用到物流数据并结合GIS功能展示的桌面应用系统，将历史数据上传和数据实时采集融入到系统之中，运用实时存储性能优越并且可以快速查询的MongoDB数据库结合空间数据库进行数据的存储和管理，在挖掘算法方面不仅将传统的挖掘览法融入到系统平台，并将复杂网络的社区发现算法应用到物流数据挖掘中来，同时在结果的展示方面不仅有传统的表格数据和统计图等，还包括了地图的展示，丰富了数据的可视化功能。系统平台各个模块的功能相互配合共同构成了一个完整的数据挖掘的过程。

附图说明

图1是本发明技术路线图；

图2是本发明系统架构图；

图3是本发明网络数据爬取程序段；

图4是本发明数据存储程序段；

图5是本发明分级设色程序段1；

图6是本发明分级设色程序段2；

图7是本发明计算社区模块度程序段；

图8是本发明去掉边介数最大边的程序段；

图9是本发明日志实时显示程序段；

图10是本发明关联规则挖掘模块。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明的目的在于提供一种物流大数据平台，针对物流网站的大规模数据的采集，数据清洗、处理和分析，信息挖掘，结果展示以及数据的存储。在数据采集的阶段用户可以选择要获取数据的物流网站，同时用户可以自主输入网址并编写针对该网址的数据爬取函数；数据处理部分主要是对数据的格式化和对数据的清洗，包括去掉重复的数据，补上不完整的数据以及去掉明显错误的数据等；数据分析主要是利用医域专线的出度数和入度数以及区域内的物流公司、快递网点的数量表征区域物流发展水平，进而与GDP、物流从业人数和交通便捷性等进行比较分析；数据挖掘则主要包括聚类分析和关联规则分析，同时还包括区域物流网络结构的分析以及针对复杂网络的社区发现算法等；系统可视化展示部分主要是通过表格、图片和地图的方式呈现给用户；数据库部分主要是提供对采集和处理之后的数据进行存储和管理，实现用户对数据的查询功能，同时提供对用户自主上传的数据的入库功能，包括市级区域的GDP数据、物流业从业人数和交通便捷性指数等，采用图1的技术路线进行开发。

基于物流网站的数据挖掘系统以MicrosoftVisualStudio2010(VS2010)为开发平台，是面向对象的高级编程语言C#与ArcGISEngine二次开发组件结合进行开发的，同时结合Python语言进行网络数据抓取与分析。

如图2所示本平台采用Client/Server的架构，包括了界面层、业务逻辑层和数据访问层3层，该架构可以理解成在用户和数据库之间建立了中间层。

(I)数据访问层：主要是通过针对数据库的各种操作，从而达到管理数据的目的，包括了基本的增、删、改、查，其为业务逻辑层或者是界面层提供数据服务，数据访间层需要通过业务逻辑层才能到在界面层展现给用户。

(2)业务逻辑层：该层是主要是对具体逻辑进行处理和分析，同时具有承上启下的作用，在界面层和数据访问层中间建起了联系的渠道，通过这个渠道不仅将数据访问层取得的数据经处理给到界面层，而且也可以界面层的输入经这个渠道处理后放到数据访问层。

(3)界面层：主要是与用户交互的界面，并提供给用户良好的交互体验，同时提供接收用户的输入和显示结果的功能。

系统平台的功能模块主耍包括了用户选择模块、数据采集模块、GIS基本功能模块、分析与挖掘模块和输出模块。下面主要围绕上述几个功能模块对基于物流网站的数据挖掘系统平台进行实现。

用户选择模块主要包括用户选择需要进行数据爬取的网站，不同网站可能针对的物流数据侧重点不同，通过关键词“物流”查询网站排名，寻找其中主要致力于提供物流数据服务的网站，这里主要提供了排名靠前的七个物流网站供用户选择，包括有“全国物流信息网”、“中国物流信息网”、“中国物流交易中心”、“中国物通网”、“今日物通网”和“好运物流网”。除此之外，系统统在有限的网站选择之外提供了用户自定义的功能，用户可以按照自己设定的互联网爬取策略进行数据的爬取，同时在存储过程中需要设定存储在数据库中的表名用以标记该数据。

数据采集主要分为两个方面，网络爬虫的实现以及数据的入库。这里数据采集使用的走Python的Scrapy框架，数据存储使用的是MongoDB数据库Scrapy是用纯Python实现的一个爬取网站数据并提取机构性信息的应用框架，用途较广泛。在用户自主开发方面，Scray将整个网络爬虫的机制划分为Scheuler、ScrapyEngine、ItemPipeline、Downloader和Spiders五个部分，用户只要自定义开发这几个模板就可以轻松实现网页的爬取。网络数据爬取程序段如图3所示，并且Scrapy使用Twisted异步网络框架来处理网络通讯，这样不仅可以提升下载的速度，且可以灵活的完成用户各种特定的需求。除此之外，还包括将已有数据的导入功能，表格数据的主要支持格式是csv格式，而数据储存的程序段则如图4所示。

GIS基本功能主要包括的是对于地图的基本操作，除了平移，放大，缩小，漫游，全图显示，选择要素，取消选择等功能外，还包括GIS专题地图制作的功能，如分级设色等，而分级分色的程序段如图5、图6所示。

对于数据挖掘系统来说，分析与挖掘模块是整个系统平台的核心模块。该模块提供的功能包括数据的查询功能数据的基本特征，回归分析，聚类，关联规则等，同时针对物流运输形成的全国范围内的物流网络，系统提供了网络节点中心性的计算以及在复杂网络中的社区发现等功能。

询功能主要包括了TOPN查询和地名查询，其中的TOPN查询类似于排序，可以很容易获取数据值最高或者最低的若干个地区。而数据的基本特征包括了最大值、最小值、中位数、平均值、方差以及标准差等，同时可以通过地图展示不同区域的物流发展状况，在地图上表现出来使得用户可以更加方使地了解到物流业的发展格局。系统提供了用户导入市级尺度的GDP、物流业从业者人数以及交通便捷性指数等数据的功能，用于计算三者各自与物流发展之间的相关性，探究影响物流发展的因素。在聚类分析上系统主要提供了K均值聚类和层次聚类两种方法，而由于层次聚类的时间和空间复杂度都比较高，因此使用较多的还是K均值聚类方法，并且提供了绘制“肘点”图的功能，使得用户可以较好地确定最合理的聚类个数K。关联规则主要用于探究不固属性字段之间是否存在相关性，用户可以自主定义三个参数，分别是最小支持度、最小置信度和形成规则的属性字段最小参与的个数。物流网络中心性主要包括紧密中心性和介数中心性。在社区发现算法方面，系统实现了GN算法，用于发现在物流网络中隐藏的社区信息。计算社区模块度则如图7所示，而去掉边介数最大的边程序段如图8所示。

数据输出主要是表格数据的展示和地图输出，其中主要实现包括将数据导入到dataGridView中展示给用户,将计算结果在地图上显示等。同时系统也提供了数据获取过程中的日志展示功能，可供用户方便的了解到数据爬取的进程以及爬取的网页信息，日志实时显示的程序段则如图9所示。

基于物流网站的数据挖掘系统平台是将大数据挖掘方法应用到物流数据并结合GIS功能展示的桌面应用系统，将历史数据上传和数据实时采集融入到系统之中，运用实时存储性能优越并且可以快速查询的MongoDB数据库结合空间数据库进行数据的存储和管理，在挖掘算法方面不仅将传统的挖掘览法融入到系统平台，并将复杂网络的社区发现算法应用到物流数据挖掘中来，同时在结果的展示方面不仅有传统的表格数据和统计图等，还包括了地图的展示，丰富了数据的可视化功能。系统平台各个模块的功能相互配合共同构成了一个完整的数据挖掘的过程。

在平台的使用过程中，首先是系统界面，点击“欢迎访问”可进入数据挖掘系统。点击进入系统后为用户提供了多个物流网站的选择以及用户自定义爬取网站的模块。其中可以选择的有全国物流信息网、中国物流网、中国物流交易中心、物流天下网、中国物通网、今日物通网和好运物流网。而自定义模块中用户可以自定义要获取数据的网址，数据的XPath路径以及迭代进入下一页和终止的条件等。

数据采集模块将原始数据存入平台的数据库中，同时系统将会进入主页面。系统默认主页面加载上一次完成更新的数据信息，实时数据爬取放在后台进行，并通过右下角的文本框来显示爬取数据的过程信息。实时数据获取菜单下面有升始和中断两个工具，可以用来控制网络爬虫的启动和停止。当完成一次完整的数据采集后系统会提示数据采集结束。菜单下的更新数据可以将地图和表格数据更新成最新的数据。同时主页面还包括了地图输出等功能。而系统的重点模块是数据查询处理与挖掘模块。模块包括了多个单独的模块，包括了数据治洗，主要针对的是重复数据处理、缺失数据处理和错误数据的处理。其他还包括了数据的基本特征、数据查询、回归分析、聚类、关联规则挖掘、网络节点中心性以及网络的社区发现等子模块。

数据基本特征功能会计符数据最值、中位数和平均值等基本特征。而这里需要详细介绍的是关联规则挖掘功能（其他模块将在下文具体分析中介绍）。关联规则挖掘包括三个参数，其中最小支持度是指在整个数据集中规则出现的前提出现的概率不能低于这个给定值，而最小支持度是指在出现规则前提的数据集中，出现规则的后果的概率不能低于给定的这个值，最小参与字段数是指在整个规则中参与的属性字段数不能低于该值。这三个值都是需要用户设定的。

利用关联规则算法挖掘物流运输信息中潜在的价值，对于优化物流运输路线、为物流企业营销活动提供建议以及有关部门的决策支持等很多方面都意义重大。

通过系统平台的数据采集模块，我们获取到了有关物流信息的多个字段的数据。在使用之前同样会经过数据清洗的阶段，同时并不是每一个字段都适合进行关联规则的挖掘，一些对分析无用的字段盲目加入到算法中来只会适得其反，同时一些数据倾斜比较大的字段也会影响算法的计算结果，因此对每个字段的含义进行了分析，于是这里选择了运输发出地、运输目的地和货物类型三个字段进行关联规则的挖掘。通常的物流运输的关联规则挖掘仅考虑了运输方向，并没有考虑发货地址，这里我们将发出地和目的地都纳入到算法之内，并且这里我们将发出地和目的地上升到省级尺度。

Claims (5)

1.一种物流大数据平台，其特征在于：包括数据采集模块，GIS基本功能模块，分析与挖掘模块，展示输出模块，通过针对物流网站的大规模数据的采集，数据清洗、处理和分析，信息挖掘，结果展示以及数据的存储。

2.根据权利要求1所述的一种物流大数据平台，其特征在于：在数据采集的阶段用户可以选择要获取数据的物流网站，同时用户可以自主输入网址并编写针对该网址的数据爬取函数；数据清洗、处理部分主要是对数据的格式化和对数据的清洗，包括去掉重复的数据，补上不完整的数据以及去掉明显错误的数据；数据分析主要是利用医域专线的出度数和入度数以及区域内的物流公司、快递网点的数量表征区域物流发展水平，进而与GDP、物流从业人数和交通便捷性等进行比较分析；数据挖掘则主要包括聚类分析和关联规则分析，同时还包括区域物流网络结构的分析以及针对复杂网络的社区发现算法；系统可视化展示部分主要是通过表格、图片和地图的方式呈现给用户；数据库部分主要是提供对采集和处理之后的数据进行存储和管理，实现用户对数据的查询功能，同时提供对用户自主上传的数据的入库功能，包括市级区域的GDP数据、物流业从业人数和交通便捷性指数。

3.根据权利要求1所述的一种物流大数据平台，其特征在于：在数据采集的阶段包括物流专线数据，物流企业、快递公司及网点分布数据，物流货物运输数据和物流招聘和求职数据。

4.根据权利要求1所述的一种物流大数据平台，其特征在于：GIS基本功能模块是地理信息分析系统的典型功能单元，包括系统提供的针对地图的一些基本操作。

5.根据权利要求1所述的一种物流大数据平台，其特征在于：分析与挖掘模块主要提供了三个方面的功能，第一方面是数据的查询功能，用户可以很方便查询到不同市级区域的物流数据信息，其中还包括区域与区域之间的物流联系数据信息；第二方面是全国范围内的物流分布分析与挖掘，识别不同地区在全国范围内的物流发展水平屈于什么层次，提供了不同的聚类模型供用户选择，并且提供物流数据与用户输入的数据进行相关性分析等功能；第三方面是对物流网络的结构进行分析，包括网络中心性的计算以及在物流网络中发现隐藏社区的算法。

Images