CN112700192B - 一种基于spark物联网的码头物流业务对象处理方法 - Google Patents

一种基于spark物联网的码头物流业务对象处理方法 Download PDF

Info

Publication number
CN112700192B
CN112700192B CN202011608836.1A CN202011608836A CN112700192B CN 112700192 B CN112700192 B CN 112700192B CN 202011608836 A CN202011608836 A CN 202011608836A CN 112700192 B CN112700192 B CN 112700192B
Authority
CN
China
Prior art keywords
logistics
wharf
area
data
planning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011608836.1A
Other languages
English (en)
Other versions
CN112700192A (zh
Inventor
刘建明
俞文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangyin Huaxi Chemical Wharf Co ltd
Original Assignee
Jiangyin Huaxi Chemical Wharf Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangyin Huaxi Chemical Wharf Co ltd filed Critical Jiangyin Huaxi Chemical Wharf Co ltd
Priority to CN202011608836.1A priority Critical patent/CN112700192B/zh
Publication of CN112700192A publication Critical patent/CN112700192A/zh
Application granted granted Critical
Publication of CN112700192B publication Critical patent/CN112700192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315Needs-based resource requirements planning or analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明以运输成本最小为优化目标,建立了带有配送时间约束和船舶载重约束的动态船舶调度数学模型。在对现有码头物流系统评价方法分析的基础上,改变了码头企业传统的人工填单,办单,传输信息的作业方式,提高了码头堆场作业效率,增加了码头企业信息传递的准确性。在物流业务对象处理模型的基础上对性能衡量指标—内部测量值进行降维、聚类处理,使其成为非冗余的内部测量值。并对Mysql、Spark的配置参数进行权重排序,减少了数据中噪音的数量,提高了数据的质量。对物流业务对象处理模型中对数据库内部测量值将系统的工作负载进行映射匹配,使用高斯过程回归和梯度下降,其作用可以帮助推荐良好性能表现下的配置参数。

Description

一种基于spark物联网的码头物流业务对象处理方法
技术领域
本申请属于数据处理领域,具体的,涉及一种基于spark物联网的码头物流业务对象处理方法。
背景技术
随着国际贸易和跨国经营的快速增长,国际海运与现代物流逐步融合,码头成为国际海陆物流通道的重要枢纽结点、国际物流供应链的重要环节和重要的物流中心;由于国际贸易的90%以上是通过海运完成的,为了减少存货、提高运输效率,降低运输成本,引发了对多式联运和综合物流服务需求的增加。因此,开展码头综合物流服务成为各码头和船务公司拓展业务的首选目标;码头作为海上运输与陆地运输的连接点,是货物中转、换装和集散的场所,决定了它与生产制造企业、运输企业、仓储企业及销售企业有着十分密切的联系。为了充分发挥码头在现代物流供应链上重要节点的作用,码头的功能正在由运输中心、配送中心向第三代码头的全球综合运输网络的节点和现代综合物流中心方向发展。
传统码头物流系统各个环节是相互分割和脱节的,服务标准不统一,物流环节多,成本高,效率低;而现代码头物流则强调系统物流资源的整合,以实现物流服务合理化、系统化、一体化、标准化和职能化,大大提高了物流服务效率,降低了物流服务成本。因此,进行现代码头物流系统规划,有助于切实转换码头企业的经营和管理方式,有助于实现码头物流要素按现代物流的要求进行资源整合,有助于实现以客户服务为中心进行物流管理和控制,并不断完善码头物流服务。
然而在码头物流系统运营方面,过分强调了码头企业自身信息化问题,忽略了码头物流供应链上相关企业物流信息的集成问题;基于供应链的码头物流系统规划理论和方法的研究的目的是要指导实践,科学指导码头物流系统规划,优化码头物流系统资源配置和提高码头物流运营效率,解决码头物流基础设施重复建设、设施冗余、服务瓶颈问题,研究的方法既要有较高的学术理论价值,又要有较强的实际应用价值,并充分运用现代科学技术理论方法来研究解决码头物流系统规划和发展的实际问题。
发明内容
为了解决当前码头物流的电子化问题,本申请请求保护一种基于spark物联网的码头物流业务对象处理方法,所述方法运行于基于Spring+SrpingMVC+MyBatis框架整合开发和关系型数据库Mysql和分布式计算框架Spark的系统上,采用Maven进行项目管理,所述框架配置主要有Spring配置文件、SpringMVC配置文件、MyBatis配置文件、互联网项目配置文件、数据库配置文件和Maven配置文件共六个配置文件,所述方法特征在于:
步骤1:进行码头物流规划定位,对码头物流规划定位进行决策,码头物流链中转节点配送中心定位决策,码头物流集疏运线路和运输方式优化;
步骤2:码头物流设施规模的确定,利用需求泊位作业能力相关法确定码头物流设施规模,对码头物流需求特征分析,进行物流需求的神经网络预测和基于遗传算法的码头吞吐量需求组合预测;
步骤3:对物流码头区进行规划,包括物流码头的概念和对码头区规划范围的重新界定、物流码头区规划的双层系统布置设计;
步骤4:码头物流系统运营处理,进行堆场管理,对码头物流系统运营的机理进行分析、码头物流信息系统功能结构分析、码头物流信息系统规划框架构建,利用物联网技术采集物流数据。
步骤5:结合物流过程中的意外事件处理决策对码头物流系统进行评价,建立码头物流系统评价指标体系设计,采用层次分析法对码头物流系统进行综合评价。
本发明采用量子遗传算法对遗传算法进行改进,对物流船舶调度问题进行了分析,传统静态物流船舶调度不能满足实际调度的需求,而动态船舶调度更符合现实,以运输成本最小为优化目标,建立了带有配送时间约束和船舶载重约束的动态船舶调度数学模型。在对现有码头物流系统评价方法分析的基础上,提出了一种基于层次分析法和嫡权法的码头物流系统综合评价新方法,改变了码头企业传统的人工填单,办单,传输信息的作业方式,提高了码头堆场作业效率,增加了码头企业信息传递的准确性。在实现堆场分配及控制的过程中,需要从分配区域、设备与堆场匹配、最优区域步骤优化角度进行完善,进而实现码头堆场作业的效率提升。在物流业务对象处理模型的基础上对性能衡量指标—内部测量值进行降维、聚类处理,使其成为非冗余的内部测量值。并对Mysql、Spark的配置参数进行权重排序,减少了数据中噪音的数量,提高了数据的质量。对物流业务对象处理模型中对数据库内部测量值将系统的工作负载进行映射匹配,使用高斯过程回归和梯度下降,其作用可以帮助推荐良好性能表现下的配置参数。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明所述的一种基于spark物联网的码头物流业务对象处理方法的工作流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明请求保护一种基于spark物联网的码头物流业务对象处理方法,所述方法运行于基于Spring+SrpingMVC+MyBatis框架整合开发和关系型数据库Mysql和分布式计算框架Spark的系统上,采用Maven进行项目管理,所述框架配置主要有Spring配置文件、SpringMVC配置文件、MyBatis配置文件、互联网项目配置文件、数据库配置文件和Maven配置文件共六个配置文件,所述方法特征在于:
步骤1:进行码头物流规划定位,对码头物流规划定位进行决策,码头物流链中转节点配送中心定位决策,码头物流集疏运线路和运输方式优化;
步骤2:码头物流设施规模的确定,利用需求泊位作业能力相关法确定码头物流设施规模,对码头物流需求特征分析,进行物流需求的神经网络预测和基于遗传算法的码头吞吐量需求组合预测;
步骤3:对物流码头区进行规划,包括物流码头的概念和对码头区规划范围的重新界定、物流码头区规划的双层系统布置设计;
步骤4:码头物流系统运营处理,进行堆场管理,对码头物流系统运营的机理进行分析、码头物流信息系统功能结构分析、码头物流信息系统规划框架构建,利用物联网技术采集物流数据。
步骤5:结合物流过程中的意外事件处理决策对码头物流系统进行评价,建立码头物流系统评价指标体系设计,采用层次分析法对码头物流系统进行综合评价。
优选的,所述方法运行于基于Spring+SrpingMVC+MyBatis框架整合开发和关系型数据库Mysql和分布式计算框架Spark的系统上,采用Maven进行项目管理,所述框架配置主要有Spring配置文件、SpringMVC配置文件、MyBatis配置文件、互联网项目配置文件、数据库配置文件和Maven配置文件共六个配置文件,具体包括:
通信链路在实现数据更新及控制的基础上,链路传输结合通信矢量变化,在对矩阵参数以及数据传输等方面进行调整的基础上,结合数据参数以及矩阵半径等方面进行调整。在实现特征向量分析及控制的基础上,重点对矩阵采纳数以及非负特征向量等方面进行控制,结合数据参数变化,在实现数据传输及控制的基础上,首先分析链路增益矩阵,并对最大实数特征数值进行计算,如果无法获得最佳功率控制矢量,去掉移动台所有可能出现的组合,对子系统增益矩阵的特征值进行计算,并根据矩阵循环变化,对特征向量进行计算及分析。结合堆场管理作业需求,利用数学算法对堆场作业进行完善的过程中,在实现堆场作业及管理下,根据堆场作业数据,对通信数据信息进行统计,进而实现堆场管理的信息采集、传输及控制。选择Apriori算法,通候选集生成封闭检测的数据挖掘机制。
在对通信传输以及链路信息控制等方面进行分析的基础上,用户i的链路信噪比γ的计算公式如公式(1)所示:
Figure BDA0002871036020000051
其中,i≠j,i=1,2,3......Q,j=1,2,....Q。
优选的,所述步骤1:进行码头物流规划定位,对码头物流规划定位进行决策,码头物流链中转节点配送中心定位决策,码头物流集疏运线路和运输方式优化,具体包括:
根据区域物流系统合理化要求和建码头条件,选择适合建码头位置,并使码头辐射区域的物流服务费用最低;确定在不同的码头物流链上,选择哪个码头作为中转码头,使客户接受码头物流链服务的成本费用最低;
(1)Spring配置文件(applicationContext.xml):设置扫描javaBean;通过context标签引入数据库配置文件;设置c3p0连接池;注册sqlSessionFactoryBean,包括自动扫描Mappers.xml文件和MyBatis总配置文件路径;设置注解驱动;设置Mapper接口扫描器。
(2)SpringMVC配置文件(springMVC-servlet.xml):设置扫描控制层所在包;
注册MVC注解驱动,包括JSON转换器;设置静态资源可访问的设置方式,该设置涉及访问图片等静态资源;设置视图解析器;配置文件上传解析器和上传文件大小限制。
(3)MyBatis配置文件(mybatis-config.xml):其主要配置信息已整合到Spring框架中。只需要定义POJO别名和日志。
(4)互联网项目配置文件(web.xml):设置字符乱码过滤器解决SpringMVC的post乱码问题;设置操作过滤器;设置SpringMVC核心控制器;设置映射方式为“.action”;设置适配器Spring容器及其配置文件。
(5)数据库配置文件(db.properties):设置JDBC驱动器;设置JDBC统一资源定位符;设置数据库用户名;设置数据库用户密码。
(6)Maven配置文件(pom.xml):设置平台用到的各个依赖以及插件,如:Spring、Spring MVC、MyBatis框架所需jar包;单元测试Junit所需jar包;日志LOG4J所需jar包;plugins插件等对提供物流服务的多个码头进行物流量合理分配;
建立相应的定位模型用于确定一个或多个提供物流服务的码头位置;
以物流费用最小化为目标函数,采用最小费用流法和双层模型方法对码头物流规划定位。
优选的,所述步骤2:码头物流设施规模的确定,利用需求泊位作业能力相关法确定码头物流设施规模,对码头物流需求特征分析,进行物流需求的神经网络预测和基于遗传算法的码头吞吐量需求组合预测,还包括:
根据科学方法预测码头物流需求量,然后根据相关技术规范和国内外主要物流码头平均物流作业效率确定泊位通过能力,求出规划码头区泊位数量,然后按照码头区平面设计技术规范测算出所需码头区仓储设施面积或仓容量、码头集疏运设施作业面积、码头物流园区面积及设备配备数量和码头物流管理信息化要求,最后确定所需码头区总规划面积;
码头物流需求构成要素由码头物流需求数量、时间、空间、结构和层次要素构成;
码头物流需求模型神经网络模型结构为三层,即输入层、隐含层、输出层,输入层的节点数于预测码头物流需求的区域经济变量的个数,输出点数于所要预测物流需求规模的变量个数,可以是一个或多个;根据影响码头物流量的经济因素分析,影响因素至少包括区域GDP、三大产业增加值,外贸进出口总额、区域货物周转量、区域社会商品零售总额指标;码头物流需求预测模型输出层通常只有一个节点。
优选的,所述步骤3:对物流码头区进行规划,包括物流码头的概念和对码头区规划范围的重新界定、物流码头区规划的双层系统布置设计,还包括:
采用自上而下的方法,即在确定物流码头区的规划原则以后,对码头物流功能规划所涉及的核心因素进行列举和分析;
对物流码头区进行功能划分,即码头区被划分为码头作业区、集装箱仓储区、保税仓储区、危险品仓储区、流通加工区、物流商务区、管理服务区几个大功能区域,参照国际物流码头规划的实践经验,结合通过市场调查获得的码头区物流实际需求,定义每个功能区域,合理分配相应用地面积,引入相关的设施、设备和IT系统;
运用IE理论技术中的工厂设施布置技术的基本原理,把物流码头区平面布置问题分解为码头区整体功能区块平面布置和功能区块内部平面布置两个层次,对码头区整体功能布置采用SLP法中的相互关系分析法及物流量分析方法;
用统计分析法预测确定功能区块之间的物流量,推算出每个功能区块设计能力并确定需要占用面积,形成关系网络图;
其次,根据功能区关联度调整相互位置,用实际面积代替关系网络图中的节点,形成空间关系图;最后,根据实际地形图和码头区内外围道路因素进行局部调整,形成若干个可选方案,经方案评价比选择优后确定最优功能区布置图。
优选的,所述步骤4:码头物流系统运营处理,进行堆场管理,对码头物流系统运营的机理进行分析、码头物流信息系统功能结构分析、码头物流信息系统规划框架构建,利用物联网技术采集物流数据,还包括:
管理码头堆场管理与作业流程,包括以拆装箱作业、数据传递或转移、数据管控为核心,进而实现码头堆场作业流程的优化;
将搜集、加工的信息以数据库的形式加以存储,对合同、报表、票据业务表现方式进行处理;
建立作业计划、路线选择、控制评价模型,检测系统运行状况,建立物流系统决策模型,辅助管理人员制订物流规划;
所述作业流程应用包括静态数据,主要包括码头集装箱的属性信息、分类信息、规格说明、资产性信息,动态数据,主要包括集装箱设备运行数据、维修管理数据、流动数据、库存信息、堆场管理信息,中间数据处理数据,包括各类查询信息处理结果、统计分析报表、堆场作业完成情况;
用户通过终端软件填写客户信息提出配送需求,配送船舶信息通过物联网技术进行采集,船舶调度系统根据配送需求的信息,包括配送时间、地点及配送货物量,调用相应的模型建模并进行算法求解,将求解的最优结果下发给执行任务的配送船舶。
在堆场管理及作业流程系统中,应用RFID标签,对相关数据进行存储及管理,在实现数据模拟以及信息控制的基础上,通过编译处理以及信息控制,在实现数据加密、信息处理的基础上,实现数据加密控制、信息传输等方面的综合优化。
将射频识别技术应用于堆场管理及作业流程系统中,在实现系统功能搭建以及控制功能分析的基础上,需要从数据模拟、信息控制以及计算机通信传输,实现计算机网络、读写器、射频标签等方面的综合优化及控制。
优选的,所述步骤5:结合物流过程中的意外事件处理决策对码头物流系统进行评价,建立码头物流系统评价指标体系设计,采用层次分析法对码头物流系统进行综合评价,还包括:
所述物流过程中的意外事件处理决策包括:
案例推理,从过去的突发事件案例中获取特定的知识,并利用它来解决突发事件;
规则推理,将相关领域的专家知识规则化描述出来,构建专家规则系统,根据专家规则系统形成推理机,在解决实际突发事件时利用推理机来模仿专家解决该突发事件的推理能力;
基于贪心策略的应急资源调度算法,根据应急决策方案所确定的应急资源数量和应急资源点与事发地的距离,每次向事发地调度距离最近的应急资源,若调度的资源不够所需资源,再向事发地调度距离最近的资源,直到满足所需资源为止;
码头物流系统评价指标体系中包含了定量和定性指标,其中对于定性指标的评价,划分为9个级,采用专家打分,并结合相关资料给出各指标的得分;
对指标进行标准化处理。
所述案例推理时从案例库中检索与目标案例相似度最高的源案例,需要计算源案例(sourceCase)与目标案例(targetCase)的相似度,计算公式如下:
Sim(s,t)=1-D(s,t) (2)
Figure BDA0002871036020000091
D(s,t)是源案例与目标案例的归一化处理后的欧氏距离;k是检索属性编号;n是检索属性总个数;wk是编号k属性权值;Dk(s,t)是源案例与目标案例在编号k属性维度上归一化处理后的距离。
检索属性的数据类型有逻辑型和数值型,两种数据类型Dk(s,t)计算公式如下:
逻辑型:
Figure BDA0002871036020000092
数值型:
Figure BDA0002871036020000093
dk(s,t)=|Psk-Ptk| (6)
其中,Psk是源案例编号为k的属性值,Pth是目标案例编号为k的属性值;dk(s,t)是源案例与目标案例在编号k属性维度上的距离;max k是编号为k的属性值在案例库中的最大值,min k是编号为k的属性值在案例库中的最小值。
所述基于贪心策略的应急资源调度算法:
计算每个资源点与事发地的距离:
Figure BDA0002871036020000101
其中D表示距离,n表示资源编号,R表示资源点,A表示事发地,lng表示经度,lat表示纬度。
进一步地,所述方法还包括:
构建物流业务对象处理模型,将基于关系型数据库Mysql和分布式计算框架Spark共同构建一个存储与计算相分离并且资源弹性配置的数据仓库Delta Duo纳入物流业务对象处理模型并将其设置为处理对象;
基于Delta Duo中Mysql、Spark工作中相互影响的事实,将二者参数统一纳入面向多系统的物流业务对象处理模型,整体考虑系统参数对面向多系统数据库的影响;
在物流业务对象处理模型的基础上对性能衡量指标进行降维、聚类处理,使其成为非冗余数据;
对Mysql、Spark的配置参数进行权重排序,减少数据中噪音的数量,提高数据的质量;
对物流业务对象处理模型中对数据库内部测量值将系统的工作负载进行映射匹配,使用高斯过程回归和梯度下降,帮助物流业务对象处理模型推荐优秀性能表现下的配置参数;
根据不同系统的参数空间进行分级,划分为网络资源参数空间、计算资源参数空间,在参数分类的基础下针对不同使用情景形成协同处理策略进行细粒度的处理,优化查询时间及各阶段时间占比结构。
进一步地,其中上述物流业务对象处理模型为将数据库性能模型进行抽象处理,将数据库性能数值抽象为y,数据库工作服在抽象为W,d个参数抽象为x1,...,xd,其中,参数值为xi,1<<i<<d,属于范围dom(xd);将
Figure BDA0002871036020000102
表示参数x1,...,xd可能的组合。
将响应面抽象为SW,SW是指数据库性能抽象值y在负载W和参数值x1,...,xd下可能的值。y=SW(x1,...,xd),处理工具核心任务不断地找到在最优y值条件下参数x1,...,xd的集合。xi表示多种含义,可表示数据库配置参数(包括缓存池大小),也可表示Spark计算框架配置参数,还可表示系统物力资源分配情况。在处理模型中y则表示用户关注性能的数值。
模型的执行包括:将每个参数xi进行设置,含义为参数组合为vi,vi∈dom(xi);然后在工作负载W下运行面向多系统的数控;最后测量数据库运行时的性能数据,y=p。
从响应面y=SW(x1,...,xd)中得到一个样本,即为(X,y)=(x1=v1,...,xd=vd,y=p)。
从参数配置维度上考量,Delta Duo的性能表现因Mysql配置参数、Spark配置参数的改变而改变。但Delta Duo在不同负载下的性能表现只有调优所关注的性能指标,通常是吞吐量(Throughput)和时延(Latency),这些指标过于单一,不能准确、立体地将系统在不同负载下的状态描述出。因而这里引入Mysql和Spark中系统的内部测量值,内部测量值可以更好、更加细颗粒度地描述出Delta Duo在不同负载下的状态。
在参数推荐阶段中,使用高斯过程回归中叠加贝叶斯优化的方法,具体来说,1)通过高斯过程回归估计出配置参数对应性能表现函数的分布情况;2)通过采集函数寻找合适的配置参数。设置采集函数目的是在参数空间内不断搜索配置参数时,但在搜索配置参数空间时需对探索和利用两种行为做好统筹协调。这里对探索和利用进行解释说明,探索是在配置参数数量不足的区域内不断探索新的配置参数的可能性;利用则是对于配置参数数量足够的区域,不断利用已知数据对模型进行训练并对数据进行预估处理进而找出最优值。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于spark物联网的码头物流业务对象处理方法,所述方法运行于基于Spring+SpringMVC+MyBatis框架整合开发和关系型数据库Mysql和分布式计算框架Spark的系统上,采用Maven进行项目管理,所述框架配置主要有Spring配置文件、SpringMVC配置文件、MyBatis配置文件、互联网项目配置文件、数据库配置文件和Maven配置文件共六个配置文件,所述方法特征在于:
步骤1:进行码头物流规划定位,对码头物流规划定位进行决策,码头物流链中转节点配送中心定位决策,码头物流集疏运线路和运输方式优化;
步骤2:码头物流设施规模的确定,利用需求泊位作业能力相关法确定码头物流设施规模,对码头物流需求特征分析,进行物流需求的神经网络预测和基于遗传算法的码头吞吐量需求组合预测;
步骤3:对物流码头区进行规划,包括物流码头的概念和对码头区规划范围的重新界定、物流码头区规划的双层系统布置设计;
步骤4:码头物流系统运营处理,进行堆场管理,对码头物流系统运营的机理进行分析、码头物流信息系统功能结构分析、码头物流信息系统规划框架构建,利用物联网技术采集物流数据;
步骤5:结合物流过程中的意外事件处理决策对码头物流系统进行评价,建立码头物流系统评价指标体系设计,采用层次分析法对码头物流系统进行综合评价;
所述方法还包括:
构建物流业务对象处理模型,将基于关系型数据库Mysql和分布式计算框架Spark共同构建一个存储与计算相分离并且资源弹性配置的数据仓库Delta Duo纳入物流业务对象处理模型并将其设置为处理对象;
基于Delta Duo中Mysql、Spark工作中相互影响的事实,将二者参数统一纳入面向多系统的物流业务对象处理模型,整体考虑系统参数对面向多系统数据库的影响;
在物流业务对象处理模型的基础上对性能衡量指标进行降维、聚类处理,使其成为非冗余数据;
对Mysql、Spark的配置参数进行权重排序,减少数据中噪音的数量,提高数据的质量;
对物流业务对象处理模型中对数据库内部测量值将系统的工作负载进行映射匹配,使用高斯过程回归和梯度下降,帮助物流业务对象处理模型推荐优秀性能表现下的配置参数;
根据不同系统的参数空间进行分级,划分为网络资源参数空间、计算资源参数空间,在参数分类的基础下针对不同使用情景形成协同处理策略进行细粒度的处理,优化查询时间及各阶段时间占比结构;
其中上述物流业务对象处理模型为将数据库性能模型进行抽象处理,将数据库性能数值抽象为y,数据库工作负载抽象为W,d个参数抽象为x1,...,xd,其中,参数值为xi,1<<i<<d,;将响应面抽象为SW,SW是指数据库性能抽象值y在负载W和参数值x1,...,xd下的值。y=SW(x1,...,xd),处理工具核心任务不断地找到在最优y值条件下参数x1,...,xd的集合;
xi表示数据库配置参数,包括缓存池大小;在处理模型中y则表示用户关注性能的数值;
模型的执行包括:将每个参数xi进行设置,含义为参数组合为vi,vi∈dom(xi);然后在工作负载W下运行面向多系统的数控;最后测量数据库运行时的性能数据;
从响应面y=SW(x1,...,xd)中得到一个样本;
从参数配置维度上考量,Delta Duo的性能表现因Mysql配置参数、Spark配置参数的改变而改变。
2.如权利要求1所述的一种基于spark物联网的码头物流业务对象处理方法,其特征在于:
所述步骤1:进行码头物流规划定位,对码头物流规划定位进行决策,码头物流链中转节点配送中心定位决策,码头物流集疏运线路和运输方式优化,具体包括:
根据区域物流系统合理化要求和建码头条件,选择适合建码头位置,并使码头辐射区域的物流服务费用最低;确定在不同的码头物流链上,选择哪个码头作为中转码头,使客户接受码头物流链服务的成本费用最低;
对提供物流服务的多个码头进行物流量合理分配;
建立相应的定位模型用于确定一个或多个提供物流服务的码头位置;
以物流费用最小化为目标函数,采用最小费用流法和双层模型方法对码头物流规划定位。
3.如权利要求1所述的一种基于spark物联网的码头物流业务对象处理方法,其特征在于:
所述步骤2:码头物流设施规模的确定,利用需求泊位作业能力相关法确定码头物流设施规模,对码头物流需求特征分析,进行物流需求的神经网络预测和基于遗传算法的码头吞吐量需求组合预测,还包括:
根据科学方法预测码头物流需求量,然后根据相关技术规范和国内外主要物流码头平均物流作业效率确定泊位通过能力,求出规划码头区泊位数量,然后按照码头区平面设计技术规范测算出所需码头区仓储设施面积或仓容量、码头集疏运设施作业面积、码头物流园区面积及设备配备数量和码头物流管理信息化要求,最后确定所需码头区总规划面积;
码头物流需求构成要素由码头物流需求数量、时间、空间、结构和层次要素构成;
码头物流需求模型神经网络模型结构为三层,即输入层、隐含层、输出层,输入层的节点数于预测码头物流需求的区域经济变量的个数,输出点数于所要预测物流需求规模的变量个数,是一个或多个;根据影响码头物流量的经济因素分析,影响因素至少包括区域GDP、三大产业增加值,外贸进出口总额、区域货物周转量、区域社会商品零售总额指标;
码头物流需求预测模型输出层只有一个节点。
4.如权利要求1所述的一种基于spark物联网的码头物流业务对象处理方法,其特征在于:
所述步骤3:对物流码头区进行规划,包括物流码头的概念和对码头区规划范围的重新界定、物流码头区规划的双层系统布置设计,还包括:
采用自上而下的方法,即在确定物流码头区的规划原则以后,对码头物流功能规划所涉及的核心因素进行列举和分析;
对物流码头区进行功能划分,即码头区被划分为码头作业区、集装箱仓储区、保税仓储区、危险品仓储区、流通加工区、物流商务区、管理服务区几个大功能区域,参照国际物流码头规划的实践经验,结合通过市场调查获得的码头区物流实际需求,定义每个功能区域,合理分配相应用地面积,引入相关的设施、设备和IT系统;
运用IE理论技术中的工厂设施布置技术的基本原理,把物流码头区平面布置问题分解为码头区整体功能区块平面布置和功能区块内部平面布置两个层次,对码头区整体功能布置采用SLP法中的相互关系分析法及物流量分析方法;
用统计分析法预测确定功能区块之间的物流量,推算出每个功能区块设计能力并确定需要占用面积,形成关系网络图;
其次,根据功能区关联度调整相互位置,用实际面积代替关系网络图中的节点,形成空间关系图;最后,根据实际地形图和码头区内外围道路因素进行局部调整,形成若干个可选方案,经方案评价比选择优后确定最优功能区布置图。
5.如权利要求1所述的一种基于spark物联网的码头物流业务对象处理方法,其特征在于:
所述步骤4:码头物流系统运营处理,进行堆场管理,对码头物流系统运营的机理进行分析、码头物流信息系统功能结构分析、码头物流信息系统规划框架构建,利用物联网技术采集物流数据,还包括:
管理码头堆场管理与作业流程,包括以拆装箱作业、数据传递或转移、数据管控为核心,进而实现码头堆场作业流程的优化;
将搜集、加工的信息以数据库的形式加以存储,对合同、报表、票据业务表现方式进行处理;建立作业计划、路线选择、控制评价模型,检测系统运行状况,建立物流系统决策模型,辅助管理人员制订物流规划;
所述作业流程包括静态数据,主要包括码头集装箱的属性信息、分类信息、规格说明、资产性信息,动态数据,主要包括集装箱设备运行数据、维修管理数据、流动数据、库存信息、堆场管理信息,中间数据处理数据,包括各类查询信息处理结果、统计分析报表、堆场作业完成情况;
用户通过终端软件填写客户信息提出配送需求,配送船舶信息通过物联网技术进行采集,船舶调度系统根据配送需求的信息,包括配送时间、地点及配送货物量,调用相应的模型建模并进行算法求解,将求解的最优结果下发给执行任务的配送船舶。
6.如权利要求1所述的一种基于spark物联网的码头物流业务对象处理方法,其特征在于:
所述步骤5:结合物流过程中的意外事件处理决策对码头物流系统进行评价,建立码头物流系统评价指标体系设计,采用层次分析法对码头物流系统进行综合评价,还包括:
所述物流过程中的意外事件处理决策包括:
案例推理,从过去的突发事件案例中获取特定的知识,并利用它来解决突发事件;
规则推理,将相关领域的专家知识规则化描述出来,构建专家规则系统,根据专家规则系统形成推理机,在解决实际突发事件时利用推理机来模仿专家解决该突发事件的推理能力;
基于贪心策略的应急资源调度算法,根据应急决策方案所确定的应急资源数量和应急资源点与事发地的距离,每次向事发地调度距离最近的应急资源,若调度的资源不够所需资源,再向事发地调度距离最近的资源,直到满足所需资源为止;
码头物流系统评价指标体系中包含了定量和定性指标,其中对于定性指标的评价,划分为9个级,采用专家打分,并结合相关资料给出各指标的得分;
对指标进行标准化处理。
CN202011608836.1A 2020-12-29 2020-12-29 一种基于spark物联网的码头物流业务对象处理方法 Active CN112700192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011608836.1A CN112700192B (zh) 2020-12-29 2020-12-29 一种基于spark物联网的码头物流业务对象处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011608836.1A CN112700192B (zh) 2020-12-29 2020-12-29 一种基于spark物联网的码头物流业务对象处理方法

Publications (2)

Publication Number Publication Date
CN112700192A CN112700192A (zh) 2021-04-23
CN112700192B true CN112700192B (zh) 2022-05-13

Family

ID=75512487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011608836.1A Active CN112700192B (zh) 2020-12-29 2020-12-29 一种基于spark物联网的码头物流业务对象处理方法

Country Status (1)

Country Link
CN (1) CN112700192B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114661968B (zh) * 2022-05-26 2022-11-22 卡奥斯工业智能研究院(青岛)有限公司 产品数据处理方法、装置及存储介质
CN116402309B (zh) * 2023-05-10 2023-08-29 上海文景信息科技有限公司 港口集疏运车辆调度匹配方法及系统
CN116502976B (zh) * 2023-06-27 2023-11-03 中铁第四勘察设计院集团有限公司 一种多式联运枢纽工艺布局方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010017928A (ko) * 1999-08-16 2001-03-05 이정욱 컨테이너 터미널의 설계시 시뮬레이션 방법
CN101399723A (zh) * 2007-09-29 2009-04-01 中卫视讯卫星科技(北京)有限公司 集装箱卫星移动目标跟踪定位监控管理系统的实现方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010017928A (ko) * 1999-08-16 2001-03-05 이정욱 컨테이너 터미널의 설계시 시뮬레이션 방법
CN101399723A (zh) * 2007-09-29 2009-04-01 中卫视讯卫星科技(北京)有限公司 集装箱卫星移动目标跟踪定位监控管理系统的实现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于供应链的港口物流系统规划方法研究;莫宝民;《中国博士学位论文全文数据库 经济与管理科学辑》;20090915(第09期);第3章、第3.1-3.5节 *
突发事件应急决策与处置平台设计与实现;蔡胜胜;《中国优秀硕士学位论文全文数据库 社会科学I辑》;20201215(第12期);摘要 *

Also Published As

Publication number Publication date
CN112700192A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN112700192B (zh) 一种基于spark物联网的码头物流业务对象处理方法
Wang et al. Two-echelon location-routing optimization with time windows based on customer clustering
Zhang et al. Cooperative coevolutionary bare-bones particle swarm optimization with function independent decomposition for large-scale supply chain network design with uncertainties
Abate et al. A disaggregate stochastic freight transport model for Sweden
Gattuso et al. Advanced methodological researches concerning ITS in freight transport
Nagpal et al. Use of data analytics to increase the efficiency of last mile logistics for ecommerce deliveries
Rosendorff et al. Artificial Intelligence for last-mile logistics-Procedures and architecture
Kolińska et al. Comparison of logistics indicators as a way of improving efficiency of supply chains
CN112712257A (zh) 一种基于mysql数据库的码头物流数据管理方法
Dehghani Sadrabadi et al. An enhanced robust possibilistic programming approach for forward distribution network design with the aim of establishing social justice: A real-world application
Zhang et al. Big data-enabled intelligent synchronisation for the complex production logistics system under the opti-state control strategy
CN116882673A (zh) 一种煤炭供应链系统及调度方法
Chu et al. Vessel turnaround time prediction: A machine learning approach
Zhang et al. The reliability measures model of multilayer urban distribution network
Zhao et al. A fuzzy multi-objective immune genetic algorithm for the strategic location planning problem
Chen Decision-making support for transportation and logistics combining rough set fuzzy logic algorithm
Makarova et al. A software module for multi-criteria suppliers’ selection with respect to the spare parts logistic
CN117035469B (zh) 公铁联运枢纽功能区建设用地指标测算的方法及装置
Cannas et al. Delay prediction in container terminals: A comparison of machine learning methods
Chianese et al. A Risk and Priority Model for Cost-Benefit Analysis and Work Scheduling within Predictive Maintenance Scenarios
Wei Design of Intelligent Transportation Control System Based on Blockchain Technology
Sethi Using Machine Learning Methods to Predict Order Lead Times
Nair et al. The Impact of Industry 4.0 on Supply Chain Management
Elibal et al. Maturity Models and Analysis for Industry 4.0 and Logistics 4.0
Fedorov et al. Screening out candidates for predictive analytics in maintenance, repairs, and overhaul organizations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant