CN115577876A - 基于区块链和联邦学习的网络货运平台运单准点预测方法 - Google Patents

基于区块链和联邦学习的网络货运平台运单准点预测方法 Download PDF

Info

Publication number
CN115577876A
CN115577876A CN202211184104.3A CN202211184104A CN115577876A CN 115577876 A CN115577876 A CN 115577876A CN 202211184104 A CN202211184104 A CN 202211184104A CN 115577876 A CN115577876 A CN 115577876A
Authority
CN
China
Prior art keywords
local
platform
freight
model
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211184104.3A
Other languages
English (en)
Inventor
叶进
王伯琪
韦姿蓉
李晓欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Comprehensive Transportation Big Data Research Institute
Original Assignee
Guangxi Comprehensive Transportation Big Data Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Comprehensive Transportation Big Data Research Institute filed Critical Guangxi Comprehensive Transportation Big Data Research Institute
Priority to CN202211184104.3A priority Critical patent/CN115577876A/zh
Publication of CN115577876A publication Critical patent/CN115577876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Finance (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开基于区块链和联邦学习的网络货运平台运单准点预测方法，涉及货运物流技术领域，网络货运平台运单准点预测方法将联邦学习和区块链技术首次引入网络货运平台场景。网络货运平台请求共建模型，任务发布者审核后部署智能合约，并向平台返回训练参数，平台利用本地运单信息和物流数据训练本地运单准点预测模型，最后聚合各平台的本地模型得到全局运单准点预测模型，代入待预测运单数据预测能否准点送达；联邦学习和区块链的结合在不影响数据隐私的情况下，对多个平台的数据进行统一的建模，预测运单能否准点为平台用户提供更好的用户体验，增加用户对平台的粘性，同时平台可以根据预测调整物流资源配置。

Description

基于区块链和联邦学习的网络货运平台运单准点预测方法
技术领域
本发明涉及货运物流技术领域，具体涉及基于区块链和联邦学习的网络货运平台运单准点预测方法。
背景技术
在衡量一个国家的物流水平时，物流成本占GDP的比重(物流总费用/GDP值)是一个重要指标。我国现今已经成为全球最大的物流市场，行业发展欣欣向荣，但是物流成本占GDP的比重仍然处在较高的数值。据统计，2018-2020年我国物流成本占GDP比重分别为14.8％，14.7％，14.4％，而在美国、日本等发达国家，该比重稳定在8％-9％左右。过高的物流成本会反映在商品价格上，物流成本的上涨直接导致商品价格的飙升。物流成本主要由运输费、保管费和管理费三部分组成。2016年，我国物流管理费在物流成本中的占比为13％，而在美国该数值仅为4％，可以看出，我国物流的管理成本较高。经调研发现，造成物流管理成本居高不下的主要原因是我国道路货运物流市场存在“多、小、散、乱”的问题，个体户较多且缺乏有效的组织和管制，在货运环节容易出现信息不对称、配载率低、返程空驶现象，造成了较大的货运资源损失和物流资源浪费。
为了整治我国道路货运物流市场的乱象，以期达到降本增效的效果，2016年8月，我国交通运输部印发了《关于推进改革试点加快无车承运物流创新发展的意见》，在全国范围内组织开展无车承运人试点工作，并最终确定了283家试点企业。我国无车承运人政策的出台其中一个主要的目的是通过建立网络货运平台(以下描述用平台代替)充分整合社会运力资源，在两年的试点过程中网络货运平台从最盛的“百团大战”到目前市场上的“硕果仅存”，如运满满、传化物流、中储智运等无疑是网络货运平台发展浪潮中脱颖而出的佼佼者。平台的盈利除了来自传统的交易撮合佣金外，另外一部分来自平台的增值服务，如保险业务、低成本融资和大数据分析等。在大数据分析增值服务中，通过对物流信息和订单数据的分析，可以预测货物是否能准时送达，为平台用户提供更好的功能服务，可以有效增加用户的粘性，进一步推动平台发展。由于各平台内部的物流信息及订单数据中涉及用户的敏感信息，为了保护平台用户的隐私数据，且考虑到行业竞争环境，因此目前大多数平台都是使用内部的数据进行物流运输的准点预测。然而我国货运物流市场中存在多个网络货运平台，物流数据和订单数据分散在各个平台，这就导致了数据孤岛和数据缺失问题，进而使得各平台所建立的运单准点预测模型表现不佳，预测结果与实际情况相比，准确率较低。
发明内容
本发明所要解决的是现有网络货运平台难以为用户提供准确的运单准点预测结果的问题，提供基于区块链和联邦学习的网络货运平台运单准点预测方法。
为解决上述问题，本发明是通过以下技术方案实现的：
基于区块链和联邦学习的网络货运平台运单准点预测方法，包括步骤如下：
步骤1、当网络货运平台有共建模型的需求时，先向任务发布者即第三方可信机构提交请求，任务发布者会审核网络货运平台身份以及训练需求，审核通过后任务发布者进行智能合约的部署；
步骤2、有意参与本次模型训练任务的网络货运平台在智能合约中规定的平台注册时间内调用智能合约进行身份登记，注册成功后智能合约向网络货运平台返回训练任务参数；
步骤3、根据返回的训练任务参数，参与本次模型训练任务的各个网络货运平台先收集客户的运单信息和物流信息形成本地原始数据集，并对本地原始数据集进行预处理和特征筛选后得到该网络货运平台的本地训练数据集，再利用本地训练数据集对本地运单准点预测模型训练进行训练，得到本轮联邦学习的本地模型权重，后调用智能合约将本轮联邦学习的本地模型权重上链；
步骤4、智能合约对所有上链的本轮联邦学习的本地模型权重进行聚合，得到本轮联邦学习的全局模型权重；
步骤5、智能合约判断联邦学习的当前轮数t是否达到设定的轮数阈值Rmax和联邦学习期待目标||ωt-ωt-1||2是否达到设定的目标阈值ε：其中ωt表示第t轮联邦学习的全局模型权重，ωt-1表示第t-1轮联邦学习的全局模型权重，||*||2表示L2范数；
如果t≥Rmax或者||ωt-ωt-1||2≤ε，则各个参与本次模型训练任务的网络货运平台通过智能合约获取本轮联邦学习的全局模型权重，用以更新本轮联邦学习的本地模型权重，并得到最终的本地运单准点预测模型；
否则，各个参与本次模型训练任务的网络货运平台通过智能合约获取本轮联邦学习的全局模型权重，用以更新本轮联邦学习的本地模型权重，并转入步骤3，开始新一轮的联邦学习迭代；
步骤6、网络货运平台采集待预测的客户的运单信息和物流信息作为待预测原始数据，并对待预测原始数据进行预处理和特征筛选后送入到最终的本地运单准点预测模型中，预测运单能否准时送达。
上述步骤1中，任务发布者需要为训练任务部署一个专属的智能合约，智能合约包含的函数如下：
initTask()：训练任务的各项参数初始化函数；
register()：训练任务参与者登记函数；
uploadParameters()：本地模型权重上链函数；
getParameters()：获取全局模型权重函数；
federation()：联邦平均函数。
上述步骤3中，网络货运平台利用深度神经网络构建本地运单准点预测模型；深度神经网络的输入层为一层节点数为32的全连接层；隐藏层为一层节点数为16的全连接层，其隐藏层的激活函数选择ReLU函数；输出层为一层节点数为8的全连接层，其输出层激活函数选择sigmoid函数。
上述步骤3中，网络货运平台利用本地训练数据集训练本地运单准点预测模型时，通过梯度下降法达到最小化损失函数的训练目的，不断更新本地模型权重。
上述步骤4中，第t轮联邦学习的全局模型权重ωt为：
Figure BDA0003866573360000031
式中，m为参与本次模型训练任务的网络货运平台的个数，|Di|为网络货运平台pi的本地训练数据集的数据样本数量，|D|为所有网络货运平台的本地训练数据集的数据样本数量，
Figure BDA0003866573360000032
为网络货运平台pi在第t轮联邦学习时的本地模型权重。
上述步骤3和6中，运单信息包括运单ID、车源方ID、货源方ID、收货人ID、订单生成时间、运输开始时间、车辆类型、货物类型、提货地点经纬度、卸货地点经纬度、全程运输距离和预计送达时间；物流信息包括运单ID、车辆当前定位和定位时间。
上述步骤3和6中，对本地原始数据集和待预测原始数据进行预处理时，先将本地原始数据集和待预测原始数据的符号的属性进行数值处理，再对本地原始数据集和和待预测原始数据的所有数据进行归一化获得标准化的数据；对本地原始数据集和待预测原始数据进行特征筛选时，先删除标准化后的数据的无用特征，再利用RELIEF方法计算每个剩下特征对预测货物是否准时送达的权重，并根据预定的特征权重值筛选出权重超过设定阈值的特征。
与现有技术相比，本发明具有如下特点：
1、本发明首次将联邦学习和区块链技术引入网络货运平台场景，联邦学习可以在不影响数据隐私和安全的情况下，对来自多个平台的数据进行统一的建模，同时区块链技术又保证了数据的安全和分布式训练的稳定，由于各物流平台可以更有保障的去扩展合作，因此能够吸引更多物流平台参与协同建模，形成更大的物流业合作网络，更充分地整合平台上的物流资源，数据越丰富模型的预测精度越高；
2、联邦学习应用在物流领域时，由于物流业个体户较多且缺乏有效的管制，在最后的模型聚合阶段，可能存在聚合中心信任成本较高，及单点故障的情况，区块链可以弥补这些问题，降低信任成本；而区块链应用在物流领域时，由于多数物流平台会形成数据孤岛，会存在多平台想协同建模而导致用户隐私数据被公开的问题，联邦学习就可以弥补这个问题，我们不对敏感数据上链，只对非敏感的模型权重上链，并且由不可篡改的智能合约聚合模型；
3、通过网络货运平台的运单信息和物流信息预测运单能否准时送达，为平台用户提供更好的用户体验，增加用户对平台的粘性，并且根据货运准点预测的结果，平台还可以调整本身的货运物流资源配置，充分调动货运力，开展更大的业务，带来更高的利润，从长期来看有助于平台的发展。
附图说明
图1为基于区块链和联邦学习的网络货运平台运单准点预测方法的系统架构图。
图2为基于区块链和联邦学习的网络货运平台运单准点预测方法的时序图。
图3为基于区块链和联邦学习的网络货运平台运单准点预测方法的本地模型预测阶段流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明进一步详细说明。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。说明书中涉及若干，表示至少包含一个。
考虑到现有各个网络货运平台根据平台本身的内部运单数据和物流信息构建运单准点预测模型时，存在数据孤岛和数据缺失而导致运单准点预测模型的预测效果不佳的问题。虽然更多的数据往往模型的预测效果会更好，运单准点预测结果更准确，但是现有物流平台内部的数据包含用户的隐私数据，出于隐私数据保护的原因，这部分数据无法直接与其他物流平台共享用来共同训练模型，因此本发明首次将联邦学习和区块链技术引入网络货运平台场景。联邦学习作为一种新兴的机器学习框架，可以帮助各平台只通过共享模型权重，在不影响数据隐私安全的前提下达到共建模型的目的。与此同时，引入区块链替代联邦学习的中心聚合服务器，实现了整个联邦学习过程的去中心化和公开透明。本发明利用联邦学习可以在不影响数据隐私和安全的情况下，对来自多个平台的数据进行统一的建模，同时，本发明利用区块链技术又保证了数据的安全和分布式训练的稳定。
参见图1，实施本发明的系统主要由三类实体组成：联盟链、任务发布者和网络货运平台。
联盟链：由于参与联邦学习模型训练的群体角色是固定的，而联盟链具有身份准入机制，因此联盟链更加符合，联盟链上的节点是任务发布者和拥有数据的网络货运平台方，各节点通过智能合约将相关数据上传至区块链，保证数据公开透明。
任务发布者(系统的管理者)：任务发布以联盟链节点的形式存在联盟链中，负责发布联邦学习任务，同时起到监管整个联邦学习过程的作用。想要加入联盟链的网络货运平台需要以线下的方式先向任务发布者提交申请加入联盟链的材料，审核通过后，任务发布者将会给该平台发放公私钥以及CA证书，用于在未来参与模型训练中验证平台身份的真实性。此角色由第三方可信机构担任(如政府监管部门)，以保证联盟链上各网络货运平台节点的可靠性，及模型训练过程中数据的开放性、透明性、可靠性，通常由专门监管网络货运平台的相关政府机构担任。
网络货运平台(数据拥有者)：网络货运平台将以联盟链节点的形式加入到联盟链中。每个网络货运平台收集各自平台上用户的数据，其中包括物流信息和运单数据，这些数据可以用来建立运单准点预测模型。
区块链替代中心聚合服务器，实现了整个联邦学习过程的去中心化和公开透明，模型训练任务由联盟链上的各网络货运平台节点共同承担，并且由任务发布者全程监督，解决了节点间存在的信任成本问题。联盟链的身份准入机制使得整个系统更加可靠，安全性更高，联盟链上的网络货运平台节点均通过了第三方可信机构的严格审核，确保身份信息真实可靠，解决结点间的信任问题。
基于区块链和联邦学习的网络货运平台运单准点预测方法，其包括步骤如下：
(Ⅰ)基于区块链的联邦学习阶段，联邦学习过程如图2所示。
步骤1、当网络货运平台有共建模型的需求时，先向任务发布者提交请求，任务发布者会审核网络货运平台身份以及训练需求，审核通过后任务发布者进行智能合约的部署。
任务发布者会对请求共建模型的网络货运平台进行身份认证，平台通过CA证书证实自己的身份，确保参与模型建立的网络货运平台均为通过严格审核的可信平台，提高了整个共建模型过程的安全性和最终运单准点预测模型的可靠性。任务发布者对网络货运平台的训练需求进行审核，防止平台任意地、恶意地去进行共建模型任务，提高联盟链的稳定性。
审核通过后任务发布者需要为该训练任务部署一个专属的智能合约，智能合约包含的函数如下：initTask()：训练任务的各项参数初始化函数；register()：训练任务参与者登记函数；uploadParameters()：本地模型权重上链函数；getParameters()：获取全局模型权重函数；federation()：联邦平均函数。
智能合约的initTask()函数也会将训练任务的相关参数上链，训练任务的参数如表1所示：
Figure BDA0003866573360000051
Figure BDA0003866573360000061
表1训练任务参数
智能合约记录了模型训练任务的相关协议，具有不可违约性，训练任务的智能合约一旦部署完成，将会按照合约中的协议自动执行相关操作，提升了系统的安全性。智能合约的内容及执行过程是公开透明的，联盟链上的任一节点均可查看，增强了网络货运平台之间的信任度。
步骤2、有意参与本次模型训练任务的网络货运平台在智能合约中规定的平台注册时间内调用智能合约进行身份登记，注册成功后智能合约向网络货运平台返回训练任务参数。
有意参与本次模型训练任务的网络货运平台在[Ts,Te]期间调用智能合约中的register()函数进行身份登记，即register()函数获取注册用户的身份信息进行存储上链，并统计参与本次联邦学习任务的平台数m。注册成功后智能合约会向网络货运平台返回训练任务参数。每次参加模型训练任务的平台在进行登记后，都会被全部记录下来，确保模型训练任务的参与者信息是可追溯的。
步骤3、根据返回的训练任务参数，参与本次模型训练任务的各个网络货运平台先收集客户的运单信息和物流信息形成本地原始数据集，并对本地原始数据集进行预处理和特征筛选后得到该网络货运平台的本地训练数据集，再利用本地训练数据集对本地运单准点预测模型训练进行训练，得到本轮联邦学习的本地模型权重，后调用智能合约将本地模型权重上链。
平台在训练本地运单准点预测模型时使用内部数据，确保了用户数据的安全性，将每轮联邦学习的本地模型权重上链使得模型训练过程更加具有开放性和安全性，整个过程的模型权重数据高度透明，各节点均可查看，并且数据上链后将无法篡改。
步骤3.1、网络货运平台pi收集客户的运单信息和物流信息形成本地原始数据集
Figure BDA0003866573360000062
网络货运平台的车源方和货源方在达成运输协议后，平台会生成相应的运单信息，运单信息包括运单ID、车源方ID、货源方ID、收货人ID、订单生成时间、运输开始时间、车辆类型、货物类型、提货地点经纬度、卸货地点经纬度、全程运输距离、预计送达时间等信息。在运单进行的过程中，网络货运平台会收集车辆在途物流信息，物流信息包括运单ID、车辆当前定位、定位时间。网络货运平台根据运单信息和相应的物流信息预测运单能否能准时送达。
步骤3.2、网络货运平台pi按照参数Data的数据格式要求处理本地数据，对本地原始数据集
Figure BDA0003866573360000063
进行预处理和特征筛选后得到该网络货运平台的本地训练数据集Di。
网络货运平台pi收集客户的运单信息和物流信息形成本地原始数据集，并对本地原始数据集进行预处理和特征筛选。在对本地原始数据集进行预处理时，先对本地原始数据集的符号的属性进行数值处理，再对所有数据进行归一化获得标准化的本地原始数据。在对本地原始数据集进行特征筛选时，由于过多的特征信息可能会占用大量的存储空间和计算时间，甚至影响训练模型的收敛性，因此筛选并去除多余的特征是很重要的，首先删除一些无用特征(如订单ID，司机姓名等特征)，然后采用RELIEF方法对剩下特征进行筛选，该RELIEF方法可以计算每个特征对预测货物是否准时送达的权重，这样可以根据预定的特征权重值筛选出权重超过设定阈值的特征，权重值越大代表特征对模型正确预测的贡献越大，根据预定的特征权重值(如表2)选出权重超过设定阈值(如0.01)的特征。使用预处理和特征筛选后得到的本地训练数据集训练模型可以提高模型训练的效率，很快达到事半功倍的结果。
网络货运平台pi经过上述数据处理后得到对应的本地训练数据集Di，该本地训练数据集Di的数据样本为(xj,yj)，xj为筛选出的特征数据，yj为数据标签(分为准时ontime和延误delay两种标签)。
Figure BDA0003866573360000071
表2特征权重值
步骤3.3、网络货运平台pi利用包含三层全连接层(32*16*8)的深度神经网络构建本地运单准点预测模型。其中输入层为一层节点数为32的全连接层；隐藏层为一层节点数为16的全连接层，其隐藏层的激活函数选择ReLU函数；输出层为一层节点数为8的全连接层，其输出层激活函数选择sigmoid函数。各平台构建本地预测模型如图3所示。基于智能合约返回的训练参数Model初始化该本地运单准点预测模型Mi，此时网络货运平台pi的本地运单准点预测模型Mi的本地模型权重为
Figure BDA0003866573360000072
步骤3.4、网络货运平台pi在Tstart时间节点后利用该网络货运平台的本地训练数据集Di对本地运单准点预测模型Mi进行训练，得到本地模型权重。
本地运单准点预测模型Mi的训练的目标是最小化损失函数，模型Mi的损失函数为：
Figure BDA0003866573360000081
式中，ωi为网络货运平台pi的本地运单准点预测模型Mi的权重，|Di|为网络货运平台pi的本地训练数据集的数据样本数量，fj(ωi,xj,yj)为第j个数据样本(xj,yj)的交叉熵损失函数。
网络货运平台pi在第t轮(本轮)联邦学习时，通过梯度下降法最小化损失函数，得到本地模型梯度值
Figure BDA0003866573360000082
并利用式(2)更新本地模型权重：
Figure BDA0003866573360000083
式中，
Figure BDA0003866573360000084
为网络货运平台pi在第t轮(本轮)联邦学习时的本地模型权重，
Figure BDA0003866573360000085
为网络货运平台pi在第t-1轮(上一轮)联邦学习时的本地模型权重，
Figure BDA0003866573360000086
为网络货运平台pi在第t轮联邦学习时的本地模型梯度值，η为学习率,t为训练轮数，t＝1,2,…。
各平台先用本地训练数据集训练本地运单准点预测模型，实现了模型的分布式训练，多平台合作建模。
步骤3.5、网络货运平台pi调用智能合约中uploadParameters()函数将模型的本地模型权重
Figure BDA0003866573360000087
上链，uploadParameters()函数会限制非注册用户进行上链参数，在完成本地模型更新权重上链后，各平台会周期性地调用getParameters()函数，判断账本是否存在最新的全局聚合模型权重。
步骤4、智能合约对所有上链的本轮联邦学习的本地模型权重进行聚合，得到本轮联邦学习的全局模型权重。
当所有的网络货运平台都完成本地模型训练，并将最新本地模型权重上链后，智能合约中的federation()函数会自动触发对本轮次所有网络货运平台更新的模型权重进行联邦聚合，更新全局模型权重。
对本地模型权重进行聚合时，可以根据需要选择不同的聚合公式，在本实施例中，所选用的聚合公式为：
Figure BDA0003866573360000088
式中，ωt为第t轮联邦学习迭代完成后的全局模型权重，m为参与本次模型训练任务的网络货运平台的个数，|Di|为网络货运平台pi的本地训练数据集的数据样本数量，|D|为所有网络货运平台的本地训练数据集的数据样本数量，
Figure BDA0003866573360000089
为网络货运平台pi在第t轮联邦学习时的本地模型权重。
各平台所得到的本地运单准点预测模型只是全局运单准点预测模型的一部分，需要进行聚合才能得到完整的模型，分布式训练实现了平台间相互合作，共同建模的目标，并且计算量分布在各个节点，提高了训练效率和训练过程的可靠性。
步骤5、智能合约中的federation()函数判断联邦学习的当前轮数t是否达到设定的轮数阈值Rmax和联邦学习期待目标||ωt-ωt-1||2是否达到设定的目标阈值ε：
如果t≥Rmax或者||ωt-ωt-1||2≤ε，则各个参与本次模型训练任务的网络货运平台通过智能合约中的getParameters()函数获取本轮联邦学习的全局模型权重，用以更新本轮联邦学习的本地模型权重，并得到最终的本地运单准点预测模型，并转入步骤6；
否则，各个参与本次模型训练任务的网络货运平台通过智能合约中的getParameters()函数获取本轮联邦学习的全局模型权重，用以更新本轮联邦学习的本地模型权重，并转入步骤3，开始新一轮的联邦学习迭代。
模型训练过程是分布式的，平台先训练本地运单准点预测模型，整合在一起才是完整的全局运单准点预测模型，实现了多平台共同建模，既保护了数据隐私又促进平台间合作。联邦学习可以在不影响数据隐私和安全的情况下，对来自多个网络货运平台的物流信息和订单数据进行统一的建模，与此同时，区块链技术又保证了数据的安全和分布式训练的稳定。多平台共同建模解决了训练数据缺乏的问题，并且可以在保护数据的情况下开展合作。
(II)本地模型预测阶段。
步骤6、网络货运平台采集待预测的客户的运单信息和物流信息作为待预测原始数据，并采用与步骤3相同的方法对待预测原始数据进行预处理和特征筛选后送入到最终的本地运单准点预测模型中，预测运单能否准时送达。
利用训练好的运单准点预测模型对运单能否准时送达进行预测，可以为平台用户提供更好的用户体验，并且根据货运准点预测的结果，网络货运平台还可以调整本身的货运物流资源配置。
本发明通过网络货运平台的运单信息和收集的物流信息预测运单能否准时送达，为平台用户提供更好的用户体验，增加用户对平台的粘性，并且根据货运准点预测的结果，平台还可以调整本身的货运物流资源配置，充分调动货运力，开展更大的业务，带来更高的利润，从长期来看有助于平台的发展。
需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (7)

1.基于区块链和联邦学习的网络货运平台运单准点预测方法，其特征是，包括步骤如下：
步骤1、当网络货运平台有共建模型的需求时，先向任务发布者即第三方可信机构提交请求，任务发布者会审核网络货运平台身份以及训练需求，审核通过后任务发布者进行智能合约的部署；
步骤2、有意参与本次模型训练任务的网络货运平台在智能合约中规定的平台注册时间内调用智能合约进行身份登记，注册成功后智能合约向网络货运平台返回训练任务参数；
步骤3、根据返回的训练任务参数，参与本次模型训练任务的各个网络货运平台先收集客户的运单信息和物流信息形成本地原始数据集，并对本地原始数据集进行预处理和特征筛选后得到该网络货运平台的本地训练数据集，再利用本地训练数据集对本地运单准点预测模型训练进行训练，得到本轮联邦学习的本地模型权重，后调用智能合约将本轮联邦学习的本地模型权重上链；
步骤4、智能合约对所有上链的本轮联邦学习的本地模型权重进行聚合，得到本轮联邦学习的全局模型权重；
步骤5、智能合约判断联邦学习的当前轮数t是否达到设定的轮数阈值Rmax和联邦学习期待目标||ωt-ωt-1||2是否达到设定的目标阈值ε：其中ωt表示第t轮联邦学习的全局模型权重，ωt-1表示第t-1轮联邦学习的全局模型权重，||*||2表示L2范数；
如果t≥Rmax或者||ωt-ωt-1||2≤ε，则各个参与本次模型训练任务的网络货运平台通过智能合约获取本轮联邦学习的全局模型权重，用以更新本轮联邦学习的本地模型权重，并得到最终的本地运单准点预测模型；
否则，各个参与本次模型训练任务的网络货运平台通过智能合约获取本轮联邦学习的全局模型权重，用以更新本轮联邦学习的本地模型权重，并转入步骤3，开始新一轮的联邦学习迭代；
步骤6、网络货运平台采集待预测的客户的运单信息和物流信息作为待预测原始数据，并对待预测原始数据进行预处理和特征筛选后送入到最终的本地运单准点预测模型中，预测运单能否准时送达。
2.根据权利要求1所述的基于区块链和联邦学习的网络货运平台运单准点预测方法，其特征在于，步骤1中，任务发布者需要为训练任务部署一个专属的智能合约，智能合约包含的函数如下：
initTask()：训练任务的各项参数初始化函数；
register()：训练任务参与者登记函数；
uploadParameters()：本地模型权重上链函数；
getParameters()：获取全局模型权重函数；
federation()：联邦平均函数。
3.根据权利要求1所述的基于区块链和联邦学习的网络货运平台运单准点预测方法，其特征在于，步骤3中，网络货运平台利用深度神经网络构建本地运单准点预测模型；深度神经网络的输入层为一层节点数为32的全连接层；隐藏层为一层节点数为16的全连接层，其隐藏层的激活函数选择ReLU函数；输出层为一层节点数为8的全连接层，其输出层激活函数选择sigmoid函数。
4.根据权利要求1所述的基于区块链和联邦学习的网络货运平台运单准点预测方法，其特征在于，步骤3中，网络货运平台利用本地训练数据集训练本地运单准点预测模型时，通过梯度下降法达到最小化损失函数的训练目的，不断更新本地模型权重。
5.根据权利要求1所述的基于区块链和联邦学习的网络货运平台运单准点预测方法，其特征在于，步骤4中，第t轮联邦学习的全局模型权重ωt为：
Figure FDA0003866573350000021
式中，m为参与本次模型训练任务的网络货运平台的个数，|Di|为网络货运平台pi的本地训练数据集的数据样本数量，|D|为所有网络货运平台的本地训练数据集的数据样本数量，
Figure FDA0003866573350000022
为网络货运平台pi在第t轮联邦学习时的本地模型权重。
6.根据权利要求1所述的基于区块链和联邦学习的网络货运平台运单准点预测方法，其特征在于，步骤3和6中，运单信息包括运单ID、车源方ID、货源方ID、收货人ID、订单生成时间、运输开始时间、车辆类型、货物类型、提货地点经纬度、卸货地点经纬度、全程运输距离和预计送达时间；物流信息包括运单ID、车辆当前定位和定位时间。
7.根据权利要求1所述的基于区块链和联邦学习的网络货运平台运单准点预测方法，其特征在于，步骤3和6中，对本地原始数据集和待预测原始数据进行预处理时，先将本地原始数据集和待预测原始数据的符号的属性进行数值处理，再对本地原始数据集和和待预测原始数据的所有数据进行归一化获得标准化的数据；对本地原始数据集和待预测原始数据进行特征筛选时，先删除标准化后的数据的无用特征，再利用RELIEF方法计算每个剩下特征对预测货物是否准时送达的权重，并根据预定的特征权重值筛选出权重超过设定阈值的特征。
CN202211184104.3A 2022-09-27 2022-09-27 基于区块链和联邦学习的网络货运平台运单准点预测方法 Pending CN115577876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211184104.3A CN115577876A (zh) 2022-09-27 2022-09-27 基于区块链和联邦学习的网络货运平台运单准点预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211184104.3A CN115577876A (zh) 2022-09-27 2022-09-27 基于区块链和联邦学习的网络货运平台运单准点预测方法

Publications (1)

Publication Number Publication Date
CN115577876A true CN115577876A (zh) 2023-01-06

Family

ID=84582730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211184104.3A Pending CN115577876A (zh) 2022-09-27 2022-09-27 基于区块链和联邦学习的网络货运平台运单准点预测方法

Country Status (1)

Country Link
CN (1) CN115577876A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941649A (zh) * 2019-11-20 2020-03-31 珠海格力电器股份有限公司 一种物流信息处理方法、装置、设备及计算机存储介质
CN111563706A (zh) * 2020-03-05 2020-08-21 河海大学 一种基于lstm网络的多变量物流货运量预测方法
US11017322B1 (en) * 2021-01-28 2021-05-25 Alipay Labs (singapore) Pte. Ltd. Method and system for federated learning
CN113592102A (zh) * 2021-07-23 2021-11-02 青岛亿联信息科技股份有限公司 基于联邦学习和区块链的停车预测模型训练方法与系统
WO2021219053A1 (zh) * 2020-04-29 2021-11-04 深圳前海微众银行股份有限公司 联邦学习建模方法、装置、设备及可读存储介质
CN114462624A (zh) * 2022-02-11 2022-05-10 博雅正链(北京)科技有限公司 一种基于区块链开展可信联邦学习的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941649A (zh) * 2019-11-20 2020-03-31 珠海格力电器股份有限公司 一种物流信息处理方法、装置、设备及计算机存储介质
CN111563706A (zh) * 2020-03-05 2020-08-21 河海大学 一种基于lstm网络的多变量物流货运量预测方法
WO2021219053A1 (zh) * 2020-04-29 2021-11-04 深圳前海微众银行股份有限公司 联邦学习建模方法、装置、设备及可读存储介质
US11017322B1 (en) * 2021-01-28 2021-05-25 Alipay Labs (singapore) Pte. Ltd. Method and system for federated learning
CN113592102A (zh) * 2021-07-23 2021-11-02 青岛亿联信息科技股份有限公司 基于联邦学习和区块链的停车预测模型训练方法与系统
CN114462624A (zh) * 2022-02-11 2022-05-10 博雅正链(北京)科技有限公司 一种基于区块链开展可信联邦学习的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢佳标: "《Keras深度学习 入门 实战与进阶》", 31 October 2021, 机械工业出版社, pages: 32 *

Similar Documents

Publication Publication Date Title
CN110599181B (zh) 基于区块链的数据处理方法、装置和设备及存储介质
Pérez‐Bernabeu et al. Horizontal cooperation in road transportation: a case illustrating savings in distances and greenhouse gas emissions
Van Heeswijk et al. Evaluating urban logistics schemes using agent-based simulation
US20190266897A1 (en) Drone usage in connected user and connected fleet communication and interface systems
Hossain et al. Vehicle registration and information management using blockchain based distributed ledger from bangladesh perspective
JP7511677B2 (ja) 要望に基づくエネルギー共有
CN110599098A (zh) 一种基于物流行业的区块链的征信管理方法及系统
Bräysy et al. Chapter 12: Software tools and emerging technologies for vehicle routing and intermodal transportation
Qian et al. A Decision‐Making Model Using Machine Learning for Improving Dispatching Efficiency in Chengdu Shuangliu Airport
US20240083284A1 (en) Power allocation to transports
WO2022127514A1 (en) Method and system for uplift prediction of actions
CN110692079A (zh) 开放货运市场模拟系统和开放货运市场的显示方法
Zehtabian et al. Estimation of the arrival time of deliveries by occasional drivers in a crowd-shipping setting
Hofman et al. The applicability of blockchain technology in the mobility and logistics domain
Vo et al. Blockchain-powered big data analytics platform
CN113177670A (zh) 数据处理方法、装置、设备及可读存储介质
Boualouache et al. On-demand security framework for 5GB vehicular networks
CN112702410B (zh) 一种基于区块链网络的评估系统、方法及相关设备
Pamucar et al. Prioritization of crowdsourcing models for last-mile delivery using fuzzy Sugeno–Weber framework
Suzuki et al. Reducing the cost of B2B logistics via night deliveries: Does it really work?
CN117172889A (zh) 基于时段的租赁渠道风险评估方法、装置、设备及介质
CN115577876A (zh) 基于区块链和联邦学习的网络货运平台运单准点预测方法
CN114693112A (zh) 基于区块链的乘车方法、装置、计算机设备和存储介质
Pranav et al. Critical Analysis of International Shipments within Mainstream Blockchain Framework using Industrial Engineering Techniques
Goswami et al. Based on Queueing Theory Modelling of Taxi Drivers' Decisions at Swami Vivekananda Airport in Raipur, Chhattisgarh, India (RPR)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination