CN105976140B - 大规模流式数据环境下的车货实时匹配方法 - Google Patents

大规模流式数据环境下的车货实时匹配方法 Download PDF

Info

Publication number
CN105976140B
CN105976140B CN201610272779.1A CN201610272779A CN105976140B CN 105976140 B CN105976140 B CN 105976140B CN 201610272779 A CN201610272779 A CN 201610272779A CN 105976140 B CN105976140 B CN 105976140B
Authority
CN
China
Prior art keywords
vehicle
goods
micro
matching
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610272779.1A
Other languages
English (en)
Other versions
CN105976140A (zh
Inventor
牟向伟
陈燕
张琳
曹妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN201610272779.1A priority Critical patent/CN105976140B/zh
Publication of CN105976140A publication Critical patent/CN105976140A/zh
Application granted granted Critical
Publication of CN105976140B publication Critical patent/CN105976140B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种大规模流式数据环境下的车货实时匹配方法,包括以下步骤:S1:采用分布式队列服务方法实时采集货车的车源信息和货源信息S2:根据需要运输的货物的类型和货车的运载条件对车源和货源信息进行筛选:将相同类型的车源信息和相同类型的货物信息分别集中整理,同时对已经集中整理的车源和货源信息进行实时更新;S3:对每一个车货类型数据集进行微聚类:在设置好的时间窗内使用聚类算法对上述每一个车货类型数据集按距离进行聚类,使每一个车货类型数据集产生多个微簇;S4:针对每一个微簇计算匹配方案:在预先设置的时间窗内,对S3中的微簇采用进化算法对其进行车货供需匹配组合优化,形成车货匹配方案并保存。

Description

大规模流式数据环境下的车货实时匹配方法
技术领域
本发明涉及一种大规模流式数据环境下的车货实时匹配方法。
背景技术
随着信息技术在交通运输领域的深入发展,以车源信息和货源信息为代表的物流信息资源越来越丰富,在应用中需要准确的提取其中的关键信息并快速对物流资源进行匹配与推荐,由于车货信息资源具有数据量大,更新频繁、价值密度低、数据的流速、流量、流向复杂多变等流式数据特征,造成了匹配算法效率低下,不能实时产生匹配方案等问题。
现有技术中公开的车货匹配服务方法,通过托运人PC客户端将托运信息上传至Web应用服务器,Web服务器将托运信息存储至数据库,并通过缓存系统进行缓存处理;通过手机APP直接或通过电话寻呼客户间接地将线路需求信息发布至Web应用服务器,Web应用服务器将线路需求信息存储至数据库,并通过缓存系统进行缓冲处理,业务服务器匹配来自数据库的托运信息及线路需求信息,将匹配结果选项信息发送至手机APP,并通过缓存系统进行缓冲处理;手机APP将选择后的匹配结果发送至托运人PC客户端,选择是否生成托运合同,并将结果发送至手机APP告知。该匹配方式没有考虑到车辆和货物数据在配载业务状态和地理位置上的变化性,得到的匹配结果实时性不高。另外,已公开的车货匹配方法在设计上不具有并行化计算的能力,因此无法利用分布式计算框架完成大规模车货数据匹配任务。
发明内容
根据现有技术存在的问题,本发明公开了一种大规模流式数据环境下的车货实时匹配方法,从数据处理实时性的角度分为两个阶段,每个阶段有两个步骤:
一、在线部分:
S1:采用分布式队列服务方法实时采集车源信息和货源信息:对车辆的位置流式数据进行抽样存储,采用时间衰减算法估计车辆的历史活动区域中心;本步骤中主要使用分布式消息队列服务器临时存储车载设备实时通过无线网络上报的车辆位置信息,运输需求方通过各种终端发布的货物运输需求信息,以 及车辆和货物业务状态更新数据。其中车源信息状态包括车辆信息新增,车辆状态更新,车辆信息退出。货源信息状态包括货源信息新增,货源信息退出。
S11对车辆位置流式数据进行抽样存储。
设某车辆定位数据流入后台服务器的形式为
S={tuple(1),tuple(2),……,tuple(T)}
tuple(T)为某时间的车辆状态数据元组,T为时间戳,使用时间戳将时间轴划分成不同粒度的时刻,定义时间轴划分粒度阶段i为0到logα(T),其中α为整数且α≥1,则应被存储的数据抽样规则如下:
规则1:在时间间隔αi,当车辆状态数据元组tuple(T)的时间值能被αi整除时,则第i阶段的该数据元组会被存储(维护)。
规则2:在任意时刻,对于阶段i,最多只有最后α+1个快照被存储(维护)。
由以上规则推导可知以下抽样后的数据特点,
推论1:对于车辆流式数据,存储的数据数量是(α+1)*logα(T)。
推论2:最大时间轴划分粒度间隔为logα(T)。
推论3:对于任意指定的时间窗h,在2*h时间内,至少能查找到一张被存储的快照。
使用以上抽样规则存储车辆流式数据主要有两方面作用,首先,减轻了流式数据的存储压力,如车辆状态每秒更新一次(每秒上传1个数据元组),则100年的该车辆的数据抽样为(α+1)*logα(T)=(2+1)*log2(100*365*24*60*60)≈95个元组;其次,该方法能够保证离当前时间越近的数据被保存的频度越高,反之越低。如,当时间戳为55时,元组{16,24,32,36,40,44,46,48,50,51,52,53,54,55},使得在不失去历史数据特征的同时,也保证了在估计车辆历史活动区域中心位置时的实时性。
S12采用基于时间衰减的车辆历史活动区域中心位置估计。
设某一车辆被采用抽样方法后存储的数据流元组为{tuple(t1),tuple(t2),……,tuple(tn)},每一个数据元组中的位置数据对于该车辆历史活动中心的影响权重取决于其离当前时间的远近,出现时间越早的数据对中心位置的影响也越小。则计算该车辆历史活动区域中心位置为:
δ为系统指定参数,其范围是0<δ<<1,为估计位置的坐标点,(xt,yt)为t时刻数据元组中的车辆位置坐标点。其对于在S2生成的车货类型数据集中,车辆的位置(使用vk.location表示)数据实时维护其统计特征
S2:根据需要运输的货物的类型和货车的运载条件对车源和货源信息进行筛选:将相同类型的车源信息和相同类型的货物信息分别集中整理,同时对已经集中整理的车源和货源信息进行实时更新。
其中运输车辆与货物类型在车辆信息登记注册以及货源信息发布时由相关用户选择后保存,此步骤中针对每一个类型建立一个数据集,设某一类型type的车货类型数据集如下表示
VCtype={v1,...,vk,c1,…,ci}
其中vk表示该类型集中的车辆数据,ci表示该类型集中的货物数据。
每一个车辆或者货物可以具有多种类型,因此可以出现在多个数据集中。车货类型数据集被存储在高速缓存或内存中且不进行持久化操作,并根据车辆和货物的可用状态实时更新,如增加新的车辆和货物信息到车货类型数据集中,或者车辆或货物因业务原因退出无法匹配时,需要在相关车货类型数据集删除相关数据。
二、离线部分:
S3:对每一个车货类型数据集进行微聚类:在设置好的时间窗内使用聚类算法对上述每一个车货类型数据集按距离进行聚类,使每一个车货类型数据集产生多个微簇。
S31初始化微簇
在初始时刻,针对每一个VCtype数据集使用标准K-means聚类算法(可根据需要使用其他基于距离的聚类方法)形成q个初始微簇,q为聚类算法初始化时指定,且
q=μ*|VCtype|
其中0<μ<0.25,|VCtype|为车货类型数据集VCtype的规模,使用M1...Mq表示某一时刻的全部q个微簇。
S32微簇的更新
对于每一个微簇,若簇内仅有车辆或仅有货物数据,则删除该微簇,并计算该微簇中的数据点(车辆历史活动区域中心位置或货物位置)与其他微簇中 心的距离,找到最近的微簇Mp,并将该数据点置于微簇Mp中。
S4:针对每一个微簇计算匹配方案:在预先设置的时间窗内,对S3中的微簇采用进化算法对其进行车货供需匹配组合优化,形成车货匹配方案并保存。
S41车货匹配模型的建立
若某微簇Mp中有K(k=1,2,3….K)辆车和I(i=1,2,…,I)个货物数据,由所有匹配xki组成的矩阵VCM(Vehicl-Cargo Matrix)为车货匹配问题的一个解。
VCM每一个行向量对应每一辆车的匹配方案,每一个列向量对应每一个货物运输需求的匹配方案。其中
车货匹配组合优化公式为
max Z=w1R+w2(C+1)-1 (2)
i=1,2,...,I (7)
k=1,2,...,K (8)
其中每辆车的运输能力为bk,每个货物需求为di,w1和w2为信息资源利用率R和总体匹配成本C两个指标的偏好程度,且w1+w2=1。其中信息资源利用率R的计算公式为
C为总体匹配成本,可以考虑车辆当前位置与货物的起运位置的距离、用户 时间窗口和货物目的地距离等变量综合构成,在信息不完全情况下,至少要获得车辆历史活动区域中心位置与货物所在位置的距离lki,仅考虑距离成本的条件下,总体成本C的计算公式为
约束公式(3)限制每个货物运输需求至多有MI个匹配车辆;
约束公式(4)限制每辆车至多匹配MK个货物运输需求;
约束公式(5)要求每辆车匹配的所有的货物运输需求的总体货物重量要小于gbk,使得运输能力强的车辆能够获得更多的匹配方案;
约束公式(6)给每辆车推荐的每个方案中的货物重量都小于运输车辆的载重,避免给车推荐超重的货物。
其中约束公式(3),(4)用于控制匹配方案的数量,可以用于针对车辆和货物的Top-N匹配推荐应用中,当待匹配的车辆和货物数量较多时,应设置MI<<I,MK<<K。
S42基于QEA的车货匹配算法设计
(1)量子设计
初始化P个量子个体,每个量子个体有K×I个量子比特位,每个量子比特位两个概率幅,形式如下
其中α,β为复数,分别表示|0>和|1>的概率幅度,且满足|α|2+|β|2=1,量第n个比特位的αn在初始状态随机给出,第n个量子比特位测量值为
其中thn为每次量子进化后,针对每一个比特位随机给出的阈值,且满足0<thn<1,αn越小量子个体的第n量子比特位表现为1的概率越大。
量子个体测量值由每一个量子比特位测量值组成
对车货匹配问题采用二进制编码设计,使每个量子个体测量值代表一种匹配方案,并与车货匹配矩阵对应。解码过程需要将量子个体的每一个比特位的测量值与VCM矩阵的每一项元素进行映射,映射关系为
则每一个量子个体的测量值对应一个车货匹配问题的解。
(2)量子目标函数设计
根据车辆匹配模型的目标函数公式(2)定义量子个体的适应度函数为:
其中
(3)目标函数的惩罚函数设计
引进有约束惩罚的量子适应度函数对不符合约束条件的量子个体适应度进行惩罚。公式为:
ξ(Qψ)=IMV+IMC (18)
其中:公式(18)中ξ(Qψ)定义为一个量子个体中不符合约束条件的比特位的个数,其中Qψ为量子所有比特位测量值,IMV为Qψ中不符合约束公式(2)或者约束公式(4)的车辆个数,IMC为不符合约束公式(3)的货物个数,设Q1ψ,Q2ψ为不满足约束条件的量子,随着ξ变大,经过约束惩罚后适应度逐渐变小,惩罚前适应度较大的个体,在惩罚后可能因为距离ξ较大,变成适应度较小的量子个体,如,没有约束惩罚前的适应度满足F(Q1ψ)=f1>F(Q2ψ),由于两个量子个体所代表的匹配方案中不符合约束条件比特位个数不同,有可能得到的结果,从而降低不符合约束条件量子个体的适应度。
(4)量子进化策略设计
进化过程采用量子旋转门U(θ)改变量子比特的概率幅,使量子个体逐渐逼近最优解。量子旋转门计算公式为:
其中[α’,β’]T为经过量子旋转门进化后新的量子比特概率幅,θ为旋转角并满足以下公式:
θ=S(α,β)Δθ (12)
其中S(α,β)和△θ分别用于确定旋转的方向和角度增量。在进化过程中采用旋转角策略表确定,如表1所示
表1旋转角选择策略
其中δ为每次调整的角度增量△θ,可以通过静态或动态的方法调整。该调整策略是将量子个体的每一比特位的测量值与历史最优量子个体对应比特位的测量值BestQn ψ进行比较,通过查表的方式和公式(12)得到旋转角θn
由于采用了上述技术方案,本发明提供的一种大规模流式数据环境下的车货实时匹配方法,该方法针对流式数据的特点采用了数据抽样技术实时存储与估计车辆与货物的动态信息,提高车货动态信息处理的真实性与及时性,并提出了车货匹配组合优化模型,使用进化算法对该模型求解,可以高效率的计算出较为优秀车货匹配方案。该方法在设计思想上采用了分布式并行计算思想,从而提高大规模流式数据中车货匹配算法的计算性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述 中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种大规模流式数据环境下的车货实时匹配方法总体流程示意图;
图2为本发明中基于距离聚类的方法流程图;
图3为本发明中基于进化算法的车货匹配算法流程图;
图4本发明中大规模流式数据环境下的车货实时匹配方法技术框架图;
图5为本发明中量子进化算法收敛过程示意图;
图6为本发明中不同旋转角增量下适应度进化过程的示意图;
图7为本发明中不同旋转角增量下量子种群成熟度进化过程的示意图。
具体实施方式
为使本发明的技术方案和优点更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚完整的描述:
实施例:
如图1-图3所示的一种大规模流式数据环境下的车货实时匹配方法,技术框架如图4所示,本发明的相关方法可以部署实施在Apache Kafka+Apache Storm+Apache Hbase等分布式计算和存储框架上。
一,在线部分,主要使用Apache Kafka+Apache Storm实现流式数据的抽样统计,并按类型将车货数据分发到离线部分中不同的Blot组件中。
S1中分布式消息队列服务器使用Apache Kafka来实现,针对不同终端上传的车源与货源流式数据建立实时动态消息队列服务,实现消息传递服务与业务逻辑解耦。然后通过Apache Storm中的Spout组件实现按数据流送达顺序先入先出地维护车源数据与货源数据,并实现S11和S12步骤。其中车源信息状态包括车辆信息新增,车辆状态更新,车辆信息退出。货源信息状态包括货源信息新增,货源信息退出。
S2中按照用户已经设置好的车辆与货物类型特征划分车货类型集,相同车货类型的数据给予相同且唯一的类型ID。根据类型ID字段进行分组方式在Apache Storm的计算拓扑结构中分割数据,实现不同类型车货数据集在不同Bolt中分布式处理。
二,离线部分,主要使用Apache Storm建立了两层Bolt,第一层Bolt组件主要用于将Spout分发来的车货数据集进行微聚类处理,形成微簇,第二层主要 对第一层组件产生的微簇进行匹配计算,并将匹配方案存储于Apache Hbase中
S3中使用Apache Storm的Bolt组件建立一个用于在不同类型车货数据集中进行距离聚类的Bolt层,该层的Bolt接收S2分发的车货数据,该层中的每一Bolt负责处理一个类型的车货数据,按照车货数据状态更新自己所负责处理的车货数据集,当到达系统设定好的时间阈值是则对车货类型数据集中的车辆与货物按距离进行聚类,形成微簇,之后采用随机分组的方式将不同的车货微簇随机分发给下个Bolt层。
S4中同样使用Apache Storm的Bolt组件建立一个用于在不同微簇中进行匹配计算的Bolt层,使用上一层Bolt随机分发的微簇进行车货匹配计算,最终所有微簇的车货匹配方案数据存储到Apache Hbase。并将最新的匹配方案推荐给相应的用户。
如上所述,大规模的流式数据最后被分成若干个规模较小的微簇数据,每一个微簇数据被分发到匹配计算Bolt层中的不同Bolt组件中,根据分布式计算框架的负载均衡机制,该Bolt组件的匹配计算任务将被分发计算资源较为空闲的分布式服务节点中。
因此本发明所涉及的一种大规模流式数据环境下的车货实时匹配方法的设计方案可以应用在分布式处理框架上,从而实现分布式并行计算,提高大规模数据下的车货匹配计算效率。
为了能够使用遍历算法在可行的时间内得到精确解并与本发明S4中所设计的QEA算法最优解进行比较,本例挑选了一个数据量较小的微簇数据,包括5辆车与6个货物运输需求,如表2所示,其中bk列为每辆车的运输能力(吨),di行为每种货物运输需求量(吨),其它数据元素表示货物点与车辆历史活动区域中心位置的距离(km)。
表2实验数据表
设车货匹配问题模型的相关参数分别为K=5;I=6;w1=0.6;w2=0.4;MI=MK=4;g=2,L、bk和di如表2所示。首先使用遍历方法求出了以上数据的精确解,所 有车货匹配方案共25*6=1073741824种,遍历算法每秒解析并计算约50000个方案,用时约6小时,得到此问题的精确解适应度为0.283226。
结果分析中引进了量子个体成熟度(Quantum Maturity Value,QMV)与量子群体成熟度两个指标。量子个体Q成熟度为,
QMV可以用于说明量子个体测量值的稳定性,成熟度越大,代表其测量值的随机性越低。量子群体成熟度(Quantum Swarm Maturity Value,QSMV)定义为量子群中所有量子个体成熟度的平均值。QSMV越大则量子群活性越低,算法收敛程度越高。
量子进化算法相关参数分别为:量子群规模为100个量子个体;进化次数为1000次;△θ=0.01π。算法用时约0.6秒,得到最优强可行解为0.28320,算法在358次进化时首次得到该最优解。量子群进化过程如图5所示
当QSMV较小时,量子群中的量子个体的量子态差别不大,表现的测量值随机性较大,表现出较强的全局搜索能力,当QSMV较大时,虽然量子群中的量子个体已经普遍失去活性,测量值都已趋于稳定,但是算法依然可以在一定范围内进行搜索优化,如表3所示,当进入第358次进化后,QSMV>0.8,算法依然3次搜索到了更好的最优强可行解。
表3量子进化过程适应度与QSMV变化表
经过多次实验发现当QSMV>0.98后,由于量子群过于成熟,其测量值已经趋于稳定,很难产生更优秀的强可行解,因此,QSMV可以作为量子进化算法退出判定的辅助条件。
使用相同的车货匹配模型、参数和数据,将QEA算法和标准遗传算法 (GeneticAlgorithm,GA)进行比较,设定种群数量同样为100个,随机独立运行30次,算法结果统计指标如表4所示。
表4 QEA与GA算法对比
由统计结果可见,QEA算法与遗传算法GA相比具有更优秀的性能。
(1)算法收敛速度,QEA算法平均进化191次既可以获得当前种群最优解,而GA算法平均需要进化463次,说明QEA算法可以用更少的迭代次数获得最优解,收敛速度更快。
(2)算法准确性,QEA在30次独立运行与精确解相比平均误差为3.3E-05,GA算法的平均误差为24.2E-05,QEA平均误差比GA降低了86%,说明QEA拥有更优秀的准确性以及更好的全局搜索能力。
(3)算法稳定性,QEA算法30次运行结果的标准差为10.81E-05,而GA算法为16.02E-05,说明QEA算法30次运行的结果值更集中稳定。
设置量子个体数量分别为50、100、150、200、250、300,其它参数同上,针对不同的量子个体数量,算法分别独立随机运行10次,结果如表5所示。当量子群规模较小时,算法耗费时间短,但是算法收敛速度、准确性和算法稳定性较差。当量子群规模较大时,算法耗费时间较长,但是算法收敛速度、准确性和算法稳定性较优。对于实验环境给定的数据和算法参数,发现算法的计算机耗时和收敛速度随量子群规模变化呈现近似线性变化,计算机耗时随量子群规模稳定增长,而收敛速度也稳定增加。但是算法的准确性和稳定性存在“规模瓶颈”现象,当量子群规模达到100以上时,算法准确性和稳定性提高的并不明显。对于实际应用中的车货匹配问题应根据其问题规模和计算环境能力综合考虑设置量子群规模。
表5不同量子群规模算法效果对比
(2)旋转角增量影响分析
设定量子旋转角增量△θ分别为0.0001π、0.001π和0.01π,量子群规模为100,其他参数同上。QEA算法分别在第3018次、782次和387次进化时搜索得到了精确解。算法进化过程如图6所示,量子群成熟度进化曲线如图7所示。
当△θ=0.0001π时,算法具有较强的搜索能力,量子群成熟速度较晚,能够获得更多的较优强可行解,但是算法收敛速度较慢,需要更多的进化次数才能搜索到最优强可行解。当△θ=0.01π时,算法收敛速度较快,虽然能够很快地得到最优强可行解,但是由于量子群成熟过快,对于更大规模的车货匹配问题容易陷入局部搜索,失去了搜索更多强可行解的机会,有可能使得算法精确度降低。因此,△θ值的选择对算法的效率有着较大的影响,△θ值太大可能会使结果发散或早熟收敛到局部最优解,△θ值太小则可能会使算法收敛缓慢,造成需要过多的迭代次数才能获得更优秀的解。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种大规模流式数据环境下的车货实时匹配方法,其特征在于:包括以下步骤:
S1:采用分布式队列服务方法实时采集货车的车源信息和货源信息:对车辆的位置流式数据进行抽样存储,采用时间衰减算法估计车辆的历史活动区域中心;
S2:根据需要运输的货物的类型和货车的运载条件对车源和货源信息进行筛选:将同类型的车源信息和同类型的货物信息分别集中整理,同时对已经集中整理的车源和货源信息进行实时更新;
S3:对每一个车货类型数据集进行微聚类:在设置好的时间窗内使用聚类算法对上述每一个车货类型数据集按距离进行聚类,使每一个车货类型数据集产生多个微簇;
S4:针对每一个微簇计算匹配方案:在预先设置的时间窗内,对S3中的微簇采用进化算法对其进行车货供需匹配组合优化,形成车货匹配方案并保存;
针对每一个微簇计算匹配方案具体采用如下方式:
S41:建立车货匹配模型:若某微簇Mp中有K(k=1,2,3….K)辆车和I(i=1,2,…,I)个货物数据,由所有匹配xki组成的矩阵VCM为车货匹配问题的一个解,
VCM每一个行向量对应每一辆车的匹配方案,每一个列向量对应每一个货物运输需求的匹配方案,其中
车货匹配组合优化数学模型为
max Z=w1R+w2(C+1)-1 (2)
同时满足以下约束条件:
限制每个货物运输需求至多有MI个匹配车辆;
限制每辆车至多匹配MK个货物运输需求;
要求每辆车匹配的所有的货物运输需求的总体货物重量要小于gbk
给每辆车推荐的每个方案中的货物重量都小于运输车辆的载重;
其中i=1,2,...,I,k=1,2,...,K
其中每辆车的运输能力为bk,每个货物需求为di,w1和w2为信息资源利用率R和总体匹配成本C两个指标的偏好程度,且w1+w2=1,其中信息资源利用率R的计算公式为
C为总体匹配成本,在仅考虑距离成本的条件下,C的计算公式为
S42:基于量子进化算法的车货匹配算法设计:初始化P个量子个体,每个量子个体有K×I个量子比特位,每个量子比特位具有两个概率幅,对车货匹配问题采用二进制编码设计,使每个量子个体测量值代表一种匹配方案,并与车货匹配矩阵对应,每一个量子个体的测量值对应一个车货匹配问题的解;
S43:设计量子目标函数,
根据车辆匹配模型的目标函数公式(2)定义量子个体的适应度函数为:
其中 为量子比特位测量值,
S44:目标函数的惩罚函数设计:引进有约束惩罚的量子适应度函数对不符合约束条件的量子个体适应度进行惩罚:
ξ(Qψ)=IMV+IMC (18)
F(Qψ)pun=F(Qψ)1+ξ(Qψ) (19)
其中:公式(18)中ξ(Qψ)定义为一个量子个体中不符合约束条件的比特位的个数,其中Qψ为量子所有比特位测量值,IMV为Qψ中不符合约束公式(2)或者约束公式(4)的车辆个数,IMC为不符合约束公式(3)的货物个数,设Q1ψ,Q2ψ为不满足约束条件的量子,随着ξ变大,经过约束惩罚后适应度逐渐变小,惩罚前适应度较大的个体,在惩罚后可能因为距离ξ较大,变成适应度较小的量子个体。
2.根据权利要求1所述的大规模流式数据环境下的车货实时匹配方法,其特征还在于:S1中采用时间衰减算法估计车辆的历史活动区域中心,具体采用如下方式:
设某一车辆被存储的数据流元组为{tuple(t1),tuple(t2),……,tuple(tn)},则该车辆历史活动区域中心位置为:
δ为系统指定参数,其范围是0<δ<<1,为估计位置的坐标点,(xt,yt)为t时刻数据元组中的车辆位置坐标点。
3.根据权利要求1所述的大规模流式数据环境下的车货实时匹配方法,其特征还在于:S3中对每一个车货类型数据集进行微聚类具体采用如下方式:
S31初始化微簇
在初始时刻,针对每一个VCtype数据集使用基于距离的聚类算法形成q个初始微簇,q为聚类算法初始化时指定,且
q=μ*|VCtype|
其中0<μ<0.25,|VCtype|为车货类型数据集VCtype的规模,使用M1...Mq表示某一时刻的全部q个微簇;
S32微簇的更新
对于每一个微簇,若簇内仅有车辆或仅有货物数据,则删除该微簇,并计算该微簇中车辆历史活动区域中心位置或货物位置与其他微簇中心的距离,找到最近的微簇Mp,并将该数据点置于微簇Mp中。
CN201610272779.1A 2016-04-27 2016-04-27 大规模流式数据环境下的车货实时匹配方法 Expired - Fee Related CN105976140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610272779.1A CN105976140B (zh) 2016-04-27 2016-04-27 大规模流式数据环境下的车货实时匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610272779.1A CN105976140B (zh) 2016-04-27 2016-04-27 大规模流式数据环境下的车货实时匹配方法

Publications (2)

Publication Number Publication Date
CN105976140A CN105976140A (zh) 2016-09-28
CN105976140B true CN105976140B (zh) 2019-10-11

Family

ID=56993350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610272779.1A Expired - Fee Related CN105976140B (zh) 2016-04-27 2016-04-27 大规模流式数据环境下的车货实时匹配方法

Country Status (1)

Country Link
CN (1) CN105976140B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021177892A1 (en) * 2020-03-06 2021-09-10 Grabtaxi Holdings Pte. Ltd. Demand notification device, computing device and demand notification method

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106302658A (zh) * 2016-08-02 2017-01-04 大连文森特软件科技有限公司 基于合理区域划分的移动分布式运算系统
CN106302657A (zh) * 2016-08-02 2017-01-04 大连文森特软件科技有限公司 基于分布式计算的在线图形化游戏制作系统
CN108805474A (zh) * 2017-04-26 2018-11-13 北京万集科技股份有限公司 一种车货匹配方法及装置
CN108776919B (zh) * 2018-05-31 2021-07-20 西安电子科技大学 基于聚类及进化算法构建信息核的物品推荐方法
CN108921472B (zh) * 2018-06-30 2021-09-21 华南理工大学 一种多车型的两阶段车货匹配方法
CN109359771A (zh) * 2018-10-11 2019-02-19 福建龙易配信息科技有限公司 一种基于大数据的干线运输车货匹配算法
EP3666596B1 (en) * 2018-12-11 2021-04-28 e.solutions GmbH Method for identifying occupant-specific settings and vehicle for performing method for identifying occupant-specific settings
CN110084463A (zh) * 2019-02-27 2019-08-02 福建龙易配信息科技有限公司 基于大数据的干线运输预配货的方法及系统
WO2020236228A1 (en) * 2019-05-17 2020-11-26 Chase Arnold Direct vehicle engagement system
US20220374833A1 (en) * 2019-05-17 2022-11-24 Arnold Chase Direct truck assignment system
CN110210666B (zh) * 2019-05-31 2021-08-10 合肥工业大学 基于车货匹配的智能推荐方法、系统和存储介质
CN110400107B (zh) * 2019-07-03 2023-10-27 广西大学 一种闲散运输业务的智能敏捷发现系统
CN111340428B (zh) * 2020-03-04 2022-09-27 江苏满运软件科技有限公司 货物类型的特征表示方法、系统、电子设备和存储介质
WO2023091367A1 (en) * 2021-11-17 2023-05-25 Chase Arnold Direct truck assignment system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345514A (zh) * 2013-07-09 2013-10-09 焦点科技股份有限公司 大数据环境下的流式数据处理方法
CN104394238A (zh) * 2014-12-18 2015-03-04 无锡运多多网络科技有限公司 一种车货匹配服务方法
CN105117879A (zh) * 2015-08-19 2015-12-02 广州增信信息科技有限公司 一种车、货智能匹配方法、装置及系统
CN105139035A (zh) * 2015-08-31 2015-12-09 浙江工业大学 基于密度的聚类中心自动确定的混合属性数据流聚类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345514A (zh) * 2013-07-09 2013-10-09 焦点科技股份有限公司 大数据环境下的流式数据处理方法
CN104394238A (zh) * 2014-12-18 2015-03-04 无锡运多多网络科技有限公司 一种车货匹配服务方法
CN105117879A (zh) * 2015-08-19 2015-12-02 广州增信信息科技有限公司 一种车、货智能匹配方法、装置及系统
CN105139035A (zh) * 2015-08-31 2015-12-09 浙江工业大学 基于密度的聚类中心自动确定的混合属性数据流聚类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021177892A1 (en) * 2020-03-06 2021-09-10 Grabtaxi Holdings Pte. Ltd. Demand notification device, computing device and demand notification method

Also Published As

Publication number Publication date
CN105976140A (zh) 2016-09-28

Similar Documents

Publication Publication Date Title
CN105976140B (zh) 大规模流式数据环境下的车货实时匹配方法
Saputra et al. Energy demand prediction with federated learning for electric vehicle networks
CN112789633A (zh) 用于机器学习模型的动态数据选择
CN102915347B (zh) 一种分布式数据流聚类方法及系统
CN106484758B (zh) 一种基于网格和聚类优化的实时数据流核密度估计方法
Huang et al. Optimal learning for urban delivery fleet allocation
CN106228263A (zh) 基于大数据的物流信息化方法
CN107194605B (zh) 能源消耗估计系统及方法
CN101494566B (zh) 预测对等网络中对等体的继续在线时长的方法及装置
CN105574586A (zh) 基于mpso-bp网络的通用飞机航材需求预测方法
Zhang et al. Quantified edge server placement with quantum encoding in internet of vehicles
Wang et al. Semi-empirical service composition: A clustering based approach
Wang et al. Partition cost-sensitive CART based on customer value for Telecom customer churn prediction
CN111191801A (zh) 一种基于全景监测及智能预警的配电网数据源构建方法
CN114781717A (zh) 网点设备推荐方法、装置、设备和存储介质
CN110210666A (zh) 基于车货匹配的智能推荐方法、系统和存储介质
CN103106329A (zh) 一种用于svr短期负荷预测的训练样本分组构造方法
CN105956816A (zh) 物资运输信息智能处理方法
CN112434923B (zh) 一种基于子空间聚类的机械产品质量分析方法
Tian et al. Dynamic vehicle routing problem using hybrid ant system
CN107590747A (zh) 基于综合能源大数据分析的电网资产周转率计算方法
CN116452150A (zh) 一种项目信息协同管理系统
CN109993271A (zh) 基于博弈理论的灰色神经网络预测方法
CN114925857A (zh) 一种用于交通状态估计的联邦学习算法
CN114840581A (zh) 基于统计模型生成用于设备预警的动态阈值的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191011

Termination date: 20210427

CF01 Termination of patent right due to non-payment of annual fee