CN115796259B - 模型训练方法、数据处理方法、预测方法及装置、设备 - Google Patents

模型训练方法、数据处理方法、预测方法及装置、设备 Download PDF

Info

Publication number
CN115796259B
CN115796259B CN202211484348.3A CN202211484348A CN115796259B CN 115796259 B CN115796259 B CN 115796259B CN 202211484348 A CN202211484348 A CN 202211484348A CN 115796259 B CN115796259 B CN 115796259B
Authority
CN
China
Prior art keywords
flow data
target
lstm
historical
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211484348.3A
Other languages
English (en)
Other versions
CN115796259A (zh
Inventor
张乐
明靖祠
梅雨
田楚杰
窦晓钦
凌玮岑
祝恒书
熊辉
陈尚义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202211484348.3A priority Critical patent/CN115796259B/zh
Publication of CN115796259A publication Critical patent/CN115796259A/zh
Application granted granted Critical
Publication of CN115796259B publication Critical patent/CN115796259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本公开提供了模型训练方法、数据处理方法、预测方法及装置、设备,涉及数据处理技术领域,尤其涉及人工智能和智能交通领域。具体实现方案为:将目标流量数据输入至预设补全模型,得到目标路口的N个目标流向在T个时间段内的目标预估全历史流量数据,其中,所述目标流量数据为所述目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述预设补全模型用于对缺失的历史流量数据进行数据补全;所述N为大于等于1的自然数;所述T为大于等于2的自然数;基于所述目标预估全历史流量数据与真实全历史流量数据所构建的第一损失函数,对所述预设补全模型进行模型训练;在模型训练完成的情况下,得到目标补全模型。

Description

模型训练方法、数据处理方法、预测方法及装置、设备
技术领域
本公开涉及数据处理技术领域,尤其涉及人工智能和智能交通。
背景技术
现有智慧信控场景包含三个层面,分别为感知,认知和决策。其中,感知是指对交通态势的检测,认知是指在感知基础上,对未来交通态势的估计,决策是指在认知的基础上实现对交通信号控制系统,比如信号灯的配时进行控制。可以理解的是,认知作为承上启下的一环,在智慧信控场景中起到至关重要的作用,而交通流量数据的预测是认知层面的一个核心问题。但是,现有预测场景中,常会出现历史流量数据缺失的问题,因此,必然为交通流量数据的精确预测带来了难度。
发明内容
本公开提供了一种模型训练方法、数据处理方法、预测方法及装置、设备。
根据本公开的一方面,提供了模型训练方法,包括:
将目标流量数据输入至预设补全模型,得到目标路口的N个目标流向在T个时间段内的目标预估全历史流量数据,其中,所述目标流量数据为所述目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述预设补全模型用于对缺失的历史流量数据进行数据补全;所述N为大于等于1的自然数;所述T为大于等于2的自然数;
基于所述目标预估全历史流量数据与真实全历史流量数据所构建的第一损失函数,对所述预设补全模型进行模型训练;
在模型训练完成的情况下,得到目标补全模型。
根据本公开的另一方面,提供了一种数据处理方法,包括:
将待处理历史流量数据,输入至目标补全模型;其中,所述待处理历史流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述目标补全模型是基于以上所述的模型训练方法训练所得;所述N为大于等于1的自然数;所述T为大于等于2的自然数;
得到目标全历史流量数据,所述目标全历史流量数据为所述目标路口的N个目标流向在T个时间段内的全部历史流量数据。
根据本公开的再一方面,提供了一种模型训练方法,包括:
将目标流量数据输入至预设总模型;其中,所述目标流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述预设总模型包括预设补全模型和预设预测模型,其中,所述预设补全模型用于对缺失的历史流量数据进行数据补全;所述预设预测模型用基于补全后的全历史流量数据进行预测;
得到目标路口的N个目标流向在第T+1个时间段内的第T+1预测全流量数据;
基于目标损失函数对所述预设总模型中的预设补全模型以及预设预测模型进行联合训练;所述目标损失函数基于第T+1预测全流量数据与第T+1真实全流量数据构建所得;
在联合训练完成的情况下,得到所述目标总模型,所述目标总模型包括目标预测模型和目标补全模型。
根据本公开的再一方面,提供了一种预测方法,包括:
将待处理历史流量数据,输入至目标总模型;其中,所述待处理历史流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述目标总模型是基于以上所述的模型训练方法训练所得;所述N为大于等于1的自然数;所述T为大于等于2的自然数;
得到所述目标路口的N个目标流向在第T+1时间段所对应的第T+1目标预测全流量数据。
根据本公开的再一方面,提供了一种模型训练装置,包括:
第一模型处理单元,用于将目标流量数据输入至预设补全模型,得到目标路口的N个目标流向在T个时间段内的目标预估全历史流量数据,其中,所述目标流量数据为所述目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述预设补全模型用于对缺失的历史流量数据进行数据补全;所述N为大于等于1的自然数;所述T为大于等于2的自然数;基于所述目标预估全历史流量数据与真实全历史流量数据所构建的第一损失函数,对所述预设补全模型进行模型训练;
第一模型输出单元,用于在模型训练完成的情况下,得到目标补全模型。
根据本公开的再一方面,提供了一种数据处理装置,包括:
第一输入单元,用于将待处理历史流量数据,输入至目标补全模型;其中,所述待处理历史流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述目标补全模型是基于以上所述的模型训练方法训练所得;所述N为大于等于1的自然数;所述T为大于等于2的自然数;
第一输出单元,用于得到目标全历史流量数据,所述目标全历史流量数据为所述目标路口的N个目标流向在T个时间段内的全部历史流量数据。
根据本公开的再一方面,提供了一种模型训练装置,包括:
第二模型处理单元,用于将目标流量数据输入至预设总模型;其中,所述目标流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述预设总模型包括预设补充模型和预设预测模型,其中,所述预设补全模型用于对缺失的历史流量数据进行数据补全;所述预设预测模型用基于补全后的全历史流量数据进行预测;得到目标路口的N个目标流向在第T+1个时间段内的第T+1预测全流量数据;基于目标损失函数对所述预设总模型中的预设补全模型以及预设预测模型进行联合训练;所述目标损失函数基于第T+1预测全流量数据与第T+1真实全流量数据构建所得;
第二模型输出单元,用于在联合训练完成的情况下,得到所述目标总模型,所述目标总模型包括目标预测模型和目标补全模型。
根据本公开的再一方面,提供了一种预测装置,包括:
第二输入单元,用于将待处理历史流量数据,输入至目标总模型;其中,所述待处理历史流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述目标总模型是基于以上所述的模型训练方法训练所得;所述N为大于等于1的自然数;所述T为大于等于2的自然数;
第二输出单元,用于得到所述目标路口的N个目标流向在第T+1时间段所对应的第T+1目标预测全流量数据。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开中任一实施例的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
这样,本公开方案能够有效解决交通流量数据缺失的问题,同时,为后续精确预测未来交通流量数据奠定了基础。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1(a)是本公开实施例目标路口的交通流量数据存在缺失现象的场景示意图一;
图1(b)是本公开实施例目标路口的交通流量数据存在缺失现象的场景示意图二;
图2是本申请一实施例数据处理方法或预测方法的场景示意图;
图3是根据本申请一实施例数据处理方法的示意性流程图;
图4是根据本申请一实施例模型训练方法的示意性流程图一;
图5是根据本申请一实施例利用预设补全模型获取第t+1预估历史流量数据的示意性流程图;
图6(a)是根据本申请一实施例前向传导的LSTM网络的结构示意图;
图6(b)是根据本申请一实施例基于包含前向传导的LSTM网络的预设补全模型进行数据处理的流程示意图;
图7(a)是根据本申请一实施例反向传导的LSTM网络的结构示意图;
图7(b)是根据本申请一实施例基于反向传导的LSTM网络的预设补全模型进行数据处理的流程示意图;
图8(a)是根据本申请一实施例双向传导的LSTM网络的结构示意图;
图8(b)是根据本申请一实施例基于包含双向传导的LSTM网络的预设补全模型进行数据处理的结构示意图;
图9是根据本申请一实施例预测方法的示意性流程图;
图10(a)是根据本申请一实施例模型训练方法的示意性流程图二;
图10(b)是根据本申请一实施例基于预设总模型进行数据处理的流程示意图;
图11(a)是根据本申请一实施例图卷积网络的数据处理的流程示意图;
图11(b)至图11(e)是根据本申请一实施例预设预测模型可使用的多个处理机制的示意性流程示意图;
图12是根据本申请一实施例模型训练装置的结构示意图一;
图13是根据本申请一实施例数据处理装置的结构示意图;
图14是根据本申请一实施例模型训练装置的结构示意图二;
图15是根据本申请一实施例预测装置的结构示意图;
图16是用来实现本公开实施例模型训练方法、数据处理方法和预测方法之一方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
为了更好的说明本公开方案,以下具体实施方式中给出了一些具体细节。本领域技术人员应当理解,缺少或替换某些具体细节,本公开方案同样适用。而且,需要说明的是,为凸显本公开方案的主旨,在一些实例中,对于本领域技术人员熟知的处理方式等未作详细描述。
同时,对本申请实施例所涉及到的基本概念进行简单说明。应理解,下文所介绍的基本概念并不对本申请实施例产生限定。
路口:交叉道路的接口。
流向:信控场景中,车辆在道路上的行驶方向。
可以理解的是,本公开方案的目标路口可以具体为丁字路口、十字路口等任何交叉道路的接口,本公开方案对此不作限制。进一步地,本公开方案所述的目标流向,可以是基于实际场景需求而选取出的针对目标路口的一个或多个流向,比如,可以为目标路口对应的全部流向,也可以为目标路口的部分流向,本公开方案对此也不作限制。
进一步地,图1(a)和图1(b)是本公开实施例目标路口的交通流量数据(也即本公开方案所述的历史流量数据)存在缺失现象的场景示意图,该示意图示例性的描述了目标路口的不同目标流向在不同时间段内所对应的历史流量数据,其中,目标道路中的虚线框表示对应时间段内的特定目标流向的历史流量数据缺失,实线框表示对应时间段内的特定目标流向的历史流量数据不缺失。
这里,可以理解的是,图1(a)和图1(b)仅示例性的描述了目标路口的目标流向①和目标流向②在T个时间段内的历史流量数据的相关场景,实际应用中,还可以包括目标路口的其他道路的其他流向所对应的历史流量数据,本公开方案对此不作具体限制。
具体地,如图1(a)所示,以目标路口的目标流向①(如目标车道上的直行方向)和目标流向②(如目标车道上的左转方向)为例,此时,可以使用矩阵X={x1,…,xt,…,xT}来表示目标路口的不同目标流向在T个时间段内观测到的总历史流量数据。这里,对于图1(a)和图1(b)所示的场景而言,向量xt={xt1,xt2}表示该目标路口的目标流向①和目标流向②在第t时间段内观测到的历史流量数据,其中,xt1表示目标流向①在第t时间段内所观测到的历史流量数据,xt2表示目标流向②在第t时间段内所观测到的历史流量数据,所述t为大于等于1小于等于T-1的自然数;所述T为大于等于2的自然数。
进一步地,实际应用场景中,所述总历史流量数据X中可能存在部分历史流量数据缺失的情况,比如,如图1(a)所示,所述总历史流量数据X中,目标路口的目标流向①和目标流向②在第t时间段内的历史流量数据缺失,即xt={xt1,xt2}的数据缺失。又比如,如图1(b)所示,所述总历史流量数据X中,目标路口的目标流向②在第t时间段内的历史流量数据缺失,即xt2的数据缺失,以及该目标路口的目标流向①在第t-1时间段内的历史流量数据缺失,即x(t-1)1的数据缺失。
需要说明的是,实际应用中,缺失的历史流量数据可以为特定时间段内的所有目标流向的流量数据,也可以是特定时间段内某一特定目标流向的流量数据,本公开方案对此也不作限制。
基于此,本公开方案提供了一种历史流量数据的补全方案,以及利用补全后的历史流量数据进行交通流量预测的预测方案。
在对本公开方案进行详细说明之前,先给出本公开方案的一应用场景示意图,如图2所示,该场景中包括数据采集装置201、云端202以及服务器203或服务器集群203;具体地,数据采集装置201可设置于目标路口的不同目标流向所对应的车道处(图2仅为一具体示例,实际应用中,还可以有其他设置方法,本公开方案对此不作限制),此时,即可利用设置于对应车道上的数据采集装置来对目标路口在目标流向上的车辆流量数据进行采集;并将采集后的车辆流量数据上传至云端202;云端202对目标路口在不同目标流向的不同时间段内的车辆流量数据进行汇总,并进行存储。进一步地,服务器203或服务器集群203从云端获取目标路口在不同目标流向的不同时间段内的车辆流量数据,作为目标流量数据,进而来对预设补全模型或预设总模型(包括预设补全模型和预设预测模型)进行模型训练,并得到目标补全模型或目标总模型(包括目标设补全模型和目标预测模型)。
进一步地,服务器203或服务器集群203,还可以基于训练得到的目标补全模型对待处理历史流量数据(如缺失部分历史流量数据)进行数据补全处理;或者,服务器203或服务器集群203,还可以基于训练得到的目标总模型对待处理历史流量数据(如缺失部分历史流量数据)进行处理,得到下一时间段内的预测流量数据。
可以理解的是,实际应用中,图2所示的服务器或服务器集群,可以用于模型训练,也可以在模型训练得到目标补全模型或目标总模型后,对待处理历史流量进行处理,以进行数据补全或预测;换言之,用于模型训练的服务器或服务器,与用于预测的服务器或服务器集群,可以是相同的,或者,也可以不同,本公开方案对此不作限制。
需要说明的是,以上场景仅为一示例性说明,实际应用中,还可以用于其他场景,本公开方案对此不作限制。
第一部分:历史流量数据的补全方案,具体内容如下:
(一)模型应用部分:利用目标补全模型对缺失的历史流量数据进行数据补全
具体地,图3是根据本申请一实施例数据处理方法的示意性流程图。该方法可选地应用于经典计算设备中,比如,个人电脑、服务器、服务器集群等具有经典计算能力的电子设备中。该方法至少包括以下内容的至少部分内容。如图3所示,该数据处理方法包括:
步骤S301:将待处理历史流量数据,输入至目标补全模型。
其中,所述待处理历史流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述目标补全模型是基于以下模型训练方法对预设补全模型进行训练所得。
步骤S302:得到目标全历史流量数据,所述目标全历史流量数据为所述目标路口的N个目标流向在T个时间段内的全部历史流量数据。
也就是说,所述待处理历史流量数据中部分历史流量数据缺失,此时,经由所述目标补全模型处理后,即可将缺失的历史流量数据补全,得到所需的全量数据,也即针对该目标路口的N个目标流向在T个时间段内的全部历史流量数据,即目标全历史流量数据。
这样,本公开方案能够利用预先训练完成的目标补全模型实现缺失数据的补全,并得到完整的历史流量数据(也即目标全历史流量数据),如此,解决了交通流量数据缺失的问题,为后续精确预测未来交通流量数据奠定了基础。
在一具体示例中,所述目标全历史流量数据包括第t时间段内所对应的第t流量数据;其中,所述t为大于等于1小于等于T-1的自然数。
进一步地,所述第t流量数据至少包括所述N个目标流向中第i个目标流向、在第t时间段内所对应的流量数据;也就是说,所述第t流量数据可以具体包括N个目标流向在第t时间段内所对应的N个流量数据,此时,所述第t流量数据可使用向量表示,比如N维向量表示;或者,所述第t流量数据还可以具体指N个目标流向中某一或某几个目标流向(如第i目标流向)在第t时间段内所对应的流量数据。本公开方案对第t流量数据所指示的流量数据不作具体限定,可基于实际需求而设置。
进一步地,所述待处理历史流量数据中存在第t时间段内所对应的第t真实历史流量数据的情况下,所述第t流量数据为第t真实历史流量数据;这里,所述第t真实历史流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内的历史流量数据;可以理解的是,所述第t真实历史流量数据可以具体包括N个目标流向在第t时间段内所对应的N个真实历史流量数据,此时,所述第t真实历史流量数据可使用向量表示,比如N维向量表示;或者,所述第t真实历史流量数据还可以具体指N个目标流向中某一或某几个目标流向(如第i目标流向)在第t时间段内所对应的真实历史流量数据。
或者,在所述待处理历史流量数据中不存在所述第t真实历史流量数据的情况下,所述第t流量数据为所述目标补全模型输出的第t目标预估历史流量数据;第t目标预估历史流量数据至少包括所述N个目标流向中第i个目标流向、在第t时间段内的目标预估历史流量数据。可以理解的是,所述第t目标预估历史流量数据可以具体包括N个目标流向在第t时间段内所对应的N个目标预估历史流量数据,此时,所述第t目标预估历史流量数据可使用向量表示,比如N维向量表示;或者,所述第t目标预估历史流量数据还可以具体指N个目标流向中某一或某几个目标流向(如第i目标流向)在第t时间段内所对应的目标预估历史流量数据。
也就是说,该示例中,在目标路口的目标流向某时间段内的历史流量数据缺失的情况下,会使用预估的历史流量数据来替代缺失的历史流量数据,而在目标路口的目标流向某时间段内的历史流量数据存在的情况下,直接使用真实的历史流量数据,如此,有针对性地对缺失的历史流量数据进行数据补全,确保了模型输出数据的准确性,同时,也为后续精确预测未来交通流量数据奠定了基础。
在一具体示例中,继续以图1(a)为例,在数据补全阶段,待处理历史流量数据可以为缺失部分数据的总历史流量数据X={x1,…,xt,…,xT},,即该总历史流量数据X中向量xt={xt1,xt2}的数据缺失,也即该示例中,总历史流量数据X为非全量的真实历史流量数据。此时,利用本公开方案数据处理方法,即可对缺失的向量xt={xt1,xt2}的数据进行补全,进而得到所需的全量的历史流量数据,比如,得到目标全历史流量数据 其中,向量可称为第t流量数据,该示例中,也可称为第t目标预估历史流量数据,表示目标流向①和目标流向②在第t时间段内的预估历史流量数据。相应地,在第t目标预估历史流量数据,也即向量中的表示目标流向①在第t时间段内的目标预估历史流量数据,表示目标流向②在第t时间段内的目标预估历史流量数据。这里,所述目标全历史流量数据中除之外的历史流量数据,如x1,…,xt-1,xt+1,…,xT,均为对应时段内的真实历史流量数据。
在另一具体示例中,继续以图1(b)为例,在数据补全阶段,待处理历史流量数据可以为缺失部分数据的总历史流量数据X={x1,…,xt-1,xt,…,xT},如该总历史流量数据X中向量xt-1={x(t-1)1,x(t-1)2}中的x(t-1)1和向量xt={xt1,xt2}中的xt2的数据缺失,也即该示例中,总历史流量数据X为非全量的真实历史流量数据。此时,利用本公开方案数据处理方法,即可对缺失的x(t-1)1和xt2的数据进行补全,进而得到所需的全量的历史流量数据,比如,得到目标全历史流量数据 其中,向量可称为第t-1流量数据,这里,向量中的为预估的历史流量数据,表示目标流向①在第t-1时间段内的目标预估历史流量数据,可称为第t-1目标预估历史流量数据,而向量中的x(t-1)2表示目标流向②在第t-1时间段内的真实历史流量数据,可称为第t-1真实历史流量数据。同理,向量可称为第t流量数据,其中,向量中的为预估的历史流量数据,表示目标流向②在第t时间段内的目标预估历史流量数据,可称为第t目标预估历史流量数据,而向量中的xt1,表示目标流向①在第t时间段内的真实历史流量数据,可称为第t真实历史流量数据。进一步地,目标全历史流量数据中除向量中的以及向量中的之外的历史流量数据,如x1,…,xt-2,xt+1,…,xT,均为真实历史流量数据。
在另一具体示例中,还可以基于所述目标全历史流量数据,对所述目标路口进行交通信号控制。如此,基于精准地预测结果,来实现智能化的交通信号控制,且该方式合理,为有效缓解交通压力提供了一种可量化的解决方案。
(二)模型训练部分:对预设补全模型进行模型训练,以得到目标补全模型
本公开方案还提供了一种模型训练方法,用于训练得到以上所述的预设补全模型,并在训练完成后得到目标补全模型。
具体地,图4是根据本申请一实施例模型训练方法的示意性流程图一。该方法可选地应用于经典计算设备中,比如,个人电脑、服务器、服务器集群等具有经典计算能力的电子设备中。该方法至少包括以下内容的至少部分内容。如图4所示,包括:
步骤S401:将目标流量数据输入至预设补全模型,得到目标路口的N个目标流向在T个时间段内的目标预估全历史流量数据,其中,所述目标流量数据为所述目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述预设补全模型用于对缺失的历史流量数据进行数据补全。
步骤S402:基于所述目标预估全历史流量数据与真实全历史流量数据所构建的第一损失函数,对所述预设补全模型进行模型训练。
这里,所述第一损失函数用于表征目标预估全历史流量数据与真实全历史流量数据的差异程度。
步骤S403:在模型训练完成的情况下,得到目标补全模型。
这样,本公开方案通过目标流量数据来训练预设补全模型,从而得到目标补全模型,如此,利用该目标补全模型来解决交通流量数据缺失的问题,为后续精确预测未来交通流量数据奠定了基础。
在一具体示例中,在模型训练阶段,目标流量数据可以为缺失部分历史流量数据的总历史流量数据,这里,该总历史流量数据为全量的历史流量数据,也即真实全历史流量数据;进一步地,继续以图1(a)为例,从总历史流量数据X中随机去除部分历史流量数据,使该总历史流量数据X中向量xt={xt1,xt2}的数据缺失,此时,该目标流量数据可具体为缺少xt={xt1,xt2}的总历史流量数据,如此,利用存在缺失数据的目标流量数据,对预设补全模型进行模型训练。比如,将缺少xt={xt1,xt2}的目标流量数据,输入至预设补全模型,得到该目标预估全历史流量数据 其中,所述表示模型训练阶段的、目标流向①和目标流向②在第t时间段内的预估历史流量数据,也即第t预估历史流量数据,进而基于目标预估全历史流量数据与真实全历史流量数据所构建的第一损失函数,对所述预设补全模型进行模型训练。这里,所述第一损失函数用于表征目标预估全历史流量数据与真实全历史流量数据之间的差异程度。
或者,进一步地,以图1(b)为例,从总历史流量数据X中随机去除部分历史流量数据,使该总历史流量数据X中向量xt-1={x(t-1)1,x(t-1)2}中x(t-1)1和向量xt={xt1,xt2}中xt2的数据缺失,此时,该目标流量数据可具体为缺少向量xt-1中x(t-1)1以及缺少向量xt中xt2的总历史流量数据,如此,利用存在缺失数据的目标流量数据,对预设补全模型进行模型训练。比如,将缺少xt-1中x(t-1)1和xt中xt2的目标流量数据,输入至预设补全模型,得到该目标预估全历史流量数据其中,向量 为第t-1目标流量数据;进一步地,向量 中的为预估的历史流量数据,表示目标流向①在第t-1时间段内的预估历史流量数据,可称为第t-1预估历史流量数据,而向量中的x(t-1)2表示目标流向②在第t-1时间段内的真实历史流量数据,可称为第t-1真实历史流量数据。同理,向量为第t目标流量数据,向量中的为预估的历史流量数据,表示目标流向②在第t时间段内的预估历史流量数据,可称为第t预估历史流量数据,而向量中的xt1表示目标流向①在第t时间段内的真实历史流量数据,可称为第t真实历史流量数据。进一步地,目标预估全历史流量数据中除向量中的以及向量中的之外的历史流量数据,如x1,…,xt-2,xt+1,…,xT,均为真实历史流量数据。
在本公开方案的一具体示例中,所述目标预估全历史流量数据包括第t时间段内所对应的第t目标流量数据;其中,所述t目标流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内所对应的目标流量数据;所述t为大于等于1且小于等于T-1的自然数;所述i为大于等于1且小于等于N的自然数。
其中,在所述目标流量数据中存在第t时间段内所对应的第t真实历史流量数据的情况下,所述第t目标流量数据为所述第t真实历史流量数据;所述第t真实历史流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内的历史流量数据;
在所述目标流量数据中不存在所述第t真实历史流量数据的情况下,所述第t目标流量数据为所述预设补全模型输出的第t预估历史流量数据(比如,可记为);第t预估历史流量数据至少包括所述N个目标流向中第i个目标流向、在第t时间段内的预估历史流量数据。
也就是说,实际应用中,只有在目标路口的目标流向某时间段内的历史流量数据缺失的情况下,才会使用预估的历史流量数据来替代缺失的历史流量数据,而在目标路口的目标流向某时间段内的历史流量数据存在的情况下,直接使用真实的历史流量数据,如此,有针对性地对缺失的历史流量数据进行数据补全,确保了模型输出数据的准确性,同时,也为后续精确预测未来交通流量数据奠定了基础。
举例来说,在一具体示例中,在模型训练阶段,继续以图1(a)为例,此时,将缺少xt={xt1,xt2}的目标流量数据,输入至预设补全模型之后,得到目标预估全历史流量数据其中,向量 表示模型训练阶段的、目标流向①和目标流向②在第t时间段内的预估数据,也即第t预估历史流量数据。这里,由于缺少xt,所以,所述向量为预估历史流量数据。进一步地,向量xt+1可以表示第t+1目标流量数据,此时,若所述目标流量数据中存在第t+1时间段内所对应的第t+1真实历史流量数据的情况下,则第t+1目标流量数据为第t+1真实历史流量数据;相应地,若所述目标流量数据中不存在第t+1时间段内所对应的第t+1真实历史流量数据的情况下,则第t+1目标流量数据xt+1为估计得到的历史流量数据,即第t+1预估历史流量数据,可记为
可以理解的是,对于图1(a)所示的示例中,向量xt+1中包含有两个元素,即xt+1={x(t+1)1,x(t+1)2},此时,若目标流量数据中存在x(t+1)1对应的真实历史流量数据,即存在目标流向①在第t+1时间段内的真实历史流量数据,则将目标流向①在第t+1时间段内的真实历史流量数据作为向量xt+1中x(t+1)1的数据;进一步地,目标流量数据中未存在x(t+1)2对应的真实历史流量数据,即不存在目标流向②在第t+1时间段内的真实历史流量数据,则将目标流向②在第t+1时间段内的预估历史流量数据作为向量xt+1中x(t+1)2的数据。
这样,本公开方案能够基于真实的历史流量数据的有无,来得到目标预估全历史流量数据,使得目标预估全历史流量数据能够最大程度贴近真实场景,如此,为有效进行模型训练,并提升结果的精确度提供了数据支持。
需要说明的是,实际应用中,所述预设补全模型可以预估T个时间段内中每一个时间段内的历史流量数据,以得到第t预估历史流量数据,此处,t取值为0至T-1。进一步地,在得到第t预估历史流量数据之后,再去确定该t时间段内是否存在真实的历史流量数据,若存在,将该t时间段内的真实历史流量数据作为第t目标流量数据,若不存在,则将预估得到的第t预估历史流量数据作为该第t目标流量数据。
在本公开方案的一具体示例中,可基于下述步骤得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,具体包括:
将第t目标流量数据输入至所述预设补全模型,得到所述第t+1预估历史流量数据(比如,可记为)或第t-1预估历史流量数据(比如,可记为)。
这样,本公开方案提供了一种训练预设补全模型的具体方案,而且,能够在待训练数据,也即目标流量数据中存在第t时间段内所对应的第t真实历史流量数据的情况下,直接将第t真实历史流量数据输入至预设补全模型进行下一时间段的预测,而在所述目标流量数据中不存在所述第t真实历史流量数据的情况下,将第t时间段内所对应的预估数据,也即第t预估历史流量数据输入至预设补全模型进行下一时间段的预测,进而来进行模型训练,如此,为有效提升训练结果的准确性奠定了基础。
可以理解的是,在利用第t目标流量数据得到第t+1预估历史流量数据或第t-1预估历史流量数据的场景中,存在两种情况,其一,第t目标流量数据为第t真实历史流量数据;其二,第t目标流量数据为第t预估历史流量数据;本公开方案中,为了进一步提升结果的准确性,采用下述方案对上述两种情况进行处理:
在一具体示例中,对于第一种情况,即在利用第t目标流量数据来得到第t+1预估历史流量数据的方案中,在所述目标流量数据中不存在第t真实历史流量数据的情况下,也即第t目标流量数据为第t预估历史流量数据的情况下,可通过以下步骤得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,如图5所示,具体步骤为:
将第t目标流量数据(也即将第t预估历史流量数据)输入至所述预设补全模型中的第一网络,得到所述第t目标流量数据对应的第t空间流量特征(比如,可记为);所述第一网络用于提取空间流量特征;
基于第t空间流量特征(比如)和第t预估历史流量数据(比如,可记为),得到第t融合流量特征(比如,可记为);
至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征(比如,可记为ht);所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征(比如ht),得到所述第t+1预估历史流量数据(比如,可记为)或第t-1预估历史流量数据(比如,可记为)。
也就是说,该示例中,在所述目标流量数据中不存在第t真实历史流量数据的情况下,会先利用第一网络,对第t目标流量数据的空间特征进行提取,得到第t空间流量特征,进而将第t空间流量特征和第t预估历史流量数据进行融合处理,得到融合处理后的第t融合流量特征;再将融合处理后的第t融合流量特征,输入至第二网络,并利用第二网络进行时序特征提取,得到第t时序流量特征,最后,利用该第t时序流量特征得到所需预估的第t+1时间段内的历史流量数据,也即第t+1预估历史流量数据,或者,利用该第t时序流量特征得到所需预估的第t-1时间段内的历史流量数据,也即第t-1预估历史流量数据。
这样,本公开方案提供了一种训练预设补全模型的具体方案;在目标路口的目标流向的上一时间段内(也即第t时间段内)的历史流量数据存在一定的缺失的场景中,比如在所述目标流量数据中不存在所述第t真实历史流量数据的情况下,能够利用非线性的时空关联性预估得到上一个时间段内的历史流量数据,即先利用第一网络提取空间流量特征,进而将提取结果,也即第t空间流量特征经由第二网络进行时序流量特征提取,如此,来预估得到上一时间段内的历史流量数据,也即第t时序流量特征,该第t时序流量特征能够表征非线性的时空关联性,进而利用上一时间段内预估得到的历史流量数据,预测当前时间段,也即第t+1或第t-1时间段内的历史流量数据,如此,来进行模型训练,为有效提升了预测结果,也即第t+1或t-1预估历史流量数据的准确性奠定了基础。
在本公开方案的一具体示例中,所述第一网络可具体为GCN(GraphConvolutional Networks,图卷积网络)网络或GAT(Graph Attention Network,图注意力网络)网络;或者,实际应用中,所述第一网络还可以具体为其他能够进行空间流量特征提取的网络,本公开方案对此不作具体限制。
进一步地,在一具体示例中,所述第二网络为单向长短期记忆(Long short-termmemory,LSTM)网络,需要说明的是,本公开方案中,所述单向LSTM网络可具体为前向传导的LSTM网络,或者为反向传导的LSTM网络,本公开方案对此不作具体限制;以下,对上述两种情况进行单独说明:
在一具体示例中,对于上述第一种情况的前向传导的LSTM网络而言,所述单向LSTM网络包含前向传导的T个第一LSTM单元,具体地:
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;t为大于等于1且小于等于T-1的自然数;举例来说,如图6(a)所示,所述第二网络中包含有T个第一LSTM单元,具体地,沿数据传导的方向,也即前向传导的方向,所述T个第一LSTM单元依次为:第0个第一LSTM单元至第T-1个第一LSTM单元。进一步地,第0个第一LSTM的输出结果(比如,记为h0),为第1个第一LSTM的输入;第1个第一LSTM的输出结果(比如,记为h1),为第2个第一LSTM的输入,以此类推,第t-1个第一LSTM单元的输出结果(比如,记为ht-1),为第t个第一LSTM单元的输入;第t个第一LSTM单元的输出结果(比如,记为ht)为第t+1个第一LSTM单元的输入,直至得到第T-1个第一LSTM单元的输出结果(比如,记为hT-1)。
进一步地,以上所述的至少将所述第t融合流量特征,输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据,具体包括:
将所述第t融合流量特征(比如,可记为)以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征(比如,可记为ht-1),输入至所述第t个第一LSTM单元,得到第t前向时序流量特征(比如,可简记为ht);基于所述第t前向时序流量特征(比如,可记为ht),得到第t+1预估历史流量数据。
可以理解的是,为了与反向传导相区分,对于前向传导所涉及到的第t前向时序流量特征ht,第t融合流量特征(对于前向传导而言,还可具体称为第t前向融合流量特征)、第t-1前向时序流量特征ht-1,可对应记为第t前向时序流量特征第t前向融合流量特征以及第t-1前向时序流量特征
举例来说,如图6(b)所示,采用如下方式即可得到第t+1预估历史流量数据(可记为),具体步骤包括:
将第t目标流量数据(也即将第t预估历史流量数据进一步地,可具体为第t前向预估历史流量数据)输入至第一网络,得到所述第t目标流量数据对应的第t空间流量特征(进一步地,可具体为第t前向空间流量特征);
基于第t空间流量特征(进一步地,可具体为第t前向空间流量特征)和第t预估历史流量数据(进一步地,可具体为第t前向预估历史流量数据),得到第t融合流量特征(进一步地,可具体为第t前向融合流量特征);
将所述第t融合流量特征(进一步,可具体为第t前向融合流量特征),以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征输入至所述第t个第一LSTM单元,得到第t前向时序流量特征
基于所述第t前向时序流量特征得到第t+1预估历史流量数据(进一步地,可具体为第t+1前向预估历史流量数据)。
在另一具体示例中,对于上述第一种情况的反向传导的LSTM网络而言,所述单向LSTM网络包含反向传导的T个第二LSTM单元,具体地:
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;举例来说,如图7(a)所示,沿数据传导的方向,也即反向传导的方向,所述T个第二LSTM单元依次为:第0个第二LSTM单元,第T-1个第二LSTM单元至第1个第二LSTM单元;进一步地,第0个第二LSTM的输出结果(比如,记为h0),为第T-1个第二LSTM的输入;第T-1个第二LSTM的输出结果(比如,记为hT-1),为第T-2个第二LSTM的输入,以此类推,第t+1个第二LSTM单元的输出结果(比如,记为ht+1),为第t个第二LSTM单元的输入;第t个第二LSTM单元的输出结果(比如,记为ht)为第t-1个第二LSTM单元的输入,直至得到第1个第二LSTM单元的输出结果(比如,记为h1)。
进一步地,以上所述的至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到第t-1预估历史流量数据,具体包括:
将所述第t融合流量特征(比如,可记为)以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征(比如,可记为ht+1),输入至所述第t个第二LSTM单元,得到第t反向时序流量特征(比如,可简记为ht);基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
可以理解的是,为了与前向传导相区分,对于反向传导所涉及到的第t反向时序流量特征ht,第t融合流量特征(对于反向传导而言,还可具体称为第t反向融合流量特征)、第t+1反向时序流量特征ht+1,可对应记为第t反向时序流量特征第t反向融合流量特征以及第t+1反向时序流量特征
举例来说,如图7(b)所示,采用如下方式即可得到第t-1预估历史流量数据(可记为),具体步骤包括:
将第t目标流量数据(也即将第t预估历史流量数据进一步地,可具体为第t反向预估历史流量数据)输入至第一网络,得到所述第t目标流量数据对应的第t空间流量特征(进一步地,可具体为第t反向空间流量特征);
基于第t空间流量特征(进一步地,可具体为第t反向空间流量特征)和第t预估历史流量数据(进一步地,可具体为第t反向预估历史流量数据),得到第t融合流量特征(进一步地,可具体为第t反向融合流量特征);
将所述第t融合流量特征(进一步地,可具体为第t反向融合流量特征)以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征输入至所述第t个第二LSTM单元,得到第t反向时序流量特征
进而基于第t反向时序流量特征得到第t-1预估历史流量数据(进一步地,可具体为第t-1反向预估历史流量数据)。
这样,本公开方案提供了一种利用单向LSTM网络作为第二网络进行模型训练的具体方案;在目标路口的目标流向的上一时间段内(也即第t时间段内)的历史流量数据存在一定的缺失的场景中,比如在所述目标流量数据中不存在所述第t真实历史流量数据的情况下,能够利用非线性的时空关联性预估得到上一个时间段内的历史流量数据,即先利用第一网络提取空间流量特征,进而将提取结果,也即第t空间流量特征经由第二网络进行时序流量特征提取,如此,来预估得到上一时间段内的历史流量数据,也即第t时序流量特征,该第t时序流量特征能够表征非线性的时空关联性,进而利用上一时间段内预估得到的历史流量数据,预测当前时间段,也即第t+1时间段内的历史流量数据,如此,来进行模型训练,为有效提升了预测结果,也即第t+1预估历史流量数据或第t-1预估历史流量数据的准确性奠定了基础。
进一步地,在另一具体示例中,对于上述第一种情况而言,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,如图8(a)所示,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入。
可以理解的是,图8(a)所示的前向传导子网络,与图6(a)所示的结构类似,对于图8(a)所示的前向传导子网络的描述可参见上述图6(a)的相关内容;同理,图8(a)所示的反向传导子网络,与图7(a)所示的结构类似,对于图8(a)所示的反向传导子网络的描述可参见上述图7(a)的相关内容;此处不再赘述。
进一步地,对于第二网络为双向LSTM网络而言,以上所述的至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,具体包括:
将所述第t融合流量特征(进一步,可具体为第t前向融合流量特征)以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征输入至所述第t个第一LSTM单元,得到第t前向时序流量特征基于第t前向时序流量特征得到第t+1前向预估历史流量数据
将所述第t融合流量特征(进一步地,可具体为第t反向融合流量特征)以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征输入至所述第t个第二LSTM单元,得到第t反向时序流量特征基于所述第t反向时序流量特征得到所述第t-1反向预估历史流量数据
举例来说,如图8(b)所示,采用如下方式即可得到第t+1预估历史流量数据或第t-1反向预估历史流量数据具体步骤包括:
将第t前向预估历史流量数据输入至第一网络,得到所述第t目标流量数据对应的第t前向空间流量特征基于第t前向空间流量特征和第t前向预估历史流量数据得到第t前向融合流量特征将第t前向融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征输入至所述第t个第一LSTM单元,得到第t前向时序流量特征基于所述第t前向时序流量特征得到第t+1前向预估历史流量数据
以及,
将第t反向预估历史流量数据输入至第一网络,得到所述第t目标流量数据对应的第t反向空间流量特征基于第t反向空间流量特征和第t反向预估历史流量数据得到第t反向融合流量特征将第t反向融合流量特征以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征输入至所述第t个第二LSTM单元,得到第t反向时序流量特征基于第t反向时序流量特征得到第t-1反向预估历史流量数据
这样,本公开方案提供了一种利用双向LSTM网络作为第二网络进行模型训练的具体方案;在目标路口的目标流向的上一时间段内(也即第t时间段内)的历史流量数据存在一定的缺失的场景中,比如在所述目标流量数据中不存在所述第t真实历史流量数据的情况下,能够利用非线性的时空关联性预估得到上一个时间段内的历史流量数据,即先利用第一网络提取空间流量特征,进而将提取结果,也即第t空间流量特征经由第二网络进行时序流量特征提取,如此,来预估得到上一时间段内的历史流量数据,也即第t时序流量特征,该第t时序流量特征能够表征非线性的时空关联性,进而利用上一时间段内预估得到的历史流量数据,预测当前时间段,也即第t+1时间段内或第t-1的历史流量数据,如此,来进行模型训练,进一步为有效提升预测结果,也即第t+1预估历史流量数据的准确性奠定了基础。
另外,本公开方案能够极大提升预估得到结果的准确性,为有效进行数据补全,进而进行未来时间段内的流量数据的预测奠定了基础。
在本公开方案的另一具体示例中,对于上述单向LSTM网络或双向LSTM网络而言,均可以采用下述方式得到第t融合流量特征;具体地,以上所述的基于第t空间流量特征和所述第t预估历史流量数据得到第t融合流量特征,包括:
对第t空间流量特征和所述第t预估历史流量数据进行加权处理,得到所述第t融合流量特征,其中,所述第t空间流量特征对应第一权重,所述第t预估历史流量数据对应第二权重,所述第一权重和第二权重为所述预设补全模型中待训练的参数。
进一步地,在一具体示例中,所述第一权重与所述第二权重之和为第一值,比如为1,也即第一权重+第二权重=1;举例来说,所述第t融合流量特征为:
这里,βt为第一权重,(1-βt)为第二权重。
进一步地,对于前向传导而言,可以采用如下公式得到第t前向融合流量特征
这里,为前向传导所对应的第一权重,为前向传导所对应的第二权重。
同理,对于反向传导而言,可以采用如下公式得到第t反向融合流量特征
这里,为反向传导所对应的第一权重,为反向传导所对应的第二权重。
这样,本公开方案提供了预估上一时间段,也即第t时间段内所对应的历史流量数据的具体方案,该方案有效综合了空间流量特征和时序流量特征,进而为有效提升训练效率,进而提升结果的准确率奠定了基础。
在本公开方案的一具体示例中,对预设补全模型中待训练的以下至少之一参数进行调整:
所述第一网络中待训练的参数;
所述第二网络中待训练的参数;
所述第一权重;
所述第二权重。
可以理解的是,实际应用中,为了达到预期训练效果,可以对以上参数中的任意参数进行调整,本公开方案对具体调整的参数的数量,以及调整的范围均不作具体限制。
进一步地,第一权重+第二权重=第一值,此时,对预设补全模型中待训练的以下至少之一参数进行调整:所述第一网络中待训练的参数;所述第二网络中待训练的参数;所述第一权重。
这样,本公开方案在模型训练的过程中,可对其中的参数进行合理调整,如此,能够有效提升预设补全模型的训练效果,进而提升结果的准确率;同时,为解决交通流量数据在数据缺失的情况下的预测问题奠定了基础。
在另一具体示例中,对于第二种情况,即在利用第t目标流量数据来得到第t+1预估历史流量数据的方案中,在所述目标流量数据中存在第t真实历史流量数据的情况下,也即第t目标流量数据为第t真实历史流量数据的情况下,可通过以下步骤得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,具体步骤为:
至少将所述第t目标流量数据(也即第t真实历史流量数据)输入至所述预设补全模型中的第二网络,得到第t时序流量特征(比如,可记为ht);所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征(比如ht),得到所述第t+1预估历史流量数据(比如,可记为)或第t-1预估历史流量数据(比如,可记为)。
也就是说,在存在第t真实历史流量数据,可直接利用第t真实历史流量数据来预估第t+1时间段内或第t-1时间段内的数据,如此,本公开方案能够合理选择待训练数据,进而进一步有效提升了预测结果的准确性。
进一步地,在一具体示例中,所述第二网络为单向LSTM网络,需要说明的是,本公开方案中,所述单向LSTM网络可具体为前向传导的LSTM网络,或者为反向传导的LSTM网络,本公开方案对此不作具体限制;以下对上述两种情况进行单独说明:
在一具体示例中,对于上述第二种情况的前向传导的LSTM网络而言,所述单向LSTM网络包含前向传导的T个第一LSTM单元,具体地:
所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;t为大于等于1且小于等于T-1的自然数;具体说明可参见图6(a)所示的相关描述,此处不再赘述。
进一步地,以上所述的至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据,包括:
将所述第t目标流量数据(也即第t真实历史流量数据)以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征(比如记为),输入至所述第t个第一LSTM单元,得到第t前向时序流量特征(比如记为);基于所述第t前向时序流量特征,得到所述第t+1预估历史流量数据。
举例来说,在存在第t真实历史流量数据的情况下,可采用如下方式得到来得到第t+1预估历史流量数据,可记为具体步骤包括:
将所述第t目标流量数据(也即第t真实历史流量数据)以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征输入至所述第t个第一LSTM单元,得到第t前向时序流量特征
基于所述第t前向时序流量特征得到第t+1预估历史流量数据(进一步地,可具体为第t+1前向预估历史流量数据)。
在另一具体示例中,对于上述第二种情况的反向传导的LSTM网络而言,所述单向LSTM网络包含反向传导的T个第二LSTM单元,具体地:
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入。具体说明可参见图7(a)所示的相关描述,此处不再赘述。
进一步地,以上所述的至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到第t-1预估历史流量数据,具体包括:
将所述第t目标流量数据(也即第t真实历史流量数据)以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征输入至所述第t个第二LSTM单元,得到第t反向时序流量特征基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
举例来说,在存在第t真实历史流量数据的情况下,可采用如下方式得到来得到第t+1预估历史流量数据,可记为具体步骤包括:
将所述第t目标流量数据(也即第t真实历史流量数据)以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征输入至所述第t个第二LSTM单元,得到第t反向时序流量特征
基于所述第t反向时序流量特征得到第t-1预估历史流量数据(进一步地,可具体为第t-1反向预估历史流量数据)。
这样,本公开方案提供了一种利用单向LSTM网络作为第二网络进行模型训练的具体方案;在目标路口的目标流向的上一时间段内(也即第t时间段内)的历史流量数据存在的场景中,比如在所述目标流量数据中存在所述第t真实历史流量数据的情况下,直接利用第t真实历史流量数据进行预测,如此,来合理选择待训练数据,进而进一步有效提升了预测结果的准确性。
进一步地,在另一具体示例中,对于上述第二种情况而言,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,如图8(a)所示,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入。
可以理解的是,图8(a)所示的前向传导子网络,与图6(a)所示的结构类似,对于图8(a)所示的前向传导子网络的描述可参见上述图6(a)的相关内容;同理,图8(a)所示的反向传导子网络,与图7(a)所示的结构类似,对于图8(a)所示的反向传导子网络的描述可参见上述图7(a)的相关内容;此处不再赘述。
进一步地,对于第二网络为双向LSTM网络而言,以上所述的至少将所述第t目标流量数据输入至预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,包括:
将所述第t目标流量数据(也即第t真实历史流量数据)以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征输入至所述第t个第一LSTM单元,得到第t前向时序流量特征基于第t前向时序流量特征得到第t+1前向预估历史流量数据
将所述第t目标流量数据(也即第t真实历史流量数据)以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征输入至所述第t个第二LSTM单元,得到第t反向时序流量特征基于所述第t反向时序流量特征得到所述第t-1反向预估历史流量数据
本公开方案提供了一种利用双向LSTM网络作为第二网络进行模型训练的具体方案;在目标路口的目标流向的上一时间段内(也即第t时间段内)的历史流量数据存在的场景中,比如在所述目标流量数据中存在所述第t真实历史流量数据的情况下,直接利用第t真实历史流量数据进行预测,如此,来合理选择待训练数据,进而进一步有效提升了预测结果的准确性。
在本公开方案的一具体示例中,对于上述第一种情况或第二种情况中,所述第二网络为双向LSTM网络的场景而言,
所述目标预估全历史流量数据包括两部分,分别为:前向预估全历史流量数据(比如,可记为这里,t=1时,可为第1时间段内的真实历史流量数据)和反向预估全历史流量数据(比如,可记为 这里,t=1时,可为第1时间段内的真实历史流量数据);其中,所述前向预估全历史流量数据包括所述第t+1前向预估历史流量数据;所述反向预估全历史流量数据包括所述第t-1反向预估历史流量数据。
也就是说,所述前向预估全历史流量数据是基于所述第二网络中的前向传导子网络所得,所述反向预估全历史流量数据是基于所述第二网络中的反向传导子网络所得。如此,来进行模型训练,进一步为有效提升预测结果,也即第t+1预估历史流量数据的准确性奠定了基础。
进一步地,在本公开方案的一具体示例中,对于上述第一种情况或第二种情况中,所述第二网络为双向LSTM网络的场景而言,
所述第一损失函数包括第一损失部分和第二损失部分;或者,所述第一损失函数包括第一损失部分、第二损失部分和第三损失部分;
其中,所述第一损失部分用于表征前向预估全历史流量数据与真实全历史流量数据之间的差异程度;具体地,可用于表征第t+1前向预估历史流量数据和第t+1反向预估历史流量数据比如,在一示例中,所述第一损失部分这里,所述为一阶范式。如此,对t迭代处理后,即可得到第一损失部分的第一总损失值。
所述第二损失部分用于表征反向预估全历史流量数据与真实全历史流量数据之间的差异程度;具体地,可用于表征第t-1反向预估历史流量数据和第t-1真实历史流量数据,比如,在一示例中,所述第二损失部分 这里,所述为一阶范式。如此,对t迭代处理后,即可得到第二损失部分的第二总损失值。
所述第三损失部分用于表征前向预估全历史流量数据与反向预估全历史流量数据之前的差异程度。具体地,可用于表征第t+1前向预估历史流量数据和第t+1真实历史流量数据,比如,在一示例中,所述第二损失部分这里,所述为一阶范式。如此,对t迭代处理后,即可得到第三损失部分的第三总损失值。
举例来说,在一示例中,所述第一损失函数=第一损失部分+第二损失部分;或者,在另一示例中,所述第一损失函数=第一损失部分+第二损失部分+第三损失部分。
这样,本公开方案基于第一损失函数,即可实现对预设补全模型的训练,进而得到目标补全模型,如此,为有效解决交通流量数据缺失的问题,进而为后续精确预测未来交通流量数据奠定了基础。
第二部分:交通流量数据的预测方案;具体内容如下:
(一)模型应用部分:利用目标补全模型对缺失的历史流量数据进行数据补全,以及利用目标预测模型对补全处理后的历史全流量数据进行处理,以对未来的交通流量数据进行预测
具体地,图9是根据本申请一实施例预测方法的示意性流程图。该方法可选地应用于经典计算设备中,比如,个人电脑、服务器、服务器集群等具有经典计算能力的电子设备中。该方法至少包括以下内容的至少部分内容。如图9所示,该预测方法包括:
步骤S901:将待处理历史流量数据,输入至目标总模型;其中,所述待处理历史流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述目标总模型是基于以下所述的模型训练方法训练所得;所述N为大于等于1的自然数;所述T为大于等于2的自然数。
步骤S902:得到所述目标路口的N个目标流向在第T+1时间段所对应的第T+1目标预测全流量数据。
这样,本公开方案能够基于缺失的历史流量数据,比如,基于部分历史流量数据,且该部分历史流量数据为目标路口的N个目标流向在T个时间段内对应的部分历史流量数据,对第T+1时间段内的流量数据进行预测,如此,在解决了交通流量数据缺失的基础上,提升了预测结果的准确率。
在本公开方案的一具体示例中,还可以利用第T+1时间段内的第T+1目标预测全流量数据,对目标路口进行交通信号控制;具体地,所述预测方法还包括:至少基于所述第T+1目标预测全流量数据,对所述目标路口进行交通信号控制。如此,基于精准地预测结果,来实现智能化的交通信号控制,且该方式合理,为有效缓解交通压力,提供了一种可量化的解决方案。
在本公开方案的一具体示例中,还可以基于所述第T+1目标预测全流量数据,对所述目标路口进行交通信号控制。如此,基于精准地预测结果,来实现智能化的交通信号控制,且该方式合理,为有效缓解交通压力提供了一种可量化的解决方案。
(二)模型训练部分:对预设补全模型和预设预测模型进行联合训练,以得到目标补全模型和目标预测模型
具体地,图10(a)是根据本申请一实施例模型训练方法的示意性流程图二。该方法可选地应用于经典计算设备中,比如,个人电脑、服务器、服务器集群等具有经典计算能力的电子设备中。该方法至少包括以下内容的至少部分内容。如图10(a)和图10(b)所示,该模型训练方法包括:
步骤S1001:将目标流量数据输入至预设总模型;其中,所述目标流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述预设总模型包括预设补全模型和预设预测模型,其中,所述预设补全模型用于对缺失的历史流量数据进行数据补全;所述预设预测模型用基于补全后的全历史流量数据进行预测。
步骤S1002:得到目标路口的N个目标流向在第T+1个时间段内的第T+1预测全流量数据。
步骤S1003:基于目标损失函数对所述预设总模型中的预设补全模型以及预设预测模型进行联合训练;所述目标损失函数基于第T+1预测全流量数据与第T+1真实全流量数据构建所得。
步骤S1004:在联合训练完成的情况下,得到所述目标总模型,所述目标总模型包括目标预测模型和目标补全模型。
这样,本公开提供了一种通过目标流量数据来训练预设总模型的具体方案,该预设总模型中包含有预设补全模型和预设预测模型,进而得到包含有目标补全模型和目标预测模型的目标总模型,如此,利用该目标总模型来解决交通流量数据缺失的问题,同时,实现未来交通流量数据的精准预测。
在本公开方案的一具体示例中,如图10(b)所示,所述将目标流量数据输入至预设总模型,得到目标路口的N个目标流向在第T+1个时间段内的第T+1预测全流量数据,包括:
将目标流量数据输入所述预设补全模型,得到目标路口的N个目标流向在T个时间段内的目标预估全历史流量数据;
至少将所述目标预估全历史流量数据,输入至所述预设预测模型,得到所述第T+1预测全流量数据;
其中,所述目标损失函数是基于第一损失函数与第二损失函数所得;所述第一损失函数是基于所述目标预估全历史流量数据与真实全历史流量数据所构建得到;所述第二损失函数是基于所述第T+1预测全流量数据与第T+1真实全流量数据构建得到。
也就是说,本公开方案提供了一种联合训练的训练方案,能够同时对用于数据补全的预设补全模型以及用于未来交通流量数据进行预测的预设预测模型进行联合训练,进而来有效解决给定历史数据中存在缺失的情况,同时,实现未来交通流量数据的预测。
在本公开方案的一具体示例中,所述至少将所述目标预估全历史流量数据,输入至所述预设预测模型,得到所述第T+1预测全流量数据,包括:
将所述目标预估全历史流量数据以及所述目标路口的特征信息(比如时间特征、环境特征等),输入至预设预测模型,得到所述目标路口的N个目标流向在第T+1个时间段内的第T+1预测全流量数据,所述预设预测模型还用于基于所述目标路口的特征信息以及补全后的全历史流量数据进行预测。
如此,通过在训练过程中加入其他特征信息,进而在历史流量数据完全缺失的情况,也可以基于其他特征进行有效预测,因此,本公开方案的应用场景更加宽泛。
在本公开方案的一具体示例中,所述目标损失函数是对第一损失函数与第二损失函数进行加权处理后所得;所述第一损失函数对应第三权重,第二损失函数对应第四权重;
所述第三权重和第四权重中的至少之一为联合训练所需训练的参数。
可以理解的是,实际应用中,为了达到预期训练效果,可以对以上参数中的任意参数进行调整,本公开方案对具体调整的参数的数量,以及调整的范围均不作具体限制。
举例来说,所述目标损失函数为:
其中,所述为第二损失函数;第四权重为1;为第一损失函数,a为第三权重,此时该第三权重a可为待训练的参数。
这样,本公开方案在模型训练的过程中,可对其中的参数进行合理调整,如此,能够有效提升预设总模型的训练效果,提升结果的准确率,进而来解决交通流量数据在数据缺失的情况下的预测问题。
在本公开方案的一具体示例中,所述目标预估全历史流量数据包括第t时间段内所对应的第t目标流量数据;其中,所述t目标流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内所对应的目标流量数据;所述t为大于等于1且小于等于T-1的自然数;所述i为大于等于1且小于等于N的自然数;
其中,在所述目标流量数据中存在第t时间段内所对应的第t真实历史流量数据的情况下,所述第t目标流量数据为所述第t真实历史流量数据;所述第t真实历史流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内的历史流量数据;
在所述目标流量数据中不存在所述第t真实历史流量数据的情况下,所述第t目标流量数据为所述预设补全模型输出的第t预估历史流量数据;第t预估历史流量数据至少包括所述N个目标流向中第i个目标流向、在第t时间段内的预估历史流量数据。
在本公开方案的一具体示例中,还包括:
基于下述步骤得到所述第t+1预估历史流量数据或第t-1预估历史流量数据:
将第t目标流量数据输入至所述预设补全模型,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
在本公开方案的一具体示例中,在所述目标流量数据中不存在第t真实历史流量数据的情况下,所述将第t目标流量数据输入至所述预设补全模型,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,包括:
将第t目标流量数据输入至所述预设补全模型中的第一网络,得到所述第t目标流量数据对应的第t空间流量特征;所述第一网络用于提取空间流量特征;
基于第t空间流量特征和第t预估历史流量数据,得到第t融合流量特征;
至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征;所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
在本公开方案的一具体示例中,所述第二网络为单向LSTM网络,所述单向LSTM网络包含前向传导的T个第一LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;所述至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据,包括:
将所述第t融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于所述第t前向时序流量特征,得到第t+1预估历史流量数据;
或者,
所述单向LSTM网络包含反向传导的T个第二LSTM单元;其中,在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;所述至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到第t-1预估历史流量数据,包括:
将所述第t融合流量特征以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
在本公开方案的一具体示例中,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;
所述至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,包括:
将所述第t融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于第t前向时序流量特征,得到第t+1前向预估历史流量数据;
将所述第t融合流量特征以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到所述第t-1反向预估历史流量数据。
在本公开方案的一具体示例中,所述基于第t空间流量特征和所述第t预估历史流量数据,得到第t融合流量特征,包括:
对第t空间流量特征和所述第t预估历史流量数据进行加权处理,得到所述第t融合流量特征,其中,所述第t空间流量特征对应第一权重,所述第t预估历史流量数据对应第二权重,所述第一权重和第二权重为所述预设补全模型中待训练的参数。
在本公开方案的一具体示例中,对预设总模型中的预设补全模型以及预设预测模型进行联合训练,包括:
对所述预设补全模型中待训练的参数以及预设预测模型中待训练的参数进行调整;
其中,所述预设补全模型中待训练的参数包括以下至少之一:
所述第一网络中待训练的参数;所述第二网络中待训练的参数;所述第一权重;所述第二权重。
在本公开方案的一具体示例中,在所述目标流量数据中存在第t真实历史流量数据的情况下,所述将第t目标流量数据输入至所述预设补全模型,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,包括:
至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征;所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
在本公开方案的一具体示例中,所述第二网络为单向LSTM网络,所述单向LSTM网络包含前向传导的T个第一LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;所述至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据,包括:
将所述第t目标流量数据以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于所述第t前向时序流量特征,得到所述第t+1预估历史流量数据;
或者,
所述单向LSTM网络包含反向传导的T个第二LSTM单元;其中,在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;所述至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到第t-1预估历史流量数据,包括:
将所述第t目标流量数据以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
在本公开方案的一具体示例中,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;
所述至少将所述第t目标流量数据输入至预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,包括:
将所述第t目标流量数据以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于第t前向时序流量特征,得到第t+1前向预估历史流量数据;
将所述第t目标流量数据以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到所述第t-1反向预估历史流量数据。
在本公开方案的一具体示例中,所述目标预估全历史流量数据包括:前向预估全历史流量数据和反向预估全历史流量数据;其中,所述前向预估全历史流量数据包括所述第t+1前向预估历史流量数据;所述反向预估全历史流量数据包括所述第t-1反向预估历史流量数据。
在本公开方案的一具体示例中,所述第一损失函数包括第一损失部分和第二损失部分;或者,所述第一损失函数包括第一损失部分、第二损失部分和第三损失部分;
其中,所述第一损失部分用于表征前向预估全历史流量数据与真实全历史流量数据之间的差异程度;
所述第二损失部分用于表征反向预估全历史流量数据与真实全历史流量数据之间的差异程度;
所述第三损失部分用于表征前向预估全历史流量数据与反向预估全历史流量数据之前的差异程度。
需要说明的是,以上关于预设补全模型的相关内容以及相应地技术效果,可参见第一部分的相关描述,此处不再赘述。
以下结合具体场景,对本公开方案做进一步详细说明,具体地,本公开方案提供一种针对单路口(也即目标路口)的交通流量预测的方案,即基于目标路口不同目标流向的交通流量数据,预测不同目标流向未来的交通流量数。
需要说明的,在智慧信控场景中,目标路口的目标流向可以仅考虑直行和左转两种情况,比如,考虑“东北_直行”,“西北_左转”,“东南_直行”,“东南_左转”等,如此,基于车道流量聚合即可得到所需目标路口的目标车道的车辆流量数据。
进一步地,本公开方案可以使用矩阵来表示目标路口的N个目标流向在T个时间段内观测到的交通流量数据(也即总历史流量数据),其中,向量表示N个目标流向在第t时刻内观测到的交通流量数据(也即历史流量数据),N表示目标路口的数量。其中,向量xt中的元素xti表示该目标路口的N个目标流向中第i个目标流向在第t时间段内所观测到的交通流量数据。在一具体示例中,时间段之间的间隔相同;相应地,各时间段的时间间隔也相同。
进一步地,本公开方案可以使用矩阵指示交通流量数据是否缺失;比如,向量表示向量xt对应的交通流量数据是否缺失;进一步地,向量mt中元素mti=第一预设值,比如0,此时,可指示向量xt中元素xti的数据缺失,也即该目标路口的N个目标流向中第i个目标流向在第t时间段内所观测到的交通流量数据缺失;或者,向量mt中元素mti=第二预设值,比如1,此时,可指示向量xt中元素xti的数据不缺失,也即该目标路口的N个目标流向中第i个目标流向在第t时间段内所观测到的交通流量数据存在,不缺失。
进一步地,根据上述矩阵X和矩阵M,来训练预设总模型,并得到目标总模型,进而利用目标总模型即可预测得到该目标路口的N个目标流向在第T+1时间段内的第T+1目标预测全流量数据。
结合图8(a)和图8(b),图10(b),以及图11(a)至图11(e)以下对本公开方案所述的预设总模型进行详细说明:
第一、预设补全模型
1、为了建模目标流向对应的历史流量数据的时间关联性,本公开方案所述预设补全模型中使用双向LSTM(Bi-directional Long-Short-Term-Memory,Bi-LSTM)模型(也即第二网络)。
进一步地,所述双向LSTM模型中的前向传导子网络或反向传导子网络中的计算过程如下:
it=σ(W1[xt,hy-1]+b1),ft=σ(W2[xt,ht-1]+b2);
ot=σ(W4[xt,ht-1]+b4),ht=ot⊙σ1(Ct)
其中,W1、W2、W3和W4均为权重矩阵,b1,b2,b3,b4均为偏置项;这里,W1、W2、W3和W4,以及b1,b2,b3和b4均为待训练的参数。
进一步地,所述Bi-LSTM模型的表达式可记为:
其中,表示第t时间段所对应的第t前向时序流量特征;表示第t时间段所对应的第t反向时序流量特征。
进一步地,基于第t前向时序流量特征即可估计得到第t+1前向预估历史流量数据,可记基于第t反向时序流量特征即可估计得到第t-1反向预估历史流量数据
在真实场景下,第t时间段内的交通流量数据可能会缺失,比如,对应的值为NAN,此时无法直接传入Bi-LSTM模型中进行训练。基于此,本公开方案对Bi-LSTM模型的输入数据进行改进;具体地,将所述Bi-LSTM模型的表达式变更为:
这里,(也即公式(4))的物理含义表示:当向量xt不缺失的情况下,直接使用真实的历史流量数据xt作为输入;若向量xt缺失时,用估计值(也即以上所述的第t融合流量特征)作为输入。
可以理解的是,可能存在如下情况,即向量xt中的部分元素对应的真实历史流量数据缺失,而另外部分元素的真实历史流量数据不缺失,此时,对于缺失的数据而言,使用缺失数据的元素所对应的估计值进行后续处理,而对于不缺失的数据而言,直接使用该元素对应的真实历史流量数据进行后续处理,如此,来确保预测结果的准确性。
进一步地,估计值(也即以上所述的第t融合流量特征。)的计算包含两个部分,时序估计值和空间估计值。其中,时序估计值是指根据历史时间序列进行补全,即使用基于上一步LSTM单元的输出结果所得到的估计值来表示时序估计值,比如,对于前向传导子网络而言,使用基于第t-1个第一LSTM单元输出的来表示时序估计值,而对于反向传导子网络而言,使用基于第t+1个第二LSTM单元的输出。
进一步地,本公开方案可以使用如下方式得到第t空间流量特征具体地,由于本公开方案针对目标路口,所以,可以基于目标路口的不同目标流向之间构建一个全连接图,比如使用A表示,进而利用所述预设补全模型中所包含的图神经网络(也即第一网络),比如,如图11(a)所示,GCN网络或GAT网络,即可得到第t空间流量特征
或者
这里,可假设目标路口的不同目标流向之间均存在关系,因此,A可以是个值全为1的邻接矩阵;进一步地,表示第t目标流量,即 即当向量xt中元素对应的数据不缺失的情况下,直接使用该元素对应的真实历史流量数据作为输入;若向量xt中元素对应的数据缺失的情况下,使用该元素对应的估计值作为输入。
可以理解的是,对于前向传导子网络而言,基于上述公式(6)可知,第t前向空间流量特征的表达式为:
或者
其中,即为前向传导子网络所输入的第t目标流量;该为第t前向预估历史流量数据。
对于反向传导子网络而言,基于上述公式(6)可知,第t前向空间流量特征的表达式为:
或者,
其中,即为前向传导子网络所输入的第t目标流量;为第t反向预估历史流量数据。
这里,采用GCN网络可实现空间建模。而采用GAT网络可实现不同目标流向之间动态的空间建模。
进一步地,上述公式(3)中的时间延迟系数γt用于约束输入至ht的取值,以控制数据连续缺失所带来的影响;该示例中,时间延迟系数γt为Bi-LSTM模型中待训练的参数。举例来说,在连续数据缺失的情况下,若缺失数据距离当前时间段,也即距离第t时间段的时间越长,则越小;反之,若缺失数据距离第t时间段的时间越短,则越大;如此,在数据连续缺失时可以有效减少对ht更新所带来的影响;进一步地,时间延迟系数γt的表达式为:
γt=exp{-max(0,Wγδt+bγ)}
这里,Wγ和bγ表示Bi-LSTM模型中待训练的参数,δt表示当前步(也即第t时间段)之前连续缺失数据的时间长度;这里,若δt越大,γt则越小。
可以理解的是,中的时间延迟系数γt可以相同,也可以不同;比如,对于前向传导子网络而言,时间延迟系数可具体表示为相应地,对于反向传导子网络而言,时间延迟系数可具体表示为此时,两者时间延迟系数可单独训练。
2、预设补全模型的第一损失函数:
考虑到双向LSTM模型存在两个方向,为了保证补全的一致性,这里提出了一种一致性约束,用于减小估计值之间的差距,基于此,该双向LSTM模型的第一损失函数可定义为:
其中,表示前向预估历史流量数据与反向预估历史流量数据之前的第三损失部分;表示前向传导子网络所对应的第一损失部分,即真实历史流量数据与前向预估历史流量数据之间的第一损失部分;表示反向传导子网络所对应的第二损失部分,即真实历史流量数据与反向预估历史流量数据之间的第一损失部分;这里,表示一个一阶范式损失函数,对给定xt和yt的情况下进一步表示为:
可以理解的是,上述仅为一具体示例,实际应用中,还可以选择其他范数,本公开方案对此不作具体限制。进一步地,通过对t求和,记得得到第一损失函数所对应的总损失值。
第二、预设预测模型
该示例中,如图11(b)所示,所述预设预测模型的输入,为预设补全模型的输出结果,大小为的数据。
1、为了建模宏观的时序依赖来实现对未来交通流量数据的预测。可以采用多种序列结构进行弹性建模,比如,可以选择线性层、朴素attention机制(朴素注意力机制)、多头的self-attention机制(多头自注意力机制)、Transformer机制(编码器机制)等之一来设计该预设预测模型;进一步地,还可以在朴素attention机制、多头的self-attention机制、Transformer机制等之后,设置全连接层,进而经由朴素attention机制或多头的self-attention机制或Transformer机制的数据,经由全连接层处理,得到最终的预测结果即第T+1预估历史流量数据,且该第T+1预估历史流量数据
在一具体示例中,如图11(b)所示,所述预设预测模型为一线性层,如此,预设补全模型的输出结果经由预设预测模型的线性层处理,即可得到最终的预测结果即第T+1预估历史流量数据。
进一步地,在另一具体示例中,所述预设预测模型为以下之一:
以下分别对朴素attention机制、多头的self-attention机制(多头自注意力机制)、Transformer机制进行说明;
(a)如图11(c)所示,朴素attention机制的处理逻辑如下:
αt=softmax(tanh(Wa*Ho+ba))
预设补全模型的输出结果,经由一个线性层,得到 利用上述朴素attention机制的处理逻辑,对Ho进行处理,得到朴素attention机制的输出结果。
进一步地,朴素attention机制的输出结果还可以经由一个全连接层处理,即可得到最终的预测结果即第T+1预估历史流量数据。
这里,α(t)(t取值为1至T)为权重,Wa为权重矩阵;ba为偏置项,偏置向量。所述α(t)、,Wa和ba为待训练的参数。
(b)如图11(d)所示,多头self-attention机制的处理逻辑如下:
Q=HoWq,K=HoWk,V=HoWv,
output=Concat(head1,head2,…,headh)
预设补全模型的输出结果,经由一个线性层,得到 得到Q(Query)、K(Key)和V(Value);经由多个线性层(比如两个线性层)进行处理,并进行缩放的点积注意力处理、且拼接后,得到多头的self-attention机制的输出结果,该输出结果即为预测结果即第T+1预估历史流量数据。
这里,d为向量K的维度。Wq、Wk以及Wv为权重矩阵,且为待训练的参数。
(c)如图11(e)所示,Transformer机制的处理逻辑如下:
预设补全模型的输出结果,经由一个线性层,得到 对序列Ho,t中的每个位置进行编码处理,如下所示:
进一步地,序列Ho,t中的每个元素会和其对应的位置编码进行结合,得到这里,进一步,H′0,t
H′0,t=Ho,t+PEt
最后,将上述结果输入至self-attention(自注意力)模块,进而将输出结果传入到多个全连接层(比如两个全连接层),得到最终的输出结果,即预测结果也即第T+1预估历史流量数据。
2、特征预测:
除了交通流量数据之前,本公开方案还可以引入不同目标路口的不同流向的其他特征信息。比如,id特征,时间特征(如第几个月份,周几,以及一天中的第几个时刻)等。由于交通流量数据具有很强的周期性,所以,引入的特征也可以学习出不同目标路口的不同流向在不同时间段内的一些宏观特性。除此外,在一些极端情况下,还可能出现一个目标路口所有目标流向的数据均是缺失的,此时,前面的补全和预测模型会失效,但基于引入的上述特征,即可对极端情况进行预测。考虑到筛选的特征都是离散型数,因此可以为每个离散型数学习一个表征,最后对所有的特征进行拼接,经过全连接层,得到一个预测结果。
其中,Eid,Em,Ew,Et分别表示的历史流量特征所对应的各特征;为权重向量,为待训练的参数。
3、预设预测模型的第二损失函数:
3、预测损失:模型的损失函数是去最小化预测值和真实值之间的差值
其中,这里的f(·)表示聚合多种预测结果的函数。最简单的操作可以使用均值,除此外,可以基于缺失情况,设计注意力机制,来给不同的预测策略不同的权重。
第三、模型训练:
对于预设补全模型和预设预测模型而言,得到如下目标损失函数表达式为:
其中a是一个待训练的参数。
这样,基于上述目标损失函数对预设补全模型和预设预测模型进行联合训练,并在在训练完成之后,即可得到目标总模型,该目标总模型中包括目标补全模型以及目标预测模型。
这样,本公开方案可用于城市交通流量预测系统,在目标路口的不同目标流向的历史流量数据存在一定的缺失的场景中,本公开方案可以自动实现对缺失数据的补全并完成对未来交通流量的预测,如此,为下游的交通决策和控制提供的数据支持。
综上所述,本公开方案存在如下优点:
第一,本公开方案针对单个路口开展交通流量预测,能在真实交通场景中落地应用。方便扩展和部署,其他新路口只需要利用该新路口的历史数据上学习预设补全模型和预设预测模型的参数即可落地使用,可扩展性强。
第二,本公开方案在预测时,可以有效解决给定历史数据中存在缺失的情况。在部分缺失的情况下,可以通过目标补全模型,能够对缺失部分补全。在输入数据完全缺失的情况,也可以基于特征预测,实现对未来交通流量的预测,因此,应用场景更加宽泛。
第三,本公开方案有效地融合了流量数据中的非线性时空关联性,并非单一地针对其中的一个方面,因此,有效提升了预测结果的准确性。而且,本公开方案的可配置性高,图卷积网络(也即第一网络)以及预设预测模型可以根据数据特征进行灵活选择。
本公开方案还提供了一种模型训练装置,如图12所示,包括:
第一模型处理单元1201,用于将目标流量数据输入至预设补全模型,得到目标路口的N个目标流向在T个时间段内的目标预估全历史流量数据,其中,所述目标流量数据为所述目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述预设补全模型用于对缺失的历史流量数据进行数据补全;所述N为大于等于1的自然数;所述T为大于等于2的自然数;基于所述目标预估全历史流量数据与真实全历史流量数据所构建的第一损失函数,对所述预设补全模型进行模型训练;
第一模型输出单元1202,用于在模型训练完成的情况下,得到目标补全模型。
在本公开方案的一具体示例中,所述目标预估全历史流量数据包括第t时间段内所对应的第t目标流量数据;其中,所述t目标流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内所对应的目标流量数据;所述t为大于等于1且小于等于T-1的自然数;所述i为大于等于1且小于等于N的自然数;
其中,在所述目标流量数据中存在第t时间段内所对应的第t真实历史流量数据的情况下,所述第t目标流量数据为所述第t真实历史流量数据;所述第t真实历史流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内的历史流量数据;
在所述目标流量数据中不存在所述第t真实历史流量数据的情况下,所述第t目标流量数据为所述预设补全模型输出的第t预估历史流量数据;第t预估历史流量数据至少包括所述N个目标流向中第i个目标流向、在第t时间段内的预估历史流量数据。
在本公开方案的一具体示例中,所述第一模型处理单元1201,还用于:
基于下述步骤得到所述第t+1预估历史流量数据或第t-1预估历史流量数据:
将第t目标流量数据输入至所述预设补全模型,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
在本公开方案的一具体示例中,在所述目标流量数据中不存在第t真实历史流量数据的情况下,所述第一模型处理单元1201,具体用于:
将第t目标流量数据输入至所述预设补全模型中的第一网络,得到所述第t目标流量数据对应的第t空间流量特征;所述第一网络用于提取空间流量特征;
基于第t空间流量特征和第t预估历史流量数据,得到第t融合流量特征;
至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征;所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
在本公开方案的一具体示例中,所述第二网络为单向LSTM网络,所述单向LSTM网络包含前向传导的T个第一LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;所述第一模型处理单元1201,具体用于:
将所述第t融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于所述第t前向时序流量特征,得到第t+1预估历史流量数据;
或者,
所述单向LSTM网络包含反向传导的T个第二LSTM单元;其中,在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;所述第一模型处理单元1201,具体用于:
将所述第t融合流量特征以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
在本公开方案的一具体示例中,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;
其中,所述第一模型处理单元1201,具体用于:
将所述第t融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于第t前向时序流量特征,得到第t+1前向预估历史流量数据;
将所述第t融合流量特征以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到所述第t-1反向预估历史流量数据。
在本公开方案的一具体示例中,所述第一模型处理单元1201,具体用于:
对第t空间流量特征和所述第t预估历史流量数据进行加权处理,得到所述第t融合流量特征,其中,所述第t空间流量特征对应第一权重,所述第t预估历史流量数据对应第二权重,所述第一权重和第二权重为所述预设补全模型中待训练的参数。
在本公开方案的一具体示例中,所述第一模型处理单元1201,具体用于:
对预设补全模型中待训练的以下至少之一参数进行调整:
所述第一网络中待训练的参数;
所述第二网络中待训练的参数;
所述第一权重;
所述第二权重。
在本公开方案的一具体示例中,在所述目标流量数据中存在第t真实历史流量数据的情况下,所述第一模型处理单元1201,具体用于:
至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征;所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
在本公开方案的一具体示例中,所述第二网络为单向LSTM网络,所述单向LSTM网络包含前向传导的T个第一LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;所述第一模型处理单元1201,具体用于:
将所述第t目标流量数据以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于所述第t前向时序流量特征,得到所述第t+1预估历史流量数据;
或者,
所述单向LSTM网络包含反向传导的T个第二LSTM单元;其中,在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;所述第一模型处理单元1201,具体用于:
将所述第t目标流量数据以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
在本公开方案的一具体示例中,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;
其中,所述第一模型处理单元1201,具体用于:
将所述第t目标流量数据以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于第t前向时序流量特征,得到第t+1前向预估历史流量数据;
将所述第t目标流量数据以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到所述第t-1反向预估历史流量数据。
在本公开方案的一具体示例中,所述目标预估全历史流量数据包括:前向预估全历史流量数据和反向预估全历史流量数据;其中,所述前向预估全历史流量数据包括所述第t+1前向预估历史流量数据;所述反向预估全历史流量数据包括所述第t-1反向预估历史流量数据。
在本公开方案的一具体示例中,所述第一损失函数包括第一损失部分和第二损失部分;或者,所述第一损失函数包括第一损失部分、第二损失部分和第三损失部分;
其中,所述第一损失部分用于表征前向预估全历史流量数据与真实全历史流量数据之间的差异程度;
所述第二损失部分用于表征反向预估全历史流量数据与真实全历史流量数据之间的差异程度;
所述第三损失部分用于表征前向预估全历史流量数据与反向预估全历史流量数据之前的差异程度。
本公开方案还提供了一种数据处理装置,如图13所示,包括:
第一输入单元1301,用于将待处理历史流量数据,输入至目标补全模型;其中,所述待处理历史流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述目标补全模型是以上所述的模型训练方法训练所得;所述N为大于等于1的自然数;所述T为大于等于2的自然数;
第一输出单元1302,用于得到目标全历史流量数据,所述目标全历史流量数据为所述目标路口的N个目标流向在T个时间段内的全部历史流量数据。
在本公开方案的一具体示例中,所述目标全历史流量数据包括第t时间段内所对应的第t流量数据;所述t为大于等于1小于等于T-1的自然数;
在所述待处理历史流量数据中存在第t时间段内所对应的第t真实历史流量数据的情况下,所述第t流量数据为第t真实历史流量数据;
在所述待处理历史流量数据中不存在所述第t真实历史流量数据的情况下,所述第t流量数据为所述目标补全模型输出的第t目标预估历史流量数据。
在本公开方案的一具体示例中,还包括:第一控制单元,用于:
至少基于所述目标全历史流量数据,对所述目标路口进行交通信号控制。
本公开方案还提供了一种模型训练装置,如图14所示,包括:
第二模型处理单元1401,用于将目标流量数据输入至预设总模型;其中,所述目标流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述预设总模型包括预设补全模型和预设预测模型,其中,所述预设补全模型用于对缺失的历史流量数据进行数据补全;所述预设预测模型用基于补全后的全历史流量数据进行预测;得到目标路口的N个目标流向在第T+1个时间段内的第T+1预测全流量数据;
第二模型输出单元1402,用于基于目标损失函数对所述预设总模型中的预设补全模型以及预设预测模型进行联合训练;所述目标损失函数基于第T+1预测全流量数据与第T+1真实全流量数据构建所得;在联合训练完成的情况下,得到所述目标总模型,所述目标总模型包括目标预测模型和目标补全模型。
在本公开方案的一具体示例中,所述第二模型处理单元1401,具体用于:
将目标流量数据输入所述预设补全模型,得到目标路口的N个目标流向在T个时间段内的目标预估全历史流量数据;
至少将所述目标预估全历史流量数据,输入至所述预设预测模型,得到所述第T+1预测全流量数据;
其中,所述目标损失函数是基于第一损失函数与第二损失函数所得;所述第一损失函数是基于所述目标预估全历史流量数据与真实全历史流量数据所构建得到;所述第二损失函数是基于所述第T+1预测全流量数据与第T+1真实全流量数据构建得到。
在本公开方案的一具体示例中,所述第二模型处理单元1401,具体用于:
将所述目标预估全历史流量数据以及所述目标路口的特征信息,输入至预设预测模型,得到所述目标路口的N个目标流向在第T+1个时间段内的第T+1预测全流量数据,所述预设预测模型还用于基于所述目标路口的特征信息以及补全后的全历史流量数据进行预测。
在本公开方案的一具体示例中,所述目标损失函数是对第一损失函数与第二损失函数进行加权处理后所得;所述第一损失函数对应第三权重,第二损失函数对应第四权重;
所述第三权重和第四权重中的至少之一为联合训练所需训练的参数。
在本公开方案的一具体示例中,所述目标预估全历史流量数据包括第t时间段内所对应的第t目标流量数据;其中,所述t目标流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内所对应的目标流量数据;所述t为大于等于1且小于等于T-1的自然数;所述i为大于等于1且小于等于N的自然数;
其中,在所述目标流量数据中存在第t时间段内所对应的第t真实历史流量数据的情况下,所述第t目标流量数据为所述第t真实历史流量数据;所述第t真实历史流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内的历史流量数据;
在所述目标流量数据中不存在所述第t真实历史流量数据的情况下,所述第t目标流量数据为所述预设补全模型输出的第t预估历史流量数据;第t预估历史流量数据至少包括所述N个目标流向中第i个目标流向、在第t时间段内的预估历史流量数据。
在本公开方案的一具体示例中,所述第二模型处理单元1401,还用于:
基于下述步骤得到所述第t+1预估历史流量数据或第t-1预估历史流量数据:
将第t目标流量数据输入至所述预设补全模型,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
在本公开方案的一具体示例中,在所述目标流量数据中不存在第t真实历史流量数据的情况下,所述第二模型处理单元1401,具体用于:
将第t目标流量数据输入至所述预设补全模型中的第一网络,得到所述第t目标流量数据对应的第t空间流量特征;所述第一网络用于提取空间流量特征;
基于第t空间流量特征和第t预估历史流量数据,得到第t融合流量特征;
至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征;所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
在本公开方案的一具体示例中,所述第二网络为单向LSTM网络,所述单向LSTM网络包含前向传导的T个第一LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;所述第二模型处理单元1401,具体用于:
将所述第t融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于所述第t前向时序流量特征,得到第t+1预估历史流量数据;
或者,
所述单向LSTM网络包含反向传导的T个第二LSTM单元;其中,在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;所述第二模型处理单元1401,具体用于:
将所述第t融合流量特征以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
在本公开方案的一具体示例中,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;
其中,所述第二模型处理单元1401,具体用于:
将所述第t融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于第t前向时序流量特征,得到第t+1前向预估历史流量数据;
将所述第t融合流量特征以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到所述第t-1反向预估历史流量数据。
在本公开方案的一具体示例中,所述第二模型处理单元1401,具体用于:
对第t空间流量特征和所述第t预估历史流量数据进行加权处理,得到所述第t融合流量特征,其中,所述第t空间流量特征对应第一权重,所述第t预估历史流量数据对应第二权重,所述第一权重和第二权重为所述预设补全模型中待训练的参数。
在本公开方案的一具体示例中,所述第二模型处理单元1401,具体用于:
对所述预设补全模型中待训练的参数以及预设预测模型中待训练的参数进行调整;
其中,所述预设补全模型中待训练的参数包括以下至少之一:
所述第一网络中待训练的参数;所述第二网络中待训练的参数;所述第一权重;所述第二权重。
在本公开方案的一具体示例中,在所述目标流量数据中存在第t真实历史流量数据的情况下,所述第二模型处理单元1401,具体用于:
至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征;所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
在本公开方案的一具体示例中,所述第二网络为单向LSTM网络,所述单向LSTM网络包含前向传导的T个第一LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;所述第二模型处理单元1401,具体用于:
将所述第t目标流量数据以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于所述第t前向时序流量特征,得到所述第t+1预估历史流量数据;
或者,
所述单向LSTM网络包含反向传导的T个第二LSTM单元;其中,在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;所述第二模型处理单元1401,具体用于:
将所述第t目标流量数据以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
在本公开方案的一具体示例中,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;
其中,所述第二模型处理单元1401,具体用于:
将所述第t目标流量数据以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于第t前向时序流量特征,得到第t+1前向预估历史流量数据;
将所述第t目标流量数据以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到所述第t-1反向预估历史流量数据。
在本公开方案的一具体示例中,所述目标预估全历史流量数据包括:前向预估全历史流量数据和反向预估全历史流量数据;其中,所述前向预估全历史流量数据包括所述第t+1前向预估历史流量数据;所述反向预估全历史流量数据包括所述第t+1反向预估历史流量数据。
在本公开方案的一具体示例中,所述第一损失函数包括第一损失部分和第二损失部分;或者,所述第一损失函数包括第一损失部分、第二损失部分和第三损失部分;
其中,所述第一损失部分用于表征前向预估全历史流量数据与真实全历史流量数据之间的差异程度;
所述第二损失部分用于表征反向预估全历史流量数据与真实全历史流量数据之间的差异程度;
所述第三损失部分用于表征前向预估全历史流量数据与反向预估全历史流量数据之前的差异程度。
本公开方案提供了一种预测装置,如图15所示,包括:
第二输入单元1501,用于将待处理历史流量数据,输入至目标总模型;其中,所述待处理历史流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述目标总模型是基于以上所述的模型训练方法训练所得;所述N为大于等于1的自然数;所述T为大于等于2的自然数;
第二输出单元1502,用于得到所述目标路口的N个目标流向在第T+1时间段所对应的第T+1目标预测全流量数据。
在本公开方案的一具体示例中,还包括第二控制单元,用于:至少基于所述第T+1目标预测全流量数据,对所述目标路口进行交通信号控制。
本公开实施例的装置的各模块、子模块的具体功能和示例的描述,可以参见上述方法实施例中对应步骤的相关描述,在此不再赘述。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图16示出了可以用来实施本公开的实施例的示例电子设备1600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图16所示,设备1600包括计算单元1601,其可以根据存储在只读存储器(ROM)1602中的计算机程序或者从存储单元1608加载到随机访问存储器(RAM)1603中的计算机程序,来执行各种适当的动作和处理。在RAM 1603中,还可存储设备1600操作所需的各种程序和数据。计算单元1601、ROM 1602以及RAM 1603通过总线1604彼此相连。输入/输出(I/O)接口1605也连接至总线1604。
设备1600中的多个部件连接至I/O接口1605,包括:输入单元1606,例如键盘、鼠标等;输出单元1607,例如各种类型的显示器、扬声器等;存储单元1608,例如磁盘、光盘等;以及通信单元1609,例如网卡、调制解调器、无线通信收发机等。通信单元1609允许设备1600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1601执行上文所描述的各个方法和处理,例如模型训练方法、数据处理方法或预测方法。例如,在一些实施例中,模型训练方法、数据处理方法或预测方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1602和/或通信单元1609而被载入和/或安装到设备1600上。当计算机程序加载到RAM 1603并由计算单元1601执行时,可以执行上文描述的模型训练方法、数据处理方法或预测方法的一个或多个步骤。备选地,在其他实施例中,计算单元1601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行模型训练方法、数据处理方法或预测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (66)

1.一种模型训练方法,包括:
将目标流量数据输入至预设补全模型,得到目标路口的N个目标流向在T个时间段内的目标预估全历史流量数据,其中,所述目标流量数据为所述目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述预设补全模型用于对缺失的历史流量数据进行数据补全;所述N为大于等于1的自然数;所述T为大于等于2的自然数;
基于所述目标预估全历史流量数据与真实全历史流量数据所构建的第一损失函数,对所述预设补全模型进行模型训练;
在模型训练完成的情况下,得到目标补全模型;
其中,所述目标预估全历史流量数据包括第t时间段内所对应的第t目标流量数据;其中,所述t目标流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内所对应的目标流量数据;所述t为大于等于1且小于等于T-1的自然数;所述i为大于等于1且小于等于N的自然数;
在所述目标流量数据中存在第t时间段内所对应的第t真实历史流量数据的情况下,所述第t目标流量数据为所述第t真实历史流量数据;所述第t真实历史流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内的历史流量数据;或,在所述目标流量数据中不存在所述第t真实历史流量数据的情况下,所述第t目标流量数据为所述预设补全模型输出的第t预估历史流量数据;第t预估历史流量数据至少包括所述N个目标流向中第i个目标流向、在第t时间段内的预估历史流量数据。
2.根据权利要求1所述的方法,还包括:
基于下述步骤得到第t+1预估历史流量数据或第t-1预估历史流量数据:
将第t目标流量数据输入至所述预设补全模型,得到第t+1预估历史流量数据或第t-1预估历史流量数据。
3.根据权利要求2所述的方法,其中,在所述目标流量数据中不存在第t真实历史流量数据的情况下,所述将第t目标流量数据输入至所述预设补全模型,得到第t+1预估历史流量数据或第t-1预估历史流量数据,包括:
将第t目标流量数据输入至所述预设补全模型中的第一网络,得到所述第t目标流量数据对应的第t空间流量特征;所述第一网络用于提取空间流量特征;
基于第t空间流量特征和第t预估历史流量数据,得到第t融合流量特征;
至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征;所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
4.根据权利要求3所述的方法,其中,所述第二网络为单向长短期记忆LSTM网络,所述单向LSTM网络包含前向传导的T个第一LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;所述至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据,包括:
将所述第t融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于所述第t前向时序流量特征,得到第t+1预估历史流量数据;
或者,
所述单向LSTM网络包含反向传导的T个第二LSTM单元;其中,在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;所述至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到第t-1预估历史流量数据,包括:
将所述第t融合流量特征以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
5.根据权利要求3所述的方法,其中,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;
所述至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,包括:
将所述第t融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于第t前向时序流量特征,得到第t+1前向预估历史流量数据;
将所述第t融合流量特征以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到所述第t-1反向预估历史流量数据。
6.根据权利要求3-5任一项所述的方法,其中,所述基于第t空间流量特征和所述第t预估历史流量数据,得到第t融合流量特征,包括:
对第t空间流量特征和所述第t预估历史流量数据进行加权处理,得到所述第t融合流量特征,其中,所述第t空间流量特征对应第一权重,所述第t预估历史流量数据对应第二权重,所述第一权重和第二权重为所述预设补全模型中待训练的参数。
7.根据权利要求6所述的方法,其中,所述对所述预设补全模型进行模型训练,包括:
对预设补全模型中待训练的以下至少之一参数进行调整:
所述第一网络中待训练的参数;
所述第二网络中待训练的参数;
所述第一权重;
所述第二权重。
8.根据权利要求2所述的方法,在所述目标流量数据中存在第t真实历史流量数据的情况下,所述将第t目标流量数据输入至所述预设补全模型,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,包括:
至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征;所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
9.根据权利要求8所述的方法,其中,所述第二网络为单向LSTM网络,所述单向LSTM网络包含前向传导的T个第一LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;所述至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据,包括:
将所述第t目标流量数据以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于所述第t前向时序流量特征,得到所述第t+1预估历史流量数据;
或者,
所述单向LSTM网络包含反向传导的T个第二LSTM单元;其中,在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;所述至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到第t-1预估历史流量数据,包括:
将所述第t目标流量数据以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
10.根据权利要求8所述的方法,其中,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;
所述至少将所述第t目标流量数据输入至预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,包括:
将所述第t目标流量数据以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于第t前向时序流量特征,得到第t+1前向预估历史流量数据;
将所述第t目标流量数据以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到所述第t-1反向预估历史流量数据。
11.根据权利要求5或10所述的方法,其中,所述目标预估全历史流量数据包括:前向预估全历史流量数据和反向预估全历史流量数据;其中,所述前向预估全历史流量数据包括所述第t+1前向预估历史流量数据;所述反向预估全历史流量数据包括所述第t-1反向预估历史流量数据。
12.根据权利要求11所述的方法,其中,所述第一损失函数包括第一损失部分和第二损失部分;或者,所述第一损失函数包括第一损失部分、第二损失部分和第三损失部分;
其中,所述第一损失部分用于表征前向预估全历史流量数据与真实全历史流量数据之间的差异程度;
所述第二损失部分用于表征反向预估全历史流量数据与真实全历史流量数据之间的差异程度;
所述第三损失部分用于表征前向预估全历史流量数据与反向预估全历史流量数据之前的差异程度。
13.一种数据处理方法,包括:
将待处理历史流量数据,输入至目标补全模型;其中,所述待处理历史流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述目标补全模型是基于权利要求1至12任一项所述的模型训练方法训练所得;所述N为大于等于1的自然数;所述T为大于等于2的自然数;
得到目标全历史流量数据,所述目标全历史流量数据为所述目标路口的N个目标流向在T个时间段内的全部历史流量数据。
14.根据权利要求13所述的方法,其中,所述目标全历史流量数据包括第t时间段内所对应的第t流量数据;所述t为大于等于1小于等于T-1的自然数;
其中,在所述待处理历史流量数据中存在第t时间段内所对应的第t真实历史流量数据的情况下,所述第t流量数据为第t真实历史流量数据;在所述待处理历史流量数据中不存在所述第t真实历史流量数据的情况下,所述第t流量数据为所述目标补全模型输出的第t目标预估历史流量数据。
15.根据权利要求13或14所述的方法,还包括:
至少基于所述目标全历史流量数据,对所述目标路口进行交通信号控制。
16.一种模型训练方法,包括:
将目标流量数据输入至预设总模型;其中,所述目标流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述预设总模型包括预设补全模型和预设预测模型,其中,所述预设补全模型用于对缺失的历史流量数据进行数据补全;所述预设预测模型用基于补全后的全历史流量数据进行预测;
得到目标路口的N个目标流向在第T+1个时间段内的第T+1预测全流量数据;
基于目标损失函数对所述预设总模型中的预设补全模型以及预设预测模型进行联合训练;所述目标损失函数基于第T+1预测全流量数据与第T+1真实全流量数据构建所得;
在联合训练完成的情况下,得到目标总模型,所述目标总模型包括目标预测模型和目标补全模型;
其中,所述将目标流量数据输入至预设总模型,得到目标路口的N个目标流向在第T+1个时间段内的第T+1预测全流量数据,包括:
将目标流量数据输入所述预设补全模型,得到目标路口的N个目标流向在T个时间段内的目标预估全历史流量数据;
至少将所述目标预估全历史流量数据,输入至所述预设预测模型,得到所述第T+1预测全流量数据;
其中,所述目标损失函数是基于第一损失函数与第二损失函数所得;所述第一损失函数是基于所述目标预估全历史流量数据与真实全历史流量数据所构建得到;所述第二损失函数是基于所述第T+1预测全流量数据与第T+1真实全流量数据构建得到。
17.根据权利要求16所述的方法,其中,所述至少将所述目标预估全历史流量数据,输入至所述预设预测模型,得到所述第T+1预测全流量数据,包括:
将所述目标预估全历史流量数据以及所述目标路口的特征信息,输入至预设预测模型,得到所述目标路口的N个目标流向在第T+1个时间段内的第T+1预测全流量数据,所述预设预测模型还用于基于所述目标路口的特征信息以及补全后的全历史流量数据进行预测。
18.根据权利要求16或17所述的方法,其中,所述目标损失函数是对第一损失函数与第二损失函数进行加权处理后所得;所述第一损失函数对应第三权重,第二损失函数对应第四权重;
所述第三权重和第四权重中的至少之一为联合训练所需训练的参数。
19.根据权利要求16所述的方法,其中,所述目标预估全历史流量数据包括第t时间段内所对应的第t目标流量数据;其中,所述t目标流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内所对应的目标流量数据;所述t为大于等于1且小于等于T-1的自然数;所述i为大于等于1且小于等于N的自然数;
其中,在所述目标流量数据中存在第t时间段内所对应的第t真实历史流量数据的情况下,所述第t目标流量数据为所述第t真实历史流量数据;所述第t真实历史流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内的历史流量数据;
在所述目标流量数据中不存在所述第t真实历史流量数据的情况下,所述第t目标流量数据为所述预设补全模型输出的第t预估历史流量数据;第t预估历史流量数据至少包括所述N个目标流向中第i个目标流向、在第t时间段内的预估历史流量数据。
20.根据权利要求19所述的方法,还包括:
基于下述步骤得到第t+1预估历史流量数据或第t-1预估历史流量数据:
将第t目标流量数据输入至所述预设补全模型,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
21.根据权利要求20所述的方法,其中,在所述目标流量数据中不存在第t真实历史流量数据的情况下,所述将第t目标流量数据输入至所述预设补全模型,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,包括:
将第t目标流量数据输入至所述预设补全模型中的第一网络,得到所述第t目标流量数据对应的第t空间流量特征;所述第一网络用于提取空间流量特征;
基于第t空间流量特征和第t预估历史流量数据,得到第t融合流量特征;
至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征;所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
22.根据权利要求21所述的方法,其中,所述第二网络为单向LSTM网络,所述单向LSTM网络包含前向传导的T个第一LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;所述至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据,包括:
将所述第t融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于所述第t前向时序流量特征,得到第t+1预估历史流量数据;
或者,
所述单向LSTM网络包含反向传导的T个第二LSTM单元;其中,在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;所述至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到第t-1预估历史流量数据,包括:
将所述第t融合流量特征以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
23.根据权利要求21所述的方法,其中,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;
所述至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,包括:
将所述第t融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于第t前向时序流量特征,得到第t+1前向预估历史流量数据;
将所述第t融合流量特征以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到所述第t-1反向预估历史流量数据。
24.根据权利要求21-23任一项所述的方法,其中,所述基于第t空间流量特征和所述第t预估历史流量数据,得到第t融合流量特征,包括:
对第t空间流量特征和所述第t预估历史流量数据进行加权处理,得到所述第t融合流量特征,其中,所述第t空间流量特征对应第一权重,所述第t预估历史流量数据对应第二权重,所述第一权重和第二权重为所述预设补全模型中待训练的参数。
25.根据权利要求24所述的方法,其中,对预设总模型中的预设补全模型以及预设预测模型进行联合训练,包括:
对所述预设补全模型中待训练的参数以及预设预测模型中待训练的参数进行调整;
其中,所述预设补全模型中待训练的参数包括以下至少之一:
所述第一网络中待训练的参数;所述第二网络中待训练的参数;所述第一权重;所述第二权重。
26.根据权利要求20所述的方法,在所述目标流量数据中存在第t真实历史流量数据的情况下,所述将第t目标流量数据输入至所述预设补全模型,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,包括:
至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征;所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
27.根据权利要求26所述的方法,其中,所述第二网络为单向LSTM网络,所述单向LSTM网络包含前向传导的T个第一LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;所述至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据,包括:
将所述第t目标流量数据以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于所述第t前向时序流量特征,得到所述第t+1预估历史流量数据;
或者,
所述单向LSTM网络包含反向传导的T个第二LSTM单元;其中,在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;所述至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到第t-1预估历史流量数据,包括:
将所述第t目标流量数据以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
28.根据权利要求26所述的方法,其中,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;
所述至少将所述第t目标流量数据输入至预设补全模型中的第二网络,得到第t时序流量特征,基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据,包括:
将所述第t目标流量数据以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于第t前向时序流量特征,得到第t+1前向预估历史流量数据;
将所述第t目标流量数据以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到所述第t-1反向预估历史流量数据。
29.根据权利要求23或28所述的方法,其中,所述目标预估全历史流量数据包括:前向预估全历史流量数据和反向预估全历史流量数据;其中,所述前向预估全历史流量数据包括所述第t+1前向预估历史流量数据;所述反向预估全历史流量数据包括所述第t-1反向预估历史流量数据。
30.根据权利要求29所述的方法,其中,所述第一损失函数包括第一损失部分和第二损失部分;或者,所述第一损失函数包括第一损失部分、第二损失部分和第三损失部分;
其中,所述第一损失部分用于表征前向预估全历史流量数据与真实全历史流量数据之间的差异程度;
所述第二损失部分用于表征反向预估全历史流量数据与真实全历史流量数据之间的差异程度;
所述第三损失部分用于表征前向预估全历史流量数据与反向预估全历史流量数据之前的差异程度。
31.一种预测方法,包括:
将待处理历史流量数据,输入至目标总模型;其中,所述待处理历史流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述目标总模型是基于权利要求16至30任一项所述的模型训练方法训练所得;所述N为大于等于1的自然数;所述T为大于等于2的自然数;
得到所述目标路口的N个目标流向在第T+1时间段所对应的第T+1目标预测全流量数据。
32.根据权利要求31所述的方法,还包括:
至少基于所述第T+1目标预测全流量数据,对所述目标路口进行交通信号控制。
33.一种模型训练装置,包括:
第一模型处理单元,用于将目标流量数据输入至预设补全模型,得到目标路口的N个目标流向在T个时间段内的目标预估全历史流量数据,其中,所述目标流量数据为所述目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述预设补全模型用于对缺失的历史流量数据进行数据补全;所述N为大于等于1的自然数;所述T为大于等于2的自然数;基于所述目标预估全历史流量数据与真实全历史流量数据所构建的第一损失函数,对所述预设补全模型进行模型训练;
第一模型输出单元,用于在模型训练完成的情况下,得到目标补全模型;
其中,所述目标预估全历史流量数据包括第t时间段内所对应的第t目标流量数据;其中,所述t目标流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内所对应的目标流量数据;所述t为大于等于1且小于等于T-1的自然数;所述i为大于等于1且小于等于N的自然数;
在所述目标流量数据中存在第t时间段内所对应的第t真实历史流量数据的情况下,所述第t目标流量数据为所述第t真实历史流量数据;所述第t真实历史流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内的历史流量数据;或,在所述目标流量数据中不存在所述第t真实历史流量数据的情况下,所述第t目标流量数据为所述预设补全模型输出的第t预估历史流量数据;第t预估历史流量数据至少包括所述N个目标流向中第i个目标流向、在第t时间段内的预估历史流量数据。
34.根据权利要求33所述的装置,其中,所述第一模型处理单元,还用于:
基于下述步骤得到第t+1预估历史流量数据或第t-1预估历史流量数据:
将第t目标流量数据输入至所述预设补全模型,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
35.根据权利要求34所述的装置,其中,在所述目标流量数据中不存在第t真实历史流量数据的情况下,所述第一模型处理单元,具体用于:
将第t目标流量数据输入至所述预设补全模型中的第一网络,得到所述第t目标流量数据对应的第t空间流量特征;所述第一网络用于提取空间流量特征;
基于第t空间流量特征和第t预估历史流量数据,得到第t融合流量特征;
至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征;所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
36.根据权利要求35所述的装置,其中,所述第二网络为单向LSTM网络,所述单向LSTM网络包含前向传导的T个第一LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;所述第一模型处理单元,具体用于:
将所述第t融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于所述第t前向时序流量特征,得到第t+1预估历史流量数据;
或者,
所述单向LSTM网络包含反向传导的T个第二LSTM单元;其中,在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;所述第一模型处理单元,具体用于:
将所述第t融合流量特征以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
37.根据权利要求35所述的装置,其中,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;
其中,所述第一模型处理单元,具体用于:
将所述第t融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于第t前向时序流量特征,得到第t+1前向预估历史流量数据;
将所述第t融合流量特征以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到所述第t-1反向预估历史流量数据。
38.根据权利要求35-37任一项所述的装置,其中,所述第一模型处理单元,具体用于:
对第t空间流量特征和所述第t预估历史流量数据进行加权处理,得到所述第t融合流量特征,其中,所述第t空间流量特征对应第一权重,所述第t预估历史流量数据对应第二权重,所述第一权重和第二权重为所述预设补全模型中待训练的参数。
39.根据权利要求38所述的装置,其中,所述第一模型处理单元,具体用于:
对预设补全模型中待训练的以下至少之一参数进行调整:
所述第一网络中待训练的参数;
所述第二网络中待训练的参数;
所述第一权重;
所述第二权重。
40.根据权利要求34所述的装置,其中,在所述目标流量数据中存在第t真实历史流量数据的情况下,所述第一模型处理单元,具体用于:
至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征;所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
41.根据权利要求40所述的装置,其中,所述第二网络为单向LSTM网络,所述单向LSTM网络包含前向传导的T个第一LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;所述第一模型处理单元,具体用于:
将所述第t目标流量数据以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于所述第t前向时序流量特征,得到所述第t+1预估历史流量数据;
或者,
所述单向LSTM网络包含反向传导的T个第二LSTM单元;其中,在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;所述第一模型处理单元,具体用于:
将所述第t目标流量数据以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
42.根据权利要求40所述的装置,其中,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;
其中,所述第一模型处理单元,具体用于:
将所述第t目标流量数据以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于第t前向时序流量特征,得到第t+1前向预估历史流量数据;
将所述第t目标流量数据以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到所述第t-1反向预估历史流量数据。
43.根据权利要求37或42所述的装置,其中,所述目标预估全历史流量数据包括:前向预估全历史流量数据和反向预估全历史流量数据;其中,所述前向预估全历史流量数据包括所述第t+1前向预估历史流量数据;所述反向预估全历史流量数据包括所述第t-1反向预估历史流量数据。
44.根据权利要求43所述的装置,其中,所述第一损失函数包括第一损失部分和第二损失部分;或者,所述第一损失函数包括第一损失部分、第二损失部分和第三损失部分;
其中,所述第一损失部分用于表征前向预估全历史流量数据与真实全历史流量数据之间的差异程度;
所述第二损失部分用于表征反向预估全历史流量数据与真实全历史流量数据之间的差异程度;
所述第三损失部分用于表征前向预估全历史流量数据与反向预估全历史流量数据之前的差异程度。
45.一种数据处理装置,包括:
第一输入单元,用于将待处理历史流量数据,输入至目标补全模型;其中,所述待处理历史流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述目标补全模型是基于权利要求1至12任一项所述的模型训练方法训练所得;所述N为大于等于1的自然数;所述T为大于等于2的自然数;
第一输出单元,用于得到目标全历史流量数据,所述目标全历史流量数据为所述目标路口的N个目标流向在T个时间段内的全部历史流量数据。
46.根据权利要求45所述的装置,其中,所述目标全历史流量数据包括第t时间段内所对应的第t流量数据;所述t为大于等于1小于等于T-1的自然数;
在所述待处理历史流量数据中存在第t时间段内所对应的第t真实历史流量数据的情况下,所述第t流量数据为第t真实历史流量数据;
在所述待处理历史流量数据中不存在所述第t真实历史流量数据的情况下,所述第t流量数据为所述目标补全模型输出的第t目标预估历史流量数据。
47.根据权利要求45或46所述的装置,还包括第一控制单元,用于:
至少基于所述目标全历史流量数据,对所述目标路口进行交通信号控制。
48.一种模型训练装置,包括:
第二模型处理单元,用于将目标流量数据输入至预设总模型;其中,所述目标流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述预设总模型包括预设补全模型和预设预测模型,其中,所述预设补全模型用于对缺失的历史流量数据进行数据补全;所述预设预测模型用基于补全后的全历史流量数据进行预测;得到目标路口的N个目标流向在第T+1个时间段内的第T+1预测全流量数据;基于目标损失函数对所述预设总模型中的预设补全模型以及预设预测模型进行联合训练;所述目标损失函数基于第T+1预测全流量数据与第T+1真实全流量数据构建所得;
第二模型输出单元,用于在联合训练完成的情况下,得到目标总模型,所述目标总模型包括目标预测模型和目标补全模型;
其中,所述第二模型处理单元,具体用于:
将目标流量数据输入所述预设补全模型,得到目标路口的N个目标流向在T个时间段内的目标预估全历史流量数据;
至少将所述目标预估全历史流量数据,输入至所述预设预测模型,得到所述第T+1预测全流量数据;
其中,所述目标损失函数是基于第一损失函数与第二损失函数所得;所述第一损失函数是基于所述目标预估全历史流量数据与真实全历史流量数据所构建得到;所述第二损失函数是基于所述第T+1预测全流量数据与第T+1真实全流量数据构建得到。
49.根据权利要求48所述的装置,其中,所述第二模型处理单元,具体用于:
将所述目标预估全历史流量数据以及所述目标路口的特征信息,输入至预设预测模型,得到所述目标路口的N个目标流向在第T+1个时间段内的第T+1预测全流量数据,所述预设预测模型还用于基于所述目标路口的特征信息以及补全后的全历史流量数据进行预测。
50.根据权利要求48或49所述的装置,其中,所述目标损失函数是对第一损失函数与第二损失函数进行加权处理后所得;所述第一损失函数对应第三权重,第二损失函数对应第四权重;
所述第三权重和第四权重中的至少之一为联合训练所需训练的参数。
51.根据权利要求48所述的装置,其中,所述目标预估全历史流量数据包括第t时间段内所对应的第t目标流量数据;其中,所述t目标流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内所对应的目标流量数据;所述t为大于等于1且小于等于T-1的自然数;所述i为大于等于1且小于等于N的自然数;
其中,在所述目标流量数据中存在第t时间段内所对应的第t真实历史流量数据的情况下,所述第t目标流量数据为所述第t真实历史流量数据;所述第t真实历史流量数据至少包含所述N个目标流向中第i个目标流向、在第t时间段内的历史流量数据;
在所述目标流量数据中不存在所述第t真实历史流量数据的情况下,所述第t目标流量数据为所述预设补全模型输出的第t预估历史流量数据;第t预估历史流量数据至少包括所述N个目标流向中第i个目标流向、在第t时间段内的预估历史流量数据。
52.根据权利要求51所述的装置,其中,所述第二模型处理单元,还用于:
基于下述步骤得到第t+1预估历史流量数据或第t-1预估历史流量数据:
将第t目标流量数据输入至所述预设补全模型,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
53.根据权利要求52所述的装置,其中,在所述目标流量数据中不存在第t真实历史流量数据的情况下,所述第二模型处理单元,具体用于:
将第t目标流量数据输入至所述预设补全模型中的第一网络,得到所述第t目标流量数据对应的第t空间流量特征;所述第一网络用于提取空间流量特征;
基于第t空间流量特征和第t预估历史流量数据,得到第t融合流量特征;
至少将所述第t融合流量特征输入至所述预设补全模型中的第二网络,得到第t时序流量特征;所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
54.根据权利要求53所述的装置,其中,所述第二网络为单向LSTM网络,所述单向LSTM网络包含前向传导的T个第一LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;所述第二模型处理单元,具体用于:
将所述第t融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于所述第t前向时序流量特征,得到第t+1预估历史流量数据;
或者,
所述单向LSTM网络包含反向传导的T个第二LSTM单元;其中,在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;所述第二模型处理单元,具体用于:
将所述第t融合流量特征以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
55.根据权利要求53所述的装置,其中,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;
其中,所述第二模型处理单元,具体用于:
将所述第t融合流量特征以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于第t前向时序流量特征,得到第t+1前向预估历史流量数据;
将所述第t融合流量特征以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到所述第t-1反向预估历史流量数据。
56.根据权利要求53-55任一项所述的装置,其中,所述第二模型处理单元,具体用于:
对第t空间流量特征和所述第t预估历史流量数据进行加权处理,得到所述第t融合流量特征,其中,所述第t空间流量特征对应第一权重,所述第t预估历史流量数据对应第二权重,所述第一权重和第二权重为所述预设补全模型中待训练的参数。
57.根据权利要求56所述的装置,其中,所述第二模型处理单元,具体用于:
对所述预设补全模型中待训练的参数以及预设预测模型中待训练的参数进行调整;
其中,所述预设补全模型中待训练的参数包括以下至少之一:
所述第一网络中待训练的参数;所述第二网络中待训练的参数;所述第一权重;所述第二权重。
58.根据权利要求52所述的装置,其中,在所述目标流量数据中存在第t真实历史流量数据的情况下,所述第二模型处理单元,具体用于:
至少将所述第t目标流量数据输入至所述预设补全模型中的第二网络,得到第t时序流量特征;所述第二网络用于提取时序流量特征;
基于所述第t时序流量特征,得到所述第t+1预估历史流量数据或第t-1预估历史流量数据。
59.根据权利要求58所述的装置,其中,所述第二网络为单向LSTM网络,所述单向LSTM网络包含前向传导的T个第一LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;所述第二模型处理单元,具体用于:
将所述第t目标流量数据以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于所述第t前向时序流量特征,得到所述第t+1预估历史流量数据;
或者,
所述单向LSTM网络包含反向传导的T个第二LSTM单元;其中,在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;所述第二模型处理单元,具体用于:
将所述第t目标流量数据以及所述第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到第t-1预估历史流量数据。
60.根据权利要求58所述的装置,其中,所述第二网络为双向LSTM网络,所述双向LSTM网络包括前向传导子网络和反向传导子网络;所述前向传导子网络中包含有T个第一LSTM单元;所述反向传导子网络中包含有T个第二LSTM单元;
其中,所述T个第一LSTM单元中第t-1个第一LSTM单元的输出结果,作为第t个第一LSTM单元的输入;所述第t个第一LSTM单元的输出结果,作为第t+1个第一LSTM单元的输入;
在t为大于等于2小于等于T-1的自然数的情况下,所述T个第二LSTM单元中第t+1个第二LSTM单元的输出结果,作为第t个第二LSTM单元的输入;所述第t个第二LSTM单元的输出结果,作为第t-1个第二LSTM单元的输入;在t取值为1的情况下,所述第0个第二LSTM单元的输出结果,作为第T-1个第二LSTM单元的输入;
其中,所述第二模型处理单元,具体用于:
将所述第t目标流量数据以及第t-1个第一LSTM单元输出的第t-1前向时序流量特征,输入至所述第t个第一LSTM单元,得到第t前向时序流量特征;基于第t前向时序流量特征,得到第t+1前向预估历史流量数据;
将所述第t目标流量数据以及第t+1个第二LSTM单元输出的第t+1反向时序流量特征,输入至所述第t个第二LSTM单元,得到第t反向时序流量特征;基于所述第t反向时序流量特征,得到所述第t-1反向预估历史流量数据。
61.根据权利要求55或60所述的装置,其中,所述目标预估全历史流量数据包括:前向预估全历史流量数据和反向预估全历史流量数据;其中,所述前向预估全历史流量数据包括所述第t+1前向预估历史流量数据;所述反向预估全历史流量数据包括所述第t-1反向预估历史流量数据。
62.根据权利要求61所述的装置,其中,所述第一损失函数包括第一损失部分和第二损失部分;或者,所述第一损失函数包括第一损失部分、第二损失部分和第三损失部分;
其中,所述第一损失部分用于表征前向预估全历史流量数据与真实全历史流量数据之间的差异程度;
所述第二损失部分用于表征反向预估全历史流量数据与真实全历史流量数据之间的差异程度;
所述第三损失部分用于表征前向预估全历史流量数据与反向预估全历史流量数据之前的差异程度。
63.一种预测装置,包括:
第二输入单元,用于将待处理历史流量数据,输入至目标总模型;其中,所述待处理历史流量数据为目标路口的N个目标流向在T个时间段内的部分历史流量数据;所述目标总模型是基于权利要求17至32任一项所述的模型训练方法训练所得;所述N为大于等于1的自然数;所述T为大于等于2的自然数;
第二输出单元,用于得到所述目标路口的N个目标流向在第T+1时间段所对应的第T+1目标预测全流量数据。
64.根据权利要求63所述的装置,还包括第二控制单元,用于至少基于所述第T+1目标预测全流量数据,对所述目标路口进行交通信号控制。
65.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-32中任一项所述的方法。
66.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-32中任一项所述的方法。
CN202211484348.3A 2022-11-24 2022-11-24 模型训练方法、数据处理方法、预测方法及装置、设备 Active CN115796259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211484348.3A CN115796259B (zh) 2022-11-24 2022-11-24 模型训练方法、数据处理方法、预测方法及装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211484348.3A CN115796259B (zh) 2022-11-24 2022-11-24 模型训练方法、数据处理方法、预测方法及装置、设备

Publications (2)

Publication Number Publication Date
CN115796259A CN115796259A (zh) 2023-03-14
CN115796259B true CN115796259B (zh) 2024-03-08

Family

ID=85441173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211484348.3A Active CN115796259B (zh) 2022-11-24 2022-11-24 模型训练方法、数据处理方法、预测方法及装置、设备

Country Status (1)

Country Link
CN (1) CN115796259B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117390585B (zh) * 2023-12-12 2024-03-22 之江实验室 基于三维全连接融合的时序数据预测方法及模型训练方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111540193A (zh) * 2020-03-13 2020-08-14 华南理工大学 一种基于图卷积时序生成对抗网络的交通数据修复方法
CN113094357A (zh) * 2021-04-23 2021-07-09 大连理工大学 一种基于时空注意力机制的交通缺失数据补全方法
CN113326877A (zh) * 2021-05-28 2021-08-31 深圳前海微众银行股份有限公司 模型训练、数据处理方法、装置、设备、存储介质及程序
CN115238963A (zh) * 2022-06-23 2022-10-25 中国科学院自动化研究所 交通预测方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8755991B2 (en) * 2007-01-24 2014-06-17 Tomtom Global Assets B.V. Method and structure for vehicular traffic prediction with link interactions and missing real-time data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111540193A (zh) * 2020-03-13 2020-08-14 华南理工大学 一种基于图卷积时序生成对抗网络的交通数据修复方法
CN113094357A (zh) * 2021-04-23 2021-07-09 大连理工大学 一种基于时空注意力机制的交通缺失数据补全方法
CN113326877A (zh) * 2021-05-28 2021-08-31 深圳前海微众银行股份有限公司 模型训练、数据处理方法、装置、设备、存储介质及程序
CN115238963A (zh) * 2022-06-23 2022-10-25 中国科学院自动化研究所 交通预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115796259A (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
US20210064999A1 (en) Multi-scale multi-granularity spatial-temporal traffic volume prediction
CN109271933B (zh) 基于视频流进行三维人体姿态估计的方法
US20200125957A1 (en) Multi-agent cooperation decision-making and training method
US10733501B2 (en) Environment prediction using reinforcement learning
US10635975B2 (en) Method and apparatus for machine learning
JP2020170535A (ja) 強化学習を使用した環境ナビゲーション
CN112863180B (zh) 交通速度预测方法、装置、电子设备及计算机可读介质
US11328183B2 (en) Imagination-based agent neural networks
CN112419710B (zh) 交通拥堵数据预测方法、装置、计算机设备及存储介质
CN110414526B (zh) 语义分割网络的训练方法、训练装置、服务器和存储介质
CN110546653A (zh) 使用神经网络的用于强化学习的动作选择
JP2006221310A (ja) 予測方法、予測装置、予測プログラムおよび記録媒体
WO2020065808A1 (ja) 情報処理装置及びシステム、並びに、モデル適応方法及びプログラムが格納された非一時的なコンピュータ可読媒体
CN115796259B (zh) 模型训练方法、数据处理方法、预测方法及装置、设备
CN113538235B (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
CN113139696B (zh) 一种轨迹预测模型构建方法及轨迹预测方法、装置
US20200082227A1 (en) Imagination-based agent neural networks
CN113739811B (zh) 关键点检测模型的训练和高精地图车道线的生成方法设备
KR20190141581A (ko) 데이터 예측을 위한 인공신경망을 학습하는 방법 및 장치
CN114715145B (zh) 一种轨迹预测方法、装置、设备及自动驾驶车辆
CN115762147A (zh) 一种基于自适应图注意神经网络的交通流量预测方法
CN114897160A (zh) 模型训练方法、系统及计算机存储介质
CN117217280A (zh) 神经网络模型优化方法、装置及计算设备
KR102572576B1 (ko) 인공지능 모델을 활용한 강우량 기반 지형의 사면안정 및 침수해석 시뮬레이션 방법, 장치 및 시스템
CN115456168B (zh) 强化学习模型的训练方法、能耗确定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant