CN117894165A - 多模态实时交通预警生成方法、装置、设备和介质 - Google Patents

Abstract

本发明公开了一种多模态实时交通预警生成方法、装置、设备和介质。基于边缘端设备收集的第一交通情况数据对道路交通风险进行分类预测得到边缘端设备对应的第一预警概率序列，基于决策端设备收集的第二交通情况数据对道路交通风险进行分类预测得到决策端设备对应的第二预警概率序列，接着将第一预警概率序列与第二预警概率序列进行融合，得到目标融合特征，然后根据目标融合特征对道路交通风险进行回归预测，得到综合交通预警信息。在结合两端预警概率序列的情况下，可以有效和合理地减少交通事故的发生几率，提升交通智能水平，同时有效提升道路利用率。

Description

多模态实时交通预警生成方法、装置、设备和介质

技术领域

本发明涉及智能交通技术领域，尤其涉及一种多模态实时交通预警生成方法、装置、设备和介质。

背景技术

随着终端通信与物联网万物互联的发展，使得交通安全实时预警变得更加智能化和人性化。在相关技术中，主要通过导航地图提醒当前路况，比如提供拥堵情况、测速区域、抓拍区域、事故高发区、落石区域等预警信息；或者，在高危路段设置路标路障为驾驶员提供预警信息。

然而，考虑到道路交通安全性，相关技术中提供交通预警信息的方式有待改善。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明提出一种多模态实时交通预警生成方法、装置、设备和介质。

本发明提供一种多模态实时交通预警生成方法，所述方法包括：获取交通预警系统中边缘端设备对应的第一预警概率序列和所述交通预警系统中决策端设备对应的第二预警概率序列；其中，所述第一预警概率序列是基于所述边缘端设备收集的第一交通情况数据对道路交通风险进行分类预测而得到的；所述第二预警概率序列是基于所述决策端设备收集的第二交通情况数据对道路交通风险进行分类预测而得到的；将所述第一预警概率序列与所述第二预警概率序列进行融合，得到目标融合特征；根据所述目标融合特征对所述道路交通风险进行回归预测，得到综合交通预警信息。

本发明中，基于边缘端设备收集的第一交通情况数据对道路交通风险进行分类预测得到边缘端设备对应的第一预警概率序列，基于决策端设备收集的第二交通情况数据对道路交通风险进行分类预测得到决策端设备对应的第二预警概率序列，接着将第一预警概率序列与第二预警概率序列进行融合，得到目标融合特征，从而根据目标融合特征对道路交通风险进行回归预测，得到综合交通预警信息。一方面可以使边缘端设备了解宏观风险等级，提升驾驶过程的安全性。另一方面可以使决策端设备获取边缘端风险状态，为交通流提供更为优化与安全的策略。综上所述，在结合边缘端设备与决策端设备两端预警概率序列的基础上，实现边缘端设备与决策端设备的协同计算和集成，能够为边缘端设备与决策端设备提供及时准确的预警功能。这一举措可以有效合理地减少交通事故的发生几率，提升交通智能化水平，同时有效提升道路利用率以及人身安全。

在其中一个实施方式，所述第一交通情况数据包括驾驶员人因数据、车辆运行数据、路面状态数据；通过以下方式得到所述第一预警概率序列，包括：根据所述边缘端设备收集的驾驶员人因数据、车辆运行数据、路面状态数据对所述道路交通风险进行分类预测，得到所述边缘端设备对应的第一预警概率序列。

在其中一个实施方式，所述根据所述边缘端设备收集的驾驶员人因数据、车辆运行数据、路面状态数据对所述道路交通风险进行分类预测，得到所述边缘端设备对应的第一预警概率序列，包括：根据所述驾驶员人因数据、所述车辆运行数据、所述路面状态数据进行特征提取和特征融合，得到边缘端融合特征；基于所述边缘端融合特征对所述道路交通风险进行分类预测，得到所述第一预警概率序列。

本实施方式中，根据驾驶员人因数据、车辆运行数据、路面状态数据进行特征提取和特征融合，得到边缘端融合特征，基于边缘端融合特征对道路交通风险进行分类预测，得到第一预警概率序列，从而可以为边缘端设备提供及时的预警信息，有效地降低交通事故的风险。

在其中一个实施方式，所述基于所述边缘端融合特征对所述道路交通风险进行分类预测，得到所述第一预警概率序列，包括：将所述边缘端融合特征输入至第一全连接层中进行线性变换，得到所述边缘端融合特征对应的第一连接计算结果；将所述第一连接计算结果输入至第一软最大化层进行概率转换，得到所述第一预警概率序列。

本实施方式中，将边缘端融合特征输入至第一全连接层中进行线性变换，可以对特征进行更高级别的抽象和表示学习，以得到边缘端融合特征对应的第一连接计算结果。将第一连接计算结果输入至第一软最大化层进行概率转换，得到第一预警概率序列，可以直接表示各个预警类别对应的可能性概率，帮助决策者快速了解道路交通风险的情况，做出相应的决策和应对措施。

在其中一个实施方式，所述第二交通情况数据包括道路交通状态数据、气候数据、突发事件数据，通过以下方式得到所述第二预警概率序列，包括：根据所述决策端设备收集的道路交通状态数据、气候数据、突发事件数据对所述道路交通风险进行分类预测，得到所述决策端设备对应的第二预警概率序列。

在其中一个实施方式，所述根据所述决策端设备收集的道路交通状态数据、气候数据、突发事件数据对所述道路交通风险进行分类预测，得到所述决策端设备对应的第二预警概率序列，包括：根据所述道路交通状态数据、所述气候数据、所述突发事件数据进行特征提取和特征融合，得到决策端融合特征；基于所述决策端融合特征对所述道路交通风险进行分类预测，得到所述第二预警概率序列。

本实施方式中，根据道路交通状态数据、气候数据、突发事件数据进行特征提取和特征融合，得到决策端融合特征，基于决策端融合特征对道路交通风险进行分类预测，得到第二预警概率序列，可以识别出潜在的道路交通风险情况，并给出相应的预警概率。有助于交通管理部门在事故或拥堵发生之前做出相应的准备和应对措施，减少事故发生的可能性，提高道路安全性。

在其中一个实施方式，所述基于所述决策端融合特征对所述道路交通风险进行分类预测，得到所述第二预警概率序列，包括：将所述决策端融合特征输入至第二全连接层中进行线性变换，得到所述决策端融合特征对应的第二连接计算结果；将所述第二连接计算结果输入至第二软最大化层进行概率转换，得到所述第二预警概率序列。

本实施方式中，将决策端融合特征输入至第二全连接层中进行线性变换，得到决策端融合特征对应的第二连接计算结果，将第二连接计算结果输入至第二软最大化层进行概率转换，得到第二预警概率序列，可以直观地反映不同预警类别的可能性，为决策者提供了直观的信息，有助于决策者理解和应对道路交通风险。

在其中一个实施方式，所述第一交通情况数据包括驾驶员人因数据、车辆运行数据、路面状态数据中的至少一个；所述驾驶员人因数据包括人体生理数据、基于驾驶员视频数据提取到的人体状态数据中的至少一个；所述车辆运行数据包括车辆转向角、速度、加速度、车内环境数据中的至少一个；所述路面状态数据包括车辆周边路面情况数据、障碍物距离、车辆相对速度、反光镜可视范围中的至少一个；

所述第二交通情况数据包括道路交通状态数据、气候数据、突发事件数据中的至少一个；所述道路交通状态数据包括车辆动态数据、人流动态数据中的至少一个；所述突发事件数据是对滑坡事故、塌方事故、重大事故中的至少一个进行嵌入表示得到的。

本实施方式中，通过获取多模态的第一交通情况数据和第二交通情况数据，可以为后续得到综合交通预警信息提供更全面和准确的数据。

本发明提供一种多模态实时交通预警生成装置，所述装置包括：

概率序列获取模块，用于获取交通预警系统中边缘端设备对应的第一预警概率序列和所述交通预警系统中决策端设备对应的第二预警概率序列；其中，所述第一预警概率序列是基于所述边缘端设备收集的第一交通情况数据对道路交通风险进行分类预测而得到的；所述第二预警概率序列是基于所述决策端设备收集的第二交通情况数据对道路交通风险进行分类预测而得到的；

概率序列融合模块，用于将所述第一预警概率序列与所述第二预警概率序列进行融合，得到目标融合特征；

预警回归预测模块，用于根据所述目标融合特征对所述道路交通风险进行回归预测，得到综合交通预警信息。

本发明提供一种电子设备，所述电子设备包括：存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现上述任一项实施方式所述的方法的步骤。

本发明提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。

本发明提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。

本发明中，基于边缘端设备收集的第一交通情况数据对道路交通风险进行分类预测得到边缘端设备对应的第一预警概率序列，基于决策端设备收集的第二交通情况数据对道路交通风险进行分类预测得到决策端设备对应的第二预警概率序列，接着将第一预警概率序列与第二预警概率序列进行融合，得到目标融合特征，然后根据目标融合特征对道路交通风险进行回归预测，得到综合交通预警信息。因此，一方面可以使边缘端设备了解宏观风险等级，提升驾驶过程的安全性。另一方面可以使决策端设备获取边缘端风险状态，为交通流提供更为优化与安全的策略。综上所述，在结合边缘端设备与决策端设备两端预警概率序列的基础上，实现边缘端设备与决策端设备的协同计算和集成，能够为边缘端设备与决策端设备提供及时准确的预警功能。这一举措可以有效合理地减少交通事故的发生几率，提升交通智能化水平，同时有效提升道路利用率以及人身安全。

附图说明

图1a为本说明书实施方式提供的多模态实时交通预警生成方法的示意图；

图1b为本说明书实施方式提供的多模态实时交通预警生成方法的流程示意图；

图1c为本说明书实施方式提供的得到综合交通预警信息的示意图；

图2为本说明书实施方式提供的得到边缘端设备对应的第一预警概率序列的示意图；

图3a为本说明书实施方式提供的得到第一预警概率序列的流程示意图；

图3b为本说明书实施方式提供的得到边缘端融合特征的示意图；

图4a为本说明书实施方式提供的得到第一预警概率序列的流程示意图；

图4b为本说明书实施方式提供的得到第一预警概率序列的示意图；

图5为本说明书实施方式提供的得到决策端设备对应的第二预警概率序列的示意图；

图6a为本说明书实施方式提供的得到第二预警概率序列的流程示意图；

图6b为本说明书实施方式提供的得到决策端融合特征的示意图；

图7a为本说明书实施方式提供的得到第二预警概率序列的流程示意图；

图7b为本说明书实施方式提供的得到第二预警概率序列的示意图；

图8为本说明书实施方式提供的多模态实时交通预警生成方法的流程示意图；

图9为本说明书实施方式提供的多模态实时交通预警生成装置的示意图；

图10为本说明书实施方式提供的电子设备的内部结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

相关技术中，可以通过手机应用或者车辆导航地图应用来提醒当前路况(比如拥堵情况、测速区域、抓拍区域、事故高发区、落石区域、交通拥堵情况)并提供相应的预警。此外在高危路段设置路标路障，以提供预警作用。在突发情况下，通常会有交警现场指挥。

然而，上述相关技术中无法实时获取驾驶人状态，例如通过接触、非接触设备实时获取驾驶人当前自身或环境带来的状态变化。

相关技术中，对于驾驶人来说，疲劳驾驶一般可以通过道路标识来提醒，而分心行为(比如接打电话)、是否佩戴安全带以及车辆超载情况一般可以通过交通摄像头结合智能识别技术(比如安全驾驶识别算法)来监测。

然而，上述相关技术中，无法提供实时宏观视角，例如前后方道路状态(如堵车、塌方、道路检修等)、天气变化情况(如雨雪、大雾、冰冻、泥石流等)对于交通预警带来的影响。

基于此，本说明书实施方式提供一种多模态实时交通预警生成方法。该多模态实时交通预警生成方法可以结合多模态智能计算技术来实现。比如通过深度学习与机器学习的方法，将边缘端设备与决策端设备采集的不同模态数据的计算结果进行融合，得到综合交通预警信息。

具体地，交通预警系统中包括边缘端设备和决策端设备。首先，基于边缘端设备收集的第一交通情况数据、决策端设备收集的第二交通情况数据分别对道路交通风险进行分类预测，得到边缘端设备对应的第一预警概率序列和决策端设备对应的第二预警概率序列，接着将第一预警概率序列与第二预警概率序列进行融合，得到目标融合特征，从而根据目标融合特征对道路交通风险进行回归预测，得到综合交通预警信息。一方面可以使边缘端设备了解宏观风险等级，提升驾驶过程的安全性。另一方面可以使决策端设备获取边缘端风险状态，为交通流提供更为优化与安全的策略。综上所述，在结合边缘端设备与决策端设备两端预警概率序列的基础上，实现边缘端设备与决策端设备的协同计算和集成，能够为边缘端设备与决策端设备提供及时准确的预警功能。这一举措可以有效合理地减少交通事故的发生几率，提升交通智能化水平，同时有效提升道路利用率以及人身安全。

本说明书实施方式提供的多模态实时交通预警生成方法可以应用于边缘端设备车辆和决策端设备交通控制中心。其中，车辆可以是传统驾驶车辆，也可以是自动驾驶车辆，自动驾驶车辆可以是具备部分自动驾驶功能的车辆，也可以是具备全部自动驾驶功能的车辆。也就是说，该车辆的自动驾驶的等级可以参照美国汽车工程师协会(Society ofAutomotive Engineers，SAE)的分类标准，划分为无自动化(L0)、驾驶支援(L1)、部分自动化(L2)、有条件自动化(L3)、高度自动化(L4)或者完全自动化(L5)。车辆或者其他设备可以通过其包含的组件(包括硬件和软件)，来实施该多模态实时交通预警生成方法。可以理解的是，车辆可以为轿车、卡车、摩托车、公共汽车、娱乐车、游乐场车辆、施工设备(比如工程车)、电车和火车等中的任一个，本说明书实施方式对此不做特别的限定。

具体地，车辆可以通过生物传感器、车载传感器、摄像头装置等设备收集人体生理数据、车辆运行数据、路面状态数据。交通控制中心可以通过气象传感器、摄像头装置等设备收集交通状态数据、气候数据、突发事件数据。请参阅图1a，车辆对应的边缘端设备上部署有边缘时序神经网络102。通过边缘时序神经网络102分别对人体生理数据、车辆运行数据、路面状态数据进行特征提取，得到各自对应的人体生理特征、车辆状态特征、路面状态特征。将人体生理特征、车辆状态特征、路面状态特征输入至边缘模态信号时序特征融合模块104进行特征融合，得到边缘端融合特征。将边缘端融合特征输入至边缘全连接层106中进行线性变换，得到边缘端融合特征对应的第一连接计算结果。将第一连接计算结果输入至边缘软最大化层108进行概率转换，得到第一预警概率序列并且可以得到边缘交通预警信息。需要说明的是，边缘交通预警信息可以反映综合人体方面的风险来源(比如疲劳、分心、应激)、车辆方面的风险来源(比如过载、超速、车辆故障)以及路面状态方面的风险来源中的至少部分，从而做出的综合风险评估与反馈。

交通控制中心对应的决策端设备上部署有决策时序神经网络110。通过决策时序神经网络110分别对交通状态数据、气候数据进行特征提取，得到各自对应的交通状态特征、气候状态特征。交通控制中心通过事件编码网络(Embedding)112对突发事件数据进行特征提取，得到突发事件状态特征。将交通状态特征、气候状态特征、突发事件状态特征输入至决策模态信号时序特征融合模块114进行特征融合，得到决策端融合特征。将决策端融合特征输入至决策全连接层116中进行线性变换，得到决策端融合特征对应的第二连接计算结果。将第二连接计算结果输入至决策软最大化层118进行概率转换，得到第二预警概率序列并且可以得到决策交通预警信息，实现宏观交通预警评估。

为了更准确全面地及性能交通预警，可以基于第一预警概率序列和第二预警概率序列进行信息融合。可以理解的是，可以在边缘端设备对第一预警概率序列和第二预警概率序列进行信息融合，则决策端设备向边缘端设备发送第二预警概率序列。也可以在决策端设备对第一预警概率序列和第二预警概率序列进行信息融合，则边缘端设备向决策端设备发送第二预警概率序列。

示例性地，边缘端设备可以将第一预警概率序列上传至交通控制中心的决策端设备，使交通控制中心可以获取边缘交通预警信息，从而实现实时交通安全计算目的。交通控制中心将第一预警概率序列和第二预警概率序列输入至决策层融合模块120，通过决策层融合模块120实现对第一预警概率序列与第二预警概率序列的融合，得到目标融合特征。然后将目标融合特征传输至逻辑回归模块122，目标融合特征基于逻辑回归模块122实现对道路交通风险的回归预测，在结合车辆和交通控制中心两端数据的情况下，得到更有效和合理的综合交通预警信息，以便减少交通事故的发生几率。

本说明书实施方式提供一种多模态实时交通预警生成方法，请参阅图1b，该多模态实时交通预警生成方法可以包括以下步骤：

S110、获取交通预警系统中边缘端设备对应的第一预警概率序列和交通预警系统中决策端设备对应的第二预警概率序列。

其中，第一预警概率序列是基于边缘端设备收集的第一交通情况数据对道路交通风险进行分类预测而得到的。第二预警概率序列是基于决策端设备收集的第二交通情况数据对道路交通风险进行分类预测而得到的。交通预警系统可以是一种利用生理、脑电等传感器、摄像头、数据分析和决策算法等技术手段，以实时监测道路状况、交通事件和车流量等信息，并提供相应预警的系统。边缘端设备可以是分布在物联网系统中的最边缘、最接近用户或最接近数据产生源头的设备，比如边缘端设备可以是车辆A。决策端设备可以是是位于交通管理中心或指挥调度中心等后台环境的设备或系统，比如决策端设备可以是部署在交通控制中心的计算机设备。

第一交通情况数据可以是包括描述驾驶员、车辆和道路的多个方面的各种实时数据，可以用于辅助交通预警系统中的边缘端设备进行分类预测。第二交通情况数据可以是包括道路交通状态、气候情况和突发事件等方面的数据，可以用于辅助交通预警系统中的决策端设备进行分类预测。道路交通风险可以是指在特定的情况下，存在可能导致交通事故、交通拥堵或其他不安全因素的潜在风险。

具体地，交通预警系统中，在边缘端设备收集到第一交通情况数据后，边缘端设备根据第一交通情况数据对道路交通风险进行分类预测，得到边缘端设备对应的第一预警概率序列。在决策端设备收集到第二交通情况数据后，决策端设备根据第二交通情况数据对道路交通风险进行分类预测，得到决策端设备对应的第二预警概率序列。在一些实施方式中，可以从边缘端设备中直接获取边缘端设备对应的第一预警概率序列。同样的，也可以从决策端设备中直接获取决策端设备对应的第二预警概率序列。在另一些实施方式中，边缘端设备可以将边缘端设备对应的第一预警概率序列上传至决策端设备中，使决策端设备可以获取边缘端风险状态。因此，对于决策端设备来说，可以获取边缘端设备对应的第一预警概率序列和决策端设备对应的第二预警概率序列。在又一些实施方式中，决策端设备可以将决策端设备对应的第二预警概率序列下发至边缘端设备中，让边缘端设备可以了解宏观风险等级。因此，对于边缘端设备来说，可以获取边缘端设备对应的第一预警概率序列和决策端设备对应的第二预警概率序列。

S120、将第一预警概率序列与第二预警概率序列进行融合，得到目标融合特征。

S130、根据目标融合特征对道路交通风险进行回归预测，得到综合交通预警信息。

其中，目标融合特征可以解释为在融合过程中产生的新特征，它综合了边缘端设备和决策端设备的预警概率序列信息，反映了更综合、更全面的交通情况和风险评估结果。回归预测可以是指根据已知的数据集合，建立数学模型来描述自变量(或特征)和因变量之间的关系，并利用该数学模型对未知数据进行预测。综合交通预警信息可以是指基于目标融合特征和道路交通风险的回归预测结果，结合多种交通情况和因素，对交通状况进行全面评估并提供的一种综合性的交通预警信息，比如综合交通预警信息可以为1级预警、2级预警、3级预警、安全中的任一或者综合交通预警信息可以为高级预警、中级预警、低级预警、安全中的任一。

具体地，为了综合考虑边缘端设备和决策端设备的预警信息，可以将第一预警概率序列与第二预警概率序列进行融合，得到目标融合特征。利用目标融合特征可以更好地反映综合交通的情况，有助于交通管理部门或驾驶员做出更准确的决策、提供更智能的驾驶辅助系统，从而提高整体交通系统的运行效率和安全性。因此，将目标融合特征作为逻辑回归模型的输入，通过逻辑回归模型对道路交通风险进行回归预测，以获得更全面、准确的综合交通预警信息。

在一些实施方式中，请参阅图1c，将第一预警概率序列与第二预警概率序列作为融合模块124的输入，通过融合模块124实现对第一预警概率序列与第二预警概率序列的融合，得到目标融合特征。然后将目标融合特征传输至逻辑回归模块126，目标融合特征基于逻辑回归模块126实现对道路交通风险的回归预测，得到综合交通预警信息。

在一些实施方式中，可以在边缘端设备中对第一预警概率序列与第二预警概率序列进行融合，得到目标融合特征。然后边缘端设备继续根据目标融合特征对道路交通风险进行回归预测，得到综合交通预警信息。在另一些实施方式中，可以在决策端设备中对第一预警概率序列与第二预警概率序列进行融合，得到目标融合特征。然后决策端设备继续根据目标融合特征对道路交通风险进行回归预测，得到综合交通预警信息。

需要说明的是，第一预警概率序列与第二预警概率序列进行融合的方式可以采用拼接、叠加、简单加权平均、逻辑运算等方法，对此不做限定。融合的方式可以根据序列的特征、具体情况以及需求进行选择。

上述实施方式中，在基于边缘端设备收集的第一交通情况数据对道路交通风险进行分类预测得到第一预警概率序列和基于决策端设备收集的第二交通情况数据对道路交通风险进行分类预测得到第二预警概率序列的基础上，获取交通预警系统中边缘端设备对应的第一预警概率序列和交通预警系统中决策端设备对应的第二预警概率序列，接着将第一预警概率序列与第二预警概率序列进行融合，得到目标融合特征，然后根据目标融合特征对道路交通风险进行回归预测，得到综合交通预警信息。因此，一方面可以使边缘端设备了解宏观风险等级，提升驾驶过程的安全性。另一方面可以使决策端设备获取边缘端风险状态，为交通流提供更为优化与安全的策略。综上所述，在结合边缘端设备与决策端设备两端预警概率序列的基础上，实现边缘端设备与决策端设备的协同计算和集成，能够为边缘端设备与决策端设备提供及时准确的预警功能。这一举措可以有效合理地减少交通事故的发生几率，提升交通智能化水平，同时有效提升道路利用率以及人身安全。

在一些实施方式中，第一交通情况数据包括驾驶员人因数据、车辆运行数据、路面状态数据。通过以下方式得到第一预警概率序列，包括：根据边缘端设备收集的驾驶员人因数据、车辆运行数据、路面状态数据对道路交通风险进行分类预测，得到边缘端设备对应的第一预警概率序列。

其中，驾驶员人因数据可以是与驾驶员行为和状态相关的数据，驾驶员人因数据可以用于分析驾驶员在驾驶过程中的状态、行为和反应、感知力、情绪，以及对驾驶行为的影响因素，比如驾驶员人因数据可以包括心率、眼部运动轨迹、头部姿态中的至少一个。车辆运行数据可以是与车辆运行状态和性能相关的数据，比如车辆运行数据可以包括速度、转向角度、刹车状态中的至少一个。路面状态数据可以是用于描述道路表面状况和质量的数据，比如路面湿滑程度、路面平整度中的至少一个。驾驶员人因数据、车辆运行数据以及路面状态数据可以是时序类型数据。

具体地，可以通过传感器(比如生物传感器、车辆转向传感器)、摄像头、GPS定位等设备来获取驾驶员人因数据、车辆运行数据、路面状态数据，然后将各自获得的数据发送至边缘端设备。边缘端设备在收集到驾驶员人因数据、车辆运行数据、路面状态数据后，为了在边缘端设备实现实时预警，及时向驾驶员发送警报信息，让他们能够及时做出反应，减少交通事故的发生，可以使用机器学习算法或深度学习模型对边缘端设备收集的驾驶员人因数据、车辆运行数据、路面状态数据进行道路交通风险的分类预测，得到包括各个预警类别可能性概率的第一预警概率序列。

示例性地，请参阅图2，在边缘端设备中，可以将驾驶员人因数据、车辆运行数据、路面状态数据输入至第一分类预测模块202，实现对道路交通风险的分类预测，得到边缘端设备对应的第一预警概率序列。

在一些实施方式中，可以对收集到的驾驶员人因数据、车辆运行数据、路面状态数据进行预处理(比如数据清洗、去噪、归一化)，以确保数据的准确性和一致性。

上述实施方式中，根据边缘端设备收集的驾驶员人因数据、车辆运行数据、路面状态数据对道路交通风险进行分类预测，得到边缘端设备对应的第一预警概率序列，从而可以为边缘端设备提供及时的预警信息，有效地降低交通事故的风险。

在一些实施方式中，请参阅图3a，根据边缘端设备收集的驾驶员人因数据、车辆运行数据、路面状态数据对道路交通风险进行分类预测，得到边缘端设备对应第一预警概率序列，可以包括以下步骤：

S310、根据驾驶员人因数据、车辆运行数据、路面状态数据进行特征提取和特征融合，得到边缘端融合特征。

其中，特征提取可以是为了从原始数据中提取有助于预测交通风险的关键信息。特征融合可以是将来自不同数据源或不同特征提取方法得到的特征进行组合和整合，以获得更全面的特征的方式。边缘端融合特征是在边缘计算设备上，对来自驾驶员人因数据、车辆运行数据和路面状态数据进行特征提取和融合，得到的综合特征表示。

具体地，因驾驶员人因数据、车辆运行数据、路面状态数据是时序类型数据，因此可以通过时序类型的网络或者注意力网络(比如transformer)对驾驶员人因数据、车辆运行数据、路面状态数据进行特征提取，得到驾驶员状态特征、车辆状态特征、路面状态特征。将来自不同数据源的驾驶员状态特征、车辆状态特征以及路面状态特征进行融合，可以采用特征拼接、加权求和等简单的融合方式，也可以利用深度学习模型进行特征融合，以获得更具代表性和区分度的边缘端融合特征。

示例性地，驾驶员人因数据可以包括心电图数据、皮电信号数据，视频数据、声音数据等。请参阅图3b，驾驶员人因数据可以通过第一时序神经网络302进行实时特征提取，可以从驾驶员人因数据中提取驾驶员状态数据(比如眼睑闭合度、眨眼次数、打哈欠、打电话、抽烟、注视角度等)，得到驾驶员状态特征。其中，第一时序神经网络302可以是循环神经网络(RNN)、时间卷积网络(TCN)或及其变种和改进的网络。

车辆运行数据可以通过第一时序神经网络302进行实时特征提取，可以从车辆运行数据中提取车辆状态信息(比如车辆转向角、速度、加速度等车辆信息，以及温度、音量等车内环境信息)，得到车辆状态特征。

路面状态数据可以通过第一时序神经网络302进行实时特征提取，可以从路面状态数据中提取行驶车辆周边路面信号(比如各个方向障碍物距离、相对速度、反光镜可视范围等)，得到路面状态特征。

将驾驶员状态特征、车辆状态特征、路面状态特征输入至第一模态信号时序特征融合模块304进行特征融合，得到边缘端融合特征。

S320、基于边缘端融合特征对道路交通风险进行分类预测，得到第一预警概率序列。

具体地，可以使用机器学习算法或深度学习模型对边缘端融合特征进行道路交通风险的分类预测，得到包括各个预警类别可能性概率的边缘端设备对应的第一预警概率序列。

上述实施方式中，根据驾驶员人因数据、车辆运行数据、路面状态数据进行特征提取和特征融合，得到边缘端融合特征，基于边缘端融合特征对道路交通风险进行分类预测，得到边缘端的第一预警概率序列，从而可以为边缘端设备提供及时的预警信息，有效地降低交通事故的风险。

在一些实施方式中，请参阅图4a，基于边缘端融合特征对道路交通风险进行分类预测，得到第一预警概率序列，可以包括以下步骤：

S410、将边缘端融合特征输入至第一全连接层中进行线性变换，得到边缘端融合特征对应的第一连接计算结果。

S420、将第一连接计算结果输入至第一软最大化层进行概率转换，得到第一预警概率序列。

其中，第一全连接层可以是深度学习神经网络中的一种常见层级，用于对输入数据进行线性变换和特征提取。线性变换可以是对输入的特征数据进行线性加权求和的操作。第一连接计算结果可以是输入特征经过第一全连接层进行线性变换和激活函数处理后得到的新的表示结果。第一软最大化层可以是将神经网络的输出转换为概率分布，其实质是对神经网络输出进行非线性变换，将原始的得分或激活值转换为表示概率的数值。概率转换可以是将经过第一软最大化层处理后得到的原始得分或激活值转换为概率分布。

具体地，在第一全连接层中，每个神经元与上一层的神经元都有连接，并且每个连接都有一个对应的权重。因此，当将边缘端融合特征输入至第一全连接层进行线性变换时，每个神经元都可以接收并处理来自边缘端融合特征的信息，得到边缘端融合特征对应的第一连接计算结果。通过使用权重矩阵和偏置项，将第一连接计算结果转换成未归一化的预测分数向量。预测分数向量的维度通常与模型输出的类别数量相匹配。接下来，通过应用第一软最大化层，将未归一化的预测分数向量转换成概率向量。第一软最大化层将每个分数值映射到一个0到1之间的概率值，并且所有概率值的总和等于1。最后，根据第一软最大化层的输出，计算出边缘端各个预警类别可能性概率，得到第一预警概率序列即预警类别可能性概率构成的向量。

示例性地，请参阅图4b，将边缘端融合特征输入至第一全连接层402，通过第一全连接层402对边缘端融合特征进行线性变换，计算每个神经元连接后的计算结果，从而得到边缘端融合特征对应的第一连接计算结果。将第一连接计算结果输入至第一软最大化层404(Softmax层)，通过第一软最大化层404对第一连接计算结果进行概率转换，计算出边缘端设备各个预警类别对应的可能性概率，得到第一预警概率序列。在一些实施方式中，可以从第一预警概率序列中选取最大的概率值，并将最大概率值对应的预警类别作为边缘端设备需要进行预警的类别。

上述实施方式中，将边缘端融合特征输入至第一全连接层中进行线性变换，可以对特征进行更高级别的抽象和表示学习，以得到边缘端融合特征对应的第一连接计算结果。将第一连接计算结果输入至第一软最大化层进行概率转换，得到第一预警概率序列，可以直接表示各个预警类别对应的可能性概率，帮助决策者快速了解道路交通风险的情况，做出相应的决策和应对措施。

在一些实施方式中，第二交通情况数据包括道路交通状态数据、气候数据、突发事件数据，通过以下方式得到第二预警概率序列，可以包括：根据决策端设备收集的道路交通状态数据、气候数据、突发事件数据对道路交通风险进行分类预测，得到决策端设备对应的第二预警概率序列。

其中，道路交通状态数据可以是用于描述交通道路上的对象的一系列信息，比如交通道路上的对象可以为移动的车辆、静止的车辆、机器人、物流车、自动驾驶货车。道路交通状态数据可以包括车辆密度、车流。气候数据可以是用于描述特定地区或时段内气候状况的各种气象信息，比如气候数据可以包括降水情况、风速。突发事件数据可以是在道路交通系统中突然发生的、可能对交通流量、道路状况或交通安全产生重大影响的意外事件或异常情况，比如突发事件数据可以包括塌方、重大交通事故。道路交通状态数据、气候数据可以是时序类型数据。突发事件数据可以是离散类型数据。

具体地，以通过传感器(比如雷达、气象传感器)、监控设备(比如摄像头)等手段实时获取道路交通状态数据、气候数据、突发事件数据，然后将各自获得的数据发送至决策端设备。决策端设备在收集到道路交通状态数据、气候数据、突发事件数据后，为了在决策端设备实现实时预警，及时向交通控制中心的相关管理人员发送警报信息，让他们能够及时做出反应，减少交通事故的发生，可以使用机器学习算法或深度学习模型对决策端设备收集的道路交通状态数据、气候数据、突发事件数据进行道路交通风险的分类预测，得到包括各个预警类别可能性概率的第二预警概率序列。

示例性地，请参阅图5，在决策端设备中，可以将道路交通状态数据、气候数据、突发事件数据输入至第二分类预测模块502，实现对道路交通风险的分类预测，得到决策端设备对应的第二预警概率序列。

在一些实施方式中，可以对收集到的道路交通状态数据、气候数据、突发事件数据进行预处理(比如数据清洗、去噪、归一化)，以确保数据的准确性和一致性。

上述实施方式中，根据决策端设备收集的道路交通状态数据、气候数据、突发事件数据对道路交通风险进行分类预测，得到决策端设备对应的第二预警概率序列，可以识别出潜在的道路交通风险情况，并给出相应的预警概率。有助于交通管理部门在事故或拥堵发生之前做出相应的准备和应对措施，减少事故发生的可能性，提高道路安全性。

在一些实施方式中，请参阅图6a，根据决策端设备收集的道路交通状态数据、气候数据、突发事件数据对道路交通风险进行分类预测，得到决策端设备对应的第二预警概率序列，可以包括以下步骤：

S610、根据道路交通状态数据、气候数据、突发事件数据进行特征提取和特征融合，得到决策端融合特征。

其中，决策端融合特征可以是在道路交通状态数据、气候数据和突发事件数据的基础上，经过特征提取和融合处理后得到的综合性特征。

具体地，因道路交通状态数据、气候数据是时序类型数据，因此可以通过时序类型的网络或者注意力网络(比如transformer)对道路交通状态数据、气候数据进行特征提取，得到道路交通状态特征、气候状态特征。因突发事件数据是离散类型数据，可以通过处理离散型数据类型的网络对突发事件数据进行特征提取，得到突发事件状态特征。将来自不同数据源的道路交通状态特征、气候状态特征以及突发事件状态特征进行融合，可以采用特征拼接、加权求和等简单的融合方式，也可以利用深度学习模型进行特征融合，以获得更具代表性和区分度的决策端融合特征。

示例性地，请参阅图6b，决策端设备通过收集的道路交通状态数据，可以获取当前交通网络中，车流、人流动态变化情况。将车人视作三维空间内的坐标点，可以通过第二时序神经网络602计算每个坐标点位移情况，从而得到每个坐标点时序数据，记为X1_1、X1_2、X1_3……X1_n。再利用第二时序神经网络602提取各个坐标点交通状态特征，得到道路交通状态特征。其中，第二时序神经网络602可以是循环神经网络(RNN)、时间卷积网络(TCN)或及其变种和改进的网络。

气候数据可以通过第二时序神经网络602进行实时特征提取，可以从气候数据中提取天气状态信息，实时计算天气对于每个坐标点状态影响，得到气候状态特征。

突发事件数据可以通过Embedding网络(嵌入网络)604进行编码，可以从突发事件数据中提取突发事件信息(比如滑坡、塌方、重大事故等)，得到突发事件状态特征。其中，Embedding网络是一种将离散的符号或类别型数据转换为连续向量表示的技术。

将道路交通状态特征、气候状态特征、突发事件状态特征输入至第二模态信号时序特征融合模块606进行特征融合，得到决策端融合特征。

S620、基于决策端融合特征对道路交通风险进行分类预测，得到第二预警概率序列。

具体地，可以使用机器学习算法或深度学习模型对决策端融合特征进行道路交通风险的分类预测，得到包括各个预警类别可能性概率的决策端设备对应的第二预警概率序列。

上述实施方式中，根据道路交通状态数据、气候数据、突发事件数据进行特征提取和特征融合，得到决策端融合特征，基于决策端融合特征对道路交通风险进行分类预测，得到决策端的第二预警概率序列，可以识别出潜在的道路交通风险情况，并给出相应的预警概率。有助于交通管理部门在事故或拥堵发生之前做出相应的准备和应对措施，减少事故发生的可能性，提高道路安全性。

在一些实施方式中，请参阅图7a，基于决策端融合特征对道路交通风险进行分类预测，得到第二预警概率序列，可以包括以下步骤：

S710、将决策端融合特征输入至第二全连接层中进行线性变换，得到决策端融合特征对应的第二连接计算结果。

S720、将第二连接计算结果输入至第二软最大化层进行概率转换，得到第二预警概率序列。

其中，第二全连接层可以是深度学习神经网络中的一种常见层级，用于对输入数据进行线性变换和特征提取。第二连接计算结果可以是输入特征经过第二全连接层进行线性变换和激活函数处理后得到的新的表示结果。第二软最大化层可以是将神经网络的输出转换为概率分布，其实质是对神经网络输出进行非线性变换，将原始的得分或激活值转换为表示概率的数值。

具体地，在第二全连接层中，每个神经元与上一层的神经元都有连接，并且每个连接都有一个对应的权重。因此，当将决策端融合特征输入至第二全连接层进行线性变换时，每个神经元都可以接收并处理来自决策端融合特征的信息，并根据其所拥有的权重进行相应的线性变换得到决策端融合特征对应的第二连接计算结果。通过使用权重矩阵和偏置项，将第二连接计算结果转换成未归一化的预测分数向量。预测分数向量的维度通常与模型输出的类别数量相匹配。接下来，通过应用第二软最大化层，将未归一化的预测分数向量转换成概率向量。第二软最大化层将每个分数值映射到一个0到1之间的概率值，并且所有概率值的总和等于1。最后，根据第二软最大化层的输出，计算出决策端各个预警类别可能性概率，得到第二预警概率序列即预警类别可能性概率构成的向量。

示例性地，请参阅图7b，将决策端融合特征输入至第二全连接层702，通过第二全连接层702对决策端融合特征进行线性变换，计算每个神经元连接后的计算结果，从而得到决策端融合特征对应的第二连接计算结果。将第二连接计算结果输入至第二软最大化层704(Softmax层)，通过第二软最大化层704对第二连接计算结果进行概率转换，计算出决策端设备各个预警类别对应的可能性概率，得到第二预警概率序列。在一些实施方式中，可以从第二预警概率序列中选取最大的概率值，并将最大概率值对应的预警类别作为决策端设备需要进行预警的类别。

上述实施方式中，将决策端融合特征输入至第二全连接层中进行线性变换，得到决策端融合特征对应的第二连接计算结果，将第二连接计算结果输入至第二软最大化层进行概率转换，得到第二预警概率序列，可以直观地反映不同预警类别的可能性，为决策者提供了直观的信息，有助于决策者理解和应对道路交通风险。

在一些实施方式中，第一交通情况数据包括驾驶员人因数据、车辆运行数据、路面状态数据中的至少一个；驾驶员人因数据包括人体生理数据、基于驾驶员视频数据提取到的人体状态数据中的至少一个；车辆运行数据包括车辆转向角、速度、加速度、车内环境数据中的至少一个；路面状态数据包括车辆周边路面情况数据、障碍物距离、车辆相对速度、反光镜可视范围中的至少一个。

第二交通情况数据包括道路交通状态数据、气候数据、突发事件数据中的至少一个；道路交通状态数据包括车辆动态数据、人流动态数据中的至少一个；突发事件数据是对滑坡事故、塌方事故、重大事故中的至少一个进行嵌入表示得到的。

其中，人体生理数据可以是记录和测量人体生理功能及其变化的数据。它可以包括多种生理参数和指标，用于评估和监测人体的健康状态、活动水平和生理反应，比如人体生理数据可以包括心率、脑电图。反光镜可视范围可以是车辆后方以及一定的侧后方区，以便让驾驶员观察到后方来车、超车、侧方交通情况以及确定是否存在被遮挡的视野范围。

具体地，通过收集驾驶员人因数据可以了解驾驶员的行为和状态，如疲劳驾驶、注意力分散等，从而及时发出警示或采取措施来提高道路安全性，预防交通事故发生。驾驶员人因数据可以包括人体生理数据、基于驾驶员视频数据提取到的人体状态数据中的至少一个。在一些实施方式中，可以使用生物传感器(比如心率传感器、脑电图(EEG)传感器)或生理监测设备(比如智能手环、智能眼镜等智能穿戴设备)来实时监测驾驶员的生理参数，比如心率、呼吸频率、皮肤电导等。生物传感器或生理监测设备可以直接贴附在驾驶员的身体上或集成到座椅、方向盘等部位。在另一些实施方式中，使用摄像头或其他视频采集设备来获取驾驶员视频数据。摄像头或其他视频采集设备可以安装在车内，例如车载摄像头。通过计算机视觉技术对驾驶员视频数据进行人体检测和跟踪，识别出视频中的驾驶员位置和姿态。例如，可以计算头部的倾斜角度、眼睛的开闭程度、手部的位置和动作等。这些数据可以反映驾驶员的注意力、疲劳程度、激动情绪等状态。

通过收集车辆运行数据可以评估车辆的操控稳定性、制动性能等关键指标，为改善驾驶行为提供依据，提高交通安全性。车辆运行数据包括车辆转向角、速度、加速度、车内环境数据中的至少一个。可以在车辆转向系统中安装车辆转向传感器，通过感知转向轮的位置变化来实时获取车辆的转向角数据。车辆的速度和加速度可以通过车载传感器(如车速传感器、加速度传感器)来获取。车内环境数据可以包括温度、湿度、空气质量等信息，可以通过安装环境传感器来实现。这些传感器可以放置在车内各个位置，通过物联网技术将环境数据上传至云端或车载系统进行记录和分析。

通过收集路面状态数据可以监测路面状态数据，提供及时的路况信息，帮助驾驶员预防因路面问题引发的事故，提升驾驶安全性和舒适度。路面状态数据包括车辆周边路面情况数据、障碍物距离、车辆相对速度、反光镜可视范围中的至少一个。可以通过在车辆周围安装环境感知器件，如激光雷达、摄像头、超声波传感器等来实时监测车辆周围路面情况数据。通过在车辆周围安装距离传感器，如激光测距仪、超声波传感器等测量车辆与周围障碍物的距离，提供实时的障碍物距离数据。通过使用雷达、摄像头或车载通讯设备(如车联网)等技术帮助车辆感知周围车辆的行驶速度，实现对周围车辆的相对速度进行测量，从而提供车辆相对速度的数据。可以通过安装摄像头或传感器在车辆的后视镜或周围位置，实时监测反光镜的可视范围情况，提供反光镜可视范围的图像或数据。

通过收集道路交通状态数据可以选择最佳路线，避开拥堵路段，减少行车时间和燃油消耗，同时也可以用于交通管理部门的交通监控和调度，优化交通流动，减少交通事故发生的可能性。道路交通状态数据包括车辆动态数据、人流动态数据中的至少一个。可以通过安装在道路上的交通监控摄像头或者路侧单元(RSU)实时捕捉车辆的行驶情况，包括车辆密度、速度、车流量等信息。这些摄像头可以通过计算机视觉技术进行车辆检测和跟踪，从而获取车辆动态数据。可以在重要路口或人流密集区域安装摄像头，通过计算机视觉技术对行人进行监测和统计，实时获取人流量、行人行进方向等人流动态数据。

通过收集气候数据可以基于当前气候条件做出驾驶决策，如调整车速、开启雨刮器、打开车灯等，同时也可以用于交通管理部门做出应对恶劣天气的交通管制措施，确保道路安全。在一些实施方式中，可以通过部署气象传感器和设备来收集实时的天气数据。这些传感器可以测量温度、湿度、降雨量、风速、能见度等参数。在另一些实施方式中，可以通过访问官方的气象网站或使用气象局提供的API接口来获取实时和历史天气数据。气候数据可以包括温度、湿度、降雨量、风速、能见度等信息。

通过收集突发事件数据可以避开受影响的路段，确保行车安全，同时也可以用于交通管理部门进行交通管制和紧急救援，保障道路畅通和交通安全。突发事件数据是对滑坡事故、塌方事故、重大事故中的至少一个进行嵌入表示得到的。针对每种突发事件(如滑坡事故、塌方事故、重大事故)，可以编写文本描述，包括事件的地点、时间、类型、影响范围等信息。然后，利用自然语言处理技术(比如词嵌入(word embeddings)、BERT、GPT)，将文本描述转换为向量表示。

上述实施方式中，通过获取多模态的第一交通情况数据和第二交通情况数据，可以为后续得到综合交通预警信息提供更全面和准确的数据。

本说明书实施方式还提供一种多模态实时交通预警生成方法，示例性地，请参阅图8，该多模态实时交通预警生成方法可以包括以下步骤：

S802、根据驾驶员人因数据、车辆运行数据、路面状态数据进行特征提取和特征融合，得到边缘端融合特征。

S804、将边缘端融合特征输入至第一全连接层中进行线性变换，得到边缘端融合特征对应的第一连接计算结果。

S806、将第一连接计算结果输入至第一软最大化层进行概率转换，得到第一预警概率序列。

S808、根据道路交通状态数据、气候数据、突发事件数据进行特征提取和特征融合，得到决策端融合特征。

S810、将决策端融合特征输入至第二全连接层中进行线性变换，得到决策端融合特征对应的第二连接计算结果。

S812、将第二连接计算结果输入至第二软最大化层进行概率转换，得到第二预警概率序列。

S814、将第一预警概率序列与第二预警概率序列进行融合，得到目标融合特征。

S816、根据目标融合特征对道路交通风险进行回归预测，得到综合交通预警信息。

本说明书实施方式提供一种多模态实时交通预警生成装置900，请参阅图9，多模态实时交通预警生成装置900包括：概率序列获取模块910、概率序列融合模块920、预警回归预测模块930。

概率序列获取模块910，用于获取交通预警系统中边缘端设备对应的第一预警概率序列和所述交通预警系统中决策端设备对应的第二预警概率序列；其中，所述第一预警概率序列是基于所述边缘端设备收集的第一交通情况数据对道路交通风险进行分类预测而得到的；所述第二预警概率序列是基于所述决策端设备收集的第二交通情况数据对道路交通风险进行分类预测而得到的；

概率序列融合模块920，用于将所述第一预警概率序列与所述第二预警概率序列进行融合，得到目标融合特征；

预警回归预测模块930，用于根据所述目标融合特征对所述道路交通风险进行回归预测，得到综合交通预警信息。

在一些实施方式中，所述第一交通情况数据包括驾驶员人因数据、车辆运行数据、路面状态数据；通过以下方式得到所述第一预警概率序列：根据所述边缘端设备收集的驾驶员人因数据、车辆运行数据、路面状态数据对所述道路交通风险进行分类预测，得到所述边缘端设备对应的第一预警概率序列。

在一些实施方式中，概率序列获取模块，还用于根据所述驾驶员人因数据、所述车辆运行数据、所述路面状态数据进行特征提取和特征融合，得到边缘端融合特征；基于所述边缘端融合特征对所述道路交通风险进行分类预测，得到所述第一预警概率序列。

在一些实施方式中，概率序列获取模块，还用于将所述边缘端融合特征输入至第一全连接层中进行线性变换，得到所述边缘端融合特征对应的第一连接计算结果；将所述第一连接计算结果输入至第一软最大化层进行概率转换，得到所述第一预警概率序列。

在一些实施方式中，所述第二交通情况数据包括道路交通状态数据、气候数据、突发事件数据，通过以下方式得到所述第二预警概率序列：根据所述决策端设备收集的道路交通状态数据、气候数据、突发事件数据对所述道路交通风险进行分类预测，得到所述决策端设备对应的第二预警概率序列。

在一些实施方式中，概率序列获取模块，还用于根据所述道路交通状态数据、所述气候数据、所述突发事件数据进行特征提取和特征融合，得到决策端融合特征；基于所述决策端融合特征对所述道路交通风险进行分类预测，得到所述第二预警概率序列。

在一些实施方式中，概率序列获取模块，还用于将所述决策端融合特征输入至第二全连接层中进行线性变换，得到所述决策端融合特征对应的第二连接计算结果；将所述第二连接计算结果输入至第二软最大化层进行概率转换，得到所述第二预警概率序列。

在一些实施方式中，所述第一交通情况数据包括驾驶员人因数据、车辆运行数据、路面状态数据中的至少一个；所述驾驶员人因数据包括人体生理数据、基于驾驶员视频数据提取到的人体状态数据中的至少一个；所述车辆运行数据包括车辆转向角、速度、加速度、车内环境数据中的至少一个；所述路面状态数据包括车辆周边路面情况数据、障碍物距离、车辆相对速度、反光镜可视范围中的至少一个；所述第二交通情况数据包括道路交通状态数据、气候数据、突发事件数据中的至少一个；所述道路交通状态数据包括车辆动态数据、人流动态数据中的至少一个；所述突发事件数据是对滑坡事故、塌方事故、重大事故中的至少一个进行嵌入表示得到的。

关于多模态实时交通预警生成装置的具体描述，可以参见上文中对多模态实时交通预警生成方法的描述，在此不再赘述。

在一些实施方式中，提供了一种电子设备，其内部结构图可以如图10所示。该电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种多模态实时交通预警生成方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本说明书所公开方案相关的部分结构的框图，并不构成对本说明书所公开方案所应用于其上的电子设备的限定，具体地，电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施方式中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施方式中的方法步骤。

本说明书实施方式提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项实施方式中的方法的步骤。

本说明书的一个实施方式提供一种计算机程序产品，计算机程序产品中包括指令，指令被计算机设备的处理器执行时，使得计算机设备能够执行上述任一项实施方式的方法的步骤。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

Claims (11)

1.一种多模态实时交通预警生成方法，其特征在于，所述方法包括：

获取交通预警系统中边缘端设备对应的第一预警概率序列和所述交通预警系统中决策端设备对应的第二预警概率序列；其中，所述第一预警概率序列是基于所述边缘端设备收集的第一交通情况数据对道路交通风险进行分类预测而得到的；所述第二预警概率序列是基于所述决策端设备收集的第二交通情况数据对道路交通风险进行分类预测而得到的；

将所述第一预警概率序列与所述第二预警概率序列进行融合，得到目标融合特征；

根据所述目标融合特征对所述道路交通风险进行回归预测，得到综合交通预警信息。

2.根据权利要求1所述的方法，其特征在于，所述第一交通情况数据包括驾驶员人因数据、车辆运行数据、路面状态数据；通过以下方式得到所述第一预警概率序列，包括：

根据所述边缘端设备收集的驾驶员人因数据、车辆运行数据、路面状态数据对所述道路交通风险进行分类预测，得到所述边缘端设备对应的第一预警概率序列。

3.根据权利要求2所述的方法，其特征在于，所述根据所述边缘端设备收集的驾驶员人因数据、车辆运行数据、路面状态数据对所述道路交通风险进行分类预测，得到所述边缘端设备对应的第一预警概率序列，包括：

根据所述驾驶员人因数据、所述车辆运行数据、所述路面状态数据进行特征提取和特征融合，得到边缘端融合特征；

基于所述边缘端融合特征对所述道路交通风险进行分类预测，得到所述第一预警概率序列。

4.根据权利要求3所述的方法，其特征在于，所述基于所述边缘端融合特征对所述道路交通风险进行分类预测，得到所述第一预警概率序列，包括：

将所述边缘端融合特征输入至第一全连接层中进行线性变换，得到所述边缘端融合特征对应的第一连接计算结果；

将所述第一连接计算结果输入至第一软最大化层进行概率转换，得到所述第一预警概率序列。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述第二交通情况数据包括道路交通状态数据、气候数据、突发事件数据，通过以下方式得到所述第二预警概率序列，包括：

根据所述决策端设备收集的道路交通状态数据、气候数据、突发事件数据对所述道路交通风险进行分类预测，得到所述决策端设备对应的第二预警概率序列。

6.根据权利要求5所述的方法，其特征在于，所述根据所述决策端设备收集的道路交通状态数据、气候数据、突发事件数据对所述道路交通风险进行分类预测，得到所述决策端设备对应的第二预警概率序列，包括：

根据所述道路交通状态数据、所述气候数据、所述突发事件数据进行特征提取和特征融合，得到决策端融合特征；

基于所述决策端融合特征对所述道路交通风险进行分类预测，得到所述第二预警概率序列。

7.根据权利要求6所述的方法，其特征在于，所述基于所述决策端融合特征对所述道路交通风险进行分类预测，得到所述第二预警概率序列，包括：

将所述决策端融合特征输入至第二全连接层中进行线性变换，得到所述决策端融合特征对应的第二连接计算结果；

将所述第二连接计算结果输入至第二软最大化层进行概率转换，得到所述第二预警概率序列。

8.根据权利要求1所述的方法，其特征在于，所述第一交通情况数据包括驾驶员人因数据、车辆运行数据、路面状态数据中的至少一个；所述驾驶员人因数据包括人体生理数据、基于驾驶员视频数据提取到的人体状态数据中的至少一个；所述车辆运行数据包括车辆转向角、速度、加速度、车内环境数据中的至少一个；所述路面状态数据包括车辆周边路面情况数据、障碍物距离、车辆相对速度、反光镜可视范围中的至少一个；

所述第二交通情况数据包括道路交通状态数据、气候数据、突发事件数据中的至少一个；所述道路交通状态数据包括车辆动态数据、人流动态数据中的至少一个；所述突发事件数据是对滑坡事故、塌方事故、重大事故中的至少一个进行嵌入表示得到的。

9.一种多模态实时交通预警生成装置，其特征在于，所述装置包括：

概率序列获取模块，用于获取交通预警系统中边缘端设备对应的第一预警概率序列和所述交通预警系统中决策端设备对应的第二预警概率序列；其中，所述第一预警概率序列是基于所述边缘端设备收集的第一交通情况数据对道路交通风险进行分类预测而得到的；所述第二预警概率序列是基于所述决策端设备收集的第二交通情况数据对道路交通风险进行分类预测而得到的；

概率序列融合模块，用于将所述第一预警概率序列与所述第二预警概率序列进行融合，得到目标融合特征；

预警回归预测模块，用于根据所述目标融合特征对所述道路交通风险进行回归预测，得到综合交通预警信息。

10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。