CN114742280B - 路况预测方法及相应的模型训练方法、装置、设备及介质 - Google Patents

路况预测方法及相应的模型训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN114742280B
CN114742280B CN202210272684.5A CN202210272684A CN114742280B CN 114742280 B CN114742280 B CN 114742280B CN 202210272684 A CN202210272684 A CN 202210272684A CN 114742280 B CN114742280 B CN 114742280B
Authority
CN
China
Prior art keywords
training
road
moment
road section
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210272684.5A
Other languages
English (en)
Other versions
CN114742280A (zh
Inventor
夏德国
黄际洲
刘希岩
张伟
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210272684.5A priority Critical patent/CN114742280B/zh
Priority to PCT/CN2022/104675 priority patent/WO2023173633A1/zh
Publication of CN114742280A publication Critical patent/CN114742280A/zh
Application granted granted Critical
Publication of CN114742280B publication Critical patent/CN114742280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Molecular Biology (AREA)
  • Strategic Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Development Economics (AREA)
  • Analytical Chemistry (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了一种路况预测方法及相应的模型训练方法、装置、设备及介质，涉及智能交通、人工智能以及计算机视觉等技术领域。具体实现方案为：基于指定路段的当前时刻的街景图像，挖掘所述指定路段的所述当前时刻的视觉特征；基于所述当前时刻以及所述当前时刻之前连续的多个历史时刻、所述指定路段上的车辆的轨迹速度，挖掘所述指定路段的所述当前时刻以及各所述历史时刻的轨迹速度特征；基于所述指定路段的所述当前时刻的所述视觉特征、所述当前时刻以及各所述历史时刻的所述轨迹速度特征，预测所述指定路段下一时刻的路况。本公开的技术，能够有效地提高路况预测的准确性。

Description

路况预测方法及相应的模型训练方法、装置、设备及介质
技术领域
本公开涉及计算机技术领域，具体涉及智能交通、人工智能以及计算机视觉等技术领域，尤其涉及一种路况预测方法及相应的模型训练方法、装置、设备及介质。
背景技术
随着经济的不断发展，道路基础建设取得显著进展。然而，尽管道路不断铺设和拓宽，由于车辆数量以及出行需求的飞速增长，交通拥堵问题仍然日益凸显。
为了帮助用户避免交通拥堵，并做出更明智的出行决策，实时提供准确可靠的交通路况预测非常重要。
发明内容
本公开提供了一种路况预测方法及相应的模型训练方法、装置、设备及介质。
根据本公开的一方面，提供了一种路况预测方法，包括：
基于指定路段的当前时刻的街景图像，挖掘所述指定路段的所述当前时刻的视觉特征；
基于所述当前时刻以及所述当前时刻之前连续的多个历史时刻、所述指定路段上的车辆的轨迹速度，挖掘所述指定路段的所述当前时刻以及各所述历史时刻的轨迹速度特征；
基于所述指定路段的所述当前时刻的所述视觉特征、所述当前时刻以及各所述历史时刻的所述轨迹速度特征，预测所述指定路段下一时刻的路况。
根据本公开的另一方面，提供了一种路况预测模型的训练方法，包括：
采集多条训练数据，各条所述训练数据包括训练路段的第t时刻的街景图像、第t时刻以及第t时刻之前连续的多个历史时刻所述训练路段上的车辆的训练轨迹速度、以及所述训练路段的第t+1时刻的真实轨迹速度和真实路况标签；
对于各所述训练数据，基于所述训练数据中的所述训练路段的第t时刻的所述街景图像，挖掘所述训练路段的所述第t时刻的视觉特征；
对于各所述训练数据，基于所述第t时刻以及所述第t时刻之前连续的多个历史时刻、所述训练路段上的车辆的训练轨迹速度，挖掘所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征；
采用各所述训练数据对应的所述训练路段的所述第t时刻的视觉特征、所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征、以及所述训练路段的所述第t+1时刻的所述真实轨迹速度和所述真实路况标签，对所述路况预测模型进行训练。
根据本公开的再一方面，提供了一种路况预测装置，包括：
视觉特征挖掘模块，用于基于指定路段的当前时刻的街景图像，挖掘所述指定路段的所述当前时刻的视觉特征；
轨迹特征挖掘模块，用于基于所述当前时刻以及所述当前时刻之前连续的多个历史时刻、所述指定路段上的车辆的轨迹速度，挖掘所述指定路段的所述当前时刻以及各所述历史时刻的轨迹速度特征；
预测模块，用于基于所述指定路段的所述当前时刻的所述视觉特征、所述当前时刻以及各所述历史时刻的所述轨迹速度特征，预测所述指定路段下一时刻的路况。
根据本公开的又一方面，提供了一种路况预测模型的训练装置，包括：
采集模块，用于采集多条训练数据，各条所述训练数据包括训练路段的第t时刻的街景图像、第t时刻以及第t时刻之前连续的多个历史时刻所述训练路段上的车辆的训练轨迹速度、以及所述训练路段的第t+1时刻的真实轨迹速度和真实路况标签；
视觉特征挖掘模块，用于对于各所述训练数据，基于所述训练数据中的所述训练路段的第t时刻的所述街景图像，挖掘所述训练路段的所述第t时刻的视觉特征；
轨迹特征挖掘模块，用于对于各所述训练数据，基于所述第t时刻以及所述第t时刻之前连续的多个历史时刻、所述训练路段上的车辆的训练轨迹速度，挖掘所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征；
训练模块，用于采用各所述训练数据对应的所述训练路段的所述第t时刻的视觉特征、所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征、以及所述训练路段的所述第t+1时刻的所述真实轨迹速度和所述真实路况标签，对所述路况预测模型进行训练。
根据本公开的再另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。
根据本公开的再又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。
根据本公开的又另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。
根据本公开的技术，能够有效地提高路况预测的准确性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是根据本公开第二实施例的示意图；
图3是本公开实施例提供的一种街景图像示意图；
图4是本公开实施例提供的另一种街景图像示意图；
图5是本公开实施例提供的再一种街景图像示意图；
图6是根据本公开第三实施例的示意图；
图7是根据本公开第四实施例的示意图；
图8是根据本公开第五实施例的示意图；
图9是根据本公开第六实施例的示意图；
图10是根据本公开第七实施例的示意图；
图11是根据本公开第八实施例的示意图；
图12是用来实现本公开实施例的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
需要说明的是，本公开实施例中所涉及的终端设备可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(TabletComputer)等智能设备；显示设备可以包括但不限于个人电脑、电视等具有显示功能的设备。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
例如，现有技术存在一种基于轨迹的路况预测方法。具体地，可以通过部署在车辆或者手机移动端的全球定位系统(Global Positioning System；GPS)采集轨迹数据。然后基于轨迹数据构建模型预测交通路况。但是该方法往往受限于GPS漂移等缺点，其难以满足当前实际需求。比如，在高架桥场景下，轨迹数据与路网匹配容易出现误差，从而导致轨迹数据置信度大打折扣，从而影响路况预测的准确性。
图1是根据本公开第一实施例的示意图；如图1所示，本实施例提供一种路况预测方法，可以应用在地图服务器侧的路况预测装置中。具体可以包括如下步骤：
S101、基于指定路段的当前时刻的街景图像，挖掘指定路段的当前时刻的视觉特征；
本实施例中，以指定路段为例，对指定路段的下一时刻的路况进行预测。本实施例中的时刻的粒度可以为每分钟为一个时刻。当然实际应用中，也可以选择更大或者更小的粒度。
指定路段的当前时刻的街景图像可以由设置在指定路段上的图像采集设备采集，或者也可以当前时刻、行驶在指定路段的车辆，在经过该车辆的用户授权后，获取的该车辆采集到的该指定路段在当前时刻的街景图像。实际应用中，还可以采用其他方式获取指定路段的当前时刻的街景图像，在此不做举例赘述。
例如，指定路段的当前时刻的街景图像中可以包括当前时刻该指定路段的道路本身的属性信息如车道数、道路上的车辆数量等信息。基于街景图像，可以挖掘并获取到指定路段的当前时刻的视觉特征。
S102、基于当前时刻以及当前时刻之前连续的多个历史时刻、指定路段上的车辆的轨迹速度，挖掘指定路段的当前时刻以及各历史时刻的轨迹速度特征；
在本实施例的场景中，各时刻指定路段上的车辆的轨迹速度可以在车辆的用户的授权的前提下，获取到车辆的轨迹速度。
需要说明的是，各时刻指定路段上的车辆的数量不做限定，可以为一辆、两辆或者多辆。本实施例中，当某时刻指定路段上的车辆数量多于一辆时，此处需要获取该时刻该指定路段上每一辆车辆的轨迹速度。
另外，若某个时刻，某个指定路段上没有车辆，此时可以按照一定的预设规则进行处理，如配置该指定路段该时刻的轨迹速度特征，可以为该指定路段上所有车辆速度达到限定的最大速度对应的特征。或者若当前时刻以及多个历史时刻中存在预设比例的时刻中该指定路段上均没有车辆，此时可以直接确定该指定路段下一时刻的路况为畅通。其中预设比例可以根据具体场景、具体经验来设置，如可以为10％、20％或者其他比例值。
S103、基于指定路段的当前时刻的视觉特征、当前时刻以及各历史时刻的轨迹速度特征，预测指定路段下一时刻的路况。
指定路段的当前时刻的视觉特征，可以在一定程度上表征当前时刻该指定路段的视觉上的路况特征信息。例如，街景图像中的车道数量越多，车辆数量越少，则挖掘的视觉特征可以倾向于表征通畅的路况特征。而街景图像中的车道数量越少，而车辆数量越多，则挖掘的视觉特征可能倾向于表征拥堵的路况特征。
当前时刻以及之前的多个连续历史时刻中各历史时刻的轨迹速度特征，可以从车辆行驶快慢的角度表征该指定路段在对应时刻上的路况特征信息。若某时刻的轨迹速度特征表征车辆行驶快，则挖掘的轨迹速度特征，可以倾向于表征通畅的路况特征。若某时刻的轨迹速度特征表征车辆行驶慢，则挖掘的轨迹速度特征，可以倾向于表征拥堵的路况特征。
本实施例中，结合指定路段的当前时刻的视觉特征、以及当前时刻和各历史时刻的轨迹速度特征，综合分析并预测指定路段下一时刻的路况，能够提高指定路段下一时刻路况预测的准确性。
本实施例的路况预测方法，通过挖掘的指定路段的当前时刻的视觉特征、和当前时刻以及各历史时刻的轨迹速度特征，一起预测指定路段下一时刻的路况，能够有效地提高指定路段下一时刻的路况预测的准确性。
图2是根据本公开第二实施例的示意图；本实施例的路况预测方法，在上述图1所示实施例的技术方案的基础上，进一步更加详细地描述本申请的技术方案。如图2所示，本实施例的路况预测方法，具体可以包括如下步骤：
S201、基于指定路段的当前时刻的街景图像，挖掘指定路段的当前时刻的车辆数量、可见路面的像素宽度和高度、道路空置率、车辆密度比以及车路比中的至少一个特征，作为指定路段的当前时刻的视觉特征；
由于交通拥堵通常发生在车辆数量较多的路段，所以，本实施例中将车辆数量作为一个视觉特征。其次，考虑到10辆汽车在2车道或8车道的路段上行驶，导致交通路况截然不同。所以，路面的物理特征如街景图像中可见路面的像素宽度和高度，在路况预测中也非常重要。例如，路面又宽又高，则在一定程度上可以表征路面车道数量较多，路面又直；相对于又窄又矮的路面，路况特征更好，拥堵概率更小。再者，道路空置率、车辆密度比以及车路比也都能够从一定程度上表征路况特征信息。具体地，可以采用如下公式分别表示道路空置率Rroad、车辆密度比Robj以及车路比R：
Rroad＝Aroad/Atri
Robj＝Aobj/Atri
R＝Aobj/Aroad
其中，Aroad和Aobj分别表示可见路面和车辆的像素点面积；Atri表示可见路面分割掩模的最小外接三角形的可见像素面积。
例如，在本公开的一个实施例中，可以采用如下步骤实现挖掘指定路段的当前时刻的车辆数量、可见路面的像素宽度和高度、道路空置率、车辆密度比以及车路比中的至少一个特征：
(1)采用预先训练的检测模型，对街景图像进行检测，获取指定路段的当前时刻的车辆数量；和/或
(2)采用预先训练的分割模型，对街景图像中的街景元素进行分割；并基于分割结果，获取指定路段的当前时刻的可见路面的像素宽度和高度、道路空置率、车辆密度比以及车路比中的至少一个特征。
例如，本实施例的检测模型可以采用YOLO-V3模型，用于检测当前路段当前时刻的街景图像中的车辆数量。
本实施例的分割模型可以采用高分辨率网络(High-Resoultion Net；HRNet)模型，能够对当前时刻指定路段的街景图像中的街景元素进行分割，例如可以将街景图像中的车辆、路面、天空、道路旁的建筑等等街景元素进行语义分割。以便于进一步基于分割结果，获取指定路段的当前时刻的可见路面的像素宽度和高度、道路空置率、车辆密度比以及车路比中的至少一个特征。使用时，将挖掘到的上述至少一个特征连接起来，作为指定路段的当前时刻的视觉特征。采用上述方法，可以准确地获取到指定路段的当前时刻的视觉特征，有效地提高后续基于该视觉特征进行路况预测的准确性。
在本公开的一个实施例中，若时刻的粒度足够大，如一分钟，此时可以在当前时刻内每隔5s、10s或者其他时间间隔获取一帧街景图像。这样指定路段的当前时刻的街景图像的数量可以包括多帧。此时，可以按照上述步骤(1)和(2)的方式，获取每一帧街景图像中的车辆数量、可见路面的像素宽度和高度、道路空置率、车辆密度比以及车路比中的至少一个特征。然后进一步地，基于各帧街景图像对应的指定路段的当前时刻的车辆数量、可见路面的像素宽度和高度、道路空置率、车辆密度比以及车路比中的至少一个特征，获取至少一个特征中各特征的均值和/或方差。使用时，将各帧图像的至少一个特征、以及各帧图像的至少一个特征中各特征的均值和/或方差，一起连接起来，作为指定路段的当前时刻的视觉特征，进一步丰富了视觉特征的内容，进而可以进一步提高路况预测的准确性。
例如，图3是本公开实施例提供的一种街景图像示意图。图4是本公开实施例提供的另一种街景图像示意图。图5是本公开实施例提供的再一种街景图像示意图。如图3、图4和图5所示，每一幅图的左侧图像为某个路段在某个时刻的原始街景图像，右侧为采用本实施例的上述方式，分割模型对左侧的原始街景图像分割后的街景图像示意图。本实施例中以路况包括通畅、行驶缓慢和拥堵为例，图3所示的街景图像对应路况为通畅。图4所示的街景图像对应路况为行驶缓慢。图5所示的街景图像对应路况为拥堵。
为了便于展示，图3、图4和图5中的右侧图像仅标识了分割的道路上的车辆、以及可见路面分割掩模的最小外接三角形，如图中白线所示的最小外接三角形。但是如图3和图5所示，由于街景图像采集角度的问题，街景图像中所示的该最小外接三角形可能缺角，此时在计算道路空置率Rroad、车辆密度比Robj以及车路比R时，都是以可见路面分割掩模的最小外接三角形的可见像素面积Atri为准，即不是完整的最小外接三角形的面积，而是实际场景中缺了角的最小外接三角形的面积。图3、图4和图5中的右侧图像可以在一定程度上展示视觉特征的可视化效果。
上述步骤S201为上述图1所示实施例的步骤S101的一种实现方式。实际应用中，也可以采用一定的算法，实现挖掘指定路段的当前时刻的上述至少一个特征中各特征，以得到对应的视觉特征，在此不再举例赘述。
S202、基于当前时刻以及当前时刻之前连续的多个历史时刻、指定路段上的车辆的轨迹速度，获取指定路段的当前时刻以及各历史时刻的车辆的平均速度、最大速度或者中位数速度，作为对应的各时刻的轨迹速度特征；
也就是说，本实施例中，对于每个时刻，以该时刻指定路段上所有车辆的平均速度、最大速度或者中位数速度作为该时刻的轨迹速度特征。该时刻以及连续多个历史时刻中各时刻的轨迹速度特征，可以整体表征指定路段的路况。
本实施例中，在各时刻中，无论采用车辆的平均速度、最大速度或者中位数速度，均能够准确地表征该时刻的轨迹速度特征，进而可以有效地提高下一时刻的轨迹速度特征的预测的准确性。
S203、基于指定路段的当前时刻以及各历史时刻的轨迹速度特征，预测指定路段的下一时刻的轨迹速度特征；
S204、基于指定路段的当前时刻的视觉特征和下一时刻的轨迹速度特征，预测指定路段的下一时刻的路况。
本实施例中，可以采用一定的算法根据指定路段的当前时刻以及各历史时刻的轨迹速度特征，预测指定路段的下一时刻的轨迹速度特征。并综合分析指定路段的当前时刻的视觉特征和下一时刻的轨迹速度特征，预测指定路段的下一时刻的路况。
步骤S203-S204为上述图1所示实施例的步骤S103的一种实现方式。
在本公开的一个实施例中，也可以采用路况预测模型来实现步骤S203和步骤S204。
例如，该路况预测模型可以包括有轨迹预测模块，实现步骤S203中指定路段的下一时刻的轨迹速度特征的预测。具体地，可以基于指定路段的当前时刻以及各历史时刻的轨迹速度特征，采用预先训练的路况预测模型中的轨迹预测模块，预测指定路段的下一时刻的轨迹速度特征，不仅能够有效地提高下一时刻的轨迹速度特征的预测的准确性，同时还能够提高下一时刻的轨迹速度特征的预测的智能性。
使用时，将指定路段的当前时刻以及各历史时刻的轨迹速度特征，输入至该轨迹预测模块，该轨迹预测模块可以预测并输出指定路段的下一时刻的路况。该轨迹预测模块可以为一个基于速度预测任务，并以回归的学习策略建模的神经网络模型。
参考上述记载，可以得知指定路段的当前时刻以及各历史时刻的轨迹速度特征为指定路段的对应时刻的车辆的平均速度、最大速度或者中位数速度，也就是说输入至轨迹预测模块为各时刻对应的具体的速度值。但是，该轨迹预测模块预测的该指定路段的下一时刻的轨迹速度特征并不是一个具体地速度值，而是一个向量形式的速度值的特征表达，以便于步骤S204使用。
可以理解为在轨迹预测模块之后加一层全连接层，可以得到一个速度预测模型，向该速度预测模型中输入指定路段的当前时刻以及各历史时刻的轨迹速度特征为指定路段的对应时刻的车辆的平均速度、最大速度或者中位数速度，该速度预测模型可以预测并输出该指定路段的下一时刻的车辆的平均速度、最大速度或者中位数速度，为一个具体的数值。而上述轨迹预测模块的输出，可以认为是速度预测模型中输入至全连接层的、表征下一时刻的速度的向量形式的特征表达。
进一步地，基于指定路段的当前时刻的视觉特征和下一时刻的轨迹速度特征，预测指定路段的下一时刻的路况，具体可以包括如下步骤：
(a1)将指定路段的当前时刻的视觉特征和下一时刻的轨迹速度特征进行融合，得到融合特征；
本实施例的融合可以直接将指定路段的当前时刻的视觉特征和下一时刻的轨迹速度特征拼接在一起，得到融合特征。例如，当前时刻的视觉特征是1*50维的向量，下一时刻的轨迹速度特征是1*100维的向量。直接拼接后，得到的融合特征的可以为1*150维的向量。
或者可选地，本实施例的路况预测模型中还可以包括融合模块。具体地，可以采用融合模块，将指定路段的当前时刻的视觉特征和下一时刻的轨迹速度特征进行融合，得到融合特征。该融合模块中的参数为路况预测模型预先训练时，学习到的。这样，即使指定路段的当前时刻的视觉特征和下一时刻的轨迹速度特征的维度不相同，也可以采用该融合模块有效地融合在一起。
本实施例的融合模块是具有可分离性数学特性的双因素模型，意味着当另一个因素保持不变时，它们的输出在任何一个因素上都是线性的。因此，融合模块也可以称为双线性模块。通过上述方式，指定路段的当前时刻的视觉特征和下一时刻的轨迹速度特征可以无缝分离和组合。具体实现时，融合过程可以表示为：
Figure BDA0003554356590000111
其中W是一个可学习的矩阵，其维度是C×K×Q。
Figure BDA0003554356590000112
可被认为是t时刻第i路段的一个K维的融合特征。
Figure BDA0003554356590000113
表示指定路段的当前时刻的视觉特征，
Figure BDA0003554356590000114
表示指定路段的下一时刻的轨迹速度特征。
本实施例中，无论采用上述哪种方式进行融合，都能够准确地获取到融合特征，进而可以准确地预测指定路段的下一时刻的路况。
(b1)基于融合特征，采用预先训练的路况预测模型中的路况预测模块，预测指定路段的下一时刻的路况。
本实施例的路况预测模型中还可以包括路况预测模块，该路况预测模块为一个分类器，使用时，将融合特征输入至该路况预测模块中，该路况预测模块可以预测并输出指定路段的下一时刻的路况。
需要说明的是，本实施例的路况预测模块可以为一个二分类的分类器，可以预测拥堵和不拥堵两种路况。或者该路况预测模块也可以为一个三分类的分类器，可以预测拥堵、缓慢行驶和畅通三种路况。或者该路况预测模块也可以为一个能够预测预先定义的不同程度路况的更多分类的分类器。该路况预测模模块预测的下一时刻的路况为预设的各个分类的路况的概率，可以选择一个概率最大的路况分类作为预测的下一时刻的路况。
针对于上述的轨迹预测模块，为了学习轨迹速度特征的时空一致性的表征，将其定义为一个速度预测任务并以回归的学习策略，对该任务进行建模。具体地，首先构建一个有向图结构G＝(L,ε)，其中L和ε分别表示道路路段和路段之间的边。li∈L表示第i个路段，εij∈ε表示连接第i个路段和第j个路段的边。令
Figure BDA0003554356590000121
表示轨迹速度特征，其中N表示路段数量，P表示轨迹数据的维度。
进一步，在t时刻，将在图G中观察到的轨迹数据定义为Dt。则轨迹速度特征学习的任务就是学习一个映射h(·)，它将历史轨迹速度特征
Figure BDA0003554356590000122
和图G作为输入来估计未来的轨迹速度特征，该过程可以表示为：
Figure BDA0003554356590000123
Figure BDA0003554356590000124
其中
Figure BDA0003554356590000125
和
Figure BDA0003554356590000126
分别表示学习到的轨迹速度特征以及预测的t时刻的轨迹速度。Th表示历史时刻的个数。h(·)和f(·)分别表示特征提取器和速度回归器的映射函数，ψ和φ是它们各自的可学习参数。
为了捕获轨迹特征的空间关系以及时序依赖，可以在轨迹预测模块内构建一个动态可训练的架构，它将图卷积网络(Graph Convolutional Network；GCN)，门控循环单元(Gated Recurrent Units；GRU)以及自注意力模块(Self-attention Module；SAM)集成到一个框架下，其中GCN用于建模非结构化的轨迹特征；GRU可充分利用轨迹特征的时序信息；SAM可学习隐空间点与点之间的关系权重。技术上实现时，GCN可被表示为：
Figure BDA0003554356590000127
其中σ表示激活函数，
Figure BDA0003554356590000128
表示t时刻的j路段的输入数据，
Figure BDA0003554356590000129
表示t时刻的i路段的输出数据。wj表示
Figure BDA00035543565900001210
中第j个元素的卷积核权重。Aij表示第i路段和第j路段的邻接权重。在数学上，Aij可被定义为：
Figure BDA00035543565900001211
为了充分利用时序依赖，受扩散卷积递归神经网络(Diffusion ConvolutionalRecurrent Neural Network；DCRNN)启发，引入GRU，过程如下：
Figure BDA0003554356590000131
Figure BDA0003554356590000132
Figure BDA0003554356590000133
Figure BDA0003554356590000134
其中
Figure BDA0003554356590000135
和
Figure BDA0003554356590000136
分别表示t时刻的第i路段的重置门和更新门。
Figure BDA0003554356590000137
表示t时刻的第j路段的输入数据。
Figure BDA0003554356590000138
表示t时刻的第i路段的输出数据。σ表示激活函数。
Figure BDA0003554356590000139
表示t-1时刻的第j路段的输出数据。
Figure BDA00035543565900001310
表示t-1时刻的第i路段的输出数据。
Figure BDA00035543565900001311
表示t时刻的第i路段的候选输出数据。
此外，SAM模块计算过程可以表示为如下：
Figure BDA00035543565900001312
Figure BDA00035543565900001313
其中T表示矩阵转置，
Figure BDA00035543565900001314
表示矩阵乘法。ConvBlock0和ConvBlock1是构成SAM模块的子模块，它们分别由两层卷积层构成。Fin表示SAM模块的输入特征，Fout表示SAM模块的输出特征。
本实施例中，路况预测模型中同时包括轨迹预测模块、融合模块和路况预测模块时，通过视觉特征编码，轨迹速度特征学习以及多源信息的融合构建一个多任务学习框架。借助图像的语义信息以解决轨迹所不能处理的一些困难场景如高架桥、平行路以及公交车道。最终缓解了纯轨迹算法的不稳定性以及噪声污染，提高了路况预测的准确性以及可解释性，极大地促进实时导航、路径规划等领域的发展和应用。
本实施例的路况预测方法，可以采用上述实施例的技术方案，实现对任一路段的下一时刻的路况进行准确地预测。在导航场景中，可以基于各路段下一时刻的路况，为用户提供更加准确地导航服务。在路径规划场景中，可以基于各路段下一时刻的路况，为用户进行更加合理、更加准确地路径规划。实际应用中，还可以基于预测的各路段的下一时刻的路况，提供更多地路况及交通服务，在此不再一一举例赘述。
本实施例的路况预测方法，通过将获取的指定路段的下一时刻的轨迹速度特征、以及指定路段的当前时刻的视觉特征进行融合，并基于得到的融合特征，预测指定路段的下一时刻的路况，能够有效地提高路况预测的准确性。而且，本实施例的技术方案，可以应用于基于纯轨迹信息路况预测的各种困难场景中，适用领域非常广泛，实用性非常强。
图6是根据本公开第三实施例的示意图；如图6所示，本实施例提供一种路况预测模型的训练方法，可以用于在路况预测模型的训练装置中，具体可以包括如下步骤：
S601、采集多条训练数据，各条训练数据包括训练路段的第t时刻的街景图像、第t时刻以及第t时刻之前连续的多个历史时刻训练路段上的车辆的训练轨迹速度、以及训练路段的第t+1时刻的真实轨迹速度和真实路况标签；
具体地，可以基于历史路况数据库中的数据，采集上述多条训练数据。采集的训练数据的条数越多越好，训练的路况预测模型的准确性越高。
与上述图1实施例的路况预测方法中的时刻粒度相同，可以为每分钟，或者也可以选择更大或者更小的粒度，在此不做限定。
S602、对于各训练数据，基于训练数据中的训练路段的第t时刻的街景图像，挖掘训练路段的第t时刻的视觉特征；
具体地，对于各训练数据，对应地训练路段的第t时刻的视觉特征的挖掘过程，与上述图1所示实施例的步骤S101的实现原理相同，详细可以参考上述实施例的相关记载，在此不再赘述。
S603、对于各训练数据，基于第t时刻以及第t时刻之前连续的多个历史时刻、训练路段上的车辆的训练轨迹速度，挖掘训练路段的第t时刻以及各历史时刻的训练轨迹速度特征；
具体地，对于各训练数据，对应地各时刻的训练轨迹速度特征的挖掘过程，与上述图1所示实施例的步骤S102的实现原理相同，详细可以参考上述实施例的相关记载，在此不再赘述。
S604、采用各训练数据对应的训练路段的第t时刻的视觉特征、训练路段的第t时刻以及各历史时刻的训练轨迹速度特征、以及训练路段的第t+1时刻的真实轨迹速度和真实路况标签，对路况预测模型进行训练。
本实施例中，对于采用各条训练数据训练路况预测模型时，需要采用该训练数据计算的上述步骤S602得到的对应的训练路段的第t时刻的视觉特征、上述步骤S603得到的对应的训练路段的第t时刻以及各历史时刻的训练轨迹速度特征、以及训练数据中标注的该训练路段的第t+1时刻的真实轨迹速度和真实路况标签，一起对该路况预测模型进行训练。
本实施例的路况预测模型的训练方法，可以基于各训练数据对应的训练路段的第t时刻的视觉特征、训练路段的第t时刻以及各历史时刻的训练轨迹速度特征、以及训练路段的第t+1时刻的真实轨迹速度和真实路况标签，对路况预测模型进行训练，能够有效地提高训练的路况预测模型的准确性，进而能够有效地提高路况预测的准确性。
图7是根据本公开第四实施例的示意图；本实施例提供一种路况预测模型的训练方法，在上述图6所示实施例的技术方案的基础上，进一步更加详细地介绍本公开的技术方案。如图7所示，本实施例的路况预测模型的训练方法，具体可以包括如下步骤：
S701、采集多条训练数据，各条训练数据包括训练路段的第t时刻的街景图像、第t时刻以及第t时刻之前连续的多个历史时刻训练路段上的车辆的训练轨迹速度、以及训练路段的第t+1时刻的真实轨迹速度和真实路况标签；
S702、从多条训练数据中选择参与训练的一条训练数据；
本实施例中以每轮训练中选择一条训练数据参与训练为例，实际应用中，每轮训练中也可以选择N条训练数据同时参与训练，N为大于1的正整数。
S703、对于训练数据，基于训练数据中的训练路段的第t时刻的街景图像，挖掘训练路段的第t时刻的车辆数量、可见路面的像素宽度和高度、道路空置率、车辆密度比以及车路比中的至少一个特征，作为该训练数据对应的训练路段的第t时刻的视觉特征；
该步骤的训练数据，即为上述步骤S702选择的参与本轮训练的训练数据。
该步骤为上述图6所示实施例的步骤S602的一种具体实现方式。该步骤中，对于每一条训练数据对应的训练路段的第t时刻的视觉特征的挖掘过程，与上述图2所示实施例的步骤S201的实现原理相同，详细可以参考上述实施例的相关记载，在此不再赘述。
S704、对于训练数据，基于第t时刻以及第t时刻之前连续的多个历史时刻、训练路段上的车辆的训练轨迹速度，获取该训练路段的第t时刻以及各历史时刻的车辆的平均速度、最大速度或者中位数速度，作为对应的各时刻的训练轨迹速度特征；
同理，该步骤的训练数据，即为上述步骤S702选择的参与本轮训练的训练数据。
该步骤为上述图6所示实施例的步骤S603的一种具体实现方式。该步骤中，对于每一条训练数据对应的训练路段的各时刻的训练轨迹速度特征的获取过程，与上述图2所示实施例的步骤S202的实现原理相同，详细可以参考上述实施例的相关记载，在此不再赘述。
S705、对于训练数据，基于训练数据对应的训练路段的第t时刻的视觉特征、训练路段的第t时刻以及各历史时刻的训练轨迹速度特征，采用路况预测模型预测训练路段的第t+1时刻的预测路况标签的预测概率；
需要说明的是，该路况预测模型预测的训练路段的第t+1时刻的预测路况标签的预测概率，可以包括在预设的各种路况分类上的概率。如预设路况分类包括有三种分类，则每一种分类都可能是预测路况标签，都对应一个预测概率。
S706、对于训练数据，根据训练数据对应的训练路段的第t时刻以及各历史时刻的训练轨迹速度特征，基于轨迹预测模块，预测训练路段的第t+1时刻的预测轨迹速度；
S707、对于训练数据，基于训练路段的第t+1时刻的预测路况标签的预测概率、预测轨迹速度、以及第t+1时刻的真实轨迹速度和真实路况标签，构建损失函数；
例如，本实施例中构建的各训练数据对应的损失函数可以表示为：
Figure BDA0003554356590000161
该损失函数的左侧为交叉熵损失函数，是路况分类的目标函数，右侧为L1损失函数，是速度回归的目标函数。其中y(m)和
Figure BDA0003554356590000162
分别表示对应的训练路段的第t+1时刻的真实路况标签和预测路况标签为第m类路况标签的概率。其中真实路况标签只有其中一种分类上的概率为1，其他M-1种分类概率为0。D和
Figure BDA0003554356590000171
分别表示对应的训练路段的第t+1时刻的真实轨迹速度和预测轨迹速度。其中，M表示路况预测模型预测的路况标签的分类数量，λcls和λreg用于控制上述二者之间的权重。
S708、检测损失函数是否收敛；若损失函数不收敛，执行步骤S709；若收敛，执行步骤S710；
S709、调整路况预测模型的参数；返回步骤S702，选择参与训练的训练数据，继续进行训练。
S710、检测是否满足训练终止条件；若满足，训练终止，确定路况预测模型的参数，进而确定路况预测模型；若不满足，返回步骤S702，选择参与训练的训练数据，继续进行训练。
本实施例的训练终止条件可以为在连续预设轮数的训练中，损失函数始终收敛。该连续预设轮数可以为连续50轮、80轮、100轮或者其他次数轮。或者本实施例的训练终止条件还可以为训练次数达到预设次数阈值，具体地，可以基于经验设置一个预设次数阈值，如100万，200万或者其他次数值，在训练次数达到该预设次数阈值时，可以认为路况预测模型训练好了，可以终止训练。
下面以路况预测模型的架构中包括轨迹预测模块、融合特征以及路况预测模块为例，此时对应的步骤S705具体可以包括：
(a2)对于各训练数据，基于训练数据对应的训练路段的第t时刻以及各历史时刻的训练轨迹速度特征，采用路况预测模型中的轨迹预测模块预测的训练路段的第t+1时刻的轨迹速度特征；
(b2)采用路况预测模型中的融合模块，将训练数据对应的训练路段的第t时刻的视觉特征和第t+1时刻的轨迹速度特征融合，得到训练融合特征；
(c2)基于训练融合特征，采用路况预测模型中的路况预测模块预测训练路段的第t+1时刻的预测路况标签的预测概率。
该步骤(a2)、(b2)和(c2)与上述图2所示实施例的步骤S204中路况预测模型包括轨迹预测模块、融合模块以及路况预测模块实现路况预测的实现原理完全相同，详细可以参考上述实施例的相关记载，在此不再赘述。
本实施例的融合模块可以对应上述图2所示实施例中融合过程中的可学习矩阵W。
对于步骤S706，具体实现时，可以包括：在轨迹预测模块后串接全连接层，构建速度预测模型；对于各训练数据，根据训练数据对应的训练路段的第t时刻以及各历史时刻的训练轨迹速度特征，采用速度预测模型预测训练路段的第t+1时刻的预测轨迹速度。
详细地，可以参考上述图2所示实施例的相关记载，该速度预测模型库可以为轨迹预测模块加全连接层。轨迹预测模块输出的是下一时刻的轨迹速度特征，输入至全连接层之后，该全连接层可以将该轨迹速度特征，转换为预测的训练路段的第t+1时刻的预测轨迹速度。
若路况预测模型的架构中包括轨迹预测模块、融合模块以及路况预测模块时，步骤S709调整路况预测模型的参数，即对应调整轨迹预测模块、融合特征以及路况预测模块的参数。每轮训练中可以仅调节其中的一个或者两个模块的参数，也可以三个模块的参数同时调整。可选地，本实施例的路况预测模型中也可以不包括融合模块，此时融合矩阵可以直接基于经验来配置。此时模型训练过程中，调整路况预测模型的参数，即对应调整轨迹预测模块和路况预测模块的参数。
本实施例的路况预测模型的训练方法，对于各训练数据，基于训练路段的第t+1时刻的预测路况标签、预测轨迹速度、以及第t+1时刻的真实轨迹速度和真实路况标签，对包括轨迹预测模块、融合模块以及路况预测模块的路况预测模型进行训练，能够有效地提高训练的路况预测模型的准确性，进而能够有效地提高路况预测的准确性。
图8是根据本公开第五实施例的示意图；如图8所示，本实施例提供一种路况预测装置800，包括：
视觉特征挖掘模块801，用于基于指定路段的当前时刻的街景图像，挖掘指定路段的当前时刻的视觉特征；
轨迹特征挖掘模块802，用于基于当前时刻以及当前时刻之前连续的多个历史时刻、指定路段上的车辆的轨迹速度，挖掘指定路段的当前时刻以及各历史时刻的轨迹速度特征；
预测模块803，用于基于指定路段的当前时刻的视觉特征、当前时刻以及各历史时刻的轨迹速度特征，预测指定路段下一时刻的路况。
本实施例的路况预测装置800，采用上述模块实现路况预测的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
图9是根据本公开第六实施例的示意图；如图9所示，本实施例提供一种路况预测装置900，包括图8所示的同名同功能模块：视觉特征挖掘模块901、轨迹特征挖掘模块902和预测模块903。
在本实施例中，视觉特征挖掘模块901，用于：
基于指定路段的当前时刻的街景图像，挖掘指定路段的当前时刻的车辆数量、可见路面的像素宽度和高度、道路空置率、车辆密度比以及车路比中的至少一个特征。
在本公开的一个实施例中，视觉特征挖掘模块901，用于：
采用预先训练的检测模型，对街景图像进行检测，获取指定路段的当前时刻的车辆数量；和/或
采用预先训练的分割模型，对街景图像中的街景元素进行分割；并基于分割结果，获取指定路段的当前时刻的可见路面的像素宽度和高度、道路空置率、车辆密度比以及车路比中的至少一个。
在本公开的一个实施例中，视觉特征挖掘模块901，还用于：
若指定路段的当前时刻的街景图像包括多帧时，基于各帧街景图像对应的指定路段的当前时刻的车辆数量、可见路面的像素宽度和高度、道路空置率、车辆密度比以及车路比中的至少一个特征，获取至少一个特征中各特征的均值和/或方差。
在本公开的一个实施例中，轨迹特征挖掘模块902，用于：
基于当前时刻以及当前时刻之前连续的多个历史时刻、指定路段上的车辆的轨迹速度，获取指定路段的当前时刻以及各历史时刻的车辆的平均速度、最大速度或者中位数速度。
在本公开的一个实施例中，预测模块903，包括：
速度特征预测单元9031，用于基于指定路段的当前时刻以及各历史时刻的轨迹速度特征，预测指定路段的下一时刻的轨迹速度特征；
路况预测单元9032，用于基于指定路段的当前时刻的视觉特征和下一时刻的轨迹速度特征，预测指定路段的下一时刻的路况。
在本公开的一个实施例中，速度特征预测单元9031，用于：
基于指定路段的当前时刻以及各历史时刻的轨迹速度特征，采用预先训练的路况预测模型中的轨迹预测模块，预测指定路段的下一时刻的轨迹速度特征。
在本公开的一个实施例中，路况预测单元9032，用于：
将指定路段的当前时刻的视觉特征和下一时刻的轨迹速度特征进行融合，得到融合特征；
基于融合特征，采用预先训练的路况预测模型中的路况预测模块，预测指定路段的下一时刻的路况。
在本公开的一个实施例中，路况预测单元9032，用于：
采用预先训练的路况预测模型中的融合模块，将指定路段的当前时刻的视觉特征和下一时刻的轨迹速度特征进行融合，得到融合特征。
本实施例的路况预测装置900，采用上述模块实现路况预测的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
图10是根据本公开第七实施例的示意图；如图10所示，本实施例提供一种路况预测模型的训练装置1000，包括：
采集模块1001，用于采集多条训练数据，各条训练数据包括训练路段的第t时刻的街景图像、第t时刻以及第t时刻之前连续的多个历史时刻训练路段上的车辆的训练轨迹速度、以及训练路段的第t+1时刻的真实轨迹速度和真实路况标签；
视觉特征挖掘模块1002，用于对于各训练数据，基于训练数据中的训练路段的第t时刻的街景图像，挖掘训练路段的第t时刻的视觉特征；
轨迹特征挖掘模块1003，用于对于各训练数据，基于第t时刻以及第t时刻之前连续的多个历史时刻、训练路段上的车辆的训练轨迹速度，挖掘训练路段的第t时刻以及各历史时刻的训练轨迹速度特征；
训练模块1004，用于采用各训练数据对应的训练路段的第t时刻的视觉特征、训练路段的第t时刻以及各历史时刻的训练轨迹速度特征、以及训练路段的第t+1时刻的真实轨迹速度和真实路况标签，对路况预测模型进行训练。
本实施例的路况预测模型的训练装置1000，采用上述模块实现路况预测模型的训练的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
图11是根据本公开第八实施例的示意图；如图11所示，本实施例提供一种路况预测模型的训练装置1100，包括图10所示的同名同功能模块：采集模块1101、视觉特征挖掘模块1102、轨迹特征挖掘模块1103、训练模块1104。
在本实施例中，训练模块1104，包括：
路况预测单元11041，用于对于各训练数据，基于训练数据对应的训练路段的第t时刻的视觉特征、训练路段的第t时刻以及各历史时刻的训练轨迹速度特征，采用路况预测模型预测训练路段的第t+1时刻的预测路况标签的预测概率；
轨迹速度预测单元11042，用于对于各训练数据，根据训练数据对应的训练路段的第t时刻以及各历史时刻的训练轨迹速度特征，基于轨迹预测模块，预测训练路段的第t+1时刻的预测轨迹速度；
构建单元11043，用于基于训练路段的第t+1时刻的预测路况标签的预测概率、预测轨迹速度、以及第t+1时刻的真实轨迹速度和真实路况标签，构建损失函数；
调整单元11044，用于若损失函数不收敛，调整路况预测模型的参数。
在本公开的一个实施例中，路况预测单元11041，用于：
对于各训练数据，基于训练数据对应的训练路段的第t时刻以及各历史时刻的训练轨迹速度特征，采用路况预测模型中的轨迹预测模块预测的训练路段的第t+1时刻的轨迹速度特征；
采用路况预测模型中的融合模块，将训练数据对应的训练路段的第t时刻的视觉特征和第t+1时刻的轨迹速度特征融合，得到训练融合特征；
基于训练融合特征，采用路况预测模型中的路况预测模块预测训练路段的第t+1时刻的预测路况标签的预测概率。
在本公开的一个实施例中，轨迹速度预测单元11042，用于：
在轨迹预测模块后串接全连接层，构建速度预测模型；
对于各训练数据，根据训练数据对应的训练路段的第t时刻以及各历史时刻的训练轨迹速度特征，采用速度预测模型预测训练路段的第t+1时刻的预测轨迹速度。
本实施例的路况预测模型的训练装置1100，采用上述模块实现路况预测模型的训练的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
本公开的技术方案中，所涉及的车辆的轨迹速度的获取，存储和应用等，是在车辆用户的授权前提下进行的，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如本公开的上述方法。例如，在一些实施例中，本公开的上述方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的本公开的上述方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开的上述方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (24)

1.一种路况预测方法，包括：
基于指定路段的当前时刻的街景图像，挖掘所述指定路段的所述当前时刻的视觉特征；
基于所述当前时刻以及所述当前时刻之前连续的多个历史时刻、所述指定路段上的车辆的轨迹速度，挖掘所述指定路段的所述当前时刻以及各所述历史时刻的轨迹速度特征；
基于所述指定路段的所述当前时刻的所述视觉特征、所述当前时刻以及各所述历史时刻的所述轨迹速度特征，预测所述指定路段下一时刻的路况；
基于所述指定路段的所述当前时刻的所述视觉特征、所述当前时刻以及各所述历史时刻的所述轨迹速度特征，预测所述指定路段下一时刻的路况，包括：
基于所述指定路段的所述当前时刻以及各所述历史时刻的所述轨迹速度特征，预测所述指定路段的下一时刻的轨迹速度特征；
基于所述指定路段的所述当前时刻的所述视觉特征和下一时刻的所述轨迹速度特征，预测所述指定路段的下一时刻的路况。
2.根据权利要求1所述的方法，其中，基于指定路段的当前时刻的街景图像，挖掘所述指定路段的所述当前时刻的视觉特征，包括：
基于所述指定路段的所述当前时刻的所述街景图像，挖掘所述指定路段的所述当前时刻的车辆数量、可见路面的像素宽度和高度、道路空置率、车辆密度比以及车路比中的至少一个特征。
3.根据权利要求2所述的方法，其中，基于所述指定路段的所述当前时刻的所述街景图像，挖掘所述指定路段的所述当前时刻的车辆数量、可见路面的像素宽度和高度、道路空置率、车辆密度比以及车路比中的至少一个特征，包括：
采用预先训练的检测模型，对所述街景图像进行检测，获取所述指定路段的所述当前时刻的车辆数量；和/或
采用预先训练的分割模型，对所述街景图像中的街景元素进行分割；并基于分割结果，获取所述指定路段的所述当前时刻的所述可见路面的像素宽度和高度、所述道路空置率、所述车辆密度比以及所述车路比中的至少一个。
4.根据权利要求2所述的方法，其中，基于指定路段的当前时刻的街景图像，挖掘所述指定路段的所述当前时刻的视觉特征，还包括：
若所述指定路段的所述当前时刻的所述街景图像包括多帧时，基于各帧所述街景图像对应的所述指定路段的所述当前时刻的所述车辆数量、所述可见路面的像素宽度和高度、所述道路空置率、所述车辆密度比以及所述车路比中的至少一个特征，获取所述至少一个特征中各特征的均值和/或方差。
5.根据权利要求1所述的方法，其中，基于所述当前时刻以及所述当前时刻之前连续的多个历史时刻、所述指定路段上的车辆的轨迹速度，挖掘所述指定路段的所述当前时刻以及各所述历史时刻的轨迹速度特征，包括：
基于所述当前时刻以及所述当前时刻之前连续的多个历史时刻、所述指定路段上的车辆的轨迹速度，获取所述指定路段的所述当前时刻以及各所述历史时刻的车辆的平均速度、最大速度或者中位数速度。
6.根据权利要求1所述的方法，其中，基于所述指定路段的所述当前时刻以及各所述历史时刻的所述轨迹速度特征，预测所述指定路段的下一时刻的轨迹速度特征，包括：
基于所述指定路段的所述当前时刻以及各所述历史时刻的所述轨迹速度特征，采用预先训练的路况预测模型中的轨迹预测模块，预测所述指定路段的下一时刻的轨迹速度特征。
7.根据权利要求1所述的方法，其中，基于所述指定路段的所述当前时刻的所述视觉特征和下一时刻的所述轨迹速度特征，预测所述指定路段的下一时刻的路况，包括：
将所述指定路段的所述当前时刻的所述视觉特征和下一时刻的所述轨迹速度特征进行融合，得到融合特征；
基于所述融合特征，采用预先训练的所述路况预测模型中的路况预测模块，预测所述指定路段的下一时刻的路况。
8.根据权利要求7所述的方法，其中，将所述指定路段的所述当前时刻的所述视觉特征和下一时刻的所述轨迹速度特征进行融合，得到融合特征，包括：
采用预先训练的所述路况预测模型中的融合模块，将所述指定路段的所述当前时刻的所述视觉特征和下一时刻的所述轨迹速度特征进行融合，得到所述融合特征。
9.一种路况预测模型的训练方法，包括：
采集多条训练数据，各条所述训练数据包括训练路段的第t时刻的街景图像、第t时刻以及第t时刻之前连续的多个历史时刻所述训练路段上的车辆的训练轨迹速度、以及所述训练路段的第t+1时刻的真实轨迹速度和真实路况标签；
对于各所述训练数据，基于所述训练数据中的所述训练路段的第t时刻的所述街景图像，挖掘所述训练路段的所述第t时刻的视觉特征；
对于各所述训练数据，基于所述第t时刻以及所述第t时刻之前连续的多个历史时刻、所述训练路段上的车辆的训练轨迹速度，挖掘所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征；
采用各所述训练数据对应的所述训练路段的所述第t时刻的视觉特征、所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征、以及所述训练路段的所述第t+1时刻的所述真实轨迹速度和所述真实路况标签，对所述路况预测模型进行训练；
采用各所述训练数据对应的所述训练路段的所述第t时刻的视觉特征、所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征、以及所述训练路段的所述第t+1时刻的所述真实轨迹速度和所述真实路况标签，对所述路况预测模型进行训练，包括：
对于各所述训练数据，基于所述训练数据对应的所述训练路段的所述第t时刻的视觉特征、所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征，采用所述路况预测模型预测所述训练路段的所述第t+1时刻的预测路况标签的预测概率；
对于各所述训练数据，基于所述训练数据对应的所述训练路段的所述第t时刻的视觉特征、所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征，采用所述路况预测模型，预测所述训练路段的所述第t+1时刻的预测路况标签的预测概率，包括：
对于各所述训练数据，基于所述训练数据对应的所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征，采用所述路况预测模型中的轨迹预测模块预测的所述训练路段的所述第t+1时刻的轨迹速度特征；
采用所述路况预测模型中的融合模块，将所述训练数据对应的所述训练路段的所述第t时刻的视觉特征和所述第t+1时刻的轨迹速度特征融合，得到训练融合特征；
基于所述训练融合特征，采用所述路况预测模型中的路况预测模块预测所述训练路段的所述第t+1时刻的所述预测路况标签的预测概率。
10.根据权利要求9所述的方法，其中，采用各所述训练数据对应的所述训练路段的所述第t时刻的视觉特征、所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征、以及所述训练路段的所述第t+1时刻的所述真实轨迹速度和所述真实路况标签，对所述路况预测模型进行训练，还包括：
对于各所述训练数据，根据所述训练数据对应的所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征，基于所述轨迹预测模块，预测所述训练路段的所述第t+1时刻的预测轨迹速度；
基于所述训练路段的所述第t+1时刻的所述预测路况标签的预测概率、所述预测轨迹速度、以及所述第t+1时刻的所述真实轨迹速度和所述真实路况标签，构建损失函数；
若所述损失函数不收敛，调整所述路况预测模型的参数。
11.根据权利要求10所述的方法，其中，对于各所述训练数据，根据所述训练数据对应的所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征，基于所述轨迹预测模块，预测所述训练路段的所述第t+1时刻的预测轨迹速度，包括：
在所述轨迹预测模块后串接全连接层，构建速度预测模型；
对于各所述训练数据，根据所述训练数据对应的所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征，采用所述速度预测模型预测所述训练路段的所述第t+1时刻的预测轨迹速度。
12.一种路况预测装置，包括：
视觉特征挖掘模块，用于基于指定路段的当前时刻的街景图像，挖掘所述指定路段的所述当前时刻的视觉特征；
轨迹特征挖掘模块，用于基于所述当前时刻以及所述当前时刻之前连续的多个历史时刻、所述指定路段上的车辆的轨迹速度，挖掘所述指定路段的所述当前时刻以及各所述历史时刻的轨迹速度特征；
预测模块，用于基于所述指定路段的所述当前时刻的所述视觉特征、所述当前时刻以及各所述历史时刻的所述轨迹速度特征，预测所述指定路段下一时刻的路况；
所述预测模块，包括：
速度特征预测单元，用于基于所述指定路段的所述当前时刻以及各所述历史时刻的所述轨迹速度特征，预测所述指定路段的下一时刻的轨迹速度特征；
路况预测单元，用于基于所述指定路段的所述当前时刻的所述视觉特征和下一时刻的所述轨迹速度特征，预测所述指定路段的下一时刻的路况。
13.根据权利要求12所述的装置，其中，所述视觉特征挖掘模块，用于：
基于所述指定路段的所述当前时刻的所述街景图像，挖掘所述指定路段的所述当前时刻的车辆数量、可见路面的像素宽度和高度、道路空置率、车辆密度比以及车路比中的至少一个特征。
14.根据权利要求13所述的装置，其中，所述视觉特征挖掘模块，用于：
采用预先训练的检测模型，对所述街景图像进行检测，获取所述指定路段的所述当前时刻的车辆数量；和/或
采用预先训练的分割模型，对所述街景图像中的街景元素进行分割；并基于分割结果，获取所述指定路段的所述当前时刻的所述可见路面的像素宽度和高度、所述道路空置率、所述车辆密度比以及所述车路比中的至少一个。
15.根据权利要求13所述的装置，其中，所述视觉特征挖掘模块，还用于：
若所述指定路段的所述当前时刻的所述街景图像包括多帧时，基于各帧所述街景图像对应的所述指定路段的所述当前时刻的所述车辆数量、所述可见路面的像素宽度和高度、所述道路空置率、所述车辆密度比以及所述车路比中的至少一个特征，获取所述至少一个特征中各特征的均值和/或方差。
16.根据权利要求12所述的装置，其中，所述轨迹特征挖掘模块，用于：
基于所述当前时刻以及所述当前时刻之前连续的多个历史时刻、所述指定路段上的车辆的轨迹速度，获取所述指定路段的所述当前时刻以及各所述历史时刻的车辆的平均速度、最大速度或者中位数速度。
17.根据权利要求12所述的装置，其中，所述速度特征预测单元，用于：
基于所述指定路段的所述当前时刻以及各所述历史时刻的所述轨迹速度特征，采用预先训练的路况预测模型中的轨迹预测模块，预测所述指定路段的下一时刻的轨迹速度特征。
18.根据权利要求12所述的装置，其中，所述路况预测单元，用于：
将所述指定路段的所述当前时刻的所述视觉特征和下一时刻的所述轨迹速度特征进行融合，得到融合特征；
基于所述融合特征，采用预先训练的所述路况预测模型中的路况预测模块，预测所述指定路段的下一时刻的路况。
19.根据权利要求18所述的装置，其中，所述路况预测单元，用于：
采用预先训练的所述路况预测模型中的融合模块，将所述指定路段的所述当前时刻的所述视觉特征和下一时刻的所述轨迹速度特征进行融合，得到所述融合特征。
20.一种路况预测模型的训练装置，包括：
采集模块，用于采集多条训练数据，各条所述训练数据包括训练路段的第t时刻的街景图像、第t时刻以及第t时刻之前连续的多个历史时刻所述训练路段上的车辆的训练轨迹速度、以及所述训练路段的第t+1时刻的真实轨迹速度和真实路况标签；
视觉特征挖掘模块，用于对于各所述训练数据，基于所述训练数据中的所述训练路段的第t时刻的所述街景图像，挖掘所述训练路段的所述第t时刻的视觉特征；
轨迹特征挖掘模块，用于对于各所述训练数据，基于所述第t时刻以及所述第t时刻之前连续的多个历史时刻、所述训练路段上的车辆的训练轨迹速度，挖掘所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征；
训练模块，用于采用各所述训练数据对应的所述训练路段的所述第t时刻的视觉特征、所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征、以及所述训练路段的所述第t+1时刻的所述真实轨迹速度和所述真实路况标签，对所述路况预测模型进行训练；
所述训练模块，包括：
路况预测单元，用于对于各所述训练数据，基于所述训练数据对应的所述训练路段的所述第t时刻的视觉特征、所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征，采用所述路况预测模型预测所述训练路段的所述第t+1时刻的预测路况标签的预测概率；
所述路况预测单元，用于：
对于各所述训练数据，基于所述训练数据对应的所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征，采用所述路况预测模型中的轨迹预测模块预测的所述训练路段的所述第t+1时刻的轨迹速度特征；
采用所述路况预测模型中的融合模块，将所述训练数据对应的所述训练路段的所述第t时刻的视觉特征和所述第t+1时刻的轨迹速度特征融合，得到训练融合特征；
基于所述训练融合特征，采用所述路况预测模型中的路况预测模块预测所述训练路段的所述第t+1时刻的所述预测路况标签的预测概率。
21.根据权利要求20所述的装置，其中，所述训练模块，还包括：
轨迹速度预测单元，用于对于各所述训练数据，根据所述训练数据对应的所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征，基于所述轨迹预测模块，预测所述训练路段的所述第t+1时刻的预测轨迹速度；
构建单元，用于基于所述训练路段的所述第t+1时刻的所述预测路况标签的预测概率、所述预测轨迹速度、以及所述第t+1时刻的所述真实轨迹速度和所述真实路况标签，构建损失函数；
调整单元，用于若所述损失函数不收敛，调整所述路况预测模型的参数。
22.根据权利要求21所述的装置，其中，所述轨迹速度预测单元，用于：
在所述轨迹预测模块后串接全连接层，构建速度预测模型；
对于各所述训练数据，根据所述训练数据对应的所述训练路段的所述第t时刻以及各所述历史时刻的训练轨迹速度特征，采用所述速度预测模型预测所述训练路段的所述第t+1时刻的预测轨迹速度。
23.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8或者9-11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8或者9-11中任一项所述的方法。
CN202210272684.5A 2022-03-18 2022-03-18 路况预测方法及相应的模型训练方法、装置、设备及介质 Active CN114742280B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210272684.5A CN114742280B (zh) 2022-03-18 2022-03-18 路况预测方法及相应的模型训练方法、装置、设备及介质
PCT/CN2022/104675 WO2023173633A1 (zh) 2022-03-18 2022-07-08 路况预测方法及相应的模型训练方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210272684.5A CN114742280B (zh) 2022-03-18 2022-03-18 路况预测方法及相应的模型训练方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114742280A CN114742280A (zh) 2022-07-12
CN114742280B true CN114742280B (zh) 2023-01-13

Family

ID=82277335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210272684.5A Active CN114742280B (zh) 2022-03-18 2022-03-18 路况预测方法及相应的模型训练方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN114742280B (zh)
WO (1) WO2023173633A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117787525B (zh) * 2024-02-23 2024-05-14 煤炭科学技术研究院有限公司 基于井下多个目标对象的轨迹预测方法和预警方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102267032B1 (ko) * 2018-10-10 2021-06-18 주식회사 케이티 교통 정보 예측 방법, 장치 및 컴퓨터 프로그램
CN111862590A (zh) * 2020-05-13 2020-10-30 北京嘀嘀无限科技发展有限公司 路况预测方法、装置及存储介质
CN111862591A (zh) * 2020-05-13 2020-10-30 北京嘀嘀无限科技发展有限公司 路况预测方法、装置及存储介质
CN114092751A (zh) * 2020-07-09 2022-02-25 北京图森未来科技有限公司 一种轨迹预测方法和装置
CN112560609B (zh) * 2020-12-03 2022-11-15 北京百度网讯科技有限公司 路况预估方法、建立路况预估模型的方法及对应装置
CN112669594B (zh) * 2020-12-11 2022-12-27 国汽(北京)智能网联汽车研究院有限公司 交通路况预测的方法、装置、设备及存储介质
CN112907958B (zh) * 2021-01-29 2022-01-25 北京百度网讯科技有限公司 路况信息确定方法、装置、电子设备以及可读介质
CN113066285B (zh) * 2021-03-15 2022-12-09 北京百度网讯科技有限公司 一种路况信息确定方法、装置、电子设备及存储介质
CN112700072B (zh) * 2021-03-24 2021-06-29 同盾控股有限公司 交通状况预测方法、电子设备和存储介质
CN112949946A (zh) * 2021-04-20 2021-06-11 智道网联科技(北京)有限公司 实时交通路况信息的预测方法、装置及电子设备
CN113449905A (zh) * 2021-05-21 2021-09-28 浙江工业大学 一种基于门控循环单元神经网络的交通拥堵预警方法

Also Published As

Publication number Publication date
CN114742280A (zh) 2022-07-12
WO2023173633A1 (zh) 2023-09-21

Similar Documents

Publication Publication Date Title
WO2021249071A1 (zh) 一种车道线的检测方法及相关设备
Guo et al. GPS-based citywide traffic congestion forecasting using CNN-RNN and C3D hybrid model
CN113264066B (zh) 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备
CN110766942B (zh) 一种基于卷积长短期记忆网络的交通路网拥堵预测方法
Zhao et al. TrajGAT: A map-embedded graph attention network for real-time vehicle trajectory imputation of roadside perception
Faro et al. Evaluation of the traffic parameters in a metropolitan area by fusing visual perceptions and CNN processing of webcam images
Bie et al. Real-time vehicle detection algorithm based on a lightweight You-Only-Look-Once (YOLOv5n-L) approach
CN114519932B (zh) 一种基于时空关系抽取的区域交通状况集成预测方法
CN111382686A (zh) 一种基于半监督生成对抗网络的车道线检测方法
EP3951741B1 (en) Method for acquiring traffic state, relevant apparatus, roadside device and cloud control platform
CN114170797B (zh) 交通限制路口的识别方法、装置、设备、介质及产品
CN114802303A (zh) 障碍物轨迹预测方法、装置、电子设备及存储介质
CN114360239A (zh) 一种多层时空交通知识图谱重建的交通预测方法及系统
CN114742280B (zh) 路况预测方法及相应的模型训练方法、装置、设备及介质
CN114715145A (zh) 一种轨迹预测方法、装置、设备及自动驾驶车辆
WO2022163003A1 (ja) モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム
Basalamah et al. Deep learning framework for congestion detection at public places via learning from synthetic data
Zheng et al. A deep learning–based approach for moving vehicle counting and short-term traffic prediction from video images
CN113569911A (zh) 车辆识别方法、装置、电子设备及存储介质
CN113850297B (zh) 道路数据的监测方法、装置、电子设备及存储介质
CN115687764A (zh) 车辆轨迹评估模型的训练方法、车辆轨迹评估方法和装置
CN114820690A (zh) 轨迹还原方法、装置和电子设备
CN113514053A (zh) 生成样本图像对的方法、装置和更新高精地图的方法
CN113505834A (zh) 训练检测模型、确定图像更新信息和更新高精地图的方法
Xu et al. Traffnet: Learning causality of traffic generation for road network digital twins

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant