CN110349405A - 利用联网汽车的实时交通监视 - Google Patents

利用联网汽车的实时交通监视 Download PDF

Info

Publication number
CN110349405A
CN110349405A CN201910268235.1A CN201910268235A CN110349405A CN 110349405 A CN110349405 A CN 110349405A CN 201910268235 A CN201910268235 A CN 201910268235A CN 110349405 A CN110349405 A CN 110349405A
Authority
CN
China
Prior art keywords
vehicle platform
vehicle
platform
kinetic characteristics
image collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910268235.1A
Other languages
English (en)
Other versions
CN110349405B (zh
Inventor
杨昊
郭睿
尾口健太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110349405A publication Critical patent/CN110349405A/zh
Application granted granted Critical
Publication of CN110349405B publication Critical patent/CN110349405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096827—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed onboard
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

本申请涉及利用联网汽车的实时交通监视。联网车辆包括：第一传感器，其捕获第一传感器数据以识别联网车辆的一个或多个动力学特性；和第二传感器，其具有指向外部环境的第一视角并且捕获反映未联网车辆和一个或多个路边基础设施的第二传感器数据。处理来自联网车辆的第二传感器数据，以识别未联网车辆和一个或多个路边基础设施，并确定未联网车辆的一个或多个动力学特性。基于联网车辆的确定的一个或多个动力学特性、未联网车辆的一个或多个动力学特性以及一个或多个路边基础设施生成动态道路地图。可以基于动态道路地图导航第一车辆平台、第二车辆平台和/或相对于第一车辆平台或第二车辆平台的另一个车辆平台。

Description

利用联网汽车的实时交通监视
技术领域
本公开涉及交通监视。在更具体的示例中，本公开涉及利用多个联网汽车的实时交通监视。
背景技术
随着道路上联网车辆(CV)越来越多以及路边无线通信设备的发展，利用CV实时监视交通状况变得可能。但是，CV的低渗透率 (penetration rate)以及安装和维护路边基础设施的高成本限制了它们的应用。例如，对于基于GPS的联网车辆系统，检测许多交通特征(诸如车辆队列长度、交叉路口延迟、路边施工等)是不合适的。它的低市场渗透率进一步阻止系统收集用于实时监视交通的综合交通信息。对于另一种基于路边无线通信设备的系统，高成本阻止了其大规模实现，并且未安装系统的地方(诸如高速公路段、不间断的干线廊道(arterial corridor)等)的交通状况不受监视。此外，还无法描述车辆的动力学特性，诸如在这个系统中的速度和加速度。包括用于拥塞估计的基于车辆间通信的交通链系统以及用于道路链路速度和拥塞估计的一些基于浮动汽车数据的系统的其它现有系统也面临低渗透率、以及捕获某些交通特征时准确度有限和容量有限的问题，因此也无法提供全面的交通状况实时监视。
发明内容
本公开中描述的主题通过提供用于识别未联网车辆(UnCV)和路边基础设施并基于由CV收集的信息确定其动力学特性和状态的新技术来克服现有解决方案的缺陷和限制。
根据本公开中描述的主题的一个创新方面，一种计算机实现的方法包括：确定第一车辆平台的当前地理位置；使用第一车辆平台的一个或多个传感器确定第一车辆平台的一个或多个第一车辆动力学特性；接收由与第一车辆平台相关联的一个或多个车辆平台传感器捕获的第一图像集合，第一图像集合与位于第一车辆平台附近的第二车辆平台相关；基于由第一车辆平台的一个或多个车辆平台传感器捕获的第一图像集合确定第二车辆平台的一个或多个第二动力学特性；以及，基于第一车辆平台的一个或多个动力学特性以及第二车辆平台的一个或多个第二动力学特性生成动态道路地图；以及，基于动态道路地图，导航第一车辆平台、第二车辆平台和相对于第一车辆平台或第二车辆平台的另一个车辆平台中的一个或多个。
一般而言，本公开中描述的主题的另一个创新方面可以在包括一个或多个处理器的系统中实施，该一个或多个处理器包括可执行以执行操作的逻辑，这些操作包括：确定第一车辆平台的当前地理位置；使用第一车辆平台的一个或多个传感器确定第一车辆平台的一个或多个第一车辆动力学特性；接收由与第一车辆平台相关联的一个或多个车辆平台传感器捕获的第一图像集合，第一图像集合与位于第一车辆平台附近的第二车辆平台相关；基于由第一车辆平台的一个或多个车辆平台传感器捕获的第一图像集合确定第二车辆平台的一个或多个第二动力学特性；以及，基于第一车辆平台的一个或多个动力学特性以及第二车辆平台的一个或多个第二动力学特性生成动态道路地图。
这些实施方式和其它实施方式可以各自可选地包括以下特征中的一个或多个：接收由与第三车辆平台相关联的一个或多个车辆平台传感器捕获的第二图像集合，第二图像集合与第二车辆平台相关；基于从第一车辆平台捕获的第一图像集合与从第三车辆平台捕获的第二图像集合的比较来确定第二车辆平台的身份；基于从第一车辆平台捕获的第一图像集合确定第二车辆平台的一个或多个动力学特性包括检测从第一车辆平台捕获的第一图像集合中的第一物体并且确定第一图像集合中的第一物体是驾驶相关的并且通过确定第一物体的一个或多个动力学特性来确定第二车辆平台的一个或多个动力学特性；基于从第一车辆平台捕获的第一图像集合确定第二车辆平台的一个或多个动力学特性包括基于从第一车辆平台捕获的第一图像集合确定与第一车辆平台相关的第二车辆平台的相对纬度信息和经度信息并且基于与第一车辆平台相关的第二车辆平台的相对纬度信息和经度信息及第一车辆平台的一个或多个动力学特性来确定第二车辆平台的一个或多个动力学特性；基于第一车辆平台的一个或多个动力学特性以及第二车辆平台的一个或多个动力学特性生成动态道路地图包括确定基于道路链路的交通信息，基于道路链路的交通信息包括道路链路平均速度、道路链路平均密度、道路链路行驶时间、道路链路平均延迟及道路链路交叉路口平均延迟中的一个或多个，并且确定基于车道的交通信息，基于车道的交通信息包括车道平均速度、车道平均密度、车道平均延迟、车道行驶时间、车道平均延迟及车道交叉路口平均延迟中的一个或多个，并且将基于道路链路的交通信息和基于车道的交通信息集成到静态道路地图中，以生成动态道路地图；第一车辆平台是配备有用于无线数据通信的网络接入的联网车辆平台，并且第二车辆平台是没有网络接入的未联网车辆平台；生成动态道路地图包括确定一个或多个联网车辆平台的一个或多个动力学特性，并基于由一个或多个联网车辆平台中的一个或多个的一个或多个车辆平台传感器捕获的一个或多个图像确定一个或多个未联网车辆平台的一个或多个动力学特性，并基于一个或多个联网车辆平台的一个或多个动力学特性和未联网车辆平台中的一个或多个的一个或多个动力学特性生成动态道路地图；由与第一车辆平台相关联的一个或多个车辆平台传感器捕获的第一图像集合包括由与第一车辆平台相关联的一个或多个车辆平台传感器中的一个车辆平台传感器在时间窗口中捕获的第二车辆平台的一系列图像；基于由第一车辆平台的一个或多个车辆平台传感器捕获的第一图像集合确定一个或多个路边基础设施信息；基于一个或多个路边基础设施信息生成动态道路地图；将动态道路地图集成到车辆平台导航、路径规划和交通控制的一个或多个实现中；确定第三车辆平台的一个或多个动力学特性；基于第三车辆平台的一个或多个动力学特性和所生成的动态道路地图，为第三车辆平台生成一个或多个指令；根据一个或多个指令控制第三车辆平台的一个或多个致动器，以导航第三车辆平台；识别来自与移动平台相关联的一个设备的对路线计划的请求；基于动态道路地图识别一条或多条候选路线的车道级交通状况；基于该一条或多条候选路线的车道级交通状况确定最佳路线；基于动态道路地图的信息生成一个或多个警报；以及将一个或多个警报发送给相应方以引起他们的注意。
这些方面和其它方面中的一个或多个方面的其它实现包括被配置为执行在非瞬态计算机存储设备上编码的方法的动作的对应的系统、装置和计算机程序。
在本公开中呈现的用于基于由CV收集的信息识别UnCV和路边基础设施并确定其动力学特性和状况的新技术在多个方面特别有利。例如，本文描述的技术能够不仅基于CV的动力学特性，而且还基于 UnCV的动力学特性来生成动态道路地图，这克服了在其它现有系统中CV经历的低渗透率的限制。这大大增加了所公开系统可以监视的车辆的覆盖范围，从而提高该系统在实时交通监视中的准确性和可靠性。对于另一个示例，本技术可以以可分布的方式部署，并且因此适于在车辆网络的各个协作车辆中实现。因而，可以避免安装和维护路边基础设施的高成本。此外，本文描述的技术可以容易地集成到许多现有应用中，例如交通控制、路径规划、车辆导航等。
进一步的非限制性优点和益处包括基于从由不同CV捕获的不同图像识别出的物体的比较来识别未联网车辆所涉及的关联处理。这可以大大提高对UnCV的识别的可靠性和准确性。
应当理解的是，前述优点是作为示例提供的，并且该技术可以具有许多其它优点和益处。
在附图的图中通过示例而不是限制的方式示出本公开，在附图中相似的附图标记用于指代相似的元件。
附图说明
图1是用于联网汽车的实时交通监视的示例系统的框图。
图2A是示例多视点观察应用的框图。
图2B是示例地图应用的框图。
图3是用于生成动态道路地图的示例方法的流程图。
图4示出了具有两个联网车辆和一个未联网车辆的示例性路段。
图5A是用于学习检测到的物体的紧凑表示并关联来自多个车辆的物体的示例方法的流程图。
图5B示出了具有由两个联网车辆相关联的多个未联网车辆的示例场景。
图6示出了用于跟踪联网车辆和未联网车辆的示例场景。
图7是用于确定未联网车辆的动力学特性的示例方法的流程图。
图8A是用于估计交通状况的示例方法的流程图。
图8B是用于确定未联网车辆的交通车道的示例场景。
图9是用于生成动态道路地图的示例方法的流程图。
图10是用于实现动态道路地图的应用的示例方法的流程图。
具体实施方式
本文描述的技术可以不仅基于CV而且基于UnCV和路边基础设施生成综合动态道路地图。CV可以包括连续捕获UnCV和路边基础设施的图像的外部传感器，这些图像然后可以被用于识别和定位 UnCV和路边基础设施并且依赖于机器学习模型或不同算法来跟踪它们的状况。UnCV和路边基础设施的所跟踪的状况可以与CV的动力学特性结合，以生成并更新动态道路地图。一旦被生成，动态道路地图就可以在实时交通监视中的各种应用中实现，这些应用诸如自动驾驶、辅助驾驶、拥堵控制、路边事故调度等。如下面进一步详细描述的，该技术还包括可以关联从不同的CV识别出的UnCV和路边基础设施的方法和相应的系统。
图1是用于使用联网车辆进行实时交通监视的示例系统100的框图。如图所示，系统100包括经由网络107耦接以进行电子通信的服务器101、一个或多个车辆平台103a...103n、以及(一个或多个) 第三方服务器105。在图1和其余的图中，附图标记(例如“103a”) 后面的字母表示对具有该特定附图标记的元件的引用。没有后续字母的文本中的附图标记(例如“103”)表示对带有该附图标记的元件的实例的一般引用。应当理解的是，图1中描绘的系统100是作为示例提供的，并且本公开所预期的系统100和/或其他系统可以包括附加的和/或更少的部件、可以将部件进行组合和/或将部件中的一个或多个部件划分成附加部件等。例如，系统100可以包括任何数量的车辆平台103、第三方服务器105、网络107或服务器101。
网络107可以是常规类型、有线的和/或无线的，并且可以具有许多不同的配置，包括星形配置、令牌环配置或其它配置。例如，网络107可以包括一个或多个局域网(LAN)、广域网(WAN)(例如，互联网)、个人区域网(PAN)、公共网络、专用网络、虚拟网络、虚拟专用网络、对等网络、近场网络(例如，NFC等)、车辆网络、和/或多个设备可以通过其进行通信的其它互连的数据路径。
网络107还可以耦接到或包括电信网络的部分，用于以各种不同的通信协议发送数据。示例协议包括但不限于传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、传输控制协议 (TCP)、超文本传输协议(HTTP)、安全超文本传输协议 (HTTPS)、HTTP上的动态自适应流传输(DASH)、实时流传输协议(RTSP)、实时传输协议(RTP)和实时传输控制协议(RTCP)、互联网协议语音(VOIP)、文件传输协议(FTP)、WebSocket(WS)、无线接入协议(WAP)、各种消息传递协议 (SMS、MMS、XMS、IMAP、SMTP、POP、WebDAV等)或其它合适的协议。在一些实施例中，网络107可以是使用连接的无线网络，诸如DSRC(专用短距离通信)、WAVE、802.11p、3G、4G、 5G+网络、WiFiTM、卫星网络、车辆到车辆(V2V)网络、车辆到基础设施/基础设施到车辆(V2I/I2V)网络、车辆到基础设施/车辆到万物(V2I/V2X)网络，或任何其它无线网络。在一些实施例中，网络107可以是具有有限资源(例如，可能导致相当大的传输延迟的有限通信带宽等)的车辆无线网络。虽然图1示出了耦接到服务器101、 (一个或多个)车辆平台103和(一个或多个)第三方服务器105的网络107的单个块，但是应当理解的是，网络107实际上可以包括任何数量的网络的组合，如上所述。
(一个或多个)车辆平台103包括具有(一个或多个)传感器 113、(一个或多个)处理器115、(一个或多个)存储器117、(一个或多个)通信单元119、车辆数据存储库121、多视点观察应用 120、跟踪应用122和地图应用124的(一个或多个)计算设备152。 (一个或多个)计算设备152的示例可以包括虚拟或物理计算机处理器、控制单元、微控制器等，其耦接到(一个或多个)车辆平台103 的其它部件，诸如一个或多个传感器113、致动器128(例如，致动器、操纵装置(motivator)等)，等等。(一个或多个)车辆平台 103可以经由信号线141耦接到网络107，并且可以向(一个或多个) 其它车辆平台103、(一个或多个)第三方服务器105和/或(一个或多个)服务器101发送数据以及从(一个或多个)其它车辆平台103、 (一个或多个)第三方服务器105和/或(一个或多个)服务器101 接收数据。在一些实施例中，(一个或多个)车辆平台103能够从一个点运输到另一个点。(一个或多个)车辆平台103的非限制性示例包括车辆、汽车、农用机器、摩托车、自行车、公共汽车、船、飞机、仿生植入物、机器人或具有非瞬态计算机电子部件(例如，处理器、存储器或非瞬态计算机电子部件的任意组合)的任何其它平台。(一个或多个)车辆平台103在本文中可以被称为(一个或多个)车辆。
(一个或多个)处理器115可以通过执行各种输入/输出、逻辑和/或数学运算来执行软件指令(例如，任务)。(一个或多个)处理器115可以具有各种计算体系架构以处理数据信号。(一个或多个) 处理器115可以是物理的和/或虚拟的，并且可以包括单个核或者多个处理单元和/或核。在车辆平台103的背景下，处理器可以是在诸如汽车之类的车辆平台103中实现的电子控制单元(ECU)，但是其它类型的平台也是可能的并且是预期的。在一些实施例中，ECU 可以接收传感器数据并将传感器数据作为车辆操作数据存储在车辆数据存储库121中，以供多视点观察应用120、跟踪应用122和/或地图应用124访问和/或检索。例如，ECU可以实现被训练以生成检测到的物体的紧凑表示或者识别检测到的物体的位置的(一个或多个)机器学习逻辑(例如，软件、代码等)、模型。再例如，ECU可以实现动态道路地图生成和更新。在一些实施方式中，(一个或多个)处理器115可以能够生成电子显示信号并向(一个或多个)输入/输出设备提供电子显示信号，从而支持图像的显示、捕获和发送图像、执行包括各种类型的物体识别和特征提取的复杂任务。在一些实施方式中，(一个或多个)处理器115可以经由总线154耦接到(一个或多个)存储器117，以从其访问数据和指令并在其中存储数据。总线 154可以将(一个或多个)处理器115耦接到(一个或多个)车辆平台103的其它部件，包括例如(一个或多个)传感器113、(一个或多个)存储器117、(一个或多个)通信单元119、和/或车辆数据存储库121。
多视点观察应用120是软件和/或硬件逻辑，该软件和/或硬件逻辑可执行以生成多个图像中检测到的物体的紧凑表示，使用紧凑表示确定检测到的物体之间的相似度，并基于确定的相似度来关联多个图像。如图1所示，服务器101和车辆平台103a...103n可以包括多视点观察应用120的实例120a和120b...120n。在一些实施例中，每个实例120a和120b...120n可以包括图2中描绘的多视点观察应用 120的一个或多个部件，并且可以被配置为取决于实例驻留的位置而完全或部分地执行本文描述的功能。在一些实施例中，可以使用可由一个或多个计算机设备的一个或多个处理器执行的软件、使用硬件 (诸如但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC) 等)和/或硬件和软件的组合等来实现多视点观察应用120。多视点观察应用120可以接收并处理传感器数据和/或车辆数据，并经由总线 154与车辆平台103的其它元件(诸如存储器117、通信单元119、车辆数据存储库121等)通信。下面至少参考图2A和图5A详细描述多视点观察应用120。
跟踪应用122是软件和/或硬件逻辑，该软件和/或硬件逻辑可执行以随时间执行物体跟踪。如图1所示，服务器101和/或车辆平台 103a...103n可以包括跟踪应用122的实例122a和122b...122n。在一些实施例中，跟踪应用122可以使用可由一个或多个计算机设备的一个或多个处理器执行的软件、使用硬件(诸如但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)和/或硬件和软件的组合等来实现。在一些实施例中，跟踪应用122可以执行物体跟踪 (例如，车辆位置、信号灯状况等)，以监视在多个图像中捕获的各种物体。在一些实施例中，多视点观察应用120和/或跟踪应用122 可以结合到其它应用(例如，定位应用、地图应用124、导航应用、 3D建模应用等)中，以提供准确的道路场景分析，从而促进这些其它应用的功能。
地图应用124是软件和/或硬件逻辑，该软件和/或硬件逻辑可执行以执行动态道路地图生成。如图1中所示，服务器101和/或车辆平台103a...103n可以包括地图应用124的实例124a和124b...124n。在一些实施例中，地图应用124可以使用可由一个或多个计算机设备的一个或多个处理器执行的软件、使用硬件(诸如但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)和/或硬件和软件的组合等来实现。在一些实施例中，地图应用124可以执行动态地图生成，以反映区域中的实时交通状况。在一些实施例中，地图应用 124可以接收和处理传感器数据、车辆数据、来自其它车辆应用120 和122的数据、和/或来自(一个或多个)第三方服务器105的数据。在一些实施例中，地图应用124可以结合到其它应用(例如，定位应用、安全驾驶应用、导航应用、3D建模应用等)中以提供实时道路交通信息，从而促进这些其它应用的功能。下面至少参考图3详细描述地图应用124。
(一个或多个)存储器117包括非瞬态计算机可用(例如，可读、可写等)介质，其可以是可以包含、存储、传送、传播或者传输指令、数据、计算机程序、软件、代码、例程等以用于由(一个或多个)处理器115处理或结合(一个或多个)处理器115处理的任何有形非瞬态装置或设备。例如，(一个或多个)存储器117可以存储多视点观察应用120、跟踪应用122和/或地图应用124。在一些实施方式中， (一个或多个)存储器117可以包括易失性存储器和非易失性存储器中的一个或多个。例如，(一个或多个)存储器117可以包括但不限于动态随机存取存储器(DRAM)设备、静态随机存取存储器 (SRAM)设备、分立存储器设备(例如，PROM、FPROM、 ROM)、硬盘驱动器、光盘驱动器(CD、DVD、Blue-rayTM等)中的一个或多个。应当理解的是，(一个或多个)存储器117可以是单个设备，或者可以包括多种类型的设备和配置。
通信单元119使用无线和/或有线连接向通信单元119(例如，经由网络107)通信耦接到的其它计算设备发送数据并且从所述其它计算设备接收数据。通信单元119可以包括用于发送和接收数据的一个或多个有线接口和/或无线收发器。通信单元119可以耦接到网络107 并与其它计算节点(诸如(一个或多个)其它车辆平台103、(一个或多个)服务器101和/或(一个或多个)第三方服务器105等)通信。通信单元119可以使用标准通信方法(诸如上面讨论的那些)与其它计算节点交换数据。
(一个或多个)传感器113包括适于(一个或多个)车辆平台 103的任何类型的传感器。(一个或多个)传感器113可以被配置为收集适于确定车辆平台103和/或其内部和外部环境的特点的任何类型的信号数据。(一个或多个)传感器113的非限制性示例包括各种光学传感器(CCD、CMOS、2D、3D、光检测和测距(LIDAR)、相机等)、音频传感器、运动检测传感器、气压计、高度计、热电偶、湿度传感器、红外(IR)传感器、雷达传感器、其它光电传感器、陀螺仪、加速度计、速度计、转向传感器、制动传感器、开关、车辆指示器传感器、挡风玻璃刮水器传感器、地理位置传感器、朝向传感器、无线收发器(例如，蜂窝、WiFiTM、近场等)、声纳传感器、超声传感器、触摸传感器、接近传感器、距离传感器等。在一些实施例中，一个或多个传感器113可以包括在车辆平台103的前侧、后侧、右侧、左侧、底部和/或顶部提供的面向外的传感器，以便捕获车辆平台103周围的情景性情境。
在一些实施例中，(一个或多个)传感器113可以包括一个或多个图像传感器(例如，光学传感器)，该一个或多个图像传感器被配置为记录包括视频图像和静止图像的图像，可以使用任何适用的帧速率记录视频流的帧，并且可以编码和/或处理使用任何适用方法捕获的视频和静止图像。在一些实施例中，(一个或多个)图像传感器 113可以捕获其传感器范围内的周围环境的图像。例如，在车辆平台的背景下，图像传感器113可以捕获车辆平台103周围的环境，包括道路、建筑物、路边结构、基础设施(例如，路边标志、事故、路边施工、交通灯等)、静态道路物体和/或动态道路物体(例如，车辆平台103、行人、自行车、动物等)等。在一些实施例中，图像传感器113可以安装在车辆平台103的车顶上和/或内部，以相对于车辆平台103的移动方向在任何方向(向前、向后、向侧面、向上、向下等)进行感测。在一些实施例中，图像传感器113可以是多向的(例如，LIDAR)。在一些实施例中，安装在不同车辆平台103上的图像传感器113可以具有不同的视点和/或不同的视角，并且可以配置有不同的设置、安装和/或配置。
(一个或多个)致动器128包括能够产生或抑制运动的机械和/ 或电气设备。(一个或多个)致动器128可以是电动的、气动的、液压的、磁性的、机械的、热力学的和/或磁性的、和/或前述的组合。 (一个或多个)非限制性示例致动器128包括电动马达、机动联动装置、信号部件、伺服机构、液压缸、气动致动器、对应的传动装置、连接器以及运动学部件、内燃机、喷气发动机等。致动器经由联动装置、变速器、传动系统、液压装置和/或其它组件耦接到部件，诸如能够使车辆103加速、减速和转向的包括车轮、支柱(prop)、涡轮风扇、鼓风机、喷气机的部件和/或其它部件。
车辆数据存储库121包括存储各种类型数据的非瞬态存储介质。例如，车辆数据存储库121可以存储使用诸如控制器区域网络 (CAN)总线之类的总线在给定车辆平台103的不同部件之间传送的车辆数据。在一些实施例中，车辆数据可以包括从耦接到车辆平台103的不同部件的多个传感器113收集的车辆操作数据，用于监视这些部件的操作状态，例如，变速(transmission)、速度、加速度、减速度、车轮速度(每分钟转数-RPM)、转向角、制动力等。在一些实施例中，车辆数据可以包括移动方向、指示车辆平台103的地理位置的车辆地理定位(例如，GPS(全球定位系统)坐标)等。在一些实施例中，车辆数据可以包括由收发器(例如，从其它路边单元、其它车辆、任何(一个或多个)第三方服务器105等)接收的任何数据和信息。
在一些实施例中，车辆数据还可以包括由车辆平台103的一个或多个图像传感器113捕获的内部和外部场景图像以及与这些图像相关联的图像数据。在一些实施例中，图像数据可以包括指示捕获图像时的日期和时间的图像时间戳、图像传感器113的传感器位置和传感器朝向、设置，和/或在捕获图像时的其它相机、相机位置、车辆平台传感器、CAN等数据。在一些实施例中，图像数据还可以描述在图像中检测到的一个或多个物体。例如，图像数据可以包括图像中的每个检测到的物体的(一个或多个)模态特征、(一个或多个)初始表示和/或(一个或多个)紧凑表示。初始表示在本文可以被称为检测到的物体的初始特征表示，并且紧凑表示在本文可以被称为检测到的物体的紧凑特征表示。在一些实施例中，车辆数据还可以包括从(一个或多个)其它车辆平台103接收的任何图像、图像数据、相关提取特征、(一个或多个)初始表示和/或(一个或多个)紧凑表示。
在一些实施例中，车辆数据存储库121可以存储表示学习模型和位置识别模型的模型数据。在一些实施例中，表示学习模型可以是机器学习模型，该机器学习模型被训练以生成高效地表示检测到的物体的紧凑表示(例如，紧凑特征向量)，和/或以使用紧凑表示确定检测到的物体的相似度。在一些实施例中，位置识别模型也可以是机器学习模型，该机器学习模型被训练以识别所识别的物体(例如，相对于图像传感器113)的相对位置。在一些实施例中，表示学习模型和/ 或位置识别模型可以以卷积神经网络、支持向量机等形式实现。用于用各种类型的监督学习算法和/或无监督学习算法实现机器学习模型的其它系统体系架构也是可能的和预期的。在一些实施例中，模型数据可以包括表示学习模型和/或位置识别模态的一个或多个参数。例如，模型数据可以包括从用于将初始特征向量映射到紧凑特征向量的训练过程学习的一个机器学习逻辑的映射参数。对于另一个示例，模型数据还可以包括从用于将图像中的物体的位置映射到其相对于图像传感器113的相对朝向的训练过程学习的另一个机器学习逻辑的朝向参数。
服务器101包括硬件和/或虚拟服务器，其包括处理器、存储器和网络通信能力(例如，通信单元)。在一些实施例中，服务器101 可以具有比系统100的其它实体(例如，车辆平台103)更大的计算能力和计算资源。服务器101可以通信耦接到网络107，如由信号线 145所反映的。在一些实施例中，服务器可以向系统100的其它实体 (例如，一个或多个车辆平台103)发送数据和从系统100的其它实体接收数据。如所描绘的，服务器101可以包括多视点观察应用 120a、跟踪应用122a和/或地图应用124a的实例。
服务器101还可以包括数据存储库120，其存储用于由这些应用访问和/或检索的各种类型的数据。例如，数据存储库120可以存储从(一个或多个)车辆平台103接收的检测到的物体的紧凑表示(例如，紧凑特征向量)、训练数据、表示学习模型的模型数据、位置识别模型的模型数据等。在一些实施例中，用于表示学习模型的训练数据可以包括多组训练图像和与每组训练图像相关联的预定目标输出。在一些实施例中，预定目标输出可以指示包括在该组训练图像中的物体是否表示相同的物体。例如，训练数据可以包括具有预定目标输出＝“1”的正训练图像(指示正训练图像中包括的物体相同)，以及具有预定目标输出＝“0”的负训练图像(指示负训练图像中包括的物体不相同)。在一些实施例中，表示学习模型的模型数据可以包括训练过程中的各个点处模型的参数。例如，表示学习模型的模型数据可以包括被训练以生成检测到的物体的紧凑特征向量的一个或多个机器学习逻辑的映射参数、被训练以生成相似度得分的一个或多个机器学习逻辑的评分参数等。在一些实施例中，表示学习模型的模型数据还可以包括表示学习模型的模型配置。例如，表示学习模型的模型配置可以定义指示模型的训练过程何时完成(例如，满足预定数量的训练周期和/或满足预定的反馈差异等)的收敛点。
(一个或多个)第三方服务器105包括硬件和/或虚拟服务器，其包括处理器、存储器和网络通信能力(例如，通信单元)。(一个或多个)第三方服务器105可以通信地耦接到网络107，如信号线 147所反映的。在一些实施例中，(一个或多个)第三方服务器105 可以向系统100的其它实体(例如，一个或多个车辆平台103和/或服务器101)发送数据和从系统100的其它实体接收数据。
在一些实施例中，(一个或多个)第三方服务器105可以包括生成、散布(disseminate)或接收与交通相关的信息的任何服务器。例如，(一个或多个)第三方服务器105可以包括提供一般的交通相关信息的一些交通应用服务器(例如，地图应用、导航应用、事故报告应用、天气预报应用等)。例如，(一个或多个)第三方服务器105 可以包括一些在线社交媒体服务器，其生成并散布与交通相关的新闻、评论、消息、博客等。例如，(一个或多个)第三方服务器105可以包括直接生成并散布针对一些特定区域的交通相关信息的一些服务器。例如，一些路边单元可以为一些短程覆盖区域提供交通信息。再举一例，一些路边基础设施本身可以散布与这些基础设施相关的一些信息 (例如，路边的鹿迁徙区标志可以自动散布电子消息，以通知车辆进入或离开鹿迁徙区)。从这些第三方服务器105中的任何第三方服务器收集的信息可以通过信号线147被传送到系统的其它实体(例如，服务器101和一个或多个车辆平台103)。
其它变化和/或组合也是可能的和预期的。应当理解的是，图1 中示出的系统100代表示例系统，并且各种不同的系统环境和配置是预期的并且在本公开的范围内。例如，各种动作和/或功能可以从服务器移动到客户端，反之亦然，数据可以整合到单个数据存储库中或者进一步分割到附加数据存储库中，并且一些实施方式可以包括附加的或更少的计算设备、服务和/或网络，并且可以实现客户端或服务器侧的各种功能。另外，系统的各种实体可以集成到单个计算设备或系统中，或者划分到附加的计算设备或系统中等。
图2A是示例多视点观察应用120的框图。如所描绘的，多视点观察应用120可以包括检测器202、特征提取器204、模态处理器 206、一个或多个紧凑表示生成器208、相似度识别器210和关联处理器212。应当理解的是，多视点观察应用120可以包括附加部件，诸如但不限于配置引擎、加密/解密引擎等，和/或这些各种部件可以组合成单个引擎或划分为附加的引擎。
检测器202、特征提取器204、模态处理器206、一个或多个紧凑表示生成器208、相似度识别器210和关联处理器212可以被实现为软件、硬件或前述的组合。在一些实施例中，检测器202、特征提取器204、模态处理器206、一个或多个紧凑表示生成器208、相似度识别器210和关联处理器212可以通过总线154和/或处理器115 彼此通信地耦接和/或耦接到计算设备152的其它部件。在一些实施例中，部件202、204、206、208、210和212中的一个或多个是处理器115可执行以提供它们的功能的指令集。在进一步的实施例中，部件202、204、206、208、210和212中的一个或多个可存储在存储器 117中，并且可由处理器115访问和执行以提供它们的功能。在任何前述实施例中，这些部件202、204、206、208、210和212可以适于与处理器115和计算设备152的其它部件协作和通信。下面至少参考图5A更详细地描述多视点观察应用120、它的部件202、204、206、 208、210和212。
如本文其它地方所讨论的，多视点观察应用120是软件和/或硬件逻辑，该软件和/或硬件逻辑可执行以关联由多个车辆平台103捕获的多个图像。在典型场景中，位于相同道路区域中的多个车辆平台 103可以从不同视角捕获在那个道路区域中存在的相同物体的多个图像。因此，在一些实施例中，通过确定从不同车辆平台取得的检测到的物体之间的相似度，可以关联该多个图像中的物体。
在一些实施例中，多视点观察应用120可以接收由交通状况附近的两个或更多个不同车辆平台的两个或更多个车辆平台传感器捕获的两个或更多个图像。多视点观察应用120可以从该两个或更多个图像中的第一图像中的第一多个物体提取第一多模态特征集合。第一图像可以与两个或更多个车辆平台103中的第一车辆平台103相关联。例如，第一车辆平台103的传感器可以捕获图像，并且传感器可以被耦接以向多视点观察应用120提供包括该图像的图像数据，多视点观察应用120可以将图像与和交通状况相关联的一个或多个其它图像(诸如由位于交通状况的地理地域内的一个或多个其它车辆平台103捕获的图像)配对。例如，多视点观察应用120还可以从两个或更多个图像中的第二图像中的第二多个物体提取第二多模态特征集合，第二图像与两个或更多个车辆平台103中的第二车辆平台103相关联。
在一些实施例中，可以(例如，经由ECU或第一车辆平台可以具有的其它计算资源)表示计算设备的第一车辆平台可以包括本文所讨论的任何元件，诸如：具有指向第一车辆平台外部的外部环境的第一视角的第一传感器，其中第一传感器捕获反映包括在外部环境中的第一多个物体的第一传感器数据；以及第一通信单元，用于从第二车辆平台接收第二传感器数据，其中第二传感器数据从第二视角反映包括在外部环境中的第二多个物体。在一些实施例中，可以(例如，经由ECU或第二车辆平台可以具有的其它计算资源)表示计算设备的第二车辆平台类似地包括：具有指向第二车辆平台外部的外部环境的第二视角的第二传感器，其中第二传感器捕获反映包括在外部环境中的第一多个物体的第二传感器数据；以及第二通信单元，用于将来自第二车辆平台的第二传感器数据发送到第一车辆平台。
在一些实施例中，硬件服务器由至少一个计算设备实施，该硬件服务器适于基于相似度得分训练包括分离的机器学习逻辑的机器学习模型，其中机器学习模型的第一实例安装在第一车辆平台上，并且机器学习模型的第二实例安装在第二车辆平台上。
在一些实施例中，多视点观察应用120可以检测第一图像中的第一多个物体和第二图像中的第二多个物体，等等。在一些情况下，检测可以经由在相应的车辆平台103上操作的应用120的实例而发生。包含与车辆平台103的移动和/或操作相关(例如，驾驶相关的)的物体的图像可以由多视点观察应用120的实例识别，并且然后被配对，以形成本文其它地方讨论的配对输入。例如，使用以上示例，多视点观察应用120可以确定来自第一图像的第一多个物体的第一物体集合与驾驶相关，然后确定来自第二图像的第二多个物体的第二物体集合与驾驶相关，等等。然后可以将这些与驾驶相关的输入(例如，图像、传感器数据集等)配对(例如，其中一对包括两个或更多个输入)。
在一些实施例中，除了将图像中的物体确定为相关以用于相似度学习之外，多视点观察应用120还可以接收包括描述捕获给定图像的地理定位的地理定位数据的图像相关数据，并且图像还可以基于涵盖该地理定位的对应区域或地域来配对(使得可以基于图像的地理定位数据来识别捕获道路或交通状况的不同视角的图像)。
在一些实施例中，多视点观察应用120可以使用分离的机器学习逻辑来处理第一多模态特征集合和第二多模态特征集合，以分别产生第一输出和第二输出，如本文其它地方进一步讨论的。在一些情况下，第一多模态特征集合和第二多模态特征集合(取决于并发处理的图像数量，多达N个集合)可以被规格化并且被组合。例如，在涉及第一图像和第二图像的上述示例中，第一多模态特征集合和第二多模态特征集合可以被独立地规格化，然后被组合成相应的多模态初始特征向量(例如，第一向量、第二向量等)。
响应于该处理，多视点观察应用120可以使用第一输出和第二输出生成量化第一多模态特征集合与第二多模态特征集合之间的差异的相似度得分。通过使用相似度得分，多视点观察应用120可以将由与第一车辆平台103相关联的第一图像反映的第一物体和由与第二车辆平台103相关联的第二图像反映的第二物体相关联，如本文其它地方所讨论的。在一些实施例中，可以使用在图像中检测到的物体的紧凑特征表示来执行这样的物体关联。一旦被关联，物体就可以由其它应用(例如，跟踪应用122和/或地图应用124)进一步处理。
图2B是示例地图应用120的框图。如所描绘的，地图应用124 可以包括CV动力学特性处理器252、UnCV动力学特性生成器254、道路交通估计器256、路边基础设施监视器258和动态道路地图生成器260。应当理解的是，地图应用可以包括附加部件，诸如但不限于配置引擎、加密/解密引擎等，和/或这些各个部件可以组合成单个引擎或划分为附加的引擎。
CV动力学特性处理器252、UnCV动力学特性生成器254、道路交通估计器256、路边基础设施监视器258和动态道路地图生成器 260可以被实现为软件、硬件或前述的组合。在一些实施例中，CV 动力学特性处理器252、UnCV动力学特性生成器254、道路交通估计器256、路边基础设施监视器258和动态道路地图生成器260可以通过总线154和/或处理器115彼此通信地耦接和/或耦接到计算设备 152的其它部件。在一些实施例中，部件252、254、256、258和260 中的一个或多个是可由处理器115执行以提供它们的功能的指令集。在进一步的实施例中，部件252、254、256、258和260中的一个或多个可存储在存储器117中，并且可由处理器115访问和执行以提供它们的功能。在任何前述实施例中，这些部件252、254、256、258 和260可以适于与处理器115和计算设备152的其它部件协作和通信。
如本文其它地方所讨论的，地图应用120是软件和/或硬件逻辑，该软件和/或硬件逻辑可执行以基于从CV收集的信息生成综合动态道路地图。在一些实施例中，地图应用120可以与多视点观察应用 120和跟踪应用122合作以生成动态道路地图。在典型场景中，在特定的道路区域中，可能存在多个车辆平台103，其中仅一定百分比的车辆平台103是CV，而其它车辆平台是UnCV。在关联处理中，由多视点观察应用120从配对的输入图像识别出的关联物体可以包括位于道路地图区域内的UnCV，并且配对的输入图像可以由不同CV的图像传感器113对于道路地图区域拍摄。由于每个CV可以捕获一个或多个UnCV，并且每个UnCV可以通过一组或多组配对的输入图像相关联，因此道路地图区域中的大部分或全部UnCV可以由多视点观察应用120识别。利用识别出的UnCV和CV，地图应用124与跟踪应用120组合，可以为该特定的道路区域生成综合动态道路地图。在生成动态道路地图时的地图应用124及其部件252、254、256、 258和260在下面至少参考图3-图9进一步详细描述。
图3是用于生成动态道路地图的示例方法的流程图。如图所示，第一CV(例如，CV103c)可以正在特定道路区域中导航。第一CV 可以包括辅助监视道路区域中的交通情况的(一个或多个)图像传感器113和GPS设备304(可以包括在传感器113中)。(一个或多个)图像传感器113可以包括一个或多个外部传感器，该一个或多个外部传感器捕获第一CV的外部环境的图像。CV的外部环境可以包括一个或多个UnCV(例如，UnCV 103d)和一些路边基础设施302。然后可以将包括一个或多个UnCV和一些路边基础设施302的捕获图像发送到第一CV的存储器117、另一个CV或服务器101以进行进一步处理(例如，用于由多视点观察应用120进行物体检测和特征提取)。类似地，在相同道路区域中导航的第二CV(例如，CV 103e)也可以捕获一个或多个UnCV(也可以包括UnCV 103d)和一些路边基础设施302的图像，以供CV、另一个CV或服务器101 进一步处理。
然后可以独立地处理来自第一CV的捕获图像(可以称为第一图像集合)和从第二CV捕获的图像(可以称为第二图像集合)以用于方框305中的物体检测和特征提取。物体检测和特征提取可以允许在每个图像集合中识别一个或多个物体(例如，UnCV 103d、一些路边基础设施、及其它物体)。然后可以比较来自每个图像集合的识别出的物体的相似度，以确定两个图像集合中的一个或多个物体是否共享相似度。如果确定一个或多个物体是相同的物体，那么可以在方框 307中将它们相关联。
方框305中的特征提取还可以包括提取位置相关信息，以允许识别每个识别出的物体的位置信息。然后，每个识别出的物体的识别出的位置信息可以允许在方框307中从对于每个识别出的物体在不同时刻拍摄的图像在不同时刻跟踪该物体。基于不同时刻的跟踪的位置，然后可以由UnCV动力学特性生成器254(在方框309中)确定包括 UnCV(例如，UnCV103d)的每个识别出的物体的动力学特性。
CV动力学特性生成器252可以基于从与CV相关联的(一个或多个)GPS设备304收集的信息来(在方框311中)确定CV(例如， CV 103c、CV 103e)的动力学特性。基于每个CV和每个识别出的 UnCV的确定的动力学特性，可以确定该道路区域中的大多数(如果不是全部的话)车辆平台103的动力学特性，当与来自静态地图310 的信息组合时，该道路区域中的大多数车辆平台103的动力学特性可以允许由道路交通估计器256(在方框313中)估计该区域中的动态交通状况。
在一些实施例中，在方框307中跟踪识别出的物体还可以包括在不同时刻跟踪路边基础设施的位置信息和/或状况(例如，交通灯状况)。附加地或可替代地，可以通过其它方法收集路边基础设施相关信息。例如，一些路边基础设施可以发送无线信号或消息以提供与交通相关的信息。在不同时刻从不同源收集的路边基础设施相关信息可以组合，以允许由路边基础设施监视器258(在方框315中)估计地图区域中的动态路边基础设施状况。
然后，可以将确定的动态道路交通状况和路边基础设施集成到静态道路地图310中，以通过动态道路地图生成器260生成动态道路地图320。下面参考图4-图9进一步提供生成动态道路地图的过程的更详细描述。
图4示出了具有两个CV和一个UnCV的示例路段，以提供关于CV和UnCV的进一步信息。如其名称所指示，CV可以包括存在于车辆中的一个或多个通信设备(嵌入式或便携式)，该一个或多个通信设备实现与车辆内的其它设备的连接性和/或实现车辆与外部设备、网络、应用、服务等的连接。通过结合连接性，CV可以实现车辆到车辆(V2V)通信和/或车辆到基础设施(V2I)通信，以收集和 /或提供必要的信息来帮助理解车辆周围的情况。另一方面，UnCV 可能不包括启用的连接性，因此不能报告其交通情况，而是依赖于其它CV或路边单元或系统来收集和/或提供其交通信息。
为了实现CV的连接性及其对于监视任何UnCV的辅助，CV可以配备有必要的设备、系统、应用等。为了更容易的说明和更简单的描述，这些必要的设备、系统或应用可以被一起称为监视单元402。如图所示，两个CV 103c或103e可以各自包括监视单元402c或402e。监视单元402c或402e中的每一个可以包括辅助监视和/或收集交通相关信息的任何设备或系统。例如，监视单元402e可以包括地理定位(例如，GPS)接收器，地理定位接收器与GPS卫星412 或那里的地理定位系统通信以确定CV 103e的位置、时间和驾驶速度。例如，监视单元402e还可以包括一个或多个收发器，以经由网络107与另一个CV、服务器101和/或(一个或多个)第三方服务器 105通信。此外，监视单元402e还可以包括与路边单元(未示出) 或路边基础设施404无线通信的一个或多个收发器，路边基础设施 404经由与接入点414(例如，路边单元)的无线通信来提供交通或路边基础设施信息。
在一些实施例中，监视单元402可以包括使得能够捕获外部环境 (诸如UnCV和路边基础设施)的图像、视频和/或音频的一个或多个相机传感器。例如，图4中的监视单元402c或402e可以包括一个或多个相机传感器，该一个或多个相机传感器被启用以捕获位于(如点线所指示的)其捕获范围内的UnCV 103d和路边基础设施404的一部分。在一些实施例中，监视单元402可以包括多个相机传感器，每个相机传感器独立地捕获具有不同朝向的图像和/或视频。例如，监视单元402可以包括四个相机，每个相机朝着北、南、西或东捕获周围区域。
在一些实施例中，可以手动或自动调节CV中的监视单元402以更好地监视周围环境。例如，基于V2V和/或V2I通信，可以发现道路区域中的特定区域需要更多关注(例如，事故区域、集中有UnCV 的区域、识别出的DUI车辆等)。然后可以手动或自动调节一个或多个CV的监视单元402中的一个或多个相机和/或传感器的朝向，以聚焦在那些特定区域上以提供更好的覆盖。
在一些实施例中，CV中的监视单元402可以手动或自动地被激活和/或停用。为了节省用于通信的功率和/或带宽，可以自动或手动地停用监视单元402中的一个或多个相机或传感器。例如，如果确定区域中的CV已经达到饱和率(例如，CV：UnCV比率大到足以覆盖该区域中的所有车辆)，那么可以自动或手动地停用某些CV上的监视单元402，以节省电力、计算和数据传输。自动或手动停用CV 的监视单元402的其它条件可以包括CV在农村区域、偏远区域、停车场、个人财产、军事区域、公共禁止区域等中行进，或者CV在不允许相机或传感器收集有用信息的条件下(诸如在大雨、大雪、非常黑暗的环境下，等等)行驶。
在一些实施例中，每个CV可以捕获或监视周围区域中的多个 CV。因此，即使CV的渗透率低，由于每个CV覆盖多个UnCV，被CV覆盖的UnCV的总数也可以大大增加。在一些实施例中，可以由周围区域中的多个CV捕获单个UnCV。如图4中所示，UnCV 103d可以由两个CV103c和103e捕获。为了确保评估实际交通情况的准确性，允许UnCV被两个或更多个CV捕获可能是有益的，因此关联处理可能是必要的以关联由不同CV捕获的UnCV。
图5A是用于学习检测到的物体的紧凑表示和关联来自多个车辆的物体的示例方法的流程图。如图所示，一般关联处理可以包括多个图像中的每个图像中的特征提取和物体(例如，UnCV)识别、在这些图像中识别出的物体的相似度比较、以及由不同CV检测到的(一个或多个)相同物体的关联。
在方框502中，当CV沿着道路行驶时，CV的相机或传感器 113可以捕获道路场景的图像。在一些实施例中，可以以预定义的速率/间隔(例如，每5秒、10秒、30秒等)捕获这些道路场景图像。在一些实施例中，还可以拍摄该区域的视频。在一些实施例中，多个车辆平台可以捕获区域中的共享段。例如，CV 103c和CV 103e可以碰巧捕获可以包括UnCV 103d的共享段。
在方框504中，检测器202可以检测捕获的图像中的一个或多个物体。例如，检测器202可以对捕获的图像(例如，使用视觉算法) 执行物体识别以检测道路场景中存在的一个或多个物体。
在方框506中，特征提取器204可以提取检测到的物体的特征。这可以包括确定描述图像中检测到的物体的一个或多个模态特征。例如，特征提取器204可以处理图像数据以提取检测到的物体的纹理特征、颜色特征、情境特征和/或视点(viewport)特征中的一个或多个，以辅助稍后的相似度确定。提取出的纹理特征可以描述检测到的物体的各个部分的纹理。例如，可以在提取出的纹理特征中识别一些引擎盖(hood)、车轮和保险杠的几何形状、结构和纹理图案。提取出的颜色特征可以包括检测到的物体的一种或多种颜色。例如，检测到的物体的提取出的颜色特征表示一个车辆是黑色的，而它旁边的另一个类似的车辆是银色的。提取出的情境特征可以描述检测到的物体周围的背景环境。情境特征在相似度处理中是有用的，尤其是当捕获的图像包括具有完全相同外观的物体时。作为示例，第一图像可以包括与第二图像中的第二汽车具有相同外观的第一汽车。但是，基于如由提取出的情境特征所指示的它们的周围环境，提取出的情境特征可以指示第一辆车在道路上行驶，而第二辆车停放在建筑物前面。提取出的视点特征可以指示从其捕获图像的视角。这些可以包括在捕获图像时车辆平台103的移动方向、图像传感器的传感器位置和传感器朝向。视点特征在相似度处理中尤其有利。作为示例，第一图像可以包括类似于第二图像中的第二损坏卡车的第一损坏卡车。特征提取器 204可以确定第一图像是由在向北方向上移动的第一车辆平台103的左侧上提供的图像传感器捕获的，而第二图像是由在向南方向上移动的第二车辆平台103的左侧上提供的图像传感器捕获的。因而，第一损坏卡车和第二损坏卡车可以被确定为表示相同的物体，因为由视点特征指示的它们被捕获的视角是兼容的。
在方框508中，模态处理器206可以处理描述图像中检测到的物体的模态特征。在一些实施例中，模态处理器206可以对模态特征进行规格化和联接(concatenate)，以生成检测到的物体的初始表示 520。特别地，可以转换和/或重新组织描述检测到的物体的模态特征，以符合预定义的标准。然后，模态处理器206可以将规格化的模态特征聚合成全面描述检测到的物体的初始特征向量。在一些实施例中，检测到的物体的初始特征向量可以包括具有与检测到的物体相关联的 (一个或多个)纹理特征、(一个或多个)颜色特征、(一个或多个) 情境特征、(一个或多个)视点特征等的完整模态特征集合。因此，检测到的物体的初始特征向量可以具有与其中包括的大量模态特征对应的大特征维度(并且因此具有大数据尺寸)。
在方框510中，紧凑表示生成器208可以生成检测到的物体的紧凑表示。特别地，紧凑表示生成器208可以将检测到的物体的初始表示520映射到检测到的物体的紧凑表示522。例如，紧凑表示生成器 208可以将表示检测到的物体的初始特征向量映射到表示检测到的物体的紧凑特征向量。在一些实施例中，与对应的初始特征向量相比，紧凑特征向量可以包括较少数量的模态特征(并且因此具有较低的特征维度和较小的数据尺寸)。
如图4中所描绘的，可以在多个CV中执行图像捕获、物体检测、特征提取、模态处理和紧凑表示生成，以生成从不同视角捕获的多个图像中检测到的物体的紧凑表示522。如本文其它地方所讨论的，这些捕获的图像中检测到的物体的紧凑表示522可以符合预定义的标准，因此可以具有相同的格式和特征维度。在一些实施例中，可以将捕获的图像中检测到的物体的紧凑表示522输入到相似度识别器210中。
在方框512中，相似度识别器210可以计算反映不同的捕获的图像中检测到的物体的紧凑表示522之间的相似度水平的相似度得分。作为示例，相似度识别器210可以计算相似度得分，该相似度得分指示从第一视角捕获的第一图像中的第一物体的第一紧凑表示522a (例如，第一紧凑特征向量)与从第二视角捕获的第二图像中的第二物体的第n紧凑表示522n(例如，第n紧凑特征向量)之间的相似度水平。
在一些实施例中，由紧凑表示生成器208执行的紧凑表示生成和由相似度识别器210执行的相似度得分计算可以用于处理物体相似度，并且可以被实现为表示学习模型。如本文其它地方所讨论的，可以训练表示学习模型以从检测到的物体的初始表示生成高效地表示检测到的物体的紧凑表示，并使用生成的紧凑表示确定检测到的物体的相似度。
在一些实施例中，经训练的表示学习模型可以被实现为CV 103 中的软件、硬件、前述的组合等(例如，被安装、构建、被更新以包括、存储在存储器中并被执行等)并且在实时驾驶期间使用，以检测物体和对物体进行分类、处理场景、与附近车辆平台103共享物体和 /或场景信息、经由车辆平台103的输出设备提供驾驶员和乘客反馈、将数据发送到服务器101以便存储在跨构成交通生态系统的多个车辆共享的动态地图中，用于经由包括在车辆平台中并由车辆平台执行的导航应用(例如，GPS或其它地理定位系统)的路线计算和导航指令提供等。在一些实施例中，可以执行由多个紧凑表示生成器208a... 208n和相似度识别器210实施的(一个或多个)机器学习逻辑，以执行本文讨论的操作。
在方框515中，相似度识别器210可以基于相似度得分确定第一图像中的第一物体和第二图像中的第二物体是否描述同一个物体。在一些实施例中，相似度识别器210可以确定第一物体的第一紧凑表示 522a与第二物体的第n紧凑表示522n之间的相似度得分是否满足预定得分阈值(例如，大于50％)。响应于确定第一物体的第一紧凑表示522a与第二物体的第n紧凑表示522n之间的相似度得分满足预定得分阈值，相似度识别器210可以确定第一图像中的第一物体和第二图像中的第二物体表示同一个物体。
在方框516中，关联处理器212可以基于方框515中的辨别结果来关联第一图像和第二图像。特别地，如果相似度识别器210确定第一图像中的第一物体和第二图像中的第二物体表示同一个物体，那么关联处理器212可以将第一图像中的第一物体与第二图像中的第二物体相关联。例如，如图4中所描绘的，关联处理器212可以将由CV 103c拍摄的图像中的UnCV 103d与由CV 103e拍摄的图像中的同一 UnCV 103d相关联。
在一些实施例中，CV可以在捕获的图像中捕获多个UnCV或其它物体。因此，可能存在可以在由第一CV拍摄的第一图像和由第二 CV拍摄的第二图像中关联的多个物体。
图5B示出了具有由两个联网车辆相关联的多个未联网车辆的示例场景。如图所示，在道路区域的交叉路口中存在两个CV 103f和 103g。如监视单元402f或402g所指示的，每个CV可以配备有监视其它UnCV的必要设备或系统。监视单元402f和402g中的每一个可以具有如点线所指示的它的覆盖区域。在物体检测处理中，每个CV 可以基于从它的监视单元402捕获的图像来检测不同的物体。例如， CV 103f的监视单元402f可以检测UnCV 103h、103i、103k、103l 和103m(每个UnCV可以具有其唯一ID F1、F2、F3、F4、F5)，但是由于监视单元402f的覆盖范围限制可能检测不到103g和103o，或者由于监视单元402f的视野被UnCV103i阻挡可能检测不到 UnCV 103j。类似地，与CV 103g相关联的监视单元402g可以检测UnCV 103h、103i、103j、103k和103m(每个UnCV可以具有其唯一ID G1、G2、G3、G4、G5)，但是可能检测不到UnCV 103i和 103o以及CV 103f。在如图5A所示的关联处理之后，四个UnCV103h(F1，G1)、103i(F2，G2)、103k(F3，G4)和103m(F5， G5)可以被确定为由CV 103f和CV103g都检测到的相同物体，因此被关联。四个UnCV通过两个CV的关联可以大大增加交叉路口中的被覆盖车辆，并且因此大大增加可用于确定道路交通状况的车辆的数量，包括跟踪这些车辆的动态活动。
图6示出了用于跟踪CV和UnCV的示例场景。如图所示，可以存在靠近交叉路口的四个车辆平台。它们可以包括两个CV 103f和 103g，以及两个UnCV 103h和103m。在时刻T1，车辆103f和 103m向北移动，来自北方的车辆103h正在向右转弯进入西方，而车辆103g在交叉路口后方停止(例如，由于红灯)。在一段时间 T2-T1(例如，3秒、6秒等)之后，三个移动车辆平台103f、103h、 103m的位置已经改变到T2位置。在此期间，车辆平台103m仍然保持其位置。可以贯穿该时段连续监视这些不同车辆平台的位置。例如，两个CV 103f和103g可以在该时段期间监视它们自己的位置以及两个UnCV 103h和103m的位置。
可以基于从它们的监视单元402收集的信息来确定两个CV 103f 和103g的位置和动力学特性。两个CV中的每一个CV中的监视单元402可以包括GPS系统，该GPS系统为该CV提供定位、导航和定时信息。基于定位和定时信息，可以容易地确定该CV的动力学特性(例如，移动速度、移动方向、加速度等)。
可以基于从两个CV拍摄的图像中提取的图像数据和/或特征来确定两个UnCV的位置和动力学特性，如图7中进一步描述的。
图7是用于确定未联网车辆的动力学特性的示例方法的流程图。在方框702中，UnCV动力学特性处理器254可以收集与UnCV相关联的特征。这可以包括收集由特征提取器204为与UnCV相关联的图像生成的视角特征。所收集的视角特征可以包括在捕获图像时拍摄图像的CV的移动方向、传感器位置、传感器朝向、镜头光圈、焦距等。传感器位置可以包括在嵌入式GPS系统中提供的或者基于包括在CV中的另一个GPS系统的它的纬度和经度坐标。
在方框704中，UnCV动力学特性处理器254可以检查提取出的纹理特征，以识别图像中UnCV或甚至UnCV的一部分(例如，车轮、车窗、保险杠、前灯、保险杠等)的尺寸。当与焦距和/或图像传感器信息组合时，UnCV的部分或全部的尺寸信息可以允许确定 UnCV相对于传感器的距离。
在方框706中，UnCV动力学特性处理器254可以检查提取出的纹理特征，以识别图像中的UnCV或其部分(例如，车轮、车窗、保险杠、前灯、保险杠等)的位置信息。当与图像传感器的朝向组合时，该位置信息可以用于识别相对于图像传感器朝向的UnCV朝向。
在一些实施例中，UnCV动力学特性处理器254可以包括一个或多个位置识别模型或其它算法，以辅助距离和朝向确定。可以利用包含相对于图像传感器在不同距离和朝向拍摄的不同模型的车辆平台的图像来训练一个或多个位置识别模型。一旦经过训练，这些位置识别模型就可以用于预测捕获的UnCV相对于图像传感器的相对距离和朝向。基于确定的UnCV的相对距离和朝向以及图像传感器的纬度和经度坐标，UnCV动力学特性处理器254可以在方框708和方框 710中确定UnCV的纬度信息和经度信息。
在一些实施例中，相机传感器113可以拍摄UnCV的一系列图像。然后可以确定UnCV的一系列经度坐标和纬度坐标，其中经度和纬度坐标的每个集合具有对应的时间戳。然后，UnCV动力学特性处理器254可以基于具有对应时间戳的一系列经度和纬度坐标生成 UnCV的动力学特性。如果在道路区域中识别出多于一个UnCV，那么可以类似地确定每个UnCV的动力学特性。一旦确定了每个CV 和每个识别出的UnCV的动力学特性，就可以有效地确定道路区域的交通状态。
图8A是用于估计交通状况的示例方法的流程图。如图所示，可以在不同级别估计交通状况，以在生成动态道路地图时提供不同级别的细节。方法800示出了用于估计道路链路级别的交通状况的示例方法，而方法840示出了用于估计车道级别的交通状况的示例方法。
在方框810中，道路交通估计器256可以估计道路链路的平均速度。为了估计特定道路链路的平均速度，道路交通估计器256可以首先确定该特定道路链路内的车辆。道路交通估计器256可以检查CV 的位置并将它们的地理定位信息与既定的道路链路进行比较，以识别哪些CV位于道路链路内。道路链路内识别出的CV还可以报告其动态状况，诸如速度、方向等。基于识别出的CV，还可以基于从每个识别出的CV检测到的UnCV来识别该道路链路中的UnCV。可替代地，用于每个UnCV的确定的经度和纬度信息也可以用于识别道路链路中的UnCV。还可以识别这些识别出的UnCV的动态状况。然后可以通过将每个CV和每个识别出的UnCV的速度求平均来确定该特定道路链路的平均速度。
在方框812中，道路交通估计器256可以估计特定道路链路的平均密度。在一些实施例中，可以通过对在某个时段中通过该道路链路的CV和识别出的UnCV的总数进行计数来简单地计算平均密度估计。但是，这可以为驾驶员提供非常有限的信息来确定他或她是应当减速还是加速，因为道路类型和限速随道路变化很大。例如，对于在高速公路的一部分上开70英里/小时的车辆，驾驶员可以确定需要减速，直到每条车道每小时行驶的车辆数量达到每小时1300车辆的流动速率。但是，对于在街道的一部分上行驶35英里/小时的车辆，驾驶员可能感觉有必要在低得多的流动速率时减速。
在一些实施例中，平均密度的估计可以考虑其它因素，诸如自由流速(例如，如果没有拥堵或诸如恶劣天气之类的其它不利条件的话车辆将行驶的速度)、车辆平均速度、容量、堵塞密度等，以提供更准确的密度估计。道路交通估计器256可以包括在确定平均密度时考虑这些因素的算法。计算出的平均密度可以由指标或指数指示，其中不同的数字或标记表示特定道路链路的不同平均密度。基于这个平均密度指标或指数，驾驶员可以对他或她周围有多拥挤有更好的感觉。
在方框814中，道路交通估计器256可以估计通过道路链路的行驶时间。这可以基于估计的平均速度和道路链路长度来实现。在方框 816中，地图应用124还可以估计道路链路的平均延迟。这可以包括监视车辆通过道路链路的实际时间，然后将其与通过道路链路的预期时间进行比较。可以基于自由流速确定预期时间，或者仅基于该道路链路中的道路限速来确定预期时间。
在方框818中，道路交通估计器256还可以估计道路链路中的特定交叉路口的平均延迟。这可以包括比较通过交叉路口的预期时间与通过交叉路口的实际时间。基于从交通管制机构提取的数据，或者基于在前面没有车辆的车道中在交叉路口后面的第一辆车的等待时间，预期时间可以简单地采用由交通信号给出的时间。通过总结针对所有车辆的交叉路口延迟，然后可以获得平均交叉路口延迟。
在某些情况下，道路链路中的估计的交通时间和延迟仅可以提供关于区域中的交通情况的粗略估计。对交通情况的更准确的估计可以需要每条车道的更多细节。对于具有频繁转弯的繁忙交通区域、高速公路入口和出口等，尤其如此。仅仅道路链路级别的估计可能无法为车辆提供估计通过区域所花费的时间的足够信息。例如，左转弯或右转弯会比一般的向前驾驶花费额外的时间，并且高速公路中的拼车专用车道(car-pool lane)中的交通会具有与具有频繁出口或入口的最外车道中的交通不同的平均速度。因此，交通情况的车道级估计可以提供关于真实交通情况的更准确信息。为了估计车道级交通状况，可能必须识别区域中的每个车辆平台的车道信息。可以基于其GPS信息直接识别CV的车道信息。可以基于确定的UnCV相对于图像传感器的经度和纬度信息来确定UnCV的车道信息，如图8B中进一步描述的。
图8B示出了确定用于识别出的UnCV的具体车道的示例场景。对于识别出的UnCV，其相对于图像传感器的距离和朝向可以由 UnCV动力学特性处理器254估计，如本文其它地方所描述的。然后可以相应地确定它相对于相关联CV的经度和纬度信息。所确定的相对纬度信息可以被用于确定识别出的UnCV的车道信息。如图8B中所示，三个UnCV 103h、103k和103m的相对纬度距离分别是长度 856、854和852。通过将856、854、852的长度与道路车道的宽度 (可以从静态道路地图或GPS导航系统中提取)进行比较，当与每个UnCV相对于图像传感器113的相对朝向组合时，可以允许确定每个UnCV的车道信息。可以确定UnCV 103h、103k和103m分别在车道2'、1和2中。
返回到图8A，在确定识别出的UnCV的车道信息之后，可以在方法840中进一步确定每条车道的交通状况。在方框820、822、824、826和828中，道路交通估计器256还执行多个车道级交通状况估计。基于针对UnCV和CV确定的动力学特性以及识别出的UnCV和CV 的识别出的车道信息，还可以确定每个车道的平均速度、平均密度、平均行驶时间、平均延迟和平均交叉路口延迟。在确定或估计每个交通特征之后，可以立即生成动态道路地图。
图9是用于生成动态道路地图320的示例方法的流程图。在一些实施例中，动态道路地图生成可以包括两个阶段，数据收集中的第一阶段和数据编译中的第二阶段。如图所示，数据收集中的第一阶段可以包括在方框902中收集交通状况、在方框904中收集路边基础设施信息、在方框906中收集静态道路地图等。路边基础设施的集合还可以包括在方框912中收集路边标志、在方框914收集事故信息、在 916中收集路边施工信息、在方框918中收集交通信号信息等。在阶段2，动态道路地图生成器260可以编译所收集的信息，以生成经编译的动态道路地图。
在收集用于生成动态道路地图的信息时，动态道路地图生成器 260可以依赖由其它应用(例如，多视点观察应用102)和/或地图应用124的不同部件(例如，CV动力学特性处理器252、UnCV动力学特性处理器254、道路交通估计器256、路边基础设施监视器258) 确定的信息。在一些实施例中，可以直接从车辆数据库121、服务器101中的数据存储库126和/或从与(一个或多个)第三方服务器205 相关联地存储的数据中检索信息。
在一些实施例中，数据收集阶段还可以包括将非结构化数据转换为结构化数据。例如，从(一个或多个)第三方服务器205和/或系统100的其它实体收集的信息可能是大量文本化的和非结构化的，因此需要转换成结构化数据以供稍后编译以生成动态道路地图。
在方框910中，动态道路地图生成器260可以编译所收集的信息以生成动态道路地图。动态道路地图生成器260可以应用不同的技术来生成动态道路地图。在一些实施例中，动态道路地图生成器260可以采用叠加(overlaying)技术来生成动态道路地图。生成的动态道路地图可以包括按时间帧分层的数字地图的分层结构。以这种方式生成的分层动态道路地图可以包括多个链接的层，每个层提供与上面收集的交通相关信息的不同方面相关的信息。例如，分层的动态道路地图可以包括第一基本地图层、第二道路基础设施层和第三交通状况层。来自第二层和第三层的信息的组织可以基于与第一层中的基本地图对应的地理定位信息，然后可以将其叠加到基本地图层中，以生成动态道路地图。在一些实施例中，还可以在生成动态道路地图时准备和同步不同层的不同缩放级别。不同的缩放级别可以包括不同的信息细节，使得如果用户希望获得关于动态道路地图中的主体的更多信息，那么可以在更放大的级别查看所生成的动态道路地图。
在一些实施例中，除了从由CV捕获的图像中提取的或从路边单元收集的信息之外，所描述的第二道路基础设施层还可以包括附加信息。例如，第二基础设施层可以包括从(一个或多个)第三方服务器 105拉取的交通规则信息、天气预报信息等。例如，通过检测车辆平台103的超速活动，所生成的警报可以包括用于呈现给车辆平台103 的乘坐者的确切罚款金额。确切罚款金额可以基于这个道路基础设施层中包括的交通规则信息来确定。再例如，如果这个层中的天气预报信息指示在特定时间和区域下雨的可能性为100％，那么可以调节限速，以在生成的动态道路地图中反映该特定时间和区域的预期天气条件。
在一些实施例中，所描述的第三交通状况层可以包括与道路交通估计器256确定的交通状况相关的其它信息。例如，第三交通状况层可以包括从(一个或多个)第三方服务器105或从与车辆平台103相关联的传感器113拉取的天气信息、事件信息等。例如，当检测到车辆平台103进入由于足球比赛而拥挤的区域时，第三状态层可以提供这个时刻的平均延迟，以及下一个特定时段(例如，30分钟、1小时等)的可能延迟，这可以基于比赛的开始时间和结束时间以及比赛日的过去经验来确定。又例如，第三交通状况层还可以包括可以影响交通速度的天气信息。例如，由传感器113检测或从第三方服务器105 拉取的大雪可以影响动态道路地图中的平均延迟、平均速度、平均行驶时间等的估计。在一些实施例中，生成的动态道路地图320可以附加地向车辆乘坐者呈现这些事件信息、天气信息等，以解释导致估计的延迟的原因(在有或没有用户请求的情况下)。
应当理解的是，在生成动态道路地图时的确切层数和每层中包括什么信息可以变化并且与上述不同。例如，可能存在第四层，其包括可以从由CV捕获的图像中识别的交通区域内的其它移动物体(诸如行人、动物、自行车、坐轮椅的人、乘滑板车的人、或者甚至机器人等)的信息。在一些实施例中，在生成动态道路地图时可以存在多于或少于三个层。不同的层还可以不按与上述完全相同的次序组织或编译，或者每层中包括的信息可以不与上述完全相同，而是可以为了不同目的而改变和重新混合。生成动态道路地图的其它实施例和方法也是预期的。
图10是用于实现所生成的动态道路地图的应用的示例方法的流程图。一旦被生成，动态道路地图就可以集成到公共或私有设置的许多应用中。对于公共应用，它可以被用于增强本地交通控制和管理 (例如，辅助实际事故位点的通知、辅助交通信号修改以缓解严重交通拥堵区域、道路链路或车道等)。对于私有应用，它可以被用于导航应用和路径规划，等等。
在方框1002中，系统100可以将生成的动态道路地图320集成到各种应用中。在一些实施例中，动态道路地图320的集成可以采用有线或无线通信来向对应的终端提供实时交通信息。在一些实施例中，动态道路地图320一旦被生成或更新就可以无缝地并且立即发送到对应的终端(例如，经由有线或无线通信发送到与车辆相关联的导航应用)。在一些实施例中，动态道路地图320可以以(与地图更新速率相比)相对较低的频率发送到其它终端，以节省通信带宽。例如，动态道路地图可以每1、2或3分钟或甚至更长时间被发送到其它终端，或者仅仅直到存在显著改变(例如，改变的平均车道延迟)才发送。在一些实施例中，可以直到接收到请求才发送动态道路地图。
在方框1012中，地图应用124可以生成并显示基于动态道路地图数据提供导航功能的图形用户界面。例如，动态道路地图可以被集成到由地图应用124显示的地图和路线中。在一些实施例中，地图应用124可以基于动态道路地图数据将交通相关信息叠加到覆盖用户位置的地图上。在一些实施例中，可以利用用户提示和/或警告动态地显示与情境高度相关的信息。
车辆平台103可以包括耦接到总线154的(一个或多个)输出设备，其可以包括被配置为向用户或其它设备输出或显示信息的任何设备，诸如但不限于用于显示通知、导航信息、多媒体信息、设置等的触摸屏，用于递送声音信息的音频再现设备(例如，扬声器)，用于向用户呈现文本或图形信息的显示器/监视器等。输出信息可以是可以由驾驶员和/或乘客或其它设备理解的文本、图形、触觉、音频、视频和其它信息，或者可以是车辆平台103和/或其它计算设备的操作系统可读取的数据、逻辑、编程。(一个或多个)输出设备可以直接或通过中间控制器耦接到车辆平台103的其它部件。在一些实现中， (一个或多个)输出设备130的集合可以被包括在控制面板中或形成控制面板，人可以与该控制面板交互以调节车辆平台103的设置和/ 或控制(例如，驾驶员控制、信息娱乐控制、导向控制、安全控制等)。
在一些实施例中，计算系统152可以执行控制或地图应用124，其可以接收驾驶员或乘客输入并对该输入进行处理(例如，解释按钮按压、语音命令等)，并且实现与命令对应的动作、选择加入自主控制、选择导航路线、接收交通情况的警报等。例如，地图应用124可以呈现关于交通情况和/或其它附近或接近的情况的信息。(一个或多个)输出设备可以直接或通过中间控制器耦接到车辆平台103的其它部件。在一些实现中，(一个或多个)输出设备的集合可以被包括在控制面板中或形成控制面板，人可以与该控制面板交互以调节车辆平台103的设置和/或控制(例如，驾驶员控制、信息娱乐控制、导向控制、安全控制、高级驾驶员辅助系统(ADAS)设置和/或控制等)。
车辆平台103可以配备有各种车载ADAS，车载ADAS是在驾驶过程中辅助驾驶员的车载系统，并且通常增加车辆和道路安全性。示例ADAS包括但不限于自适应巡航控制(ACC)、无眩光远光和像素光、自适应灯控制(例如，旋转曲线灯)、防抱死制动系统、自动停车、具有用于提供最新交通信息的典型GPS和TMC的汽车导航系统、汽车夜视、盲点监视、防撞系统(预碰撞系统)、侧风稳定、巡航控制、驾驶员瞌睡检测、驾驶员监视系统、用于混合动力和插电式电动车辆的电动车辆警告声、紧急驾驶员辅助系统、前方碰撞警告、交叉路口辅助系统、坡道下降控制、智能速度调整或智能速度建议 (ISA)、车道保持辅助系统、车道偏离警告系统、车道变换辅助、夜视、停车传感器、行人保护系统、恶劣天气检测、环视系统、胎压监视、交通标志识别、转弯辅助、车辆通信系统、错误方式驾驶警告，等等。
与车辆控制系统或地图应用124相关联，用户可以选择耦接到总线154的专用硬件按钮和/或在车辆平台的(耦接到总线154的)触敏显示器上呈现的数字按钮，或经由语音系统(例如，耦接到总线 154的麦克风等)发出语音命令，等等。车辆平台103可以包括一个或多个输入设备130，其可以包括被配置为从人或其它设备接收各种控制输入(例如，手势、语音控制)的任何标准设备。非限制性示例输入设备130可以包括用于输入文本信息、进行选择以及与用户115 交互的触摸屏；运动检测输入设备；音频输入设备；其它基于触摸的输入设备；键盘；指针设备；指示器；和/或用于促进与人或其它设备的通信和/或交互的任何其它输入部件。(一个或多个)输入设备可以直接或者通过中间控制器耦接到车辆平台103的其它部件，以中继从人和/或(一个或多个)传感器接收的输入/信号。
在示例中，地图应用124可以在图形用户界面中提供区域的交通密度指示、估计的延迟、车道级平均速度、通过计划路线的时间等，并向车辆乘坐者将其显示在计算机设备152的显示器(例如，仪表板内显示器、用户的便携式电子设备的显示器、抬头显示器等)上。乘坐者可以基于车辆的动态地图数据和/或(一个或多个)动力学特性等选择改变路线、接受地图应用124的推荐路线改变。
在一些实施例中，地图应用124可以基于生成的动态道路地图促进辅助和/或自动驾驶。例如，动态道路地图可以被集成到由处理器 115执行的驾驶辅助系统中，以启用通过自动监视、警报、制动、转向活动等的即时反应。例如，当车辆开启用于左车道改变的信号时，来自动态道路地图的实时数据可以检测从后面以高速经过的左车道车辆。可以基于动态道路地图自动生成警报通知，以(例如，经由一个或多个输出设备(例如，在显示器上、经由音频、触觉振动等)向车辆的(一个或多个)乘坐者警告潜在的风险。在一些情况下，警报通知可以包括用于车辆的ADAS的命令，诸如碰撞避免、自动制动和/ 或障碍物躲避等。ADAS可以控制车辆的一个或多个致动器128，以帮助确保乘坐者和其他人的安全。
在示例中，可以基于来自动态道路地图的信息生成一个或多个指令，并且由车辆的计算设备(例如，ECU、计算机处理器和/或车辆操作系统等)处理，以控制移动的车辆平台的一个或多个致动器128 (例如，加速器、制动系统、转向系统等、致动器等)，其进而导航车辆平台以避免潜在风险。
在方框1014中，地图应用128可以将生成的动态道路地图集成到路径/路线规划中。路径/路线规划可以取决于各种参数，诸如交通状况、限速、驾驶员的目标等。在一些实施例中，动态道路地图到路径/路线规划的集成可以在不同级别发生。例如，集成可以包括全局级别集成，用于在考虑地图中注释的交通之后生成到达目标位置或目的地的可能的平滑、全局路径/路线。该集成还可以包括用于在具体区域中生成平滑轨迹(例如，哪条(哪些)车道)的局部级别集成。例如，基于来自动态道路地图的平均车道延迟的信息，路径/路线规划中的局部级别集成可以包括辅助选择在全局级别中选择的路线的每个部分的具体车道。在一些实施例中，可以动态更新所选择的路径/ (一个或多个)车道，以对从更新后的动态道路地图识别出的交通改变做出响应，从而允许车辆平稳地导航通过高度动态的区域。
在方框1016中，系统100可以将生成的动态道路地图集成到交通控制和管理平台或系统中。这可以包括将动态道路地图320集成到辅助监视和控制与交通相关的活动的任何公共或私有平台中。例如，系统100可以与城市控制中心共享生成的动态道路地图以辅助监视城市的交通，或者将动态道路地图集成到个人导航应用以辅助它们的导航。在一些实施例中，系统100还可以从动态道路地图中提取某些相关信息，并将其发送到潜在接收者或甚至发送到公共媒体以共享相关信息。例如，系统100可以自动生成针对事故、拥堵、要避免的区域等的一个或多个警报，并将警报发送到相应的部门、人员或社交媒体平台以与公众共享。生成的动态道路地图320可以向这些公共和私有平台提供集成的、有洞察力的、非常详细的和综合的信息源，以促进更智能、高效的控制，从而改善交通流和运输的安全性。
在以上描述中，出于解释的目的，阐述了许多具体细节以便提供对本公开的透彻理解。但是，应当理解的是，可以在没有这些具体细节的情况下实践本文描述的技术。另外，各种系统、设备和结构以框图形式示出，以避免模糊本描述。例如，各种实现被描述为具有特定的硬件、软件和用户接口。但是，本公开适用于可以接收数据和命令的任何类型的计算设备，以及提供服务的任何外围设备。
在一些情况下，本文可以依据对计算机存储器内的数据位的操作的算法和符号表示来呈现各种实现。在这里并且一般而言，算法被认为是导致期望结果的自洽(self-consistent)操作集。操作是需要对物理量进行物理操纵的操作。通常，虽然不一定，这些量采取能够被存储、传送、组合、比较和以其它方式操纵的电信号或磁信号的形式。有时，主要出于通用的原因，已经证明将这些信号称为位、值、元素、符号、字符、项、数字等是方便的。
但是，应当记住的是，所有这些和类似术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便标签。除非如从以下讨论中明显地那样以其它方式具体说明，否则应当认识到的是，贯穿本公开，利用包括“处理”、“计算”、“运算”、“确定”、“显示”等术语的讨论是指计算机系统或类似电子计算设备的、将计算机系统的寄存器和存储器内的物理(电子)量表示的数据操纵和变换成类似地表示为计算机系统存储器或寄存器或者其它此类信息存储、传输或显示设备内的物理量的其它数据的动作和处理。
本文描述的各种实现可以涉及用于执行本文的操作的装置。这个装置可以为所需目的专门构造，或者它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这种计算机程序可以存储在计算机可读存储介质中，包括但不限于任何类型的盘，包括各自耦接到计算机系统总线的软盘、光盘、CD ROM和磁盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、包括具有非易失性存储器的USB密钥的闪存，或者适于存储电子指令的任何类型的介质。
本文描述的技术可以采用完全硬件实现、完全软件实现或包含硬件和软件元素两者的实现的形式。例如，该技术可以用软件实现，该软件包括但不限于固件、驻留软件、微代码等。此外，该技术可以采取可从计算机可用或计算机可读介质访问的计算机程序产品的形式，该计算机程序产品提供由计算机或任何指令执行系统使用或与计算机或任何指令执行系统结合使用的程序代码。为了本描述的目的，计算机可用或计算机可读介质可以是任何非瞬态存储装置，其可以包含、存储、传送、传播或运输由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。
适于存储和/或执行程序代码的数据处理系统可以包括直接或通过系统总线间接耦接到存储器元件的至少一个处理器。存储器元件可以包括在程序代码的实际执行期间采用的本地存储器、大容量存储装置和高速缓冲存储器，其提供至少一些程序代码的临时存储，以便减少在执行期间必须从大容量存储装置检索代码的次数。输入/输出或 I/O设备(包括但不限于键盘、显示器、定点设备等)可以直接或通过中间I/O控制器耦接到系统。
网络适配器也可以耦接到系统，以使数据处理系统能够通过中间专用和/或公共网络耦接到其它数据处理系统、存储设备、远程打印机等。无线(例如，Wi-FiTM)收发器、以太网适配器和调制解调器仅是网络适配器的几个示例。专用和公共网络可以具有任何数量的配置和/或拓扑。可以使用各种不同的通信协议(包括例如各种互联网层、传输层或应用层协议)经由网络在这些设备之间发送数据。例如，可以使用传输控制协议/互联网协议(TCP/IP)、用户数据报协议 (UDP)、传输控制协议(TCP)、超文本传输协议(HTTP)、安全超文本传输协议(HTTPS)、HTTP上的动态自适应流传输 (DASH)、实时流传输协议(RTSP)、实时传输协议(RTP)和实时传输控制协议(RTCP)、互联网协议语音(VOIP)、文件传输协议(FTP)、WebSocket(WS)、无线接入协议(WAP)、各种消息传递协议(SMS、MMS、XMS、IMAP、SMTP、POP、WebDAV等)或其它已知协议经由网络发送数据。
最后，本文呈现的结构、算法和/或接口并不固有地与任何特定计算机或其它装置相关。根据本文的教导，各种通用系统可以与程序一起使用，或者可以证明构造更专用的装置以执行所需的方法块是方便的。从上面的描述中可以看出各种这些系统所需的结构。此外，没有参考任何特定的编程语言描述本说明书。将认识到的是，可以使用各种编程语言来实现如本文描述的说明书的教导。
已经出于说明和描述的目的呈现了前面的描述。其并非旨在是详尽的或将说明书限制到所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。意图是本公开的范围不受本具体实施方式的限制，而是受本申请的权利要求书的限制。如本领域技术人员将理解的，在不脱离本说明书的精神或基本特点的情况下，本说明书可以以其它具体形式实施。同样，模块、例程、特征、属性、方法和其它方面的特定命名和划分不是强制性的或重要的，并且实现说明书或其特征的机制可以具有不同的名称、划分和/或格式。
此外，本公开的模块、例程、特征、属性、方法和其它方面可以被实现为软件、硬件、固件或前述的任意组合。而且，在说明书的部件(其示例是模块)被实现为软件的任何地方，该部件可以被实现为独立程序、实现为更大程序的一部分、实现为多个单独的程序、实现为静态或动态链接库、实现为内核可加载模块、实现为设备驱动程序，和/或以现在或将来已知的每种和任何其它方式实现。此外，本公开绝不以任何方式限于以任何具体编程语言或者针对任何具体操作系统或环境的实现。

Claims (24)

1.一种方法，包括：
确定第一车辆平台的当前地理位置；
使用第一车辆平台的一个或多个传感器，确定第一车辆平台的一个或多个第一车辆动力学特性；
接收由与第一车辆平台相关联的一个或多个车辆平台传感器捕获的第一图像集合，所述第一图像集合与位于第一车辆平台附近的第二车辆平台相关；
基于由第一车辆平台的所述一个或多个车辆平台传感器捕获的第一图像集合确定第二车辆平台的一个或多个第二动力学特性；以及
基于第一车辆平台的所述一个或多个动力学特性以及第二车辆平台的所述一个或多个第二动力学特性，生成动态道路地图；以及
基于所述动态道路地图，导航第一车辆平台、第二车辆平台和相对于第一车辆平台或第二车辆平台的另一个车辆平台中的一个或多个。
2.如权利要求1所述的方法，还包括：
接收由与第三车辆平台相关联的一个或多个车辆平台传感器捕获的第二图像集合，所述第二图像集合与第二车辆平台相关；以及
基于从第一车辆平台捕获的第一图像集合与从第三车辆平台捕获的第二图像集合的比较来确定第二车辆平台的身份。
3.如权利要求1所述的方法，其中基于从第一车辆平台捕获的第一图像集合确定第二车辆平台的所述一个或多个动力学特性包括：
检测从第一车辆平台捕获的第一图像集合中的第一物体；
确定第一图像集合中的第一物体是驾驶相关的；
并且通过确定第一物体的一个或多个动力学特性来确定第二车辆平台的所述一个或多个动力学特性。
4.如权利要求1所述的方法，其中基于从第一车辆平台捕获的第一图像集合确定第二车辆平台的所述一个或多个动力学特性包括：
基于从第一车辆平台捕获的第一图像集合确定与第一车辆平台相关的第二车辆平台的相对纬度信息和经度信息；以及
基于与第一车辆平台相关的第二车辆平台的相对纬度信息和经度信息及第一车辆平台的所述一个或多个动力学特性来确定第二车辆平台的所述一个或多个动力学特性。
5.如权利要求1所述的方法，其中基于第一车辆平台的所述一个或多个动力学特性以及第二车辆平台的所述一个或多个动力学特性生成动态道路地图包括：
确定基于道路链路的交通信息，所述基于道路链路的交通信息包括道路链路平均速度、道路链路平均密度、道路链路行驶时间、道路链路平均延迟及道路链路交叉路口平均延迟中的一个或多个；
确定基于车道的交通信息，所述基于车道的交通信息包括车道平均速度、车道平均密度、车道平均延迟、车道行驶时间、车道平均延迟及车道交叉路口平均延迟中的一个或多个；以及
将基于道路链路的交通信息和基于车道的交通信息集成到静态道路地图中，以生成动态道路地图。
6.如权利要求1所述的方法，其中第一车辆平台是配备有用于无线数据通信的网络接入的联网车辆平台，并且第二车辆平台是没有网络接入的未联网车辆平台。
7.如权利要求1所述的方法，其中生成动态道路地图还包括：
确定一个或多个联网车辆平台的一个或多个动力学特性；
基于由所述一个或多个联网车辆平台中的一个或多个联网车辆平台的一个或多个车辆平台传感器捕获的一个或多个图像确定一个或多个未联网车辆平台的一个或多个动力学特性；以及
基于所述一个或多个联网车辆平台的所述一个或多个动力学特性和未联网车辆平台中的所述一个或多个未联网车辆平台的所述一个或多个动力学特性生成动态道路地图。
8.如权利要求1所述的方法，其中由与第一车辆平台相关联的所述一个或多个车辆平台传感器捕获的第一图像集合包括由与第一车辆平台相关联的所述一个或多个车辆平台传感器中的一个车辆平台传感器在时间窗口中捕获的第二车辆平台的一系列图像。
9.如权利要求1所述的方法，还包括：
基于由第一车辆平台的所述一个或多个车辆平台传感器捕获的第一图像集合确定一个或多个路边基础设施信息；以及
基于所述一个或多个路边基础设施信息生成动态道路地图。
10.如权利要求1所述的方法，还包括：
确定第三车辆平台的一个或多个动力学特性；
基于第三车辆平台的所述一个或多个动力学特性和生成的动态道路地图，为第三车辆平台生成一个或多个指令；以及
根据所述一个或多个指令控制第三车辆平台的一个或多个致动器，以导航第三车辆平台。
11.如权利要求1所述的方法，还包括：
识别来自与移动平台相关联的一个设备的对路线计划的请求；
基于动态路线地图识别一条或多条候选路线的车道级交通状况；以及
基于所述一条或多条候选路线的车道级交通状况确定最佳路线。
12.如权利要求1所述的方法，还包括：
基于动态道路地图的信息生成一个或多个警报；以及
将所述一个或多个警报发送给相应方以引起他们的注意。
13.一种系统，包括：
一个或多个处理器，包括能执行以执行操作的逻辑，所述操作包括:
确定第一车辆平台的当前地理位置；
使用第一车辆平台的一个或多个传感器，确定第一车辆平台的一个或多个第一车辆动力学特性；
接收由与第一车辆平台相关联的一个或多个车辆平台传感器捕获的第一图像集合，所述第一图像集合与位于第一车辆平台附近的第二车辆平台相关；
基于由第一车辆平台的所述一个或多个车辆平台传感器捕获的第一图像集合确定第二车辆平台的一个或多个第二动力学特性；
以及
基于第一车辆平台的所述一个或多个动力学特性以及第二车辆平台的所述一个或多个第二动力学特性生成动态道路地图；
基于所述动态道路地图，导航第一车辆平台、第二车辆平台和相对于第一车辆平台或第二车辆平台的另一个车辆平台中的一个或多个。
14.如权利要求13所述的系统，还包括：
接收由与第三车辆平台相关联的一个或多个车辆平台传感器捕获的第二图像集合，所述第二图像集合与第二车辆平台相关；以及
基于从第一车辆平台捕获的第一图像集合与从第三车辆平台捕获的第二图像集合的比较来确定第二车辆平台的身份。
15.如权利要求13所述的系统，其中基于从第一车辆平台捕获的第一图像集合确定第二车辆平台的动力学特性包括：
检测从第一车辆平台捕获的第一图像集合中的第一物体；
确定第一图像集合中的第一物体是驾驶相关的；
并且通过确定第一物体的一个或多个动力学特性来确定第二车辆平台的所述一个或多个动力学特性。
16.如权利要求13所述的系统，其中基于从第一车辆平台捕获的第一图像集合确定第二车辆平台的动力学特性包括：
基于从第一车辆平台捕获的第一图像集合确定与第一车辆平台相关的第二车辆平台的相对纬度信息和经度信息；以及
基于与第一车辆平台相关的第二车辆平台的相对纬度信息和经度信息及第一车辆平台的所述一个或多个动力学特性来确定第二车辆平台的所述一个或多个动力学特性。
17.如权利要求13所述的系统，其中基于第一车辆平台的动力学特性、第二车辆平台的动力学特性以及路边基础设施信息生成动态道路地图包括：
确定基于道路链路的交通信息，所述基于道路链路的交通信息包括道路链路平均速度、道路链路平均密度、道路链路行驶时间、道路链路平均延迟及道路链路交叉路口平均延迟中的一个或多个；
确定基于车道的交通信息，所述基于车道的交通信息包括车道平均速度、车道平均密度、车道平均延迟、车道行驶时间、车道平均延迟及车道交叉路口平均延迟中的一个或多个；以及
将基于道路链路的交通信息和基于车道的交通信息集成到静态道路地图中，以生成动态道路地图。
18.如权利要求13所述的系统，其中第一车辆平台是配备有用于无线数据通信的网络接入的联网车辆平台，并且第二车辆平台是没有网络接入的未联网车辆平台。
19.如权利要求13所述的系统，其中生成动态道路地图还包括：
确定一个或多个联网车辆平台的一个或多个动力学特性；
基于由所述一个或多个联网车辆平台中的一个或多个联网车辆平台的一个或多个车辆平台传感器捕获的一个或多个图像确定一个或多个未联网车辆平台的一个或多个动力学特性；以及
基于所述一个或多个联网车辆平台的所述一个或多个动力学特性和未联网车辆平台中的所述一个或多个未联网车辆平台的所述一个或多个动力学特性生成动态道路地图。
20.如权利要求13所述的系统，其中由与第一车辆平台相关联的所述一个或多个车辆平台传感器捕获的第一图像集合包括由与第一车辆平台相关联的所述一个或多个车辆平台传感器中的一个车辆平台传感器在时间窗口中捕获的第二车辆平台的一系列图像。
21.如权利要求13所述的系统，还包括：
基于由第一车辆平台的所述一个或多个车辆平台传感器捕获的第一图像集合确定一个或多个路边基础设施信息；以及
基于所述一个或多个路边基础设施信息生成动态道路地图。
22.如权利要求13所述的系统，还包括：
确定第三车辆平台的一个或多个动力学特性；
基于第三车辆平台的所述一个或多个动力学特性和生成的动态道路地图，为第三车辆平台生成一个或多个指令；以及
根据所述一个或多个指令控制第三车辆平台的一个或多个致动器，以导航第三车辆平台。
23.如权利要求13所述的系统，还包括：
识别来自与移动平台相关联的一个设备的对路线计划的请求；
基于动态路线地图识别一条或多条候选路线的车道级交通状况；以及
基于所述一条或多条候选路线的车道级交通状况确定最佳路线。
24.如权利要求13所述的系统，还包括：
基于动态道路地图的信息生成一个或多个警报；以及
将所述一个或多个警报发送给相应方以引起他们的注意。
CN201910268235.1A 2018-04-05 2019-04-04 利用联网汽车的实时交通监视 Active CN110349405B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/946,686 US10867510B2 (en) 2018-04-05 2018-04-05 Real-time traffic monitoring with connected cars
US15/946,686 2018-04-05

Publications (2)

Publication Number Publication Date
CN110349405A true CN110349405A (zh) 2019-10-18
CN110349405B CN110349405B (zh) 2022-07-05

Family

ID=68097246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910268235.1A Active CN110349405B (zh) 2018-04-05 2019-04-04 利用联网汽车的实时交通监视

Country Status (3)

Country Link
US (1) US10867510B2 (zh)
JP (1) JP6835121B2 (zh)
CN (1) CN110349405B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113022474A (zh) * 2019-12-09 2021-06-25 本田技研工业株式会社 车辆控制系统
CN116324922A (zh) * 2020-10-16 2023-06-23 埃尔构人工智能有限责任公司 用于智能基础设施的多模态传送能力的系统和方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017208854A1 (de) * 2017-05-24 2018-11-29 Volkswagen Aktiengesellschaft Verfahren, Vorrichtungen und computerlesbares Speichermedium mit Instruktionen zum Ermitteln von geltenden Verkehrsregeln für ein Kraftfahrzeug
US10401862B2 (en) 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
US10713940B2 (en) 2017-10-31 2020-07-14 Waymo Llc Detecting and responding to traffic redirection for autonomous vehicles
US10950130B2 (en) 2018-03-19 2021-03-16 Derq Inc. Early warning and collision avoidance
US11585672B1 (en) * 2018-04-11 2023-02-21 Palantir Technologies Inc. Three-dimensional representations of routes
CN109003448B (zh) * 2018-08-02 2021-07-16 北京图森智途科技有限公司 一种交叉路口的导航方法、设备及系统
EP3856596A4 (en) 2018-09-30 2022-10-12 Strong Force Intellectual Capital, LLC INTELLIGENT TRANSPORT SYSTEMS
US11486721B2 (en) 2018-09-30 2022-11-01 Strong Force Intellectual Capital, Llc Intelligent transportation systems
US11295615B2 (en) 2018-10-29 2022-04-05 Here Global B.V. Slowdown events
EP3667512A1 (en) * 2018-12-11 2020-06-17 Siemens Aktiengesellschaft A cloud platform and method for efficient processing of pooled data
US11690128B2 (en) * 2019-03-11 2023-06-27 Fujitsu Limited Digital representations of physical intelligent moving objects
JP7123845B2 (ja) * 2019-03-29 2022-08-23 本田技研工業株式会社 車両制御システム
US11100794B2 (en) * 2019-04-15 2021-08-24 Here Global B.V. Autonomous driving and slowdown patterns
CN114586082A (zh) 2019-08-29 2022-06-03 德尔克股份有限公司 增强的车载装备
KR20210056632A (ko) * 2019-11-11 2021-05-20 삼성전자주식회사 메시지 기반의 영상 처리 방법 및 이를 구현하는 전자 장치
CN112804278A (zh) * 2019-11-14 2021-05-14 黄玄 一种基于影像辨识的交通路况车联网系统
TWI717102B (zh) * 2019-11-14 2021-01-21 黃玄 基於影像辨識之交通路況車聯網系統
KR102458283B1 (ko) * 2019-12-16 2022-10-21 유경학 개인 이동수단용 네비게이션 서비스 제공 방법 및 이에 사용되는 관리 서버
JP7047001B2 (ja) * 2020-02-18 2022-04-04 ソフトバンク株式会社 交通リスク低減プログラム、情報処理装置及び方法
US11482109B2 (en) 2020-03-02 2022-10-25 Toyota Motor Eng & Mfg North America, Inc. Cooperative vehicle monitoring
JP7463146B2 (ja) * 2020-03-17 2024-04-08 本田技研工業株式会社 移動体監視システム、及び移動体監視方法
CN113494920A (zh) * 2020-03-20 2021-10-12 深圳市超捷通讯有限公司 导航路线规划方法、装置及存储介质
US11455890B2 (en) * 2020-03-23 2022-09-27 Toyota Motor Eng & Mfg North America, Inc. Traffic-adaptive deployment of vehicle functions
US11443242B2 (en) * 2020-04-21 2022-09-13 International Business Machines Corporation Iterative training of a machine learning model
US20220028273A1 (en) * 2020-07-24 2022-01-27 Autobrains Technologies Ltd Bypass assistance
US20230332920A1 (en) * 2020-09-07 2023-10-19 Sumitomo Electric Industries, Ltd. Vehicle-mounted apparatus, information distribution apparatus, driving assistance system, control method, and computer program
WO2022054430A1 (ja) * 2020-09-11 2022-03-17 住友電気工業株式会社 情報配信装置、車載装置、運転支援システム、制御方法及びコンピュータプログラム
CN112614360B (zh) * 2020-11-27 2022-04-05 深圳市跨越新科技有限公司 车辆限行信息发布服务方法及系统
US20230095194A1 (en) * 2021-09-30 2023-03-30 AyDeeKay LLC dba Indie Semiconductor Dynamic and Selective Pairing Between Proximate Vehicles
US11915584B2 (en) * 2021-10-27 2024-02-27 GM Global Technology Operations LLC Reverse operation detection systems and methods
JP2023078640A (ja) * 2021-11-26 2023-06-07 トヨタ自動車株式会社 車両撮影システムおよび車両撮影方法
GB2615074A (en) * 2022-01-25 2023-08-02 Mercedes Benz Group Ag A method, system and computer program product for collecting data of their surroundings from a plurality of motor vehicles by a data collection system, as w

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203149847U (zh) * 2012-12-12 2013-08-21 华创车电技术中心股份有限公司 路况分享服务器
CN104601642A (zh) * 2014-07-10 2015-05-06 腾讯科技（深圳）有限公司 实时路况分享方法、装置及系统
CN105788256A (zh) * 2016-03-30 2016-07-20 北京交通大学 基于车联网的路况信息感知方法
US20160210853A1 (en) * 2015-01-15 2016-07-21 Magna Electronics Inc. Vehicle vision system with traffic monitoring and alert
EP3121762A1 (en) * 2015-07-20 2017-01-25 Dura Operating, LLC Sensor fusion of camera and v2v data for vehicles
CN107145578A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 地图构建方法、装置、设备和系统
CN107195190A (zh) * 2017-07-19 2017-09-22 广东工业大学 一种路况信息分享系统
US20170278402A1 (en) * 2016-03-25 2017-09-28 Toyota Jidosha Kabushiki Kaisha Understanding Road Scene Situation and Semantic Representation of Road Scene Situation for Reliable Sharing
CN107229690A (zh) * 2017-05-19 2017-10-03 广州中国科学院软件应用技术研究所 基于路侧传感器的高精度动态地图数据处理系统及方法
US20180047287A1 (en) * 2016-08-10 2018-02-15 Panasonic Intellectual Property Corporation Of America Communication method and server
CN107798889A (zh) * 2016-09-06 2018-03-13 清华大学 导航信息分发方法及服务终端、分享方法及终端集群

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE487206T1 (de) 1998-11-23 2010-11-15 Integrated Transp Information System zur unmittelbaren verkehrsüberwachung
JP3487346B2 (ja) 2001-03-30 2004-01-19 独立行政法人通信総合研究所 道路交通監視システム
JP2005267579A (ja) * 2004-03-22 2005-09-29 Nec Corp 車両情報収集装置および車両情報収集方法
JP5009143B2 (ja) 2007-12-13 2012-08-22 住友電気工業株式会社 交通信号制御装置、プログラム及び方法
US7979198B1 (en) 2007-12-20 2011-07-12 Sprint Spectrum L.P. Vehicular traffic congestion monitoring through inter-vehicle communication and traffic chain counter
JP2009217376A (ja) * 2008-03-07 2009-09-24 Nissan Motor Co Ltd 交通情報生成システム、交通情報生成装置、及び交通情報生成方法
US8762035B2 (en) * 2008-05-19 2014-06-24 Waze Mobile Ltd. System and method for realtime community information exchange
WO2011116375A1 (en) * 2010-03-19 2011-09-22 Northeastern University Roaming mobile sensor platform for collecting geo-referenced data and creating thematic maps
WO2018017793A1 (en) * 2016-07-21 2018-01-25 Intelligent Technologies International, Inc. System and method for creating, updating, and using maps generated by probe vehicles
US20180240335A1 (en) * 2017-02-17 2018-08-23 International Business Machines Corporation Analyzing vehicle sensor data
US10437252B1 (en) * 2017-09-08 2019-10-08 Perceptln Shenzhen Limited High-precision multi-layer visual and semantic map for autonomous driving

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203149847U (zh) * 2012-12-12 2013-08-21 华创车电技术中心股份有限公司 路况分享服务器
CN104601642A (zh) * 2014-07-10 2015-05-06 腾讯科技（深圳）有限公司 实时路况分享方法、装置及系统
US20160210853A1 (en) * 2015-01-15 2016-07-21 Magna Electronics Inc. Vehicle vision system with traffic monitoring and alert
CN106485949A (zh) * 2015-07-20 2017-03-08 德韧营运有限责任公司 针对车辆的摄像机和v2v数据的传感器融合
EP3121762A1 (en) * 2015-07-20 2017-01-25 Dura Operating, LLC Sensor fusion of camera and v2v data for vehicles
US20170025017A1 (en) * 2015-07-20 2017-01-26 Dura Operating, Llc Sensor fusion of camera and v2v data for vehicles
US20170278402A1 (en) * 2016-03-25 2017-09-28 Toyota Jidosha Kabushiki Kaisha Understanding Road Scene Situation and Semantic Representation of Road Scene Situation for Reliable Sharing
CN105788256A (zh) * 2016-03-30 2016-07-20 北京交通大学 基于车联网的路况信息感知方法
US20180047287A1 (en) * 2016-08-10 2018-02-15 Panasonic Intellectual Property Corporation Of America Communication method and server
CN107798889A (zh) * 2016-09-06 2018-03-13 清华大学 导航信息分发方法及服务终端、分享方法及终端集群
CN107145578A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 地图构建方法、装置、设备和系统
CN107229690A (zh) * 2017-05-19 2017-10-03 广州中国科学院软件应用技术研究所 基于路侧传感器的高精度动态地图数据处理系统及方法
CN107195190A (zh) * 2017-07-19 2017-09-22 广东工业大学 一种路况信息分享系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113022474A (zh) * 2019-12-09 2021-06-25 本田技研工业株式会社 车辆控制系统
US11269345B2 (en) * 2019-12-09 2022-03-08 Honda Motor Co., Ltd. Vehicle control system
CN113022474B (zh) * 2019-12-09 2023-10-17 本田技研工业株式会社 车辆控制系统
CN116324922A (zh) * 2020-10-16 2023-06-23 埃尔构人工智能有限责任公司 用于智能基础设施的多模态传送能力的系统和方法

Also Published As

Publication number Publication date
US10867510B2 (en) 2020-12-15
CN110349405B (zh) 2022-07-05
JP6835121B2 (ja) 2021-02-24
JP2019185756A (ja) 2019-10-24
US20190311614A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
CN110349405A (zh) 利用联网汽车的实时交通监视
US11443555B2 (en) Scenario recreation through object detection and 3D visualization in a multi-sensor environment
US11861458B2 (en) Systems and methods for detecting and recording anomalous vehicle events
US11710251B2 (en) Deep direct localization from ground imagery and location readings
US11077850B2 (en) Systems and methods for determining individualized driving behaviors of vehicles
JP7188394B2 (ja) 画像処理装置及び画像処理方法
KR20200106131A (ko) 긴급 상황 시의 차량의 동작
US20220261601A1 (en) Multiple Stage Image Based Object Detection and Recognition
CN107111742A (zh) 在导航中对车道限制和施工区域的识别和预测
US20210389133A1 (en) Systems and methods for deriving path-prior data using collected trajectories
JP2024038331A (ja) 車両ナビゲーションのためのイベント情報のクラスタ化
DE102023111485A1 (de) Nachverfolgungssegmentbereinigung nachverfolgter objekte
DE112020002546T5 (de) Steuervorrichtung für autonomes fahren, steuersystem für autonomes fahren und steuerverfahren für autonomes fahren
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
CN115951326A (zh) 对象检测方法、系统和存储介质
CN115840441A (zh) 用于运载工具的方法、用于运载工具的系统和存储介质
US20240038065A1 (en) Managing traffic light detections
JP2024051893A (ja) エリア監視システムおよびエリア監視方法
KR20230167292A (ko) 융합된 합성 및 카메라 이미지들을 사용한 자율 주행 차량에서의 움직임 예측
JP2024051891A (ja) エリア監視システムおよびエリア監視方法
KR20240052911A (ko) 차선 경계 주석을 위한 통합 프레임워크 및 툴링
KR20230074396A (ko) 가상 에이전트들의 모션 예측
KR20230110145A (ko) 아이트래커 디바이스 및 라이다 포인트 클라이드 데이터를 사용하는 목표 결정
CN116534047A (zh) 用于自主运载工具的方法、系统和存储介质
CN115375728A (zh) 利用依赖性似然结构的多目标跟踪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant