CN111936947B - 基于众包对象数据映射确定自主车辆状态 - Google Patents

基于众包对象数据映射确定自主车辆状态 Download PDF

Info

Publication number
CN111936947B
CN111936947B CN201980024150.7A CN201980024150A CN111936947B CN 111936947 B CN111936947 B CN 111936947B CN 201980024150 A CN201980024150 A CN 201980024150A CN 111936947 B CN111936947 B CN 111936947B
Authority
CN
China
Prior art keywords
vehicle
data
detected
determining
vehicles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980024150.7A
Other languages
English (en)
Other versions
CN111936947A (zh
Inventor
G·戈洛夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micron Technology Inc
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of CN111936947A publication Critical patent/CN111936947A/zh
Application granted granted Critical
Publication of CN111936947B publication Critical patent/CN111936947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3614—Destination input or retrieval through interaction with a road map, e.g. selecting a POI icon on a road map
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G05D1/2462—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM] using feature-based mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Biomedical Technology (AREA)
  • Traffic Control Systems (AREA)

Abstract

云服务中的映射存储先前由其它车辆检测到的物理对象，所述车辆先前在当前车辆正在行驶的同一道路上行驶。所述云服务从所述当前车辆接收到的关于所述当前车辆遇到的新对象的新数据可以与所述映射中存储的先前对象数据进行比较。基于此比较，确定所述当前车辆的操作状态。响应于确定所述状态，执行诸如终止所述当前车辆的自主导航模式的动作。

Description

基于众包对象数据映射确定自主车辆状态
相关申请案
本申请要求美国专利申请第15/951,087号，于2018年4月11日提交并且题为“基于众包对象数据映射确定自主车辆状态(Determining Autonomous Vehicle Status Basedon Mapping of Crowdsourced Object Data)”的申请日的权益，该申请的全部公开内容在此引入作为参考。
本申请涉及罗伯特·理查德·诺埃尔·比尔比(Robert Richard Noel Bielby)于2018年3月14日提交的第15/921,549号美国非临时申请，题为“根据收集到的用户数据的车辆配置(Configuration of a Vehicle Based on Collected User Data)”，该申请的全部内容通过引用结合于此，如同在此完全阐述。
技术领域
在此公开的至少一些实施例总体上涉及确定车辆的操作状态，并且更具体地但不限于通过将关于由车辆检测到的对象的数据与先前由其它车辆检测到的物理对象的映射进行比较来确定车辆的操作状态(例如，由云服务存储的众包对象数据的映射，其中对象数据先前从先前在与当前车辆相同的道路上行驶的其它车辆收集)。
背景技术
在手动驱动车辆的情况下，车辆的用户可以是驾驶员。在其它情况下，例如对于自主车辆，车辆的用户在车辆的操作方面通常比“驾驶员”执行更少的控制动作。例如，在一些情况下，用户可以简单地选择车辆行驶到的目的地，而不执行车辆在道路上的立即移动的任何方向或其它控制。
自动驾驶技术领域的最新发展允许计算系统至少在某些条件下操作车辆的控制元件，而无需车辆用户的帮助。例如，可以在车辆上安装传感器(例如，摄像机和雷达)以检测道路上车辆周围环境的状况。这些传感器的一个功能是检测在车辆行驶期间遇到的对象。
自主车辆使用各种传感器和人工智能算法来检测这些对象并分析行驶期间车辆周围的变化环境。遇到的对象可以包括例如交通灯、路标、道路车道等。未能检测到这些对象中的某些可能导致车辆的意外的或不希望的行为，并且在一些情况下可能使车辆的乘客和/或车辆外部的其他的人(例如，在车辆周围的紧邻区域中)暴露于危险中。
在车辆的正常操作期间，各种传感器被用于操作车辆。例如，安装在车辆上的计算系统分析传感器进行输入以识别条件并生成用于车辆的方向和/或速度的自主调节的控制信号或命令，而不需要来自车辆的人类操作员的任何输入。自主驾驶和/或高级驾驶员辅助系统(ADAS)通常涉及人工神经网络(ANN)，所述人工神经网络用于识别在传感器输入中捕获的事件和/或对象。
通常，人工神经网络(ANN)使用神经元网络来处理到网络的输入并从网络生成输出。网络中的每个神经元m接收一组输入pk，其中k＝1、2、…、n。通常，到神经元的一些输入可以是网络中某些神经元的输出；并且到神经元的一些输入可以是到整个网络的输入。网络中的神经元之间的输入/输出关系表示网络中的神经元连通性。
每个神经元m分别具有偏置bm、激活函数fm和一组用于其输入pk的突触权重wmk，其中k＝1、2、…、n。激活函数可以是阶跃函数、线性函数、对数S形函数等形式。网络中的不同神经元可以具有不同的激活功能。
每个神经元m生成其输入和其偏置的加权和sm，其中sm＝bm+wm1×p1+wm2×p2+…+wmn×pn。神经元m的输出am是加权和的激活函数，其中am＝fm(sm)。
ANN的输入和输出之间的关系通常由ANN模型定义，所述ANN模型包括表示网络中神经元的连通性的数据，以及每个神经元m的偏差bm、激活函数fm,和突触权重wmk。使用给定的ANN模型，计算装置从给定的一组到网络的输入来计算网络的输出。
例如，到ANN网络的输入可以基于摄像机输入生成；并且来自ANN网络的输出可以是诸如事件或对象的项目的标识。
例如，题为“使用深度学习进行基于视觉的雨水检测(Vision-Based RainDetection using Deep Learning)”的美国专利申请公开第2017/0293808号公开了一种使用安装在车辆上的摄像机通过ANN模型确定车辆是否处于下雨天气的方法。
例如，题为“道路施工检测系统和方法(Road Construction Detection Systemsand Methods)”的美国专利申请公开第2017/0242436号公开了一种使用ANN模型检测道路施工的方法。
例如，美国专利第9,672,734号和第9,245,188号讨论了用于人类驾驶员和/或自主车辆驾驶系统的车道检测的技术。
通常，可以使用监督方法来训练ANN，其中调整突触权重以最小化或减少由各个输入生成的已知输出和通过将输入应用到ANN而生成的计算输出之间的误差。监督学习/训练方法的实例包括强化学习和纠错学习。
可替代地或组合地，ANN可以使用无监督的方法来训练，其中由给定输入组产生的精确输出在训练完成之前不是先验已知的。ANN可被训练成将项目分类成多个类别，或将数据点分类成群集。
多个训练算法通常用于复杂的机器学习/训练范例。
上述所讨论的专利文献的公开内容在此引入作为参考。
附图说明
在附图的图中通过实例而非限制的方式绘示出了实施例，其中相同的附图标记表示相似的元件。
图1绘示出了根据一个实施例的使用众包对象映射确定车辆的操作状态的系统。
图2示出了根据一个实施例的使用人工神经网络(ANN)模型配置的车辆的实例。
图3示出了根据一个实施例的基于从先前车辆接收并存储在映射中的对象数据来确定车辆的操作状态的方法。
图4示出了根据一个实施例的基于从车辆接收到的对象数据与存储在映射中的对象数据的比较来为车辆执行动作的方法。
图5示出了根据一个实施例的响应于确定车辆的操作状态而配置的自主车辆。
图6示出了根据一个实施例的使用云服务经由通信接口配置的车辆。
图7是包括一或多个各种部件和/或子系统的自主车辆的框图，在各种实施例中部件和子系统中的每一个可以被更新以配置车辆和/或执行与车辆相关联的其它动作。
图8是根据各种实施例的集中式自主车辆操作系统的框图。
具体实施方式
目前，支持自主车辆的技术持续改进。数码摄像机技术、光检测和测距(LIDAR)以及其它技术的改进已经使得车辆能够独立于驾驶员或者在驾驶员的有限的帮助下导航道路。在一些环境中，例如工厂，自主车辆在没有任何人类干预的情况下操作。
虽然自主技术主要集中在在传统意义上控制车辆的运动，但是很少强调可以在这些自主系统之上实现的替代应用。实际上，应用级系统通常倾向于加强自主系统的现有使用。例如，自主技术的实验使用已经被用于执行诸如在运送乘客之后将车辆返回到已知位置或者在不被乘客使用的同时执行车辆的补给燃料的功能。
然而，这些方法不能完全使用在自主车辆中实现的硬件和处理能力。因此，目前在自主车辆的现有技术中存在需求，以利用安装在这种车辆内的现有硬件来提供额外服务。
特别地，需要解决在操作期间确定诸如自主车辆的车辆的操作状态的技术问题。特别地，这个技术问题包括需要确定车辆的各种计算装置和系统是否在车辆的导航和/或其它操作期间正确地检测车辆周围的对象。在一些情况下，需要实时确定车辆的操作状态。
在此公开的至少一些实施例通过使用存储先前由其它车辆检测的物理对象的映射(例如，这些其它车辆的硬件用于收集关于在行驶期间遇到的对象的传感器数据)来提供对上述技术问题的技术解决方案。例如，这些其它车辆可以是先前在当前车辆当前行驶的相同的道路上行驶的车辆。通过存储关于先前检测到的物理对象的数据，可以将从当前车辆接收到的关于在行驶期间遇到的对象的新数据与存储在映射中的先前的对象数据进行比较。基于这个比较，可以确定当前车辆的操作状态。例如，当前车辆是手动驱动车辆或自主车辆(例如，汽车、卡车、飞机、无人驾驶飞机、船只等)。
例如，映射可以存储关于由一或多个先前车辆检测到的停止标志的数据。映射包括停止标志的位置。将从在该相同位置处或附近行驶的当前车辆接收到的数据与存储在映射中的数据进行比较。在一个实例中，基于将从当前车辆接收到的数据与已存储的映射数据进行比较，确定当前车辆的操作状态。例如，可以基于未检测到停止标志来确定当前车辆未能正确地导航。
在不同的实例中，可以基于对与存储在映射中的数据不能正确地匹配的停止标志的检测来确定当前车辆未能正确地导航，所述映射与从在相同道路上行驶的先前车辆收集的停止标志有关。例如，当前车辆可以检测停止标志的位置，但是新检测的位置与存储在映射中的停止标志的位置不匹配(例如，在预定的距离容差内不匹配，例如在5-50米内)。在这种情况下，当前车辆被确定为未能正常操作(即使对象本身至少在某种程度上被检测到)。
如下所述的各种实施例用于确定车辆的操作状态(例如，正常操作或异常操作的状态)。接收关于由先前车辆检测到的物理对象的数据。存储包括这些检测到的对象中的每一个的位置的映射。例如，映射可以包括由先前车辆收集的数据。例如，物理对象的位置可以基于从先前车辆接收到的数据。在其它实例中，物理对象的位置可以至少部分地基于其它数据。
在接收关于由先前车辆检测到的对象的数据之后，接收关于由当前车辆检测到的新对象的新数据。新数据可以包括新对象的位置数据。新数据还可以包括新对象的对象类型。
在一个实施例中，映射被存储在云存储或其它服务(在此有时简称为“云”)中。能够访问映射的服务器基于将接收到的新数据与映射数据进行比较来确定当前车辆是否正常操作。
例如，服务器可以基于该比较确定新接收到的数据不能与映射中存储的至少一个对象的数据匹配。响应于该确定，服务器可以执行一或多个动作。例如，服务器可以向当前车辆发送通信。在一种情况下，通信可以使当前车辆采取校正动作，例如终止自主导航模式。
在各种实施例中，云服务用于基于存储在云服务处的映射中的众包对象来确定自主车辆的健康状态。更具体地，由先前车辆检测的对象(例如，诸如交通标志、交通灯等的被动对象)被发送到云服务。云服务创建包含检测到的对象的类型及其位置的动态映射(例如，映射存储停止标志位于位置x,y的数据)。云服务存储映射(例如，在数据库或数据储存库中)。在正常或适当操作状态下通过被动对象的车辆预期可靠地检测对象并将其位置(以及任选地，其类型)发送到云服务。
如果当前车辆未能检测到现有的对象或具有错误检测，这表示当前车辆的异常操作状态。在一个实施例中，云服务确定当前车辆存在系统健康问题。云服务通过将当前车辆的位置和可以从当前车辆接收到的关于现有对象的任何位置数据与存储在众包对象映射中的数据(例如，该映射是基于先前从遇到相同现有对象的先前车辆接收到的数据生成的)进行比较来做出该确定。如果存在不匹配(例如，新的和已存储的对象位置、类型和/或其它数据不能在预定容差内匹配)，则云服务确定当前车辆存在系统健康问题。如果云服务确定存在系统健康问题，则云服务可以确定并控制作为响应而执行的一或多个动作。
在一个实施例中，所执行的动作可以包括发信号通知当前车辆其具有系统可靠性问题。在一个实例中，到当前车辆的通信提供数据，所述数据关于当前车辆应该如何对系统健康问题的确定进行相应。例如，响应于接收到通信，当前车辆可以关闭其自主驾驶模式、使用备用系统、和/或激活制动系统以停止车辆。在另一实例中，云服务可将通信发送到监视其它车辆的操作状态的服务器或其它计算装置(例如，中央监视服务)。例如，云服务可以向由政府机构操作的服务器发送通信。例如，通信可以识别当前车辆具有一或多个系统健康问题。在一些情况下，响应于确定当前车辆已经处于事故中，通信可以被发送到服务器或其它计算装置。在这种情况下，提供给服务器或其它计算装置的一或多个指示可以包括从当前车辆获得的数据(例如，由车辆存储的事故之前的关于操作功能和/或状态的数据，诸如在事故之前的预定时间段内)。
在一个实施例中，当前车辆是否已经处于事故中可以基于来自车辆的一或多个传感器的数据。例如，来自车辆的加速度计的数据可以指示车辆的快速减速(例如，超过阈值的减速)。在另一种情况下，数据可以指示车辆的紧急系统已经被激活，例如气囊、紧急制动系统等。
在一个实施例中，由被监视的当前车辆采取的路线(例如，车辆的当前位置的数据)被周期性地发送到云服务。当前车辆上的一或多个传感器用于获得关于当前车辆沿着路线行驶时的环境中的对象的数据。来自传感器的数据和/或基于对传感器数据和/或其它数据的分析而生成的数据可以例如无线地(例如，使用3G、4G或5G网络或其它基于无线电的通信系统)传输到云服务。
在一个实施例中，响应于确定车辆的操作状态或状态，配置车辆的一或多个动作。例如，可以向车辆发送空中固件更新，用于更新车辆的计算装置的固件。在一个实例中，固件更新车辆的导航系统。更新的配置至少部分地基于对从车辆收集的数据的分析。
在各种其它实施例中，由车辆执行的一或多个动作的配置可以包括例如与车辆自身的操作和/或安装在车辆中和/或以其它方式附接到车辆的其它系统部件的操作相关的动作。例如，动作可以包括经由对信息娱乐系统、窗户状态、座位位置和/或车辆的驾驶风格的控制而实现的动作。
在一些实施例中，对当前或先前车辆收集的数据的分析包括将数据作为输入提供给机器学习模型。通过执行基于来自机器学习模型的输出的一或多个动作来控制当前车辆。
在一个实例中，训练机器学习模型和/或以其它方式用于配置车辆(例如，定制车辆的动作)。例如，机器学习模型可以基于模式匹配，其中传感器输入或其它数据的先前模式与车辆操作的期望特性或配置相关。
在一个实施例中，从当前车辆接收到的数据可以包括车辆在其现实世界服务期间(例如，当用户是驾驶员或乘客时)收集的传感器数据。在一个实施例中，数据从车辆传输到中央服务器(例如，云服务的中央服务器)，中央服务器使用监督方法和接收到的传感器数据和/或其它数据执行机器学习/训练，以生成更新的ANN模型，所述更新的ANN模型随后可被加载到车辆中以替换其先前安装的ANN模型。该模型用于配置车辆的操作。
在一些实施例中，响应于车辆接收到操作状态异常的通信，驾驶员可以从车辆接管某些操作。例如，可以使用车辆的一或多个摄像机来收集帮助实现该动作的图像数据。在一个实例中，车辆被实时配置成响应于接收到的对象数据。
图1绘示出了根据一个实施例的使用众包对象映射确定车辆的操作状态的系统。在一些实施例中，该系统使用人工神经网络(ANN)模型。图1中的系统包括通过通信网络102与一组车辆111、…、113通信的中央服务器101。
例如，车辆113可以是在行驶期间检测到对象的多个先前车辆中的一个。这些对象可以包括例如对象155和对象157。车辆113和其它先前车辆的传感器收集和/或生成关于已经检测到的对象的数据。
经由通信网络102，将关于检测到的对象的数据发送到例如服务器101的计算装置(例如，其可以是云服务的一部分)。服务器101从车辆113和其它先前车辆接收对象数据。服务器101存储包括映射数据160的映射，所述映射可以包括每个对象的数个记录。在一个实例中，映射数据160包括每个对象的对象类型162和对象位置164。
在从先前车辆接收关于检测到的对象的数据之后，当前车辆111发送关于在行驶期间检测到的新对象的数据。例如，从车辆111的角度来看，对象155可以是新对象。
服务器101从车辆111接收关于对象155的数据。基于将映射数据160中存储的关于对象155的数据与从车辆111接收到的关于对象155的数据进行比较，服务器101确定车辆111是否未能正确地检测到至少一个对象。在一些情况下，服务器101可以确定车辆111未能正确地检测到对象155。例如，即使车辆111可以识别对象155(至少在一定程度上)，从车辆111接收到的对象位置数据也可能未能在预定容差或阈值内对应于先前存储在映射数据160中的对象位置164。已接收到的数据和已存储的数据中的其它类型的差异可以被可替代地和/或另外识别。
在其它情况下，车辆111向服务器101发送其当前位置。针对对象155，车辆111的位置与对象位置164进行比较。服务器101确定车辆111未能检测到对象155的出现。在一个实例中，可以基于车辆111未能为对象155报告任何对象数据来做出该确定。
响应于确定车辆111未能检测到对象155，或者未能正确地检测到与对象155相关联的数据的至少一部分，服务器101执行一或多个动作。例如，服务器101可以向车辆111发送导致自主驾驶模式终止的通信。
在一个实施例中，除了映射数据160之外，还可以收集传感器数据103。传感器数据103可以例如由当前车辆111和/或先前车辆113提供(例如，传感器数据103可以用于对象数据之外的数据，例如温度、加速度、音频等)。为了对车辆111的操作状态进行分析，传感器数据103可以与映射数据160和/或从当前车辆111接收到的其它新数据结合使用。在一些情况下，上述数据中的一些或全部可以用于训练人工神经网络模型119。另外，在一些情况下，来自人工神经网络模型119的输出可以用作确定的一部分，所述确定是确定车辆111未能正确地检测到对象155和/或另一对象。
在一些实施例中，映射数据160的至少一部分可以被传输到车辆111，并且可以通过安装在车辆111上或其内的计算装置在本地确定关于车辆111的操作状态的确定。在一些实施例中，人工神经网络模型119本身和/或相关数据可以被传输到车辆111和/或其它车辆并在其上实现。来自人工神经网络模型119的输出可以用于确定响应于确定车辆未能正确检测到对象而执行的动作。
在一个实施例中，通过位于车辆111中的传感器收集来自车辆111的数据。例如，使用诸如人工神经网络(ANN)模型的计算机模型来分析所收集的数据。在一个实施例中，所收集的数据被提供为ANN模型的输入。例如，ANN模型可以在车辆111和/或服务器101上执行。基于来自ANN模型的至少一个输出来控制车辆111。例如，该控制包括基于输出执行一或多个动作。这些动作可以包括例如控制转向、制动、加速和/或控制车辆111的其它系统，例如信息娱乐系统和/或通信装置。
在一个实施例中，服务器101包括监督训练模块117，所述监督训练模块117用于训练、生成和更新ANN模型119，其中所述ANN模型119包括神经元偏差121、突触权重123和网络中的神经元激活函数125，所述网络用于处理收集到的关于车辆的数据和/或在车辆111、…、113中生成的传感器数据。
在一个实施例中，一旦ANN模型119被训练并且被实现(例如，用于自主驾驶和/或高级驾驶员辅助系统)，则所述ANN模型119可以被部署在一或多个车辆111、…、113上以供使用。
在各种实施例中，使用如上所述的数据来训练ANN模型。训练可以在服务器和/或车辆上执行。可以基于训练更新在车辆中使用的ANN模型的配置。在某些情况下，可以在操作车辆时进行训练。
通常，车辆111、…、113具有传感器，例如可见光摄像机、红外摄像机、LIDAR、RADAR、声纳和/或一组外围传感器。车辆111、…、113的传感器生成用于自主驾驶和/或高级驾驶员辅助系统中的ANN模型119的传感器输入，以生成操作指令，例如转向、制动、加速、驾驶、警报、紧急响应等。
在车辆111、…、113在它们各自的服务环境中操作期间，车辆111、…、113遇到在传感器数据中捕获的项目，例如事件或对象。为了便于生成用于车辆111、…、113，的操作的命令，例如用于自主驾驶和/或用于高级驾驶员辅助，车辆111、…、113使用ANN模型119来提供项目的标识。
例如，车辆111可以经由到接入点(或基站)105的无线连接115与服务器101通信，以提交传感器输入来丰富传感器数据103，所述传感器数据103作为使用监督训练模块117实现的机器学习的额外的数据集。无线连接115可以通过无线局域网、蜂窝通信网络和/或通信链路107连接到卫星109或通信气球。在一个实例中，从车辆收集的用户数据可以类似地发送到服务器。
任选地，为了上传到中央服务器101，可以将存储在车辆111中的传感器输入传送到另一计算机。例如，传感器输入可以经由诸如通用串行总线(USB)驱动器的存储器装置，和/或经由有线计算机连接、蓝牙或WiFi连接、诊断工具等传送到另一计算机。
周期性地，服务器101运行监督训练模块117以根据已接收到的更新数据更新ANN模型119。服务器101可以基于在相同地理区域或在具有相似交通状况的地理区域中操作的相似车辆(例如，车辆113)的先前操作(例如，生成ANN模型119的定制版本用于车辆111)，使用通过其它数据增强的传感器数据103。
任选地，为了生成ANN模型119的更新版本，服务器101使用传感器数据103以及从一般车辆群体(例如，111、113)接收到的对象数据。可以经由通信网络102、接入点(或基站)105和通信链路115和/或107将更新的ANN模型119下载到当前车辆(例如，车辆111)，作为车辆的固件/软件的空中更新。
任选地，车辆111具有自学习能力。在道路上经过一段延长的时间之后，车辆111可以使用其收集的和存储在车辆111中的传感器输入为安装在车辆111中的ANN模型119生成一组新的突触权重123、神经元偏差121、激活函数125和/或神经元连通性。例如，可以由车辆111、…、113的工厂、制造商或制造者或者车辆111、…、113的自主驾驶和/或高级驾驶员辅助系统的供应商来操作中央服务器101。
图2示出了根据一个实施例的使用人工神经网络(ANN)模型配置的车辆的实例。图2中的车辆111包括信息娱乐系统149、通信装置139、一或多个传感器137和连接到车辆111的一些控制的计算机131，例如用于车辆111的方向的转向控制141、用于车辆111的停止的制动控制143、用于车辆111的速度的加速控制145等。
车辆111的计算机131包括一或多个处理器133、存储固件(或软件)127的存储器135、ANN模型119(例如，如图1中所绘示的)和其它数据129。
在一个实例中，固件127响应于服务器101确定车辆111在行驶期间未能正确检测到对象而通过空中更新来更新。可替代地，和/或另外，可以更新车辆111的各种计算装置或系统的其它固件。
配置成向计算机131提供传感器输入的一或多个传感器137可以包括可见光摄像机、红外摄像机、LIDAR、RADAR或声纳系统，和/或外围传感器。在处理器133中执行的固件(或软件)127的模块将传感器输入应用到由模型119定义的ANN，以生成对在传感器输入中捕获的事件或对象进行识别或分类的输出，例如图像或视频剪辑。来自此识别和/或分类的数据可以包括在从当前车辆111发送到服务器101的对象数据中，以确定是否正确地检测到对象。
可替代地，和/或另外，固件(或软件)127的自主驾驶模块或高级驾驶员辅助系统可以使用ANN模型119生成的事件或对象的识别或分类来生成响应。该响应可以是激活和/或调节车辆控制器141、143和145中的一个的命令。在一个实施例中，响应是由车辆执行的动作，其中该动作已经基于来自服务器101的更新命令被配置(例如，更新命令可以由服务器101响应于确定车辆111未能正确地检测到对象而生成)。在一个实施例中，在生成控制响应之前，配置车辆。在一个实施例中，通过更新车辆111的固件来执行车辆的配置。在一个实施例中，车辆的配置包括更新存储在车辆111中的计算机模型(例如ANN模型119)。
使用监督训练模块117，服务器101存储所接收到的传感器输入作为传感器数据103的一部分，用于随后进一步训练或更新ANN模型119。当在服务器101中可以获得ANN模型119的更新版本时，车辆111可以使用通信装置139下载更新的ANN模型119，以在存储器135中安装和/或为了替换先前安装的ANN模型119。可以响应于确定车辆111未能正确地检测到对象而执行这些动作。
在一个实例中，在自主驾驶或提供高级驾驶员辅助期间，可以使用ANN模型119的输出来控制(例如，141、143、145)车辆的加速度(例如，111)、车辆111的速度和/或车辆111的方向。
通常，当生成ANN模型时，网络中的一些神经元的突触权重123的至少一部分被更新。更新还可以调整一些神经元偏差121和/或改变一些神经元的激活函数125。在一些情况下，可以在网络中添加额外的神经元。在其它情况下，可以从网络中移除一些神经元。
在一个实例中，从车辆111的传感器获得的数据可以是使用利用人眼可见的光成像的摄像机捕获的对象的图像，或者使用红外光成像的摄像机，或者声纳、雷达或LIDAR系统。在一个实施例中，从车辆111的至少一个传感器获得的图像数据是从被分析的当前车辆收集的数据的一部分。在一些情况下，ANN模型基于传感器和其它收集的数据为特定车辆111配置。
图3示出了根据一个实施例的基于从先前车辆接收并存储在映射(例如，映射数据160)中的对象数据(例如，对象位置和类型)来确定车辆(例如，车辆111)的操作状态的方法。在框601中，接收关于由先前车辆检测到的对象的数据。检测到的对象包括第一对象(例如停止标志)。
在框603中，存储包括检测到的对象的映射。例如，每个对象具有对象类型和位置(例如，地理位置)。
在框605中，在接收关于由先前车辆检测到的对象的数据之后，接收关于由新车辆(例如，车辆111)检测到的一或多个对象的新数据。在框607中，基于将来自新车辆的新对象数据与存储在映射中的数据进行比较，确定新车辆未能检测到第一对象。
在框609中，响应于确定新车辆未能检测到第一对象，执行动作。例如，该动作可以包括向除新车辆之外的计算装置发送至少一个通信。在一个实例中，计算装置是监视两个或更多车辆中的每一个的操作状态的服务器。
在一个实施例中，一种方法包括：由至少一个处理器接收关于由多个车辆检测到的对象的数据，检测到的对象包括第一对象；由所述至少一个处理器存储包含检测到的对象的映射，每个对象具有对象类型和位置；在接收关于由多个车辆检测的对象的数据之后，接收关于由第一车辆检测的对象的第一数据；基于将接收到的第一数据与映射进行比较，确定第一车辆未能检测到第一对象；以及响应于确定所述第一车辆未能检测到所述第一对象，执行动作。
在一个实施例中，第一对象是交通标志、交通灯、道路车道或物理结构。
在一个实施例中，该方法进一步包含确定第一车辆的位置，以及确定第一车辆未能检测到第一对象包括将第一车辆的位置与存储在映射中的第一对象的位置进行比较。
在一个实施例中，第一车辆是多个车辆之外的车辆。在另一实施例中，第一车辆包括在多个车辆中。
在一个实施例中，该方法进一步包含分析第一数据，其中执行动作包含基于分析第一数据来配置由第一车辆执行的至少一个动作。
在一个实施例中，第一车辆是包含控制器和存储装置的自主车辆，动作包含更新控制器的固件，并且更新的固件存储在存储装置中。
在一个实施例中，该方法进一步包含使用监督或无监督学习中的至少一个来训练计算机模型，其中使用从多个车辆收集的数据来完成训练，并且其中确定第一车辆未能检测到第一对象至少部分地基于来自计算机模型的输出。
在一个实施例中，第一数据包含从第一车辆的至少一个传感器获得的图像数据。
在一个实施例中，该方法进一步包含分析第一数据，其中第一数据包含图像数据，并且分析第一数据包含使用图像数据执行模式识别以确定由第一车辆检测到的对象的类型。
在一个实施例中，该方法进一步包含将第一数据作为输入提供给人工神经网络模型，并且所执行的动作基于来自人工神经网络模型的输出。
图4示出了根据一个实施例的基于从车辆接收到的对象数据与存储在映射中的对象数据的比较来执行车辆(例如，车辆111)的动作的方法。在框611中，接收关于由先前车辆检测到的对象的数据。例如，数据由服务器101接收。
在框613中，存储包括由先前车辆检测的对象中的每一个的位置的映射。例如，所存储的映射包括映射数据160并且被存储在云中。
在框615中，在接收关于由先前车辆检测到的对象的数据之后，接收关于由新车辆检测到的至少一个新对象的数据。接收到的数据包括至少一个新对象的位置数据。
在框617中，计算装置将接收到的新对象数据与存储在映射中的先前对象数据进行比较。基于该比较，计算装置确定新对象数据未能匹配至少一个对象的已存储的映射数据。在框619中，响应于确定新对象数据未能与存储在映射中的数据，执行一或多个动作。
在一个实施例中，非暂时性计算机存储介质存储指令，当在计算装置上执行所述指令时，所述指令使所述计算装置执行一种方法，所述方法包含：接收关于由多个车辆检测到的对象的数据；存储映射，所述映射包括检测到的对象中的每一个的相应位置；在接收关于由所述多个车辆检测到的对象的数据之后，接收关于由第一车辆检测到的至少一个对象的第一数据，所述第一数据包含所述至少一个对象的位置数据；基于将所接收到的第一数据与所述映射进行比较，确定所述第一数据未能匹配存储在所述映射中的至少一个对象的数据；以及响应于确定所述第一数据未能匹配存储在所述映射中的至少一个对象的数据，执行动作。
在一个实施例中，第一数据包含从第一车辆的人工神经网络模型获得的数据。
在一个实施例中，一种系统包括：至少一个处理器；以及存储指令的存储器，所述指令被配置成指令所述至少一个处理器：接收关于对象的数据，每个对象由多个车辆中的至少一个检测到，并且检测到的对象包括第一对象；基于接收到的数据存储包括检测到的对象的映射，检测到的对象中的每一个与相应位置相关联；接收关于由第一车辆检测到的至少一个对象的第一数据；基于将所接收到的第一数据与所述映射进行比较来确定所述第一车辆未能检测到所述第一对象；以及响应于确定第一车辆未能检测到第一对象，执行至少一个动作。
在一个实施例中，执行所述至少一个动作包含向所述第一车辆发送通信，所述通信使所述第一车辆执行停用所述第一车辆的自主驾驶模式或激活所述第一车辆的后备导航装置中的至少一者。
在一个实施例中，执行所述至少一个动作包含将至少一个通信发送到不同于所述第一交通工具的计算装置。
在一个实施例中，计算装置是监视多个车辆中的每一个的相应操作状态的服务器。
在一个实施例中，所述指令进一步被配置成指令所述至少一个处理器确定涉及所述第一车辆的事故已发生，并且其中到所述计算装置的所述至少一个通信包含与所述事故之前所述第一车辆的操作相关联的数据。
在一个实施例中，所述指令进一步被配置成指令所述至少一个处理器将由所述第一车辆检测到的对象的位置与所述第一对象的位置进行比较，其中确定所述第一车辆未能检测到所述第一对象至少部分地基于将由所述第一车辆检测到的所述对象的位置与所述第一对象的位置进行比较。
在一个实施例中，所接收到的关于由多个车辆检测到的对象的数据包括由用于车辆中的每一个的多个传感器收集的数据。
在一个实施例中，执行所述至少一个动作基于来自机器学习模型的输出，并且其中使用训练数据来训练所述机器学习模型，所述训练数据包含由所述多个车辆的传感器收集的数据。
图5示出了根据一个实施例的响应于确定车辆的操作状态而配置的自主车辆303。在一个实施例中，系统控制自主车辆303的显示装置308(或其它装置、系统或部件)。例如，控制器307控制一或多个显示装置308上的图像的显示。
服务器301可以存储，例如，映射数据160。服务器301可以使用映射数据160确定车辆303未能正确地检测到对象。响应于这个确定，服务器301可以使控制器307终止自主导航模式。可以响应于这个确定执行其它动作，包括例如通过更新固件304、更新计算机模型312、更新数据库310中的数据和/或更新训练数据314来配置车辆303。
控制器307可以接收由一或多个传感器306收集的数据。例如，可以在自主车辆303中安装传感器306。传感器306可以包括例如摄像机、麦克风、运动检测器和/或摄像机。至少一部分传感器可以提供与车辆303在行驶期间新检测到的对象相关联的数据。
通过控制器307，传感器306可以提供各种类型的数据以供收集。例如，所收集的数据可以包括来自摄像机的图像数据和/或来自麦克风的音频数据。
在一个实施例中，控制器307分析从传感器306收集的数据。所收集的数据的分析包括将所收集的数据的一些或全部作为一或多个输入提供给计算机模型312。计算机模型312可以是例如通过深度学习训练的人工神经网络。在一个实例中，计算机模型是使用训练数据314训练的机器学习模型。例如，可以在存储器309中存储计算机模型312和/或训练数据314。为了与映射数据160进行比较，可以将来自计算机模型312的输出作为对象数据的一部分发送到服务器301。
在一个实施例中，存储器309存储数据库310，所述数据库310可以包括由传感器306收集的数据和/或由通信接口305从例如服务器301的计算装置接收到的数据(在一些实施例中，服务器301可以是例如图1中的服务器101)。在一个实例中，这个通信可以用于向服务器301无线发送从传感器306收集的数据。所接收到的数据可以包括配置、训练和用于配置控制器307对显示装置308的控制的其它数据。
例如，所接收到的数据可以包括从除自主车辆303之外的自主车辆的传感器收集的数据。这个数据可以包括在例如用于训练计算机模型312的训练数据314中。所接收到的数据还可以用于更新机器学习模型的配置，所述机器学习模型作为计算模型312存储在存储器309中。
在图5中，固件304控制例如在控制显示装置308和车辆303的其它部件时控制器307的操作。控制器307还可以例如运行固件304来执行响应于来自服务器301的通信的操作。自主车辆303包括用于存储由控制器307使用的运行时间数据和指令的易失性动态随机存取存储器(DRAM)311。
在一个实施例中，使用各种存储器/存储技术来实现存储器309，例如基于NAND门的闪存、相变存储器(PCM)、磁存储器(MRAM)、电阻式随机存取存储器和3D XPoint，使得存储器309是非易失性的并且可以在数天、数月和/或数年内保持存储在其中的数据而无需供电。
在一个实施例中，服务器301通过通信信道与通信接口305通信。在一个实施例中，服务器301可以是具有一或多个中央处理单元(CPU)的计算机，例如自主车辆303的车辆可以使用计算机网络连接到所述计算机。例如，在一些实现中，服务器301和通信接口305之间的通信信道包括计算机网络，例如局域网、无线局域网、蜂窝通信网络或宽带高速始终连接的无线通信连接(例如，移动网络链路的当前或未来一代)。
在一个实施例中，控制器307使用组织在存储器309中或组织在自主车辆303中的数据和/或指令来执行数据密集型存储器内处理。例如，控制器307可以对在自主车辆303中收集和/或存储的一组数据执行实时分析。在一些实施例中，该组数据进一步包括从服务器301收集或获得的配置更新数据。
这里公开的系统和方法的至少一些实施例可以使用由例如固件304的控制器307执行的计算机指令来实现。在一些情况中，硬件电路可以用于实现固件304的至少一些功能。固件304可以被初始存储在非易失性存储媒体中，例如通过使用存储器309，或另一非易失性装置，并且由控制器307加载到易失性DRAM 311和/或处理器内高速缓冲存储器中以供执行。在一个实例中，固件104可以被配置成使用本文中所论述的用于控制基于所收集的用户数据而配置的车辆的显示器或其它装置的技术。
图6示出了根据一个实施例的使用云服务经由通信接口配置的车辆703。例如，车辆703响应于服务器701确定车辆703在导航期间未能正确地检测到对象而被配置。
车辆703包括用于接收配置更新的通信接口705，所述配置更新基于对所收集的对象数据的分析。例如，可以从服务器701和/或客户端装置719接收更新。车辆703、服务器701和客户端装置719中的两个或多个之间的通信可以通过网络715(例如，无线网络)执行。使用通信接口705执行该通信。
在一个实施例中，服务器701控制将新配置的配置数据(例如，基于对所收集的数据的分析)加载到车辆的存储器709中。在一个实施例中，在客户端装置719的存储器721中存储与车辆703的使用相关联的数据。
控制器707控制车辆703的一或多个操作。例如，控制器707控制存储在存储器709中的用户数据714。控制器707还控制将更新的配置数据加载到存储器709和/或车辆703的其它存储器中。控制器707还控制在显示装置708上的信息的显示。传感器706提供关于车辆703的操作的数据。可以将这个操作数据的至少一部分传送到服务器701和/或客户端装置719。
存储器709可以进一步包括例如配置数据712和/或数据库710。配置数据712可以是例如由服务器701提供的与车辆703的操作相关联的数据。配置数据712可以例如基于收集和/或分析的对象的数据。
数据库710可以存储例如用户的配置数据和/或传感器706收集的数据。数据库710也可以存储例如服务器701提供的导航地图和/或其它数据。
在一个实施例中，当操作车辆时，可以向服务器701传送关于车辆703的对象检测活动的数据。这个活动可以包括车辆703的导航和/或其它操作方面。
如图6所绘示的，控制器707还可以控制图像在一或多个显示装置708上的显示(例如，可以响应于服务器701和/或控制器707确定车辆703未能正确地检测到对象而向用户显示警报)。显示装置708可以是液晶显示器。控制器707可以接收由一或多个传感器706收集的数据。传感器706可以例如安装在车辆703。传感器706可以包括例如摄像机、麦克风、运动检测器和/或摄像机。
传感器706可以提供用于由控制器707收集和/或分析的各种类型的数据。例如，所收集的数据可以包括来自摄像机的图像数据和/或来自麦克风的音频数据。在一个实施例中，图像数据包括车辆703在行驶期间遇到的一或多个新对象的图像。
在一个实施例中，控制器707分析从传感器706收集的数据。所收集的数据的分析包括向服务器701提供一些或全部对象数据。
在一个实施例中，存储器709存储数据库710，所述数据库可以包括由传感器706手机的数据和/或由通信接口705从例如服务器701的计算装置接收到的配置数据。例如，这个通信可以用于向服务器701无线发送从传感器706收集的数据。由车辆接收到的数据可以包括用于配置控制器707对导航、显示或其它装置的控制的配置或其它数据。
在图6中，固件704控制例如控制器707的操作。控制器707还可以例如运行固件704来执行响应于来自服务器701的通信的操作。
车辆703包括易失性动态随机存取存储器(DRAM)711，其用于存储控制器707用来改善控制器707的计算性能和/或为在服务器701和存储器709之间传送的数据提供缓冲器的运行时数据和指令。DRAM 711是易失性的。
图7是包括一或多个各种部件和/或子系统的自主车辆的框图，在各种实施例中的部件和子系统中的每一个可以被更新以配置车辆和/或执行与车辆相关联的其它动作。(例如，响应于服务器101确定车辆未能正确检测到对象而执行的配置和/或其它动作)。图7中所绘示的系统可以完全安装在车辆内。
系统包括自主车辆子系统402。在所绘示的实施例中，自主车辆子系统402包括地图数据库402A、雷达装置402B、激光雷达装置402C、数字摄像机402D、声纳装置402E、GPS接收器402F和惯性测量单元402G。自主车辆子系统402中的每一个部件包含在大多数当前自主车辆中提供的标准部件。在一个实施例中，地图数据库402A存储用于路线和导航的多个高清晰度三维地图。雷达装置402B、激光雷达装置402C、数字摄像机402D、声纳装置402E、GPS接收器402F和惯性测量单元402G可以包含安装在整个如本领域中已知的自主车辆的各种位置上的各种相应装置。例如，这些装置可以沿着自主车辆的周边安装，以提供位置感知、碰撞避免和其它标准的自主车辆功能。
车辆子系统406另外包括在该系统内。车辆子系统406包括各种防抱死制动系统406A、发动机控制单元402B和变速器控制单元402C。这些部件可以用于响应于由自主车辆子系统402A生成的流数据来控制自主车辆的操作。自主车辆子系统402和车辆子系统406之间的标准自主车辆交互在本领域中通常是已知的，并且在此不详细描述。
系统的处理侧包括一或多个处理器410、短期存储器412、RF系统414、图形处理单元(GPU)416、长期存储装置418和一或多个接口420。
一或多个处理器410可以包含中央处理单元、FPGA或支持自主车辆的操作所需的任何范围的处理装置。存储器412包含DRAM或其它合适的用于临时存储处理器410所需数据的易失性RAM。RF系统414可以包含蜂窝收发器和/或卫星收发器。长期存储装置418可以包含一或多个高容量固态驱动器(SSD)。通常，长期存储装置418可用于存储例如高清晰度地图、路由数据和需要永久或半永久存储的任何其它数据。GPU 416可以包含一或多个高吞吐量GPU装置，用于处理从自主车辆子系统402A接收到的数据。最后，接口420可以包含位于自主车辆内的各种显示单元(例如，仪表板内屏幕)。
系统另外地包括报告子系统404，其执行数据收集(例如，收集从用于驱动车辆的由车辆的传感器获得的数据)。报告子系统404包括传感器监视器404A，其连接到总线408并记录在总线408上传输的传感器数据以及在总线上传输的任何日志数据。报告子系统404可以另外包括一或多个端点以允许系统组件将日志数据直接发送到报告子系统404。
报告子系统404另外包括打包器404B。在一个实施例中，打包器404B检索来自传感器监视器404A或端点的数据，并将原始数据打包传输到中央系统(如图8中所绘示)。在一些实施例中，打包器404B可以被配置成以周期性的时间间隔包装数据。可替代地，或者结合前述，打包器404B可以实时发送数据，并且可以压缩数据以便于与中央系统的实时通信。
报告子系统404另外包括批处理器404C。在一个实施例中，批处理器404C被配置成在传输之前对所记录的数据执行任何预处理。例如，批处理器404C可以在打包器404B打包之前对数据执行压缩操作。在另一个实施例中，批处理器404C可以被配置成在打包或传输之前过滤所记录的数据以去除无关数据。在另一个实施例中，批处理器404C可以被配置成对记录的数据执行数据清洗，以使原始数据符合适合于由中央系统进一步处理的格式。
装置中的每一个通过总线408连接。在一个实施例中，总线408可以包含控制器局域网(CAN)总线。在一些实施例中，可以使用其它总线类型(例如，FlexRay或MOST总线)。另外，每个子系统可以包括一或多个附加总线以处理内部子系统通信(例如，用于较低带宽通信的LIN总线)。
图8是根据各种实施例的集中式自主车辆操作系统的框图。如图所绘示，该系统包括多个自主车辆502A-502E。在一个实施例中，每个自主车辆可以包含如图7中所示的自主车辆。每个自主车辆502A-502E可以经由网络516与中央系统514通信。在一个实施例中，网络516包含例如因特网的全球网络。
在一个实例中，使用服务器101、301和/或701中的一或多个来实现中央系统514。在一个实例中，自主车辆703.是自主车辆502A-502E中的一或多个。
该系统另外包括多个客户端装置508A、508B。在所绘示的实施例中，客户端装置508A、508B可以包含任何个人计算装置(例如，膝上型计算机、平板计算机、移动电话等)。客户端装置508A、508B可以发出对数据的请求，所述数据来自中央系统514。在一个实施例中，客户端装置508A、508B发送对数据的请求以支持移动应用或网页数据，如前所述。
在一个实施例中，中央系统514包括多个服务器504A。在一个实施例中，服务器504A包含被配置成向客户端装置508A、508B提供响应的多个前端web服务器。服务器504A可以另外包括一或多个应用服务器，其被配置成执行各种操作以支持一或多个车辆。
在一个实施例中，中央系统514另外包括多个模型504B。在一个实施例中，模型504B可以存储用于分类自主车辆对象的一或多个神经网络。模型504B可以另外包括用于预测未来事件的模型。在一些实施例中，模型504B可以存储神经网络和其它机器学习模型的组合。
中央系统514另外包括一或多个数据库504C。数据库504C可以包括车辆504D、个性504E和原始数据504F。原始数据504F可以包含非结构化数据库，其用于存储如前所述的从传感器和日志接收到的原始数据。
本公开包括执行这些方法的方法和装置，包括执行这些方法的数据处理系统，以及包含指令的计算机可读介质，当在数据处理系统上执行所述指令时，使系统执行这些方法。
车辆111、…或113的服务器101和计算机131中的每一个可以实现为一或多个数据处理系统。典型的数据处理系统可以包括互连(例如，总线和系统核心逻辑)微处理器和存储器的互连。微处理器通常耦合到高速缓冲存储器。
互连将微处理器和存储器互连在一起，并且还通过I/O控制器将它们互连到输入/输出(I/O)装置。I/O装置可以包括显示装置和/或外围装置，例如鼠标、键盘、调制解调器、网络接口、打印机、扫描仪、摄像机和本领域已知的其它装置。在一个实施例中，当数据处理系统是服务器系统时，例如打印机、扫描仪、鼠标和/或键盘的一些I/O装置是可选的。
互连可以包括通过各种桥、控制器和/或适配器彼此连接的一或多个总线。在一个实施例中，I/O控制器包括用于控制USB外围装置的USB(通用串行总线)适配器和/或用于控制IEEE-1394外围装置的IEEE-1394总线适配器。
所述存储器可以包括一或多个：ROM(只读存储器)、易失性RAM(随机存取存储器)和非易失性存储器，例如硬盘驱动器、闪存等。
易失性RAM通常实现为动态RAM(DRAM)，其需要持续供电以便刷新或维持存储器中的数据。非易失性存储器通常是磁性硬盘驱动器、磁性光学驱动器、光学驱动器(例如，DVDRAM)，或其它类型的甚至在从系统移除电力之后仍能维持数据的存储器系统。非易失性存储器也可以是随机存取存储器。
非易失性存储器可以是直接耦合到数据处理系统中的其余组件的本地装置。也可以使用远离系统的非易失性存储器，例如通过例如调制解调器或以太网接口的网络接口耦合到数据处理系统的网络存储装置。
在本公开中，一些功能和操作被描述为由软件代码执行或引起以对描述进行简化。然而，这样的表达式还用于指定由诸如微处理器的处理器执行代码/指令而产生的功能。
可替代地或组合地，这里描述的功能和操作可以使用具有或不具有软件指令的专用电路来实现，例如使用专用集成电路(ASIC)或现场可编程门阵列(FPGA)。实施例可以使用没有软件指令或与软件指令组合的硬连线电路来实现。因此，这些技术既不限于硬件电路和软件的任何特定组合，也不限于由数据处理系统执行的指令的任何特定源。
虽然一个实施例可以在全功能的计算机和计算机系统中实现，但是各种实施例能够作为各种形式的计算产品被分发，并且能够被应用，而不管用于实际实现分发的机器或计算机可读介质的特定类型。
所公开的至少一些方面可以至少部分地体现在软件中。也就是说，可以在计算机系统或其它数据处理系统中响应于其处理器(例如微处理器)执行包含在存储器(例如ROM、易失性RAM、非易失性存储器、高速缓存或远程存储装置)中的指令序列。
被执行以实现实施例的例程可以被实现为操作系统或特定应用、组件、程序、对象、模块或被称为“计算机程序”的指令序列的一部分。计算机程序通常包括在计算机中的各种存储器和存储装置中的在各种时间设置的一或多个指令，并且当由计算机中的一或多个处理器读取和执行时，使计算机执行涉及各个方面的元件的执行所必需的操作。
机器可读介质可以用于存储软件和数据，当由数据处理系统执行时，所述软件和数据使系统执行各种方法。可执行软件和数据可以存储在各种位置，包括例如ROM、易失性RAM、非易失性存储器和/或高速缓存。该软件和/或数据的部分可以存储在这些存储装置中的任何一个中。此外，可以从集中式服务器或对等网络获得数据和指令。数据和指令的不同部分可以在不同时间、在不同通信会话或在相同通信会话中从不同的集中式服务器和/或对等网络获得。数据和指令可以在执行应用程序之前全部获得。可替代地，当需要执行时，可以及时地、动态地获得数据和指令的部分。因此，不要求数据和指令在特定的完全在机器可读介质上。
计算机可读介质的实例包括但不限于诸如易失性和非易失性存储器装置、只读存储器(ROM)、随机存取存储器(RAM)、闪存装置、软盘和其它可移动盘、磁盘存储介质、光存储介质(例如，光盘只读存储器(CD ROM)、数字通用盘(DVD)等)等。计算机可读介质可以存储指令。
指令还可以包含在数字和模拟通信链路中，所述数字和模拟通信链路用于电、光、声或其它形式的传播信号，例如载波、红外信号、数字信号等。然而，例如载波，红外信号，数字信号等的传播信号不是有形的机器可读介质并且不被配置成存储指令。
通常，机器可读介质包括以机器(例如计算机、网络装置、个人数字助理、制造工具、具有一组一或多个处理器的任何装置等)可访问的形式提供(即存储和/或发送)信息的任何机制。
在各种实施例中，硬连线电路可与软件指令组合使用以实施所述技术。因此，这些技术既不限于硬件电路和软件的任何特定组合，也不限于由数据处理系统执行的指令的任何特定源。
上面的描述和附图是说明性的，并不构成限制。描述了许多具体细节以提供透彻的理解。然而，在某些情况下，没有描述熟知的或常规的细节以避免使描述模糊。本公开中对一个或一实施例的引用不一定是对同一实施例的引用；并且，这样的参考意味着至少一个。
在前面的说明书中，已经参考其示范性实施例描述了本公开。显然，在不脱离所附权利要求中阐述的更宽的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图被认为是说明性的而不是限制性的。

Claims (18)

1.一种确定车辆状态的方法，所述方法包含：
由服务器的至少一个处理器接收关于由多个车辆检测到的对象的数据，所述检测到的对象包括第一对象；
由所述至少一个处理器存储包含所述检测到的对象的映射，每个对象具有对象类型和位置；
在接收到关于由所述多个车辆检测到的对象的所述数据之后，通过所述服务器经由通信网络接收关于由第一车辆检测到的对象的第一数据，所述第一数据包含由所述第一车辆检测的所述第一对象的位置；
基于将接收到的第一数据与所述映射进行比较，通过所述服务器确定所述第一车辆未能检测到所述第一对象，其中确定所述第一车辆未能检测到所述第一对象包含确定由所述第一车辆检测到的所述第一对象的所述位置在所述映射中存储的所述第一对象的所述位置的容差范围内不匹配；以及
响应于确定所述第一车辆未能检测到所述第一对象，执行与所述第一车辆的操作相关联的动作。
2.根据权利要求1所述的方法，其中所述第一对象是交通标志、交通灯或道路车道。
3.根据权利要求1所述的方法，其进一步包含确定所述第一车辆的位置，其中确定所述第一车辆未能检测到所述第一对象进一步包括将所述第一车辆的所述位置与存储在所述映射中的所述第一对象的所述位置进行比较。
4.根据权利要求1所述的方法，其中所述第一车辆是所述多个车辆之外的车辆。
5.根据权利要求1所述的方法，其进一步包含分析所述第一数据，其中执行所述动作包含基于分析所述第一数据来配置由所述第一车辆执行的至少一个动作。
6.根据权利要求1所述的方法，其中所述第一车辆是包含控制器和存储装置的自主车辆，其中所述动作包含更新所述控制器的固件，并且其中更新的固件存储在所述存储装置中。
7.根据权利要求1所述的方法，其进一步包含使用监督或无监督学习中的至少一个来训练计算机模型，其中使用从所述多个车辆收集的数据来完成所述训练，并且其中确定所述第一车辆未能检测到所述第一对象至少部分地基于来自所述计算机模型的输出。
8.根据权利要求1所述的方法，其中所述第一数据包含从所述第一车辆的至少一个传感器获得的图像数据。
9.根据权利要求1所述的方法，其进一步包含分析所述第一数据，其中所述第一数据包含图像数据，并且分析所述第一数据包含使用所述图像数据执行模式识别以确定由所述第一车辆检测到的对象的类型。
10.根据权利要求1所述的方法，其进一步包含将所述第一数据作为输入提供给人工神经网络模型，其中执行的所述动作基于来自所述人工神经网络模型的输出。
11.一种用于确定车辆状态的系统，所述系统包含：
至少一个处理器；以及
存储指令的存储器，所述指令被配置成指令所述至少一个处理器以：
接收关于对象的数据，每个对象由多个车辆中的至少一个检测到，并且检测到的对象包括第一对象；
基于接收到的数据存储包括所述检测到的对象的映射，所述检测到的对象中的每一个与相应位置相关联；
接收关于由第一车辆检测到的至少一个对象的第一数据；
将由所述第一车辆检测到的对象的位置与所述第一对象的位置进行比较；
基于将接收到的第一数据与所述映射进行比较来确定所述第一车辆未能检测到所述第一对象，其中确定所述第一车辆未能检测到所述第一对象至少部分地基于将由所述第一车辆检测到的所述对象的所述位置与所述第一对象的所述位置进行比较；以及
响应于确定所述第一车辆未能检测到所述第一对象，执行至少一个动作，其中执行所述至少一个动作包含向所述第一车辆发送通信，所述通信致使所述第一车辆执行以下至少一者：停用所述第一车辆的自主驾驶模式或激活所述第一车辆的后备导航装置。
12.根据权利要求11所述的系统，其中执行所述至少一个动作进一步包括将至少一个通信发送到除所述第一车辆之外的计算装置。
13.根据权利要求12所述的系统，其中所述计算装置是监视所述多个车辆中的每一个的相应操作状态的服务器。
14.根据权利要求12所述的系统，其中所述指令进一步被配置成指令所述至少一个处理器确定涉及所述第一车辆的事故已发生，并且其中到所述计算装置的所述至少一个通信包含与所述事故之前所述第一车辆的操作相关联的数据。
15.根据权利要求11所述的系统，其中接收到的关于由所述多个车辆检测到的对象的数据包括由所述车辆中的每一个的多个传感器收集的数据。
16.根据权利要求11所述的系统，其中执行所述至少一个动作基于来自机器学习模型的输出，并且其中使用训练数据来训练所述机器学习模型，所述训练数据包含由所述多个车辆的传感器收集的数据。
17.一种存储指令的非暂时性计算机存储介质，当在计算装置上执行所述指令时，使所述计算装置执行方法，所述方法包含：
接收关于由多个车辆检测到的对象的数据；
存储包括检测到的对象中的每一个的相应位置的映射；
在接收到关于由所述多个车辆检测到的对象的所述数据之后，接收关于由第一车辆检测到的至少一个对象的第一数据，所述第一数据包含所述至少一个对象的位置数据；
基于将接收到的第一数据与所述映射进行比较，确定所述第一数据未能匹配存储在所述映射中的至少一个对象的数据，其中确定所述第一数据未能匹配存储在所述映射中的至少一个对象的数据包含确定由所述第一车辆检测到的第一对象的位置未能匹配存储在所述映射中的所述第一对象的所述位置；以及
响应于确定所述第一数据未能匹配存储在所述映射中的至少一个对象的数据，致使所述第一车辆的控制器的固件更新。
18.根据权利要求17所述的非暂时性计算机存储介质，其中所述第一数据包含从所述第一车辆的人工神经网络模型获得的数据。
CN201980024150.7A 2018-04-11 2019-04-01 基于众包对象数据映射确定自主车辆状态 Active CN111936947B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/951,087 2018-04-11
US15/951,087 US10997429B2 (en) 2018-04-11 2018-04-11 Determining autonomous vehicle status based on mapping of crowdsourced object data
PCT/US2019/025112 WO2019199508A1 (en) 2018-04-11 2019-04-01 Determining autonomous vehicle status based on mapping of crowdsourced object data

Publications (2)

Publication Number Publication Date
CN111936947A CN111936947A (zh) 2020-11-13
CN111936947B true CN111936947B (zh) 2024-03-29

Family

ID=68161439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980024150.7A Active CN111936947B (zh) 2018-04-11 2019-04-01 基于众包对象数据映射确定自主车辆状态

Country Status (3)

Country Link
US (5) US10997429B2 (zh)
CN (1) CN111936947B (zh)
WO (1) WO2019199508A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755111B2 (en) 2018-01-29 2020-08-25 Micron Technology, Inc. Identifying suspicious entities using autonomous vehicles
US11009876B2 (en) * 2018-03-14 2021-05-18 Micron Technology, Inc. Systems and methods for evaluating and sharing autonomous vehicle driving style information with proximate vehicles
US11727794B2 (en) 2018-03-14 2023-08-15 Micron Technology, Inc. Systems and methods for evaluating and sharing human driving style information with proximate vehicles
US10997429B2 (en) * 2018-04-11 2021-05-04 Micron Technology, Inc. Determining autonomous vehicle status based on mapping of crowdsourced object data
JP6793883B2 (ja) * 2018-06-11 2020-12-02 三菱電機株式会社 車両走行制御装置、車両走行制御方法、制御回路および記憶媒体
US11161518B2 (en) 2018-06-15 2021-11-02 Micron Technology, Inc. Detecting road conditions based on braking event data received from vehicles
JP7044000B2 (ja) * 2018-07-20 2022-03-30 株式会社デンソー 車両制御装置および車両制御方法
DE102018214959A1 (de) * 2018-09-04 2020-03-05 Robert Bosch Gmbh Verfahren zur Auswertung von Sensordaten mit einer erweiterten Objekterkennung
US10878701B2 (en) * 2018-10-09 2020-12-29 Ford Global Technologies, Llc Detection of attacks on vehicle networks
FR3095099B1 (fr) * 2019-04-15 2021-09-03 Continental Automotive Procédé de prédiction d’une modification des conditions d’attachement d’un terminal à un réseau cellulaire
US11095741B2 (en) * 2019-07-11 2021-08-17 Ghost Locomotion Inc. Value-based transmission in an autonomous vehicle
EP3770798A1 (en) * 2019-07-23 2021-01-27 Continental Automotive GmbH Method and system for improving detection capabilities of machine learning-based driving assistance systems
US11532188B2 (en) * 2019-08-22 2022-12-20 GM Global Technology Operations LLC Architecture and methodology for state estimation failure detection using crowdsourcing and deep learning
US11551488B2 (en) * 2019-08-22 2023-01-10 GM Global Technology Operations LLC Adaptive fault diagnostic system for motor vehicles
EP3855205A1 (en) * 2020-01-22 2021-07-28 Zenuity AB Perception performance evaluation of a vehicle adas or ads
CN111623830A (zh) * 2020-06-11 2020-09-04 深圳技术大学 一种机电设备运行状态的监测方法、装置及系统
US20220074758A1 (en) * 2020-09-09 2022-03-10 Here Global B.V. Method, apparatus, and system for providing lane-level routing or mapping based on vehicle or user health status data
EP4095746A1 (en) * 2021-05-24 2022-11-30 Zenseact AB Ads perception development
CN113721235B (zh) * 2021-08-31 2023-08-25 北京百度网讯科技有限公司 对象状态确定方法、装置、电子设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107024215A (zh) * 2016-01-29 2017-08-08 福特全球技术公司 追踪动态环境内的对象以改进定位
CN107031655A (zh) * 2015-10-15 2017-08-11 福特全球技术公司 确定复杂路段的方差因子
CN107209989A (zh) * 2015-02-06 2017-09-26 卞祯焄 基于众包数据的车辆控制
CN107450529A (zh) * 2016-05-06 2017-12-08 优步技术公司 用于自动驾驶车辆的改进的物体检测
CN107463170A (zh) * 2016-06-06 2017-12-12 通用汽车环球科技运作有限责任公司 用于自主车辆导航的交通控制设备与通车车道基于传感器的关联性
WO2018015811A1 (en) * 2016-07-21 2018-01-25 Mobileye Vision Technologies Ltd. Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US215571A (en) * 1879-05-20 Improvement in sleighs
US6023653A (en) * 1995-11-30 2000-02-08 Fujitsu Ten Limited Vehicle position detecting apparatus
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
WO2007077867A1 (ja) 2005-12-28 2007-07-12 National University Corporation Nagoya University 運転行動推定装置、運転支援装置、車両評価システム、ドライバモデル作成装置、及び運転行動判定装置
JP5162103B2 (ja) * 2006-05-15 2013-03-13 トヨタ自動車株式会社 支援制御装置
JP2008191781A (ja) 2007-02-01 2008-08-21 Hitachi Ltd 衝突回避システム
JP4345832B2 (ja) 2007-03-12 2009-10-14 トヨタ自動車株式会社 道路状況検出システム
KR20150038622A (ko) * 2007-08-29 2015-04-08 콘티넨탈 테베스 아게 운트 코. 오하게 특성 포인트에 의한 차량 위치의 보정
JP4375488B2 (ja) 2007-10-11 2009-12-02 トヨタ自動車株式会社 運転支援装置
US8688369B2 (en) * 2008-05-30 2014-04-01 Navteq B.V. Data mining in a digital map database to identify blind intersections along roads and enabling precautionary actions in a vehicle
JP5272605B2 (ja) 2008-09-18 2013-08-28 日産自動車株式会社 運転操作支援装置、及び運転操作支援方法
CN102892657B (zh) 2010-05-17 2015-12-16 丰田自动车株式会社 驾驶辅助装置
US20110302214A1 (en) * 2010-06-03 2011-12-08 General Motors Llc Method for updating a database
JP5263260B2 (ja) * 2010-10-27 2013-08-14 株式会社デンソー 移動体用測位装置及びカーナビゲーション装置
US8543320B2 (en) 2011-05-19 2013-09-24 Microsoft Corporation Inferring a behavioral state of a vehicle
WO2013074868A1 (en) 2011-11-16 2013-05-23 Flextronics Ap, Llc Complete vehicle ecosystem
US9221461B2 (en) 2012-09-05 2015-12-29 Google Inc. Construction zone detection using a plurality of information sources
US9141995B1 (en) 2012-12-19 2015-09-22 Allstate Insurance Company Driving trip and pattern analysis
US8825371B2 (en) * 2012-12-19 2014-09-02 Toyota Motor Engineering & Manufacturing North America, Inc. Navigation of on-road vehicle based on vertical elements
US9435654B2 (en) * 2013-06-01 2016-09-06 Savari, Inc. System and method for creating, storing, and updating local dynamic MAP database with safety attribute
WO2015008290A2 (en) 2013-07-18 2015-01-22 Secure4Drive Communication Ltd. Method and device for assisting in safe driving of a vehicle
US9902343B2 (en) 2013-07-31 2018-02-27 Driverdo Llc Digital vehicle tag and method of integration in vehicle allocation system
CN105637916B (zh) 2013-08-21 2019-11-22 英特尔公司 对车辆数据的授权访问
US9786172B2 (en) 2014-02-20 2017-10-10 Aisin Aw Co., Ltd. Warning guidance system, method, and program that provide information to vehicle navigation systems
JP5899254B2 (ja) 2014-02-25 2016-04-06 株式会社中山鉄工所 ジョークラッシャの駆動装置
WO2015134311A1 (en) 2014-03-03 2015-09-11 Inrix Inc Traffic obstruction detection
US9189897B1 (en) 2014-07-28 2015-11-17 Here Global B.V. Personalized driving ranking and alerting
JP6424761B2 (ja) * 2014-11-07 2018-11-21 株式会社デンソー 運転支援システム及びセンタ
DE102014226781A1 (de) 2014-12-22 2016-06-23 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung eines resultierenden Sollwerts zur Regelung einer Lenkeinrichtung sowie Fahrzeug
JP6176263B2 (ja) 2015-01-19 2017-08-09 トヨタ自動車株式会社 自動運転装置
WO2016126321A1 (en) 2015-02-06 2016-08-11 Delphi Technologies, Inc. Method and apparatus for controlling an autonomous vehicle
US9550495B2 (en) 2015-03-27 2017-01-24 Intel Corporation Technologies for assisting vehicles with changing road conditions
US10204528B2 (en) 2015-08-05 2019-02-12 Uber Technologies, Inc. Augmenting transport services using driver profiling
JP6558731B2 (ja) 2015-04-21 2019-08-14 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
CN107531244B (zh) 2015-04-21 2020-04-21 松下知识产权经营株式会社 信息处理系统、信息处理方法、以及记录介质
US20160363935A1 (en) 2015-06-15 2016-12-15 Gary Shuster Situational and predictive awareness system
US11107365B1 (en) 2015-08-28 2021-08-31 State Farm Mutual Automobile Insurance Company Vehicular driver evaluation
US9734455B2 (en) * 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US10223380B2 (en) * 2016-03-23 2019-03-05 Here Global B.V. Map updates from a connected vehicle fleet
US10257270B2 (en) 2016-04-26 2019-04-09 International Business Machines Corporation Autonomous decentralized peer-to-peer telemetry
US10068477B2 (en) 2016-04-29 2018-09-04 Ford Global Technologies, Llc System and method for detecting and communicating slipping of non-connected vehicles
US10370102B2 (en) 2016-05-09 2019-08-06 Coban Technologies, Inc. Systems, apparatuses and methods for unmanned aerial vehicle
EP3475933A1 (en) 2016-06-24 2019-05-01 Swiss Reinsurance Company Ltd. Autonomous or partially autonomous motor vehicles with automated risk-controlled systems and corresponding method thereof
US10331141B2 (en) 2016-06-30 2019-06-25 GM Global Technology Operations LLC Systems for autonomous vehicle route selection and execution
US10269242B2 (en) 2016-07-12 2019-04-23 Ford Global Technologies, Llc Autonomous police vehicle
EP3497405B1 (en) * 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10179586B2 (en) 2016-08-11 2019-01-15 Toyota Motor Engineering & Manufacturing North America, Inc. Using information obtained from fleet of vehicles for informational display and control of an autonomous vehicle
US10049328B2 (en) 2016-10-13 2018-08-14 Baidu Usa Llc Group driving style learning framework for autonomous vehicles
US9963106B1 (en) 2016-11-07 2018-05-08 Nio Usa, Inc. Method and system for authentication in autonomous vehicles
CN109923597A (zh) 2016-11-18 2019-06-21 三菱电机株式会社 驾驶辅助装置及驾驶辅助方法
US10712163B2 (en) 2017-02-23 2020-07-14 International Business Machines Corporation Vehicle routing and notifications based on characteristics
US10281920B2 (en) 2017-03-07 2019-05-07 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10139831B2 (en) 2017-03-17 2018-11-27 Denso International America, Inc. Vehicle system and vehicle controller for controlling vehicle
US10296828B2 (en) * 2017-04-05 2019-05-21 Here Global B.V. Learning a similarity measure for vision-based localization on a high definition (HD) map
JP6722132B2 (ja) 2017-04-27 2020-07-15 クラリオン株式会社 推奨運転出力装置、推奨運転出力方法、及び推奨運転出力システム
US10493994B1 (en) 2017-05-11 2019-12-03 State Farm Mutual Automobile Insurance Company Vehicle driver performance based on contextual changes and driver response
US10452073B2 (en) 2017-05-19 2019-10-22 Toyota Research Institute, Inc. Vehicle control systems and methods of controlling vehicles using behavior profiles
US10543853B2 (en) 2017-07-05 2020-01-28 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for providing collaborative control of a vehicle
US10330486B2 (en) 2017-08-08 2019-06-25 Gm Global Technology Operations Llc. Context-aware vehicle communications system and control logic with adaptive crowd-sensing capabilities
US10311728B2 (en) 2017-08-11 2019-06-04 Here Global B.V. Method and apparatus for providing a confidence-based road event message
US10532749B2 (en) 2017-08-11 2020-01-14 Uatc, Llc Systems and methods to adjust autonomous vehicle parameters in response to passenger feedback
US10345110B2 (en) 2017-08-14 2019-07-09 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle routing based on chaos assessment
JP6984232B2 (ja) 2017-08-25 2021-12-17 トヨタ自動車株式会社 自動運転装置
JP7018276B2 (ja) 2017-09-12 2022-02-10 フォルシアクラリオン・エレクトロニクス株式会社 情報システム、運転支援情報提供方法、車載端末
JP6950432B2 (ja) 2017-10-05 2021-10-13 トヨタ自動車株式会社 運転支援装置、情報処理装置、運転支援システム、運転支援方法
JP6870584B2 (ja) 2017-11-13 2021-05-12 トヨタ自動車株式会社 救援システムおよび救援方法、ならびにそれに使用されるサーバおよびプログラム
US11163309B2 (en) * 2017-11-30 2021-11-02 Direct Current Capital LLC Method for autonomous navigation
US10627242B2 (en) * 2017-12-04 2020-04-21 Mapbox, Inc. Identifying missing features in digital maps based on mobile telemetry data
US11328210B2 (en) * 2017-12-29 2022-05-10 Micron Technology, Inc. Self-learning in distributed architecture for enhancing artificial neural network
US10755111B2 (en) 2018-01-29 2020-08-25 Micron Technology, Inc. Identifying suspicious entities using autonomous vehicles
US11727794B2 (en) 2018-03-14 2023-08-15 Micron Technology, Inc. Systems and methods for evaluating and sharing human driving style information with proximate vehicles
US11009876B2 (en) 2018-03-14 2021-05-18 Micron Technology, Inc. Systems and methods for evaluating and sharing autonomous vehicle driving style information with proximate vehicles
US10894545B2 (en) * 2018-03-14 2021-01-19 Micron Technology, Inc. Configuration of a vehicle based on collected user data
US20190300017A1 (en) 2018-04-02 2019-10-03 GM Global Technology Operations LLC Method of controlling a vehicle
US10997429B2 (en) * 2018-04-11 2021-05-04 Micron Technology, Inc. Determining autonomous vehicle status based on mapping of crowdsourced object data
US11161518B2 (en) 2018-06-15 2021-11-02 Micron Technology, Inc. Detecting road conditions based on braking event data received from vehicles
US10807592B2 (en) * 2018-06-18 2020-10-20 Micron Technology, Inc. Vehicle navigation using object data received from other vehicles
US10704916B2 (en) * 2018-07-16 2020-07-07 Here Global B.V. Method and system for map matching of road sign observations
US11299149B2 (en) 2018-07-23 2022-04-12 Denso International America, Inc. Considerate driving system
US10922840B2 (en) * 2018-12-20 2021-02-16 Here Global B.V. Method and apparatus for localization of position data
US20200217667A1 (en) * 2019-01-08 2020-07-09 Qualcomm Incorporated Robust association of traffic signs with a map
US11112252B2 (en) * 2019-02-14 2021-09-07 Hitachi Ltd. Sensor fusion for accurate localization
DE102019112413A1 (de) * 2019-05-13 2020-11-19 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
US11247695B2 (en) * 2019-05-14 2022-02-15 Kyndryl, Inc. Autonomous vehicle detection
KR20210005439A (ko) * 2019-07-05 2021-01-14 현대자동차주식회사 운전자 보조 장치, 그를 가지는 차량 및 그 제어 방법
US11077850B2 (en) 2019-09-06 2021-08-03 Lyft, Inc. Systems and methods for determining individualized driving behaviors of vehicles
GB202002612D0 (en) * 2020-02-25 2020-04-08 Tomtom Global Content Bv Digital map data with enhanced functional safety
KR20220081521A (ko) * 2020-12-09 2022-06-16 현대자동차주식회사 도로형상분류 기반 맵 매칭을 통한 고정밀 위치추정 방법 및 자율주행 자동차

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209989A (zh) * 2015-02-06 2017-09-26 卞祯焄 基于众包数据的车辆控制
CN107031655A (zh) * 2015-10-15 2017-08-11 福特全球技术公司 确定复杂路段的方差因子
CN107024215A (zh) * 2016-01-29 2017-08-08 福特全球技术公司 追踪动态环境内的对象以改进定位
CN107450529A (zh) * 2016-05-06 2017-12-08 优步技术公司 用于自动驾驶车辆的改进的物体检测
CN107463170A (zh) * 2016-06-06 2017-12-12 通用汽车环球科技运作有限责任公司 用于自主车辆导航的交通控制设备与通车车道基于传感器的关联性
WO2018015811A1 (en) * 2016-07-21 2018-01-25 Mobileye Vision Technologies Ltd. Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于crowdsourcing的路况信息收集系统及相关隐私安全问题研究;张晓旭;《中国优秀硕士学位论文全文数据库》电子期刊(2016年第09期);全文 *

Also Published As

Publication number Publication date
US20210216790A1 (en) 2021-07-15
CN111936947A (zh) 2020-11-13
US20230045250A1 (en) 2023-02-09
US20190316913A1 (en) 2019-10-17
US11861913B2 (en) 2024-01-02
US10997429B2 (en) 2021-05-04
US20230041045A1 (en) 2023-02-09
WO2019199508A1 (en) 2019-10-17
US20240005667A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
CN111936947B (zh) 基于众包对象数据映射确定自主车辆状态
US11866020B2 (en) Detecting road conditions based on braking event data received from vehicles
US11891054B2 (en) Vehicle navigation using object data received from other vehicles
US11756353B2 (en) Downloading system memory data in response to event detection
US20210129852A1 (en) Configuration of a Vehicle Based on Collected User Data
CN111028382B (zh) 自主交通工具中待收集数据的实时选择
WO2019195187A1 (en) Feature-based prediction
US20240087380A1 (en) Automatic collection of autonomous vehicle logging data
CN113165655A (zh) 确定自主车辆操作可靠性的传感器融合
US11904870B2 (en) Configuration management system for autonomous vehicle software stack
US20240184947A1 (en) Attribution of reproducibility results of autonomous vehicle subsystem
US20230204738A1 (en) Emulation of a lidar sensor using historical data collected by a lidar having different intrinsic attributes
US20240184691A1 (en) Testing software changes and determining a repeatability of software tests
US20240144743A1 (en) Transducer-based suspension health monitoring system
US20240184258A1 (en) Systems and techniques for validating a simulation framework
US20240054777A1 (en) Reducing environmental interference from images
US20240087377A1 (en) Intelligent components for localized decision making
US20230215134A1 (en) System and method for image comparison using multi-dimensional vectors
US20240034348A1 (en) Live remote assistance request and response sessions
WO2024064286A1 (en) Microweather classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant