CN113165647A - 考虑旅行者意图的计算机辅助或自主驾驶方法和设备 - Google Patents

考虑旅行者意图的计算机辅助或自主驾驶方法和设备 Download PDF

Info

Publication number
CN113165647A
CN113165647A CN201980041655.4A CN201980041655A CN113165647A CN 113165647 A CN113165647 A CN 113165647A CN 201980041655 A CN201980041655 A CN 201980041655A CN 113165647 A CN113165647 A CN 113165647A
Authority
CN
China
Prior art keywords
traveler
path
vehicle
expected
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980041655.4A
Other languages
English (en)
Inventor
P·格温
M·斯普伦加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN113165647A publication Critical patent/CN113165647A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096827—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed onboard
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Business, Economics & Management (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Emergency Management (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本文公开了与计算机辅助或自主驾驶(CA/AD)相关联的设备、存储介质和方法。在一些实施例中，设备包括：一个或多个通信接口，用于接收CA/AD交通工具附近接近地移动的对象的预期的或预计的路径；传感器，用于收集与CA/AD交通工具周围区域中的静止或移动对象相关联的传感器数据；以及导航子系统，用于至少部分地基于与周围区域中的静止或移动对象相关联的传感器数据以及CA/AD交通工具附近接近地移动的对象的预期的或预计的路径，来将CA/AD交通工具导航到目的地或辅助将CA/AD交通工具导航到目的地。还描述并要求保护其他实施例。

Description

考虑旅行者意图的计算机辅助或自主驾驶方法和设备
相关申请
本申请要求于2018年12月20日提交的题为“考虑旅行者意图的计算机辅助或自主驾驶方法和设备(COMPUTER-ASSISTED OR AUTONOMOUS DRIVING METHOD AND APPARATUSWITH CONSIDERATION FOR TRAVELERS’INTENT)”的美国申请16/228,515的优先权。
技术领域
本公开涉及计算机辅助驾驶或自主驾驶(CA/AD)领域。更具体地，本公开涉及用于考虑旅行者意图的计算机辅助或自主驾驶方法和设备。
背景技术
随着集成电路、传感器、计算和相关技术的进步，越来越多的交通工具操作不断增长地接收计算机辅助，从平行停车到车道变化等等。预期完全自主驾驶交通工具很快将普遍地可用于普通消费者。对于CA/AD交通工具而言，理解人(例如，行人)的意图相对困难，意图诸如他们的下一步行动—他们将直行、左转、右转、后退、开始跑、还是步行。这可能会在CA/AD交通工具的决策方案中产生等待时间。它们必须理解被动或模糊的信息，但是不幸的是，如果CA/AD交通工具做出错误的决策，可能会接着发生灾难性的结果。
附图说明
通过下列具体实施方式并结合所附附图，可容易地理解实施例。为了便于该描述，类似的附图标记指示类似的结构元件。在所附附图的图中，以示例方式而不以限制方式图示出实施例。
图1图示出根据各个实施例的用于结合和使用本公开的考虑旅行者意图的CA/AD驾驶技术的环境的概览。
图2图示出根据各个实施例的本公开的考虑旅行者意图的CA/AD技术的示例应用。
图3进一步详细地图示出根据各个实施例的期望的或预计的路径的推断或预计。
图4图示出根据各个实施例的本公开的考虑旅行者意图的CA/AD的示例过程。
图5图示根据各个实施例的旅行者的个人系统的示例过程。
图6图示出根据各个实施例的路线记录和预测云服务的示例过程。
图7图示出根据各个实施例的CA/AD交通工具的导航子系统的示例过程。
图8图示根据各个实施例的旅行者的示例个人系统的组件示图。
图9图示出根据各个实施例的适于由CA/AD交通工具的导航子系统使用的示例神经网络。
图10图示出根据各个实施例的车载系统的软件组件视图。
图11图示出根据各个实施例的适于用作车载系统或云服务器的计算机平台的硬件组件视图。
图12图示出根据各实施例的具有用于实施参考图1-8所述的方法的指令的存储介质。
具体实施方式
为了解决背景技术部分中讨论的挑战，本文公开了用于考虑对象意图的计算机辅助或自主驾驶的设备、存储介质和方法。在一些实施例中，用于CA/AD的设备包括一个或多个通信接口以及传感器，该一个或多个通信接口被设置在CA/AD交通工具中、用于接收在CA/AD交通工具附近接近地行进的旅行者的预期的或预计的路径，该传感器被设置在CA/AD交通工具中、用于收集与CA/AD交通工具周围区域中的静止或移动对象相关联的传感器数据，该静止或移动对象包括在CA/AD交通工具附近接近地行进的旅行者。另外，CA/AD交通工具进一步包括：导航子系统，该导航子系统被设置在CA/AD交通工具中并与一个或多个通信接口和传感器耦合，用于至少部分地基于与周围区域中的静止或移动对象相关联的传感器数据以及接收到的旅行者在CA/AD交通工具附近接近地行进的预期的或预计的路径、来将CA/AD交通工具导航到目的地或辅助将CA/AD交通工具导航到目的地。例如，旅行者可以是行人或骑行者。
在各个实施例中，该技术进一步包括用于旅行者的设备，包括：传感器，用于收集与旅行者在携带或穿戴该设备时所行进的路线或路径相关联的传感器数据；以及一个或多个通信接口，用于将旅行者的预期的或预计的路径提供给在旅行者附近接近地移动的交通工具，预期的或预计的路径至少部分地基于针对旅行者先前所行进的路线或路径所收集的传感器数据来进行推断或预计。
在各个实施例中，该技术进一步包括至少一种计算机可读介质(CRM)，具有存储在其中的指令，响应于由计算设备对该指令的执行，使计算设备用于：从行人或骑行者的个人系统中接收由个人系统的传感器针对行人或骑行车所行进的路线或路径所收集的传感器数据；存储针对行人或骑行者所行进的路线或路径所收集的传感器数据；至少部分地基于针对行人或骑行者先前所行进的路线或路径的所存储的传感器数据、来生成行人或骑行者的当前预期的或预计的路径；并且输出所生成的行人或骑行者的当前预期的或预计的路径，以辅助计算机辅助或自主驾驶(CA/AD)交通工具对检测到在CA/AD交通工具附近接近地移动的行人或骑行者进行响应。
在各个实施例中，该技术进一步包括一种用于计算机辅助或自主驾驶(CA/AD)的方法，该方法包括：辅助交通工具导航或使交通工具自主地导航到目的地；检测在交通工具附近接近地移动的旅行者；以及至少部分地基于接收到的旅行者的预期的或预计的路径来确定对检测到在交通工具附近接近地移动的旅行者的响应。
在下列详细描述中，将进一步描述具有考虑旅行者意图的CA/AD技术的这些和其他方面。参考形成本文一部分的附图，其中贯穿各附图相同的标记指示相同的部分，并且其中通过图示的方式示出了可实施的实施例。应理解，可利用其他实施例，并且可作出结构或逻辑的改变而不背离本公开的范围。因此，以下详细描述不应以限制的意义来理解，并且实施例的范围由所附权利要求及其等效方案来限定。
所附说明书中公开了本公开的多个方面。可以构想本公开的替代实施例及其等效方案而不背离本公开的精神或范围。应当注意，下文所公开的相同的要素由附图中相同的附图标记指示。
可以按在理解要求保护的主题时最有帮助的方式将各操作描述为依次的多个分立动作或操作。然而，不应当将描述的次序解释为暗示这些操作必然依赖于次序。具体而言，可以不按照呈现的次序执行这些操作。能以不同于所描述的实施例的次序执行所描述的操作。在附加的实施例中，可以执行各种附加操作和/或可以省略所描述的操作。
出于本公开的目的，短语“A和/或B”意指(A)、(B)或(A和B)。出于本公开的目的，短语“A、B和/或C”意指(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。
说明书可使用短语“在实施例中”或“在一些实施例中”，其可各自指代相同或不同实施例中的一个或多个实施例。此外，如相对于本公开的实施例所使用的术语“包含”、“包括”、“具有”等是同义的。
如本文中所使用，术语“模块”或“引擎”可指执行提供所描述功能的一个或多个软件或固件程序、组合逻辑电路和/或其他合适的组件的专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或成组的)和/或存储器(共享的、专用的或成组的)，或者可以是上述各项的部分，或者可包括上述各项。
现在参考图1，其中图示出根据各实施例的用于结合和使用具有本公开的考虑旅行者意图的技术的CA/AD的环境的概览。如所示，对于图示出的实施例，示例环境50包括移动交通工具52和在交通工具52附近接近地行进(移动)的旅行者(也称为移动对象)72。旅行者(或移动对象)72的示例可以包括但不限于行人、骑行者或机器人。
旅行者(或移动对象)72在其行程中行进时穿戴、携带或以其他方式具有个人系统150。个人系统150被布置用于记录和报告对象72针对各种开始位置与目的地位置之间的各种行程而行进的路线或路径。这些被记录的、旅行者(或移动对象)72先前所行进的各种行程的路线或路径用于生成当前行程的特定时间点和位置的当前预期的或预计的路径。因此，当旅行者(或移动对象)72在交通工具52附近接近地行进(或移动)时，可以将旅行者(或移动对象)72在该特定时间和位置的当前预期的或预计的路径提供给交通工具52，以便在确定其对检测到接近地行进/移动的人/对象72的响应时加以考虑。因此，交通工具52可以做出更详尽的且潜在地更安全的决策。
对于所图示出的实施例，个人系统150包括一个或多个传感器160和路线记录器/报告器170。传感器160具体包括被配置成收集与个人系统150的当前位置相关联的传感器数据的传感器。此类传感器的示例可以包括但不限于全球定位传感器。路线记录器/报告器170被配置成在旅行者(或移动对象)72与个人系统150一起行进(即携带、穿戴或以其他方式使个人系统150与旅行者(或移动对象)72一起行进)时，记录所收集的与个人系统150的位置相关联的传感器数据，该个人系统150的位置与旅行者(或移动对象)72所行进的各种路线/路径的位置相对应。除了与个人系统150结合的本公开的技术之外，个人系统150可以是本领域中已知的多个便携式或可穿戴设备(诸如，移动电话、智能手表等)中的任一者。下面将参考图8更详细地描述示例个人系统150。
交通工具52包括引擎、变速器、车轴、车轮等等(未示出)。进一步地，交通工具52包括车载系统(IVS)100、传感器110、以及驾驶控制单元(DCU)120。IVS 100包括导航子系统130。导航子系统130被配置用于取决于CA/AD交通工具52是计算机辅助交通工具、部分自主驾驶交通工具还是完全自主驾驶交通工具来提供导航引导或控制。导航子系统130被配置有计算机视觉，该计算机视觉用于在CA/AD交通工具52行进到其目的地的途中，标识CA/AD交通工具52周围的区域80中的静止或移动对象(诸如旅行者或移动对象72)。在各个实施例中，导航子系统130被配置成识别CA/AD交通工具52周围区域80中的静止或移动对象(诸如，旅行者或移动对象72)，并且作为响应，至少部分地基于由传感器110收集的传感器数据，在引导或控制CA/AD交通工具52的DCU时做出其决策。然而，如前所述，对于所图示出的实施例而言，导航子系统130被赋予本公开的技术，在确定其对检测到在交通工具52附近接近地行进/移动的旅行者或(或移动对象)72的响应时，进一步考虑旅行者(或移动对象)72的当前预期的或预计的路径。周围区域80的尺寸可能因应用而不同，这取决于与CA/AD交通工具52包括在一起的传感器的感测能力或范围。
传感器110具体包括用于捕获CA/AD交通工具52的周围区域80的图像的一个或多个相机(未示出)。在各实施例中，传感器110还可包括光检测和测距(LiDAR)传感器、加速度计、陀螺仪、全球定位系统(GPS)电路等等。驾驶控制单元(DCU)的示例可包括用于控制CA/AD交通工具52的引擎、变速器、刹车的控制单元。在各个实施例中，除了导航子系统130之外，IVS 100可进一步包括数个信息娱乐子系统/应用，例如，仪表集群子系统/应用、前排座位信息娱乐子系统/应用(诸如，导航子系统/应用、媒体子系统/应用、交通工具状态子系统/应用等等)、以及数个后排座位娱乐子系统/应用(未示出)。
在各个实施例中，IVS 100和个人系统150自行或响应于用户交互而彼此通信或交互54c，以及与一个或多个远程/云服务器60通信或交互54a-54b。具体而言，在各个实施例中，远程/云服务器60包括路线记录和预测服务180。个人系统150与路线记录和预测服务180通信54b以提供由旅行者(或移动对象)72针对各种行程所行进的各种路线/路径的位置。个人系统150还与路线记录和预测服务180通信54b以接收其当前的预期的或预计的路径，并广播54c交通工具52的当前预期的或预计的路径。在替代的实施例中，IVS 100替代地还可以与路线记录和预测服务180通信54a以接收旅行者(移动对象)72的当前预期的或预计的路径。
在各个实施例中，IVS 100和个人系统150可经由蜂窝通信(诸如经由交通工具52和个人系统150附近的传输塔56上的无线信号中继器或基站、以及一个或多个私有和/或公共的有线和/或无线网络58)与服务器60通信54a-54b。私有和/或公共的有线和/或无线网络58的示例可包括互联网、蜂窝服务提供商的网络等等。应当理解，当交通工具52在行进至其目的地的途中或个人系统150在周围移动时，传输塔56可以是在不同的时间/位置处的不同的塔。在各个实施例中，IVS 100和个人系统150经由WiFi或专用短程通信(DSRC)直接彼此通信。
除了本公开所提供的技术之外，IVS 100和CA/AD交通工具52在其他方面可以是本领域中已知的数个IVS和CA/AD交通工具中的任一者，从计算机辅助交通工具到部分自主交通工具或完全自主交通工具。将参考其余附图进一步描述IVS 100的这些和其他方面。在这样做之前，应当注意，虽然为了便于理解，仅示出一个交通工具52和一个旅行者(或移动对象)，但是本公开不限于此。在实践中，可以有装备有本公开的技术的大量的交通工具52(IVS 100)和/或旅行者的个人系统150。
现在参考图2，其中图示出根据各个实施例的本公开的考虑旅行者意图的CA/AD技术的示例应用。如图2的左窗格中所示，交通工具252(其可以是交通工具52)正在进入交叉口200，在最右侧的缘侧车道上沿西向东的方向行进。在图2的左窗格中还示出了旅行者(或移动对象)272(其可能是旅行者(或移动对象)72)在先前的行程中已经通过交叉口200。更具体地，在先前的行程中，旅行者(或移动对象)272首先在南端穿过交叉口200的全部，沿东向西方向行进，然后在西端穿过交叉口200的全部，沿南向北方向行进。
如图2的右窗格所图示，在当前行程中，当旅行者(或移动对象)272在南端穿过交叉口200，沿东向西方向行驶时，旅行者(或移动对象)272在人行横道中间进行右转，沿南向北方向行进片刻，以避开交叉口200的南端中间的障碍物206(例如，浅水坑)。当交通工具252观察到对象272由南向北行进时，如果交通工具252没有注意到浅水坑并且没有理解由南到北行驶只是暂时的，则将提示潜在的碰撞。旅行者(或移动对象)272不打算转弯并开始沿南向北的方向在该点穿过交叉口200。在现有技术中，在没有正确理解的情况下，为了避免撞上旅行者(或移动对象)272，交通工具252会做出避让动作，如果可能的话，会改变车道，并且如果不能改变车道，则交通工具252会做出紧急制动，以使交通工具252停止进一步向前进。
然而，如图2的右窗格中还图示出的那样，在本公开中，基于所记录的过去行进的路线/路径生成的旅行者(或移动对象)272的当前期望的或预计的路径204指示：旅行者(或移动对象)272意图或预计在沿东向西方向上继续其行进。当交通工具252被提供有该信息(旅行者(或移动对象)272的预期的或预计的路径204)时，交通工具252可以使其对观察到旅行者(或移动对象)272在交叉口200的南端中间沿南向北方向的短暂行进的响应变缓和。交通工具252可以减速、稍微放慢速度，以提供时间以确保旅行者(或移动对象)272确实左转并继续沿东向西方向上行进，而不是突然改变车道或应用紧急制动。此类适度的移动可能更安全，因为它降低了交通工具262追尾交通工具252(或交通工具252侧面擦刮相邻车道中的另一交通工具)的可能性。
现在参考图3，其中进一步详细地图示出根据各个实施例的旅行者的当前预期的或预计的路径的推断或预计。如所示，当旅行者(或移动对象)372(其可以是图1的骑行者72)沿着其当前路径行进，并且即将在北端沿东向西的方向进入交叉口300时，其当前预期的或预测的路径306可以基于其过去行进通过交叉口的所记录的路径来生成，并被提供给交通工具352和362(其可以是图1的交通工具52)，如前所述。
图3的右手侧进一步详细地图示出根据一些实施例的被提供给交通工具352和362的旅行者(或移动对象)372的预期的或预计的路径306。如所示，对象372的预期的或预计的路径306利用在第一侧和与第一侧相对的第二侧上由阈值/置信度边界314-321界定的期望路径312来描述。更具体地，对于图示出的实施例，期望路径312为统计平均路径，并且阈值/置信度边界包括在第一侧上的概率加一个标准差边界314、概率加两个标准差边界315、概率加三个标准差边界316和概率加四个标准差边界317、以及在第二侧上的概率减一个标准差边界318、概率减两个标准差边界319、概率减三个标准差边界320、和概率减四个标准差边界321。在替代的实施例中，预期的或预计的路径306可以以其他方式被描述。
现在参考图4，其中图示出根据各个实施例的本公开的考虑旅行者意图的CA/AD的示例过程。如所示，对于图示出的实施例而言，用于考虑旅行者意图的CA/AD的过程400包括在框402-408处执行的操作。在各个实施例中，在框402-408处的操作由旅行者的个人系统、云服务器或服务、以及CA/AD交通工具的IVS执行。
如所示，过程400在框402处开始。在框402处，旅行者的各种行程的路线/路径数据被跟踪和被记录。在各种实施例中，如前所述，可以利用由旅行者穿戴或携带的个人系统来跟踪旅行者的各个行程的路线/路径数据，并将各个行程的路线/路径数据报告给云服务/服务器以供存储。
接下来，在框404处，可以基于所记录的/所报告的路线/路径数据来计算这些行程的典型路线/路径模型。在各个实施例中，各个行程的路线/路径模型可以由云服务器的路线/路径记录和预测云服务来计算。
在框406处，使用所计算的覆盖当前行程的典型路线/路径模型来计算旅行者的当前行程的当前位置的当前预期的或预计的路线/路径。在各个实施例中，该计算可以考虑第一位置的当前时间、从第一位置行进到第二位置的历史时间以及旅行者的当前速度。在各个实施例中，当前行程的预期的或预计的路线/路径可以由云服务器的路线/路径记录和预测云服务来计算。
在框408处，旅行者的当前行程的当前位置的当前预期的或预计的路线/路径与附近的CA/AD交通工具共享。在各个实施例中，可以通过云服务/服务器直接地(通过CA/AD订阅云服务器的服务)或经由旅行者的个人系统(通过云服务/服务器将旅行者的当前行程的当前预期的或预计的路线/路径返回到旅行者的个人系统)与附近的CA/AD交通工具共享旅行者的当前行程的当前预期的或预计的路线/路径。
在框410处，确定对检测到或观察到旅行者的响应，其中考虑接收到的旅行者的当前行程的当前预期的或预计的路线/路径。例如，如果在某些阈值或置信度边界内检测或观察到旅行者，则可以确定无响应，并且相对于在某些阈值或置信边界外检测到或观察到旅行者的程度，响应可以是渐进的。在各个实施例中，可以由检测或观察旅行者的CA/AD交通工具的导航子系统来确定对检测到或观察到旅行者的响应。
以下参考图5-图7进一步描述这些操作。
现在参考图5，其中图示了根据各个实施例的旅行者的个人系统的示例过程。如所示，对于图示出的实施例而言，用于旅行者的个人系统的过程500包括在框502-508处执行的操作。在各个实施例中，在框502-框508处的操作可以由旅行者的个人系统的路线/路径记录器/报告器来执行。
过程500在框502处开始。在框502处，与旅行者的行程有关的信息(例如，起始位置、目的地、时间和日期)被接收。接收到的行程信息进而被报告给云服务/服务器以供存储。行程信息可以从旅行者接收。接收到的行程信息可以经由无线蜂窝通信被报告给云服务/服务器。
接下来，在框504处，行程的路线/路径数据被收集。行程的路线/路径数据可以从与旅行者的个人系统包括在一起的各个传感器(诸如GPS传感器)中收集。行程的路线/路径数据可以连续地或周期性地从各种传感器中收集。周期性可以取决于旅行者的行进速度或类型，例如，缓慢的行人、以中速或快速的步伐行走的行人、慢跑者、缓慢的骑行者、以中速或高速骑行的骑行者，等等。在实施例中，周期性可以取决于环境状况(诸如，地形是光滑的还是粗糙的、是晴天还是雨天，等等)是可能引发快速步伐的行进还是慢速步伐的行进。
在各个实施例中，如前所述，将收集到的路线/路径数据报告给云服务器的路线记录和预测云服务以供记录和存储。所收集的路线/路径数据可以类似地经由无线蜂窝通信被报告给云服务/服务器。所收集的路线/路径数据可以在其被收集时被连续报告，也可以被批量报告。
接下来，在框506处，在旅行者利用收集到的路线/路径稍候在先前已经行进过路线/路径上行进的当前行程中，接收当前行程的当前位置的当前预定或预计的路线/路径。在各个实施例中，如前所述，可以从云服务/服务器接收当前行程的当前位置的当前预期的或预计的路线/路径。在各个实施例中，可从云服务/服务器连续接收当前行程的当前位置的当前预期的或预计的路线/路径。在其他实施例中，可以在所选择的感兴趣的位置(例如，旅行者可能与CA/AD交通工具相撞的交叉口)从云服务/服务器接收当前行程的当前位置的当前预期的或预计的路线/路径。
在框508处，当前行程的当前位置的当前预期的或预计的路线/路径与附近的CA/AD交通工具共享。在各个实施例中，如前所述，当前行程的当前位置的当前预期的或预计的路线/路径可以经由WiFi或专用短程通信进行广播。在各个实施例中，当前行程的当前位置的当前预期的或预计的路线/路径可以被连续地广播。在其他实施例中，当前行程的当前位置的当前预期的或预计的路线/路径可以在所选择的感兴趣的位置(例如，旅行者可能与CA/AD交通工具相撞的交叉口)处被广播。
在替代的实施例中，在框504处，如果个人系统具有足够的持久存储来存储用于计算旅行者的预定或预测路径的数据量和计算能力，则代替将所收集的各个行程的路线/路径数据报告给云服务器/服务，可以将所收集的各个行程的路线/路径数据存储在个人系统的持久存储中。个人系统可以凭借所提供的大量存储和计算能力，或者凭借个人系统被设计成由具有有限行进量的旅行者(诸如具有只需要有限的行进量的任务的机器人)使用而具有足够的存储或计算能力。对于这些实施例而言，在框506处，代替接收当前预期的或预计的路线/路径，当前预期的或预计的路线/路径可以由个人系统在本地计算。
现在参考图6，其中图示出根据各个实施例的路线记录和预测云服务的示例过程。如所示，对于图示出的实施例而言，用于路线记录和预测云服务的过程600包括在框602-610处执行的操作。在各个实施例中，在框602-608处的操作可以由云服务/服务器的路线/路径记录器/报告器和预测引擎来执行。
过程600在框602处开始。在框602处，从旅行者的个人系统接收与旅行者的行程有关的信息(例如，起始位置、目的地、时间和日期)并将其进行存储。接收到的行程信息可以经由无线蜂窝通信被报告给云服务/服务器。
接下来，在框604处，从个人系统接收行程的路线/路径数据(在它们被收集时或被批量收集时)并且将其进行存储。在各个实施例中，如前所述，经由无线蜂窝通信接收所收集的路线/路径数据。
接下来，在框606处，基于所接收的路线/路径数据来计算/更新旅行者的行程的路线/路径模型。如所述，在各个实施例中，该计算包括计算由第一侧和与第一侧相对的第二侧的阈值/置信度边界界定的期望路径。更具体地，在各个实施例中，该计算包括统计平均路径的计算，以及统计平均路径的两侧上的各种概率标准差边界，这些概率标准差边界包括：第一侧上的概率加一标准差边界、概率加二标准差边界、概率加三标准差边界和概率加四标准差边界317，以及第二侧上的概率减一标准差边界、概率减二标准差边界、概率减三标准差边界和概率减四标准差边界。在替代的实施例中，该计算可以包括其他类型的置信度量的计算。
在框608，旅行者的当前行程的当前位置被接收。并且作为响应，在框610处，使用过去行程的经计算的路线/路径模型来确定旅行者在当前位置的当前预期的或预计的路径。在各个实施例中，该计算可以考虑第一位置的当前时间、从第一位置行进到第二位置的历史时间以及旅行者的当前速度。为旅行者附近的CA/AD交通工具提供所确定的旅行者在当前位置的当前预期的或预计的路径，以便在确定其对检测到或观察到旅行者的响应时进行考虑。
在各个实施例中，如前所述，当前行程的当前位置的当前预期的或预计的路线/路径被返回到旅行者的个人系统中，以便为附近的CA/AD交通工具进行广播。在其他实施例中，当云服务器/服务接受CA/AD交通工具的订阅，并且订阅方CA/AD交通工具报告其当前位置时，可以基于旅行者和CA/AD交通工具的位置信息从云服务/服务器直接向订阅方CA/AD交通工具提供旅行者在当前位置的当前预期的或预计的路径。
现在参考图7，其中图示出根据各个实施例的CA/AD交通工具的导航子系统的示例过程。如所示，对于图示出的实施例而言，用于CA/AD交通工具的导航子系统的过程700包括在框702-706处执行的操作。在各个实施例中，框702-706处的操作可以由CA/AD交通工具的导航子系统执行。
过程700在框702处开始。在框702处，接收与CA/AD交通工具的当前周围区域中的对象有关的传感器数据。如前所述，传感器数据可以包括静止对象或CA/AD交通工具附近的移动对象的传感器数据。传感器数据可以包括由LiDAR,、相机、运动检测器等收集的传感器数据。周围区域的尺寸可能因应用而不同，这取决于与CA/AD交通工具包括在一起的传感器的感测能力或范围。
在框704处，接收附近旅行者的预期的或预计的路径。如前所述，可以经由附近旅行者进行广播来接收预期的或预计的路径，或从CA/AD交通工具向其订阅服务的云服务/服务器接收预期的或预计的路径。
在框706处，对检测到或观察到附近旅行者的响应做出确定。如前所述，CA/AD交通工具的导航子系统可被提供有机器学习，该机器学习经训练以便在做出确定时考虑所接收到的附近旅行者的预期的或预计的路径。例如，如果在某些阈值或置信度边界内检测或观察到旅行者，则可以确定无响应，并且相对于在某些阈值或置信边界外检测或观察到旅行者的程度，响应可以是渐进的。在各个实施例中，在706处的操作还可以包括利用机器学习将反馈提供给导航子系统。下面将参考图9进一步描述由导航子系统使用的示例神经网络。
现在参考图8，示出根据各个实施例的示例个人系统的组件视图。如所图示，个人系统800包括处理器802、存储器804、传感器806、和通信接口808。处理器802可以是本领域已知的数个单核处理器或多核处理器中的任何一个。类似地，存储器804可以是本领域已知的多种随机存取存储器中的任一种。存储器804具体包括路线/路径跟踪和报告模块/引擎810(其可以是图1的路线记录器/报告器170)，该路线/路径跟踪和报告模块/引擎810被配置成执行前面描述的路线/路径数据跟踪和报告操作。传感器可以包括本领域已知的各种传感器，特别是GPS传感器。通信接口808可以包括蜂窝通信电路以及WiFi或专用短程通信电路。
在各个实施例中，个人系统800可以被配置成存储所收集的各个行程的路线/路径数据，并在本地确定当前行程的当前位置的当前预期的或预计的路径。对于这些实施例而言，个人系统800可以进一步包括用于存储所收集的路线/路径数据以及所构建的路线路径模型的持久存储812。存储器804可以包括预测器816，预测器816用于构建各个行程的路线/路径模型、以及推断或预计当前行程的当前位置的预期的或预计的路径的路线/路径，如前所述。除其用途外，类似地，持久存储812可以是本领域已知的多种持久存储设备中的任一种。
在各个实施例中，个人系统800可以是智能手表、具有一个或多个应用(未示出)的便携式或可穿戴设备，一个或多个应用诸如与健康相关的应用、新闻应用、日历应用、消息收发应用等等。
现在参考图9，其中示出了根据各个实施例的适于确定对检测到/观察到的旅行者的响应的示例神经网络。示例神经网络900可适于由图1的导航子系统130使用。如所示，示例神经网络900可以是包括输入层912、一个或多个隐藏层914以及输出层916的多层前馈神经网络(FNN)。输入层912接收输入变量(xi)902的数据。(多个)隐藏层914处理输入，并且最终，输出层916输出判定或评定(yi)904。在一个示例实现方式中，神经网络的输入变量(xi)902被设置为包含相关变量数据的向量，而神经网络的输出判定或评定(yi)904也被设置为向量。
多层前馈神经网络(FNN)可通过下列等式来表达：
Figure BDA0002848275950000131
对于i＝1,…,N
Figure BDA0002848275950000132
对于i＝1,…,S
其中hoi和yi分别是隐藏层变量和最终输出，f()典型地是非线性函数，诸如，模仿人类大脑的神经元的sigmoid函数(s形函数)或修正线性(ReLu)函数。R是输入的数量。N是隐藏层的尺寸，即神经元的数量。S是输出的数量。
FNN的目的是通过经由训练使网络变量iw、hw、hb和ob适配来使网络输出与所期望的目标之间的误差函数E最小化，如下：
Figure BDA0002848275950000141
其中
Figure BDA0002848275950000142
其中，ykp和tkp分别是样本k的第p个输出单元的预测值和目标值，并且m是样本的数量。
对于导航子系统130，输入变量(xi)902可以包括由各种交通工具传感器收集的各种传感器数据以及描述附近旅行者的预期的或预计的路径的数据。输出变量(yi)904可以包括所确定的响应、调整速度、制动、改变车道等。通过训练数据来确定X的神经网络的(多个)隐藏层的网络变量。
在图9的示例中，为了简化说明，在神经网络中仅存在一个隐藏层。在一些其他实施例中，可能存在许多隐藏层。此外，神经网络可以采用一些其他类型的拓扑结构，诸如，卷积神经网络(CNN)、递归神经网络(RNN)等等。
现在参考图10，其中，图示出根据各实施例的车载系统的软件组件视图。如所示，对于实施例，IVS系统1000(其可以是IVS系统100)包括硬件1002和软件1010。软件1010包括主控数个虚拟机(VM)1022-1028的管理程序1012。管理程序1012被配置成用于主控VM1022-1028的执行。VM1022-1028包括服务VM 1022和数个用户VM 1024-1028。服务机1022包括服务OS，该服务OS主控数个仪表盘应用1032的执行。用户VM 1024-1028可包括：第一用户VM 1024，具有主管前排座位信息娱乐应用1034的执行的第一用户OS；第二用户VM 1026，具有主管后排座位信息娱乐应用1036的执行的第二用户OS；第三用户VM 1028，具有主管与旅行者意图技术相结合的导航子系统1038的执行的第三用户OS，等等。
软件1010的元件1012-1038可以是本领域中已知的数个这些元件中的任一者，例外是所并入的本公开的旅行者意图技术1038。例如，管理程序1012可以是数个本领域中已知的管理程序中的任一者，诸如，可从佛罗里达州劳德代尔堡的思杰公司(Citrix Inc)获得的KVM(开源管理程序)、Xen或者可从加利福尼亚州帕洛阿尔托的VMware公司获得的VMware等等。类似地，服务VM 1022的服务OS以及用户VM 1024-1028的用户OS可以是本领域中已知的数个OS中的任一者，诸如，例如可从北卡罗来纳州罗利市的Red Hat公司获得的Linux、或可从加利福尼亚州山景城的谷歌公司获得的Android。
现在参考图11，其中图示出根据各实施例的可适合用于实施本公开的示例计算平台。如所示，计算平台1100(其可以是图10的硬件1002或图1的服务器60中的一个服务器60的计算平台)包括一个或多个芯片上系统(SoC)1102、ROM 1103以及系统存储器1104。每个SoC 1102可包括一个或多个处理器核(CPU)、一个或多个图形处理器单元(GPU)、一个或多个诸如计算机视觉(CV)和/或深度学习(DL)加速器之类的加速器。ROM 1103可包括基本输入/输出系统服务(BIOS)1105。CPU、GPU和CV/DL加速器可以是本领域中已知的数个这些元件中的任一者。类似地，ROM 1103和BIOS 1105可以是本领域中已知的数个ROM和BIOS中的任一者，并且系统存储器1104可以是本领域中已知的数个易失性存储设备中的任一者。
另外，计算平台1100可包括持久性存储设备1106。持久存储设备1106的示例可包括但不限于，闪存驱动器、硬驱动器、紧凑盘只读存储器(CD-ROM)等等。进一步地，计算平台1100可包括用于与一个或多个I/O设备(诸如，传感器1120)对接的一个或多个输入/输出(I/O)接口1108。其他示例I/O设备可包括但不限于显示器、键盘、光标控制等等。计算平台1100还可包括一个或多个通信接口1110(诸如，网络接口卡、调制解调器等等)。通信设备可以包括本领域已知的任何数量的通信和I/O设备。通信设备的示例可包括但不限于，用于
Figure BDA0002848275950000151
近场通信(NFC)、WiFi、蜂窝通信(诸如，LTE 4G/5G)等等的联网接口。可经由系统总线1111将这些元件彼此耦合，该系统总线1111可表示一个或多个总线。在多个总线的情况下，可通过一个或多个总线桥(未示出)来桥接它们。
这些元件中的每个元件可执行在本领域中已知的其常规功能。具体而言，ROM1103可包括具有引导加载器的BIOS 1105。可采用系统存储器1104和大容量存储设备1106来存储编程指令的工作副本和永久副本，这些编程指令实现与管理程序112、服务/用户VM的服务/用户OS 1022-1028、导航子系统1038的组件、或服务器60的旅行者预期的或预计的路径云服务相关联的操作的编程指令的工作副本和永久副本，被统称为计算逻辑922。可通过由SoC1102的(多个)处理器核支持的汇编器指令或可以被编译成此类指令的诸如例如C之类的高级语言来实现各种元件。
如本领域技术人员将领会的那样，本公开可被具体化为方法或计算机程序产品。相应地，除了如之前所述地被具体化为硬件之外，本公开还可采取完全软件的实施例(包括固件、驻留软件、微代码等)或者组合全部可被统称为“电路”、“模块”或“系统”的软件和硬件方面的实施例的形式。此外，本公开可采取计算机程序产品的形式，该计算机程序产品具体化在表达的任何有形的或非暂态介质中，该表达具有具体化在该介质中的计算机可用的程序代码。图12图示出示例计算机可读非暂态存储介质，其可适合用于存储指令，响应于由装置对这些指令的执行，这些指令使该设备实施参考图1-图8所描述的本公开的所选择的方面。如所示，非暂态计算机可读存储介质1202可包括数条编程指令1204。编程指令1204可被配置成用于使得设备(例如，计算平台1100)能够响应于这些编程指令的执行而实现管理程序112、服务/用户VM122-128的服务/用户OS、导航子系统的组件1038、或服务器60的旅行者预期的或预计的路径云服务(的各方面)。在替代实施例中，相反，可将这些编程指令1204设置在多个计算机可读的非暂态存储介质1202上。在另外的其他实施例中，可将编程指令1204设置在计算机可读的暂态存储介质1202(诸如，信号)上。
可以利用一种或多种计算机可用或计算机可读介质的任何组合。计算机可用或计算机可读介质例如可以是但不限于，电子、磁、光、电磁、红外或半导体系统、装置、设备或传播介质。计算机可读介质的更具体的示例(非完全列表)将包括下述项：具有一条或多条线的电连接件、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储设备、诸如支持互联网或内联网的传输介质的传输介质、或磁存储设备。注意，该计算机可用或计算机可读介质甚至可以是纸或另一合适介质，在该介质上印刷有程序，因为可以经由例如对该纸或其他介质进行光学扫描来电子地捕捉该程序，然后在必要的情况下以合适的方式编译、解释或以其他方式处理该程序，并且随后将其存储在计算机存储器中。在本文档的上下文中，计算机可用或计算机可读介质可以是包含、存储、传递、传播、或传输用于由指令执行系统、装置或设备使用的或结合指令执行系统、装置或设备一起使用的程序的任何介质。计算机可用介质可包括所传播的数据信号，该数据信号在带内或作为载波的部分具有伴随其而具体化的计算机可用程序代码。可使用任何适当的介质来传送计算机可用程序代码，适当的介质包括但不限于无线、线缆、光纤电缆、射频等。
能以一种或多种编程语言的任何组合来编写用于实施本公开的操作的计算机程序代码，这些编程语言包括：面向对象的编程语言，诸如，Java、Smalltalk、C++等等；以及常规过程编程语言，诸如，“C”编程语言或类似的编程语言。程序代码可完全在用户的计算机上执行，可部分地在用户的计算机上执行，可作为独立的软件包执行，可部分地在用于的计算机上且部分地在远程计算机上执行，或者可完全在远程计算机或服务器上执行。在后一场景中，可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))将远程计算机连接到用户的计算机，或可(例如，使用互联网服务提供商通过互联网)建立到外部计算机的连接。
参照根据本公开的多个实施例的方法、设备(系统)和计算机程序产品的流程图图示和/或框图描述了本公开。将会理解，可以由计算机程序指令来实现流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合。可将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器来生产机器，使得经由计算机或其他可编程数据处理设备的处理器执行的这些指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。
也可将这些计算机程序指令存储在可指示计算机或其他可编程数据处理设备按特定方式运作的计算机可读介质中，使得该计算机可读介质中所存储的这些指令生产制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的指令装置。
也可将计算机程序指令加载到计算机或其他可编程数据处理设备上以使一系列操作步骤在该计算机或其他可编程装置上被执行从而产生计算机实现的过程，使得在该计算机或其他可编程装置上执行的这些指令提供用于实现流程图和/或框图的一个或多个框中指定的功能/动作的过程。
附图中的流程图和框图图示出根据本公开的各实施例的系统、方法和计算机程序产品的可能的实现方式的架构、功能和操作。就这一点而言，流程图或框图中的每个框可表示包括用于实现指定的(多个)逻辑功能的一条或多条可执行指令的模块、代码段或代码的部分。应当注意，在一些替代实现方式中，框中所标注的功能可不按图中所标注的次序发生。例如，取决于所涉及的功能，实际上，可基本上同时地执行连续地示出的两个框，或者有时可按相反的次序来执行这些框。也将注意，可以由执行指定的功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实现框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合。
本文中所使用的术语仅出于描述特定实施例的目的，并且不旨在限制本公开。如本文中所使用，单数形式的“一”(“a”、“an”)和“该”(“the”)旨在也包括复数形式，除非上下文另外清楚地指示。还将理解，当在本说明书中使用术语“包括”(“comprise”和/或“comprising”)时，其指定所陈述的特征、整数、步骤、操作、元件、和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件、和/或其群组的存在或添加。
可将实施例实现为计算机进程、计算系统，或者实现为诸如计算机可读介质的计算机程序产品之类的制品。计算机程序产品可以是计算机存储介质，该计算机存储介质可由计算机系统读取并对计算机程序指令编码以执行计算机进程。
所附权利要求书中的所有装置或步骤以及功能元件的对应的结构、材料、动作及等效物旨在包括与具体地要求保护的其他要求保护的元件组合执行功能的任何结构、材料或动作。已出于说明和描述的目的呈现了本公开的描述，但是该描述不旨在是穷举性的，也不限于按所公开形式的本公开。在不背离本公开的范围和精神的情况下，许多修改和变型对普通技术人员将是显而易见的。选择并描述实施例，以便最好地解释本公开的原理和实际应用，并且以便使其他本领域普通技术人员能够理解对具有适用于所构想的特定使用的各种修改的实施例的公开。
因此，已描述了本公开的各示例实施例，它们包括但不限于：
示例1是一种用于计算机辅助或自主驾驶(CA/AD)的设备，包括：一个或多个通信接口，该一个或多个通信接口被设置在CA/AD交通工具中，用于接收在CA/AD交通工具附近接近地行进的旅行者的预期的或预计的路径；传感器，该传感器被设置在CA/AD交通工具中，用于收集与CA/AD交通工具周围区域中的静止或移动对象相关联的传感器数据，该静止或移动对象包括在CA/AD交通工具附近接近地行进的旅行者；以及导航子系统，该导航子系统被设置在CA/AD交通工具中并且与一个或多个通信接口和传感器耦合，用于至少部分地基于与周围区域中的静止或移动对象相关联的传感器数据以及接收到的在CA/AD交通工具附近接近地行进的旅行者的预期的或预计的路径来将CA/AD交通工具导航到目的地或辅助将CA/AD交通工具导航到目的地。
示例2是示例1，其中在CA/AD交通工具附近接近地行进的旅行者是行人或骑行者中的被选择的一者。
示例3是示例1，其中一个或多个通信接口包括WiFi接口或专用短程通信接口中的被选择的一者，用于从旅行者的个人系统接收在CA/AD交通工具附近接近地行进的旅行者的预期的或预计的路径。
示例4是示例1，其中一个或多个通信接口包括蜂窝通信接口，用于从云服务器接收旅行者在CA/AD交通工具附近接近地行进的预期的或预计的路径。
示例5是示例1，其中旅行者在CA/AD交通工具附近接近地行进的预期的或预计的路径包括由第一侧和与第一侧相对的第二侧上的阈值或置信度边界界定的期望路径。
示例6是示例5，其中期望路径是统计平均路径，并且阈值或置信度边界包括在第一侧上的概率加一个标准差边界，以及在第二侧上的概率减一个标准差边界。
示例7是示例1，其中传感器包括一个或多个全球定位传感器、光检测和测距传感器、运动传感器或相机。
示例8是示例1，其中导航子系统被提供有机器学习，并且机器学习被训练成用于至少部分地基于与周围区域中的静止或移动对象相关联的传感器数据以及接收到的旅行者的预期的或预计的路径、来确定对对象的移动的响应。
示例9是示例8，其中，导航子系统被训练成用于鉴于接收到的旅行者的预期的或预计的路径表明未与对象发生碰撞，根据与周围区域中的静止或移动对象相关联的传感器数据来使对对象的移动的响应变缓和，该预期的或预计的路径包括预期的或预计的路径的阈值或置信度边界。
示例10是示例8，其中，导航子系统被训练成用于鉴于接收到的旅行者的预期的或预计的路径表明与旅行者发生潜在碰撞，而不管与周围区域中的静止或移动对象相关联的传感器数据是否表明与旅行者发生潜在碰撞，来使CA/AD交通工具变缓、停止、或反向移动。
示例11是一种用于旅行者的设备，该设备包括：传感器，用于收集与旅行者在携带或穿戴该设备时所行进的路线或路径相关联的传感器数据；以及一个或多个通信接口，用于将旅行者的预期的或预计的路径提供给在旅行者附近接近地移动的交通工具，预期的或预计的路径至少部分地基于针对旅行者先前所行进的路线或路径所收集的传感器数据来进行推断或预计。
示例12是示例11，其中传感器包括全球定位传感器。
示例13是示例11，其中一个或多个通信接口包括WiFi接口或专用短程通信接口，用于将旅行者的预期的或预计的路径提供给在旅行者附近接近地移动的交通工具。
示例14是示例11，其中，一个或多个通信接口被布置成用于进一步将针对旅行者所行进的路线或路径所收集的传感器数据提供给云服务器。
示例15是示例11，其中，一个或多个通信接口包括蜂窝通信接口，用于将针对旅行者所行进的路线或路径所收集的传感器数据提供给云服务器。
示例16是示例11，其中，一个或多个通信接口进一步被布置成用于从云服务器接收旅行者的预期的或预计的路径。
示例17是示例11，进一步包括数据存储，用于存储针对旅行者先前行进的路线或路径所收集的传感器数据；预期的或预计的路径预测引擎；以及处理器，该处理器耦合至数据存储，用于操作预期的或预计的路径预测引擎以生成旅行者的预期的或预计的路径。
示例18是至少一种计算机可读介质(CRM)，具有存储在其中的指令，响应于由计算设备对该指令的执行，使计算设备用于：从行人或骑行者的个人系统接收由个人系统的传感器针对行人或骑行车所行进的路线或路径所收集的传感器数据；存储针对行人或骑行者所行进的路线或路径所收集的传感器数据；至少部分地基于所存储的行人或骑行者先前所行进的路线或路径的传感器数据来生成行人或骑行者的当前预期的或预计的路径；并且输出所生成的行人或骑行者的当前预期的或预计的路径，以辅助计算机辅助或自主驾驶(CA/AD)交通工具对检测到在CA/AD交通工具附近接近地行进的行人或骑行者进行响应。
示例19是示例18，其中，用于生成行人或骑行者的当前预期的或预计的路径包括用于生成由第一侧和与第一侧相对的第二侧上的阈值或置信度边界所界定的期望路径，期望路径包括在第一位置处的当前时间、从第一位置行进到第二位置的历史时间和当前速度。
示例20是示例19，其中期望路径是统计平均路径，并且阈值或置信度边界包括在第一侧上的概率加一个标准差边界，以及在第二侧上的概率减一个标准差边界。
示例21是示例18，其中，用于输出所生成的行人或骑行者的当前预期的或预计的路径包括用于将所生成的行人或骑行者的当前预期的或预计的路径传送到行人或骑行者的个人系统。
示例22是示例18，其中，用于输出所生成的行人或骑行者的当前预期的或预计的路径包括用于将所生成的行人或骑行者的当前预期的或预计的路径传送到CA/AD交通工具的导航子系统。
示例23是一种用于计算机辅助或自主驾驶(CA/AD)的方法，该方法包括：辅助交通工具导航到目的地或使交通工具自主地导航到目的地；检测在交通工具附近接近地移动的对象；以及至少部分地基于接收到的对象的预期的或预计的路径来确定对检测到在交通工具附近接近地移动的对象的响应。
示例24是示例23，其中，确定响应包括鉴于接收到的对象的预期的或预计的路径表明未与对象发生碰撞，根据与周围区域中的静止或移动对象相关联的传感器数据来使对对象的移动的响应变缓和，该预期的或预计的路径包括预期的或预计的路径的阈值或置信度边界。
示例25是示例23，其中，确定响应包括鉴于接收到的对象的预期的或预计的路径表明与对象发生潜在碰撞，而不管与周围区域中的静止或移动对象相关联的传感器数据是否表明与对象发生潜在碰撞，来使交通工具变缓、停止、或反向移动。
对于本领域技术人员将是显而易见的是，可在所公开的设备和相关联的方法的所公开的实施例中作出各种修改和变型，而不背离本公开的精神或范围。因此，如果修改和变型落入任何权利要求及其等效方案的范围之内，则本公开旨在涵盖上文所公开的实施例的修改和变型。

Claims (25)

1.一种用于计算机辅助驾驶或自主驾驶CA/AD的设备，所述设备包括：
一个或多个通信接口，所述一个或多个通信接口被设置在CA/AD交通工具中，用于接收在所述CA/AD交通工具附近接近地行进的旅行者的预期的或预计的路径；
传感器，所述传感器被设置在所述CA/AD交通工具中，用于收集与所述CA/AD交通工具周围区域中的静止或移动对象相关联的传感器数据，所述静止或移动对象包括在所述CA/AD交通工具附近接近地行进的所述旅行者；以及
导航子系统，所述导航子系统被设置在所述CA/AD交通工具中并且与所述一个或多个通信接口和所述传感器耦合，用于至少部分地基于与所述周围区域中的所述静止或移动对象相关联的所述传感器数据以及接收到的在所述CA/AD交通工具附近接近地行进的所述旅行者的预期的或预计的路径，来将所述CA/AD交通工具导航到目的地或辅助将所述CA/AD交通工具导航到目的地。
2.如权利要求1所述的设备，其特征在于，在所述CA/AD交通工具附近接近地行进的所述旅行者是行人或骑行者中的被选择的一者。
3.如权利要求1所述的设备，其特征在于，所述一个或多个通信接口包括WiFi接口或专用短程通信接口中的被选择的一者，用于从所述旅行者的个人系统接收在所述CA/AD交通工具附近接近地行进的所述旅行者的所述预期的或预计的路径。
4.如权利要求1所述的设备，其特征在于，所述一个或多个通信接口包括蜂窝通信接口，用于从云服务器接收所述旅行者在所述CA/AD交通工具附近接近地行进的所述预期的或预计的路径。
5.如权利要求1所述的设备，其特征在于，所述旅行者在所述CA/AD交通工具附近接近地行进的所述预期的或预计的路径包括由第一侧和与第一侧相对的第二侧上的阈值或置信度边界界定的期望路径。
6.如权利要求5所述的设备，其特征在于，所述期望路径是统计平均路径，并且阈值或置信度边界包括在所述第一侧上的概率加一个标准差边界，以及在所述第二侧上的概率减一个标准差边界。
7.如权利要求1所述的设备，其特征在于，所述传感器包括一个或多个全球定位传感器、光检测和测距传感器、运动传感器或相机。
8.如权利要求1所述的设备，其特征在于，所述导航子系统被提供有机器学习，并且所述机器学习被训练成用于至少部分地基于与所述周围区域中的所述静止或移动对象相关联的传感器数据以及接收到的所述旅行者的预期的或预计的路径、来确定对所述对象的所述移动的响应。
9.如权利要求8所述的设备，其特征在于，所述导航子系统被训练成用于鉴于所述接收到的所述旅行者的预期的或预计的路径表明未与对象发生碰撞，根据与所述周围区域中的所述静止或移动对象相关联的所述传感器数据来使对所述对象的所述移动的响应变缓和，所述预期的或预计的路径包括所述预期的或预计的路径的阈值或置信度边界。
10.如权利要求8所述的设备，其特征在于，所述导航子系统被训练成用于鉴于所述接收到的所述旅行者的预期的或预计的路径表明与所述旅行者发生潜在碰撞，而不管与所述周围区域中的所述静止或移动对象相关联的所述传感器数据是否表明与所述旅行者发生潜在碰撞，来使所述CA/AD交通工具变缓、停止、或反向移动。
11.一种用于旅行者的设备，所述设备包括：
传感器，用于收集与所述旅行者在携带或穿戴所述设备时所行进的路线或路径相关联的传感器数据；以及
一个或多个通信接口，用于将所述旅行者的预期的或预计的路径提供给在所述旅行者附近接近地移动的交通工具，所述预期的或预计的路径至少部分地基于针对所述旅行者先前所行进的路线或路径所收集的传感器数据来进行推断或预计。
12.如权利要求11所述的设备，其特征在于，所述传感器包括全球定位传感器。
13.如权利要求11所述的设备，其特征在于，所述一个或多个通信接口包括WiFi接口或专用短程通信接口，用于将所述旅行者的所述预期的或预计的路径提供给在所述旅行者附近接近地移动的所述交通工具。
14.如权利要求11所述的设备，其特征在于，所述一个或多个通信接口被布置成用于进一步将针对所述旅行者所行进的路线或路径所收集的所述传感器数据提供给云服务器。
15.如权利要求11所述的设备，其特征在于，所述一个或多个通信接口包括蜂窝通信接口，用于将针对所述旅行者所行进的路线或路径所收集的所述传感器数据提供给所述云服务器。
16.如权利要求11所述的设备，其特征在于，所述一个或多个通信接口进一步被布置成用于从所述云服务器接收所述旅行者的所述预期的或预计的路径。
17.如权利要求11所述的设备，进一步包括数据存储，用于存储针对所述旅行者先前行进的路线或路径所收集的所述传感器数据；预期的或预计的路径预测引擎；以及处理器，所述处理器耦合至所述数据存储，用于操作所述预期的或预计的路径预测引擎以生成所述旅行者的所述预期的或预计的路径。
18.一种用于计算机辅助驾驶或自主驾驶CA/AD的设备，所述设备包括：
用于从行人或骑行者的个人系统接收由所述个人系统的传感器针对所述行人或骑行者所行进的路线或路径所收集的传感器数据的装置；
用于存储接收到的针对所述行人或骑行者所行进的路线或路径所收集的传感器数据的装置；
用于至少部分地基于所存储的针对所述行人或骑行者先前所行进的路线或路径的传感器数据来生成所述行人或骑行者的当前预期的或预计的路径的装置；以及
用于输出所生成的所述行人或骑行者的当前预期的或预计的路径，以辅助计算机辅助或自主驾驶(CA/AD)交通工具对检测到在所述CA/AD交通工具附近接近地行进的所述行人或骑行者进行响应的装置。
19.如权利要求18所述的设备，其特征在于，用于生成所述行人或骑行者的当前预期的或预计的路径的装置包括用于生成由第一侧和与第一侧相对的第二侧上的阈值或置信度边界所界定的期望路径的装置，所述期望路径包括在第一位置处的当前时间、从第一位置行进到第二位置的历史时间和当前速度。
20.如权利要求19所述的设备，其特征在于，所述期望路径是统计平均路径，并且阈值或置信度边界包括在所述第一侧上的概率加一个标准差边界，以及在所述第二侧上的概率减一个标准差边界。
21.如权利要求18所述的设备，其特征在于，用于输出所生成的所述行人或骑行者的当前预期的或预计的路径的装置包括用于将所述所生成的所述行人或骑行者的当前预期的或预计的路径传送到所述行人或骑行者的所述个人系统的装置。
22.如权利要求18所述的设备，其特征在于，用于输出所述所生成的所述行人或骑行者的当前预期的或预计的路径的装置包括用于将所述所生成的所述行人或骑行者的当前预期的或预计的路径传送到所述CA/AD交通工具的导航子系统的装置。
23.一种用于计算机辅助驾驶或自主驾驶CA/AD的方法，所述方法包括：
辅助将交通工具导航到目的地或使交通工具自主地导航到目的地；
检测在所述交通工具附近接近地移动的对象；以及
至少部分地基于接收到的所述对象的预期的或预计的路径来确定对检测到在所述交通工具附近接近地移动的所述对象的响应。
24.如权利要求23所述的方法，其特征在于，确定响应包括鉴于所述接收到的所述对象的预期的或预计的路径表明未与所述对象发生碰撞，根据与所述周围区域中的静止或移动对象相关联的传感器数据来使对所述对象的所述移动的响应变缓和，所述预期的或预计的路径包括预期的或预计的路径的阈值或置信度边界。
25.如权利要求23所述的方法，其特征在于，确定响应包括鉴于所述接收到的所述对象的预期的或预计的路径表明与所述对象发生潜在碰撞，而不管与所述周围区域中的静止对象或移动对象相关联的传感器数据是否表明与所述对象发生潜在碰撞，来使所述交通工具变缓、停止、或反向移动。
CN201980041655.4A 2018-12-20 2019-10-24 考虑旅行者意图的计算机辅助或自主驾驶方法和设备 Pending CN113165647A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/228,515 US20190126921A1 (en) 2018-12-20 2018-12-20 Computer-assisted or autonomous driving method and apparatus with consideration for travelers' intent
US16/228,515 2018-12-20
PCT/US2019/057933 WO2020131215A1 (en) 2018-12-20 2019-10-24 Computer-assisted or autonomous driving method and apparatus with consideration for travelers' intent

Publications (1)

Publication Number Publication Date
CN113165647A true CN113165647A (zh) 2021-07-23

Family

ID=66245188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980041655.4A Pending CN113165647A (zh) 2018-12-20 2019-10-24 考虑旅行者意图的计算机辅助或自主驾驶方法和设备

Country Status (4)

Country Link
US (1) US20190126921A1 (zh)
EP (1) EP3898365A4 (zh)
CN (1) CN113165647A (zh)
WO (1) WO2020131215A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11320820B2 (en) * 2019-03-26 2022-05-03 GM Global Technology Operations LLC Hyperassociation in episode memory
JP7342491B2 (ja) 2019-07-25 2023-09-12 オムロン株式会社 推論装置、推論方法、及び推論プログラム
JP2021149464A (ja) * 2020-03-18 2021-09-27 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US20220178700A1 (en) * 2020-12-03 2022-06-09 Motional Ad Llc Localization based on surrounding vehicles
WO2023147867A1 (en) * 2022-02-04 2023-08-10 Volvo Autonomous Solutions AB Method and device for estimating a region of space occupied by a moving vehicle
US11807252B2 (en) 2022-02-14 2023-11-07 Here Global B.V. Method and apparatus for determining vehicle behavior
CN114722975B (zh) * 2022-06-08 2022-08-30 山东大学 基于模糊理论和大数据分析的驾驶意图识别方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8195394B1 (en) * 2011-07-13 2012-06-05 Google Inc. Object detection and classification for autonomous vehicles
US9165470B2 (en) 2011-07-25 2015-10-20 GM Global Technology Operations LLC Autonomous convoying technique for vehicles
JP6776513B2 (ja) * 2015-08-19 2020-10-28 ソニー株式会社 車両制御装置と車両制御方法と情報処理装置および交通情報提供システム
DE102015215929A1 (de) 2015-08-20 2017-02-23 Volkswagen Aktiengesellschaft Vorrichtungen, Verfahren und Computerprogramm zum Bereitstellen von Information über eine voraussichtliche Fahrintention
US9604639B2 (en) * 2015-08-28 2017-03-28 Delphi Technologies, Inc. Pedestrian-intent-detection for automated vehicles
US9720415B2 (en) * 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
DE102016205141A1 (de) * 2015-11-04 2017-05-04 Volkswagen Aktiengesellschaft Verfahren und Fahrzeugkommunikationssystem zum Bestimmen einer Fahrintention für ein Fahrzeug
WO2017138920A1 (en) 2016-02-09 2017-08-17 Ford Global Technologies, Llc Apparatus and method for an autonomous vehicle to follow an object

Also Published As

Publication number Publication date
WO2020131215A1 (en) 2020-06-25
EP3898365A4 (en) 2022-09-14
EP3898365A1 (en) 2021-10-27
US20190126921A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
CN113165647A (zh) 考虑旅行者意图的计算机辅助或自主驾驶方法和设备
US11545033B2 (en) Evaluation framework for predicted trajectories in autonomous driving vehicle traffic prediction
JP6754856B2 (ja) 自動運転車両のためのセンサー集約フレームワーク
JP6831420B2 (ja) 自動運転車の軌跡候補を評価するための方法
JP6832421B2 (ja) シミュレーションに基づく自動運転車の感知要求の評価方法
CN110248861B (zh) 在车辆操纵过程中使用机器学习模型来引导车辆
JP6865244B2 (ja) 自動運転車両の軌道の生成方法
US11400959B2 (en) Method and system to predict one or more trajectories of a vehicle based on context surrounding the vehicle
CN110796856B (zh) 车辆变道意图预测方法及变道意图预测网络的训练方法
JP7072581B2 (ja) 自動運転車両の経路計画のための運転シナリオに基づく車線ガイドライン
EP3321757B1 (en) Planning feedback based decision improvement system for autonomous driving vehicle
JP6684345B2 (ja) 自律走行車の走行を決定するための周辺環境を構築する方法及びシステム
CN115175841A (zh) 自主车辆的行为规划
US11427210B2 (en) Systems and methods for predicting the trajectory of an object with the aid of a location-specific latent map
US10054945B2 (en) Method for determining command delays of autonomous vehicles
CN111613091A (zh) 利用外部驾驶员数据增强移动设备操作
JP7116065B2 (ja) 自律走行車に用いられるトンネルに基づく計画システム
CN108089571A (zh) 用于预测无人驾驶车辆的车辆交通行为以做出驾驶决策的方法和系统
JP2023510136A (ja) 知覚、予測又は計画のための地理的位置特定モデル
JP6861272B2 (ja) 衝突後の分析に基づく自動運転車の車両動作の最適化
CN108733046A (zh) 用于自动驾驶车辆的轨迹重新规划的系统和方法
CN111857118A (zh) 对停车轨迹分段以控制自动驾驶车辆停车
US20190325223A1 (en) Tracking objects with multiple cues
US11084496B2 (en) Utilizing qualitative models to provide transparent decisions for autonomous vehicles
CN116088538B (zh) 车辆轨迹信息生成方法、装置、设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination