CN113767393A - 使用具有显示生命周期的矢量图数据可视化自主交通工具过程 - Google Patents

使用具有显示生命周期的矢量图数据可视化自主交通工具过程 Download PDF

Info

Publication number
CN113767393A
CN113767393A CN201980095955.0A CN201980095955A CN113767393A CN 113767393 A CN113767393 A CN 113767393A CN 201980095955 A CN201980095955 A CN 201980095955A CN 113767393 A CN113767393 A CN 113767393A
Authority
CN
China
Prior art keywords
visual output
elements
autonomous vehicle
computing system
output based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980095955.0A
Other languages
English (en)
Inventor
余坤
郝焱
朱智勇
李潞
陈慈勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN113767393A publication Critical patent/CN113767393A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90—Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

系统、设备和方法(30)可以提供这样的技术：该技术存储与自主交通工具过程中的多个中间操作相关联的数据(32)，至少部分地基于该数据生成可视化输出(34)，以及基于用户输入改变该可视化输出的放大水平(38),可视化输出是基于参数输入进一步来生成的，并且该数据包括矢量图数据。

Description

使用具有显示生命周期的矢量图数据可视化自主交通工具 过程
技术领域
各实施例总体上涉及自主交通工具。更具体地，各实施例涉及使用具有显示生命周期的矢量图数据来可视化自主交通工具过程。
背景技术
自主交通工具正开始在越来越大的范围内实现乘客和货物从一个位置到另一个位置的无人驾驶运输。可视化系统(诸如百度阿波罗系统)可以提供对在自主交通工具的操作期间检测到的对象以及由交通工具采取的最终轨迹的显示。然而，考虑到由传统可视化系统提供的有限的信息，诸如校准(例如，在自主交通工具的开发和/或维护期间)和碰撞调查之类的某些活动可能难以执行。
附图说明
通过阅读以下说明书和所附权利要求书并通过参考以下附图，实施例的各种优势对本领域技术人员将变得显而易见，在附图中：
图1是根据实施例的自主交通工具过程的集合的示例的示图；
图2是根据实施例的操作性能增强的计算系统的方法的示例的流程图；
图3是根据实施例的可视化输出的示例的示图；
图4是根据实施例的来自图3的、具有经修改的放大水平的可视化输出的示例的示图；
图5A-图5G是根据实施例的具有有限显示持续时间的元素的可视化输出的示例的示图；
图6是根据实施例的站(station)-横向投影的示例的绘图；
图7是根据实施例的默认车道和车道改变的网格采样的示例的绘图；
图8是根据实施例的站-时间投影、速度规划、和细化速度规划的示例的绘图；
图9是根据实施例的性能增强的计算系统的示例的框图；
图10是根据实施例的半导体设备的示例的图示。
具体实施方式
现在转向图1，示出了自主交通工具过程20(20a-20e)的集合。在自主交通工具(诸如例如汽车、卡车、飞机等)的操作期间，过程20可以以循环/迭代的方式重复地使用。在图示的示例中，交通工具执行感知过程20a，感知过程20a包括多个中间操作(P1-P2)，这些中间操作也是循环的。感知过程20a的中间操作可以使交通工具能够感知周围环境中的各种对象(例如，其他交通工具、行人、标志和/或其他障碍)。在实施例中，与中间操作相关联的数据(例如，表示信息的数据库的矢量图数据)被存储并用于生成可视化输出22。
如将更详细讨论的，对来自中间操作的数据的使用使得可视化输出22对终端用户更有利。例如，在对自主交通工具进行校准期间，开发人员可能会改变中间操作的参数和/或设置，以确定处于感知过程20a的中间阶段的感知过程20a的结果。此外，用于生成可视化输出22的底层数据可能是利用附加信息来编码的矢量图数据，以确保放大/缩放操作是准确的。在此类情况下，用户可以容易地改变可视化输出22的放大水平，以便在不同的细节水平下查看中间操作的具体情况(例如，与对自主交通工具的碰撞的调查有关)。在一个示例中，“生命周期”(例如，有限的显示时间)(例如，基于时间位置和/或候选资格状态)被分配给可视化输出22的元素，以防止在延长的时间段内大量可见元素的重叠。考虑到通常由自主交通工具处理的大型数据集，此类方法是特别有利的。
类似地，交通工具可以执行预测过程20b，以估计在感知过程20a期间先前感知到的对象的未来位置(例如，在笛卡尔/世界坐标系中)。在图示出的示例中，预测过程包括多个中间操作(PR1-PR5)。同样，与预测过程20b的中间操作相关联的数据可以被存储并用于生成可视化输出22，其中可视化输出22在例如校准、碰撞调查等方面对终端用户更有利。
图示出的过程集合20还包括具有多个中间操作(PL1-PL5)的规划过程20c，以基于先前在预测过程20b期间估计的对象的未来位置来选择自主交通工具的轨迹(例如，当前车道、车道变化等)。与规划过程20c的中间操作相关联的数据可以被存储并用于生成可视化输出22，其中可视化输出22在例如校准、碰撞调查等方面继续对终端用户更有利。关于控制过程20d和定位(例如，路由)过程20e可以实现类似的益处，控制过程20d具有多个中间操作(C1-C5)，以沿着由规划过程20c选择的轨迹操作自主交通工具，定位(例如，路由)过程20e具有多个中间操作(L1-L5)，以基于控制过程20d的结果来为自主交通工具选择未来的路线。也可以使用其他类型的自主交通工具过程。
图2示出了操作性能增强的计算系统的方法30。方法30可以采用一组逻辑指令被实现为一个或多个模块，这些逻辑指令被存储在诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、固件、闪存存储器等之类的机器或计算机可读存储介质中，被存储在诸如例如可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)之类的可配置逻辑中，被存储在使用诸如例如专用集成电路(ASIC)、互补式金属氧化物半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术之类的电路技术的固定功能逻辑硬件中，或被存储在以上各项的任何组合中。
例如，可以用一种或多种编程语言的任何组合来编写用于实施在方法30中所示的操作的计算机程序代码，这些编程语言包括诸如JAVA、SMALLTALK、C++等之类的面向对象的编程语言以及诸如“C”编程语言或类似编程语言的之类的常规的过程编程语言。另外，逻辑指令可包括汇编程序指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、状态设置数据、用于集成电路的配置数据、使对于硬件(例如，主机处理器、中央处理单元/CPU、微控制器等)而言是原生的电子电路系统和/或其他结构组件个性化的状态信息。
图示出的处理框32提供用于存储与自主交通工具过程(诸如例如，感知过程、预测过程、规划过程、控制过程、定位过程等)中的多个中间操作相关联的数据。在一个示例中，框32包括将数据存储到非易失性存储器(NVM)和/或易失性存储器。在实施例中，该数据是促进缩放操作的矢量图数据。例如，矢量图数据可以利用附加的信息进行编码，以确保网格点和导航曲线的放大和缩小是准确的。框34至少部分地基于所存储的数据来生成可视化输出。框34可以进一步基于参数输入(诸如例如，成本函数权重、初始速度、初始加速度、交通工具动力学、法规、公式和/或其他系统参数)来生成可视化输出。在实施例中，出于比较分析的目的，参数中的一个或多个参数可由用户查询。
一个或多个元素在可视化输出中的显示持续时间可以在框36处基于(多个)元素的相对时间位置或候选资格状态中的一者或多者来进行限制。例如，在规划过程的可视化期间，即将到来的交通工具可能具有比网格点更长的生命周期，网格点是基于即将到来的交通工具随时间的位置进行采样的。另外，对于在规划过程中相对较早地从竞争中排除的候选路径而言，生命周期可能是相对较短的。图3示出了用于规划过程的可视化输出40(例如，驾驶环境的平面图表示)的示例，其中自主交通工具48与诸如感知到的障碍物42(例如，即将到来的交通工具)、网格点44和候选导航路径46之类的元素一起呈现。如图5A-图5G中最佳地示出，这些元素可以被分配显示持续时间(例如，生命周期)，以防止在可视化输出40的回放期间，大量元素在延长的时间内的重叠。
继续参考图2和图4，框38基于用户输入来改变可视化输出40的放大水平。在图示出的示例中，感知到的障碍物42和网格点44在相对较高的放大水平下被准确地查看，以响应于用户请求而增加放大水平。因此，图示出的方法30通过使用户能够改变中间操作的参数和/或设置并确定自主交通工具过程的中间操作的结果来增强性能。因此，可以实现更有效的校准。此外，用户可以容易地改变可视化输出40的放大水平，以便(例如，结合设置/参数的改变或对自主交通工具的碰撞的调查)在不同的细节水平下查看中间操作的具体情况。另外，为可视化输出40的元素分配生命周期(例如，有限的显示持续时间)，防止大量元素在延长的时间段内重叠。
为了进一步强调本公开的优点，参考图5A-图5G更详细地描述诸如规划过程20c(图1)之类的规划过程。在一个示例中，该规划过程将：
在笛卡尔坐标系中预测和预计即将到来的障碍物42。
基于在某一时刻的系统参数和实时环境来对网格点(诸如例如，网格点44)进行采样(例如，在图示出的示例中的9个点，如图5C-图5G中的最佳地示出的)。
通过连接网格点生成候选路径，诸如例如候选导航路径46，如图5D最佳地示出(例如，在图示出的示例中的九个候选路径)。
消除未能满足一个或多个要求的候选路径，其中被消除的候选路径在有限的显示持续时间期满后从可视化输出40中消失，如图5E-图5G中最佳地示出。在图示出的示例中，元素的时间位置(例如，在时间尺度上的相对位置)和候选资格状态(例如，被消除或未被消除)被用来限制相应的显示持续时间；
选择最后剩下的候选路径；以及
细化所选择的路径，以生成最终的路径廓线(profile)(诸如廓线52)，如图5G所示。
在一个示例中，规划过程被划分为八个中间操作，如表I所示。
Figure BDA0003329464860000051
表I
其中适用以下术语。
Frenet坐标系：Frenet-Serret坐标系是其中Frenet-Serret公式在观察者沿曲线移动时不断地旋转坐标系的坐标系类型。在实施例中，该坐标系总是非惯性的。通常用于机器人系统和自动驾驶系统，该坐标系基于曲线(例如，参考线)来构建Frenet框架。
站：Frenet坐标系中的纵坐标
横向：Frenet坐标系中的横坐标
参考线：用于建立Frenet坐标系的线。
SL坐标系：该坐标系用于障碍物SL投影和路径规划，如图6的SL投影62最佳地示出。
ST坐标系：该坐标系用于进行障碍物ST投影和速度规划，如图8的图表66(66a-66c)最佳地示出。
操作1：生成参考线
1)参考线生成器基于高清晰度地图和来自路由模块的导航信息来产生若干条候选车道级参考线。
2)基于指定的参考线来构建Frenet框架。例如，如果存在生成两个Frenet框架的两条参考线，那么基于每个Frenet框架进行下面的操作。
操作2：SL投影
1)参考图6，基于参考线来将静态障碍物、低速动态障碍物和即将到来的障碍物投影到SL坐标系中。
2)静态障碍物直接基于笛卡尔-Frenet框架变换来进行投影，而动态障碍物通过预测过程(诸如例如预测过程20b(图1))来利用若干移动轨迹来进行描述。因此，规划过程可以在每个时间实例处通过先前的自主交通工具周期规划轨迹和障碍物预测轨迹将低速动态障碍物和即将到来的障碍物投影到SL坐标系中。
3)高速障碍物场景可由合适的平行变道策略(未示出)来应对。
操作3：路径规划
在非凸SL空间中找到关于站坐标的横向坐标l＝f(s)的最优函数。该操作包括动态规划(DP)程序和基于样条的二次规划(QP)程序。二次规划是解决特殊类型的数学优化问题(具体而言，(线性约束的)二次优化问题)的非线性过程。也就是说，优化(例如，最小化或最大化)受变量线性约束的若干变量的二次函数的问题。
1)现在转向图7，规划过程进行网格采样64，并通过五次方多项式边连接不同列之间的这些点。例如，如果每个点列中存在11个点，则总体上存在1452(11x11x11+11x11)条候选路径。
2)上述操作产生候选路径的集合，该候选路径的集合通过成本函数的总和来进行评估。候选路径的总成本函数是平滑度、障碍物规避和车道成本函数的线性组合：
Ctotal(f(s))＝Csmooth(f)+Cobs(f)+Cguidance(f)(C总(f(s))＝C平滑(f)+C障碍物(f)+C引导(f))
Csmooth(f)＝w1∫(f′(s))2ds+w2∫(f″(s))2ds+w3∫(f″′(s))2ds(C平滑(f)＝w1∫(f′(s))2ds+w2∫(f″(s))2ds+w3∫(f″′(s))2ds)
其中f′(s)表示车道与自我汽车之间的航向差；f″(s)表示路径的曲率；f″′(s)表示曲率的导数。
Figure BDA0003329464860000071
(C障碍物(f)＝0，d＞{d|n)，C靠近d-dc，dc≤d≤dn，C碰撞d＜dc)
其中，Cnudge(C靠近)被定义为单调递减函数，dc被设置成留有出于安全性考虑的缓冲，靠近范围dn可基于场景进行协商，并且Ccollision(C碰撞)是用于帮助检测不可行的路径的具有较大数值的碰撞成本。
Cguidance(f)＝∫(f(s)-g(s))2ds(C引导(f)＝∫(f(s)-g(s))2ds)
其中g(s)表示引导线。
3)在上述总成本函数的帮助下，通过DP搜索找到最低成本路径。最终，基于所选择的路径来生成可行的隧道。
4)QP程序是DP程序的细化，并且将通过对以下目标函数进行优化来在上述可行的隧道内生成平滑的路径：
Cs(f)＝w1∫(f′(s))2ds+w2∫(f″(s))2ds+w3∫(f″′(s))2ds+w4∫(f(s)-g(s))2ds
其中g(s)是DP路径结果，并且f′(s)、f″(s)、f″′(s)分别与航向、曲率和曲率的导数相关。目标函数描述了靠近的障碍物与平滑度之间的平衡。
最终，将获得针对自主交通工具的路径廓线l＝f(s)。接下来，速度廓线s＝S(t)被获得。
操作4：SL投影
现在转向图8，所有的障碍物(包括高速、低速和即将到来的障碍物)被作为ST投影66a投射到ST坐标系中。
操作5：速度规划
在DP“速度优化器”中，障碍物信息首先被离散化为ST图上的网格。序列(t0,t1,…,tn)被表示为以间隔dt在时间轴上等间隔的评估的实例。分段线性速度廓线函数在网格上被表示为S＝(s0,s1,…,sn)。导数由有限差分法来进行近似：
Figure BDA0003329464860000081
2)在ST图中优化以下成本函数。
Figure BDA0003329464860000082
Figure BDA0003329464860000083
其中，Vref(V参考)是参考速度，该参考速度由道路限速、曲率、和其他交通法规确定，S”和S”'是加速度和急动度(例如，相关联的项描述了速度廓线的平滑度)，并且最后一项C障碍物描述了总障碍物成本。
在DP程序之后，DP速度廓线66b被获得。
3)QP优化以下成本函数来细化DP速度廓线66b:
Figure BDA0003329464860000084
Figure BDA0003329464860000085
其中，第一项测量DP速度引导廓线S参考与所生成的路径S之间的距离。变量S”和S”'与之前相同：
在实施例中，QP优化程序是按照以下线性化约束进行的：
S(ti)≤S(ti+1)，i＝0，1，2，...，n-1
Figure BDA0003329464860000092
S′(ti)≤Vupper；(S′(ti)≤V上界)
-Decmax≤Accmax；(-Dec最大≤Acc最大)
-Jmax≤S″′(ti)≤Jmax(-J最大≤S″′(ti)≤J最大)
其中，第一约束是在指定点处评估的单调性，并且第二、第三和第四约束是来自交通法规和交通工具动态约束的要求。
最后，QP程序生成平滑可行的速度廓线66c。
操作6：路径和速度廓线
最终，基于当前的Frenet框架来获得路径廓线“l＝f(s)”和速度廓线“s＝S(t)”
操作7：循环
取决于场景或最终规划准确性要求来确定是否跳到操作3。可能会出现多次此类跳转。例如，可能存在进行了三个循环。
操作8：参考线轨迹决策者
在上述所有车道级的最佳轨迹中，轨迹决策者基于当前汽车状态、法规和每个轨迹的成本来确定最佳轨迹。
中间操作的可视化
在生成最终轨迹之前，通常要进行若干中间操作。此外，许多不同参数(诸如例如，成本权重w1、w2、w3、...，障碍物成本参数dn、dc，时间轴分割粒度，阈值，交通工具动力学等)的配置都可能影响中间操作。
为了理解例如在Frenet框架中生成多少条线，假设：
1)在操作1中存在两条参考线；
2)在操作3中存在五个点列；
3)在每个点列中存在11个点；以及
4)存在三个循环
以下表II说明了结果。
Figure BDA0003329464860000091
Figure BDA0003329464860000101
表II
总体而言，至少在一秒钟内将生成大约8712条线，并且将基于若干参数(例如成本权重、交通工具动力学、法规等)来计算每条线的成本。因此，仅仅将最终的规划轨迹可视化是不够的。相反，通过使用具有生命周期的矢量图数据将本文所述的中间操作可视化，对事故调查、场景分析、系统校准和其他活动是有价值的。此外，SL投影和ST投影将在一秒钟内多次更新。事实上，SL投影分辨率(例如离散化程度)和ST投影分辨率可能会改变，这通常取决于车速、驾驶场景等。
现在转向图9，示出了性能增强的计算系统70。计算系统70一般可以是具有计算功能的电子设备/系统(例如，个人数字助理/PDA、笔记本计算机、平板计算机、可转换平板、服务器)、具有通信功能的电子设备/系统(例如，智能电话)、具有成像功能的电子设备/系统(例如，相机、便携式摄像机)、具有媒体播放功能的电子设备/系统(例如，智能电视/TV)、具有可穿戴功能的电子设备/系统(例如，手表、眼部穿戴物、头戴物、脚部穿戴物、首饰)、具有车载功能的电子设备/系统(例如，汽车、卡车、摩托车)、具有机器人功能的电子设备/系统(例如，自主机器人)等或其任何组合的部分。在所图示的示例中，系统70包括图形处理器72(例如，图形处理单元/GPU)和主机处理器74(例如，中央处理单元/CPU)，该主机处理器74具有耦合至系统存储器78的集成存储器控制器(IMC)76。
另外，所图示的系统70包括输入输出(IO)模块80，该IO模块80与主机处理器74以及图形处理器72一起被实现在SoC 82(例如，半导体管芯)上。在一个示例中，IO模块80与显示器148、(例如，无线的、有线的)网络控制器86、和大容量存储88(例如，硬盘驱动器/HDD、固态驱动器/SSD、光盘、闪存等)通信。在图示出的示例中，大容量存储88和/或系统存储器78包括一组指令90，该组指令90当由IO模块80、主机处理器74和/或图形处理器72执行时，使得计算系统70用于实现已经讨论过的方法30(图2)的一个或多个方面。因此，对图示出的指令90的执行使计算系统70存储与自主交通工具过程中的多个中间操作相关联的数据，至少部分地基于该数据生成可视化输出，并基于用户输入改变该可视化输出的放大水平。在此类情况下，显示器84可以呈现可视化输出。替代地，网络控制器86可以将可视化输出发送到另一个系统和/或平台。在一个示例中，可视化输出基于参数输入进一步来生成，并且该数据包括矢量图数据。
在实施例中，指令90当被执行时，使计算系统70用于基于(多个)元素的时间位置或(多个)元素的候选资格状态中的一者或多者来限制一个或多个元素在可视化输出中的显示持续时间。另外，(多个)元素可以与候选导航路径或网格点中的一者或多者相对应。
因此，计算系统70可以被认为是性能增强的，因为它使可视化输出对终端用户更有利。例如，在对自主交通工具进行校准期间，开发人员可能会改变中间操作的参数和/或设置，以确定处于自主交通工具过程的中间阶段的自主交通工具过程结果。此外，用于生成可视化输出的底层数据可能是利用附加信息来编码的、用于促进缩放操作的矢量图数据。在此类情况下，用户可以容易地改变可视化输出的放大水平，以便(例如，结合对自主交通工具的碰撞的调查)在不同的细节水平下查看中间操作的具体情况。在一个示例中，为可视化输出的元素分配生命周期，以防止大量可见元素在延长的时间段内重叠。考虑到通常由自主交通工具处理的大型数据集，此类方法是特别有利的。
图10示出了半导体设备140(例如，芯片、管芯、封装)。所图示的设备140包括一个或多个衬底144(例如，硅、蓝宝石、砷化镓)和耦合到(多个)衬底144的逻辑146(例如，晶体管阵列和其他集成电路/IC组件)。在实施例例中，逻辑146实现已讨论的方法30(图2)的一个或多个方面。因此，逻辑146可以存储与自主交通工具过程中的多个中间操作相关联的数据，至少部分地基于该数据生成可视化输出，并基于用户输入改变该可视化输出的放大水平。在一个示例中，可视化输出基于参数输入进一步来生成，并且该数据包括矢量图数据。在实施例中，逻辑146基于(多个)元素的时间位置和/或(多个)元素的候选资格状态来限制一个或多个元素在可视化输出中的显示持续时间。另外，该(多个)元素可以与候选导航路径和/或网格点相对应。
因此，逻辑146可以使可视化输出对终端用户更有利。例如，在对自主交通工具进行校准期间，开发人员可能会改变中间操作的参数和/或设置，以确定处于自主交通工具过程的中间阶段的自主交通工具过程结果。此外，用于生成可视化输出的底层数据可能是利用附加信息来编码的、用于促进缩放操作的矢量图数据。在此类情况下，用户可以容易地改变可视化输出的放大水平，以便(例如，结合对自主交通工具的碰撞的调查)在不同的粒度/细节水平下查看中间操作的具体情况。在一个示例中，为可视化输出的元素分配生命周期，以防止大量可见元素在延长的时间段内重叠。考虑到通常由自主交通工具处理的大型数据集，此类方法是特别有利的。
逻辑146可至少部分地实现在可配置逻辑或固定功能硬件逻辑中。在一个示例中，逻辑146包括定位(例如，嵌入)在(多个)衬底144内的晶体管沟道区。因此，逻辑146与(多个)衬底144之间的界面可以不是突变结。逻辑146还可被认为包括在(多个)衬底174的初始晶圆上生长的外延层。
附加说明和示例：
示例1包括一种性能增强的计算系统，该计算系统包括显示器，该显示器用于呈现可视化输出；处理器，该处理器耦合到该显示器；以及存储器，该存储器耦合到处理器，该存储器包括一组指令，该组指令当由处理器执行时使得计算系统用于存储与自主交通工具过程中的多个中间操作相关联的数据，至少部分地基于该数据来生成可视化输出，以及基于用户输入来改变该可视化输出的放大水平。
示例2包括示例1的计算系统，其中，指令当被执行时，使计算系统用于基于一个或多个元素在自主交通工具过程中的时间位置来限制该一个或多个元素在可视化输出中的显示持续时间。
示例3包括示例1的计算系统，其中，指令在被执行时，使计算系统用于基于一个或多个元素的候选资格状态来限制该一个或多个元素在可视化输出中的显示持续时间。
示例4包括示例1的计算系统，其中，可视化输出用于将进一步基于参数输入来生成。
示例5包括示例1的计算系统，其中自主交通工具过程是感知过程、预测过程、规划过程、控制过程、或定位过程中的一个或多个。
示例6包括示例1的计算系统，其中数据是矢量图数据。
示例7包括一种半导体设备，该设备包括一个或多个衬底，以及逻辑，该逻辑耦合到该一个或多个衬底，其中该逻辑至少部分地在可配置的逻辑或固定功能硬件逻辑中实现，该逻辑耦合到一个或多个衬底以存储与自主交通工具过程中的多个中间操作相关联的数据，至少部分地基于该数据来生成可视化输出，以及基于用户输入来改变可视化输出的放大水平。
示例8包括示例7的半导体设备，其中，耦合到一个或多个衬底的逻辑用于基于一个或多个元素在自主交通工具过程中的时间位置来限制该一个或多个元素在可视化输出中的显示持续时间。
示例9包括示例7的半导体设备，其中，耦合到一个或多个衬底的逻辑用于基于一个或多个元素的候选资格状态来限制该一个或多个元素在可视化输出中的显示持续时间。
示例10包括示例7的半导体设备，其中，可视化输出将进一步基于参数输入来生成。
示例11包括示例7的半导体设备，其中自主交通工具过程是感知过程、预测过程、规划过程、控制过程、或定位过程中的一个或多个。
示例12包括示例7至示例11中任一项的半导体设备，其中，该数据是矢量图数据。
示例13包括至少一种计算机可读存储介质，包括一组指令，该组指令当由计算系统执行时，使计算系统用于存储与自主交通工具过程中的多个中间操作相关联的数据，至少部分地基于该数据来生成可视化输出，以及基于用户输入来改变该可视化输出的放大水平。
示例14包括示例13的至少一种计算机可读存储介质，其中，指令当被执行时，使计算系统基于一个或多个元素在自主交通工具过程中的时间位置来限制该一个或多个元素在可视化输出中的显示持续时间。
示例15包括示例13的至少一种计算机可读存储介质，其中，指令当被执行时，使计算系统用于基于一个或多个元素的候选资格状态来限制该一个或多个元素在可视化输出中的显示持续时间。
示例16包括示例13的至少一种计算机可读存储介质，其中，可视化输出将进一步基于参数输入来生成。
示例17包括示例13的至少一种计算机可读存储介质，其中自主交通工具过程是感知过程、预测过程、规划过程、控制过程、或定位过程中的一个或多个。
示例18包括示例13至示例17中任一项的至少一种计算机可读存储介质，其中数据是矢量图数据。
示例19包括一种方法，该方法包括：存储与自主交通工具过程中的多个中间操作相关联的数据，至少部分地基于该数据来生成可视化输出，以及基于用户输入来改变该可视化输出的放大水平。
示例20包括示例19的方法，进一步包括基于一个或多个元素在自主交通工具过程中的时间位置来限制该一个或多个元素在可视化输出中的显示持续时间。
示例21包括示例19的方法，进一步包括基于一个或多个元素的候选资格状态来限制该一个或多个元素在可视化输出中的的显示持续时间。
示例21包括示例20的方法，其中，该一个或多个元素与候选导航路径或网格点中的一者或多者相对应。
示例22包括示例19的方法，其中，可视化输出进一步基于参数输入而生成。
示例23包括示例19的方法，其中自主交通工具过程是感知过程、预测过程、规划过程、控制过程、或定位过程中的一个或多个。
示例24包括示例19至示例23中任一项的方法，其中，该数据是矢量图数据。
示例25包括用于执行如示例19至24中任一项所述的方法的装置。
因此，本文所述技术使用矢量图数据来保证点和线的放大和缩小是准确的。此外，在自主驾驶过程中，系统通常以无限循环的方式运行。因此，使用本文所述的有限的显示持续时间可以消除可能原本彼此重叠的中间生成的点和线。在该方面，许多点和线仅是作为下一操作的基础来计算，并且显示所有的点和线(例如，候选路径)可能是多余的。
另外，在世界坐标系中使用具有生命周期的矢量图数据促进开发人员或分析者的简单理解。此类方法将仍然使Frenet坐标系中的必要操作可视化。此外，在世界坐标系中部署具有生命周期技术的矢量图使得可视化播放速度能够被定义(例如，重复回放特定的自主驾驶持续时间，以调查事故或进行系统校准)。
对于不容易被可视化的数据，可以使用查询和比较。这种类型的数据包括，例如，自主交通工具初始速度、初始加速度和/或动力学、法规、公式、系统参数等。例如，系统参数和其他相关变量(例如，自主交通工具速度和加速度)或相关成本值计算过程(例如，候选路径成本值计算)可由用户查询。
实施例适用于与所有类型的半导体集成电路(“IC”)芯片一起使用。这些IC芯片的示例包括但不限于处理器、控制器、芯片组组件、可编程逻辑阵列(PLA)、存储器芯片、网络芯片、芯片上系统(SoC)、SSD/NAND控制器ASIC等等。另外，在一些附图中，信号导线用线表示。一些线可以是不同的以指示更具构成性的信号路径，可具有数字标号以指示构成性信号路径的数目，和/或可在一端或多端具有箭头以指示主要信息流向。然而，这不应以限制性方式来解释。相反，此类添加的细节可与一个或多个示例性实施例结合使用以促进更容易地理解电路。任何所表示的信号线，不管是否具有附加信息，实际上都可包括一个或多个信号，该一个或多个信号可在多个方向上行进，并且可用任何适合类型的信号方案来实现，例如利用差分对来实现的数字或模拟线路、光纤线路、和/或单端线路。
示例尺寸/模型/值/范围可能已经被给出，但是实施例不限于此。随着制造技术(例如，光刻法)随时间变得成熟，预计能制造出更小尺寸的设备。另外，为了说明和讨论的简单起见并且为了避免使实施例的某些方面模糊，到IC芯片和其他组件的公知的功率/接地连接可在附图内示出也可不示出。此外，为了避免使各实施例变得模糊，并且还鉴于相对于此类框图布置的实现方式的细节高度依赖于实施例要在其内实现的平台(即此类具体细节应当落在本领域内技术人员的见识范围内)这一事实，布置可以以狂徒形式示出。在阐述具体细节(例如电路)以便描述示例实施例的情情况下，应当对本领域技术人员显而易见的是，实施例可以在不具有这些具体细节或对这些具体细节作出变化的情况下实现。描述因此被视为是说明性的而不是限制性的。
术语“耦合的”在本文中可被用于表示所讨论的组件之间的任何类型的直接或间接关系，且可应用于电气的、机械的、流体的、光学的、电磁的、机电的或其他连接。另外，术语“第一”、“第二”等在本文中可仅用于便于讨论，并且不带有特定时间的或按时间顺序的意义，除非另有陈述。
如在本申请和权利要求书中所使用的，由术语“……中的一个或多个”联接的项列表可意指所列项的任何组合。如在本申请和权利要求书中所使用的，由术语“A、B或C中的一个或多个”可意指A；B；C；A和B；A和C；B和C；或者A、B和C。
本领域技术人员从前面的描述将领会，实施例的广泛技术能以各种形式来实现。因此，尽管已结合其特定示例描述了实施例，但实施例的真实范围不应当限于此，因为在研究附图、说明书和所附权利要求书之后，其他修改对于本领域技术人员将变得显而易见。

Claims (25)

1.一种性能增强的计算系统，包括：
显示器，所述显示器用于呈现可视化输出；
处理器，所述处理器耦合到所述显示器；以及
存储器，所述存储器耦合到所述处理器，所述存储器包括一组指令，所述一组指令在由所述处理器执行时，使所述计算系统用于：
存储与自主交通工具过程中的多个中间操作相关联的数据，
至少部分地基于所述数据来生成所述可视化输出，以及
基于用户输入来改变所述可视化输出的放大水平。
2.如权利要求1所述的计算系统，其特征在于，指令当被执行时，使得所述计算系统用于基于一个或多个元素在所述自主交通工具过程中的时间位置来限制所述一个或多个元素在所述可视化输出中的显示持续时间。
3.如权利要求1所述的计算系统，其特征在于，指令当被执行时，使得所述计算系统用于基于一个或多个元素的候选资格状态来限制所述一个或多个元素在所述可视化输出中的显示持续时间。
4.如权利要求1所述的计算系统，其特征在于，所述可视化输出将进一步基于参数输入来生成。
5.如权利要求1所述的计算系统，其特征在于，所述自主交通工具过程是感知过程、预测过程、规划过程、控制过程、或定位过程中的一个或多个。
6.如权利要求1所述的计算系统，其特征在于，所述数据是矢量图数据。
7.一种半导体设备，包括：
一个或多个衬底；以及
逻辑，所述逻辑耦合至所述一个或多个衬底，其中所述逻辑至少部分地被实现在可配置逻辑或固定功能硬件逻辑中的一者或多者中，耦合至所述一个或多个衬底的所述逻辑用于：
存储与自主交通工具过程中的多个中间操作相关联的数据；
至少部分地基于所述数据来生成可视化输出；以及
基于用户输入来改变所述可视化输出的放大水平。
8.如权利要求7所述的半导体设备，其特征在于，耦合到所述一个或多个衬底的所述逻辑用于基于一个或多个元素在所述自主交通工具过程中的时间位置来限制所述一个或多个元素在所述可视化输出中的显示持续时间。
9.如权利要求7所述的半导体设备，其特征在于，耦合到所述一个或多个衬底的所述逻辑用于基于一个或多个元素的候选资格状态来限制所述一个或多个元素在所述可视化输出中的显示持续时间。
10.如权利要求7所述的半导体设备，其特征在于，所述可视化输出将进一步基于参数输入来生成。
11.如权利要求7所述的半导体设备，其特征在于，所述自主交通工具过程是感知过程、预测过程、规划过程、控制过程、或定位过程中的一个或多个。
12.如权利要求7至11中任一项所述的半导体设备，其特征在于，所述数据是矢量图数据。
13.至少一种计算机可读存储介质，包括一组指令，所述一组指令在被计算系统执行时使得所述计算系统用于：
存储与自主交通工具过程中的多个中间操作相关联的数据；
至少部分地基于所述数据来生成可视化输出；以及
基于用户输入来改变所述可视化输出的放大水平。
14.如权利要求13所述的至少一种计算机可读存储介质，其特征在于，指令当被执行时，使所述计算系统用于基于一个或多个元素在所述自主交通工具过程中的时间位置来限制所述一个或多个元素在所述可视化输出中的显示持续时间。
15.如权利要求13所述的至少一种计算机可读存储介质，其特征在于，指令当被执行时，使所述计算系统用于基于一个或多个元素的候选资格状态来限制所述一个或多个元素在所述可视化输出中的显示持续时间。
16.如权利要求13所述的至少一种计算机可读存储介质，其特征在于，所述可视化输出将进一步基于参数输入来生成。
17.如权利要求13所述的至少一种计算机可读存储介质，其特征在于，所述自主交通工具过程是感知过程、预测过程、规划过程、控制过程、或定位过程中的一个或多个。
18.如权利要求13至17中任一项所述的至少一种计算机可读存储介质，其中所述数据是矢量图数据。
19.一种方法，包括：
存储与自主交通工具过程中的多个中间操作相关联的数据；
至少部分地基于所述数据来生成可视化输出；以及
基于用户输入来改变所述可视化输出的放大水平。
20.如权利要求19所述的方法，进一步包括基于一个或多个元素在所述自主交通工具过程中的时间位置来限制所述一个或多个元素在所述可视化输出中的显示持续时间。
21.如权利要求19所述的方法，进一步包括基于一个或多个元素的候选资格状态来限制所述一个或多个元素在所述可视化输出中的显示持续时间。
22.如权利要求21所述的方法，其特征在于，所述一个或多个元素与候选导航路径或网格点中的一者或多者相对应。
23.如权利要求19所述的方法，其特征在于，所述可视化输出进一步基于参数输入来生成。
24.如权利要求19所述的方法，其特征在于，所述自主交通工具过程是感知过程、预测过程、规划过程、控制过程、或定位过程中的一个或多个。
25.如权利要求19至24中任一项所述的方法，其特征在于，所述数据是矢量图数据。
CN201980095955.0A 2019-05-31 2019-05-31 使用具有显示生命周期的矢量图数据可视化自主交通工具过程 Pending CN113767393A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/089507 WO2020237622A1 (en) 2019-05-31 2019-05-31 Using vector chart data with display lifecycles to visualize autonomous vehicle processes

Publications (1)

Publication Number Publication Date
CN113767393A true CN113767393A (zh) 2021-12-07

Family

ID=73551957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980095955.0A Pending CN113767393A (zh) 2019-05-31 2019-05-31 使用具有显示生命周期的矢量图数据可视化自主交通工具过程

Country Status (4)

Country Link
US (1) US20220176881A1 (zh)
EP (1) EP3977339A4 (zh)
CN (1) CN113767393A (zh)
WO (1) WO2020237622A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114235441A (zh) * 2021-12-31 2022-03-25 深兰人工智能(深圳)有限公司 无人车实时碰撞检测方法及相关装置
US11628859B1 (en) 2022-07-29 2023-04-18 Plusai, Inc. Vehicle placement on aerial views for vehicle control
US11634156B1 (en) * 2022-07-29 2023-04-25 Plusai, Inc. Aerial view generation for vehicle control

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8346426B1 (en) * 2010-04-28 2013-01-01 Google Inc. User interface for displaying internal state of autonomous driving system
JP6642972B2 (ja) * 2015-03-26 2020-02-12 修一 田山 車輌用画像表示システム及び方法
JP6598019B2 (ja) * 2015-04-21 2019-10-30 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
CN105261224B (zh) * 2015-09-02 2017-09-12 奇瑞汽车股份有限公司 智能车辆控制方法和装置
KR102310379B1 (ko) * 2017-06-09 2021-10-12 현대자동차주식회사 주행 정보 안내 장치 및 방법, 그리고 차량 시스템
DE112017007631B4 (de) * 2017-07-05 2021-04-01 Mitsubishi Electric Corporation Anzeigesystem und Anzeigeverfahren
JP6609606B2 (ja) 2017-09-28 2019-11-20 株式会社Ｓｕｂａｒｕ 車両の情報表示装置
CN109703572A (zh) * 2019-01-07 2019-05-03 北京百度网讯科技有限公司 自动驾驶车辆的PnC信息的可视化方法和装置

Also Published As

Publication number Publication date
US20220176881A1 (en) 2022-06-09
EP3977339A1 (en) 2022-04-06
EP3977339A4 (en) 2023-01-18
WO2020237622A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
US11702105B2 (en) Technology to generalize safe driving experiences for automated vehicle behavior prediction
US20200324794A1 (en) Technology to apply driving norms for automated vehicle behavior prediction
Hu et al. St-p3: End-to-end vision-based autonomous driving via spatial-temporal feature learning
CN112364997B (zh) 一种障碍物的轨迹预测方法及装置
KR20210074366A (ko) 자율주행 차량 계획 및 예측
CN111380534B (zh) 用于自动驾驶车辆的基于st图学习的方法
CN109947090A (zh) 用于自动驾驶车辆规划的非阻塞边界
CN112015847B (zh) 一种障碍物的轨迹预测方法、装置、存储介质及电子设备
CN115551758A (zh) 非结构化车辆路径规划器
WO2018179539A1 (en) Method for controlling host vehicle and control system of host vehicle
CN113767393A (zh) 使用具有显示生命周期的矢量图数据可视化自主交通工具过程
CN110576847A (zh) 基于焦点的对传感器数据的标记
US11565715B2 (en) Neural networks with attention al bottlenecks for trajectory planning
US20180151076A1 (en) Travel Command Generation Device
US11810365B1 (en) Perception error modeling
JP6571904B1 (ja) 車載装置、情報処理方法及び情報処理プログラム
CN114987498B (zh) 自动驾驶车辆的拟人化轨迹规划方法、装置、车辆及介质
WO2019195191A1 (en) Dynamic image region selection for visual inference
CN114475656B (zh) 行驶轨迹预测方法、装置、电子设备以及存储介质
Krüger et al. Interaction-aware trajectory prediction based on a 3D spatio-temporal tensor representation using convolutional–recurrent neural networks
Wirthmüller et al. A fleet learning architecture for enhanced behavior predictions during challenging external conditions
EP4211615A1 (en) Processing sparse top-down input representations of an environment using neural networks
Salzmann et al. Online Path Generation from Sensor Data for Highly Automated Driving Functions
US11938939B1 (en) Determining current state of traffic light(s) for use in controlling an autonomous vehicle
CN117079235A (zh) 车辆轨迹预测方法、神经网络预测模型训练方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination