CN117928530A - 用于路径分布估计的方法和装置 - Google Patents

Abstract

公开了用于路径分布估计的方法和装置。所述方法包括：生成初始信息，初始信息包括地图信息、出发信息和到达信息中的任意一个或者任意两个或更多个的或任意组合；通过将初始信息输入到规划器集合来生成多个路径；以及训练路径分布估计模型输出与所述多个路径对应的路径分布。

Description

用于路径分布估计的方法和装置

本申请要求于2022年10月24日在韩国知识产权局提交的第10-2022-0137473号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。

技术领域

下面的描述涉及用于路径分布估计的方法和装置。

背景技术

用于家庭和工业用途的机器人和车辆可在各种地方(诸如，房屋、办公室和公共场所)自动驾驶。

自动驾驶装置可抢先规划路线以便创建驾驶路线。已经发现，可通过基于采样的算法来建立路径的规划，但是基于采样的算法可能具有收敛速度慢、存储器需求大以及在窄通道中路径创建有延迟的问题。

发明内容

提供本发明内容以简化的形式介绍在下面的具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。

在一个总体方面，一种处理器实现的方法包括：生成初始信息，初始信息包括地图信息、出发信息和到达信息中的任意一个或者任意两个或更多个的任意组合；通过将初始信息输入到规划器集合来生成多个路径；以及训练路径分布估计模型输出与所述多个路径对应的路径分布。

规划器集合可包括彼此具有不同特性的多个规划器。

生成所述多个路径的步骤可包括：通过将初始信息输入到所述多个规划器中的每个来分别生成与所述多个规划器对应的所述多个路径。

所述训练的步骤可包括：训练路径分布估计模型以使损失函数最小化，损失函数基于所述多个路径与通过将初始信息输入到路径分布估计模型而生成的测试路径之间的差异被确定。

所述多个规划器可包括基于采样的规划器。

路径分布估计模型可包括基于生成模型的路径分布估计模型。

地图信息可包括占用栅格地图，出发信息可包括出发位置信息和出发定位信息中的任意一个或两个，并且到达信息可包括到达位置信息和到达定位信息中的任意一个或两个。

在另一总体方面，一种处理器实现的方法包括：生成初始信息，初始信息包括地图信息、出发信息和到达信息中的任意一个或者任意两个或更多个的任意组合；通过将初始信息输入到路径分布估计模型来生成与初始信息对应的路径分布；以及基于路径分布确定最终路径。

确定最终路径的步骤可包括：通过对路径分布执行统计处理来确定最终路径。

确定最终路径的步骤可包括：通过将路径分布输入到基于采样的规划器来确定最终路径。

生成初始信息的步骤可包括：基于从一个或多个传感器获得的传感器数据来生成初始信息。

生成初始信息的步骤可包括：基于从定位模块获得的定位数据来生成出发信息。

路径分布估计模型可以是通过以下方式训练的训练模型：生成训练信息，训练信息包括训练地图信息、训练出发信息和训练到达信息中的任意一个或者任意两个或更多个的任意组合；通过将训练信息输入到规划器集合来生成多个路径；以及训练路径分布估计模型输出与所述多个路径对应的路径分布。

在另一总体方面，一个或多个实施例包括一种存储指令的非暂时性计算机可读存储介质，所述指令在由一个或多个处理器执行时，将所述一个或多个处理器配置为执行在此描述的操作和方法中的任意一个、任意组合或全部。

在另一总体方面，一种电子装置包括：处理器，被配置为：生成初始信息，初始信息包括地图信息、出发信息和到达信息中的任意一个或者任意两个或更多个的任意组合；通过将初始信息输入到规划器集合来生成多个路径；并且训练路径分布估计模型输出与所述多个路径对应的路径分布。

规划器集合可包括彼此具有不同的特性的多个规划器，并且为了生成所述多个路径，处理器可被配置为：通过将初始信息输入到所述多个规划器中的每个来分别生成与所述多个规划器对应的所述多个路径。

对于所述训练，处理器可被配置为训练路径分布估计模型以使损失函数最小化，损失函数基于所述多个路径与通过将初始信息输入到路径分布估计模型而生成的测试路径之间的差异被确定。

所述多个规划器可包括基于采样的规划器，并且路径分布估计模型可包括基于生成模型的路径分布估计模型。

地图信息可包括占用栅格地图，出发信息可包括出发位置信息和出发定位信息中的任意一个或两个，并且到达信息可包括到达位置信息和到达定位信息中的任意一个或两个。

在另一总体方面，一种电子装置包括：处理器，被配置为：生成初始信息，初始信息包括地图信息、出发信息和到达信息中的任意一个或者任意两个或更多个的任意组合；通过将初始信息输入到路径分布估计模型来生成与初始信息对应的路径分布；并且基于路径分布确定最终路径。

为了确定最终路径，处理器可被配置为通过对路径分布执行统计处理来确定最终路径。

为了确定最终路径，处理器可被配置为通过将路径分布输入到基于采样的规划器来确定最终路径。

从下面的具体实施方式、附图和权利要求，其他特征和方面将是清楚的。

附图说明

图1示出生成用于自动驾驶的路径的方法的示例。

图2A示出使用人工神经网络(ANN)的深度学习操作方法的示例。

图2B示出ANN模型的训练和推断方法的示例。

图3A和图3B示出生成自动驾驶路径的框架的示例。

图4示出使用规划器集合生成训练数据的方法的示例。

图5示出路径分布估计模型的训练方法的示例。

图6示出确定路径的方法的示例。

图7示出使用规划器集合来估计路径分布的方法的效果的示例。

图8示出路径分布估计模型的训练方法的示例。

图9示出估计路径分布的方法的示例。

图10示出训练装置的配置的示例。

图11示出推断装置的配置的示例。

贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例，并且为了清楚、说明和方便，附图中的元件的相对大小、比例和描绘可被夸大。

具体实施方式

提供下面的具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作顺序仅是示例，并不限于在此阐述的操作顺序，而是除了必须以特定次序发生的操作之外，可如在理解本申请的公开之后将是清楚的那样被改变。此外，为了更清楚和简明，可省略在理解本申请的公开之后已知的特征的描述。

在此描述的特征可以以不同的形式实现，并且不应被解释为限于在此描述的示例。相反，在此描述的示例被提供以仅示出在理解本申请的公开之后将是清楚的实现在此描述的方法、设备和/或系统的许多可行的方式中的一些。

尽管在此可使用诸如“第一”、“第二”和“第三”或A、B、(a)、(b)等的术语来描述各种构件、组件、区域、层或部分，但是这些构件、组件、区域、层或部分不受这些术语限制。这些术语中的每个不用于定义例如对应的构件、组件、区域、层或部分的本质、顺序或次序，而是仅用于将对应的构件、组件、区域、层或部分与其他构件、组件、区域、层或部分区分开。因此，在不脱离示例的教导的情况下，在此描述的示例中所称的第一构件、第一组件、第一区域、第一层或第一部分也可被称为第二构件、第二组件、第二区域、第二层或第二部分。

贯穿说明书，当组件或元件被描述为“在”另一组件、元件或层“上”、“连接到”、“结合到”或“接合到”另一组件、元件或层时，它可直接(例如，与另一组件或元件接触)“在”所述另一组件、元件或层“上”、直接“连接到”、直接“结合到”或直接“接合到”所述另一组件、元件或层，或者可合理地存在介于它们之间的一个或多个其他组件、元件或层。当组件或元件被描述为“直接在”另一组件或元件“上”、“直接连接到”、“直接结合到”或“直接接合到”另一组件或元件时，可不存在介于它们之间的其他元件。同样地，例如“在……之间”和“紧接在……之间”以及“与……邻近”和“与……紧邻”的表述也可如前文所述那样被解释。

在此使用的术语仅用于描述各种示例，而不应限制公开。除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。作为非限制性示例，术语“包括”、“包含”和“具有”表明存在陈述的特征、数量、操作、构件、元件和/或它们的组合，但不排除存在或添加一个或多个其他特征、数量、操作、构件、元件、组件和/或它们的组合。

除非另外定义，否则在此使用的所有术语(包括技术术语和科学术语)具有本公开所属领域的普通技术人员通常理解的和基于本申请的公开理解的含义相同的含义。除非在此明确地如此定义，否则术语(诸如，在通用词典中定义的那些术语)应被解释为具有与它们在相关领域的上下文和本申请的公开中的含义一致的含义，并且不应以理想化或过于形式化的含义进行解释。在此针对示例或实施例的术语“可”的使用(例如，关于示例或实施例可包括或实现什么)表示存在包括或实现这样的特征的至少一个示例或实施例，而所有示例不限于此。

如在此所使用的，术语“和/或”包括相关联的所列项中的任意一个以及任意两个或更多个的任意组合。短语“A、B和C中的至少一个”、“A、B或C中的至少一个”等意在具有选言含义，并且这些短语“A、B和C中的至少一个”、“A、B或C中的至少一个”等还包括其中可存在A、B和/或C中的每个中的一个或多个(例如，A、B和C中的每个中的一个或多个的任意组合)的示例，除非相应的描述和实施例需要，否则这样的列表(例如，“A、B和C中的至少一个”)将被解释为具有连接含义。

示例可被实现为各种类型的产品(诸如，以个人计算机(PC)、膝上型计算机、平板计算机、智能电话、电视(TV)、智能家用电器、智能车辆、自助服务终端和/或可穿戴装置为例)。在下文中，将参照附图详细描述示例。在附图中，相同的参考标号用于相同的元件。

与典型的基于规则的智能系统不同，人工智能(AI)系统可以是机器自己学习和确定并变得更智能的计算机系统。随着AI系统被更多地使用，AI系统可具有提高的识别率并且可更准确地理解用户的偏好。因此，基于规则的系统可用基于深度学习的AI系统代替。虽然该系统可被称为“人工智能系统”，但是这种引用并不意在赋予关于“系统如何计算地映射或从而直觉地识别信息”与“生物大脑如何操作”的任意相关性。即，术语“人工智能系统”仅仅是指硬件实现的系统的技术术语。

AI技术可包括机器学习(深度学习)和利用机器学习(深度学习)的元素技术(element techniques)。

机器学习可使用算法来自主地对输入数据的特征进行分类/学习输入数据的特征，并且元素技术可使用机器学习算法(诸如，深度学习)，并且包括技术领域(诸如，语言理解、视觉理解、推断/预测、知识表示和运动控制)。

语言理解可以是识别和应用/处理人类语言/字符的技术，并且可包括自然语言处理、机器翻译、对话系统、问答和/或语音识别/合成。视觉理解可以是像人类视觉一样识别和处理对象的技术，并且可包括对象识别、对象跟踪、图像检索、个人识别、场景理解、空间理解和/或图像增强。推断/预测可以是判断信息并执行逻辑推断和预测的技术，并且可包括基于知识/概率的推断、优化预测、基于偏好的规划和/或推荐。知识表示可以是将人类经验信息自动处理成知识数据的技术，并且包括知识构建(数据生成/分类)和/或知识管理(数据利用)。运动控制可以是控制车辆的自动驾驶和机器人的移动的技术，并且可包括移动控制(导航、碰撞、驾驶等)和/或操作控制(行为控制)。

示例涉及一种在自动驾驶系统中安全地控制车辆的方法，其中，车辆连接到服务器，并且下面参照附图描述用于执行该方法的装置。

图1示出生成用于自动驾驶的路径的方法的示例。

参照图1，根据示例的自动驾驶装置可表示能够在没有驾驶员的干预的情况下自动驾驶的装置。自动驾驶装置可被实现为车辆，但不一定限于此，并且可被实现为各种交通工具(诸如，两轮车、机器人和/或飞行器)。为了便于描述，描述了车辆的实施方式，并且相应地在此提供其图示和描述。

自动驾驶装置可根据识别的驾驶环境以自主模式驾驶。可通过附接在自动驾驶装置上或安装在自动驾驶装置中的一个或多个传感器来识别驾驶环境。例如，一个或多个传感器可包括相机、光检测和测距(LiDAR)传感器、无线电检测和测距(RADAR)传感器和/或语音识别传感器，但不限于此。驾驶环境可包括道路、道路的状况、车道线的类型、附近车辆的存在或不存在、至附近车辆的距离、天气、障碍物的存在或不存在等，但不限于此。

自动驾驶装置可识别驾驶环境并生成适合于驾驶环境的驾驶路径。自动驾驶装置可控制内部和外部机械元件以遵循驾驶路线。自动驾驶装置可周期性地生成自动驾驶路径。

自动驾驶装置可抢先规划路径以生成驾驶路径。路径规划可表示生成尽可能多的随机路径的方法。自动驾驶装置可根据基于采样的算法来执行路径规划。代表性的基于采样的算法可以是快速搜索随机树星(RRT*)算法。

参照图110，RRT*算法基本上可通过在整个状态空间上从起始点到目标点来生成树以生成路径。下面，对整个状态空间执行采样可被称为均匀采样。RRT*算法可具有针对生成高维度和多约束路径的问题的鲁棒操作的优点。然而，由于典型的RRT*算法对整个空间执行采样，所以典型的RRT*算法可具有缺点(诸如，慢的收敛速度、大的存储器需求以及在窄通道中生成路径有延迟)。

作为典型的RRT*算法中的这些缺点的技术解决方案，参照图120，一个或多个实施例的自动驾驶装置可抢先确定可能存在最优路径的区域121，而不是对整个区域执行采样，并且可对区域121执行采样。对状态空间的部分区域执行采样可被称为非均匀采样。可能存在最优路径的区域121可被称为可行路径分布(Feasible Path Distribution，FPD)。AI算法可用于获得(例如，生成)FPD。在描述根据示例的生成路径的方法之前，参照图2A和图2B描述AI算法。

图2A示出使用人工神经网络(ANN)的深度学习操作方法的示例。

包括深度学习等的AI算法的特征在于：输入数据10被提供给ANN，并且通过诸如卷积的运算产生的输出数据30被训练。ANN可以是通过建模获得的计算架构。在ANN中，节点可彼此连接并且共同操作以处理输入数据。各种类型的神经网络可包括例如卷积神经网络(CNN)、循环神经网络(RNN)、深度信念网络(DBN)或受限玻尔兹曼机(RBM)，但不限于此。在前馈神经网络中，神经网络的节点可具有到其他节点的连接。这样的连接可在一个方向上(例如，在前向方向上)延伸通过神经网络。

图2A示出将输入数据10提供给ANN并且通过包括一个或多个层的ANN(例如，CNN20)产生输出数据30的结构。ANN可以是例如包括两个或更多个层的深度神经网络。

CNN 20可用于从输入数据10提取“特征”(例如，边界、线和/或颜色)。CNN 20可包括多个层。每个层可接收数据，处理输入到相应层的数据，并且生成将从相应层输出的数据。从层输出的数据可以是通过执行提供给CNN 20的图像或特征图与至少一个滤波器的权重值的卷积运算而生成的特征图。CNN 20的初始层可进行操作以从输入提取相对低级别的特征(例如，边缘和/或梯度)。CNN 20的后续层可逐渐提取更复杂的特征(诸如，图像中的眼睛和/或鼻子)。

图2B示出ANN模型的训练和推断方法的示例。

参照图2B，用于生成自动驾驶路径的系统可包括训练装置200和推断装置250。训练装置200可以是具有各种处理功能(诸如，生成神经网络、训练或学习神经网络、和/或重新训练神经网络)的计算装置。例如，训练装置200可被实现为各种装置(例如，服务器装置、PC和/或移动装置)。

训练装置200可通过重复训练或学习给定的初始神经网络来生成一个或多个经训练的神经网络210。生成一个或多个经训练的神经网络210可表示确定神经网络参数。这些参数可包括各种类型的数据(例如，输入到神经网络和从神经网络输出的输入/输出激活、权重和/或偏置)。当神经网络被重复训练时，神经网络的参数可被调整以针对给定输入计算更准确的输出。

训练装置200可将一个或多个经训练的神经网络210发送到推断装置250。推断装置250可被包括在例如移动装置和/或嵌入式装置中。推断装置250可以是专用于驱动神经网络的一件硬件，并且可以是包括处理器、存储器、输入/输出(I/O)接口、显示器、通信接口和传感器中的至少一个的电子装置。

推断装置250可包括具有存储器元件和微处理器并且具有操作能力的所有数字装置(诸如，平板PC、智能电话、PC(例如，膝上型计算机)、AI扬声器、智能TV、移动电话、导航、上网本、个人数字助理(PDA)和/或工作站)。

推断装置250可在没有变化的情况下驱动一个或多个经训练的神经网络210，或者可驱动其中一个或多个经训练的神经网络210被处理(例如，量化)的神经网络260。用于操作被处理的神经网络260的推断装置250可实现在独立于训练装置200的装置中。然而，对此没有限制，推断装置250也可与训练装置200实现在同一装置中。

图3A和图3B示出生成自动驾驶路径的框架的示例。参照图2A至图2B给出的描述可同样应用于图3A和图3B。

参照图3A，根据示例的生成自动驾驶路径的框架可包括数据生成处理310、训练处理320和推断处理330。

在训练处理320中，训练装置200可训练ANN模型以生成可行路径分布(FPD)(例如，作为非限制性示例，图1中的可能存在最优路径的区域121)。根据示例的ANN模型可被称为路径分布估计模型或基于生成模型的规划器。

在推断处理330中，推断装置250可使用经训练的路径分布估计模型来生成FPD。推断装置250可包括在或安装在自动驾驶装置中。

参照图3B，在推断处理330中，推断装置250可使用从相机和/或传感器(诸如，LiDAR传感器)接收的值来生成地图信息、出发信息和/或到达信息。根据示例的地图信息、出发信息和到达信息可被称为初始信息。

根据示例的地图信息可包括占用栅格地图(Occupancy Grid Map，OGM)340。OGM340可包括空闲空间和占用空间，其中，每个栅格具有0与1之间的值，并且路径可被生成。作为非限制性示例，对应于空闲空间的栅格可具有值0，并且对应于占用空间的栅格可具有值1。根据示例的推断装置250可使用OGM 340来估计局部路径，以估计自动驾驶装置附近的路径。

地图信息可包括高清晰度(HD)地图。根据示例的推断装置250可使用HD地图来估计全局路径，估计全局路径包括通过使用HD地图中包括的各种信息(诸如，车道、道路和/或人行横道)来找到从起点到目的地的整体路径。

根据示例的出发信息可包括自动驾驶装置的出发位置信息341和关于自动驾驶装置在出发时的定位的信息。根据示例的出发信息可被称为开始信息。

根据示例的到达信息可包括自动驾驶装置的到达位置信息342和关于自动驾驶装置在到达时的定位的信息。到达信息可被称为结束信息和目标点处的到达信息。

参照图350，根据示例的推断装置250可基于OGM 340、出发位置信息341和到达位置信息342生成FPD 351。例如，根据示例的推断装置250可将OGM 340、出发位置信息341和到达位置信息342输入到经训练的路径分布估计模型以生成FPD 351。

参照图360，根据示例的推断装置250可基于FPD 351确定最终路径361。

为了生成作为最优路径的最终路径361，可生成可覆盖各种路径的FPD 351。

根据示例的用于生成自动驾驶路径的装置可在数据生成处理310中使用规划器集合(planner ensemble)来生成可覆盖各种路径的FPD 351。

根据示例的数据生成处理310可表示生成将在训练处理320中使用的训练数据的处理。根据示例的规划器集合可包括彼此具有不同的特性的多个规划器，并且可使用规划器生成彼此具有不同的特性的路径。此后，在训练处理320中，可通过使用彼此具有不同特性的路径作为训练数据来生成FPD 351。下面，参照图4详细描述使用规划器集合生成训练数据的非限制性示例方法。

图4示出使用规划器集合生成训练数据的方法的示例。参照图2A至图3B给出的描述可同样应用于图4。

参照图4，根据示例的数据生成处理310可由数据生成装置执行。根据示例的数据生成装置可以是训练装置200或另一装置。例如，数据生成处理310可由另一装置执行，并且训练装置200可接收通过数据生成处理310生成的训练数据并执行训练。

根据示例的数据生成装置可生成地图信息、出发信息和到达信息。例如，根据示例的数据生成装置可从传感器410(例如，一个或多个传感器(诸如相机和/或LiDAR传感器))接收传感器数据，并且可基于传感器数据生成地图信息、出发信息和到达信息。数据生成装置可包括传感器410以由其自身执行感测以生成传感器数据，或者可接收传感器数据。

如上所述，根据示例的地图信息可包括OGM。出发信息可包括关于自动驾驶装置的出发位置和自动驾驶装置在出发时的定位(例如，出发定位)的信息，并且到达信息可包括关于自动驾驶装置的到达位置和自动驾驶装置在到达时的定位(例如，到达定位)的信息。

根据示例的路径可包括自动驾驶装置的停车路径。根据示例的停车路径可表示其中自动驾驶装置可在OGM中从具有第一定位(例如，出发定位)的第一位置(例如，出发位置)出发并且在具有第二定位(例如，到达定位)的第二位置(例如，到达位置)处停车的路径。根据示例的位置可包括自动驾驶装置在地图上面向的方向。

根据示例的规划器集合420可包括多个规划器。包括在根据示例的规划器集合420中的多个规划器可彼此具有不同的特性。根据示例，规划器集合420可被配置为使多个规划器生成彼此互补的路径。

根据示例的规划器可使用基于采样的算法来生成路径，但不限于此。例如，除了基于采样的算法之外，根据示例的规划器还可使用各种路径估计算法来生成路径。

包括在根据示例的规划器集合420中的每个规划器可使用地图信息、出发信息和到达信息来生成一个或多个路径。例如，规划器1可使用RRT*算法生成n₁个路径，规划器2可使用fRRT*算法生成n₂个路径。在这种情况下，由规划器1生成的n₁个路径可与由规划器2生成的n₂个路径具有不同的特性。

根据示例的数据生成装置可将由包括在规划器集合420中的每个规划器生成的路径存储为数据集430。

根据示例的训练装置200可通过使用彼此具有不同的特性并且被包括在数据集430中的路径作为训练数据来训练路径分布估计模型。下面，参照图5详细描述训练路径分布估计模型的非限制性示例方法。

图5示出训练路径分布估计模型的方法的示例。参照图2A至图4给出的描述可同样应用于图5，并且通过引用包含于此。

参照图5，根据示例的数据训练处理320可由训练装置200执行。根据示例的训练装置200可通过使用由数据生成装置生成的数据集430来训练路径分布估计模型510。

例如，根据示例的训练装置200可训练路径分布估计模型510，以输出与多个路径对应的FPD 520。

根据示例的路径分布估计模型510可包括基于生成模型的路径分布估计模型。例如，路径分布估计模型510可以是基于生成对抗网络(GAN)的路径分布估计模型。

根据示例的训练装置200可通过使用包括在数据集430中的路径作为地面真值来训练路径分布估计模型510。

例如，根据示例的训练装置200可训练路径分布估计模型510以使损失函数最小化，该损失函数基于包括在数据集430中的多个路径与通过向路径分布估计模型510输入初始信息而生成的测试路径之间的差异被确定。

根据示例的推断装置250可使用由训练装置200训练的路径分布估计模型510来估计FPD，并且可使用估计的FPD来确定最终路径。下面，参照图6描述确定路径的非限制性示例方法。

图6示出确定路径的方法的示例。

参照图2A至图5给出的描述可同样应用于图6，并且通过引用包含于此。参照图6，根据示例的推断装置250可生成包括地图信息、出发信息和到达信息中的至少一者的初始信息。

例如，根据示例的推断装置250可从传感器610(例如，一个或多个传感器(诸如，相机和/或LiDAR传感器))接收传感器数据，并且可基于传感器数据生成地图信息、出发信息和到达信息。训练装置可包括传感器610以由其自身执行感测来生成传感器数据，或者可接收传感器数据。

根据示例的推断装置250还可包括定位模块。当根据示例的推断装置250估计全局路径时，推断装置250可基于从定位模块确定的定位数据，确定自动驾驶装置在HD地图上的当前位置。

根据示例的推断装置250可通过将初始信息输入到经训练的路径分布估计模型510来生成与初始信息对应的FPD 620。

根据示例的推断装置250可通过对FPD 620执行统计处理来确定最终路径630。例如，推断装置250可将与多个FPD的平均值对应的路径确定为最终路径630。

可选地或附加地，根据示例的推断装置250可通过将FPD 620输入到基于采样的规划器来确定最终路径630。例如，推断装置250可通过对FPD 620执行基于RRT*算法的采样来确定最终路径630。

图7示出使用规划器集合来估计路径分布的方法的效果的示例。

参照图7的图710，由于典型的学习装置可不使用规划器集合，因此典型的学习装置的路径分布估计模型可通过仅使用根据特定规划器的特性的路径来训练。因此，从路径分布估计模型生成的FPD也可仅具有特定特性。

相比之下，参照图720，由于一个或多个实施例的学习装置可使用规划器集合，因此一个或多个实施例的学习装置的路径分布估计模型可通过使用从彼此不同并且具有各种特性的规划器生成的各种类型的路径来训练。因此，路径分布估计模型可生成可包括各种路径的FPD。

因此，由于根据示例的自动驾驶装置根据可包括各种路径的FPD生成最终路径，因此一个或多个实施例的推断装置可生成比由典型的推断装置生成的路径更接近最优路径的路径。

图8示出训练路径分布估计模型的方法的示例。参照图2A至图7给出的描述可同样应用于图8，并且通过引用包含于此。

为了便于描述，描述了操作810至830由参照图2B描述的学习装置200执行。然而，操作810至830可由另一合适的电子装置执行，或者在合适的系统中执行。

此外，可以以示出的顺序和方式执行操作810至830。然而，在不脱离示出的示例的精神和范围的情况下，可改变或省略一些操作的顺序。此外，操作810至830中的至少两个可并行或同时执行。

在操作810中，根据示例的训练装置200可生成包括地图信息、出发信息和到达信息中的至少一者的初始信息。根据示例的训练装置200可包括上述数据生成装置。

在操作820中，根据示例的训练装置200可通过将初始信息输入到规划器集合来生成多个路径。根据示例的规划器集合可包括彼此具有不同的特性的多个规划器，并且训练装置200可将初始信息输入到每个规划器以分别生成与规划器对应的路径。

在操作830中，根据示例的训练装置200可训练路径分布估计模型输出与多个路径对应的路径分布。根据示例的训练装置200可训练路径分布估计模型，以使损失函数最小化，损失函数基于多个路径与通过将初始信息输入到路径分布估计模型而生成的测试路径之间的差异被确定。

图9示出估计路径分布的方法的示例。参照图2A至图8给出的描述可同样应用于图9，并且通过引用包含于此。

为了便于描述，描述了操作910至930由参照图2B描述的推断装置250执行。然而，操作910至930可由另一合适的电子装置执行，或者在合适的系统中执行。

此外，可以以示出的顺序和方式执行操作910至930。然而，在不脱离示出的示例的精神和范围的情况下，可改变或省略一些操作的顺序。此外，操作910至930中的至少两个可并行或同时执行。

在操作910中，根据示例的推断装置250可生成包括地图信息、出发信息和到达信息中的至少一者的初始信息。

在操作920中，根据示例的推断装置250可通过将初始信息输入到路径分布估计模型来生成与初始信息对应的路径分布。路径分布估计模型可以是通过操作810至830训练的路径分布估计模型。

在操作930中，根据示例的推断装置250可基于路径分布来确定最终路径。根据示例的推断装置250可通过对路径分布执行统计处理来确定最终路径，或者可通过将路径分布输入到基于采样的规划器来确定最终路径。

图10示出训练装置的配置的示例。

参照图10，训练装置1000(例如，电子装置)可包括处理器1010(例如，一个或多个处理器)、存储器1020和传感器1030(例如，一个或多个传感器)。参照图2A至图9给出的描述可同样应用于图10，并且通过引用包含于此。例如，参照图2B描述的训练装置200可以是图10的训练装置1000。

存储器1020可存储计算机可读指令。当存储在存储器1020中的计算机可读指令由处理器1010执行时，处理器1010可处理由计算机可读指令定义的操作。例如，存储器1020可存储指令，所述指令在由处理器1010执行时将处理器1010配置成执行以上关于图1至图9描述的操作和方法中的任意一个、任意两个或更多个的任意组合、或所有操作和方法。存储器1020可包括例如随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)或其他类型的非易失性存储器。存储器1020可存储预先训练的ANN模型。

一个或多个传感器1030可包括相机、LiDAR传感器、RADAR传感器和语音识别传感器，但不限于此。由于在理解本公开的情况下，可从每个传感器的名称直觉地推断每个传感器的功能，因此省略了其详细描述。

一个或多个处理器1010可控制训练装置1000的总体操作。处理器1010可以是具有被物理地构造为执行期望的操作的电路的硬件实现的装置。期望的操作可包括程序中的指令或代码。硬件实现的装置可包括例如微处理器、中央处理器(CPU)、图形处理器(GPU)、处理器核、多核处理器、多处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和网络处理器(NPU)。

处理器1010可通过执行将由训练装置1000执行的指令和功能来控制训练装置1000。

在根据示例的处理器1010的控制下，训练装置1000可生成包括地图信息、出发信息和到达信息中的至少一者的初始信息，将初始信息输入到规划器集合以生成多个路径，并且训练路径分布估计模型以输出与多个路径对应的路径分布。

图11示出推断装置的配置的示例。

参照图11，推断装置1100(例如，电子装置)可包括处理器1110(例如，一个或多个处理器)、存储器1120和传感器1130(例如，一个或多个传感器)。参照图2A至图9给出的描述可同样应用于图11。例如，参照图2B描述的推断装置250可以是图11的推断装置1100。在一个示例中，推断装置1100可以是或可包括图10的训练装置1000。

存储器1120可存储计算机可读指令。当存储在存储器1120中的计算机可读指令由处理器1110执行时，处理器1110可处理由计算机可读指令定义的操作。例如，存储器1120可存储指令，所述指令在由处理器1110执行时将处理器1110配置成执行以上关于图1至图10描述的操作和方法中的任意一个、任意两个或更多个的任意组合、或所有操作和方法。存储器1120可包括例如RAM、DRAM、SRAM或其他类型的非易失性存储器。存储器1120可存储预先训练的ANN模型。

例如，一个或多个传感器1130可包括LiDAR传感器、RADAR传感器和语音识别传感器，但不限于此。由于在理解本公开的情况下，可从每个传感器的名称直觉地推断每个传感器的功能，因此省略了其详细描述。

一个或多个处理器1110可控制推断装置1100的总体操作。处理器1110可以是具有被物理地构造为执行期望的操作的电路的硬件实现的装置。期望的操作可包括程序中的指令或代码。硬件实现的装置可包括例如微处理器、CPU、GPU、处理器核、多核处理器、多处理器、ASIC、FPGA和NPU。

处理器1110可通过执行将由推断装置1100执行的指令和功能来控制推断装置1100。

在根据示例的处理器1110的控制下，推断装置1100可生成包括地图信息、出发信息和到达信息中的至少一者的初始信息，将初始信息输入到路径分布估计模型以生成与初始信息对应的路径分布，并基于路径分布确定最终路径。

在此关于图1至图11描述的传感器、训练装置、处理器、存储器、推断装置、传感器410、传感器610、训练装置1000、处理器1010、存储器1020、传感器1030、推断装置1100、处理器1110、存储器1120、传感器1130以及其他设备、装置和组件由硬件组件实现或表示硬件组件。可用于执行在本申请中描述的操作的硬件组件的示例在适当的情况下包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器、以及被配置为执行在本申请中描述的操作的任意其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行在本申请中描述的操作的硬件组件中的一个或多个硬件组件。处理器或计算机可由一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器、或者被配置为以限定的方式响应并执行指令以实现期望的结果的任意其他装置或装置的组合)来实现。在一个示例中，处理器或计算机包括或者连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行用于执行在本申请中描述的操作的指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简明，单数术语“处理器”或“计算机”可用于在本申请中描述的示例的描述中，但是在其他示例中，多个处理器或计算机可被使用，或者处理器或计算机可包括多个处理元件、或多种类型的处理元件、或两者。例如，单个硬件组件、或者两个或更多个硬件组件可由单个处理器、或者两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可由一个或多个处理器、或者处理器和控制器来实现，并且一个或多个其他硬件组件可由一个或多个其他处理器、或者另外的处理器和另外的控制器来实现。一个或多个处理器、或者处理器和控制器可实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任意一个或多个，不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。

图1至图11中示出的执行本申请中描述的操作的方法由计算硬件(例如，由一个或多个处理器或计算机)来执行，计算硬件被实现为如上所述执行指令或软件以执行在本申请中描述的由所述方法执行的操作。例如，单个操作、或者两个或更多个操作可由单个处理器、或者两个或更多个处理器、或者处理器和控制器来执行。一个或多个操作可由一个或多个处理器、或者处理器和控制器来执行，并且一个或多个其他操作可由一个或多个其他处理器、或者另外的处理器和另外的控制器来执行。一个或多个处理器、或者处理器和控制器可执行单个操作、或者两个或更多个操作。

用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任意组合，以单独地或共同地指示或配置一个或多个处理器或计算机作为机器或专用计算机进行操作，以执行由如上所述的硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的高级代码。可基于附图中示出的框图和流程图以及在此的相应描述使用任意编程语言来编写指令或软件，附图中示出的框图和流程图以及在此的相应描述公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。

用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件以及任意相关联的数据、数据文件和数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储装置、硬盘驱动器(HDD)、固态驱动器(SSD)、卡式存储器(诸如，多媒体卡或微型卡(例如，安全数字(SD)或极限数字(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任意其他装置，任意其他装置被配置为以非暂时性方式存储指令或软件以及任意相关联的数据、数据文件和数据结构并将指令或软件以及任意相关联的数据、数据文件和数据结构提供给一个或多个处理器或计算机，使得一个或多个处理器或计算机能够执行指令。在一个示例中，指令或软件以及任意相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令或软件以及任意相关联的数据、数据文件和数据结构以分布式方式被一个或多个处理器或计算机存储、访问和执行。

虽然本公开包括特定示例，但是在理解本申请的公开之后将清楚的是，在不脱离权利要求及其等同物的精神和范围的情况下，可在这些示例中进行形式和细节上的各种改变。在此描述的示例应仅被认为是描述性的，而不是出于限制的目的。每个示例中的特征或方面的描述应被认为可适用于其他示例中的相似特征或方面。如果描述的技术以不同的顺序执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合、和/或由其他组件或其等同物替代或补充，则可实现合适的结果。

因此，除了以上和所有附图公开之外，公开的范围还包括权利要求及其等同物，即，在权利要求及其等同物的范围内的所有变化应被解释为包括在公开中。

Claims (22)

1.一种处理器实现的训练路径分布估计模型的方法，所述方法包括：

生成初始信息，初始信息包括地图信息、出发信息和到达信息中的任意一个或者任意两个或更多个的任意组合；

通过将初始信息输入到规划器集合来生成多个路径；以及

训练路径分布估计模型输出与所述多个路径对应的路径分布。

2.根据权利要求1所述的方法，其中，规划器集合包括彼此具有不同的特性的多个规划器。

3.根据权利要求2所述的方法，其中，生成所述多个路径的步骤包括：通过将初始信息输入到所述多个规划器中的每个来分别生成与所述多个规划器对应的所述多个路径。

4.根据权利要求1所述的方法，其中，所述训练的步骤包括：训练路径分布估计模型以使损失函数最小化，损失函数基于所述多个路径与通过将初始信息输入到路径分布估计模型而生成的测试路径之间的差异被确定。

5.根据权利要求2所述的方法，其中，所述多个规划器包括基于采样的规划器。

6.根据权利要求1至权利要求5中的任意一项所述的方法，其中，路径分布估计模型包括基于生成模型的路径分布估计模型。

7.根据权利要求1至权利要求5中的任意一项所述的方法，其中，

地图信息包括占用栅格地图，

出发信息包括出发位置信息和出发定位信息中的任意一个或两个，并且

到达信息包括到达位置信息和到达定位信息中的任意一个或两个。

8.一种处理器实现的估计路径的方法，所述方法包括：

生成初始信息，初始信息包括地图信息、出发信息和到达信息中的任意一个或者任意两个或更多个的任意组合；

通过将初始信息输入到路径分布估计模型来生成与初始信息对应的路径分布；以及

基于路径分布确定最终路径。

9.根据权利要求8所述的方法，其中，确定最终路径的步骤包括：

通过对路径分布执行统计处理来确定最终路径。

10.根据权利要求8所述的方法，其中，确定最终路径的步骤包括：

通过将路径分布输入到基于采样的规划器来确定最终路径。

11.根据权利要求8所述的方法，其中，生成初始信息的步骤包括：

基于从一个或多个传感器获得的传感器数据来生成初始信息。

12.根据权利要求11所述的方法，其中，生成初始信息的步骤包括：

基于从定位模块获得的定位数据来生成出发信息。

13.根据权利要求8至权利要求12中的任意一项所述的方法，其中，路径分布估计模型是通过以下方式训练的训练模型：

生成训练信息，训练信息包括训练地图信息、训练出发信息和训练到达信息中的任意一个或者任意两个或更多个的任意组合；

通过将训练信息输入到规划器集合来生成多个路径；以及

训练路径分布估计模型输出与所述多个路径对应的路径分布。

14.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时，将处理器配置为执行根据权利要求1至权利要求13中的任意一项所述的方法。

15.一种电子装置，包括：

处理器，被配置为：

生成初始信息，初始信息包括地图信息、出发信息和到达信息中的任意一个或者任意两个或更多个的任意组合；

通过将初始信息输入到规划器集合来生成多个路径；并且

训练路径分布估计模型输出与所述多个路径对应的路径分布。

16.根据权利要求15所述的电子装置，其中，

规划器集合包括彼此具有不同的特性的多个规划器，并且

为了生成所述多个路径，处理器被配置为：通过将初始信息输入到所述多个规划器中的每个来分别生成与所述多个规划器对应的所述多个路径。

17.根据权利要求15所述的电子装置，其中，为了所述训练，处理器被配置为：训练路径分布估计模型以使损失函数最小化，损失函数基于所述多个路径与通过将初始信息输入到路径分布估计模型而生成的测试路径之间的差异被确定。

18.根据权利要求16所述的电子装置，其中，

所述多个规划器包括基于采样的规划器，并且

路径分布估计模型包括基于生成模型的路径分布估计模型。

19.根据权利要求15至权利要求18中的任意一项所述的电子装置，其中，

地图信息包括占用栅格地图，

出发信息包括出发位置信息和出发定位信息中的任意一个或两个，并且

到达信息包括到达位置信息和到达定位信息中的任意一个或两个。

20.一种电子装置，包括：

处理器，被配置为：

生成初始信息，初始信息包括地图信息、出发信息和到达信息中的任意一个或者任意两个或更多个的任意组合；

通过将初始信息输入到路径分布估计模型来生成与初始信息对应的路径分布；并且

基于路径分布确定最终路径。

21.根据权利要求20所述的电子装置，其中，为了确定最终路径，处理器被配置为：通过对路径分布执行统计处理来确定最终路径。

22.根据权利要求20所述的电子装置，其中，为了确定最终路径，处理器被配置为：通过将路径分布输入到基于采样的规划器来确定最终路径。