CN116461549A - 执行至少半自动的交通工具功能的驾驶辅助装置和方法 - Google Patents

Abstract

一种用于根据待评估的行驶路程(106)通过驾驶辅助装置执行交通工具的至少半自动的交通工具功能，尤其驾驶功能的方法，其包括计算机实施的方法步骤：提供由在至少一个已知行驶路程(10,84)方面的路程数据(18)构成的多个聚类，其中，聚类根据预定的几何参数以段的形式将路程数据分组；提供尤其通过传感器装置检测的走向数据，其表明待评估的行驶路程(106)的走向，并将聚类(18)应用于走向数据，以便将待评估的行驶路程(106)划分为与聚类(18)相对应的路段(30,36)并由此将聚类(18)分别分配给单个路段(30,36)；确定至少一个不确定性变量，其对于在至少一个路段(30,36)和对应于该路段(30,36)的聚类(18)之间的进行的分配方面的不确定性是表征性的；根据不确定性变量确定控制变量，并提供控制变量以执行交通工具功能。

Description

执行至少半自动的交通工具功能的驾驶辅助装置和方法

技术领域

本发明涉及一种用于根据待评估的行驶路程执行至少半自动的交通工具功能的驾驶辅助装置和方法。

背景技术

由现有技术已知用于机动车的驾驶辅助系统，其应尤其在可能的完全自主交通工具导引方面继续发展。然而在如今可用的驾驶辅助系统中要注意，它们不能在所有的交通情况和环境下都完全可靠和无差错地反应。这尤其适用于对相应的驾驶辅助系统未知的交通情况或环境，例如其还没有为此被训练或优化。因此，在安全范畴中需要安全和可靠处理相应情况的可能性。

由文献US 2021/0165409A1已知一种自主或半自主交通工具的自适应控制，其目的是模仿人类驾驶员的决策以产生适合用于自主或半自主交通工具的自主控制的路径。为此提出一种基于模型的预测控制，其使用运动模型、状态序列和参数的概率分布以及检测系统的信息优化预测范围方面的成本函数。由此为交通工具的一个或多个执行器产生控制命令系列。此外还使用交通工具运动的指标。

由文献US 2014/0136414A1已知一种社区内自主相邻交通工具交通网的方法和系统。建议计算一组在离自主相邻交通工具的边界距离内检测的对象的预测行为并确定用于预测的行为的置信度。在此，置信度是每个预测行为发生的概率的数字和/或百分比。

由文献US 2020/0192393A1已知一种自主驾驶系统，其可以基于在实际环境中部署(英语：Deployment)后发生的驾驶情况的观察自我调整。为此，对于发生问题的未知情况建议，将问题的解决与模式识别结合并以此通过将不同的未知情况分为组获得不同类型的问题类别。此外还说明了在由所建议的方法进行的探查(英语：exploration)中评估这种探查的安全性。为此例如说明，基于预定的模型测量风险，该模型检查到最近的交通工具和/或行人和/或道路边界的最小距离，以及用于加速和速度的极限值。

发明内容

本发明要解决的技术问题是克服由现有技术已知的缺点和提供一种方法，用于根据待评估的行驶路程执行交通工具的至少半自动的交通工具功能，尤其驾驶功能，以及提供一种驾驶辅助系统，其使用提供了尽可能高的确定性(或者说安全性、可靠性)。

根据本发明的(优选计算机实现的)用于根据待借助尤其基于处理器的驾驶辅助装置评估的行驶路程执行交通工具的至少半自动和/或半自主(优选自主)的交通工具功能，尤其驾驶功能和/或交通工具导引的方法包括多个(尤其计算机实现的)方法步骤，所述方法步骤尤其通过相应设置的电子计算装置(其优选为驾驶辅助装置的部件或与之通信连接)和/或优选通过驾驶辅助装置尤其自动执行。

驾驶辅助装置例如可以是或包括预定的或经训练的和优选可训练的用于执行交通工具的至少半自动或半自主(优选自主的)的交通工具功能，尤其驾驶功能和/或交通工具导引的模型。这例如可以以尤其深度的，即多层的人工神经网络或通过学习算法学习的策略的形式实现。

在根据本发明的方法的(尤其计算机实现的)方法步骤中，提供和/或(例如从交通工具内部存储装置和/或外部服务器)检索至少一个已知行驶路程方面的路程数据构成的多个簇或者说聚类(Cluster)，其中，所述聚类根据预定的几何参数将路程数据尤其以分段的方式(在已知的行驶路程方面)分组。多个由路程数据构成的聚类优选可以是驾驶辅助装置的先前训练过程的结果，其中驾驶辅助装置例如根据行驶路程已被训练。

要通过驾驶辅助装置执行的交通工具功能优选是交通工具的驾驶功能，例如交通工具的纵向导引和/或交通工具的横向导引。

如果驾驶辅助装置例如已经根据该行驶路程被训练或优化，或者驾驶辅助装置已经沿该行驶路程真实或模拟地实了它的任务或功能，即例如已经沿相应的行驶路程自主或半自主或至少部分自动地导引了交通工具，则行驶路程可以是(对驾驶辅助装置来说)已知的。如果(本交通工具或另外的交通工具的)另外的驾驶辅助装置的行驶路程是已知的，其也可以认为是已知的。如果例如驾驶辅助装置沿该行驶路程的性能已经被确定，则同样行驶路程可以被认为是已知的(对驾驶辅助装置来说)。

待评估的行驶路程可以是在交通工具的当前行驶情况方面的当前的行驶路程或者当前行驶的路段。待评估的行驶路程也可以是未来和/或计划的或者意图的行驶路程，其例如可以由(驾驶辅助装置的)交通工具的使用者预定和/或通过人机接口输入。

路程数据在此尤其表明至少一个已知的行驶路程或多个已知行驶路程的几何特征。这些路程数据在此优选根据几何特征在通过相应的预定的几何参数张开构成的特征空间中分组，即聚类。几何特征以此可以是用于相应行驶路程的预定的(几何)参数的具体的值，即形成特征空间中的数据点、点云或点组。参数或几何特征例如可以是或说明局部曲线半径或曲率、曲率方向、曲率变化、车道宽度、空间路段坐标、轨迹到车道边缘的距离和/或类似物。路程数据例如可以计算机辅助地提供用于模拟未知的行驶路程和/或在测量交通工具沿行驶路程行驶期间通过相应的传感器装置被记录。

换句话说，根据轨迹规划的量(如参考曲率或曲线曲率、速度以及加速度)以及已经经历过的行驶场景形成聚类或者提供已经以此方式形成的聚类。

此外(尤其在计算机实现的方法步骤中)提供尤其通过(至少)一个传感器装置检测的走向数据(或称为变化历程数据)，其表明待评估的行驶路程的(至少)一个走向(或者说变化历程)。例如走向数据可以对于待评估的行驶路程的几何走向和/或对于沿待评估的行驶路程的(尤其交通工具的)行驶动态的特征量的(尤其至少分段的)走向是表征性的。走向数据例如可以包括沿行驶路程的运动数据，如速度或加速度。在此，运动数据可以是交通工具的当前数据和/或例如基于大量交通工具的预测值或平均值和/或(预定的)极限值。

优选针对待评估的行驶路程提供走向数据，其对于待评估的行驶路程的几何特征在(在至少一个已知的行驶路程方面对于路程数据)预定的几何参数方面是表征性的。

对于待评估的行驶路程，尤其从走向数据中确定其几何特征，即尤其在所述特征空间中的相应的数据点，与至少一个已知的行驶路程的路程数据相似。换句话说，针对分别待评估的行驶路程确定那些数据或者特征，其也是为至少一个已知的行驶路程提供的。

优选地，传感器装置是交通工具的传感器装置，其检测和/或确定(尤其当前的)走向数据，并且优选地将该走向数据存储在(尤其交通工具内部的)存储装置上和/或传输给驾驶辅助装置以(尤其由驾驶辅助装置)进一步处理。还可以想到的是，传感器数据至少部分地额外或替代地传输到相对于交通工具在外部的存储装置，如外部服务器，如后端服务器上。还可以想到的是，检测走向数据的传感器装置的至少一个是交通工具外部的传感器装置。在此其例如可以是另外的交通参与者的传感器装置，如在前行驶的交通工具或基础设施的传感器装置，其中，走向数据优选通过无线通信连接传输到交通工具上和尤其传输到驾驶辅助装置上。

替选或者额外地，走向数据也可以是与交通工具无关的数据，如地图数据，其表示待评估行驶路程的几何走向或为此是表征性的，和/或平均的行驶动态参数(如沿待评估行驶路程的速度和/或加速度曲线)，其例如可以预测、模拟和/或例如从在待评估行驶路程上其他交通工具的行驶特征导出。

此外，(尤其在计算机实现的方法步骤中)聚类被应用于走向数据，以便优选将待评估的行驶路程划分为与聚类相对应的路段，并且由此为单个路段分别分配(优选正好一个)聚类。与聚类相对应的路段尤其理解为，相应的路段在其几何特征(相对于预定的几何参数)方面与分别分配给它们的聚类最相似，和/或例如相应的路段的几何特征(相对于预定的几何参数)与分配给它们的聚类(在特征空间中)的相关性最高。

优选是，聚类应用于走向数据导致聚类相对于待评估的行驶路程的尤其以路段方式的分配或者说对应。优选的是，聚类的分配基于待评估的行驶路程并且尤其基于待评估的行驶路程的相应的(尤其也通过聚类的应用确定的)路段。优选的是，在此例如这样选择聚类相对于待评估的行驶路程或路段的分配，即相较于(在特征空间中)(全部的)多个聚类的其他聚类待评估的行驶路程或待评估的行驶路程的路段(尤其在几何特征方面)具有与该聚类最高的相关性。

优选的是，走向数据(尤其以数据点的方式)被分配给优选最多一个、并且特别优选仅一个聚类。待评估的行驶路程以此尤其可以分解成路段，所述路段分别单独分配给聚类中的一个。以此可以有利地实现待评估的行驶路程可以分段地被评估，并且可以通过聚类的分段地的分配例如评估相应路段的了解程度(并且以此评估整个待评估的行驶路程的了解程度)。这提供了待评估的行驶路程非常精确的分析的优点。

优选的是，在对走向数据应用聚类时(尤其自动地)确定在所构成的特征空间中相应待评估的行驶路程的几何特征与至少一个已知的行驶路程的几何特征的距离。为此可以确定在特征空间中相应的数据点的距离或者例如相应的几何特征，即相应的数据点到中心点，即已知行驶路程的几何特征的组或聚类的重心或中心点的距离。其在此可以分别是例如聚类的中心点，待评估的行驶路程的相应几何特征，即分别相应的数据点位于该聚类的边界内。同样可以确定与分别最近的中心点的相应距离。根据针对待评估的行驶路程确定的几何特征的数量，可以以此确定多个单独的距离。其然后可以单独或个别地被进一步处理。同样必要时可以确定多个数据点到一个或多个中心点的平均距离。

例如可以基于确定的一个或多个距离指明或确定相应待评估的行驶路程的了解度(Bekanntheit或称为已知性)。例如距离的倒数可以直接作为用于了解度的量度，使得在几何特征的距离较大时，待评估行驶路程的了解度较小，也就是了解程度较低。同样可以基于确定的距离根据预定的计算规则确定了解度。

优选提供和/或检测在沿待评估的行驶路程上的多个测量点上检测或确定的多个几何特征并直接分配到已经存在的聚类中。

同样如果对于待评估的行驶路程存在多个几何特征，所述几何特征是在沿行驶路程的多个测量点上确定的，则其在特征空间中本身可以形成聚类。针对相应待评估的行驶路程得到的聚类然后可以与已知行驶路程的聚类比较。几何特征的距离然后可以例如作为相应待评估的行驶路程的一个或多个聚类与已知行驶路程的聚类的相似性、一致程度、重叠或中心点距离确定或得出。

换句话说可以基于几何特征确定待评估的行驶路程和已知行驶路程的相似性或一致性的程度。这可以针对相应的行驶路程整体地、针对行驶路程的单个段或针对行驶路程的单个点进行。

在另外的(尤其计算机实现的)方法步骤中，确定至少一个不确定性变量，其表征关于在至少一个路段和(分别)分配给该路段的聚类之间所进行的分配的不确定性(英语：uncertainty)。不确定性或不确定性变量尤其说明针对相对于确定的聚类的完成的分配的错误概率。在此，不确定性变量可以针对(确切地一个)路段的所选择的聚类分配的不确定性或置信度是表征性的，并且优选针对待评估行驶路程的多个路段的聚类分配并且特别尤其针对基本上整个待评估行驶路程的(路段方式的)聚类分配的不确定性或置信度是表征性的。

例如可以确定不确定性变量，方式是比较在特征空间中的相应的数据点(一个或多个路段)距离或例如相应的几何特征与至少一个已知行驶路程的多个聚类(几何特征)的相应中心点的距离。还可以想到的是，为了确定不确定性变量，确定相关路段的数据点与分配给该路段的聚类的(例如平均的)距离并且该距离或针对其表征性的变量与(预定的)阈值比较。

在另外的(尤其计算机实现的)方法步骤中，根据不确定性变量确定(至少)一个控制变量。优选地，控制变量被提供并且优选地用于(由驾驶辅助装置)执行(至少一个)交通工具功能。优选的是，根据待评估行驶路程的至少一个路段的聚类分配并且优选根据基本上整个待评估的行驶路程的聚类分配执行交通工具功能。对于待评估的行驶路程的每个分配了聚类的路段，例如可以根据分别对应的聚类确定控制变量并提供和用于执行交通工具功能。

换句话说，通过给待评估的行驶路程分配至少一个聚类可以确定，在预定的几何参数方面，例如在行驶路程的几何参数方面和/或例如在交通工具的用于交通工具驶过待评估的行驶路程的速度、交通工具沿待评估的行驶路程的加速度和/或行驶路程的曲线曲率方面，所提供的聚类中的哪个聚类与新的待评估的行驶路程最相似。未知的待评估的行驶路程以此可以相对于已知的行驶路程评估。

所建议的方法提供的优点是，不仅可以确定待评估的行驶路程的了解度，而且还可以通过确定不确定性变量进行用于评估待评估行驶路程的不确定性估计(英语：uncertainty estimation)，这在执行交通工具功能时被有利地考虑。在此，为了确定不确定性变量建议，评估基于已知路程数据提供的聚类相对于新的待评估的行驶路程的(尤其分段的)分配。不确定性估计有利地作为安全方面的功能，用于由驾驶辅助装置执行的交通工具功能的可能的干预。如果相应待评估行驶路程的分别确定出的不确定性变量大于预定的阈值，就例如可以自动激活驾驶辅助装置或用于训练自学习(或称为有学习能力)的模型的训练机制的预定的安全功能。

通过确定不确定性变量，可以有利地分析基础的自学习和/或训练的模型的不确定性并在基于自学习和/或训练的模型执行交通工具功能时被考虑。

优选地，几何的聚类可用于评估行驶路程对驾驶辅助装置来说的了解度。换句话说可以指出相应待评估的行驶路程是否与驾驶辅助装置已知的一个或多个其他行驶路程相似。

这提供的优点是可以特别客观地确定驾驶辅助装置的性能。例如，性能可以根据预定的安全性和/或功率参数被确定或测量，如遵守交通法规、允许的速度、对于距离、速度、加速度被归类为安全的极限值、预定的舒适极限值，例如在机动的突然性或速度变换和/或方向变化的速率，和/或类似的。同样可以在状态空间中或根据在状态空间中的行驶路程或行驶路程段评估性能，其中，在状态空间中可以给出例如行驶路程或行驶路程段的几何特征。正如下文还详细解释的那样，通过本发明，也可以对驾驶辅助装置直至第一次处理还未知的行驶路程或行驶路程段评估驾驶辅助装置的性能。此外，还可以使用另外的或不同的指标来确定或评价，即评估性能。

几何聚类以此可以作为客观的品质函数用于评估驾驶辅助装置所基于的(自学习和/或训练的)模型的可普及性。尤其通过在此建议的几何聚类方法可以特别客观地确定驾驶辅助装置(下文更详细说明)的性能。

新的行驶情况或新的待评估行驶路程的分配然后可以针对新的聚类在交通工具中在线进行(即尤其在交通工具导引期间)。通过例如由到聚类中心的距离，必要时行驶动态特征量的时间走向或在相应行驶情况中智能体(Agent)的确定性(在此可以与贝叶斯方法相结合)构成的待定义的指标，可以进行在探查量方面的陈述。

在优选的方法中，预定的几何参数包括局部曲线曲率、在行驶方向上局部曲率方向、局部车道宽度、交通工具轨迹沿行驶路程到车道边缘的局部距离、交通工具轨迹沿行驶路程到行车带边缘的局部距离、沿行驶路程的局部空间路程坐标、交通工具沿行驶路程的局部速度和/或交通工具沿行驶路程的局部加速度。换句话说，这些参数中的一个、多个或全部被规定用于构成特征空间。行驶路程的几何特征被给出或确定为这些参数的值。局部在此意味着，相应的参数值，即相应的几何特征分别在相应行驶路程上的一个测量点上确定或适用。沿相应的行驶路程在此有多个这种测量点。换句话说，针对确定的行驶路程例如可以给出针对多个沿行驶路程的测量点在行驶方向上的曲率，以便确定或给出行驶路程的几何特征。通过使用在此建议的参数，不同的行驶路程可以在其几何特征方面被鲁棒地(robust)表征。

在本发明另外的可行设计方案中，通过聚类分析将特征空间中的几何特征分组。由此产生的聚类，即特征空间中数据点的组被应用于相应待评估的行驶路程的走向数据，以便将相应待评估的行驶路程划分为与聚类相对应的路段。然后单独针对这些单个路段确定待评估的行驶路程的了解度。例如如果沿行驶路程直的块连接在曲线上，那么沿曲线或在曲线中确定的几何特征可以在曲线曲率方面在特征空间中分组成第一聚类，并且沿直的块或在直的块上确定的几何特征在曲率方面在特征空间中分组成第二聚类。例如根据属于一个聚类的数据点或几何特征的空间路程坐标，然后可以尤其通过将(优选关联的)路段分配到(尤其相同的)聚类中确定行驶路程的相应路段。对了解度的分段地的评估可以相应地提供针对相应行驶路程的详细数据，即实现相应地对行驶路程的了解度更精确或更可靠的评估。这就实现对驾驶辅助装置的性能相应更精确和更可靠的评估。

待评估的行驶路程因此可以分为多个路段，其中，对于每个路段，分配给它的几何特征，即在特征空间中分配给它的数据点，基于已知行驶路程的几何特征的聚类被分析。取决于此，为每个路段确定与已知行驶路程的一致程度。在此，一致程度可以根据分配确定性来确定，分配确定性表明相应数据点以何种确定性或置信度被分配到或可以被分配到确定的聚类。换句话说，分配确定性说明针对完成的到确定的聚类的分配的错误概率。分配确定性可以根据相应点与相应聚类的中心点的相应距离和/或根据已知行驶路程的分配到聚类的数据点的分布确定或得出。距离越大或相应的聚类越分散，分配确定性就越小。同样，分配到相应聚类或形成相应聚类的数据点的分布可以根据其与相应聚类的中心点的平均距离、相应聚类的数据点与其中心点的最大距离和/或类似指标表征。

以类似于分配确定性的方式，可以确定在至少一个路段和分配给该路段的聚类之间进行的分配方面的不确定性。因此，不确定性(尤其可以直接)从分配确定性中确定。尤其不确定性可以根据相应点与相应聚类的中心点的相应距离和/或根据已知行驶路程的分配到聚类的数据点的分布确定或得出。距离越大或相应的聚类越分散，不确定性就越大。同样，分配到相应聚类或形成相应聚类的数据点的分布可以根据其与相应聚类的中心点的平均距离、相应聚类的数据点与其中心点的最大距离和/或类似指标表征。

在此建议的聚类分析的使用允许对几何特征的客观和可靠的分组。以此针对了解度的评估提供了客观和可靠的基础，相对于人工或主观的分类或了解度评估，这尤其对于更长或更复杂的行驶路程是显著的优势。这是因为已经发现，根据目测对行驶路程在其几何相似性方面手动或主观的分类通常不能实现用于评估相应行驶路程的实际了解度的可客观理解的可靠结果，即与一个或多个其他行驶路程的几何相似性，并且以此最终用于评估驾驶辅助装置或用于其的学习方法的性能或可普及性。

在本发明另外的可行的设计方案中，通过迭代的聚类分析将特征空间中的几何特征分组。在此，聚类和其聚类重心、即中心点在最小化几何特征、即特征空间中的相应数据点与聚类重心的平均距离的条件下迭代地确定。在此例如在一个遍历或迭代步骤中或之后，新的几何特征，即数据以块或行驶路程的方式被考虑，其然后可以与到此时已经确定的聚类或聚类重心关联。以此可以逐渐实现聚类的细化或聚类重心的精细确定。以此最终可以提高相应根据聚类或聚类重心待评估的行驶路程的了解度确定的可靠性。换句话说，可以实现将已知行驶路程的几何特征特别可靠地分配到相应的聚类。

在此，聚类分析和/或多个聚类的提供不仅可以在在先的训练过程或学习过程中进行，而且可以在使用驾驶辅助装置下对交通工具的交通工具导引期间进行。

在另外的优选方法中，根据不确定性变量改变和/或检查用于执行交通工具功能的驾驶辅助装置的(尤其预定的)交互范围，以确定控制变量。交互范围在此可以是用于确定控制变量的交互范围。尤其交互范围可以表明驾驶辅助装置或可训练模型允许干预驾驶事件和/或可以干预交通工具功能的程度或量。优选的是，交互范围可以表明驾驶辅助装置(和/或基础的可训练和/或已训练的模型)允许或能够探查(“explorieren”)环境的程度。

优选的是，可以根据不确定性变量来评估为驾驶辅助装置规定的交互范围是否适合于在待评估的行驶路程方面的不确定性或者应被限制。这提供的优点是，例如在认为其(对基于已知行驶路程形成的聚类的)分配方面有较大的不确定性的待评估的行驶路程情况中，只能进行谨慎的干预。相反，在认为其(对基于已知行驶路程形成的聚类的)分配方面有很小的不确定性的待评估的行驶路程情况中，可以允许较大的交互范围以执行交通工具功能。

交互范围尤其可以指驾驶辅助装置和/或作为驾驶辅助装置基础的自学习和/或训练的模型的行动空间(例如指智能体尤其强化学习智能体的行动空间，也见下文描述)，驾驶辅助装置和/或模型(例如，强化学习智能体)可以从中选择或选择用于执行交通工具功能和/或用于确定控制变量的行动。

智能体尤其是在环境(如交通工具的环境)中行动的系统。在此，在智能体方面，数据“环境”不一定指智能体的物理边界，而是尤其指智能体的决策过程之外的所有组成部分。为此，尤其所谓的政策(从确定的状态出发的智能体的“策略”或“行为方式”)和所谓的价值函数被逼近。如果智能体学习了确定性的政策，则其政策就提供明确的行动。如果智能体按照随机政策行动，则其提供基于当前状态的所有可能的行动的分布。行动空间在此说明所有可能的行动的空间。借助于规定的函数、即所谓的价值函数，智能体评估其当前状态或在此状态中的行动的选择。在此尤其输出基于状态针对智能体预期的奖励(Reward)有多高。也可以想到，智能体评估在一状态中选择确定的行动有多好，并且然后遵循其政策。也可以想到，智能体还使用其环境的模型，以便能借助该模型对环境的行为做出结论。由此有利地实现后续状态或所执行的行动的预期奖励的预测相对于智能体，状态空间指的是智能体的所有状态的集合。

在使用几何聚类作为评估训练和/或自学习的模型(如强化智能体)的可普及性的客观质量函数(Gütefunktional)的基础上，聚类方法现在被有利地用于在用于描述轨迹的几何特征量(或者几何参数)以及变量，即速度和加速度曲线的基础上获得关于现有情况的新颖性的置信度。然后据此在交互范围方面改变驾驶辅助装置和/或模型和/或例如智能体(如强化学习智能体)。

在另外优选的方法中，不确定性变量是在未来(潜在)的行驶路程方面作为待评估的行驶路程来评估(或评价)的。换句话说，在未来(潜在)的行驶路程方面进行了不确定性或不确定度的预测。通过预测各种未来的行驶情况的不确定性或不确定度，例如可以在这种情况发生之前就影响交通工具功能的执行。由此可以实现优化的控制，因为可以实现改进的信号变化曲线。

在本发明另外可行的设计方案中，自学习的模型，即机器学习的装置被用作驾驶辅助装置或其一部分。这种自学习的模型例如可以通过人工神经网络的或以人工神经网络的形式实现。

如果相应待评估行驶路程的分别确定出的了解度小于预定的阈值，则自动激活驾驶辅助装置或用于训练自学习的模型的训练机制的预定的安全功能。通过这种安全功能可以在距离相应较大或者了解度相应较小的情况下例如自动加强或更强地监视相应的数据驱动的学习方法，用于具有相应较小的了解度的行驶路程或路段。然后在训练过程中例如相应的行驶路程或路段可以越来越多地用作训练数据或者相应的结果或相应的行驶路程可以被标记用于人工检查。

在配备有驾驶辅助装置的交通工具运行中，例如可以自动为交通工具的即将到来的行驶确定导航路线或沿导航路线的至少一个部分的轨迹。然后可以以所述方式检查该导航路线或轨迹是否或以何种程度被驾驶辅助装置了解。如果了解度小于预定的阈值，则安全功能可以自动激活，例如用于在此情况下仍然实现交通工具沿导航路线安全运行。为此，例如可以降低或限制交通工具的运行参数，如其最大速度，可以降低用于启动预定的分级地变强地干预行驶运行的措施的升级阈值，至少以位置的方式要求手动的交通工具控制和/或类似的。由此也可以基于确定的了解度改善驾驶辅助装置运行中的安全性。

在本发明的另外可行的设计方案中，自学习的模型，即机器学习的装置用作驾驶辅助装置或其一部分，并且其根据规定为训练数据的行驶路程通过强化的学习(英语：reinforcement learning)训练。换句话说，在此可以使用预定的所谓强化学习智能体用于训练驾驶辅助装置，例如用于自动的交通工具导引。预定为训练数据的行驶路程例如可以是或包括已知的行驶路程。为强化的学习可以预定奖励函数，通过该函数例如奖励驾驶辅助装置的性能的最大化。尤其，自学习的模型或驾驶辅助装置在此可以通过强化的学习训练。这在此容易实现，因为待评估的行驶路程的确定的了解度如此所述提供可靠的可行性或基础，用于事后或在此期间检查驾驶辅助装置或所使用的训练方法的广泛化能力。因此通过在此建议的设计方案可以特别有效和高效地提供驾驶辅助装置，而不接受可靠性或安全性的降低。

在另外优选的方法中，驾驶辅助装置使用智能体，尤其强化学习智能体来确定控制变量，其中，智能体适于并且确定用于探查智能体的环境，即通过偏离智能体已知的最佳行动的行动探索环境，其中，探查、尤其探查率和/或关于进一步探查的决定根据不确定性变量进行。优选的是，智能体确定控制变量。由此可以长期地获得更大的奖励(Reward)，并且同时可以实现尽可能大的行驶安全。

通过预测各种未来的行驶情况的不确定性或不确定度，可以在这种情况发生之前就影响探查率。这首先从控制技术的角度来看具有优点，因为可以实现改进的信号变化曲线。因此，在对安全至关重要的驾驶机动(或者说驾驶灵活性、驾驶动作)中，可以在早期限制探查，使得不会因为额外的探查而发生危险情况。

优选地，智能体一般探查其环境，以便能对状态空间进行更好的评估。根据不确定性变量的探查可以通过启发性的或者说提供信息的增值促进改进。以此可以实现智能体根据当前行驶情况的不确定性做出行动选择(或者尤其探查量的选择)。例如在待评估行驶路程的分类被评估为不确定的情况下，首先可以选择相对较小的探查量，而例如在待评估行驶路程的分类的不确定性较低的情况下，可以选择相对较大的探查量。

在另外优选的方法中，基于不确定性变量评估何时需要探查。许多关于探查策略的科学工作涉及到探查哪种行动的问题(Garcia，Francisco M.和Philip S.Thomas.《Ameta-MDP approach to exploration for lifelong reinforcement learning.》arXivpreprint arXiv：1902.00843(2019))，但不是什么时候探查和什么时候不探查的问题。而后者则与“Live-long-learnings”的领域直接相关。在确定性方法的情况下，探查率的收敛对于算法收敛也是必要的，使得不能随意持续探查。然而在状态空间尚未充分探查的区域中或新的行驶情况中完全需要进一步探查。所建议的方法以此(尤其通过考虑不确定性变量)提供了指标，以确定何时应进行和不应进行进一步的探查。这可以有利地针对收敛的问题并同时处理新的行驶情况、不断变化的交通工具特征或客户愿望。

作为用于确定探查量或相对于在探查量方面的陈述的指标(或者说度量)，在此例如可以使用(待评估的行驶路程的路段的相应数据点)到聚类中心的距离和/或行驶动态的特征量(如速度和/或加速度)的时间变化曲线和/或智能体在相应行驶情况中的确定性或不确定性。

确定智能体(或不确定性变量)的确定性或不确定性在此可以优选与贝叶斯方法结合。

替选或额外地，该指标和/或确定出的不确定性变量可用于作出关于进一步探查的决定(“Live-Long-Learning”)。例如如果在一些区域中不确定性较高并且进一步探查在此不引起安全问题，就可以决定进一步的探查。

在另外优选的方法中，为了确定待评估行驶路程的确定的路段的不确定性变量，确定在路段方面的走向数据的至少一部分和相关的聚类的相关性。换句话说，以此尤其能评估相应的路段与已知的行驶路程的相似程度。此外可以实现对相应的不确定性的分段地的评估和以此对沿行驶路程的不确定性的局部精确预测或评估。

在另外优选的方法中，为每个聚类确定聚类重心，并且在确定不确定性变量时至少考虑分配给待评估的走向数据的聚类的聚类重心。由此可以有利地形成指标，其中可以确定待评估的数据点(走向数据)与相应聚类重心的距离，并以此以有时间效率的方式确定与已知的(例如来自已知行驶路程)数据点的相关性。与聚类重心的距离在此有利地代表相对于相应聚类的分配的确定性或信心的有说服力的量度。

在另外优选的方法中，不确定性变量基于(尤其)相对的间距指标(基于走向数据的至少一部分的布局相对于在通过预定的几何参数构成的特征空间中至少一个聚类重心的布局)被确定。优选地，作为用于确定不确定性变量的指标使用对于走向数据的至少一个数据点相对于路段和对应于路段的聚类的聚类重心的距离表征性的变量，其中，该距离在由预定的几何参数构成的特征空间中的呈现中确定。在此，间距指标可以是归一化的间距指标。

在训练智能体和/或模型期间，使用的训练数据被用于确定聚类的中心点。对于新的路程或对于待评估的行驶路程尤其接着进行新的数据点相对于之前确定的中心点的分配。通过相应数据点相对于所分配的中心点的间距(见上文也称为距离)以及在该聚类中的平均距离可以确定数据点的不确定性。

根据该不确定性(“Uncertainty”)，在关键行驶情况(高横向加速度和控制活动)范围中，智能体的控制信号可以与不确定性成比例地减少。

在另外优选的方法中，在交通工具的稳定性和/或行驶安全性方面评估交通工具的行驶情况并据此以及根据不确定性变量确定控制变量。例如交通工具稳定性和/或行驶安全性被基于发生关键的行驶情况如高横向加速度和/或控制动作评估。控制变量可以根据不确定性变量增大或减小。在此，控制变量可以根据不确定性变量相对于不确定性变量而(例如与不确定性变量成比例地)减少。

以此在没有发生关键行驶情况以及不确定性较低的情况下有利地构成较低的干预程度。

由于系统模型中的不准确和主要也是外部的、频繁的和动态变化的干扰影响以及复杂的行驶情况，优选使用自适应控制方法用于执行交通工具功能。由此可以保证持续的高控制质量。

在另外优选的方法中，控制变量对于在用于执行交通工具功能的自适应控制方法中的操纵变量是表征性的。不确定性估计或不确定性变量的确定以此可以有利地用作针对适应性控制策略中强化学习智能体的控制行为的可能的干预的安全方面。

强化智能体可以接管完全的控制。然而优选可行的是，强化智能体也可以用作添加的调节元件。这提供的优点是，例如基于模型的控制(或控制组件)可以借助通过强化学习智能体实现的额外控制(或控制组件)相结合。由此可以实现更可靠的交通工具控制。

在另外优选的方法中，不能明确地分配给聚类和/或其与所分配的聚类的相关性较低的路程数据和/或走向数据被识别。尤其，基于识别出的路程数据和/或走向数据执行自学习的模型和尤其强化学习智能体的进一步的训练过程。

已知的数据点分到所谓的聚类中优选用于探测所谓的“白点”。“白点”是新数据云的子集，其或者不能明确地分配到聚类，或者与聚类只有很低的关联性。然后，这些信息优选被用于强化学习框架中用于对智能体的定向的再训练。

因此，或者如上所述，基于信息改变探查率，以在有可能的探查的情况下还实现更高的行驶安全，或者智能体在其调节活动中受到限制。此外，还可以进行再训练的需要的评估(“Live-Long-Learning”)。

在另外优选的方法中，驾驶辅助装置使用自学习的模型并根据不确定性变量启动或激发(自学习的模型的)进一步的训练过程。尤其，不确定性(“Uncertainty”)可以用来在进一步的训练进程或训练过程中考虑和提高探查率，其中记录的数据点覆盖(智能体的)状态空间的新范围。因此有利地在探查率中进行时间成分的解耦。

优选进一步的训练过程根据路程数据和/或走向数据进行，其已被确定为不能明确地分配到聚类和/或与所分配的聚类的相关性较低。以此可以实现定向的并且由此更有效的再训练。

强化学习中已知的问题在此是探查和利用之间的关系，其中或者必须评估智能体的当前政策，或者应进行状态空间进一步的探查。如果持续探查，则只能有限地评估当前政策。在探查太少时，状态空间中可能的位置保持未被探查，由此，可能更好的系统状态没有被公开。

通过根据数据点相对于其到聚类的分配的不确定性的定向的再训练，可以以此实现状态空间中至今未知的状态的定向探查。

自学习和/或训练的模型并且尤其强化学习智能体优选基于确定性的学习策略(英语：Policy)。

替选地，随机的策略也可用于该应用情况，因为其通过根据状态空间概率分布的建模内在地包含了不确定性(Uncertainty)。在这种应用情况中，随机的政策较慢收敛并且也不适合与深度确定型政策梯度一起使用，其对于训练智能体是优选算法。这种算法前提是具有额外探查功能的确定性政策。

根据本发明建议的方法提供以下优点，即通过将不确定性的确定或不确定性变量的确定与实际政策、所学的策略脱钩，(在随机政策的情况下)可以对不确定性或不确定性变量(Uncertainty)进行预测(尤其如果所有输入变量为此都(可以)确定)。在使用规划变量的情况下，其具有一定的在时间上的预见性并且因此可用于不确定性或不确定性变量的由因及果的确定。这实现控制信号的更连续的变化，这对基础的(用于执行交通工具功能的)控制系统是有利的。

优选地，驾驶辅助装置从组中选出，其包括(至少)一个纵向导引系统，例如ACC(automatic cruisse control的缩写)、横向导引系统、车道中心导引系统、ESC系统(电子稳定控制系统)、ABS(防抱死系统)、避让辅助系统、紧急制动辅助系统、车道偏离警告系统、劳累警告系统等，以及其组合。

驾驶辅助装置可以(分别)是至少半自动的接管驾驶就绪的系统。可以想到的是，它是一种驾驶辅助装置，其至少暂时适于(和确定用于)完全接管(尤其独立的)交通工具导引(尤其在定义的界限内，例如作为堵车助手用于在堵车时接管相对于前行交通工具的纵向导引以及在自己车道内的横向导引)。可以想到的是，驾驶辅助装置适于和确定用于接管完整的驾驶任务，尤其纵向和横向导引(在较长的时间内)，尤其独立于当前的行驶场景。

交通工具功能可以是交通工具的交通工具部件的功能，例如用于至少一个驾驶辅助系统的感知功能。优选地，交通工具部件从组中选出，其包括用于(尤其自动和/或半自动)行驶和/或控制交通工具的系统、驾驶辅助系统、导航系统、警告系统、交通工具安全系统(例如制动系统)等，以及其组合。

在本发明的另外可行的设计方案中，通过驾驶辅助装置至少半自主地或自动地沿相应待评估的行驶路程导引交通工具。驾驶辅助装置的在此实现的性能然后优选与为该行驶路程确定的了解度相结合，例如加权，以确定或评估驾驶辅助装置的可普及性或通用性。换句话说在此确定驾驶辅助装置对未知的，即新的行驶路程或情况的应对程度。相应待评估的行驶路程针对驾驶辅助系统的了解度可以用作或作为用于驾驶辅助装置的信心量度。从了解度或置信度和驾驶辅助装置沿待评估行驶路程的性能中然后可以以预定的方式形成用于评估驾驶辅助装置在未知路程上的自动交通工具导引方面的可靠性或可信性的量度，即用于评估驾驶辅助装置的可普及性或通用性。

在此，性能可以针对整个待评估的行驶路程确定，或者针对个别的为其他位置提到的与聚类相对应的路段确定，或者针对由驾驶辅助装置导引的交通工具沿相应待评估行驶路程的相应或个别驾驶机动确定。通过在此建议的了解度和实现的性能的结合可以考虑的是，在新的但与已知的行驶路程相对相似的行驶路程上，基本上可以预期驾驶辅助装置具有相较于在具有较低了解度的新行驶路程上更高的性能，即与驾驶辅助装置已知的行驶路程差别较大。在相对已知的新行驶路程上的这种较高的性能，相应地造成对于驾驶辅助装置的可普及性的不太可靠或有说服力的说明。在具有较高了解度的行驶路程上的性能针对可普及性的评估相应地可以相对降低权重。另一方面，如果行驶路程具有对驾驶辅助装置非常低的了解度，那么在确定的行驶路程上必要时甚至相对较差的性能也可表明驾驶辅助装置的可普及性较好。相应地，对于评估可普及性，在具有较低了解度的行驶路程上的性能可以相对提高权重。通过本发明的在此建议的设计方案，可以以特别可靠的方式确定驾驶辅助装置的可普及性或通用性。

在本发明可能的改进设计中，针对多个待评估行驶路程确定驾驶辅助装置的性能并且组合以确定驾驶辅助装置的可普及性。在此，根据相应行驶路程的确定的了解度对性能加权。驾驶辅助装置的对于带有较低了解度的行驶路程的性能，即在几何特征与已知行驶路程的几何特征相差较大的行驶路程上导引交通工具时的驾驶辅助装置的性能在此被提高权重。相反，针对具有较小距离的，即较大了解度并以此相对于已知的行驶路程的较大的客观几何相似度的行驶路程的性能，被降低权重。通过基于在多个待评估，即潜在未知行驶路程上驾驶辅助装置的性能对可普及性的评估和所述的加权，可以实现更精确、可靠和可信地确定驾驶辅助装置的可普及性。这尤其由于较大的数据基础，因为多个行驶路程提供了更大的可能性，其针对驾驶辅助装置面对实际未知的特征、几何特征或路程延伸。

本发明还涉及一种用于针对交通工具的驾驶辅助装置和/或尤其基于处理器的驾驶辅助装置的电子计算装置，用于根据待评估行驶路程执行交通工具的至少半自动的交通工具功能，尤其驾驶功能，所述电子计算装置适合并确定和/或配置用于执行以下计算机实现的方法步骤：

提供由在至少一个已知行驶路程方面的路程数据构成的多个聚类，其中，聚类根据预定的几何参数以段的形式将路程数据分组；

确定尤其通过传感器装置检测的走向数据，其表明待评估的行驶路程的走向，并将聚类应用于待评估的走向数据，以便将待评估的行驶路程划分为与聚类相对应的路段并由此将聚类分别分配给单个路段；

确定至少一个不确定性变量，其对于在至少一个路段和对应于该路段的聚类之间的进行的分配方面的不确定性是表征性的；

根据不确定性变量确定控制变量，并提供控制变量以执行交通工具功能。

因此，在根据本发明的驾驶辅助装置的范畴内还建议，在确定控制变量时，用于分析驾驶辅助装置的不确定性的不确定性变量在评估待评估的(未知的或新的)行驶路程时被考虑。

优选的是，驾驶辅助装置被设置、适合和/或确定用于执行上述方法以及单独或相互结合地执行已经在上文结合该方法所述的方法步骤的部分或全部。反之，该方法可以单独或相互结合地配备在驾驶辅助装置范畴中所述的所有特征。

(尤其上文或下文所述的)外部服务器尤其理解为相对于交通工具在外部的服务器，尤其后端服务器。外部服务器是例如交通工具制造商或服务提供商的后端。后端或外部服务器的功能在此可以在(外部)服务器群上进行。(外部)服务器可以是分布式系统。外部服务器和/或后端可以是基于云的。

优选尤其基于处理器的驾驶辅助装置包括电子计算装置。然而也可以想到，驾驶辅助装置与电子计算装置处于通信连接(用于数据交换)，并且电子计算装置以外部服务器(和/或分布式系统)的形式提供，例如作为后端服务器。

本发明还涉及一种交通工具，尤其机动车，其包括根据一实施方式的上述用于交通工具的交通工具驾驶辅助装置。该交通工具尤其可以是(机动)公路交通工具。

交通工具可以是机动车，尤其由驾驶员自己控制的机动车(“Driver only”)、半自主、自主(例如，(SAE J3016标准的)自主等级3或4或5)或自驾驶的机动车。自主等级5在此指的是完全自动行驶的交通工具。优选的是，该交通工具是来自运输领域的交通工具。该交通工具也可以是无人驾驶的运输系统。该交通工具在此可以由驾驶员控制也可以自主行驶。此外，除了公路交通工具外，该交通工具还可以是空中出租车、飞机和其他行进器或其他交通工具类型，例如航空、水用或轨道交通工具。

本发明还涉及一种计算机程序或计算机程序产品，其包括程序器件，尤其程序代码，其表示或编码根据本发明的方法的至少一些和优选所有方法步骤并且优选所述优选实施方式之一，并构造用于由处理器装置执行。

本发明还涉及一种数据存储装置，根据本发明的计算机程序的至少一个实施方式或计算机程序的优选实施方式被存储在该数据存储装置上。

本发明已经在交通工具和用于交通工具的驾驶辅助装置方面被说明。然而该方法也可以在汽车领域之外尤其在使用强化学习智能体时在用于自动或半自动执行功能的方法中应用于安全功能，并且可以在确定探查率和/或探查量和/或进一步探查和/或定向再训练方面转用(分别根据与上述实施方式相似基于训练数据和/或走向数据确定的不确定性变量)。申请人保留对涉及的方法和辅助装置提出权利要求。

附图说明

其他优点和实施方式由附图得出：

在附图中：

图1示出意性的概览用于说明几何聚类在行驶路程上的应用；

图2a至2f根据一实施方式示出通过建议的方法导出关于探查量的表述的示例性图示；

图3示出示意性概览图，用于安全探查和终身学习，其可以通过根据本发明的方法根据一个实施方式建议的聚类和不确定性评估实现；

图4示出示意性概览图，用于将几何确定的聚类应用于新行驶路程；

图5示出示意性概览图，用于说明基于几何聚类对行驶路程的了解度的评估；

图6示出训练过的强化学习智能体的应用；

图7示出关于路程米的不确定性的走向的视图；

图8示出在路程米上智能体的控制信号与不确定性的考虑的比较；

图9示出在路程米上横向偏移(Querablage)与不确定性的考虑的比较；

图10示出在路程米上控制动作与不确定性的考虑的比较。

相同的或者功能相同的元素在附图中配设相同的附图标记。

具体实施方式

机器学习方法以及数据驱动的方法能基于已经看到的场景或情况有效映射，并能在已知场景之间进行插值。然而对许多方法来说，外推到新的场景(也即在方法可推广性的概念下的表达)是一个问题。可普及性然而在驾驶机动领域中，区分已知的驾驶机动或路段的内插和外推并不总是那么简单。评估了解度，即从例如用于沿新路程导引交通工具的驾驶辅助装置的角度来看新的路程或单个路段的新颖性的指标，可以通过已知的路程的数据导致驾驶辅助装置的结果，即其沿相应新路程的性能更好地分类。

例如驾驶辅助装置可以通过强化学习训练，其中，预定的智能体探查其环境并根据观察到的场景，即已知的路程或驾驶机动学习优化的行动，例如用于沿路程导引交通工具。这种行为或行动例如可以是或包括，在自动驾驶时调整转向角度和速度，即用于交通工具的横向和纵向导引的行动。由于这通常是数据效率低的，即需要大量适当准备的数据优化智能体的行动，所以对路程或场景或对此适合的行动的第一次评估或学习通常在模拟层进行。然后必须评估从这种模拟到现实的转移，以及从已知路程或驾驶机动到未知路程或驾驶机动的转移。在此，用于评价行动的了解度方面的信心评估，即最终智能体的性能作为定性分类是有用的，因为智能体的质量可以被更好地评价。

以前的方法通常聚焦于或者评估智能体的性能或由此学到的针对未知场景的策略(英语：Policy)，即针对未知的行驶路程或路段的策略，或者检查相应环境的差异然后检查预先训练的策略的性能。因此场景或者基础的马尔科夫决策问题都不同。在此的缺点是，只考虑结果，即智能体的性能，但没有说明这种性能与相应场景的关系，即如何评估这种性能或这种性能有何种说服力。如果新的、以为是未知的场景与智能体训练期间表现的场景的偏差相对较小，则这使智能体的性能相对化，即相应的可普及性。此外，已知的解决方案通常用于模拟框架中并且首先需要在现实中通过实验确定的数据。此外，在以前的方法中通常关于可普及性的陈述较难，因为或者由于状态空间中分布转移导致性能较差，因为基础的马尔科夫决策问题改变，或者一般由于状态空间覆盖。

相反，下面说明一种方法，其已经可以先验地进行状态空间的评估，即例如给定的几何数据或新行驶路程的特征，这必要时可以直接用于相应数据的实验确定。

图1为此示出示意性概览，其中还示意性示出训练路程10。训练路程10可以由机动车在确定的训练行驶方向12上行驶。在此，沿训练路程10在多个测量点上检测训练路程10的路程数据14，几何特征表示为预定的几何参数的值。训练路程10在此可以代表多个另外的行驶路程，其与训练路程10一样可用于训练驾驶辅助装置或驾驶辅助装置的自学习的模型，例如用于自动化的交通工具导引。

路程数据14在此示意性由沿训练路程10的单个测量点处记录的几何值16表示，为清晰起见在此只明确标注了其中的一些。几何值16在此被输入特征空间中，其在此也只是示意性地示出通过预定的几何参数张开或构成。然后将聚类方法应用于路程数据14或几何值16，由此基于所附的训练路程10的几何形状形成聚类18。

为了进一步说明训练路程10的几何特征，在此居中以图表在路程坐标或路程位置X上记录曲线曲率K，路程坐标或路程位置X表示沿训练路程10在训练行驶方向12上的当前位置。在此可以看出，沿训练路程10有一些直的，即无曲率的段，这些段通过带有不同的曲线曲率K的曲线连接。相应的曲线在此用X轴的偏移量表示。正、负K方向的偏移量在此代表不同的曲率方向，即左转、右转曲线。这些偏移量或位于其间的直的区段相应或对应于聚类18。

聚类18可以通过必要时迭代的聚类分析确定。在此例如可以进行多次聚类，以将多个聚类18中的各个聚类的单个几何值16与相应聚类18的中心点，即几何重心的距离的平均值最小化。

以此最终确定的聚类18然后可以应用于训练路程10。以此得到相应的分段的训练路程，其根据聚类18或通过其代表的几何特征分为多个训练路段22。在此，训练路程10中具有确定的统一或类似几何特征的区域分别与聚类18比较并分配给代表相应几何特征的聚类18之一。聚类18在训练结束后相应于已知的路段。其例如可以通过相应的驾驶辅助装置以已知的性能掌握。

图1在此示出第一步骤，基于例如曲线曲率的聚类。然后单个聚类的形成的中心点被用于聚类进一步的分配。

图4示出示意性概览图，用于将几何确定的聚类应用于新的、潜在地完全或部分未知的行驶路程。例如为此给出由附图标记80表示的第一(在此封闭的)评估路程E1和由附图标记84表示的第二(在此封闭的)评估路程E2。在此，附图标记82表示评估路程E1行驶的第一行驶方向(在此逆时针)。在此，评估路程E2由评估路程E1由此得出，即与评估路程E1相比，评估路程E2以相反的行驶方向86(在此顺时针)被行驶。

在此，两个图表88和104分别示出评估路程E1(图88)或E2(图104)的曲线曲率k与路程米的关系(即尤其与驶过的行驶路程的关系)。由于两个评估路程E1和E2是以相反的方向驶过的，所以来自图104的曲线曲率的曲线与来自图88的曲线曲率的曲线在X轴上(大约以路程米为单位)成镜像。两个评估路程分别具有两个直的，即不弯曲的段，因此曲线曲率的曲线分别沿x轴在两段上延伸(曲率为零)。

几何的路程数据可以再显示在图表90中并且通过在评估路程E1和E2上应用聚类92、94、96、98，相应路程可以被分区段并且单个区段可以由此分别分配到先前确定的聚类之一上。

附图标记100在此表示一个区域，在这个区域中，数据点与事先(通过测试路程)形成的聚类98的聚类中心102的距离较小地布置。相对于仅位于区域100外和区域98内的外环中的数据点，通过位于区域100内的数据点代表的路段具有与测试路程的段更高的相似度。

图5示出在新的、潜在地完全或部分未知的行驶路程上的应用的示意性概览图。

在此，现在例如在图1中所示的聚类的第一步骤之后，例如在第二步骤中可以将几何确定的聚类应用于评估路程上。为此，优选对路程分段并将单个区段分配给先前确定的聚类。

优选地，在另外的优选在第二步骤之后的步骤中，根据聚类的一致性确定置信度(越高，评估路程的元素与训练路程相比就越相似)。

例如在此预给定第一评估路程26和第二评估路程32(也见图4)，它们在其相对于至少一个已知的训练路程10的了解度方面应被自动评估。第一评估路程26可以通过应用聚类18划分为(多个)第一路段30。同样，第二评估路程32可以通过应用聚类18划分为(多个)第二路段36。在此，第一评估路程26和第二评估路程32的不同之处例如在于，为第一评估路程26规定的第一行驶方向28与为第二评估路程32规定的第二行驶方向34相反。换句话说，第一评估路程26和第二评估路程32正在或已经以相反的方向驶过。

如针对训练路程10所述，在此可以检测评估路程26、32的几何数据，然后其输入由预定的几何参数构成的特征空间中。然后分别基于确定的聚类18对评估路程26、32的这些几何特征进行评估，以检测相应的评估路程26、32是否包括已知的路段，即已知的和由聚类18代表的几何的区域。因此，点状或分段地沿评估路程26、32确定的几何特征可以分别分配给聚类18之一。为此，例如可以确定到中心点，即聚类18的重心24的距离，其中，可以进行到聚类18的分配，其聚类重心24在特征空间中构成最小的距离。如果行驶新的行驶路程，可以通过其路程元素的几何特征与聚类重心24的距离进行关于相应路程元素的了解度或新颖性的说明。

因此将确定的几何特征或测量点或路段分配给其中一个聚类18的确定性或可靠性或错误概率可以随与相应聚类重心24的距离的增加而增加。由此得到一定的置信度38，它表明在至少一个已知的训练路程10的情境下或相对于至少一个已知的训练路程10或其几何特征、相应的新的路程、在此即评估路程26、32的了解度。

在本例中，第一评估路程26的第一路段30包括两个直的，即无曲率的路段，对此可以找到与聚类18之一的一致性，因为训练路程10包括相应的直的训练路段22。然而第一评估路程26还包括对应于具有相对较低的曲线曲率K的左转曲线的第一路段30，对此在训练路程10中没有完全的匹配。因此，第一评估路程26被归类为部分已知，使得根据与聚类18的相应相对较低的一致性或与其聚类重心24的相对较大的距离可以得出例如针对第一评估路程26的48％的了解度作为置信度38。

相反，第二评估路程32除了直的、无曲率的段外，还包括第二路段36，其基于相反的第二行驶方向34代表带有较小的曲线曲率K的右转曲线。对此，在训练路程10中有至少部分的一致性，因为训练路程10在训练行驶方向12上也包括这种右转曲线，尽管具有略微不同的曲线曲率K。因此，对于第二评估路程32的所有第二路段36可以确定分别到聚类重心24之一的相应较小的距离。然而由于第二评估路程32在其几何方面并不精确对应于分段的训练路程20或其训练路段22，所以在此没有确定百分之百的一致性，而是例如90％的了解度作为针对第二评估路程32的置信度38。

由置信度38提供的关于了解度的说明例如实现了为安全功能使用相应的信息，所述安全功能可以监视针对了解度较低的路段的数据驱动的方法，以及对例如用于训练相应驾驶辅助装置的机器学习方法，尤其强化学习智能体如何在未知路程上反应或表现的特别有说服力的评估。

置信度38越高，也就是说在相应被评估或待评估的行驶路程的几何特征或特征空间中的相应数据点越准确、明确或可靠地分别分配到聚类18之一，则该行驶路程或相应路段越有可能是已知的。

然后置信度38，即相应的路段或整个行驶路程的了解度，可以引入到对相应驾驶辅助装置或用于其训练的训练方法或训练装置、例如强化学习智能体的可普及性或通用性的评估中。为此，驾驶辅助装置的性能在其训练结束后在不同测试路程上，在此例如根据评估路程26、32检查。为了能够关于对新环境，即行驶路程或路段的适配性做出说明，它们的路程几何例如在无监督学习方法中通过阐述的几何聚类客观描述。在此，训练数据集，在此例如即训练路程10中以及相应的测试数据集，在此例如评估路程26-32中的路程几何之间的差异被示出。如果路程几何彼此差别很大，则可以以相应的低置信度38的形式作为用于评估在未知的驾驶机动中或沿未知的行驶路程的驾驶辅助装置的权重。在路程几何差异相对较小的情况下，即相对较大的了解度或相对较大的置信度38，对可普及性的评估相反被削弱。为了评估可普及性，可以考虑在新行驶路程上确定的驾驶辅助装置的性能以及为该行驶路程确定的置信度38，例如通过预定的组合或加权。这可以在训练期间的中间步骤进行，以评估驾驶辅助装置的训练进度，也可以在训练结束后，即在推导时间进行。

与传统方法相比，在此所述的方法实现了更客观地评估数据驱动的学习方法在新环境中的性能，即在处理例如在训练期间没有使用的新数据时。这种物化(Objektivierung或称为具体化，客观化)在此可以通过使用几何聚类作为评估指标或作为针对确定了解度的基础作为评估指标自动化地实现。因此通过对以前没有考虑的，即未知的驾驶机动或路段的特别简单的检测实现对相应算法的可靠性的特别快速的测试或检查。以前的其中例如主观地纯视觉比较测试路程与至少一个训练路程10的方法，在实践中对用于相应算法的广泛化的能力只是有限的说服力，因为没有确定行驶路程在客观上多强或者以何种程度不同。因此在这种方法中需要相对大量的专家知识和人工作业耗费，这也与相应的成本有关。这可以通过在此所述的方法节省，其中，该方法不受任何在待评估的行驶路程的可能的几何复杂度或复杂性方面的限制。

总的来说，所述的例子显示了几何聚类如何被用作评估自学习的模型，例如用于自动行驶功能的自适应控制策略的强化学习智能体的可普及性的信心的量度，以便最终能实现特别安全地使用相应的驾驶辅助装置，即机动车特别安全地自动行驶运行。

根据图1、图4和图5，上面已经介绍了几何聚类作为评估针对自动行驶功能的自适应控制策略的强化学习智能体的可普及性的客观质量功能。

在此基础上使用聚类的方法，以便基于几何特征量以及用于描述轨迹的变量，尤其速度以及加速度曲线获得关于现在的情况的新颖性的置信度。接着智能体据此在其交互范围方面改变。已知的数据点到所谓的聚类中的归入应接着用于探测所谓的“白点”。在此其是新数据云的子集，其或者不能明确地分配到聚类，或者与聚类只有很低的关联性。然后，这些信息被用于强化学习框架中用于对智能体的定向的再训练。因此，或者基于信息改变探查率，以在有可能的探查的情况下还实现更高的行驶安全，或者智能体在其调节活动中受到限制。此外，还可以进行再训练的需要的评估(所谓的“Live-Long-Learning”)。

在目前的方法中，在确定性政策中探查率通常随时间变化被调节，使得广泛的探查在开始时进行并随时间推移而减少。在随机政策中，探查率通过过去的经验调整并因此直接成为政策的一部分。

有一些用于探查搜索空间的启发式方法，例如Tabu搜索(见例如Abramson等人，Tabu Search Exploration for On-Policy Reinforcement Learning，In：4.10.1109/IJCNN.2003.1224033，2013)，它评估可能的解决方案并限制这些解决方案的时间选择。Tabu列表可以作为一定的行动被使用的频率的选择标准，但在高维的状态和行动空间中仅给出较少启发性的附加值。

此外还有贝叶斯方法，其可以提供关于一状态中行动的确定性(“Certainty”)的启发性附加值。针对强化学习的探查领域中的另外的可能性是元学习，其中，除了政策之外，还学习探查函数(Garcia，Francisco M.，和Philip S.Thomas.“A meta-MDP approachto exploration for lifelong reinforcement learning.”arXiv preprint arXiv：1902.00843(2019))。

在确定性的政策和与之相关的探查中，这取决于时间并且此外在固定的预设下实现并且没有考虑当前的情况信息内容。

然而，在此也不能预测探查质量，因为智能体的观察状态(Observation State)不是“由因及果”的，因此不能说智能体在哪种情况下如何探查。由于在一些情况中，与信息内容无关地，探查是不期望的，或者只在非常小的范围内期望(在没有安全余地的情况下极限行驶)，所以结合探查率对未来的行驶情况的不确定性的预测是较大的附加值。

Tabu列表不适合于高维的状态或行动空间，因为单个数据点的模糊性在此通常较少存在。在上述贝叶斯方法领域中的出版物中(Garcia，Francisco M.，and PhilipS.Thomas.“A meta-MDP approach to exploration for lifelong reinforcementlearning.”arXiv preprint arXiv：1902.00843(2019))重点是探查中行动的适当选择，而不是对是否应探查的一般性考虑。它还专注于针对不同任务的探查(不同的MDP，MDP是“马尔科夫决策过程”的首字母缩写，英语：Markov Decision Process)，这例如可以适宜地用于不同的交通工具衍生物。然而该出版物没有考虑改进或调整对特定MDP(如交通工具)的政策的探查。

至今已经加入安全功能(或者说确定性功能)，其监视交通工具稳定性和培训过的安全驾驶员结合在行驶测试期间对算法的进一步人工监视。

根据轨迹规划的变量(如参考曲率、速度和加速度)以及已经经历的行驶场景形成聚类。然后可以在线在交通工具中针对新的聚类分配新的行驶情况，如上文在图1范畴中所述。

通过例如由到聚类中心的距离，必要时行驶动态特征量的时间走向或在相应行驶情况中智能体(Agent)的确定性(在此可以与贝叶斯方法相结合)构成的待定义的指标，可以进行在探查量方面的陈述。这根据图2a-2f说明。

图2a-2b在此说明第一步骤，其中基于训练路程40的路程数据进行聚类。通过聚类分析，训练路程被分为多个路段，其中，每个路段的路程点被分配(正好)一个聚类。

在图2a中使用的训练路程40的情况下，在此进行的聚类分析构成10个不同的聚类，这些聚类由不同类型的抽样标记。换句话说，十个抽样类型F1-F10中的每一个都表示相对于(正好)一个确定的聚类的所属性。

在图2a中，单个路段的分配由该路段对应的聚类的相应抽样类型表示的。在此可以看出，多个(不相邻的)路段(具有相似的曲率走向)分配到同一聚类。

对于训练路程的每个路程点，然后可以确定相应的路程点被所形成的聚类所接近的程度，例如方式是确定相应的(对应于路程点的)数据点与先前确定的(数据点所在的聚类的)中心点的距离。在图2b中在视图42中针对每个路程点示出与(相应的)聚类中心点的归一化的距离(范围在0和1之间)。

图2c和2e说明了第二步骤，其中，新的路程的新数据点分配到先前确定的图2a中的聚类(以及因此的中心点)。其中，在第一步骤中(由图2a示出)形成的聚类被应用于两个至今未知的路程44(见图2c)和48(见图2e)的路程数据。为此，两个路程44和46根据基于训练路程40形成的聚类分为路段。在此，由此产生的路段中的每个都分配到先前形成的聚类。由此在图2c和图2e中分别产生聚类的路线。

在此，与图2a中一样，通过分别根据10个不同的抽样类型F1-F10之一对相应路段的不同的抽样表示相对于确定的聚类的分配。

对于两个未知路程44和48，现在可以为每个数据点或路程点(或甚至路段)确定表征不确定性(“Uncertainty”)的变量，方式优选确定与(相应的)聚类中心点的在此归一化的距离。在两个图46(见图2d)和50(图2f)中，沿相应的路程44和48示出到聚类中心点的这种归一化的间距。

从该表征(行驶路程点的)相应的不确定性的变量然后可以做出关于探查量的说明。

此外，还可以通过该指标做出关于进一步探查(“Live-Long-Leaming”)的决定，例如如果一定区域中的不确定性较高并且进一步探查在此不引起安全问题。这在图3中示出。

在此，通过左上图56再次说明聚类的过程。在此，对于数据选择(“dataselection”)，基于计划的轨迹的特征，如曲率、速度或加速度，进行两个(在此情况下封闭的)路径或路程52、54的聚类。由此得到根据不同的聚类L1-L6细分的路径或路程52、54。

左下图58中说明了不确定性评估。为此可以进行性能评估，方式例如是计算基于例如距离指标的不确定性(并基于之前的聚类)。

这实现了确定(或者说可靠的、安全的)的探查(“Exploration”)，如右上图64所示。例如，在探查中，可以对偏离已知轨迹66的轨迹68在(控制装置或智能体的)性能方面进行预测，基于此可以根据不确定性调整探查策略。优选的是，为了确定的探查，确定或预测在未知状态空间中的性能。优选的是，可以根据不确定性(“Uncertainty”)调整探查策略。

通过预测各种未来的行驶情况的不确定度，可以在这种情况发生之前就影响探查率。

这首先从控制技术的角度来看具有优点，因为可以实现改进的信号变化曲线。因此，在对安全至关重要的驾驶机动中，可以在早期限制探查，使得不会因为额外的探查而发生危险情况。

此外实现终身学习(Livelong Learning)。

另外的附加值是确定何时需要探查，何时不需要探查的方法。许多关于探查策略的科学工作涉及到探查哪种行动的问题(Garcia，Francisco M.和Philip S.Thomas.“Ameta-MDP approach to exploration for lifelong reinforcement learning.”arXivpreprint arXiv：1902.00843(2019))而不是何时需要探查，何时不需要探查的问题。而后者则与“Live-long-learnings”的领域直接相关。探查率的收敛对于算法收敛也是必要的，使得不能随意持续探查。然而在状态空间尚未充分探查的区域中或新的行驶情况中完全需要进一步探查。确定何时应该和不应该进行进一步探查的指标在此可以解决收敛问题，同时处理新的行驶情况、变化的交通工具特征或客户愿望。

在由现有技术已知的确定性政策(方法)中，探查是纯粹的时间的函数[y(t)]。

通过在此建议的方法使确定性情况下的探查与时间分量脱钩，使得探查不再仅仅是时间的函数，而是时间和不确定性的函数，例如y(t，Sigma)。通常，探查率应随时间推移而减少并可以在事先定义的时间段内得到零。然而这在“Live long learning”中是不期望的，因为既不应预设确定的时间段，也不应停止学习。但是一般不应进行永久的探查。

在随机政策的情况下，政策没有给出明确的值而是概率分布的参数，在时间曲线中由于奖励(“Reward”)和适配于此的决定，即探查或开发是否更好，探查减少。其原因是，对相应状态的了解度对概率分布有决定性的影响。

然而如果根据不确定性调整探查率，例如通过在此建议的方法实现的，可以例如在未知的状态空间中进行探查，其仍然满足安全方面预定的要求。通过这种安全探查可以有利地避免不稳定的行驶情况，使得通过所建议的方法可以在同时探查时实现高的行驶安全。

图6-10说明根据来自在Ehra-Lessin试验场的行驶测试的测量数据的示例性实施方案。

图6中所示的路程106在此示出待评估的行驶路程或带有标记的路程米的评估路程。两个轴在此代表评估路程在平面的两个相互垂直的方向上的空间延伸，如X-和Y-位置的坐标(其可以从世界坐标系，如GPS数据中转换)。

路程米0在此表示圈的起点。在图4中的路程E2上训练强化学习智能体并应用于该路程。因此，多个系统状态(曲线组合、速度曲线等)对智能体来说是未知的。不确定性优选通过相对距离指标确定，其根据基于训练路程确定的聚类得出。

图7示出相对于路程米的不确定性108(“Uncertainty”)。在此认为适于1的值的不确定性为阈值。如果不确定性大于等于阈值，优选消除强化学习智能体的附加控制信号。

为了构成无颠簸的过渡使用前瞻以及在时间上减少的信号。

图8示出智能体的相对于路程米的控制信号ML。附图标记114在此表示零线。附图标记112表示没有不确定性(“Uncertainty”)影响的控制信号的曲线，附图标记110表示考虑了不确定性(“Uncertainty”)的控制信号。可以看出，在不确定性(“Uncertainty”)高的区域，智能体被停用(参照图7和附图标记108)。

图9示出相对于路程米的横向偏移dy。信号124代表没有启用智能体的横向偏移的变化曲线，信号122带有持久启用的智能体，带有附图标记123的信号代表带有基于不确定性(“Uncertainty”)的启用的智能体的横向偏移。在计算平均横向偏移时，带有考虑到调整其控制信号的不确定性的智能体，其在三种变型的比较中导致最小的平均横向偏移。

图10示出相对于路程米的控制动作。附图标记134表示没有启用智能体的控制活动，附图标记132表示带有持久启用的智能体的控制活动，附图标记130表示带有基于不确定性的启用智能体的控制活动。

在计算平均控制活动时，在此同样带有考虑到调整其控制信号的不确定性的智能体，在三种变型的比较中，将平均控制活动减少最多。

申请人保留对申请文件中披露的所有对发明至关重要的特征提出权利要求，只要这些特征与现有技术相比是单独或组合的新特征。进一步指出的是，单个附图中也描述了本身可能是有利的特征。技术人员直接认识到，图中描述的确定的特征也可以是有利的，而不需要从该图中采用另外特征。此外，技术人员认识到，将单个图或不同图中所示的多个特征结合也能得到优点。

附图标记列表

1 交通工具

10 训练路程，已知行驶路程

12 训练行驶方向

14 路程数据

16 几何值

18 聚类

20 分段的训练路程

22 训练路段

24 聚类重心

26 第一评估路程

28 第一行驶方向

30 第一路段

32 第二评估路程

34 第二行驶方向

36 第二路段

38 置信度

40 训练路程

42 与聚类中心点的归一化间距

44 未知路程

48 未知路程

46，50 不确定性的呈现

52，54 路径

56 说明聚类的图

58 说明不确定性评估的图

64 说明确定的探查的图

66，68 轨迹

70 说明终身学习的图

80 评估路程

82 第一行驶方向

84 评估路程

86 第二行驶方向

106 待评估的行驶路程

108 不确定性

110 考虑到不确定性的控制信号

112 没有不确定性影响的控制信号

114 零线

122 带有持久启用智能体的横向偏移

123 带有基于不确定性的启用智能体的横向偏移

124 不带有启用智能体的横向偏移

E1 评估路程1

E2 评估路程2

F1-F10 区段

K 曲线曲率

X 路程位置

Claims (15)

1.一种用于根据待评估的行驶路程(106)通过驾驶辅助装置执行交通工具的至少半自动的交通工具功能的方法，交通工具功能尤其是驾驶功能，其包括计算机实施的方法步骤：

-提供由在至少一个已知行驶路程(10,84)方面的路程数据(18)构成的多个聚类，其中，聚类根据预定的几何参数将路程数据分段地分组；

-提供尤其通过传感器装置检测的走向数据，其指明待评估的行驶路程(106)的走向，并将聚类(18)应用于走向数据，以便将待评估的行驶路程(106)划分为与聚类(18)相对应的路段(30,36)并由此将聚类(18)分别分配给单个路段(30,36)；

-确定至少一个不确定性变量，其表征关于在至少一个路段(30,36)和分配给该路段(30,36)的聚类(18)之间所进行的分配的不确定性；

-根据不确定性变量确定控制变量，并提供控制变量以执行交通工具功能。

2.按照权利要求1所述的方法，其特征在于，预定的几何参数包括局部曲线曲率(K)、在行驶方向(12,28,34)上局部曲率方向(K)、局部车道宽度、交通工具轨迹沿行驶路程(10,26,32)到车道边缘的局部距离、交通工具轨迹沿行驶路程(10,26,32)到行车带边缘的局部距离、沿行驶路程(10,26,32)的局部空间路程坐标(X)、交通工具沿行驶路程(10,26,32)的局部速度和/或交通工具沿行驶路程(10,26,32)的局部加速度。

3.按照上述权利要求之一所述的方法，其特征在于，根据不确定性变量改变和/或检查用于执行交通工具功能的驾驶辅助装置的交互范围，以确定控制变量。

4.按照上述权利要求之一所述的方法，其特征在于，不确定性变量在未来潜在的行驶路程方面作为待评估的行驶路程被评估。

5.按照上述权利要求之一所述的方法，其特征在于，驾驶辅助装置使用智能体、尤其强化学习智能体来确定控制变量，其中，智能体适于并且确定用于探查智能体的环境，其中，探查、尤其探查率和/或关于进一步探查的决定根据不确定性变量进行。

6.按照权利要求5所述的方法，其特征在于，基于不确定性变量评估何时需要探查。

7.按照上述权利要求之一所述的方法，其特征在于，为了确定待评估行驶路程的确定的路段的不确定性变量，确定在路段方面的走向数据的至少一部分和已分配的聚类(18)的相关性。

8.按照上述权利要求之一所述的方法，其特征在于，为每个聚类确定聚类重心(24)并且在确定不确定性变量时至少考虑分配给待评估的走向数据的聚类的聚类重心。

9.按照上述权利要求之一所述的方法，其特征在于，不确定性变量基于相对的间距指标、基于走向数据的至少一部分的布局相对于在通过预定的几何参数构成的特征空间中至少一个聚类重心的布局被确定。

10.按照上述权利要求之一所述的方法，其特征在于，在交通工具的稳定性和/或行驶安全性方面评估交通工具的行驶情况并据此以及根据不确定性变量确定控制变量。

11.按照上述权利要求之一所述的方法，其特征在于，控制变量对于在用于执行交通工具功能的自适应控制方法中的操纵变量是表征性的。

12.按照上述权利要求之一所述的方法，其特征在于，驾驶辅助装置使用自学习的模型并根据不确定性变量启动进一步的训练过程。

13.按照权利要求12所述的方法，其特征在于，不能明确地分配给聚类(18)和/或其与所分配的聚类(18)的相关性较低的路程数据和/或走向数据被识别，并且基于识别出的路程数据和/或走向数据执行自学习的模型的进一步的训练过程。

14.一种用于交通工具的驾驶辅助装置，用于根据待评估的行驶路程(106)执行交通工具的至少半自动的交通工具功能，尤其是驾驶功能，所述驾驶辅助装置适于和确定用于下述计算机实施的方法步骤：

-提供由在至少一个已知行驶路程(10,84)方面的路程数据(18)构成的多个聚类，其中，聚类根据预定的几何参数将路程数据分段地分组；

-确定尤其通过传感器装置检测的走向数据，其指明待评估的行驶路程(106)的走向，并将聚类(18)应用于待评估的走向数据，以便将待评估的行驶路程(106)划分为与聚类(18)相对应的路段(30,36)并由此将聚类(18)分别分配给单个路段(30,36)；

-确定至少一个不确定性变量，其表征关于在至少一个路段(30,36)和分配该路段(30,36)的聚类(18)之间的进行的分配的不确定性；

-根据不确定性变量确定控制变量，并提供控制变量以执行交通工具功能。

15.一种交通工具，尤其机动车，其包括按照权利要求14所述的驾驶辅助装置。