CN117099085A - 用于评估用于车辆的控制器的软件的方法 - Google Patents

Abstract

本发明涉及一种用于评估用于车辆(100)的控制器(102)的软件(111)的方法，其中，所述控制器(102)包括存储器(110)和处理器(112)，在所述存储器中存储有所述软件(111)的第一版本(111a)和第二版本(111b)，所述处理器用于实施所述第一版本(111a)和所述第二版本(111b)。该方法包括：在所述控制器(102)中接收通过传感装置(104)产生的传感器数据(108)，所述传感装置用于检测所述车辆(100)的环境；将所述传感器数据(108)输入到所述第一版本(111a)和所述第二版本(111b)中；通过所述第一版本(111a)从所述传感器数据(108)中产生第一对象数据(206，206’)，其中，所述第一对象数据(206，206’)包括通过所述第一版本(111a)识别出的、在所述车辆(100)的环境中的第一对象(116，116’)的位置和/或取向；通过所述第二版本(111b)从所述传感器数据(108)中产生第二对象数据(208，208’)，其中，所述第二对象数据(208，208’)包括通过所述第二版本(111b)识别出的、在所述车辆(100)的环境中的第二对象(118，118’)的位置和/或取向；通过将所述第一对象数据(206，206’)与所述第二对象数据(208，208’)进行比较，在识别品质方面评估所述第二版本(111b)，其中，产生评估结果(212)；从所述控制器(102)向中央数据处理设备(214)发送所述评估结果(212)。

Description

用于评估用于车辆的控制器的软件的方法

技术领域

本发明涉及一种用于评估用于车辆的控制器的软件的方法。另外，本发明涉及一种控制器、一种计算机程序和一种用于实施前述方法的计算机可读的介质。

背景技术

Pkw或者Lkw等车辆可以配备有驾驶员辅助系统，该驾驶员辅助系统能够实现对车辆的部分自动化的或者全自动化的控制。为此，驾驶员辅助系统可以例如借助适合的传感装置来识别在车辆的环境中的对象的位置、取向和/或对象类型，并且可以在考虑这些对象的情况下将车辆转向、制动和/或加速。

这样的驾驶员辅助系统通常受到严格的安全要求。对驾驶员辅助系统的更新，例如用于改进或者扩展该驾驶员辅助系统，可能是非常费事的，因为在每次更新单个的部件时，需要实现整个系统的发布(Freigabe)。

发明内容

在此背景下，以在此所提出的方案提出根据独立权利要求所述的用于评估用于车辆的控制器的软件的方法、相应的控制器、相应的计算机程序和相应的计算机可读的介质。在此所提出的方案的有利的扩展方案和改进从说明书中得出并在从属权利要求中描述。

本发明的优点

本发明的实施方式能够实现，与对象识别软件的已经发布的版本并行地在控制器上实施用于车辆的控制器的对象识别软件的尚未发布的版本，通过将两个版本的识别结果进行比较而在其识别品质方面评估该尚未发布的版本，并且向中央数据处理设备发送相应的评估结果，用于进一步分析处理。

因此，在纳入相应大的数量的系列车辆的评估结果、即真实数据的情况下，可以确保非常快速且成本有利地验证尚未发布的版本，例如对象识别模块的或者传感器数据融合模块的新版本。

本发明的第一方面涉及一种计算机实施的、用于评估用于车辆的控制器的软件的方法。在此，所述控制器包括存储器和处理器，在所述存储器中存储有该软件的第一版本和第二版本，所述处理器用于实施所述第一版本和第二版本。该方法至少包括下述步骤：在控制器中接收通过传感装置产生的传感器数据，传感装置用于检测车辆的环境；将传感器数据输入到第一版本和第二版本中；通过第一版本从传感器数据中产生第一对象数据，其中，第一对象数据包括通过第一版本识别出的、在车辆的环境中的第一对象的位置和/或取向；通过第二版本从传感器数据中产生第二对象数据，其中，第二对象数据包括通过第二版本识别出的、在车辆的环境中的第二对象的位置和/或取向；通过将第一对象数据与第二对象数据进行比较，在识别品质方面评估第二版本，其中，产生评估结果；从控制器向中央数据处理设备发送评估结果。

该方法可以例如自动地通过控制器的处理器来实施。例如，当在控制器中接收通过该中央数据处理设备生成的用于实施该方法的指令时，可以实施该方法。

该车辆可以是机动车，例如呈Pkw、Lkw、公共汽车或者摩托车的形式。在广义上，“车辆”也可以理解为自主的移动机器人。

传感装置可以包括至少一个环境传感器，例如摄像机、雷达传感器、激光雷达传感器或者超声波传感器。除此之外，传感装置可以包括定位传感器，用于借助全球导航卫星系统(如GPS、GLONASS或者类似物)确定车辆的地理坐标。附加地，传感装置可以包括至少一个驾驶动态传感器，例如加速度传感器、车轮转速传感器、转向盘角度传感器、转向力矩传感器、制动压力传感器或者制动踏板位移传感器，用于检测车辆的驾驶状态。

通过在控制器中处理传感器数据，可以识别位于车辆的环境中的对象，例如其他交通参与者、车道标记、交通指示牌、信号设施、建筑物或者植被。在此，对象相对于车辆的位置和/或取向可以在多个连续的时间步长中确定，并且可以以对象列表的形式保存在环境模型中。可能的是，在每个当前的时间步长中，从所述对象在一个或者多个较早的时间步长中的位置和/或取向来估计所述对象的未来的位置和/或取向。

传感器数据可以在多个连续的时间步长中接收，其中，每个时间步长中的传感器数据不仅可以输入到第一版本中，还可以输入到第二版本中。

可能的是，控制器的软件配置用于，基于传感器数据将车辆转向、加速和/或制动。对此，车辆可以包括相应的执行装置，该执行装置例如呈转向执行器、制动执行器、马达控制器、电驱动马达或者由所提到的例子中的至少两个例子组成的组合的形式。控制器的软件可以包括驾驶员辅助系统的一个或者多个部件。

中央数据处理设备可以是例如服务器、PC、掌上电脑、平板电脑或者智能手机。

控制器和中央数据处理设备可以经由无线数据通信连接相互连接，所述无线数据通信连接例如是WLAN、蓝牙和/或移动无线电。但是，控制器与中央数据处理设备之间的有线数据通信连接也是可能的。

附加地，该方法可以包括下述步骤：在控制器中接收第二版本；在控制器的存储器中存储该第二版本。在此，第二版本可以是通过中央数据处理设备产生的，和/或可以是从中央数据处理设备发送给控制器的。第二版本可以例如以能够通过处理器实施的文件的形式在控制器中被接收并且被存储在那里。

第一版本可以是该软件的较旧的、已经发布的版本。第二版本可以是该软件的较新的、尚未发布的版本。

例如，第二版本可以包括第一版本的一个或者多个软件模块的经更新的版本，例如用于在传感器数据中识别对象的识别模块或者传感器数据融合模块或者用于在对象与车辆的相关性方面解读所述对象的解读模块。

可能的是，第一版本包括第一识别模块和/或第一解读模块，该第一识别模块用于将传感器数据转换为第一对象数据，该第一解读模块用于基于第一对象数据和/或传感器数据确定与车辆相关的对象。第一识别模块或第一解读模块可以是软件的已经发布的软件模块。

与此类似地，可能的是，第二版本包括第二识别模块和/或第二解读模块，该第二识别模块用于将传感器数据转换为第二对象数据，该第二解读模块用于基于第二对象数据和/或传感器数据确定与车辆相关的对象。第二识别模块或第二解读模块可以是软件的尚未发布的软件模块。

第一版本和第二版本可以例如在并行的进程中通过控制器的处理器来实施。

在此，第二版本可以在隔离的区域中实施，在该隔离的区域内，可以实施第二版本，而不对车辆的位于该区域之外的硬件部件和软件部件产生与安全相关的影响，例如不对第一版本或者该车辆的执行装置产生与安全相关的影响。在这样的隔离的区域中实施的软件也可以被称为影子模式软件。

换言之，第一版本和第二版本可以在不同的运行环境中实施。在此，第二版本可以在相对于第一版本的运行环境受到限制的运行环境中实施。

例如，除了第一对象的位置和/或取向之外，第一对象数据可以包括第一对象的对象类别。替代地或者附加地，除了第二对象的位置和/或取向之外，第二对象数据可以包括第二对象的对象类别。对象类别可以例如是对象类型，例如“迎面而来的车辆”、“在前行驶的车辆”、“行车道标记”、“行人”或者类似物。对象类别可以通过借助一个或者多个分类器分析处理传感器数据而配属于第一或第二对象。同一对象也可以配属有多于一个的对象类别。

为了在识别品质方面评估第二版本，可以例如通过下述方式将第一对象数据和第二对象数据进行相互比较：将第一对象的位置和/或取向与第二对象的位置和/或取向进行比较和/或将识别出第一对象的识别时间点与识别出第二对象的识别时间点进行比较。但是，别的比较方法也是可能的。

对此，可以确定由各一个第一对象和第二对象组成的关联。在此，可以将相互关联的对象的位置和/或取向和/或识别时间点进行相互比较。相互关联的对象可以是对象模型，所述对象模型描述在车辆的环境中的同一实际对象。

通过评估第二版本可以确定，该第二版本的识别品质，即通过第二版本识别出对象的识别精度和识别可靠性，是比第一版本的识别品质差还是与第一版本的识别品质至少一样好。

评估结果可以包括例如用于第二版本的识别精度和识别可靠性的统计估计值，所述统计估计值是绝对的和/或相对于第一版本来看的。附加地或者替代地，评估结果可以包括来自第一和/或第二对象数据和/或传感器数据的、与在识别品质方面评估第二版本相关的数据序列。通过例如经由无线数据通信连接向中央数据处理设备发送所述数据序列，可以与车辆的停留地点无关地在中央位置处分析处理所述数据序列。

这样的数据序列可以包括例如对象列表，该对象列表具有与在识别品质方面评估第二版本相关的对象和/或所述对象所基于的传感器(原始)数据。

例如，当确定通过第一版本识别出的对象未通过第二版本识别出时，第二版本在识别品质方面可以被评估为比第一版本差。

反过来，可能的是，当确定通过第二版本识别出的对象未通过第一版本识别出时，第二版本在识别品质方面被评估为比第一版本好。

在此，符合目的的是，区分与车辆相关的对象和与车辆不相关的对象。例如，对象可以根据其相对于车辆的间距和/或其相对于车辆的相对速度和/或根据其对象类别而被识别为与车辆相关或者不相关。

在这里和在下文中描述的方案基于如下内容：为了在开发驾驶员辅助系统时进行支持，可以在系列车辆中在所谓的影子模式中实施软件。在此，该软件或者单个软件模块被动地在隔离的区域中运行，而不反作用到车辆中的主动部件上。在该区域中，例如新开发的软件版本可以在快速迭代中上传和评价。对此，例如可以使用评估框架，该评估框架基于定义的触发逻辑来触发数据序列的记录并且保证向云端的无线数据传输。因此，可以非常快速地将新开发的软件版本以大的数据量进行调整并且对该新开发的软件版本进行评估，所述大的数据量相应于真实的现场事件。

在根据本发明的第一方面的一种实施方式的方法中，现在可以使用这样的影子模式，以便确定：与该软件的已经发布的、在车辆中活跃的版本相比，用于车辆的控制器的软件的经更新的版本是否同样好地或者更好地达到确定的目标参数。对此，可以在车辆中将在影子模式中运行的经更新的版本的结果直接与已经发布的版本的结果进行比较。这具有如下优点：与常见的发布方法相比，(例如驾驶员辅助系统的)软件模块的更新可以以明显更低的花费来发布并且因此明显更频繁地提供。

应指出的是，为了实施上文和下文所阐述的方法，不是一定必需的是，在同一控制器中实施该软件的第一和第二版本。取而代之地，这两个版本也可以在不同的、可能相互联网的控制器上实施，如下文所述。

可能的是，通过第一控制器实施第一版本，通过第二控制器实施第二版本。除了第二版本之外，第二控制器可以实施该软件的(经发布的)第一版本或者其他经发布的版本。

第一控制器可以是例如第一车辆的控制器。第二控制器可以是例如第二车辆的控制器。第一控制器和第二控制器可以是例如经由无线数据通信连接相互连接的，用于数据通信。

第一对象数据可以例如通过第一控制器从第一传感器数据中产生，其中，第一传感器数据可以是通过第一传感装置产生的，该第一传感装置用于检测第一车辆的环境。

第二对象数据可以例如通过第二控制器从第二传感器数据中产生，其中，第二传感器数据可以是通过第二传感装置产生的，该第二传感装置用于检测第二车辆的环境。

可能的是，第一控制器从第二控制器接收第二对象数据。

与此相应地，例如，通过由第一控制器将第一对象数据与从第二控制器接收的第二对象数据进行比较，可以产生评估结果。在此，该评估结果可以从第一控制器发送给中央数据处理设备并且附加地发送给第二控制器。

本发明的第二方面涉及一种控制器，该控制器包括处理器，该处理器配置用于实施根据本发明的第一方面的一种实施方式的方法。根据本发明的第一方面的一种实施方式的方法的特征也可以是控制器的特征，反之亦然。

控制器可以包括硬件模块和/或软件模块。除了处理器之外，控制器可以包括存储器和用于与外围设备进行数据通信的数据通信接口。

本发明的第三方面涉及一种计算机程序。计算机程序包括指令，所述指令在通过处理器所实施计算机程序时促使该处理器实施根据本发明的第一方面的一种实施方式的方法。

本发明的第四方面涉及一种计算机可读的介质，在该计算机可读的介质上存储有根据本发明的第三方面的一种实施方式的计算机程序。计算机可读的介质可以是易失性或者非易失性数据存储器。例如，计算机可读的介质可以是硬盘、USB存储设备、RAM、ROM、EPROM或者Flash存储器。计算机可读的介质还可以是能够实现程序代码的下载的数据通信网络，例如互联网或者数据云(云端)。

根据本发明的第一方面的一种实施方式的方法的特征也可以是计算机程序的和/或计算机可读的介质的特征，反之亦然。

关于本发明的实施方式的思想主要可以视为基于下文所描述的构思和认识。

根据一种实施方式，对于每个第一对象，确定至少一个第一评估参数，该第一评估参数显示，通过第一版本识别出第一对象的程度。在此，对于每个第二对象，确定至少一个第二评估参数，该第二评估参数显示，通过第二版本识别出第二对象的程度。然后，通过将第一评估参数与第二评估参数进行比较，评估第二版本。第一或第二评估参数可以是例如识别时间点或者统计值，例如与识别出的位置和/或取向有关的置信值。可以通过将相同的对象的第一评估参数与第二评估参数进行比较来评估第二版本。换言之，可以通过将一个或者多个配属于第一对象的第一评估参数与一个或者多个配属于第二对象的第二评估参数进行比较，将第一对象和与第一对象一致的第二对象进行评估。例如，为了将第一版本与第二版本进行比较，可以由一个或者多个第一评估参数和一个或者多个第二评估参数形成差，其中，可以基于该差来评估第二版本。因此，基于单个的识别出的对象来实现对软件的评估。

根据一种实施方式，第一评估参数是通过第一版本识别出第一对象的识别时间点。附加地或者替代地，第二评估参数可以是通过第二版本识别出第二对象的识别时间点。例如，当通过第二版本识别出一对象的识别时间点是比通过第一版本识别出相同的对象的识别时间点早的时间点时，第二版本可以被评估为在识别品质方面比第一版本好，反之亦然。这种类型的对识别时间点的比较能够容易执行，并且提供足够准确的评估结果。

根据一种实施方式，第一评估参数是与第一对象的位置和/或取向有关的概率。附加地或者替代地，第二评估参数可以是与第二对象的位置和/或取向有关的概率。借助概率，可以例如说明位置和/或取向的精确度，更准确地说，与位置和/或取向的概率分布有关的方位参数的精确度。第一或第二评估参数可以是例如概率分布的方位参数和/或分散参数。也可能的是，第一或第二评估参数说明置信值区间。因此，可以提高该方法的精度和可靠性。

根据一种实施方式，通过第一版本从第一对象中选择与车辆相关的第一对象。在此，通过将相关的第一对象与第二对象进行比较，确定彼此一致的对象。然后，将彼此一致的对象的评估参数进行相互比较。如前所述，相关的第一对象可以例如根据其相对于车辆的间距和/或其相对于车辆的相对速度和/或根据其对象类别而从第一对象中选择出。这可以借助第一版本的第一解读模块来实现，该第一解读模块可以配置用于，与状况和/或功能有关地确定第一对象的相关性，例如通过将第一对象划分为不同的相关性种类，在最简单的情况下例如划分为相关性种类“相关”和“不相关”。由此可以确定，第二版本究竟是否识别出通过(经验证的或者经发布的)第一版本识别为相关的对象。如果确定这一点，则这可以被评估为有力地表明第二版本的识别品质至少不比第一版本的识别品质差。

根据一种实施方式，通过第二版本从与相关的第一对象不一致的第二对象中选择与车辆相关的第二对象。在此，为每个相关的第二对象产生单个评估，所述单个评估显示，相关的第二对象通过第二版本的识别与第一版本相比是相应于第二版本的识别品质的改进还是劣化。然后，此外基于所述单个评估来评估第二版本。对此，可以首先确定，第二对象数据是否包含如下第二对象：所述第二对象与相关的第一对象中的任何一个第一对象都不一致，即所述第二对象通过第一版本未被识别出或者至少未被识别为相关的。此外，可以确定，与相关的第一对象中的任何一个第一对象都不一致的第二对象是否与车辆相关。如前所述，这可以借助第二版本的第二解读模块来实现，该第二解读模块——与第一解读模块类似地——可以配置用于，与状况和/或功能有关地确定第二对象的相关性，例如通过将第二对象划分为不同的相关性种类，在最简单的情况下例如划分为相关性种类“相关”和“不相关”。

单个评估可以例如作为评估结果的一部分发送给中央数据处理设备。附加地或者替代地，评估结果可以包括相应的单个评估所基于的对象数据和/或传感器数据。可能的是，只有当以对象数据和/或传感器数据作为基础的单个评估显示第二版本的识别品质相对于第一版本的劣化时，才将对象数据和/或传感器数据作为评估结果的一部分发送。

通过该实施方式，可以根据下述内容来评估第二版本：第二版本是否识别出通过第一版本尚未识别出的相关的对象。对第二版本的评估可以例如借助每个单个评估来重新计算。

根据一种实施方式，基于传感器数据和/或通过车辆的至少一个驾驶动态传感器产生的驾驶动态数据，确定车辆的驾驶状态的变化，所述驾驶状态的变化与通过第二版本识别出相关的第二对象的识别时间点在时间上相联系。在此，通过分析处理该驾驶状态的与相应的相关的第二对象在时间上相联系的变化，产生每个单个评估。为了确定通过第一版本未识别出的(未识别为相关的)相关的第二对象的识别实际上是否相应于第二版本的识别品质相对于第一版本的改进，可以例如分析处理传感器数据和/或驾驶动态数据，以便确定在所涉及的对象的识别时间点车辆的驾驶员的反应并且解读该反应。例如如果不能够确定驾驶员的反应或者至少不能够确定驾驶员的相关的反应，则这可以被评估为有力地表明，借助所涉及的对象的识别，未显著改进识别品质，反之亦然。

根据一种实施方式，在多个连续的时间步长中产生第二对象数据。在此，通过在来自不同时间步长的第二对象数据之间进行比较，检查第二对象的可信度。然后，此外根据第二对象的可信度来评估第二版本。例如，可以将同一对象的来自不同时间步长的位置和/或取向进行相互比较，以便求取不一致，即对象的位置和/或取向的不可信的变化。因此可以确定，第二版本是否提供在时间上一致且可信的对象数据。可能的是，与单个的不可信的对象有关的对象数据，例如所述对象在多个连续的时间步长内的位置和/或取向，作为评估结果的一部分被发送给中央数据处理设备。

根据一种实施方式，评估结果包括由传感器数据、第一对象数据和/或第二对象数据组成的数据序列。对第二版本的评估可以基于所述数据序列。换言之，所述数据序列可以显示第二版本的识别品质相对于第一版本的改进或者劣化。通过发送这些数据序列，实现对第二版本在其识别品质方面的有针对性的外部分析处理。

根据一种实施方式，只有当第二版本在识别品质方面被评估为比第一版本差时，才发送所述数据序列。由此可以改进控制器与中央数据处理设备之间的数据通信的效率。

附图说明

以下参照所附图示描述本发明的实施方式，其中，既不应将图示也不应将说明书解释为对本发明进行限制。

图1示出具有根据本发明的一个实施例的控制器的车辆。

图2示出在图1中的控制器上运行的软件的不同模块。

所述附图仅仅是示意性的并且不是按比例的。相同的参考标记在附图中表示相同或具有相同效果的特征。

具体实施方式

图1示出车辆100，该车辆配备有控制器102、用于检测车辆100的环境的传感装置104和执行装置106。

传感装置104可以包括例如摄像机、雷达传感器、激光雷达传感器和/或超声波传感器。附加地，传感装置104可以包括至少一个驾驶动态传感器，例如加速度传感器或者转速传感器。在多个连续的时间步长中，传感装置104产生传感器数据108，所述传感器数据在控制器102中被接收并且在那里在对象识别的框架中被分析处理。控制器102包括存储器110以及处理器112，在该存储器上存储有相应的软件111，该处理器用于实施该软件111。

可能的是，控制器102基于传感器数据108、即基于借助该控制器执行的对象识别的结果来产生控制信号114，用于自动操控执行装置106。执行装置106可以包括例如一个或者多个转向执行器和/或制动执行器，用于将车辆100转向或制动。

在控制器102上同时运行软件111的两个不同的版本111a、111b，传感器数据108分别被输入到所述版本中。在此，通过由软件111的第一版本111a对传感器数据108进行分析处理，识别在车辆100的环境中的第一对象116，而通过由软件111的第二版本111b对传感器数据108进行分析处理，识别在车辆100的环境中的第二对象118。第一对象116和第二对象118，在此示例性地是在前行驶的车辆，可以是相同的或者不同的对象。通过将第一对象与第二对象118进行比较，控制器102可以评估第二版本111b相对于第一版本111a的识别品质。下面，根据图2更详尽地描述这一点。

图2示出在控制器102上运行的软件111的方框图。在该例子中，第一版本111a是软件111的已经验证的或者发布的版本、即活跃的版本，而第二版本111b是软件111的尚未验证的或者尚未发布的版本，与第一版本111a不同，该版本可以在控制器102的受到限制的运行环境200中运行，即可以在被在受到限制的运行环境200之外的部件屏蔽的测试区域中被动地与第一版本111a一起运行。第二版本111b可以是对第一版本111a的更新，例如是软件111的相对于第一版本111a被改进的和/或被扩展的版本。第二版本111b也可以被称为影子软件。

替代地，第二版本111b也可以以相同的方式分配在单独的控制器上。

在该例子中，传感器数据108不仅进入到第一版本111a的第一识别模块202中，还进入到第二版本111b的第二识别模块204中。在此，第一识别模块202从传感器数据108中产生第一对象数据206，所述第一对象数据包括第一对象116相对于车辆100的位置和/或取向。在此，第二识别模块204从传感器数据108中产生第二对象数据208，所述第二对象数据包括第二对象118相对于车辆100的位置和/或取向。

识别出的对象116、118可以连同其相应的位置和/或取向一起例如以对象列表的形式存储在车辆100的环境的环境模型中，并且在那里连续地基于传感器数据108被更新。在这种背景下，第一对象116和第二对象118可以理解为实际上存在于车辆100的环境中的对象的、存储在环境模型中的对象模型。

除了相应的位置和/或取向之外，第一对象数据206和/或第二对象数据208可以为每个识别出对象116或118指定一个或者多个对象类型，例如“车辆”、“行人”或者“车道标记”。

将第一对象数据206和第二对象数据208输入到软件111的评估模块210中，该评估模块在该例子中像第二版本111b那样出于安全原因而在受到限制的运行环境200中运行。评估模块210评估第二版本111b相对于第一版本111a的识别品质，其方式是，该评估模块以适合的方式将第一对象数据206与第二对象数据208进行比较。在此，评估模块210产生相应的评估结果212，并且例如经由WLAN连接、蓝牙连接和/或移动无线电连接向在车辆100之外的中央数据处理设备214发送该评估结果，用于进一步分析处理。

在该评估的框架中，可以根据适合的一个或者多个评估参数将第一对象116与相应的第二对象118进行相互比较，例如根据相应的识别时间点或者根据与相应的位置和/或取向的精度和/或可靠性有关的一个或者多个估计值。

可能的是，通过第一版本111a的第一解读模块216对第一对象数据206进行解读，即在所述第一对象数据的与车辆100的相关性方面进行分析处理。在此，第一解读模块216可以根据车辆100的当前状况从第一对象116中选择一个或者多个相关的第一对象116’(在图1中示例性地是在车辆100旁边在左侧在前行驶的车辆)，并且向评估模块210发送相应地经过滤的第一对象数据206’。

然后，评估模块210可以将相关的第一对象与相应的第二对象118关联，例如基于相应的位置和/或取向和/或相应的识别时间点。接下来，可以将相互关联的对象的评估参数进行相互比较，以便评估第二版本111b。相互关联的对象可以是如下对象：所述对象彼此一致，因为它们是实际上存在于车辆100的环境中的同一对象的对象模型。

除此之外可能的是，通过第二版本111b的第二解读模块218对第二对象数据208进行解读，即在所述第二对象数据的与车辆100的相关性方面进行分析处理。在此，第二解读模块218可以根据车辆100的当前状况从第二对象118中选择一个或者多个相关的第二对象118’(在图1中示例性地是在车辆100旁边在右侧在前行驶的车辆)，并且向评估模块210发送相应地经过滤的第二对象数据208’。

在这种情况下，评估模块210可以确定，在相关的第一对象206’和相关的第二对象208’下是否存在明确唯一地彼此一致的对象。如果相关的第二对象208’中的一个第二对象与相关的第一对象206’中的一个第一对象不一致，则评估模块210可以为该第二对象产生单个评估，该单个评估显示，该第二对象的识别与第一版本111a相比是表示第二版本111b的识别品质的改进还是劣化。然后，基于单个评估，可以产生评估结果212。

单个评估的产生可以基于传感器数据108实现。在此，除了通过车辆100的一个或者多个环境传感器产生的环境数据之外，传感器数据108还可以包括通过车辆100的一个或者多个驾驶动态传感器产生的驾驶动态数据。

在通过评估模块210对传感器数据108进行分析处理时，可以例如以通过车辆的驾驶员的相应的反应触发的方式来确定车辆100的驾驶动态的状态的变化，所述变化与相关的第二对象118’的识别在时间上相联系。最后，根据该变化可以确定，所涉及的对象的识别是否等同于第二版本111b的识别品质的改进或者劣化。

替代地，第二解读模块218可以配置用于首先确定第二对象118中的如下第二对象：所述第二对象与相关的第一对象116’中的任何一个第一对象都不明确唯一地一致，接下来从中选择相关的第二对象118’。

附加地，评估模块219可以配置用于检查第二对象118的可信度。为此，评估模块210可以根据多个连续的时间步长的第二对象数据208分析处理第二对象118。在此，此外可以在考虑第二对象118的可信度的情况下确定评估结果212。在图1中借助虚线边框标示用于不可信的或者不一致的第二对象118的例子。

例如，在验证应借助第二识别模块204和/或第二解读模块218来解决的识别任务的意义上的对第二版本111b的评估，可以包括下述步骤。

第一，核查通过第一版本111a识别出的相关的第一对象116’是否以相同的或者改进的方式也通过在影子模式中运行的第二版本111b识别出。在此，第一对象116的相关性并非通过第一识别模块202本身来求取，而是通过第一解读模块216、即通过一个或者多个后续的进行解读的软件元件以状况分析的方式来求取。为了确定第二对象118中的哪些第二对象相应于相关的第一对象116’，在评估模块210中执行关联。然后，根据定义的度量将这两个版本111a、111b的识别品质进行相互比较，所述定义的度量可以包括例如相应的识别时间点或者与相应的位置和/或取向有关的置信值。如果确定第二版本111b的识别品质的劣化，则可以直接向中央数据处理设备214发送相应的数据序列。在此，可以从相应的传感器数据108和/或相应的对象数据116或118中产生数据序列。反过来，识别品质的改进可以通过这样的数据序列未到达中央数据处理设备214来确认。附加地或者替代地，可以通过有规律地从控制器102向中央数据处理设备214发送集束的统计数据来检测识别品质的改进或者劣化。

第二，对于每个通过第二版本111b识别出的、但是不能够与相关的第一对象116’中的一个第一对象关联的第二对象118，确定所述第二对象的与车辆100的相关性，并且执行评估，该评估显示，通过识别出该第二对象，该识别品质是劣化还是改进。如果第二解读模块218以状况分析的方式求取出相关的第二对象118’，该第二对象不能够与相关的第一对象116’中的任何一个第一对象关联，则首先借助定义的逻辑，例如根据驾驶员对该对象的反应，求取该对象的识别是表示该识别品质的改进还是劣化。视逻辑而定地，该过程可以记录在统计数据中。附加地或者替代地，可以触发直接发出相应的数据序列，用于在中央数据处理设备214中进行外部分析处理。

第三，核查第二对象118和/或相关的第二对象118’是否在一段时间内是一致且可信的。为此，评估模块210根据时间曲线从传感器数据108和/或第二对象数据208或208’中探测不一致，例如在车辆100的较近的环境中突然出现的或者突然消失的第二对象118。关于这些对象的信息可以要么直接以相应的数据序列的形式、要么集束地以统计数据的形式从控制器102发送给数据处理设备214。

对分类任务的验证可以以类似的方式执行。

最后需要指出的是，诸如“具有”“包括”等术语并不排除另外的元素或步骤，并且诸如“一”或“一个”等术语并不排除多个。权利要求书中的参考标记不应被视为限制。

Claims (13)

1.一种用于评估用于车辆(100)的控制器(102)的软件(111)的方法，

其中，所述控制器(102)包括存储器(110)和处理器(112)，在所述存储器中存储有所述软件(111)的第一版本(111a)和第二版本(111b)，所述处理器用于实施所述第一版本(111a)和所述第二版本(111b)，

其中，所述方法包括：

在所述控制器(102)中接收通过传感装置(104)产生的传感器数据(108)，所述传感装置用于检测所述车辆(100)的环境；

将所述传感器数据(108)输入到所述第一版本(111a)和所述第二版本(111b)中；

通过所述第一版本(111a)从所述传感器数据(108)中产生第一对象数据(206，206’)，其中，所述第一对象数据(206，206’)包括通过所述第一版本(111a)识别出的、在所述车辆(100)的环境中的第一对象(116，116’)的位置和/或取向；

通过所述第二版本(111b)从所述传感器数据(108)中产生第二对象数据(208，208’)，其中，所述第二对象数据(208，208’)包括通过所述第二版本(111b)识别出的、在所述车辆(100)的环境中的第二对象(118，118’)的位置和/或取向；

通过将所述第一对象数据(206，206’)与所述第二对象数据(208，208’)进行比较，在识别品质方面评估所述第二版本(111b)，其中，产生评估结果(212)；

从所述控制器(102)向中央数据处理设备(214)发送所述评估结果(212)。

2.根据权利要求1所述的方法，

其中，对于每个第一对象(116，116’)，确定至少一个第一评估参数，所述第一评估参数显示，通过所述第一版本(111a)识别出所述第一对象(116，116’)的程度；

其中，对于每个第二对象(118，118’)，确定至少一个第二评估参数，所述第二评估参数显示，通过所述第二版本(111b)识别出所述第二对象(118，118’)的程度；

其中，通过将所述第一评估参数与所述第二评估参数进行比较，评估所述第二版本(111b)。

3.根据权利要求2所述的方法，

其中，所述第一评估参数是通过所述第一版本(111a)识别出所述第一对象(116，116’)的识别时间点；和/或

其中，所述第二评估参数是通过所述第二版本(111b)识别出所述第二对象(118，118’)的识别时间点。

4.根据权利要求2或3所述的方法，

其中，所述第一评估参数是与所述第一对象(116，116’)的位置和/或取向有关的概率；和/或

其中，所述第二评估参数是与所述第二对象(118，118’)的位置和/或取向有关的概率。

5.根据权利要求2至4中任一项所述的方法，

其中，通过所述第一版本(111a)从所述第一对象(116)中选择与所述车辆(100)相关的第一对象(116’)；

其中，通过将所述相关的第一对象(116’)与所述第二对象(118，118’)进行比较，确定彼此一致的对象(116’，118，118’)；

其中，将所述彼此一致的对象(116’，118，118’)的评估参数进行相互比较。

6.根据权利要求5所述的方法，

其中，通过所述第二版本(111b)从与相关的第一对象(116’)不一致的第二对象(118)中选择与所述车辆(100)相关的第二对象(118’)；

其中，为每个相关的第二对象(118’)产生单个评估，所述单个评估显示，所述相关的第二对象(118’)通过所述第二版本(111b)的识别与所述第一版本(111a)相比是相应于所述第二版本(111b)的识别品质的改进还是劣化；

其中，此外基于所述单个评估来评估所述第二版本(111b)。

7.根据权利要求6所述的方法，

其中，基于所述传感器数据(108)和/或通过所述车辆(100)的至少一个驾驶动态传感器产生的驾驶动态数据，确定所述车辆(100)的驾驶状态的变化，所述驾驶状态的变化与通过所述第二版本(111b)识别出所述相关的第二对象(118’)的识别时间点在时间上相联系；

其中，通过分析处理所述驾驶状态的与相应的相关的第二对象(118’)在时间上相联系的变化，产生每个单个评估。

8.根据上述权利要求中任一项所述的方法，

其中，在多个连续的时间步长中产生所述第二对象数据(208，208’)；

其中，通过在来自不同时间步长的第二对象数据(208，208’)之间进行比较，检查所述第二对象(118，118’)的可信度；

其中，此外根据所述第二对象(118，118’)的可信度来评估所述第二版本(111b)。

9.根据上述权利要求中任一项所述的方法，

其中，所述评估结果(212)包括由所述传感器数据(108)、所述第一对象数据(206，206’)和/或所述第二对象数据(208，208’)组成的数据序列。

10.根据权利要求9所述的方法，

其中，只有当所述第二版本(111b)在识别品质方面被评估为比所述第一版本(111a)差时，才发送所述数据序列。

11.一种控制器(102)，所述控制器包括处理器(112)，所述处理器配置用于实施根据上述权利要求中任一项所述的方法。

12.一种计算机程序，所述计算机程序包括指令，所述指令在通过处理器(112)实施所述计算机程序时促使所述处理器(112)实施根据权利要求1至10中任一项所述的方法。

13.一种计算机可读的介质，在所述计算机可读的介质上存储有根据权利要求12所述的计算机程序。