CN116783564A - 用于简化在车辆外部对机动车辆接管控制的基于图像的方法、辅助装置和机动车辆 - Google Patents

Abstract

本发明涉及一种用于简化由车辆外部的操作人员(56)对机动车辆(12)接管控制的方法。在该方法中，从机动车辆(12)检测机动车辆的周围环境的图像(10)并进行语义分割。分别基于这种图像(10)中的至少一个图像来预测对应的分割模型的错误。在对应的错误预测触发接管控制的请求(54)的情况下，自动地生成基于图像的可视化(36)，在该可视化中视觉地突出恰好对应于错误预测的区域(38)。然后，将请求(54)和可视化(36)发送给车辆外部的操作人员(56)。本发明还涉及对应的辅助装置(42)以及配备有该辅助装置的机动车辆(12)。

Description

用于简化在车辆外部对机动车辆接管控制的基于图像的方 法、辅助装置和机动车辆

技术领域

本发明涉及一种用于简化由车辆外部的操作人员接管控制的基于图像的方法。本发明还涉及一种为该方法设计的辅助装置以及一种配备有该辅助装置的机动车辆。

背景技术

尽管自主或自动化的机动车辆的发展持续不断进步，但在当今可用的系统中的错误仍然始终无法避免。处理该问题的一种方案在于：在出现错误的情况下，如果相应的机动车辆因此无法完全自主或自动地处理特定情况，则车辆外部的操作人员(也称为远程操作员)对相应的机动车辆接管控制，即其以远程操纵的方式进行的操纵。然而，在此也存在不同的挑战。例如，在操作人员可以操纵相应的机动车辆安全通过相应情况之前，识别和理解机动车辆的相应的情况和周围环境对于车辆外部的操作人员来说是艰巨的任务，该任务需要显著的持续时间。

在WO 2018/232 032A1中描述了这种用于在具有自主行驶能力的车辆的运行期间进行干预的方法。在该方法中确定对应的干预是适当的。基于此，为人员实现提供用于干预的信息。最后，发动干预。为此，例如远程操作系统可以与相应的车辆交互，以便处理不同类型的事件，例如会导致诸如碰撞或交通堵塞的风险的事件。

作为另外的方案，在JP 2018 538 647A中描述一种用于校正自主无人驾驶车辆的轨迹的远程操纵系统以及方法。其中，根据车辆的接收到的操纵消息，探测鉴别与车辆关联的事件的数据并且鉴别该事件。此外，鉴别响应于所述数据而要实施的一个或多个措施，为这些措施然后计算相应的排名。然后，模拟这些措施，以生成策略。提供与措施的至少一个子集相关联的信息以在远程操作员的显示设备上显示。然后，将从所显示的措施子集中选择的措施传输给车辆。

发明内容

本发明的目的是实现由车辆外部的操作人员尤其简单且快速地对机动车辆接管控制。

根据本发明，该目的通过独立权利要求的主题来实现。本发明的可能的设计方案和改进形式在从属权利要求、说明书和附图中说明。

根据本发明的方法用于简化由车辆外部的操作人员对机动车辆接管控制。换言之，应当为车辆外部的操作人员(即远程操作员)简化接管机动车辆的操纵或远程操纵。由于在接管控制的时间点车辆外部的操作人员并不熟悉机动车辆的相应情况，即其周围环境和行驶状态，并且无法直接记录相应的数据，而是例如仅经由显示设备来记录，所以对机动车辆接管控制可能是重大挑战并需要显著的时间。为了对此进行简化，在根据本发明的方法的一个方法步骤中，在机动车辆的有条件地自动化的运行中，检测机动车辆的相应的周围环境的图像，或者相应的至少一个图像或对应的图像数据。然后，借助于预设的、训练过的分割模型对所述至少一个图像进行语义分割。分割模型例如可以是或者可以包括人工神经网络，尤其是深度的、即多层的人工神经网络，例如深度卷积神经网络(英文：deepconvolutional neural network，深度CNN)。例如，分割模型可以是相应的机动车辆的相应的数据处理装置的一部分。换言之，相应的周围环境的至少一个图像的语义分割尤其可以在机动车辆本身中、即通过机动车辆本身的装置来执行。这实现特别及时地、即低延迟地执行语义分割。

在本文的意义上而言，机动车辆的有条件地自动化的运行可以对应于例如SAEJ3016的3级或4级的自主等级。因此，在有条件地自动运行中，机动车辆有时可以自主地移动，但是在无法可靠地自主管理的情况下，将机动车辆的控制、即其操纵移交给操作人员。后者也称为脱离接触。

在根据本发明的方法的另一方法步骤中，分别基于所记录的图像中的至少一个图像，尤其逐像素地、即像素精确地在该至少一个图像的语义分割中预测分割模型的错误。为此，例如可以使用预设的、相应训练过的错误预测模型。然而，最后可以应用至少近似任意的如下错误预测方法，该错误预测方法基于视觉输入，即图像或图像数据作为输入数据来进行处理。因此，也可以为所述错误预测使用相应训练过的、尤其多层的人工神经网络。错误预测也可以如在语义分割的上下文中描述的那样在相应的机动车辆中进行，即通过机动车辆的装置进行。

在根据本发明的方法的另一方法步骤中，在对应的错误预测根据预设标准触发自动地输出由车辆外部的操作人员接管控制的请求的情况下，自动地生成基于图像的可视化，在所述可视化中视觉地突出恰好对应于相应的错误预测的区域。换言之，当满足至少一个预设的条件时(例如关于相应预测的错误的类型和/或严重性)或者当至少预设数量的错误已被预测时或者当错误预测达到或超过一定预设程度时，生成可视化。

在此，在可视化中突出的、即标识的区域可以是连续区域或者包括多个可能分离的部分区域。与相应的错误预测对应的突出的区域在此是产生错误预测或预测的一个或多个错误的区域或从相应图像推导出的显示的相应的图像区域或数据区域，在该图像区域或数据区域中出现或找到一个或多个错误。

如果错误预测精确到像素，则相应地与其对应的区域、也称为错误区域也可以在视觉上突出像素精确地显示突出。为了强调错误区域，可以将其例如以信号颜色或相对于剩余图像区域具有至少一种预设对比度的颜色或阴影来着色或显示，设有尤其染色的边界，和/或诸如此类。另外，相应的图像或相应的可视化的剩余区域可以例如变暗、颜色去饱和、强度降低和/或以其他方式进行适配，以便相对突出错误区域。

通过错误区域的这种视觉突出可以简单且快速地识别该错误区域，其中同时没有遮盖其他的图像或显示区域。例如在淡入的指示或警告符号等的常规指示的情况下会是上述后者的情况。相反，本发明同时可以突出错误区域并且同样使所有细节可识别或保持。可视化可以是例如在维度方面可以对应于所记录的图像的图形显示。

在根据本发明的方法的另一方法步骤中，将请求和可视化发送给车辆外部的操作人员。因此，可视化可以例如与用于对机动车辆接管控制的请求一起被发送或传送给车辆外部的操作人员或相应的中介或接收装置。

由于分割模型的错误基于或根据图像的空间特征或图像中映射的空间特征来预测，所以本文使用错误预测的空间性质，来为车辆外部的操作人员可视化该错误来自哪个空间区域或图像区域，或在哪个空间区域或图像区域中产生该错误。因此，下文中简称为操作人员的车辆外部的操作人员可以直接尤其简单且快速地识别和鉴别功能或安全关键的区域或特征，而无需首先检测整个图片并寻找产生用于接管控制的请求的问题原因。因此，操作人员可以直接关注周围环境或驾驶员任务的特别高要求的部分，即周围环境或驾驶员任务的对于相应机动车辆或其有条件地自动化测试或自主控制系统的部分来说成问题的部分，并且相应地尤其快速地采取正确的措施，例如以便避免机动车辆的事故或停止。

因此，本文建议将错误预测本身的结果或输出用于为操作人员在视觉上突出周围环境的关键区域。因此，操作人员不仅通过用于接管控制的请求得知随相应的情况通常对机动车辆过高要求，而且得知从机动车辆的角度来看相应的问题原因到底是什么或在哪里。

在此，在本发明中，代替一般性地基于语义分类通常例如视觉突出特点类别的所有区域，而尤其可以在视觉上仅突出根据错误预测实际上已经产生错误的或者将要产生错误的这些区域。因此，本文所设的可视化或突出的错误区域直接关联于机动车辆输出用于接管控制的相应请求的原因，并且关联于对应的空间区域或特征。这为操作人员实现比常规方法的典型情况更快且更容易地在相应情况下安全地对机动车辆接管控制。这会引起或有助于道路交通中的改进的安全性。

另外，因为在本发明中预测的错误的类型不受限制，所以任何类型的区域都可以被鉴别为错误区域并与之相应地在视觉上突出。因此，突出在此例如不限于特定的单个的对象或对象类型，例如其他交通参与方等。这可以例如通过对在错误预测的上下文中使用的模型的相应的、尤其关于分割模型的内省训练来实现。由此可以简化在大量不同情况下的控制接管。

借助本发明不仅确定各个当前图像是否已经由机动车辆或其负责有条件自动化或半自主运行的辅助或操控系统正确理解，而且提出预测性地使用基于图像的错误探测。这可以表示对现有方法的安全相关的补充或适配，其中典型地机动车辆的周围环境中性地、例如以直接视频流的形式传输至远程操作员。

在本发明的一个可行的设计方案中，逐像素地预测分割模型的错误。基于此，然后针对相应的图像确定预测的错误的数量和/或平均错误。作为输出用于接管控制的请求的预设标准，然后检查错误数量和/或平均错误是否大于预设的错误阈值。平均错误例如可以被确定为关于相应的图像或相应的语义分割的所有像素的平均错误概率、置信度或严重程度。在潜在关键的情况下，通过相对较低的错误阈值可以及早地促使通过远程操作人员接管控制，这可以产生进一步改进安全性。相反，相对大的错误阈值可以引起对机动车辆的控制仅在实际关键的情况下才更可靠地移交给远程操作员。在任何情况下，通过非零的错误阈值可以滤除可忽略的错误，所述错误很可能不导致机动车辆的实际安全关键的情况或事故。由此可以节约带宽和耗费，并减轻了远程操作员的负担。因此能够以实用的方式实现运行大量相应的机动车辆，而无需至少大致相等数量的远程操作员必须做好准备。因此，例如，单个像素的错误分类、相应行驶的街道旁边的建筑的一部分的错误分类等在实践中对于机动车辆的安全自主操作最终不重要。

在本发明的另一可行的设计方案中，逐像素地预测分割模型的错误，其中确定错误像素的连续区域的尺寸，即以有错分类预测的像素的连续区域的尺寸。作为用于输出用于接管控制的请求的预设标准，然后检查连续区域的尺寸是否对应于至少一个预设的尺寸阈值。如果存在多个连续的错误像素区域，则这可以对区域中的每个单独的区域执行，或者至少执行直到找到其尺寸至少对应于预设的尺寸阈值的错误像素区域。换言之，因此可以提出：只有当存在至少一个连续的如下错误像素区域时，才触发、即输出或发送用于由车辆外部的操作人员接管控制的请求，所述错误像素区域足够大以便满足相应的预设标准，即稍大于尺寸阈值。在此，尺寸阈值可以作为绝对的或以像素测量的面积或作为占相应图像或相应语义分割的像素的总池化层或总数量的百分比份额来预设。在此，不考虑或者不只是考虑预测的错误的数量和/或其概率或严重性，而且还考虑它们的空间分布。由此，可以考虑具有低于预设尺寸阈值的尺寸的相对小的错误像素区域必要时对于远程操作员总归会无法识别和/或预计总归不是安全关键或安全相关的。相反，预测的连续的错误像素区域越大，机动车辆正确自主行为就会越不可能。通过在此提出的设计方案，根据本发明的方法会以可行的方式使用，即借助关于足够数量的车辆外部的操作人员的准备就绪的可管理的耗费来使用。为了进一步改进安全性或减小关键情况(即相应运行的机动车辆的所谓的脱离)的影响，还可以提出：在车辆外部的一个或多个操作人员的能力满负荷的情况下，相对于基于较小尺寸的错误像素区域，优先用于接管控制的、基于自预设尺寸起的错误像素区域的请求。为此，可以对相应的请求例如设有优先级标志。

在本发明的另一可行的设计方案中，借助于预设的重建模型从相应的语义分割中通过生成对应的重建图像来近似或重建所述语义分割分别所基于的检测到的图像。然后，基于相应的重建图像生成相应的可视化。在此，重建模型例如可以是或可以包括相应训练的人工神经网络。根据通过语义分割给出的各个区域分类，重建模型可以用相应的对象填充重建图像，即由相应的对象构建重建图像。然后，在对各所基于的图像进行语义分割时的分割模型的错误导致在各所基于的图像和基于其语义分割生成的重建图像之间的对应差异或差。然后，该差异可以在可视化中视觉突出。这实现在其他方面至少近似与现实一致的显示中尤其有效自动地突出错误区域。由此，实现通过远程操作员以特别有效和安全的方式操纵机动车辆。此外，错误预测或突出的错误区域在此基于通过分割模型对相应情况的实际解释，使得例如不必对其能力或对情况理解做出可能错误的假设。这可以实现对错误区域的特别鲁棒、可靠和精确的可视化，从而有助于道路交通中的安全。

在本发明的可行的改进形式中，重建模型包括生成对抗网络，其也称为GAN(英语：generative adversarial networks生成对抗网络)，或者通过其形成。使用这种GAN以生成重建图像实现对各原始检测到的图像的至少几乎逼真的近似。例如，由此可以实现生成特别容易理解的且尽可能近似于真实周围环境的可视化。这又可以为远程操作员实现特别容易且快速地理解相应的情况，以及相应地特别简单且快速地对相应的机动车辆接管控制。另外，如此生成的重建图像可以例如以特别简单、良好且鲁棒的方式与相应的所基于的检测到的图像进行比较，以便以特别鲁棒且可靠的方式探测到相应的差异，即分割模型的错误。

在本发明的另一可能的设计方案中，为了预测错误，分别将重建图像与相应的所基于的监测到的图像进行比较。然后根据在此探测到的差异来预测，即探测错误或者通过所述差来给出错误。在此，例如可以比较像素值、强度值和/或颜色值。在此，可以预设差阈值，使得仅当探测到的差至少对应于预设的差阈值时，才将探测到的差确定为错误。同样可以预设和检查另一标准，例如关于差异的像素的数量或相应的差异区域、其尺寸等。

例如，可以基于图像值或像素值从相应的所基于的图像中减去相应的重建图像，或者反之亦然。然后例如可以确定图像或像素值的平均差，并与预设的差阈值进行比较。但是，同样地，个体足够大的差也会导致错误预测或触发输出用于对机动车辆接管控制的请求。为此，必要时可以预设第二差阈值。由此可以确保显著的偏差，即相应显著的错误分类在任何情况下引起将对机动车辆的控制交付给操作人员，即使所述错误分类仅占据或涉及相应图像的相对小的份额也如此。

通过根据重建图像与各所基于的图像的比较来预测或探测错误，可以特别低耗费地且与之相应地快速执行错误预测，由此最终在出现错误的情况下为操作人员相应地创建额外的时间来对机动车辆接管控制。此外，可以在车辆侧节省计算耗费，因为例如不必为错误预测运行单独的、典型地关于所需的硬件或计算资源相对高要求的人工神经网络。

在本发明的另一可行的设计方案中，以热图的形式生成可视化。其中，例如探测到的或预测的错误或相应的错误区域可以比作为由分割模型正确分类预测的其余区域更强烈、更着色、更明亮、更闪光或不同颜色地示出。在此，例如可以根据相应的错误概率或置信度、根据在其他位置提到的重建图像的相应的像素或区域和所基于的图像等之间的差来适配不同的区域，例如着色或变亮或变暗不同的区域。在此，可以设置连续或分级的适配或着色。这实现了根据相关性以特别简单且可靠的方式自动将操作人员的注意力或焦点转向特定的图像区域。为了支持所述效果，例如可以提出：统一地示出所有如下区域，对于所述区域已经求出与预设概率阈值的错误概率或低于预设差阈值的、在重建图像和所基于的图像之间的偏差。对于这些区域，例如可以使用单色或黑白显示或灰度集显示，而错误区域可以以彩色示出。由此，操作人员的注意力或焦点可以特别可靠且有效地转向或集中在对于机动车辆在相应情况下的安全驾驶会特别相关的错误区域。

在本发明的另一可行的设计方案中确定受到预测的或探测到的错误影响的那个或那些功能，即高等级任务(英文：high-level task)。然后，将相应的说明随请求发送给车辆外部的操作人员。因此，换言之，随对车辆外部的操作人员的请求或在该请求中说明在机动车辆的自主操纵中的那些高等级任务已经导致错误，即已经不会被正确地执行。这可以为操作人员实现改进地评估相应的情况，因为在可以表示对于如下的附加指示：即哪个问题、哪个对象或哪个情况已经引起机动车辆脱离，进而必须由操作人员考虑或处理。这种高等级的任务或功能的示例可以是或包括例如机动车辆的横向引导、道路或车道走向的识别、交通标志识别、对象识别等。由此，操作人员例如可以被告知其是否应将其注意力主要聚焦于沿着机动车辆不寻常的街道走向的转向，聚焦于规避激动或聚焦于设定机动车辆的适当或允许的纵向速度。这可以进一步简化和加速通过操作人员采取相应的措施进而有助于进一步改进安全性和有助于优化交通流。

本发明的另一方面是一种用于机动车辆的辅助装置。根据本发明的辅助装置具有用于检测图像或相应的图像数据的输入接口、计算机可读的数据存储装置、处理器装置和用于输出由车辆外部的操作人员接管控制的请求和进行支持的可视化的输出接口。在此，根据本发明的辅助装置被设计用于尤其自动地执行根据本发明的方法的至少一个变型形式。为此，例如可以将相应的操作或计算机程序存储在数据存储装置中，这些操作或计算机程序代表、即编码或实施根据本发明的方法的方法步骤、措施和运行，并且可以通过处理器装置执行，以便执行相应的方法或促使或引起其执行。例如，所提到的模型可以存储在数据存储装置中。根据本发明的辅助装置尤其可以是或可以包括在根据本发明的方法的上下文中提到的相应的装置或者是其一部分。

本发明的另一方面是一种机动车辆，机动车辆具有用于记录机动车辆的相应的周围环境的图像的相机、与相机连接的根据本发明的辅助装置和通信装置，通信装置用于无线发送用于接管控制的请求和可视化，以及用于无线接收用于操纵机动车辆的操纵信号。在此，通信装置是机动车辆的独立的装置或者全部或部分地是辅助装置的一部分，例如全部或部分地集成到其中。因此，根据本发明的机动车辆被设计用于自行根据本发明的方法。相应地，根据本发明的机动车辆尤其可以是在根据本发明的方法的上下文中和/或在根据本发明的辅助装置的上下文中所提到的机动车辆。

附图说明

本发明的其他特征可以从权利要求、附图和附图描述中得出。上面在说明书中提到的特征和特征组合以及下面在附图描述中和/或在附图中单独示出的特征和特征组合不仅可以以各所说明的组合使用，而且也可以以其他的组合或单独地使用，而没有偏离本发明的范围。

附图示出：

图1示出用于说明用于简化在车辆外部对车辆接管控制的方法的多个图像处理结果的示意性概览图；和

图2示出针对该方法设计的机动车辆和车辆外部的控制部位的示意图。

具体实施方式

目前寻求提高车辆自动化，但其中在任何情况下都完全安全的自主运行尚不可能。因此，作为车辆暂时自主上路的可能的场景在由车辆无法自主管理的单独情况中，尤其由车辆外部的操作人员对车辆接管控制。然而，在此存在如下问题，即这种接管控制会需要显著的时间，例如直至30秒的时间。此外，对于车辆外部的远程操作员困难的是：检测相应的周围环境和行驶情况，并且尽可能快地适当做出反应，即安全地操纵相应的车辆，其中为远程操作员例如提供相应的车辆的周围环境的从不同视角记录的视图，

为了克服这些困难，本文提出了一种方法，为了说明该方法，图1示意性地示出多个在此产生的图像处理结果。为了对其进行解释，在此也参考图2，其中示意性地示出相应设计的机动车辆12。

在机动车辆12的有条件地自动化的运行中，从机动车辆起记录机动车辆12的周围环境的图像10，在此示例性地且示意性地示出这些图像之一。为此，机动车辆12可以配备有至少一个相机40。在此所示的图像10中，例如描绘沿着机动车辆12在其上移动的街道14的交通场景。其中，街道14侧向地由建筑16限界并且被桥梁18跨越。另外，也局部地描绘天空20。此外，在此示例性地示出陌生车辆22，代表其他的交通参与者。在此呈多个交通锥24的形式的障碍物沿行驶方向处于机动车辆12前方，这些交通锥阻挡街道14的由机动车辆12行驶的车道14。

图像10被传输给机动车辆12的辅助装置42，并由辅助装置经由输入接口44检测。为了处理图像10，辅助装置42包括数据存储器46以及处理器48，例如微芯片、微处理器、微控制器等。借此从图像10中生成语义分割26。根据本文对用于此目的的分割模型的理解，在语义分割26中对各种区域和对象进行分类，其中分割模型例如可以存储在数据存储器46中。在此，分割模型已经将车辆分类28分配给机动车辆12的可在图像10中识别的前引擎盖的至少一些区域以及陌生车辆22，但是还有错误地分配给障碍物24，即交通锥。已经将建筑分类30分配给实际建筑16，还有同样错误地分配给桥梁18的一部分。已经将天空分类32分配给天空20和同样错误地分配给桥梁18的其他部分。这意味着：分割模型在对图像10进行语义分割时做出多个错误。

借助例如同样存储在数据存储器46中的重建模型，根据语义分割26生成重建图像34。重建图像34为相应语义分割26所基于的图像10的尽可能真实的近似或重建。

然后，辅助装置42形成在原始图像10和重建图像34之间的差。因此，将图像10和重建图像34相互比较，其中可以计算彼此间的平均偏差。根据图像10和重建图像34之间的差或偏差，可以探测异常，例如在这种情况下例如障碍物24和桥梁18的区域。

如果在此没有提出到任何显着的异常，则这表明辅助系统42正确地解释相应的情况。相应地，基于所述解释，即特别是基于语义分割26，机动车辆12或机动车辆12的至少一个车辆装置50可以被自动地或自主地操纵。

相反，如果检测到的异常足够大，即例如如果满足预设的阈值标准，则可以通过辅助装置42生成由操作人员接管控制的请求。该请求可以例如经由辅助装置42的输出接口52输出，例如以在此示意性表明的无线发送的请求信号54的形式。请求信号24可以被发送给车辆外部的远程操作员56。远程操作员然后可以将在此同样示意性表明的操纵信号58发送给机动车辆12，以便无线地远程操纵机动车辆。

为了为远程操作员56简化机动车辆12所处的相应情况的监测，根据尤其像素精确低探测到的异常或分割错误来生成可视化36。其中不正确的分类、即对应于异常的错误区域38至少可能或大概被视觉突出。可视化36还可以作为请求信号54的一部分同样被发送给远程操作员56。通过具有突出的错误区域38的可视化36，为远程操作员56直观且可理解地告知用于接管控制的相应请求的原因所在。由此，远程操作员56可以特别快速且有效地识别与机动车辆12的安全驾驶最相关的区域，并且相应地快速做出反应，而其不必首先对整个图像10查找可能的问题区域。

整体上，所描述的示例借此示出从相应车辆的视角对其车辆自主运行有问题的区域的探测和可视化会如何有助于改进情况检测和车辆外部的操作人员的情况理解。

附图标记列表

10图像

12机动车辆

14街道

16建筑

18桥梁

20天空

22陌生车辆

24障碍物

26分段

28车辆分类

30建筑分类

32天空分类

34重建图像

36可视化

38错误区域

40相机

42辅助装置

44输入接口

46数据存储器

48处理器

50车辆装置

52输出接口

54请求信号

56远程操作员

58操纵信号

Claims (10)

1.一种用于简化由车辆外部的操作人员(56)对机动车辆(12)接管控制的方法，其中

-在所述机动车辆(12)的有条件地自动化的运行中，检测所述机动车辆的相应的周围环境的图像(10)，并且借助于预设的、训练过的分割模型对所述图像进行语义分割，

-分别基于所述图像(10)中的至少一个图像来预测所述分割模型的错误，

-在对应的如下错误预测的情况下，自动地生成基于图像的可视化(36)，在所述可视化中视觉地突出恰好对应于所述错误预测的区域(38)，其中所述错误预测根据预设标准触发自动地输出由车辆外部的所述操作人员(56)接管控制的请求(54)，和

-将所述请求(54)和所述可视化(36)发送给车辆外部的所述操作人员(56)。

2.根据权利要求1所述的方法，

其特征在于，

逐像素地预测所述分割模型的错误，基于此为相应的所述图像(10)确定预测的所述错误的数量和/或平均错误，并且将检查所述错误的数量和/或所述平均错误是否大于预设的错误阈值作为所述预设标准。

3.根据前述权利要求中任一项所述的方法，

其特征在于，

逐像素地预测所述分割模型的错误，确定错误像素的连续区域的尺寸，并且将检查所述尺寸是否对应于至少一个预设的尺寸阈值作为所述预设标准。

4.根据前述权利要求中任一项所述的方法，

其特征在于，

借助于预设的重建模型从所述语义分割(26)中通过生成对应的重建图像(34)来近似所述语义分割分别所基于的所述图像(10)，并且基于所述重建图像(34)生成相应的所述可视化(36)。

5.根据权利要求4所述的方法，

其特征在于，

所述重建模型包括生成对抗网络。

6.根据权利要求4或5所述的方法，

其特征在于，

为了预测所述错误，分别将所述重建图像(34)与相应的所基于的检测到的图像(10)进行比较，并且根据在此探测到的差来预测所述错误。

7.根据前述权利要求中任一项所述的方法，

其特征在于，

所述可视化(36)以热图的形式被生成。

8.根据前述权利要求中任一项所述的方法，

其特征在于，

确定受到所述错误影响的功能，并将所述功能与所述请求一起发送给车辆外部的所述操作人员(56)。

9.一种用于机动车辆(12)的辅助装置(42)，具有用于检测图像(10)的输入接口(44)、数据存储装置(46)、处理器装置(48)和输出接口(52)，所述输出接口用于输出由车辆外部的操作人员(56)接管控制的请求(54)和进行支持的可视化(36)，其中所述辅助装置(42)被设计用于执行根据前述权利要求中任一项所述的方法。

10.一种机动车辆(12)，具有：

用于记录所述机动车辆(12)的相应的周围环境的图像(10)的相机(40)；

与所述相机连接的根据权利要求9所述的辅助装置(42)；和

通信装置(42，52)，用于无线发送用于接管控制的请求(54)和可视化(36)，以及用于无线接收用于操纵所述机动车辆(12)的操纵信号(58)。