CN117693777A - 用于支持带有传感器单元的车辆的运行的方法、计算机程序产品以及系统 - Google Patents

Abstract

本发明涉及一种用于支持带有传感器单元(4)的车辆(2)的运行的方法(100)，该传感器单元用于获取传感器数据(200)，所述传感器数据用于在经训练的人工神经网络(10)中的评估，该人工神经网络带有大量网络元件(11)以用于传感器数据(200)的中间评估(210)，该方法包括如下步骤：为神经网络(10)提供(102)传感器数据(200)，通过神经网络(10)鉴于事件评估(103)传感器数据(200)。此外，本发明涉及一种计算机程序产品以及一种系统。

Description

用于支持带有传感器单元的车辆的运行的方法、计算机程序 产品以及系统

技术领域

本发明涉及一种用于支持带有传感器单元的车辆的运行的方法，该传感器单元用于获取传感器数据，所述传感器数据用于在经训练的人工神经网络中的评估，一种计算机程序产品以及一种系统。

背景技术

使用人工神经网络以用于分析数据从现有技术中基本上已知。从US2016/0328643A1例如已知，通过神经网络评估图像数据，其中分析网络的行为，以便能够实现神经网络的简化。

然而，尤其在使用神经网络以用于分析用于车辆的传感器数据时，传感器数据的质量在车辆的运行中由于不同的环境影响经常不稳定。例如，如雾、雪和/或大雨等的干扰可能导致数据质量下降。如果这些干扰未被识别，这可导致通过神经网络进行的错误解释。尤其当应针对自动驾驶或为了驾驶辅助系统解释传感器数据，则因此值得期望的是，识别传感器数据的干扰。

发明内容

本发明的任务是至少部分地克服前面的从现有技术已知的缺点。尤其本发明的任务是，鉴于传感器干扰优选地在低的计算耗费的情形中改善在车辆的运行中的安全性。

上述任务通过带有权利要求1的特征的方法、带有权利要求14的特征的计算机程序产品以及带有权利要求15的特征的系统解决。本发明的另外的特征和细节从相应的从属权利要求、说明书和附图中得出。在此，在根据本发明的方法方面描述的特征和细节当然也在根据本发明的计算机程序产品和/或根据本发明的系统方面适用，且反之亦然，从而关于对于各个发明方面的公开内容始终相互参考或者可相互参考。

根据本发明的第一方面设置有一种用于支持车辆的运行的方法。车辆具有用于获取传感器数据的传感器单元，所述传感器数据设置成用于在经训练的人工神经网络中的评估。人工神经网络具有大量网络元件以用于尤其在神经网络内对传感器数据进行的中间评估(Zwischenauswertung，有时称为临时评估)。该方法此外包括如下步骤：

-尤其通过传感器单元为神经网络提供传感器数据，

-尤其在车辆中通过神经网络评估传感器数据以用于识别至少一个事件，

-尤其通过计算单元在评估传感器数据时监视中间评估的评估行为(Auswerteverhalten，有时称为评估表现)，

-尤其通过计算单元取决于评估行为评价传感器数据以用于识别传感器干扰，

-尤其通过计算单元和/或车辆的驾驶辅助系统取决于对传感器数据进行的评价执行反应措施。

车辆可有利地在带有驾驶辅助系统的至少部分自动化的运行模式中和/或在自主运行模式中运行。传感器单元可包括一个或多个车辆传感器。尤其地，传感器单元包括用于获取车辆的车辆周围环境的前瞻性的传感装置。传感器数据可例如是图像数据、雷达数据和/或激光雷达数据。

神经网络也可称为神经网络系统。神经网络尤其是所谓的深度神经网络系统。优选地，神经网络是基于机器学习的网络系统，其带有多个、优选地三个或更多个层和/或参数，以用于处理输入数据和用于输出输出数据。神经网络可优选地以经训练的形式实施到计算单元中。在此，神经网络可为计算单元的识别模块的一部分。例如，神经网络可在成长进程期间通过传感器数据的参考数据来训练，以便可识别事件。事件可优选地是在车辆的运行中在车辆周围环境中的事件。例如，事件可包括其他交通参与者、例如行人或另一车辆的出现。然而同样可设想，在识别事件时识别车辆接近的交通标志。尤其地，可设置成，在评估传感器数据以用于识别事件时实施物体识别。对此，可实现在车辆周围环境中的物体周围渲染方框。优选地，传感器数据可在评估时根据事件进行分类。尤其地，在评估传感器数据时，可实现逐像素地评估传感器数据。可完整地执行传感器数据的评估，直到确定整体评估。然而，同样可设想，如果在评价传感器数据时识别传感器干扰，则中断传感器数据的评估。

网络元件可例如是神经网络的网络节点。优选地，网络元件可包括内核、网络层、网络过滤器和/或神经网络的权重。中间评估可例如包括在评估传感器数据时由网络元件输出的标量。在监视评估行为时，可对神经网络的一部分或全部网络元件的中间评估的评估行为进行监视、尤其进行分析。在评价传感器数据以识别传感器干扰时，尤其可检查和/或确定传感器干扰的存在。例如，可确认：根据评估行为是否有足够可能性存在传感器干扰。尤其，在评价时，传感器数据可被分类为有干扰和/或无干扰的传感器数据或者稳定的和/或不稳定的传感器数据。因此可设想，在评价传感器数据时确认：神经网络在评估传感器数据时是否由于传感器数据的数据质量而具有高错误率。

传感器干扰可尤其是传感器数据的外部干扰。尤其地，传感器干扰可由车辆周围环境的天气影响来决定。例如，传感器干扰可包括雾、大雨和/或类似物。

反应措施可包括对于车辆的运行的作用。然而同样可设想，反应措施包括对于车辆的驾驶员的指示，以便通知驾驶员传感器单元被干扰。此外，反应措施可包括要求另外的传感器数据，以便对传感器干扰进行验证或证伪。

由此通过监视评估行为可分析神经网络本身，以便根据神经网络的行为(Verhalten，有时称为表现)识别传感器干扰。由此可识别和/或预测神经网络的错误行为。由此可避免传感器数据的错误解释，由此改善在车辆的运行中的安全性。

此外在根据本发明的方法中可设想，方法包括如下步骤：

-尤其通过计算单元、服务器和/或车辆鉴定大量网络元件的关键元件。

优选地，在监视评估行为时监视关键元件的中间评估。关键元件可尤其理解为敏感网络元件，其中间评估在存在传感器干扰时特征化表现。尤其，在监视评估行为时可仅监视关键元件的中间评估。由此可减少所需的计算能力。可设想，鉴定关键元件在单独的进程中实现。然而同样可设想，为了鉴定关键元件获得车辆的关键元件的尤其以列表和/或类别的形式的汇集。例如，关键元件的收集可通过服务器提供。由此关键元件的中间评估的行为可表示用于识别传感器干扰的特征。此外可通过鉴定关键元件减少在监视评估行为时和/或在评价传感器数据时的所需的计算性能。

此外在根据本发明的方法中可设想，为了鉴定关键元件和/或为了评价传感器数据实施校准过程，在该校准过程中通过神经网络评估有干扰的参考数据和无干扰的参考数据，优选地其中在校准过程中在评估有干扰和无干扰的参考数据时获取中间评估的行为偏离。校准过程可迭代地执行。有干扰的参考数据可理解为示范性的传感器数据，其具有传感器干扰，通过该传感器干扰传感器数据的评估有错误地或容易出错地进行。无干扰的参考数据可理解为示范性的传感器数据，其在评估传感器数据时导致无错误的整体结果或在公差范围内的整体结果。例如可在校准过程中通过以下方式训练另外的人工神经网络，即，该另外的神经网络获得中间评估和参考数据作为输入数据，以便输出以评价的形式的输出数据以识别传感器干扰和/或关键元件。由此通过校准过程可改善在识别传感器干扰时的准确性。

此外在根据本发明的方法中可设想，校准过程通过服务器实施，其中评估传感器数据、监视评估行为和评价传感器数据通过车辆进行。对此经鉴定的关键元件、神经网络和/或神经网络的架构可由服务器传递到车辆处。由此可给多个车辆提供校准过程的结果。此外可由此减少车辆中的计算负荷。通过评估传感器数据、监视评估行为和评价传感器数据由车辆进行，可同时在车辆中进行传感器数据的实时评价，以便可在尤其危急的驾驶情况中快速反应。

此外可在根据本发明的方法中设想，在鉴定关键元件时进行关键元件的加权，其中加权在评价传感器数据时加以考虑。加权可例如包括在评价传感器数据以用于识别传感器干扰时的权重因子。加权可在校准过程中确认。例如可在校准过程中识别，某些关键元件的中间评估的行为与其他关键元件的中间评估的行为相比可对于鉴于传感器干扰对传感器数据进行的评价具有更强的影响。这可通过加权加以考虑，由此可以较高的准确性进行传感器干扰的识别。

此外在根据本发明的方法中可有利地设置成，在评价传感器数据时和/或在监视中间评估的评估行为时针对多个中间评估进行取平均值。中间评估的取平均值可针对多个网络元件进行。然而同样可设想，在对时间上连续的中间评估取平均值时针对每个网络元件或关键元件进行平均值形成。由此可例如减少测量错误的影响。

优选地，在根据本发明的方法中可设置成，在评价传感器数据时进行评估行为与中间评估的参考行为的比较，其中，对于评价传感器数据预设针对评估行为与参考行为的偏离的至少一个极限值以用于识别传感器干扰、也就是说尤其以用于识别传感器干扰的存在。参考行为可在校准过程中根据无干扰的参考数据来得到。极限值可在校准过程中根据有干扰的参考数据、尤其通过在评估有干扰和无干扰的参考数据时评估行为的比较来得到。例如可设置成，当达到或超过极限值时，传感器干扰被识别。尤其可针对中间评估预设多个极限值。由此可实现传感器干扰的有利的识别。

优选地，在根据本发明的方法中可设置成，传感器数据在评价传感器数据时鉴于干扰分类被分类，其中反应措施取决于干扰分类进行。例如，干扰分类可包括传感器分类的类型。因此可设想，带有雾的传感器数据获得与带有大雨的传感器数据不同的干扰分类。由此，反应措施可对于干扰分类单独地进行。可例如设置成，反应措施包括取决于干扰分类对驾驶辅助系统进行操控。尤其地，对于某一干扰分类可进行预确定的驾驶辅助系统的操控。

优选地，在根据本发明的方法中可设置成，反应措施包括验证过程以用于验证对传感器数据进行的评价和/或评估。通过验证过程可避免或推迟对于车辆的驾驶行为的干预。尤其可由此获得在识别传感器干扰时的附加的安全性。

例如可设想，验证过程包括将传感器数据馈入到另一人工神经网络中，其被训练成用于评估干扰分类的传感器数据以用于识别事件。例如，该另外的神经网络可专门针对通过雾干扰的传感器数据的评估。由此可取决于干扰分类鉴于事件同样评估具有传感器干扰的传感器数据。该另外的神经网络可实现到车辆中或在服务器中实现。

在本发明的范畴中此外可设想，验证过程包括将传感器数据馈入到多个另外的经训练的人工神经网络中，其中实施巩固过程，以便鉴于事件和/或鉴于传感器干扰获得传感器数据的整体评价。在巩固过程中，可进行另外的神经网络的中间评估的评估行为的监视和传感器数据的评价以用于取决于所有另外的神经网络的评估行为识别传感器干扰。例如在评价中可考虑：大多数另外的神经网络将传感器数据分类为有干扰还是无干扰。由此可通过巩固进行验证。例如可通过不同的训练数据训练另外的神经网络。由此另外的神经网络的中间评估的评估行为可不同。由此可在识别传感器干扰时识别误差和/或改善在识别传感器干扰时的准确性。

此外在根据本发明的方法中可有利地设置成，反应措施包括车辆的驾驶操纵的自动触发。对此可例如操控车辆的驾驶辅助系统。例如，可在识别传感器干扰时降低车辆的速度且/或实施驾驶操纵尤其用于执行车辆的紧急停止。由此可通过如下方式进行车辆的安全运行，即，在识别传感器干扰时干预车辆的正常运行，以便避免由于通过传感器干扰引起的通过神经网络进行的有错误的评估造成的车辆的错误行为。

根据本发明的另一方面设置有一种计算机程序产品。计算机程序产品包括指令，其在通过计算单元实施时促使计算单元实施根据本发明的方法。

因此，根据本发明的计算机程序产品包含与已经参考根据本发明的方法详细描述的优点相同的优点。该方法尤其可为计算机实现的方法。计算机程序产品可实现为任何合适的编程语言(例如JAVA、C++、C#和/或Python)中的计算机可读指令代码。计算机程序产品可存储在计算机可读存储介质，如数据盘、可移动驱动器、易失性或非易失性存储器、或内置存储器/处理器上。指令代码可如此影响和/或操控计算机或其他可编程装置如控制装置，即，使得实施期望的功能。此外，计算机程序产品可在网络、例如互联网中可提供或被提供，在需要时可由用户从该网络中下载该计算机程序产品。计算机程序产品不仅可借助于软件而且可借助于一个或多个专用电子电路，即，以硬件或任何混合形式，即，借助于软件部件和硬件部件来实现。

根据本发明的另一方面设置有一种系统。系统具有带有用于获取传感器数据的传感器单元的车辆。此外，系统包括用于实施根据本发明的方法的计算单元。

由此，根据本发明的系统包含与已经参考根据本发明的方法和/或根据本发明的计算机程序产品详细描述的优点相同的优点。计算单元可有利地具有处理器和/或微处理器。此外，计算单元可集成到车辆和/或服务器中。尤其地，计算单元可具有多个分散分布的计算模块。例如，计算单元的一计算模块可集成到车辆中，并且计算单元的另一计算模块可集成到服务器中。优选地，车辆具有用于自动执行驾驶操纵的驾驶辅助系统。

附图说明

本发明的其它优点、特征和细节从以下描述中得出，在其中参考附图详细描述了本发明的实施例。在此，在权利要求书中和在说明书中提及的特征可分别单独地本身或以任意组合对本发明来说是重要的。其中：

图1示意性地显示了人工神经网络，

图2示意性地显示了根据本发明的用于支持车辆的运行的方法，

图3示意性地显示了方法的验证过程，

图4示意性地显示了带有车辆的系统，

图5,6示意性地显示了用于方法的校准过程的参考数据。

在针对本发明的一些实施例的以下描述中，对于相同的技术特征即使在不同实施例中也使用相同的参考标号。

具体实施方式

图1示出了用于评估103车辆2的传感器单元4的传感器数据200的经训练的人工神经网络10。根据本发明的带有车辆2和传感器单元4的系统1在图4中呈现。神经网络10可在计算单元3中实现。计算单元3优选地集成到车辆2和/或服务器5中。如在图1中呈现的那样，神经网络10具有大量用于中间评估210的网络元件11，所述中间评估用于评估传感器数据200。网络元件11可例如包括网络层、网络过滤器和/或神经网络10的权重。

在图2中以方法步骤的示意图呈现了根据本发明的用于支持带有传感器元件4的车辆2的运行的方法100。方法100优选地通过计算单元3实施。有利地，对此设置有计算机程序产品，其包括指令，所述指令在通过计算单元3实施时促使计算单元3实施方法100。

为了建立整体评估211以用于鉴于事件解释和/或分类传感器数据200，方法100包括为神经网络10提供102传感器数据200和通过神经网络10评估103传感器数据200以用于识别事件。例如，事件可为物体、例如另一交通参与者在车辆周围环境中的出现。

然而首先设置有鉴定101大量网络元件11的关键元件11.1。在此，为了鉴定101关键元件11.1实施校准过程101.1，在其中由神经网络10评估有干扰的参考数据201和无干扰的参考数据202。例如，当传感器单元4具有摄像头时，参考数据201,202可包括图像数据。针对无干扰的参考数据202的示例在图5中示出，而针对带有以雨的形式的传感器干扰的有干扰的参考数据201的示例在图6中示出。无干扰的参考数据202可例如相应于神经网络10的训练数据。可设置成，在校准过程101中此外另外的参考参数203馈入到神经网络10中。由此，传感器干扰可尤其是外部干扰，例如环境影响。尤其地，在校准过程101.1中中间评估210的行为偏离在评估103有干扰和无干扰的参考数据201,202时获取。由此，可识别出以特征化的中间评估210或中间评估210的特征化改变的形式的神经网络10的特征化行为，以便识别传感器干扰。优选地，在鉴定101关键元件11.1时，此外可进行关键元件11.1的加权，其中例如其中间评估210相对于其他关键元件11.1更特征化表现的关键元件11.1获得针对识别传感器干扰的更强的权重。由此，可尤其减少关键元件11.1的数量。

为了识别传感器干扰，在方法100中此外进行在评估103传感器数据200时监视104中间评估210的评估行为。在此，尤其仅监视关键元件11.1的中间评估210，其在传感器干扰的情形中具有特征化行为。

接着发生取决于评估行为尤其在考虑关键元件11.1的加权的情况下评价105传感器数据200以用于识别传感器干扰。附加地或备选地，在评价105传感器数据200时和/或在监视104评估行为时可针对多个中间评估200执行尤其时间上和/或元件全体的(elementübergreifend)取平均值。在评价105传感器数据200时尤其通过将评估行为与中间评估210的参考行为进行比较识别传感器干扰。参考行为在此可从尤其无干扰的参考数据201,202中推导。此外可设置成，为了评价传感器数据200预设针对评估行为与参考行为的偏离的至少一个极限值212。在此尤其当达到或超过极限值212时，传感器干扰被识别。此外可设想，设置多个极限值212，通过其形成公差廊带(Toleranzkorridor)，在其中传感器数据200视为无干扰。可设置成，传感器数据200鉴于干扰分类213被分类。

为了在车辆2中在同时低的必要的计算能力的情形中能够实现实时评估，校准过程101.1优选地通过服务器5且评估103传感器数据200、监视104评估行为和评价105传感器数据200通过车辆2实施。对此，服务器5和车辆2可分别包括计算单元3的计算模块。

取决于传感器数据200的评价105进行反应措施106的执行，例如通过驾驶辅助系统6自动触发车辆2的驾驶操纵。例如，当存在传感器干扰时，车辆2可制动，以便避免通过传感器数据200的错误解释引起的车辆2的损坏。

此外可设置成，反应措施106包括用于验证传感器数据200的评价和/或评估的验证过程106.1。如在图3中呈现的那样，验证过程106.1可包括将传感器数据200馈入到另一人工神经网络10.1中。该另外的人工神经网络10.1可在此专门地训练成用于在评估103干扰分类213的传感器数据200时识别事件。附加地或备选地，验证过程106.1可包括将传感器数据200馈入到多个另外的经训练的人工神经网络10.2中。通过另外的经训练的人工神经网络10.2在此实施巩固过程，以便鉴于事件和/或鉴于传感器干扰获得传感器数据200的整体评价。

由此通过监视104评估行为可分析神经网络10自身以用于识别传感器干扰。由此，可识别和/或预测神经网络10的错误行为，以便避免传感器数据200的错误解释。由此可因此尤其在至少部分地自动化或自主驾驶模式中改善车辆2的安全性，而尤其不需要车辆2中的高计算能力。

参考标号列表

1 系统

2 车辆

3 计算单元

4 传感器单元

5 服务器

6 驾驶辅助系统

10 经训练的人工神经网络

10.1 经训练的人工神经网络

10.2 经训练的人工神经网络

11 网络元件

11.1 关键元件

100 方法

101 鉴定

101.1 校准过程

102 提供

103 评估

104 监视

105 评价

106 反应措施

106.1 验证过程

200 传感器数据

201 有干扰的参考数据

202 无干扰的参考数据

203 参考参数

210 中间评估

211 整体评估部

212 极限值

213 干扰分类

Claims (15)

1.一种用于支持带有传感器单元(4)的车辆(2)的运行的方法(100)，该传感器单元用于获取传感器数据(200)，所述传感器数据用于在经训练的人工神经网络(10)中的评估，该人工神经网络带有大量网络元件(11)以用于所述传感器数据(200)的中间评估(210)，

包括如下步骤：

-为所述神经网络(10)提供(102)所述传感器数据(200)，

-通过所述神经网络(10)评估(100)所述传感器数据(200)以用于识别至少一个事件，

-在评估(103)所述传感器数据(200)时监视(104)所述中间评估(210)的评估行为，

-取决于所述评估行为评价(105)所述传感器数据(200)以用于识别传感器干扰，

-取决于对所述传感器数据(200)进行的所述评价(105)执行反应措施(106)。

2.根据前述权利要求中任一项所述的方法(100)，其特征在于，所述网络元件(11)包括网络层、网络过滤器和/或所述神经网络(10)的权重。

3.根据前述权利要求中任一项所述的方法(100)，其特征在于，所述方法(100)包括如下步骤：

-鉴定所述大量网络元件(11)的关键元件(11.1)，

其中在监视(104)所述评估行为时监视所述关键元件(11.1)的中间评估(210)。

4.根据前述权利要求中任一项所述的方法(100)，其特征在于，为了鉴定(101)所述关键元件(11.1)且/或为了评价(105)所述传感器数据(200)实施校准过程(101.1)，在该校准过程中由所述神经网络(10)评估有干扰的参考数据(201)和无干扰的参考数据(202)，其中在所述校准过程(101.1)中在评估(103)有干扰的和无干扰的参考数据(201,202)时获取所述中间评估(210)的行为偏离。

5.根据前述权利要求中任一项所述的方法(100)，其特征在于，所述校准过程(101.1)通过服务器(5)实施，其中评估(103)所述传感器数据(200)、监视(104)所述评估行为和评价(105)所述传感器数据(200)通过所述车辆(2)进行。

6.根据前述权利要求中任一项所述的方法(100)，其特征在于，在鉴定(101)所述关键元件(11.1)时进行所述关键元件(11.1)的加权，其中所述加权在评价(105)所述传感器数据(200)时加以考虑。

7.根据前述权利要求中任一项所述的方法(100)，其特征在于，在评价(105)所述传感器数据(200)和/或在监视(104)所述中间评估(210)的评估行为时针对多个中间评估(210)进行取平均值。

8.根据前述权利要求中任一项所述的方法(100)，其特征在于，在评价(105)所述传感器数据(200)进行所述评估行为与所述中间评估(210)的参考行为的比较，其中为了评价所述传感器数据(200)预设用于所述评估行为与所述参考行为的偏离的至少一个极限值(212)以用于识别所述传感器干扰。

9.根据前述权利要求中任一项所述的方法(100)，其特征在于，在评价(105)所述传感器数据(200)时所述传感器数据(200)鉴于干扰分类(213)被分类，其中所述反应措施(106)取决于所述干扰分类(213)进行。

10.根据前述权利要求中任一项所述的方法(100)，其特征在于，所述反应措施包括验证过程(106.1)以用于验证对所述传感器数据(200)进行的所述评价和/或所述评估。

11.根据前述权利要求中任一项所述的方法(100)，其特征在于，所述验证过程(106.1)包括将所述传感器数据(200)馈入到另一人工神经网络(10.1)中，其被训练成用于评估(103)所述干扰分类(213)的传感器数据(200)以用于识别所述事件。

12.根据前述权利要求中任一项所述的方法(100)，其特征在于，所述验证过程包括将所述传感器数据(200)馈入到多个另外的经训练的人工神经网络(10.2)中，其中实施巩固过程，以便鉴于所述事件和/或鉴于所述传感器干扰获得所述传感器数据(200)的整体评价。

13.根据前述权利要求中任一项所述的方法(100)，其特征在于，所述反应措施(106)包括所述车辆(2)的驾驶操纵的自动触发。

14.一种计算机程序产品，包括指令，所述指令在通过计算单元(3)实施时促使所述计算单元(3)实施根据前述权利要求中任一项所述的方法(100)。

15.一种系统(1)，具有带有用于获取传感器数据(200)的传感器单元(4)的车辆(2)和用于实施根据前述权利要求中任一项所述的方法(100)的计算单元(3)。