DE102019204941A1

DE102019204941A1 - System zum sicheren teleoperierten Fahren

Info

Publication number: DE102019204941A1
Application number: DE102019204941.9A
Authority: DE
Inventors: Kurt Eckert; Frederik Blank; Erik Walossek; Alexander Geraldy; Behzad Benam; Jan Wolter; Jens Schwardmann; Karl Theo Floess
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-04-05
Filing date: 2019-04-05
Publication date: 2020-10-08
Also published as: WO2020200535A1; JP7399185B2; CN113711150A; JP2022527341A; US20220083051A1

Abstract

System (10) zum teleoperierten Fahren,gekennzeichnet durch folgende Merkmale:- das System (10) umfasst ein Fahrzeug (20), ein Backend (80), Fernbedienungsgeräte (90) und- das Fahrzeug (20), das Backend (80) und die Fernbedienungsgeräte (90) sind dazu eingerichtet, sich über ein Mobilfunknetz (60) auszutauschen.

Description

Die vorliegende Erfindung betrifft ein System zum teleoperierten Fahren (teleoperated driving, ToD).
Stand der Technik
Teilautonome Fahrzeuge nach dem Stand der Technik setzen eine Fahrzeugführungsschnittstelle („Fahrerarbeitsplatz“) sowie eine fahrtüchtige und zum Führen des Fahrzeuges autorisierte Person als Fahrzeuginsassen voraus, welche die Führung bei Bedarf zu übernehmen vermag. Den Gegenstand zahlreicher Forschungsprojekte bildet das sogenannte teleoperierte Fahren, bei welchem das Fahrzeug im Wege einer Fernsteuerung bei der Bewältigung herausfordernder Szenarien - wie Umleitungen über Feldwege, alternativer und unkonventioneller Routen o. ä. - unterstützt oder die Fahraufgabe durch einen externen Bediener in einer Leitstelle, den sogenannten Operator, zeitweise gänzlich übernommen werden kann. Fahrzeug und Leitstelle bzw. deren Betreiber sind hierzu durch ein Mobilfunknetzwerk von geringer Latenz und hoher Datenrate miteinander verbunden.
US 9,494,935 B2 offenbart Computervorrichtungen, Systeme und Verfahren für die Fernbedingung eines autonomen Passagierfahrzeugs. Wenn ein autonomes Fahrzeug einer unerwarteten Umgebung wie z. B. einer Straßenbaustelle oder einem Hindernis begegnet, die für autonome Bedienung ungeeignet ist, können die Fahrzeugsensoren Daten über das Fahrzeug und die unerwartete Umgebung, einschließlich Bilder, Radar- und Lidar-Daten usw. erfassen. Die erfassten Daten können zu einem entfernten Bediener gesendet werden. Der entfernte Bediener kann das Fahrzeug manuell entfernt bedienen oder dem autonomen Fahrzeug Anweisungen erteilen, die von verschiedenen Fahrzeugsystemen ausgeführt werden sollen. Die zu dem entfernten Bediener gesendeten erfassten Daten können optimiert werden, um Bandbreite zu sparen, indem z. B. eine eingeschränkte Untermenge der erfassten Daten versendet wird.
Ein Fahrzeug gemäß US 9,767,369 B2 kann ein oder mehrere Bilder einer Umgebung des Fahrzeugs empfangen. Das Fahrzeug kann auch eine Umgebungskarte erhalten. Das Fahrzeug kann auch mindestens ein Merkmal in den Bildern mit einem oder mehreren Merkmalen in der Karte abgleichen. Das Fahrzeug kann auch einen bestimmten Bereich in dem einen oder den mehreren Bildern identifizieren, der einem Teil der Karte entspricht, der sich in einem Schwellenabstand zu dem einen oder den mehreren Merkmalen befindet. Das Fahrzeug kann auch das eine oder die mehreren Bilder komprimieren, um eine geringere Menge an Details in Bereichen der Bilder als dem gegebenen Bereich aufzunehmen. Das Fahrzeug kann die komprimierten Bilder auch einem entfernten System bereitstellen und darauf ansprechend Betriebsanweisungen von dem entfernten System empfangen.
Systeme und Verfahren gemäß US 9,465,388 B1 ermöglichen es einem autonomen Fahrzeug, Hilfe von einem entfernten Bediener anzufordern, wenn das Vertrauen des Fahrzeugs in den Betrieb gering ist. Ein beispielhaftes Verfahren umfasst das Betreiben eines autonomen Fahrzeugs in einem ersten autonomen Modus. Das Verfahren kann auch das Identifizieren einer Situation umfassen, in der ein Vertrauensniveau eines autonomen Betriebs im ersten autonomen Modus unter einem Schwellenwertniveau liegt. Das Verfahren kann ferner das Senden einer Anfrage zur Unterstützung an einen entfernten Assistenten umfassen, wobei die Anfrage Sensordaten einschließt, die einen Teil einer Umgebung des autonomen Fahrzeugs darstellen. Das Verfahren kann zusätzlich das Empfangen einer Antwort von dem entfernten Assistenten umfassen, wobei die Antwort einen zweiten autonomen Betriebsmodus angibt. Das Verfahren kann auch bewirken, dass das autonome Fahrzeug in der zweiten autonomen Betriebsart gemäß der Antwort von dem entfernten Assistenten arbeitet.
US 9,720,410 B2 offenbart ein weiteres Verfahren zur Fernunterstützung für autonome Fahrzeuge in vorbestimmten Situationen.
Offenbarung der Erfindung
Die Erfindung stellt ein System zum sicheren teleoperierten Fahren gemäß Anspruch 1 bereit.
Der erfindungsgemäße Ansatz fußt hierbei auf der Erkenntnis, dass es Situationen gibt, die ein automatisiertes Fahrzeug nicht selbständig lösen kann, und der Eingriff eines Menschen notwendig ist, um diese Situation bzw. Systemunzulänglichkeit zu überwinden und das gesamte System in einen sicheren Zustand zu bringen. Dieser Eingriff erfolgt erfindungsgemäß aus der Ferne, sodass sich nicht notwendigerweise ein Fahrer im Fahrzeug befinden muss.
Ein Vorzug des hierzu vorgeschlagenen Ansatzes liegt in der Schaffung einer Architektur und Integration der Komponenten eines Systems zur (funktional) sicheren Fernsteuerung des teil- oder vollautomatisierten Fahrzeugs durch einen Operator in einem Kontrollzentrum. Dies wird durch eine Festlegung der sicherheitskritischen Systemkomponenten für das teleoperierte Fahren und Beschreibung einer betriebs- und informationssicheren (safe and secure) Systemintegration zur Erreichung eines entsprechenden Systemverhaltens erreicht.
Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im unabhängigen Anspruch angegebenen Grundgedankens möglich. So können zusätzliche optionale Komponenten zur Ermöglichung oder Verbesserung der Aufgaben der Fernerkundung und Fernsteuerung vorgesehen sein. Auf diese Weise werden ein System und die dazugehörige Systemarchitektur für teleoperiertes Fahren geschaffen, welche alle relevanten Systemkomponenten integrieren, um eine Fernerkundung (remote sensing) und Fernsteuerung (remote control) des Fahrbetriebs unter Berücksichtigung der Eigenschaften einer mobilen Kommunikationsverbindung und verschiedener Betriebsmodi auf funktionssichere Weise durchzuführen.
Kurze Beschreibung der Zeichnung
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert.
Die Figur zeigt das Blockdiagramm eines Systems gemäß einer Ausführungsform.
Ausführungsformen der Erfindung
Die Abbildung zeigt auf einer hohen Abstraktionsebene ein ToD-Fahrzeug (20), ein Mobilfunknetz (60) zum Beispiel der fünften Generation (5G), ein Backend (80), Fernbedienungsgeräte (90), Infrastrukturkomponenten (70) und die wichtigsten jeweils enthaltenen Komponenten. So sammelt eine Komponente (21) zur Umgebungserfassung (remote sensing) alle Informationen, die sich auf die Umgebung des ToD-Fahrzeugs (20) beziehen, zum Beispiel mittels Radarsensoren, Kamerasensoren, Ultraschallsensoren, Lidarsensoren, Drehzahlfühler, Trägheitsnavigationssystem (inertial measurement unit, IMU) und Crash-Detektor. Eine Komponente (22) zur Fahrzeuginnenraumerfassung (vehicle inferior sensing) nutzt alle Sensoren im Fahrzeug (20) zur Fahrer- und Passagierüberwachung, etwa Fahreraktivitätssensor (driver activity sensor) und Sitzbelegungsinformation (seat occupation information). Eine Komponente (23) zur Fahrzeugbewegungssteuerung (vehicle motion control) ist für die Fahrzeugbewegung und -stabilität verantwortlich.
Zu erwähnen sind ferner autonome Fahr- (autonomous driving, AD) und Fahrerassistenzsystemfunktionen (advanced driver assistance systems, ADAS). Entsprechende Komponenten (24) betreffen beispielsweise die Wahrnehmung (perception), Situationsanalyse (situation analysis), Funktionsverhalten (function behavior), Reaktionsmanager (reaction manager) sowie Vorhersage (prediction).
Alle Systemzustände werden in einem Systemzustandsmanager (25) behandelt. Hierbei werden zwei Betriebsmodi betrachtet:

1. eine Fernbedienung, bei der ein Operator das automatisierte Fahrzeug (20) ohne direkten Sichtkontakt führt oder fährt, sodass die Fahrzeuginformationen und die Fahrzeugumgebung für den Operator übermittelt und dargestellt werden müssen und
2. eine Fernbedienung, bei der ein Operator das automatisierte Fahrzeug (20) mit direktem Sichtkontakt führt oder fährt, sodass der Operator die Möglichkeit besitzt, den Fahrzeugstatus und die Umgebung direkt zu kontrollieren.

Eine Telematik-Einheit (connectivity control unit, CCU 26) bildet die Schnittstelle des Systems (10) zur Kommunikation über das 5G-Mobilfunknetz (60). Eine Komponente (27) zur Diagnoseinformationsverwaltung ist für die allgemeine Systemdiagnose zuständig; eine fahrzeuginterne Mensch-Maschine-Schnittstelle (human-machine interface, HMI 28) bildet die Schnittstelle zum Fahrer oder Beifahrer des Fahrzeugs (20).
Einrichtungen (29) zur passiven Sicherheit (passive safety) umfassen beispielsweise Airbag, sogenannte Pre-Crash-Erkennung und Ereignisdatenschreiber (event data recorder). Eine Komponente (30) zur Karosseriesteuerung (body control) ist für Stromversorgung, Kommunikation im Fahrzeug (20), Fahrzeugzugangssystem und Beleuchtungssystem verantwortlich. Weitere sicherheitsrelevante Komponenten (40) sind für alle sicherheitsrelevanten Ziele des teleoperierten Fahrens verantwortlich.
Die Arbeitsweise des Systems (10) trägt hierbei den folgenden Sicherheitszielen Rechnung:

1. der Erkennung der Kommunikationsfehler auf beiden Seiten (Sender, Empfänger), um das System (10) innerhalb einer vorgegebenen Toleranzzeit t_C in einen sicheren Zustand zu bringen,
2. der Erkennung der Kompatibilität aller Systemelemente, um das System (10) innerhalb der Toleranzzeit t_O in einen sicheren Zustand zu bringen,
3. der Erkennung nicht autorisierter Zugriffe auf das System (10), um das System (10) innerhalb der Toleranzzeit t_S in einen sicheren Zustand bringen,
4. die Erkennung von Crash-, Pre-Crash- oder anderen relevanten Daten für eine sichere ToD-Funktion und das Senden auf Anforderung zum Kontrollraum,
5. die Erfassung von Objekten in der Nähe - beispielsweise in beliebigem Winkel in einem Abstand von bis zu 50 cm - des Fahrzeugs (20) und unterhalb des Fahrzeugs (20), um diese dem Operator zu melden sowie
6. die Erfassung der Systemgrenzen und Reaktion innerhalb einer vorgegebenen Zeitspanne t_b bei ihrer Verletzung.

Zur Erreichung dieser Sicherheitsziele dienen verschiedene Sicherheitskomponenten. Zur Erreichung des Sicherheitsziels 1 beispielsweise überwacht ein Kommunikationsprotokollüberwacher (41) die 5G-Kommunikationslinie unter allen oben genannten Aspekten des Kommunikationsfehlers (vgl. ISO 26262-6, D.2.4) und meldet den Fehler ggf. dem Systemzustandsmanager (25).
Zur Erreichung des Sicherheitsziels 6 dient eine Komponente (44) zur Systemüberprüfung vor der Übergabe an die Fernbedienungsgeräte (90) und den Operator. Im Falle einer undefinierten Situation erfolgt keine Übergabe. Die Überprüfung der Systemgrenze nach der Übergabe vom Operator an das automatisierte Fahrzeug (20) erfolgt durch eine entsprechende Komponente (47) zur Klärung der Frage, ob das automatisierte Fahrzeug (20) seine normale Fahraufgabe ausführen kann.
Ebenfalls zur Erreichung des Sicherheitsziels 6 dient folgende Diagnoseverwaltung (50): Eine ToD-Diagnose (für die Autonomiestufen 2 bis 5 gemäß SAE J3016) wird vor der Aktivierung der ToD-Funktion ausgelöst. Diese Diagnose schließt neben einer Überprüfung der ToD-Funktionalität im engeren Sinne (Sensorverfügbarkeit, Bremsen usw.) die Ermittlung der möglichen ToD-Steuerung (Manövrieren, Bahnplanung, Verhaltensplanung, Geschwindigkeit, Lenken, Rückwärtsfahrt usw.) ein. Wenn die Aktivierung der ToD-Funktion nicht möglich ist, sollte die Autowerkstatt oder der Autohersteller kontaktiert werden.
Ebenso zur Erreichung des Sicherheitsziels 6 ist schließlich ein Aktivierungsmanager (42) vorgesehen. Hier sollten alle wichtigen und verfügbaren sicherheitsbezogenen Parameter wie die vom Benutzer wahrgenommene Dienstgüte (perceived quality of service, pQoS) und die Pfadkomplexität zur Aktivierung verwendet werden, um die Komplexität der Sicherheitskomponenten im Fahrzeug (20) zu reduzieren.
Zur Erreichung des Sicherheitsziels 3 dient ein Authentisierungsmanager (45). Die Authentifizierung der vollständigen Sicherheitskette berücksichtigt hierbei die folgenden Gesichtspunkte:

• eine Liste der berechtigten Operatoren mit Zugriff auf das Fahrzeug (20),
• Verfügbarkeit der richtigen Software und Hardware,
• Operatorberechtigung,
• Kontrollraum,
• Backend (80) sowie
• Kommunikationskanäle und Server (eine Umleitung auf andere Server oder Kanäle ist zu vermeiden).

Zur Erreichung des Sicherheitsziels 5 dient ein Anfahrtsbefehlsgeber (48). Insofern ist das Anfahren (drive away) vom automatisierten Fahrzeug (20) zu prüfen und der Operator darüber zu informieren, denn das Fahrzeug (20) darf bei Verstößen nicht bewegt werden. In Betracht kommen insbesondere eine Unterboden-Fahrzeugüberwachung, Rundum-Fahrzeugüberwachung in einem Freiraum von 50 cm, Überprüfung der lokalen Wetterbedingungen (im Hinblick auf Temperatur, vereiste Straße usw.) sowie der verfügbaren Sensorleistung (Sichtbarkeit des Sensors, Blindheit usw.).
Zur Erreichung des Sicherheitsziels 4 dient ein ToD-Datenschreiber (51): Alle ToD-relevanten Daten, z. B. Zeitstempel der Übergabe, Operator-ID, Fahrstil des Operators, angewandter Kommunikationskanal, Berechtigungsinformationen und ein etwaiger Crash werden durch diese Komponente lokal aufgezeichnet und auf Anforderung an den Server übermittelt.
Zur Erreichung des Sicherheitsziels 1 ist der empfangene Netzwerk-QoS-Wert durch einen Dienstgüterechner (43) zu prüfen und an die zugehörigen Sicherheitskomponenten weiterzuleiten. Einem Fahraufgabenprüfer (46) obliegt die Überprüfung, ob die vom Operator angeforderte Fahraufgabe ausführbar ist und keine Sicherheitsziele in Bezug auf die ToD- und AD-Funktionen verletzt, während eine Fahraufgabenausführungssteuereinheit (49) die Überwachung der Fahraufgabe und Aktualisierung des Bedieners über den Fortschritt sicherstellt. Der Operator kann das System (10) im Fehlerfall steuern.
Zur Erreichung des Sicherheitsziels 2 dient schließlich ein Systemkompatibilitätsprüfer (52). Zu denken ist hier an die Überprüfung der Kompatibilität der Hardware und Software im automatisierten Fahrzeug (20), im Backend (80), des Kontrollraums und der auf den Kommunikationskanälen ausgeführten Protokolle vor der Aktivierung der ToD-Funktion und während deren Ausführung.
Gemäß einer alternativen Arbeitsweise können basierend auf einer Gefahrenanalyse und Risikobewertung (hazard analysis and risk assessment, HARA) nach ISO 26262, ISO 25119 oder DIN EN 16590 die genannten Sicherheitsziele unterschiedlich bewertet werden. Für ein erfindungsgemäßes System (10) ist daher die höchste für die gesamte Funktionalität definierte kraftfahrzeugtechnische Sicherheitsanforderungsstufe (automotive safety integrity level, ASIL) maßgebend.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 9494935 B2 [0003]
US 9767369 B2 [0004]
US 9465388 B1 [0005]
US 9720410 B2 [0006]

Zitierte Nicht-Patentliteratur

ISO 26262 [0028]
ISO 25119 [0028]
DIN EN 16590 [0028]

Claims

System (10) zum teleoperierten Fahren, gekennzeichnet durch folgende Merkmale: - das System (10) umfasst ein Fahrzeug (20), ein Backend (80), Fernbedienungsgeräte (90) und - das Fahrzeug (20), das Backend (80) und die Fernbedienungsgeräte (90) sind dazu eingerichtet, sich über ein Mobilfunknetz (60) auszutauschen.
System (10) nach Anspruch 1, gekennzeichnet durch folgende Merkmale: - das Fahrzeug (20) umfasst sicherheitsrelevante Komponenten (40) und - die Komponenten (40) umfassen einen Kommunikationsprotokollüberwacher (41), einen Systemkompatibilitätsprüfer (52) und einen Fahraufgabenprüfer (46).
System (10) nach Anspruch 2, dadurch gekennzeichnet, dass die Komponenten (40) ferner mindestens eines der Folgenden umfassen: - erste Mittel (44) zur Systemüberprüfung vor einer Übergabe an die Fernbedienungsgeräte (90), - zweite Mittel (47) zur Systemüberprüfung nach der Übergabe, - Mittel (50) zur Diagnoseverwaltung, - einen Aktivierungsmanager (42), - einen Authentisierungsmanager (45), - einen Anfahrtsbefehlsgeber (48), - einen Datenschreiber (51), - einen Dienstgüterechner (43) oder - eine Fahraufgabenausführungssteuereinheit (49).
System (10) nach Anspruch 3, gekennzeichnet durch folgende Merkmale: - der Dienstgüterechner (43) ist dazu eingerichtet, eine Dienstgüte des Mobilfunknetzes (60) zu prüfen und - der Dienstgüterechner (43) ist ferner dazu eingerichtet, den sicherheitsrelevanten Komponenten (40) die geprüfte Dienstgüte mitzuteilen.
System (10) nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass das Fahrzeug (20) mindestens eines der Folgenden aufweist: - Mittel (21) zur Umgebungserfassung, - Mittel (22) zur Fahrzeuginnenraumerfassung, - Mittel (23) zur Fahrzeugbewegungssteuerung, - autonome Fahr- und Fahrerassistenzsystemfunktionen (24), - einen Systemzustandsmanager (25), - eine Telematik-Einheit (26) zum Verbinden mit dem Mobilfunknetz (60), - Mittel (27) zur Diagnoseinformationsverwaltung, - eine fahrzeuginterne Mensch-Maschine-Schnittstelle (28), - passive Sicherheitseinrichtungen (29) oder - Mittel (30) zur Karosseriesteuerung.
System (10) nach Anspruch 5, gekennzeichnet durch folgende Merkmale: - der Kommunikationsprotokollüberwacher (41) ist dazu eingerichtet, Kommunikationsfehler beim Austauschen über das Mobilfunknetz (60) zu erkennen und - der Kommunikationsprotokollüberwacher (41) ist ferner dazu eingerichtet, die erkannten Kommunikationsfehler dem Systemzustandsmanager (25) zu melden.
System (10) nach Anspruch 6, dadurch gekennzeichnet, dass das Erkennen der Kommunikationsfehler anhand mindestens einer der folgenden Ursachen oder Auswirkungen erfolgt: - eine Wiederholung von Informationen, - einen Verlust von Informationen, - eine Verzögerung von Informationen, - eine Einfügung von Informationen, - eine unberechtigte oder fehlerhafte Adressierung von Informationen, - eine fehlerhafte Abfolge von Informationen, - eine Verfälschung von Informationen, - eine von einem Sender zu mehreren Empfängern gesendete asymmetrische Information, - eine durch lediglich eine Untermenge vorgesehener Empfänger empfangene Information von einem Sender oder - ein blockierender Zugriff auf einen Kommunikationskanal.
System (10) nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Backend (80) mindestens eines der Folgenden umfasst: - ein Berechtigungssteuerprogramm (81), - einen Datenspeicher (82), - Kartendienste (83) oder - Mittel (84) zur Bahnplanung.
System (10) nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Fernbedienungsgeräte (90) mindestens eines der Folgenden umfassen: - eine erste Operatorschnittstelle (91) zum Bedienen des Fahrzeuges (20) außer Sicht und - eine zweite Operatorschnittstelle (92) zum Bedienen des Fahrzeuges (20) in Sicht.
System (10) nach einem der Ansprüche 1 bis 9, gekennzeichnet durch folgende Merkmale: - das System (10) umfasst ferner Infrastrukturkomponenten (70) und - die Infrastrukturkomponenten (70) umfassen eine intelligente Parkinfrastruktur (71).