-
Die vorliegende Erfindung betrifft ein System und ein Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, ein Fahrzeug zum Betrieb in einem solchen System sowie ein Computerprogrammprodukt und einen computerlesbaren Datenträger.
-
In manchen Situationen kann es für einen Benutzer eines Fahrzeugs, insbesondere eines Nutzfahrzeugs, hilfreich sein, sich Fahrzeugfunktionen des Fahrzeugs bei der Durchführung einer Tätigkeit zu Nutze zu machen, auch wenn sich der Benutzer hierzu nicht im Fahrzeug befindet. Dies gilt insbesondere, wenn es sich um eine Tätigkeit handelt, die ohne Automatisierung zusätzlich zu dem (ersten) Benutzer zumindest einen zweiten Benutzer, d. h. eine weitere Person erfordert, die im oder am Fahrzeug verbleibt, um in Abstimmung mit dem ersten Benutzer die benötigten Fahrzeugfunktionen zu steuern. Fahrzeugfunktionen können dabei beispielsweise Funktionen umfassen, um das Fahrzeug zu starten, zu lenken, zu bewegen und zu stoppen, aber können z. B. abhängig vom Fahrzeugtyp beliebige andere jeweils verfügbare Funktionen umfassen. So können beispielsweise bei einem Kranfahrzeug Steuerfunktionen des Krans zum Bewegen des Kranarms oder der Winde, bei einem Lastwagen das Öffnen und Schließen einer Heckklappe oder anderen Ladeöffnung, bei einem landwirtschaftlichen Nutzfahrzeug, je nach Typ, beispielsweise das Steuern einer Sä- oder Erntefunktion usw. verfügbar sein.
-
Beispielsweise kann es für die Durchführung der jeweiligen Tätigkeit erforderlich sein, innerhalb kurzer Distanzen etwas auszuladen und abzuliefern bzw. einzuladen oder auf einer Baustelle Gegenstände zu bewegen oder zu befördern oder andere Arbeitsgänge an wechselnden Positionen durchzuführen und hierzu jeweils wiederholt das Fahrzeug zu bewegen oder Vorgänge wiederholt durchzuführen.
-
Damit kein zweiter Benutzer zum Steuern im oder am Fahrzeug sein muss, sondern die Tätigkeit auch durch einen einzelnen Benutzer durchgeführt werden kann oder die beiden (oder auch mehr als zwei) Benutzer gemeinsam auch komplexere Aufgaben erfüllen können, kann beispielsweise vorgesehen sein, für die Fahrzeugfunktionen ein Fernbedienungsgerät zur Bedienung durch einen Benutzer vorzusehen. Dies ist jedoch insbesondere dann nachteilig, wenn der Benutzer seine Hände oder ggf. auch nur seine gesamte Aufmerksamkeit für die Durchführung seines Anteils an der Tätigkeit benötigt.
-
Für einzelne, einfache, klar vorher definierte bekannte Aufgaben kann beispielsweise eine Fernsteuerung von Fahrzeugfunktionen durch eindeutige Sprachkommandos oder Gesten vorgesehen sein. Im Gegensatz zur Kooperation zwischen zwei oder mehr menschlichen Benutzern beschränkt sich eine solche Fernsteuerung jedoch auf das Ausführen von direkten Anweisungen, die direkten Steuerbefehlen entsprechen.
-
So wird beispielsweise in der
US 8,577,126 B2 gezeigt, dass ein Fahrzeug mit Gesten und Sprachbefehlen gesteuert werden kann, um als Hilfsmittel im Team mit mehreren Personen diese bei ihrer Tätigkeit zu unterstützen.
-
Um jedoch komplexere Tätigkeiten bzw. Handlungen durchzuführen, ist in der Regel eine partnerschaftliche Kooperation mehrerer an der Tätigkeit beteiligten Personen bzw. Subjekte, also Partnersubjekte, unter Verwendung der hilfreichen Fahrzeugfunktionen des Fahrzeugs (als Objekt, das von mindestens einer der Personen als Partnersubjekt zumindest zeitweise bedient wird) erforderlich.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine kostengünstige, partnerschaftliche Kooperation von mindestens zwei Partnersubjekten zur Durchführung einer gemeinsamen Tätigkeit bzw. Handlung zur Erreichung eines gemeinsamen Handlungsziels unter Verwendung von für die Durchführung der Tätigkeit hilfreichen Fahrzeugfunktionen eines Fahrzeugs zu ermöglichen, die weniger Personen erfordert.
-
Diese Aufgabe wird erfindungsgemäß mit einem System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß Anspruch 1 sowie einem Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß Anspruch 10, einem Computerprogrammprodukt gemäß Anspruch 11, einem computerlesbaren Datenträger gemäß Anspruch 12 und einem Fahrzeug gemäß Anspruch 13 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
-
Gemäß einem ersten Aspekt der Erfindung umfasst ein System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs eine Datenbankeinrichtung mit Datenbank-Informationen zu Kommunikationssignalen von Partnersubjekten, Handlungszielen und Szenarien sowie ein mit der Datenbankeinrichtung kommunikativ verbindbares autonomes Fahrzeug mit autonom steuerbaren Fahrzeugfunktionen, einer Steuerungseinrichtung mit einer programmierbaren Einheit und einer Umgebungssensoreinrichtung, wobei die Steuerungseinrichtung dazu eingerichtet ist, in von der Umgebungssensoreinrichtung aufgenommenen Sensorsignalen eine Umgebung des Fahrzeugs und mindestens ein Partnersubjekt und von diesem ausgehende Kommunikationssignale zu erfassen und unter Berücksichtigung der Datenbank-Informationen einen Situationskontext zu ermitteln und die erfassten Kommunikationssignale unter Berücksichtigung des Situationskontextes in Steuersignale für die autonom steuerbaren Fahrzeugfunktionen umzusetzen.
-
Neben dem mindestens einen Partnersubjekt ist das Fahrzeug hier selbst ein weiteres Partnersubjekt. Partnersubjekte sind insbesondere Personen bzw. Benutzer des Fahrzeugs, können aber auch Roboter oder andere intelligente Maschinen umfassen. Das Fahrzeug ist ein autonomes Fahrzeug, d. h. es ist dazu ausgelegt, autonom steuerbare Fahrzeugfunktionen zumindest zeitweise selbst zu steuern. Es kann sich beispielsweise um ein zumindest zeitweise autonom fahrendes Fahrzeug handeln. Zusätzlich oder stattdessen können aber auch andere Fahrzeugfunktionen, die nicht die Fortbewegung des Fahrzeugs betreffen, autonom steuerbar sein. Das autonome Fahrzeug ist dazu ausgelegt, mit dem mindestens einen Partnersubjekt, insbesondere dem Verfügungsberechtigten bzw. Benutzer des Fahrzeugs, zu kooperieren, d. h. die eigene autonome Steuerung im Zusammenhang und in Abhängigkeit von dem Verhalten des mindestens einen Partnersubjekts, insbesondere seinen Kommunikationssignalen, so festzulegen, dass ein Handlungsziel, also ein Zweck des gemeinsamen Handelns bzw. der Tätigkeit, erreicht wird.
-
Hierzu umfasst das vorgestellte System neben dem autonomen Fahrzeug eine Datenbankeinrichtung, mit der das autonome Fahrzeug kommunikativ verbindbar ist. Dies beinhaltet, dass eine dauerhafte oder zeitweise Verbindung zum Datenaustausch besteht, während der gespeicherte Daten von der Datenbankeinrichtung empfangen werden und ggf. neue oder aktualisierte Daten dort gespeichert werden können. In einer Ausführungsform befindet sich die Datenbankeinrichtung an Bord des Fahrzeugs. Insbesondere ist die Datenbankeinrichtung in einer weiteren Ausführungsform entfernt von dem Fahrzeug angeordnet und über eine drahtlose Datenverbindung mit dem Fahrzeug kommunikativ verbindbar.
-
Die Datenbankeinrichtung umfasst eine Datenbank oder eine Mehrzahl von einzelnen Datenbanken, in der bzw. in denen Datenbank-Informationen zu Kommunikationssignalen von Partnersubjekten, Handlungszielen und Szenarien verfügbar sind. Kommunikationssignale von Partnersubjekten können beispielsweise Sprachbefehle oder Gesten sein, z. B. Handgesten oder Körperhaltungen oder -bewegungen, denen eine Bedeutung zugeordnet ist. Aber z. B. auch Bewegungsabläufe können als Kommunikationssignale vorgesehen sein. Die Datenbankeinrichtung umfasst zudem bisher bekannte, zuvor festgelegte oder erlernte mögliche Handlungsziele. Diese stehen im Zusammenhang mit bisher bekannten, zuvor festgelegten Szenarien, in denen eine Umgebung mit einem Fahrzeug, Partnersubjekten und ggf. für die Tätigkeit erforderlichen Objekten in einen Zusammenhang gestellt ist. Ein Szenario kann beispielsweise die Umgebung einer Haus-Baustelle, einen Kran als Fahrzeug mit autonom steuerbaren Fahrzeugfunktionen, einen Benutzer außerhalb des Krans und eine Last als Objekt beinhalten. Ein Handlungsziel könnte darin bestehen, die Last sicher auf das Dach des Hauses zu befördern.
-
Das autonome Fahrzeug ist dazu ausgelegt, mit seiner Steuerungseinrichtung zunächst einen aktuellen Situationskontext zu ermitteln, in dem sich das Fahrzeug gerade befindet. Der Situationskontext entspricht dabei einem wahrscheinlichen Szenario zu einem bestimmten Zeitpunkt während der Tätigkeit, d. h. des Handlungsablaufs zur Erreichung des Handlungsziels, in dem zuvor beschriebenen Beispiel z. B. einer Situation, bei der die auf das Dach zu befördernde Last am Kran hängt. Der Situationskontext wird durch die Steuerungseinrichtung, beispielsweise durch deren geeignet programmierte programmierbare Einheit, anhand einer Auswertung von in von der Umgebungssensoreinrichtung aufgenommenen Sensorsignalen ermittelt, durch die die Umgebung des Fahrzeugs und mindestens ein Partnersubjekt sowie von diesem ausgehende Kommunikationssignale erfasst werden, wobei die von der Umgebungssensoreinrichtung aufgenommenen Sensorsignale unter Verwendung der Datenbankeinrichtung einem möglichen Szenario zugeordnet werden, um damit einen möglichen Situationskontext ermitteln zu können. Die Umgebungssensoreinrichtung umfasst einen oder mehrere Fahrzeugsensoren, beispielsweise eine Umgebungskamera, ein Außenmikrofon, Lidar, Radar und/oder Ultraschallsensoren sowie ggf. andere für den Verwendungszweck des jeweiligen Fahrzeugs geeignete Sensoren. In dem oben genannten Beispiel kann „die erfassten Kommunikationssignale unter Berücksichtigung des Situationskontextes in Steuersignale für die autonom steuerbaren Fahrzeugfunktionen umzusetzen“ beispielsweise bedeuten, dass ein in einem Situationskontext, in dem die Last bereits am Kran hängt, empfangenes Kommunikationssignal in Form eines Sprachbefehls „Weiter“ interpretiert wird, die Last höher zu heben (und z. B. nicht das Fahrzeug weiter wegzubewegen). Ein gleichbedeutendes Kommunikationssignal kann auch eine entsprechende Geste sein. Ein Kommunikationssignal zu empfangen, kann beispielsweise beinhalten, Audioaufnahmen auszuwerten und/oder in aktuelle Videoaufnahmen der Umgebung das mindestens eine Partnersubjekt mit Hilfe von Videoanalyseverfahren zu detektieren und von diesem ausgehende visuelle Kommunikationssignale auszuwerten.
-
Das beschriebene System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs sieht das autonome Fahrzeug selbst als Partnersubjekt vor, so dass Tätigkeiten, die zwei miteinander kooperierende Partnersubjekte erfordern, von nur einer Person effizient durchgeführt werden können.
-
In einer Ausführungsform ist die Steuerungseinrichtung dazu eingerichtet, den Situationskontext fortlaufend unter Berücksichtigung von erfassten Änderungen der Umgebung und/oder erfassten Kommunikationssignalen zu aktualisieren. Auf diese Weise wird sichergestellt, dass immer der tatsächlich aktuelle Situationskontext die Basis dafür bildet, wie die Umsetzung der Kommunikationssignale in Steuersignale erfolgt. Es wird somit fortlaufend berücksichtigt, dass sich die Situation, in der sich das mindestens eine Partnersubjekt und das Fahrzeug selbst als weiteres Partnersubjekt befinden, dynamisch entwickeln kann, wobei sich beispielsweise die Person, also das mindestens eine Partnersubjekt, das in Kooperation mit dem autonomen Fahrzeug versucht, die Tätigkeit durchzuführen, auch unerwartet, beispielsweise aufgrund unvorhergesehener Änderungen in der Umgebung, anders verhalten kann als dies aufgrund des angenommenen Szenarios zu erwarten war.
-
In einer bevorzugten Ausführungsform ist vorgesehen, dass die Steuerungseinrichtung dazu eingerichtet ist, anhand der Kommunikationssignale, dem ermittelten Situationskontext und den Datenbank-Informationen ein Handlungsziel des mindestens einen Partnersubjekts zu ermitteln. Hierzu sind in der Datenbankeinrichtung z. B. im Zusammenhang mit bekannten Szenarien mögliche voreingestellte oder erlernte Handlungsziele verfügbar, wobei dann aus dem Situationskontext oder dessen Änderung über der Zeit ein wahrscheinliches Handlungsziel ermittelt wird. Das Handlungsziel ist dabei das Lösen einer übergeordneten Aufgabe innerhalb des Szenarios. Sein Erreichen erfordert eine Mehrzahl von Handlungen, die die Partnersubjekte in Kooperation miteinander ausführen. Das Handlungsziel des Partnersubjekts zu ermitteln bedeutet ein Verstehen der Intention des Partnersubjekts auf der Basis des Situationskontextes. In einer bevorzugten Ausführungsform werden hierzu Verfahren der künstlichen Intelligenz verwendet, insbesondere Maschinenlernverfahren.
-
Dabei ist die Steuerungseinrichtung in einer beispielhaften Ausführungsform außerdem dazu eingerichtet, die erfassten Kommunikationssignale so in Steuersignale umzusetzen, dass das autonome Fahrzeug ein Erreichen des Handlungsziels des mindestens einen Partnersubjekts unterstützt. Auf diese Weise kann das autonome Fahrzeug, gesteuert durch die Steuerungseinrichtung, als kooperierendes Subjekt, das Erreichen des Handlungsziels unterstützen, ohne dass von einer Person bzw. einem Partnersubjekt Befehle erteilt werden müssen. Das autonome Fahrzeug kann selbständig geeignete Handlungen festlegen und/oder beispielsweise seinen Bewegungspfad planen, um das Erreichen des Handlungsziels bestmöglich zu unterstützen. Ist ein Handlungsziel ermittelt, sind explizite, direkte Befehle durch das Partnersubjekt an das autonome Fahrzeug ggf. nicht notwendig, da sich Handlungen des Partnersubjekts vorhersagen lassen und zur Unterstützung des gemeinsamen Handlungsziels geeignete Handlungen des autonomen Fahrzeugs von diesem selbst ermittelt werden können. Das autonome Fahrzeug ist also dazu eingerichtet, seine eigenen Aktionen bzw. Handlungen zum Erreichen des gemeinsamen Handlungsziels autonom zu planen und auszuführen. So wird ein kollaboratives System ermöglicht, mit dem auch Handlungsziele in komplexen Szenarien auf effiziente Weise kooperativ erreicht werden können.
-
In einer Ausführungsform umfassen die Kommunikationssignale indirekte Kommunikationssignale. Indirekte Kommunikationssignale sind beispielsweise Bewegungen, Rufe, Körperhaltungen, die im Situationskontext interpretiert werden müssen, um daraus Handlungsanweisungen bzw. Befehle und letztlich Steuersignale für das Fahrzeug abzuleiten. Indirekte Kommunikationssignale umfassen also auch implizite Kommunikationssignale. So muss die Person bzw. das Partnersubjekt seine Konzentration nicht auf direkte Befehle zum Steuern der Fahrzeugfunktionen richten, sondern kann sich auf seine erforderlichen eigenen Handlungen konzentrieren. Besteht das Handlungsziel beispielsweise darin, Pakete aus einem Laderaum des Fahrzeugs an verschiedenen Empfänger-Haustüren abzuliefern, die ein Paketbote nacheinander zu Fuß erreichen kann, ohne erneut in das Lieferfahrzeug zu steigen, kann bereits das Verhalten des Paketboten, sich zur nächsten Tür zu begeben, ein indirektes Kommunikationssignal sein, das das autonome Fahrzeug veranlasst, dem Paketboten zu folgen. Das autonome Fahrzeug plant also seine eigenen Handlungen zum Erreichen des gemeinsamen Handlungsziels und führt diese aus. Im genannten Beispiel ermittelt es hierzu selbst einen geeigneten Bewegungspfad.
-
In einer bevorzugten beispielhaften Ausführungsform ist die Steuerungseinrichtung dazu eingerichtet, mindestens ein Maschinenlernverfahren auszuführen, um zu lernen, indirekte Kommunikationssignale unter Berücksichtigung des Situationskontextes automatisch zu erkennen.
-
Dabei ist die Steuerungseinrichtung in einer weiteren beispielhaften Ausführungsform auch dazu eingerichtet, das mindestens eine Maschinenlernverfahren auszuführen, um zu lernen, indirekte Kommunikationssignale unter Berücksichtigung des Situationskontextes automatisch auszuwerten. Hierbei werden die indirekten Kommunikationssignale im Situationskontext interpretiert. Dies kann umfassen, das Handlungsziel des Partnersubjekts zu erfassen und bei der Interpretation der Kommunikationssignale zu berücksichtigen. Das Lernen kann dabei auf der Basis von in der Datenbankeinrichtung bereits verfügbaren Informationen erfolgen, kann aber aktuelle Situationskontexte und darin verfügbare direkte Kommunikationssignale umfassen.
-
In einer bevorzugten Ausführungsform ist die Steuerungseinrichtung dazu eingerichtet, Kommunikationssignale mit Hilfe eines trainierten neuronalen Netzes unter Berücksichtigung des Situationskontextes automatisch auszuwerten.
-
Ebenfalls in einer bevorzugten Ausführungsform des Systems wird die Datenbankeinrichtung über einen Cloud-basierten Netzwerkdienst bereitgestellt. So ist es beispielsweise möglich, eine besonders umfangreiche Datenbank mit Kommunikationssignalen von Partnersubjekten, Handlungszielen und Szenarien bereitzustellen, die nicht statisch ist oder nur durch Szenarien aktualisiert wird, an denen das autonome Fahrzeug selbst teilgenommen hat, sondern kann durch aktuelle Informationen von allen mit derselben Datenbankeinrichtung verbindbaren Fahrzeugen fortlaufend aktualisiert werden. Der Zugriff über eine Cloud stellt die jederzeitige Verfügbarkeit von aktuellen Datenbank-Informationen sicher, sofern nur eine drahtlose Verbindung über eine Schnittstelle des Fahrzeugs verfügbar ist. Das Bereitstellen über eine oder mehrere zentrale Datenbankeinheiten erlaubt es, jederzeit auch auf eine umfangreiche Anzahl von für verschiedene Szenarien geeignete Datenbanken, beispielsweise geeignete Gesten-Datenbanken und Modelle zuzugreifen, auch wenn keine geeigneten Informationen lokal verfügbar sind. In einer beispielhaften Ausführungsform kann die Datenbankeinrichtung auch teilweise über einen Cloud-basierten Netzwerkdienst bereitgestellt und teilweise über eine Datenbankeinheit an Bord des autonomen Fahrzeugs realisiert sein, so dass das System beispielsweise auch bei nicht verfügbarem Zugriff auf die Cloud einsatzbereit bleibt.
-
Gemäß einem zweiten Aspekt der Erfindung umfasst ein Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß dem ersten Aspekt der Erfindung ein Bereitstellen einer Datenbankeinrichtung mit Datenbank-Informationen zu Kommunikationssignalen von Partnersubjekten, Handlungszielen und Szenarien und eines mit der Datenbankeinrichtung kommunikativ verbindbaren autonomen Fahrzeugs mit autonom steuerbaren Fahrzeugfunktionen, einer Steuerungseinrichtung mit einer programmierbaren Einheit und einer Umgebungssensoreinrichtung; ein Aufnehmen, mit der Umgebungssensoreinrichtung, von Sensorsignalen einer Umgebung des Fahrzeugs und mindestens eines Partnersubjekts und Erfassen von von dem mindestens einen Partnersubjekt ausgehenden Kommunikationssignalen; ein Ermitteln eines Situationskontextes unter Berücksichtigung der Datenbank-Informationen; und ein Umsetzen der erfassten Kommunikationssignale unter Berücksichtigung des ermittelten Situationskontextes in Steuersignale für die autonom steuerbaren Fahrzeugfunktionen.
-
Gemäß einem dritten Aspekt der Erfindung umfasst ein Computerprogrammprodukt Codeanteile, die, wenn sie von einem Prozessor einer programmierbaren Einheit einer Steuerungseinrichtung eines autonomen Fahrzeugs eines Systems nach dem ersten Aspekt der Erfindung ausgeführt werden, das System veranlassen, ein Verfahren nach dem zweiten Aspekt der Erfindung durchzuführen. Dabei entsprechen die Codeanteile, d. h. der Programmcode, des Computerprogrammprodukts einem Computerprogramm, das Befehle umfasst, mit denen das System veranlasst wird, Schritte des Verfahrens durchzuführen. Die programmierbare Einheit der Steuerungseinrichtung umfasst dabei zumindest einen Prozessor und einen Speicher.
-
Gemäß einem vierten Aspekt der Erfindung weist ein computerlesbarer Datenträger ein Computerprogramprodukt gemäß dem dritten Aspekt der Erfindung auf. Ein computerlesbarer Datenträger kann sowohl ein computerlesbares Speichermedium als auch ein Datenträgersignal sein. Ein computerlesbares Speichermedium ist ein zum Speichern von Software geeignetes Medium, beispielsweise eine CD-ROM, eine DVD, eine Blu-Ray-Disk, ein USB-Stick, eine Festplatte usw. Ein Datenträgersignal ermöglicht eine kabelgebundene oder drahtlose Übertragung der Codeanteile.
-
Zudem ist gemäß einem fünften Aspekt der Erfindung ein Fahrzeug eingerichtet zum Betrieb als autonomes Fahrzeug eines Systems nach dem ersten Aspekt der Erfindung.
-
Somit werden die Vorteile und Besonderheiten des erfindungsgemäßen Systems zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, einschließlich seiner Ausführungsformen, auch im Rahmen eines Verfahrens zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs sowie eines Fahrzeugs zum Betrieb als Bestandteil des Systems, sowie eines Computerprogrammprodukts und eines computerlesbaren Datenträgers umgesetzt.
-
Weitere Vorteile der vorliegenden Erfindung sind aus der detaillierten Beschreibung und den Abbildungen ersichtlich. Die Erfindung wird nachstehend auch im Zusammenhang mit der folgenden Beschreibung von Ausführungsbeispielen mit Bezug auf die begleitenden Abbildungen näher erläutert. Es zeigen:
- 1 eine schematische Darstellung eines Beispiels eines Systems zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß einer Ausführungsform der Erfindung;
- 2 eine schematische Darstellung eines Zusammenwirkens von Handlungen eines Partnersubjekts und eines kooperierenden autonomen Fahrzeugs in einem System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß einer Ausführungsform der Erfindung;
- 3 eine schematische Darstellung eines Beispiels eines Verfahrens zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß einer weiteren Ausführungsform der Erfindung;
- 4 eine schematische Darstellung eines Beispiels eines Anwendungsfalls für ein System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs; und
- 5 eine schematische Darstellung von Beispielen für direkte Kommunikationssignale eines Partnersubjekts.
-
Es versteht sich, dass andere Ausführungsformen benutzt und strukturelle oder logische Änderungen vorgenommen werden können, ohne von dem Schutzumfang der vorliegenden Erfindung abzuweichen. Es versteht sich, dass die Merkmale der vorstehend und nachstehend beschriebenen verschiedenen beispielhaften Ausführungsformen miteinander kombiniert werden können, sofern nicht spezifisch anders angegeben. Die Beschreibung ist deshalb nicht in einschränkendem Sinne aufzufassen, und der Schutzumfang der vorliegenden Erfindung wird durch die angefügten Ansprüche definiert.
-
In 1 wird eine schematische Darstellung eines Beispiels eines Systems 100 zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß einer Ausführungsform der Erfindung gezeigt. Das dargestellte System 100 weist eine Datenbankeinrichtung 101 mit Datenbank-Informationen zu Kommunikationssignalen von Partnersubjekten, Handlungszielen und Szenarien auf. Die Datenbankeinrichtung ist über einen Cloud-basierten Netzwerkdienst 111 in einem zumindest teilweise als drahtloses Netzwerk ausgeführten Datennetzwerk 110 kommunikativ mit einem autonomen Fahrzeug 102, d. h. mit einem Fahrzeug mit zumindest einer autonom steuerbaren Fahrzeugfunktion, verbunden. Das autonome Fahrzeug 102 verfügt über eine Steuerungseinrichtung 103 zum Steuern der autonom steuerbaren Fahrzeugfunktion. Die Steuerungseinrichtung 103 weist eine programmierbare Einheit 104 zumindest mit einem Prozessor 105 und einem Speicher 106 auf. Die Steuerungseinrichtung 103 weist auch eine Umgebungssensoreinrichtung 107 auf bzw. ist mit dieser verbunden, mit der Sensorsignale 108 der Umgebung des Fahrzeugs erfasst werden. Die Umgebungssensoreinrichtung umfasst beispielsweise zumindest einen Bildsensor, d. h. eine Kamera, bevorzugt eine Multi-Kamera-Vorrichtung für Rundumsicht, sowie einen Audiosensor, d. h. ein Mikrofon. In dem Speicher 106 der programmierbaren Einheit 104 sind Codeanteile gespeichert, die, wenn sie vom Prozessor 105 geladen und ausgeführt werden, die Steuerungseinrichtung 103 dazu einrichten, mit von der Umgebungssensoreinrichtung 107 aufgenommenen Sensorsignalen 108 eine Umgebung des Fahrzeugs 102, einschließlich eines Partnersubjekts 109, d. h. einer Person, mit der das Fahrzeug 102 im Rahmen des Systems 100 kooperieren soll, beispielsweise der Fahrer oder ein anderer Verfügungsberechtigter über das Fahrzeug 102, zu erfassen, ein von dem Partnersubjekt 109 beabsichtigtes Handlungsziel zu erreichen, und von diesem, d. h. dem Partnersubjekt 109, ausgehende Kommunikationssignale, beispielsweise direkte oder indirekte visuelle und/oder akustische Kommunikationssignale, zu erfassen und unter Berücksichtigung der Datenbank-Informationen einen Situationskontext zu ermitteln und die erfassten Kommunikationssignale unter Berücksichtigung des Situationskontextes in Steuersignale für die autonom steuerbaren Fahrzeugfunktionen umzusetzen.
-
In 2 wird eine schematische Darstellung eines Zusammenwirkens von Handlungen eines Partnersubjekts und eines kooperierenden autonomen Fahrzeugs in einem System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß einer Ausführungsform der Erfindung gezeigt. Das Fahrzeug 202 erfasst mit einer Umgebungssensoreinrichtung seine Umgebung 211, in der sich auch mindestens ein Partnersubjekt 209 befindet. Durch Auswertung der Umgebungssensorsignale wird der Zustand der Umgebung 211 ausgewertet und das Szenario, in dem sich das Fahrzeug 202 und das Partnersubjekt 209 befinden, erfasst. Durch Aktionen, d. h. Handlungen 212 des Partnersubjekts bzw. der Partnersubjekte 209 wird die Umgebung 211 beeinflusst und verändert. Diese neuen Umgebungszustände 214 und ggf. deren Auswirkungen auf das Fahrzeug 202 und das Partnersubjekt 209 werden wiederum von den Umgebungssensoren des autonomen Fahrzeugs 202 erfasst. Dadurch kann die Steuerungseinrichtung des Fahrzeugs 202 den Situationskontext, d. h. den aktuellen Zustand des Szenarios, und mit Hilfe von einer umfangreichen Datenbank, beispielsweise einer Mehrzahl unterschiedlicher, für verschiedene Szenarien und Handlungsziele ausgelegte Datenbanken, zentral zugänglich in einer Cloud, mit Szenarien und möglichen Handlungszielen und trainierten Modellen der künstlichen Intelligenz, z. B. trainierten künstlichen neuronalen Netzen, das aktuelle Handlungsziel 213 des Partnersubjekts ermitteln. Das heißt, es wird die wahrscheinliche Intention des Partnersubjekts ermittelt, um daraus in Kenntnis des aktuellen Situationskontextes die eigenen Handlungen 215 des autonomen Fahrzeugs 202 abzuleiten, mit denen das Erreichen des Handlungszieles unterstützt werden kann. Auch die Handlungen 215 des autonomen Fahrzeugs 202 beeinflussen dann wieder die Umgebung 211 und bewirken neue Umgebungszustände 214. Um die Handlungen des Fahrzeugs 202 zu ermitteln, kann die Steuerungseinrichtung ein Handlungsplanungsmodul umfassen, das eine geeignete Handlung oder Abfolge von Handlungen ermittelt, wobei diese in Kollaboration mit dem Partnersubjekt 209 sequentiell oder parallel zu dessen Handlungen erfolgen sollen.
-
In 3 wird eine schematische Darstellung eines Beispiels eines Verfahrens zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß einer weiteren Ausführungsform der Erfindung gezeigt. Das Verfahren 300 beginnt in einem Startzustand 301, in dem die autonome Steuerung der autonom steuerbaren Fahrzeugfunktionen des Fahrzeugs eines Systems zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, wie es beispielsweise in 1 gezeigt wird, aktiviert wird.
-
Es folgt ein Schritt des Bereitstellens 302 einer Datenbankeinrichtung mit Datenbank-Informationen zu Kommunikationssignalen von Partnersubjekten, Handlungszielen und Szenarien und des mit der Datenbankeinrichtung kommunikativ verbindbaren autonomen Fahrzeugs mit autonom steuerbaren Fahrzeugfunktionen, einer Steuerungseinrichtung mit einer programmierbaren Einheit und einer Umgebungssensoreinrichtung, sowie ein Aufnehmen 303, mit der Umgebungssensoreinrichtung, von Sensorsignalen einer Umgebung des Fahrzeugs und mindestens eines Partnersubjekts und ein Erfassen 304 von von dem mindestens einen Partnersubjekt ausgehenden Kommunikationssignalen und ein Ermitteln 305 eines Situationskontextes unter Berücksichtigung der Datenbank-Informationen.
-
In einem weiteren Schritt erfolgt dann ein Umsetzen 306 der erfassten Kommunikationssignale unter Berücksichtigung des ermittelten Situationskontextes in Steuersignale für die autonom steuerbaren Fahrzeugfunktionen.
-
In einem nächsten Schritt erfolgt ein Überprüfen 307, ob eine Abbruchbedingung erfüllt ist (beispielsweise das Handlungsziel bereits erreicht ist und/oder ein direktes Kommunikationssignal, den autonomen Betrieb zu beenden, empfangen wurde). Ist dies nicht der Fall (in 3 mit „-“ gekennzeichnet), wird das Verfahren mit dem weiteren Aufnehmen 303 von Sensorsignalen der Umgebung fortgesetzt. Ist die Abbruchbedingung erfüllt (in 3 mit „+“ gekennzeichnet), endet das Verfahren in einem Endzustand 308, in dem der autonome Betrieb des Fahrzeugs beendet wird oder in einem Ruhezustand auf eine erneute Aktivierung durch einen geeigneten Befehl wartet.
-
In 4 wird eine schematische Darstellung eines Beispiels eines Anwendungsfalls für ein System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gezeigt. In 4 wird ein Baustellenszenario 400 gezeigt, bei dem ein autonomes Fahrzeug 402 mit zwei Bauarbeitern bzw. Partnersubjekten kooperiert, einem ersten Partnersubjekt 409 auf dem Dach eines Hauses 401 und einem zweiten Partnersubjekt 410 am Boden. Das gemeinsame Handlungsziel besteht darin, Gegenstände, z. B. Ziegelsteine, auf das Hausdach zu befördern. Im aktuellen Situationskontext belädt das zweite Partnersubjekt 410 einen Lastenbehälter 404 an einem Seilzug 405 mit einem Gegenstand 406, damit dieser auf das Hausdach befördert wird. Das autonome Fahrzeug 402 verfügt über eine mit dem Seilzug verbundene Seilwinde 407. Im Falle von indirekter Kommunikation erkennt das autonome Fahrzeug 402 den Beladungsvorgang und unterstützt das Erreichen des Handlungsziels, indem es selbständig nach dem Beladen des Lastenbehälters 404 durch das zweite Partnersubjekt 410 die Seilwinde 407 aktiviert, um den Gegenstand 406 mit dem Seilzug 405 zu dem ersten Partnersubjekt 409 auf dem Hausdach zu befördern.
-
Auf einer Baustelle können diverse Handlungsziele durch ein autonomes Fahrzeug unterstützt werden, beispielsweise Überwachungsaufgaben oder das Verteilen von Gegenständen und Ausrüstung auf dem Gelände. Andere, nicht illustrierte Anwendungsfälle können z. B das Betreiben eines Bauernhofs betreffen, bei dem der Bauer durch ein autonomes Fahrzeug beim Verteilen von Futtermitteln o.ä. unterstützt wird, oder das Unterstützen von Soldaten oder anderen Einsatzgruppen, indem bei Bedarf Gegenstände transportiert werden, Umgebungsüberwachungsinformationen bereitgestellt werden oder sich das Fahrzeug bei Bedarf als Deckung positioniert.
-
In 5 wird eine schematische Darstellung von Beispielen für direkte Kommunikationssignale eines Partnersubjekts gezeigt. Direkte Kommunikationssignale dienen der expliziten Kommunikation. Das autonome Fahrzeug als Partnersubjekt empfängt über seine Umgebungserfassungseinrichtung Umgebungssignale, darunter Kommunikationssignale eines Partnersubjekts. Die direkten Kommunikationssignale ermöglichen es, Informationen über das Handlungsziel, die nächste Handlung oder einen direkten Befehl an den Empfänger, d. h. das autonome Fahrzeug zu übertragen. Hierfür kommen, sofern der Absender keine technischen Hilfsmittel verwendet, beispielsweise Sprach- oder andere Audiosignale, Gesten, Bewegungen usw. als Übertragungskanäle in Frage. Gehen die Kommunikationssignale von einer intelligenten Maschine aus, kommen ggf. auch andere Übertragungskanäle in Frage, die auf der Empfängerseite keine Sprach- oder Bilderkennung erfordern.
-
Für eine Gestenerkennung in Kamerabildern der Umgebungssensoreinrichtung ist die Steuereinrichtung dazu eingerichtet, zunächst ein Partnersubjekt in den Kamerabildsequenzen bzw. Umgebungssensorsignalen zu detektieren und über der Zeit weiterzuverfolgen. Dies kann direkt durch Bildanalyseverfahren erfolgen. Handelt es sich bei dem Partnersubjekt beispielsweise um den Fahrer oder anderen Verfügungsberechtigten, kann in einer Ausführungsform auch vorgesehen sein, zunächst den elektronischen Fahrzeugschlüssel oder ein für das Partnersubjekt bei dem autonomen Fahrzeug registriertes Mobiltelefon zu orten, um die Qualität und/oder Geschwindigkeit der Detektion des Partnersubjekts zu verbessern.
-
Als direkte Kommunikationssignale können beispielsweise Folgen von Handgesten 501 dienen, die das Alphabet codieren, so dass ein sehr großer Wortschatz an Befehlen möglich ist, sofern die Steuerungseinrichtung über die Datenbankeinrichtung auf ein entsprechendes Lexikon oder Codebuch zugreifen kann. Auch Körperhaltungen 502 können als Kommunikationssignale vorgesehen sein, ebenso wie Kombinationen aus Körper- und Handgesten. Ebenso können einzelne Gesten direkt einem Befehl zugeordnet sein, beispielsweise um das autonome Fahrzeug vor und zurück zu bewegen, zu wenden oder eine bestimmte Fahrzeugfunktion wie die Beleuchtung oder eine Seilwinde zu aktivieren o.ä. Auch Körperbewegungen können als Kommunikationssignale vorgesehen sein. Bewegt sich das Partnersubjekt beispielsweise in eine bestimmte Richtung, kann dies in einem geeigneten Situationskontext bedeuten, dass das Fahrzeug entscheiden soll zu folgen, sich anzunähern oder Platz zu machen.
-
Anstatt oder zusätzlich zu visueller direkter Kommunikation kann beispielsweise auch vorgesehen sein, Sprachsignale als direkte Kommunikationssignale zu nutzen, sofern die Umgebungssensoreinrichtung des autonomen Fahrzeugs ein Außenmikrofon umfasst und sofern das Partnersubjekt beispielsweise über seinen elektronischen Fahrzeugschlüssel, sein Mobiltelefon oder auch nach entsprechendem Training des Systems direkt durch Sprechererkennung identifiziert wurde. Auch haptische Kommunikationssignale können vorgesehen sein, sofern das autonome Fahrzeug über Berührungssensoren an seiner Außenfläche verfügt oder eine Schnittstelle bereitstellt, über die ein geeignetes berührungsempfindliches Steuergerät angeschlossen werden kann.
-
Anstatt oder zusätzlich zu den direkten Kommunikationssignalen können auch indirekte Kommunikationssignale verwendet werden, mit denen implizit das Handlungsziel, die nächste Handlung oder ein Befehl kommuniziert werden. Anstatt auf ein bekanntes Codebuch zurückzugreifen, um die empfangenen Signale zu verstehen, muss eine Interpretation in dem jeweiligen Situationskontext erfolgen, um beispielsweise das Handlungsziel basierend auf einer umfangreichen Datenbank mit Hilfe von Verfahren der künstlichen Intelligenz, insbesondere geeignet trainierten neuronalen Netzen, zu ermitteln und basierend auf dem Handlungsziel mögliche zukünftige Handlungen des Partnersubjekts vorherzusehen und autonom geeignete eigene unterstützende Handlungen festzulegen und auszuführen.
-
Es versteht sich, dass bei den verschiedenen Ausführungsformen des erfindungsgemäßen Verfahrens die Verfahrensschritte, obwohl gemäß einer gewissen geordneten Reihenfolge beschrieben, zum Teil in einer anderen als der hier beschriebenen Reihenfolge ausgeführt werden könnten. Es versteht sich weiterhin, dass gewisse Schritte gleichzeitig oder nacheinander, einfach oder mehrfach durchgeführt werden können, dass andere Schritte hinzugefügt werden könnten oder dass gewisse, hier beschriebene Schritte weggelassen werden könnten. Mit anderen Worten: Es werden die vorliegenden Beschreibungen zum Zwecke der Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten nicht als Beschränkung des offenbarten Gegenstands aufgefasst werden.
-
Der in der Beschreibung verwendete Ausdruck „und/oder“, wenn er in einer Reihe von zwei oder mehreren Elementen benutzt wird, bedeutet, dass jedes der aufgeführten Elemente alleine verwendet werden kann, oder es kann jede Kombination von zwei oder mehr der aufgeführten Elementen verwendet werden. Wird beispielsweise eine Zusammensetzung beschrieben, dass sie die Komponenten A, B und/oder C, enthält, kann die Zusammensetzung A alleine; B alleine; C alleine; A und B in Kombination; A und C in Kombination; B und C in Kombination; oder A, B, und C in Kombination enthalten.
-
Bezugszeichenliste
-
- 100
- System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs
- 101
- Datenbankeinrichtung
- 102
- autonomes Fahrzeug
- 103
- Steuerungseinrichtung
- 104
- programmierbare Einheit
- 105
- Prozessor
- 106
- Speicher
- 107
- Umgebungssensoreinrichtung
- 108
- Sensorsignal
- 109
- Partnersubjekt
- 110
- Datennetzwerk
- 111
- Cloud-basierter Netzwerkdienst
- 202
- autonomes Fahrzeug
- 209
- Partnersubjekt
- 211
- Umgebung
- 212
- Handlungen des Partnersubjekts
- 213
- Handlungsziel
- 214
- neue Umgebungszustände
- 215
- Handlungen des autonomen Fahrzeugs
- 300
- Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs
- 301
- Start
- 302
- Bereitstellens einer Datenbankeinrichtung
- 303
- Aufnehmen von Sensorsignalen
- 304
- Erfassen von Kommunikationssignalen
- 305
- Ermitteln eines Situationskontextes
- 306
- Umsetzen der erfassten Kommunikationssignale in Steuersignale
- 307
- Überprüfen, ob Abbruchbedingung erfüllt
- 308
- Ende
- 400
- Baustellenszenario
- 401
- Haus
- 402
- autonomes Fahrzeug
- 404
- Lastenbehälter
- 405
- Seilzug
- 406
- Gegenstand
- 407
- Seilwinde
- 409
- erstes Partnersubjekt
- 410
- zweites Partnersubjekt
- 501
- Handgesten
- 502
- Körperhaltungen
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-