DE102021129535A1 - System und Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, Computerprogrammprodukt, computerlesbarer Datenträger und Fahrzeug - Google Patents

System und Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, Computerprogrammprodukt, computerlesbarer Datenträger und Fahrzeug Download PDF

Info

Publication number
DE102021129535A1
DE102021129535A1 DE102021129535.1A DE102021129535A DE102021129535A1 DE 102021129535 A1 DE102021129535 A1 DE 102021129535A1 DE 102021129535 A DE102021129535 A DE 102021129535A DE 102021129535 A1 DE102021129535 A1 DE 102021129535A1
Authority
DE
Germany
Prior art keywords
vehicle
partner
communication signals
autonomous vehicle
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021129535.1A
Other languages
English (en)
Inventor
Ahmed Benmimoun
Mohamed Benmimoun
Sufian Ashraf Mazhari
Mohsen Lakehal-ayat
Muhammad Adeel Awan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Priority to DE102021129535.1A priority Critical patent/DE102021129535A1/de
Priority to US18/050,054 priority patent/US11904888B2/en
Priority to CN202211395370.0A priority patent/CN116118712A/zh
Publication of DE102021129535A1 publication Critical patent/DE102021129535A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0025Planning or execution of driving tasks specially adapted for specific operations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es wird ein System (100) zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs bereitgestellt, das eine Datenbankeinrichtung (101) mit Datenbank-Informationen zu Kommunikationssignalen von Partnersubjekten, Handlungszielen und Szenarien sowie ein mit der Datenbankeinrichtung (101) kommunikativ verbindbares autonomes Fahrzeug (102) mit autonom steuerbaren Fahrzeugfunktionen, einer Steuerungseinrichtung (103) mit einer programmierbaren Einheit (104) und einer Umgebungssensoreinrichtung (107) aufweist. Dabei ist die Steuerungseinrichtung (103) dazu eingerichtet, in von der Umgebungssensoreinrichtung (107) aufgenommenen Sensorsignalen (108) eine Umgebung des Fahrzeugs (102) und mindestens ein Partnersubjekt (109) und von diesem ausgehende Kommunikationssignale zu erfassen und unter Berücksichtigung der Datenbank-Informationen einen Situationskontext zu ermitteln und die erfassten Kommunikationssignale unter Berücksichtigung des Situationskontextes in Steuersignale für die autonom steuerbaren Fahrzeugfunktionen umzusetzen.

Description

  • Die vorliegende Erfindung betrifft ein System und ein Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, ein Fahrzeug zum Betrieb in einem solchen System sowie ein Computerprogrammprodukt und einen computerlesbaren Datenträger.
  • In manchen Situationen kann es für einen Benutzer eines Fahrzeugs, insbesondere eines Nutzfahrzeugs, hilfreich sein, sich Fahrzeugfunktionen des Fahrzeugs bei der Durchführung einer Tätigkeit zu Nutze zu machen, auch wenn sich der Benutzer hierzu nicht im Fahrzeug befindet. Dies gilt insbesondere, wenn es sich um eine Tätigkeit handelt, die ohne Automatisierung zusätzlich zu dem (ersten) Benutzer zumindest einen zweiten Benutzer, d. h. eine weitere Person erfordert, die im oder am Fahrzeug verbleibt, um in Abstimmung mit dem ersten Benutzer die benötigten Fahrzeugfunktionen zu steuern. Fahrzeugfunktionen können dabei beispielsweise Funktionen umfassen, um das Fahrzeug zu starten, zu lenken, zu bewegen und zu stoppen, aber können z. B. abhängig vom Fahrzeugtyp beliebige andere jeweils verfügbare Funktionen umfassen. So können beispielsweise bei einem Kranfahrzeug Steuerfunktionen des Krans zum Bewegen des Kranarms oder der Winde, bei einem Lastwagen das Öffnen und Schließen einer Heckklappe oder anderen Ladeöffnung, bei einem landwirtschaftlichen Nutzfahrzeug, je nach Typ, beispielsweise das Steuern einer Sä- oder Erntefunktion usw. verfügbar sein.
  • Beispielsweise kann es für die Durchführung der jeweiligen Tätigkeit erforderlich sein, innerhalb kurzer Distanzen etwas auszuladen und abzuliefern bzw. einzuladen oder auf einer Baustelle Gegenstände zu bewegen oder zu befördern oder andere Arbeitsgänge an wechselnden Positionen durchzuführen und hierzu jeweils wiederholt das Fahrzeug zu bewegen oder Vorgänge wiederholt durchzuführen.
  • Damit kein zweiter Benutzer zum Steuern im oder am Fahrzeug sein muss, sondern die Tätigkeit auch durch einen einzelnen Benutzer durchgeführt werden kann oder die beiden (oder auch mehr als zwei) Benutzer gemeinsam auch komplexere Aufgaben erfüllen können, kann beispielsweise vorgesehen sein, für die Fahrzeugfunktionen ein Fernbedienungsgerät zur Bedienung durch einen Benutzer vorzusehen. Dies ist jedoch insbesondere dann nachteilig, wenn der Benutzer seine Hände oder ggf. auch nur seine gesamte Aufmerksamkeit für die Durchführung seines Anteils an der Tätigkeit benötigt.
  • Für einzelne, einfache, klar vorher definierte bekannte Aufgaben kann beispielsweise eine Fernsteuerung von Fahrzeugfunktionen durch eindeutige Sprachkommandos oder Gesten vorgesehen sein. Im Gegensatz zur Kooperation zwischen zwei oder mehr menschlichen Benutzern beschränkt sich eine solche Fernsteuerung jedoch auf das Ausführen von direkten Anweisungen, die direkten Steuerbefehlen entsprechen.
  • So wird beispielsweise in der US 8,577,126 B2 gezeigt, dass ein Fahrzeug mit Gesten und Sprachbefehlen gesteuert werden kann, um als Hilfsmittel im Team mit mehreren Personen diese bei ihrer Tätigkeit zu unterstützen.
  • Um jedoch komplexere Tätigkeiten bzw. Handlungen durchzuführen, ist in der Regel eine partnerschaftliche Kooperation mehrerer an der Tätigkeit beteiligten Personen bzw. Subjekte, also Partnersubjekte, unter Verwendung der hilfreichen Fahrzeugfunktionen des Fahrzeugs (als Objekt, das von mindestens einer der Personen als Partnersubjekt zumindest zeitweise bedient wird) erforderlich.
  • Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine kostengünstige, partnerschaftliche Kooperation von mindestens zwei Partnersubjekten zur Durchführung einer gemeinsamen Tätigkeit bzw. Handlung zur Erreichung eines gemeinsamen Handlungsziels unter Verwendung von für die Durchführung der Tätigkeit hilfreichen Fahrzeugfunktionen eines Fahrzeugs zu ermöglichen, die weniger Personen erfordert.
  • Diese Aufgabe wird erfindungsgemäß mit einem System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß Anspruch 1 sowie einem Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß Anspruch 10, einem Computerprogrammprodukt gemäß Anspruch 11, einem computerlesbaren Datenträger gemäß Anspruch 12 und einem Fahrzeug gemäß Anspruch 13 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
  • Gemäß einem ersten Aspekt der Erfindung umfasst ein System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs eine Datenbankeinrichtung mit Datenbank-Informationen zu Kommunikationssignalen von Partnersubjekten, Handlungszielen und Szenarien sowie ein mit der Datenbankeinrichtung kommunikativ verbindbares autonomes Fahrzeug mit autonom steuerbaren Fahrzeugfunktionen, einer Steuerungseinrichtung mit einer programmierbaren Einheit und einer Umgebungssensoreinrichtung, wobei die Steuerungseinrichtung dazu eingerichtet ist, in von der Umgebungssensoreinrichtung aufgenommenen Sensorsignalen eine Umgebung des Fahrzeugs und mindestens ein Partnersubjekt und von diesem ausgehende Kommunikationssignale zu erfassen und unter Berücksichtigung der Datenbank-Informationen einen Situationskontext zu ermitteln und die erfassten Kommunikationssignale unter Berücksichtigung des Situationskontextes in Steuersignale für die autonom steuerbaren Fahrzeugfunktionen umzusetzen.
  • Neben dem mindestens einen Partnersubjekt ist das Fahrzeug hier selbst ein weiteres Partnersubjekt. Partnersubjekte sind insbesondere Personen bzw. Benutzer des Fahrzeugs, können aber auch Roboter oder andere intelligente Maschinen umfassen. Das Fahrzeug ist ein autonomes Fahrzeug, d. h. es ist dazu ausgelegt, autonom steuerbare Fahrzeugfunktionen zumindest zeitweise selbst zu steuern. Es kann sich beispielsweise um ein zumindest zeitweise autonom fahrendes Fahrzeug handeln. Zusätzlich oder stattdessen können aber auch andere Fahrzeugfunktionen, die nicht die Fortbewegung des Fahrzeugs betreffen, autonom steuerbar sein. Das autonome Fahrzeug ist dazu ausgelegt, mit dem mindestens einen Partnersubjekt, insbesondere dem Verfügungsberechtigten bzw. Benutzer des Fahrzeugs, zu kooperieren, d. h. die eigene autonome Steuerung im Zusammenhang und in Abhängigkeit von dem Verhalten des mindestens einen Partnersubjekts, insbesondere seinen Kommunikationssignalen, so festzulegen, dass ein Handlungsziel, also ein Zweck des gemeinsamen Handelns bzw. der Tätigkeit, erreicht wird.
  • Hierzu umfasst das vorgestellte System neben dem autonomen Fahrzeug eine Datenbankeinrichtung, mit der das autonome Fahrzeug kommunikativ verbindbar ist. Dies beinhaltet, dass eine dauerhafte oder zeitweise Verbindung zum Datenaustausch besteht, während der gespeicherte Daten von der Datenbankeinrichtung empfangen werden und ggf. neue oder aktualisierte Daten dort gespeichert werden können. In einer Ausführungsform befindet sich die Datenbankeinrichtung an Bord des Fahrzeugs. Insbesondere ist die Datenbankeinrichtung in einer weiteren Ausführungsform entfernt von dem Fahrzeug angeordnet und über eine drahtlose Datenverbindung mit dem Fahrzeug kommunikativ verbindbar.
  • Die Datenbankeinrichtung umfasst eine Datenbank oder eine Mehrzahl von einzelnen Datenbanken, in der bzw. in denen Datenbank-Informationen zu Kommunikationssignalen von Partnersubjekten, Handlungszielen und Szenarien verfügbar sind. Kommunikationssignale von Partnersubjekten können beispielsweise Sprachbefehle oder Gesten sein, z. B. Handgesten oder Körperhaltungen oder -bewegungen, denen eine Bedeutung zugeordnet ist. Aber z. B. auch Bewegungsabläufe können als Kommunikationssignale vorgesehen sein. Die Datenbankeinrichtung umfasst zudem bisher bekannte, zuvor festgelegte oder erlernte mögliche Handlungsziele. Diese stehen im Zusammenhang mit bisher bekannten, zuvor festgelegten Szenarien, in denen eine Umgebung mit einem Fahrzeug, Partnersubjekten und ggf. für die Tätigkeit erforderlichen Objekten in einen Zusammenhang gestellt ist. Ein Szenario kann beispielsweise die Umgebung einer Haus-Baustelle, einen Kran als Fahrzeug mit autonom steuerbaren Fahrzeugfunktionen, einen Benutzer außerhalb des Krans und eine Last als Objekt beinhalten. Ein Handlungsziel könnte darin bestehen, die Last sicher auf das Dach des Hauses zu befördern.
  • Das autonome Fahrzeug ist dazu ausgelegt, mit seiner Steuerungseinrichtung zunächst einen aktuellen Situationskontext zu ermitteln, in dem sich das Fahrzeug gerade befindet. Der Situationskontext entspricht dabei einem wahrscheinlichen Szenario zu einem bestimmten Zeitpunkt während der Tätigkeit, d. h. des Handlungsablaufs zur Erreichung des Handlungsziels, in dem zuvor beschriebenen Beispiel z. B. einer Situation, bei der die auf das Dach zu befördernde Last am Kran hängt. Der Situationskontext wird durch die Steuerungseinrichtung, beispielsweise durch deren geeignet programmierte programmierbare Einheit, anhand einer Auswertung von in von der Umgebungssensoreinrichtung aufgenommenen Sensorsignalen ermittelt, durch die die Umgebung des Fahrzeugs und mindestens ein Partnersubjekt sowie von diesem ausgehende Kommunikationssignale erfasst werden, wobei die von der Umgebungssensoreinrichtung aufgenommenen Sensorsignale unter Verwendung der Datenbankeinrichtung einem möglichen Szenario zugeordnet werden, um damit einen möglichen Situationskontext ermitteln zu können. Die Umgebungssensoreinrichtung umfasst einen oder mehrere Fahrzeugsensoren, beispielsweise eine Umgebungskamera, ein Außenmikrofon, Lidar, Radar und/oder Ultraschallsensoren sowie ggf. andere für den Verwendungszweck des jeweiligen Fahrzeugs geeignete Sensoren. In dem oben genannten Beispiel kann „die erfassten Kommunikationssignale unter Berücksichtigung des Situationskontextes in Steuersignale für die autonom steuerbaren Fahrzeugfunktionen umzusetzen“ beispielsweise bedeuten, dass ein in einem Situationskontext, in dem die Last bereits am Kran hängt, empfangenes Kommunikationssignal in Form eines Sprachbefehls „Weiter“ interpretiert wird, die Last höher zu heben (und z. B. nicht das Fahrzeug weiter wegzubewegen). Ein gleichbedeutendes Kommunikationssignal kann auch eine entsprechende Geste sein. Ein Kommunikationssignal zu empfangen, kann beispielsweise beinhalten, Audioaufnahmen auszuwerten und/oder in aktuelle Videoaufnahmen der Umgebung das mindestens eine Partnersubjekt mit Hilfe von Videoanalyseverfahren zu detektieren und von diesem ausgehende visuelle Kommunikationssignale auszuwerten.
  • Das beschriebene System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs sieht das autonome Fahrzeug selbst als Partnersubjekt vor, so dass Tätigkeiten, die zwei miteinander kooperierende Partnersubjekte erfordern, von nur einer Person effizient durchgeführt werden können.
  • In einer Ausführungsform ist die Steuerungseinrichtung dazu eingerichtet, den Situationskontext fortlaufend unter Berücksichtigung von erfassten Änderungen der Umgebung und/oder erfassten Kommunikationssignalen zu aktualisieren. Auf diese Weise wird sichergestellt, dass immer der tatsächlich aktuelle Situationskontext die Basis dafür bildet, wie die Umsetzung der Kommunikationssignale in Steuersignale erfolgt. Es wird somit fortlaufend berücksichtigt, dass sich die Situation, in der sich das mindestens eine Partnersubjekt und das Fahrzeug selbst als weiteres Partnersubjekt befinden, dynamisch entwickeln kann, wobei sich beispielsweise die Person, also das mindestens eine Partnersubjekt, das in Kooperation mit dem autonomen Fahrzeug versucht, die Tätigkeit durchzuführen, auch unerwartet, beispielsweise aufgrund unvorhergesehener Änderungen in der Umgebung, anders verhalten kann als dies aufgrund des angenommenen Szenarios zu erwarten war.
  • In einer bevorzugten Ausführungsform ist vorgesehen, dass die Steuerungseinrichtung dazu eingerichtet ist, anhand der Kommunikationssignale, dem ermittelten Situationskontext und den Datenbank-Informationen ein Handlungsziel des mindestens einen Partnersubjekts zu ermitteln. Hierzu sind in der Datenbankeinrichtung z. B. im Zusammenhang mit bekannten Szenarien mögliche voreingestellte oder erlernte Handlungsziele verfügbar, wobei dann aus dem Situationskontext oder dessen Änderung über der Zeit ein wahrscheinliches Handlungsziel ermittelt wird. Das Handlungsziel ist dabei das Lösen einer übergeordneten Aufgabe innerhalb des Szenarios. Sein Erreichen erfordert eine Mehrzahl von Handlungen, die die Partnersubjekte in Kooperation miteinander ausführen. Das Handlungsziel des Partnersubjekts zu ermitteln bedeutet ein Verstehen der Intention des Partnersubjekts auf der Basis des Situationskontextes. In einer bevorzugten Ausführungsform werden hierzu Verfahren der künstlichen Intelligenz verwendet, insbesondere Maschinenlernverfahren.
  • Dabei ist die Steuerungseinrichtung in einer beispielhaften Ausführungsform außerdem dazu eingerichtet, die erfassten Kommunikationssignale so in Steuersignale umzusetzen, dass das autonome Fahrzeug ein Erreichen des Handlungsziels des mindestens einen Partnersubjekts unterstützt. Auf diese Weise kann das autonome Fahrzeug, gesteuert durch die Steuerungseinrichtung, als kooperierendes Subjekt, das Erreichen des Handlungsziels unterstützen, ohne dass von einer Person bzw. einem Partnersubjekt Befehle erteilt werden müssen. Das autonome Fahrzeug kann selbständig geeignete Handlungen festlegen und/oder beispielsweise seinen Bewegungspfad planen, um das Erreichen des Handlungsziels bestmöglich zu unterstützen. Ist ein Handlungsziel ermittelt, sind explizite, direkte Befehle durch das Partnersubjekt an das autonome Fahrzeug ggf. nicht notwendig, da sich Handlungen des Partnersubjekts vorhersagen lassen und zur Unterstützung des gemeinsamen Handlungsziels geeignete Handlungen des autonomen Fahrzeugs von diesem selbst ermittelt werden können. Das autonome Fahrzeug ist also dazu eingerichtet, seine eigenen Aktionen bzw. Handlungen zum Erreichen des gemeinsamen Handlungsziels autonom zu planen und auszuführen. So wird ein kollaboratives System ermöglicht, mit dem auch Handlungsziele in komplexen Szenarien auf effiziente Weise kooperativ erreicht werden können.
  • In einer Ausführungsform umfassen die Kommunikationssignale indirekte Kommunikationssignale. Indirekte Kommunikationssignale sind beispielsweise Bewegungen, Rufe, Körperhaltungen, die im Situationskontext interpretiert werden müssen, um daraus Handlungsanweisungen bzw. Befehle und letztlich Steuersignale für das Fahrzeug abzuleiten. Indirekte Kommunikationssignale umfassen also auch implizite Kommunikationssignale. So muss die Person bzw. das Partnersubjekt seine Konzentration nicht auf direkte Befehle zum Steuern der Fahrzeugfunktionen richten, sondern kann sich auf seine erforderlichen eigenen Handlungen konzentrieren. Besteht das Handlungsziel beispielsweise darin, Pakete aus einem Laderaum des Fahrzeugs an verschiedenen Empfänger-Haustüren abzuliefern, die ein Paketbote nacheinander zu Fuß erreichen kann, ohne erneut in das Lieferfahrzeug zu steigen, kann bereits das Verhalten des Paketboten, sich zur nächsten Tür zu begeben, ein indirektes Kommunikationssignal sein, das das autonome Fahrzeug veranlasst, dem Paketboten zu folgen. Das autonome Fahrzeug plant also seine eigenen Handlungen zum Erreichen des gemeinsamen Handlungsziels und führt diese aus. Im genannten Beispiel ermittelt es hierzu selbst einen geeigneten Bewegungspfad.
  • In einer bevorzugten beispielhaften Ausführungsform ist die Steuerungseinrichtung dazu eingerichtet, mindestens ein Maschinenlernverfahren auszuführen, um zu lernen, indirekte Kommunikationssignale unter Berücksichtigung des Situationskontextes automatisch zu erkennen.
  • Dabei ist die Steuerungseinrichtung in einer weiteren beispielhaften Ausführungsform auch dazu eingerichtet, das mindestens eine Maschinenlernverfahren auszuführen, um zu lernen, indirekte Kommunikationssignale unter Berücksichtigung des Situationskontextes automatisch auszuwerten. Hierbei werden die indirekten Kommunikationssignale im Situationskontext interpretiert. Dies kann umfassen, das Handlungsziel des Partnersubjekts zu erfassen und bei der Interpretation der Kommunikationssignale zu berücksichtigen. Das Lernen kann dabei auf der Basis von in der Datenbankeinrichtung bereits verfügbaren Informationen erfolgen, kann aber aktuelle Situationskontexte und darin verfügbare direkte Kommunikationssignale umfassen.
  • In einer bevorzugten Ausführungsform ist die Steuerungseinrichtung dazu eingerichtet, Kommunikationssignale mit Hilfe eines trainierten neuronalen Netzes unter Berücksichtigung des Situationskontextes automatisch auszuwerten.
  • Ebenfalls in einer bevorzugten Ausführungsform des Systems wird die Datenbankeinrichtung über einen Cloud-basierten Netzwerkdienst bereitgestellt. So ist es beispielsweise möglich, eine besonders umfangreiche Datenbank mit Kommunikationssignalen von Partnersubjekten, Handlungszielen und Szenarien bereitzustellen, die nicht statisch ist oder nur durch Szenarien aktualisiert wird, an denen das autonome Fahrzeug selbst teilgenommen hat, sondern kann durch aktuelle Informationen von allen mit derselben Datenbankeinrichtung verbindbaren Fahrzeugen fortlaufend aktualisiert werden. Der Zugriff über eine Cloud stellt die jederzeitige Verfügbarkeit von aktuellen Datenbank-Informationen sicher, sofern nur eine drahtlose Verbindung über eine Schnittstelle des Fahrzeugs verfügbar ist. Das Bereitstellen über eine oder mehrere zentrale Datenbankeinheiten erlaubt es, jederzeit auch auf eine umfangreiche Anzahl von für verschiedene Szenarien geeignete Datenbanken, beispielsweise geeignete Gesten-Datenbanken und Modelle zuzugreifen, auch wenn keine geeigneten Informationen lokal verfügbar sind. In einer beispielhaften Ausführungsform kann die Datenbankeinrichtung auch teilweise über einen Cloud-basierten Netzwerkdienst bereitgestellt und teilweise über eine Datenbankeinheit an Bord des autonomen Fahrzeugs realisiert sein, so dass das System beispielsweise auch bei nicht verfügbarem Zugriff auf die Cloud einsatzbereit bleibt.
  • Gemäß einem zweiten Aspekt der Erfindung umfasst ein Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß dem ersten Aspekt der Erfindung ein Bereitstellen einer Datenbankeinrichtung mit Datenbank-Informationen zu Kommunikationssignalen von Partnersubjekten, Handlungszielen und Szenarien und eines mit der Datenbankeinrichtung kommunikativ verbindbaren autonomen Fahrzeugs mit autonom steuerbaren Fahrzeugfunktionen, einer Steuerungseinrichtung mit einer programmierbaren Einheit und einer Umgebungssensoreinrichtung; ein Aufnehmen, mit der Umgebungssensoreinrichtung, von Sensorsignalen einer Umgebung des Fahrzeugs und mindestens eines Partnersubjekts und Erfassen von von dem mindestens einen Partnersubjekt ausgehenden Kommunikationssignalen; ein Ermitteln eines Situationskontextes unter Berücksichtigung der Datenbank-Informationen; und ein Umsetzen der erfassten Kommunikationssignale unter Berücksichtigung des ermittelten Situationskontextes in Steuersignale für die autonom steuerbaren Fahrzeugfunktionen.
  • Gemäß einem dritten Aspekt der Erfindung umfasst ein Computerprogrammprodukt Codeanteile, die, wenn sie von einem Prozessor einer programmierbaren Einheit einer Steuerungseinrichtung eines autonomen Fahrzeugs eines Systems nach dem ersten Aspekt der Erfindung ausgeführt werden, das System veranlassen, ein Verfahren nach dem zweiten Aspekt der Erfindung durchzuführen. Dabei entsprechen die Codeanteile, d. h. der Programmcode, des Computerprogrammprodukts einem Computerprogramm, das Befehle umfasst, mit denen das System veranlasst wird, Schritte des Verfahrens durchzuführen. Die programmierbare Einheit der Steuerungseinrichtung umfasst dabei zumindest einen Prozessor und einen Speicher.
  • Gemäß einem vierten Aspekt der Erfindung weist ein computerlesbarer Datenträger ein Computerprogramprodukt gemäß dem dritten Aspekt der Erfindung auf. Ein computerlesbarer Datenträger kann sowohl ein computerlesbares Speichermedium als auch ein Datenträgersignal sein. Ein computerlesbares Speichermedium ist ein zum Speichern von Software geeignetes Medium, beispielsweise eine CD-ROM, eine DVD, eine Blu-Ray-Disk, ein USB-Stick, eine Festplatte usw. Ein Datenträgersignal ermöglicht eine kabelgebundene oder drahtlose Übertragung der Codeanteile.
  • Zudem ist gemäß einem fünften Aspekt der Erfindung ein Fahrzeug eingerichtet zum Betrieb als autonomes Fahrzeug eines Systems nach dem ersten Aspekt der Erfindung.
  • Somit werden die Vorteile und Besonderheiten des erfindungsgemäßen Systems zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, einschließlich seiner Ausführungsformen, auch im Rahmen eines Verfahrens zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs sowie eines Fahrzeugs zum Betrieb als Bestandteil des Systems, sowie eines Computerprogrammprodukts und eines computerlesbaren Datenträgers umgesetzt.
  • Weitere Vorteile der vorliegenden Erfindung sind aus der detaillierten Beschreibung und den Abbildungen ersichtlich. Die Erfindung wird nachstehend auch im Zusammenhang mit der folgenden Beschreibung von Ausführungsbeispielen mit Bezug auf die begleitenden Abbildungen näher erläutert. Es zeigen:
    • 1 eine schematische Darstellung eines Beispiels eines Systems zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß einer Ausführungsform der Erfindung;
    • 2 eine schematische Darstellung eines Zusammenwirkens von Handlungen eines Partnersubjekts und eines kooperierenden autonomen Fahrzeugs in einem System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß einer Ausführungsform der Erfindung;
    • 3 eine schematische Darstellung eines Beispiels eines Verfahrens zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß einer weiteren Ausführungsform der Erfindung;
    • 4 eine schematische Darstellung eines Beispiels eines Anwendungsfalls für ein System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs; und
    • 5 eine schematische Darstellung von Beispielen für direkte Kommunikationssignale eines Partnersubjekts.
  • Es versteht sich, dass andere Ausführungsformen benutzt und strukturelle oder logische Änderungen vorgenommen werden können, ohne von dem Schutzumfang der vorliegenden Erfindung abzuweichen. Es versteht sich, dass die Merkmale der vorstehend und nachstehend beschriebenen verschiedenen beispielhaften Ausführungsformen miteinander kombiniert werden können, sofern nicht spezifisch anders angegeben. Die Beschreibung ist deshalb nicht in einschränkendem Sinne aufzufassen, und der Schutzumfang der vorliegenden Erfindung wird durch die angefügten Ansprüche definiert.
  • In 1 wird eine schematische Darstellung eines Beispiels eines Systems 100 zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß einer Ausführungsform der Erfindung gezeigt. Das dargestellte System 100 weist eine Datenbankeinrichtung 101 mit Datenbank-Informationen zu Kommunikationssignalen von Partnersubjekten, Handlungszielen und Szenarien auf. Die Datenbankeinrichtung ist über einen Cloud-basierten Netzwerkdienst 111 in einem zumindest teilweise als drahtloses Netzwerk ausgeführten Datennetzwerk 110 kommunikativ mit einem autonomen Fahrzeug 102, d. h. mit einem Fahrzeug mit zumindest einer autonom steuerbaren Fahrzeugfunktion, verbunden. Das autonome Fahrzeug 102 verfügt über eine Steuerungseinrichtung 103 zum Steuern der autonom steuerbaren Fahrzeugfunktion. Die Steuerungseinrichtung 103 weist eine programmierbare Einheit 104 zumindest mit einem Prozessor 105 und einem Speicher 106 auf. Die Steuerungseinrichtung 103 weist auch eine Umgebungssensoreinrichtung 107 auf bzw. ist mit dieser verbunden, mit der Sensorsignale 108 der Umgebung des Fahrzeugs erfasst werden. Die Umgebungssensoreinrichtung umfasst beispielsweise zumindest einen Bildsensor, d. h. eine Kamera, bevorzugt eine Multi-Kamera-Vorrichtung für Rundumsicht, sowie einen Audiosensor, d. h. ein Mikrofon. In dem Speicher 106 der programmierbaren Einheit 104 sind Codeanteile gespeichert, die, wenn sie vom Prozessor 105 geladen und ausgeführt werden, die Steuerungseinrichtung 103 dazu einrichten, mit von der Umgebungssensoreinrichtung 107 aufgenommenen Sensorsignalen 108 eine Umgebung des Fahrzeugs 102, einschließlich eines Partnersubjekts 109, d. h. einer Person, mit der das Fahrzeug 102 im Rahmen des Systems 100 kooperieren soll, beispielsweise der Fahrer oder ein anderer Verfügungsberechtigter über das Fahrzeug 102, zu erfassen, ein von dem Partnersubjekt 109 beabsichtigtes Handlungsziel zu erreichen, und von diesem, d. h. dem Partnersubjekt 109, ausgehende Kommunikationssignale, beispielsweise direkte oder indirekte visuelle und/oder akustische Kommunikationssignale, zu erfassen und unter Berücksichtigung der Datenbank-Informationen einen Situationskontext zu ermitteln und die erfassten Kommunikationssignale unter Berücksichtigung des Situationskontextes in Steuersignale für die autonom steuerbaren Fahrzeugfunktionen umzusetzen.
  • In 2 wird eine schematische Darstellung eines Zusammenwirkens von Handlungen eines Partnersubjekts und eines kooperierenden autonomen Fahrzeugs in einem System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß einer Ausführungsform der Erfindung gezeigt. Das Fahrzeug 202 erfasst mit einer Umgebungssensoreinrichtung seine Umgebung 211, in der sich auch mindestens ein Partnersubjekt 209 befindet. Durch Auswertung der Umgebungssensorsignale wird der Zustand der Umgebung 211 ausgewertet und das Szenario, in dem sich das Fahrzeug 202 und das Partnersubjekt 209 befinden, erfasst. Durch Aktionen, d. h. Handlungen 212 des Partnersubjekts bzw. der Partnersubjekte 209 wird die Umgebung 211 beeinflusst und verändert. Diese neuen Umgebungszustände 214 und ggf. deren Auswirkungen auf das Fahrzeug 202 und das Partnersubjekt 209 werden wiederum von den Umgebungssensoren des autonomen Fahrzeugs 202 erfasst. Dadurch kann die Steuerungseinrichtung des Fahrzeugs 202 den Situationskontext, d. h. den aktuellen Zustand des Szenarios, und mit Hilfe von einer umfangreichen Datenbank, beispielsweise einer Mehrzahl unterschiedlicher, für verschiedene Szenarien und Handlungsziele ausgelegte Datenbanken, zentral zugänglich in einer Cloud, mit Szenarien und möglichen Handlungszielen und trainierten Modellen der künstlichen Intelligenz, z. B. trainierten künstlichen neuronalen Netzen, das aktuelle Handlungsziel 213 des Partnersubjekts ermitteln. Das heißt, es wird die wahrscheinliche Intention des Partnersubjekts ermittelt, um daraus in Kenntnis des aktuellen Situationskontextes die eigenen Handlungen 215 des autonomen Fahrzeugs 202 abzuleiten, mit denen das Erreichen des Handlungszieles unterstützt werden kann. Auch die Handlungen 215 des autonomen Fahrzeugs 202 beeinflussen dann wieder die Umgebung 211 und bewirken neue Umgebungszustände 214. Um die Handlungen des Fahrzeugs 202 zu ermitteln, kann die Steuerungseinrichtung ein Handlungsplanungsmodul umfassen, das eine geeignete Handlung oder Abfolge von Handlungen ermittelt, wobei diese in Kollaboration mit dem Partnersubjekt 209 sequentiell oder parallel zu dessen Handlungen erfolgen sollen.
  • In 3 wird eine schematische Darstellung eines Beispiels eines Verfahrens zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß einer weiteren Ausführungsform der Erfindung gezeigt. Das Verfahren 300 beginnt in einem Startzustand 301, in dem die autonome Steuerung der autonom steuerbaren Fahrzeugfunktionen des Fahrzeugs eines Systems zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, wie es beispielsweise in 1 gezeigt wird, aktiviert wird.
  • Es folgt ein Schritt des Bereitstellens 302 einer Datenbankeinrichtung mit Datenbank-Informationen zu Kommunikationssignalen von Partnersubjekten, Handlungszielen und Szenarien und des mit der Datenbankeinrichtung kommunikativ verbindbaren autonomen Fahrzeugs mit autonom steuerbaren Fahrzeugfunktionen, einer Steuerungseinrichtung mit einer programmierbaren Einheit und einer Umgebungssensoreinrichtung, sowie ein Aufnehmen 303, mit der Umgebungssensoreinrichtung, von Sensorsignalen einer Umgebung des Fahrzeugs und mindestens eines Partnersubjekts und ein Erfassen 304 von von dem mindestens einen Partnersubjekt ausgehenden Kommunikationssignalen und ein Ermitteln 305 eines Situationskontextes unter Berücksichtigung der Datenbank-Informationen.
  • In einem weiteren Schritt erfolgt dann ein Umsetzen 306 der erfassten Kommunikationssignale unter Berücksichtigung des ermittelten Situationskontextes in Steuersignale für die autonom steuerbaren Fahrzeugfunktionen.
  • In einem nächsten Schritt erfolgt ein Überprüfen 307, ob eine Abbruchbedingung erfüllt ist (beispielsweise das Handlungsziel bereits erreicht ist und/oder ein direktes Kommunikationssignal, den autonomen Betrieb zu beenden, empfangen wurde). Ist dies nicht der Fall (in 3 mit „-“ gekennzeichnet), wird das Verfahren mit dem weiteren Aufnehmen 303 von Sensorsignalen der Umgebung fortgesetzt. Ist die Abbruchbedingung erfüllt (in 3 mit „+“ gekennzeichnet), endet das Verfahren in einem Endzustand 308, in dem der autonome Betrieb des Fahrzeugs beendet wird oder in einem Ruhezustand auf eine erneute Aktivierung durch einen geeigneten Befehl wartet.
  • In 4 wird eine schematische Darstellung eines Beispiels eines Anwendungsfalls für ein System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gezeigt. In 4 wird ein Baustellenszenario 400 gezeigt, bei dem ein autonomes Fahrzeug 402 mit zwei Bauarbeitern bzw. Partnersubjekten kooperiert, einem ersten Partnersubjekt 409 auf dem Dach eines Hauses 401 und einem zweiten Partnersubjekt 410 am Boden. Das gemeinsame Handlungsziel besteht darin, Gegenstände, z. B. Ziegelsteine, auf das Hausdach zu befördern. Im aktuellen Situationskontext belädt das zweite Partnersubjekt 410 einen Lastenbehälter 404 an einem Seilzug 405 mit einem Gegenstand 406, damit dieser auf das Hausdach befördert wird. Das autonome Fahrzeug 402 verfügt über eine mit dem Seilzug verbundene Seilwinde 407. Im Falle von indirekter Kommunikation erkennt das autonome Fahrzeug 402 den Beladungsvorgang und unterstützt das Erreichen des Handlungsziels, indem es selbständig nach dem Beladen des Lastenbehälters 404 durch das zweite Partnersubjekt 410 die Seilwinde 407 aktiviert, um den Gegenstand 406 mit dem Seilzug 405 zu dem ersten Partnersubjekt 409 auf dem Hausdach zu befördern.
  • Auf einer Baustelle können diverse Handlungsziele durch ein autonomes Fahrzeug unterstützt werden, beispielsweise Überwachungsaufgaben oder das Verteilen von Gegenständen und Ausrüstung auf dem Gelände. Andere, nicht illustrierte Anwendungsfälle können z. B das Betreiben eines Bauernhofs betreffen, bei dem der Bauer durch ein autonomes Fahrzeug beim Verteilen von Futtermitteln o.ä. unterstützt wird, oder das Unterstützen von Soldaten oder anderen Einsatzgruppen, indem bei Bedarf Gegenstände transportiert werden, Umgebungsüberwachungsinformationen bereitgestellt werden oder sich das Fahrzeug bei Bedarf als Deckung positioniert.
  • In 5 wird eine schematische Darstellung von Beispielen für direkte Kommunikationssignale eines Partnersubjekts gezeigt. Direkte Kommunikationssignale dienen der expliziten Kommunikation. Das autonome Fahrzeug als Partnersubjekt empfängt über seine Umgebungserfassungseinrichtung Umgebungssignale, darunter Kommunikationssignale eines Partnersubjekts. Die direkten Kommunikationssignale ermöglichen es, Informationen über das Handlungsziel, die nächste Handlung oder einen direkten Befehl an den Empfänger, d. h. das autonome Fahrzeug zu übertragen. Hierfür kommen, sofern der Absender keine technischen Hilfsmittel verwendet, beispielsweise Sprach- oder andere Audiosignale, Gesten, Bewegungen usw. als Übertragungskanäle in Frage. Gehen die Kommunikationssignale von einer intelligenten Maschine aus, kommen ggf. auch andere Übertragungskanäle in Frage, die auf der Empfängerseite keine Sprach- oder Bilderkennung erfordern.
  • Für eine Gestenerkennung in Kamerabildern der Umgebungssensoreinrichtung ist die Steuereinrichtung dazu eingerichtet, zunächst ein Partnersubjekt in den Kamerabildsequenzen bzw. Umgebungssensorsignalen zu detektieren und über der Zeit weiterzuverfolgen. Dies kann direkt durch Bildanalyseverfahren erfolgen. Handelt es sich bei dem Partnersubjekt beispielsweise um den Fahrer oder anderen Verfügungsberechtigten, kann in einer Ausführungsform auch vorgesehen sein, zunächst den elektronischen Fahrzeugschlüssel oder ein für das Partnersubjekt bei dem autonomen Fahrzeug registriertes Mobiltelefon zu orten, um die Qualität und/oder Geschwindigkeit der Detektion des Partnersubjekts zu verbessern.
  • Als direkte Kommunikationssignale können beispielsweise Folgen von Handgesten 501 dienen, die das Alphabet codieren, so dass ein sehr großer Wortschatz an Befehlen möglich ist, sofern die Steuerungseinrichtung über die Datenbankeinrichtung auf ein entsprechendes Lexikon oder Codebuch zugreifen kann. Auch Körperhaltungen 502 können als Kommunikationssignale vorgesehen sein, ebenso wie Kombinationen aus Körper- und Handgesten. Ebenso können einzelne Gesten direkt einem Befehl zugeordnet sein, beispielsweise um das autonome Fahrzeug vor und zurück zu bewegen, zu wenden oder eine bestimmte Fahrzeugfunktion wie die Beleuchtung oder eine Seilwinde zu aktivieren o.ä. Auch Körperbewegungen können als Kommunikationssignale vorgesehen sein. Bewegt sich das Partnersubjekt beispielsweise in eine bestimmte Richtung, kann dies in einem geeigneten Situationskontext bedeuten, dass das Fahrzeug entscheiden soll zu folgen, sich anzunähern oder Platz zu machen.
  • Anstatt oder zusätzlich zu visueller direkter Kommunikation kann beispielsweise auch vorgesehen sein, Sprachsignale als direkte Kommunikationssignale zu nutzen, sofern die Umgebungssensoreinrichtung des autonomen Fahrzeugs ein Außenmikrofon umfasst und sofern das Partnersubjekt beispielsweise über seinen elektronischen Fahrzeugschlüssel, sein Mobiltelefon oder auch nach entsprechendem Training des Systems direkt durch Sprechererkennung identifiziert wurde. Auch haptische Kommunikationssignale können vorgesehen sein, sofern das autonome Fahrzeug über Berührungssensoren an seiner Außenfläche verfügt oder eine Schnittstelle bereitstellt, über die ein geeignetes berührungsempfindliches Steuergerät angeschlossen werden kann.
  • Anstatt oder zusätzlich zu den direkten Kommunikationssignalen können auch indirekte Kommunikationssignale verwendet werden, mit denen implizit das Handlungsziel, die nächste Handlung oder ein Befehl kommuniziert werden. Anstatt auf ein bekanntes Codebuch zurückzugreifen, um die empfangenen Signale zu verstehen, muss eine Interpretation in dem jeweiligen Situationskontext erfolgen, um beispielsweise das Handlungsziel basierend auf einer umfangreichen Datenbank mit Hilfe von Verfahren der künstlichen Intelligenz, insbesondere geeignet trainierten neuronalen Netzen, zu ermitteln und basierend auf dem Handlungsziel mögliche zukünftige Handlungen des Partnersubjekts vorherzusehen und autonom geeignete eigene unterstützende Handlungen festzulegen und auszuführen.
  • Es versteht sich, dass bei den verschiedenen Ausführungsformen des erfindungsgemäßen Verfahrens die Verfahrensschritte, obwohl gemäß einer gewissen geordneten Reihenfolge beschrieben, zum Teil in einer anderen als der hier beschriebenen Reihenfolge ausgeführt werden könnten. Es versteht sich weiterhin, dass gewisse Schritte gleichzeitig oder nacheinander, einfach oder mehrfach durchgeführt werden können, dass andere Schritte hinzugefügt werden könnten oder dass gewisse, hier beschriebene Schritte weggelassen werden könnten. Mit anderen Worten: Es werden die vorliegenden Beschreibungen zum Zwecke der Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten nicht als Beschränkung des offenbarten Gegenstands aufgefasst werden.
  • Der in der Beschreibung verwendete Ausdruck „und/oder“, wenn er in einer Reihe von zwei oder mehreren Elementen benutzt wird, bedeutet, dass jedes der aufgeführten Elemente alleine verwendet werden kann, oder es kann jede Kombination von zwei oder mehr der aufgeführten Elementen verwendet werden. Wird beispielsweise eine Zusammensetzung beschrieben, dass sie die Komponenten A, B und/oder C, enthält, kann die Zusammensetzung A alleine; B alleine; C alleine; A und B in Kombination; A und C in Kombination; B und C in Kombination; oder A, B, und C in Kombination enthalten.
  • Bezugszeichenliste
  • 100
    System zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs
    101
    Datenbankeinrichtung
    102
    autonomes Fahrzeug
    103
    Steuerungseinrichtung
    104
    programmierbare Einheit
    105
    Prozessor
    106
    Speicher
    107
    Umgebungssensoreinrichtung
    108
    Sensorsignal
    109
    Partnersubjekt
    110
    Datennetzwerk
    111
    Cloud-basierter Netzwerkdienst
    202
    autonomes Fahrzeug
    209
    Partnersubjekt
    211
    Umgebung
    212
    Handlungen des Partnersubjekts
    213
    Handlungsziel
    214
    neue Umgebungszustände
    215
    Handlungen des autonomen Fahrzeugs
    300
    Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs
    301
    Start
    302
    Bereitstellens einer Datenbankeinrichtung
    303
    Aufnehmen von Sensorsignalen
    304
    Erfassen von Kommunikationssignalen
    305
    Ermitteln eines Situationskontextes
    306
    Umsetzen der erfassten Kommunikationssignale in Steuersignale
    307
    Überprüfen, ob Abbruchbedingung erfüllt
    308
    Ende
    400
    Baustellenszenario
    401
    Haus
    402
    autonomes Fahrzeug
    404
    Lastenbehälter
    405
    Seilzug
    406
    Gegenstand
    407
    Seilwinde
    409
    erstes Partnersubjekt
    410
    zweites Partnersubjekt
    501
    Handgesten
    502
    Körperhaltungen
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 8577126 B2 [0006]

Claims (13)

  1. System (100) zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, umfassend eine Datenbankeinrichtung (101) mit Datenbank-Informationen zu Kommunikationssignalen von Partner-Subjekten, Handlungszielen und Szenarien; und ein mit der Datenbankeinrichtung (101) kommunikativ verbindbares autonomes Fahrzeug (102) mit autonom steuerbaren Fahrzeugfunktionen, einer Steuerungseinrichtung (103) mit einer programmierbaren Einheit (104) und einer Umgebungssensoreinrichtung (107), wobei die Steuerungseinrichtung (103) dazu eingerichtet ist, in von der Umgebungssensoreinrichtung (107) aufgenommenen Sensorsignalen (108) eine Umgebung des Fahrzeugs (102) und mindestens ein Partnersubjekt (109) und von diesem ausgehende Kommunikationssignale zu erfassen und unter Berücksichtigung der Datenbank-Informationen einen Situationskontext zu ermitteln und die erfassten Kommunikationssignale unter Berücksichtigung des Situationskontextes in Steuersignale für die autonom steuerbaren Fahrzeugfunktionen umzusetzen.
  2. System nach Anspruch 1, wobei die Steuerungseinrichtung (103) dazu eingerichtet ist, den Situationskontext fortlaufend unter Berücksichtigung von erfassten Änderungen der Umgebung und/oder erfassten Kommunikationssignalen zu aktualisieren.
  3. System nach Anspruch 1 oder Anspruch 2, wobei die Steuerungseinrichtung (103) außerdem dazu eingerichtet ist, anhand der Kommunikationssignale in Verbindung mit dem ermittelten Situationskontext und den Datenbank-Informationen ein Handlungsziel des mindestens einen Partner-Subjekts (109) zu ermitteln.
  4. System nach Anspruch 3, wobei die Steuerungseinrichtung (109) außerdem dazu eingerichtet ist, die erfassten Kommunikationssignale so in Steuersignale umzusetzen, dass das autonome Fahrzeug (103) ein Erreichen des Handlungsziels des mindestens einen Partner-Subjekts (109) unterstützt.
  5. System nach einem der vorhergehenden Ansprüche, wobei die Kommunikationssignale indirekte Kommunikationssignale umfassen.
  6. System nach Anspruch 5, wobei die Steuerungseinrichtung (103) dazu eingerichtet ist, mindestens ein Maschinenlernverfahren auszuführen, um zu lernen, indirekte Kommunikationssignale unter Berücksichtigung des Situationskontextes automatisch zu erkennen.
  7. System nach Anspruch 6, wobei die Steuerungseinrichtung (103) dazu eingerichtet ist, das mindestens eine Maschinenlernverfahren auszuführen, um zu lernen, indirekte Kommunikationssignale unter Berücksichtigung des Situationskontextes automatisch auszuwerten.
  8. System nach einem der vorhergehenden Ansprüche, wobei die Steuerungseinrichtung (103) dazu eingerichtet ist, Kommunikationssignale mit Hilfe eines trainierten neuronalen Netzes unter Berücksichtigung des Situationskontextes automatisch auszuwerten.
  9. System nach einem der vorhergehenden Ansprüche, wobei die Datenbankeinrichtung (101) über einen Cloud-basierten Netzwerkdienst (111) bereitgestellt wird.
  10. Verfahren (300) zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs gemäß einem der vorhergehenden Ansprüche, umfassend Bereitstellen (302) einer Datenbankeinrichtung mit Datenbank-Informationen zu Kommunikationssignalen von Partner-Subjekten, Handlungszielen und Szenarien und eines mit der Datenbankeinrichtung kommunikativ verbindbaren autonomen Fahrzeugs mit autonom steuerbaren Fahrzeugfunktionen, einer Steuerungseinrichtung mit einer programmierbaren Einheit und einer Umgebungssensoreinrichtung; Aufnehmen (303), mit der Umgebungssensoreinrichtung, von Sensorsignalen einer Umgebung des Fahrzeugs und mindestens eines Partnersubjekts und Erfassen (304) von von dem mindestens einen Partnersubjekt ausgehenden Kommunikationssignalen; Ermitteln (305) eines Situationskontextes unter Berücksichtigung der Datenbank-Informationen; und Umsetzen (306) der erfassten Kommunikationssignale unter Berücksichtigung des ermittelten Situationskontextes in Steuersignale für die autonom steuerbaren Fahrzeugfunktionen.
  11. Computerprogrammprodukt, das Codeanteile umfasst, die, wenn sie von einem Prozessor (105) einer programmierbaren Einheit (104) einer Steuereinrichtung (103) eines autonomen Fahrzeugs (102) eines Systems (100) nach einem der Ansprüche 1 bis 9 ausgeführt werden, das System veranlassen, ein Verfahren (300) nach Anspruch 10 durchzuführen.
  12. Computerlesbarer Datenträger, der ein Computerprogramprodukt nach Anspruch 11 aufweist.
  13. Fahrzeug, eingerichtet zum Betrieb als autonomes Fahrzeug (102) eines Systems (100) nach einem der Ansprüche 1 bis 9.
DE102021129535.1A 2021-11-12 2021-11-12 System und Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, Computerprogrammprodukt, computerlesbarer Datenträger und Fahrzeug Pending DE102021129535A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102021129535.1A DE102021129535A1 (de) 2021-11-12 2021-11-12 System und Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, Computerprogrammprodukt, computerlesbarer Datenträger und Fahrzeug
US18/050,054 US11904888B2 (en) 2021-11-12 2022-10-27 Controlling vehicle functions
CN202211395370.0A CN116118712A (zh) 2021-11-12 2022-11-09 控制车辆的功能

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021129535.1A DE102021129535A1 (de) 2021-11-12 2021-11-12 System und Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, Computerprogrammprodukt, computerlesbarer Datenträger und Fahrzeug

Publications (1)

Publication Number Publication Date
DE102021129535A1 true DE102021129535A1 (de) 2023-05-17

Family

ID=86144093

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021129535.1A Pending DE102021129535A1 (de) 2021-11-12 2021-11-12 System und Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, Computerprogrammprodukt, computerlesbarer Datenträger und Fahrzeug

Country Status (3)

Country Link
US (1) US11904888B2 (de)
CN (1) CN116118712A (de)
DE (1) DE102021129535A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577126B2 (en) 2007-04-11 2013-11-05 Irobot Corporation System and method for cooperative remote vehicle behavior
DE102014003913A1 (de) 2014-03-19 2015-09-24 Wabco Gmbh Verfahren und Vorrichtung zum Fernsteuern eines Kraftfahrzeugs, elektronisches Kraftfahrzeugsteuersystem und Kraftfahrzeug damit
DE102016120507A1 (de) 2015-11-04 2017-05-04 Ford Global Technologies, Llc Prädizieren von fahrzeugbewegungen anhand von fahrerkörpersprache
DE102017117223A1 (de) 2017-07-31 2019-01-31 Hamm Ag Arbeitsmaschine, insbesondere Nutzfahrzeug
DE102018213600A1 (de) 2018-08-13 2020-02-13 Conti Temic Microelectronic Gmbh - Gestenerkennungsvorrichtung für ein Fahrzeug -
DE102019132035A1 (de) 2019-11-26 2021-05-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Fahrzeug zur gestenbasierten Betätigung von Fahrzeugteilen

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092394B2 (en) * 2012-06-15 2015-07-28 Honda Motor Co., Ltd. Depth based context identification
US9855890B2 (en) * 2014-12-11 2018-01-02 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle interaction with external environment
CN105070288B (zh) * 2015-07-02 2018-08-07 百度在线网络技术(北京)有限公司 车载语音指令识别方法和装置
US10717412B2 (en) * 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
WO2019095013A1 (en) * 2017-11-20 2019-05-23 Ashok Krishnan Training of vehicles to improve autonomous capabilities
US11037556B2 (en) * 2018-07-17 2021-06-15 Ford Global Technologies, Llc Speech recognition for vehicle voice commands
KR20200042627A (ko) * 2018-10-16 2020-04-24 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20190085895A (ko) * 2019-07-01 2019-07-19 엘지전자 주식회사 사용자의 시선에 따라 제어 가능한 인공 지능 장치 및 그의 동작 방법
US11568239B2 (en) * 2019-08-13 2023-01-31 Lg Electronics Inc. Artificial intelligence server and method for providing information to user
US11550851B1 (en) * 2022-02-10 2023-01-10 Motional Ad Llc Vehicle scenario mining for machine learning models
US11814072B2 (en) * 2022-02-14 2023-11-14 May Mobility, Inc. Method and system for conditional operation of an autonomous agent

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577126B2 (en) 2007-04-11 2013-11-05 Irobot Corporation System and method for cooperative remote vehicle behavior
DE102014003913A1 (de) 2014-03-19 2015-09-24 Wabco Gmbh Verfahren und Vorrichtung zum Fernsteuern eines Kraftfahrzeugs, elektronisches Kraftfahrzeugsteuersystem und Kraftfahrzeug damit
DE102016120507A1 (de) 2015-11-04 2017-05-04 Ford Global Technologies, Llc Prädizieren von fahrzeugbewegungen anhand von fahrerkörpersprache
DE102017117223A1 (de) 2017-07-31 2019-01-31 Hamm Ag Arbeitsmaschine, insbesondere Nutzfahrzeug
DE102018213600A1 (de) 2018-08-13 2020-02-13 Conti Temic Microelectronic Gmbh - Gestenerkennungsvorrichtung für ein Fahrzeug -
DE102019132035A1 (de) 2019-11-26 2021-05-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Fahrzeug zur gestenbasierten Betätigung von Fahrzeugteilen

Also Published As

Publication number Publication date
US11904888B2 (en) 2024-02-20
CN116118712A (zh) 2023-05-16
US20230150535A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
EP3478535B1 (de) Verfahren zum betrieb eines kraftfahrzeugs
DE102017202122A1 (de) Fahrzeugsteuersystem
EP3416017B1 (de) System aus einem sich selbsttätig innerhalb einer umgebung fortbewegenden fahrzeug und einer in der umgebung befindlichen tür
DE102016211180A1 (de) Verfahren und Vorrichtung zum Durchführen einer automatisierten Fahrt eines Fahrzeugs
DE102019217568B4 (de) System von autonomen einrichtungen und steuerungsverfahren davon
DE102011000820A1 (de) Frachtladesystem und Verfahren zur Steuerung einer Vielzahl von Frachtfördereinrichtungen
EP3268264B1 (de) Verfahren und vorrichtung zum erzeugen einer zugriffsmöglichkeit auf einen fahrzeuginnenraum
DE102009056640A1 (de) Robotersystem mit einer Mehrzahl mechanischer Roboterteile
EP3333116B1 (de) Verfahren zur automatischen ausrichtung eines flurförderzeugs in einem warenlager sowie system aus einem flurförderzeug und einem warenlager
DE102016224510A1 (de) Verfahren zur Bereitstellung von Ergebnisdaten, die von einem Kraftfahrzeugumfeld abhängen
DE112022002107T5 (de) Systeme, vorrichtungen und verfahren zur entwicklung autonomer roboter
DE102017102116A1 (de) Verfahren und System zur Positionsbestimmung von mindestens einem Flurförderzeug
DE102016206781A1 (de) Verfahren zur Steuerung einer Mehrzahl von mobilen fahrerlosen Manipulatorsystemen
DE102018109299A1 (de) Verfahren zum Informationsaustausch zwischen Flurförderzeugen und intralogistisches System mit entsprechenden Flurförderzeugen
DE102015216865A1 (de) Verfahren und Vorrichtung zum Betreiben von mehreren hintereinander parkenden Kraftfahrzeugen
DE102011000819A1 (de) Ladesystem für ein Flugzeug und Verfahren zur Förderung eines Frachtstücks auf einem Frachtdeck
DE102019203214A1 (de) Verfahren zum Betreiben eines Roboters in einem Multiagentensystem, Roboter und Multiagentensystem
EP2890056A1 (de) Unterstützung von Nutzern in einer intelligenten häuslichen Umgebung
DE102021129535A1 (de) System und Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, Computerprogrammprodukt, computerlesbarer Datenträger und Fahrzeug
DE102021102461A1 (de) System zum durchführen von arbeitsabläufen in einem logistikumfeld
EP3467722B1 (de) Konfiguration einer kraftfahrzeug-fahrerassistenzvorrichtung mit einem neuronalen netzwerk im laufenden betrieb
DE102014215293B4 (de) Kraftfahrzeug für den Transport eines Tieres, Verfahren zur Erleichterung eines Zugangs zu einer Zugangsöffnung eines Kraftfahrzeugs und fahrzeugexterner Transmitter für ein Tier oder Tierhalsband
DE102017210394B3 (de) Verfahren zum Betrieb von Kraftfahrzeugen in einer Parkumgebung und Recheneinrichtung
WO2019057679A1 (de) Verfahren und robotersystem zum anpassen eines robotereinsatzes an einen arbeitsprozess
DE102015210757A1 (de) Logistiksystem

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication