DE102019119524B3 - System comprising a control device and a method for teleoperation of an at least partially automated vehicle - Google Patents

System comprising a control device and a method for teleoperation of an at least partially automated vehicle Download PDF

Info

Publication number
DE102019119524B3
DE102019119524B3 DE102019119524.1A DE102019119524A DE102019119524B3 DE 102019119524 B3 DE102019119524 B3 DE 102019119524B3 DE 102019119524 A DE102019119524 A DE 102019119524A DE 102019119524 B3 DE102019119524 B3 DE 102019119524B3
Authority
DE
Germany
Prior art keywords
vehicle
driving parameters
current problem
server
optimal action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102019119524.1A
Other languages
German (de)
Inventor
Dominik RIETH
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102019119524.1A priority Critical patent/DE102019119524B3/en
Application granted granted Critical
Publication of DE102019119524B3 publication Critical patent/DE102019119524B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G05D1/0297—Fleet control by controlling means in a control room
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205—Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Erfindung umfasst System zur Teleoperation eines zumindest teilweise automatisiert fahrenden Fahrzeugs. Das System umfasst zumindest ein teilweise automatisiert fahrendes Fahrzeug. Das Fahrzeug umfasst zumindest einen Sensor, der eingerichtet ist, kontinuierlich technische Fahrparameter des Fahrzeugs zu erfassen; zumindest eine Recheneinheit, die eingerichtet ist, die erfassten technischen Fahrparameter zu verarbeiten; und zumindest eine Steuereinheit, die eingerichtet ist, das Fahrzeug autonom zu steuern. Das System umfasst zudem zumindest einen Server der eingerichtet ist, eine aktuelle Problemstellung des Fahrzeugs zu ermitteln, ; die verarbeiteten technischen Fahrparameter zu empfangen; und eine optimale Aktion für das Fahrzeug basierend auf den empfangenen technischen Fahrparametern zu ermitteln, um die aktuelle Problemstellung zu lösen; und das Fahrzeug entsprechend der optimalen Aktion zu teleoperieren.The present invention comprises systems for teleoperation of an at least partially automated vehicle. The system comprises at least one partially automated driving vehicle. The vehicle comprises at least one sensor which is set up to continuously record technical driving parameters of the vehicle; at least one arithmetic unit which is set up to process the acquired technical driving parameters; and at least one control unit that is set up to autonomously control the vehicle. The system also comprises at least one server which is set up to determine a current problem of the vehicle; receive the processed technical driving parameters; and to determine an optimal action for the vehicle based on the received technical driving parameters in order to solve the current problem; and teleoperate the vehicle according to the optimal action.

Description

Die vorliegende Erfindung betrifft ein System umfassend eine Steuereinrichtung und ein Verfahren zur robusten und sicheren Teleoperation eines zumindest teilweise automatisiert fahrenden Fahrzeugs.The present invention relates to a system comprising a control device and a method for robust and safe teleoperation of an at least partially automated vehicle.

Moderne Fahrzeuge umfassen eine Vielzahl von Sensoren, die beispielsweise bei der Bereitstellung von Fahrerassistenzsystemen eine Rolle spielen um teilautonom oder autonom in den Antrieb, die Steuerung und/oder Signalisierungseinrichtungen des Fahrzeugs einzugreifen. Die Sensoren können beispielsweise Videokameras, Positionsermittlungs-Sensoren, Lidar-Sensoren, Radar-Sensoren, etc. umfassen. Die durch die Sensoren erfassten Messgrößen bzw. Daten werden Verarbeitet und für den Einsatz der Fahrerassistenzsysteme verwertet.Modern vehicles include a large number of sensors which, for example, play a role in the provision of driver assistance systems in order to intervene semi-autonomously or autonomously in the drive, control and / or signaling devices of the vehicle. The sensors can include, for example, video cameras, position detection sensors, lidar sensors, radar sensors, etc. The measured variables or data recorded by the sensors are processed and used for the use of the driver assistance systems.

Zumindest teilweise automatisiert fahrende Fahrzeuge verknüpfen eine Vielzahl der vorgenannten sowie weiterer Sensoren in Kombination mit hochpräzisen digitalen Kartendaten (HD-Maps) und hochpräzisen Positionsdaten, um zu wissen, wo sie sich gerade befinden, welche Strecken um diese herum liegen und wie sie auf verschiedene Verkehrsszenarien zu reagieren haben.At least partially automated vehicles link a large number of the aforementioned and other sensors in combination with high-precision digital map data (HD maps) and high-precision position data in order to know where they are, which routes are around them and how they respond to different traffic scenarios have to react.

Hochpräzise digitale Karten bzw. HD-Maps sind digitale Karten, die einen sehr hohen - beispielsweise cm-genauen - Präzisionsgrad aufweisen und speziell für automatisiertes Fahren entwickelt wurden.High-precision digital maps or HD maps are digital maps that have a very high degree of precision - for example, to the nearest centimeter - and have been specially developed for automated driving.

Hochpräzise Positionsdaten einer geografischen Position können über einen geeigneten Positionsermittlungs-Sensor zur unter Verwendung eines Navigationssatellitensystems ermittelt werden. Bei dem Navigationssatellitensystem kann es sich um jedes gängige sowie künftige globale Navigationssatellitensystem bzw. Global Navigation Satellite System (GNSS) zur Positionsbestimmung und Navigation durch den Empfang der Signale von Navigationssatelliten und/oder Pseudoliten handeln. Beispielsweise kann es sich dabei handeln um das Global Positioning System (GPS), GLObal NAvigation Satellite System (GLONASS), Galileo, positioning system, und/oder BeiDou Navigation Satellite System, handeln.Highly precise position data of a geographical position can be determined via a suitable position determination sensor for using a navigation satellite system. The navigation satellite system can be any current or future global navigation satellite system or Global Navigation Satellite System (GNSS) for position determination and navigation by receiving the signals from navigation satellites and / or pseudolites. For example, it can be the Global Positioning System (GPS), GLObal NAvigation Satellite System (GLONASS), Galileo, positioning system, and / or BeiDou Navigation Satellite System.

Trotz der Verfügbarkeit der vorgenannten, hochpräzisen Messgrößen bzw. Daten kann es bei zumindest teilweise autonom fahrenden Fahrzeugen vorkommen, dass das Fahrzeug bzw. der jeweils aktive Fahrmodus mit einer Situation im Gesamtumfeld konfrontiert ist, aus der das Fahrzeug bzw. der aktive Fahrmodus keine eindeutige Aktion bzw. Reaktion ableiten kann. Als Lösung auf solche Probleme ist es aus dem Stand der Technik bekannt, Fahrzeuge mit nur geringer Latenz zu teleoperieren bzw. fernzusteuern. Teleoperation bedeutet, dass ein menschlicher Operator die Kontrolle über das Fahrzeug übernimmt, um die unbekannte Komplexität extern das Fahrzeug mithilfe der Live-(Mess-)Daten der vorgenannten Fahrzeugsensoren, die vom Fahrzeug übermittelt werden, zu beherrschen. Die Live-(Mess-) Daten können vor der Datenübertragung bereits im Fahrzeug geeignet verarbeitet werden, um die zu übertragende Datenmenge zu minimieren. Dazu ist der Operator mittels einer geeigneten Kommunikationsverbindung, z.B. WLAN, Mobilfunk, etc. mit dem Fahrzeug verbunden. Die Kommunikation kann durch einen geeigneten Server gesteuert werden. Nachteilig bei der Teleoperation ist, dass jedem Fahrzeug bei jedem Problem ein Operator zugeordnet werden muss (1:1 - Beziehung). Jeder Operator muss entsprechend ausgebildet sein und die hohe Verantwortung, das Fahrzeug zu teleoperieren, übernehmen. Insbesondere in Hinblick auf die steigende Anzahl zumindest teilweise autonom fahrender Fahrzeuge ist diese Vorgehensweise sehr zeit- und kostenintensiv.Despite the availability of the aforementioned, high-precision measured variables or data, it can happen in at least partially autonomous vehicles that the vehicle or the respective active driving mode is confronted with a situation in the overall environment from which the vehicle or the active driving mode is not a clear action or can derive a reaction. As a solution to such problems, it is known from the prior art to teleoperate or remotely control vehicles with only low latency. Teleoperation means that a human operator takes control of the vehicle in order to master the unknown complexity externally of the vehicle with the help of the live (measurement) data of the aforementioned vehicle sensors, which are transmitted by the vehicle. The live (measurement) data can already be suitably processed in the vehicle before the data transmission in order to minimize the amount of data to be transmitted. For this purpose, the operator is connected by means of a suitable communication connection, e.g. WLAN, cellular network, etc. connected to the vehicle. Communication can be controlled by a suitable server. The disadvantage of teleoperation is that an operator must be assigned to each vehicle for each problem (1: 1 relationship). Every operator must be trained accordingly and assume the high responsibility of teleoperating the vehicle. This procedure is very time-consuming and costly, particularly in view of the increasing number of at least partially autonomous vehicles.

Druckschrift WO 2019 / 125 489 A1 offenbart ein Verfahren zum Steuern von Fahrzeugen. Das Verfahren umfasst das Empfangen von Fahrzeugdaten und externen Daten eines Fahrzeugsteuerungssystems eines Fahrzeugs. Das Verfahren umfasst zudem das Erstellen einer Umgebungsdarstellung eines Transportnetzwerks in der Umgebung der Fahrzeugposition. Zudem umfasst das Verfahren die Ausgabe der Umgebungsdarstellung über eine grafische Nutzerschnittstelle. Das Verfahren umfasst ferner das Empfangen eines Lösungspfades über die grafische Nutzerschnittstelle, wobei der Lösungspfad eine Route und einen oder mehrere Haltepunkte anzeigt. Das Fahrzeug empfängt die Route und beginnt, das Transportnetzwerk entlang des Lösungspfades zu traversieren.Pamphlet WO 2019/125 489 A1 discloses a method of controlling vehicles. The method includes receiving vehicle data and external data from a vehicle control system of a vehicle. The method also includes creating a representation of the surroundings of a transport network in the vicinity of the vehicle position. In addition, the method includes the output of the representation of the surroundings via a graphic user interface. The method further comprises receiving a solution path via the graphical user interface, the solution path indicating a route and one or more stops. The vehicle receives the route and begins to traverse the transportation network along the solution path.

Druckschrift DE 102017202065 A1 offenbart ein Verfahren zum Koordinieren eines Verkehrs mehrerer Kraftfahrzeuge innerhalb eines vorbestimmten Infrastrukturbereichs durch eine zentrale Servervorrichtung, wobei die zentrale Servervorrichtung aus den Kraftfahrzeugen jeweils wiederholt einen jeweiligen aktuellen Fahrstatus und eine jeweilige aktuelle Fahrintention des Kraftfahrzeugs empfangt und für jedes der Kraftfahrzeuge jeweils ein aktuelles Koordinationsergebnis, das angibt, ob dem Kraftfahrzeug ausgehend von seinem aktuellen Fahrstatus seine Fahrintention gemäß einer vorbestimmten Verkehrsregelung aufgrund eines jeweiligen Fahrstatus und/oder einer jeweiligen Fahrintention zumindest eines anderen der Kraftfahrzeuge verboten ist, ermittelt und abhängig von dem Koordinationsergebnis für jedes der Kraftfahrzeuge eine jeweilige aktuelle erlaubte Verhaltensweise ermittelt und an die Kraftfahrzeuge wiederholt die jeweils ermittelte, in dem Infrastrukturbereich für das jeweilige Kraftfahrzeug aktuell erlaubte Verhaltensweise als eine Koordinationsmitteilung zur selbständigen Anpassung seiner Fahrintention signalisiert.Pamphlet DE 102017202065 A1 discloses a method for coordinating traffic of several motor vehicles within a predetermined infrastructure area by a central server device, the central server device repeatedly receiving a respective current driving status and a respective current driving intention of the motor vehicle from the motor vehicles and a current coordination result for each of the motor vehicles indicates whether the motor vehicle, based on its current driving status, is prohibited from driving its driving intention according to a predetermined traffic control based on a respective driving status and / or a respective driving intention of at least one other of the motor vehicles, and determines a respective current permitted behavior for each of the motor vehicles depending on the coordination result and to the motor vehicles repeatedly the determined current in the infrastructure area for the respective motor vehicle allowed behavior is signaled as a coordination message for independent adaptation of his driving intention.

Druckschrift DE 102011083039 A1 offenbart eine Vorrichtung zum Betreiben eines Fahrzeugs, mit einem Fahrerassistenzsystem zum Bereitstellen einer Fahrerassistenzfunktion und einer Steuerung zum Steuern des Fahrerassistenzsystems abhängig von Fahrzeugumfelddaten und einem den Fahrzeugumfelddaten zugeordneten Gütefaktor.Pamphlet DE 102011083039 A1 discloses a device for operating a vehicle, with a driver assistance system for providing a driver assistance function and a controller for controlling the driver assistance system as a function of vehicle surroundings data and a quality factor assigned to the vehicle surroundings data.

Druckschrift DE 102013201169 A1 offenbart ein bedarfsweise aktivierbares Fernsteuerungssystem für Kraftfahrzeuge über eine Funk-Datenkommunikationsverbindung mit einer Zentrale. Die Zentrale ist eingerichtet, Anforderungen von Fernüberwachung und/oder Fernsteuerung eines Kraftfahrzeug und Angebote zur Durchführung der Fernsteuerung des Kraftfahrzeugs von fern von der Zentrale befindlichen persönlichen Datenendgeräten aus zu vermitteln und nach Annahme eines Angebots eine Datenkommunikationsverbindung zwischen dem Kraftfahrzeug und dem persönlichen Datenendgerät, von dem das Angebot stammt, bereitzustellen. Jedes persönliche Datenendgerät ist eingerichtet, die Fernüberwachung und/oder Fernsteuerung des Kraftfahrzeugs über die bereitgestellte Datenkommunikationsverbindung nach Art von Fahrsimulations-Computerspielen durchzuführen.Pamphlet DE 102013201169 A1 discloses a remote control system for motor vehicles that can be activated on demand via a radio data communication link with a control center. The center is set up to convey requests for remote monitoring and / or remote control of a motor vehicle and offers to carry out the remote control of the motor vehicle from personal data terminals located remotely from the center and, after accepting an offer, a data communication connection between the motor vehicle and the personal data terminal from which the offer originates. Each personal data terminal is set up to carry out the remote monitoring and / or remote control of the motor vehicle via the data communication connection provided in the manner of driving simulation computer games.

Die Aufgabe der Erfindung besteht darin, eine Lösung bereitzustellen, die eine kostengünstige, zumindest teil-automatisierte Teleoperation autonom fahrender Fahrzeuge ermöglicht.The object of the invention is to provide a solution that enables cost-effective, at least partially automated teleoperation of autonomously driving vehicles.

Diese Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.According to the invention, this object is achieved by the features of the independent claims. Preferred embodiments are the subject of the dependent claims.

Die vorstehend genannte Aufgabe wird durch ein System zur Teleoperation eines zumindest teilweise automatisiert fahrenden Fahrzeugs gelöst, umfassend:

  • - zumindest ein teilweise automatisiert fahrendes Fahrzeug, wobei das Fahrzeug umfasst:
    • - zumindest einen Sensor, der eingerichtet ist, technische Fahrparameter des Fahrzeugs zu erfassen;
    • - zumindest eine Recheneinheit, die eingerichtet ist, die erfassten technischen Fahrparameter zu verarbeiten; und
    • - zumindest eine Steuereinheit, die eingerichtet ist, das Fahrzeug autonom zu steuern; und
  • - zumindest einen Server der eingerichtet ist,
    • - eine aktuelle Problemstellung des Fahrzeugs zu ermitteln;
    • - die verarbeiteten technischen Fahrparameter zu empfangen; und
    • - eine optimale Aktion für das Fahrzeug basierend auf den empfangenen technischen Fahrparametern zu ermitteln, um die aktuelle Problemstellung zu lösen; und
    • - das Fahrzeug entsprechend der optimalen Aktion zu teleoperieren.
The above-mentioned object is achieved by a system for teleoperation of an at least partially automated vehicle, comprising:
  • - At least one partially automated driving vehicle, the vehicle comprising:
    • - At least one sensor which is set up to detect technical driving parameters of the vehicle;
    • - At least one arithmetic unit which is set up to process the acquired technical driving parameters; and
    • - At least one control unit which is set up to control the vehicle autonomously; and
  • - at least one server that is set up,
    • - to determine a current problem of the vehicle;
    • - receive the processed technical driving parameters; and
    • - to determine an optimal action for the vehicle based on the received technical driving parameters in order to solve the current problem; and
    • - to teleoperate the vehicle according to the optimal action.

Das System umfasst zumindest ein Fahrzeug. Der Begriff Fahrzeug umfasst im Rahmen des Dokuments mobile Verkehrsmittel, die dem Transport von Personen (Personenverkehr), Gütern (Güterverkehr) oder Werkzeugen (Maschinen oder Hilfsmittel) dienen. Insbesondere umfasst der Begriff Fahrzeug Kraftfahrzeuge sowie Kraftfahrzeuge, die zumindest teilweise elektrisch angetrieben sein können (Elektroauto, Hybridfahrzeuge).The system includes at least one vehicle. In the context of the document, the term vehicle includes mobile means of transport that are used to transport people (passenger transport), goods (freight transport) or tools (machines or aids). In particular, the term vehicle includes motor vehicles as well as motor vehicles that can be at least partially electrically powered (electric car, hybrid vehicles).

Das Fahrzeug ist ein zumindest teilweise automatisiert fahrendes Fahrzeug. Unter dem Begriff „automatisiertes fahrendes Fahrzeug“ bzw. „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. The vehicle is an at least partially automated vehicle. The term “automated driving vehicle” or “automated driving” can be understood in the context of the document as driving with automated longitudinal or lateral guidance or autonomous driving with automated longitudinal and lateral guidance. The automated driving can be, for example, driving on the motorway for a longer period of time or driving for a limited time as part of parking or maneuvering. The term “automated driving” includes automated driving with any degree of automation. Exemplary degrees of automation are assisted, partially automated, highly automated or fully automated driving. These degrees of automation were defined by the Federal Highway Research Institute (BASt) (see BASt publication “Research compact”, edition 11/2012). With assisted driving, the driver continuously performs longitudinal or lateral guidance, while the system takes on the other function within certain limits. With partially automated driving, the system takes over the longitudinal and lateral guidance for a certain period of time and / or in specific situations, whereby the driver has to constantly monitor the system as with assisted driving. In the case of highly automated driving, the system takes over the longitudinal and lateral guidance for a certain period of time without the driver having to constantly monitor the system; however, the driver must be able to take over driving the vehicle within a certain period of time.

Beim vollautomatisierten Fahren kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann.With fully automated driving, the system can handle driving automatically in all situations for a specific application; a driver is no longer required for this application. The four degrees of automation mentioned above correspond to SAE levels 1 to 4 of the SAE J3016 standard (SAE - Society of Automotive Engineering). In addition, SAE J3016 provides SAE level 5 as the highest level of automation, which is not included in the definition of BASt. SAE level 5 corresponds to driverless driving, in which the system can automatically handle all situations like a human driver during the entire journey.

Das Fahrzeug umfasst zumindest einen Sensor, der eingerichtet ist, kontinuierlich technische Fahrparameter des Fahrzeugs zu erfassen. Der zumindest eine Sensor kann im bzw. am Fahrzeug angebrachte Kameras, z.B. Videokameras und/oder im bzw. am Fahrzeug angebrachte Sensoren zur Abstandsmessung und/oder Objekterkennung (z.B. Radar- und/oder Lidar-Sensoren) und/oder jeden anderen Sensor, der geeignet ist, technische Fahrparameter zu erfassen, umfassen.The vehicle comprises at least one sensor which is set up to continuously record technical driving parameters of the vehicle. The at least one sensor can be cameras mounted in or on the vehicle, e.g. Video cameras and / or sensors mounted in or on the vehicle for distance measurement and / or object recognition (e.g. radar and / or lidar sensors) and / or any other sensor that is suitable for recording technical driving parameters.

Das Fahrzeug umfasst zudem zumindest eine Recheneinheit, die eingerichtet ist, die erfassten technischen Fahrparameter geeignet zu verarbeiten. Zudem umfasst das Fahrzeug zumindest eine Steuereinheit, die eingerichtet ist, das Fahrzeug autonom zu steuern.The vehicle also includes at least one arithmetic unit which is set up to process the technical driving parameters recorded in a suitable manner. In addition, the vehicle comprises at least one control unit which is set up to control the vehicle autonomously.

Der zumindest eine Sensor und/oder die Recheneinheit und/oder können fest im Fahrzeug integriert sein. Darüber hinaus oder alternativ dazu können der zumindest eine Sensor und/oder die Recheneinheit und/oder die Steuereinheit in einer in einem geeigneten externen Gerät angebracht sein, wobei das geeignete externe Gerät mit dem Fahrzeug drahtlos und/oder drahtgebunden kommunizieren kann. Beispielsweise kann eine Videokamera eines mobilen Endgeräts als Sensor für das Fahrzeug dienen. Darüber hinaus oder alternativ dazu können ein oder mehrere Sensoren an einer Drohne angebracht sein, die mit dem Fahrzeug verbunden ist. Weitere geeignete externe Geräte sind denkbar.The at least one sensor and / or the computing unit and / or can be permanently integrated in the vehicle. In addition or as an alternative to this, the at least one sensor and / or the computing unit and / or the control unit can be mounted in a suitable external device, wherein the suitable external device can communicate with the vehicle in a wireless and / or wired manner. For example, a video camera of a mobile terminal can serve as a sensor for the vehicle. In addition or as an alternative to this, one or more sensors can be attached to a drone that is connected to the vehicle. Other suitable external devices are conceivable.

Das Fahrzeug und/oder das externe Gerät kann ein Kommunikationsmodul umfassen. Das Kommunikationsmodul ist in der Lage, eine Kommunikationsverbindung mit anderen Kommunikationsteilnehmern, z.B. anderen Fahrzeugen, dem Backend-Server, mobilen Endgeräten etc., aufzubauen, um Daten zu übertragen. Das Kommunikationsmodul kann ein Teilnehmeridentitätsmodul bzw. ein Subscriber Identity Module bzw. eine SIM-Karte (nicht gezeigt) umfassen, welche(s) dazu dient, eine Kommunikationsverbindung über ein Mobilfunksystem aufzubauen. Das Teilnehmeridentitätsmodul identifiziert dabei das Kommunikationsmodul eindeutig im Mobilfunknetz. Bei der Kommunikationsverbindung kann es sich um eine Datenverbindung (z.B. Paketvermittlung) und/oder um eine leitungsgebundene Kommunikationsverbindung (z.B. Leitungsvermittlung) handeln. Auch eine drahtlose Kommunikationsverbindung über weitere gängige und künftige Technologien, z.B. lokale Netzwerke bzw. Local Area Networks (LANs) wie z.B. Wireless LANs etc. kann über das Kommunikationsmodul mit anderen Kommunikationsteilnehmern aufgebaut werden.The vehicle and / or the external device can include a communication module. The communication module is able to establish a communication link with other communication participants, e.g. other vehicles, the backend server, mobile devices, etc. to transfer data. The communication module can comprise a subscriber identity module or a subscriber identity module or a SIM card (not shown) which is used to set up a communication connection via a mobile radio system. The subscriber identity module uniquely identifies the communication module in the cellular network. The communication link can be a data link (e.g. packet switching) and / or a wired communication link (e.g. line switching). A wireless communication link via other current and future technologies, e.g. local networks or Local Area Networks (LANs) such as Wireless LANs etc. can be set up with other communication participants via the communication module.

Das System umfasst zumindest einen Server. Der Server ist eingerichtet, eine aktuelle Problemstellung des Fahrzeugs zu ermitteln. Der Server ist zudem eingerichtet, die verarbeiteten technischen Fahrparameter vom Fahrzeug zu empfangen und eine optimale Aktion für das Fahrzeug - unter Berücksichtigung der bzw. basierend auf den empfangenen technischen Parametern - zu ermitteln, um die aktuelle Problemstellung des Fahrzeug zu lösen. Darüber hinaus ist der Server eingerichtet, das Fahrzeug entsprechend der ermittelten optimalen Aktion zu teleoperieren.The system includes at least one server. The server is set up to determine a current problem with the vehicle. The server is also set up to receive the processed technical driving parameters from the vehicle and to determine an optimal action for the vehicle - taking into account or based on the received technical parameters - in order to solve the current problem of the vehicle. In addition, the server is set up to teleoperate the vehicle according to the determined optimal action.

Vorzugsweise umfasst wobei das Ermitteln der aktuellen Problemstellung des Fahrzeugs das Ermitteln von geografischen Positionen auf einer Route des Fahrzeugs, die nicht den Daten einer hochaktuellen digitalen Karte, die die Steuereinheit zum autonomen Steuern des Fahrzeugs verwendet, entspricht.Preferably, the determination of the current problem of the vehicle comprises the determination of geographical positions on a route of the vehicle that does not correspond to the data of a highly up-to-date digital map that the control unit uses to autonomously control the vehicle.

Als Problemstellung können auf einer Route des Fahrzeugs Ereignisse und/oder Vorkommnisse ermittelt werden, die hochaktuell die Route des Fahrzeugs beeinträchtigen. Beispielsweise kann eine unvorhergesehene Tagesbaustelle, ein Unfall, der zumindest einen Teil der Fahrbahn blockiert, etc. ermittelt werden, die bzw. der nicht von bzw. durch die digitale Karte des Fahrzeugs berücksichtigt ist.As a problem, events and / or occurrences can be determined on a route of the vehicle that affect the route of the vehicle in a highly topical manner. For example, an unforeseen daily construction site, an accident that blocks at least part of the roadway, etc. can be determined that is not taken into account by or by the digital map of the vehicle.

Vorzugsweise erfolgt das Ermitteln der optimalen Aktion für das Fahrzeug mithilfe eines geeigneten Algorithmus.The optimal action for the vehicle is preferably determined using a suitable algorithm.

Dabei kann jeder aus dem Stand der Technik bekannte, geeignete Algorithmus verwendet werden. Beispielsweise kann die ermittelte Problemstellung an eine Vielzahl von Personen übermittelt werden. Die Problemstellung kann über eine geeignete Computerspiele-Schnittstelle in Quasiechtzeit an eine Vielzahl von aktuell spielenden Personen (Gamern) übermittelt werden. Dazu kann ein geeignetes Onlinespiel - also ein Computerspiel, das online über das Internet gespielt wird - verwendet werden. Beispielsweise kann es sich bei dem Onlinespiel um ein Fahrsimulationsspiel handeln. Die Gamer können, müssen aber nicht wissen, dass sie im Onlinespiel mit einer in der realen Welt vorliegenden Problemstellung konfrontiert sind. Die Gamer werden die Problemstellung lösen, wobei es unterschiedliche Lösungen geben kann. Die Lösungen können jeweils zurück an den Backend-Server übermittelt werden. Mittels geeigneter Algorithmen, beispielsweise Machine-Learning-Algorithmen, Algorithmen die mit Kostenfunktionen agieren, etc. kann der Server die optimale Lösung aus der Vielzahl von Gamer-Lösungen ermitteln und das Fahrzeug entsprechend der optimalen Lösung teleoperieren.Any suitable algorithm known from the prior art can be used. For example, the problem identified can be transmitted to a large number of people. The problem can be transmitted to a large number of people (gamers) currently playing via a suitable computer game interface in quasi real time. A suitable online game - a computer game that is played online over the Internet - can be used for this purpose. For example, the online game can be a driving simulation game. Gamers can, but do not have to know, that they are confronted with a problem in the real world while playing online. The gamers will solve the problem, but there may be different solutions. The solutions can be sent back to the backend server. Using suitable algorithms, for example machine learning algorithms, algorithms that act with cost functions, etc., the server can determine the optimal solution from the multitude of gamer solutions and teleoperate the vehicle according to the optimal solution.

Dies hat den Vorteil, dass eine Vielzahl von Lösungen zu einem konkreten Problem vorliegt, die Serverseitig derart ausgewertet werden können, dass eine optimale Lösung ermittelt wird. Dies ermöglicht ein besonders sicheres, effizientes und kostengünstiges Teleoperieren von Fahrzeugen.This has the advantage that there is a large number of solutions to a specific problem that can be evaluated on the server side in such a way that an optimal solution is determined. This enables particularly safe, efficient and inexpensive teleoperation of vehicles.

Vorzugsweise umfasst das Teleoperieren des Fahrzeugs:

  • - Generieren geeigneter Steuerbefehle, um die optimale Aktion zu realisieren; und
  • - Übermitteln der generierten Steuerbefehle an die Steuereinheit des Fahrzeugs.
Preferably teleoperating the vehicle comprises:
  • - Generating suitable control commands in order to realize the optimal action; and
  • - Transmission of the generated control commands to the control unit of the vehicle.

Die Steuerbefehle können beispielsweise Befehle beinhalten, die es der Steuereinheit des Fahrzeugs ermöglicht, dieses entsprechend der ermittelten optimalen Lösung - z.B. entlang optimaler Wegpunkte und/oder optimaler Trajektorien etc. durch die als Problemstellung identifizierte Situation zu steuern. Diese können an die Steuereinheit des Fahrzeugs übermittelt werden.The control commands can contain, for example, commands that enable the control unit of the vehicle to execute this in accordance with the optimal solution found - e.g. control along optimal waypoints and / or optimal trajectories etc. through the situation identified as the problem. These can be transmitted to the vehicle's control unit.

Gemäß einem zweiten Aspekt wird die zugrundeliegende Aufgabe durch ein Verfahren zur Teleoperation eines zumindest teilweise automatisiert fahrenden Fahrzeugs gelöst, umfassend:

  • kontinuierliches Erfassen, durch zumindest einen Sensor, technischer Fahrparameter des Fahrzeugs;
  • Verarbeiten, durch eine Recheneinheit, der erfassten technischen Fahrparameter;
  • Ermitteln, durch einen Server, einer aktuellen Problemstellung des Fahrzeugs;
  • Empfangen, am Server, der verarbeiteten technischen Fahrparameter;
  • Ermitteln, durch den Server, einer optimalen Aktion für das Fahrzeug, basierend auf den empfangenen technischen Fahrparametern, um die aktuelle Problemstellung zu lösen; und
  • Teleoperieren des Fahrzeugs entsprechend der optimalen Aktion.
According to a second aspect, the underlying object is achieved by a method for teleoperation of an at least partially automated vehicle, comprising:
  • continuous recording, by at least one sensor, of technical driving parameters of the vehicle;
  • Processing, by a computing unit, the acquired technical driving parameters;
  • Determining, by a server, a current problem of the vehicle;
  • Receiving, at the server, the processed technical driving parameters;
  • Determining, by the server, an optimal action for the vehicle, based on the received technical driving parameters, in order to solve the current problem; and
  • Teleoperating the vehicle according to the optimal action.

Vorzugsweise umfasst das Ermitteln der aktuellen Problemstellung des Fahrzeugs das Ermitteln von geografischen Positionen auf einer Route des Fahrzeugs, die nicht den Daten einer hochaktuellen digitalen Karte, die die Steuereinheit zum autonomen Steuern des Fahrzeugs verwendet, entspricht.The determination of the current problem of the vehicle preferably includes the determination of geographical positions on a route of the vehicle that does not correspond to the data of a highly up-to-date digital map that the control unit uses to autonomously control the vehicle.

Vorzugsweise erfolgt das Ermitteln der optimalen Aktion für das Fahrzeug mithilfe eines geeigneten Algorithmus.The optimal action for the vehicle is preferably determined using a suitable algorithm.

Vorzugsweise umfasst das Teleoperieren des Fahrzeugs:

  • - Generieren geeigneter Steuerbefehle, um die optimale Aktion zu realisieren; und
  • - Übermitteln der generierten Steuerbefehle an die Steuereinheit des Fahrzeugs.
Preferably teleoperating the vehicle comprises:
  • - Generating suitable control commands in order to realize the optimal action; and
  • - Transmission of the generated control commands to the control unit of the vehicle.

Diese und andere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden aus dem Studium der folgenden detaillierten Beschreibung bevorzugter Ausführungsformen und der beiliegenden Figuren verdeutlicht. Es ist ersichtlich, dass - obwohl Ausführungsformen separat beschrieben werden - einzelne Merkmale daraus zu zusätzlichen Ausführungsformen kombiniert werden können.

  • 1 zeigt ein schematisches System zur Teleoperation eines zumindest teilweise automatisiert fahrenden Fahrzeugs;
  • 2 zeigt ein beispielhaftes Verfahren zur Teleoperation eines zumindest teilweise automatisiert fahrenden Fahrzeugs.
These and other objects, features and advantages of the present invention will become apparent from a study of the following detailed description of preferred embodiments and the accompanying figures. It is evident that - although embodiments are described separately - individual features can be combined therefrom to form additional embodiments.
  • 1 shows a schematic system for teleoperation of an at least partially automated vehicle;
  • 2 shows an exemplary method for teleoperation of an at least partially automated vehicle.

1 zeigt schematisch ein beispielhaftes System 100 zur Teleoperation eines zumindest teilweise automatisiert fahrenden Fahrzeugs 110. Das System 100 umfasst zumindest ein teilweise automatisiert fahrendes Fahrzeug 110. 1 shows schematically an exemplary system 100 for teleoperation of an at least partially automated vehicle 110 . The system 100 comprises at least one partially automated vehicle 110 .

Das Fahrzeug 110 umfasst zumindest einen Sensor 116 A ... 116 N, der eingerichtet ist, technische Fahrparameter des Fahrzeugs 110 zu erfassen. Der zumindest eine Sensor 116 A ... 116 N kann im bzw. am Fahrzeug angebrachte Kameras, z.B. Videokameras und/oder im bzw. am Fahrzeug angebrachte Sensoren zur Abstandsmessung und/oder Objekterkennung (z.B. Radar- und/oder Lidar-Sensoren) und/oder jeden anderen Sensor, der geeignet ist, technische Fahrparameter zu erfassen, umfassen.The vehicle 110 comprises at least one sensor 116 A ... 116 N. that is set up, technical driving parameters of the vehicle 110 capture. The at least one sensor 116 A ... 116 N. can be mounted in or on the vehicle cameras, for example video cameras and / or in or on the vehicle sensors for distance measurement and / or object detection (e.g. radar and / or lidar sensors) and / or any other sensor that is suitable technical Record driving parameters include.

Das Fahrzeug 110 umfasst zudem zumindest eine Recheneinheit 112, die eingerichtet ist, die erfassten technischen Fahrparameter zu verarbeiten und zumindest eine Steuereinheit 114, die eingerichtet ist, das Fahrzeug 110 autonom zu steuern.The vehicle 110 also includes at least one processing unit 112 that is set up to process the acquired technical driving parameters and at least one control unit 114 that is set up the vehicle 110 to steer autonomously.

Das Verarbeiten der erfassten technischen Fahrparameter durch die Recheneinheit 112 hat den Vorteil, dass diese fahrzeugseitig bereits ausgewertet werden können und dem Server 120 (siehe unten) bei Bedarf lediglich die verarbeiteten Daten des zumindest einen Sensors 116 A ... 116 N anstelle sämtlicher Rohdaten des zumindest einen Sensors übermittelt werden können. Somit kann eine Datenübertragung auch bei einer schlechten Kommunikationsverbindung - z.B. Mobilfunkverbindung - gesichert werden, da sich die zu übertragende Datenmenge erheblich reduziert.The processing of the recorded technical driving parameters by the computing unit 112 has the advantage that these can already be evaluated by the vehicle and the server 120 (see below), if necessary, only the processed data of the at least one sensor 116 A ... 116 N. instead of all raw data of the at least one sensor can be transmitted. This means that data can also be transferred with a bad Communication connection - for example mobile radio connection - are secured, since the amount of data to be transmitted is significantly reduced.

Der zumindest eine Sensor 116 A ... 116 N und/oder die Recheneinheit 112 und/oder die Steuereinheit 114 können fest im Fahrzeug 110 integriert sein. Darüber hinaus oder alternativ dazu können der zumindest eine Sensor 116 A ... 116 N und/oder die Recheneinheit 112 und/oder die Steuereinheit 114 in einer in einem geeigneten externen Gerät (nicht gezeigt) angebracht sein, wobei das geeignete externe Gerät mit dem Fahrzeug 110 drahtlos und/oder drahtgebunden kommunizieren kann bzw. mit dem Fahrzeug 110 kommunikativ verbunden ist. Beispielsweise kann eine Videokamera eines mobilen Endgeräts als Sensor 116 A ... 116 N für das Fahrzeug 110 dienen. Darüber hinaus oder alternativ dazu können ein oder mehrere Sensoren 116 A ... 116 N an einer Drohne angebracht sein, die mit dem Fahrzeug 110 verbunden ist. Weitere geeignete externe Geräte sind denkbar.The at least one sensor 116 A ... 116 N. and / or the computing unit 112 and / or the control unit 114 can be fixed in the vehicle 110 be integrated. In addition or as an alternative to this, the at least one sensor 116 A ... 116 N. and / or the computing unit 112 and / or the control unit 114 in a suitable external device (not shown), the appropriate external device with the vehicle 110 can communicate wirelessly and / or wired or with the vehicle 110 is communicatively connected. For example, a video camera of a mobile terminal can act as a sensor 116 A ... 116 N. for the vehicle 110 serve. In addition or as an alternative to this, one or more sensors 116 A ... 116 N. be attached to a drone that is with the vehicle 110 connected is. Other suitable external devices are conceivable.

Das Fahrzeug 110 und/oder das externe Gerät kann ein Kommunikationsmodul (nicht gezeigt) umfassen. Das Kommunikationsmodul ist in der Lage, eine Kommunikationsverbindung mit anderen Kommunikationsteilnehmern, z.B. anderen Fahrzeugen, dem Backend-Server 120, mobilen Endgeräten etc., aufzubauen, um Daten zu übertragen. Das Kommunikationsmodul kann ein Teilnehmeridentitätsmodul bzw. ein Subscriber Identity Module bzw. eine SIM-Karte (nicht gezeigt) umfassen, welche(s) dazu dient, eine Kommunikationsverbindung über ein Mobilfunksystem aufzubauen. Das Teilnehmeridentitätsmodul identifiziert dabei das Kommunikationsmodul eindeutig im Mobilfunknetz. Bei der Kommunikationsverbindung kann es sich um eine Datenverbindung (z.B. Paketvermittlung) und/oder um eine leitungsgebundene Kommunikationsverbindung (z.B. Leitungsvermittlung) handeln. Auch eine drahtlose Kommunikationsverbindung über weitere gängige und künftige Technologien, z.B. lokale Netzwerke bzw. Local Area Networks (LANs) wie z.B. Wireless LANs etc. kann über das Kommunikationsmodul mit anderen Kommunikationsteilnehmern aufgebaut werden.The vehicle 110 and / or the external device can comprise a communication module (not shown). The communication module is able to establish a communication link with other communication participants, for example other vehicles, the backend server 120 , mobile devices, etc., in order to transfer data. The communication module can comprise a subscriber identity module or a subscriber identity module or a SIM card (not shown) which is used to set up a communication connection via a mobile radio system. The subscriber identity module uniquely identifies the communication module in the cellular network. The communication link can be a data link (eg packet switching) and / or a wired communication link (eg line switching). A wireless communication link via other current and future technologies, for example local networks or Local Area Networks (LANs) such as wireless LANs, etc., can also be established with other communication participants via the communication module.

Das System 100 umfasst zudem zumindest einen Server 120. Dieser ist eingerichtet, eine aktuelle Problemstellung des Fahrzeugs 110 zu ermitteln. Das Ermitteln der aktuellen Problemstellung des Fahrzeugs 110 kann das Ermitteln von geografischen Positionen auf einer Route des Fahrzeugs 110, die nicht den Daten einer hochaktuellen digitalen Karte, die die Steuereinheit 114 zum autonomen Steuern des Fahrzeugs verwendet bzw. berücksichtigt, entspricht, umfassen. Als Problemstellung können auf einer Route des Fahrzeugs 110 Ereignisse und/oder Vorkommnisse ermittelt werden, die hochaktuell die Route des Fahrzeugs 110 beeinträchtigen. Beispielsweise kann eine unvorhergesehene Tagesbaustelle, ein Unfall, der zumindest einen Teil der Fahrbahn blockiert, etc. ermittelt werden, die bzw. der nicht von bzw. durch die digitale Karte des Fahrzeugs 110 berücksichtigt ist.The system 100 also includes at least one server 120 . This is set up, a current problem of the vehicle 110 to determine. Determining the current problem of the vehicle 110 can determine geographical positions on a route of the vehicle 110 that do not have the data of a cutting-edge digital map that the control unit 114 used or taken into account for the autonomous control of the vehicle, corresponds to include. The problem can be on a route of the vehicle 110 Events and / or occurrences are determined that are highly topical the route of the vehicle 110 affect. For example, an unforeseen daily construction site, an accident that blocks at least part of the roadway, etc. can be determined which is not from or through the digital map of the vehicle 110 is taken into account.

Darüber hinaus ist der Server 120 eingerichtet, die verarbeiteten technischen Fahrparameter vom Fahrzeug 110 zu empfangen und eine optimale Aktion für das Fahrzeug 110 basierend auf den bzw. unter Berücksichtigung der empfangenen technischen Fahrparameter zu ermitteln. Das Ermitteln der optimalen Aktion für das Fahrzeug 110 kann mithilfe eines geeigneten Algorithmus erfolgen. Dabei kann jeder aus dem Stand der Technik bekannte, geeignete Algorithmus verwendet werden. Beispielsweise kann die ermittelte Problemstellung an eine Vielzahl von Personen übermittelt werden. Die Problemstellung kann über eine geeignete Computerspiele-Schnittstelle in Quasiechtzeit an eine Vielzahl von aktuell spielenden Personen (Gamern) übermittelt werden. Dazu kann ein geeignetes Onlinespiel - also ein Computerspiel, das online über das Internet gespielt wird - verwendet werden. Beispielsweise kann es sich bei dem Onlinespiel um ein Fahrsimulationsspiel handeln. Die Gamer können, müssen aber nicht wissen, dass sie im Onlinespiel mit einer in der realen Welt vorliegenden Problemstellung konfrontiert sind. Die Gamer werden die Problemstellung lösen, wobei es unterschiedliche Lösungen geben kann. Die Lösungen können jeweils zurück an den Backend-Server 120 übermittelt werden. Mittels geeigneter Algorithmen, beispielsweise Machine-Learning-Algorithmen, Algorithmen die Kostenfunktionen zur Auswertung verwenden, etc. kann der Server 120 die optimale Lösung aus der Vielzahl von Gamer-Lösungen ermitteln und das Fahrzeug 110 entsprechend der optimalen Lösung teleoperieren.In addition, the server is 120 set up the processed technical driving parameters from the vehicle 110 to receive and optimal action for the vehicle 110 based on or taking into account the received technical driving parameters. Determining the optimal action for the vehicle 110 can be done using a suitable algorithm. Any suitable algorithm known from the prior art can be used. For example, the problem identified can be transmitted to a large number of people. The problem can be transmitted to a large number of people (gamers) currently playing via a suitable computer game interface in quasi real time. A suitable online game - a computer game that is played online over the Internet - can be used for this purpose. For example, the online game can be a driving simulation game. Gamers can, but do not have to know, that they are confronted with a problem in the real world while playing online. The gamers will solve the problem, but there may be different solutions. The solutions can each be sent back to the backend server 120 be transmitted. Using suitable algorithms, for example machine learning algorithms, algorithms that use cost functions for evaluation, etc., the server 120 determine the optimal solution from the multitude of gamer solutions and the vehicle 110 teleoperate according to the optimal solution.

Dies hat den Vorteil, dass eine Vielzahl von Lösungen zu einem konkreten Problem vorliegt, die Serverseitig derart ausgewertet werden können, dass eine optimale Lösung ermittelt wird. Dies ermöglicht ein besonders sicheres, effizientes und kostengünstiges Teleoperieren von zumindest teilweise automatisiert fahrenden Fahrzeugen.This has the advantage that there is a large number of solutions to a specific problem that can be evaluated on the server side in such a way that an optimal solution is determined. This enables particularly safe, efficient and cost-effective teleoperation of at least partially automated vehicles.

Das Teleoperieren des Fahrzeugs 110 kann umfassen:

  • - Generieren geeigneter Steuerbefehle, um die optimale Aktion zu realisieren; und
  • - Übermitteln der generierten Steuerbefehle an die Steuereinheit 140 des Fahrzeugs 110.
Teleoperating the vehicle 110 may include:
  • - Generating suitable control commands in order to realize the optimal action; and
  • - Transmission of the generated control commands to the control unit 140 of the vehicle 110 .

Die Steuerbefehle können beispielsweise Befehle beinhalten, die es der Steuereinheit 140 des Fahrzeugs ermöglicht, dieses entsprechend der ermittelten optimalen Lösung - z.B. entlang optimaler Wegpunkte und/oder optimaler Trajektorien etc. durch die als Problemstellung identifizierte Situation zu steuern. Diese können an die Steuereinheit 140 des Fahrzeugs 110 übermittelt werden.The control commands can contain, for example, commands that are sent to the control unit 140 of the vehicle enables this to be controlled according to the determined optimal solution - for example along optimal waypoints and / or optimal trajectories etc. through the situation identified as the problem. These can be sent to the control unit 140 of the vehicle 110 be transmitted.

2 zeigt ein Verfahren 200 zur Teleoperation eines zumindest teilweise automatisiert fahrenden Fahrzeugs 100, das durch ein System 100 wie mit Bezug auf 1 beschrieben ausgeführt werden kann. 2 shows a procedure 200 for teleoperation of an at least partially automated vehicle 100 that through a system 100 as with reference to 1 described can be executed.

Das Verfahren 200 umfasst ein beispielsweise kontinuierliches Erfassen 210, durch zumindest einen Sensor 160A ... 160N, technischer Fahrparameter des Fahrzeugs 110, das Verarbeiten 220, durch eine Recheneinheit 112, der erfassten technischen Fahrparameter, das Ermitteln 230, durch einen Server 120, einer aktuellen Problemstellung des Fahrzeugs 110; das Empfangen 240, am Server 120, der verarbeiteten technischen Fahrparameter; das Ermitteln 250, durch den Server 120, einer optimalen Aktion für das Fahrzeug 110, basierend auf den empfangenen technischen Fahrparametern, um die aktuelle Problemstellung zu lösen und das Teleoperieren 260 des Fahrzeugs 110 entsprechend der optimalen Aktion.The procedure 200 includes, for example, continuous sensing 210 , through at least one sensor 160A ... 160N , technical driving parameters of the vehicle 110 processing 220 , by an arithmetic unit 112 , the recorded technical driving parameters, the determination 230 , through a server 120 , a current problem of the vehicle 110 ; receiving 240 , on the server 120 , the processed technical driving parameters; determining 250 , through the server 120 , an optimal action for the vehicle 110 , based on the received technical driving parameters in order to solve the current problem and teleoperate 260 of the vehicle 110 according to the optimal action.

Das Ermitteln 230 der aktuellen Problemstellung des Fahrzeugs 110 kann das Ermitteln von geografischen Positionen auf einer Route des Fahrzeugs 110, die nicht den Daten einer hochaktuellen digitalen Karte, die die Steuereinheit 140 zum autonomen Steuern des Fahrzeugs 110 verwendet, entspricht.Investigating 230 the current problem of the vehicle 110 can determine geographical positions on a route of the vehicle 110 that do not have the data of a cutting-edge digital map that the control unit 140 for autonomous control of the vehicle 110 used, corresponds.

Das Ermitteln 250 der optimalen Aktion für das Fahrzeug 110 kann mithilfe eines geeigneten Algorithmus erfolgen.Investigating 250 the optimal action for the vehicle 110 can be done using a suitable algorithm.

Das Teleoperieren 260 des Fahrzeugs 110 kann umfassen:

  • - Generieren geeigneter Steuerbefehle, um die optimale Aktion zu realisieren; und
  • - Übermitteln der generierten Steuerbefehle an die Steuereinheit 114 des Fahrzeugs 110.
Teleoperating 260 of the vehicle 110 may include:
  • - Generating suitable control commands in order to realize the optimal action; and
  • - Transmission of the generated control commands to the control unit 114 of the vehicle 110 .

Claims (8)

System (100) zur Teleoperation eines zumindest teilweise automatisiert fahrenden Fahrzeugs (110), umfassend: - zumindest ein teilweise automatisiert fahrendes Fahrzeug (110), wobei das Fahrzeug (110) umfasst: - zumindest einen Sensor (116 A ... 116 N), der eingerichtet ist, technische Fahrparameter des Fahrzeugs (110) zu erfassen; - zumindest eine Recheneinheit (112), die eingerichtet ist, die erfassten technischen Fahrparameter zu verarbeiten; und - zumindest eine Steuereinheit (114), die eingerichtet ist, das Fahrzeug (110) autonom zu steuern; und - zumindest einen Server (120) der eingerichtet ist, - eine aktuelle Problemstellung des Fahrzeugs (110) zu ermitteln; - die verarbeiteten technischen Fahrparameter zu empfangen; und - eine optimale Aktion für das Fahrzeug (110) basierend auf den empfangenen technischen Fahrparametern zu ermitteln, um die aktuelle Problemstellung zu lösen, wobei das Ermitteln der optimalen Lösung umfasst: Übermitteln der Problemstellung an eine Vielzahl von Gamern; Empfangen einer Vielzahl an Gamer-Lösungen der aktuellen Problemstellung; und Ermitteln einer optimalen Lösung aus der Vielzahl an Gamer-Lösungen; und - das Fahrzeug (110) entsprechend der optimalen Aktion zu teleoperieren.System (100) for teleoperation of an at least partially automated vehicle (110), comprising: - At least one partially automated vehicle (110), wherein the vehicle (110) comprises: - At least one sensor (116 A ... 116 N) which is set up to detect technical driving parameters of the vehicle (110); - At least one arithmetic unit (112) which is set up to process the acquired technical driving parameters; and - At least one control unit (114) which is set up to control the vehicle (110) autonomously; and - At least one server (120) that is set up, - to determine a current problem of the vehicle (110); - receive the processed technical driving parameters; and - to determine an optimal action for the vehicle (110) based on the received technical driving parameters in order to solve the current problem, wherein the determination of the optimal solution comprises: Communicating the problem to a variety of gamers; Receive a variety of gamer solutions to the current problem; and Finding an optimal solution from the multitude of gamer solutions; and - to teleoperate the vehicle (110) according to the optimal action. System (100) gemäß Anspruch 1, wobei das Ermitteln der aktuellen Problemstellung des Fahrzeugs (110) das Ermitteln von geografischen Positionen auf einer Route des Fahrzeugs (110) umfasst, die nicht den Daten einer hochaktuellen digitalen Karte, die die Steuereinheit (114) zum autonomen Steuern des Fahrzeugs (110) verwendet, entspricht.System (100) according to Claim 1 , wherein the determination of the current problem of the vehicle (110) comprises the determination of geographical positions on a route of the vehicle (110) that are not based on the data of a highly up-to-date digital map that the control unit (114) for autonomous control of the vehicle (110) used, corresponds. System (100) gemäß Anspruch 1 oder 2, wobei das Ermitteln der optimalen Aktion für das Fahrzeug (110) mithilfe eines geeigneten Algorithmus erfolgt.System (100) according to Claim 1 or 2 wherein the determination of the optimal action for the vehicle (110) takes place with the aid of a suitable algorithm. System (100) gemäß einem der vorangehenden Ansprüche, wobei das Teleoperieren des Fahrzeugs umfasst: - Generieren geeigneter Steuerbefehle, um die optimale Aktion zu realisieren; und - Übermitteln der generierten Steuerbefehle an die Steuereinheit (114) des Fahrzeugs.The system (100) according to any one of the preceding claims, wherein teleoperating the vehicle comprises: - Generating suitable control commands in order to realize the optimal action; and - Transmission of the generated control commands to the control unit (114) of the vehicle. Verfahren (200) zur Teleoperation eines zumindest teilweise automatisiert fahrenden Fahrzeugs (110), umfassend: Erfassen (210), durch zumindest einen Sensor (116 A ... 116 N), technischer Fahrparameter des Fahrzeugs (110); Verarbeiten (220), durch eine Recheneinheit (112), der erfassten technischen Fahrparameter; Ermitteln (230), durch einen Server (120), einer aktuellen Problemstellung des Fahrzeugs (110); Empfangen (240), am Server (120), der verarbeiteten technischen Fahrparameter; Ermitteln (250), durch den Server (120), einer optimalen Aktion für das Fahrzeug (110), basierend auf den empfangenen technischen Fahrparametern, um die aktuelle Problemstellung zu lösen, wobei das Ermitteln (250) der optimalen Lösung umfasst: - Übermitteln der Problemstellung an eine Vielzahl von Gamern; - Empfangen einer Vielzahl an Gamer-Lösungen der aktuellen Problemstellung; und - Ermitteln einer optimalen Lösung aus der Vielzahl an Gamer-Lösungen; und Teleoperieren (260) des Fahrzeugs (110) entsprechend der optimalen Aktion.Method (200) for teleoperation of an at least partially automated vehicle (110), comprising: detecting (210), by at least one sensor (116 A ... 116 N), technical driving parameters of the vehicle (110); Processing (220), by a computing unit (112), the acquired technical driving parameters; Determining (230), by a server (120), a current problem of the vehicle (110); Receiving (240), at the server (120), the processed technical driving parameters; Determination (250), by the server (120), of an optimal action for the vehicle (110) based on the received technical driving parameters in order to solve the current problem, wherein the determination (250) of the optimal solution comprises: - transmitting the Problem posed to a variety of gamers; - Receive a variety of gamer solutions to the current problem; and determining an optimal solution from the multitude of gamer solutions; and teleoperating (260) the vehicle (110) according to the optimal action. Verfahren (200) gemäß Anspruch 5, wobei das Ermitteln (230) der aktuellen Problemstellung des Fahrzeugs (110) das Ermitteln von geografischen Positionen auf einer Route des Fahrzeugs (110) umfasst, die nicht den Daten einer hochaktuellen digitalen Karte, die die Steuereinheit (114) zum autonomen Steuern des Fahrzeugs (110) verwendet, entspricht.Method (200) according to Claim 5 wherein determining (230) the current problem of the vehicle (110) comprises determining geographical positions on a route of the vehicle (110) that are not based on the data of a highly up-to-date digital map that the control unit (114) for autonomous control of the vehicle (110) used, corresponds to. Verfahren (200) gemäß Anspruch 5 oder 6, wobei das Ermitteln (250) der optimalen Aktion für das Fahrzeug (110) mithilfe eines geeigneten Algorithmus erfolgt.Method (200) according to Claim 5 or 6th wherein the determination (250) of the optimal action for the vehicle (110) takes place with the aid of a suitable algorithm. Verfahren (200) gemäß einem der Ansprüche 5 bis 7, wobei das Teleoperieren (260) des Fahrzeugs umfasst: - Generieren (262) geeigneter Steuerbefehle, um die optimale Aktion zu realisieren; und - Übermitteln (264) der generierten Steuerbefehle an die Steuereinheit (114) des Fahrzeugs (110).Method (200) according to one of the Claims 5 to 7th wherein teleoperating (260) the vehicle comprises: - generating (262) suitable control commands in order to realize the optimal action; and - transmitting (264) the generated control commands to the control unit (114) of the vehicle (110).
DE102019119524.1A 2019-07-18 2019-07-18 System comprising a control device and a method for teleoperation of an at least partially automated vehicle Active DE102019119524B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019119524.1A DE102019119524B3 (en) 2019-07-18 2019-07-18 System comprising a control device and a method for teleoperation of an at least partially automated vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019119524.1A DE102019119524B3 (en) 2019-07-18 2019-07-18 System comprising a control device and a method for teleoperation of an at least partially automated vehicle

Publications (1)

Publication Number Publication Date
DE102019119524B3 true DE102019119524B3 (en) 2020-12-10

Family

ID=73459848

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019119524.1A Active DE102019119524B3 (en) 2019-07-18 2019-07-18 System comprising a control device and a method for teleoperation of an at least partially automated vehicle

Country Status (1)

Country Link
DE (1) DE102019119524B3 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021208005A1 (en) 2021-07-26 2023-01-26 Robert Bosch Gesellschaft mit beschränkter Haftung Processing of satellite data to enhance or complete measurement data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011083039A1 (en) * 2011-09-20 2013-03-21 Robert Bosch Gmbh Vehicle operating device, has driver assistance system for providing driver assistance function, and controller controlling driver assistance system based on vehicle environment data and vehicle environment data assigned quality factor
DE102013201169A1 (en) * 2013-01-24 2014-07-24 Ford Global Technologies, Llc Requirement activatable remote control system for motor vehicle, has personal data terminal for remote monitoring and/or remote control of vehicle over data-communication link according to driving simulation computer games
DE102017202065A1 (en) * 2017-02-09 2018-08-09 Audi Ag Method for coordinating a traffic of several motor vehicles within a predetermined infrastructure area as well as server device, motor vehicle and system
WO2019125489A1 (en) * 2017-12-22 2019-06-27 Nissan North America, Inc. Solution path overlay interfaces for autonomous vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011083039A1 (en) * 2011-09-20 2013-03-21 Robert Bosch Gmbh Vehicle operating device, has driver assistance system for providing driver assistance function, and controller controlling driver assistance system based on vehicle environment data and vehicle environment data assigned quality factor
DE102013201169A1 (en) * 2013-01-24 2014-07-24 Ford Global Technologies, Llc Requirement activatable remote control system for motor vehicle, has personal data terminal for remote monitoring and/or remote control of vehicle over data-communication link according to driving simulation computer games
DE102017202065A1 (en) * 2017-02-09 2018-08-09 Audi Ag Method for coordinating a traffic of several motor vehicles within a predetermined infrastructure area as well as server device, motor vehicle and system
WO2019125489A1 (en) * 2017-12-22 2019-06-27 Nissan North America, Inc. Solution path overlay interfaces for autonomous vehicles

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021208005A1 (en) 2021-07-26 2023-01-26 Robert Bosch Gesellschaft mit beschränkter Haftung Processing of satellite data to enhance or complete measurement data

Similar Documents

Publication Publication Date Title
DE102015118489B4 (en) Remote control of an autonomous vehicle in an unexpected environment
EP3224824B1 (en) Method and device for operating a vehicle with respect to a parking space
DE102019107797B4 (en) VEHICLE PREDICTIONS AND REMEDIAL ACTIONS
DE102019201849A1 (en) Vehicle control system and control method
DE102018106527A1 (en) Electronic control units, vehicles and methods for switching a vehicle control from an autonomous driving mode
EP3224118A1 (en) Method and device for assisted driving of a vehicle
DE102016124107A1 (en) SYSTEMS AND METHODS FOR RELEASING OR DISABLING AUTONOMOUS DRIVING
WO2013050194A1 (en) Method for navigating a vehicle to a parking place
DE102017217444B4 (en) Method and system for updating a control model for automatic control of at least one mobile unit
EP3177503A1 (en) Method and device for moving a vehicle into a target position
DE102018210885B4 (en) Method and system for initiating a safety precaution of a motor vehicle and motor vehicle
WO2018099740A1 (en) Method for autonomously maneuvering a motor vehicle on a parking surface with a step of determining a position deviation, infrastructure device, driver assistance systems, motor vehicle, and communication system
DE102016218934A1 (en) Method for data exchange and data fusion of environmental data
WO2013091742A1 (en) Method for the production and use of traffic-related information by vehicles in a vehicle pool
EP3552194A1 (en) Method for providing result data which depend on a motor vehicle environment
DE102017212227A1 (en) Method and system for vehicle data collection and vehicle control in road traffic
DE102017205255A1 (en) Notification system in a vehicle for reporting an incident of the vehicle and method for reporting an incident of a vehicle
DE102015210118B4 (en) Method and device for supporting the parking out of a vehicle
DE102019119524B3 (en) System comprising a control device and a method for teleoperation of an at least partially automated vehicle
EP2975593A1 (en) Method for supporting a driver when parking of a motor vehicle, driver assistance system and motor vehicle
DE112018007967T5 (en) VEHICLE CONTROL DEVICE, AUTOMATED VEHICLE TRAVEL DEVELOPMENT SYSTEM, VEHICLE CONTROL PROCEDURE AND PROGRAM
DE102014214327A1 (en) Control device, vehicle, data delivery device and method
DE102017223607A1 (en) Method for mobile parking assistance
DE112020003708T5 (en) Information processing apparatus, information processing method and program
EP3696787A1 (en) Concept for providing parking spot availability information

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final