DE102020211181A1

DE102020211181A1 - Remote support of an autonomous motor vehicle

Info

Publication number: DE102020211181A1
Application number: DE102020211181.2A
Authority: DE
Inventors: Daniel Reimann; Guillaume JORNOD; Israel GONZALEZ VAZQUEZ
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2020-09-04
Filing date: 2020-09-04
Publication date: 2022-03-10

Abstract

Gemäß einem Verfahren zur Fernunterstützung eines autonomen Kraftfahrzeugs (1) werden mittels eines Umfeldsensorsystems (3) Umfeldsensordaten erzeugt und mittels einer Fahrzeugrecheneinheit (2) wird basierend auf den Umfeldsensordaten das Vorliegen einer Blockadesituation festgestellt. Mittels der Fahrzeugrecheneinheit (2) wird basierend auf den Umfeldsensordaten ein Situationscode aus einer Vielzahl vorgegebener Situationscodes ausgewählt, abhängig von dem ausgewählten Situationscode werden Situationsdaten basierend auf den Umfeldsensordaten erzeugt und eine Unterstützungsanfrage, die den ausgewählten Situationscode sowie die Situationsdaten enthält, wird erzeugt und an eine externe Serverrecheneinheit (4) übermittelt. Nach der Übermittlung der Unterstützungsanfrage wird mittels der Serverrecheneinheit (4) eine Unterstützungsnachricht zur Überwindung der Blockadesituation erzeugt und an die Fahrzeugrecheneinheit (2) übermittelt.

According to a method for remote support of an autonomous motor vehicle (1), environment sensor data are generated by means of an environment sensor system (3) and the presence of a blockage situation is determined by means of a vehicle computing unit (2) based on the environment sensor data. Using the vehicle computing unit (2), a situation code is selected from a large number of predefined situation codes based on the surroundings sensor data, depending on the selected situation code, situation data is generated based on the surroundings sensor data and a support request, which contains the selected situation code and the situation data, is generated and sent to a external server processing unit (4) transmitted. After the support request has been transmitted, the server processing unit (4) generates a support message for overcoming the blockage situation and transmits it to the vehicle processing unit (2).

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Fernunterstützung eines autonomen Kraftfahrzeugs, wobei mittels eines Umfeldsensorsystems des Kraftfahrzeugs Umfeldsensordaten erzeugt werden und mittels einer Fahrzeugrecheneinheit des Kraftfahrzeugs basierend auf den Umfeldsensordaten das Vorliegen eine Blockadesituation festgestellt wird. Die Erfindung betrifft ferner ein entsprechendes Kommunikationssystem zur Fernunterstützung eines autonomen Kraftfahrzeugs.The present invention relates to a method for remote support of an autonomous motor vehicle, with surroundings sensor data being generated by means of a surroundings sensor system of the motor vehicle and the presence of a blockage situation being determined by means of a vehicle computing unit of the motor vehicle based on the surroundings sensor data. The invention also relates to a corresponding communication system for remote support of an autonomous motor vehicle.

Bei der vollautomatischen oder vollautonomen Steuerung von Kraftfahrzeugen mittels eines elektronischen Fahrzeugführungssystems des Kraftfahrzeugs können Situationen auftreten, in denen das Fahrzeugführungssystem alleine das Kraftfahrzeug nicht, nicht zuverlässig beziehungsweise nicht ausreichend sicher führen kann. Dies kann beispielsweise bei fehlerhaften oder nicht eindeutigen Sensordaten, Übertragungsproblemen oder veralteten Karteninformationen und so weiter auftreten. Solche Situationen können als Blockadesituationen oder Deadlock-Situationen bezeichnet werden. Zur Überwindung solcher Blockadesituationen ist es bekannt, dass das autonome Kraftfahrzeug eine Anfrage an ein Kontrollzentrum zur Fernunterstützung, auch als Teleoperation-Kontrollzentrum bezeichnet, übermittelt. Eine Person oder eine Computerlogik kann dann das Kraftfahrzeug unterstützen, um die Blockadesituation zu überwinden und entsprechende Unterstützungsnachrichten an das Kraftfahrzeug senden.In the fully automatic or fully autonomous control of motor vehicles by means of an electronic vehicle guidance system of the motor vehicle, situations can arise in which the vehicle guidance system alone cannot guide the motor vehicle, or cannot do so reliably or sufficiently safely. This can occur, for example, with erroneous or ambiguous sensor data, transmission problems or outdated map information, and so on. Such situations can be referred to as blockage situations or deadlock situations. In order to overcome such blockage situations, it is known that the autonomous motor vehicle transmits a request to a control center for remote support, also referred to as a teleoperation control center. A person or computer logic can then support the motor vehicle in order to overcome the blockage situation and send appropriate support messages to the motor vehicle.

Dokument WO 2019/032088 A1 beschreibt ein Benachrichtigungssystem für ein autonomes Kraftfahrzeug und ein entsprechendes Verfahren. Dabei kann ein Remote-Manager die Bewegung des autonomen Kraftfahrzeugs in bestimmten Situationen steuern, wenn das autonome Fahrzeug bestimmte Hindernisse auf der Fahrbahn nicht selbständig überwinden kann. Dabei ist ein Benachrichtigungssystem in dem Fahrzeug vorgesehen, das einen Benutzer oder Fahrgast des Fahrzeugs über die Fernsteuerung durch den Remote-Manager informieren kann.document WO 2019/032088 A1 describes a notification system for an autonomous motor vehicle and a corresponding method. A remote manager can control the movement of the autonomous motor vehicle in certain situations when the autonomous vehicle cannot independently overcome certain obstacles on the road. A notification system is provided in the vehicle, which can inform a user or passenger of the vehicle about the remote control by the remote manager.

Bei bekannten Ansätzen zur Fernunterstützung autonomer Kraftfahrzeuge fordert das Kontrollzentrum nach Erhalt der Anfrage beispielsweise Situationsdaten von dem Kraftfahrzeuge an, um die Situation interpretieren zu können. Dabei werden beispielsweise vollständige Datenströme der Umfeldsensorsysteme des Kraftfahrzeugs bereitgestellt und an das Kontrollzentrum übermittelt. Dies hat den Nachteil, dass sehr große von Datenmengen übertragen werden müssen, welche gegebenenfalls nicht benötigt werden. Somit werden Zeit und Ressourcen zur Datenübertragung unnötigerweise eingesetzt.In known approaches for remote support of autonomous motor vehicles, the control center requests, for example, situation data from the motor vehicle after receiving the request in order to be able to interpret the situation. For example, complete data streams from the vehicle's surroundings sensor systems are provided and transmitted to the control center. This has the disadvantage that very large amounts of data have to be transmitted, which may not be required. Thus, time and resources for data transmission are used unnecessarily.

Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept zur Fernunterstützung eines autonomen Kraftfahrzeugs anzugeben, durch das die zu übertragende Datenmenge reduziert werden kann.Against this background, it is an object of the present invention to specify an improved concept for remote support of an autonomous motor vehicle, through which the amount of data to be transmitted can be reduced.

Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.This object is solved by the respective subject matter of the independent claims. Advantageous developments and preferred embodiments are the subject matter of the dependent claims.

Das verbesserte Konzept beruht auf der Idee, abhängig von einem generischen Situationscode, welcher der jeweils vorliegenden Blockadesituation entspricht, basierend auf Umfeldsensordaten zielgerichtet Situationsdaten zu erzeugen und den Situationscode sowie die Situationsdaten im Rahmen einer Unterstützungsanfrage an eine externe Serverrecheneinheit zu übermitteln.The improved concept is based on the idea of generating situation data in a targeted manner based on environmental sensor data, depending on a generic situation code that corresponds to the blockage situation at hand, and of transmitting the situation code and the situation data to an external server processing unit as part of a support request.

Gemäß dem verbesserten Konzept wird ein Verfahren zur Fernunterstützung eines autonomen Kraftfahrzeugs angegeben, wobei mittels eines Umfeldsensorsystems des Kraftfahrzeugs Umfeldsensordaten erzeugt werden und mittels einer Fahrzeugrecheneinheit des Kraftfahrzeugs basierend auf den Umfeldsensordaten das Vorliegen einer Blockadesituation festgestellt wird. Mittels der Fahrzeugrecheneinheit wird basierend auf den Umfeldsensordaten ein Situationscode aus einer Vielzahl vorgegebener Situationscodes ausgewählt. Abhängig von dem ausgewählten Situationscode werden mittels der Fahrzeugrecheneinheit Situationsdaten basierend auf den Umfeldsensordaten erzeugt. Mittels der Fahrzeugrecheneinheit wird eine Unterstützungsanfrage, die den ausgewählten Situationscode sowie die Situationsdaten enthält, erzeugt und an eine externe Serverrecheneinheit übermittelt. Nach der Übermittlung der Unterstützungsanfrage an die Serverrecheneinheit wird mittels der Serverrecheneinheit eine Unterstützungsnachricht zur Überwindung der Blockadesituation erzeugt und an die Fahrzeugrecheneinheit übermittelt.According to the improved concept, a method for remote support of an autonomous motor vehicle is specified, with a surroundings sensor system of the motor vehicle generating surroundings sensor data and using a vehicle computing unit of the motor vehicle based on the surroundings sensor data determining the presence of a blockage situation. Using the vehicle computing unit, a situation code is selected from a large number of predefined situation codes based on the surroundings sensor data. Depending on the selected situation code, situation data based on the surroundings sensor data are generated by the vehicle computing unit. A support request containing the selected situation code and the situation data is generated by the vehicle computing unit and transmitted to an external server computing unit. After the support request has been transmitted to the server processing unit, the server processing unit generates a support message for overcoming the blockage situation and transmits it to the vehicle processing unit.

Hier und im Folgenden kann der Begriff einer Recheneinheit derart verstanden werden, dass diese eine oder mehrere gegebenenfalls räumlich verteilte und voneinander unabhängige Unterrecheneinheiten enthalten kann. Die Unterrecheneinheiten können unterschiedliche der Recheneinheit zugewiesene Aufgaben übernehmen und gegebenenfalls untereinander in Kommunikationsverbindungen stehen.Here and in the following, the concept of a processing unit can be understood in such a way that it can contain one or more sub-processing units that are optionally distributed spatially and are independent of one another. The sub-processing units can take on different tasks assigned to the processing unit and, if necessary, can be in communication links with one another.

Ein Umfeldsensorsystem kann hier und im Folgenden als Sensorsystem verstanden werden, das dazu in der Lage ist, Sensordaten oder Sensorsignale zu erzeugen, welche eine Umgebung des Kraftfahrzeugs abbilden, darstellen oder wiedergeben. Beispielsweise können Kameras, Radarsysteme, Lidarsysteme oder Ultraschallsensorsysteme als Umfeldsensorsysteme aufgefasst werden.An environment sensor system can be understood here and in the following as a sensor system which is capable of generating sensor data or sensor signals which depict, represent or reproduce an area surrounding the motor vehicle. For example, cameras, radar systems, lidar systems or ultrasonic sensor systems can be understood as surroundings sensor systems.

Die Fernunterstützung kann auch als Teleunterstützung oder dergleichen bezeichnet werden (englisch: „Teleoperated Driving“, TOD). Die Serverrecheneinheit ist dabei Teil eine Kommandozentrums oder Kontrollzentrums, welches das Kraftfahrzeug in der Blockadesituation über eine drahtlose Kommunikationsverbindung unterstützen kann.Remote assistance may also be referred to as Teleoperated Driving (TOD) or the like. The server processing unit is part of a command center or control center that can support the motor vehicle in the blockage situation via a wireless communication link.

Die Blockadesituation entspricht einer Situation, in der das autonome Kraftfahrzeug zum weiteren Agieren auf externe Unterstützung angewiesen ist. Insbesondere kann das Kraftfahrzeug in der Blockadesituation ohne externe Unterstützung nicht agieren oder kann nicht agieren, ohne vorgegebene Regeln zu verletzen. Die vorgegebenen Regeln können dabei Verkehrsregeln, physischen Einschränkungen oder internen Vorschriften entsprechen. Beispielsweise wenn die Fahrzeugrecheneinheit anhand der Umfeldsensordaten die Situation nur mit unzureichender Zuverlässigkeit einschätzen kann, können interne Vorschriften vorsehen, dass das Kraftfahrzeug nicht ohne externe Unterstützung weiterbewegt werden darf. Die Blockadesituation kann auch als Sackgassensituation (englisch: „Deadlock-Situation“) bezeichnet werden.The blockage situation corresponds to a situation in which the autonomous motor vehicle is dependent on external support for further action. In particular, the motor vehicle cannot act in the blockage situation without external support or cannot act without violating predetermined rules. The prescribed rules can correspond to traffic rules, physical restrictions or internal regulations. For example, if the vehicle computing unit can only assess the situation with insufficient reliability based on the surroundings sensor data, internal regulations can provide that the motor vehicle may not be moved further without external support. The blockade situation can also be referred to as a dead end situation.

Konkrete Beispiele für Blockadesituationen stellen Situationen dar, in denen die aktuelle Phase einer Ampel oder sonstigen Lichtsignalanzeige durch die Fahrzeugrecheneinheit basierend auf den Umfeldsensordaten nicht mit ausreichender Zuverlässigkeit bestimmt werden kann oder ein Verkehrszeichen nicht mit ausreichender Zuverlässigkeit erkannt werden kann. Die Blockadesituation kann auch einer Situation entsprechen, in der die Fahrzeugrecheneinheit basierend auf den Umfeldsensordaten eine zuverlässige Objektklassifizierung nicht durchführen kann. Eine weitere Möglichkeit für eine Blockadesituation entspricht einer Situation, in der die Fahrzeugrecheneinheit basierend auf den Umfeldsensordaten nicht mit ausreichender Zuverlässigkeit einen befahrbaren Bereich in seiner Umgebung bestimmen kann. Ein weiteres Beispiel für eine Blockadesituation entspricht einer Situation, in der digitale Datenkarten der Fahrzeugrecheneinheit unvollständig sind oder die Fahrzeugrecheneinheit anhand der Umfeldsensordaten erkennt, dass ein Teil der digitalen Kartendaten von der tatsächlichen Umgebung des Kraftfahrzeugs abweicht. Diese Auflistung ist nicht als abschließend anzusehen und stellt lediglich Beispiele für Blockadesituationen beziehungsweise Situationen, welche eine Blockadesituation verursachen können, dar.Concrete examples of blockage situations are situations in which the current phase of a traffic light or other light signal display cannot be determined with sufficient reliability by the vehicle computing unit based on the surroundings sensor data or a traffic sign cannot be recognized with sufficient reliability. The blockage situation can also correspond to a situation in which the vehicle computing unit cannot carry out a reliable object classification based on the surroundings sensor data. A further possibility for a blockage situation corresponds to a situation in which the vehicle computing unit cannot determine a drivable area in its surroundings with sufficient reliability based on the surroundings sensor data. Another example of a blockage situation corresponds to a situation in which the digital data maps of the vehicle computing unit are incomplete or the vehicle computing unit recognizes from the environment sensor data that part of the digital map data differs from the actual environment of the motor vehicle. This list is not to be considered exhaustive and only represents examples of blockage situations or situations that can cause a blockage situation.

Die Unterstützungsanfrage entspricht nun einer Mitteilung der Fahrzeugrecheneinheit an die Serverrecheneinheit, dass eine Blockadesituation vorliegt und die Fahrzeugrecheneinheit zum weiteren Steuern des Kraftfahrzeugs externe Unterstützung benötigt. In Reaktion auf die Unterstützungsanfrage erzeugt und übermittelt die Serverrecheneinheit, beispielsweise automatisch oder gesteuert durch einen menschlichen Benutzer, die Unterstützungsnachricht, welche Anweisungen, Steuersignale oder Informationen beinhaltet oder beschreibt, wie die Fahrzeugrecheneinheit mit der Blockadesituation umgehen kann, um diese zu überwinden. Beispielsweise kann die Unterstützungsnachricht Informationen betreffend die Objektklassifizierung beziehungsweise das Verkehrszeichen oder die Lichtsignalanlage beinhalten, um der Fahrzeugrecheneinheit eine entsprechende Entscheidung abzunehmen und so weiter. Die Unterstützungsnachricht kann auch Anweisungen dahingehend beinhalten, dass gegebenenfalls Verkehrsregeln oder interne Vorschriften ausnahmsweise verletzt werden dürfen, um die Blockadesituation zu überwinden, beispielsweise indem ein kurzer Abschnitt über einen Gehweg gefahren wird oder dergleichen.The request for support now corresponds to a message from the vehicle processing unit to the server processing unit that there is a blockage situation and the vehicle processing unit requires external support for further control of the motor vehicle. In response to the support request, the server processing unit generates and transmits, for example automatically or controlled by a human user, the support message, which contains instructions, control signals or information or describes how the vehicle processing unit can deal with the blockage situation in order to overcome it. For example, the support message can contain information relating to the object classification or the traffic sign or the light signal system in order to take a corresponding decision from the vehicle computing unit and so on. The support message can also contain instructions to the effect that, if necessary, traffic rules or internal regulations may be violated in exceptional cases in order to overcome the blockage situation, for example by driving a short section over a sidewalk or the like.

Gemäß dem verbesserten Konzept wird ein generischer Situationscode basierend auf den Umfeldsensordaten ausgewählt, der die Art der Blockadesituation eindeutig beschreibt. Der Situationscode kann dabei einem einfachen numerischen oder alphanumerischen Code entsprechen. Je nach Situationscode und der entsprechenden Blockadesituation sind für die Serverrecheneinheit beziehungsweise das Kontrollzentrum oder den Benutzer des Kontrollzentrums bestimmte Informationen erforderlich, um die Unterstützungsnachricht erzeugen zu können und insbesondere alle Informationen bereitstellen zu können, die die Fahrzeugrecheneinheit benötigt, um die Blockadesituation zu überwinden.According to the improved concept, a generic situation code is selected based on the surroundings sensor data, which clearly describes the type of blockage situation. The situation code can correspond to a simple numeric or alphanumeric code. Depending on the situation code and the corresponding blockage situation, certain information is required for the server processing unit or the control center or the user of the control center in order to be able to generate the support message and, in particular, to be able to provide all the information that the vehicle processing unit needs to overcome the blockage situation.

Definiert der Situationscode beispielsweise eine Blockadesituation, in der ein Objekt nicht zuverlässig erkannt oder klassifiziert wird, so ist es gegebenenfalls erforderlich, eines oder mehrere Kamerabilder der Umfeldsensordaten an die Serverrecheneinheit zu übermitteln.If the situation code defines, for example, a blockage situation in which an object is not reliably recognized or classified, it may be necessary to transmit one or more camera images of the surroundings sensor data to the server processing unit.

Gemäß dem verbesserten Konzept werden sowohl der Situationscode als auch die generisch zugeordneten Situationsdaten bereits zusammen mit der Unterstützungsanfrage, also der initialen Anfrage der Fahrzeugrecheneinheit an die Serverrecheneinheit, übermittelt. According to the improved concept, both the situation code and the generically assigned situation data are already transmitted to the server computing unit together with the support request, ie the initial request from the vehicle computing unit.

Dadurch wird verhindert, dass die Serverrecheneinheit oder der Benutzer des Kontrollzentrums nach Erhalt der Unterstützungsanfrage erst die entsprechenden Situationsdaten bei der Fahrzeugrecheneinheit anfordern muss, sodass ein erhöhter Kommunikationsbedarf und ein entsprechender Zeitverlust sowie letztlich ein reduzierter Benutzerkomfort für einen Benutzer des autonomen Kraftfahrzeugs vermieden werden. Dadurch, dass die Blockadesituation anhand des Situationscodes gewissermaßen klassifiziert wird und die entsprechenden erforderlichen oder passenden Situationsdaten automatisch bereitgestellt werden, muss die Fahrzeugrecheneinheit der Serverrecheneinheit auch nicht unnötige Teile der Umfeldsensordaten bereitstellen, insbesondere müssen nicht gesamte Sensordatenströme bereitgestellt werden. Dadurch kann die Menge an zu übertragenden Daten reduziert werden. Die Fernunterstützung kann insgesamt effizienter und schneller erfolgen, da durch die zielgerichtete Übermittlung der Situationscodes und der zugehörigen Situationsdaten innerhalb kürzerer Zeit und in weniger Kommunikationsschritten alle erforderlichen Informationen an die Serverrecheneinheit bereitgestellt werden.This prevents the server processing unit or the user of the control center from having to request the corresponding situation data from the vehicle processing unit after receiving the support request, so that an increased Communication requirements and a corresponding loss of time and ultimately reduced user comfort for a user of the autonomous motor vehicle can be avoided. Since the blockage situation is classified to a certain extent using the situation code and the corresponding necessary or appropriate situation data is automatically provided, the vehicle processing unit does not have to provide the server processing unit with unnecessary parts of the surroundings sensor data, in particular not entire sensor data streams have to be provided. This can reduce the amount of data to be transmitted. The remote support can take place more efficiently and faster overall, since all the necessary information is made available to the server processing unit within a shorter time and in fewer communication steps as a result of the targeted transmission of the situation codes and the associated situation data.

Wie genau die Situationsdaten basierend auf den Umfeldsensordaten erzeugt werden ist dabei insbesondere durch die Art der Blockadesituation, also durch den Situationscode, eindeutig und vollständig festgelegt. Insbesondere kann durch den Situationscode eindeutig und vollständig festgelegt sein, welche Teile der Umfeldsensordaten, welche Art von Umfeldsensordaten und welche Menge an Umfeldsensordaten als Situationsdaten an die Serverrecheneinheit übermittelt werden.Exactly how the situation data is generated based on the surroundings sensor data is clearly and completely defined in particular by the type of blockage situation, ie by the situation code. In particular, the situation code can be used to clearly and completely specify which parts of the surroundings sensor data, which type of surroundings sensor data and which quantity of surroundings sensor data are transmitted to the server processing unit as situation data.

Gemäß zumindest einer Ausführungsform des Verfahrens nach dem verbesserten Konzept wird mittels der Fahrzeugrecheneinheit abhängig von der Unterstützungsnachricht wenigstens ein Steuersignal erzeugt und das Kraftfahrzeug wird abhängig von dem wenigstens einen Steuersignal vollautomatisch geführt, um die Blockadesituation zu überwinden.According to at least one embodiment of the method according to the improved concept, at least one control signal is generated by the vehicle processing unit depending on the support message and the motor vehicle is guided fully automatically depending on the at least one control signal in order to overcome the blockage situation.

Dabei kann beispielsweise ein elektronisches Fahrzeugführungssystem des Kraftfahrzeugs verwendet werden, um das Kraftfahrzeug vollautomatisch abhängig von dem wenigstens einen Steuersignal zu führen. Das Kraftfahrzeug beziehungsweise das elektronische Fahrzeugführungssystem führt dabei alle erforderlichen Funktionen, wie gegebenenfalls erforderliche Lenk-, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie die damit verbundenen erforderlichen Reaktionen selbsttätig und vollautomatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem zur Implementierung eines vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 in der Fassung vom Juni 2018 dienen. Das elektronische Fahrzeugführungssystem kann dabei beispielsweise die Fahrzeugrecheneinheit beinhalten und/oder das Umfeldsensorsystem und/oder weitere Sensoren und/oder einen Empfänger für ein globales Navigationssatellitensystem, GNSS, und/oder Aktuatoren zum Umsetzen von Steuerbefehlen.In this case, for example, an electronic vehicle guidance system of the motor vehicle can be used in order to guide the motor vehicle fully automatically depending on the at least one control signal. The motor vehicle or the electronic vehicle guidance system carries out all necessary functions, such as steering, braking and/or acceleration maneuvers that may be necessary, the observation and recording of road traffic and the associated necessary reactions, automatically and fully automatically. In particular, the electronic vehicle guidance system can be used to implement a fully automatic or fully autonomous driving mode of the motor vehicle according to level 5 of the classification according to SAE J3016 in the June 2018 version. The electronic vehicle guidance system can contain, for example, the vehicle computing unit and/or the environment sensor system and/or other sensors and/or a receiver for a global navigation satellite system, GNSS, and/or actuators for implementing control commands.

Gemäß zumindest einer Ausführungsform des Verfahrens nach dem verbesserten Konzept ist die Fahrzeugrecheneinheit dazu eingerichtet, zusammen mit der Unterstützungsanfrage oder als Teil der Unterstützungsanfrage digitale Kartendaten an die Serverrecheneinheit zu übermitteln.According to at least one embodiment of the method according to the improved concept, the vehicle computing unit is set up to transmit digital map data to the server computing unit together with the support request or as part of the support request.

Die Serverrecheneinheit oder der Benutzer der Serverrecheneinheit kann die digitalen Kartendaten dann zur Interpretation der Blockadesituation beziehungsweise zur Definition einer Lösung zum Überwinden der Blockadesituation heranziehen. Dies ist insbesondere vorteilhaft, wenn Positionierungsprobleme oder Probleme bei der Trajektorienplanung oder dergleichen Auslöser für die Blockadesituation sind.The server processing unit or the user of the server processing unit can then use the digital map data to interpret the blockage situation or to define a solution for overcoming the blockage situation. This is particularly advantageous when positioning problems or problems in trajectory planning or the like trigger the blockage situation.

Gemäß zumindest einer Ausführungsform wird mittels der Fahrzeugrecheneinheit ein Teil der Umfeldsensordaten abhängig von dem Situationscode ausgewählt, um die Situationsdaten zu erzeugen.According to at least one specific embodiment, part of the surroundings sensor data is selected by the vehicle computing unit as a function of the situation code in order to generate the situation data.

Mit anderen Worten enthalten die Situationsdaten den Teil der Umfeldsensordaten. Zusätzlich können in den verschiedenen Ausführungsformen die Situationsdaten auch weitere basierend auf den Umfeldsensordaten oder dem Teil der Umfeldsensordaten erzeugte Daten beinhalten. Insbesondere ist durch den Situationscode vorab festgelegt, welcher Teil der Umfeldsensordaten ausgewählt wird. Beispielsweise ist jedem der vorgegeben Situationscodes eine Vorschrift zur Auswahl des Teils der Umfeldsensordaten beziehungsweise zum Erzeugen der Situationsdaten zugeordnet. Der ausgewählte Teil der Umfeldsensordaten enthält insbesondere weniger Daten als in Form der Umfeldsensordaten zur Verfügung stehen. Dementsprechend wird die Menge der an die Serverrecheneinheit übertragenen Daten reduziert.In other words, the situation data contain the part of the surroundings sensor data. In addition, in the various embodiments, the situation data can also contain further data generated on the basis of the surroundings sensor data or part of the surroundings sensor data. In particular, the situation code predetermines which part of the surroundings sensor data is selected. For example, a specification for selecting the part of the surroundings sensor data or for generating the situation data is assigned to each of the predefined situation codes. In particular, the selected part of the surroundings sensor data contains less data than is available in the form of the surroundings sensor data. Accordingly, the amount of data transmitted to the server processing unit is reduced.

Gemäß zumindest einer Ausführungsform wird mittels der Serverrecheneinheit abhängig von der Unterstützungsanfrage eine Situationsbeschreibung der Blockadesituation erzeugt, und die Unterstützungsnachricht wird abhängig von der Situationsbeschreibung erzeugt. According to at least one embodiment, a situation description of the blockage situation is generated by the server processing unit as a function of the support request, and the support message is generated as a function of the situation description.

Insbesondere wird die Situationsbeschreibung mittels der Serverrecheneinheit abhängig von dem ausgewählten Situationscode aus einer Vielzahl vorgegebener Beschreibungen ausgewählt. Dies kann beispielsweise anhand einer Umsetzungstabelle oder Look-up-Tabelle erfolgen, die auf der Serverrecheneinheit gespeichert ist und jedem Situationscode der Vielzahl vorgegebener Situationscodes genau eine Situationsbeschreibung zuordnet. Die Situationsbeschreibung enthält dabei insbesondere eine Beschreibung der Blockadesituation, beispielsweise eine Art der Blockadesituation. Die Situationsbeschreibung dient also insbesondere zur Interpretation des Situationscodes beziehungsweise der Blockadesituation durch die Serverrecheneinheit oder den Benutzer der Serverrecheneinheit.In particular, the situation description is selected from a large number of predefined descriptions by means of the server processing unit depending on the selected situation code. This can be done, for example, using a conversion table or look-up table that is stored on the server processing unit and each situation tion code assigns exactly one situation description to the large number of predefined situation codes. The situation description contains in particular a description of the blockage situation, for example a type of blockage situation. The situation description is therefore used in particular for the interpretation of the situation code or the blocking situation by the server processing unit or the user of the server processing unit.

Indem einerseits der Situationscode als generischer, numerischer oder alphanumerischer Code erzeugt wird, und auf Seiten der Serverrecheneinheit gewissermaßen zurückübersetzt wird, um die Blockadesituation zu beschreiben, lässt sich eine universelle Unterstützung realisieren. Insbesondere ist es für die Serverrecheneinheit irrelevant, wie genau die Fahrzeugrecheneinheit den Situationscode basierend auf den Umfeldsensordaten auswählt, also bei welchen Blockadesituationen welcher Situationscode ausgewählt wird. Umgekehrt ist es für die Fahrzeugrecheneinheit auch nicht relevant, wie die Serverrecheneinheit die Situationsbeschreibung basierend auf dem Situationscode auswählt. Der Situationscode ermöglicht also eine generische Sprache, mit der sowohl die Fahrzeugrecheneinheit als auch die Serverrecheneinheit umgehen kann.Universal support can be achieved by firstly generating the situation code as a generic, numeric or alphanumeric code and translating it back to a certain extent on the part of the server processing unit in order to describe the blockage situation. In particular, it is irrelevant for the server processing unit how exactly the vehicle processing unit selects the situation code based on the surroundings sensor data, ie which situation code is selected in which blocking situations. Conversely, it is also not relevant for the vehicle processing unit how the server processing unit selects the situation description based on the situation code. The situation code thus enables a generic language that can be used by both the vehicle processor and the server processor.

Gemäß zumindest einer Ausführungsform wird die Unterstützungsnachricht mittels der Serverrecheneinheit abhängig von der Situationsbeschreibung und den Situationsdaten vollautomatisch erzeugt, also ohne dass eine Eingabe durch oder Interaktion mit dem Benutzer der Serverrecheneinheit erforderlich ist. Dadurch kann der zur Fernunterstützung erforderliche Personalaufwand reduziert werden. Außerdem kann die Unterstützungsnachricht so schneller bereitgestellt werden.In accordance with at least one embodiment, the support message is generated fully automatically by the server processing unit depending on the situation description and the situation data, ie without an input by or interaction with the user of the server processing unit being required. As a result, the personnel expenditure required for remote support can be reduced. In addition, the support message can be provided more quickly.

In einer solchen Ausführungsform kann die Serverrecheneinheit beispielsweise als ausgelagerte Erweiterung der Rechenleistung der Fahrzeugrecheneinheit angesehen werden. Die Beschränkungen von eingebetteten Systemen bezüglich verfügbarem Speicher und verfügbarer Rechenleistung sind für die externe Serverrecheneinheit nicht gegeben. Dadurch können die Umfeldsensordaten beziehungsweise die Situationsdaten durch die Serverrecheneinheit gegebenenfalls genauer analysiert werden, als dies mit der Fahrzeugrecheneinheit möglich ist. Beispielsweise können Kamerabilder oder Lidarpunktwolken mit einer höheren Auflösung analysiert werden als dies in vertretbarer Zeit durch die Fahrzeugrecheneinheit möglich wäre. Außerdem kann die Serverrecheneinheit beispielsweise über eine Netzwerkanbindung weitere Informationen einholen, um gegebenenfalls zuverlässigere Entscheidungen treffen zu können. Dadurch kann beispielsweise die Zuverlässigkeit bei der Objekterkennung oder Objektklassifizierung durch die Serverrecheneinheit höher sein als dies durch die Fahrzeugrecheneinheit möglich wäre. Auch kann die Serverrecheneinheit beispielsweise aktualisierte digitale Kartendaten abrufen und als Teil der Unterstützungsnachricht bereitstellen.In such an embodiment, the server processing unit can, for example, be viewed as an outsourced expansion of the processing power of the vehicle processing unit. The limitations of embedded systems with regard to available memory and available computing power do not apply to the external server computing unit. As a result, the surroundings sensor data or the situation data can be analyzed more precisely by the server processing unit than is possible with the vehicle processing unit. For example, camera images or lidar point clouds can be analyzed with a higher resolution than would be possible in a reasonable time by the vehicle computing unit. In addition, the server processing unit can obtain further information, for example via a network connection, in order to be able to make more reliable decisions if necessary. As a result, for example, the reliability of the object recognition or object classification by the server processing unit can be higher than would be possible with the vehicle processing unit. The server processing unit can also call up updated digital map data, for example, and provide them as part of the support message.

Gemäß zumindest einer Ausführungsform, bei der die Unterstützungsnachricht mittels der Serverrecheneinheit vollautomatisch erzeugt wird, wird mittels der Serverrecheneinheit abhängig von der Situationsbeschreibung und den Situationsdaten ein Unterstützungscode aus einer vorgegebenen Vielzahl von Unterstützungscodes ausgewählt, und die Unterstützungsnachricht enthält den ausgewählten Unterstützungscode.According to at least one embodiment, in which the support message is generated fully automatically by the server processing unit, a support code is selected from a predetermined number of support codes by the server processing unit depending on the situation description and the situation data, and the support message contains the selected support code.

Wie der Situationscode kann auch der Unterstützungscode als einfacher numerischer oder alphanumerischer Code ausgestaltet sein und kann beispielsweise vorgegebene, mittels der Fahrzeugrecheneinheit beziehungsweise des Kraftfahrzeugs auszuführende Aktionen kodieren, die angesichts der Situationsdaten und der Art der Blockadesituation gemäß der Analyse durch die Serverrecheneinheit geeignet sind, um die Blockadesituation zu überwinden. Auch hierdurch kann die von der Serverrecheneinheit an die Fahrzeugrecheneinheit zu übermittelnde Menge von Daten reduziert werden.Like the situation code, the support code can also be designed as a simple numeric or alphanumeric code and can, for example, encode predetermined actions to be carried out by the vehicle computing unit or the motor vehicle, which, given the situation data and the type of blockage situation according to the analysis by the server computing unit, are suitable for to overcome a blockage. As a result, the quantity of data to be transmitted from the server processing unit to the vehicle processing unit can also be reduced.

Gemäß zumindest einer Ausführungsform wird abhängig von der Situationsbeschreibung und den Situationsdaten mittels der Serverrecheneinheit eine visuelle Anzeige auf einem Anzeigegerät erzeugt. Eine Benutzereingabe wird mittels der Serverrecheneinheit in Reaktion auf die visuelle Anzeige erfasst, und mittels der Serverrecheneinheit wird die Unterstützungsnachricht abhängig von der Benutzereingabe erzeugt.According to at least one embodiment, depending on the situation description and the situation data, a visual display is generated on a display device by means of the server processing unit. A user input is detected by the server processing unit in response to the visual display, and the support message is generated by the server processing unit depending on the user input.

Durch die visuelle Anzeige können die Situationsbeschreibung und die Situationsdaten für den Benutzer der Serverrecheneinheit aufbereitet werden, so dass dieser die Situation bewerten und möglichst zügig eine Entscheidung beziehungsweise Anweisung erstellen kann, basierend auf der die Unterstützungsnachricht erzeugt wird.The situation description and the situation data can be prepared for the user of the server processing unit through the visual display, so that he can assess the situation and make a decision or instruction as quickly as possible, based on which the support message is generated.

Gemäß zumindest einer Ausführungsform wird mittels der Serverrecheneinheit abhängig von der Benutzereingabe ein Unterstützungscode aus einer vorgegebenen Vielzahl von Unterstützungscodes ausgewählt und die Unterstützungsnachricht enthält den ausgewählten Unterstützungscode.In accordance with at least one embodiment, a support code is selected from a predefined plurality of support codes by means of the server processing unit depending on the user input, and the support message contains the selected support code.

Gemäß zumindest einer Ausführungsform wird das wenigstens eine Steuersignal mittels der Fahrzeugrecheneinheit abhängig von dem ausgewählten Unterstützungscode erzeugt, und das Kraftfahrzeug wird mittels des elektronischen Fahrzeugführungssystems des Kraftfahrzeugs abhängig von dem wenigstens einen Steuersignal automatisch geführt, um so die Blockadesituation zu überwinden.According to at least one embodiment, the at least one control signal is generated by the vehicle computing unit depending on the selected support code, and the motor vehicle is dependent on the electronic vehicle guidance system of the motor vehicle automatically guided to the at least one control signal in order to overcome the blockage situation.

Gemäß dem verbesserten Konzept wird auch ein Kommunikationssystem zur Fernunterstützung eines autonomen Kraftfahrzeugs angegeben, wobei das Kommunikationssystem eine Fahrzeugrecheneinheit für das Kraftfahrzeug aufweist und die Fahrzeugrecheneinheit dazu eingerichtet ist, basierend auf Umfeldsensordaten des Kraftfahrzeugs das Vorliegen einer Blockadesituation festzustellen. Die Fahrzeugrecheneinheit ist dazu eingerichtet, basierend auf den Umfeldsensordaten einen Situationscode aus einer Vielzahl von vorgegebenen Situationscodes auszuwählen, abhängig von dem ausgewählten Situationscode Situationsdaten basierend auf den Umfeldsensordaten zu erzeugen, eine Unterstützungsanfrage, die den Situationscode sowie die Situationsdaten enthält, zu erzeugen und an eine externe Serverrecheneinheit zu übermitteln und nach der Übermittlung der Unterstützungsanfrage eine Unterstützungsnachricht zur Überwindung der Blockadesituation von der Serverrecheneinheit zu erhalten.According to the improved concept, a communication system for remote support of an autonomous motor vehicle is also specified, the communication system having a vehicle computing unit for the motor vehicle and the vehicle computing unit being set up to determine the presence of a blockage situation based on environmental sensor data of the motor vehicle. The vehicle computing unit is set up to select a situation code from a large number of predefined situation codes based on the surroundings sensor data, to generate situation data based on the surroundings sensor data depending on the selected situation code, to generate a support request that contains the situation code and the situation data, and to send it to an external To transmit server processing unit and to receive a support message for overcoming the blockade situation from the server processing unit after the transmission of the support request.

Gemäß zumindest einer Ausführungsform enthält das Kommunikationssystem ein Umfeldsensorsystem für das Kraftfahrzeug, das dazu eingerichtet ist, die Umfeldsensordaten zu erzeugen.According to at least one embodiment, the communication system contains an environment sensor system for the motor vehicle, which is set up to generate the environment sensor data.

Das Umfeldsensorsystem kann dabei insbesondere eines oder mehrere Kamerasysteme, eines oder mehrere Lidarsysteme, eines oder mehrere Radarsysteme und/oder eines oder mehrere Ultraschallsensorsysteme beinhalten.The environment sensor system can contain in particular one or more camera systems, one or more lidar systems, one or more radar systems and/or one or more ultrasonic sensor systems.

Gemäß zumindest einer Ausführungsform enthält das Kommunikationssystem die Serverrecheneinheit, und die Serverrecheneinheit ist dazu eingerichtet, die Unterstützungsnachricht zu erzeugen und an die Fahrzeugrecheneinheit zu übermitteln.According to at least one embodiment, the communication system contains the server processing unit, and the server processing unit is set up to generate the support message and to transmit it to the vehicle processing unit.

Weitere Ausführungsformen des Kommunikationssystems nach dem verbesserten Konzept folgen direkt aus den verschiedenen Ausgestaltungsformen des Verfahrens nach dem verbesserten Konzept und umgekehrt. Insbesondere kann ein Kommunikationssystem nach dem verbesserten Konzept dazu eingerichtet oder programmiert sein, ein Verfahren nach dem verbesserten Konzept durchzuführen oder es führt ein solches Verfahren durch. Further embodiments of the communication system according to the improved concept follow directly from the various embodiments of the method according to the improved concept and vice versa. In particular, a communication system according to the improved concept can be set up or programmed to carry out a method according to the improved concept or it carries out such a method.

Gemäß dem verbesserten Konzept wird auch ein Kraftfahrzeug angegeben, insbesondere ein autonomes Kraftfahrzeug, das eine Fahrzeugrecheneinheit aufweist. Die Fahrzeugrecheneinheit ist dazu eingerichtet, basierend auf Umfeldsensordaten des Kraftfahrzeugs das Vorliegen einer Blockadesituation festzustellen. Die Fahrzeugrecheneinheit ist dazu eingerichtet, basierend auf den Umfeldsensordaten einen Situationscode aus einer Vielzahl von vorgegebenen Situationscodes auszuwählen, abhängig von dem ausgewählten Situationscode Situationsdaten basierend auf den Umfeldsensordaten zu erzeugen, eine Unterstützungsanfrage, die den Situationscode sowie die Situationsdaten enthält, zu erzeugen und an eine externe Serverrecheneinheit zu übermitteln und nach der Übermittlung der Unterstützungsanfrage eine Unterstützungsnachricht zur Überwindung der Blockadesituation von der Serverrecheneinheit zu erhalten.According to the improved concept, a motor vehicle is also specified, in particular an autonomous motor vehicle, which has a vehicle computing unit. The vehicle computing unit is set up to determine the presence of a blockage situation based on surroundings sensor data of the motor vehicle. The vehicle computing unit is set up to select a situation code from a large number of predefined situation codes based on the surroundings sensor data, to generate situation data based on the surroundings sensor data depending on the selected situation code, to generate a support request that contains the situation code and the situation data, and to send it to an external To transmit server processing unit and to receive a support message for overcoming the blockade situation from the server processing unit after the transmission of the support request.

Weitere Ausführungsformen des Kraftfahrzeugs nach dem verbesserten Konzept folgen direkt aus den verschiedenen Ausgestaltungsformen des Verfahrens nach dem verbesserten Konzept und umgekehrt. Insbesondere kann ein Kraftfahrzeug nach dem verbesserten Konzept dazu eingerichtet oder programmiert sein, ein Verfahren nach dem verbesserten Konzept durchzuführen oder es führt ein solches Verfahren durch.Further embodiments of the motor vehicle according to the improved concept follow directly from the various configurations of the method according to the improved concept and vice versa. In particular, a motor vehicle can be set up or programmed according to the improved concept to carry out a method according to the improved concept or it carries out such a method.

Im Folgenden werden Ausführungsbeispiele der Erfindung beschrieben. In den Figuren zeigen:

1 eine schematische Darstellung einer beispielhaften Ausführungsform eines Kommunikationssystems nach dem verbesserten Konzept; und
2 ein Ablaufdiagramm einer beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept.

Exemplary embodiments of the invention are described below. In the figures show:

1 Fig. 12 is a schematic representation of an exemplary embodiment of a communication system according to the improved concept; and
2 a flow chart of an exemplary embodiment of a method according to the improved concept.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsbeispiele der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsbeispiele auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred exemplary embodiments of the invention. In the exemplary embodiments, the components described each represent individual features of the invention to be considered independently of one another, which also develop the invention independently of one another and are therefore also to be regarded as part of the invention individually or in a combination other than that shown. Furthermore, the exemplary embodiments described can also be supplemented by further features of the invention already described.

In 1 ist schematisch eine beispielhafte Ausführungsform eines Kommunikationssystems 5 nach dem verbesserten Konzept dargestellt. Das Kommunikationssystem 5 weist eine Fahrzeugrecheneinheit 2 eines autonomen Kraftfahrzeugs 1 auf sowie eine Serverrecheneinheit 4, die extern zu dem Kraftfahrzeug 1 angeordnet ist und insbesondere Teil eines Kontrollzentrums zur Fernunterstützung des autonomen Kraftfahrzeugs 1 ist.In 1 1 is a schematic representation of an exemplary embodiment of a communication system 5 according to the improved concept. The communication system 5 has a vehicle computing unit 2 of an autonomous motor vehicle 1 and a server computing unit 4 which is arranged externally to the motor vehicle 1 and is in particular part of a control center for remote support of the autonomous motor vehicle 1 .

Das Kraftfahrzeug 1 weist ein Umfeldsensorsystem 3 auf, das beispielsweise eine oder mehrere Kameras, Lidarsysteme, Radarsystem und/oder Ultraschallsensorsysteme enthalten kann. Das Umfeldsensorsystem 3 kann beispielsweise Teil des Kommunikationssystems 5 sein. Das Kraftfahrzeug 1 weist außerdem eine Kommunikationsschnittstelle 6 zur drahtlosen Kommunikation mit der Serverrecheneinheit 4 auf, insbesondere zur drahtlosen Kommunikation mit einer Kommunikationsschnittstelle 6` der Serverrecheneinheit 4. Auch die Kommunikationsschnittstelle 6 kann in verschiedenen Ausgestaltungsformen Teil des Kommunikationssystems 5 sein.The motor vehicle 1 has an environment sensor system 3, for example, one or more May contain cameras, lidar systems, radar systems and/or ultrasonic sensor systems. Surroundings sensor system 3 can be part of communication system 5, for example. The motor vehicle 1 also has a communication interface 6 for wireless communication with the server processing unit 4, in particular for wireless communication with a communication interface 6' of the server processing unit 4. The communication interface 6 can also be part of the communication system 5 in various configurations.

Die Fahrzeugrecheneinheit 2 und das Umfeldsensorsystem 3 können beispielsweise als Teile eines elektronischen Fahrzeugführungssystems des Kraftfahrzeugs 1 angesehen werden, das das Kraftfahrzeug 1 vollautomatisch steuern kann.The vehicle computing unit 2 and the surroundings sensor system 3 can be regarded, for example, as parts of an electronic vehicle guidance system of the motor vehicle 1, which can control the motor vehicle 1 fully automatically.

Die Funktionsweise des Kommunikationssystems 5 wird im Folgenden anhand beispielhafter Ausführungsformen eines Verfahrens zur Fernunterstützung des autonomen Kraftfahrzeugs 1 anhand des Ablaufdiagramms für ein solches Verfahren gemäß 2 erläutert.The functioning of the communication system 5 is described below using exemplary embodiments of a method for remote support of the autonomous motor vehicle 1 using the flowchart for such a method 2 explained.

Um das Kraftfahrzeug 1 vollautomatisch zu steuern, erzeugt das Umfeldsensorsystem 3 kontinuierlich einen oder mehrere Sensordatenströme, welche die Umgebung des Kraftfahrzeugs 1 darstellen und als Umfeldsensordaten bezeichnet werden können. Im Schritt S1 des Verfahrens stellt die Fahrzeugrecheneinheit 2 basierend auf den Umfeldsensordaten fest, dass eine Blockadesituation vorliegt, das elektronische Fahrzeugführungssystem also das Kraftfahrzeug 1 nicht, nicht zuverlässig oder nicht mit ausreichender Sicherheit vollautomatisch führen kann. Einer solchen Blockadesituation können verschiedene Ursachen zugrunde liegen. Beispielsweise kann es vorkommen, dass die Fahrzeugrecheneinheit 2 basierend auf den Umfeldsensordaten eine Ampelphase oder ein Verkehrsschild nicht mit ausreichender Zuverlässigkeit erkennen kann. Eine weitere Möglichkeit ist, dass die Fahrzeugrecheneinheit 2 keinen ausreichenden Konfidenzwert bei einer Objektklassifizierung erreicht und daher beispielsweise nicht zuverlässig zwischen einem unkritischen Objekt und einem Fußgänger oder einem Kind unterscheiden kann. Eine weitere Möglichkeit ist, dass die Fahrzeugrecheneinheit 2 nicht zuverlässig einen befahrbaren Bereich in der Umgebung des Kraftfahrzeugs 1 bestimmen kann, beispielsweise weil ein Teil der dem Kraftfahrzeug 1 dazu zur Verfügung stehenden digitalen Kartendaten von den Gegebenheiten gemäß dem Umfeldsensorsystem abweicht oder dergleichen. Außerdem ist es möglich, dass die Fahrzeugrecheneinheit 2 eine Position des Kraftfahrzeugs 1 basierend auf GPS-Signalen und/oder die digitalen Karteninformationen nicht mit ausreichender Zuverlässigkeit bestimmen kann. Im Allgemeinen kann die Blockadesituation auf Probleme bei der Umweltwahrnehmung, auf Probleme bezüglich der digitalen Kartendaten, auf Probleme bei der Positionierung des Kraftfahrzeugs 1 und/oder auf Probleme bei der Trajektorienplanung zurückgehen. Auch andere Ursachen für die Blockadesituation sind jedoch möglich.In order to control motor vehicle 1 fully automatically, surroundings sensor system 3 continuously generates one or more sensor data streams that represent the surroundings of motor vehicle 1 and can be referred to as surroundings sensor data. In step S1 of the method, the vehicle computing unit 2 determines, based on the surroundings sensor data, that there is a blockage situation, meaning that the electronic vehicle guidance system cannot guide the motor vehicle 1 fully automatically, or not reliably or with sufficient safety. Such a blockage situation can have various causes. For example, the vehicle computing unit 2 may not be able to recognize a traffic light phase or a traffic sign with sufficient reliability based on the surroundings sensor data. A further possibility is that the vehicle computing unit 2 does not achieve a sufficient confidence value in an object classification and therefore cannot reliably distinguish between an uncritical object and a pedestrian or a child, for example. Another possibility is that the vehicle computing unit 2 cannot reliably determine a trafficable area in the vicinity of the motor vehicle 1, for example because part of the digital map data available to the motor vehicle 1 differs from the circumstances according to the surroundings sensor system or the like. It is also possible that the vehicle computing unit 2 cannot determine a position of the motor vehicle 1 with sufficient reliability based on GPS signals and/or the digital map information. In general, the blockage situation can be traced back to problems with the perception of the environment, problems with the digital map data, problems with the positioning of the motor vehicle 1 and/or problems with the trajectory planning. However, other causes for the blockage situation are also possible.

In Schritt S1 analysiert die Fahrzeugrecheneinheit 2 nun die Umfeldsensordaten, um festzustellen, welcher Art die Blockadesituation ist und wählt basierend darauf einen Situationscode aus einer Vielzahl vorgegebener Situationscodes aus. In einer beispielhaften Ausführungsform kann etwa der Situationscode „1“ für eine Blockadesituation stehen, in der die Ampelphase nicht zuverlässig erkannt wird, der Situationscode „2“ für eine Blockadesituation, in der ein Verkehrsschild nicht zuverlässig erkannt wird, der Situationscode „3“ für eine Blockadesituation, bei der ein Konfidenzwert für eine Objektklassifizierung geringer ist als ein vorgegebener Schwellwert und der Situationscode „4“ für eine Blockadesituation, in der der befahrbare Bereich nicht mit ausreichender Zuverlässigkeit festgestellt werden kann und so weiter.In step S1, vehicle computing unit 2 now analyzes the surroundings sensor data in order to determine the type of blockage situation and, based on this, selects a situation code from a large number of predefined situation codes. In an exemplary embodiment, situation code "1" can stand for a blockage situation in which the traffic light phase is not reliably recognized, situation code "2" for a blockage situation in which a traffic sign is not reliably recognized, situation code "3" for a Blockage situation in which a confidence value for an object classification is lower than a predetermined threshold value and the situation code "4" for a blockage situation in which the passable area cannot be determined with sufficient reliability, and so on.

Die Fahrzeugrecheneinheit 2 kann beispielsweise ein Triggersignal erzeugen, das den jeweiligen Situationscode enthält oder dem jeweiligen Situationscode entspricht. In Schritt S2 kann die Fahrzeugrecheneinheit 2, beispielsweise ein Situationsmodul der Fahrzeugrecheneinheit 2, basierend auf dem Triggersignal, insbesondere abhängig von dem ausgewählten Situationscode, Situationsdaten aus den Umfeldsensordaten auswählen und eine Unterstützungsanfrage erzeugen, die die ausgewählten Situationscodes sowie die Situationsdaten enthält.The vehicle computing unit 2 can, for example, generate a trigger signal that contains the respective situation code or corresponds to the respective situation code. In step S2, the vehicle computing unit 2, for example a situation module of the vehicle computing unit 2, based on the trigger signal, in particular depending on the selected situation code, select situation data from the environment sensor data and generate a support request that contains the selected situation codes and the situation data.

Um beispielsweise entscheiden zu können, welche Ampelphase tatsächlich vorliegt, welche Objektklasse tatsächlich gegeben ist und so weiter, kann die Fahrzeugrecheneinheit 2 beispielsweise eines oder mehrere Kamerabilder oder Videosequenzen aus den Umfeldsensordaten auswählen und als Situationsdaten erzeugen, die als Teil der Unterstützungsanfrage verwendet werden.In order to be able to decide, for example, which traffic light phase is actually present, which object class is actually given and so on, the vehicle computing unit 2 can select one or more camera images or video sequences from the environmental sensor data and generate them as situation data that are used as part of the support request.

In Schritt S3 übermittelt die Fahrzeugrecheneinheit 2 insbesondere mittels der Kommunikationsschnittstelle 6 die Unterstützungsanfrage über die Kommunikationsschnittstelle 6' an die Serverrecheneinheit 4, welche die Unterstützungsanfrage in Schritt S4 erhält. In Schritt S5 kann die Serverrecheneinheit 4 beispielsweise die Situationsdaten und den Situationscode interpretieren. Insbesondere kann die Serverrecheneinheit den Situationscode gemäß einer auf der Serverrecheneinheit 4 hinterlegten Tabelle in eine entsprechende Bedeutung übersetzen.In step S3, the vehicle computing unit 2 uses the communication interface 6 in particular to transmit the support request via the communication interface 6′ to the server computing unit 4, which receives the support request in step S4. In step S5, the server processing unit 4 can interpret the situation data and the situation code, for example. In particular, the server processing unit can translate the situation code into a corresponding meaning according to a table stored on the server processing unit 4 .

In Schritt S6 kann die Serverrecheneinheit 4 die Situationsbeschreibung, die in Schritt S5 erzeugt wurde, visualisieren und auf einem Anzeigegerät der Serverrecheneinheit 4 für einen Benutzer der Serverrecheneinheit 4 anzeigen. In Schritt S7 kann der Benutzer die Blockadesituation analysieren und eine entsprechende Lösung des Problems auswählen. Dadurch, dass bereits in der Unterstützungsanfrage sowohl der Situationscode als auch die Situationsdaten enthalten waren, ist es für das Kontrollzentrum beziehungsweise den Benutzer der Serverrecheneinheit im Allgemeinen nicht erforderlich, weitere Sensordaten von der Fahrzeugrecheneinheit 2 anzufordern.In step S6 the server processing unit 4 can visualize the situation description that was generated in step S5 and display it on a display device of the server processing unit 4 for a user of the server processing unit 4 . In step S7, the user can analyze the blockage situation and select an appropriate solution to the problem. Because both the situation code and the situation data were already contained in the support request, it is generally not necessary for the control center or the user of the server processing unit to request further sensor data from the vehicle processing unit 2 .

In alternativen Ausführungsformen kann die Serverrecheneinheit 4 die Entscheidung beziehungsweise die Lösung der Blockadesituation auch vollautomatisch erzeugen, ohne dass eine Interpretation durch einen menschlichen Benutzer der Serverrecheneinheit 4 erforderlich ist.In alternative embodiments, the server processing unit 4 can also generate the decision or the solution to the blockage situation fully automatically, without an interpretation by a human user of the server processing unit 4 being required.

In Schritt S8 kann die Serverrecheneinheit 4 beispielsweise basierend auf einer Benutzereingabe oder automatisch einen Unterstützungscode aus einer Vielzahl vorgegebener Unterstützungscodes auswählen. Jeder Unterstützungscode definiert dabei eindeutig alle Informationen, die für das Kraftfahrzeug 1 beziehungsweise die Fahrzeugrecheneinheit 2 erforderlich sind, um die Blockadesituation zu überwinden. In Schritt S9 übermittelt die Serverrecheneinheit 4 über die Kommunikationsschnittstelle 6' die Unterstützungsnachricht, die den Unterstützungscode enthält, und die Fahrzeugrecheneinheit 2 empfängt die Unterstützungsnachricht in Schritt S10.In step S8, the server processing unit 4 can, for example, based on a user input or automatically select a support code from a large number of predefined support codes. Each support code clearly defines all the information that is required for the motor vehicle 1 or the vehicle computing unit 2 in order to overcome the blockage situation. In step S9, the server processing unit 4 transmits the support message, which contains the support code, via the communication interface 6', and the vehicle processing unit 2 receives the support message in step S10.

In Schritt S11 kann die Fahrzeugrecheneinheit 2 basierend auf dem Unterstützungscode entsprechende Steuersignale erzeugen, um das Kraftfahrzeug 1 in Schritt S12 automatisch zu führen, um die Blockadesituation zu überwinden. Schritt S11 kann dabei beispielsweise mittels einer fahrzeugspezifischen Komponente realisiert werden, welche generische Signale der Serverrecheneinheit 4 empfängt und entsprechend der Softwarearchitektur des Kraftfahrzeugs 1 aufbereitet, sodass dieses mit den generischen Signalen umgehen kann. In step S11, the vehicle computing unit 2 can generate corresponding control signals based on the support code in order to automatically guide the motor vehicle 1 in step S12 in order to overcome the blockage situation. Step S11 can be implemented, for example, by means of a vehicle-specific component that receives generic signals from the server processing unit 4 and processes them according to the software architecture of the motor vehicle 1 so that it can handle the generic signals.

Wie insbesondere anhand der Figuren beschrieben wird es durch das verbesserte Konzept ermöglicht, eine effizientere Kommunikation zwischen einem autonomen Kraftfahrzeug und einem Kontrollzentrum zur Fernunterstützung zu realisieren, indem insbesondere die Menge auszutauschender Daten reduziert wird.As described in particular with reference to the figures, the improved concept makes it possible to implement more efficient communication between an autonomous motor vehicle and a control center for remote support, in that the amount of data to be exchanged is reduced in particular.

Dazu wird beispielsweise durch das Kraftfahrzeug ein Triggersignal erzeugt, das beschreibt, warum das Kraftfahrzeug nicht in der Lage ist, die Blockadesituation selbständig zu überwinden. Basierend auf dem Triggersignal können verschiedene Informationen zusammengestellt werden, insbesondere basierend auf Umfeldsensordaten, welche die aktuelle Situation und die Blockadesituation des Kraftfahrzeugs beschreiben und darstellen. Die Informationen werden dabei insbesondere abhängig von dem Triggersignal eindeutig ausgewählt. Basierend darauf wird eine Unterstützungsanfrage an das Kontrollzentrum übermittelt, welches ebenfalls basierend auf dem Triggersignal und den bereitgestellten Informationen und Situationsdaten alle Informationen bereitstellen kann, die notwendig sind, um die Blockadesituation zu überwinden. Das Kraftfahrzeug kann diese Informationen entsprechend in Steuersignale übersetzen und kann nun die Blockadesituation selbständig überwinden.For this purpose, a trigger signal is generated by the motor vehicle, for example, which describes why the motor vehicle is not able to overcome the blockage situation independently. Various pieces of information can be compiled based on the trigger signal, in particular based on surroundings sensor data, which describe and represent the current situation and the situation in which the motor vehicle is blocked. In this case, the information is unequivocally selected, in particular depending on the trigger signal. Based on this, a support request is sent to the control center, which can also provide all the information that is necessary to overcome the blockage situation based on the trigger signal and the information and situation data provided. The motor vehicle can translate this information accordingly into control signals and can now independently overcome the blockage situation.

BezugszeichenlisteReference List

11: Kraftfahrzeugmotor vehicle
22: Fahrzeugrecheneinheitvehicle computing unit
33: Umfeldsensorsystemenvironment sensor system
44: Serverrecheneinheitserver processing unit
55: Kommunikationssystemcommunication system
6, 6'6, 6': Kommunikationsschnittstellencommunication interfaces
S1-S12S1-S12: Verfahrensschritteprocess steps

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

WO 2019/032088 A1 [0003]

Claims

Method for remote support of an autonomous motor vehicle (1), with a surroundings sensor system (3) of the motor vehicle (1) generating surroundings sensor data and using a vehicle computing unit (2) of the motor vehicle (1) based on the surroundings sensor data, the presence of a blockage situation is determined, characterized that - by means of the vehicle computing unit (2) - based on the surroundings sensor data, a situation code is selected from a plurality of predetermined situation codes; - Depending on the selected situation code, situation data are generated based on the surroundings sensor data; and - a support request, which contains the selected situation code and the situation data, is generated and transmitted to an external server processing unit (4); and - after the transmission of the support request by means of the server processing unit (4), a support message for overcoming the blockage situation is generated and transmitted to the vehicle processing unit (2).

procedure after claim 1 , characterized in that by means of the vehicle computing unit (2) a part of the environment sensor data is selected depending on the selected situation code to generate the situation data.

Method according to one of the preceding claims, characterized in that - a situation description of the blockage situation is generated by means of the server processing unit (4) as a function of the support request; and - the support message is generated depending on the situation description.

procedure after claim 3 , characterized in that the situation description is selected from a large number of predefined descriptions by means of the server processing unit (4) depending on the selected situation code.

Procedure according to one of claims 3 or 4 , characterized in that the support message is generated fully automatically by the server processing unit (4) depending on the situation description and the situation data.

procedure after claim 5 , characterized in that a support code is selected from a predetermined plurality of support codes by means of the server processing unit (4) depending on the situation description and the situation data, and the support message contains the selected support code.

Procedure according to one of claims 3 or 4 , characterized in that by means of the server processing unit (4) - depending on the situation description and the situation data, a visual display is generated on a display device; - detecting a user input in response to the visual indication; and - the support message is generated depending on the user input.

procedure after claim 7 , characterized in that by means of the server processing unit (4) depending on the user input, a support code is selected from a predetermined number of support codes and the support message contains the selected support code.

Procedure according to one of Claims 6 or 8th , characterized in that - by means of the vehicle computing unit (2) depending on the selected support code at least one control signal is generated; and - the motor vehicle (1) is guided automatically by means of an electronic vehicle guidance system of the motor vehicle (1) as a function of the at least one control signal.

Communication system for remote support of an autonomous motor vehicle (1), the communication system (5) having a vehicle computing unit (2) for the motor vehicle (1), which is set up to determine the presence of a blockage situation based on environmental sensor data of the motor vehicle (1), characterized in that that the vehicle computing unit (2) is set up to - select a situation code from a large number of predefined situation codes based on the surroundings sensor data; - generate situation data based on the environment sensor data depending on the selected situation code; - to generate a support request, which contains the situation code and the situation data, and to transmit it to an external server processing unit (4); and - to receive a support message for overcoming the blockage situation from the server processing unit (4) after the support request has been transmitted.