DE102017207810A1 - Method for the automated guidance of a motor vehicle - Google Patents

Method for the automated guidance of a motor vehicle Download PDF

Info

Publication number
DE102017207810A1
DE102017207810A1 DE102017207810.3A DE102017207810A DE102017207810A1 DE 102017207810 A1 DE102017207810 A1 DE 102017207810A1 DE 102017207810 A DE102017207810 A DE 102017207810A DE 102017207810 A1 DE102017207810 A1 DE 102017207810A1
Authority
DE
Germany
Prior art keywords
motor vehicle
detection device
image data
information
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102017207810.3A
Other languages
German (de)
Other versions
DE102017207810B4 (en
Inventor
Markus Popken
Philipp Kretschmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102017207810.3A priority Critical patent/DE102017207810B4/en
Publication of DE102017207810A1 publication Critical patent/DE102017207810A1/en
Application granted granted Critical
Publication of DE102017207810B4 publication Critical patent/DE102017207810B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0044—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Abstract

Verfahren zur automatisierten Führung eines Kraftfahrzeugs (1), wobei durch eine kraftfahrzeugseitige Sensorik (2) das Umfeld des Kraftfahrzeugs (1) betreffende Umfeldinformationen erfasst werden und in Abhängigkeit der Umfeldinformationen wenigstens ein im Rahmen der automatisierten Führung durchzuführender Fahreingriff ermittelt wird, wobei durch eine durch einen Nutzer (7) tragbare, fahrzeugexterne Erfassungseinrichtung (6) das Umfeld des Kraftfahrzeugs (1) betreffende Bilddaten erfasst werden, wobei die Bilddaten von der Erfassungseinrichtung (6) an das Kraftfahrzeug (1) übertragen werden, wonach der Fahreingriff in Abhängigkeit der Bilddaten ermittelt wird, und/oder wobei eine den durchzuführenden Fahreingriff betreffende Fahreingriffsinformation von dem Kraftfahrzeug (1) an die Erfassungseinrichtung (6) übertragen wird, wonach durch die Erfassungseinrichtung (6) eine Überlagerung einer in Abhängigkeit der Bilddaten erzeugten Bilddarstellung (15) mit wenigstens einem in Abhängigkeit der Fahreingriffsinformation generierten Grafikelement (17, 18) für den Nutzer (7) ausgegeben wird.

Figure DE102017207810A1_0000
A method for the automated guidance of a motor vehicle (1), wherein by a vehicle-side sensor (2) surrounding environment of the motor vehicle (1) related environment information is detected and depending on the environment information at least one to be carried out in the context of automated guidance driving engagement, by a by a user (7) portable, external vehicle detection device (6) the environment of the motor vehicle (1) image data are detected, wherein the image data from the detection device (6) to the motor vehicle (1) are transmitted, after which determines the driving engagement depending on the image data is transmitted to the detection device (6), wherein an overlay of an image representation (15) generated as a function of the image data with at least one in Dependence of the driving engagement information generated graphic element (17, 18) for the user (7) is output.
Figure DE102017207810A1_0000

Description

Die Erfindung betrifft ein Verfahren zur automatisierten Führung eines Kraftfahrzeugs, wobei durch eine kraftfahrzeugseitige Sensorik das Umfeld des Kraftfahrzeugs betreffende Umfeldinformationen erfasst werden und in Abhängigkeit der Umfeldinformationen wenigstens ein im Rahmen der automatisierten Führung durchzuführender Fahreingriff ermittelt wird.The invention relates to a method for the automated guidance of a motor vehicle, wherein environmental information relating to the surroundings of the motor vehicle is detected by a vehicle-side sensor system and at least one driving intervention to be carried out as part of the automated guidance is determined as a function of the surroundings information.

Eine automatisierte Führung von Kraftfahrzeugen, bei der ein fahrzeugseitiges oder ein externes System dem Fahrer die Quer- und/oder Längsführung des Kraftfahrzeugs für gewisse Zeiträume oder für gewisse Fahraufgaben abnimmt, gewinnt als Komfortfunktion zunehmen an Relevanz. Verschiedene automatisierungsgrade werden beispielsweise in dem Artikel „Rechtsfolgen zunehmender Fahrzeugautomatisierung“ in der Veröffentlichung Forschung Kompakt 11/12 der Bundesanstalt für Straßenwesen diskutiert. Bei einer solchen Führung ist es wesentlich, ein möglichst komplettes Umfeldmodell des Kraftfahrzeugumfelds in der Steuereinrichtung, die den Fahrbetrieb steuert, vorzuhalten, um eine robuste automatisierte Führung zu ermöglichen. Zugleich soll in vielen Anwendungsfällen, beispielsweise wenn ein Fahrzeug automatisch bei nicht im Fahrzeug befindlichem Fahrer einparkt, eine Möglichkeit geschaffen werden, einen Nutzer über die Intentionen des Kraftfahrzeugs zu informieren bzw. ihm eine Möglichkeit zu geben, in den Fahrbetrieb einzugreifen.An automated guidance of motor vehicles, in which a vehicle-side or an external system decreases the driver's lateral and / or longitudinal guidance of the motor vehicle for certain periods of time or for certain driving tasks, is gaining in importance as a function of comfort. Different degrees of automation are discussed, for example, in the article "Legal consequences of increasing vehicle automation" in the publication Research Compact 11/12 of the Federal Highway Research Institute. With such guidance, it is essential to maintain as complete an environmental model of the automotive environment as possible in the control device that controls the driving operation in order to enable robust automated guidance. At the same time, in many applications, for example when a vehicle is automatically parked when the driver is not in the vehicle, a possibility is to be provided to inform a user of the intention of the motor vehicle or to give it a possibility to intervene in the driving operation.

Ein möglicher Ansatz, einen Nutzer und andere Verkehrsteilnehmer auf Fahrintentionen bei einem automatisierten Fahrbetrieb hinzuweisen, ist es, entsprechende Informationen auf eine Fahrbahnoberfläche zu projizieren. Dieser Ansatz wird in den Druckschriften US 2015/0336502 A1 und DE 10 2011 112 577 A1 diskutiert. Eine entsprechende Projektion ist technisch relativ aufwändig und nicht notwendigerweise bei allen Lichtverhältnissen gut sichtbar.One possible approach to alerting a user and other road users to driving intentions in an automated driving operation is to project corresponding information onto a road surface. This approach is in the pamphlets US 2015/0336502 A1 and DE 10 2011 112 577 A1 discussed. A corresponding projection is technically relatively complex and not necessarily visible in all lighting conditions.

Der Erfindung liegt somit die Aufgabe zugrunde, eine automatisierte Führung eines Kraftfahrzeugs mit geringem technischen Aufwand bezüglich einer Einbindung eines Nutzers und/oder bezüglich der Ermittlung von Umfeldinformationen, die im Rahmen der automatisierten Führung nutzbar sind, zu verbessern.The invention is therefore based on the object, an automated guidance of a motor vehicle with little technical effort in terms of involvement of a user and / or with respect to the determination of environmental information that can be used in the context of automated guidance to improve.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren der eingangs genannten Art gelöst, wobei durch eine durch einen Nutzer tragbare, fahrzeugexterne Erfassungseinrichtung das Umfeld des Kraftfahrzeugs betreffende Bilddaten erfasst werden, wobei die Bilddaten von der Erfassungseinrichtung an das Kraftfahrzeug übertragen werden, wonach der Fahreingriff in Abhängigkeit der Bilddaten ermittelt wird, und/oder wobei eine den durchzuführenden Fahreingriff betreffende Fahreingriffsinformation von dem Kraftfahrzeug an die Erfassungseinrichtung übertragen wird, wonach durch die Erfassungseinrichtung eine Überlagerung einer in Abhängigkeit der Bilddaten erzeugten Bilddarstellung mit wenigstens einem in Abhängigkeit der Fahreingriffsinformation generierten Grafikelement für den Nutzer ausgegeben wird.The object is achieved by a method of the type mentioned, being detected by a user portable, vehicle external detection device, the environment of the motor vehicle image data relating to the image data from the detection device to the motor vehicle, after which the driving engagement in dependence of Image data is determined, and / or wherein a driving engagement information relating to the driving operation is transmitted from the motor vehicle to the detection device, after which the detection device outputs an overlay of an image image generated in dependence on the image data with at least one generated depending on the driving engagement information graphic element for the user ,

Erfindungsgemäß wird vorgeschlagen, eine durch einen Nutzer tragbare, fahrzeugexterne Erfassungseinrichtung zu nutzen, um zusätzliche Sensordaten an das Kraftfahrzeug bereitzustellen, die im Rahmen der automatisierten Führung genutzt werden, und/oder um einen Nutzer über geplante Fahreingriffe zu informieren. Hierbei wird die Tatsache ausgenutzt, dass in dem erfindungsgemäßen Verfahren nutzbare Erfassungseinrichtungen mittlerweile ohnehin häufig von Nutzern mitgeführt werden. Beispielsweise kann ein Mobiltelefon mit einer integrierten Kamera als Erfassungseinrichtung verwendet werden. Voraussichtlich wird zudem die Nutzung von sogenannten Augmented Reality-Geräten, insbesondere entsprechenden Brillen, zunehmen, die ebenfalls als Erfassungseinrichtungen in dem erfindungsgemäßen Verfahren nutzbar sind. Somit ist das beschriebene Vorgehen mit sehr geringem technischen Zusatzaufwand realisierbar, da ausschließlich eine Kommunikation zwischen der Erfassungseinrichtung und einer kraftfahrzeugseitigen Kommunikationseinrichtung ermöglicht werden muss. Da jedoch in Kraftfahrzeugen, Mobiltelefonen und Augmented Reality-Geräten typischerweise bereits Vorrichtungen zur Drahtloskommunikation vorgesehen sind, kann das erfindungsgemäße Verfahren häufig bereits durch reine Softwareanpassungen umgesetzt werden. Beispielsweise kann eine entsprechende Anwendung bzw. App auf einem Mobiltelefon installiert werden und die fahrzeugseitigen Softwarekomponenten können als freies oder kostenpflichtiges Update angeboten werden.According to the invention, it is proposed to use a user-portable, vehicle-external detection device in order to provide additional sensor data to the motor vehicle, which are used in the context of automated guidance, and / or to inform a user about planned driving interventions. In this case, the fact is exploited that in the process according to the invention usable detection devices are now often carried by users anyway. For example, a mobile phone with an integrated camera can be used as a detection device. It is also anticipated that the use of so-called augmented reality devices, in particular corresponding spectacles, will increase, which can also be used as detection devices in the method according to the invention. Thus, the procedure described can be implemented with very little additional technical effort, since only communication between the detection device and a communication device on the motor vehicle side must be made possible. However, since devices for wireless communication are typically already provided in motor vehicles, mobile telephones and augmented reality devices, the method according to the invention can often already be implemented by purely software adaptations. For example, a corresponding application or app can be installed on a mobile phone and the vehicle-side software components can be offered as a free or paid update.

Die Überlagerung der Bilddarstellung mit dem generierten Grafikelement kann insbesondere auf einem Bildschirm dargestellt werden, wobei es sich hierbei beispielsweise um den Bildschirm eines Mobiltelefons oder einer Datenbrille handeln kann. Prinzipiell wäre es jedoch auch möglich, diese Überlagerung direkt in das Auge eines Nutzers oder auf eine Projektionsfläche in der Umgebung des Nutzers zu projizieren.The superimposition of the image representation with the generated graphic element can in particular be displayed on a screen, which may be, for example, the screen of a mobile telephone or data goggles. In principle, however, it would also be possible to project this superimposition directly into the eye of a user or onto a projection surface in the user's environment.

Der Fahreingriff kann im erfindungsgemäßen Verfahren vorzugsweise durch eine fahrzeugseitige Steuereinrichtung geplant und durch eine Steuerung einer entsprechenden Aktorik im Kraftfahrzeug durchgeführt werden. Prinzipiell wäre es auch möglich, den Fahreingriff durch eine fahrzeugexterne Steuereinrichtung zu planen. Unter der fahrzeugexternen Erfassungseinrichtung ist eine Erfassungseinrichtung zu verstehen, die separat von dem Kraftfahrzeug ausgebildet ist und sich außerhalb von dem Kraftfahrzeug befindet. Sie kann im Rahmen der Durchführung des Verfahren insbesondere von dem Kraftfahrzeug beabstandet angeordnet sein und beispielsweise von einem Nutzer getragen werden. Beispielsweise kann sie in der Hand des Nutzers gehalten werden oder an seinem Körper befestigt sein.In the method according to the invention, the driving engagement may preferably be planned by a vehicle-side control device and carried out by controlling a corresponding actuator in the motor vehicle. In principle, it would also be possible to drive by a vehicle external To plan control device. The vehicle-external detection device is to be understood as a detection device which is formed separately from the motor vehicle and is located outside of the motor vehicle. In the context of carrying out the method, it may in particular be arranged at a distance from the motor vehicle and, for example, be carried by a user. For example, it may be held in the user's hand or attached to his body.

In dem erfindungsgemäßen Verfahren kann eine relative Position und/oder Orientierung des Kraftfahrzeugs zu der Erfassungseinrichtung oder umgekehrt ermittelt werden, wobei in Abhängigkeit der relativen Position und/oder Orientierung der Fahreingriff ermittelt und/oder das Grafikelement generiert und/oder die Überlagerung des Grafikelements zu der Bilddarstellung parametrisiert wird. Nach Ermittlung der relativen Position und/oder Orientierung kann ein gemeinsames Koordinatensystem für den geplanten Fahreingriff und/oder die durch die Sensorik des Kraftfahrzeugs erfassten Umfeldinformationen und die Bilddaten bestimmt werden, wodurch die Bilddaten zur Planung des Fahreingriffs bzw. zur Anpassung der überlagerten Darstellung genutzt werden können. Beispielsweise kann das Grafikelement eine Trajektorie oder ein Trajektorienabschnitt, die oder der aufgrund des Fahreingriffs durchfahren werden soll, hierdurch mit einer korrekten Position, Orientierung und/oder Skalierung bezüglich des Kraftfahrzeugs darstellen. Allgemein ausgedrückt kann das Grafikelement in Abhängigkeit der ermittelten relativen Position und/oder Orientierung bezüglich der Bilddarstellung positioniert, skaliert, rotiert und/oder verzerrt werden. Eine Verzerrung kann beispielsweise durch Stauchen, Strecken und/oder Scheren des Grafikelements erfolgen.In the method according to the invention, a relative position and / or orientation of the motor vehicle to the detection device or vice versa can be determined, wherein the driving engagement is determined and / or the graphic element is generated and / or the superimposition of the graphic element is dependent on the relative position and / or orientation Image representation is parameterized. After determination of the relative position and / or orientation, a common coordinate system for the planned driving engagement and / or the environment information captured by the sensors of the motor vehicle and the image data can be determined, whereby the image data are used to plan the driving intervention or to adapt the superimposed representation can. For example, the graphic element may represent a trajectory or a trajectory section that is to be traversed as a result of the driving intervention, with a correct position, orientation and / or scaling with respect to the motor vehicle. In general terms, the graphic element can be positioned, scaled, rotated and / or distorted as a function of the determined relative position and / or orientation with respect to the image representation. Distortion can be done, for example, by upsetting, stretching and / or shearing the graphic element.

Die relative Position und/oder Orientierung des Kraftfahrzeugs zu der Erfassungseinrichtung oder umgekehrt kann ermittelt werden, indem absolute Positionen und/oder Orientierungen des Kraftfahrzeugs und der Erfassungseinrichtung ermittelt werden. Hierzu können beispielsweise satellitenbasierte Positionsbestimmungssysteme, Beschleunigungs- und/oder Magnetfeldsensoren oder Ähnliches genutzt werden. Aus den jeweiligen absoluten Positionen bzw. Orientierungen kann eine relative Position bzw. Orientierung berechnet werden.The relative position and / or orientation of the motor vehicle to the detection device or vice versa can be determined by determining absolute positions and / or orientations of the motor vehicle and the detection device. For this example, satellite-based position determination systems, acceleration and / or magnetic field sensors or the like can be used. From the respective absolute positions or orientations, a relative position or orientation can be calculated.

Vorzugsweise werden die Bilddaten derart aufgenommen, dass zumindest ein Abschnitt des Kraftfahrzeugs abgebildet wird, wobei die relative Position und/oder Orientierung durch Auswertung der Bilddaten ermittelt wird. Hierzu kann ein Bilderkennungsalgorithmus genutzt werden, der vorzugsweise erfassungseinrichtungsseitig oder durch eine Steuereinrichtung des Kraftfahrzeugs durchgeführt werden kann. Im Stand der Technik sind eine Vielzahl von Verfahren bekannt, um bestimmte Objekte in Bilddaten zu erkennen und ihre relative Position und/oder Orientierung bezüglich der erfassenden Kamera zu ermitteln. Beispielsweise kann das Kraftfahrzeug bzw. der abgebildete Abschnitt des Kraftfahrzeugs anhand von skaleninvarianten Merkmalen erkannt werden. Da einzelne Bildpunkte der Bilddaten bei üblichen Kamerasensoren bestimmten Raumwinkeln zugeordnet sind, kann direkt aus der Position des Kraftfahrzeugs bzw. der entsprechenden Merkmale im Bild ermittelt werden, in welchem Raumwinkel sich das Kraftfahrzeug bezüglich der Erfassungseinrichtung befindet. Die Größe der Abbildung des Kraftfahrzeugs und somit beispielsweise auch der Abstand zwischen verschiedenen Merkmalen variiert mit dem Abstand des Kraftfahrzeugs von der Kamera, wodurch auch dieser aus den Bilddaten ermittelt werden kann.Preferably, the image data is recorded such that at least a portion of the motor vehicle is imaged, the relative position and / or orientation being determined by evaluating the image data. For this purpose, an image recognition algorithm can be used, which can preferably be carried out on the detection device side or by a control device of the motor vehicle. A variety of methods are known in the art for detecting particular objects in image data and determining their relative position and / or orientation with respect to the capturing camera. For example, the motor vehicle or the imaged section of the motor vehicle can be recognized on the basis of scale-invariant features. Since individual pixels of the image data in conventional camera sensors are assigned to specific solid angles, it can be determined directly from the position of the motor vehicle or the corresponding features in the image in which solid angle the motor vehicle is with respect to the detection device. The size of the image of the motor vehicle and thus, for example, the distance between different features varies with the distance of the motor vehicle from the camera, whereby this can also be determined from the image data.

Um eine Erkennung des Kraftfahrzeugs in den Bilddaten bzw. eine Ermittlung der relativen Position und/oder Orientierung aufgrund dieser Information weiter zu verbessern, ist es vorteilhaft, wenn bekannte Merkmale des Kraftfahrzeugs im Rahmen der Bilddatenverarbeitung genutzt werden können. Es ist daher möglich, dass durch die Erfassungseinrichtung wenigstens eine das Kraftfahrzeug betreffende Kraftfahrzeuginformation gespeichert oder empfangen wird, wobei das Kraftfahrzeug oder der Abschnitt des Kraftfahrzeugs anhand der Kraftfahrzeuginformation in den Bilddaten erkannt wird. Die Kraftfahrzeuginformation kann beispielsweise bestimmte Muster bzw. skaleninvariante Merkmale des Kraftfahrzeugs beschreiben. Entsprechende Informationen können beispielsweise bei einem Pairing der Erfassungseinrichtung mit dem Kraftfahrzeug von dem Kraftfahrzeug an die Erfassungseinrichtung bereitgestellt werden. Ein solches Pairing erfolgt beispielsweise für Mobiltelefone, die als Erfassungseinrichtung dienen können, häufig ohnehin, um beispielsweise eine Freisprecheinrichtung des Kraftfahrzeugs nutzen zu können. Alternativ wäre es beispielsweise möglich, dass im Rahmen einer vorangehenden Kalibrierung ein Nutzer angewiesen wird, das Kraftfahrzeug aus bestimmten Perspektiven aufzunehmen, wonach diese Daten im Anschluss als Kraftfahrzeuginformation genutzt werden können.In order to further improve recognition of the motor vehicle in the image data or determination of the relative position and / or orientation on the basis of this information, it is advantageous if known features of the motor vehicle can be used within the framework of image data processing. It is therefore possible for at least one motor vehicle information relating to the motor vehicle to be stored or received by the detection device, the motor vehicle or the section of the motor vehicle being recognized on the basis of the motor vehicle information in the image data. The motor vehicle information can describe, for example, certain patterns or scale-invariant features of the motor vehicle. Corresponding information can be provided, for example, during a pairing of the detection device with the motor vehicle from the motor vehicle to the detection device. Such a pairing is done, for example, for mobile phones, which can serve as a detection device, often anyway, for example, to use a hands-free device of the motor vehicle. Alternatively, it would be possible, for example, for a user to be instructed to record the motor vehicle from certain perspectives within the scope of a previous calibration, after which this data can subsequently be used as motor vehicle information.

Kraftfahrzeugseitig kann wenigstens eine die Erfassungseinrichtung betreffende Erfassungseinrichtungsinformation gespeichert oder empfangen werden, wonach die Übertragung der Fahreingriffsinformation und/oder die Ermittlung des Fahreingriffs in Abhängigkeit der Erfassungseinrichtungsinformation erfolgt. Beispielsweise können kraftfahrzeugseitig verschiedene Protokolle oder Informationsdarstellungen unterstützt werden, um die Fahreingriffsinformation an die Erfassungseinrichtung bereitzustellen. In Abhängigkeit eines Typs der Erfassungseinrichtung als Erfassungseinrichtungsinformation kann somit ein entsprechendes Protokoll bzw. eine entsprechende Informationsdarstellung gewählt werden. Das erläuterte Vorgehen ist jedoch besonders vorteilhaft, um Aufnahmeparameter der Erfassungseinrichtung bzw. einer Kamera der Erfassungseinrichtung an das Kraftfahrzeug bereitzustellen, um die dortige Verarbeitung der Bilddaten zu begünstigen. Beispielsweise können eine Brennweite und/oder eine Breite und/oder Höhe des Bildsensors als Erfassungseinrichtungsinformationen vorliegen oder empfangen werden. Es ist auch möglich, Informationen über die Verzerrung der Bilddaten, beispielsweise aufgrund von Linsenverzerrungen, als Erfassungseinrichtungsinformation zu nutzen, wodurch die Fusionen der Bilddaten mit den Daten der fahrzeugseitigen Sensorik weiter verbessert werden kann.On the motor vehicle side, at least one detection device information relating to the detection device can be stored or received, after which the transmission of the driving engagement information and / or the determination of the driving engagement takes place in dependence on the detection device information. For example, various protocols or information representations can be supported on the motor vehicle side in order to provide the driving intervention information to the detection device. Depending on a type of detector as detector information Thus, a corresponding protocol or a corresponding information representation can be selected. However, the explained procedure is particularly advantageous in order to provide acquisition parameters of the detection device or of a camera of the detection device to the motor vehicle, in order to favor the local processing of the image data. For example, a focal length and / or a width and / or height of the image sensor may be present or received as detector information. It is also possible to use information about the distortion of the image data, for example due to lens distortions, as detection means information, whereby the fusions of the image data with the data of the vehicle-side sensors can be further improved.

Die Bilddarstellung kann das Umfeld des Kraftfahrzeugs aus jener Perspektive zeigen, aus der die Bilddaten aufgenommen werden. Insbesondere wird auch das Kraftfahrzeug aus dieser Perspektive abgebildet. Insbesondere kann keine Umrechnung der Perspektive, beispielsweise zur Darstellung aus einer Vogelperspektive, erfolgen, sondern es kann eine im Wesentlichen unveränderte bzw. natürliche Bilddarstellung erfolgen. Wird beispielsweise ein Bildschirm genutzt, der auf einer der Kamera gegenüberliegenden Gehäuseseite angeordnet ist, wie dies bei vielen Kameras oder Mobiltelefonen der Fall ist, erscheint die Erfassungseinrichtung somit quasi durchsichtig, wodurch durch Überlagerung des Grafikelements eine Augmented Reality-Darstellung realisiert werden kann. Eine entsprechende Darstellung ist für einen Nutzer besonders intuitiv erfassbar.The image representation can show the environment of the motor vehicle from the perspective from which the image data are taken. In particular, the motor vehicle is also depicted from this perspective. In particular, no conversion of perspective, for example, for presentation from a bird's eye view, take place, but it can be a substantially unchanged or natural image representation. If, for example, a screen is used which is arranged on a side opposite the camera housing side, as is the case with many cameras or mobile phones, the detection device thus appears virtually transparent, whereby an augmented reality representation can be realized by superposition of the graphic element. A corresponding representation is particularly intuitive for a user.

Das Grafikelement kann derart generiert und mit der Bilddarstellung überlagert werden, dass es zumindest einen Abschnitt einer Trajektorie visualisiert, entlang der das Kraftfahrzeug durch den Fahreingriff geführt werden soll. Die Trajektorie kann beispielsweise durch eine Zentrallinie, entlang der sich das Kraftfahrzeug bewegen soll, durch Grenzlinien, die einen durch das Kraftfahrzeug befahrenen Bereich kennzeichnen, durch wenigstens einen Pfeil oder Ähnliches dargestellt werden. Ergänzend oder alternativ können als Grafikelement bestimmte Symbole dargestellt werden, die einzelne Fahreingriffe, beispielsweise ein Bremsen, ein Gas geben oder ein Lenken, visualisieren. Entsprechende Symbole können insbesondere an entsprechenden Positionen einer Trajektorie des Kraftfahrzeugs dargestellt werden.The graphic element can be generated and superimposed with the image representation such that it visualizes at least a portion of a trajectory along which the motor vehicle is to be guided by the driving engagement. The trajectory can be represented by at least one arrow or the like, for example, by a central line along which the motor vehicle is to move, by borderlines which characterize an area traveled by the motor vehicle. Additionally or alternatively, as a graphic element certain symbols can be displayed, the individual driving interventions, for example, a brake, give a gas or a steering visualize. Corresponding symbols can be represented in particular at corresponding positions of a trajectory of the motor vehicle.

Wird einem Nutzer ein Fahreingriff bzw. eine bestimmte Abfolge von Fahreingriffen visualisiert, ist es vorteilhaft, wenn er durch entsprechende Bedieneingaben an der Erfassungseinrichtung auch mit dem Kraftfahrzeug interagieren kann. Im einfachsten Fall kann ein Fahreingriff oder eine Gruppe von Fahreingriffen erst dann durchgeführt werden, wenn die Durchführung an der Erfassungseinrichtung bestätigt bzw. freigegeben wurde. Besonders vorteilhaft ist es jedoch, wenn der Fahreingriff oder die Fahreingriffe durch einen Nutzer direkt oder durch andere Vorgaben angepasst werden können. Es ist daher möglich, dass wenigstens eine Bedieneingabe des Nutzers an der Erfassungseinrichtung erfasst wird, wonach der Fahreingriff in Abhängigkeit der Bedieneingabe ermittelt oder angepasst wird. Die Bedieneingabe oder eine hieraus ermittelte Information kann an das Kraftfahrzeug übertragen werden.If a driving intervention or a specific sequence of driving interventions is visualized for a user, it is advantageous if he can also interact with the motor vehicle by corresponding operator inputs on the detection device. In the simplest case, a driving intervention or a group of driving operations can only be carried out when the execution at the detection device has been confirmed or released. However, it is particularly advantageous if the driving intervention or the driving interventions can be adapted by a user directly or by other specifications. It is therefore possible for at least one operating input of the user to be detected at the detection device, after which the driving intervention is determined or adapted as a function of the operator input. The operator input or information determined therefrom can be transmitted to the motor vehicle.

In einer besonders vorteilhaften Variante des geschilderten Vorgehens wird zunächst ein vorläufiger Fahreingriff ermittelt, die entsprechende Fahreingriffsinformation wird an die Erfassungseinrichtung übertragen und der vorläufige Fahreingriff wird dort wie vorangehend erläutert visualisiert. Wird der visualisierte Fahreingriff nutzerseitig bestätigt oder verstreicht ein gewisses Eingreifintervall, so wird dieser Fahreingriff ausgeführt. Führt der Benutzer jedoch entsprechende Bedieneingaben durch, kann diese Information an das Kraftfahrzeug übertragen werden und der Fahreingriff kann entsprechend angepasst werden.In a particularly advantageous variant of the described procedure, a preliminary driving intervention is first determined, the corresponding driving intervention information is transmitted to the detection device, and the preliminary driving intervention is visualized there as explained above. If the visualized driving intervention is confirmed by the user or a certain intervention interval elapses, this driving intervention is carried out. However, if the user carries out corresponding operating inputs, this information can be transmitted to the motor vehicle and the driving intervention can be adjusted accordingly.

Durch die Bedieneingabe kann wenigstens ein Sperrbereich definiert werden, wonach der Fahreingriff derart ermittelt wird, dass das Kraftfahrzeug ausschließlich außerhalb des Sperrbereichs geführt wird. Der Fahreingriff bzw. die Trajektorie des Kraftfahrzeugs kann somit derart geplant werden, dass das Kraftfahrzeug nicht in den Sperrbereich eindringt, also der Sperrbereich im Rahmen der automatisierten Führung nicht befahren wird. Der Sperrbereich kann beispielsweise ein Hindernis sein, das durch den Benutzer erkannt wurde. Es können jedoch auch Bereiche, die prinzipiell befahrbar wären, für die jedoch kein Befahren erfolgen soll, markiert werden, wie beispielsweise unübersichtliche Einmündungen von Straßen oder Wegen, Fußwege oder Ähnliches.At least one restricted area can be defined by the operator input, after which the driving engagement is determined in such a way that the motor vehicle is guided exclusively outside the restricted area. The driving engagement or the trajectory of the motor vehicle can thus be planned in such a way that the motor vehicle does not penetrate into the blocking area, that is to say the restricted area is not traveled in the context of the automated guidance. For example, the lockout area may be an obstacle that has been detected by the user. However, it is also possible to mark areas which, in principle, are passable but for which no driving is to take place, such as, for example, confusing junctions of roads or paths, footpaths or the like.

In einigen Fällen kann es auch vorteilhaft sein, Sperrbereiche dadurch zu definieren, dass wenigstens ein befahrbarer Bereich durch den Nutzer gewählt wird, wonach alle nicht gewählten Bereiche als Sperrbereiche aufgefasst werden. Somit kann der Manövrierbereich für die automatisierte Führung gezielt auf bestimmte Bereiche eingeschränkt werden.In some cases, it may also be advantageous to define restricted areas by selecting at least one passable area by the user, after which all non-selected areas are considered as restricted areas. Thus, the maneuvering area for automated guidance can be restricted specifically to certain areas.

Der Fahreingriff kann als Teil eines automatisiert durchgeführten Einparkvorgangs oder Ausparkvorgangs geplant werden. Bei diesen Vorgängen ist es möglich, dass sich der Nutzer im Umfeld des Kraftfahrzeugs, jedoch außerhalb des Fahrzeugs befindet. In diesem Fall ist es möglich, dass mithilfe der Erfassungseinrichtung, also beispielsweise mithilfe eines Mobiltelefons, Bilddaten relevanter Bereiche erfasst werden können, die durch die kraftfahrzeugseitige Sensorik nicht einsehbar sind. Andererseits kann durch eine vorangehend erläuterte Bilddarstellung des Kraftfahrzeugumfelds mit wenigstens einem überlagerten Grafikelement für den Nutzer ein zukünftig geplantes Verhalten des Kraftfahrzeugs visualisiert werden, so dass der Nutzer das Kraftfahrzeug besser überwachen kann bzw. gezielt in den zukünftigen Fahrbetrieb eingreifen kann.The driving intervention may be scheduled as part of an automated parking or outage operation. In these operations, it is possible that the user is in the environment of the motor vehicle, but outside the vehicle. In this case, it is possible that with the detection device, for example by means of a mobile phone, image data relevant areas can be detected, which are not visible through the vehicle-side sensors. on the other hand can be visualized by a previously explained image representation of the motor vehicle environment with at least one superimposed graphic element for the user a future planned behavior of the motor vehicle, so that the user can better monitor the vehicle or can specifically intervene in the future driving operation.

Die Erfassungseinrichtung kann ein Mobiltelefon sein oder umfassen oder die Erfassungseinrichtung kann eine an dem Kopf des Nutzers getragene Ausgabeeinrichtung zur Ausgabe der Überlagerung umfassen. Beispielsweise kann es sich bei der Erfassungseinrichtung um eine Daten- bzw. VR-Brille handeln.The detection device may be or comprise a mobile telephone, or the detection device may comprise an output device carried on the head of the user for outputting the overlay. For example, the detection device may be a data or VR glasses.

Neben dem erfindungsgemäßen Verfahren betrifft die Erfindung ein Kraftfahrzeug mit einer kraftfahrzeugseitigen Sensorik zur Erfassung von das Umfeld des Kraftfahrzeugs betreffenden Umfeldinformationen und einer Steuereinrichtung, durch die in Abhängigkeit der Umfeldinformationen wenigstens ein im Rahmen einer automatisierten Führung des Kraftfahrzeugs durchzuführender Fahreingriff ermittelbar ist, wobei das Kraftfahrzeug eine durch die Steuereinrichtung steuerbare Kommunikationseinrichtung zur Kommunikation mit einer fahrzeugexternen Erfassungseinrichtung umfasst, wobei die Steuereinrichtung zur Durchführung des erfindungsgemäßen Verfahrens eingerichtet ist.In addition to the method according to the invention, the invention relates to a motor vehicle with a sensor on the vehicle side environment information and a control device by which depending on the environment information at least one carried out in the context of an automated guidance of the motor vehicle driving engagement can be determined, wherein the motor vehicle by the control device controllable communication device for communication with a vehicle-external detection device, wherein the control device is arranged for carrying out the method according to the invention.

Daneben betrifft die Erfindung eine Erfassungseinrichtung mit einer Kommunikationseinrichtung, wenigstens einer Kamera zur Erfassung von Bilddaten und einer Steuereinrichtung zur Steuerung der Kommunikationseinrichtung und der Kamera, wobei die Steuereinrichtung zur Durchführung des erfindungsgemäßen Verfahrens eingerichtet ist. Die Erfassungseinrichtung umfasst vorzugsweise eine durch die Steuereinrichtung steuerbare Anzeigeeinrichtung, beispielsweise ein Display oder eine Projektionsvorrichtung, um die Überlagerung der Bilddarstellung mit dem Grafikelement darzustellen. Die Erfassungseinrichtung kann beispielsweise ein Mobiltelefon sein, auf dem eine Anwendung zur Durchführung des erfindungsgemäßen Verfahrens installiert wurde. Es ist auch möglich, dass die Erfassungseinrichtung eine Daten- bzw. VR-Brille ist, durch die eine Augmented Reality-Darstellung direkt im Blickfeld des Nutzers möglich ist.In addition, the invention relates to a detection device having a communication device, at least one camera for acquiring image data and a control device for controlling the communication device and the camera, wherein the control device is configured to carry out the method according to the invention. The detection device preferably comprises a controllable by the controller display device, such as a display or a projection device to represent the superimposition of the image representation with the graphic element. The detection device can be, for example, a mobile telephone on which an application for carrying out the method according to the invention has been installed. It is also possible that the detection device is a data or VR glasses, through which an augmented reality representation is possible directly in the field of view of the user.

Das erfindungsgemäße Kraftfahrzeug bzw. die erfindungsgemäße Erfassungseinrichtung können mit den zum erfindungsgemäßen Verfahren erläuterten Merkmalen mit den dort genannten Vorteile weitergebildet werden.The motor vehicle according to the invention or the detection device according to the invention can be further developed with the features described for the method according to the invention with the advantages mentioned there.

Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den folgenden Ausführungsbeispielen und den zugehörigen Zeichnungen. Hierbei zeigen schematisch:

  • 1 eine Fahrsituation, in der ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens durch ein Ausführungsbeispiel einer erfindungsgemäßen Erfassungseinrichtung und ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs durchgeführt wird,
  • 2 eine Detailansicht der in 1 gezeigten Erfassungseinrichtung, und
  • 3 eine Bildschirmdarstellung auf einem Bildschirm dieser Erfassungseinrichtung.
Further advantages and details of the invention will become apparent from the following embodiments and the accompanying drawings. Here are shown schematically:
  • 1 a driving situation in which an embodiment of the method according to the invention is performed by an embodiment of a detection device according to the invention and an embodiment of a motor vehicle according to the invention,
  • 2 a detailed view of in 1 Detection device shown, and
  • 3 a screen on a screen of this detection device.

1 zeigt eine Fahrsituation, in der ein Verfahren zur automatisierten Führung eines Kraftfahrzeugs 1 durchgeführt wird. Durch eine kraftfahrzeugseitige Sensorik 2 werden das Umfeld des Kraftfahrzeugs 1 betreffende Umfeldinformationen erfasst und in Abhängigkeit dieser Umfeldinformationen wird durch eine Steuereinrichtung 3 ein durchzuführender Fahreingriff ermittelt. Der Fahreingriff soll in der gezeigten Fahrsituation zum Einparken des Kraftfahrzeugs 1 in der Parkposition 12 dienen. Um den Fahreingriff durchzuführen, kann die Steuereinrichtung 3 eine Aktorik 4 des Kraftfahrzeugs ansteuern, um in die Längs- und Querführung des Kraftfahrzeugs 1 einzugreifen. 1 shows a driving situation in which a method for the automated guidance of a motor vehicle 1 is carried out. By a vehicle-side sensors 2 be the environment of the motor vehicle 1 relevant environment information detected and depending on this environment information is by a control device 3 determined to carry out a driving engagement. The driving intervention should in the driving situation shown for parking the vehicle 1 in the parking position 12 serve. To perform the driving intervention, the control device 3 an actuary 4 of the motor vehicle to drive in the longitudinal and transverse guidance of the motor vehicle 1 intervene.

Es ist bekannt, dass automatische Parkmanöver auch in Situationen durchgeführt werden können, bei denen sich ein Nutzer 7 außerhalb des Kraftfahrzeugs 1 befindet, wie dies in 1 dargestellt ist. Vorzugsweise soll dem Nutzer 7 jedoch dennoch eine Möglichkeit gegeben werden, den Fahrbetrieb des Kraftfahrzeugs 1 zu überwachen und insbesondere bereits vor der Durchführung von automatisierten Fahreingriffen Informationen über diese zu erhalten.It is well known that automatic parking maneuvers can also be performed in situations involving a user 7 outside the motor vehicle 1 is located, as in 1 is shown. Preferably, the user should 7 but still be given a possibility, the driving of the motor vehicle 1 and, in particular, to obtain information about them prior to performing automated driving.

Dies wird dadurch realisiert, dass eine im Detail in 2 dargestellte, durch den Nutzer 7 getragene, fahrzeugexterne Erfassungseinrichtung 6 verwendet wird, die über eine Kommunikationseinrichtung 10 der Erfassungseinrichtung und eine Kommunikationseinrichtung 5 des Kraftfahrzeugs 1 mit dem Kraftfahrzeug 1 kommuniziert. Die Erfassungseinrichtung umfasst eine Steuereinrichtung 9, die die Kommunikationseinrichtung 10 sowie einen Bildschirm 11 der Erfassungseinrichtung 6 steuert und die über eine Kamera 8 Bilddaten des Umfelds der Erfassungseinrichtung aufnehmen kann. Als entsprechende Erfassungseinrichtung kann beispielsweise ein Mobiltelefon genutzt werden.This is realized by having a detail in 2 shown by the user 7 worn, vehicle-external detection device 6 is used, which has a communication device 10 the detection device and a communication device 5 of the motor vehicle 1 with the motor vehicle 1 communicated. The detection device comprises a control device 9 that the communication device 10 as well as a screen 11 the detection device 6 controls and the via a camera 8th Record image data of the environment of the detection device. As a corresponding detection device, for example, a mobile phone can be used.

Nachdem durch die Steuereinrichtung 3 des Kraftfahrzeugs 1 ein durchzuführender Fahreingriff ermittelt wurde, kann eine diesen betreffende Fahreingriffsinformation von dem Kraftfahrzeug 1 an die Erfassungseinrichtung 6 übertragen werden. Anschließend kann die Steuereinrichtung 9 den Bildschirm 11 ansteuern, um den durchzuführenden Fahreingriff für den Nutzer 7 zu visualisieren. Dies erfolgt, wie im Folgenden noch detailliert erläutert werden wird, als eine Augmented Reality-Darstellung.After passing through the control device 3 of the motor vehicle 1 a driving engagement to be performed has been determined, a driving engagement information relating to this of the motor vehicle 1 to the detection device 6 transfer become. Subsequently, the control device 9 the screen 11 to control the driving action to be performed for the user 7 to visualize. This is done, as will be explained in more detail below, as an augmented reality representation.

Die Bilddarstellung auf dem Bildschirm 11 der Erfassungseinrichtung 6 ist in 3 dargestellt. Diese Bildschirmdarstellung umfasst mehrere überlagert darstellte Komponenten. Grundlage der Bildschirmdarstellung ist eine Bilddarstellung 15 des über die Kamera 8 erfassten Erfassungsbereiches 16. Somit sind auf dem Bildschirm 11 die Objekte im durch die Kamera 8 erfassbaren Umfeld des Kraftfahrzeugs 1 zu erkennen, von denen beispielhaft ein geparktes weiteres Kraftfahrzeug 13 und ein Hindernis 14 dargestellt sind. Zudem wird ein Abschnitt des Kraftfahrzeugs 1 abgebildet. Anhand der Abbildung des Kraftfahrzeugs 1 wird durch eine Merkmalserkennung in den Bilddaten eine relative Position des Kraftfahrzeugs 1 zu der Erfassungseinrichtung 6 ermittelt, so dass Informationen über die geplanten Fahreingriffe in einer korrekten Lagebeziehung zum Kraftfahrzeug 1 dargestellt werden können.The image representation on the screen 11 the detection device 6 is in 3 shown. This screen view includes several overlaid components. The basis of the screen display is an image representation 15 of the camera 8th recorded coverage 16 , Thus, on the screen 11 the objects in through the camera 8th detectable environment of the motor vehicle 1 to recognize, of which exemplified a parked another motor vehicle 13 and an obstacle 14 are shown. In addition, a section of the motor vehicle 1 displayed. Based on the figure of the motor vehicle 1 becomes a relative position of the motor vehicle by a feature recognition in the image data 1 to the detection device 6 determined so that information about the planned driving interventions in a correct positional relationship to the motor vehicle 1 can be represented.

Diese Bilddarstellung wird mit mehreren Grafikelementen 17, 18 überlagert, die in Abhängigkeit der von dem Kraftfahrzeug 1 empfangenen Fahreingriffsinformation ermittelt wurden. Die grafischen Elemente 17, 18 stellen hierbei im gezeigten Beispiel die Trajektorie, die durch das Kraftfahrzeug 1 bei Durchführung der geplanten Fahreingriffe befahren wird, in Form von Pfeilen dar. Selbstverständlich wären auch beliebig andere Darstellungen der Fahreingriffe möglich. Der Nutzer 7 erhält somit eine Vorschau auf die Fahreingriffe, wie sie sich von seiner Betrachtungsposition aus darstellen würden. Ist er mit den ermittelten Fahreingriffen einverstanden, kann er die Durchführung dieser Fahreingriffe durch Betätigung des zusätzlich in die Bilddarstellung eingeblendeten Bedienelements 19 an dem als Touchscreen ausgebildeten Bildschirm 11 freigeben.This image representation is made with several graphic elements 17 . 18 superimposed, depending on the of the motor vehicle 1 received driving intervention information were determined. The graphic elements 17 . 18 In the example shown here, the trajectory generated by the motor vehicle 1 Of course, any other representations of the driving interventions would be possible in the course of the planned driving interventions, in the form of arrows dar. The user 7 thus receives a preview of the driving interventions, as they would be from his viewing position. If he agrees with the ascertained driving interventions, he can carry out these driving interventions by actuating the control element additionally shown in the image display 19 on the screen designed as a touchscreen 11 release.

In einer Weiterbildung des erläuterten Ausführungsbeispiels wäre es möglich, dass das Hindernis 14 nicht als nicht befahrbarer Bereich erkannt wird. Beispielsweise könnte es sich bei dem Hindernis 14 um ein nicht bepflanztes Beet handeln, das von der Steuereinrichtung 3 des Kraftfahrzeugs 1 zunächst als befahrbar klassifiziert wird. In diesem Fall könnte beispielsweise die durch den gestrichelten Pfeil 20 gezeigte alternative Trajektorie für das Kraftfahrzeug 1 berechnet und für den Nutzer 7 visualisiert werden. Der Nutzer 7 kann nun erkennen, dass diese Trajektorie 20 nicht vorteilhaft wäre, da sie zu einer Beschädigung des Beetes und potentiell auch des Kraftfahrzeugs 1 führen könnte. Der Nutzer 7 kann nun statt der vorangehend erläuterten Freigabe der Fahreingriffe eine Bedieneingabe an der Erfassungseinrichtung 6, insbesondere an dem als Touchscreen ausgebildeten Bildschirm 11, tätigen, um den Fahreingriff anzupassen. Hierbei wäre es prinzipiell möglich, die Trajektorie 20, beispielsweise durch Ziehen ihres Endpunktes, manuell anzupassen. Besonders vorteilhaft ist es jedoch, wenn durch die Bedieneingabe wenigstens ein Sperrbereich 21 definiert wird. Beispielsweise kann der Nutzer ein Rechteck einzeichnen, das das Hindernis 14 umfasst, so dass der Bereich des Hindernisses 14 als nicht befahrbar markiert wird. Eine entsprechende Information kann an das Kraftfahrzeug 1 zurückübertragen werden, wonach durch die Steuereinrichtung 3 eine aktualisierte Trajektorie bzw. neue Fahreingriffe ermittelt werden. Bezüglich dieser neuen Fahreingriffe kann anschließend erneut eine Fahreingriffsinformation an die Erfassungseinrichtung 6 übermittelt werden, um diese für den Nutzer 7 zu visualisieren.In a further development of the illustrated embodiment, it would be possible for the obstacle 14 not recognized as non-drivable area. For example, it could be at the obstacle 14 to act on a non-planted bed by the controller 3 of the motor vehicle 1 initially classified as passable. In this case, for example, by the dashed arrow 20 shown alternative trajectory for the motor vehicle 1 calculated and for the user 7 be visualized. The user 7 can now recognize that this trajectory 20 would not be advantageous because they damage the bed and potentially also the motor vehicle 1 could lead. The user 7 Instead of the previously explained release of the driving interventions, an operating input to the detection device can now be provided 6 , Especially on the designed as a touch screen screen 11 , to adjust the driving engagement. In this case, it would be possible in principle, the trajectory 20 to manually adjust, for example, by dragging its end point. However, it is particularly advantageous if at least one blocking area is achieved by the operator input 21 is defined. For example, the user can draw a rectangle that is the obstacle 14 includes, so that the area of the obstacle 14 is marked as not passable. A corresponding information can be sent to the motor vehicle 1 be transferred back, after which by the control device 3 an updated trajectory or new driving interventions are determined. With regard to these new driving interventions, a driving intervention information can subsequently be sent to the detection device again 6 be submitted to this for the user 7 to visualize.

Die Bilddaten der Erfassungseinrichtung sind auch dazu nutzbar, zusätzliche Informationen über das Umfeld des Kraftfahrzeugs 1 an die Steuereinrichtung 3 bereitzustellen, um eine Planung der Fahreingriffe zu verbessern. Beispielsweise wäre es möglich, dass in dem in 1 gezeigten Ausführungsbeispiel das Hindernis 14 den Bereich der Parkposition 12 bzw. den zum Einparken genutzten Manövrierbereich für die Sensorik 2 des Kraftfahrzeugs 1 teilweise verdeckt. Um dies zumindest teilweise zu kompensieren, kann die Erfassungseinrichtung 6 die über die Kamera 8 erfassten Bilddaten an das Kraftfahrzeug 1 übertragen, so dass diese als zusätzliche Informationsquelle im Rahmen der Ermittlung des durchzuführenden Fahreingriffs berücksichtigt werden können. Die Nutzung einer zusätzlichen fahrzeugexternen Erfassungseinrichtung kann somit auch dazu dienen, eine robustere Planung von Fahreingriffen zu ermöglichen.The image data of the detection device can also be used to provide additional information about the environment of the motor vehicle 1 to the controller 3 to improve the planning of the driving interventions. For example, it would be possible that in the in 1 embodiment shown, the obstacle 14 the area of the parking position 12 or the maneuvering area used for parking the sensors 2 of the motor vehicle 1 partially hidden. To compensate for this at least partially, the detection device 6 the over the camera 8th captured image data to the motor vehicle 1 be transferred so that they can be considered as an additional source of information in the context of determining the driving intervention to be performed. The use of an additional vehicle-external detection device can thus also serve to enable a more robust planning of driving interventions.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 2015/0336502 A1 [0003]US 2015/0336502 A1 [0003]
  • DE 102011112577 A1 [0003]DE 102011112577 A1 [0003]

Claims (13)

Verfahren zur automatisierten Führung eines Kraftfahrzeugs (1), wobei durch eine kraftfahrzeugseitige Sensorik (2) das Umfeld des Kraftfahrzeugs (1) betreffende Umfeldinformationen erfasst werden und in Abhängigkeit der Umfeldinformationen wenigstens ein im Rahmen der automatisierten Führung durchzuführender Fahreingriff ermittelt wird, dadurch gekennzeichnet, dass durch eine durch einen Nutzer (7) tragbare, fahrzeugexterne Erfassungseinrichtung (6) das Umfeld des Kraftfahrzeugs (1) betreffende Bilddaten erfasst werden, wobei die Bilddaten von der Erfassungseinrichtung (6) an das Kraftfahrzeug (1) übertragen werden, wonach der Fahreingriff in Abhängigkeit der Bilddaten ermittelt wird, und/oder wobei eine den durchzuführenden Fahreingriff betreffende Fahreingriffsinformation von dem Kraftfahrzeug (1) an die Erfassungseinrichtung (6) übertragen wird, wonach durch die Erfassungseinrichtung (6) eine Überlagerung einer in Abhängigkeit der Bilddaten erzeugten Bilddarstellung (15) mit wenigstens einem in Abhängigkeit der Fahreingriffsinformation generierten Grafikelement (17, 18) für den Nutzer (7) ausgegeben wird.Method for the automated guidance of a motor vehicle (1), whereby surrounding information relating to the environment of the motor vehicle (1) is detected by a vehicle-side sensor system (2) and at least one driving intervention to be carried out as part of the automated guidance is determined depending on the environment information, characterized in that by a user (7) portable, vehicle external detection device (6) the environment of the motor vehicle (1) image data are detected, the image data from the detection device (6) to the motor vehicle (1) are transmitted, after which the driving engagement depending the image data is determined, and / or wherein a driving engagement information relating to the driving operation to be performed is transmitted from the motor vehicle (1) to the detection device (6), whereby an overlay of an image representation (15) generated as a function of the image data is effected by the detection device (6). with at least one generated in dependence on the driving engagement information graphic element (17, 18) for the user (7) is output. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine relative Position und/oder Orientierung des Kraftfahrzeugs (1) zu der Erfassungseinrichtung (6) oder umgekehrt ermittelt wird, wobei in Abhängigkeit der relativen Position und/oder Orientierung der Fahreingriff ermittelt und/oder das Grafikelement (17, 18) generiert und/oder die Überlagerung des Grafikelements (17, 18) zu der Bilddarstellung (15) parametrisiert wird.Method according to Claim 1 , characterized in that a relative position and / or orientation of the motor vehicle (1) to the detection device (6) or vice versa is determined, wherein determined depending on the relative position and / or orientation of the driving engagement and / or the graphic element (17, 18 ) and / or the superposition of the graphic element (17, 18) is parameterized to the image representation (15). Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Bilddaten derart aufgenommen werden, dass zumindest ein Abschnitt des Kraftfahrzeugs (1) abgebildet wird, wobei die relative Position und/oder Orientierung durch Auswertung der Bilddaten ermittelt wird.Method according to Claim 2 , characterized in that the image data are recorded such that at least a portion of the motor vehicle (1) is imaged, wherein the relative position and / or orientation is determined by evaluating the image data. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass durch die Erfassungseinrichtung (6) wenigstens eine das Kraftfahrzeug (1) betreffende Kraftfahrzeuginformation gespeichert oder empfangen wird, wobei das Kraftfahrzeug (1) oder der Abschnitt des Kraftfahrzeugs (1) anhand der Kraftfahrzeuginformation in den Bilddaten erkannt wird.Method according to Claim 3 , Characterized in that by the detecting means (6) at least one motor vehicle (1) is stored vehicle information in question or received, wherein the motor vehicle (1) or the portion of the motor vehicle (1) is detected based on the vehicle information in the image data. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass kraftfahrzeugseitig wenigstens eine die Erfassungseinrichtung (6) betreffende Erfassungseinrichtungsinformation gespeichert oder empfangen wird, wonach die Übertragung der Fahreingriffsinformation und/oder die Ermittlung des Fahreingriffs in Abhängigkeit der Erfassungseinrichtungsinformation erfolgt.Method according to one of the preceding claims, characterized in that at least one detection device information relating to the detection device (6) is stored or received on the motor vehicle, after which the transmission of the driving engagement information and / or the determination of the driving engagement takes place in dependence on the detection device information. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Bilddarstellung (15) das Umfeld des Kraftfahrzeugs (1) aus jener Perspektive zeigt, aus der die Bilddaten aufgenommen werden.Method according to one of the preceding claims, characterized in that the image representation (15) shows the surroundings of the motor vehicle (1) from the perspective from which the image data are recorded. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Grafikelement (17, 18) derart generiert und mit der Bilddarstellung (15) überlagert wird, dass es zumindest einen Abschnitt einer Trajektorie visualisiert, entlang der das Kraftfahrzeug (1) durch den Fahreingriff geführt werden soll.Method according to one of the preceding claims, characterized in that the graphic element (17, 18) is generated and superimposed with the image representation (15) such that it visualizes at least a portion of a trajectory along which the motor vehicle (1) is guided by the driving engagement shall be. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens eine Bedieneingabe des Nutzers (7) an der Erfassungseinrichtung (6) erfasst wird, wonach der Fahreingriff in Abhängigkeit der Bedieneingabe ermittelt oder angepasst wird.Method according to one of the preceding claims, characterized in that at least one operating input of the user (7) to the detection device (6) is detected, after which the driving engagement is determined or adjusted in response to the operator input. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass durch die Bedieneingabe wenigstens ein Sperrbereich (21) definiert wird, wonach der Fahreingriff derart ermittelt wird, dass das Kraftfahrzeug (1) ausschließlich außerhalb des Sperrbereichs (21) geführt wird.Method according to Claim 8 , characterized in that by the operator input at least one blocking area (21) is defined, after which the driving engagement is determined such that the motor vehicle (1) is guided exclusively outside the blocking area (21). Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Fahreingriff als Teil eines automatisiert durchgeführten Einparkvorgangs oder Ausparkvorgangs geplant wird.Method according to one of the preceding claims, characterized in that the driving intervention is planned as part of an automated parking operation or Ausparkvorgangs. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Erfassungseinrichtung (6) ein Mobiltelefon ist oder umfasst oder dass die Erfassungseinrichtung (6) eine an dem Kopf des Nutzers getragene Ausgabeeinrichtung zur Ausgabe der Überlagerung umfasst.Method according to one of the preceding claims, characterized in that the detection device (6) is or comprises a mobile telephone or that the detection device (6) comprises an output device carried on the head of the user for outputting the superimposition. Kraftfahrzeug mit einer kraftfahrzeugseitigen Sensorik zur Erfassung von das Umfeld des Kraftfahrzeugs (1) betreffenden Umfeldinformationen und einer Steuereinrichtung (3), durch die in Abhängigkeit der Umfeldinformationen wenigstens ein im Rahmen einer automatisierten Führung des Kraftfahrzeugs (1) durchzuführender Fahreingriff ermittelbar ist, dadurch gekennzeichnet, dass es eine durch die Steuereinrichtung (3) steuerbare Kommunikationseinrichtung (5) zur Kommunikation mit einer fahrzeugexternen Erfassungseinrichtung (6) umfasst, wobei die Steuereinrichtung (3) zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche eingerichtet ist.Motor vehicle with a motor vehicle side sensor for detecting environment of the motor vehicle (1) related environment information and a control device (3), is determined by the depending on the environment information at least one as part of an automated guidance of the motor vehicle (1) driving operation, characterized in that it comprises a communication device (5) which can be controlled by the control device (3) for communication with a vehicle-external detection device (6), wherein the control device (3) is set up to carry out the method according to one of the preceding claims. Erfassungseinrichtung mit einer Kommunikationseinrichtung (10), wenigstens einer Kamera (8) zur Erfassung von Bilddaten und einer Steuereinrichtung (9) zur Steuerung der Kommunikationseinrichtung (10) und der Kamera (8), dadurch gekennzeichnet, dass die Steuereinrichtung (9) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 11 eingerichtet ist.Detection device with a communication device (10), at least one camera (8) for detecting image data and a control device (9) for controlling the Communication device (10) and the camera (8), characterized in that the control device (9) for carrying out a method according to one of Claims 1 to 11 is set up.
DE102017207810.3A 2017-05-09 2017-05-09 Method for automated driving of a motor vehicle Active DE102017207810B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017207810.3A DE102017207810B4 (en) 2017-05-09 2017-05-09 Method for automated driving of a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017207810.3A DE102017207810B4 (en) 2017-05-09 2017-05-09 Method for automated driving of a motor vehicle

Publications (2)

Publication Number Publication Date
DE102017207810A1 true DE102017207810A1 (en) 2018-11-15
DE102017207810B4 DE102017207810B4 (en) 2022-12-22

Family

ID=63962629

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017207810.3A Active DE102017207810B4 (en) 2017-05-09 2017-05-09 Method for automated driving of a motor vehicle

Country Status (1)

Country Link
DE (1) DE102017207810B4 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019215524A1 (en) * 2019-10-10 2021-04-15 Ford Global Technologies, Llc Method and arrangement for visualizing a route, computer program product and computer-readable storage medium
DE102019128926A1 (en) * 2019-10-25 2021-04-29 Valeo Schalter Und Sensoren Gmbh Process for automated vehicle guidance

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014200611A1 (en) * 2014-01-15 2015-07-16 Robert Bosch Gmbh Method for the autonomous parking of a vehicle, driver assistance device for carrying out the method, and vehicle with the driver assistance device
DE102014218921A1 (en) * 2014-09-19 2016-03-24 Robert Bosch Gmbh Method and device for monitoring automatic parking of a vehicle
DE102014222190A1 (en) * 2014-10-30 2016-05-04 Volkswagen Aktiengesellschaft Device and method for connecting a mobile camera device
DE102016208214A1 (en) * 2015-05-22 2016-11-24 Ford Global Technologies, Llc Method and device for supporting a maneuvering process of a vehicle
DE102016211182A1 (en) * 2015-09-08 2017-03-09 Volkswagen Aktiengesellschaft A method, apparatus and system for performing automated driving of a vehicle along a trajectory provided from a map

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011112577A1 (en) 2011-09-08 2013-03-14 Continental Teves Ag & Co. Ohg Method and device for an assistance system in a vehicle for carrying out an autonomous or semi-autonomous driving maneuver
US9475422B2 (en) 2014-05-22 2016-10-25 Applied Invention, Llc Communication between autonomous vehicle and external observers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014200611A1 (en) * 2014-01-15 2015-07-16 Robert Bosch Gmbh Method for the autonomous parking of a vehicle, driver assistance device for carrying out the method, and vehicle with the driver assistance device
DE102014218921A1 (en) * 2014-09-19 2016-03-24 Robert Bosch Gmbh Method and device for monitoring automatic parking of a vehicle
DE102014222190A1 (en) * 2014-10-30 2016-05-04 Volkswagen Aktiengesellschaft Device and method for connecting a mobile camera device
DE102016208214A1 (en) * 2015-05-22 2016-11-24 Ford Global Technologies, Llc Method and device for supporting a maneuvering process of a vehicle
DE102016211182A1 (en) * 2015-09-08 2017-03-09 Volkswagen Aktiengesellschaft A method, apparatus and system for performing automated driving of a vehicle along a trajectory provided from a map

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019215524A1 (en) * 2019-10-10 2021-04-15 Ford Global Technologies, Llc Method and arrangement for visualizing a route, computer program product and computer-readable storage medium
DE102019128926A1 (en) * 2019-10-25 2021-04-29 Valeo Schalter Und Sensoren Gmbh Process for automated vehicle guidance

Also Published As

Publication number Publication date
DE102017207810B4 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
DE102013021834A1 (en) Device and method for navigating within a menu for vehicle control and selecting a menu item from the menu
DE102006026092A1 (en) Method for controlling a parking operation
WO2015000882A1 (en) Assistance system and assistance method for support when controlling a motor vehicle
DE102014214514A1 (en) Apparatus and method for exchanging data between vehicles for setting up a convoy
DE102017217923A1 (en) Method for operating a display device in a motor vehicle
EP3562730B1 (en) Method for automated parking a vehicle
DE102015212664A1 (en) Motor vehicle with an automatic driving system
DE102017219127A1 (en) A method of early indication of an operating area with an insufficient reliability status of an assistance system of a vehicle, system and automobile
DE102016122759A1 (en) Method for operating a driver assistance system for the at least semi-autonomous maneuvering of a motor vehicle taking into account a geographical area, driver assistance system and motor vehicle
DE102014016237A1 (en) Method for operating a vehicle
DE102017100061A1 (en) A method for assisting a driver of a motor vehicle when parking using a driver assistance device, corresponding computer program product and driver assistance device
WO2013102508A1 (en) Method and device for informing a driver
DE102019208788A1 (en) Motor vehicle
DE102014119317A1 (en) Method for displaying an image overlay element in an image with 3D information, driver assistance system and motor vehicle
WO2020048718A1 (en) Concept for monitoring and planning the movement of a means of transportation
DE112016005798T5 (en) VEHICLE INTERNAL SYSTEM AND METHOD FOR PROVIDING INFORMATION RELATING TO POINTS OF INTEREST
DE102017207810A1 (en) Method for the automated guidance of a motor vehicle
DE102017107484A1 (en) A method of providing a display assisting a driver of a motor vehicle, driver assistance system and motor vehicle
EP3700803B1 (en) Method, device, computer program and computer program product for operating a display unit in a vehicle
DE102017210221A1 (en) Method for longitudinal and transverse guidance of a motor vehicle
DE102017124661A1 (en) A method for assisting a user of a motor vehicle when parking in a parking lot, corresponding computer program product, corresponding driver assistance device and corresponding motor vehicle
DE102016013696A1 (en) Method and device for parking recognition
DE102019105216A1 (en) Method and device for operating a display system with data glasses
DE102013019114A1 (en) Method and system for operating a display device of a motor vehicle and motor vehicles with a system for operating a display device
DE102014213020A1 (en) Takeover request for highly automated driving on data glasses

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final