DE102021122647A1

DE102021122647A1 - Environment projection for a vehicle

Info

Publication number: DE102021122647A1
Application number: DE102021122647.3A
Authority: DE
Inventors: Stefan Heinbockel
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-09-01
Filing date: 2021-09-01
Publication date: 2023-03-02

Abstract

Eine Steuervorrichtung für ein Fahrzeug umfasst eine Abtasteinrichtung zur Abtastung eines Umfelds des Fahrzeugs; einen Projektor zur Bereitstellung eines Bilds im Umfeld des Fahrzeugs; und eine Verarbeitungseinrichtung, die dazu eingerichtet ist, ein für eine Benutzung des Fahrzeugs relevantes Objekt im Umfeld zu erkennen und einen optischen Hinweis auf das Objekt in das Umfeld zu projizieren.A control device for a vehicle includes a scanning device for scanning a surroundings of the vehicle; a projector for providing an image around the vehicle; and a processing device that is set up to recognize an object in the surrounding area that is relevant for use of the vehicle and to project an optical indication of the object into the surrounding area.

Description

Die vorliegende Erfindung betrifft eine Umfeldprojektion für ein Fahrzeug. Insbesondere betrifft die Erfindung die Projektion einer Information im Umfeld eines Fahrzeugs.The present invention relates to an environment projection for a vehicle. In particular, the invention relates to the projection of information in the area surrounding a vehicle.

Ein Fahrzeug umfasst einen Projektor, der dazu eingerichtet ist, in einem Umfeld des Fahrzeugs ein vorbestimmtes Bild wiederzugeben. Beispielsweise können ein Firmenlogo, eine Einstiegsbeleuchtung oder eine Umfeldbeleuchtung mittels des Projektors realisiert werden. Dazu wird üblicherweise ein vorbestimmter Fahrzustand des Fahrzeugs erkannt und eine vorbestimmte Projektion an einer zugeordneten Stelle des Umfelds eingeblendet.A vehicle includes a projector that is set up to reproduce a predetermined image in the area surrounding the vehicle. For example, a company logo, entry lighting or ambient lighting can be implemented using the projector. For this purpose, a predetermined driving state of the vehicle is usually recognized and a predetermined projection is displayed at an assigned point in the environment.

Derzeit bekannte Techniken sind jedoch wenig flexibel und müssen oft aufwendig an einen neuen Sachverhalt angepasst werden. Eine der vorliegenden Erfindung zugrunde liegende Aufgabe besteht in der Angabe einer verbesserten Umfeldprojektion für ein Fahrzeug. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.However, currently known techniques are not very flexible and often have to be adapted to new circumstances in a complex manner. One of the objects on which the present invention is based is to specify an improved environment projection for a vehicle. The invention solves this problem by means of the subject matter of the independent claims. Subclaims reflect preferred embodiments.

Nach einem ersten Aspekt der vorliegenden Erfindung umfasst eine Steuervorrichtung für ein Fahrzeug eine Abtasteinrichtung zur Abtastung eines Umfelds des Fahrzeugs; einen Projektor zur Bereitstellung eines Bilds im Umfeld des Fahrzeugs; und eine Verarbeitungseinrichtung. Dabei ist die Verarbeitungseinrichtung dazu eingerichtet, ein für eine Benutzung des Fahrzeugs relevantes Objekt im Umfeld zu erkennen und einen optischen Hinweis auf das Objekt in das Umfeld zu projizieren.According to a first aspect of the present invention, a control device for a vehicle includes a scanning device for scanning a surroundings of the vehicle; a projector for providing an image around the vehicle; and a processing device. In this case, the processing device is set up to recognize an object in the surrounding area that is relevant for use of the vehicle and to project a visual indication of the object into the surrounding area.

Im Gegensatz zu bekannten Techniken wird vorgeschlagen, einen Hinweis außerhalb statt innerhalb des Fahrzeugs bereitzustellen. Die Abtastung erfolgt bevorzugt optisch, wozu insbesondere eine Kamera oder ein Kamerasystem verwendet werden kann, das beispielsweise zur Umfeldüberwachung des Fahrzeugs bereits vorhanden sein kann. Auch andere Sensoren wie ein Radar-, ein LiDAR- oder ein Ultraschall-Sensor können verwendet werden. So kann verbessert dynamisch auf einen Sachverhalt reagiert werden, der im Umfeld des Fahrzeugs erkannt wurde. Das Erkennen des Objekts bzw. des Sachverhalts kann insbesondere mittels Methoden des maschinellen Lernens oder der künstlichen Intelligenz erfolgen. So kann rasch, sicher und mit vertretbarem Aufwand ein an das Objekt bzw. seine Relevanz für den Betrieb des Fahrzeugs angepasster Hinweis erzeugt und angezeigt werden.Contrary to known techniques, it is proposed to provide an indication outside rather than inside the vehicle. The scanning preferably takes place optically, for which purpose a camera or a camera system can be used in particular, which can already be present, for example, for monitoring the surroundings of the vehicle. Other sensors such as a radar, a LiDAR or an ultrasonic sensor can also be used. In this way, it is possible to respond dynamically to circumstances that have been detected in the area surrounding the vehicle. The object or the facts can be recognized in particular using methods of machine learning or artificial intelligence. In this way, information adapted to the object or its relevance for the operation of the vehicle can be generated and displayed quickly, reliably and with justifiable effort.

Als Benutzung des Fahrzeugs wird hierin eine Verwendung des Fahrzeugs durch eine Person verstanden. Üblicherweise steht das Fahrzeug während der Benutzung still. Die Benutzung kann zumindest teilweise von außen erfolgen und ein Einsteigen, ein Aussteigen, ein Beladen oder ein Entladen umfassen. Diese Tätigkeiten können ein Öffnen oder Schließen von Türen oder Klappen umfassen. Die Benutzung kann auch ein Annähern der Person an das Fahrzeug oder ihr Entfernen vom Fahrzeug umfassen. Die Benutzung kann auch von innerhalb des Fahrzeugs erfolgen und einen Aufenthalt der Person im Fahrzeug umfassen. Optional kann eine Fahrt mit dem Fahrzeug vor- oder nachbereitet werden. Ein Objekt, der eine Benutzung direkt oder indirekt beeinträchtigt oder beeinflusst, kann im Sinne der vorliegenden Erfindung als relevant bestimmt werden.Use of the vehicle is understood herein to mean use of the vehicle by a person. The vehicle is usually stationary during use. It can be used at least partially from the outside and can include boarding, alighting, loading or unloading. These activities can include opening or closing doors or hatches. Use may also include the person approaching or moving away from the vehicle. The use can also take place from inside the vehicle and involve the person staying in the vehicle. Optionally, a trip with the vehicle can be prepared for or followed up. An object that directly or indirectly impairs or influences use can be determined as relevant within the meaning of the present invention.

Es ist besonders bevorzugt, dass der Hinweis an eine Person im Umfeld des Fahrzeugs gerichtet ist. So kann insbesondere eine Tätigkeit im Umfeld des Fahrzeugs, beispielsweise ein Ein- oder Aussteigen, ein Be- oder Entladen, eine Sichtinspektion des Fahrzeugs oder ein Fahrerwechsel verbessert unterstützt werden.It is particularly preferred that the information is directed to a person in the vicinity of the vehicle. In particular, an activity in the vicinity of the vehicle, for example getting in or out, loading or unloading, a visual inspection of the vehicle or a driver change, can be supported in an improved manner.

In einer Ausführungsform umfasst das Objekt eine Person und der Hinweis wird in Abhängigkeit einer bevorstehenden Handlung der Person bestimmt. Insbesondere kann bestimmt werden, ob die Person dem Fahrzeug zugeordnet ist. Dies kann beispielsweise auf der Basis einer Gesichtserkennung, der Erkennung eines Fahrzeugschlüssels, eines Mobilgeräts oder einer ähnlichen Identifikation im Bereich der Person erfolgen. Nähert sich die Person beispielsweise dem Fahrzeug, so kann bestimmt werden, dass die Person vorhat, in das Fahrzeug einzusteigen. Der Hinweis kann einen Einsteigvorgang unterstützen, beispielsweise indem angezeigt wird, hinter welcher Tür sich ein noch leerer Sitzplatz befindet.In one embodiment, the object comprises a person and the indication is determined dependent on an upcoming action by the person. In particular, it can be determined whether the person is assigned to the vehicle. This can be done, for example, on the basis of facial recognition, recognition of a vehicle key, a mobile device or a similar identification in the area of the person. For example, when the person approaches the vehicle, it can be determined that the person intends to get into the vehicle. The information can support a boarding process, for example by showing behind which door there is an empty seat.

In einer weiteren Ausführungsform umfasst das Objekt ein Hindernis, das sich zwischen einer Person im Umfeld des Fahrzeugs und dem Fahrzeug befindet. Das Hindernis kann für die Person schlecht oder gar nicht erkennbar sein und der Hinweis kann dazu beitragen, dass die Person das Hindernis erfasst und selbstständig behandelt. Beispielhafte Hindernisse umfassen etwa Morast, eine Pfütze, Abfall, Hinterlassenschaften eines Tiers oder eine rutschgefährdete Stelle. Der Hinweis kann einer beliebigen Person im Umfeld des Fahrzeugs bereitgestellt werden oder nur einer Person, die dem Fahrzeug zugeordnet ist.In a further embodiment, the object includes an obstacle that is located between a person in the vicinity of the vehicle and the vehicle. The obstacle can be difficult or impossible for the person to recognize and the information can help the person to grasp the obstacle and deal with it independently. Example obstacles include mud, a puddle, rubbish, animal droppings, or a slippery area. The notice can be provided to any person in the vicinity of the vehicle or only to a person who is assigned to the vehicle.

In noch einer weiteren Ausführungsform umfasst der Hinweis eine optische Hervorhebung des Objekts. Beispielsweise kann das Objekt, wenn es sich um ein Hindernis oder eine Gefahrenstelle handelt, mittels des Projektors beleuchtet werden. Die Beleuchtung kann farbig sein und optional animiert werden, um dem sich bewegenden Objekt zu folgen oder einen Bewegungseffekt bezüglich des Objekts zu realisieren.In yet another embodiment, the indication includes a visual highlighting of the object. For example, if the object is an obstacle or a hazardous area, it can be illuminated using the projector. The lighting can be colored and optionally ani be mised to follow the moving object or realize a moving effect on the object.

Der Hinweis kann auch eine optische Hervorhebung eines Bereichs umfassen, in dem sich das Objekt befindet. Beispielsweise kann ein Umriss oder ein Sicherheitsstreifen um das Objekt herum durch den Projektor hervorgehoben werden. Das Hervorheben kann beispielsweise eine Beleuchtung, eine Animation oder eines oder mehrere Symbole umfassen. Ein Symbol kann auf die Art des Objekts oder eine mit ihm verbundene Gefahr hinweisen. Beispielhafte Symbole können aus dem Straßenverkehr entlehnt sein und etwa auf eine rutschgefährdete Stelle, eine Stufe, einen unbefestigten Fahrbahnrand oder eine Böschung zu einem Gewässer hinweisen. So kann der Hinweis international intuitiv verstanden werden.The indication can also include a visual highlighting of an area in which the object is located. For example, an outline or a safety stripe around the object can be highlighted by the projector. For example, the highlighting may include lighting, animation, or one or more icons. A symbol can indicate the type of object or a hazard associated with it. Exemplary symbols can be borrowed from road traffic and indicate a place where there is a risk of slipping, a step, an unpaved edge of the road or an embankment leading to a body of water. In this way, the notice can be intuitively understood internationally.

In noch einer weiteren Ausführungsform umfasst der Hinweis eine Handlungsempfehlung. Handelt es sich bei dem Objekt um ein Hindernis oder eine Gefahrenstelle, so kann die Handlungsempfehlung eine Kollisionsvermeidung umfassen. Dazu kann beispielsweise ein sicherer oder empfohlener Weg um das Objekt herum ins Umfeld projiziert werden. Die Handlungsempfehlung kann auch beispielsweise symbolisch, etwa wieder mit aus dem Straßenverkehr entlehnten Symbolen, oder textuell erfolgen. Allgemein kann der Hinweis so orientiert sein, dass die Person ihn erleichtert optisch erfassen kann. Insbesondere ein Text kann so gedreht werden, dass er von der Person möglichst ohne Weiteres direkt gelesen werden kann.In yet another embodiment, the notice includes a recommendation for action. If the object is an obstacle or a hazardous area, the recommended action can include collision avoidance. For example, a safe or recommended path around the object can be projected into the environment. The recommendation for action can also be symbolic, for example, again with symbols borrowed from road traffic, or textual. In general, the information can be oriented in such a way that the person can visually grasp it with greater ease. A text in particular can be rotated in such a way that it can be read directly by the person as easily as possible.

Sollte das Fahrzeug für eine Person nicht zugänglich sein, beispielsweise weil das Objekt so groß ist, dass die Person das Fahrzeug nicht erreichen kann, ohne mit dem Objekt in Konflikt zu geraten, so kann das Fahrzeug auch bewegt werden, um der Person einen Weg zu eröffnen. In einer Ausführungsform ist die Steuereinrichtung dazu eingerichtet, das Fahrzeug zu steuern, um es zugänglich zu machen. In einer einfachen Variante kann das Fahrzeug nur in Längsrichtung bewegt werden, in einer komplexeren Variante kann das Fahrzeug auch gelenkt werden, um eine Kurve zu beschreiben. In noch einer weiteren Ausführungsform kann das Fahrzeug durch eine Serie von Bewegungen gesteuert werden, um beispielsweise von einem Stellplatz auszuparken. Das Bewegen des Fahrzeugs kann durch eine Person im Umfeld mittels Gesten gesteuert werden, die von der Abtasteinrichtung erfasst werden können. Das Fahrzeug kann auch umgekehrt an einen endgültigen Abstellort bewegt werden, nachdem eine Person das Fahrzeug verlassen hat.Should the vehicle not be accessible to a person, for example because the object is so large that the person cannot reach the vehicle without colliding with the object, the vehicle can also be moved in order to find a way for the person open. In one embodiment, the control device is set up to control the vehicle in order to make it accessible. In a simple variant, the vehicle can only be moved in the longitudinal direction; in a more complex variant, the vehicle can also be steered in order to describe a curve. In yet another embodiment, the vehicle may be controlled through a series of movements, for example, to exit a parking space. The movement of the vehicle can be controlled by a person in the area using gestures that can be detected by the scanning device. The vehicle can also be moved in reverse to a final parking location after a person has exited the vehicle.

Das Objekt kann sich zumindest teilweise in einem Bereich befinden, der von der Person nicht einsehbar ist. Dabei kann der Hinweis in einem Bereich gegeben werden, der von der Person einsehbar ist. Befinden sich die Person und das Objekt beispielsweise auf unterschiedlichen Seiten des Fahrzeugs, so kann der Hinweis im Bereich des Objekts und/oder im Bereich der Person ausgegeben werden. Bewegt sich die Person, so kann der Hinweis der Person folgen. So kann sich der Hinweis beispielsweise auf ein vergessenes Gepäckstück beziehen, das aus dem Fahrzeug ausgeladen oder noch nicht eingeladen wurde.The object can be located at least partially in an area that cannot be seen by the person. The notice can be given in an area that is visible to the person. If the person and the object are on different sides of the vehicle, for example, then the information can be output in the area of the object and/or in the area of the person. If the person moves, the hint can follow the person. For example, the notice can refer to a forgotten piece of luggage that has been unloaded from the vehicle or has not yet been loaded.

Für diese Ausführungsform kann sich die Person auch in einem Innenraum des Fahrzeugs befinden. In einer weiteren Ausführungsform kann die Einsehbarkeit bezüglich eines vorbestimmten Sitzplatzes an Bord des Fahrzeugs bestimmt werden, insbesondere eines Sitzplatzes eines Fahrers.For this embodiment, the person can also be located in an interior of the vehicle. In a further embodiment, visibility can be determined with respect to a predetermined seat on board the vehicle, in particular a driver's seat.

In wieder einer weiteren Ausführungsform ist zusätzlich eine Ausgabevorrichtung in einem Innenraum des Fahrzeugs vorgesehen, wobei ein weiterer Hinweis auf das Objekt mittels der Ausgabevorrichtung bereitgestellt wird. Hinweise auf der Ausgabevorrichtung und im Umfeld können übereinstimmen oder unterschiedlich ausgestaltet sein. Die Ausgabevorrichtung kann beispielsweise ein zentrales Anzeigeinstrument, eine Head Up-Anzeige oder einen Projektor im Innenraum des Fahrzeugs umfassen. Mittels der Ausgabevorrichtung kann der Hinweis an eine Person im Innenraum bereitgestellt werden.In yet another embodiment, an output device is additionally provided in an interior of the vehicle, with a further indication of the object being provided by means of the output device. Information on the output device and in the environment can match or be configured differently. The output device can include, for example, a central display instrument, a head-up display or a projector in the interior of the vehicle. The indication to a person in the interior can be provided by means of the output device.

In noch einer weiteren Ausführungsform betrifft der Hinweis einen Bewegungsbereich einer Tür des Fahrzeugs, ohne dass die Tür mit dem Objekt kollidiert. Das Objekt kann beispielsweise ein anderes Fahrzeug umfassen, das so dicht am eigenen Fahrzeug geparkt ist, dass eine Seitentür nicht vollständig geöffnet werden kann, ohne das andere Fahrzeug zu berühren. In diesem Fall kann beispielsweise eine Grafik oder ein Symbol im Umfeld des Fahrzeugs projiziert werden, das darauf hinweist, wie weit die Tür geöffnet werden kann, ohne dass die Berührung stattfindet. Ein Einsteigen oder ein Aussteigen einer Person kann dadurch unterstützt werden. Der Hinweis kann insbesondere vor, während oder nach einem Öffnen oder Schließen der Tür bereitgestellt werden.In yet another embodiment, the indication relates to a range of movement of a door of the vehicle without the door colliding with the object. For example, the object may include another vehicle parked so close to the subject vehicle that a side door cannot be fully opened without touching the other vehicle. In this case, for example, a graphic or symbol can be projected around the vehicle that indicates how far the door can be opened without being touched. A boarding or a disembarking of a person can be supported. The notice can be provided in particular before, during or after the door is opened or closed.

Nach einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Fahrzeug eine hierin beschriebene Steuervorrichtung. Das Fahrzeug umfasst bevorzugt ein Kraftfahrzeug, insbesondere ein Kraftrad, einen Personenkraftwagen, einen Lastwagen, einen Bus oder ein Sonderfahrzeug.According to another aspect of the present invention, a vehicle includes a control device as described herein. The vehicle preferably includes a motor vehicle, in particular a motorcycle, a passenger car, a truck, a bus or a special vehicle.

Nach noch einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Verfahren an einem Fahrzeug Schritte des Abtastens eines Umfelds des Fahrzeugs; des Erkennens eines für eine Benutzung des Fahrzeugs relevanten Objekts im Umfeld; und des Projizierens eines optischen Hinweises auf das Objekt in das Umfeld.According to yet another aspect of the present invention, a method at a vehicle steps of scanning an environment of the vehicle; recognizing an object in the surroundings that is relevant for use of the vehicle; and projecting a visual cue of the object into the environment.

Das Verfahren kann insbesondere mittels einer hierin beschriebenen Steuervorrichtung ausgeführt werden. Insbesondere kann die Steuervorrichtung eine Verarbeitungseinrichtung umfassen, die als programmierbarer Mikrocomputer oder Mikrocontroller ausgebildet ist. Das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln zur Ausführung auf der Verarbeitungseinrichtung vorliegen. Alternativ kann das Computerprogrammprodukt auch auf einem computerlesbaren Datenträger gespeichert sein. Merkmale oder Vorteile der Steuervorrichtung können auf das Verfahren übertragen werden oder umgekehrt.The method can be carried out in particular by means of a control device described herein. In particular, the control device can include a processing device that is embodied as a programmable microcomputer or microcontroller. The method can be in the form of a computer program product with program code means for execution on the processing device. Alternatively, the computer program product can also be stored on a computer-readable data carrier. Features or advantages of the control device can be transferred to the method or vice versa.

Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen:

1 ein Fahrzeug mit einer Steuervorrichtung;
2 eine beispielhafte Projektion im Umfeld eines Fahrzeugs;
3 eine weitere beispielhafte Projektion; und
4 ein Ablaufdiagramm eines Verfahrens

illustriert.The invention will now be described in more detail with reference to the accompanying drawings, in which:

1 a vehicle having a control device;
2 an exemplary projection in the vicinity of a vehicle;
3 another example projection; and
4 a flowchart of a method

illustrated.

1 zeigt ein Fahrzeug 100 mit einer Steuervorrichtung 105. Die Steuervorrichtung 105 umfasst bevorzugt eine Abtasteinrichtung 110, einen Projektor 115 und eine Verarbeitungseinrichtung 120. Optional ist zusätzlich eine weitere Ausgabevorrichtung 125 in einem Innenraum des Fahrzeugs 100 vorgesehen, die bevorzugt optisch als Anzeige ausgebildet ist. 1 shows a vehicle 100 with a control device 105. The control device 105 preferably comprises a scanning device 110, a projector 115 and a processing device 120. Optionally, a further output device 125 is also provided in an interior of the vehicle 100, which is preferably designed optically as a display.

Die Abtasteinrichtung 110 ist dazu eingerichtet, ein Umfeld 130 des Fahrzeugs 100 abzutasten. Das Umfeld 130 wird üblicherweise bis zu einem vorbestimmten Maximalabstand abgetastet, der in einigen Metern Entfernung liegen kann. Zur Abtastung umfasst die Abtasteinrichtung 110 bevorzugt eine oder mehrere Kameras und/oder wenigstens einen anderen berührungslosen Sensor, der bevorzugt bildgebend ist. Dieser Sensor kann beispielsweise einen Radarsensor, einen LiDAR-Sensor oder einen Ultraschallsensor umfassen. Bevorzugt erlauben es die von der Abtasteinrichtung 110 umfassten Sensoren, ein Objekt 135 oder eine Person 140 im Umfeld 130 abzutasten, seine Position bezüglich des Fahrzeugs 100 zu bestimmen und bevorzugt auch eine Erkennung des Objekts 135 durchzuführen.Scanning device 110 is set up to scan surroundings 130 of vehicle 100 . The environment 130 is usually scanned up to a predetermined maximum distance, which can be a few meters away. For scanning, the scanning device 110 preferably comprises one or more cameras and/or at least one other non-contact sensor, which is preferably imaging. This sensor can include a radar sensor, a LiDAR sensor or an ultrasonic sensor, for example. The sensors included in scanning device 110 preferably allow scanning an object 135 or a person 140 in surroundings 130, determining its position relative to vehicle 100, and preferably also detecting object 135.

Der Projektor 115 ist bevorzugt dazu eingerichtet, im Umfeld 130 ein Bild oder eine grafische Repräsentation einer Information zu projizieren. Üblicherweise ist der Projektor 115 auf einen Untergrund gerichtet, auf welchem das Fahrzeug 100 steht, die Projektion kann aber auch auf ein Objekt erfolgen, beispielsweise eine Hauswand. Optional können mehrere Projektoren 115 vorgesehen sein, die unterschiedliche Projektionsbereiche aufweisen können, sodass an unterschiedlichen Stellen im Umfeld 130 eine Projektion erfolgen kann. Bevorzugt kann die Projektion rund um das Fahrzeug 100 bis zu einer vorbestimmten Maximalentfernung bereitgestellt werden.The projector 115 is preferably set up to project an image or a graphic representation of information in the environment 130 . The projector 115 is usually aimed at a substrate on which the vehicle 100 is standing, but the projection can also take place at an object, for example a house wall. Optionally, several projectors 115 can be provided, which can have different projection areas, so that a projection can take place at different points in the environment 130 . Preferably, the projection can be provided around the vehicle 100 up to a predetermined maximum distance.

Die Verarbeitungseinrichtung 120 ist bevorzugt dazu eingerichtet, das Objekt 135 oder die Person 140 bezüglich des Fahrzeugs 100 zu positionieren. Eine Person 140 kann individuell erkannt werden. Zum Erkennen können Methoden der Mustererkennung, der künstlichen Intelligenz oder des maschinellen Lernens eingesetzt werden. Insbesondere kann die Erkennung mittels eines neuronalen Netzwerks erfolgen.Processing device 120 is preferably set up to position object 135 or person 140 with respect to vehicle 100 . A person 140 can be recognized individually. Methods of pattern recognition, artificial intelligence or machine learning can be used for recognition. In particular, the recognition can take place by means of a neural network.

In einer Ausführungsform sind die Abtasteinrichtung 110 und/oder die Verarbeitungseinrichtung 120 von einem Umfelderfassungssystem des Fahrzeugs 100 umfasst. Das Umfelderfassungssystem kann dazu eingerichtet sein, während der Fahrt oder im Stillstand des Fahrzeugs 100 betrieben zu werden, insbesondere, um ein für eine Bewegung des Fahrzeugs 100 relevantes Objekt 135 oder eine Person 140 zu erkennen. Optional kann das Umfelderfassungssystem auch dazu eingerichtet sein, eine bevorstehende Bewegung, eine Trajektorie oder, im Fall der Person 140, eine Absicht vorherzusagen. Diese Bestimmung kann auch außerhalb des Umfelderfassungssystems durch die Verarbeitungseinrichtung 120 erfolgen. Eine Bewegung des Fahrzeugs 100 kann auf der Basis von Daten des Umfelderfassungssystems gesteuert werden.In one specific embodiment, the scanning device 110 and/or the processing device 120 are included in an environment detection system of the vehicle 100 . The environment detection system can be set up to be operated while the vehicle 100 is driving or stationary, in particular in order to recognize an object 135 relevant to a movement of the vehicle 100 or a person 140 . Optionally, the environment detection system can also be set up to predict an impending movement, a trajectory or, in the case of person 140, an intention. This determination can also be made by the processing device 120 outside of the surroundings detection system. A movement of the vehicle 100 can be controlled on the basis of data from the environment detection system.

Die Ausgabevorrichtung 125 kann insbesondere eine zentrale Anzeige, beispielsweise in einem Armaturenbrett oder einer Mittelkonsole des Fahrzeugs 100, umfassen. Auf der Ausgabevorrichtung 125 können bevorzugt symbolische, grafische und/oder textuelle Inhalte wiedergegeben werden. Die Verarbeitungseinrichtung 120 kann dazu eingerichtet sein, einen mittels des Projektors 115 im Umfeld 130 gegebenen Hinweis auch auf der Ausgabevorrichtung 125 bereitzustellen. Dabei kann auf der Ausgabevorrichtung 125 eine andere Perspektive, eine andere Ansicht, ein anderes Symbol oder allgemein eine andere Visualisierung gewählt sein. Weiter optional kann die Ausgabevorrichtung 125 auch eine akustische Ausgabe unterstützen und die Verarbeitungseinrichtung 120 kann den Hinweis akustisch darbieten oder unterstützen.The output device 125 can in particular include a central display, for example in a dashboard or a center console of the vehicle 100 . Preferably symbolic, graphic and/or textual content can be reproduced on the output device 125 . The processing device 120 can be set up to also provide an indication given by means of the projector 115 in the environment 130 on the output device 125 . A different perspective, a different view, a different symbol or, in general, a different visualization can be selected on the output device 125 . As a further option, the output device 125 can also support an acoustic output and the processing device 120 can present or support the information acoustically.

Es wird vorgeschlagen, dass die Steuervorrichtung 105 dazu eingerichtet ist, auf der Basis eines im Umfeld 130 erkannten Objekts 135 oder einer Person 140 einen Hinweis 145 oder eine Handlungsempfehlung 150 mittels des Projektors 115 bereitzustellen. Der Hinweis 145 kann insbesondere auf ein Objekt 135 gerichtet sein und das Objekt 135 selbst, einen Umriss, einen unsicheren oder einen sicheren Bereich um das Objekt 135 umfassen. Eine Handlungsempfehlung 150 ist bevorzugt dazu eingerichtet, einer Person 140 eine Möglichkeit aufzuzeigen, eine Kollision mit dem Objekt 135 zu vermeiden.It is proposed that the control device 105 be set up to provide an indication 145 or a recommendation for action 150 by means of the projector 115 on the basis of an object 135 or a person 140 recognized in the surroundings 130 . In particular, the indication 145 can be aimed at an object 135 and can include the object 135 itself, an outline, an unsafe area or a safe area around the object 135 . A recommendation for action 150 is preferably set up to show a person 140 a possibility of avoiding a collision with the object 135 .

In der in 1 beispielhaft dargestellten Situation nähert sich die Person 140 dem Fahrzeug 100. Dabei kann es sich um eine beliebige Person 140 handeln oder die Person 140 ist dem Fahrzeug 100 zugeordnet. Dazu kann die individuelle Person 140, beispielsweise auf der Basis von Gesichtsmerkmalen, erkannt werden, oder die Person 140 führt einen Gegenstand mit sich, der sie für die Benutzung des Fahrzeugs 100 legitimiert, beispielsweise einen Fahrzeugschlüssel oder ein kontaktloses Zugriffstoken. Zur Erkennung des Zugriffstokens, beispielsweise auf Bluetooth-, WLAN- oder NFC-Technologie, kann ein entsprechendes Lesegerät an Bord des Fahrzeugs 100 vorgesehen sein.in the in 1 In the situation illustrated by way of example, the person 140 is approaching the vehicle 100 . This can be any person 140 or the person 140 is assigned to the vehicle 100 . For this purpose, the individual person 140 can be recognized, for example on the basis of facial features, or the person 140 is carrying an object that authorizes them to use the vehicle 100, for example a vehicle key or a contactless access token. A corresponding reading device can be provided on board the vehicle 100 in order to recognize the access token, for example using Bluetooth, WLAN or NFC technology.

Beispielsweise aus der Bewegung der Person 140 auf das Fahrzeug 100 zu kann geschlossen werden, dass die Person 140 vorhat, eine Tür des Fahrzeugs 100 zu öffnen und das Fahrzeug 100 zu benutzen. Das Objekt 135 kann beispielsweise eine morastige, feuchte oder schlüpfrige Stelle umfassen, die zwischen der Person 140 und dem Fahrzeug 100 liegt. Der Hinweis 145 kann einen Umriss des Objekts 135 sowie optional das Objekt 135 selbst beleuchten und/oder optisch oder grafisch hervorheben. Der Hinweis 145 kann beispielsweise einen möglichen Pfad aufzeigen, den die Person 140 benutzen kann, um das Fahrzeug 100 zu erreichen, ohne das Objekt 135 zu betreten. Ist es nicht möglich, das Objekt 135 vollständig zu umgehen, so kann ein Pfad angezeigt werden, auf welchem ein negativer Effekt des Objekts 135 möglichst minimiert ist. Im Fall einer Pfütze kann der Pfad 150 beispielsweise durch eine relativ seichte Stelle führen. Im Fall von Glatteis 135 kann der Pfad über einen vergleichsweise weniger rutschigen Bereich führen. In einer anderen Ausführungsform kann der Pfad 150 auch zu einer anderen Tür des Fahrzeugs 100 führen als derjenigen, auf die die Person 140 ursprünglich zuging.For example, from the movement of the person 140 towards the vehicle 100 it can be concluded that the person 140 intends to open a door of the vehicle 100 and to use the vehicle 100 . The object 135 may include, for example, a muddy, damp, or slippery spot that lies between the person 140 and the vehicle 100 . The indication 145 can illuminate and/or visually or graphically highlight an outline of the object 135 and optionally the object 135 itself. For example, the indication 145 can indicate a possible path that the person 140 can use to reach the vehicle 100 without entering the object 135 . If it is not possible to avoid the object 135 completely, a path can be displayed on which a negative effect of the object 135 is minimized as much as possible. For example, in the case of a puddle, path 150 may pass through a relatively shallow area. In the case of black ice 135, the path may lead over a comparatively less slippery area. In another embodiment, the path 150 may also lead to a different door of the vehicle 100 than the one that the person 140 originally walked towards.

2 zeigt eine beispielhafte Projektion im Umfeld 130 eines Fahrzeugs 100. In der dargestellten Situation wurde bestimmt, dass ein Gepäckstück im Umfeld 130 des Fahrzeugs 100 steht. Das Gepäckstück kann beispielsweise zum Fahrzeug 100 gebracht, aber nicht eingeladen, oder aus dem Fahrzeug 100 ausgeladen worden sein. Mittels des Projektors 115 kann auf das Gepäckstück hingewiesen werden, entweder sofort nach dem Erkennen des Gepäckstücks oder erst nach einer vorbestimmten Dauer. In einer weiteren Ausführungsform kann der Hinweis erfolgen, wenn sich eine Person 140, insbesondere ein Fahrer, von dem Gepäckstück entfernt, wenn sie eine Fahrzeugtür im Bereich des Gepäckstücks öffnet oder schließt oder wenn sie in das Fahrzeug 100 einsteigt. 2 shows an exemplary projection in the area 130 of a vehicle 100. In the situation shown, it was determined that a piece of luggage is in the area 130 of the vehicle 100. For example, the luggage may be brought to the vehicle 100 but not loaded, or unloaded from the vehicle 100 . The item of luggage can be pointed out by means of the projector 115, either immediately after the item of luggage has been recognized or only after a predetermined period of time. In a further specific embodiment, the notification can be given when a person 140, in particular a driver, moves away from the item of luggage, when they open or close a vehicle door in the area of the item of luggage, or when they get into the vehicle 100.

Wird das Fahrzeug 100 fahrfertig gemacht, beispielsweise indem seine Türen geschlossen werden, sich ein Fahrer auf einem Fahrersitz befindet und/oder ein Antriebsmotor startklar gemacht wird, so kann der Hinweis mittels des Projektors 115 an einer Stelle gegeben werden, die der Fahrer gut einsehen kann, beispielsweise wie dargestellt vor dem Fahrzeug 100. Im Moment des Einsteigens kann der Hinweis beispielsweise im Bereich einer dafür benutzten Fahrzeugtür gegeben werden. Begleitend kann auch das Objekt 135 in Form des Gepäckstücks direkt mit einem optischen Hinweis 145 versehen werden.If the vehicle 100 is made ready to drive, for example by closing its doors, a driver is in a driver's seat and/or a drive motor is made ready to start, the information can be given by means of the projector 115 at a point that the driver can easily see , for example as shown in front of the vehicle 100. At the moment of boarding, the information can be given, for example, in the area of a vehicle door used for this purpose. The object 135 in the form of the piece of luggage can also be directly provided with a visual indication 145.

In 2 sind mittels des Projektors 115 beispielhaft zwei Hinweise 145 gegeben. Ein rechts dargestellter erster Hinweis 145 umfasst ein Symbol, welches auf das Gepäckstück hinweist. Ein links dargestellter zweiter Hinweis 145 umfasst gleichzeitig eine Handlungsempfehlung 150 für einen Fahrer des Fahrzeugs 100. Dem Fahrer wird nahegelegt, das Fahrzeug 100 wegen des Gepäckstücks nicht wegzufahren.In 2 two indications 145 are given by way of example by means of the projector 115 . A first indication 145 shown on the right includes a symbol which points to the piece of luggage. A second note 145 shown on the left also includes a recommendation for action 150 for a driver of the vehicle 100. The driver is advised not to drive the vehicle 100 away because of the piece of luggage.

3 zeigt eine weitere beispielhafte Projektion im Umfeld 130 eines Fahrzeugs 100. Das Fahrzeug 100 ist neben einem Objekt 135 abgestellt, das im dargestellten Beispiel ein weiteres Fahrzeug 305 umfasst. Eine Tür 310 des Fahrzeugs 100 ist mit unterbrochenen Linien in einem vollständig geöffneten Zustand dargestellt. In diesem Zustand würde die Tür 310 das Objekt 135 berühren, wodurch das Objekt 305 oder die Tür 310 beschädigt werden können. 3 shows a further exemplary projection in the environment 130 of a vehicle 100. The vehicle 100 is parked next to an object 135, which includes a further vehicle 305 in the example shown. A door 310 of the vehicle 100 is shown in broken lines in a fully open state. In this state, the door 310 would touch the object 135, which could damage the object 305 or the door 310.

Zwischen den Fahrzeugen 100, 305 ist ein Hinweis 145 in Form einer unterbrochenen Linie ins Umfeld 130 projiziert. Die Linie kennzeichnet einen maximalen Abstand vom Fahrzeug 100, bis zu dem die Tür 310 geöffnet werden kann, ohne mit dem Objekt 135 zu kollidieren. Die Linie kann somit auch als Hinweis 145 auf einen maximalen Öffnungsgrad der Tür 310 verstanden werden. Anstelle einer Linie kann auch beispielsweise ein Kreissektor dargestellt werden, in welchem sich die Tür 310 befinden sollte, um eine Kollision zu vermeiden. Andere Angaben sind ebenfalls möglich, beispielsweise in numerischer oder textueller Form.An indication 145 in the form of a broken line is projected into the environment 130 between the vehicles 100, 305. The line marks a maximum distance from vehicle 100 up to which door 310 can be opened without colliding with object 135 . The line can thus also be understood as an indication 145 of a maximum degree of opening of the door 310 . Instead of a line, a sector of a circle can also be shown, for example, in which the door 310 should be located in order to avoid a collision. Other information is also possible, for example in numerical or textual form.

4 zeigt ein Ablaufdiagramm eines Verfahrens 400. Das Verfahren 400 kann insbesondere mittels einer Steuervorrichtung 105 an Bord eines Fahrzeugs 100 ausgeführt werden. 4 shows a flow chart of a method 400. The method 400 can be carried out in particular by means of a control device 105 on board a vehicle 100. FIG.

In einem Schritt 405 kann ein Umfeld 130 des Fahrzeugs 100 abgetastet werden. In einem Schritt 410 kann ein Objekt 135 im Umfeld 130 erkannt werden. Dabei können insbesondere eine Art, eine Ausdehnung und/oder eine Position des Objekts 135 bestimmt werden.In a step 405, surroundings 130 of vehicle 100 can be scanned. In a step 410 an object 135 in the surroundings 130 can be detected. In particular, a type, an extent and/or a position of the object 135 can be determined.

In einem Schritt 415 kann auf ähnliche Weise eine Person 140 im Umfeld 130 erkannt werden. Die Person 140 kann bezüglich ihrer Identität oder ihrer Zuordnung zum Fahrzeug 100 erkannt werden. Zusätzlich kann eine Position und/oder Entfernung der Person 140 bestimmt werden.In a step 415, a person 140 in the environment 130 can be recognized in a similar manner. The person 140 can be recognized with regard to their identity or their assignment to the vehicle 100 . In addition, a position and/or distance of the person 140 can be determined.

Das Objekt 135 oder die Person 140 können sich auch im Umfeld 130 bewegen. In diesem Fall kann eine bevorstehende Bewegung bestimmt bzw. vorhergesagt werden.The object 135 or the person 140 can also move in the environment 130 . In this case, an upcoming movement can be determined or predicted.

In einem Schritt 420 kann eine bevorstehende Handlung oder eine Absicht der Person 140 bestimmt werden. Die Absicht kann beispielsweise bezüglich einer Bewegung der Person 140 oder einer Steuerhandlung bezüglich des Fahrzeugs 100 bestimmt werden. Sperrt die Person 140 beispielsweise das Fahrzeug 100 mittels einer Fernbedienung auf, während sie sich dem Fahrzeug 100 nähert, so kann eine bestimmte bevorstehende Handlung ein Öffnen einer Tür 310 des Fahrzeugs 100, ein Einsteigen in einen Innenraum des Fahrzeugs 100 und/oder ein Fahren im Fahrzeug 100 umfassen.In a step 420, an upcoming action or intention of the person 140 can be determined. The intention can be determined, for example, in relation to a movement of the person 140 or a control action in relation to the vehicle 100 . For example, if person 140 unlocks vehicle 100 using a remote control while approaching vehicle 100, a specific impending action may include opening a door 310 of vehicle 100, entering an interior of vehicle 100 and/or driving in the include vehicle 100 .

Auf der Basis der gesammelten Informationen kann in einem Schritt 425 ein Hinweis 145 bestimmt und in einem Schritt 430 mittels des Projektors 115 im Umfeld 130 ausgegeben werden. Der Hinweis 145 ist bevorzugt dazu eingerichtet, eine bevorstehende Tätigkeit der Person 140 zu unterstützen, sie vor Schaden zu bewahren und/oder eine Benutzung des Fahrzeugs 100 zu erleichtern. Zusätzlich zum Hinweis 145 kann auch eine Handlungsempfehlung 150 mittels des Projektors 115 ausgegeben werden. Optional können auch mehrere Hinweise 145 und/oder mehrere Handlungsempfehlungen 150 bereitgestellt werden. In einer weiteren Ausführungsformen können einer oder mehrere Hinweise 145 und/oder eine oder mehrere Handlungsempfehlungen 150 auch auf der weiteren Ausgabevorrichtung 125 im Innenraum des Fahrzeugs 100 bereitgestellt werden.On the basis of the collected information, a note 145 can be determined in a step 425 and output in a step 430 using the projector 115 in the environment 130 . The indication 145 is preferably set up to support an upcoming activity of the person 140, to protect them from harm and/or to facilitate the use of the vehicle 100. In addition to the information 145 , a recommendation for action 150 can also be output using the projector 115 . Optionally, several notes 145 and/or several recommendations for action 150 can also be provided. In a further specific embodiment, one or more notes 145 and/or one or more recommendations for action 150 can also be provided on the further output device 125 in the interior of the vehicle 100 .

BezugszeichenlisteReference List

100100: Fahrzeugvehicle
105105: Steuervorrichtungcontrol device
110110: Abtasteinrichtungscanning device
115115: Projektorprojector
120120: Verarbeitungseinrichtungprocessing facility
125125: Ausgabevorrichtungdispenser

130130: UmfeldSurroundings
135135: Objektobject
140140: Personperson
145145: HinweisNotice
150150: HandlungsempfehlungRecommendation for action
305305: weiteres Fahrzeug, Objektanother vehicle, object
310310: Türdoor
400400: VerfahrenProceedings
405405: Umfeld abtastenscan the environment
410410: Objekt erkennendetect object
415415: Person erkennenrecognize person
420420: Absicht bestimmendetermine intent
425425: Hinweis bestimmendetermine note
430430: Hinweis ausgebenIssue note

Claims

Control device (105) for a vehicle (100), the control device (105) comprising: - A scanning device for scanning an environment (130) of the vehicle (100); - A projector (115) for providing an image in the area (130) of the vehicle (100); and - A processing device (120) which is set up to recognize an object (135) in the environment (130) that is relevant for use of the vehicle (100) and to provide a visual indication (145) of the object (135) in the environment ( 130) to project.

Control device (105) after claim 1 , wherein the reference (145) is directed to a person (140) in the environment (130) of the vehicle (100).

Control device (105) after claim 1 or 2 , wherein the object (135) comprises a person (140) and the reference (145) is determined as a function of an upcoming action by the person (140).

Control device (105) according to one of the preceding claims, wherein the object (135) comprises an obstacle which is located between a person (140) in the vicinity (130) of the vehicle (100) and the vehicle (100).

Control device (105) according to one of the preceding claims, wherein the indication (145) comprises a visual highlighting of the object (135).

Control device (105) according to one of the preceding claims, wherein the indication (145) comprises a visual highlighting of an area in which the object (135) is located.

Control device (105) according to one of the preceding claims, wherein the note (145) comprises a recommendation (150) for action.

Control device (105) according to one of the preceding claims, wherein the control device (105) is arranged to control the vehicle (100) in order to make it accessible.

Control device (105) according to one of the preceding claims, wherein the object (135) is located at least partially in an area that is not visible to the person (140), and the information (145) is given in an area that is visible to the person (140). Person (140) is visible.

Control device (105) according to one of the preceding claims, wherein the processing device (120) is set up to recognize a person (140) in the area (130) and to provide the information (145) in an area that the person (140) can see.

Control device (105) according to one of the preceding claims, further comprising an output device (125) in an interior of the vehicle (100), wherein a further reference (145) to the object (135) is provided by means of the output device (125).

Control device (105) according to one of the preceding claims, wherein the indication (145) relates to a range of movement of a door (310) of the vehicle (100) without the door (310) colliding with the object (135).

Vehicle (100) comprising a control device (105) according to any one of the preceding claims.

Method (400) on a vehicle (100), the method (400) comprising the following steps: - scanning (405) of an environment (130) of the vehicle (100); - Recognizing (410, 415) an object (135) relevant to use of the vehicle (100) in the area (130); and - Projecting an optical indication (145) on the object (135) in the environment (130).