DE102021101978A1

DE102021101978A1 - control of a vehicle

Info

Publication number: DE102021101978A1
Application number: DE102021101978.8A
Authority: DE
Inventors: Victor Orlinskiy
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-01-28
Filing date: 2021-01-28
Publication date: 2022-07-28

Abstract

Eine Interaktionsvorrichtung zur Steuerung eines Fahrzeugs umfasst eine Abtasteinrichtung zur berührungslosen Erfassung einer Steuereingabe einer Person im Umfeld des Fahrzeugs; eine optische Anzeigeeinrichtung zur Bereitstellung einer Information im Umfeld des Fahrzeugs; und eine Verarbeitungseinrichtung. Dabei ist die Verarbeitungseinrichtung dazu eingerichtet, eine Funktion des Fahrzeugs in Abhängigkeit einer Steuereingabe zu steuern und einen Hinweis auf einen Bedienzustand der Abtasteinrichtung bereitzustellen.An interaction device for controlling a vehicle comprises a scanning device for contactless detection of a control input from a person in the vicinity of the vehicle; an optical display device for providing information in the vicinity of the vehicle; and a processing device. In this case, the processing device is set up to control a function of the vehicle as a function of a control input and to provide an indication of an operating state of the scanning device.

Description

Die Erfindung betrifft die Steuerung eines Fahrzeugs. Insbesondere betrifft die Erfindung die berührungslose Steuerung des Fahrzeugs von außerhalb.The invention relates to the control of a vehicle. In particular, the invention relates to the non-contact control of the vehicle from outside.

Ein Fahrzeug kann von außen gesteuert werden, beispielsweise mittels Spracheingabe. So kann eine Person das Fahrzeug beispielsweise mittels eines entsprechenden Sprachbefehls entriegeln, sodass sie einsteigen kann. Beim Verlassen des Fahrzeugs kann das Fahrzeug in entsprechender Weise mittels Sprachsteuerung verriegelt werden, um es vor unbefugtem Zugriff zu schützen.A vehicle can be controlled from the outside, for example by voice input. For example, a person can unlock the vehicle using a corresponding voice command so that they can get in. When leaving the vehicle, the vehicle can be locked in a corresponding manner using voice control in order to protect it from unauthorized access.

US 2009 / 0 125 311 A1 betrifft die Sprachsteuerung eines Fahrzeugs, wobei eine Position eines Sprechers bestimmt werden kann und die Steuerung auf der Basis der bestimmten Position durchgeführt werden kann.US 2009/0 125 311 A1 relates to voice control of a vehicle, where a position of a speaker can be determined and the control can be performed on the basis of the determined position.

In Abhängigkeit einer Geräuschkulisse, einer Position der Person und einer Weise, in der sie sich artikuliert, kann die Sprachsteuerung unzuverlässig arbeiten. Die Auswertung erfasster akustischer Daten erfolgt häufig in einem entfernten Rechenzentrum, sodass für die Übermittlung der Daten und die Rückübermittlung eines Bestimmungsergebnisses eine gewisse Latenzzeit verstreichen kann, die von der Person als unangenehm empfunden werden kann.Depending on a background noise, a person's position and a way in which they articulate themselves, the voice control can work unreliably. The evaluation of recorded acoustic data often takes place in a remote data center, so that a certain latency time can elapse for the transmission of the data and the return transmission of a determination result, which the person can find uncomfortable.

Es wurde vorgeschlagen, ein Fahrzeug mittels Gesten von außen zu steuern. Da das Abtasten eines Umfelds des Fahrzeugs beispielsweise mittels Kameras oder LiDAR-Sensoren aufwändig ist, kann ein Abtastsystem zwischenzeitlich in einen energiesparenden Ruhezustand versetzt werden. Das Überführen des Systems in einen Betriebszustand kann eine gewisse Zeit erfordern, in der das System träge oder gar nicht auf eine dargebotene Geste reagiert. Befindet sich die Person in einer ungünstigen Position bezüglich des Abtastsystems, kann sie nicht gut erfasst werden, sodass eine Zuverlässigkeit der Gestenerkennung von außen unbefriedigend sein kann.It has been proposed to externally control a vehicle using gestures. Since scanning the surroundings of the vehicle, for example using cameras or LiDAR sensors, is complex, a scanning system can be switched to an energy-saving idle state in the meantime. Bringing the system into an operational state may require a period of time in which the system responds sluggishly or not at all to a presented gesture. If the person is in an unfavorable position with respect to the scanning system, they cannot be detected well, so that the reliability of the gesture recognition from the outside can be unsatisfactory.

Eine der Erfindung zu Grunde liegende Aufgabe besteht in der Angabe einer verbesserten Technik zur berührungslosen Steuerung eines Fahrzeugs von außen. Die Erfindung löst die Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.One of the objects on which the invention is based is to specify an improved technique for contactless control of a vehicle from the outside. The invention solves the problem by means of the subject matter of the independent claims. Subclaims reflect preferred embodiments.

Nach einem ersten Aspekt der vorliegenden Erfindung umfasst eine Interaktionsvorrichtung zur Steuerung eines Fahrzeugs eine Abtasteinrichtung zur berührungslosen Erfassung einer Steuereingabe einer Person im Umfeld des Fahrzeugs; eine optische Anzeigeeinrichtung zur Bereitstellung einer Information im Umfeld des Fahrzeugs; und eine Verarbeitungseinrichtung. Dabei ist die Verarbeitungseinrichtung dazu eingerichtet, eine Funktion des Fahrzeugs in Abhängigkeit einer Steuereingabe zu steuern und einen Hinweis auf einen Bedienzustand der Abtasteinrichtung bereitzustellen.According to a first aspect of the present invention, an interaction device for controlling a vehicle comprises a scanning device for contactless detection of a control input from a person in the vicinity of the vehicle; an optical display device for providing information in the vicinity of the vehicle; and a processing device. In this case, the processing device is set up to control a function of the vehicle as a function of a control input and to provide an indication of an operating state of the scanning device.

Durch die Bereitstellung des Bedienzustands kann eine Person verbessert eine berührungslos erfassbare Steuereingabe bereitstellen, die von der Interaktionsvorrichtung verbessert erfasst und verarbeitet werden kann. Beispielsweise kann die Person sicherstellen, dass sie sich an einer Position im Umfeld des Fahrzeugs befindet, von der aus ihre Steuereingabe gut erfasst werden kann. Eine Zuverlässigkeit oder eine Verarbeitungsgeschwindigkeit der Interaktionsvorrichtung können gesteigert sein. Falsch erkannte Steuereingaben können vermieden werden. Eine Verarbeitung einer erfassten Steuereingabe kann einfacher sein und gegebenenfalls schneller durchgeführt werden.By providing the operating state, a person can better provide a contactlessly detectable control input, which can be better detected and processed by the interaction device. For example, the person can ensure that they are in a position in the vicinity of the vehicle from which their control input can be easily detected. A reliability or a processing speed of the interaction device can be increased. Incorrectly recognized control inputs can be avoided. Processing a detected control input can be simpler and, if necessary, can be carried out more quickly.

Der Bedienzustand kann insbesondere auf eine Verfügbarkeit oder einen Zustand der Interaktionsvorrichtung hinweisen. Der Bedienzustand kann insbesondere umfassen, ob eine Steuereingabe erwartet wird, welche vorbestimmte Auswahl von Steuereingabe erwartet wird, ob eine Steuereingabe erfasst wurde, welche Steuereingabe erfasst wurde, welche Funktion in Abhängigkeit der Steuereingabe gesteuert wird oder ob beziehungsweise welcher Fehler aufgetreten ist. So kann die berührungslose Steuerung des Fahrzeugs interaktiv gestaltet werden. Die Person kann verbessert auf den Bedienzustand der Interaktionsvorrichtung eingehen. Beispielsweise kann eine Benutzerführung nach Art einer Menüsteuerung mittels der Interaktionsvorrichtung realisiert werden.In particular, the operating state can indicate an availability or a state of the interaction device. In particular, the operating state can include whether a control input is expected, which predetermined selection of control input is expected, whether a control input was detected, which control input was detected, which function is controlled as a function of the control input, or whether or which error has occurred. In this way, the contactless control of the vehicle can be designed to be interactive. The person can better respond to the operating status of the interaction device. For example, user guidance in the form of menu control can be implemented using the interaction device.

Die Interaktionsvorrichtung ist bevorzugt dazu eingerichtet, die Anwesenheit der Person innerhalb eines vorbestimmten Bereichs im Umfeld des Fahrzeugs zu bestimmen; wobei der Bedienzustand die Anwesenheit der Person in dem Bereich umfasst. Beispielsweise kann eine Steuereingabe der Person nur dann akzeptiert werden, wenn sich die Person innerhalb des vorbestimmten Bereichs befindet. Der Bereich kann bezüglich des Fahrzeugs vorbestimmt sein und sich beispielsweise in seitlicher Richtung, nach vorne und/oder nach hinten um jeweils eine vorbestimmte Distanz von Umrissen des Fahrzeugs erstrecken.The interaction device is preferably set up to determine the presence of the person within a predetermined area in the area surrounding the vehicle; wherein the operating condition includes the presence of the person in the area. For example, a control input from the person may only be accepted if the person is within the predetermined range. The area may be predetermined with respect to the vehicle and may extend, for example, laterally, forwardly, and/or rearwardly a predetermined distance from the contours of the vehicle.

Ein einer Ausführungsform ist die Verarbeitungseinrichtung dazu eingerichtet, die Anwesenheit der Person in dem Bereich mittels eines dedizierten Sensors zu bestimmen, beispielsweise eines LiDAR-Sensors, eines Radarsensors, eines Ultraschallsensors oder eines kapazitiven Sensors. In einer Weiterbildung der Erfindung ist die Verarbeitungseinrichtung dazu eingerichtet, die Anwesenheit der Person in dem Bereich auf der Basis einer Abtastung des Umfelds mittels der Abtasteinrichtung zu bestimmen.In one embodiment, the processing device is set up to determine the presence of the person in the area using a dedicated sensor, for example a LiDAR sensor, a radar sensor, an ultrasound scanner sors or a capacitive sensor. In one development of the invention, the processing device is set up to determine the presence of the person in the area on the basis of scanning the surroundings using the scanning device.

In einer Variante arbeitet die Abtasteinrichtung akustisch, wobei die Interaktionseinrichtung eine Sprachsteuerung des Fahrzeugs umfassen oder realisieren kann. In einer weiteren Variante arbeitet die Abtasteinrichtung optisch, wobei die Interaktionseinrichtung eine Gestensteuerung des Fahrzeugs umfassen oder realisieren kann. Eine Variante, bei der die Person die Steuereingabe an einem mobilen Gerät bewirkt, das in drahtloser Kommunikationsverbindung mit der Interaktionsvorrichtung steht, ist ebenfalls denkbar, jedoch ist bevorzugt, dass die Person die Steuereingabe ohne Hilfsmittel durchführen kann. Mehrere Abtasteinrichtungen können dazu verwendet werden, die Person im Umfeld des Fahrzeugs zu lokalisieren, beispielsweise akustisch auf der Basis des Stereo-Effekts oder optisch durch Triangulation. Eine Abtasteinrichtung kann auch unmittelbar zur Positionsbestimmung der Person eingerichtet sein, etwa wenn die Abtasteinrichtung eine Tiefenkamera, eine Stereokamera, einen LiDAR-Sensor oder einen Radarsensor umfasst.In one variant, the scanning device works acoustically, with the interaction device being able to include or implement voice control of the vehicle. In a further variant, the scanning device works optically, with the interaction device being able to include or implement gesture control of the vehicle. A variant in which the person effects the control input on a mobile device that is in wireless communication connection with the interaction device is also conceivable, but it is preferred that the person can carry out the control input without any aids. Several scanning devices can be used to locate the person in the area surrounding the vehicle, for example acoustically based on the stereo effect or optically by triangulation. A scanning device can also be set up directly for determining the position of the person, for example if the scanning device includes a depth camera, a stereo camera, a LiDAR sensor or a radar sensor.

Es können mehrere Abtasteinrichtungen vorgesehen sein, wobei bevorzugt jeder Abtasteinrichtung ein vorbestimmter Bereich im Umfeld des Fahrzeugs zugeordnet ist. Die Bereiche können einander überlappen. In einer Ausführungsform liegt einer der Bereiche vollständig im anderen Bereich. Allgemein ist bevorzugt, dass sich ein kleinerer Bereich bis nahe an das Fahrzeug erstreckt und bevorzugt bis an das Fahrzeug heran reicht. Ein größerer Bereich kann ebenfalls nahe oder unmittelbar am Fahrzeug beginnen und sich in größere Entfernung oder über eine größere Fläche als der kleinere Bereich erstrecken. Vorbestimmte Funktionen des Fahrzeugs können verschiedenen Abtasteinrichtungen und damit verschiedenen Bereichen im Umfeld des Fahrzeugs zugeordnet werden. Beispielsweise kann ein Verriegeln des Fahrzeugs aus einer Position gesteuert werden, die einen vorbestimmten ersten Maximalabstand vom Fahrzeug nicht übersteigt, während eine Entriegelung aus einem vorbestimmten zweiten Maximalabstand gesteuert werden kann, der geringer als der erste ist.A plurality of scanning devices can be provided, with each scanning device preferably being assigned a predetermined area in the area surrounding the vehicle. The areas can overlap each other. In one embodiment, one of the areas lies entirely within the other area. In general, it is preferred that a smaller area extends close to the vehicle and preferably reaches close to the vehicle. A larger area may also start near or immediately at the vehicle and extend further away or over a larger area than the smaller area. Predetermined functions of the vehicle can be assigned to different scanning devices and thus to different areas in the area surrounding the vehicle. For example, locking of the vehicle can be controlled from a position not exceeding a predetermined first maximum distance from the vehicle, while unlocking can be controlled from a predetermined second maximum distance that is less than the first.

Die Anzeigeeinrichtung kann einen Projektor zur Bereitstellung einer Projektion im Umfeld des Fahrzeugs umfassen. Der Projektor kann insbesondere dazu eingerichtet sein, auf einen Untergrund im Umfeld zu projizieren. Die Projektion kann ausreichend hell sein, um auch bei Tageslicht für die Person noch gut sichtbar zu sein. Dazu kann beispielsweise ein Laserprojektor verwendet werden, der nach Art einer Vektoranzeige arbeiten kann. So kann die Person leicht bestimmen, ob sie sich in einer Position befindet, von der aus eine vorbestimmte Steuereingabe erfasst beziehungsweise akzeptiert werden kann oder nicht.The display device can include a projector for providing a projection in the area surrounding the vehicle. In particular, the projector can be set up to project onto a background in the surrounding area. The projection can be sufficiently bright to be clearly visible to the person even in daylight. A laser projector can be used for this purpose, for example, which can work in the manner of a vector display. In this way, the person can easily determine whether or not they are in a position from which a predetermined control input can be detected or accepted.

Der Projektor kann dazu eingerichtet sein, den Bedienzustand beispielsweise als Symbol, als Text oder als Animation optisch darzustellen. In einer weiteren Ausführungsform ist der Projektor dazu eingerichtet, einen Hinweis auf eine Begrenzung des Bereichs bereitzustellen. Beispielsweise können eine Begrenzungslinie des vorbestimmten Bereichs oder der gesamte Bereich optisch markiert werden. Beide Ausgaben können auch miteinander kombiniert werden. Beispielsweise kann der Hinweis auf die Begrenzung des Bereichs verändert dargestellt werden, wenn sich eine Person in ihm aufhält. In einer Ausführungsform können etwa eine Farbe oder ein Muster des Hinweises auf die im Bereich befindliche Person hinweisen.The projector can be set up to visually display the operating status, for example as a symbol, as text or as an animation. In another embodiment, the projector is configured to provide an indication of a boundary of the area. For example, a boundary line of the predetermined area or the entire area can be marked optically. Both editions can also be combined with each other. For example, the indication of the delimitation of the area can be displayed differently if a person is in it. In one embodiment, a color or a pattern of the cue may indicate the person in the area.

Der Projektor kann dazu eingerichtet sein, einen Hinweis auf eine Person im Umfeld des Fahrzeugs zu geben, deren Steuereingabe abgetastet wird. Befindet sich beispielsweise mehr als eine Person im vorbestimmten Bereich, so kann eine Steuereingabe nur von einer der Personen abgetastet werden. Die Person kann nach einem vorbestimmten Kriterium ausgewählt werden und Steuereingaben einer anderen Person können verworfen oder nicht abgetastet werden. Einander widersprechende Steuereingaben oder die Steuerung des Fahrzeugs bezüglich unterschiedlicher Interessen kann so verhindert werden. Beispielsweise kann die Person für die Steuerung auswählt werden, die den vorbestimmten Bereich als erste betritt. In einer weiteren Ausführungsform werden Steuereingaben von mehreren Personen akzeptiert, wobei ein optischer Hinweis auf jede der Personen gegeben werden kann.The projector can be set up to provide an indication of a person in the vicinity of the vehicle whose control input is being sampled. For example, if there is more than one person in the predetermined area, a control input can only be scanned by one of the people. The person can be selected according to a predetermined criterion and control inputs from another person can be discarded or not sampled. In this way, conflicting control inputs or the control of the vehicle with regard to different interests can be prevented. For example, the person who enters the predetermined area first can be selected for control. In a further embodiment, control inputs from a number of people are accepted, and a visual indication of each of the people can be given.

In einer weiteren Ausführungsform ist die Anzeigeeinrichtung von einer Fahrzeugbeleuchtung des Fahrzeugs umfasst. So kann ein Vorsehen einer zusätzlichen Anzeigeeinrichtung vermieden werden. Die Anzeigeeinrichtung kann an einer gut einsehbaren Stelle des Fahrzeugs angebracht sein und ausreichend hell sein, um auch bei heller Umgebungsbeleuchtung gut wahrgenommen zu werden.In a further embodiment, the display device is comprised of a vehicle lighting system of the vehicle. In this way, the provision of an additional display device can be avoided. The display device can be installed at a location on the vehicle that is easy to see and can be bright enough to be seen well even in bright ambient lighting.

Die Fahrzeugbeleuchtung umfasst üblicherweise die lichttechnischen Einrichtungen, die notwendig sind, damit das Fahrzeug bei Dämmerung, Dunkelheit oder bei schlechten Witterungsverhältnissen ausreichend gut gesehen werden kann oder es einer Person an Bord des Fahrzeugs erlaubt, selbst genug zu sehen. Zur Fahrzeugbeleuchtung zählt insbesondere eine Standardbeleuchtung, die für die jeweilige Fahrzeugart vorgeschrieben ist, und die im Fall eines Personenkraftwagens ein Front- oder Rücklicht, einen Fahrtrichtungsanzeiger, ein Nebelschlusslicht, ein Kurvenlicht oder ein Tagfahrlicht umfassen. In einer weiteren Ausführungsform kann die Fahrzeugbeleuchtung auch eine nicht vorgeschriebene Beleuchtungseinrichtung umfassen, etwa ein Innenlicht, ein Leselicht, eine Türgriffbeleuchtung, eine Vorfeldbeleuchtung oder eine Einstiegsbeleuchtung. Ein entsprechender Projektor kann beispielsweise in einem Seitenschweller oder einem Gehäuse eines Seitenspiegels angebracht sein. Auch ein beleuchtetes Designelement, beispielsweise eine beleuchtbare Zierleiste oder eine Lichtlinie, kann als Anzeigeeinrichtung verwendet werden.The vehicle lighting usually includes the lighting equipment that is necessary so that the vehicle can be seen sufficiently well at dusk, in the dark or in poor weather conditions, or to allow a person on board the vehicle to see enough for themselves. Vehicle lighting includes, in particular, standard lighting that is prescribed for the respective vehicle type and, in the case of a passenger car, has a front or Rear light, a direction indicator, a rear fog light, a cornering light or a daytime running light include. In a further embodiment, the vehicle lighting can also include a non-mandatory lighting device, such as an interior light, a reading light, door handle lighting, courtesy lighting or entry lighting. A corresponding projector can be installed, for example, in a side sill or in a housing of a side mirror. An illuminated design element, for example an illuminated decorative strip or a line of light, can also be used as a display device.

In noch einer weiteren Ausführungsform umfasst die Anzeigeeinrichtung einen Bildschirm. Der Bildschirm kann dazu eingerichtet sein, auf der Außenseite des Fahrzeugs wahrnehmbar zu sein. Dazu kann der Bildschirm entsprechend zur Außenseite hin orientiert sein. In einer Ausführungsform kann der Bildschirm mit einer Außenseite des Fahrzeugs abschließen oder unmittelbar im Bereich einer äußeren Begrenzung des Fahrzeugs angebracht sein.In yet another embodiment, the display device comprises a screen. The screen can be configured to be perceptible on the outside of the vehicle. For this purpose, the screen can be oriented towards the outside accordingly. In one embodiment, the screen can end with an outside of the vehicle or be attached directly in the area of an outer boundary of the vehicle.

Der Bildschirm kann auch dazu eingerichtet sein, von einer Person auf einem Sitz des Fahrzeugs eingesehen zu werden. In diesem Fall kann der Bildschirm von außen beispielsweise durch ein Front-, Heck-, Dach- oder Seitenfenster eingesehen werden. Der Bildschirm kann beispielsweise eine LC-Anzeige, eine LED oder OLED-Anzeige oder eine E-Paper Anzeige umfassen.The screen can also be set up to be viewed by a person in a seat of the vehicle. In this case, the screen can be viewed from the outside, for example through a front, rear, roof or side window. The screen can include, for example, an LC display, an LED or OLED display, or an e-paper display.

Es ist zu beachten, dass auch mehrere Anzeigevorrichtungen durch die Interaktionseinrichtung verwendet werden können. Bevorzugt werden eine oder mehrere Anzeigevorrichtungen an Bord des Fahrzeugs durch die Interaktionseinrichtung mitbenutzt, sodass ein Aufwand zur Implementation gering sein kann und das Fahrzeug nicht unnötig viele Anzeigevorrichtungen umfasst, die bei gemeinsamem Betrieb einen optischen Gesamteindruck stören können.It should be noted that multiple display devices can also be used by the interaction device. One or more display devices on board the vehicle are preferably also used by the interaction device, so that the implementation effort can be low and the vehicle does not have an unnecessarily large number of display devices that can disturb an overall visual impression when operated together.

Nach einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Fahrzeug eine hierin beschriebene Interaktionsvorrichtung. Das Fahrzeug kann insbesondere ein Kraftfahrzeug umfassen, bevorzugt ein Kraftrad, einen Personenkraftwagen, einen Lastkraftwagen oder einen Bus.According to another aspect of the present invention, a vehicle includes an interaction device as described herein. The vehicle can in particular include a motor vehicle, preferably a motorcycle, a passenger car, a truck or a bus.

Nach noch einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Verfahren zum Steuern eines Fahrzeugs Schritte des berührungslosen Erfassens einer Steuereingabe einer Person im Umfeld des Fahrzeugs; und des Steuerns einer Funktion des Fahrzeugs in Abhängigkeit einer Steuereingabe; wobei ein Hinweis auf einen Bedienzustand im Umfeld des Fahrzeugs optisch bereitgestellt wird.According to yet another aspect of the present invention, a method for controlling a vehicle comprises the steps of contactlessly detecting a control input from a person in the vicinity of the vehicle; and controlling a function of the vehicle depending on a control input; wherein an indication of an operating state in the area surrounding the vehicle is provided optically.

Die Verarbeitungseinrichtung kann dazu eingerichtet sein, ein hierin beschriebenes Verfahren ganz oder teilweise auszuführen. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung übertragen werden oder umgekehrt.The processing device can be set up to carry out a method described herein in whole or in part. For this purpose, the processing device can include a programmable microcomputer or microcontroller, and the method can be in the form of a computer program product with program code means. The computer program product can also be stored on a computer-readable data carrier. Features or advantages of the method can be transferred to the device or vice versa.

Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen:

1 ein System mit einem Fahrzeug und einer Interaktionsvorrichtung; und
2 ein Ablaufdiagramm eines Verfahrens

illustriert.The invention will now be described in more detail with reference to the accompanying drawings, in which:

1 a system having a vehicle and an interaction device; and
2 a flowchart of a method

illustrated.

1 zeigt ein System 100 mit einem Fahrzeug 105 und einer darin angebrachten Interaktionsvorrichtung 110. Die Interaktionsvorrichtung 110 ist dazu eingerichtet, eine berührungslose Steuereingabe einer Person 115 zu erfassen und zu verarbeiten, die sich auf einer Außenseite des Fahrzeugs 105 befindet. 1 12 shows a system 100 with a vehicle 105 and an interaction device 110 mounted therein. The interaction device 110 is set up to detect and process a contactless control input from a person 115 who is located on an outside of the vehicle 105.

Die Interaktionseinrichtung 110 umfasst eine Verarbeitungseinrichtung 120, wenigstens eine Abtasteinrichtung 125 und bevorzugt eine Schnittstelle 130. Mittels der Schnittstelle 130 kann die Interaktionseinrichtung 110 mit einem anderen System an Bord des Fahrzeugs 105 verbunden werden, um eine Funktion des Fahrzeugs 105 zu steuern, die beispielsweise ein Entriegeln, ein Öffnen, ein Schließen oder ein Verriegeln einer Fahrzeugtür umfassen kann. Weitere beispielhafte Funktionen umfassen ein Aktivieren oder Deaktivieren einer Standheizung oder ein Steuern einer Klimaanlage.The interaction device 110 comprises a processing device 120, at least one scanning device 125 and preferably an interface 130. The interface 130 can be used to connect the interaction device 110 to another system on board the vehicle 105 in order to control a function of the vehicle 105, for example a Unlocking, opening, closing or locking a vehicle door may include. Other exemplary functions include activating or deactivating an auxiliary heater or controlling an air conditioning system.

Die Abtasteinrichtung 125 ist dazu eingerichtet, eine Steuereingabe der Person 115 berührungslos zu erfassen. Dazu kann die Abtasteinrichtung 125 insbesondere optisch arbeiten, um eine Spracherkennung eines durch die Person 115 geäußerten Sprachbefehls zu leisten, oder akustisch, um eine Geste der Person 115 zu erkennen.The scanning device 125 is set up to detect a control input from the person 115 without contact. For this purpose, the scanning device 125 can, in particular, work optically, in order to provide voice recognition of a voice command uttered by the person 115, or acoustically, in order to recognize a gesture by the person 115.

Es können mehrere Abtasteinrichtungen 125 vorgesehen sein, die in einer Ausführungsform derart konfiguriert sind, dass eine Position der Person 115 im Umfeld des Fahrzeugs zumindest näherungsweise bestimmt werden kann. Zur Positionsbestimmung können Abtastungen mehrerer gleichartiger oder verschiedenartiger Abtasteinrichtungen 125 herangezogen werden. Optional kann auch ein weiterer Sensor vorgesehen sein, um die Position der Person 115 zu bestimmen. Dieser Sensor, wie auch die wenigstens eine Abtasteinrichtung 125, kann von der Interaktionseinrichtung 110 oder von einem anderen System an Bord des Fahrzeugs 105 umfasst sein.A plurality of scanning devices 125 can be provided, which in one embodiment are configured in such a way that a position of person 115 in the area surrounding the vehicle can be determined at least approximately. To determine the position, multiple scans of the same kind can be used or various scanning devices 125 can be used. A further sensor can optionally also be provided in order to determine the position of the person 115 . This sensor, as well as the at least one scanning device 125, can be included in the interaction device 110 or in another system on board the vehicle 105.

Einer Abtasteinrichtung 125 kann ein Bereich 135 zugeordnet sein, in der sich die Person 115 befinden muss, um eine Abtastung zu ermöglichen oder zu akzeptieren. In der Darstellung von 1 sind beispielhaft zwei Abtasteinrichtungen 125 vorgesehen, denen jeweils einer von zwei dargestellten Bereichen 135 zugeordnet sein kann. Eine Größe, eine Form und/oder eine Lage eines Bereichs 135 bezüglich des Fahrzeugs 105 kann beispielsweise in Abhängigkeit einer Abtastcharakteristik der Abtasteinrichtung 125 gewählt sein.A scanning device 125 can be assigned an area 135 in which the person 115 must be located in order to enable or accept scanning. In the representation of 1 two scanning devices 125 are provided by way of example, each of which can be assigned one of two regions 135 shown. A size, a shape and/or a position of a region 135 with respect to the vehicle 105 can be selected depending on a scanning characteristic of the scanning device 125, for example.

In einer weiteren Ausführungsform kann ein Bereich 135 einer vorbestimmten Funktion des Fahrzeugs 105 zugeordnet sein, wobei die Funktion nur dann gesteuert wird, wenn sich die Person 115 in dem Bereich befindet. So kann beispielsweise sichergestellt werden, dass ein Öffnen des Fahrzeugs 105 aus einer geringeren Distanz erfolgen kann als ein Schließen.In another embodiment, an area 135 may be associated with a predetermined function of the vehicle 105, the function being controlled only when the person 115 is within the area. It can thus be ensured, for example, that the vehicle 105 can be opened from a smaller distance than it was closed.

Eine Anzeigeeinrichtung 140 ist vorgesehen um einen Hinweis auf einen Bedienzustand der Interaktionseinrichtung 110 optisch bereitzustellen. Die Anzeigeeinrichtung 140 ist in 1 beispielhaft als Bildschirm angedeutet; in anderen Ausführungsformen kann auch jede andere optische Ausgabeeinrichtung an Bord des Fahrzeugs 105 für diesen Zweck verwendet werden. Beispielsweise kann der Bedienzustand mittels einer Beleuchtungseinrichtung ausgedrückt werden.A display device 140 is provided in order to visually provide an indication of an operating state of the interaction device 110 . The display device 140 is in 1 indicated by way of example as a screen; in other embodiments, any other visual output device onboard the vehicle 105 may also be used for this purpose. For example, the operating status can be expressed by means of a lighting device.

In einer besonders bevorzugten Ausführungsform umfasst die Anzeigeeinrichtung 140 wenigstens einen Projektor, der dazu eingerichtet ist, eine Projektion auf einer Oberfläche im Umfeld des Fahrzeugs 105 bereitzustellen. Insbesondere kann der Projektor 140 dazu eingerichtet sein, einen optischen Hinweis auf einen Bereich 135 oder dessen Begrenzung auf einen Untergrund im Umfeld des Fahrzeugs 105 zu projizieren. In einer Ausführungsform kann der Hinweis in Form einer Begrenzungslinie des Bereichs 135 ausgeführt sein, in einer anderen Ausführungsform kann der gesamte Bereich mittels des Projektors 135 selektiv erleuchtet werden.In a particularly preferred specific embodiment, display device 140 includes at least one projector that is set up to provide a projection onto a surface in the area surrounding vehicle 105 . In particular, the projector 140 can be set up to project a visual indication of an area 135 or its boundary on a subsurface in the area surrounding the vehicle 105 . In one embodiment, the indication can be in the form of a boundary line of the area 135 , in another embodiment the entire area can be selectively illuminated by means of the projector 135 .

Die Anzeigeeinrichtung 140 ist bevorzugt dazu eingerichtet, den Hinweis auf den Bedienzustand der Interaktionseinrichtung 110 zusammen mit dem Hinweis auf den Bereich 135 bereitzustellen. Dazu können beispielsweise eine Farbe, ein Muster oder eine Struktur der Bereichsmarkierung in Abhängigkeit des Bedienzustands verändert werden.The display device 140 is preferably set up to provide the indication of the operating state of the interaction device 110 together with the indication of the area 135 . For this purpose, for example, a color, a pattern or a structure of the area marking can be changed depending on the operating status.

In einer Ausführungsform gibt der Bedienzustand an, ob sich die Person 115 in einem Bereich 135 befindet, in dem ihre Steuereingabe erfasst oder akzeptiert werden kann. Beispielsweise kann eine Begrenzung des Bereichs 135 grün markiert werden, wenn sich wenigstens eine Person 115 im Bereich 135 befindet, und andernfalls weiß oder rot.In one embodiment, the operating state indicates whether the person 115 is in an area 135 in which their control input can be detected or accepted. For example, a boundary of area 135 may be marked green if there is at least one person 115 in area 135, and white or red otherwise.

In einer weiteren Ausführungsform gibt der Bedienzustand an, welche Steuereingaben erwartet werden beziehungsweise welche Funktionen des Fahrzeugs 105 aktuell selektiert werden können. Beispielsweise kann eine erste Steuereingabe eine Art Menü aktivieren, das mittels einer zweiten Steuereingabe eine Auswahl einer Funktion aus einer vorbestimmten Auswahl ermöglicht. In diesem Fall kann der optische Hinweis auf eine der Steuereingaben der Auswahl hinweisen. Im Fall einer Gestensteuerung kann beispielsweise ein Symbol oder ein Piktogramm einer möglichen Eingabe dargestellt werden. Auf eine steuerbare Funktion kann ebenfalls hingewiesen werden, beispielsweise symbolisch, in Form einer Animation oder in Textform.In a further embodiment, the operating state indicates which control inputs are expected or which functions of the vehicle 105 can currently be selected. For example, a first control input can activate a type of menu that enables a function to be selected from a predetermined selection using a second control input. In this case, the visual cue may indicate one of the selection's control inputs. In the case of gesture control, for example, a symbol or a pictogram of a possible input can be displayed. A controllable function can also be indicated, for example symbolically, in the form of an animation or in text form.

In noch einer weiteren Ausführungsform gibt der Bedienzustand an, welche Steuereingabe erkannt wurde, beziehungsweise welche Funktion aktuell gesteuert wird. Weitere Bedienzustände sind ebenfalls denkbar.In yet another embodiment, the operating status indicates which control input was recognized or which function is currently being controlled. Other operating states are also conceivable.

2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Steuern eines Fahrzeugs 105. Das Verfahren 200 kann insbesondere mittels einer Interaktionsvorrichtung 110 an Bord eines Fahrzeugsn105 durchgeführt werden. Das Verfahren 200 setzt üblicherweise voraus, dass sich das Fahrzeug 105 im Stillstand befindet, wobei sich üblicherweise keine Person 115 an Bord befindet und das Fahrzeug 105 bevorzugt abgestellt ist. 2 shows a flowchart of a method 200 for controlling a vehicle 105. The method 200 can be carried out in particular by means of an interaction device 110 on board a vehicle 105. The method 200 usually assumes that the vehicle 105 is at a standstill, with there usually being no person 115 on board and the vehicle 105 is preferably parked.

In einem Schritt 205 kann ein Umfeld des Fahrzeugs 105 berührungslos abgetastet werden. In einer Ausführungsform erfolgt das Abtasten mittels einer oder mehreren Abtasteinrichtungen 125, in einer anderen Ausführungsform ist ein dedizierter Sensor zur Bestimmung einer Person 115 im Umfeld vorgesehen.In a step 205, an area surrounding vehicle 105 can be scanned without contact. In one embodiment, the scanning takes place by means of one or more scanning devices 125, in another embodiment a dedicated sensor for determining a person 115 in the area is provided.

In einem Schritt 210 kann die Person 115 im Umfeld erfasst werden. Insbesondere kann bestimmt werden, dass sich die Person 115 innerhalb eines vorbestimmten Bereichs 135 befindet, der in Abhängigkeit eines Bedienzustands oder eines anderen Parameters bestimmt sein kann. Optional kann eine von mehreren Personen 115 ausgewählt werden, die im Umfeld des Fahrzeugs 105 beziehungsweise im Bereich 135 erfasst werden konnten. Optional kann ein Hinweis auf einen Bereich 135 mittels der Anzeigeeinrichtung 140 ausgegeben werden. Ein geltender Bereich 135 kann als Teil des Bedienzustands angesehen werden, insbesondere wenn der Bereich 135 in Abhängigkeit des Bedienzustands verändert werden kann.In a step 210, the person 115 in the environment can be detected. In particular, it can be determined that the person 115 is within a predetermined area 135, which can be determined as a function of an operating state or another parameter. Optionally, one of several persons 115 can be selected who are in the vicinity of the vehicle 105 or in the Area 135 could be detected. An indication of an area 135 can optionally be output by means of the display device 140 . A valid area 135 can be regarded as part of the operating state, in particular if the area 135 can be changed depending on the operating state.

In einem Schritt 215 kann ein Hinweis auf den Bedienzustand optisch, insbesondere mittels der Anzeigeeinrichtung 140, ausgegeben werden. Der Bedienzustand kann zu diesem Zeitpunkt beispielsweise die erkannte Person 155 oder eine oder mehrere zur Auswahl stehende Steuereingaben oder damit jeweils verbundene Funktionen des Fahrzeugs 105 umfassen.In a step 215, an indication of the operating status can be output optically, in particular by means of the display device 140. At this point in time, the operating state can include, for example, the recognized person 155 or one or more control inputs available for selection or functions of the vehicle 105 connected thereto.

In einem Schritt 220 kann eine berührungslose Steuereingabe der Person 115 erfasst werden. In einer Ausführungsform kann die Steuereingabe ein gesprochenes Wort oder eine Sequenz von Wörtern umfassen, in einer anderen Ausführungsform eine Geste, beispielsweise eine Hand- oder Körpergeste.In a step 220 a non-contact control input of the person 115 can be detected. In one embodiment, the control input may include a spoken word or sequence of words, in another embodiment, a gesture, such as a hand or body gesture.

In einem Schritt 225 kann ein weiterer Hinweis auf einen Bedienzustand ausgegeben werden. Zu diesem Zeitpunkt kann der Bedienzustand beispielsweise eine erkannte Steuereingabe oder eine Auswahl von zu diesem Zeitpunkt zur Auswahl stehende Steuereingaben umfassen, wobei die Auswahl von der zuletzt erkannten Steuereingabe abhängig sein kann. Es ist allgemein bevorzugt, dass der Bedienzustand kontinuierlich oder jeweils bei einer Änderung angezeigt wird.In a step 225, a further indication of an operating state can be output. At this point in time, the operating state can include, for example, a recognized control input or a selection of control inputs available for selection at this point in time, it being possible for the selection to depend on the control input recognized last. It is generally preferred that the operating status is displayed continuously or each time there is a change.

In einem Schritt 230 kann eine Funktion des Fahrzeugs 105 gesteuert werden, die der zuletzt erkannten Steuereingabe zugeordnet ist. Die Funktion kann einen Teil des Bedienzustands bilden und ein Hinweis auf die ausgeführte Funktion kann mittels der Anzeigeeinrichtung 140 ausgegeben werden.In a step 230, a function of the vehicle 105 associated with the last detected control input may be controlled. The function can form part of the operating state, and an indication of the function being carried out can be output by means of the display device 140 .

BezugszeichenlisteReference List

100100: Systemsystem
105105: Fahrzeugvehicle
110110: I nteraktionsvorrichtunginteraction device
115115: Personperson
120120: Verarbeitungseinrichtungprocessing facility
125125: Abtasteinrichtungscanning device
130130: Schnittstelleinterface
135135: Bereicharea
140140: Anzeigeeinrichtung display device
200200: Verfahrenprocedure
205205: Umfeld abtastenscan the environment
210210: Person in vorbestimmtem Bereich erfassenDetect person in predetermined area
215215: Hinweis auf Bedienzustand ausgebenOutput information on operating status
220220: berührungslose Steuereingabe erfassencapture non-contact control input
225225: Hinweis auf Bedienzustand ausgebenOutput information on operating status
230230: Steuerung durchführenperform control

Claims

Interaction device (110) for controlling a vehicle (105), the interaction device (110) comprising: - A scanning device (125) for contactless detection of a control input of a person (115) in the vicinity of the vehicle (105); - An optical display device (140) for providing information in the area surrounding the vehicle (105); and - A processing device (120) which is set up to control a function of the vehicle (105) as a function of a control input and to provide an indication of an operating state of the scanning device (125).

Interaction device (110) after claim 1 , wherein the operating state indicates an availability or a state of the interaction device (110).

Interaction device (110) after claim 1 or 2 , wherein the interaction device (110) is set up to determine the presence of the person (115) within a predetermined area (135) in the vicinity of the vehicle (105); wherein the operating state includes the presence of the person (115) in the area (135).

Interaction device (110) after claim 3 , wherein the processing device (120) is set up to determine the presence of the person (115) in the area (135) on the basis of a scan of the environment by means of the scanning device (125).

Interaction device (110) after claim 3 or 4 , wherein a plurality of scanning devices (125) s are provided and each scanning device (125) is assigned a predetermined area (135).

Interaction device (110) according to one of the preceding claims, wherein the scanning device (125) operates acoustically.

Interaction device (110) according to one of the preceding claims, wherein the scanning device (125) operates optically.

Interaction device (110) according to one of the preceding claims, wherein the display device (140) comprises a projector (140) for providing a projection in the area surrounding the vehicle (105).

Interaction device (110) after claim 8 , wherein the projector (140) is adapted to provide an indication of a boundary of the area (135).

Interaction device (110) according to one of Claims 8 or 9 , wherein the projector (140) is set up to give an indication of a person (115) in the vicinity of the vehicle (105), whose control input is scanned.

Interaction device (110) according to one of the preceding claims, wherein the display device (140) is comprised of a vehicle lighting of the vehicle (105).

Interaction device (110) according to one of the preceding claims, wherein the display device (140) comprises a screen.

Interaction device (110) after claim 12 , wherein the screen is set up to be viewed by a person (115) on a seat of the vehicle (105).

Vehicle (105) comprising an interaction device (110) according to any one of the preceding claims.

Method (200) for controlling a vehicle (105), the method comprising the following steps: - Contactless detection (220) of a control input from a person (115) in the vicinity of the vehicle (105); and - Controlling (230) a function of the vehicle (105) as a function of a control input; - wherein an indication of an operating state in the area surrounding the vehicle (105) is provided optically (215, 225).