DE102018200138A1

DE102018200138A1 - Method for performing an interaction

Info

Publication number: DE102018200138A1
Application number: DE102018200138.3A
Authority: DE
Inventors: Michael Grabowski; Florian Bock
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2018-01-08
Filing date: 2018-01-08
Publication date: 2019-07-11
Also published as: WO2019134812A1

Abstract

Die Erfindung betrifft ein Verfahren zum Durchführen einer Interaktion zwischen mindestens einem Fahrzeug (2, 30) und mindestens einer Person (20) außerhalb des mindestens einen Fahrzeugs (2, 30) mittels mindestens eines Außensensors des mindestens einen Fahrzeugs (2, 30) und mindestens einer Recheneinheit (8) des mindestens einen Fahrzeugs (2, 30), bei dem mit dem mindestens einen Außensensor Signale aus einem Umfeld außerhalb des mindestens einen Fahrzeugs (2, 30) aufgenommen, an die mindestens eine Recheneinheit (8) übermittelt und von der mindestens einen Recheneinheit (8) analysiert werden, wobei überprüft wird, ob die Signale menschliche Signale umfassen, wobei überprüft wird, ob diese menschlichen Signale mindestens eine Information umfassen, die an das mindestens eine Fahrzeug (2, 30) gerichtet ist, wobei die mindestens eine Recheneinheit (8) auf die mindestens eine Information reagiert.

The invention relates to a method for carrying out an interaction between at least one vehicle (2, 30) and at least one person (20) outside the at least one vehicle (2, 30) by means of at least one external sensor of the at least one vehicle (2, 30) and at least a computing unit (8) of the at least one vehicle (2, 30), in which the at least one outdoor sensor receives signals from an environment outside the at least one vehicle (2, 30) to which at least one arithmetic unit (8) is transmitted and from at least one computing unit (8) is analyzed, wherein it is checked whether the signals comprise human signals, wherein it is checked whether these human signals comprise at least one information which is directed to the at least one vehicle (2, 30), wherein the at least a computing unit (8) responsive to the at least one information.

Description

Die Erfindung betrifft ein Verfahren und ein System zum Durchführen einer Interaktion zwischen mindestens einem Fahrzeug und mindestens einer Person.The invention relates to a method and a system for carrying out an interaction between at least one vehicle and at least one person.

Ein Fahrer eines Fahrzeugs kann durch Bedienung von Geräten des Fahrzeugs mit diesem interagieren und somit zum Transport aber auch für andere Funktionen nutzen. Eine Interaktion eines Passanten mit einem Fahrzeug bzw. eine Nutzung eines derartigen Fahrzeugs, zu dem er sonst keinen Bezug hat, ist üblicherweise nicht vorgesehen.A driver of a vehicle can interact with it by operating devices of the vehicle and thus use it for transport but also for other functions. An interaction of a passer-by with a vehicle or a use of such a vehicle, to which he has no other reference, is usually not provided.

Ein Verfahren und eine Vorrichtung zur Sprachsteuerung eines Kraftfahrzeugs sind aus der Druckschrift DE 10 2016 200 815 A1 bekannt.A method and a device for voice control of a motor vehicle are disclosed in the document DE 10 2016 200 815 A1 known.

Die Druckschrift DE 10 2014 110 958 A1 zeigt ein Fahrzeug-Fußgänger-Kommunikationssystem.The publication DE 10 2014 110 958 A1 shows a vehicle-pedestrian communication system.

Ein Head-Up-Display eines Fahrzeugs mit nach außen hin erkennbarer Projektion ist in der Druckschrift DE 20 2015 003 921 U1 beschrieben.A head-up display of a vehicle with externally visible projection is in the document DE 20 2015 003 921 U1 described.

Vor diesem Hintergrund war es eine Aufgabe, zwischen einem Passanten und einem Fahrzeug eine Interaktion zu ermöglichen.Against this background, it was a task to allow an interaction between a passer-by and a vehicle.

Diese Aufgabe wird durch ein Verfahren und ein System mit den Merkmalen der unabhängigen Patentansprüche gelöst. Ausführungsformen des Verfahrens und des Systems gehen aus den abhängigen Patentansprüchen hervor.This object is achieved by a method and a system having the features of the independent patent claims. Embodiments of the method and the system are evident from the dependent claims.

Das Verfahren ist zum Durchführen einer Interaktion, bspw. Kommunikation, üblicherweise zum Austausch von Informationen über Signale, zwischen mindestens einem Fahrzeug, bspw. Kraftfahrzeug, und mindestens einer Person außerhalb des mindestens einen Fahrzeugs unter Nutzung mittels mindestens eines Außensensors des mindestens einen Fahrzeugs und mindestens einer Recheneinheit des mindestens einen Fahrzeugs vorgesehen. Dieser mindestens eine Außensensor ist bspw. an einer Außenwand oder in einem Innenraum des mindestens einen Fahrzeugs angeordnet und dazu ausgebildet, ein Umfeld und/oder eine Umgebung des Fahrzeugs zu erfassen. Hierbei werden mit dem mindestens einen Außensensor akustische und/oder optische bzw. visuelle Signale aus dem Umfeld bzw. der Umgebung außerhalb des mindestens einen Fahrzeugs aufgenommen, an die mindestens eine Recheneinheit übermittelt und von der mindestens einen Recheneinheit analysiert, wobei von der mindestens einen Recheneinheit überprüft wird, ob die Signale aus dem Umfeld menschliche Signale umfassen. Außerdem wird überprüft, ob diese menschlichen Signale mindestens eine als Nachricht und/oder Botschaft ausgebildete und/oder zu bezeichnende Information umfassen, die an das mindestens eine Fahrzeug gerichtet ist und/oder das mindestens eine Fahrzeug betrifft, wobei die mindestens eine Recheneinheit auf die mindestens eine Information reagiert.The method is for carrying out an interaction, for example communication, usually for exchanging information about signals, between at least one vehicle, eg motor vehicle, and at least one person outside the at least one vehicle using at least one outside sensor of the at least one vehicle and at least a computing unit of the at least one vehicle provided. This at least one outdoor sensor is, for example, arranged on an outer wall or in an interior of the at least one vehicle and designed to detect an environment and / or an environment of the vehicle. In this case, the at least one external sensor records acoustic and / or visual or visual signals from the surroundings or surroundings outside the at least one vehicle, to which at least one arithmetic unit transmits and analyzes from the at least one arithmetic unit, wherein the at least one arithmetic unit It is checked whether the signals from the environment include human signals. In addition, it is checked whether these human signals comprise at least one information formed as a message and / or message and / or to be designated, which is directed to the at least one vehicle and / or the at least one vehicle, wherein the at least one arithmetic unit on the at least an information responds.

Mindestens ein Außenmikrofon als möglicher Außensensor ist bspw. an der Außenwand oder im Innenraum des mindestens einen Fahrzeugs angeordnet und dazu ausgebildet, ein Umfeld und/oder eine Umgebung des Fahrzeugs akustisch zu erfassen. Hierbei werden mit dem mindestens einen Außenmikrofon akustische Signale, bspw. Geräusche und/oder Klänge, aus dem Umfeld bzw. der Umgebung außerhalb des mindestens einen Fahrzeugs aufgenommen, an die mindestens eine Recheneinheit übermittelt und von der mindestens einen Recheneinheit analysiert, wobei überprüft wird, ob die akustischen Signale menschliche akustische Signale, bspw. menschliche Geräusche, umfassen, die auf einer menschlichen Stimme der mindestens einen Person basieren und/oder von der mindestens einen Person mündlich erzeugt werden, wobei überprüft wird, ob diese akustischen menschlichen Signale mindestens eine als Nachricht und/oder Botschaft ausgebildete und/oder zu bezeichnende Information umfassen, die an das mindestens eine Fahrzeug gerichtet ist bzw. das mindestens eine Fahrzeug betrifft, wobei die mindestens eine Recheneinheit auf die mindestens eine Information reagiert.At least one external microphone as a possible outside sensor is, for example, arranged on the outside wall or in the interior of the at least one vehicle and designed to acoustically detect an environment and / or an environment of the vehicle. In this case, acoustic signals, for example noises and / or sounds, are picked up from the surroundings or the surroundings outside the at least one vehicle with the at least one external microphone, to which at least one arithmetic unit is transmitted and analyzed by the at least one arithmetic unit, wherein it is checked. whether the acoustic signals comprise human acoustic signals, for example human sounds, which are based on a human voice of the at least one person and / or are generated orally by the at least one person, checking whether these acoustic human signals are at least one message and / or message formed and / or designate information that is directed to the at least one vehicle or that concerns at least one vehicle, wherein the at least one computing unit responds to the at least one information.

Alternativ oder ergänzend werden mit mindestens einem bspw. an einer Außenwand des mindestens einen Fahrzeugs angeordneten Sensor zum Erfassen elektromagnetischer Wellen als dem mindestens einen Außensensor Signale auf Basis elektromagnetischer Wellen aus dem Umfeld außerhalb des mindestens einen Fahrzeugs aufgenommen, an die mindestens eine Recheneinheit übermittelt und von der mindestens einen Recheneinheit analysiert, wobei überprüft wird, ob die Signale auf Basis elektromagnetischer Wellen menschliche Gesten umfassen, wobei überprüft wird, ob diese menschlichen Gesten mindestens eine Information umfassen, die an das mindestens eine Fahrzeug gerichtet ist, wobei die mindestens eine Recheneinheit auf die mindestens eine Information reagiert.Alternatively or additionally, with at least one, for example, arranged on an outer wall of the at least one vehicle sensor for detecting electromagnetic waves as the at least one outdoor sensor signals based on electromagnetic waves from the environment outside the at least one vehicle recorded, transmitted to the at least one computing unit and from the at least one computing unit is analyzed, wherein it is checked whether the signals based on electromagnetic waves include human gestures, wherein it is checked whether these human gestures comprise at least one information that is directed to the at least one vehicle, said at least one computing unit to the at least one information responds.

Dabei ist es möglich, mit der mindestens einen Außenkamera als möglichem Außensensor zum Erfassen elektromagnetischer Wellen ein Umfeld und/oder eine Umgebung des Fahrzeugs optisch zu erfassen. Diese Außenkamera ist bspw. an der Außenwand oder im Innenraum des mindestens einen Fahrzeugs angeordnet. Hierbei werden mit der mindestens einen Außenkamera optische Signale, die bspw. von Objekten außerhalb des mindestens einen Fahrzeugs erzeugt werden, aufgenommen, an die mindestens eine Recheneinheit übermittelt und von der mindestens einen Recheneinheit analysiert, wobei überprüft wird, ob die optischen Signale menschliche optische Signale, bspw. menschliche Gesten, umfassen, die auf einer Bewegung der mindestens einen Person basieren und/oder von der mindestens einen Person erzeugt werden, wobei überprüft wird, ob diese menschlichen Signale mindestens eine als Nachricht und/oder Botschaft ausgebildete und/oder zu bezeichnende Information umfassen, die an das mindestens eine Fahrzeug gerichtet ist bzw. das mindestens eine Fahrzeug betrifft, wobei die mindestens eine Recheneinheit auf die mindestens eine Information reagiert.It is possible to optically detect an environment and / or an environment of the vehicle with the at least one outdoor camera as a possible outdoor sensor for detecting electromagnetic waves. This outdoor camera is, for example, arranged on the outer wall or in the interior of the at least one vehicle. In this case, optical signals which are generated, for example, by objects outside the at least one vehicle are recorded with the at least one outer camera, transmitted to the at least one arithmetic unit and analyzed by the at least one arithmetic unit, checking whether the optical signals comprise human optical signals, for example human gestures, based on a movement of the at least one person and / or generated by the at least one person, checking whether these human signals comprise at least one of Message and / or message formed and / or designate information that is directed to the at least one vehicle or that concerns at least one vehicle, wherein the at least one arithmetic unit is responsive to the at least one information.

Es ist jedoch auch möglich, dass der mindestens eine Außensensor zum Erfassen elektromagnetischer Wellen, bspw. auch als Radarsensor bzw. Radarscanner oder als Lasersensor bzw. Laserscanner (Lidar) ausgebildet ist. Somit ist es mit unterschiedlichen Außensensoren zum Erfassen elektromagnetischer Wellen möglich, unsichtbare Signale auf Basis elektromagnetischer Wellen sowie sichtbare bzw. optische Signale aus der Umgebung bzw. dem Umfeld zu erfassen und somit ein breites Spektrum elektromagnetischer Wellen zu berücksichtigen.However, it is also possible that the at least one outer sensor for detecting electromagnetic waves, for example, as a radar sensor or radar scanner or as a laser sensor or laser scanner (Lidar) is formed. Thus, with different external sensors for detecting electromagnetic waves it is possible to detect invisible signals based on electromagnetic waves as well as visible or optical signals from the environment or the environment and thus to consider a broad spectrum of electromagnetic waves.

Hierbei ist es möglich, dass der mindestens eine Außensensor, d. h. das mindestens eine Außenmikrofon oder die mindestens eine Außenkamera, mit dem das Umfeld des mindestens einen Fahrzeugs aufgenommen und/oder erfasst wird, sowie die mindestens eine Recheneinheit als Komponenten eines Erkennungssystems ausgebildet sind. Dabei ist ein derartiges Erkennungssystem, sofern dies die mindestens eine Außenkamera umfasst, auch als Gestenerkennungssystem ausgebildet und/oder zu bezeichnen. Der mindestens eine Außensensor ist bspw. in einem als Motorraum ausgebildeten Innenraum, in einer als Front bzw. Bug und/oder als Heck ausgebildeten Außenwand und/oder bspw. in einem Bereich eines Regensensors angeordnet, wobei es möglich ist, dass der mindestens eine Außensensor als Regensensor ausgebildet und/oder zu bezeichnen ist.In this case, it is possible for the at least one outside sensor, i. H. the at least one outer microphone or the at least one outer camera, with which the environment of the at least one vehicle is recorded and / or detected, and the at least one arithmetic unit are formed as components of a recognition system. In this case, such a recognition system, if this includes the at least one outdoor camera, also designed and / or designated as a gesture recognition system. The at least one outside sensor is arranged, for example, in an interior designed as an engine compartment, in an outer wall designed as a front or bow and / or rear and / or, for example, in a region of a rain sensor, it being possible for the at least one outside sensor is designed and / or designated as a rain sensor.

Hierbei wird von der mindestens einen Recheneinheit überprüft, ob eine Funktion und falls ja, welche Funktion, die mit mindestens einem Gerät des mindestens einen Fahrzeugs durchführbar ist, mit der an das Fahrzeug gerichteten Botschaft bzw. Nachricht verbunden ist. Dabei wird von der mindestens einen Recheneinheit veranlasst, dass die mindestens eine Funktion durch das mindestens eine Gerät von der mindestens einen Recheneinheit des mindestens einen Fahrzeugs durchgeführt wird, wobei bspw. eine Durchführung dieser mindestens einen Funktion von dem mindestens einen Gerät ausgelöst wird.In this case, the at least one arithmetic unit checks whether a function and, if so, which function that can be carried out with at least one device of the at least one vehicle is connected to the message or message directed to the vehicle. In this case, the at least one arithmetic unit causes the at least one function to be performed by the at least one device of the at least one arithmetic unit of the at least one vehicle, wherein, for example, a performance of this at least one function is triggered by the at least one device.

In der Regel wird von der mindestens einen Recheneinheit überprüft, ob die Botschaft eine Frage oder Aufforderung umfasst, wobei von der mindestens einen Recheneinheit eine Antwort auf die Frage oder Aufforderung, bspw. unter Nutzung einer Datenbank und/oder durch Zugriff auf eine Datenbank eines üblicherweise externen Servers und/oder durch Zugriff auf eine Cloud und/oder durch Abfragen über das Internet, ermittelt und der Person mit mindestens einem akustischen und/oder optischen Ausgabegerät bzw. Anzeigegerät des mindestens einen Fahrzeugs, bspw. audiovisuell, mitgeteilt wird, wobei von dem mindestens einen Ausgabegerät ein akustisches und/oder optisches Signal erzeugt wird, das die Antwort aufweist. Dabei ist es möglich, dass die mindestens eine Datenbank in mindestens einem Speicher des mindestens einen Fahrzeugs gespeichert und/oder darin abgelegt ist. Es ist alternativ oder ergänzend möglich, dass die mindestens eine Datenbank in einem externen Server gespeichert und/oder darin abgelegt ist. Das mindestens eine Fahrzeug weist mindestens eine Kommunikationseinheit, bspw. eine Antenne, auf, über die die mindestens eine Recheneinheit, üblicherweise über das Internet, mit dem externen Server unter Austausch von Signalen über elektromagnetische Wellen kommuniziert und/oder auf den externen Server und somit auf die mindestens eine Datenbank zugreift oder auf allgemein zugängliche Daten aus dem Internet zurückgreift.As a rule, the at least one arithmetic unit checks whether the message comprises a question or request, wherein the at least one arithmetic unit receives an answer to the question or request, for example using a database and / or by accessing a database of one external server and / or by accessing a cloud and / or by querying over the Internet, determined and the person with at least one acoustic and / or optical output device or display device of the at least one vehicle, for example. Audiovisual notified, of which at least one output device is generated an acoustic and / or optical signal having the response. It is possible for the at least one database to be stored in at least one memory of the at least one vehicle and / or stored therein. It is alternatively or additionally possible that the at least one database is stored in an external server and / or stored therein. The at least one vehicle has at least one communication unit, for example an antenna, via which the at least one computing unit, usually via the Internet, communicates with the external server by exchanging signals via electromagnetic waves and / or on the external server and thus on which accesses at least one database or uses publicly available data from the Internet.

Im Rahmen des Verfahrens werden zwischen der mindestens einen Recheneinheit und dem mindestens einen bspw. externen Server und/oder der Cloud Daten und somit Informationen ausgetauscht.In the context of the method, data is exchanged between the at least one arithmetic unit and the at least one, for example, external server and / or the cloud, and thus information.

Das Verfahren wird in Ausgestaltung dann durchgeführt, wenn das mindestens eine Fahrzeug fahrerlos abgestellt ist.The method is implemented in an embodiment when the at least one vehicle is parked without a driver.

Weiterhin ist vorgesehen, dass die mindestens eine Recheneinheit nur dann auf die Botschaft reagiert, falls sie ein akustisches Codewort und/oder eine Kennung, bspw. einen vorgegebenen und/oder definierten Begriff, und/oder eine von dem Gestenerkennungssystem, das die mindestens eine Außenkamera umfasst, registrierte Geste, bspw. ein Winken, ein Handzeichen und/oder eine Mimik bzw. einen Gesichtsausdruck, der Person umfasst. Durch diese Maßnahme wird in der Regel beurteilt, ob die Nachricht bzw. Botschaft und/oder zumindest das akustische menschliche Geräusch der mindestens einen Person überhaupt an das mindestens eine Fahrzeug gerichtet ist.Furthermore, it is provided that the at least one arithmetic unit reacts to the message only if it has an acoustic code word and / or an identifier, for example a predefined and / or defined term, and / or one of the gesture recognition system that contains the at least one external camera includes, registered gesture, for example, a wave, a hand signal and / or a facial expression, which includes person. By this measure is usually judged whether the message or message and / or at least the acoustic human sound of at least one person is ever addressed to the at least one vehicle.

Hierbei ist es außerdem möglich, dass die mindestens eine Person über das Codewort, bspw. ein Passwort, und/oder die üblicherweise registrierte Geste autorisiert sowie zur Durchführung der Interaktion mit dem mindestens einen Fahrzeug legitimiert wird. Sofern bzw. sobald die mindestens eine Person hierfür autorisiert ist, wird die Frage oder Aufforderung durch eine Antwort beantwortet und/oder die mindestens eine Funktion des mindestens einen Geräts durchgeführt, wobei eine Durchführung der mindestens einen Funktion durch das mindestens eine Gerät von der mindestens einen Recheneinheit veranlasst, d. h. getriggert wird. Ein Codewort ist bspw. an und/oder auf dem Fahrzeug, bspw. dessen Außenwand, angezeigt bzw. dargestellt und umfasst bspw. ein Kfz-Kennzeichen oder eine Typbezeichnung eines jeweiligen Fahrzeugs. Optional sind von dem Gestenerkennungssystem zu registrierende bzw. registrierte Gesten, die ebenfalls alternativ oder zusätzlich eine Autorisierung rechtfertigen, ebenfalls auf der Außenwand angezeigt und/oder beschrieben.In this case, it is also possible for the at least one person to be authorized via the code word, for example a password, and / or the conventionally registered gesture and to legitimize the interaction with the at least one vehicle. If and when the at least one person is authorized to do so, the question or request will be answered by an answer and / or or the at least one function of the at least one device is performed, wherein a performance of the at least one function by the at least one device from the at least one computing unit causes, that is triggered. A code word is displayed, for example, on and / or on the vehicle, for example its outer wall, displayed or represented and includes, for example, a license plate number or a type designation of a respective vehicle. Optionally, gestures to be registered or registered by the gesture recognition system, which alternatively or additionally justify authorization, are likewise displayed and / or described on the outer wall.

Es ist ebenfalls denkbar, im Rahmen des Verfahrens eine Außenkamera zu verwenden, die bspw. an einer Außenwand, bspw. der Front bzw. einem Front-End, und/oder im Bereich des Regensensors des mindestens einen Fahrzeugs angeordnet und dazu ausgebildet ist, ein Umfeld und/oder eine Umgebung des Fahrzeugs optisch zu erfassen. Dabei werden Informationen, bspw. optische Signale, die von der mindestens einen Außenkamera von dem Umfeld aufgenommen werden, ebenfalls an die mindestens eine Recheneinheit übermittelt, wobei von der mindestens einen Recheneinheit überprüft wird, ob sich in dem Umfeld bzw. der Umgebung des mindestens einen Fahrzeugs überhaupt mindestens eine Person befindet, was optional in Verbindung mit definierten Gesten möglich ist, die auf menschlichen optischen Signalen beruhen. Durch gemeinsames Analysieren und/oder Überprüfen der akustischen und/oder optischen Signale ist für die mindestens eine Recheneinheit überprüfbar und somit ermittelbar, ob die aus dem Umfeld aufgenommenen akustischen und/oder optischen Signale auch menschliche Signale umfassen.It is also conceivable, in the context of the method, to use an external camera which is arranged, for example, on an outer wall, for example the front or a front end, and / or in the region of the rain sensor of the at least one vehicle, and is designed to do so Environment and / or an environment of the vehicle visually detect. In this case, information, for example, optical signals, which are received by the at least one outdoor camera from the environment, also transmitted to the at least one arithmetic unit, is checked by the at least one arithmetic unit, whether in the environment or the environment of at least one Vehicle is at least one person, which is optionally possible in conjunction with defined gestures based on human optical signals. By jointly analyzing and / or checking the acoustic and / or optical signals, it is possible to check for the at least one arithmetic unit and thus to determine whether the acoustic and / or optical signals recorded from the surroundings also comprise human signals.

Das Verfahren wird in Ausgestaltung mit mindestens einem ersten Fahrzeug durchgeführt, wobei das mindestens eine akustische und/oder optische menschliche Signal, bspw. menschliche Geräusch, aus dem Umfeld des mindestens einen ersten Fahrzeugs von dem mindestens einen Außenmikrofon des mindestens einen ersten Fahrzeugs erfasst wird, wobei die mindestens eine Funktion von mindestens einem Gerät des mindestens einen ersten Fahrzeugs durchgeführt wird.The method is carried out in an embodiment with at least one first vehicle, wherein the at least one acoustic and / or optical human signal, for example human noise, from the environment of the at least one first vehicle is detected by the at least one outer microphone of the at least one first vehicle, wherein the at least one function of at least one device of the at least one first vehicle is performed.

Ergänzend ist es möglich, dass das Verfahren mit mindestens einem zweiten Fahrzeug und somit mit mehreren Fahrzeugen durchgeführt wird, wobei das mindestens eine erste Fahrzeug und das mindestens eine zweite Fahrzeug jeweils mindestens eine Kommunikationseinheit und mindestens eine Recheneinheit aufweisen, wobei deren Recheneinheiten über die Kommunikationsschnittstellen und/oder über den mindestens einen Server, auf welche mithilfe des Internetzugangs zugegriffen werden kann, untereinander Daten und somit die mindestens eine Botschaft austauschen, wobei die mindestens eine Funktion alternativ oder ergänzend von mindestens einem Gerät des mindestens einen zweiten Fahrzeugs durchgeführt wird.In addition, it is possible for the method to be carried out with at least one second vehicle and thus with a plurality of vehicles, wherein the at least one first vehicle and the at least one second vehicle each have at least one communication unit and at least one arithmetic unit, their arithmetic units via the communication interfaces and / or via the at least one server, which can be accessed by means of the Internet access, exchange data with each other and thus the at least one message, the at least one function is performed alternatively or additionally by at least one device of the at least one second vehicle.

Das erfindungsgemäße System ist zum Durchführen einer Interaktion zwischen mindestens einem Fahrzeug und mindestens einer Person außerhalb des mindestens einen Fahrzeugs ausgebildet und weist mindestens einen Außensensor des mindestens einen Fahrzeugs und mindestens eine Recheneinheit des mindestens einen Fahrzeugs auf. Der mindestens eine Außensensor ist dazu ausgebildet, Signale aus einem Umfeld außerhalb des mindestens Fahrzeugs aufzunehmen und an die mindestens eine Recheneinheit zu übermitteln. Die mindestens eine Recheneinheit ist dazu ausgebildet, die Signale zu analysieren und dabei zu überprüfen, ob die Signale menschliche Signale der mindestens einen Person umfassen, wobei die mindestens eine Recheneinheit dazu ausgebildet ist, zu überprüfen, ob diese menschlichen Signale mindestens eine Information, bspw. mindestens eine Nachricht und/oder Botschaft, umfassen, die an das mindestens eine Fahrzeug gerichtet ist, wobei die mindestens eine Recheneinheit dazu ausgebildet ist, auf die mindestens eine Information zu reagieren.The system according to the invention is designed to carry out an interaction between at least one vehicle and at least one person outside the at least one vehicle and has at least one outside sensor of the at least one vehicle and at least one arithmetic unit of the at least one vehicle. The at least one outdoor sensor is configured to receive signals from an environment outside the at least vehicle and to transmit them to the at least one computing unit. The at least one arithmetic unit is configured to analyze the signals and to check whether the signals comprise human signals of at least one person, wherein the at least one arithmetic unit is designed to check whether these human signals at least one piece of information, eg. at least one message and / or message addressed to the at least one vehicle, wherein the at least one arithmetic unit is adapted to respond to the at least one information.

Der mindestens eine Außensensor zum Erfassen von Signalen außerhalb des mindestens einen Fahrzeugs ist als Außenmikrofon und/oder Außenkamera ausgebildet. Dabei ist es möglich, akustische und/oder optische bzw. visuelle Signale zu erfassen. Mit der mindestens einen Recheneinheit ist es möglich, das mindestens eine akustische Signal oder das mindestens eine optische Signal zu analysieren. Hierbei ist es ebenfalls möglich, dass das mindestens eine optische Signal und das mindestens eine akustische Signal, falls sie üblicherweise synchron erzeugt werden, gemeinsam zu analysieren und auszuwerten sind.The at least one external sensor for detecting signals outside the at least one vehicle is designed as an external microphone and / or an external camera. It is possible to detect acoustic and / or visual or visual signals. With the at least one arithmetic unit, it is possible to analyze the at least one acoustic signal or the at least one optical signal. In this case, it is likewise possible for the at least one optical signal and the at least one acoustic signal, if they are usually generated synchronously, to be analyzed and evaluated jointly.

Das System weist das mindestens ein Außenmikrofon und/oder die mindestens eine Außenkamera, bspw. eines Gestenerkennungssytems, des mindestens einen Fahrzeugs auf. Der mindestens eine Außensensor ist dazu ausgebildet, akustische Signale, bspw. Geräusche und/oder Klänge, und/oder optische Signale aus dem Umfeld aufzunehmen. Die mindestens eine Recheneinheit ist dazu ausgebildet, die akustischen und/oder optischen Signale zu analysieren und dabei zu überprüfen, ob diese Signale menschliche akustische und/oder optische Signale der mindestens einen Person umfassen, die auf einer menschlichen Stimme und/oder menschlichen Bewegungen basieren, wobei die mindestens eine Recheneinheit dazu ausgebildet ist, zu überprüfen, ob diese menschlichen akustischen und/oder optischen Signale die mindestens eine Information, bspw. mindestens eine Nachricht und/oder Botschaft, umfassen, die an das mindestens eine Fahrzeug gerichtet ist bzw. das mindestens Fahrzeug betrifft, wobei die mindestens eine Recheneinheit dazu ausgebildet ist, auf die mindestens eine Information zu reagieren.The system has the at least one external microphone and / or the at least one external camera, for example a gesture recognition system, of the at least one vehicle. The at least one outdoor sensor is designed to record acoustic signals, for example noises and / or sounds, and / or optical signals from the surroundings. The at least one computing unit is configured to analyze the acoustic and / or optical signals and to check whether these signals comprise human acoustic and / or optical signals of the at least one person based on a human voice and / or human movements, wherein the at least one arithmetic unit is designed to check whether these human acoustic and / or optical signals contain the at least one information, for example at least one message and / or message, comprise, which is directed to the at least one vehicle or which concerns at least vehicle, wherein the at least one arithmetic unit is adapted to respond to the at least one information.

Mit einer Ausführungsform des Systems ist unter Durchführung einer Ausführungsform des Verfahrens möglich, zwischen dem mindestens einen Fahrzeug und der mindestens einen Person, bspw. einem Passanten, eine situationsbedingte, audiovisuelle Interaktion und/oder Kommunikation durchzuführen. Hierbei wird die Umgebung des mindestens einen Fahrzeugs mit dem mindestens einen Außenmikrofon und der mindestens einen Außenkamera audiovisuell erfasst. Außerdem wird der mindestens einen Person die Antwort auf die Frage bzw. Aufforderung mit einem bspw. als Monitor und/oder als Projektor ausgebildeten optischen Ausgabe- bzw. Anzeigegerät und/oder mindestens einem als Lautsprecher ausgebildeten akustischen Ausgabegerät über Signale angezeigt bzw. bereitgestellt. Das mindestens eine bspw. als Projektor ausgebildete optische Ausgabegerät umfasst, bspw. eine Matrix-LED oder einen Laserlicht-Scheinwerfer, mit der bzw. dem es möglich ist, ein optisches Signal für die mindestens eine Person auf eine ebene Oberfläche außerhalb des Fahrzeugs, bspw. auf die Straße oder einen Parkplatz, zu projizieren. In Ausgestaltung ist es möglich, dass die mindestens eine Recheneinheit des mindestens einen Fahrzeugs optional mit dem mindestens einen, üblicherweise externen Server interagiert. Falls in Ausgestaltung des Verfahrens vorgesehen ist, dass von der mindestens einen Recheneinheit veranlasst wird, dass von dem mindestens einen Gerät die mindestens eine Funktion durchgeführt wird, ist es optional möglich, dass die mindestens eine Recheneinheit mit dem mindestens einen Server Rücksprache hält und somit interagiert. Somit wird von der mindestens einen Recheneinheit und dem mindestens einen Server überprüft, ob die Funktion, die mit dem mindestens einen Gerät des mindestens einen Fahrzeugs durchführbar ist, mit der an das mindestens eine Fahrzeug gerichteten Information verbunden ist.With an embodiment of the system, by carrying out an embodiment of the method, it is possible to carry out situational, audiovisual interaction and / or communication between the at least one vehicle and the at least one person, for example a passerby. Here, the environment of the at least one vehicle with the at least one external microphone and the at least one outdoor camera is recorded audiovisually. In addition, the at least one person is displayed or provided with the answer to the question or request with an optical output or display device embodied, for example, as a monitor and / or as a projector and / or at least one acoustic output device designed as a loudspeaker. The at least one, for example, configured as a projector optical output device comprises, for example, a matrix LED or a laser light headlight with which it is possible, an optical signal for the at least one person on a flat surface outside the vehicle, eg on the street or a parking lot, to project. In an embodiment, it is possible that the at least one arithmetic unit of the at least one vehicle optionally interacts with the at least one, usually external server. If it is provided in an embodiment of the method that the at least one processor causes the at least one device to carry out the at least one function, it is optionally possible for the at least one arithmetic unit to consult the at least one server and thus to interact , Thus, it is checked by the at least one arithmetic unit and the at least one server whether the function which can be carried out with the at least one device of the at least one vehicle is connected to the information directed to the at least one vehicle.

Es wird ebenfalls überprüft, ob die mindestens eine Information die Frage und/oder eine Aufforderung umfasst. Dabei ist es möglich, dass die Antwort auf die Frage oder Aufforderung von dem mindestens einen Server unter Interaktion mit dem Internet überprüft wird. Die Antwort auf die Frage oder Aufforderung wird mit dem mindestens einen Anzeige- bzw. Ausgabegerät mitgeteilt.It is also checked whether the at least one information includes the question and / or a request. It is possible that the answer to the question or request is checked by the at least one server interacting with the Internet. The answer to the question or request is communicated with the at least one display or output device.

In weiterer Ausgestaltung wird von der mindestens einen Recheneinheit unter Berücksichtigung einer optionalen Interaktion mit dem mindestens einen Server nur dann auf die mindestens eine Information reagiert, falls sie das Codewort und/oder eine spezielle definierte bzw. definierbare, üblicherweise registrierte Geste aufweist.In a further embodiment, the at least one arithmetic unit, taking into account an optional interaction with the at least one server, responds to the at least one information only if it has the codeword and / or a specific defined or definable, conventionally registered gesture.

Falls das Verfahren mit mehreren Fahrzeugen durchgeführt wird, ist es möglich, dass deren Recheneinheiten die Daten untereinander direkt oder indirekt austauschen, wobei es möglich ist, dass die Recheneinheiten der Fahrzeuge über den mindestens einen Server und/oder über die Cloud kommunizieren.If the method is performed with multiple vehicles, it is possible that their computing units exchange the data directly or indirectly with each other, it being possible that the computing units of the vehicles communicate via the at least one server and / or via the cloud.

Weiterhin ist es möglich, dass die mindestens eine Recheneinheit ggf. aufgrund einer Kommunikation bzw. Interaktion mit dem mindestens einen Server auf die mindestens eine Information der Person außerhalb des Fahrzeugs reagiert.Furthermore, it is possible for the at least one arithmetic unit to respond to the at least one information of the person outside the vehicle, possibly due to a communication or interaction with the at least one server.

Das System umfasst in Ausgestaltung mindestens eine Kommunikationsschnittstelle, die das mindestens eine Außenmikrofon und die mindestens eine Recheneinheit umfasst, mit der akustische Signale, z. B. Sprache, als menschliche akustische Signale, über das mindestens eine Außenmikrofon detektiert und von der mindestens einen Recheneinheit verarbeitet und/oder analysiert sowie hierbei überprüft werden. Die Person, bspw. der Passant, erhält nach einer Autorisierung Zugriff auf gewisse Funktionsumfänge des mindestens einen Fahrzeugs. Dies ist bspw. in einer Notsituation möglich, in der sich die mindestens eine Person befindet. Somit ist als die mindestens eine Funktion bspw. durch mindestens ein als Telefon des mindestens einen Fahrzeugs ausgebildetes Gerät ein Notruf durchführbar. Es ist auch möglich, mindestens einen Scheinwerfer als Gerät des mindestens einen Fahrzeugs zu aktivieren und das Umfeld auszuleuchten. Mit dem mindestens einen Lautsprecher und/oder Scheinwerfer des mindestens einen Fahrzeugs wird bspw. ein akustischer und/oder optischer Alarm, bspw. ein Diebstahlsound bzw. -geräusch erzeugt. Hierbei ist auch eine Hupe des Fahrzeugs als Lautsprecher ausgebildet und/oder zu bezeichnen. So ist es bspw. möglich, in dem Umfeld Angreifer abzuschrecken und/oder Aufmerksamkeit zu provozieren. Eine Reaktion bzw. ein Feedback der mindestens einen Recheneinheit und/oder des mindestens einen Ausgabe- bzw. Anzeigegeräts ist akustisch und/oder visuell. Weiterhin ist es möglich, dass die mindestens eine Kommunikationsschnittstelle die mindestens eine Außenkamera aufweist.In an embodiment, the system comprises at least one communication interface, which comprises the at least one external microphone and the at least one arithmetic unit, with which acoustic signals, for. As speech, as human acoustic signals, detected by the at least one external microphone and processed by the at least one arithmetic unit and / or analyzed and checked here. The person, for example the passer-by, after authorization obtains access to certain functional scopes of the at least one vehicle. This is possible, for example, in an emergency situation in which the at least one person is located. Thus, as the at least one function, for example, an emergency call can be carried out by at least one device designed as a telephone of the at least one vehicle. It is also possible to activate at least one headlight as a device of the at least one vehicle and to illuminate the environment. The at least one loudspeaker and / or headlight of the at least one vehicle, for example, an audible and / or visual alarm, eg. A theft sound or sound generated. In this case, a horn of the vehicle is designed and / or designated as a loudspeaker. For example, it is possible to deter attackers in the environment and / or to provoke attention. A reaction or a feedback of the at least one computing unit and / or the at least one output or display device is audible and / or visual. Furthermore, it is possible for the at least one communication interface to have the at least one outer camera.

Unabhängig von der Notsituation bzw. einem Notfall kann der Gesellschaft auch ein sozialer Mehrwert bereitgestellt werden, indem aktuelle aber auch zukünftig geplante Interaktionen zwischen einem Fahrzeug und einer Person in einem Innenraum des Fahrzeugs, in der Regel dem Fahrer, auch Passanten und somit Personen außerhalb des Fahrzeugs zur Verfügung gestellt werden. Dies betrifft z. B. Wettervorhersagen (Unwetterwarnungen) oder Sportergebnisse, in der Regel generell Informationen, die von der mindestens einen Recheneinheit bspw. über eine Suchmaschine und/oder einen Zugriff auf das Internet unter Berücksichtigung der Frage bzw. Abfrage oder Aufforderung als Antwort auf die Frage oder Aufforderung ermittelt bzw. beschafft werden. Es ist auch möglich, dass eine Antwort technische Details zu dem Fahrzeug und/oder einem Produkt eines Herstellers des Fahrzeugs umfasst. Eine Frage hierzu lautet bspw.: „Fahrzeug, welche Leistung hast du?“.Regardless of the emergency situation or an emergency, society can also be provided with social added value by means of current but also future planned interactions between a vehicle and a person in an interior of the vehicle, usually the driver, also passers-by and thus persons outside the vehicle Vehicle be provided. This concerns z. B. weather forecasts (severe weather warnings) or Sports scores, generally generally information that is determined or procured by the at least one arithmetic unit, for example via a search engine and / or access to the Internet, taking into account the question or query or request in response to the question or request. It is also possible that a response includes technical details about the vehicle and / or a product of a manufacturer of the vehicle. A question about this is, for example: "vehicle, what performance do you have?".

Beim Überprüfen und/oder Analysieren der akustischen und/oder optischen Signale und somit auch der menschlichen akustischen Signale wird von der mindestens einen Recheneinheit eine Software zum Erkennen und/oder Verarbeiten von menschlicher, natürlich gesprochener Sprache und/oder von Gesten ausgeführt.When verifying and / or analyzing the acoustic and / or optical signals and thus also the human acoustic signals, the at least one computing unit executes software for recognizing and / or processing human, natural spoken speech and / or gestures.

Bei einer Ausführung des Verfahrens ist es u. a. möglich, ein Fahrzeug als Notrufsäule zum Absetzen eines Notrufs an einen Notarzt, bspw. bei einem medizinischen Notfall, die Polizei oder die Feuerwehr als Behörde zu verwenden. Dabei ist es bei einem Notruf, sofern für die Person oder Gesellschaft bspw. Gefahr besteht, möglich, dass zusätzlich zu einer Sprachnachricht der Person, die von dem mindestens einen Außenmikrofon aufgenommen wird, mindestens ein von der mindestens einen Außenkamera aufgenommenes Bild des Umfelds an die jeweilige Behörde übermittelt wird. Es ist auch möglich, ein Fahrzeug bzw. dessen Scheinwerfer als Straßenlaterne für Passanten zu verwenden, die mit dem mindestens einen Außenmikrofon und der mindestens einen Außenkamera als Umfeldsensoren zumindest anhand ihrer Geräusche detektierbar sind. Durch Nutzung des mindestens einen Ausgabegeräts, bspw. der Hupe und/oder des Scheinwerfers, ist es möglich, Straftäter durch akustische und/oder visuelle Signale abzuschrecken.In one embodiment of the method, it is u. a. possible to use a vehicle as an emergency call to place an emergency call to an ambulance, for example, in a medical emergency, the police or the fire department as an authority. It is in an emergency call, if the person or society, for example. Danger, it is possible that in addition to a voice message of the person who is received by the at least one external microphone, at least one of the at least one outdoor camera recorded image of the environment to the respective authority. It is also possible to use a vehicle or its headlights as a street lamp for passers-by, which are detectable with the at least one external microphone and the at least one outdoor camera as surroundings sensors, at least based on their noises. By using the at least one output device, such as the horn and / or the headlamp, it is possible to deter offenders by audible and / or visual signals.

Es ist auch möglich, für die mindestens eine Person eine als Komfort-Funktion ausgebildete Funktion des mindestens einen Geräts bereitzustellen. Dies ist analog zu einer akustischen, sprachgestützten Suche nach Informationen aus dem Internet, z. B. Informationen zum Wetter oder Nachrichten, möglich, wobei eine Frage zum Durchführen einer derartigen sprachgestützten Suche nach Informationen von der mindestens einen Person dem mindestens einen Fahrzeug gestellt wird.It is also possible for the at least one person to provide a function of the at least one device designed as a comfort function. This is analogous to an acoustic, voice-based search for information from the Internet, eg. As information on the weather or news, with a question for performing such a voice-based search for information from the at least one person is the at least one vehicle.

Es ist ebenfalls möglich, der mindestens einen Person als Information Werbung für ein jeweiliges Fahrzeug zu präsentieren. Es ist zudem möglich, dass an das Fahrzeug weitere Fragen zu dem Fahrzeug und/oder dessen Hersteller gestellt und im Rahmen des Verfahrens beantwortet werden. Derartige Fragen lauten bspw. „Gibt es dich auch als Limousine?“. Falls das mindestens eine Fahrzeug bspw. in ein Modell bzw. Projekt wie „Carsharing bei vollautomatisiertem Fahren“ integriert ist, kann analog zu einem Taxiruf für eine Personenbeförderung über ein erstes Fahrzeug ein weiteres zweites Fahrzeug bestellt werden, wobei diese Fahrzeuge von demselben Hersteller bzw. Konzern hergestellt worden sind.It is also possible to present the at least one person as information advertising for a respective vehicle. It is also possible for the vehicle to be asked further questions about the vehicle and / or its manufacturer and to be answered within the framework of the method. Such questions are, for example, "Are you also as a sedan?". If the at least one vehicle, for example, is integrated into a model or project such as "car sharing in fully automated driving", a second second vehicle can be ordered via a first vehicle analogous to a taxi call for a passenger transport. Group have been manufactured.

Die Interaktion, bspw. Kommunikation, zwischen der mindestens einen Person und dem mindestens einen Fahrzeug ermöglicht eine Vernetzung bzw. Herstellung einer Vernetzung zwischen der mindestens einen Person und verschiedenen Fahrzeugen, wobei für die mindestens eine Person ein Zugriff auf Funktionen bzw. einen Funktionsumfang aller in der Nähe befindlichen, vernetzbaren Fahrzeuge hergestellt wird. Dies betrifft z. B. eine Ausleuchtung eines Gehwegs durch Scheinwerfer mehrerer Fahrzeuge, die über bzw. durch die Interaktion, bspw. Kommunikation, der mindestens einen Person, mit lediglich einem Fahrzeug gesteuert wird. Es ist auch möglich, ein Fahrzeug als Navigationshilfe für Passanten zu verwenden, wobei sich in diesem Fall die als Frage ausgebildete Botschaft auf einen Ort bezieht, z. B.: „Fahrzeug, wo ist die Sixtinische Kapelle?“, und eine mögliche Antwort eines Fahrzeugs hierzu lautet: „Meine Front ist in Richtung Südwesten ausgerichtet, laufe 300 m in diese Richtung“. Demnach ist es möglich, dass die Antwort unter Berücksichtigung einer Position und/oder Ausrichtung des Fahrzeugs relativ zu dem Ort und/oder einem Objekt mitgeteilt wird.The interaction, for example communication, between the at least one person and the at least one vehicle enables networking or establishment of networking between the at least one person and different vehicles, with at least one person having access to functions or a functional scope of all nearby, cross-linked vehicles is made. This concerns z. B. an illumination of a walkway through headlights of multiple vehicles, which is controlled via or through the interaction, eg. Communication, the at least one person with only one vehicle. It is also possible to use a vehicle as navigation aid for passersby, in which case the message formed as a question refers to a location, eg. For example: "Vehicle, where is the Sistine Chapel?", And one possible answer from a vehicle is: "My front is oriented to the southwest, walk 300 m in that direction". Accordingly, it is possible for the answer to be communicated in consideration of a position and / or orientation of the vehicle relative to the location and / or an object.

Die akustische und/oder optische Kommunikationsschnittstelle wird über das mindestens eine Außenmikrofon und/oder die mindestens eine Außenkamera des mindestens einen Fahrzeugs bereitgestellt, wobei die Interaktion bspw. durch ein Codewort, z. B. „Hallo Fahrzeug“ aktivierbar ist. Durch Kommunikation des Fahrzeugs mit mindestens einem Server ist es möglich, einem Passanten ausgewählte Funktionsumfänge des Fahrzeugs bzw. benachbarter Fahrzeuge bereitzustellen. Die Reaktion des Fahrzeugs basiert auf einem akustischen und/oder visuellen Feedback. Es ist auch möglich, dass bspw. in einem Notfall als Funktion eine Aufsperrfunktion des Fahrzeugs aktiviert, eine Außentür des Fahrzeugs geöffnet und der mindestens einen Person ein Zugang zu dem Innenraum des Fahrzeugs ermöglicht wird, wobei simultan ein Notruf abgesetzt wird, falls sich ein derartiger Notfall, bspw. aufgrund einer Gefahr durch Straftaten, Vandalismus, sexuelle Übergriffe, Raub, Körperverletzung, Diebstahl, Gewalt bzw. Terrorismus, ergibt. Somit ist es möglich, das Fahrzeug als Rückzugsort bzw. Bunker bei einem chemischen und/oder biologischen Angriff zu nutzen. In diesem Fall ist durch das Fahrzeug an einem als Luftfilter ausgebildeten Gerät auch eine Luftfilterungsfunktion als Funktion durchführbar.The acoustic and / or optical communication interface is provided via the at least one outer microphone and / or the at least one outer camera of the at least one vehicle, wherein the interaction is, for example. By a codeword, z. B. "Hello vehicle" is activated. By communicating the vehicle with at least one server, it is possible to provide a passer-by with selected functional scopes of the vehicle or neighboring vehicles. The vehicle's response is based on acoustic and / or visual feedback. It is also possible that, for example, in an emergency as a function activates a Aufsperrfunktion the vehicle, an outside door of the vehicle is opened and the at least one person access to the interior of the vehicle is possible, wherein simultaneously an emergency call is placed, if such Emergency, for example, due to a risk of crime, vandalism, sexual assault, robbery, assault, theft, violence or terrorism results. Thus, it is possible to use the vehicle as a refuge or bunker in a chemical and / or biological attack. In this case, an air filtering function as a function can be performed by the vehicle on a device designed as an air filter.

Mit dem Verfahren wird einem Passanten ermöglicht, mit einem fremden Fahrzeug als Verkehrsmittel in einer für die Gesellschaft vorteilhaften und/oder sozialen Art und Weise zu interagieren. Dem Passanten wird ein Zugriff auf die Funktionen und vorhandene Hardware als Geräte des Fahrzeugs gestattet, falls es situationsbedingt für einzelne Personen oder Personengruppen bzw. die Gesellschaft von Nutzen sein könnte. The method allows a passerby to interact with a foreign vehicle as a means of transport in a socially beneficial and / or social way. The passers-by are allowed access to the functions and existing hardware as devices of the vehicle, if it could be of use to individual persons or groups of people or the society as a result of the situation.

Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It is understood that the features mentioned above and those yet to be explained below can be used not only in the particular combination indicated, but also in other combinations or in isolation, without departing from the scope of the present invention.

Die Erfindung ist anhand von Ausführungsformen in der Zeichnung schematisch dargestellt und wird unter Bezugnahme auf die Zeichnung schematisch und ausführlich beschrieben.The invention is schematically illustrated by means of embodiments in the drawing and will be described schematically and in detail with reference to the drawing.

1 zeigt in schematischer Darstellung eine Ausführungsform des erfindungsgemäßen Systems bei Durchführung einer Ausführungsform des erfindungsgemäßen Verfahrens. 1 shows a schematic representation of an embodiment of the system according to the invention when carrying out an embodiment of the method according to the invention.

1 zeigt in schematischer Darstellung ein hier als Kraftfahrzeug ausgebildetes Fahrzeug 2, das sich hier in einer Umgebung befindet und in dieser abgestellt ist sowie als Komponenten ein Außenmikrofon 4, eine Außenkamera 6, eine Recheneinheit 8, ein als Lautsprecher ausgebildetes akustisches Ausgabegerät 10, ein als Monitor ausgebildetes optisches Ausgabegerät 12, das nach außen sichtbar ist, und eine als Antenne ausgebildete Kommunikationseinheit 16 aufweist. 1 shows a schematic representation of a trained here as a motor vehicle 2 , which is located here in an environment and is in this parked as well as components of an outdoor microphone 4 , an outdoor camera 6 , a computing unit 8th , designed as a speaker acoustic output device 10 , an optical output device designed as a monitor 12 which is visible to the outside, and a trained as an antenna communication unit 16 having.

1 zeigt außerdem in schematischer Darstellung eine in der Umgebung außerhalb des Fahrzeugs 2 befindliche Person 20. 1 also shows a schematic representation of an environment outside the vehicle 2 person 20 ,

Weiterhin zeigt 1 einen Server 26, der ebenfalls ein als Antenne ausgebildetes Kommunikationsmodul 28 aufweist und/oder bspw. generell über das Internet zugänglich ist, und ein weiteres hier als Fremdfahrzeug ausgebildetes und/oder zu bezeichnendes zweites Fahrzeug 30, üblicherweise ein Kraftfahrzeug.Further shows 1 a server 26 , which is also a trained as an antenna communication module 28 and / or, for example, is generally accessible via the Internet, and another here designed as a foreign vehicle and / or to be designated second vehicle 30 , usually a motor vehicle.

Bei der hier vorgestellten Ausführungsform des erfindungsgemäßen Systems 32 sind das Fahrzeug 2 und dessen Komponenten, d. h. das Außenmikrofon 4, die Außenkamera 6, die Recheneinheit 8 und das Kommunikationsmodul 16 auch zugleich als Komponenten des Systems 32 ausgebildet. Das zweite Fahrzeug 30 und der Server 26 sind ebenfalls als Komponenten des Systems 32 ausgebildet. Dabei sind das Außenmikrofon 4 und die Außenkamera 6 als Außensensoren des Fahrzeugs 2 ausgebildet.In the case of the embodiment of the system according to the invention presented here 32 are the vehicle 2 and its components, ie the external microphone 4 , the outdoor camera 6 , the arithmetic unit 8th and the communication module 16 also at the same time as components of the system 32 educated. The second vehicle 30 and the server 26 are also as components of the system 32 educated. Here are the outside microphone 4 and the outside camera 6 as external sensors of the vehicle 2 educated.

Bei der Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Person 20 außerhalb des Fahrzeugs 2 mit diesem kommunizieren und somit interagieren will. Dabei wird die Umgebung des Fahrzeugs 2 auch unabhängig von der Ausführungsform des Verfahrens von dem Außenmikrofon 4 akustisch und von der Außenkamera 6 auch optisch erfasst und somit überwacht. Dabei werden von dem Außenmikrofon 4 Geräusche der Umgebung erfasst, an die Recheneinheit 8 weitergeleitet und von dieser analysiert und/oder ausgewertet. Bilder, die von der Außenkamera 6 von der Umgebung ebenfalls erfasst werden und optische Signale aufweisen, werden auch an die Recheneinheit 8 übermittelt und von dieser ausgewertet. Dabei werden die akustischen Signale, bspw. Geräusche und/oder Klänge, sowie die Bilder mit optischen Signalen in möglicher Ausgestaltung gemeinsam ausgewertet.In the embodiment of the method according to the invention it is provided that the person 20 outside the vehicle 2 communicate with it and thus want to interact. This will be the environment of the vehicle 2 also independent of the embodiment of the method of the external microphone 4 acoustically and from the outside camera 6 also optically recorded and thus monitored. It will be from the outside microphone 4 Noise of the environment detected, to the computing unit 8th forwarded and analyzed by this and / or evaluated. Pictures taken by the outdoor camera 6 are also detected by the environment and have optical signals are also to the arithmetic unit 8th transmitted and evaluated by this. In this case, the acoustic signals, for example. Noises and / or sounds, and the images are evaluated together with optical signals in a possible embodiment together.

Bei einer Analyse der akustischen Signale wird entweder von der Recheneinheit 8 direkt oder indirekt überprüft, ob diese akustischen Signale auch menschliche akustische Signale aufweisen, die auf einer menschlichen Stimme der Person 20 beruhen. Im Fall einer indirekten Überprüfung kommuniziert die Recheneinheit 8 über die Kommunikationseinheit 16 mit dem Server 26 als Back-End und/oder einer Cloud. Ergänzend wird überprüft, ob diese akustischen Signale mindestens eine Information umfassen, die an das Fahrzeug 2 gerichtet sind. Falls dies der Fall ist, wird von der Recheneinheit 8 überprüft, ob eine Funktion, die mit mindestens einer Komponente und/oder mindestens einem Gerät des Fahrzeugs 2 durchführbar ist, mit der mindestens einen an das Fahrzeug 2 gerichteten Information verbunden ist. Außerdem wird von der Recheneinheit 8 veranlasst, dass die mindestens eine Funktion von dem mindestens einen Gerät durchgeführt wird. Optische Signale werden entsprechend erfasst sowie ausgewertet bzw. analysiert.In an analysis of the acoustic signals is either from the arithmetic unit 8th directly or indirectly verifies that these acoustic signals also have human acoustic signals, which on a human voice of the person 20 based. In the case of an indirect check, the arithmetic unit communicates 8th via the communication unit 16 with the server 26 as a backend and / or a cloud. In addition, it is checked whether these acoustic signals comprise at least one piece of information to the vehicle 2 are directed. If this is the case, is the computing unit 8th Checks if there is a feature with at least one component and / or at least one device of the vehicle 2 is feasible, with the at least one of the vehicle 2 directed information. In addition, from the arithmetic unit 8th causes the at least one function to be performed by the at least one device. Optical signals are recorded, evaluated and analyzed accordingly.

Weiterhin wird von der Recheneinheit 8 direkt oder indirekt, bspw. durch Kommunikation der Recheneinheit 8 über die Kommunikationseinheit 16 mit dem Server 26 als Back-End und/oder der Cloud, überprüft, ob die mindestens eine Information eine Frage und/oder Aufforderung umfasst. Dabei wird von der Recheneinheit 8 eine Antwort auf diese Frage unter Nutzung einer internen Datenbank der Recheneinheit 8 und/oder durch Kommunikation mit einer externen Datenbank, die bspw. in dem Server 26 gespeichert ist, und/oder durch Nutzung von Informationen von Daten aus dem Internet, ermittelt. Die Frage wird der Person 20 unter Bereitstellung eines akustischen Signals, das von dem als Lautsprecher ausgebildeten akustischen Ausgabegerät 10 erzeugt wird und/oder unter Bereitstellung eines optischen Signals, das von dem als Monitor ausgebildeten optischen Anzeige- bzw. Ausgabegerät 12 bereitgestellt wird, der Person 20 angezeigt. Dabei ist dieses Ausgabegerät 12 als Monitor oder Projektor ausgebildet, mit dem das optische Signal auf eine Fläche, bspw. Oberfläche, projiziert wird, die aus Asphalt der Straße gebildet ist.Furthermore, by the arithmetic unit 8th directly or indirectly, for example by communication of the arithmetic unit 8th via the communication unit 16 with the server 26 as the back-end and / or the cloud, checks whether the at least one information includes a question and / or request. It is from the arithmetic unit 8th an answer to this question using an internal database of the processing unit 8th and / or by communication with an external database, for example in the server 26 is stored, and / or by using information from data from the Internet, determined. The question becomes the person 20 providing an acoustic signal from the acoustic output device embodied as a loudspeaker 10 is generated and / or under provision of an optical signal from the designed as a monitor optical display or output device 12 is provided to the person 20 displayed. This is this output device 12 formed as a monitor or projector, with which the optical signal is projected onto a surface, for example. Surface formed of asphalt of the road.

In Ausgestaltung des Verfahrens ist es auch möglich, dass die Recheneinheit 8 des ersten Fahrzeugs 2 mit einer nicht weiter dargestellten Recheneinheit des zweiten Fahrzeugs 30 Informationen direkt oder indirekt über einen Server 26 und/oder über das Internet und/oder über die Cloud austauscht. Dabei ist es alternativ oder ergänzend möglich, dass die Recheneinheit des zweiten Fahrzeugs 30 veranlasst, dass die mindestens eine vorgesehene Funktion, die mit jener Information verbunden ist, die ausgehend von der Person 20 mit den menschlichen akustischen und/oder optischen Signalen an das erste Fahrzeug 2 gerichtet wird, alternativ oder ergänzend von mindestens einem Gerät des zweiten Fahrzeugs 30 durchgeführt wird.In an embodiment of the method, it is also possible that the arithmetic unit 8th of the first vehicle 2 with a computing unit, not shown, of the second vehicle 30 Information directly or indirectly via a server 26 and / or via the Internet and / or via the cloud. It is alternatively or additionally possible that the arithmetic unit of the second vehicle 30 causes the at least one intended function associated with that information to be based on the person 20 with the human acoustic and / or optical signals to the first vehicle 2 is directed, alternatively or additionally of at least one device of the second vehicle 30 is carried out.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102016200815 A1 [0003]
DE 102014110958 A1 [0004]
DE 202015003921 U1 [0005]

Claims

Method for carrying out an interaction between at least one vehicle (2, 30) and at least one person (20) outside the at least one vehicle (2, 30) by means of at least one external sensor of the at least one vehicle (2, 30) and at least one arithmetic unit (8 ) of the at least one vehicle (2, 30), in which the at least one external sensor receives signals from an environment outside the at least one vehicle (2, 30), to which at least one arithmetic unit (8) is transmitted and from the at least one arithmetic unit ( 8), wherein it is checked whether the signals comprise human signals, wherein it is checked whether these human signals comprise at least one information which is directed to the at least one vehicle (2, 30), wherein the at least one arithmetic unit (8 ) responds to the at least one information.

Method according to Claim 1 in which acoustic signals from the environment outside of the at least one vehicle (2, 30) are received by at least one external microphone (4) as the at least one external sensor, transmitted to the at least one arithmetic unit (8) and transmitted by the at least one arithmetic unit (8). in which it is checked whether the acoustic signals comprise human acoustic signals based on a human voice and whether these human acoustic signals comprise at least one information directed to the at least one vehicle (2, 30) , wherein the at least one arithmetic unit (8) responds to the at least one information.

Method according to Claim 1 or 2 in which signals based on electromagnetic waves from the environment outside of the at least one vehicle (2, 30) are recorded with at least one sensor for detecting electromagnetic waves as the at least one outer sensor, transmitted to the at least one arithmetic unit (8) and from the at least one Arithmetic unit (8) are analyzed, it is checked whether the signals based on electromagnetic waves include human gestures, wherein it is checked whether these human gestures comprise at least one information that is directed to the at least one vehicle (2, 30), wherein the at least one arithmetic unit (8) responds to the at least one information.

Method according to one of the preceding claims, in which optical signals from the environment outside of the at least one vehicle (2, 30) are recorded with at least one outer camera (6) as the at least one outer sensor, transmitted to the at least one arithmetic unit (8) and transmitted by the at least one arithmetic unit (8) is analyzed, wherein it is checked whether the optical signals comprise human gestures, wherein it is checked whether these human gestures comprise at least one information directed to the at least one vehicle (2, 30), wherein the at least one arithmetic unit (8) responds to the at least one information.

Method according to one of the preceding claims, in which it is checked by the at least one arithmetic unit (8) whether a function, which can be carried out with at least one device of the at least one vehicle (2, 30), with the at least one to the vehicle (2 , 30), wherein the at least one computing unit (8) causes the at least one function to be performed by the at least one device of the at least one vehicle (2, 30).

Method according to one of the preceding claims, wherein it is checked whether the at least one information comprises a question or request, wherein the at least one computing unit (8) determines a response to the question or request and the person (20) with at least one output device (10, 12) of the at least one vehicle (2, 30) is communicated.

Method according to one of the preceding claims, in which data is exchanged between the at least one arithmetic unit (8) and at least one server (26) and / or a cloud.

Method according to one of the preceding claims, which is carried out with at least one first vehicle (2), wherein the at least one acoustic signal from the environment of the at least one first vehicle (2) detected by the at least one outer sensor of the at least one first vehicle (2) is carried out, wherein the at least one function of at least one device of the at least one first vehicle (2) is performed.

Method according to Claim 8 which is carried out with at least one second vehicle (30), wherein the at least one first vehicle (2) and the at least one second vehicle (30) have communication units (16) via the computing units (8) of the vehicles (2, 30) exchange data with each other, wherein the at least one function of at least one device of the at least one second vehicle (30) is performed.

System for carrying out an interaction between at least one vehicle (2, 30) and at least one person (20) outside the at least one vehicle (2, 30), wherein the system (32) comprises at least one outdoor sensor and at least one computing unit (8) of the at least a vehicle (2, 30), wherein the at least one outer sensor is configured to receive signals from an environment outside the at least one vehicle (2, 30) and to transmit them to the at least one arithmetic unit (8), wherein the at least one arithmetic unit (8 ) is adapted to analyze the signals and to check whether the signals comprise human signals, wherein the at least one arithmetic unit (8) is adapted to check whether these human signals comprise at least one information that is connected to the at least one Vehicle (2, 30) is directed, wherein the at least one computing unit (8) is adapted to respond to the at least one information.