DE102021130155A1

DE102021130155A1 - Method and system for providing information requested in a motor vehicle about an object in the vicinity of the motor vehicle

Info

Publication number: DE102021130155A1
Application number: DE102021130155.6A
Authority: DE
Inventors: Simon Seitle; Andreas Jander; Florian Henkenhaf
Original assignee: Cariad SE
Current assignee: Cariad SE
Priority date: 2021-11-18
Filing date: 2021-11-18
Publication date: 2023-05-25

Abstract

Die Erfindung betrifft ein Verfahren und ein System (17) zum Bereitstellen einer in einem Kraftfahrzeug (1) angefragten Information zu einem Objekt (15) in einer Umgebung des Kraftfahrzeugs (1). Das Verfahren umfasst folgende Schritte: Erfassen (S1) von akustischen Fragedaten (18), die eine Frage eines Benutzers (2) des Kraftfahrzeugs (1) beschreiben, wobei der Benutzer (2) mit der Frage nach zumindest einer Information zum Objekt (15) fragt; Erfassen (S2) von Sensordaten (19), die den Benutzer (2) des Kraftfahrzeugs (1) und/oder das Objekt (15) beschreiben; Ermitteln (S3) von Frageinhaltsdaten (20), die einen Inhalt der erfassten Frage beschreiben; Ermitteln (S4) von Informationsdaten (27), die die angefragte zumindest eine Information zum Objekt (15) beschreiben, durch Durchführen einer Suchanfrage (26) an einen Suchmaschinenindex (12) mittels einer externen Recheneinrichtung (11); Ermitteln (S7) von ausgebbaren Antwortdaten (30), die eine die ermittelte Information umfassende Antwort auf die erfasste Frage beschreiben; Ausgeben (S8) der Antwortdaten (30) im Kraftfahrzeug (1).The invention relates to a method and a system (17) for providing information requested in a motor vehicle (1) about an object (15) in the area surrounding the motor vehicle (1). The method comprises the following steps: detecting (S1) acoustic question data (18) describing a question from a user (2) of the motor vehicle (1), the user (2) asking for at least one piece of information about the object (15) asks; Detection (S2) of sensor data (19) describing the user (2) of the motor vehicle (1) and/or the object (15); acquiring (S3) question content data (20) describing a content of the acquired question; Determining (S4) information data (27) describing the requested at least one item of information about the object (15) by performing a search query (26) on a search engine index (12) using an external computing device (11); Determination (S7) of answer data (30) which can be output and which describe an answer to the recorded question comprising the determined information; Outputting (S8) the response data (30) in the motor vehicle (1).

Description

Die Erfindung betrifft ein Verfahren zum Bereitstellen einer im Kraftfahrzeug angefragten Information zu einem Objekt in einer Umgebung des Kraftfahrzeugs. Zudem betrifft die Erfindung ein System zum Durchführen eines derartigen Verfahrens.The invention relates to a method for providing information requested in the motor vehicle about an object in the vicinity of the motor vehicle. In addition, the invention relates to a system for carrying out such a method.

Ein Kraftfahrzeug weist oftmals verschiedene Sensoreinrichtungen auf, beispielsweise eine Positionserfassungseinrichtung, eine Frontkamera, eine Heckkamera, Seitenkameras, ein Radargerät, einen Infrarotsensor und/oder ein Ultraschallsensor. Die verschiedenen Sensoreinrichtungen erfassen Sensordaten, die eine Umgebung des Kraftfahrzeugs beschreiben, sodass beispielsweise ein dem Kraftfahrzeug entgegenkommendes anderes Fahrzeug und/oder ein Hindernis für das Kraftfahrzeug erkannt werden kann. In einem Innenraum des Kraftfahrzeugs ist oftmals ebenfalls zumindest eine Sensoreinrichtung angeordnet, die den Innenraum des Kraftfahrzeugs beschreibende Sensordaten bereitstellt, wie zum Beispiel eine Fahrerbeobachtungskamera. Ferner kann das Kraftfahrzeug einen Sprachassistenten aufweisen, mittels dessen ein Benutzer des Kraftfahrzeugs beispielsweise ein Navigationssystem und/oder eine Klimaanlage des Kraftfahrzeugs ansteuern kann.A motor vehicle often has various sensor devices, for example a position detection device, a front camera, a rear camera, side cameras, a radar device, an infrared sensor and/or an ultrasonic sensor. The various sensor devices capture sensor data that describe the surroundings of the motor vehicle, so that, for example, another vehicle approaching the motor vehicle and/or an obstacle for the motor vehicle can be detected. At least one sensor device is often also arranged in an interior of the motor vehicle, which provides sensor data describing the interior of the motor vehicle, such as a driver observation camera. Furthermore, the motor vehicle can have a language assistant, which a user of the motor vehicle can use to control a navigation system and/or an air conditioning system of the motor vehicle, for example.

Die DE 10 2018 222 378 A1 zeigt eine Vorrichtung und ein Verfahren zur Steuerung der Ausgabe von Fahrerinformationen an einen Fahrer eines Fahrzeuges, wobei als Fahrerinformationen in einer Datenbank hinterlegte Informationen zu Sehenswürdigkeiten beziehungsweise Objekten von allgemeinem Interesse vorgesehen sind. Als Auslöser der Ausgabe werden beispielsweise ein längerer Fahrerblick und/oder eine Gestik des Fahrers auf die Sehenswürdigkeit beziehungsweise das Objekt von allgemeinem Interesse erfasst.The DE 10 2018 222 378 A1 shows a device and a method for controlling the output of driver information to a driver of a vehicle, information on sights or objects of general interest stored in a database being provided as driver information. As a trigger for the output, for example, a longer driver's gaze and/or a gesture by the driver at the sight or the object of general interest are detected.

Es ist die Aufgabe der Erfindung, eine Lösung bereitzustellen, mittels derer eine umfangreiche Frage- und Antwortfunktion für ein Kraftfahrzeug bereitgestellt wird.It is the object of the invention to provide a solution by means of which an extensive question and answer function is provided for a motor vehicle.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen der Erfindung sind in den abhängigen Ansprüchen, der folgenden Beschreibung und den Figuren angegeben.The object is solved by the subject matter of the independent patent claims. Possible configurations of the invention are specified in the dependent claims, the following description and the figures.

Der Erfindung liegt die Erkenntnis zugrunde, dass die von Sensoreinrichtungen des Kraftfahrzeugs bereitgestellten Sensordaten, die eine Umgebung des Kraftfahrzeugs beschreiben, oftmals nicht mit bereitgestellten Sensordaten, die einen Innenraum des Kraftfahrzeugs beschreiben, in Bezug gesetzt werden. Die Sensoreinrichtungen im Innenraum und im Außenbereich des Kraftfahrzeugs sind somit typischerweise voneinander entkoppelt. Außerdem werden die bereitgestellten Sensordaten oftmals nicht mit einem Sprachassistenten des Kraftfahrzeugs in Bezug gesetzt. Denn der Sprachassistent ist oftmals nur für eine Steuerung eines Navigationssystems, einer Multimediaeinrichtung und/oder einer Klimaanlage des Kraftfahrzeugs ausgebildet und eignet sich somit lediglich zur Unterstützung einer Navigation und/oder Fahrzeugsystemsteuerung.The invention is based on the knowledge that the sensor data provided by sensor devices of the motor vehicle, which describe the surroundings of the motor vehicle, are often not related to sensor data provided, which describe an interior of the motor vehicle. The sensor devices in the interior and in the exterior of the motor vehicle are thus typically decoupled from one another. In addition, the sensor data provided are often not related to a voice assistant in the motor vehicle. This is because the voice assistant is often only designed to control a navigation system, a multimedia device and/or an air conditioning system in the motor vehicle and is therefore only suitable for supporting navigation and/or vehicle system control.

Ferner ist es, insbesondere in einem zumindest teilautonom oder sogar vollautonom fahrenden Kraftfahrzeug, für einen Benutzer des Kraftfahrzeugs von Interesse, zusätzliche Informationen zu einem in der Umgebung des Kraftfahrzeugs angeordneten Objekts zu erhalten. Hierbei ist es vor allem von Interesse, Objekte in der Umgebung des Kraftfahrzeugs besser kennenzulernen, die beispielsweise vom Kraftfahrzeug selbst weder erkannt noch klassifiziert werden können. Es ist daher sinnvoll, beispielsweise mittels einer ausgelagerten externen Recheneinrichtung, Informationen zu einem derartigen Objekt für den Benutzer des Kraftfahrzeugs zu gewinnen und diesem bereitzustellen. Letztendlich sollte also der Benutzer des Kraftfahrzeugs die Möglichkeit erhalten, beispielsweise eine akustische Frage zu einem Objekt in der Umgebung des Kraftfahrzeugs im Kraftfahrzeug zu stellen und daraufhin eine entsprechende Antwort im Kraftfahrzeug zu erhalten. Letztendlich sollte also eine umfangreiche und komfortable Frage- und Antwortfunktion für das Kraftfahrzeug bereitgestellt werden, für die die Sensoreinrichtungen sowie der Sprachassistent miteinander in Bezug gesetzt werden.Furthermore, it is of interest for a user of the motor vehicle, particularly in a motor vehicle that is driving at least partially autonomously or even fully autonomously, to obtain additional information about an object located in the vicinity of the motor vehicle. In this context, it is primarily of interest to become better acquainted with objects in the area surrounding the motor vehicle which, for example, can neither be recognized nor classified by the motor vehicle itself. It is therefore useful, for example by means of an external computing device, to obtain information about such an object for the user of the motor vehicle and make it available to him. Ultimately, the user of the motor vehicle should therefore be able to ask an acoustic question about an object in the vicinity of the motor vehicle in the motor vehicle and then receive a corresponding answer in the motor vehicle. Ultimately, a comprehensive and convenient question and answer function should therefore be provided for the motor vehicle, for which the sensor devices and the language assistant are related to one another.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Bereitstellen einer in einem Kraftfahrzeug angefragten Information zu einem Objekt in einer Umgebung des Kraftfahrzeugs. Das Verfahren ist mit anderen Worten ein Informationsanfrageverfahren für ein Kraftfahrzeug. Das Objekt ist beispielsweise ein Gegenstand an einem Straßenrand einer Straße, auf der das Kraftfahrzeug aktuell fährt. Das Objekt kann beispielsweise ein Plakat, insbesondere ein Wahlplakat, sein.A first aspect of the invention relates to a method for providing information requested in a motor vehicle about an object in the vicinity of the motor vehicle. In other words, the method is an information request method for a motor vehicle. The object is, for example, an object on a roadside of a road on which the motor vehicle is currently driving. The object can, for example, be a poster, in particular an election poster.

In einem beispielsweise ersten Verfahrensschritt erfolgt ein Erfassen von akustischen Fragedaten mittels einer Erfassungseinrichtung. Die Erfassungseinrichtung ist bevorzugt eine Mikrofoneinrichtung, das heißt zum Beispiel ein Mikrofon. Die Erfassungseinrichtung ist bevorzugt eine Einrichtung des Kraftfahrzeugs. Die Fragedaten beschreiben eine Frage eines Benutzers des Kraftfahrzeugs. Der Benutzer ist bevorzugt ein Fahrer oder ein anderer Insasse des Kraftfahrzeugs. Es ist vorgesehen, dass der Benutzer mit der Frage nach zumindest einer Information zu einem Objekt in einer Umgebung des Kraftfahrzeugs fragt. Die Umgebung des Kraftfahrzeugs ist beispielsweise ein Sichtbereich des Benutzers, wenn dieser aus einer Windschutzscheibe, einem Seitenfenster oder einem Heckfenster des Kraftfahrzeugs in die Umgebung des Kraftfahrzeugs blickt. Alternativ oder zusätzlich dazu kann die Umgebung von einem Erfassungsbereich einer Sensoreinrichtung des Kraftfahrzeugs zur Umgebungserfassung begrenzt sein, sodass die Umgebung dem Erfassungsbereich der Sensoreinrichtung entspricht. Die Sensoreinrichtung zur Umgebungserfassung ist zum Beispiel eine Außenkamera des Kraftfahrzeugs, zum Beispiel eine Frontkamera und/oder eine Seitenkamera.In a first method step, for example, acoustic question data is recorded by means of a recording device. The detection device is preferably a microphone device, ie for example a microphone. The detection device is preferably a device of the motor vehicle. The question data describes a question from a user of the motor vehicle. The user is preferably a driver or another occupant of the motor vehicle. It is envisaged that the user with the question for at least one piece of information about an object in a Environment of the motor vehicle asks. The surroundings of the motor vehicle are, for example, a field of vision for the user when he looks out of a windshield, a side window or a rear window of the motor vehicle at the surroundings of the motor vehicle. As an alternative or in addition to this, the environment can be delimited by a detection range of a sensor device of the motor vehicle for detecting the environment, so that the environment corresponds to the detection range of the sensor device. The sensor device for detecting the surroundings is, for example, an exterior camera of the motor vehicle, for example a front camera and/or a side camera.

Die Frage nach der Information zum Objekt in der Umgebung des Kraftfahrzeugs kann beispielsweise lauten: „Wie alt ist der Politiker auf dem Wahlplakat da vorne?“. Es handelt sich also um eine Nachfrage zu einem Detail betreffend das Objekt in der Umgebung des Kraftfahrzeugs. Insbesondere muss die Antwort auf die Frage nicht mittels der Sensoreinrichtung des Kraftfahrzeugs unmittelbar erfassbar sein. Ferner muss die Antwort bevorzugt nicht vom Kraftfahrzeug selbst, das heißt einer Recheneinrichtung des Kraftfahrzeugs, bestimmbar sein. Es kann sich um eine Frage handeln, die über eine vom Objekt selbst dargestellte Information hinausgeht. Auf einem Wahlplakat befindet sich beispielsweise typischerweise eine Portraitabbildung eines Politikers sowie gegebenenfalls schriftlich angegebene Details zu einer Partei und/oder einem Namen des Politikers. Eine Angabe des Alters des Politikers ist demgegenüber untypisch für eine Information auf einem Wahlplakat. Die exemplarisch genannte Frage nach dem Alter des Politikers auf dem Wahlplakat, das in der Umgebung des Kraftfahrzeugs angeordnet ist, geht somit deutlich über die vom Objekt selbst dargestellten Informationen, das heißt den auf dem Wahlplakat dargestellten Inhalt, hinaus. Die erfassten akustischen Fragedaten beschreiben also bevorzugt keine Frage nach einer örtlichen Begebenheit und/oder einem Sonderziel, wie zum Beispiel einer Sehenswürdigkeit und/oder einem Objekt von öffentlichem Interesse. Die Fragedaten beschreiben bevorzugt eine Frage nach zumindest einer detaillierten Information zum Objekt in der Umgebung.The question about the information about the object in the vicinity of the motor vehicle can be, for example: "How old is the politician on the election poster over there?". It is therefore a question about a detail relating to the object in the vicinity of the motor vehicle. In particular, the answer to the question does not have to be directly detectable by means of the motor vehicle's sensor device. Furthermore, the response preferably does not have to be determinable by the motor vehicle itself, that is to say by a computing device in the motor vehicle. It can be a question that goes beyond information presented by the object itself. On an election poster, for example, there is typically a portrait of a politician and possibly written details about a party and/or a name of the politician. In contrast, an indication of the age of the politician is atypical for information on an election poster. The question given as an example about the age of the politician on the election poster, which is arranged in the vicinity of the motor vehicle, thus goes well beyond the information presented by the object itself, i.e. the content presented on the election poster. The recorded acoustic question data therefore preferably does not describe a question about a local event and/or a point of interest, such as a sight and/or an object of public interest. The query data preferably describes a query for at least one piece of detailed information about the object in the area.

In einem weiteren Verfahrensschritt erfolgt ein Erfassen von Sensordaten. Dies erfolgt mittels einer Sensoreinrichtung des Kraftfahrzeugs. Die Sensoreinrichtung ist beispielsweise die Frontkamera, die Seitenkamera, eine Heckkamera, ein Radargerät, ein Lidar-Gerät (Lidar für light detection and ranging), ein Infrarotsensor, eine Innenraumkamera, eine Positionserfassungseinrichtung und/oder ein Ultraschallsensor. Die Sensordaten beschreiben den Benutzer des Kraftfahrzeugs. Alternativ oder zusätzlich dazu beschreiben sie das Objekt in der Umgebung des Kraftfahrzeugs. Beispielsweise können als den Benutzer beschreibende Sensordaten mittels der Innenraumkamera eine Blickrichtung des Fahrers des Kraftfahrzeugs beschreibende Daten erfasst und als Sensordaten bereitgestellt werden. Mittels der Frontkamera kann beispielsweise das Objekt in der Umgebung des Kraftfahrzeugs erfasst werden, sodass beispielsweise statische und/oder bewegte Bilddaten des Objekts in Form von Kameradaten erfasst und bereitgestellt werden können.In a further method step, sensor data is recorded. This is done using a sensor device in the motor vehicle. The sensor device is, for example, the front camera, the side camera, a rear camera, a radar device, a lidar device (lidar for light detection and ranging), an infrared sensor, an interior camera, a position detection device and/or an ultrasonic sensor. The sensor data describe the user of the motor vehicle. Alternatively or additionally, they describe the object in the area surrounding the motor vehicle. For example, as sensor data describing the user, data describing a viewing direction of the driver of the motor vehicle can be recorded by means of the interior camera and made available as sensor data. For example, the object in the vicinity of the motor vehicle can be captured by means of the front camera, so that, for example, static and/or moving image data of the object can be captured and provided in the form of camera data.

In einem weiteren Verfahrensschritt erfolgt ein Ermitteln von Frageinhaltsdaten. Die Frageinhaltsdaten beschreiben einen Inhalt der erfassten Frage. Die Frageinhaltsdaten werden durch Anwenden eines Inhaltsermittlungskriteriums auf die erfassten Fragedaten und Sensordaten ermittelt. Das Inhaltsermittlungskriterium umfasst bevorzugt eine Vorschrift und/oder ein Algorithmus, anhand derer beziehungsweise dessen die Frage hinsichtlich ihres Inhalts verstanden werden kann. Anhand der erfassten Blickrichtung als Sensordaten kann zum Beispiel festgestellt werden, welches Objekt in der Umgebung des Kraftfahrzeugs von der erfassten Frage betroffen sein kann oder nicht. Denn beispielsweise ein Objekt in der Umgebung, das bisher nicht in der Blickrichtung des Benutzers lag, scheidet als mögliches Objekt aus, auf das sich die Frage bezieht. Blickt der Benutzer demgegenüber für beispielsweise mehrere Sekunden auf das Objekt in der Umgebung, bei dem es sich zum Beispiel um das Wahlplakat handelt, ist davon auszugehen, dass der Benutzer dieses Objekt tatsächlich erblickt hat, sodass anhand der Sensordaten das Objekt auf das sich die Frage bezieht festgestellt werden kann. Bevorzugt in Kombination mit der Blickrichtung des Benutzers, das heißt den Sensordaten, die den Benutzer des Kraftfahrzeugs beschreiben und den Sensordaten, die das Objekt in der Umgebung des Kraftfahrzeugs beschreiben, liegen somit detaillierte Informationen zu dem Objekt in der Umgebung vor. Diese werden nun durch das Inhaltsermittlungskriterium in Bezug mit der Frage gesetzt, indem die Frageinhaltsdaten berücksichtig werden.In a further method step, question content data is determined. The question content data describes a content of the acquired question. The question content data is determined by applying a content determination criterion to the collected question data and sensor data. The content determination criterion preferably includes a rule and/or an algorithm which can be used to understand the content of the question. Using the recorded viewing direction as sensor data, it can be determined, for example, which object in the area surrounding the motor vehicle may or may not be affected by the recorded question. Because, for example, an object in the environment that was not in the user's line of sight before is ruled out as a possible object to which the question relates. If, on the other hand, the user looks for several seconds at the object in the area, which is the election poster, for example, it can be assumed that the user actually saw this object, so that the object to which the question refers based on the sensor data relates can be determined. Detailed information about the object in the environment is thus available, preferably in combination with the user's line of sight, ie the sensor data that describe the user of the motor vehicle and the sensor data that describe the object in the area surrounding the motor vehicle. These are now related to the question by the content determination criterion by taking the question content data into account.

Es wird mithilfe der Ermittlung der Frageinhaltsdaten festgestellt, welche Nutzerabsicht der Benutzer hat, und das dazugehörige Objekt klassifiziert und somit zugeordnet. Das Inhaltsermittlungskriterium kann hierfür auf Methoden von Spracherkennung sowie Objekterkennung basieren, insbesondere auf der Objekterkennung in Bilddaten. Die Spracherkennung wird beispielsweise von einem Sprachassistenten des Kraftfahrzeugs durchgeführt. Bevorzugt erfolgt zunächst eine sprachliche Erfassung des Inhalts der Frage, das heißt eine Durchführung der Spracherkennung. Anschließend erfolgt bevorzugt eine Zuordnung des sprachlichen Inhalts zum tatsächlichen Objekt in der Umgebung, sodass festgestellt wird, zu welchem Objekt die Frage zumindest eine Information anfragt. Im Fall des Beispiels des Wahlplakats und der Frage nach dem Alter des Politikers auf dem Wahlplakat umfassen die Frageinhaltsdaten bevorzugt ein Abbild des Politikers, das den Kameradaten entnommen ist, sowie die Frage nach dem Alter der Person auf dem Abbild.By determining the question content data, it is determined which user intention the user has, and the associated object is classified and thus assigned. For this purpose, the content determination criterion can be based on methods of speech recognition and object recognition, in particular on object recognition in image data. The voice recognition is carried out, for example, by a voice assistant in the motor vehicle. Preferably, the content of the question is recorded verbally first, that is to say the voice recognition is carried out. The linguistic content is then preferably assigned to the actual object in the environment, so that it is determined to which object the question is related requests at least one piece of information. In the case of the example of the election poster and the question about the age of the politician on the election poster, the question content data preferably includes an image of the politician taken from the camera data and the question about the age of the person in the image.

Ein weiterer Verfahrensschritt umfasst ein Ermitteln von Informationsdaten, die die angefragte zumindest eine Information zum Objekt beschreiben. Die Informationsdaten werden durch Durchführen einer Suchanfrage an einen Suchmaschinenindex ermittelt. Die Suchanfrage fragt nach den ermittelten Frageinhaltsdaten. Die Suchanfrage wird mittels einer externen Recheneinrichtung und somit nicht mithilfe des Kraftfahrzeugs selbst durchgeführt. Mit anderen Worten werden die Informationsdaten ermittelt, indem eine Suchanfrage nach den ermittelten Frageinhaltsdaten an einen Suchmaschinenindex gestellt wird. Die Suchanfrage wird mittels einer externen Recheneinrichtung durchgeführt. Der Suchmaschinenindex ist beispielsweise eine Datenbank, auf der eine Internetrecherche, insbesondere eine bildbasierte und/oder suchwortbasierte Internetrecherche, basiert. Der Suchmaschinenindex kann beispielsweise einer kommerziellen, einer frei zugänglichen und/oder einer unkommerziellen Internetsuchmaschine zugeordnet sein. Beim Durchführen des Ermittelns der Informationsdaten kann die externe Recheneinrichtung ferner auf zumindest eine externe Datenquelle zugreifen, das heißt beispielsweise eine Internetrecherche durchführen. Die externe Recheneinrichtung ist bevorzugt ein Backend, das heißt beispielsweise ein Computer, ein Server und/oder ein Cloudsystem.A further method step includes determining information data that describe the requested at least one piece of information about the object. The information data is determined by performing a search query on a search engine index. The search query asks for the determined question content data. The search query is carried out using an external computing device and therefore not using the motor vehicle itself. In other words, the information data is ascertained by making a search query for the ascertained question content data in a search engine index. The search query is carried out using an external computing device. The search engine index is, for example, a database on which internet research, in particular image-based and/or keyword-based internet research, is based. The search engine index can be assigned to a commercial, a freely accessible and/or a non-commercial Internet search engine, for example. When carrying out the determination of the information data, the external computing device can also access at least one external data source, that is to say, for example, carry out an Internet search. The external computing device is preferably a backend, that is, for example, a computer, a server and/or a cloud system.

Im Rahmen des Beispiels des Wahlplakats und der Frage nach dem Alter des Politikers auf dem Wahlplakat wird bevorzugt zunächst ein Name des Politikers auf Basis des Abbilds des Politikers, also den Frageinhaltsdaten, mittels einer entsprechenden bildbasierten Suchanfrage gesucht. Sobald der Name des Politikers ermittelt wurde, kann zum Beispiel eine suchwortbasierte Suchanfrage nach dem Alter des anhand seines Namens identifizierten Politikers durchgeführt werden. Beim Durchführen der Suchanfrage wird also bevorzugt zunächst auf Basis der Sensordaten des Objekts, hier beispielsweise des erfassten Abbilds des Politikers, eine Bildrecherche durchgeführt, um das Objekt identifizieren, klassifizieren und/oder benennen zu können. Daraufhin kann beispielsweise eine weitere, bevorzugt im Vergleich zur Bildrecherche konkretisierte Recherche auf Basis der Fragedaten sowie der Frageinhaltsdaten erfolgen. Hierbei wird im genannten Beispiel das Alter des identifizierten Politikers recherchiert. Die Informationsdaten weisen dann letztendlich die Altersangabe des Politikers auf.In the context of the example of the election poster and the question about the age of the politician on the election poster, a name of the politician is preferably first searched for based on the image of the politician, ie the question content data, using a corresponding image-based search query. For example, once the politician's name has been determined, a keyword-based search query can be performed for the age of the politician identified by his or her name. When carrying out the search query, an image search is therefore preferably first carried out on the basis of the sensor data of the object, here for example the captured image of the politician, in order to be able to identify, classify and/or name the object. Thereupon, for example, a further search, preferably more concrete in comparison to the image search, can be carried out on the basis of the question data and the question content data. In the example mentioned, the age of the identified politician is researched. The information data then ultimately show the age of the politician.

Ferner sieht es ein Verfahrensschritt vor, dass ausgebbare Antwortdaten ermittelt werden. Die Antwortdaten beschreiben eine die ermittelte Information umfassende Antwort auf die erfasste Frage. Die Antwortdaten werden durch Anwenden eines Antwortermittlungskriteriums auf die ermittelten Informationsdaten ermittelt. Das Antwortermittlungskriterium ist eine Vorschrift und/oder ein Algorithmus, anhand derer beziehungsweise dessen beispielsweise zumindest ein Satz formuliert wird, der die Informationsdaten als für den Benutzer verständliche Antwort verarbeiten. Im genannten Beispiel können die Antwortdaten beispielsweise den Satz beschreiben: „Dieser Politiker ist 43 Jahre alt“. Die Antwortdaten sind somit in einer ausgebbaren Form.Furthermore, a method step provides for the answer data that can be output to be determined. The response data describe an answer to the recorded question that includes the ascertained information. The response data is determined by applying a response determination criterion to the determined information data. The answer determination criterion is a rule and/or an algorithm, which is used, for example, to formulate at least one sentence that processes the information data as an answer that the user can understand. In the given example, the response data can describe the sentence: "This politician is 43 years old". The response data is thus in a form that can be output.

Es kann vorgesehen sein, dass die ermittelten Antwortdaten an das Kraftfahrzeug übermittelt werden, sofern diese mittels der externen Recheneinrichtung ermittelt wurden. Im Kraftfahrzeug selbst erfolgt ein Ausgeben der Antwortdaten mittels einer Ausgabeeinrichtung. Die Ausgabeeinrichtung ist bevorzugt ein Lautsprecher des Kraftfahrzeugs, das heißt eine Lautsprechereinrichtung zum akustischen Bereitstellen der Antwort. Alternativ oder zusätzlich dazu kann die Ausgabeeinrichtung eine optische Anzeigeeinrichtung zum optischen Bereitstellen der Antwort im Kraftfahrzeug sein, das heißt beispielsweise eine Anzeige mit einer berührungssensitiven Anzeigefläche und/oder ein Bildschirm. Bevorzugt wird die Antwort als von den Antwortdaten beschriebener Antwortsatz akustisch ausgegeben, bevorzugt zudem optisch.Provision can be made for the determined response data to be transmitted to the motor vehicle if they were determined using the external computing device. In the motor vehicle itself, the response data is output by means of an output device. The output device is preferably a loudspeaker of the motor vehicle, ie a loudspeaker device for providing the response acoustically. As an alternative or in addition to this, the output device can be an optical display device for optically providing the response in the motor vehicle, that is to say, for example, a display with a touch-sensitive display surface and/or a screen. The answer is preferably output acoustically as the answer sentence described by the answer data, preferably also optically.

Die Erfassungseinrichtung und/oder die Ausgabeeinrichtung kann alternativ oder zusätzlich dazu von einem mobilen Endgerät umfasst sein, das im Kraftfahrzeug positioniert ist. Das mobile Endgerät ist zum Beispiel ein Mobiltelefon, wie ein Smartphone, oder ein Tablet.Alternatively or additionally, the detection device and/or the output device can be included in a mobile terminal device that is positioned in the motor vehicle. The mobile end device is, for example, a cell phone, such as a smartphone, or a tablet.

Eine Übermittlung von Daten zwischen dem Kraftfahrzeug und der externen Recheneinrichtung erfolgt bevorzugt über eine Kommunikationsverbindung zwischen entsprechenden Kommunikationsschnittstellen im Kraftfahrzeug und in der externen Recheneinrichtung. Die Kommunikationsverbindung kann als drahtlose Verbindung ausgebildet sein, beispielsweise über ein drahtloses lokales Netzwerk (WLAN für Wireless Local Area Network), eine Bluetooth-Verbindung und/oder ein mobiles Datennetzwerk, beispielsweise basierend auf dem Mobilfunkstandard Long Term Evolution (LTE), Long Term Evolution Advanced (LTE-A), Fifth Generation (5G) oder Sixth Generation (6G).Data is preferably transmitted between the motor vehicle and the external computing device via a communication connection between corresponding communication interfaces in the motor vehicle and in the external computing device. The communication connection can be designed as a wireless connection, for example via a wireless local area network (WLAN for Wireless Local Area Network), a Bluetooth connection and/or a mobile data network, for example based on the Long Term Evolution (LTE) mobile radio standard, Long Term Evolution Advanced (LTE-A), Fifth Generation (5G) or Sixth Generation (6G).

Durch das beschriebene Verfahren wird ein besonders vorteilhaftes Zusammenspiel zwischen den einzelnen Sensoreinrichtungen sowie dem Sprachassistenten des Kraftfahrzeugs erreicht, um eine von einem Benutzer des Kraftfahrzeugs gestellte Frage unter Hinzuziehen des Wissens eines Suchmaschinenindexes und somit beispielsweise von Webseiten im Internet eine Antwort auf die gestellte Frage bereitstellen zu können. Letztendlich wird also ein einfacher Mechanismus zum Erhalten gewünschter Informationen zu einem Objekt in der Fahrzeugumgebung bereitgestellt. Dies basiert auf Sensordaten des Kraftfahrzeugs, vor allem Kameradaten. Dadurch, dass die eigentliche Ermittlung der Antwort auf die Frage mittels der Suchanfrage in die externe Recheneinrichtung ausgelagert wird, werden Ressourcen, das heißt zum Beispiel Rechenressourcen, innerhalb des Kraftfahrzeugs eingespart und zeitgleich ein vielseitiger Kunden- und Insassennutzen geschaffen. Insgesamt wird also eine besonders komfortable Frage- und Antwortfunktion für ein Kraftfahrzeug bereitgestellt. Insgesamt wird eine dynamische und komfortable Informationsgewinnung zum Objekt in der Umgebung des Kraftfahrzeugs bereitgestellt.The method described is a particularly advantageous interaction between the individual sensor devices and the Voice assistants of the motor vehicle achieved in order to be able to provide an answer to the question asked by a user of the motor vehicle, using the knowledge of a search engine index and thus, for example, websites on the Internet. Ultimately, a simple mechanism for obtaining desired information about an object in the vehicle environment is provided. This is based on sensor data from the motor vehicle, primarily camera data. Because the actual determination of the answer to the question using the search query is outsourced to the external computing device, resources, ie computing resources for example, are saved within the motor vehicle and at the same time a wide range of customer and occupant benefits are created. Overall, therefore, a particularly convenient question and answer function is provided for a motor vehicle. Overall, a dynamic and convenient acquisition of information on the object in the area surrounding the motor vehicle is provided.

Zu der Erfindung gehören auch Ausführungsbeispiele, durch die sich zusätzliche Vorteile ergeben.The invention also includes exemplary embodiments which result in additional advantages.

Ein vorteilhaftes Ausführungsbeispiel sieht vor, dass das Objekt in der Umgebung zumindest eines von folgenden Objekten ist: Ein Plakat, insbesondere ein Werbeplakat und/oder ein Wahlplakat; eine elektronische Anzeige, insbesondere eine elektronische Werbeanzeige; ein Lebewesen, insbesondere eine Pflanze und/oder ein Tier; und/oder ein Landschaftsobjekt. Mit anderen Worten kann nach einer Information zu beispielsweise Printmedien, wie dem Plakat, gefragt werden. Alternativ oder zusätzlich dazu kann eine Information zu Werbung, insbesondere digitaler Werbung auf der elektronischen Anzeige, wie beispielsweise einem elektronischen Anzeigebildschirm oder Display, angefragt werden. Es kann beispielsweise nach einem auf dem Plakat und/oder der elektronischen Anzeige angezeigten Produkt gefragt werden. Beispielsweise kann nachgefragt werden, wo ein derartiges Produkt erworben werden kann, ob es aktuell lieferbar ist und/oder wo sich ein nächstes Geschäft befindet, bei dem das auf dem Plakat gezeigte Objekt erworben werden kann.An advantageous exemplary embodiment provides that the object in the vicinity is at least one of the following objects: a poster, in particular an advertising poster and/or an election poster; an electronic advertisement, in particular an electronic advertisement; a living being, in particular a plant and/or an animal; and/or a landscape object. In other words, information about, for example, print media such as the poster can be requested. Alternatively or additionally, information about advertising, in particular digital advertising on the electronic display, such as an electronic display screen or display, can be requested. For example, a product displayed on the billboard and/or electronic display may be queried. For example, it is possible to ask where such a product can be purchased, whether it is currently available and/or where the nearest shop is where the object shown on the poster can be purchased.

Alternativ oder zusätzlich dazu kann eine Information zu Flora und/oder Fauna angefragt werden. Hinsichtlich des Lebewesens kann die Frage beispielsweise auf eine Baumart, eine Blumenart und/oder eine Pflanzenart gerichtet sein. Beispielsweise kann der Benutzer fragen, um was für eine Art von Baum es sich bei einem Baum handelt, an dem er aktuell mit dem Kraftfahrzeug vorbeifährt. Analog dazu kann er beispielsweise nach einer Tierart oder Tierrasse, wie beispielsweise einer Hunderasse eines Hundes, an dem das Kraftfahrzeug vorbeifährt, fragen. Das Landschaftsobjekt kann beispielsweise ein Gebirge, ein Gewässer und/oder ein Tal sein, an dem das Kraftfahrzeug aktuell vorbeifährt. Die auf das Landschaftsobjekt gerichtete Frage kann beispielsweise einen Namen des Landschaftsobjekts und/oder eine Höhe, Breite, Länge und/oder Tiefe des Landschaftsobjekts nachfragen, also zum Beispiel die Höhe eines Berges und/oder die maximale Tiefe eines Sees und/oder eine Breite eines Tales und/oder die Länge eines Flusses von einer Quelle bis zu einer Mündung anfragen.Alternatively or additionally, information on flora and/or fauna can be requested. With regard to the living being, the question can be directed to a tree species, a flower species and/or a plant species, for example. For example, the user can ask what kind of tree is a tree that he is currently driving past in the motor vehicle. Analogously, he can, for example, ask about an animal species or animal breed, such as a dog breed of a dog that the motor vehicle is driving past. The landscape object can be, for example, a mountain range, a body of water and/or a valley that the motor vehicle is currently driving past. The question directed to the landscape object can ask for a name of the landscape object and/or a height, width, length and/or depth of the landscape object, for example the height of a mountain and/or the maximum depth of a lake and/or a width of a Query valleys and/or the length of a river from a source to an estuary.

Es kann insbesondere vorgesehen sein, dass sich die Frage nicht auf ein Sonderziel, das heißt beispielsweise eine Sehenswürdigkeit und/oder ein Objekt von allgemeinem Interesse ist, bezieht. Der Grund hierfür kann sein, dass zum Sonderziel typischerweise bereits Informationen im Navigationssystem des Kraftfahrzeugs hinterlegt sind und somit nicht die aufwendige Suchanfrage an den Suchmaschinenindex benötigt wird, um Details zu dem Sonderziel im Kraftfahrzeug ausgeben zu können. Ferner kann es ausgeschlossen sein, dass das Objekt ein kommerzielles Sonderziel wie beispielsweise eine Tankstelle, ein Restaurant und/oder ein Geschäft ist, an denen das Kraftfahrzeug vorbeifährt, da auch zu derartigen Sonderzielen oftmals detaillierte Informationen im Navigationssystem des Kraftfahrzeugs hinterlegt sind.In particular, it can be provided that the question does not relate to a point of interest, that is, for example, a place of interest and/or an object of general interest. The reason for this may be that information about the point of interest is typically already stored in the navigation system of the motor vehicle and the complex search query to the search engine index is therefore not required in order to be able to output details about the point of interest in the motor vehicle. It can also be ruled out that the object is a commercial point of interest such as a gas station, a restaurant and/or a shop that the motor vehicle drives past, since detailed information on such points of interest is often stored in the navigation system of the motor vehicle.

Es ist bevorzugt vorgesehen, dass die Fragedaten keine Frage beschreiben, die lediglich nach dem Objekt an sich fragt, also beispielsweise die Frage: „Was ist das?“. Vielmehr ist die Erfindung darauf gerichtet, zumindest eine zusätzliche Information zu dem Objekt zu gewinnen, die dem Objekt nur durch die entsprechende Suchanfrage an den Suchmaschinenindex zu entnehmen ist. Es werden mithilfe der genannten Arten von Objekten zahlreiche verschiedene Fälle genannt, in denen ein Benutzer beim Vorbeifahren an dem Objekt neugierig werden könnte und eine Frage zu dem Objekt stellen könnte. Die genannten Objekte sind nicht als abgeschlossene Liste zu verstehen. Weitere oder alternative Objekte in der Umgebung des Kraftfahrzeugs sind möglich.Provision is preferably made for the question data not to describe a question that only asks about the object itself, for example the question: “What is that?”. Rather, the invention is aimed at obtaining at least one piece of additional information about the object, which can only be gathered from the object by means of the corresponding search query on the search engine index. Using the types of objects mentioned, numerous different cases are mentioned in which a user, driving past the object, could become curious and ask a question about the object. The objects mentioned are not to be understood as a closed list. Additional or alternative objects in the area surrounding the motor vehicle are possible.

Ein zusätzliches Ausführungsbeispiel sieht vor, dass die erfassten Sensordaten zumindest eine von folgenden Informationen beschreiben: Eine Kopfrichtung des Benutzers, eine Blickrichtung des Benutzers, eine Geste des Benutzers, eine Position des Kraftfahrzeugs, eine Ausrichtung des Kraftfahrzeugs, einen Abstand des Kraftfahrzeugs zum Objekt und/oder statische oder bewegte Bilder des Objekts.An additional exemplary embodiment provides that the detected sensor data describes at least one of the following items of information: a head direction of the user, a viewing direction of the user, a gesture of the user, a position of the motor vehicle, an alignment of the motor vehicle, a distance of the motor vehicle from the object and/or or static or moving images of the object.

Die Kopfrichtung, Blickrichtung und/oder Geste des Benutzers kann bevorzugt mittels der Innenraumkamera des Kraftfahrzeugs erfasst werden. Es kann eine Auswerteeinrichtung vorgesehen sein, mittels derer im Kraftfahrzeug und/oder in der externen Recheneinrichtung Kameradaten der Innenraumkamera derart ausgewertet werden, dass die Kopfrichtung, Blickrichtung und/oder Geste des Benutzers erkannt und insbesondere identifiziert werden kann. Eine für diese Auswertung nötige Vorschrift kann in das Inhaltsermittlungskriterium integriert sein.The head direction, line of sight and / or gesture of the user can preferably by means of Interior camera of the motor vehicle are detected. An evaluation device can be provided, by means of which camera data of the interior camera are evaluated in the motor vehicle and/or in the external computing device in such a way that the head direction, line of sight and/or gesture of the user can be recognized and in particular identified. A rule required for this evaluation can be integrated into the content determination criterion.

Die Position des Kraftfahrzeugs wird bevorzugt mittels der Positionserfassungseinrichtung des Kraftfahrzeugs ermittelt. Zur Positionsbestimmung kann auf ein Navigationssystem zurückgegriffen werden. Bevorzugt erfolgt die Positionsbestimmung mittels eines globalen Navigationssatellitensystems (GNSS, für Global Navigation Satellite System), insbesondere dem globalen Positionsbestimmungssystem (GPS, für Global Positioning System). Die Ausrichtung des Kraftfahrzeugs ist beispielsweise eine Nord-Süd-Ausrichtung und/oder eine Ausrichtung relativ zum Objekt in der Umgebung des Kraftfahrzeugs. Anhand der Ausrichtung des Kraftfahrzeugs zum Objekt kann beispielsweise festgestellt werden, welches Objekt von mehreren möglichen Objekten mit einer hohen Wahrscheinlichkeit vom Benutzer des Kraftfahrzeugs im Rahmen der Frage gemeint ist, da beispielsweise die Ausrichtung des Kraftfahrzeugs zu diesem Objekt hin gerichtet ist und sich das Objekt beispielsweise nicht in einem für den Benutzer nicht einsehbaren, das heißt toten Winkel der Umgebung des Kraftfahrzeugs befindet.The position of the motor vehicle is preferably determined using the position detection device of the motor vehicle. A navigation system can be used to determine the position. The position is preferably determined by means of a global navigation satellite system (GNSS, for Global Navigation Satellite System), in particular the global position determination system (GPS, for Global Positioning System). The orientation of the motor vehicle is, for example, a north-south orientation and/or an orientation relative to the object in the vicinity of the motor vehicle. Based on the orientation of the motor vehicle to the object, it can be determined, for example, which of several possible objects is most likely meant by the user of the motor vehicle in the context of the question, since, for example, the orientation of the motor vehicle is directed towards this object and the object is, for example is not located in a blind spot in the vicinity of the motor vehicle that cannot be seen by the user.

Der Abstand zum Objekt kann beispielsweise herangezogen werden, um das Objekt näher bestimmen zu können. Es kann beispielsweise bei der Frage nach der Höhe des Berges in der Umgebung des Kraftfahrzeugs anhand des Abstands zum Objekt festgestellt werden, auf welchen Berg sich die Frage bezieht. Es kann also anhand von Abstandsdaten, die beispielsweise mittels des Radar, Lidar-Gerät und/oder Infrarotsensors erfasst werden, das Objekt näher beschrieben werden, sodass die Frageinhaltsdaten beispielsweise einen Namen und/oder eine Position des Bergs umfassen können, auf den sich die Frage bezieht. Hierfür kann beispielsweise der erfasste Abstand zwischen Kraftfahrzeug und Objekt in Beziehung zu beispielsweise einer im Kraftfahrzeug hinterlegten Karte und somit zu Kartendaten des Navigationssystems des Kraftfahrzeugs gebracht werden. Hierdurch könnte der Berg bereits basierend auf den bereitgestellten Kartendaten des Navigationssystems identifiziert werden, sodass beispielsweise eine Bildrecherche auf Basis von Kameradaten einer Außenkamera des Kraftfahrzeugs nicht nötig ist, um eine Suchanfrage nach der Höhe des Berges durchführen zu können.The distance to the object can be used, for example, in order to be able to determine the object more closely. For example, when asking about the height of the mountain in the vicinity of the motor vehicle, it can be determined on the basis of the distance to the object to which mountain the question relates. The object can therefore be described in more detail on the basis of distance data, which is recorded, for example, by means of the radar, lidar device and/or infrared sensor, so that the question content data can include, for example, a name and/or a position of the mountain to which the question refers relates. For this purpose, for example, the detected distance between motor vehicle and object can be related to, for example, a map stored in the motor vehicle and thus to map data of the navigation system of the motor vehicle. In this way, the mountain could already be identified based on the map data provided by the navigation system, so that, for example, image research based on camera data from an external camera of the motor vehicle is not necessary in order to be able to carry out a search query for the height of the mountain.

Die statischen und/oder bewegten Bilder des Objekts sind bevorzugt die Kameradaten, anhand derer beispielsweise eine Objektidentifizierung und/oder Objekterkennung beim Anwenden des Inhaltsermittlungskriteriums durchgeführt werden kann. Letztendlich liegen also zahlreiche Informationen vor, anhand derer zuverlässig die Frageinhaltsdaten ermittelt werden können.The static and/or moving images of the object are preferably the camera data, based on which, for example, an object identification and/or object recognition can be carried out when applying the content determination criterion. Ultimately, there is a lot of information that can be used to reliably determine the question content data.

Ein zusätzliches Ausführungsbeispiel sieht vor, dass eine Position des Objekts beschreibende Positionsdaten ermittelt werden. Dies erfolgt bevorzugt durch Auswerten der Positionsdaten des Kraftfahrzeugs, die mittels der Positionserfassungseinrichtung erfasst werden, und von Abstandsdaten, die den Abstand des Objekts zum Kraftfahrzeug beschreiben. Die Positionsdaten sind bevorzugt Koordinaten des Objekts. Es wird zudem überprüft, ob die ermittelten Positionsdaten und die ermittelten Informationsdaten demselben Objekt zugeordnet sind. Nur, falls dies der Fall ist, das heißt, nur falls die ermittelten Positionsdaten und Informationsdaten demselben Objekt, das heißt einem gleichen Objekt, zugeordnet sind, wird das Antwortermittlungskriterium auf die Informationsdaten angewendet. Es wird also nach dem Ermitteln der Informationsdaten zunächst überprüft, ob diese sich auch tatsächlich auf das Objekt beziehen, zu dem der Benutzer Informationen wünscht.An additional exemplary embodiment provides that position data describing a position of the object are determined. This is preferably done by evaluating the position data of the motor vehicle, which are recorded by means of the position detection device, and distance data, which describe the distance of the object from the motor vehicle. The position data are preferably coordinates of the object. In addition, it is checked whether the determined position data and the determined information data are assigned to the same object. The response determination criterion is only applied to the information data if this is the case, that is to say only if the determined position data and information data are associated with the same object, ie the same object. After the information data have been determined, it is first checked whether they actually relate to the object about which the user wants information.

Es kann zum Beispiel der Fall sein, dass beispielsweise auf die Frage „Wie hoch ist der Berg dort drüben?“, die Höhe von mehreren Bergen in der Umgebung des Kraftfahrzeugs im Rahmen der Ermittlung der Informationsdaten ermittelt wird. Es kann dann festgestellt werden, ob der Berg, auf den der Benutzer zum Beispiel mit einer Hand gezeigt hat und dessen Positionsdaten somit ermittelt wurden, auch tatsächlich der Berg ist, auf den sich die ermittelten Informationsdaten beziehen. Falls beispielsweise die Informationsdaten weitere Höhenangaben von optisch ähnlich aussehenden Bergen aufweisen, wobei diese jedoch nicht in der Umgebung des Kraftfahrzeugs angeordnet sind oder somit nicht zu den Positionsdaten passen, kann darauf geschlossen werden, dass diese nicht die gewünschten Informationsdaten sind. Das Ermitteln von zu Antwortdaten zu derartig ungewünschten Informationsdaten wird dann verhindert. Letztendlich wird also die Benutzerabsicht überprüft. Hierdurch kann bei beispielsweise verschiedenen Informationsdaten die tatsächlich gewünschte Antwort identifiziert und ausgewählt werden. Dies ist insbesondere dann sinnvoll, wenn mehrere Suchergebnisse auf die Suchanfrage ermittelt werden, sodass die Informationsdaten Informationen zu mehreren Objekten und/oder mehrere Informationen zu gleichartigen Objekten aufweisen. Es können dann mithilfe der beschriebenen Überprüfung auf Basis der Positionsdaten die tatsächlich vom Benutzer angefragten Informationsdaten ausgewählt werden. Dies führt dazu, dass die ausgebbaren Antwortdaten stets die tatsächlich gewünschten Informationsdaten und somit die tatsächliche Antwort auf die Frage des Benutzers beschreiben.It can be the case, for example, that when the question “How high is that mountain over there?”, the height of several mountains in the vicinity of the motor vehicle is determined as part of the determination of the information data. It can then be determined whether the mountain to which the user has pointed, for example, with one hand and whose position data has thus been determined, is actually the mountain to which the determined information data relate. If, for example, the information data contains further height information from mountains that look similar, but these are not located in the vicinity of the motor vehicle or therefore do not match the position data, it can be concluded that these are not the desired information data. The determination of response data for such undesired information data is then prevented. Ultimately, user intent is checked. In this way, for example, in the case of different information data, the answer that is actually desired can be identified and selected. This makes sense in particular if a number of search results are determined for the search query, so that the information data has information about a number of objects and/or a number of information about objects of the same type. The information data actually requested by the user can then be output using the described check based on the position data be elected. This means that the response data that can be output always describe the information data that is actually desired and thus the actual answer to the user's question.

In einem weiteren Ausführungsbeispiel ist es vorgesehen, dass das Inhaltsermittlungskriterium ein Suchbegriffserkennungskriterium aufweist. Durch Anwenden des Suchbegriffserkennungskriteriums auf die erfassten Fragedaten werden Suchbegriffsdaten ermittelt. Die Suchbegriffsdaten beschreiben einen Suchbegriff für die Suchanfrage. Die Frageinhaltsdaten weisen die Suchbegriffsdaten auf. Der Verfahrensschritt zum Ermitteln der Frageinhaltsdaten kann also in einen ersten Unterschritt gegliedert werden. Dieser umfasst mit anderen Worten die Spracherkennung und somit das Verstehen der Benutzerabsicht, das heißt der Frage nach der Information zum Objekt. Das Suchbegriffserkennungskriterium basiert bevorzugt auf Methoden der Spracherkennung beziehungsweise Sprachinhaltserkennung. Das Suchbegriffserkennungskriterium ist ein Algorithmus und/oder eine Vorschrift, anhand dessen oder derer die Suchbegriffsdaten bestimmbar sind, das heißt bestimmt werden. Es kann alternativ oder zusätzlich dazu vorgesehen sein, dass das Suchbegriffserkennungskriterium ebenfalls auf die Sensordaten angewendet wird. Die Suchbegriffsdaten liegen bevorzugt in Form von Begriffen vor, das heißt in Form von Wörtern, nach denen bei der Suchanfrage an den Suchmaschinenindex gesucht werden kann. Im Fall des oben genannten Beispiels umfassen die Suchbegriffsdaten zum Beispiel die Begriffe „Alter“ und „Politiker“. Hierdurch kann besonders exakt der Inhalt der Frage erkannt werden.A further exemplary embodiment provides for the content determination criterion to have a search term recognition criterion. Search term data is determined by applying the search term detection criterion to the collected question data. The search term data describes a search term for the search query. The question content data includes the search term data. The method step for determining the question content data can therefore be broken down into a first sub-step. In other words, this includes speech recognition and thus the understanding of the user's intention, i.e. the question about the information about the object. The search term recognition criterion is preferably based on methods of speech recognition or speech content recognition. The search term recognition criterion is an algorithm and/or a rule by means of which the search term data can be determined, ie determined. Alternatively or additionally, it can be provided that the search term recognition criterion is also applied to the sensor data. The search term data is preferably in the form of terms, ie in the form of words that can be searched for in the search query on the search engine index. For example, in the case of the above example, the search term data includes the terms “age” and “politician”. As a result, the content of the question can be recognized particularly precisely.

Es ist ferner in einem Ausführungsbeispiel vorgesehen, dass das Inhaltsermittlungskriterium ein Objektkriterium aufweist. Durch Anwenden des Objektkriteriums auf die erfassten Sensordaten werden Objektdaten ermittelt. Die Objektdaten beschreiben das Objekt, auf das sich die erfasste Frage bezieht. Die Frageinhaltsdaten weisen die Objektdaten auf. Mithilfe der Objektdaten wird also das Objekt in der Umgebung des Kraftfahrzeugs, zu dem Informationen gewünscht sind, erkannt und bevorzugt identifiziert. Das Objektkriterium weist eine Vorschrift und/oder einen Algorithmus auf, bei deren beziehungsweise dessen Anwendung die Objektdaten ermittelt werden können. Bevorzugt basiert das Objektkriterium auf Methoden von Bildverarbeitung und/oder Datenverarbeitung. Die Objektdaten können beispielsweise Bilddaten und/oder andere Sensordaten sein. Bevorzugt sind die Objektdaten bereits bearbeitete Bilddaten, sodass beispielsweise ein Hintergrund und/oder zumindest ein weiteres Objekt bereits aus den Sensordaten entfernt wurden. Die Objektdaten sind somit bereinigte Daten. Die Objektdaten beschreiben bevorzugt nur das Objekt, auf das sich die Frage bezieht. Im Fall des oben genannten Beispiels umfassen die Objektdaten zum Beispiel nur das Bild des Politikers, wie es auf dem Wahlplakat zu sehen ist, jedoch bevorzugt ohne weitere Plakatinhalte, wie einen Hintergrund und/oder Schrift.It is further provided in one embodiment that the content determination criterion has an object criterion. Object data is determined by applying the object criterion to the acquired sensor data. The object data describes the object to which the recorded question relates. The question content data includes the object data. The object in the area surrounding the motor vehicle, about which information is desired, is thus recognized and preferably identified with the aid of the object data. The object criterion has a rule and/or an algorithm which can be used to determine the object data. The object criterion is preferably based on methods of image processing and/or data processing. The object data can be image data and/or other sensor data, for example. The object data is preferably image data that has already been processed, so that, for example, a background and/or at least one further object has already been removed from the sensor data. The object data are thus cleaned data. The object data preferably only describes the object to which the question relates. In the case of the above example, the object data only includes the image of the politician as it can be seen on the election poster, but preferably without any further poster content, such as a background and/or writing.

Letztendlich kann durch das Objekterkennungskriterium zuverlässig ein Inhaltsermittlungskriterium bereitgestellt werden, bei dessen Anwendung der Inhalt der erfassten Fragen tatsächlich in Form der Frageinhaltsdaten bereitgestellt werden kann.Ultimately, a content determination criterion can be reliably provided by the object recognition criterion, with the application of which the content of the recorded questions can actually be provided in the form of the question content data.

Außerdem sieht es ein Ausführungsbeispiel vor, dass das Inhaltsermittlungskriterium auf maschinellem Lernen basiert. Das Inhaltsermittlungskriterium kann beispielsweise Methoden des mehrschichtigen Lernens, wie Deep Learning, und/oder ein Programmiergerüst zur datenstromorientierten Programmierung, wie zum Beispiel TensorFlow, aufweisen. Bevorzugt wird das Inhaltsermittlungskriterium basierend auf einem künstlichen neuronalen Netzwerk erstellt, wobei beim Durchführen des beschriebenen Verfahrens eine Trainingsphase des künstlichen neuronalen Netzwerks bevorzugt bereits abgeschlossen ist. Insbesondere für typische Anwendungsfälle, wie beispielsweise Fragen nach Lebewesen, Landschaftsobjekten, Plakaten und/oder elektronischen Anzeigen kann das Inhaltsermittlungskriterium bereits trainiert sein, zum Beispiel mittels einer Datenbank mit entsprechenden Bilddaten von derartigen Objekten. Das Inhaltsermittlungskriterium kann daher schnell und zuverlässig die Frageinhaltsdaten ermitteln und bereitstellen.In addition, an embodiment provides that the content determination criterion is based on machine learning. The content determination criterion can, for example, have methods of multi-layer learning, such as deep learning, and/or a programming framework for data-stream-oriented programming, such as TensorFlow. The content determination criterion is preferably created on the basis of an artificial neural network, with a training phase of the artificial neural network preferably already being completed when the method described is carried out. In particular for typical applications, such as questions about living beings, landscape objects, posters and/or electronic displays, the content determination criterion can already be trained, for example using a database with corresponding image data from such objects. The content determination criterion can therefore quickly and reliably determine and provide the question content data.

Gemäß einem besonders bevorzugten Ausführungsbeispiel ist es vorgesehen, dass die erfassten Fragedaten und/oder Sensordaten an die externe Recheneinrichtung übermittelt werden. Die externe Recheneinrichtung führt daraufhin beispielsweise die Verfahrensschritte zum Ermitteln der Frageinhaltsdaten, der Informationsdaten und/oder der ausgebbaren Antwortdaten durch. Alternativ dazu kann es vorgesehen sein, dass das Ermitteln der Frageinhaltsdaten sowie der Informationsdaten mittels der externen Recheneinrichtung erfolgt und die ermittelten Informationsdaten dem Kraftfahrzeug zum Ermitteln der Antwortdaten bereitgestellt werden. Zumindest das Erfassen der akustischen Fragedaten und der Sensordaten sowie das Ausgeben der Antwortdaten im Kraftfahrzeug wird bevorzugt mittels des Kraftfahrzeugs selbst durchgeführt.According to a particularly preferred exemplary embodiment, it is provided that the recorded question data and/or sensor data are transmitted to the external computing device. The external computing device then carries out, for example, the method steps for determining the question content data, the information data and/or the answer data that can be output. As an alternative to this, it can be provided that the determination of the question content data and the information data is carried out by means of the external computing device and the determined information data are made available to the motor vehicle for determining the answer data. At least the acquisition of the acoustic question data and the sensor data as well as the outputting of the answer data in the motor vehicle is preferably carried out by means of the motor vehicle itself.

Das Ausgeben der Antwortdaten sowie das Erfassen der akustischen Fragedaten kann alternativ oder zusätzlich dazu mittels eines im Kraftfahrzeug angeordneten Endgeräts durchgeführt werden. Das Endgerät kann beispielsweise ein Mobiltelefon, wie ein Smartphone, und/oder ein Tablet und/oder ein Computer, wie beispielsweise ein Laptop, sein. Letztendlich können hierdurch Rechenressourcen innerhalb des Kraftfahrzeugs gespart werden, da die aufwendige Ermittlung der Informationsdaten sowie der Frageinhaltsdaten in die externe Recheneinrichtung ausgelagert wird.As an alternative or in addition to this, the answer data can be output and the acoustic question data can be recorded by means of a terminal device arranged in the motor vehicle. The end device can be, for example, a mobile phone, such as a smartphone, and/or a tablet and/or a computer, such as a laptop. Ultimately, this allows computing resources within Half of the motor vehicle can be saved because the complex determination of the information data and the question content data is outsourced to the external computing device.

Es kann ferner vorgesehen sein, dass nach dem Ermitteln der Suchbegriffsdaten erst gezielt Sensordaten vom Kraftfahrzeug von der externen Recheneinrichtung angefragt werden, sodass rückwirkend für den Zeitpunkt des Erfassens der akustischen Fragedaten die Sensordaten vom Kraftfahrzeug an die externe Recheneinrichtung übermittelt werden, sodass diese die Frageinhaltsdaten vollständig ermitteln kann, das heißt zusätzlich die Objektdaten ermittelt werden können.Provision can also be made for sensor data from the motor vehicle to be specifically requested by the external computing device after the search term data has been determined, so that the sensor data are transmitted from the motor vehicle to the external computing device retrospectively for the time at which the acoustic question data was recorded, so that the question content data is complete can determine, that is, the object data can also be determined.

Zudem sieht es ein Ausführungsbeispiel vor, dass die Antwortdaten eine akustisch ausgebbare Antwort und eine optisch ausgebbare Antwort beschreiben. Letztendlich weisen die Antwortdaten also zwei verschiedene Teilantwortdaten auf, nämlich akustisch ausgebbare Teilantwortdaten sowie optisch ausgebbare Teilantwortdaten. Die akustisch ausgebbare Antwort und die optisch ausgebbare Antwort unterscheiden sich bevorzugt in zumindest einer Teilinformation der ermittelten Informationen. Beispielsweise kann die akustisch ausgebbare Antwort ein Antwortsatz auf die Frage des Benutzers sein. Im oben genannten Beispiel ist dieser Antwortsatz beispielsweise: „Der Politiker ist 43 Jahre alt.“ Der Antwortsatz wird beispielsweise mittels des Lautsprechers im Kraftfahrzeug ausgegeben. Die optisch ausgebbare Antwort wird bevorzugt auf einem Bildschirm, das heißt einer Anzeigeeinrichtung im Kraftfahrzeug, ausgegeben und kann zusätzliche Details umfassen. Beispielsweise kann die optisch ausgebbare Antwort zudem umfassen, wie der Politiker heißt, wann sein Geburtstag ist und/oder einen Link zu zusätzlichen Informationen zu dem Politiker bereitstellen. Der Link kann beispielsweise auf einen Eintrag in einem Onlinelexikon, einen Internetbeitrag einer Partei, der der Politiker angehört, und/oder eine persönliche Webseite des Politikers gerichtet sein. Es erfolgt somit eine für den Benutzer besonders zufriedenstellende Zusammenstellung von Antwortdaten für eine Sprach- sowie Textausgabe der Antwort auf die erfasste Frage zum Objekt. Ferner können Zusatzinformationen bereitgestellt werden, wodurch der Komfort der Frage- und Antwortfunktion weiter erhöht werden kann.In addition, an exemplary embodiment provides that the response data describe an acoustically outputtable response and an optically outputtable response. Ultimately, the response data therefore has two different partial response data, namely partial response data that can be output acoustically and partial response data that can be output optically. The response that can be output acoustically and the response that can be output optically preferably differ in at least one piece of partial information of the information determined. For example, the answer that can be output acoustically can be an answer sentence to the user's question. In the above example, this reply sentence is, for example: "The politician is 43 years old." The reply sentence is output, for example, by means of the loudspeaker in the motor vehicle. The response that can be output visually is preferably output on a screen, that is to say a display device in the motor vehicle, and can include additional details. For example, the response that can be output visually can also include the politician's name, when his birthday is and/or provide a link to additional information about the politician. For example, the link can be directed to an entry in an online encyclopedia, an Internet post from a party to which the politician belongs, and/or the politician's personal website. The result is a compilation of answer data for a voice and text output of the answer to the recorded question about the object that is particularly satisfactory for the user. Furthermore, additional information can be provided, whereby the convenience of the question and answer function can be further increased.

Ein weiterer Aspekt der Erfindung betrifft ein System zum Bereitstellen einer in einem Kraftfahrzeug angefragten Information zu einem Objekt in der Umgebung eines Kraftfahrzeugs. Das System weist das Kraftfahrzeug und eine externe Recheneinrichtung auf. Das System ist dazu ausgebildet, das oben beschriebene Verfahren durchzuführen. Die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebenen vorteilhaften Ausführungsbeispiele sowie Kombinationen der genannten Ausführungsbeispiele gelten in analoger Weise, soweit anwendbar, für das erfindungsgemäße System.A further aspect of the invention relates to a system for providing information requested in a motor vehicle about an object in the vicinity of a motor vehicle. The system has the motor vehicle and an external computing device. The system is designed to carry out the method described above. The advantageous exemplary embodiments described in connection with the method according to the invention and combinations of the exemplary embodiments mentioned apply analogously, to the extent applicable, to the system according to the invention.

Ein weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug, das zumindest die akustischen Fragedaten und/oder Sensordaten erfassen kann und/oder die Antwortdaten ausgeben kann. Ferner kann das Kraftfahrzeug Daten von der externen Recheneinrichtung empfangen. Es kann ferner vorgesehen sein, dass das Kraftfahrzeug zudem die Frageinhaltsdaten und die Antwortdaten ermitteln kann. Es kann ferner vorgesehen sein, dass das Kraftfahrzeug selbst die Suchanfrage an den Suchmaschinenindex zum Ermitteln der Informationsdaten durchführt und somit mittels einer Kommunikationsverbindung auf externe Datenquellen zugreifen kann. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.Another aspect of the invention relates to a motor vehicle that can record at least the acoustic question data and/or sensor data and/or can output the answer data. Furthermore, the motor vehicle can receive data from the external computing device. It can also be provided that the motor vehicle can also determine the question content data and the answer data. It can also be provided that the motor vehicle itself performs the search query on the search engine index to determine the information data and can thus access external data sources by means of a communication link. The motor vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger car or truck, or as a passenger bus or motorcycle.

Zu der Erfindung gehören auch die externe Recheneinrichtung und/oder eine Auswerteeinrichtung für das Kraftfahrzeug. Die externe Recheneinrichtung und/oder die Auswerteeinrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung das Ausführungsbeispiel des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.The invention also includes the external computing device and/or an evaluation device for the motor vehicle. The external computing device and/or the evaluation device can have a data processing device or a processor device that is set up to carry out an exemplary embodiment of the method according to the invention. For this purpose, the processor device can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor). Furthermore, the processor device can have program code which is set up to carry out the exemplary embodiment of the method according to the invention when it is executed by the processor device. The program code can be stored in a data memory of the processor device.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.The invention also includes the combinations of features of the described embodiments. The invention also includes implementations that each have a combination of the features of several of the described embodiments, provided that the embodiments were not described as mutually exclusive.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung eines Systems zum Bereitstellen einer im Kraftfahrzeug angefragten Information zu einem Objekt in der Umgebung des Kraftfahrzeugs; und
2 in schematischer Darstellung einen Signalflussgraphen eines Verfahrens zum Bereitstellen einer in einem Kraftfahrzeug angefragten Information zu einem Objekt in der Umgebung des Kraftfahrzeugs.

Exemplary embodiments of the invention are described below. For this shows:

1 a schematic representation of a system for providing information requested in the motor vehicle about an object in the vicinity of the motor vehicle; and
2 a schematic representation of a signal flow graph of a method for ready provide information requested in a motor vehicle about an object in the vicinity of the motor vehicle.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention that are to be considered independently of one another and that each also develop the invention independently of one another. Therefore, the disclosure is also intended to encompass combinations of the features of the embodiments other than those illustrated. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.

In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, the same reference symbols designate elements with the same function.

1 zeigt ein Kraftfahrzeug 1. In dem Kraftfahrzeug 1 befindet sich ein Benutzer 2. Der Benutzer 2 ist ein Insasse des Kraftfahrzeugs 1, insbesondere ein Fahrer des Kraftfahrzeugs 1. 1 shows a motor vehicle 1. There is a user 2 in the motor vehicle 1. The user 2 is an occupant of the motor vehicle 1, in particular a driver of the motor vehicle 1.

Das Kraftfahrzeug 1 weist eine Erfassungseinrichtung 3 auf, die hier exemplarisch als Mikrofon des Kraftfahrzeugs 1 ausgebildet ist. Das Kraftfahrzeug 1 weist zumindest eine Sensoreinrichtung 4, 5 auf. In diesem Beispiel ist die Sensoreinrichtung 4 eine Innenraumkamera des Kraftfahrzeugs 1 und die Sensoreinrichtung 5 eine Frontkamera des Kraftfahrzeugs 1. Mittels der Innenraumkamera als Sensoreinrichtung 4 des Kraftfahrzeugs 1 kann ein Innenraum des Kraftfahrzeugs 1 erfasst werden, das heißt beispielsweise eine Kopfrichtung, eine Blickrichtung und/oder eine Geste des Benutzers 2. Mittels der Frontkamera als Sensoreinrichtung 5 kann eine Umgebung des Kraftfahrzeugs 1 erfasst werden. Die Umgebung des Kraftfahrzeugs 1 kann durch einen Erfassungsbereich der Sensoreinrichtung 5 und/oder durch eine Sichtweite des Benutzers 2 begrenzt sein.Motor vehicle 1 has a detection device 3 , which is embodied here as a microphone of motor vehicle 1 , for example. The motor vehicle 1 has at least one sensor device 4, 5. In this example, the sensor device 4 is an interior camera of the motor vehicle 1 and the sensor device 5 is a front camera of the motor vehicle 1. Using the interior camera as a sensor device 4 of the motor vehicle 1, an interior of the motor vehicle 1 can be detected, that is, for example, a head direction, a viewing direction and/or or a gesture by the user 2. The surroundings of the motor vehicle 1 can be recorded using the front camera as the sensor device 5. The surroundings of the motor vehicle 1 can be limited by a detection range of the sensor device 5 and/or by a visual range of the user 2 .

Das Kraftfahrzeug 1 weist exemplarisch zwei Ausgabeeinrichtungen 6, 7 auf. Die Ausgabeeinrichtung 6 ist beispielsweise ein Lautsprecher zur Ausgabe einer akustischen Information im Kraftfahrzeug 1. Die Ausgabeeinrichtung 7 ist exemplarisch als Anzeigeeinrichtung ausgebildet, das heißt beispielsweise als berührungssensitiver oder nichtberührungssensitiver Bildschirm oder Display. Mittels der Anzeigeeinrichtung kann eine optisch angezeigte Meldung und/oder ein optischer Hinweis im Kraftfahrzeug 1 ausgegeben werden. Die Anzeigeeinrichtung als Ausgabeeinrichtung 7 ist bevorzugt im Bereich einer Mittelkonsole des Kraftfahrzeugs 1 angeordnet.The motor vehicle 1 has two output devices 6, 7 as an example. The output device 6 is, for example, a loudspeaker for outputting acoustic information in the motor vehicle 1. The output device 7 is designed, for example, as a display device, that is, for example, as a touch-sensitive or non-touch-sensitive screen or display. A visually displayed message and/or a visual indication can be output in motor vehicle 1 by means of the display device. The display device as the output device 7 is preferably arranged in the area of a center console of the motor vehicle 1 .

Das Kraftfahrzeug 1 weist eine Positionserfassungseinrichtung 8 auf. Diese kann beispielsweise in ein Navigationssystem des Kraftfahrzeugs 1 integriert sein. Mittels der Positionserfassungseinrichtung 8 kann eine aktuelle Position des Kraftfahrzeugs 1 ermittelt werden. Das Kraftfahrzeug 1 weist zudem eine Kommunikationsschnittstelle 9 auf. Das Kraftfahrzeug 1 weist ferner eine Steuereinrichtung 10 auf. Die Steuereinrichtung 10 umfasst zum Beispiel einen Prozessor. Die Steuereinrichtung 10 kann alle im Kraftfahrzeug 1 durchgeführten Verfahrensschritte zumindest ansteuern.The motor vehicle 1 has a position detection device 8 . This can be integrated into a navigation system of motor vehicle 1, for example. A current position of motor vehicle 1 can be determined by means of position detection device 8 . The motor vehicle 1 also has a communication interface 9 . The motor vehicle 1 also has a control device 10 . The controller 10 includes a processor, for example. The control device 10 can at least control all the method steps carried out in the motor vehicle 1 .

In 1 ist eine externe Recheneinrichtung 11 skizziert. Diese weist ebenfalls die Kommunikationsschnittstelle 9 auf. Zwischen der Kommunikationsschnittstelle 9 des Kraftfahrzeugs 1 und der Kommunikationsschnittstelle 9 der externen Recheneinrichtung 11 kann eine Kommunikationsverbindung aufgebaut sein. Diese ist bevorzugt als drahtlose Kommunikationsverbindung ausgebildet. In 1 ist die drahtlose Kommunikationsverbindung mit einer doppelköpfigen gestrichelten Linie skizziert.In 1 an external computing device 11 is outlined. This also has the communication interface 9 . A communication connection can be set up between the communication interface 9 of the motor vehicle 1 and the communication interface 9 of the external computing device 11 . This is preferably designed as a wireless communication connection. In 1 the wireless communication link is outlined with a double-headed dashed line.

Die externe Recheneinrichtung 11 kann einen Suchmaschinenindex 12 aufweisen, das heißt sie kann eine Onlinesuchfunktion aufweisen. Hierfür kann sie eine Kommunikationsverbindung zu zumindest einer externen Datenquelle 13 aufbauen und aufrechterhalten. Letztendlich ist die externe Recheneinrichtung 11 dazu ausgebildet, eine Internetsuche und/oder Internetrecherche auf Basis des Suchmaschinenindex 12 durchzuführen.The external computing device 11 can have a search engine index 12, ie it can have an online search function. For this purpose, it can set up and maintain a communication link to at least one external data source 13 . Ultimately, the external computing device 11 is designed to carry out an Internet search and/or Internet research based on the search engine index 12 .

Das Kraftfahrzeug 1 fährt aktuell auf einer Straße 14. An einem Rand der Straße 14 befindet sich ein Objekt 15. Das Objekt 15 ist hier exemplarisch als Plakat, und zwar als Wahlplakat, ausgestaltet. Auf dem Plakat als Objekt 15 ist ein Politiker 16 gezeigt. In dem hier genannten Beispiel zeigt der Benutzer 2 auf das Objekt 15. Diese Geste kann mittels der Innenraumkamera als Sensoreinrichtung 4 erfasst werden.The motor vehicle 1 is currently driving on a road 14. There is an object 15 at the edge of the road 14. The object 15 is designed here as an example, specifically as an election poster. A politician 16 is shown as object 15 on the poster. In the example given here, the user 2 points to the object 15 . This gesture can be detected using the interior camera as a sensor device 4 .

Ferner ist in 1 ein System 17 skizziert. Das System 17 umfasst das Kraftfahrzeug 1 sowie zumindest die externe Recheneinrichtung 11. Das System 17 kann zudem die externen Datenquellen 13 umfassen.Furthermore, in 1 a system 17 outlined. The system 17 includes the motor vehicle 1 and at least the external computing device 11. The system 17 can also include the external data sources 13.

2 zeigt in schematischer Darstellung ein Verfahren zum Bereitstellen einer angefragten Information im Kraftfahrzeug 1. Die angefragte Information wird im Kraftfahrzeug 1 bereitgestellt und betrifft das Objekt 15 in der Umgebung des Kraftfahrzeugs 1. 2 shows a schematic representation of a method for providing requested information in motor vehicle 1. The requested information is provided in motor vehicle 1 and relates to object 15 in the vicinity of motor vehicle 1.

In einem ersten Verfahrensschritt S1 erfolgt ein Erfassen von akustischen Fragedaten 18 mittels der Erfassungseinrichtung 3. Die Fragedaten 18 beschreiben eine Frage des Benutzers 2. Der Benutzer 2 fragt mit der Frage nach zumindest einer Information zum Objekt 15 in der Umgebung des Kraftfahrzeugs 1. Im hier skizzierten Beispiel fragt der Benutzer 2 beispielsweise folgende Frage: „Wie alt ist der Politiker auf dem Plakat?“. Zudem zeigt er mit seiner Hand in Richtung des Objekts 15, das heißt hier in Richtung des Wahlplakats. Ferner ist eine Blickrichtung des Benutzers 2 auf das Objekt 15 gerichtet. Die Fragedaten 18 werden akustisch erfasst, das heißt der Benutzer 2 tätigt eine Spracheingabe in das Mikrofon als Erfassungseinrichtung 3.In a first method step S1, acoustic question data 18 is recorded by means of the recording device 3. The question data 18 describe a question from user 2. User 2 asks for at least one piece of information about object 15 in the vicinity of motor vehicle 1. In the example outlined here, user 2 asks the following question, for example: “How old is the politician on the poster? “. He also points with his hand in the direction of object 15, in this case in the direction of the election poster. Furthermore, a line of sight of the user 2 is directed towards the object 15 . The question data 18 is recorded acoustically, i.e. the user 2 makes a voice input into the microphone as the recording device 3.

In einem weiteren Verfahrensschritt S2 erfolgt ein Erfassen von Sensordaten 19 mittels zumindest einer der Sensoreinrichtungen 4, 5. Die Sensordaten 19 beschreiben den Benutzer 2 und das Objekt 15 in der Umgebung des Kraftfahrzeugs 1. Die Sensordaten 19, die den Benutzer 2 beschreiben, beschreiben in diesem Beispiel die Kopf- und Blickrichtung des Benutzers 2 sowie die Zeigegeste des Benutzers 2 auf das Objekt 15 in Form von Kameradaten der Innenraumkamera. Die das Objekt 15 beschreibenden Sensordaten 19 sind beispielsweise Kameradaten der Frontkamera als Sensoreinrichtung 5. Alternativ oder zusätzlich zu derartigen statischen oder bewegten Bildern oder Bilddaten des Objekts 15 kann die Sensoreinrichtung 4, 5 einen Abstand zwischen dem Kraftfahrzeug 1 und dem Objekt 15 bestimmen, zum Beispiel mittels eines Infrarotsensors, eines Radargeräts und/oder eines Lidar-Geräts des Kraftfahrzeugs 1. Ferner können die Sensordaten 19 eine Position und/oder Ausrichtung des Kraftfahrzeugs 1 umfassen. Diese werden bevorzugt mittels der Positionserfassungseinrichtung 8 des Kraftfahrzeugs 1 ermittelt. Letztendlich erfolgt ein Erfassen eines Zustands im Innenraum sowie im Außenbereich des Kraftfahrzeugs 1 mittels der Sensoreinrichtung 4, 5.In a further method step S2, sensor data 19 is recorded using at least one of the sensor devices 4, 5. The sensor data 19 describe the user 2 and the object 15 in the area surrounding the motor vehicle 1. The sensor data 19, which describe the user 2, describe in In this example, the head and line of sight of the user 2 and the pointing gesture of the user 2 to the object 15 in the form of camera data from the interior camera. The sensor data 19 describing the object 15 is, for example, camera data from the front camera as the sensor device 5. Alternatively or in addition to such static or moving images or image data of the object 15, the sensor device 4, 5 can determine a distance between the motor vehicle 1 and the object 15, for example by means of an infrared sensor, a radar device and/or a lidar device of the motor vehicle 1. Furthermore, the sensor data 19 can include a position and/or alignment of the motor vehicle 1. These are preferably determined using the position detection device 8 of the motor vehicle 1 . Finally, a state in the interior and in the exterior of the motor vehicle 1 is detected by means of the sensor device 4, 5.

In einem Verfahrensschritt S3 erfolgt ein Ermitteln von Frageinhaltsdaten 20. Der Verfahrensschritt S3 kann nach dem Verfahrensschritt S2 oder direkt nach dem Verfahrensschritt S1 durchgeführt werden. Die Frageinhaltsdaten 20 beschreiben einen Inhalt der erfassten Frage. Die Frageinhaltsdaten 20 werden durch Anwenden eines Inhaltsermittlungskriteriums 21 auf die erfassten Fragedaten 18 und Sensordaten 19 ermittelt. Im Detail umfasst das Inhaltsermittlungskriterium 21 bevorzugt zwei Teilkriterien. Diese sind ein Suchbegriffserkennungskriterium 22 sowie ein Objektkriterium 23.In a method step S3, question content data 20 is determined. Method step S3 can be carried out after method step S2 or directly after method step S1. The question content data 20 describes a content of the acquired question. The question content data 20 is determined by applying a content determination criterion 21 to the recorded question data 18 and sensor data 19 . In detail, the content determination criterion 21 preferably comprises two sub-criteria. These are a search term recognition criterion 22 and an object criterion 23.

Durch Anwenden des Suchbegriffserkennungskriteriums 22 auf die erfassten Fragedaten 18 können Suchbegriffsdaten 24 ermittelt werden, die von den Frageinhaltsdaten 20 umfasst werden. Die Suchbegriffsdaten 24 beschreiben einen Suchbegriff für eine Suchanfrage. In diesem Beispiel führt das Suchbegriffserkennungskriterium 22 beispielsweise eine Spracherkennung durch, sodass ein Benutzerwunsch, das heißt hier die Frage des Benutzers 2, mithilfe der ermittelten Suchbegriffsdaten 24 verstanden wird. In dem hier genannten Beispiel beschreiben die Suchbegriffsdaten 24 beispielsweise die beiden Suchbegriffe „Alter“ und „Politiker“ 16. Letztendlich umfassen die Suchbegriffsdaten 24 die Nutzerabsicht des Benutzers 2, das heißt sie beschreiben, welche Informationen dieser erhalten möchte.By applying the search term recognition criterion 22 to the recorded question data 18, search term data 24 that are included in the question content data 20 can be determined. The search term data 24 describes a search term for a search query. In this example, the search term recognition criterion 22 carries out speech recognition, for example, so that a user request, that is to say the question of the user 2 here, is understood using the search term data 24 determined. In the example given here, the search term data 24 describe the two search terms “age” and “politician” 16. Ultimately, the search term data 24 include the user intention of the user 2, ie they describe what information the user would like to receive.

Beim Anwenden des Objektkriteriums 23 auf die erfassten Sensordaten 19 werden Objektdaten 25 ermittelt. Die Objektdaten 25 werden ebenfalls von den Frageinhaltsdaten 20 umfasst. Die Objektdaten 25 beschreiben das Objekt 15, auf das sich die erfasste Frage bezieht. Im hier genannten Beispiel sind die Objektdaten 25 beispielsweise Bilddaten, die den Politiker 16 zeigen. Hierfür werden beispielsweise die Kameradaten der Frontkamera als Sensoreinrichtung 5 derart ausgewertet, dass diesen unter Berücksichtigung der erfassten Sensordaten 19, die den Benutzer 2 beschreiben, entnommen werden kann, dass das Wahlplakat das Objekt 15 ist, auf das sich die Frage des Benutzers 2 bezieht. Zudem werden Bilddaten aus den beispielsweise insgesamt von der Frontkamera erfassten Daten extrahiert, die nur noch beispielsweise das auf dem Wahlplakat gezeigte Portrait des Politikers 16 beschreiben. Es wird also beispielsweise ein Hintergrund des Objekts 15 und/oder weitere Objekte 15 in der Umgebung des Objekts 15, hier des Wahlplakats, aus den Sensordaten 19 entfernt, sodass die Objektdaten 25 nur noch auf das Objekt 15 gerichtet sind. Die insgesamt erfassten Frageinhaltsdaten 20 umfassen also die konkrete Frage des Benutzers 2 sowie das klassifizierte Objekt 15.When applying the object criterion 23 to the detected sensor data 19, object data 25 are determined. The object data 25 are also included in the question content data 20 . The object data 25 describes the object 15 to which the recorded question relates. In the example mentioned here, the object data 25 is, for example, image data that shows the politician 16 . For this purpose, for example, the camera data of the front camera as a sensor device 5 are evaluated in such a way that, taking into account the recorded sensor data 19 that describes the user 2, it can be inferred that the election poster is the object 15 to which the question from the user 2 relates. In addition, image data is extracted from the data recorded overall by the front camera, for example, which only describe, for example, the portrait of the politician 16 shown on the election poster. For example, a background of the object 15 and/or other objects 15 in the vicinity of the object 15, here the election poster, is removed from the sensor data 19 so that the object data 25 are only directed at the object 15. The overall recorded question content data 20 therefore includes the specific question of the user 2 and the classified object 15.

Das Inhaltsermittlungskriterium 21 basiert bevorzugt auf Methoden des maschinellen Lernens, insbesondere auf einem künstlichen neuronalen Netzwerk. Bevorzugt umfasst das Inhaltsermittlungskriterium 21 eine Vorschrift und/oder einen Algorithmus, der auf mehrschichtigem Lernen, wie Deep Learning, und/oder einem Programmiergerüst zur datenstromorientierten Programmierung, wie zum Beispiel TensorFlow basiert.The content determination criterion 21 is preferably based on machine learning methods, in particular on an artificial neural network. The content determination criterion 21 preferably comprises a rule and/or an algorithm based on multi-layer learning, such as deep learning, and/or a programming framework for data-stream-oriented programming, such as TensorFlow.

In einem Verfahrensschritt S4 wird eine Suchanfrage 26 nach den ermittelten Frageinhaltsdaten 20 durchgeführt. Die Suchanfrage 26 ist an den Suchmaschinenindex 12 gerichtet und wird bevorzugt mittels der externen Recheneinrichtung 11 durchgeführt. Im Rahmen der Suchanfrage 26 werden Informationsdaten 27 ermittelt, die die angefragte zumindest eine Information zum Objekt 15 beschreiben. Im Detail werden also beispielsweise die Objektdaten 25 einer Bildersuche auf Basis des Suchmaschinenindex 12 zugrunde gelegt, sodass beispielsweise der auf dem Wahlplakat als Objekt 15 dargestellte Politiker 16 identifiziert werden kann. Basierend auf den Suchbegriffsdaten 24 der Frageinhaltsdaten 20 kann zudem eine Suche nach dem Alter des nun identifizierten Politikers 16 durchgeführt werden. Die Informationsdaten 27 umfassen in diesem Beispiel somit bevorzugt eine Altersangabe des Politikers 16.In a method step S4, a search request 26 for the ascertained question content data 20 is carried out. The search query 26 is directed to the search engine index 12 and is preferably carried out using the external computing device 11 . As part of the search query 26, information data 27 are determined that describe the requested at least one piece of information about the object 15. In detail, for example, the object data 25 is used as a basis for an image search based on the search engine index 12, so that For example, the politician 16 shown as object 15 on the election poster can be identified. Based on the search term data 24 of the question content data 20, a search for the age of the politician 16 that has now been identified can also be carried out. In this example, the information data 27 preferably includes an indication of the age of the politician 16.

Die externe Recheneinrichtung 11 kann für die Durchführung der Suchanfrage 26 auf die externe Datenquelle 13 zugreifen. Bevorzugt wird bereits das Ermitteln der Frageinhaltsdaten 20, das heißt der Verfahrensschritt S3, mittels der externen Recheneinrichtung 11 durchgeführt. Alternativ oder zusätzlich dazu ist es möglich, dass die Verfahrensschritte S1, S2 sowie S3 alle im Kraftfahrzeug 1 durchgeführt werden. Zumindest die Verfahrensschritte S1 und S2 werden stets vom Kraftfahrzeug 1 und/oder zumindest teilweise von einem mobilen Endgerät, das im Kraftfahrzeug 1 positioniert ist, durchgeführt. Das mobile Endgerät kann ein Mobiltelefon, wie ein Smartphone, und/oder ein Tablet des Benutzers 2 sein, das im Kraftfahrzeug 1 angeordnet ist.The external computing device 11 can access the external data source 13 to carry out the search query 26 . The determination of the question content data 20, ie the method step S3, is preferably already carried out by means of the external computing device 11. As an alternative or in addition to this, it is possible for method steps S1 , S2 and S3 to be carried out in motor vehicle 1 . At least method steps S1 and S2 are always carried out by motor vehicle 1 and/or at least partially by a mobile terminal that is positioned in motor vehicle 1 . The mobile end device can be a cell phone, such as a smartphone, and/or a tablet of the user 2 that is arranged in the motor vehicle 1 .

In einem Verfahrensschritt S5 können eine Position des Objekts 15 beschreibende Positionsdaten 28 ermittelt werden. Im Verfahrensschritt S6 wird daraufhin überprüft, ob die ermittelten Positionsdaten 28 und die Informationsdaten 27, die im Verfahrensschritt S4 ermittelt wurden, demselben Objekt 15 zugeordnet sind. Die hierbei verwendeten Positionsdaten 28 werden ausgehend von mittels der Positionserfassungseinrichtung 8 des Kraftfahrzeugs 1 ermittelten Fahrzeugpositionsdaten des Kraftfahrzeugs 1 in Kombination mit dem ermittelten Abstand zwischen Kraftfahrzeug 1 und Objekt 15 ermittelt. Es kann zudem die Ausrichtung des Kraftfahrzeugs 1 berücksichtigt werden.In a method step S5, position data 28 describing a position of the object 15 can be determined. In method step S6, it is then checked whether the determined position data 28 and the information data 27, which were determined in method step S4, are associated with the same object 15. The position data 28 used here are determined based on vehicle position data of the motor vehicle 1 determined by the position detection device 8 of the motor vehicle 1 in combination with the determined distance between the motor vehicle 1 and the object 15 . The orientation of the motor vehicle 1 can also be taken into account.

Falls die Überprüfung im Verfahrensschritt S6 negativ ausfällt, kann darauf geschlossen werden, dass die Positionsdaten 28 nicht zu den Informationsdaten 27 passen, sodass die Informationsdaten 27 nicht eine Antwort auf die Frage sein können, die mittels der Fragedaten 18 erfasst wurde. Es kann daraufhin beispielsweise erneut die Suchanfrage 26 durchgeführt werden. Falls die ermittelten Positionsdaten 28 und die ermittelten Informationsdaten 27 demselben Objekt 15 zugeordnet sind, das heißt, falls diese zueinander passen, wird mit einem Verfahrensschritt S7 fortgefahren.If the check in method step S6 is negative, it can be concluded that the position data 28 does not match the information data 27, so that the information data 27 cannot be an answer to the question that was recorded using the question data 18. The search query 26 can then be carried out again, for example. If the ascertained position data 28 and the ascertained information data 27 are assigned to the same object 15, ie if they match one another, the process continues with a method step S7.

Ist die Frage des Benutzers 2 beispielsweise auf ein geografisch fest verankertes Objekt 15 gerichtet, wie beispielsweise ein Landschaftsobjekt wie einen Berg in der Nähe der Straße 14, kann im Verfahrensschritt S6 überprüft werden, ob beispielsweise ermittelte Informationsdaten 27 auch tatsächlich dem Berg zugeordnet werden können, der als Objekt 15 in der Umgebung des Kraftfahrzeugs 1 angeordnet ist. Falls beispielsweise Informationen über einen Berg bei der Suchanfrage 26 erhalten werden, der eindeutig außerhalb der Sichtweite des Benutzers 2 ist, können auf diese Art und Weise die derart fehlerhaft gefundenen Suchergebnisse nicht weiter berücksichtigt werden. Hierdurch wird sichergestellt, dass bei lokal fest verankerten Objekten 15 eine Überprüfung des tatsächlichen Zusammenhangs zwischen den Informationsdaten 27 und dem Objekt 15 bestehen, das den Positionsdaten 28 zugeordnet wird.If the question from the user 2 is directed, for example, to a geographically firmly anchored object 15, such as a landscape object such as a mountain near the road 14, it can be checked in method step S6 whether, for example, information data 27 that has been determined can actually be assigned to the mountain. which is arranged as object 15 in the vicinity of motor vehicle 1 . If, for example, information about a mountain is obtained in the search query 26 that is clearly outside the range of vision of the user 2, the search results found in this way with errors can no longer be taken into account in this way. This ensures that in the case of locally firmly anchored objects 15 there is a check of the actual connection between the information data 27 and the object 15 which is assigned to the position data 28 .

Im Verfahrensschritt S7 wird ein Antwortermittlungskriterium 29 auf die ermittelten Informationsdaten 27 angewendet. Hierbei werden ausgebbare Antwortdaten 30 ermittelt, die eine die ermittelte Information umfassende Antwort auf die erfasste Frage beschreiben. Im genannten Beispiel umfassen die Antwortdaten 30 beispielsweise die Information, dass der Politiker 16 43 Jahre alt ist.A response determination criterion 29 is applied to the determined information data 27 in method step S7. In this case, answer data 30 that can be output are determined, which describe an answer to the recorded question that includes the determined information. In the example mentioned, the response data 30 includes, for example, the information that the politician 16 is 43 years old.

In einem weiteren Verfahrensschritt S8 erfolgt ein Ausgeben der Antwortdaten 30 im Kraftfahrzeug 1, und zwar mittels der Ausgabeeinrichtung 6, 7. Hierbei werden zwei Teilantwortdaten 31 unterschieden, und zwar erste Teilantwortdaten 31, die eine akustisch ausgebbare Antwort beschreiben, und zweite Teilantwortdaten 31, die eine optisch ausgebbare Antwort beschreiben. Die beiden Teilantwortdaten 31 unterscheiden sich bevorzugt in zumindest einer Information voneinander. Beispielsweise können die ersten Teilantwortdaten 31 mittels des Lautsprechers als Ausgabeeinrichtung 6 und die zweiten Teilantwortdaten 31 mittels der Anzeigeeinrichtung als Ausgabeeinrichtung 7 angezeigt werden. Beispielsweise kann die optisch ausgebbare Antwort mehr Details aufweisen als die akustisch ausgebbare Antwort. Die akustisch ausgebbare Antwort im genannten Beispiel ist bevorzugt der Satz: „Dieser Politiker ist 43 Jahre alt“. Die optisch ausgebbare Antwort kann zudem Details zu dem Politiker 16 selbst, wie sein Geburtsdatum, sein Name, seine Parteizugehörigkeit und/oder einen Link zu einer Webseite zu dem Politiker 16, umfassen.In a further method step S8, response data 30 is output in motor vehicle 1, specifically by means of output device 6, 7. Two partial response data 31 are distinguished here, namely first partial response data 31, which describe an acoustically outputtable response, and second partial response data 31, which describe a response that can be output visually. The two partial response data items 31 preferably differ from one another in at least one piece of information. For example, the first partial response data 31 can be displayed using the loudspeaker as the output device 6 and the second partial response data 31 can be displayed using the display device as the output device 7 . For example, the response that can be output visually can have more details than the response that can be output acoustically. The answer that can be output acoustically in the example mentioned is preferably the sentence: “This politician is 43 years old”. The response that can be output visually can also include details about the politician 16 himself, such as his date of birth, his name, his party affiliation and/or a link to a website about the politician 16 .

Die Verfahrensschritte S6 und S7 werden bevorzugt von der externen Recheneinrichtung 11 durchgeführt. Zumindest der Verfahrensschritt S8 wird vom und/oder im Kraftfahrzeug 1 durchgeführt.The method steps S6 and S7 are preferably carried out by the external computing device 11 . At least method step S8 is carried out by and/or in motor vehicle 1 .

Zusätzlich oder alternativ zu dem genannten Beispiel kann das Objekt 15 ein Werbeplakat, eine elektronische Anzeige, insbesondere eine Werbeanzeige, ein Lebewesen, insbesondere eine Pflanze und/oder ein Tier, und/oder ein Landschaftsobjekt, wie beispielsweise der Berg, sein.In addition or as an alternative to the example mentioned, the object 15 can be an advertising poster, an electronic display, in particular an advertisement, a living being, in particular a plant and/or an animal, and/or a landscape object such as a mountain.

Insgesamt zeigen die Beispiele ein Verfahren zur dynamischen Informationsgewinnung von Objekten 15 in der Umgebung des Kraftfahrzeugs 1. Hierbei werden multimodal mit einem Sprachassistenten eine Frage- und Antwortfunktion durchgeführt, wobei der Benutzer 2 sich über das Objekt 15 in der Umgebung informiert. Die Fragedaten 18 werden an ein Backendsystem, das heißt bevorzugt die externe Recheneinrichtung 11, übertragen, wobei dies beispielsweise von der Steuereinrichtung 10 des Kraftfahrzeugs 1 gesteuert wird. Die Steuereinrichtung 10 kann als Session Handler bezeichnet werden. Ein Objektklassifizierer (Object Classifier), das heißt das Objektkriterium 23, wird mit der Nutzerabsicht, die in Form der Suchbegriffsdaten 24 vorliegt, und den relevanten Bildausschnitten, das heißt den Sensordaten 19 des Objekts 15, von der Steuereinrichtung 10 bedient. Auf Basis derer wird eine bildverarbeitende Objektklassifizierung samt optionaler Webanfrage angestoßen, um das klassifizierte Objekt 15 zurückzugeben. Es werden also die Verfahrensschritte S3 und S4 durchgeführt. Nachfolgend werden die Nutzerabsichten samt verortetem klassifiziertem Objekt 15 für Programmierschnittstellenanfragen (Application Programming Interface (API)-Calls) vorbereitet und die gewünschten Infos, das heißt die Informationsdaten 27, ermittelt. Die API-Calls an sich umfassen sämtliche an das System 17 angebundene Schnittstellen von Drittanbietern und Serviceprovider, die use-case-basiert identifiziert und bedient werden. Die Drittanbieter und Serviceprovider sind beispielsweise die externe Datenquelle 13. Sollte eine direkte Zuordnung zum Zeitpunkt der Anfrage, das heißt zum Zeitpunkt der Erfassung der Fragedaten 18, noch nicht umgesetzt sein, wird mit einer Standardonlinesuche fortgefahren, die aufgrund des größeren Lösungsraums ebenso einen höheren Aufwand wie Nachbereitung nach sich zieht.Overall, the examples show a method for dynamic information acquisition from Objek ten 15 in the vicinity of the motor vehicle 1. Here, a multimodal question and answer function is performed with a language assistant, with the user 2 being informed about the object 15 in the vicinity. The question data 18 is transmitted to a backend system, ie preferably the external computing device 11, this being controlled by the control device 10 of the motor vehicle 1, for example. The control device 10 can be referred to as a session handler. An object classifier, ie the object criterion 23, is operated by the control device 10 with the user intention, which is present in the form of the search term data 24, and the relevant image sections, ie the sensor data 19 of the object 15. Based on this, an image-processing object classification including an optional web request is triggered in order to return the classified object 15 . The method steps S3 and S4 are therefore carried out. The user intentions together with the localized classified object 15 are then prepared for programming interface requests (Application Programming Interface (API) calls) and the desired information, ie the information data 27, is determined. The API calls themselves include all third-party and service provider interfaces connected to the system 17, which are identified and operated on a use-case basis. The third-party providers and service providers are, for example, the external data source 13. If a direct assignment has not yet been implemented at the time of the query, i.e. at the time the question data 18 is recorded, a standard online search is continued, which also involves more effort due to the larger solution space how follow-up entails.

Nach Erhalt der Daten von den externen Datenquellen 13 wird eine Filterung auf die konkrete Kundenintention, das heißt die Frage des Benutzers 2, vollzogen. Hierzu findet eine Homogenisierung der erhaltenen Objektdaten 25 auf Grundlage der kondensierten Nutzerabsicht, das heißt der Suchbegriffsdaten 24, statt. Ferner findet eine Analyse und Optimierung des Mappings des In- und Outputs statt. Anschließend folgt in den Verfahrensschritten S7 und S8 die Zusammenstellung der Daten für die Sprach- und Textausgabe des digitalen Assistenten. Der digitale Assistent ist hier also das Mikrofon in Kombination mit dem Lautsprecher des Kraftfahrzeugs 1.After receiving the data from the external data sources 13, the specific customer intention, ie the question of the user 2, is filtered. For this purpose, the object data 25 obtained is homogenized on the basis of the condensed user intention, ie the search term data 24 . Furthermore, an analysis and optimization of the mapping of the input and output takes place. Then, in method steps S7 and S8, the data for the voice and text output of the digital assistant is compiled. The digital assistant here is the microphone in combination with the loudspeaker of motor vehicle 1.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102018222378 A1 [0003]

Claims

Method for providing information requested in a motor vehicle (1) about an object (15) in an area surrounding the motor vehicle (1), comprising the following steps: (a) Detection (S1) of acoustic question data (18) describing a question from a user (2) of the motor vehicle (1) by means of a detection device (3), the user (2) asking for at least one piece of information an object (15) in an area surrounding the motor vehicle (1); (b) Recording (S2) of sensor data (19) describing the user (2) of the motor vehicle (1) and/or the object (15) in the area surrounding the motor vehicle (1) by means of at least one sensor device (4, 5 ); (c) determining (S3) question content data (20) describing a content of the recorded question by applying a content determination criterion (21) to the recorded question data (18) and sensor data (19); (d) Determination (S4) of information data (27) that describe the requested at least one piece of information about the object (15) by performing a search query (26) on a search engine index (12) for the determined question content data (20) using an external computing device (11); (e) determination (S7) of answer data (30) which can be output and which describe an answer to the recorded question comprising the determined information, by applying an answer determination criterion (29) to the determined information data (27); (f) outputting (S8) the response data (30) in the motor vehicle (1) by means of an output device (6, 7).

procedure after claim 1 , wherein the object (15) in the area is at least one of the following objects (15): - a poster, in particular an advertising poster and/or an election poster; - a digital advertisement, in particular an advertisement; - a living being, in particular a plant and/or an animal; and/or - a landscape object (15).

Method according to one of the preceding claims, wherein the detected sensor data (19) describe at least one of the following information: - a head direction of the user (2); - a line of sight of the user (2); - a gesture of the user (2); - a position of the motor vehicle (1); - An orientation of the motor vehicle (1); - A distance of the motor vehicle (1) to the object (15); and or - static and/or moving images of the object (15).

Method according to one of the preceding claims, wherein position data (28) describing a position of the object (15) are determined (S5) and it is checked (S6) whether the determined position data (28) and information data (27) are assigned to the same object (15). are, only if this is the case the response determination criterion (29) is applied.

Method according to one of the preceding claims, wherein the content determination criterion (21) has a search term recognition criterion (22) and by applying the search term recognition criterion (22) to the recorded question data (18) search term data (24) are determined which contain a search term for the search query (26) describe, wherein the question content data (20) have the search term data (24).

Method according to one of the preceding claims, wherein the content determination criterion (21) has an object criterion (23) and by applying the object criterion (23) to the detected sensor data (19), object data (25) are determined which the object (15) on which the recorded question relates, wherein the question content data (20) includes the object data (25).

Method according to one of the preceding claims, wherein the content determination criterion (21) is based on machine learning.

Method according to one of the preceding claims, wherein the recorded question data (18) and/or sensor data (19) are transmitted to the external computing device (11) and the external computing device (11) carries out method steps (c) to (e).

Method according to one of the preceding claims, wherein the response data (30) describe an acoustically outputtable response and an optically outputtable response, which differ in particular in at least one piece of partial information of the determined information.

System (17) for providing information requested in a motor vehicle (1) about an object (15) in an area surrounding the motor vehicle (1), the system (17) having the motor vehicle (1) and an external computing device (11) and is designed to carry out a method according to one of the preceding claims.