DE102018117015A1

DE102018117015A1 - Method for detecting an interest of a user of a motor vehicle in an object, detection system and motor vehicle

Info

Publication number: DE102018117015A1
Application number: DE102018117015.7A
Authority: DE
Inventors: Charles-Henri Quivy; Keilatt Andriantavison; Emmanuel Doucet
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2018-07-13
Filing date: 2018-07-13
Publication date: 2020-01-16

Abstract

Die Erfindung betrifft ein Verfahren zum Detektieren eines Interesses eines Benutzers (3) eines Kraftfahrzeugs (1) an einem Gegenstand (4), welcher durch ein physisches Objekt (5) in einer Umgebung (7) des Kraftfahrzeugs (1) repräsentiert wird, wobei zumindest eine Charakteristik (11, 12) von mindestens einem Körperteil (13, 14) des Benutzers (3) erfasst wird, eine Positionsinformation über das Objekt (5) in der Umgebung (7) des Kraftfahrzeugs (1) bestimmt wird, und zumindest in Abhängigkeit von der erfassten Charakteristik (11, 12) des mindestens einen Körperteils (13, 14) und der bestimmten Positionsinformation bestimmt wird, ob der Benutzer (3) an dem Gegenstand (4) interessiert ist. Dabei erfasst zumindest ein Umfeldsensor (6a, 5b, 6n) des Kraftfahrzeugs (1) Umgebungsdaten, in Abhängigkeit von welchen die Positionsinformation über das Objekt (5) bestimmt wird.The invention relates to a method for detecting an interest of a user (3) of a motor vehicle (1) in an object (4), which is represented by a physical object (5) in an environment (7) of the motor vehicle (1), at least a characteristic (11, 12) of at least one body part (13, 14) of the user (3) is detected, position information about the object (5) in the environment (7) of the motor vehicle (1) is determined, and at least as a function of it the detected characteristic (11, 12) of the at least one body part (13, 14) and the determined position information determine whether the user (3) is interested in the object (4). At least one environment sensor (6a, 5b, 6n) of the motor vehicle (1) detects environmental data, depending on which the position information about the object (5) is determined.

Description

Die Erfindung betrifft ein Verfahren eines Interesses eines Benutzers eines Kraftfahrzeugs an einem Gegenstand, welcher durch ein physisches Objekt in einer Umgebung des Kraftfahrzeugs repräsentiert wird, wobei zumindest eine Charakteristik von zumindest einem Körperteil des Benutzers erfasst wird, eine Positionsinformation über das Objekt in der Umgebung des Kraftfahrzeugs bestimmt wird und zumindest in Abhängigkeit von der erfassten Charakteristik des mindestens einen Körperteils und der bestimmten Positionsinformation bestimmt wird, ob der Benutzer an dem Gegenstand interessiert ist. Die Erfindung betrifft auch ein Detektionssystem zum Detektieren eines Interesses eines Benutzers eines Kraftfahrzeugs an einem Gegenstand und ein Kraftfahrzeug mit einem solchen Detektionssystem.The invention relates to a method of interest of a user of a motor vehicle in an object, which is represented by a physical object in an environment of the motor vehicle, wherein at least one characteristic of at least one body part of the user is detected, position information about the object in the environment of the Motor vehicle is determined and at least depending on the detected characteristic of the at least one body part and the determined position information, it is determined whether the user is interested in the object. The invention also relates to a detection system for detecting an interest of a user of a motor vehicle in an object and a motor vehicle with such a detection system.

Die heutigen Kraftfahrzeug-Wirtschaftssysteme verändern sich dramatisch, verursacht durch Entwicklungen in Wachstumsmärkten, der beschleunigten Entwicklung von neuen Technologien, Nachhaltigkeitsstrategien und Verbraucherverhalten. Die Digitalisierung und neue Geschäftsmodelle haben die Branchen revolutioniert und revolutionieren diese noch. Für den Kraftfahrzeugsektor rufen diese Veränderungen drei disruptive technologiegetriebene Entwicklungen hervor: diverse Mobilität, Elektrifizierung und automatisiertes Fahren.Today's automotive economies are changing dramatically, due to developments in growth markets, the accelerated development of new technologies, sustainability strategies and consumer behavior. Digitization and new business models have revolutionized the industries and are still revolutionizing them. For the automotive sector, these changes are causing three disruptive technology-driven developments: diverse mobility, electrification and automated driving.

Automatisierte Technologien erzeugen vielfältiges Interesse, und daher kann ein starkes Langzeitpotential erwartet werden. Jedoch wird das Ausmaß der Verbreitung stark von der Überwindung eines breiten Spektrums an Hindernissen abhängen. Zunächst sind die technologischen Herausforderungen nicht unwesentlich, um eine sichere und verlässliche Lösung zu erreichen. Die Regelungen um den Markt sind auch nicht vollständig bestimmt. Und letztendlich müssen die Begeisterung und die Bereitschaft des Verbrauchers, für solche Funktionalitäten zu bezahlen, noch bekräftigt werden.Automated technologies generate diverse interest, and therefore a strong long-term potential can be expected. However, the extent of the spread will depend heavily on overcoming a wide range of obstacles. First of all, the technological challenges are not insignificant in order to achieve a safe and reliable solution. The regulations around the market are also not completely determined. And finally, the enthusiasm and willingness of consumers to pay for such functionalities still need to be reaffirmed.

Jedoch, wenn diese Herausforderungen einmal angegangen sind, werden automatisierte Fahrzeuge zu einem enormen Mehrwert führen, der Verbrauchern geboten wird. Ein progressives Szenario sagt vorher, dass 50% der Personenkraftwagen, die in 2030 verkauft werden, hoch automatisiert entsprechend einem Autonomielevel von 3 sein werden, und 15% vollautomatisiert korrespondierend zu einem Autonomielevel 4 und mehr.However, once these challenges are addressed, automated vehicles will add tremendous value to consumers. A progressive scenario predicts that 50% of the passenger cars sold in 2030 will be highly automated according to an autonomy level of 3, and 15% fully automated corresponding to an autonomy level 4 and more.

Weiterhin stellt es mit Hinblick auf hoch- und vollautomatisierte Kraftfahrzeuge eine weitere Herausforderung dar, den Fahrer zu unterhalten, da der Fahrer eigentlich nur ein Insasse des Kraftfahrzeugs ist und keine Fahraufgaben mehr ausführen muss, außer höchstens in Notsituationen. Eine Möglichkeit, den Benutzer eines solchen Kraftfahrzeugs zu unterhalten, wäre es, zusätzliche Informationen über Objekte in der Umgebung, wie bestimmte Gebäude, Straßen, Restaurants und so weiter, zu präsentieren. Um eine Informationsüberflutung zu vermeiden, ist es vorteilhaft, solche Informationen nur in dem Fall bereitzustellen, dass ein Interesse des Benutzers für einen bestimmten Gegenstand erfasst wird. In diesem Zusammenhang beschreibt die US 2009/0097705 A1 ein Verfahren zum Gewinnen von Informationen durch Tracking eines Benutzers. Gemäß diesem Verfahren bezieht ein Gerät Trackinginformationen eines Gesichts oder Kopfes eines Benutzers, bestimmt eine Position und Orientierung des Benutzers, bestimmt eine Richtung des Fokus des Benutzers basierend auf den Trackinginformationen, der Position und der Orientierung. Zusätzlich kann das Gerät Informationen beziehen, die mit einem Ort, auf welchen der Benutzer fokussiert, im Zusammenhang stehen. Insbesondere wird zum Bestimmen, auf welches Objekt der Benutzer aktuell blickt, in einer Datenbank eine Suche nach einer Liste von Orten von Interesse in einer Karte durchgeführt, und aus der Liste wählt das Gerät einen Ort oder ein Merkmal aus, das sich direkt auf der Blicklinie des Benutzers befindet. Die Identität dieses Merkmals oder des Ortes kann dann an den Benutzer ausgegeben werden, zum Beispiel mittels eines Lautsprechers oder eines Displays. Darüber hinaus kann, um das Gerät in der Karte zu lokalisieren, das Gerät einen GPS-Empfänger verwenden.Furthermore, with regard to highly and fully automated motor vehicles, it is a further challenge to entertain the driver, since the driver is actually only an occupant of the motor vehicle and no longer has to carry out driving tasks, except at most in emergency situations. One way to entertain the user of such a motor vehicle would be to present additional information about objects in the area, such as certain buildings, streets, restaurants and so on. In order to avoid information overload, it is advantageous to provide such information only in the event that the user's interest in a specific object is recorded. In this context the US 2009/0097705 A1 a method of obtaining information by tracking a user. According to this method, a device obtains tracking information of a face or head of a user, determines a position and orientation of the user, determines a direction of the focus of the user based on the tracking information, the position and the orientation. In addition, the device can obtain information related to a location on which the user focuses. In particular, in order to determine which object the user is currently looking at, a search is carried out in a database for a list of places of interest on a map, and from the list the device selects a place or a feature that is directly on the line of sight of the user. The identity of this feature or of the location can then be output to the user, for example by means of a loudspeaker or a display. In addition, to locate the device on the map, the device can use a GPS receiver.

Jedoch können sich Merkmal in der Umgebung verändern und es dauert, bis solche Veränderungen angemessen in einer korrespondierenden Umgebungskarte berücksichtigt werden. Darüber hinaus erlaubt die Verwendung einer Karte in Kombination mit einem GPS-Empfänger üblicherweise keine besonders genaue Bestimmung von Positionen von Objekten in der Umgebung. Andererseits ist die Verwendung genauerer Positionsbestimmungssysteme sehr teuer. Daher kann es vorkommen, dass ein solches System Informationen über ein falsches Objekt bereitstellt, welches nicht Gegenstand des Interesses eines Benutzers ist, und das System scheitert dabei, die Information mit Bezug auf das Objekt, an dem der Benutzer tatsächlich interessiert ist, bereitzustellen.However, characteristics in the environment can change and it takes time for such changes to be adequately taken into account in a corresponding environment map. In addition, the use of a map in combination with a GPS receiver usually does not allow a particularly precise determination of the positions of objects in the area. On the other hand, the use of more accurate positioning systems is very expensive. Therefore, such a system may provide information about a false object that is not in the interest of a user, and the system fails to provide the information related to the object the user is actually interested in.

Daher ist es Aufgabe der vorliegenden Erfindung, ein Verfahren zum Detektieren eines Interesses eines Benutzers eines Kraftfahrzeugs an einem Gegenstand, ein Detektionssystem und ein Kraftfahrzeug bereitzustellen, die eine Detektion eines Interesses eines Benutzers an einem Gegenstand in einer robusteren Art und Weise erlauben.It is therefore an object of the present invention to provide a method for detecting an interest of a user of a motor vehicle in an object, a detection system and a motor vehicle, which allow a detection of an interest of a user in an object in a more robust manner.

Diese Aufgabe wird gelöst durch ein Verfahren zum Detektieren eines Interesses eines Benutzers eines Kraftfahrzeugs an einem Gegenstand, durch ein Detektionssystem und ein Kraftfahrzeug mit den Merkmalen gemäß den unabhängigen Ansprüchen. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Figuren.This object is achieved by a method for detecting an interest of a user of a motor vehicle in an object, by a detection system and a motor vehicle with the features according to the independent claims. Advantageous embodiments of the invention are the subject of the dependent claims, the description and the figures.

Erfindungsgemäß wird ein Verfahren zum Detektieren eines Interesses eines Benutzers eines Kraftfahrzeugs an einem Gegenstand bereitgestellt, wobei der Gegenstand durch ein physisches Objekt in einer Umgebung des Kraftfahrzeugs repräsentiert wird. Darüber hinaus wird mindestens eine Charakteristik von zumindest einem Körperteil des Benutzers erfasst, eine Positionsinformation über das Objekt in der Umgebung des Kraftfahrzeugs bestimmt, und zumindest in Abhängigkeit von der erfassten Charakteristik des mindestens einen Körperteils und der bestimmten Positionsinformation wird bestimmt, ob der Benutzer an dem Gegenstand interessiert ist. Darüber hinaus erfasst mindestens ein Umfeldsensor des Kraftfahrzeugs Umgebungsdaten, in Abhängigkeit von welchen die Positionsinformation über das Objekt bestimmt wird.According to the invention, a method is provided for detecting an interest of a user of a motor vehicle in an object, the object being represented by a physical object in an environment of the motor vehicle. In addition, at least one characteristic of at least one body part of the user is detected, position information about the object in the surroundings of the motor vehicle is determined, and it is determined at least depending on the detected characteristic of the at least one body part and the determined position information whether the user is on the Object is interested. In addition, at least one environmental sensor of the motor vehicle acquires environmental data, depending on which the position information about the object is determined.

Durch Verwendung von zumindest einem Umfeldsensor des Kraftfahrzeugs, der auch als exterozeptiver Sensor bezeichnet werden kann, wie eine Kamera, ein Laserscanner usw. (oder jede beliebige Kombination solcher Sensoren, was im Stand der Technik als „Fusion“ oder „Sensorfusion“ bezeichnet wird), kann die Positionsinformation über das Objekt in der Umgebung in einer viel genaueren und robusteren Art und Weise bereitgestellt werden. Somit kann vorteilhafterweise die Anzahl falscher Positive mit Bezug auf die Bestimmung von Gegenständen, an denen der Benutzer interessiert ist, enorm reduziert werden. Insbesondere sind Umfeldsensoren dazu in der Lage, zwischen bewegten Objekten zu unterscheiden, die sich nahe am Kraftfahrzeug befinden, zum Beispiel in einem Abstand von 100 bis 150 m in städtischen Situationen, die das Interesse des Benutzers auf sich ziehen können, und statischen Objekten, solchen wie Gebäude, Geschäfte und Werbeanzeigen.By using at least one environmental sensor of the motor vehicle, which can also be referred to as an exteroceptive sensor, such as a camera, a laser scanner, etc. (or any combination of such sensors, which is referred to in the prior art as “fusion” or “sensor fusion”) , the location information about the object in the environment can be provided in a much more accurate and robust manner. Thus, the number of false positives can advantageously be enormously reduced with regard to the determination of objects in which the user is interested. In particular, environment sensors are able to distinguish between moving objects that are close to the motor vehicle, for example at a distance of 100 to 150 m in urban situations that can attract the user's interest, and static objects, such like buildings, shops and advertisements.

Weiterhin ist es bevorzugt, dass das Verfahren durch ein System ausgeführt wird, insbesondere ein Detektionssystem eines Kraftfahrzeugs, welches zumindest Autonomielevel 3 aufweist. Auf diese Weise kann das Verfahren in einer sehr kosteneffizienten Weise umgesetzt werden, da man Komponenten des Kraftfahrzeugs zur Durchführung des Verfahrens verwenden kann, welche ohnehin für ein automatisiertes Fahren gemäß Level 3 notwendig sind. Zum Beispiel kann ein Fahrerüberwachungssystem, welches im Zusammenhang mit automatisiertem Fahren eine Tätigkeit und/oder automatisierte Routine darstellt, die dazu ausgelegt ist zu bewerten, ob und in welchem Ausmaß der Benutzer die für ihn bestimmte Rolle ausübt, und welches als Gegenmaßnahme für eine Fehlbedienung oder einen Missbrauch einschließlich eines übermäßigen Vertrauens aufgrund des Wohlbehagens eines Fahrautomatisierungssystems genutzt wird, vorteilhafterweise auch genutzt werden, um die mindestens eine Charakteristik des mindestens einen Körperteils des Benutzers zu erfassen. Weiterhin weisen zumindest teilweise automatisierte Kraftfahrzeuge üblicherweise Umfeldsensoren zum Erfassen der Umgebung auf, die nun in vorteilhafter Weise zumindest zur Bestimmung der Positionsinformation über das Objekt, welches den Gegenstand repräsentiert, genutzt werden können. Sogar weitere Komponenten, wie eine HD-Karte, die eine präzise Sublevel-Darstellung des Straßennetzes, einschließlich Neigung, Krümmung, Anzahl an Spuren, Straßenrandobjekten und Infrastrukturen betreffende Informationen, solche wie kulturelle Gebäude, Werbetafeln usw., aufweist, oder Eigenpositionsbestimmungssensoren, die üblicherweise auch für das automatisierte Fahren verwendet werden, können gemäß von Ausführungsbeispielen der Erfindung genutzt werden, was später detaillierter erklärt wird.It is further preferred that the method is carried out by a system, in particular a detection system of a motor vehicle, which has at least an autonomy level 3 having. In this way, the method can be implemented in a very cost-efficient manner, since one can use components of the motor vehicle to carry out the method, which are anyway for automated driving according to Level 3 are necessary. For example, a driver monitoring system that represents an activity and / or automated routine in connection with automated driving, which is designed to evaluate whether and to what extent the user performs the role intended for him, and which countermeasure for incorrect operation or an abuse including excessive trust is used due to the well-being of a driving automation system, advantageously also be used to record the at least one characteristic of the at least one part of the body of the user. Furthermore, at least partially automated motor vehicles usually have surroundings sensors for detecting the surroundings, which can now be used advantageously at least for determining the position information about the object that represents the object. Even other components, such as an HD map that has a precise sublevel representation of the road network, including inclination, curvature, number of lanes, roadside objects and infrastructure information, such as cultural buildings, billboards, etc., or home position sensors, which are common can also be used for automated driving, can be used according to exemplary embodiments of the invention, which will be explained in more detail later.

Weiterhin kann ein Gegenstand im Zusammenhang mit der Erfindung als eine Struktur definiert werden, die spezifische Informationen über ein in der Umgebung des Kraftfahrzeugs detektiertes Objekt enthält. Der Gegenstand wird durch ein physisch vorhandenes Objekt repräsentiert, kann aber zusätzlich auch irgendeine Art von Inhalt umfassen. Wenn also zum Beispiel eine Werbung auf einer Werbetafel dargestellt wird, dann kann der Gegenstand als die Werbung aufgefasst werden, insbesondere als der Inhalt dieser Werbung, die auf der Werbetafel präsentiert wird, während die Tafel selbst das Objekt darstellt, das den Gegenstand repräsentiert. Ein weiteres Beispiel für den Gegenstand wäre das Museum „Le Louvre“ und das Objekt, welches diesen Gegenstand repräsentiert, wäre das Museumsgebäude.Furthermore, an object in connection with the invention can be defined as a structure which contains specific information about an object detected in the surroundings of the motor vehicle. The object is represented by a physically existing object, but can also include some type of content. For example, if an advertisement is displayed on a billboard, then the object can be understood as the advertisement, in particular as the content of this advertisement that is presented on the billboard, while the panel itself represents the object that represents the object. Another example of the object would be the museum “Le Louvre” and the object that represents this object would be the museum building.

Weiterhin können mittels des mindestens einen Umfeldsensors nicht nur Positionsinformationen über das Objekt in der Umgebung des Kraftfahrzeugs detektiert werden, sondern auch die Gegenstände, die von den Objekten repräsentiert werden, können ermittelt werden, was später genauer beschrieben wird. Dies hat den großen Vorteil, dass durch die Verwendung von mindestens einem Umfeldsensor auch häufig wechselnde Inhalte von Werbetafeln oder Werbungen auf Wänden erfasst werden können, was üblicherweise durch Verwendung einer herkömmlichen Navigationskarte oder Umgebungskarte zum Detektieren und Identifizieren von Gegenständen nicht möglich ist.Furthermore, by means of the at least one environment sensor, not only position information about the object in the environment of the motor vehicle can be detected, but also the objects represented by the objects can be determined, which will be described in more detail later. This has the great advantage that the use of at least one environment sensor means that frequently changing contents of billboards or advertisements on walls can also be detected, which is usually not possible by using a conventional navigation map or environment map for detecting and identifying objects.

Gemäß einer vorteilhaften Ausgestaltung der Erfindung stellt die mindestens eine erfasste Charakteristik des mindestens einen Körperteils eine Augencharakteristik von mindestens einem Auge des Benutzers, insbesondere eine Blickrichtung, dar, insbesondere in Abhängigkeit von welcher ein Blickpunkt, auf welchen der Benutzer aktuell blickt, in einem definierten Kraftfahrzeugkoordinatensystem bestimmt wird. Der Blick stellt einen besonders geeigneten Indikator dafür dar, dass der Benutzer an einem bestimmten Gegenstand interessiert ist, auf welchen der Benutzer gerade blickt. Um die Augen des Benutzers zu detektieren, insbesondere die Blickrichtung, kann eine Kamera, insbesondere eine CCD-Kamera verwendet werden, die zum Eye-Tracking ausgelegt ist, zum Beispiel durch Infrarotlichtdetektoren und insbesondere durch Verwendung infraroter Lichtquellen, wie LEDs, um die Augen des Benutzers zu beleuchten. Eine solche Kamera kann zum Beispiel auf der Lenksäule positioniert sein oder irgendwo anders innerhalb des Kraftfahrzeugs. Das Kraftfahrzeug kann auch eine Kamera für jeden Passagier aufweisen, so dass das Interesse von jedem Passagier des Kraftfahrzeugs an Gegenständen in der Umgebung gleichzeitig erfasst werden kann und für jeden Passagier separat. Im Allgemeinen können, wenngleich die Erfindung und ihre Ausführungsformen auch mit Bezug auf einen Benutzer beschrieben sind, alle gezeigten Merkmale und Ausführungsformen in gleicher Weise auch auf mehrere Benutzer, die sich insbesondere zur gleichen Zeit innerhalb desselben Kraftfahrzeugs befinden, angewandt werden.According to an advantageous embodiment of the invention, the at least one detected characteristic of the at least one body part represents an eye characteristic of at least one eye of the user, in particular a direction of view, in particular as a function of which a viewpoint on which the user is currently looking is determined in a defined motor vehicle coordinate system. The view is a particularly suitable indicator that the user is interested in a particular object that the user is currently looking at. In order to detect the user's eyes, in particular the direction of view, a camera, in particular a CCD camera, can be used which is designed for eye tracking, for example by infrared light detectors and in particular by using infrared light sources, such as LEDs, around the eyes of the user To illuminate the user. Such a camera can be positioned on the steering column, for example, or anywhere else within the motor vehicle. The motor vehicle can also have a camera for each passenger, so that the interest of every passenger of the motor vehicle in objects in the environment can be recorded simultaneously and separately for each passenger. In general, although the invention and its embodiments are also described with reference to one user, all the features and embodiments shown can also be applied in the same way to a plurality of users who are in particular within the same motor vehicle at the same time.

Darüber hinaus kann in Abhängigkeit von den erfassten Umgebungsdaten die Position des Objekts in einem definierten Kraftfahrzeugkoordinatensystem ebenfalls bestimmt werden, und insbesondere auch die räumliche Ausdehnung des Objekts kann im Kraftfahrzeugkoordinatensystem bestimmt werden. Durch die Bestimmung der Blickrichtung sowie der Position und der räumlichen Ausdehnung des Objekts im Kraftfahrzeugkoordinatensystem kann auf einfache Weise ermittelt werden, ob der Benutzer gerade auf das Objekt blickt oder nicht.In addition, the position of the object in a defined motor vehicle coordinate system can also be determined as a function of the recorded environmental data, and in particular the spatial extent of the object can also be determined in the motor vehicle coordinate system. By determining the line of sight as well as the position and the spatial extent of the object in the motor vehicle coordinate system, it can be determined in a simple manner whether the user is looking at the object or not.

Deshalb ist es weiterhin vorteilhaft, wenn bestimmt wird, dass der Benutzer an dem Gegenstand zumindest unter der Bedingung interessiert ist, dass basierend auf einem Vergleich der Positionsinformation über das Objekt und der bestimmten Blickrichtung bestimmt wird, dass der Benutzer aktuell auf das Objekt blickt. Zum Beispiel können die Blickrichtung und das Objekt in 3D-Koordinaten in Bezug auf das Kraftfahrzeugkoordinatensystem bestimmt werden, und dann kann überprüft werden, ob die Blickrichtung, die auch Blicklinie genannt wird, das detektierte Objekt schneidet. Der Schnittpunkt repräsentiert dann den Blickpunkt des Benutzers.It is therefore furthermore advantageous if it is determined that the user is interested in the object at least under the condition that it is determined based on a comparison of the position information about the object and the particular direction of view that the user is currently looking at the object. For example, the viewing direction and the object can be determined in 3D coordinates with respect to the motor vehicle coordinate system, and it can then be checked whether the viewing direction, which is also called the line of sight, intersects the detected object. The intersection then represents the user's point of view.

Jedoch muss die Tatsache, dass der Benutzer momentan auf einen bestimmten Gegenstand blickt, nicht notwendigerweise bedeuten, dass der Benutzer an diesem Gegenstand interessiert ist. Daher ist es besonders vorteilhaft, weitere Bedingungen bereitzustellen gemäß welchen überprüft werden kann, ob der Benutzer an dem Gegenstand, auf welchen der Benutzer momentan blickt, interessiert ist.However, the fact that the user is currently looking at a particular item does not necessarily mean that the user is interested in that item. It is therefore particularly advantageous to provide further conditions according to which it can be checked whether the user is interested in the object which the user is currently looking at.

Somit wird gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung bestimmt, dass der Benutzer an dem Gegenstand zumindest unter der zusätzlichen Bedingung interessiert ist, zum Beispiel einer zweiten Bedingung, dass ermittelt wird, dass der Benutzer auf das Objekt für eine bestimmte Mindestzeitdauer blickt. Wenn der Benutzer auf ein bestimmtes Objekt zum Beispiel für mehrere Sekunden blickt, dann ist es sehr wahrscheinlich, dass der Benutzer auch an dem Gegenstand interessiert ist, der durch das Objekt repräsentiert wird, auf welches er für eine solch lange Zeit blickt. Somit kann ein geeigneter Grenzwert für diese Mindestzeitdauer bereitgestellt werden, und im Falle, dass der Benutzer auf ein bestimmtes Objekt länger als dieser definierte Grenzwert blickt, wird erfasst, dass der Benutzer an dem Gegenstand, der von dem Objekt repräsentiert wird, auf welches der Benutzer gerade blickt, interessiert ist. Solch ein Grenzwert kann geeignet gewählt werden zum Beispiel zwischen einer und fünf Sekunden. Der Grenzwert kann auch von der aktuellen Fahrzeuggeschwindigkeit abhängen, insbesondere so, dass der Grenzwert verringert werden kann, je schneller das Kraftfahrzeug fährt.It is thus determined according to a further advantageous embodiment of the invention that the user is interested in the object at least under the additional condition, for example a second condition that it is determined that the user looks at the object for a certain minimum period of time. For example, if the user looks at a particular object for several seconds, then it is very likely that the user is also interested in the object represented by the object he is looking at for such a long time. A suitable limit value can thus be provided for this minimum period of time, and in the event that the user looks at a specific object for longer than this defined limit value, it is detected that the user on the object represented by the object to which the user is concerned just looks, is interested. Such a limit value can be suitably chosen, for example between one and five seconds. The limit value can also depend on the current vehicle speed, in particular in such a way that the limit value can be reduced the faster the motor vehicle is traveling.

Die Blickrichtung sowie auch die Positionsinformation des Objekts können wiederholt in aufeinanderfolgenden diskreten Zeitschritten bestimmt werden. Somit kann zum Erfassen, ob der Benutzer auf das bestimmte Objekt für die definierte Mindestzeitdauer blickt, bestimmt werden, ob der Benutzer auf das Objekt für eine definierte Mindestanzahl von aufeinanderfolgenden Zeitschritten blickt. Somit kann zum Beispiel für jedes Mal, das detektiert wird, dass Benutzer auf das gleiche Objekt blickt, eine Interessen-Rate erhöht werden, und sobald die Interessen-Rate einen vorbestimmten Grenzwert erreicht, kann eine Ausgangs-Flag gleich 1 gesetzt werden, was bedeutet, dass die Aufmerksamkeit des Benutzers gegenüber dem Gegenstand bestätigt ist.The viewing direction as well as the position information of the object can be determined repeatedly in successive discrete time steps. Thus, to determine whether the user is looking at the specific object for the defined minimum period of time, it can be determined whether the user is looking at the object for a defined minimum number of successive time steps. Thus, for example, for each time it is detected that users are looking at the same object, an interest rate can be increased, and once the interest rate reaches a predetermined limit, an output flag can be set to 1, which means that the user's attention to the item is confirmed.

Dadurch kann das Interesse des Benutzers nicht nur detektiert, sondern auch quantifiziert werden. Zum Beispiel kann das Interesse des Benutzers als umso höher klassifiziert werden, je länger der Benutzer auf ein bestimmtes Objekt blickt. Dies erlaubt vorteilhafterweise eine Klassifikation von Gegenständen in mehr oder weniger interessante Gegenstände. Dies ermöglicht viele weitere Ausführungsformen und Anwendungen, zum Beispiel dem Benutzer mit dem Gegenstand im Zusammenhang stehende Informationen in Abhängigkeit vom detektieren Ausmaß des Interesses des Benutzers zu präsentieren. Auch kann, wie dies später beschrieben wird, das Ausmaß des Interesses für eine Analyse eines Verbraucherverhaltens, einer Marktsegmentierung und so weiter dienen.As a result, the user's interest can not only be detected, but also quantified. For example, the user's interest can be classified as higher the longer the user looks at a particular object. This advantageously allows objects to be classified into more or less interesting objects. This enables many other embodiments and applications, for example to present information related to the object to the user depending on the detected level of interest of the user. Also, as will be described later, the level of interest in analyzing a Serve consumer behavior, market segmentation and so on.

Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung stellt die mindestens eine erfasste Charakteristik des mindestens einen Körperteils eine Charakteristik von mindestens einem Arm und/oder Finger des Benutzers dar, in Abhängigkeit von welcher eine Zeigerichtung in einem definierten Kraftfahrzeugkoordinatensystem bestimmt wird. Somit kann in vorteilhafterweise auch das Zeigen eines Benutzers in eine bestimmte Richtung mit seinem Arm oder Finger als Indikator dafür verwendet werden, dass der Benutzer an einem in dieser Richtung liegenden Gegenstand interessiert ist. Ein solches Zeigen kann alternativ oder zusätzlich zur bestimmten Blickrichtung des Benutzers verwendet werden. Dies ermöglicht es auch, dass ein Benutzer mit seinem Finger in Richtung eines Gegenstands, an welchem er interessiert ist, zu dem Zweck zeigen kann, sein Interesse für diesen Gegenstand dem System aktiv zu signalisieren. Die Zeigerichtung kann einfach durch Extrapolation des Arms oder Zeigefingers in die Richtung deren Länge bestimmt werden. Zum Beispiel kann eine Linie durch den Unterarm und/oder Zeigefinger des Benutzers gefittet werden. Auch kann das Zeigen als oben genannte zweite Bedingung anstelle des Mindestzeitdauerkriteriums dienen. Weiterhin kann die zweite Bedingung zur Bestätigung des Interesses des Benutzers an dem Gegenstand, auf welchen er aktuell blickt, auch sein, dass entweder das Zeigen in Richtung des Gegenstands detektiert wird oder detektiert wird, dass das Mindestzeitdauerkriterium erfüllt ist.According to a further advantageous embodiment of the invention, the at least one detected characteristic of the at least one body part represents a characteristic of at least one arm and / or finger of the user, depending on which a pointing direction is determined in a defined motor vehicle coordinate system. Thus, advantageously pointing the user in a certain direction with his arm or finger can be used as an indicator that the user is interested in an object lying in this direction. Such a pointing can be used as an alternative or in addition to the particular viewing direction of the user. This also enables a user to point his finger towards an object in which he is interested for the purpose of actively signaling his interest in the object to the system. The pointing direction can be easily determined by extrapolating the arm or index finger in the direction of their length. For example, a line can be fitted through the user's forearm and / or index finger. The pointing can also serve as the above-mentioned second condition instead of the minimum duration criterion. Furthermore, the second condition for confirming the interest of the user in the object on which he is currently looking can also be that either the pointing in the direction of the object is detected or it is detected that the minimum duration criterion is met.

Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird bestimmt, dass der Benutzer an dem Gegenstand zumindest unter der (zusätzlichen) Bedingung interessiert ist, dass basierend auf einem Vergleich der Positionsinformation über das Objekt und der bestimmten Zeigerichtung bestimmt wird, dass der Benutzer aktuell auf das Objekt zeigt. Somit kann die Erfassung des Zeigens des Benutzers als eine zusätzliche Bedingung verwendet werden, insbesondere zusätzlich zu einer oder beiden oben genannten Bedingungen, um das Interesse des Benutzers zu detektieren. Darüber hinaus ist es auch möglich, dass nur das Zeigen des Benutzers mittels seines Arms oder Fingers detektiert wird und die Tatsache, dass der Benutzer auf ein bestimmtes Objekt zeigt, die einzige Bedingung zur Detektion, dass der Benutzer an dem Gegenstand, der durch dieses Objekt repräsentiert wird, interessiert ist, darstellt. Darüber hinaus kann auch hier die Dauer des Zeigens zur Bestimmung und/oder Quantifizierung des Interesses des Benutzers berücksichtigt werden, insbesondere analog zur Blickrichtung, wie oben besch rieben.According to a further advantageous embodiment of the invention, it is determined that the user is interested in the object at least under the (additional) condition that it is determined based on a comparison of the position information about the object and the determined pointing direction that the user is currently on the object shows. Thus, the detection of the user's pointing can be used as an additional condition, in particular in addition to one or both of the above conditions, to detect the user's interest. In addition, it is also possible that only the pointing of the user by means of his arm or finger is detected and the fact that the user is pointing to a specific object, the only condition for detection that the user is at the object caused by this object is represented, is interested, represents. In addition, the duration of the pointing for determining and / or quantifying the interest of the user can also be taken into account here, in particular analogously to the viewing direction, as described above.

Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird die Positionsinformation des Objekts zusätzlich basierend auf einer Karte, die die Position des Objekts in einem stationären Koordinatensystem enthält, und basierend auf der Position und Orientierung des Kraftfahrzeugs bestimmt, die mit Bezug auf das stationäre Koordinatensystem ermittelt werden. Mittels der Kenntnis der Position und Orientierung des Kraftfahrzeugs mit Bezug auf das stationäre oder globale Koordinatensystem, in welchem auch Objekte, die in der Karte enthalten sind, definiert sind, können die Position von jeweiligen Objekten im Kraftfahrzeugkoordinatensystem wieder einfach bestimmt werden. Wie oben bereits erwähnt, kann die Detektion und Identifikation von Gegenständen in der Umgebung des Benutzers auf beidem basieren, den Umgebungsdaten, die von dem mindestens einen Umfeldsensor erfasst werden, sowie basierend auf einer Karte, die zum Beispiel in Form einer Karte mit niedriger Auflösung oder einer Karte mit hoher Auflösung bereitgestellt sein kann. Durch die Kombination von beidem, nämlich der Karte und den Umfeldsensoren, kann die Robustheit der Detektion noch mehr erhöht werden. Insbesondere können sich Informationen, die von der Karte bereitgestellt werden, und die von dem Umfeldsensor bereitgestellt werden, gegenseitig ergänzen.According to a further advantageous embodiment of the invention, the position information of the object is additionally determined based on a map which contains the position of the object in a stationary coordinate system and based on the position and orientation of the motor vehicle, which are determined with reference to the stationary coordinate system. By knowing the position and orientation of the motor vehicle with reference to the stationary or global coordinate system, in which objects that are contained in the map are also defined, the position of respective objects in the motor vehicle coordinate system can be determined again easily. As already mentioned above, the detection and identification of objects in the environment of the user can be based on both, the environmental data that are recorded by the at least one environment sensor, and based on a map, for example in the form of a map with a low resolution or a high resolution card can be provided. The robustness of the detection can be increased even more by combining both, namely the card and the environment sensors. In particular, information provided by the card and provided by the environment sensor can complement one another.

Somit kann im Allgemeinen auf der Basis von den Umgebungsdaten eine erste Liste von Gegenständen in der Umgebung des Kraftfahrzeugs bereitgestellt werden und auf der Basis der Karte ein zweite Liste von Gegenständen, wobei die erste und zweite Liste von Gegenständen verknüpft werden, wodurch eine verknüpfte Liste von Gegenständen bereitgestellt wird, auf deren Basis bestimmt wird, ob der Benutzer an einem der Gegenstände interessiert ist. Die Bestimmung dessen, ob der Benutzer an einem dieser Gegenstände interessiert ist, kann wie oben als ein Beispiel mit Bezug auf den einzelnen Gegenstand, der durch das Objekt repräsentiert wird, beschrieben, durchgeführt werden. Somit können die Informationen, die von mindestens einem Umfeldsensor und der Karte bereitgestellt werden, zusammengefügt werden, wodurch die verknüpfte Liste von Gegenständen bereitgestellt wird, umfassend die Positionsinformation über jeden der Gegenstände oder jedes der Objekte, die die jeweiligen Gegenstände repräsentieren. Dann kann wiederum überprüft werden, wohin der Benutzer schaut und/oder wohin er mit seinem Finger zeigt, zum Beispiel für eine Mindestzeitdauer, und im Falle, dass erfasst wird, dass der Benutzer für eine Mindestzeitdauer auf einen dieser Gegenstände blickt und/oder auf einen dieser Gegenstände zeigt, dann kann der Benutzer als an diesem spezifischen Gegenstand interessiert angesehen werden.Thus, generally a first list of items in the area of the motor vehicle can be provided based on the environmental data and a second list of items based on the map, the first and second lists of items being linked, thereby creating a linked list of Objects are provided, on the basis of which it is determined whether the user is interested in one of the objects. The determination of whether the user is interested in any of these items can be made as described above as an example with respect to the individual item represented by the item. Thus, the information provided by at least one environmental sensor and the map can be combined, thereby providing the linked list of items, including the position information about each of the items or each of the items representing the respective items. Then it can be checked again where the user is looking and / or where he is pointing his finger, for example for a minimum period of time, and in the event that it is detected that the user is looking at one of these objects and / or one for a minimum period of time of these items, then the user can be considered interested in that specific item.

Darüber hinaus kann auch Inhaltsinformation über den Gegenstand bereitgestellt werden, insbesondere, welcher die Art von Objekt spezifiziert, welcher als den Gegenstand repräsentiert und/oder welche den Inhalt spezifiziert, der auf dem Objekt dargestellt ist, wobei basierend auf der Inhaltsinformation zusätzliche Information über den Gegenstand bezogen wird und auf einer Anzeigeeinrichtung angezeigt wird und/oder für eine spätere Anzeige gespeichert wird. Somit kann zum Beispiel zu dem Zeitpunkt, zu welchem detektiert wird, dass der Benutzer an einem bestimmten Objekt, welches einen Gegenstand repräsentiert, interessiert ist, dieser Gegenstand zugeordnet und identifiziert werden. Falls beispielsweise erfasst wird, dass der Benutzer auf ein bestimmtes Gebäude schaut und an diesem Gebäude interessiert ist, dann kann bestimmt werden, welches Gebäude dies ist. Als ein weiteres Beispiel kann, falls erfasst wird, dass der Benutzer für die Mindestzeitdauer zum Beispiel auf eine bestimmte Werbetafel blickt, so dass das Interesse des Benutzers an dieser Tafel detektiert wird, dann der Inhalt, der auf dieser Werbetafel angezeigt wird, nämlich die Werbung oder der Werbungsinhalt, bestimmt werden.In addition, content information about the object can also be provided, in particular, which specifies the type of object, which represents the object and / or which specifies the content which is represented on the object, additional information about the object being obtained based on the content information and being displayed on a display device and / or saved for later viewing. Thus, for example, at the point in time at which it is detected that the user is interested in a specific object that represents an object, this object can be assigned and identified. For example, if it is detected that the user is looking at a particular building and is interested in that building, then it can be determined which building this is. As another example, if it is detected that the user is looking at a particular billboard for the minimum amount of time, for example, so that the user's interest in that billboard is detected, then the content that is displayed on that billboard may be the advertisement or the advertising content.

Danach kann zusätzliche Information über diesen Gegenstand bereitgestellt werden, zum Beispiel mittels einer Websuche. Somit können im Fall, dass der Benutzer an einem Restaurant interessiert ist, zusätzliche Informationen über die Öffnungszeiten dieses Restaurants und/oder eine Speisekarte und/oder eine Homepage dieses Restaurants bereitgestellt werden. Im Falle einer Werbetafel mit einem Logo kann eine Suche durchgeführt werden, um eine Karte anzuzeigen, die die nächsten Geschäfte, die sich auf den Gegenstand beziehen, enthält, und die sich um die aktuelle Position des Kraftfahrzeugs herum befinden. Weiterhin kann solch zusätzliche Information über den Gegenstand von Interesse dem Benutzer sofort angezeigt werden, nämlich online, oder auch gespeichert werden und zu einem anderen Zeitpunkt wiederverwendet werden. Somit kann auch eine Offline-Informationsanzeige bereitgestellt werden.Additional information about this item can then be provided, for example by means of a web search. Thus, in the event that the user is interested in a restaurant, additional information about the opening times of this restaurant and / or a menu and / or a homepage of this restaurant can be provided. In the case of a billboard with a logo, a search can be performed to display a map that shows the nearest shops related to the item and that are around the current position of the motor vehicle. Furthermore, such additional information about the object of interest can be displayed to the user immediately, namely online, or can also be stored and reused at another time. An offline information display can thus also be provided.

Die Inhaltsinformation kann durch die Karte bereitgestellt werden, die auch die Position des Objekts im stationären Koordinatensystem enthält, und auf deren Basis auch die zweite Liste von Gegenständen bereitgestellt werden kann. Die Inhaltsinformation kann auch durch eine Analyse der Umgebungsdaten bereitgestellt werden. Dies ist besonders vorteilhaft, wenn der mindestens eine Umfeldsensor eine Kamera aufweist. Somit kann zum Beispiel eine optische Zeichenerkennung genutzt werden, um die Inhaltsinformation aus dem detektierten Objekt, welches den Gegenstand repräsentiert, zu beziehen. Dies ist besonders vorteilhaft, da auf diese Weise auch Inhaltsinformation über den Inhalt, der auf Werbetafeln dargestellt wird, einfach bezogen werden kann, was üblicherweise auf der Basis von oben genannter Karte nicht möglich ist, da Werbung normalerwiese sehr häufig wechselt. Durch die Verwendung von beidem, nämlich der Karte und der Analyse der Umgebungsdaten, wird vorteilhafterweise eine besonders umfassende Identifikation von Gegenständen ermöglicht.The content information can be provided by the map, which also contains the position of the object in the stationary coordinate system, and on the basis of which the second list of objects can also be provided. The content information can also be provided by an analysis of the environmental data. This is particularly advantageous if the at least one environment sensor has a camera. Thus, for example, optical character recognition can be used to obtain the content information from the detected object, which represents the object. This is particularly advantageous since in this way it is also easy to obtain content information about the content that is displayed on billboards, which is usually not possible on the basis of the above-mentioned card, since advertisements normally change very frequently. The use of both, namely the map and the analysis of the environmental data, advantageously enables a particularly extensive identification of objects.

Darüber hinaus wird im Falle, dass detektiert wird, dass der Benutzer an dem Gegenstand interessiert ist, gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung eine Information über den Gegenstand an einen Server übertragen, insbesondere einen Cloud-Server. Ein solcher Server kann zum Beispiel alle Informationen über Gegenstände sammeln, für die erfasst wurde, dass sie Gegenstand des Interesses von Benutzern sind, insbesondere von verschiedenen Benutzern von verschiedenen Kraftfahrzeugen. Somit können alle Benutzerinteressensgegenstände, die detektiert und bestätigt wurden, in eine globale Speicherinfrastruktur exportiert werden, zum Beispiel mit der ausdrücklichen Autorisierung des Benutzers, und können dann zum Zwecke des Data-Minings wiederverwendet, zum Beispiel zur Marktsegmentierung, Verbraucherverhaltensanalyse, und so weiter. Ein solcher Cloud-Speicher kann dann zur individuellen oder zur Massenwiederverwendung dienen.In addition, if it is detected that the user is interested in the object, information about the object is transmitted to a server, in particular a cloud server, according to a further advantageous embodiment of the invention. Such a server can, for example, collect all information about objects for which it has been recorded that they are the object of interest of users, in particular of different users of different motor vehicles. Thus, all user interest items that have been detected and confirmed can be exported to a global storage infrastructure, for example with the explicit authorization of the user, and can then be reused for data mining purposes, for example for market segmentation, consumer behavior analysis, and so on. Such a cloud storage can then be used for individual or mass reuse.

Die Erfindung betrifft auch ein Detektionssystem zum Detektieren eines Interesses eines Benutzers eines Kraftfahrzeugs an einem Gegenstand, welcher durch ein physisches Objekt in einer Umgebung des Kraftfahrzeugs repräsentiert wird, wobei das Detektionssystem Erfassungsmittel aufweist, die dazu ausgelegt sind, mindestens eine Charakteristik von mindestens einem Körperteil des Benutzers zu erfassen. Darüber hinaus weist das Detektionssystem eine Steuereinheit auf, die dazu ausgelegt ist, eine Positionsinformation über das Objekt in der Umgebung des Kraftfahrzeugs zu bestimmen. Weiterhin ist die Steuereinheit dazu ausgelegt, zumindest in Abhängigkeit von der erfassten Charakteristik des mindestens einen Körperteils und der bestimmten Positionsinformation zu bestimmen, ob der Benutzer an dem Gegenstand interessiert ist. The invention also relates to a detection system for detecting an interest of a user of a motor vehicle in an object, which is represented by a physical object in an environment of the motor vehicle, the detection system having detection means which are designed to at least one characteristic of at least one part of the body User. In addition, the detection system has a control unit which is designed to determine position information about the object in the vicinity of the motor vehicle. Furthermore, the control unit is designed to determine whether the user is interested in the object, at least depending on the detected characteristic of the at least one body part and the determined position information.

Das Detektionssystem weist mindestens einen Umfeldsensor auf, der dazu ausgelegt ist, Umgebungsdaten zu erfassen, wobei die Steuereinheit dazu ausgelegt ist, die Positionsinformation über das Objekt in Abhängigkeit von den erfassten Umgebungsdaten zu bestimmen.The detection system has at least one environment sensor, which is designed to acquire environmental data, the control unit being designed to determine the position information about the object as a function of the acquired environmental data.

Die mit Bezug auf das erfindungsgemäße Verfahren und seiner Ausgestaltung genannten Vorteile gelten auch für das erfindungsgemäße Detektionssystem.The advantages mentioned with regard to the method according to the invention and its configuration also apply to the detection system according to the invention.

Insbesondere kann der mindestens eine Sensor als Kamera, Laserscanner, Ultraschallsensor, Radar, und so weiter, ausgebildet sein. Das Detektionssystem kann auch mehr als einen dieser Sensoren aufweisen. Darüber hinaus weisen die Erfassungsmittel zum Erfassen der mindestens einen Charakteristik des mindestens einen Körperteils des Benutzers vorzugsweise eine Kamera auf. Das Detektionssystem kann auch weitere Komponenten aufweisen, wie zum Beispiel einen Positionsbestimmungssensor, der aus GPS- und/oder Odometrie-Sensoren zusammengesetzt sein kann. Die Steuereinheit kann auch dazu ausgelegt sein, einen Positionsschätzungs-Algorithmus auszuführen, welcher, insbesondere unter Echtzeitbedingungen, das Kraftfahrzeug auf einer Karte, wie zum Beispiel einer HD-Kartierung, lokalisiert. Solch eine Karte kann ein cloudbasierter Dienst sein, der eine präzise Sublevel-Darstellung eines Straßennetzwerks, einschließlich Neigung, kurvigen Spuren, Anzahl von Fahrspuren, Straßenrandobjekten, sammelt. Zusätzlich zu dieser Information kann eine solche Karte, insbesondere eine HD-Karte, auch Informationen bezüglich Infrastrukturen, wie zum Beispiel kulturellen Gebäuden, Werbetafeln, Mautstellen, Schnellstraßenauffahrten und -abfahrten und so weiter, beinhalten.In particular, the at least one sensor can be designed as a camera, laser scanner, ultrasonic sensor, radar, and so on. The detection system can also do more than one of these Have sensors. In addition, the detection means for detecting the at least one characteristic of the at least one body part of the user preferably have a camera. The detection system can also have further components, such as a position determination sensor, which can be composed of GPS and / or odometry sensors. The control unit can also be designed to execute a position estimation algorithm which, in particular under real-time conditions, locates the motor vehicle on a map, such as, for example, HD mapping. Such a map can be a cloud-based service that collects a precise sublevel representation of a road network, including slope, curved lanes, number of lanes, roadside objects. In addition to this information, such a card, in particular an HD card, can also contain information relating to infrastructures such as cultural buildings, billboards, toll booths, expressway entrances and exits, and so on.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.Further features of the invention result from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description and the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the combination indicated in each case, but also in other combinations without departing from the scope of the invention , Embodiments of the invention are thus also to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, but which emerge from the explanations explained and can be generated by separate combinations of features. Designs and combinations of features are also to be regarded as disclosed, which therefore do not have all the features of an originally formulated independent claim. Furthermore, versions and combinations of features, in particular those explained above, are to be regarded as disclosed, which go beyond or differ from the combinations of features set out in the references of the claims.

Dabei zeigen:

1 eine schematische Darstellung eines Kraftfahrzeugs mit einem Detektionssystem zum Detektieren eines Interesses eines Benutzers an einem Gegenstand gemäß einem Ausführungsbeispiel der Erfindung;
2 eine schematische Darstellung einer Ausgabe auf einer Anzeigeeinrichtung des Kraftfahrzeugs, nachdem das Interesse des Benutzers an einem Gegenstand detektiert wurde, gemäß einem Ausführungsbeispiel der Erfindung;
3 eine schematische Darstellung eines Verfahrens zum Detektieren eines Interesses eines Benutzers eines Kraftfahrzeugs an einem Gegenstand gemäß einem Ausführungsbeispiel der Erfindung;
4 eine schematische Darstellung der weiteren Verarbeitung eines Gegenstands, der als für einen Benutzer von Interesse detektiert wurde, gemäß einem Ausführungsbeispiel der Erfindung;
5 eine schematische Darstellung der Detektion des Interesses eines Benutzers an einem Gegenstand für einzelne Zeitschritte;
6 eine schematische Darstellung des Detektionsszenarios aus 5 für die einzelnen Zeitschritte als Draufsicht; und
7 eine grafische Darstellung der Detektion des Gegenstands von Interesse, der Interessen-Rate und der Flag, die auf 1 gesetzt wird, im Falle, dass das Interesse des Benutzers für den Gegenstand als detektiert erachtet wird, in Abhängigkeit von der Zeit, gemäß einem Ausführungsbeispiel der Erfindung.

Show:

1 a schematic representation of a motor vehicle with a detection system for detecting an interest of a user in an object according to an embodiment of the invention;
2 a schematic representation of an output on a display device of the motor vehicle after the user's interest in an object has been detected, according to an embodiment of the invention;
3 a schematic representation of a method for detecting an interest of a user of a motor vehicle in an object according to an embodiment of the invention;
4 a schematic representation of the further processing of an object, which has been detected as of interest to a user, according to an embodiment of the invention;
5 a schematic representation of the detection of the interest of a user in an object for individual time steps;
6 a schematic representation of the detection scenario 5 for the individual time steps as a top view; and
7 a graphical representation of the detection of the object of interest, the interest rate and the flag, which is set to 1 in the event that the user's interest in the object is considered to be detected, depending on the time, according to an embodiment of the Invention.

1 zeigt eine schematische Darstellung eines Kraftfahrzeugs 1 mit einem Detektionssystem 2 zum Detektieren eines Interesses eines Benutzers 3 an einem Gegenstand 4, welcher durch ein Objekt 5 repräsentiert wird, welches in diesem Beispiel eine Werbetafel darstellt. Das Detektionssystem 2 weist mindestens einen Umfeldsensor auf, welcher in diesem Beispiel eine Frontkamera 6a ist, die dazu ausgelegt ist, die Umgebung 7 des Kraftfahrzeugs 1 zu erfassen, zumindest innerhalb eines bestimmten Sichtfelds 8, dessen Begrenzung durch die gestrichelten Linien 9 dargestellt ist. Das Detektionssystem 2 weist weiterhin Erfassungsmittel 10 auf, die innerhalb des Kraftfahrzeugs 1 angeordnet sind und die dazu ausgebildet sind, zumindest einen Körperteil des Benutzers 3 zu erfassen. Diese Erfassungsmittel 10 können zum Beispiel einen Eye-Tracker zum Tracken des Blicks, insbesondere der Blickrichtung 11 des Benutzers 3 umfassen, zum Beispiel mittels einer Kamera. Die Erfassungsmittel 10 können auch dazu ausgelegt sein, eine Zeigerichtung 12, in welche der Benutzer 3 mit seinem Arm 13 und/oder mit seinem Finger 14 zeigt, zu erfassen. Zu diesem Zweck können die Erfassungsmittel 10 auch eine Kamera aufweisen. Insbesondere können die Erfassungsmittel 10 als ein Fahrerüberwachungssystem unter Verwendung einer CCD-Kamera ausgebildet sein, die zum Beispiel auf der Lenksäule des Kraftfahrzeugs 1 positioniert ist, und welches dazu ausgebildet ist, ein Zeigen des Benutzers 3 unter Verwendung seines Arms 13 und/oder Fingers 14 zu detektieren und das zusätzlich zum „Eye-Tracking“ ausgelegt ist, um die Blickrichtung 11 des Benutzers 3 zu bestimmen, zum Beispiel mittels Infrarotlichtquellen und Detektoren. Darüber hinaus weist das Detektionssystem 2 auch eine Anzeigeeinrichtung 15 auf, auf welcher zusätzliche Informationen über den Gegenstand 4 angezeigt werden können, nachdem das Interesse des Benutzers 3 an dem Gegenstand 4 detektiert wurde. 1 shows a schematic representation of a motor vehicle 1 with a detection system 2 for detecting a user's interest 3 on an object 4 which by an object 5 is represented, which in this example represents an advertising board. The detection system 2 has at least one environment sensor, which in this example is a front camera 6a is that is designed to be the environment 7 of the motor vehicle 1 to capture, at least within a certain field of view 8th , its limitation by the dashed lines 9 is shown. The detection system 2 continues to exhibit detection means 10 on that inside the motor vehicle 1 are arranged and which are designed to at least a body part of the user 3 capture. This means of registration 10 can, for example, use an eye tracker to track the gaze, especially the gaze direction 11 of the user 3 include, for example by means of a camera. The means of registration 10 can also be designed to point a direction 12 in which the user 3 with his arm 13 and / or with his finger 14 shows to capture. For this purpose, the detection means 10 also have a camera. In particular, the detection means 10 be designed as a driver monitoring system using a CCD camera, for example on the steering column of the motor vehicle 1 is positioned, and which is designed to show the user 3 using his arm 13 and / or fingers 14 to detect and which is designed in addition to "eye tracking" to the direction of view 11 of the user 3 to be determined, for example by means of infrared light sources and Detectors. In addition, the detection system 2 also a display device 15 on what additional information on the subject 4 can be displayed after the user's interest 3 on the object 4 was detected.

Weiterhin weist das Detektionssystem 2 eine Steuereinheit 16 auf, welche dazu ausgebildet ist, die Umgebungsdaten, die von der Kamera 6a erfasst wurden, und die Benutzerdaten, die von den Erfassungsmitteln 10 erfasst wurden, auszuwerten, um zu bestimmen, ob der Benutzer 3 an dem Gegenstand 4 in der Umgebung 7 des Kraftfahrzeugs 1 interessiert ist und um weitere Informationen über den erfassten Gegenstand 4 von Interesse für den Benutzer bereitzustellen, welche dann auf der Anzeigeeinrichtung 15 dargestellt werden.Furthermore, the detection system 2 a control unit 16 on which is configured to read the environmental data from the camera 6a were recorded and the user data by the collection means 10 were evaluated to determine whether the user 3 on the object 4 in the neighborhood 7 of the motor vehicle 1 is interested and for more information about the subject matter 4 of interest to the user, which is then on the display device 15 being represented.

Die Kamera 6a stellt vorzugsweise einen kontinuierlichen Videostream der Umgebung 7 bereit, auf welchen die Steuereinheit 16 Bildverarbeitungs-Algorithmen anwenden kann, um Objekte 5 in der Umgebung 7 zu detektieren und die Positionen der Objekte 5 und ihre räumliche Ausdehnung zu bestimmen, insbesondere mit Bezug auf ein Kraftfahrzeugkoordinatensystem 17. Gleichzeitig erfassen die Erfassungsmittel 10 wiederholt Bilder des Benutzers 3, die durch die Steuereinheit 16 analysiert werden und auf deren Basis die Blickrichtung 11 des Benutzers 3 und/oder eine Zeigerichtung 12 bestimmt wird, insbesondere auch mit Bezug auf das Kraftfahrzeugkoordinatensystem 17. Weiterhin wird überprüft, ob der Benutzer 3 auf ein bestimmtes Objekt 5 in der Umgebung 7 blickt und/oder zeigt, welches von der Kamera 6a detektiert wurde. Dies kann durch Vergleichen der Blickrichtung 11 und/oder der Zeigerichtung 12 mit der bestimmten Position des Objekts 5 erfolgen. Falls sich die Blickrichtung 11 und/oder die Zeigerichtung 12 mit dem Objekt 5 schneidet, wird zumindest ein augenblickliches Interesse des Benutzers an dem Gegenstand 4, der vom Objekt 5 repräsentiert wird, detektiert. Dieses Verfahren kann für jeden Zeitschritt wiederholt werden. Im Falle, dass die Anzahl an Detektionen solchen augenblicklichen Interesses des Benutzers 3 an dem Gegenstand 4 einen vorbestimmten Grenzwert überschreitet, kann eine Flag durch die Steuereinheit 16 auf 1 gesetzt werden, und das Interesse des Benutzers 3 an dem Gegenstand 4 kann als erfasst gelten. In diesem Fall kann der Gegenstand 4 zugordnet und identifiziert werden. In diesem Beispiel bedeutet das, dass der Inhalt, der auf der Werbetafel dargestellt ist, die das Objekt 5 darstellt, erkannt werden kann, zum Beispiel mittels optischer Zeichenerkennung. Basierend auf diesem erkannten Inhalt kann die Steuereinheit 16 eine Websuche durchführen, um weitere Informationen über den identifizierten Gegenstand 4 bereitzustellen, und die gefundenen Ergebnisse können auf der Anzeigeeinrichtung 15 angezeigt werden. Dies ist exemplarisch durch 2 dargestellt.The camera 6a preferably provides a continuous video stream of the environment 7 ready on which the control unit 16 Image processing algorithms can apply to objects 5 in the neighborhood 7 to detect and the positions of the objects 5 and to determine their spatial extent, in particular with reference to a motor vehicle coordinate system 17 , At the same time, the recording means capture 10 repeats user images 3 by the control unit 16 are analyzed and on the basis of the direction of view 11 of the user 3 and / or a pointing direction 12 is determined, in particular also with reference to the motor vehicle coordinate system 17 , It is also checked whether the user 3 to a specific object 5 in the neighborhood 7 looks and / or shows which one from the camera 6a was detected. This can be done by comparing the line of sight 11 and / or the pointing direction 12 with the specific position of the object 5 respectively. If the line of sight 11 and / or the pointing direction 12 with the object 5 cuts, at least a current interest of the user in the object 4 that of the object 5 is represented. This procedure can be repeated for each time step. In the event that the number of detections of such instantaneous interest of the user 3 on the object 4 exceeds a predetermined limit, a flag may be issued by the control unit 16 can be set to 1 and the interest of the user 3 on the object 4 can be considered recorded. In this case, the item 4 assigned and identified. In this example, this means that the content that is displayed on the billboard represents the object 5 represents, can be recognized, for example by means of optical character recognition. Based on this recognized content, the control unit can 16 perform a web search to find more information about the identified item 4 provide, and the results found can on the display device 15 are displayed. This is exemplified by 2 shown.

2 zeigt eine schematische Darstellung auf der Anzeigeeinrichtung 15 des Kraftfahrzeugs 1, auf welcher Ergebnisse R1, R2, R3, R4 der Websuche für den identifizierten Gegenstand 4 dargestellt werden. Somit kann im Fall, dass ein bestimmtes Logo als Gegenstand 4 auf der Werbetafel 5 erkannt wurde, das Netz nach weiteren Informationen mit Bezug auf dieses identifizierte Logo durchsucht werden, und die Ergebnisse R1, R2, R3, R4 können auf einer Karte 33 angezeigt werden, die die nächsten Geschäfte, die mit dem identifizierten Gegenstand 4 in Zusammenhang stehen, als Ergebnisse R1, R2, R3, R4 umfasst, die um die aktuelle Position des Kraftfahrzeugs, welches in der Karte 33 durch ein Symbol S repräsentiert wird, herum angeordnet sind. Auch weitere Informationen über den Gegenstand 4 können in Form einer Liste 18 mit den Ergebnissen R1, R2, R3, R4 dargestellt werden, analog zur einer Suche in Google-Maps. 2 shows a schematic representation on the display device 15 of the motor vehicle 1 on what results R1 . R2 . R3 . R4 the web search for the identified item 4 being represented. Thus, in the event that a specific logo is the subject 4 on the billboard 5 was recognized, the network was searched for more information related to this identified logo, and the results R1 . R2 . R3 . R4 can on a card 33 Showing the closest stores related to the identified item 4 related as results R1 . R2 . R3 . R4 includes the current position of the motor vehicle, which is in the map 33 is represented by a symbol S, are arranged around. Also more information about the item 4 can be in the form of a list 18 with the results R1 . R2 . R3 . R4 are displayed, similar to a search in Google Maps.

Solche Suchergebnisse R1, R2, R3, R4 müssen nicht online dargestellt werden, sondern die Informationen über den identifizierten Gegenstand 4 können alternativ oder zusätzlich auch gespeichert werden, sowie auch die zugeordneten Informationen, und können auf der Anzeigeeinrichtung 15 zu jedem beliebigen späteren Zeitpunkt offline angezeigt werden. Darüber hinaus kann, wie ebenfalls in 1 illustriert ist, der identifizierte Gegenstand 4 auch an einen Cloud-Server 19 zum Speichern übertragen werden. Ein solcher Cloud-Server 19 kann detektierte Gegenstände von Interesse über die Zeit und auch über verschiedene Benutzer 3, 20, 21 von verschiedenen Kraftfahrzeugen 1, 22, 23 sammeln und speichern. Somit können alle Benutzerinteressensgegenstände, die detektiert und bestätigt wurden, in eine globale Speicherinfrastruktur exportiert werden, in diesem Beispiel der Cloud-Server 19, und dann zum Zwecke des Data-Minings, zum Beispiel für eine Marktsegmentierung, eine Verbraucherverhaltensanalyse, und so weiter, wiederverwendet werden.Such search results R1 . R2 . R3 . R4 do not have to be displayed online, but the information about the identified item 4 can alternatively or additionally also be stored, as well as the assigned information, and can be on the display device 15 can be viewed offline at any later time. In addition, as also in 1 is illustrated, the identified object 4 also to a cloud server 19 be transferred for storage. Such a cloud server 19 can detect objects of interest over time and also across different users 3 . 20 . 21 of various motor vehicles 1 . 22 . 23 collect and save. Thus, all objects of user interest that have been detected and confirmed can be exported to a global storage infrastructure, in this example the cloud server 19 , and then reused for data mining purposes such as market segmentation, consumer behavior analysis, and so on.

3 zeigt eine detailliertere schematische Darstellung eines Verfahrens zum Detektieren des Interesses des Benutzers 3 an einem Gegenstand 4 gemäß einem Ausführungsbeispiel der Erfindung. Insbesondere zeigt 3 ein funktionales Blockdiagramm des Verfahrens zum Detektieren des Interesses des Benutzers 3 an einem Gegenstand 4, wobei die Pfeile zwischen den einzelnen funktionalen Einheiten, die im Folgenden beschrieben werden, Signale repräsentieren, die zeitlich veränderbar sind, was bedeutet, dass sie durch die Zeit oder diskrete Zeitschritte indiziert sein können. 3 shows a more detailed schematic representation of a method for detecting the interest of the user 3 on an object 4 according to an embodiment of the invention. In particular shows 3 a functional block diagram of the method for detecting the interest of the user 3 on an object 4 , the arrows between the individual functional units, which are described below, represent signals that can be changed over time, which means that they can be indexed by time or discrete time steps.

In dieser Darstellung weist das Kraftfahrzeug einen ersten Umfeldsensor, welcher wiederum die Kamera 6a, wie zu 1 beschrieben, darstellt, auf, und zusätzlich einen optionalen weiteren Umfeldsensor 6b und eine beliebige Anzahl an weiteren Umfeldsensoren 6n. Diese Sensoren können auf jeder beliebigen Technologie basieren. Zu jedem Zeitschritt stellt jeder dieser Sensoren 6a, 6b, 6n eine Liste L1, L2, Ln von Gegenständen bereit, die in der Umgebung des Kraftfahrzeugs 1 durch die jeweiligen Umfeldsensoren 6a, 6b, 6n detektiert und identifiziert wurden. Die Positionen der jeweiligen Gegenstände 4 sind im Kraftfahrzeugreferenzsystem ausgedrückt. Weiterhin kann auch eine solche Liste L3 von Gegenständen 4 durch eine Karte 24 bereitgestellt werden, wie zum Beispiel eine Karte mit niedriger Auflösung oder eine Karte mit hoher Auflösung, die Informationen mit Bezug auf Infrastrukturen, wie zum Beispiel kulturelle Gebäude, Werbetafeln, Mautstellen, und so weiter, beinhaltet, sowie eine präzise Sublevel-Darstellung des Straßennetzwerks, einschließlich Gefälle, Krümmung, Anzahl an Fahrspuren und/oder Straßenrandobjekten. Diese Listen L1, L2, Ln, L3 werden dann verknüpft, was eine kombinierte Liste L von Gegenständen bereitstellt, ausgedrückt im Kraftfahrzeugkoordinatensystem 17. Diese kombinierte Liste L von Gegenständen 4 wird dann an ein Modul M zur Benutzer-Interessensgegenstand-Identifikation übergeben, insbesondere an ein Submodul M1 davon für die (augenblickliche) Bestimmung des Gegenstands von Interesse I. Neben dieser Liste L von Gegenständen empfängt das Modul M1 weitere Eingangsparameter, nämlich die Blickrichtung 11 des Benutzers und/oder dessen Zeigerichtung 12, die von den Erfassungsmitteln 10 bestimmt werden, zum Beispiel im Fahrerüberwachungssystem, sowie auch die aktuelle Kraftfahrzeugposition P, die von einem Positionsbestimmungssensor 26 des Kraftfahrzeugs 1 bestimmt wird. Ein solcher Positionsbestimmungssensor 26 kann aus einem GPS-Empfänger und/oder Odometriesensoren zusammengesetzt sein, auf deren Basis die Position und Orientierung des Kraftfahrzeugs 1 in der Karte 24 in Echtzeitbedingung bestimmt werden kann. Somit ist in Kenntnis jeder Gegenstandsposition im Kraftfahrzeugkoordinatensystem 17 und in Kenntnis zum Beispiel der aktuellen Blickrichtung 11 des Benutzers die von diesem ersten Modul M1 ausgeführte Funktion die, unter einer endlichen Liste L detektierter Gegenstände 4 denjenigen auszuwählen, auf den der Benutzer 3 augenblicklich schaut. Anstelle der Blickrichtung 11 kann zusätzlich und/oder alternativ auch die Zeigerichtung 12 in gleicher Weise verwendet werden. Falls festgelegt wird, dass der Benutzer 3 nicht auf irgendeinen der detektierten Gegenstände 4 schaut oder zeigt, dann ist der Ausgang dieses ersten Moduls gleich Null. Anderenfalls gibt der Ausgang den Gegenstand 4 als den Gegenstand von (augenblicklichem) Interesse I an, auf welchen der Benutzer 3 gerade blickt und/oder zeigt. Der Ausgang dieses ersten Moduls M1 dient gleichzeitig als weiterer Eingang für das erste Modul M1 im nächsten Zeitschritt. Auf der Basis der Kenntnis über den vorhergehenden Gegenstand von Interesse I kann bestimmt werden, ob der aktuell detektierte Gegenstand von Interesse I sich mit Bezug auf den vorhergehenden verändert hat.In this illustration, the motor vehicle has a first environment sensor, which in turn is the camera 6a , how to 1 described, represents, and, in addition, an optional further ambient sensor 6b and any number of other environment sensors 6n , These sensors can be based on any technology. Each of these sensors provides each time step 6a . 6b . 6n a list L1 . L2 , Ln of objects ready in the area surrounding the motor vehicle 1 through the respective environment sensors 6a . 6b . 6n were detected and identified. The positions of the respective objects 4 are expressed in the motor vehicle reference system. Such a list can also be used L3 of objects 4 through a card 24 such as a low resolution map or a high resolution map that includes information related to infrastructure such as cultural buildings, billboards, toll booths, and so on, and a precise sublevel representation of the road network, including slope, curvature, number of lanes and / or roadside objects. These lists L1 . L2 . ln . L3 are then linked to what is a combined list L of objects, expressed in the motor vehicle coordinate system 17 , This combined list L of objects 4 is then attached to a module M passed for user interest item identification, in particular to a submodule M1 of which for the (current) determination of the object of interest I. In addition to this list L the module receives objects M1 further input parameters, namely the viewing direction 11 of the user and / or their pointing direction 12 by the means of registration 10 be determined, for example in the driver monitoring system, and also the current motor vehicle position P by a position determination sensor 26 of the motor vehicle 1 is determined. Such a positioning sensor 26 can be composed of a GPS receiver and / or odometry sensors, on the basis of which the position and orientation of the motor vehicle 1 on the map 24 can be determined in real time. Thus, every item position in the motor vehicle coordinate system is known 17 and knowing, for example, the current line of sight 11 of the user from this first module M1 executed function which, under a finite list L detected objects 4 select the one the user is looking for 3 looks instantly. Instead of the line of sight 11 can additionally and / or alternatively also the pointing direction 12 can be used in the same way. If it is determined that the user 3 not on any of the detected objects 4 looks or shows, the output of this first module is zero. Otherwise the exit gives the object 4 as the object of (current) interest I to which of the users 3 just looks and / or shows. The output of this first module M1 also serves as an additional input for the first module M1 in the next time step. Based on knowledge of the previous subject of interest I can be determined whether the currently detected object is of interest I has changed with respect to the previous one.

Der Ausgang dieses ersten Moduls M1 dient auch als Eingang für ein zweites Modul M2 zur Benutzer-Interessen-Quantifikation. Dieses zweite Modul M2 gibt eine Benutzer-Interessen-Rate IR aus, welche wiederum als zusätzlicher Eingang für dieses zweite Modul M2 für den nächsten Zeitschritt dient. Auf der Basis der vorhergehenden Interessen-Rate IR und dem Gegenstand des Interesses I, der vom ersten Modul M1 bereitgestellt wird, wird eine neue Interessen-Rate IR bestimmt. Zum Beispiel kann dies durch eine Integration der Rate IR in jedem Zeitschritt erfolgen, gefolgt durch eine Rücksetzung auf Null, falls der Gegenstand von Interesse I, wie dieser vom ersten Modul M1 bestimmt wird, sich zwischen zwei Zeitschritten verändert. Der Ausgang dieses zweiten Moduls M2, nämlich die Interessensrate IR kann mit einem Grenzwert G (vergleiche 7) durch ein drittes Modul M3 verglichen werden. Der Ausgang dieses dritten Moduls M3 kann ein binäres Signal sein, welches auf 1 gesetzt wird, wenn der Grenzwert G überschritten wird, was bedeutet, dass das Interesse des Benutzers an dem Gegenstand 4 bestätigt ist und anderenfalls auf Null gesetzt wird. Dieses Ausgangssignal kann durch eine korrespondierende Flag F repräsentiert werden. Die Kombination dieser Flag F und dem Gegenstand von Interesse I, wie dieser vom ersten Modul M1 bestimmt wurde, werden kombiniert, um einen korrespondierenden Ausgang 27 bereitzustellen. Somit wird, falls die Flag F auf 1 gesetzt wird, dann der Gegenstand von Interesse I als Ausgang 27 gesetzt, und anderenfalls ist der Ausgang gleich Null. Dieser Ausgang 27 kann dann in verschiedenen Arten und Weisen verwendet werden, wie in 4 dargestellt.The output of this first module M1 also serves as an input for a second module M2 for user interest quantification. This second module M2 gives a user interest rate IR , which in turn is an additional input for this second module M2 serves for the next time step. Based on the previous interest rate IR and the object of interest I from the first module M1 A new interest rate will be provided IR certainly. For example, this can be done by integrating the rate IR done in each time step, followed by a reset to zero if the item is of interest I like this from the first module M1 is determined, changes between two time steps. The output of this second module M2 , namely the interest rate IR can with a limit G (see 7 ) by a third module M3 be compared. The output of this third module M3 can be a binary signal which is set to 1 if the limit value G is exceeded, which means that the user's interest in the item 4 is confirmed and is otherwise set to zero. This output signal can be identified by a corresponding flag F be represented. The combination of this flag F and the object of interest I like this from the first module M1 was determined to be combined to a corresponding output 27 provide. Thus, if the flag F is set to 1, then the item becomes of interest I as an exit 27 set, and otherwise the output is zero. That exit 27 can then be used in various ways, as in 4 shown.

4 zeigt eine schematische Darstellung eines Verfahrens zur weiteren Verarbeitung des Ausgangs 27 gemäß einem Ausführungsbeispiel der Erfindung. Dieser zweite Teil des Verfahrens kann durch ein System umgesetzt werden, insbesondere eine Software, die physikalisch vom Benutzer-Interessensgegenstand-Identifikations-Modul M separiert ist und als Folge zum Beispiel als eine Anwendung in eine Multimediaschnittstelle des Kraftfahrzeugs 1 integriert sein kann. Diese Anwendung oder das Modul M4 wird im Folgenden Kontextinformationsmerkmal genannt. Somit wird dieses Kontextinformationsmerkmals-Modul M4 direkt durch den Ausgang 27 versorgt, nämlich dem Gegenstand von Interesse I und der Flag F des Moduls M. Das Kontextinformationsmerkmals-Modul M4 empfängt den Ausgang von dem Benutzer-Interessegegenstand-lidentifikations-Modul M, umfassend die Gegenstandsbeschreibungsstruktur. Falls der Wert der Flag F gleich 1 ist, kann dann das Kontextinformationsmerkmals-Modul M4 zum Beispiel eine Suche durchführen, um zusätzliche Informationen über den identifizierten Gegenstand von Interesse I anzuzeigen. Diese Unteranwendung wird als Online-Informationsanzeige 29 bezeichnet, mittels welcher die Ergebnisse der Suche auf der Anzeigeeinrichtung 15 des Kraftfahrzeugs 1 online angezeigt werden können. Andererseits können auch alle Fahrerinteressensgegenstände 4, die detektiert und bestätigt wurden, in der Anwendung gespeichert werden und zu einem anderen Zeitpunkt wiederverwendet werden, was als Offline-Informationsanzeige 30 bezeichnet wird. Darüber hinaus können auch alle Fahrerinteressensgegenstände 4, die detektiert und bestätigt wurden, in eine globale Speicherstruktur 19 mittels eines Gegenstand-von-Interesse-Exportmoduls M5 exportiert werden und dann zu Data-Mining-Zwecken wiederverwendet werden. Somit kann diese globale Speicherinfrastruktur 19 einen korrespondierenden Speicher 31 aufweisen sowie ein Analysemodul 32, zum Beispiel zur Marktsegmentierung, Verbraucherverhaltensanalyse, und so weiter. In diesem Speicher 31 können auch alle Fahrerinteressensgegenstände 4 von anderen Benutzern anderer Kraftfahrzeuge 22, 23 gesammelt und gespeichert werden. 4 shows a schematic representation of a method for further processing of the output 27 according to an embodiment of the invention. This second part of the method can be implemented by a system, in particular a software that is physically separated from the user interest object identification module M and as a result, for example, as an application in a multimedia interface of the motor vehicle 1 can be integrated. This application or the module M4 is called context information feature in the following. Thus, this context information feature module M4 directly through the exit 27 provided, namely the object of interest I and the flag F of the module M. The context information feature module M4 receives the output from the user interest item identification module M, including the item description structure. If the value of the flag F is 1, then the context information feature module can M4 For example, do a search to find additional information about the identified Subject of interest I display. This sub-application is called an online information display 29 referred to, by means of which the results of the search on the display device 15 of the motor vehicle 1 can be viewed online. On the other hand, all driver interests can 4 that have been detected and confirmed, stored in the application and reused at another time, what as an offline information display 30 referred to as. In addition, all driver interest items can also 4 that have been detected and confirmed into a global memory structure 19 be exported using an M5 item-of-interest export module and then reused for data mining purposes. So this global storage infrastructure 19 a corresponding memory 31 have as well as an analysis module 32 , for example for market segmentation, consumer behavior analysis, and so on. In this store 31 can also use all driver interest items 4 from other users of other motor vehicles 22 . 23 be collected and stored.

5 zeigt ein weiteres detaillierteres Beispiel zur Detektion des Interesses des Benutzers 3 an dem Gegenstand 4 für einzelne aufeinanderfolgende Zeitschritte t0, tk, tn. Insbesondere ist in 5 eine Draufsicht auf die Szene mit dem Gegenstand 4, nämlich der Werbetafel, und dem Kraftfahrzeug 1 an unterschiedlichen Positionen für die verschiedenen Zeitschritte t0, tk, tn dargestellt. In 5 zeigen die drei Bilder unten die Perspektive des Benutzers 4 im Kraftfahrzeug 1 zu den verschiedenen Zeitschritten t0, tk, tn. 5 shows another more detailed example for detecting the interest of the user 3 on the object 4 for individual successive time steps t0, tk, tn. In particular, in 5 a top view of the scene with the object 4 , namely the billboard, and the motor vehicle 1 shown at different positions for the different time steps t0, tk, tn. In 5 the three images below show the perspective of the user 4 in the motor vehicle 1 for the different time steps t0, tk, tn.

6 zeigt dieses Szenario für die verschiedenen Zeitschritte t0, tk, tn in einer schematischen Draufsicht. Darüber hinaus zeigt 7 eine grafische Darstellung des bestimmten Gegenstands von Interesse I als Ausgangssignal des ersten Moduls M1 gemäß 3, die Benutzer-Interessen-Rate IR als Ausgangssignal des zweiten Moduls M2 gemäß 3 und die Flag F des Interesses als das Ausgangssignal des dritten Moduls M3 gemäß 3 in Abhängigkeit von der Zeit t. Zum ersten Zeitschritt t0 wird detektiert, dass die Blickrichtung 11 des Benutzers in Richtung des Gegenstands 4 zeigt, der von mindestens einem der Umfeldsensoren 6a, 6b, 6n detektiert wurde, zum Beispiel wird die Tafel 4 von der Frontkamera 6a des Kraftfahrzeugs 1 erfasst. Während der Zeitspanne vom ersten Zeitschritt t0 zum letzten Zeitschritt tn wird erfasst, dass der Blick 11 des Benutzers kontinuierlich auf den Gegenstand 4 zeigt, was die Interessen-Rate IR des Benutzers erhöht. Dann überschreitet zu einem gegebenen Zeitpunkt die Interessen-Rate IR einen vordefinierten Grenzwert G, und dann wird die Ausgangsflag F gleich 1 gesetzt, was bedeutet, dass die Benutzeraufmerksamkeit dem Gegenstand 4 gegenüber bestätigt ist. Zum diesem Zeitpunkt, um auswertbar zu sein, wird der Gegenstand 4 zugeordnet und identifiziert. In diesem Beispiel bedeutet dies, dass der Inhalt des Gegenstands 4 erfasst wird. Im letzten Zeitschritt tn stimmen die Blickrichtung 11 des Benutzers und der Gegenstand 4 nicht mehr überein, was einen Abfall der Benutzer-Interessen-Rate IR bedeutet und ein Zurücksetzen der Flag F auf Null. 6 shows this scenario for the different time steps t0, tk, tn in a schematic plan view. It also shows 7 a graphical representation of the particular object of interest I as the output signal of the first module M1 according to 3 who have favourited User Interest Rate IR as the output signal of the second module M2 according to 3 and the flag F of interest as the output of the third module M3 according to 3 depending on the time t. At the first time step t0 it is detected that the viewing direction 11 of the user towards the object 4 shows that of at least one of the environment sensors 6a . 6b . 6n has been detected, for example the panel 4 from the front camera 6a of the motor vehicle 1 detected. During the period from the first time step t0 to the last time step tn it is detected that the gaze 11 of the user continuously on the item 4 shows what the interest rate IR of the user increased. Then at a given time the interest rate exceeds IR a predefined limit G , and then the output flag F is set equal to 1, which means that the user attention to the item 4 is confirmed. At this point, in order to be evaluable, the item becomes 4 assigned and identified. In this example, it means the content of the item 4 is recorded. In the last time step tn, the viewing direction is correct 11 of the user and the object 4 no longer match what a drop in the user interest rate IR means and a reset of the flag F to zero.

Zusammenfassend kann mittels der Erfindung und ihren Ausgestaltungen Informationen über das Interesse eines Benutzers in einer sehr genauen und robusten Weise bereitgestellt werden, um konsistente Informationen über einen spezifischen Gegenstand von Interesse in der Umgebung des Kraftfahrzeugs zu erzeugen, welcher mittels Umfeldsensoren des Kraftfahrzeugs detektiert und abgeglichen und zugeordnet wird, und diese Informationen können vorteilhafterweise für kontextabhängige Werbung oder Information an eine Multimediaanzeige übertragen werden und an einen Cloud-Speicher für eine individuelle oder Massenwiederverwendung.In summary, by means of the invention and its configurations, information about the interest of a user can be provided in a very precise and robust manner, in order to generate consistent information about a specific object of interest in the surroundings of the motor vehicle, which object detects and compares and by means of environment sensors of the motor vehicle is assigned, and this information can advantageously be transmitted to a multimedia display for context-dependent advertising or information and to a cloud storage for individual or mass reuse.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

US 2009/0097705 A1 [0005]

Claims

Method for detecting an interest of a user (3) of a motor vehicle (1) in an object (4), which is represented by a physical object (5) in an environment (7) of the motor vehicle (1), comprising the steps: - Detecting at least one characteristic (11, 12) of at least one body part (13, 14) of the user (3); - determining position information about the object (5) in the environment (7) of the motor vehicle (1); - determining at least depending on the detected characteristic (11, 12) of the at least one body part (13, 14) and the determined position information whether the user (3) is interested in the object (4); characterized in that at least one surroundings sensor (6a, 5b, 6n) of the motor vehicle (1) detects surroundings data, depending on which the position information about the object (5) is determined.

Procedure according to Claim 1 , characterized in that the at least one detected characteristic (11, 12) of the at least one body part represents an eye characteristic (11) of at least one eye of the user (3), in particular a direction of view (11), in particular depending on which one of the points of view which the user (3) is currently looking at is determined in a defined motor vehicle coordinate system.

Method according to one of the preceding claims, characterized in that the position of the object (5) in a specific motor vehicle coordinate system (17) is determined as a function of the detected environmental data, and in particular also the spatial extent of the object (5) in the motor vehicle coordinate system (17) is determined.

Procedure according to one of the Claims 2 or 3 , characterized in that it is determined that the user (3) is interested in the object (4) at least under the condition that it is determined based on a comparison of the position information about the object (5) and the determined direction of view (11), that the user (3) is currently looking at the object (5).

Procedure according to Claim 4 , characterized in that it is determined that the user (3) is interested in the object (4) at least under the additional condition that it is determined that the user (3) looks at the object (5) for a certain minimum period of time.

Method according to one of the preceding claims, characterized in that the at least one detected characteristic (11, 12) of the at least one body part (13, 14) is a characteristic (12) of at least one arm (13) and / or finger (14) of the User (3), depending on which a pointing direction (12) is determined in a defined motor vehicle coordinate system (17).

Procedure according to Claim 6 characterized in that it is determined that the user (3) is interested in the object (4) at least under the condition that it is determined based on a comparison of the position information about the object (5) and the determined pointing direction (12), that the user (3) is currently pointing to the object (5).

Method according to one of the preceding claims, characterized in that the position information of the object (5) is additionally based on a map (24) which contains the position of the object (5) in a stationary coordinate system and the position and orientation of the motor vehicle (1 ) is determined, which are determined with reference to the stationary coordinate system (17).

Procedure according to Claim 8 , characterized in that a first list (L1, L2, Ln) of objects (4) in the surroundings (7) of the motor vehicle (1) is provided on the basis of the environmental data and a second one is provided on the basis of the map (24) A list (L 3) of objects (4) is provided, the first and second lists (L1, L2, Ln, L3) of objects (4) being linked, whereby a linked list (L) of objects (4) is provided , on the basis of which it is determined whether the user (3) is interested in one of the objects (4).

Method according to one of the preceding claims, characterized in that content information about the object (4) is provided, in particular which specifies the type of object (5) which represents the object (4) and / or which specifies a content which is shown on the object (5), with additional information (R1, R2, R3, R4) relating to the object (4) being obtained based on the content information and being displayed on a display device (15) and / or for later display is saved.

Procedure according to Claim 10 , characterized in that the content information is provided by the card (24).

Procedure according to one of the Claims 10 or 11 , characterized in that the content information is provided by an analysis of the environmental data, for example using optical character recognition.

Method according to one of the preceding claims, characterized in that, if it is detected that the user (3) is interested in the object (4), information about the object (4) is transmitted to a server (19), in particular a cloud server (19).

Detection system (2) for detecting an interest of a user (3) of a motor vehicle (1) in an object (4), which is represented by a physical object (5) in an environment (7) of the motor vehicle (1), wherein - the Detection system (2) has detection means (10) which are designed to detect at least one characteristic (11, 12) of at least one body part (13, 14) of the user (3); - The detection system (2) has a control unit (16) which is designed to determine position information about the object (5) in the environment (7) of the motor vehicle (1); - The control unit (16) is designed, at least depending on the detected characteristic (11, 12) of the at least one body part (13, 14) and the determined position information, to determine whether the user (3) on the object (4) is interested; characterized in that the detection system (2) has at least one environment sensor (6a, 5b, 6n), which is designed to record environmental data, the control unit (16) being designed to depend on the position information about the object (5) determined from the recorded environmental data.

Detection system (2) after Claim 14 , characterized in that the control unit (16) is designed to execute a position estimation algorithm which, in particular under real-time conditions, locates the motor vehicle (1) on a map (24), such as, for example, HD mapping.

Motor vehicle (1) with a detection system (2) according to one of the Claims 14 or 15 ,