DE102018102560A1

DE102018102560A1 - A method of displaying a scene from a particular viewpoint on a display device of a vehicle and driver assistance system

Info

Publication number: DE102018102560A1
Application number: DE102018102560.2A
Authority: DE
Inventors: Mike Togher; Enda Peter Ward; Fergal O'Malley
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2018-02-06
Filing date: 2018-02-06
Publication date: 2019-08-08
Also published as: WO2019154774A1

Abstract

Die Erfindung betrifft ein Verfahren zum Anzeigen einer Szene (3) von einem bestimmten Blickpunkt (4) aus auf einer Anzeigevorrichtung (5) eines Fahrzeugs (1), wobei die Szene (3) mit einem 3D-Fahrzeugmodell (7) bereitgestellt wird, der bestimmte Blickpunkt (4) innerhalb der Szene (3) festgelegt wird und die Szene (3) vom festgelegten bestimmten Blickpunkt (4) aus auf der Anzeigevorrichtung (5) des Fahrzeugs (1) angezeigt wird. Wenn die Szene (3) bereitgestellt wird, wird die Szene (3) überdies zusammen mit mindestens einem Insassenmodell (8) bereitgestellt.The invention relates to a method for displaying a scene (3) from a particular viewpoint (4) on a display device (5) of a vehicle (1), the scene (3) being provided with a 3D vehicle model (7) certain viewpoint (4) is set within the scene (3) and the scene (3) is displayed on the display device (5) of the vehicle (1) from the designated particular viewpoint (4). Moreover, when the scene (3) is provided, the scene (3) is provided together with at least one occupant model (8).

Description

Die Erfindung betrifft ein Verfahren zum Anzeigen einer Szene, insbesondere einer 3D-Szene, von einem bestimmten Blickpunkt aus auf einer Anzeigevorrichtung eines Fahrzeugs, wobei die Szene mit einem Fahrzeugmodell bereitgestellt wird, der bestimmte Blickpunkt innerhalb der Szene festgelegt wird und die Szene von dem festgelegten bestimmten Blickpunkt aus auf der Anzeigevorrichtung des Fahrzeugs angezeigt wird. Die Erfindung betrifft auch ein Fahrerassistenzsystem für ein Fahrzeug.The invention relates to a method for displaying a scene, in particular a 3D scene, from a particular viewpoint on a display device of a vehicle, wherein the scene is provided with a vehicle model, the particular viewpoint is set within the scene and the scene is determined by the certain viewpoint is displayed on the display device of the vehicle. The invention also relates to a driver assistance system for a vehicle.

Aus dem Stand der Technik sind Systeme bekannt, die beispielsweise eine 360-Grad-Rundumsicht eines Fahrzeugs bereitstellen können, die auf einer Anzeigevorrichtung des Fahrzeugs angezeigt werden kann, um den Fahrer beim Parken des Fahrzeugs zu unterstützen. Zu diesen Zweck kann beispielsweise eine Draufsicht auf eine 360-Grad-Umgebung des Fahrzeugs einschließlich eines 2D-Bitmap-Bilds des Fahrzeugs selbst in einer ebenen Ansicht dargestellt werden. Es gibt jedoch auch Systeme, die 3D-Fahrzeugmodelle aus einem einzelnen gegebenen Blickpunkt oder Voll-3D-Fahrzeugmodelle einer Mensch-Maschine-Schnittstelle bereitstellen können. Diese 3D-Animationen stellen eine lebensechtere Erfahrung für den Benutzer bereit. Solche 3D-Modelle können auch die Möglichkeit bereitstellen, die Kameraansicht anzupassen, um die besten Ansichten für den Fahrer bereitzustellen.Systems are known in the art, for example, that can provide a 360 degree all-round view of a vehicle that can be displayed on a display device of the vehicle to assist the driver in parking the vehicle. For this purpose, for example, a plan view of a 360-degree environment of the vehicle including a 2D bitmap image of the vehicle itself may be displayed in a plan view. However, there are also systems that can provide 3D vehicle models from a single given viewpoint or full 3D vehicle models of a human-machine interface. These 3D animations provide a more lifelike experience for the user. Such 3D models may also provide the ability to customize the camera view to provide the best views for the driver.

Ein ähnliches System ist beispielsweise in US 2017/0195564 A1 beschrieben. Zum Bereitstellen einer 3D-Szene auf der Basis von Kameraeingaben kann ein synthetisiertes Bild der Umgebung des Fahrzeugs bereitgestellt und einem 3D-Schalennetz überlagert werden. Außerdem kann ein Fahrzeugmodell der Szene auf das Netz überlagert werden, um die Position des Fahrzeugs darzustellen, an dem die Kameras montiert sind. Eine solche 3D-Szene kann dann auf einer 2D-Anzeigevorrichtung von einem bestimmten Blickpunkt aus angezeigt werden. Ein solcher virtueller Blickpunkt kann auch durch den Fahrer manuell gewählt werden.A similar system is for example in US 2017/0195564 A1 described. To provide a 3D scene based on camera inputs, a synthesized image of the environment of the vehicle may be provided and superimposed on a 3D shell network. In addition, a vehicle model of the scene may be superimposed on the net to represent the position of the vehicle on which the cameras are mounted. Such a 3D scene can then be displayed on a 2D display device from a particular viewpoint. Such a virtual viewpoint can also be manually selected by the driver.

Da eine realistische Darstellung des Fahrzeugs und seiner Umgebung auf einer Anzeigevorrichtung für den Fahrer hilfreich ist, um sich und insbesondere das Fahrzeug in Bezug auf seine Umgebung zu orientieren, besteht der Wunsch, eine solche Darstellung so realistisch wie möglich bereitzustellen.Since a realistic representation of the vehicle and its surroundings on a display device is helpful to the driver in order to orient himself and in particular the vehicle with respect to his surroundings, there is a desire to provide such a representation as realistically as possible.

Daher ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Anzeigen einer Szene von einem bestimmten Blickpunkt aus auf einer Anzeigevorrichtung eines Fahrzeugs und ein Fahrerassistenzsystem bereitzustellen, mittels derer eine Szene so realistisch und lebensecht wie möglich angezeigt werden kann.Therefore, it is an object of the present invention to provide a method of displaying a scene from a particular viewpoint on a display device of a vehicle and a driver assistance system by means of which a scene can be displayed as realistically and as lifelike as possible.

Diese Aufgabe wird durch ein Verfahren zum Anzeigen einer Szene und ein Fahrerassistenzsystem mit den Merkmalen gemäß den entsprechenden unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungsformen der Erfindung sind in den abhängigen Ansprüchen, der Beschreibung und den Zeichnungen dargestellt.This object is achieved by a method for displaying a scene and a driver assistance system having the features according to the respective independent claims. Advantageous embodiments of the invention are set forth in the dependent claims, the description and the drawings.

Gemäß einem erfindungsgemäßen Verfahren zum Anzeigen einer Szene von einem bestimmten Blickpunkt aus auf einer Anzeigevorrichtung eines Fahrzeugs wird die Szene mit einem 3D-Fahrzeugmodell bereitgestellt, der bestimmte Blickpunkt wird innerhalb der Szene festgelegt und die Szene wird dann vom festgelegten bestimmten Blickpunkt aus auf der Anzeigevorrichtung des Fahrzeugs angezeigt. Wenn die Szene bereitgestellt wird, wird überdies die Szene zusätzlich zusammen mit mindestens einem Insassenmodell bereitgestellt.According to a method of the present invention for displaying a scene from a particular viewpoint on a display device of a vehicle, the scene is provided with a 3D vehicle model, the particular viewpoint is set within the scene, and the scene is then viewed from the designated particular viewpoint on the display device of FIG Vehicle displayed. In addition, when the scene is provided, the scene is additionally provided along with at least one occupant model.

Somit kann das Fahrzeugmodell vorteilhafterweise mit Modellen von Menschen, nämlich dem mindestens einen Insassenmodell, das beispielsweise ein Avatar sein kann, innerhalb des Fahrzeugmodells ergänzt werden, so dass es beispielsweise den Fahrer und Insassen im realen Fahrzeug umfasst. Das mindestens eine Insassenmodell kann folglich einem realen Insassen im realen Fahrzeug entsprechen. Alternativ ist es auch möglich, dass die Szene mit einer festen und vorbestimmten Anzahl von Insassenmodellen unabhängig von der Anzahl von realen Insassen im realen Fahrzeug bereitgestellt wird. In beiden Fällen, aber insbesondere im ersten Fall, kann eine viel realistischere und lebensechtere Erfahrung für einen Benutzer über die Anzeigevorrichtung oder im Allgemeinen eine Mensch-Maschine-Schnittstelle bereitgestellt werden, von der die Anzeigevorrichtung des Fahrzeugs ein Teil ist. Insbesondere um den Realismus zu verbessern, ist es bevorzugt, dass das mindestens eine Fahrgastmodel in Abhängigkeit von mindestens einer Sensoreingabe bereitgestellt wird, die wieder durch mindestens einen Sensor des Fahrzeugs geliefert wird. Für diesen Zweck kann eine Vielfalt von verschiedenen Sensoren verwendet werden, wie Kameras, Sitzbelegungssensoren oder Sicherheitsgurtsensoren, was später genauer erläutert wird. Thus, the vehicle model can advantageously be supplemented with models of people, namely the at least one occupant model, which may be an avatar, for example, within the vehicle model, so that it includes, for example, the driver and occupants in the real vehicle. The at least one occupant model can consequently correspond to a real occupant in the real vehicle. Alternatively, it is also possible that the scene is provided with a fixed and predetermined number of occupant models regardless of the number of real occupants in the real vehicle. In both cases, but especially in the first case, a much more realistic and lifelike experience can be provided to a user via the display device or, generally, a man-machine interface of which the display device of the vehicle is a part. In particular, in order to improve the realism, it is preferable that the at least one passenger model is provided in response to at least one sensor input that is again provided by at least one sensor of the vehicle. For this purpose, a variety of different sensors may be used, such as cameras, seat occupancy sensors or seat belt sensors, which will be explained in more detail later.

Die Szene kann überdies auch Informationen über die Umgebung des realen Fahrzeugs umfassen, insbesondere in Form von Bildern, die durch Umgebungssensoren des Fahrzeugs wie beispielsweise Umgebungskameras, Laserscanner, Ultraschallsensoren und/oder Radare bereitgestellt werden. Die Darstellung der Umgebung des Fahrzeugs oder zumindest eines Teils davon in der Szene kann durchgeführt werden, wie aus dem Stand der Technik bekannt. Eine virtuelle Kugel oder Halbkugel oder eine Schale wie das anfänglich erwähnte 3D-Schalennetz kann beispielsweise bereitgestellt werden, in deren Mitte das Fahrzeugmodell mit dem mindestens einen Insassenmodell angeordnet ist, und synthetisierte Bilder der Umgebung des Fahrzeugs, die durch die Umgebungssensoren des Fahrzeugs bereitgestellt werden, können auf diese Kugel oder Halbkugel oder Schale z. B. von einer definierten Position aus projiziert werden.The scene may also include information about the surroundings of the real vehicle, in particular in the form of images provided by environmental sensors of the vehicle such as environmental cameras, laser scanners, ultrasonic sensors and / or radars. The representation of the environment of the vehicle or at least a part thereof in the scene may be performed as known in the art. For example, a virtual sphere or hemisphere or shell, such as the initially mentioned 3D shell net, may be provided in FIG the center of which the vehicle model is arranged with the at least one occupant model, and synthesized images of the surroundings of the vehicle, which are provided by the environmental sensors of the vehicle, can be applied to this sphere or hemisphere or shell z. B. projected from a defined position.

Vorzugsweise werden, um den Realitätsgrad weiter zu erhöhen, die Szene, das Fahrzeugmodell und das mindestens eine Insassenmodell jeweils als 3D-Szene, als 3D-Fahrzeugmodell und als 3D-Insassenmodel bereitgestellt. Darüber hinaus können die 3D-Szene mit dem 3D-Fahrzeugmodell und dem mindestens einen 3D-Insassenmodell mittels Computergraphik, insbesondere 3D-Computergraphik, erstellt werden. Da eine 3D-Szene viel realistischer ist als eine 2D-Szene und daher eine viel natürlichere Wahrnehmung der Umgebung durch einen Benutzer ermöglicht, stellt dies eine bevorzugte Ausführungsform dar. Daher beziehen sich manche der Ausführungsformen, die nachfolgend beschrieben werden, auf die Szene als 3D-Szene, was bedeutet, dass auch das Fahrzeugmodell und das mindestens eine Insassenmodell in 3D bereitgestellt werden. Nichtsdestoweniger können alle Ausführungsformen, die nachfolgend beschreiben werden, in gleicher Weise auch mit Bezug auf eine Szene als 2D-Szene umgesetzt werden, was bedeutet, dass auch das Fahrzeugmodell und das mindestens eine Insassenmodell in 2D bereitgestellt werden.Preferably, to further increase the degree of reality, the scene, the vehicle model, and the at least one occupant model are each provided as a 3D scene, a 3D vehicle model, and a 3D occupant model. In addition, the 3D scene with the 3D vehicle model and the at least one 3D occupant model can be created by means of computer graphics, in particular 3D computer graphics. Since a 3D scene is much more realistic than a 2D scene and therefore allows a much more natural perception of the environment by a user, this is a preferred embodiment. Therefore, some of the embodiments described below relate to the scene as 3D Scene, which means that the vehicle model and the at least one occupant model are also provided in 3D. Nonetheless, all embodiments described below may equally be implemented with respect to a scene as a 2D scene, which means that the vehicle model and the at least one occupant model are also provided in 2D.

Gemäß einer vorteilhaften Ausführungsform der Erfindung bestimmt mindestens eine erste Detektionsvorrichtung, die insbesondere mindestens einen Sitzbelegungssensor des Fahrzeugs umfasst, welche Sitze des Fahrzeugs durch Insassen belegt sind, wobei für jeden detektierten belegten Sitz des Fahrzeugs ein entsprechendes Insassenmodell, das den jeweiligen Sitz belegt, bereitgestellt wird, insbesondere jeweils in einer entsprechenden Position innerhalb des Fahrzeugmodells, wobei jede entsprechende Position des Fahrzeugmodells dem jeweiligen Sitz des Fahrzeugs entspricht, der als durch den entsprechenden Insasse belegt detektiert wurde. Mit anderen Worten, wenn ein Insasse im realen Fahrzeug auf einem bestimmten Sitz des realen Fahrzeugs detektiert wird, z. B. mittels eines Sitzbelegungssensors, der als Drucksensor ausgestaltet sein kann, dann kann ein Insassenmodell wie ein Avatar innerhalb des Fahrzeugmodells auf dem entsprechenden virtuellen Sitz bereitgestellt werden. Wenn beispielsweise ein Fahrer detektiert wird, der auf dem Fahrersitz sitzt, dann kann ein Avatar erzeugt werden, der auf dem virtuellen Fahrersitz des Fahrzeugmodells sitzt. Mittels dieser Darstellung von Insassen in Form von entsprechenden Modellen von Personen in den korrekten Positionen des Fahrzeugmodells kann der Realismus der dargestellten Szene noch weiter verbessert werden. Mittels einer solchen Darstellung ist es auch möglich, dass der Fahrer beispielsweise prüft, ob alle Insassen an Bord sind oder ob jemand fehlt, indem er nur auf die Anzeigevorrichtung blickt.According to an advantageous embodiment of the invention, at least one first detection device, which in particular comprises at least one seat occupancy sensor of the vehicle, which seats of the vehicle are occupied by occupants, wherein for each detected occupied seat of the vehicle, a corresponding occupant model occupying the respective seat is provided , in particular each in a corresponding position within the vehicle model, wherein each corresponding position of the vehicle model corresponds to the respective seat of the vehicle, which has been detected as occupied by the corresponding occupant. In other words, when an occupant in the real vehicle is detected on a certain seat of the real vehicle, e.g. Example, by means of a seat occupancy sensor, which may be configured as a pressure sensor, then an occupant model can be provided as an avatar within the vehicle model on the corresponding virtual seat. For example, when detecting a driver sitting in the driver's seat, an avatar sitting on the virtual driver's seat of the vehicle model may be generated. By means of this representation of occupants in the form of corresponding models of persons in the correct positions of the vehicle model, the realism of the represented scene can be further improved. By means of such a representation, it is also possible for the driver to check, for example, whether all occupants are on board or whether someone is missing by looking only at the display device.

Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung wird, wenn mittels mindestens eines Sicherheitsgurtsensors detektiert wird, dass der Sicherheitsgurt geschlossen ist, die 3D-Szene mit dem mindestens einen Insassenmodell, das einen Sicherheitsgurt trägt, bereitgestellt. Daher kann ein Fahrer des Fahrzeugs oder irgendeine andere Person im Fahrzeug, für die die angezeigte 3D-Szene auf der Anzeigevorrichtung dargestellt wird, leicht prüfen, ob alle Insassen ihre Sicherheitsgurte geschlossen haben. Folglich kann die Sicherheit verbessert werden. Ferner ist es auch möglich, einen Sicherheitsgurtsensor zu verwenden, um zu bestimmen, ob eine Person auf einem bestimmten Sitz sitzt. Dies kann zusätzlich oder alternativ zur Verwendung des vorstehend erwähnten Sitzbelegungssensors durchgeführt werden.According to a further advantageous embodiment of the invention, when it is detected by means of at least one seat belt sensor that the seat belt is closed, the 3D scene is provided with the at least one occupant model wearing a safety belt. Therefore, a driver of the vehicle or any other person in the vehicle for whom the displayed 3D scene is displayed on the display device can easily check whether all occupants have their seat belts closed. Consequently, safety can be improved. Further, it is also possible to use a seatbelt sensor to determine if a person is sitting in a particular seat. This may be done additionally or alternatively to the use of the above-mentioned seat occupancy sensor.

Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung erfasst mindestens eine zweite Detektionsvorrichtung im Inneren des Fahrzeugs, insbesondere eine innere Kamera, eine Eigenschaft des mindestens einen Insassen des Fahrzeugs, und wenn die 3D-Szene bereitgestellt wird, wird das Insassenmodell mit einer virtuellen Eigenschaft in Abhängigkeit von der erfassten Eigenschaft des mindestens einen Insassen modelliert. Somit können vorteilhafterweise auch persönliche Eigenschaften der Insassen berücksichtigt werden, wenn das Insassenmodell bereitgestellt wird, das die jeweiligen Insassen darstellt. Daher kann die reale Situation noch genauer widergespiegelt werden. Dadurch kann eine Vielfalt von verschiedenen Eigenschaften, insbesondere persönlichen Eigenschaften, erfasst werden.According to a further advantageous embodiment of the invention, at least one second detection device in the interior of the vehicle, in particular an inner camera, detects a property of the at least one occupant of the vehicle, and when the 3D scene is provided, the occupant model with a virtual property is dependent on modeled the detected property of the at least one occupant. Thus, advantageously, personal characteristics of the occupants may also be taken into account when providing the occupant model representing the respective occupants. Therefore, the real situation can be more accurately reflected. As a result, a variety of different properties, in particular personal characteristics, can be detected.

Vorzugsweise ist die mindestens eine erfasste Eigenschaft mindestens eine von einem Geschlecht mindestens eines Insassen, nämlich ob der mindestens eine Insasse männlich oder weiblich ist, und/oder einer von mindestens zwei definierten Altersklassen des mindestens einen Insassen, insbesondere ob der mindestens eine Insasse ein Erwachsener oder ein Kind ist, und/oder einer Haarfarbe von mindestens einem Insasse und/oder einer Hautfarbe des mindestens einen Insassen, und/oder einer Haarlänge des mindestens einen Insassen und/oder einer Farbe der Kleidung des mindestens einen Insassen und/oder eines Gesichtsausdrucks des mindestens einen Insassen und/oder einer Geste des mindestens einen Insassen und/ ein Aussehen eines Gesichts des mindestens einen Insassen. Daher kann vorteilhafterweise eine Vielfalt von verschiedenen persönlichen Eigenschaften von Insassen erfasst und durch entsprechende virtuelle Eigenschaften des Insassenmodells, nämlich des Avatars, dargestellt werden. Zum Erfassen dieser Eigenschaften sind eine oder mehrere Kameras, insbesondere innere Kameras, sehr vorteilhaft. Mittels mindestens einer inneren Kamera können Bilder des Innenraums des Fahrzeugs mit den Insassen erfasst und analysiert werden, um die vorstehend genannten Eigenschaften zu extrahieren. Eine solche Analyse kann Merkmalserkennungs- und Klassifikationsverfahren verwenden. Zum Beispiel kann ein Bild von zumindest einem Teil mindestens eines Insassen einschließlich dessen Gesichts mittels einer Innenraumkamera aufgenommen werden, und der Teil des Bildes, der sich auf das Gesicht des mindestens einen Insassen bezieht, kann als Gesicht des Insassenmodells, welches den zumindest einen Insassen repräsentiert, bereitgestellt werden. Daher kann vorteilhafterweise ein Aussehen des Insassenmodells bereitgestellt werden, das mit dem des realen Insassen nahezu identisch ist.Preferably, the at least one detected property is at least one of a gender of at least one occupant, namely, whether the at least one occupant is male or female, and / or one of at least two defined age groups of the at least one occupant, in particular whether the at least one occupant is an adult or is a child, and / or a hair color of at least one occupant and / or skin color of the at least one occupant, and / or a hair length of the at least one occupant and / or a color of the clothing of the at least one occupant and / or a facial expression of at least an occupant and / or a gesture of the at least one occupant and / or an appearance of a face of the at least one occupant. Therefore, a variety of different personal characteristics of occupants can advantageously be detected and by corresponding virtual characteristics of the occupant model, namely the avatar, being represented. To capture these properties, one or more cameras, especially internal cameras, are very advantageous. By means of at least one inner camera, images of the interior of the vehicle with the occupants can be captured and analyzed in order to extract the aforementioned properties. Such an analysis may use feature recognition and classification techniques. For example, an image of at least a portion of at least one occupant including his or her face may be captured by an indoor camera, and the portion of the image relating to the face of the at least one occupant may be the face of the occupant model representing the at least one occupant , to be provided. Therefore, advantageously, an appearance of the occupant model that is almost identical to that of the real occupant can be provided.

Zusätzlich oder alternativ können zumindest manche der vorstehend genannten Eigenschaften oder auch andere Eigenschaften auch durch einen Benutzer selbst festgelegt werden. Daher ist es eine weitere vorteilhafte Ausführungsform der Erfindung, dass, wenn mindestens eine vordefinierte Benutzereingabe empfangen wird, das mindestens eine Insassenmodell in Abhängigkeit von der Benutzereingabe angepasst wird. Dies macht es möglich, dass ein Benutzer einen vordefinierten Avatar selbst gemäß seinen Vorlieben personalisiert. Mittels einer solchen Benutzereingabe kann ein Benutzer Wahlen in Bezug auf die vorstehend genannten Eigenschaften treffen. Mittels einer solchen Benutzereingabe kann ein Benutzer beispielsweise sein Geschlecht, sein Alter, seine Haarfarbe, seine Hautfarbe, seine Farbe der Kleidung oder auch seinen Kleidungsstil, seine Frisur und so weiter bestimmen. Mittels der Benutzereingabe kann der Benutzer auch Accessoires wie einen Hut oder Schmuck wählen. Solche Benutzereingaben können durch irgendeine beliebige Eingabevorrichtung wie einen Berührungsbildschirm, der ein Teil der Anzeigevorrichtung des Fahrzeugs sein kann, oder eine Steuereinheit, mittels Spracheingabe und so weiter empfangen werden.Additionally or alternatively, at least some of the aforementioned properties or other properties may also be determined by a user himself. Therefore, it is a further advantageous embodiment of the invention that when at least one predefined user input is received, the at least one occupant model is adjusted in response to the user input. This allows a user to personalize a predefined avatar himself according to his preferences. By means of such user input, a user may make choices regarding the aforementioned characteristics. By means of such user input, a user may, for example, determine his sex, his age, his hair color, his skin color, his color of clothing or even his style of dress, his hairstyle and so on. By means of user input, the user can also select accessories such as a hat or jewelry. Such user inputs may be received by any input device, such as a touch screen, which may be part of the display device of the vehicle, or a control unit, by voice input and so on.

Überdies ist es ferner vorteilhaft, wenn für jeden registrierten Insasse des Fahrzeugs ein Benutzerprofil gespeichert wird, das das Insassenmodell, das dem jeweiligen registrierten Insasse entspricht, und mindestens eine virtuelle Eigenschaft des Insassenmodells enthält. Dies ermöglicht beispielsweise, dass ein Insasse seinen Avatar personalisiert und dann seine Einstellungen in seinem entsprechenden Benutzerprofil speichert. Aber ein Insasse muss nicht notwendigerweise Wahlen oder Einstellungen selbst durchführen. Das System kann auch automatisch registrierte Insassen erkennen und Anpassungen an den gespeicherten Insassenmodellen entsprechend den registrierten Insassen auf der Basis von neu erfassten Eigenschaften der jeweiligen Insassen durchführen.Moreover, it is further advantageous if for each registered occupant of the vehicle a user profile is stored which contains the occupant model corresponding to the respective registered occupant and at least one virtual property of the occupant model. This allows, for example, an occupant to personalize his avatar and then save his settings in his corresponding user profile. But an inmate does not necessarily have to make choices or adjustments himself. The system may also detect automatically registered occupants and make adjustments to the stored occupant models corresponding to the registered occupants based on newly acquired characteristics of the respective occupants.

Daher ist es eine weitere vorteilhafte Ausführungsform der Erfindung, dass, wenn ein registrierter Insasse erkannt wird, die 3D-Szene zusammen mit einem Insassenmodell bereitgestellt wird, das im Profil gespeichert ist, das dem erkannten Insasse zugeordnet ist. Folglich ist es vorteilhafterweise auch möglich, Insassen automatisch zu identifizieren, beispielsweise mittels einer Gesichtsbilderkennung oder anderen Identifikationsverfahren, und dann automatisch das Insassenmodell entsprechend dem identifizierten Insasse auszulesen und dieses Modell zusammen mit einer 3D-Szene auf der Anzeigevorrichtung darzustellen. Dies ist für einen Benutzer sehr komfortabel, da er keine Auswahlen oder Wahlen selbst durchführen muss, wie manuelles Wählen seines Profils. Trotzdem wäre das manuelle Wählen des Profils auch möglich. Die manuelle Wahl des Benutzers kann durch das System durch entsprechende Benutzereingabemittel empfangen werden.Therefore, it is a further advantageous embodiment of the invention that when a registered occupant is detected, the 3D scene is provided along with an occupant model stored in the profile associated with the identified occupant. Consequently, it is also advantageously possible to automatically identify occupants, for example by means of a facial image recognition or other identification methods, and then automatically read out the occupant model corresponding to the identified occupant and display this model on the display together with a 3D scene. This is very convenient for a user since he does not have to make any selections or choices himself, such as manually choosing his profile. Nevertheless, the manual selection of the profile would also be possible. Manual selection of the user may be received by the system through appropriate user input means.

Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung wird, wenn ein Tier innerhalb des Fahrzeugs detektiert wird, das Tier als bestimmte Art von Tier klassifiziert und die 3D-Szene wird mit einem Modell der bestimmten Art von Tier bereitgestellt. Die bestimmte Art von Tier kann eine von mehreren vordefinierten bestimmten Arten von Tier sein, wie Tierklassen. Eine solche bestimmte Art von Tier kann beispielsweise ein Hund oder eine Katze oder spezieller auch eine bestimmte Art von Hund sein. Daher kann eine automatische Detektion und/oder Erkennung und/oder Klassifikation von Tieren beispielsweise mittels einer inneren Kamera und/oder eines Bildverarbeitungssystems unterstützen, dass das Modell weiter verbessert wird, um zu zeigen, ob Haustiere innerhalb des Fahrzeugs vorhanden sind.According to a further advantageous embodiment of the invention, when an animal is detected within the vehicle, the animal is classified as a certain type of animal, and the 3D scene is provided with a model of the particular type of animal. The particular type of animal can be one of several predefined specific types of animal, such as animal classes. Such a particular type of animal may be, for example, a dog or a cat, or more specifically a particular type of dog. Therefore, automatic detection and / or detection and / or classification of animals, for example, by means of an internal camera and / or an image processing system, may further enhance the model to show whether pets are present within the vehicle.

Überdies ist es vorteilhaft, wenn der bestimmte Blickpunkt aus einer Vielzahl von vordefinierten einstellbaren Blickpunkten ausgewählt wird. Der Blickpunkt kann beispielsweise in Abhängigkeit von einer entsprechenden Benutzereingabe ausgewählt werden. Mittels einer Benutzereingabe kann überdies der Benutzer den Blickpunkt einstellen oder ändern. Ferner kann der bestimmte Blickpunkt aus mehreren, aber einer endlichen Anzahl von vordefinierten Blickpunkten ausgewählt werden oder kann andererseits auch aus einer unendlichen Anzahl von Blickpunkten ausgewählt werden. Der bestimmte Blickpunkt kann beispielsweise entlang einer vordefinierten Linie, beispielsweise entlang der Linie von einem oder mehreren Kreisen, z. B. um das Fahrzeugmodell herum, gewählt werden. Der bestimmte Blickpunkt kann auch automatisch ausgewählt werden, beispielsweise in Abhängigkeit von einem bestimmten Fahrzeugzustand oder einer Benutzerfahrhandlung. Wenn der Benutzer beispielsweise mit dem Fahrzeug rückwärts fährt, kann ein Blickpunkt ausgewählt werden, der die Umgebung des Fahrzeugs zumindest teilweise hinter dem Fahrzeug zeigt. Kombinationen davon sind auch möglich, beispielsweise kann der bestimmte Blickpunkt automatisch in Abhängigkeit von einem bestimmten Fahrzeugzustand wie der aktuellen Fahrtrichtung gewählt werden, und gleichzeitig kann der automatisch ausgewählte bestimmte Blickpunkt durch den Benutzer durch Auswählen eines anderen Blickpunkts manuell geändert werden. Daher sind viele Möglichkeiten für den Benutzer vorgesehen, um eine Darstellung des Fahrzeugs, der Insassen sowie der Umgebung vom besten und am besten geeigneten Blickpunkt bereitzustellen.Moreover, it is advantageous if the particular viewpoint is selected from a plurality of predefined adjustable viewpoints. The viewpoint may be selected, for example, depending on a corresponding user input. By means of a user input, moreover, the user can set or change the viewpoint. Further, the particular viewpoint may be selected from a plurality of but a finite number of predefined viewpoints or, on the other hand, may also be selected from an infinite number of viewpoints. For example, the particular viewpoint may be along a predefined line, such as along the line of one or more circles, e.g. B. around the vehicle model, be selected. The particular viewpoint can also be automatically selected, for example, depending on a particular vehicle state or a Users driving action. For example, when the user is reversing the vehicle, a viewpoint may be selected that shows the surroundings of the vehicle at least partially behind the vehicle. Combinations thereof are also possible, for example, the particular viewpoint may be automatically selected depending on a particular vehicle state such as the current direction of travel, and at the same time the automatically selected particular viewpoint may be manually changed by the user by selecting a different viewpoint. Therefore, many options are provided for the user to provide a representation of the vehicle, occupants, and the environment from the best and most appropriate viewpoint.

Überdies kann der Blickpunkt außerhalb des Fahrzeugmodells liegen. Wenn der Blickpunkt außerhalb des Fahrzeugmodells liegt, können viele Umgebungsinformationen in Bezug auf das Fahrzeugmodell dargestellt werden, was in Park- oder Fahrsituationen sehr vorteilhaft ist. Überdies kann sich der bestimmte Blickpunkt auch innerhalb des Fahrzeugmodells befinden. Eine Ansicht vom Rücksitz durch die Windschutzscheibe auf die Umgebung vor dem Fahrzeug kann beispielsweise auf der Anzeigevorrichtung dargestellt werden. Ein Blick aus dem Inneren des Fahrzeugs durch die Heckscheibe des Fahrzeugs kann auch auf der Anzeige bereitgestellt werden. Daher können vorteilhafterweise auch zusätzliche Informationen über den Innenraum des Fahrzeugs mittels der jeweiligen Darstellung und mittels eines Blickpunkts bereitgestellt werden, der innerhalb des Fahrzeugmodells angeordnet ist. Einem Benutzer könnten wiederum auch Optionen bereitgestellt werden, um den bestimmten Blickpunkt zu wählen, der sich außerhalb oder innerhalb des Fahrzeugmodells befindet. Daher sind viele vorteilhafte Anpassungen an verschiedene Situationen möglich.Moreover, the viewpoint may be outside of the vehicle model. When the viewpoint is outside the vehicle model, many environmental information relating to the vehicle model can be displayed, which is very advantageous in parking or driving situations. Moreover, the particular viewpoint may also be within the vehicle model. A view from the rear seat through the windshield to the environment in front of the vehicle can be displayed, for example, on the display device. A view from inside the vehicle through the rear window of the vehicle can also be provided on the display. Therefore, additional information about the interior of the vehicle can advantageously also be provided by means of the respective representation and by means of a viewpoint which is arranged within the vehicle model. Again, options could be provided to a user to select the particular viewpoint that is outside or inside the vehicle model. Therefore, many advantageous adaptations to different situations are possible.

Die Erfindung betrifft auch ein Fahrerassistenzsystem für ein Kraftfahrzeug zum Anzeigen einer Szene von einem bestimmten Blickpunkt aus auf einer Anzeigevorrichtung, wobei das Fahrerassistenzsystem ein Modellierungsmodul, das dazu ausgelegt ist, eine Szene mit einem Fahrzeugmodell bereitzustellen und den bestimmten Blickpunkt innerhalb der Szene festzulegen, und die Anzeigevorrichtung, die dazu ausgelegt ist, die Szene vom festgelegten Blickpunkt aus anzuzeigen, umfasst. Überdies ist das Modellierungsmodul dazu ausgelegt, die Szene mit mindestens einem Insassenmodell bereitzustellen.The invention also relates to a driver assistance system for a motor vehicle for displaying a scene from a particular viewpoint on a display device, wherein the driver assistance system comprises a modeling module that is designed to provide a scene with a vehicle model and determine the determined viewpoint within the scene, and Display device designed to display the scene from the fixed viewpoint. Moreover, the modeling module is configured to provide the scene with at least one occupant model.

Die im Hinblick auf das erfindungsgemäße Verfahren und seine Ausführungsformen beschriebenen Vorteile gelten auch für das erfindungsgemäße Fahrerassistenzsystem.The advantages described with regard to the method according to the invention and its embodiments also apply to the driver assistance system according to the invention.

Vorzugsweise umfasst das Fahrerassistenzsystem mindestens einen Sensor, insbesondere einen Sitzbelegungssensor und/oder einen Sicherheitsgurtsensor und/oder eine Kamera, wobei das Modellierungsmodul dazu ausgelegt ist, die Szene mit dem mindestens einen Insassenmodell in Abhängigkeit von einer Sensoreingabe bereitzustellen, die durch den mindestens einen Sensor geliefert wird.Preferably, the driver assistance system comprises at least one sensor, in particular a seat occupancy sensor and / or a safety belt sensor and / or a camera, wherein the modeling module is adapted to provide the scene with the at least one occupant model in response to a sensor input provided by the at least one sensor becomes.

Das Fahrerassistenzsystem kann auch einen Sitzbelegungssensor und einen Sicherheitsgurtsensor für jeden jeweiligen Sitz des Fahrzeugs umfassen.The driver assistance system may also include a seat occupancy sensor and a seatbelt sensor for each respective seat of the vehicle.

Überdies kann die Anzeigevorrichtung als 2D-Anzeigevorrichtung ausgestaltet sein. Die Anzeigevorrichtung kann auch als Berührungsbildschirm ausgestaltet sein. Überdies ist es auch möglich, die Anzeigevorrichtung in Form einer 3D-Anzeigevorrichtung bereitzustellen, beispielsweise als am Kopf angebrachte Anzeige oder Brille mit virtueller Realität der Brille mit erweiterter Realität und so weiter. Daher kann das Anzeigen der Szene vom bestimmten Blickpunkt aus in Form einer 2D-Anzeige oder von zwei bestimmten Blickpunkten aus gleichzeitig in Form einer 3D-Anzeige bereitgestellt werden.Moreover, the display device may be configured as a 2D display device. The display device can also be designed as a touch screen. Moreover, it is also possible to provide the display device in the form of a 3D display device, such as a head-mounted display or virtual reality glasses of the augmented reality glasses, and so on. Therefore, displaying the scene from the particular viewpoint in the form of a 2D display or from two particular viewpoints can be provided simultaneously in the form of a 3D display.

Die Erfindung bezieht sich auch auf ein Fahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem oder seinen Ausführungsformen. Die im Hinblick auf das erfindungsgemäße Verfahren und seine Ausführungsformen beschriebenen Vorteile gelten daher auch für das erfindungsgemäße Fahrzeug. Überdies stellen die mit Bezug auf das erfindungsgemäße Verfahren beschriebenen bevorzugten Ausführungsformen auch weitere entsprechende und vorteilhafte Ausführungsformen des Fahrerassistenzsystems und des Fahrzeugs gemäß der Erfindung bereit.The invention also relates to a vehicle having a driver assistance system according to the invention or its embodiments. The advantages described with regard to the method according to the invention and its embodiments therefore also apply to the vehicle according to the invention. Moreover, the preferred embodiments described with reference to the method according to the invention also provide further corresponding and advantageous embodiments of the driver assistance system and of the vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively specified combination but also in other combinations, without departing from the scope of the invention , Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim. There are also versions and Feature combinations, in particular by the embodiments set out above, to be regarded as disclosed that go beyond the feature combinations set forth in the back covers of the claims or deviate from them.

Dabei zeigen:

1 eine schematische Darstellung eines Fahrzeugs mit einem Fahrerassistenzsystem zum Anzeigen einer 3D-Szene von einem bestimmtem Blickpunkt aus auf einer Anzeigevorrichtung gemäß einer Ausführungsform der Erfindung;
2 eine schematische Darstellung einer 3D-Szene mit einem Fahrzeugmodell und einem Insassenmodell gemäß einer Ausführungsform der Erfindung;
3 eine schematische Darstellung einer 3D-Szene, die auf einer Anzeigevorrichtung des Fahrzeugs von einem Blickpunkt aus außerhalb des Fahrzeugmodells dargestellt ist; und
4 eine schematische Darstellung einer 3D-Szene, die auf einer Anzeigevorrichtung des Fahrzeugs von einem Blickpunkt aus innerhalb des Fahrzeugmodells dargestellt ist, gemäß einer Ausführungsform der Erfindung.

Showing:

1 a schematic representation of a vehicle with a driver assistance system for displaying a 3D scene from a particular viewpoint on a display device according to an embodiment of the invention;
2 a schematic representation of a 3D scene with a vehicle model and a passenger model according to an embodiment of the invention;
3 a schematic representation of a 3D scene, which is shown on a display device of the vehicle from a viewpoint outside of the vehicle model; and
4 a schematic representation of a 3D scene, which is shown on a display device of the vehicle from a viewpoint within the vehicle model, according to an embodiment of the invention.

1 zeigt eine schematische Darstellung eines Fahrzeugs 1 mit einem Fahrerassistenzsystem 2, insbesondere einem Blicksystem, zum Anzeigen einer 3D-Szene 3 (vergleiche 2) von einem bestimmten Blickpunkt aus 4 (vergleiche 2) auf einer Anzeigevorrichtung 5 gemäß einer Ausführungsform der Erfindung. Das Fahrerassistenzsystem 2 umfasst ein Modellierungsmodul 6, das dazu ausgelegt ist, die 3D-Szene 3 mit einem 3D-Fahrzeugmodell 7 sowie einem Insassenmodell 8 (vergleiche 2) entsprechend mindestens einem Insasse P des Fahrzeugs 1 bereitzustellen. Zum Erfassen von Insassen P innerhalb des Fahrzeugs 1 kann das Fahrerassistenzsystem 2 ferner einen oder mehrere Sensoren, Sensorvorrichtungen oder Sensorsysteme umfassen. In 2 ist ein Sensorsystem 9 beispielhaft schematisch dargestellt. Das Sensorsystem 9 kann beispielsweise einen Sitzbelegungssensor umfassen, der detektiert, ob ein Sitz des Fahrzeugs 1 belegt ist. Das Sensorsystem 9 kann auch einen Sicherheitsgurtsensor umfassen, der detektiert, ob ein Sicherheitsgurt eines entsprechenden Sitzes geschlossen oder geöffnet ist. Überdies kann das Sensorsystem 9 auch eine innere Kamera umfassen, die Bilder des Innenraums des Fahrzeugs 1 aufnimmt. Mittels des Sensorsystems 9 kann detektiert werden, ob oder welche der Sitze des Fahrzeugs 1 durch Insassen P belegt sind, ob ihre entsprechenden Sicherheitsgurte geschlossen sind, und überdies können wahlweise persönliche Eigenschaften der Insassen erfasst werden, z. B. mittels der inneren Kamera, wie ob ein Insasse P männlich oder weiblich ist oder ein Erwachsener oder ein Kind ist. Weitere Eigenschaften, wie Haarfarbe, Haarlänge, Hautfarbe und so weiter, können auch erfasst werden. In Abhängigkeit von den Informationen, die mittels des Sensorsystems 9 erfasst werden, stellt das Modellierungsmodul 6 eine 3D-Szene 3 mit einem Insassenmodell 8 entsprechend mindestens einem Insasse P innerhalb des Fahrzeugs 1 bereit. Dieses Insassenmodell 8 kann ferner mit den erfassten Eigenschaften des Insassen P bereitgestellt werden. Insbesondere kann dieses Insassenmodell 8 in Form eines Avatars, z. B. eines männlichen oder eines weiblichen Avatars, eines Avatars, der ein Kind oder einen Erwachsenen darstellt, eines Avatars, der mit blondem oder schwarzem Haar, mit langem oder kurzem Haar modelliert wird, und so weiter in Abhängigkeit von den erfassten Eigenschaften des mindestens einen Insassen P bereitgestellt werden. Alternativ oder zusätzlich kann ein Benutzer wie der Insasse P auch seine eigenen Auswahlen hinsichtlich des Aussehens des Avatars, der ihn darstellt, durchführen. Für diesen Zweck kann das Fahrerassistenzsystem 2 auch ein Eingabemittel 10 umfassen, mittels dessen ein Benutzer eine Benutzereingabe zum Auswählen der einen oder der mehreren Eigenschaften des Aussehens des Avatars, der ihn darstellt, durchführen kann. Diese Auswahlen können wahlweise in einem Benutzerprofil gespeichert werden. Für diesen Zweck kann das Fahrerassistenzsystem 2 auch eine Speichervorrichtung 11 umfassen, in der Benutzerprofile von registrierten Insassen P gespeichert werden können. Daher können die Modelle 8 der Personen durch den Benutzer personalisiert und gespeichert werden, um ihre Vorlieben hinsichtlich beispielsweise der Hautfarbe, der Kleidungsfarbe, des Kleidungsstils, der Frisur, der Haarfarbe des Avatars widerzuspiegeln. Überdies kann eine Gesichtsbilderkennung verwendet werden, um ein Gesichtsbild des Modells 9 der Person einzustellen, so dass es an eine vorher gespeicherte Photographie oder ein vorher gespeichertes Bild dieses Benutzers angeglichen ist. Eine automatische Detektion, Erkennung oder Klassifikation von Tieren durch eine innere Kamera oder ein Bildverarbeitungssystem kann überdies auch unterstützen, dass das Modell weiter verbessert wird, um zu zeigen, ob Haustiere innerhalb des Fahrzeugs 1 vorhanden sind. Das 3D-Fahrzeugmodell, nämlich das Fahrzeugmodell 7, kann auch z. B. durch Animation verbessert werden. Solche Animationen können beispielsweise rotierende Räder, ein Türöffnen, ein Kofferraum- und verbundenes Öffnen und so weiter sein. Wenn die 3D-Szene auf der Anzeigevorrichtung 5 vom bestimmten Blickpunkt aus 4 angezeigt wird, kann somit ein Teil des Fahrzeugmodells 7 oder auch der Insassenmodelle 8 sich bewegend angezeigt werden. Es ist auch möglich, viele Aspekte des Fahrzeugmodells 7 zu personalisieren, um Fahrer- oder Benutzervorlieben widerzuspiegeln, beispielsweise kann die Autofarbe codiert werden, um die reale Fahrzeugfarbe widerzuspiegeln. 1 shows a schematic representation of a vehicle 1 with a driver assistance system 2 , in particular a gaze system, for displaying a 3D scene 3 (see 2 ) from a certain point of view 4 (see 2 ) on a display device 5 according to an embodiment of the invention. The driver assistance system 2 includes a modeling module 6 which is designed to be the 3D scene 3 with a 3D vehicle model 7 as well as a passenger model 8th (see 2 ) according to at least one occupant P of the vehicle 1 provide. For detecting occupants P inside the vehicle 1 can the driver assistance system 2 further comprising one or more sensors, sensor devices or sensor systems. In 2 is a sensor system 9 illustrated schematically by way of example. The sensor system 9 For example, it may include a seat occupancy sensor that detects whether a seat of the vehicle 1 is occupied. The sensor system 9 may also include a seatbelt sensor that detects whether a seatbelt of a corresponding seat is closed or opened. Moreover, the sensor system 9 Also include an inner camera, the images of the interior of the vehicle 1 receives. By means of the sensor system 9 can be detected, whether or which of the seats of the vehicle 1 by inmates P are occupied, whether their respective seat belts are closed, and moreover, optional personal characteristics of the occupants can be detected, for. By means of the inner camera, such as whether an occupant P is male or female or is an adult or a child. Other properties, such as hair color, hair length, skin color and so on, can also be detected. Depending on the information provided by the sensor system 9 captures the modeling module 6 a 3D scene 3 with a passenger model 8th corresponding to at least one occupant P within the vehicle 1 ready. This occupant model 8th may be further provided with the detected characteristics of the occupant P. In particular, this occupant model 8th in the form of an avatar, z. A male or a female avatar, an avatar representing a child or an adult, an avatar modeled with blond or black hair, with long or short hair, and so on, depending on the sensed characteristics of the at least one Inmates P are provided. Alternatively or additionally, a user such as the occupant P may also make his own choices as to the appearance of the avatar representing him. For this purpose, the driver assistance system 2 also an input device 10 include, by means of which a user may perform a user input to select the one or more characteristics of the appearance of the avatar representing him / her. These selections can optionally be stored in a user profile. For this purpose, the driver assistance system 2 also a storage device 11 in which user profiles of registered occupants P can be stored. Therefore, the models 8th of the persons are personalized and stored by the user to reflect their preferences regarding, for example, the skin color, the clothing color, the clothing style, the hairstyle, the hair color of the avatar. In addition, a facial image identifier can be used to make a facial image of the model 9 the person so that it is aligned with a previously stored photograph or a previously stored image of this user. Moreover, automatic detection, detection or classification of animals by an internal camera or image processing system may also help to further enhance the model to show whether pets are within the vehicle 1 available. The 3D vehicle model, namely the vehicle model 7 , can also z. B. be improved by animation. Such animations may be, for example, rotating wheels, door opening, trunk and connected opening, and so on. When the 3D scene on the display device 5 from the specific point of view 4 is displayed, so can be part of the vehicle model 7 or the occupant models 8th be displayed moving. It is also possible to have many aspects of the vehicle model 7 personalize to reflect driver or user preferences, for example, the car color may be coded to reflect the real vehicle color.

2 zeigt eine schematische Darstellung einer 3D-Szene 3 mit einem Fahrzeugmodell, nämlich dem Fahrzeugmodell 7, sowie einem Insassenmodell 8 wie einem Avatar. Die 3D-Szene 3 kann mit einer 3D-Oberfläche wie der hier dargestellten Halbkugel oder Schale 12 bereitgestellt werden. Auf diese Schale 12 können Bilder, die mittels Umgebungssensoren 13 (vergleiche 1) erfasst werden, die um das Fahrzeug herum zum Erfassen der Umgebung des Fahrzeugs 1 montiert sein können, projiziert werden. Überdies kann ein Blickpunkt 4 ausgewählt werden, der dann eine virtuelle Kameraposition darstellt. Dieser Blickpunkt 4 kann aus verschiedenen Positionen um das Fahrzeugmodell 7, beispielsweise irgendwo auf den Kreisen 14, ausgewählt werden. Die Anzahl von auswählbaren Blickpunkten 4 kann unendlich sein oder auch auf eine bestimmte Anzahl von auswählbaren Blickpunkten 4 begrenzt sein. Überdies können die virtuellen Kamerapositionen und daher der Blickpunkt, von dem schließlich die 3D-Szene auf der Anzeigevorrichtung 5 gezeigt wird, nicht nur als außerhalb des Fahrzeugmodells 7, sondern auch innerhalb des Fahrzeugmodells 7 ausgewählt werden. Diese zwei Fälle sind in 3 und 4 beispielhaft dargestellt. 2 shows a schematic representation of a 3D scene 3 with a vehicle model, namely the vehicle model 7 , as well as a passenger model 8th like an avatar. The 3D Scene 3 may have a 3D surface such as the hemisphere or shell shown here 12 to be provided. On this shell 12 can take pictures using environmental sensors 13 (see 1 ) surrounding the vehicle for detecting the environment of the vehicle 1 can be mounted, projected. Moreover, a focal point 4 which then represents a virtual camera position. This viewpoint 4 can be from different positions around the vehicle model 7 For example, somewhere on the circles 14 , to be selected. The number of selectable viewpoints 4 can be infinite or to a certain number of selectable points of view 4 be limited. Moreover, the virtual camera positions and therefore the viewpoint from which finally the 3D scene on the display device 5 is shown, not just as outside the vehicle model 7 but also within the vehicle model 7 to be selected. These two cases are in 3 and 4 exemplified.

3 zeigt eine schematische Darstellung des Anzeigens der 3D-Szene 3 von einem bestimmten Blickpunkt 4 außerhalb des Fahrzeugmodells 7 und 4 zeigt eine schematische Darstellung des Anzeigens der 3D-Szene 3 von einem bestimmten Blickpunkt 4 innerhalb des Fahrzeugmodells 7. Wie aus 3 und 4 auch zu sehen sein kann, enthält die Anzeige der 3D-Szene 3 auch eine Darstellung eines Insassenmodells 7, das einem Insasse P im Fahrzeug 1 entspricht, in Form eines jeweiligen Avatars. 3 shows a schematic representation of the display of the 3D scene 3 from a particular point of view 4 outside the vehicle model 7 and 4 shows a schematic representation of the display of the 3D scene 3 from a particular point of view 4 within the vehicle model 7 , How out 3 and 4 can also be seen, contains the display of the 3D scene 3 also a representation of an occupant model 7 that is an inmate P in the vehicle 1 corresponds, in the form of a respective avatar.

Schlussfolgernd stellt die Erfindung die Möglichkeit bereit, den Realismus zu verbessern und eine lebensechtere Erfahrung für den Benutzer oder Fahrer durch Einfügen von einem oder mehreren Modellen von Menschen oder sogar Tieren in das Fahrzeugmodell bereitzustellen, was auf der Sensorausgabe basieren kann. Somit kann das Fahrerassistenzsystem, das als Blicksystem ausgestaltet sein kann, von verschiedenen Sensoren Gebrauch machen, beispielsweise einen Sitzbelegungssensor verwenden, um zu bestimmen, ob eine Person im Fahrzeug vorhanden ist oder nicht, um den entsprechenden Avatar in das Fahrzeugmodell einzufügen. Auf der Basis von Sensoreingaben wie z. B. Sicherheitsgurt geschlossen, kann das System ferner verwendet werden, um das Modell mit einer Sicherheitsgurtgraphik weiter zu verbessern, die zum Modell hinzugefügt wird, um anzugeben, dass der Sicherheitsgurt getragen wird. Eine innere Kamera kann verwendet werden, um Bilder der verwendeten Bildverarbeitungstechniken zu liefern, um zu bestimmen, ob die Person männlich, weiblich, ein Erwachsener oder ein Kind ist, und anschließend das Modell einzustellen, das verwendet wird, um die reale Situation widerzuspiegeln. Daher werden viele Möglichkeiten einer Anpassung bereitgestellt, um immer die aktuelle Situation so realistisch wie möglich widerzuspiegeln.In conclusion, the invention provides the ability to enhance realism and provide a more lifelike experience for the user or driver by inserting one or more models of humans or even animals into the vehicle model, which may be based on the sensor output. Thus, the driver assistance system, which may be configured as a gaze system, may make use of various sensors, such as using a seat occupancy sensor, to determine whether or not a person is present in the vehicle to insert the corresponding avatar into the vehicle model. On the basis of sensor inputs such. For example, when the seat belt is closed, the system may also be used to further enhance the model with a safety belt graphic added to the model to indicate that the safety belt is being worn. An internal camera can be used to provide images of the image processing techniques used to determine if the person is male, female, adult, or child, and then adjust the model used to reflect the real situation. Therefore, many opportunities for customization are provided to always reflect the current situation as realistically as possible.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 2017/0195564 A1 [0003]

Claims

A method of displaying a scene (3) from a particular viewpoint on a display device (5) of a vehicle (1), comprising the steps of: - providing the scene (3) with a vehicle model (7); - determining the particular viewpoint (4) within the scene (3); and - displaying the scene (3) from the designated determined viewpoint (4) on the display device (5) of the vehicle (1); characterized in that when the scene (3) is provided, the scene (3) is provided together with at least one occupant model (8).

Method according to Claim 1 , characterized in that the scene (3), the vehicle model (7) and the at least one occupant model (8) are each provided as a 3D scene (3), as a 3D vehicle model (7) and as a 3D occupant model (8) ,

Method according to one of the preceding claims, characterized in that at least one first detection device (9), which in particular comprises at least one seat occupancy sensor of the vehicle (1) determines which seats of the vehicle (1) are occupied by occupants (P), wherein for each detected occupied seat of the vehicle (1) a corresponding occupant model (8), which occupies the respective seat, is provided, in particular in a corresponding position within the vehicle model (7), wherein each corresponding position of the vehicle model (7) the respective seat of the vehicle (1) detected to be occupied by the corresponding occupant (P).

Method according to one of the preceding claims, characterized in that, when it is detected by means of at least one seat belt sensor that a seat belt is closed, the scene (3) is provided with at least one occupant model (8) wearing a safety belt.

Method according to one of the preceding claims, characterized in that at least one second detection device (9) in the interior of the vehicle (1), in particular an inner camera, detects a property of at least one occupant (P) of the vehicle (1), and if the Scene (3) is provided, the occupant model (8) is modeled with a virtual property in dependence on the detected property of the at least one occupant (P).

Method according to Claim 5 , characterized in that the at least one detected property is at least one of: - a gender of the at least one occupant (P); one of at least two defined age categories of the at least one occupant (P), in particular whether the at least one occupant (P) is an adult or a child; a hair color of the at least one occupant (P); - a skin color of the at least one occupant (P); a hair length of the at least one occupant (P); - a color of clothing of the at least one occupant (P); - a facial expression of the at least one occupant (P); a gesture of the at least one occupant (P); - An appearance of a face of the at least one occupant.

Method according to one of the preceding claims, characterized in that when at least one predefined user input is received, the at least one occupant model (8) is adapted in dependence on the user input.

Method according to one of the preceding claims, characterized in that for each registered occupant (P) of the vehicle (1) a user profile is stored, the occupant model (8) corresponding to the respective registered occupant (P) and at least one virtual property of the occupant model ( 8).

Method according to Claim 8 characterized in that when a registered occupant (P) is detected, the scene (3) is provided together with the occupant model (8) stored in the profile associated with the recognized occupant (P).

Method according to one of the preceding claims, characterized in that when an animal is detected within the vehicle (1), the animal is classified as a specific type of animal and the 3D scene (3) is provided with a model of the particular type of animal ,

Method according to one of the preceding claims, characterized in that the particular viewpoint (4) is selected from a plurality of predefined different adjustable viewpoints (14).

Method according to one of the preceding claims, characterized in that the particular viewpoint (4) lies outside the vehicle model (7).

Method according to one of the preceding claims, characterized in that the certain viewpoint (4) lies within the vehicle model (7).

Driver assistance system (2) for a vehicle (1) for displaying a scene (3) from a particular viewpoint (4) on a display device (5), wherein the driver assistance system (2) comprises - a modeling module (6) adapted thereto to provide a scene (3) with a 3D vehicle model (7) and define the particular viewpoint (4) within the scene (3); and - the display device (5) adapted to display the scene (3) from the designated particular viewpoint (4); characterized in that the modeling module (6) is adapted to provide the scene (3) with at least one occupant model (8).

Driver assistance system (2) after Claim 14 , characterized in that the driver assistance system (2) comprises at least one sensor (9), in particular a seat occupancy sensor and / or a seat belt sensor and / or a camera, wherein the modeling module (6) is adapted to the scene (3) with at least one Occupant model (8) in response to a sensor input, which is supplied by the at least one sensor (9) to provide.