DE102014208048A1

DE102014208048A1 - System und Verfahren zur Personalisierung eines Ausstellungsraums

Info

Publication number: DE102014208048A1
Application number: DE102014208048.7A
Authority: DE
Inventors: Felix Klanner; Horst Klöden; Cornelia Denk
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2014-04-29
Filing date: 2014-04-29
Publication date: 2015-10-29

Abstract

System zur Personalisierung einer Umgebung, insbesondere eines Ausstellungsraums, in welcher ein Objekt, insbesondere ein Fahrzeug, angeordnet ist, aufweisend: zumindest ein Aufnahmemittel, insbesondere eine Stereokamera und/oder ein Körperabtasteinrichtung, eingerichtet zum Erfassen von geometrischen Daten der Abmessungen einer Person und zumindest einer Bewegung der Person in der Umgebung; eine erste Verarbeitungseinrichtung, eingerichtet zum Erstellen eines virtuellen Personenmodells der Person und eines virtuellen Objektmodells des Objekts auf der Grundlage von jeweiligen geometrischen Daten; eine zweite Verarbeitungseinrichtung, eingerichtet zur Berechnung einer Abfolge von Veränderungen des Personenmodells, welche die zumindest eine Bewegung der Person virtuell abbildet, eine dritte Verarbeitungseinrichtung, eingerichtet zur Integration des Personenmodells und des Objektmodells in die Umgebung; und eine Anzeigeeinrichtung, eingerichtet zur Wiedergabe des Personenmodells, des Objektmodells und der Umgebung.

Description

Die Erfindung betrifft ein System und ein Verfahren zur Personalisierung einer Umgebung, insbesondere eines Ausstellungsraums, in welcher ein Objekt, insbesondere ein Fahrzeug, angeordnet ist.
Fahrzeuge, insbesondere Personenkraftwagen, werden immer perfekter und technisch aufwendiger.
Die neuen Technologien machen die Personenkraftwagen sauberer, schneller, leiser, sicherer und komfortabler. Die Fahrzeuge werden also immer besser, so dass man ein Fahrzeug von 1980 nicht mit einem aktuellen Modell vergleichen kann, dass über ABS, Airbags, sowie über mehr PS verfügt, aber weniger Schadstoffe ausstößt und dabei noch über eine bessere Verarbeitung verfügt. Dies hat auch Auswirkungen auf den Preis von Neuwagen. So hat ein durchschnittlicher PKW 1980 € 8.420.- gekostet, im Jahr 2012 waren es dagegen schon € 26.446.-. Zwischen 1980 und 2012 ergibt sich hieraus eine Preissteigerung bei PKW in der Bundesrepublik Deutschland von 3,6%, die durchschnittliche Inflationsrate lag laut statistischem Bundesamt in dem Zeitraum dagegen nur bei 2,2%, wobei die Umstellung von DM auf Euro und die Wiedervereinigung berücksichtigt wurde.
Die Investition in ein Neufahrzeug ist für die meisten Menschen daher heutzutage die zweitgrößte Investition im Leben nach der Investition in Wohneigentum.
Gleichzeitig werden Fahrzeuge immer individualisierter, so dass jeder Kunde einen Fahrzeugtyp und eine Ausstattung wählen kann, bei welcher der jeweilige Kunde davon ausgeht, dass diese sein Persönlichkeitsprofil bzw. seinen Stil am besten repräsentiert. Deutliches Kennzeichen für diese Individualisierung ist die Vielzahl an Derivaten, welche von jedem Fahrzeugtyp abgeleitet werden, z.B. Kabrio, SUV, Coupé, und die Vielzahl an Ausstattungsvarianten, welche heutzutage angeboten werden. Insbesondere bei Materialien und Farben der Innenausstattung und bei der Autolackierung können Kunden heute auf nahezu individualisierte Lösungen der Fahrzeughersteller zurückgreifen.
Viele Kunden verfügen jedoch nicht über ein ausgeprägtes räumliches Vorstellungsvermögen, so dass es ihnen zunehmend schwer fällt, sich die einzelnen Ausführungs- bzw. Ausstattungsvarianten, welche angeboten werden, vorzustellen.
Zum Anmeldezeitpunkt versuchen die Fahrzeughersteller jeweils auf zwei Arten, hierfür Abhilfe zu schaffen und dem Kunden das Fahrzeug mit seinen Ausstattungsvarianten näher zu bringen.
Einerseits kann der Kunde das reale Fahrzeug in einem Ausstellungsraum beim Autohändler in Augenschein nehmen und gegebenenfalls mit diesem Fahrzeug auch eine Probefahrt machen. Eine Beschränkung dieser Art von Fahrzeugerlebnis für die Kunden liegt darin, dass nur eine einzige Ausstattungsvariante des Fahrzeugs, je nach Größe des Autohauses bzw. Händlers, aber auch zwei verschiedene Ausstattungsvarianten oder, im schlechtesten Fall gar kein Exemplar des Fahrzeugtyps vorhanden ist.
Weiterhin stellen viele Hersteller, z.T. beim Händler, z.T. auch schon als Onlineplattform, Konfigurationsassistenten zur Verfügung, in denen für ein Fahrzeugmodell verschiedene Außen- bzw. Innenfarben, Ausstattungsvarianten oder Sitzpolster interaktiv hinzugefügt und ausgetauscht werden können. Diese Konfigurationen können auch ausgedruckt werden und von den Händlern in Verkaufsgesprächen als Basis verwendet werden, wenn z.B. kein entsprechendes Vorführfahrzeug des gewünschten Fahrzeugmodells vorhanden ist.
Im Stand der Technik sind verschiedene Systeme und Verfahren zum Erstellen einer virtuellen Realität (virtual reality) oder auch einer erweiterten Realität (augmented reality) bekannt, um einem Betrachter die Vorstellung eines realen Objekts oder auch einer räumlichen Ausgestaltung, z.B. bei der Planung eines Hauses, zu erleichtern.
Die DE 101 28 015 A1 offenbart hierzu ein Verfahren zum Planen einer veränderten Produktionsumgebung, insbesondere einer Fertigungsumgebung, ausgehend von einer real existierenden Fertigungsumgebung, wobei virtuelle Planungsergebnisse erzeugt werden und die virtuellen Planungsergebnisse mit Hilfe eines Augmented-Reality-AR-Systems mit der realen Fertigungsumgebung überlagert werden.
Die WO 2007/017598 A2 offenbart ein Verfahren und eine Vorrichtung, welche es einem Benutzer ermöglichen, ein virtuelles Modell in einer realen Umgebung zu visualisieren. Eine 2-D-Darstellung eines 3-D virtuellen Objektes ist dabei in Echtzeit in Videoströme einer Kamera, welche auf eine reale Umgebung gerichtet wird, eingefügt, um einen erweiterten Realitäts-Video-Strom zu bilden. Eine Vielzahl von Kameras, welche eine Vielzahl von Videoströmen generiert, kann simultan benutzt werden, um das virtuelle Objekt in der realen Umgebung aus verschiedenen Blickrichtungen zu visualisieren. Ein spezieller Videofluss wird benutzt, um die Effekte der realen Umgebung in dem virtuellen Modell zu erzeugen. Das virtuelle Modell kann, z.B. eine digitale Kopie oder digitale Erweiterungen einer realen Kopie sein. Ein virtuelles 2-D-Objekt, z.B. die Darstellung einer realen Person, kann in den angereicherten Videofluss eingefügt werden.
Ausgehend von diesem Stand der Technik ist es eine Aufgabe der Erfindung, ein System sowie ein entsprechendes Verfahren zur Personalisierung einer Umgebung, insbesondere eines Ausstellungsraums, in welcher ein Objekt, insbesondere ein Fahrzeug, angeordnet ist, anzugeben, bei welchem der Kunde einen realistischen Eindruck eines Fahrzeugs mit allen Ausstattungsmerkmalen bekommt und feststellen kann, ob das Fahrzeug bzw. dessen Ausstattungskonfiguration zu seinem Typ passt.
Diese Aufgabe wird durch ein System nach Anspruch 1 und einem Verfahren nach Anspruch 5 gelöst. Vorteilhafte Ausgestaltungen werden in Unteransprüchen beansprucht.
Das erfindungsgemäße System zur Personalisierung einer Umgebung, insbesondere eines Ausstellungsraums, in welcher ein Objekt, insbesondere ein Fahrzeug, angeordnet ist, weist zumindest ein Aufnahmemittel, insbesondere eine Stereokamera und/oder eine Körperabtasteinrichtung, eingerichtet zum Erfassen von geometrischen Daten, welche die geometrischen Abmessungen einer Person darstellen, und Daten zumindest einer Bewegung der Person in der Umgebung, eine Verarbeitungseinrichtung, eingerichtet zum Erstellen eines virtuellen Personenmodells der Person und eines virtuellen Objektmodells des Objekts auf der Grundlage von jeweiligen geometrischen Daten, eine zweite Verarbeitungseinrichtung, eingerichtet zur Berechnung einer Abfolge von Veränderungen des Personenmodells, welche die zumindest eine Bewegung der Person virtuell abbildet, eine dritte Verarbeitungseinrichtung, eingerichtet zur Integration des Personenmodells und des Objektmodells in die Umgebung und eine Anzeigeeinrichtung, eingerichtet zur Wiedergabe des Personenmodells, des Objektmodells und der Umgebung, auf.
Das erfindungsgemäße Verfahren zur Personalisierung einer Umgebung, insbesondere eines Ausstellungsraums, in welcher ein Objekt, insbesondere ein Fahrzeug, angeordnet ist, weist die folgenden Arbeitsschritte auf: Einlesen von geometrischen Daten einer Person und von geometrischen Daten eines Objekts; Erstellen eines virtuellen Personenmodells der Person und eines virtuellen Objektmodells des Objekts; Erfassen zumindest einer Bewegung der Person in der Umgebung; Berechnung einer Abfolge von Veränderungen des Personenmodells, welche zumindest eine Bewegung der Person virtuell abbildet; Integration des Personenmodells und des Objektmodells in die Umgebung; und Wiedergabe des Personenmodells und des Objektmodells in der Umgebung.
Die Erfindung ist insbesondere zur Anwendung als erweiterte Realität geeignet.
Ein Personenmodell im Sinne der Erfindung ist eine digitale Darstellung einer Person, bei welcher die Proportionen und das äußere Erscheinungsbild vorzugsweise detailgetreu wiedergegeben werden.
Ein Objektmodell im Sinne der Erfindung ist eine digitale Darstellung eines Objekts, welche das Objekt mit allen Abmessungen und äußerem Erscheinungsbild möglichst detailgetreu wiedergibt.
Vorzugsweise sind das Personenmodell und das Objektmodell dynamisch ausgelegt, so dass die digitale Person und /oder das digitale Objekt in einer Umgebung fortbewegt werden können, wobei insbesondere irgendeine Bewegung ausgeführt werden kann.
Ein Umgebungsmodell im Sinne der Erfindung ist die digitale Darstellung einer Umgebung, insbesondere eines abgeschlossenen Raums, eines Raums, welcher mit der Umwelt in wechselseitigem Austausch steht, oder der Umwelt an sich. Auch das Umgebungsmodell kann dynamisch angelegt sein, so dass Veränderungen der Umgebung, z.B. der Wolkenzug oder ein vorbeiziehender Vogel in dem Umgebungsmodell dargestellt werden können. Die Erfindung basiert auf dem Ansatz, eine erweiterte Realitäts-Darstellung eines Konsumproduktes zu personalisieren, um die Darstellung für den Kunden noch realistischer zu machen und um dem Kunden zu zeigen, wie eine Interaktion seiner Person mit dem Objekt auf die Umwelt wirkt. Ein wichtiger Aspekt bei der Interaktion eines Objekts bzw. Konsumprodukts mit einer Person ist die Bewegung der Person, welche einen maßgeblichen Einfluss auf die Außenwahrnehmung der Umwelt hat. Daher wird erfindungsgemäß ein virtuelles Personenmodell eines Kunden erstellt und, vorzugsweise im Verfahren der erweiterten Realität, in eine Umgebung eingefügt, in welcher ein reales Objekt angeordnet ist. Das Verfahren hat zum Vorteil, dass der Kunde einer anderen Person oder einem Avatar oder sich selbst beim Ein- oder Aussteigen aus seinem Wunschfahrzeug aus allen erdenklichen Perspektiven, insbesondere jedoch aus seiner momentanen Position zum Fahrzeug bzw. zu dem Objekt, zusehen kann. Hierbei erhält der Kunde durch die Gesamtschau mit einer Person einen besseren Eindruck des Fahrzeugs und kann idealerweise feststellen, ob dessen äußerer Eindruck zu sich selbst passt. Vorzugsweise betrachtet er dabei sein fotorealistisches Ebenbild aus der dritten Person. Gleichzeitig kann er bei dem Fahrzeug bzw. dem Objekt mehrere Ausstattungsvarianten durchprobieren und auch z.B. sein Äußeres durch verschiedene Kleidungsstücke virtuell verändern und deren Einfluss und den Einfluss des Fahrzeugs bzw. Objekts auf sein Erscheinungbild von außen beobachten.
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Systems ist die Anzeigeeinrichtung ein Head-Mounted-Display, insbesondere eine Datenbrille oder ein Datenhelm. Ein Head-Mounted-Display, auch abgekürzt als HMD bezeichnet, hat den Vorteil, dass ein Betrachter, welcher das HMD trägt, seinen Kopf drehen und wenden kann, ohne dass der Bildschirm aus seinem Sichtfeld gerät. Der Fahrer kann sich somit frei bewegen und ein Objekt durch die Datenbrille betrachten. Durch weitere Sensoren und Einrichtungen, welche eine Bestimmung der Position des HMD und der Ausrichtung des HMD erlauben, können virtuelle Einblendungen auf dem Bildschirm, welcher vorzugsweise durchsichtig ist, erfolgen. Somit kann ein Betrachter sich mit dem HMD in einem rein virtuellen Raum oder auch in einer Umgebung der erweiterten Realität bewegen, in welchem der Umgebung und der Objekte in der Umgebung virtuelle Einblendungen überlagert werden. Ein Betrachter gewinnt hierdurch den Eindruck, dass er sich in der realen Umgebung befindet, in welcher die eingeblendeten Objekte ebenfalls real vorhanden sind.
In einer weiteren vorteilhaften Ausgestaltung weist das erfindungsgemäße System des Weiteren einen Sensor auf, eingerichtet zum Messen der Beleuchtungssituation der Umgebung, wobei die erste Verarbeitungsvorrichtung so eingerichtet ist, dem Personenmodell und/oder dem Objektmodell eine entsprechende Ausleuchtung und einen entsprechenden Schattenwurf hinzuzufügen oder die Ausleuchtung mit dem Schattenwurf der Person und/oder des Objekts aus dem Umgebungsmodel herauszurechnen. Die Beleuchtungsverhältnisse spielen bei der Beurteilung des äußeren Erscheinungsbildes eines Fahrzeugs durch einen Kunden eine wichtige Rolle, da sämtliche Oberflächen, insbesondere verschiedene Lackierungen des Fahrzeugs, je nach Lichtsituation ein extrem unterschiedliches Erscheinungsbild aufweisen. Beispiele für solche Beleuchtungsverhältnisse sind Sonneneinstrahlung, ein durch Wolken bedeckter Himmel oder auch gemischte Lichtverhältnisse oder das Erscheinungsbild im Laternenschein bei Nacht. Das erfindungsgemäße System bietet die Möglichkeit, das Fahrzeug in den realen Lichtverhältnissen der Umgebung darzustellen oder andere Verhältnisse mittels der erweiterten Realität zu schaffen, so dass der Kunde das Erscheinungsbild vollständig beurteilen kann.
In einer weiteren vorteilhaften Ausgestaltung weist das erfindungsgemäße System des Weiteren Positionserfassungsmittel auf, eingerichtet zum Erfassen der Position eines Betrachters, insbesondere der Position der Augen des Betrachters, in Bezug auf das Objekt, wobei die Wiedergabe durch die Anzeigeeinrichtung aus der Perspektive des Betrachters, insbesondere aus der Perspektive der Augen des Betrachters erfolgt. Erfindungsgemäß kann der Betrachter somit, beispielsweise ein Fahrzeugkunde, um das Fahrzeug herum laufen, wobei eine Projektion in der Anzeigeeinrichtung der neuen Betrachtungsperspektive angepasst wird.
Die im Vorstehenden beschriebenen Aspekte der Erfindung und die dazugehörigen zur Weiterbildung des erfindungsgemäßen Systems offenbarten Merkmale gelten auch für die nachstehend beschriebenen Aspekte der Erfindung und der dazugehörigen Weiterbildung des erfindungsgemäßen Verfahrens entsprechend und umgekehrt.
In einer vorteilhaften Ausgestaltung weist das erfindungsgemäße Verfahren des Weiteren den Arbeitsschritt des Erstellens eines virtuellen Umgebungsmodells auf, wobei die Umgebung zumindest teilweise durch das Umgebungsmodell ersetzt wird. Patentgemäß können nicht nur Objekte und Personen mittels erweiterter Realität in eine bestehende Umgebung eingefügt oder modifiziert werden, sondern auch für die Umgebung selbst wird ein virtuelles Umgebungsmodell erstellt und die Umgebung wird bei der Einblendung in die Anzeigeeinrichtung für den Betrachter zumindest teilweise oder vollständig durch das virtuelle Umgebungsmodell ersetzt.
In einer weiteren vorteilhaften Ausgestaltung weist das erfindungsgemäße Verfahren des Weiteren den Arbeitsschritt des Einlesens von zumindest einer weiteren Eigenschaft, insbesondere einer Farbe und/oder einer Oberflächenstruktur, der Person, des Objekts und/oder der Umgebung auf. Das Einlesen der zumindest einen weiteren Eigenschaft geschieht vorzugsweise bei der Erstellung des jeweiligen Modells auf der Grundlage von elektronisch bereit gestellten Informationen oder mittels eines Sensors, insbesondere einer Kamera, mit welcher die Farben und im Idealfall auch die Oberflächenstruktur festgestellt werden kann.
In einer weiteren vorteilhaften Ausgestaltung weist das erfindungsgemäße Verfahren des Weiteren den Arbeitsschritt des Veränderns der zumindest einen Eigenschaft der Person im Personenmodell, des Objekts im Objektmodell und/oder der Umgebung in einem Umgebungsmodell auf. Mittels dieser Ausgestaltung können einzelne Eigenschaften von realen Personen oder Objekten oder auch der Umgebung durch Überblendung in der Anzeigeeinrichtung verändert werden.
In einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens schließt das Erfassen von weiteren Eigenschaften der Umgebung ein Messen der Beleuchtungssituation der Umgebung ein, wobei dem Personenmodell und/oder dem Objektmodell eine entsprechende Ausleuchtung und ein entsprechender Schattenwurf hinzugefügt werden.
In einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens schließt das Erfassen von weiteren Eigenschaften der Umgebung ein Messen der Beleuchtungssituation in der Umgebung ein, wobei die Ausleuchtung und der Schattenwurf der Person 2 und/oder des Objekts 3 aus dem Umgebungsmodell heraus gerechnet werden. Erfindungsgemäß kann eine Umgebung somit in Bezug auf Beleuchtungsverhältnisse neutralisiert werden.
In einer weiteren vorteilhaften Ausgestaltung weist das erfindungsgemäße Verfahren des Weiteren die Arbeitsschritte des Hinzufügens einer Beleuchtungssituation zu dem Umgebungsmodell und des Hinzufügens einer entsprechenden Ausleuchtung eines entsprechenden Schattenwurfs zu dem Personenmodell und/oder dem Objektmodell auf. Mittels dieser Verfahrensschritte können die Beleuchtungsverhältnisse in der Umgebung beliebig variiert werden, wobei am Ende eine photorealistische Darstellung der Umgebung mit einem Objekt und/oder einer Person steht. Ein Betrachter bzw. Kunde kann hierdurch einen noch realistischeren Eindruck gewinnen.
In einer weiteren vorteilhaften Ausgestaltung weist das erfindungsgemäße Verfahren des Weiteren die Arbeitsschritte des Erfassens der Position eines Betrachters, insbesondere der Position der Augen des Betrachters in Bezug auf das Objekt auf, wobei die Widergabe aus der Perspektive des Betrachtes, insbesondere aus der Perspektive der Augen des Betrachtes, erfolgt.
In einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird die Wiedergabe einer realen Echtzeit-Ansicht des Betrachters überlagert, wobei bei der Wiedergabe eine Überlagerung des Objekts durch das Objektmodell an den Stellen des Objekts erfolgt, wo das Objektmodell vom Objekt abweicht. Kommt eine erweiterte Realität zum Einsatz, so kann ein besonders realistischer Eindruck beim Betrachter bzw. Kunden des Fahrzeugs hervorgerufen werden, wenn möglichst große Teile des realen Objekts nicht überlagert werden bzw. überblendet werden, sondern wenn der Betrachter tatsächlich das reale Objekt sieht.
Ein Head-Mounted-Display (HMD) im Sinne der Erfindung ist ein auf dem Kopf getragenes Anzeigegerät. Vorzugsweise blendet es Bilder entweder auf einen augennahen Bildschirm oder projiziert diese direkt auf die Netzhaut. Insbesondere handelt es sich bei dem Head-Mounted-Display um eine Datenbrille, welche durchsichtig oder halbdurchsichtig ist und bei welcher Überlagerungen bzw. Überblendungen ins Gesichtfeld geblendet werden können, insbesondere mit Techniken, welche auch bei Head-Up-Displays zum Einsatz kommen. Weiter vorzugsweise ist das Head-Mounted-Display ein Datenhelm, welcher gleiche Funktionen wie die Datenbrille aufweist.
Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus den nachfolgenden Beschreibungen im Zusammenhang mit den Figuren, welche im Einzelnen darstellen:
1 zeigt eine Ausführungsform des erfindungsgemäßen Systems zur Personalisierung einer Umgebung;
2 zeigt teilweise schematisch ein Blockdiagramm eines erfindungsgemäßen Verfahrens zur Visualisierung einer Umgebung.
1 illustriert eine Ausführungsform des erfindungsgemäßen Systems in einer Anwendung, in der ein Fahrzeug 3 in einem Ausstellungsraum (in 1 angedeutet durch die drei räumlichen Koordinatenachsen) angeordnet ist.
Das Ausführungsbeispiel betrifft einen virtuellen Ausstellungsraum, in welchem ein Fahrzeugmodell für den Fahrzeugkunden erlebbar gemacht werden kann. Dies wird insbesondere durch eine realistische Darstellung des Fahrzeugs 3 und durch eine Personalisierung des virtuellen Ausstellungsraums erreicht.
Das erfindungsgemäße System weist hierzu vorzugsweise eine oder mehrere Kameras 4 auf, welche das Fahrzeug 3 in der realen Umgebung aufnehmen. Hierbei wird das Fahrzeug 3 und eine Person 5, welche sich in dem Ausstellungsraum befinden, vorzugsweise aus möglichst vielen Richtungen aufgenommen, um Informationen über das äußere Erscheinungsbild des Fahrzeugs 3 und der Person 5 von möglichst jeder Seite des Fahrzeugs 3 und der Person 5 zu erlangen.
Die aufgenommen Informationen können vorzugsweise verwendet werden, um ein digitales Modell der Person 5, ein Personenmodell, und ein virtuelles Modell des Fahrzeugs, ein sogenanntes Objektmodell des Fahrzeugs 3, zu erstellen. Alternativ kann das Objektmodell des Fahrzeugs 3 vorzugsweise anhand von Konstruktionsdaten erstellt werden, welche in das System 1 beispielsweise über eine Schnittstellte eingelesen werden. Zusammen mit den Konstruktionsdaten können vorzugsweise auch Eigenschaftsdaten über Eigenschaften des Fahrzeugs 3, wie z.B. Oberflächenstruktur, Farben einzelner Bauelemente, der Glanz von Oberflächen etc. eingelesen werden. Zum Erstellen des Personenmodells können vorzugsweise alternativ oder zusätzlich ebenfalls geometrischen Daten der Abmessungen des Körpers des Kunden eingelesen werden. Diese können z.B. über eine Stereo-Kamera ermittelt werden oder auch über einen Körperscanner, welcher den Körper des Kunden abtastet. Ein solcher Körperscanner kann beispielsweise die Oberfläche eines Menschen abtasten und/oder die Form und Farbe der Kleidung bestimmen.
Vorzugsweise wird auch eine Bewegung des Kunden 5 aufgenommen. So kann dieser beispielsweise um das Fahrzeug 3 laufen, die Tür öffnen und sich in das Fahrzeug 3 setzen. Anhand der Bewegungen des Kunden 5, z.B. ein Winken mit der Hand, wie in 1 dargestellt, wird von einer ersten Verarbeitungseinrichtung 6 ein dynamisches Personenmodell erstellt, welches vorzugsweise vorgegebene virtuelle Bewegungen ausführen kann. In einer zweiten Verarbeitungseinrichtung 7 des erfindungsgemäßen Systems 1 wird eine Abfolge von Veränderungen des Personenmodells errechnet, welche das Winken des Kunden 5 virtuell abbildet. In einer dritten Verarbeitungseinrichtung 8 des erfindungsgemäßen Systems 1 wird das Personenmodell und das Objektmodell schließlich in eine Umgebung 2, im vorliegenden Fall der Ausstellungsraum, integriert. Dies kann einerseits in Echtzeit geschehen, z.B. während der Kunde 5 sich in dem Ausstellungsraum 2 bewegt. Andererseits kann die Integration das Personenmodell und/oder das Fahrzeugmodell in die durch die Kameras 4 gemachte Aufnahmen des leeren Ausstellungsraums 2 zu einem späteren Zeitpunkt erfolgen.
Bevorzugt fügt die dritte Verarbeitungseinrichtung 8 das Personenmodell des Kunden 5 zu einem späteren Zeitpunkt in eine Echtzeitaufnahme des Ausstellungsraums 2 mit dem Fahrzeug 3 ein. Mittels des Objektmodells können hierbei vorzugsweise Eigenschaften des Fahrzeugs 3, z.B. dessen Farbe oder auch eine Struktur 13 der Oberfläche geändert werden. Im vorliegenden Fall wird beispielsweise bei dem virtuellen Fahrzeug 3 eine geometrische Form 13‘ auf die Motorhaube überlagert bzw. eingeblendet.
Vorzugsweise werden durch die Kameras 4 die Beleuchtungsverhältnisse in dem Ausstellungsraum 2 ermittelt. Diese Beleuchtungsverhältnisse werden auch bei der Integration des Personenmodells des Kunden 5 und des Objektmodells des Fahrzeugs 3 durch die dritte Verarbeitungseinrichtung 8 angewandt. Die Beleuchtungsverhältnisse können sowohl über die Kameras 4 wie durch auch einen zusätzlichen Sensor bestimmt werden. Auch hierfür sind Messungen in verschiedenen räumlichen Positionen des Ausstellungsraums 2 notwendig.
In einer anderen Ausführungsform wird die Beleuchtungssituation des Ausstellungsraums 2 jedoch aus dem Personenmodell und dem Objektmodell herausgerechnet. Wird auch für den Ausstellungsraum 2 ein Umgebungsmodell erstellt, so kann die Beleuchtungssituation komplett herausgerechnet werden. Hierdurch entstehen neutrale Modelle, denen bei der Integration durch die dritte Verarbeitungsrichtung 8 eine neue Beleuchtungssituation hinzugefügt werden kann, so dass beispielsweise der Schattenwurf des Objektmodells des Fahrzeugs 3 oder das Personenmodell des Kunden 5 oder auch Kulissen des Ausstellungsraums 2 nach dem neuen Beleuchtungsmodell realistische Schatten werfen.
Um eine möglichst realistische Darstellung zu erreichen, müssen bei der Integration des Personenmodells und des Objektmodells vorzugsweise Schatten und Reflexionen sowie der Einfluss von Beleuchtungsverhältnissen und der Witterung, d.h. die Wechselwirkungen mit der Umwelt, berücksichtigt werden.
Die Wiedergabe des Personenmodells und des Objektmodells erfolgt vorzugsweise mittels eines Head-Mounted-Displays, welches im dargestellten Ausführungsbeispiel als Datenbrille 9 ausgebildet ist. Die Datenbrille 9 besteht im Wesentlichen aus durchsichtigen Gläsern, in welche visuelle Wiedergaben eingeblendet werden können.
Ein am oder im Ausstellungsraum befindlicher Betrachter 12, welcher die Datenbrille 9 trägt, hat dann zum einen durch die Datenbrille hindurch eine freie Sicht auf die reale Umgebung mit realen Objekten, zum anderen können ihm von dem virtuellen System 1 eine Darstellung des Personenmodells, des Objektmodells und gegebenenfalls des Umgebungsmodells auf die durchsichtigen Gläser der Brille oder auch direkt auf die Netzhaut projiziert werden. Auf diese Weise findet im Sichtfeld des Betrachters 12 mit der Datenbrille 9 eine Überlagerung der virtuellen Modelle mit dem realen Ausstellungsraum 2 samt darin angeordneten Objekten, z.B. dem Fahrzeug 3, statt. Durch die virtuelle Überlagerung können dem Betrachter 12 verschiedenste Ausstattungsvarianten des Fahrzeugs 3 dargestellt werden. Auch kann das Fahrzeug 3 in einer anderen Umgebung dargestellt werden, wie z.B. in der 1 im Hintergrund mit einem Wald und eine Person 5 kann ebenfalls der realen Szenerie überlagert werden.
Vorzugsweise wird der Kunde 5 beim Betrachten des realen Fahrzeugs durch die Kameras 4 gefilmt und danach demselben Kunden 5 als Betrachter 12 der Vorgang des Inspizierens des gegebenenfalls virtuell modifizierten Fahrzeugs 3 dargestellt. Hierdurch kann der Kunde sich selbst beim Ein- bzw. Aussteigen aus seinem Wunschfahrzeug zusehen und erkennen, ob der äußere Eindruck des Fahrzeugs zu ihm passt und hierbei betrachtet er sein fotorealistisches Ebenbild vorzugsweise aus der dritten Person. Auch können mehrere verschiedene Kleidungsstücke virtuell durchprobiert werden oder die Szenerie, in welcher die Szene stattfindet, kann beliebig verändert werden.
Vorzugsweise kann der Betrachter 5 mit der Datenbrille 9 auch in das reale Fahrzeug 3 einsteigen und auch im Inneren werden verschiedene Ausstattungsvarianten angezeigt.
Um eine möglichst realistische perspektivische Darstellung zu erreichen, wird dabei mit einem Positionserfassungsmittel 11 die genaue Position des Betrachters 12 im Koordinatensystem der Umgebung 2, im vorliegenden Fall des Ausstellungsraums, bestimmt. Hierbei wird insbesondere die Position der Augen des Betrachters 12 bestimmt, wobei das Positionserfassungsmittel 11 hierbei mit der Datenbrille 9 vorzugsweise gekoppelt ist. Sowohl die Datenbrille 9 wie auch die Kameras 4 stehen hierbei in einer Datenverbindung mit einer zentralen Einheit 14, so dass Bilddaten und der Blickwinkel bzw. die Perspektive des Betrachters 12 an die erste Verarbeitungseinrichtung 6, die zweite Verarbeitungseinrichtung 7 und/oder die dritte Verarbeitungseinrichtung 8 weitergegeben werden können. Hierbei ist vorzugsweise eine drahtlose oder drahtgebundene Verbindung 15 vorgesehen.
Weitere Sensoren wie Positionserfassungsmittel 11 und ein Sensor 10 zum Messen der Beleuchtungssituation können ebenfalls über eine drahtgebundene oder drahtlose Verbindung an beliebigen Orten des Ausstellungsraums 2 angeordnet sein.
Die Grundlage des erfindungsgemäßen Verfahrens ist die Integration eines virtuellen Fahrzeugmodells und eines virtuellen Personenmodells 5 in einen realen Raum 2. Mit Hilfe von erweiterter Realität wird eine fotorealistische Darstellung des Fahrzeugs 3 für einen Kunden mit einer Anzeigeeinrichtung 9, insbesondere einem Head-Mounted-Display erreicht. Gleichzeitig kann ein reales Fahrzeug 3 in dem realen Raum 2 als haptisches Feedback für den Betrachter 12 dienen und auch die Umgebung 2 virtuell verändert werden.
Um das Fahrzeug 3 virtuell darstellen zu können, sollten vorzugsweise digitalisierte Daten des vom Kunden gewünschten Fahrzeugmodells vorliegen. Mithilfe dieser Daten wird ein virtueller Ausstellungsraum 2 für den Kunden erstellt. Die Bewegungen des Kunden 5 werden aufgezeichnet, damit ein Abgleich zwischen der realen und virtuellen Realität erfolgen kann. Während der Bewegung in der realen Welt betrachtet der Betrachter 12 somit zumindest teilweise die virtuelle Welt. Zusätzlich wird vorzugsweise die Beleuchtungssituation der Umgebung über HDR-Kameras (High dynamic range) erfasst und in die virtuelle Welt integriert, so dass der Betrachter 12 das Gefühl hat, er wäre im Ausstellungsraum 2 und sieht dort das virtuelle Fahrzeugmodell als reales Fahrzeug 3. Des Weiteren kann auch die reale Umgebung 2 durch ein Umgebungsmodell der virtuellen Realität, z.B. eine Straße oder einen Sandstrand, ersetzt werden. Vorzugsweise wird ein reales Fahrzeug 3 an die gewünschte Position im Raum gestellt, so dass der Betrachter 12 zwar die virtuelle Realität sieht, das Fahrzeug 2 aber in der realen Welt berühren kann.
Für die korrekte Berechnung der Bilddaten in dem Head-Mounted-Display ist auch der Blickwinkel des Betrachters 12 notwendig. Dies geschieht vorzugsweise über Lagesensoren in dem Head-Mounted-Display 9, beispielsweise MEMS (Micro-Electro-Mechanical-System) oder über Triangulation des Head-Mounted-Displays 9 im Koordinatensystem der Umgebung 2. Das berechnete komplette virtuelle Bild kann daraufhin in dem Head-Mounted-Display 9 ausgegeben werden.
Um den allgemeinen Realitätsgrad der Simulation zu erhöhen, wird als Head-Mounted-Display vorzugsweise eine durchsichtige oder halbdurchsichtige Datenbrille 9 verwendet. Durch die Verwendung einer solchen Datenbrille 9 wird der virtuelle Hintergrund nun bei der Wiedergabe ausgeblendet (keying). Somit kann ein virtuell dargestelltes Fahrzeug im realen Raum betrachtet werden.
Das System 1 berechnet pro Auge des Betrachters 12 die benötigten Bilder 2-D pixelgenau anhand der erfassten geometrischen Daten der Abmessungen der Person 5 und/oder der geometrischen Daten des Fahrzeugs 3. Hierbei werden ein Objektmodell des Fahrzeugs und/oder auch ein Personenmodell einer Person mittels Integration bzw. Komposition der realen Umgebung 2 und gegebenenfalls dem realen Fahrzeug 3 überlagert. Dabei müssen der virtuelle und der reale Bildstrom in ein Bild zusammengeführt werden und nicht benötigte Teile des virtuellen Bildes ausmaskiert werden (keying).
Um eine Individualisierung bzw. Personalisierung des Fahrzeugs 3 bzgl. einer gewünschten Konfiguration eines Kunden zu ermöglichen, werden mittels des erfindungsgemäßen Verfahrens vorzugsweise auch Varianten und Sonderausstattung des Fahrzeugs 3 dargestellt. Dazu wird ein berechnetes virtuelles Fahrzeugmodell so mit dem realen Bild erweitert, dass eine Überlagerung des Bildes lediglich an jenen Stellen stattfindet, wo das virtuelle Fahrzeug vom Fahrzeug 3 abweicht. Dadurch kann der Betrachter 12 exakt seine gewünschte Sonderausstattung begutachten, obwohl diese im realen Fahrzeug 3 nicht verbaut ist. Gleichzeitig bietet sich ihm die Möglichkeit, das Fahrzeug 3, so wie es gewünscht aussehen soll, anfassen zu können.
Auf diese Weise können beliebig viele Außenfarben eines Fahrzeugmodells durchprobiert werden, inklusive den individuellen Außenfarben, für die in einem Autohaus bzw. beim Händler in der Regel kein Vorführfahrzeug vorliegt. Gleichzeitig können mittels gezielter Beleuchtung verschiedene Beleuchtungssituationen verschiedener zur Auswahl stehender Lacke dargestellt werden.
Durch das erfindungsgemäße Verfahren kann der Betrachter 12 z.B. auch im Fahrzeuginneren die Auswirkung von zusätzlicher Sonderausstattung direkt sehen oder sich verschiedene Varianten von Fahrzeugsitzen darstellen lassen.
In Vorführfahrzeugen sind zu Demonstrationszwecken oft alle Sonderausstattungen enthalten, was dem Kunden aber für sein später geliefertes eigenes Fahrzeug einen falschen Eindruck vermittelt. Durch das erfindungsgemäße Verfahren wird der Entscheidungsprozess des Kunden wesentlich beschleunigt, der nicht sich vorstellen muss, wie eine Farb- und Ausstattungskombination aussieht, sondern es direkt sehen kann.
Bezugszeichenliste

1: System
2: Umgebung
3: Objekt
4: Aufnahmemittel
5: Person
6: Erste Verarbeitungseinrichtung
7: Zweite Verarbeitungseinrichtung
8: Dritte Verarbeitungseinrichtung
9: Anzeigeeinrichtung
10: Sensor
11: Positionserfassungsmittel
12: Betrachter
13: Eigenschaft
13: ‘ Geänderte Eigenschaft
14: Zentrale Einheit
15: Datenverbindung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10128015 A1 [0011]
WO 2007/017598 A2 [0012]

Claims

System (1) zur Personalisierung einer Umgebung (2), insbesondere eines Ausstellungsraums, in welcher ein Objekt (3), insbesondere ein Fahrzeug, angeordnet ist, aufweisend: zumindest ein Aufnahmemittel (4), insbesondere eine Stereokamera und/oder ein Körperabtasteinrichtung (13), eingerichtet zum Erfassen von geometrischen Daten der Abmessungen einer Person (5) und zumindest einer Bewegung der Person (5) in der Umgebung (2); eine erste Verarbeitungseinrichtung (6), eingerichtet zum Erstellen eines virtuellen Personenmodells der Person (5) und eines virtuellen Objektmodells des Objekts (3) auf der Grundlage von jeweiligen geometrischen Daten; eine zweite Verarbeitungseinrichtung (7), eingerichtet zur Berechnung einer Abfolge von Veränderungen des Personenmodells, welche die zumindest eine Bewegung der Person (5) virtuell abbildet, eine dritte Verarbeitungseinrichtung (8), eingerichtet zur Integration des Personenmodells und des Objektmodells in die Umgebung (2); und eine Anzeigeeinrichtung (9), eingerichtet zur Wiedergabe des Personenmodells, des Objektmodells und der Umgebung (2).
System nach Anspruch 1, wobei die Anzeigeeinrichtung (9) ein Head-Mounted-Display, insbesondere eine Datenbrille oder ein Datenhelm, ist.
System nach Anspruch 1 oder 2, welches des Weiteren einen Sensor (10) aufweist, eingerichtet zum Messen der Beleuchtungssituation der Umgebung (2), wobei die erste Verarbeitungsvorrichtung (6) eingerichtet ist, dem Personenmodell und/oder dem Objektmodell eine entsprechende Ausleuchtung und einen entsprechenden Schattenwurf hinzuzufügen oder die Ausleuchtung und den Schattenwurf der Person (5) und/oder des Objekts (3) aus dem Umgebungsmodell herauszurechnen.
System nach einem der Ansprüche 1 bis 3, welches des Weiteren Positionserfassungsmittel (11) aufweist, eingerichtet zum Erfassen der Position eines Betrachters (12), insbesondere der Position der Augen des Betrachters (12), in Bezug auf das Objekt (3), wobei die Wiedergabe durch die Anzeigeeinrichtung (9) aus der Perspektive des Betrachters (12), insbesondere aus der Perspektive der Augen des Betrachters (12), erfolgt.
Verfahren (100) zur Personalisierung einer Umgebung (2), insbesondere eines Ausstellungsraums, in welcher ein Objekt (3), insbesondere ein Fahrzeug, angeordnet ist, mit den folgenden Arbeitsschritten: Einlesen (101) von geometrischen Daten der Abmessungen einer Person (5) und von geometrischen Daten des Objektes (3); Erstellen (103) eines virtuellen Personenmodells der Person (5) und eines virtuellen Objektmodells des Objekts (3); Erfassen (104) zumindest einer Bewegung der Person (5) in der Umgebung (2); Berechnung (105) einer Abfolge von Veränderungen des Personenmodells, welche die zumindest eine Bewegung der Person (5) virtuell abbildet; Integration (108) des Personenmodells und des Objektmodells in die Umgebung (2); und Wiedergabe (110) des Personenmodells und des Objektmodells in der Umgebung.
Verfahren nach Anspruch 5, des Weiteren die folgenden Arbeitsschritte aufweisend: Erstellen (106) eines virtuellen Umgebungsmodells, wobei die Umgebung (2) zumindest teilweise durch das Umgebungsmodell ersetzt wird.
Verfahren nach Anspruch 5 oder 6, des Weiteren die folgenden Arbeitsschritte aufweisend: Einlesen (102) von zumindest einer weiteren Eigenschaften, insbesondere einer Farbe und/oder einer Oberflächenstruktur, der Person (5), des Objekts (3) und/oder der Umgebung (2).
Verfahren nach einem der Ansprüche 5 bis 7, des Weiteren den folgenden Arbeitsschritt aufweisend: Verändern (107) der zumindest einen Eigenschaft (13‘) der Person (5) im Personenmodell, des Objekts (3) im Objektmodell und/oder der Umgebung (2) in einem Umgebungsmodell.
Verfahren nach einem der Ansprüche 5 bis 8, wobei das Erfassen von weiteren Eigenschaften (13) der Umgebung (2) ein Messen der Beleuchtungssituation der Umgebung (2) einschließt und dem Personenmodell und/oder dem Objektmodell eine entsprechende Ausleuchtung, ein entsprechender Schattenwurf und/oder eine entsprechende Reflexion an einer Oberfläche, insbesondere des Himmels, der Person und/oder eines realen oder virtuellen Gegenstands, hinzugefügt wird.
Verfahren nach Anspruch 8 oder 9, wobei das Erfassen von weiteren Eigenschaften der Umgebung ein Messen der Beleuchtungssituation in der Umgebung (2) einschließt und die Ausleuchtung und der Schattenwurf der Person (2) und/oder des Objekts (3) aus dem Umgebungsmodell herausgerechnet werden.
Verfahren nach Ansprüche 8 bis 10, des Weiteren die folgenden Arbeitsschritte aufweisend: Hinzufügen einer Beleuchtungssituation zu dem Umgebungsmodell; und Hinzufügen einer entsprechenden Ausleuchtung, eines entsprechenden Schattenwurfs und/oder eine entsprechende Reflexion an einer Oberfläche, insbesondere des Himmels, der Person und/oder eines realen oder virtuellen Gegenstands, zu dem Personenmodell und/oder dem Objektmodell.
Verfahren nach einem der Ansprüche 5 bis 11, des Weiteren den folgenden Arbeitsschritt aufweisend: Erfassen (109) der Position eines Betrachters (12), insbesondere der Position der Augen des Betrachters (12), in Bezug auf das Objekt (3), wobei die Wiedergabe aus der Perspektive des Betrachters (12), insbesondere aus der Perspektive der Augen des Betrachters (12), erfolgt.
Verfahren nach einem der Ansprüche 5 bis 12, wobei die Wiedergabe (110) einer realen Echtzeit-Ansicht des Betrachters überlagert wird, wobei bei der Wiedergabe eine Überlagerung des Objekts durch das Objektmodell an den Stellen des Objekts erfolgt, wo das Objektmodell von dem Objekt abweicht.