-
Die Erfindung betrifft ein Verfahren zum Überlagern eines virtuellen graphischen Objekts über ein Kamerabild eines realen Gegenstands. Zum Überlagern werden digitale Objektdaten, welche das Objekt beschreiben, in das Kamerabild eingefügt und das derart aufbereitete Kamerabild durch eine Anzeigeeinrichtung angezeigt. Diese Technologie wird auch als Augmented-Reality oder Mixed-Reality bezeichnet.
-
In der Regel werden bei solchen Mixed-/Augmented-Reality-Systemen die Kamerabilder durch Datenbrillen dem Nutzer angezeigt und hierbei die virtuellen graphischen Objekte, also beispielsweise virtuelle Gegenstände, in der realen Umgebung gezeigt. Dabei ist eine Schwierigkeit, dass man in dieser Darstellungsform zum Beispiel weitere reale Personen, die im Kamerabild sichtbar sind, neben den virtuellen Gegenständen im Raum sehen kann, diese Personen aber vom dargestellten virtuellen Gegenstand überlagert werden, selbst wenn sie zum Beispiel näher am Benutzer der Datenbrille stehen, als der virtuelle Gegenstand selber positioniert sein soll. Dies stört die Illusion beträchtlich.
-
Aus der
US 2012/0026191 A1 ist hierzu ein Verfahren bekannt, bei welchem in einem Kamerabild mittels einer Gesichtsdetektion ein Gesicht einer Person detektiert wird, die dem Nutzer gegenüber steht und von einer Kamera gefilmt wird. In dem Kamerabild werden dann auf Grundlage der Gesichtsdetektion freie Bildbereiche ermittelt, so dass zusätzlich virtuelle Objekte, wie beispielsweise Nachrichtentexte, überschneidungsfrei neben dem Gesicht, und nicht störend im Gesicht eingeblendet werden können.
-
Aus der
US 2012/0293548 A1 ist ein Verfahren zum Darstellen einer Live-Szene, beispielsweise eines Fußballspiels oder einer Opernaufführung, bekannt, durch welches in einem Kamerabild solche Bildbereiche automatisch ermittelt werden, in welchem sich eine gerade für den Betrachter interessante Handlung abspielt. In den übrigen Regionen des Kamerabildes werden dann Zusatzinformationen zu der Handlung eingeblendet. Das derart aufbereitete Kamerabild wird über eine Datenbrille dem Benutzer präsentiert.
-
Aus der
DE 101 06 072 A1 ist eine Datenbrille mit einem Projektionsglas beschrieben, welches seitlich im Sichtfeld visuelle Informationen, wie beispielsweise Börsennachrichten oder Terminerinnerungen, darstellt, die der Benutzer dann vor dem Hintergrund, nämlich der realen Umwelt, sehen kann.
-
Die bekannten Verfahren weisen den Nachteil auf, dass der Benutzer die zusätzlich eingeblendeten Informationen, das heißt die virtuellen graphischen Objekte, stets als unwirkliche, dem Kamerabild der realen Gegenstände überlagerte visuelle Eindrücke, nicht aber als in die Umgebung integrierte Objekte wahrnimmt.
-
Der Erfindung liegt die Aufgabe zugrunde, bei einem Überlagern oder Einblenden von virtuellen graphischen Objekten auch die in dem Kamerabild abgebildeten realen Gegenstände zu berücksichtigen.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich durch die Merkmale der abhängigen Patentansprüche.
-
Das erfindungsgemäße Verfahren zum Einblenden oder Überlagern eines virtuellen graphischen Objekts über ein Kamerabild eines realen Gegenstands löst das Problem durch Herstellen einer räumlichen Beziehung zwischen dem Objekt und dem Gegenstand. Hierzu wird zunächst in der bekannten Weise das Kamerabild durch eine Anzeigeeinrichtung angezeigt und jeweils zum Überlagern des Objekts, welches durch digitale Objektdaten beschrieben ist, zumindest ein Teil der Objektdaten in das Kamerabild eingefügt. Das Einfügen kann durch Ersetzen von Kamerabilddaten oder auch durch Kombinieren von Kamerabilddaten mit den Objektdaten beispielsweise mittels Alpha-Blending durchgeführt werden.
-
Erfindungsgemäß wird nun durch eine Erfassungseinrichtung ein Abstand des realen Gegenstands von der Anzeigeeinrichtung erfasst. Die genannten Objektdaten umfassen entsprechend zusätzlich einen virtuellen Objektabstand des Objekts von der Anzeigeeinrichtung. Es wird nun überprüft, ob der Objektabstand kleiner als der erfasste Abstand des realen Gegenstands ist, und nur für diesen Fall wird das Objekt dem Kamerabild überlagert. Andernfalls wird das Objekt nicht angezeigt, so dass der Eindruck entsteht, als verdecke der reale Gegenstand gerade das virtuelle Objekt. Bei dem Abstand kann es sich z. B. um einen der Anzeigeeinrichtung nächstliegenden Punkt oder um einen geometrischen Schwerpunkt handeln. Es muss auch nicht der Abstand selbst angegeben sein. Es kann durch die Objektdaten auch eine absolute Raumposition des Objekts angegeben sein, aus der sich der Abstand herleiten lässt.
-
Durch das Verfahren ergibt sich der Vorteil, dass einem Betrachter der Anzeigeeinrichtung der visuelle Eindruck vermittelt wird, dass sich das Objekt als weiterer Gegenstand zusammen mit dem realen Gegenstand in der realen Umgebung befindet, die von dem Kamerabild dargestellt wird. In Zusammenhang mit der Erfindung ist unter dem Begriff Kamerabild insbesondere ein einzelnes Kamerabild oder eine Videosequenz zu verstehen.
-
Bei dem graphischen Objekt kann es sich in der beschriebenen Weise beispielsweise um einen textuellen und/oder graphischen Hinweis handeln, also z. B. Nachrichten oder Termine, oder aber auch um ein gegenständliches Objekt, wie beispielsweise ein Kraftfahrzeug oder ein Bauteil eines Kraftfahrzeugs.
-
Bei dem Objekts kann es sich aber auch um einen Bestandteil eines größeren virtuellen Gegenstands handeln, also z. B. um einen Teilbereich von dessen Oberfläche. Entsprechend sieht eine Weiterbildung des Verfahrens vor, dass durch die Erfassungseinrichtung nicht nur ein Abstand ermittelt wird, sondern auch eine dreidimensionale Oberflächenkontur des realen Gegenstands erfasst wird, also die äußere räumliche Form des Gegenstands. Entsprechend ist in den Objektdaten eine dreidimensionale Objektform des Objekts beschrieben. Durch eine Analyseeinrichtung, beispielsweise eine Prozessoreinrichtung eines Steuercomputers oder ein Programmmodul für eine Prozesseinrichtung, wird mittels eines geometrischen Schnitts oder einer geometrischen Überlagerung oder Durchdringung erfassten (realen) Oberflächenkontur mit der (virtuellen) Objektform durchgeführt und hierdurch ermittelt, welcher Teil des Objekts aus der Oberflächenkontur herausragt. Mit herausragt ist hierbei gemeint, dass aus dem Blickwinkel der Anzeigeeinrichtung überprüft wird, welcher Teil der Objektform näher als die Oberflächenkontur ist. Nur der herausragende Teil wird dann durch Anzeigeeinrichtung angezeigt. Hierdurch wird in vorteilhafter Weise der Eindruck des Vorhandenseins eines tatsächlichen Objekts im Kamerabild noch verstärkt.
-
Bevorzugt wird der reale Gegenstand optisch oder allgemein berührungslos abgetastet, wodurch ein besonders flexibles Augmented-Reality-System bereitgestellt werden kann. Bevorzugt wird hierbei eine 3D-Erfassungseinrichtung in Form einer Time-of-Flight-Kamera bereitgestellt. Zusätzlich oder alternativ dazu kann die Erfassungseinrichtung auch eine Stereokamera und/oder einen Laser-Scanner umfassen. Die Verwendung von Kameras weist den besonderen Vorteil auf, dass diese auch dazu benutzt werden können, das Kamerabild selbst zu erzeugen.
-
Besonders bevorzugt ist die genannte Anzeigeeinrichtung in einer Datenbrille integriert, so dass ein Benutzer die Anzeigeeinrichtung also am Kopf vor den Augen tragen kann. Hierbei ist besonders bevorzugt, dass auch eine Raumlage der Datenbrille ermittelt wird, also die Ausrichtung der Datenbrille und damit des Kopfes ihres Benutzers. Eine weitere Verbesserung des Augmented-Reality-Effekts ergibt sich hierbei, wenn auch eine Darstellungsgröße und/oder eine perspektivische Verzerrung eines angezeigten Teils des virtuellen graphischen Objekts in Abhängigkeit von der ermittelten Raumlage eingestellt wird. Durch das Erfassen der Raumlage ist dies durch an sich bekannte, einfach zu realisierende geometrische Berechnungen möglich, beispielsweise auf Grundlage der Prinzipien der perspektivischen Darstellung gemäß einer Fluchtpunktperspektive, einer isometrischen Darstellung oder gemäß der zentralperspektivischen Darstellung.
-
Gemäß einer Weiterbildung des Verfahrens wird der Objektabstand in Abhängigkeit von dem erfassten Abstand eingestellt. Mit anderen Worten ergibt sich also eine Wechselwirkung zwischen dem erfassten Abstand des realen Gegenstands und dem Objektabstand des Objekts. Beispielsweise kann also nun durch Bewegen des realen Gegenstands auch das virtuelle Objekt in der AR-Umgebung bewegt werden. Es kann also beispielsweise ein Benutzer mit seiner Hand (realer Gegenstand) das virtuelle Objekt näher heranziehen oder es von sich wegschieben. Dies wird bei dem erfindungsgemäßen Verfahren ohne aufwändige Erfassung der Handposition oder allgemein der Gegenstandsposition einfach auf Grundlage der Abstandsmessung ermöglicht.
-
Zu der Erfindung gehört auch eine Präsentationsvorrichtung, wie sie beispielsweise in einem sogenannten virtuellen Showroom (Präsentationsraum) genutzt werden kann. Die erfindungsgemäße Präsentationsvorrichtung dient zum Darstellen von mindestens einem Merkmal eines Produkts. Zu dem mindestens einen Merkmal sind jeweils Objektdaten zum Beschreiben des Merkmals als virtuelles graphisches Objekt in einem Speicher der Präsentationsvorrichtung gespeichert. Handelt es sich bei dem Produkt beispielsweise um ein Kraftfahrzeug, so kann als ein Merkmal eine besondere Ausstattung des Kraftfahrzeugs vorgesehen sein, wobei der entsprechende Ausstattungsgegenstand, z. B. eine bestimmte zusätzliche Anzeige, dann als virtuelles graphisches Objekt in dem Speicher durch Objektdaten beschrieben ist. Die erfindungsgemäße Präsentationsvorrichtung weist eine Anzeigeeinrichtung, insbesondere eine am Kopf tragbare Anzeigeeinrichtung, wie beispielsweise eine AR-Datenbrille, sowie die beschriebene Erfassungseinrichtung sowie eine Steuereinrichtung auf. Die Steuereinrichtung, beispielsweise ein Prozessoreinrichtung, wie beispielsweise ein Computer, oder ein Programmmodul für eine solche Prozessoreinrichtung, ist dazu ausgelegt, ein Kamerabild, durch welches ein von einer Kamera gefilmter Gegenstand abgebildet ist, auf der Anzeigeeinrichtung anzuzeigen und dem Kamerabild das zumindest eine Merkmal nach einer Ausführungsform des erfindungsgemäßen Verfahrens als graphisches Objekt zu überlagern. Beispielsweise kann es sich bei dem gefilmten Gegenstand um einen Verkäufer handeln, hinter dem oder um den herum ein bestimmtes Fahrzeugmodell, das die besonderen Merkmalen einer Sonderausstattung aufweist, als Augmented-Reality-Darstellung auf der Anzeigeeinrichtung angezeigt wird.
-
Ein besonderer Vorteil ergibt sich hierbei, wenn eine Attrappe einer Grundausstattung des Produkts in einem Erfassungsbereich der Kamera angeordnet ist. Beispielsweise kann also ein einfaches Modell eines Kraftfahrzeugs bereitgestellt sein, in welches sich ein potentieller Kunde mit einer Datenbrille vor den Augen hineinsetzen kann. Die besagte Steuereinrichtung ist in diesem Fall dazu ausgelegt, der in der Kamera abgebildeten Attrappe das zumindest eine Merkmal zu überlagern. So können beispielsweise Innenausstattungsmerkmale als virtuelle graphische Objekte dem Kamerabild der Grundausstattung des Produkts überlagert werden, so dass der Benutzer der Anzeigevorrichtung den visuellen Eindruck gewinnt, die Attrappe sei mit diesen Merkmalen ausgestattet. Die Verwendung der Attrappe weist hierbei den zusätzlichen Vorteil auf, dass der Benutzer eine haptische Rückmeldung beim Befühlen der Attrappe erhält, wenn er nach also dem Produkt greift. Ist beispielsweise eine Grundausstattung eines Kraftfahrzeugs bereitgestellt, in dessen Innenraum besondere Bedienelemente als virtuelle graphische Objekte dargestellt sind, so kann der Benutzer nun beispielsweise ein Armaturenbrett drücken und mittels der Anzeigevorrichtung in das Kamerabild eine Animation dessen bekommen, was bei Betätigen der Bedienvorrichtung passieren würde, wenn dies tatsächlich installiert wäre.
-
Im Folgenden ist hierzu anhand der einzigen Figur ein Ausführungsbeispiel der Erfindung beschrieben. Die einzige Figur zeigt hierzu eine schematische Darstellung einer Ausführungsform der erfindungsgemäßen Präsentationsvorrichtung.
-
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen aber die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In der Figur ist eine Präsentationsvorrichtung oder mit anderen Worten ein Showroom 10 dargestellt. In dem Showroom 10 können sich ein Verkäufer 12 und ein Kunde 14 befinden. Der Kunde 14 blickt auf eine Anzeigeeinrichtung 16, die beispielsweise eine Datenbrille sein kann, die der Kunde 14 an seinem Kopf vor den Augen trägt. Eine Kamera 18 filmt einen Bereich des Showrooms 10, das heißt ein Erfassungsbereich 20 der Kamera 18 ist in einen Bereich des Showrooms 10 gerichtet. Das Kamerabild 22, das heißt eine Videosequenz aus einer Sequenz von Einzelbildern, wird dem Kunden 14 mittels der Anzeigeeinrichtung 16 angezeigt. In der Fig. ist das Kamerabild 22 zur besseren Veranschaulichung in der Bildmitte dargestellt. Videodaten V der Kamera 18 werden von einer Steuereinrichtung 24 empfangen und aufbereitet. Die aufbereiteten Videodaten werden als Augmented-Reality-Bilddaten A zur Anzeige an die Anzeigeeinrichtung 16 ausgegeben.
-
In dem Kamerabild 22 können den Videodaten V zusätzliche Objektdaten hinzugefügt worden sein, die in einem Speicher 26 gespeichert sein können, der Bestandteil der Steuervorrichtung 24 sein kann. Durch die Objektdaten sind graphische Objekte beschrieben, die in den Bilddaten 22 zusätzlich zu den Abbildungen realer Gegenstände aus dem Showroom 10 dargestellt oder angezeigt sind. Beispielsweise können sich als reale Gegenstände in dem Erfassungsbereich 20 eine Attrappe 28 eines Produkts, das der Verkäufer 12 verkaufen möchte, beispielsweise ein Kraftfahrzeug, sowie der Verkäufer 12 und der Kunde 14 befinden. Die Attrappe 28 kann beispielsweise ein Armaturenbrett 30 und ein Lenkrad 32 umfassen. Bei dem Armaturenbrett 30 kann aber vorgesehen sein, dass dieses keine Bedienelemente aufweist. Der Verkäufer 12 erklärt in dem Beispiel dem Kunden 14 Details zu zusätzlichen Ausstattungsmerkmalen, die der Kunde 14 zu dem Produkt bestellen kann. Diese zusätzlichen Merkmale sind als die virtuelle graphischen Objekte in dem Kamerabild 22 dem Abbild 28' der Attrappe 28 graphisch überlagert. Beispielsweise können als zusätzliche Ausstattungsmerkmale ein Rückspiegel 34, ein steuerbarer Gebläseauslass 36, ein Infotainmentsystem 38, ein Kombiinstrument 40 und Bedien- und/oder Anzeigeelemente 42 auf dem Lenkrad 32 vorgesehen sein.
-
In dem Kamerabild 22 sind diese zusätzlichen Ausstattungsmerkmale als graphische Objekte nicht einfach dem Kamerabild überlagert, sondern der Kunde 14 hat den visuellen Eindruck, dass diese Merkmale auch räumlich korrekt in Bezug auf die realen Elemente der Attrappe 28 angeordnet sind.
-
Auch in Bezug auf den Verkäufer 12 wird in dem Kamerabild 22 eine Hand 44 des Verkäufers 12 korrekt vor dem Lüfterauslass 36 und dem Infotainmentsystem 38 dargestellt, das heißt die Abbildung 44' der realen Hand 44 verdeckt Teile des Lüfterauslasses 36 und des Infotainmentsystems 38, was in der Fig. durch gestrichelte Darstellung der verdeckten Anteile veranschaulicht ist. Auch in Bezug auf die übrigen Objekte sind verdeckte Anteile der graphischen Objekte in der Fig. gestrichelt dargestellt.
-
In der Attrappe 28 des Fahrzeugs, die virtuell in den Raum des Kamerabilds 22 projiziert ist, sitzt also nun der Kunde 14 auf dem Sitz sitzend in einem virtuellen Fahrzeug eine andere anwesende Person, nämlich in dem Beispiel der Verkäufer 12, neben sich. Der Verkäufer 12 kann mit einem zusätzlichen (nicht dargestellten) Bildschirm ebenfalls das Kamerabild 22 betrachten, wie es dem Kunden 14 mittels der Anzeigeeinrichtung 16 angezeigt wird. Hierbei kann sie sich beispielsweise für ein Verkaufsgespräch, auf einen Beifahrersitz der Attrappe 28 setzen. Bei einem herkömmlichen Augmented-Reality-System mit Datenbrille würde hierbei aber für den Kunden 14 der Verkäufer 12 selbst dann außerhalb des Fahrzeug bleiben, obwohl sie sich innerhalb einer Kontur des Kraftfahrzeugs befindet, also ihre Hand 44 beispielsweise zwischen dem Armaturenbrett 28 und der Anzeigeeinrichtung 16 ist. Grund dafür ist, dass gewöhnliche Augmented-Reality-Systeme in dem Kamerabild 22 lediglich die virtuellen graphischen Objekte überlagern.
-
Bei der Präsentationsvorrichtung 10 wird dagegen durch das Abbild der realen Hand 44 jeweils ein Teil der virtuellen graphischen Objekte richtig überdeckt. Hierzu wird mittels einer Erfassungseinrichtung 46, die beispielsweise Bestandteil der Kamera 18 sein kann, ein Abstand 48 der realen Gegenstände ermittelt. Hierzu wird auch die Anzeigeeinrichtung 16 in der Präsentationsvorrichtung 10 in an sich bekannter Weise geortet. In der Fig. ist beispielhaft der Abstand 48 der Hand 44 von der Anzeigeeinrichtung 16 veranschaulicht. Die Erfassungseinrichtung 46 kann beispielsweise auf einer Time-of-Flight-Erfassung basieren, was dadurch erreicht werden kann, dass die Kamera 18 als ToF-Kamera ausgestaltet sein kann. Zu den einzelnen Merkmalen, also den graphischen Objekten, ist in den Objektdaten im Speicher 26 auch jeweils eine räumliche Position abgespeichert, so dass ein Abstand 50 eines graphischen Objekts, in dem Beispiel ist der Abstand 50 des Lüfterauslasses 36 veranschaulicht, zu der Anzeigeeinrichtung 16 ermittelt werden kann. Ein Vergleich des Abstands 48 mit dem Abstand 50 ergibt, dass sich die Hand 44 näher an der Anzeigeeinrichtung 16 befindet, als der Lüfterauslass 16. Entsprechend müssen in dem Kamerabild 22 Bildpunkte, welche zur Abbildung 44 – der Hand 44 gehören, dargestellt werden und die entsprechenden Bildpunkte des graphischen Objekts dagegen nicht dargestellt werden.
-
Durch die Kombination der Augmented-Reality-Darstellung mittels der Anzeigeeinrichtung 16 mit einer Erfassungseinrichtung 46, wie einer 3D-Kamera, wie beispielsweise einer Time-of-Flight-Kamera, können also im Projektionsraum befindliche reale Gegenstände und Personen erfasst und in die Augmented-Reality-Darstellung mit einberechnet werden. Die Kamera 18 und die Erfassungseinrichtung 46 können dabei in der Datenbrille positioniert sein, was die perspektivtreue Darstellung der graphischen Objekte vereinfacht, oder aber auch an anderen Stellen im Raum der Projektionsvorrichtung 10 positioniert sein. Erkennt dabei die Steuereinrichtung 24, dass sich zwischen einem virtuellen Teilelement und dem Betrachter ein realer Körper befindet, kann die Augmented-Reality-Darstellung entsprechend angepasst werden. Da für eine räumliche Augmented-Reality-Darstellung die genaue Position und Ausrichtung der Brille bekannt sein müssen, lässt sich im Zusammenspiel mit der bekannten Position und Dimension des realen Körpers die Augmented-Reality-Darstellung entsprechend in dem Bereich ausblenden.
-
Durch die Ortung der Anzeigeeinrichtung 16 ist es auch möglich, in dem Kamerabild 22 bei einer Bewegung eines Kopfes des Kunden 14 eine Parallaxe der abgebildeten realen Gegenstände und der Merkmale zu berechnen und darzustellen. Zudem ist es möglich, mittels einer ToF-Kamera zu überprüfen, welche Teile der Merkmale 34, 36, 38, 40, 42 durch beispielsweise das Lenkrad oder die Hand 44 verdeckt sind, und nur die tatsächlich verdeckten Teile nicht darzustellen und die übrigen Teile als Überlagerung über den Videodaten V in dem Kamerabild 22 darzustellen. Hierzu kann die Steuereinrichtung 24 eine Analyseeinrichtung 52 aufweisen, welche auf Grundlage der 3D-Bilddaten einer Time-of-Flight-Kamera Oberflächenkonturen der Attrappe 28 und der Hand 44 ermitteln kann und überprüfen kann, ob die Objektformen der Merkmale 34, 36, 38, 40, 42 im Blickwinkel der Anzeigeeinrichtung 16 aus den Oberflächenkonturen herausragen oder von diesen verdeckt sind.
-
Insgesamt ist durch das Beispiel die Umsetzung einer korrekten Darstellung von realen Personen und/oder Gegenständen in einem Augmented-Reality-Environment gezeigt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2012/0026191 A1 [0003]
- US 2012/0293548 A1 [0004]
- DE 10106072 A1 [0005]
