-
Die Erfindung betrifft ein Verfahren und eine Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes, insbesondere im Rahmen eines Virtual oder Augmented Reality Systems.
-
Aus dem Stand der Technik sind so genannte Augmented Reality Systeme bekannt. Diese sind gekennzeichnet durch eine Überlagerung von computergenerierten, virtuellen Informationen mit Seheindrücken der realen Umgebung. Dazu werden die Seheindrücke der realen Umgebung, vorzugsweise mit auf dem Kopf getragenen halbdurchlässigen Datenbrillen, mit virtuellen Informationen gemischt. Die Einblendung der virtuellen Informationen bzw. Objekte kann dabei kontextabhängig, d.h. angepasst und abgeleitet von der jeweilig betrachteten realen Umgebung ausgeführt sein. Als Informationen können grundsätzlich jede Art von Daten, wie Texte, Abbildungen etc., verwendet werden. Beispiele für solche Systems sind in der
DE 198 32 974 A1 und der
DE 101 28 015 A1 offenbart.
-
Aus der
DE 10 2004 061 841 A1 ist ein Verfahren zur Bestimmung der Position/Orientierung einer Kamera bezüglich eines realen Objektes bekannt.
-
Zudem sind aus dem Stand der Technik optische Positionserfassungssysteme, so genannte Trackingsysteme bekannt, welche die Position und/oder Orientierung von Objekten in einem Vermessungsraum bestimmen. Beispielsweise werden bei so genannten optischen Trackingsystemen durch verschiedene Verfahren der computergestützten Bildverarbeitung die Position und/oder die Orientierung einer Kamera zur Erfassung der realen Umgebung über die optische Erkennung von realen Objekten bestimmt.
-
Nach dem Stand der Technik unterscheidet man zwischen so genannten markerbasierten und so genannten markerlosen optischen Trackingsystemen, wobei markerlose Trackingsysteme im Gegensatz zu markerbasierten Trackingsystemen zur Bestimmung des Ortes und der Orientierung der Kamera ohne eigens zu diesem Zweck vorgesehene Marker oder Muster auskommen.
-
Um ohne Marker optisch initial oder reinitial die Position und die Orientierung einer Kamera bestimmen zu können, werden abgespeicherte Bilder eines realen Objektes mit einem durch die Kamera aktuell aufgenommenen Bild des realen Objektes verglichen. Dazu ist es erforderlich, vorab eine Vielzahl von Bildern des realen Objektes aus verschiedenen Kamerapositionen und mit verschiedenen Kameraorientierungen aufzunehmen und samt zugehöriger Kamerapositionen und Kameraorientierung abzuspeichern.
-
Der Erfindung liegt nun die Aufgabe zugrunde, eine technische Lehre anzugeben, mit der eine zuverlässige und aufwandsgünstige Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes ermöglicht wird.
-
Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind den abhängigen Ansprüchen zu entnehmen. Im Rahmen der Erfindung liegen dabei auch Weiterbildungen des unabhängigen Einrichtungsanspruchs, die den abhängigen Verfahrensansprüchen entsprechen.
-
Die Erfindung basiert demnach auch auf dem Gedanken, durch eine Kamera ein Real-Bildobjekt, beispielsweise ein elektronisches oder digitales Foto, eines realen Objektes zu erfassen, welches das reale Objekt beschreibt, darstellt, zeigt oder repräsentiert. Um die Position und/oder Orientierung der Kamera absolut oder relativ zu dem realen Objekt zu bestimmen, wird dieses Real-Bildobjekt zusammen mit einem abgespeicherten Referenzbildobjekt oder mehreren abgespeicherten Referenzbildobjekten eines virtuellen Objektes, das dem realen Objekt entspricht, verarbeitet. Insbesondere wird das Real-Bildobjekt mit dem oder den abgespeicherten Referenzbildobjekten verglichen, abgeglichen oder in Bezug gesetzt, um die Position und/oder Orientierung der Kamera bezüglich des realen Objektes zu bestimmen.
-
Bei dem virtuellen Objekt, das dem realen Objekt entspricht, handelt es sich beispielsweise um eine elektronische oder digitale Zeichnung, Konstruktionszeichnung oder CAD(Computer Added Design)-Zeichnung, oder um eine andere digitale oder elektronische Repräsentation des realen Objektes. Das Referenzbildobjekt ist dann ebenfalls eine elektronische, digitale oder computerbasierte Repräsentation dieses virtuellen Objektes.
-
Vorzugsweise wird das Real-Bildobjekt unter Verwendung einer realen optischen Einheit, wie beispielsweise einer Linse, gebildet, und das virtuelle Objekt und/oder das Referenzbildobjekt ohne Verwendung einer realen optischen Einheit, wie beispielsweise einer Linse, gebildet.
-
Besonders bevorzugt handelt es sich bei dem virtuellen Objekt um ein CAD-Objekt, welches dem realen Objekt entspricht oder welches die Grundlage für die Herstellung des realen Objektes bildet, und bei dem Referenzbildobjekt um ein computergestützt gebildetes elektronisches oder digitales Bild oder Foto des CAD-Objektes. Das Referenzbildobjekt kann fotorealistisch sein oder auf die Darstellung wesentlicher Elemente, welche beispielsweise zum Vergleich mit dem Real-Bildobjekt wichtig sind, beschränkt sein.
-
Es wird also zur Bestimmung des Ortes oder der Ausrichtung der Kamera nicht wie im Stand der Technik das aktuelle Real-Bildobjekt mit einem gespeicherten Real-Bild oder Referenzbild eines realen Objektes abgeglichen, sondern vorzugsweise das aktuelle Real-Bildobjekt mit einem gespeicherten Referenzbildobjekt eines virtuellen Objektes abgeglichen. Das Referenzbildobjekt basiert nicht wie im Stand der Technik unmittelbar auf dem realen Objekt sondern auf einem virtuellen Objekt, das dem realen Objekt lediglich entspricht oder dieses beschreibt oder repräsentiert.
-
Ein Vorteil der Erfindung liegt darin, dass auf einfache Weise eine Vielzahl von Referenzbildobjekten erstellt werden kann, da die Erstellung von Referenzbildobjekten ohne Verwendung des realen Objektes und/oder ohne Verwendung einer realen optischen Einheit beispielsweise rein computergestützt oder elektronisch durchgeführt werden kann. Es können durch die Erfindung aufwandsgünstig eine Vielzahl von Referenzbildobjekten aus verschiedenen Kamerapositionen und/oder mit verschiedenen Kameraorientierungen relativ zu dem virtuellen Objekt erstellt werden.
-
Durch die Erfindung wird erreicht, dass mit wenig Aufwand, beispielsweise computerbasiert, eine Vielzahl von Referenzbildobjekten erstellt werden kann, denen nicht nur eine bestimmte Kameraposition und/oder Kameraorientierung zugeordnet wird, sondern denen darüber hinaus mindestens eine weitere Bildeinflussgröße zugeordnet werden kann. Dadurch kann mit höherer Wahrscheinlichkeit ein zu einem aktuellen Real-Bildobjekt passendes Referenzbildobjekt gefunden werden, auf dessen Basis dann zusammen mit dem aktuellen Real-Bildobjekt die aktuelle Kameraposition und/oder Kameraorientierung bestimmt werden kann.
-
Die Referenzbildobjekte sind in einer Alternative in Referenzbildobjektsätze gegliedert, denen jeweils zumindest eine bestimmte Bildeinflussgröße zugeordnet ist. Die Bildeinflussgröße kann sich von Referenzbildobjektsatz zu Referenzbildobjektsatz unterscheiden.
-
Durch eine Gliederung der Referenzbildobjekte nach Bildeinflussgröße in Referenzbildobjektsätze wird ein Auffinden der Referenzbildobjekte mit passender Bildeinflussgröße erleichtert.
-
Vorteilhafterweise bedeuten verschiedene Bildeinflussgrößen verschiedene Perspektiven, so dass verschiedene Referenzbildobjektsätze das virtuelle Objekt aus verschiedenen (virtueller) Perspektiven beschreiben oder repräsentieren. Eine Perspektive wird vorzugsweise auch durch die Kamerahöhe bestimmt.
-
Gemäß einer anderen bevorzugten Ausgestaltung beschreiben oder definieren verschiedene Bildeinflussgrößen verschiedene Beleuchtungsszenarien, so dass verschiedene Referenzbildobjektsätze das virtuelle Objekt beim Vorliegen verschiedener (virtueller) Beleuchtungsszenarien beschreiben oder repräsentieren.
-
Besonders bevorzugt beschreiben oder definieren verschiedene Bildeinflussgrößen verschiedene Helligkeiten, insbesondere Umgebungslichthelligkeiten oder Objekthelligkeiten, so dass verschiedene Referenzbildobjektsätze das virtuelle Objekt beim Vorliegen verschiedener (virtueller) Helligkeiten beschreiben.
-
So kann beispielsweise jeder Referenzbildobjektsatz eine Vielzahl verschiedener Referenzbildobjekte umfassen, welche jeweils unter der Annahme unterschiedlicher Kamerapositionen oder Kameraorientierungen bezüglich des virtuellen Objektes erstellt wurden. Die Referenzbildobjekte eines Referenzbildobjektsatzes wurden aber unter Annahme einer bestimmten dem Referenzbildobjektsatz zugeordneten Bildeinflussgröße erstellt, und sind mit Hinblick auf diese Bildeinflussgröße verschieden von den Referenzbildobjekten eines anderen Referenzbildobjektsatzes. So können die Referenzbildobjekte eines Referenzbildobjektsatzes unter der Annahme eines bestimmten Helligkeitswertes erstellt werden, wohingegen die Referenzbildobjekte eines anderen Referenzbildobjektsatzes unter der Annahme eines anderen bestimmten Helligkeitswertes erstellt werden.
-
Alternativ oder ergänzend wird auf der Basis von einem Referenzbildobjekt eines Referenzbildobjektsatzes, der einer aktuellen Bildeinflussgröße zugeordnet ist, und dem Real-Bildobjekt die Position und/oder Orientierung der Kamera bezüglich des realen Objektes bestimmt. Es werden also beispielsweise in Abhängigkeit von einer aktuellen Bildeinflussgröße ausschließlich oder bevorzugt Referenzbildobjekte des Referenzbildobjektsatzes zur Bestimmung der Position und/oder Orientierung der Kamera bezüglich des realen Objektes verwendet, welcher der aktuellen Bildeinflussgröße entspricht, welchem also eine entsprechende (identische oder ähnliche) Bildeinflussgröße zugeordnet ist.
-
Liegt beispielsweise bei der Erstellung des Real-Bildobjektes eine große Helligkeit vor, so wird das Real-Bildobjekt nur oder bevorzugt mit Referenzbildobjekten eines Referenzbildobjektsatzes, dem eine entsprechend (identisch oder ähnlich) große Helligkeit zugeordnet ist, abgeglichen oder verglichen, um die aktuelle Kameraposition und/oder Kameraorientierung zu bestimmen.
-
Nach einer besonders bevorzugten Ausgestaltung wird die aktuelle Bildeinflussgröße durch eine Ermittlungseinrichtung automatisch ermittelt.
-
Alternativ oder ergänzend ist den Referenzbildobjekten jeweils eine virtuelle Kameraposition und/oder Kameraorientierung zugeordnet, auf deren Basis das Referenzbildobjekt bestimmt wurde. Es kann dann das Referenzbildobjekt ermittelt werden, das dem Real-Bildobjekt am ähnlichsten ist, insbesondere kann das Referenzbildobjekt eines Referenzbildobjektsatzes, der einer aktuellen Bildeinflussgröße zugeordnet ist, ermittelt werden, das dem Real-Bildobjekt am ähnlichsten ist. Basierend auf dem ermittelten Referenzbildobjekt, basierend auf der diesem Referenzbildobjekt zugeordneten virtuellen Kameraposition und/oder Kameraorientierung und basierend auf dem aktuellen Real-Bildobjekt kann dann die Position und/oder die Orientierung der Kamera bestimmt werden.
-
Die oben stehende Aufgabe wird auch gelöst durch eine Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes mit einer Speichereinrichtung, in der Referenzbildobjekte eines virtuellen Objektes, das dem realen Objekt entspricht, gespeichert oder speicherbar sind, mit einer Kamera, welche zur Erfassung eines Real-Bildobjektes des realen Objektes eingerichtet ist, und mit einer Rechnereinrichtung, die derart eingerichtet ist, dass auf der Basis von einem Referenzbildobjekt und dem Real-Bildobjekt die Position und/oder Orientierung der Kamera bezüglich des realen Objektes bestimmt wird, und dass die Referenzbildobjekte in einer Alternative in Referenzbildobjektsätze gegliedert sind, denen jeweils zumindest eine bestimmte Bildeinflussgröße zugeordnet ist.
-
Im Folgenden wird die Erfindung anhand von Beispielen unter Bezugnahme auf die folgende Figur näher erläutert:
- 1 zeigt eine schematische Darstellung einer Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera.
-
1 zeigt eine Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera, welche beispielsweise Bestandteil eines Augmented oder Virtual Reality Systems sein kann.
-
Die Kamera K kann beispielsweise Bestandteil eines am Kopf eines Anwenders befestigten Displays (Head Mounted Display) sein oder mit diesem zusammenwirken. Mit der Kamera K werden aktuelle Real-Bildobjekte eines nicht dargestellten realen Objektes, beispielsweise eines Verbrennungsmotors, in Form von elektronischen Bewegtbildern (Videobildern) oder Festbildern aufgenommen und an eine Rechnereinrichtung RE übergeben.
-
Die Rechnereinrichtung RE kann als programmgesteuerte Prozessoreinrichtung oder als anwendungsspezifische integrierte Schaltung ausgeführt sein und ist zur Steuerung wesentlicher Komponenten der Einrichtung und zur Steuerung oder Ausführung nachstehender Verfahrensschritte entsprechend eingerichtet.
-
In einer elektronischen Speichereinrichtung SPE, wie einer Festplatte oder Halbleiterspeicherelementen, sind gegliedert nach Referenzbildobjektsätzen h1,h2 Referenzbildobjekte p1h1 ,p2h1 ,p1h2, p2h2 abgespeichert. Dem ersten Referenzbildobjektsatz h1 ist als Bildeinflussgröße eine erste Helligkeit und dem zweiten Referenzbildobjektsatz h2 ist als Bildeinflussgröße eine zweite Helligkeit zugeordnet.
-
Im ersten Referenzbildobjektsatz h1 sind Referenzbilder p1h1,p2h1 enthalten, welche ein virtuelles Objekt, beispielsweise eine CAD-Konstruktion des oben genannten Verbrennungsmotors, ganz oder auszugsweise repräsentieren, insbesondere als elektronisches Bild oder Foto repräsentieren.
-
Das erste Referenzbildobjekt p1h1 beschreibt das virtuelle Objekt aus einer ersten virtuellen Kamera-Position und bei einer ersten virtuellen Helligkeit. Das zweite Referenzbildobjekt p2h1 beschreibt das virtuelle Objekt aus einer zweiten virtuellen Kamera-Position und ebenfalls bei einer ersten virtuellen Helligkeit. Die Helligkeit bezieht sich auf das virtuelle Objekt oder die virtuelle Umgebung.
-
Im zweiten Referenzbildobjektsatz h2 sind Referenzbilder p1h2, p2h2 enthalten, welche ebenfalls das virtuelle Objekt ganz oder teilweise, beispielsweise nur wesentliche Merkmale des virtuellen Objektes, repräsentieren.
-
Das erste Referenzbildobjekt p1h2 beschreibt hier das virtuelle Objekt aus einer ersten virtuellen Kamera-Position und bei einer zweiten virtuellen Helligkeit. Das zweite Referenzbildobjekt p2h2 beschreibt das virtuelle Objekt aus einer zweiten virtuellen Kamera-Position und bei einer zweiten virtuellen Helligkeit.
-
Mit einer Ermittlungseinrichtung EE wird automatisch die aktuelle Helligkeit (Bildeinflussgröße), insbesondere die Objekt- oder Umgebungslichthelligkeit, ermittelt und ebenfalls an die Rechnereinrichtung RE übermittelt. Dies wird beispielsweise durch geeignete Sensoren, welche beispielsweise auch in herkömmlichen Kameras zur Belichtungssteuerung verwendet werden, realisiert.
-
Die Rechnereinrichtung RE ist nun so eingerichtet, dass zunächst der Referenzbildobjektsatz h1, h2 ausgewählt wird, dessen zugeordnete Helligkeit der ermittelten aktuellen Helligkeit entspricht, insbesondere am nächsten kommt. Dies sei im vorliegenden Beispiel der Referenzbildobjektsatz h1.
-
Dann wird innerhalb dieses Referenzbildobjektsatzes h1 durch geeignete Bildverarbeitungsalgorithmen das Referenzbildobjekt p1h1,p2h1 ermittelt, welches dem mit der Kamera erfassten Real-Bildobjekt am ähnlichsten ist. Dies sei im vorliegenden Beispiel das Referenzbildobjekt p1h1.
-
Anschließend wird basierend auf der Position, von der aus das Referenzbildobjekt p1h1 den virtuellen Gegenstand beschreibt, basierend auf dem Referenzbildobjekt p1h1 selbst und basierend auf dem Real-Bildobjekt die Position und/oder Orientierung der Kamera K bezogen auf das reale Objekt bestimmt. Dazu werden an sich für das markerlose Tracking bereits bekannte Algorithmen und Systeme verwendet, welche auch aus der folgenden Veröffentlichung von Luca Vacchetti, Vincent Lepetit, Pascal Fua schon bekannt sind: „Stable Real-Time 3D Tracking Using Online and Offline Information“ (IEEE Trans. Pattern Anal. Mach. Intell. 26(10): 1385-1391 (2004))
-
Die so bestimmte Position und/oder Orientierung der Kamera K kann dann beispielsweise genützt werden, um im oben genannten Display eine Bildinformation derart positioniert zur Anzeige zu bringen, dass die Bildinformation das reale Objekt an der gewünschten Stelle überlagert.
-
Die Verfahren und Einrichtungen zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes können insbesondere im Rahmen einer Initialisierung oder Reinitialisierung eines markerlosen Trackingsystems für ein Augmented oder Virtual Reality System eingesetzt werden.
