-
Die
Erfindung betrifft ein Verfahren zur Bestimmung der Abstände,
die ein vorbestimmtes Objekt innerhalb einer tatsächlichen
Struktur einnimmt nach dem Obergriff des Hauptanspruches.
-
Um
in Systemen, die als erweiterte Realität oder auch Augmented
Reality (AR) bezeichnet werden, also Systemen, die digital vorliegende
Daten mit tatsächlichen Bildern verschmilzt, mit richtigen
Daten zu beliefern, kann es wichtig sein, die Abstände,
die ein vorbestimmtes Objekt, zum Beispiel ein solches, das noch nicht
in der Realität geschaffen wurde, aber des sen Abmessungen
schon bekannt sind, innerhalb einer tatsächlichen Struktur
einnimmt zu kennen, bzw. zu visualisieren.
-
Dabei
können Zusatzinformationen visuell in die Bilder oder die
Filme eingeblendet werden. Wichtig ist dabei, dass stets ein korrekter
Bezug zwischen Realität und digitalem Inhalt sicher gestellt
ist. Bisher werden dabei typischerweise Kameras mit festen vorbestimmten
Ortsbeziehungen verwendet. Weiter müssen die Kameras kalibriert
sein, d. h. es müssen Kameras verwendet werden, bei denen
die intrinsischen Parameter wie z. B. Brennweite, Hauptpunkt, Linsenverzerrung
bekannt sind.
-
Der
Erfindung liegt die Aufgabe zugrunde, ein Verfahren zu schaffen,
bei dem ohne Kenntnis der vorherigen Position der Kamera Abstände
innerhalb einer komplexen räumlichen Struktur bestimmt
und über AR-Systeme auch dargestellt werden können.
-
Erfindungsgemäß wird
die Aufgabe gelöst durch die Merkmale des Hauptanspruches.
Die Unteransprüche geben vorteilhafte Ausführungsformen
der Erfindung wieder.
-
Insbesondere
ist vorteilhaft, dass durch ein Verfahren, bei dem im wesentlichen
die gleiche Ansicht der tatsächlichen Struktur mit einer
Kamera aus wenigstens zwei beliebigen Positionen fotografiert wird,
zunächst die Position die Kamera während jeder
Aufnahme relativ zur tatsächlichen Struktur berechnet wird,
dann die Bildpunkte der Kamerabilder in den aufgenommenen Aufnahmen
der tatsächlichen Struktur auf ein gemeinsames Koordinatensystem
rektifiziert werden, dann korrespondierende Bildpunkte in beiden
Aufnahmen erfasst und in einer Tabelle gespeichert werden, zu den
Bildpunkten jeweils eine Disparität und ein Versatz korrespondierender
Bildpunkte berechnet wird und anschließend eine Disparitätskarte
in Form einer Matrix mit einer Größe entsprechend
der Anzahl der korrespondierenden Bildpunkte erstellt wird.
-
Diese
Disparitätskarte kann dann dazu genutzt werden, eine Tiefenmatrix
zu erzeugen, bei der die Tiefeninformation bereits als Wert vorliegt
und die durch eine weitere Tiefenmatrix aus einer Aufnahme aus wenigstens
einer dritten beliebigen Kameraposition fusioniert wird, um die
bei einem Errechnen aus lediglich zwei Aufnahmen erfolgenden Sprüngen
zu begegnen.
-
Durch
Errechnen der Koordinaten jeden Pixels in der fusionierten Tiefenmatrix
in einem kamera-unabhängigen Koordinatensystem können
schließlich die Abstände zwischen einem großen
Umriss eines virtuellen Objekts vorbestimmter Lage und nächstliegender
Punkte der tatsächlichen Struktur bestimmt werden. Diese Abstandsinformation
kann dann dazu genutzt werden, in Visualisierungen erweiterter Realität
Zusatzinformationen in Bildern oder Filmen einzublenden.
-
Ein
Anwendungsfall wäre beispielsweise das Vermessen der tatsächlichen
Struktur einer komplexen Fertigungsstrasse für Automobile über
das virtuelle Objekt vorbestimmter Lage ein neues, lediglich konstruiertes,
aber noch nicht tatsächlich vorliegendes Fahrzeug wäre,
dessen Außenumriss vorbekannt und dessen Abstände
zu den einzelnen Punkten der tatsächlichen Struktur jeweils
erfasst und dann, wenn sie kritisch sind, entsprechend in Fotos
oder Zeichnungen eingeblendet werden können.
-
Weitere
Vorteile und Merkmale der Erfindung ergeben sich aus nachfolgender
Beschreibung eines bevorzugten Ausführungsbeispiels der
Erfindung. Dabei zeigt :
-
1:
eine schematische Darstellung der Disparität der beiden
Abbildungen m1 und m1'
eines Objektpunktes M1. Die Disparität
für einen zweiten Objektpunkt M2 ist
zusätzlich in hellgrau dargestellt, und
-
2:
eine schematische Darstellung der Berechnung der Distanz D eines
Objektpunktes M aus der Disparität d, dem Basisabstand
B und der Fokallänge f.
-
Dabei
werden mit einer kalibrierten Kamera aus mehreren Perspektiven Aufnahmen
von einem statischen Objekt gemacht. Die Position und Orientierung
der Kamera zu den Aufnah mezeitpunkten werden entweder aus den Bildern
selbst oder mittels externer Sensorik berechnet. Position und Orientierung
wird in Folge als Pose bezeichnet. Durch Analyse der Topologie der
Kameraposen werden Bilder in Gruppen eingeteilt. Dabei zeichnen
sich alle Bilder in einer Gruppe dadurch aus, dass sie das Objekt
aus einem ähnlichen Blickwinkel und aus ähnlicher
Position zeigen. Die Bilder können gleichzeitig zu mehreren
Gruppen gehören.
-
Für
jede Gruppe wird nun die Objektgeometrie rekonstruiert. Dabei kommen
Stereo- oder Multiview-Stereo-Algorithmen zum Einsatz. Falls die
Bilder einer Gruppe paarweise mit Stereoalgorithmen analysiert werden,
so wird für jedes Bild dabei eine Geometrie – typischerweise
in Form von sogenannten Disparitätskarten – berechnet.
-
Wenn
Disparitätskarten für jedes Bild einer Gruppe
vorhanden sind, liegt die Information über die Objektgeometrie
sehr redundant vor und kann zur Erhöhung der Genauigkeit
fusioniert. Dabei kommen robuste, statische Methoden wie z. B. die
X84-Methode zum Einsatz.
-
Wenn
die Bilder einer Gruppe mit einem Multiview-Stereo-Verfahren analysiert
werden, so kann dieser Fusionsschritt entfallen.
-
Anschließend
werden die von den einzelnen Untergruppen 3D-Modelle zu einem gesamten
Modell fusioniert. Dieses Modell kann nun mit einem 3D-Betrachtungsprogramm
inspiziert werden. Da die Kameraposen in einem vorher festgelegten
Referenzkoordinatensystem bestimmt worden sind, können
nun zusätzlich zu der berechneten Geometrie, andere dreidimensionale
Objekte simultan in dem 3D-Betrachtungsprogramm dargestellt werden.
Dadurch kann die Analyse einer tatsächlichen Struktur im
Bezug auf ein vorbestimmtes Objekt deutlich erleichtert werden.
-
Im
einzelnen ist es Ziel, die Rekonstruktion der Geometrie eines statischen
(nicht bewegten Objektes) bei dem kein 3D-Modell vorhanden ist,
vorzunehmen. Dazu wird zunächst die 3D-Geometrie aus mehreren
Bildern extrahiert. Die genaue Vorgehensweise ergibt sich aus nachfolgenden
Schritten.
- 1. Bestimmen der internen Kalibrierung
der Kamera. Dazu werden Standardverfahren zum Beispiel die Kalibrierung
nach TSAI verwandt. Optional können aber auch ein oder
mehrere Referenzobjekte mit bekannter 3D-Geometrie in der Nähe
des zu untersuchenden Objektes in das Foto eingebracht werden. Dies
wird als Marker-Methode bereits verwandt.
- 2. Anschließend werden mehrere Fotos des Objektes gefertigt,
ggf. müssen die Referenzobjekte ebenfalls auf den Fotos
zu sehen sein.
- 3. Diese Fotos werden als Digitaldaten an einen Computer gesandt.
Aus den Fotos lässt sich die Position und Orientierung
der Kamera zum Zeitpunkt der Aufnahme entweder aus den Referenzobjekten
ermitteln, dann wird der Computer die Abbildung der Referenzobjekte
im Bild auffinden und aus den bekannten Korrespondenzen zwischen
2D-Abbildungen des Referenzobjektes und seiner bekannten 3D-Geometrie
die räumliche Orientierung der Kamera errechnen können.
-
Hierzu
sind Standardverfahren von McGlone „Manual of Photogrammetry",
American Society for Photogrammetry and Remote Sensing, 2004 bekannt.
Kameraposition und Orientierung werden als äußere
Kalibrierung bezeichnet. Dabei wird auch die Unsicherheit (in Form
einer Co-Varianzmatrix für die äußere
Kalibrierung berechnet
-
Alternativ
lässt sich ohne Referenzobjekt die Kamerapose nach „Structure-and-Motion-Verfahren" zum
Beispiel beschrieben in Pollfeys et. al. „Visual
Modelling with a hand-held Camera", IJCV 2004, 59(3) S. 207–233 errechnen.
Anschließend wird ein isotropes Skalieren der Szene anhand
einer bekannten Referenzlänge in der Szene vorgenommen.
-
Projektion:
-
Die
Projektion eines Objektpunktes M in Kamerakoordinaten mit einer
perspektivischen Kamera mit der Kameramatrix K auf einen Bildpunkt
m geschieht durch Multiplikation:
die Kameramatrix beschreibt
die optischen Eigenschaften der Kamera durch die Fokalllänge
f, den Hauptpunkt (c
x, c
y),
die Bildschiefe s und das Höhen-Breiten-Verhältnis
a. Der resultierende 2D Bildpunkt m ist dabei in projektiven Koordinaten
gegeben. Die euklidischen 2D Koordinaten ergeben sich aus den projektiven
Koordinaten Mittels Division durch die letzte Komponente.
-
-
Wenn
der Objektpunkt nicht im Kamerakoordinatensystem gegeben ist, so
muss er zunächst in selbiges transformiert werden. Dazu
ist eine starre Transformation, beschrieben durch die Rotation R
und die Translation C nötig. Die Projektion eines Objektpunktes
M' in einem beliebigen Referenzkoordinatensystem lässt
sich dann durch
-
Die
Rückprojektion beschreibt die Tatsache, dass sich ein zu
einem Bildpunkt m gehörender Objektpunkt auf dem durch
das Kamerazentrum C und den Bildpunkt beschriebenen Strahl befinden
muss.
mit dem Laufparameter l.
-
Wie
in 1 und – für den Stereo-Fall – in 2 schematisch
dargestellt, kann die Objekttiefe D kann einfach aus dem Basisabstand
B, der Fokallänge f und der Disparität d berechnet
werden, nach folgender Formel D|B=f|d (5)
-
In
einer bevorzugten Ausführungsform kann eine automatische
Auswahl von Referenzfotos vorgenommen werden, wobei die Auswahl
so erfolgt, dass der Raum der möglichen äußeren
Kalibrierung möglichst gleichmäßig abgetastet
wird.
-
In
einer weiteren bevorzugten Ausführungsform kann eine automatische
Analyse der Topologie der Kameraposen vorgenommen werden. Dazu werden
Bilder zu den Referenzfotos kopiert, die einen ähnlichen Blickwinkel
wie das entsprechende Referenzfoto haben. Die Gruppierung erfolgt
auf Basis:
- 1. Der Richtung der Strahlen, die
durch die Hauptachsen der Kameras beschrieben werden, und
- 2. des Abstandes der Kameras von den Referenzobjekten.
-
Die
Fotos können dabei mehreren Gruppen zugeordnet sein.
-
Als
nächstes erfolgt ein Berechnen der 3D-Geometrie aus den
Bildern jeder Gruppe. Dabei stehen die folgenden Varianten zur Verfügung:
Paarweises
Rektifizieren der Fotos relativ zum jeweiligen Referenzfoto unter
Verwendung der inneren und äußeren Kalibrierung.
Dazu werden Paare von Fotos geometrisch so transformiert, dass Bildpunkte,
die zu einem gemeinsamen 3D-Punkt korrespondieren, auf derselben
Zeile des Bildes zu finden sind.
-
Anschließend
folgt das paarweise Bestimmen der Disparitäten (Bildpunktkorrespondenzen)
mittels eines Stereoverfahrens. Schließlich wird die Berechnung
der Tiefenkarten vorgenommen, wobei für jede Disparitätskarte
eine Tiefenkarte berechnet wird. Dazu werden die Kalibrierungen
der Kamera verwendet.
-
Diese
Tiefenkarten einer Gruppe können fusioniert werden zum
Beispiel mit robusten mathematischen Verfahren wie dem X84 Outlyer
Kriterium (Tommasini et al., Making Good Features Track
Retter, CVPR 1998). Schließlich wird es möglich
sein, einen 3D-Punkt für jedes gültige Pixel in
der fusionierten Tiefenkarte zu berechnen. Alternativ kann die Berechnung
der Objektgeometrie für jede Gruppe von Fotos mittels eines
Multiview-Stereoverfahrens (Salz et alters, „Comparison
and Evaluation of Multiview Stereoconstruction Algorithms" CVPR
2006, Vol. 1, S. 519–526 erfolgen.
-
Es
wird vorgeschlagen, die Unsicherheiten der 3D-Punkte jeweils zu
berechnen. Dabei werden die Unsicherheit der Disparität
und die Unsicherheiten der Kameras numerisch propagiert (Julier
et Uhlmann „Scaled Unscented Transformation", Proc. IEEE
ACC 2002, S. 4555–4559). Die Unsicherheiten der
Disparität ergibt sich aus den bekannten Berechnungsvorschriften
der Unsicherheit des Ergebnisses über bestimmte Lineargleichungssysteme.
Schließlich kann eine Fusionierung der 3D-Modelle zu einem
Gesamtmodell. Dabei werden die Farbwerte und die Co-Varianzen von
3D-Punkten zu verschiedenen Modellen betrachtet. Die Fusion von
zwei 3D-Punkten zu einem gemeinsamen 3D-Punkt basiert zum Beispiel
auf der Mahalanobis Distanz der beiden Punkte und auf der Differenz
der zu den 3D-Punkten gehörenden Farbwerte der Fotos. Ergebnis
ist ein dreidimensionales Modell von dem fotografierten Objekt.
Zu jedem Punkt kann eine Abschätzung der Unsicherheit (bzw.
der Genauigkeit) in einer Tabelle vorhanden sein.
-
Mit
einem solchen 3D-Modell lassen sich die Abstände durch
Auswählen von Punkten in dem 3D-Modell anhand der dazugehörigen
3D-Koordinaten leicht durchführen. Die Auswahl von mehreren
Punkten kann zur Distanzbestimmung genutzt werden, wobei einfach
ein weiter bekanntes vorbestimmtes Objekt innerhalb der tatsächlichen
Struktur und beweglich eingesetzt werden kann.
-
Ein
derartiges Verfahren lässt sich zur Qualitätskontrolle
nutzen, da durch halbtransparentes Überlagern von rekonstruierter
Geometrie und vorhandenen Modellvorlagen zum Beispiel Herstellungs-,
bzw. Montagefehler sichtbar gemacht werden können. Auch
kann durch einen einfachen Soll-Ist-Vergleich eine bestehende Industrieanlage
mit den vorhandenen Plänen ein Fehler im Planmaterial aufgefunden
werden, der häufig dadurch entsteht, dass alte Industrieanlagen
mehrfach umgebaut werden, wobei sie nicht mehr hundertprozentig
den Planen und Modellen entsprechen.
-
Weiter
ist der Fall der Störkantenanalyse wichtig, insbesondere
dann, wenn gar keine Pläne einer Anlage bestehen, so dass
nun sicher gestellt werden kann, dass eine Produktversion auch durch
die Anlage passt, mit der vorher eine alte Produktversion gefertigt
wurde. Die Analyse einer rekonstruierten Anlagengeometrie kann hier
Abhilfe schaffen.
-
Schließlich
lässt sich das Verfahren auch für zeitlich aufgelöste
geometrische Analysen eines bewegten Objektes nutzen. Dazu ist es
lediglich notwendig, mit zwei oder mehr starr gekoppelte und zeitlich
synchronisierten Kameras Aufnahmen zu machen. Vorgeschlagen wird
dabei insbesondere der Einsatz von Fischaugenkameras (Öffnungswinkel
ca. 180°, daher im wesentlichen gleicher Sichtbereich),
da diese im wesentlichen einen größeren Bildbereich
als Perspektivische Kameras abdecken und die Rekonstruktion auch
von großen Objekten erlauben. Damit lassen sich zum Beispiel
geometrische Analysen eines bewegten Roboterarmes vornehmen, so
das in einer bestehenden Anlage einfach geprüft werden
kann, ob ein sich bewegender Roboterarm mit einem vorbeifahrenden
Werkstück kollidieren kann.
-
Auch
lässt sich eine geometrische Analyse einer langen Fertigungsstrasse
durchführen, wobei das Durchfahren des Systems eine detaillierte
Untersuchung und Anzeige von Schwachstellen ermöglicht,
obwohl diese nicht auf einem einzigen Bild festgehalten werden können.
-
Damit
ist das Verfahren zur Bestimmung der Abstände, die ein
vorbestimmtes Objekt innerhalb einer tatsächlichen Struktur
einnimmt, unter Nutzung eines Datenmodells einer komplexen räumlichen
Struktur, das aus fotographischen Daten ermittelt ist, in der Lage,
wobei lediglich ein Fotografieren der im wesentlichen gleichen Ansicht
der tatsächlichen Struktur mit einer Kamera bekannter intrinsicher
optischer Eigenschaften aus wenigstens zwei beliebigen Positionen,
Berechnen der Positionen der Kamera während jeder Aufnahme
relativ zur tatsächlichen Struktur, Rektifizieren der Bildpunkte
in den aufgenommenen Aufnahmen auf ein gemeinsames Koordinatensystem,
Auffinden korrespondierender Bildpunkte in beiden Auf nahmen und
Erfassen dieser in einer Tabelle, Bestimmen der Disparität
und Erfassen des Wertes des Versatzes zu jedem korrepondierenden
Bildpunkt, Erstellen einer Disparitätskarte in Form einer
Matrix mit einer Größe entsprechend der Anzahl der
korrespondierenden Bildpunkte, Berechnen einer Tiefenmatrix aus
der Disparitätskarte, Fusion mit wenigstens einer weiteren
Tiefenmatrix, die mit wenigstens einer Aufnahme aus wenigstens einer
dritten beliebigen Kameraposition von der im wesentlichen gleichen
Ansicht der tatsächlichen Struktur gewonnen wurde, Errechnen
der Koordinaten jedes Pixels in der fusionierten Tiefenmatrix in
einem kamera-unabhängigen Koordinatensystem, und Bestimmen
der Abstände zwischen einem Außenumriß eines
virtuellen Objekts vorbestimmter Lage und nächstliegender
Punkte der tatsächlichen Struktur notwendig ist.
-
Die
Bilder können einfach erstellt und abgespeichert werden,
um später mit einem Rechner die nachfolgenden Schritte
zu erledigen, oder sogar am Ort durch an die Kamera angeschlossene
Rechnermittel ermittelt und visualisiert werden.
-
Vorteilhaft
ist, dass die Matrixwerte, die beim Berechnen der Tiefenmatrix in
die Tiefenmatrix eingeschrieben werden, Werte sind, die die Entfernung
jedes Bildpunkts zur Kameraposition repräsentieren, und weiter,
dass bei der Fusion mit einer weiteren Tiefenmatrix die durch die
Pixelzahl der verwendeten Kamera induzierte Quantisierung rechnerisch
aufgehoben wird.
-
Es
können die zwischen dem Außenumriß des
virtuellen Objekts und der tatsächlichen Struktur bestimmten
Abstände durch Anzeigen einer Ansicht auf einem Bildschirm
visualisiert werden und in einer Variante sogar die Bildebene einer
Visualisierung rechnerisch so gelegt werd, daß sie durch
wenigstens die beiden Punkte des Objekts verläuft, die
bei einer vorbestimmten Lage des virtuellen Objekts die geringsten
Abstände zu der tatsächlichen Struktur aufweisen,
so daß einem Betrachter angezeigt ist, welche Möglichkeiten
er hat, die vorbestimmte Lage oder Orientierung des Objekts in der
Struktur distanzvergrößernd zu ändern.
Alternativ kann die Bildebene einer Visualisierung rechnerisch so
gelegt werden, daß sie durch wenigstens die beiden Punkte
der tatsächlichen Struktur verläuft, die bei einer
vorbestimmten Lage des virtuellen Objekts die geringsten Abstände
zu dem virtuellen Objekt aufweisen.
-
Durch
farblich hervortretende Darstellung die Bildpunkte der tatsächlichen
Struktur und/oder Objektbildpunkte kann bei einer Visualisierung
oder in Datenlisten der Bildpunkt hervorgehoben werden, der vorbestimmte
Mindestwerte unterschreitet und/oder die die geringsten Abstände
kennzeichnet. Ebenso können in einer der im ersten Schritt
des Hauptanspruches fotografierten (Original-)Ansicht die Objekte,
auf denen die Bildpunkte mit den geringsten Abständen auftreten,
hervorgehoben werden.
-
Als
Stereo-Verfahren wird schließlich eine Weiterentwicklung
bezeichnet, die den Schritt des Fotografierens der im wesentlichen
gleichen Ansicht der tatsächlichen Struktur gleichzeitig
mit zwei oder mehr Kameras bekannter intrinsicher optischer Eigenschaften
in fester Positionsbeziehung zueinander durchführt, und
die so für eine Momentaufnahme einer Bewegung gewonnenen
Daten mit Daten aus zeitlich nachfolgenden Stereo-Aufnahmen zu Daten
eines Bewegungsablaufs zusammengefügt werden.
-
Damit
wird ein Erfassen der in einer jeden Maximalposition eines jeden
bewegten Abschnitts geringsten Distanzen möglich, die z.
B. als ein zweites virtuelles Objekt um ein erstes, definiert sich
innerhalb der Struktur befindenden oder bewegten Objekt herum erfaßbar
sind. Dies ermöglicht, die ermittelten Abmessungen des
zweiten Objekts, stets die geringsten ermittelt über den
zeitlichen Ablauf aller Bewegungen der Abschnittes und des ersten
Objekts zum Beispiel an Visualisierungssysteme, CAD-Systeme oder
AR-Systeme zu übermitteln.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- - McGlone „Manual
of Photogrammetry", American Society for Photogrammetry and Remote
Sensing, 2004 [0019]
- - Pollfeys et. al. „Visual Modelling with a hand-held
Camera", IJCV 2004, 59(3) S. 207–233 [0020]
- - Tommasini et al., Making Good Features Track Retter, CVPR
1998 [0030]
- - Salz et alters, „Comparison and Evaluation of Multiview
Stereoconstruction Algorithms" CVPR 2006, Vol. 1, S. 519–526 [0030]
- - Julier et Uhlmann „Scaled Unscented Transformation",
Proc. IEEE ACC 2002, S. 4555–4559 [0031]
