DE102012023623A1

DE102012023623A1 - Verfahren zum Zusammensetzen von Teilaufnahmen einer Oberfläche eines Objektes zu einer Gesamtaufnahme des Objektes und System zum Erstellen einer Gesamtaufnahme eines Objektes

Info

Publication number: DE102012023623A1
Application number: DE201210023623
Authority: DE
Inventors: Christoph Munkelt; Ingo Schmidt; Dr. Kühmstedt Peter; Dr. Notni Gunther
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2012-11-28
Filing date: 2012-11-28
Publication date: 2014-06-12
Anticipated expiration: 2032-11-29
Also published as: DE102012023623B4

Abstract

Die Erfindung betrifft ein Verfahren zum Zusammensetzen von Teilaufnahmen (7, 8) einer Ober-fläche (5) eines Objektes (6) zu einer Gesamtaufnahme (4) des Objek-tes (6), wobei die Teilaufnahmen (7, 8) mit mindestens einem Bildsen-sor (3) mindestens einer Kamera (2) aufgenommen werden, wobei jede der Teilaufnahmen (7, 8) jeweils einen Teilbereich (9, 10) der Ober-fläche (5) des Objektes (6) abbildet und sich diese Teilbereiche (9, 10) überschneiden, wobei für alle solche Paare der Teilaufnahmen (7, 8), deren Teilbereiche (9, 10) sich überschneiden, homologe Bildpunkte (14) dieser Teilaufnahmen (7, 8) bestimmt werden, wobei die Teilauf-nahmen (7, 8) unter Verwendung der homologen Bildpunkte (14) zu der Gesamtaufnahme (4) zusammengesetzt werden, wobei zu jeder der Teilaufnahmen (7, 8) mit dem Bildsensor (3), mit dem auch die Teilaufnahme (7, 8) aufgenommen wird, und mit der Orientierung dieses Bildsensors (3), die auch für das Aufnehmen der Teilaufnahme (7, 8) gewählt wird, ein zusätzliches Kalibrierbild (15, 16) aufgenommen wird.

Description

Die Erfindung betrifft ein Verfahren zum Zusammensetzen von Teilaufnahmen einer Oberfläche eines Objektes zu einer Gesamtaufnahme des Objektes gemäß dem Oberbegriff des Hauptanspruchs. Die Erfindung betrifft außerdem ein System zum Erstellen einer Gesamtaufnahme eines Objektes gemäß dem Oberbegriff des Nebenanspruchs.
Derartige Verfahren und Systeme werden typischerweise dazu verwendet, Objekte abzubilden und/oder zu vermessen, die aufgrund ihrer Größe oder der Form ihrer Oberfläche nur mittels mehrerer Teilaufnahmen des Objektes erfasst und abgebildet bzw. vermessen werden können. Um das Zusammensetzen dieser Teilaufnahmen zu einer Gesamtaufnahme des Objektes zu ermöglichen, ist es beispielsweise bekannt, Markierungen (sogenannte Passmarken) physisch auf der Objektoberfläche zu fixieren. Diese werden in den verschiedenen Teilaufnahmen erkannt, so dass über sogenannte Korrespondenzen (gleichzeitig in mehreren Teilaufnahmen beobachtete Markierungen) die Teilaufnahmen relativ zueinander ausgerichtet und zu der Gesamtaufnahme zusammengesetzt (registriert) werden können. Anstelle dieser physischen Markierungen werden in alternativen Verfahren mittels eines Projektors optische Markierungen so auf das Objekt projiziert, dass sie in den Teilbildern erkannt werden können, wie beispielsweise in der Offenlegungsschrift DE 195 02 459 A1 beschrieben wird.
Alle bekannten Verfahren haben jedoch den Nachteil, dass die Markierungen in den Teilaufnahmen und somit auch in den hieraus zusammengesetzten Gesamtaufnahmen des Objektes abgebildet werden und auf diese Weise die Qualität der Gesamtaufnahme bzw. der Vermessung des Objektes beeinträchtigen können.
Es ist somit eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Zusammensetzen von Teilaufnahmen eines Objektes zu einer Gesamtaufnahme des Objektes sowie ein System zum Erstellen einer Gesamtaufnahme eines Objektes vorzuschlagen, bei dem die beschriebenen Nachteile bekannter Verfahren und Systeme möglichst weitgehend vermieden werden, mit denen also eine Gesamtaufnahme des Objektes erreicht werden kann, die nicht durch in ihr abgebildete Markierungen auf der Objektoberfläche beeinträchtigt wird.
Diese Aufgabe wird gelöst durch ein Verfahren gemäß dem Hauptanspruch sowie durch ein System gemäß dem Nebenanspruch. Weiterentwicklungen und spezielle Ausführungsformen des Verfahrens und des Systems ergeben sich mit den abhängigen Ansprüchen.
Bei dem hier vorgeschlagenen Verfahren zum Zusammensetzen von Teilaufnahmen einer Oberfläche eines Objektes, insbesondere eines statischen Objektes, zu einer Gesamtaufnahme des Objektes werden also die Teilaufnahmen mit mindestens einem Bildsensor mindestens einer Kamera aufgenommen, wobei jede dieser Teilaufnahmen jeweils einen Teilbereich der Oberfläche des Objektes abbildet und sich diese Teilbereiche überschneiden. Jeder dieser Teilbereiche überschneidet sich also mit mindestens einem weiteren dieser Teilbereiche, typischerweise mit allen Teilbereichen, die mit ihm direkt benachbart sind. Die Bereiche, innerhalb derer sich die Teilbereiche überschneiden, werden im Folgenden auch als Überlappungsbereiche dieser Teilbereiche bzw. der zugehörigen Teilaufnahmen bezeichnet.
Die Teilaufnahmen werden zu diesem Zweck typischerweise mit verschiedenen Orientierungen des Bildsensors, also insbesondere von verschiedenen Positionen und Perspektiven aus, so aufgenommen, dass die genannten Teilbereiche sich auf die beschriebene Weise überschneiden und vorzugsweise außerdem einen möglichst großen Teil der Oberfläche des Objektes oder sogar die gesamte Oberfläche des Objektes ohne große Lücken oder sogar lückenlos überdecken.
Die Teilaufnahmen und die zugehörigen Kalibrierbilder können jeweils 2D-Bilder oder 3D-Bilder sein. Entsprechend kann der zum Aufnehmen der Teilaufnahmen und der Kalibriebilder verwendete Bildsensor ein ausschließlich 2D-messender Bildsensor oder ein 3D-messender Bildsensor sein.
Für alle solche Paare der Teilaufnahmen, deren Teilbereiche sich überschneiden, werden homologe Bildpunkte dieser Teilaufnahmen bestimmt. Allgemein werden Bildpunkte zweier Teilaufnahmen als homolog bezeichnet, wenn sie innerhalb der jeweiligen Teilaufnahmen jeweils ein und denselben Objektpunkt des Objektes abbilden. Diese Objektpunkte befinden sich notwendigerweise in den Überlappungsbereichen der Teilbereiche dieser Teilaufnahmen. Unter Verwendung dieser homologen Bildpunkte werden die Teilaufnahmen anschließend zu der Gesamtaufnahme zusammengesetzt. Bei diesem Zusammensetzen (häufig auch als Registrieren bezeichnet) werden die Teilaufnahmen typischerweise so zusammengefügt, dass die homologen Bildpunkte jeweils paarweise in der Gesamtaufnahme räumlich vereint bzw. zur gegenseitigen Überdeckung gebracht werden. Hierfür sind in der Regel Drehungen, Verschiebungen und/oder weitere (lokale) Koordinatentransformationen, wie etwa (lokale) Reskalierungen, der Teilaufnahmen notwendig.
Für das Verfahren ist es nun wesentlich, dass zu jeder der Teilaufnahmen mit demselben Bildsensor, mit dem auch die Teilaufnahme aufgenommen wird, und mit derselben Orientierung dieses Bildsensors, die auch für das Aufnehmen der Teilaufnahme gewählt wird, mindestens ein zusätzliches Kalibrierbild aufgenommen wird. Das Kalibrierbild einer Teilaufnahme und die Teilaufnahme selbst bilden also den gleichen Teilbereich der Oberfläche aus der gleichen Perspektive ab. Insbesondere überschneiden sich die Kalibrierbilder auf die gleiche Weise wie die Teilaufnahmen, weisen also die gleichen Überlappungsbereiche auf wie die Teilaufnahmen. Die Orientierung des jeweiligen Bildsensors, welche immer auch von der Orientierung der betreffenden Kamera abhängig ist, ist durch die Lage des Projektionszentrums der Kamera relativ zur Bildebene (sogenannte innere Orientierung) und durch die Lage des Projektionszentrums und der Aufnahmerichtung relativ zum Objekt (sogenannte äußere Orientierung) festgelegt. Generell kann, sofern die Orientierung des Bildsensors bekannt ist, das sogenannte photogrammetrische Strahlenbündel der zentralperspektivischen Abbildung geometrisch rekonstruiert werden. Die Bilddaten des Bildsensors sind dann insbesondere auch für messtechnische Zwecke verwendbar.
Während des Aufnehmens eines jeden der Kalibrierbilder, welches vor oder nach dem Aufnehmen des zugehörigen Teilbildes durchgeführt wird, wird mittels eines Projektors ein Lichtmuster auf die Oberfläche des Objektes projiziert, wobei das Lichtmuster eine Vielzahl von auf das Objekt projizierten Markierungen umfasst. Jede dieser Markierungen markiert jeweils einen (typischerweise genau einen) Objektpunkt auf der Oberfläche des Objektes. Die Kalibrierbilder werden anschließend nach den Markierungen durchsucht. Für jedes Paar sich überschneidender Kalibrierbilder (die Teilbereiche dieser Kalibrierbilder überschneiden sich in den genannten Überlappungsbereichen) werden diejenigen Markierungen ermittelt, die in beiden Kalibrierbildern dieses Paares von Teilbildern erkannt worden sind (die Markierungen markieren daher notwendigerweise Objektpunkte innerhalb des Überlappungsbereichs), die also korrespondierend sind. (Dieser Verfahrensschritt, also das Ermitteln von in sich überschneidenden Kalibrierbildern gleichzeitig abgebildeten Markierungen, die somit den gleichen Objektpunkt markieren, wird auch als Korrespondenzfindung bezeichnet.)
Einer jeden dieser in zwei sich überschneidenden Kalibrierbildern erkannten Markierungen werden diejenigen Bildpunkte der beiden Kalibrierbilder zugeordnet, die den mit dieser Markierung markierten Objektpunkt in jeweils einem dieser Kalibrierbilder abbilden. Bei diesen Bildpunkten handelt es sich also um homologe Bildpunkte der sich überschneidenden Kalibrierbilder. Auf Grundlage dieser Bildpunkte werden die homologen Bildpunkte der zu den Kalibrierbildern gehörigen Teilaufnahmen bestimmt. Im einfachsten Fall kann dies dadurch erfolgen, dass diejenigen Bildpunkte der Teilaufnahmen als homologe Bildpunkte bestimmt werden, die den homologen Bildpunkten der Kalibrierbilder entsprechen, die also gleichen Bildkoordinaten haben wie die genannten (homologen) Bildpunkte der zugehörigen Kalibrierbilder.
Das Lichtmuster wird während des Aufnehmens der Teilaufnahmen nicht auf das Objekt projiziert. Zu diesem Zweck wird die Projektion des Lichtmusters auf das Objekt während der gesamten jeweiligen Dauer des Aufnehmens jeder einzelnen Teilaufnahme (also während der gesamten Belichtungszeit jeder einzelnen Teilaufnahme) unterbrochen. Typischerweise wird das Lichtmuster ausschließliche während des Aufnehmens der Kalibrierbilder auf das Objekt projiziert.
Es kann mit dem vorgeschlagenen Verfahren somit erreicht werden, dass die Markierungen lediglich innerhalb der Kalibrierbilder enthalten sind. In den Teilaufnahmen werden sie dahingegen nicht abgebildet. Die Markierungen sind daher auch in der aus den Teilaufnahmen zusammengesetzten Gesamtaufnahme nicht enthalten.
Es ist lediglich notwendig, dass die Projektionsdauer und/oder die Intensität des Lichtmusters während des Aufnehmens der Kalibrierbilder ausreichend lang bzw. stark gewählt werden, dass die Markierungen innerhalb der Kalibrierbilder erkannt werden können. Dies kann beispielsweise in Abhängigkeit von der Belichtungsdauer der Kalibrierbilder, der Empfindlichkeit des Bildsensors, der Umgebungsbeleuchtung des Objektes und/oder von der Beschaffenheit (Farbe, Reflektivität etc.) der Oberfläche des Objektes erfolgen.
Typischerweise wird das Lichtmuster in der Form kurzer Lichtblitze während des Aufnehmens eines jeden der Kalibrierbilder auf das Objekt projiziert, wobei mit dem Aufnehmen eines (Kalibrier-)Bildes das Belichten des Bildsensors gemeint ist. Die Projektion der Lichtmuster kann auf die Dauer des Aufnehmens des jeweiligen Kalibrierbildes (also den Belichtungszeitraum des jeweiligen Kalibrierbildes) beschränkt sein, so dass also nur während des Aufnehmens der Kalibrierbilder das Lichtmuster projiziert wird. Beispielsweise kann das Lichtmuster während des Aufnehmens eines jeden der Kalibrierbilder jeweils für eine Dauer von maximal 100 Millisekunden, besonders bevorzugt von weniger als 30 Millisekunden auf die Oberfläche des Objektes projiziert werden.
Weil die Projektion des Lichtmusters lediglich kurzzeitig während des Aufnehmens der Kalibrierbilder erforderlich ist und daher jeweils sehr kurzzeitig bzw. blitzartig sein kann, kann auch mit relativ kompakten und preisgünstigen Projektoren gewährleistet werden, dass eine große Vielzahl von Markierungen mit ausreichend hoher Intensität auf das Objekt projiziert werden.
Beispielsweise kann vor dem Aufnehmen oder während des Aufnehmens eines jeden der Kalibrierbilder jeweils mindestens ein Steuersignal erzeugt und auf den Projektor übertragen werden, wobei der Projektor während des Aufnehmens dieses Kalibrierbildes und in zeitlicher Abhängigkeit von dem Steuersignal das Lichtmuster auf das Objekt projiziert. Die Übertragung des Steuersignals kann drahtlos (z. B. per Funk) oder drahtgebunden erfolgen. Zu diesem Zweck können die Steuereinheit und der Projektor über entsprechende Signalübertragungsschnittstellen verfügen. Mittels des genannten Steuersignals kann eine automatische Synchronisierung zwischen dem Aufnehmen der Kalibrierbilder und dem Projizieren des Lichtmusters erreicht werden.
Beim Projizieren des Lichtmusters werden typischerweise alle Markierungen des Lichtmusters gleichzeitig auf das Objekt projiziert. Typischerweise wird für jedes der Kalibrierbilder das gleiche Lichtmuster auf das Objekt projiziert, so dass während des Aufnehmens eines jeden der Kalibrierbilder jeweils die gleichen Objektpunkte durch die Markierungen des Lichtmusters markiert werden. Dabei wird jede der projizierten Markierungen entlang einer Projektionsachse dieser Markierung auf das Objekt projiziert und werden diese Projektionsachsen, also deren räumliche Anordnung und Ausrichtung relativ zum Objekt, für alle Kalibrierbilder unverändert beibehalten. Hierzu wird die räumliche Aufstellung, Ausrichtung und Einstellung des Projektors relativ zum Objekt für alle Kalibrierbilder unverändert beibehalten. Dies hat den Vorteil, dass das Verfahren besonders einfach und schnell durchzuführen und gleichzeitig auch besonders genau ist, da Ungenauigkeiten oder Fehler beim Ändern der räumlichen Anordnung, Ausrichtung oder Einstellung des Projektors vermieden werden. Vorausgesetzt wird hierbei natürlich, dass ausreichend viele Markierungen auf das Objekt projiziert werden und dass diese Markierungen auf eine geeignete Weise über die Oberfläche des Objektes verteilt sind, vorzugsweise über die gesamte Oberfläche des Objektes.
Typischerweise werden dann also auch solche Objektpunkte markiert, die außerhalb des Teilbereichs des jeweiligen Kalibrierbildes liegen. Die mittels der Markierungen des Lichtmusters markierten Objektpunkte sind vorzugsweise so über die Oberfläche des Objektes verteilt, dass in den Überlappungsbereichen der Kalibrierbilder hinreichend viele durch die Markierungen markierte Objektpunkte enthalten sind.
Um zu gewährleisten, dass mit einer zufriedenstellenden Wahrscheinlichkeit ausreichend viele Markierungen innerhalb der Überlappungsbereiche der Kalibrierbilder enthalten sind, kann beispielsweise vorgesehen sein, dass die Markierungen so über die Oberfläche des Objektes verteilt sind, dass in jedem der Teilbereiche der Kalibrierbilder mindestens 10 Markierungen enthalten sind, besonders bevorzugt mindestens 20 oder sogar mindestens 30 Markierungen. Zusätzlich oder alternativ können weitere Bedingungen an die Verteilung der Markierungen vorgesehen sein. Beispielsweise kann für jedes der Teilbereiche ein maximales konvexes Teilgebiet innerhalb dieses Teilbereiches definiert werden, wobei sich dieses konvexe Teilgebiet dadurch auszeichnet, dass in ihm keines der Markierungen enthalten ist und es innerhalb des Teilbereich kein größeres konvexes Teilgebiet gibt, dass keine Markierungen enthält. Dabei wird die Größe eines Teilgebietes (bzw. eines Teilbereichs) durch den maximalen Durchmesser des Teilgebiets (bzw. des Teilbereichs definiert, wobei der maximale Durchmesser als Abstand zwischen den beiden am weitesten Punkt auf dem Rand des Teilgebiets (bzw. des Teilbereichs) definiert ist. Eine Bedingung an die Verteilung der Markierungen kann darin bestehen, dass der maximale Durchmesser des maximalen konvexen Teilgebiets eines Teilbereichs kleiner ist als ein Drittel, vorzugsweise kleiner als ein Viertel, des maximalen Durchmessers des Teilbereichs.
Typischerweise sind pro Überlappungsbereich mindestens drei markierte Objektpunkte erforderlich, um die Teilbilder zu dem Gesamtaufnahme zusammensetzen zu können. Vorzugsweise sind aber mehr als drei Markierungen pro Überlappungsbereich vorgesehen, vorzugsweise möglichst viele.
Es ist außerdem möglich, dass mindestens eine der Markierungen des Lichtmusterns vorzugsweise mehrere der Markierungen, besonders bevorzugt jede der Markierungen, individuelle Unterscheidungsmerkmale aufweist, welche es erlauben, diese Markierung von den übrigen Markierungen zuverlässig zu unterscheiden. Diese Unterscheidungsmerkmale können insbesondere beim Ermitteln derjenigen Markierungen verwendet werden, die in beiden von zwei sich überschneidenden Kalibrierbildern abgebildet werden, also bei der Korrespondenzfindung. Als Unterscheidungsmerkmale kommen beispielsweise Kodierungen der Markierungen in Frage, wie beispielsweise durch Matrix Codes, z. B. insbesondere Aztec-Barcodes, ANSI/AIM BC13 ITS/97/002. Als Unterscheidungsmerkmale können die Markierungen alternativ oder zusätzlich als statistisch kodierte Muster ausgelegt sein, vorzugsweise als (räumlich) hochfrequente statistische Muster. Derartige statistisch kodierte Muster können beispielsweise Teilbereiche eines räumlich hochfrequenten Lichtmusters sein, beispielsweise einer räumlich hochfrequenten statistischen Punktematrix oder eines räumlich hochfrequenten Punkterasters. Es ist in diesem Zusammenhang beispielsweise möglich, dass ein statistisches Muster genau dann als räumlich hochfrequent betrachtet wird, wenn seine dominante Ortsfrequenz in der Aufnahme des Bildsensors (also in dem jeweiligen Kalibrierbild) in einer typischen Messsituation (also in der zum Einsatz kommenden Sensorauflösung, Arbeitsabstand, Schärfe, ...) mindestens der eines Sinusmusters mit mindestens 16 Perioden im Sensorbildfeld entspricht.
Ferner ist es beispielsweise möglich, derartige Markierungen (Teilbereiche des statistischen Lichtmusters) mittels eines Korrelationsalgorithmus in beiden Kalibrierbildern zu erkennen. Dies entspricht dem Problem der Korrespondenzbestimmung von Bildausschnitten im Computersehen. Eine Realisierung ist z. B. in F. Devernay, O. Bantiche, E. Coste-Manière: "Structured light an dynamic scenes using standard stereoscopy algorithms", 2002 zu finden. Bei einer speziellen Ausführungsform eines solchen Korrelationsalgorithmus wird in einem ersten Schritt ein zusammenhängender Teilbereich, also ein Ausschnitt, des statistischen Musters ausgewählt. In einem zweiten Schritt wird dieser Ausschnitt mit Ausschnitten entsprechender Größe eines der Kalibrierbilder an jeder möglichen Bildposition innerhalb dieses Kalibrierbildes verglichen. Wurde der Ausschnitt des Musters in dem erstgenannten Kalibrierbild gefunden, wird in einem nachfolgenden (dritten) Schritt dieser Ausschnitt auch in weiteren Kalibrierbildern auf entsprechende Weise gesucht. Vorzugsweise werden als weitere Kalibrierbilder nur solche Kalibrierbilder verwendet, die mit dem erstgenannten Kalibrierbild überlappen. Als Entscheidungsgrundlage für die Auswahl dieser weiteren Kalibrierbilder kann beispielsweise die Kenntnis der relativen Lage von in den Kalibrierbildern bereits erkannten und anhand von Unterscheidungsmerkmalen identifizierten Markierungen ausgenutzt werden, wie auch im Folgenden beschrieben wird.
Es ist ferner möglich, dass eine relative Anordnung der Markierungen relativ zueinander in Abhängigkeit von einer relativen Ausrichtung der Projektionsachsen der Markierungen ermittelt wird und dass für jedes der Kalibrierbilder die in ihm erkannten Markierungen unter Verwendung der Unterscheidungsmerkmale identifiziert werden. Anschließend können die Kalibrierbilder in Abhängigkeit von der relativen Ausrichtung der in den Kalibrierbildern erkannten und identifizierten Markierungen relativ zueinander ausgerichtet werden. Insbesondere können so benachbarte und sich gegenseitig überlappende Kalibrierbilder auf einfache und zuverlässige Weise ermittelt werden. Außerdem kann auf diese Weise die Korrespondenzfindung von Markierungen (bzw. von weiteren Markierungen) innerhalb zweier sicher überschneidender Kalibrierbilder ebenfalls auf besonders zuverlässige und robuste Weise durchgeführt werden. Ein besonderer Vorteil ist außerdem, dass in dieser speziellen Ausführungsform die Teilbereiche in einer beliebigen Reihenfolge aufgenommen werden können und es nicht erforderlich ist, eine feste, beispielsweise kettenförmige, Aufnahmereihenfolge der Teilbereiche einzuhalten.
In einer Ausführungsform des Verfahrens ist vorgesehen, dass zu jeder der Teilaufnahmen mit dem Bildsensor, mit dem auch die Teilaufnahme aufgenommen wird, und mit der Orientierung dieses Bildsensors, die auch für das Aufnehmen der Teilaufnahme und des genannten zugehörigen Kalibrierbild verwendet wird ist, vor oder nach diesem Kalibrierbild mindestens ein weiteres Kalibrierbild aufgenommen wird,

– wobei während des Aufnehmens eines jeden der weiteren Kalibrierbilder mittels mindestens eines weiteren Projektors mindestens ein weiteres Lichtmuster auf die Oberfläche des Objektes projiziert wird, wobei das weitere Lichtmuster eine Vielzahl von auf das Objekt projizierten weiteren Markierungen umfasst und jede dieser weiteren Markierungen jeweils einen Objektpunkt auf der Oberfläche des Objektes markiert,
– wobei die weiteren Kalibrierbilder nach den weiteren Markierungen durchsucht werden und für jedes Paar sich überschneidender weiterer Kalibrierbilder diejenigen weiteren Markierungen ermittelt werden, die in beiden weiteren Kalibrierbildern dieses Paares weiterer Kalibrierbilder erkannt worden sind,
– wobei jeder dieser in zwei sich überschneidenden weiteren Kalibrierbildern erkannten weiteren Markierungen Bildpunkte der beiden weiteren Kalibrierbilder zugeordnet werden, die den mit dieser weiteren Markierung markierten Objektpunkt in jeweils einem dieser weiteren Kalibrierbilder abbilden, und
– wobei auf Grundlage dieser Bildpunkte weitere homologen Bildpunkte der zu den weiteren Kalibrierbildern gehörigen Teilaufnahmen bestimmt werden und die Teilaufnahmen unter Verwendung der weiteren homologen Bildpunkte zu der Gesamtaufnahme zusammengesetzt werden.

Bei dieser Weiterentwicklung des Verfahrens werden also für jeden Teilbereich zwei oder mehr Kalibrierbilder aufgenommen, nämlich für jeden Projektor ein Kalibrierbild dieses Teilbereichs. Auf diese Weise werden weitere homologe Bildpunkte ermittelt, die alternativ oder zusätzlich zu den mittels der erstgenannten Kalibrierbilder ermittelten homologen Bildpunkten für das Zusammensetzen der Teilaufnahmen verwendet werden können.
Typischerweise werden die zwei oder mehr Projektoren nacheinander angesteuert, so dass die Lichtmuster der Projektoren nicht gleichzeitig sondern nacheinander auf das Objekt projiziert werden und während des Aufnehmens eines der Kalibrierbilder nur eines der Lichtmuster auf das Objekt projiziert wird. So wird sichergestellt, dass nur Markierungen dieses Lichtmusters und keines anderen Lichtmusters in diesem Kalibrierbild enthalten sein können. Hierfür können auf die Projektoren nacheinander Steuersignale der oben beschriebenen Art übertragen werden, so dass die oben beschreiben automatische Synchronisierung zwischen dem Aufnehmen der Kalibrierbilder und dem Projizieren des zu dem jeweiligen Kalibrierbild zugehörigen Lichtmusters erreicht wird.
Die zwei oder mehr Projektoren werden vorzugsweise räumlich voneinander getrennt angeordnet, so dass die Lichtmuster und somit die Markierungen dieser Lichtmusters aus unterschiedlichen Richtungen auf das Objekt projiziert werden. Auf diese Weise kann auf einfache Weise erreicht werden, dass möglichst große Anteile der Oberfläche des Objektes oder sogar die gesamte Oberfläche des Objektes durch das Lichtmuster ohne große Lücken oder sogar lückenlos abgedeckt wird, wie zum Beispiel im Fall einer Rundumvermessung eines Objektes oder eines Innenraumes. Ein weiterer Vorteil der Verwendung mehrerer Projektoren besteht darin, dass diese einmalig relativ zum Objekt angeordnet und ausgerichtet werden können und anschließend alle Teilbilder und Kalibrierbilder ohne weitere Änderung dieser Anordnung und Ausrichtungen der Projektoren durchgeführt werden können.
Es ist dabei außerdem möglich, die zwei oder mehr Projektoren jeweils so auszurichten, dass die Lichtmuster der Projektoren sich in gegenseitig überlappenden Randbereichen der Lichtmuster überschneiden oder sich ausschließlich in solchen Randbereichen überlappen, so dass insgesamt ein möglichst großer Bereich der Oberfläche des Objektes abgedeckt werden kann. Dann werden in die Teilbereiche der Oberfläche außerhalb dieser sich überlappenden Randbereiche der Lichtmuster Markierungen nur eines der Lichtmuster bzw. der Projektoren projiziert, so dass nur eines der zwei oder mehr Kalibrierbilder eines solchen Teilbereiches Markierungen beinhaltet. Entsprechend werden in einen Teilbereich innerhalb dieser sich überlappenden Randbereiche der Lichtmuster jeweils Markierungen aller sich in diesen Teilbereichen überlappenden Lichtmuster projiziert. Entsprechend beinhalten auch mehrere oder alle der Kalibrierbilder dieser Teilbereiche die entsprechenden Markierungen der sich in diesen Teilbereichen überlappenden Lichtmuster. Für diese Teilbereiche können dann häufig mittels der weiteren Kalibrierbilder weitere homologe Bildpunkte zusätzlich zu den erstgenannten homologen Bildpunkten ermittelt werden.
Selbstverständlich können alle oben und im Folgenden beschriebenen speziellen Merkmale und Weiterentwicklungen des Lichtmusters und der Markierungen des Lichtmusters auf entsprechende Weise durch das mindestens eine weitere Lichtmuster und dessen bzw. deren Markierungen realisiert sein. Das gleiche gilt auch für die zugehörigen Projektoren.
Da, wie oben beschrieben wurde, es lediglich erforderlich ist, das Lichtmuster nur kurzzeitig jeweils während des Aufnehmens der Kalibrierbilder zu projizieren, können die Projektoren klein, portabel und kostengünstig ausgeführt werden, so dass selbst bei der Verwendung mehrerer Projektoren keine hohen Kosten anfallen. Aufgrund der jeweils nur kurzzeitigen Projektion der Markierungen ist außerdem der Energiebedarf der Projektoren sehr gering, so dass ihr Betrieb sehr energieeffizient ist und sie sich beispielsweise über handelsüblichen Batterien mit Energie versorgen lassen.
Vorzugsweise weist jeder der Projektoren eine drahtlose oder drahtgebundene Schnittstelle zum Empfangen des oben beschriebenen Steuersignals auf.
Jeder der genannten Projektoren ist vorzugsweise ausgestaltet, Markierungen so zu projizieren, dass die von diesem Projektor ausgehenden Projektionsachsen der Markierungen einen Raumbereich mit einem möglichst großen Raumwinkel aufspannen. Dieser Raumbereich weist typischerweise einen Raumwinkel von etwa n oder größer auf, kann aber auch einen Raumwinkel von etwa 2π oder mehr aufweisen, beispielsweise für die Vermessung von Innenräumen. Dabei entspricht eine Raumbereich mit einem Raumwinkel von π einer viertel Kugel und ein Raumbereich mit einem Raumwinkel von 2π einer Halbkugel. Das Wort „etwa” bezeichnet mögliche relative Abweichungen von bis zu 10% oder von bis zu 20% von dem jeweils angegebenen Wert.
Es ist außerdem möglich, dass der Projektor mindestens eine Laserquelle sowie mindestens ein Hologramm umfasst. Beispielsweise kann jeder der oben beschriebenen Projektoren mindestens eine Lichtquelle, beispielsweise eine Laserquelle, sowie mindestens ein Hologramm umfassen. Dabei können mittels der mindestens einen Lichtquelle Lichtstrahlen, also beispielsweise Laserstrahlen, auf das mindestens eine Hologramm eingestrahlt werden und von dem mindestens einem Hologramm ausgehenden Anteile dieser Licht- bzw. Laserstrahlen auf das Objekt treffen und dort mehrere oder alle der Markierungen des Lichtmusters bilden. Durch eine derartige Verwendung von Lichtquellen (bzw. Lasern) und Hologrammen ist es möglich, eine hohe Tiefenschärfe des Lichtmusters zu erzielen. Ferner lassen sich auf diese Weise der Projektor bzw. die Projektoren minimieren.
In einer speziellen Ausführungsform ist vorgesehen, dass beim Zusammensetzen der Teilaufnahmen eine Bündelblockausgleichsrechnung unter Verwendung der homologen Bildpunkte der Teilaufnahmen durchgeführt wird. Auf diese Weise kann eine besonders große Anzahl homologer Bildpunkte verarbeitet werden und eine besonders sichere und robuste Registrierung der Teilbilder erzielt werden. Ein weiterer Vorteil besteht darin, dass neben der Registrierung der Teilaufnahmen gleichzeitig auch die Orientierung, insbesondere die innere und die äußere Orientierung, des Bildsensors ermittelt werden kann bzw. können.
Das hier vorgeschlagene System zum Erstellen einer Gesamtaufnahme eines Objektes ist dazu eingerichtet, das hier vorgeschlagene Verfahren durchzuführen. Zu diesem Zweck umfasst es die oben im Zusammenhang des hier vorgeschlagenen Verfahrens genannten Vorrichtungen und Bauteile, wie beispielsweise die mindestens eine Kamera, den mindestens einen Bildsensor, den Projektor bzw. die Projektoren. Zusätzlich kann es eine entsprechend eingerichtete Auswertereinheit zum Auswerten und Weiterverarbeiten der Teilaufnahmen und der Kalibrierbilder entsprechend dem Verfahren umfassen und ggf. auch eine Steuereinheit zum Erzeugen und Übertragen des genannten Steuersignals zum Synchronisieren des Projektors bzw. der Projektoren mit dem Aufnehmen der Kalibrierbilder.
Insbesondere umfasst das hier vorgeschlagene System zum Erstellen einer Gesamtaufnahme eines Objektes, insbesondere eines statischen Objektes, somit mindestens eine Kamera mit mindestens einem Bildsensor, wobei die Kamera dazu eingerichtet ist Teilaufnahmen des Objektes mittels des Bildsensors aufzunehmen, wobei jede der Teilaufnahmen jeweils einen Teilbereich der Oberfläche des Objektes abbildet und sich diese Teilbereiche überschneiden. Das System umfasst außerdem eine Auswertereinheit, die eingerichtet ist, für alle solche Paare der Teilaufnahmen, deren Teilbereiche sich überschneiden, homologe Bildpunkte dieser Teilaufnahmen zu bestimmen und die Teilaufnahmen unter Verwendung der homologen Bildpunkte zu der Gesamtaufnahme zusammenzusetzen.
Die Kamera ist außerdem eingerichtet, zu jeder der Teilaufnahmen mittels des gleichen Bildsensors und mit der gleichen Orientierung des Bildsensors, die auch für die Teilaufnahme vorgesehen ist bzw. verwendet wird, ein zusätzliches Kalibrierbild aufzunehmen. Das System umfasst außerdem einen Projektor, der eingerichtet ist, während des Aufnehmens eines jeden der Kalibrierbilder ein Lichtmusters auf die Oberfläche des Objektes zu projizieren. Das Lichtmuster umfasst eine Vielzahl von auf das Objekt projizierten Markierungen, und jede dieser Markierungen markiert jeweils einen Objektpunkt auf der Oberfläche des Objektes.
Die Auswertereinheit ist zudem eingerichtet, die Kalibrierbilder nach den Markierungen zu durchsuchen und für jedes Paar sich überschneidender Kalibrierbilder diejenigen Markierungen zu ermitteln, die in beiden Kalibrierbildern dieses Paares erkannt worden sind (Korrespondenzfindung). Die Auswertereinheit ist außerdem eingerichtet, jeder dieser in zwei sich überschneidender Kalibrierbilder erkannten Markierungen Bildpunkte der beiden Kalibrierbilder zuzuordnen, die den mit dieser Markierung markierten Objektpunkt in jeweils einem dieser Kalibrierbilder abbilden, und auf Grundlagen dieser Bildpunkte (die homologe Bildpunkte der Kalibrierbilder sind) die homologen Bildpunkte der zu den Kalibrierbildern gehörigen Teilaufnahmen zu bestimmen.
Alle im Zusammenhang des Verfahrens beschriebenen möglichen Ausführungsformen und Weiterbildungen lassen sich entsprechend auch auf das hier vorgeschlagenen System übertragen. Entsprechend übertragen sich auch alle im Zusammenhang des Verfahrens beschriebenen Vorteile auch auf das System. Hierzu kann eine entsprechende Einrichtung der Auswertereinheit, der Kamera, des Projektors bzw. der Projektoren notwendig sein. Außerdem kann das System zu diesem Zweck eine entsprechend eingerichtete Steuereinheit umfassen. Diese kann beispielsweise eingerichtet sein, vor dem Aufnehmen oder während des Aufnehmens eines jedem der Kalibrierbilder jeweils mindestens ein Steuersignal zu erzeugen und auf den Projektor oder nacheinander auf die Projektoren zu übertragen. In diesem Fall ist der mindestens eine Projektor eingerichtet, während des Aufnehmens des Kalibrierbildes bzw. des weiteren Kalibrierbildes und in zeitlicher Abhängigkeit von dem mindestens einen Steuersignal das Lichtmuster bzw. das weitere Lichtmuster auf das Objekt zu projizieren.
In Folgendem wird das hier vorgeschlagene Verfahren und das hier vorgeschlagene System anhand konkreter Ausführungsbeispiele und unter Bezugnahme auf 1 bis 7 näher erläutert. Es zeigt:
1 eine schematische Darstellung einer speziellen Ausführungsform des hier vorgeschlagenen Systems, eingerichtet zum Durchführen einer speziellen Ausführungsform des hier vorgeschlagenen Verfahrens,
2A einen Ausschnitt einer Oberfläche eines Objektes sowie Teilbereiche der Oberfläche, die durch Teilaufnahmen und Kalibrierbilder des in 1 gezeigten Systems,
2B eine spezielle Anordnung von Markierungen in einem Teilbereich der Oberfläche des in 1 gezeigten Objektes,
3 und 4 Beispiele für Kameras für das hier vorgeschlagene System,
5 ein Beispiel eines Projektors für hier vorgeschlagene System, und
6 und 7 spezielle Kodierungen von Markierungen, jeweils projizierbar mittels des hier vorgeschlagenen Systems,
8A–8D Ausschnitte verschiedener als hochfrequenter statistischer Muster ausgebildeten Lichtmustern.
Wiederkehrende Bezugszeichen bezeichnen ähnliche oder identische Merkmale. Merkmale, die nur im Zusammenhang mit dem System (bzw. dem Verfahren) beschrieben werde, lassen sich auch auf das Verfahren (bzw. auf das System) übertragen.
In 1 ist ein spezielles Ausführungsbeispiel eines Systems 1 hier vorgeschlagener Art schematisch dargestellt, mit dem das hier vorgeschlagene Verfahren durchgeführt werden kann. Das System 1 kann eine oder mehrere Kameras 2 umfassen, beispielsweise solche wie in 3 und 4 schematisch dargestellt. Die mindestens eine Kamera 2 umfasst demnach mindestens einen Bildsensor 3, vgl. 3 und 4, wie beispielsweise einen CCD- oder CMOS-Sensor. Im Fall, der explizit in 1 dargestellt ist, umfasst das System 1 genau eine Stereo-Kamera 2 mit zwei Bildsensoren (entsprechend der in 4 gezeigten Kamera), die exemplarisch an drei unterschiedlichen Messpositionen dargestellt ist, wobei die Kamera 2 in zwei dieser Messpositionen gestrichelt dargestellt ist.
Die Kamera 2 ist dazu eingerichtet, Teilaufnahmen einer Oberfläche 5 eines statischen Objektes 6 mittels des Bildsensors 3 aufzunehmen. Wie in 2A schematisch dargestellt ist, bildet jede der Teilaufnahmen 7, 8 jeweils einen Teilbereich 9, 10 der Oberfläche 5 des Objektes 6 ab, wobei sich diese Teilbereiche 9, 10 in Überlappungsbereichen 11 überschneiden.
Das System 1 umfasst außerdem eine Auswertereinheit 12, die, wie in 3 und 4 dargestellt ist, in die Kamera 2 des Systems 1 integriert sein kann oder aber auch als externe Einheit, beispielsweise als PC oder Laptop, ausgestaltet sein kann. Die Auswerteeinheit 12 ist eingerichtet, für alle solche Paare 13 der Teilaufnahmen 7, 8 deren Teilbereiche sich überschneiden, homologe Bildpunkte 14 dieser Teilaufnahmen 7, 8 zu bestimmen und die Teilaufnahmen 7, 8 unter Verwendung der homologen Bildpunkte 14 zu einer Gesamtaufnahme 4 des Objektes 5 zusammenzusetzen (zu registrieren), wobei die homologen Bildpunkte 14 jeweils paarweise in der Gesamtaufnahme 4 räumlich vereint werden, vgl. 2A. Hierfür sind in der Regel Drehungen, Verschiebungen und/oder weitere (lokale) Koordinatentransformationen, wie etwa (lokale) Reskalierungen, der Teilaufnahmen notwendig.
Hierfür wird mittels der Auswerteeinheit 12, beim Zusammensetzen der Teilaufnahmen 7, 8 eine Bündelblockausgleichsrechnung unter Verwendung der homologen Bildpunkte 14 der Teilaufnahmen 7, 8 durchgeführt. Neben der Registrierung der Teilaufnahmen wird hierbei gleichzeitig auch die innere und die äußere Orientierung des Bildsensors 3 ermittelt.
Die Kamera 2 ist außerdem eingerichtet, zu jeder der Teilaufnahmen 7, 8 mittels des gleichen Bildsensors 3 und mit der gleichen Orientierung des Bildsensors, die auch für die Teilaufnahme vorgesehen ist bzw. verwendet wird, ein zusätzliches Kalibrierbild 15, 16 sowie ein weiteres Kalibrierbild (der Übersichtlichkeit hier nicht dargestellt) aufzunehmen. Beim Durchführen des hier vorgeschlagenen Verfahrens mittels dieses Systems 1 werden also die Teilaufnahmen 7, 8 mit verschiedenen Orientierungen des Bildsensors 3, also insbesondere von verschiedenen Positionen (siehe gestrichelt dargestellte Positionen in 1) und Perspektiven aus, so aufgenommen, dass die Teilbereiche 9, 10 sich überschneiden und vorzugsweise die gesamte Oberfläche 5 des Objektes 6 ohne Lücken überdecken. In 1 ist die Kamera 2 in drei verschiedenen Orientierungen dargestellt. Zu jeder der Teilaufnahmen 7, 8 wird mit demselben Bildsensor 3, mit dem auch die Teilaufnahme 7, 8 aufgenommen wird, und mit derselben Orientierung dieses Bildsensors 3, die auch für das Aufnehmen der Teilaufnahme 7, 8 gewählt wird, das zusätzliche Kalibrierbild 15, 16 sowie das weitere Kalibrierbild aufgenommen. Das Kalibrierbild 15, 16 einer Teilaufnahme 7, 8, das weitere Kalibrierbild der Teilaufnahme 7, 8 und die Teilaufnahme 7, 8 selbst bilden also den gleichen Teilbereich 9, 10 der Oberfläche 6 aus der gleichen Perspektive ab. Die Orientierung des Bildsensors 3, welche immer auch von der Orientierung der betreffenden Kamera abhängig ist, ist zum einen durch die innere Orientierung und durch die äußere Orientierung festgelegt.
Das System 1 umfasst außerdem einen Projektor 18 sowie einen weiteren Projektor 19, der von dem Projektor 18 räumlich getrennt angeordnet ist. In alternativen Ausführungsformen, kann anstelle mehrerer Projektoren auch nur ein einziger Projektor verwendet werden. Der Projektor 18 ist eingerichtet, während des Aufnehmens eines jeden der Kalibrierbilder 15, 16 ein Lichtmusters 20 auf die Oberfläche 6 des Objektes 5 zu projizieren. Der weitere Projektor 19 ist eingerichtet, während des Aufnehmens eines jeden der weiteren Kalibrierbilder 15, 16 ein weiteres Lichtmusters 20' auf die Oberfläche 6 des Objektes 5 zu projizieren. Das Lichtmuster 20 umfasst eine Vielzahl von auf das Objekt 5 projizierten Markierungen 21, 22, 23, und jede dieser Markierungen 21, 22, 23 markiert jeweils genau einen Objektpunkt 24, 25, 26 auf der Oberfläche 6 des Objektes 5. Ebenso umfasst das weitere Lichtmuster 20' eine Vielzahl von auf das Objekt 5 projizierten weiteren Markierungen 21', 22', 23', und jede dieser Markierungen 21', 22', 23' markiert jeweils genau einen Objektpunkt 41, 42, 43 auf der Oberfläche 6 des Objektes 5. Bei der Durchführung des Verfahrens mit diesem System 1 wird also während des Aufnehmens eines jeden der Kalibrierbilder 15, 16, welches vor oder nach dem Aufnehmen des zugehörigen Teilbildes 7, 8 durchgeführt wird, mittels des Projektors 18 das Lichtmuster 20 auf die Oberfläche 5 projiziert. Anschließend oder vorher wird während des Aufnehmens eines jeden der weiteren Kalibrierbilder, welches ebenfalls vor oder nach dem Aufnehmen des zugehörigen Teilbildes 7, 8 durchgeführt wird, mittels des weiteren Projektors 19 das Lichtmuster 20' auf die Oberfläche 5 projiziert.
Die Auswertereinheit 12 ist zudem eingerichtet, die Kalibrierbilder 15, 16 nach den Markierungen 21, 22, 23 zu durchsuchen und die weiteren Kalibrierbilder nach den weiteren Markierungen 21', 22', 23 zu durchsuchen. In einer alternativen Ausführungsform, in der die Lichtmuster 20, 20' als statistische räumlich hochfrequente Punkteraster ausgestaltet sind, diese Markierungen mittels eines Korrelationsalgorithmus (sogenannter lokaler Korrelator) als zusammenhängende Teilbereiche der Lichtmusters 20 und 20' zu definieren und zu detektieren.
Die folgende Beschreibung bezieht sich auf die Verfahrensschritte, die unter Verwendung der Kalibrierbilder 15, 16 und des Lichtmusters 20 des erstgenannten Projektors 18 durchgeführt werden, und auf die entsprechende programmtechnische Einrichtung der Auswerteeinheit 12. Obwohl nicht explizit nicht beschrieben, sollen entsprechende Verfahrensschritte auch unter Verwendung der weiteren Kalibrierbilder und des weiteren Lichtmusters 20' des weiteren Projektors 19 durchgeführt werden und soll auch die entsprechende programmtechnische Einrichtung der Auswerteeinheit 12 vorhanden sein.
Die Auswerteeinheit 12 ist ferner eingerichtet, für jedes Paar 13 sich überschneidender Kalibrierbilder 15, 16 diejenigen Markierungen 21, 22, 23 zu ermitteln, die in beiden Kalibrierbildern 15, 16 dieses Paares 13 erkannt worden sind (Korrespondenzfindung). Bei der Durchführung des Verfahrens werden also die Kalibrierbilder 15, 16 nach den Markierungen 21, 22, 23 durchsucht. Für jedes Paar 13 sich überschneidender Kalibrierbilder 15, 16 werden diejenigen Markierungen 21, 22, 23 ermittelt, die in beiden Kalibrierbildern 15, 16 dieses Paares 13 von Teilbildern 7, 8 erkannt worden sind, die also korrespondierend sind.
Die Auswertereinheit 12 ist außerdem eingerichtet, jeder dieser in zwei sich überschneidenden Kalibrierbildern 15, 16 erkannten Markierungen 21, 22, 23 Bildpunkte 24', 25', 26' der beiden Kalibrierbilder 15, 16 zuzuordnen, die den mit dieser Markierung 21, 22, 23 markierten Objektpunkt 24, 25, 26 in jeweils einem dieser Kalibrierbilder 15, 16 abbilden, und auf Grundlagen dieser Bildpunkte 24', 25', 26' (die homologe Bildpunkte der Kalibrierbilder sind) die homologen Bildpunkte 14 der zu den Kalibrierbildern 15, 16 gehörigen Teilaufnahmen 7, 8 zu bestimmen. Bei der Durchführung des Verfahrens wird also einer jeden dieser in zwei sich überschneidenden Kalibrierbildern erkannten Markierungen 21, 22, 23 diejenigen Bildpunkte 24', 25', 26' der beiden Kalibrierbilder 15, 16 zugeordnet, die den mit dieser Markierung 24, 25, 26 markierten Objektpunkt 24, 25, 26 in jeweils einem dieser Kalibrierbilder abbilden. Bei diesen Bildpunkten 24', 25', 26' handelt es sich also um homologe Bildpunkte der sich überschneidenden Kalibrierbilder 15, 16. Auf Grundlage dieser Bildpunkte 24', 25', 26' werden die homologen Bildpunkte 14 der zu den Kalibrierbildern 15, 16 gehörigen Teilaufnahmen 7, 8 bestimmt. Im vorliegenden Fall erfolgt dies dadurch, dass diejenigen Bildpunkte 14 der Teilaufnahmen 7, 8 als homologe Bildpunkte 14 definiert werden, die den homologen Bildpunkten 24', 25', 26' der Kalibrierbilder entsprechen, die also gleichen Bildkoordinaten haben wie die genannten (homologen) Bildpunkte 24', 25', 26' der zugehörigen Kalibrierbilder 15, 16.
Mittels des weiteren Lichtmusters 20' und der weiteren Kalibrierbilder werden auf analoge Weise weitere homologe Bildpunkte der Teilaufnahmen 7, 8 ermittelt, die zusätzlich zu den mittels des Lichtmusters 20 und der Kalibrierbilder 15, 16 ermittelten homologen Bildpunkten für das Zusammensetzen der Teilaufnahmen 7, 8 verwendet werden.
Der Übersichtlichkeit halber sind in 1 und 2A nur einige wenige der Markierungen, Teilbilder und Kalibrierbilder dargestellt.
Die Teilaufnahmen 7, 8 und die zugehörigen Kalibrierbilder 15, 16 und weiteren Kalibrierbilder können jeweils 2D-Bilder oder 3D-Bilder sein. Entsprechend kann der zum Aufnehmen der Teilaufnahmen und der Kalibrierbilder und weiteren Kalibrierbilder verwendete Bildsensor 3 ein ausschließlich 2D-messender Bildsensor 3 oder ein 3D-messender Bildsensor sein. Die in 3 gezeigte spezielle Ausführung der Kamera 2 umfasst nur einen Bildsensor 3, bei dem es sich zudem um einen ausschließlich 2D-messenden Bildsensor handelt.
Dahingegen umfasst die in 4 gezeigte spezielle Ausführung der Kamera 2 zwei Bildsensoren 3. Bei diesen handelt es sich ebenfalls um ausschließlich 2D-messenden Bildsensoren. Mit jedem dieser Bildsensoren 3 werden jeweils Teilaufnahmen 7, 8 aufgenommen sowie die zu diesen Teilaufnahmen 7, 8 gehörigen Kalibrierbilder 15, 16 und weiteren Kalibrierbilder. Zusätzlich ist diese Kamera mit einem Streifenprojektor 36 ausgestattet, welcher während des Aufnehmens der Teilaufnahmen 7, 8, nicht aber während des Aufnehmens der Kalibrierbilder 15, 16 oder während des Aufnehmens der weiteren Kalibrierbilder, aktiviert wird und ein Streifenmuster 37 auf die Oberfläche 5 des Objektes 6 projiziert, vgl. 1.
Bei der Durchführung des Verfahrens mit dem gezeigten System 1 wird das Lichtmuster 20 und das weitere Lichtmuster 20' während des Aufnehmens der Teilaufnahmen 7, 8 unterbrochen und nicht auf das Objekt 6 projiziert. Das Lichtmuster 20 wird vielmehr ausschließlich während des Aufnehmens der Kalibrierbilder 15, 16 auf das Objekt 6 projiziert und das Lichtmuster 20' wird ausschließlich während des Aufnehmens der weiteren Kalibrierbilder auf das Objekt 6 projiziert. Auf diese Weise sind die Markierungen 21, 22, 23 lediglich innerhalb der Kalibrierbilder 15, 16 und die weiteren Markierungen 21', 22', 23' lediglich innerhalb der weiteren Kalibrierbilder enthalten, nicht aber in den Teilaufnahmen 7, 8 und daher auch in der aus den Teilaufnahmen zusammengesetzten Gesamtaufnahme 15. Zu diesem Zweck werden vor dem Aufnehmen (alternativ während des Aufnehmens) eines jeden der Kalibrierbilder 15, 16 und eines jeden der weiteren Kalibrierbilder mittels einer Steuereinheit 27, vgl. 3 und 4, welche im vorliegenden Beispiel in der Kamera 2 integriert ist, genauso gut aber auch als separates Steuergerät vorliegen könnte, jeweils zwei Steuersignale erzeugt, von denen das eine auf den Projektor 18 und das andere anschließend auf den weiteren Projektor 19 übertragen wird. Durch diese Steuersignale ausgelöst projizieren die Projektoren 18, 19 nacheinander während des Aufnehmens des Kalibrierbildes bzw. des weiteren Kalibrierbildes das Lichtmuster 20 bzw. das Lichtmuster 20' synchron mit der Aufnahme des Kalibrierbildes bzw. des weiteren Kalibrierbildes auf das Objekt 6. Dabei werden alle Markierungen 21, 22, 23 des Lichtmusters 20 gleichzeitig auf das Objekt projiziert. Ebenso werden zuvor oder anschließend alle Markierungen 21', 22', 23' des Lichtmusters 20' gleichzeitig auf das Objekt projiziert. Die Übertragung der Steuersignale erfolgt im vorliegenden Beispiel drahtlos per Funk über entsprechend eingerichtete Schnittstellen 28, 29 der Steuereinheit 27 bzw. der Projektoren 18, 19.
Bei der Durchführung des Verfahrens werden die Projektoren 18, 19 nur einmalig relativ zum Objekt 6 angeordnet und ausgerichtet. Anschließend werden alle Teilbilder 7, 8, und Kalibrierbilder 15, 16 ohne weitere Änderung dieser Anordnung und Ausrichtungen der Projektoren 18, 19 durchgeführt.
Die Projektionsdauer und/oder die Intensität des Lichtmusters 20 und des weiteren Lichtmusters 20' während des Aufnehmens der Kalibrierbilder 15, 16 bzw. während des Aufnehmens der weiteren Kalibrierbilder wird zweckmäßigerweise so lang bzw. so stark gewählt, dass die Markierungen 21, 22, 23 innerhalb der Kalibrierbilder 15, 16 erkannt werden können und die Markierungen 21', 22', 23' innerhalb der Kalibrierbilder erkannt werden können. Dies geschieht in Abhängigkeit von der Belichtungsdauer der Kalibrierbilder 15, 16 bzw. der weiteren Kalibrierbilder, der Empfindlichkeit des Bildsensors 3, der Umgebungsbeleuchtung des Objektes 6 und von der Beschaffenheit (Farbe, Reflektivität etc.) der Oberfläche 5 des Objektes 6.
Die Lichtmuster 20, 20' werden in der Form kurzer Lichtblitze während des Aufnehmens eines jeden der Kalibrierbilder 15, 16 bzw. weiteren Kalibrierbildes auf das Objekt 6 projiziert, beispielsweise wird das Lichtmuster 20 bzw. das Lichtmuster 20' während des Aufnehmens eines jeden der Kalibrierbilder 15, 16 bzw. eines jeden der weiteren Kalibrierbilder jeweils für eine Dauer von maximal 100 Millisekunden, besonders bevorzugt von weniger als 30 Millisekunden auf die Oberfläche 5 des Objektes 6 projiziert.
Beim Projizieren des Lichtmusters werden alle Markierungen 21, 22, 23 des Lichtmusters 20 gleichzeitig auf das Objekt 6 projiziert, wobei für jedes der Kalibrierbilder 16, 17 das gleiche Lichtmuster 20 auf das Objekt 6 projiziert wird, so dass während des Aufnehmens eines jeden der Kalibrierbilder 15, 16 jeweils die gleichen Objektpunkte 24, 25, 26 durch die Markierungen 21, 22, 23 des Lichtmusters 20 markiert werden. Entsprechendes gilt für das Projizieren des weiteren Lichtmusters 20' und das Aufnehmen der weiteren Kalibrierbilder.
Jede der Markierungen 21, 22, 23, 21', 22', 23' wird entlang einer Projektionsachse 30, 31 dieser Markierung 21, 22, 23, 21', 22', 23' auf das Objekt 6 projiziert. Im vorliegenden Fall werden diese Projektionsachsen 30, 31 für alle Kalibrierbilder 15, 16 und weiteren Kalibrierbilder unverändert beibehalten. Hierzu wird die Ausrichtung und Einstellung der Projektoren 18, 19 relativ zum Objekt 6 für alle Kalibrierbilder 15, 16 und weiteren Kalibrierbilder unverändert beibehalten.
Zu diesem Zweck werden ausreichend viele Markierungen 21, 22, 23 und weitere Markierungen, 21', 22', 23' auf das Objekt projiziert, so dass gewährleistet werden kann, dass in jedem Überlappungsbereich 11 mindestens drei (vorzugsweise aber noch mehr bzw. möglichst viele) durch die Markierungen 21, 22, 23 oder durch die weiteren Markierungen, 21', 22', 23' markierte Objektpunkte 24, 25 26 bzw. 41, 42, 43 vorhanden sind. Es werden hierbei auch solche Objektpunkte 32 markiert, die außerhalb der Überlappungsbereiche 11 sowie außerhalb des jeweiligen Kalibrierbildes liegen.
Um zu gewährleisten, dass dies mit einer zufriedenstellenden Wahrscheinlichkeit erreicht wird, werden die Markierungen auf der Oberfläche 5 des Objekts 6 räumlich so dicht verteilt, dass in jeden der Teilbereiche 9, 10 mindestens zehn der Markierungen 21, 22, 23 des Lichtmusters 20 oder mindestens zehn der Markierungen 21', 22', 23' des Lichtmusters 20' projiziert werden. Wie in 2B außerdem schematisch dargestellt ist, kann für jedes der Teilbereiche 9, 10 ein maximales konvexes Teilgebiet 40 innerhalb dieses Teilbereiches 9, 10 definiert werden, dass sich dadurch auszeichnet, dass in ihm keines der Markierungen 21, 22, 23 enthalten ist und es außerdem innerhalb des Teilbereichs 9, 10 kein größeres derartiges konvexes Teilgebiet gibt. Entsprechend kann für jedes der Teilbereiche ein weiteres maximales konvexes Teilgebiet definiert werden, dass sich dadurch auszeichnet, dass in ihm keines der weiteren Markierungen 21', 22', 23' enthalten ist und es außerdem innerhalb des Teilbereichs 9, 10 kein größeres derartiges konvexes Teilgebiet gibt. Die Verteilung der Markierungen 21, 22, 23 und der Markierungen 21', 22', 23' ist außerdem dergestalt, dass der maximale Durchmesser d des maximalen konvexen Teilgebiets 40 eines jeden Teilbereichs 9, 10 kleiner ist als ein Drittel des maximalen Durchmessers D dieses Teilbereichs 9, 10 oder dass der maximale Durchmesser des weiteren maximalen konvexen Teilgebiets (hier nicht dargestellt) eines jeden Teilbereichs 9, 10 kleiner ist als ein Drittel des maximalen Durchmessers D dieses Teilbereichs 9, 10.
Da, wie oben beschrieben wurde, es lediglich erforderlich ist, die Lichtmuster 20, 20' nur kurzzeitig jeweils während des Aufnehmens der Kalibrierbilder bzw. weiteren Kalibrierbilder zu projizieren, können die Projektoren 18, 19 klein, portabel und kostengünstig ausgeführt werden. Aufgrund der jeweils nur kurzzeitigen Projektion der Markierungen ist außerdem der Energiebedarf der Projektoren 18, 19 sehr gering, so dass ihr Betrieb sehr energieeffizient ist und sie sich beispielsweise über handelsüblichen Batterien mit Energie versorgen lassen.
In 1 sind die von dem Projektor 18 projizierten Markierungen 21, 22, 23 als Vierecke und die von dem weiteren Projektor 19 projizierten weiteren Markierungen als Kreise dargestellt. Jeder dqer Projektoren 18, 19 ist ausgestaltet, dass die jeweils von ihm ausgehenden Projektionsachsen 30, 31 der Markierungen 21, 22, 23 bzw. weiteren Markierungen 21', 22', 23' einen Raumbereich mit einem möglichst großen Raumwinkel aufspannen. Im vorliegenden Beispiel haben diese Raumbereiche jeweils die Form einer Halbkugel, d. h. der genannte Raumwinkel beträgt jeweils etwa 2π.
Wie außerdem in 5 dargestellt ist, umfassen die Projektoren 18, 19 jeweils eine Laserquelle 32 sowie ein Hologramm 33, wobei mittels der Laserquelle 32 Laserstrahlen auf das mindestens eine Hologramm 33 eingestrahlt werden und von dem mindestens einem Hologramm 33 ausgehenden Anteile dieser Laserstrahlen entlang der Projektionsachsen 30, 31 auf das Objekt 6 treffen und dort die Markierungen 21, 22, 23 des Lichtmusters 20 oder die weiteren Markierungen 21', 22', 23' des weiteren Lichtmusters 20' bilden. Die Laserquelle 32 wird hierzu mittels einer entsprechend eingerichteten Steuereinheit 34 des jeweiligen Projektors und in zeitlicher Abhängigkeit von dem mittels der Schnittstelle 29 empfangenen Steuersignale angesteuert.
Jede der Markierungen 21, 22, 23 und jede der weiteren Markierungen 21', 22', 23' weist individuelle Unterscheidungsmerkmale auf, welche es erlauben, alle Markierungen 21, 22, 23, 21', 22', 23' zu identifizieren und zuverlässig voneinander zu unterscheiden. Diese Unterscheidungsmerkmale werden insbesondere bei der Korrespondenzfindung mittels der Auswerteeinheit 12 berücksichtigt, wie im Folgenden beschrieben wird. Konkrete Beispiele für derartige Unterscheidungsmerkmale werden anhand der 6 und 7 erläutert.
Es wird außerdem mittels der Auswerteeinheit 12 des Systems 1 und in Abhängigkeit von der Anordnung und der Ausrichtung der Projektorköpfe 18, 19 relativ zum Objekt die Anordnung der projizierten Markierungen 21, 22, 23, 21', 22', 23' im Projektorraum, also die Anordnung der jeweils markierten Objektpunkte 24, 25, 26, 41, 42, 43 in Relation zu bisher vermessenen Objektpunkten, näherungsweise ermittelt. Diese näherungsweise ermittelte Anordnung der Markierungen 21, 22, 23 (bzw. der markierten Objektpunkte 24, 25, 26) auf der Oberfläche 5 des Objektes 6 wird anschließend beim Ermitteln derjenigen Markierungen 21, 22, 23, die jeweils in beiden zweier sich überschneidender Kalibrierbilder 15, 16 abgebildet werden, berücksichtigt, wodurch die Korrespondenzfindung besonders zuverlässig und robust ist.
Dabei wird mittels der Auswerteeinheit 12 des Systems 1 eine relative Anordnung aller in den Kalibrierbildern 15, 16 enthaltenen Markierungen 21, 22, 23 sowie aller in den weiteren Kalibrierbildern enthaltenen weiteren Markierungen 21', 22', 23' relativ zueinander ermittelt. Dies geschieht bezüglich eines relativ zu den Projektoren 18, 19 festen Koordinatensystems, d. h. in dem oben genannten Projektorraum. Die relative Ausrichtung der Markierungen 21, 22, 23 und der weiteren Markierungen 21', 22', 23' zueinander im Projektorraum hängt von den Projektionsachsen 30, 31 der Markierungen 21, 22, 23 und der weiteren Markierungen 21', 22', 23' ab. Für jedes der Kalibrierbilder 15, 16 und für jedes der weiteren Kalibrierbilder werden außerdem die in ihm erkannten Markierungen 21, 22, 23 bzw. weiteren Markierungen 21', 22', 23' unter Verwendung der oben genannten individuellen Unterscheidungsmerkmale identifiziert. Anschließend werden die Kalibrierbilder 15, 16 und die weiteren Kalibrierbilder in Abhängigkeit von der relativen Ausrichtung der in den Kalibrierbildern und in den weiteren Kalibrierbildern erkannten und identifizierten Markierungen und weiteren Markierungen relativ zueinander ausgerichtet und vororientiert. Dies dient zum einen dazu, benachbarte und sich gegenseitig überlappende Kalibrierbilder und weitere Kalibrierbilder zu ermitteln. Außerdem erlaubt diese automatische Vororientieren eine beliebige Reihenfolge bezüglich der Teilbereiche 9, 10 beim Aufnehmen der Kalibrierbilder 15, 16, der weiteren Kalibrierbilder und der Teilaufnahmen 7, 8 der Teilbereiche 9, 10, ohne hierbei die Zuverlässigkeit und Effizienz der Korrespondenzfindung zu beeinträchtigen.
In 6 und 7 sind spezielle Beispiele für die genannten Markierungen 21, 22, 23 mit Unterscheidungsmerkmalen 35 gezeigt. In dem auf der linken Seite der 6 werden verschiedene konkrete Beispiele von Aztec-Kodierungen als Unterscheidungsmerkmale 35 gezeigt, hier in der Form von Aztec-Barcodes gemäß ANSI/AIM BC13 ITS/97/002. Auf der Rechten Seite der 6 sind die dekodierten Inhalte dieser Kodierungen dargestellt.
In 7 ist ein Ausschnitt des Lichtmusters 20 dargestellt, das in dem hier dargestellten Beispiel als eine statistische räumlich hochfrequente Punktematrix ausgestaltet ist. Es ist ferner eine der Markierungen 21, 22, 23 dargestellt, welche ein Teilbereich dieses Lichtmusters 20 ist und in diesem Beispiels eine Submatrix von 7 × 7 Punkten ist, welche jeweils entweder schwarz oder weiß sind. Diese Punkte sind gleichzeitig ein individuelles Unterscheidungsmerkmal 35 dieser Markierung 21, 22, 23. Der gezeigte Ausschnitt könnte in dieser Form beispielsweise in dem in 2A gezeigten Kalibrierbild 15 enthalten sein. Mittels eines Korrelationsalgorithmus wird diese Markierung 21, 22, 23 zunächst in dem Kalibriebild 15 gesucht und bei Erfolg anschließend in dem Kalibrierbild 16 detektiert.
Diese Submatrix ist eine quadratische Matrix aus (2N + 1) × (2N + 1) Punkten (N = 3) des gezeigten statistischen Musters. In Abhängigkeit von der genutzten räumlichen Frequenz des Musters könnten auch größerer (oder kleinere) Ausschnitte des Lichtmusters zum Einsatz kommen.
Diese Submatrix wird beispielsweise in dem in 2A gezeigten Kalibrierbild 15 gesucht, in dem es mit an jeder möglichen Bildposition innerhalb dieses Kalibrierbildes 15 mit eine Ausschnitt dieses Kalibrierbildes 15 entsprechender Form und Größe verglichen wird. Hierfür wird für jede der Bildpositionen jeweils die mittlere quadratische Abweichung zwischen der Submatrix und dem jeweiligen Ausschnitt berechnet. Ist in einem der Ausschnitte des Kalibrierbildes 15 der gesuchte Ausschnitt des Musters, also die Submatrix, abgebildet, so ist die mittlere quadratische Abweichung für den zugehörigen Bildpunkt des Kalibrierbildes 15 minimal bzw. fällt unter einen vorgegebenen Schwellwert.
Wurde der Ausschnitt des Musters, also die Submatrix, in dem Kalibrierbild 15 gefunden, wird in einem nachfolgenden Schritt dieser Ausschnitt auch in weiteren Kalibrierbildern auf entsprechende Weise gesucht, beispielsweise in Kalibrierbild 16. Hierbei werden als weitere Kalibrierbilder nur solche Kalibrierbilder verwendet, die mit dem erstgenannten Kalibrierbild überlappen. Als Entscheidungsgrundlage für die Auswahl dieser weiteren Kalibrierbilder wird die Kenntnis der relativen Lage von in den Kalibrierbildern bereits erkannten und anhand von Unterscheidungsmerkmalen identifizierten Markierungen ausgenutzt.
Alle bezüglich der Markierungen 21, 22, 23 des Lichtmuster 20 beschrieben Merkmale lassen sich entsprechend auch durch die weiteren Markierungen 21', 22', 23' des weiteren Lichtmusters 20' realisieren.
In 8A bis 8D sind jeweils Ausschnitte 50 verschiedener Lichtmuster hier vorgeschlagener Art gezeigt, die jeweils als hochfrequente statistische Muster ausgestaltet sind. Die Lichtmuster weisen jeweils eine dominante Ortsfrequenz auf, die so groß ist, dass sie innerhalb eines jeden der Kalibrierbilder bei der für das Kalibrierbild jeweils gewählten Messsituation (also in der zum Einsatz kommenden Sensorauflösung, Arbeitsabstand, Schärfe etc) mindestens der eines Sinusmusters mit mindestens 16 Perioden im Sensorbildfeld, also im Kalibrierbild, entspricht. 8A zeigt die minimal zu realisierende Auflösung am Beispiel eines Sinusmusters mit 16 Perioden im Sensorsehfeld auf. 8B und 8C stellen jeweils Muster vergleichbarer Ortsfrequenz dar (8B zeigt einen Ausschnitt eines Musters mit 64 Sinusperioden). zeigt einen Ausschnitt eines statistischen Muster mit noch höherer Ortsfrequenz.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 19502459 A1 [0002]

Zitierte Nicht-Patentliteratur

F. Devernay, O. Bantiche, E. Coste-Manière: ”Structured light an dynamic scenes using standard stereoscopy algorithms”, 2002 [0024]
ANSI/AIM BC13 ITS/97/002 [0079]

Claims

Verfahren zum Zusammensetzen von Teilaufnahmen (7, 8) einer Oberfläche (5) eines Objektes (6) zu einer Gesamtaufnahme (4) des Objektes (6), wobei die Teilaufnahmen (7, 8) mit mindestens einem Bildsensor (3) mindestens einer Kamera (2) aufgenommen werden, wobei jede der Teilaufnahmen (7, 8) jeweils einen Teilbereich (9, 10) der Oberfläche (5) des Objektes (6) abbildet und sich diese Teilbereiche (9, 10) überschneiden, wobei für alle solche Paare der Teilaufnahmen (7, 8), deren Teilbereiche (9, 10) sich überschneiden, homologe Bildpunkte (14) dieser Teilaufnahmen (7, 8) bestimmt werden, wobei die Teilaufnahmen (7, 8) unter Verwendung der homologen Bildpunkte (14) zu der Gesamtaufnahme (4) zusammengesetzt werden, dadurch gekennzeichnet, dass – zu jeder der Teilaufnahmen (7, 8) mit dem Bildsensor (3), mit dem auch die Teilaufnahme (7, 8) aufgenommen wird, und mit der Orientierung dieses Bildsensors (3), die auch für das Aufnehmen der Teilaufnahme (7, 8) gewählt wird, ein zusätzliches Kalibrierbild (15, 16) aufgenommen wird, – wobei während des Aufnehmens eines jeden der Kalibrierbilder (15, 16) mittels eines Projektors (18) ein Lichtmuster (20) auf die Oberfläche (5) des Objektes (6) projiziert wird, wobei das Lichtmuster (20) eine Vielzahl von auf das Objekt (6) projizierten Markierungen (21, 22, 23) umfasst und jede dieser Markierungen (21, 22, 23) jeweils einen Objektpunkt (24, 25, 26) auf der Oberfläche (5) des Objektes (6) markiert, – wobei die Kalibrierbilder (15, 16) nach den Markierungen (21, 22, 23) durchsucht werden und für jedes Paar sich überschneidender Kalibrierbilder (15, 16) diejenigen Markierungen (21, 22, 23) ermittelt werden, die in beiden Kalibrierbildern (15, 16) dieses Paares erkannt worden sind, – wobei jeder dieser in zwei sich überschneidenden Kalibrierbildern (15, 16) erkannten Markierungen (21, 22, 23) Bildpunkte (24', 25', 26') der beiden Kalibrierbilder (15, 16) zugeordnet werden, die den mit dieser Markierung (21, 22, 23) markierten Objektpunkt (24, 25, 26) in jeweils einem dieser Kalibrierbilder (15, 16) abbilden, und – wobei auf Grundlage dieser Bildpunkte (24', 25', 26') die homologen Bildpunkte (14) der zu den Kalibrierbildern (15, 16) gehörigen Teilaufnahmen (7, 8) bestimmt werden.
Verfahren aus Anspruch 1, dadurch gekennzeichnet, dass vor dem Aufnehmen oder während des Aufnehmens eines jeden der Kalibrierbilder (15, 16) jeweils mindestens ein Steuersignal erzeugt und auf den Projektor (18) übertragen wird, wobei der Projektor (18) während des Aufnehmens dieses Kalibrierbildes (15, 16) und in zeitlicher Abhängigkeit von dem Steuersignal das Lichtmuster (20) auf das Objekt (6) projiziert.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das genannten Lichtmuster (20) während des Aufnehmens eines jeden der Kalibrierbilder (15, 16) jeweils für eine Dauer von maximal 30 ms auf die Oberfläche (5) des Objekts projiziert wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass für jedes der Kalibrierbilder (15, 16) das gleiche Lichtmuster auf das Objekt projiziert wird, so dass während des Aufnehmens eines jeden der Kalibrierbilder (15, 16) jeweils die gleichen Objektpunkte (24, 25, 26) durch die Markierungen (21, 22, 23) des Lichtmusters (20) markiert werden.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, das während des Aufnehmens eines jeden der Kalibrierbilder (15, 16) jede der Markierungen (21, 22, 23) des Lichtmusters (20) entlang einer Projektionsachse (30) dieser Markierung (21, 22, 23) auf das Objekt (6) projiziert wird, wobei die Projektionsachsen (31) der Markierung (21, 22, 23) für alle Kalibrierbilder (15, 16) unverändert beibehaltenen werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass jede der Markierung (21, 22, 23) des Lichtmusters (20) individuelle Unterscheidungsmerkmale (35) aufweist, welches ein eindeutiges Identifizieren dieser Markierung (21, 22, 23) und eine Unterscheiden dieser Markierung (21, 22, 23) von den anderen Markierungen (21, 22, 23) ermöglicht.
Verfahren nach Anspruch 6, sofern Anspruch 6 auf Anspruch 5 rückbezogen ist, dadurch gekennzeichnet, dass eine relative Anordnung der Markierungen (21, 22, 23) zueinander in Abhängigkeit von einer relativen Ausrichtung der Projektionsachsen (31) der Markierungen (21, 22, 23) ermittelt wird, wobei für jedes der Kalibrierbilder (15, 16) die in ihm erkannten Markierungen (21, 22, 23) unter Verwendung der Unterscheidungsmerkmale (35) identifiziert werden, wobei anschließend die Kalibrierbilder (15, 16) in Abhängigkeit von der relativen Ausrichtung der in den Kalibrierbildern (15, 16) erkannten und identifizierten Markierungen (21, 22, 23) relativ zueinander ausgerichtet werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass während des Aufnehmens eines jeden der Kalibrierbilder die auf das Objekt projizierten Lichtmuster über die gesamte Oberfläche (5) des Objektes (6) so verteilt sind, dass in jedem der Teilbereiche (9, 10) mindestens zehn Markierungen (21, 22, 23) enthalten sind, und/oder – dass innerhalb eines jeden der Teilbereiche (9, 10) ein maximales konvexes Teilgebiet existiert, das keines der Markierungen (21, 22, 23) enthält und das einen maximalen Durchmesser aufweist, der kleiner ist als ein Drittel eines maximalen Durchmesser dieses Teilbereichs, und/oder – dass in jedem Überlappungsbereich benachbarter Teilbereiche (9, 10) mindestens drei Markierungen (21, 22, 23) enthalten sind.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zu jeder der Teilaufnahmen (7, 8) mit dem Bildsensor (3), mit dem auch die Teilaufnahme (7, 8) aufgenommen wird, und mit der Orientierung dieses Bildsensors (3), die auch für das Aufnehmen der Teilaufnahme (7, 8) gewählt wird, vor oder nach dem Kalibrierbild (15, 16) ein weiteres Kalibrierbild aufgenommen wird, – wobei während des Aufnehmens eines jeden der weiteren Kalibrierbilder mittels eines weiteren Projektors (19) ein weiteres Lichtmuster (20') auf die Oberfläche (5) des Objektes (6) projiziert wird, wobei das weitere Lichtmuster (20') eine Vielzahl von auf das Objekt projizierten weiteren Markierungen (21', 22', 23') umfasst und jede dieser weiteren Markierungen (21', 22', 23') jeweils einen Objektpunkt (41, 42, 43) auf der Oberfläche (5) des Objektes (6) markiert, – wobei die weiteren Kalibrierbilder nach den weiteren Markierungen (21', 22', 23') durchsucht werden und für jedes Paar sich überschneidender weiterer Kalibrierbilder diejenigen weiteren Markierungen (21', 22', 23') ermittelt werden, die in beiden weiteren Kalibrierbildern dieses Paares erkannt worden sind, – wobei jeder dieser in zwei sich überschneidenden weiteren Kalibrierbildern erkannten weiteren Markierungen (21', 22', 23') Bildpunkte der beiden weiteren Kalibrierbilder zugeordnet werden, die den mit dieser weiteren Markierung markierten Objektpunkt in jeweils einem dieser weiteren Kalibrierbilder abbilden, und – wobei auf Grundlage dieser Bildpunkte weitere homologen Bildpunkte (14) der zu den weiteren Kalibrierbildern gehörigen Teilaufnahmen (7, 8) bestimmt werden und die Teilaufnahmen (7, 8) unter Verwendung der weiteren homologen Bildpunkte zu der Gesamtaufnahme (4) zusammengesetzt werden.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass der Projektor (18) und der weitere Projektor (19) voneinander räumlich getrennt angeordnet werden, so dass die Markierungen (21, 22, 23) des Lichtmusters (20) aus einer anderen Richtung auf das Objekt (6) projiziert werden als die weiteren Markierungen (21', 22', 23') des weiteren Lichtmusters (20').
Verfahren nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass durch die Projektionsachsen (30) der Markierungen (21, 22, 23), die mittels des Projektors (18) auf das Objekt (6) projiziert werden, ein Raumbereich mit einem Raumwinkel von etwa π oder mehr aufgespannt wird und/oder dass durch die Projektionsachsen (31) der weiteren Markierungen (21', 22', 23'), die mittels des weiteren Projektors (19) auf das Objekt (6) projiziert werden, ein weiterer Raumbereich mit einem Raumwinkel von etwa π oder mehr aufgespannt wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Projektor (18) und/oder der weitere Projektor (19) mindestens eine Lichtquelle (32) sowie mindestens ein Hologramm (33) umfasst, wobei mittels der mindestens einen Lichtquelle (32) Lichtstrahlen auf das mindestens eine Hologramm (33) eingestrahlt werden und von dem mindestens einen Hologramm (33) ausgehende Anteile der Lichtstrahlen auf das Objekt treffen und dort mehrere oder alle Markierungen (21, 22, 23, 21', 22', 23') des Lichtmusters (20) oder des weiteren Lichtmusters (20') bilden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine Bündelblockausgleichsrechnung unter Verwendung der homologen Bildpunkte (14) der Teilaufnahmen (7, 8) durchgeführt wird.
System (1) zum Erstellen einer Gesamtaufnahme (4) eines Objektes, umfassend mindestens eine Kamera (2) mit mindestens einem Bildsensor (3), – wobei die Kamera (2) dazu eingerichtet ist, Teilaufnahmen (7, 8) des Objektes (6) mittels des Bildsensors (3) aufzunehmen, wobei jede der Teilaufnahmen (7, 8) jeweils einen Teilbereich (9, 10) der Oberfläche (5) des Objektes (6) abbildet und sich diese Teilbereiche (9, 10) überschneiden, – wobei das System eine Auswerteeinheit (12) umfasst, die eingerichtet ist, für alle solche Paare der Teilaufnahmen, deren Teilbereiche (9, 10) sich überschneiden, homologe Bildpunkte (14) dieser Teilaufnahmen (7, 8) zu bestimmen und die Teilaufnahmen (7, 8) unter Verwendung der homologen Bildpunkte (14) zu der Gesamtaufnahme (4) zusammenzusetzen, dadurch gekennzeichnet, dass die Kamera (2) außerdem eingerichtet ist, zu jeder der Teilaufnahmen (7, 8) mittels des gleichen Bildsensors (3) und mit der gleichen Orientierung des Bildsensors (3) ein zusätzliches Kalibrierbild (15, 16) aufzunehmen, – wobei das System einen Projektor (18, 19) umfasst, der eingerichtet ist, während des Aufnehmens eines jeden der Kalibrierbilder (15, 16) ein Lichtmuster (20, 20') auf die Oberfläche (5) des Objektes (6) zu projizieren, wobei das Lichtmuster (20, 20') eine Vielzahl von auf das Objekt projizierter Markierungen (21, 22, 23, 21', 22', 23') umfasst und jede dieser Markierungen (21, 22, 23, 21', 22', 23') jeweils einen Objektpunkt (24, 25, 26, 41, 42, 43) auf der Oberfläche (5) des Objektes (6) markiert, – wobei die Auswerteeinheit (12) eingerichtet ist, die Kalibrierbilder (15, 16) nach den Markierungen zu durchsuchen und für jedes Paar sich überschneidender Kalibrierbilder (15, 16) diejenigen Markierungen zu ermitteln, die in beiden Kalibrierbildern (15, 16) dieses Paares erkannt worden sind, – wobei die Auswerteeinheit (12) außerdem eingerichtet ist, jeder dieser in zwei sich überschneidenden Kalibrierbildern (15, 16) erkannten Markierungen (21, 22, 23) Bildpunkte (24', 25', 26') der beiden Kalibrierbilder (15, 16) zuzuordnen, die den mit dieser Markierung (21, 22, 23) markierten Objektpunkt (24, 25, 26) in jeweils einem dieser Kalibrierbilder (15, 16) abbilden, und auf Grundlage dieser Bildpunkte (24', 25', 26') die homologen Bildpunkte (14) der zu den Kalibrierbildern (15, 16) gehörigen Teilaufnahmen (7, 8) zu bestimmen.
System (1) aus Anspruch 14, dadurch gekennzeichnet, dass das System (1) eine Steuereinheit (27) umfasst, die eingerichtet ist, vor dem Aufnehmen oder während des Aufnehmens eines jeden der Kalibrierbilder (15, 16) jeweils mindestens ein Steuersignal zu erzeugen und auf den Projektor (18) zu übertragen, wobei der Projektor (18) eingerichtet ist, während des Aufnehmens dieses Kalibrierbildes (15, 16) und in zeitlicher Abhängigkeit von dem Steuersignal das Lichtmuster (20) auf das Objekt (6) zu projizieren.