DE102021203812B4

DE102021203812B4 - Optische Messvorrichtung und Verfahren zum Bestimmen eines mehrdimensionalen Oberflächenmodells

Info

Publication number: DE102021203812B4
Application number: DE102021203812.3A
Authority: DE
Inventors: Roland Ramm; Stefan Heist; Peter Kühmstedt; Gunther Notni
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2021-04-16
Filing date: 2021-04-16
Publication date: 2023-04-13
Anticipated expiration: 2041-04-17
Also published as: DE102021203812A1

Abstract

Die Anmeldung betrifft eine optische Messvorrichtung (1) sowie ein Verfahren zum Bestimmen eines mehrdimensionalen Oberflächenmodells eines Objekts (10). Die optische Messvorrichtung (1) umfasst eine Kameraeinheit (2) mit einem ersten Bildsensor (5) und einem mit dem ersten Lichtsensor (5) starr gekoppelten oder starr koppelbaren zweiten Bildsensor (6) sowie eine Verarbeitungseinheit (8). Die Verarbeitungseinheit (8) ist dazu eingerichtet, eine Lagebeziehung des ersten und zweiten Bildsensors (5, 6) zu speichern, zu jeder einer Mehrzahl von nacheinander eingenommenen Kamerapositionen der Kameraeinheit (2) in Bezug auf ein Objekt (10) ein mittels des ersten Bildsensors aufgenommenes erstes Bild des Objekts (10) und ein mittels des zweiten Bildsensors aufgenommenes zweites Bild des Objekts (10) zu speichern, auf Grundlage der ersten Bilder eine Oberflächentopographie einer Oberfläche (11) des Objekts (10) zu rekonstruieren, zu jeder der Mehrzahl von Kamerapositionen eine Lage des ersten Bildsensors (5) bezüglich des Objekts (10) auf Grundlage der ersten Bilder sowie eine Lage des zweiten Bildsensors (6) bezüglich des Objekts (10) auf Grundlage der jeweiligen Lage des ersten Bildsensors (5) bezüglich des Objekts (10) und der gespeicherten Lagebeziehung des ersten und zweiten Bildsensors (5, 6) zu bestimmen und auf Grundlage der zweiten Bilder und der Oberflächentopographie ein mehrdimensionales Oberflächenmodell des Objekts (10) zu erzeugen.

Description

Die Anmeldung betrifft eine optische Messvorrichtung sowie ein Verfahren zum Bestimmen eines mehrdimensionalen Oberflächenmodells unter Verwendung einer solchen Messvorrichtung. Der Gegenstand der Anmeldung ist vorteilhaft auf dem Gebiet von mehrdimensionalen Oberflächenmessungen, beispielsweise in den Bereichen Baugewerbe, Landwirtschaft, Geologie, Bergbau, Luftbilderzeugung und Forensik, einsetzbar.
Aus dem Stand der Technik sind verschiedene Verfahren zum Bestimmen mehrdimensionaler Oberflächenmodelle und entsprechende optische Messvorrichtungen bekannt. Ein Oberflächenmodell umfasst dabei zumindest eine Oberflächentopographie eines Objekts, d.h. eine rekonstruierte 3D-Form einer Oberfläche des Objekts, die beispielsweise als 3D-Punktwolke und/oder 3D-Mesh vorliegen kann. Das Oberflächenmodell kann daneben einen oder mehrere weitere Parameter umfassen, beispielweise Lichtparameter von Licht, das von der Oberfläche des Objekts abgestrahlt wird, und/oder Oberflächeneigenschaften, etwa spektroskopische Oberflächeneigenschaften, der Oberfläche des Objekts, wobei diese weiteren Parameter der Oberflächentopographie insbesondere bereichsweise oder punktweise zugeordnet sein können.
Oberflächentopographien können gemäß dem Stand der Technik etwa mittels Verfahren der Photogrammetrie bestimmt werden. Dabei werden zunächst mehrere sich überlappende 2D-Aufnahmen eines Objekts mittels einer oder mehrerer Kameras aus verschiedenen Blickwinkeln aufgenommen. Mittels Bildverarbeitung werden korrespondierende 2D-Bildmerkmale (typischerweise Texturmerkmale der Objektoberfläche und/oder an dem Objekt befestigte Marker) identifiziert. Mittels eines photogrammetrischen Rechenprozesses, insbesondere eines Structure-from-Motion-Algorithmus, werden dann 3D-Koordinaten der identifizierten 2D-Bildmerkmale rekonstruiert und basierend darauf die Oberflächentopographie rekonstruiert. Die 2D-Aufnahmen können der Oberflächentopographie punktweise zugeordnet werden, um ein Oberflächenmodell zu erzeugen.
Je nach gewünschter Information kann es erforderlich sein, für die Erzeugung von Oberflächenmodellen Kameras mit mehreren Spektralkanälen zum Erfassen von spektralen Eigenschaften der Objektoberfläche, etwa Multispektral- oder Hyperspektralkameras, oder Kameras mit hoher Empfindlichkeit in nicht-sichtbaren Wellenlängenbereichen, etwa im ultravioletten (UV) oder infraroten (IR) Bereich, zu verwenden. Solche Kameras weisen häufig - gerade im Vergleich mit typischen Kamerasensoren für sichtbares (VIS) Licht (VIS-Bildsensoren) - nur eine geringe Pixelauflösung von beispielsweise deutlich unter 1 MPx (Millionen Pixel) auf. Für photogrammetrische Verfahren können sich daraus Nachteile ergeben, etwa eine geringe 3D-Punktdichte, hohe Messunsicherheit und/oder die Notwendigkeit hoher Bildanzahl und hohen Überlapps.
Es ist vorgeschlagen worden, statt spezialisierter Kameras der genannten Art eine hochauflösende VIS-Kamera in Verbindung mit wechselnder Beleuchtung und/oder (festen oder wechselbaren) Spektralfiltern zu verwenden. Dies kann allerdings mit erhöhter Komplexität und/oder erhöhtem Gewicht und/oder verringerter Flexibilität der Messvorrichtung und/oder geringerer Detektionsempfindlichkeit in bestimmten Wellenlängenbereichen einhergehen.
Druckschrift US 2001 / 0 019 621 A1 offenbart ein Verfahren und eine Vorrichtung zum Berechnen von Parallaxeninformationen, wie sie durch Bilder einer Szene erfasst werden. Das Verfahren berechnet die Parallaxeninformationen für jeden Punkt in einem Bild durch Berechnen der Parallaxe innerhalb von Fenstern, die in Bezug auf den Punkt, für den die Parallaxe berechnet wird, versetzt sind.
Druckschrift WO 2006 / 060 746 A2 offenbart Verfahren und Vorrichtungen zum Registrieren, auf einer Kameraanzeige, separater Sichtfelder eines Kameramoduls für sichtbares Licht und eines Infrarotkameramoduls durch Fokussieren des IR-Kameramoduls.
Druckschrift US 2013 / 0 250 123 A1 offenbart Systeme und Verfahren zur multispektralen Bildgebung. Das multispektrale Bildgebungssystem kann einen Bildgebungssensor für nahes Infrarot (NIR) und einen Bildgebungssensor für sichtbares Licht umfassen. Die offenbarten Systeme und Verfahren können implementiert werden, um eine Ausrichtung zwischen den NIR- und sichtbaren Bildern zu verbessern.
Druckschrift EP 3 435 023 A1 offenbart Verfahren und ein System zum Untersuchen eines Objekts. Das System umfasst eine Messvorrichtung, die 3D-Koordinaten von Punkten auf einer Oberfläche des Objekts misst. Ein oder mehrere Prozessoren arbeiten mit der Messvorrichtung zusammen, um ein Verfahren durchzuführen, das umfasst: Bestimmen von 3D-Koordinaten der Punkte, während das Objekt gemessen wird; Ausrichten eines elektronischen Modells des Objekts auf die Punkte, während das Objekt gemessen wird; Bestimmen einer Abweichung zwischen dem elektronischen Modell und den Punkten, während das Objekt gemessen wird.
Der vorliegenden Anmeldung liegt vor dem Hintergrund des Standes der Technik die Aufgabe zugrunde, eine optische Messvorrichtung sowie ein Verfahren zum Bestimmen eines mehrdimensionalen Oberflächenmodells vorzuschlagen, die die oben genannten erwünschten Eigenschaften wenigstens zum Teil aufweisen und die beschriebenen Probleme vermeiden oder zumindest verringern.
Die Aufgabe wird gelöst durch eine optische Messvorrichtung gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 9. Vorteilhafte Ausgestaltungen, Weiterbildungen und Verwendungen der Erfindung ergeben sich mit den Merkmalen der Unteransprüche.
Die vorgeschlagene optische Messvorrichtung umfasst eine Kameraeinheit mit einem ersten Bildsensor, eingerichtet zum Erfassen einer ersten Intensitätsverteilung von einfallendem Licht, und einem mit dem ersten Lichtsensor starr gekoppelten oder starr koppelbaren zweiten Bildsensor, eingerichtet zum Erfassen einer zweiten Intensitätsverteilung des einfallenden Lichts.
Daneben umfasst die optische Messvorrichtung eine Verarbeitungseinheit, die dazu eingerichtet ist,
eine Lagebeziehung des ersten und zweiten Bildsensors zu speichern,
zu jeder einer Mehrzahl (d.h. mindestens zwei, vorzugsweise mehr als zwei) von nacheinander eingenommenen Kamerapositionen der Kameraeinheit in Bezug auf ein Objekt ein mittels des ersten Bildsensors aufgenommenes erstes Bild des Objekts und ein mittels des zweiten Bildsensors aufgenommenes zweites Bild des Objekts zu speichern,
auf Grundlage der ersten Bilder eine Oberflächentopographie einer Oberfläche des Objekts zu rekonstruieren,
zu jeder der Mehrzahl von Kamerapositionen eine Lage des ersten Bildsensors bezüglich des Objekts auf Grundlage der ersten Bilder sowie eine Lage des zweiten Bildsensors bezüglich des Objekts auf Grundlage der jeweiligen Lage des ersten Bildsensors bezüglich des Objekts und der gespeicherten Lagebeziehung des ersten und zweiten Bildsensors zu bestimmen und
auf Grundlage der zweiten Bilder jedem von einer Vielzahl von Punkten der rekonstruierten Oberflächentopographie einen Wert eines auf Grundlage der zweiten Intensitätsverteilung bestimmbaren Lichtparameters des einfallenden Lichts und/oder einer auf Grundlage der zweiten Intensitätsverteilung bestimmbaren Oberflächeneigenschaft des Objekts zuzuordnen, um ein mehrdimensionales Oberflächenmodell des Objekts zu erzeugen.
Die ersten/zweiten Bilder entsprechen dabei der mittels des ersten/zweiten Bildsensors erfassten ersten/zweiten Intensitätsverteilung zum jeweiligen Aufnahmezeitpunkt. Die erste und zweite Intensitätsverteilung kommen durch von der Objektoberfläche abgestrahltes Licht (selbstleuchtend oder durch Beleuchtung) zustande, das von dem ersten/zweiten Bildsensor aus seiner jeweiligen Position und Orientierung erfasst wird. Als Lage wird hierbei eine Position und/oder Orientierung, als Lagebeziehung eine relative Position und/oder Orientierung bezeichnet.
Bei der vorgeschlagenen Messvorrichtung können in vorteilhafter Weise mindestens zwei (je nach Ausführungsform auch mehr als zwei) verschiedene Bildsensoren, insbesondere Bildsensoren mit verschiedener Pixelauflösung und/oder verschiedenen Erfassungsmodalitäten (spektral, polarisationsabhängig etc.) miteinander kombiniert und gemeinsam zum Erzeugen des mehrdimensionalen Oberflächenmodells verwendet werden. Dabei kann die Messvorrichtung vergleichsweise kompakt und leicht ausgeführt werden.
Insbesondere kann der erste Bildsensor eine größere Anzahl von Sensorelementen aufweisen als der zweite Bildsensor, insbesondere mindestens doppelt so viele, vorzugsweise mindestens fünfmal so viele Sensorelemente (Pixel) oder auch mindestens zehnmal so viele Sensorelemente wie der zweite Bildsensor, so dass die Kameraeinheit zum Aufnehmen der ersten Bilder mit höherer räumlicher Auflösung gegenüber den zweiten Bildern eingerichtet ist.
Somit können insbesondere die Vorteile eines hochauflösenden Bildsensors (etwa hohe erzielbare 3D-Punktdichte und geringe Messunsicherheit bei vergleichsweise geringer Bildanzahl und geringem Überlapp) mit den Vorteilen eines spezialisierten Bildsensors oder mehrerer solcher Bildsensoren (etwa Erfassen von spektralen Eigenschaften der Objektoberfläche, hohe Empfindlichkeit in nicht-sichtbaren Wellenlängenbereichen) miteinander kombiniert werden.
Der erste Bildsensor kann ein VIS-Bildsensor, insbesondere ein monochromatischer VIS-Bildsensor oder ein RGB-Bildsensor (d.h. ein Bildsensor mit jeweils einem Detektionskanal für Licht im roten, grünen und blauen Wellenlängenbereich), sein.
Solche Bildsensoren sind weit verbreitet und oft kostengünstig erhältlich und/oder weisen eine hohe Pixelauflösung (beispielsweise im Bereich von 1 MPx bis 100 MPx oder auch darüber) und/oder eine hohe Detektionsempfindlichkeit im sichtbaren Wellenlängenbereich auf.
Der zweite Bildsensor kann ein Multispektral-Bildsensor oder ein Hyperspektral-Bildsensor oder ein UV-Bildsensor oder ein IR-Bildsensor (also ein Bildsensor mit hoher Detektionsempfindlichkeit im UV- bzw. IR-Bereich) sein. Der zweite Bildsensor kann zum Erfassen von Licht einer oder mehrerer vorgegebener Polarisationsrichtungen eingerichtet sein.
Solche Sensoren weisen gegenüber typischen VIS- bzw. RGB-Sensoren häufig deutlich geringere Pixelauflösung (beispielsweise im Bereich von 0,1 MPx bis 10 MPx oder auch darunter) auf.
Die Verarbeitungseinheit kann dazu eingerichtet sein, eine Skalierung der rekonstruierten Oberflächentopographie auf Grundlage der gespeicherten Lagebeziehung des ersten und zweiten Bildsensors und/oder auf Grundlage eines bekannten Abstands auf der Oberfläche des Objekts zu bestimmen. Als Skalierung wird hier insbesondere ein Maß für Abstände zwischen Punkten der Oberflächentopographie bzw. entsprechenden Punkten der Objektoberfläche bezeichnet, wobei die Skalierung ein Bestimmen solcher Abstände bezogen auf einen bekannten physikalischen Abstand und/oder bezogen auf einen virtuellen Referenzabstand ermöglichen kann.
Die Kameraeinheit kann einen dritten Bildsensor umfassen, der zum Erfassen einer dritten Intensitätsverteilung des einfallenden Lichts eingerichtet ist. Der dritte Bildsensor kann eine geringere Anzahl von Sensorelementen aufweisen als der erste Bildsensor. Die Kameraeinheit kann mehrere dritte Bildsensoren der genannten Art umfassen. Durch Verwendung eines dritten Bildsensors bzw. dritter Bildsensoren können zusätzliche Parameter, etwa Lichtparameter oder Oberflächeneigenschaften, in das Oberflächenmodell eingebunden werden.
Die Kameraeinheit kann einen Referenz-Bildsensor umfassen. Der Referenz-Bildsensor kann eine größere Anzahl von Sensorelementen aufweisen als der zweite Bildsensor. Die Verarbeitungseinheit kann dazu eingerichtet sein, eine Skalierung (im oben erwähnten Sinne) des Objekts auf Grundlage einer gespeicherten Lagebeziehung des ersten Bildsensors und des Referenz-Bildsensors zu bestimmen. Die Kameraeinheit kann mehrere Referenz-Bildsensoren umfassen.
Die Verarbeitungseinheit kann dazu eingerichtet ist, die Oberflächentopographie unter Verwendung eines Structure-from-Motion-Algorithmus und/oder eines Multi-View-Stereo-Matching-Algorithmus zu rekonstruieren und/oder dazu, jedem der Vielzahl von Punkten der rekonstruierten Oberflächentopographie den jeweiligen Wert des Lichtparameters bzw. der Oberflächeneigenschaft unter Verwendung eines Blending-Verfahrens (Blending-Algorithmus) zuzuordnen. Algorithmen der genannten Art sind aus dem Stand der Technik bekannt und auch in Form verschiedener Softwarepaketen erhältlich, so dass die Oberflächentopographie bzw. das Oberflächenmodell auf einfache Weise erzeugbar ist.
Das vorgeschlagene Verfahren zum Bestimmen eines mehrdimensionalen Oberflächenmodells eines Objekts unter Verwendung einer optischen Messvorrichtung nach einem der vorhergehenden Ansprüche umfasst die folgenden Schritte:

Bewegen der Kameraeinheit, so dass sie nacheinander eine Mehrzahl von Kamerapositionen in Bezug auf das Objekt einnimmt (also mindestens zwei, vorzugsweise mehr als zwei Kamerapositionen), wobei in jeder der Mehrzahl von Kamerapositionen jeweils ein erstes Bild des Objekts mittels des ersten Bildsensors aufgenommen wird und ein zweites Bild des Objekts mittels des zweiten Bildsensors aufgenommen wird,
Speichern der aufgenommenen ersten und zweiten Bilder,
Rekonstruieren einer Oberflächentopographie einer Oberfläche des Objekts auf Grundlage der ersten Bilder,
Bestimmen, zu jeder der Mehrzahl von Kamerapositionen, einer Lage des ersten Bildsensors bezüglich des Objekts auf Grundlage der ersten Bilder sowie einer Lage des zweiten Bildsensors bezüglich des Objekts auf Grundlage der jeweiligen Lage des ersten Bildsensors bezüglich des Objekts und einer gespeicherten Lagebeziehung des ersten und zweiten Bildsensors,
Erzeugen eines mehrdimensionalen Oberflächenmodells des Objekts, indem auf Grundlage der zweiten Bilder jedem von einer Vielzahl von Punkten der rekonstruierten Oberflächentopographie ein Wert eines auf Grundlage der zweiten Intensitätsverteilung bestimmbaren Lichtparameters des einfallenden Lichts und/oder einer auf Grundlage der zweiten Intensitätsverteilung bestimmbaren Oberflächeneigenschaft des Objekts zugeordnet wird.

Die vorgeschlagene optische Messvorrichtung entfaltet in dem vorgeschlagenen Verfahren die bereits oben genannten Vorteile und Eigenschaften. Entsprechend kann das Verfahren gemäß verschiedenen Aspekten der optischen Messvorrichtung weitergebildet werden.
Das Verfahren kann ferner die Schritte umfassen:

Aufnehmen mindestens eines ersten Kalibrationsbildes eines Kalibrationstargets mittels des ersten Bildsensors und mindestens eines zweiten Kalibrationsbildes des Kalibrationstargets mittels des zweiten Bildsensors,
Bestimmen der Lagebeziehung des ersten und zweiten Bildsensors auf Grundlage des mindestens einen ersten Kalibrationsbildes und des mindestens einen zweiten Kalibrationsbildes,

Die so bestimmte Lagebeziehung kann als gespeicherte Lagebeziehung im oben erwähnten Sinne verwendet werden, die somit auf einfache und zuverlässige Weise erzeugt werden kann. Die Verarbeitungseinheit der vorgeschlagenen optischen Messvorrichtung kann dazu eingerichtet sein, die genannten Verfahrensschritte auszuführen und/oder zu steuern.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand 1 bis 3 erläutert. Dabei zeigen:

1 eine schematische Darstellung einer optischen Messvorrichtung,
2 eine Kameraeinheit der optischen Messvorrichtung nach 1 in verschiedenen Kamerapositionen in Bezug auf ein Objekt,
3 ein Ablaufdiagramm eines Verfahrens zum Bestimmen eines mehrdimensionalen Oberflächenmodells eines Objekts,
4 ein Ablaufdiagramm eines Verfahrens zum Bestimmen eines mehrdimensionalen Oberflächenmodells eines Objekts gemäß einem weiteren Beispiel.

Wiederkehrende und ähnliche Merkmale verschiedener Ausführungsformen sind in den Abbildungen mit identischen alphanumerischen Bezugszeichen versehen.
Die in 1 illustrierte optische Messvorrichtung 1 umfasst eine Kameraeinheit 2 mit einer ersten Kamera 3 und einer zweiten Kamera 4. Die erste Kamera 3 umfasst einen ersten Bildsensor 5, eingerichtet zum Erfassen einer ersten Intensitätsverteilung von einfallendem Licht. Die zweite Kamera 4 umfasst einen zweiten Bildsensor 6, eingerichtet zum Erfassen einer zweiten Intensitätsverteilung des einfallenden Lichts.
Die erste Kamera 3 und die zweite Kamera 4 sind mittels einer Koppeleinheit 7 starr gekoppelt, wodurch auch der erste Bildsensor 5 und der zweite Bildsensor 6 starr gekoppelt und in einer festen Lagebeziehung zueinander angeordnet sind. Die Koppeleinheit kann mit den Kameras 3 und 4 fest oder lösbar verbunden bzw. verbindbar sein. Statt separater, miteinander gekoppelter Kameras kann als Kameraeinheit auch beispielsweise eine integrale Einheit mit mindestens zwei Bildsensoren, entsprechenden Optiken und ggf. weiteren Bestandteilen (Gehäuse, Ansteuerelektronik, Verarbeitungseinheit etc.) vorgesehen werden.
Der erste Bildsensor 5 ist hier beispielsweise ein RGB-Bildsensor (zur Detektion von Licht im sichtbaren Wellenlängenbereich), kann jedoch alternativ ein monochromatischer VIS-Bildsensor oder eine andere Art von Bildsensor sein. Der zweite Bildsensor 6 ist hier beispielsweise ein UV-Bildsensor, kann jedoch alternativ ein Multispektral-Bildsensor, ein Hyperspektral-Bildsensor, ein IR-Bildsensor, ein zum Erfassen von Licht einer oder mehrerer vorgegebener Polarisationsrichtungen eingerichteter Sensor oder eine andere Art von Bildsensor sein. Die optische Messvorrichtung 1 kann optional einen dritten oder weitere Bildsensoren aufweisen, um multimodale und/oder multispektrale Messungen zu ermöglichen.
Der erste Bildsensor 5 weist eine größere Anzahl von Sensorelementen auf als der zweite Bildsensor 6, so dass die Kameraeinheit 2 zum Aufnehmen der ersten Bilder mit höherer räumlicher Auflösung gegenüber den zweiten Bildern eingerichtet ist.
Die optische Messvorrichtung 1 umfasst ferner eine Verarbeitungseinheit 8, die mit der ersten Kamera 3 und der zweiten Kamera 4 mittels jeweils einer Daten- und Steuerverbindung 9 verbunden ist. Die Verarbeitungseinheit 8 kann beispielsweise ein Workstation-Rechner oder eine mobile Datenverarbeitungseinheit (etwa ein Tablet-Rechner) oder eine sonstige Verarbeitungseinheit sein. Die Verarbeitungseinheit 8 kann auch in die Kameraeinheit 2 integriert statt mit dieser verbunden sein.
Die Verarbeitungseinheit 8 ist dazu eingerichtet, die feste Lagebeziehung des ersten Bildsensors 5 und des zweiten Bildsensors 6, die etwa auf die weiter unten beschrieben Weise bestimmt werden kann, zu speichern.
2 zeigt die Kameraeinheit 2 der optischen Messvorrichtung 1 in einer Mehrzahl von nacheinander einnehmbaren Kamerapositionen in Bezug auf ein Objekt 10 mit einer Objektoberfläche 11. Solche Kamerapositionen kommen in dem nachfolgend beschriebenen Verfahren zum Bestimmen eines mehrdimensionalen Oberflächenmodells des Objekts 10 unter Verwendung der optischen Messvorrichtung 1 zur Anwendung.
Bei dem Verfahren wird zunächst die Kameraeinheit 2 so bewegt, dass sie nacheinander die Mehrzahl von Kamerapositionen in Bezug auf das Objekt 10 einnimmt, wobei in jeder der Mehrzahl von Kamerapositionen jeweils ein erstes Bild des Objekts 10 mittels des ersten Bildsensors 5 aufgenommen wird und ein zweites Bild des Objekts 10 mittels des zweiten Bildsensors 6 aufgenommen wird. In diesem Beispiel entsprechen die ersten Bilder einer höher aufgelösten RGB-Intensitätsverteilung, die zweiten Bilder einer niedriger aufgelösten UV-Intensitätsverteilung. Die ersten und zweiten Bilder werden gespeichert, etwa in Speichern der jeweiligen Kamera und/oder in einem Speicher der Verarbeitungseinheit.
Die Verarbeitungseinheit 8 ist zum Ausführen der nachfolgenden Verfahrensschritte eingerichtet, die im Überblick in 3 illustriert werden.
Auf Grundlage der (hochauflösenden) ersten Bilder 12 wird eine Oberflächentopographie 13 der Oberfläche 11 des Objekts 10 in Form einer 3D-Punktwolke rekonstruiert. Diese Rekonstruktion erfolgt mittels eines photogrammetrischen Verfahrens, insbesondere eines Structure-from-Motion-Algorithmus und/oder eines Multi-View-Stereo-Matching-Algorithmus.
Zu der Mehrzahl von Kamerapositionen werden - ebenfalls als Teil des photogrammetrischen Verfahrens - entsprechende erste Lagen 14 als Orientierungen des ersten Bildsensors 5 bezüglich des Objekts 10 auf Grundlage der ersten Bilder 12 bestimmt.
Ferner werden zu der Mehrzahl von Kamerapositionen entsprechende zweite Lagen 15 als Orientierungen des zweiten Bildsensors 6 bezüglich des Objekts 10 auf Grundlage der jeweiligen ersten Lagen 14 und der gespeicherten Lagebeziehung 16 des ersten Bildsensors 5 und des zweiten Bildsensors 6 bestimmt.
Schließlich wird ein mehrdimensionales Oberflächenmodell 17 des Objekts 10 erzeugt, indem auf Grundlage der (niedrigauflösenden) zweiten Bilder 18 jedem von einer Vielzahl von Punkten der 3D-Punktwolke der rekonstruierten Oberflächentopographie 13 mittels eines Blending-Verfahrens ein UV-Intensitätswert zugeordnet wird. Der UV-Intensitätswert wird dabei auf Grundlage der zweiten (UV)-Intensitätsverteilung gebildet.
In anderen Beispielen kann Punkten der Oberflächentopographie 13 zusätzlich oder alternativ ein Wert mindestens eines anderen auf Grundlage der zweiten Intensitätsverteilung bestimmbaren Lichtparameters des einfallenden Lichts und/oder einer auf Grundlage der zweiten Intensitätsverteilung bestimmbaren Oberflächeneigenschaft des Objekts 10 zugeordnet werden.
In 4 wird ein weiteres Beispiel eines Verfahrens zum Bestimmen eines mehrdimensionalen Oberflächenmodells des Objekts 10 unter Verwendung der optischen Messvorrichtung 1 detailliert illustriert.
Das Verfahren kann in die Verfahrensphasen P1 (Vorkalibrierungsphase), P2 (Bildaufnahmephase), P3 (erste Auswertungsphase), P4 (zweite Auswertungsphase) und P5 (dritte Auswertungsphase) unterteilt werden.
In der Vorkalibrierungsphase P1 wird zunächst ein Kalibrationstarget mit vordefinierten Markierungen bzw. Strukturen an seiner Oberfläche bereitgestellt. Mittels des ersten Bildsensors 5 wird dann mindestens ein erstes Kalibrationsbild 20 des Kalibrationstargets, mittels des zweiten Bildsensors 6 mindestens ein zweites Kalibrationsbild 21 des Kalibrationstargets aufgenommen.
In einem Kalibrationsrechenprozess (Verfahrensschritt S1) wird die Lagebeziehung 16 des ersten und zweiten Bildsensors 5, 6 auf Grundlage des mindestens einen ersten Kalibrationsbildes 20 und des mindestens einen zweiten Kalibrationsbildes 21 unter Ausnutzung der vordefinierten Markierungen bzw. Strukturen bestimmt und die so bestimmte Lagebeziehung 16 gespeichert.
Die Vorkalibrierungsphase P1 muss nur einmalig nach Zusammenbau der optischen Messvorrichtung 1 oder nach Änderungen der Lagebeziehung der Bildsensoren 5 und 6 ausgeführt werden. Sie kann auch in bestimmten Intervallen zur Verifizierung oder Korrektur der gespeicherten Lagebeziehung wiederholt werden.
In der Bildaufnahmephase P2 wird die Kameraeinheit 2 so bewegt, dass sie nacheinander die Mehrzahl von Kamerapositionen in Bezug auf das Objekt 10 einnimmt, wobei in jeder der Mehrzahl von Kamerapositionen jeweils ein erstes Bild12 des Objekts 10 mittels des ersten Bildsensors 5 aufgenommen wird und ein zweites Bild 18 des Objekts 10 mittels des zweiten Bildsensors 6 aufgenommen wird.
Auf Grundlage der ersten Bilder 12 wird in der ersten Auswertungsphase P3 eine Oberflächentopographie 13 der Oberfläche 11 des Objekts 10 in Form einer 3D-Punktwolke rekonstruiert. Diese Rekonstruktion erfolgt ebenfalls mittels eines photogrammetrischen Verfahrens (Verfahrensschritt S2).
Zu der Mehrzahl von Kamerapositionen werden - ebenfalls als Teil des photogrammetrischen Verfahrens - entsprechende erste Lagen 14 als Orientierungen des ersten Bildsensors 5 bezüglich des Objekts 10 auf Grundlage der ersten Bilder 12 bestimmt (Verfahrensschritt S2A).
In der zweiten Auswertungsphase P4 werden dann zu der Mehrzahl von Kamerapositionen entsprechende zweite Lagen 15 als Orientierungen des zweiten Bildsensors 6 bezüglich des Objekts 10 auf Grundlage der jeweiligen ersten Lagen 14 und der gespeicherten Lagebeziehung 16 des ersten Bildsensors 5 und des zweiten Bildsensors 6 bestimmt (Verfahrensschritt S3).
Weiterhin kann im Schritt S3 eine Skalierung der rekonstruierten Oberflächentopographie auf Grundlage der gespeicherten Lagebeziehung 16 des ersten und zweiten Bildsensors 5, 6 und/oder auf Grundlage eines bekannten Abstands auf der Oberfläche des Objekts bestimmt werden, womit die Oberflächentopographie 13 und das im nächsten Schritt zu bestimmende Oberflächenmodell 17 mit einem Maß für Abstände zwischen Punkten der Oberflächentopographie 13 bzw. entsprechenden Punkten der Objektoberfläche 11 versehen werden. Die Kameraeinheit kann einen Referenz-Bildsensor umfassen. Die Skalierung kann alternativ auf Grundlage einer gespeicherten Lagebeziehung des ersten und/oder zweiten Bildsensors 5, 6 und eines optionalen Referenz-Bildsensors bestimmt werden.
Schließlich wird in der dritten Auswertungsphase P5 das mehrdimensionale Oberflächenmodell 17 des Objekts 10 erzeugt, indem auf Grundlage der (niedrigauflösenden) zweiten Bilder 18 jedem von einer Vielzahl von Punkten der 3D-Punktwolke der rekonstruierten Oberflächentopographie 13 ein auf Grundlage der zweiten Intensitätsverteilung bestimmbaren Lichtparameters des einfallenden Lichts und/oder einer auf Grundlage der zweiten Intensitätsverteilung bestimmbaren Oberflächeneigenschaft des Objekts 10 zugeordnet wird.
Bezugszeichenliste

1: optische Messvorrichtung,
2: Kameraeinheit,
3: erste Kamera,
4: zweite Kamera,
5: erster Bildsensor,
6: zweiter Bildsensor,
7: Koppeleinheit,
8: Verarbeitungseinheit,
9: Daten- und Steuerverbindung,
10: Objekt,
11: Objektoberfläche,
12: erste Bilder,
13: Oberflächentopographie,
14: erste Lagen,
15: zweite Lagen,
16: gespeicherte Lagebeziehung,
17: mehrdimensionales Oberflächenmodell,
18: zweite Bilder,
19: erste Kalibrationsbilder,
20: zweite Kalibrationsbilder,
P1-P5: Verfahrensabschnitte,
S1-S4: Verfahrensschritte.

Claims

Optische Messvorrichtung (1), umfassend eine Kameraeinheit (2) mit einem ersten Bildsensor (5), eingerichtet zum Erfassen einer ersten Intensitätsverteilung von einfallendem Licht, und einem mit dem ersten Lichtsensor (5) starr gekoppelten oder starr koppelbaren zweiten Bildsensor (6), eingerichtet zum Erfassen einer zweiten Intensitätsverteilung des einfallenden Lichts, und eine Verarbeitungseinheit (8), wobei die Verarbeitungseinheit (8) dazu eingerichtet ist, eine Lagebeziehung des ersten und zweiten Bildsensors (5, 6) zu speichern, zu jeder einer Mehrzahl von nacheinander eingenommenen Kamerapositionen der Kameraeinheit (2) in Bezug auf ein Objekt (10) ein mittels des ersten Bildsensors aufgenommenes erstes Bild des Objekts (10) und ein mittels des zweiten Bildsensors aufgenommenes zweites Bild des Objekts (10) zu speichern, auf Grundlage der ersten Bilder eine Oberflächentopographie einer Oberfläche (11) des Objekts (10) zu rekonstruieren, zu jeder der Mehrzahl von Kamerapositionen eine Lage des ersten Bildsensors (5) bezüglich des Objekts (10) auf Grundlage der ersten Bilder sowie eine Lage des zweiten Bildsensors (6) bezüglich des Objekts (10) auf Grundlage der jeweiligen Lage des ersten Bildsensors (5) bezüglich des Objekts (10) und der gespeicherten Lagebeziehung des ersten und zweiten Bildsensors (5, 6) zu bestimmen und auf Grundlage der zweiten Bilder jedem von einer Vielzahl von Punkten der rekonstruierten Oberflächentopographie einen Wert eines auf Grundlage der zweiten Intensitätsverteilung bestimmbaren Lichtparameters des einfallenden Lichts und/oder einer auf Grundlage der zweiten Intensitätsverteilung bestimmbaren Oberflächeneigenschaft des Objekts (10) zuzuordnen, um ein mehrdimensionales Oberflächenmodell des Objekts (10) zu erzeugen.
Optische Messvorrichtung (1) nach Anspruch 1, wobei der erste Bildsensor (5) eine größere Anzahl von Sensorelementen aufweist als der zweite Bildsensor (6), insbesondere mindestens doppelt so viele, vorzugsweise mindestens fünfmal so viele Sensorelemente wie der zweite Bildsensor (6), so dass die Kameraeinheit (2) zum Aufnehmen der ersten Bilder mit höherer räumlicher Auflösung gegenüber den zweiten Bildern eingerichtet ist.
Optische Messvorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei der erste Bildsensor (5) ein VIS-Bildsensor, insbesondere ein monochromatischer VIS-Bildsensor oder ein RGB-Bildsensor, ist.
Optische Messvorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei der zweite Bildsensor (6) ein Multispektral-Bildsensor oder ein Hyperspektral-Bildsensor oder ein UV-Bildsensor oder ein IR-Bildsensor ist und/oder wobei der zweite Bildsensor (6) zum Erfassen von Licht einer oder mehrerer vorgegebener Polarisationsrichtungen eingerichtet ist.
Optische Messvorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die Verarbeitungseinheit (8) dazu eingerichtet ist, eine Skalierung der rekonstruierten Oberflächentopographie auf Grundlage der gespeicherten Lagebeziehung des ersten und zweiten Bildsensors (5, 6) und/oder auf Grundlage eines bekannten Abstands auf der Oberfläche (11) des Objekts (10) zu bestimmen.
Optische Messvorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die Kameraeinheit (2) einen dritten Bildsensor umfasst, der eine geringere Anzahl von Sensorelementen aufweist als der erste Bildsensor (5), wobei der dritte Lichtsensor zum Erfassen einer dritten Intensitätsverteilung des einfallenden Lichts eingerichtet ist.
Optische Messvorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die Kameraeinheit (2) einen Referenz-Bildsensor umfasst, der eine größere Anzahl von Sensorelementen aufweist als der zweite Bildsensor (6), wobei die Verarbeitungseinheit (8) dazu eingerichtet ist, eine Skalierung des Objekts (10) auf Grundlage einer gespeicherten Lagebeziehung des ersten Bildsensors und des Referenz-Bildsensors zu bestimmen.
Optische Messvorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die Verarbeitungseinheit (8) dazu eingerichtet ist, die Oberflächentopographie unter Verwendung eines Structure-from-Motion-Algorithmus und/oder eines Multi-View-Stereo-Matching-Algorithmus zu rekonstruieren und/oder dazu, jedem der Vielzahl von Punkten der rekonstruierten Oberflächentopographie den jeweiligen Wert des Lichtparameters bzw. der Oberflächeneigenschaft unter Verwendung eines Blending-Verfahrens zuzuordnen.
Verfahren zum Bestimmen eines mehrdimensionalen Oberflächenmodells eines Objekts (10) unter Verwendung einer optischen Messvorrichtung (1) nach einem der vorhergehenden Ansprüche, umfassend die folgenden Schritte: Bewegen der Kameraeinheit (2), so dass sie nacheinander eine Mehrzahl von Kamerapositionen in Bezug auf das Objekt (10) einnimmt, wobei in jeder der Mehrzahl von Kamerapositionen jeweils ein erstes Bild des Objekts (10) mittels des ersten Bildsensors (5) aufgenommen wird und ein zweites Bild des Objekts (10) mittels des zweiten Bildsensors (6) aufgenommen wird, Speichern der aufgenommenen ersten und zweiten Bilder, Rekonstruieren einer Oberflächentopographie einer Oberfläche (11) des Objekts (10) auf Grundlage der ersten Bilder, Bestimmen, zu jeder der Mehrzahl von Kamerapositionen, einer Lage des ersten Bildsensors (5) bezüglich des Objekts (10) auf Grundlage der ersten Bilder sowie einer Lage des zweiten Bildsensors (6) bezüglich des Objekts (10) auf Grundlage der jeweiligen Lage des ersten Bildsensors (5) bezüglich des Objekts (10) und einer gespeicherten Lagebeziehung des ersten und zweiten Bildsensors (5, 6), Erzeugen eines mehrdimensionalen Oberflächenmodells des Objekts (10), indem auf Grundlage der zweiten Bilder jedem von einer Vielzahl von Punkten der rekonstruierten Oberflächentopographie ein Wert eines auf Grundlage der zweiten Intensitätsverteilung bestimmbaren Lichtparameters des einfallenden Lichts und/oder einer auf Grundlage der zweiten Intensitätsverteilung bestimmbaren Oberflächeneigenschaft des Objekts (10) zugeordnet wird.
Verfahren nach Anspruch 9, ferner umfassend die Schritte: Aufnehmen mindestens eines ersten Kalibrationsbildes eines Kalibrationstargets mittels des ersten Bildsensors (5) und mindestens eines zweiten Kalibrationsbildes des Kalibrationstargets mittels des zweiten Bildsensors (6), Bestimmen der Lagebeziehung des ersten und zweiten Bildsensors (5, 6) auf Grundlage des mindestens einen ersten Kalibrationsbildes und des mindestens einen zweiten Kalibrationsbildes, Speichern der so bestimmten Lagebeziehung des ersten und zweiten Bildsensors (5, 6).