DE102019114572B3

DE102019114572B3 - Verfahren und system zur dreidimensionalen erfassung einer szene

Info

Publication number: DE102019114572B3
Application number: DE102019114572.4A
Authority: DE
Inventors: Philipp Bauer; Alejandro Magaña
Original assignee: Technische Universitaet Muenchen
Current assignee: Technische Universitaet Muenchen
Priority date: 2019-05-29
Filing date: 2019-05-29
Publication date: 2020-10-01
Anticipated expiration: 2039-05-30

Abstract

Gezeigt wird ein Verfahren zum Vereinigen von Bilddaten, die aus sich überlappenden Aufnahmen einer Szene abgeleitet sind und ein korrespondierendes System. Das Verfahren umfasst ein Bestimmen homogener Oberflächenbereiche in der abzubildenden Szene, ein Projizieren von Merkmalen auf die homogenen Oberflächenbereiche, wobei die homogenen Oberflächenbereiche in einem Überlappungsbereich der Aufnahmen umfasst sind, ein Ableiten der Bilddaten aus den Aufnahmen und ein Vereinigen der Bilddaten auf Basis von Abbildungen der auf die homogenen Oberflächenbereiche projizierten Merkmale in den Bilddaten zur Erzeugung einer dreidimensionalen Darstellung der Szene.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine dreidimensionale Erfassung einer Szene. Insbesondere bezieht sich die vorliegende Erfindung auf eine dreidimensionale Erfassung einer Szene auf Basis sich überlappender Aufnahmen der Szene.
Stand der Technik
Zur dreidimensionalen Erfassung einer Szene können optische Sensoren verwendet werden. Wenn ein zu erfassendes Objekt oder ein zu erfassender Objektabschnitt mit Aufnahmen aus nur einer Aufnahmerichtung nicht vollständig aufgenommen werden kann, können Aufnahmen aus verschiedenen Aufnahmerichtungen (angefertigt und) aneinander angereiht werden. Dabei können die aus den Aufnahmen abgeleiteten Bilddaten mittels sich überlappender Aufnahmebereiche in eine korrekte Lagebeziehung zueinander gebracht werden (siehe Ulrich, M.; Forstner, A.; Reinhart, G.: High-Accuracy 3D Image Stitching for Robot-Based Inspection Systems. 27 - 30 Sept. 2015, Quebec City, Canada. 2015 IEEE International Conference on Image Processing (ICIP) (2015), p. 1011-1015. und Ulrich, M.: 3D-Image-Stitching für roboterbasierte Messsysteme. Dissertation Technische Universität München, München, 2018.).
Aus der US 2014/0028805 A1 ist ein Verfahren zum Vereinigen von Bilddaten im Zusammenhang mit der Erzeugung einer dreidimensionalen Darstellung einer Szene bekannt, wobei Merkmale auf Oberflächenbereiche der abzubildenden Szene in einem Überlappungsbereich sich überlappender Aufnahmen der Szene projiziert werden. Aus der US 2012/0256916 A1 ist es bekannt, Oberflächenbereiche einer abzubildenden Szene ihrer Form gemäß zu charakterisieren.
Darstellung der Erfindung
Ein erfindungsgemäßes Verfahren zum Vereinigen von Bilddaten, die aus sich überlappenden Aufnahmen einer Szene abgeleitet sind, umfasst ein Bestimmen homogener Oberflächenbereiche in der abzubildenden Szene, ein Projizieren von Merkmalen auf die homogenen Oberflächenbereiche, wobei die homogenen Oberflächenbereiche in einem Überlappungsbereich der Aufnahmen umfasst sind, ein Ableiten der Bilddaten aus den Aufnahmen und ein Vereinigen der Bilddaten auf Basis von Abbildungen der auf die homogenen Oberflächenbereiche projizierten Merkmale in den Bilddaten zur Erzeugung einer dreidimensionalen Darstellung der Szene.
Dabei ist unter dem Begriff „Vereinigen“, wie er im Rahmen der vorliegenden Beschreibung und der Ansprüche verwendet wird, insbesondere ein Zusammenführen von Bilddaten unter Kompensation (oder Minimierung) der aus den unterschiedlichen Aufnahmerichtungen resultierenden Abweichungen der Koordinaten identischer Oberflächenpunkte in den aufnahmeeinrichtungsfesten Koordinatensystemen zu verstehen. Vereinigte Bilddaten können bspw. Punkte umfassen, welche aus unterschiedlichen Aufnahmerichtungen erfasst wurden, wobei die Punkte als in ein gemeinsames Koordinatensystem transformierte Koordinaten vorliegen. Die Punkte können ferner als Koordinaten vorliegen, die unterschiedlichen Koordinatensystemen zugeordnet sind, wobei die überlappenden Bereiche durch Anwendung einer, besagten Koordinatensystemen zugeordneten Transformation aufeinander abgebildet werden können. Der Begriff „Vereinigen“ ist somit breit auszulegen und bedeutet im weitesten Sinne das Herstellen eines Kontextes zwischen den aus den überlappenden Aufnahmen abgeleiteten Bilddaten.
Ferner sind unter dem Begriff „Bilddaten“, wie er im Rahmen der vorliegenden Beschreibung und der Ansprüche verwendet wird, insbesondere digital gespeicherte Informationen zu verstehen, welche die Szene oder zumindest Teile davon wiedergeben. Bspw. können „Bilddaten“ Koordinaten sein, die Punkte auf einer Oberfläche eines Objekts in der Szene repräsentieren. Der Begriff „Bilddaten“ ist jedoch nicht auf Punktwolken beschränkt, sondern kann auch Informationen hinsichtlich Kurven, Flächen und/oder Körper umfassen, mittels derer die Oberfläche beschrieben werden kann. Der Begriff „Bilddaten“ umfasst somit im Prinzip alle Daten, die mittels eines Bildverarbeitungsalgorithmus aus den Aufnahmen abgeleitet werden können, wobei im vorliegenden Fall insbesondere Daten gemeint sind, die einen Bezug zur dreidimensionalen Darstellung der aufgenommenen Szene haben.
Des Weiteren sind unter dem Begriff „überlappende Aufnahmen“, wie er im Rahmen der vorliegenden Beschreibung und der Ansprüche verwendet wird, insbesondere Aufnahmen zu verstehen, die jeweils neben einem gemeinsamen Bereich auch disjunkte Bereiche abbilden. Bspw. eine erste Aufnahme, welche die Bereiche A und B abbildet, und eine zweite Aufnahme, welche die Bereiche B und C abbildet, wobei A und C disjunkt sind. Die sich überlappenden Aufnahmen werden dabei aus unterschiedlichen Aufnahmerichtungen angefertigt, d. h. eine Aufnahmevorrichtung wird zwischen den Aufnahmen relativ zur Szene verdreht und/oder verfahren. Bspw. kann die Aufnahmevorrichtung an einem Roboterarm befestigt sein, der schrittweise unterschiedliche Posen anfährt. Ferner kann auch ein in der Szene umfasstes (abzubildendes) Objekt zwischen den Aufnahmen gedreht und/oder verfahren werden. Bspw. kann das Objekt auf einer beweglichen Auflage platziert sein, mittels derer zwischen den Aufnahmen (automatisch) eine Drehung und/oder eine Verschiebung vorgenommen werden kann.
Zudem ist unter dem Begriff „Szene“, wie er im Rahmen der vorliegenden Beschreibung und der Ansprüche verwendet wird, insbesondere eine, einem festen Plan folgende Anordnung eines oder mehrerer Objekte relativ zu einer Aufnahmevorrichtung zu verstehen. Bspw. kann das Objekt ein Bauteil sein, das zum Zwecke der Inspektion fest an einer Halterung befestigt wird, wobei die Halterung so eingerichtet sein kann, dass das Bauteil nur in einer Pose an der Halterung befestigt werden kann. Ferner sind unter dem Begriff „homogene Oberflächenbereiche“, wie er im Rahmen der vorliegenden Beschreibung und der Ansprüche verwendet wird, insbesondere Oberflächenbereiche zu verstehen, die sich (neben einer Mindestgröße, die sich bspw. aus dem zu projizierenden Merkmal ableitet) dadurch auszeichnen, dass sich alle Kanten eines auf den Oberflächenbereich projizierten Merkmals, aus jeder einer Vielzahl an Richtungen, in ihrer Helligkeit/Farbe nicht oder allenfalls gering unterscheiden. „Inhomogene Oberflächenbereiche“ wären demnach bspw.
Oberflächenbereiche, an denen Reflexionen auftreten, welche die Wiedergabe eines Merkmals in Bilddaten, die aus einer Aufnahme des Oberflächenbereichs abgeleitet sind, beeinträchtigen. Solche Reflexionen könnten bspw. durch konkave/konvexe Krümmungen, Kanten, Ecken, Bohrungen oder ähnliches ausgelöst werden.
Des Weiteren ist unter der Formulierung „Projizieren von Merkmalen“, wie sie im Rahmen der vorliegenden Beschreibung und der Ansprüche verwendet wird, insbesondere das Erzeugen von Bereichen mit abrupten Intensitäts- und/oder Farbübergängen auf einer Oberfläche zu verstehen (bspw. Hell-Dunkel-Übergänge). Ein Merkmal kann bspw. aus einem oder mehreren grafischen Primitiven (Geraden, Dreiecken, Rechtecken, Kreisen, etc.) gebildet sein, die auf die Oberflächenbereiche projiziert werden. Die Kanten der Projektionsprimitive können in den Bilddaten durch künstliche Punkte/Linien dargestellt und (beim Vereinigen der Bilddaten) bspw. für die Ausrichtung der Punktwolken, Kurven, Flächen und/oder Körper zueinander verwendet werden. Zudem können die Bilddaten durch künstliche (neue) Punkte in Normalenrichtung erweitert werden, wodurch den Bilddaten geometrische Merkmale (virtuelle Referenzen) hinzugefügt werden, die ebenfalls (beim Vereinigen der Bilddaten) für die Ausrichtung der Punktwolken, Kurven, Flächen und/oder Körper zueinander verwendet werden können.
Ferner kann ein Merkmal aus einer symmetrischen Anordnung (sich wiederholender) geometrischer Primitive (d. h. durch ein Muster) gebildet sein. Zudem kann ein Merkmal auch Daten darstellen, die mit einem (optischen) Code (bspw. einem Bar-Code, d. h. einer Folge aus dunklen und hellen Balken, oder einem QR-Code, d. h. einer Matrix aus dunklen und hellen Quadraten) kodiert wurden, so dass Informationen gespeichert und/oder zur Verfügung gestellt werden können (die es bspw. erlauben, einzelne Merkmale direkt zu identifizieren). Ferner ist unter dem Begriff „Überlappungsbereich“, wie er im Rahmen der vorliegenden Beschreibung und der Ansprüche verwendet wird, insbesondere ein Oberflächenbereich zu verstehen, der in beiden Aufnahmen umfasst ist (bspw. Bereich B im obigen Beispiel).
Durch das Projizieren von Merkmalen auf die homogenen Oberflächenbereiche im Überlappungsbereich der Aufnahmen kann die Registrierung der Bilddaten verbessert werden, da die homogenen Oberflächenbereiche eine präzisere Wiedergabe der Merkmale in den Bilddaten ermöglichen. Dieser Effekt wird auch dadurch verstärkt, dass der Lichteintrag durch selektives Projizieren reduziert wird (insbesondere im Vergleich zum vollflächigen Projizieren), wodurch weniger Sekundärstörquellen hervorgerufen werden (bspw. Lichtstrahlen, die am Objekt oder Kulissenelementen gestreut werden und zu überbelichteten Bereichen in den Intensitätsaufnahmen führen können).
Vorzugsweise umfasst das Verfahren ferner ein Bewerten eines Oberflächenabschnitts der Szene unter Verwendung einer Homogenitätsmetrik und ein Bestimmen der homogenen Oberflächenbereiche durch Auswählen voneinander beabstandeter Oberflächenbereiche im Überlappungsbereich auf Basis der Bewertung.
Dabei ist unter dem Begriff „Homogenitätsmetrik“, wie er im Rahmen der vorliegenden Beschreibung und der Ansprüche verwendet wird, insbesondere eine Zuordnungsvorschrift (bspw. eine Rechenvorschrift/Funktion) zu verstehen, die einem Oberflächenbereich in Abhängigkeit der ihn charakterisierenden Merkmale einen Homogenitätswert zuordnet und dadurch einen Vergleich bzw. eine Einteilung der Oberflächenbereiche hinsichtlich ihrer Homogenität ermöglicht. Dies erlaubt es, aus einer Vielzahl möglicher Oberflächenbereiche diejenigen auszuwählen, die eine (besonders) präzise Wiedergabe der Merkmale in den Bilddaten zulassen.
Vorzugsweise umfasst das Verfahren ferner ein Bestimmen des Überlappungsbereichs auf Basis der Bewertung.
D. h. der Überlappungsbereich kann so bestimmt werden, dass er Oberflächenbereiche einschließt, die hinsichtlich Homogenität aber auch hinsichtlich Fläche und Anzahl geeignet sind.
Vorzugsweise bewirkt die Verwendung der Homogenitätsmetrik, dass ein ebener Oberflächenbereich mit höherer Wahrscheinlichkeit ausgewählt wird, als ein gekrümmter Oberflächenbereich.
D. h. die Krümmung eines Oberflächenbereichs kann derart in einen dem Oberflächenbereich zugeordneten Homogenitätswert eingehen, dass dieser sich bei einer Krümmungszunahme graduell oder sprunghaft verschlechtert, wenn bspw. anstatt einem ebenen Oberflächenbereich ein gekrümmter (aber ansonsten gleicher) Oberflächenbereich angenommen wird.
Vorzugsweise bewirkt die Verwendung der Homogenitätsmetrik, dass ein Oberflächenbereich, der einen Übergang zwischen Materialien aufweist, die sich in ihren optischen Eigenschaften unterscheiden, mit geringerer Wahrscheinlichkeit ausgewählt wird, als ein Oberflächenbereich, der keinen Übergang zwischen Materialien aufweist, die sich in ihren optischen Eigenschaften unterscheiden.
Bspw. kann ein Übergang zwischen einem glänzenden (d. h. Licht stark reflektierenden) Material und einem nicht glänzenden Material dazu führen, dass die Wiedergabe eines auf den Übergang projizierten Merkmals beeinträchtigt wird.
Vorzugsweise werden die Aufnahmen aus unterschiedlichen Aufnahmerichtungen angefertigt und die Verwendung der Homogenitätsmetrik bewirkt, dass aus den unterschiedlichen Aufnahmerichtungen resultierende Abweichungen bei der Abbildung von auf den Oberflächenabschnitt projizierten Merkmalen für ausgewählte Oberflächenbereiche im Durchschnitt geringer sind, als für nicht ausgewählte Oberflächenbereiche.
D. h., dass die Homogenitätsmetrik solche Oberflächenbereiche als homogen auszeichnet, die mit hoher Wahrscheinlichkeit die Wiedergabe der Merkmale nicht beeinträchtigen.
Vorzugsweise umfasst das Verfahren ferner ein Bestimmen der Aufnahmerichtungen auf Basis einer Soll-Geometrie eines Objekts oder eines Objektabschnitts, das bzw. der in der Szene umfasst ist, unter Bevorzugung von Aufnahmerichtungen, durch die, unter Verwendung derselben Homogenitätsmetrik, eine Anzahl und/oder eine Fläche von Oberflächenbereichen, die eine bestimmte Homogenitätsschwelle übertreffen, vergrößert wird.
D. h., es kann neben der Suche nach einem geeigneten Überlappungsbereich auch nach geeigneten Posen der Aufnahmevorrichtung gesucht werden. Dies kann bspw. dann vorteilhaft sein, wenn nur zu einigen wenigen Posen eine ausreichende homogene Oberflächenbereiche identifiziert werden können.
Vorzugsweise umfasst das Verfahren ferner ein Ändern einer Homogenitätsschwelle, auf Basis derer auswählbare Oberflächenbereiche bestimmt werden und ein Verschieben und/oder Verkleinern/Vergrößern des Überlappungsbereichs.
Bspw. können, wenn nicht ausreichend homogene Oberflächenbereiche identifiziert werden, die Anforderungen an die Homogenität schrittweise gelockert werden, um die Anzahl und/oder die Größe der Oberflächenbereiche, die (unter Berücksichtigung der Anforderungen) zur Projektion von Merkmalen zur Verfügung stehen, zu erhöhen. Ebenso kann durch schrittweises Lockern der Anforderungen eine Verschiebung des Überlappungsbereichs ermöglicht werden, da die Anzahl und/oder die Größe der Oberflächenbereiche, auf die Merkmale projiziert werden können, erhöht wird. Somit kann eine Konfiguration (Aufnahmerichtungen, Überlappungsbereiche) schrittweise ermittelt werden, wobei durch Lockern der Anforderungen an die Homogenität eine größere Freiheit hinsichtlich der Platzierung/Größe des Überlappungsbereichs und der Anzahl/Größe der Oberflächenbereiche, auf die Merkmale projiziert werden können, erreicht wird.
Wenn die homogenen Oberflächenbereiche Inseln in einem Meer aus inhomogenen Oberflächenbereichen sind, entspricht das Lockern der Anforderungen an die Homogenität einem Schrumpfen der Wasserfläche und das Erhöhen der Anforderungen an die Homogenität einem Schrumpfen der Inselfläche.
Vorzugsweise umfassen die Bilddaten Punkte dreidimensionaler Punktwolken, denen Helligkeits- und/oder Farbwerte zugeordnet sind. Bspw. kann die Aufnahmevorrichtung als 3D-Kamera ausgebildet sein und die Helligkeits- und/oder Farbwerte zur Kantendetektion (Merkmalserkennung) verwendet werden.
Vorzugsweise sind die Punktwolken den Aufnahmen zugeordnet und das Vereinigen umfasst ein Verschieben der den Aufnahmen zugeordneten Punktwolken zueinander, wobei durch das Verschieben ein gemäß einer Abstandsmetrik ermittelter Abstandswert zwischen Punkten der Punktwolken reduziert wird.
Bspw. kann das Vereinigen auf dem „Iterative Closest Point“ Algorithmus oder einer Abwandlung/Weiterentwicklung desselben beruhen.
Ein erfindungsgemäßes System umfasst eine Aufnahmevorrichtung, eingerichtet zur Aufnahme einer Oberfläche aus unterschiedlichen Aufnahmerichtungen, eine Beleuchtungsvorrichtung, eingerichtet zur Projektion einer Vielzahl von Merkmalen auf voneinander beabstandete Bereiche der Oberfläche, und eine Rechenvorrichtung, eingerichtet zur Erzeugung dreidimensionaler Punktwolken aus Aufnahmen der Oberfläche, zur Zuordnung von Punkten der Punktwolken zu den Merkmalen und zur Verschiebung der Punktwolken relativ zueinander auf Basis der einander zugeordneten Merkmale.
Das System ist eingerichtet, eine Wiedergabe der Merkmale in den Punktwolken für eine gegebene Objektgeometrie und unterschiedliche voneinander beabstandete Oberflächenbereiche mittels einer Messung oder einer Simulation zu ermitteln und eine Projektion der unterschiedlichen Merkmale auf solche Oberflächenbereiche zu bewirken, die einem Wiedergabekriterium genügen, oder unterschiedliche voneinander beabstandete Oberflächenbereiche auf ihre Homogenität zu analysieren und eine Projektion der unterschiedlichen Merkmale auf solche Oberflächenbereiche zu bewirken, die in der Analyse als homogen identifiziert werden.
Vorzugsweise ist das System eingerichtet, aus einer Soll-Geometrie der Oberfläche und einem Projektionsmodell einen Betriebszustand der Beleuchtungsvorrichtung während der Projektion abzuleiten. Bspw. kann die Beleuchtungsvorrichtung in Matrix-Form angeordnete Elemente aufweisen, die je nach Betriebszustand Licht abstrahlen oder nicht. Dann kann mittels der Soll-Geometrie der Oberfläche und des Projektionsmodells bestimmt werden, welche Matrix-Elemente Licht aussenden müssen, um die gewünschte Projektion auf der Oberfläche zu erzeugen.
Figurenliste
Die Erfindung wird nachfolgend in der detaillierten Beschreibung anhand von Ausführungsbeispielen erläutert, wobei auf Zeichnungen Bezug genommen wird, in denen:

1a bis 1f das Bewerten eines Oberflächenabschnitts hinsichtlich Homogenität illustrieren;
2 ein Beispiel für eine Homogenitätsmetrik zeigt;
3 ein Vorgehen zum Auswählen homogener Oberflächenbereiche zeigt;
4 das Anfertigen überlappender Aufnahmen illustriert;
5 Merkmale zeigt, die auf homogene Oberflächenbereiche im Überlappungsbereich projiziert werden können;
6 das Projizieren von Merkmalen auf homogene Oberflächenbereiche anhand eines Bauteils illustriert; und
7 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zeigt.

Dabei sind in den Zeichnungen gleiche oder funktional ähnliche Elemente durch gleiche Bezugszeichen gekennzeichnet.
Wege zur Ausführung der Erfindung
1a zeigt eine Szene 10 mit einem abzubildenden Oberflächenabschnitt 12. Der abzubildende Oberflächenabschnitt 12 umfasst einen ebenen Oberflächenbereich 14, der (im Wesentlichen) konstante optische Eigenschaften aufweist und von einem nicht ebenen Oberflächenbereich 16 umschlossen wird. Da eine Abbildung von Merkmalen, die auf (vergleichsweise) nicht homogene (merkmalsreiche) Oberflächenbereiche projiziert werden, durch sich lokal ändernde Belichtungsverhältnisse beeinträchtigt werden kann, besteht das Risiko, dass auf den nicht ebenen Oberflächenbereich 16 projizierte Merkmale nur mit einer geringeren Abbildungsgenauigkeit wiedergegeben werden können, als auf den ebenen Oberflächenbereich 14 projizierte Merkmale. Die geringere Abbildungsgenauigkeit resultiert (unter anderem) daraus, dass sich lokal ändernde Belichtungsverhältnisse typischerweise in schwankenden Intensitätswerten in den Aufnahmen niederschlagen, welche zu einer höheren Ungenauigkeit in der nachfolgenden Bildverarbeitung führen. Zudem können sich räumlich erzeugte Strukturen einer stark strukturierten Oberfläche schneiden oder Klaffungen auftreten, was je nach Ausprägung ebenfalls zu einer Abnahme der Abbildungsgenauigkeit und damit zu einer Abnahme der Verknüpfungsgenauigkeit führen kann.
Da sich lokal ändernde Belichtungsverhältnisse bei nicht-ebenen Oberflächenbereichen 16 typischerweise stärker auftreten, als bei ebenen Oberflächenbereichen 14, kann es daher (wenn in Anzahl und/oder Größe ausreichend ebene Oberflächenbereiche 14 zur Verfügung stehen) vorteilhaft sein, die Merkmale (nur) auf ebene Oberflächenbereiche 18 zu projizieren. D. h. aus einem ebenen Oberflächenbereich 14 können, wie in 1a angedeutet, mehrere voneinander beabstandete homogene Teilbereiche 18 ausgewählt werden, auf die die Merkmale projiziert werden. Durch das selektive Projizieren auf ausgewählte homogene Oberflächenbereiche 18 wird (im Vergleich zum vollflächigen Projizieren) zudem der Lichteintrag reduziert, wodurch weniger Sekundärstörquellen (Streulichter) hervorgerufen werden, die zu überbelichteten Bereichen in den Intensitätsaufnahmen beitragen können.
Wie in 1b gezeigt, muss ein ebener Oberflächenbereich 14 nicht mehrere voneinander beabstandete homogene Teilbereiche 18 umfassen, auf die Merkmale projiziert werden. Vielmehr kann ein ebener Oberflächenbereich 14 auch nur einen einzigen (zusammenhängenden) Teilbereich 18 umfassen, auf den eines oder mehrere Merkmale projiziert werden. Abhängig von der Größe, Form und der unmittelbaren Umgebung eines ebenen Oberflächenbereichs 14 kann dieser auch in Gänze zum Aufprojizieren eines oder mehrere Merkmale verwendet werden. Wie in 1c angedeutet, kann ein ebener Oberflächenbereich 14 jedoch auch nicht homogen sein. Bspw. dann, wenn der ebene Oberflächenbereich 14 homogene Teilbereiche 18 mit unterschiedlichen optischen Eigenschaften aufweist. In diesem Fall, oder wenn hinsichtlich Anzahl und/oder Größe nicht ausreichend ebene Oberflächenbereiche 14 zur Verfügung stehen, wie in 1d, kann es zweckmäßig sein, den Oberflächenabschnitt 12 unter Verwendung einer Homogenitätsmetrik zu bewerten.
Die Homogenitätsmetrik kann bspw. Punkten des Oberflächenabschnitts 12 einen Homogenitätswert H zuweisen. D. h., die Homogenität des Oberflächenabschnitts 12 kann mittels einer auf die Soll-Geometrie angewandten Homogenitätsmetrik bewertet werden. Bspw. kann über den Oberflächenabschnitt 12 ein Punkt-Raster gelegt werden und für jeden Raster-Punkt ein Homogenitätswert H ermittelt werden. Der Homogenitätswert H kann von einer Vielzahl an Parametern abhängig sein, die einen Einfluss auf die Belichtungsverhältnisse haben, bspw. die Oberflächenkrümmung und die Reflexivität der Oberfläche. Der Homogenitätswert H kann für stärker gekrümmte Flächen kleiner sein, als für weniger stark gekrümmte Flächen. Ferner kann der Homogenitätswert H für Punkte an Übergängen zwischen Teilbereichen mit unterschiedlicher Reflexivität kleiner sein, als in Bereichen mit homogener Reflexivität. Basierend darauf, ob einem Oberflächenbereich ein Homogenitätswert H zugeordnet ist, der oberhalb der Homogenitätsschwelle S liegt oder nicht, kann der Oberflächenbereich dann als homogen oder nicht homogen angesehen werden.
Zudem kann der Homogenitätswert H um weitere Aspekte ergänzt werden, die zwar nicht unmittelbar die Homogenität des Oberflächenabschnitts 12, dafür aber die Homogenität der Wiedergabe in Aufnahmen des Oberflächenabschnitts 12 betreffen, und somit in den Homogenitätswert H einfließen können. Wie in 1e und 1f illustriert, kann der Homogenitätswert H eines Oberflächenbereichs bspw. von der Gefahr einer Verdeckung des Oberflächenbereichs abhängen. D. h. der Homogenitätswert H für Punkte, die aus in Frage kommenden Aufnahmerichtungen 22, 24 nicht einsehbar sind, im Vergleich zu Punkten, die aus besagten Aufnahmerichtungen 22, 24 einsehbar sind, reduziert werden. Da die Gefahr der Verdeckung davon abhängt, in welchem Bereich 26 die Aufnahmevorrichtung 28 während der Aufnahmen bewegt wird, kann eine Veränderung des Bereichs 26 eine Neubewertung der Homogenität nach sich ziehen. Auf Basis der nach der Bewertung als homogen identifizierten Oberflächenbereiche (d. h. der Oberflächenbereiche 20, denen Homogenitätswerte H oberhalb der Homogenitätsschwelle S zugeordnet sind) können die homogenen Oberflächenbereiche 18 bestimmt werden, auf die die Merkmale projiziert werden.
2 zeigt dazu eine beispielhafte Ausgestaltung der Homogenitätsmetrik. Gemäß der gezeigten Homogenitätsmetrik wird der Homogenitätswert H aus dem Inversen der Summe dreier Eingangswerte gebildet, die jeweils mit einem Gewichtungsfaktor multipliziert werden, nämlich einem ersten Eingangswert, der die Änderung des Oberflächenverlaufs beschreibt (bspw. die Krümmung), einem zweiten Eingangswert, der die Änderung der optischen Eigenschaften des Oberflächenmaterials beschreibt (bspw. die Ableitung der Reflektivität über den Ort) und einem dritten (optionalen) Eingangswert, der die Verdeckung beschreibt. Dabei versteht es sich, dass die gezeigte Homogenitätsmetrik lediglich eine einer Vielzahl möglicher Ausgestaltungen ist und der Homogenitätswert H sowohl aus anderen/weiteren Eingangswerten als auch unter Verwendung anderer Operatoren berechnet werden kann.
Ferner kann die Homogenität des Oberflächenabschnitts 12 auch mittels Messung oder Simulation des Vereinigungsprozesses bewertet werden. Die Homogenität des Oberflächenabschnitts 12 kann bspw. dadurch bewertet werden, dass Merkmale auf unterschiedliche Oberflächenbereiche projiziert werden und die Wiedergabe der Merkmale in einer oder mehreren Aufnahmen miteinander und/oder mit einer Referenz verglichen wird. Die Homogenität des Oberflächenabschnitts 12 kann ferner durch eine Simulation bewertet werden, in der die Projektion der Merkmale auf unterschiedliche Oberflächenbereiche simuliert und die Wiedergabe der Merkmale in einer oder mehreren simulierten Aufnahmen (ggf. unter Variation der Aufnahmerichtungen) miteinander und/oder mit einer Referenz verglichen wird. Auf Basis des Vergleichs und der Anforderungen an den oder die Überlappungsbereiche können dann passende homogene Oberflächenbereiche 18 bestimmt werden.
Die Bewertung der Homogenität der Oberfläche mittels Messung oder Simulation kann zudem auf Oberflächenbereiche begrenzt werden, deren Homogenitätswert H gemäß dem im Zusammenhang mit 1c bis 1f und 2 beschrieben Vorgehen als oberhalb einer Homogenitätsschwelle S liegend identifiziert wurde. Ferner kann die Homogenitätsmetrik auch aus der Messung oder Simulation des Vereinigungsprozesses bei einer Projektion der Merkmale auf Oberflächenbereiche definierter Krümmung (die bspw. aus der Soll-Geometrie ermittelt werden kann) ermittelt werden und dann zur Bewertung beliebiger Oberflächenabschnitte 12 verwendet werden.
Wie in 3 gezeigt, kann ausgehend von den als homogen identifizierten Oberflächenbereichen 20 ein Überlappungsbereich der Aufnahmen bestimmt werden. Wenn nach der Bewertung nicht genug bzw. ausreichend große auswählbare Oberflächenbereiche 20 in einem anvisierten Überlappungsbereich zur Verfügung stehen, können, wie in 1e und 1f illustriert, die Aufnahmerichtungen 22, 24 angepasst werden. Wenn das Anpassen der Aufnahmerichtungen 22, 24 nicht möglich ist, oder die auswählbaren Bereiche 20 durch das Anpassen nicht ausreichend vergrößert werden, kann zudem überprüft werden, ob ein Anpassen des Überlappungsbereichs zu genügend bzw. ausreichend großen auswählbaren Oberflächenbereichen 20 führt.
Wenn diese Maßnahmen nicht helfen oder nicht ausreichen, kann die Homogenitätsschwelle S (schrittweise) herabgesetzt werden. Wenn hingegen mehr als genug auswählbare Oberflächenbereiche 20 zur Verfügung stehen, kann die Homogenitätsschwelle (schrittweise) heraufgesetzt werden. Dadurch kann sichergestellt werden, dass sowohl für stark strukturierte Oberflächenabschnitte 12 eine Lösung erzielt, als auch der Spielraum bei schwach strukturierten Oberflächenabschnitten 12 zur Genauigkeitsverbesserung eingesetzt werden kann. Anstatt zur Genauigkeitsverbesserung kann eine ausreichende Anzahl auswählbarer Oberflächenbereiche 20 zudem zur Verschiebung des Überlappungsbereichs genutzt werden. Dies kann bspw. dann vorteilhaft sein, wenn Aufnahmen aus einer Vielzahl an Aufnahmerichtungen 22, 24 miteinander seriell verkettet werden sollen.
Sind der Überlappungsbereich und die homogenen Oberflächenbereiche 18 (die im Überlappungsbereich liegen) bestimmt, können, wie in 4 gezeigt, sich überlappende Aufnahmen angefertigt werden. Dabei wird die Aufnahmevorrichtung 28 zwischen den Aufnahmen relativ zum abzubildenden Oberflächenabschnitt 12 so gedreht und/oder verschoben, dass in beiden Aufnahmen der Überlappungsbereich 30 abgebildet wird. Auf die im Überlappungsbereich 30 liegenden ausgewählten homogenen Oberflächenbereiche 18 werden mittels einer Beleuchtungsvorrichtung 32 Merkmale 34 projiziert. Aus den Aufnahmen kann eine Rechenvorrichtung 36 dann Punktwolken ableiten, die unter Verwendung der in den Punktwolken wiedergegebenen Merkmale 34 miteinander vereinigt werden können. Bspw. können die Punktwolken unter Anwendung des „Iterative Closest Point“ Algorithmus über die, dasselbe Merkmal 34 repräsentierenden Punkte (und ggf. weitere aus der Merkmalsform abgeleitete Punkte) registriert werden.
5 zeigt beispielhafte Projektionsprimitive zur Merkmalserzeugung. Für jedes Projektionsprimitiv kann experimentell oder simulativ die Registrierungsgenauigkeit in Abhängigkeit von dem zugrundeliegenden Oberflächenabschnitt 12 ermittelt werden (bspw. die Registrierungsgenauigkeit an einem ebenen Oberflächenbereich 14 und an Oberflächenbereichen 16 mit definierten Krümmungswerten), um eine Aussage der zu erwartenden Registriergenauigkeit in Abhängigkeit des zugrundeliegenden Oberflächenabschnitts 12 für ein einzelnes Primitiv treffen zu können. Diese Information kann dann auf den gesamten Überlappungsbereich 30 übertragen werden, um eine möglichst geeignete Projektionskonfiguration aus mehreren Einzelprimitiven zu ermitteln, welche in 6 anhand eines Bauteils beispielhaft dargestellt ist. Dabei können die Merkmale 34 schrittweise homogenen Oberflächenbereichen 18 zugeordnet werden, bis eine passende Konfiguration erreicht ist.
Für das Projizieren der Merkmale 34 auf die homogenen Oberflächenbereiche 18 sind zudem die Beleuchtungsvorrichtung 32 (bspw. ein Projektor) und die homogenen Oberflächenbereichen 18 zueinander in Relation zu setzen. Bspw. kann ein mathematisches Modell, das die Projektion beschreibt (z.B. ein Modell, das auf einer Zentralprojektion basiert, wie bei einer Lochbildkamera) festgelegt werden, und dann eine Kalibriermethode angewandt werden, die das mathematische Modell mit Parametern versieht, durch die das Modell an die verwendete Systemtechnik angepasst wird. Das kalibrierte Modell erlaubt es dann bspw., die homogenen Oberflächenbereiche 18 auf Pixel der Beleuchtungsvorrichtung 32 abzubilden. Ferner kann eine Methode zur Integration der Projektionsprimitive in das 2D-Projektionsbild (das Bild, welches vom Projektor wiedergeben wird) innerhalb der als zulässig ermittelten Pixel (d. h. der Pixel, die auf die homogenen Oberflächenbereiche 18 abgebildet werden) vorgesehen sein.
7 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens. Dabei wird in Schritt 38 der Oberflächenabschnitt 12 (ggf. nur der Überlappungsbereich 30, der für die Verknüpfung auf Basis der datengetriebenen Registrierung herangezogen wird) analysiert, ob homogene (insbesondere ebene) zusammenhängende Oberflächenbereiche 14, 20 vorhanden sind, auf die in Schritt 40 einzelne (bereichsspezifische) Merkmale 34 gezielt projiziert werden können. Dies ist insbesondere deshalb vorteilhaft, da durch eine Projektion der Merkmale 34 auf homogene Oberflächenbereiche 18 (z. B. ebenes Blech) hohe Verknüpfungsgenauigkeiten erzielt werden können. In Schritt 42 werden aus den Aufnahmen Bilddaten (bspw. Punktwolken) abgeleitet und in Schritt 44 wird die Verknüpfung der Punktwolken (nur) anhand der Messpunkte in den identifizierten Oberflächenbereichen 18 (und ggf. der dort eingefügten synthetischen Punkte in Normalenrichtung) durchgeführt.
Bezugszeichenliste

10: Szene
12: Oberflächenabschnitt
14: ebener Oberflächenbereich
16: nicht ebener Oberflächenbereich
18: homogener Oberflächenbereich
20: auswählbare homogene Oberflächenbereiche
22: Aufnahmerichtung
24: Aufnahmerichtung
26: Dreh- bzw. Verfahrbereich (zwischen den Posen)
28: Aufnahmevorrichtung
30: Überlappungsbereich
32: Beleuchtungsvorrichtung
34: Merkmal
36: Rechenvorrichtung
38: Prozessschritt
40: Prozessschritt
42: Prozessschritt
44: Prozessschritt
H: Homogenität
S: Homogenitätsschwelle
F1: Faktor
F2: Faktor
F3: Faktor

Claims

Verfahren zum Vereinigen von Bilddaten, die aus sich überlappenden Aufnahmen einer Szene (10) abgeleitet sind, umfassend: Bestimmen (38) homogener Oberflächenbereiche (18) in der abzubildenden Szene (10); Projizieren (40) von Merkmalen (34) auf die homogenen Oberflächenbereiche (18), wobei die homogenen Oberflächenbereiche (18) in einem Überlappungsbereich (30) der Aufnahmen umfasst sind; Ableiten (42) der Bilddaten aus den Aufnahmen; und Vereinigen (44) der Bilddaten auf Basis von Abbildungen der auf die homogenen Oberflächenbereiche (18) projizierten Merkmale (34) in den Bilddaten zur Erzeugung einer dreidimensionalen Darstellung der Szene (10).
Verfahren nach Anspruch 1, ferner umfassend: Bewerten eines Oberflächenabschnitts (12) der Szene (10) unter Verwendung einer Homogenitätsmetrik; und Bestimmen der homogenen Oberflächenbereiche (18) durch Auswählen voneinander beabstandeter Oberflächenbereiche im Überlappungsbereich (30) auf Basis der Bewertung.
Verfahren nach Anspruch 2, ferner umfassend: Bestimmen des Überlappungsbereichs (30) auf Basis der Bewertung.
Verfahren nach Anspruch 2 oder 3, wobei die Verwendung der Homogenitätsmetrik bewirkt, dass ein ebener Oberflächenbereich (14) mit höherer Wahrscheinlichkeit ausgewählt wird, als ein gekrümmter Oberflächenbereich (16).
Verfahren nach einem der Ansprüche 2 bis 4, wobei die Verwendung der Homogenitätsmetrik bewirkt, dass ein Oberflächenbereich, der einen Übergang zwischen Materialien aufweist, die sich in ihren optischen Eigenschaften unterscheiden, mit geringerer Wahrscheinlichkeit ausgewählt wird, als ein Oberflächenbereich, der keinen Übergng zwischen Materialien aufweist, die sich in ihren optischen Eigenschaften unterscheiden.
Verfahren nach einem der Ansprüche 2 bis 5, wobei die Aufnahmen aus unterschiedlichen Aufnahmerichtungen (22, 24) angefertigt werden und die Verwendung der Homogenitätsmetrik bewirkt, dass aus den unterschiedlichen Aufnahmerichtungen (22, 24) resultierende Abweichungen bei der Abbildung von auf den Oberflächenabschnitt (12) projizierten Merkmalen (34) bei ausgewählten Oberflächenbereichen (18) im Durchschnitt geringer sind, als bei nicht ausgewählten Oberflächenbereichen (16).
Verfahren nach Anspruch 6, ferner umfassend: Bestimmen der Aufnahmerichtungen (22, 24) auf Basis einer Soll-Geometrie eines Objekts oder eines Objektabschnitts, das bzw. der in der Szene (10) umfasst ist, unter Bevorzugung von Aufnahmerichtungen (22, 24), durch die, unter Verwendung derselben Homogenitätsmetrik, eine Anzahl und/oder eine Fläche von Oberflächenbereichen, die eine bestimmte Homogenitätsschwelle (S) übertreffen, vergrößert wird.
Verfahren nach einem der Ansprüche 2 bis 7, ferner umfassend: Ändern einer Homogenitätsschwelle (S), auf Basis derer auswählbare Oberflächenbereiche (20) bestimmt werden; und Verschieben und/oder Verkleinern/Vergrößern des Überlappungsbereichs (30).
Verfahren nach einem der Ansprüche 1 bis 8, wobei die Bilddaten Punkte dreidimensionaler Punktwolken umfassen, denen Helligkeits- und/oder Farbwerte zugeordnet sind.
Verfahren nach Anspruch 9, wobei die Punktwolken den Aufnahmen zugeordnet sind und das Vereinigen ein Verschieben der den Aufnahmen zugeordneten Punktwolken zueinander umfasst, wobei durch das Verschieben ein gemäß einer Abstandsmetrik ermittelter Abstandswert zwischen Punkten der Punktwolken reduziert wird.
Verfahren nach einem der Ansprüche 1 bis 10, wobei die Merkmale optisch kodierte Daten umfassen und beispielsweise als Bar-Code oder QR-Code ausgebildet sind.
System, umfassend: eine Aufnahmevorrichtung (28), eingerichtet zur Aufnahme einer Oberfläche (12) aus unterschiedlichen Aufnahmerichtungen (22, 24); eine Beleuchtungsvorrichtung (32), eingerichtet zur Projektion einer Vielzahl von Merkmalen (34) auf voneinander beabstandete Bereiche (18) der Oberfläche (12); und eine Rechenvorrichtung (36), eingerichtet zur: Erzeugung dreidimensionaler Punktwolken aus Aufnahmen der Oberfläche (12); Zuordnung von Punkten der Punktwolken zu den Merkmalen (34); und Verschiebung der Punktwolken relativ zueinander auf Basis der einander zugeordneten Merkmale (34); wobei das System eingerichtet ist: eine Wiedergabe der Merkmale (34) in den Punktwolken für eine gegebene Objektgeometrie und unterschiedliche voneinander beabstandete Oberflächenbereiche (16, 20) mittels einer Messung oder einer Simulation zu ermitteln und eine Projektion der unterschiedlichen Merkmale (18, 20) auf solche Oberflächenbereiche (18) zu bewirken, die einem Wiedergabekriterium genügen, oder unterschiedliche voneinander beabstandete Oberflächenbereiche (16, 20) auf ihre Homogenität zu analysieren und eine Projektion der unterschiedlichen Merkmale (34) auf solche Oberflächenbereiche (18) zu bewirken, die in der Analyse als homogen identifiziert werden.
System nach Anspruch 12, wobei das System eingerichtet ist, aus einer Soll-Geometrie der Oberfläche (12) und einem Projektionsmodell einen Betriebszustand der Beleuchtungsvorrichtung (32) während der Projektion abzuleiten.