EP4731960A1 - Verfahren, vorrichtung und system zum erkennen einer formabweichung - Google Patents

Verfahren, vorrichtung und system zum erkennen einer formabweichung

Info

Publication number
EP4731960A1
EP4731960A1 EP24736337.7A EP24736337A EP4731960A1 EP 4731960 A1 EP4731960 A1 EP 4731960A1 EP 24736337 A EP24736337 A EP 24736337A EP 4731960 A1 EP4731960 A1 EP 4731960A1
Authority
EP
European Patent Office
Prior art keywords
images
inspection object
target geometry
processing circuit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24736337.7A
Other languages
English (en)
French (fr)
Inventor
Matthias Karl
Jan Henrik FITSCHEN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss AG
Original Assignee
Carl Zeiss AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss AG filed Critical Carl Zeiss AG
Publication of EP4731960A1 publication Critical patent/EP4731960A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Zum Erkennen einer Formabweichung in drei Dimensionen, 3D, eines Inspektionsobjekts (11) von einer 3D-Sollgeometrie (33) werden Rückprojektionen auf die 3D-Sollgeometrie (33) durch wenigstens eine Verarbeitungsschaltung (34) bestimmt, wobei für mehrere 2D-Bilder des Inspektionsobjekts (11) jeweils eine Rückprojektion auf wenigstens einen Teil der 3D-Sollgeometrie (33) bestimmt wird. Die für die mehreren 2D-Bilder bestimmten Rückprojektionen werden durch die wenigstens eine Verarbeitungsschaltung (34) verglichen, um die Formabweichung zu erkennen.

Description

VERFAHREN, VORRICHTUNG UND SYSTEM ZUM ERKENNEN EINER FORMABWEICHUNG
TECHNISCHES GEBIET
Die Erfindung betrifft Verfahren, Vorrichtungen und Systeme zum Erkennen einer Formabweichung unter Verwendung elektromagnetischer Strahlung. Die Erfindung betrifft insbesondere Verfahren, Vorrichtungen und Systeme zum bildbasierten Erkennen einer Abweichung zwischen einer dreidimensionalen Geometrie eines Inspektionsobjekts und dessen dreidimensionaler Sollgeometrie.
HINTERGRUND
Eine Erkennung einer Formabweichung zwischen einer tatsächlichen dreidimensionalen (3D) Geometrie eines Inspektionsobjekts und seiner 3D-Sollgeometrie hat verschiedene Anwendungsgebiete, beispielsweise bei der Qualitätskontrolle.
Die Erkennung einer Formabweichung unter Verwendung elektromagnetischer Strahlung, insbesondere unter Verwendung optischer Techniken, ist aus verschiedenen Gründen attraktiv, beispielsweise aufgrund der erreichbaren Geschwindigkeit und aufgrund ihrer berührungslosen Funktionsweise.
Eine Abweichung zwischen Soll- und Ist-Geometrie kann beispielsweise durch Bestimmung der Ist-Geometrie erfolgen. Methoden unter Verwendung strukturierter Beleuchtung erlauben die Bestimmung der Ist-Geometrie, erfordern jedoch wohldefinierte Beleuchtungsmuster sowie Kenntnis über die Beleuchtungsmuster. Mit den in der EP 2 321 614 Bl offenbarten Techniken kann eine Oberfläche mit hoher Genauigkeit vermessen werden, doch ist hierfür eine Lichtquelle erforderlich, die üblicherweise nicht manuell handhabbar ist.
Die DE 10 2020 134 680 Al offenbart ein Verfahren zur Qualitätsprüfung, bei dem Bilder mit einer mobilen Erfassungseinrichtung erfasst und anschließend ausgewertet werden können. Die Anwendung dieser Technik zur Qualitätsprüfung kann jedoch einen verhältnismäßig großen Aufwand bei der Konfiguration für die durchzuführende Qualitätsprüfung mit sich bringen, wie die Definition eines Bezugspunkts und die Definition der Sollgeometrie. Um detaillierte Informationen auf Komponentenebene bei dieser Inspektion zu gewinnen, ist es erforderlich, dass die Sollgeometrie in einem derartigen Format vorliegt, dass einzelne Komponenten einzeln entfernt und/ oder adressiert werden können. In manchen Anwendungsbereichen ist dieses Erfordernis jedoch nicht erfüllt. Das Ergebnis der Inspektion kann unerwünscht starken Einflüssen beispielsweise durch die Textur des Inspektionsobjekts unterliegen. Es besteht somit weiterhin ein Bedarf in der Technik an verbesserten Verfahren, Vorrichtungen und Systemen zum Erkennen einer Formabweichung.
ZUSAMMENFASSUNG
Es ist eine Aufgabe der vorliegenden Erfindung, verbesserte Verfahren, Vorrichtungen und Systeme zum Erkennen einer Formabweichung bereitzustellen. Es ist insbesondere eine Aufgabe, derartige Verfahren, Vorrichtungen und Systeme anzugeben, die mit geringem Einrichtungsaufwand betrieben werden können und für unterschiedliche Objektgeometrien anwendbar sind. Optional ist es dabei wünschenswert, Verfahren, Vorrichtungen und Systeme bereitzustellen, bei denen eine benötigte Datenerfassung am Inspektionsobjekt in einfacher Weise ausgeführt werden kann.
Erfindungsgemäß werden Verfahren, Vorrichtungen und Systeme angegeben, wie sie in den unabhängigen Ansprüchen definiert sind. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsbeispiele.
Nach einem Aspekt betrifft die Erfindung ein Verfahren zum Erkennen einer Formabweichung in drei Dimensionen (3D) eines Inspektionsobjekts von einer 3D-Sollgeometrie des Inspektionsobjekts. Das Verfahren weist auf: Empfangen von zweidimensionalen, 2D-, Bildern des Inspektionsobjekts durch wenigstens eine Verarbeitungsschaltung, Bestimmen von mehreren Rückprojektionen auf die 3D-Sollgeometrie durch die wenigstens eine Verarbeitungsschaltung, wobei für mehrere 2D-Bilder des Inspektionsobjekts jeweils eine Rückprojektion auf wenigstens einen Teil der 3D-Sollgeometrie bestimmt wird, und Durchführen eines Vergleichs der für die mehreren 2D-Bilder bestimmten Rückprojektionen durch die wenigstens eine Verarbeitungsschaltung zum Erkennen der Formabweichung.
Durch das Verfahren werden verschiedene technische Wirkungen und Vorteile erzielt. Das Verfahren beruht auf der Verwendung mehrerer 2D-Bilder in Kombination mit der 3D-Sollgeometrie. Dies ermöglicht die Erkennung von Inkonsistenzen, die eine Abweichung von der 3D-Sollgeometrie anzeigen. Es ist dabei nicht erforderlich, die Ist-Geometrie eines Inspektionsobjekts in 3D zu rekonstruieren, um Abweichungen von der 3D-Sollgeometrie zu detektieren. Vielmehr werden die Rückprojektionen von wenigstens zwei und vorteilhaft mehr als zwei 2D-Bildern auf die 3D- Sollgeometrie verwendet, um zu erkennen, dass und wo eine Formabweichung zwischen Ist- Geometrie und 3D-Sollgeometrie des Inspektionsobjekts vorliegt. Ein technischer Vorteil des Verfahrens besteht darin, dass es auf Basis von 2D-Bildern arbeitet, die mit einer herkömmlichen Kamera, beispielsweise einer in einem Mobilgerät integrierten Kamera, erfasst werden können. Ein weiterer technischer Vorteil ist, dass eine strukturierte Beleuchtung nicht erforderlich ist. Die Datenerfassung der 2D-Bilder kann daher auch durch nicht besonders geschultes Personal erfolgen. Das Verfahren bietet im Vergleich zu herkömmlichen Techniken gute Robustheit gegenüber unterschiedlichen Beleuchtungsbedingungen und/oder unterschiedlichen Oberflächentexturen. Als 3D-Sollgeometrie wird lediglich die äußere 3D-Hülle des Inspektionsobjekts benötigt. Es ist nicht erforderlich, dass in der 3D-Sollgeometrie Einzelkomponenten separat adressierbar sind. Auch ein digitalisiertes 3D-0bjekt (also ein Formmodell ohne Textur) kann als 3D-Sollgeometrie genutzt werden. Dies eröffnet neue Anwendungsgebiete.
Das Verfahren bietet im Vergleich zu herkömmlichen Techniken auch ein gutes Verhältnis von ermitteltem Informationsgehalt in Bezug auf die für die Datenerfassung und Auswertung der 2D-Bilder benötigte Zeitdauer. Insbesondere wird ein zeiteffizienter Abgleich zwischen der 3D-Sollgeometrie und der in den 2D-Bildern erfassten Ist-Geometrie ermöglicht. Zur Zeiteffizienz trägt auch bei, dass der Einrichtungsaufwand gering ist. Komplexe Einrichtungsschritte zur Datenerfassung, die bei zahlreichen herkömmlichen Verfahren erforderlich sind, sind beim erfindungsgemäßen Verfahren entbehrlich.
Der Vergleich kann für jede von mehreren verschiedenen Facetten der 3D-Sollgeometrie ausgeführt werden.
Dies ermöglicht, dass für jede der mehreren verschiedenen Facetten der 3D-Sollgeometrie eine mögliche Abweichung erkannt werden kann. Der Vergleich kann für Facetten ausgeführt werden, die in wenigstens zwei 2D-Bildern der empfangenen 2D-Bilder dargestellt sind.
Die wenigstens eine Verarbeitungsschaltung kann basierend auf dem Vergleich ortsaufgelöst ermitteln, in welchen Bereichen eine äußere Hülle des Inspektionsobjekts von einer äußeren Hülle der 3D-Sollgeometrie abweicht.
Dies bewirkt, dass nur die äußere Hülle der Sollgeometrie des Inspektionsobjekts als 3D- Sollgeometrie benötigt wird. Die 3D-Sollgeometrie kann insbesondere eine 3D-Sollgeometrie von lediglich der äußeren Hülle des Inspektionsobjekts sein. Dadurch wird eine effiziente Verarbeitung möglich. Darüber hinaus kann das Verfahren auf Inspektionsobjekte angewandt werden, für die beispielsweise nur eine Information über die äußere Hülle vorliegt.
Das Verfahren kann ferner ein Bereitstellen einer Ausgabe basierend auf der erkannten Formabweichung aufweisen.
Dadurch kann das Ergebnis der Erkennung der Formabweichung nutzbar gemacht werden. Das Ergebnis der Formabweichungserkennung kann auf verschiedene Weisen genutzt werden, beispielsweise zur Ausgabe an menschliches Bedienpersonal, zur Ausgabe einer Warnung bei Erkennung einer Formabweichung oder zur unmittelbaren Einflussnahme auf einen industriellen
Prozess, beispielsweise einen Fertigungs- oder Wartungsprozess.
Die Ausgabe kann eine ortsaufgelöste Visualisierung der erkannten Formabweichung aufweisen. Dadurch kann in einfacher Weise sichtbar gemacht werden, wo in Bezug auf die 3D- Sollgeometrie oder die Ist-Geometrie die Formabweichung erkannt wurde. Die Lokalisierung der
Formabweichung und eine mögliche Behebung der Ursache wird dadurch vereinfacht.
Das Bestimmen der mehreren Rückprojektionen kann basierend auf Posen einer Bilderfassungseinrichtung bei Erfassung der 2D-Bilder erfolgen. Das Verfahren kann ferner ein Ermitteln der Posen durch die wenigstens eine Verarbeitungsschaltung aufweisen.
Dadurch ermöglicht das Verfahren die Formabweichungsinspektion bei besonders einfacher Erfassung der 2D-Bilder. Die Posen können automatisch durch die wenigstens eine Verarbeitungsschaltung ermittelt werden, beispielsweise bildbasiert. Es ist nicht erforderlich, aber möglich, dass die Erfassung der 2D-Bilder an bestimmten Positionen und mit bestimmten Richtungen der Bilderfassungseinrichtung relativ zum Inspektionsobjekt erfolgt.
Das Ermitteln einer Pose für ein 2D-Bild kann unter Verwendung von dem 2D-Bild, der 3D- Sollgeometrie und Kameraparametern einer zum Erfassen des 2D-Bilds verwendeten Bilderfassungseinrichtung erfolgen.
Dies ermöglicht die Bestimmung der Pose (d. h. der drei translatorischen Koordinaten und der drei rotatorischen Koordinaten der Bilderfassungseinrichtung relativ zu dem Inspektionsobjekt) in bildbasierter Weise. Die Kameraparameter können für eine beliebige Bilderfassungseinrichtung, die anschließend zur Formabweichungsinspektion verwendet wird, einmal bestimmt und nicht-flüchtig gespeichert werden.
Alternativ oder zusätzlich kann das Ermitteln der Pose für ein 2D-Bild unter Verwendung von dem 2D-Bild zugeordneten Sensordaten erfolgen.
Dies ermöglicht, Sensordaten zur Ermittlung der Pose heranzuziehen. Die Sensordaten können Sensordaten aufweisen, die durch in der Bildaufnahmeeinrichtung integrierte Sensoren (beispielsweise von einem globalen Navigationssatellitensystem (GNSS) oder einem Beschleunigungssensor) erfasst werden. Alternativ oder zusätzlich können die Sensordaten Sensordaten aufweisen, die von einem von der Bildaufnahme ein separaten Sensorsystem (beispielsweise einem Tracking-System) erfasst und bereitgestellt werden. Dadurch kann die Posenbestimmung, die anschließend für die Bestimmung der Rückprojektionen verwendet wird, noch genauer erfolgen. Mögliche Mehrdeutigkeiten können unter Verwendung der Sensordaten aufgelöst werden.
Das Verfahren kann ferner aufweisen: Auslesen von 3D-Sollgeometriedaten aus einem Speichersystem und Erzeugen eines skalierten Modells einer äußeren Hülle der 3D-Sollgeometrie basierend auf den ausgelesenen 3D-Sollgeometriedaten durch die wenigstens eine Verarbeitungsschaltung, wobei die Rückprojektionen basierend auf dem skalierten Modell der äußeren Hülle bestimmt werden. Dadurch kann eine geeignete Skalierung vor Bestimmung der Rückprojektionen vorgenommen werden. Beispielsweise kann eine lineare Skalierung derart erfolgen, dass Details in dem skalierten Modell nicht mehr enthalten sind, wenn sie in den 2D-Bildern sowieso nicht mehr auflösbar sind. Die Skalierung kann somit abhängig von einer Auflösung in den 2D-Bildern sowie den ausgelesenen 3D- Sollgeometriedaten erfolgen.
Das Verfahren kann ferner aufweisen: Auswählen der mehreren 2D-Bilder aus den empfangenen 2D-Bildern durch die wenigstens eine Verarbeitungsschaltung.
Dadurch können die 2D-Bilder, die rückprojiziert werden, automatisch ausgewählt werden. Die mehreren 2D-Bilder, die rückprojiziert werden, können beispielsweise aus einer Folge von 2D-Bildern automatisch ausgewählt werden, die in einer Sequenz (beispielsweise einer Videosequenz) durch eine Bilderfassungseinrichtung erfasst werden.
Das Auswählen der mehreren 2D-Bilder kann so erfolgen, dass jede Facette der 3D- Sollgeometrie, für die eine Abweichung detektierbar sein soll, in mehreren 2D- Bildern sichtbar ist, die rückprojiziert werden
Dadurch kann sichergestellt werden, dass mögliche Inkonsistenzen zwischen den Rückprojektionen auf die entsprechende Facette, die aus einer Abweichung zwischen der tatsächlichen Geometrie und der 3D-Sollgeometrie resultieren, für jede relevante Facette detektiert werden können.
Das Auswählen der mehreren 2D-Bilder kann basierend auf der 3D-Sollgeometrie und Posen der Bilderfassungseinrichtung bei Erfassung der empfangenen 2D-Bilder erfolgen. Die Posen können dabei wie oben erläutert automatisch, beispielsweise bildbasierten und/oder unter Verwendung von Sensordaten, ermittelt werden.
Dadurch kann eine einfache automatische Auswahl aus den empfangenen 2D-Bildern durch die Verarbeitungsschaltung anhand objektiver Kriterien erfolgen.
Das Verfahren kann ferner aufweisen: Empfangen von zusätzlichen 2D-Bildern durch die wenigstens eine Verarbeitungsschaltung und Vergleichen von aus den zusätzlichen 2D-Bildern auf die 3D-Sollgeometrie bestimmten weiteren Rückprojektionen zur Verbesserung der Erkennung der Formabweichung.
Dies ermöglicht, die Detektion der Formabweichung fortzusetzen, wenn die zusätzlichen 2D- Bilder verfügbar werden. Beispielsweise kann dies der Fall sein, wenn die Bilderfassung zur Inspektion fortgesetzt wird, während parallel zur fortgesetzten Bilderfassung die bereits verfügbaren 2D-Bilder ausgewertet werden.
Das Verfahren kann ferner aufweisen: Erzeugen von Steuerdaten oder Steuersignalen durch die wenigstens eine Verarbeitungsschaltung zum Steuern oder Führen einer Erfassung der 2D-Bilder. Dadurch kann sichergestellt werden, dass für jede Facette, für die eine Abweichung erkennbar sein soll, wenigstens zwei 2D-Bilder zur Rückprojektion verfügbar sind. Die Arbeit vor Ort am Inspektionsobjekt wird vereinfacht, indem die Bilderfassung gesteuert oder geführt wird.
Die wenigstens eine Verarbeitungsschaltung kann die 3D-Sollgeometrie zum Erzeugen der Steuerdaten oder Steuersignale verwenden.
Dadurch kann in automatischer Weise sichergestellt werden, dass für jede Facette, für die eine Abweichung erkennbar sein soll, wenigstens zwei 2D-Bilder zur Rückprojektion verfügbar sind. Die Arbeit vor Ort am Inspektionsobjekt wird weiter vereinfacht.
Das Verfahren kann ferner ein Erfassen der 2D-Bilder unter Verwendung einer Kamera und ein Bereitstellen der erfassten 2D-Bilder an die wenigstens eine Verarbeitungsschaltung aufweisen. Das Verfahren kann ferner ein Herbeiführen einer Relativbewegung zwischen der Kamera und dem Inspektionsobjekt aufweisen, um Bilder aus mehreren unterschiedlichen Perspektiven für die Auswertung zu gewinnen
Dadurch können die für die Formabweichungserkennung benötigten Bilder aus unterschiedlichen Perspektiven gewonnen werden.
Die Kamera kann in einer beweglichen Bilderfassungseinrichtung vorgesehen sein. Die bewegliche Bilderfassungseinrichtung kann bei den Verfahren relativ zum Inspektionsobjekt bewegt werden, um 2D-Bilder aus mehreren unterschiedlichen Perspektiven für die Auswertung zu gewinnen.
Dies ermöglicht, Bildaufnahmen aus unterschiedlichen Perspektiven dadurch zu gewinnen, dass die Bilderfassungseinrichtung mit der Kamera relativ zum Inspektionsobjekt bewegt wird.
Die Kamera kann in einer als Handgerät ausgebildeten Bilderfassungseinrichtung vorgesehen sein. Das Handgerät kann bei dem Verfahren relativ zum Inspektionsobjekt bewegt werden, um die 2D-Bilder aus mehreren unterschiedlichen Perspektiven für die Auswertung zu gewinnen.
Dies ermöglicht, dass die 2D-Bilder in einfacher Weise beispielsweise dadurch erfasst werden, dass das Handgerät durch einen menschlichen Nutzer oder unter Verwendung von steuerbarer Aktuatoren relativ zum Inspektionsobjekt bewegt wird.
Das Verfahren kann ein Übertragen der 2D-Bilder von der Kamera zu der wenigstens einen Verarbeitungsschaltung aufweisen. Die Übertragung kann drahtgebunden oder drahtlos, beispielsweise über eine Kommunikationsschnittstelle, erfolgen.
Dadurch wird es möglich, die Auswertung der 2D-Bilder zur Erkennung der Formabweichung durch eine vom Handgerät verschiedene Recheneinrichtung auszuführen.
Das Verfahren kann eine Vorverarbeitung oder Vorauswertung von von der Kamera erfassten Bildern vor Übertragung aufweisen. Dies ermöglicht, dass eine Vorverarbeitung oder Vorauswertung beispielsweise in einem Handgerät oder in einem anderen Mobilgerät erfolgt. Die vorverarbeiteten Daten können dann als Zwischenergebnisse der Verarbeitung an die Recheneinrichtung übertragen werden.
Dadurch wird es möglich, die Auswertung der 2D-Bilder zur Erkennung der Formabweichung teilweise im Handgerät und teilweise in der Recheneinrichtung auszuführen.
Das Handgerät kann eine Drahtlos-Kommunikationsschnittstelle aufweisen. Das Handgerät kann beispielsweise als Kommunikationsendgerät, z.B. als Smartphone ausgestaltet sein.
Dadurch wird es möglich, die in einem Kommunikationsendgerät mittlerweile häufig verbaute Kamera (beispielsweise Rückseitenkamera) zur Erfassung der 2D-Bilder zu verwenden. Gute Handhabbarkeit bei der Bilderfassung ist dadurch sichergestellt.
Alternativ oder zusätzlich zum Herbeiführen einer Bewegung der Bilderfassungseinrichtung relativ zum Inspektionsobjekt kann das Verfahren ein Herbeiführen einer Bewegung des Inspektionsobjekts aufweisen. Dazu können ein oder mehrere Aktuatoren angesteuert werden, um das Inspektionsobjekt relativ zur Bilderfassungseinrichtung translatorisch und/oder rotatorisch zu bewegen.
Dadurch können die für die Formabweichungserkennung benötigten Bilder aus unterschiedlichen Perspektiven gewonnen werden.
Das Herbeiführen der Bewegung des Inspektionsobjekts kann Steuerfunktionen aufweisen, die abhängig von der 3D-Sollgeometrie sind.
Dadurch kann das Inspektionsobjekt gezielt derart bewegt werden, dass eine Bilderfassung aus mehreren Perspektiven für jede Facette erfolgen kann, für die eine Formabweichung detektiert werden können soll.
Die mehreren 2D-Bilder, für die die Rückprojektionen ermittelt werden, weisen für jede Facette einer äußeren Hülle der 3D-Sollgeometrie, die auf Formabweichungen untersucht werden soll, wenigstens zwei diese Facette abbildende 2D-Bilder auf.
Dadurch kann sichergestellt werden, dass aus den Rückprojektionen eine Formabweichung erkennbar ist, sofern eine solche vorliegt.
Die wenigstens zwei eine Facette abbildende 2D-Bilder unterschieden sich hinsichtlich ihrer Pose, vorteilhaft hinsichtlich sowohl ihrer translatorischen als auch ihrer rotatorischen Koordinaten relativ zu einem Koordinatensystem des Inspektionsobjekts.
Dadurch kann sichergestellt werden, dass aus den Rückprojektionen eine Formabweichung erkennbar ist, sofern eine solche vorliegt.
Die Erfassung der 2D-Bilder kann so erfolgen, dass eine Beleuchtung des Inspektionsobjekts relativ zum Inspektionsobjekt örtlich unverändert ist, während eine Relativpose zwischen einer zur Bilderfassung verwendeten Kamera und dem Inspektionsobjekt sich zwischen Erfassung unterschiedlicher 2D-Bilder ändert.
Dadurch heben sich Schattenwurf-Effekte beim Vergleich der Rückprojektionen im Wesentlichen auf.
Die Erfassung der 2D-Bilder kann so erfolgen, dass zur Beleuchtung des Inspektionsobjekts eine oder mehrere relativ zum Inspektionsobjekt ortsfest angeordnete Beleuchtungsquellen verwendet werden.
Dadurch heben sich Schattenwurf-Effekte beim Vergleich der Rückprojektionen im Wesentlichen auf, wenn die Kamera relativ zum Inspektionsobjekt bewegt wird, um die 2D-Bilder zu erfassen.
Die ein oder mehreren Beleuchtungsquellen können so eingerichtet sein, dass sie eine von einer strukturierten Beleuchtung verschiedene Beleuchtung, beispielsweise eine volumetrische Abstrahlung, erzeugen.
Dadurch kann die Formabweichungserkennung mit geringem Einrichtungsaufwand durchgeführt werden.
Der Vergleich kann eine Bestimmung eines Differenzbilds von zwei Rückprojektionen auf wenigstens einer Facette der 3D-Sollgeometrie aufweisen.
Dadurch kann pixelweise für die wenigstens eine Facette, die in wenigstens zwei der 2D-Bildern dargestellt ist, ermittelt werden, ob und optional wie stark die Rückprojektionen voneinander abweichen.
Der Vergleich der Rückprojektionen kann berücksichtigen, dass das Bestimmen der Rückprojektionen eine Interpolation von Bildpixeln bei der Rückprojektion aufweisen kann, um eine Vergleichbarkeit der Rückprojektionen zu ermöglichen. Perspektive und perspektivische Auflösung einer Einzelfacette sind in den 2D-Bildern im Allgemeinen unterschiedlich. Dies kann durch die Interpolation berücksichtigt werden.
Dadurch wird ein Vergleich erleichtert, wenn Perspektive und perspektivische Auflösung einer Einzelfacette in den 2D-Bildern unterschiedlich sind.
Der Vergleich kann eine Bestimmung einer Streuung von Pixelwerten von zwei oder mehr als zwei Rückprojektionen auf wenigstens einer Facette der 3D-Sollgeometrie aufweisen.
Dadurch kann pixelweise für die wenigstens eine Facette, die in wenigstens zwei der 2D-Bildern dargestellt ist, ermittelt werden, ob und optional wie stark die Rückprojektionen voneinander abweichen.
Das Verfahren kann eine Vorverarbeitung der 2D-Bilder und/oder der Rückprojektionen durch die wenigstens eine Verarbeitungsschaltung vor dem Durchführen des Vergleichs aufweisen. Dadurch können mögliche Störeffekte, die die Formabweichungserkennung negativ beeinflussen könnten, reduziert werden.
Die Vorverarbeitung kann eine, mehrere oder alle der folgenden Vorverarbeitungen aufweisen: Reduktion von Spiegelungen und/oder Reflexionen;
Ausgleich von Helligkeitsschwankungen und/oder Schatten;
Auswahl und Gewichtung von 2D-Bildern abhängig von einer Bildqualität (z.B. abhängig von Schärfe, Kontrast und/oder anderen Qualitätsmerkmalen) und/oder Posenqualität; Nachschärfung und/oder Kompensation von Bewegung.
Dadurch können mögliche Störeffekte, die die Formabweichungserkennung negativ beeinflussen könnten, reduziert werden.
Die erkannte Formabweichung kann eine Formabweichung aufweisen, die durch einen fehlerhaften Fertigungsprozess des Inspektionsobjekts, durch eine Verformung des Inspektionsobjekts nach Fertigung oder durch einen am Inspektionsobjekt verbliebenen Fremdkörper verursacht wird.
Dadurch ermöglicht das Verfahren, verschiedene Formabweichungen automatisch bildbasiert zu erkennen.
Nach einem weiteren Aspekt der Erfindung wird ein maschinenlesbarer Befehlscode angegeben, der maschinenlesbare Anweisungen aufweist, die bei Ausführung durch wenigstens eine Verarbeitungsschaltung die wenigstens eine Verarbeitungsschaltung zur Durchführung des Verfahrens nach einem Aspekt oder Ausführungsbeispiel veranlassen.
Die durch den maschinenlesbaren Befehlscode erzielten Wirkungen und Vorteile entsprechen den unter Bezugnahme auf das Verfahren erläuterten Wirkungen und Vorteile.
Nach einem weiteren Aspekt der Erfindung wird ein nichtflüchtiges Speichermedium mit darauf gespeichertem maschinenlesbaren Befehlscode angegeben, der maschinenlesbare Anweisungen aufweist, die bei Ausführung durch wenigstens eine Verarbeitungsschaltung die wenigstens eine Verarbeitungsschaltung zur Durchführung des Verfahrens nach einem Aspekt oder Ausführungsbeispiel veranlassen.
Die durch das nichtflüchtige Speichermedium erzielten Wirkungen und Vorteile entsprechen den unter Bezugnahme auf das Verfahren erläuterten Wirkungen und Vorteile.
Nach einem weiteren Aspekt der Erfindung wird eine Vorrichtung oder ein System zum Erkennen einer Formabweichung eines Inspektionsobjekts in 3D von einer 3D-Sollgeometrie angegeben. Die Vorrichtung oder das System weist wenigstens eine Verarbeitungsschaltung auf, die eingerichtet ist, für mehrere 2D-Bilder des Inspektionsobjekts jeweils eine Rückprojektion auf wenigstens einen Teil der 3D-Sollgeometrie zu bestimmen und zum Erkennen der Formabweichung einen Vergleich der für die mehreren 2D-Bilder bestimmten Rückprojektionen vorzunehmen. Die durch die Vorrichtung oder das System erzielten Wirkungen und Vorteile entsprechen den unter Bezugnahme auf das Verfahren erläuterten Wirkungen und Vorteile.
Die Vorrichtung oder das System kann ferner eine Kamera zum Erfassen der mehreren 2D-Bilder aufweisen.
Die Kamera kann in einer beweglichen Bilderfassungseinrichtung vorgesehen sein. Die bewegliche Bilderfassungseinrichtung kann relativ zum Inspektionsobjekt bewegbar sein, um 2D-Bilder aus mehreren unterschiedlichen Perspektiven für die Auswertung zu gewinnen.
Dies ermöglicht, Bildaufnahmen aus unterschiedlichen Perspektiven dadurch zu gewinnen, dass die Bilderfassungseinrichtung mit der Kamera relativ zum Inspektionsobjekt bewegt wird.
Die Kamera kann in einer als Handgerät ausgebildeten Bilderfassungseinrichtung vorgesehen sein. Das Handgerät kann relativ zum Inspektionsobjekt bewegbar sein, um die 2D-Bilder aus mehreren unterschiedlichen Perspektiven für die Auswertung zu gewinnen.
Dies ermöglicht, dass die 2D-Bilder in einfacher Weise beispielsweise dadurch erfasst werden, dass das Handgerät durch einen menschlichen Nutzer oder unter Verwendung von steuerbarer Aktuatoren relativ zum Inspektionsobjekt bewegt wird.
Die Vorrichtung oder das System kann für eine Übertragung der 2D-Bilder von der Kamera zu der wenigstens einen Verarbeitungsschaltung eingerichtet sein. Die Übertragung kann drahtgebunden oder drahtlos, beispielsweise über eine Kommunikationsschnittstelle, erfolgen.
Dadurch wird es möglich, die Auswertung der 2D-Bilder zur Erkennung der Formabweichung durch eine vom Handgerät verschiedene Recheneinrichtung auszuführen. Wenigstens ein Teil der Auswertung kann auch im Handgerät erfolgen, wobei die verbleibenden Auswertungsschritte in der Recheneinrichtung durchgeführt werden können.
Das Handgerät kann eine Drahtlos-Kommunikationsschnittstelle aufweisen. Das Handgerät kann beispielsweise als Kommunikationsendgerät, z.B. als Smartphone ausgestaltet sein.
Dadurch wird es möglich, die in einem Kommunikationsendgerät mittlerweile häufig verbaute Kamera (beispielsweise Rückseitenkamera) zur Erfassung der 2D-Bilder zu verwenden. Gute Handhabbarkeit bei der Bilderfassung ist dadurch sichergestellt.
Alternativ oder zusätzlich zum Herbeiführen einer Bewegung der Bilderfassungseinrichtung relativ zum Inspektionsobjekt kann die Vorrichtung oder das System eingerichtet sein, eine Bewegung des Inspektionsobjekts relativ zur Kamera herbeizuführen. Dazu kann die Vorrichtung oder das System ein oder mehrere Aktuatoren aufweisen, die steuerbar sind, um das Inspektionsobjekt relativ zur Bilderfassungseinrichtung translatorisch und/oder rotatorisch zu bewegen.
Dadurch können die für die Formabweichungserkennung benötigten Bilder aus unterschiedlichen Perspektiven gewonnen werden. Die Vorrichtung oder das System kann eine Steuerung zum Herbeiführen der Bewegung des
Inspektionsobjekts aufweisen, die abhängig von der 3D-Sollgeometrie Steuersignale erzeugt, um das
Inspektionsobjekt zu bewegen.
Dadurch kann das Inspektionsobjekt gezielt derart bewegt werden, dass eine Bilderfassung aus mehreren Perspektiven für jede Facette erfolgen kann, für die eine Formabweichung detektiert werden können soll.
Die Vorrichtung oder das System kann zur Beleuchtung des Inspektionsobjekts eine oder mehrere relativ zum Inspektionsobjekt ortsfest angeordnete Beleuchtungsquellen aufweisen.
Dadurch heben sich Schattenwurf-Effekte beim Vergleich der Rückprojektionen im Wesentlichen auf, wenn die Kamera relativ zum Inspektionsobjekt bewegt wird, um die 2D-Bilder zu erfassen.
Die ein oder mehreren Beleuchtungsquellen können so eingerichtet sein, dass sie eine von einer strukturierten Beleuchtung verschiedene Beleuchtung, beispielsweise eine volumetrische Abstrahlung, erzeugen.
Dadurch kann die Formabweichungserkennung mit geringem Einrichtungsaufwand durchgeführt werden.
Die Vorrichtung oder das System kann zur Durchführung des Verfahrens nach einem Aspekt oder Ausführungsbeispiel eingerichtet sein. Dabei können die Verarbeitungsschritte und/oder Steuerschritte von der wenigstens einen Verarbeitungsschaltung ausgeführt werden. Entsprechend kann die wenigstens eine Verarbeitungsschaltung konfiguriert sein, die im Zusammenhang mit optionalen Merkmalen des Verfahrens erläuterten Schritte auszuführen.
Die Vorrichtung oder das System kann eingerichtet sein, eine Formabweichung zu erkennen, die durch einen fehlerhaften Fertigungsprozess des Inspektionsobjekts, durch eine Verformung des Inspektionsobjekts nach Fertigung oder durch einen am Inspektionsobjekt verbliebenen Fremdkörper verursacht wird.
Dadurch ermöglicht die Vorrichtung oder das System, verschiedene Formabweichungen automatisch bildbasiert zu erkennen.
Nach einem weiteren Aspekt der Erfindung wird eine Verwendung des Verfahrens oder der Vorrichtung oder des Systems nach einem Aspekt oder Ausführungsbeispiel zum Erkennen eines fehlerhaften Fertigungsprozess des Inspektionsobjekts bereitgestellt. Der Fertigungsprozess kann abhängig von der Erkennung der Formabweichung vorübergehend angehalten und/oder modifiziert werden, um die Formabweichung zu beheben.
Nach einem weiteren Aspekt der Erfindung wird eine Verwendung des Verfahrens oder der Vorrichtung oder des Systems nach einem Aspekt oder Ausführungsbeispiel zum Erkennen einer Verformung des Inspektionsobjekts nach Fertigung bereitgestellt. Das Inspektionsobjekt kann abhängig von der Erkennung der Formabweichung aussortiert oder modifiziert werden.
Nach einem weiteren Aspekt der Erfindung wird eine Verwendung des Verfahrens oder der Vorrichtung oder des Systems nach einem Aspekt oder Ausführungsbeispiel zum Erkennen eines am Inspektionsobjekt verbliebenen Fremdkörpers bereitgestellt. Der Fremdkörper kann abhängig von der Erkennung der Formabweichung entfernt werden.
Die Verfahren, Vorrichtungen und Systeme ermöglichen eine Bestimmung sowohl positiver Formabweichungen als auch negativer Formabweichungen.
Die Verfahren, Vorrichtungen, Systeme und Systemkomponenten nach Ausführungsbeispielen der Erfindung erzielen verschiedene Wirkungen und Effekte. Insbesondere wird eine Detektion einer Formabweichung ermöglicht, wobei der Einrichtungsaufwand geringgehalten wird. Die Verarbeitung durch die Verarbeitungsschaltung kann in effizienter Weise (nämlich durch Bestimmung und Vergleich von Rückprojektionen erfasster 2D-Bilder) ausgeführt werden. Somit kann ein Ergebnis der Formabweichungsdetektion rasch bereitgestellt werden, beispielsweise in Form einer Visualisierung über eine Mensch-Maschine-Schnittstelle einer Bilderfassungseinrichtung, mit der die 2D-Bilder erfasst werden.
KURZBESCHREIBUNG DER FIGUREN
Ausführungsbeispiel der Erfindung werden unter Bezugnahme auf die Figuren beschrieben. In den Figuren bezeichnen ähnliche oder identische Bezugszeichen Elemente mit ähnlicher oder identischer Ausgestaltung und/oder Funktion.
Figur 1 ist eine schematische Darstellung eines Systems nach einem Ausführungsbeispiel.
Figur 2 zeigt das System mit einer ersten Relativpose zwischen Kamera und Inspektionsobjekt.
Figur 3 zeigt das System mit einer weiteren, zweiten Relativpose zwischen Kamera und Inspektionsobjekt.
Figur 4 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel.
Figur 5 ist ein Flussdiagramm einer Prozedur, die bei dem Verfahren nach einem Ausführungsbeispiel einsetzbar ist.
Figur 6 zeigt eine beispielhafte Ist-Geometrie eines Inspektionsobjekts zur Erläuterung von Ausführungsbeispielen.
Figur 7 zeigt eine beispielhafte 3D-Sollgeometrie für das Inspektionsobjekt von Figur 6.
Figur 8 zeigt ein 2D-Bild des Inspektionsobjekts zur Erläuterung von Ausführungsbeispielen.
Figur 9 zeigt ein weiteres 2D-Bild des Inspektionsobjekts zur Erläuterung von
Ausführungsbeispielen.
Figur 10 zeigt eine Rückprojektion des 2D-Bildes von Figur 8. Figur 11 zeigt eine Rückprojektion des 2D-Bildes von Figur 9.
Figur 12 zeigt ein Vergleichsergebnis der Rückprojektionen von Figur 10 und Figur 11.
Figur 13 zeigt eine Visualisierung eines Ergebnisses der Formabweichungserkennung.
Figur 14 zeigt eine weitere Visualisierung eines Ergebnisses der Formabweichungserkennung.
Figur 15 ist ein Flussdiagramm einer Prozedur, die bei dem Verfahren nach einem Ausführungsbeispiel einsetzbar ist.
Figur 16 ist eine Blockdiagrammdarstellung einer Verarbeitungsschaltung eines Systems oder einer Vorrichtung nach einem Ausführungsbeispiel.
Figur 17 ist eine schematische Darstellung eines Systems nach einem Ausführungsbeispiel.
Figur 18 ist eine ist eine Blockdiagrammdarstellung einer Bildaufnahmeeinrichtung eines Systems nach einem Ausführungsbeispiel.
Figur 19 ist eine ist eine Blockdiagrammdarstellung einer Bildaufnahmeeinrichtung einer Vorrichtung nach einem Ausführungsbeispiel.
Figur 20 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel.
Figur 21 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel.
Figur 22 ist ein Flussdiagramm einer Prozedur, die bei dem Verfahren von Figur 21 einsetzbar ist.
Figur 23 ist eine schematische Darstellung eines Systems nach einem Ausführungsbeispiel.
Figur 24 ist eine schematische Darstellung eines Systems nach einem Ausführungsbeispiel.
Figur 25 ist eine schematische Darstellung eines Systems nach einem Ausführungsbeispiel.
Figur 26 ist eine schematische Darstellung eines Systems nach einem Ausführungsbeispiel.
Figur 27 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel.
Figur 28 ist eine schematische Darstellung eines Systems nach einem Ausführungsbeispiel.
Figur 29 ist eine schematische Darstellung einer 3D-Sollgeometrie.
Figur 30 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel.
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Ausführungsbeispiele der Erfindung werden unter Bezugnahme auf die Figuren beschrieben. In den Figuren bezeichnen ähnliche oder identische Bezugszeichen Elemente mit ähnlicher oder identischer Ausgestaltung und/oder Funktion.
Die Merkmale der Ausführungsbeispiele können miteinander kombiniert werden, sofern dies in der nachfolgenden Beschreibung nicht ausdrücklich ausgeschlossen ist.
Verfahren, Vorrichtungen und Systeme nach Ausführungsbeispielen ermöglichen die bildbasierte Detektion von Formabweichungen zwischen einer Ist-Geometrie eines Inspektionsobjekts und einer 3D-Sollgeometrie. Dabei werden Rückprojektionen von mehreren 2D-Bildern auf eine oder mehrere Flächen der 3D-Sollgeometrie bestimmt. Die mehreren 2D-Bilder werden aus unterschiedlichen Perspektiven erfasst, d.h. für unterschiedliche Posen einer Kamera relativ zum Inspektionsobjekt. Aus Abweichungen zwischen den Rückprojektionen kann erkannt werden, dass die Ist-Geometrie von der 3D-Sollgeometrie abweicht, also eine Formabweichung vorliegt.
Wie nachfolgend noch ausführlich erläutert wird, können die erfindungsgemäßen Verfahren, Vorrichtungen und Systeme Formabweichungen mit geringem Einrichtungsaufwand erkennen. Herkömmliche Kameras können zur 2D-Bilderfassung eingesetzt werden. Die 3D-Sollgeometrie kann in unterschiedlicher Weise vorliegen, beispielsweise als CAD-Modell, als Oberflächennetz oder in einer anderen Form, die wenigstens eine äußere Hülle des Inspektionsobjekts definiert.
Der Begriff der „3D-Sollgeometrie", wie er hier verwendet wird, ist breit dahingehend zu verstehen, dass durch die 3D-Sollgeometrie jedenfalls eine gewünschte (also Soll-) Form einer äußeren Hülle des Inspektionsobjekts angegeben wird. Es ist möglich, aber nicht zwangsläufig erforderlich, dass die 3D-Sollgeometrie auch weitere Informationen, beispielsweise über von außen nicht visuell wahrnehmbare Komponenten des Inspektionsobjekts und/oder über Materialien oder Oberflächentexturen aufweist.
Die 3D-Sollgeometrie kann mehrere Flächen oder Facetten aufweisen. Für eine beliebige, möglicherweise auch komplexe Form kann die Geometrie der äußeren Hülle durch Facetten approximiert werden, beispielsweise in Form eines Dreiecksgitters oder durch eine andere Facettierung. Die Flächen oder Facetten können jeweils eben sein.
Der Begriff der Facette bezeichnet einen Abschnitt der 3D-Geometrie. Die Facette kann eben, also planar sein.
Figur 1 zeigt ein System 10 nach einem Ausführungsbeispiel. Das System 10 ist zur bildbasierten Erkennung einer Formabweichung eines Inspektionsobjekts 11 eingerichtet. Das System 10 weist eine Kamera 20 zum Erfassen von 2D-Bildern des Inspektionsobjekts 11 aus mehreren unterschiedlichen Perspektiven (also in mehreren unterschiedlichen relativen translatorischen und/oder rotatorischen Koordinaten der Kamera 20 relativ zum Inspektionsobjekt 11) auf.
Das System 10 weist eine Verarbeitungsschaltung 34 auf. Die Verarbeitungsschaltung 34 ist eingerichtet, Rückprojektionen von mehreren 2D-Bildern auf ein oder mehrere Flächen einer 3D- Sollgeometrie zu bestimmen und miteinander zu vergleichen. Dadurch können Abweichungen der Rückprojektionen voneinander durch die Verarbeitungsschaltung 34 gefunden werden. Derartige Abweichungen zwischen mehreren Rückprojektionen, die jeweils eine selbe Fläche oder Facette der 3D-Sollgeometrie abdecken, zeigen eine Formabweichung der Ist-Geometrie des Inspektionsobjekts 11 von der 3D-Sollgeometrie an.
Die Verarbeitungsschaltung 34 ist eingerichtet, die 3D-Sollgeometrie 33 definierende Daten aus einem Speichersystem 32 abzurufen. Zum Bestimmen der Rückprojektionen von 2D-Bildern auf eine Fläche der 3D-Sollgeometrie verwendet die Verarbeitungsschaltung 34 Poseninformation, die die Pose (im allgemeinen drei translatorische Koordinaten und drei eine rotatorische Koordinaten) der Kamera 20 relativ zum Inspektionsobjekt 11 definieren. Zum Bestimmen der Rückprojektionen verwendet die Verarbeitungsschaltung 34 darüber hinaus Kameraparameter, insbesondere eine Kameramatrix der Kamera 20 oder andere Daten (insbesondere Verzeichnungsparameter), die definieren, in welchen Bildpunkt der Kamera 20 ein Weltpunkt abgebildet wird. Zum Bestimmen der Rückprojektionen kann die Verarbeitungsschaltung 34 darüber hinaus insbesondere Verzeichnungsparameter berücksichtigen.
Die Rückprojektion kann in rechnerisch effizienter Weise unter Verwendung der genannten Daten erfolgen. Techniken, mit denen ein 2D-Bild rechnerisch auf Fläche(n) einer 3D-Geometrie (hier: der 3D-Sollgeometrie) projiziert werden, sind dem Fachmann geläufig. Die intrinsische Kameramatrix definiert, entlang welcher Richtung relativ zum Bildsensor ein Pixelwert jeweils aufgenommen wurde. Die Pose in Kombination mit der 3D-Sollgeometrie definiert, in welchem Abstand vom Bildsensor der dem Bildpunkt entsprechende Weltpunkt liegt.
Die Verarbeitungsschaltung 34 ist eingerichtet, eine Formabweichungsdetektion 35 auszuführen. Durch die Formabweichungsdetektion 35 ermittelt die Verarbeitungsschaltung 34, ob eine Formabweichung vorliegt und, optional, wo diese Formabweichung vorliegt. Die Formabweichungsdetektion 35 weist die Rückprojektion 36 von wenigstens zwei 2D-Bildern auf eine selbe Fläche der 3D-Sollgeometrie 33 und einen Vergleich 37 der Rückprojektionen auf. Der Vergleich 37 kann auf unterschiedliche Weise erfolgen, beispielsweise durch Bestimmen eines Differenzbildes der Rückprojektionen (wobei die Differenz für die in beiden Rückprojektionen dargestellte(n) Fläche(n) des Inspektionsobjekts ermittelt wird) oder durch Bestimmung einer Streuung, Varianz oder eines anderen Abweichungsmaßes mehrerer Rückprojektionen.
Ein Ergebnis der Formabweichungsdetektion 35 wird von der Verarbeitungsschaltung 34 bereitgestellt. Dazu kann beispielsweise eine Mensch-Maschine-Schnittstelle (HMI, „human machine interface") und/oder eine Datenschnittstelle abhängig von einem Ergebnis der Formabweichungsdetektion 35 angesteuert werden.
Die Verarbeitungsschaltung 34 kann in einer Verarbeitungseinrichtung 30 vorgesehen sein, die als von der Kamera 20 separate bauliche Einheit ausgestaltet ist. Die Verarbeitungseinrichtung 30 kann eine oder mehrere Schnittstellen 31 aufweisen, um die 2D-Bilder drahtlos oder drahtgebunden von der Kamera 20 zu empfangen.
Bei einer weiteren Ausgestaltung können die Komponenten der Verarbeitungseinrichtung 30 oder wenigstens die Verarbeitungsschaltung 34 zusammen mit der Kamera 20 in einem gemeinsamen Gehäuse, beispielsweise einer Bildaufnahmeeinrichtung oder eines anderen Handgeräts, integriert sein. Figur 2 und Figur 3 zeigt ein System 1 nach einem Ausführungsbeispiel, das die Kamera 20 und die Verarbeitungseinrichtung 30 aufweist. Die Verarbeitungseinrichtung 30 ist eingerichtet, über wenigstens eine Datenkommunikationsverbindung (beispielsweise über eine Datenkommunikationsverbindung eines Kommunikationsnetzes 15) ein erstes 2D-Bild 41 zu empfangen, das die Kamera 20 erfasst, wenn sie sich in einer erste Pose relativ zum Inspektionsobjekt 11 befindet. Die erste Pose kann drei translatorische Koordinaten eines charakteristischen Punkts der Kamera (beispielsweise der Mitte eines Bildsensors) in einem Koordinatensystem 12 aufweisen, das ortsfest mit dem Inspektionsobjekt verbunden ist. Die erste Pose kann drei rotatorische Koordinaten (beispielsweise drei Euler-Winkel) aufweisen, die die Ausrichtung der Kamera 20 relativ zum ersten Koordinatensystem 20 definieren.
Figur 3 illustriert, dass die Verarbeitungseinrichtung 30 eingerichtet ist, über die wenigstens eine Datenkommunikationsverbindung ein zweites 2D-Bild 42 zu empfangen, das die Kamera 20 erfasst, wenn sie sich in einer von der ersten Pose verschiedenen zweiten Pose relativ zum Inspektionsobjekt 11 befindet. Die zweite Pose kann sich durch eine translatorische Verschiebung 13 und eine rotatorische Bewegung 14 der Kamera 20 relativ zur ersten Pose von der ersten Pose unterscheiden.
Das erste 2 D-Bild 41 und das zweite 2 D-Bild 42 zeigen beide wenigstens eine selbe Fläche des Inspektionsobjekts. Die Verarbeitungseinrichtung 30 ist eingerichtet, eine erste Rückprojektion des ersten 2D-Bilds 41 auf die 3D-Sollgeometrie des Inspektionsobjekts 11 zu bestimmen. Hierfür wird Information über die erste Pose verwendet. Die Verarbeitungseinrichtung 30 ist eingerichtet, eine zweite Rückprojektion des zweiten 2D-Bilds 42 auf die 3D-Sollgeometrie des Inspektionsobjekts 11 zu bestimmen. Hierfür wird Information über die zweite Pose verwendet. Die Verarbeitungseinrichtung 30 ist eingerichtet, die erste Rückprojektion und die zweite Rückprojektion zu vergleichen, um zu ermitteln, ob auf einer sowohl in dem ersten 2D-Bild 41 als auch in dem zweiten 2D-Bild 42 dargestellten Fläche oder Facette des Inspektionsobjekts 11 eine Formabweichung vorliegt.
Figur 4 ist ein Flussdiagramm eines Verfahrens 45. Das Verfahren 45 kann von der Verarbeitungseinrichtung 30 oder von der Verarbeitungsschaltung 34 automatisch ausgeführt werden.
Bei 46 werden Bilddaten empfangen. Die Bilddaten weisen 2D-Bilder des Inspektionsobjekts 11 auf. Die mehreren 2D-Bilder können mit einer in einem Handgerät verbauten Kamera 20 erfasst werden. Die mehreren 2D-Bilder weisen Bilder auf, die eine selbe Fläche oder Facette des Inspektionsobjekts 11 zeigen. Die mehreren 2D-Bilder weisen Bilder auf, die das Inspektionsobjekt aus unterschiedlichen Posen relativ zum Inspektionsobjekt zeigen.
Bei 47 werden Rückprojektionen mehrerer 2D-Bilder der empfangenen 2D-Bilder ermittelt. Die Rückprojektionen können dabei abhängig von der Pose der Kamera 20 relativ zum Inspektionsobjekt bei Erfassung des entsprechenden 2D-Bildes, einer intrinsische Kameramatrix der Kamera 20 und der 3D-Sollgeometrie ermittelt werden. Bei 48 werden die Rückprojektionen verglichen. Dabei werden Abweichungen zwischen auf eine selbe Fläche der 3D-Sollgeometrie rückprojizierte 2D-Bildern ermittelt. Das Ermitteln der Abweichungen kann ein Bestimmen eines Differenzbildes, eine bildpunktweise Bestimmung einer Varianz oder Streuung oder eine andere pixelaufgelöst vorgenommene Bestimmung von Abweichungen zwischen Rückprojektionen aufweisen.
Ein Ergebnis des Vergleichs, das angibt, ob und wo Formabweichungen vorliegen, kann bereitgestellt werden. Dies kann eine Ansteuerung einer HMI oder eine Datenschnittstelle aufweisen. Abhängig von dem Vergleichsergebnis kann ein Fertigungsprozess gesteuert und modifiziert werden. Abhängig von dem Vergleichsergebnis kann alternativ oder zusätzlich Information bereitgestellt werden, wo die Formabweichung am Inspektionsobjekt vorliegt. Abhängig von dem Vergleichsergebnis kann alternativ oder zusätzlich Information bereitgestellt werden, wo am Inspektionsobjekt ein Fremdkörper verblieben ist.
Figur 5 ist ein Flussdiagramm einer Prozedur 50, die zur Implementierung von Schritt 47 des Verfahrens 45 ausgeführt werden kann. Die Prozedur 50 kann von der Verarbeitungseinrichtung 30 oder der Verarbeitungsschaltung 34 automatisch ausgeführt werden.
Bei 51 werden eine oder mehrere Flächen oder Facetten des Inspektionsobjekts identifiziert, die in wenigstens zwei der empfangenen 2D-Bilder abgebildet sind. Die Identifizierung dieser Flächen oder Facetten kann abhängig von der 3D-Sollgeometrie sowie den bei Bilderfassung vorliegenden Relativposen zwischen der Kamera 20 und dem Inspektionsobjekt erfolgen.
Bei 52 kann eine optionale Vorverarbeitung der Bilddaten erfolgen. Die optionale Vorverarbeitung kann eine Verringerung möglicher Störeffekte aufweisen, beispielsweise durch eine geeignete Filterung. Bei der Vorverarbeitung können beispielsweise Lichtreflexe reduziert werden. Die Vorverarbeitung kann eine, mehrere oder alle der folgenden Vorverarbeitungen aufweisen:
Reduktion von Spiegelungen und/oder Reflexionen;
Ausgleich von Helligkeitsschwankungen und/oder Schatten;
Auswahl und Gewichtung von 2D-Bildern abhängig von einer Bildqualität (z.B. abhängig von Schärfe, Kontrast und/oder anderen Qualitätsmerkmalen) und/oder Posenqualität;
Nachschärfung und/oder Kompensation von Bewegung.
Bei 54 erfolgen die Bestimmung der Rückprojektionen in Abhängigkeit von den Posen, der 3D- Sollgeometrie und der intrinsische Kameramatrix, um die 2D-Bilder auf Flächen oder Facetten der 3D- Sollgeometrie rückzuprojezieren.
Die Funktionsweise der Verarbeitungsschaltung 34 und von Verfahren nach Ausführungsbeispielen wird unter Bezugnahme auf Figur 6 bis Figur 14 anhand beispielhafter Geometrien und 2D-Bilder veranschaulicht und weiter erläutert. Figur 6 zeigt eine beispielhafte ist-Geometrie 60 eines Inspektionsobjekts. Das Inspektionsobjekt weist mehrere Seitenflächen 61, 62, 63 auf. An einer ersten Fläche 61 können Vorsprünge 64 ausgebildet sein. An einer weiteren Fläche 62 kann ein Vorsprung 65 ausgebildet sein. An noch einer weiteren Fläche 63 kann ein Vorsprung 67 ausgebildet sein. Die noch weitere Fläche 63 kann darüber hinaus beispielsweise einen farblich oder hinsichtlich seiner Textur abgesetzten Bereich 66 aufweisen.
Figur 7 zeigt beispielhaft die 3D-Sollgeometrie 70 des Inspektionsobjekts die 3D-Sollgeometrie 70 definiert die Seitenflächen 71, 72, 73 die 3D-Sollgeometrie 70 definiert Vorsprünge 74, die an einer ersten Fläche 71 der 3D-Sollgeometrie ausgebildet sind. Die 3D-Sollgeometrie 70 definiert einen Vorsprung 75, der an der weiteren Fläche 72 ausgebildet ist. Insoweit stimmt bei den dargestellten beispielhaften Konfigurationen die Ist-Geometrie für die Flächen 61,62 mit der 3D-Sollgeometrie der korrespondierenden Flächen 71,72 überein. Nach der 3D-Sollgeometrie 70 weist die noch weitere Fläche 73 jedoch keinen Vorsprung auf. Der Vorsprung 67 stellt somit eine Abweichung zwischen ist- Geometrie und 3D-Sollgeometrie.
Figur 8 zeigt beispielhaft ein erstes 2 D-Bild 41 des Inspektionsobjekts, auf dem die Flächen 61, 62 und 63 abgebildet sind. Figur 9 zeigt beispielhaft ein weiteres 2D-Bild 42 des Inspektionsobjekts, auf dem die Flächen 62 und 63 und eine zusätzliche, in Figur 6 perspektivisch verdeckte Fläche dargestellt sind. Die 2D-Bilder 41 und 42 unterscheiden sich hinsichtlich der relativen Pose, hier insbesondere sowohl hinsichtlich der translatorischen Position als auch der rotatorischen Ausrichtung, zwischen der Kamera 20 und dem Inspektionsobjekt.
Figur 10 zeigt eine erste Rückprojektion 81. Die erste Rückprojektion 81 wird durch Projektion des ersten 2D-Bilds 41 auf die 3D-Sollgeometrie 70 erhalten. Zur Vereinfachung ist nur die Rückprojektion auf die Flächen 72 und 73 dargestellt, die sowohl in dem ersten 2D-Bild 41 als auch in dem zweiten 2D-Bild 42 sichtbar sind. Die Formabweichung 67 der Ist-Geometrie wird in der ersten Rückprojektion 81 in einen Bereich 87 rückprojiziert. Der Bereich 87 liegt auf einer Fläche oder Facette 84, die der Fläche 73 der 3D-Sollgeometrie 70 zugeordnet ist. Ähnlich wird durch die Rückprojektion auf die Fläche 72 der 3D-Sollgeometrie 70 eine Projektion 83 des ersten 2 D-Bilds 41 auf diese Fläche oder Facette erhalten.
Figur 11 zeigt eine zweite Rückprojektion 82. Die zweite Rückprojektion 82 wird durch Projektion des zweiten 2D-Bilds 42 auf die 3D-Sollgeometrie 70 erhalten. Zur Vereinfachung ist nur die Rückprojektion auf die Flächen 72 und 73 dargestellt, die sowohl in dem zweiten 2 D-Bild 42 als auch in dem zweiten 2D-Bild 42 sichtbar sind. Die Formabweichung 67 der Ist-Geometrie wird in der zweiten Rückprojektion 82 in einen Bereich 88 rückprojiziert. Der Bereich 88 liegt auf einer Fläche oder Facette 86, die der Fläche 73 der 3D-Sollgeometrie 70 zugeordnet ist. Ähnlich wird durch die Rückprojektion auf die Fläche 72 der 3D-Sollgeometrie 70 eine Projektion 85 des zweiten 2D-Bilds 42 auf diese Fläche oder Facette erhalten. Wie bereits aus Figur 10 und Figur 11 ersichtlich ist, sind die Projektionsflächen 83, 85 zueinander konsistent. Auf den Projektionsflächen 84, 86 liegen jedoch Inkonsistenzen vor, die durch die Projektion des in den 2D-Bildern 41,42 sichtbaren Vorsprungs 67 auf die Fläche 73 der 3D-
Sollgeometrie 70 hervorgerufen werden.
Zur Quantifizierung und Lokalisierung der Abweichung in der Form des Inspektionsobjekts von der 3D-Sollgeometrie können die Rückprojektionen quantitativ verglichen werden. Hierzu kann beispielsweise ein Differenzbild, eine bildpunktweise Varianz oder eine bildpunktweise Streuung der Rückprojektionen ermittelt werden.
Figur 12 zeigt beispielhaft ein Differenzbild 90, das durch pixelweise Subtraktion der Rückprojektionen 81 und 82 von Figur 10 und Figur 11 erhalten wird. Der Vergleich der Rückprojektionen berücksichtigt, dass das Bestimmen der Rückprojektionen 81, 82 für Ihre Vergleichbarkeit eine Interpolation von Bildpixeln bei der Rückprojektion erfordern kann. Perspektive und perspektivische Auflösung einer Einzelfacette sind in den 2D-Bildern 41, 42 im Allgemeinen unterschiedlich. Dies kann durch die Interpolation berücksichtigt werden. Dadurch wird ein Vergleich erleichtert, wenn Perspektive und perspektivische Auflösung einer Einzelfacette in den 2D-Bildern 41, 42 unterschiedlich sind.
Die durch die Formabweichung 67 hervorgerufenen Unterschiede zwischen den Rückprojektionen 81 und 82 führen dazu, dass das Differenzbild 90 in einem der ersten Fläche 63 zugeordneten Bereich von Null verschiedene Pixelwerte (also von Null verschiedene Differenzen zwischen den Rückprojektionen) aufweist. Ein entsprechender Bereich 91, in dem ein Betrag des Differenzbildes von Null verschieden ist, zeigt an, dass die Formabweichung 67 auf der Fläche 63 der ist-Geometrie oder der Fläche 73 der 3D-Sollgeometrie vorliegt.
Das Ergebnis der Ermittlung, ob eine Formabweichung vorliegt, sowie der Lokalisierung der Formabweichung kann auf unterschiedliche Weisen genutzt werden. Beispielsweise kann eine Mensch-Maschine-Schnittstelle derart angesteuert werden, dass in Bezug auf das Inspektionsobjekt dargestellt wird, ob und gegebenenfalls wo eine Formabweichung zwischen ist-Geometrie und 3D- Sollgeometrie vorliegt.
Figur 13 und Figur 14 zeigen beispielhaft Visualisierung 95, 96 der bestimmten Formabweichung. Figur 13 zeigt eine Visualisierung, bei der das Vorhandensein und die Lage der Formabweichung als Überlagerung 97 auf einem der 2D-Bilder 41 dargestellt wird. Figur 14 zeigt eine Visualisierung 96, bei der das Vorhandensein und die Lage der Formabweichung als Überlagerung 97 auf einer Wiedergabe der 3D-Sollgeometrie 70 dargestellt ist.
Ausführungsbeispiele der Erfindung nutzen somit eine Kamera 20, z.B. die in einem Smartphone oder einem anderen Kommunikationsendgerät, beispielsweise eine Tablet, verbaute Kamera. Mit dieser Kamera 20 werden Bilder, die Teil einer Videosequenz sein können, aus unterschiedlichen Richtungen mit Blick auf das Inspektionsobjekt aufgenommen. In den Bildern wird das Inspektionsobjekt erkannt und die Pose (Translation und Orientierung) zwischen Kamera und Objekt bestimmt.
Zur Formabweichungsdetektion werden von der Verarbeitungsschaltung 34 die digitalen 2D- Bildaufnahmen des Ist-Zustands bei der digitalen Verarbeitung als Textur auf die 3D-Sollgeometrie zurückprojiziert. Die Überlagerung aus unterschiedlichen Perspektiven ist immer dann perfekt stimmig, wenn die Ist-Geometrie mit der 3D-Sollgeometrie übereinstimmt. Dagegen passen die digitalen Rückprojektionen nicht zusammen, wenn eine 3D-Formabweichung vorliegt. Die Formabweichung kann resultieren aus einer fehlenden Komponente, einer zusätzlich verbauten Komponente, einem Anbau einer Komponente mit falscher Form oder fehlerhafter Komponentenausrichtung (Translation oder Rotation) und/oder einem oder mehreren Fremdkörpern (beispielsweise Werkzeugen) am Inspektionsobjekt. Die Auswertung erfolgt auf verschiedenen Einzelfacetten der 3D-Sollgeometrie, die in wenigstens zwei 2D-Bildern abgebildet sind. Die Auswertung kann für jede der Einzelfacetten der 3D-Sollgeometrie erfolgen, die die in wenigstens zwei 2D-Bildern abgebildet sind.
Da nur die rückprojizierte, perspektivische Überlagerung als Information aus der realen Welt verarbeitet wird, ist das Ergebnis weitgehend unabhängig vom Erscheinungsbild des Inspektionsobjekts. Insbesondere sind die offenbarten Verfahren, Vorrichtungen und Systeme relativ robust gegenüber Variationen der Umgebung (hellere oder dunklere Umgebung) oder Inspektionsobjektausleuchtung. Auch die Farbe oder Textur des Inspektionsobjekts spielen eine untergeordnete Rolle, denn solange die Rückprojektion in sich stimmig ist, wird die Färb- oder Textur- Information in der Auswertung der Unterschiede mehrerer Rückprojektionen aufgehoben.
Als Referenz-Modell (3D-Sollgeometrie) dient lediglich die sichtbar wahrnehmbare äußere 3D- Hülle des Inspektionsobjekts. Einzelkomponenten eines Aufbaus müssen nicht separat adressierbar sein oder virtuell auseinander gebaut werden können. Damit lässt sich auch ein digitalisiertes 3D- Objekt (Formmodell ohne Textur) als Referenz nutzen, was neue Anwendungen eröffnet (beispielsweise beim Re-Engineering oder bei der rechnergestützten Fertigung). Insbesondere die Anwendung auf Formmodelle ohne Textur ist von besonderer praktischer Bedeutung.
Das Inspektionsergebnis dieser 3D-Formabweichung liegt als 2D-Differenzbild bezüglich aller Flächen oder Facetten der 3D-Sollgeometrie vor. Falschfarbenkodiert (z.B. grün - keine Abweichung, rot - starke Abweichung der perspektivischen Rückprojektion) erlaubt die Ansicht aus unterschiedlichen Perspektiven eine schnelle Einschätzung, in welchen Bereichen Abweichungen vorliegen.
Ein weiterer Vorteil der Verfahren, Vorrichtungen und Systeme besteht darin, dass die Auswertung von bereits verfügbaren 2D-Bildern parallel zur (weiteren) Datenaufnahme erfolgen kann. Zusätzliche 2D-Bilder (beispielsweise aus einer Fortsetzung einer Bildsequenz oder einer weiteren Bildsequenz) können der Auswertung hinzugefügt werden, um das Ergebnis mit zusätzlichen Perspektiven (Rückseite, Detailaufnahme einzelner Bereiche) zu verbessern oder zu ergänzen.
Ein weiterer Vorteil der Verfahren, Vorrichtungen und Systeme besteht darin, dass der Aufwand zur Einrichtung gering ist. Es muss lediglich die 3D-Hülle des Inspektionsobjekts als Referenzmodell (3D-Sollgeometrie) vorliegen. Weitere verwendete Daten, wie Kalibrationsparameter der Kamera 20 (Kameramatrix und/oder Verzeichnungsparameter), können für die verwendete Kamera 20 einmalig bestimmt und nichtflüchtig gespeichert werden.
Die zur Bestimmung der Rückprojektionen ebenfalls verwendeten Posen der Kamera 20 relativ zum Inspektionsobjekt (beispielsweise relativ zum Koordinatensystem 12) können bildbasiert bestimmt werden. Alternativ oder zusätzlich können Sensordaten verwendet werden, um die Posen (insbesondere alle sechs Freiheitsgrade der Pose) zu bestimmen. Aus den Kalibrationsparametern der Kamera in Kombination mit den Posen können die 2D-Bilder als Textur auf die einzelnen Facetten oder Flächen der 3D-Sollgeometrie rückprojiziert werden. Dabei wird ein Bereich des 2D-Bilds auf der entsprechenden Facette oder Fläche abgerollt, wobei die Zuordnung von Bildpunkt des 2D-Bilds zu Bildpunkt der Rückprojektion abhängig von den Kalibrationsparametern der Kamera (zur Bestimmung der Richtung des Weltpunkts in Bezug auf die Kamera) sowie abhängig von der Pose und der 3D- Sollgeometrie (zur Bestimmung der Lage des Weltpunkts entlang der Strahlrichtung) erfolgt.
Figur 15 ist ein Flussdiagramm eines Verfahrens 55, das von der Verarbeitungseinrichtung 30 oder der Verarbeitungsschaltung 34 automatisch ausgeführt werden kann. Verarbeitungsschritte, die unter Bezugnahme auf Figur 4 erläutert wurden, werden nicht erneut erläutert.
Das Verfahren 55 weist eine Bestimmung 53 von den 2D-Bildern zugeordneten Posen auf. Die Bestimmung der Rückprojektionen bei 54 erfolgt basierend auf den so bestimmten Posen.
Die Posen können bildbasiert bestimmt werden. Dabei kann eine Registrierung der 2D-Bilder im Hinblick auf die 3D-Sollgeometrie erfolgen. Die Kalibrationsparametern der Kamera können rechnerisch berücksichtigt werden, um zu bestimmen, welches 2D-Bild welcher Pose zugeordnet ist.
Sensordaten können bei der Posenbestimmung verwendet werden. Beispielsweise kann ein Positionssensor (beispielsweise ein GNSS-Sensor, z.B. ein GPS- oder Galileosensor), ein Beschleunigungs- oder Richtungssensor und/oder andere Sensoren verwendet werden, die in einem die Kamera 20 aufweisenden Handgerät verbaut sind, um die Posen oder Posenänderungen zwischen 2D-Bildern zu bestimmen.
Figur 16 zeigt eine Blockdiagrammdarstellung der Verarbeitungsschaltung 34. Zur Formabweichungsdetektion 35 kann die Verarbeitungsschaltung 34 eine Posenbestimmung ausführen, um die Relativposen zwischen Kamera und Inspektionsobjekt für die 2D-Bilder zu bestimmen. Die Posenbestimmung kann basierend auf den 2D-Bildern 105 in Kombination mit 3D- Sollgeometriedaten 106 erfolgen. Bei der Posenbestimmung 101 können auch Abbildungsparameter 107, insbesondere Kalibrationsparameter der Kamera 20, verwendet werden. Optional können zur Posenbestimmung 101 Sensordaten 108 verwendet werden, die von Sensoren des die Kamera 20 beherbergenden Handgeräts und/oder einem davon verschiedenen Positionierungssystem erfasst werden.
Eine Berechnung der Rückprojektionen 102 erfolgt abhängig von den 2D-Bildern 105, der 3D- Sollgeometrie 106 und den Abbildungsparametern 107 sowie den für die 2D-Bildern jeweils bestimmten Posen.
Eine Bestimmung 103 von Unterschieden zwischen Rückprojektionen auf dieselben Einzelfacetten oder Flächen der 3D-Sollgeometrie kann durch Differenzbildung oder anderweitige Bestimmung einer Streuung oder Varianz zwischen den Rückprojektionen erfolgen. Dabei wird ortsaufgelöst ermittelt, auf welchen Einzelflächen oder Einzelfacetten der 3D-Sollgeometrie Inkonsistenzen zwischen den Rückprojektionen vorliegen.
Eine Schnittstellensteuerung 104 ist eingerichtet, abhängig von den ermittelten Unterschieden zwischen Rückprojektionen ein oder mehrere Steuersignale 109 zu erzeugen und auszusteuern. Die ein oder mehreren Steuersignale 109 können zur Ansteuerung einer Mensch-Maschine-Schnittstelle dienen. Alternativ oder zusätzlich können die ein oder mehreren Steuersignale 109 eine Steuerfunktion herbeiführen, mit der beispielsweise ein Fertigungsprozess als Reaktion auf eine erkannte Formabweichung beeinflusst wird.
Die Mensch-Maschine-Schnittstelle, über die eine erkannte Formabweichung visualisiert werden kann, kann in die Verarbeitungseinrichtung 30 integriert oder fern von dieser vorgesehen sein.
Figur 17 zeigt eine Ausgestaltung des Systems 10, bei der die Kamera 20 in einem als Handgerät 21 ausgebildeten Kommunikationsendgerät vorgesehen ist. Das Handgerät 21 weist auch die Mensch- Maschine-Schnittstelle 24 auf. Ein Ergebnis der Formabweichungsdetektion wird von der Verarbeitungseinrichtung 30 über eine Datenkommunikationsverbindung an das Handgerät 21 übertragen und dort über die Mensch-Maschine-Schnittstelle 24 ausgegeben.
Figur 18 zeigt eine Blockdiagrammdarstellung einer als Handgerät 21 ausgebildeten Bildaufnahmeeinrichtung. Die Bildaufnahmeeinrichtung weist die Kamera 20 mit einer Abbildungsoptik 22 und einem Kamerachip 23 auf. Die Bildaufnahmeeinrichtung 21 weist ein oder mehrere Datenschnittstellen 26 auf, um erfasste 2D-Bilder an die Verarbeitungseinrichtung 30 bereitzustellen. Die Bildaufnahmeeinrichtung weist die Mensch-Maschine-Schnittstelle 24 auf, um ein Ergebnis der Formabweichungsdetektion auszugeben.
Die Bildaufnahmeeinrichtung kann optional ein oder mehrere Sensoren 25 aufweisen, die zum Bestimmen der Pose der Bildaufnahmeeinrichtung nützliche Daten erfassen. Die ein oder mehreren Sensoren 25 können beispielsweise Positionssensoren und/oder Richtungssensoren und/oder Bewegungssensoren aufweisen. Die mit dem einen oder den mehreren Sensoren 25 erfassten Daten können über die Datenschnittstelle(n) 26 der Verarbeitungseinrichtung 30 bereitgestellt werden, beispielsweise als Metadaten der 2D-Bilder oder in einer anderen Weise, die eine Zuordnung der Sensordaten zu den 2D-Bildern ermöglicht.
Die Bildaufnahmeeinrichtung weist eine Steuerschaltung 110 auf. Die Steuerschaltung 110 kann ein oder mehrere integrierte Schaltungen, beispielsweise Prozessoren, anwendungsspezifische Spezialschaltungen, Controller, Feld-programmierbare Gate-Arrays und/oder andere integrierte Halbleiterschaltungen aufweisen. Die Steuerschaltung 110 kann eine Kamerasteuerung 111 zum Ansteuern einer Bilderfassung durch die Kamera 20 ausführen. Die Steuerschaltung 110 kann eine optionale Vorverarbeitung 112 der erfassten 2D-Bilder vor deren Ausgabe über die Datenschnittstelle 26 aufweisen. Die Steuerschaltung 110 kann eine Schnittstellensteuerung 113 aufweisen, um die Datenschnittstelle 26 zum Bereitstellen der 2D-Bilder zu steuern. Alternativ oder zusätzlich kann die Schnittstellensteuerung 113 eingerichtet sein, die Mensch-Maschine-Schnittstelle 24 basierend auf einem über die Datenschnittstelle 26 empfangenen Ergebnis der Formabweichungsdetektion durch die Verarbeitungseinrichtung 30 zu steuern.
Figur 19 zeigt eine Abwandlung, bei der die Bildaufnahmeeinrichtung so ausgestaltet ist, dass die Steuerschaltung 110 die Formabweichungsdetektion 35 ausführt. Das Ergebnis der Formabweichungsdetektion 35 kann lokal an der Mensch-Maschine-Schnittstelle 24 ausgegeben werden. Das Ergebnis der Formabweichungsdetektion kann über die wenigstens eine Datenschnittstelle 26 ausgegeben werden, beispielsweise zur Speicherung und/oder zur Verwendung bei einer Behebung der Formabweichung.
Figur 20 ist ein Flussdiagramm eines Verfahrens 120, das von der Verarbeitungseinrichtung 30 oder der Verarbeitungsschaltung 34 automatisch ausgeführt werden kann. Bei dem Verfahren 120 wird das Ergebnis der Formabweichungsdetektion zur Ansteuerung einer Mensch-Maschine- Schnittstelle verwendet. Die Mensch-Maschine-Schnittstelle kann fern von der Verarbeitungseinrichtung 30 und integriert in ein Handgerät vorgesehen sein, das auch die Kamera 20 aufweist.
Bei 121 bestimmt die Verarbeitungsschaltung mehrere Rückprojektionen von 2D-Bildern auf Flächen oder Facetten einer 3D-Sollgeometrie. Dadurch werden die 2D-Bilder als Textur auf die Flächen oder Facetten abgerollt. Bei 121 werden die Rückprojektionen miteinander verglichen, um Inkonsistenzen zu identifizieren, die durch eine vorliegende Formabweichung hervorgerufen werden.
Bei 122 wird eine Mensch-Maschine-Schnittstelle angesteuert, um die Formabweichung in Bezug auf das Inspektionsobjekt zu visualisieren. Die Visualisierung kann beispielsweise als Überlagerung auf einem der erfassten 2D-Bilder oder als Überlagerung auf einer Darstellung der 3D- Sollgeometrie erfolgen. Auch wenn beispielhaft eine Ausgabe und Nutzung des Detektionsergebnisses durch Visualisierung der Formabweichung erläutert wurde, kann das Ergebnis auch in anderer Weise genutzt werden, um eine Rückmeldung zur vorliegenden Formabweichung zu geben und/oder die ermittelte Information über die vorliegende Formabweichung weitergehen zu nutzen.
Die Verfahren, Vorrichtungen und Systeme können eine (fusionierter) Bewegungssensorik 25 zur Erleichterung und/oder Stabilisierung der Posenbestimmung verwenden. Hierzu kann beispielsweise eine explizite Fusionierung mit Beschleunigungssensordaten und/oder Tiefenbilddaten erfolgen. Alternativ oder zusätzlich kann eine indirekte Nutzung durch Geräte erfolgen, die AR („Augmented-Reality") unterstützen, beispielsweise Kommunikationsendgeräte wie ein Smartphone oder Tablet.
Bei den Verfahren, Vorrichtungen und Systemen kann ein Handgerät mit einer Anzeige als Mensch-Maschine-Schnittstelle 24 zur Visualisierung der Formabweichung, Nutzerführung oder zur Darstellung der Bereiche, die bereits mit 2D-Bildern abgebildet wurden.
Bei den Verfahren, Vorrichtungen und Systemen kann die Bildaufnahme der 2D-Bilder unter Nutzung von Filtern (beispielsweise Färb- und/oder Polarisationsfiltern) zur Unterdrückung von Störeinflüssen erfolgen. Glanz, Transparenz oder ähnliche Störeinflüsse können so unterdrückt werden. Alternativ oder zusätzlich kann die Bildaufnahme in einem spektral verschobenen Bereich, beispielsweise in einem IR- oder UV-Spektralbereich, erfolgen.
Bei den Verfahren, Vorrichtungen und Systemen ist es vorteilhaft, wenn das digitale 3D-Modell der sichtbaren Hülle, also die 3D-Sollgeometrie, eine passende Skalierung zum realen Objekt aufweist. Falls dies nicht der Fall ist, kann eine Skalierung erfolgen, um die Verarbeitung zu erleichtern. Falls die 3D-Sollgeometrie nicht richtig oder ausreichend genau skaliert ist, kann sie mittels eines Skalierungsverfahrens hinreichend skaliert oder abgeglichen werden. Dazu kann beispielsweise fusionierte Bewegungssensorik verwendet werden.
Die die 3D-Sollgeometrie definierenden Daten können ein oder mehrere Netze zur Definition der äußeren sichtbaren Hülle aufweisen. Es ist nicht erforderlich, aber möglich, dass Einzelkomponenten in der 3D-Sollgeometrie separat adressierbar sind.
Bei den Verfahren, Vorrichtungen und Systemen kann eine Vorverarbeitung der die 3D- Sollgeometrie definierenden Daten vorgenommen werden. Die Vorverarbeitung kann derart erfolgen, dass die Rückprojektionen möglichst effizient rechnerisch vorgenommen werden können. Beispielsweise kann eine Umwandlung in eine Repräsentation als Netz (das in der Technik häufig auch als „mesh" bezeichnet wird), als mehrere Netze in geeigneter Größe, geeignete Indizierung der Flächen oder Facetten oder Netze vorgenommen werden.
Die Verfahren, Vorrichtungen und Systemen können so eingerichtet sein, dass eine intelligente Bildaufnahme der 2D-Bilder und/oder eine Bilddatenreduktion erfolgt. Dies kann eine, mehrere oder alle der folgenden Maßnahmen aufweisen: Entfernen oder Reparatur schlechter Bilddaten (z.B. kompensiert durch Bildinformation benachbarter 2D-Bilder einer Sequenz); selektives Auslösen einer Bildaufnahme, wenn eine rotatorische und/oder translatorische Mindestbewegung relativ zum letzten aufgenommenen Bild erfolgte. Für die letzte Maßnahme kann die Bewegung anhand des zusätzlichen Sensors 25 oder der zusätzlichen Sensoren 25 ermittelt werden.
Die Verfahren, Vorrichtungen und Systemen können so eingerichtet sein, dass die Verarbeitung von erfassten 2D-Bildern ausgeführt und Zwischenergebnisse der Formabweichungsdetektion visualisiert oder anderweitig genutzt werden, während noch weitere 2D-Bilder erfasst werden.
Die Verfahren, Vorrichtungen und Systemen können so eingerichtet sein, dass ein Zwischenergebnis und/oder ein finales Ergebnis der Formabweichungsdetektion aus unterschiedlichen Perspektiven visualisiert wird.
Die Verfahren, Vorrichtungen und Systemen können so eingerichtet sein, dass die Visualisierung als Augmentierung aus der aktuellen Perspektive des Nutzers bzw. des Handgeräts in räumlicher Beziehung zum Inspektionsobjekt erfolgt.
Die Verfahren, Vorrichtungen und Systemen können so eingerichtet sein, dass zusätzliche 2D- Bilder oder Bildsequenzen von 2D-Bildern empfangen und verarbeitet werden, um das Ergebnis zu verbessern oder zusätzliche Ansichten (z.B. Rückseite) zu ergänzen
Die Verfahren, Vorrichtungen und Systemen können so eingerichtet sein, dass die Bilderfassung geführt oder gesteuert wird. Dies kann insbesondere für komplexe Geometrien vorteilhaft sein. Dabei werden durch die Verarbeitungsschaltung 34 oder die Verarbeitungseinrichtung 30 gewünschte Beobachtungsposen berechnet. Diese können verwendet werden, um einen Nutzer dahingehend zu führen, diese oder ähnliche Kameraperspektiven einzunehmen. Alternativ oder zusätzlich können Aktuatoren gesteuert werden, um die Kamera und das Inspektionsobjekt in einer gewünschten Relativpose zueinander zu positionieren.
Figur 21 ist ein Flussdiagramm eines Verfahrens 125. Das Verfahren 125 kann von dem System 10 automatisch ausgeführt werden.
Bei 126 wird unter Kontrolle der Verarbeitungsschaltung 34 die Bilderfassung der 2D-Bilder geführt oder gesteuert. Dazu können gewünschte Posen ermittelt werden, aus denen das Inspektionsobjekt mit der Kamera 20 erfasst werden soll. Das Führen der Bilderfassung kann eine Erzeugung und Ausgabe von Anweisungen an einen Nutzer des Handgeräts 21 aufweisen. Die Anweisungen können von der aktuellen Pose des Handgeräts 21 abhängen.
Bei 127 werden die erfassten 2D-Bilder als Textur auf Flächen oder Facetten der 3D- Sollgeometrie abgerollt, um die Rückprojektionen zu ermitteln. Die Rückprojektionen werden flächenweise oder facettenweise verglichen, um zu ermitteln, ob und gegebenenfalls wo eine Formabweichung vorliegt. Bei 128 wird eine Ausgabe erzeugt, die auf einem Ergebnis des Bergleichs der Rückprojektionen beruht. Die Ausgabe kann eine Visualisierung der detektierten Formabweichung und/oder
Steuersignale zum Ausfüllen einer Steuerfunktionen aufweisen.
Figur 22 ist ein Flussdiagramm einer Prozedur 130. Die Prozedur 130 kann von dem System 10 automatisch ausgeführt werden, um Schritt 126 des Verfahrens 125 zu implementieren.
Bei 131 kann optional eine Mensch-Maschine-Schnittstelle so angesteuert werden, dass eine Eingabe ermöglicht wird, die Flächen festlegt, die auf das Vorliegen von Formabweichungen zu prüfen sind.
Bei 132 kann die Verarbeitungsschaltung 34 basierend auf den festgelegten Flächen sowie der 3D-Sollgeometrie Posen bestimmen, in denen eine Bildaufnahme erfolgen soll. Dies kann so implementiert werden, dass jede der festgelegten Flächen auf wenigstens zwei 2D-Bildern abgebildet ist.
Bei 133 kann die Verarbeitungsschaltung 34 eine Steuerfunktion ausführen, die von den bestimmten Posen abhängt. Durch die Steuerfunktion kann ein Nutzer des Handgeräts 21 zur Bildaufnahme geführt werden. Alternativ oder zusätzlich können durch die Steuerfunktion ein oder mehrere Aktuatoren gesteuert oder geregelt werden, um die gewünschten Relativposen zwischen der Kamera 20 und dem Inspektionsobjekt zu realisieren.
Figur 23 und Figur 24 zeigen beispielhafte Systeme, die für die Formabweichungsdetektion gemäß den hier detailliert offenbarten Techniken eingerichtet sind. Die Systeme 10 von Figur 23 und Figur 24 weisen jeweils einen oder mehrere Aktuatoren auf, wobei die Verarbeitungsschaltung 34 eingerichtet ist, den oder die Aktuatoren so zu steuern, dass gewünschte Relativposen zwischen der Kamera 20 und dem Inspektionsobjekt 11 realisiert werden.
Figur 23 zeigt ein System 10, das einen Roboter 140 aufweist. Der Roboter 140 kann eine bewegliche Roboterbasis 141 und/oder ein oder mehrere weitere Aktuatoren 142 zum Positionieren der Kamera 20 aufweisen. Der Roboter 140 kann einen mehrachsigen Roboterarm aufweisen, der es ermöglicht, die Kamera 20 in unterschiedlichen Ausrichtung relativ zum Inspektionsobjekt 11 zu positionieren.
Die Verarbeitung der erfassten 2D-Bilder durch die Verarbeitungseinrichtung 30 erfolgt wie bereits oben detailliert erläutert.
Figur 24 zeigt ein System 10, das ein steuerbares Flugobjekt 150 aufweist. Das steuerbare Flugobjekt 150 kann unter Kontrolle der Verarbeitungseinrichtung 30 eine daran montierte Kamera 20 in gewünschte Relativposen zum Inspektionsobjekt 11 positionieren. Das Flugobjekt 150 kann Aktuatoren aufweisen, die es ermöglichen, die Kamera 20 relativ zum Flugobjekt 150 zu verschieben und in unterschiedlichen Ausrichtung relativ zum Inspektionsobjekt 11 zu positionieren. TI
Wie bereits erläutert, benötigen die Verfahren, Vorrichtungen und Systeme nach Ausführungsbeispielen einen relativ geringen Einrichtungsaufwand. Insbesondere ist keine strukturierte Beleuchtung erforderlich.
Es ist vorteilhaft, wenn eine Beleuchtungsquellen oder mehreren Beleuchtungsquellen zum Ausleuchten des Inspektionsobjekts 11 bei der Erfassung der 2D-Bilder relativ zum Inspektionsobjekt 11 ihre Position beibehalten. Durch eine derartige Ausgestaltung werden Schatteneffekte wenigstens teilweise kompensiert, wenn die Rückprojektionen miteinander verglichen werden.
Figur 25 ist eine schematische Darstellung des Systems 10 nach einem Ausführungsbeispiel, das zusätzlich zur Kamera 20 und der in einer Verarbeitungseinrichtung 30 vorgesehenen Verarbeitungsschaltung 34 eine oder mehrere Beleuchtungsquellen 16 aufweist. Wenn sich die Kamera 20 relativ zum Inspektionsobjekt 11 bewegt, bleiben die eine oder mehreren Beleuchtungsquellen 16 ortsfest im Koordinatensystem 12 des Inspektionsobjekts 11.
Während unter Bezugnahme auf Figur 2, Figur 3, Figur 23 und Figur 24 Ausgestaltungen beschrieben wurden, bei denen die Kamera 20 bewegt wird und das Inspektionsobjekt 11 ortsfest bleiben kann, kann das System 10 alternativ oder zusätzlich so eingerichtet sein, dass das Inspektionsobjekt 11 translatorisch und/oder rotatorisch bewegt wird
Figur 26 zeigt ein System 10 nach einem Ausführungsbeispiel, das zusätzlich zur Kamera 20 und der Verarbeitungseinrichtung 30 mit der Verarbeitungsschaltung 34 ein oder mehrere Aktuatoren 145, 146 aufweist. Der Aktuator oder die Aktuatoren 145, 146 sind eingerichtet, eine translatorische Bewegung 148 und/oder eine Rotationsbewegung 147 des Inspektionsobjekts 11 herbeizuführen. Die ein oder mehreren Aktuatoren 145, 146 können von der Verarbeitungseinrichtung 30 gesteuert werden. Die Steuerung kann so erfolgen, dass jede relevante Fläche oder Facette des Inspektionsobjekts 11 in wenigstens zwei und optional mehr als zwei 2D-Bildern abgebildet ist.
Bei allen offenbarten Ausgestaltungen kann das Verfahren, die Vorrichtung oder das System eingerichtet sein, an dem Nutzer rückzumelden, welche Bereiche mit keiner oder unzureichender Abdeckung von 2D-Bildern aufgenommen wurden. Die Verarbeitungseinrichtung 30 kann eingerichtet sein, Vorschläge oder Anweisungen zu erzeugen und über das Handgerät 21 auszugeben, um den Nutzer zu instruieren, wo und wie das Handgerät noch bewegt oder positioniert werden soll.
Figur 27 ist ein Flussdiagramm eines Verfahrens 160, das von der Verarbeitungseinrichtung 30 oder der Verarbeitungsschaltung 34 automatisch ausgeführt werden kann. Mit dem Verfahren 160 können Zwischenergebnisse, die aus einer Gruppe von 2D-Bildern bestimmt werden, ausgegeben werden, während parallel weitere 2D-Bilder erfasst und verarbeitet werden.
Bei 161 und 162 werden, wie bereits erläutert, Rückprojektionen von 2D-Bildern auf die 3D- Sollgeometrie bestimmt und miteinander verglichen. Eine Ausgabe wird basierend auf einem Vergleichsergebnis der Rückprojektionen erzeugt. Parallel zu diesen Schritten 161 und 162 können weitere 2D-Bilder erfasst werden.
Bei 163 wird überprüft, ob die weiteren 2D-Bilder verfügbar sind. Falls weitere 2D-Bilder verfügbar sind, können für diese zusätzliche Rückprojektionen ermittelt werden. Alternativ oder zusätzlich kann eine Prüfung erfolgen, ob weitere Bildaufnahmen erforderlich sind oder empfohlen werden, wobei der Nutzer durch eine Ausgabe über eine Mensch-Maschine-Schnittstelle zur Erfassung weiterer 2D-Bilder angeleitet werden kann. Die Verarbeitung kann aktualisiert werden, indem für bereits überprüfte Flächen oder Facetten der 3D Sollgeometrie weitere 2D-Bilder berücksichtigt werden und/oder indem der Vergleich von Rückprojektionen für weitere Flächen oder Facetten ausgeführt wird, für die bislang kein Vergleichsergebnis vorlag.
Wie bereits erwähnt können die Daten, die die 3D-Sollgeometrie definieren, in einer Vielzahl von unterschiedlichen Formen vorliegen. Es kann vorteilhaft sein, die 3D-Sollgeometrie so festzulegen, dass die Rückprojektionen effizient vorgenommen werden können und gleichzeitig eine Vielzahl unterschiedlicher Geometrie darstellbar ist. Für die flächen- oder facettenweise Ermittlung der Rückprojektionen kann es insbesondere vorteilhaft sein, 3D-Sollgeometrie durch ein Netz („mesh") zu definieren. Falls die 3D-Sollgeometrie ursprünglich in einem anderen Format vorliegt, kann eine Umwandlung in ein oder mehrere Netze („meshes") erfolgen.
Figur 28 zeigt einen Anwendungsfall der offenbarten Vorrichtungen und Verfahren. Die Vorrichtungen und Verfahren können eingesetzt werden zum Erkennen einer Formabweichung, die aus einem Fremdkörper 17 (beispielsweise einem Werkzeug 17) am Inspektionsobjekt 11 resultieren. Somit können die offenbarten Vorrichtungen und Verfahren eingerichtet sein zum Erkennen von Werkzeugen, die beispielsweise nach Wartungsarbeiten am Inspektionsobjekt 11 verblieben sind.
Figur 29 zeigt beispielhaft eine derartige Repräsentation, bei der ein gekrümmter Oberflächenabschnitt 18 des Inspektionsobjekts durch ein Netz 19 approximiert wird. Die beschriebenen Techniken der Rückprojektion und des Vergleichs von Rückprojektionen können so ausgeführt werden, dass die 2D-Bilder jeweils auf die unterschiedlichen (typischerweise Ebenen) Facetten des Netzes abgerollt werden und dann facettenweise miteinander verglichen werden.
Figur 30 ist ein Flussdiagramm eines Verfahrens 170. Bei dem Verfahren werden bei Schritt 171 mehrere Rückprojektionen bestimmt und miteinander verglichen, wie dies bereits beschrieben wurde.
Das Verfahren 170 weist einen Schritt 172 eines Verwendens der Vergleichsergebnisse auf. Das Verwenden der Vergleichsergebnisse kann ein Identifizieren einer Formabweichung aufweisen, die resultieren kann aus einer fehlenden Komponente, einer zusätzlich verbauten Komponente, einem Anbau einer Komponente mit falscher Form oder fehlerhafter Komponentenausrichtung (Translation oder Rotation) und/oder Fremdkörpern (beispielsweise Werkzeugen) am Inspektionsobjekt. Die Auswertung erfolgt auf einer oder mehreren Einzelfacetten der 3D-Sollgeometrie, die in wenigstens zwei 2D-Bildern abgebildet sind. Schritt 172 kann ein Entfernen eines am Inspektionsobjekt 11 verbliebenen Fremdkörpers 17 abhängig von der Erkennung der Formabweichung aufweisen.
Bei allen offenbarten Verfahren, Vorrichtungen und Systemen können optionale zusätzliche oder alternative Merkmale eingesetzt werden.
Die Verfahren, Vorrichtungen und Systeme können eine Kamera 20 zur Bildaufnahme einsetzen, die eine Stereokamera oder Tiefenbildkamera aufweist.
Die Verfahren, Vorrichtungen und Systeme können eine Kamera 20 zur Bildaufnahme einsetzen, die einen verschobenen Spektralbereich (beispielsweise im IR oder UV-Bereich) aufweist).
Die Kamera 20 kann für eine monochrome oder multispektrale Bildaufnahme eingerichtet sein. Der Vergleich der Rückprojektionen kann separat für jeden der Bildkanäle erfolgen. Eine Abweichung der Rückprojektionen in bereits einem der Bildkanäle kann eine Formabweichung anzeigen.
Die Verfahren, Vorrichtungen und Systeme können eine Kamera 20 zur Bildaufnahme einsetzen, die in ein Kommunikationsendgerät integriert ist. Das Kommunikationsendgerät kann ein Handgerät sein, beispielsweise ein Smartphone, ein Tablet oder ein Laptop.
Die Verfahren, Vorrichtungen und Systeme können eine Kamera 20 zur Bildaufnahme einsetzen, die fest verbaut ist oder automatisiert bewegt wird. Auch Ausgestaltungen, bei denen die Kamera an einem Messarm angebracht ist, sind möglich.
Die Verfahren, Vorrichtungen und Systeme können so eingerichtet sein, dass alternativ oder zusätzlich zu einer Bewegung der Kamera 20 eine Bewegung des Inspektionsobjekts 11 herbeigeführt werden kann. Dazu kann das System 10 beispielsweise einen Drehteller aufweisen, auf dem das Inspektionsobjekt 11 positioniert ist.
Die Verfahren, Vorrichtungen und Systeme können so eingerichtet sein, dass zusätzlich zur 3D-Sollgeometrie noch weitere Informationen über das Inspektionsobjekt gespeichert sind und bei der Formabweichungsdetektion verwendet werden. Diese Informationen können beispielsweise aufweisen: o Texturinformation (beispielsweise betreffend Farbe, Glanz, Transparenz, Absorptionsgrad) o Auflösung in Einzelkomponenten o Information mit zusätzlichen Aufbaustufen oder Integrationsphasen des Inspektionsobjekts.
Die Verfahren, Vorrichtungen und Systeme können so eingerichtet sein, dass eine
Nutzerführung oder Rückmeldung zusätzlich oder alternativ zu einer Visualisierung auf dem Handgerät 21 in haptischer Form (z.B. Vibration), akustischer Form (z.B. verschiedene Töne) oder auf einer separaten optischen Ausgabeeinrichtung erfolgt.
Die Verfahren, Vorrichtungen und Systeme können so eingerichtet sein, dass eine Reduktion der Verarbeitung auf Teilflächen des 3D-Referenzmodells erfolgt, um das Verfahren zu beschleunigen. Beispielsweise können die Rückprojektionen selektiv für Facetten oder Flächen der 3D-Sollgeometrie, wenn deren geometrische Abmessung eine Mindestgröße erreicht oder überschreitet.
Die Verfahren, Vorrichtungen und Systeme können so eingerichtet sein, dass bei Verwendung von Aktuatoren zur Änderung der Relativpose zwischen Kamera 20 und Inspektionsobjekt 11 eine automatische Berechnung und Durchführung der Bewegung vor und während des Prozesses erfolgt.
Die Verfahren, Vorrichtungen und Systeme können nicht nur zur Detektion positiver Formabweichungen (also in Fällen, in denen die Oberfläche des Inspektionsobjekts im Vergleich zur 3D-Sollgeometrie auf die Kamera 20 hin versetzt ist) eingesetzt werden, sondern auch zur Detektion negativer Formabweichungen (also in Fällen, in denen die Oberfläche des Inspektionsobjekts im Vergleich zur 3D-Sollgeometrie von der Kamera 20 weg versetzt angeordnet ist). Die Verfahren, Vorrichtungen und Systeme können somit eingerichtet sein zur Detektion negativer Formabweichungen.
Eine Visualisierung der Formabweichung kann ortsabhängig das Vorliegen einer Formabweichung anzeigen. Beispielsweise kann eine Heatmap erzeugt und ausgegeben werden, um anzuzeigen, wo eine Formabweichung vorliegt. Unterschiedliche Farbkodierungen können verwendet werden.
Die Verfahren, Vorrichtungen und Systeme können so eingerichtet sein, dass eine Vorverarbeitung der 2D-Bilder erfolgt. Die Vorverarbeitung kann im Handgerät 21 und/oder in der Verarbeitungseinrichtung 30 ausgeführt werden. Die Verarbeitungsschritte können auf einzelnen 2D- Bildern oder auf der Gesamtheit der 2D-Bilder zur Ausnutzung unterschiedlicher Perspektiven basieren.
Mögliche Verarbeitungsschritte können Folgendes aufweisen:
Eine Reduktion von Spiegelungen und Reflexionen: Hierzu kann beispielsweise ein additives Modell verwendet werden, das das Bild in einen spekularen Anteil oder Glanzanteil und einen diffusen Anteil zerlegt. Ein trainiertes Maschinenlernmodell, beispielsweise ein trainiertes neuronales Netz, kann verwendet werden, um den diffusen Anteil vom Glanzanteil zu trennen. Das trainierte Maschinenlernmodell kann einen Eingang zum Empfangen des 2D-Bildes aufweisen. Das trainierte Maschinenlernmodell kann als Ausgang den diffusen Anteil oder den diffusen Anteil und das Glanzbild bereitstellen.
Ausgleich von Helligkeitsschwankungen und Schatten: Hierzu können klassische analytische Bildverarbeitungsmethoden eingesetzt werden. Beispielhaft sind Histogramm- basiere Techniken. Es ist auch möglich, ein trainiertes Maschinenlernmodell zu verwenden, wie dies unter dem vorangegangenen Spiegelstrich erläutert wurde.
Eine Auswahl und Gewichtung der Aufnahmen abhängig von der Bildqualität (Schärfe, Kontrast, ...) und/oder Posenqualität: Die Posenqualität kann durch eine Bewertung basierend auf der Posenberechnung ermittelt werden, die die Unsicherheit der ermittelten Pose widerspiegelt. Die Bildqualität kann basierend auf den Bilddaten bewertet werden (beispielsweise durch Erkennung von Spiegelungen oder schlechte Histogramme).
Nachschärfung und Kompensation von Bewegung: Hierzu kann eine Bewegungsunschärfe anhand der Gesamtheit der Bilder reduziert werden.
Implementierungsdetails derartiger Techniken sind dem Fachmann geläufig.
Die 2D-Bilder können insbesondere 2D-Bilder einer Bildsequenz, beispielsweise eine Videosequenz aufweisen. Vorteilhaft können die 2D-Bilder erfasst werden, während die Kamera 20 fortlaufend ihre Pose relativ zum Inspektionsobjekt ändert. Dies ermöglicht insbesondere, die 2D- Bilder als Bilder einer Videosequenz zu erfassen. Eine Auswahl geeigneter 2D-Bilder aus der Bildsequenz kann im Hinblick auf die Bildqualität, die Qualität der Posenbestimmung und die erforderliche Abdeckung der Facetten oder Flächen des Inspektionsobjekts erfolgen.
Bei einem Ausführungsbeispiel werden die Vorrichtung oder das System somit wie folgt eingesetzt: i. Die Kamera 20 ist in einem Handgerät 21 vorgesehen. Das Handgerät 21 wird in einen Betriebszustand zur Erfassung der 2D-Bilder versetzt. ii. Während einer Relativbewegung zwischen Handgerät 21 und Inspektionsobjekt 11 werden die 2D-Bilder erfasst. Die 2D-Bilder werden der Verarbeitungsschaltung 34 bereitgestellt. iii. Die Verarbeitungsschaltung 34 kann mehrere der 2D-Bilder für die weitere Verarbeitung auswählen. Die Verarbeitungsschaltung 34 bestimmt die Posen, die den mehreren 2D- Bildern zugeordnet sind. Die Auswahl kann wie oben beschrieben anhand von Gütekriterien erfolgen, die die 2D-Bilder, die Posenbestimmung und/oder die gewünschte Abdeckung des Inspektionsobjekts betreffen. iv. Die mehreren 2D-Bilder werden von der Verarbeitungsschaltung 34 rechnerisch auf die Facetten der 3D-Sollgeometrie rückprojiziert (also als Textur auf die Facetten abgerollt), die in ihnen abgebildet sind. v. Für jede Facette, für die mindestens zwei Rückprojektionen vorliegen, kann ein Vergleich der Rückprojektionen durch die Verarbeitungsschaltung 34 erfolgen. Dies kann eine Quantifizierung der Unterschiede beispielsweise durch pixelweise Differenzbildung (in der Facette, auf die die Rückprojektion erfolgt ist), pixelweise Ermittlung einer Streuung oder Varianz (jeweils in der Facette, auf die die Rückprojektion erfolgt ist), aufweisen. vi. Es wird eine von dem Vergleichsergebnis abhängige Ausgabe erzeugt. Dies kann eine Ansteuerung der Mensch-Maschine-Schnittstelle 24 zur Visualisierung der Formabweichung aufweisen. vii. Es kann eine Rückmeldung an den Nutzer erzeugt und ausgegeben werden, die Information über die bereits erzielte Abdeckung mit 2D-Bildern bereitstellt und/oder eine weitere Bilderfassung führt oder steuert. Die Rückmeldung kann auch die bereits erreichte Qualität der ortsaufgelösten Detektion der Formabweichung aufweisen. viii. Eine fortgesetzte Bildaufnahme und Verarbeitung der weiteren 2D-Bilder zur Verbesserung der Auswertungsergebnisse kann ermöglicht werden, während bereits eine Verarbeitung einer ersten Gruppe von 2D-Bildern erfolgt ist.
Wie erwähnt können die Verarbeitungsschaltung 34 und die Kamera 20 in zueinander beweglichen, unterschiedlichen baulichen Einheiten realisiert oder in einem einzigen Gerät kombiniert sein. Die Verarbeitungsschaltung 34 kann eine oder mehrere integrierte Schaltungen aufweisen, um die erforderliche Verarbeitungsschritte auszuführen. Die eine oder mehrere integrierte Schaltungen können beispielsweise jede beliebige oder jede beliebige Kombination der folgenden Schaltungen oder Schaltungskomponenten aufweisen: eine anwendungsspezifische Spezialschaltung (ASIC = „application specific integrated circuit"), ein Feld-programmierbares Gate-Array (FPGA), einen Prozessor, einen Controller, ein oder mehrere Quantengatter, eine Schaltung zur Quanteninformationsverarbeitung, weitere integrierte Schaltungen.
Während Ausführungsbeispiele unter Bezugnahme auf die Figuren beschrieben wurden, können Abwandlungen bei weiteren Ausführungsbeispielen realisiert werden. Beispielhafte spezifische Abwandlungen und Weiterbildungen wurden oben bereits erläutert. Weitere Abwandlungen sind möglich. Während beispielsweise die Erfassung der 2D-Bildern und eine optionale Vorverarbeitung vor Übertragung der 2D-Bilder unter Verwendung eines Handgeräts möglich ist, können auch andere mobile, insbesondere portable, Geräte eingesetzt werden.
Während Ausführungsbeispiele beschrieben wurden, die bei Systemen der industriellen Fertigung oder Qualitätskontrolle eingesetzt werden können, können die offenbarten Techniken auch in anderen Anwendungsgebieten eingesetzt werden.
Die vorliegende Offenbarung umfasst auch Ausführungsformen mit jeglicher Kombination von Merkmalen, die zu verschiedenen Ausführungsformen genannt oder gezeigt sind. Sie umfasst ebenfalls einzelne Merkmale in den Figuren, auch wenn sie dort im Zusammenhang mit anderen Merkmalen gezeigt sind und/oder vorstehend oder nachfolgend nicht genannt sind. Auch können die in den Figuren und der Beschreibung beschriebenen Alternativen von Ausführungsformen und einzelne Alternativen deren Merkmale vom Erfindungsgegenstand beziehungsweise von den offenbarten Gegenständen ausgeschlossen sein.
Die Ausdrücke „umfassen" sowie „aufweisen" und davon abgeleitete Begriffe zeigen eine nichtabschließende Beziehung an und schließen das Vorhandensein anderer Elemente oder Schritte nicht aus. Der unbestimmte Artikel „ein" bzw. „eine" und Ableitungen davon schließt nicht aus, dass eine Mehrzahl der entsprechenden Elemente vorhanden ist. Die Funktionen mehrerer in den Ansprüchen aufgeführter Merkmale können durch eine Einheit beziehungsweise einen Schritt erfüllt sein.
Ein maschinenlesbarer Befehlscode, der zur Ausführung von Verfahren nach Ausführungsbeispielen von einer programmierbaren Schaltung ausgeführt werden kann, kann auf einem geeigneten Medium gespeichert sein und/oder vertrieben werden, wie beispielsweise auf einem optischen Speichermedium oder einem Festmedium, das zusammen mit oder als Teil von anderer Hardware bereitgestellt wird. Der Befehlscode kann auch in anderer Form vertrieben werden, wie beispielsweise in Form einer modulierten Datensignalfolge.
Ausführungsbeispiele der Erfindung stellen verbesserte Techniken zur bildbasierten 3D- Forminspektion zur Verfügung, die insbesondere Verbesserungen im Hinblick auf Einrichtungsaufwand und Geschwindigkeit bei der Bereitstellung der Inspektionsergebnisse bieten.

Claims

ANSPRÜCHE
1. Verfahren zum Erkennen einer Formabweichung in drei Dimensionen, 3D, eines Inspektionsobjekts (11; 60) von einer 3D-Sollgeometrie (33; 70), wobei das Verfahren aufweist:
Empfangen von zweidimensionalen, 2D-, Bildern (41, 42) des Inspektionsobjekts (11; 60) durch wenigstens eine Verarbeitungsschaltung (34),
Bestimmen von mehreren Rückprojektionen (81, 82) auf die 3D-Sollgeometrie (33; 70) durch die wenigstens eine Verarbeitungsschaltung (34), wobei für mehrere 2D-Bilder (41, 42) des Inspektionsobjekts (11; 60) jeweils eine Rückprojektion auf wenigstens einen Teil der 3D- Sollgeometrie (33; 70) bestimmt wird, und
Durchführen eines Vergleichs der für die mehreren 2D-Bilder (41, 42) bestimmten Rückprojektionen (81, 82) durch die wenigstens eine Verarbeitungsschaltung (34) zum Erkennen der Formabweichung.
2. Verfahren nach Anspruch 1, wobei der Vergleich für jede von mehreren verschiedenen Facetten der 3D-Sollgeometrie (33; 70) ausgeführt wird.
3. Verfahren nach Anspruch 1 oder Anspruch 2, wobei die wenigstens eine Verarbeitungsschaltung (34) basierend auf dem Vergleich ortsaufgelöst ermittelt, in welchen Bereichen eine äußere Hülle des Inspektionsobjekts (11; 60) von einer äußeren Hülle der 3D-Sollgeometrie (33; 70) abweicht.
4. Verfahren nach einem der vorhergehenden Ansprüche, ferner aufweisend: Bereitstellen einer Ausgabe basierend auf der erkannten Formabweichung.
5. Verfahren nach Anspruch 4, wobei die Ausgabe eine ortsaufgelöste Visualisierung der erkannten Formabweichung aufweist.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Bestimmen der mehreren Rückprojektionen (81, 82) basierend auf Posen einer Bilderfassungseinrichtung bei Erfassung der 2D-Bilder (41, 42) erfolgt, wobei das Verfahren ferner ein Ermitteln der Posen durch die wenigstens eine Verarbeitungsschaltung (34) aufweist.
7. Verfahren nach Anspruch 6, wobei das Ermitteln einer Pose für ein 2 D-Bild unter Verwendung von dem 2D-Bild, der 3D-Sollgeometrie (33; 70) und Kameraparametern einer zum Erfassen des 2D-Bilds verwendeten Bilderfassungseinrichtung, und/oder dem 2D-Bild zugeordneten Sensordaten erfolgt.
8. Verfahren nach einem der vorhergehenden Ansprüche, ferner aufweisend: Auslesen von 3D- Sollgeometriedaten (33) aus einem Speichersystem (32), und Erzeugen eines skalierten Modells einer äußeren Hülle der 3D-Sollgeometrie (33; 70) basierend auf den ausgelesenen 3D- Sollgeometriedaten (33) durch die wenigstens eine Verarbeitungsschaltung (34), wobei die Rückprojektionen (81, 82) basierend auf dem skalierten Modell der äußeren Hülle bestimmt werden.
9. Verfahren nach einem der vorhergehenden Ansprüche, ferner aufweisend: Auswählen der mehreren 2D-Bilder (41, 42) aus den empfangenen 2D-Bildern (41, 42) durch die wenigstens eine Verarbeitungsschaltung (34).
10. Verfahren nach einem der vorhergehenden Ansprüche, ferner aufweisend: Empfangen von zusätzlichen 2D-Bildern (41, 42) durch die wenigstens eine Verarbeitungsschaltung (34) und Vergleichen von aus den zusätzlichen 2D-Bildern (41, 42) auf die 3D-Sollgeometrie (33; 70) bestimmten weiteren Rückprojektionen (81, 82) zur Verbesserung der Erkennung der Formabweichung.
11. Verfahren nach einem der vorhergehenden Ansprüche, ferner aufweisend: Erzeugen von Steuerdaten oder Steuersignalen durch die wenigstens eine Verarbeitungsschaltung (34) zum Steuern oder Führen einer Erfassung der 2D-Bilder (41, 42), wobei die wenigstens eine Verarbeitungsschaltung (34) die 3D-Sollgeometrie (33; 70) zum Erzeugen der Steuerdaten oder Steuersignale verwendet.
12. Verfahren nach einem der vorhergehenden Ansprüche, wobei die erkannte Formabweichung durch einen fehlerhaften Fertigungsprozess des Inspektionsobjekts (11; 60), durch eine Verformung des Inspektionsobjekts (11; 60) nach Fertigung oder durch einen am Inspektionsobjekt verbliebenen Fremdkörper verursacht ist.
13. Maschinenlesbarer Befehlscode, aufweisend maschinenlesbare Anweisungen, die bei Ausführung durch wenigstens eine Verarbeitungsschaltung (34) die wenigstens eine Verarbeitungsschaltung (34) zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche veranlassen.
14. Vorrichtung (21) oder System (10) zum Erkennen einer Formabweichung in drei Dimensionen, 3D, eines Inspektionsobjekts (11; 60) von einer 3D-Sollgeometrie (33; 70), aufweisend: wenigstens eine Verarbeitungsschaltung (34), die eingerichtet ist, für mehrere zweidimensionale, 2D-, Bilder (41, 42) des Inspektionsobjekts (11; 60) jeweils eine Rückprojektion (81, 82) auf wenigstens einen Teil der 3D-Sollgeometrie (33; 70) zu bestimmen und zum Erkennen der Formabweichung einen Vergleich der für die mehreren 2D-Bilder (41, 42) bestimmten Rückprojektionen (81, 82) vorzunehmen.
15. Vorrichtung oder System nach Anspruch 14, ferner aufweisend: eine Bilderfassungseinrichtung (20, 21) zum Erfassen der mehreren 2D-Bilder (41, 42).
EP24736337.7A 2023-06-23 2024-06-19 Verfahren, vorrichtung und system zum erkennen einer formabweichung Pending EP4731960A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023116637.9A DE102023116637A1 (de) 2023-06-23 2023-06-23 Verfahren, vorrichtung und system zum erkennen einer formabweichung
PCT/EP2024/067017 WO2024261012A1 (de) 2023-06-23 2024-06-19 Verfahren, vorrichtung und system zum erkennen einer formabweichung

Publications (1)

Publication Number Publication Date
EP4731960A1 true EP4731960A1 (de) 2026-04-29

Family

ID=91670373

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24736337.7A Pending EP4731960A1 (de) 2023-06-23 2024-06-19 Verfahren, vorrichtung und system zum erkennen einer formabweichung

Country Status (4)

Country Link
EP (1) EP4731960A1 (de)
CN (1) CN121039460A (de)
DE (1) DE102023116637A1 (de)
WO (1) WO2024261012A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102024123849A1 (de) 2024-08-21 2026-02-26 Carl Zeiss Ag Verfahren, vorrichtung und system zur abweichungserkennung

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008045387B4 (de) 2008-09-02 2017-02-09 Carl Zeiss Ag Vorrichtung und Verfahren zum Vermessen einer Oberfläche
US20110267428A1 (en) 2010-04-30 2011-11-03 General Electric Company System and method for mapping a two-dimensional image onto a three-dimensional model
US9305345B2 (en) 2014-04-24 2016-04-05 General Electric Company System and method for image based inspection of an object
US11049236B2 (en) * 2017-11-17 2021-06-29 Kodak Alaris Inc. Automated in-line object inspection
JP6845180B2 (ja) * 2018-04-16 2021-03-17 ファナック株式会社 制御装置及び制御システム
DE102020134680B4 (de) 2020-12-22 2023-01-19 Visometry GmbH Verfahren und Anordnung zur Qualitätsprüfung eines Objekts
US20250225643A1 (en) 2022-03-28 2025-07-10 Mitsubishi Heavy Industries, Ltd. Inspection assistance system, inspection assistance method, and inspection assistance computer-readable recording medium storing program

Also Published As

Publication number Publication date
CN121039460A (zh) 2025-11-28
WO2024261012A1 (de) 2024-12-26
DE102023116637A1 (de) 2024-12-24

Similar Documents

Publication Publication Date Title
EP3883716B1 (de) Erkennung von bearbeitungsfehlern eines laserbearbeitungssystems mithilfe von tiefen faltenden neuronalen netzen
DE60127644T2 (de) Lehrvorrichtung für einen Roboter
DE112010004767B4 (de) Punktwolkedaten-Verarbeitungsvorrichtung, Punktwolkedaten-Verarbeitungsverfahren und Punktwolkedaten-Verarbeitungsprogramm
DE69624550T2 (de) Gerät und Verfahren zur Extraktion von dreidimensionalen Formen
DE102014206309B4 (de) System und Verfahren zum Erhalten von Bildern mit Versatz zur Verwendung für verbesserte Kantenauflösung
DE102012220882B4 (de) System und Verfahren unter Verwendung eines Bearbeitungsinitialisierungsblocks in einer Teileprogramm-Bearbeitungsumgebung in einem Maschinenvisionssystem
DE112010005008T5 (de) System und Verfahren zur Laufzeitbestimmung von Kamerafehlkalibrierung
WO2012156462A2 (de) Verfahren zur erzeugung und auswertung eines bilds
DE112010002174T5 (de) Verfahren und vorrichtung für ein praktisches 3d-sehsystem
DE102013209770B4 (de) Verfahren zur Bestimmung von einstellbaren Parametern mehrerer Koordinatenmessgeräte sowie Verfahren und Vorrichtung zur Erzeugung mindestens eines virtuellen Abbilds eines Messobjekts
DE102012216908A1 (de) Verfahren unter Verwendung einer Bildkorrelation zum Bestimmen von Positionsmessungen in einem Maschinenvisionssystem
DE102018113589A1 (de) Vorrichtung und Programm zur Positionserfassung
DE102013217354A1 (de) Kantenmessungs-videowerkzeug und schnittstelle mit automatischen parametersatzalternativen
DE102007013664A1 (de) Multisensorieller Hypothesen-basierter Objektdetektor und Objektverfolger
WO2024261012A1 (de) Verfahren, vorrichtung und system zum erkennen einer formabweichung
DE102021002363B3 (de) Gerät für eine lageunabhängige optische Oberflächeninspektion
DE102013217347B4 (de) Verfahren und vorrichtung zur parametereinstellung für kantenmessungsvideowerkzeuge
EP3918882B1 (de) Verfahren zur unterstützung der installation eines sensors bzw. einer leuchte in beleuchtungssystemen
WO2024032971A1 (de) Vorrichtung und verfahren zur vermessung dreidimensionaler virtueller bilder und objekte eines head-up-displays
WO2008028595A1 (de) Verfahren und vorrichtung zur einbindung von optischen 3d-mess- und prüfsystemen in systeme der bildverarbeitung
DE102021128624A1 (de) Systeme und verfahren zum prüfen eines bauteils oder einer baugruppe
US20260127733A1 (en) Method, device and system for detecting a shape deviation
EP1756748A1 (de) Verfahren zur klassifizierung eines objekts mit einer stereokamera
WO2026041538A1 (de) Verfahren, vorrichtung und system zur abweichungserkennung
DE102019220364A1 (de) Kalibriereinrichtung und Verfahren zum Kalibrieren einer Vorrichtung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250820

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR