EP2062221A1

EP2062221A1 - Verfahren und vorrichtung zur einbindung von optischen 3d-mess- und prüfsystemen in systeme de bildverarbeitung

Info

Publication number: EP2062221A1
Application number: EP07802032A
Authority: EP
Inventors: Christoph Wagner
Original assignee: OBE Ohnmacht and Baumgartner GmbH and Co KG
Current assignee: OBE Ohnmacht and Baumgartner GmbH and Co KG
Priority date: 2006-09-02
Filing date: 2007-08-31
Publication date: 2009-05-27
Also published as: WO2008028595A1; DE102006041200A1; WO2008028595A8

Abstract

Es wird ein Verfahren zur Einbindung eines 3D-Sensors in ein Bildverarbeitungssystem vorgeschlagen.

Description

Verfahren und Vorrichtung zur Einbindung von optischen 3D- Mess- und Prüfsvstemen in Systeme der Bildverarbeitung

Beschreibung

Die Erfindung betrifft ein Verfahren gemäß Oberbegriff des Anspruchs 1 und eine Vorrichtung gemäß Oberbegriff des Anspruchs 48 zur einheitlichen Einbindung von optischen 3D-Mess- und Prüfsystemen in Systeme der Bildverarbeitung sowie zur Beurteilung und Darstellung von 3D-Daten auf diesen Systemen.

Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert. Es zeigen:

Figur 1 eine Übersicht über bekannte 3D-Systeme;

Figur 2 eine Prinzipskizze von 2D-Kameras in Verbindung mit einem Bildverarbeitungssystem;

Figur 3 eine Prinzipskizze eines 3D-Sensors in Verbindung mit einem Bildverarbeitungssystem;

Figur 4a-f eine Prinzipskizze eines 3D-Sensors eingebunden in ein Bildverarbeitungssystem;

Figur 5 eine Prinzipskizze der zeitlichen Steuerung eines SD-

Sensors;

Figur 6 eine Prinzipskizze der Umwandlung von 2D-

Kamerabildern in 3D-Daten durch den 3D-Sensor, und Figur 7 eine Prinzipskizze eines intelligenten 3D-Sensors. Immer mehr halten optische Mess- und Prüfverfahren Einzug, die sich auf topographische, dreidimensionale (3D) Daten eines zu prüfenden Bauteils stützen. Diese 3D-Verfahren werden meist auf der Basis von spezialisierter optischer, elektronischer und mechanischer Hardware in enger Verbindung mit einer speziell angepassten Steue- rungs- und Auswertesoftware betrieben (Fig. 1). Diese Spezialisierung trägt den jeweiligen Eigenheiten des 3D-Mess- und Prüfverfahrens sowie den besonderen Eigenheiten der 3D-Daten Rechnung. Bei den 3D-Systemen handelt es sich daher mehrheitlich um Insellösungen bezüglich der Hardware und auch der Software, die weit entfernt sind von einer Standardisierung. Eine automatische Auswertung der Ergebnisdaten ist nur teilweise vorhanden, oft muss sie spezifisch für die jeweilige Anwendung erstellt werden. Die Stärke dieser Systeme liegt im Bereich des 3D-Messverfahrens als solches (3D-Sensor) und weniger der Auswertesoftware.

Demgegenüber stehen die Systeme der Bildverarbeitung, insbesondere der 2D-Bildverarbeitung. Auch diese Systeme verwenden, je nach Hersteller, unterschiedliche Hardware- und Softwareplattformen, doch ist in diesem Bereich die Standardisierung weiter fortgeschritten. So lassen sich an demselben Bildverarbeitungssystem bestehend aus Bildverarbeitungsrechner und zugehöriger Steuerungsund Auswertesoftware verschiedenste Kameras (2D-Kameras) betreiben (Fig. 2). Standardisierte Schnittstellen zum Datenaustausch von 2D-Bilddaten machen dies möglich. Beispiele hierfür sind die Schnittstellen IEEE1394, CameraLink, Ethernet, USB, LVDS (Low Voltage Differential Signal) sowie analoge Kameraschnittstellen. Dem Benutzer wird es daher ermöglicht, auf eine breite Auswahl hochwertiger Kameras zurückzugreifen, die Bedienung des Systems und die automatische Auswertung mit Hilfe der Auswertesoftware bleibt aber weitgehend unverändert. Ein weiterer Vorteil ist es, dass der Nutzer auf eine Breite Palette an Auswertewerkzeugen innerhalb dieser Software zurückgreifen kann, welche die Mehrzahl von denkbaren 2D-Anwendungen abdecken kann. Die Stärke liegt deshalb im Bereich der Auswertesoftware und der Standardisierung.

Erfindungsgemäß wird deshalb ein Verfahren beschrieben, wie optische 3D-Systeme vorteilhaft an Bildverarbeitungssysteme, insbesondere an 2D-Bildverarbeitungssysteme angebunden werden kön- nen. Die Vorteile der 3D-Sensoren, der Auswertesoftware und der Standardisierung werden kombiniert. Zunächst scheint dieser Weg nicht praktikabel, da diese beiden Welten nicht zusammenzupassen scheinen.

Erfindungsgemäß werden die 3D-Sensoren A, B, ... mit Hilfe einer oder mehrerer standardisierter Schnittstellen, beispielsweise einer bekannten Kameraschnittstelle an das Bildverarbeitungssystem X und seine Software angebunden. Die spezifische Auswertung der Bilddaten erfolgt mit Hilfe der Softwaremodule für die 3D-Sensoren A, B welche die sensorspezifischen Eigenheiten umfassen

(Fig. 3).

Die 3D-Daten, welche die Sensoren A und B liefern, werden erfindungsgemäß wie folgt in 2D-Daten überführt und dargestellt. Hierzu werden zunächst einige 3D-Verfahren näher betrachtet.

Es stehen verschiedene optische 3D-Verfahren zur Verfügung, welche topographische Daten einer Oberfläche liefern können. Eines der ältesten und bekanntesten Verfahren ist das Laserlichtschnittver- fahren, das die Topographie einer Oberfläche aus einer Reihe von Einzelschnitten zusammensetzt. Das Verfahren ist inzwischen schnell durchführbar, allerdings bestehen Einschränkungen bei der Genauigkeit und bei glänzenden Oberflächen.

Daneben haben sich Verfahren der Streifenprojektion etabliert, die eine Vielzahl von Profilschnitten gleichzeitig aufnehmen können. Auch hier bestehen Einschränkungen bei der Genauigkeit und bei glänzenden Oberflächen.

Für hohe Genauigkeitsanforderungen werden interferometrische Verfahren, Verfahren der Weißlichtinterferometrie und das Verfahren der konfokalen Mikroskopie angewandt, die allerdings hohe Messzeiten benötigen.

Allen diesen Verfahren ist gemeinsam, dass sie aus einer Anzahl von n 2D-Kamerabildern unter meist n Beleuchtungssituationen topographische Daten in der Form z(x,y) erzeugen, also lokale Höhenwerte z in Abhängigkeit der lateralen Koordinaten x und y. Diese Verfahren werden im Folgenden als höhenmessende Verfahren bezeichnet.

Für den Bereich der Oberflächeninspektion mit hoher Genauigkeit, geringen Messzeiten und insbesondere für glänzende Oberflächen kommt das Verfahren der photometrischen Deflektometrie zum Einsatz. Dieses Verfahren besitzt darüber hinaus die Besonderheit, dass topographische Daten in Form von Gradienten oder der lokalen Neigung erzeugt werden:

Verfahren dieses Typs werden im Folgenden als neigungsmessende Verfahren bezeichnet. Darüber hinaus findet auch das Verfahren der Computertomographie (CT) Verwendung. Bei diesem Verfahren wird ein Bauteil von Röntgenstrahlung durchstrahlt und es werden hiervon Bilder aufgenom- men. Aus den Bildern kann die dreidimensionale Struktur des Bauteils errechnet werden.

Die industrielle Bildverarbeitung besitzt eine große Zahl von Werkzeugen, um Grauwertbilder (Helligkeitsbilder) automatisch beurteilen zu können. Anders verhält es sich bei der Beurteilung von topographischen Daten. Hier liegt sehr geringe Erfahrung vor, wie diese Daten vorteilhaft dargestellt und beurteilt werden können.

Erfindungsgemäß wird hier deshalb ein Verfahren beschrieben, wie topographische Daten dargestellt und beurteilt werden können. Die Weiterverarbeitung dieser Daten geschieht wie folgt. Bei den höhenmessenden Verfahren, welche die lokale Höhe z(x,y) liefern, können diese Daten grautonkodiert angezeigt und visualisiert werden. Beispielsweise wird einer bestimmten minimalen Höhe ein mi- nimaler Grauwert zugeordnet, z. B. Null, einer maximalen Höhe ein maximaler Grauwert, z. B. 255. Für alle Höhenwerte dazwischen findet vorzugsweise eine lineare Zuordnung statt, andere Zuordnungsarten sind möglich. Gerade bei Höhendaten ist es sinnvoll, mehr als 256 Stufen entsprechend einer Quantisierung von 8 bit zu verwen- den, da Höhendaten in der Regel sehr viel feiner aufgelöst sind. Die Quantisierung mit 10 bit, 12 bit, 16 bit, 24 bit, 32 bit oder sogar als Gleitkommazahlen im float- oder double-Format sind sinnvoll. Einige Bildverarbeitungssysteme sind bereits in der Lage, solche Daten zu verarbeiten, andere sollten dahingehend erweitert werden. Diese Höhenbilder können nun mit bestehenden Werkzeugen der Bildverarbeitung automatisch ausgewertet werden, beispielsweise anhand von Schwellwerten. Wird ein bestimmter Höhenwertwert lokal überschritten bzw. unterschritten, so wird dieser Ort des Bauteils als fehlerhaft gekennzeichnet. Alternativ kann als Fehler gewertet werden, wenn bei einem ganzen Bereich des Bauteils ein solcher Wert über- oder unterschritten wird. Viele andere bekannte Auswertemethoden der Bildverarbeitung sind möglich, die Palette der Werkzeuge ist sehr breit (Kantendetektion, Filtern, Lagenachführung, Blob-Analyse, Erkennen von Codes etc.).

Erfindungsgemäß besteht ein weiteres vorteilhaftes Verfahren darin, durch Differenzieren aus Höhendaten Neigungsdaten zu erzeugen. Unter Umständen kann es nötig sein, die Daten zu glätten, da beim Differenzieren die Messunsicherheit in Form von Rauschen stärker hervortritt. Bei den neigungsmessenden Verfahren liegen die Nei- gungsdaten bereits vor und müssen in der Regel nicht geglättet werden. Die Neigungsdaten können grautonkodiert angezeigt und visua- lisiert werden. Beispielsweise wird einer bestimmten minimalen Neigung ein minimaler Grauwert zugeordnet, z. B. Null, einer maximalen Neigung der maximale Grauwert, z. B. 255. Für alle Neigungswerte dazwischen findet vorzugsweise eine lineare Zuordnung statt, andere Zuordnungsarten sind möglich. Auch hier ist die Quantisierung mit mehr als 8 bit oder als Gleitkommazahl sinnvoll. Die Neigung in x- Richtung dz/cfcc bzw. in y-Richtung dzldy wird vorzugsweise in zwei verschiedenen Bildern dargestellt. Alternativ können Neigungsdaten in einem Zylinderkoordinatensystem dargestellt werden. Hierbei wird die Neigung in radialer Richtung dzldr und in tangentialer Richtung dz I dφ getrennt dargestellt. Dies ist insbesondere für Bauteile mit Rotationssymmetrie, insbesondere Drehteile von Vorteil. So können radiale Strukturen (z. B. Drehriefen) und Strukturen in tangentialer Richtung (z. B. Schlagstellen) unterschiedlich beurteilt und vonein- ander getrennt werden. Neben der Ableitung nach dem Winkel φ ist auch die Ableitung nach der Bogenlänge r - φ möglich. Andere Koordinatensysteme, z. B. Koordinatensystem mit diagonaler Ausrichtung gegenüber der x- und y-Achse oder andere Winkel sind mög- lieh, je nachdem, welche Vorzugsrichtungen das Bauteil besitzt.

Diese Neigungsbilder können nun mit bestehenden Werkzeugen der Bildverarbeitung automatisch ausgewertet werden, beispielsweise anhand von Schwellwerten. Wird ein bestimmter Neigungswert lokal überschritten bzw. unterschritten, so wird dieser Ort des Bauteils als fehlerhaft gekennzeichnet. Alternativ kann als Fehler gewertet werden, wenn bei einem ganzen Bereich des Bauteils ein solcher Wert über- oder unterschritten wird. Hiermit lassen sich insbesondere gerichtete Fehler auf Bauteilen finden, beispielsweise linienartige Ver- tiefungen oder Erhöhungen, ein Knick der Oberfläche in x- oder y- Richtung bzw. r- und φ -Richtung, die sich auf die Neigung der Oberfläche auswirken. Alternativ können die Neigungsbilder auch mit Hilfe von Kantenfiltern oder anderen Filtern auf Defekte untersucht werden. Viele weitere bekannte Methoden der Bildverarbeitung sind ebenfalls darauf anwendbar. Trotz automatischer Auswertung ist es in vielen Fällen sinnvoll, die Neigungsbilder zu visualisieren, da der Mensch gut darin geübt ist, solche Bilder zu interpretieren. Die genaue Abstimmung der automatischen Auswertung erfolgt in der Regel von einer Person, die diese Arbeit mit Hilfe der Neigungsbilder sehr viel einfacher erledigen kann. Darüber hinaus sind diese Bilder ein wichtiges Werkzeug für eine visuelle Bewertung durch einen Bediener ohne Automation, vergleichbar einem Mikroskop.

Erfindungsgemäß kann aber auch folgendes Vorgehen gewählt wer- den. Bei höhenmessenden Verfahren wird die lokale Höhe z(x,y) zweifach differenziert, beispielsweise nur in x-Richtung d²z/dχ² oder nur in y-Richtung d²z/dy². Ein Offset der Neigung, beispielsweise bei einer Verkippung des Bauteils wird hierdurch eliminiert. Summiert man beide Ableitungen gemäß dem Laplace-Operator Az = d²z/dx² +d²z/dy² , so ist eine besonders vorteilhafte Auswertung möglich. Wurde bisher der Laplace-Operator in der Bildverarbeitung angewandt, so war eine anschauliche Interpretation des Ergebnis nur sehr begrenzt möglich. Bekannt war, dass Kanten im Bild verstärkt werden, ungewiss war aber, ob interessierende geometri- sehe Objektkanten durch das Bild dargestellt wurden oder vielleicht belanglose Helligkeitsunterschiede am Bauteil ohne relevantes topographisches Merkmal. Bei der Anwendung auf Höhendaten gewinnt der Laplace-Operator eine ganz konkrete Bedeutung. Er kann interpretiert werden als die lokale Krümmung der Oberfläche. Wird bei- spielsweise eine kleine lokale kugelförmige Vertiefung mit Radius R erfasst, so liefert der Laplace-Operator einen Wert, der näherungsweise proportional ist zum inversen Kugelradius Il R , also ein Maß für die Krümmung der Oberfläche. Eine lokale Erhöhung mit Radius R liefert den Wert -l/i? , also einen negativen Wert. Hiermit sind lokale Erhöhungen und Vertiefungen anhand des Vorzeichens voneinander unterscheidbar. Der Wert Null des Laplace-Operators entspricht einer ebenen Fläche, was bei vielen technischen Produkten auch die Sollform ist. Für neigunsgmessende Verfahren, die bereits die erste Ableitung darstellen, ist nur ein weiterer Differenziati- onsschritt statt zwei erforderlich, um Krümmungsdaten zu erhalten. Die Neigung in x-Richtung dz/dx wird ein weiteres Mal nach x differenziert, die Neigung in y-Richtung dz/dy wird nach / differenziert. Wahlweise können die beiden Ergebnisse summiert werden, um das Krümmungsbild Az = d²z/dχ² +d²z/dy² zu erhalten oder die Ergebnisse werden getrennt als Krümmungsbilder bezüglich der x- oder y-Achse betrachtet. Andere Varianten sind möglich, beispielsweise eine andere Wahl des Koordinatensystems.

Auch die Krümmungsbilder können mit bestehenden Werkzeugen der Bildverarbeitung automatisch ausgewertet werden, beispielsweise anhand von Schwellwerten. Wird ein bestimmter Krümmungswert lokal überschritten bzw. unterschritten, so wird dieser Ort des Bauteils als fehlerhaft gekennzeichnet. Im Unterschied zu den Neigungsbilder werden im Krümmungsbild alle Richtungen gleich ge- wertet, ein horizontales Merkmal wird deshalb genauso deutlich dargestellt wie ein vertikales. Alle Richtungen werden gleich behandelt; es handelt sich daher um eine rotationsinvariante Prüfung. Dies ist bei vielen Prüfaufgaben erwünscht. Sollen bestimmte Richtungen hervorgehoben werden, kann man dies auch bei den Krümmungsbil- dem durch geeignete Richtungsfilter erreichen. Insbesondere ist es für die Prüfung von rotationssymmetrischen Prüfteilen (Drehteilen) sinnvoll, die Krümmung bezüglich der radialen Richtung d²z/dr² bzw. der tangentialen Richtung d²zldφ² oder d²z/d(rφf darzustellen. Alternativ können die Krümmungsbilder mit Hilfe von Kantenfil- tern oder anderen Filtern auf Defekte untersucht werden. Viele weitere bekannte Methoden der Bildverarbeitung sind ebenfalls darauf anwendbar. In vielen Fällen ist es sinnvoll, auch die Krümmungsbilder zu visualisieren um ein besseres Verständnis für eine automatische Suche des Fehlermerkmals zu gewinnen.

Neben den topographischen 3D-Daten liefern optische 3D-Sensoren meist eine weitere Information über den Prüfgegenstand, nämlich wie viel Licht von jedem Ort der Oberfläche zum Sensor zurückgelangt. Diese Information entspricht einem gewöhnlichen 2D- Kamerabild, welches Helligkeiten darstellt. Im Zusammenhang mit optischen 3D-Sensoren soll dieses Bild zur Unterscheidung gegenüber topographischen 3D-Bildern als Texturbild bezeichnet werden. Unter bestimmten Bedingungen der Beleuchtung des 3D-Sensors, die meist gegeben sind, entspricht das Texturbild dem lokalen Refle- xionskoeffizienten des Prüfgegenstandes p{χ,y). Diese Bezeichnung wird in den Figuren alternativ zum Begriff „Textur" verwendet. Das Texturbild ist für die automatische Auswertung im Bildverarbeitungssystem insbesondere für die Lagenachführung von Prüfoperationen geeignet. Der Kontrast zwischen Prüfling und Hintergrund er- möglicht ein präzises und sicheres Auffinden des Prüflings im Bild.

Alternativ ist es möglich, topographische Daten und/oder Texturdaten eines Prüfteils mit vorgegebenen Konstruktionsdaten, insbesondere CAD-Daten zu vergleichen. Die Daten des Prüfteils können in Form von Punktewolken, Voxeldaten, Dreiecksnetzen oder als CAD- Datei verglichen werden.

Alternativ kann aus den CAD-Daten ein Höhenbild erzeugt werden, weiches der jeweiligen Prüfansicht des Sensors entspricht und den Sollzustand beschreibt (Referenzbild). Das Höhenbild des jeweiligen Prüfteils wird mit dem Höhenbild der CAD-Daten verglichen und daraus eine Bewertung abgeleitet (Gutteil, Schlechtteil etc.). Unter Umständen kann es nötig sein, aus den CAD-Daten Höhenbilder für verschiedene Prüfansichten abzuleiten, da das Prüfteil aus mehreren Ansichten von einem oder mehreren 3D-Sensoren aufgenommen wird.

Alternativ ist es möglich, anhand eines Gutteils ein Höhenbild zu erzeugen, das den Sollzustand beschreibt (Referenzbild). Dies bietet den Vorteil, dass keine CAD-Daten in Höhenbilder umgewandelt werden müssen, sondern direkt mit dem jeweiligen 3D-Sensor er- zeugt werden können. Unter Umständen kann es nötig sein, das Höhenbild eines Gutteils rechnerisch zu filtern und/oder glätten, damit etwaige Rauhigkeiten des Gutteils nicht in die Beschreibung des Sollzustandes (Referenzbild) eingehen.

Alternativ ist es möglich, auch das geglättete Höhenbild eines Prüfteils selbst als Beschreibung des Sollzustandes zu verwenden und mit dem ungeglätteten Höhenbild zu vergleichen. Alle Unregelmäßigkeiten des Prüfteils äußern sich dann als Unterschiede zwischen geglättetem und ungeglättetem Höhenbild.

Die oben genannten Methoden, Höhenbilder von Prüfteilen mit CAD- Daten und/oder Referenzbildern zu vergleichen sind keineswegs auf Höhenbilder beschränkt. Erfindungsgemäß ist es möglich, auch die Neigungsbilder und/oder Krümmungsbilder und/oder Texturbilder mit Referenzbildern zu vergleichen. Die Referenzbilder der Neigung und/oder der Krümmung und/oder der Textur können ebenfalls aus CAD-Daten und/oder aus Bildern von Gutteilen und/oder aus geglätteten Bildern des Prüfteiis selbst erzeugt werden.

Nach diesen Vorüberlegungen zeigt Fig. 4a die erfindungsgemäße Einbindung eines 3D-Sensors in ein Bildverarbeitungssystem. Praktisch allen 3D-Sensoren ist gemeinsam, dass sie ein Anzahl von n Kamerabilder E1(x,y), E2(x,y) En(x,y) und mehrere Beleuchtun- gen, meist ebenfalls n an der Zahl, B1 , B2, ... Bn verwenden. Hier ist eine Beispiel für n=4 gezeigt. Im Beispiel übernimmt das Bildverarbeitungssystem die zeitliche Steuerung des 3D-Sensors und seiner Beleuchtung sowie der Bildaufnahme. Die Beleuchtung wir von einer zeitlichen Steuerung und digitalen Ein- bzw. Ausgängen (digitale I/Os) des Bildverarbeitungssystems, die Bildaufnahme mit Hilfe eines Triggersignals (Hardware- oder Softwaretrigger) gesteuert. Alternativ kann die Bildaufnahme auch freilaufend, also ohne Trigger erfolgen. Das Bildverarbeitungssystem kann über weitere Ein- und Ausgänge an den Prüfprozess angebunden sein, beispielsweise um einen Prüfzyklus genau dann auszulösen, wenn sich der Prüfling im BiId- feld des 3D-Sensors befindet. Figur 4b zeigt den Zeitpunkt, zu dem eine erste Beleuchtung B1 vom Bildverarbeitungssystem aktiviert wird und ein Bild E1 ausgelöst und aufgenommen wird. Dieses wird mit Hilfe einer Standardschnittstelle an das Bildverarbeitungssystem übermittelt. Es folgen die Beleuchtungen B2 mit dem Bild E2 (Fig. 4c), B3 und E3 (Fig. 4d) bis hin zur Beleuchtung B4 und E4 (Fig. 4e). Die übermittelten Bilder werden im Softwaremodul des Bildverarbeitungssystems erfindungsgemäß zu 3D-Daten aufbereitet, die wiederum als Höhendaten, Neigungsdaten, Krümmungsdaten und/oder Texturdaten an die automatische Auswertung weitergegeben werden (Fig. 4f).

Alternativ kann die zeitliche Steuerung auch vom 3D-Sensor übernommen werden (Fig. 5). Dies hat insbesondere dann Vorteile, wenn ein sehr exaktes und schnelles zeitliches Zusammenspiel von Be- leuchtung und Bildaufnahme gefordert ist. Die zeitliche Steuerung durch das Bildverarbeitungssystem hat den Vorteil, dass im Bildverarbeitungssystem bekannt ist, welche Beleuchtung und welche Aufnahme gerade aktiv sind bzw. aufgenommen werden. Übernimmt der 3D-Sensor die zeitliche Steuerung, dann kann die korrekte Zu- Ordnung der Bilder zu den Beleuchtungen auf andere Weise, beispielsweise eine weiteres Signal an das Bildverarbeitungssystem übermittelt werden (gestrichelt gezeichnet). Alternativ kann die Zuordnung auch mit Hilfe der Standardschnittstelle übermittelt werden.

In einer weiteren Ausgestaltung werden die 3D-Daten bereits im SD- Sensor erzeugt, und mit Hilfe der standardisierten Schnittstelle als Höhendaten, Neigungsdaten, Krümmungsdaten und/oder Texturdaten an die automatische Auswertung weitergegeben (Fig. 6). Diese Berechnung kann auf einem sensoreigenen Mikroprozessor, einem FPGA oder anderen Recheneinheiten ausgeführt werden. Für die Zukunft ist es denkbar, dass 3D-Daten auch in anderer Form weitergegeben werden können, beispielsweise als Punktewolke, Dreiecksnetze, CAD-Datensätze oder Voxeldaten. Dies ist insbesondere zu dem Zeitpunkt sinnvoll, wenn ausgereifte und standardisierte Werkzeuge zur automatischen Beurteilung dieser Daten zur Verfügung stehen. In diesem Zuge können dann sowohl die 3D-Sensoren als auch die Bildverarbeitungssysteme auf diesen neuen Standard gehoben und erweitert werden.

Alternativ ist es auch möglich, dass zusätzlich die automatische Auswertung ebenfalls im 3D-Sensor stattfindet. Analog zu den an sich bekannten intelligenten Sensoren für 2D-Bildverarbeitung kann man von intelligenten 3D-Sensoren sprechen. Figur 7 zeigt einen solchen Sensor.

Neben dem erfindungsgemäßen Verfahren wird hier auch eine erfindungsgemäße Vorrichtung erläutert. Eine solche Vorrichtung ist dazu geeignet, das erfindungsgemäße Verfahren auszuführen. Insbesondere sind dies optische 3D-Sensoren, die über eine standardisierte Schnittstelle in eine Recheneinheit und/oder Software der Bildverar- beitung, insbesondere der 2D-Bildverabeitung eingebunden werden können. Dieser 3D-Sensor kann 2D-Kamerabilder an das Bildverarbeitungssystem übermitteln. Alternativ kann der 3D-Sensor bereits dafür ausgelegt sein, intern fertige 3D-Daten zu erzeugen und in einem der genannten Formate weitergeben (Höhenbild, Neigungsbild, Krümmungsbild, Texturbild, Punktewolke, Dreiecksnetze, CAD- Datensätze, Voxeldaten etc.). Der 3D-Sensor kann dafür ausgelegt sein, auch die automatische Auswertung der 3D-Daten selbst vorzunehmen (Fig. 7). In diesem Fall handelt es sich um einen intelligenten 3D-Sensor. Um einen erfindungsgemäßen 3D-Sensor handelt es sich auch, wenn dessen Beleuchtungen und/oder Parameter extern angesteuert werden können, insbesondere durch ein Bildverarbeitungssystem. Darüber hinaus sind dies alle 3D-Sensoren und insbesondere optische 3D-Sensoren, die zur Ausführung des erfindungsgemäßen Verfahrens geeignet sind.

Zusammenfassend zeichnet sich das Verfahren zur einheitlichen Einbindung von optischen 3D-Sensoren in einem Bildverarbeitungssystem dadurch aus, dass verschiedene 3D-Sensoren in dasselbe Bildverarbeitungssystem eingebunden werden können. Vorzugsweise wird zur einheitlichen Einbindung ein Softwaremodul in das BiId- Verarbeitungssystem integriert, welches auf die Besonderheiten des jeweiligen 3D-Sensors abgestimmt ist.

Das Bildverarbeitungssystem nimmt vorzugsweise eine automatische Prüfung von Bauteilen vor, wobei die automatisierte Prüfung insbesondere anhand von Höhenbildern und/oder Neigungsbildern und/oder Krümmungsbildern und/oder Texturbildern und/oder Punktewolken und/oder Voxeldaten und/oder Dreiecksnetzen und/oder CAD-Daten vorgenommen wird. Die automatische Prüfung von Bauteilen erfolgt vorzugsweise derart, dass ein Vergleich von Höhenbil- dem und/oder Neigungsbildern und/oder Krümmungsbildern und/oder Texturbildern mit einem oder mehreren Referenzbildern durchgeführt wird. Das Referenzbild des zu prüfenden Bauteils wird dabei vorzugsweise aus CAD-Daten und/oder einem Gutteil und/oder dem zu prüfenden Bauteil selbst erzeugt. Insbesondere ist auch vorgesehen, dass der 3D-Sensor Kamerabilder an das Bildverarbeitungssystem weitergibt und dass zur Einbindung des 3D- Sensors in das Bildverarbeitungssystem eine standardisierte Schnittstelle, insbesondere eine standardisierte Kameraschnittstelle, verwendet wird. Bei der Schnittstelle kann es sich um eine FireWire- Schnittstelle, eine CameraLink-Schnittstelle, eine Ethemet- Schnittstelle, eine USB-Schnittstelle, eine LVDS-Schnittstelle oder eine analoge Schnittstelle handeln. Vorzugsweise wird der SD- Sensor mit Hilfe der Schnittstelle angesteuert.

Der 3D-Sensor kann im Übrigen eine Beleutungseinrichtung aufwei- sen, mit deren Hilfe einer Schnittstelle angesteuert werden kann. Insbesondere können mit Hilfe der Schnittstelle Einstellparameter des 3D-Sensors eingestellt werden. Insbesondere ist auch vorgesehen, dass das Bildverarbeitungssystem den 3D-Sensor ansteuert. Darüber hinaus kann das Bildverarbeitungssystem auch die Beleu- tungseinrichtung des 3D-Sensors ansteuern.

Die 3D-Daten werden vorzugsweise in einem Softwaremodul des Bildverarbeitungssystems erzeugt, alternativ ist vorgesehen, dass die 3D-Daten im 3D-Sensor erzeugt werden. Es kann aber auch vor- gesehen sein, dass die 3D-Daten teilweise im 3D-Sensor und teilweise im Bildverarbeitungssystem erzeugt werden. Die automatische Auswertung erfolgt vorzugsweise im Bildverarbeitungssystem, alternativ dazu im 3D-Sensor. Bei dem 3D-Sensor handelt es sich vorzugsweise um einen neigungsmessenden 3D-Sensor. Es kann sich aber auch um einen höhenmessenden oder um einen krümmungs- messenden 3D-Sensor handeln. Die 3D-Daten können als Höhendaten, als Neigungsdaten oder als Krümmungsdaten weiterverarbeitet und/oder dargestellt werden. Im Falle der Verwendung von Neigungsdaten oder Krümmungsdaten können diese bezüglich eines kartesischen Koordinatensystems weiterverarbeitet und/oder dargestellt werden. Es kann aber auch vorgesehen sein, Neigungsdaten oder Krümmungsdaten bezüglich eines Polarkoordinatensystems weiterzuverarbeiten und/oder darzustellen.

Das Verfahren ist auf die Prüfung von Teilen mit verschiedenen Ge- ometrien, insbesondere auf die Prüfung von im Wesentlichen rotationssymmetrischen Teilen ausgelegt und verarbeitet vorzugsweise Krümmungsdaten weiter und/oder stellt diese dar. Auch können Neigungsdaten, Texturdaten, Punktewolken, Dreiecksnetze, CAD- Datensätze oder Voxeldaten weiterverarbeitet und/oder dargestellt werden. Insbesondere werden 3D-Daten bei dem hier vorgeschlagenen Verfahren grautonkodiert dargestellt.

Bei dem hier vorgeschlagenen Verfahren können beispielsweise ein Laserlichtschnittverfahren, ein Verfahren der Streifenprojektion, ein Verfahren der Interferometrie, ein Verfahren der Weißlichtinterfero- metrie, ein photometrisches Stereoverfahren, ein Verfahren der photometrischen Deflektometrie oder ein Verfahren der konfokalen Mikroskopie eingesetzt werden.

Die vorliegende Erfindung betrifft auch einen optischen 3D-Sensor, der zum Ausführen eines Verfahrens der hier angesprochenen Art geeignet ist. Der optische 3D-Sensor verfügt vorzugsweise über eine standardisierte Schnittstelle zur Einbindung in eine Recheneinheit und/oder die Software von Bildverarbeitungsanlagen. Ferner kann eine standarisierte Kameraschnittstelle zur Einbindung in eine Recheneinheit und/oder die Software von Bildverarbeitungsanlagen vorgesehen sein. Die Schnittstelle des optischen 3D-Sensors kann eine FireWire-Schnittstelle, eine CameraLink-Schnittstelle, eine E- themet-Schnittstelle, eine USB-Schnittstelle, eine LVDS-Schnittstelle oder eine analoge Schnittstelle umfassen. Vorzugsweise verfügt der 3D-Sensor über eine Schnittstelle, mit deren Hilfe dieser extern an- gesteuert werden kann. Außerdem verfügt der 3D-Sensor vorzugsweise über eine Schnittstelle, mit deren Hilfe seine Beleuchtungseinheit gesteuert werden kann. Im Übrigen verfügt der optische 3D- Sensor vorzugsweise über eine Schnittstelle, mit deren Hilfe Ein- Stellparameter gesteuert werden können.

Insbesondere ist vorgesehen, dass es sich bei dem optischen 3D- Sensor um einen Sensor nach dem Verfahren der photometrischen Deflektometrie handelt. Es kann aber auch vorgesehen sein, dass es sich um einen Sensor nach dem photometrischen Stereoverfahren, einen Laserlichtschnittsensor, einen Streifenprojektionssensor, um einen interferometrischen Sensor, einen weißlichtinterferometrischen Sensor oder um ein konfokales Mikroskop handelt. Insbesondere ist vorgesehen, dass der 3D-Sensor selbst eine automatische Auswer- tung von 3D-Daten vornimmt.

Claims

Ansprüche

1. Verfahren zur einheitlichen Einbindung mindestens eines op- tischen 3D-Sensors in einem Bildverarbeitungssystem und/oder zur einheitlichen Bearbeitung von 3D-Daten des mindestens einen Sensors durch das Bildverarbeitungssystem, dadurch gekennzeichnet, dass verschiedene 3D- Sensoren auf dieselbe Art und Weise in dasselbe Bildverar- beitungssystem eingebunden werden und/oder die 3D-Daten auf dieselbe Art und Weise durch das Bildverarbeitungssystem beurteilt werden.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass zur einheitlichen Einbindung ein Softwaremodul in das Bildverarbeitungssystem integriert wird, welches auf die Besonderheiten des jeweiligen 3D-Sensors abgestimmt ist.

3. Verfahren nach einem der vorangehenden Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Bildverarbeitungssystem eine automatisierte Prüfung von Bauteilen vornimmt anhand von Höhenbildern und/oder Neigungsbildern und/oder Krümmungsbildern und/oder Texturbildern und/oder Punktewolken und/oder Voxeldaten und/oder Dreiecksnetzen und/oder CAD-Daten.

4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Beurteilung von 3D-Daten von Bauteilen als Vergleich von Höhenbildern und/oder Nei- gungsbildern und/oder Krümmungsbildern und/oder Texturbil- dem mit einem oder mehreren Referenzbildern durchgeführt wird.

5. Verfahren nach einem der vorangehenden Ansprüche, da- durch gekennzeichnet, dass ein Referenzbild des zu prüfenden Bauteils aus CAD-Daten und/oder einem Gutteil und/oder dem zu prüfenden Bauteil selbst erzeugt wird.

6. Verfahren nach einem der vorangehenden Ansprüche, da- durch gekennzeichnet, dass der 3D-Sensor Kamerabilder an das Bildverarbeitungssystem weitergibt.

7. Verfahren nach dem vorangehenden Anspruch, dadurch gekennzeichnet, dass zur Einbindung des 3D-Sensors in das Bildverarbeitungssystem eine standardisierte Schnittstelle verwendet wird.

8. Verfahren nach dem vorangehenden Anspruch, dadurch gekennzeichnet, dass eine standardisierte Kameraschnittstelle verwendet wird.

9. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine FireWire-Schnittstelle verwendet wird.

10. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine CameraLink-Schnittstelle verwendet wird.

11.Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine Ethernet-Schnittstelle verwendet wird.

12. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine USB-Schnittstelle verwendet wird.

13. Verfahren nach einem der vorangehenden Ansprüche, da- durch gekennzeichnet, dass eine LVDS-Schnittstelle verwendet wird.

14. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine analoge Schnittstelle ver- wendet wird.

15. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der 3D-Sensor mit Hilfe einer Schnittstelle angesteuert wird.

16. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der 3D-Sensor eine Beleuchtungseinrichtung aufweist, die mit Hilfe einer Schnittstelle angesteuert wird.

17. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass Einstellparameter des SD- Sensors mit Hilfe einer Schnittstelle eingestellt wird.

18. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Bildverarbeitungssystem den 3D-Sensor ansteuert.

19. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Bildverarbeitungssystem die Beleuchtungseinrichtung des 3D-Sensors ansteuert.

20. Verfahren nach einem der vorangehenden Ansprüche, da- durch gekennzeichnet, dass die 3D-Daten in einem Softwaremodul des Bildverarbeitungssystems erzeugt werden.

21. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die 3D-Daten im 3D-Sensor er- zeugt werden.

22. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die 3D-Daten teilweise im 3D- Senor und teilweise im Bildverarbeitungssystem erzeugt wer- den.

23. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die automatische Auswertung im 3D-Senor erfolgt.

24. Verfahren nach einem der vorangehenden Ansprach, dadurch gekennzeichnet, dass es sich um einen höhenmessenden 3D-Sensor handelt.

25. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass es sich um einen neigungs- messenden 3D-Sensor handelt.

26. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass es sich um einen krümmungs- messenden 3D-Sensor handelt.

27. Verfahren nach einem der vorangehenden Ansprüche, da- durch gekennzeichnet, dass 3D-Daten als Höhendaten weiterverarbeitet und/oder dargestellt werden.

28. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass 3D-Daten als Neigungsdaten weiterverarbeitet und/oder dargestellt werden.

29. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass 3D-Daten als Krümmungsdaten weiterverarbeitet und/oder dargestellt werden.

30. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass 3D-Daten als Neigungsdaten bezüglich eines kartesischen Koordinatensystems weiterverarbeitet und/oder dargestellt werden.

31. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass 3D-Daten als Neigungsdaten bezüglich eines Polarkoordinatensystems weiterverarbeitet und/oder dargestellt werden.

32. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass 3D-Daten als Krümmungsdaten bezüglich eines kartesischen Koordinatensystems weiterverarbeitet und/oder dargestellt werden.

33. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass 3D-Daten als Krümmungsdaten bezüglich eines Polarkoordinatensystems weiterverarbeitet und/oder dargestellt werden.

34. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass es auf die Prüfung von im Wesentlichen rotationssymmetrischen Teilen ausgelegt ist.

35. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass Texturdaten weiterverarbeitet und/oder dargestellt werden.

36. Verfahren nach einem der vorangehenden Ansprüche, da- durch gekennzeichnet, dass Punktewolken weiterverarbeitet und/oder dargestellt werden.

37. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass Dreiecksnetze weiterverarbeitet und/oder dargestellt werden.

38. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass CAD-Datensätze weiterverarbeitet und/oder dargestellt werden.

39. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass Voxeldaten weiterverarbeitet und/oder dargestellt werden.

40. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass 3D-Daten grautonkodiert dargestellt werden.

41. Verfahren nach einem der vorangehenden Ansprüche, da- durch gekennzeichnet, dass ein Laserlichtschnittverfahren eingesetzt wird.

42. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine Verfahren der Streifenpro- jektion eingesetzt wird.

43. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein Verfahren der Interfero- metrie eingesetzt wird.

44. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein Verfahren der Weißlichtin- terferometrie eingesetzt wird.

45. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein photometrisches Stereoverfahren eingesetzt wird.

46. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein Verfahren der photometrischen Deflektometrie eingesetzt wird.

47. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein Verfahren der konfokalen Mikroskopie eingesetzt wird.

48. Optischer 3D-Sensor zum Ausführen eines Verfahrens nach einem der vorangehenden Ansprüche.

49. Optischer 3D-Sensor nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass er über eine standardisierte Schnittstelle zur Einbindung in eine Recheneinheit und/oder die Software von Bildverarbeitungsanlagen verfügt.

50. Optischer 3D-Sensor nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass er über eine standardisierte Kameraschnittstelle zur Einbindung in eine Re- cheneinheit und/oder die Software von Bildverarbeitungsanlagen verfügt.

5 I .Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine FireWire-Schnittstelle ver- wendet wird.

52. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine CameraLink-Schnittstelle verwendet wird.

53. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine Ethernet-Schnittstelle verwendet wird.

54. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine USB-Schnittstelle verwendet wird.

55. Vorrichtung nach einem der vorangehenden Ansprüche, da- durch gekennzeichnet, dass eine LVDS-Schnittstelle verwendet wird.

56. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine analoge Schnittstelle ver- wendet wird.

57. Optischer 3D-Sensor nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der 3D-Sensor über eine Schnittstelle verfügt, mit deren Hilfe dieser extern ange- steuert werden kann.

58. Optischer 3D-Sensor nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der 3D-Sensor über eine Schnittstelle verfügt, mit deren Hilfe seine Beleuchtungs- einheit gesteuert werden kann.

59. Optischer 3D-Sensor nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass er über eine Schnittstelle verfügt, mit deren Hilfe Einstellparameter ge- steuert werden können.

60. Optischer 3D-Sensor nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass es sich um einen Laserlichtschnittsensor handelt.

61. Optischer 3D-Sensor nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass es sich um einen Streifenprojektionssensor handelt.

62. Optischer 3D-Sensor nach einem der vorangehenden An- sprüche, dadurch gekennzeichnet, dass es sich um einen interferometrischen Sensor handelt.

63. Optischer 3D-Sensor nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass es sich um einen weißlichtinterferometrischen Sensor handelt.

64. Optischer 3D-Sensor nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass es sich um ein kon- fokaies Mikroskop handelt.

65. Optischer 3D-Sensor nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der 3D-Sensor selbst eine automatische Auswertung von 3D-Daten vornimmt.