-
Die Erfindung betrifft ein Verfahren zur Ermittlung von Messinformationen, die wenigstens eine Durchbrechung und/oder wenigstens einen lokalen Oberflächendefekt und/oder wenigstens einen seitlichen Rand eines Untersuchungsobjekt betreffen, in einem optischen Koordinatenmessgerät, wobei durch eine Kamera des Koordinatenmessgerätes zweidimensionale Bilddaten einer Oberfläche des Untersuchungsobjekts erfasst werden, wobei die zweidimensionalen Bilddaten durch einen Algorithmus verarbeitet werden, um die Messinformationen zu ermitteln. Daneben betrifft die Erfindung ein optisches Koordinatenmessgerät.
-
Koordinatenmessgeräte dienen zur Erfassung von räumlichen Koordinaten eines Untersuchungsobjekts bzw. einer Oberfläche eines Untersuchungsobjekts. Koordinatenmessgeräte können beispielsweise zur Qualitätskontrolle von gefertigten Bauteilen genutzt werden. Eine übliche Methode zur Koordinatenmessung ist ein mechanisches Abtasten der Oberfläche des Untersuchungsobjekts durch einen entsprechend beweglich geführten Tastkopf. Hierdurch können zwar sehr hohe Genauigkeiten der Abtastung erreicht werden. Die Abtastung ist jedoch relativ zeitaufwändig und entsprechende Koordinatenmessgeräte können großbauend und technisch komplex sein.
-
Eine einfache Erfassung der dreidimensionalen Form einer Oberfläche eines Untersuchungsobjekts kann durch eine optische Erfassung möglich sein. Beispielsweise lehrt die Druckschrift
EP 161 273 1 B1 ein Verfahren, bei dem eine Oberfläche aus zwei Perspektiven aufgenommen wird, wobei durch Registrierung einzelner Merkmale der Bilder zueinander Tiefinformationen gewonnen werden können. Nachteilig hierbei ist, dass eine exakte Registrierung von Bildbereichen zueinander nur bei Bereichen möglich ist, in denen ausreichend komplexe Strukturen vorhanden sind. Sollen beispielsweise Oberflächen von gestanzten Blechteilen untersucht werden, ist eine Registrierung der Bilddaten in großflächigen, im Wesentlichen ebenen Bereichen typischerweise nicht mit ausreichender Exaktheit möglich.
-
Eine andere Möglichkeit, die dreidimensionale Form einer Oberfläche optisch abzutasten, ist die sogenannte Streifenlichttechnik. Hierbei werden durch einen Projektor Lichtstreifen auf eine Oberfläche projiziert und die Oberfläche wird durch eine oder mehrere Kameras erfasst. Hierbei kann eine zeitliche Abfolge von mehreren verschiedenen, insbesondere verschieden dichten und verschieden ausgerichteten, Streifenmustern genutzt werden. Für eine durch einen Streifen beleuchtete Position kann problemlos ermittelt werden, durch den wievielten Streifen sie beleuchtet wird, womit bereits bekannt ist, dass der abgebildete Punkt in der Lichtebene dieses Streifens liegt. Durch einfache geometrische Berechnungen kann ermittelt werden, an welcher Position im dreidimensionalen Raum das durch den jeweiligen Bildpunkt abgebildete Raumwinkelsegment diese Lichtebene schneidet. Somit ist mit relativ geringem technischen Aufwand eine hochgenaue Oberflächenerfassung möglich.
-
Es ist jedoch bekannt, dass die Streifenlichttechnik Durchbrechungen und seitliche Ränder der Oberfläche, also beispielsweise Durchbrechungen und Schnitt- oder Stanzkanten eines geformten Blechs, typischerweise nicht gut abbilden kann, da im Bereich dieser Durchbrechungen und Ränder der entsprechende Lichtstreifen notwendig unterbrochen ist. Ebenso können sehr kleine Oberflächendefekte, beispielsweise Kratzer, Pickel oder Dellen, die bei einem mechanischen Abtasten typischerweise erkannt werden könnten, häufig nicht zuverlässig erkannt werden. Zur Erkennung von Durchbrechungen ist es bekannt, dass ein zusätzliches Bild des Untersuchungsobjekts erfasst wird, wobei kein Streifenmuster auf das Untersuchungsobjekt projiziert wird. In diesem Bild kann versucht werden, Durchbrechungen mit Hilfe einer Kantendetektion zu erkennen. Beispielsweise können Sobel-, Prewitt-, oder Laplace-Operator auf die erfassten zweidimensionalen Bilddaten angewandt werden, um Kanten zu erkennen.
-
Der konkret anzuwendende Operator, mit dem eine einzelne Durchbrechung am besten erkannt werden könnte, hängt jedoch von der Art der Durchbrechung und von den Lichtverhältnissen ab, so dass typischerweise kein optimaler Operator gefunden werden kann. Dies führt häufig dazu, dass Kanten von Durchbrechungen zumindest nicht vollständig erkannt werden, so dass auf diese Weise ermittelte Positionen, Orientierungen oder Typen von Durchbrechungen häufig stark fehlerbehaftet sind. Zugleich erfordert die Anwendung der entsprechenden Operatoren auf hochauflösende Bilddaten einen relativ hohen Rechenaufwand, da eine rechnerisch aufwändige Faltungsoperation erforderlich ist.
-
Der Erfindung liegt somit die Aufgabe zu Grunde, eine demgegenüber verbesserte Möglichkeit anzugeben, Messungen vorzunehmen, die Durchbrechungen und/oder lokale Oberflächendefekte und/oder seitliche Ränder eines Untersuchungsobjekts betreffen, wobei insbesondere die Messgenauigkeit verbessert werden soll und dennoch eine Umsetzung mit geringem technischen Aufwand ermöglicht werden soll.
-
Die Aufgabe wird erfindungsgemäß dadurch gelöst, dass bei einem Verfahren der eingangs genannten Art der Algorithmus ein künstliches neuronales Netz ist oder umfasst.
-
Erfindungsgemäß wird somit vorgeschlagen, im Rahmen der Bilddatenverarbeitung zur Ermittlung von Durchbrechungen beziehungsweise Oberflächendefekte bzw. Ränder betreffenden Messinformationen ein Verfahren des Maschinenlernens, nämlich ein künstliches neuronales Netz, zu nutzen. Nach einer relativ rechenaufwändigen Anlernphase, die jedoch unabhängig von der späteren Nutzung des neuronalen Netzes, beispielsweise einmalig für alle optischen Koordinatenmessgeräte einer bestimmten Herstellungsserie oder die eine bestimmte Kamera nutzen, folgen kann, können mit Hilfe von neuronalen Netzen hochgradig effiziente Verarbeitungsalgorithmen bereitgestellt werden. Ein großer Vorteil ist hierbei, dass bei Nutzung eines entsprechend abgestimmten Prozessors eine hochgradig parallele Verarbeitung erfolgen kann, da beispielsweise Neuronen einer jeweiligen Schicht eines neuronalen Netzes typischerweise parallel ausgewertet werden können. Hierdurch kann sehr schnell ein Verarbeitungsergebnis bereitgestellt werden.
-
Zudem weisen ausreichend große künstliche neuronale Netze, die beispielsweise mit Hilfe von Deep Learning trainiert wurden, also mehrere schwache Kriterien nutzen, um eine robuste Ermittlung von Ausgangswerten zu ermöglichen, eine hohe Robustheit gegenüber Rauschen und anderen Bildstörungen auf, die in üblichen Verarbeitungsalgorithmen, insbesondere solchen, die eine Ableitung von Bilddaten nutzen, typischerweise nicht erreicht wird.
-
Ein großer Vorteil bei der Nutzung von Verfahren des Maschinenlernens ist es, dass es nicht erforderlich ist, manuell bestimmte Verarbeitungsregeln vorzugeben, um ein gewünschtes Verarbeitungsergebnis zu erreichen. Eine entsprechende Parametrisierung des künstlichen neuronalen Netzes kann im Rahmen des Maschinenlernens automatisch erlernt werden, beispielsweise indem entsprechende Trainingsdatensätze bereitgestellt werden, die Paare von Eingangsdaten und gewünschten Ergebnissen umfassen. Zum Training des im erfindungsgemäßen Verfahren genutzten künstlichen neuronalen Netzes können beispielsweise Trainingsdatensätze verwendet werden, die jeweils ein Eingangsbild und Referenzausgangsgrößen umfassen, wobei im Rahmen des Maschinenlernens ein Maß für die Abweichung von Ausgangsgrößen, die durch Anwenden des neuronalen Netzes auf das Eingangsbild eines jeweiligen Trainingsdatensatzes ermittelt werden, von den jeweiligen Referenzausgangsgrößen minimiert wird. Als Maß für den Unterschied zwischen den jeweiligen Ausgangsgrößen und den Referenzausgangsgrößen kann eine Kostenfunktion definiert werden. Die Minimierung der Kostenfunktion kann durch Variation der Parameter des neuronalen Netzes erfolgen. Beispielsweise kann eine Fehlerrückführung, auch „backpropagation of error“ genannt, verwendet werden. Allgemein kann ein Gradientenverfahren genutzt werden, bei dem eine Ableitung der Kostenfunktion beziehungsweise des Maßes für die Abweichung bezüglich der Parameter des neuronalen Netzes berechnet wird, um eine Variationsrichtung für die Verarbeitungsparameter zu ermitteln. Entsprechende Trainingsansätze sind im Bereich des Maschinenlernens bekannt und sollen daher nicht detailliert erläutert werden.
-
Die Referenzausgangsgrößen sollen jeweils ein gewünschtes Verarbeitungsergebnis für das Eingangsbild des gleichen Trainingsdatensatzes sein. Eine Möglichkeit, solche Trainingsdatensätze bereitzustellen ist es, für jeden der Trainingsdatensätze ein zugeordnetes Untersuchungsobjekt zu nutzen. Das Eingangsbild des Trainingsdatensatzes kann dann durch optischen Abbilden dieses Untersuchungsobjekts bereitgestellt werden, wobei das Abbilden vorzugsweise durch die Kamera des Koordinatenmessgerätes, eine baugleiche Kamera oder zumindest eine Kamera mit ähnlichen Abbildungseigenschaften erfolgt. Die Referenzausgangsgrößen sollen möglichst hochwertige Informationen zu Durchbrechungen und/oder Oberflächendefekten und/oder zu seitlichen Rändern und/oder zu Kanten, die durch das neuronale Netz erkannt werden sollen, sein. Solche Referenzausgangsgrößen können beispielsweise generiert werden, indem die Oberfläche des Untersuchungsobjekts durch ein mechanisch abtastendes Koordinatenmessgerät abgetastet wird, wodurch ein hochaufgelöstes und hochqualitatives Oberflächenabbild zur Verfügung steht. Dieses kann zur Bereitstellung der Referenzausgangsgrößen automatisch und/oder manuell verarbeitet werden.
-
Das neuronale Netz kann beispielsweise ein „convolutional neural network“ sein. Neuronale Netze zur Bildverarbeitung können eine Eingangsschicht aufweisen, wobei in der Eingangsschicht beispielsweise jedem Bildpunkt ein künstliches Neuron zugeordnet ist, eine Ausgangsschicht, in der beispielsweise über ein jeweiliges Neuron ein jeweiliger Ausgangsparameter ausgegeben wird, und eine oder mehrere verborgene Schichten, die der Verarbeitung dienen. Die Funktion neuronaler Netze und einzelner künstlicher Neuronen ist im Stand der Technik wohlbekannt und soll daher nicht detailliert erläutert werden. Das neuronale Netz kann im erfindungsgemäßen Verfahren ausreichend viele Eingangsneuronen aufweisen, dass es das gesamte Eingangsbild verarbeiten kann. Es ist jedoch auch möglich, dass das neuronale Netz nacheinander oder parallel auf, insbesondere überlappende, Bildausschnitte der zweidimensionalen Bilddaten angewandt wird, wodurch die Komplexität des neuronalen Netzes reduziert werden kann.
-
Das neuronale Netz kann durch einen separaten, für die Implementierung eines neuronalen Netzes besonders geeigneten Prozessor ausgeführt werde. Dieser kann beispielsweise direkt in die Kamera integriert sein. Dies ist insbesondere vorteilhaft, wenn die Ausgangsdaten des neuronalen Netzes weniger umfangreich sind als die Eingangsdaten, da in diesem Fall die erforderliche Bandbreite zwischen Kamera und einer weiteren Verarbeitungseinrichtung, die die weitere Datenverarbeitung durchführt, reduziert werden kann. Für Prozessoren, die zur Hardwarebeschleunigung von neuronalen Netzen dienen, werden zahlreiche Bezeichnungen verwendet, beispielsweise Neuroprozessor, Al-accelerator, neuromorphic integrated circuit, tensor processing unit, usw. Bei diesen Schaltungen kann es sich insbesondere um applikationsspezifische Schaltungen handeln, die Teile der Struktur des neuronalen Netzes in Hardware abbilden. Während sich die Ansätze, die von verschiedenen Herstellern zur Hardwarebeschleunigung von neuronalen Netzen genutzt werden, in einigen Punkten unterscheiden, weisen solche Hardwarebeschleuniger als gemeinsame Merkmale meist eine massiv parallele Verarbeitung bei typischerweise eher geringer Rechengenauigkeit auf. Beispielsweise können Berechnungen mit einer Genauigkeit von nur 8 oder 16 Bit durchgeführt werden. Zur parallelen Verarbeitung können mehrere Kerne und/oder ein vector processing innerhalb von Kernen genutzt werden. Es sind sowohl „single instruction multiple data“ als auch „multiple instruction multiple data“ Architekturen oder Kombinationen hiervon möglich.
-
Durch das neuronale Netz kann wenigstens eine Kante in den zweidimensionalen Bilddaten detektiert werden. Insbesondere kann eine Kante wenigstens einer Durchbrechung bzw. eine Kante, die einem seitlichen Rand entspricht, detektiert werden. Durch das neuronale Netz detektierte Kanten können anschließend zu Randkurven von Durchbrechungen bzw. Oberflächendefekten bzw. des Untersuchungsobjekts weiter verarbeitet werden bzw. weiter verarbeitet werden, um Informationen über die Durchbrechungen bzw. Oberflächendefekte bzw. Ränder, also beispielsweise ihre Form und/oder Orientierung auf bzw. bezüglich der Oberfläche zu ermitteln.
-
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird durch das neuronale Netz für jeden Bildpunkt der zweidimensionalen Bilddaten eine Wahrscheinlichkeit ermittelt, dass sich an diesem Punkt eine Kante befindet. Gegenüber einer rein booleschen Ermittlung, ob sich ein Bildpunkt an einer Kante befindet oder nicht, weist eine solche Wahrscheinlichkeitsermittlung mehrere Vorteile auf. Zum einen wird es hierdurch erleichtert, geschlossene Randlinien, die Durchbrechungen bzw. Oberflächendefekte vollständig umlaufen, bzw. zusammenhängende Segmente des Randes des Untersuchungsobjekts zu erkennen. Zum anderen kann, beispielsweise indem eine angenommene Verteilungsfunktion an diese Wahrscheinlichkeiten gefittet wird, wonach das Maximum der Wahrscheinlichkeitsverteilung ermittelt wird, die Position der Kante mit Sub-Pixelauflösung bestimmt werden, das heißt, es kann beispielsweise auch erkannt werden, dass eine Kante zwischen Bildpunkten verläuft und insbesondere wo die Kante zwischen den Bildpunkten verläuft.
-
Durch das neuronale Netz kann als Ausgangsgröße eine jeweilige Position wenigstens einer erfassten Durchbrechung und/oder wenigstens eines erfassten Oberflächendefekts und/oder wenigstens eines seitlichen Randes ausgegeben werden. Bei der Position kann es sich um eine zweidimensionale Position im Koordinatensystem der zweidimensionalen Bilddaten handeln. Alternativ wäre es beispielsweise möglich, vorangehend eine Form der Oberfläche des Untersuchungsobjekts bzw. Tiefeninformationen zu den einzelnen Bildpunkten der zweidimensionalen Bilddaten zu ermitteln und solche Informationen an das neuronale Netz bereitzustellen. In diesem Fall kann das neuronale Netz als Ausgangsgröße eine dreidimensionale Koordinate der Durchbrechung bzw. des Oberflächendefekts bzw. des seitlichen Randes als Positionsinformation ausgeben. Zur Ausgabe einer solchen Positionsinformation kann das neuronale Netz beispielsweise trainiert werden, indem manuell Positionen von Flächendefekten bzw. Durchbrechungen bzw. Rändern in den Trainingsdatensätzen markiert werden oder bestimmte Bereiche in den Trainingsdatensätzen als zu dem Oberflächendefekt bzw. einer Durchbrechung zugehörig markiert bzw. klassifiziert sind und z. B. deren Mittelpunkt automatisiert bestimmt wird. Die Position bzw. der Verlauf einer seitlichen Kante kann durch Angabe der Position eines oder mehrerer Punkte des Randes angegeben werden.
-
Es können im erfindungsgemäßen Verfahren mehrere Klassen vorgegeben sein, gemäß denen Durchbrechungen und/oder Oberflächendefekte klassifiziert werden, wobei durch das neuronale Netz als Ausgangsgröße eine eine jeweilige Klasse wenigstens einer erfassten Durchbrechung und/oder wenigstens eines erfassten Oberflächendefekts angebende Klassifizierungsinformation ausgegeben wird. Durchbrechungen können beispielsweise als Rundloch, Langloch, rechteckiges Loch oder Ähnliches klassifiziert werden. Bezüglich Oberflächendefekten kann beispielsweise zwischen Dellen, Kratzern und Pickeln unterschieden werden. Hierbei ist es möglich, dass für einige Klassen von Durchbrechungen bzw. Oberflächendefekten die Orientierung auf der Oberfläche relevant ist.
-
Daher kann ergänzend oder alternativ durch das neuronale Netz als Ausgangsgröße eine eine jeweilige Orientierung wenigstens einer erfassten Durchbrechung und/oder wenigstens eines erfassten Oberflächendefekts und/oder wenigstens eines erfassten seitlichen Randes angebende Orientierungsinformation ausgegeben werden.
-
Durch den Algorithmus kann die Position wenigstens einer erfassten Durchbrechung und/oder wenigstens eines erfassten Oberflächendefekts und/oder wenigstens eines erfassten seitlichen Randes und/oder wenigstens einer detektierten Kante mit einer höheren Ortsauflösung ermittelt werden, als die Ortsauflösung der zweidimensionalen Bilddaten bezüglich der Oberfläche des Untersuchungsobjekts im Bereich der jeweiligen Durchbrechung und/oder des jeweiligen Oberflächendefekts und/oder des jeweiligen Randes und/oder der jeweiligen Kante. Abhängig von der Orientierung der Oberfläche bezüglich der Kamera und dem Abstand zwischen Oberfläche und Kamera kann die Ortsauflösung der zweidimensionalen Bilddaten hierbei an verschiedenen Punkten der Oberfläche unterschiedlichen Ortsauflösungen bezüglich der Oberfläche, also im dreidimensionalen Raum, entsprechen. Die Erhöhung der Ortsauflösung kann beispielsweise erreicht werden, indem, wie für Kanten bereits erläutert wurde, Wahrscheinlichkeiten für verschiedene Bildpunkte berechnet werden und ein Schwerpunkt oder ein Maximum einer Wahrscheinlichkeitsverteilung als Position ermittelt wird. Andererseits können entsprechend hohe Ortsauflösungen auch direkt innerhalb des neuronalen Netzes erreicht werden, wobei hierbei die hohe Ortsauflösung ein Ergebnis eines Lernprozesses ist.
-
Wie eingangs erläutert kann durch spezielle integrierte Schaltungen eine deutlich schnellere Berechnung von Ausgangsgrößen von neuronalen Netzen erreicht werden als durch übliche frei programmierbare Prozessoren. Es ist daher vorteilhaft, wenn das neuronale Netz durch eine erste Verarbeitungseinrichtung und weitere Schritte des Algorithmus durch eine separat von der ersten Verarbeitungseinrichtung ausgebildete zweite Verarbeitungseinrichtung implementiert werden, wobei die erste Verarbeitungseinrichtung die zweidimensionalen Bilddaten verarbeitet und ein hieraus ermitteltes Verarbeitungsergebnis an die zweite Verarbeitungseinrichtung bereitstellt. Die zweite Verarbeitungseinrichtung kann beispielsweise ein Arbeitsplatzrechner sein, von dem aus die Erfassung des Untersuchungsobjekts überwacht bzw. gesteuert wird bzw. der zur Qualitätsüberwachung von Produktionsprozessen dient, die das jeweilige Untersuchungsobjekt produzieren. Alternativ könnte die zweite Verarbeitungseinrichtung beispielsweise ein Server, eine Prozesssteuerung einer Industrieanlage oder Ähnliches sein. Die weiteren Schritte werden insbesondere durch eine frei programmierbare Recheneinheit, also beispielsweise durch eine CPU oder einen Microcontroller, ausgeführt.
-
Verarbeitungseinrichtungen zur hocheffizienten Implementierung neuronaler Netze wurden bereits vorangehend diskutiert. Die erste Verarbeitungseinrichtung kann beispielsweise in die Kamera integriert sein. Alternativ kann sie als separates Modul bzw. als Steckkarte ausgebildet sein, die beispielsweise an die zweite Verarbeitungseinrichtung angeschlossen oder in diese eingebaut werden kann. Das neuronale Netz kann in der ersten Verarbeitungseinrichtung insbesondere mit Hilfe eines applikationsspezifischen Schaltkreises implementiert sein.
-
Neben dem erfindungsgemäßen Verfahren betrifft die Erfindung ein optisches Koordinatenmessgerät mit wenigstens einer Kamera zur Erfassung von zweidimensionalen Bilddaten und mit einer oder mehreren Verarbeitungseinrichtungen, wobei die Verarbeitungseinrichtung oder die Verarbeitungseinrichtungen gemeinsam zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet sind. Das optische Koordinatenmessgerät kann insbesondere dazu eingerichtet sein, die Oberfläche des Untersuchungsobjekts mit Hilfe der Streifenlichtmethode abzutasten. Hierzu kann das optische Koordinatenmessgerät zusätzlich wenigstens eine Projektionseinrichtung aufweisen, um, insbesondere veränderliche, Streifenmuster auf die Oberfläche zu projizieren. Die Erfassung der zweidimensionalen Bilddaten, die zur Ermittlung der Messinformationen, die die Durchbrechungen bzw. die lokalen Oberflächendefekte bzw. die seitlichen Ränder betreffen, ausgewertet werden, kann insbesondere bei inaktiver Projektionseinrichtung erfolgen bzw. diese kann so angesteuert werden, dass sie die Oberfläche im Wesentlichen homogen ausleuchtet.
-
Vorzugsweise kann eine erste der Verarbeitungseinrichtungen das neuronale Netz und eine zweite der Verarbeitungseinrichtungen weitere Schritte des Algorithmus implementieren, wobei die erste Verarbeitungseinrichtung in die Kamera integriert ist und die zweite Verarbeitungseinrichtung beabstandet von der Kamera angeordnet ist, und/oder wobei die erste Verarbeitungseinrichtung als separates Modul, insbesondere als Steckkarte, in die zweite Verarbeitungseinrichtung integriert ist. Beschreiben die Ausgangsgrößen des neuronalen Netzes die erfassten Oberflächendefekte bzw. Durchbrechungen bzw. Ränder relativ kompakt, beispielsweise durch eine jeweilige Position, Klasse und/oder Ausrichtung, und wird auf die Übertragung der, typischerweise hochauflösenden, Bilddaten verzichtet, ist hierdurch eine relativ geringe Breite zur Datenübertragung zwischen der Kamera und der weiteren Verarbeitungseinrichtung erforderlich. Dies ermöglicht beispielsweise eine drahtlose Datenübertragung oder eine Datenübertragung über industrieübliche Busstandards mit geringem technischen Aufwand.
-
Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den folgenden Ausführungsbeispielen sowie den zugehörigen Zeichnungen. Hierbei zeigen schematisch:
- 1 ein Ausführungsbeispiel eines erfindungsgemäßen optischen Koord inatenm essgeräts,
- 2 ein Ablaufdiagramm eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
- 3 ein Ablaufdiagramm zum Training des in dem Verfahren gemäß 2 genutzten neuronalen Netzes, und
- 4 einen Abschnitt eines Ablaufdiagramms eines alternativen Ausführungsbeispiels des erfindungsgemäßen Verfahrens.
-
1 zeigt ein Ausführungsbeispiel eines optischen Koordinatenmessgeräts 1, das dazu dient, dreidimensionale Koordinaten und somit die Form der Oberfläche 6 eines Untersuchungsobjekts 7 zu ermitteln. Zudem können durch das optische Koordinatenmessgerät 1 Messinformationen ermittelt werden, die Durchbrechungen 8, 9 und lokale Oberflächendefekte 10 des Untersuchungsobjekts 7 betreffen. Ein solches Koordinatenmessgerät 1 kann beispielsweise im Rahmen einer Qualitätskontrolle genutzt werden. Hierzu können alle oder Teile der hergestellten Untersuchungsobjekte 7, beispielsweise durch einen Roboterarm, ein Fließband oder manuell, in den Erfassungsbereich 12 einer Kamera 2 des Koordinatenmessgeräts 1 verbracht werden. In einer Weiterbildung des dargestellten Beispiels könnte der Erfassungsbereich 12 auch so gewählt werden, dass wenigstens ein seitlicher Rand des Untersuchungsobjekts 7, also beispielsweise eine Stanz- oder Schnittkante eines Blechteils, abgebildet wird. In diesem Fall könnten die Messinformationen ergänzend oder alternativ den seitlichen Rand des Untersuchungsobjekts betreffen. Messinformationen zu Rändern können ebenso gewonnen und verarbeitet werden, wie dies im Folgenden für Messinformationen, die Durchbrechungen 8, 9 und Oberflächendefekte 10 betreffen, erläutert wird.
-
Die Datenerfassung und Verarbeitung wird im Folgenden mit Bezug auf 2 genauer erläutert. Zunächst wird in Schritt S1 die an sich bekannte Streifenmethode genutzt, um die Form der Oberfläche 6 des Untersuchungsobjekts 7 zu erfassen. Hierzu steuert die Verarbeitungseinrichtung 4, im gezeigten Beispiel ein Arbeitsplatzcomputer, eine Projektionseinrichtung 14 an, um nacheinander verschiedene Streifenmuster auf die Oberfläche 6 zu projizieren. Durch Erfassung der Abbildung der Streifenmuster durch einen Bildsensor 5 der Kamera 2 können lokale Verschiebungen der einzelnen Streifen aufgrund der veränderlichen Entfernung der Oberfläche 6 von dem Bildsensor 5 erkannt werden. Dies ermöglicht es, die Form der Oberfläche 6 und somit die Entfernungen der durch die einzelnen Bildpunkte abgebildeten Abschnitte der Oberfläche 6 mit hoher Genauigkeit zu ermitteln. Diese Streifenlichtmethode ist im Stand der Technik bekannt und soll daher nicht genauer erläutert werden.
-
In Schritt S2 wird die Projektionseinrichtung 14 deaktiviert bzw. so angesteuert, dass die Oberfläche 6 im Wesentlichen gleichmäßig ausgeleuchtet wird. Hieraus resultiert, dass hohe Kontraste, im Bereich der Durchbrechungen 8, 9 und im Bereich des Oberflächendefekts 10 bzw. im Bereich von seitlichen Rändern des Untersuchungsobjekts 7 auftreten.
-
Um Messinformationen bezüglich der Durchbrechungen 8, 9 und des Oberflächendefekts 10 mit hoher Genauigkeit, schnell und mit hoher Energieeffizienz ermitteln zu können, wird zur Verarbeitung der erfassten zweidimensionalen Bilddaten ein Algorithmus genutzt, der zumindest in Teilen als neuronales Netz implementiert ist. Als neuronales Netz wird beispielsweise ein „convolutional neural network“ genutzt, dessen Parameter, die im Schritt S3 bereitgestellt werden, im Rahmen eines Maschinenlernens ermittelt werden, das später noch mit Bezug auf 3 erläutert werden wird.
-
Schritt S4, die Anwendung dieses neuronalen Netzes zur Bestimmung von Ausgangsgrößen aus den vom Sensor 5 bereitgestellten zweidimensionalen Bilddaten, wird in dem Koordinatenmessgerät 1 durch eine von der Verarbeitungseinrichtung 4 separat ausgebildete Verarbeitungseinrichtung 3 implementiert, die in die Kamera 2 integriert ist. Alternativ wäre es beispielsweise möglich, diese Verarbeitungseinrichtung 3 als separates Modul, beispielsweise als Steckkarte, in die Verarbeitungseinrichtung 4 zu integrieren oder als externes Gerät an diese anzuschließen.
-
Die Nutzung der separaten Verarbeitungseinrichtung 3 ist aus mehreren Gründen vorteilhaft. Zum einen kann ein Prozessor bzw. eine integrierte Schaltung genutzt werden, die speziell für eine Implementierung von neuronalen Netzen optimiert ist. Neuronale Netze können besonders bevorzugt durch integrierte Schaltungen implementiert werden, die eine massiv parallele Verarbeitung zulassen, wobei jedoch typischerweise keine hohe Rechengenauigkeit erforderlich ist. Die Verarbeitungseinrichtung 3 kann als applikationsspezifischer Schaltkreis implementiert sein. Solche Schaltkreise, die zur Implementierung von neuronalen Netzen optimiert sind, werden beispielsweise als „Al-accellerator“, „neuromorphic integrated circuit“ oder als „tensor processing unit“ bezeichnet.
-
Die Nutzung von zwei separaten Verarbeitungseinrichtungen 3, 4 ist zudem vorteilhaft, da hierdurch nicht die typischerweise hoch auflösenden zweidimensionalen Bilddaten über die Kommunikationsverbindung 13 zu der Verarbeitungseinrichtung 4 übertragen werden müssen, sondern bereits vorverarbeitete Daten, insbesondere die Ausgangsgrößen des neuronalen Netzes, übertragen werden können. Als Ausgangsgrößen können für eine jeweilige Durchbrechung 8, 9 bzw. für einen jeweiligen Oberflächendefekt 10 jeweils eine Klasse der Durchbrechung bzw. des Oberflächendefektes, also ob es sich beispielsweise bei der Durchbrechung um ein Rundloch, um ein Langloch oder ein Rechteckloch handelt bzw. ob es sich bei dem Oberflächendefekt um einen Kratzer, eine Delle oder einen Pickel handelt, und eine Orientierung und Position der Durchbrechung bzw. des Oberflächendefekts übertragen werden. Im gezeigten Ausführungsbeispiel werden Positionen bzw. Orientierungen vorzugsweise zunächst in dem Koordinatensystem der zweidimensionalen Bilddaten ermittelt. Durch die Nutzung dieser abstrakten Ausgangsgrößen kann die erforderliche Bandbreite der Kommunikationsverbindung deutlich reduziert werden, womit diese mit geringem technischen Aufwand beispielsweise durch übliche Industriebussysteme oder eine Funkverbindung realisiert werden kann.
-
In Schritt S5 werden die in Schritt S4 ermittelten Positionen und Orientierungen in ein dreidimensionales Koordinatensystem übertragen. Hierbei wird ausgenutzt, dass aufgrund der in Schritt S1 erfassten Oberflächenform zu jedem Bildpunkt eine Tiefeninformation bekannt ist. Somit kann für eine im Koordinatensystem der zweidimensionalen Bilddaten bekannte Position unmittelbar in eine 3D-Position bestimmt werden. Zudem ist zu jedem Bildpunkt die relative Orientierung der Oberfläche 6 zu der Kamera 2 in diesem Punkt bekannt bzw. kann aus den Tiefeninformationen ermittelt werden. Aus der Orientierung der Oberfläche bezüglich der Kamera 2 und der auf das Koordinatensystem der zweidimensionalen Bilddaten bezogenen Orientierungsinformation kann eine Orientierung der Durchbrechungen 8, 9 bzw. des Oberflächendefekts 10 im dreidimensionalen Raum ermittelt werden, da sich die Orientierung in dem Koordinatensystem der zweidimensionalen Bilddaten aus einer Projektion der sich entlang der Oberfläche 6 erstreckenden dreidimensionalen Orientierung ergibt. Somit kann beispielsweise die dreidimensionale Richtung, in der sich ein Langloch erstreckt, oder Ähnliches, ermittelt werden.
-
Die ermittelten Messinformationen über die Durchbrechungen 8, 9 und den Oberflächendefekt 10 sowie die Form der Oberfläche 6 werden im gezeigten Ausführungsbeispiel über eine Benutzerschnittstelle 11 an einem Benutzer bereitgestellt, der beispielsweise in Abhängigkeit dieser Daten entscheiden kann, ob das Untersuchungsobjekt 7 bestimmten Qualitätsstandards entspricht. Alternativ wäre es beispielsweise möglich, als Verarbeitungseinrichtung 4 einen Server oder eine Prozesssteuerung zu nutzen, der oder die die Messinformationen archiviert und/oder beispielsweise in den Herstellungsprozess des Untersuchungsobjekts 7 in Abhängigkeit der Messinformationen eingreift.
-
3 zeigt beispielhaft ein Verfahren, mit dem das neuronale Netz trainiert werden kann. Hierbei wird zur Bereitstellung eines jeweiligen Trainingsdatensatzes die Oberfläche eines jeweiligen Untersuchungsobjekts zunächst im Schritt S6 durch ein haptisches Koordinatenmessgerät, beispielsweise einen Tastkopf, abgetastet. Bei einer solchen haptischen Abtastung sind Durchbrechungen und Oberflächendefekte und somit auch deren Positionen, Orientierungen und Klassen, typischerweise mit hoher Genauigkeit ermittelbar, so dass diese Größen in Schritt S7 automatisch ermittelt werden können. Alternativ wäre es beispielsweise möglich, entsprechende Informationen durch einen Benutzer händisch einzugeben. In Schritt S8 wird die gleiche Oberfläche des gleichen Untersuchungsobjekts optisch erfasst, vorzugsweise durch die Kamera 2 oder zumindest durch eine baugleiche Kamera oder eine Kamera mit zumindest ähnlichem Abbildungsverhalten und vorzugsweise mit einer Abbildungsgeometrie, die im Wesentlichen der später zu nutzenden Abbildungsgeometrie entspricht, also mit ähnlichem Abstand und ähnlicher Orientierung des Untersuchungsobjekts zu der Kamera.
-
Die in Schritt S7 bestimmten Referenzausgangsgrößen sowie die zweidimensionalen Bilddaten, die in Schritt S8 ermittelt wurden, werden in Schritt S9 zu einem jeweiligen Trainingsdatensatz zusammengefasst. Eine Vielzahl dieser Trainingsdatensätze wird in den weiteren Schritten genutzt, um das neuronale Netz zu trainieren.
-
In Schritt S10 werden Verarbeitungsparameter für das neuronale Netz vorgegeben. Bei den Verarbeitungsparametern handelt es sich beispielsweise um Gewichte, mit denen die einzelnen Eingänge eines jeweiligen künstlichen Neurons gewichtet werden. Anfänglich können die Parameter z. B. zufällig vorgegeben werden.
-
In Schritt S11 werden die zweidimensionalen Bilddaten jedes der Trainingsdatensätze durch das gemäß Schritt S10 parametrisierte neuronale Netz verarbeitet. In Schritt S12 wird anschließend eine Kostenfunktion berechnet, die von den jeweiligen Abweichungen zwischen den für einen jeweiligen Trainingsdatensatz in Schritt S11 berechneten Ausgangsgrößen und den Referenzausgangsgrößen für den entsprechenden Trainingsdaten abhängt. Beispielsweise kann eine Summe der quadratischen Fehler berechnet werden.
-
Diese Kostenfunktion soll anschließend minimiert werden. Dies erfolgt, indem in Schritt S13 eine Fehlerrückführung erfolgt, das heißt, die in Schritt S10 vorgegebenen Parameter des neuronalen Netzes angepasst werden und anschließend die Schritte S11 bis S13 wiederholt werden. Als Fehlerrückführung kann insbesondere ein Gradientenverfahren genutzt werden, das heißt, es kann eine lokale Ableitung der Kostenfunktion bezüglich der einzelnen Parameter berechnet werden, um eine Variationsrichtung für diese Parameter zu ermitteln. Dies ist typischerweise möglich, wenn das neuronale Netz differenzierbar ist und es sich um ein feed-forward-Netz handelt, das heißt, das das neuronale Netz kein Gedächtnis und/oder Rückkopplungen aus früheren Schichten aufweist. Dies ist bei einem „convolutional neural network“ typischerweise der Fall.
-
Das bislang beschriebene Verfahren, bei dem die gesamten zweidimensionalen Bilddaten als Eingangsgrößen eines neuronalen Netzes dienen und relativ abstrakte Ausgangsgrößen ermittelt werden, erfordert ein relativ großes neuronales Netz. Dies bedeutet einerseits, dass die Verarbeitungseinrichtung 3 relativ leistungsfähig sein muss, und andererseits, dass eine relativ große Anzahl von Trainingsdatensätzen erforderlich ist, um das neuronale Netz erfolgreich zu trainieren.
-
Die Komplexität des neuronalen Netzes kann durch zwei Ansätze reduziert werden. Einerseits kann das neuronale Netz jeweils nur auf Bildausschnitte angewandt werden. Beispielsweise kann eine sequentielle Verarbeitung von, vorzugsweise überlappenden, Bildausschnitten erfolgen. Alternativ oder ergänzend kann statt der relativ abstrakten bisher diskutierten Ausgangsgrößen das neuronale Netz auch nur genutzt werden, um Kanten in den zweidimensionalen Bilddaten zu detektieren. Ein solches Vorgehen wird im Folgenden mit Bezug auf 4 erläutert.
-
Die in 4 gezeigten Schritte S14 bis S17 ersetzen in einem alternativen Ausführungsbeispiel den in 2 gezeigten Schritt S4. Gemeinsam bewirken sie somit die Verarbeitung der zweidimensionalen Bilddaten zu den mit Bezug auf 2 erläuterten Ausgangsgrößen. In dem in 4 gezeigten Ausführungsbeispiel wird jedoch ausschließlich der Schritt S14 durch die Verarbeitungseinrichtung 3 mit Hilfe eines neuronalen Netzes implementiert.
-
In Schritt S14 werden die von dem Bildsensor 5 bereitgestellten zweidimensionalen Bilddaten durch ein neuronales Netz verarbeitet, das dazu trainiert wurde, für jeden Bildpunkt der zweidimensionalen Bilddaten eine Wahrscheinlichkeit zu ermitteln, dass sich an diesem Bildpunkt eine Kante befindet. Ein Training eines solchen neuronalen Netzes kann erfolgen, wie zu 3 erläutert wurde, wobei als Sollausgangsgrößen in den einzelnen Trainingsdatensätzen entsprechende Wahrscheinlichkeiten für die einzelnen Bildpunkte angegeben sind. Als Ausgangsgröße des neuronalen Netzes werden somit erneut zweidimensionale Bilddaten bereitgestellt, wobei der Wert der einzelnen Bildpunkte nun die Wahrscheinlichkeit des Vorliegens einer Kante an diesem Bildpunkt ist. Diese Ausgangsgrößen können an die Verarbeitungseinrichtung 4 bereitgestellt und dort weiterverarbeitet werden.
-
Dort kann in Schritt S15 zunächst eine Wahrscheinlichkeitsfunktion an die in Schritt S14 ermittelte diskrete Wahrscheinlichkeitsverteilung angefittet werden und Begrenzungslinien von Strukturen, insbesondere von Oberflächendefekten und Durchbrechungen, können in Schritt S15 beispielsweise als geschlossene Gratlinie dieser Wahrscheinlichkeitsfunktion ermittelt werden. In Schritt S16 können optional zusätzlich morphologische Operationen genutzt werden, um Fehlstellen in der Begrenzungslinie aufzuheben und somit eine geschlossene Kurve bereitzustellen bzw. um nahe beieinander liegende Strukturen zu trennen. Für die geschlossene Kurve kann in Schritt S17 eine Klassifikationsfunktion genutzt werden, um zu erkennen, ob es sich um eine Durchbrechung oder um einen Oberflächendefekt handelt und um welche Art von Durchbrechung bzw. Oberflächendefekt es sich handelt. Hierbei können auch die ursprünglichen zweidimensionalen Bilddaten berücksichtigt werden. Zudem können die Position und Orientierung der Durchbrechung bzw. des Oberflächendefekts ermittelt werden.
-
In weiteren alternativen Ausführungsbeispielen wäre es möglich, Teile der Schritte 15 bis 17 ebenfalls innerhalb des neuronalen Netzes durchzuführen. Zudem sind offensichtlich eine Vielzahl weiterer Ansätze möglich, um aus der in Schritt S14 ermittelten Wahrscheinlichkeitsverteilung konkrete vorhandene Durchbrechungen bzw. Oberflächendefekte zu ermitteln.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
