-
Die Erfindung betrifft ein Verfahren zum Erzeugen von Trainings- oder Korrekturdaten für ein künstliches neuronales Netz mittels eines bildgebenden Sensors, welcher dazu eingerichtet ist, das Bild eines Überprüfungsbereichs einer Kontrollanwendung aufzunehmen, wobei im Überprüfungsbereich die Oberfläche eines zu prüfenden Bauteils erfasst wird, sowie eine entsprechend eingerichtete Analysevorrichtung.
-
Derartige Kontrollanwendungen sind auf das Erkennen von Anomalien und Defekten auf Oberflächen von Bauteilen gerichtet und insbesondere in der Fabrikautomation weit verbreitet. Hierbei werden die zu prüfenden Bauteile mittels eines bildgebenden Sensors, der Bestandteil eines Bildverarbeitungssystems ist, visuell überprüft. In herkömmlicher Weise werden hierzu Bilder des zu prüfenden Bauteils angefertigt und aus diesen durch rechnergestützte Analyse mindestens ein Parameter zur Charakterisierung einer optisch erfassbaren Anomalie auf der Oberfläche des zu prüfenden Bauteils ermittelt. Mittels mathematischer Algorithmen werden zunächst die relevanten Bildbestandteile herausgefiltert und optimiert (sog. „Bild-Vorverarbeitung“), sowie anschließend vermessen oder mittels optischer Routinen auf das Vorliegen bestimmter, vordefinierter Merkmale hin ausgewertet. Hierfür typische Standardprüfroutinen sind beispielsweise die Kantendetektion anhand von Hell-/Dunkel- oder Farb-Übergängen, das Erkennen von Form und Lage anhand eingelernter Objektkonturen etc... Ein solches System ist beispielsweise aus
DE 10 2016 220 523 A1 bekannt. Solche herkömmlichen Bildverarbeitungssysteme sind allerdings sehr komplex und aufwändig zu betreiben.
-
In den vergangenen Jahren wurden jedoch erhebliche Fortschritte auf dem Gebiet der künstlichen neuronalen Netze erzielt. Insbesondere ermöglichen neue Architekturen der neuronalen Netze, wie sie beispielsweise unter dem Schlagwort des „deep learning“ bekannt geworden sind, in Verbindung mit einer ebenfalls stark gesteigerten Rechnerleistung in Form von Grafikprozessoren eine Ausweitung möglicher Anwendungsgebiete. Auch in der Fabrikautomation kommen deshalb vermehrt auf „deep learning“ basierende Softwareplattformen zum Einsatz und ermöglichen den Einsatz von Kontrollanwendungen zur automatisierten Defekterkennung auch für solche Anwendungsfälle, für die die vorgenannten herkömmlichen Bildverarbeitungssysteme zu teuer und zu aufwändig sind. Auf „deep learning“ basierende Analysewerkzeuge ermöglichen das Erkennen von Fehlern, die vom Anwender nicht im Voraus definiert werden müssen, und sind somit gut geeignet für Situationen, in denen Bilder von Fehlern entweder nur schwer erfasst werden können, oder die fehlerhaften Vorgänge bzw. Zustände als solche sogar noch unbekannt sind.
-
Jedoch erfordert das Anlernen der künstlichen neuronalen Netze mit repräsentativen Trainingsdaten einen hohen Aufwand im Vorfeld der eigentlichen Nutzung bzw. Anwendung. Bevor ein künstliches neuronales Netz eine gestellte Aufgabe zuverlässig erledigen kann, muss es anhand vergleichbarer Situationen und deren jeweils durch den Anwender vorgegebenen Bewertungen trainiert bzw. angelernt werden. In der Regel ist ein Training umso erfolgreicher, je mehr Trainingsdaten in Bezug auf einen Zielparameter bzw. einen Fehler verfügbar sind.
-
Im Fall der optischen Qualitätskontrolle beispielsweise müssen einem solchen auf der Nutzung künstlicher neuronaler Netze basierenden Analysewerkzeug die Strukturen von Oberflächen der zu prüfenden Bauteile anhand von Bildern ohne Fehlstellen (bzw. sogenannter „Gut-Bilder“) beigebracht werden. Erst nach dem Antrainieren einer hinreichend großen Anzahl von Gut-Bildern kann das Analysewerkzeug die Anomalien bzw. Fehlerzustände gegenüber dem erlernten Aussehen des zu prüfenden Bauteils ermitteln. Ein solcher Anlernmodus wird auch als „Ohne Aufsicht-Modus“ bzw. „unsupervised-Modus“ bezeichnet.
-
Allerdings hat sich die Anwendung von auf künstlichen neuronalen Netzen basierenden Analysewerkzeugen bei der Prüfung bzw. Kontrolle von Bauteilen aus Materialien, deren Oberfläche eine Textur mit zufälligen Konturen geringer Komplexität aufweist (wie z.B. poröser Beton oder Keramik), als problematisch herausgestellt. Da sich bei solchen Oberflächen die Mehrdeutigkeit des trainierten Modells stark erhöht, sinkt zugleich die Treffergüte des Analysewerkzeugs bei Anwendung des trainierten Modells in einer Kontrollanwendung. Zur Überwindung dieses Problems wird deshalb gemäß Stand der Technik ein zusätzliches Trainieren des künstlichen neuronalen Netzes mit manuell markierten Anomalien durchgeführt, d.h. es muss zusätzlich zum Trainieren mit „Gut-Bildern“ ein ergänzendes Trainieren mit einer repräsentativen Auswahl von zusätzlichen, auf Bildern von Fehlstellen bzw. Anomalien basierenden Datensätzen durchgeführt werden. Dies erfordert eine aufwändige manuelle Vorarbeit für das Erzeugen von Trainingsdaten. Ein solcher Anlernmodus des künstlichen neuronalen Netzes wird deshalb auch als „Unter Aufsicht“- bzw. „supervised“-Modus bezeichnet. Neben dem Mehraufwand, der durch das manuelle Markieren von Fehlstellen verursacht wird, besteht aber ein wesentlicher Nachteil des Trainierens im „Unter Aufsicht“-Modus darin, dass Defekte nur in solchen Ausprägungen erkannt werden, für die zuvor Trainingsdaten erstellt wurden. Mit anderen Worten ist die Fähigkeit des Analysewerkzeugs zum autonomen Lernen beim Erzeugen von Trainingsdaten im „Unter Aufsicht“-Modus stark eingeschränkt.
-
Die Aufgabe der vorliegenden Erfindung besteht somit darin, ein gattungsgemäßes Verfahren bzw. eine Analysevorrichtung zum Erzeugen von Trainings- oder Korrekturdaten für ein künstliches neuronales Netz bereitzustellen, welches bzw. welche den Aufwand für das Erstellen und Einlernen repräsentativer Datensätze für das Training des künstlichen neuronalen Netzes bzw. der Kontrollanwendung verringert und die Fehlerrate eines solchermaßen für das künstliche neuronale Netz bzw die Kontrollanwendung trainierten Analysewerkzeugs reduziert.
-
Diese Aufgabe wird durch ein Verfahren zum Erzeugen von Trainings- oder Korrekturdaten für ein künstliches neuronales Netz nach Patentanspruch 1 sowie eine Analysevorrichtung nach Patentanspruch 9 gelöst.
-
Hierzu sieht die Grundidee der Erfindung vor, dass das Verfahren folgende Teilschritte umfasst:
- ■ Erzeugen mindestens eines ersten Bildes des Überprüfungsbereichs im bildgebenden Sensor,
- ■ Verändern der Intensitätswert-Signale mindestens einer Teilmenge von zueinander benachbarten Bildpunkten eines im bildgebenden Sensors erzeugten Bildes auf einen Ziel-Intensitätswert hin,
- ■ Übertragen dieses derart erzeugten Bildes als Eingangsgröße an das künstliche neuronale Netz zur Erzeugung eines mathematischen Modells über die Eigenschaften dieses Bildes.
-
Auf diese Weise wird ein Bild erzeugt, dessen Bildinhalt mindestens eine Teilmenge von Bildpunkten aufweist, deren Intensitätswert-Signal nicht mehr dem ursprünglichen Intensitätswert beim Aufnehmen des Bildes des Überprüfungsbereiches durch den bildgebenden Sensor entspricht, sondern auf einen Ziel-Intensitätswert hin verändert, d.h. angehoben oder abgesenkt, wurde. Auf diese Weise wird eine zweidimensionale Anordnung von Bildpunkten erzeugt, die sowohl eine erste Teilmenge von Bildpunkten umfasst, deren Intensitätswerte durch Manipulation der Intensitätswert-Signale der Bildpunkte des ursprünglichen, vom bildgebenden Sensor erfassten Bildes verändert wurde, als auch eine zweite Teilmenge von Bildpunkten umfasst, deren Intensitätswert unverändert blieb.
-
Somit weist der Bildinhalt des erzeugten Bildes eine dem ursprünglichen Bild des Überprüfungsbereiches der Kontrollanwendung überlagerte zweidimensionale Struktur auf, welche durch die mindestens eine Teilmenge von Bildpunkten mit verändertem bzw. manipuliertem Intensitätswert-Signal gebildet ist. Alle dieser Struktur zugehörigen Bildpunkte weisen nach erfolgter Manipulation (d.h. Anheben oder Absenken) der Intensitätswert-Signale denselben Intensitätswert auf; nämlich denjenigen Ziel-Intensitätswert, zu dessen Erreichen die Veränderung der jeweiligen Intensitätswert-Signale erfolgt ist. Auf diese Weise wird dem vom bildgebenden Sensor aufgenommenen ursprünglichen Bild des Überprüfungsbereichs ein strukturiertes Gebilde in Form einer Mehrzahl zueinander benachbarter Bildpunkte aufgeprägt, deren jeweiliges Intensitätswert-Signal den Ziel-Intensitätswert entspricht und somit deutlich von den Intensitätswert-Signalen der übrigen, von diesem Gebilde nicht erfassten Bildpunkte abweicht.
-
Das erfinderische Grundkonzept sieht somit vor, dass für die der mindestens einen Teilmenge zugehörigen Bildpunkte eine Signalanhebung oder Signalabsenkung ihrer jeweiligen Intensitätswerte erfolgt, wodurch die Bildpunkte dieser Teilmenge eine Kontrasterhöhung in Bezug auf benachbarte, nicht der Teilmenge zugehörige Bildpunkte erfahren. Es versteht sich für den Fachmann von selbst, dass es bei der praktischen Anwendung des erfindungsgemäßen Verfahrens auch einzelne Bildpunkte in dieser Teilmenge geben kann, deren jeweiliges Intensitätswert-Signal bereits von Anfang an (d.h. vor Anwendung des erfindungsgemäßen Verfahrens) einen Wert jenseits des Ziel-Intensitätswertes aufweist und somit bei Anwendung des erfindungsgemäßen Verfahrens keine weitere Veränderung mehr erfährt. Allerdings wird es sich hierbei stets um einige wenige Bildpunkte handeln, die auf das von der Erfindung angestrebte Ergebnis und die von der Erfindung zu dessen Erreichung vorgeschlagene Vorgehensweise keinen Einfluss haben.
-
Dieses erzeugte Bild wird gemäß der erfinderischen Idee an das künstliche neuronale Netz als Eingangsgröße zur Erzeugung eines mathematischen Modells über die Eigenschaften dieses Bildes übertragen. Auf diese Weise wird dem künstlichen neuronalen Netz ein Bild der Oberfläche des zu prüfenden Bauteils verfügbar gemacht, welches gemäß der erfinderischen Idee durch einen manipulativen Eingriff eine Strukturierung erhalten hat, die auf der realen Oberfläche des zu prüfenden Bauteils nicht oder nur in geringer Ausprägung vorhanden ist. Somit kann das künstliche neuronale Netz nunmehr ein Modell über ein solchermaßen strukturiertes Bild erstellen. Auf diese Weise wird eine besonders einfache und effiziente Initialisierung des künstlichen neuronalen Netzes ermöglicht. Die in den Bilddaten des Überprüfungsbereichs eingebettete Strukturierung ermöglicht die Erstellung eines Mustermodells durch das künstliche neuronale Netz, anhand derer variierende Bilddaten des Überprüfungsbereichs analysierbar sind. Auf diese Weise können Trainingsdaten im „ohne Aufsicht“-Modus auch für solche Oberflächen erzeugt werden, die bislang nur im „unter Aufsicht“-Modus durch Anlernen mittels „Schlecht-Bildern“ vordefinierter Fehler trainierbar waren. Hierunter fallen insbesondere solche Bauteile aus Werkstoffen, deren Oberflächen eine eher diffuse und unstrukturierte Textur aufweisen, wie z.B. poröser Beton, Putzflächen, Asphalt oder offenporige Kunststoffe. Die Bilddaten solcher Oberflächen weisen üblicherweise völlig inhomogene Intensitätswerte auf und waren bislang einer Analyse mittels künstlicher neuronale Netze nur im vorgenannten „Unter Aufsicht“- bzw. „supervised“-Modus zugänglich. Mittels des erfindungsgemäßen Verfahrens ist es nunmehr ausreichend, wenn Oberflächen mit solchen unstrukturierten Texturen mittels Bildern von ungestörten (bzw. fehlerfreien) Bauteilen bzw. Oberflächen im „ohne Aufsicht“-Modus eingelernt werden. Ein vorheriges Definieren von in Betracht kommenden Fehlertypen sowie das manuelle Anfertigen von hierzu korrespondierenden Bildern mit händisch durch eine Bedienperson zu markierenden Fehlstellen ist entbehrlich. Neben der Ersparnis an Arbeitsaufwand nimmt zugleich der Anteil von Fehlklassifikationen deutlich ab.
-
Von entscheidender Bedeutung für das erfindungsgemäße Verfahren ist hierbei eine hinreichend große Differenz zwischen den Intensitätswerten der Bildpunkte der mindestens einen Teilmenge mit manipulierten bzw. veränderten Intensitätswert-Signalen und den übrigen Bildpunkten der erzeugten Bildes, welche eine zweite Teilmenge ausbilden. Auf diese Weise wird ein hinreichend großer Kontrast zwischen den Bildpunkten der ersten und der zweiten Teilmenge, bzw. zwischen dem durch den bildgebenden Sensor erzeugten ersten bzw. ursprünglichen Bild des Überprüfungsbereichs (mit unverändertem Intensitätswert-Signal) und der diesem Bild überlagerten zweidimensionalen Struktur (mit verändertem Intensitätswert-Signal).
-
In der einfachsten Ausprägung der Erfindung ist der Ziel-Intensiätswert als feste Zielgröße vorgebbar. Jedoch sieht eine besonders bevorzugte und vorteilhafte Ausprägung der erfinderischen Grundidee vor, dass in einem ersten Teilschritt der Mittelwert der Intensitätswert-Signale aller Bildpunkte des ersten Bildes bestimmt und in einem hieran anschließenden zweiten Teilschritt der Ziel-Intensitätswert derart ermittelt wird, dass der Absolutwert der Differenzfunktion zwischen dem Mittelwert der Intensitätswert-Signale aller Bildpunkte des ersten Bildes und dem Ziel-Intensitätswert ein Maximum erreicht. Selbstverständlich umfasst die Erfindung auch alle Abwandlungen dieser Grundidee, gemäß derer der Ziel-Intensitätswert einem solchen maximalen Abstand vom Mittelwert der Intensitätswert-Signale aller Bildpunkte des ersten Bildes zwar zustrebt, diesen aber nicht erreicht.
-
Auf diese Weise ist bestimmbar, ob die Veränderung der Intensitätswert-Signale der Bildpunkte mittels einer Signalanhebung oder einer Signalabsenkung erfolgt. Sofern die Bildpunkte der vom bildgebenden Sensor erfassten Bilddaten ein überwiegend helles Bild repräsentieren (z.B. der Mittelwert der Intensitätswerte des aktuell erfassten Bildes oberhalb des Medians aller im Rahmen der Kontrollanwendung erfassten historischen Intensitätswerte liegt), so erfolgt die Signalveränderung mittels einer Signalabsenkung. Somit erscheinen die Bildpunkte der ersten Teilmenge dunkler als die Bildpunkte der zweiten Teilmenge. Sofern die Bildpunkte der vom bildgebenden Sensor erfassten Bilddaten ein überwiegend dunkles Bild repräsentieren (z.B. der Mittelwert der Intensitätswerte des aktuell erfassten Bildes unterhalb des Medians aller im Rahmen der Kontrollanwendung erfassten historischen Intensitätswerte liegt), so erfolgt die Signalveränderung mittels einer Signalanhebung. Somit erscheinen die Bildpunkte der ersten Teilmenge nach Veränderung der Intensitätswert-Signale heller als die Bildpunkte der zweiten Teilmenge. Eine solche Bestimmung kann in regelmäßig wiederkehrenden Zyklen vor jeder Erfassung eines einzelnen Bildes durch den bildgebenden Sensor erfolgen, sofern die während der Kontrollanwendung zu analysierenden Überprüfungsbereiche starken Schwankungen der Intensitätswert-Signale unterliegen, oder aber einmalig während einer Initialisierungsphase der Kontrollanwendung, sofern die Intensitätswert- Signale des Überprüfungsbereichs keinen starken Schwankungen im Verlauf der Kontrollanwendung unterliegen.
-
Unter einem „zweidimensionalen Strukur“ ist in diesem Zusammenhang jegliche geometrische Anordnung einer Mehrzahl von aneinander grenzenden Bildpunkten zu verstehen. Es ist jedoch in bevorzugter Weise vorgesehen, dass die mindestens eine Teilmenge von zueinander benachbarten Bildpunkten ein geometrisches Muster ausbildet. Ein solches Muster kann auch eine Mehrzahl von jeweils in sich abgeschlossenen Teilmengen von aneinander grenzenden Bildpunkten umfassen. Es ist für das erfindungsgemäße Verfahren von Bedeutung, dass die Summe aller solcher einem Muster zugehörigen Bildpunkte der ersten Teilmenge die Summe der übrigen Bildpunkte der zweiten Teilmenge nicht übersteigt.
-
Ein solches Muster im Sinn der Erfindung kann in Form eines geometrisch exakt beschriebenen Linienverlaufs (wie z.B. Gerade, Bogen, Bogensegment, Kreis), aber auch als Freiformlinie ausgeführt sein. Wenngleich die konkrete geometrische Ausprägung des Musters für das erfindungsgemäße Verfahren von nachrangiger Bedeutung ist, so ist dennoch jegliche Art von Muster bevorzugt, welche eine Mehrzahl wiederkehrender identischer Musterbestandteile aufweist. Auf diese Weise ist das im erfindungsgemäßen Verfahren erzeugte Bild in eine Mehrzahl zueinander identischer Teilbereiche untergliederbar, wodurch die Erzeugung eines initiierenden mathematischen Modells durch das künstliche neuronale Netz wirkungsvoll unterstützt wird. In Versuchen hat sich ein zweidimensionales Muster in Form einer Anordnung von zueinander beabstandeten parallelen Wellenlinien als besonders vorteilhaft herausgestellt.
-
Es ist in diesem Zusammenhang für das erfindungsgemäße Verfahren weiterhin sehr wichtig, dass die Dimension der Zwischenräume zwischen den Bestandteilen des überlagerten zweidimensionalen Musters (d.h. also beispielsweise zwischen zwei einander benachbarten parallelen Wellenlinien) einen bestimmten Grenzwert, dessen genaue Quantifizierung durch die Größe des im Rahmen der jeweiligen Kontrollanwendung zu erwartenden maximalen Fehlers determiniert ist, nicht überschreitet. So hat es sich im Rahmen der vorgenannten Versuche als zweckmäßig erwiesen, wenn der Abstand zueinander benachbarter identischer Musterbestandteile in einem Wertebereich zwischen der halben und der zweifachen Größe des zu erwartenden Fehlers liegt (d.h. also die halbe Größe des zu erwartenden Fehlers nicht unterschreitet und dessen zweifache Größe nicht überschreitet).
-
Insbesondere ist es für das erfindungsgemäße Verfahren wesentlich, dass bei einer Abfolge einer Mehrzahl von zu erzeugenden Bildern diese mit dem jeweils selben Muster erzeugt werden. Hierbei kann die Größe des Musters zwischen den einzelnen Bildern skaliert werden; dessen strukturelle Eigenschaften, wie beispielsweise die Charakteristik des Linienverlaufs bei linienartigen Formen oder die Charakteristik der Außenkontur bei flächenhaften Formen, sollen aber nicht verändert werden.
-
Das künstliche neuronale Netz ist hierbei bevorzugt als ein Deep-Learning Modul ausgeführt, da Deep-Learning Netze besonders gut geeignet sind für Anwendungen, die auf digitalen zweidimensionalen (2D) Bildern, beispielsweise Flächenbildern aus Bilddateien, basieren. Die Erfindung basiert dabei auf dem Grundverständnis, dass Trainings- und Korrekturdaten nicht nur die für das Initialisieren des künstlichen neuronalen Netzes erforderlichen Daten (welche im Kontext dieser Erfindung als „Trainingsdaten“ im engeren Wortsinn verstanden werden), sondern auch sämtliche für ein fortlaufendes Training des künstlichen neuronalen Netzes geeignete Betriebsdaten (welche im Kontext dieser Erfindung als „Korrekturdaten“ bezeichnet werden) umfassen.
-
Im initialen Stadium des erfindungsgemäßen Verfahrens werden erste Trainingsdaten in das Deep-Learning Modul eingegeben (z.B. durch das sensorische Erfassen einer Mehrzahl von Bildern der Oberfläche des zu prüfenden Bauteils mit jeweils erfindungsgemäß überlagertem Muster), so dass das Deep-Learning Modul das künstliche Intelligenz-Modell gemäß der Trainingsdaten erstellt. Die erfinderische Idee umfasst aber auch solche Korrekturdaten, die während des laufenden Betriebs der Kontrollanwendung durch die Eingabe erfindungsgemäß erzeugter Bilddaten in das Deep-Learning Modul entstehen, so dass das Deep-Learning Modul das künstliche Intelligenz-Modell gemäß dieser Korrekturdaten korrigiert. Auf diesem Wege wird ein korrigiertes künstliches Intelligenz-Modell erzeugt und ein iteratives Trainieren des Deep-Learning Moduls ermöglicht. Dies ermöglicht ein kontinuierliches Verbessern des künstlichen Intelligenz-Modells.
-
Der bildgebende Sensor ist gemäß der erfinderischen Grundidee als ein Flächen- oder Zeilen-Bildsensor ausgeführt, wobei in bevorzugter Weise die Verwendung eines optoelektronischen Sensors bzw. einer Kamera vorgesehen ist. Allerdings ist die Erfindung nicht auf die Anwendung von sichtbarem Licht beschränkt, sondern auch auf andere bildgebende Verfahren (wie z.B. Infrarot, Röntgen oder Ultraschall) übertragbar.
-
Die Erfindung sieht ferner vor, dass eine Abfolge von mindestens einem ersten und einem zweiten Bild des Überprüfungsbereichs erzeugt und an das künstliche neuronale Netz übertragen wird, wobei die Muster des ersten und des zweiten Bildes um mindestens einen Bildpunkt zueinander variieren. Dies ermöglicht das Erkennen von Fehlstellen, die bei einer ersten Musterlage eventuell überdeckt sind. Auf diese Weise wird die Güte der Fehlererkennung des künstlichen neuronalen Netzes verbessert.
-
Eine solche Varianz der Musterlage ist zudem sinnvoll, da die Positioniergenauigkeit der zu prüfenden Bauteile in Bezug auf den bildgebenden Sensor nicht über die Dauer der gesamten Kontrollanwendung hin exakt identisch ist. Dies bedeutet, dass zwei verschiedene zu prüfenden Bauteile niemals eine exakt identische Positionierung und relative Ausrichtung in Bezug auf den bildgebenden Sensor aufweisen. Die Varianz der Musterlage verringert den Anteil von Fehlklassifikationen, insbesondere von fehlerhaften „Ausschuss“-Ermittlungen.
-
Die Varianz der Musterlage kann dabei auf unterschiedliche Weise erzielt werden, z.B. durch rotatorische Drehung, translatorische Verschiebung oder skalierende Größenänderung des Musters. Ebenso kann die Varianz der Musterlage durch Änderung des Intensitätswertes oder des Farbwertes des Musters oder durch geometrische Verformung des Musters beim Übergang vom ersten auf das zweite Bild erzielt werden. In besonders bevorzugter Weise erfolgt die Variation zufallsbasiert, d.h. folgt keinem Schema vorbestimmter Variationsschritte. Auf diese Weise wird die Wahrscheinlichkeit, dass das dem nachfolgenden zweiten Bild überlagerte Muster eine erneute Übereinstimmung mit dem einem vorhergehenden ersten Bild überlagerten Muster aufweist, deutlich reduziert. Dies wäre beispielsweise der Fall, wenn bei einem Muster mit gitterförmiger Struktur die Rotation oder Verschiebung derart erfolgt, dass die veränderte Lage bzw. Ausrichtung von Bestandteilen der gitterförmigen Struktur mit deren ursprünglicher Lage bzw. Ausrichtung übereinstimmt (z.B. bei translatorischer Verschiebung um genau einen Gitter-Abstand).
-
Gemäß einer Ausführungsvariante der erfinderischen Grundidee werden die Intensitätswert-Signale durch Aufprojizieren eines Musters mittels einer Projektionsvorrichtung auf den Überprüfungsbereich des Bauteils verändert. Dies stellt eine besonders einfache Möglichkeit zur Umsetzung der Erfindungsidee dar. Es ist dabei sinnvoll, wenn die Projektionsvorrichtung für eine gleichbleibende Projektion des Musters über die gesamte Dauer der Kontrollanwendung hinweg eingerichtet ist, damit es zu keinen Schwankungen von Intensitätswerten der das Muster repräsentierenden Bildpunkte während der Kontrollanwendung kommt.
-
Gemäß einer sinnvollen Weiterentwicklung sind dabei der bildgebende Sensor oder die Projektionsrichtung der Projektionsvorrichtung in einem schrägen Winkel zur Oberfläche des zu prüfenden Bauteils ausgerichtet. Auf diese Weise können bei einer Analyse der mit einem zweidimensionalen bildgebenden Sensor (also z.B. einem Flächen-Bildsensor) erfassten Bildpunkte auch zusätzliche Informationen über eine sprungartige oder gleitende Veränderung von Höhen oder Tiefen im Überprüfungsbereich des Bauteils generiert werden, da sich diese als Störungen des projizierten Musters abzeichnen. Somit kann die Kontrollanwendung auch auf das Erkennen dreidimensionaler Störungen bzw. Anomalien erweitert werden.
-
Die Erfindung erstreckt sich ferner auf ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes mit Trainings- oder Korrekturdaten, die mittels eines Verfahrens nach einem der vorhergehenden Patentansprüche erzeugt werden, sowie einen bildgebenden Sensor, insbesondere eine Kamera, der dafür ausgebildet ist, aufgenommene Bilddaten mit einem Verfahren nach einem der vorhergehenden Patentansprüche als Trainings- oder Korrekturdaten für ein künstliches neuronales Netz zu speichern.
-
Die vorliegende Erfindung wird nachfolgend anhand eines Ausführungsbeispiels und dazugehöriger Zeichnungen näher erläutert. Es zeigen:
- 1: schematische Anordnung der Komponenten einer zur Durchführung des erfindungsgemäßen Verfahrens eingerichteten Analysevorrichtung in perspektivischer Ansicht
- 2: schematische Anordnung der Komponenten derselben Analysevorrichtung in Blickrichtung der Kamera (2)
-
Die Kontrollanwendung umfasst ein Bildanalyseverfahren zur Qualitätskontrolle von in einem industriellen Herstellungsprozess gefertigten Bauteilen (1) mit einer näherungsweise zylindrischen Außenkontur. Die Bauteile (1) müssen im Rahmen ihrer jeweiligen Anforderungsdefinitionen bestimmte Qualitätsmerkmale aufweisen (z.B. flüssigkeits- und druckdicht sein). Fertigungsbedingt können jedoch Schwankungen in der Qualität und Güte der Bauteile auftreten, wobei Art und Umfang der hieraus resultierenden Anomalien vor Beginn der Kontrollanwendung noch nicht bekannt sind. Hieraus resultiert die Notwendigkeit, diese Bauteile mittels des vorgenannten Bildanalyseverfahrens zerstörungsfrei auf das Vorliegen von Mängeln zu prüfen.
-
Zur Ausführung der Kontrollanwendung ist ein Bildanalysesystem vorgesehen, welches ein Bilderfassungssystem mit einer Kamera (2) zur Aufnahme von 2D-Bildern der Oberfläche des Bauteils (1), Lichtquellen zu deren homogener Beleuchtung (in 1 aus Gründen der Übersichtlichkeit nicht dargestellt) sowie einen (ebenfalls nicht bildlich dargestellten) Server (bzw. eine Recheneinheit) umfasst, auf dem ein Deep-Learning Modul und ein künstliches Intelligenz-Modell implementiert sind. Der von der Kamera (2) abgedeckte Erfassungsbereich der Oberfläche des zu prüfenden Bauteils (1) repräsentiert den Überprüfungsbereich (3) der Kontrollanwendung. Die vom Bilderfassungssystem erzeugten Bilddaten werden dem Server zur Verfügung gestellt; das dort gespeicherte künstliche Intelligenz-Modell analysiert die Bilddaten und erzeugt hieraus Analyseergebnisdaten. Die Analyseergebnisdaten umfassen eine optische Markierung von Einzelfehlern oder Fehlerregionen auf der Oberfläche des zu prüfenden Bauteils (1) und werden übergeben an eine Auswertevorrichtung, welche dazu eingerichtet ist, ein auf den Analyseergebnisdaten basierendes konkretes Ergebnis der Kontrollanwendung zu ermitteln; d.h. also hier, ob der im Überprüfungsbereich (3) der Kontrollanwendung erfasste Abschnitt des Bauteils (1) die Qualitätskriterien erfüllt. Im einfachsten Fall ist die Auswertevorrichtung als ein durch einen menschlichen Bediener (Qualitätsprüfer) überwachter Monitor ausgeführt. Solche Kontrollanwendungen bzw. Bildanalysesysteme sind aus dem Stand der Technik bekannt.
-
In der Praxis stellt sich jedoch immer wieder das Problem, dass die Oberfläche der zu prüfenden Bauteile (1) eine hohe Porosität aufweist und deren von der Kamera (2) aufgenommene zweidimensionale Abbildung keine klar erkennbaren Strukturen aufweist. Das Kamerabild zeigt lediglich eine diffuse Ansammlung von Bildpunkten mit inhomogenen Intensitätswerten bzw. Grauwerten. Soll nun mittels des vorgenannten Bildanalysesystems die Oberfläche eines solchen Bauteils auf Fehler überprüft werden, so ist ein zusätzliches Trainieren des künstlichen neuronalen Netzes mit manuell markierten Anomalien erforderlich, d.h. es muss zusätzlich zum Trainieren mit „Gut-Bildern“ ein ergänzendes Trainieren mit einer repräsentativen Auswahl von zusätzlichen, auf Bildern von Fehlstellen bzw. Anomalien basierenden Datensätzen durchgeführt werden.
-
Hier setzt nun die Erfindung an.
-
Das zu prüfende Bauteil (1) wird in die Bildanalysevorrichtung eingelegt und derart ausgerichtet, dass die Kamera (2) den für die durchzuführende Kontrollanwendung relevanten Überprüfungsbereich (3) bestmöglich erfassen kann. Mit der Kamera (2) wird dann eines ersten Bildes des Überprüfungsbereichs (3) des zu prüfenden Bauteils erzeugt.
-
In einem ersten Teilschritt wird der Mittelwert der Intensitätswert-Signale aller Bildpunkte dieses ersten Bildes bestimmt und in einem hieran anschließenden zweiten Teilschritt ein Ziel-Intensitätswert derart ermittelt wird, dass der Absolutwert der Differenzfunktion zwischen dem zuvor ermittelten Mittelwert der Intensitätswert-Signale aller Bildpunkte des ersten Bildes und dem Ziel-Intensitätswert ein Maximum erreicht. Da die Bilddaten des ersten Bildes überwiegend hell sind (d.h. also deren Bildpunkte eher hohe Intensitäts- bzw. Grauwerte aufweisen), wird ein „dunkler“ Ziel-Intensitätswert (d.h. mit geringem Grauwert) ermittelt.
-
Anschließend wird mittels eines Projektors (4) ein Muster (5) auf den Überprüfungsbereich (3) des zu prüfenden Bauteils (1) projiziert und mit der Kamera (2) sensorisch erfasst. Das Muster ist derart eingerichtet, dass das von der Kamera erzeugte Abbild des vom Muster überlagerten Überprüfungsbereichs (3) eine Teilmenge von Bildpunkten enthält, deren Intensitätswert-Signal dem zuvor ermittelten Ziel-Intensitätswert entspricht. Die Intensitätswert-Signale der übrigen Bildpunkte des Kamerabildes sind im Vergleich zum ursprünglichen ersten Kamerabild unverändert. Somit werden also die Bilddaten der Kamera (2) mit einem vom Projektor (4) generierten Muster (5) quasi „überlagert“.
-
Das Muster (5) ist in Form einer Mehrzahl von zueinander parallelen, aber beabstandeten Wellenlinien ausgeführt. Für den Abstand zueinander benachbarter identischer Wellenlinien wird ein Wert gewählt, der der einfachen Größe des zu erwartenden Fehlers entspricht. Dies gewährleistet, dass ein möglicher Fehler mit sehr hoher Wahrscheinlichkeit in einem von einem Musterbestandteil (bzw. einer Wellenlinie) erfassten Teil des Überprüfungsbereichs liegt und somit auch vom mathematischen Modell zu trainierenden Deep-Learning Moduls erfasst wird.
-
Das von der Kamera erzeugte Abbild des vom Muster überlagerten Überprüfungsbereichs (3) wird an das Deep-Learning Modul übertragen, in dem es als Eingangsgröße für die Erzeugung eines mathematischen Modells über die Eigenschaften dieses Bildes dient. Durch die Darstellung eines Musters mit wiederkehrenden identischen Musterbestandteilen und mit hohem Kontrast zu den übrigen Bildbestandteilen ermöglicht dieses Kamerabild eine besonders einfache und effiziente Initialisierung des Deep-Learning Moduls, da es diesem die Erstellung kleinräumigerer und strukturierterer Mustermodelle ermöglicht.
-
Durch das initiale Erzeugen einer Mehrzahl von solchen Bildern der Oberfläche des zu prüfenden Bauteils (1), bei denen das zweidimensionale Abbild der Oberfläche mit einem solchen Muster (5) von dunklen Wellenlinien überlagert ist, werden durch das Bildanalysesystem erste Trainingsdaten in das Deep-Learning Modul übergeben. Hierauf basierend erstellt das Deep-Learning Modul das künstliche Intelligenz-Modell in seiner initialen Ausprägung. Sobald das künstliche Intelligenz-Modell in seiner initialen Ausprägung erstellt ist (d.h. nach dem Trainieren mit einer hinlänglichen Anzahl von hierfür vorab synthetisch erstellten Trainings-Datensätzen), ist das Bildanalysesystem zum Start der Kontrollanwendung im realen Prüfungsmodus bereit. Während des Betriebs der Kontrollanwendung im realen Prüfungsmodus entstehen dann durch die Eingabe erfindungsgemäß erzeugter Bilddaten in das Deep-Learning Modul Korrekturdaten, mit denen das Deep-Learning Modul das künstliche Intelligenz-Modell fortlaufend korrigiert.
-
Auf diese Weise können Trainingsdaten im „ohne Aufsicht“-Modus auch für Oberflächen von Werkstoffen mit unstrukturierten Texturen, wie z.B. poröser Beton, erzeugt werden, die bislang nur im „unter Aufsicht“-Modus trainierbar waren. Es ist nunmehr ausreichend, wenn im „ohne Aufsicht“-Modus Bilder von ungestörten (bzw. fehlerfreien) Oberflächen mit solchen unstrukturierten Texturen eingelernt werden.
-
Bezugszeichenliste
-
- 1
- zu prüfendes Bauteil
- 2
- Kamera
- 3
- Überprüfungsbereich
- 4
- Projektor
- 5
- Muster
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016220523 A1 [0002]
