DE102018103244A1

DE102018103244A1 - Bildverarbeitugssystem

Info

Publication number: DE102018103244A1
Application number: DE102018103244.7A
Authority: DE
Inventors: Jaewook HWANG; Shiro Fujieda; Yasuyuki Ikeda; Kazushi YOSHIOKA
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2017-08-04
Filing date: 2018-02-14
Publication date: 2019-02-07
Anticipated expiration: 2038-02-15
Also published as: JP2019028960A; US20190043185A1; JP7294768B2; US10885620B2; CN109387521B; CN109387521A; DE102018103244B4

Abstract

Ein Bildverarbeitungssystem (100A, 100B, 200), das mindestens ein Objekt (1 bis n) unter Verwendung einer funktionsarmen Vorrichtung (10) und einer funktionsreichen Vorrichtung (20), die eine höhere Rechenkapazität als die funktionsarme Vorrichtung (10) aufweist, bestimmt. Die funktionsarme Vorrichtung (10) umfasst einen Teil, der dafür konfiguriert ist, ein erstes Bestimmungsergebnis auszugeben, das die Objekte (1 bis n) identifiziert, indem ein erstes neuronales Faltungsnetzwerk auf aufgenommene Bilder der Objekte (1 bis n) angewendet wird, und umfasst einen Teil, der dafür konfiguriert ist, das aufgenommene Bild an die funktionsreiche Vorrichtung (20) auszugeben, wenn das erste Bestimmungsergebnis eine zuvor festgelegte Bedingung erfüllt. Die funktionsreiche Vorrichtung (20) umfasst einen Teil, der dafür konfiguriert ist, ein zweites neuronales Faltungsnetzwerk, das vorläufig anhand einer Abtastung erlernt wurde und mindestens teilweise dem ersten neuronalen Netzwerk gemein ist, auf das aufgenommene Bild anzuwenden, und ein zweites Bestimmungsergebnis auszugeben, welches das Objekt (1 bis n) identifiziert.

Description

HINTERGRUND
Technisches Gebiet
Die vorliegende Offenbarung betrifft ein Bildverarbeitungssystem, und betrifft insbesondere ein Bildverarbeitungssystem, das mit einem neuronalen Netzwerk arbeitet.
Beschreibung des Standes der Technik
Auf dem Gebiet der Werksautomatisierung (Factory Automation, FA) ist weithin eine automatische Steuerung implementiert worden, die mit einer Bildmessverarbeitung arbeitet. Zum Beispiel wird durch Abbilden eines zu inspizierenden Objekts, wie zum Beispiel eines Werkstücks, und Berechnen eines Merkmalsbetrages, wie zum Beispiel eines Defekts, anhand des aufgenommenen Bildes ein Inspektionsprozess zum Überprüfen der Qualität des Werkstücks realisiert.
Als ein Beispiel einer solchen Bildmessverarbeitung gewinnt ein neuronales Faltungsnetzwerk (im Weiteren auch einfach als „CNN“ bezeichnet) an Aufmerksamkeit. Zum Beispiel ist, wie in Nicht-Patentdokument 1 offenbart, ein CNN ein Netzwerk, das eine mehrschichtige Struktur aufweist, in der eine Faltungsschicht und eine Pooling-Schicht abwechselnd angeordnet sind.
Patentdokumente
[Nicht-Patentdokument 1] „ImageNet Classification with Deep Convolutional Neural Networks“, A. Krizhevsky, I. Sutskever und G. E. Hinton, In Advances in Neural Information Processing Systems, 2012
KURZE BESCHREIBUNG DER ERFINDUNG
Wenn eine Bildanalyse oder dergleichen unter Verwendung des CNN ausgeführt wird, wie im Fall der Technik, die in dem oben beschriebenen Nicht-Patentdokument 1 offenbart ist, so wird das CNN durch Lernen unter Verwendung mehrerer Lernbilder konstruiert, und das konstruierte CNN wird für die Bildanalyse verwendet.
Andererseits werden in einer Bildverarbeitungsvorrichtung, die das CNN verwendet, Parameter eines CNN-Netzwerkmodells nicht optimiert, wenn ein Messungsziel kein erlerntes Objekt ist. In diesem Fall erfordert die Bildverarbeitungsvorrichtung Rechenleistung zum Lernen, und die Rechenleistung kann nicht von einer funktionsarmen Vorrichtung erbracht werden. Des Weiteren ist, wenn ein Netzwerkmodell mit einer großen Rechenmenge in der Bildverarbeitungsvorrichtung konstruiert wird, die Rechenleistung in der funktionsarmen Vorrichtung ungenügend. In diesem Fall kann die Bildverarbeitungsvorrichtung die Bestimmung nicht innerhalb eines bestimmten Zeitraums vollenden und kann somit ein Objekt nicht in Echtzeit inspizieren.
Eine Aufgabe der vorliegenden Offenbarung ist die Bereitstellung eines Bildverarbeitungssystems, das in der Lage ist, die Genauigkeit einer Bestimmung selbst dann zu verbessern, wenn sich eine funktionsarme Vorrichtung vor Ort befindet.
Gemäß einem Aspekt der vorliegenden Offenbarung wird ein Bildverarbeitungssystem bereitgestellt, das mindestens ein Objekt unter Verwendung einer oder mehrerer erster Vorrichtungen und einer zweiten Vorrichtung, die eine höhere Rechenfähigkeit als die erste Vorrichtung aufweist, bestimmt, wobei die erste Vorrichtung einen Teil enthält, der dafür konfiguriert ist, ein erstes neuronales Netzwerk auf ein aufgenommenes Bild des Objekts anzuwenden und ein erstes Bestimmungsergebnis, welches das Objekt identifiziert, auszugeben, und einen Teil enthält, der dafür konfiguriert ist, das aufgenommene Bild an die zweite Vorrichtung auszugeben, wenn das erste Bestimmungsergebnis eine zuvor festgelegte Bedingung erfüllt, wobei die zweite Vorrichtung einen Teil enthält, der dafür konfiguriert ist, ein zweites neuronales Netzwerk, das vorläufig anhand einer Abtastung erlernt wurde und mindestens teilweise dem ersten neuronalen Netzwerk gemein ist, auf das aufgenommene Bild anzuwenden, und ein zweites Bestimmungsergebnis auszugeben, welches das Objekt identifiziert, und das erste neuronale Netzwerk und das zweite neuronale Netzwerk eine Netzwerkstruktur haben, die eine Zwischenschicht aufweist und von der mindestens ein Teil einen gemeinsamen Abschnitt hat.
Gemäß einem weiteren Aspekt der vorliegenden Offenbarung wird ein Bildverarbeitungssystem bereitgestellt, das mindestens ein Objekt unter Verwendung einer oder mehrerer erster Vorrichtungen und einer zweiten Vorrichtung, die eine höhere Rechenfähigkeit als die erste Vorrichtung aufweist, bestimmt, wobei die erste Vorrichtung einen Teil enthält, der dafür konfiguriert ist, ein erstes neuronales Netzwerk auf ein aufgenommenes Bild des Objekts anzuwenden und ein erstes Bestimmungsergebnis, welches das Objekt identifiziert, auszugeben, und einen Teil enthält, der dafür konfiguriert ist, ein Datensignal auf einer Zwischenstufe des ersten neuronalen Netzwerks an die zweite Vorrichtung auszugeben, wenn das erste Bestimmungsergebnis eine zuvor festgelegte Bedingung erfüllt, wobei die zweite Vorrichtung einen Teil enthält, der dafür konfiguriert ist, ein zweites Bestimmungsergebnis auszugeben, welches das Objekt unter Verwendung eines zweiten neuronalen Netzwerks identifiziert, das mindestens teilweise dem ersten neuronalen Netzwerk gemein ist, wobei das erste neuronale Netzwerk und das zweite neuronale Netzwerk eine Netzwerkstruktur haben, die eine Zwischenschicht aufweist und von der mindestens ein Teil einen gemeinsamen Abschnitt hat, und der Teil, der dafür konfiguriert ist, das zweite Bestimmungsergebnis auszugeben, das Datensignal von einer Schicht des zweiten neuronalen Netzwerks aus anwendet, die der Zwischenstufe des ersten neuronalen Netzwerks entspricht.
Bevorzugt kann die erste Vorrichtung das zweite Bestimmungsergebnis empfangen und das Objekt in Echtzeit bestimmen.
Bevorzugt kann die erste Vorrichtung einen Teil enthalten, der dafür konfiguriert ist, das aufgenommene Bild, von dem ein erstes Bestimmungsergebnis geringer ist als eine zuvor festgelegte Genauigkeit, an die zweite Vorrichtung auszugeben, und die zweite Vorrichtung kann einen Teil enthalten, der dafür konfiguriert ist, das zweite neuronale Netzwerk auf der Basis des aufgenommenen Bildes, das niedriger als die zuvor festgelegte Genauigkeit ist, umzulernen.
Bevorzugt kann der Umlernteil das zweite neuronale Netzwerk im Offline-Zustand umlernen.
Bevorzugt kann die zweite Vorrichtung einen Teil enthalten, der dafür konfiguriert ist, ein Modell des ersten neuronalen Netzwerks auf der Basis eines Abschnitts des umgelernten zweiten neuronalen Netzwerks, der dem ersten neuronalen Netzwerk gemein ist, zu erzeugen, und einen Teil enthalten, der dafür konfiguriert ist, einen Abschnitt umzulernen, der für das erste neuronale Netzwerk in dem Modell des ersten neuronalen Netzwerks einzigartig ist.
Bevorzugt kann das Bildverarbeitungssystem des Weiteren eine Verwaltungsvorrichtung enthalten, die dafür konfiguriert ist, das Bestimmungsergebnis für jedes Objekt zu verwalten; die erste Vorrichtung kann einen Teil enthalten, der dafür konfiguriert ist, das erste Bestimmungsergebnis an die Verwaltungsvorrichtung auszugeben, und einen Teil enthalten, der dafür konfiguriert ist, das aufgenommene Bild, von dem das erste Bestimmungsergebnis niedriger ist als die zuvor festgelegte Genauigkeit, an die zweite Vorrichtung auszugeben; die zweite Vorrichtung kann einen Teil enthalten, der dafür konfiguriert ist, das zweite Bestimmungsergebnis an die Verwaltungsvorrichtung auszugeben; und die Verwaltungsvorrichtung kann mindestens eines von dem ersten Bestimmungsergebnis und dem zweiten Bestimmungsergebnis mit dem Objekt für jedes der Objekte verknüpfen.
Bevorzugt können das erste neuronale Netzwerk und das zweite neuronale Netzwerk neuronale Faltungsnetze sein.
Gemäß der Offenbarung ist es möglich, die Genauigkeit der Bestimmung selbst dann zu verbessern, wenn sich eine funktionsarme Vorrichtung vor Ort befindet.
Figurenliste

1 ist ein Schaubild, das ein Bildverarbeitungssystem 100A gemäß einer ersten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
2 ist ein Funktionsblockschaubild, das ein Beispiel einer Konfiguration einer funktionsarmen Vorrichtung 10 gemäß der ersten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
3 ist ein Funktionsblockschaubild, das ein Beispiel einer Konfiguration einer funktionsreichen Vorrichtung 20 gemäß der ersten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
4 ist ein Schaubild, das ein Bildverarbeitungssystem 100B gemäß einer zweiten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
5 ist ein Schaubild, das ein Beispiel eines Bestimmungsflusses eines Bildverarbeitungssystems gemäß einer dritten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
6 ist ein Schaubild, das ein Beispiel eines CNN-Modells des Bildverarbeitungssystems veranschaulicht, das dem Bestimmungsfluss von 5 entspricht.
7 ist ein Schaubild, das ein anderes Beispiel des CNN-Modells des Bildverarbeitungssystems veranschaulicht, das dem Bestimmungsfluss von 5 entspricht.
8 ist ein Schaubild, das ein Beispiel eines Bestimmungsflusses eines Bildverarbeitungssystems gemäß einer vierten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
9 ist ein Schaubild, das ein Beispiel eines CNN-Modells des Bildverarbeitungssystems veranschaulicht, das dem Bestimmungsfluss von 8 entspricht.
10 ist ein Schaubild, das ein Bildverarbeitungssystem 200 gemäß einer fünften Ausführungsform der vorliegenden Offenbarung veranschaulicht.
11 ist ein Schaubild, das ein Beispiel eines Bestimmungsflusses des Bildverarbeitungssystems 200 gemäß der fünften Ausführungsform der vorliegenden Offenbarung veranschaulicht.
12 ist ein Flussdiagramm, das ein Beispiel des Bestimmungsflusses des Bildverarbeitungssystems 200 gemäß der fünften Ausführungsform der vorliegenden Offenbarung veranschaulicht.
13 ist ein Schaubild, das die Verteilung von Daten mit Bezug auf einen Identifizierungsgrad eines Werkstücks in dem Bildverarbeitungssystem 200 gemäß der fünften Ausführungsform der vorliegenden Offenbarung veranschaulicht.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Ausführungsformen der vorliegenden Offenbarung werden ausführlich mit Bezug auf die Zeichnungen beschrieben. Des Weiteren werden in den Zeichnungen die gleichen oder entsprechende Teile durch die gleichen Bezugszahlen bezeichnet, und ihre Beschreibung wird nicht wiederholt.
Im Folgenden wird ein neuronales Faltungsnetzwerk (CNN) als ein Beispiel eines neuronalen Netzwerks beschrieben. Jedoch enthält eine zur Bildverarbeitung verwendete Netzwerkstruktur zusätzlich zu dem CNN zum Beispiel ein Deep-Belief-Netzwerk (DBN) und einen Stacked Denoising Autoencoder (SDA).
Die vorliegende Offenbarung betrifft eine Netzwerkstruktur, die eine Zwischenschicht aufweist und von der mindestens ein Teil einen gemeinsamen Abschnitt hat. Genauer gesagt, ist ein neuronales Netzwerk, das die Zwischenschicht oder ein tiefes neuronales Netzwerk sowie das CNN aufweist, ebenfalls in einer Aufgabe der vorliegenden Offenbarung beinhaltete.
[Erste Ausführungsform]
1 ist ein Schaubild, das ein Bildverarbeitungssystem 100A gemäß einer ersten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 1 zu sehen, enthält das Bildverarbeitungssystem 100A eine funktionsarme Vorrichtung 10 und eine funktionsreiche Vorrichtung 20. Zum Beispiel ist die funktionsarme Vorrichtung eine Vorrichtung mit relativ geringer Rechenleistung, die eine Sensorsteuereinheit enthält, die Eingaben und Bestimmungen an einem FA-Standort ausführt. Zum Beispiel ist die funktionsreiche Vorrichtung eine Vorrichtung mit relativ hoher Rechenleistung, die einen Server enthält, der mit einem Personalcomputer (PC) oder einer Arbeitsstation oder einer Cloud oder dergleichen verbunden ist, die eine höhere Rechenleistung als die funktionsarme Vorrichtung aufweist. Die funktionsarme Vorrichtung 10 enthält eine Bildgabevorrichtung 11. Die funktionsreiche Vorrichtung 20 enthält einen Mehrkernprozessor 21, einen Speicher 22 und einen Hochpräzisions-CNN-Berechnungsteil 23.
Die Bildgabevorrichtung 11 nimmt Bilder von Werkstücken 1, 2, 3, ..., n (im Weiteren auch als Werkstück n bezeichnet) auf, die sich nacheinander in Intervallen einer Bestimmungszeit Tj vorbeibewegen. Die funktionsarme Vorrichtung 10 generiert ein Bildsignal Gr oder ein Datensignal Di auf einer Zwischenstufe des CNN auf der Basis eines Abbildungsergebnisses der Bildgabevorrichtung 11 und überträgt es zu der funktionsreichen Vorrichtung 20. Das Bildsignal Gr kann eine Graubestimmung zeigen, wobei ein Identifizierungsgrad des Werkstücks n niedriger ist als ein zuvor festgelegter Wert (zum Beispiel 50 %) und die Identifizierung mehrdeutig ist. Das Bildverarbeitungssystem 100A bestimmt das Vorhandensein oder Fehlen von Kratzern auf dem Werkstück n gemäß dem Identifizierungsgrad.
Die funktionsreiche Vorrichtung 20 empfängt das Bildsignal Gr oder das Datensignal Di und führt eine CNN-Berechnung des Bildsignals Gr oder des Datensignals Di in dem Hochpräzisions-CNN-Berechnungsteil 23 aus. Die funktionsreiche Vorrichtung 20 generiert ein Bestimmungssignal Jd, das ein Bestimmungsergebnis des Werkstücks n auf der Basis eines Berechnungsergebnisses in dem Hochpräzisions-CNN-Berechnungsteil 23 angibt, und überträgt das Bestimmungssignal Jd zu der funktionsarmen Vorrichtung 10. Beim Umlernen des CNN überträgt die funktionsreiche Vorrichtung 20 ein Datensignal Dm eines umgelernten Modells zu der funktionsarmen Vorrichtung 10.
2 ist ein Funktionsblockschaubild, das ein Beispiel einer Konfiguration der funktionsarmen Vorrichtung 10 gemäß der ersten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 2 zu sehen, enthält die funktionsarme Vorrichtung 10 die Bildgabevorrichtung 11, eine Kameraschnittstelle (SSt) 12, einen Speicher 13, eine zentrale Verarbeitungseinheit (CPU) 14, einen Direktzugriffsspeicher (RAM) 15 und eine Kommunikations-SSt 16.
Die Bildgabevorrichtung 11 nimmt ein Bild des Werkstücks n auf und überträgt das Abbildungsergebnis zu der Kamera-SSt 12. Die Kamera-SSt 12 überträgt das Abbildungsergebnis zu dem Speicher 13, der CPU 14, dem RAM 15 und der Kommunikations-SSt 16. Der Speicher 13 speichert das Abbildungsergebnis der Bildgabevorrichtung 11, ein Berechnungsprogramm, das in der CPU 14 verwendet wird, ein Berechnungsergebnis in der CPU 14 und so weiter langfristig. Die CPU 14 berechnet das Abbildungsergebnis der Bildgabevorrichtung 11 in einem Niedrigpräzisions-CNN. Der RAM 15 speichert Zwischenergebnisse der Berechnung durch die CPU 14 kurzfristig. Die Kommunikations-SSt 16 gibt das durch die CPU 14 berechnete Bildsignal oder das Datensignal auf der Zwischenstufe des CNN an die funktionsreiche Vorrichtung 20 aus und empfängt ein Signal von der funktionsreichen Vorrichtung 20.
3 ist ein Funktionsblockschaubild, das ein Beispiel einer Konfiguration der funktionsreichen Vorrichtung 20 gemäß der ersten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 3 zu sehen, enthält die funktionsreiche Vorrichtung 20 den Mehrkernprozessor 21, den Speicher 22, den Hochpräzisions-CNN-Berechnungsteil 23, einen RAM 24 und eine Kommunikations-SSt 25. Der Hochpräzisions-CNN-Berechnungsteil 23 enthält ein erlerntes Netzwerkmodell des CNN, das in der Lage ist, eine präzise Bestimmung auszuführen.
Der Mehrkernprozessor 21 führt die CNN-Berechnung oder dergleichen eines Bildsignals oder eines Datensignals aus, das von der funktionsarmen Vorrichtung 10 über die Kommunikations-SSt 25 gesendet wird. Der Speicher 22 speichert das Bildsignal und das Datensignal, die von der funktionsarmen Vorrichtung 10 gesendet wurden, ein Berechnungsprogramm, das in dem Mehrkernprozessor 21 verwendet wird, ein Berechnungsergebnis in dem Mehrkernprozessor 21 und so weiter langfristig.
Der Hochpräzisions-CNN-Berechnungsteil 23 berechnet das Bildsignal oder das von der funktionsarmen Vorrichtung 10 gesendete Datensignal mit einem Hochpräzisions-CNN. Des Weiteren führt der Hochpräzisions-CNN-Berechnungsteil 23 ein Umlernen offline unter Verwendung der Bildsignale der akkumulierten Graubestimmung aus. Außerdem lernt der Hochpräzisions-CNN-Berechnungsteil 23 auch das auf der Seite der funktionsarmen Vorrichtung 10 konstruierte Modell um, überträgt das umgelernte Modell zu der funktionsarmen Vorrichtung 10 und aktualisiert das CNN.
Der RAM 24 speichert ein Zwischenergebnis der Berechnung in dem Mehrkernprozessor 21 oder dergleichen kurzfristig. Die Kommunikations-SSt 25 gibt das Bestimmungssignal, welches das Bestimmungsergebnis des Werkstücks n angibt, und das Datensignal des umgelernten Modells an die funktionsarme Vorrichtung 10 aus und empfängt ein Signal von der funktionsarmen Vorrichtung 10.
Wie oben beschrieben, kann gemäß der ersten Ausführungsform selbst in einem Fall, wo sich das Werkstück mit der funktionsarmen Vorrichtung bei der Inspektion unter Verwendung des CNN schwierig bestimmen lässt, das Werkstück über die funktionsreiche Vorrichtung bestimmt werden, indem man das erlernte Netzwerkmodell des CNN anwendet, das eine präzise Bestimmung auf der Seite der funktionsreichen Vorrichtung erlaubt. Des Weiteren empfängt die funktionsreiche Vorrichtung das Datensignal auf der Zwischenstufe des CNN von der funktionsarmen Vorrichtung und identifiziert und bestimmt es, wodurch die Inspektion in Echtzeit ausgeführt werden kann.
[Zweite Ausführungsform]
4 ist ein Schaubild, das ein Bildverarbeitungssystem 100B gemäß einer zweiten Ausführungsform der vorliegenden Erfindung veranschaulicht.
Wie in 4 zu sehen, enthält das Bildverarbeitungssystem 100B funktionsarme Vorrichtungen 10X und 10Y und eine funktionsreiche Vorrichtung 20. Die funktionsarmen Vorrichtungen 10X und 10Y enthalten Bildgabevorrichtungen 11X bzw. 11Y. Wie in 1, enthält die funktionsreiche Vorrichtung 20 einen Mehrkernprozessor 21, einen Speicher 22 und einen Hochpräzisions-CNN-Berechnungsteil 23.
Die Bildgabevorrichtung 11X nimmt Bilder von Werkstücken 1X, 2X, 3X, ..., nX (im Weiteren auch als Werkstück nX bezeichnet) auf, die sich nacheinander in Intervallen einer Bestimmungszeit T1j vorbeibewegen. Die funktionsarme Vorrichtung 10X generiert ein Bildsignal Gr1 oder ein Datensignal Di1 auf einer Zwischenstufe des CNN auf der Basis eines Abbildungsergebnisses der Bildgabevorrichtung 11X und überträgt es zu der funktionsreichen Vorrichtung 20.
Die Bildgabevorrichtung 11Y nimmt Bilder von Werkstücken 1Y, 2Y, 3Y, ..., nY (im Weiteren auch als Werkstück nY bezeichnet) auf, die sich nacheinander in Intervallen der Bestimmungszeit T2 vorbeibewegen. Die funktionsarme Vorrichtung 10Y generiert ein Bildsignal Gr2 oder ein Datensignal Di2 auf einer Zwischenstufe des CNN auf der Basis eines Abbildungsergebnisses der Bildgabevorrichtung 11Y und überträgt es zu der funktionsreichen Vorrichtung 20.
Die funktionsreiche Vorrichtung 20 empfängt die Bildsignale Gr und Gr2 oder die Datensignale Di1 und Di2 und führt eine CNN-Berechnung der Bildsignale Gr1 und Gr2 oder des Datensignals Di1 und Di2 in dem Hochpräzisions-CNN-Berechnungsteil 23 aus. Die funktionsreiche Vorrichtung 20 generiert ein Bestimmungssignal Jd1, das ein Bestimmungsergebnis des Werkstücks nX angibt, auf der Basis eines Berechnungsergebnisses in dem Hochpräzisions-CNN-Berechnungsteil 23 und überträgt das Bestimmungssignal Jd1 zu der funktionsarmen Vorrichtung 10X. Des Weiteren generiert die funktionsreiche Vorrichtung 20 ein Bestimmungssignal Jd2, das ein Bestimmungsergebnis des Werkstücks nY angibt, auf der Basis des Berechnungsergebnisses in dem Hochpräzisions-CNN-Berechnungsteil 23 und überträgt das Bestimmungssignal Jd2 zu der funktionsarmen Vorrichtung 10Y. Beim Umlernen des CNN überträgt die funktionsreiche Vorrichtung 20 das Datensignal Dm1 und Dm2 des umgelernten Modells zu den funktionsarmen Vorrichtungen 10X bzw. 10Y.
Wie oben beschrieben, ist es gemäß der zweiten Ausführungsform selbst in einem Fall, wo sich das Werkstück mit einem oder mehreren von mehreren der funktionsarmen Vorrichtungen bei der Inspektion unter Verwendung des CNN schwierig bestimmen lässt, möglich, den Identifizierungsgrad des Werkstücks über die funktionsreiche Vorrichtung zu erhöhen, indem das erlernte Netzwerkmodell des CNN angewendet wird, was die präzise Bestimmung auf der Seite der funktionsreichen Vorrichtung erlaubt, wodurch die Bestimmung ausgeführt wird.
[Dritte Ausführungsform]
5 ist ein Schaubild, das ein Beispiel eines Bestimmungsflusses eines Bildverarbeitungssystems gemäß einer dritten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Das Bildverarbeitungssystem von 5 enthält funktionsarme Vorrichtungen LFD1, LFD2, ..., LFDn und eine funktionsreiche Vorrichtung HFD (High Function Device). Die funktionsarme Vorrichtung LFD1 bestimmt ein Abbildungsergebnis der Bildgabevorrichtung, generiert ein Bildsignal Gr1 oder ein Datensignal Di1 auf einer Zwischenstufe des CNN, und überträgt das Signal zu der funktionsreichen Vorrichtung 20. Die funktionsreiche Vorrichtung HFD bestimmt ein Berechnungsergebnis in dem Hochpräzisions-CNN-Berechnungsteil, generiert ein Bestimmungssignal Jd1, das ein Bestimmungsergebnis des Werkstücks angibt, und überträgt das Bestimmungssignal Jd1 zu der funktionsarmen Vorrichtung LFD1. Die funktionsreiche Vorrichtung HFD überträgt ein Datensignal des umgelernten Modells Dm1 zu der funktionsarmen Vorrichtung LFD1 zum Zeitpunkt des Umlernens des CNN.
6 ist ein Schaubild, das ein Beispiel eines CNN-Modells des Bildverarbeitungssystems veranschaulicht, das dem Bestimmungsfluss von 5 entspricht.
Wie in 6 veranschaulicht, hat die funktionsarme Vorrichtung LFD1 ein Netzwerkmodell eines CNN 10M, das eine Faltungsschicht 10C enthält. Das CNN enthält eine Faltungsschicht L1-L4 und eine vollständig verbundene Schicht F5-F6. In diesem Beispiel wird ein Bildsignal als das Bildsignal Gr1 von der funktionsarmen Vorrichtung LFD1 zu der funktionsreichen Vorrichtung HFD übertragen, und die funktionsreiche Vorrichtung HFD empfängt das Bildsignal und unterstützt die Bestimmung der funktionsarmen Vorrichtung LFD1. Die funktionsreiche Vorrichtung HFD hat ein Netzwerkmodell eines CNN 20M, das die Faltungsschicht 10C enthält.
7 ist ein Schaubild, das ein anderes Beispiel des CNN-Modells des Bildverarbeitungssystems veranschaulicht, das dem Bestimmungsfluss von 5 entspricht.
Wie in 7 veranschaulicht, hat die funktionsarme Vorrichtung LFD1 ein Netzwerkmodell eines CNN 10M, das Faltungsschichten 10C1 und 10C2 enthält. In diesem Beispiel wird ein Datensignal Di1 auf einer Zwischenstufe des CNN von der funktionsarmen Vorrichtung LFD1 zu der funktionsreichen Vorrichtung HFD übertragen, und die funktionsreiche Vorrichtung HFD empfängt das Signal und unterstützt teilweise die Bestimmung der funktionsarmen Vorrichtung LFD1. Im Ergebnis des Sendens des Datensignals Di1 der Zwischenstufe des CNN wird die funktionsarme Vorrichtung LFD1 ein Netzwerkmodell eines CNN 10XM, das die Faltungsschicht 10C1 enthält. Im Ergebnis des Empfangens des Datensignals Di1 wird die funktionsreiche Vorrichtung HFD ein Netzwerkmodell eines CNN 20XM, das die Faltungsschicht 10C2 enthält.
Gemäß der dritten Ausführungsform wird, wie oben beschrieben, bei der Inspektion unter Verwendung des CNN, wenn das Bildsignal von der funktionsarmen Vorrichtung übertragen wird, die Bestimmung der funktionsarmen Vorrichtung durch die Bereitstellung des erlernten Netzwerkmodells des CNN unterstützt, was die präzise Bestimmung auf der Seite der funktionsreichen Vorrichtung erlaubt. Des Weiteren wird, wenn das Datensignal auf der Zwischenstufe des CNN von der funktionsarmen Vorrichtung übertragen wird, die Bestimmung der funktionsarmen Vorrichtung teilweise unterstützt. Dementsprechend kann selbst in einem Fall, wo sich das Werkstück mit der funktionsarmen Vorrichtung bei der Inspektion unter Verwendung des CNN schwierig bestimmen lässt, es über die funktionsreiche Vorrichtung bestimmt werden.
[Vierte Ausführungsform]
8 ist ein Schaubild, das ein Beispiel eines Bestimmungsflusses eines Bildverarbeitungssystems gemäß einer vierten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Das Bildverarbeitungssystem von 8 enthält funktionsarme Vorrichtungen LFD1, LFD2, ..., LFDn und eine funktionsreiche Vorrichtung HFD. Die funktionsarme Vorrichtung LFD1 bestimmt ein Abbildungsergebnis der Bildgabevorrichtung, generiert ein Bildsignal Gr1 oder ein Datensignal Di1 auf einer Zwischenstufe des CNN, und überträgt das Signal zu der funktionsreichen Vorrichtung 20. Die funktionsreiche Vorrichtung HFD bestimmt ein Berechnungsergebnis in dem Hochpräzisions-CNN-Berechnungsteil, generiert ein Bestimmungssignal Jd10, das ein Bestimmungsergebnis des Werkstücks angibt, und überträgt das Bestimmungssignal Jd10 zu der funktionsarmen Vorrichtung LFD1. Die funktionsreiche Vorrichtung HFD überträgt ein Datensignal des umgelernten Modells Dm1 zu der funktionsarmen Vorrichtung LFD1 zum Zeitpunkt des Umlernens des CNN.
Anschließend bestimmt die funktionsarme Vorrichtung LFD2 das Abbildungsergebnis der Bildgabevorrichtung, generiert ein Bildsignal Gr2 oder ein Datensignal Di2 auf der Zwischenstufe des CNN, und überträgt das Signal zu der funktionsreichen Vorrichtung 20. In ähnlicher Weise bestimmt die funktionsarme Vorrichtung LFDn das Abbildungsergebnis der Bildgabevorrichtung, generiert ein Bildsignal Grn oder ein Datensignal Din auf der Zwischenstufe des CNN, und überträgt das Signal zu der funktionsreichen Vorrichtung 20 (n = 1-n).
Die funktionsreiche Vorrichtung HFD empfängt das Bildsignal Grn oder das Datensignal Din auf der Zwischenstufe des CNN von der funktionsarmen Vorrichtung LFDn und lernt das CNN-Modell um. Auf der Basis eines Ergebnisses des Umlernens generiert die funktionsreiche Vorrichtung HFD ein Bestimmungssignal Jdn, das ein Bestimmungsergebnis des Werkstücks angibt, und ein Datensignal des umgelernten Modells Dmn und überträgt sie zu jeder der funktionsarmen Vorrichtungen LFD1, LFD2, ..., LFDn.
9 ist ein Schaubild, das ein Beispiel des CNN-Modells des Bildverarbeitungssystems veranschaulicht, das entspricht dem Bestimmungsfluss von 8.
Wie in 9 veranschaulicht, hat die funktionsreiche Vorrichtung HFD ein Netzwerkmodell eines CNN 20M, das eine Faltungsschicht enthält 20C. In diesem Beispiel werden das Bestimmungssignal, welches das Bestimmungsergebnis des Werkstücks angibt, und das Datensignal des umgelernten Modells von der funktionsreichen Vorrichtung HFD zu jeder der funktionsarmen Vorrichtungen LFD1 und LFD2 gesendet. Die funktionsarmen Vorrichtungen LFD1 und LFD2 empfangen ein umgelerntes Ergebnis und modifizieren den Abschnitt der vollständig verbundenen Schicht des CNN-Modells. Im Ergebnis hat die funktionsarme Vorrichtung LFD1 ein Netzwerkmodell eines CNN 10XM, das eine Faltungsschicht 20C enthält, und eine vollständig verbundene Schicht 10Xe. Die funktionsarme Vorrichtung LFD2 hat ein Netzwerkmodell eines CNN 10YM, das eine Faltungsschicht 20C enthält, und eine vollständig verbundene Schicht 10Ye.
Wie oben beschrieben, empfängt beim Umlernen die funktionsreiche Vorrichtung HFD zuerst das Bildsignal oder das Datensignal auf der Zwischenstufe des CNN von der funktionsarmen Vorrichtungen LFD1 und LFD2 und lernt das gesamte CNN-Modell um. Die funktionsreiche Vorrichtung HFD erzeugt ein CNN-Modell für eine funktionsarme Vorrichtung, in dem ein Teil des erlernten CNN-Modells auf der Seite der funktionsreichen Vorrichtung implantiert wurde und das CNN-Modell umlernt. Jede der funktionsarmen Vorrichtungen LFD1 und LFD2 empfängt das umgelernte CNN-Modell für eine funktionsarme Vorrichtung von der funktionsreichen Vorrichtung HFD.
Gemäß der vierten Ausführungsform kann, wie oben beschrieben, durch Bereitstellen des erlernten Netzwerkmodells des CNN, das die präzise Bestimmung auf der Seite der funktionsreichen Vorrichtung erlaubt, und Konstruieren eines neuen CNN-Modells auf der Seite der funktionsarmen Vorrichtung unter Verwendung eines Teils des Netzwerks die Bestimmung durch die funktionsreiche Vorrichtung selbst an dem Werkstück ausgeführt werden, das sich mit der funktionsarmen Vorrichtung bei der Inspektion unter Verwendung des CNN schwierig bestimmen lässt.
[Fünfte Ausführungsform]
10 ist ein Schaubild, das ein Bildverarbeitungssystem 200 gemäß einer fünften Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 10 zu sehen, enthält das Bildverarbeitungssystem 200 eine funktionsarme Vorrichtung 10, eine funktionsreiche Vorrichtung 20, eine Qualitätsverwaltungsvorrichtung 30 und ein Kabel 50. Die funktionsarme Vorrichtung 10 enthält die Bildgabevorrichtung 11 wie in 1. Die funktionsreiche Vorrichtung 20 enthält den Mehrkernprozessor 21, den Speicher 22 und den Hochpräzisions-CNN-Berechnungsteil 23 wie in 1.
Die Bildgabevorrichtung 11 nimmt nacheinander Bilder von sich vorbeibewegenden Werkstücken 1, 2, 3, ..., n (im Weiteren auch als Werkstück n bezeichnet) auf. Die funktionsarme Vorrichtung 10 generiert ein Bildsignal Gr1 oder ein Datensignal Di1, das einen relativ hohen Identifizierungsgrad aufweist, auf der Basis eines Abbildungsergebnisses der Bildgabevorrichtung 11 und überträgt das Signal zu der Qualitätsverwaltungsvorrichtung 30 über das Kabel 50. Des Weiteren generiert die funktionsarme Vorrichtung 10 ein Bildsignal Gr2 oder ein Datensignal Di2, das einen relativ geringen Identifizierungsgrad aufweist, auf der Basis des Abbildungsergebnisses der Bildgabevorrichtung 11 und überträgt das Signal zu der funktionsreichen Vorrichtung 20 über das Kabel 50. Die funktionsreiche Vorrichtung 20 überträgt ein Bestimmungssignal Kd, in dem das Bildsignal Gr2 und das Datensignal Di2 weiter durch den Hochpräzisions-CNN-Berechnungsteil 23 berechnet werden, und ein Modell-Datensignal Em zu der Qualitätsverwaltungsvorrichtung 30.
11 ist ein Schaubild, das ein Beispiel eines Bestimmungsflusses des Bildverarbeitungssystems 200 gemäß der fünften Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Das Bildverarbeitungssystem 200 in 11 enthält eine funktionsarme Vorrichtung LFD, eine funktionsreiche Vorrichtung HFD und eine Qualitätsverwaltungsvorrichtung QMD. Die funktionsarme Vorrichtung LFD bestimmt das Abbildungsergebnis der Bildgabevorrichtung, generiert das Bildsignal Gr1 oder das Datensignal Di1, das den relativ hohen Identifizierungsgrad aufweist, und überträgt das Signal zu der Qualitätsverwaltungsvorrichtung QMD. Des Weiteren generiert die funktionsarme Vorrichtung LFD das Bildsignal Gr2 oder das Datensignal Di2, das den relativ geringen Identifizierungsgrad aufweist, auf der Basis des Abbildungsergebnisses der Bildgabevorrichtung und überträgt das Signal zu der funktionsreichen Vorrichtung HFD. Die funktionsreiche Vorrichtung HFD überträgt das Bestimmungssignal Kd, das ein Bestimmungsbild enthält, in dem das Bildsignal Gr2 oder das Datensignal Di2 weiter durch den Hochpräzisions-CNN-Berechnungsteil und das Bestimmungsergebnis berechnet wird, und das Modell-Datensignal Em zum Zeitpunkt des Umlernens zu der Qualitätsverwaltungsvorrichtung 30.
12 ist ein Flussdiagramm, das ein Beispiel des Bestimmungsflusses des Bildverarbeitungssystems 200 gemäß der fünften Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 12 zu sehen, identifiziert in Schritt S1 die funktionsarme Vorrichtung 10 zuerst ein Werkstück n, das ein Objekt ist. Wenn ein Identifizierungsgrad des Werkstücks n mindestens so groß ist wie ein zuvor festgelegter Schwellenwert (zum Beispiel 50 %), werden in Schritt S2 eine Werkstücknummer, das Bestimmungsbild und das Bestimmungsergebnis zu der Qualitätsverwaltungsvorrichtung 30 gesendet. Wenn hingegen der Identifizierungsgrad des Werkstücks n niedriger ist als der zuvor festgelegte Schwellenwert, so werden in Schritt S3 die Werkstücknummer und das Bestimmungsbild zu der funktionsreichen Vorrichtung 20 gesendet.
In Schritt S4 wird das Werkstück erneut durch die funktionsreiche Vorrichtung 20 auf der Basis des Bestimmungsbildes von der funktionsarmen Vorrichtung 10 bestimmt. In Schritt S5 werden die Werkstücknummer, das Bestimmungsbild und das Bestimmungsergebnis von der funktionsreichen Vorrichtung 20 zu der Qualitätsverwaltungsvorrichtung 30 gesendet. In Schritt S6 wird bestimmt, ob die übrigen Werkstücke null sind oder nicht. Wenn die übrigen Werkstücke nicht null sind, so kehrt der Prozess zu Schritt S1 zurück. Wenn die übrigen Werkstücke null sind, so wird die Inspektion beendet.
13 ist ein Schaubild, das die Verteilung von Daten mit Bezug auf den Identifizierungsgrad des Werkstücks in dem Bildverarbeitungssystem 200 gemäß der fünften Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 13 veranschaulicht, werden, da der Identifizierungsgrad des Werkstücks 1 in der funktionsarmen Vorrichtung LFD 70 % beträgt, die Werkstücknummer, das Bestimmungsbild und ein OK-Bestimmungsergebnis von der funktionsarmen Vorrichtung LFD nur zu der Qualitätsverwaltungsvorrichtung QMD gesendet und werden nicht zu der funktionsreichen Vorrichtung HFD gesendet. Da der Identifizierungsgrad des Werkstücks 2 in der funktionsarmen Vorrichtung LFD 45 % beträgt, werden hingegen die Werkstücknummer, das Bestimmungsbild und ein NG-Bestimmungsergebnis von der funktionsarmen Vorrichtung LFD zu der funktionsreichen Vorrichtung HFD gesendet. In der funktionsreichen Vorrichtung HFD wird das OK-Bestimmungsergebnis, in dem das Bestimmungsbild durch den Hochpräzisions-CNN-Berechnungsteil weiter berechnet und der Identifizierungsgrad auf 80 % angehoben wird, von der funktionsreichen Vorrichtung HFD zu der Qualitätsverwaltungsvorrichtung QMD übertragen. Die Qualitätsverwaltungsvorrichtung QMD verknüpft die Werkstücksbestimmungsinformationen oder dergleichen mit jeder Werkstücknummer.
Gemäß der fünften Ausführungsform können, wie oben beschrieben, durch die Bereitstellung des erlernten Netzwerkmodells des CNN, was die präzise Bestimmung auf der Seite der funktionsreichen Vorrichtung erlaubt, und auch durch die Bereitstellung der Qualitätsverwaltungsvorrichtung die das Objekt verwaltet, die Bestimmung und Verwaltung effektiv durch die funktionsreiche Vorrichtung selbst an dem Werkstück ausgeführt werden, das sich mit der funktionsarmen Vorrichtung bei der Inspektion unter Verwendung des CNN schwierig bestimmen lässt.
Bezugszeichenliste

10, 10X, 10Y, LFD, LFD1, LFD2, LFDn: Funktionsarme Vorrichtung
10C, 10C1, 10C2, 20C: Faltungsschicht
10Xe, 10Ye: Vollständig verbundene Schicht
11, 11X, 11Y: Bildgabevorrichtung
12: Kamera-SSt
13, 22: Speicher
14: CPU
15, 25: RAM
16, 25: Kommunikations-SSt
20,: HFD Funktionsreiche Vorrichtung
21: Mehrkernprozessor
23: Hochpräzisions-CNN-Berechnungsteil
30, QMD: Qualitätsverwaltungsvorrichtung
50: Kabel
100A, 100B, 200: Bildverarbeitungssystem

Claims

Bildverarbeitungssystem (100A, 100B, 200), das mindestens ein Objekt (1 bis n) unter Verwendung mindestens einer ersten Vorrichtung und einer zweiten Vorrichtung, die eine höhere Rechenfähigkeit als die mindestens eine erste Vorrichtung aufweist, bestimmt, wobei: die mindestens eine erste Vorrichtung einen Teil umfasst, der dafür konfiguriert ist, ein erstes neuronalen Netzwerk auf ein aufgenommenes Bild des mindestens einen Objekts (1 bis n) anzuwenden und ein erstes Bestimmungsergebnis, welches das mindestens eine Objekt (1 bis n) identifiziert, auszugeben, und einen Teil umfasst, der dafür konfiguriert ist, das aufgenommene Bild an die zweite Vorrichtung auszugeben, wenn das erste Bestimmungsergebnis eine zuvor festgelegte Bedingung erfüllt, die zweite Vorrichtung einen Teil umfasst, der dafür konfiguriert ist, ein zweites neuronales Netzwerk, das vorläufig anhand einer Abtastung erlernt wurde und mindestens teilweise dem ersten neuronalen Netzwerk gemein ist, auf das aufgenommene Bild anzuwenden, und ein zweites Bestimmungsergebnis auszugeben, welches das mindestens eine Objekt (1 bis n) identifiziert, und wobei das erste neuronale Netzwerk und das zweite neuronale Netzwerk eine Netzwerkstruktur haben, die eine Zwischenschicht aufweist, und von der mindestens ein Teil einen gemeinsamen Abschnitt hat.
Bildverarbeitungssystem (100A, 100B, 200), das mindestens ein Objekt (1 bis n) unter Verwendung mindestens einer ersten Vorrichtung und einer zweiten Vorrichtung, die eine höhere Rechenfähigkeit als die mindestens eine erste Vorrichtung aufweist, bestimmt, wobei: die mindestens eine erste Vorrichtung einen Teil umfasst, der dafür konfiguriert ist, ein erstes neuronales Netzwerk auf ein aufgenommenes Bild des mindestens einen Objekts (1 bis n) anzuwenden und ein erstes Bestimmungsergebnis auszugeben, welches das mindestens eine Objekt (1 bis n) identifiziert, und einen Teil umfasst, der dafür konfiguriert ist, ein Datensignal (Di, Di1, Di2, Din) auf einer Zwischenstufe des ersten neuronalen Netzwerks an die zweite Vorrichtung auszugeben, wenn das erste Bestimmungsergebnis eine zuvor festgelegte Bedingung erfüllt, die zweite Vorrichtung einen Teil umfasst, der dafür konfiguriert ist, ein zweites Bestimmungsergebnis auszugeben, welches das mindestens eine Objekt (1 bis n) unter Verwendung eines zweiten neuronalen Netzwerks, das mindestens teilweise dem ersten neuronalen Netzwerk gemein ist, identifiziert, das erste neuronale Netzwerk und das zweite neuronale Netzwerk eine Netzwerkstruktur haben, die eine Zwischenschicht aufweist, und von der mindestens ein Teil einen gemeinsamen Abschnitt hat und der Teil, der dafür konfiguriert ist, das zweite Bestimmungsergebnis auszugeben, das Datensignal (Di, Di1, Di2, Din) von einer Schicht des zweiten neuronalen Netzwerks aus anwendet, die der Zwischenstufe des ersten neuronalen Netzwerks entspricht.
Bildverarbeitungssystem (100A, 100B, 200) nach Anspruch 1 oder 2, wobei die mindestens eine erste Vorrichtung das zweite Bestimmungsergebnis empfängt und das mindestens eine Objekt (1 bis n) in Echtzeit bestimmt.
Bildverarbeitungssystem (100A, 100B, 200) nach Anspruch 1 oder 2, wobei die mindestens eine erste Vorrichtung einen Teil umfasst, der dafür konfiguriert ist, das aufgenommene Bild, von dem das erste Bestimmungsergebnis niedriger ist als eine zuvor festgelegte Genauigkeit, an die zweite Vorrichtung auszugeben, und die zweite Vorrichtung einen Teil umfasst, der dafür konfiguriert ist, das zweite neuronale Netzwerk auf der Basis des aufgenommenen Bildes, das niedriger als die zuvor festgelegte Genauigkeit ist, umzulernen.
Bildverarbeitungssystem (100A, 100B, 200) nach Anspruch 4, wobei der Umlernteil das zweite neuronale Netzwerk im Offline-Zustand umlernt.
Bildverarbeitungssystem (100A, 100B, 200) nach Anspruch 4, wobei die zweite Vorrichtung einen Teil umfasst, der dafür konfiguriert ist, ein Modell des ersten neuronalen Netzwerks auf der Basis eines Abschnitts des umgelernten zweiten neuronalen Netzwerks, der dem ersten neuronalen Netzwerk gemein ist, zu erzeugen, und einen Teil umfasst, der dafür konfiguriert ist, einen Abschnitt umzulernen, der für das erste neuronale Netzwerk in dem Modell des ersten neuronalen Netzwerks einzigartig ist.
Bildverarbeitungssystem (100A, 100B, 200) nach einem der Ansprüche 1 bis 3 und 5 bis 6, das des Weiteren eine Verwaltungsvorrichtung umfasst, die dafür konfiguriert ist, das Bestimmungsergebnis für jedes Objekt (1 bis n) zu verwalten, wobei: die mindestens eine erste Vorrichtung einen Teil umfasst, der dafür konfiguriert ist, das erste Bestimmungsergebnis an die Verwaltungsvorrichtung auszugeben, und einen Teil umfasst, der dafür konfiguriert ist, das aufgenommene Bild, von dem das erste Bestimmungsergebnis niedriger ist als die zuvor festgelegte Genauigkeit, an die zweite Vorrichtung auszugeben, die zweite Vorrichtung einen Teil umfasst, der dafür konfiguriert ist, das zweite Bestimmungsergebnis an die Verwaltungsvorrichtung auszugeben, und die Verwaltungsvorrichtung mindestens eines von dem ersten Bestimmungsergebnis und dem zweiten Bestimmungsergebnis mit dem Objekt (1 bis n) für jedes des mindestens einen Objekts (1 bis n) verknüpft.
Bildverarbeitungssystem (100A, 100B, 200) nach einem der Ansprüche 1 bis 7, wobei das erste neuronale Netzwerk und das zweite neuronale Netzwerk neuronale Faltungsnetze sind.