DE102021201767A1 - Computerimplementiertes Verfahren zur Verbesserung der Erkennung von Randdefekten und anderen Defekten in opthalmischen Linsen - Google Patents

Computerimplementiertes Verfahren zur Verbesserung der Erkennung von Randdefekten und anderen Defekten in opthalmischen Linsen Download PDF

Info

Publication number
DE102021201767A1
DE102021201767A1 DE102021201767.3A DE102021201767A DE102021201767A1 DE 102021201767 A1 DE102021201767 A1 DE 102021201767A1 DE 102021201767 A DE102021201767 A DE 102021201767A DE 102021201767 A1 DE102021201767 A1 DE 102021201767A1
Authority
DE
Germany
Prior art keywords
image
computer
implemented method
edge
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021201767.3A
Other languages
English (en)
Inventor
Soon Wei Wong
Kundapura Parameshwara Srinivas
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Emage Al Pte Ltd
Original Assignee
Emage Al Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Emage Al Pte Ltd filed Critical Emage Al Pte Ltd
Publication of DE102021201767A1 publication Critical patent/DE102021201767A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G01N2021/9583—Lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Eyeglasses (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

Der Erfindung ist ein computerimplementiertes Verfahren, gerichtet auf eine neuronale Deep-Learning-Netzwerkarchitektur, um unter Verwendung hochauflösender Bilder ein Objekterkennungsmodell zu schaffen. Konkreter ist die Erfindung auf Verstärkung der Klassifizierungsgenauigkeit und Zuverlässigkeit von Randinspektion bei Kontaktlinsen gerichtet. Die Erfindung ist ein computerimplementiertes Verfahren zum Repräsentieren einer Softwarearchitektur, umfassend Softwarekomponenten, und ihrer Wechselwirkungen, die die funktionalen Kernmodule einer Anwendung repräsentiert. Das erfindungsgemäße System und Verfahren erfasst ein hochauflösendes Bild, transformiert den kreisförmigen Rand der Linse in eine horizontale Linie, die den kreisförmigen Rand repräsentiert, die Bildgröße durch Eliminieren der Pixelinformationen im Bereich des Randes beschränkt, das Bild des horizontalen Randes in überlappende Abschnitte teilt und die extrahierten Bilder vertikal stapelt, um ein einzelnes hochauflösendes Bild auszubilden, das von Konvolutionellen Neuronalen Netzwerken ideal zu verarbeiten und zu analysieren ist, nachdem der Original-Bilddatensatz mit neuen Bildern, generiert von Generierenden Gegnerischen Netzwerken, verstärkt wurde, um eine exakte Klassifikation der Defekte zu ermöglichen.

Description

  • GEBIET DER ERFINDUNG
  • Die Erfindung betrifft das Erreichen und Beibehalten hochauflösender Bilder von Kontaktlinsen durch Extrahieren spezifischer relevanter Pixeldaten und Entfernen irrelevanter Daten, wodurch die Effizienz des Bildklassifizierungsprozesses hinsichtlich Genauigkeit und Geschwindigkeit erhöht wird. Die Erhöhung der Effizienz wird durch neu angeordnete und neu konstruierte Bilder erreicht, was ein schnelles Training von Inspektionssystemen unter Verwendung neuronaler Netzwerke und Anwenden der trainierten Entscheidungsfindungsmodelle während der Inspektion von Kontaktlinsen in automatisierten Systemen unterstützt.
  • HINTERGRUND DER ERFINDUNG
  • Kontaktlinsendefektinspektionssysteme und -verfahren entwickeln sich in Richtung einer erhöhten Effizienz bei sinkenden Kosten stetig weiter. Mustererkennung, Bildkorrelation, Histogrammausgleich, Dithering usw. sind einige der üblichen Bildverarbeitungsalgorithmen, die in Inspektionsverfahren üblicherweise genutzt werden. Da die Defektinspektionskriterien stringenter werden, werden zusätzliche Algorithmen implementiert, um auf Kosten der Zeit die Inspektionseffizienz zu verbessern. Jeder zusätzliche Algorithmus erhöht die Inspektionszeit, was zu einer geringeren Produktivität führt. Technologische Verbesserungen bei den CPU-Geschwindigkeiten, eine modernere GPU (Graphic Processing Unit, Grafikverarbeitungseinheit), Hochgeschwindigkeitsspeicher usw. haben dazu beigetragen, die Bildverarbeitungsgeschwindigkeiten zu verbessern, aber die ständig zunehmende Größe von Bildern, die von hochauflösenden Kameras aufgenommen werden, hat nur noch weiter zu einer verminderten Produktivität beigetragen. Daher ist es von größter Bedeutung, einen ernsthaften Blick auf Softwaremethoden zu werfen, um hochauflösende Bilder neu zu konfigurieren, um den Inspektionsprozess zu unterstützen, um eine hohe Genauigkeit und Wiederholbarkeit zu erreichen.
  • Neuronale Netzwerke bieten neue Wege zur Verbesserung der Inspektionsqualität, ohne die Qualität und Produktivität von Inspektionssystemen zu beeinträchtigen. Da die Bildgrößen jedoch erheblich zugenommen haben, werden Bildkompressionsalgorithmen eingeführt, um die Pixeldaten zu minimieren, was zu einer Verschlechterung der kritischen Defektdaten führt. Die Qualität der Inspektion wird dadurch beeinträchtigt, und die Effizienz des nächsten Prozesses leidet. Neuronale Netzwerke sind bei moderaten Bildgrößen effizienter. Eine Zunahme der Bildgröße wirkt sich negativ auf die Leistungsfähigkeit von neuronalen Netzwerken und Deep-Learning-Methoden aus.
  • Der aktuellen Technologie mangelt es am Einsatz von Softwaremethoden ohne Beeinträchtigung der Inspektionsqualität, insbesondere, wenn die Erkennung von Mikrodefekten und Merkmalsextraktion eine grundlegende Anforderung an ein Inspektionssystem bei der Verarbeitung hochauflösender Bilder ist.
  • KURZDARSTELLUNG
  • Die vorliegende Erfindung befürwortet die Verwendung eines computerimplementierten Verfahrens durch Einbeziehung hochauflösender Kameras, unterstützt von Hochleistungs-CPUs, Hochgeschwindigkeitszugriffsspeichern, ergänzt von GPUs, zum Analysieren und Verarbeiten eines optimierten Bildes, indem unwichtige Pixeldaten identifiziert und verworfen werden und nur die wichtigen Bereiche zur Erkennung von Defekten (d. h. Ränder) beibehalten werden. Der computerimplementierte Prozess stellt ein optimiertes Bild bereit, das nicht komprimiert, sondern möglicherweise vorverarbeitet wird, um redundante Pixeldaten zu minimieren und Glättungstechniken auf das unkomprimierte Bild anzuwenden, um die Defektkandidaten zu verstärken, wodurch eine bessere Erkennung ermöglicht wird. Im Fall der Identifikation von Defekten innerhalb der Linse wird das hochauflösende Bild in mehrere optimale und vorbestimmte Größen von Bildern geteilt, die für eine schnelle Verarbeitung durch Deep-Learning-Module, bestehend aus mehreren neuronalen Netzwerkmodulen zur Merkmalsextraktion und -klassifizierung, besser geeignet sind. Es ist wichtig zu beachten, dass auch bei einer Erkennung von Defekten innerhalb der Linse beim Neuanordnen oder Extrahieren von Bildern aus dem Originalbild keine Bildkompression angewendet wird.
  • Einer der Vorteile der Verkleinerung oder Neuanordnung des Bildes besteht darin, redundante Pixel, die den Rand der Linse umgeben, zu eliminieren. Anschließend wird das Bild gleichzeitig auf eine vorbestimmte Größe von Bildern aufgeteilt, die von den Deep-Learning-Modulen für eine verbesserte Erkennung von Defekten hinsichtlich Geschwindigkeit und Genauigkeit leicht verarbeitet werden.
  • Eine der Aufgaben der Erfindung ist es, ein hochauflösendes und optimiertes vorverarbeitetes Bild des kreisförmigen Randes einer Kontaktlinse bereitzustellen, ohne die Pixeldaten zu komprimieren oder zu verzerren.
  • Ein weiterer Aspekt der Erfindung ist es, den kreisförmigen Rand der Kontaktlinse so zu rekonstruieren und neu anzuordnen, dass eine schnellere Verarbeitung des Bildes unterstützt wird. Dazu wird der Rand der kreisförmigen Kontaktlinse erkannt, der Rand entpackt und in einen horizontalen Rand umgewandelt. Das Bild wird weiter optimiert, indem redundante Pixeldaten um den Rand gelöscht werden, um die Größe des Bildes zu minimieren.
  • Einer der Vorteile der Anordnung der Pixel als horizontale und vertikale Ränder verbessert die Verarbeitung, und dies hilft dem Algorithmus, die Bilder schneller zu verarbeiten. Mit anderen Worten, die Verarbeitungsgeschwindigkeit wird wesentlich verbessert. Der Algorithmus kann ein Randerkennungsalgorithmus sein.
  • Ein weiterer Vorteil der vertikalen Stapelung der vorgegebenen Größe von Bildern (Bildflächensegmenten) zur Ausbildung eines quadratischen Bildes besteht darin, dass Länge und Breite des quadratischen Bildes gleich sind. Beispielsweise würde das Scannen eines quadratischen Bildes Pixel für Pixel weniger Rechenaufwand erfordern als das Scannen eines rechteckigen Bildes. Der Vorteil ist die Geschwindigkeit der Berechnungen, nicht die geringere Anzahl der Berechnungen. Beispielsweise ist es, verglichen mit einem rechteckigen Bild, wesentlich schneller, ein quadratisches Bild zu verarbeiten.
  • Eine weitere Aufgabe der Erfindung besteht darin, den horizontalen Rand, der in kleinere Längen unterteilt ist, die einander überlappen, weiter neu anzuordnen und übereinander zu stapeln, um ein quadratisches Bild mit allen Randdaten zu generieren, das der Anforderung der Eingangsschicht eines beliebigen neuronalen Netzwerks entspricht, und zu vermeiden, dass das Bild mit redundanten schwarzen Pixeldaten aufgefüllt wird, um eine quadratische Größe zu erreichen.
  • Eine weitere Aufgabe der Erfindung ist es, eine Gruppe von Analysemodulen zu schaffen, die beim Training des computerimplementierten Prozesses während der Konfiguration des Inspektionssystems für maschinelles Lernen helfen.
  • Eine weitere Aufgabe der Erfindung ist es, einen Algorithmus für ein Generatives adversarisches Netzwerk anzuwenden, um die geteilten Bilder weiter zu transformieren, um mehrere neue, realistische Defektmerkmale, ähnlich dem ursprünglichen Defekt, zu generieren. Die neu generierten Bilder werden genutzt, um das Training des computerimplementierten Prozesses während der Konfiguration des Inspektionssystems für maschinelles Lernen weiter zu verbessern.
  • Andere Aspekte der Erfindung beinhalten verschiedene Kombinationen von einem oder mehreren der vorstehenden Aspekte der Erfindung sowie die Kombinationen von einer oder mehreren der verschiedenen Ausführungsformen davon, wie sie in der folgenden detaillierten Beschreibung gefunden werden oder wie sie daraus abgeleitet werden können. Es versteht sich, dass die vorstehenden Aspekte der Erfindung auch entsprechende computerimplementierte Verfahren aufweisen, die ebenfalls Aspekte der vorliegenden Erfindung sind. Es versteht sich ferner, dass weitere Ausführungsformen der Erfindung durch den Durchschnittsfachmann sowohl aus der folgenden detaillierten Beschreibung einer bestimmten Ausführungsform der Erfindung als auch aus der Beschreibung und bestimmten Ausführungsform eines erfindungsgemäßen Systems abgeleitet werden können.
  • Figurenliste
  • Die spezifischen Merkmale, Aspekte und Vorteile der vorliegenden Erfindung werden im Hinblick auf die folgende Beschreibung, die anhängenden Ansprüche und die begleitenden Zeichnungen besser verstanden, wobei:
    • 1 ein Ablaufdiagramm ist, das die Schritte zum Trainieren des Kontaktlinseninspektionssystems darstellt, um Defekte um den Rand der Kontaktlinse und deren nachfolgende Klassifizierung unter verschiedenen Kriterien zu identifizieren, um eine der Ausführungsformen der Erfindung zu implementieren.
    • 1a ein Ablaufdiagramm ist, das die Schritte zum Trainieren des Kontaktlinseninspektionssystems, zum Identifizieren von Defekten innerhalb der Kontaktlinse und ihrer nachfolgenden Klassifizierung nach verschiedenen Kriterien zur Implementierung einer anderen Ausführungsform der Erfindung darstellt.
    • 2 eine Veranschaulichung eines Bildes des Kontaktlinsenrandes ist.
    • 2a eine Veranschaulichung eines Bildes des Kontaktlinsenrandes nach polarer Transformation ist.
    • 3 eine Veranschaulichung eines Bildes extrahierter Bereiche des Randes in 2a ist, die in einer bestimmten Reihenfolge gestapelt sind.
    • 4 eine Veranschaulichung eines Bildes eines hochauflösenden Bildes einer Kontaktlinse ist, die für eine Defektinspektion innerhalb der Linse geeignet ist.
    • 5 eine Veranschaulichung des Bildes in 4 nach dem Identifizieren von Bereichen, die zu extrahieren sind, ist.
    • 6 eine Veranschaulichung des Bildes aus 5 nach dem Extrahieren der einzelnen überlappenden Bereiche, die als Eingaben für den nächsten Prozess verwendet werden sollen, ist.
  • AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • In der folgenden Beschreibung der bevorzugten Ausführungsformen der vorliegenden Erfindung wird auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen auf dem Wege der Veranschaulichung spezifische Ausführungsformen, in denen die Erfindung praktiziert werden kann, gezeigt werden. Es versteht sich, dass andere Ausführungsformen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Schutzumfang der vorliegenden Erfindung abzuweichen.
  • Ein allgemeines Ablaufdiagramm des erfindungsgemäßen Systems und Verfahrens ist in 1 dargestellt. Das System 10 beginnt mit dem Aufnehmen eines hochauflösenden Bildes einer Kontaktlinse in der Prozessaktion 12 (Aufnehmen). Das aufgenommene Bild wird dann verarbeitet, um den kreisförmigen Rand der Linse in der Prozessaktion 14 (Extrahieren) zu extrahieren. Der extrahierte kreisförmige Rand wird dann in der Prozessaktion 16 (Transposition) in ein Horizontalbild transponiert. In der Prozessaktion 18 (Eliminierung) werden irrelevante Pixeldaten um den horizontalen Rand eliminiert, um die Größe des Bildes zu minimieren. Das Bild des horizontalen Randes wird anschließend in der Prozessaktion 20 (Teilung) in mehrere überlappende Bilder aufgeteilt. Der geteilte Satz von Bildern wird sequentiell übereinander gestapelt, um ein hochauflösendes Bild des Kontaktlinsenrandes für eine einfache Analyse im Prozessschritt 22 (Stapeln) auszubilden. Das rekonstruierte und im Prozessschritt 22 (Stapeln) neu angeordnete Bild kann anschließend als Eingabe in Deep-Learning-Modulen für Training und Analyse verwendet werden. Der Prozessablauf endet in Schritt 24.
  • Ein allgemeines Ablaufdiagramm einer weiteren Ausführungsform eines erfindungsgemäßen Systems und Verfahrens ist in 1a dargestellt. Das System 30 beginnt mit dem Aufnehmen eines hochauflösenden Bildes einer Kontaktlinse in der Prozessaktion 32 (Aufnehmen). Das Bild wird dann verarbeitet, um den kreisförmigen Rand der Linse in der Prozessaktion 33 (Lokalisieren) zu lokalisieren. Im Prozessschritt 34 (Zeichnen) wird ein Quadrat gezeichnet, das den kreisförmigen Rand der Kontaktlinse eng umschließt. Die Pixeldaten außerhalb eines vorbestimmten Bereiches des kreisförmigen Randes der Linse werden im Prozessschritt 35 (Füllen) mit dunklen Pixeln gefüllt. Der vorbestimmte Bereich kann 16 x 16 bis 128 x 128 Pixel betragen. Das Bild der Kontaktlinse wird dann in der Prozessaktion 36 (Teilen) in mehrere überlappende Bilder in programmierbarer Teilung aufgeteilt. Die vorbestimmten Größen können gleich groß sein. Alternativ kann die vorbestimmte Größe von unterschiedlichen Größen sein. In der Prozessaktion 38 (Deep-Learning-Extraktion) werden markierte Bereiche im Bild extrahiert und separat gespeichert, um als Inputs für die Deep-Learning-Module für Training und Analyse angewendet zu werden. Der Prozessablauf endet in Schritt 40.
  • Nachdem das allgemeine System und das erfindungsgemäße Verfahren beschrieben wurden, werden in den nächsten Abschnitten Einzelheiten zu den vorstehend genannten Prozessaktionen bereitgestellt.
  • 2 ist eine bildliche Darstellung des Prozessablaufdiagramms in 1. In 2 stellt die Linse 50 ein hochauflösendes Bild einer Kontaktlinse dar. In 2 stellt Defekt 51 einen Abrissdefekt und ist strategisch positioniert, um es dem Fachmann zu ermöglichen, den Begriff des Entpackens des kreisförmigen Randes der Linse zu verstehen, der sofort erörtert wird. Die Linse 50 wird entpackt oder in ein horizontales Bild transponiert, beginnend mit A1-A2, wie in 2a gezeigt, was der Bereich zwischen der Linse 50 und dem inneren Kreis 510 von 2 ist, der schwarz schattiert ist. Der äußere Kreis in 2 ist horizontal transponiert, wie durch Pixelflächensegmente 500, 502, 504, 506 und 508 in 2a gezeigt. Die Pixelflächen können von gleicher Größe sein oder andere (aber gleiche) Größen aufweisen. Das Bildbereichssegment 500 in 2a beginnt vor der Position A1-A2 und endet nach der Position 52, die das Bildflächensegment 502 überlappt, wie in 2a gezeigt. Das Bildflächensegment 502 in 2a beginnt vor der Position 52 im Bildflächensegment 500 und endet nach der Position 53, die in das Bildflächensegment 504 überlappt. Das Bildflächensegment 504 in 2a beginnt vor der Position 53 im Bildflächensegment 502 und endet nach der Position 54, die in das Bildflächensegment 506 überlappt. Das Bildflächensegment 506 in 2a beginnt vor der Position 54 im Bildflächensegment 504 und endet nach der Position 55, die in das Bildflächensegment 508 überlappt. Das Bildflächensegment 508 in 2a beginnt vor der Position 55 im Bildflächensegment 506 und endet nach der Position A1-A2, die in das Bildflächensegment 500 überlappt. Ein Vorteil dieses Verfahrens der Überlappung in benachbarte Segmente stellt sicher, dass kein Bereich um den Bildrand verloren geht oder weggelassen wird. Es ist wichtig, die Position des Defekts 51 in dem in 2a gezeigten entpackten Bild zu beachten. In 3 umfasst das Bild 58 Bildflächensegmente 500, 502, 504, 506 und 508, wobei die Bildflächensegmente 500, 502, 504, 506 und 508 aufgrund der Überlappung einen größeren Bereich in der vertikalen Richtung umfassen. Bildflächensegmente 500, 502, 504, 506 und 508 sind sequentiell übereinander gestapelt, wie in 3 gezeigt, um ein quadratisches Bild 58 auszubilden. Die Anzahl der Segmente und die Breite jedes Segments werden automatisch berechnet, um beim Stapeln ein quadratisches Bild zu erzeugen. Es ist wichtig zu beachten, dass die quadratische Form des Bildes 58 durch den nachfolgenden Prozessschritt vorgegeben ist. Erfordert der nächste Prozessschritt eine anders konfigurierte Bildform oder Bildgröße, wird diese während der Anordnung des Bildes berücksichtigt. Das Bild in 3 ist ein rekonstruiertes hochauflösendes Bildes des Kontaktlinsenrandes. Das Bild in 3 kann als Eingabebild auf Deep-Learning-Module angewendet werden, die aus neuronalen Netzwerken bestehen, die ein schnelles Training und eine schnelle Analyse unterstützen. Es ist wiederum wichtig, die Position des Abrissdefekts 51 in dem in 3 gezeigten gestapelten Bild 58 zu beachten.
  • Ein Bild einer Kontaktlinse ist in 4 veranschaulicht. 4 ist eine bildliche Darstellung des Prozessablaufdiagramms in 1a. In 4 stellt 66 ein hochauflösendes Bild einer Kontaktlinse dar, die in einem quadratischen Bild 65 eingeschlossen ist. Zunächst wird der äußere Rand der Kontaktlinse erkannt, dann die äußere Begrenzung gezeichnet, und anschließend werden dunkle Pixel zwischen der äußeren Begrenzung und dem äußeren Rand der Linse aufgefüllt. Der Bereich, der durch den kreisförmigen Rand der Linse 66 und das Quadrat 65 begrenzt ist, ist dunkle Pixel gefüllt, da er für die Inspektion nicht wichtig ist. Sobald der Linsenrand durch einen Randerkennungsalgorithmus identifiziert wurde, wird das hochauflösende Bild der Kontaktlinse in 4 der Größe XI, Y1 in 5 in eine Vielzahl von Bildsegmenten unterteilt, die einander überlappen. Die Bilder können von gleichen Größen oder unterschiedlichen Größen sein. Bildsegmentierung kann auf unterschiedlichen Wegen erreicht werden. Ein Weg besteht darin, die Grenzen des Bildes zu definieren und zu zeichnen. Sobald die Grenzen gezeichnet sind, kann die Größe des gesamten Bildes berechnet werden. Zur Veranschaulichung wird das hochauflösende Bild in 5 der Größe XI, Y1 in neun gleiche Teile, 600, 602, 604, 606, 608, 610, 612, 614, 616, unterteilt. Jedes geteilte Bild ist vorzugsweise von einer bestimmten Größe, die für eine Hochgeschwindigkeitsverarbeitung durch die Grafikverarbeitungseinheit und Deep-Learning-Softwaremodule geeignet ist. Die geteilte Bildgröße X', Y' ist vorgegeben, um eine bessere Analyse der Defektmerkmale und eine erhöhte Effizienz vor dem Training des neuronalen Netzwerks zu ermöglichen. Ein typisches geteiltes Bild der Größe X', Y' ist in 6 in 70 gezeigt.
  • Nachdem nun einige Ausführungsformen der Erfindung beschrieben wurden, sollte für den Fachmann offensichtlich sein, dass das Vorstehende lediglich veranschaulichend und nicht einschränkend ist, da es nur beispielhaft dargestellt wurde. Zahlreiche Modifikationen und andere Ausführungsformen liegen innerhalb des Kompetenzbereichs eines Durchschnittsfachmanns und sind als in den Schutzumfang der Erfindung fallend, wie er durch die beigefügten Ansprüche und Äquivalente dazu definiert ist, vorstellbar.

Claims (10)

  1. Computerimplementiertes Verfahren zur Schaffung eines Objekterkennungsmodells unter Verwendung neuronaler Netzwerke zur Erhöhung von Inspektionseffizienz, umfassend mindestens einen Hochleistungsprozessor, einen Schnellzugriffsspeicher und mehrere parallele Grafikverarbeitungseinheiten, wobei das Verfahren umfasst: ein unkomprimiertes, hochauflösendes Bild des Objekts; Vorverarbeiten des Bildes durch Anwendung von Glättungsalgorithmen, um Defektinformationen zu verstärken, ohne die Pixeldaten zu komprimieren; Segmentieren des vorverarbeiteten Bildes und Ausführung von Dimensionsnormalisierung durch deren Rekonstruktion in Quadratbereiche, bestens geeignet für Eingabe in die Grafikverarbeitungseinhei t; Anwenden von Deep-Learning-Algorithmen auf die optimierten Bilder, um Merkmalsinformationen innerhalb jedes Bildes zu extrahieren, um Maschinenlernen und -training zu unterstützen; Klassifizieren der extrahierten und kalibrierten Merkmalsinformationen unter mehreren Kategorien durch die Anwendung neuronaler Netzwerke; Neuklassifizierung der Kategorien extrahierter Merkmale aus neuen Bildern, generiert durch Anwendung Generativer adversarischer Netzwerke auf die optimierten und unkomprimierten Bilder; Schaffen einer umfangreichen Datenbank extrahierter Merkmale, erkannt innerhalb der Bilder, für Mikrodefektinspektion in unkomprimierten Bildern; Anwenden neuronaler Netzwerke in Kombination mit der Domain-Wissensdatenbank zur Inspektion neuer Vorrichtungen mit hoher Geschwindigkeit und Effizienz.
  2. Computerimplementiertes Verfahren nach Anspruch 1, ferner umfassend ein Entfernen redundanter Daten, die für den inspizierten Defekt irrelevant sind.
  3. Computerimplementiertes Verfahren nach Anspruch 1, ferner umfassend ein Entfernen redundanter Daten und ihr Ersetzen durch dunkle Pixel, um Genauigkeit des neuronalen Netzwerks zu verstärken.
  4. Computerimplementiertes Verfahren nach Anspruch 1, ferner umfassend Extrahieren des Randes eines kreisförmigen Objekts und Transponieren des Objekts horizontal mit überlappenden Bereichen, sodass der Rand eines kreisförmigen Objekts extrahiert und zu einer horizontalen Linie entpackt wird, und dann Teilen dieser Linie in mehrere Segmente mit überlappenden Bereichen, sodass beim Verbinden zweier aneinandergrenzender Ränder keine Pixelinformationen fehlen.
  5. Computerimplementiertes Verfahren nach Anspruch 4, ferner umfassend den Prozess des Stapelns aller horizontalen Bereiche übereinander, um ein normalisiertes Quadratbild für die weitere Analyse zu schaffen.
  6. Computerimplementiertes Verfahren nach Anspruch 5, wobei das Bild unter Verwendung von Deep-Learning-Modulen für Training, Analyse oder Inspektion des Objekts in Abhängigkeit von dem Prozessschritt zu einer gegebenen Zeit bearbeitet wird.
  7. Computerimplementiertes Verfahren nach Anspruch 1, ferner umfassend Nachverfolgen der Kontur eines kreisförmigen Objekts und Teilen des kreisförmigen Bereichs in mehrere überlappende Quadrate, optimiert für Eingabe in die Grafikverarbeitungseinheit.
  8. Computerimplementiertes Verfahren nach Anspruch 7, wobei der Prozess des Extrahierens der Überlappung der quadratischen Bereiche und Füllen aller redundanten Pixel außerhalb des kreisförmigen Randes mit Schwarzen Pixeln ausgeführt wird, um Genauigkeit zu verbessern.
  9. Computerimplementiertes Verfahren nach Anspruch 8, wobei der Prozess des Analysierens und Kategorisierens der extrahierten Merkmale und Charakteristika von Defekten ausgeführt wird, um die Wirksamkeit der akkumulierten Domain-Wissensdatenbank weiter zu verstärken.
  10. Computerimplementiertes Verfahren nach Anspruch 9, wobei die Defektinspektion neuer Objekte ausgeführt wird bei der Herstellung unter Verwendung des Domain-Wissens, aufgebaut durch Deep-Learning-Module, um hohe Genauigkeit und Wiederholbarkeit bei hoher Geschwindigkeit zu erreichen.
DE102021201767.3A 2020-02-25 2021-02-25 Computerimplementiertes Verfahren zur Verbesserung der Erkennung von Randdefekten und anderen Defekten in opthalmischen Linsen Pending DE102021201767A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SG10202001656VA SG10202001656VA (en) 2020-02-25 2020-02-25 A computer implemented process to enhance edge defect detection and other defects in ophthalmic lenses
SG10202001656V 2020-02-25

Publications (1)

Publication Number Publication Date
DE102021201767A1 true DE102021201767A1 (de) 2021-08-26

Family

ID=77176356

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021201767.3A Pending DE102021201767A1 (de) 2020-02-25 2021-02-25 Computerimplementiertes Verfahren zur Verbesserung der Erkennung von Randdefekten und anderen Defekten in opthalmischen Linsen

Country Status (7)

Country Link
US (1) US11816824B2 (de)
JP (1) JP2021152886A (de)
KR (1) KR20210108338A (de)
CN (1) CN113376182A (de)
DE (1) DE102021201767A1 (de)
SG (1) SG10202001656VA (de)
TW (1) TW202202831A (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11488020B2 (en) * 2020-06-02 2022-11-01 Sap Se Adaptive high-resolution digital image processing with neural networks
CN116055778B (zh) * 2022-05-30 2023-11-21 荣耀终端有限公司 视频数据的处理方法、电子设备及可读存储介质
CN114782288A (zh) * 2022-06-22 2022-07-22 深圳市润之汇实业有限公司 基于图像的透镜生产工艺监督方法、装置、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262229B1 (en) * 2015-03-24 2019-04-16 Hrl Laboratories, Llc Wide-area salient object detection architecture for low power hardware platforms
WO2019018693A2 (en) * 2017-07-19 2019-01-24 Altius Institute For Biomedical Sciences METHODS OF ANALYZING MICROSCOPIC IMAGES USING AUTOMATIC LEARNING

Also Published As

Publication number Publication date
SG10202001656VA (en) 2021-09-29
JP2021152886A (ja) 2021-09-30
TW202202831A (zh) 2022-01-16
US20210264585A1 (en) 2021-08-26
CN113376182A (zh) 2021-09-10
US11816824B2 (en) 2023-11-14
KR20210108338A (ko) 2021-09-02

Similar Documents

Publication Publication Date Title
DE102021201767A1 (de) Computerimplementiertes Verfahren zur Verbesserung der Erkennung von Randdefekten und anderen Defekten in opthalmischen Linsen
DE69937530T2 (de) Verfahren zum automatischen Klassifizieren von Bildern nach Ereignissen
DE4311172C2 (de) Verfahren und Einrichtung zum Identifizieren eines Schrägenwinkels eines Vorlagenbildes
DE3716787C2 (de)
DE112012004809B4 (de) Kantenverfolgung mit Hysterese-Schwellenwertbildung
DE2909153C2 (de) Einrichtung zur digitalen Analyse von Bild- oder Zeichenmustern
DE102007035884B4 (de) Linienrauschunterdrückungsvorrichtung, -verfahren und -programm
DE19956158A1 (de) Bild-Binärisierungsverfahren auf Bereichsbasis
DE69822608T2 (de) Binarisierungsverfahren in einem Zeichenerkennungssystem
DE2557553A1 (de) Verfahren und anordnung zur bilddatenverdichtung und -reexpansion
DE10317917A1 (de) System und Verfahren zum Umgrenzen und Klassifizieren von Regionen innerhalb einer graphischen Abbildung
WO1996007976A1 (de) Verfahren zur rekonstruktion von in rasterform vorliegenden linienstrukturen
WO2010133204A1 (de) Vorrichtung und verfahren zur identifizierung des urhebers eines kunstwerkes
DE19531392C1 (de) Verfahren zur Erzeugung einer Graphrepräsentation von Bildvorlagen
DE102005025220B4 (de) Gerät, Verfahren und Programm zum Beseitigen von Poren
DE112009003648T5 (de) Verfahren und Vorrichtung zur Barrierentrennung
DE202023103167U1 (de) Ein System zur Echtzeit-Erkennung von Müll unter Wasser mit Hilfe des fein abgestimmten YOLOv8
WO2008034599A2 (de) Verfahren und vorrichtung zur bildverarbeitung
DE60024535T2 (de) Verfahren zur Zeichentrennung
DE102018220236A1 (de) Schnelle Bildentzerrung für Bildinspektion
DE102021201124A1 (de) Trainieren von bildklassifizierernetzen
DE60102928T2 (de) Verfahren und vorrichtung zur bildverarbeitung
DE102023113166A1 (de) Bildverarbeitungsverfahren und -einrichtung
DE60317455T2 (de) Segmentierung eines zusammengesetzten Bildes mittels Basis-Rechtecken
DE60030528T2 (de) Verfahren und Vorrichtung zur Farbquantelung

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009800000

Ipc: G06V0030200000