DE102019133685A1 - Informationsverarbeitungssystem und -verfahren - Google Patents

Informationsverarbeitungssystem und -verfahren Download PDF

Info

Publication number
DE102019133685A1
DE102019133685A1 DE102019133685.6A DE102019133685A DE102019133685A1 DE 102019133685 A1 DE102019133685 A1 DE 102019133685A1 DE 102019133685 A DE102019133685 A DE 102019133685A DE 102019133685 A1 DE102019133685 A1 DE 102019133685A1
Authority
DE
Germany
Prior art keywords
image
viewing
observation
sem
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102019133685.6A
Other languages
English (en)
Inventor
Thantip KRASIENAPIBAL
Sayaka KURATA
Momoyo Enyama
Yasuhiro Shirasaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of DE102019133685A1 publication Critical patent/DE102019133685A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Abstract

Bevorzugter Aspekt ist ein Informationsverarbeitungssystem zur Erzeugung einer Lehrerdatenbank, die so konfiguriert ist, dass sie ein Analysemodell aus einem Betrachtungsbild und dem Betrachtungsbild entsprechenden Markierinformationen unter Verwendung eines Informationsprozessors trainiert. Dieses System umfasst eine Speichereinheit, eine Bildverarbeitungseinheit und eine Lehrerdatenbank-Erzeugungseinheit. In der Speichereinheit sind Bildverarbeitungsdaten, die aus Informationen über eine Relation zwischen einer Betrachtungsbedingung für das Betrachtungsbild und einem auf das Betrachtungsbild bezogenen Parameter gebildet sind, sowie ferner ein erstes Betrachtungsbild, eine dem ersten Betrachtungsbild entsprechende erste Betrachtungsbedingung und eine dem ersten Betrachtungsbild entsprechende erste Markierinformation gespeichert. Die Bildverarbeitungseinheit empfängt das erste Betrachtungsbild und die erste Betrachtungsbedingung als Eingaben, führt an dem ersten Betrachtungsbild eine dem Parameter entsprechende Bildverarbeitung aufgrund der Bildverarbeitungsdaten durch und erzeugt ein zweites Betrachtungsbild entsprechend einer zweiten Betrachtungsbedingung. Die Lehrerdatenbank-Erzeugungseinheit erzeugt die Lehrerdatenbank aus dem zweiten Betrachtungsbild und der ersten Markierinformation.

Description

  • TECHNISCHES GEBIET
  • Die Erfindung bezieht sich auf eine Informationsverarbeitungstechnik, insbesondere eine Bildsortiertechnik unter Verwendung maschinellen Lernens.
  • HINTERGRUND DER ERFINDUNG
  • Zum Identifizieren der Struktur einer Substanz, etwa einer Probe, aufgrund von Bildern, die mit einem Rasterelektronenmikroskop (SEM) aufgenommen wurden, werden die Bilder herkömmlicherweise im Allgemeinen visuell beurteilt. Dabei ist eine genaue Bestimmung wegen Unterschieden in der Erkennung durch die jeweilige Person oder infolge von Umgebungseinflüssen schwierig. Auch Belastungen der Bedienungspersonen und Kosten führen zu Problemen.
  • Forschung und Entwicklung der Bildbearbeitungstechnik und Verbesserungen in der Leistungsfähigkeit heutiger Computer, insbesondere in der Technik künstlicher Intelligenz (AI), schreiten voran. Bei der Bildverarbeitung unter Verwendung eins hierarchischen neuronalen Netzwerks, was auf diesem Gebiet eine typische Technik darstellt, wird das Verbindungsgewicht des hierarchischen neuronalen Netzwerks optimiert, womit eine Verarbeitung erfolgt, die als maschinelles Lernen bzw. Maschinenlernen bezeichnet wird, das ein einer gewünschten Verarbeitung entsprechendes Modell konfiguriert.
  • Maschinelles Lernen unter Verwendung eines hierarchischen neuronalen Netzwerks teilt man grob in überwachtes Lernen und nicht-überwachtes Lernen ein. Beim überwachten Lernen wird eine Datenbank (im Folgenden als „Lehrerdatenbank“ bezeichnet) unter Verwendung eines Satzes aus einer Eingabe x und einer korrekten Ausgabe t für die Eingabe x als Trainingsdaten (im Folgenden als „Lehrerdaten“ bezeichnet) aufgebaut. Beim maschinellen Lernen wird das Verbindungsgewicht des hierarchischen neuralen Netzwerks so eingestellt, dass dann, wenn an diesem Netzwerk eine vorbestimmte Eingabe liegt, unter Verwendung der Lehrerdatenbank die Ausgabe einer korrekten Lösung nahekommt. Ein geeignet trainiertes Modell vermag für eine Eingabe eine korrekte Lösung hoch-genau auszugeben.
  • Die Veröffentlichung der ungeprüften japanischen Patentanmeldung (Übersetzung einer PCT-Anmeldung) Nr. 2017-520864 beschreibt ein „Verfahren zum Klassifizieren von Mikroskopbildern“, bei dem ein umfassender Datensatz empfangen wird, der mindestens ein Mikroskopbild eines Gegenstands enthält, und eine zugehörige Klassendefinition aufgrund der Produktspezifikationen erfolgt. Dabei wird ein maschinell lernender Klassierer so trainiert, dass er Bilder in Klassen klassifiziert. Das Mikroskopbild dient als Testeingabe für den Klassierer, und das Bild wird aufgrund der Produktspezifikationen in eine oder mehrere Klassen klassifiziert. Zu den Produktspezifikationen gehören Markenname, Produktgruppe und weitere Einzelheiten auf der Markierung des Produktes.
  • In „Deep Learning for Biomedical Texture Image Analysis“ von Vincent Andrearczyk und anderen, Proceedings of the 18th Irish Machine Vision and Image Processing Conference IMVIP, wird beschrieben, dass bei einer Analyse eines Texturbildes unter Verwendung einer Wiederholung ein eingegebenes Bild mittels einer Abstimmpunktzahl klassifiziert wird.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Durch Bildidentifikation unter Verwendung eines geeignet trainierten Modells lässt sich die Struktur einer Substanz effizient und genau analysieren. Voraussetzung ist jedoch die Erstellung einer geeigneten Lehrerdatenbank zum Trainieren des Modells. Die Erfordernisse an eine Lehrerdatenbank sind Größe und Qualität. Daher ist es nötig, dass die Muster von Bildern, die möglicherweise verarbeitete Objekte sind, umfangreich vorliegen und den Mustern geeignete richtige Lösungen zugeordnet sind.
  • Falls beispielsweise eine Analyse unter Verwendung einer von einem Elektronenmikroskop aufgenommenen Probe durchgeführt werden soll, variieren die aufgenommenen Bilder in Abhängigkeit von verschiedenen Abbildungsbedingungen, etwa des Elektronenmikroskops selbst dann, wenn das Objekt dieselbe Probe ist. Bei Verwendung von mittels eines Raster- bzw. Abtast-Elektronenmikroskops (SEM) aufgenommenen Bildern als Lehrerdaten muss zur Erzeugung einer idealen Lehrerdatenbank eine große Anzahl von SEM-Bildern bei unterschiedlichen angenommenen Abbildungsbedingungen aufgenommen werden, wobei die Kosten für die Aufnahme der SEM-Bilder problematisch sind. Daher kommt es auf ein Verfahren zum Aufbau einer großen Lehrerdatenbank aus einer kleinen Menge von Bildern an.
  • Ein bevorzugter Aspekt der Erfindung besteht in einem Informationsverarbeitungssystem, das aus einem Betrachtungsbild und diesem entsprechenden Markierinformationen eine Lehrerdatenbank zum Trainieren eines Analysemodells unter Verwendung eines Informationsprozessors erzeugt. Dieses System umfasst eine Speichereinheit, eine Bildverarbeitungseinheit (Bildbearbeitungseinheit) und eine Lehrerdatenbank-Erzeugungseinheit. Die Speichereinheit speichert Bildverarbeitungsdaten (Bildbearbeitungsdaten), die aus Informationen gebildet sind, die eine Beziehung zwischen einer Betrachtungsbedingung für das Betrachtungsbild und einem auf das Betrachtungsbild bezogenen Parameter anzeigen. In der Speichereinheit sind ein erstes Betrachtungsbild, eine diesem entsprechende erste Betrachtungsbedingung und eine dem ersten Betrachtungsbild entsprechende erste Markierinformation gespeichert. Die Bildverarbeitungseinheit empfängt das erste Betrachtungsbild und die erste Betrachtungsbedingung als Eingaben, führt an dem ersten Betrachtungsbild aufgrund der Bildverarbeitungsdaten eine Bildverarbeitung (Bildbearbeitung) entsprechend dem Parameter durch und erzeugt ein zweites Betrachtungsbild entsprechend einer zweiten Betrachtungsbedingung. Die Lehrerdatenbank-Erzeugungseinheit erzeugt die Lehrerdatenbank aus dem zweiten Betrachtungsbild und der ersten Markierinformation.
  • Ein weiterer bevorzugter Aspekt der Erfindung besteht in einem Informationsverarbeitungsverfahren zum Erzeugen einer Lehrerdatenbank zum Trainieren eines Analysemodells aus einem Betrachtungsbild und einer diesem entsprechenden Markierinformation unter Verwendung eines Informationsprozessors. Dieses Verfahren arbeitet mit einer Speichereinheit, einer Bildverarbeitungseinheit und einer Lehrerdatenbank-Erzeugungseinheit. Die Speichereinheit speichert Bildverarbeitungsdaten, die aus Informationen gebildet sind, die eine Beziehung zwischen einer Betrachtungsbedingung für das Betrachtungsbild und einem auf das Betrachtungsbild bezogenen Parameter angeben. Die Speichereinheit speichert ein erstes Betrachtungsbild, eine diesem entsprechende erste Betrachtungsbedingung und eine dem ersten Betrachtungsbild entsprechende erste Markierinformation. Die Bildverarbeitungseinheit empfängt das erste Betrachtungsbild und die erste Betrachtungsbedingung als Eingaben, führt an dem ersten Betrachtungsbild aufgrund der Bildverarbeitungsdaten eine Bildverarbeitung entsprechend dem Parameter durch und erzeugt ein zweites Betrachtungsbild entsprechend einer zweiten Betrachtungsbedingung. Die Lehrerdatenbank-Erzeugungseinheit erzeugt aus dem zweiten Betrachtungsbild und der ersten Markierinformation die Lehrerdatenbank.
  • Zu speziellen Beispielen für auf ein Betrachtungsbild bezogene Parameter gehören die Parameter des Bildes (z.B. Helligkeit) oder die Parameter der Bildverarbeitung (z.B. der Parameter zum Abstimmen der Helligkeit).
  • Erfindungsgemäß lässt sich aus einer kleinen Menge von Bildern eine große Lehrerdatenbank erstellen.
  • Figurenliste
    • 1 ist ein Blockschaltbild des Aufbaus eines Systems zur Analyse einer Substanzstruktur gemäß einem Ausführungsbeispiel;
    • 2 ist ein Flussdiagramm der Analyse einer Substanzstruktur zur Darstellung der Arbeit des Systems zur Analyse einer Substanzstruktur;
    • 3 ist ein Konzeptbild eines GUI, das Informationen über eine Probe und Analyseaufgaben eingibt;
    • 4 ist ein Konzeptbild eines GUI, das Betrachtungsbedingungen eingibt;
    • 5A ist ein Flussdiagramm zur Darstellung eines Verarbeitungsflusses, der ein Bildverarbeitungsverfahren bestimmt;
    • 5B ist ein Graph-Diagramm zur Darstellung der Beziehung zwischen WD und Schattierung;
    • 6A ist ein Diagramm zur Darstellung von Historiedaten;
    • 6B ist ein Diagramm zur Darstellung von Ausgabedaten;
    • 7 ist ein Graph-Diagramm zur Darstellung der Wirkung des Ausfü h ru ngsbeispiels;
    • 8 ist ein Konzeptbild zur Darstellung des Konzeptes der Verarbeitung von SEM-Bildern entsprechend dem Ausführungsbeispiel;
    • 9 ist ein Flussdiagramm der Substanzstrukturanalyse zur Darstellung der gesamten Verarbeitung gemäß einem zweiten Ausführungsbeispiel;
    • 10 ist ein Konzeptbild zur Darstellung eines einem Benutzer angezeigten GUI-Fensters;
    • 11A ist ein Graph-Diagramm zur Darstellung der Beziehung zwischen der Betriebszeit eines SEMs und einem elektrischen Strom einer Elektronenkanone; und
    • 11 B ist ein Graph-Diagramm zur Darstellung der Beziehung zwischen der Betriebszeit t des SEMs und der Helligkeit des SEM-Bildes.
  • DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
  • Im Folgenden werden Ausführungsbeispiele anhand der Zeichnungen m Einzelnen beschrieben. Die Erfindung ist jedoch nicht in Beschränkung auf den beschriebenen Inhalt der im Folgenden erläuterten Ausführungsbeispiele zu interpretieren. Für den Fachmann ist ohne weiteres klar, dass sich die speziellen Ausgestaltungen der vorliegenden Erfindung innerhalb eines von Idee und Quintessenz der Erfindung nicht abweichenden Rahmens ändern und modifizieren lassen.
  • Im Aufbau der im Folgenden beschriebenen Erfindung tragen gleiche Teile oder Teile mit gleicher Funktion in den verschiedenen Zeichnungen dieselben Bezugszeichen; Beschreibungswiederholungen sind gelegentlich weggelassen.
  • Soweit mehrere Elemente mit gleicher oder ähnlicher Funktion vorhanden sind, werden in der Beschreibung gleiche Bezugszeichen mit unterschiedlichen Indices verwendet. Falls jedoch eine Unterscheidung zwischen mehreren Elementen nicht nötig ist, erfolgt die Beschreibung ohne Indices.
  • Bezeichnungen wie „erster“, „zweiter“ und „dritter“ werden zur Identifizierung von Komponenten verwendet, ohne unbedingt Anzahl, Reihenfolge oder Inhalt dieser Komponenten zu beschränken. Nummern zur Identifizierung werden in jedem Kontext verwendet. Die in einem Kontext benutzte Nummer gibt nicht immer die gleiche Konfiguration wie in einem anderen Kontext an. Eine mit einer bestimmten Nummer identifizierte Komponente hat möglicherweise die gleiche Funktion wie eine mit einer anderen Nummer identifizierte Komponente.
  • Zum einfacheren Verständnis der Erfindung bezeichnen etwa Ort, Größe, Form und Bereich einer jeweiligen Konfiguration nicht immer die tatsächlichen Gegebenheiten. Somit beschränkt sich Erfindung nicht unbedingt auf Ort, Größe, Form und Bereich, wie sie etwa in den Zeichnungen offenbart sind.
  • In der vorliegenden Beschreibung zitierte Veröffentlichungen, Patente und Patentanmeldungen bilden, so wie sind, Teil der vorliegenden Beschreibung.
  • In der vorliegenden Beschreibung im Singular aufgeführte Komponenten können auch, soweit nicht anders spezifiziert, in der Mehrzahl vorliegen.
  • Erstes Ausführungsbeispiel
  • <Gesamtaufbau eines Systems>
  • 1 zeigt ein Blockschaltbild des Aufbaus eines Systems zur Analyse einer Substanzstruktur gemäß einem Ausführungsbeispiel. Das System nach 1 besteht grundsätzlich aus einem Betrachtungsgerät zur Bildgewinnung, etwa einem Raster- bzw. Abtastelektronenmikroskop (SEM), (einem Bildgebungsgerät) und einem Informationsprozessor, etwa einem Server.
  • In diesem Ausführungsbeispiel wird ein Beispiel beschrieben, bei dem als Bildgebungsgeräts ein SEM verwendet wird. Das SEM 100 umfasst eine Elektronenkanone 101, die Primärelektronen 102 emittiert. Die Primärelektronen 102 werden über eine Abtastspule 103 und eine Objektivlinse 104 auf eine Probe 107 gerichtet. Wie allgemein bekannt, werden die Primärelektronen von der Abtastspule 103 auf den gewünschten Punkt der auf einem Probenhalter 108 angeordneten Probe 107 gerichtet und vermögen diese vollständig abzutasten. Die Probe 107, auf die die Primärelektronen 102 fallen, emittiert Emissionselektronen 112 und 113, die von Detektoren 105 und 106 erfasst werden. Das ist die typische SEM-Konfiguration.
  • In dem Ausführungsbeispiel wird das SEM 100 von einem Server 200 gesteuert. Ähnlich einem typischen Server umfasst der Server 200 ein Eingabegerät, ein Ausgabegerät, einen Prozessor und ein Speichergerät. Im vorliegenden Ausführungsbeispiel werden Funktionen wie Berechnung oder Steuerung in Zusammenarbeit vorgegebener Prozesse mit sonstiger Hardware durch Ausführung von in dem Speichergerät gespeicherten Programmen durch den Prozessor implementiert. Die von einem Computer ausgeführten Programme, etwa seine Funktionen, oder eine die Funktionen implementierende Einheit sowie einige oder sämtliche die Daten oder eine Datenbank speichernden Speichergeräte werden gelegentlich zum Beispiel als „xx-Teil“, „Funktion“ und „Einheit“ bezeichnet.
  • Der Server 200 kann als einzelner Server oder aus mehreren Servern aufgebaut sein, die einen vorgegebenen Teil von über ein Netzwerk verbundenem Eingabegerät, Ausgabegerät, Prozessor und Speichergerät aufweisen. In dem Ausführungsbeispiel können Funktionen, die mit aus Software konfigurierten Funktionen äquivalent sind, auch mittels Hardware, etwa einem FPGA (Field Programmable Gate Array - feldprogrammierbares Gatterfeld) und einem ASIC (Application Specific Integrated Circuit - anwendungsspezifische integrierte Schaltung), implementiert sein.
  • Oben wurde der physikalische Aufbau des Servers 200 beschrieben. 1 zeigt dagegen den physikalischen Aufbau als Funktions-Blockdiagramm mit Betonung auf Funktionsmerkmale. Eine SEM-Systemsteuereinheit 109 bildet einen Teil, der das SEM 100 entsprechend einem Befehl vom Server 200 steuert, und umfasst eine Schnittstelle, die Befehle oder Daten zwischen dem SEM 100 und dem Server 200 sendet und empfängt. In der Speichereinheit 110 sind Software oder verschiedene Datenelemente gespeichert. Die Verarbeitungseinheit 111 führt die in der Speichereinheit 110 gespeicherte Software aus und führt verschiedene Prozesse durch.
  • Ein Terminal 114 umfasst ein Eingabegerät zur Eingabe durch einen Benutzer und ein Ausgabegerät zur Ausgabe von Informationen an den Benutzer. Ein- und Ausgabegerät können bekannte Geräte sein, etwa eine Tastatur und eine Maus bzw. ein Bildanzeigegerät. Das Terminal 114 kann weitere Funktionen aufweisen, z.B. eine Druckfunktion und eine Verbindungsfunktion. Ferner kann es eine Schnittstelle zur Eingabe von Bildern von einem Gerät, z.B. einem weitere Elektronenmikroskop oder einer Videokamera, sowie ein Speichergerät aufweisen. In der Beschreibung des vorliegenden Ausführungsbeispiels handelt es sich bei dem Bild, das ein zu verarbeitendes Objekt darstellt, um ein SEM-Bild. Das Bild beschränkt sich aber nicht darauf.
  • Die Speichereinheit 110 ist aus einem Magnetplattengerät und einem Halbleiter-Speichergerät oder einer Kombination aus diesen Geräten aufgebaut. In dem Ausführungsbeispiel sind in dem Speichergerät 110 folgende Informationen gespeichert.
  • Als Datenbank:
    1. (1) Ein Metafile 1101, der ein mit dem SEM 100 betrachtetes SEM-Bild sowie Historiedaten (die Materialinformationen, die SEM-Betrachtungsinformationen und weitere Daten) bei der Betrachtung durch das SEM 100 enthält. (Der Metafile wird weiter unten anhand von 6A beschrieben.)
    2. (2) Bildverarbeitungsdaten 1102 einschließlich Informationen, mit denen die SEM-Bilder verarbeitet werden (d.h. Ausdrücke, die Parameter für die Bildverarbeitung berechnen). Ausdrücke werden automatisch oder manuell aus Informationen in dem Metafile 1101 generiert. Alternativ können Ausdrücke vom Benutzer erzeugt werden. Ausdrucksbeispiele werden weiter unten beschrieben.
    3. (3) Ein markiertes SEM-Bild 1103. Dabei handelt es sich um Daten zur Markierung des SEM-Bilds. Diese Daten sind dem SEM-Bild in dem Metafile 1101 zugeordnet. Alternativ kann das markierte SEM-Bild als Teil des Metafiles oder auch als separater Metafile konfiguriert sein.
  • Markierung bedeutet die Segmentierung des SEM-Bildes, z.B. eine Bereichsklassifizierung. Alternativ bedeutet Markierung, dass ein bestimmter Merkmalsteil des SEM-Bildes markiert (extrahiert bzw. hervorgehoben) wird. Das markierte SEM-Bild dient zur Erzeugung von Lehrerdaten zum Trainieren eines Modells oder zur Genauigkeitsmessung zum Messen des Trainingseffekts. In dem Ausführungsbeispiel werden als markiertes SEM-Bild sowohl ein von dem SEM gewonnenes SEM-Bild (im Folgenden als „Originalbild“ bezeichnet) als auch ein Bild, bei dem das SEM-Bild einer Bildverarbeitung unterzogen wurde (im Folgenden gelegentlich als „verarbeitetes Bild“ bezeichnet), benutzt.
    • (4) Eine Ausgabedatei 1104, gebildet aus einer Protokolldatei, die aufzeichnet, welche Bildverarbeitung auf ein SEM-Bild (Originalbild) und ein der Bildverarbeitung unterworfenes SEM-Bild (verarbeitetes Bild) angewendet wird. Die Ausgabedatei 1104 kann als Metadatei konfiguriert sein. (Die Ausgabedatei 1104 wird weiter unten anhand von 6B beschrieben.)
    • (5) Eine Wissensdatenbank 1105, in der auf den Aufbau und die Kristallstruktur eines Materials bezogenes Wissen gespeichert ist.
  • Informationen zur automatischen Analyse durch ein mit einem hierarchischen neuronalen Netzwerk arbeitendes Analysemodell:
    • (6) Eine Lehrerdatenbank 1106, die aus dem markierten SEM-Bild gewonnene Lehrerdaten oder Genauigkeitsmessdaten zusätzlich zu den Lehrerdaten enthält.
    • (7) Eine Modelltrainiereinheit 1107, die das hierarchische neuronale Netzwerk unter Verwendung der Lehrerdatenbank 1106 erlernt und ein Analysemodell generiert.
    • (8) Eine ein trainiertes Analysemodell speicherde Speichereinheit 1108.
    • (9) Eine Bildanalyseeinheit 1109 zum Analysieren eines SEM-Bildes als Analyseobjekt unter Verwendung des trainierten Analysemodells.
  • Als Konfigurationen zur automatischen Analyse können allgemein bekannte Techniken verwendet werden, so auch ein Verfahren, das beispielsweise mit einem aus einem neuronalen Netzwerk mit einer einer Pixelzahl entsprechenden Eingangsschicht aufgebauten Analysemodell arbeitet.
  • <Gesamter Prozessablauf des Systems>
  • 2 zeigt ein Flussdiagramm der Analyse einer Substanzstruktur zur Darstellung der Arbeitsweise des in 1 gezeigten Substanzstruktur-Analysesystems. Im vorliegenden Ausführungsbeispiel zeigt der folgende Flussablauf ein Beispiel, bei dem sowohl ein SEM-Bild für Lehrerdaten als auch ein SEM-Bild zur Erzeugung von Genauigkeitsmessdaten als auch ein SEM-Bild als Analyseobjekt gemeinsam gebildet werden. Mindestens ein Teil eines SEM-Bildes für Lehrerdaten, eines SEM-Bildes zur Erzeugung von Genauigkeitsmessdaten und eines SEM-Bildes als Analyseobjekt kann jedoch auch zu einem anderen Zeitpunkt von einem anderen System vorbereitet werden.
  • <Eingabe von Probeninformationen und Analyseaufgaben (Prozesse S1 und S2)>
  • In 2 gibt der Benutzer zunächst an einem Terminal 114 Informationen über die Probe 107 als Analyseobjekt ein (S1). Sodann gibt der Benutzer über das Terminal 114 eine Analyseaufgabe ein (S2). Die Analyseaufgabe ist das Thema der Analyse, z.B. ein gewünschter Analysegegenstand, bei dem es sich um eine Kristallstruktur oder einen Phasentyp handelt, die in dem SEM-Bild zu identifizieren sind. Für das später gelernte hierarchische neuronale Netzwerk kann aus mehreren hierarchischen neuronalen Netzwerken entsprechend der eingegebenen Analyseaufgabe ein geeignetes ausgewählt werden.
  • 3 zeigt ein graphisches Benutzerinterface (GUI), das dem Benutzer an dem Terminal 114 zur Eingabe von Informationen über die Probe und die Analyseaufgabe angezeigt wird.
  • An einem GUI-Fenster 300 werden mehrere kleine Fenster 301, 302, 305 und 306 angezeigt. Beispielsweise wird an dem kleinen Fenster 301 eine Materialzusammensetzung eingegeben. Die Zusammensetzung kann dadurch eingegeben werden, dass anhand eines Periodensystems ein Element spezifiziert wird. An dem kleinen Fenster 302 kann eine Prozessbedingung für die Probe 107 eingegeben werden. Bedingungen sind beispielsweise Temperatur, Druck und Zusätze. Unter Verwendung dieser Bedingungen kann der Benutzer Informationen über die Probe 107 eingeben.
  • Durch Betätigen einer Betätigungstaste 303 (Importiere Datenbank-Bibliothek) lassen sich den eingegebenen Informationen über die Probe 107 entsprechende bekannte Strukturdaten aus der Wissensdatenbank 1105 auslesen. Die Strukturdaten werden an dem kleinen Fenster 306 angezeigt. Den Strukturdaten ist ein der Struktur entsprechender Analysegegenstand zugeordnet. Das kleine Fenster 305 bildet eine Analyse-Registerkarte, die Analysegegenstands-Kandidaten entsprechend den aus der Wissensdatenbank 1105 ausgelesenen Strukturdaten der Probe darstellt. Aus den dargestellten Analysegegenstands-Kandidaten kann der Benutzer einen gewünschten Gegenstand auswählen.
  • In dem Beispiel nach 3 lassen sich Phasenanalyse und Störstoffanalyse über Betätigungstasten 307 (Phasenanalyse) und 308 (Störstoffanalyse) wählen. Bei der Phasenanalyse handelt es sich um eine Analyse, die zwischen Kristallphasen in der Probe unterscheidet. Bei der Phasenanalyse wird die entsprechend den eingegebenen Informationen über die Probe 107 aus der Wissensdatenbank 1105 ausgelesene Kristallstruktur an dem kleinen Fenster 306 angezeigt. Der Benutzer spezifiziert die Unterscheidung beispielsweise zwischen einer ersten Phase (kubisch flächenzentriert: FCC) und einer zweiten Phase (kubisch raumzentriert: BCC). Bei der Störstoffanalyse erfolgt eine Unterscheidung zwischen einer Hauptphase und einer in dieser vorhandenen Störstoffphase. Der Benutzer spezifiziert beispielsweise einen Störstofftyp.
  • Die Identifizierung dieser Merkmale erfolgt letztlich mittels eines Analysemodells entsprechend dem hierarchischen neuronalen Netzwerk, das durch Betätigen einer Betriebstaste (Segmentierung starten) 407 einem maschinellen Lernvorgang zur Identifizierung unterworfen wird. Bei der Phasenanalyse werden durch Segmentieren unter Verwendung des Analysemodells eine erste und eine zweite Phase des Bildes identifiziert. Bei der Störstoffanalyse werden bei einem in der Probe vorliegenden Störstoff dieser (oder eine Ausscheidung) und die Hauptphase identifiziert. Wohlgemerkt ist der Analysegegenstand nicht notwendigerweise darauf beschränkt. Die Kristallstruktur lässt sich vom Benutzer auch mit einer Betriebstaste 304 (Kristallstrukturen bestimmen) definieren. Weitere Informationen wie die mittlere Teilchengröße (Mittlere Teilchengröße) können eingegeben werden.
  • <Eingabe von Betrachtungsbedingungen und Gewinnung des SEM-Bildes (Prozesse S3 und S4)>
  • Sodann gibt der Benutzer die Messbedingungen (die Betrachtungsbedingungen) für das SEM 110 ein (S3). Bekanntlich gibt es als SEM-Betrachtungsbedingungen verschiedene Bedingungen wie Vergrößerung, Betrachtungsbereich, Arbeitsabstand (Abstand der Oberfläche der Probe 107 von der Objektivlinse 104), Neigungswinkel des Probenhalters 108 und Betriebsspannung oder elektrischer Strom der Elektrode der Elektronenkanone 101. Die Bedingungen sind jedoch frei wählbar.
  • 4 zeigt ein Beispiel eines GUI, das am Terminal 114 zur Eingabe von Betrachtungsbedingungen angezeigt wird. An einem GUI-Fenster 400 ist ein kleines Fenster 401 dargestellt. An diesem gibt der Benutzer unter Verwendung des Terminals 114 Betrachtungsbedingungen für das SEM 100 ein. In 4 sind die Betrachtungsbedingungen beispielsweise der elektrische Strom (Sondenstrom) der Elektronenkanone, Beschleunigungsspannung (Vacc) zum Extrahieren von Elektronen aus der Elektronenkanon, Betriebsstrom der Objektivlinse (Linsenstrom), Betriebsverfahren des Detektors sowie Unterscheidung etwa zwischen einem Bild von rückgestreuten Elektronen (BSE) und einem Bild von Sekundärelektronen (SE). Die übrigen Betrachtungsbedingungen wie Arbeitsabstand (WD) werden eingegeben oder automatisch gewonnen. Diese Betrachtungsbedingungen sind Historiedaten, in denen die Betriebshistorie des SEM verzeichnet ist.
  • Nach Einstellen der Betrachtungsbedingungen durch Betätigen einer Betätigungstaste 404 (Scan starten) wird die Probe 107 von dem SEM 100 unter den spezifizierten Bedingungen betrachtet und eine Vielzahl (n) von SEM-Bildern aufgenommen (S4). n ist eine natürliche Zahl, beispielsweise 3 oder größer. Bei drei SEM-Bildern kann ein Bild für Lehrerdaten, eines zur Bestätigung der Genauigkeit eines Analysators und eines als Analyseobjekt dienen; dies stellt jedoch keine Beschränkung dar. Das gewonnene SEM-Bild wird in der Speichereinheit 110 in Verbindung mit Historiedaten gespeichert, wobei die SEM-Betriebshistorie in dem Metafile 1101 gespeichert ist. (Historiedaten werden anhand von 6A beschrieben.)
  • <Markieren des SEM-Bildes (innerhalb des Prozesses S4 oder separat durchgeführte
  • Wie weiter unten näher beschrieben, wir hier ein Teil des gewonnenen SEM-Bildes markiert und kann als Lehrerdaten oder Daten zur Genauigkeitsbestätigung dienen. Auch zuvor als markiertes SEM-Bild 1103 gespeicherten Daten können zur Wiederverwendung aufgerufen werden.
  • Als nächstes wird ein Verfahren zum Gewinnen von markierten Daten unter Verwendung des GUI-Fensters 400 in 4 beschrieben. Falls in einem kleinen Fenster 402 ein Material, das gegenwärtig analysiert werden soll, oder ein markiertes SEM-Bild, das einer Analyseaufgabe entspricht, in dem markierten Bild 1103 der Speichereinheit 110 bereits gespeichert ist, werden entsprechende Daten über eine Betätigungstaste 401 (Markiertes Bild importieren) aufgerufen.
  • Das in dem Prozess S4 betrachtete SEM-Bild kann als Teil des Prozesses S4 auch unter Verwendung des GUI-Fensters 400 zusammenhängend markiert werden. In diesem Fall wird ein SEM-Bild (Gemessenes SEM-Bild) in dem kleinen Fenster 402 angezeigt. Die Markierung hat so zu erfolgen, dass der Benutzer SEM-Bilder visuell sieht. Ein SEM-Bild (Markiertes Bild) wird beispielsweise unter Verwendung eines Zeigegeräts generiert. In 4 wird das SEM-Bild markiert, indem es durch Spezifizierung durch den Benutzer in zwei Teile unterteilt wird, nämlich eine erste Phase (dunklere Teile in dem Bild) und eine zweite Phase (weißliche Teile in dem Bild). Das markierte SEM-Bild (Markiertes Bild) wird mittels der Betriebstaste 406 (Markiertes Bild erzeugen) als markiertes SEM-Bild 1103 in der Speichereinheit 110 gespeichert.
  • <Bestimmen eines Bildverarbeitungsverfahrens und einer Bildverarbeitung (Prozesse S5 bis S7)>
  • Anschließend wird von der Verarbeitungseinheit 111 des Servers 200 dem Benutzer über das Terminal 114 ein Bildverarbeitungsverfahren für das SEM-Bild (Bild) empfohlen oder eines bestimmt (S5). Im vorliegenden Ausführungsbeispiel bestimmt die Verarbeitungseinheit 111 ein Bildverarbeitungsverfahren nach einer vorgegebenen Regel automatisch.
  • 5A ist ein Diagramm zur Darstellung des Ablaufs des Prozesses S5 beim Bestimmen eines Bildverarbeitungsverfahrens. Zunächst werden von der Verarbeitungseinheit 111 die Probeninformationen, die Analyseaufgabe und die SEM-Betrachtungsbedingungen in den Prozessen S1 bis S3 eingegeben (S501). Anschließend berechnet die Verarbeitungseinheit 111 spezielle Optionen für die Bildverarbeitung (z.B. Verarbeitungsverfahren oder -parameter) unter Verwendung der Bildverarbeitungsdaten 1102 (S502). Danach wir eine Protokolldatei erzeugt, in der die bestimmte Bildverarbeitung verzeichnet wird (S503).
  • Anhand von 2 wird die Beschreibung des Arbeitsflusses fortgesetzt. Nachdem im Prozess S5 das Verarbeitungsverfahren bestimmt wurde, liest die Verarbeitungseinheit 111 markierte Daten aus dem markierten SEM-Bild 1103 aus (S6). Die Anzahl der auszulesenden Datenteile ist m. Die markierten Daten enthalten ein Paar von SEM-Bildern und eine Markierung aufgrund des Analysethemas. Wie oben als Teil des Prozesses S4 beschrieben, wird als markiertes SEM-Bild vom Benutzer ein SEM-Bild markiert, während er dieses visuell betrachtet. Alternativ kann eine Konfiguration vorgesehen sein, bei der von einem Material mit bekannter Struktur ein SEM-Bild gewonnen und die bekannte Struktur als Markierung angebracht wird. Die Markierung kann als Teil des Arbeitsflusses in 2 oder davor erfolgen.
  • Anschließend wird das markierte SEM-Bild (das Originalbild) von der Verarbeitungseinheit 111 des Servers 200 nach dem im Prozess S5 bestimmten Verfahren verarbeitet und ein verarbeitetes Bild erhalten (S7). Durch diesen Vorgang wird die Anzahl von Originalbildern von m Bildern erhöht. Wird beispielsweise das Schattierungsmaß geändert, so können durch Ändern von WD in dem Ausdruck 1 auf drei Arten m x 3 neue Bilder (verarbeitete Bilder) gewonnen werden. Da das angenommene Objekt das gleiche ist, kann das verarbeitete Bild ähnlich dem Originalbild markiert werden. Da die Anzahl an Originalbildern (m) + die Anzahl der verarbeiteten Bilder (m x 3) = m x 4 ist, erhöhen sich die markierten SEM-Bilder auf viermal die Anzahl an Originalbildern.
  • Im Folgenden werden Prozesse S5 bis S7 als spezielles Ausführungsbeispiel näher beschrieben.
  • In dem Ausführungsbeispiel wird ein Beispiel beschrieben, bei dem der im Prozess S4 erhaltene Schattierungszustand des SEM-Bildes durch Bildverarbeitung geändert und ein verarbeitetes Bild erzeugt wird. Schattierung bedeutet ein Phänomen, bei dem ein Teil des SEM-Bildes aufgrund der Lagebeziehung zwischen der Probe und der Objektivlinse des Detektors schattiert bzw. abgeschattet oder vignettiert ist.
  • Als Beispiel zeigt 5B ein Diagramm zur Darstellung des Arbeitsabstands (WD) an der horizontalen Achse und des Schattierungsmaßes (%) an der vertikalen Achse. Das Schattierungsmaß ist beispielsweise als Helligkeitsunterschied zwischen der linken und der rechten Bildseite oder zwischen gegenüberliegenden Ecken definiert. Ist die Helligkeit eine 256-Grauskala, so wird bei einer Differenz von Null ein Schattierungsmaß von 0% und bei einer Differenz von 255 ein solches von 100% erhalten.
  • In den Bildverarbeitungsdaten 1102 ist beispielsweise der folgende Ausdruck gespeichert: Schattierungskorrektur f1 ( WD ) × A Probe ,Det
    Figure DE102019133685A1_0001
  • Schattierungskorrektur = Korrekturparameter zur Erzeugung eines Bildes ohne Schattierung aus einem solchen mit Schattierung (ein Korrekturmaß für die Helligkeit jedes Pixels).
    • WD = Arbeitsabstand zwischen der Objektivlinse und der Probe.
    • f1 = eine vom SEM abhängige Funktion.
    • AProbe,Det = der von dem Detektor und der Probe gebildete Winkel.
  • Da Schattierung ungleiche Helligkeit des SEM-Bildes bedeutet, lässt sich der Korrekturparameter als zweidimensionales Filter mit einer Helligkeitsdifferenz, die ungleiche Helligkeit unterdrückt, definieren. Für ein gegebenes Pixel kann der Korrekturparameter wie in dem obigen Ausdruck 1 berechnet werden. Ausdruck 1 hängt zwar von den Spezifikationen des verwendeten SEM ab, diese können jedoch durch Simulation oder Experiment erreicht werden. AProbe,Det lässt sich aus den Spezifikationen des SEM-Gerätes und WD eindeutig bestimmen. AProbe,Det ändert sich zwar generell bei Änderung der Probenposition nach einer Änderung in WD, ist jedoch konstant, wenn WD konstant ist. F1 ist eine von dem SEM-Gerät abhängige Funktion, wobei die Spezifikation durch Simulation oder Experiment möglich ist.
  • Da die Spezifikationen des SEM bekannt sind, sind auch die Bereiche der Werte bekannt, die WD und AProbe,Det annehmen können. Die Betrachtungsbedingungen sind bekannt, da sie beim Gewinnen des Originalbildes im Prozess S3 eingegeben werden und als Historiedaten in dem Metafile 1101 gespeichert sind. Daher lässt sich aus dem Ausdruck 1 das SEM-Bild (das verarbeitete Bild), das unter Betrachtungsbedingungen erhalten wird, die von denen bei der Betrachtung des SEM-Bildes (des Originalbildes) verschieden sind, durch Verarbeiten des Originalbildes erzielen. Auf diese Weise kann in dem vorliegenden Ausführungsbeispiel das SEM-Bild (das verarbeitete Bild) unter den unterschiedlichen Betrachtungsbedingungen aus dem Originalbild generiert werden.
  • Im Folgenden wird ein spezielles Ausführungsbeispiel für den Prozess S502 beschrieben. In diesem Beispiel bestimmt die Verarbeitungseinheit 111 automatisch ein Verfahren aufgrund einer vorgegebenen Regel. Zunächst ersetzt die Verarbeitungseinheit 111 die Betrachtungsbedingung (WD) für das im Prozess S501 eingegebene Originalbild in dem Ausdruck 1 zur Berechnung eines genauen Wertes, und ein erstes Filter erzeugt aus dem schattierten Originalbild ein schattierungsfreies SEM-Bild (mit dem Schattierungswert Null).
  • Die Verarbeitungseinheit 111 bestimmt vorab eine oder mehrere Betrachtungsbedingungen (insbesondere WD), unter denen in dem schattierungsfreien Bild aufgrund einer vorgegebenen Regel schwache Schattierung auftritt, und speichert die Betrachtungsbedingungen in der Speichereinheit 110 (oder der Benutzer stellt die Betrachtungsbedingungen am Terminal 114 ein). Im Prozess S502 werden die Betrachtungsbedingungen (WD) auf den Ausdruck 1 angewendet, und es werden ein oder mehrere zweite Filter mit Eigenschaften erzeugt, die zu dem erhaltenen Korrekturwert umgekehrte Eigenschaften haben. Im Prozess S503 werden die ersten und zweiten Filter als Inhalt der Bildverarbeitung in der Protokolldatei verzeichnet.
  • Anschließend liest im Prozess S6 die Verarbeitungseinheit 111 m markierte SEM-Bilder (m Originalbilder) zur Bildverarbeitung aus.
  • In der nachfolgenden Bildverarbeitung im Prozess S7 erfolgt eine Bildverarbeitung anhand der ersten und zweiten Filter, die im Prozess S5 als Inhalt der Bildverarbeitung bestimmt wurden. Dabei wird zunächst das erste Filter auf das Originalbild angewendet und ein SEM-Bild mit einem Schattierungswert von Null erzeugt. Sodann werden auf das SEM-Bild mit dem Schattierungswert Null ein oder mehrere zweite Filter abgewendet, wobei ein oder mehrere SEM-Bilder mit schwach auftretender Schattierung erzeugt werden. Mit dem zweiten Filter wird der bezüglich des gefundenen Korrekturwertes invertierte Korrekturwert (d.h. ein Korrekturwert mit invertiertem Vorzeichen) auf das schattierungsfreie SEM-Bild angewendet, so dass ein Bild mit Schattierung erzeugt werden kann.
  • Nach dem oben beschriebenen Prozess lassen sich aus dem Originalbild ein oder mehrere verarbeitete Bilder erhalten. Ein SEM-Bild mit starker Schattierung ist zwar für die Analyse ungeeignet; das verarbeitete Bild enthält aber unter den Bedingungen schwacher Schattierung für die Analyse geeignete Änderungen, so dass sich das erhaltene verarbeitete Bild für Lehrerdaten eignet.
  • <Beispiel für die Konfiguration des Metafiles>
  • 6A zeigt ein Beispiel für Historiedaten 601 als Teil des Metafiles 1101, in dem die SEM-Arbeitshistorie gespeichert ist. Derartige Historiedaten sind in der Speichereinheit 110 in Verbindung mit dem SEM-Bild (dem Originalbild) gespeichert. Da die SEM-Betrachtungsbedingungen des erhaltenen SEM-Bildes aus den Historiedaten bekannt sind, lässt sich unter Verwendung eines früheren SEM-Bildes als Originalbild eine große Anzahl von verarbeiteten Bildern erzeugen.
  • 6B zeigt ein Beispiel für Ausgabedaten 602, die Teil der Ausgabedatei 1104 sind. Solche Ausgabedaten werden in der Speichereinheit 110 in Verbindung mit dem SEM-Bild (dem verarbeiteten Bild) aufgezeichnet. Die Ausgabedaten 602 übernehmen zwar den Inhalt der Historiedaten des Originalbildes, doch werden Daten in demjenigen Teil geändert, in dem sich Parameter durch Bildverarbeitung ändern.
  • Die Bilder in 6B sind Beispiele für verarbeitete Bilder, in denen zur Einstellung der Schattierung der WD-Wert von Bildern in der ersten Spalte in 6A geändert ist. In den Daten kann das verarbeitete Bild für Lehrerdaten oder Genauigkeitsmessdaten ähnlich dem Originalbild verwendet werden. Das bedeutet, dass sich gemäß diesem Ausführungsbeispiel die Menge an Bildern, die Material für die Lehrerdatenbank sein sollen, stark erhöhen lässt. Obwohl in den Zeichnungen nicht dargestellt, ist der Inhalt der Datenverarbeitung, mit der das Originalbild bearbeitet wird, den einzelnen Bildern der Ausgabedaten 602 zugeordnet.
  • <Trainieren des Analysemodells (Prozesse S8 und S9)>
  • Anschließend wird unter Verwendung der markierten SEM-Bilder ein durch Bildverarbeitung erhöhter Datensatz zur Segmentierung gebildet. Diese Daten sind beispielsweise Lehrerdaten, die das hierarchische neuronale Netzwerk erlernt, und Genauigkeitsmessdaten. Einzelheiten des maschinellen Lernens des hierarchischen neuronalen Netzwerks sind weggelassen, weil sie bekannt sind. Jedes der markierten SEM-Bilder, deren Zahl erhöht ist, bildet eine Eingabe x, wobei aus einer korrekten Ausgabe t für die damit gepaarte Eingabe x ein Satz von Lehrerdaten oder Genauigkeitsmessdaten erzeugt wird (S8). Der Satz von Lehrerdaten oder der Satz von Genauigkeitsmessdaten wird als Lehrerdatenbank 1106 in der Speichereinheit 110 gespeichert. Im vorliegenden Ausführungsbeispiel handelt es sich bei der Lehrerdatenbank 1106 um einen Satz von markierten SEM-Bildern, der SEM-Bilder und Markierinformationen als Datensatz enthält.
  • Die Modell-Trainiereinheit 1107 führt einen maschinellen Lernvorgang derart durch, dass unter Verwendung des Lehrerdatensatzes als Eingabe für das hierarchische neuronale Netzwerk die Ausgabe einer korrekten Lösung nahekommt, und erzeugt ein Modell (S9). Dar erzeugte Modell wird in der entsprechenden Speichereinheit 1108 der Speichereinheit 110 gespeichert.
  • <Analyse und Genauigkeitsmessung durch den Analysator (Prozesse S10 bis S13)>
  • Anschließend analysiert die Analyseeinheit 1109 den Genauigkeitsmessdatensatz, der ähnlich wie der Lehrerdatensatz aus den markierten SEM-Bildern erzeugt wurde, unter Verwendung des Modells, das den maschinellen Lernvorgang abgeschlossen hat (S10). Das Ergebnis der Analyse wird angezeigt (S11). Das Ergebnis der Analyse des Genauigkeitsmessdatensatzes wird gegen eine genaue Lösung geprüft, und die Genauigkeit der Segmentierung wird berechnet (S12). Nach Beendigung einer Reihe von Prozessen wird die Protokolldatei aktualisiert und eine Ausgabedatei erzeigt (S13).
  • Obwohl der Datensatz für die Genauigkeitsmessung aus Daten bestehen muss, für die die richtige Lösung bekannt ist, ist es erwünscht, dass es sich um Daten handelt, die aus von Lehrerdatensatz verschiedenen Originalbildern erzeugt wurden. Der Grund dafür liegt darin, dass bei Benutzung derselben Originalbilder die Auswertung eher zu einer höheren als der wirklichen Genauigkeit neigt.
  • Ein Verfahren zur Anzeige des Analyseergebnisses wird nun anhand des in 4 gezeigten GUI-Fensters 400 beschrieben. Das Analyseergebnis wird an dem kleinen Fenster 403 angezeigt. In 4 ist das Ergebnis der Segmentierung (Bildsegmentierung) mit acht SEM-Bildern gezeigt. Von diesen acht Bildern sind mit „Tr“ bezeichnete SEM-Bilder diejenigen, die zum Trainieren benutzt werden. Daher werden zur Segmentierung korrekte Lösungen angezeigt. Die anderen sechs Bilder sind SEM-Bilder, die zur Genauigkeitsauswertung analysiert werden. Rechts in dem kleinen Fenster 403 wird die Genauigkeit (der Segmentierung), beispielsweise der Anteil der ersten Phase (Mittlere Fläche - Phase 1), der Anteil der zweiten Phase (Mittlere Fläche - Phase 2) angezeigt. Ist die Genauigkeit gering, wird ein maschineller Lernvorgang unter Verwendung einer Betätigungstaste 408 (Erneut trainieren) erneut durchgeführt. Generell lässt sich durch wiederholtes maschinelles Lernen die Genauigkeit des Modells verbessern.
  • <Wirkung des vorliegenden Ausführungsbeispiels>
  • Mit dem oben beschriebenen Prozess lässt sich aus einer geringen Anzahl von Originalbildern eine große Lehrerdatenbank erzeugen. Das Analysemodell kann daher mit geringen Kosten trainiert werden.
  • 7 zeigt eine Graphik zur Darstellung des Effekts des Ausführungsbeispiels. An der horizontalen Achse ist die Anzahl von Teilen der Lehrerdaten, an der vertikalen Achse die Genauigkeit der Analyse (Segmentierung) aufgetragen. Ein Modell 701, das gemäß dem Ausführungsbeispiel unter Verwendung des Originalbildes und des verarbeiteten Bildes, d.h. des verarbeiteten Originalbildes, als Lehrerdaten trainiert wird, hat eine höhere Identifikationsgenauigkeit als ein Modell 702, das nur unter Verwendung von Originalbildern trainiert wird. Als Grund dafür wird angenommen, dass ein Lehrerbild hoher Qualität künstlich erzeugt werden kann. Zu beachten ist, dass dann, wenn keine gewünschte Identifikationsgenauigkeit erreicht wird, wie etwa in dem Prozess S14 in 2, der Prozess mit geändertem Bildverarbeitungsverfahren oder geänderter Anzahl von verarbeiteten Bildern erneut durchgeführt werden kann.
  • 8 zeigt ist ein Diagramm zur Darstellung des Konzeptes der Verarbeitung des SEM-Bildes entsprechend dem Ausführungsbeispiel. Bei den n gewonnenen SEM-Bildern 801 handelt es sich um Originalbilder, die von dem SEM im Prozess S4 erhalten werden (wobei n = 8 ist). Von diesen Bildern werden m Bilder (mit m = 2) markiert und im Prozess S6 als SEM-Bilder 802 ausgelesen. Für jedes der markierten SEM-Bilder 802 werden im Prozess S7 beispielsweise drei verarbeitete Bilder erzeugt, und die markierten SEM-Bilder werden auf das Vierfache erhöht. Im Ergebnis werden acht Datensätze 803 zum Trainieren (als Lehrer- und Genauigkeitsmessdaten) erzeugt. Einige der Datensätze 803 werden zum Trainieren des Modells und einige andere 804 für die Genauigkeitsmessung des trainierten Modells benutzt. Um die Zuverlässigkeit der Genauigkeitsmessung zu verbessern, ist es zum Trainieren und für die Genauigkeitsmessung vorteilhaft, Bilder zu wählen, die unterschiedliche Originalbilder aus den n Originalbildern aufweisen. Als Ergebnis der Genauigkeitsmessung wird dann, wenn die Genauigkeit des Modell nicht ausreicht, (1) ein Prozess S14 ausgeführt etwa das Bildverarbeitungsverfahren zur Erzeugung eine verarbeiteten Bildes geändert, (2) die Anzahl der zu erzeugenden verarbeiteten Bilder (z.B. vom Vierfachen auf das Zehnfache) erhöht und/oder (3) die Anzahl von Bildern zum Erzeugen von Lehrerdaten (z.B. von m = 2 auf 5) erhöht, und das Trainieren erneut durchgeführt.
  • Ist ein Modell ausreichender Genauigkeit vervollständigt, können unter Verwendung dieses Modells markierte SEM-Bilder in n gewonnenen SEM-Bilder automatisch analysiert werden. Auf diese Weise lassen sich Aufwand und Kosten für die Bildanalyse erheblich verringern.
  • Zweites Ausführungsbeispiel
  • 9 zeigt ein Flussdiagramm der Substanzstrukturanalyse zur Darstellung der gesamten Verarbeitung gemäß einem zweiten Ausführungsbeispiel. In diesem zweiten Ausführungsbeispiel sind die grundsätzlichen Konfigurationen die gleichen wie in dem ersten Ausführungsbeispiel. Unterschiede bestehen darin, dass ein nach einem im Prozess S5 empfohlenen Verfahren verarbeitetes Bild an einem GUI dargestellt wird und der Benutzer das letztlich durchgeführte Verfahren im Prozess S14 bestimmen kann.
  • 10 zeigt ein Diagramm zur Darstellung eines GUI-Fensters 1000, das dem Benutzer am Terminal 114 angezeigt wird. Das kleine Fenster 401 ist das gleiche wie in 4.
  • In einem kleinen Fenster 1002 werden nebeneinander ein betrachtetes SEM-Bild (gemessenes SEM-Bild) und eine Vorschau auf ein nach einem empfohlenen Verfahren verarbeitetes Bild (Vorschau verarbeiteter Bilder) dargestellt.
  • In einem kleinen Fenster 1003 werden eine Liste von Bildverarbeitungsverfahren zur Vorbereitung der Segmentierung (Vorbereitungen zur Segmentierung) und Schieber 1004 zum Einstellen eines Parameters für die jeweilige Bildverarbeitung dargestellt. In dem Beispiel nach 10 sind eine Anisotropiephasen-Auswertung (Anisotropiephasen-Auswertung), Leer- bzw. Fehlstellen aus der Herstellung (Fehlstellen aus der Herstellung), Auswertung kleiner Teilchen (Auswertung kleiner Teilchen), Schattierungskorrektur (Schattierungskorrektur), Helligkeit/Kontrast-Einstellung (B/C-Einstellung) und Kratzervolumen (Kratzervolumen) definiert. Möglich ist auch eine Benutzerdefinition (Benutzerdefiniert 1). Durch Drücken einer Betätigungstaste (Browse Bildverarbeitung) 1005 öffnet der Benutzer ein (nicht gezeigtes) neues Fenster und kann unter Bezugnahme auf eine externe Datenbank ein gewünschtes Bildverarbeitungswerkzeug aufrufen.
  • Als Verfahren zur Verarbeitung eines Originalbildes zur Erhöhung der Anzahl an markierten Bildern kann an eine Bilddrehung gedacht werden. Beispielweise lassen sich durch dreimaliges Drehen eines einzelnen Bildes um 90° drei Bilder neu generieren. Dieses Verfahren ist jedoch dann nicht anwendbar, wenn die Probe eine Orientierung ausweist. Anwählen der Anisotropiephasen-Auswertung macht eine Bilddrehung ungültig. Findet das Anwählen nicht statt, so wird das Verfahren angewandt, bei dem das Bild zur Erzeugung eines verarbeiteten Bildes gedreht wird. Der Vorgang der Bilddrehung kann als Standard erfolgen. Durch die Bilddrehung lässt sich die Anzahl an verarbeiteten Bildern erhöhen.
  • Bei den Fehlstellen aus der Herstellung handelt es sich um Mikrokavitäten, die beispielweise bei der Vorbereitung einer Probe entstehen. Die Häufigkeit, mit der Fehlstellen entstehen, hängt manchmal in derselben Probe vom Ort selbst ab. Je nach den Proben ist der mögliche Bereich der Häufigkeit für die Entstehung von Fehlstellen bekannt. Die Menge an Fehlstellen lässt sich dadurch beliebig ändern, dass durch Bildverarbeitung innerhalb des möglichen Häufigkeitsbereichs für das Auftraten von Fehlstellen künstlich Fehlstellen erzeugt werden, und dadurch lassen sich die Varianten des SEM-Bildes erhöhen.
  • Bei der Auswertung kleiner Teilchen handelt es sich um ein Verfahren, das dort geeignet ist, wo Mikroablagerungen analysiert werden sollen. Da das Maß der Unschärfe bzw. des Weichzeichnens eines Bilds von den Betrachtungsbedingungen abhängt, wird dieses Maß bei der Erzeugung eines verarbeiteten Bildes eingestellt. Dazu wird an dem Bild ein Glättungsverfahren in dem Bereich durchgeführt, in dem die Ablagerung als Objekt der Analyse beobachtbar ist. Dies wird in einem vierten Ausführungsbeispiel beschrieben.
  • Die Schattierungskorrektur wurde in dem ersten Ausführungsbeispiel beschrieben. Die Helligkeits- und Kontrasteinstellung wird in einem dritten Ausführungsbeispiel beschrieben.
  • Bei dem Kratzervolumen handelt es sich um einen linienförmigen Defekt, der bei der Vorbereitung einer Probe (beispielsweise beim Polieren) entsteht. Ähnlich dem Verfahren bei Fehlstellen lässt die Größe oder Häufigkeit der Entstehung von Kratzern durch Bildverarbeitung künstlich verändern. Schwankungen in den Herstellbedingungen bei der Vorbereitung einer Probe lassen sich so reproduzieren.
  • Der Benutzer wählt ein anzuwendendes Bildverarbeitungsverfahren mittels Anhaken aus und stellt die Verfahrensparameter mit Hilfe des Schiebers 1004 ein. Alternativ kann durch Drücken einer Betätigungstaste auch ein anderes Verfahren aufgerufen werden (Bildverarbeitung browsen).
  • Das verarbeitete Bild (Vorschau verarbeiteter Bilder) wird mit der Einstellung verknüpft in dem kleinen Fenster 1002 angezeigt. Zum Bestimmen eines Bildverarbeitungsverfahrens betätigt der Benutzer eine OK-Taste 1006.
  • Gemäß dem vorliegenden Ausführungsbeispiel lässt sich das für die Lehrerdatenbank geeignete Bild unter Verwendung von Benutzerwissen erzeugen. Zu beachten ist, dass anders als in dem ersten Ausführungsbeispiel das System das oben beschriebene Bildverarbeitungsverfahren auch ohne Auswahl durch den Benutzer automatisch bestimmen kann.
  • Drittes Ausführungsbeispiel
  • In dem vorliegenden Ausführungsbeispiel ist der Arbeitsablauf ähnlich wie in 2 des ersten Ausführungsbeispiels. Der vorliegende Fall ist ein Beispiel für die Erzeugung von SEM-Bildern, von denen angenommen wird, dass sie auf andere Weise oder zu anderen Zeiten in dem Bildverfahren (S5 bis S7) in 2 gewonnen werden. Die dazu erfolgende Bildverarbeitung wird aufgrund des nachstehenden Ausdrucks 2 durchgeführt. Dieser Ausdruck 2 ist in den Bildverarbeitungsdaten 1102 enthalten. Helligkeit ( oder Kontrast ) f2 ( WD ) × lp × f3 ( G ) × f4 ( V acc )
    Figure DE102019133685A1_0002
    • Helligkeit (oder Kontrast) = Helligkeit (oder ein Kontrast).
    • Ip = Stromgröße einer Elektronenkanone.
    • G = Verstärkungsfaktor eines Detektors.
    • Vacc = eine Beschleunigungsspannung.
    • f2, f3 und f4 = vom SEM abhängende Funktionen.
  • Allgemein bekannt ist, dass der elektrische Strom Ip einer Elektronenkanone 101 zeitlich schwankt und die Eigenschaften von den Spezifikationen des verwendeten SEMs abhängen. In der Beschreibung kann unter der Annahme, dass f2 (WD), f3 (G) und f4 (Vacc) fest (konstant) sind, der Ausdruck folgendermaßen geschrieben werden: Einstellung von Helligkeit ( oder Kontrast ) lp ( t )
    Figure DE102019133685A1_0003
  • 11A zeigt ein Diagramm zur Darstellung der SEM-Betriebszeit t an der horizontalen Achse und des elektrischen Stroms Ip der Elektronenkanone 101 an der vertikalen Achse. Der Ursprung (0) der Zeit ist der Zeitpunkt, zu dem der Schalter des SEMs eingeschaltet wird. Im Ausdruck 3 schwankt, wie oben beschrieben, Ip mit der Zeit. f2, f3 und f4 sind abhängig vom Gerät bekannt. Derartige Eigenschaften können aufgrund der SEM-Betriebsdaten vorher aufgezeichnet werden. WD, G, Vacc lassen sich als Betrachtungsbedingungen erfassen. Wird nun angenommen, dass WD, G, Vacc fest sind, steht der elektrische Strom Ip in Korrelation zur Helligkeit des SEM-Bildes, woraus sich die Relation zwischen der Zeit t und der Helligkeit ableiten lässt.
  • In 11B ist die Betriebszeit t des SEMs an der horizontalen Achse und die Helligkeit des SEM-Bildes an der vertikalen Achse aufgetragen. Als relativer Wert sind die höchste Helligkeit 100 und die geringste Helligkeit Null. Die SEM-Betriebszeit t1, bei der das SEM-Bild erhalten wird, ist bekannt. Daher lässt sich das SEM-Bild, das zu einem Zeitpunkt t2 erhalten wird, der von dem Zeitpunkt t1, zu dem das Originalbild erhalten wird, verschieden ist, durch Verarbeiten des Originalbildes unter Anwendung der Beziehung nach 11 B erzeugen.
  • Es wird beispielsweise angenommen, dass das Originalbild zu Zeitpunkten t1, t2 und t3 gewonnen wird und die Helligkeit, die aus der Beziehung zwischen der Zeit t und der Helligkeit erhalten wird, zu diesen Zeitpunkten 70, 60 bzw. 50 beträgt Der Helligkeits-Einstellbereich zum Erzeugen des verarbeiteten Bildes reicht von 50 bis 70. Aus dem zum Zeitpunkt t1 gewonnenen Originalbild lassen sich durch Bildverarbeitung zu den Zeitpunkten t2 und t3, zu denen die Helligkeit 6/7 bzw. 5/7 beträgt, verarbeitete Bilder erzeugen. Aus dem zum Zeitpunkt t2 gewonnenen Originalbild lassen sich durch Bildverarbeitung zu den Zeitpunkten t1 und t3, zu denen die Helligkeit 7/6 bzw. 5/6 beträgt, verarbeitete Bilder erzeugen. Aus dem zum Zeitpunkt t3 gewonnenen Originalbild lassen sich durch Bildverarbeitung zu den Zeitpunkten t1 und t2, zu denen die Helligkeit 7/5 bzw. 6/5 beträgt, verarbeitete Bilder erzeugen.
  • Wie oben beschrieben, ist es möglich, aus dem Originalbild ein oder mehrere verarbeitete Bilder zu gewinnen. Wie viele Bilder aus dem Originalbild gewonnen werden können, lässt sich in Abhängigkeit davon bestimmen, wie viele Typen von verarbeiteten Bildern in dem Helligkeits-Einstellbereich erzeugt werden. Beispielsweise kann der Benutzer den Einstellbereich, Intervalle in dem Einstellbereich und die Anzahl von zu erzeugenden verarbeiteten Bildern frei registrieren oder ändern.
  • Auf diese Weise kann das erzeugte SEM-Bild als Lehrerdaten in einem Satz mit Markierung des Originalbildes dienen. Dabei ist es auch möglich, die Lehrerdatenbank zusammen mit Lehrerdaten aus dem Originalbild zu erzeugen, oder die Lehrerdatenbank kann auch nur aus dem erzeugten SEM-Bild unter Annahme des Zeitpunktes t2 konfiguriert werden.
  • Zu beachten ist, dass das Bild nur Helligkeit aufweist. Die Arbeitsweise der Bildverarbeitung umfasst jedoch Helligkeits- und Kontrastoperationen. Helligkeit ist die (insgesamt negative oder positive) Verschiebung der Helligkeit. Kontrast ändert die Helligkeitsverteilung. Beispielsweise wird durch Helligkeitsbearbeitung die Helligkeit in dem Bild von 50 bis 80 auf 100 bis 130 geändert. Bei der Kontrastbearbeitung wird die Helligkeit von einem Wert von 50 bis 80 auf 40 bis 100 geändert.
  • Als beispielsweise Variante des Ausdrucks 2 gelte der Ausdruck 2-2. Helligkeit ( oder Kontrast ) f2 ( WD ) × lp × f3 ( G ) × f4 ( V acc ) × f8 ( G digital )
    Figure DE102019133685A1_0004
  • In dem Ausdruck 2-2 wird f8 (Gdigital) zu dem Ausdruck 2 hinzugefügt. Gdigital ist ein digitaler Verstärkungsfaktor oder digitale Helligkeit oder digitaler Kontrast, vorgegeben beispielsweise bei Gewinnung des SEM-Bildes. Das bedeutet, dass Gdigital ein Parameter ist, der bei der Gewinnung des SEM-Bildes geräteseitig durch elektronische Signalverarbeitung geändert werden kann. Das SEM-Bild kann zwar auch ohne Gdigital gewonnen werden, in einem typischen System kann Gdigital jedoch vorgegeben werden.
  • Viertes Ausführungsbeispiel
  • In dem vorliegenden Ausführungsbeispiel ist der Arbeitsablauf ähnlich wie in 2 des ersten Ausführungsbeispiels. Um das Ausmaß der Unschärfe des SEM-Bildes zu reproduzieren, wird ein Glättungsvorgang auf das Bild angewendet. Dafür braucht nur ein Glättungsfilter eigesetzt zu werden. Bei der Bildverarbeitung durch das Glättungsfilter wird für jedes Pixel des SEM-Bildes die gewichtete Summe der Pixelwerte der dieses Pixel umgebenden Pixel berechnet, und die gewichtete Summe stellt den Pixelwert des dementsprechenden Bildes dar.
  • In dem Prozess S5 in 2 besagt der Parameter, der den Inhalt der Bildverarbeitung bestimmt, welcher Bereich für die das betreffende Pixel umgebenden Pixel oder welches Gewichtsmaß benutzt wird.
  • Falls eine Ablagerung ausgewertet wird, muss der Glättungsbetrag in dem Bereich berechnet werden, in dem die Ablagerung zu sehen ist (d.h. eine Ablagerung von dem Analysemodell analysiert werden kann). Der Ausdruck 4 ist ein Beispiel für einen Ausdruck, der den Glättungspegel für die Bildverarbeitung aufgrund von Betrachtungsbedingungen und Informationen über die Probe definiert. Der Ausdruck 4 ist in den Bildverarbeitungsdaten 1102 enthalten. Gl ä ttungspegel f5 ( mittlere Teilchengr ö ß e ) × f6 ( SEM-Vergr ö ß erung ) × f7 ( Bildgr ö ß e )
    Figure DE102019133685A1_0005
    • Glättungspegel = Glättungspegel des SEM-Bildes.
    • Mittlere Teilchengröße = mittlere Größe der Teilchen im SEM-Bild.
    • SEM-Vergrößerung = Vergrößerung des SEMs.
    • Bildgröße = Größe des SEM-Bildes.
    • f5, f6 und f7 = von dem SEM abhängige Funktionen
  • Dabei definiert der Glättungspegel des SEM-Bildes den Bereich von das betreffende Pixel umgebenden Pixeln.
  • Gemäß dem oben jeweils beschriebenen Ausführungsbeispiel wird aus einer geringen Anzahl von Betrachtungsbildern (Originalbildern) ein verarbeitetes Bild erzeugt, so dass sich eine große Menge von Lehrerdaten aufbauen lässt. Somit kann beispielweise die Anzahl von durch das SEM zu gewinnenden SEM-Bildern verringert werden. Damit reduziert sich auch die Anzahl an Mannstunden für das Markieren des SEM-Bildes.
  • In dem Ausführungsbeispiel wird das Originalbild aufgrund der Betrachtungsbedingungen beim Gewinnen des Originalbildes und der Spezifikationen des dazu benutzten Betrachtungsgerätes verarbeitet. Somit lässt sich ein verarbeitetes Bild erzeugen, das dem mit dem Betrachtungsgerät tatsächlich betrachteten Bild äquivalent ist. Daher ist die Entsprechung zwischen der Eingabe x an aus dem verarbeiteten Bild erzeugten Lehrerdaten und der korrekten Ausgabe t für die Eingabe x zutreffend, und es wird auch vermieden, dass sich die Genauigkeit der Identifizierung des unter Verwendung dieser Lehrerdaten trainierten Modells verschlechtert.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2017520864 [0005]

Claims (15)

  1. Informationsverarbeitungssystem zum Erzeugen einer Lehrerdatenbank, die so konfiguriert ist, dass sie ein Analysemodell aus einem Betrachtungsbild und dem Betrachtungsbild entsprechenden Markierinformationen unter Verwendung eines Informationsprozessors trainiert, umfassend eine Speichereinheit, eine Bildverarbeitungseinheit und eine Lehrerdatenbank-Erzeugungseinheit, wobei in der Speichereinheit Bildverarbeitungsdaten, die aus Informationen über eine Relation zwischen einer Betrachtungsbedingung für das Betrachtungsbild und einem auf das Betrachtungsbild bezogenen Parameter gebildet sind, und ein erstes Betrachtungsbild, eine dem ersten Betrachtungsbild entsprechende erste Betrachtungsbedingung und eine dem ersten Betrachtungsbild entsprechende erste Markierinformation gespeichert sind, die Bildverarbeitungseinheit das erste Betrachtungsbild und die erste Betrachtungsbedingung als Eingaben empfängt, an dem ersten Betrachtungsbild eine dem Parameter entsprechende Bildverarbeitung aufgrund der Bildverarbeitungsdaten durchführt und ein zweites Betrachtungsbild entsprechend einer zweiten Betrachtungsbedingung erzeugt, und die Lehrerdatenbank-Erzeugungseinheit aus dem zweiten Betrachtungsbild und der ersten Markierinformation die Lehrerdatenbank erzeugt.
  2. Informationsverarbeitungssystem nach Anspruch 1, wobei das erste Betrachtungsbild ein SEM-Bild ist, die erste Betrachtungsbedingung eine Betriebsbedingung des SEMs ist und mindestens eine der Größen: elektrischer Strom der Elektronenkanone, Beschleunigungsspannung zum Extrahieren von Elektronen aus der Elektronenkanone, Betriebsstrom der Objektivlinse, Arbeitsabstand, Vergrößerung, Bildgröße und Arbeitsverfahren eines Detektors enthält, und die erste Markierinformation eine Information für die Segmentierung des SEM-Bildes ist.
  3. Informationsverarbeitungssystem nach Anspruch 2, wobei die erste Betrachtungsbedingung eine in Abhängigkeit von dem SEM spezifizierte Funktion enthält.
  4. Informationsverarbeitungssystem nach Anspruch 1, wobei der auf das Betrachtungsbild bezogene Parameter ein die Schattierung des Betrachtungsbildes einstellender Parameter ist.
  5. Informationsverarbeitungssystem nach Anspruch 1, wobei der auf das Betrachtungsbild bezogene Parameter ein die Helligkeit des Betrachtungsbildes einstellender Parameter ist.
  6. Informationsverarbeitungssystem nach Anspruch 1, wobei der auf das Betrachtungsbild bezogene Parameter ein einen Glättungspegel des Betrachtungsbildes einstellender Parameter ist.
  7. Informationsverarbeitungssystem nach Anspruch 2, wobei der auf das Betrachtungsbild bezogene Parameter ein die Frequenz der Entstehung von Fehlstellen in dem SEM-Bild einstellender Parameter ist.
  8. Informationsverarbeitungssystem nach Anspruch 2, wobei der auf das Betrachtungsbild bezogene Parameter ein die Frequenz der Entstehung von Kratzern in dem SEM-Bild einstellender Parameter ist.
  9. Informationsverarbeitungssystem nach Anspruch 2, wobei in der Speichereinheit Bildverarbeitungsdaten, die aus Informationen über eine Relation zwischen einer Betrachtungsbedingung für das Betrachtungsbild und Informationen über ein Betrachtungsobjekt des Betrachtungsbildes mit einem auf dieses bezogenen Parameter gebildet sind, und ein erstes Betrachtungsbild, eine dem ersten Betrachtungsbild entsprechende erste Betrachtungsbedingung, eine dem ersten Betrachtungsbild entsprechende erste Markierinformation und Informationen über ein Betrachtungsobjekt des ersten Betrachtungsbildes gespeichert sind, und die Bildverarbeitungseinheit das erste Betrachtungsbild, die erste Betrachtungsbedingung und Informationen über das Betrachtungsobjekt des ersten Betrachtungsbildes als Eingaben empfängt, aufgrund der Bildverarbeitungsdaten an dem ersten Betrachtungsbild eine dem Parameter entsprechende Bildverarbeitung vornimmt und entsprechend einer zweiten Betrachtungsbedingung ein zweites Betrachtungsbild erzeugt.
  10. Informationsverarbeitungssystem nach Anspruch 9, wobei die Information über das Betrachtungsobjekt des Betrachtungsbildes die mittlere Teilchengröße in dem SEM-Bild ist.
  11. Informationsverarbeitungssystem nach Anspruch 1, wobei es für die Bildverarbeitung des ersten Betrachtungsbildes der Bildverarbeitungseinheit wählbar ist, ob das Bild gedreht wird.
  12. Informationsverarbeitungsverfahren zum Erzeugen einer Lehrerdatenbank, die so konfiguriert ist, dass sie ein Analysemodell aus einem Betrachtungsbild und dem Betrachtungsbild entsprechenden Markierinformationen unter Verwendung eines Informationsprozessors trainiert, wobei das Verfahren mit einer Speichereinheit, einer Bildverarbeitungseinheit und einer Lehrerdatenbank-Erzeugungseinheit arbeitet, in der Speichereinheit Bildverarbeitungsdaten, die aus Informationen über eine Relation zwischen einer Betrachtungsbedingung für das Betrachtungsbild und einem auf das Betrachtungsbild bezogenen Parameter gebildet sind, und ein erstes Betrachtungsbild, eine dem ersten Betrachtungsbild entsprechende erste Betrachtungsbedingung und eine dem ersten Betrachtungsbild entsprechende erste Markierinformation gespeichert sind, die Bildverarbeitungseinheit das erste Betrachtungsbild und die erste Betrachtungsbedingung als Eingaben empfängt, an dem ersten Betrachtungsbild eine dem Parameter entsprechende Bildverarbeitung aufgrund der Bildverarbeitungsdaten durchführt und ein zweites Betrachtungsbild entsprechend einer zweiten Betrachtungsbedingung erzeugt, und die Lehrerdatenbank-Erzeugungseinheit aus dem zweiten Betrachtungsbild und der ersten Markierinformation die Lehrerdatenbank erzeugt
  13. Informationsverarbeitungsverfahren nach Anspruch 12, wobei das erste Betrachtungsbild ein SEM-Bild ist, die erste Betrachtungsbedingung eine Betriebsbedingung des SEMs ist und mindestens eine der Größen: elektrischer Strom der Elektronenkanone, Beschleunigungsspannung zum Extrahieren von Elektronen aus der Elektronenkanone, Betriebsstrom der Objektivlinse, Arbeitsabstand, Vergrößerung, Bildgröße und Arbeitsverfahren eines Detektors enthält, und die erste Markierinformation eine Information über die Segmentierung des SEM-Bildes ist.
  14. Informationsverarbeitungsverfahren nach Anspruch 13, wobei der auf das Betrachtungsbild bezogenen Parameter mindestens einer der folgenden Parameter ist: Parameter zur Einstellung der Schattierung des Betrachtungsbildes, Parameter zur Einstellung der Helligkeit des Betrachtungsbildes, Parameter zur Einstellung eines Glättungspegels des Betrachtungsbildes, Parameter zur Einstellung der Frequenz, mit der Fehlstellen in dem SEM-Bild auftreten, Parameter zur Einstellung der Frequenz, mit der Kratzer in dem SEM-Bild auftreten.
  15. Informationsverarbeitungsverfahren nach Anspruch 12, wobei als erstes Betrachtungsbild zwei Typen von Bildern zur Erzeugung von zwei Typen von zweiten Betrachtungsbildern verwendet werden, aus zwei Typen von zweiten Betrachtungsbildern und zwei Typen von Teilen der ersten Markierinformation ein erster und ein zweiter Datensatz erzeugt werden, das Analysemodell mit dem ersten Datensatz trainiert wird, und eine Genauigkeitsmessung des trainierten Analysemodells mit dem zweiten Datensatz durchgeführt wird.
DE102019133685.6A 2019-02-07 2019-12-10 Informationsverarbeitungssystem und -verfahren Withdrawn DE102019133685A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019020432A JP2020129439A (ja) 2019-02-07 2019-02-07 情報処理システムおよび情報処理方法
JP2019-020432 2019-02-07

Publications (1)

Publication Number Publication Date
DE102019133685A1 true DE102019133685A1 (de) 2020-08-13

Family

ID=71738946

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019133685.6A Withdrawn DE102019133685A1 (de) 2019-02-07 2019-12-10 Informationsverarbeitungssystem und -verfahren

Country Status (3)

Country Link
US (1) US11334761B2 (de)
JP (1) JP2020129439A (de)
DE (1) DE102019133685A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095428A (ja) * 2018-12-12 2020-06-18 株式会社東芝 モデル学習システム、モデル学習方法、プログラム、及び記憶媒体
JP2022159822A (ja) * 2021-04-05 2022-10-18 株式会社エビデント 細胞画像解析の設定を支援する装置、システム、及び、方法
JP7442488B2 (ja) 2021-11-02 2024-03-04 日本電子株式会社 相分析装置、試料分析装置、および分析方法
JP7339394B1 (ja) 2022-05-20 2023-09-05 株式会社日立ハイテクフィールディング 情報処理装置、情報処理方法、およびプロブラム
WO2023242954A1 (ja) * 2022-06-14 2023-12-21 株式会社日立ハイテク 荷電粒子線装置および注目画像データを出力する方法
WO2024101099A1 (ja) * 2022-11-09 2024-05-16 株式会社Ihi 複合材料におけるボイドを識別可能な学習モデルを生成する情報処理方法、情報処理装置、及び情報処理プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7274810B2 (en) * 2000-04-11 2007-09-25 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
US8045770B2 (en) * 2003-03-24 2011-10-25 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
US8768070B2 (en) * 2008-06-27 2014-07-01 Nokia Corporation Method, apparatus and computer program product for providing image modification
US8400619B1 (en) * 2008-08-22 2013-03-19 Intelligent Automation, Inc. Systems and methods for automatic target tracking and beam steering
US8452323B2 (en) * 2011-09-22 2013-05-28 Qualcomm Incorporated Method and system for selecting a thermally optimal uplink for a portable computing device
US9014500B2 (en) * 2012-01-08 2015-04-21 Gary Shuster Digital media enhancement system, method, and apparatus
US9230333B2 (en) * 2012-02-22 2016-01-05 Raytheon Company Method and apparatus for image processing
JP6767966B2 (ja) 2014-04-09 2020-10-14 エントルピー インコーポレーテッドEntrupy Inc. 微視的差異からの機械学習を使用する物体の真贋鑑定

Also Published As

Publication number Publication date
US20200257937A1 (en) 2020-08-13
JP2020129439A (ja) 2020-08-27
US11334761B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
DE102019133685A1 (de) Informationsverarbeitungssystem und -verfahren
EP2130174B1 (de) Verfahren und vorrichtung zur ermittlung einer zellkontur einer zelle
DE3505331C2 (de) Verfahren und Gerät zur Vermessung des bei der Eindringhärteprüfung in einer Probe hinterlassenen Eindrucks
DE102021101704A1 (de) Bilderzeugungssystem
DE112016002090T5 (de) Verfahren und system zur defektklassifizierung
EP0523407B1 (de) Verfahren zur Klassifikation von Signalen
WO2020157249A1 (de) Verarbeitung von bilddatensätzen
DE3313789A1 (de) Selbsttaetige mikroskopische untersuchungseinrichtung und verfahren zur ermittlung und wiederfindung von objekten in einem bild
DE10354752A1 (de) Verfahren und Vorrichtung zur automatischen Entzerrung von einkanaligen oder mehrkanaligen Bildern
DE102021100444A1 (de) Mikroskopiesystem und verfahren zum bewerten von bildverarbeitungsergebnissen
DE19633693C1 (de) Verfahren und Vorrichtung zur Erfassung von Targetmustern in einer Textur
DE112019005143T5 (de) System zur co-registrierung medizinischer bilder unter verwendung eines klassifikators
DE2011470A1 (de) Verfahren zum Auswerten eines nach einem Rasterverfahren aufgenommenen Bildes
DE4211904A1 (de) Verfahren und vorrichtung zum erstellen einer artenliste fuer eine fluessige probe
DE3921257A1 (de) Verfahren und vorrichtung zur digitalen analyse von auf stratigraphische daten bezogenen abbildungen
DE102018115046A1 (de) Rasterelektronenmikroskop und Bildverarbeitungsvorrichtung
DE112019004112T5 (de) System und verfahren zur analyse mikroskopischer bilddaten und zur erzeugung eines annotierten datensatzes zum training der klassifikatoren
DE19951146A1 (de) Verfahren zum Reduzieren des Rauschens in einem durch Abbildung erhaltenen Signal
DE102021114287A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen stilisierter Kontrastbilder
DE102020211900A1 (de) Ladungsträgerstrahlvorrichtung
DE102023107476A1 (de) Ultraschall-defekterkennung und klassifikationssystem unter verwendung von maschinellem lernen
DE102022130393A1 (de) Verfahren und vorrichtung zur automatischen detektion von defekten
DE102022121545A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen eines maschinell gelernten Modells zum Verarbeiten von Mikroskopdaten
EP4016081B1 (de) Verfahren und vorrichtung zum detektieren einer präsenz eines fluoreszenzmustertyps auf einem organschnitt mittels immunfluoreszenzmikroskopie
DE102021133868A1 (de) Mikroskopiesystem und Verfahren zum Modifizieren von Mikroskopbildern im Merkmalsraum eines generativen Netzes

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee