DE102014102080A1 - Verfahren zur Bildaufnahme und Bildaufnahmesystem - Google Patents

Verfahren zur Bildaufnahme und Bildaufnahmesystem Download PDF

Info

Publication number
DE102014102080A1
DE102014102080A1 DE102014102080.4A DE102014102080A DE102014102080A1 DE 102014102080 A1 DE102014102080 A1 DE 102014102080A1 DE 102014102080 A DE102014102080 A DE 102014102080A DE 102014102080 A1 DE102014102080 A1 DE 102014102080A1
Authority
DE
Germany
Prior art keywords
image
image acquisition
control device
rule set
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102014102080.4A
Other languages
English (en)
Other versions
DE102014102080B4 (de
Inventor
Michael KIEWEG
Christian Wojek
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss AG
Original Assignee
Carl Zeiss AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss AG filed Critical Carl Zeiss AG
Priority to DE102014102080.4A priority Critical patent/DE102014102080B4/de
Publication of DE102014102080A1 publication Critical patent/DE102014102080A1/de
Application granted granted Critical
Publication of DE102014102080B4 publication Critical patent/DE102014102080B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/545—Control of apparatus or devices for radiation diagnosis involving automatic set-up of acquisition parameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05G—X-RAY TECHNIQUE
    • H05G1/00—X-ray apparatus involving X-ray tubes; Circuits therefor

Abstract

Ein Bildaufnahmesystem (1) umfasst eine Steuereinrichtung (20) zum automatischen Einstellen mehrerer Bildaufnahmeparameter zur Bildaufnahme. Die Steuereinrichtung (20) ist eingerichtet, um die mehreren Bildaufnahmeparameter durch Anwendung eines Regelsatzes (23, 24) einzustellen. Die Steuereinrichtung (20) ist eingerichtet, um den Regelsatz (23, 24) automatisch zu erlernen oder zu adaptieren.

Description

  • Die Erfindung betrifft Verfahren zur Bildaufnahme und Bildaufnahmesysteme. Die Erfindung betrifft insbesondere Verfahren zur Bildaufnahme und Bildaufnahmesysteme, bei denen mehrere Bildaufnahmeparameter des Bildaufnahmesystems automatisch eingestellt werden.
  • Moderne Geräte, beispielsweise in der Medizintechnik, in der Mikroskopie oder bei optischen Überwachungssystemen, weisen eine Quelle für elektromagnetische Strahlung, beispielsweise eine Lichtquelle (z.B. zur Anregung von Fluoreszenz), oder eine Quelle für einen Teilchenstrahl, Elemente zum Beeinflussen des von der Quelle ausgegebenen Strahls und einen Detektor zum Aufnehmen von Bildern auf. Gebräuchliche Detektoren umfassen dabei beispielsweise CCD-Sensoren, CMOS-Sensoren oder einen Röntgendetektor, der als Zeilen- oder Flächendetektor ausgebildet sein kann.
  • Viele Bildaufnahmesysteme, beispielsweise Mikroskope oder medizinische Geräte, weisen eine große Anzahl von einstellbaren Bildaufnahmeparametern und entsprechend viele verschiedene Einstellmöglichkeiten für die Bildaufnahme auf. Eine gute oder sogar optimale Wahl der Werte für die einstellbaren Bildaufnahmeparameter ist von der Probe abhängig und kann darüber hinaus von den aktuellen Umweltbedingungen abhängig sein. Je nach Anwendung kann es sehr zeitaufwändig sein, manuell eine Einstellung zu finden, mit denen Bilder mit ausreichend hoher Güte aufgenommen werden können. Häufig ist für das Auffinden guter Einstellungen auch sehr viel Erfahrung und Expertenwissen notwendig.
  • Bei einigen Bildaufnahmesystemen, beispielsweise bei der Fluoreszenz- oder Elektronenmikroskopie, kann es auch wünschenswert sein, nur wenige Bildaufnahmen zu machen, bis ausreichend gute Einstellungen gefunden wurden, um die Probe nicht bereits vor der eigentlichen Bildaufnahme zu schädigen. Die Einstellungen, die als gut oder sogar ideal empfunden werden, können auch von einem subjektiven Eindruck und individuellen Geschmack eines Benutzers abhängig sein.
  • Das rein benutzerdefinierte, manuelle Einstellen der Werte der Bildaufnahmeparameter des Bildaufnahmesystems ist in vielen Anwendungen immer noch eine gängige Vorgehensweise, beispielsweise in der Elektronenmikroskopie. Hierbei müssen mehrere Bildaufnahmeparameter richtig gesetzt werden, um ein Bild mit einer guten Qualität aufzunehmen. Das manuelle Einstellen kann zeitaufwändig sein. Insbesondere für einen unerfahrenen Benutzer besteht das Risiko, dass dieser nicht in der Lage ist, gute Einstellungen zu finden.
  • Bei einfacheren optischen Systemen, wie beispielsweise Kompaktkameras, gibt es bereits voll automatische Bildaufnahmemöglichkeiten. Bei einer Kompaktkamera muss der Benutzer häufig nur den Aufnahmeknopf drücken. Basierend auf Eigenschaften der abzubildenden Szene können dann Parameter automatisch ausgewählt werden. Wie in der US 5 745 808 A oder der US 5 610 654 A beschrieben, können zur Auswahl der Parameter beispielsweise Kennfelder eingesetzt werden. Wie beispielsweise in der US 7 580 058 B2 beschrieben wird, können Kennfelder auch mit speziellen Messverfahren zum Anpassen der Belichtungszeit kombiniert werden. Die Verwendung der Kennfelder ist deshalb möglich, da es sich um ein relativ einfaches optisches System handelt, bei dem die Zusammenhänge zwischen Einstellungen und Bildeigenschaften leicht modelliert werden können. Allerdings sind derartige Vorgehensweisen nicht praktikabel für komplexere Systeme, wie z.B. einem Elektronenmikroskop, bei denen eine größere Anzahl von Parametern eingestellt werden muss.
  • Zur Automatisierung der Einstellung könnte ein Regelsatz, nach dem das Bildaufnahmesystem Einstellungen automatisch vornimmt, nur durch überwachtes Lernen (beispielsweise mit Hilfe von nicht-parametrischen K-Nächste Nachbar-Methoden oder Regressionsmethoden) erzeugt werden. Dazu müsste ein umfangreicher Lerndatensatz erzeugt werden, der beschreibt, in welcher Situation welche Aktionen gut sind, um den Bildeindruck zu verbessern, und welche Aktionen keine Qualitätssteigerungen erzielen. Dabei muss der Lerndatensatz jedoch manuell erzeugt werden, was zu hohem Aufwand führen kann. Beispielsweise kann ein Experte für möglichst viele Zustände des Bildaufnahmesystems definieren, welche Aktionen in dem entsprechenden Zustand vorteilhaft sind und welche nicht. Dieses Vorgehen ist allerdings wiederum sehr zeitaufwändig. Außerdem kann bei einer großen Anzahl einstellbarer Bildaufnahmeparameter und einer entsprechend hohen Dimension des Parameterraums der Parameterraum beim überwachten Lernen nicht ausreichend durch das Expertenwissen abgedeckt werden. Dies gilt ähnlich, wenn beim überwachten Lernen jeweils eine Bewertung des Benutzers erfolgt. Eine Automatisierung von Einstellungen nur durch überwachtes Lernen ist bei komplexeren Bildaufnahmesystemen nicht praktikabel. Die Gründe hierfür liegen in der Performanz des Bildaufnahmesystems und dem Zeitaufwand für die Bewertung der aufgenommenen Bilder.
  • Bei einigen Bildaufnahmesystemen existieren praktikable und nützliche Routinen, um einzelne Parameter automatisch einzustellen. Ein Beispiel ist der Autofokus. Diese Routinen sind zum einen aber speziell für einen bestimmten Parameter konstruiert. Des Weiteren müssen sie häufig manuell durch einen Benutzer veranlasst werden. Aufgrund der komplexeren Zusammenhänge, die zwischen mehreren Parametern eines Bildaufnahmesystems mit vielen einstellbaren Bildaufnahmeparametern existieren können, sind solche Ansätze nicht allgemein für die automatische Einstellung mehrerer Bildaufnahmeparameter eingerichtet. Jedoch können diese Methoden als Bausteine in den nachfolgend beschriebenen Verfahren nach Ausführungsbeispielen verwendet werden, um die Parameterbestimmung effizienter zu machen, wie noch ausführlicher beschrieben werden wird.
  • Es ist daher eine Aufgabe der Erfindung, Verfahren und Vorrichtungen bereitzustellen, mit denen Einstellungen für Bildaufnahmeparameter eines Bildaufnahmesystems automatisch gefunden werden können, die eine Aufnahme eines Bildes mit guter Güte erlauben. Je nach Anwendung kann es wünschenswert sein, die Einstellungen für die Parameter mit einer geringen Anzahl von Bildaufnahmen und/oder in kurzer Zeit zu finden.
  • Nach Ausführungsbeispielen werden Vorrichtungen und Verfahren bereitgestellt, bei denen ein Regelsatz, der von einer Steuereinrichtung eines Bildaufnahmesystems zur Einstellung von mehreren Bildaufnahmeparametern angewendet wird, von der Steuereinrichtung in einem vorausgehenden Schritt automatisch erlernt oder adaptiert wird. Dadurch kann das Bildaufnahmesystem durch maschinelles Lernen die Regeln, nach denen Einstellungen der Bildaufnahmeparameter vorgenommen werden, selbst erlernen oder adaptieren. Das Erlernen oder Adaptieren des Regelsatzes kann beispielsweise durch Methoden des Bestärkenden Lernens (so genanntes „reinforcement learning“) erfolgen.
  • Dem Erlernen oder Adaptieren des Regelsatzes kann eine Bildgütebewertung zugrunde liegen. Die Bildgütebewertung kann optional auch von Benutzereingaben abhängen, um eine automatische Anpassung des Regelsatzes und somit auch eine automatische Anpassung der von der Steuereinrichtung festgelegten Einstellungen an den Geschmack des Benutzers zu erlauben.
  • Nach einem Ausführungsbeispiel wird ein Verfahren zur Bildaufnahme mit einem Bildaufnahmesystem angegeben. Das Bildaufnahmesystem umfasst eine Steuereinrichtung zum automatischen Einstellen mehrerer Bildaufnahmeparameter zur Bildaufnahme, wobei die Steuereinrichtung die mehreren Bildaufnahmeparameter durch Anwendung eines Regelsatzes einstellt. Das Verfahren umfasst ein automatisches Erlernen oder Adaptieren des Regelsatzes durch die Steuereinrichtung.
  • Bei dem Verfahren werden nicht nur die Bildaufnahmeparameter automatisch eingestellt, sondern der Regelsatz, nach dem die Einstellung der Bildaufnahmeparameter erfolgt, wird automatisch erlernt oder adaptiert. Eine Anpassung des Regelsatzes abhängig von der jeweiligen Probe oder abhängig von Umwelteinflüssen kann automatisch erfolgen. Zusammenhänge zwischen unterschiedlichen Bildaufnahmeparametern können automatisch erlernt werden, auch wenn kein entsprechendes Expertenwissen vorhanden ist. Die Bedienung wird erleichtert.
  • Das automatische Erlernen oder Adaptieren des Regelsatzes durch die Steuereinrichtung kann umfassen: Steuern des Bildaufnahmesystems zur Bildaufnahme eines Bildes, Verändern eines Werts wenigstens eines Bildaufnahmeparameters der mehreren Bildaufnahmeparameter, Steuern des Bildaufnahmesystems zur Bildaufnahme wenigstens eines weiteren Bildes, und Verändern des Regelsatzes abhängig von einer Bildgütebewertung des Bildes und einer Bildgütebewertung des wenigstens einen weiteren Bildes. Dadurch kann die Steuereinrichtung automatisch den Einfluss der Veränderung eines oder mehrerer Bildaufnahmeparameter auf die Bildgüte erlernen.
  • Der Regelsatz kann wenigstens ein Kennfeld oder wenigstens eine Funktion umfassen. Das Verändern des Regelsatzes kann ein Ändern eines Kennfeldeintrages des Kennfelds oder ein Ändern eines Parameters der Funktion des Regelsatzes umfassen.
  • Die Bildgütebewertung des Bildes und die Bildgütebewertung des wenigstens einen weiteren Bildes kann durch die Steuereinrichtung abhängig von einer Benutzereingabe vorgenommen wird. Beispielsweise kann eine Benutzerschnittstelle des Bildaufnahmesystems eine benutzerdefinierte Bewertung erlauben, aus der die Steuereinrichtung bestimmen kann, ob die Bildgüte durch die Veränderung des Werts wenigstens eines Bildaufnahmeparameters positiv oder negativ beeinflusst wird. Somit kann beim maschinellen Lernen des Regelsatzes der individuelle Geschmack eines Benutzers berücksichtigt werden. Alternativ oder zusätzlich kann die Steuereinrichtung ein automatisch berechnetes Bildgütemaß zur Bildgütebewertung verwenden, das die Steuereinrichtung abhängig von Benutzereingaben erzeugt.
  • Die Bildgütebewertung des Bildes und die Bildgütebewertung des wenigstens einen weiteren Bildes kann durch die Steuereinrichtung unabhängig von einer Benutzereingabe automatisch vorgenommen werden. Dadurch kann nach einem rein objektiven Maßstab, beispielsweise einem referenzfreien Bildgütemaß, bewertet werden, ob die Bildgüte durch die Veränderung des Werts wenigstens eines Bildaufnahmeparameters positiv oder negativ beeinflusst wird. Verschiedene Bildgütemaße können zur Bildgütebewertung allein oder in Kombination verwendet werden, wie Rauschen, Helligkeit, Kontrast, Tiefenschärfe und/oder räumliche oder spektrale Auflösung.
  • Der Regelsatz kann einem Zustand, der von jeweils eingestellten Werten der Bildaufnahmeparameter abhängt, eine von der Steuereinrichtung vorzunehmende Aktion zum automatischen Einstellen der mehreren Bildaufnahmeparameter zuweisen. Dadurch kann abhängig von dem Zustand des Bildaufnahmesystems automatisch eine Aktion bestimmt werden, mit der ein gutes Bild erzielbar ist, nachdem der Regelsatz automatisch erlernt oder adaptiert wurde.
  • Der Zustand, der von der Steuereinrichtung zur Bestimmung der Aktion gemäß dem Regelsatz ausgewertet wird, kann sowohl von den jeweils eingestellten Werten der Bildaufnahmeparameter als auch von einer Bildeigenschaft eines Bildes, das mit den jeweils eingestellten Werten der Bildaufnahmeparameter aufgenommen wird, abhängen. Dadurch kann abhängig von dem Zustand des Bildaufnahmesystems und abhängig von Eigenschaften der Probe automatisch eine Aktion bestimmt werden, mit der ein gutes Bild erzielbar ist, nachdem der Regelsatz für die entsprechende Probe automatisch erlernt oder adaptiert wurde.
  • Der Zustand, der von der Steuereinrichtung zur Bestimmung der Aktion gemäß dem Regelsatz ausgewertet wird, kann sowohl von den jeweils eingestellten Werten der Bildaufnahmeparameter als auch von einer Bildeigenschaft eines Bildes als auch von wenigstens einem Umweltparameter abhängen.
  • Der Regelsatz kann so ausgestaltet sein, dass er in einem mehrdimensionalen Parameterraum einem Punkt des Parameterraums jeweils eine Aktion zuweist. Das Erlernen oder Adaptieren des Regelsatzes kann entsprechend das Bestimmen einer auf dem mehrdimensionalen Parameterraum wirkenden Funktion umfassen, mit der für jeden von mehreren Punkten des Parameterraums jeweils eine Aktion bestimmbar ist, mit der die Bildgüte verbessert wird.
  • Die Steuereinrichtung kann eingerichtet sein, um den Regelsatz durch maschinelles Lernen zu erlernen oder zu adaptieren. Verschiedene in der Technik bekannte Agenten zum maschinellen Lernen können von der Steuereinrichtung ausgeführt werden.
  • Die Steuereinrichtung kann eingerichtet sein, um den Regelsatz durch eine Methode des Bestärkenden Lernens, die in der Technik auch als so genanntes „Reinforcement Learning“ bezeichnet wird, zu erlernen oder zu adaptieren.
  • Eine Belohnungsfunktion der Methode des Bestärkenden Lernens kann von einer Bildgütebewertung abhängen. Eine Zustands-Wert-Funktion und/oder eine Aktions-Wert-Funktion der Methode des Bestärkenden Lernens können von einem Bildgütebewertungsmaß abhängen.
  • Nach dem Erlernen oder Adaptieren des Regelsatzes kann die Steuereinrichtung das Bildaufnahmesystem zum Ausführen wenigstens einer weiteren Bildaufnahme steuern, wobei die Steuereinrichtung die mehreren Bildaufnahmeparameter abhängig von dem erlernten oder adaptierten Regelsatz einstellt.
  • Es kann ein Probentyp erfasst werden, für den der Regelsatz durch die Steuereinrichtung erlernt oder adaptiert wird. Der Regelsatz kann mit einer Zuordnung zu dem bestimmten Probentyp gespeichert und/oder über eine Schnittstelle des Bildaufnahmesystems ausgegeben werden. Der gespeicherte Regelsatz kann erneut adaptiert werden, wenn eine Probe mit demselben Probentyp in das Bildaufnahmesystem eingelegt oder anderweitig durch das Bildaufnahmesystem abgebildet werden soll. Auf diese Weise kann zeitsequentiell über mehrere Proben das Expertenwissen des Bildaufnahmesystems automatisch erweitert werden. Eine Nutzung des einmal erworbenen Expertenwissens ist nicht auf die jeweilige Probe beschränkt.
  • Der Regelsatz mit der Zuordnung zu dem bestimmten Probentyp kann über eine Schnittstelle des Bildaufnahmesystems an wenigstens ein weiteres Bildaufnahmesystem ausgegeben werden. Das weitere Bildaufnahmesystem kann zu dem Bildaufnahmesystem baugleich sein. Auf diese Weise können mehrere baugleiche Bildaufnahmesysteme automatisch den Regelsatz erlernen oder adaptieren und so das Expertenwissen für die richtige Einstellung automatisch gemeinsam aufbauen.
  • Die Steuereinrichtung kann das Bildaufnahmesystem so steuern, dass zum Erlernen oder Adaptieren des Regelsatzes Bildaufnahmen an unterschiedlichen räumlichen Abschnitten einer Probe ausgeführt werden. Die vielfältige Anwendbarkeit des erlernten Regelsatzes kann so erreicht werden. Außerdem kann der erlernte Regelsatz dazu genutzt werden einem Benutzer Hinweise zu geben durch welche Abfolge von Steuerbefehlen die Bildqualität verbessert werden kann.
  • Die Steuereinrichtung kann das Verhalten des Benutzers bei einer manuellen Einstellung von Bildaufnahmeparametern überwachen, um so automatisch ein Bildgütemaß zu ermitteln, das zum maschinellen Lernen des Regelsatzes verwendet wird.
  • Das Bildaufnahmesystem kann eine Benutzerschnittstelle umfassen, über die der Benutzer das Erlernen oder Adaptieren des Regelsatzes auslösen kann.
  • Das Bildaufnahmesystem kann eingerichtet sein, um basierend auf dem Regelsatz dem Benutzer automatisch Hinweise zu geben, durch welche Einstellung eines oder mehrerer Bildaufnahmeparameter die Bildgüte verbessert werden kann. Der Hinweis oder die Hinweise können über eine optische und/oder akustische Ausgabeschnittstelle ausgegeben werden. Das Bildaufnahmesystem kann einen Grafikprozessor zum Erzeugen einer Grafik umfassen, die von dem Bildaufnahmesystem abhängig von dem Regelsatz erzeugt wird und die dem Benutzer einen Hinweis darauf gibt, durch welche Einstellung eines oder mehrerer Bildaufnahmeparameter die Bildgüte verbessert werden kann. Alternativ oder zusätzlich kann das Bildaufnahmesystem eine Audio-Ausgabeeinheit zum Erzeugen eines Audiosignals umfassen, das von dem Bildaufnahmesystem abhängig von dem Regelsatz erzeugt wird und das dem Benutzer einen Hinweis darauf gibt, durch welche Einstellung eines oder mehrerer Bildaufnahmeparameter die Bildgüte verbessert werden kann. Das Audiosignal kann von dem Bildaufnahmesystem erzeugte Sprachanweisungen umfassen.
  • Das Bildaufnahmesystem kann eingerichtet sein, um den Hinweis sowohl basierend auf den aktuellen Werten der Bildaufnahmeparameter als auch basierend auf dem erlernten Regelsatz zu erzeugen. Auf diese Weise kann der Benutzer dadurch, dass das Bildaufnahmesystem gute Einstellungen vormacht, eine korrekte Bedienung erlernen.
  • Nach einem weiteren Ausführungsbeispiel wird ein Bildaufnahmesystem mit einer Steuereinrichtung angegeben. Die Steuereinrichtung ist eingerichtet, um zum automatischen Einstellen mehrerer Bildaufnahmeparameter des Bildaufnahmesystems für eine Bildaufnahme einen Regelsatz anzuwenden. Die Steuereinrichtung ist eingerichtet, um den Regelsatz automatisch zu erlernen oder zu adaptieren.
  • Das Bildaufnahmesystem kann zur Durchführung des Verfahrens nach einem Ausführungsbeispiel eingerichtet sein. Dabei kann die Steuereinrichtung eingerichtet sein, um die Verfahrensschritte zum Erlernen oder Adaptieren des Regelsatzes und zum Einstellen der Bildaufnahmeparameter gemäß dem Regelsatz auszuführen.
  • Das Bildaufnahmesystem kann ein Mikroskop sein. Das Bildaufnahmesystem kann ein optisches Mikroskop sein. Das Bildaufnahmesystem kann insbesondere ein Fluoreszenzmikroskop, ein Lichtmikroskop oder ein Operationsmikroskop sein.
  • Das Bildaufnahmesystem kann ein Elektronenmikroskop sein.
  • Das Bildaufnahmesystem kann ein Computertomograph sein.
  • Das Bildaufnahmesystem kann ein optischer Kohärenztomograph sein.
  • Die Steuereinrichtung kann einen Prozessor oder mehrere Prozessoren umfassen. Die Steuereinrichtung kann eine andere integrierte Halbleiterschaltung umfassen, die durch Software, Firmware oder Hardware so eingerichtet ist, dass die Steuereinrichtung automatisch den Regelsatz erlernt oder adaptiert und zur Bestimmung von Bildaufnahmeparametern anwendet.
  • Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügte Zeichnung näher erläutert.
  • 1 ist eine schematische Darstellung eines Bildaufnahmesystems nach einem Ausführungsbeispiel.
  • 2 ist eine Darstellung zur Erläuterung der Arbeitsweise der Steuereinrichtung bei einer Einstellung der Bildaufnahmeparameter des Bildaufnahmesystems von 1.
  • 3 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel.
  • 4 ist eine Darstellung zur Erläuterung der Arbeitsweise der Steuereinrichtung bei einem Erlernen oder Adaptieren eines Regelsatzes zum Einstellen der Bildaufnahmeparameter des Bildaufnahmesystems von 1.
  • 5 veranschaulicht ein automatisches Ansammeln und Anwenden von Wissen durch die Steuereinrichtung in einem mehrdimensionalen Raum von Bildaufnahmeparametern.
  • 6 ist eine Darstellung zur Erläuterung der Arbeitsweise der Steuereinrichtung bei einer Einstellung der Bildaufnahmeparameter des Bildaufnahmesystems von 1.
  • 7 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel.
  • 8 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel.
  • 9 ist eine schematische Darstellung eines Systems, das mehrere miteinander verbundene Bildaufnahmesysteme nach einem Ausführungsbeispiel umfasst.
  • 10 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel.
  • Im Folgenden werden verschiedene Ausführungsbeispiele der vorliegenden Erfindung detailliert beschrieben. Die Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht als einschränkend auszulegen. So impliziert eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Merkmalen nicht, dass alle diese Merkmale zur Ausführung der Erfindung notwendig sind. Vielmehr können andere Ausführungsbeispiele weniger Merkmale und/oder alternative Merkmale aufweisen. Zudem oder alternativ können auch zusätzliche Merkmale vorgesehen sein. Des Weiteren können Merkmale verschiedener Ausführungsbeispiele miteinander kombiniert werden, sofern nichts anderes angegeben ist.
  • Während einige Ausführungsbeispiele im Kontext spezifischer Bildaufnahmesysteme, beispielsweise im Kontext von Mikroskopen oder Computertomographen beschrieben werden, sind die Ausführungsbeispiele nicht auf diese Bildaufnahmesysteme beschränkt. Verfahren und Vorrichtungen nach Ausführungsbeispielen können bei einer Vielzahl von Bildaufnahmesystemen eingesetzt werden, bei denen eine Mehrzahl von Bildaufnahmeparametern einstellbar ist.
  • Im Folgenden diskutierte Ausführungsbeispiele beziehen sich auf die automatische Einstellung von Bildaufnahmeparametern eines Bildaufnahmesystems sowie das automatische Erlernen oder Adaptieren eines Regelsatzes, mit dem das Bildaufnahmesystem die automatische Einstellung der Bildaufnahmeparameter vornimmt. Die Bildaufnahmeparameter können abhängig von dem jeweils verwendeten Bildaufnahmesystem unterschiedliche Größen sein. Beispielsweise kann wenigstens einer der Bildaufnahmeparameter eine zeitliches Intervall und/oder ein spektrales Intervall definieren, in dem eine Strahlungs- oder Teilchenquelle Strahlung oder Teilchen abgibt. Dies kann beispielsweise für Fluoreszenzmikroskope oder Computertomographen sinnvoll sein. Alternativ oder zusätzlich kann wenigstens einer der Bildaufnahmeparameter eine Verstärkung und/oder eine Integrationszeit eines Detektors definieren. Der Detektor kann ein CMOS-Detektor, ein CCD-Detektor oder ein Röntgendetektor sein. Alternativ oder zusätzlich kann wenigstens einer der Bildaufnahmeparameter eine Fokusposition oder eine Lage eines fokussierenden optischen Elements definieren. Alternativ oder zusätzlich kann wenigstens einer der Bildaufnahmeparameter eine Apertur des Bildaufnahmesystems definieren. Alternativ oder zusätzlich kann wenigstens einer der Bildaufnahmeparameter eine Abtastgeschwindigkeit definieren, mit der eine Probe räumlich oder spektral abgetastet wird. Alternativ oder zusätzlich kann wenigstens einer der Bildaufnahmeparameter eine Beschleunigungsspannung eines Elektronenmikroskops definieren. Alternativ oder zusätzlich kann wenigstens einer der Bildaufnahmeparameter eine verwendete Mittelungsmethode oder Parameter einer derartigen Mittelungsmethode definieren. Alternativ oder zusätzlich kann wenigstens einer der Bildaufnahmeparameter eine Vorspannung definieren, die an einem Detektor angelegt wird. Zahlreiche weitere Bildaufnahmeparameter, die bei herkömmlichen Bildaufnahmesystemen manuell eingestellt werden müssen, können für eine automatische Einstellung bei Bildaufnahmesystemen nach Ausführungsbeispielen herangezogen werden.
  • Wie nachfolgend ausführlicher beschrieben wird, ist die Steuereinrichtung des Bildaufnahmesystems nach einem Ausführungsbeispiel so eingerichtet, dass sie einen Regelsatz, der zur Einstellung mehrerer Bildaufnahmeparameter verwendet wird, automatisch adaptiert oder automatisch erlernt. Nicht nur die Einstellung der Bildaufnahmeparameter, sondern auch die Ermittlung des Regelsatzes, mit dem die Bildaufnahmeparameter eingestellt werden, kann automatisch erfolgen. Dazu können verschiedene Methoden des maschinellen Lernens eingesetzt werden. Beispielsweise kann eine Methode des Bestärkendes Lernens verwendet werden. Die Methode des Bestärkenden Lernens kann eine modellfreie Methode des Bestärkenden Lernens sein. Die von der Steuereinrichtung angewandte Methode des Bestärkenden Lernens kann unabhängig von Annahmen über das jeweilige Bildaufnahmesystem sein. Die Methode des Bestärkenden Lernens kann ein Q-Lernen oder TD-Lernen sein.
  • 1 zeigt ein Bildaufnahmesystem 1 zur Bildaufnahme. Zur Bildaufnahme kann eine Probe 2 in oder in Nähe des Bildaufnahmesystems 1 positioniert werden. Das Bildaufnahmesystem 1 umfasst eine Bildaufnahmeeinrichtung 10. Die Bildaufnahmeeinrichtung 10 kann beispielsweise eine Quelle 11 für einen Strahl 19 elektromagnetischer Strahlung oder für einen Strahl 19 von Teilchen umfassen. Die Bildaufnahmeeinrichtung 10 kann einen Sensor 14 zum Erfassen der elektromagnetischen Strahlung oder der Teilchen umfassen, nachdem die elektromagnetische Strahlung oder die Teilchen mit der Probe 2 in Wechselwirkung treten konnten. Die Bildaufnahmeeinrichtung 10 kann eine Einrichtung oder mehrere Einrichtungen 12, 13 zum Manipulieren des Strahls 19 umfassen. Die Einrichtungen 12, 13 können beispielsweise eine ein oder mehrere Linsen und/oder andere optische Elemente umfassende Optik sein.
  • Die Quelle 11 und der Detektor 14 des Bildaufnahmesystems 1 können unterschiedliche Ausgestaltungen aufweisen. Die Quelle 11 kann eine Lichtquelle sein, und der Detektor 14 kann ein optischer Detektor, beispielsweise ein CMOS- oder CCD-Detektor sein. Die Quelle 11 kann eine Röntgenquelle sein, und der Detektor 14 kann ein Röntgendetektor, beispielsweise ein Röntgenzeilendetektor oder ein Röntgenflächendetektor sein. Die Quelle 11 kann eine Elektronenquelle sein, und der Detektor 14 kann ein Elektronendetektor sein.
  • Die Bildaufnahmeeinrichtung 10 kann weitere Elemente umfassen. Beispielsweise kann die Bildaufnahmeeinrichtung 10 einen Träger 15 für die Probe 2 umfassen. Die Bildaufnahmeeinrichtung 10 kann Inkubationsmodule umfassen. Die Bildaufnahmeeinrichtung 10 kann einen Motor oder anderen Aktor zum Verstellen des Trägers 15, der Quelle 11 und/oder des Detektors 14 umfassen. Beispielsweise kann bei einem Computertomographen ein Motor zum Verstellen der Quelle 11 und des Detektors 14 vorgesehen sein. Die Bildaufnahmeeinrichtung 10 kann wenigstens einen Sensor zum Erfassen wenigstens eines Umgebungsparameters aufweisen, mit dem ein oder mehrere Umgebungsparameter in der Umgebung der Probe 2 erfasst werden.
  • Das Bildaufnahmesystem 1 kann eine Steuereinrichtung 20 umfassen, die auf die Quelle 11 und/oder den Detektor 14 und/oder weitere steuerbare Elemente 12, 13 der Bildaufnahmeeinrichtung 10 einwirkt, um Bildaufnahmeparameter einzustellen. Die Steuereinrichtung 20 kann als Computer ausgestaltet sein. Die Steuereinrichtung 20 kann baulich in ein Gehäuse der Bildaufnahmeeinrichtung 10 integriert sein oder kann als von der Bildaufnahmeeinrichtung 10 separate Einheit ausgestaltet sein.
  • Die Steuereinrichtung 20 ist eingerichtet, um mehrere Bildaufnahmeparameter des Bildaufnahmesystems 1 automatisch einzustellen. Die Steuereinrichtung 20 ist so eingerichtet, dass sie zur Einstellung der mehreren Bildaufnahmeparameter einen Regelsatz anwendet. Der Regelsatz kann für einen Zustand des Bildaufnahmesystems 1 jeweils eine Aktion festlegen, die zur Einstellung der Bildaufnahmeparameter vorzunehmen ist. Der Regelsatz kann eine Abbildung von einem mehrdimensionalen Raum von Zuständen des Bildaufnahmesystem in einen ebenfalls mehrdimensionalen Raum von Aktionen definieren, wobei die Aktionen unterschiedliche Bildaufnahmeparameter betreffen. Die Zustände, die als Eingangsgröße für die Bestimmung der anzuwendenden Aktion verwendet werden, können nicht nur von den aktuellen Werten der Bildaufnahmeparameter abhängen, sondern können auch von einem Typ der Probe 2 und/oder von wenigstens einer Eigenschaft des zuletzt aufgenommenen Bildes und/oder von Umgebungsparametern abhängen.
  • Unterschiedliche Regelsätze 23, 24 können für unterschiedliche Probentypen der Probe 2 von der Steuereinrichtung 20 verwendet werden. Beispielsweise kann ein erster Regesatz 23 einem ersten Probentyp, z.B. einem bestimmten histologischen Schnitt einer biologischen Probe, zugeordnet sein. Ein zweiter Regelsatz 24 kann einem davon verschiedenen zweiten Probentyp, z.B. einem anderen histologischen Schnitt einer biologischen Probe oder biologischen Objekten in Lösung oder nicht-biologischen Proben, zugeordnet sein. Weitere Regelsätze können definiert werden.
  • Wie noch ausführlicher beschrieben werden wird, ist die Steuereinrichtung 20 so eingerichtet, dass die Steuereinrichtung 20 den Regelsatz 23, 24 automatisch adaptiert oder erlernt. Dazu kann eine integrierte Halbleiterschaltung 21 der Steuereinrichtung 20, die einen Prozessor, mehrere Prozessoren, einen Mikrocontroller, mehrere Mikrocontroller, eine oder mehrere anwendungsspezifische Spezialschaltungen oder andere Komponenten aufweisen kann, durch maschinelles Lernen den wenigstens einen Regelsatz 23, 24 erlernen oder adaptieren. Der erlernte oder adaptierte Regelsatz kann in einem Speicher 22 der Steuereinrichtung 20 nichtflüchtig gespeichert werden. Die Steuereinrichtung 20 kann den Regelsatz verwenden, um die Einstellung der Bildaufnahmeparameter festzulegen.
  • Ein von der Steuereinrichtung 20 automatisch erlernter oder adaptierter Regelsatz 23, 24 kann weiter adaptiert werden, wenn eine Bildaufnahme an einer weiteren Probe vom gleichen Probentyp wie die Probe 2 oder an einem anderen Probentyp ausgeführt werden soll. Auf diese Weise kann die Steuereinrichtung 20 den Regelsatz an die jeweilige Probe und/oder die jeweiligen Umweltbedingungen anpassen und automatisch Expertenwissen sammeln.
  • Die Adaption oder das Erlernen des Regelsatzes kann abhängig von einer Bildgütebewertung aufgenommener Bilder erfolgen. Die Bildgütebewertung kann wenigstens teilweise auf einem Bildgütemaß beruhen, das von der Steuereinrichtung 20 automatisch und ohne Benutzereingabe berechnet wird. Derartige Bildgütemaße, die beispielsweise eine Schärfte, eine Helligkeit, einen Kontrast oder andere Kenngrößen eines Bildes definieren, sind in der Technik bekannt und können automatisch berechnet werden. Das Bildgütemaß kann ein referenzfreies Bildgütemaß sein. Die Bildgütebewertung kann wenigstens teilweise auf einer Benutzereingabe beruhen, die über eine Schnittstelle 25 an die Steuereinrichtung 20 bereitgestellt wird. Die Bildgütebewertung kann objektive Kriterien, die nur durch rechnerische Verarbeitung eines Bildes bestimmt werden, und subjektive Kriterien, die von einer Benutzereingabe abhängen, kombinieren, beispielsweise durch Bildung eines gewichteten Mittelwerts eines Bildgütemaßes und einer benutzerdefinierten Gütebewertung. Die Steuereinrichtung 20 kann so die Adaption oder das Erlernen der Regelsätze, die später zur Einstellung der Bildaufnahmeparameter verwendet werden, abhängig von den Vorlieben eines Benutzers vornehmen.
  • 2 veranschaulicht die Arbeitsweise der Steuereinrichtung 20 eines Bildaufnahmesystems 1 nach einem Ausführungsbeispiel. Dabei wendet die Steuereinrichtung 20 einen Regelsatz zum Einstellen von Bildaufnahmeparametern an, den sie vorher durch maschinelles Lernen erlernt hat. Der Regelsatz definiert jeweils eine von der Steuereinrichtung 20 vorzunehmende Aktion, die in der Veränderung des Wertes wenigstens eines der Bildaufnahmeparameter und optional in der Veränderung der Werte mehrerer Bildaufnahmeparameter bestehen kann. Wenigstens eine Aktion kann einen automatischen Einstellvorgang zum Optimieren genau eines der Bildaufnahmeparameter im Hinblick auf eine hohe Bildgüte umfassen. Beispiele für derartige Aktionen sind die Auslösung einer Autofokusfunktion.
  • Die Steuereinrichtung 20 steuert das Bildaufnahmesystem 1 zur Aufnahme eines Bildes 31. Die Werte der Bildaufnahmeparameter können dabei auf einen Ausgangswert eingestellt sein. Wenigstens einige der Bildaufnahmeparameter können auch benutzerdefiniert eingestellt sein, bevor die Steuereinrichtung 20 mit der automatischen Einstellung beginnt. Die Steuereinrichtung 20 kann automatisch ein oder mehrere Bildgütemaße berechnen, beispielsweise einen Kontrast, eine Schärfe, einen Rauschanteil, eine örtliche oder spektrale Auflösung oder ein anderes Bildgütemaß des Bildes. Die Steuereinrichtung 20 kann auch eine Bildgütebewertung durch eine Benutzereingabe über die Schnittstelle 25 vornehmen lassen und kann dazu das Bild 31 über die Schnittstelle 25 oder eine separate Anzeigeeinrichtung ausgeben.
  • Abhängig von der Bildgütebewertung des Bildes 31 und den bei der Aufnahme des Bildes 31 eingestellten Werten der Bildaufnahmeparameter bestimmt die Steuereinrichtung 20 automatisch eine Aktion 32. Die Aktion 32 wird von der Steuereinrichtung 20 gemäß dem Regelsatz automatisch bestimmt. Der Regelsatz ist so eingerichtet, dass er die bei der Aufnahme des Bildes 31 eingestellten Werten der Bildaufnahmeparameter und typischerweise auch die Bildgütemaße für das Bild 31 als Eingangsgrößen verwendet und abhängig davon die Aktion 32 als Ausgangsgröße bereitstellt. Die Aktion 32 kann die Veränderung einer oder mehrerer Wert der Bildaufnahmeparameter beinhalten. Falls beispielsweise die Helligkeit des Bildes 31 kleiner als ein Helligkeitsschwellenwert ist und die Verstärkung des Detektors 14 einen kleinen Wert aufweist, kann die Aktion 32 eine Erhöhung der Verstärkung des Detektors 14 sein. Falls die Helligkeit des Bildes 31 kleiner als der Helligkeitsschwellenwert ist und eine Ausgangsleistung der Quelle 11 klein ist, kann die Aktion 32 eine Erhöhung der Leistung der Quelle 11 sein. Falls die Helligkeit des Bildes 31 kleiner als der Helligkeitsschwellenwert ist und eine Integrationszeit des Detektors 14 klein ist, kann die Aktion 32 eine Erhöhung der Integrationszeit des Detektors 14 sein. Auch bei identischem Bild 31 können durch den Regelsatz abhängig davon, welche Werte der Bildaufnahmeparameter eingestellt sind, unterschiedliche Aktionen definiert werden.
  • Mit den gemäß der Aktion 32 geänderten Werten für die Bildaufnahmeparameter kann die Steuereinrichtung 20 das Bildaufnahmesystem 1 zur Aufnahme eines weiteren Bildes 33 veranlassen. Die zuvor beschriebene Vorgehensweise kann wiederholt werden, um schrittweise die Werte der Bildaufnahmeparameter so zu verändern, dass eine Bildaufnahme mit hoher Bildgüte erreicht wird. Die Steuereinrichtung 20 kann dazu jeweils eine Aktion 34, 36 unter Verwendung des Regelsatzes bestimmen. Beispielsweise kann die Aktion 34 eine Einstellung der Bildaufnahmeparameter zur Anpassung des Kontrasts sein. Die Aktion 36 kann eine Einstellung der Bildaufnahmeparameter zur Anpassung des Fokus sein. Die Aktionen 34, 36 können jeweils abhängig von Eigenschaften des zuvor aufgenommenen Bildes 33, 35 und der dabei jeweils eingestellten Werte der Bildaufnahmeparameter durch den Regelsatz festgelegt werden. Der Regelsatz kann eine Folge von Aktionen festlegen, die von der Steuereinrichtung 20 jeweils abhängig von den Werten der Bildaufnahmeparameter und dem aktuellen Bild ausgeführt werden.
  • Der Regelsatz kann als eine Funktion oder ein Agent, der von der Steuereinrichtung 20 ausgeführt wird, implementiert sein. Der Regelsatz definiert eine Abbildung zwischen jeweils einem Zustand zj und einer durchzuführenden Aktion: R: zj → aj, (1) wobei zj einen Zustand und aj die zur Verbesserung der Bildgüte auszuführende Aktion bezeichnet, die mit dem Regelsatz R ermittelt wird. Der Zustand zj kann ein N-Tupel sein, in dem mehrere Werte der Bildaufnahmeparameter enthalten sind: zj = (pj,1, pj,2, pj,3, ..., pj,K, ...), (2) wobei pj,i die jeweiligen Bildaufnahmeparameter bei der j-ten Bildaufnahme bezeichnen und K die Anzahl der Bildaufnahmeparameter bezeichnet. Der Zustand zj kann zusätzlich noch Eigenschaften des mit den Bildaufnahmeparametern aufgenommenen Bildes beinhalten: zj = (pj,1, pj,2, pj,3, ..., pj,K, cj,1, cj,, ..., cj,N-K), (3) wobei cj,i Größen sind, die von Eigenschaften des zuletzt aufgenommenen Bildes abhängen. Beispielsweise können die Werte cj,i eine Helligkeitskenngröße, eine Kontrastkenngröße, eine Schärfenkenngröße oder andere Eigenschaften des Bildes umfassen.
  • Ein Zustand kann somit die aktuellen Werte der Bildaufnahmeparameter und das aktuelle Bild mit den zugehörigen Bildeigenschaften umfassen. Der Zustand kann optional auch Umgebungsparameter umfassen, beispielsweise eine Temperatur, Luftfeuchtigkeit, Umgebungshelligkeit oder andere Umgebungsparameter, die von dem Bildaufnahmesystem mit einem Sensor oder mit mehreren Sensoren erfasst werden.
  • Der Regelsatz, der von der Steuereinrichtung 20 angewandt wird, wirkt somit auf einem mehrdimensionalen Parameterraum. Der Regelsatz weist einem Punkt in dem mehrdimensionalen Parameterraum jeweils mindestens eine Aktion zu.
  • Eine Aktion ist der von der Steuereinheit 20 ausgeführte oder anderweitig kontrollierte Vorgang, mit dem ein Wert wenigstens eines Bildaufnahmeparameters angepasst wird. Die Steuereinheit verwendet durch maschinelles Lernen erworbenes Expertenwissen, um zu wissen, welcher Bildaufnahmeparameter oder welche Bildaufnahmeparameter als nächsten eingestellt und im Idealfall optimiert werden sollte. Eine Aktion kann auch die Ausführung einer vordefinierten Automatisierungsprozedur beinhalten, wie sie beispielsweise für die Einstellung eines Autofokus existiert.
  • Die Aktion aj kann definieren, welcher Bildaufnahmeparameter oder welche Bildaufnahmeparameter als nächstes eingestellt werden solle. Die Aktion aj kann beispielsweise der Aufruf von einer von mehreren vordefinierten und in dem Bildaufnahmesystem gespeicherten Optimierungsprozeduren sein.
  • Die Aktion aj kann Änderungen an unterschiedlichen Bildaufnahmeparametern bewirken oder definieren. Beispielsweise kann die Aktion aj Inkremente oder Dekremente eines oder mehrerer Werte der Bildaufnahmeparameter definieren. Die Aktion aj kann die Werte der Bildaufnahmeparameter festlegen, die für die nächste Bildaufnahme verwendet werden sollen: aj = (pj+1,1, pj+1,2, pj+1,3, ..., pj+1,K). (4)
  • Der Regelsatz R wird von der Steuereinrichtung 20 so erlernt oder so adaptiert, dass jedenfalls durch Ausführen mehrerer Aktionen, die jeweils anhand desselben Regelsatzes bestimmt werden, eine Verbesserung einer Bildgütebewertung erreicht wird.
  • Zum Erlernen oder Adaptieren des Regelsatzes kann die Steuereinrichtung 20 den Parameterraum der Bildaufnahmeparameter für die jeweilige Probe teilweise austesten und den jeweiligen Einfluss auf die Bildgütebewertung erfassen. Beispielsweise kann die Änderung der Bildgütebewertung zwischen zwei Bildern bestimmt werden, die vor und nach einer Änderung eines Wertes eines Bildaufnahmeparameters aufgenommen wurden. Durch Einsatz von Methoden des maschinellen Lernens, beispielsweise durch eine Methode des Bestärkenden Lernens, kann der Regelsatz erlernt oder adaptiert werden, ohne dass der gesamte Parameterraum ausgetestet werden muss. Die Methoden des Bestärkenden Lernens können auch in Kombination mit Methoden des Lernens durch Vormachen, die auch als „Coaching“-Methoden bezeichnet werden, verwendet werden. Hierdurch kann vorhandenes Expertenwissen zum Beispiel als Startwert in den Regelsatz einfließen.
  • Bei Methoden des Bestärkenden Lernens versucht die Steuereinrichtung 20 selbstständig durch Probieren die richtigen Aktionen zu lernen. Die Steuereinrichtung 20 versucht zu lernen, bei welchen Zuständen welche Aktionen angewendet werden sollen. Um zu entscheiden, welche Aktionen zu Verbesserungen führen und welche nicht, wird eine sogenannte Belohnungsfunktion, die auch als „Reward Function“ bezeichnet wird, verwendet.
  • Diese Belohnungsfunktion misst die Verbesserung, die die Aktion mit sich gebracht hat. Da es sich bei dem Bildaufnahmesystem 1 um die Aufnahme von Bildern handelt und der Bediener einen optimalen Bildeindruck haben möchte, können für die Belohnungsfunktion des Bestärkenden Lernens Bildgütebewertungen verwendet werden. Diese Bildgütebewertung kann zum einen durch aus der Technik bekannte Verfahren, die automatisch digitale Bilder analysieren, wie beispielsweise Schärfemaße oder andere referenzfreie Bildgütebewertungsmaße, oder auch manuell durch die Interaktion mit einem Benutzer über die Schnittstelle 25 erfolgen. Eine sinnvolle Aktion kann die Steuereinheit 20 dadurch definieren, dass eine Belohnung, also eine möglichst große Steigerung der Bildgüte, erreicht wird.
  • Allerdings kann es je nach Situation auch erforderlich sein, eine Aktion auszuführen, die eine vorübergehende Verschlechterung der Bildgüte mit sich bringt, um anschließend eine Aktion durchführen zu können, die die Bildgüte noch weiter steigert. Beispielsweise kann eine Situation bestehen, in der automatisch die Verstärkung und der Offset des Detektors 14 eingestellt werden muss. Der Offset des Detektors 14 ändert die Helligkeit, und die Verstärkung des Detektors 14 ändert sowohl den Kontrast als auch die Helligkeit. Die Werte dieser beiden Parameter beeinflussen sich somit gegenseitig. Deshalb kann es notwendig sein, dass die Steuereinrichtung 20 einen der Parameter vorübergehend so verändert, dass die Bildgüte sich zunächst verschlechtert, um dann anschließend durch die Adaption eines zweiten Parameters eine noch bessere Bildgüte als zuvor zu bekommen.
  • Bei Methoden des Bestärkenden Lernens kann die Steuereinrichtung 20 deshalb zusätzlich eine sogenannte Wert-Funktion verwenden, die auch als so genannte „Value Function“ bezeichnet wird. Die Wert-Funktion beschreibt den Wert eines aktuellen Zustandes oder einer Aktion im Hinblick auf weitere Verbesserungen der Bildgüte, d.h. im Hinblick auf weitere Belohnung nach der Belohnungsfunktion. Die Zustands-Wert-Funktion kann den Wert eines Zustands in dem Sinn beschreiben, dass sie quantifiziert, wie groß das Potenzial dieses Zustandes für eine weitere Belohnung gemäß der Belohnungsfunktion ist, d.h. wie groß der Belohnung von diesem Zustand durch weitere geeignete Aktionen sein wird. Die Steuereinrichtung 20 kann für die Methode des Bestärkenden Lernens eine Zustands-Wert-Funktion nutzen oder erlernen, die angibt, wie groß die Steigerung der Bildgüte von diesem Zustand ausgehend sein wird. Diese kann bei der Methode des Bestärkenden Lernens gelernt werden. Wenn diese Zustands-Wert-Funktion dann bekannt ist, kann die Steuereinrichtung 20 beim Einstellen der Bildaufnahmeparameter auch eine Aktion ausführen, die zunächst nur eine negative Belohnung erzielt, d.h. zu einer Verschlechterung der Bildgüte führt, so lange die Zunahme der Zustands-Wert-Funktion größer ist als der Betrag der negativen Belohnung den man bekommt. D.h., die Steuereinrichtung 20 kann eingerichtet sein, um eine Aktion auszuführen, die vorübergehend die Bildgüte verringert, wenn dies zu einer besseren finalen Bildgüte durch die Einstellungen der restlichen Bildaufnahmeparameter führen kann als in dem aktuellen Zustand.
  • Die Steuereinrichtung 20 kann zum Erlernen des Regelsatzes mit der Methode des Bestärkenden Lernens den Parameterraum der Bildaufnahmeparameter teilweise erkunden. Grundsätzlich existieren zwei unterschiedliche Prozesse, die als Exploration und Exploitation bezeichnet werden und die miteinander konkurrieren können. Bei der Exploration erprobt die Steuereinrichtung 20 Aktionen, die bis dahin in dem aktuellen Zustand noch nie oder nur selten angewendet wurden. Dabei wird von der Steuereinrichtung 20 beobachtet, ob und in welchem Maß sich die erprobte Aktion positiv auswirkt in dem Sinn, dass eine Bildgütebewertung eine bessere Bildgüte anzeigt. Durch die Exploitation wird die nach dem aktuellen, automatisch erlernten Wissensstand beste Aktion angewendet, um die Bildgüte zu verbessern. Auch durch einen Exploitations-Schritt kann noch mehr über die nach dem aktuellen Wissensstand beste Aktion gelernt werden. Insbesondere kann erkannt werden, wenn die Aktion zu einer kleineren Belohnung, also einer kleineren Verbesserung der Bildgüte, führt als erwartet. Durch dieses Vorgehen lernt die Steuereinrichtung 20 schrittweise, welche Belohnung welche Aktion in welchem Zustand mit sich bringt. Die Steuereinrichtung 20 lernt darüber hinaus auch, welche Wert-Funktion den möglichen Zuständen zuzuordnen ist. In vielen Bildaufnahmesystemen 1 liegen kontinuierliche Parameter vor, so dass der Zustandsraum unendlich viele mögliche Zustände umfasst.
  • 3 ist ein Flussdiagramm eines Verfahrens 40 nach einem Ausführungsbeispiel. Das Verfahren 40 kann von der Steuereinrichtung 20 automatisch ausgeführt werden. Das Verfahren 40 kann von der Steuereinrichtung 20 ausgeführt werden, um den Regelsatz zum Einstellen der Bildaufnahmeparameter zu erlernen oder zu adaptieren.
  • Bei Schritt 41 kann die Steuereinrichtung 20 das Bildaufnahmesystem zur Aufnahme mehrerer Bilder steuern, wobei unterschiedliche Werte für mehrere Bildaufnahmeparameter eingestellt werden. Die Steuereinrichtung 20 kann wenigstens einen Abschnitt eines mehrdimensionalen Parameterraums austesten, der durch die Bildaufnahmeparameter aufgespannt wird.
  • Bei Schritt 42 kann die Steuereinrichtung 20 den Regelsatz speichern. Auch wenn die Exploration bei Schritt 41 nur einen Teil des Parameterraums abgedeckt hat, kann der erlernte Regelsatz Aktionen definieren, die auch in anderen, noch nicht erprobten Bereichen des Parameterraums Einstellungen der Bildaufnahmeparameter durch die Steuereinrichtung 20 zur Erhöhung der Bildgüte erlauben. Beispielsweise kann die Steuereinrichtung 20 bei der Exploration bei Schritt 41 automatisch erlernen, dass für niedrige Helligkeit eine Anpassung einer Verstärkung und/oder eines Offsets des Detektors 14 erfolgen soll, um die Bildgüte zu verbessern. Dies gilt selbst dann, wenn die Fokuseinstellung oder andere Einstellungen noch nicht erfolgt sind.
  • Bei Schritt 43 kann die Steuereinrichtung 20 den erlernten oder adaptierten Regelsatz anwenden, um Einstellungen der Bildaufnahmeparameter vorzunehmen. Dabei kann die Steuereinrichtung 20 weiterhin die erzielte Bildgüte überwachen und den Regelsatz weiter adaptieren.
  • Ein an einer Probe 2 erlernter Regelsatz kann als Ausgangspunkt für eine weitere Verbesserung des Regelsatzes dienen, wenn eine Probe 2 vom gleichen Probentyp oder auch eine Probe 2 von einem unterschiedlichen Probentyp für die Bildaufnahme verwendet wird. Auf diese Weise kann das Wissen über Aktionen, die zu einer Verbesserung der Bildgüte führen, systematisch erweitert werden.
  • Wenn kein Wissen bei Beginn des Lernprozesses vorhanden ist, wird ausschließlich die Exploration 41 angewendet. Dazu kann eine relevante Probe 2 verwendet werden. Die Steuereinrichtung 20 kann automatisch mögliche Aktionen an verschiedenen Stellen der Probe 2 austesten. Die Steuereinrichtung 20 kann die Nützlichkeit der Aktionen erlernen, wobei zur Bewertung der Aktionen bestimmt wird, wie sich die Aktion auf die Bildgütebewertung auswirkt. Zusätzlich kann mit denen aus Bestärkenden Lernen bekannten Techniken die Wert-Funktion gelernt werden. Dazu kann beispielsweise das Q-Lernen eingesetzt werden. Beispielsweise kann ein Bestärkendes Lernen als Q-Lernen verwendet werden, wie es in Watkins, C. J. C. H., Dayan, P.: Q-learning. Machine Learning 8(3/4) (1992); Special Issue on Reinforcement Learning beschrieben ist. Alternativ oder zusätzlich können andere Lernmethoden des maschinellen Lernens eingesetzt werden. Dadurch lernt die Steuereinrichtung 20 erste nützliche Regeln zum Einstellen der Bildaufnahmeparameter. Mit der Zeit wird mit einer immer größer werdenden Wahrscheinlichkeit Exploitation angewendet, um das Wissen anzuwenden und das Ziel effizient zu erreichen.
  • Für ein Bildaufnahmesystem 1, das ein Mikroskopsystem ist, kann das Erlernen des Regelsatzes wie folgt erfolgen. Der Benutzer legt eine Probe 2 in das Mikroskopsystem und aktiviert einen Lernprozess, beispielsweise durch manuelle Aktivierung eines entsprechenden Knopfes oder durch eine andere Schnittstelleneingabe. Daraufhin beginnt die Steuereinrichtung 20, zufällig bestimmte Parameter zu optimieren, und misst den Einfluss der Optimierung dieses Parameters auf die Bildgüte. Insbesondere kann die Steuereinrichtung 20 das Bildaufnahmesystem 1 so steuern, dass an verschiedenen Stellen der Probe gelernt wird, um möglichst vielfältiges Wissen zu erlernen. Mit der Zeit erlernt die Steuereinrichtung 20, welcher Parameter in welchem Zustand beeinflusst werden sollte. Beispielsweise könnte es sein, dass zu Beginn das Bild auf Grund einer zu niedrigen Einstellung der Verstärkung des Detektors 14 komplett schwarz ist. Eine anfänglich unwissende Steuereinrichtung 20 könnte zunächst versuchen, eine gute Fokuseinstellung zu finden. Dabei würde die Steuereinrichtung 20 durch Auswertung der jeweils erfassten Bilder erkennen, dass eine Autofokusfunktion nichts am Bild ändern und somit mit keiner Belohnung im Sinne des Bestärkenden Lernens verbunden ist. Als nächstes kann die Steuereinrichtung 20 versuchen, die Verstärkung des Detektors 14 zu verändern. Durch Überwachen der jeweils erzielten Bildgüte kann die Steuereinrichtung 20 ermitteln, dass nun das Bild besser wird, da es nicht mehr komplett schwarz ist. Daraus kann die Steuereinrichtung 20 lernen, dass bei einem komplett schwarzen Bild oder bei einem relativ dunklen Bild zunächst die Verstärkung des Detektors 14 angepasst werden sollte. Mit der Zeit baut die Steuereinrichtung 20 ein Expertenwissen auf, in welchen Zuständen welche Parameter eingestellt und optimiert werden sollen. Außerdem wird die Wert-Funktion des Bestärkenden Lernens gelernt. Das heißt, die Steuereinrichtung 20 kann einschätzen, wie groß das Potential der einzelnen Zustände ist, um eine hohe Bildgüte zu erreichen.
  • 4 illustriert die Vorgehensweise der Steuereinrichtung 20 zum Erlernen oder Adaptieren eines Regelsatzes. Die Steuereinrichtung 20 steuert das Bildaufnahmesystem 1 zur Bildaufnahme mehrere Bilder 51, 54, 57. Dazu werden jeweils unterschiedliche Werte der Bildaufnahmeparameter 53, 56, 59 eingestellt. Die Steuereinrichtung 20 ermittelt eine Bildgütebewertung 52, 55, 58 für jedes der Bilder 51, 54, 57. Die Bildgütebewertung 52, 55, 58 kann von wenigstens einem Bildgütemaß abhängen, die die Steuereinrichtung 20 automatisch rechnerisch aus den Bildern 51, 54, 57 berechnet. Die Bildgütebewertung 52, 55, 58 kann alternativ oder zusätzlich von einer Benutzereingabe an der Schnittstelle 25 abhängen.
  • Aus den Bildgütebewertungen 52, 55, 58 und den jeweils gewählten Werten der Bildaufnahmeparameter 51, 54, 57 kann die Steuereinrichtung 20 automatisch ermitteln, welche Parameteränderung zu einer Verbesserung der Bildgüte führt. Die Steuereinrichtung 20 kann die Bildgüte bzw. die Erhöhung der Bildgüte als Belohnung in der Methode des Bestärkenden Lernens verwenden. Die Steuereinrichtung 20 kann zusätzlich die Wert-Funktion der Methode des Bestärkenden Lernens erlernen, da durch sequentielle Parameteränderungen erkennbar wird, welche Zustände das Potenzial zu einer möglichst weitgehenden Verbesserung der Bildgüte aufweisen.
  • Durch Beobachtung der Bildgütebewertung als Funktion der jeweils gewählten Werte der Bildaufnahmeparameter 51, 54, 57 kann die Steuereinrichtung 20 einen Regelsatz 60 erlernen. Der Regelsatz 60 kann beispielsweise die Zustands-Wert-Funktion, die Aktions-Wert-Funktion und/oder die Belohnungsfunktion der Methode des Bestärkenden Lernens umfassen. Der Regelsatz 60 kann eine andere Funktion oder mehrere andere Funktionen umfassen, die der Steuereinrichtung 20 jeweils die Bestimmung der auszuführenden Aktion erlaubt, mit der jedenfalls nach mehreren Schritten ein möglichst gutes Bild erzielt werden kann.
  • 5 veranschaulicht ein Austesten von Werten von Bildaufnahmeparametern in einem mehrdimensionalen Parameterraum. In einer Explorationsphase kann die Steuereinheit Werte der Bildaufnahmeparameter in einem Bereich 61 des mehrdimensionalen Parameterraums austesten. Das so erlernte Wissen ist nicht notwendig auf die Verwendung in dem Bereich 61 beschränkt, sondern kann auch in einem größeren Bereich 62 des Parameterraums oder sogar im gesamten Parameterraum eingesetzt werden. Beispielsweise kann die Steuereinheit 20 durch eine Exploration unterschiedlicher Bildaufnahmeparameter in dem Bereich 61 des Parameterraums automatisch lernen, dass bei niedriger Helligkeit des Bildes eine Verstärkung des Detektors 14 angepasst werden soll, während eine Anpassung des Fokus zu keiner Verbesserung führt. Dieses Wissen kann die Steuereinrichtung 20 im gesamten Parameterraum oder jedenfalls in einem Bereich 62 des Parameterraums, der größer als der in der Exploration erforschte Bereich 61 ist, zum Einstellen der Bildaufnahmeparameter einsetzen.
  • 6 veranschaulicht die Verwendung des von der Steuereinrichtung 20 automatisch erlernten oder adaptierten Regelsatzes zum Einstellen von Bildaufnahmeparametern. Die Steuereinrichtung 20 steuert das Bildaufnahmesystem 1 so, dass bei der Bildaufnahme Werte der Bildaufnahmeparameter 72 eingestellt sind. Ein Bild 71 wird aufgenommen. Eigenschaften des Bildes 71, beispielsweise eine Helligkeit, ein Kontrast, eine Schärfe oder andere Eigenschaften des Bildes 71, und die Werte der Bildaufnahmeparameter 72 werden von der Steuereinrichtung 20 gemäß dem Regelsatz 60 ausgewertet. Optional können auch Umweltparameter den Zustand mit definieren, den die Steuereinrichtung 20 als Eingangsgröße für die Anwendung des Regelsatzes 60 verwendet. Beispielsweise kann die Steuereinrichtung 20 einen Regelsatz 60, der die Belohnungsfunktion und die Wert-Funktion beinhaltet, die bei der Methode des Bestärkenden Lernens erlernt wurden, verwenden, um eine Aktion 73 zu bestimmen. Die Aktion 73 kann eine Änderung eines Werts oder mehrerer Werte der Bildaufnahmeparameter bewirken. Die Aktion 73 kann die Ausführung einer Prozedur, beispielsweise zur Einstellung eines Autofokus, sein. Die Ausführung der Aktion 73 führt zu geänderten Werten der Bildaufnahmeparameter 74, die für eine nachfolgende Bildaufnahme verwendet werden.
  • 7 ist ein Flussdiagramm eines Verfahrens 80 nach einem Ausführungsbeispiel. Das Verfahren 80 kann automatisch unter Kontrolle der Steuereinrichtung 20 des Bildaufnahmesystems 1 ausgeführt werden.
  • Bei Schritt 81 wird ein Bildgütemaß oder ein anderes Qualitätskriterium für die Bewertung der Bildgüte von Bildern bereitgestellt. Das Bildgütemaß kann beispielsweise ein Schärfemaß oder ein anderes referenzfreies Bildgütebewertungsmaß sein.
  • Bei Schritt 82 kann nach einem Einlegen der Probe die Steuereinrichtung 20 optional einen oder mehrere benutzerdefiniert eingestellte Werte für Bildaufnahmeparameter auslesen. Es ist auch möglich, dass keiner der Bildaufnahmeparameter benutzerdefiniert eingestellt wird. Falls einer der Bildaufnahmeparameter benutzerdefiniert eingestellt wird, kann das automatische Einstellen von Bildaufnahmeparametern auf diejenigen Bildaufnahmeparameter beschränkt werden, die nicht benutzerdefiniert eingestellt werden. Alternativ kann die Steuereinrichtung 20 die benutzerdefiniert eingestellten Werte der Bildaufnahmeparameter als Ausgangspunkt für eine automatische Einstellung verwenden.
  • Bei Schritt 83 kann ein maschinelles Lernen ausgeführt werden, um Wissen zu sammeln, wie sich Änderungen der Bildaufnahmeparameter auf die gemäß dem Bildgütemaß des Schritts 81 bewertete Bildgüte auswirken. Dazu können mehrere Bildaufnahmen ausgeführt werden. Die Werte mehrerer Bildaufnahmeparameter können verändert werden. Die Steuereinrichtung 20 kann eine Methode des Bestärkenden Lernens ausführen, um einen Regelsatz zu erlernen, mit dem die Bildaufnahmeparameter eingestellt werden können. Der Regelsatz kann eine Belohnungsfunktion und/oder eine Wert-Funktion der Methode des Bestärkenden Lernens umfassen. Zu Beginn des Bestärkenden Lernens ist die Explorationsquote 100%. Eine Belohnungsfunktion kann von einer Bildgütebewertung abhängen.
  • Bei Schritt 84 kann der Regelsatz gespeichert werden. Der Regelsatz kann lokal in dem Bildaufnahmesystem gespeichert werden. Der Regelsatz kann so gespeichert werden, dass er einem Probentyp zugeordnet ist, für den der entsprechende Regelsatz erlernt wurde. Der Regelsatz kann später weiter adaptiert werden, wenn erneut eine Probe vom selben Probentyp eingelegt ist.
  • Optional kann der Regelsatz nachfolgend verwendet werden, um für eine weitere Probe von demselben Probentyp oder eine weitere Probe von einem ähnlichen Probentyp die Bildaufnahmeparameter einzustellen.
  • Ein von der Steuereinrichtung 20 einmal erlerntes Wissen muss nicht für jede Probe ideal sein, kann aber durchaus als Initialisierung für neue unbekannte Proben verwendet werden. Das heißt, bereits erlerntes Wissen kann auf neue unbekannte Proben und Probentypen angewendet werden. Bei Bedarf, beispielsweise falls die erreichte Bildgüte nicht ausreichend ist oder wenn der Benutzer dies durch eine Benutzeraktion auslöst, kann dann von diesem Wissen ausgehend weiter gelernt werden und das Gelernte auf die aktuelle Probe oder den aktuellen Probentyp angepasst werden. Dazu kann ein erlernter Regelsatz weiter adaptiert werden. Beispielsweise ist die Regel, dass die Steuereinrichtung 20 automatisch die Verstärkung und/oder den Offset des Detektors 14 anpassen sollte, falls das Bild eine geringe Helligkeit aufweist, für sehr viele Proben nützlich. Zum anderen kann es Bildaufnahmeparameter geben, deren Manipulation nur bei bestimmen, aber nicht bei allen Probentypen eine Bildverbesserung mit sich bringt. Das Verhalten der Steuereinrichtung 20 zum Einstellen derartiger Bildaufnahmeparameter kann individuell für die jeweiligen Probentypen erlernt werden. Dazu kann ein Regelsatz, der für einen anderen Probentyp gewonnen wurde, weiter adaptiert werden.
  • 8 ist ein Flussdiagramm eines Verfahrens 90 nach einem Ausführungsbeispiel. Das Verfahren 90 kann automatisch unter Kontrolle der Steuereinrichtung 20 des Bildaufnahmesystems 1 ausgeführt werden. Das Verfahren 90 kann ausgeführt werden, wenn bereits ein Regelsatz vorhanden ist, der für das Einstellen der Bildaufnahmeparameter für den entsprechenden Probentyp geeignet ist.
  • Bei den Schritten 91 und 92 kann ein Bildgütemaß bereitgestellt und optional eine benutzerdefinierte Einstellung von Werten für Bildaufnahmeparameter ermöglicht werden. Diese kann wie unter Bezugnahme auf die Schritte 81 und 82 beschrieben erfolgen.
  • Das Bildgütemaß kann dasselbe sein wie dasjenige, das beim Erlernen des zu adaptierenden Regelsatzes angewandt wurde. Es kann aber auch ein anderes Bildgütemaß verwendet werden. Dies ist insbesondere dann interessant, wenn die unterschiedlichen Bildgütemaße Bedürfnisse unterschiedlicher Benutzer darstellen. Dann kann das Adaptieren des Regelsatzes verwendet werden, um bereits existierendes Wissen auf die Bedürfnisse eines anderen Nutzers anzupassen.
  • Bei Schritt 93 kann ein Regelsatz ausgelesen werden. Der Regelsatz kann lokal in dem Bildaufnahmesystem gespeichert sein. Der Regelsatz kann über eine Schnittstelle des Bildaufnahmesystems von einem weiteren baugleichen Bildaufnahmesystem oder von einer zentralen Datenbank abgerufen werden. Stehen mehrere Regelsätze für unterschiedliche Probentypen zur Verfügung, kann der Regelsatz ausgelesen werden, der für denselben Probentyp oder einen ähnlichen Probentyp wie die eingelegte Probe erlernt wurde.
  • Bei Schritt 94 kann ein maschinelles Lernen ausgeführt werden, um das Wissen zu erweitern, wie sich Änderungen der Bildaufnahmeparameter auf die gemäß dem Bildgütemaß des Schritts 91 bewertete Bildgüte auswirken. Dazu können mehrere Bildaufnahmen ausgeführt werden. Die Werte mehrerer Bildaufnahmeparameter können verändert werden. Die Steuereinrichtung 20 kann eine Methode des Bestärkenden Lernens ausführen, um den bei Schritt 93 erlernten Regelsatz zu adaptieren. Der Regelsatz kann eine Belohnungsfunktion und/oder eine Wert-Funktion der Methode des Bestärkenden Lernens umfassen. Bei Schritt 94 kann die eine Belohnungsfunktion und/oder die Wert-Funktion der Methode des Bestärkenden Lernens gemäß den aufgenommenen Bildern, ihrer Bildgütebewertung und den jeweils verwendeten Werten der Bildaufnahmeparameter verändert werden.
  • Bei Schritt 95 kann der adaptierte Regelsatz gespeichert werden. Der adaptierte Regelsatz kann lokal in dem Bildaufnahmesystem gespeichert werden. Der adaptierte Regelsatz kann so gespeichert werden, dass er dem Probentyp zugeordnet ist, der bei Schritt 92 in das Bildaufnahmesystem eingelegt wurde. Der Regelsatz kann später weiter adaptiert werden, wenn erneut eine Probe vom selben Probentyp eingelegt ist.
  • Optional kann der adaptierte Regelsatz nachfolgend verwendet werden, um die Bildaufnahmeparameter weiter einzustellen.
  • Ein in einem Bildaufnahmesystem 1 erlernter Regelsatz kann nicht nur lokal in dem Bildaufnahmesystem 1 verwendet werden, sondern kann weiteren baugleichen Bildaufnahmesystemen zur Verfügung gestellt werden. Auf diese Weise können mehrere Bildaufnahmesysteme erlerntes Wissen untereinander teilen. Der Parameterraum der Bildaufnahmeparameter kann somit in größerem Umfang abgetastet werden, wobei wenigstens einige Abschnitte des Parameterraums der Bildaufnahmeparameter nur von einem oder nur von einigen der Bildaufnahmesysteme abgetastet werden müssen.
  • 9 zeigt ein System 100 nach einem Ausführungsbeispiel. Das System 100 umfasst mehrere Bildaufnahmesysteme 1, 101, 102, die jeweils als Bildaufnahmesysteme nach einem Ausführungsbeispiel eingerichtet sind. Die Bildaufnahmesysteme 1, 101, 102 können jeweils wie unter Bezugnahme auf 1 bis 8 beschrieben ausgestaltet sein.
  • Die Bildaufnahmesysteme 1, 101, 102 können jeweils durch maschinelles Lernen den Einfluss bestimmter Einstellungen der Bildaufnahmeparameter auf die Bildgüte erlernen. Die Bildaufnahmesysteme 1, 101, 102 können dabei Bereiche des Parameterraums erkunden, die nicht deckungsgleich sind und nur teilweise überlappen oder vollständig disjunkt sind. Die Bildaufnahmesysteme 1, 101, 102 weisen Schnittstellen auf, um über ein Netzwerk 103 miteinander zu kommunizieren. Das Netzwerk 103 kann ein drahtgebundenes oder drahtloses Nahverkehrsnetz oder Weitverkehrsnetz sein.
  • Wenn in das Bildaufnahmesystem 1 eine Probe 2 zur Bildgebung eingelegt wird, kann die Steuereinrichtung 20 des Bildaufnahmesystems 1 überprüfen, ob lokal ein für diese Probe geeigneter Regelsatz verfügbar ist. Zusätzlich kann die Steuereinrichtung 20 des Bildaufnahmesystems 1 überprüfen, ob ein für die Probe 2 geeigneter Regelsatz von einer zentralen Datenbank 104 oder einem der weiteren Bildaufnahmesysteme 101, 102 abrufbar ist. Der Regelsatz kann beispielsweise eine Bewertungsfunktion und/oder eine Zustands-Wert-Funktion und/oder eine Aktions-Wert-Funktion umfassen, die von einem mit dem Bildaufnahmesystem 1 baugleichen Bildaufnahmesystem zum Einstellen der Bildaufnahmeparameter erlernt wurde.
  • Das Bildaufnahmesystem 1 kann den abgerufenen Regelsatz weiter adaptieren, wie dies beispielsweise unter Bezugnahme auf 8 beschrieben wurde. Dazu kann das Bildaufnahmesystem durch Exploration und/oder Exploitation weitere Bereiche des Parameterraums erkunden. Der Regelsatz kann verändert werden, während das Bildaufnahmesystem 1 weitere Bildaufnahmen an der Probe 2 vornimmt und eine Bildgütebewertung durchführt. Beispielsweise kann die Bewertungsfunktion und/oder die Zustands-Wert-Funktion und/oder die Aktions-Wert-Funktion eines Bestärkenden Lernens durch die Steuereinrichtung 20 des Bildaufnahmesystems 1 verändert und der Regelsatz so adaptiert werden.
  • Das Bildaufnahmesystem 1 kann den adaptierten Regelsatz lokal zum Einstellen der Bildaufnahmeparameter verwenden. Das Bildaufnahmesystem 1 kann den adaptierten Regelsatz über eine Schnittstelle ausgeben, um ihn über das Netzwerk 103 in der zentralen Datenbank 104 zu speichern. Das Bildaufnahmesystem 1 kann den adaptierten Regelsatz über eine Schnittstelle ausgeben, um ihn über das Netzwerk 103 an wenigstens ein weiteres baugleiches Bildaufnahmesystem 101, 102 bereitzustellen.
  • 10 ist ein Flussdiagramm eines Verfahrens 110, das von einem Bildaufnahmesystem 1 nach einem Ausführungsbeispiel ausgeführt werden kann.
  • Bei Schritt 111 kann die Steuereinrichtung 20 des Bildaufnahmesystems 1 optional Wissen zur automatischen Einstellung der Bildaufnahmeparameter auslesen. Dies kann beispielsweise das Auslesen eines Regelsatzes umfassen, der von dem Bildaufnahmesystem 1 oder einem baugleichen Bildaufnahmesystem erlernt wurde. Die Steuereinrichtung 20 kann Wissen zur automatischen Einstellung der Bildaufnahmeparameter durch maschinelles Lernen erwerben. Dabei kann eine Exploration bisher nicht oder nur wenig erforschter Punkte des Parameterraums erfolgen. Es kann ein Regelsatz erlernt oder adaptiert werden, der einem Zustand jeweils eine Aktion zuweist.
  • Bei Schritt 112 kann die Steuereinrichtung 20 das bei Schritt 111 erworbene Wissen anwenden. Dabei kann eine Exploitation derart erfolgen, dass Aktionen durchgeführt werden, die nach dem bei Schritt 111 erworbenen Wissen eine Verbesserung der Bildgüte erwarten lassen. Die Steuereinrichtung 20 kann den Wert wenigstens eines Bildaufnahmeparameters verändern. Die Steuereinrichtung 20 kann abhängig von dem bei Schritt 111 erworbenen Wissen bestimmen, welcher oder welche der Bildaufnahmeparameter verändert werden sollen.
  • Bei Schritt 113 kann die Steuereinrichtung 20 das Bildaufnahmesystem 1 für eine Bildaufnahme steuern. Die Steuereinrichtung 20 kann eine Bildgütebewertung vornehmen. Die Bildgütebewertung kann ein Bildgütemaß sein, das nur basierend auf dem aufgenommenen Bild rechnerische bestimmt werden kann. Das Bildgütemaß kann ein referenzfreies Bildgütemaß sein. Das Bildgütemaß kann auch von einer Benutzereingabe abhängen. Beispielsweise kann die Steuereinrichtung 20 durch eine Benutzerinteraktion erlernen, welche Bildeigenschaften der Benutzer als positiv bewertet. Die Bildgütebewertung kann abhängig von der Benutzereingabe erfolgen.
  • Bei Schritt 114 kann die Steuereinrichtung 20 überprüfen, ob die Bildgüte ausreichend gut ist. Dazu kann ein Bildgütemaß mit einem Schwellenwert verglichen werden. Alternativ oder zusätzlich kann eine Veränderung der Bildgüte über mehrere Bildaufnahmen überwacht werden, um zu überprüfen, wie sich die Bildgüte noch verbessert. Falls die Bildgüte noch nicht ausreichend ist, kann bei Schritt 115 das Wissen erweitert werden, indem das Bestärkende Lernen fortgesetzt wird. Falls bei Schritt 114 ermittelt wird, dass die Bildgüte ausreichend ist, kann das Verfahren bei Schritt 116 enden. Das zuletzt aufgenommene Bild, das eine ausreichende Bildgüte aufweist, kann für den Benutzer bereitgestellt werden.
  • Ausführungsbeispiele der Erfindung, wie sie unter Bezugnahme auf die Figuren beschrieben wurden, dienen zur Optimierung der Einstellung von Bildaufnahmesystemen. Zur Optimierung wird eine Bildgütebewertung eingesetzt. Die Regeln, nach denen die Optimierung erfolgt, werden durch maschinelles Lernen von der Steuereinrichtung gelernt oder adaptiert, beispielsweise durch Bestärkendes Lernen.
  • Bei den hier beschriebenen Ausführungsbeispielen eine beliebige Bildgütebewertung eingesetzt werden, die Informationen über die Bildgüte des aktuellen Bildes liefert. Eine Belohnung, die im Sinne des Bestärkenden Lernens mit einer Aktion verbunden ist, ist die Steigerung der Bildgütebewertung durch diese Aktion. Die Zustands-Wert-Funktion des Bestärkenden Lernens kann die zu erwartende Steigerung der Bildgüte bezüglich der Bildgütebewertung durch mögliche weitere Aktionen repräsentieren.
  • Die hier beschriebenen Techniken können auf eine Vielzahl unterschiedlicher Bildaufnahmesysteme angewendet werden. Beispielsweise kann das Bildaufnahmesystem ein Mikroskop sein. Die Bildaufnahmeparameter können einen Fokus, eine Verstärkung eines Detektors und einen Offset des Detektors umfassen.
  • Der Zustand, aus dem die auszuführende Aktion bestimmt wird, kann sich zum einen aus Bildeigenschaften, wie z.B. Bildschärfe, Bildkontrast oder Bildhelligkeit, und zum anderen aus Systemeigenschaften wie aktuelle Fokusposition, Detektoreinstellung, etc. definieren.
  • Der Zustand, aus dem die auszuführende Aktion bestimmt wird, kann auch Parameter der Umgebung umfassen, wie beispielsweise Temperatur, Luftfeuchtigkeit und/oder Umgebungshelligkeit. Bei sensiblen Proben kann in den Zustand auch die Anzahl der bereits aufgenommenen Bilder mit einbezogen werden.
  • Das Erlernen des Regelsatzes, mit dem auszuführende Aktionen zur Einstellung der Bildaufnahmeparameter ermittelt werden, kann ein maschinelles Lernen sein, bei dem eine Bildgütebewertung eingesetzt wird. Die Bildgütebewertung kann insbesondere als Belohnungsfunktion eines Bestärkenden Lernens verwendet werden. Die Bildgütebewertung kann auf rein rechnerisch bestimmten Bildgütemaßen und/oder eine subjektive Bewertung durch einen Benutzer mit einbeziehen.
  • Beispielsweise kann ein vordefiniertes, allgemeines Bildgütemaß zur Bildgütebewertung verwendet werden. Hierfür können insbesondere alle aus der Literatur bekannten referenzfreien Bildgütemaße verwendet werden.
  • Die Steuereinrichtung kann ein Bildgütemaß aus Benutzereingaben lernen. Beispielsweise kann die Steuereinrichtung benutzerdefiniert vorgenommene, manuelle Einstellungen der Bildaufnahmeparameter überwachen. Unter der Annahme, dass der Benutzer Einstellungen vornimmt, die zu einer Verbesserung der Bildgüte führen, kann ein Bildgütemaß bestimmt werden.
  • Die Steuereinrichtung kann zufällig Bilder mit unterschiedlichen Parametereinstellungen erzeugen und dem Benutzer eine Bewertung erlauben. Beispielsweise kann die Steuereinrichtung den Benutzer auffordern, die mehreren Bilder durch manuelle Eingaben in eine Reihenfolge zu bringen. Anschließend lernt die Steuereinrichtung automatisch ein Bildgütemaß fest, das diese Reihenfolge reflektiert.
  • Es können auch mehrere Bildgütemaße verwendet werden, um die Bildgütebewertung auszuführen. Eine Belohnung im Sinne des Bestärkenden Lernens wird erzielt, wenn ein dem entsprechenden Bildaufnahmeparameter zugeordnetes Bildgütemaß verbessert wird. Beispielsweise kann ein Schärfemaß die Belohnung definieren, wenn ausgewählt wurde, den Fokus anzupassen.
  • Die Bildgütebewertung kann auch mit Hilfe einer Benutzeraktion erfolgen. Der Benutzer kann nach dem Ausführen einer Aktion beurteilen, wie stark die Verbesserung des Bildes ist.
  • Bei Ausführungsbeispielen der Erfindung kann eine Methode des Bestärkenden Lernens eingesetzt werden, um zu erlernen, nach welchen Regeln die Steuereinrichtung Bildaufnahmeparameter des Bildaufnahmesystems verändert.
  • Das Bestärkende Lernen kann mit der Erfassung und automatischen Interpretation von manuellen Benutzerinteraktionen kombiniert werden, beispielsweise mit einem überwachten Lernen. Solche Interaktionen können von der Steuereinrichtung dahingehend interpretiert werden, dass der von dem Benutzer bei einem überwachten Lernen manuell eingestellte Bildaufnahmeparameter derjenige Bildaufnahmeparameter ist, der bei dem aktuellen Zustand die größte Verbesserung mit sich bringt.
  • Die Steuereinrichtung kann eingerichtet sein, um nach der automatischen Einstellung der Bildaufnahmeparameter eine weitere Nacheinstellung durch den Benutzer zu erlauben. Insbesondere kann die Steuereinrichtung eingerichtet sein, um manuelle Veränderungen der automatisch gefundenen Werte der Bildaufnahmeparameter zu erlauben. Die Steuereinrichtung kann derartige Benutzerhandlungen überwachen und für eine Anpassung des Bildgütemaßes verwenden.
  • Das Einstellen der Bildaufnahmeparameter durch die Steuereinrichtung kann in einem Betriebsmodus des Bildaufnahmesystems erfolgen, der sich in seiner Wechselwirkung mit der Probe von dem Betriebsmodus unterscheidet, in dem dann die abschließende Bildaufnahme erfolgt. Beispielsweise kann es bei bestimmten Anwendungen sinnvoll sein, die Einstellungen der Bildaufnahmeparameter mit einem Licht mit einer anderen Wellenlänge durchzuführen als die abschließende Bildaufnahme, um die Probe nicht zu schädigen.
  • Das Bestärkende Lernen kann auch mit vordefinierten Startregeln kombiniert werden. Beispielsweise kann als Startregel festgelegt sein, dass ein dunkles Bild zu einer Veränderung der Helligkeit führen soll. Derartige Startregeln können von einem Benutzer vorher festgelegt werden. Alternativ kann der Benutzer eine oder mehrere Vorgehensweise zur Verbesserung der Bildgüte abhängig von dem Zustand definieren, und die Steuereinrichtung kann die benutzerdefinierten Regeln noch durch das Bestärkende Lernen adaptieren, um sie so zu verbessern.
  • Das Bestärkende Lernen muss nicht an demjenigen Bildaufnahmesystem erfolgen, auf dem der Regelsatz angewendet werden soll. Vielmehr kann das Bestärkende Lernen auch auf anderen baugleichen Bildaufnahmesystemen erfolgen. Bildaufnahmesysteme gleicher Bauart können miteinander kommunizieren und das erlernte Wissen untereinander austauschen.
  • Das Bildaufnahmesystem kann eingerichtet sein, um mit einem Detektionsverfahren einen Probentyp zu identifizieren. Beispielsweise kann ein EDX-Detektor (d.h. ein Detektor für eine energiedispersive Röntgenspektroskopie) verwendet werden. Das Bildaufnahmesystem kann auch eine manuelle Eingabe des Probentyps durch den Benutzer erlauben. Das Ermitteln des Regelsatzes und/oder der Austausch von Regelsätzen zwischen baugleichen Bildaufnahmesystemen können abhängig von dem jeweiligen Probentyp erfolgen. Dies erlaubt den Aufbau von Expertenwissen spezifisch für den jeweiligen Probentyp.
  • Das Bildaufnahmesystem kann eingerichtet sein, um ein Verfahren zum Testen der Sensitivität der Probe auszuführen. Die Steuereinrichtung kann eingerichtet sein, um eine an die erfasste Sensitivität angepasste Strategie für die Einstellung der Bildaufnahmeparameter zu verwenden. So kann sich beispielsweise eine Elektronenmikroskopieprobe bereits nach wenigen Scanvorgängen durch Aufladung oder Materialabtragung sehr stark ändern. Die Sensitivität der Probe kann dadurch getestet werden, dass das Bildaufnahmesystem mehrfach mit gleichen Aufnahmeparametern über die gleiche Stelle der Probe scannt und die Veränderung der aufgenommen Bilder beispielsweise mit einem Bildgütemaß bewertet.
  • Verfahren und Vorrichtungen nach Ausführungsbeispielen erzielen eine Vielzahl von Wirkungen. Die zum Einstellen der Bildaufnahmeparameter angewendeten Regeln werden automatisch gelernt. Eine spezifische benutzerdefinierte oder von einem Experten durchgeführte Konfiguration des Regelsatzes für das jeweilige Bildaufnahmesystem und den jeweiligen Probentyp ist nicht erforderlich. Dadurch können auch komplexere optische Systeme automatisiert werden. Bei bislang verwendeten Automatisierungsmethoden werden häufig nur einzelne Bildaufnahmeparameter optimiert, beispielsweise durch eine Autofokusfunktion. In komplexeren Anwendungen, beispielweise der Mikroskopie, mit einer Mehrzahl von Bildaufnahmeparametern werden hingegen weithin noch manuelle Einstellungen verwendet. Die Ausführungsbeispiele erlauben, das Expertenwissen zum Auffinden guter Einstellungen automatisch zu erwerben.
  • Das gelernte Wissen, d.h. der einmal erlernte Regelsatz, kann auch im laufenden Betrieb durch Exploration auf neue Probentypen angepasst werden.
  • Die beschriebenen Techniken können auf eine Vielzahl unterschiedlicher Typen von Bildaufnahmesystemen eingesetzt werden. Es ist auch möglich, einen einmal erlernten Regelsatz auf ein Bildaufnahmesystem aufzuspielen, das an einen Benutzer übergeben werden soll. Das entsprechende Bildaufnahmesystem kann den Regelsatz weiter adaptieren.
  • Das Erlernen oder Adaptieren des Regelsatzes kann mit geringer Benutzerinteraktion oder sogar ganz ohne Benutzerinteraktion erfolgen. Eine Benutzerinteraktion kann insbesondere zur Bildgütebewertung bereitgestellt werden, um eine Anpassung der Einstellungen daran, was der jeweilige Benutzer als gute oder optimale Bildgüte empfindet, zu erlauben.
  • Durch die Automatisierung kann die Einstellung der Bildaufnahmeparameter möglichst schnell und/oder mit möglichst wenigen Bildaufnahmen erreicht werden. Dies gilt insbesondere dann, wenn bereits ein Regelsatz vorhanden ist, der nur noch adaptiert werden muss. Das Erlernen des Regelsatzes kann unabhängig vom Probentyp eingesetzt werden. Eine Adaption an unterschiedliche Probentypen ist möglich.
  • Angesichts der Vielzahl von möglichen Variationen und Abwandlungen wie oben beschrieben sind die dargestellten Ausführungsbeispiele nur beispielhaft zu verstehen und nicht als einschränkend auszulegen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 5745808 A [0006]
    • US 5610654 A [0006]
    • US 7580058 B2 [0006]
  • Zitierte Nicht-Patentliteratur
    • Watkins, C. J. C. H., Dayan, P.: Q-learning. Machine Learning 8(3/4) (1992); Special Issue on Reinforcement Learning [0086]

Claims (16)

  1. Verfahren zur Bildaufnahme mit einem Bildaufnahmesystem (1), wobei das Bildaufnahmesystem (1) eine Steuereinrichtung (20) zum automatischen Einstellen mehrerer Bildaufnahmeparameter zur Bildaufnahme umfasst, wobei die Steuereinrichtung (20) die mehreren Bildaufnahmeparameter durch Anwendung eines Regelsatzes (23, 24; 60) einstellt, wobei das Verfahren umfasst: automatisches Erlernen oder Adaptieren des Regelsatzes (23, 24; 60) durch die Steuereinrichtung (20).
  2. Verfahren nach Anspruch 1, wobei das automatische Erlernen oder Adaptieren des Regelsatzes (23, 24; 60) durch die Steuereinrichtung (20) umfasst: Steuern des Bildaufnahmesystems (1) zur Bildaufnahme eines Bildes (51), Verändern eines Werts wenigstens eines Bildaufnahmeparameters der mehreren Bildaufnahmeparameter, Steuern des Bildaufnahmesystems (1) zur Bildaufnahme wenigstens eines weiteren Bildes (54, 57), und Verändern des Regelsatzes (23, 24; 60) abhängig von einer Bildgütebewertung des Bildes (51) und einer Bildgütebewertung des wenigstens einen weiteren Bildes (54, 57).
  3. Verfahren nach Anspruch 2, wobei die Bildgütebewertung des Bildes und die Bildgütebewertung des wenigstens einen weiteren Bildes durch die Steuereinrichtung (20) abhängig von einer Benutzereingabe vorgenommen wird.
  4. Verfahren nach Anspruch 2, wobei die Bildgütebewertung des Bildes und die Bildgütebewertung des wenigstens einen weiteren Bildes durch die Steuereinrichtung (20) unabhängig von einer Benutzereingabe automatisch vorgenommen wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Regelsatz (23, 24; 60) einem Zustand, der von jeweils eingestellten Werten der Bildaufnahmeparameter (72) abhängt, eine von der Steuereinrichtung (20) vorzunehmende Aktion (73) zum automatischen Einstellen der mehreren Bildaufnahmeparameter zuweist.
  6. Verfahren nach Anspruch 5, wobei der Zustand sowohl von den jeweils eingestellten Werten der Bildaufnahmeparameter (72) als auch von einer Bildeigenschaft eines Bildes (71), das mit den jeweils eingestellten Werten der Bildaufnahmeparameter (72) aufgenommen wird, abhängt.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Steuereinrichtung (20) eingerichtet ist, um den Regelsatz (23, 24; 60) durch maschinelles Lernen zu erlernen oder zu adaptieren.
  8. Verfahren nach Anspruch 7, wobei die Steuereinrichtung (20) eingerichtet ist, um den Regelsatz (23, 24; 60) durch eine Methode des Bestärkenden Lernens zu erlernen oder zu adaptieren.
  9. Verfahren nach Anspruch 8, wobei eine bei der Methode des Bestärkenden Lernens eingesetzte Belohnungsfunktion und/oder Zustands-Wert-Funktion von einer Bildgütebewertung abhängt.
  10. Verfahren nach einem der vorhergehenden Ansprüche, umfassend: Steuern des Bildaufnahmesystems (1) durch die Steuereinrichtung (20) zum Ausführen wenigstens einer weiteren Bildaufnahme, wobei die Steuereinrichtung (20) die mehreren Bildaufnahmeparameter abhängig von dem erlernten oder adaptierten Regelsatz (23, 24; 60) einstellt.
  11. Verfahren nach einem der vorhergehenden Ansprüche, umfassend: Erfassen eines Probentyps, für den der Regelsatz (23, 24; 60) durch die Steuereinrichtung (20) erlernt oder adaptiert wird, und Speichern des Regelsatzes (23, 24; 60) mit einer Zuordnung zu dem bestimmten Probentyp.
  12. Verfahren nach einem der vorhergehenden Ansprüche, umfassend: Bereitstellen des Regelsatzes (23, 24; 60) über eine Schnittstelle des Bildaufnahmesystems (1) an wenigstens ein weiteres Bildaufnahmesystem (102, 103).
  13. Verfahren nach einem der vorhergehenden Ansprüche, umfassend: Erzeugen wenigstens eines Hinweises abhängig von dem Regelsatz (23, 24; 60) und Ausgeben des Hinweises über eine optische Ausgabeeinheit und/oder eine akustische Ausgabeeinheit, um den Benutzer beim Einstellen der Bildaufnahmeparameter anzuleiten.
  14. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Bildaufnahmesystem (1) ausgewählt ist aus einer Gruppe bestehend aus: – einem Elektronenmikroskop, – einem Fluoreszenzmikroskop, – einem Lichtmikroskop, – einem optischen Kohärenztomographen, – einem Operationsmikroskop, und – einem Computertomographen.
  15. Bildaufnahmesystem, umfassend eine Steuereinrichtung (20), die eingerichtet ist, um zum automatischen Einstellen mehrerer Bildaufnahmeparameter des Bildaufnahmesystems (1) für eine Bildaufnahme einen Regelsatz (23, 24; 60) anzuwenden, wobei die Steuereinrichtung (20) eingerichtet ist, um den Regelsatz (23, 24; 60) automatisch zu erlernen oder zu adaptieren.
  16. Bildaufnahmesystem nach Anspruch 15, welches zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 14 eingerichtet ist.
DE102014102080.4A 2014-02-19 2014-02-19 Verfahren zur Bildaufnahme und Bildaufnahmesystem Active DE102014102080B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014102080.4A DE102014102080B4 (de) 2014-02-19 2014-02-19 Verfahren zur Bildaufnahme und Bildaufnahmesystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014102080.4A DE102014102080B4 (de) 2014-02-19 2014-02-19 Verfahren zur Bildaufnahme und Bildaufnahmesystem

Publications (2)

Publication Number Publication Date
DE102014102080A1 true DE102014102080A1 (de) 2015-08-20
DE102014102080B4 DE102014102080B4 (de) 2021-03-11

Family

ID=53758757

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014102080.4A Active DE102014102080B4 (de) 2014-02-19 2014-02-19 Verfahren zur Bildaufnahme und Bildaufnahmesystem

Country Status (1)

Country Link
DE (1) DE102014102080B4 (de)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3309792A1 (de) * 2016-10-14 2018-04-18 Siemens Healthcare GmbH Bestimmen eines aufnahmeparameters für ein bildgebendes verfahren
US10241324B2 (en) 2016-12-19 2019-03-26 Fanuc Corporation Machine learning device for learning procedure for aligning optical part of light source unit, and light-source unit manufacturing apparatus
DE102018208955A1 (de) * 2018-06-06 2019-12-12 Siemens Healthcare Gmbh Bestimmung eines Schwellwertes für wenigstens ein Energieband eines direkt-konvertierenden Detektors
DE102018126021B3 (de) * 2018-10-19 2020-04-23 Leica Microsystems Cms Gmbh Verfahren zum Korrigieren eines Abbildungsfehlers in einem Mikroskopsystem und Mikroskopsystem
DE102018219867A1 (de) * 2018-11-20 2020-05-20 Leica Microsystems Cms Gmbh Lernender Autofokus
DE102018133188A1 (de) * 2018-12-20 2020-06-25 Carl Zeiss Microscopy Gmbh Abstandbestimmung einer probenebene in einem mikroskopsystem
EP3739372A1 (de) 2019-05-15 2020-11-18 Leica Microsystems CMS GmbH Steuergerät und verfahren zur bereitstellung einer betriebseinstellung einer bildgebungsvorrichtung
EP3748413A1 (de) 2019-06-03 2020-12-09 Leica Microsystems CMS GmbH Steuerungseinheit für ein mikroskop, mikroskopsystem mit solch einer steuerungseinheit und verfahren zur untersuchung einer probe
DE102019129695A1 (de) * 2019-11-04 2021-05-06 Carl Zeiss Microscopy Gmbh Verfahren zum Vorbereiten eines Mikroskops für das Abbilden einer Probe
CN112868027A (zh) * 2018-10-18 2021-05-28 莱卡微系统Cms有限责任公司 显微镜工作流程的优化
CN112868026A (zh) * 2018-10-18 2021-05-28 莱卡微系统Cms有限责任公司 推理显微镜
WO2021116439A1 (de) * 2019-12-12 2021-06-17 Leica Microsystems Cms Gmbh Verfahren zum konfigurieren eines automatisierten mikroskops und mittel zu dessen durchführung sowie mikroskopsystem
US11143857B2 (en) 2018-05-03 2021-10-12 Carl Zeiss Meditec Ag Microscope and microscopy method for imaging an object involving changing size of depth-of-field region
WO2022011394A1 (en) * 2020-07-09 2022-01-13 Saudi Arabian Oil Company Systems and methods for optimizing camera and microscope configurations for capturing thin section images
DE102021104871A1 (de) 2021-03-01 2022-09-01 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur lichtblattmikroskopischen Untersuchung einer Probe
WO2022223663A1 (de) * 2021-04-22 2022-10-27 Carl Zeiss Meditec Ag Verfahren zum betreiben eines operationsmikroskops und operationsmikroskop
US11621145B2 (en) 2019-07-26 2023-04-04 Carl Zeiss Microscopy Gmbh Method for operating a particle beam microscope
US11971529B2 (en) 2018-11-20 2024-04-30 Leica Microsystems Cms Gmbh Learning autofocus

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5610654A (en) 1994-04-19 1997-03-11 Eastman Kodak Company Automatic camera exposure control using variable exposure index CCD sensor
US5745808A (en) 1995-08-21 1998-04-28 Eastman Kodak Company Camera exposure control system using variable-length exposure tables
DE10349661A1 (de) * 2003-10-24 2005-06-02 Siemens Ag Einrichtung und Verfahren zur Überwachung der Parameterwahl beim Betrieb eines technischen Gerätes
US20080139920A1 (en) * 2006-10-19 2008-06-12 Esaote S.P.A. Apparatus for determining indications helping the diagnosis of rheumatic diseases and its method
US20090069668A1 (en) * 2007-09-03 2009-03-12 Alto Stemmer Method and magnetic resonance system to optimize mr images
US7580058B2 (en) 2005-01-19 2009-08-25 Fujifilm Corporation Image capturing apparatus and image capturing method
US20110110572A1 (en) * 2009-11-11 2011-05-12 Jens Guehring System for Dynamically Improving Medical Image Acquisition Quality
DE102009054990A1 (de) * 2009-12-18 2011-06-22 Siemens Aktiengesellschaft, 80333 Messprotokoll-Optimierung für ein medizintechnisches Gerät
DE102011002928A1 (de) * 2011-01-20 2012-07-26 Siemens Aktiengesellschaft Verfahren zur rechnergestützten Konfiguration einer medizinischen Bildgebungsvorrichtung

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5610654A (en) 1994-04-19 1997-03-11 Eastman Kodak Company Automatic camera exposure control using variable exposure index CCD sensor
US5745808A (en) 1995-08-21 1998-04-28 Eastman Kodak Company Camera exposure control system using variable-length exposure tables
DE10349661A1 (de) * 2003-10-24 2005-06-02 Siemens Ag Einrichtung und Verfahren zur Überwachung der Parameterwahl beim Betrieb eines technischen Gerätes
US7580058B2 (en) 2005-01-19 2009-08-25 Fujifilm Corporation Image capturing apparatus and image capturing method
US20080139920A1 (en) * 2006-10-19 2008-06-12 Esaote S.P.A. Apparatus for determining indications helping the diagnosis of rheumatic diseases and its method
US20090069668A1 (en) * 2007-09-03 2009-03-12 Alto Stemmer Method and magnetic resonance system to optimize mr images
US20110110572A1 (en) * 2009-11-11 2011-05-12 Jens Guehring System for Dynamically Improving Medical Image Acquisition Quality
DE102009054990A1 (de) * 2009-12-18 2011-06-22 Siemens Aktiengesellschaft, 80333 Messprotokoll-Optimierung für ein medizintechnisches Gerät
DE102011002928A1 (de) * 2011-01-20 2012-07-26 Siemens Aktiengesellschaft Verfahren zur rechnergestützten Konfiguration einer medizinischen Bildgebungsvorrichtung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Watkins, C. J. C. H., Dayan, P.: Q-learning. Machine Learning 8(3/4) (1992); Special Issue on Reinforcement Learning

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107951500B (zh) * 2016-10-14 2022-03-04 西门子保健有限责任公司 用于成像方法的拍摄参数的确定
DE102016220093A1 (de) * 2016-10-14 2018-04-19 Siemens Healthcare Gmbh Bestimmen eines Aufnahmeparameters für ein bildgebendes Verfahren
CN107951500A (zh) * 2016-10-14 2018-04-24 西门子保健有限责任公司 用于成像方法的拍摄参数的确定
US10395365B2 (en) 2016-10-14 2019-08-27 Siemens Healthcare Gmbh Method, computer and imaging apparatus for determining an imaging parameter for an imaging procedure
EP3309792A1 (de) * 2016-10-14 2018-04-18 Siemens Healthcare GmbH Bestimmen eines aufnahmeparameters für ein bildgebendes verfahren
US10241324B2 (en) 2016-12-19 2019-03-26 Fanuc Corporation Machine learning device for learning procedure for aligning optical part of light source unit, and light-source unit manufacturing apparatus
DE102017011463B4 (de) 2016-12-19 2019-10-24 Fanuc Corporation Maschinenlerneinrichtung zum Lernen eines Verfahrens zum Justieren eines optischen Teils einer Lichtquelleneinheit und Lichtquelleneinheitsherstellungsvorrichtung
US11143857B2 (en) 2018-05-03 2021-10-12 Carl Zeiss Meditec Ag Microscope and microscopy method for imaging an object involving changing size of depth-of-field region
DE102018208955A1 (de) * 2018-06-06 2019-12-12 Siemens Healthcare Gmbh Bestimmung eines Schwellwertes für wenigstens ein Energieband eines direkt-konvertierenden Detektors
CN110568471A (zh) * 2018-06-06 2019-12-13 西门子医疗有限公司 确定能带的阈值的方法、计算单元和医学成像设备
JP2022505251A (ja) * 2018-10-18 2022-01-14 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング 推論顕微鏡
US20210342569A1 (en) * 2018-10-18 2021-11-04 Leica Microsystems Cms Gmbh Inference microscopy
CN112868027A (zh) * 2018-10-18 2021-05-28 莱卡微系统Cms有限责任公司 显微镜工作流程的优化
CN112868026A (zh) * 2018-10-18 2021-05-28 莱卡微系统Cms有限责任公司 推理显微镜
DE102018126021B3 (de) * 2018-10-19 2020-04-23 Leica Microsystems Cms Gmbh Verfahren zum Korrigieren eines Abbildungsfehlers in einem Mikroskopsystem und Mikroskopsystem
DE102018219867B4 (de) * 2018-11-20 2020-10-29 Leica Microsystems Cms Gmbh Lernender Autofokus
US11971529B2 (en) 2018-11-20 2024-04-30 Leica Microsystems Cms Gmbh Learning autofocus
DE102018219867A1 (de) * 2018-11-20 2020-05-20 Leica Microsystems Cms Gmbh Lernender Autofokus
US11754392B2 (en) 2018-12-20 2023-09-12 Carl Zeiss Microscopy Gmbh Distance determination of a sample plane in a microscope system
DE102018133188A1 (de) * 2018-12-20 2020-06-25 Carl Zeiss Microscopy Gmbh Abstandbestimmung einer probenebene in einem mikroskopsystem
CN113826037A (zh) * 2019-05-15 2021-12-21 莱卡微系统Cms有限责任公司 用于提供成像设备的操作设置的控制器和方法
WO2020229448A1 (en) 2019-05-15 2020-11-19 Leica Microsystems Cms Gmbh Controller and method for providing an operational setting of an imaging device
EP3739372A1 (de) 2019-05-15 2020-11-18 Leica Microsystems CMS GmbH Steuergerät und verfahren zur bereitstellung einer betriebseinstellung einer bildgebungsvorrichtung
EP3748413A1 (de) 2019-06-03 2020-12-09 Leica Microsystems CMS GmbH Steuerungseinheit für ein mikroskop, mikroskopsystem mit solch einer steuerungseinheit und verfahren zur untersuchung einer probe
US11621145B2 (en) 2019-07-26 2023-04-04 Carl Zeiss Microscopy Gmbh Method for operating a particle beam microscope
DE102019129695A1 (de) * 2019-11-04 2021-05-06 Carl Zeiss Microscopy Gmbh Verfahren zum Vorbereiten eines Mikroskops für das Abbilden einer Probe
WO2021116439A1 (de) * 2019-12-12 2021-06-17 Leica Microsystems Cms Gmbh Verfahren zum konfigurieren eines automatisierten mikroskops und mittel zu dessen durchführung sowie mikroskopsystem
WO2022011394A1 (en) * 2020-07-09 2022-01-13 Saudi Arabian Oil Company Systems and methods for optimizing camera and microscope configurations for capturing thin section images
DE102021104871A1 (de) 2021-03-01 2022-09-01 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur lichtblattmikroskopischen Untersuchung einer Probe
WO2022223663A1 (de) * 2021-04-22 2022-10-27 Carl Zeiss Meditec Ag Verfahren zum betreiben eines operationsmikroskops und operationsmikroskop
CN117242388A (zh) * 2021-04-22 2023-12-15 卡尔蔡司医疗技术股份公司 用于操作手术显微镜的方法以及手术显微镜

Also Published As

Publication number Publication date
DE102014102080B4 (de) 2021-03-11

Similar Documents

Publication Publication Date Title
DE102014102080B4 (de) Verfahren zur Bildaufnahme und Bildaufnahmesystem
DE102018219867B4 (de) Lernender Autofokus
DE102010043052B4 (de) Verfahren zur präzisen Dimensionsprüfung und Fokussierung
DE60203869T2 (de) Verfahren zur schnellen automatischen Belichtungs- oder Verstärkungsregelung in einem MOS Bildsensor
DE112010002934T5 (de) Mikroskop mit einem Strahl geladener Teilchen und Messverfahren dafür
DE102006039932A1 (de) Elektronisches Endoskopsystem
DE102006022596A1 (de) Röntgendetektor
DE112014007147T5 (de) Scharfstellsteuerungsvorrichtung, Endoskopvorrichtung und Verfahren zum Steuern der Scharfstellsteuerungsvorrichtung
DE102012201696A1 (de) Bildverarbeitungsvorrichtung, zugehöriges Steuerverfahren, Programm und Aufzeichnungsmedium
DE102008019410A1 (de) Bildstabilisierung mit adaptiver Verschlusssteuerung
DE102015119400A1 (de) Mehrfachkameravorrichtung und Verfahren zum synchronisierten Autofokussieren
DE102021100444A1 (de) Mikroskopiesystem und verfahren zum bewerten von bildverarbeitungsergebnissen
DE102012219775A1 (de) Einstelleinheit und Verfahren zum Einstellen eines Ablaufs zur automatischen Aufnahme von Bildern eines Objekts mittels einer Aufnahmevorrichtung und Aufnahmevorrichtung mit einer solchen Einstelleinheit
DE112006001641T5 (de) Signalverarbeitungseinrichtung
DE102014112002A1 (de) Verfahren zur Abbildung einer Probe mittels eines Mikroskops und Mikroskop
DE112017007270B4 (de) Ladungsträgerstrahlvorrichtung und Verfahren zum Einstellen von Bedingungen in einer Ladungsträgerstrahlvorrichtung
EP4016081B1 (de) Verfahren und vorrichtung zum detektieren einer präsenz eines fluoreszenzmustertyps auf einem organschnitt mittels immunfluoreszenzmikroskopie
EP2483731B1 (de) Automatisches fokussierverfahren für ein optisches instrument zum vergrösserten betrachten eines objektes
DE102009033675B4 (de) Verfahren zum Betreiben eines Röntgenbildaufnahmegerätes mit verfahrbarem Röntgenstrahlungsdetektor am Röntgen-C-Bogen
WO2022238343A1 (de) Bewertungsverfahren für simulationsmodelle in der mikroskopie
DE112014006356B4 (de) Verfahren zur Verbesserung der Bildqualität eines Ladungsträgerteilchen-Rastermikroskops und Ladungsträgerteilchen-Rastermikroskop
DE102005003225A1 (de) Verfahren und Einrichtung zum Erzeugen eines Röntgenbildes
DE102019129695A1 (de) Verfahren zum Vorbereiten eines Mikroskops für das Abbilden einer Probe
DE102018124015B4 (de) System und Verfahren zur Erfassung von Bildern
DE102013111861B4 (de) Verfahren und Vorrichtungen zur Bildoptimierung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: A61B0019000000

Ipc: A61B0034000000

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: A61B0034000000

Ipc: A61B0090000000

R018 Grant decision by examination section/examining division
R020 Patent grant now final