DE112012005521T5

DE112012005521T5 - Bildverarbeitungsvorrichtung, Bildaufnahme, Apparatur, Mikroskopapparatur, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm

Info

Publication number: DE112012005521T5
Application number: DE112012005521.7T
Authority: DE
Inventors: c/o Hamamatsu Photonics K. K. Takeshima Tomochika
Original assignee: Hamamatsu Photonics KK
Current assignee: Hamamatsu Photonics KK
Priority date: 2011-12-28
Filing date: 2012-08-31
Publication date: 2014-09-11
Also published as: JP2013137663A; CN104024833A; US20130169787A1; GB2515179B; GB201407785D0; US20180322329A1; US10055638B2; WO2013099356A1; JP5878756B2; GB2515179A; CN104024833B

Abstract

Die Bildverarbeitungsvorrichtung 10 beinhaltet eine Vorlagenvorbereitungseinheit 15 zum Vorbereiten, aus einer in Pixeln von M Zeilen und M Spalten (M ist eine Ganzzahl nicht kleiner als 3) enthaltenen Vorlage entsprechend einem Molekülmodell einer partiellen Vorlage entsprechend einer Form, für welche eine Form des Molekülmodells geteilt ist, eine Evaluierungswertberechnungseinheit 17 zum Evaluieren, im optischen Bild, unter Verwendung der partiellen Vorlage, die Passung zwischen dem optischen Bild und der partiellen Vorlage, um einen Evaluierungswert für jede Mehrzahl von Aufmerksamkeitspixeln zu berechnen, und eine Molekülortidentifikationseinheit 18 zum Identifizieren des Molekülorts im optischen Bild, basierend auf dem Evaluierungswert.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Mikroskopievorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm zum Identifizieren eines Molekülortes aus einem Aufnahmebild einer Probe.
Stand der Technik
Konventioneller Weise ist versucht worden, Bild aus einer, fluoreszente Moleküle oder dergleichen enthaltenden Probe aufzunehmen und den Ort der Moleküle, wie etwa fluoreszente Moleküle, mittels entsprechend erhaltener Bilddaten zu identifizieren. Beispielsweise offenbart die nachfolgende Nichtpatentliteratur 1 ein Verfahren zum Vorbereiten eines Superauflösungsbildes aus einem optischen Bild einer Probe. In diesem Verfahren wird ein Pixel mit einem Maximalluminanzwert aus, ein optisches Bild aufbauenden Pixeln als ein Kandidatenmolekül identifiziert, und wird nach Einpassen einer Luminanzverteilung von Modellmolekülen zum Bild, und dann Subtrahieren einer angepassten Modellmolekülluminanz-Verteilung aus dem Bild, das oben beschriebene Kandidatenmolekül gespeichert. Dann wird bezüglich dem Bild nach Subtraktion Identifikation eines Kandidatenmoleküls, Abpassen, Subtraktion einer Luminanzverteilung aus einem Bild und Speichern des Kandidatenmoleküls wiederholt und es wird ein Superauflösungsbild basierend auf den gespeicherten Kandidatenmolekülen erzeugt.
Zitateliste
Nichtpatentliteratur

Nichtpatentliteratur 1: Seamus J Holden, Stephan Uphoff & Achillefs N Kapanidis, „DAOSTORM: an algorithm for high density super-resolution microscopy”, Nature Methods, Band 8, Nr. 4, April 2011

Zusammenfassung der Erfindung
Technisches Problem
Allerdings ist das in der oben beschriebenen Nichtpatentliteratur 1 beschriebene Verfahren anwendbar, wenn eine Mehrzahl von Molekülen voneinander beabstandet sind, während, wenn eine Mehrzahl von Molekülen in engem Abstand zueinander sind, ein optisches Bild aus Licht von dem jeweiligen Molekülen überlappend erzeugt wird, und somit beim Verfahren zum Identifizieren eines Kandidatenmoleküls, basierend auf dem Luminanzwert, es schwierig ist, eine Mehrzahl von Molekülen getrennt zu unterscheiden. Alternativ kann eine Mehrzahl von Molekülen als ein einzelnes Molekül falsch identifiziert werden.
Daher ist die vorliegende Erfindung im Hinblick auf solche Probleme gemacht worden, und es ist eine Aufgabe derselben, eine Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Mikroskopievorrichtung, ein Bildverarbeitungsverfahren und Bildverarbeitungsprogramm bereitzustellen, welche zum Identifizieren einer Mehrzahl von Molekülen mit hoher Genauigkeit in der Lage sind.
Problemlösung
Um die oben beschriebenen Probleme zu lösen, ist ein Aspekt einer Bildverarbeitungsvorrichtung der vorliegenden Erfindung eine Bildverarbeitungsvorrichtung zum Identifizieren eines Molekülorts, basierend auf einem Aufnahmebild einer Probe, die durch ein Bildaufnahmeelement erhalten ist, und beinhaltet ein Vorlagen-Vorbereitungsmittel zum Vorbereiten, aus einer Pixeln von M Reihen und M Spalten (M ist eine Ganzzahl nicht kleiner als 3) enthaltender Vorlage entsprechend einem molekularen Modell, einer partiellen Vorlage entsprechend einer Form, in welche eine Form des Molekülmodells in einem vorgegebenen Verhältnis unterteilt ist, ein Evaluierungswert-Berechnungsmittel zum Evaluieren, im Aufnahmebild, unter Verwendung der partiellen Vorlage, die Formen entspricht, die um einen vorbestimmten Winkel rotiert sind, um ein ausgewähltes Aufmerksamkeitspixel, Abgleichen zwischen den Aufnahmebild und der partiellen Vorlage, um einen Evaluierungswert für jede Mehrzahl der Aufmerksamkeitspixel zu berechnen, und ein Molekülort-Identifizierungsmittel zum Identifizieren des Molekülortes im Aufnahmebild, basierend auf dem Evaluierungswert, der für eine Mehrzahl von Aufmerksamkeitspixeln im Aufnahmebild berechnet ist.
Alternativ beinhaltet ein Aspekt der Bildaufnahmevorrichtung der vorliegenden Erfindung die vorstehende Bildverarbeitungsvorrichtung und ein Aufnahmeelement zum Erhalten des Aufnahmebildes.
Alternativ beinhaltet ein Aspekt einer Mikroskopievorrichtung der vorliegenden Erfindung die vorstehende Bildverarbeitungsvorrichtung, ein Bildaufnahmeelement zum Ermitteln des Aufnahmebildes und ein optisches System zum Erzeugen eines Bildes der Probe für das Bildaufnahmeelement.
Alternativ ist ein Aspekt eines Bildverarbeitungsverfahrens der vorliegenden Erfindung ein Bildverarbeitungsverfahren zum Identifizieren eines Molekülorts, basierend auf einem Aufnahmebild einer Probe, das durch ein Bildaufnahmeelement erhalten wird, und beinhaltet einen Vorlagevorbereitungsschritt einer Bildverarbeitungsvorrichtung, der aus einer Vorlage, die in Pixeln von M Reihen und M Spalten (M ist eine Ganzzahl nicht kleiner als 3) entsprechend einem Molekülmodell enthalten ist, eine partielle Vorlage vorbereitet, die einer Form entspricht, für welche eine Form des Molekülmodelles in einem vorbestimmten Verhältnis unterteilt ist, einen Evaluierungswert-Berechnungsschritt der Bildverarbeitungsvorrichtung, der im Aufnahmebild unter Verwendung der partiellen Vorlage, die Formeln entspricht, die um einen vorbestimmten Winkel jeweils um ein ausgewähltes Aufmerksamkeitspixel rotiert sind, evaluiert, zwischen dem Aufnahmebild und der partiellen Vorlage abpasst, um einen Evaluierungswert für jede Mehrzahl der Aufmerksamkeitspixel zu berechnen, und einen Molekülort Identifizierungsschritt der Bildverarbeitungsvorrichtung, der den Molekülort im Aufnahmebild identifiziert, basierend auf dem Evaluierungswert, der für eine Mehrzahl der Aufmerksamkeitspixel im Aufnahmebild berechnet ist.
Alternativ ist ein Aspekt eines Bildverarbeitungsprogramms der vorliegenden Erfindung ein Bildverarbeitungsprogramm zum Identifizieren eines Molekülorts, basierend auf einem Aufnahmebild einer Probe, die durch ein Bildaufnahmeelement erhalten wird, und veranlasst einen Computer, als ein Vorlagenvorbereitungsmittel zu funktionieren, zum Vorbereiten, aus einer Vorlage, die in Pixeln von M Reihen und M Spalten (M ist eine Ganzzahl nicht kleiner als 3) enthalten ist, entsprechend einem Molekülmodell, einer partiellen Vorlage entsprechend einer Form für welche eine Form des Molekülmodells in ein vorgegebenes Verhältnis unterteilt ist, ein Evaluierungswertberechnungsmittel zum Evaluieren, im Aufnahmebild unter Verwendung der partiellen Vorlage entsprechend Formen, die jede um einen vorgegebenen Winkel rotiert sind, um ein ausgewähltes Aufmerksamkeitspixels, Abpassen zwischen dem Aufnahmebild und der partiellen Vorlage, um einen Evaluierungswert für jede Mehrzahl der Aufmerksamkeitspixel zu berechnen, und ein Molekülortidentifizierungsmittel zum Identifizieren des Molekülorts im Aufnahmebild, basierend auf dem Evaluierungswert, der für eine Mehrzahl von Aufmerksamkeitspixeln im Aufnahmebild berechnet ist.
Gemäß einer solchen Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Mikroskopievorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm wird eine partielle Vorlage, die aus einer Vorlage geteilt wird, die in Pixeln von M Reihen und M Spalten enthalten ist, vorbereitet, und wird durch Verwenden einer partiellen Vorlage entsprechend einer Form, die um ein Aufmerksamkeitspixel rotiert ist, das aus einem Aufnahmebild ausgewählt ist, ein Abgleich zwischen der partiellen Vorlage und dem Aufnahmebild evaluiert und wird ein Molekülort identifiziert, basierend auf dem ermittelten Evaluierungswert. Entsprechend kann ein Molekülbild, das um ein Aufmerksamkeitspixel verteilt ist, mit hoher Genauigkeit identifiziert werden, indem das Molekülbild mit einer Vorlage in einer geteilten Pixelregion abgeglichen wird, selbst wenn ein Teil des Molekülbilds mit einem anderen Molekülbild überlappt.
Vorteilhafter Effekt der Erfindung
Gemäß der vorliegenden Erfindung kann eine Mehrzahl von Molekülen mit hoher Genauigkeit in einem Aufnahmebild identifiziert werden.
Kurze Beschreibung von Zeichnungen
1 ist ein schematisches Konfigurationsdiagramm einer Mikroskopievorrichtung 1 entsprechend einer bevorzugten Ausführungsform der vorliegenden Erfindung.
2 sind Konzeptansichten, die Beispiele von Vorlagen zeigen, die durch eine Vorlagenvorbereitungseinheit 15 von 1 vorbereitet sind.
3 ist ein Graph, der ein Beispiel einer Verteilung von Luminanzwerten in Spaltenrichtung in einer Objektfläche eines Objekts zum Berechnen eines Evaluierungswertes durch eine Evaluierungswertberechnungseinheit 17 von 1 zeigt.
4 sind Konzeptansichten, die Beispiele von partiellen Vorlagen zeigen, welche durch die Evaluierungswertberechnungseinheit 17 von 1 regeneriert sind.
5 ist ein Flussdiagramm, das den Betrieb einer Vorlagenvorbereitungsverarbeitung durch eine Bildverarbeitungsvorrichtung 10 von 1 zeigt.
6 ist ein Flussdiagramm, welches den Betrieb einer Superauflösungsbildvorbereitungsverarbeitung durch die Bildverarbeitungsvorrichtung 10 von 1 zeigt.
7 sind Ansichten, die Aufnahmebilder von Objektflächen zeigen, welche durch die Bildverarbeitungsvorrichtung 10 von 1 zu verarbeiten sind.
8 ist ein Diagramm, das eine Hardwarekonfiguration eines Computers zum Ausführen eines auf einem Aufzeichnungsmedium gespeicherten Programms zeigt.
9 ist eine perspektivische Ansicht des Computers zum Ausführen eines auf einem Aufzeichnungsmedium gespeicherten Programms.
10 ist ein Flussdiagramm, das den Betrieb einer Superauflösungsbildvorbereitungsverarbeitung durch die Bildverarbeitungsvorrichtung 10 gemäß einer Modifikation der vorliegenden Erfindung zeigt.
Beschreibung von Ausführungsformen
Nachfolgend werden bevorzugte Ausführungsformen einer Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Mikroskopievorrichtung, eines Bildverarbeitungsverfahrens und Bildverarbeitungsprogramms gemäß der vorliegenden Erfindung im Detail unter Bezugnahme auf die Zeichnungen beschrieben. Auch wenn dieselben oder entsprechende Teile mit denselben Bezugszeichen in der Beschreibung der Zeichnungen bezeichnen und eine überlappende Beschreibung wird weggelassen.
1 ist ein schematisches Konfigurationsdiagramm einer Mikroskopievorrichtung 1 gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung. Die in derselben Figur gezeigte Mikroskopievorrichtung 1 ist eine Vorrichtung zum Identifizieren des Orts von Molekülen, wie etwa fluoreszente Moleküle oder lumineszente Moleküle in einer Probe wie etwa lebenden Zellen, und wird mit einer Bildverarbeitungsvorrichtung 10 zum Verarbeiten eines durch Aufnahme der Probe erhaltenen zweidimensionalen Pixel-Aufnahmebildes, ein Mikroskop 30 zum Erhalten eines optischen Bildes Probe, einer Relaislinse 50 zum Empfangen eines durch das Mikroskop 30 erhaltenen optischen Bildes und einem Bildaufnahmeelement 40, wie etwa einem CMOS-Sensor oder einem CCD-Sensor zum Aufnehmen eines optischen Bildes der durch die Relaislinse 50 fokussierten Probe und Erzeugen eines optischen Bildes (Aufnahmebild) aufgebaut.
Das Mikroskop 30 hat eine Probenbühne 31, auf der eine Probe platziert ist, eine Beleuchtungslichtquelle 32 zum Bestrahlen der Probe mit Beleuchtungslicht und eine Objektivlinse 33, die ein optisches System für die Beobachtung der Probe ist, auf. Die Relaislinse 50 ist zwischen dem Mikroskop 30 und dem Bildaufnahmeelement 40 angeordnet.
Die Bildverarbeitungsvorrichtung 10 beinhaltet einen Bildverarbeitungsabschnitt 11, der ein Datenprozessor ist, wie etwa eine Servervorrichtung und ein persönlicher Computer, ausgestattet mit einer CPU und zum Durchführen der Verarbeitung und Steuerung durch Software, einer Eingabeeinheit 12 zum Eingeben von Daten am Bildverarbeitungsabschnitt 11 von außen und eine Anzeigeeinheit 13, wie etwa eine Anzeige zum Ausgeben durch den Bildverarbeitungsabschnitt 11 prozessierten Ausgabedaten. Der Bildverarbeitungsabschnitt 11 beinhaltet als Funktionsbestandteile eine Optikbildspeichereinheit 14, eine Vorlagenvorbereitungseinheit (Vorlagenvorbereitungsmittel) 15, eine Flächeneinstelleinheit 16, eine Evaluierungswertberechnungseinheit (Evaluierungswertberechnungsmittel) 17, eine Molekülortidentifikationseinheit (Molekülortidentifizierungsmittel) 18, eine Molekülortspeichereinheit 19, ein Differenzbilderzeugungseinheit 20 und eine Ausgabebilderzeugungseinheit 21. Weiter besteht die Vorlagenvorbereitungseinheit 15 aus einer Vorlageneinstelleinheit 15a, einer Vorlageninformationsspeichereinheit 15b und einer Unterteiltregion-Einstelleinheit 15c.
Nachfolgend wird die Funktion der Komponenten des Bildverarbeitungsabschnitts 11 im Detail beschrieben.
Die Optikbildspeichereinheit 14 ist ein Informationsspeichermittel zum zeitweiligen Speichern eines durch das Bildaufnahmeelement 40 erzeugten Optikbildes. Die Vorlageneinstelleinheit 15a liest aus der Optikbildspeichereinheit 14 ein durch das Bildaufnahmeelement 40 erhaltenes Einzelmoleküloptikbild aus, basierend auf einer Modellprobe, die ein einzelnes fluoreszentes Molekül enthält, und bereitet aus dem Einzelmoleküloptikbild eine Vorlage vor, die ein zweidimensionales Bild ist, das aus Pixeln von M Reihen und M Spalten (M ist eine Ganzzahl nicht kleiner als 3) entsprechend einem Einzelfluoreszenzmolekül-Modell aufgebaut ist. Weil Einzelmolekülfluoreszenz allgemein eine zweidimensionale Gauss'sche Verteilung aufweist, führt die durch die Vorlageneinstelleinheit 15a vorbereitete Vorlage zu Bilddaten einer Luminanz entsprechend einer zweidimensionalen Gauss'schen Verteilung in einer Pixelregion entsprechend einer kreisförmigen Region oder maßgeblich kreisförmigen Region innerhalb des Bereichs von M Reihen und M Spalten. Solch eine kreisförmige Region oder maßgeblich kreisförmige Region entspricht der Form des Einzelfluoreszenzmolekül-Modells. 2a zeigt eine Konzeptansicht, die ein Beispiel einer mit 5 Zeilen und 5 Spalten vorbereiteten Vorlage T1,, zeigt und im rechteckigen Bild von 5 Zeilen und 5 Spalten in derselben Figur zeigt der abgeschattete Bereich entsprechend eine kreisförmige Region C1 an, dass Pixel für welche signifikante Werte entsprechend einer zweidimensionalen Gauss'schen Verteilung eingestellt worden sind als Luminanzwerte. Das hier Bezug genommene „Pixel mit einem signifikanten Wert” bedeutet ein Pixel, das Luminanz, das heißt Lichtemission eines vorbestimmten Werts (beispielsweise eines Nullwerts) oder mehr im Hinblick auf einen Luminanzwert zeigt.
Die Geteilt-Regioneinstelleinheit 15c liest eine durch die Vorlageneinstelleinheit 15a erzeugte Vorlage aus der Vorlageninformationsspeichereinheit 15b, bereits partielle Vorlagen, für welche die Vorlage in eine Mehrzahl von Verhältnissen, die farbdefiniert sind, unterteilt wird, vor, und speichert jene partiellen Vorlagen in der Vorlageninformationsspeichereinheit 15b. Wenn im Detail beschrieben bereitet die Geteilt-Regioneinstelleinheit 15c, wenn eine Vorlage entsprechend einem kreisförmigen Region C1 erzeugt wird, basierend auf der Vorlage, eine partielle Vorlage als eine Pixelgruppe entsprechend einer Fächerform mit einem vorbestimmten Zentralwinkel vor. Hier ist der vorbestimmten Zentralwinkel ein Zentralwinkel mit einem Winkel von α × 360°, der durch Multiplizieren von 360°, was ein zentraler Winkel der zirkulären Region C1, die eine Vorlage bildet, ist, mit α (α ist eine Zahl größer als 0 und kleiner als 1) erhalten wird. Die Geteilt-Regioneinstelleinheit 15c bereitet eine Mehrzahl von partiellen Vorlagen vor, die unterschiedliche Werte von α haben. Beispielsweise wie in 2b, c, d und e gezeigt, bereitet die Geteilt-Regioneinstelleinheit 15c partielle Vorlagen T2, T3, T4 und T5 mit Pixeln entsprechend fächerförmigen Regionen C2, C3, C4 und C5 vor, die zentrale Winkel aufweisen, die durch Multiplizieren von 360°, was ein zentraler Winkel der zirkulären Region C1 ist, mit 1/4, 1/3, 1/2, beziehungsweise 2/3 erhalten werden. Die derart vorbereiteten partiellen Vorlagen T2, T3, T4 und T5 werden auf welche eingestellt entsprechend dem fächerförmigen Regionen C2, C3, C4 und C5, deren zentrale Winkel auf 90°, 120°, 180° bzw. 240° eingestellt sind.
Die Flächeneinstelleinheit 16 liest ein Optikbild eines Objektes einer Molekülortidentifizierungsverarbeitung aus der Optikbildspeichereinheit 14 aus und stellt eine Objektfläche eines Vorlagenabgleichsverarbeitung für das Optikbild ein. Das heißt, dass die Flächeneinstelleinheit 16 entsprechend einer Pixelgröße von M Zeilen und M Spalten, was die Größe eines Einzelfluoreszenzmolekülmodells ist, eine rechtwinklige Objektfläche von 2 × M Zeilen und 2 × M Spalten ein. Dann, jedes Mal, wenn eine Vorlagenabgleichsverarbeitung für ein optisches Bild wiederholt wird, ändert die Flächeneinstelleinheit 16 die Objektfläche im optischen Bild. Beispielsweise stellt die Flächeneinstelleinheit 16 die Objektfläche von 2 × M Zeilen und 2 × M Spalten im Optikbild durch Verschieben jedes Mal um ein Pixel ein. Zusätzlich kann die Flächeneinstelleinheit 16 als die Objektfläche einer Vorlagenabgleichsverarbeitung eine Fläche entsprechend kreisförmigen Region einstellen, welche eine Größe des Einzelfluoreszenzmolekül-Modells aufweist, und kann die Fläche mit einer Größe von β × M Zeilen und β × M Spalten (β ist eine Zahl größer als 1) einstellen.
Die Evaluierungswertberechnungseinheit 17 wählt ein Aufmerksamkeitspixel in der durch die Flächeneinstelleinheit 16 eingestellten Objektfläche aus und berechnet durch Verwendung einer partiellen Vorlage entsprechend Fächerformen, die um einen vorbestimmten Winkel (Winkel größer als 0°) rotiert sind, alle um das Aufmerksamkeitspixel, für jede Mehrzahl von Aufmerksamkeitspixeln, die in der Objektfläche enthalten sind, einen Evaluierungswert zur Evaluierung von Luminanzabpassung zwischen dem Optikbild und der partiellen Vorlage. Zu dieser Zeit stellt die Evaluierungswertberechnungseinheit 17 ein partielle Verwendungsvorlage ein, basierend auf einem Luminanzpegel des Aufmerksamkeitspixels. Das heißt, dass die Evaluierungswertberechnungseinheit 17 den zentralen Winkel der Region C2, C3, C4 oder C5 entsprechend einer partiellen Vorlage gemäß dem Luminanzwert des Aufmerksamkeitspixels auswählt und eine partielle Vorlage entsprechend der ausgewählten Region C2, C3, C4 oder C5 aus der Vorlageninformationsspeichereinheit 15b ausliest.
3 zeigt ein Beispiel einer Verteilung von Luminanzwerten in Spaltenrichtung in einer Objektfläche eines Objektes zum Berechnen eines Evaluierungswerts durch die Evaluierungswertberechnungseinheit 17. Wenn die Luminanzwerte in der Objektfläche so vom Minimalwert V_LMIN bis zum Maximalwert V_LMAX, verteilt sind, wählt die Evaluierungswertberechnungseinheit 17 die partielle Vorlage T5 (2(e)) aus, deren zentraler Winkel 240° für ein Aufmerksamkeitspixel ist, dessen Luminanzwert in einem Bereich R₁ vom Minimalwert V_LMIN bis 30% zwischen dem Minimalwert V_LMIN und dem Maximalwert V_LMAX ist. Der Maximalwert V_LMAX wird auf die Maximalluminanz eingestellt, die nach Ausschließen von 0,5% der höchsten Luminanzwerte aus allen jenen Pixeln in der Objektfläche bestimmt sind, um somit nicht eine Rauschkomponente zu beinhalten. Darüber hinaus wählt die Evaluierungswertberechnungseinheit 17 die partielle Vorlage T4 (2(d)), deren zentraler Winkel 180° ist, als ein Aufmerksamkeitspixel aus, dessen Luminanzwert in einem Bereich R₂ von 30% bis 50% zwischen dem Minimalwert V_LMIN und dem Maximalwert V_LMAX ist. Darüber hinaus wählt die Evaluierungswertberechnungseinheit 17 die partielle Vorlage T3 (2(c)), deren zentraler Winkel 120° beträgt, als eine Aufmerksamkeitspixel aus, dessen Luminanzwert im Bereicht R₃ von 50% bis 70% zwischen dem Minimalwert V_LMIN und dem Maximalwert L_MAX liegt. Weiter wählt die Evaluierungswertberechnungseinheit 17 die partielle Vorlage T2 (2(b)), deren Zentralwinkel 90° ist, als ein Aufmerksamkeitspixel aus, dessen Luminanzwert in einem Bereich R₄ von 70% zwischen dem Minimalwert V_LMIN und dem Maximalwert V_LMAX bis zum Maximalwert V_LMAX liegt. Der Grund für dieses Einstellen der Größe des zentralen Winkels der partiellen Vorlage gemäß dem Luminanzwert ist wie folgt. Es ist nämlich in einem Hochluminanzort hochwahrscheinlich, dass Moleküle existieren, die miteinander überlappen, und ein Teil zum Abpassen einer Vorlage darauf beschränkt ist, eng zu sein, während es an einer Niederluminanzposition unwahrscheinlich ist, dass Moleküle existieren, die miteinander überlappen und es kann ein Teil zum Abgleichen einer Vorlage weitgehend sichergestellt werden.
Dann überlagert die Evaluierungswertberechnungseinheit 17 beim Berechnen eines Evaluierungswerts unter Verwendung einer ausgewählten partiellen Vorlage für Aufmerksamkeitspixel, die partielle Vorlage, die am ausgewählten Aufmerksamkeitspixel zentriert ist, berechnet die Summe der quadrierten Differenzen (SSDs) in der Luminanz zwischen den Pixeln in der Objektfläche um die Aufmerksamkeitspixel und die partielle Vorlage herum, und berechnet als einen Evaluierungswert einen Wert, der durch Normalisieren der Summe der quadrierten Differenzen durch die Luminanz des Aufmerksamkeitspixels erhalten wird. Weiter regeneriert die Evaluierungswertberechnungseinheit 17 eine partielle Vorlage entsprechend Formen der ausgewählten partiellen Vorlage, die um jeweils einen vorbestimmten Winkel rotiert sind und berechnet Evaluierungswerte in derselben Weise wie oben unter Verwendung der regenerierten partiellen Vorlage. Wenn im Detail beschrieben, regeneriert die Evaluierungswertberechnungseinheit 17, wenn sie die partielle Vorlage T2 (4(a)) entsprechend der fächerformigen Region C2, deren Zentralwinkel 90° beträgt, ausgewählt hat, partielle Vorlagen durch Rotieren der partiellen Vorlage in Schritten um einen Winkel (beispielsweise 360°/16 Pixel = 22,5° im Falle einer Vorlage von 5 Zeilen und 5 Spalten) der partiellen Vorlage, geteilt durch die Anzahl von Pixeln in Umfangsrichtung. Jedoch sind die Winkelschritte, durch welche die partielle Vorlage rotiert wird, nicht auf einen Winkel beschränkt, der durch Unterteilen durch die Anzahl von Pixeln in der Umfangsrichtung erhalten wird, und können beliebig vorbestimmte Winkelschritte sein (beispielsweise 1° jedes Mal), die vorab eingestellt werden. Die 4(b) bis (f) zeigen partielle Vorlagen T21 bis T25, die entsprechend Regionen C21 bis C25 regeneriert sind, die durch Rotieren der fächerförmigen Region C2 um ihren Zentrum als einem Rotationszentrum um 22,5°, 45°, 292,5°, 315° bzw. 337,5° erhalten werden. Weiter berechnet die Evaluierungswertberechnungseinheit 17 Evaluierungswerte unter Verwendung der ausgewählten und regenerierten Mehrzahl von partiellen Vorlagen und bestimmt unter anderem einen Wert mit dem höchsten Grad an Passung, das heißt, dem minimalen berechneten Evaluierungswert, als einen Evaluierungswert der Aufmerksamkeitspixel. Zusätzlich kann die Evaluierungswertberechnungseinheit 17 einen Durchschnittswert der Evaluierungswerte, berechnet für die Mehrzahl von partiellen Vorlagen, als einen Evaluierungswert der Aufmerksamkeitspixel bestimmen.
Die Molekülortidentifikationseinheit 18 zielt auf Evaluierungswerte, die für eine Mehrzahl von Objektflächen berechnet sind, die in dem optischen Bild enthalten sind, um einen Evaluierungswert eines hohen Passungsgrades zu identifizieren, und identifiziert die Position von Aufmerksamkeitspixeln, die die identifizierten Evaluierungswerte aufweisen, als einen Molekülort im optischen Bild. Die Identifikation eines Evaluierungswerts hohen Passungsgrades kann durch Vergleichen mit einem vorgegebenen Schwellenwert durchgeführt werden oder kann durch Auswahlen eines Evaluierungswerts des höchsten Passungsgrades in der Objektfläche erfolgen. Darüber hinaus kann im Falle der simultanen Identifikation einer Mehrzahl von Molekülorten im optischen Bild die Molekülortidentifikationseinheit 18 eine Mehrzahl von Molekülorten auswählen, so dass die Distanz zwischen den Molekülorten eine vorgegebene Distanz übersteigt (beispielsweise die Größe eines Moleküls). Die Molekülortidentifikationseinheit speichert den identifizierten Molekülort in der Molekülortspeichereinheit 19 bei jeder Identifikation.
Die Differenzbilderzeugungseinheit 20 schließt aus dem durch die Flächeneinstelleinheit 16, der Evaluierungswertberechnungseinheit 17 und der Molekülortidentifikationseinheit 18 verbarbeiteten optischen Bild unter Bezugnahme auf den durch die Moleküleortidentifikationseinheit 18 identifizierten Molekülort den Luminanzwert entsprechend einer Vorlage entsprechend einem Einzelfluoreszenzmolekül-Modell aus. Spezifisch subtrahiert die Differenzbilderzeugungseinheit 20 im optischen Bild um ein, einem Molekülort entsprechenden Pixel herum, vom Luminanzwert für jedes der Mehrzahl von Pixeln entsprechend einer Vorlage den Luminanzwert an einer entsprechenden Position in der Vorlage, die um den Molekularort herum zentriert angeordnet ist. Die Differenzbilderzeugungseinheit 20 gibt das der Substraktionsverarbeitung unterworfene optische Bild an die Flächeneinstelleinheit 16 aus und veranlasst, dass die Vorlagenpassungsverarbeitung und Molekülortidentifikationsverarbeitung für das optische Bild wiederholt wird.
Die Ausgabebilderzeugungseinheit 21 erzeugt ein Superauflösungsbild, das ein Ausgabebild ist, das einen in der Molekülortspeichereinheit 19 gespeicherten Molekülort angibt und gibt das Bild an die Anzeigeeinheit 13 aus. Das Superauflösungsbild kann überlagert auf ein optisches Bild ausgegeben werden, das in der Optikbildspeichereinheit 14 gespeichert ist, oder kann als einziges Bild, das einen Molekülort angibt, ausgegeben werden.
Nachfolgend wird der Betrieb der Bildverarbeitungsvorrichtung 10 beschrieben, während ein Bildverarbeitungsverfahren gemäß der vorliegenden Erfindung im Detail erläutert wird. 5 ist ein Flussdiagramm, das den Betrieb einer Vorlagenvorbereitungsverarbeitung durch die Bildverarbeitungsvorrichtung 10 zeigt. 6 ist ein Flussdiagramm, das den Betrieb einer Superauflösungsbildvorbereitungsverarbeitung durch die Bildverarbeitungsvorrichtung 10 zeigt. Die 7 sind Ansichten, die Aufnahmebilder von Objektflächen zeigen, die durch die Bildverarbeitungsvorrichtung 10 zu verarbeiten sind.
Bezugnehmend auf 5, wenn ein Superauflösungsbild aus einem optischen Bild einer Probe eines Verarbeitungsobjektes vorbereitet wird, wird vorab durch die Bildverarbeitungsvorrichtung 10 davor eine Vorlagenvorbereitungsverarbeitung ausgeführt. Zuerst wird das Einzelmoleküloptikbild durch das Bildaufnahmeelement 40 ermittelt, basierend auf einer Modellprobe, die ein einzelnes fluoreszentes Molekül enthält, und wird das ermittelte Einzelmoleküloptikbild in der Optikbildspeichereinheit 14 gespeichert (Schritt S01). Dann wird durch die Vorlageneinstelleneinheit 15a das Einzelmoleküloptikbild aus der Optikbildspeichereinheit 14 ausgelesen und es wird eine Vorlage, die ein zweidimensioinales Bild von M Zeilen und M Spalten (M ist eine Ganzzahl nicht kleiner als 3) ist, aus dem Einzelmoleküloptikbild vorbereitet (Schritt S02). Die vorbereitete Vorlage wird in der Vorlageinformationsspeichereinheit 15b gespeichert. Weiter wird durch die Geteilt-Regioneinstelleinheit 15c eine partielle Vorlage, welche eine Pixelgruppe entsprechend einer Fächerform ist, die einen vorbestimmten Zentralwinkel (α (α ist eine Zahl größer 0 und kleiner 1) × 360°) aufweist, aus der Vorlage vorbereitet (Schritt S03). Die partielle Vorlage wird als eine Mehrzahl von partiellen Vorlagen, die sich in zentralen Winkeln unterscheiden, vorbereitet und die vorbereitete Mehrzahl von partiellen Vorlagen wird in der Vorlageninformationsspeichereinheit 15b gespeichert.
Bezugnehmend auf 6 wird nach Abschluss der oben beschriebenen Vorlage und Vorbereitungsverarbeitung eine Superauflösungsbildvorbereitungsverarbeitung zum Vorbereiten eines Superauflösungsbild aus einem optischen Bild einer Probe eines Verarbeitungsobjekts durch die Bildverarbeitungsvorrichtung 10 gestartet. Im Detail beschrieben wird zuerst ein optisches Bild durch das Bildaufnahmeelement 40, basierend auf der Objektprobe erhalten und wird das erhaltene optische Bild in der Optikbildspeichereinheit 14 gespeichert (Schritt S101). Dann wird durch die Flächeneinstelleinheit 16 eine Objektfläche (7(a)) von β × M Zeilen und β × M Spalten (β ist eine Anzahl größer 1) in mehreren Nummern im optischen Bild eingestellt und wird eine Objektflächen-basierte Molekülluminanzkarte vorbereitet (Schritt S102). Die Molekülluminanzkarte wird als Daten vorbereitet, für die eine Summe von Luminanzwerten einer Einzelmolekülregion (Einzelmolekülgrößenquadratregion) um jedes Pixel in der Objektfläche auf jedes Pixel abgebildet wird. Dann wird durch die Flächeneinstelleinheit 16, basierend auf der Molekülluminanzkarte, ein Pixel mit einer Summe von Luminanzwerten nicht kleiner als ein voreingestellter Schwellenwert als ein Aufmerksamkeitspixel ausgewählt (Schritt S103, (7b)). Beispielsweise werden durch die Flächeneinstelleinheit 16 die durch Schattierung in 7b gezeigten Pixel ausgewählt, indem sie als Aufmerksamkeitspixel eingegrenzt werden.
Weiterhin wird durch die Evaluierungswertberechnungseinheit 17 eines der eingegrenzten Aufmerksamkeitspixel ausgewählt (Schritt S104). Als Nächstes wird durch die Evaluierungswertberechnungseinheit 17 der zentrale Winkel einer partiellen Vorlage, die für eine Evaluierungswertberechnung zu verwenden ist, anhand des Luminanzwerts des Aufmerksamkeitspixels eingestellt und wird eine, dem zentralen eingestellten Winkel entsprechende partielle Vorlage aus der Vorlageninformationsspeichereinheit 15b ausgelesen (Schritt S105). Dann wird durch die Evaluierungswertberechnungseinheit 17 ein Evaluierungswert per Aufmerksamkeitspixel unter Verwendung der ausgelesenen, partiellen Vorlage berechnet (Schritt S106). Weiter wird durch die Evaluierungswertberechnungseinheit 17 festgestellt, ob ein Aufmerksamkeitspixel eines Objekts zur Berechnung eines Evaluierungswerts verbleibt (Schritt S107). Als Ergebnis der Bestimmung, wenn es ein verbleibendes Aufmerksamkeitspixel gibt (Schritt S107: Ja) wird der Prozess zum Schritt S104 rückgeführt, um die Einstellung einer partiellen Vorlage und die Berechnung eines Evaluierungswerts zu wiederholen. Wenn es andererseits kein verbleibendes Aufmerksamkeitspixel gibt (Schritt S107: Nein), wird durch die Molekülortidentifikationseinheit 18 die Position eines Kandidatenpixels, das ein Kandidat für einen Molekülort ist, identifiziert (Schritt S108, 7(c)). Beispielsweise wird durch die Molekülortidentifkationseinheit 18 die Position des durch Schattierung in 7c gezeigten Pixels als ein Kandidatenpixel identifiziert.
Als Nächstes wird durch die Differenzbilderzeugungseinheit 20 unter Bezugnahme auf den durch die Molekülortidentifikationseinheit 18 identifizierten Molekülort die Vorlage entsprechend einem Molekülbild eines Einzelfluoreszenzmolekül-Modelles vom optischen Bild subtrahiert (Schritt S109, 7(d)). Weiter wird durch die Differenzbilderzeugungseinheit 20 festgestellt, ob es ein Pixel (effektives Pixel) gibt, das einen signifikanten Wert in dem optischen Bild nach Subtraktion aufweist (Schritt S110). Als Ergebnis, wenn festgestellt wird, das es ein effektives Pixel gibt (Schritt S110: Ja), wird der Prozess zu Schritt S102 rückgeführt, um die Aufmerksamkeitspixeleingrenzverarbeitung und die Molekülortidentifikationsverarbeitung für das optische Bild nach Subtraktion zu wiederholen (7(e) und (f)). Wenn andererseits festgestellt wird, dass es kein effektives Pixel gibt (Schritt S110: Nein), wird die Molekülortidentifikationsverarbeitung abgeschlossen und wird durch die Ausgabebilderzeugungseinheit 21 ein Superauflösungsbild, basierend auf dem/den Kandidatenpixel(n), die bislang identifiziert worden sind, erzeugt und ausgegeben (Schritt S111).
Nachfolgend wird ein Bildverarbeitungsprogramm beschrieben, das einen Computer veranlasst, als die Bildverarbeitungsvorrichtung 10 zu arbeiten.
Das Bildverarbeitungsprogramm gemäß der Ausführungsform der vorliegenden Erfindung wird in einem Aufzeichnungsmedium gespeichert bereitgestellt. Als Aufzeichnungsmedium sei ein Aufzeichnungsmedium wie etwa eine Floppy(registriertes Warenzeichen)-Disk, eine CD-Rom, eine DVD oder ein ROM, ein Halbleiterspeicher oder dergleichen exemplifiziert.
8 ist ein Diagramm, das eine Hardwarekonfiguration eines Computers zum Ausführen eines auf einem Aufzeichnungsmedium gespeicherten Programms zeigt und 9 ist eine perspektive Ansicht des Computers zum Ausführen eines auf dem Aufzeichnungsmedium gespeicherten Programms. Beispiele des Computers beinhalten verschiedene Datenprozessoren wie etwa Servervorrichtungen und persönliche Computer, die mit CPU's versehen sind, und zum Durchführen von Verarbeitung und Steuerung durch Software gedacht sind.
Wie in 8 gezeigt, beinhaltet der Computer 130 eine Lesevorrichtung 112, wie etwa eine Floppy (registrierte Marke) Disk Laufwerkvorrichtung, ein CD-ROM Laufwerkvorrichtung oder ein DVD Laufwerkvorrichtung, einen Arbeitsspeicher (RAM) 114, in welchem ein Betriebssystem resident ist, einen Speicher 116 zum Speichern eines auf einem Aufzeichnungsmedium 110 gespeicherten Programms, eine Anzeigevorrichtung 118, wie etwa eine Anzeige, eine Maus 120 und eine Tastatur 122, die eine Eingabevorrichtung ist, eine Kommunikationsvorrichtung 124 zum Durchführen von Senden und Empfangen von Daten etc. und eine CPU 126 zum Steuern der Ausführung eines Programms. Der Computer 130 kann, wenn das Aufzeichnungsmedium 110 in die Lesevorrichtung 112 eingeführt wird, auf ein auf dem Aufzeichnungsmedium 110 gespeichertes Bildverarbeitungsprogramm über die Lesevorrichtung 112 zugreifen und wird durch besagtes Bildverarbeitungsprogramm in die Lage versetzt, als die Bildverarbeitungsvorrichtung 10 der vorliegenden Ausführungsform zu arbeiten.
Wie in 9 gezeigt, kann das Bildverarbeitungsprogramm über ein Netzwerk als ein Computerdatensignal 141, das einem Träger überlagert ist, bereitgestellt werden. In diesem Fall kann der Computer 130 ein durch die Kommunikationsvorrichtung 124 im Speicher 116 empfangenes Bildverarbeitungsprogramm speichern und das Bildverarbeitungsprogramm ausführen.
Gemäß der oben beschriebenen Mikroskopievorrichtung 1 wird eine partielle Vorlage, die von einer in Pixeln von M Reihen und M Spalten enthaltenen Vorlage geteilt wird, vorbereitet und wird durch Verwenden einer partiellen Vorlage entsprechend einer um ein Aufmerksamkeitspixel rotierte Form, das aus einem optischen Bild der Objektprobe ausgewählt wird, eine Abpassung zwischen der partiellen Vorlage und dem optischen Bild evaluiert und wird ein Molekülort basierend auf dem ermittelten Evaluierungswert identifiziert. Entsprechend kann ein um einen Aufmerksamkeitspixel verteiltes Molekülbild mit hoher Genauigkeit durch Abpassung des Molekülbilds mit einer Vorlage in einer geteilten Pixelregion identifiziert werden, selbst wenn ein Teil des Molekülbilds mit einem anderen Molekülbild überlappt. Spezifisch wird ein Bild als eine, einem zirkulären Bild entsprechende Form aufweisende Vorlage erzeugt, wird ein, einer Fächerform entsprechendes Bild aus dem kreisförmigen Bild als partielle Vorlage erzeugt und wird der Abpassungsgrad mittels der partiellen Vorlage evaluiert, die leicht in einen Kantenteil eines Molekülbilds passt, und somit kann die zentrale Position eines Moleküls mit höherer Genauigkeit identifiziert werden, selbst für ein optisches Bild, bei dem eine Mehrzahl von Molekülbildern überlappen. Das heißt, dass unter Verwendung der partiellen Vorlage entsprechend einer Fächerform ein Kantenteil eines einzelnen Moleküls mit hoher Genauigkeit herausgefunden werden kann, um darauf basierend die zentrale Position des Moleküls zu identifizieren.
Darüber hinaus wird es für die partielle Vorlage bevorzugt, dass sie Pixel entsprechend einer Fächerform aufweist, die einen zentralen Winkel aufweist, für welche ein zentraler Winkel der Vorlage mit α multipliziert wird (α ist eine Zahl kleiner 1 und größer 0). Entsprechend, wenn die Vorlage kreisförmig oder im Wesentlichen kreisförmig ist, kann eine partielle Vorlage mit einer angemessenen Form vorbereitet werden.
Darüber hinaus wird es bevorzugt, dass die partielle Vorlage als eine Mehrzahl von partiellen Vorlagen vorbereitet wird, die von unterschiedlichen zentralen Winkeln sind. Entsprechend können unterschiedliche partielle Vorlagen gemäß der Situation verwendet werden.
Darüber hinaus, weil der zentrale Winkel der partiellen Vorlage entsprechend dem Pixelwert eines Aufmerksamkeitspixels eines Objekts zum Evaluieren der Abpassung durch die Evaluierungswertberechnungseinheit 17 ausgewählt wird, kann als ein Ergebnis des Teilungsverhältnisses einer partiellen Vorlage, die anhand des Überlappungsgrades einer Mehrzahl von Molekülen und einem optischen Bild justiert wird, die Passung zwischen einem Molekülbild und einer partiellen Vorlage angemessen evaluiert werden. Folglich kann ein Molekülort mit hoher Genauigkeit identifiziert werden.
Es wird bevorzugt, wenn die Evaluierungswertberechnungseinheit 17 einen Evaluierungswert unter Verwendung einer partiellen Vorlage entsprechend Formen berechnet, die durch einen vorbestimmten Winkel jede um ein ausgewähltes Aufmerksamkeitspixel rotiert sind, dass der vorbestimmte Winkel ein Winkel ist, der durch Teilen der Anzahl von Pixeln in Umfangsrichtung einer Pixelgruppe von M Zeilen und M Spalten entsprechend einer Vorlage erhalten wird. Zu dieser Zeit ist die Anzahl von Pixeln in der Umfangsrichtung einer Pixelgruppe von M Zeilen und M Spalten 4×M-4 Pixel. Entsprechend kann die Überlappung der partiellen Vorlagen reduziert werden und kann eine Berechnung eines Evaluierungswerts ausreichend durchgeführt werden.
Darüber hinaus, weil ein Aufmerksamkeitspixel aus den Pixeln ausgewählt wird, die in einem optischen Bild enthalten sind, basierend auf den Pixelwerten durch die Evaluierungswertberechnungseinheit 17, wird eine Verarbeitung zum Berechnen eines Evaluierungswerts und Identifizieren eines Molekülorts nur für die Aufmerksamkeitspixel mit einer hohen Wahrscheinlichkeit durchgeführt, dass ein Molekül existiert. Als Ergebnis kann die Verarbeitungslast der Vorrichtung reduziert werden und wird ein Molekülort mit hoher Genauigkeit identifiziert.
Es ist bevorzugter, dass eine durch die Evaluierungswertberechnungseinheit 17 zu evaluierende Objektfläche β × M Zeilen und β × M Spalten (β ist eine Zahl größer 1) ist, wenn eine Vorlage von M Zeilen und M Spalten verwendet wird. Selbst wenn eine Mehrzahl von Aufmerksamkeitspixeln mit hohem Evaluierungswerten in einem engen Bereich existieren, kann ein Molekülort mit hoher Genauigkeit identifiziert werden.
Zusätzlich ist die vorliegende Erfindung nicht auf die oben erwähnte Ausführungsform beschränkt. Beispielsweise kann die Bildverarbeitungsvorrichtung 10 eine Bildaufnahmevorrichtung wie etwa eine Kameraeinheit bilden, die mit dem Bildaufnahmeelement 40 integriert ist.
Darüber hinaus, wenn eine Vorlage und eine partielle Vorlage durch die Vorlageneinstelleinheit 15a und die geteilte Regionseinstelleinheit 15c vorbereitet werden, können diese basierend auf verschiedene Parameter wie etwa einem Zentralwinkel, der von außen durch die Eingabeeinheit 12 eingegeben wird, und einem Luminanzbereich zum Bestimmen eines zentralen Winkels der partiellen Vorlage vorbereitet werden.
Darüber hinaus kann nach Identifizieren eines Molekülorts für ein optisches Bild durch den Bildverarbeitungsabschnitt 11 ein Molekülort für Pixel wieder identifiziert werden, für welche ein Kandidatenpixel entsprechend einem Molekülort in der Mehrzahl von unterteilten Regionen geteilt ist. 10 ist ein Flussdiagramm, das die Prozedur für eine Superauflösungsbildvorbereitungsverarbeitung durch den Bildverarbeitungsabschnitt 11 in diesem Fall zeigt.
Wie in derselben Figur gezeigt, wenn die Superauflösungsbildvorbereitungsverarbeitung gestartet wird, wird in derselben Weise wie ab Schritt S111 bis Schritt S108 von 6 die Position eines Kandidatenpixels in einem optischen Bild identifiziert (Schritt S201, Schritt S202). Als Nächstes wird durch die Flächeneinstelleinheit 16 jedes Pixel des optischen Bildes in Unterpixel (aufgeteilte Regionen) von 10 Zeilen und 10 Spalten geteilt (Schritt S203). Dann werden für die in dem Kandidatenpixel im geteilten optischen Bild enthaltenen Unterpixel in derselben Weise wie in Schritt S102 bis Schritt S108 Evaluierungswerte berechnet, wird eine detaillierte Position des Kandidatenpixels in Unterpixeln identifiziert, basierend auf den Evaluierungswerten (Schritt S204). Hier werden als eine Vorlage und eine partielle Vorlage, die zu verwenden sind, solche verwendet, die vorvorbereitet sind, entsprechend der Auflösung des geteilten optischen Bildes und der Größe eines Einzelfluoreszenzmolekül-Modells. Dann wird durch die Differenzbilderzeugungseinheit 20 dem Einzelfluoreszenzmolekül-Modell entsprechende Vorlage vom optischen Bild unter Bezugnahme auf die Position des identifizierten Kandidatenpixels subtrahiert (Schritt S205). Weiter wird durch die Differenzbilderzeugungseinheit 20 festgestellt, ob es ein Effektivpixel im optischen Bild nach Subtraktion gibt (Schritt S206). Als Ergebnis, wenn festgestellt wird, dass es ein Effektivpixel gibt (Schritt S206: Ja), kehrt der Prozess zum Schritt S202 zurück, um die Molekülortidentifikationsverarbeitung für die nicht geteilten und geteilten optischen Bilder nach Subtraktion zu wiederholen. Wenn andererseits festgestellt wird, dass es kein effektives Pixel gibt (Schritt S206: Nein) wird die Molekülortidentifikationsverarbeitung abgeschlossen und wird durch die Ausgabebilderzeugungseinheit 21 ein Superauflösungsbild basierend auf den Kandidatenpixel(n), die soweit identifiziert worden sind, erzeugt und ausgegeben (Schritt S207). Gemäß einer solchen Superauflösungsbildvorbereitungsverarbeitung kann ein Molekülort im optischen Bild detaillierter identifiziert werden.
Darüber hinaus kann als optisches Bild eines Verarbeitungsobjekts der Bildverarbeitungsvorrichtung 10 ein durch das Bildaufnahmeelement 40 erhaltenes Originalbild verwendet werden und kann ein optisches Bild, für welches die Auflösung eines Originalbildes durch downsampling degradiert ist, verwendet werden, wenn die Auflösung des Originalbildes relativ hoch ist.
Darüber hinaus kann die Bildverarbeitungsvorrichtung 10 eine Objektfläche nach Berechnen eines Evaluierungswerts durch Durchführen von Vorlagenabgleich zu Aufmerksamkeitspixeln im optischen Bild einstellen und ein Pixel mit dem höchsten Passungsgrad in der Objektfläche als einen Molekülort identifizieren.
Das heißt, dass die Evaluierungswertberechnungseinheit 17 ein Aufmerksamkeitspixel aus einer Mehrzahl von Pixeln, die ein optisches Bild aufbauen, auswählt und unter Verwendung einer partiellen Vorlage entsprechend fächerartigen Formen, die um einen vorbestimmten Winkel (Winkel größer als 0°) jede um das Aufmerksamkeitspixel rotiert sind, einen Evaluierungswert zum Evaluieren der Luminanzpassung zwischen dem optischen Bild und der partiellen Vorlage berechnet. Die Evaluierungswertberechnungseinheit 17 berechnet einen Vergleichs-Evaluierungswert des ausgewählten Aufmerksamkeitspixels, basierend auf einer Mehrzahl von berechneten Evaluierungswerten.
Dann speichert die Molekülortidentifikationseinheit 18 als einen Molekülort die Position eines Aufmerksamkeitspixels, wo der Passungsgrad, der durch den Vergleichsevaluierungswert angegeben wird, der höchste aus einer Mehrzahl von Aufmerksamkeitspixeln in der Objektfläch ist, die durch die Flächeneinstelleinheit 16 eingestellt ist. Entsprechend, selbst wenn Aufmerksamkeitspixel mit hohem Passungsgraden nahe bei sind, kann ein Molekülort mit hoher Genauigkeit identifiziert werden.
Hier wird es auch bevorzugt, dass die Vorlage Pixel entsprechend einem kreisförmigen Bild aufweist, und die partielle Vorlage Pixel entsprechend einer Fächerform aufweist, die einen zentralen Winkel aufweist, für welcher ein zentraler Winkel des kreisförmigen Bildes mit α (α ist eine Zahl kleiner 1 und größer 0) multipliziert wird. In diesem Fall kann als Ergebnis des Passungsgrades, der mittels der partiellen Vorlage evaluiert wird, die leicht in einen Kantenbereich des Molekülbildes passt, die Zentralposition des Moleküls mit einer höheren Genauigkeit identifiziert werden.
Darüber hinaus wird es bevorzugt, dass das Evaluierungswertberechnungsmittel das vorbestimmte Verhältnis entsprechend der partiellen Vorlage auswählt, entsprechend einem Pixelwert des Aufmerksamkeitspixels eines Objekts zum Evaluieren der Passung. Durch Beinhalten solch eines Evaluierungswertberechnungsmittels wird das Teilungsverhältnis einer partiellen Vorlage gemäß dem Überlappungsgrad einer Mehrzahl von Molekülen justiert, so dass die Passung zwischen einem Molekularbild und einer partiellen Vorlage angemessen evaluiert werden kann. Folglich kann ein Molekülort mit hoher Genauigkeit identifiziert werden.
Weiter wird es auch bevorzugt, dass das Evaluierungswertberechnungsmittel aus Pixeln, die im Aufnahmebild enthalten sind, das Aufmerksamkeitspixel eines Objekts zum Berechnen des Evaluierungswerts basierend auf Pixelwerten der Pixel auswählt. Durch einen solchen Aufbau wird eine Verarbeitung zum Berechnen eines Evaluierungswerts und Identifizieren eines Molekülorts nur für die Aufmerksamkeitspixel mit einer hohen Wahrscheinlichkeit, dass ein Molekül existiert, durchgeführt, so dass die Bearbeitungslast der Vorrichtung reduziert werden kann und ein Molekülort mit hoher Genauigkeit identifiziert wird.
Noch weiter wird bevorzugt, dass das Evaluierungswertberechnungsmittel das als der Molekülort durch das Molekülortidentifizierungsmittel identifizierten Aufmerksamkeitspixel in eine Mehrzahl von geteilten Regionen teilt, und den Evaluierungswert für jede Mehrzahl von geteilten Regionen unter Verwendung der partiellen Vorlage neu berechnet, und das Molekülortidentifizierungsmittel dem Molekülort im Aufnahmebild basierend auf dem Evaluierungswert, der für die Mehrzahl von geteilten Regionen im Aufmerksamkeitspixel berechnet ist, neu identifiziert. Gemäß einem solchen Aufbau kann ein Molekülort des Aufnahmebildes detaillierter identifiziert werden.
Industrielle Anwendbarkeit
Die vorliegende Erfindung ist auf eine Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Mikroskopievorrichtung, ein Bildverarbeitungsverfahren und Bildverarbeitungsprogramm zum Identifizieren eines Molekülorts aus einem Aufnahmebild einer Probe geeignet und gestattet die Identifizierung einer Mehrzahl von Molekülen mit hoher Genauigkeit in einem Aufnahmebild.
Bezugszeichenliste

1 Mikroskopievorrichtung, 10 Bildverarbeitungsvorrichtung, 11 Bildverarbeitungsabschnitt, 12 Eingabeeinheit, 13 Anzeigeeinheit, 15 Vorlagenvorbereitungseinheit (Vorlagevorbereitungsmittel), 17 Evaluierungswertberechnungseinheit (Evaluierungswertberechnungsmittel), 18 Molekülortidentifikationseinheit (Molekülortidentifizierungsmittel), 30 Mikroskop, 33 Objektivlinse (optisches System), 40 Bildaufnahmeelement, 50 Relaislinse (optisches System), T1 Vorlage, T2, T3, T4, T5 partielle Vorlage, T21, T22, T23, T24, T25 partielle Vorlage

Claims

Bildverarbeitungsvorrichtung zum Identifizieren eines Molekülorts, basierend auf einem Aufnahmebild einer Probe, die durch ein Bildaufnahmeelement erhalten ist, umfassend: ein Vorlagen-Vorbereitungsmittel zum Vorbereiten, aus einer Pixel von M Reihen und M Spalten (M ist eine Ganzzahl nicht kleiner als 3) enthaltenden Vorlage entsprechend einem molekularen Modell, einer partiellen Vorlage entsprechend einer Form, in welche eine Form des Molekülmodells in einem vorgegebenen Verhältnis unterteilt ist, ein Evaluierungswert-Berechnungsmittel zum Evaluieren, im Aufnahmebild, unter Verwendung der partiellen Vorlage, die Formen entspricht, die um einen vorbestimmten Winkel rotiert sind, eines ausgewählten Aufmerksamkeitspixels, Abgleichen zwischen den Aufnahmebild und der partiellen Vorlage, um einen Evaluierungswert für jede Mehrzahl der Aufmerksamkeitspixel zu berechnen, und ein Molekülort-Identifizierungsmittel zum Identifizieren des Molekülortes im Aufnahmebild, basierend auf dem Evaluierungswert, der für eine Mehrzahl von Aufmerksamkeitspixeln im Aufnahmebild berechnet ist.
Bildverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Vorlage Pixel entsprechend einem kreisförmigen Bild aufweist, und die partielle Vorlage Pixel entsprechend einer Fächerform mit einem zentralen Winkel aufweist, für welchen ein Zentralwinkel es kreisförmigen Bildes durch α multipliziert wird (wobei α eine Zahl kleiner 1 und größer 0 ist).
Bildverarbeitungsvorrichtung gemäß Anspruch 1 oder 2, wobei das Evaluierungswertberechnungsmittel das vorbestimmte Verhältnis entsprechend der partiellen Vorlage entsprechend einem Pixelwert des Aufmerksamkeitspixels eines Objekts zum Evaluieren der Passung auswählt.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei das Evaluierungswertberechnungsmittel aus den Pixeln, die im Aufnahmebild enthalten sind, das Aufmerksamkeitspixel eines Objektes zum Berechnen des Evaluierungswerts basierend auf Pixelwerten der Pixel auswählt.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 4, wobei das Evaluierungswertberechnungsmittel das durch das Molekülortidentifizierungsmittel als der Molekülort identifizierte Aufmerksamkeitspixel in eine Mehrzahl von unterteilten Regionen teilt und den Evaluierungswert für jede Mehrzahl von unterteilten Regionen unter Verwendung der partiellen Vorlage neu berechnet, und das Molekülortidentifizierungsmittel den Molekülort im Aufnahmebild neu identifiziert, basierend auf dem für die Mehrzahl von unterteilten Regionen im Aufmerksamkeitspixel berechneten Evaluierungswert.
Bildaufnahmevorrichtung, umfassend: die Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 5; und ein Bildaufnahmeelement zum Ermitteln des Aufnahmebilds.
Mikroskopievorrichtung, umfassend: die Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 5; ein Bildaufnahmeelement zum Erhalten des Aufnahmebildes; und ein optisches System zum Erzeugen eines Bildes der Probe für das Bildaufnahmeelement.
Bildverarbeitungsverfahren zum Identifizieren eines Molekülorts, basierend auf einem Aufnahmebild einer Probe, das durch ein Bildaufnahmeelement erhalten wird, umfassend: einen Vorlagevorbereitungsschritt einer Bildverarbeitungsvorrichtung, der aus einer Vorlage, die in Pixeln von M Reihen und M Spalten (M ist eine Ganzzahl nicht kleiner als 3) entsprechend einem Molekülmodell enthalten ist, eine partielle Vorlage vorbereitet, die einer Form entspricht, für welche eine Form des Molekülmodelles in einem vorbestimmten Verhältnis unterteilt ist; einen Evaluierungswert-Berechnungsschritt der Bildverarbeitungsvorrichtung, der im Aufnahmebild unter Verwendung der partiellen Vorlage, die Formeln entspricht, die um einen vorbestimmten Winkel jeweils rotiert sind, ein ausgewähltes Aufmerksamkeitspixel evaluiert, zwischen dem Aufnahmebild und der partiellen Vorlage abpasst, um einen Evaluierungswert für jede Mehrzahl der Aufmerksamkeitspixel zu berechnen, und einen Molekülort-Identifizierungsschritt der Bildverarbeitungsvorrichtung, der den Molekülort im Aufnahmebild identifiziert, basierend auf dem Evaluierungswert, der für eine Mehrzahl der Aufmerksamkeitspixel im Aufnahmebild berechnet ist.
Bildverarbeitungsprogramm zum Identifizieren eines Molekülorts, basierend auf einem Aufnahmebild einer Probe, die durch ein Bildaufnahmeelement erhalten wird, einen Computer veranlassend, zu funktionieren als: ein Vorlagenvorbereitungsmittel, zum Vorbereiten, aus einer Vorlage, die in Pixeln von M Reihen und M Spalten (M ist eine Ganzzahl nicht kleiner als 3) enthalten ist, entsprechend einem Molekülmodell, einer partiellen Vorlage entsprechend einer Form für welche eine Form des Molekülmodells in ein vorgegebenes Verhältnis unterteilt ist, ein Evaluierungswertberechnungsmittel zum Evaluieren, im Aufnahmebild unter Verwendung der partiellen Vorlage entsprechend Formen, die jede um einen vorgegebenen Winkel rotiert sind, eines ausgewählten Aufmerksamkeitspixels, Abpassen zwischen dem Aufnahmebild und der partiellen Vorlage, um einen Evaluierungswert für jede Mehrzahl der Aufmerksamkeitspixel zu berechnen, und ein Molekülortidentifizierungsmittel zum Identifizieren des Molekülorts im Aufnahmebild, basierend auf dem Evaluierungswert, der für eine Mehrzahl von Aufmerksamkeitspixeln im Aufnahmebild berechnet ist.