DE112021002441T5

DE112021002441T5 - Bilddiagnoseverfahren, bilddiagnose-unterstützungsvorrichtung und computersystem

Info

Publication number: DE112021002441T5
Application number: DE112021002441.8T
Authority: DE
Inventors: Hideharu Hattori; Yasuki KAKISHITA; Kenko Uchida; Toshinari Sakurai; Futoshi Akiyama
Original assignee: Japanese Foundation for Cancer Research; Hitachi High Tech Corp
Current assignee: Japanese Foundation for Cancer Research; Hitachi High Tech Corp
Priority date: 2020-06-03
Filing date: 2021-03-08
Publication date: 2023-04-13
Also published as: US20230237818A1; JP2021189960A; WO2021246013A1; CN115699084A; JP7412279B2

Abstract

Eine Bilddiagnose-Unterstützungsvorrichtung führt einen Schritt des Erfassens eines Bilds, das ein Gewebe und/oder eine Zelle als Element enthält, einen Schritt des Klassifizierens einer Eigenschaft des Elements, das in einem Teilbild enthalten ist, für jedes Teilbild, das ein Teil des Bilds ist, und einen Schritt des Einsortierens des Bilds als gutartig, was angibt, dass kein Läsionselement vorhanden ist, als bösartig, was angibt, dass ein Läsionselement vorhanden ist, oder als Nachverfolgung basierend auf Klassifikationsergebnissen der mehreren Teilbilder.

Description

Querverweis auf verwandte Anmeldungen
Die vorliegende Anmeldung beansprucht die Priorität der japanischen Patentanmeldung Nr. 2020-97112, die am 3. Juni 2020 eingereicht wurde und deren Inhalt hier durch Bezugnahme vollständig mit aufgenommen ist.
Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf ein Bilddiagnoseverfahren, eine Vorrichtung und ein System zum Detektieren eines spezifischen Gewebes oder einer spezifischen Zelle unter Verwendung eines Bildes
Stand der Technik
In den letzten Jahren spielt die „pathologische Diagnose“ durch mikroskopische Beobachtung einer Läsionsgewebeprobe eine wichtige Rolle bei der Krankheitsdiagnose. Bei der pathologischen Diagnose wird die meiste Arbeit von der Probenvorbereitung bis zur Diagnose manuell durchgeführt und lässt sich nur schwer automatisieren. Insbesondere sind Fähigkeiten und Erfahrung wichtige Faktoren für eine genaue Diagnose und die Genauigkeit der Diagnose hängt von den Fähigkeiten eines Pathologen ab. Andererseits gibt es im medizinischen Bereich aufgrund von Faktoren wie einer Zunahme von Krebspatienten zusammen mit der Alterung der Bevölkerung unzureichend Pathologen. Daher besteht ein zunehmender Bedarf an einer Bildverarbeitungstechnik zur Unterstützung der pathologischen Diagnose, Ferndiagnose und dergleichen.
Beispielsweise ist eine in PTL1 offenbarte Technik als die Technik zum Unterstützen einer pathologischen Diagnose wie oben beschrieben bekannt. PTL1 offenbart, dass „eine Bilddiagnose-Unterstützungsvorrichtung eine Bilddaten-Erfassungseinheit, die Bilddaten mit starker Vergrößerung einer Gewebeprobe erfasst, umfasst und die Bilddiagnose-Unterstützungsvorrichtung Folgendes umfasst: eine Bildsortiereinheit, die Bilddaten mit schwacher Vergrößerung aus den Bilddaten mit starker Vergrößerung, die durch die Bilddaten-Erfassungseinheit erfasst werden, erzeugt und die erzeugten Bilddaten mit schwacher Vergrößerung in eine Gruppe jedes Bilddatenmusters von mehreren pathologischen Geweben sortiert, und eine Bildbestimmungseinheit, die bestimmt, ob die Bilddaten mit starker Vergrößerung, die als Quelle der Bilddaten mit schwacher Vergrößerung, die von der Bildsortiereinheit sortiert werden, dienen, ein pathologisches Gewebe in der sortierten Gruppe sind.“
Entgegenhaltungsliste
Patentdokument(e)
PTL1: JP-A-2010-203949
Zusammenfassung der Erfindung
Technisches Problem
Im Stand der Technik wird basierend auf einem Bild, das das Gewebe/die Zelle enthält, bestimmt, ob ein Gewebe/eine Zelle ein anomales Gewebe/eine anomale Zelle ist (z. B. ein Gewebe/eine Zelle, das/die bösartig anzeigt) oder ein gutartiges Gewebe/eine gutartige Zelle. Tatsächlich ist es jedoch schwierig festzustellen, ob es/sie anomal oder gutartig ist, und es ist in einigen Fällen besser, eine Nachverfolgungsuntersuchung durchzuführen. In einem solchen Fall, in dem anomal oder gutartig bestimmt wird, kann die fehlende Detektion eines anomalen Gewebes/einer anomalen Zelle (ein Übersehen eines bösartigen Gewebes/einer bösartigen Zelle) oder eine fälschliche Detektion eines anomalen Gewebes/einer anomalen Zelle auftreten. Die fehlende Detektion des anomalen Gewebes/der anomalen Zelle kann zu einer Verschlechterung eines Symptoms führen und die fälschliche Detektion des anomalen Gewebes/der anomalen Zelle kann zu einer fälschlichen Exzision der Stelle führen.
Die Erfindung wurde im Hinblick auf diese Umstände ersonnen und es ist ihre Aufgabe, eine Technik zu schaffen, um nicht nur bösartig und gutartig, sondern auch eine Nachverfolgung als Diagnoseergebnis basierend auf einem Bild, das ein Gewebe/eine Zelle enthält, zu präsentieren.
Lösung für das Problem
Ein repräsentatives Beispiel der in der vorliegenden Anmeldung offenbarten Erfindung wird wie folgt zusammengefasst. Es wird ein Bilddiagnoseverfahren geschaffen, das von einer Bilddiagnose-Unterstützungsvorrichtung ausgeführt wird. Die Bilddiagnose-Unterstützungsvorrichtung umfasst eine Rechenvorrichtung, eine Speichervorrichtung und eine Verbindungsschnittstelle, die zum Verbinden mit einer externen Vorrichtung ausgelegt ist. Das Bilddiagnoseverfahren umfasst: einen Schritt des Erfassens eines Bildes, das ein Gewebe und/oder eine Zelle als ein Element enthält, durch die Rechenvorrichtung über die Verbindungsschnittstelle und des Speicherns des Bildes in der Speichervorrichtung; einen Schritt des Klassifizierens einer Eigenschaft des in dem Teilbild enthaltenen Elements durch die Rechenvorrichtung für jedes Teilbild, das ein Teil des Bilds ist, und des Speicherns eines Klassifikationsergebnisses in der Speichervorrichtung; einen Schritt des Einsortierens des Bilds durch die Rechenvorrichtung als gutartig, was angibt, dass kein Läsionselement vorhanden ist, bösartig, was angibt, dass ein Läsionselement vorhanden ist, und Nachverfolgung basierend auf Klassifikationsergebnissen der mehreren Teilbilder und des Speicherns eines Sortierergebnisses als Diagnoseergebnis in der Speichervorrichtung; und einen Schritt des Ausgebens des Diagnoseergebnisses durch die Rechenvorrichtung über die Verbindungsschnittstelle.
Vorteilhafte Wirkungen der Erfindung
Gemäß der Erfindung kann die Bilddiagnose-Unterstützungsvorrichtung basierend auf einem Bild als Diagnoseergebnis entweder bösartig, gutartig oder Nachverfolgung präsentieren. Andere Probleme, Konfigurationen und Wirkungen als die oben beschriebenen werden aus der folgenden Beschreibung von Ausführungsformen ersichtlich.
Figurenliste

[1] 1 ist ein Blockdiagramm, das ein Beispiel einer funktionalen Konfiguration einer Bilddiagnose-Unterstützungsvorrichtung 1 gemäß einer ersten Ausführungsform zeigt.
[2] 2 ist eine Darstellung, die ein Beispiel einer Hardware-Konfiguration der Bilddiagnose-Unterstützungsvorrichtung 1 gemäß der ersten Ausführungsform zeigt.
[3] 3 ist eine Darstellung, die spezifische Konfigurationen einer Merkmalsextraktionseinheit und einer Klassifikationseinheit gemäß der ersten Ausführungsform zeigt.
[4] 4 ist eine Darstellung, die einen Betrieb der Merkmalsextraktionseinheit gemäß der ersten Ausführungsform zeigt.
[5A] 5A ist eine Darstellung, die einen Betrieb der Klassifikationseinheit gemäß der ersten Ausführungsform zeigt.
[5B] 5B ist eine Darstellung, die einen Betrieb der Klassifikationseinheit gemäß der ersten Ausführungsform zeigt.
[6A] 6A ist eine Darstellung, die ein Beispiel eines Bildschirms zeigt, der durch eine Zeicheneinheit gemäß der ersten Ausführungsform dargestellt wird.
[6B] 6B ist eine Darstellung, die ein Beispiel des Bildschirms zeigt, der von der Zeicheneinheit gemäß der ersten Ausführungsform dargestellt wird.
[7] 7 ist ein Ablaufdiagramm, das eine Verarbeitung zeigt, die von der Bilddiagnose-Unterstützungsvorrichtung gemäß der ersten Ausführungsform ausgeführt wird.
[8] 8 ist eine Darstellung, die ein Beispiel einer Konfiguration eines Ferndiagnose-Unterstützungssystems gemäß einer zweiten Ausführungsform zeigt.
[9] 9 ist eine Darstellung, die ein Beispiel einer Konfiguration eines Netzübersendungsdienst-Bereitstellungssystems gemäß einer dritten Ausführungsform zeigt.

Beschreibung von Ausführungsformen
Jede Ausführungsform der Erfindung schafft eine Bilddiagnose-Unterstützungsvorrichtung, die eine fehlende Erfassung und eine fälschliche Erfassung eines anomalen Gewebes/einer anomalen Zelle, die ein Läsionsgewebe/eine Läsion wie etwa Krebs anzeigt, verhindert, indem entweder bösartig, gutartig oder eine Nachverfolgung als Diagnoseergebnis ausgegeben wird, und ein Verfahren dafür.
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. In den beigefügten Zeichnungen können funktionsgleiche Elemente mit den gleichen Bezugszeichen bezeichnet sein. Die beigefügten Zeichnungen zeigen spezifische Implementierungsbeispiele gemäß dem Prinzip der Erfindung, aber diese dienen dem Verstehen der Erfindung und werden nicht verwendet, um die Erfindung einzuschränken.
Obwohl die vorliegende Ausführungsform für Fachleute ausreichend detailliert beschrieben wurde, um die Erfindung auszuführen, ist es notwendig zu verstehen, dass andere Implementierungen und Formen möglich sind und dass Änderungen in der Konfiguration und Struktur und das Ersetzen verschiedener Elemente möglich sind, ohne vom Umfang und Gedanken der technischen Idee der Erfindung abweichen. Daher sollte die folgende Beschreibung nicht als darauf beschränkt angesehen werden.
Wie es später beschrieben wird, können die Ausführungsformen der Erfindung durch Software, die auf einem Allzweckcomputer läuft, oder durch dedizierte Hardware oder eine Kombination aus Software und Hardware implementiert werden.
Im Folgenden wird jede Verarbeitung in den Ausführungsformen der Erfindung mit „jeder Verarbeitungseinheit (z. B. Merkmalsextraktionseinheit) als ein Programm“ als Subjekt (Handlungssubjekt) beschrieben, aber da das Programm eine Verarbeitung ausführt, die bestimmt wird, indem sie durch eine Rechenvorrichtung wie etwa einen Prozessor und eine CPU ausgeführt wird, während ein Speicher und ein Kommunikationsanschluss (eine Kommunikationssteuervorrichtung) verwendet werden, kann die Beschreibung mit der Rechenvorrichtung als Subjekt erfolgen.
[Erste Ausführungsform]
1 ist ein Blockdiagramm, das ein Beispiel einer funktionalen Konfiguration einer Bilddiagnose-Unterstützungsvorrichtung 1 gemäß einer ersten Ausführungsform zeigt.
Die Bilddiagnose-Unterstützungsvorrichtung 1 umfasst eine Eingabeeinheit 100, eine Merkmalsextraktionseinheit 101, eine Klassifikationseinheit 102, eine Nachverfolgungsbestimmungseinheit 103, eine Zeicheneinheit 104, eine Aufzeichnungseinheit 105 und eine Steuereinheit 106.
Die Eingabeeinheit 100, die Merkmalsextraktionseinheit 101, die Klassifikationseinheit 102 , die Nachverfolgungsbestimmungseinheit 103, die Zeichnungseinheit 104, die Aufzeichnungseinheit 105 und die Steuereinheit 106 können durch Programme oder durch Modularisierung implementiert werden.
Die Eingabeeinheit 100 empfängt eine Eingabe eines Bildes. Beispielsweise kann die Eingabeeinheit 100 als Eingangsbilder Standbilder oder dergleichen empfangen, die in den Formaten JPG, JPEG-2000, PNG, BMP oder dergleichen codiert sind und in vorbestimmten Intervallen von einer Bildgebungseinheit wie etwa einer in einem Mikroskop eingebauten Kamera aufgenommen werden. Die Eingabeeinheit 100 kann Standbilder von Einzelbildern in vorbestimmten Intervallen aus einem Bewegtbild in den Formaten Motion JPEG, MPEG, H.264, HD/SDI oder dergleichen extrahieren und die Standbilder als Eingangsbilder empfangen. Die Eingabeeinheit 100 kann als Eingangsbild ein Bild, das von einer Bildgebungseinheit erfasst wird, über einen Bus, ein Netz oder dergleichen empfangen. Die Eingabeeinheit 100 kann als Eingangsbild ein Bild empfangen, das auf einem wechselbaren Aufzeichnungsmedium gespeichert ist.
Die Merkmalsextraktionseinheit 101 erfasst Definitionsinformationen über einen Algorithmus (ein Modell), der in einer Unterspeichervorrichtung 203 gespeichert ist, und extrahiert unter Verwendung des Algorithmus Merkmale, die sich auf ein Gewebe/eine Zelle beziehen, aus einem Teilbild, das Teil eines Bildes (Eingangsbildes) ist, das das Gewebe/die Zelle enthält.
Die Klassifikationseinheit 102 erfasst Definitionsinformationen zu einem Algorithmus (Modell), der in der Unterspeichervorrichtung 203 gespeichert ist, und berechnet unter Verwendung des Algorithmus und der Merkmale eine Klassifikationsintensität, die die Wahrscheinlichkeit eines normalen Gewebes/einer normalen Zelle (z. B. gutartiges Gewebe/ Zelle) und eine Klassifikationsintensität, die die Wahrscheinlichkeit eines anomalen Gewebes/einer anomalen Zelle (z. B. eines bösartigen Gewebes/einer bösartigen Zelle) für jedes Teilbild des Eingangsbilds darstellt. Das heißt, es wird ein Wert berechnet, der einen Grad angibt, der einer bestimmten Eigenschaft des Gewebes/der Zelle entspricht. Die Klassifikationseinheit 102 gibt ein Klassifikationsergebnis von gutartig oder bösartig von jedem Teilbild basierend auf der Klassifikationsintensität aus.
Die Nachverfolgungsbestimmungseinheit 103 berechnet einen Bereich (Klassifikationsbereich) jedes Klassifikationsergebnisses in dem Eingangsbild basierend auf dem Klassifikationsergebnis jedes Teilbildes. Die Folgebestimmungseinheit 103 sortiert das Eingangsbild basierend auf der Klassifikationsintensität und dem Klassifikationsbereich jedes Teilbilds in bösartig, gutartig oder Nachverfolgung ein.
Die Zeicheneinheit 104 zeigt ein Bild an, das eine Verteilung der Klassifikationsintensitäten der Klassifikationsergebnisse darstellt, die von der Klassifikationseinheit 102 berechnet werden. Die Zeicheneinheit 104 zeigt beispielsweise ein Eingangsbild an, das entsprechend jedem Klassifikationsergebnis farbcodiert ist. Die Zeicheneinheit 104 zeigt ein Sortierergebnis (Diagnoseergebnis) an, das von der Nachverfolgungsbestimmungseinheit 103 erhalten wird.
Die Aufzeichnungseinheit 105 speichert das Bild und das von der Zeicheneinheit 104 angezeigte Diagnoseergebnis in der Unterspeichervorrichtung 203 (siehe 2).
Die Steuereinheit 106 steuert die gesamte Bilddiagnose-Unterstützungsvorrichtung 1. Die Steuereinheit 106 ist mit der Eingabeeinheit 100, der Merkmalsextraktionseinheit 101, der Klassifikationseinheit 102, der Nachverfolgungsbestimmungseinheit 103, der Zeicheneinheit 104 und der Aufzeichnungseinheit 105 verbunden. Jede Funktionseinheit der Bilddiagnose-Unterstützungsvorrichtung 1 arbeitet autonom oder gemäß einem Befehl von der Steuereinheit 106.
Die Bilddiagnose-Unterstützungsvorrichtung 1 gemäß der ersten Ausführungsform extrahiert unter Verwendung der Merkmalsextraktionseinheit 101 Merkmale, die eine Anomaliewahrscheinlichkeit eines Gewebes/einer Zelle angeben, die in einem Eingangsbild enthalten sind, und berechnet unter Verwendung der Klassifikationseinheit 102 eine Klassifikationsintensität, die einen Grad der Normalitätswahrscheinlichkeit und der Anomaliewahrscheinlichkeit des Gewebes/der Zelle für das Eingangsbild angibt. Ferner berechnet die Bilddiagnose-Unterstützungsvorrichtung 1 einen Klassifikationsbereich für jedes Klassifikationsergebnis (normal und anomal) unter Verwendung der Nachverfolgungsbestimmungseinheit 103 und sortiert bösartig, gutartig und Nachverfolgung jeweils unter Verwendung der Klassifikationsintensität und des Klassifikationsbereichs eines Klassifikationsergebnisses jedes Teilbildes in eine Klasse.
bei den Funktionseinheiten in der Bilddiagnose-Unterstützungsvorrichtung 1 können mehrere Funktionseinheiten in eine Funktionseinheit integriert sein oder eine Funktionseinheit kann in mehrere Funktionseinheiten für jede Funktion unterteilt sein. Beispielsweise kann die Merkmalsextraktionseinheit 101 in der Klassifikationseinheit 102 bereitgestellt sein.
Die Bilddiagnose-Unterstützungsvorrichtung 1 ist möglicherweise nicht als eine Vorrichtung, sondern als eine Funktion implementiert. In diesem Fall kann die Funktion in einer Gewebe-/Zell-Bilderfassungsvorrichtung wie etwa einem virtuellen Objektträger implementiert sein oder kann in einem Server, der mit einer Gewebe-/Zell-Bilderfassungsvorrichtung über ein Netz verbunden ist, implementiert sein, wie es in der zweiten und dritten Ausführungsform beschrieben ist.
2 ist eine Darstellung, die ein Beispiel einer Hardware-Konfiguration der Bilddiagnose-Unterstützungsvorrichtung 1 gemäß der ersten Ausführungsform zeigt.
Die Bilddiagnose-Unterstützungsvorrichtung 1 umfasst eine CPU 201, eine Hauptspeichervorrichtung 202, die Unterspeichervorrichtung 203, eine Ausgabevorrichtung 204, eine Eingabevorrichtung 205 und eine Kommunikationsvorrichtung 206. Die oben beschriebenen Hardware-Teile sind über einen Bus 207 miteinander verbunden.
Die CPU 201 ist ein Beispiel einer Rechenvorrichtung, liest nach Bedarf ein Programm aus der Hauptspeichervorrichtung 202 und führt das Programm aus.
Die Hauptspeichervorrichtung 202 ist eine Speichervorrichtung wie etwa ein Speicher und speichert Programme zum Implementieren der Eingabeeinheit 100, der Merkmalsextraktionseinheit 101, der Klassifikationseinheit 102, der Nachverfolgungsbestimmungseinheit 103, der Zeicheneinheit 104, der Aufzeichnungseinheit 105 und der Steuereinheit 106. Die Hauptspeichervorrichtung 202 enthält einen Arbeitsbereich, der vorübergehend von dem Programm verwendet werden soll.
Die Unterspeichervorrichtung 203 ist eine Speichervorrichtung wie etwa ein Festplattenlaufwerk (HDD) oder ein Festkörperlaufwerk (SSD) und speichert Daten dauerhaft. Die Unterspeichervorrichtung 203 gemäß der ersten Ausführungsform speichert das Eingangsbild, das Klassifikationsergebnis und die Klassifikationsintensität jedes Teilbilds des von der Klassifikationseinheit 102 ausgegebenen Eingangsbilds, den Klassifikationsbereich und das Diagnoseergebnis jedes durch die Nachverfolgungsbestimmungseinheit 103 ausgegebenen Klassifikationsergebnisses und das durch die Zeichnungseinheit 104 erzeugte Bild (einen numerischen Wert der Klassifikationsintensität zum Zeichnen der Klassifikationsintensität und Positionsinförmationen). Die Unterspeichervorrichtung 203 speichert Informationen über Algorithmen, die von der Merkmalsextraktionseinheit 101 und der Klassifikationseinheit 102 verwendet werden sollen, und dergleichen.
Die Ausgabevorrichtung 204 umfasst Vorrichtungen wie etwa eine Anzeige, einen Drucker und einen Lautsprecher. Beispielsweise zeigt die Ausgabevorrichtung 204 von der Zeicheneinheit 104 erzeugte Anzeigedaten auf der Anzeige an.
Die Eingabevorrichtung 205 umfasst Vorrichtungen wie etwa eine Tastatur, eine Maus und ein Mikrofon. Ein Anwender gibt unter Verwendung der Eingabevorrichtung 205 verschiedene Befehle wie Bestimmung eines eingegebenen Bildes und Einstellung von Parametern in die Bilddiagnose-Unterstützungsvorrichtung 1 ein.
Die Kommunikationsvorrichtung 206 kommuniziert mit anderen Vorrichtungen über ein Netz. Zum Beispiel empfängt die Kommunikationsvorrichtung 206 Daten wie etwa ein Bild, das aus einer über ein Netz verbundene Vorrichtung wie etwa einen Server gesendet wird, und speichert die Daten in dem Unterspeichervorrichtung 203. Die Kommunikationsvorrichtung 206 ist keine wesentliche Komponente der Bilddiagnose-Unterstützungsvorrichtung 1. Wenn beispielsweise eine Kommunikationsvorrichtung in einem Computer oder dergleichen bereitgestellt ist, der mit einer Bilderfassungsvorrichtung verbunden ist, weist die Bilddiagnose-Unterstützungsvorrichtung 1 möglicherweise die Kommunikationsvorrichtung 206 nicht auf.
Als Nächstes werden die Funktionseinheiten in der Bilddiagnose-Unterstützungsvorrichtung 1 im Einzelnen beschrieben.
3 ist eine Darstellung, die spezifische Konfigurationen der Merkmalsextraktionseinheit 101 und der Klassifikationseinheit 102 gemäß der ersten Ausführungsform zeigt. 4 ist eine Darstellung, die einen Betrieb der Merkmalsextraktionseinheit 101 gemäß der ersten Ausführungsform zeigt. 5A und 5B sind Darstellungen, die Operationen der Klassifikationseinheit 102 gemäß der ersten Ausführungsform zeigen. 6A und 6B sind Darstellungen, die Beispiele eines Bildschirms zeigen, der von der Zeicheneinheit 104 gemäß der ersten Ausführungsform präsentiert wird.
Zunächst wird die Merkmalsextraktionseinheit 101 beschrieben.
Die Merkmalsextraktionseinheit 101 extrahiert Merkmale eines Eingangsbildes. Wie es in 3 gezeigt ist, berechnet die Merkmalsextraktionseinheit 101 Merkmale eines Gewebes/einer Zelle, die in einem Eingangsbild enthalten sind, unter Verwendung eines Klassifikators wie z. B. eines faltenden neuronalen N-Schicht-Netzes (N-Schicht-CNN). Der Klassifikator berechnet die Merkmale, um ein Objekt in dem Bild zu klassifizieren.
Wie es beispielsweise in 4 gezeigt ist, berechnet die Merkmalsextraktionseinheit 101 Merkmale fi eines Filters i durch Bewegen des Filters i von einer oberen linken Seite zu einer unteren rechten Seite in einem Eingangsbild unter Verwendung eines CNN, das eine Rechenverarbeitung wie in Gleichung (1) durchführt. Die Merkmalsextraktionseinheit 101 berechnet eine Matrix der Merkmale fi als Merkmale FAi des Gewebes/der Zelle, das/die in dem Eingangsbild enthalten ist. [0042]
[Math. 1] $fi = h (\sum_{j = 1}^{m} (pj \times wj) + bi)$
In Gleichung (1) repräsentiert wj einen Filterkoeffizienten, pj einen Pixelwert, bi einen Versatzwert, m die Anzahl von Filterkoeffizienten und h eine nichtlineare Funktion. Der Filterkoeffizient wj ist ein Koeffizient des Klassifikators und wird unter Verwendung einer bekannten Technik des maschinellen Lernens so berechnet, dass ein normales Gewebe/eine normale Zelle und ein anomales Gewebe/eine anomale Zelle klassifiziert werden können. Die Unterspeichervorrichtung 203 speichert Parameter wie etwa den Filterkoeffizienten wj und den Versatzwert bi.
Als Nächstes wird die Klassifikationseinheit 102 beschrieben.
Die Klassifikationseinheit 102 führt eine logistische Regressionsverarbeitung unter Verwendung einer Matrix f aus, die die von der Merkmalsextraktionseinheit 101 berechneten Merkmale FAi enthält, um einen Wert (die Klassifikationsintensität) zu berechnen, der eine Läsionswahrscheinlichkeit angibt.
Die Klassifikationseinheit 102 berechnet eine Klassifikationsintensität y jedes Klassifikationsergebnisses beispielsweise basierend auf Gleichung (2). Das heißt, wie es in 3 gezeigt ist, klassifiziert die Klassifikationseinheit 102 basierend auf der Klassifikationsintensität jedes Klassifikationsergebnisses, ob das Gewebe/die Zelle, das/die in einem Teilbild enthalten ist, normal oder anomal ist, und gibt das Klassifikationsergebnis aus. Hier wird ein Klassifikationsergebnis mit einer hohen Klassifikationsintensität übernommen.

[Math. 2] $y = g (w \times f + b)$
In Gleichung (2) repräsentiert w eine Gewichtungsmatrix, b einen Versatzwert, g eine nichtlineare Funktion und y eine Klassifikationsintensität eines Klassifikationsergebnisses. Die Gewichtungsmatrix w und der Versatzwert b werden unter Verwendung einer bekannten Technik des maschinellen Lernens berechnet. Beispielsweise kann CNN als Technik des maschinellen Lernens verwendet werden. Die Unterspeichervorrichtung 203 speichert Parameter wie etwa die Gewichtungsmatrix w und den Versatzwert b.
Als Nächstes wird die Nachverfolgungsbestimmungseinheit 103 beschrieben.
Die Nachverfolgungsbestimmungseinheit 103 berechnet einen Klassifikationsbereich jedes Klassifikationsergebnisses in einem Eingangsbild, wie es in 5A und 5B gezeigt ist, basierend auf einem Klassifikationsergebnis jedes Teilbildes, das aus der Klassifikationseinheit 102 ausgegeben wird. In 5A und 5B ist ein Abschnitt eines Klassifikationsergebnisses „normal“ in Weiß angezeigt und ein Abschnitt eines Klassifikationsergebnisses „anomal“ durch schräge Linien angezeigt.
Beispielsweise berechnet die Nachverfolgungsbestimmungseinheit 103 den Klassifikationsbereich basierend auf der Gesamtanzahl von Farben (beispielsweise der Anzahl von Pixeln) in dem Eingangsbild. Alternativ detektiert die Nachverfolgungsbestimmungseinheit 103 einen Gewebebereich aus dem Eingangsbild und berechnet einen Klassifikationsbereich basierend auf der Gesamtzahl von Farben (beispielsweise der Anzahl von Pixeln) in dem Gewebebereich.
Die Nachverfolgungsbestimmungseinheit 103 berechnet einen Wert der Läsionswahrscheinlichkeit (HE) für das Eingangsbild unter Verwendung der Klassifikationsintensität y des Klassifikationsergebnisses von jedem von mehreren Teilbildern. Der Wert der Läsionswahrscheinlichkeit ist eine reelle Zahl zwischen 0 und 1.
Die Nachverfolgungsbestimmungseinheit 103 bestimmt basierend auf einer Bestimmungsbedingung, die sich auf den Klassifikationsbereich jedes Klassifikationsergebnisses bezieht, ob das Eingangsbild irgendeiner Klasse von bösartig, gutartig und Nachverfolgung entspricht.
Beispielsweise kann die folgende Bestimmungsverarbeitung in Betracht gezogen werden.
(Schritt 0) Die Nachverfolgungsbestimmungseinheit 103 bestimmt, ob es einen Bereich gibt, in dem eine Klassifikationsintensität eines Klassifikationsergebnisses „anomal“ A1 oder größer ist. Wenn die oben beschriebene Bestimmungsbedingung erfüllt ist, bestimmt die Nachverfolgungsbestimmungseinheit 103, dass eine Klasse des Eingangsbildes „bösartig“ ist. Wenn die oben beschriebene Bestimmungsbedingung nicht erfüllt ist, geht die Nachverfolgungsbestimmungseinheit 103 zu Schritt 1 über.
(Schritt 1) Die Nachverfolgungsbestimmungseinheit 103 bestimmt, ob ein Klassifikationsbereich mit einer Klassifikationsintensität des Klassifikationsergebnisses „anomal“, die kleiner als A1 und größer oder gleich A2 ist, kleiner als B1% ist. Wenn die oben beschriebene Bestimmungsbedingung erfüllt ist, bestimmt die Nachverfolgungsbestimmungseinheit 103, dass eine Klasse des Eingangsbildes „gutartig“ ist. Wenn die vorstehend beschriebene Bestimmungsbedingung nicht erfüllt ist, geht die Nachverfolgungsbestimmungseinheit 103 zu Schritt 2 über.
(Schritt 2) Die Nachverfolgungsbestimmungseinheit 103 bestimmt, ob ein Klassifikationsbereich mit einer Klassifikationsintensität des Klassifikationsergebnisses „anomal“, die kleiner als A1 und größer oder gleich A2 ist, größer oder gleich B1% und kleiner als B2% ist. Wenn die oben beschriebene Bestimmungsbedingung erfüllt ist, bestimmt die Nachverfolgungsbestimmungseinheit 103, dass eine Klasse des Eingangsbildes „Nachverfolgung“ ist. Wenn die oben beschriebene Bestimmungsbedingung nicht erfüllt ist, geht die Nachverfolgungsbestimmungseinheit 103 zu Schritt 3 über.
(Schritt 3) Wenn ein Klassifikationsbereich mit einer Klassifikationsintensität des Klassifikationsergebnisses „anomal“, die kleiner als A1 und größer oder gleich A2 ist, größer oder gleich B2% ist, bestimmt die Nachverfolgungsbestimmungseinheit 103 , dass eine Klasse des Eingangsbildes „bösartig“ ist.
A1, A2, B1 und B2 sind voreingestellte Schwellen. A1 und A2 sind Werte wie etwa 0,8 und 0,5, und B1 und B2 sind Werte wie etwa 5 oder 10. In einem in 5A gezeigten Beispiel wird dann, wenn die oben beschriebene Bestimmungsverarbeitung ausgeführt wird, eine Klasse des Eingangsbildes als „bösartig“ bestimmt. In einem in 5B gezeigten Beispiel wird dann, wenn die oben beschriebene Bestimmungsverarbeitung ausgeführt wird, eine Klasse des Eingangsbildes als „Nachverfolgung“ bestimmt.
Auf diese Weise führt die Bilddiagnose-Unterstützungsvorrichtung 1 gemäß der ersten Ausführungsform eine Bestimmung unter Berücksichtigung der Klassifikationsintensität des Klassifikationsergebnisses und des Bereichs des Klassifikationsergebnisses aus, wodurch ein Sortieren von „gutartig“ und „bösartig“ sowie „Nachverfolgung“ möglich wird.
Als Nächstes wird die Zeicheneinheit 104 beschrieben.
Die Zeicheneinheit 104 präsentiert ein Diagnoseergebnis zusammen mit einer Basis. Beispielsweise präsentiert die Zeicheneinheit 104 das Diagnoseergebnis unter Verwendung einer grafischen Anwenderschnittstelle (GUI) 600, wie sie in 6A gezeigt ist. 6A ist eine Darstellung, die die GUI zeigt, die ein Diagnoseergebnis präsentiert, wenn ein Bild einer Brust empfangen wird.
Die GUI 600 umfasst ein Diagnoseergebnis-Sortierfeld 601, ein Anzeigefeld 602, eine Bildschaltfläche 603 und ein Diagnoseergebnis-Präsentationsfeld 604. Das Diagnoseergebnis-Sortierfeld 601 ist ein Feld zum Anzeigen einer Klassenausgabe als das Diagnoseergebnis. Die entsprechende Klasse wird unter Piktogrammen von Klassen in dem Diagnoseergebnis-Sortierfeld 601 hervorgehoben. Das Anzeigefeld 602 ist ein Feld zum Anzeigen eines Werts der Läsionswahrscheinlichkeit, der von der Klassifikationseinheit 102 berechnet wird. Die Bildschaltfläche 603 ist eine Bedienschaltfläche zum Anzeigen eines Bilds. Das Diagnoseergebnis-Präsentationsfeld 604 ist ein Feld zum Anzeigen des von der Nachverfolgungsbestimmungseinheit 103 ausgegebenen Diagnoseergebnisses.
Wie es in 5B gezeigt ist, wird, da ein bösartiges Gewebe/eine bösartige Zelle (anomales Gewebe/anomale Zelle) kaum in dem Bild der Brust enthalten ist, ein Diagnoseergebnis durch die Nachverfolgungsbestimmungseinheit 103 in „Nachverfolgung“ einsortiert und ein Wert der Läsionswahrscheinlichkeit als Sortierbasis präsentiert. Der Wert der Läsionswahrscheinlichkeit ist ein kleiner Wert (0,08).
Wenn die Bildschaltfläche 603 betätigt wird, präsentiert die Zeicheneinheit 104 eine GUI 610, wie sie in 6B gezeigt ist. Die GUI 610 zeigt ein Eingangsbild an, das basierend auf einem Klassifikationsergebnis farbcodiert ist, um einen Bereich, in dem ein Klassifikationsergebnis „anomal“ ist, und einen Bereich, in dem ein Klassifikationsergebnis „normal“ ist, anzuzeigen. In 6B zeigt ein schraffierter Bereich den Bereich an, in dem das Klassifikationsergebnis „anomal“ ist, und ein weißer Bereich zeigt den Bereich an, in dem das Klassifikationsergebnis „normal“ ist. Ein Diagnoseergebnis wird überlagert und auf dem Eingangsbild angezeigt. In 6B wird das farbcodierte Eingangsbild als Basis zum Sortieren präsentiert.
Als Nächstes wird die Aufzeichnungseinheit 105 beschrieben.
Die Aufzeichnungseinheit 105 speichert in der Unterspeichervorrichtung 203 das Eingangsbild, die Klassifikationsintensität jedes Klassifikationsergebnisses, das Diagnoseergebnis, Koordinateninformationen zum Zeichnen des Eingangsbildes, das durch die Zeicheneinheit 104 gemäß dem Klassifikationsergebnis und dergleichen farbcodiert ist.
Die Funktionseinheiten in der Bilddiagnose-Unterstützungsvorrichtung 1 wurden oben beschrieben. Als Nächstes wird eine von der Bilddiagnose-Unterstützungsvorrichtung 1 ausgeführte Verarbeitung beschrieben.
7 ist ein Ablaufdiagramm, das eine Verarbeitung zeigt, die von der Bilddiagnose-Unterstützungsvorrichtung 1 gemäß der ersten Ausführungsform ausgeführt wird. Jede Verarbeitungseinheit der Bilddiagnose-Unterstützungsvorrichtung 1 wird nachstehend als ein Handlungssubjekt beschrieben. Jedoch kann die CPU 201 ein Handlungssubjekt sein und die CPU 201 kann jede Verarbeitungseinheit als ein Programm ausführen.
Wenn ein Eingangsbild empfangen wird, beginnt die Bilddiagnose-Unterstützungsvorrichtung 1 mit der nachstehend beschriebenen Verarbeitung.
Die Eingabeeinheit 100 gibt das Eingangsbild in die Merkmalsextraktionseinheit 101 ein (Schritt S701).
Die Merkmalsextraktionseinheit 101 erfasst Definitionsinformationen zu einem Klassifikator, die in der Unterspeichervorrichtung 203 gespeichert sind, und berechnet die Merkmale FAi eines Teilbilds des Eingangsbilds unter Verwendung der Definitionsinformationen des Klassifikators (Schritt S702).
Insbesondere erfasst die Merkmalsextraktionseinheit 101 Parameter wie etwa den Filterkoeffizienten wj und den Versatzwert bi aus der Unterspeichervorrichtung 203 und berechnet die Merkmale FAi unter Verwendung von Gleichung (1).
Die Klassifikationseinheit 102 erfasst die Definitionsinformationen zu dem Klassifikator, die in der Unterspeichervorrichtung 203 gespeichert sind, und berechnet die Klassifikationsintensität y eines Klassifikationsergebnisses des Teilbilds unter Verwendung der Matrix f, die die Definitionsinformationen des Klassifikators enthält, und der Merkmale FAi (Schritt S703).
Insbesondere erfasst die Klassifikationseinheit 102 Parameter wie etwa die Gewichtungsmatrix w und den Versatzwert b aus der Unterspeichervorrichtung 203 und berechnet die Klassifikationsintensität y des Klassifikationsergebnisses des Teilbildes unter Verwendung von Gleichung (2).
Die Klassifikationseinheit 102 bestimmt basierend auf einem Vergleichsergebnis zwischen der Klassifikationsintensität y und einer Schwelle Th1, ob ein Gewebe/eine Zelle, das/die in dem Teilbild enthalten ist, normal oder anomal ist (Schritt S704).
Insbesondere bestimmt die Klassifikationseinheit 102, ob die Klassifikationsintensität y größer oder gleich der Schwelle Th1 ist.
Wenn die Klassifikationsintensität y größer oder gleich der Schwelle Th1 ist, legt die Klassifikationseinheit 102 einen Wert (z. B. 1), der ein anomales Gewebe/eine anomale Zelle als Klassifikationsergebnis res angibt, fest (Schritt S705) und fährt dann mit Schritt S707 fort. Wenn die Klassifikationsintensität y kleiner als der Schwellenwert Th1 ist, legt die Klassifikationseinheit 102 einen Wert (z. B. 0), der ein normales Gewebe/eine normale Zelle angibt, als das Klassifikationsergebnis res fest (Schritt S706) und fährt dann mit Schritt S707 fort.
Die Klassifikationseinheit 102 bestimmt, ob die Klassifikation aller Teilbilder des Eingangsbildes abgeschlossen ist (Schritt S707).
Wenn die Klassifikation aller Teilbilder des Eingangsbilds nicht abgeschlossen ist, ruft die Klassifikationseinheit 102 die Merkmalsextraktionseinheit 101 auf und die Verarbeitung fährt mit Schritt S702 fort. Wenn die Klassifikation aller Teilbilder des Eingangsbildes abgeschlossen ist, ruft die Klassifikationseinheit 102 die Nachverfolgungsbestimmungseinheit 103 auf und die Verarbeitung fährt mit Schritt S708 fort.
Die Nachverfolgungsbestimmungseinheit 103 berechnet einen Klassifikationsbereich jedes Klassifikationsergebnisses basierend auf dem Klassifikationsergebnis von jedem der mehreren Teilbilder und sortiert das Eingangsbild unter Verwendung der Klassifikationsintensität und des Klassifikationsbereichs jedes Klassifikationsergebnisses ein (Schritt S708).
Insbesondere sortiert die Nachverfolgungsbestimmungseinheit 103 durch Ausführen der oben beschriebenen Bestimmungsverarbeitung das Eingangsbild in eine beliebige Klasse unter gutartig, bösartig und Nachverfolgung ein. Die Nachverfolgungsbestimmungseinheit 103 berechnet einen Wert der Läsionswahrscheinlichkeit basierend auf der Klassifikationsintensität jedes Klassifikationsergebnisses.
Die Zeicheneinheit 104 präsentiert ein Diagnoseergebnis (Schritt S709).
Insbesondere zeigt die Zeicheneinheit 104 zusammen mit dem Diagnoseergebnis, wie es in 5A und 5B gezeigt ist, das Eingangsbild, das basierend auf jedem Klassifikationsergebnis farbcodiert ist, als eine Sortierbasis an. Beispielsweise zeigt die Zeicheneinheit 104 einen als „anomal“ klassifizierten Bereich mit diagonalen Linien und einen als „normal“ klassifizierten Bereich in Weiß an. Wie es in 6A gezeigt ist, zeigt die Zeicheneinheit 104 das Diagnoseergebnis und den Wert der Läsionswahrscheinlichkeit als Sortierbasis an.
Die Aufzeichnungseinheit 105 speichert in der Unterspeichervorrichtung 203 das Eingangsbild, die Klassifikationsintensität jedes Klassifikationsergebnisses, das Diagnoseergebnis, die Koordinateninformationen zum Zeichnen des Eingangsbildes, das gemäß jedem Klassifikationsergebnis farbcodiert ist, und dergleichen (Schritt S710).
Wie es oben beschrieben ist, kann die Bilddiagnose-Unterstützungsvorrichtung 1 gemäß der ersten Ausführungsform das Eingangsbild basierend auf der Klassifikationsintensität und dem Klassifikationsbereich jedes Klassifikationsergebnisses in gutartig, bösartig und Nachverfolgung einsortieren. Dies kann eine fälschliche Detektion und übermäßige Detektion einer Läsion verhindern, die durch eine fehlerhafte Einsortierung von gutartig und bösartig verursacht wird.
[Zweite Ausführungsform]
Ein System, das die in der ersten Ausführungsform beschriebene Bilddiagnose-Unterstützungsvorrichtung 1 verwendet wird, wird in einer zweiten Ausführungsform beschrieben.
8-ist eine Darstellung, die ein Beispiel einer Konfiguration eines Ferndiagnose-Unterstützungssystems 800 gemäß der zweiten Ausführungsform zeigt.
Das Ferndiagnose-Unterstützungssystem 800 umfasst einen Server 801, der eine Bilderfassungsvorrichtung umfasst, und einen Server 802 mit einer Funktion der Bilddiagnose-Unterstützungsvorrichtung 1. Die zwei Server 801, 802 sind an physisch getrennten Orten installiert und miteinander über verbunden ein Netz 803. Das Netz 803 ist ein lokales Netz (LAN), ein Weitbereichsnetz (WAN) oder dergleichen, und ein Verbindungsverfahren kann drahtgebunden oder, drahtlos sein.
Der Server 801 ist ein Computer, auf dem die Bilderfassungsvorrichtung wie etwa ein virtuelle Objektträgervorrichtung und eine Kamera montiert sind. Der Server 801 umfasst eine Bildgebungseinheit 811, die ein Bild aufnimmt, und eine Anzeigeeinheit 812, die ein von dem Server 802 gesendetes Diagnoseergebnis anzeigt.
Der Server 801 umfasst eine Rechenvorrichtung, eine Speichervorrichtung und eine Kommunikationsvorrichtung, die das Bild an den Server 802 sendet und Daten von dem Server 802 empfängt (nicht gezeigt).
Der Server 802 ist ein Computer, der eine Bildverarbeitung ähnlich der der Bilddiagnose-Unterstützungsvorrichtung 1gemäß der ersten Ausführungsform ausführt. Der Server 802 umfasst eine Bilddiagnose-Unterstützungseinheit 821, die eine Bildverarbeitung gemäß der ersten Ausführungsform an dem von dem Server 801 gesendeten Bild ausführt, eine Speichereinheit 822 , die ein von der Bilddiagnose-Unterstützungseinheit 821 ausgegebenes Diagnoseergebnis speichert, und eine Anzeigeeinheit 823, die das von der Bilddiagnose-Unterstützungseinheit 821 ausgegebene Diagnoseergebnis anzeigt.
Der Server 802 umfasst eine Rechenvorrichtung, eine Speichervorrichtung und eine Kommunikationsvorrichtung, die das Diagnoseergebnis an den Server 801 sendet und das Bild von dem Server 801 empfängt (nicht gezeigt). Der Server 802 kann die Bilddiagnose-Unterstützungseinheit 821 als Hardware-Äquivalent zu der Bilddiagnose-Unterstützungsvorrichtung 1 umfassen oder kann die Bilddiagnose-Unterstützungseinheit 821als ein Programm umfassen.
Die Bilddiagnose-Unterstützungseinheit 821 klassifiziert das Vorhandensein oder Nichtvorhandensein eines anomalen Gewebes/einer anomalen Zelle wie Krebs in dem von der Bildgebungseinheit 811 aufgenommenen Bild. Die Bilddiagnose-Unterstützungseinheit 821sortiert die Läsionswahrscheinlichkeit gemäß einem Fortschrittsgrad (einer Klassifikationsintensität) des anomalen Gewebes/der anomalen Zelle basierend auf einem Klassifikationsergebnis unter Verwendung von Merkmalen des Eingangsbildes. Die Bilddiagnose-Unterstützungseinheit 821 sortiert das Eingangsbild unter Verwendung der Klassifikationsintensität und eines Klassifikationsbereichs jedes Klassifikationsergebnisses in gutartig, bösartig oder Nachverfolgung und gibt das einsortierte Ergebnis als das Diagnoseergebnis aus.
Die Anzeigeeinheiten 812, 823 zeigen das Klassifikationsergebnis des Eingangsbildes, das Diagnoseergebnis und dergleichen auf Bildschirmen an, die jeweils mit den Servern 801, 802 verbunden sind.
Die Bilderfassungsvorrichtung kann eine regenerative medizinische Vorrichtung sein, die eine Bildgebungseinheit, eine iPS-Zellkulturvorrichtung und eine MRI- und Ultraschall-Bildgebungsvorrichtung umfasst.
Gemäß der zweiten Ausführungsform kann ein Computer (oder System), der an einem bestimmten Ort installiert ist, ein Bild, das von einer Einrichtung oder dergleichen an einem anderen Ort gesendet wird, in gutartig, bösartig und Nachverfolgung sortieren und ein Diagnoseergebnis an die Einrichtung oder dergleichen an dem anderen Ort senden. Dementsprechend kann ein Computer in der Einrichtung oder dergleichen, die das Bild gesendet hat, das Diagnoseergebnis anzeigen. Auf diese Weise kann das Ferndiagnose-Unterstützungssystem gemäß der zweiten Ausführungsform bereitgestellt werden.
[Dritte Ausführungsform]
Ein System, das die in der ersten Ausführungsform beschriebene Bilddiagnose-Unterstützungsvorrichtung 1 verwendet, wird in einer dritten Ausführungsform beschrieben.
9 ist eine Darstellung, die ein Beispiel einer Konfiguration eines Netzübersendungsdienst-Bereitstellungssystems 900 gemäß der dritten Ausführungsform zeigt.
Das Netzübersendungsdienst-Bereitstellungssystem 900 umfasst einen Server 901, der eine Bilderfassungsvorrichtung umfasst, und einen Server 902 mit einer Funktion der Bilddiagnose-Unterstützungsvorrichtung 1. Die zwei Server 901, 902 sind an physisch getrennten Orten installiert und miteinander über ein Netz 903 verbunden. Das Netz 903 ist ein lokales Netz (LAN), ein Weitbereichsnetz (WAN) oder dergleichen, und ein Verbindungsverfahren kann drahtgebunden oder drahtlos sein.
Der Server 901 ist ein Computer, auf dem die Bilderfassungsvorrichtung wie etwa eine virtuelle Objektträgervorrichtung und eine Kamera montiert sind. Der Server 901 umfasst eine Bildgebungseinheit 911, die ein Bild aufnimmt, eine Speichereinheit 912, die von dem Server 902 gesendete Klassifikatorinformationen speichert, und eine Bilddiagnose= Unterstützungseinheit 913, die eine Bildverarbeitung gemäß der ersten Ausführungsform an dem neu von der Bildgebungseinheit 911 erfassten Bild unter Verwendung der Klassifikatorinformationen ausführt.
Der Server 901 umfasst ein Rechenvorrichtung, eine Speichervorrichtung und eine Kömmunikationsvorrichtung, die das Bild an den Server 902 sendet und die Klassifikatorinformationen von dem Server 902 empfängt (nicht gezeigt). Der Server 901 kann die Bilddiagnose-Unterstützungseinheit 913 als Hardware-Äquivalent zu der Bilddiagnose-Unterstützungsvorrichtung 1 umfassen oder kann die Bilddiagnose-Unterstützungseinheit 913 als ein Programm umfassen.
Der Server 902 ist ein Computer, der eine Bildverarbeitung ähnlich der der Bilddiagnose-Unterstützungsvorrichtung 1 gemäß der ersten Ausführungsform ausführt. Der Server 902 umfasst eine Bilddiagnose-Unterstützungseinheit 921, die die Bildverarbeitung gemäß der ersten Ausführungsform ausführt, und eine Speichereinheit 922, die die von der Bilddiagnose-Unterstützungseinheit 921 ausgegebenen Klassifikatorinformationen speichert.
Der Server 902 umfasst eine Rechenvorrichtung, eine Speichervorrichtung und eine Kommunikationsvorrichtung, die die Klassifikatorinformationen an den Server 901 sendet und das Bild von dem Server 901 empfängt (nicht gezeigt). Der Server 902 kann die Bilddiagnose-Unterstützungseinheit 921 als Hardware-Äquivalent zu der Bilddiagnose-Unterstützungsvorrichtung 1 umfassen oder kann die Bilddiagnose-Unterstützungseinheit 921 als ein Programm umfassen.
Der Server 902 führt die Bildverarbeitung gemäß der ersten Ausführungsform an dem von der Bildgebungseinheit 911 erfassten Bild aus und führt maschinelles Lernen zum Erzeugen eines Klassifikators (Modells) zum korrekten Klassifizieren eines normalen Gewebes/einer normalen Zelle und eines anomalen Gewebes/einer anomalen Zelle durch. Hier umfasst der Klassifikator die Merkmalsextraktionseinheit 101 und die Klassifikationseinheit 102. Der Server 902 sendet die Klassifikatorinformationen, die Definitionsinformationen zu dem Klassifikator sind, an den Server 901, der in einer Einrichtung oder dergleichen an einem anderen Ort installiert ist.
Wenn eine tatsächliche Diagnose durchgeführt wird, liest der Server 901 die Klassifikatorinformationen aus der Speichereinheit 912 und führt eine Klassifikationsverarbeitung und eine Sortierverarbeitung an dem durch die Bildgebungseinheit 911 aufgenommenen Bild unter Verwendung des durch die Klassifikatorinformationen definierten Klassifikators aus.
Die Bilderfassungsvorrichtung kann eine regenerative medizinische Vorrichtung sein, die eine Bildgebungseinheit, eine iPS-Zellkulturvorrichtung und eine MRI- und Ultraschall-Bildgebungsvorrichtung umfasst.
Der Server 902 kann unter Verwendung der Bilddiagnose-Unterstützungseinheit 921 im Voraus unter Verwendung von Bildern mit unterschiedlichen Eigenschaften mehrmals eine Lernverarbeitung ausführen und mehrere Elemente von Klassifikatorinformationen in der Speichereinheit 922 speichern. Wenn das Bild aus dem Server 901 empfangen wird, führt der Server 902 eine Klassifikationsverarbeitung und eine Sortierverarbeitung unter Verwendung der Bilddiagnose-Unterstützungseinheit 921 aus, in der Klassifikatoren eingestellt sind, und sendet die Klassifikatorinformationen zu dem Klassifikator mit der höchsten Genauigkeit an den Server 902.
Gemäß der dritten Ausführungsform kann ein an einem bestimmten Ort installierter Computer (oder ein an einem bestimmten Ort installiertes System) einen Klassifikator unter Verwendung eines von einer Einrichtung oder dergleichen an einem anderen Ort gesendeten Bildes erzeugen und Informationen zu dem Klassifikator an die Einrichtung oder dergleichen an dem anderen Ort senden. Dementsprechend kann ein Computer in der Einrichtung oder dergleichen, die das Bild gesendet hat, ein Diagnoseergebnis unter gutartig, bösartig oder Nachverfolgung für ein neues Bild ausgeben. Auf diese Weise kann das Netzübersendungsdienst-Bereitstellungssystems gemäß der dritten Ausführungsform angewendet werden.
Die oben beschriebenen Ausführungsformen können wie folgt abgewandelt werden.
Die Merkmalsextraktionseinheit 101 berechnet die Merkmale unter Verwendung eines Filters (CNN oder dergleichen), der durch maschinelles Lernen erzeugt wird, oder kann andere Merkmale wie etwa HOG verwenden, um die gleichen Wirkungen zu erzielen.
Die Merkmalsextraktionseinheit 101 berechnet die Merkmale unter Verwendung eines Klassifikators für ein Eingangsbild oder kann die Merkmale unter Verwendung von zwei oder mehr Klassifikatoren berechnen, um die gleichen Wirkungen zu erzielen.
Die Klassifikationseinheit 102 führt eine logistische Regressionsverarbeitung aus, um ein Gewebe/eine Zelle zu klassifizieren, oder kann eine lineare Regression, eine Poisson-Regression oder dergleichen verwenden, um die gleichen Wirkungen zu erzielen.
Die Erfindung ist nicht auf die oben beschriebenen Ausführungsformen beschränkt und umfasst verschiedene Abwandlungen. Beispielsweise wurden die oben beschriebenen Ausführungsformen zum leichteren Verständnis der Erfindung ausführlich beschrieben und die Erfindung ist nicht zwingend auf diejenigen beschränkt, die alle oben beschriebenen Konfigurationen enthalten. Einige Konfigurationen der Ausführungsformen können zu einer anderen Konfiguration hinzugefügt, daraus gelöscht oder durch eine andere Konfiguration ersetzt werden.
Zudem können einige oder alle der obigen Konfigurationen, Funktionen, Verarbeitungseinheiten, Verarbeitungsverfahren und dergleichen durch Hardware beispielsweise durch einen Entwurf unter Verwendung einer integrierten Schaltung implementiert werden. Ferner kann die Erfindung auch durch einen Programmcode einer Software implementiert werden, die die Funktionen der Ausführungsformen implementiert. In diesem Fall ist ein Speichermedium, das den Programmcode aufzeichnet, auf einem Computer bereitgestellt und ein Prozessor in dem Computer liest den Programmcode, der in dem Speichermedium gespeichert ist. In diesem Fall implementiert der aus dem Speichermedium gelesene Programmcode selbst die Funktionen der obigen Ausführungsformen und der Programmcode selbst und das Speichermedium, das den Programmcode speichert, bilden die Erfindung. Beispiele des Speichermediums zum Bereitstellen eines solchen Programmcodes umfassen eine Diskette, eine CD-ROM, eine DVD-ROM, eine Festplatte, ein Festkörperlaufwerk (SSD), eine optische Platte, eine magnetooptische Platte, eine CD-R, ein Magnetband, eine nichtflüchtige Speicherkarte und einen ROM.
Der Programmcode, der die in der vorliegenden Ausführungsform beschriebenen Funktionen implementiert, kann in einer breiten Palette von Programmen oder Skriptsprachen wie Assembler, C/C++, Perl, Shell, PHP, Python und Java (eingetragene Marke) implementiert sein.
Ferner kann der Programmcode der Software, die die Funktionen der Ausführungsformen implementiert, über ein Netz verteilt werden, um in einer Speichereinheit wie beispielsweise einer Festplatte oder einem Speicher eines Computers oder einem Speichermedium wie beispielsweise einer CD-RW oder einer CD-R gespeichert zu werden, und ein Prozessor in dem Computer kann den in der Speichereinheit oder dem Speichermedium gespeicherten Programmcode lesen und ausführen.
In den oben beschriebenen Ausführungsformen sind Steuerleitungen und Informationsleitungen gezeigt, die für die Beschreibung als notwendig erachtet werden, und nicht unbedingt alle Steuerleitungen und Informationsleitungen sind auf einem Produkt gezeigt. Alle Konfigurationen können miteinander verbunden werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2010203949 A [0005]

Claims

Bilddiagnoseverfahren, das von einer Bilddiagnose-Unterstützungsvorrichtung ausgeführt wird, die eine Rechenvorrichtung, eine Speichervorrichtung und eine Verbindungsschnittstelle, die zum Verbinden mit einer externen Vorrichtung ausgelegt ist, umfasst, wobei das Bilddiagnoseverfahren umfasst: einen ersten Schritt des Erfassens eines Bildes, das ein Gewebe und/oder eine Zelle als Element enthält, über die Verbindungsschnittstelle und Speichern des Bildes in der Speichervorrichtung durch die Rechenvorrichtung; einen zweiten Schritt des Klassifizierens einer Eigenschaft des Elements, das in dem Teilbild enthalten ist, für jedes Teilbild, das ein Teil des Bilds ist, und des Speicherns eines Klassifikationsergebnisses in der Speichervorrichtung durch die Rechenvorrichtung; einen dritten Schritt des Einsortierens des Bilds als gutartig, was angibt, dass kein Läsionselement vorhanden ist, als bösartig, was angibt, dass ein Läsionselement vorhanden ist, oder als Nachverfolgung basierend auf Klassifikationsergebnissen der mehreren Teilbilder und des Speicherns eines Sortierergebnisses als Diagnoseergebnis in der Speichervorrichtung durch die Rechenvorrichtung; und einen vierten Schritt des Ausgebens des Diagnoseergebnisses über die Verbindungsschnittstelle durch die Rechenvorrichtung.
Bilddiagnoseverfahren nach Anspruch 1, wobei der zweite Schritt umfasst: einen Schritt des Berechnens einer Klassifikationsintensität, die einen Grad angibt, zu dem das in dem Teilbild enthaltene Element jeder von mehreren Eigenschaften entspricht, und des Speicherns des Klassifikationsergebnisses, das die Klassifikationsintensität jeder der mehreren Eigenschaften umfasst, in der Speichervorrichtung durch die Rechenvorrichtung, und der dritte Schritt umfasst: einen fünften Schritt des Berechnens eines Klassifikationsbereichs jeder der mehreren Eigenschaften in dem Bild basierend auf dem Klassifikationsergebnis jedes der mehreren Teilbilder und des Speicherns des Klassifikationsbereichs jeder der mehreren Eigenschaften in der Speichervorrichtung durch die Rechenvorrichtung und einen sechsten Schritt des Einsortierens des Bildes als gutartig, bösartig oder Nachverfolgung basierend auf der Klassifikationsintensität und dem Klassifikationsbereich jeder der mehreren Eigenschaften durch die Rechenvorrichtung.
Bilddiagnoseverfahren nach Anspruch 2, wobei der sechste Schritt einen Schritt des Einsortierens des Bilds als gutartig, bösartig oder Nachverfolgung basierend auf einem Vergleichsergebnis zwischen der Klassifikationsintensität jeder der mehreren Eigenschaften und einer Schwelle und einem Vergleichsergebnis zwischen dem Klassifikationsbereich jeder der mehreren Eigenschaften und einer Schwelle durch die Rechenvorrichtung umfasst.
Bilddiagnoseverfahren nach Anspruch 1, wobei die Rechenvorrichtung in dem vierten Schritt Basisinformationen zu der Einsortierung des Bildes zusammen mit dem Diagnoseergebnis ausgibt.
Bilddiagnoseverfahren nach Anspruch 4, wobei die Basisinformationen ein Bild, das den Klassifikationsbereich jeder der mehreren Eigenschaften angibt, und/oder einen Wert, der einen Grad der Läsionswahrscheinlichkeit angibt, der basierend auf der Klassifikationsintensität jeder der mehreren Eigenschaften berechnet wird, umfassen.
Bilddiagnose-Unterstützungsvorrichtung, die umfasst: eine Rechenvorrichtung; eine Speichervorrichtung; eine Verbindungsschnittstelle, die zum Verbinden mit einer externen Vorrichtung ausgelegt ist; eine Eingabeeinheit, die dazu ausgelegt ist, über die Verbindungsschnittstelle ein Bild zu erfassen, das ein Gewebe und/oder eine Zelle als Element enthält; eine Klassifikationseinheit, die dazu ausgelegt ist, für jedes Teilbild, das ein Teil des Bildes ist, eine Eigenschaft des in dem Teilbild enthaltenen Elements zu klassifizieren und ein Klassifikationsergebnis in der Speichervorrichtung zu speichern; eine Bestimmungseinheit, die dazu ausgelegt ist, das Bild basierend auf Klassifikationsergebnissen der mehreren Teilbilder als gutartig, was angibt, dass kein Läsionselement vorhanden ist, als bösartig, was angibt, dass ein Läsionselement vorhanden ist, oder als Nachverfolgung einzusortieren und ein Sortierergebnis als Diagnoseergebnis in der Speichervorrichtung zu speichern; und eine Ausgabeeinheit, die dazu ausgelegt ist, das Diagnoseergebnis über die Verbindungsschnittstelle auszugeben.
Bilddiagnose-Unterstützungsvorrichtung nach Anspruch 6, wobei die Klassifikationseinheit dazu ausgelegt ist, eine Klassifikationsintensität, die einen Grad angibt, zu dem das in dem Teilbild enthaltene Element jeder von mehreren Eigenschaften entspricht, zu berechnen und das Klassifikationsergebnis, das die Klassifikationsintensität von jeder der mehreren Eigenschaften umfasst, in der Speichervorrichtung zu speichern, und die Bestimmungseinheit zu Folgendem ausgelegt ist: Berechnen eines Klassifikationsbereichs jeder der mehreren Eigenschaften in dem Bild basierend auf dem Klassifikationsergebnis jedes der mehreren Teilbilder und Speichern des Klassifikationsbereichs jeder der mehreren Eigenschaften in der Speichervorrichtung, und Einsortieren des Bildes basierend auf der Klassifikationsintensität und dem Klassifikationsbereich jeder der mehreren Eigenschaften als gutartig, bösartig und Nachverfolgung.
Bilddiagnose-Unterstützungsvorrichtung nach Anspruch 7, wobei die Bestimmungseinheit dazu ausgelegt ist, das Bild basierend auf dem Vergleichsergebnis der Klassifikationsintensität jeder der mehreren Eigenschaften und einer Schwelle und einem Vergleichsergebnis zwischen dem Klassifikationsbereich jeder der mehreren Eigenschaften und einer Schwelle in gutartig, bösartig und Nachverfolgung einzusortieren.
Bilddiagnose-Unterstützungsvorrichtung nach einem der Ansprüche 6 bis 8, wobei die Ausgabeeinheit dazu ausgelegt ist, Basisinformationen zu der Einsortierung des Bildes zusammen mit dem Diagnoseergebnis auszugeben.
Bilddiagnose-Unterstützungsvorrichtung nach Anspruch 9, wobei die Basisinformationen ein Bild, das den Klassifikationsbereich jeder der mehreren Eigenschaften angibt, und/oder einen Wert, der einen Grad der Läsionswahrscheinlichkeit angibt, der basierend auf der Klassifikationsintensität jeder der mehreren Eigenschaften berechnet wird, umfassen.
Computersystem, das umfasst: die Bilddiagnose-Unterstützungsvorrichtung nach Anspruch 6; und einen Computer, der dazu ausgelegt ist, ein zu verarbeitendes Bild aufzunehmen und das zu verarbeitende Bild an die Bilddiagnose-Unterstützungsvorrichtung zu senden.
Computersystem nach Anspruch 11, wobei die Bilddiagnose-Unterstützungsvorrichtung dann, wenn das zu verarbeitende Bild aus dem Computer empfangen wird, das Diagnoseergebnis des zu verarbeitenden Bilds an den Computer sendet.
Computersystem nach Anspruch 11, wobei der Computer die Eingabeeinheit, die Klassifikationseinheit, die Bestimmungseinheit und die Ausgabeeinheit umfasst, die Bilddiagnose-Unterstützungsvorrichtung dann, wenn das zu verarbeitende Bild aus dem Computer empfangen wird, Informationen zu einem Klassifikator zum Implementieren der Klassifikationseinheit erzeugt, die zum Klassifizieren einer Eigenschaft des in dem Teilbild enthaltenen Elements ausgelegt sind, um ein korrektes Diagnoseergebnis für das zu verarbeitende Bild zu erhalten, und die Informationen über den Klassifikator an den Computer sendet, und der Computer dazu ausgelegt ist, ein diagnostisches Bild zu erfassen und das Diagnoseergebnis des diagnostischen Bildes unter Verwendung der Informationen über den Klassifikator auszugeben.