DE112017005041T5

DE112017005041T5 - Unterstützungsvorrichtung und -system zur diagnostischen Bildgebung und Unterstützungsverfahren zur diagnostischen Bildgebung

Info

Publication number: DE112017005041T5
Application number: DE112017005041.3T
Authority: DE
Inventors: Hideharu Hattori; Kenko Uchida; Sadamitsu Aso; Toshinari Sakurai; Yasuki KAKISHITA
Original assignee: Hitachi High Technologies Corp; Hitachi High Tech Corp
Current assignee: Hitachi High Tech Corp
Priority date: 2016-11-01
Filing date: 2017-10-26
Publication date: 2019-10-24
Also published as: WO2018084071A1; JP2018072240A; JP6670222B2; US10872411B2; US20190236779A1

Abstract

Eine Unterstützungsvorrichtung zur diagnostischen Bildgebung gemäß der vorliegenden Erfindung führt einen Prozess zum Eingeben von Bildern eines Gewebes und einer Zelle, einen Prozess zum Extrahieren von Merkmalsmengen einer breiten Ansicht und einer schmalen Ansicht aus einem zu verarbeitenden Zielbild, einen Prozess zum Klassifizieren aus den Merkmalsmengen, ob die Zielbilder mit verschiedenen Ansichten normal oder anomal sind, und einen Prozess zum Klassifizieren eine Läsionswahrscheinlichkeit unter Verwendung eines Klassifikationsergebnisses aus.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Unterstützungsvorrichtung zur diagnostischen Bildgebung, ein System und ein Unterstützungsverfahren zur diagnostischen Bildgebung und bezieht sich z. B. auf eine Bildverarbeitungstechnik, um ein spezifisches Gewebe oder eine Zelle (z. B. Krebs usw.), das bzw. die in einem durch eine Bildaufnahmevorrichtung, wie z. B. eine Kamera in einem Mikroskop, aufgenommenen Bild einer Scheibe eines Gewebes/einer Zelle auf einem Objektträger enthalten ist, zu detektieren.
Technischer Hintergrund
In den letzten Jahren nimmt eine „pathologische Diagnose“ durch eine Mikroskopbeobachtung einer Gewebeprobe eines Läsionsabschnitts eine wichtige Position bei der Diagnose von Krankheiten ein. Bei der pathologischen Diagnose wird viel Arbeit vom Erzeugen bis zum Diagnostizieren einer Probe benötigt, wobei folglich die Automatisierung schwierig ist. Insbesondere sind die Fähigkeit und die Erfahrung eines Pathologen bei der Diagnose sehr wichtig. Die Diagnose hängt von der Fähigkeit eines Einzelnen ab. Andererseits gibt es an den Medizinstandorten einen Mangel an Pathologen, einschließlich einer Zunahme an Krebspatienten, da die Bevölkerung altert. Deshalb ist der Bedarf an einer Bildverarbeitungstechnik und einer Ferndiagnose zum Unterstützen der pathologischen Diagnose erhöht. In dieser Weise offenbart z. B. die PTL 1 eine Technik, um zu bestimmen, ob das Gewebe pathologisch ist, zum Unterstützen der pathologischen Diagnose. In der PTL 1 wird ein Bild mit niedriger Vergrößerung aus einem Bild mit hoher Vergrößerung erzeugt, wobei das Bild einfach durch ein Bild mit niedriger Vergrößerung klassifiziert wird. Dann wird das pathologische Gewebe unter Verwendung des Bildes mit hoher Vergrößerung basierend auf dem Bild mit niedriger Vergrößerung klassifiziert.
Liste der Entgegenhaltungen
Patentliteratur
PTL 1: JP 2010-203949 A
Zusammenfassung der Erfindung
Technisches Problem
In einem Gewebe-/Zellenbild weisen jedoch das Gewebe und die Zelle in Abhängigkeit vom Typ einer anomalen Zelle (Beispiel: Krebs) und einem Grad des Fortschritts der anomalen Zelle (Beispiel: Krebs) verschiedene Formen auf. Es kann in Abhängigkeit von dem Grad des Fortschritts der anomalen Zelle (Beispiel: Krebs) mehrere verdächtige Klassifikationen geben. Falls die Klassifikationen auf eine Klassifikation reduziert werden, kann deshalb eine falsche Diagnose auftreten. Selbst wenn das Bild mit niedriger Vergrößerung aus dem Bild mit hoher Vergrößerung erzeugt wird und das Bild einfach durch das Bild mit niedriger Vergrößerung klassifiziert wird und dann das Gewebe/die Zelle unter Verwendung des Bildes mit hoher Vergrößerung basierend auf dem Bild mit niedriger Vergrößerung klassifiziert wird, kann es deshalb eine fehlerhafte Detektion geben, wenn die Klassifikationen auf eine Klassifikation reduziert werden, wie in der PTL 1 offenbart ist. Zusätzlich gibt es ein Problem, dass es nicht möglich ist, dass das Gewebe/die Zelle nur durch ein Bild einer beliebigen Ansicht klassifiziert wird.
Die Erfindung ist im Hinblick auf das obige Problem gemacht worden und es ist ihre Aufgabe, eine Unterstützungsvorrichtung zur diagnostischen Bildgebung, ein System und ein Unterstützungsverfahren zur diagnostischen Bildgebung zu schaffen, die die Klassifikation des Gewebes und der Zelle aus einem oder mehreren Bildern durch das Berechnen einer Merkmalsmenge des Gewebes und der Zelle für die Bilder, die unterschiedliche Ansichten aufweisen, selbst in einem Fall verwirklichen können, in dem das Gewebe und die Zelle in Abhängigkeit von dem Typ der anomalen Gewebe und Zellen (Beispiel: Krebs) und dem Grad des Fortschritts der anomalen Gewebe und Zellen (Beispiel: Krebs) verschiedene Formen aufweisen.
Die Lösung für das Problem
Gemäß der Erfindung wird für die Lösung des obigen Problems eine Unterstützungsvorrichtung zur diagnostischen Bildgebung geschaffen, die eine Eingangseinheit, die konfiguriert ist, um die Bilddaten einer breiten Ansicht und die Bilddaten einer schmalen Ansicht, die durch das Aufnehmen einer Scheibe eines Gewebes oder einer Zelle eines diagnostischen Objekts erhalten werden, zu empfangen, eine Merkmalsextraktionseinheit, die konfiguriert ist, um die in die Eingangseinheit eingegebenen Bilddaten zu verarbeiten, um eine Merkmalsmenge in einem Bild des Gewebes aus den Bilddaten einer breiten Ansicht zu extrahieren und eine Merkmalsmenge in einem Bild der Zelle aus den Bilddaten einer schmalen Ansicht zu extrahieren, eine Einzelansichts-Bestimmungseinheit, die konfiguriert ist, um aus der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer breiten Ansicht zu klassifizieren, ob das Gewebe normal oder anomal ist, und aus der Merkmalsmenge der Bilddaten einer schmalen Ansicht zu klassifizieren, ob die Zelle normal oder anomal ist, eine Mehrfachansichts-Bestimmungseinheit, die konfiguriert ist, um eine Läsionswahrscheinlichkeit des diagnostischen Objekts aus einem Klassifikationsergebnis der Bilddaten einer breiten Ansicht und einem Klassifikationsergebnis der Bilddaten einer schmalen Ansicht, die durch die Einzelansichts-Bestimmungseinheit klassifiziert worden sind, zu klassifizieren, eine Zeicheneinheit, die konfiguriert ist, um einen Bereich zu aktualisieren, der das Gewebe oder die Zelle enthält, das bzw. die durch die Mehrfachansichts-Bestimmungseinheit an den Bilddaten als anomal klassifiziert worden ist, und eine Aufzeichnungseinheit, die konfiguriert ist, um ein Bild zu speichern, dessen Bereich, der das als anomal klassifizierte Gewebe oder die als anomal klassifizierte Zelle enthält, durch die Zeicheneinheit aktualisiert worden ist, enthält.
Außerdem wird gemäß der Erfindung für die Lösung des obigen Problems ein Unterstützungsverfahren zur diagnostischen Bildgebung geschaffen, das das Eingeben von durch das Aufnehmen eines Gewebes eines diagnostischen Objekts erhaltenen Bilddaten einer breiten Ansicht in eine Eingangseinheit, das Verarbeiten der in die Eingangseinheit eingegebenen Bilddaten einer breiten Ansicht durch eine Merkmalsextraktionseinheit, um eine Merkmalsmenge in einem Bild des Gewebes zu extrahieren, das Klassifizieren, ob das Gewebe normal oder anomal ist, durch eine Einzelansichts-Bestimmungseinheit aus der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer breiten Ansicht, das Eingeben der von dem durch die Einzelansichts-Bestimmungseinheit als anomal klassifizierten Gewebe aufgenommenen Bilddaten einer schmalen Ansicht, die eine Zelle enthalten, in die Eingangseinheit, das Verarbeiten der in die Eingangseinheit eingegebenen Bilddaten einer schmalen Ansicht durch eine Merkmalsextraktionseinheit, um eine Merkmalsmenge in einem Bild der Zelle zu extrahieren, das Klassifizieren, ob die Zelle normal oder anomal ist, durch die Einzelansichts-Bestimmungseinheit aus der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer schmalen Ansicht, das Klassifizieren einer Läsionswahrscheinlichkeit des diagnostischen Objekts durch eine Mehrfachansichts-Bestimmungseinheit aus einem Klassifikationsergebnis der Bilddaten einer breiten Ansicht und einem Klassifikationsergebnis der Bilddaten einer schmalen Ansicht, die durch die Einzelansichts-Bestimmungseinheit klassifiziert worden sind, das Aktualisieren eines Bereichs, der das Gewebe oder die Zelle, das bzw. die durch die Einzelansichts-Bestimmungseinheit als anomal klassifiziert worden ist, enthält, in den Bilddaten in einer Zeicheneinheit und das Speichern der durch das Aktualisieren des Bereichs, der das als anomal klassifizierte Gewebe oder die als anomal klassifizierte Zelle enthält, erhaltenen Bilddaten in einer Aufzeichnungseinheit enthält.
Ferner wird gemäß der Erfindung für die Lösung des obigen Problems ein Unterstützungsverfahren zur diagnostischen Bildgebung geschaffen, das das Eingeben von durch das Aufnehmen einer Zelle eines diagnostischen Objekts erhaltenen Bilddaten einer schmalen Ansicht in eine Eingangseinheit, das Verarbeiten der in die Eingangseinheit eingegebenen Bilddaten einer schmalen Ansicht durch eine Merkmalsextraktionseinheit, um eine Merkmalsmenge in einem Bild der Zelle zu extrahieren, das Klassifizieren durch eine Einzelansichts-Bestimmungseinheit aus der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer schmalen Ansicht, ob die Zelle normal oder anomal ist, das Aufnehmen eines Bildes eines Gewebes, das eine durch die Einzelansichts-Bestimmungseinheit als anomal klassifizierte Zelle enthält, um die Bilddaten einer breiten Ansicht des Gewebes in die Eingangseinheit einzugeben, das Verarbeiten der in die Eingangseinheit eingegebenen Bilddaten einer breiten Ansicht durch eine Merkmalsextraktionseinheit, um eine Merkmalsmenge in einem Bild des Gewebes zu extrahieren, das Klassifizieren durch die Einzelansichts-Bestimmungseinheit aus der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer breiten Ansicht, ob das Gewebe normal oder anomal ist, das Klassifizieren einer Läsionswahrscheinlichkeit des diagnostischen Objekts durch eine Mehrfachansichts-Bestimmungseinheit aus einem Klassifikationsergebnis der Bilddaten einer schmalen Ansicht und einem Klassifikationsergebnis der Bilddaten einer breiten Ansicht, die durch die Einzelansichts-Bestimmungseinheit klassifiziert worden sind, das Aktualisieren eines Bereichs, der die Zelle oder das Gewebe, die bzw. das durch die Einzelansichts-Bestimmungseinheit als anomal klassifiziert worden ist, enthält, in den Bilddaten in einer Zeicheneinheit und das Speichern der durch das Aktualisieren des Bereichs, der die als anomal klassifizierte Zelle oder das als anomal klassifizierte Gewebe enthält, erhaltenen Bilddaten in einer Aufzeichnungseinheit.
Ferner wird gemäß der Erfindung für die Lösung des obigen Problems ein Ferndiagnose-Unterstützungssystem geschaffen, das eine Bilderfassungsvorrichtung, die mit einer Bildaufnahmevorrichtung, um Bilddaten aufzunehmen, ausgerüstet ist, und einen Server, der die Unterstützungsvorrichtung zur diagnostischen Bildgebung enthält, enthält. Die Bilderfassungsvorrichtung überträgt die Bilddaten zu dem Server. Der Server speichert die durch das Verarbeiten der empfangenen Bilddaten durch die Unterstützungsvorrichtung zur diagnostischen Bildgebung bestimmten Bilder des Gewebes und der Zelle und das Bestimmungsergebnis in einem Speicher und überträgt die Bilder und das Bestimmungsergebnis zu der Bilderfassungsvorrichtung. Die Bilderfassungsvorrichtung zeigt die empfangenen bestimmten Bilder des Gewebes und der Zelle und das Bestimmungsergebnis auf der Anzeigevorrichtung an.
Außerdem enthält gemäß der Erfindung für die Lösung des obigen Problems ein Netzanvertrauungsdienst-Bereitstellungssystem eine Bilderfassungsvorrichtung, die mit einer Bildaufnahmevorrichtung, um Bilddaten aufzunehmen, ausgerüstet ist, und einen Server, der die Unterstützungsvorrichtung zur diagnostischen Bildgebung enthält. Die Bilderfassungsvorrichtung überträgt die Bilddaten zu dem Server. Der Server speichert die durch das Verarbeiten der empfangenen Bilddaten unter Verwendung der Unterstützungsvorrichtung zur diagnostischen Bildgebung bestimmten Bilder des Gewebes und der Zelle und eine Kennung in einem Speicher und überträgt die Kennung zu der Bilderfassungsvorrichtung. Die Bilderfassungsvorrichtung speichert die empfangene Kennung. Die Unterstützungsvorrichtung zur diagnostischen Bildgebung in der Bilderfassungsvorrichtung bestimmt das Bild der anderen Gewebe und Zellen unter Verwendung der Kennung und zeigt das Bestimmungsergebnis auf der Anzeigevorrichtung an.
Die vorteilhaften Wirkungen der Erfindung
Gemäß der Erfindung wird selbst in einem Fall, in dem die Formen der Gewebe und Zellen in Abhängigkeit von dem Typ eines anomalen Gewebes und einer anomalen Zelle (Beispiel: Krebs) und dem Grad des Fortschritts des anomalen Gewebes und der anomalen Zelle (Beispiel: Krebs) verschieden verändert sind, eine Merkmalsmenge des Gewebes und der Zelle für Bereiche mit unterschiedlichen Ansichten berechnet. Deshalb können eine fehlerhafte Detektion und eine übermäßige Detektion unterdrückt werden und kann das Gewebe/die Zelle aus einem oder mehreren Bildern klassifiziert werden.
Andere Merkmale der Erfindung werden aus der Beschreibung und den beigefügten Zeichnungen offensichtlich. Zusätzlich werden die Ausführungsformen der Erfindung durch die Elemente, die Kombinationen verschiedener Elemente, die folgende ausführliche Beschreibung und die beigefügten Ansprüche erreicht und verwirklicht.
Es ist notwendig zu verstehen, dass die Beschreibung dieser Patentbeschreibung nur als ein typisches Beispiel gegeben wird und den Schutzumfang der Ansprüche oder die Anwendungen der Erfindung nicht einschränkt.
Figurenliste

1 ist ein Blockschaltplan, der eine Funktion einer Unterstützungsvorrichtung zur diagnostischen Bildgebung gemäß den ersten bis dritten Ausführungsformen der Erfindung veranschaulicht.
2 ist ein Blockschaltplan, der eine beispielhafte Hardware-Konfiguration der Unterstützungsvorrichtung zur diagnostischen Bildgebung gemäß den ersten bis dritten Ausführungsformen der Erfindung veranschaulicht.
3A ist eine graphische Darstellung, die ein Bild einer breiten Ansicht in der ersten Ausführungsform der Erfindung veranschaulicht.
3B ist eine graphische Darstellung, die ein Bild einer schmalen Ansicht in der ersten Ausführungsform der Erfindung veranschaulicht.
4 ist eine graphische Darstellung, die ein Bild zum Beschreiben eines beispielhaften Filters des Bildes einer breiten Ansicht in der ersten Ausführungsform der Erfindung veranschaulicht.
5 ist eine graphische Darstellung, die ein Bild zum Beschreiben eines Zustands, in dem der Filter in einer Richtung in dem Bild einer breiten Ansicht in der ersten Ausführungsform der Erfindung bewegt wird, veranschaulicht.
6 ist ein Ablaufplan, der einen Verarbeitungsablauf veranschaulicht, in dem mehrere Filter in dem Bild einer breiten Ansicht in der ersten Ausführungsform der Erfindung betrieben werden, um die Normalität/Anomalie eines Gewebes zu bestimmen.
7 ist eine graphische Darstellung, die ein Bild zum Beschreiben eines beispielhaften Filters des Bildes einer schmalen Ansicht in der ersten Ausführungsform der Erfindung veranschaulicht.
8 ist eine graphische Darstellung, die ein Bild zum Beschreiben eines Zustands, in dem das Filter in einer Richtung in dem Bild einer schmalen Ansicht in der ersten Ausführungsform der Erfindung bewegt wird, veranschaulicht.
9 ist ein Ablaufplan, der einen Verarbeitungsablauf veranschaulicht, in dem mehrere Filter in dem Bild einer schmalen Ansicht in der ersten Ausführungsform der Erfindung betrieben werden, um die Normalität/Anomalie einer Zelle zu bestimmen.
10 ist eine graphische Darstellung, die ein Bild eines Zustands, in dem eine Stelle mit dem Verdacht auf ein anomales Gewebe von einem Detektionsrahmen in dem Bild einer breiten Ansicht in der ersten Ausführungsform der Erfindung umgeben ist, veranschaulicht.
11 ist eine graphische Darstellung, die ein Bild eines Zustands, in dem eine Stelle mit dem Verdacht auf eine anomale Zelle von einem Detektionsrahmen in dem Bild einer schmalen Ansicht in der ersten Ausführungsform der Erfindung umgeben ist, veranschaulicht.
12 ist ein Ablaufplan zum Beschreiben eines Betriebs einer Lerneinheit 16 in der ersten Ausführungsform der Erfindung.
13 ist ein Ablaufplan zum Beschreiben eines gesamten Betriebs einer Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung in der ersten Ausführungsform der Erfindung.
14A ist eine graphische Darstellung, die das Bild einer schmalen Ansicht eines Zustands, in dem der Detektionsrahmen in einem Bereich, der eine anomale Stelle einer detektierten Zelle in dem Bild einer schmalen Ansicht in einer zweiten Ausführungsform der Erfindung umgibt, angezeigt wird, veranschaulicht.
14B ist eine graphische Darstellung, die das Bild einer breiten Ansicht eines Zustands, in dem der Detektionsrahmen in einem Bereich, der eine anomale Stelle eines detektierten Gewebes in dem Bild einer breiten Ansicht in einer zweiten Ausführungsform der Erfindung umgibt, angezeigt wird, veranschaulicht.
15 ist ein Ablaufplan zum Beschreiben eines gesamten Betriebs einer Unterstützungsvorrichtung 1-1 zur diagnostischen Bildgebung gemäß der zweiten Ausführungsform der Erfindung.
16 ist eine graphische Darstellung, die ein Bild eines Zustands, in der ein Bereich einer schmalen Ansicht und ein Bereich einer breiten Ansicht gemäß der dritten Ausführungsform der Erfindung in demselben Bild angezeigt werden, veranschaulicht.
17 ist ein Ablaufplan zum Beschreiben eines gesamten Betriebs einer Unterstützungsvorrichtung 1-2 zur diagnostischen Bildgebung gemäß der dritten Ausführungsform der Erfindung.
18 ist ein Blockschaltplan, der einen Umriss eines Ferndiagnose-Unterstützungssystems, das mit der Unterstützungsvorrichtung zur diagnostischen Bildgebung bestückt ist, gemäß einer vierten Ausführungsform der Erfindung veranschaulicht.
19 ist ein Blockschaltplan, der einen Umriss eines Netzanvertrauungsdienst-Bereitstellungssystems, das mit der Unterstützungsvorrichtung zur diagnostischen Bildgebung bestückt ist, gemäß einer fünften Ausführungsform der Erfindung veranschaulicht.
20 ist eine graphische Darstellung, die ein Bild zum Beschreiben der Mitte einer Verteilung einer Läsionswahrscheinlichkeit in dem Bild einer breiten Ansicht einer Einzelansichts-Bestimmungseinheit 12 in der ersten Ausführungsform der Erfindung veranschaulicht.
21 ist eine graphische Darstellung, die ein Bild zum Beschreiben der Mitte einer Verteilung einer Läsionswahrscheinlichkeit in dem Bild einer schmalen Ansicht der Einzelansichts-Bestimmungseinheit 12 in der ersten Ausführungsform der Erfindung veranschaulicht.
22 ist eine Vorderansicht eines Bildes, das einen Zustand, in dem das Bild einer breiten Ansicht und das Bild einer schmalen Ansicht auf demselben Schirm angezeigt werden, gemäß der ersten Ausführungsform der Erfindung veranschaulicht.

Beschreibung der Ausführungsformen
Die Ausführungsformen der Erfindung schaffen eine Unterstützungsvorrichtung zur diagnostischen Bildgebung und ein Verfahren für sie, bei denen ein Missbildungsgrad eines Gewebes oder einer Zelle das Vorhandensein/Fehlen eines anomalen Gewebes (Beispiel: einer Läsion) für jeden Bereich einer unterschiedlichen Ansicht bestimmt, um eine Wahrscheinlichkeit des anomalen Gewebes (Beispiel: einer Läsion) zu berechnen, und das Vorhandensein/Fehlen einer anomalen Zelle und die Wahrscheinlichkeit der anomalen Zelle (Beispiel: einer Läsion) aus dem Bestimmungsergebnis des Bereichs einer unterschiedlichen Ansicht bestimmt, so dass die Auslassung einer Detektion und eine fehlerhafte Detektion des anomalen Gewebes und der anomalen Zelle (Beispiel: einer Läsion) unterdrückt werden.
Das Unterstützungssystem zur diagnostischen Bildgebung gemäß der Erfindung führt einen Prozess zum Extrahieren von Merkmalsmengen verschiedener Ansichten eines Zielbildes, einen Prozess zum Bestimmen, ob das Bild jeder Ansicht einer Klassifikation entspricht, unter Verwendung der mehreren Merkmalsmengen und einen Prozess zum Bestimmen, ob der Bestimmungsprozess beendet wird, bezüglich der mehreren Ansichten aus.
Im Folgenden werden die Ausführungsformen der Erfindung bezüglich der beigefügten Zeichnungen beschrieben. In den beigefügten Zeichnungen kann den Elementen, die die gleiche Funktion aufweisen, das gleiche Symbol beigefügt sein. Ferner veranschaulichen die beigefügten Zeichnungen spezifische Ausführungsformen und Aufbaubeispiele gemäß dem Prinzip der Erfindung, um das Verständnis der Erfindung zu unterstützen, wobei aber die Erfindung nicht in einer eingeschränkten Weise interpretiert wird.
In dieser Ausführungsform ist die Erklärung ausreichend ausführlich gegeben worden, damit ein Fachmann auf dem Gebiet die Erfindung implementiert, während ein anderer Aufbau/andere Ausführungsformen möglich sein können. Es ist notwendig zu erkennen, dass Änderungen der Konfiguration/der Strukturen und Ersetzungen verschiedener Elemente implementiert werden können, ohne von einem Schutzumfang der technischen Ideen und dem Erfindungsgedanken der Erfindung abzuweichen. Deshalb darf die folgende Beschreibung nicht in einer eingeschränkten Weise interpretiert werden.
Ferner können die Ausführungsformen der Erfindung in Software, die in einem Universal-Computer ausgeführt wird, in dedizierter Hardware oder in einer Software- und Hardware-Kombination aufgebaut sein, wie im Folgenden beschrieben wird.
Im Folgenden wird die Beschreibung über die Prozesse in den Ausführungsformen der Erfindung unter Verwendung von „Verarbeitungseinheiten (z. B. einer Merkmalsextraktionseinheit usw.) als Programme“ als ein Gegenstand (ein Operationsgegenstand) gegeben. Das Programm führt jedoch den Prozess, der durch einen Prozessor (eine CPU usw.) auszuführen ist, aus, während ein Speicher und ein Kommunikationsanschluss (eine Kommunikationssteuervorrichtung) verwendet werden. Deshalb kann die Beschreibung unter Verwendung des Prozessors als ein Gegenstand gegeben werden.
[Die erste Ausführungsform]
<Die funktionale Konfiguration der Unterstützungsvorrichtung zur diagnostischen Bildgebung>
1 ist ein Blockschaltplan, der eine funktionale Konfiguration einer Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung gemäß dieser Ausführungsform veranschaulicht. Die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung gemäß dieser Ausführungsform weist die Funktionen einer Dateneingabe 110, einer Merkmalsextraktion 111, einer Einzelansichtsbestimmung 112, einer Mehrfachansichtsbestimmung 113, eines Zeichnens 114, eines Aufzeichnens 115, eines Lernens 116, einer Steuerung 91 und eines Speichers 90 auf. Die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung kann in einer Erfassungsvorrichtung für Gewebe-/Zellenbilder, wie z. B. eines virtuellen Objektträgers, angebracht sein oder kann in einem Server, der durch ein Netz mit der Erfassungsvorrichtung für Gewebe-/Zellenbilder verbunden ist, angebracht sein, wie im Folgenden (in der vierten und der fünften Ausführungsform) beschrieben wird.
In der Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung können die Funktionen der Dateneingabe 110, der Merkmalsextraktion 111, der Einzelansichtsbestimmung 112, der Mehrfachansichtsbestimmung 113, des Zeichens 114, des Aufzeichnens 115 und des Lernens 116 durch ein Programm verwirklicht sein oder als Module verwirklicht sein.
Als die Dateneingabe 110 werden die Bilddaten eingegeben. Die Dateneingabe 110 kann z. B. die codierten Daten eines Standbildes eines JPG-, Jpeg-200-, PNG- oder BMP-Formats erfassen, die in einem Intervall eines vorgegebenen Zeitraums durch eine Bildaufnahmeeinheit, wie z. B. eine in ein Mikroskop eingebaute Kamera, aufgenommen werden, wobei das Bild als ein Eingangsbild verwendet werden kann. Zusätzlich können die Standbilddaten eines vorgegebenen Intervalls eines Rahmens als die Dateneingabe 110 aus den Bewegtbilddaten eines Motion-JPEG-, MPEG-, H.264- oder HD/SDI-Formats extrahiert werden, wobei das Bild als ein Eingangsbild verwendet werden kann. Zusätzlich kann die Dateneingabe 110 ein durch die Bildaufnahmeeinheit durch einen Bus oder ein Netz erfasstes Bild als ein Eingangsbild verwenden. Zusätzlich kann die Dateneingabe 110 ein in einem abnehmbaren Aufzeichnungsmedium gespeichertes Bild als ein Eingangsbild verwenden.
Die Merkmalsextraktion 111 ist eine Funktion zum Extrahieren einer auf ein Gewebe oder eine Zelle bezogenen Merkmalsmenge aus dem Bild.
Die Einzelansichtsbestimmung 112 ist eine Funktion zum Berechnen eines Missbildungsgrades eines Gewebes oder einer Zelle aus der extrahierten Merkmalsmenge und zum Klassifizieren in der Einzelansicht, ob das Gewebe ein normales Gewebe oder ein anomales Gewebe ist oder ob die Zelle eine normale Zelle oder eine anomale Zelle ist.
Die Mehrfachansichtsbestimmung 113 ist eine Funktion zum Klassifizieren eines Gewebes/einer Zelle unter Verwendung mehrerer Einzelansichts-Klassifikationsergebnisse.
Das Zeichnen 114 ist eine Funktion zum Zeichnen eines Detektionsrahmens in dem Bild, um das anomale Gewebe oder die anomale Zelle zu umgeben, das bzw. die durch die Mehrfachansichtsbestimmung 113 klassifiziert worden ist.
Das Aufzeichnen 115 ist eine Funktion zum Speichern des Bildes des in dem Originalbild durch das Zeichnen 114 gezeichneten Detektionsrahmens in dem Speicher 90.
Das Lernen 116 ist eine Funktion zum Berechnen jedes Parameters (eines Filterfaktors, eines Versatzwerts usw.), der für die Identifikation in einem maschinellen Lernen erforderlich ist, um ein normales Gewebe oder eine normale Zelle als ein normales Gewebe oder eine normale Zelle oder ein anomales Gewebe oder eine anomale Zelle als ein anomales Gewebe oder eine anomale Zelle zu identifizieren.
Die Steuerung 91 ist durch einen Prozessor verwirklicht, der mit jedem Element der Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung verbunden ist. Der Betrieb jedes Elements der Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung wird durch die oben beschriebenen Komponenten autonom ausgeführt oder wird durch einen Befehl der Steuerung 91 ausgeführt.
In dieser Weise wird in der Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung dieser Ausführungsform die normale Zelle oder die anomale Zelle (oder das normale Gewebe oder das anomale Gewebe) bezüglich der Einzelansicht durch die Einzelansichtsbestimmung 112 unter Verwendung der durch die Merkmalsextraktion 111 erhaltenen Merkmalsmenge, die den Missbildungsgrad des Gewebes oder der Zelle angibt, klassifiziert. Das Gewebe und die Zelle werden durch die Mehrfachansichtsbestimmung 113 unter Verwendung der mehreren Einzelansichts-Klassifikationsergebnisse klassifiziert.
<Die Hardware-Konfiguration der Unterstützungsvorrichtung zur diagnostischen Bildgebung>
2 ist eine graphische Darstellung, die eine beispielhafte Hardware-Konfiguration der Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung gemäß der Ausführungsform der Erfindung veranschaulicht.
Die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung enthält eine CPU (einen Prozessor) 201, um verschiedene Typen von Programmen auszuführen, einen Speicher 202, um verschiedene Typen von Programmen zu speichern, eine Speichervorrichtung (die dem Speicher 90 entspricht) 203, um verschiedene Typen von Daten zu speichern, eine Ausgabevorrichtung 204, um ein detektiertes Bild auszugeben, eine Eingabevorrichtung 205, um einen Befehl eines Anwenders und ein Bild einzugeben, und eine Kommunikationsvorrichtung 206, um mit anderen Vorrichtungen zu kommunizieren, wobei diese durch einen Bus 207 miteinander verbunden sind.
Die CPU 201 liest bei Bedarf verschiedene Typen von Programmen aus dem Speicher 202 und führt sie aus.
Der Speicher 202 speichert als die Programme eine Eingangseinheit 10, eine Merkmalsextraktionseinheit 11, eine Einzelansichts-Bestimmungseinheit 12, eine Mehrfachansichts-Bestimmungseinheit 13, eine Zeicheneinheit 14, eine Aufzeichnungseinheit 15 und eine Lerneinheit 16.
Die Eingangseinheit 10 weist eine Funktion der Dateneingabe 110 in der in 1 veranschaulichten funktionalen Konfiguration auf. Die Merkmalsextraktionseinheit 11 weist eine Funktion der Merkmalsextraktion 111 auf. Die Einzelansichts-Bestimmungseinheit 12 weist eine Funktion der Einzelansichtsbestimmung 112 auf. Die Mehrfachansichts-Bestimmungseinheit 13 weist eine Funktion der Mehrfachansichtsbestimmung 113 auf. Die Zeicheneinheit 14 weist eine Funktion des Zeichens 114 auf. Die Aufzeichnungseinheit 15 weist eine Funktion des Aufzeichnens 115 auf. Die Lerneinheit 16 weist eine Funktion des Lernens 116 auf.
Die Speichervorrichtung 203 speichert ein Verarbeitungszielbild, das Einzelansichts-Klassifikationsergebnis und einen durch die Einzelansichts-Bestimmungseinheit 12 erzeugten Zahlenwert, das durch die Mehrfachansichts-Bestimmungseinheit 13 erzeugte Klassifikationsergebnis des Gewebes/der Zelle, die Positionsinformationen, um den durch die Zeicheneinheit 14 erzeugten Detektionsrahmen zu zeichnen, und verschiedene Typen von Parametern der durch die Lerneinheit 16 erzeugten folgenden Ausdrücke (Math. 1 und Math. 2).
Die Ausgabevorrichtung 204 ist durch Vorrichtungen, wie z. B. eine Anzeige, einen Drucker und einen Lautsprecher, konfiguriert. Die Ausgabevorrichtung 204 zeigt z. B. die durch die Zeicheneinheit 14 erzeugten Daten auf einem Anzeigeschirm an.
Die Eingabevorrichtung 205 ist durch Vorrichtungen, z. B. eine Tastatur, eine Maus und ein Mikrophon, konfiguriert. Ein Befehl eines Anwenders (einschließlich einer Bestimmung des Verarbeitungszielbildes) wird durch die Eingabevorrichtung 205 in die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung eingegeben.
In einem Fall, in dem die Kommunikationsvorrichtung in einem Personalcomputer, der mit einer Erfassungsvorrichtung für Gewebe-/Zellenbilder verbunden ist, als die Kommunikationsvorrichtung 206 enthalten ist, kann die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung die Kommunikationsvorrichtung 206 nicht enthalten, die keine wesentliche Konfiguration der Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung ist. Die Kommunikationsvorrichtung 206 empfängt z. B. die von einer anderen Vorrichtung (z. B. einem Server), die durch ein Netz verbunden ist, übertragenen Daten (einschließlich eines Bildes) und führt eine Operation zum Speichern der Daten in der Speichervorrichtung 203 aus.
Die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung gemäß dieser Ausführungsform detektiert die Normalität/Anomalie und eine anomale Stelle eines Gewebes, das eine Zelle enthält, von einem Bild 310 einer breiten Ansicht (einem histopathologischen Bild), wie in 3A veranschaulicht ist. Als Nächstes wird bezüglich der detektierten anomalen Stelle ein Bild 320 einer schmalen Ansicht, das in 3B veranschaulicht ist, erhalten. Dann werden die Normalität/Anomalie und die anomale Stelle der Zelle aus dem Bild 320 einer schmalen Ansicht detektiert, wobei aus der Normalität/Anomalie und der anomalen Stelle, die so detektiert worden sind, eine Läsionswahrscheinlichkeit bestimmt wird.
In der Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung gemäß dieser Ausführungsform bestimmt die Einzelansichts-Bestimmungseinheit 12 einen repräsentativen Bildpunkt aus der in dem in 3A veranschaulichten Bild einer breiten Ansicht detektierten anomalen Stelle, wobei sie ein Bild mit hoher Auflösung, das dem repräsentativen Bildpunkt entspricht, erzeugt oder ein Bild mit hoher Vergrößerung, das dem repräsentativen Bildpunkt entspricht, wiedergewinnt, um das in 3B veranschaulichte Bild einer schmalen Ansicht zu erfassen. Der repräsentative Bildpunkt ist ein beliebiger Bildpunkt an der anomalen Stelle in dem Bild mit breiter Ansicht, ein Bildpunkt mit einer maximalen Läsionswahrscheinlichkeit oder ein Bildpunkt in der Mitte der Verteilung der Läsionswahrscheinlichkeit. Die Verteilungsmitte ist z. B. ein Bildpunkt 2020, in dem das Berechnungsergebnis eines gleitenden Durchschnitts der Verteilung einer läsionsverursachenden Stelle 2021 in dem Bereich, der durch einen Detektionsrahmen 2010 eines Bildes 2000 einer breiten Ansicht umgeben ist, ein Maximum ist, wie in 20 veranschaulicht ist.
<Die Konfiguration und der Betrieb der Einheiten>
Im Folgenden werden die Konfiguration und der Betrieb jedes Elements beschrieben.
Die Merkmalsextraktionseinheit 11
Die Merkmalsextraktionseinheit 11 erhält die Merkmalsmengen mehrerer Ansichten. Als ein Beispiel veranschaulichen die 3A und 3B ein Beispiel, in dem die Merkmalsmenge des Bildes einer schmalen Ansicht aus dem Bild einer breiten Ansicht erhalten wird. Die Merkmalsmenge eines Gewebes 312 wird z. B. aus einer Ansicht 1, die durch einen Detektionsrahmen 311 des Bildes 310 (mit niedriger Auflösung einer niedrigen Vergrößerung) einer breiten Ansicht nach 3A umgeben ist, erhalten. Als ein Beispiel ist ein Filter 400, das die Merkmalsmenge irgendeiner Gewebeform erhält, in 4 veranschaulicht.
Die Filterfaktoren wj des Bereichs 1:401, des Bereichs 2:402 und des Bereichs 3:403 des in 4 veranschaulichten Filters 400 sind z. B. auf 0,1 bzw. -1 gesetzt. Zusätzlich kann der durch das maschinelle Lernen erhaltene Filterfaktor auf wj gesetzt werden, um ein normales Gewebe als ein normales Gewebe zu identifizieren oder um ein anomales Gewebe als ein anomales Gewebe zu identifizieren.
Mit anderen Worten, der Filterfaktor wj ist ein Koeffizient, wie er in dem Ausdruck (Math. 1) veranschaulicht ist. In dem Ausdruck (Math. 1) repräsentiert pj einen Bildpunktwert, repräsentiert wj einen Filterfaktor, repräsentiert bi einen Versatzwert, repräsentiert m die Anzahl der Filterfaktoren und repräsentiert h eine nichtlineare Funktion.
Wie in 5 veranschaulicht ist, wird unter Verwendung des Ausdrucks (Math. 1) das Berechnungsergebnis eines Filters 4011 an jeder Position für eine Stelle von dem linken oberen Abschnitt bis zu dem rechten unteren Abschnitt eines Zielbildes 500 (eines Bildes einer breiten Ansicht) erhalten, so dass eine Merkmalsmenge fi eines Filters i (i = T1), das die Form eines beliebigen Gewebes 5011 aufweist, erhalten wird. Ähnlich werden die Merkmalsmengen fi (fi = 2 bis N) der Filter T2:4012 bis TN:401N unter Verwendung des an jeder Stelle des linken oberen und des rechten unteren Abschnitts des Zielbildes 500 (des Bildes einer breiten Ansicht) bezüglich der Filter, die die Merkmalsmenge der Formen der beliebigen Gewebe 5012 bis 501N der Filter T2:4012 bis TN:401N erhalten, erhaltenen Berechnungsergebnisses berechnet, wie in 6 veranschaulicht ist.
Eine Bereichsgröße der Ansicht 1 des Zielbildes 500 (des Bildes einer breiten Ansicht) wird auf eine Bereichsgröße gesetzt, in der das maschinelle Lernen mehrmals ausgeführt wird, während die Bereichsgröße der Ansicht 1 geändert wird, wobei eine Identifikationsgenauigkeit für eine Auswertungsdatenmenge in einem Fall maximiert ist, in dem z. B. das maschinelle Lernen verwendet wird.
[Math. 1] $f i = h (\sum_{j = 1}^{m} (p j \times w j) + b i)$
Zusätzlich wird z. B. die Merkmalsmenge einer Zelle 322 aus einer Ansicht 2, die von einem Detektionsrahmen 321 des Bildes 320 (mit hoher Auflösung oder hoher Vergrößerung) einer schmalen Ansicht nach 3B umgeben ist, erhalten. Als ein Beispiel ist ein Filter, das die Merkmalsmenge irgendeiner Zellenform einhält, in 7 veranschaulicht. In einem Filter 701, das in 7 veranschaulicht ist, sind z. B. die Filterfaktoren wj des Bereichs 4:702, der der Außenseite der Zelle entspricht, des Bereichs 5:703, der einer Zellengrenze entspricht, des Bereichs 6:704, der dem inneren Abschnitt der Zelle entspricht, auf 0, 1 bzw. -1 gesetzt. Zusätzlich kann der durch das maschinelle Lernen erhaltene Filterfaktor auf wj gesetzt werden, um eine normale Zelle als eine normale Zelle zu identifizieren oder um eine anomale Zelle als eine anomale Zelle zu identifizieren. Mit anderen Worten, der Filterfaktor wj ist ein Koeffizient, wie er in dem Ausdruck (Math. 1) veranschaulicht ist.
Wie in 8 veranschaulicht wird, werden unter Verwendung des Ausdrucks (Math. 1) das Berechnungsergebnis des Filters 7011 an jeder Position für eine Stelle von dem linken oberen Abschnitt bis zu dem rechten oberen Abschnitt eines Zielbildes 801 (eines histopathologischen Bildes) und die Merkmalsmenge fi des Filters i, das die Form (i = C1) einer beliebigen Zelle aufweist, erhalten (die Merkmalsmengenberechnung 9211). Ähnlich werden die Merkmalsmengen der Filter 7012 bis 701N unter Verwendung der Filter 7012 bis 701N berechnet, die die Merkmalsmengen der Formen der beliebigen Zellen 8022 bis 802N von C2 bis CN (9212 bis 921N) erhalten, wie in 9 veranschaulicht ist.
Eine Bereichsgröße der Ansicht 2 des Zielbildes 801 (des Bildes einer schmalen Ansicht) wird auf eine Bereichsgröße gesetzt, bei der das maschinelle Lernen mehrmals ausgeführt wird, während die Bereichsgröße der Ansicht 2 geändert wird, wobei eine Identifikationsgenauigkeit einer Auswertungsdatenmenge z. B. in einem Fall maximiert wird, in dem das maschinelle Lernen ausgeführt wird.
(ii) Die Einzelansichts-Bestimmungseinheit 12
Die Einzelansichts-Bestimmungseinheit 12 klassifiziert durch den Ausdruck (Math. 2) unter Verwendung jeder durch die Merkmalsextraktionseinheit 11 erhaltenen Merkmalsmenge fi von den mehreren Filtern T1 bis TN, die sich auf die Form eines beliebigen Gewebes beziehen, ob das Gewebe in dem Gewebe-/Zellen-Eingangsbild normal oder anomal ist, wie in 6 veranschaulicht ist. In dem Ausdruck (Math. 2) repräsentiert w eine Anordnung von Gewichten, repräsentiert f eine Anordnung von Merkmalsmengen fi, die durch jedes Filter aus dem Eingangsbild erhalten werden, repräsentiert b den Versatzwert, repräsentiert g eine nichtlineare Funktion und repräsentiert y ein Berechnungsergebnis. Das Gewicht w und der Versatzwert b werden durch die Lerneinheit 16 durch das maschinelle Lernen erhalten.
Ähnlich klassifiziert die Einzelansichts-Bestimmungseinheit 12 unter Verwendung jeder durch die Merkmalsextraktionseinheit 11 erhaltenen Merkmalsmenge fi von den mehreren Filtern C1 bis CN, die sich auf die Form einer beliebigen Zelle beziehen, durch den Ausdruck (Math. 2), ob die Zelle in dem Gewebe-/Zellen-Eingangsbild normal oder anomal ist, wie in 9 veranschaulicht ist.
[Math. 2] $y = g (w \times f + b)$
(iii) Die Lerneinheit 16
Die Lerneinheit 16 lernt z. B. den Missbildungsgrad des Gewebes oder der Zelle unter Verwendung der Technik des maschinellen Lernens des Standes der Technik. Falls z. B. durch den Ausdruck (Math. 2) bestimmt wird, dass das Gewebe in dem Gewebe-/Zellen-Eingangsbild ein normales Gewebe ist, wird das Gewebe durch einen logistischen regressiven Prozess in einer Einheit 610 zur logistischen regressiven Verarbeitung in ein normales Gewebe klassifiziert. Falls bestimmt wird, dass die Zelle in dem Gewebe-/Zellen-Eingangsbild eine normale Zelle ist, wird die Zelle durch den logistischen regressiven Prozess in einer Einheit 930 zur logistischen regressiven Verarbeitung in eine normale Zelle klassifiziert.
Zusätzlich wird der Missbildungsgrad des Gewebes oder der Zelle erlernt. Falls z. B. das Gewebe in dem Gewebe-/Zellen-Eingangsbild ein anomales Gewebe ist, wird das Gewebe durch den logistischen regressiven Prozess in ein anomales Gewebe klassifiziert. Falls die Zelle in dem Gewebe-/Zellen-Eingangsbild eine anomale Zelle ist, wird die Zelle durch den logistischen regressiven Prozess in eine anomale Zelle klassifiziert. Als eine Technik des maschinellen Lernens kann z. B. ein faltendes neuronales Netz verwendet werden.
Die Lerneinheit 16 betreibt die Merkmalsextraktionseinheit 11 und die Einzelansichts-Bestimmungseinheit 12 unter Verwendung der mehreren Lernbilder wiederholt, erhält das Gewicht w, den Filterfaktor wj und die Versatzwerte b und bi der Ausdrücke (Math. 1 und Math. 2) und erzeugt eine Kennung, um zu klassifizieren, ob das Gewebe ein normales Gewebe oder ein anomales Gewebe ist, und eine Kennung, um zu klassifizieren, ob die Zelle eine normale Zelle oder eine anomale Zelle ist. Zusätzlich speichert die Lerneinheit 16 das Gewicht w, den Filterfaktor wj und die Versatzwerte b und bi in dem Speicher.
(iv) Die Mehrfachansichts-Bestimmungseinheit 13
Die Mehrfachansichts-Bestimmungseinheit 13 zeigt ein durch die Einzelansichts-Bestimmungseinheit 12 aus dem Bild einer breiten Ansicht erhaltenes Klassifikationsergebnis einer Läsionswahrscheinlichkeit unter Verwendung eines Läsionswerts des normalen Gewebes (Beispiel: einer Läsion) und eines aus dem Bild einer schmalen Ansicht erhaltenen Wahrscheinlichkeitswerts der anomalen Zelle (Beispiel: einer Läsion) an. Als ein Beispiel werden eine Wahrscheinlichkeit einer gutartigen Läsion und eine Wahrscheinlichkeit einer bösartigen Läsion der Zelle in dem Bild einer schmalen Ansicht klassifiziert.
Ferner können nicht nur das Bild einer schmalen Ansicht, sondern außerdem der Typ der Bösartigkeit nicht klassifiziert werden. Deshalb wird die Läsionswahrscheinlichkeit des Gewebes in dem Bild einer breiten Ansicht klassifiziert, wobei der Typ der Bösartigkeit in Kombination mit dem Klassifikationsergebnis des Bildes einer schmalen Ansicht klassifiziert werden kann.
Das Vorhandensein/Fehlen (die Normalität, die Gutartigkeit oder die Bösartigkeit) der Läsion einer Brustzelle wird z. B. in dem Bild einer schmalen Ansicht klassifiziert. In dem Fall der Bösartigkeit wird sie z. B. in die Typen (einen Siebtyp, einen Komedotyp, einen festen Typ, einen papillären Typ usw.) der Bösartigkeit in dem Bild einer breiten Ansicht klassifiziert. Zusätzlich wird z. B. das Vorhandensein/Fehlen (Normalität, Krebs usw.) der Läsion einer Magenzelle in dem Bild einer schmalen Ansicht klassifiziert. Eine Eindringtiefe wird in dem Bild einer breiten Ansicht klassifiziert. Ein Grad des Fortschritts (ein früher Magenkrebs (ein Krebs, der bis zu einer unteren Schicht der Schleimhaut ausgebreitet ist), ein fortschreitender Magenkrebs (ein Krebs, der über die Muskelschicht, die die Schleimhaut übersteigt, ausgebreitet ist) usw.) des Krebses wird klassifiziert. Zusätzlich wird z. B. das Vorhandensein/Fehlen (Normalität, Krebs usw.) der Läsion der Brustzelle in dem Bild der schmalen Ansicht klassifiziert, wobei das Vorhandensein/Fehlen eines Eindringens (Nichteindringen, Eindringen usw.) in dem Bild einer breiten Ansicht klassifiziert wird.
Die Zeicheneinheit 14
In einem Fall, in dem in der Einzelansichtsbestimmung 12 in dem Bild einer breiten Ansicht das Gewebe in das anomale Gewebe klassifiziert wird, zeichnet die Zeicheneinheit 14 einen Detektionsrahmen 1010, der die Stelle 1001 mit einem Verdacht auf ein anomales Gewebe in einem Zielbild 1000 (dem Eingangsbild einer breiten Ansicht) umgibt, um eine Stelle 1001 mit dem Verdacht auf ein anomales Gewebe zu zeigen, wie in 10 veranschaulicht ist. Andererseits wird in einem Fall, in dem das Gewebe in das normale Gewebe klassifiziert wird, in dem Eingangszielbild kein Detektionsrahmen gezeichnet, sondern wird das Zielbild 1000 (das Bild einer breiten Ansicht) angezeigt, wie es ist.
Zusätzlich wird in einem Fall, in dem in einem Zielbild 1100 (dem Bild einer schmalen Ansicht) die Zelle in die anomale Zelle klassifiziert wird, ein Detektionsrahmen 1110, der die Stelle 1101 mit dem Verdacht auf eine anomale Zelle umgibt, in dem Zielbild 1100 (dem Eingangsbild einer schmalen Ansicht) gezeichnet, um eine Stelle 1101 mit dem Verdacht auf eine anomale Zelle zu zeigen, wie in 11 veranschaulicht ist. In einem Fall, in dem die Zelle andererseits in die normale Zelle klassifiziert wird, wird in dem Eingangszielbild kein Detektionsrahmen gezeichnet, sondern wird das Eingangszielbild 1100 angezeigt, wie es ist. Zusätzlich wird ein Ergebnis (z. B. der Siebtyp) der in dem Bild einer breiten Ansicht und dem Bild einer schmalen Ansicht klassifizierten Läsionswahrscheinlichkeit in einem Bestimmungsergebnis-Anzeigebereich 1120 angezeigt, wie in 10 veranschaulicht ist.
(vi) Die Aufzeichnungseinheit 15
Die Aufzeichnungseinheit 15 speichert die Koordinateninformationen zum Zeichnen der Detektionsrahmen (311, 321, 1010 und 1110) auf dem Eingangszielbild durch die Zeicheneinheit 14 und das Zielbild im Speicher 90.
<Die Verarbeitungsprozedur der Unterstützungsvorrichtung zur diagnostischen Bildgebung>
12 ist ein Ablaufplan zum Beschreiben eines Betriebs der Lerneinheit 16 der Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung gemäß der Ausführungsform der Erfindung. Im Folgenden wird die Beschreibung über die Lerneinheit 16 als den Operationsgegenstand gegeben, wobei aber die CPU 201 als der Operationsgegenstand und die Verarbeitungseinheiten als die Programme ersetzt werden können.
Schritt: S1201
Die Eingangseinheit 10 empfängt eine Bildeingabe zum Lernen und gibt das Eingangsbild an die Lerneinheit 16 aus.
(ii) Schritt: S1202
Die Lerneinheit 16 erhält die Merkmalsmenge fi des Gewebes oder der Zelle unter Verwendung des obigen Ausdrucks 1 unter Verwendung mehrerer Filter.
(iii) Schritt: S1203
Die Lerneinheit 16 lernt den Missbildungsgrad des Gewebes oder der Zelle unter Verwendung der Ausdrücke 1 und 2 und berechnet das Gewicht b, den Filterfaktor wj und die Versätze b und bi.
(iv) Schritt: S1204
Die Lerneinheit 16 speichert das Gewicht w, den Filterfaktor wj und die Versätze b und bi, die berechnet werden, im Speicher 90.
13 ist ein Ablaufplan zum Beschreiben eines Betriebs der Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung gemäß der Ausführungsform der Erfindung. Im Folgenden werden die Verarbeitungseinheiten (die Eingangseinheit 10, die Merkmalsextraktionseinheit 11 usw.) als der Operationsgegenstand beschrieben, wobei aber die CPU 211 als der Operationsgegenstand und die Verarbeitungseinheiten als die Programme ersetzt werden können.
Schritt: S1301
Die Eingangseinheit 11 empfängt das Bild einer breiten Ansicht des Bestimmungsziels (das dem Bild 310 einer breiten Ansicht nach 3A entspricht) und gibt das Eingangsbild einer breiten Ansicht zu der Merkmalsextraktionseinheit 11 aus.
(ii) Schritt: S1302
Die Merkmalsextraktionseinheit 11 liest den Filterfaktor wj und den Versatz bi, die im S1204 im Speicher 90 gespeichert worden sind, aus dem Speicher 90 und erhält die Merkmalsmenge fi (601 bis 60N nach 6) des Gewebes (5011 bis 501N nach 6) unter Verwendung des obigen Ausdrucks (Math. 1) unter Verwendung der mehreren Filter (4011 bis 401N nach 6).
(iii) Schritt: S1303
Die Einzelansichts-Bestimmungseinheit 12 liest den Filterfaktor w und den Versatz b, die im S1204 im Speicher 90 gespeichert worden sind, aus dem Speicher 90 und berechnet ein Berechnungsergebnis y durch den Ausdruck (Math. 2).
(iv) Schritt: S1304
Die Einzelansichts-Bestimmungseinheit 12 vergleicht das berechnete Berechnungsergebnis y mit einem Schwellenwert Th1 und klassifiziert, ob das Bild einer breiten Ansicht das normale Gewebe oder das anomale Gewebe ist (610 nach 6). Mit anderen Worten, in dem Fall des Berechnungsergebnisses y ≥ der Schwellenwert Th1 wird das Bild in das anomale Gewebe klassifiziert, wobei der Prozess zum Schritt: S1305 weitergeht. Andererseits wird in dem Fall des Berechnungsergebnisses y < der Schwellenwert Th1 das Bild in das normale Gewebe klassifiziert, wobei der Prozess zum Schritt: S1306 weitergeht.
Schritt: S1305
Die Einzelansichts-Bestimmungseinheit 12 setzt das anomale Gewebe (z. B. 1) auf ein Klassifikationsergebnis res.
(vi) Schritt: S1306
Die Einzelansichts-Bestimmungseinheit 12 setzt das normale Gewebe (z. B. 0) auf das Klassifikationsergebnis res.
(vii) Schritt: S1307
Das Bild einer schmalen Ansicht (das dem Bild 320 einer schmalen Ansicht nach 3B entspricht), das der anomalen Stelle des detektierten Gewebes entspricht, wird erfasst, wobei das Bild einer schmalen Ansicht zu der Merkmalsextraktionseinheit 11 ausgegeben wird.
(viii) Schritt: S1308
Die Merkmalsextraktionseinheit 11 liest den Filterfaktor wj und den Versatz bi, die im S1204 im Speicher 90 gespeichert worden sind, aus dem Speicher 90 und erhält die Merkmalsmenge fi (9211 bis 921N nach 9) der Zelle (8021 bis 802N nach 9) unter Verwendung des obigen Ausdrucks (Math. 1) unter Verwendung der mehreren Filter (7011 bis 701N nach 9).
(ix) Schritt: S1309
Die Einzelansichts-Bestimmungseinheit 12 liest den Filterfaktor w und den Versatz b, die im S1204 im Speicher 90 gespeichert worden sind, aus dem Speicher 90 und berechnet ein Berechnungsergebnis y2 durch den Ausdruck (Math. 2)
Schritt: S1310
Die Einzelansichts-Bestimmungseinheit 12 vergleicht das berechnete Berechnungsergebnis y2 mit einem Schwellenwert Th2 und klassifiziert, ob das Bild einer schmalen Ansicht die normale Zelle oder die anomale Zelle (930 nach 9) ist. Mit anderen Worten, in dem Fall des Berechnungsergebnisses y2 ≥ der Schwellenwert Th2 wird das Bild in die anomale Zelle klassifiziert, wobei der Prozess zum Schritt: S1311 weitergeht. Andererseits wird in dem Fall des Berechnungsergebnisses y < der Schwellenwert Th2 das Bild in die normale Zelle klassifiziert, wobei der Prozess zum Schritt: S1312 weitergeht.
(xi) Schritt: S1311
Die Einzelansichts-Bestimmungseinheit 12 setzt die anomale Zelle (z. B. 1) auf ein Klassifikationsergebnis res2.
(xii) Schritt: S1312
Die Einzelansichts-Bestimmungseinheit 12 setzt die normale Zelle (z. B. 0) auf ein Klassifikationsergebnis res2.
(xiii) Schritt: S1313
Die Mehrfachansichts-Bestimmungseinheit 13 kombiniert das Klassifikationsergebnis res der breiten Ansicht und das Klassifikationsergebnis res2 der schmalen Ansicht und klassifiziert die Läsionswahrscheinlichkeit. Das Klassifikationsergebnis res der Brust wird z. B. auf ein Ergebnis, wie z. B. den Siebtyp, den Komedotyp, den festen Typ und den papillären Typ, gesetzt. Zusätzlich wird das Klassifikationsergebnis res2 auf ein Ergebnis, wie z. B. Normalität, Gutartigkeit und Bösartigkeit, gesetzt. Deshalb können der Läsionstyp (z. B. die Bösartigkeit und ein Siebtyp) oder die Läsionswahrscheinlichkeit (y = 0,89: Wertebereich (0 bis 1), y2 = 0,85: Wertebereich (0 bis 1)) durch das Kombinieren der Klassifikationsergebnisse res und res2 und der Berechnungsergebnisse y und y2 erhalten werden.
(xiv) Schritt: S1314
Die Zeicheneinheit 14 zeichnet in einem Fall, in dem das Bild in das anomale Gewebe und die anomale Zelle klassifiziert wird, die Detektionsrahmen 1010 und 1111, die die Stelle 1001 mit dem Verdacht auf ein anomales Gewebe und die Stelle 1101 mit dem Verdacht auf eine anomale Zelle angeben, in den Zielbildern 1000 und 1100 und zeigt sie an, wie in den 10 und 11 veranschaulicht ist. Die Zeicheneinheit 14 zeichnet in einem Fall, in dem das Bild in das normale Gewebe und die normale Zelle klassifiziert wird, in den Zielbildern 100 und 1100 keinen Detektionsrahmen.
22 veranschaulicht ein Beispiel, in dem das Bild 1000 einer breiten Ansicht und das Bild 1100 einer schmalen Ansicht auf demselben Schirm 2200 nebeneinander angezeigt werden. In dem in 22 veranschaulichten Beispiel wird der Detektionsrahmen 1010 in einem Bereich, der die Stelle 1001 mit dem Verdacht auf das anomale Gewebe umgibt, in dem Bild 1000 einer breiten Ansicht angezeigt. Das Bestimmungsergebnis der Läsionswahrscheinlichkeit wird in dem Bestimmungsergebnis-Anzeigebereich 1120 angezeigt. Der Detektionsrahmen 1110 wird in einem Bereich, der die Stelle 1001 mit dem Verdacht auf die anomale Zelle umgibt, in dem Bild 1100 einer schmalen Ansicht angezeigt.
In dieser Weise können das ausführliche Bild der läsionsverursachenden Stelle und der Umgebungszustand der läsionsverursachenden Stelle auf demselben Schirm verglichen werden, indem das Bild 1000 einer breiten Ansicht und das Bild 1100 einer schmalen Ansicht auf demselben Schirm 2200 nebeneinander angezeigt werden. Die Läsionswahrscheinlichkeit kann durch das Vergleichen mit einem Fall, in dem das Bild gewechselt und angezeigt wird, effizient bestimmt werden.
(xv) Schritt: S1315
Die Aufzeichnungseinheit 15 speichert die Koordinateninformationen zum Zeichnen des Detektionsrahmens in dem Eingangszielbild durch die Zeicheneinheit 14 und das Zielbild in dem Speicher 90 (der der Speichervorrichtung 203 entspricht).
Gemäß der ersten Ausführungsform wird der Missbildungsgrad des Gewebes und der Zelle unter Verwendung der durch die mehreren Filter erhaltenen Merkmalsmenge des Gewebes und der Zelle erlernt. Das Gewicht, der Filterfaktor und der Versatz werden berechnet, um die Kennung, um das normale Gewebe oder das anomale Gewebe zu klassifizieren, und die Kennung, um die normale Zelle und die anomale Zelle zu klassifizieren, zu erzeugen. Deshalb können eine fehlerhafte Detektion und eine übermäßige Detektion bezüglich der Läsionsdetektion unterdrückt werden, wobei das normale Gewebe oder das anomale Gewebe und die normale Zelle oder die anomale Zelle aus dem Bild klassifiziert werden können.
Zusätzlich wird das Gewebe/die Zelle unter Verwendung des Klassifikationsergebnisses der Kennung bezüglich der Bilder mit unterschiedlichen vorgegebenen Ansichten klassifiziert. Deshalb ist es möglich, die Läsionswahrscheinlichkeit des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) gemäß dem Grad des Fortschritts des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) zu klassifizieren.
Zusätzlich wird anstelle des Bestimmens der Läsionswahrscheinlichkeit nur einer Ansicht die Läsion der Bereiche mit unterschiedlichen Ansichten klassifiziert. Deshalb ist es möglich, eine fehlerhafte Detektion bei der Klassifikation zu unterdrücken.
Zusätzlich wird das Merkmal der anomalen Zelle der schmalen Ansicht bezüglich des detektierten anomalen Gewebes der breiten Ansicht selektiv analysiert. Deshalb ist es möglich, die Läsionswahrscheinlichkeit der Zelle aus der anomalen Stelle des Gewebes zu klassifizieren.
Gemäß dieser Ausführungsform führt die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung einen Prozess zum Erhalten der Merkmalsmenge des Gewebes und der Zelle unter Verwendung der mehreren Filter und zum Ausführen des maschinellen Lernens an dem Missbildungsgrad des Gewebes und der Zelle unter Verwendung der erhaltenen Merkmalsmenge, einen Prozess zum Klassifizieren des normalen Gewebes oder des anomalen Gewebes unter Verwendung der durch das maschinelle Lernen erhaltenen Kennung, einen Prozess zum Klassifizieren der normalen Zelle oder der anomalen Zelle aus dem Bild einer schmalen Ansicht von der anomalen Stelle des Bildes einer breiten Ansicht und einen Prozess zum Kombinieren der Klassifikationsergebnisse der mehreren vorgegebenen Ansichten, um die Läsionswahrscheinlichkeit des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) gemäß dem Grad des Fortschritts des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) zu klassifizieren, aus.
Spezifischer wird die Merkmalsmenge des Gewebes und der Zelle unter Verwendung der mehreren Filter erhalten, wie in dem Ausdruck (Math. 1) gezeigt ist. Wie in dem Ausdruck (Math. 2) gezeigt ist, wird das maschinelle Lernen an dem Missbildungsgrad des Gewebes und der Zelle ausgeführt, um das anomale Gewebe oder die anomale Zelle als das anomale Gewebe oder die anomale Zelle zu bestimmen, so dass das Gewicht der Kennung, der Filterfaktor und der Versatz berechnet werden.
Dann können unter Verwendung des Gewichts der Kennung, des Filterfaktors und des Versatzes, die durch das maschinelle Lernen erhalten werden, das Gewebe und die Zelle in dem Eingangsbild des Bestimmungsziels aus dem Bild einer breiten Ansicht in das normale Gewebe oder das anomale Gewebe oder aus dem Bild einer schmalen Ansicht in die normale Zelle oder die anomale Zelle klassifiziert werden.
Ferner wird die Läsionswahrscheinlichkeit des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) gemäß dem Grad des Fortschritts des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) durch das Kombinieren der Klassifikationsergebnisse der mehreren vorgegebenen Ansichten klassifiziert. Deshalb ist es möglich, die Klassifikationsergebnisse gemäß dem Grad des Fortschritts des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) anzuzeigen.
[Die zweite Ausführungsform]
Eine Unterstützungsvorrichtung 1-1 zur diagnostischen Bildgebung gemäß einer zweiten Ausführungsform der Erfindung (siehe 1) enthält die gleichen Konfigurationen und Funktionen wie jene der unter Verwendung der 1 in der ersten Ausführungsform beschriebenen Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung, wobei aber der Betrieb der Einzelansichts-Bestimmungseinheit 12-1 von der ersten Ausführungsform verschieden ist. Deshalb werden hier unter Verwendung der 14A und 14B die unterschiedlichen Prozesskonfigurationen beschrieben, wobei der gesamte Verarbeitungsablauf, der von 13 verschieden ist, unter Verwendung der 15 beschrieben wird.
Die Unterstützungsvorrichtung 1-1 zur diagnostischen Bildgebung in dieser Ausführungsform detektiert die Normalität/Anomalie und die anomale Stelle einer Zelle 1412 in einem durch einen Detektionsrahmen 1411 umgebenen Bereich eines Bildes 1410 einer schmalen Ansicht, wie in 14A veranschaulicht ist. Ein Bild 1420 einer breiten Ansicht, das in 14B veranschaulicht ist, wird bezüglich der detektierten anomalen Stelle erhalten. Die Normalität/Anomalie und die anomale Stelle eines Gewebes 1422 in einem durch einen Detektionsrahmen 1421 umgebenen Bereich des Bildes 1024 einer breiten Ansicht werden detektiert. Die Läsionswahrscheinlichkeit wird aus der Normalität/Anomalie und der anomalen Stelle, die detektiert werden, bestimmt.
In der Unterstützungsvorrichtung 1-1 zur diagnostischen Bildgebung gemäß dieser Ausführungsform bestimmt die Einzelansichts-Bestimmungseinheit 12-1 den repräsentativen Bildpunkt der anomalen Stelle in dem Bild 1410 einer schmalen Ansicht und erzeugt ein Bild mit niedriger Auflösung entsprechend dem repräsentativen Bildpunkt oder gewinnt ein Bild mit niedriger Auflösung entsprechend dem repräsentativen Bildpunkt wieder, um das Bild 1420 einer breiten Ansicht zu erfassen.
Der repräsentative Bildpunkt ist ein beliebiger Bildpunkt in einer anomalen Stelle in einem durch den Detektionsrahmen 1411 umgebenen Bereich in dem Bild 1410 einer schmalen Ansicht, ein Bildpunkt mit einer maximalen Läsionswahrscheinlichkeit oder ein Bildpunkt in der Mitte der Verteilung der Läsionswahrscheinlichkeit. Die Verteilungsmitte kann z. B. ein Bildpunkt 2120 sein, in dem das Berechnungsergebnis eines gleitenden Durchschnitts der Verteilung einer läsionsverursachenden Stelle 2121 in dem durch einen Detektionsrahmen 2110 umgebenen Bereich eines Bildes 2100 einer schmalen Ansicht, die in 21 veranschaulicht ist, maximal ist.
<Die Konfiguration und der Betrieb der Einheiten>
Im Folgenden werden die Konfiguration und der Betrieb jedes Elements, das von 1 verschieden ist, beschrieben.
(ii) Die Einzelansichtsbestimmung 112-1
Die Einzelansichtsbestimmung 112-1 klassifiziert unter Verwendung jeder durch die Merkmalsextraktion 111 erhaltenen Merkmalsmenge fi von den mehreren Filtern C1:7011 bis CN:701N, die sich auf die Form einer beliebigen Zelle beziehen, wie in 9 veranschaulicht ist, durch den Ausdruck (Math. 2), ob die Zelle in dem Gewebe-/Zellen-Eingangsbild normal oder anomal ist. Ähnlich klassifiziert die Einzelansichtsbestimmung 112-1 unter Verwendung jeder durch die Merkmalsextraktion 111 erhaltenen Merkmalsmenge fi von den mehreren Filtern T1:4011 bis TN:401N, die sich auf die Formen der beliebigen Gewebe 5011 bis 501N beziehen, wie in 6 veranschaulicht ist, ob das Gewebe in dem Gewebe-/Zellen-Eingangsbild normal oder anomal ist.
<Die Hardware-Konfiguration der Unterstützungsvorrichtung zur diagnostischen Bildgebung>
Eine beispielhafte Hardware-Konfiguration der Unterstützungsvorrichtung 1-1 zur diagnostischen Bildgebung gemäß dieser Ausführungsform ist mit Ausnahme der Einzelansichts-Bestimmungseinheit 12-1 die gleiche wie die, die unter Verwendung der 2 in der ersten Ausführungsform beschrieben worden ist. Die Einzelansichts-Bestimmungseinheit 12-1 in dieser Ausführungsform führt die Funktion der Einzelansichtsbestimmung 112-1 aus.
15 ist ein Ablaufplan zum Beschreiben eines Betriebs der Unterstützungsvorrichtung 1-1 zur diagnostischen Bildgebung gemäß dieser Ausführungsform. Im Folgenden werden die Verarbeitungseinheiten (die Eingangseinheit 10, die Merkmalsextraktionseinheit 11 usw.) als der Operationsgegenstand beschrieben, wobei aber die CPU 201 als der Operationsgegenstand und die Verarbeitungseinheiten als die Programme ersetzt sein können.
Schritt: S1501
Die Eingangseinheit 10 empfängt das Bild einer schmalen Ansicht des Bestimmungsziels (das dem Bild 1410 nach 14A entspricht) und gibt das Eingangsbild zu der Merkmalsextraktionseinheit 11 aus.
(ii) Schritt: S1502
Die Merkmalsextraktionseinheit 11 liest den Filterfaktor wj und den Versatz bi, die im S1204 im Speicher 90 gespeichert worden sind, aus dem Speicher 90 und erhält unter Verwendung des obigen Ausdrucks (Math. 1) unter Verwendung der mehreren Filter (die 7011 bis 701N nach 9 entsprechen) die Merkmalsmenge fi (die 9211 bis 921N nach 9 entspricht) der Zelle (die 8021 bis 802N nach 9 entspricht).
(iii) Schritt: S1503
Die Einzelansichts-Bestimmungseinheit 12-1 liest den Filterfaktor w und den Versatz b, die im S1204 im Speicher 90 gespeichert worden sind, aus dem Speicher 90 und berechnet durch den Ausdruck (Math. 2) ein Berechnungsergebnis y.
(iv) Schritt: S1504
Die Einzelansichts-Bestimmungseinheit 12-1 vergleicht das berechnete Berechnungsergebnis y mit einem Schwellenwert Th1 und klassifiziert, ob das Bild einer schmalen Ansicht die normale Zelle oder die anomale Zelle ist. Mit anderen Worten, in dem Fall des Berechnungsergebnisses y ≥ der Schwellenwert Th1 wird das Bild in die anomale Zelle klassifiziert, wobei der Prozess zum Schritt: S1505 weitergeht. Andererseits wird in dem Fall des Berechnungsergebnisses y < der Schwellenwert Th1 das Bild in die normale Zelle klassifiziert, wobei der Prozess zum Schritt: S1506 weitergeht.
Schritt: S1505
Die Einzelansichts-Bestimmungseinheit 12-1 setzt die anomale Zelle (z. B. 1) auf ein Klassifikationsergebnis res.
(vi) Schritt: S1506
Die Einzelansichts-Bestimmungseinheit 12-1 setzt die normale Zelle (z. B. 0) auf ein Klassifikationsergebnis res.
(vii) Schritt: S1507
Das Bild einer breiten Ansicht (das dem Bild 1420 nach 14B entspricht), das der anomalen Stelle der detektierten Zelle entspricht, wird erfasst, wobei das Bild einer breiten Ansicht zu der Merkmalsextraktionseinheit 11 ausgegeben wird.
(viii) Schritt: S1508
Die Merkmalsextraktionseinheit 11 liest den Filterfaktor wj und den Versatz bi, die im S1204 im Speicher 90 gespeichert worden sind, aus dem Speicher 90 und erhält unter Verwendung des obigen Ausdrucks (Math. 1) unter Verwendung der mehreren Filter (die 4011 bis 401N nach 6 entsprechen) die Merkmalsmenge fi (die 601 bis 60N nach 6 entspricht) des Gewebes (das 5011 bis 501N nach 6 entspricht).
(ix) Schritt: S1509
Die Einzelansichts-Bestimmungseinheit 12-1 liest den Filterfaktor w und den Versatz b, die im S1204 im Speicher 90 gespeichert worden sind, aus dem Speicher 90 und berechnet durch den Ausdruck (Math. 2) ein Berechnungsergebnis y2.
Schritt 1510
Die Einzelansichts-Bestimmungseinheit 12-1 vergleicht das berechnete Berechnungsergebnis y2 mit einem Schwellenwert Th2 und klassifiziert, ob das Bild einer breiten Ansicht das normale Gewebe oder das anomale Gewebe ist. Mit anderen Worten, in dem Fall des Berechnungsergebnisses y2 ≥ der Schwellenwert Th2 wird das Bild in das anomale Gewebe klassifiziert, wobei der Prozess zum Schritt: S1511 weitergeht. Andererseits wird in dem Fall des Berechnungsergebnisses y2 < der Schwellenwert Th2 das Bild in das normale Gewebe klassifiziert, wobei der Prozess zum Schritt: S1512 weitergeht.
(xi) Schritt: S1511
Die Einzelansichts-Bestimmungseinheit 12-1 setzt das anomale Gewebe (z. B. 1) auf ein Klassifikationsergebnis res2.
(xii) Schritt: S1512
Die Einzelansichts-Bestimmungseinheit 12-1 setzt das normale Gewebe (z. B. 0) auf ein Klassifikationsergebnis res2.
(xiii) Schritt: S1513
Die Mehrfachansichts-Bestimmungseinheit 13 kombiniert das Klassifikationsergebnis res der schmalen Ansicht und das Klassifikationsergebnis res2 der breiten Ansicht und klassifiziert die Läsionswahrscheinlichkeit. In dem Fall der Brust wird das Klassifikationsergebnis res z. B. auf ein Ergebnis, wie z. B. Normalität, Gutartigkeit und Bösartigkeit, gesetzt. Zusätzlich wird das Klassifikationsergebnis res2 auf ein Ergebnis, wie z. B. den Siebtyp, den Komedotyp, den festen Typ und den papillären Typ, gesetzt. Deshalb kann der Läsionstyp (z. B. die Bösartigkeit und ein Siebtyp) oder die Läsionswahrscheinlichkeit (y = 0,85: Wertebereich (0 bis 1), y2 = 0,89: Wertebereich (0 bis 1)) durch das Kombinieren der Klassifikationsergebnisse res und res2 und der Berechnungsergebnisse y und y2 erhalten werden.
(xiv) Schritt: S1514
Die Zeicheneinheit 14 zeichnet in einem Fall, in dem das Bild in das anomale Gewebe und die anomale Zelle klassifiziert wird, die Detektionsrahmen 1010 und 1100, die die Stelle 1001 mit dem Verdacht auf das anomale Gewebe und die Stelle 1101 mit dem Verdacht auf die anomale Zelle angeben, in dem Zielbild 1000 oder 1100 und zeigt sie an, wie in den 10 und 11 veranschaulicht ist. Die Zeicheneinheit 14 zeichnet in einem Fall, in dem das Bild in das normale Gewebe und die normale Zelle klassifiziert wird, in dem Zielbild 1000 oder 1100 keinen Detektionsrahmen.
Zusätzlich können ähnlich zu dem Fall der ersten Ausführungsform das Bild 1000 einer breiten Ansicht und das Bild 1100 einer schmalen Ansicht nebeneinander auf demselben Schirm 2200 angezeigt werden, wie in 22 veranschaulicht ist.
(xv) Schritt: S1515
Die Aufzeichnungseinheit 15 speichert die Koordinateninformationen zum Zeichnen des Detektionsrahmens in dem Eingangszielbild durch die Zeicheneinheit 14 und das Zielbild in dem Speicher 90 (der der Speichervorrichtung 203 entspricht).
Gemäß der zweiten Ausführungsform wird der Missbildungsgrad des Gewebes und der Zelle unter Verwendung der durch die mehreren Filter erhaltenen Merkmalsmenge des Gewebes und der Zelle erlernt. Das Gewicht, der Filterfaktor und der Versatz werden berechnet, um die Kennung, um das normale Gewebe oder das anomale Gewebe zu klassifizieren, und die Kennung, um die normale Zelle oder die anomale Zelle zu klassifizieren, zu erzeugen. Deshalb können eine fehlerhafte Detektion und eine übermäßige Detektion bezüglich der Läsionsdetektion unterdrückt werden, wobei das normale Gewebe oder das anomale Gewebe und die normale Zelle oder die anomale Zelle aus dem Bild klassifiziert werden können.
Zusätzlich wird das Gewebe/die Zelle unter Verwendung des Klassifikationsergebnisses der vorgegebenen Kennung klassifiziert. Deshalb ist es möglich, die Läsionswahrscheinlichkeit des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) gemäß dem Grad des Fortschritts des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) zu klassifizieren.
Zusätzlich wird anstelle des Bestimmens der Läsionswahrscheinlichkeit nur einer Ansicht die Läsion der Bereiche, die unterschiedliche Ansichten aufweisen, klassifiziert. Deshalb ist es möglich, eine fehlerhafte Detektion bei der Klassifikation zu unterdrücken.
Zusätzlich wird das Merkmal des anomalen Gewebes der breiten Ansicht bezüglich der detektierten normalen Zelle der schmalen Ansicht selektiv analysiert. Deshalb ist es möglich, die Läsionswahrscheinlichkeit des Gewebes von der anomalen Stelle der Zelle zu klassifizieren.
Gemäß dieser Ausführungsform klassifiziert die Unterstützungsvorrichtung 1-1 zur diagnostischen Bildgebung, ob das Gewebe und die Zelle in dem Bestimmungsziel-Eingangsbild die normale Zelle oder die anomale Zelle sind, aus dem Bild einer schmalen Ansicht, wobei sie aus dem Bild einer breiten Ansicht von der anomalen Stelle des Bildes einer schmalen Ansicht klassifiziert, ob das Gewebe und die Zelle das normale Gewebe oder das anomale Gewebe sind, und die Klassifikationsergebnisse der mehreren vorgegebenen Ansichten kombiniert, um die Läsionswahrscheinlichkeit des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) entsprechend dem Grad des Fortschritts des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) zu klassifizieren. Deshalb ist es möglich, das Klassifikationsergebnis gemäß dem Grad des Fortschritts des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) anzuzeigen.
[Die dritte Ausführungsform]
Eine Unterstützungsvorrichtung 1-2 zur diagnostischen Bildgebung gemäß einer dritten Ausführungsform der Erfindung (siehe 1) enthält die gleichen Konfigurationen und Funktionen wie jene der in der ersten Ausführungsform unter Verwendung der 1 beschriebenen Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung, wobei aber der Prozess einer Einzelansichts-Bestimmungseinheit 112-2 von der ersten und der zweiten Ausführungsform verschieden ist. Deshalb wird hier der Prozess, der von dem der ersten und der zweiten Ausführungsform verschieden ist, d. h., der gesamte Verarbeitungsablauf, der von dem der ersten oder der zweiten Ausführungsform, die in den 13 oder 15 beschrieben sind, verschieden ist, unter Verwendung der 17 beschrieben.
In der Unterstützungsvorrichtung 1-2 zur diagnostischen Bildgebung gemäß dieser dritten Ausführungsform werden die Normalität/Anomalie und die anomale Stelle der Zelle aus dem Bild einer schmalen Ansicht desselben Bildes detektiert, werden die Normalität/Anomalie und die anomale Stelle des Gewebes aus dem Bild einer breiten Ansicht desselben Bildes detektiert und wird die Läsionswahrscheinlichkeit aus der Normalität/Anomalie und der anomalen Stelle, die detektiert werden, bestimmt, wie in 16 veranschaulicht ist. In der Unterstützungsvorrichtung 1-2 zur diagnostischen Bildgebung gemäß dieser Ausführungsform werden zwei Bilder mit unterschiedlichen Ansichten (der Größe des Bereichs) von demselben Bild in der Einzelansichtsbestimmung 112-2 erfasst.
<Die Konfiguration und der Betrieb der Einheiten>
Im Folgenden werden die Konfiguration und der Betrieb jedes Elements, das von 1 verschieden ist, beschrieben.
(ii) Die Einzelansichtsbestimmung 112-2
Bezüglich eines Bildes 1610 einer schmalen Ansicht in einem histopathologischen Bild 1600, das in 16 veranschaulicht ist, klassifiziert die Einzelansichtsbestimmung 112-2 unter Verwendung jeder durch die Merkmalsextraktion 111 erhaltenen Merkmalsmenge fi von den mehreren Filtern C1:7011 bis CN:701N, die sich auf die Form einer beliebigen Zelle 1611 beziehen, wie in 9 veranschaulicht ist, durch den Ausdruck (Math. 2), ob die Zelle in dem Gewebe-/Zellen-Eingangsbild normal oder anomal ist.
Ähnlich klassifiziert bezüglich eines Bildes 1620 einer breiten Ansicht in dem histopathologischen Bild 1600, das in 16 veranschaulicht ist, die Einzelansichtsbestimmung 112-2 unter Verwendung jeder durch die Merkmalsextraktion 111 erhaltenen Merkmalsmenge fi von den mehreren Filtern T1:4011 bis TN:401N, die sich auf die Form eines beliebigen Gewebes beziehen, wie in 6 veranschaulicht ist, durch den Ausdruck (Math. 2), ob das Gewebe in dem Gewebe-/Zellen-Eingangsbild normal oder anomal ist.
<Die Hardware-Konfiguration der Unterstützungsvorrichtung zur diagnostischen Bildgebung>
Eine beispielhafte Hardware-Konfiguration der Unterstützungsvorrichtung 1-2 zur diagnostischen Bildgebung gemäß der Ausführungsform der Erfindung ist zur 2 ähnlich.
17 ist ein Ablaufplan zum Beschreiben eines Betriebs der Unterstützungsvorrichtung 1-2 zur diagnostischen Bildgebung gemäß der Ausführungsform der Erfindung. Im Folgenden werden die Verarbeitungseinheiten (die Eingangseinheit 10, die Merkmalsextraktionseinheit 11 usw.) als der Operationsgegenstand beschrieben, wobei aber die CPU 201 als der Operationsgegenstand und die Verarbeitungseinheiten als die Programme ersetzt sein können.
Schritt: S1701
Die Eingangseinheit 10 empfängt das Bild einer schmalen Ansicht des Bestimmungsziels und das Bild einer breiten Ansicht und gibt das Eingangsbild zu der Merkmalsextraktionseinheit 11 aus.
(ii) Schritt: S1702
Die Merkmalsextraktionseinheit 11 liest den Filterfaktor wj und den Versatz bi aus dem Speicher 90 und erhält unter Verwendung des Ausdrucks (Math. 1) unter Verwendung der mehreren Filter die Merkmalsmenge fi der Zelle und des Gewebes.
(iii) Schritt: S1703
Eine Einzelansichts-Bestimmungseinheit 12-2 liest den Filterfaktor w und den Versatz b aus dem Speicher 90, berechnet die Berechnungsergebnisse y durch den Ausdruck 2 und klassifiziert, ob das Bild einer schmalen Ansicht die normale Zelle oder die anomale Zelle ist oder das Bild einer breiten Ansicht das normale Gewebe oder das anomale Gewebe ist.
(iv) Schritt: S1704
Die Einzelansichts-Bestimmungseinheit 12-2 vergleicht das berechnete Berechnungsergebnis y und einen Schwellenwert Th3. Mit anderen Worten, in dem Fall des Berechnungsergebnisses y ≥ Schwellenwert Th3 geht der Prozess zum Schritt: S1705 weiter. Andererseits geht in dem Fall des Berechnungsergebnisses y < Schwellenwert Th3 der Prozess zum Schritt: S1706 weiter.
Schritt: S1705
Die Einzelansichts-Bestimmungseinheit 12-2 setzt die anomale Zelle (z. B. 1) oder das anomale Gewebe (z. B. 1) auf das Klassifikationsergebnis res.
(vi) Schritt: S1706
Die Einzelansichts-Bestimmungseinheit 12-2 setzt die normale Zelle (z. B. 0) oder das normale Gewebe (z. B. 0) auf das Klassifikationsergebnis res.
(vii) Schritt: S1707
Die Mehrfachansichts-Bestimmungseinheit 13 führt die Schritte: S1702 bis S1706 wiederholt aus, um die Einzelansichtsbestimmung 12-2 in der Einzelansichts-Bestimmungseinheit 12-2 bezüglich aller vorgegebenen Ansichten auszuführen. Mit dem wiederholt ausgeführten Prozess von den Schritten: S1702 bis S1706 ist es möglich, bezüglich aller vorgegebenen Ansichten zu bestimmen, ob das Bild die normale Zelle oder die anomale Zelle und das normale Gewebe oder das anomale Gewebe ist.
Die Mehrfachansichts-Bestimmungseinheit 13 kombiniert das Klassifikationsergebnis res der schmalen Ansicht und das Klassifikationsergebnis res der breiten Ansicht und klassifiziert die Läsionswahrscheinlichkeit. Das Klassifikationsergebnis res der breiten Ansicht der Brust wird auf ein Ergebnis, wie z. B. den Siebtyp, den Komodotyp, den festen Typ und den papillären Typ, gesetzt. Zusätzlich wird das Klassifikationsergebnis res in der schmalen Ansicht auf ein Ergebnis, wie z. B. Normalität, Gutartigkeit und Bösartigkeit, gesetzt.
Deshalb kann der Typ der Läsion (z. B. Bösartigkeit und ein Siebtyp) und die Läsionswahrscheinlichkeit (das Berechnungsergebnis y in der breiten Ansicht = 0,89: Wertebereich (0 bis 1), das Berechnungsergebnis y in der schmalen Ansicht = 0,85: Wertebereich (0 bis 1)) durch das Kombinieren des Klassifikationsergebnisses res und des Berechnungsergebnisses y in der breiten Ansicht und des Klassifikationsergebnisses res und des Berechnungsergebnisses y in der schmalen Ansicht erhalten werden.
(viii) Schritt: S1708
Die Zeicheneinheit 14 zeichnet in einem Fall, in dem das Bild in das anomale Gewebe und die anomale Zelle klassifiziert wird, den Detektionsrahmen, der das anomale Gewebe und die anomale Zelle angibt, wie in den 10 und 11 veranschaulicht ist, und zeigt ihn an. Die Zeicheneinheit 14 zeichnet in einem Fall, in dem das Bild in das normale Gewebe und die normale Zelle klassifiziert wird, in dem Bild keinen Detektionsrahmen.
Zusätzlich können ähnlich zu der ersten und der zweiten Ausführungsform, wie in 22 veranschaulicht ist, das Bild 1000 einer breiten Ansicht und das Bild 1100 einer schmalen Ansicht nebeneinander auf demselben Schirm 2200 angezeigt werden.
(ix) Schritt: S1709
Die Aufzeichnungseinheit 15 speichert die Koordinateninformationen zum Zeichnen des Detektionsrahmens in dem Eingangszielbild durch die Zeicheneinheit 14 und das Zielbild in dem Speicher 90 (der der Speichervorrichtung 203 entspricht).
Gemäß der dritten Ausführungsform wird der Missbildungsgrad des Gewebes und der Zelle unter Verwendung der durch die mehreren Filter erhaltenen Merkmalsmenge des Gewebes und der Zelle erlernt. Das Gewicht, der Filterfaktor und der Versatz werden berechnet, um die Kennung, um das normale Gewebe oder das anomale Gewebe zu klassifizieren, und die Kennung, um die normale Zelle oder die anomale Zelle zu klassifizieren, zu erzeugen. Deshalb können eine fehlerhafte Detektion und eine übermäßige Detektion bezüglich der Läsionsdetektion unterdrückt werden, wobei das normale Gewebe oder das anomale Gewebe und die normale Zelle oder die anomale Zelle aus dem Bild klassifiziert werden können.
Zusätzlich wird das Gewebe/die Zelle unter Verwendung des Klassifikationsergebnisses der vorgegebenen Kennung klassifiziert. Deshalb ist es möglich, die Läsionswahrscheinlichkeit des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) gemäß dem Grad des Fortschritts des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) zu klassifizieren.
Zusätzlich wird anstelle des Bestimmens der Läsionswahrscheinlichkeit nur einer Ansicht die Läsion der Bereiche mit unterschiedlichen Ansichten klassifiziert. Deshalb ist es möglich, eine fehlerhafte Detektion bei der Klassifikation zu unterdrücken.
Zusätzlich wird das Vorhandensein/Fehlen der anomalen Zelle bezüglich der schmalen Ansicht in demselben Bild detektiert, wobei das Vorhandensein/Fehlen des anomalen Gewebes bezüglich der breiten Ansicht in demselben Bild detektiert wird. Deshalb können die Typen der Läsionen detektiert werden, so dass die Detektionsauslassung unterdrückt werden kann.
Gemäß dieser Ausführungsform klassifiziert die Unterstützungsvorrichtung 1-2 zur diagnostischen Bildgebung aus dem Bild einer schmalen Ansicht in demselben Bild, ob das Gewebe und die Zelle in dem Bestimmungsziel-Eingangsbild die normale Zelle oder die anomale Zelle sind, wobei sie aus dem Bild einer breiten Ansicht in demselben Bild klassifiziert, ob das Gewebe und die Zelle das normale Gewebe oder das anomale Gewebe sind, und die Klassifikationsergebnisse der mehreren vorgegebenen Ansichten kombiniert, um die Läsionswahrscheinlichkeit des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) entsprechend dem Grad des Fortschritts des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) zu klassifizieren. Deshalb ist es möglich, das Klassifikationsergebnis gemäß dem Grad des Fortschritts des anomalen Gewebes oder der anomalen Zelle (Beispiel: Krebs) anzuzeigen.
[Die vierte Ausführungsform]
18 ist ein funktionaler Blockschaltplan, der eine Konfiguration eines Ferndiagnose-Unterstützungssystems 1800 gemäß einer vierten Ausführungsform der Erfindung veranschaulicht. Das Ferndiagnose-Unterstützungssystem 1800 gemäß dieser Ausführungsform enthält einen Server 1803, der die Unterstützungsvorrichtung 1, 1-1 oder 1-2 zur diagnostischen Bildgebung (die in 18 einfach als die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung angezeigt ist) enthält, und eine Bilderfassungsvorrichtung 1805, die die Bildaufnahmeeinheit 1801, um die Bilddaten aufzunehmen, enthält.
Die Bilderfassungsvorrichtung 1805 überträgt (sendet) die Bilddaten zu dem Server 1803. Der Server 1803 speichert die Bilder des Gewebes und der Zelle, die durch das Verarbeiten der empfangenen Bilddaten (des Eingangsbildes) unter Verwendung der Unterstützungsvorrichtung 1, 1-1 oder 1-2 zur diagnostischen Bildgebung (die im Folgenden einfach als die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung bezeichnet wird), die in den ersten bis dritten Ausführungsformen beschrieben worden sind, bestimmt werden, und das Bestimmungsergebnis im Speicher einer Speichereinheit 1802 und überträgt die Bilder und das Bestimmungsergebnis zu der Bilderfassungsvorrichtung 1805. Die Bilderfassungsvorrichtung 1805 ist konfiguriert, um die durch die Verarbeitung unter Verwendung der Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung bestimmten Bilder des Gewebes und der Zelle, die von dem Server 1803 empfangen werden, und das Bestimmungsergebnis auf einer Anzeigeeinheit 1804 anzuzeigen.
Der Server 1803 enthält die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung, die einen Prozessor enthält, um verschiedene Typen von Programmen auszuführen, um das Zielbild zu verarbeiten, und die Speichereinheit 1802, die einen Speicher enthält, um das Bildverarbeitungsergebnis zu speichern.
Dann führt die mit dem Prozessor ausgerüstete Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung einen Prozess zum Eingeben eines durch das Aufnehmen des Gewebes und der Zelle erhaltenen Bildes, einen Prozess zum Ausgeben der Merkmalsmenge der breiten Ansicht und der schmalen Ansicht aus den mehreren Zielbildern, einen Prozess zum Klassifizieren des Vorhandenseins/Fehlens der Läsion und einer Wahrscheinlichkeit der Läsion für die Zielbilder, die mehrere unterschiedliche Ansichten aufweisen, unter Verwendung der mehreren Merkmalsmengen und einen Prozess zum Bestimmen des Vorhandenseins/Fehlens der Läsion und der Wahrscheinlichkeit der Läsion unter Verwendung der mehreren Klassifikationsergebnisse aus.
Andererseits überträgt die Bilderfassungsvorrichtung 1805 die Bilddaten zu dem Server 1803. Der Server 1803 speichert die durch die Verarbeitung der empfangenen Bilddaten unter Verwendung der Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung bestimmten Bilder des Gewebes und der Zelle und das Bestimmungsergebnis in dem Speicher der Speichereinheit 1802, wobei er die Bilder und das Bestimmungsergebnis zu der Bilderfassungsvorrichtung 1805 überträgt. Die Bilderfassungsvorrichtung 1805, die das Bild und das Bestimmungsergebnis empfängt, zeigt die Bilder des Gewebes und der Zelle, die empfangen und bestimmt werden, und das Bestimmungsergebnis auf der Anzeigeeinheit 1804 an.
Die Bilderfassungsvorrichtung 1805 ist eine Vorrichtung, wie z. B. ein Personalcomputer, in der eine virtuelle Objektträgervorrichtung und eine Kamera angebracht sind, und enthält die Bildaufnahmeeinheit 1801, die die Bilddaten aufnimmt, und die Anzeigeeinheit 1804, um das von dem Server 1803 übertragende Bestimmungsergebnis anzuzeigen. Ferner enthält die Bilderfassungsvorrichtung 1805 eine Kommunikationsvorrichtung, die die Bilddaten zu dem Server 1803 überträgt und die von dem Server 1803 übertragenen Daten empfängt, während dies nicht veranschaulicht ist.
Der Server 1803 enthält die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung und die Speichereinheit 1802, die das von der Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung ausgegebene Bestimmungsergebnis bezüglich der von der Bilderfassungsvorrichtung 1805 übertragenen Bilddaten speichert. Ferner enthält der Server 1803 eine Kommunikationsvorrichtung, die die von der Bilderfassungsvorrichtung 1805 übertragenen Bilddaten empfängt und die Bestimmungsergebnisdaten zu der Bilderfassungsvorrichtung 1805 überträgt, während dies nicht veranschaulicht ist.
Die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung klassifiziert das Vorhandensein/Fehlen des anomalen Gewebes und der anomalen Zelle (z. B.: Krebs) bezüglich des Gewebes und der Zelle in den durch die Bildaufnahmeeinheit 1801 aufgenommenen Bilddaten. Zusätzlich wird unter Verwendung des Klassifikationsergebnisses unter Verwendung der Kennungen der mehreren vorgegebenen Ansichten die Läsionswahrscheinlichkeit des anomalen Gewebes und der anomalen Zelle gemäß dem Grad des Fortschritts des anomalen Gewebes und der anomalen Zelle (Beispiel: Krebs) klassifiziert. Die Anzeigeeinheit 1804 zeigt das von dem Server 1803 gesendete Klassifikationsergebnis auf dem Anzeigeschirm der Bilderfassungsvorrichtung 1805 an.
Die Beispiele der Bilderfassungsvorrichtung 1805 können eine medizinische Reproduktionsvorrichtung, die eine Bildgebungseinheit enthält, eine Kulturvorrichtung der iPS-Zellen, die MRI oder eine Ultraschallbild-Aufnahmevorrichtung enthalten.
Gemäß dieser Ausführungsform ist es möglich, ein Ferndiagnose-Unterstützungssystem zu schaffen, das das Gewebe und die Zelle, die von den an unterschiedlichen Orten installierten Einrichtungen gesendet werden, als das normale Gewebe oder das anomale Gewebe und die normale Zelle oder die anomale Zelle klassifiziert, das Klassifikationsergebnis an die Einrichtungen an den verschiedenen Orten sendet und das Klassifikationsergebnis in den Anzeigeeinheiten der Bilderfassungsvorrichtungen der Einrichtungen anzeigt.
[Die fünfte Ausführungsform]
19 ist ein funktionaler Blockschaltplan, der eine Konfiguration eines Netzanvertrauungsdienst-Bereitstellungssystems 1900 gemäß einer fünften Ausführungsform der Erfindung veranschaulicht. Das Netzanvertrauungsdienst-Bereitstellungssystem 1900 enthält den Server 1903 und eine Bilderfassungs-/Verarbeitungsvorrichtung 1905.
Das Netzanvertrauungsdienst-Bereitstellungssystem 1900 gemäß dieser Ausführungsform enthält die Bilderfassungs-/Verarbeitungsvorrichtung 1905, die eine Bildaufnahmeeinheit 1901, um die Bilddaten aufzunehmen, und einen Server 1903, der die Unterstützungsvorrichtung 1, 1-1 oder 1-2 zur diagnostischen Bildgebung (die in 19 einfach als die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung angezeigt ist) enthält, die in den ersten bis dritten Ausführungsformen beschrieben worden ist. Die Bilderfassungs-/Verarbeitungsvorrichtung 1905 überträgt (sendet) die Bilddaten zu dem Server 1903. Der Server 1903 speichert die durch das Verarbeiten der empfangenen Bilddaten unter Verwendung der Unterstützungsvorrichtung 1, 1-1, 1-2 zur diagnostischen Bildgebung (die im Folgenden einfach als die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung bezeichnet wird) bestimmten Bilder des Gewebes und der Zelle und die Kennung in dem Speicher und überträgt die Kennung zu der Bilderfassungs-/Verarbeitungsvorrichtung 1905. Die Bilderfassungs-/Verarbeitungsvorrichtung 1905 speichert die von dem Server 1903 empfangene Kennung. Die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung in der Bilderfassungs-/Verarbeitungsvorrichtung 1905 ist konfiguriert, um das Bild der anderen Gewebe und Zellen unter Verwendung der Kennung zu bestimmen und das Bestimmungsergebnis auf der Anzeigevorrichtung anzuzeigen.
Die Bilderfassungs-/Verarbeitungsvorrichtung 1905 ist z. B. ein Personalcomputer, in dem eine virtuelle Objektträgervorrichtung und eine Kamera angebracht sind, und enthält die Bildaufnahmeeinheit 1901, um die Bilddaten aufzunehmen, eine Speichereinheit 1904, um die von dem Server 1903 gesendete Kennung zu speichern, und die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung, die die von dem Server 1903 gesendete Kennung liest und klassifiziert, ob das Gewebe und die Zelle in einem durch die Bildaufnahmeeinheit 1901 der Bilderfassungs-/Verarbeitungsvorrichtung 1905 neu aufgenommenen Bild das normale Gewebe oder das anomale Gewebe und die normale Zelle oder die anomale Zelle sind. Ferner enthält die Bilderfassungs-/Verarbeitungsvorrichtung 1905 eine Kommunikationsvorrichtung, die die Bilddaten zu dem Server 1903 überträgt und die von dem Server 1903 übertragenen Daten empfängt, während dies nicht veranschaulicht ist.
Der Server 1903 enthält die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung, die die Bildverarbeitung gemäß der ersten, der zweiten und der dritten Ausführungsform der Erfindung an den von der Bilderfassungs-/Verarbeitungsvorrichtung 1905 gesendeten Bilddaten ausführt, und eine Speichereinheit 1902, die die von der Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung ausgegebene Kennung speichert. Ferner enthält der Server 1903 eine Kommunikationsvorrichtung, die die von der Bilderfassungs-/Verarbeitungsvorrichtung 1905 übertragenen Bilddaten empfängt und die Kennung zu der Bilderfassungs-/Verarbeitungsvorrichtung 1905 überträgt, während dies nicht veranschaulicht ist.
Die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung führt das maschinelle Lernen an dem Gewebe und der Zelle in den durch die Bildaufnahmeeinheit 1901 aufgenommenen Bilddaten aus, so dass das normale Gewebe oder die normale Zelle als ein normales Gewebe oder eine normale Zelle bestimmt wird oder das anomale Gewebe oder die anomale Zelle als ein anomales Gewebe oder eine anomale Zelle bestimmt wird, und erzeugt die Kennungen, die für die Bilder der Einrichtungen an unterschiedlichen Orten geeignet sind.
Die Speichereinheit 1904 speichert die von dem Server 1903 gesendete Kennung.
Die Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung in der Bilderfassungs-/Verarbeitungsvorrichtung 1905 liest die Kennung aus der Speichereinheit 1904, klassifiziert unter Verwendung der Kennung, ob das Gewebe oder die Zelle in einem durch die Bildaufnahmeeinheit 1901 der Bilderfassungs-/Verarbeitungsvorrichtung 1905 neu aufgenommenen Bild das normale Gewebe oder das anomale Gewebe und die normale Zelle oder die anomale Zelle ist, und zeigt das Klassifikationsergebnis auf dem Anzeigeschirm der Ausgabevorrichtung 204 (siehe 2) der Unterstützungsvorrichtung 1 zur diagnostischen Bildgebung an.
Die Beispiele der Bilderfassungsvorrichtung 1805 können eine medizinische Reproduktionsvorrichtung, die eine Bildgebungseinheit enthält, eine Kulturvorrichtung der iPS-Zellen, die MRI oder eine Ultraschallbild-Aufnahmevorrichtung enthalten.
Gemäß der fünften Ausführungsform ist es möglich, ein Netzanvertrauungsdienst-Bereitstellungssystem zu schaffen, das das maschinelle Lernen an dem Gewebe und der Zelle in den von den Einrichtungen an verschiedenen Orten gesendeten Bildern ausführt, um das normale Gewebe oder die normale Zelle als ein normales Gewebe oder eine normale Zelle oder das anomale Gewebe oder die anomale Zelle als ein anomales Gewebe oder eine anomale Zelle zu klassifizieren, um die Kennung zu erzeugen, die Kennung an die Einrichtungen an verschiedenen Orten sendet, die Kennung durch die Bilderfassungsvorrichtung in der Einrichtung liest und klassifiziert, ob das Gewebe und die Zelle in dem neu aufgenommenen Bild das normale Gewebe oder das anomale Gewebe und die normale Zelle oder die anomale Zelle ist.
Die oben beschriebenen ersten bis fünften Ausführungsformen können wie folgt modifiziert werden.
In der Merkmalsextraktionseinheit 11 und der Lerneinheit 16 werden die mehreren Merkmalsmengen unter Verwendung der in den 4 und 7 veranschaulichten Filter erhalten. Es kann jedoch eine andere Merkmalsmenge, wie z. B. eine HOG, verwendet werden, um die ähnliche Wirkung zu erreichen.
In der Einzelansichts-Bestimmungseinheit 12 ist der Entartungsgrad des Gewebes und der Zelle unter Verwendung der logistischen Regression maschinell erlernt worden. Es können jedoch eine lineare Regression und eine Poison-Regression verwendet werden, um die ähnliche Wirkung zu erreichen.
Die Erfindung kann durch einen Software-Programmcode verwirklicht sein, um die Funktionen der Ausführungsformen zu verwirklichen. In diesem Fall ist ein Speichermedium zum Speichern des Programmcodes in einem System oder einer Vorrichtung vorgesehen. Ein Computer (eine CPU oder eine MPU) des Systems oder der Vorrichtung liest den in dem Speichermedium gespeicherten Programmcode aus. In diesem Fall wird der aus dem Aufzeichnungsmedium ausgelesene Programmcode selbst verwendet, um die Funktionen der obigen Ausführungsformen zu verwirklichen. Der Programmcode selbst und das Speichermedium, das den Programmcode speichert, sind in der Erfindung konfiguriert. Als ein Speichermedium, um einen derartigen Programmcode zu liefern, gibt es z. B. eine flexible Platte, einen CD-ROM, einen DVD-ROM, eine Festplatte, eine optische Platte, eine magnetooptische Platte, eine CD-R, ein Magnetband, eine nichtflüchtige Speicherkarte und einen ROM.
Zusätzlich können auf der Grundlage eines Befehls des Programmcodes einige oder alle der tatsächlichen Prozesse durch ein OS (Betriebssystem), das in einem Computer abläuft, ausgeführt werden, wobei die Funktionen der oben beschriebenen Ausführungsformen durch den Prozess verwirklicht sein können. Ferner kann, nachdem der aus dem Speichermedium gelesene Programmcode in den Speicher in dem Computer geschrieben worden ist, die CPU des Computers einige oder alle der tatsächlichen Prozesse auf der Grundlage des Befehls des Programmcodes ausführen, wobei die Funktionen der oben beschriebenen Ausführungsformen durch den Prozess verwirklicht sein können.
Ferner wird der Software-Programmcode zum Verwirklichen der Funktionen der Ausführungsformen durch ein Netz verteilt, um in einer Speichereinheit, wie z. B. einer Festplatte, und einem Speicher des Systems oder der Vorrichtung oder einem Speichermedium, wie z. B. einer CD-RW und einer CD-R, gespeichert zu werden. Zum Zeitpunkt des Betriebs kann der Computer (oder die CPU oder die MPU) des Systems oder der Vorrichtung den in der Speichereinheit oder dem Speichermedium gespeicherten Programmcode auslesen und ausführen.
Zusätzlich sind der Prozess und die Technik, die hier beschrieben sind, im Prinzip nicht auf eine spezifische Vorrichtung eingeschränkt, wobei sie in irgendeiner Kombination gemäß den Komponenten angewendet werden können. Ferner können verschiedene Typen von Universalvorrichtungen gemäß den hier beschriebenen Verfahren verwendet werden. In einigen Fällen kann es vorteilhaft sein, eine dedizierte Vorrichtung aufzubauen, um die Schritte des hier beschriebenen Verfahrens auszuführen.
Zusätzlich kann die Erfindung in verschiedenen Formen durch das geeignete Kombinieren der mehreren in den Ausführungsformen offenbarten Komponenten implementiert werden. Es können z. B. einige der Komponenten aus den Komponenten der Ausführungsformen entfernt werden. Ferner können die Komponenten unterschiedlicher Ausführungsformen geeignet kombiniert werden. Die Erfindung ist in Bezug auf die spezifischen Beispiele beschrieben worden, die nicht vorgesehen sind, um die Erfindung in allen Gesichtspunkten einzuschränken, sondern nur zur Erklärung vorgesehen sind. Ein Fachmann auf dem Gebiet kann erkennen, dass eine Anzahl von Kombinationen aus Software, Hardware und Firmware hergestellt werden kann, um die Erfindung zu implementieren. Die oben beschriebene Software kann z. B. durch ein weiteres Programm, wie z. B. Assembler, C/C++, PERL, Shell, PHP, Java (eingetragenes Warenzeichen) oder eine Skriptsprache, eingebettet sein.
Ferner sind in den obigen Ausführungsformen nur die Steuerleitungen und Informationsleitungen, die als für die Erklärung notwendig betrachtet werden, veranschaulicht, wobei aber nicht alle der Steuerleitungen und der Informationsleitungen für ein Produkt veranschaulicht sind. Alle Konfigurationen können miteinander verbunden sein.
Zusätzlich können die Durchschnittsfachleute auf dem technischen Gebiet, das die Erfindung betrifft, andere Modifikationen der Erfindung aus der Patentbeschreibung und den Ausführungsformen der Erfindung betrachten. Verschiedene der Komponenten der oben beschriebenen Ausführungsformen können allein oder in irgendeiner Kombination verwendet werden.
Bezugszeichenliste

1, 1-1, 1-2: Unterstützungsvorrichtung zur diagnostischen Bildgebung
10: Eingangseinheit
11: Merkmalsextraktionseinheit
12: Einzelansichts-Bestimmungseinheit
13: Mehrfachansichts-Bestimmungseinheit
14: Zeicheneinheit
15: Aufzeichnungseinheit
16: Lerneinheit
1800: Ferndiagnose-Unterstützungssystem
1900: Netzanvertrauungsdienst-Bereitstellungssystem

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2010203949 A [0003]

Claims

Unterstützungsvorrichtung zur diagnostischen Bildgebung, die umfasst: eine Eingangseinheit, die konfiguriert ist, um die Bilddaten einer breiten Ansicht und die Bilddaten einer schmalen Ansicht, die durch das Aufnehmen einer Scheibe eines Gewebes oder einer Zelle eines diagnostischen Objekts erhalten werden, zu empfangen; eine Merkmalsextraktionseinheit, die konfiguriert ist, um die in die Eingangseinheit eingegebenen Bilddaten zu verarbeiten, um eine Merkmalsmenge in einem Bild des Gewebes aus den Bilddaten einer breiten Ansicht zu extrahieren und eine Merkmalsmenge in einem Bild der Zelle aus den Bilddaten einer schmalen Ansicht zu extrahieren; eine Einzelansichts-Bestimmungseinheit, die konfiguriert ist, um aus der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer breiten Ansicht zu klassifizieren, ob das Gewebe normal oder anomal ist, und aus der Merkmalsmenge der Bilddaten einer schmalen Ansicht zu klassifizieren, ob die Zelle normal oder anomal ist; eine Mehrfachansichts-Bestimmungseinheit, die konfiguriert ist, um eine Läsionswahrscheinlichkeit des diagnostischen Objekts aus einem Klassifikationsergebnis der Bilddaten einer breiten Ansicht und einem Klassifikationsergebnis der Bilddaten einer schmalen Ansicht, die durch die Einzelansichts-Bestimmungseinheit klassifiziert worden sind, zu klassifizieren; eine Zeicheneinheit, die konfiguriert ist, um einen Bereich zu aktualisieren, der das Gewebe oder die Zelle enthält, das bzw. die durch die Mehrfachansichts-Bestimmungseinheit an den Bilddaten als anomal klassifiziert worden ist; und eine Aufzeichnungseinheit, die konfiguriert ist, um ein Bild zu speichern, dessen Bereich, der das als anomal klassifizierte Gewebe oder die als anomal klassifizierte Zelle enthält, durch die Zeicheneinheit aktualisiert worden ist.
Unterstützungsvorrichtung zur diagnostischen Bildgebung nach Anspruch 1, die ferner eine Lerneinheit umfasst, die konfiguriert ist, um unter Verwendung der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer breiten Ansicht einer Scheibe des Gewebes und eines durch das Klassifizieren durch die Einzelansichts-Bestimmungseinheit, ob das Gewebe normal oder anomal ist, erhaltenen Ergebnisses eine erste Kennung, um zu klassifizieren, ob das Gewebe in den in die Eingangseinheit eingegebenen Bilddaten ein normales Gewebe oder ein anomales Gewebe ist, und unter Verwendung der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer schmalen Ansicht einer Scheibe der Zelle und einem durch das Klassifizieren durch die Einzelansichts-Bestimmungseinheit, ob die Zelle normal oder anomal ist, erhaltenen Ergebnisses eine zweite Kennung, um zu klassifizieren, ob die Zelle in den in die Eingangseinheit eingegebenen Bilddaten eine normale Zelle oder eine anomale Zelle ist, zu erzeugen.
Unterstützungsvorrichtung zur diagnostischen Bildgebung nach Anspruch 1, wobei die Einzelansichts-Bestimmungseinheit einen Entartungsgrad des Gewebes aus der Merkmalsmenge der Bilddaten einer breiten Ansicht berechnet, um zu klassifizieren, ob das Gewebe normal oder anomal ist, und einen Entartungsgrad der Zelle aus der Merkmalsmenge der Bilddaten einer schmalen Ansicht berechnet, um zu klassifizieren, ob die Zelle normal oder anomal ist.
Unterstützungsvorrichtung zur diagnostischen Bildgebung nach Anspruch 1, wobei die Zeicheneinheit einen Bereich, der das Gewebe oder die Zelle, das bzw. die durch die Mehrfachansichts-Bestimmungseinheit als anomal klassifiziert worden ist, enthält, mit einem Rahmen in den Bilddaten umgibt, um den Bereich, der das Gewebe oder die Zelle enthält, zu aktualisieren.
Unterstützungsvorrichtung zur diagnostischen Bildgebung nach Anspruch 1, die ferner eine Ausgabeeinheit umfasst, die einen Anzeigeschirm enthält, wobei die Bilddaten einer breiten Ansicht und die Bilddaten einer schmalen Ansicht, in denen ein Bereich, der das Gewebe oder die Zelle, das bzw. die durch die Mehrfachansichts-Bestimmungseinheit als anomal klassifiziert worden ist, enthält, in der Zeicheneinheit aktualisiert wird, auf dem Anzeigeschirm der Ausgabeeinheit nebeneinander angezeigt werden.
Unterstützungsverfahren zur diagnostischen Bildgebung, das umfasst. Eingeben von durch das Aufnehmen eines Gewebes eines diagnostischen Objekts erhaltenen Bilddaten einer breiten Ansicht in eine Eingangseinheit; Verarbeiten der in die Eingangseinheit eingegebenen Bilddaten einer breiten Ansicht durch eine Merkmalsextraktionseinheit, um eine Merkmalsmenge in einem Bild des Gewebes zu extrahieren; Klassifizieren, ob das Gewebe normal oder anomal ist, durch eine Einzelansichts-Bestimmungseinheit aus der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer breiten Ansicht; Eingeben der von dem durch die Einzelansichts-Bestimmungseinheit als anomal klassifizierten Gewebe aufgenommenen Bilddaten einer schmalen Ansicht, die eine Zelle enthalten, in die Eingangseinheit; Verarbeiten der in die Eingangseinheit eingegebenen Bilddaten einer schmalen Ansicht durch eine Merkmalsextraktionseinheit, um eine Merkmalsmenge in einem Bild der Zelle zu extrahieren; Klassifizieren, ob die Zelle normal oder anomal ist, durch die Einzelansichts-Bestimmungseinheit aus der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer schmalen Ansicht; Klassifizieren einer Läsionswahrscheinlichkeit des diagnostischen Objekts durch eine Mehrfachansichts-Bestimmungseinheit aus einem Klassifikationsergebnis der Bilddaten einer breiten Ansicht und einem Klassifikationsergebnis der Bilddaten einer schmalen Ansicht, die durch die Einzelansichts-Bestimmungseinheit klassifiziert worden sind; Aktualisieren eines Bereichs, der das Gewebe oder die Zelle, das bzw. die durch die Einzelansichts-Bestimmungseinheit als anomal klassifiziert worden ist, enthält, in den Bilddaten in einer Zeicheneinheit; und Speichern der durch das Aktualisieren des Bereichs, der das als anomal klassifizierte Gewebe oder die als anomal klassifizierte Zelle enthält, erhaltenen Bilddaten in einer Aufzeichnungseinheit.
Unterstützungsverfahren zur diagnostischen Bildgebung nach Anspruch 6, wobei eine Lerneinheit unter Verwendung der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer breiten Ansicht einer Scheibe des Gewebes und eines durch das Klassifizieren durch die Einzelansichts-Bestimmungseinheit, ob das Gewebe normal oder anomal ist, erhaltenen Ergebnisses eine erste Kennung, um zu klassifizieren, ob das Gewebe in den in die Eingangseinheit eingegebenen Bilddaten ein normales Gewebe oder ein anomales Gewebe ist, und unter Verwendung der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer schmalen Ansicht einer Scheibe der Zelle und einem durch das Klassifizieren durch die Einzelansichts-Bestimmungseinheit, ob die Zelle normal oder anomal ist, erhaltenen Ergebnisses eine zweite Kennung, um zu klassifizieren, ob die Zelle in den in die Eingangseinheit eingegebenen Bilddaten eine normale Zelle oder eine anomale Zelle ist, erzeugt.
Unterstützungsverfahren zur diagnostischen Bildgebung nach Anspruch 6, wobei die Einzelansichts-Bestimmungseinheit einen Entartungsgrad des Gewebes aus der Merkmalsmenge der Bilddaten einer breiten Ansicht berechnet, um zu klassifizieren, ob das Gewebe normal oder anomal ist, und einen Entartungsgrad der Zelle aus der Merkmalsmenge der Bilddaten einer schmalen Ansicht berechnet, um zu klassifizieren, ob die Zelle normal oder anomal ist.
Unterstützungsverfahren zur diagnostischen Bildgebung nach Anspruch 6, wobei die Zeicheneinheit einen Bereich, der das Gewebe oder die Zelle, das bzw. die durch die Mehrfachansichts-Bestimmungseinheit als anomal klassifiziert worden ist, enthält, mit einem Rahmen in den Bilddaten umgibt, um den Bereich, der das Gewebe oder die Zelle enthält, zu aktualisieren.
Unterstützungsverfahren zur diagnostischen Bildgebung nach Anspruch 6, wobei die Bilddaten einer breiten Ansicht und die Bilddaten einer schmalen Ansicht, in denen ein Bereich, der das Gewebe oder die Zelle, das bzw. die durch die Mehrfachansichts-Bestimmungseinheit als anomal klassifiziert worden ist, enthält, in der Zeicheneinheit aktualisiert wird, auf dem Anzeigeschirm der Ausgabeeinheit nebeneinander angezeigt werden.
Unterstützungsverfahren zur diagnostischen Bildgebung, das umfasst: Eingeben von durch das Aufnehmen einer Zelle eines diagnostischen Objekts erhaltenen Bilddaten einer schmalen Ansicht in eine Eingangseinheit; Verarbeiten der in die Eingangseinheit eingegebenen Bilddaten einer schmalen Ansicht durch eine Merkmalsextraktionseinheit, um eine Merkmalsmenge in einem Bild der Zelle zu extrahieren; Klassifizieren durch eine Einzelansichts-Bestimmungseinheit aus der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer schmalen Ansicht, ob die Zelle normal oder anomal ist; Aufnehmen eines Bildes eines Gewebes, das eine durch die Einzelansichts-Bestimmungseinheit als anomal klassifizierte Zelle enthält, um die Bilddaten einer breiten Ansicht des Gewebes in die Eingangseinheit einzugeben; Verarbeiten der in die Eingangseinheit eingegebenen Bilddaten einer breiten Ansicht durch eine Merkmalsextraktionseinheit, um eine Merkmalsmenge in einem Bild des Gewebes zu extrahieren; Klassifizieren durch die Einzelansichts-Bestimmungseinheit aus der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer breiten Ansicht, ob das Gewebe normal oder anomal ist; Klassifizieren einer Läsionswahrscheinlichkeit des diagnostischen Objekts durch eine Mehrfachansichts-Bestimmungseinheit aus einem Klassifikationsergebnis der Bilddaten einer schmalen Ansicht und einem Klassifikationsergebnis der Bilddaten einer breiten Ansicht, die durch eine Einzelansichts-Bestimmungseinheit klassifiziert worden sind; Aktualisieren eines Bereichs, der die Zelle oder das Gewebe, die bzw. das durch die Einzelansichts-Bestimmungseinheit als anomal klassifiziert worden ist, enthält, in den Bilddaten in einer Zeicheneinheit; und Speichern der durch das Aktualisieren des Bereichs, der die als anomal klassifizierte Zelle oder das als anomal klassifizierte Gewebe enthält, erhaltenen Bilddaten in einer Aufzeichnungseinheit.
Unterstützungsverfahren zur diagnostischen Bildgebung nach Anspruch 11, wobei eine Lerneinheit unter Verwendung der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer schmalen Ansicht einer Scheibe der Zelle und eines durch das Klassifizieren durch die Einzelansichts-Bestimmungseinheit, ob die Zelle normal oder anomal ist, erhaltenen Ergebnisses eine erste Kennung, um zu klassifizieren, ob die Zelle in den in die Eingangseinheit eingegebenen Bilddaten eine normale Zelle oder eine anomale Zelle ist, und unter Verwendung der durch die Merkmalsextraktionseinheit extrahierten Merkmalsmenge der Bilddaten einer breiten Ansicht einer Scheibe des Gewebes und einem durch das Klassifizieren durch die Einzelansichts-Bestimmungseinheit, ob das Gewebe normal oder anomal ist, erhaltenen Ergebnisses eine zweite Kennung, um zu klassifizieren, ob das Gewebe in den in die Eingangseinheit eingegebenen Bilddaten ein normales Gewebe oder ein anomales Gewebe ist, erzeugt.
Unterstützungsverfahren zur diagnostischen Bildgebung nach Anspruch 11, wobei die Einzelansichts-Bestimmungseinheit einen Entartungsgrad der Zelle aus der Merkmalsmenge der Bilddaten einer schmalen Ansicht berechnet, um zu klassifizieren, ob die Zelle normal oder anomal ist, und einen Entartungsgrad des Gewebes aus der Merkmalsmenge der Bilddaten einer breiten Ansicht berechnet, um zu klassifizieren, ob das Gewebe normal oder anomal ist.
Unterstützungsverfahren zur diagnostischen Bildgebung nach Anspruch 11, wobei die Zeicheneinheit einen Bereich, der das Gewebe oder die Zelle, das bzw. die durch die Mehrfachansichts-Bestimmungseinheit als anomal klassifiziert worden ist, enthält, mit einem Rahmen in den Bilddaten umgibt, um den Bereich, der das Gewebe oder die Zelle enthält, zu aktualisieren.
Unterstützungsverfahren zur diagnostischen Bildgebung nach Anspruch 11, wobei die Bilddaten einer breiten Ansicht und die Bilddaten einer schmalen Ansicht, in denen ein Bereich, der das Gewebe oder die Zelle, das bzw. die durch die Mehrfachansichts-Bestimmungseinheit als anomal klassifiziert worden ist, enthält, in der Zeicheneinheit aktualisiert wird, auf dem Anzeigeschirm der Ausgabeeinheit nebeneinander angezeigt werden.
Ferndiagnose-Unterstützungssystem, das umfasst: eine Bilderfassungsvorrichtung, die eine Bildaufnahmeeinheit, um Bilddaten aufzunehmen, und eine Anzeigeeinheit enthält; und einen Server, der die Unterstützungsvorrichtung zur diagnostischen Bildgebung nach Anspruch 1 enthält, wobei die Bilderfassungsvorrichtung die Bilddaten zu dem Server überträgt, wobei der Server die übertragenen Bilddaten empfängt, die Bilddaten durch die Unterstützungsvorrichtung zur diagnostischen Bildgebung verarbeitet, die bestimmten Bilder eines Gewebes und einer Zelle und ein Bestimmungsergebnis in einem Speicher speichert und die Bilder und das Bestimmungsergebnis zu der Bilderfassungsvorrichtung überträgt, und die Bilderfassungsvorrichtung das Bestimmungsergebnis und die bestimmten Bilder des Gewebes und der Zelle, die von dem Server übertragen werden, auf der Anzeigevorrichtung anzeigt.
Netzanvertrauungsdienst-Bereitstellungssystem, das umfasst: eine Bilderfassungs-/Verarbeitungsvorrichtung, die eine Bildaufnahmeeinheit, um Bilddaten aufzunehmen, enthält; einen Server, der die Unterstützungsvorrichtung zur diagnostischen Bildgebung nach Anspruch 1 enthält; und eine Anzeigevorrichtung, wobei die Bilderfassungs-/Verarbeitungsvorrichtung die Bilddaten zu dem Server überträgt, der Server die übertragenen Bilddaten empfängt, die Bilddaten durch die Unterstützungsvorrichtung zur diagnostischen Bildgebung verarbeitet, die bestimmten Bilder des Gewebes und der Zelle und eine Kennung in einem Speicher speichert und die Kennung zu der Bilderfassungs-/Verarbeitungsvorrichtung überträgt, und die Unterstützungsvorrichtung zur diagnostischen Bildgebung nach Anspruch 1 in der Bilderfassungs-/Verarbeitungsvorrichtung die Bilder der anderen Gewebe und Zellen unter Verwendung der von dem Server empfangenen Kennung bestimmt und ein Bestimmungsergebnis auf der Anzeigevorrichtung anzeigt.