-
HINTERGRUND DER ERFINDUNG
-
1. Gebiet der Erfindung
-
Die vorliegende Offenbarung betrifft ein Bildverarbeitungsgerät, ein Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm.
-
2. Beschreibung des Standes der Technik
-
In den letzten Jahren wurden mit dem Fortschritt medizinischer Vorrichtungen wie einer Computertomographie(CT)-Vorrichtung und einer Magnetresonanztomographie(MRT)-Vorrichtung hochauflösende dreidimensionale Bilder mit höherer Qualität zur Bilddiagnose verwendet.
-
Indessen ist interstitielle Pneumonie als eine Lungenerkrankung bekannt. Darüber hinaus wurde ein Verfahren zum Analysieren eines CT-Bildes eines Patienten mit interstitieller Pneumonie vorgeschlagen, um Läsionen wie Wabenlunge, retikuläre Trübung und Zyste und Gewebe wie normale Lungen, Blutgefäße und Bronchien, die in einem Lungenfeldbereich des CT-Bildes enthalten sind, als Eigenschaften zu klassifizieren und die Eigenschaften zu quantifizieren (siehe Evaluation of computer-based computer tomography stratification against outcome models in connective tissue disease-related interstitial lung disease: a patient outcome study, Joseph Jacob et al., BMC Medicine (2016) 14:190, DOI 10.1186/s12916-016-0739-7 und Quantitative evaluation of CT images of interstitial pneumonia by computer, Iwasawa Tae, Journal of Japanese Association of Tomography Vol. 41, No. 2, August 2014). Auf diese Weise wird das CT-Bild analysiert, und die Eigenschaften werden klassifiziert, und Volumen, Fläche, Anzahl an Pixeln und dergleichen der Eigenschaft werden quantifiziert, so dass der Grad von Lungenerkrankung leicht bestimmt werden kann. Darüber hinaus werden für jede auf diese Weise klassifizierte und quantifizierte Eigenschaft unterschiedliche Farben zugeordnet und angezeigt, sodass es möglich ist, leicht zu diagnostizieren, wie stark ein Bereich mit einer spezifischen Eigenschaft in dem Bild enthalten ist.
-
Es wurde auch ein Verfahren des Klassifizierens jedes Pixels eines medizinischen Bildes in eine Klasse für jede von mehreren Eigenschaften unter Verwendung eines Unterscheidungsmodells vorgeschlagen, das durch ein Deep-Learning-Verfahren oder dergleichen konstruiert wird. Wenn ein solches Unterscheidungsmodell verwendet wird, ist es möglich, ein Zielpixel eines eingegebenen medizinischen Bildes in eine beliebige von mehreren Arten von Eigenschaften zu klassifizieren.
-
Um die Genesung oder das Fortschreiten der Krankheit zu diagnostizieren, gibt es indessen einen Fall, bei dem vergleichende Beobachtung im Laufe der Zeit unter Verwendung vergangener medizinischer Bildern desselben Patienten durchgeführt wird. Bei solcher vergleichender Beobachtung im Laufe der Zeit sind verschiedene Verfahren vorgeschlagen worden, um es einfacher zu machen, Änderungen im Laufe der Zeit visuell zu erkennen. Beispielsweise hat
JP2015-167629A ein Verfahren zum Erfassen von mehreren Bildern mit unterschiedlichen Bildgebungsdaten, Einstellen eines Referenzpunkts an einem Teil von Interesse jedes Bildes, Erfassen eines gemessenen Werts eines Messobjekts des Teils von Interesse in einer beliebigen Richtung, die auf den Referenzpunkt zentriert ist, Berechnen eines Betrags von Zeitreihenänderung des gemessenen Werts und Erzeugen und Anzeigen einer Anmerkung und eines Graphs, die den Betrag von Änderung während Beobachtung im Laufe der Zeit darstellen, vorgeschlagen. Ferner hat
JP3577680B ein Verfahren zum Erhalten eines Differenzbildes zwischen Röntgenbildern eines Brustkorbs mit unterschiedlichen Bildgebungszeiten, Etikettieren eines Abschnitts, der einem zeitlich veränderlichen Abschnitt in dem Differenzbild entspricht, und Ausdrücken eines zeitlich veränderlichen Bereichs mit einer vorbestimmten Größe oder größer mit einem Füllmuster oder dergleichen vorgeschlagen, wodurch der zeitlich veränderliche Abschnitt mit einem erhöhten Betonungsgrad angezeigt wird. Ferner hat
JP5661453B ein Verfahren zum Anzeigen eines Bewegtbildes nach Durchführen von Registrierung zwischen entsprechenden Teilen in CT-Bildern mit unterschiedlichen Bildgebungszeiten vorgeschlagen.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Bei den in
JP2015-167629A ,
JP3577680B und
JP5661453B beschriebenen Verfahren wird jedoch nur der Unterschied zwischen den Bildern hervorgehoben und angezeigt. Aus diesem Grund ist es in einem Fall, bei dem zu klassifizierende Eigenschaften mehrere Arten sind, wie bei der oben erwähnten interstitiellen Pneumonie, nicht möglich, genau zu erfassen, zu welcher Eigenschaft sich die frühere Eigenschaft geändert hat.
-
Die vorliegende Offenbarung wurde im Hinblick auf die obigen Umstände gemacht, und eine Aufgabe davon ist es, zu ermöglichen, Eigenschaftsänderungen zwischen medizinischen Bildern mit unterschiedlichen Bildgebungszeiten genau zu erkennen.
-
Es wird ein Bildverarbeitungsgerät gemäß der vorliegenden Offenbarung bereitgestellt, umfassend: eine Eigenschaftsklassifizierungseinheit, die jedes Pixel, das in einem Zielbereich von jedem von einem ersten medizinischen Bild und einem zweiten medizinischen Bild, von dem eine Bildgebungszeit später als eine Bildgebungszeit des ersten medizinischen Bildes für dieselbe Untersuchungsperson ist, enthalten ist, in eine beliebige von mehreren Arten von Eigenschaften klassifiziert; und
eine Ableitungseinheit für quantitative Werte, die Eigenschaftspaare spezifiziert, die jeweils eine Eigenschaftsänderung zwischen entsprechenden Pixeln in zumindest Teilbereichen innerhalb der Zielbereiche darstellen, und einen quantitativen Wert in den zumindest Teilbereichen für jedes der Eigenschaftspaare ableitet.
-
Das „Eigenschaftspaar, das eine Eigenschaftsänderung zwischen entsprechenden Pixeln darstellt“ bedeutet eine Kombination der Eigenschaft für das erste medizinische Bild und der Eigenschaft für das zweite medizinische Bild, die in den Zielbereichen, die in dem ersten medizinischen Bild und dem zweiten medizinischen Bild enthalten sind, abgeleitet werden. Beispielsweise wird in einem Fall, bei dem ein bestimmtes Pixel in dem ersten medizinischen Bild eine Eigenschaft A ist und ein Pixel in dem zweiten medizinischen Bild, das dem Pixel entspricht, eine Eigenschaft B ist, die Eigenschaft des Pixels von der Eigenschaft A zu der Eigenschaft B geändert, so dass das Eigenschaftspaar (A, B) ist. Darüber hinaus enthält das „Eigenschaftspaar, das eine Eigenschaftsänderung zwischen entsprechenden Pixeln darstellt“, eine Kombination der Eigenschaften, bei der es keine Änderung der Eigenschaft gibt.
-
Bei dem Bildverarbeitungsgerät gemäß der vorliegenden Offenbarung kann die Ableitungseinheit für quantitative Werte ein Verhältnis in den zumindest Teilbereichen für jedes der Eigenschaftspaare als den quantitativen Wert ableiten.
-
Darüber hinaus kann das Bildverarbeitungsgerät gemäß der vorliegenden Offenbarung ferner eine Registrierungseinheit umfassen, die Registrierung der Zielbereiche zwischen dem ersten medizinischen Bild und dem zweiten medizinischen Bild durchführt.
-
Ferner kann bei dem Bildverarbeitungsgerät gemäß der vorliegenden Offenbarung die Ableitungseinheit für quantitative Werte einen Betrag von Änderung pro Zeiteinheit in einem Betrag des Eigenschaftspaars zwischen den entsprechenden Pixeln in den zumindest Teilbereichen als den quantitativen Wert ableiten.
-
Als die „Menge des Eigenschaftspaars“ können beispielsweise das Volumen, die Fläche und die Anzahl an Pixeln des Eigenschaftspaars und das Verhältnis des Eigenschaftspaars zu den Zielbereichen verwendet werden.
-
Ferner kann in dem Bildverarbeitungsgerät gemäß der vorliegenden Offenbarung die Ableitungseinheit für quantitative Werte den Zielbereich in mehrere kleine Bereiche unterteilen und den quantitativen Wert für jeden der kleinen Bereiche ableiten.
-
Darüber hinaus kann das Bildverarbeitungsgerät gemäß der vorliegenden Offenbarung ferner eine Anzeigesteuereinheit umfassen, die den quantitativen Wert für jedes der Eigenschaftspaare auf einer Anzeigeeinheit anzeigt.
-
Ferner kann bei dem Bildverarbeitungsgerät gemäß der vorliegenden Offenbarung die Anzeigesteuereinheit den quantitativen Wert so anzeigen, dass aus den Eigenschaftspaaren ein Eigenschaftspaar, bei dem sich ein Symptom verschlechtert hat, ein Eigenschaftspaar, bei dem sich das Symptom verbessert hat, und ein Eigenschaftspaar, bei dem es keine Änderung des Symptoms gibt, identifiziert werden kann.
-
Alternativ kann bei dem Bildverarbeitungsgerät gemäß der vorliegenden Offenbarung die Anzeigesteuereinheit den quantitativen Wert für jedes der Eigenschaftspaare in absteigender Reihenfolge der quantitativen Werte anzeigen.
-
Alternativ kann bei dem Bildverarbeitungsgerät gemäß der vorliegenden Offenbarung die Anzeigesteuereinheit Informationen, die den quantitativen Wert für zumindest einen Teil der Eigenschaftspaare darstellen, auf dem Zielbereich des ersten medizinischen Bildes oder des zweiten medizinischen Bildes überlagern und anzeigen.
-
Ferner kann in dem Bildverarbeitungsgerät gemäß der vorliegenden Offenbarung die Eigenschaftsklassifizierungseinheit ein Unterscheidungsmodell aufweisen, bei dem maschinelles Lernen so durchgeführt wurde, dass es die mehreren Arten von Eigenschaften klassifiziert, und kann jedes Pixel, das in dem Zielbereich enthalten ist, via das Unterscheidungsmodell in einen beliebigen der mehreren Arten von Eigenschaften klassifizieren.
-
Ferner kann bei dem Bildverarbeitungsgerät gemäß der vorliegenden Offenbarung der Zielbereich ein Lungenfeldbereich sein.
-
Es wird ein Bildverarbeitungsverfahren gemäß der vorliegenden Offenbarung vorgesehen, umfassend: Klassifizieren jedes Pixels, das in einem Zielbereich von jedem eines ersten medizinischen Bildes und eines zweiten medizinischen Bildes, von dem eine Bildgebungszeit später als eine Bildgebungszeit des ersten medizinischen Bildes für dieselbe Untersuchungsperson ist, enthalten ist, in eine beliebige von mehreren Arten von Eigenschaften; und
-
Spezifizieren von Eigenschaftspaaren, die jeweils eine Eigenschaftsänderung zwischen entsprechenden Pixeln in zumindest Teilbereichen innerhalb der Zielbereiche darstellen, und Ableiten eines quantitativen Werts in den zumindest Teilbereichen für jedes der Eigenschaftspaare.
-
Ein Programm, das einen Computer veranlasst, das Bildverarbeitungsverfahren gemäß der vorliegenden Offenbarung auszuführen, kann auch bereitgestellt werden.
-
Es wird ein weiteres Bildverarbeitungsgerät gemäß der vorliegenden Offenbarung bereitgestellt, umfassend: einen Speicher, der einen von einem Computer auszuführenden Befehl speichert; und
einen Prozessor, der so konfiguriert ist, dass er den gespeicherten Befehl ausführt, wobei der Prozessor Klassifizieren jedes Pixels, das in einem Zielbereich von jedem von einem ersten medizinischen Bild und einem zweiten medizinischen Bild, von dem eine Bildgebungszeit später als eine Bildgebungszeit des ersten medizinischen Bilds für dieselbe Untersuchungsperson ist, enthalten ist, in eine beliebige von mehreren Arten von Eigenschaften ausführt; und
-
Spezifizieren von Eigenschaftspaaren, die jeweils eine Eigenschaftsänderung zwischen entsprechenden Pixeln in zumindest Teilbereichen innerhalb der Zielbereiche darstellen, und Ableiten eines quantitativen Werts in den zumindest Teilbereichen für jedes der Eigenschaftspaare.
-
Gemäß der vorliegenden Offenbarung ist es möglich, Eigenschaftsänderungen zwischen medizinischen Bildern mit unterschiedlichen Bildgebungszeiten genau zu erkennen.
-
Figurenliste
-
- 1 ist eine Hardwarekonfigurationsansicht, die einen Umriss eines Diagnoseunterstützungssystems zeigt, auf das ein Bildverarbeitungsgerät gemäß einer Ausführungsform der vorliegenden Offenbarung angewendet wird.
- 2 ist ein schematisches Blockdiagramm, das eine Konfiguration des Bildverarbeitungsgeräts gemäß der vorliegenden Ausführungsform zeigt.
- 3 ist eine Ansicht, die Registrierung von Lungenfeldbereichen darstellt.
- 4 ist eine Ansicht, die ein Beispiel eines mehrschichtigen neuronalen Netzwerks zeigt.
- 5 ist eine Ansicht, die Bewertungswerte zeigt, die Eigenschaftsarten für ein bestimmtes Pixel entsprechen.
- 6 ist eine Ansicht, die einen Querschnitt in einem Zuordnungsbild zeigt, bei dem Farben entsprechend Klassifizierungen zugeordnet sind.
- 7 ist eine Ansicht, die ein Ableitungsergebnis des quantitativen Werts zeigt.
- 8 ist eine Ansicht, die einen Anzeigebildschirm des quantitativen Werts für jedes Eigenschaftspaar zeigt.
- 9 ist ein Flussdiagramm, das Verarbeitung, die bei der vorliegenden Ausführungsform durchgeführt wird, zeigt.
- 10 ist eine Ansicht, die einen Anzeigebildschirm einer Liste zeigt, in der Farben, die der Größe der quantitativen Werte entsprechen, für jedes Feld der Eigenschaftspaare zugeordnet sind.
- 11 ist eine Ansicht, die einen Anzeigebildschirm zeigt, bei dem Informationen, die den quantitativen Wert darstellen, überlagert und auf einem medizinischen Bild angezeigt werden.
- 12 ist eine Ansicht, die einen Anzeigebildschirm zeigt, bei dem die Eigenschaftspaare geordnet und in absteigender Reihenfolge der quantitativen Werte angezeigt werden.
- 13 ist eine Ansicht, die die Unterteilung des Lungenfeldbereichs in einen Innenbereich und einen Außenbereich darstellt.
- 14 ist eine Ansicht, die die Unterteilung des Lungenfeldbereichs in einen oberen Bereich, einen mittleren Bereich und einen unteren Bereich darstellt.
-
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
-
Nachstehend wird eine Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen beschrieben. 1 ist eine Hardwarekonfigurationsansicht, die einen Umriss eines Diagnoseunterstützungssystems zeigt, auf das ein Bildverarbeitungsgerät gemäß der Ausführungsform der vorliegenden Offenbarung angewendet wird. Wie in 1 gezeigt, sind in dem Diagnoseunterstützungssystem ein Bildverarbeitungsgerät 1, eine Vorrichtung 2 zum Aufnehmen dreidimensionaler Bilder und ein Bildspeicherserver 3 gemäß der vorliegenden Ausführungsform verbunden, um miteinander über ein Netzwerk 4 zu kommunizieren.
-
Die Vorrichtung 2 zum Aufnehmen dreidimensionaler Bilder ist eine Vorrichtung, die ein dreidimensionales Bild erzeugt, das einen Teil zeigt, der ein zu diagnostizierender Teil einer Untersuchungsperson ist, indem es das Teil abbildet. Insbesondere ist die Vorrichtung 2 zum Aufnehmen dreidimensionaler Bilder eine CT-Vorrichtung, eine MRI-Vorrichtung, eine Positronen-Emissions-Tomographie(PET)-Vorrichtung oder dergleichen. Das dreidimensionale Bild, das aus mehreren Schichtbildern besteht und von der Vorrichtung 2 zum Aufnehmen dreidimensionaler Bilder erzeugt wurde, wird an den Bildspeicherserver 3 übertragen und wird auf diesem gespeichert. Bei der vorliegenden Ausführungsform sind der diagnostische Zielteil des Patienten, der eine Untersuchungsperson ist, die Lungen, und die Vorrichtung 2 zum Aufnehmen dreidimensionaler Bilder ist eine CT-Vorrichtung und erzeugt ein CT-Bild des Brustkorbs einschließlich der Lungen der Untersuchungsperson als ein dreidimensionales Bild.
-
Der Bildspeicherserver 3 ist ein Computer, der verschiedene Arten von Daten speichert und verwaltet und der eine externe Speichervorrichtung mit großer Kapazität sowie Software für Datenbankmanagement umfasst. Der Bildspeicherserver 3 kommuniziert mit anderen Vorrichtungen über das verdrahtete oder drahtlose Netzwerk 4, um Bilddaten oder dergleichen zu übertragen und zu empfangen. Insbesondere erfasst der Bildspeicherserver 3 verschiedene Arten von Daten einschließlich der Bilddaten eines medizinischen Bildes, das durch die Vorrichtung 2 zum Aufnehmen dreidimensionaler Bilder erzeugt wird, über das Netzwerk und speichert die verschiedenen Arten von Daten auf einem Aufzeichnungsmedium, wie einer externen Speichervorrichtung mit großer Kapazität, und verwaltet die verschiedenen Arten von Daten. Das Speicherformat der Bilddaten und die Kommunikation zwischen Vorrichtungen über das Netzwerk 4 basieren auf einem Protokoll wie Digital Imaging and Communications in Medicine (DICOM). Bei der vorliegenden Ausführungsform speichert und verwaltet der Bildspeicherserver 3 mehrere medizinische Bilder mit unterschiedlichen Bildaufnahmedaten für denselben Patienten.
-
Das Bildverarbeitungsgerät 1 der vorliegenden Ausführungsform wird durch Installieren eines Bildverarbeitungsprogramms der vorliegenden Ausführungsform auf einem Computer realisiert. Der Computer kann eine Workstation oder ein Personal Computer sein, der direkt von einem Arzt, der eine Diagnose durchführt, bedient wird, oder kann ein Servercomputer sein, der mit der Workstation oder mit dem Personal Computer über ein Netzwerk verbunden ist. Das Bildverarbeitungsprogramm ist in einer Speichervorrichtung eines mit dem Netzwerk verbundenen Server-Computers oder in einem von außen zugänglichen Netzwerkspeicher gespeichert und wird auf eine Anfrage auf einen vom Arzt genutzten Computer heruntergeladen und installiert. Alternativ wird das Bildverarbeitungsprogramm verteilt, indem es auf einem Aufzeichnungsmedium aufgezeichnet wird, wie einer DVD (digital versatile disc) oder einer CD-ROM (compact disc read only memory), und wird von dem Aufzeichnungsmedium auf dem Computer installiert.
-
2 ist ein Diagramm, das eine schematische Konfiguration des Bildverarbeitungsgeräts zeigt, die durch Installieren des Bildverarbeitungsprogramms auf einem Computer realisiert wird. Wie in 2 gezeigt, umfasst das Bildverarbeitungsgerät 1 eine Zentraleinheit (CPU) 11, einen Speicher 12 und einen Speicher 13 als eine Konfiguration einer Standard-Workstation. Ferner sind eine Anzeigeeinheit 14, wie eine Flüssigkristallanzeige, und eine Eingabeeinheit 15, wie eine Tastatur und eine Maus, mit dem Bildverarbeitungsgerät 1 verbunden.
-
Der Speicher 13 enthält ein Festplattenlaufwerk oder dergleichen und speichert mehrere medizinische Bilder derselben Untersuchungsperson, die verwendet werden, um Beobachtung im Laufe der Zeit durchzuführen, die von dem Bildspeicherserver 3 über das Netzwerk 4 erfasst werden, und verschiedene Informationen, einschließlich Informationen, die für Verarbeitung erforderlich sind.
-
Ferner wird das aus dem Speicher 13 durch die CPU oder dergleichen ausgelesene Bildverarbeitungsprogramm vorübergehend in dem Speicher 12 gespeichert. Das Bildverarbeitungsprogramm definiert als von der CPU 11 auszuführende Verarbeitung Bilderfassungsverarbeitung des Erfassens eines ersten medizinischen Bildes G1 und eines zweiten medizinischen Bildes G2, von dem eine Bildgebungszeit später als eine Bildgebungszeit des ersten medizinischen Bildes G1 für dieselbe Untersuchungsperson ist, Registrierungsverarbeitung des Durchführens von Registrierung von Zielbereichen zwischen dem ersten medizinischen Bild G1 und dem zweiten medizinischen Bild G2, Eigenschaftsklassifizierungsverarbeitung des Klassifizierens jedes Pixels, das in der Zielregion von jedem des ersten medizinischen Bildes G1 und des zweiten medizinischen Bildes G2 enthalten ist, in eine beliebige von mehreren Arten von Eigenschaften, Ableitungsverarbeitung von quantitativen Werten des Spezifizierens von Eigenschaftspaaren, die jeweils eine Eigenschaftsänderung zwischen entsprechenden Pixeln in zumindest Teilbereichen innerhalb der Zielbereiche darstellen, und Ableiten eines quantitativen Werts in den zumindest Teilbereichen für jedes der Eigenschaftspaare und Anzeigesteuerungsverarbeitung des Anzeigens des quantitativen Werts für jedes der Eigenschaftspaare auf einer Anzeigeeinheit 14.
-
Dann führt die CPU 11 die Verarbeitung gemäß dem Bildverarbeitungsprogramm aus, so dass der Computer als eine Bilderfassungseinheit 21, eine Registrierungseinheit 22, eine Eigenschaftsklassifizierungseinheit 23, eine Ableitungseinheit 24 für quantitative Werte und eine Anzeigesteuereinheit 25 fungiert.
-
Die Bilderfassungseinheit 21 erfasst das erste medizinische Bild G1 und das zweite medizinische Bild G2 von dem Bildspeicherserver 3 über eine Schnittstelle (nicht gezeigt), die mit dem Netzwerk verbunden ist. Bei der vorliegenden Ausführungsform wird angenommen, dass das erste medizinische Bild G1 und das zweite medizinische Bild G2 CT-Bilder sind, die das Lungenfeld für dieselbe Untersuchungsperson enthalten. Das erfasste erste und zweite medizinische Bild G1 und G2 werden in dem Speicher 13 gespeichert. Bei der vorliegenden Ausführungsform wird angenommen, dass der Zielbereich ein Lungenfeldbereich ist.
-
Hier gibt es in dem ersten medizinischen Bild G1 und dem zweiten medizinischen Bild G2 Unterschiede in Größe und Position des Zielbereichs zwischen den Bildern aufgrund von Änderungen in der Atmung und Körperhaltung des Patienten, der die Untersuchungsperson ist, und Änderungen in dem Bildgebungssichtfeld (FOV). Daher führt die Registrierungseinheit 22 Registrierung der Zielbereiche des ersten medizinischen Bilds G1 und des zweiten medizinischen Bilds G2, das heißt der Lungenfeldbereiche durch. Insbesondere werden zunächst die Bildgebungssichtfelder des ersten medizinischen Bildes G1 und des zweiten medizinischen Bildes G2 aufeinander abgestimmt, und dann werden die Pixeldichten aufeinander abgestimmt. Dann werden die Verschiebungsrichtung und der Verschiebungsbetrag der entsprechenden Pixelposition zwischen dem ersten medizinischen Bild G1 und dem zweiten medizinischen Bild G2 abgeleitet. Dann wird Registrierung zwischen den Lungenfeldbereichen des ersten und des zweiten medizinischen Bildes G1 und G2 durch nichtlineares Umwandeln von zumindest einem von dem Lungenfeldbereich des ersten medizinischen Bildes G1 oder dem Lungenfeldbereich des zweiten medizinischen Bildes G2 basierend auf der abgeleiteten Verschiebungsrichtung und dem Verschiebungsbetrag durchgeführt. Als das Registrierungsverfahren kann jedes Verfahren wie Template-Matching, Verziehen, Registrierung starrer Körper oder Registrierung nicht starrer Körper verwendet werden.
-
Durch Durchführen von Registrierung auf diese Weise, wie in 3 gezeigt, wird jedes Pixel eines Lungenfeldbereichs H1 des ersten medizinischen Bildes G1 und jedes Pixel eines Lungenfeldbereichs H2 des zweiten medizinischen Bildes G2 (in 3 durch einen schwarzen Kreis angezeigt) einander zugeordnet. Ferner kann bei der Registrierung die Anzahl an Pixeln, die in dem Lungenfeldbereich H1 enthalten sind, und die Anzahl an Pixeln, die in dem Lungenfeldbereich H2 enthalten sind, als gleich angesehen werden. Da Registrierung aller Bereiche des ersten medizinischen Bildes G1 und des zweiten medizinischen Bildes G2 so durchgeführt wird, dass Registrierung zwischen dem Lungenfeldbereich H1 und dem Lungenfeldbereich H2 durchgeführt wird, kann Registrierung aller Bereiche des ersten medizinischen Bildes G1 und des zweiten medizinischen Bildes G2 durchgeführt werden.
-
Die Eigenschaftsklassifizierungseinheit 23 klassifiziert jedes Pixel des Lungenfeldbereichs H1 und H2 des ersten und zweiten medizinischen Bildes G1 und G2 in eine beliebige von mehreren Arten von Eigenschaften. Insbesondere leitet die Eigenschaftsklassifizierungseinheit 23 mehrere Bewertungswerte ab, die die Möglichkeit angeben, dass es sich jeweils um mehrere Arten von Geweben oder Läsionen (d. h. Eigenschaften) für jedes Pixel der Lungenfeldbereiche H1 und H2 handelt, und klassifiziert jedes Pixel der Lungenfeldbereiche H1 und H2 in einen beliebigen der mehreren Arten von Eigenschaften basierend auf den mehreren Bewertungswerten.
-
Die Eigenschaftsklassifizierungseinheit 23 der vorliegenden Ausführungsform weist ein Unterscheidungsmodell 30 auf, das aus einem mehrschichtigen neuronalen Netzwerk besteht, das durch tiefes Lernen, das eines von Verfahren für maschinelles Lernen ist, erzeugt wird, und klassifiziert jedes Pixel der Lungenfeldbereiche H1 und H2 in eine beliebige der mehreren Eigenschaften unter Verwendung des Unterscheidungsmodells 30. Ein Verfahren für maschinelles Lernen ist nicht auf Deep Learning beschränkt, und andere Verfahren, wie eine Support Vector Maschine, können verwendet werden.
-
In dem mehrschichtigen neuronalen Netzwerk wird in jeder Schicht arithmetische Verarbeitung unter Verwendung verschiedener Kernel auf Daten von mehreren unterschiedlichen Merkmalsmengen durchgeführt, die durch die vorherige Schicht erhalten wurden (in Bezug auf eine erste Schicht, Pixeldaten in den Lungenfeldbereichen H1 und H2). Dann wird in den nachfolgenden Schichten arithmetische Verarbeitung auf den durch die arithmetische Verarbeitung erhaltenen Daten der Merkmalsmengen weiter durchgeführt, so dass die Erkennungsrate der Merkmalsmengen verbessert werden kann und die Eingabedaten in mehrere Klassen klassifiziert werden können.
-
Bei der vorliegenden Ausführungsform erfolgt Beschreibung unter Verwendung des mehrschichtigen neuronalen Netzwerks, das als eine Eingabe die Lungenfeldbereiche H1 und H2 als dreidimensionale Bilder empfängt und das Ergebnis von Klassifizierung in ein beliebiges der mehreren Arten von Eigenschaften für jedes Pixel der Lungenfeldbereiche H1 und H2 ausgibt. Es kann jedoch eine Konfiguration verwendet werden, bei der der Lungenfeldbereich als ein zweidimensionales Bild in jedem der mehreren Tomographiebildern, die das erste und das zweite medizinische Bild G1 und G2 bilden, als eine Eingabe empfangen wird und das Ergebnis von Klassifizierung in die mehreren Arten von Eigenschaften für den Lungenfeldbereich als das zweidimensionale Bild ausgegeben wird.
-
4 ist eine Ansicht, die ein Beispiel des mehrschichtigen neuronalen Netzwerks zeigt. Wie in 4 gezeigt, besteht ein mehrschichtiges neuronales Netzwerk 40 aus mehreren Schichten einschließlich einer Eingabeschicht 41 und einer Ausgabeschicht 42. Bei der vorliegenden Ausführungsform lernt das mehrschichtige neuronale Netzwerk 40, jedes Pixel der Lungenfeldbereiche H1 und H2 in eine beliebige von 33 Arten von Eigenschaften, wie normale Lunge, GGO-massennoduläre Trübung, gemischte massennoduläre Trübung, feste massennoduläre Trübung, Milchglastrübung, helle Milchglastrübung, zentrilobuläre Michglastrübung, Konsolidierung, niedrige Dichte, zentrilobuläres Emphysem, panlobuläres Emphysem, normale Lungenemphysemneigung, Zyste, Tree-in-Bud (TIB), kleiner Knoten (nicht zentrilobulär), zentrilobuläre kleine noduläre Trübung, interlobuläre Septumverdickung, Bronchialwandverdickung, Bronchiektasie, Bronchioloektasie, Luftbronchogramm, Traktionsbronchiektasie, Hohlraumkonsolidierung, kavemöser Tumor, retikuläre Trübung, feine retikuläre Trübung, Wabenlunge, Pleuraerguss, Pleuraverdickung, Brustwand , Herz, Zwerchfell und Blutgefäß zu klassifizieren. Die Eigenschaftsarten sind nicht darauf beschränkt, und es können mehr oder weniger Eigenschaften als die obigen Eigenschaften verwendet werden.
-
Bei der vorliegenden Ausführungsform lernt das mehrschichtige neuronale Netzwerk 40 die Eigenschaften unter Verwendung einer großen Menge von Trainingsdaten, wie Millionen von Trainingsdaten. Nach Lernen wird ein Bereich von Interesse mit einer vorbestimmten Größe (beispielsweise 1,5 cm × 1,5 cm × 1,5 cm) aus einem CT-Bild, bei dem die Eigenschaftsart bekannt ist, ausgeschnitten, und der Bereich von Interesse wird als die Trainingsdaten verwendet. Dann werden die Trainingsdaten in das mehrschichtige neuronale Netzwerk 40 eingegeben, und das mehrschichtige neuronale Netzwerk 40 gibt das Klassifizierungsergebnis der Eigenschaftsart aus. Dann wird das ausgegebene Klassifizierungsergebnis mit den Trainingsdaten verglichen, und das Gewicht von Verbindung zwischen den Schichten von Einheiten (in 4 durch Kreise angegeben), die in jeder Schicht des mehrschichtigen neuronalen Netzwerks 40 enthalten sind, wird von der Ausgangsseite zu der Eingangsseite als Reaktion darauf, ob das Ausgabeergebnis richtig oder falsch ist oder nicht, korrigiert. Die Korrektur des Gewichts der Verbindung wird unter Verwendung einer großen Menge an Trainingsdaten eine vorbestimmte Anzahl von Malen wiederholt oder bis die Genauigkeitsrate des ausgegebenen Klassifizierungsergebnisses 100% erreicht, und das Lernen endet. Infolgedessen wird das Unterscheidungsmodell 30 konstruiert.
-
Ferner wird in einem Fall, bei dem das Eingabebild ein Tomographiebild ist, nach dem Lernen durch das mehrschichtige neuronale Netzwerk 40 ein zweidimensionaler Bereich, der auf eine vorbestimmte Größe (zum Beispiel 1,5 cm × 1,5 cm) normalisiert ist, aus einem Tomographiebild, das ein dreidimensionales Bild darstellt, bei dem die Läsion bekannt ist, geschnitten und das Bild des ausgeschnittenen zweidimensionalen Bereichs wird als die Trainingsdaten verwendet.
-
Die Eigenschaftsklassifizierungseinheit 23 extrahiert die Lungenfeldbereiche H1 und H2, die Zielbereiche sind, aus dem ersten und zweiten medizinischen Bild G1 und G2, um die Eigenschaften zu klassifizieren. Als ein Verfahren zum Extrahieren der Lungenfeldbereiche H1 und H2 kann jedes Verfahren wie ein Verfahren, bei dem der Signalwert jedes Pixels in dem ersten und zweiten medizinischen Bild G1 und G2 in einem Histogramm ausgedrückt wird und Schwellenwertverarbeitung durchgeführt wird, um den Lungenbereich zu extrahieren, oder ein Bereichswachstumsverfahren basierend auf einem Keimpunkt, der die Lunge zeigt, verwendet werden. Das Unterscheidungsmodell 30, bei dem maschinelles Lernen so durchgeführt wurde, dass es die Lungenfeldbereiche H1 und H2 extrahiert, kann verwendet werden.
-
Bei der Eigenschaftsklassifizierungseinheit 23 wird nach der Eigenschaftsklassifizierungsverarbeitung ein Bereich von Interesse mit der gleichen Größe wie die Trainingsdaten sequentiell aus den Lungenfeldbereichen H1 und H2 geschnitten, und der Bereich von Interesse wird in das Unterscheidungsmodell 30, das aus dem mehrschichtigen neuronalen Netzwerk 40 besteht, eingegeben. Damit gibt das Unterscheidungsmodell 30 einen Bewertungswert, der jeder Klassifizierung der Eigenschaften für das zentrale Pixel des ausgeschnittenen Bereichs von Interesse entspricht, aus. Der jeder Klassifizierung entsprechende Bewertungswert ist ein Bewertungswert, der die Wahrscheinlichkeit angibt, dass das zentrale Pixel zu jeder Klassifizierung gehört. Je größer dieser Bewertungswert ist, desto höher ist die Wahrscheinlichkeit, dass das zentrale Pixel zu der Klassifizierung gehört.
-
5 ist eine Ansicht, die Bewertungswerte zeigt, die Eigenschaftsarten für ein bestimmtes Pixel entsprechen. Darüber hinaus sind in 5 zur Vereinfachung von Darstellung die Bewertungswerte für einen Teil der Eigenschaften gezeigt. Bei der vorliegenden Ausführungsform klassifiziert das Unterscheidungsmodell 30 das zentrale Pixel des Bereichs von Interesse in eine Eigenschaft mit dem maximalen Bewertungswert aus den mehreren Eigenschaften. Beispielsweise weist in einem Fall, bei dem die in 5 gezeigten Bewertungswerte erfasst werden, das zentrale Pixel des Bereichs von Interesse die höchste Wahrscheinlichkeit auf, dass es retikuläre Trübung ist, und weist die zweithöchste Wahrscheinlichkeit auf, dass es Milchglastrübung ist. Im Gegensatz dazu ist die Wahrscheinlichkeit, dass das zentrale Pixel normale Lunge oder niedrige Dichte ist, nahezu null. Daher wird in einem Fall, bei dem die in 5 gezeigten Bewertungswerte erfasst werden, das zentrale Pixel des Bereichs von Interesse durch die Eigenschaftsklassifizierungsverarbeitung in retikuläre Trübung mit einem maximalen Bewertungswert von 8,5 klassifiziert. Solche Eigenschaftsklassifizierungsverarbeitung wird an allen Pixeln der Lungenfeldbereiche H1 und H2 durchgeführt, so dass alle Pixel der Lungenfeldbereiche H1 und H2 in eine beliebige der mehreren Arten von Eigenschaften klassifiziert werden.
-
Obwohl bei der vorliegenden Ausführungsform die Eigenschaftsklassifizierungseinheit 23 jedes Pixel der Lungenfeldbereiche H1 und H2 in eine beliebige von 33 Arten von Eigenschaften wie oben beschrieben klassifiziert, um arithmetischen Vorgang zum Erzeugen eines Zuordnungsbildes und zum Ableiten des quantitativen Werts, der später beschrieben wird, zu vereinfachen, werden bei der vorliegenden Ausführungsform 33 Arten von Eigenschaften in 10 Arten von Eigenschaften zusammengefasst, das heißt, normale Trübung, Michglastrübung, retikuläre Trübung, Konsolidierung, Wabenlunge, noduläre Trübung, hyperluzente Lunge, andere, Bronchie und Blutgefäß. Die zusammenzufassenden Arten von Eigenschaften sind nicht auf diese 10 Arten beschränkt und können mehr als 10 oder weniger als 10 sein.
-
Die Eigenschaftsklassifizierungseinheit 23 erzeugt ein Zuordnungsbild durch Zuordnen einer Farbe zu dem Pixel jeder Klassifizierung in zumindest einem von dem ersten medizinischen Bild G1 oder dem zweiten medizinischen Bild G2, basierend auf dem Ergebnis der Eigenschaftsklassifizierungsverarbeitung. Insbesondere erzeugt die Eigenschaftsklassifizierungseinheit 23 ein dreidimensionales Zuordnungsbild durch Zuweisen der gleichen Farbe zu den Pixeln, die in die gleiche Eigenschaft klassifiziert sind, für alle Pixel in einem dreidimensionalen Raum, die in eine beliebige der mehreren Arten von Eigenschaften klassifiziert sind, die wie oben beschrieben in 10 Arten zusammengefasst werden. 6 ist eine Ansicht, die einen Querschnitt in einem Zuordnungsbild zeigt, in dem Farben, die mehreren Arten von Klassifizierungen entsprechen, für jede Klassifizierung zugewiesen sind. Die Anzeigesteuereinheit 25, die später beschrieben wird, kann das Zuordnungsbild auf der Anzeigeeinheit 14 anzeigen. In einem Fall, bei dem das Zuordnungsbild auf der Anzeigeeinheit 14 angezeigt wird, wie in 6 gezeigt, kann ein Querschnittsbild eines beliebigen Querschnitts in dem dreidimensionalen Zuordnungsbild angezeigt werden. Die vorliegende Offenbarung ist jedoch nicht darauf beschränkt, und das dreidimensionale Zuordnungsbild kann auf der Anzeigeeinheit 14 durch ein Verfahren wie Volumenrendering angezeigt werden.
-
Die Ableitungseinheit 24 für quantitative Werte spezifiziert Eigenschaftspaare, die jeweils eine Eigenschaftsänderung zwischen den entsprechenden Pixeln in zumindest Teilbereichen der Lungenfeldbereiche H1 und H2 der ersten und zweiten medizinischen Bilder G1 und G2 darstellen, und leitet den quantitativen Wert in den zumindest Teilbereichen für jedes der Eigenschaftspaare ab. Bei der vorliegenden Ausführungsform spezifiziert die Ableitungseinheit 24 für quantitative Werte Eigenschaftspaare in allen Bereichen der Lungenfeldbereiche H1 und H2 und leitet das Verhältnis in den Lungenfeldbereichen H1 und H2 für jedes der Eigenschaftspaare als den quantitativen Wert ab.
-
Bei der vorliegenden Ausführungsform klassifiziert die Eigenschaftsklassifizierungseinheit 23 jedes Pixel der Lungenfeldbereiche H1 und H2 in eine beliebige von 10 Arten von Eigenschaften. Hier, in einem Fall, bei dem die Eigenschaft eines bestimmten Pixels in dem Lungenfeldbereich H1 normale Trübung ist, ist die Eigenschaft, die das Pixel in dem Lungenfeldbereich H2 des zweiten medizinischen Bildes G2, dessen Bildgebungszeit später als die Bildgebungszeit des ersten medizinischen Bildes G1 ist, eine von 10 Arten von normaler Trübung, Michglastrübung, retikulärer Trübung, Konsolidierung, Wabenlunge, nodulärer Trübung, hyperluzenter Lunge, Sonstigem, Bronchie und Blutgefäß. Daher existieren 10 × 10 = 100 Kombinationen von Eigenschaftsänderungen zwischen den entsprechenden Pixeln der Lungenfeldbereiche H1 und H2 als das Eigenschaftspaar. Dementsprechend spezifiziert die Ableitungseinheit 24 für quantitative Werte, welchem der 100 Eigenschaftspaare jedes Pixel der Lungenfeldbereiche H1 und H2 entspricht.
-
Ferner zählt die Ableitungseinheit 24 für quantitative Werte die Anzahl an Pixeln in den Lungenfeldbereichen H1 und H2 für alle Eigenschaftspaare. Dann unterteilt die Ableitungseinheit 24 für quantitative Werte die Anzahl an Pixeln für jedes Eigenschaftspaar durch die Gesamtanzahl an Pixeln in den Lungenfeldbereichen H1 und H2, um das Verhältnis jedes Eigenschaftspaars zu all den Bereichen in den Lungenfeldbereichen H1 und H2 als den quantitativen Wert abzuleiten. 7 ist eine Ansicht, die das Ableitungsergebnis des quantitativen Werts zeigt. Die Reihen in 7 stellen die Eigenschaften des Lungenfeldbereichs H2 des zweiten medizinischen Bilds G2 dar, und die Spalten stellen die Eigenschaften des Lungenfeldbereichs H1 des ersten medizinischen Bilds G1 dar. Darüber hinaus sind in 7 die Eigenschaftspaare der diagonal positionierten Felder jeweils ein Eigenschaftspaar, bei dem es zwischen dem Lungenfeldbereich H1 und dem Lungenfeldbereich H2 keine Änderung der Eigenschaft gibt.
-
Die Anzeigesteuereinheit 25 zeigt den quantitativen Wert für jedes der Eigenschaftspaare auf der Anzeigeeinheit 14 an. 8 ist eine Ansicht, die einen Anzeigebildschirm des quantitativen Werts für jedes der Eigenschaftspaare zeigt. Wie in 8 gezeigt, zeigt ein Anzeigebildschirm 50 eine Liste 51 des quantitativen Werts für jedes der Eigenschaftspaare an. Hier wird in einem Fall, bei dem aus den Eigenschaftspaaren ein Eigenschaftspaar, das darstellt, dass sich das Symptom verschlechtert hat, einen Wert als den quantitativen Wert aufweist (das heißt in einem Fall, bei dem der quantitative Wert nicht 0 % ist, gilt das Gleiche nachstehend), das Feld des Eigenschaftspaares in einer anderen Form als die anderen Felder angezeigt. Beispielsweise wird ein Feld mit einem Wert als der quantitative Wert gefärbt, oder die Farbe einer Zahl in dem Feld wird geändert. In der in 8 gezeigten Liste 51 ist das Feld des Eigenschaftspaars, bei dem sich das Symptom verschlechtert hat, gefärbt. In 8 ist das einzufärbende Feld schraffiert gezeigt. Ferner kann das in 6 gezeigte Zuordnungsbild zusätzlich zu der Liste 51 auf dem Anzeigebildschirm 50 angezeigt werden.
-
Obgleich welche Eigenschaftsänderung der Verschlechterung des Symptoms entspricht, in Abhängigkeit von der Krankheit unterschiedlich ist, verschlechtert sich das Symptom bei interstitieller Pneumonie im Allgemeinen in der Reihenfolge normale Trübung, Milchglastrübung, retikuläre Trübung und Wabenlunge. Darüber hinaus sind die Bronchie und das Blutgefäß Gewebe, die auch in dem normalen Lungenfeld vorhanden sind, aber normale Trübung kann sich auf die Bronchie und das Blutgefäß ändern, weil sich die Bronchie erweitert oder sich das Blutgefäß in einem Fall erweitert, bei dem sich das Symptom verschlechtert.
-
Bei der vorliegenden Ausführungsform, wie in 8 gezeigt, sind die Eigenschaftspaare (normale Trübung, Milchglastrübung), (Milchglastrübung, retikuläre Trübung), (retikuläre Trübung, Wabenlunge), (normale Trübung, hyperluzente Lunge) und (normale Trübung, Bronchie) weisen Werte als den quantitativen Wert auf. Daher werden beispielsweise die Felder der Eigenschaftspaare rot eingefärbt, damit das verschlechterte Symptom visuell erkannt werden kann.
-
Andererseits stellt in einem Fall, bei dem die andere Eigenschaft als normale Trübung in dem Lungenfeldbereich H1 des ersten medizinischen Bildes G1 in normale Trübung in dem zweiten medizinischen Bild G2 geändert wird, das Eigenschaftspaar dar, dass sich das Symptom verbessert hat. In einem Fall, bei dem die Eigenschaftspaare (Milchglastrübung, normale Lunge), (retikuläre Trübung, normale Lunge), (Konsolidierung, normale Lunge), (Wabenlunge, normale Lunge), (hyperluzente Lunge, normale Lunge) , (noduläre Trübung, normale Lunge), (andere, normale Lunge), (Bronchie, normale Lunge) und (Blutgefäß, normale Lunge), die Eigenschaftspaare sind, die darstellen, dass sich das Symptom verbessert hat, weisen Werte als das Verhältnis auf, beispielsweise wird das Feld blau eingefärbt, so dass das verbesserte Symptom visuell erkannt werden kann. Zusätzlich zu den obigen Eigenschaftspaaren enthalten Beispiele für das Eigenschaftspaar, bei dem sich das Symptom verbessert hat, (retikuläre Trübung, Milchglastrübung). Darüber hinaus muss das Eigenschaftspaar, bei dem es keine Änderung des Symptoms gibt, nicht gefärbt sein oder eine graue Farbe erhalten.
-
Die Auswertung der Verschlechterung und Besserung des Symptoms kann je nach Arzt unterschiedlich sein. Daher ist es vorzuziehen, dem Arzt zu erlauben, festzulegen, welches Eigenschaftspaar das Eigenschaftspaar ist, das Eigenschaftsänderungen der Verschlechterung und Verbesserung darstellt.
-
Als nächstes wird Verarbeitung, die bei der vorliegenden Ausführungsform durchgeführt wird, beschrieben. 9 ist ein Flussdiagramm, das Verarbeitung, die bei der vorliegenden Ausführungsform durchgeführt wird, zeigt. Zunächst erfasst die Bilderfassungseinheit 21 das erste und das zweite medizinische Bild G1 und G2 (Erfassung medizinischer Bilder; Schritt ST1), und die Registrierungseinheit 22 führt Registrierung des Lungenfeldbereichs H1 des ersten medizinischen Bildes G1 und des Lungenfeldbereichs H2 des zweiten medizinischen Bildes G2 (Schritt ST2) durch. Ferner klassifiziert die Eigenschaftsklassifizierungseinheit 23 jedes Pixel, das in dem Lungenfeldbereich H1 des ersten medizinischen Bilds G1 und dem Lungenfeldbereich H2 des zweiten medizinischen Bilds G2 enthalten ist, in eine beliebige der mehreren Arten von Eigenschaften (Schritt ST3). Die Verarbeitung von Schritt ST2 und Schritt ST3 kann parallel durchgeführt werden, oder die Verarbeitung von Schritt ST3 kann vor der Verarbeitung von Schritt ST2 durchgeführt werden.
-
Als nächstes spezifiziert die Ableitungseinheit 24 für quantitative Werte Eigenschaftspaare, die jeweils eine Eigenschaftsänderung zwischen den entsprechenden Pixeln in den Lungenfeldbereichen H1 und H2 darstellen, und leitet das Verhältnis in zumindest Teilbereichen für jedes der Eigenschaftspaare als den quantitativen Wert ab (quantitative Wertableitung; Schritt ST4). Dann zeigt die Anzeigesteuereinheit 25 den quantitativen Wert für jedes der Eigenschaftspaare auf der Anzeigeeinheit 14 an (Schritt ST5) und die Verarbeitung endet.
-
Wie oben beschrieben, werden bei der vorliegenden Ausführungsform in den Lungenfeldbereichen H1 und H2 der ersten und zweiten medizinischen Bilder G1 und G2 die Eigenschaftspaare, die jeweils eine Eigenschaftsänderung zwischen den entsprechenden Pixeln darstellen, spezifiziert, und das Verhältnis in den Lungenfeldbereichen H1 und H2 für jedes der Eigenschaftspaare wird als der quantitative Wert abgeleitet. Daher werden gemäß der vorliegenden Ausführungsform die abgeleiteten quantitativen Werte angezeigt, so dass es möglich ist, die Tendenz von Eigenschaftsänderungen in den Lungenfeldbereichen H1 und H2 zu erkennen. Folglich ist es gemäß der vorliegenden Ausführungsform möglich, die Eigenschaftsänderungen zwischen den ersten und zweiten medizinischen Bildern G1 und G2 mit unterschiedlichen Bildgebungszeiten genau zu erkennen.
-
Bei der obigen Ausführungsform können Farben, die der Größe der quantitativen Werte entsprechen, für jedes Feld der Eigenschaftspaare der Liste 51 der quantitativen Werte zugewiesen werden. Beispielsweise kann einem Verhältnis von 0 % eine graue Farbe zugewiesen werden, einem Verhältnis von 0 % bis 5 % (größer als 0 % und 5 % oder weniger, dasselbe gilt nachstehend) kann eine gelbe Farbe zugewiesen werden, einem Verhältnis von 5 % bis 20 % kann eine orange Farbe zugewiesen werden, und einem Verhältnis von mehr als 20 % kann eine rote Farbe zugewiesen werden. 10 ist eine Ansicht, die einen Anzeigebildschirm einer Liste zeigt, in der Farben, die der Größe der quantitativen Werte entsprechen, für jedes Feld der Eigenschaftspaare zugeordnet sind. Darüber hinaus wird in 10 der Unterschied zwischen den Farben durch einen Unterschied in Schraffur gezeigt. Ferner kann auch in diesem Fall die Farbe gemäß dem Eigenschaftspaar, das darstellt, dass sich die Läsion verschlechtert hat, dem Eigenschaftspaar, das darstellt, dass sich die Läsion verbessert hat, und dem Eigenschaftspaar, bei dem es keine Veränderung der Läsion gibt, weiter geändert werden. Beispielsweise kann dem Eigenschaftspaar, das darstellt, dass sich die Läsion verschlechtert hat, eine rötliche Farbe zugewiesen werden, und dem Eigenschaftspaar, das darstellt, dass sich die Läsion verbessert hat, kann eine bläuliche Farbe zugewiesen werden.
-
Ferner können bei der obigen Ausführungsform Informationen, die den quantitativen Wert für zumindest einen Teil der Eigenschaftspaare darstellen, überlagert und auf dem ersten medizinischen Bild G1 oder dem zweiten medizinischen Bild G2 angezeigt werden. 11 ist eine Ansicht, die einen Anzeigebildschirm zeigt, bei dem Informationen, die den quantitativen Wert darstellen, überlagert und auf einem medizinischen Bild angezeigt werden. Wie in 11 gezeigt, wird ein neu aufgenommenes erstes medizinisches Bild G1 auf einem Anzeigebildschirm 55 angezeigt, und Farben, die der Größe der quantitativen Werte entsprechen, werden den Bereichen zugewiesen, die Pixel mit Werten als den quantitativen Wert aus den Eigenschaftspaaren für jedes Pixel des Lungenfeldbereichs H1 des ersten medizinischen Bildes G1 enthalten. Beispielsweise kann ein Verhältnis von 0 % ungefärbt sein, einem Verhältnis von 0 % bis 5 % kann eine gelbe Farbe zugewiesen werden, einem Verhältnis von 5 % bis 20 % kann eine orange Farbe zugewiesen werden und einem Verhältnis von mehr als 20 % kann eine rote Farbe zugewiesen werden. In 11 wird ein Unterschied zwischen den Farben durch einen Unterschied in Schraffur dargestellt.
-
Ferner kann bei der vorstehenden Ausführungsform die Ableitungseinheit 24 für quantitative Werte den Betrag von Änderung pro kurze Zeit in dem Verhältnis des Eigenschaftspaars als den quantitativen Wert durch Dividieren des abgeleiteten Verhältnisses durch eine Differenz in Erfassungszeit zwischen dem ersten medizinischen Bild G1 und dem zweiten medizinischen Bild G2 ableiten. Beispielsweise kann in einem Fall, bei dem der Unterschied in Erfassungszeit zwischen dem ersten medizinischen Bild G1 und dem zweiten medizinischen Bild G2 3 Monate beträgt, die Ableitungseinheit 24 für quantitative Werte den Betrag von Änderung des Verhältnisses des Eigenschaftspaares pro Monat ableiten, indem sie das abgeleitete Verhältnis durch 3 teilt.
-
Ferner sind bei der obigen Ausführungsform alle Eigenschaftspaare enthalten und werden in der Liste 51 angezeigt, aber die vorliegende Offenbarung ist nicht darauf beschränkt. Nur das Eigenschaftspaar, das die Eigenschaftsänderung darstellt, bei der sich das Symptom verschlechtert hat, kann in der Liste angezeigt werden, nur das Eigenschaftspaar, das die Eigenschaftsänderung darstellt, bei der sich das Symptom verbessert hat, kann in der Liste angezeigt werden, oder nur das Eigenschaftspaar, das darstellt, dass es keine Änderung des Symptoms gibt, kann in der Liste angezeigt werden. Alternativ können das Eigenschaftspaar, das die Eigenschaftsänderung darstellt, bei der sich das Symptom verschlechtert hat, das Eigenschaftspaar, das die Eigenschaftsänderung darstellt, bei der sich das Symptom verbessert hat, und das Eigenschaftspaar, das darstellt, dass es keine Änderung des Symptoms gibt, in umschaltbarer Weise angezeigt werden.
-
Ferner können bei der obigen Ausführungsform die quantitativen Werte in absteigender Reihenfolge der quantitativen Werte der Eigenschaftspaare angezeigt werden. 12 ist eine Ansicht, die einen Anzeigebildschirm zeigt, bei dem die Eigenschaftspaare geordnet und in absteigender Reihenfolge der quantitativen Werte angezeigt werden. Wie in 12 gezeigt, werden die Eigenschaftspaare geordnet und von dem ersten Platz bis zu dem fünften Platz in absteigender Reihenfolge der quantitativen Werte auf einem Anzeigebildschirm 58 angezeigt. Damit ist es möglich, leicht zu erkennen, welches Eigenschaftspaar mehr in dem ersten und zweiten medizinischen Bild G1 und G2 vorhanden ist.
-
Ferner werden bei der obigen Ausführungsform Eigenschaftspaare für alle Bereiche der Lungenfeldbereiche H1 und H2 der ersten und zweiten medizinischen Bilder G1 und G2 abgeleitet, und die quantitativen Werte werden angezeigt, aber die vorliegende Offenbarung ist nicht darauf beschränkt. Die Lungenfeldbereiche H1 und H2 können in eine linke Lunge und eine rechte Lunge unterteilt werden. Ferner kann jede der linken und rechten Lungen in einen Oberlappen, einen Mittellappen und einen Unterlappen unterteilt werden. Alternativ kann, wie in 13 gezeigt, der Lungenfeldbereich in Innenbereiche 60Lin und 60Rin und Außenbereiche 60Lex und 60Rex für die linke Lunge bzw. die rechte Lunge unterteilt werden. Alternativ kann, wie in 14 gezeigt, der Lungenfeldbereich in drei Bereiche, in oberen, mittleren und unteren Bereich unterteilt werden. Das heißt, die linke Lunge kann in einen oberen Bereich 61LU, einen mittleren Bereich 61LM und einen unteren Bereich 61LL unterteilt werden, und die rechte Lunge kann in einen oberen Bereich 61RU, einen mittleren Bereich 61RM und einen unteren Bereich 61RL unterteilt werden. Alternativ kann der Lungenfeldbereich in einen dorsalen Bereich und einen ventralen Bereich unterteilt werden. Alternativ kann der Lungenfeldbereich in einen zentralen Bereich in der Nähe des ersten Zweigs der Bronchie und einen anderen Bereich als den zentralen Bereich unterteilt werden. Daher können die Lungenfeldbereiche H1 und H2 wie oben beschrieben in kleine Bereiche unterteilt werden, und die quantitativen Werte der Eigenschaftspaare können für jeden kleinen Bereich abgeleitet und angezeigt werden. Der Teilungsmodus ist nicht auf die obigen Modi beschränkt. Der Lungenfeldbereich kann in Kombination mit mehreren Teilungsmodi unterteilt werden. Beispielsweise kann zusätzlich zu der Teilung des Innenbereichs und des Außenbereichs die Teilung in drei Bereiche, oberen, mittleren und unteren Bereich durchgeführt werden und zusätzlich oder stattdessen kann die Teilung in den dorsalen Bereich und den ventralen Bereich durchgeführt werden.
-
Ferner leitet bei der vorstehenden Ausführungsform die Ableitungseinheit 24 für quantitative Werte das Verhältnis in zumindest Teilbereichen für jedes der Eigenschaftspaare als den quantitativen Wert ab, aber die vorliegende Offenbarung ist nicht darauf beschränkt. Das Volumen (in einem Fall von einem dreidimensionalen Bild), die Fläche (in einem Fall von einem Tomographiebild) oder die Pixelzahl kann in zumindest Teilbereichen für jedes der Eigenschaftspaare als der quantitative Wert abgeleitet werden.
-
Ferner können bei der oben beschriebenen Ausführungsform beispielsweise die folgenden verschiedenen Prozessoren als eine Hardwarestruktur einer Verarbeitungseinheit verwendet werden, die verschiedene Verarbeitungen ausführt, wie die Bilderfassungseinheit 21, die Registrierungseinheit 22, die Eigenschaftsklassifizierungseinheit 23, die Ableitungseinheit 24 für quantitative Werte und die Anzeigesteuereinheit 25. Die verschiedenen Prozessoren enthalten beispielsweise eine programmierbare logische Schaltung (programmable logic device, PLD), wie ein Field Programmable Gate Array (FPGA), das ein Prozessor mit einer nach Herstellung veränderbaren Schaltungskonfiguration ist, und eine dedizierte elektrische Schaltung, wie eine anwendungsspezifische integrierte Schaltung (ASIC), die ein Prozessor mit einer dedizierten Schaltungskonfiguration ist, die zum Durchführen eines spezifischen Prozesses entworfen wurde, zusätzlich zu der CPU, die ein Allzweckprozessor ist, der Software (Programme) ausführt, um als verschiedene Verarbeitungseinheiten wie oben beschrieben zu fungieren.
-
Eine Verarbeitungseinheit kann aus einem der verschiedenen Prozessoren bestehen oder kann aus einer Kombination aus zwei oder mehr Prozessoren mit dem gleichen Typ oder verschiedenen Typen (zum Beispiel einer Kombination aus mehreren FPGAs und einer Kombination aus einer CPU und einem FPGA) bestehen. Alternativ können die mehreren Verarbeitungseinheiten aus einem Prozessor bestehen.
-
Ein erstes Beispiel der Konfiguration, bei der die mehreren Verarbeitungseinheiten aus einem Prozessor bestehen, ist ein Aspekt, bei dem eine oder mehrere CPUs und Software kombiniert werden, um einen Prozessor zu bilden, und der Prozessor als mehrere Verarbeitungseinheiten fungiert. Ein repräsentatives Beispiel des Aspekts ist ein Computer wie ein Client und Server. Ein zweites Beispiel der Konfiguration ist ein Aspekt, bei dem ein Prozessor verwendet wird, der alle Funktionen eines Systems implementiert, das die mehreren Verarbeitungseinheiten mit einem Chip einer integrierten Schaltung (IC) enthält. Ein repräsentatives Beispiel für diesen Aspekt ist ein System-on-Chip (SoC). Wie oben beschrieben, werden als die Hardwarestruktur verschiedener Verarbeitungseinheiten einer oder mehrere der verschiedenen Prozessoren verwendet.
-
Ferner kann als die Hardwarestruktur der verschiedenen Prozessoren, weiter insbesondere eine elektrische Schaltung (Schaltkreis), bei der Schaltungselemente wie Halbleiterelemente kombiniert sind, verwendet werden.
-
Bezugszeichenliste
-
- 1
- Bildverarbeitungsgerät
- 2
- Vorrichtung zum Aufnehmen dreidimensionaler Bilder
- 3
- Bildspeicherserver
- 4
- Netzwerk
- 11
- CPU
- 12
- Speicher
- 13
- Datenspeicher
- 14
- Anzeigeeinheit
- 15
- Eingabeeinheit
- 21
- Bilderfassungseinheit
- 22
- Registrierungseinheit
- 23
- Eigenschaftsklassifizierungseinheit
- 24
- Ableitungseinheit für quantitative Werte
- 25
- Anzeigesteuereinheit
- 30
- diskriminierendes Modell
- 40
- mehrschichtiges neuronales Netzwerk
- 41
- Eingabeschicht
- 42
- Ausgabeschicht
- 50, 55, 58
- Anzeigebildschirm
- 60Rin, 60Lin
- Innenbereich
- 60Rex, 60Lex
- Außenbereich
- 61RU, 61LU
- oberer Bereich
- 61RM, 61LM
- mittlerer Bereich
- 61RL, 61LL
- unterer Bereich
- G1
- erstes medizinisches Bild
- G2
- zweites medizinisches Bild
- H1, H2
- Lungenfeldbereich
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2015167629 A [0005, 0006]
- JP 3577680 B [0005, 0006]
- JP 5661453 B [0005, 0006]
