DE102022123333A1

DE102022123333A1 - Bildverarbeitungsgerät, lernvorrichtung, bildverarbeitungsverfahren, lernverfahren, bildverarbeitungsprogramm und lernprogramm

Info

Publication number: DE102022123333A1
Application number: DE102022123333.2A
Authority: DE
Inventors: Yusuke MACHII
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2021-09-15
Filing date: 2022-09-13
Publication date: 2023-03-16
Also published as: CN115804610A; US20230081693A1; JP2023043051A

Abstract

Bereitgestellt werden ein Bildverarbeitungsgerät, eine Lernvorrichtung, ein Bildverarbeitungsverfahren, ein Lernverfahren, ein Bildverarbeitungsprogramm und ein Lernprogramm, die eine Läsion aus einem medizinischen Bild unter Verwendung eines Läsionsdetektionsmodells genau detektieren können.
Eine Lernvorrichtung enthält mindestens einen Prozessor. Der Prozessor erfasst ein zu detektierendes medizinisches Bild, erfasst Vorrichtungsidentifikationsinformationen zum Identifizieren einer Bildgebungsvorrichtung, die das zu detektierende medizinische Bild aufgenommen hat, wählt ein beliebiges von mehreren Läsionsdetektionsmodellen, die eine Läsion aus dem medizinischen Bild detektieren, auf der Grundlage der Vorrichtungsidentifikationsinformationen aus und detektiert die Läsion aus dem zu detektierenden medizinischen Bild unter Verwendung des ausgewählten Läsionsdetektionsmodells.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Offenbarung betrifft ein Bildverarbeitungsgerät, eine Lernvorrichtung, ein Bildverarbeitungsverfahren, ein Lernverfahren, ein Bildverarbeitungsprogramm und ein Lernprogramm.
2. Beschreibung des Standes der Technik
Ein Arzt oder eine ähnliche Person diagnostiziert eine Läsion eines Objekts unter Verwendung eines medizinischen Bildes, das durch Bestrahlen des Objekts mit Strahlung, Ultraschall oder dergleichen aufgenommen wurde. Als eine Technik zum Unterstützen einer Diagnose durch einen Arzt oder eine ähnliche Person ist eine Technik bekannt, die eine Läsion aus einem Röntgenbild unter Verwendung eines sogenannten Modells, das auch als ein Diskriminator oder ein Erkenner bezeichnet wird, detektiert. Zum Beispiel offenbart JP6815711B eine Technik, die mehrere Modelle aufweist und die Detektion unter Verwendung eines Modells durchführt, das dem Typ von Untersuchung, dem Fähigkeitsniveau von Auswertung durch einen Arzt oder eine ähnliche Person oder dergleichen entspricht.
ZUSAMMENFASSUNG DER ERFINDUNG
Bei der in JP6815711B offenbarten Technik kann es sein, dass die Genauigkeit des Detektierens der Läsion nicht ausreichend ist. Beispielsweise kann bei der in JP6815711B offenbarten Technik die Genauigkeit des Detektierens der Läsion aufgrund einer Schwankung in der Qualität des zu detektierenden medizinischen Bildes verringert sein.
Die vorliegende Offenbarung wurde im Hinblick auf die obigen Umstände gemacht, und eine Aufgabe der vorliegenden Offenbarung besteht darin, ein Bildverarbeitungsgerät, eine Lernvorrichtung, ein Bildverarbeitungsverfahren, ein Lernverfahren, ein Bildverarbeitungsprogramm und ein Lernprogramm bereitzustellen, die eine Läsion aus einem medizinischen Bild unter Verwendung eines Läsionsdetektionsmodells genau detektieren können.
Um die obige Aufgabe zu erfüllen, wird gemäß einem ersten Aspekt der vorliegenden Offenbarung ein Bildverarbeitungsgerät, das mindestens einen Prozessor umfasst, bereitgestellt. Der Prozessor erfasst ein zu detektierendes medizinisches Bild, erfasst Vorrichtungsidentifikationsinformationen zum Identifizieren einer Bildgebungsvorrichtung, die das zu detektierende medizinische Bild aufgenommen hat, wählt ein beliebiges von mehreren Läsionsdetektionsmodellen, die eine Läsion aus dem medizinischen Bild detektieren, auf der Grundlage der Vorrichtungsidentifikationsinformationen aus und detektiert die Läsion aus dem zu detektierenden medizinischen Bild unter Verwendung des ausgewählten Läsionsdetektionsmodells.
Gemäß einem zweiten Aspekt der vorliegenden Offenbarung können bei dem Bildverarbeitungsgerät gemäß dem ersten Aspekt die mehreren Läsionsdetektionsmodelle ein Läsionsdetektionsmodell, das einem Typ der Bildgebungsvorrichtung entspricht, und ein Allzweck-Läsionsdetektionsmodell unabhängig von dem Typ der Bildgebungsvorrichtung enthalten.
Gemäß einem dritten Aspekt der vorliegenden Offenbarung kann bei dem Bildverarbeitungsgerät gemäß dem zweiten Aspekt in einem Fall, bei dem die Vorrichtungsidentifikationsinformationen nicht erfassbar sind, der Prozessor das Allzweck-Läsionsdetektionsmodell auswählen.
Gemäß einem vierten Aspekt der vorliegenden Offenbarung kann bei dem Bildverarbeitungsgerät gemäß dem zweiten Aspekt oder dem dritten Aspekt in einem Fall, bei dem das Läsionsdetektionsmodell, das dem Typ der durch die Vorrichtungsidentifikationsinformationen identifizierten Bildgebungsvorrichtung entspricht, nicht bei den mehreren Läsionsdetektionsmodellen enthalten ist, der Prozessor das Allzweck-Läsionsdetektionsmodell auswählen.
Gemäß einem fünften Aspekt der vorliegenden Offenbarung können bei dem Bildverarbeitungsgerät gemäß einem von dem ersten bis vierten Aspekt die Vorrichtungsidentifikationsinformationen Herstelleridentifikationsinformationen zum Identifizieren eines Herstellers der Bildgebungsvorrichtung enthalten und kann der Prozessor ein beliebiges der mehreren Läsionsdetektionsmodelle auf der Grundlage der Herstelleridentifikationsinformationen auswählen.
Gemäß einem sechsten Aspekt der vorliegenden Offenbarung können bei dem Bildverarbeitungsgerät gemäß einem von dem ersten bis fünften Aspekt die Vorrichtungsidentifikationsinformationen Modellidentifikationsinformationen zum Identifizieren eines Modells der Bildgebungsvorrichtung enthalten und kann der Prozessor ein beliebiges der mehreren Läsionsdetektionsmodelle auf der Grundlage der Modellidentifikationsinformationen auswählen.
Gemäß einem siebten Aspekt der vorliegenden Offenbarung können bei dem Bildverarbeitungsgerät gemäß einem von dem ersten bis vierten Aspekt die mehreren Läsionsdetektionsmodelle mehrere Läsionsdetektionsmodelle sein, die für jede mehrerer Klassen trainiert wurden, die gemäß einer Qualität des medizinischen Bildes klassifiziert wurden, und kann der Prozessor bestimmen, in welche der mehreren Klassen das zu detektierende medizinische Bild klassifiziert wird, und ein Läsionsdetektionsmodell, das der bestimmten Klasse entspricht, aus den mehreren Läsionsdetektionsmodellen auswählen.
Darüber hinaus wird gemäß einem achten Aspekt der vorliegenden Offenbarung eine Lernvorrichtung bereitgestellt, die mindestens einen Prozessor umfasst. Der Prozessor erzeugt ein erstes Läsionsdetektionsmodell unter Verwendung eines oder mehrerer erster medizinischer Bilder, das/die von einer oder mehreren ersten Bildgebungsvorrichtungen einschließlich mindestens einer Bildgebungsvorrichtung außer einer zweiten Bildgebungsvorrichtung aufgenommen wurde/wurden, und eines korrekten Antwortetiketts, das dem ersten medizinischen Bild entspricht und das sich auf eine zu lernende Läsion bezieht, die in dem ersten medizinischen Bild enthalten ist, und trainiert erneut das erste Läsionsdetektionsmodell unter Verwendung eines oder mehrerer zweiter medizinischer Bilder, das/die von der zweiten Bildgebungsvorrichtung aufgenommen wurde/wurden, und eines korrekten Antwortetiketts, das dem zweiten medizinischen Bild entspricht und das sich auf eine zu lernende Läsion bezieht, die in dem zweiten medizinischen Bild enthalten ist, um ein zweites Läsionsdetektionsmodell für die zweite Bildgebungsvorrichtung zu erzeugen.
Gemäß einem neunten Aspekt der vorliegenden Offenbarung wird ein Bildverarbeitungsverfahren, das von einem Computer ausgeführt wird, bereitgestellt. Das Bildverarbeitungsverfahren umfasst: Erfassen eines zu detektierendes medizinisches Bildes, Erfassen von Vorrichtungsidentifikationsinformationen zum Identifizieren einer Bildgebungsvorrichtung, die das zu detektierende medizinische Bild aufgenommen hat, Auswählen eines beliebiges von mehreren Läsionsdetektionsmodellen, die eine Läsion aus dem medizinischen Bild detektieren, auf der Grundlage der Vorrichtungsidentifikationsinformationen; und Detektieren der Läsion aus dem zu detektierenden medizinischen Bild unter Verwendung des ausgewählten Läsionsdetektionsmodells.
Gemäß einem zehnten Aspekt der vorliegenden Offenbarung wird ein Lernverfahren, das von einem Computer ausgeführt wird, bereitgestellt. Das Lernverfahren umfasst: Erzeugen eines ersten Läsionsdetektionsmodells unter Verwendung eines oder mehrerer erster medizinischer Bilder, das/die von einer oder mehreren ersten Bildgebungsvorrichtungen einschließlich mindestens einer Bildgebungsvorrichtung außer einer zweiten Bildgebungsvorrichtung aufgenommen wurde/wurden, und eines korrekten Antwortetiketts, das dem ersten medizinischen Bild entspricht und sich auf eine zu lernende Läsion bezieht, die in dem ersten medizinischen Bild enthalten ist; und erneutes Trainieren des ersten Läsionsdetektionsmodells unter Verwendung eines oder mehrerer zweiter medizinischer Bilder, das/die von der zweiten Bildgebungsvorrichtung aufgenommen wurde/wurden, und eines korrekten Antwortetiketts, das dem zweiten medizinischen Bild entspricht und sich auf eine zu lernende Läsion bezieht, die in dem zweiten medizinischen Bild enthalten ist, um ein zweites Läsionsdetektionsmodell für die zweite Bildgebungsvorrichtung zu erzeugen.
Gemäß einem elften Aspekt der vorliegenden Offenbarung wird ein Bildverarbeitungsprogramm bereitgestellt, das einen Computer veranlasst, einen Prozess auszuführen, umfassend: Erfassen eines zu detektierenden medizinischen Bildes; Erfassen von Vorrichtungsidentifikationsinformationen zum Identifizieren einer Bildgebungsvorrichtung, die das zu detektierende medizinische Bild aufgenommen hat; Auswählen eines beliebigen von mehreren Läsionsdetektionsmodellen, die eine Läsion aus dem medizinischen Bild detektieren, auf der Grundlage der Vorrichtungsidentifikationsinformationen; und Detektieren der Läsion aus dem zu detektierenden medizinischen Bild unter Verwendung des ausgewählten Läsionsdetektionsmodells.
Gemäß einem zwölften Aspekt der vorliegenden Offenbarung wird ein Lernprogramm bereitgestellt, das einen Computer veranlasst, ein Läsionsdetektionsmodell zu trainieren, das eine Läsion detektiert, die in einem medizinischen Bild enthalten ist. Das Lernprogramm veranlasst den Computer, einen Prozess auszuführen, der umfasst: Erzeugen eines ersten Läsionsdetektionsmodells unter Verwendung eines oder mehrerer erster medizinischer Bilder, das/die von einer oder mehreren ersten Bildgebungsvorrichtungen einschließlich mindestens einer Bildgebungsvorrichtung außer einer zweiten Bildgebungsvorrichtung aufgenommen wurde/wurden, und eines korrekten Antwortetiketts, das dem ersten medizinischen Bild entspricht und das sich auf eine zu lernende Läsion bezieht, die in dem ersten medizinischen Bild enthalten ist; und erneutes Trainieren des ersten Läsionsdetektionsmodells unter Verwendung eines oder mehrerer zweiter medizinischer Bilder, das/die von der zweiten Bildgebungsvorrichtung aufgenommen wurde/wurden, und eines korrekten Antwortetiketts, das dem zweiten medizinischen Bild entspricht und das sich auf eine zu lernende Läsion bezieht, die in dem zweiten medizinischen Bild enthalten ist, um ein zweites Läsionsdetektionsmodell für die zweite Bildgebungsvorrichtung zu erzeugen.
Gemäß der vorliegenden Offenbarung ist es möglich, eine Läsion aus einem medizinischen Bild unter Verwendung eines Läsionsdetektionsmodells genau zu detektieren.
Figurenliste

1 ist ein Diagramm, das schematisch ein Beispiel einer Gesamtkonfiguration eines Röntgensystems gemäß einer Ausführungsform darstellt.
2 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration eines Bildverarbeitungsgeräts gemäß der Ausführungsform darstellt.
3 ist ein Diagramm, das ein Beispiel einer Trainingsdatengruppe darstellt.
4 ist ein Diagramm, das ein Beispiel einer Läsionsdetektionsmodell-Gruppe darstellt.
5 ist ein Diagramm, das ein Beispiel eines Läsionsdetektionsmodells darstellt.
6 ist ein Diagramm, das einen Faltungsprozess darstellt.
7 ist ein Diagramm, das ein Beispiel des Trainierens des Läsionsdetektionsmodells in dem Bildverarbeitungsgerät gemäß der Ausführungsform darstellt.
8 ist ein Funktionsblockdiagramm, das ein Beispiel einer Konfiguration darstellt, die sich auf eine Funktion des Erzeugens des Läsionsdetektionsmodells in dem Bildverarbeitungsgerät gemäß der Ausführungsform bezieht.
9 ist ein Flussdiagramm, das ein Beispiel des Flusses einer Lernverarbeitung durch das Bildverarbeitungsgerät gemäß der Ausführungsform darstellt.
10 ist ein Funktionsblockdiagramm, das ein Beispiel einer Konfiguration darstellt, die sich auf eine Funktion des Detektierens einer Läsion in dem Bildverarbeitungsgerät gemäß der Ausführungsform bezieht.
11 ist ein Diagramm, das ein Beispiel von Vorrichtungsidentifikationsinformationen darstellt.
12 ist ein Flussdiagramm, das ein Beispiel des Flusses von Bildverarbeitung durch das Bildverarbeitungsgerät gemäß der Ausführungsform darstellt.
13 ist ein Flussdiagramm, das ein Beispiel des Flusses eines Lernprozesses durch ein Bildverarbeitungsgerät gemäß dem Modifikationsbeispiel 1 darstellt.
14 ist ein Flussdiagramm, das ein Beispiel des Flusses eines Lernprozesses durch ein Bildverarbeitungsgerät gemäß Modifikationsbeispiel 2 darstellt.
15 ist ein Diagramm, das ein Beispiel einer Läsionsdetektionsmodell-Gruppe gemäß Modifikationsbeispiel 3-1 darstellt.
16 ist ein Funktionsblockdiagramm, das ein Beispiel einer Konfiguration darstellt, die sich auf eine Funktion des Erzeugens eines Läsionsdetektionsmodells in einem Bildverarbeitungsgerät gemäß Modifikationsbeispiel 3-1 bezieht.
17 ist ein Diagramm, das eine Klassenklassifizierung entsprechend einer Bildqualität von Trainingsdaten in Modifikationsbeispiel 3-1 darstellt.
18 ist ein Flussdiagramm, das ein Beispiel des Flusses eines Lernprozesses durch das Bildverarbeitungsgerät gemäß Modifikationsbeispiel 3-1 darstellt.
19 ist ein Flussdiagramm, das ein Beispiel des Flusses von Bildverarbeitung durch das Bildverarbeitungsgerät gemäß Modifikationsbeispiel 3-1 darstellt.
20 ist ein Flussdiagramm, das ein Beispiel des Flusses von Bildverarbeitung durch ein Bildverarbeitungsgerät gemäß Modifikationsbeispiel 3-2 darstellt.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Nachstehend wird eine Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen detailliert beschrieben. Darüber hinaus schränkt diese Ausführungsformen die vorliegende Offenbarung nicht ein. Ferner wird in der folgenden Ausführungsform ein Aspekt beschrieben, bei dem ein Röntgenbild als ein Beispiel eines medizinischen Bildes gemäß der vorliegenden Offenbarung angewandt wird und eine Mammographievorrichtung 10 als ein Beispiel einer Bildgebungsvorrichtung gemäß der vorliegenden Offenbarung angewandt wird.
Zunächst wird ein Beispiel der Gesamtkonfiguration eines Röntgensystems gemäß dieser Ausführungsform beschrieben. 1 ist ein Diagramm, das ein Beispiel der Gesamtkonfiguration eines Röntgensystems 1 gemäß dieser Ausführungsform darstellt. Wie in 1 dargestellt, umfasst das Röntgensystem 1 gemäß dieser Ausführungsform die Mammographievorrichtung 10, eine Konsole 12, ein Archivierungs- und Kommunikationssystem für Bilder (picture archiving and communication system - PACS) 14 und ein Bildverarbeitungsgerät 16. Die Konsole 12, das PACS 14 und das Bildverarbeitungsgerät 16 sind durch drahtgebundene Kommunikation oder drahtlose Kommunikation über ein Netzwerk 17 verbunden.
Zunächst wird die Mammographievorrichtung 10 gemäß dieser Ausführungsform beschrieben. 1 ist eine Seitenansicht, die ein Beispiel des äußeren Erscheinungsbildes der Mammographievorrichtung 10 gemäß dieser Ausführungsform darstellt. Darüber hinaus stellt 1 ein Beispiel des äußeren Erscheinungsbildes der Mammographievorrichtung 10 dar, wie von einer rechten Seite einer Untersuchungsperson aus gesehen.
Die Mammographievorrichtung 10 gemäß dieser Ausführungsform ist eine Vorrichtung, die unter Steuerung der Konsole 12 betrieben wird, und die eine Brust der Untersuchungsperson als ein Objekt mit von einer Strahlungsquelle 29 emittierten Strahlung R (zum Beispiel Röntgenstrahlen) bestrahlt, um ein Röntgenbild der Brust aufzunehmen. Ferner weist die Mammographievorrichtung 10 gemäß dieser Ausführungsform eine Funktion des Durchführens von Normalenbildgebung, die Bilder an einer Bestrahlungsposition aufnimmt, an der die Strahlungsquelle 29 entlang einer Normalenrichtung zu einer Detektionsfläche 20A eines Strahlungsdetektors 20 angeordnet ist, und sogenannte Tomosynthesebildgebung auf (wird weiter unten detailliert beschrieben), die Bilder aufnimmt, während sie die Strahlungsquelle 29 zu jeder von mehreren Bestrahlungspositionen bewegt.
Wie in 1 dargestellt, umfasst die Mammographievorrichtung 10 einen Bildgebungstisch 24, eine Basis 26, einen Armabschnitt 28 und eine Kompressionseinheit 32.
In dem Bildgebungstisch 24 ist der Strahlungsdetektor 20 bereitgestellt. Bei der Mammographievorrichtung 10 gemäß dieser Ausführungsform wird in einem Fall, in dem Bildgebung durchgeführt wird, die Brust der Untersuchungsperson von einem Benutzer auf einer Bildgebungsfläche 24A des Bildgebungstisches 24 positioniert.
Der Strahlungsdetektor 20 detektiert die Strahlung R, die durch die Brust transmittiert wird, die das Untersuchungsobjekt ist. Insbesondere detektiert der Strahlungsdetektor 20 die Strahlung R, die in die Brust der Untersuchungsperson und den Bildgebungstisch 24 eingedrungen ist und die die Detektionsfläche 20A des Strahlungsdetektors 20 erreicht hat, erzeugt ein Röntgenbild auf der Basis der detektierten Strahlung R und gibt Bilddaten aus, die das erzeugte Röntgenbild angeben. Bei der folgenden Beschreibung wird in einigen Fällen eine Reihe von Vorgängen von Emittieren der Strahlung R von der Strahlungsquelle 29 und von Erzeugen eines Röntgenbildes unter Verwendung des Strahlungsdetektors 20 als „Bildgebung“ bezeichnet. Der Typ des Strahlungsdetektors 20 gemäß dieser Ausführungsform ist nicht besonders eingeschränkt. Beispielsweise kann der Strahlungsdetektor 20 ein Strahlungsdetektor vom indirekten Umwandlungstyp, der die Strahlung R in Licht umwandelt und das umgewandelte Licht in Ladung umwandelt, oder ein Strahlungsdetektor vom direkten Umwandlungstyp, der die Strahlung R direkt in Ladung umwandelt, sein.
Eine Kompressionsplatte 30, die zum Komprimieren der Brust während der Bildgebung verwendet wird, ist an der Kompressionseinheit 32 angebracht, die auf dem Bildgebungstisch 24 bereitgestellt wird, und wird in einer Richtung (nachstehend als „Auf-Ab-Richtung“ bezeichnet) zu oder weg von dem Bildgebungstisch 24 durch eine Kompressionsplatten-Antriebseinheit (nicht dargestellt) bewegt, die in der Kompressionseinheit 32 bereitgestellt wird. Die Kompressionsplatte 30 wird in der Auf-Ab-Richtung bewegt, um die Brust der Untersuchungsperson zwischen dem Bildgebungstisch 24 und der Kompressionsplatte 30 zu komprimieren.
Der Armabschnitt 28 kann in Bezug auf die Basis 26 durch einen Wellenabschnitt 27 gedreht werden. Der Wellenabschnitt 27 ist an der Basis 26 befestigt, und der Wellenabschnitt 27 und der Armabschnitt 28 werden integral gedreht. Bei dem Wellenabschnitt 27 und der Kompressionseinheit 32 des Bildgebungstisches 24 sind jeweils Zahnräder vorgesehen. Die Zahnräder können zwischen einem eingerückten Zustand und einem nicht eingerückten Zustand umgeschaltet werden, um zwischen einem Zustand, in dem die Kompressionseinheit 32 des Bildgebungstisches 24 und der Wellenabschnitt 27 verbunden sind und integral gedreht werden, und einem Zustand, in dem der Wellenabschnitt 27 von dem Bildgebungstisch 24 getrennt ist und im Leerlauf läuft, umzuschalten. Darüber hinaus sind Komponenten zum Umschalten zwischen der Übertragung und Nichtübertragung von Kraft des Wellenabschnitts 27 nicht auf die Zahnräder beschränkt, und es können verschiedene mechanische Elemente verwendet werden. Der Armabschnitt 28 und der Bildgebungstisch 24 können jeweils unter Verwendung des Wellenabschnitts 27 als eine Drehachse in Bezug auf die Basis 26 relativ gedreht werden.
In einem Fall, bei dem die Tomosynthesebildgebung in der Mammographievorrichtung 10 durchgeführt wird, wird die Strahlungsquelle 29 nacheinander zu jeder von mehreren Bestrahlungspositionen mit unterschiedlichen Bestrahlungswinkeln durch die Drehung des Armabschnitts 28 bewegt. Die Strahlungsquelle 29 enthält ein Strahlungsrohr (nicht dargestellt), das die Strahlung R erzeugt, und das Strahlungsrohr wird gemäß der Bewegung der Strahlungsquelle 29 zu jeder der mehreren Bestrahlungspositionen bewegt. Darüber hinaus bedeutet der Bestrahlungswinkel der Strahlung R einen Winkel, der zwischen einer Normalen zu der Detektionsfläche 20A des Strahlungsdetektors 20 und einer Strahlungsachse gebildet wird. Die Strahlungsachse bedeutet eine Achse, die den Fokus der Strahlungsquelle 29 an jeder Bestrahlungsposition und eine voreingestellte Position, wie beispielsweise die Mitte der Detektionsfläche 20A, verbindet. Ferner wird hier angenommen, dass die Detektionsfläche 20A des Strahlungsdetektors 20 im Wesentlichen parallel zu der Bildgebungsfläche 24A ist.
Unterdessen bleibt in einem Fall, bei dem die Normalenbildgebung in der Mammographievorrichtung 10 durchgeführt wird, die Strahlungsquelle 29 an einer Bestrahlungsposition 19 (einer Bestrahlungsposition entlang der Normalenrichtung), an der der Bestrahlungswinkel 0 Grad beträgt. Die Strahlungsquelle 29 emittiert als Reaktion auf eine Anweisung von der Konsole 12 die Strahlung R, und der Strahlungsdetektor 20 nimmt ein Röntgenbild auf.
Die Mammographievorrichtung 10 und die Konsole 12 sind durch drahtgebundene Kommunikation oder drahtlose Kommunikation verbunden. Das von dem Strahlungsdetektor 20 in der Mammographievorrichtung 10 aufgenommene Röntgenbild wird an die Konsole 12 durch drahtgebundene Kommunikation oder drahtlose Kommunikation über eine Kommunikationsschnittstelleneinheit (nicht dargestellt) ausgegeben.
Wie in 1 dargestellt, umfasst die Konsole 12 gemäß dieser Ausführungsform eine Steuereinheit 40, eine Speichereinheit 42, eine Benutzerschnittstelleneinheit 44 und eine Kommunikationsschnittstelleneinheit 46.
Wie oben beschrieben, weist die Steuereinheit 40 der Konsole 12 eine Funktion des Steuerns des Aufnehmens des Röntgenbildes der Brust durch die Mammographievorrichtung 10 auf. Ein Beispiel der Steuereinheit 40 ist ein Computersystem, das eine Zentraleinheit (CPU), einen Festspeicher (ROM) und einen Arbeitsspeicher (RAM) umfasst.
Die Speichereinheit 42 weist eine Funktion des Speicherns beispielsweise von Informationen bezüglich der Erfassung eines Röntgenbildes oder des von der Mammographievorrichtung 10 erfassten Röntgenbildes auf. Die Speichereinheit 42 ist eine nichtflüchtige Speichereinheit und ist beispielsweise ein Festplattenlaufwerk (HDD) oder ein Solid-State-Laufwerk (SSD).
Die Benutzerschnittstelleneinheit 44 enthält Eingabevorrichtungen, wie beispielsweise verschiedene Tasten und Schalter, die durch einen Benutzer, wie beispielsweise einen Röntgentechniker, in Bezug auf das Aufnehmen eines Röntgenbildes betätigt werden, und Anzeigevorrichtungen, wie beispielsweise Lampen und Anzeigen, die Informationen anzeigen, die sich auf Bildgebung und die durch Bildgebung erhaltenen Röntgenbilder beziehen.
Die Kommunikationsschnittstelleneinheit 46 überträgt und empfängt verschiedene Arten von Daten, wie beispielsweise Informationen, die sich auf die Erfassung von Röntgenbildern und die Röntgenbilder beziehen, an die und von der Mammographievorrichtung 10 unter Verwendung von drahtgebundener Kommunikation oder drahtloser Kommunikation. Darüber hinaus überträgt und empfängt die Kommunikationsschnittstelleneinheit 46 verschiedene Arten von Daten, wie beispielsweise Röntgenbilder, an das und von dem PACS 14 und dem Bildverarbeitungsgerät 16 über das Netzwerk 17 unter Verwendung von drahtgebundener Kommunikation oder drahtloser Kommunikation.
Ferner umfasst, wie in 1 dargestellt, das PACS 14 gemäß dieser Ausführungsform eine Speichereinheit 50, die eine Röntgenbildgruppe 52 speichert, und eine Kommunikationsschnittstelleneinheit (nicht dargestellt). Die Röntgenbildgruppe 52 enthält beispielsweise das durch die Mammographievorrichtung 10 aufgenommene Röntgenbild, das von der Konsole 12 über die Kommunikationsschnittstelleneinheit (nicht dargestellt) erfasst wird.
Das Bildverarbeitungsgerät 16 weist eine Funktion des Trainierens eines Läsionsdetektionsmodells und eine Funktion des Detektierens einer Läsion aus einem Röntgenbild unter Verwendung des Läsionsdetektionsmodells auf, die jeweils weiter unten detailliert beschrieben werden. Das Bildverarbeitungsgerät 16 gemäß dieser Ausführungsform ist ein Beispiel eines Bildverarbeitungsgeräts und einer Lernvorrichtung gemäß der vorliegenden Offenbarung.
2 ist ein Blockdiagramm, das ein Beispiel der Konfiguration des Bildverarbeitungsgeräts 16 gemäß dieser Ausführungsform darstellt. Wie in 2 dargestellt, umfasst das Bildverarbeitungsgerät 16 gemäß dieser Ausführungsform eine Steuereinheit 60, eine Speichereinheit 62, eine Anzeigeeinheit 70, eine Bedienungseinheit 72 und eine Kommunikationsschnittstelleneinheit 74. Die Steuereinheit 60, die Speichereinheit 62, die Anzeigeeinheit 70, die Bedienungseinheit 72 und die Kommunikationsschnittstelleneinheit 74 sind über einen Bus 79, wie zum Beispiel einen Systembus oder einen Steuerbus, miteinander verbunden, so dass sie verschiedene Arten von Informationen übertragen und empfangen können.
Die Steuereinheit 60 steuert den Gesamtbetrieb des Bildverarbeitungsgeräts 16. Die Steuereinheit 60 umfasst eine CPU 60A, einen ROM 60B und einen RAM 60C. Verschiedene Programme und dergleichen, die durch die CPU 60A zur Steuerung verwendet werden, werden vorab in dem ROM 60B gespeichert. Der RAM 60C speichert vorübergehend verschiedene Arten von Daten.
Die Speichereinheit 62 ist eine nichtflüchtige Speichereinheit und ist beispielsweise ein HDD oder ein SSD. Die Speichereinheit 62 speichert verschiedene Programme, wie beispielsweise ein Lernprogramm 63A und ein Bildverarbeitungsprogramm 63B, die jeweils weiter unten detailliert beschrieben werden. Darüber hinaus speichert die Speichereinheit 62 verschiedene Arten von Informationen, wie beispielsweise eine Trainingsdatengruppe 64 und eine Läsionsdetektionsmodell-Gruppe 66. Die Läsionsdetektionsmodell-Gruppe 66 gemäß dieser Ausführungsform ist ein Beispiel für mehrere Läsionsdetektionsmodelle gemäß der vorliegenden Offenbarung.
3 stellt ein Beispiel der Trainingsdatengruppe 64 gemäß dieser Ausführungsform dar. Bei dieser Ausführungsform werden Trainingsdaten 65 für jeden Typ von Mammographievorrichtung erstellt, der Röntgenbilder aufnimmt. Beispielsweise enthält die Trainingsdatengruppe 64 gemäß dieser Ausführungsform Trainingsdaten 65₁ von Vorrichtung 1 bis Trainingsdaten 65_n von Vorrichtung n entsprechend n Typen von Mammographievorrichtungen (Vorrichtungen 1 bis n). Bei dem in 3 dargestellten Beispiel sind die Trainingsdaten 65₁ der Vorrichtung 1 Trainingsdaten 65 für die Vorrichtung 1 und sind Trainingsdaten 65₂ der Vorrichtung 2 Trainingsdaten 65 für die Vorrichtung 2, sind Trainingsdaten 65₃ der Vorrichtung 3 Trainingsdaten 65 für die Vorrichtung 3 und sind die Trainingsdaten 65_n der Vorrichtung n Trainingsdaten 65 für die Vorrichtung n. Bei dieser Ausführungsform werden in einem Fall, bei dem die Trainingsdaten 65₁ der Vorrichtung 1 bis zu den Trainingsdaten 65_n der Vorrichtung n kollektiv bezeichnet werden, ohne voneinander unterschieden zu werden, diese einfach als „Trainingsdaten 65“ bezeichnet, ohne dass sie durch Bezugszeichen 1 bis n zum Identifizieren einzelner Daten gekennzeichnet sind.
Bei dieser Ausführungsform enthalten Beispiele des „Typs“ der Mammographievorrichtung einen Typ, der durch den Hersteller der Mammographievorrichtung 10 und durch das Modell der Mammographievorrichtung klassifiziert wird. Ferner können beispielsweise in einem Fall, bei dem unterschiedliche Typen von Bildverarbeitungssoftware in den Mammographievorrichtungen oder den entsprechenden Konsolen verwendet werden, die Mammographievorrichtungen oder die entsprechenden Konsolen unterschiedliche Typen sein. Darüber hinaus können die Typen beispielsweise gemäß der Qualität der durch die Mammographievorrichtungen aufgenommenen Röntgenbilder klassifiziert werden.
Wie in 3 dargestellt, weisen die Trainingsdaten 65 mehrere Sätze aus Röntgenbildern 65A und korrekten Antwortdaten 65B auf. Die korrekten Antwortdaten 65B sind Informationen, die angeben, ob eine Läsion in der Brust, die in dem entsprechenden Röntgenbild 65A enthalten ist, normal (es ist keine Läsion aufgetreten), gutartig oder bösartig ist. Die Trainingsdaten 65 enthalten mehrere Sätze aus Röntgenbildern 65A und korrekten Antwortdaten 65B, die angeben, dass die Läsion normal ist (es ist keine Läsion aufgetreten), mehrere Sätze aus Röntgenbildern 65A und korrekten Antwortdaten 65B, die angeben, dass die Läsion gutartig ist, und mehrere Sätze aus Röntgenbildern 65A und korrekten Antwortdaten 65B, die angeben, dass die Läsion bösartig ist. Darüber hinaus stellt der Arzt bei dieser Ausführungsform als die korrekten Antwortdaten 65B ein, ob die Läsion der Brust, die in dem Röntgenbild 65A enthalten ist, normal (es ist keine Läsion aufgetreten), gutartig oder bösartig ist. Die korrekten Antwortdaten 65B gemäß dieser Ausführungsform sind ein Beispiel für ein korrektes Antwortetikett gemäß der vorliegenden Offenbarung. Ferner können ein Maskenbild und Informationen über einen Maskenbereich in dem Maskenbild als ein Beispiel für die korrekten Antwortdaten 65B verwendet werden. In diesem Fall enthalten Beispiele der Informationen über den Maskenbereich den Typ von Läsion in dem Maskenbereich, ob die Läsion bösartig oder gutartig ist, und den Malignitätsgrad.
Unterdessen stellt 4 ein Beispiel der Läsionsdetektionsmodell-Gruppe 66 gemäß dieser Ausführungsform dar. In dieser Ausführungsform wird ein Läsionsdetektionsmodell 67 für jeden Typ von Mammographievorrichtung erstellt, der Röntgenbilder aufnimmt. Beispielsweise enthält die Läsionsdetektionsmodell-Gruppe 66 gemäß dieser Ausführungsform ein Läsionsdetektionsmodell 67₁ für Vorrichtung 1 bis ein Läsionsdetektionsmodell 67_n für Vorrichtung n, die n Typen von Mammographievorrichtungen (Vorrichtungen 1 bis n) entsprechen. In dem in 4 dargestellten Beispiel ist das Läsionsdetektionsmodell 67₁ für Vorrichtung 1 ein Läsionsdetektionsmodell 67 für Vorrichtung 1, ist das Läsionsdetektionsmodell 67₂ für Vorrichtung 2 ein Läsionsdetektionsmodell 67 für Vorrichtung 2, ist das Läsionsdetektionsmodell 67₃ für Vorrichtung 3 ein Läsionsdetektionsmodell 67 für Vorrichtung 3 und ist das Läsionsdetektionsmodell 67_n für Vorrichtung n ein Läsionsdetektionsmodell 67 für Vorrichtung n.
Ferner enthält, wie in 4 dargestellt, die Läsionsdetektionsmodell-Gruppe 66 gemäß dieser Ausführungsform ein Allzweck-Läsionsdetektionsmodell 67₀. Das Allzweck-Läsionsdetektionsmodell 67₀ ist ein Läsionsdetektionsmodell 67, das im Allgemeinen für das Bild der Bildgebungsvorrichtung verwendet wird, von der keine Vorrichtungsidentifikationsinformationen erfassbar sind oder bei der das Läsionsdetektionsmodell fehlt.
Bei dieser Ausführungsform ist das Allzweck-Läsionsdetektionsmodell 67₀ ein Läsionsdetektionsmodell 67, das im Allgemeinen in einem Fall, bei dem die Vorrichtungsidentifikationsinformationen der Mammographievorrichtung, die das zu detektierende Röntgenbild aufgenommen hat, nicht erfassbar sind, oder in einem Fall, bei dem die Mammographievorrichtung keiner der Vorrichtungen 1 bis n entspricht, für die die Läsionsdetektionsmodelle erstellt werden, verwendet wird.
Bei dieser Ausführungsform werden in einem Fall, bei dem das Allzweck-Läsionsdetektionsmodell 67₀ und das Läsionsdetektionsmodell 67₁ für Vorrichtung 1 bis das Läsionsdetektionsmodell 67_n für Vorrichtung n kollektiv bezeichnet werden, ohne voneinander unterschieden zu werden, diese einfach als „Läsionsdetektionsmodelle 67“ bezeichnet, ohne dass sie durch Bezugszeichen 0 bis n zum Identifizieren der einzelnen Läsionsdetektionsmodelle gekennzeichnet sind.
Die Anzeigeeinheit 70 zeigt Röntgenbilder oder verschiedene Arten von Informationen an. Die Anzeigeeinheit 70 ist nicht besonders eingeschränkt, und es können verschiedene Anzeigen und dergleichen verwendet werden. Darüber hinaus wird die Bedienungseinheit 72 durch den Benutzer verwendet, um Anweisungen für eine Diagnose der Läsion der Brust unter Verwendung eines Röntgenbildes durch einen Arzt, verschiedene Arten von Informationen oder dergleichen einzugeben. Die Bedienungseinheit 72 ist nicht besonders eingeschränkt. Beispiele der Bedienungseinheit 72 enthalten verschiedene Schalter, ein Touch-Panel, einen Touchpen und eine Maus. Darüber hinaus können die Anzeigeeinheit 70 und die Bedienungseinheit 72 in ein Touch-Panel-Display integriert sein.
Die Kommunikationsschnittstelleneinheit 74 überträgt und empfängt verschiedene Arten von Informationen an die und von der Konsole 12 und an das und von dem PACS 14 über das Netzwerk 17 unter Verwendung von drahtloser Kommunikation oder drahtgebundener Kommunikation.
Eine Funktion des Detektierens einer Läsion aus einem Röntgenbild unter Verwendung des Läsionsdetektionsmodells 67 in dem Bildverarbeitungsgerät 16 gemäß dieser Ausführungsform wird beschrieben. Zunächst wird das Läsionsdetektionsmodell 67 in dem Bildverarbeitungsgerät 16 gemäß dieser Ausführungsform beschrieben. Beispielsweise detektiert das Läsionsdetektionsmodell 67 gemäß dieser Ausführungsform, ob die Läsion der Brust normal (es ist keine Läsion aufgetreten), gutartig oder bösartig ist, aus dem Röntgenbild, das die Brust enthält.
Beispielsweise wird bei dieser Ausführungsform ein neuronales Faltungsnetzwerk (convolutional neural network - CNN), das maschinellem Lernen durch tiefes Lernen unter Verwendung der Trainingsdatengruppe 64 unterzogen wurde, als das Läsionsdetektionsmodell 67 verwendet. 5 stellt ein Beispiel des Läsionsdetektionsmodells 67 gemäß dieser Ausführungsform dar.
Das in 5 dargestellte Läsionsdetektionsmodell 67 umfasst eine Eingabeschicht 200, eine mittlere Schicht 201, eine flache Schicht 210 und eine Ausgabeschicht 212. Ein zu verarbeitendes Bild (bei dieser Ausführungsform ein Röntgenbild) wird in die Eingabeschicht 200 eingegeben. Die Eingabeschicht 200 überträgt Informationen jedes Pixels (aller Pixel) des zu verarbeitenden Eingabebildes ohne jegliche Änderung an die mittlere Schicht 201. Beispielsweise ist in einem Fall, bei dem das zu verarbeitende Bild eine Größe von 28 Pixel × 28 Pixel aufweist und Graustufendaten ist, die Größe der von der Eingabeschicht 200 an die mittlere Schicht 201 übertragenen Daten 28 × 28 × 1 = 784.
Die mittlere Schicht 201 enthält Faltungsschichten 202 und 206, die einen Faltungsprozess (conv) durchführen, und Pooling-Schichten 204 und 208, die einen Pooling-Prozess (pool) durchführen.
Der durch die Faltungsschichten 202 und 206 durchgeführte Faltungsprozess wird unter Bezugnahme auf 6 beschrieben. Wie in 6 dargestellt, wird bei dem Faltungsprozess in einem Fall, bei dem ein Pixelwert Ip(x, y) eines Pixels von Interesse Ip in Eingabedaten DI „e“ ist, die Pixelwerte der umgebenden benachbarten Pixel „a“ bis „d“ und „f” bis „i“ sind und Koeffizienten eines 3×3-Filters F „r“ bis „z“ sind, ein Pixelwert Icp(x, y) eines Pixels Icp in Ausgabedaten DIc, die das Ergebnis eines Faltungsvorgangs für das Pixel von Interesse Ip sind, beispielsweise gemäß dem folgenden Ausdruck (1) erhalten. Darüber hinaus entspricht der Koeffizient des Filters F einer Gewichtung, die die Stärke der Verbindung zwischen Knoten der vorherigen und der nächsten Schicht angibt. $Icp (x,y) = a \times z + b \times y + c \times x + d \times w + e \times v + f \times u + g \times t + h \times s + i \times r$
Bei dem Faltungsprozess wird der oben erwähnte Faltungsvorgang für jedes Pixel durchgeführt und wird der Pixelwert Icp(x, y) ausgegeben, der jedem Pixel von Interesse Ip entspricht. Auf diese Weise werden die Ausgabedaten DIc, die die Pixelwerte Icp(x, y), die zweidimensional angeordnet sind, aufweisen, ausgegeben. Ein Ausgabedatenelement Die wird für ein Filter F ausgegeben. In einem Fall, bei dem mehrere Filter F unterschiedlicher Typen verwendet werden, werden die Ausgabedaten Die für jedes Filter F ausgegeben. Das Filter F bedeutet ein Neuron (einen Knoten) der Faltungsschicht, und die Merkmale, die extrahiert werden können, werden für jedes Filter F bestimmt. Daher ist die Anzahl an Merkmalen, die aus einem Eingabedatenelement DI in der Faltungsschicht extrahiert werden können, die Anzahl an Filtern F.
Ferner wird in den Pooling-Schichten 204 und 208 ein Pooling-Prozess durchgeführt, der das Originalbild verringert, während die Merkmale beibehalten werden. Mit anderen Worten wird in den Pooling-Schichten 204 und 208 ein Pooling-Prozess durchgeführt, der einen lokalen repräsentativen Wert auswählt und die Auflösung des Eingabebildes verringert, um die Größe des Bildes zu verringern. Beispielsweise wird in einem Fall, bei dem der Pooling-Prozess des Auswählens eines repräsentativen Werts aus einem Block von 2 × 2 Pixeln mit einer Schrittweite von „1“, d.h. durch Verschieben der Pixel eins nach dem anderen, durchgeführt wird, ein verringertes Bild durch Verringern der Größe des Eingabebildes um die Hälfte ausgegeben.
Bei dieser Ausführungsform sind, wie in 5 dargestellt, die Faltungsschichten 202 und 206 und die Pooling-Schichten 204 und 208 in der Reihenfolge der Faltungsschicht 202, der Pooling-Schicht 204, der Faltungsschicht 206 und der Pooling-Schicht 208 von der Seite, die der Eingabeschicht 200 am nächsten liegt, angeordnet.
Wie in 5 dargestellt, wendet die Faltungsschicht 202 ein 3×3-Filter F1 auf das eingegebene (übertragene) Bild an, um den oben erwähnten Faltungsvorgang durchzuführen, und gibt eine Bildmerkmalskarte cmp1 aus, aus der die Merkmale des Eingabebildes extrahiert wurden und in denen Pixelwerte zweidimensional angeordnet sind. Wie oben beschrieben, entspricht die Anzahl an Bildmerkmalskarten cmp1 dem Typ des Filters F1.
Die Pooling-Schicht 204 führt den Pooling-Prozess des Auswählens eines repräsentativen Werts aus einem Block von 2 × 2 Pixeln für die Bildmerkmalskarte cmp1 durch, um die Größe der Bildmerkmalskarte cmp1 auf 1/4 zu verringern (die vertikalen und horizontalen Größen werden auf 1/2 verringert), und gibt mehrere Bildmerkmalskarten cmp2 aus.
Ähnlich wie die Faltungsschicht 202 wendet die Faltungsschicht 206 ein 3 × 3-Filter F2 an, um den oben erwähnten Faltungsvorgang durchzuführen, und gibt mehrere Bildmerkmalskarten cmp3 aus, aus denen die Merkmale der Eingabebildmerkmalskarten cmp2 extrahiert wurden und in denen Pixelwerte zweidimensional angeordnet sind.
Ähnlich wie die Pooling-Schicht 204 führt die Pooling-Schicht 208 den Pooling-Prozess des Auswählens eines repräsentativen Werts aus einem Block von 2 × 2 Pixeln für die Bildmerkmalskarte cmp3 durch, um die Größe der Bildmerkmalskarte cmp3 auf 1/4 zu verringern (die vertikalen und horizontalen Größen werden auf 1/2 verringert), und gibt mehrere Bildmerkmalskarten cmp4 aus.
Die flache Schicht 210 nach der mittleren Schicht 201 ordnet Daten in einem Zustand neu an, in dem der numerische Wert der Daten als die Bildmerkmalskarte cmp4 beibehalten wird. Beispielsweise ordnet, wie in 5 dargestellt, die flache Schicht 210 dreidimensionale Daten, die durch mehrere Bildmerkmalskarten cmp4 angegeben werden, als eindimensionale Daten neu an. Wie in 5 dargestellt, entspricht der Wert jedes Knotens 211, der in der flachen Schicht 210 enthalten ist, dem Pixelwert jedes Pixels der mehreren Bildmerkmalskarten cmp4.
Die Ausgabeschicht 212 ist eine vollständig verbundene Schicht, mit der sämtliche der Knoten 211 verbunden sind, und enthält einen Knoten 213A, der der Detektion entspricht, dass keine Läsion aufgetreten ist, d.h., die Läsion normal ist, einen Knoten 213B, der der Detektion entspricht, dass die Läsion gutartig ist, und einen Knoten 213C, der der Detektion entspricht, dass die Läsion bösartig ist. Die Ausgabeschicht 212 gibt eine Wahrscheinlichkeit, die der Detektion entspricht, dass die Läsion normal ist, was dem Knoten 213A entspricht, eine Wahrscheinlichkeit, die der Detektion entspricht, dass die Läsion gutartig ist, was dem Knoten 213B entspricht, und eine Wahrscheinlichkeit, die der Detektion entspricht, dass die Läsion bösartig ist, was dem Knoten 213C entspricht, unter Verwendung einer Softmax-Funktion aus, die ein Beispiel einer Aktivierungsfunktion ist.
Das Läsionsdetektionsmodell 67 gibt ein Detektionsergebnis, das angibt, dass die Läsion normal ist, in einem Fall aus, bei dem die Wahrscheinlichkeit des Knotens 213A höher ist als die Wahrscheinlichkeit sowohl des Knotens 213B als auch des Knotens 213C in der Ausgabeschicht 212. Andererseits gibt das Läsionsdetektionsmodell 67 ein Detektionsergebnis, das angibt, dass die Läsion gutartig ist, in einem Fall aus, bei dem die Wahrscheinlichkeit des Knotens 213B höher ist als die Wahrscheinlichkeit sowohl des Knotens 213A als auch des Knotens 213C in der Ausgabeschicht 212. Ferner gibt das Läsionsdetektionsmodell 67 ein Detektionsergebnis, das angibt, dass die Läsion bösartig ist, in einem Fall aus, bei dem die Wahrscheinlichkeit des Knotens 213C gleich oder höher als die Wahrscheinlichkeit sowohl des Knotens 213A als auch des Knotens 213B in der Ausgabeschicht 212 ist.
Das Bildverarbeitungsgerät 16 führt maschinelles Lernen an dem Modell für maschinelles Lernen unter Verwendung der Trainingsdatengruppe 64 durch, um das Läsionsdetektionsmodell 67 gemäß dieser Ausführungsform zu erzeugen. Ein Beispiel einer Lernphase, in der das Bildverarbeitungsgerät 16 maschinelles Lernen an dem Läsionsdetektionsmodell 67 durchführt, wird unter Bezugnahme auf 7 beschrieben.
Wie oben beschrieben, sind die Trainingsdaten 65 aus einem Satz aus dem Röntgenbild 65A und den korrekten Antwortdaten 65B aufgebaut (siehe 3). Bei dieser Ausführungsform wird maschinelles Lernen an dem Läsionsdetektionsmodell 67 unter Verwendung eines Rückpropagierungsverfahrens durchgeführt.
In der Lernphase wird das Röntgenbild 65A in das Läsionsdetektionsmodell 67 eingegeben. Darüber hinaus kann das Röntgenbild 65A in mehrere Stapel (Bildern) unterteilt werden und können die unterteilten Stapel nacheinander in das Läsionsdetektionsmodell 67 zum Trainieren eingegeben werden.
Das Läsionsdetektionsmodell 67 gibt jeden der Werte der Knoten 213A bis 213C, die in der Ausgabeschicht 212 des Läsionsdetektionsmodells 67 enthalten sind, als das Detektionsergebnis aus, das sich auf die Läsion der Brust bezieht, die in dem Röntgenbild 65A enthalten ist.
In einem Fall, bei dem die in das Läsionsdetektionsmodell 67 eingegebenen korrekten Antwortdaten 65B für das Röntgenbild 65A „normal“ sind, muss der Wert des Knotens 213A „1“ sein und müssen die Werte des Knotens 213B und des Knotens 213C „0“ sein. Ferner müssen in einem Fall, in dem die in das Läsionsdetektionsmodell 67 eingegebenen korrekten Antwortdaten 65B für das Röntgenbild 65A „gutartig“ sind, die Werte des Knotens 213A und des Knotens 213C „0“ sein und muss der Wert des Knotens 213B „1“ sein. Darüber hinaus müssen in einem Fall, bei dem die in das Läsionsdetektionsmodell 67 eingegebenen korrekten Antwortdaten 65B für das Röntgenbild 65A „bösartig“ sind, die Werte des Knotens 213A und des Knotens 213B „0“ sein und muss der Wert des Knotens 213C „1“ sein.
Daher wird der Unterschied (Fehler) zwischen den Werten der Knoten 213Abis 213C, die von dem Läsionsdetektionsmodell 67 ausgegeben werden, und den durch die Knoten 213A bis 213C anzunehmenden Werten entsprechend den korrekten Antwortdaten 65B berechnet. Der Fehler entspricht einer Verlustfunktion. Dann werden eine Aktualisierungseinstellung der Gewichtung für jedes Neuron und eine Aktualisierungseinstellung der Gewichtung, die die Stärke der Verbindung zwischen den Knoten der vorherigen und der nächsten Schicht angibt, was der Koeffizient jedes Filters F ist, durchgeführt, um den Fehler von der Ausgabeschicht 212 zu der Eingabeschicht 200 unter Verwendung eines Fehlerrückführungsverfahrens gemäß dem Fehler zu verringern, und wird das Läsionsdetektionsmodell 67 gemäß den Aktualisierungseinstellungen aktualisiert.
In der Lernphase wird eine Reihe von Prozessen der Eingabe des Röntgenbildes 65A der Trainingsdaten 65 in das Läsionsdetektionsmodell 67, der Ausgabe jedes der Werte der Knoten 213A bis 213C, die in der Ausgabeschicht 212 enthalten sind, aus dem Läsionsdetektionsmodell 67, der Berechnung des Fehlers auf der Grundlage jedes der Werte der Knoten 213A bis 213C und der korrekten Antwortdaten 65B, der Aktualisierungseinstellung der Gewichtung und der Aktualisierung des Läsionsdetektionsmodells 67 wiederholt durchgeführt.
Bei dieser Ausführungsform wird zunächst das Allzweck-Läsionsdetektionsmodell 67₀ unter Verwendung sämtlicher der Trainingsdaten 65 trainiert, die in der Trainingsdatengruppe 64 enthalten sind. Dann wird das Allzweck-Läsionsdetektionsmodell 67₀ unter Verwendung der Trainingsdaten 65 für jede der Host-Vorrichtungen 1 bis n neu trainiert, um das Läsionsdetektionsmodell 67 für jede Host-Vorrichtung zu erzeugen. Beispielsweise wird das Allzweck-Läsionsdetektionsmodell 67₀ unter Verwendung der Trainingsdaten 65₁ von Vorrichtung 1 neu trainiert, um das Läsionsdetektionsmodell 67₁ für Vorrichtung 1 zu erzeugen.
8 ist ein Funktionsblockdiagramm, das ein Beispiel einer Konfiguration darstellt, die sich auf eine Funktion des Erzeugens des Läsionsdetektionsmodells 67 in dem Bildverarbeitungsgerät 16 gemäß dieser Ausführungsform bezieht. Wie in 8 dargestellt, umfasst das Bildverarbeitungsgerät 16 eine Trainingsdaten-Erfassungseinheit 90 und eine Läsionsdetektionsmodell-Erzeugungseinheit 92. Beispielsweise führt in der Bildverarbeitungsgerät 16 gemäß dieser Ausführungsform die CPU 60A der Steuereinheit 60 das in der Speichereinheit 62 gespeicherte Lernprogramm 63A aus, um als die Trainingsdaten-Erfassungseinheit 90 und als die Läsionsdetektionsmodell-Erzeugungseinheit 92 zu fungieren.
Die Trainingsdaten-Erfassungseinheit 90 weist eine Funktion des Erfassens der Trainingsdaten 65, die dem zu trainierenden Läsionsdetektionsmodell 67 entsprechen, aus der in der Speichereinheit 62 gespeicherten Trainingsdatengruppe 64 auf. Die Trainingsdaten-Erfassungseinheit 90 gibt die erfassten Trainingsdaten 65 an die Läsionsdetektionsmodell-Erzeugungseinheit 92 aus.
Die Läsionsdetektionsmodell-Erzeugungseinheit 92 weist eine Funktion des Durchführens von maschinellem Lernen an dem Modell für maschinelles Lernen unter Verwendung der Trainingsdaten 65 auf, wie oben beschrieben, um das Läsionsdetektionsmodell 67 zu erzeugen, das ein Röntgenbild als eine Eingabe empfängt und das ein Detektionsergebnis ausgibt, das sich auf die Läsion der in dem Röntgenbild enthaltenen Brust bezieht. Die Läsionsdetektionsmodell-Erzeugungseinheit 92 speichert das erzeugte Läsionsdetektionsmodell 67 in der Speichereinheit 62.
Als Nächstes wird der Betrieb des Bildverarbeitungsgeräts 16 gemäß dieser Ausführungsform in der Lernphase unter Bezugnahme auf 9 beschrieben. Die CPU 60A führt das in der Speichereinheit 62 gespeicherte Lernprogramm 63A aus, so dass eine in 9 dargestellte Lernverarbeitung durchgeführt wird.
In Schritt S100 von 9 erfasst die Trainingsdaten-Erfassungseinheit 90 sämtliche der Trainingsdaten 65, die in der Trainingsdatengruppe 64 enthalten sind, von der Speichereinheit 62, wie oben beschrieben.
Dann trainiert in Schritt S102 die Läsionsdetektionsmodell-Erzeugungseinheit 92 das Allzweck-Läsionsdetektionsmodell 67₀ unter Verwendung der in Schritt S100 erfassten Trainingsdaten 65. Wie oben beschrieben, trainiert die Läsionsdetektionsmodell-Erzeugungseinheit 92 das Allzweck-Läsionsdetektionsmodell 67₀ unter Verwendung sämtlicher der Trainingsdaten 65, die in der Trainingsdatengruppe 64 enthalten sind, d.h., der Trainingsdaten 65₁ von Vorrichtung 1 bis der Trainingsdaten 65_n von Vorrichtung n. Die Läsionsdetektionsmodell-Erzeugungseinheit 92 führt wiederholt eine Reihe von Prozessen der Eingabe des Röntgenbildes 65A in das Modell für maschinelles Lernen, der Ausgabe jedes der Werte der Knoten 213A bis 213C, die in der Ausgabeschicht 212 des Modells für maschinelles Lernen enthalten sind, der Berechnung des Fehlers zwischen jedem der Werte der Knoten 213A bis 213C und den korrekten Antwortdaten 65B, der Aktualisierungseinstellung der Gewichtung und der Aktualisierung des Modells für maschinelles Lernen, um das Allzweck-Läsionsdetektionsmodell 67₀ zu trainieren. Die Läsionsdetektionsmodell-Erzeugungseinheit 92 speichert das trainierte Allzweck-Läsionsdetektionsmodell 67₀ in der Speichereinheit 62.
Die Anzahl an Sätzen der Röntgenbilder 65A und der korrekten Antwortdaten 65B, die jeweils in den Trainingsdaten 65₁ von Vorrichtung 1 bis den Trainingsdaten 65_n von Vorrichtung n enthalten sind, kann unterschiedlich sein. Daher kann die Verlustfunktion in einem Fall, bei dem das Allzweck-Läsionsdetektionsmodell 67₀ trainiert wird, gemäß der Anzahl an Sätzen aus den Röntgenbildern 65A und den korrekten Antwortdaten 65B gewichtet werden. Beispielsweise nimmt die Gewichtung zu, wenn die Anzahl an Sätzen aus den Röntgenbildern 65A und den korrekten Antwortdaten 65B abnimmt, so dass das Trainieren selbst in einem Fall ausreichend durchgeführt wird, bei dem die Anzahl an Sätzen aus den Röntgenbildern 65A und den korrekten Antwortdaten 65b, die in den Trainingsdaten 65 enthalten ist, gering ist. Insbesondere kann das Trainieren unter Verwendung des Kehrwerts der Anzahl an Sätzen aus den Röntgenbildern 65A und den korrekten Antwortdaten 65B, die in den Trainingsdaten 65 enthalten ist, als die Verlustfunktion durchgeführt werden.
Dann setzt in Schritt S104 die Läsionsdetektionsmodell-Erzeugungseinheit 92 eine Variable m zum Verwalten des zu trainierenden Läsionsdetektionsmodells 67 auf „1“ (m = 1).
Dann erfasst in Schritt S106 die Trainingsdaten-Erfassungseinheit 90 Trainingsdaten 65_m von Vorrichtung m, die in der Trainingsdatengruppe 64 enthalten sind, von der Speichereinheit 62, wie oben beschrieben. Beispielsweise erfasst in einem Fall, bei dem m 1 ist, die Trainingsdaten-Erfassungseinheit 90 die Trainingsdaten 65₁ von Vorrichtung 1.
Dann trainiert in Schritt S108 die Läsionsdetektionsmodell-Erzeugungseinheit 92 das Allzweck-Läsionsdetektionsmodell 67₀ unter Verwendung der in Schritt S106 erfassten Trainingsdaten 65_m von Vorrichtung m neu, um das Läsionsdetektionsmodell 67_m für Vorrichtung m zu trainieren. Die Läsionsdetektionsmodell-Erzeugungseinheit 92 führt wiederholt eine Reihe von Prozessen der Eingabe des Röntgenbildes 65A, das in den Trainingsdaten 65_m von Vorrichtung m enthalten ist, in das Allzweck-Läsionsdetektionsmodell 67₀, der Ausgabe jedes der Werte der Knoten 213A bis 213C, die in der Ausgabeschicht 212 des Allzweck-Läsionsdetektionsmodells 67₀ enthalten sind, der Berechnung des Fehlers zwischen jedem der Werte der Knoten 213A bis 213C und den korrekten Antwortdaten 65B, der Aktualisierungseinstellung der Gewichtung und der Aktualisierung des Allzweck-Läsionsdetektionsmodells 67₀ durch, um das Allzweck-Läsionsdetektionsmodell 67₀ neu zu trainieren, wodurch das Läsionsdetektionsmodell 67_m für Vorrichtung m trainiert wird. Beispielsweise führt die Läsionsdetektionsmodell-Erzeugungseinheit 92 wiederholt eine Reihe von Prozessen der Eingabe des Röntgenbildes 65A, das in den Trainingsdaten 65₁ von Vorrichtung 1 enthalten ist, in das Allzweck-Läsionsdetektionsmodell 67₀, der Berechnung des Fehlers zwischen jedem der Werte der Knoten 213A bis 213C des Allzweck-Läsionsdetektionsmodells 67₀ und der korrekten Antwortdaten 65B, der Aktualisierungseinstellung der Gewichtung, der Aktualisierung des Allzweck-Läsionsdetektionsmodells 67₀ und dergleichen durch, um das Allzweck-Läsionsdetektionsmodell 67₀ neu zu trainieren, wodurch das Läsionsdetektionsmodell 67₁ für Vorrichtung 1 trainiert wird.
Die Läsionsdetektionsmodell-Erzeugungseinheit 92 speichert das trainierte Läsionsdetektionsmodell 67_m für Vorrichtung m in der Speichereinheit 62.
Dann bestimmt in Schritt S110 die Läsionsdetektionsmodell-Erzeugungseinheit 92, ob die Variable m gleich der Anzahl an Typen von Mammographievorrichtungen (bei dieser Ausführungsform „n“) (m = n) ist oder nicht. Das heißt, es wird bestimmt, ob die Läsionsdetektionsmodelle 67 entsprechend sämtlichen der Typen von Mammographievorrichtungen 1 bis n erzeugt worden sind oder nicht. In einem Fall, bei dem die Variable m nicht gleich n ist, d.h. in einem Fall, bei dem eine Mammographievorrichtung vorhanden ist, für die das Läsionsdetektionsmodell 67 noch nicht erzeugt wurde, ist das Bestimmungsergebnis in Schritt S110 „Nein“ und fährt der Prozess mit Schritt S112 fort.
In Schritt S112 addiert die Läsionsdetektionsmodell-Erzeugungseinheit 92 „1“ zu der Variable m (m = m + 1), kehrt zu Schritt S106 zurück und wiederholt die Prozesse in den Schritten S106 bis S110.
Andererseits ist in einem Fall, bei dem die Variable m gleich n ist, d.h. in einem Fall, bei dem die Läsionsdetektionsmodelle 67 entsprechend sämtlichen der Typen von Mammographievorrichtungen erzeugt wurden, das Bestimmungsergebnis in Schritt S110 „Ja“ und endet der in 9 dargestellte Lernprozess.
Darüber hinaus sind die Vorrichtungen 1 bis n in dem Lernprozess gemäß dieser Ausführungsform ein Beispiel einer ersten Bildgebungsvorrichtung gemäß der vorliegenden Offenbarung und ist die Vorrichtung m in dem Lernprozess gemäß dieser Ausführungsform ein Beispiel einer zweiten Bildgebungsvorrichtung gemäß der vorliegenden Offenbarung. Ferner ist das Allzweck-Läsionsdetektionsmodell 67 in dem Lernprozess gemäß dieser Ausführungsform ein Beispiel eines ersten Läsionsdetektionsmodells gemäß der vorliegenden Offenbarung und ist das Läsionsdetektionsmodell 67_m für Vorrichtung m in dem Lernprozess gemäß dieser Ausführungsform ein Beispiel eines zweiten Läsionsdetektionsmodells gemäß der vorliegenden Offenbarung.
Die Läsionsdetektionsmodell-Gruppe 66, die mehrere Läsionsdetektionsmodelle 67 enthält, die durch die Lernphase des Bildverarbeitungsgeräts 16 erzeugt wurden, wie oben beschrieben, wird in einer Betriebsphase verwendet, in der das Bildverarbeitungsgerät 16 Läsionen aus Röntgenbildern detektiert. Die Funktion des Detektierens von Läsionen aus den Röntgenbildern in dem Bildverarbeitungsgerät 16 gemäß dieser Ausführungsform wird detailliert beschrieben.
10 ist ein Funktionsblockdiagramm, das ein Beispiel einer Konfiguration darstellt, die sich auf eine Funktion des Detektierens einer Läsion in dem Bildverarbeitungsgerät 16 bezieht. Wie in 10 dargestellt, umfasst das Bildverarbeitungsgerät 16 eine Erfassungseinheit 80, eine Modellauswahleinheit 82, eine Detektionseinheit 84 und eine Anzeigesteuereinheit 86. Beispielsweise führt in dem Bildverarbeitungsgerät 16 gemäß dieser Ausführungsform die CPU 60A der Steuereinheit 60 das in der Speichereinheit 62 gespeicherte Bildverarbeitungsprogramm 63B aus, um als die Erfassungseinheit 80, die Modellauswahleinheit 82, die Detektionseinheit 84 und die Anzeigesteuereinheit 86 zu fungieren.
Die Erfassungseinheit 80 weist eine Funktion des Erfassens des zu detektierenden Röntgenbildes auf. Die Erfassungseinheit 80 erfasst ein gewünschtes Röntgenbild von der Konsole 12 der Mammographievorrichtung 10 oder von dem PACS 14 beispielsweise auf der Grundlage einer Bildauswertungsanweisung von dem Arzt. Dann gibt die Erfassungseinheit 80 das erfasste Röntgenbild an die Modellauswahleinheit 82 aus.
Die Modellauswahleinheit 82 weist eine Funktion des Erfassens von Vorrichtungsidentifikationsinformationen zum Identifizieren der Mammographievorrichtung 10, die das durch die Erfassungseinheit 80 erfasste Röntgenbild aufgenommen hat, und des Auswählens eines beliebigen der Läsionsdetektionsmodelle 67 aus der Läsionsdetektionsmodell-Gruppe 66 auf der Grundlage der Vorrichtungsidentifikationsinformationen auf. Insbesondere identifiziert die Modellauswahleinheit 82 gemäß dieser Ausführungsform, welchem der Typen der Vorrichtungen 1 bis n die Mammographievorrichtung, die das zu detektierende Röntgenbild aufgenommen hat, entspricht, auf der Grundlage der Vorrichtungsidentifikationsinformationen und wählt das Läsionsdetektionsmodell 67, das dem identifizierten Typ entspricht, aus der Läsionsdetektionsmodell-Gruppe 66 aus.
11 stellt ein Beispiel von Vorrichtungsidentifikationsinformationen 68 gemäß dieser Ausführungsform dar. Die Vorrichtungsidentifikationsinformationen 68 sind Identifikationsinformationen zum Identifizieren der Mammographievorrichtung, die das Röntgenbild aufgenommen hat. Die Vorrichtungsidentifikationsinformationen 68 gemäß dieser Ausführungsform enthalten Herstelleridentifikationsinformationen 69A und Modellidentifikationsinformationen 69B. Die Herstelleridentifikationsinformationen 69A sind Informationen zum Identifizieren des Herstellers der Mammographievorrichtung und sind beispielsweise eine F-Firma oder eine G-Firma. Darüber hinaus sind die durch die Herstelleridentifikationsinformationen 69A angegebenen Informationen nicht auf den Hersteller der Mammographievorrichtung beschränkt und können zusätzlich zu dem Hersteller der Mammographievorrichtung oder anstelle des Herstellers der Mammographievorrichtung der Hersteller des Strahlungsdetektors 20 oder der Hersteller der entsprechenden Konsole 12 sein. Ferner sind die Modellidentifikationsinformationen 69B Informationen zum Identifizieren des Modells der Mammographievorrichtung und sind beispielsweise die Modellnummer oder Identifikationsnummer der Mammographievorrichtung. Selbst in einem Fall, bei dem die Hersteller der Mammographievorrichtungen die gleichen sind, kann die Qualität des durch Bildgebung erhaltenen Röntgenbildes je nach Modell unterschiedlich sein. Da beispielsweise je nach Modell ein Unterschied in Helligkeit, Kontrast oder Auflösung zwischen den durch Bildgebung erhaltenen Röntgenbildern und ein dazwischen zu verstärkender Frequenzunterschied besteht, kann die Qualität des Röntgenbildes unterschiedlich sein. Daher werden bei dieser Ausführungsform selbst in einem Fall, bei dem die Modelle der Mammographievorrichtungen unterschiedlich sind, die Typen der Mammographievorrichtungen als unterschiedlich angesehen.
Darüber hinaus ist das Verfahren, durch das die Modellauswahleinheit 82 die Vorrichtungsidentifikationsinformationen 68 erfasst, nicht eingeschränkt. Beispielsweise kann in einem Fall, bei dem die Vorrichtungsidentifikationsinformationen 68 dem durch die Erfassungseinheit 80 erfassten Röntgenbild zugeordnet sind, die Modellauswahleinheit 82 die dem Röntgenbild zugeordneten Vorrichtungsidentifikationsinformationen 68 erfassen. Ferner kann die Modellauswahleinheit 82 beispielsweise eine Anfrage an die Erfassungszielvorrichtung (die Mammographievorrichtung 10 oder dergleichen) senden, von der die Erfassungseinheit 80 das Röntgenbild erfasst hat, um die Vorrichtungsidentifikationsinformationen 68 von der Erfassungszielvorrichtung zu erfassen.
Die Modellauswahleinheit 82 gibt das Röntgenbild und das ausgewählte Läsionsdetektionsmodell 67 an die Detektionseinheit 84 aus.
Die Detektionseinheit 84 weist eine Funktion des Detektierens, ob die Läsion der Brust nicht aufgetreten ist (normal), bösartig oder gutartig ist, unter Verwendung des Läsionsdetektionsmodells 67 auf. Die Detektionseinheit 84 gibt das durch die Erfassungseinheit 80 erfasste Röntgenbild in das Läsionsdetektionsmodell 67 ein. Wie oben beschrieben, gibt das Läsionsdetektionsmodell 67 als das Detektionsergebnis Informationen aus, die angeben, dass die Läsion normal ist (es ist keine Läsion aufgetreten), die Läsion gutartig ist oder die Läsion bösartig ist. Die Detektionseinheit 84 gibt das Detektionsergebnis an die Anzeigesteuereinheit 86 aus.
Die Anzeigesteuereinheit 86 weist eine Funktion des Durchführens einer Steuerung zum Anzeigen der Informationen, die das durch die Detektionseinheit 84 erhaltene Detektionsergebnis angeben, auf der Anzeigeeinheit 70 auf.
Als Nächstes wird der Vorgang des Detektierens einer Läsion in dem Bildverarbeitungsgerät 16 gemäß dieser Ausführungsform unter Bezugnahme auf 12 beschrieben. Die CPU 60A führt das in der Speichereinheit 62 gespeicherte Bildverarbeitungsprogramm 63B aus, so dass eine in 12 dargestellte Bildverarbeitung durchgeführt wird.
In Schritt S200 von 12 erfasst die Erfassungseinheit 80 das zu detektierende Röntgenbild von der Konsole 12 der Mammographievorrichtung 10 oder von dem PACS 14, wie oben beschrieben.
Dann bestimmt die Modellauswahleinheit 82 in Schritt S202, ob die Vorrichtungsidentifikationsinformationen 68 zum Identifizieren der Mammographievorrichtung, die das in Schritt S200 erfasste Röntgenbild aufgenommen hat, erfassbar sind oder nicht. In einem Fall, bei dem die Vorrichtungsidentifikationsinformationen 68 nicht erfassbar sind, d.h. in einem Fall, bei dem die Mammographievorrichtung, die das zu detektierende Röntgenbild aufgenommen hat, unbekannt ist, ist das Bestimmungsergebnis in Schritt S202 „Nein“ und fährt der Prozess mit Schritt S208 fort. Andererseits ist in einem Fall, bei dem die Vorrichtungsidentifikationsinformationen 68 erfassbar sind, das Bestimmungsergebnis in Schritt S202 „Ja“ und fährt der Prozess mit Schritt S204 fort.
Dann bestimmt die Modellauswahleinheit 82 in Schritt S204, ob ein Läsionsdetektionsmodell 67 vorhanden ist oder nicht, das dem Typ der Mammographievorrichtung entspricht, die das in Schritt S200 erfasste Röntgenbild aufgenommen hat, auf der Grundlage der Vorrichtungsidentifikationsinformationen 68. Bei dieser Ausführungsform wird in einem Fall, bei dem der durch die Vorrichtungsidentifikationsinformationen 68 angegebene Typ der Mammographievorrichtung keiner der Vorrichtungen 1 bis n entspricht, bestimmt, dass das Läsionsdetektionsmodell 67 für die Mammographievorrichtung nicht in der Läsionsdetektionsmodell-Gruppe 66 enthalten ist. Darüber hinaus werden bei dieser Ausführungsform beispielsweise Korrespondenzbeziehungsinformationen (nicht dargestellt), die eine Korrespondenzbeziehung zwischen den Herstelleridentifikationsinformationen 69A und den Modellidentifikationsinformationen 69B und den Vorrichtungen 1 bis n angeben, in der Speichereinheit 62 gespeichert und bestimmt die Modellauswahleinheit 82, welcher der Vorrichtungen 1 bis n der Typ der Mammographievorrichtung entspricht, der durch die Vorrichtungsidentifikationsinformationen 68 angegeben ist.
In einem Fall, bei dem das Läsionsdetektionsmodell 67 nicht in der Läsionsdetektionsmodell-Gruppe 66 enthalten ist, wie oben beschrieben, ist das Bestimmungsergebnis in Schritt S204 „Nein“ und fährt der Prozess mit Schritt S208 fort. Andererseits ist in einem Fall, bei dem das Läsionsdetektionsmodell 67 in der Läsionsdetektionsmodell-Gruppe 66 enthalten ist, das Bestimmungsergebnis in Schritt S204 „Ja“ und fährt der Prozess mit Schritt S206 fort.
In Schritt S206 wählt die Modellauswahleinheit 82 das Läsionsdetektionsmodell 67 entsprechend den Vorrichtungsidentifikationsinformationen 68 aus der Läsionsdetektionsmodell-Gruppe 66 aus und fährt dann mit Schritt S210 fort. Andererseits wählt in einem Fall, bei dem der Prozess mit Schritt S208 fortfährt, die Modellauswahleinheit 82 das Allzweck-Läsionsdetektionsmodell 67₀ aus und fährt dann mit Schritt S210 fort.
Dann detektiert die Detektionseinheit 84 in Schritt S210 eine Läsion unter Verwendung des in Schritt S206 ausgewählten Läsionsdetektionsmodells 67 oder des in Schritt S208 ausgewählten Allzweck-Läsionsdetektionsmodells 67₀, wie oben beschrieben. Insbesondere wird das zu detektierende Röntgenbild in das ausgewählte Läsionsdetektionsmodell 67 oder das Allzweck-Läsionsdetektionsmodell 67₀ eingegeben und wird das Detektionsergebnis von dem Läsionsdetektionsmodell 67 oder von dem Allzweck-Läsionsdetektionsmodell 67₀ erfasst.
Dann führt die Anzeigesteuereinheit 86 in Schritt S212 eine Steuerung durch, um das durch die Detektion der Läsion in Schritt S210 erhaltene Detektionsergebnis auf der Anzeigeeinheit 70 anzuzeigen. Darüber hinaus ist der Anzeigeaspekt des Anzeigens des Detektionsergebnisses auf der Anzeigeeinheit 70 nicht besonders eingeschränkt. Beispielsweise kann die Anzeigeeinheit 70 nur das Detektionsergebnis anzeigen. Ferner können beispielsweise das Detektionsergebnis und das zu detektierende Röntgenbild auf der Anzeigeeinheit 70 angezeigt werden.
Darüber hinaus sind beispielsweise die Aspekte des Trainierens des Läsionsdetektionsmodells 67 in der Lernphase und der Betriebsphase und der Detektion der Läsion unter Verwendung des Läsionsdetektionsmodells 67 Beispiele und können verschiedene Modifikationsbeispiele vorgenommen werden. Nachstehend werden einige Modifikationsbeispiele beschrieben.
Modifikationsbeispiel 1: Modifikationsbeispiel von Lernphase
Bei der oben beschriebenen Ausführungsform wurde der Aspekt beschrieben, bei dem zunächst das trainierte Allzweck-Läsionsdetektionsmodell 67₀ erzeugt wird und unter Verwendung der Trainingsdatenelemente 65₁ bis 65_n entsprechend den Vorrichtungen 1 bis n neu trainiert wird, um die Läsionsdetektionsmodelle 67₁ bis 67_n entsprechend den Vorrichtungen 1 bis n zu trainieren. Das Verfahren zum Trainieren der Läsionsdetektionsmodelle 67₁ bis 67_n, d.h. das Verfahren zum Erzeugen der Läsionsdetektionsmodelle 67₁ bis 67_n, ist nicht auf die oben beschriebene Ausführungsform beschränkt.
Bei diesem Modifikationsbeispiel wird ein Modifikationsbeispiel des Verfahrens zum Trainieren der Läsionsdetektionsmodelle 67₁ bis 67_n beschrieben.
13 ist ein Flussdiagramm, das ein Beispiel des Flusses eines Lernprozesses durch das Bildverarbeitungsgerät 16 gemäß diesem Modifikationsbeispiel darstellt. Der in 13 dargestellte Lernprozess unterscheidet sich von dem Lernprozess gemäß der oben beschriebenen Ausführungsform (siehe 9) darin, dass er Schritt S109 anstelle von Schritt S108 umfasst.
Wie in 13 dargestellt, trainiert in Schritt S109 die Läsionsdetektionsmodell-Erzeugungseinheit 92 das Läsionsdetektionsmodell 67_m für Vorrichtung m unter Verwendung der in Schritt S106 erfassten Trainingsdaten 65_m von Vorrichtung m. Die Läsionsdetektionsmodell-Erzeugungseinheit 92 führt wiederholt eine Reihe von Prozessen der Eingabe des Röntgenbildes 65A, das in den Trainingsdaten 65_m von Vorrichtung m enthalten ist, in das Modell für maschinelles Lernen, der Ausgabe jedes der Werte der Knoten 213A bis 213C, die in der Ausgabeschicht 212 des Modells für maschinelles Lernen enthalten sind, der Berechnung des Fehlers zwischen jedem der Werte der Knoten 213A bis 213C und den korrekten Antwortdaten 65B, der Aktualisierungseinstellung der Gewichtung und der Aktualisierung des Modells für maschinelles Lernen, um das Läsionsdetektionsmodell 67_m für Vorrichtung m zu trainieren. Die Läsionsdetektionsmodell-Erzeugungseinheit 92 speichert das trainierte Läsionsdetektionsmodell 67_m für Vorrichtung m in der Speichereinheit 62.
Wie oben beschrieben, werden bei diesem Modifikationsbeispiel das Läsionsdetektionsmodell 67₁ für Vorrichtung 1 bis das Läsionsdetektionsmodell 67_n für Vorrichtung n nur unter Verwendung jedes Trainingsdatenelements 65 trainiert. Daher kann das Läsionsdetektionsmodell 67 spezifisch gemäß dem Typ der Vorrichtung trainiert werden.
Darüber hinaus ist der Lernprozess gemäß diesem Modifikationsbeispiel nicht auf den obigen Aspekt beschränkt. Beispielsweise kann das Trainieren des Läsionsdetektionsmodells 67₁ für Vorrichtung 1 bis zu dem Läsionsdetektionsmodell 67_n für Vorrichtung n vor dem Trainieren des Allzweck-Läsionsdetektionsmodells 67₀ durchgeführt werden.
Modifikationsbeispiel 2: Modifikationsbeispiel von Lernphase
Bei diesem Modifikationsbeispiel wird ein Aspekt beschrieben, bei dem ein Domänenanpassungsverfahren auf die Trainingsdaten 65 angewandt wird, die in der Trainingsdatengruppe 64 enthalten sind, um die Läsionsdetektionsmodelle 67₁ bis 67_n zu trainieren, die den Vorrichtungen 1 bis n entsprechen.
Das Domänenanpassungsverfahren ist eine Technik zum Handhaben mehrerer Trainingsdatenelemente mit unterschiedlichen Domänen auf die gleiche Weise. Bei diesem Modifikationsbeispiel wandelt die Läsionsdetektionsmodell-Erzeugungseinheit 92 des Bildverarbeitungsgeräts 16 die Domäne (Qualität) eines Röntgenbildes 65A, das in Trainingsdaten 65 für eine andere Vorrichtung enthalten ist, in die Domäne (Qualität) eines Röntgenbildes 65A, das in Trainingsdaten 65 für die Host-Vorrichtung enthalten ist, unter Verwendung eines Domänenanpassungsmodells um.
14 ist ein Flussdiagramm, das ein Beispiel des Flusses eines Lernprozesses durch das Bildverarbeitungsgerät 16 gemäß diesem Modifikationsbeispiel darstellt. Der in 14 dargestellte Lernprozess unterscheidet sich von dem Lernprozess gemäß der oben beschriebenen Ausführungsform (siehe 9) darin, dass er die Schritte S107 und S109A anstelle der Schritte S106 und S108 umfasst.
Wie in 14 dargestellt, wendet die Läsionsdetektionsmodell-Erzeugungseinheit 92 in Schritt S107 ein Domänenanpassungsmodell für Vorrichtung m auf die Röntgenbilder 65A an, die in sämtlichen der Trainingsdaten 65 enthalten sind, wie oben beschrieben. Daher werden die Domänen der Röntgenbilder 65A, die in Trainingsdaten 65 außer den Trainingsdaten 65 für Vorrichtung m enthalten sind, in die Domäne der Vorrichtung m umgewandelt.
Beispielsweise wendet in einem Fall, bei dem das Läsionsdetektionsmodell 67₁ für Vorrichtung 1 trainiert wird, die Läsionsdetektionsmodell-Erzeugungseinheit 92 ein Domänenanpassungsmodell für Vorrichtung 1 (nicht dargestellt) auf die Röntgenbilder 65A an, die in sämtlichen der Trainingsdaten 65 (den Trainingsdaten 65₁ von Vorrichtung 1 bis den Trainingsdaten 65_n von Vorrichtung n) in der Trainingsdatengruppe 64 enthalten sind, um die Domänen sämtlicher der Trainingsdaten 65 in die Domäne der Vorrichtung 1 umzuwandeln. Als ein Ergebnis ist die Qualität des Röntgenbildes 65A, das jeweils in den Trainingsdaten 65₂ von Vorrichtung 2 bis den Trainingsdaten 65_n von Vorrichtung n enthalten ist, nahe der Bildqualität von Vorrichtung 1.
Dann trainiert in Schritt S109A die Läsionsdetektionsmodell-Erzeugungseinheit 92 das Läsionsdetektionsmodell 67_m für Vorrichtung m unter Verwendung mehrerer Trainingsdatenelemente 65, die der Domänenanpassung in Schritt S107 unterzogen wurden. Die Läsionsdetektionsmodell-Erzeugungseinheit 92 führt wiederholt eine Reihe von Prozessen der Eingabe des Röntgenbildes 65A, das in jedem Trainingsdatenelement 65 enthalten ist, das der Domänenanpassung unterzogen wurde, in das Modell für maschinelles Lernen, der Ausgabe jedes der Werte der Knoten 213A bis 213C, die in der Ausgabeschicht 212 des Modells für maschinelles Lernen enthalten sind, der Berechnung des Fehlers zwischen jedem der Werte der Knoten 213A bis 213C und den korrekten Antwortdaten 65B, der Aktualisierungseinstellung der Gewichtung und der Aktualisierung des Modells für maschinelles Lernen durch, um das Läsionsdetektionsmodell 67_m für Vorrichtung m zu trainieren. Die Läsionsdetektionsmodell-Erzeugungseinheit 92 speichert das trainierte Läsionsdetektionsmodell 67_m für Vorrichtung m in der Speichereinheit 62.
Wie oben beschrieben, kann bei diesem Modifikationsbeispiel das Röntgenbild 65A, das in jedem Trainingsdatenelement 65 außer den Trainingsdaten für die Host-Vorrichtung enthalten ist, als die Trainingsdaten 65 für die Host-Vorrichtung durch das Domänenanpassungsverfahren angewandt werden.
Daher ist es bei diesem Modifikationsbeispiel möglich, den Unterschied in der Domäne (Bildqualität) abhängig von dem Typ der Mammographievorrichtung zu absorbieren und das Läsionsdetektionsmodell 67 mit einer größeren Menge an Trainingsdaten 65 zu trainieren.
Darüber hinaus ist der Lernprozess gemäß diesem Modifikationsbeispiel nicht auf den oben beschriebenen Aspekt beschränkt. Das Obige ist das Domänenanpassungsverfahren, das einen Umwandlungsprozess an dem in den Trainingsdaten enthaltenen Bild durchführt, so dass es nahe an der Bildqualität einer spezifischen Vorrichtung ist, und das die erfasste Bildgruppe zum Trainieren verwendet. Zusätzlich dazu wird ein Aspekt angenommen, bei dem ein Domänenanpassungsverfahren des Durchführens eines Trainierens verwendet wird, so dass die Merkmale der mittleren Schicht des Netzwerks denen einer spezifischen Vorrichtung nahe kommen.
Modifikationsbeispiel 3-1: Modifikationsbeispiel von Lernphase und Betriebsphase
Bei diesem Modifikationsbeispiel wird ein Aspekt beschrieben, bei dem anstelle des Läsionsdetektionsmodells 67 ein Läsionsdetektionsmodell angewandt wird, das für jede mehrerer Klassen bereitgestellt wird, die gemäß der Qualität des durch die Mammographievorrichtung aufgenommenen Röntgenbildes klassifiziert sind, um eine Läsion zu detektieren.
15 stellt ein Beispiel einer Läsionsdetektionsmodell-Gruppe 66 gemäß diesem Modifikationsbeispiel dar. Bei diesem Modifikationsbeispiel wird ein Läsionsdetektionsmodell 100 für jede mehrerer Klassen erstellt, die gemäß der Qualität des Röntgenbildes klassifiziert werden. Beispielsweise enthält die Läsionsdetektionsmodell-Gruppe 66 gemäß diesem Modifikationsbeispiel ein Läsionsdetektionsmodell 100₁ für Klasse 1 bis ein Läsionsdetektionsmodell 100_k für Klasse k, was k (k ≦ n) Type von Klassifizierungen entspricht. Bei dem in 15 dargestellten Beispiel ist das Läsionsdetektionsmodell 100₁ für Klasse 1 ein Läsionsdetektionsmodell 100 zum Detektieren eines in Klasse 1 klassifizierten Röntgenbildes, ist das Läsionsdetektionsmodell 100₂ für Klasse 2 ein Läsionsdetektionsmodell 100 zum Detektieren eines in Klasse 2 klassifiziertes Röntgenbildes, ist das Läsionsdetektionsmodell 100₃ für Klasse 3 ein Läsionsdetektionsmodell 100 zum Detektieren eines in Klasse 3 klassifizierten Röntgenbildes und ist das Läsionsdetektionsmodell 100_k für Klasse k ein Läsionsdetektionsmodell 100 zum Detektieren eines in Klasse k klassifizierten Röntgenbildes.
Ferner enthält, wie in 15 dargestellt, die Läsionsdetektionsmodell-Gruppe 66 gemäß dieser Ausführungsform ein Allzweck-Läsionsdetektionsmodell 100₀. Das Allzweck-Läsionsdetektionsmodell 100₀ ist ein Läsionsdetektionsmodell 100, das im Allgemeinen in einem Fall verwendet wird, bei dem Vorrichtungsidentifikationsinformationen nicht erfassbar sind oder keiner der Vorrichtungen 1 bis n entsprechen, für die eine Eingabe angenommen wird. Beispielsweise ist das Allzweck-Läsionsdetektionsmodell 100₀ gemäß diesem Modifikationsbeispiel das gleiche wie das Allzweck-Läsionsdetektionsmodell 67₀ gemäß der oben beschriebenen Ausführungsform.
Zunächst wird eine Lernphase zum Trainieren des Läsionsdetektionsmodells 100 beschrieben.
16 ist ein Funktionsblockdiagramm, das ein Beispiel einer Konfiguration darstellt, die sich auf eine Funktion des Erzeugens des Läsionsdetektionsmodells 100 in dem Bildverarbeitungsgerät 16 gemäß diesem Modifikationsbeispiel bezieht. Wie in 16 dargestellt, unterscheidet sich das Bildverarbeitungsgerät 16 von dem Bildverarbeitungsgerät 16 (siehe 8) gemäß der oben beschriebenen Ausführungsform darin, dass es ferner eine Klassenklassifizierungseinheit 91 umfasst.
Die Klassenklassifizierungseinheit 91 weist eine Funktion des Klassifizierens des Röntgenbildes 65A, das in den Trainingsdaten 65 enthalten ist, in eine der Klassen 1 bis k auf. Wie in 17 dargestellt, klassifiziert die Klassenklassifizierungseinheit 91 die Trainingsdaten 65 in eine beliebige der Klassen 1 bis k unter Verwendung eines Bildqualität-Klassifizierungsmodells 110. In dem in 17 dargestellten Beispiel werden die Trainingsdaten 65₁ von Vorrichtung 1 durch das Bildqualität-Klassifizierungsmodell 110 in Klasse 1 klassifiziert, werden die Trainingsdaten 65₂ von Vorrichtung 2 durch das Bildqualität-Klassifizierungsmodell 110 in Klasse 3 klassifiziert, werden die Trainingsdaten 65₃ von Vorrichtung 3 durch das Bildqualität-Klassifizierungsmodell 110 in Klasse 1 klassifiziert und werden die Trainingsdaten 65_n von Vorrichtung n durch das Bildqualität-Klassifizierungsmodell 110 in Klasse k klassifiziert.
Darüber hinaus kann beispielsweise ein Modell, das ein neuronales Netzwerk (NN) oder dergleichen verwendet, als das Bildqualität-Klassifizierungsmodell 110 angewandt werden. Das Verfahren, durch das die Klassenklassifizierungseinheit 91 die Trainingsdaten 65 in eine Klasse klassifiziert, ist nicht auf den Aspekt beschränkt, der das Bildqualität-Klassifizierungsmodell 110 verwendet. Beispielsweise werden die Trainingsdaten 65 durch einen Prozess des Vergleichens der Mittelwerte oder Varianzen der Pixel der Brust (des Objekts) in dem Röntgenbild, einen Prozess des Durchführens einer Frequenzzerlegung an einem Signal in der Brust und des Vergleichens der Mittelwerte oder Varianzen jedes Frequenzbandes oder dergleichen in eine Klasse klassifiziert.
18 ist ein Flussdiagramm, das ein Beispiel des Flusses eines Lernprozesses durch das Bildverarbeitungsgerät 16 gemäß diesem Modifikationsbeispiel darstellt. Der in 18 dargestellte Lernprozess unterscheidet sich von dem Lernprozess gemäß der oben beschriebenen Ausführungsform (siehe 9) darin, dass er die Schritte S109B und S109C anstelle von Schritt S108 umfasst.
Darüber hinaus sind in Schritt S102 des Lernprozesses gemäß diesem Modifikationsbeispiel ein Lernverfahren und dergleichen die gleichen wie jene in dem Lernprozess gemäß der oben beschriebenen Ausführungsform (siehe 9), außer dass das Allzweck-Läsionsdetektionsmodell 100₀ trainiert wird.
Wie in 18 dargestellt, bestimmt die Klassenklassifizierungseinheit 91 in Schritt S109B die Klasse der in Schritt S106 erfassten Trainingsdaten 65_m von Vorrichtung m unter Verwendung des Bildqualität-Klassifizierungsmodells 110, wie oben beschrieben. Insbesondere gibt die Klassenklassifizierungseinheit 91 das Röntgenbild 65A, das in den Trainingsdaten 65_m von Vorrichtung m enthalten ist, in das Bildqualität-Klassifizierungsmodell 110 ein und erfasst eine Klasse, die das Klassifizierungsergebnis ist. Die Klassenklassifizierungseinheit 91 speichert das Klassifizierungsergebnis in der Speichereinheit 62 oder dergleichen, um es der Vorrichtung m zuzuordnen.
Dann trainiert in Schritt S109C die Läsionsdetektionsmodell-Erzeugungseinheit 92 das Läsionsdetektionsmodell 100 entsprechend der klassifizierten Klasse unter Verwendung der Trainingsdaten 65_m von Vorrichtung m. Beispielsweise werden in dem oben beschriebenen Beispiel die Trainingsdaten 65₁ von Vorrichtung 1 in Klasse 1 klassifiziert. Daher führt die Läsionsdetektionsmodell-Erzeugungseinheit 92 wiederholt eine Reihe von Prozessen der Eingabe des Röntgenbildes 65A, das in den Trainingsdaten 65₁ von Vorrichtung 1 enthalten ist, in das Modell für maschinelles Lernen, der Ausgabe jedes der Werte der Knoten 213A bis 213C, die in der Ausgabeschicht 212 des Modells für maschinelles Lernen enthalten sind, der Berechnung des Fehlers zwischen jedem der Werte der Knoten 213A bis 213C und den korrekten Antwortdaten 65B, der Aktualisierungseinstellung der Gewichtung und der Aktualisierung des Modells für maschinelles Lernen durch, um das Läsionsdetektionsmodell 100₁ für Klasse 1 zu trainieren.
Wie oben beschrieben, wird in der Lernphase gemäß diesem Modifikationsbeispiel das Läsionsdetektionsmodell 100 entsprechend der Qualität des zu detektierenden Röntgenbildes erzeugt.
Als Nächstes wird die Betriebsphase gemäß diesem Modifikationsbeispiel beschrieben.
Die Modellauswahleinheit 82 gemäß diesem Modifikationsbeispiel weist ferner eine Funktion des Bestimmens, in welche der Klassen 1 bis k das zu detektierende Röntgenbild, das durch die Erfassungseinheit 80 erfasst wurde, klassifiziert wird. Die Modellauswahleinheit 82 wählt das Läsionsdetektionsmodell 100 entsprechend der bestimmten Klassifizierungsklasse aus.
19 ist ein Flussdiagramm, das ein Beispiel des Flusses von Bildverarbeitung durch das Bildverarbeitungsgerät 16 gemäß diesem Modifikationsbeispiel darstellt. Die in 19 dargestellte Bildverarbeitung unterscheidet sich von der Bildverarbeitung gemäß der oben beschriebenen Ausführungsform (siehe 12) darin, dass sie die Schritte S203 bis S207 anstelle der Schritte S204 und S206 umfasst.
Wie in 19 dargestellt, bestimmt die Modellauswahleinheit 82 in Schritt S203, in welche der Vorrichtungen 1 bis n das zu detektierende Röntgenbild, das in Schritt S200 erfasst wurde, klassifiziert wird, unter Verwendung der Vorrichtungsidentifikationsinformationen 68, wie oben beschrieben. In einem Fall, bei dem der Typ der Mammographievorrichtung, der durch die Vorrichtungsidentifikationsinformationen 68 angegeben wird, keiner der Vorrichtungen 1 bis n entspricht, ist das Bestimmungsergebnis in Schritt S203 „Nein“ und fährt der Prozess mit Schritt S208 fort. Andererseits ist in einem Fall, bei dem der Typ der Mammographievorrichtung, der durch die Vorrichtungsidentifikationsinformationen 68 angegeben wird, einer beliebigen der Vorrichtungen 1 bis n entspricht, das Bestimmungsergebnis in Schritt S203 „Ja“ und fährt der Prozess mit Schritt S205 fort.
In Schritt S205 bestimmt die Modellauswahleinheit 82 die Klasse, in die das zu detektierende Röntgenbild klassifiziert wird, auf der Grundlage der Vorrichtungsidentifikationsinformationen 68. Insbesondere erfasst die Modellauswahleinheit 82 die Klassen, die den Vorrichtungen 1 bis n zugeordnet sind, die die Typen von Mammographievorrichtungen sind, die durch die Vorrichtungsidentifikationsinformationen 68 angegeben sind, unter Bezugnahme auf die Speichereinheit 62.
Dann wählt die Modellauswahleinheit 82 in Schritt S207 das Läsionsdetektionsmodell 100 entsprechend der in Schritt S205 bestimmten Klasse aus der Läsionsdetektionsmodell-Gruppe 66 aus und fährt dann mit Schritt S210 fort.
Wie oben beschrieben, wird in der Betriebsphase gemäß diesem Modifikationsbeispiel die Läsion durch das Läsionsdetektionsmodell 100 entsprechend der Qualität des zu detektierenden Röntgenbildes detektiert.
Wie oben beschrieben, wird bei diesem Modifikationsbeispiel das Läsionsdetektionsmodell 100 entsprechend der Qualität des Röntgenbildes in einem Fall verwendet, bei dem die in dem Röntgenbild enthaltene Läsion detektiert wird. Bei dem Trainieren des Läsionsdetektionsmodells 67 kann die Anzahl an Trainingsdatenelementen 65 größer sein als in einem Fall, bei dem die Läsionsdetektionsmodelle 67 entsprechend den Vorrichtungen 1 bis n verwendet werden. Daher ist es möglich, die Genauigkeit des Läsionsdetektionsmodells 100 weiter zu verbessern. Darüber hinaus kann die Anzahl an Läsionsdetektionsmodellen 100 kleiner sein als die Anzahl an Läsionsdetektionsmodellen 67. Darüber hinaus ist es unwahrscheinlich, dass sich die Vorrichtung häufig ändert. Daher wird auch ein Vorgang angenommen, bei dem, nachdem die Bestimmung der Klasse der Vorrichtung einmal durchgeführt wurde, das Läsionsdetektionsmodell 100 unter Verwendung des vorherigen Bestimmungsergebnisses ausgewählt werden kann.
Modifikationsbeispiel 3-2: Modifikationsbeispiel von Modifikationsbeispiel 3-1
Bei diesem Modifikationsbeispiel wird ein Modifikationsbeispiel des oben beschriebenen Modifikationsbeispiels 3-1 beschrieben.
Eine Läsionsdetektionsmodell-Gruppe 66 (nicht dargestellt) gemäß diesem Modifikationsbeispiel unterscheidet sich von der Läsionsdetektionsmodell-Gruppe 66 (siehe 15) gemäß dem Modifikationsbeispiel 3-1 darin, dass sie das Allzweck-Läsionsdetektionsmodell 100₀ nicht enthält.
Darüber hinaus unterscheidet sich ein Lernprozess gemäß diesem Modifikationsbeispiel von dem Lernprozess (siehe 18) gemäß Modifikationsbeispiel 3-1 darin, dass er die Schritte S100 und S102 nicht umfasst. Das heißt, in diesem Modifikationsbeispiel wird das Allzweck-Läsionsdetektionsmodell 100₀ nicht erzeugt.
Ferner wird eine Betriebsphase gemäß diesem Modifikationsbeispiel beschrieben.
20 ist ein Flussdiagramm, das ein Beispiel des Flusses von Bildverarbeitung durch das Bildverarbeitungsgerät 16 gemäß diesem Modifikationsbeispiel darstellt. Die in 20 dargestellte Bildverarbeitung unterscheidet sich von der Bildverarbeitung (siehe 19) gemäß dem Modifikationsbeispiel 3-1 darin, dass sie Schritt S205A anstelle von Schritt S208 umfasst.
Wie in 20 dargestellt, fährt in einem Fall, bei dem das Bestimmungsergebnis in Schritt S202 „Nein“ ist und die Bestimmung in Schritt S203 „Nein“ ist, der Prozess mit Schritt S205A fort.
In Schritt S205A bestimmt die Läsionsdetektionsmodell-Erzeugungseinheit 92 die Klasse, in die das zu detektierende Röntgenbild durch das Bildqualität-Klassifizierungsmodell 110 klassifiziert wird. Insbesondere gibt die Modellauswahleinheit 82 das zu detektierende Röntgenbild in das Bildqualität-Klassifizierungsmodell 110 ein und erfasst eine Klasse, die ein ausgegebenes Klassifizierungsergebnis ist.
Wie oben beschrieben, wird in der Betriebsphase gemäß diesem Modifikationsbeispiel in einem Fall, bei dem die Vorrichtungsidentifikationsinformationen 68 nicht aus dem zu detektierenden Röntgenbild erfassbar sind oder keiner der Vorrichtungen 1 bis n entsprechen, die zu klassifizierende Klasse auf der Grundlage der Qualität des Röntgenbildes bestimmt. Daher ist es gemäß diesem Modifikationsbeispiel möglich, ein geeignetes Läsionsdetektionsmodell 100 auszuwählen, das der Qualität des zu detektierenden Röntgenbildes entspricht.
Wie oben beschrieben, umfasst das Bildverarbeitungsgerät 16 gemäß der oben beschriebenen Ausführungsform die CPU 60A. Die CPU 60A erfasst das zu detektierende Röntgenbild, erfasst die Vorrichtungsidentifikationsinformationen 68 zum Identifizieren der Mammographievorrichtung, die das zu detektierende Röntgenbild aufgenommen hat, wählt ein beliebiges von mehreren Läsionsdetektionsmodellen 67, die eine Läsion aus den Röntgenbildern detektieren, auf der Grundlage der Vorrichtungsidentifikationsinformationen 68 aus und detektiert die Läsion aus dem zu detektierenden Röntgenbild unter Verwendung des ausgewählten Läsionsdetektionsmodells 67.
Beispielsweise können in einem Fall, bei dem die Hersteller, Modelle oder dergleichen der Mammographievorrichtungen, die die Röntgenbilder aufgenommen haben, unterschiedlich sind, die Qualitäten der erhaltenen Röntgenbilder unterschiedlich sein, obwohl die Röntgenbilder unter den gleichen Bildgebungsbedingungen aufgenommen werden. Die Genauigkeit des Läsionsdetektionsmodells, das die Läsion aus dem Röntgenbild detektiert, kann durch den Einfluss des Qualitätsunterschieds zwischen den Röntgenbildern verringert werden. Da insbesondere eine Strahlungsdosis, eine Bildverarbeitung oder dergleichen zwischen den Mammographievorrichtungen variiert, sind beispielsweise ein Unterschied in Helligkeit, Kontrast und Auflösung zwischen den erhaltenen Röntgenbildern und ein dazwischen zu verstärkender Frequenzunterschied vorhanden. Das Läsionsdetektionsmodell 67 weist eine hohe Detektionsleistung für die zum Zeitpunkt des Lernens erlernte Verteilung auf, ist aber nicht in der Lage, ausreichend auf die Verteilung zu reagieren, die zum Zeitpunkt des Lernens nicht erlernt wurde. Daher ist in einem Fall, bei dem ein Röntgenbild mit einer Qualität, die sich von der Verteilung der Röntgenbildgruppe unterscheidet, die durch das Läsionsdetektionsmodell 67 zum Zeitpunkt des Lernens verwendet wird, eingegeben wird, das Läsionsdetektionsmodell 67 nicht in der Lage, auf das Röntgenbild zu reagieren und wird die Detektionsleistung für die Läsion verringert.
Im Gegensatz dazu ist es bei den Läsionsdetektionsmodellen 67 und 100 gemäß den oben beschriebenen Aspekten selbst in einem Fall, bei dem die Hersteller, Modelle oder dergleichen der Mammographievorrichtungen, die die Röntgenbilder aufgenommen haben, unterschiedlich sind und ein Qualitätsunterschied zwischen den erhaltenen Röntgenbildern vorhanden ist, möglich, eine Verringerung der Genauigkeit der Läsionsdetektionsmodelle 67 und 100 zu unterdrücken. Ferner ist es, da eine Läsion unter Verwendung des Läsionsdetektionsmodells 67 oder 100 detektiert wird, das der Mammographievorrichtung entspricht, die das zu detektierende Röntgenbild aufgenommen hat, möglich, die Detektionsgenauigkeit zu verbessern.
Daher ist es gemäß dem Bildverarbeitungsgerät 16 der oben beschriebenen Ausführungsform möglich, eine Läsion aus einem medizinischen Bild unter Verwendung des Läsionsdetektionsmodells genau zu detektieren.
Darüber hinaus wurde bei der oben beschriebenen Ausführungsform der Aspekt beschrieben, bei dem ein Röntgenbild als ein Beispiel des medizinischen Bildes gemäß der vorliegenden Offenbarung angewandt wird. Das medizinische Bild ist jedoch nicht auf das Röntgenbild beschränkt. Beispielsweise kann das medizinische Bild ein Ultraschallbild oder dergleichen sein. Ferner kann das Röntgenbild ein durch Normalenbildgebung erhaltenes Röntgenbild, ein durch Tomosynthesebildgebung erhaltenes Projektionsbild, ein aus den Projektionsbildern erzeugtes Tomographiebild oder dergleichen sein. Ferner wurde bei der oben beschriebenen Ausführungsform der Aspekt beschrieben, bei dem die Mammographievorrichtung als ein Beispiel der Bildgebungsvorrichtung gemäß der vorliegenden Offenbarung angewandt wird. Die Bildgebungsvorrichtung ist jedoch nicht auf die Mammographievorrichtung beschränkt und kann eine beliebige Bildgebungsvorrichtung sein, die dem Objekt entspricht, von dem eine Läsion detektiert wird.
Ferner wurde bei der oben beschriebenen Ausführungsform der Aspekt beschrieben, bei dem als ein Beispiel für den Inhalt der Detektion der Läsion gemäß der vorliegenden Offenbarung detektiert wird, ob die Läsion normal, gutartig oder bösartig ist. Der Inhalt der Detektion ist jedoch nicht auf diesen Aspekt beschränkt. Beispielsweise kann der Inhalt der Detektion der Malignitätsgrad der Läsion oder die Läsion selbst, wie beispielsweise ein Tumor oder eine Verkalkung, sein.
Ferner kann beispielsweise zusätzlich zu dem Modell, auf das ein neuronales Faltungsnetzwerk (CNN) angewandt wird, wie oben beschrieben, U-Net, das ein Kodierer-Dekodierer-Modell ist, das das CNN verwendet, als das Läsionsdetektionsmodell 67 angewandt werden. Darüber hinaus kann das CNN ein dreidimensionales CNN sein. Wie oben beschrieben, kann als das Läsionsdetektionsmodell 67 ein geeignetes Modell gemäß dem Typ des zu detektierenden medizinischen Bildes oder dem Inhalt der Detektion angewandt werden.
Darüber hinaus wurde bei der oben beschriebenen Ausführungsform der Aspekt beschrieben, bei dem das Bildverarbeitungsgerät 16 die Läsionsdetektionsmodell-Gruppe 66 trainiert und eine Läsion unter Verwendung der Läsionsdetektionsmodell-Gruppe 66 detektiert. Jedoch kann eine andere Lernvorrichtung als das Bildverarbeitungsgerät 16 die Läsionsdetektionsmodell-Gruppe 66 trainieren. Das heißt, die Vorrichtung, die die Läsionsdetektionsmodell-Gruppe 66 trainiert, kann sich von der Vorrichtung unterscheiden, die die Läsion unter Verwendung der Läsionsdetektionsmodell-Gruppe 66 detektiert.
Darüber hinaus können bei der oben beschriebenen Ausführungsform beispielsweise die folgenden verschiedenen Prozessoren als eine Hardwarestruktur von Verarbeitungseinheiten, die verschiedene Prozesse durchführen, wie beispielsweise die Erfassungseinheit 80, die Modellauswahleinheit 82, die Detektionseinheit 84 und die Anzeigesteuereinheit 86, und als eine Hardwarestruktur von Verarbeitungseinheiten, die verschiedene Prozesse durchführen, wie beispielsweise die Trainingsdaten-Erfassungseinheit 90 und die Läsionsdetektionsmodell-Erzeugungseinheit 92, verwendet werden. Die verschiedenen Prozessoren enthalten beispielsweise eine CPU, die ein Allzweckprozessor ist, der Software (Programme) ausführt, um als verschiedene Verarbeitungseinheiten, wie oben beschrieben, zu fungieren, eine programmierbare logische Schaltung (programmable logic device, PLD), wie ein Field Programmable Gate Array (FPGA), der ein Prozessor ist, dessen Schaltungskonfiguration nach Herstellung geändert werden kann, und eine dedizierte elektrische Schaltung, wie eine anwendungsspezifische integrierte Schaltung (application-specific integrated circuit, ASIC), die ein Prozessor mit einer dedizierten Schaltungskonfiguration ist, die zur Durchführung eines spezifischen Prozesses ausgelegt ist.
Eine Verarbeitungseinheit kann durch einen der verschiedenen Prozessoren oder durch eine Kombination von zwei oder mehr Prozessoren des gleichen Typs oder verschiedener Typen (zum Beispiel eine Kombination aus mehreren FPGAs oder eine Kombination aus einer CPU und einem FPGA) konfiguriert werden. Ferner können mehrere Verarbeitungseinheiten durch einen Prozessor konfiguriert werden.
Ein erstes Beispiel der Konfiguration, bei der mehrere Verarbeitungseinheiten durch einen Prozessor konfiguriert werden, ist ein Aspekt, bei dem ein Prozessor durch eine Kombination aus einer oder mehreren CPUs und Software konfiguriert wird und als mehrere Verarbeitungseinheiten fungiert. Ein repräsentatives Beispiel dieses Aspekts ist ein Client-Computer oder ein Server-Computer. Ein zweites Beispiel der Konfiguration ist ein Aspekt, bei dem ein Prozessor verwendet wird, der die Funktionen des gesamten Systems einschließlich mehrerer Verarbeitungseinheiten unter Verwendung eines Chips mit integrierter Schaltung (integrated circuit, IC) implementiert. Ein repräsentatives Beispiel dieses Aspekts ist ein System-on-Chip (SoC). Dementsprechend werden verschiedene Verarbeitungseinheiten unter Verwendung eines oder mehrerer der verschiedenen Prozessoren als der Hardwarestruktur konfiguriert.
Darüber hinaus kann insbesondere eine elektrische Schaltung, die durch Kombinieren von Schaltungselementen, wie Halbleiterelementen, erhalten wird, als die Hardwarestruktur der verschiedenen Prozessoren verwendet werden.
Ferner wurde bei der oben beschriebenen Ausführungsform der Aspekt beschrieben, bei dem das Lernprogramm 63A und das Bildverarbeitungsprogramm 63B im Voraus in der Speichereinheit 62 gespeichert (installiert) werden. Die vorliegende Offenbarung ist jedoch nicht darauf beschränkt. Das Lernprogramm 63A und das Bildverarbeitungsprogramm 63B können jeweils auf einem Aufzeichnungsmedium, wie einer CD-ROM (compact disk read-only memory), einer DVD-ROM (digital versatile disk read-only memory) oder einem USB (universal serial bus) -Speicher, aufgezeichnet und dann bereitgestellt werden. Darüber hinaus können sowohl das Lernprogramm 63A als auch das Bildverarbeitungsprogramm 63B von einer externen Vorrichtung über das Netzwerk heruntergeladen werden.
Bezugszeichenliste

1: Röntgensystem
10: Mammographievorrichtung
12: Konsole
14: PACS
16: Bildverarbeitungsgerät
17: Netzwerk
20: Strahlungsdetektor
20A: Detektionsfläche
24: Bildgebungstisch
24A: Bildgebungsfläche
26: Basis
27: Wellenabschnitt
28: Armabschnitt
29: Strahlungsquelle
30: Kompressionsplatte
32: Kompressionseinheit
40, 60: Steuereinheit
42, 50, 62: Speichereinheit
44: Benutzerschnittstelleneinheit
46, 74: Kommunikationsschnittstelleneinheit
52: Röntgenbildgruppe
60A: CPU
60B: ROM
60C: RAM
63A: Lernprogramm
63B: Bildverarbeitungsprogramm
64: Trainingsdatengruppe
651 bis 65n: Trainingsdaten von Vorrichtung 1 bis Trainingsdaten von Vorrichtung n
65A: Röntgenbild
65B: korrekte Antwortdaten
66: Läsionsdetektionsmodell-Gruppe
671 bis 67n: Läsionsdetektionsmodell für Vorrichtung 1 bis Läsionsdetektionsmodell für Vorrichtung n
1001 bis 100k: Läsionsdetektionsmodell für Klasse 1 bis Läsionsdetektionsmodell für Klasse k
670, 1000: Allzweck-Läsionsdetektionsmodell
68: Vorrichtungsidentifikationsinformationen
69A: Herstelleridentifikationsinformationen
69B: Modellidentifikationsinformationen
70: Anzeigeeinheit
72: Bedienungseinheit
79: Bus
80: Erfassungseinheit
82: Modellauswahleinheit
84: Detektionseinheit
86: Anzeigesteuereinheit
90: Trainingsdaten-Erfassungseinheit
91: Klassenklassifizierungseinheit
92: Läsionsdetektionsmodell-Erzeugungseinheit
110: Bildqualität-Klassifizierungsmodell
200: Eingabeschicht
201: mittlere Schicht
202, 206: Faltungsschicht
204, 208: Pooling-Schicht
210: flache Schicht
211, 213A, 213B, 213C: Knoten
212: Ausgabeschicht
cmp1 bis cmp4: Bildmerkmalskarte
F, F1, F2: Filter
Ip: Pixel von Interesse
DI: Eingabedaten
DI: Ausgabedaten

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 6815711 B [0002, 0003]

Claims

Bildverarbeitungsgerät, umfassend: mindestens einen Prozessor, wobei der Prozessor ein zu detektierendes medizinisches Bild erfasst, Vorrichtungsidentifikationsinformationen zum Identifizieren eines Bildgebungsvorrichtung erfasst, die das zu detektierende medizinische Bild aufgenommen hat, ein beliebiges von mehreren Läsionsdetektionsmodellen, die eine Läsion aus dem medizinischen Bild detektieren, auf der Grundlage der Vorrichtungsidentifikationsinformationen auswählt und die Läsion aus dem zu detektierenden medizinischen Bild unter Verwendung des ausgewählten Läsionsdetektionsmodells detektiert.
Bildverarbeitungsgerät nach Anspruch 1, wobei die mehreren Läsionsdetektionsmodelle ein Läsionsdetektionsmodell, das einem Typ der Bildgebungsvorrichtung entspricht, und ein Allzweck-Läsionsdetektionsmodell unabhängig von dem Typ der Bildgebungsvorrichtung enthalten.
Bildverarbeitungsgerät nach Anspruch 2, wobei in einem Fall, bei dem die Vorrichtungsidentifikationsinformationen nicht erfassbar sind, der Prozessor das Allzweck-Läsionsdetektionsmodell auswählt.
Bildverarbeitungsgerät nach Anspruch 2 oder 3, wobei in einem Fall, bei dem das Läsionsdetektionsmodell, das dem Typ der durch die Vorrichtungsidentifikationsinformationen identifizierten Bildgebungsvorrichtung entspricht, nicht bei den mehreren Läsionsdetektionsmodellen enthalten ist, der Prozessor das Allzweck-Läsionsdetektionsmodell auswählt.
Das Bildverarbeitungsgerät nach einem der Ansprüche 1 bis 4, wobei die Vorrichtungsidentifikationsinformationen Herstelleridentifikationsinformationen zum Identifizieren eines Herstellers der Bildgebungsvorrichtung enthalten, und der Prozessor ein beliebiges der mehreren Läsionsdetektionsmodelle auf der Grundlage der Herstelleridentifikationsinformationen auswählt.
Das Bildverarbeitungsgerät nach einem der Ansprüche 1 bis 5, wobei die Vorrichtungsidentifikationsinformationen Modellidentifikationsinformationen zum Identifizieren eines Modells der Bildgebungsvorrichtung enthalten, und der Prozessor ein beliebiges der mehreren Läsionsdetektionsmodelle auf der Grundlage der Modellidentifikationsinformationen auswählt.
Das Bildverarbeitungsgerät nach einem der Ansprüche 1 bis 4, wobei die mehreren Läsionsdetektionsmodelle mehrere Läsionsdetektionsmodelle sind, die für jede mehrerer Klassen trainiert wurden, die gemäß einer Qualität des medizinischen Bildes klassifiziert wurden, und der Prozessor bestimmt, in welche der mehreren Klassen das zu detektierende medizinische Bild klassifiziert wird, und ein Läsionsdetektionsmodell, das der bestimmten Klasse entspricht, aus den mehreren Läsionsdetektionsmodellen auswählt.
Lernvorrichtung, umfassend: mindestens einen Prozessor, wobei der Prozessor ein erstes Läsionsdetektionsmodell unter Verwendung eines oder mehrerer erster medizinischer Bilder, das/die von einer oder mehreren ersten Bildgebungsvorrichtungen einschließlich mindestens einer Bildgebungsvorrichtung außer einer zweiten Bildgebungsvorrichtung aufgenommen wurde/wurden, und eines korrekten Antwortetiketts, das dem ersten medizinischen Bild entspricht und das sich auf eine zu lernende Läsion bezieht, die in dem ersten medizinischen Bild enthalten ist, erzeugt und das erste Läsionsdetektionsmodell unter Verwendung eines oder mehrerer zweiter medizinischer Bilder, das/die von der zweiten Bildgebungsvorrichtung aufgenommen wurde/wurden, und eines korrekten Antwortetiketts, das dem zweiten medizinischen Bild entspricht und das sich auf eine zu lernende Läsion bezieht, die in dem zweiten medizinischen Bild enthalten ist, erneut trainiert, um ein zweites Läsionsdetektionsmodell für die zweite Bildgebungsvorrichtung zu erzeugen.
Bildverarbeitungsverfahren, das von einem Computer ausgeführt wird, wobei das Bildverarbeitungsverfahren umfasst: Erfassen eines zu detektierenden medizinischen Bildes; Erfassen von Vorrichtungsidentifikationsinformationen zum Identifizieren einer Bildgebungsvorrichtung, die das zu detektierende medizinische Bild aufgenommen hat; Auswählen eines beliebigen von mehreren Läsionsdetektionsmodellen, die eine Läsion aus dem medizinischen Bild detektieren, auf der Grundlage der Vorrichtungsidentifikationsinformationen; und Detektieren der Läsion aus dem zu detektierenden medizinischen Bild unter Verwendung des ausgewählten Läsionsdetektionsmodells.
Lernverfahren, das von einem Computer ausgeführt wird, wobei das Lernverfahren umfasst: Erzeugen eines ersten Läsionsdetektionsmodells unter Verwendung eines oder mehrerer erster medizinischer Bilder, das/die von einer oder mehreren ersten Bildgebungsvorrichtungen einschließlich mindestens einer Bildgebungsvorrichtung außer einer zweiten Bildgebungsvorrichtung aufgenommen wurde/wurden, und eines korrekten Antwortetiketts, das dem ersten medizinischen Bild entspricht und sich auf eine zu lernende Läsion bezieht, die in dem ersten medizinischen Bild enthalten ist; und erneutes Trainieren des ersten Läsionsdetektionsmodells unter Verwendung eines oder mehrerer zweiter medizinischer Bilder, das/die von der zweiten Bildgebungsvorrichtung aufgenommen wurde/wurden, und eines korrekten Antwortetiketts, das dem zweiten medizinischen Bild entspricht und sich auf eine zu lernende Läsion bezieht, die in dem zweiten medizinischen Bild enthalten ist, um ein zweites Läsionsdetektionsmodell für die zweite Bildgebungsvorrichtung zu erzeugen.
Computerlesbares Speichermedium mit einem gespeicherten Bildverarbeitungsprogramm, das einen Computer veranlasst, einen Prozess auszuführen, umfassend: Erfassen eines zu detektierenden medizinischen Bildes; Erfassen von Vorrichtungsidentifikationsinformationen zum Identifizieren einer Bildgebungsvorrichtung, die das zu detektierende medizinische Bild aufgenommen hat; Auswählen eines beliebigen von mehreren Läsionsdetektionsmodellen, die eine Läsion aus dem medizinischen Bild detektieren, auf der Grundlage der Vorrichtungsidentifikationsinformationen; und Detektieren der Läsion aus dem zu detektierenden medizinischen Bild unter Verwendung des ausgewählten Läsionsdetektionsmodells.
Computerlesbares Speichermedium mit einem gespeicherten Lernprogramm, das einen Computer veranlasst, ein Läsionsdetektionsmodell zu trainieren, das eine Läsion detektiert, die in einem medizinischen Bild enthalten ist, wobei das Lernprogramm den Computer veranlasst, einen Prozess auszuführen, der umfasst: Erzeugen eines ersten Läsionsdetektionsmodells unter Verwendung eines oder mehrerer erster medizinischer Bilder, das/die von einer oder mehreren ersten Bildgebungsvorrichtungen einschließlich mindestens einer Bildgebungsvorrichtung außer einer zweiten Bildgebungsvorrichtung aufgenommen wurde/wurden, und eines korrekten Antwortetiketts, das dem ersten medizinischen Bild entspricht und das sich auf eine zu lernende Läsion bezieht, die in dem ersten medizinischen Bild enthalten ist; und erneutes Trainieren des ersten Läsionsdetektionsmodells unter Verwendung eines oder mehrerer zweiter medizinischer Bilder, das/die von der zweiten Bildgebungsvorrichtung aufgenommen wurde/wurden, und eines korrekten Antwortetiketts, das dem zweiten medizinischen Bild entspricht und das sich auf eine zu lernende Läsion bezieht, die in dem zweiten medizinischen Bild enthalten ist, um ein zweites Läsionsdetektionsmodell für die zweite Bildgebungsvorrichtung zu erzeugen.