DE112020005870T5

DE112020005870T5 - Unterstützungsvorrichtung für dokumentenerstellung, unterstützungsverfahren für dokumentenerstellung und unterstützungsprogramm für dokumentenerstellung

Info

Publication number: DE112020005870T5
Application number: DE112020005870.0T
Authority: DE
Inventors: Akimichi ICHINOSE
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2019-11-29
Filing date: 2020-11-27
Publication date: 2022-11-03
Also published as: US20220277577A1; JPWO2021107098A1; WO2021107098A1

Abstract

Eine Unterstützungsvorrichtung für Dokumentenerstellung enthält mindestens einen Prozessor, und der Prozessor erfasst ein Bild und eine Zeichenkette, die sich auf das Bild bezieht, extrahiert mindestens einen Merkmalsbereich, der in dem Bild enthalten ist, spezifiziert einen spezifischen Bereich, der ein Bereich ist, der einer Phrase entspricht, die in der Zeichenkette enthalten ist, in dem Merkmalsbereich und präsentiert Informationen zum Unterstützen von Erstellung eines Dokuments, das die Zeichenkette enthält, auf der Grundlage eines Ergebnisses der Spezifizierung.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Offenbarung betrifft eine Unterstützungsvorrichtung für Dokumentenerstellung, ein Unterstützungsverfahren für Dokumentenerstellung und ein Unterstützungsprogramm für Dokumentenerstellung, die die Erstellung von Dokumenten wie beispielsweise Auswertungsberichten unterstützen.
2. Beschreibung des Standes der Technik
In den letzten Jahren haben Fortschritte bei medizinischen Geräten wie Computertomographie- (CT) -vorrichtungen und Magnetresonanztomographie- (MRT) - vorrichtungen Bilddiagnose unter Verwendung von hochauflösenden medizinischen Bildern in höherer Qualität ermöglicht. Insbesondere wird, da ein Bereich einer Läsion durch Bilddiagnose unter Verwendung von CT-Bildern, MRT-Bildern und dergleichen genau spezifiziert werden kann, eine geeignete Behandlung auf der Grundlage des spezifizierten Ergebnisses durchgeführt.
Darüber hinaus gibt es eine andere Bilddiagnose, bei der medizinische Bilder durch computergestützte Diagnose (computer-aided diagnosis, CAD) unter Verwendung eines durch Deep Learning oder dergleichen trainierten Diskriminators analysiert werden, Bereiche, Positionen, Volumina und dergleichen von Läsionen oder dergleichen, die in den medizinischen Bildern enthalten sind, extrahiert werden und die extrahierten als ein Analyseergebnis erfasst werden (zum Beispiel „Pulmonary Nodules on Multi-Detector Row CT Scans: Performance Comparison of Radiologists and Computer-aided Detection“, Rubin GD et al., In Radiology 2005; 234: 274 bis 283 (nachstehend als „Literatur 1“ bezeichnet)). Auf diese Weise wird das durch den Analyseprozess erzeugte Analyseergebnis in Verbindung mit Untersuchungsinformationen wie einem Patientennamen, einem Geschlecht, einem Alter und einer Bildgebungsvorrichtung, die ein medizinisches Bild erfasst hat, in einer Datenbank gespeichert und zur Diagnose bereitgestellt. In diesem Fall bestimmt ein Radiologietechniker oder dergleichen, der ein medizinisches Bild erfasst hat, einen Radiologen gemäß dem medizinischen Bild und teilt dem bestimmten Radiologen mit, dass das medizinische Bild und CAD-Analyseergebnisse vorhanden sind. Der Radiologe wertet das medizinische Bild auf seinem eigenen Auswertungsterminal aus, indem er sich auf das verteilte medizinische Bild und das Analyseergebnis bezieht, und erstellt einen Auswertungsbericht.
Ferner wird eine Technik zum Präsentieren von Satzkandidaten durch Extrahieren von Sätzen, die Eingabezeichen enthalten, aus einer Berichtsdatenbank auf der Grundlage der Eingabezeichen zum Zeitpunkt des Erstellens eines Auswertungsberichts offenbart (siehe zum Beispiel JP2017-021648A ).
ZUSAMMENFASSUNG DER ERFINDUNG
Ein Radiologe kann mehrere Tomographiebilder auswerten, die durch eine Bildgebung mit einer Bildgebungsvorrichtung, wie beispielsweise einer CT-Vorrichtung und einer MRT-Vorrichtung, erhalten wurden, und die aus den jeweiligen Tomographiebildern erhaltenen Befunde in einem Auswertungsbericht beschreiben. In diesem Fall ist es erwünscht, den Auswertungsbericht so zu erstellen, dass ersichtlich ist, aus welchem Tomographiebild die in dem Bildauswertungsbericht beschriebenen Befunde zu erkennen ist. Eine manuelle Erstellung des Auswertungsberichts durch den Radiologen stellt jedoch eine Belastung für die Auswertungsarbeit dar.
Ferner nimmt die Anzahl an medizinischen Bildern, die auszuwerten sind, mit der Verbesserung der Leistung der oben beschriebenen Bildgebungsvorrichtungen wie der CT-Vorrichtung und der MRT-Vorrichtung zu, und somit ist es erwünscht, die Unterdrückung von Übersehen von Befunden und Fehldiagnosen zu unterstützen.
Die vorliegende Offenbarung soll eine Unterstützungsvorrichtung für Dokumentenerstellung, ein Unterstützungsverfahren für Dokumentenerstellung und ein Unterstützungsprogramm für Dokumentenerstellung bereitstellen, die in der Lage sind, die Erstellung von Dokumenten, wie beispielsweise Auswertungsberichten, zu unterstützen.
Gemäß einem ersten Aspekt der vorliegenden Offenbarung wird eine Unterstützungsvorrichtung für Dokumentenerstellung bereitgestellt, die mindestens einen Prozessor umfasst, und der Prozessor ist so konfiguriert, dass er ein Bild und eine auf das Bild bezogene Zeichenkette erfasst, mindestens einen in dem Bild enthaltenen Merkmalsbereich extrahiert, einen spezifischen Bereich, der ein Bereich ist, der einer in der Zeichenkette enthaltenen Phrase entspricht, in dem Merkmalsbereich spezifiziert und Informationen zum Unterstützen von Erstellung eines die Zeichenkette enthaltenden Dokuments auf der Grundlage eines Ergebnisses der Spezifizierung präsentiert.
Gemäß einem zweiten Aspekt der vorliegenden Offenbarung kann der Prozessor bei dem obigen Aspekt so konfiguriert sein, dass er Informationen zum Zugreifen auf ein Bild, das den spezifischen Bereich enthält, in eine Phrase, die dem spezifischen Bereich entspricht, in der Zeichenkette einbettet und die Informationen auf einer Anzeigeeinheit anzeigt.
Gemäß einem dritten Aspekt der vorliegenden Offenbarung kann der Prozessor in der Unterstützungsvorrichtung für Dokumentenerstellung des obigen Aspekts so konfiguriert sein, dass er Eigenschaftsinformationen erzeugt, die eine Eigenschaft des spezifischen Bereichs angeben, und die Eigenschaftsinformationen auf einer Anzeigeeinheit anzeigt.
Gemäß einem vierten Aspekt der vorliegenden Offenbarung kann der Prozessor in der Unterstützungsvorrichtung für Dokumentenerstellung des obigen Aspekts so konfiguriert sein, dass er Eigenschaftsinformationen erzeugt, die eine Eigenschaft des spezifischen Bereichs angeben, und eine Warnung in einem Fall ausgibt, in dem eine auf den spezifischen Bereich bezogene Phrase in der Zeichenkette nicht mit den Eigenschaftsinformationen übereinstimmt.
Gemäß einem fünften Aspekt der vorliegenden Offenbarung kann der Prozessor in der Unterstützungsvorrichtung für Dokumentenerstellung des obigen Aspekts so konfiguriert sein, dass er ein Bild erzeugt, in dem eine Markierung, die eine Position des spezifischen Bereichs angibt, zu einem Bild hinzugefügt ist, das den spezifischen Bereich enthält.
Gemäß einem sechsten Aspekt der vorliegenden Offenbarung kann der Prozessor in der Unterstützungsvorrichtung für Dokumentenerstellung des obigen Aspekts so konfiguriert sein, dass er den Merkmalsbereich auf der Grundlage von mindestens einer Position, eines Typs oder einer Größe einer in dem Bild enthaltenen Struktur extrahiert.
Gemäß einem siebten Aspekt der vorliegenden Offenbarung wird ein Unterstützungsverfahren für Dokumentenerstellung bereitgestellt, das umfasst: Erfassen eines Bildes und einer Zeichenkette, die sich auf das Bild bezieht; Extrahieren mindestens eines Merkmalsbereichs, der in dem Bild enthalten ist; Spezifizieren eines spezifischen Bereichs, der ein Bereich ist, der einer in der Zeichenkette enthaltenen Phrase entspricht, in dem Merkmalsbereich; und Präsentieren von Informationen zum Unterstützen von Erstellung eines Dokuments, das die Zeichenkette enthält, auf der Grundlage eines Ergebnisses der Spezifizierung.
Gemäß einem achten Aspekt der vorliegenden Offenbarung wird ein Unterstützungsprogramm für Dokumentenerstellung zum Veranlassen eines Computer bereitgestellt, einen Prozess auszuführen, der umfasst: Erfassen eines Bildes und einer Zeichenkette, die sich auf das Bild bezieht; Extrahieren mindestens eines Merkmalsbereichs, der in dem Bild enthalten ist; Spezifizieren eines spezifischen Bereichs, der ein Bereich ist, der einer in der Zeichenkette enthaltenen Phrase entspricht, in dem Merkmalsbereich; und Präsentieren von Informationen zum Unterstützen von Erstellung eines Dokuments, das die Zeichenkette enthält, auf der Grundlage eines Ergebnisses der Spezifizierung.
Gemäß den obigen Aspekten können eine Unterstützungsvorrichtung für Dokumentenerstellung, ein Unterstützungsverfahren für Dokumentenerstellung und ein Unterstützungsprogramm für Dokumentenerstellung der vorliegenden Offenbarung Erstellung von Dokumenten wie beispielsweise Auswertungsberichten unterstützen.
Figurenliste

1 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration eines medizinischen Informationssystems gemäß jeder beispielhaften Ausführungsform zeigt.
2 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration einer Unterstützungsvorrichtung für Dokumentenerstellung gemäß jeder beispielhaften Ausführungsform zeigt.
3 ist ein Blockdiagramm, das ein Beispiel einer funktionalen Konfiguration der Unterstützungsvorrichtung für Dokumentenerstellung gemäß jeder beispielhaften Ausführungsform zeigt.
4 ist ein Diagramm, das schematisch ein medizinisches Bild zeigt.
5 ist ein Diagramm, das einen Bildschirm zum Erstellen eines Auswertungsberichts gemäß jeder beispielhaften Ausführungsform zeigt.
6 ist ein Diagramm, das einen Bildschirm zum Erstellen eines Auswertungsberichts gemäß jeder beispielhaften Ausführungsform zeigt.
7 ist ein Diagramm, das ein Beispiel von Unterstützungsinformationen gemäß einer ersten beispielhaften Ausführungsform zeigt.
8 ist ein Diagramm, das ein Beispiel von Unterstützungsinformationen gemäß der ersten beispielhaften Ausführungsform zeigt.
9 ist ein Flussdiagramm, das ein Beispiel eines Unterstützungsprozesses für Dokumentenerstellung gemäß jeder beispielhaften Ausführungsform zeigt.
10 ist ein Flussdiagramm, das ein Beispiel eines Erzeugungsprozesses für Unterstützungsinformationen gemäß der ersten beispielhaften Ausführungsform zeigt.
11 ist ein Diagramm, das ein Beispiel von Unterstützungsinformationen gemäß einer zweiten beispielhaften Ausführungsform zeigt.
12 ist ein Flussdiagramm, das ein Beispiel eines Erzeugungsprozesses für Unterstützungsinformationen gemäß der zweiten beispielhaften Ausführungsform zeigt.
13 ist ein Diagramm, das ein Beispiel von Unterstützungsinformationen gemäß einer dritten beispielhaften Ausführungsform zeigt.
14 ist ein Flussdiagramm, das ein Beispiel eines Erzeugungsprozesses für Unterstützungsinformationen gemäß der dritten beispielhaften Ausführungsform zeigt.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Nachstehend wird jede beispielhafte Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen beschrieben.
[Erste beispielhafte Ausführungsform]
Zunächst wird eine Konfiguration des medizinischen Informationssystems 1 beschrieben, auf das eine Unterstützungsvorrichtung für Dokumentenerstellung der vorliegenden Offenbarung angewendet wird.
1 ist ein Diagramm, das eine schematische Konfiguration des medizinischen Informationssystems 1 zeigt. Das in 1 gezeigte medizinische Informationssystem 1 ist, auf der Grundlage eines Untersuchungsauftrags von einem Arzt in einer medizinischen Abteilung unter Verwendung eines bekannten Auftragssystems, ein System zum Abbilden eines Untersuchungszielteils einer Untersuchungsperson, zum Speichern eines durch die Bildgebung erfassten medizinischen Bildes, zum Auswerten des medizinischen Bildes durch einen Radiologen und zum Erstellen eines Auswertungsberichts und zum Ansehen des Auswertungsberichts und zum detaillierten Betrachten des auszuwertenden medizinischen Bildes durch den Arzt in der medizinischen Abteilung, der eine Anfragequelle ist.
Wie in 1 gezeigt, ist das medizinische Informationssystem 1 so konfiguriert, dass es mehrere Bildgebungsvorrichtungen 2, mehrere Auswertungs-Workstations (WS) 3, die Auswertungsterminals sind, eine medizinische Versorgungs-WS 4, einen Bildserver 5, eine Bilddatenbank (DB) 6, einen Berichtsserver 7 und eine Berichts-DB 8 enthält, die via ein drahtgebundenes oder drahtloses Netzwerk 10 verbunden sind, um in der Lage zu sein, miteinander zu kommunizieren.
Jede Vorrichtung ist ein Computer, auf dem ein Anwendungsprogramm zum Veranlassen jeder Vorrichtung installiert ist, als eine Komponente des medizinischen Informationssystems 1 zu fungieren. Das Anwendungsprogramm wird auf einem Aufzeichnungsmedium, wie beispielsweise einer Digital Versatile Disc (DVD) oder einer Compact Disc Read-Only Memory (CD-ROM), aufgezeichnet und verteilt und von dem Aufzeichnungsmedium auf dem Computer installiert. Alternativ wird das Anwendungsprogramm in einer Speichervorrichtung eines Server-Computers, der mit dem Netzwerk 10 verbunden ist, oder in einem Netzwerkspeicher in einem Zustand gespeichert, in dem es von außen zugänglich ist, und wird als Reaktion auf eine Anforderung heruntergeladen und auf dem Computer installiert.
Die Bildgebungsvorrichtung 2 ist eine Vorrichtung (Modalität), die ein medizinisches Bild erzeugt, das einen Diagnosezielteil der Untersuchungsperson durch Bildgebung des Diagnosezielteils zeigt. Insbesondere enthalten Beispiele der Bildgebungsvorrichtung eine einfache Röntgenbildgebungsvorrichtung, eine CT-Vorrichtung, eine MRT-Vorrichtung, eine Positronen-Emissions-Tomographie (PET)-Vorrichtung und dergleichen. Das von der Bildgebungsvorrichtung 2 erzeugte medizinische Bild wird an den Bildserver 5 übertragen und in der Bild-DB 6 gespeichert.
Die Auswertungs-WS 3 ist ein Computer, der beispielsweise von einem Radiologen der Radiologieabteilung verwendet wird, um ein medizinisches Bild auszuwerten und einen Bildauswertungsbericht zu erstellen, und beinhaltet eine Unterstützungsvorrichtung 20 für Dokumentenerstellung (die später detailliert beschrieben wird) gemäß der vorliegenden beispielhaften Ausführungsform. In der Auswertungs-WS 3 werden eine Ansichtsanforderung für ein medizinisches Bild an den Bildserver 5, verschiedene Bildverarbeitungen für das von dem Bildserver 5 empfangene medizinische Bild, Anzeige des medizinischen Bildes und Eingabeempfang von Kommentaren zu Befunden in Bezug auf das medizinische Bild durchgeführt. In der Auswertungs-WS 3 werden ein Analyseprozess für medizinische Bilder und eingegebene Kommentare zu Befunden, Unterstützung zum Erstellen eines Auswertungsberichts auf der Grundlage des Analyseergebnisses, eine Registrierungsanforderung und eine Ansichtsanforderung für den Auswertungsbericht an den Berichtsserver 7 und Anzeige des von dem Berichtsserver 7 empfangenen Auswertungsberichts durchgeführt. Die obigen Prozesse werden von der Auswertungs-WS 3 durchgeführt, die Softwareprogramme für jeweilige Prozesse ausführt.
Die medizinische Versorgungs-WS 4 ist ein Computer, der von einem Arzt in einer medizinischen Abteilung verwendet wird, um ein Bild detailliert zu betrachten, einen Auswertungsbericht anzusehen, eine elektronische Krankenakte zu erstellen und dergleichen, und ist so konfiguriert, dass sie eine Verarbeitungsvorrichtung, eine Anzeigevorrichtung wie eine Anzeige und eine Eingabevorrichtung wie eine Tastatur und eine Maus enthält. In der medizinischen Versorgungs-WS 4 werden eine Ansichtsanforderung für das Bild an den Bildserver 5, Anzeige des von dem Bildserver 5 empfangenen Bildes, eine Ansichtsanforderung für den Auswertungsbericht an den Berichtsserver 7 und Anzeige des von dem Berichtsserver 7 empfangenen Auswertungsberichts durchgeführt. Die obigen Prozesse werden von der medizinischen Versorgungs-WS 4 durchgeführt, die Softwareprogramme für jeweilige Prozesse ausführt.
Der Bildserver 5 ist ein Allzweckcomputer, auf dem ein Softwareprogramm installiert ist, das eine Funktion eines Datenbankverwaltungssystems (database management system, DBMS) bereitstellt. Der Bildserver 5 umfasst einen Speicher, in dem die Bild-DB 6 konfiguriert ist. Dieser Speicher kann eine Festplattenvorrichtung sein, die über einen Datenbus mit dem Bildserver 5 verbunden ist, oder er kann ein Plattenvorrichtung sein, die mit einem Storage Area Network (SAN) oder einem Network Attached Storage (NAS) verbunden ist, das/der mit dem Netzwerk 10 verbunden ist. In einem Fall, in dem der Bildserver 5 eine Anforderung zur Registrierung eines medizinischen Bildes von der Bildgebungsvorrichtung 2 empfängt, bereitet der Bildserver 5 das medizinische Bild in einem Format für eine Datenbank vor und registriert das medizinische Bild in der Bild-DB 6.
Bilddaten des von der Bildgebungsvorrichtung 2 erfassten medizinischen Bildes und Zusatzinformationen werden in der Bild-DB 6 registriert. Die Zusatzinformationen enthalten zum Beispiel eine Bildidentifikation (ID) zum Identifizieren jedes medizinischen Bildes, eine Patienten-ID zum Identifizieren einer Untersuchungsperson, eine Untersuchungs-ID zum Identifizieren einer Untersuchung, eine eindeutige ID (UID: Unique Identification), die jedem medizinischen Bild zugewiesen wird, Untersuchungsdatum und Untersuchungszeit, zu der ein medizinisches Bild erzeugt wird, der Typ von Bildgebungsvorrichtung, der bei einer Untersuchung zum Erfassen eines medizinischen Bildes verwendet wird, Patienteninformationen wie der Name, das Alter und das Geschlecht eines Patienten, ein Untersuchungsteil (das heißt ein Bildgebungsteil), Bildgebungsinformationen (zum Beispiel ein Bildgebungsprotokoll, eine Bildgebungssequenz, ein Bildgebungsverfahren, Bildgebungsbedingungen, die Verwendung eines Kontrastmittels und dergleichen) und Informationen wie eine Seriennummer oder eine Sammlungsnummer in einem Fall, in dem mehrere medizinische Bilder bei einer Untersuchung erfasst werden.
Darüber hinaus sucht der Bildserver 5 in einem Fall, in dem die Ansichtsanforderung von der Auswertungs-WS 3 und der medizinischen Versorgungs-WS 4 über das Netzwerk 10 empfangen wird, nach einem in der Bild-DB 6 registrierten medizinischen Bild und überträgt das gesuchte medizinische Bild an die Auswertungs-WS 3 und die medizinische Versorgungs-WS 4, die Anforderungsquellen sind.
Der Berichtsserver 7 beinhaltet ein Softwareprogramm zum Bereitstellen einer Funktion eines Datenbankverwaltungssystems für einen Allzweckcomputer. In einem Fall, in dem der Berichtsserver 7 eine Anforderung zur Registrierung des Auswertungsberichts von der Auswertungs-WS 3 empfängt, bereitet der Berichtsserver 7 den Auswertungsbericht in einem Format für eine Datenbank vor und registriert den Auswertungsbericht in der Berichts-DB 8.
In der Berichts-DB 8 wird ein Auswertungsbericht registriert, der zumindest die von dem Radiologen unter Verwendung der Auswertungs-WS 3 erstellten Kommentare zu Befunden enthält. Der Auswertungsbericht kann beispielsweise Informationen wie ein auszuwertendes medizinisches Bild, eine Bild-ID zum Identifizieren des medizinischen Bildes, eine Radiologen-ID zum Identifizieren des Radiologen, der die Auswertung durchgeführt hat, einen Läsionsnamen, Informationen über eine Position einer Läsion, Informationen zum Zugreifen auf ein medizinisches Bild, das einen spezifischen Bereich enthält (was später detailliert beschrieben wird), und Eigenschaftsinformationen (was später detailliert beschrieben wird) enthalten.
Ferner sucht in einem Fall, in dem der Berichtsserver 7 die Ansichtsanforderung für den Auswertungsbericht von der Auswertungs-WS 3 und der medizinischen Versorgungs-WS 4 über das Netzwerk 10 empfängt, der Berichtsserver 7 nach dem Auswertungsbericht, der in der Berichts-DB 8 registriert ist, und überträgt den gesuchten Auswertungsbericht an die Auswertungs-WS 3 und die medizinische Versorgungs-WS 4, die Anforderungsquellen sind.
Das Netzwerk 10 ist ein drahtgebundenes oder drahtloses lokales Netzwerk, das verschiedene Vorrichtungen in einem Krankenhaus miteinander verbindet. In einem Fall, in dem die Auswertungs-WS 3 in einem anderen Krankenhaus oder einer Klinik installiert ist, kann das Netzwerk 10 so konfiguriert sein, dass es lokale Netzwerke von jeweiligen Krankenhäusern über das Internet oder eine dedizierte Leitung verbindet.
Als Nächstes wird die Unterstützungsvorrichtung 20 für Dokumentenerstellung gemäß der vorliegenden beispielhaften Ausführungsform beschrieben.
Zunächst wird unter Bezugnahme auf 2 eine Hardwarekonfiguration der Unterstützungsvorrichtung 20 für Dokumentenerstellung gemäß der vorliegenden beispielhaften Ausführungsform beschrieben. Wie in 2 gezeigt, enthält die Unterstützungsvorrichtung 20 für Dokumentenerstellung eine Zentraleinheit (central processing unit, CPU) 11, eine nichtflüchtige Speichereinheit 13 und einen Speicher 16 als einen temporären Speicherbereich. Ferner enthält die Unterstützungsvorrichtung 20 für Dokumentenerstellung eine Anzeigeeinheit 14, wie beispielsweise eine Flüssigkristallanzeige, eine Eingabeeinheit 15, wie beispielsweise eine Tastatur und eine Maus, und eine Netzwerkschnittstelle 17, die mit dem Netzwerk 10 verbunden ist. Die CPU 11, die Speichereinheit 13, die Anzeigeeinheit 14, die Eingabeeinheit 15, der Speicher 16 und die Netzwerkschnittstelle 17 sind mit einem Bus 18 verbunden. Die CPU 11 ist ein Beispiel eines Prozessors bei der vorliegenden Offenbarung.
Die Speichereinheit 13 wird durch ein Festplattenlaufwerk (hard disk drive, HDD), ein Solid-State-Laufwerk (solid state drive, SSD), einen Flash-Speicher und dergleichen realisiert. In der Speichereinheit 13 als einem Speichermedium wird ein Unterstützungsprogramm 12 für Dokumentenerstellung gespeichert. Die CPU 11 liest das Unterstützungsprogramm 12 für Dokumentenerstellung aus der Speichereinheit 13, lädt das gelesene Unterstützungsprogramm 12 für Dokumentenerstellung in den Speicher 16 und führt das geladene Unterstützungsprogramm 12 für Dokumentenerstellung aus.
Als Nächstes wird unter Bezugnahme auf 3 bis 6 eine funktionale Konfiguration der Unterstützungsvorrichtung 20 für Dokumentenerstellung gemäß der vorliegenden beispielhaften Ausführungsform beschrieben. Wie in 3 gezeigt, enthält die Unterstützungsvorrichtung 20 für Dokumentenerstellung eine Erfassungseinheit 21, eine Extraktionseinheit 22, eine Spezifizierungseinheit 23, eine Erzeugungseinheit 24 und eine Anzeigesteuereinheit 25. Die CPU 11, die das Unterstützungsprogramm 12 für Dokumentenerstellung ausführt, fungiert als die Erfassungseinheit 21, die Extraktionseinheit 22, die Spezifizierungseinheit 23, die Erzeugungseinheit 24 und die Anzeigesteuereinheit 25.
Die Erfassungseinheit 21 erfasst ein medizinisches Bild G0 als ein Beispiel des Bildes von dem Bildserver 5 via die Netzwerkschnittstelle 17. Ferner erfasst die Erfassungseinheit 21 Kommentare zu Befunden als ein Beispiel einer Zeichenkette in Bezug auf das medizinische Bild G0, das von dem Radiologen via die Eingabeeinheit 15 eingegeben wird.
4 ist ein Diagramm, das schematisch das medizinische Bild G0 zeigt. Bei der vorliegenden beispielhaften Ausführungsform wird als ein Beispiel als das medizinische Bild G0 ein CT-Bild einer Lunge verwendet, das aus m Tomographiebildern D1 bis Dm (m ist 1 oder mehr) besteht. In dem medizinischen Bild G0 enthält ein Tomographiebild DT1 eine noduläre Verschattung A1, und ein Tomographiebild DT2 enthält eine Infiltrationsverschattung A2.
Die Extraktionseinheit 22 extrahiert mindestens einen Merkmalsbereich, der in dem medizinischen Bild G0 enthalten ist. In diesem Fall extrahiert die Extraktionseinheit 22 den Merkmalsbereich auf der Grundlage mindestens einer Position, eines Typs oder einer Größe einer in dem medizinischen Bild G0 enthaltenen Struktur. Der Merkmalsbereich bezieht sich auf einen Bereich eines abgebildeten Merkmals, der zum Beispiel eine anormale Verschattung wie die noduläre Verschattung A1 und die Infiltrationsverschattung A2 als ein Beispiel einer Struktur enthält. Zum Beispiel analysiert die Extraktionseinheit 22 das medizinische Bild G0 via CAD oder dergleichen, extrahiert den Merkmalsbereich, der die noduläre Verschattung A1 enthält, aus dem Tomographiebild DT1 und extrahiert den Merkmalsbereich, der die Infiltrationsverschattung A2 enthält, aus dem Tomographiebild DT2. Als ein Verfahren zum Extrahieren des Merkmalsbereichs via die Extraktionseinheit 22 kann beispielsweise ein in obiger Literatur 1 beschriebenes Verfahren verwendet werden, aber das Verfahren ist nicht darauf beschränkt.
Bei der vorliegenden beispielhaften Ausführungsform enthalten die Informationen über den von der Extraktionseinheit 22 extrahierten Merkmalsbereich Informationen über die Größe und Position der anormalen Verschattung. Die Größe der anormalen Verschattung kann durch die vertikale und horizontale Größe jeder anormalen Verschattung ausgedrückt werden. Ferner kann der Durchmesser zum Zeitpunkt, zu dem die anormale Verschattung an einen Kreis angenähert wird, als die Größe verwendet werden. Die Position der anormalen Verschattung kann beispielsweise die Schwerpunktposition der anormalen Verschattung in jedem Tomographiebild sein. Ferner können als Informationen über die Größe und Position der anormalen Verschattung Koordinaten der vier Ecken eines Rechtecks verwendet werden, das die anormale Verschattung enthält.
Die Spezifizierungseinheit 23 spezifiziert einen spezifischen Bereich, der einer in den Kommentaren zu Befunden enthaltenen Phrase entspricht, in dem von der Extraktionseinheit 22 extrahierten Merkmalsbereich. Als ein Verfahren zum Spezifizieren des spezifischen Bereichs via die Spezifizierungseinheit 23 kann zum Beispiel das in „Stacked Cross Attention for Image-Text Matching“, (Kuang-Huei Lee et al., In European Conference on Computer Vision (ECCV), 2018) beschriebene Verfahren verwendet werden. Die obige Literatur offenbart eine Technik zum Spezifizieren eines Bereichs in einem Bild, der mit jedem Wort in einem Satz gemeint ist, indem die Ähnlichkeit jeder Kombination mehrerer Bereiche in dem Bild mit jeweils unterschiedlichen Merkmalen und mehrerer Wörter in dem Satz analysiert wird. Das Verfahren zum Spezifizieren des spezifischen Bereichs via die Spezifizierungseinheit 23 ist nicht auf das oben genannte beschränkt.
Die Erzeugungseinheit 24 erzeugt Informationen (nachstehend als „Unterstützungsinformationen“ bezeichnet) zum Unterstützen der Erstellung eines Auswertungsberichts auf der Grundlage des von der Spezifizierungseinheit 23 spezifizierten Ergebnisses. Die Anzeigesteuereinheit 25 zeigt auf der Anzeigeeinheit 14 einen Erstellbildschirm 30 für Auswertungsbericht an und steuert den Anzeigeinhalt des Erstellbildschirms 30 auf der Grundlage der von der Erzeugungseinheit 24 erzeugten Unterstützungsinformationen. Die Unterstützungsinformationen werden später detailliert beschrieben.
5 ist ein Diagramm, das ein Beispiel des Erstellbildschirms 30 für Auswertungsbericht zeigt, der auf der Anzeigeeinheit 14 angezeigt wird. Wie in 5 gezeigt, enthält der Erstellbildschirm 30 einen Bildanzeigebereich 40, in dem das medizinische Bild G0 angezeigt wird, und einen Eingabebereich 41, in dem der Inhalt von Kommentaren zu Befunden, die von dem Radiologen via die Eingabeeinheit 15 eingegeben werden, angezeigt wird. Bei dem Beispiel von 5 wird das Tomographiebild DT1, das den Merkmalsbereich enthält, der die noduläre Verschattung A1 enthält, in dem Bildanzeigebereich 40 angezeigt.
In einem Fall, in dem mehrere Merkmalsbereiche durch die Extraktionseinheit 22 extrahiert werden, kann ein Tomographiebild, das jeden Merkmalsbereich enthält, als ein Vorschaubild auf dem Erstellbildschirm 30 angezeigt werden. Der Erstellbildschirm 30 von 5 enthält beispielsweise ein Vorschaubild 55 des Tomographiebildes DT1, das den Merkmalsbereich enthält, der die noduläre Verschattung A1 enthält, und ein Vorschaubild 56 des Tomographiebildes DT2, das den Merkmalsbereich enthält, der die Infiltrationsverschattung A2 enthält. In diesem Fall kann der Radiologe via die Eingabeeinheit 15 ein Vorschaubild des Tomographiebildes auswählen, das in dem Bildanzeigebereich 40 angezeigt werden soll, und die Anzeigesteuereinheit 25 kann Steuerung so durchführen, dass das Tomographiebild, das dem ausgewählten Vorschaubild entspricht, in dem Bildanzeigebereich 40 angezeigt wird.
6 ist ein Diagramm, das den Erstellbildschirm 30 in einem Zustand zeigt, in dem der Inhalt der eingegebenen Kommentare zu Befunden angezeigt wird. In einem Fall, in dem der Radiologe via die Eingabeeinheit 15 „noduläre Verschattung auf dem Oberlappen S3 von linker Lunge“ eingibt, führt die Anzeigesteuereinheit 25 Steuerung so durch, dass eine Zeichenkette „noduläre Verschattung auf dem Oberlappen S3 von linker Lunge“ in dem Eingabebereich 41 angezeigt wird. Ferner spezifiziert die Spezifizierungseinheit 23 den Merkmalsbereich, der die noduläre Verschattung A1 enthält, als einen spezifischen Bereich, der der Phrase „noduläre Verschattung“ entspricht.
Als Nächstes werden unter Bezugnahme auf 7 und 8 die Unterstützung zum Erstellen des Auswertungsberichts via die Unterstützungsvorrichtung 20 für Dokumentenerstellung gemäß einer ersten beispielhaften Ausführungsform und die Unterstützungsinformationen detailliert beschrieben. 7 ist ein Diagramm, das den Erstellbildschirm 30 zeigt, auf dem Kommentare zu Befunden angezeigt werden, zu denen ein Hyperlink als ein Beispiel der Unterstützungsinformationen hinzugefügt wird.
Die Erzeugungseinheit 24 erzeugt einen Hyperlink 43A für das Tomographiebild DT1 als ein Beispiel für Informationen zum Zugreifen auf das Tomographiebild DT1, das den spezifischen Bereich enthält, der der Phrase „noduläre Verschattung“ entspricht. Ferner bettet die Erzeugungseinheit 24 den erzeugten Hyperlink 43A für das Tomographiebild DT1 in die Phrase „noduläre Verschattung“ in den Kommentaren zu Befunden ein. Der Hyperlink 43A kann einen Uniform Resource Locator (URL) enthalten, der einen Speicherort des Tomographiebildes DT1 angibt. Die Informationen zum Zugreifen auf das Tomographiebild DT1 sind nicht auf den Hyperlink beschränkt, sondern es kann beispielsweise auch die Koordinatenposition des Tomographiebildes DT1 in dem medizinischen Bild G0 verwendet werden.
Die Anzeigesteuereinheit 25 führt Steuerung so durch, dass die Kommentare zu Befunden, in denen der Hyperlink 43A für das Tomographiebild DT1 durch die Erzeugungseinheit 24 in die Phrase „noduläre Verschattung“ eingebettet ist, auf der Anzeigeeinheit 14 angezeigt werden. So kann in dem Beispiel von 7 das Tomographiebild DT1 durch Auswahl der Phrase „noduläre Verschattung“ in den Kommentaren zu Befunden zugegriffen werden.
8 ist ein Diagramm, das den Erstellbildschirm 30 in einem Fall zeigt, in dem der Radiologe ferner Kommentare zu Befunden hinzufügt. Wie in 8 gezeigt, spezifiziert die Spezifizierungseinheit 23 in einem Fall, in dem der Radiologe via die Eingabeeinheit 15 „Infiltrationsverschattung auf dem Unterlappen S6 von rechter Lunge“ eingibt, den Merkmalsbereich, der die Infiltrationsverschattung A2 enthält, als einen spezifischen Bereich, der der Phrase „Infiltrationsverschattung“ entspricht.
Die Erzeugungseinheit 24 erzeugt einen Hyperlink 43B für das Tomographiebild DT2, das den spezifischen Bereich enthält, der der Phrase „Infiltrationsverschattung“ entspricht. Ferner bettet die Erzeugungseinheit 24 den erzeugten Hyperlink 43B für das Tomographiebild DT2 in die Phrase „Infiltrationsverschattung“ in den Kommentaren zu Befunden ein. Der Hyperlink 43B kann einen URL enthalten, der einen Speicherort des Tomographiebildes DT2 angibt.
Die Anzeigesteuereinheit 25 führt Steuerung so durch, dass die Kommentare zu Befunden, in denen der Hyperlink 43B für das Tomographiebild DT2 durch die Erzeugungseinheit 24 in die Phrase „Infiltrationsverschattung“ eingebettet ist, auf der Anzeigeeinheit 14 angezeigt werden. So kann in dem Beispiel von 8 das Tomographiebild DT2 durch Auswahl der Phrase „Infiltrationsverschattung“ in den Kommentaren zu Befunden zugegriffen werden. In diesem Fall, wie in 8 gezeigt, führt die Anzeigesteuereinheit 25 Steuerung durch, so dass das Tomographiebild DT2 in dem Bildanzeigebereich 40 angezeigt wird.
Die Informationen zum Zugreifen auf das Bild, das den spezifischen Bereich enthält, der von der Erzeugungseinheit 24 wie oben beschrieben erzeugt wurde, sind in dem Auswertungsbericht enthalten und sind in der Berichts-DB 8 registriert. Daher ist es selbst in einem Fall, in dem der Auswertungsbericht von der Auswertungs-WS 3 und der medizinischen Versorgungs-WS 4 aus gesehen wird, möglich, die Phrase in den Kommentaren zu Befunden auszuwählen und dadurch auf das Bild zuzugreifen, das den spezifischen Bereich enthält, der der Phrase entspricht.
Zunächst werden unter Bezugnahme auf 9 Vorgänge der Unterstützungsvorrichtung 20 für Dokumentenerstellung gemäß der vorliegenden beispielhaften Ausführungsform beschrieben. Während CPU 11 das Unterstützungsprogramm 12 für Dokumentenerstellung ausführt, wird ein in 9 gezeigter Unterstützungsprozess für Dokumentenerstellung ausgeführt. Der in 9 gezeigte Unterstützungsprozess für Dokumentenerstellung wird beispielsweise in einem Fall ausgeführt, in dem eine Anweisung zum Starten der Erstellung eines Auswertungsberichts für das medizinische Bild G0 via die Eingabeeinheit 15 eingegeben wird.
In Schritt S10 von 9 erfasst die Erfassungseinheit 21 das medizinische Bild G0 von dem Bildserver 5 und erfasst die via die Eingabeeinheit 15 eingegebenen Kommentare zu Befunden in Bezug auf das medizinische Bild G0. In Schritt S12 extrahiert die Extraktionseinheit 22 mindestens einen Merkmalsbereich, der in dem in Schritt S10 erfassten medizinischen Bild G0 enthalten ist. In Schritt S14 spezifiziert die Spezifizierungseinheit 23 einen spezifischen Bereich, der ein Bereich ist, der einer Phrase entspricht, die in den in Schritt S10 erfassten Kommentaren zu Befunden enthalten ist, in dem in Schritt S12 extrahierten Merkmalsbereich.
In Schritt S16 erzeugt die Erzeugungseinheit 24 Unterstützungsinformationen zum Unterstützen der Erstellung des Auswertungsberichts auf der Grundlage des in Schritt S14 spezifizierten Ergebnisses. In Schritt S18 steuert die Anzeigesteuereinheit 25 den auf der Anzeigeeinheit 14 anzuzeigenden Inhalt auf der Grundlage der in Schritt S16 erzeugten Unterstützungsinformationen und beendet den Prozess.
10 ist ein Flussdiagramm, das Details eines Erzeugungsprozesses für Unterstützungsinformationen gemäß der ersten beispielhaften Ausführungsform zeigt, der in Schritt S16 von 9 durchgeführt wird. In Schritt S20 erzeugt die Erzeugungseinheit 24 Informationen zum Zugreifen auf das Bild, das den spezifischen Bereich enthält, der in Schritt S14 als die Unterstützungsinformationen spezifiziert ist. In Schritt S22 bettet die Erzeugungseinheit 24 Informationen zum Zugreifen auf das Bild, das den in Schritt S20 erzeugten spezifischen Bereich enthält, in die Phrase ein, die dem spezifischen Bereich entspricht, der in den Kommentaren zu Befunden enthalten ist.
Wie oben beschrieben, werden mit der Unterstützungsvorrichtung 20 für Dokumentenerstellung gemäß der vorliegenden beispielhaften Ausführungsform das medizinische Bild G0 und die auf das medizinischen Bild G0 bezogenen Kommentare zu Befunden erfasst, mindestens ein in dem medizinischen Bild G0 enthaltener Merkmalsbereich wird extrahiert, ein spezifischer Bereich, der ein Bereich ist, der der in den Kommentaren zu Befunden enthaltenen Phrase entspricht, wird in dem Merkmalsbereich spezifiziert, Informationen zum Zugreifen auf das medizinische Bild G0, das den spezifischen Bereich enthält, werden in die Phrase, die dem spezifischen Bereich entspricht, in den Kommentaren zu Befunden als die Informationen zum Unterstützen von Erstellung des Dokuments, das die Kommentare zu Befunden enthält, auf der Grundlage eines Ergebnisses der Spezifizierung eingebettet, und die eingebetteten Informationen werden auf der Anzeigeeinheit angezeigt. Daher ist es möglich, einen Auswertungsbericht so zu erstellen, dass unabhängig von der manuellen Eingabe des Radiologen bekannt ist, welches Tomographiebild in dem medizinischen Bild G0 zur Erkennung der in dem Auswertungsbericht beschriebenen Befunde verwendet werden kann, und somit ist es möglich, Erstellung von Dokumenten wie dem Bildauswertungsbericht zu unterstützen.
Bei der vorliegenden beispielhaften Ausführungsform werden die Kommentare zu Befunden, die von der Erfassungseinheit 21 erfasst wurden, von dem Radiologen via die Eingabeeinheit 15 eingegeben, aber die vorliegende Offenbarung ist darauf nicht beschränkt. Zum Beispiel offenbart JP2013-39230A eine Technik zum Verwenden eines Diskriminators, der darauf trainiert ist, Kommentare zu Befunden für Größe und Form einer Läsion und vermuteten Krankheitsnamen oder dergleichen auszugeben, indem er ein Analyseergebnis von CAD eingibt, um die Kommentare zu Befunden aus einem Analyseergebnis von CAD zu erzeugen. Diese Technik kann bei der vorliegenden beispielhaften Ausführungsform so angewandt werden, dass die Extraktionseinheit 22 einen Merkmalsbereich aus dem von der Erfassungseinheit 21 erfassten medizinischen Bild G0 extrahiert und aus dem extrahierten Merkmalsbereich Kommentare zu Befunden erzeugt. Ferner kann eine in JP1995-31591A ( JP-H7-31591A ) offenbarte Technik zum Erzeugen von Kommentaren zu Befunden auf der Grundlage einer festen Form angewendet werden. Mit der Form, in der die Kommentare zu Befunden auf diese Weise automatisch erzeugt werden, ist es möglich, die Erstellung eines Dokuments wie eines Auswertungsberichts zu unterstützen, und somit ist es möglich, die Belastung für den Radiologen zum Zeitpunkt von Erstellung des Auswertungsberichts zu reduzieren.
Ferner können bei der vorliegenden beispielhaften Ausführungsform in einem Fall, in dem es ein anderes Bild gibt, das dem medizinischen Bild G0 entspricht, das den spezifischen Bereich enthält, Informationen zum Zugreifen auf das andere Bild in eine Phrase, die dem spezifischen Bereich entspricht, in Kommentaren zu Befunden eingebettet werden und können auf der Anzeigeeinheit angezeigt werden. In einem Fall, in dem eine Nachbeobachtung der nodulären Verschattung A1 durchgeführt wird, können beispielsweise Informationen zum Zugreifen auf ein in der Vergangenheit aufgenommenes Tomographiebild, das dem Tomographiebild DT1 entspricht, das die noduläre Verschattung A1 enthält, in die Phrase „noduläre Verschattung“ in den Kommentaren zu Befunden eingebettet sein und können auf der Anzeigeeinheit angezeigt werden. Mit einer solchen Form ist es möglich, Erstellung eines Dokuments, wie zum Beispiel eines Auswertungsberichts, in einem Fall, in dem die Nachbeobachtung durchgeführt wird, zu unterstützen.
[Zweite beispielhafte Ausführungsform]
Als Nächstes wird eine zweite beispielhafte Ausführungsform der vorliegenden Offenbarung beschrieben. Bei der vorliegenden beispielhaften Ausführungsform unterscheiden sich der Inhalt der von der Erzeugungseinheit 24 erzeugten Unterstützungsinformationen und der von der Anzeigesteuereinheit 25 auf der Grundlage der Unterstützungsinformationen auf der Anzeigeeinheit 14 angezeigte Anzeigeinhalt auf dem Erstellbildschirm 30 von denen der ersten beispielhaften Ausführungsform. Die Konfiguration des medizinischen Informationssystems 1 (siehe 1), die Hardwarekonfiguration der Unterstützungsvorrichtung 20 für Dokumentenerstellung (siehe 2) und die funktionale Konfiguration (siehe 3) gemäß der vorliegenden beispielhaften Ausführungsform sind die gleichen wie die bei der ersten beispielhaften Ausführungsform, und somit wird die Beschreibung davon weggelassen.
Unter Bezugnahme auf 11 werden die Unterstützung zur Erstellung des Auswertungsberichts via die Unterstützungsvorrichtung 20 für Dokumentenerstellung gemäß der zweiten beispielhaften Ausführungsform und die Unterstützungsinformationen detailliert beschrieben. 11 ist ein Diagramm, das den Erstellbildschirm 30 zeigt, auf dem Eigenschaftsinformationen 44, die die Eigenschaft eines spezifischen Bereichs angeben, als ein Beispiel der Unterstützungsinformationen angezeigt werden.
Die Erzeugungseinheit 24 erzeugt die Eigenschaftsinformationen 44, die eine Eigenschaft eines spezifischen Bereichs angibt, der einer in der Zeichenkette enthaltenen Phrase entspricht. Die Anzeigesteuereinheit 25 führt Steuerung so durch, dass die von der Erzeugungseinheit 24 erzeugten Eigenschaftsinformationen 44 auf der Anzeigeeinheit 14 angezeigt werden. Die Eigenschaft des spezifischen Bereichs gibt beispielsweise die Eigenschaft wie Position, Größe und Form der in dem spezifischen Bereich enthaltenen Struktur an. Darüber hinaus kann die Erzeugungseinheit 24 Eigenschaftsinformationen 44 in Bezug auf einen vermuteten Krankheitsnamen, der in einem spezifischen Bereich vermutet wird, auf der Grundlage von Eigenschaften wie der Position, Größe und Form der Struktur erzeugen.
Beispielsweise analysiert die Erzeugungseinheit 24 einen spezifischen Bereich, der die noduläre Verschattung A1 in dem Tomographiebild DT1 enthält, via CAD oder dergleichen als Reaktion auf die Phrase „noduläre Verschattung“ und erzeugt die Eigenschaftsinformationen 44, die die Eigenschaften der nodulären Verschattung A1, die in dem spezifischen Bereich enthalten ist, angeben. Als ein Beispiel der Eigenschaftsinformationen 44 erzeugt die Erzeugungseinheit 24 positive Informationen 44A für „φ21 mm groß“, „lobulär +“ und „Festigkeit +“, negative Informationen 44B für „Verkalkung -“ und Krankheitsnameninformationen 44C für „Verdacht auf Plattenepithelkarzinom“. Hier geben die Eigenschaftsinformationen, zu denen ein „+“ hinzugefügt wird, an, dass die Eigenschaft positiv ist, und die Eigenschaftsinformationen, zu denen ein „-" hinzugefügt wird, geben an, dass die Eigenschaft negativ ist.
Als ein Verfahren zum Erzeugen der Eigenschaftsinformationen 44 via die Erzeugungseinheit 24 kann beispielsweise ein in Literatur 1 beschriebenes Verfahren verwendet werden, aber das Verfahren ist nicht darauf beschränkt.
12 ist ein Flussdiagramm, das Details eines Erzeugungsprozesses für Unterstützungsinformationen gemäß der zweiten beispielhaften Ausführungsform zeigt, der in Schritt S16 von 9 durchgeführt wird. In Schritt S30 analysiert die Erzeugungseinheit 24 den spezifischen Bereich, der in Schritt S14 spezifiziert ist. In Schritt S32 erzeugt die Erzeugungseinheit 24 auf der Grundlage der Analyse Eigenschaftsinformationen, die die Eigenschaft des spezifischen Bereichs als die Unterstützungsinformationen angeben.
Wie oben beschrieben, werden mit der Unterstützungsvorrichtung 20 für Dokumentenerstellung gemäß der vorliegenden beispielhaften Ausführungsform das medizinische Bild G0 und die auf das medizinische Bild G0 bezogenen Kommentare zu Befunden erfasst, mindestens ein in dem medizinischen Bild G0 enthaltener Merkmalsbereich wird extrahiert, ein spezifischer Bereich, der ein Bereich ist, der der in den Kommentaren zu Befunden enthaltenen Phrase entspricht, wird in dem Merkmalsbereich spezifiziert, Eigenschaftsinformationen, die die Eigenschaft des spezifischen Bereichs angeben, werden als die Informationen zum Unterstützen der Erstellung des Dokuments, das die Kommentare zu Befunden enthält, auf der Grundlage eines Ergebnisses der Spezifizierung erzeugt, und die Eigenschaftsinformationen werden auf der Anzeigeeinheit angezeigt. Daher kann der Radiologe die Eigenschaft des spezifischen Bereichs überprüfen, bevor er die Kommentare zu Befunden in Bezug auf die Eigenschaft des spezifischen Bereichs erstellt, wodurch es möglich ist, das Übersehen der Befunde zu unterdrücken und Erstellung eines Dokuments wie des Auswertungsberichts zu unterstützen.
Bei der vorliegenden beispielhaften Ausführungsform kann die Anzeigesteuereinheit 25 jedes Anzeigeverfahren so ändern, dass die Eigenschaftsinformationen 44 zwischen den positiven Informationen 44A, den negativen Informationen 44B und den Krankheitsnameninformationen 44C unterschieden werden können. Wie in 11 gezeigt, kann beispielsweise eine Hintergrundfarbe für jede der positiven Informationen 44A, der negativen Informationen 44B und der Krankheitsnameninformationen 44C geändert werden. Mit einer solchen Form kann der Benutzer leicht wissen, ob die verschiedenen Eigenschaftsinformationen 44 positiv, negativ oder ein vermuteter Krankheitsname sind.
Ferner wurde bei der vorliegenden beispielhaften Ausführungsform die Form beschrieben, in der die Erzeugungseinheit 24 die Eigenschaftsinformationen 44 erzeugt, aber die vorliegende Offenbarung ist nicht darauf beschränkt. Zum Beispiel kann die Extraktionseinheit 22 den Merkmalsbereich aus dem medizinischen Bild G0 extrahieren und die Eigenschaftsinformationen 44 über den Merkmalsbereich im Voraus erzeugen. In diesem Fall können, nachdem die in der Zeichenkette enthaltenen Phrasen erfasst wurden, die Eigenschaftsinformationen 44 auf der Anzeigeeinheit 14 angezeigt werden, ohne dass der spezifische Bereich via CAD oder dergleichen analysiert wird.
Ferner sind bei der vorliegenden beispielhaften Ausführungsform die Eigenschaftsinformationen 44 nicht auf die positiven Informationen 44A, die negativen Informationen 44B und die Krankheitsnameninformationen 44C, wie in 11 gezeigt, beschränkt. Zum Beispiel offenbart JP2013-39230A eine Technik zum Verwenden eines Diskriminators, der darauf trainiert ist, Kommentare zu Befunden für Größe und Form einer Läsion und vermuteten Krankheitsnamen oder dergleichen auszugeben, indem er ein Analyseergebnis von CAD eingibt, um die Kommentare zu Befunden aus einem Analyseergebnis von CAD zu erzeugen. Die Technik kann auf die vorliegende beispielhafte Ausführungsform so angewandt werden, dass sie eine Form annimmt, in der Kommentare zu Befunden, die eine Eigenschaft eines spezifischen Bereichs angeben, als die Eigenschaftsinformationen 44 erzeugt werden. Ferner kann eine in JP1995-31591A (JP-H7-31591A) offenbarte Technik zum Erzeugen von Kommentaren zu Befunden auf der Grundlage einer festen Form angewendet werden. Mit der Form, in der die Kommentare zu Befunden auf diese Weise automatisch erzeugt werden, ist es möglich, die Erstellung eines Dokuments wie eines Auswertungsberichts zu unterstützen, und somit ist es möglich, die Belastung für den Radiologen zum Zeitpunkt von Erstellung des Auswertungsberichts zu reduzieren.
[Dritte beispielhafte Ausführungsform]
Als Nächstes wird eine dritte beispielhafte Ausführungsform der vorliegenden Offenbarung beschrieben. Bei der vorliegenden beispielhaften Ausführungsform unterscheiden sich der Inhalt der von der Erzeugungseinheit 24 erzeugten Unterstützungsinformationen und der von der Anzeigesteuereinheit 25 auf der Grundlage der Unterstützungsinformationen auf der Anzeigeeinheit 14 angezeigte Anzeigeinhalt auf dem Erstellbildschirm 30 von denen der ersten beispielhaften Ausführungsform. Die Konfiguration des medizinischen Informationssystems 1 (siehe 1), die Hardwarekonfiguration der Unterstützungsvorrichtung 20 für Dokumentenerstellung (siehe 2) und die funktionale Konfiguration (siehe 3) gemäß der vorliegenden beispielhaften Ausführungsform sind die gleichen wie die bei der ersten beispielhaften Ausführungsform, und somit wird die Beschreibung davon weggelassen.
Unter Bezugnahme auf 13 werden die Unterstützung zur Erstellung des Auswertungsberichts via die Unterstützungsvorrichtung 20 für Dokumentenerstellung gemäß der dritten beispielhaften Ausführungsform und die Unterstützungsinformationen detailliert beschrieben. 13 ist ein Diagramm, das den Erstellbildschirm 30 zeigt, auf dem Eigenschaftsinformationen 44, die die Eigenschaft eines spezifischen Bereichs angeben, und eine auf den Eigenschaftsinformationen 44 basierende Warnung 45 als ein Beispiel der Unterstützungsinformationen angezeigt werden. Die Eigenschaftsinformationen 44 sind dieselben wie die der zweiten beispielhaften Ausführungsform, und somit wird die Beschreibung davon weggelassen. Das Beispiel von 13 zeigt eine Form, in der die Eigenschaftsinformationen 44 auf dem Erstellbildschirm 30 angezeigt werden, aber es kann sein, dass die Eigenschaftsinformationen 44 nicht auf dem Erstellbildschirm 30 angezeigt werden.
Die Erzeugungseinheit 24 erzeugt die Eigenschaftsinformationen 44, die eine Eigenschaft eines spezifischen Bereichs angeben, der der in der Zeichenkette enthaltenen Phrase entspricht, und erzeugt Warninformationen zum Ausgeben der Warnung 45 in einem Fall, in dem die auf den spezifischen Bereich bezogene Phrase in der Zeichenkette nicht mit den Eigenschaftsinformationen 44 übereinstimmt. Die Anzeigesteuereinheit 25 führt Steuerung so durch, dass die Warnung 45 auf der Anzeigeeinheit 14 auf der Grundlage der von der Erzeugungseinheit 24 erzeugten Warninformationen angezeigt wird. Hier sind die Eigenschaftsinformationen 44 dieselben wie die der zweiten beispielhaften Ausführungsform, und somit wird die Beschreibung davon weggelassen.
Zum Beispiel erzeugt die Erzeugungseinheit 24 negative Informationen 44B für „Verkalkung -“ als die Eigenschaftsinformationen 44 über einen spezifischen Bereich, der der Phrase „noduläre Verschattung“ entspricht. Als Nächstes wird die Phrase „Verkalkung ist beinhaltet.“ in Bezug auf den spezifischen Bereich, der von der Erfassungseinheit 21 erfasst wurde, analysiert, und es wird bestimmt, dass der Inhalt nicht mit den negativen Informationen 44B von „Verkalkung -“ übereinstimmt. Dann werden Warninformationen zum Ausgeben der Warnung 45 erzeugt, die eine Wellenlinie unter der Phrase „Verkalkung ist beinhaltet.“ anzeigt.
Das Verfahren für die Warnung 45 ist nicht darauf beschränkt, eine Wellenlinie unter einer Phrase anzuzeigen, die nicht mit den Eigenschaftsinformationen 44 übereinstimmt, und es können zum Beispiel Techniken wie Änderung der Farbe der Phrase, Anzeige eines Pop-up-Bildschirms, Ertönen eines Alarms oder dergleichen verwendet werden.
14 ist ein Flussdiagramm, das Details eines Erzeugungsprozesses für Unterstützungsinformationen gemäß der dritten beispielhaften Ausführungsform zeigt, der in Schritt S16 von 9 durchgeführt wird. In Schritt S40 analysiert die Erzeugungseinheit 24 den spezifischen Bereich, der in Schritt S14 spezifiziert ist. In Schritt S42 erzeugt die Erzeugungseinheit 24 Eigenschaftsinformationen, die die Eigenschaft des spezifischen Bereichs auf der Grundlage der Analyse angeben. In Schritt S44 bestimmt die Erzeugungseinheit 24, ob die Phrase, die dem in den Kommentaren zu Befunden enthaltenen Merkmalsbereich entspricht, und die in Schritt S42 erzeugten Eigenschaftsinformationen übereinstimmen oder nicht. In einem Fall, in dem bestimmt wird, dass die beiden übereinstimmen, endet die Erzeugungseinheit 24 die vorliegende Routine. Andererseits, in einem Fall, in dem bestimmt wird, dass die beiden nicht übereinstimmen, erzeugt die Erzeugungseinheit 24 in Schritt S46 als die Unterstützungsinformationen Warninformationen zum Warnen, dass die beiden nicht übereinstimmen.
Wie oben beschrieben, werden mit der Unterstützungsvorrichtung 20 für Dokumentenerstellung gemäß der vorliegenden beispielhaften Ausführungsform das medizinische Bild G0 und die auf das medizinische Bild G0 bezogenen Kommentare zu Befunden erfasst, mindestens ein in dem medizinischen Bild G0 enthaltener Merkmalsbereich wird extrahiert, ein spezifischer Bereich, der ein Bereich ist, der der in den Kommentaren zu Befunden enthaltenen Phrase entspricht, wird in dem Merkmalsbereich spezifiziert, Eigenschaftsinformationen, die die Eigenschaft des spezifischen Bereichs angeben, werden als die Informationen zum Unterstützen von Erstellung des Dokuments, das die Kommentare zu Befunden enthält, auf der Grundlage eines Ergebnisses der Spezifizierung erzeugt, und eine Warnung wird in einem Fall ausgegeben, in dem die Phrase, die sich auf den spezifischen Bereich bezieht, in der Zeichenkette nicht mit den Eigenschaftsinformationen übereinstimmt. Daher ist es möglich, Fehldiagnosen durch den Radiologen zu unterdrücken und Erstellung eines Dokuments wie des Auswertungsberichts zu unterstützen.
Bei jeder der obigen beispielhaften Ausführungsformen können die Prozesse der Erzeugungseinheit 24 und der Anzeigesteuereinheit 25, die bei jeder von der ersten beispielhaften Ausführungsform, der zweiten beispielhaften Ausführungsform und der dritten beispielhaften Ausführungsform beschrieben sind, in einer geeignet kombinierten Form durchgeführt werden.
Ferner kann die Erzeugungseinheit 24 bei jeder der obigen beispielhaften Ausführungsformen ein Bild erzeugen, in dem eine Markierung, die die Position des spezifischen Bereichs angibt, zu dem medizinischen Bild G0, das den spezifischen Bereich enthält, hinzugefügt ist. In den Beispielen von 7, 11 und 13 ist in dem Tomographiebild DT1 der spezifische Bereich, der der von der Spezifizierungseinheit 23 spezifizierten Phrase „noduläre Verschattung“ entspricht, von einem gestrichelten Rechteck 50 umgeben. Ferner ist beispielsweise in dem Beispiel von 8 in dem Tomographiebild DT2 der spezifische Bereich, der der von der Spezifizierungseinheit 23 spezifizierten Phrase „Infiltrationsverschattung“ entspricht, von dem gestrichelten Rechteck 50 umgeben. Dies erleichtert es beispielsweise einem Leser des Auswertungsberichts, den Bereich in dem Bild zu sehen, der die Grundlage der anormalen Verschattung ist, ohne dass der Radiologe Kommentare zu Befunden in Bezug auf die Position der anormalen Verschattung bereitstellen muss. Darüber hinaus erleichtert dies dem Leser des Auswertungsberichts selbst in einem Fall, in dem mehrere anormale Verschattungen in demselben Tomographiebild gefunden werden, zu sehen, welche anormale Verschattung der Bereich ist, der die Grundlage der Kommentare zu Befunden ist. Daher ist es möglich, Erstellung eines Dokuments wie des Auswertungsberichts zu unterstützen.
Ferner kann die Erzeugungseinheit 24 bei jeder der obigen beispielhaften Ausführungsformen ein Bild erzeugen, in dem eine Markierung, die die Position des Merkmalsbereichs angibt, zu dem medizinischen Bild G0, das den Merkmalsbereich enthält, hinzugefügt ist. In den Beispielen von 5 und 6 ist der Merkmalsbereich, der die von der Extraktionseinheit 22 extrahierte noduläre Verschattung A1 enthält, in dem Tomographiebild DT1 beispielsweise von dem gestrichelten Rechteck 50 umgeben. In einem Fall, in dem mehrere Merkmalsbereiche in demselben Tomographiebild enthalten sind, kann jedes Bild mit einer Markierung erzeugt werden, die die Position jedes Merkmalsbereichs angibt, oder es kann ein Bild mit Markierungen erzeugt werden, die die Positionen der jeweiligen Merkmalsbereiche angeben. Dies ermöglicht beispielsweise die leichte Anzeige der Position des Merkmalsbereichs auf der Anzeigeeinheit 14 vor Eingabe der Kommentare zu Befunden durch den Radiologen und somit ist es möglich, Übersehen einer anormalen Verschattung durch den Radiologen zu unterdrücken und es ist möglich, Erstellung eines Dokuments wie des Auswertungsberichts zu unterstützen.
Die Markierung, die die Positionen des spezifischen Bereichs und des Merkmalsbereichs angibt, ist nicht auf das gestrichelte Rechteck 50 beschränkt, sondern es können verschiedene Markierungen wie beispielsweise ein Polygon, ein Kreis, ein Pfeil oder dergleichen sein, und der Linientyp der Markierung (beispielsweise eine durchgezogene Linie, eine gestrichelte Linie und eine gepunktete Linie), Linienfarbe, Liniendicke oder dergleichen können nach Bedarf geändert werden.
Ferner kann bei jeder der obigen beispielhaften Ausführungsformen jeder Prozess der Extraktionseinheit 22, der Spezifizierungseinheit 23 und der Erzeugungseinheit 24 in der Unterstützungsvorrichtung 20 für Dokumentenerstellung, die in der Auswertungs-WS 3 beinhaltet ist, von einer externen Vorrichtung durchgeführt werden, zum Beispiel einem anderen Analyseserver, der mit dem Netzwerk 10 verbunden ist. In diesem Fall empfängt die externe Vorrichtung die Zeichenkette von der Unterstützungsvorrichtung 20 für Dokumenterstellung, erfasst das medizinische Bild G0, das der Zeichenkette entspricht, von dem Bildserver 5, extrahiert den Merkmalsbereich aus dem medizinischen Bild G0, spezifiziert den spezifischen Bereich aus der Zeichenkette und dem Merkmalsbereich und erzeugt die Unterstützungsinformationen auf der Grundlage eines Ergebnisses der Spezifizierung. Die Unterstützungsvorrichtung 20 für Dokumenterstellung überträgt die von der Erfassungseinheit 21 erfasste Zeichenkette an die externe Vorrichtung und steuert den auf der Anzeigeeinheit 14 anzuzeigenden Anzeigeinhalt durch die Anzeigesteuereinheit 25 auf der Grundlage der von der externen Vorrichtung erzeugten Unterstützungsinformationen.
Ferner kann bei jeder der obigen beispielhaften Ausführungsformen ein bekanntes Spracheingabesystem auf die Unterstützungsvorrichtung 20 für Dokumentenerstellung angewendet werden, um die Zeichenkette, die sich auf das medizinische Bild G0 bezieht, per Sprache einzugeben.
Ferner wird die vorliegende Offenbarung bei jeder der obigen beispielhaften Ausführungsformen zum Zeitpunkt einer Erstellung eines Auswertungsberichts als ein Dokument angewandt, aber die vorliegende Offenbarung kann zum Zeitpunkt einer Erstellung anderer medizinischer Dokumente als des Auswertungsberichts angewandt werden, wie beispielsweise einer elektronischen Krankenakte und eines Diagnoseberichts und von Dokumenten, die eine Zeichenkette in Bezug auf andere Bilder beinhalten.
Ferner ist bei jeder der obigen beispielhaften Ausführungsformen, obwohl der Unterstützungsprozess für Erstellung von Auswertungsbericht unter Verwendung eines medizinischen Bildes G0 mit der Lunge als das Diagnoseziel durchgeführt wird, das Diagnoseziel nicht auf die Lunge beschränkt. Zusätzlich zu der Lunge kann jeder Teil eines menschlichen Körpers, wie zum Beispiel Herz, Leber, Gehirn und Gliedmaßen, diagnostiziert werden.
Bei jeder der obigen beispielhaften Ausführungsformen können beispielsweise als Hardwarestrukturen von Verarbeitungseinheiten, die verschiedene Arten von Verarbeitung ausführen, wie der Erfassungseinheit 21, der Extraktionseinheit 22, der Spezifizierungseinheit 23, der Erzeugungseinheit 24 und der Anzeigesteuereinheit 25, verschiedene unten gezeigte Prozessoren verwendet werden. Wie oben beschrieben, enthalten die verschiedenen Prozessoren eine programmierbare Logikvorrichtung (programmable logic device, PLD) als einen Prozessor, dessen Schaltungskonfiguration nach Herstellung geändert werden kann, wie beispielsweise ein Field Programmable Gate Array (FPGA), eine dedizierte elektrische Schaltung als einen Prozessor, der eine dedizierte Schaltungskonfiguration zum Ausführen spezifischer Verarbeitungen aufweist, wie eine anwendungsspezifische integrierte Schaltung (application-specific intergrated circuit, ASIC), und dergleichen, zusätzlich zu der CPU als einem Allzweckprozessor, der als verschiedene Verarbeitungseinheiten durch Ausführen von Software (Programmen) fungiert.
Eine Verarbeitungseinheit kann durch einen der verschiedenen Prozessoren konfiguriert sein, oder sie kann durch eine Kombination der gleichen oder verschiedener Arten von zwei oder mehr Prozessoren konfiguriert sein (zum Beispiel eine Kombination mehrerer FPGAs oder eine Kombination aus der CPU und dem FPGA). Darüber hinaus können mehrere Verarbeitungseinheiten durch einen Prozessor konfiguriert werden. Als ein Beispiel, bei dem mehrere Verarbeitungseinheiten durch einen Prozessor konfiguriert werden, gibt es erstens eine Form, bei der ein Prozessor durch eine Kombination von einer oder mehreren CPUs und Software, wie sie von einem Computer, wie einem Client oder einem Server, typisiert wird, konfiguriert wird und dieser Prozessor als mehrere Verarbeitungseinheiten fungiert. Zweitens gibt es eine Form, bei der ein Prozessor zum Realisieren der Funktion des gesamten Systems einschließlich mehrerer Verarbeitungseinheiten via einem IC (integrated circuit, integrierte Schaltung) -Chip, wie durch einen System On Chip (SoC) oder dergleichen typisiert, verwendet wird. Auf diese Weise sind verschiedenen Verarbeitungseinheiten von einem oder mehreren der vorstehend beschriebenen verschiedenen Prozessoren als Hardwarestrukturen konfiguriert.
Ferner kann als die Hardwarestruktur der verschiedenen Prozessoren, weiter insbesondere eine elektrische Schaltung (Schaltkreis), bei der Schaltungselemente wie Halbleiterelemente kombiniert sind, verwendet werden.
Die Offenbarung der am 29. November 2019 eingereichten japanischen Patentanmeldung Nr. 2019-217419 ist hierin durch Bezugnahme in ihrer Gesamtheit aufgenommen. Ferner werden alle hierin beschriebenen Literaturen, Patentanmeldungen und technischen Normen durch Bezugnahme im gleichen Umfang aufgenommen, wie wenn die individuellen Literaturen, Patentanmeldungen und technischen Normen spezifisch und individuell angegeben werden, um durch Bezugnahme aufgenommen zu werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017021648 A [0004]
JP 2013039230 A [0057, 0068]
JP 7031591 A [0057, 0068]
JP H731591 A [0057]
JP 2019217419 [0087]

Claims

Unterstützungsvorrichtung für Dokumentenerstellung, die mindestens einen Prozessor umfasst, wobei der Prozessor so konfiguriert ist, dass er ein Bild und eine auf das Bild bezogene Zeichenkette erfasst, mindestens einen in dem Bild enthaltenen Merkmalsbereich extrahiert, einen spezifischen Bereich, der ein Bereich ist, der einer in der Zeichenkette enthaltenen Phrase entspricht, in dem Merkmalsbereich spezifiziert, und Informationen zum Unterstützen von Erstellung eines Dokuments, das die Zeichenkette enthält, auf der Grundlage eines Ergebnisses der Spezifizierung präsentiert.
Unterstützungsvorrichtung für Dokumentenerstellung nach Anspruch 1, wobei der Prozessor so konfiguriert ist, dass er Informationen zum Zugreifen auf ein Bild, das den spezifischen Bereich enthält, in eine Phrase, die dem spezifischen Bereich entspricht, in der Zeichenkette einbettet und die Informationen auf einer Anzeigeeinheit anzeigt.
Unterstützungsvorrichtung für Dokumentenerstellung nach Anspruch 1 oder 2, wobei der Prozessor so konfiguriert ist, dass er Eigenschaftsinformationen erzeugt, die eine Eigenschaft des spezifischen Bereichs angeben, und die Eigenschaftsinformationen auf einer Anzeigeeinheit anzeigt.
Unterstützungsvorrichtung für Dokumentenerstellung nach einem der Ansprüche 1 bis 3, wobei der Prozessor so konfiguriert ist, dass er Eigenschaftsinformationen erzeugt, die eine Eigenschaft des spezifischen Bereichs angeben, und eine Warnung in einem Fall ausgibt, in dem eine auf den spezifischen Bereich bezogene Phrase in der Zeichenkette nicht mit den Eigenschaftsinformationen übereinstimmt.
Unterstützungsvorrichtung für Dokumentenerstellung nach einem der Ansprüche 1 bis 4, wobei der Prozessor so konfiguriert ist, dass er ein Bild erzeugt, in dem eine Markierung, die eine Position des spezifischen Bereichs angibt, zu einem Bild hinzugefügt ist, das den spezifischen Bereich enthält.
Unterstützungsvorrichtung für Dokumentenerstellung nach einem der Ansprüche 1 bis 5, wobei der Prozessor so konfiguriert ist, dass er den Merkmalsbereich auf der Grundlage mindestens einer Position, eines Typs oder einer Größe einer in dem Bild enthaltenen Struktur extrahiert.
Unterstützungsverfahren für Dokumentenerstellung, umfassend: Erfassen eines Bildes und einer auf das Bild bezogenen Zeichenkette; Extrahieren mindestens eines in dem Bild enthaltenen Merkmalsbereichs; Spezifizieren eines spezifischen Bereichs, der ein Bereich ist, der einer in der Zeichenkette enthaltenen Phrase entspricht, in dem Merkmalsbereich; und Präsentieren von Informationen zum Unterstützen von Erstellung eines Dokuments, das die Zeichenkette enthält, auf der Grundlage eines Ergebnisses der Spezifizierung.
Unterstützungsprogramm für Dokumentenerstellung zum Veranlassen eines Computers, einen Prozess auszuführen, der umfasst: Erfassen eines Bildes und einer auf das Bild bezogenen Zeichenkette; Extrahieren mindestens eines in dem Bild enthaltenen Merkmalsbereichs; Spezifizieren eines spezifischen Bereichs, der ein Bereich ist, der einer in der Zeichenkette enthaltenen Phrase entspricht, in dem Merkmalsbereich; und Präsentieren von Informationen zum Unterstützen von Erstellung eines Dokuments, das die Zeichenkette enthält, auf der Grundlage eines Ergebnisses der Spezifizierung.