DE112021005393T5

DE112021005393T5 - Endoskopische bildaufnahmevorrichtung, endoskopisches bildaufnahmeverfahren und endoskopisches bildaufnahmeprogramm

Info

Publication number: DE112021005393T5
Application number: DE112021005393.0T
Authority: DE
Inventors: Azuma Takahashi
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2020-10-12
Filing date: 2021-09-29
Publication date: 2023-08-31
Also published as: WO2022080141A1; US20230245311A1; JPWO2022080141A1

Abstract

Ein Prozessor erfasst ein endoskopisches Bild einer zu untersuchenden Untersuchungsperson, das von einem in einen Körper der zu untersuchenden Untersuchungsperson eingeführten Endoskop aufgenommen wird. Der Prozessor sucht aus mehreren diagnostizierten endoskopischen Bildern unter Bezugnahme auf eine externe Vorrichtung, in der die mehreren diagnostizierten endoskopischen Bilder und Diagnoseprotokolle über die jeweiligen diagnostizierten endoskopischen Bilder, einschließlich Positionsinformationen, die eine Position einer Erkrankung angeben, gespeichert werden, nach einem ähnlichen endoskopischen Bild, das Eigenschaften aufweist, die Eigenschaften des erfassten endoskopischen Bildes ähnlich sind. Der Prozessor verwendet die Positionsinformationen, die in dem Diagnoseprotokoll über das ähnliche endoskopische Bild enthalten sind, um eine Bildaufnahmeposition, an der ein Bild einer in der zu untersuchenden Untersuchungsperson zu erwartenden Erkrankung aufgenommen werden kann, in der zu untersuchenden Untersuchungsperson zu spezifizieren, und benachrichtigt über die spezifizierte Bildaufnahmeposition.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Offenbarung betrifft eine endoskopische Bildaufnahmevorrichtung, ein endoskopisches Bildaufnahmeverfahren und ein endoskopisches Bildaufnahmeprogramm.
2. Beschreibung des Standes der Technik
Es wurde eine Suchvorrichtung für ähnliche Fälle vorgeschlagen, die aus mehreren Fallbildern nach einem ähnlichen Fallbild sucht, das einem zu diagnostizierenden Bild ähnlich ist. JP2018-180631A1 und JP2017-199635A1 schlagen beispielsweise ein Verfahren des Suchens nach einem ähnlichen Fall vor, der ein Bild, das einem von einer endoskopischen Bildaufnahmevorrichtung erfassten Bild ähnlich ist, und ähnliche Krankheitsinformationen enthält.
ZUSAMMENFASSUNG DER ERFINDUNG
In JP2018-180631A1 und JP2017-199635A1 wird jedoch nicht vorgeschlagen, wie der gesuchte ähnliche Fall für endoskopische Bildaufnahme zu nutzen ist und wie die Genauigkeit einer Diagnose unter Verwendung eines endoskopischen Bildes verbessert werden kann.
Die vorliegende Offenbarung wurde unter Berücksichtigung der oben erwähnten Umstände gemacht, und eine Aufgabe der vorliegenden Offenbarung besteht darin, in der Lage zu sein, die Genauigkeit einer Diagnose unter Verwendung eines endoskopischen Bildes durch Verwenden eines ähnlichen Falls über ein endoskopisches Bild für endoskopische Bildaufnahme zu verbessern.
Eine endoskopische Bildaufnahmevorrichtung gemäß einem Aspekt der vorliegenden Offenbarung umfasst mindestens einen Prozessor, und der Prozessor erfasst ein endoskopisches Bild einer zu untersuchenden Untersuchungsperson, das von einem in einen Körper der zu untersuchenden Untersuchungsperson eingeführten Endoskop aufgenommen wird, sucht aus mehreren diagnostizierten endoskopischen Bildern unter Bezugnahme auf eine externe Vorrichtung, in der die mehreren diagnostizierten endoskopischen Bilder und Diagnoseprotokolle über die jeweiligen diagnostizierten endoskopischen Bilder, einschließlich Positionsinformationen, die eine Position einer Erkrankung angeben, gespeichert werden, nach einem ähnlichen endoskopischen Bild, das Eigenschaften aufweist, die Eigenschaften des erfassten endoskopischen Bildes ähnlich sind, verwendet die Positionsinformationen, die in dem Diagnoseprotokoll über das ähnliche endoskopische Bild enthalten sind, um eine Bildaufnahmeposition, an der ein Bild einer in der zu untersuchenden Untersuchungsperson zu erwartenden Erkrankung aufgenommen werden kann, in der zu untersuchenden Untersuchungsperson zu spezifizieren, und benachrichtigt über die spezifizierte Bildaufnahmeposition.
„Endoskopisches Bild“ ist ein Video, das aus mehreren Einzelbildern gebildet ist. Das endoskopische Bild wird durch kontinuierliche Bildaufnahme in der zu untersuchenden Untersuchungsperson erfasst, und die Anzahl an Einzelbildern des endoskopischen Bildes wird im Laufe der Zeit erhöht.
„Diagnostiziertes endoskopisches Bild“ bedeutet ein endoskopisches Bild, das für eine Diagnose bereitgestellt wird und über das ein Diagnoseprotokoll erzeugt wird.
Bei der endoskopischen Bildaufnahmevorrichtung gemäß dem Aspekt der vorliegenden Offenbarung kann der Prozessor eine aktuelle Position eines distalen Endes des Endoskops in der zu untersuchenden Untersuchungsperson spezifizieren, ein Bild anzeigen, das ein Inneres der zu untersuchenden Untersuchungsperson schematisch zeigt, und eine Position des distalen Endes des Endoskops und die Bildaufnahmeposition dem Bild, das das Innere der zu untersuchenden Untersuchungsperson schematisch zeigt, überlagern, um über die Bildaufnahmeposition zu benachrichtigen.
Ferner kann bei der endoskopischen Bildaufnahmevorrichtung gemäß dem Aspekt der vorliegenden Offenbarung der Prozessor ferner über einen Indikator benachrichtigen, der eine Bewegungsrichtung des distalen Endes des Endoskops in einem Fall angibt, in dem das distale Ende des Endoskops von der Bildaufnahmeposition in einen vorbestimmten Bereich bewegt wird.
Darüber hinaus kann bei der endoskopischen Bildaufnahmevorrichtung gemäß dem Aspekt der vorliegenden Offenbarung der Prozessor ein Diagnoseprotokoll erzeugen, in dem eine Meinung über das erfasste endoskopische Bild beschrieben ist.
Darüber hinaus kann bei der endoskopischen Bildaufnahmevorrichtung gemäß dem Aspekt der vorliegenden Offenbarung der Prozessor Erfassung eines neuen endoskopischen Bildes an der spezifizierten Bildaufnahmeposition, Suche nach einem neuen ähnlichen endoskopischen Bild auf der Grundlage des neuen endoskopischen Bildes, Spezifikation einer neuen Bildaufnahmeposition und Benachrichtigung über die neue Bildaufnahmeposition wiederholen.
Ferner kann bei der endoskopischen Bildaufnahmevorrichtung gemäß dem Aspekt der vorliegenden Offenbarung der Prozessor Erfassung eines neuen endoskopischen Bildes an der spezifizierten Bildaufnahmeposition, Suche nach einem neuen ähnlichen endoskopischen Bild auf der Grundlage des neuen endoskopischen Bildes, Spezifikation einer neuen Bildaufnahmeposition, Benachrichtigung über die neue Bildaufnahmeposition und Aktualisierung des Diagnoseprotokolls auf der Grundlage einer Meinung über das neue endoskopische Bild wiederholen.
„Neues endoskopisches Bild“ bedeutet ein endoskopisches Bild, das zu einem endoskopischen Bild hinzugefügt wird, das bis zu diesem Zeitpunkt ab einem vorbestimmten Zeitpunkt, nachdem das distale Ende des Endoskops eine spezifische Bildaufnahmeposition erreicht oder bevor das distale Ende des Endoskops die spezifische Bildaufnahmeposition erreicht, erfasst wird.
Darüber hinaus kann bei der endoskopischen Bildaufnahmevorrichtung gemäß dem Aspekt der vorliegenden Offenbarung der Prozessor das endoskopische Bild analysieren, um eine in dem endoskopischen Bild enthaltene Erkrankung zu detektieren, und nach dem diagnostizierten endoskopischen Bild, das dem Diagnoseprotokoll entspricht, in dem dieselbe Erkrankung wie die detektierte Erkrankung beschrieben ist, als dem ähnlichen endoskopischen Bild suchen.
Ein endoskopisches Bildaufnahmeverfahren gemäß einem anderen Aspekt der vorliegenden Offenbarung umfasst: Erfassen eines endoskopischen Bildes einer zu untersuchenden Untersuchungsperson, das von einem in einen Körper der zu untersuchenden Untersuchungsperson eingeführten Endoskop aufgenommen wird; Suchen nach einem ähnlichen endoskopischen Bild, das Eigenschaften aufweist, die Eigenschaften des erfassten endoskopischen Bildes ähnlich sind, aus mehreren diagnostizierten endoskopischen Bildern unter Bezugnahme auf eine externe Vorrichtung, in der die mehreren diagnostizierten endoskopischen Bilder und Diagnoseprotokolle über die jeweiligen diagnostizierten endoskopischen Bilder, einschließlich Positionsinformationen, die eine Position einer Erkrankung angeben, gespeichert werden; Verwenden der Positionsinformationen, die in dem Diagnoseprotokoll über das ähnliche endoskopische Bild enthalten sind, um eine Bildaufnahmeposition, an der ein Bild einer in der zu untersuchenden Untersuchungsperson zu erwartenden Erkrankung aufgenommen werden kann, in der zu untersuchenden Untersuchungsperson zu spezifizieren; und Benachrichtigen über die spezifizierte Bildaufnahmeposition.
Das endoskopische Bildaufnahmeverfahren kann als ein Programm bereitgestellt werden, das einen Computer veranlasst, das endoskopische Bildaufnahmeverfahren gemäß dem anderen Aspekt der vorliegenden Offenbarung durchzuführen.
Gemäß der vorliegenden Offenbarung ist es möglich, die Genauigkeit einer Diagnose unter Verwendung eines endoskopischen Bildes durch Verwenden eines ähnlichen Falls über ein endoskopisches Bild für endoskopische Bildaufnahme zu verbessern.
Figurenliste

1 ist ein Diagramm, das eine schematische Konfiguration eines medizinischen Informationssystems zeigt, auf das eine endoskopische Bildaufnahmevorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung angewendet wird.
2 ist ein Diagramm, das eine schematische Konfiguration der endoskopischen Bildaufnahmevorrichtung gemäß der vorliegenden Ausführungsform zeigt.
3 ist ein Diagramm, das eine funktionale Konfiguration der endoskopischen Bildaufnahmevorrichtung gemäß der vorliegenden Ausführungsform zeigt.
4 ist ein Diagramm, das eine Dateistruktur von diagnostizierten endoskopischen Bildern schematisch zeigt.
5 ist ein Diagramm, das ein Diagnoseprotokoll über ein ähnliches endoskopisches Bild zeigt.
6 ist ein Diagramm, das Abschnitte eines Magens darstellt.
7 ist eine Darstellung, die einen Benachrichtigungsbildschirm zeigt.
8 ist eine Darstellung, die einen Benachrichtigungsbildschirm zeigt.
9 ist eine Darstellung, die einen Benachrichtigungsbildschirm zeigt.
10 ist ein Flussdiagramm, das Verarbeitung, die bei der vorliegenden Ausführungsform durchgeführt wird, zeigt.
11 ist ein Diagramm, das eine funktionale Konfiguration einer endoskopischen Bildaufnahmevorrichtung gemäß einer anderen Ausführungsform zeigt.
12 ist ein Diagramm, das ein Diagnoseprotokoll über ein ähnliches endoskopisches Bild zeigt.
13 ist ein Flussdiagramm, das Verarbeitung, die bei der anderen Ausführungsform durchgeführt wird, zeigt.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Ausführungsformen der vorliegenden Offenbarung werden nachstehend unter Bezugnahme auf die Zeichnungen beschrieben. 1 ist ein Hardware-Konfigurationsdiagramm, das den Umriss eines Diagnoseunterstützungssystems zeigt, auf das eine endoskopische Bildaufnahmevorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung angewendet wird. Wie in 1 gezeigt, sind bei einem Diagnoseunterstützungssystem 1 eine endoskopische Bildaufnahmevorrichtung 2 gemäß der vorliegenden Ausführungsform und ein Bildspeicherserver 3 miteinander verbunden, um in der Lage zu sein, via ein Netzwerk 4 miteinander zu kommunizieren.
Ein Endoskop 5, das ein Bild eines Inneren einer zu untersuchenden Untersuchungsperson aufnimmt, und eine Prozessorvorrichtung 6, die ein Bild des Inneren der zu untersuchenden Untersuchungsperson auf der Grundlage von Signalen erzeugt, die von der Bildaufnahme erhalten werden, sind mit der endoskopischen Bildaufnahmevorrichtung 2 verbunden.
Bei dem Endoskop 5 ist eine in eine zu untersuchende Untersuchungsperson einzuführende Einführeinheit kontinuierlich an einer Betätigungseinheit 7 angebracht. Das Endoskop 5 ist via ein Universalkabel, das anbringbar und abnehmbar mit der Prozessorvorrichtung 6 verbunden ist, mit der Prozessorvorrichtung 6 verbunden. Die Betätigungseinheit 7 enthält verschiedene Tasten, die verwendet werden, um eine Anweisung zu geben, ein distales Ende 8 der Einführeinheit in einer Auf-Ab-Richtung und einer Links-Rechts-Richtung innerhalb eines vorbestimmten Winkelbereichs zu biegen oder eine auf einem distalen Ende des Endoskops 5 montierte Punktionskanüle zu betätigen, um Gewebeproben zu entnehmen. Bei der vorliegenden Ausführungsform ist das Endoskop 5 ein flexibles Endoskop für einen Magen und wird durch einen Mund oder eine Nase einer zu untersuchenden Untersuchungsperson in den Magen eingeführt. Dann wird Licht, das durch eine optische Faser von einer in der Prozessorvorrichtung 6 vorgesehenen Lichtquellenvorrichtung (nicht gezeigt) geleitet wird, von dem distalen Ende 8 der Einführeinheit des Endoskops 5 emittiert, und das Bild des Inneren des Magens der zu untersuchenden Untersuchungsperson wird durch ein optisches Bildaufnahmesystem des Endoskops 5 erfasst. Um Beschreibung zu erleichtern, wird das distale Ende 8 der Einführeinheit des Endoskops 5 bei der folgenden Beschreibung als ein distales Ende 8 des Endoskops bezeichnet.
Die Prozessorvorrichtung 6 wandelt von dem Endoskop 5 aufgenommene Bildaufnahmesignale in digitale Bildsignale um und korrigiert Bildqualität unter Verwendung digitaler Signalverarbeitung, wie beispielsweise Weißabgleichsanpassung und Schattierungskorrektur, um ein endoskopisches Bild T0 zu erzeugen. Da das erzeugte Bild ein Farbvideo ist, das mit einer vorbestimmten Abtastrate, wie beispielsweise 60 fps, angezeigt wird, wird das endoskopische Bild T0 aus mehreren Einzelbildern gebildet. Das endoskopische Bild T0 wird sequentiell von einem erzeugten Einzelbild an die endoskopische Bildaufnahmevorrichtung 2 übertragen.
Der Bildspeicherserver 3 ist ein Computer, der verschiedene Arten von Daten speichert und verwaltet und der eine externe Speichervorrichtung mit großer Kapazität sowie Software für Datenbankmanagement umfasst. Der Bildspeicherserver 3 kommuniziert mit der endoskopischen Bildaufnahmevorrichtung 2 via ein drahtgebundenes oder drahtloses Netzwerk 4 und überträgt und empfängt Diagnoseprotokolle und dergleichen unter Verwendung von endoskopischen Bildern, die von der endoskopischen Bildaufnahmevorrichtung 2 erfasst wurden, und von endoskopischen Bildern, die in der endoskopischen Bildaufnahmevorrichtung 2 erzeugt wurden. Der Bildspeicherserver 3 speichert und verwaltet die empfangenen endoskopischen Bilder, die empfangenen Diagnoseprotokolle und dergleichen auf einem Aufzeichnungsmedium, wie beispielsweise einer Speichervorrichtung mit großer Kapazität. Das Speicherformat der Bilddaten des endoskopischen Bildes und die Kommunikation zwischen den jeweiligen Vorrichtungen via das Netzwerk 4 basieren auf einem Protokoll, wie beispielsweise DICOM (Digital Imaging and Communications in Medicine). Ferner ist der Bildspeicherserver 3 ein Beispiel einer externen Vorrichtung.
Die endoskopischen Bilder und die Diagnoseprotokolle werden für jede Untersuchung einander zugeordnet und auf dem Bildspeicherserver 3 gespeichert. Hier ist das auf dem Bildspeicherserver 3 gespeicherte endoskopische Bild ein Bild, das für Diagnose verwendet wird und über das ein Diagnoseprotokoll erzeugt wird. Aus diesem Grund wird bei der folgenden Beschreibung das bei einer Untersuchung erfasste und auf dem Bildspeicherserver 3 gespeicherte endoskopische Bild als ein diagnostiziertes endoskopisches Bild bezeichnet.
Eine Meinung, die das Ergebnis von Auswertung des endoskopischen Bildes ist, die von einem Untersucher durchgeführt ist, wird in einem Diagnoseprotokoll beschrieben. Die Meinung enthält Informationen, wie beispielsweise die Position einer in dem endoskopischen Bild erkannten Erkrankung und die Art und Größe der Erkrankung. Zum Beispiel ist in dem Fall des endoskopischen Bildes des Magens eine Meinung, die Informationen, die die Namen von Magenerkrankungen, wie beispielsweise Gastritis, ein Magengeschwür, Krebs, ein Polyp und Refluxösophagitis, angeben, die Position einer Erkrankung in einem Fall, in dem die Erkrankung erkannt wird, und dergleichen enthält, in dem Diagnoseprotokoll beschrieben. In der endoskopischen Bildaufnahmevorrichtung 2 wird ein Diagnoseprotokoll erzeugt.
Als Nächstes wird die endoskopische Bildaufnahmevorrichtung gemäß der vorliegenden Ausführungsform beschrieben. 2 stellt die Hardwarekonfiguration der endoskopischen Bildaufnahmevorrichtung gemäß der vorliegenden Ausführungsform dar. Wie in 2 gezeigt, enthält die endoskopische Bildaufnahmevorrichtung 2 eine Zentraleinheit (central processing unit, CPU) 11, einen nichtflüchtigen Datenspeicher 13 und einen Speicher 16, der als ein temporärer Speicherbereich dient. Ferner enthält die endoskopische Bildaufnahmevorrichtung 2 eine Anzeige 14, wie beispielsweise eine Flüssigkristallanzeige, eine Eingabevorrichtung 15, wie beispielsweise eine Tastatur und eine Maus, eine Netzwerkschnittstelle 17, die mit dem Netzwerk 4 verbunden ist, und eine Schnittstelle 18, die mit der Prozessorvorrichtung 6 verbunden ist. Die CPU 11, der Datenspeicher 13, die Anzeige 14, die Eingabevorrichtung 15, der Speicher 16, die Netzwerkschnittstelle 17 und die Schnittstelle 18 sind mit einem Bus 19 verbunden. Die CPU 11 ist ein Beispiel eines Prozessors.
Der Datenspeicher 13 wird durch ein Festplattenlaufwerk (hard disk drive, HDD), ein Solid-State-Laufwerk (solid state drive, SSD), einen Flash-Speicher und dergleichen realisiert. Ein endoskopisches Bildaufnahmeprogramm 12 ist in dem Datenspeicher 13 gespeichert, der als ein Speichermedium dient. Die CPU 11 liest das endoskopische Bildaufnahmeprogramm 12 aus dem Datenspeicher 13 aus und lädt dann das endoskopische Bildaufnahmeprogramm 12 in den Speicher 16 und führt das geladene endoskopische Bildaufnahmeprogramm 12 aus.
Als Nächstes wird die funktionale Konfiguration der endoskopischen Bildaufnahmevorrichtung gemäß der vorliegenden Ausführungsform beschrieben. 3 ist ein Diagramm, das eine funktionale Konfiguration der endoskopischen Bildaufnahmevorrichtung gemäß der vorliegenden Ausführungsform zeigt. Wie in 3 gezeigt, umfasst die endoskopische Bildaufnahmevorrichtung 2 eine Bilderfassungseinheit 21, eine Sucheinheit 22, eine Bildaufnahmepositions-Spezifikationseinheit 23, eine Endoskoppositions-Spezifikationseinheit 24, eine Benachrichtigungseinheit 25, eine Diagnoseprotokoll-Erzeugungseinheit 26 und eine Kommunikationseinheit 27. Ferner fungiert in einem Fall, in dem die CPU 11 das endoskopische Bildaufnahmeprogramm 12 ausführt, die CPU 11 als die Bilderfassungseinheit 21, die Sucheinheit 22, die Bildaufnahmepositions-Spezifikationseinheit 23, die Endoskoppositions-Spezifikationseinheit 24, die Benachrichtigungseinheit 25, die Diagnoseprotokoll-Erzeugungseinheit 26 und die Kommunikationseinheit 27.
Die Bilderfassungseinheit 21 erfasst sequentiell die jeweiligen Einzelbilder des von der Prozessorvorrichtung 6 via die Schnittstelle 18 übertragenen endoskopischen Bildes T0 und speichert die Einzelbilder in dem Datenspeicher 13 als eine Bilddatei eines endoskopischen Bildes T0 in Verbindung mit einer Untersuchungs-ID, die verwendet wird, um eine Untersuchung spezifizieren, die aktuell durchgeführt wird. Da hier das endoskopische Bild T0 ein Video ist, nehmen zu erfassende Einzelbilder im Laufe der Zeit zu. Infolgedessen nimmt ebenso die Größe der Bilddatei zu. Das endoskopische Bild T0 über die Untersuchung, die aktuell durchgeführt wird, wird als ein endoskopisches Bild, das diagnostiziert wird, bezeichnet, und das endoskopische Bild, das diagnostiziert wird, kann mit T0 bezeichnet werden, das dasselbe Bezugszeichen wie das endoskopische Bild ist.
Die Sucheinheit 22 sucht aus mehreren diagnostizierten endoskopischen Bildern unter Bezugnahme auf den Bildspeicherserver 3 nach einem ähnlichen endoskopischen Bild, das Eigenschaften aufweist, die den Eigenschaften des von der Bilderfassungseinheit 21 erfassten endoskopischen Bildes T0, das diagnostiziert wird, ähnlich sind. 4 ist ein Diagramm, das eine Dateistruktur der mehreren diagnostizierten endoskopischen Bilder schematisch zeigt, die auf dem Bildspeicherserver 3 gespeichert sind. Wie in 4 gezeigt, werden Bilddateien 30-1, 30-2, 30-3, ... der mehreren diagnostizierten endoskopischen Bilder auf dem Bildspeicherserver 3 gespeichert. Ein endoskopisches Bild 31 als ein bei einer Untersuchung erfasstes Video ist in der Bilddatei eines diagnostizierten endoskopischen Bildes enthalten. Endoskopische Bilder 34-1, 34-2, ... als mehrere Standbilder können ebenfalls in der Bilddatei eines diagnostizierten endoskopischen Bildes enthalten sein. 4 zeigt, dass mehrere Einzelbilder 32-1, 32-2, 32-3, ... in dem endoskopischen Bild 31 enthalten sind, das als ein Video dient.
Ferner ist ein Diagnoseprotokoll 33 über die Untersuchung einem diagnostizierten endoskopischen Bild zugeordnet. Das Diagnoseprotokoll 33 ist in 4 so gezeigt, dass es in jeder der Bilddateien 30-1, 30-2, 30-3, ... der diagnostizierten endoskopischen Bilder enthalten ist, aber das Diagnoseprotokoll und das diagnostizierte endoskopische Bild können auf dem Bildspeicherserver 3 als voneinander getrennte Dateien gespeichert werden.
Die Sucheinheit 22 leitet eine Ähnlichkeit S1 auf der Grundlage von Korrelationswerten zwischen dem endoskopischen Bild T0, das diagnostiziert wird, und den mehreren diagnostizierten endoskopischen Bildern ab. Beispielsweise richtet die Sucheinheit 22 das neueste Einzelbild, das in dem endoskopischen Bild T0, das diagnostiziert wird, enthalten ist, mit jedem der Einzelbilder aus, die in den diagnostizierten endoskopischen Bildern enthalten sind, und berechnet den Absolutwert einer Differenz zwischen Pixelwerten von entsprechenden Pixeln von beiden der miteinander ausgerichteten Einzelbilder als den Korrelationswert. Dann normalisiert die Sucheinheit 22 die Korrelationswerte auf einen Wert von 0 bis 1 und leitet die Ähnlichkeit S1 ab. Die Sucheinheit 22 sortiert die diagnostizierten endoskopischen Bilder in Reihenfolge eines Einzelbildes, das eine größere Ähnlichkeit S1 aufweist. Dann sucht die Sucheinheit 22 nach einer vorbestimmten Anzahl von (einem oder mehreren) diagnostizierten endoskopischen Bildern, die eine größere Ähnlichkeit S1 aufweisen, bei den sortierten diagnostizierten endoskopischen Bildern als den ähnlichen endoskopischen Bildern.
Die Bildaufnahmepositions-Spezifikationseinheit 23 bezieht sich auf Diagnoseprotokolle über alle der gesuchten ähnlichen endoskopischen Bilder und bestimmt, ob eine Erkrankung in den Diagnoseprotokollen beschrieben ist oder nicht. In einem Fall, in dem eine Erkrankung nicht in den Diagnoseprotokollen über alle der ähnlichen endoskopischen Bilder beschrieben ist, wartet die Bildaufnahmepositions-Spezifikationseinheit 23 auf die Suche nach dem nächsten ähnlichen endoskopischen Bild. In einem Fall, in dem es ein ähnliches endoskopisches Bild gibt, bei dem eine Erkrankung in einem Diagnoseprotokoll beschrieben ist, spezifiziert die Bildaufnahmepositions-Spezifikationseinheit 23 die Erkrankung, die in dem Diagnoseprotokoll über ein ähnliches endoskopisches Bild beschrieben ist, das die höchste Ähnlichkeit aufweist, und Positionsinformationen, die die Position der Erkrankung angeben. Die auf diese Weise spezifizierten Positionsinformationen geben eine Position an, an der ein Bild einer zu erwartenden Erkrankung in einer Speiseröhre und einem Magen einer unter Untersuchung zu untersuchenden Untersuchungsperson H aufgenommen werden kann. Die Bildaufnahmepositions-Spezifikationseinheit 23 verwendet die Positionsinformationen der spezifizierten Erkrankung, um eine Bildaufnahmeposition zu spezifizieren, an der das Bild einer zu erwartenden Erkrankung in der Speiseröhre und in dem Magen der zu untersuchenden Untersuchungsperson H aufgenommen werden kann. Die Bildaufnahmepositions-Spezifikationseinheit 23 kann eine Bildaufnahmeposition in allen ähnlichen endoskopischen Bildern, bei denen eine Erkrankung und die Position der Erkrankung in einem Diagnoseprotokoll beschrieben sind, auf der Grundlage der häufigsten Erkrankung und der Position der Erkrankung spezifizieren.
5 ist ein Diagramm, das ein Diagnoseprotokoll über ein bestimmtes ähnliches endoskopisches Bild zeigt. Wie in 5 gezeigt, wird „Das Zeichen von Refluxösophagitis ist in der Kardia zu sehen“ in einem Diagnoseprotokoll 35 beschrieben. In diesem Fall erfasst die Bildaufnahmepositions-Spezifikationseinheit 23 „Refluxösophagitis“ als einen Krankheitsnamen und Informationen über „Kardia“ als Positionsinformationen aus dem Diagnoseprotokoll 35. Aus diesem Grund wird das Auftreten von Refluxösophagitis in der Kardia aus dem Diagnoseprotokoll 35 über das ähnliche endoskopische Bild erwartet.
Die Endoskoppositions-Spezifikationseinheit 24 spezifiziert die aktuelle Position des distalen Endes 8 des Endoskops. Insbesondere spezifiziert die Endoskoppositions-Spezifikationseinheit 24 die aktuelle Position des distalen Endes 8 des Endoskops auf der Grundlage des aktuellen Einzelbildes des endoskopischen Bildes, das diagnostiziert wird. 6 ist ein Diagramm, das Abschnitte eines Magens darstellt. Wie in 6 gezeigt, enthält der Magen die Kardia, den Boden des Magens, den Körper des Magens, die Ecke des Magens, den vestibulären Abschnitt und den Pylorus, die in Reihenfolge von der Speiseröhre angeordnet sind. Die Endoskoppositions-Spezifikationseinheit 24 enthält ein trainiertes Modell, das detektiert, welchen Abschnitt des Magens ein Einzelbild in einem Bild angibt, und verwendet das trainierte Modell, um zu detektieren, welchen Abschnitt des Magens das aktuelle Einzelbild in einem Bild angibt, und um den Abschnitt des Magens zu spezifizieren, der von dem trainierten Modell als die aktuelle Position des distalen Endes 8 des Endoskops detektiert wurde. Hier weisen die Kardia, der Boden des Magens, der Körper des Magens, die Ecke des Magens, der vestibuläre Abschnitt und der Pylorus jeweils eine charakteristische Oberflächenstruktur auf. Aus diesem Grund ist es möglich, ein trainiertes Modell, das einen in einem Einzelbild enthaltenen Abschnitt des Magens detektiert, zu konstruieren, indem ein neuronales Netzwerk veranlasst wird, zu lernen, während das Bild von jedem von Abschnitten der Speiseröhre und des Magens und die Namen der Abschnitte als Trainingsdaten verwendet werden.
Ein Verfahren des Spezifizierens der aktuellen Position des distalen Endes 8 des Endoskops ist nicht auf das oben erwähnte Verfahren beschränkt. In einem Fall, in dem das distale Ende 8 des Endoskops in dem Magen positioniert werden soll, passiert das distale Ende 8 des Endoskops notwendigerweise die Kardia. Aus diesem Grund kann die Bewegungsdistanz des distalen Endes 8 des Endoskops bis zur Gegenwart, nachdem das distale Ende 8 des Endoskops die Kardia passiert hat, auf der Grundlage einer Änderung von Bildern von Einzelbildern zwischen dem aktuellen Einzelbild und einem Einzelbild, in dem die Kardia detektiert wird, berechnet werden, und die ungefähre aktuelle Position des distalen Endes 8 des Endoskops kann auf der Grundlage der berechneten Bewegungsdistanz spezifiziert werden. Da die Kardia eine charakteristische Form aufweist, detektiert die Endoskoppositions-Spezifikationseinheit 24 ein Einzelbild, das die Kardia enthält, aus dem endoskopischen Bild, das diagnostiziert wird. Ein Verfahren unter Verwendung eines trainierten Modells, das zum Detektieren der Kardia trainiert wird, ein Vorlagenabgleichsverfahren oder dergleichen kann für die Detektion des Einzelbildes, das die Kardia enthält, wie bei der Detektion der Erkrankung verwendet werden. Alternativ kann das distale Ende 8 des Endoskops mit einem Beschleunigungssensor oder einem Magnetsensor versehen sein, und das distale Ende 8 des Endoskops kann von dem Sensor detektiert werden.
Die Benachrichtigungseinheit 25 benachrichtigt den Untersucher über die Bildaufnahmeposition, die durch die Bildaufnahmepositions-Spezifikationseinheit 23 spezifiziert ist, und über die aktuelle Position des distalen Endes 8 des Endoskops, die durch die Endoskoppositions-Spezifikationseinheit 24 spezifiziert ist. Insbesondere wird auf der Anzeige 14 ein Kartenbild angezeigt, das die Speiseröhre und den Magen der zu untersuchenden Untersuchungsperson H schematisch zeigt, und die aktuelle Position des distalen Endes 8 des Endoskops und die Bildaufnahmeposition werden dem angezeigten Kartenbild überlagert, um über die aktuelle Position des distalen Endes 8 des Endoskops und die Bildaufnahmeposition zu benachrichtigen. 7 ist eine Darstellung, die einen Benachrichtigungsbildschirm für die aktuelle Position des distalen Endes 8 des Endoskops und die Bildaufnahmeposition zeigt. Wie in 7 gezeigt, enthält der Benachrichtigungsbildschirm 40 einen ersten Bildbereich 41, einen zweiten Bildbereich 42 und einen dritten Bildbereich 43. Ein endoskopisches Bild T0, das aktuell aufgenommen wird, wird in dem ersten Bildbereich 41 angezeigt. Ein Kartenbild M0 wird in dem zweiten Bildbereich 42 angezeigt. Vorschaubilder von Einzelbildern, die zu vorbestimmten Zeitintervallen aus einem nach dem Start einer Untersuchung erfassten endoskopischen Bild T0 extrahiert wurden, werden in dem dritten Bildbereich 43 angezeigt.
Neun Vorschaubilder können in Bereichen C1 bis C9 in dem dritten Bildbereich 43 angezeigt werden. Die Vorschaubilder werden nach dem Start einer Untersuchung in Reihenfolge ab dem Bereich C1 des dritten Bildbereichs 43 zu vorbestimmten Zeitintervallen in Reihenfolge angezeigt. Dann wird in einem Fall, in dem ein neues Einzelbild erfasst wird, nachdem die neun Vorschaubilder angezeigt wurden, das Vorschaubild des neuen Einzelbildes in dem Bereich C1 angezeigt, die bis zu diesem Punkt angezeigten Vorschaubilder werden in Reihenfolge an die Bereiche C2 bis C9 gesendet, und das Vorschaubild, das in dem Bereich C9 angezeigt wurde, wird aus dem dritten Bildbereich 43 gelöscht.
Ferner wird auf dem Benachrichtigungsbildschirm 40 ein Meinungsbereich 44 angezeigt, in dem der Untersucher eine Meinung über das endoskopische Bild T0 beschreibt. Der Untersucher kann unter Verwendung der Eingabevorrichtung 15 eine Meinung über das endoskopischen Bild T0 in den Meinungsbereich 44 eingeben. Beispielsweise wird in einem Fall, in dem bei der aktuellen Untersuchung bereits eine Gastritis-Erkrankung gefunden wurde, eine Meinung von „Gastritis ist an dem unteren Abschnitt des vestibulären Abschnitts zu sehen“ in dem Meinungsbereich 44 beschrieben.
Ein Endoskop-Symbol 51, das ein Endoskop schematisch zeigt, ist in dem Kartenbild M0 gezeigt, und die Position eines distalen Endes 52 des Endoskop-Symbols 51 ist die aktuelle Position des distalen Endes 8 des Endoskops. Ferner wird der Bildaufnahmeposition eine pfeilförmige Markierung 53 überlagert. Die Bildaufnahmeposition gibt eine Position nahe der Kardia an, an der Refluxösophagitis vermutet wird. In einem Fall, in dem sich der Untersucher auf den Benachrichtigungsbildschirm 40 bezieht, kann der Untersucher auf einen Blick erkennen, wie das distale Ende 8 des Endoskops bewegt werden sollte, um das distale Ende 8 des Endoskops zu der Bildaufnahmeposition zu bewegen, an der eine Erkrankung erwartet wird.
In einem Fall, in dem sich das distale Ende 8 des Endoskops der Bildaufnahmeposition nähert, an der eine Erkrankung erwartet wird, zeigt die Benachrichtigungseinheit 25 einen Pfeil 46 an, der eine Richtung angibt, in der, wie in 8 gezeigt, das distale Ende 8 des Endoskops in dem ersten Bildbereich 41 zu bewegen ist. Der Pfeil 46 gibt eine Richtung an, in der das distale Ende 8 des Endoskops bewegt wird, um zu einer Speiseröhrenseite zurückzukehren. Ferner kann gesehen werden, dass sich das distale Ende 52 des Endoskop-Symbols 51 im Vergleich zu 7 in dem Kartenbild M0 nahe dem Pylorus befindet. Der Pfeil 46 ist ein Beispiel eines Indikators, der die Bewegungsrichtung des Endoskops angibt.
Die Diagnoseprotokoll-Erzeugungseinheit 26 beschreibt eine Meinung, die von dem Untersucher in den Meinungsbereich 44 eingegeben wird, in dem Diagnoseprotokoll, um ein Diagnoseprotokoll zu erzeugen. Da beispielsweise „Gastritis ist an dem unteren Abschnitt des vestibulären Abschnitts zu sehen“ bereits als eine Meinung in 7 eingegeben wird, beschreibt die Diagnoseprotokoll-Erzeugungseinheit 26 „Gastritis ist an dem unteren Abschnitt des vestibulären Abschnitts zu sehen“ in einem Diagnoseprotokoll.
Bei der vorliegenden Ausführungsform wird immer dann, wenn Benachrichtigung über die durch die Bildaufnahmepositions-Spezifikationseinheit 23 spezifizierte Bildaufnahmeposition gesendet wird, Bildaufnahme an der Bildaufnahmeposition durchgeführt, und ein neues endoskopisches Bild wird erfasst. Das neue endoskopische Bild ist ein endoskopisches Bild, das aus Einzelbildern gebildet wird, die dem endoskopischen Bild hinzugefügt werden, bis Bildaufnahme an der Bildaufnahmeposition gestartet wird. Aus diesem Grund sucht bei der vorliegenden Ausführungsform die Sucheinheit 22 immer dann, wenn ein neues endoskopisches Bild hinzugefügt wird, auf der Grundlage des neuen endoskopischen Bildes nach einem neuen ähnlichen endoskopischen Bild. Beispielsweise sucht in einem Fall, in dem der Untersucher das distale Ende 8 des Endoskops zu der durch die Markierung 53 angegebenen Bildaufnahmeposition bewegt und ein neues endoskopisches Bild erfasst wird, die Sucheinheit 22 unter Verwendung des neuen endoskopischen Bildes, insbesondere des neuesten Einzelbildes des neuen endoskopischen Bildes, nach einem neuen ähnlichen endoskopischen Bild. Die Sucheinheit 22 kann unter Verwendung sowohl eines zuvor erfassten endoskopischen Bildes als auch des neuen endoskopischen Bildes nach einem neuen ähnlichen endoskopischen Bild suchen. Beispielsweise kann die Sucheinheit 22 nach einem ähnlichen endoskopischen Bild unter Verwendung des letzten Einzelbildes, das an einer vorherigen Bildaufnahmeposition erfasst wurde, und des neuesten Einzelbildes suchen.
In diesem Fall ist es sehr wahrscheinlich, dass das neue ähnliche endoskopische Bild, nach dem auf der Grundlage der Eigenschaften des neuen endoskopischen Bildes gesucht wird, ein endoskopisches Bild enthält, in dem eine Erkrankung gezeigt wird, die sich von einer in dem vorherigen ähnlichen endoskopischen Bild gezeigten Erkrankung unterscheidet. Aus diesem Grund ist es sehr wahrscheinlich, dass eine Erkrankung, die nicht in dem Diagnoseprotokoll über das vorherige ähnliche endoskopische Bild enthalten ist, in einem Diagnoseprotokoll über das neue ähnliche endoskopische Bild enthalten ist. Dementsprechend kann die Bildaufnahmepositions-Spezifikationseinheit 23 eine neue Bildaufnahmeposition, an der das Bild einer zu erwartenden Erkrankung aufgenommen werden kann, unter Bezugnahme auf das Diagnoseprotokoll über das neue ähnliche endoskopische Bild spezifizieren. Dann benachrichtigt die Benachrichtigungseinheit 25 über die neue Bildaufnahmeposition, so dass der Untersucher das distale Ende 8 des Endoskops zu der neuen Bildaufnahmeposition bewegen kann, um weiter ein neues endoskopisches Bild zu erfassen. Das neu erfasste endoskopische Bild ist ein endoskopisches Bild, das diagnostiziert wird, an der neuen Bildaufnahmeposition.
Beispielsweise wird in einem Fall, in dem der Untersucher das distale Ende 8 des Endoskops zu der durch die in 7 gezeigte Markierung 53 angezeigten Bildaufnahmeposition bewegt, um ein endoskopisches Bild zu erfassen, angenommen, dass die Beschreibung einer Erkrankung über einen Polypen des Bodens des Magens in dem Diagnoseprotokoll über das gesuchte ähnliche endoskopische Bild enthalten ist. In diesem Fall spezifiziert die Bildaufnahmepositions-Spezifikationseinheit 23 den Boden des Magens als eine Bildaufnahmeposition. Dementsprechend wird, wie in 9 gezeigt, eine Markierung 55, die eine neue Bildaufnahmeposition angibt, der Position des Bodens des Magens in dem Kartenbild M0 auf dem Benachrichtigungsbildschirm 40 überlagert. 9 zeigt, dass das distale Ende 52 des Endoskop-Symbols 51 nahe der Kardia positioniert ist. Daher ist es möglich, ein endoskopisches Bild an einer Bildaufnahmeposition, an der ein Bild mit dem vorherigen ähnlichen endoskopischen Bild allein nicht aufgenommen werden konnte, zu erfassen und zu überprüfen, ob eine Erkrankung auftritt oder nicht.
In einem Fall, in dem eine Meinung über das neue endoskopische Bild in den Meinungsbereich 44 eingegeben wird, aktualisiert die Diagnoseprotokoll-Erzeugungseinheit 26 das Diagnoseprotokoll. Beispielsweise gibt der Untersucher in einem Fall, in dem der Untersucher das distale Ende 8 des Endoskops zu der durch die in 7 gezeigte Markierung 53 angegebenen Bildaufnahmeposition bewegt, um ein neues endoskopisches Bild zu erfassen, eine Meinung über das neue endoskopische Bild in den Meinungsbereich 44 des Benachrichtigungsbildschirms 40 ein. In einem Fall, in dem eine Meinung auf der Grundlage des neuen endoskopischen Bildes in den Meinungsbereich 44 eingegeben wird, fügt die Diagnoseprotokoll-Erzeugungseinheit 26 die eingegebene Meinung zu dem Diagnoseprotokoll hinzu, um das Diagnoseprotokoll zu aktualisieren.
In einem Fall, in dem eine Anweisung zum Beenden einer Untersuchung durch den Untersucher gegeben wird, erzeugt die Kommunikationseinheit 27 eine Bilddatei eines diagnostizierten endoskopischen Bildes aus endoskopischen Bildern, die diagnostiziert werden und die an mehreren Bildaufnahmepositionen bis zu diesem Zeitpunkt erfasst werden, und überträgt die erzeugte Bilddatei zusammen mit bis zu dem Ende einer Untersuchung beschriebenen Diagnoseprotokollen an den Bildspeicherserver 3. Der Bildspeicherserver 3 speichert das diagnostizierte endoskopische Bild und die Diagnoseprotokolle, die übertragen werden, als ein neues diagnostiziertes endoskopisches Bild.
Als Nächstes wird Verarbeitung, die bei der vorliegenden Ausführungsform durchgeführt wird, beschrieben. 10 ist ein Flussdiagramm, das Verarbeitung, die bei der vorliegenden Ausführungsform durchgeführt wird, zeigt. Eine Anweisung zum Starten einer Untersuchung wird eingegeben, um Verarbeitung zu starten, und die Bilderfassungseinheit 21 erfasst sequentiell Einzelbilder eines endoskopischen Bildes T0 (die Erfassung eines endoskopischen Bildes; Schritt ST1) und speichert das erfasste endoskopische Bild T0 in dem Datenspeicher 13 (Schritt ST2).
Danach sucht die Sucheinheit 22 aus mehreren diagnostizierten endoskopischen Bildern unter Bezugnahme auf den Bildspeicherserver 3 nach einem ähnlichen endoskopischen Bild, das Eigenschaften aufweist, die den Eigenschaften des erfassten endoskopischen Bildes T0 ähnlich sind (Schritt ST3). Dann bestimmt die Bildaufnahmepositions-Spezifikationseinheit 23 unter Bezugnahme auf das Diagnoseprotokoll über das ähnliche endoskopische Bild, ob eine Erkrankung in den Diagnoseprotokollen beschrieben ist oder nicht (Schritt ST4). In einem Fall, in dem Schritt ST4 negativ ist, kehrt die Verarbeitung zu Schritt ST1 zurück. In einem Fall, in dem Schritt ST4 positiv ist, spezifiziert die Bildaufnahmepositions-Spezifikationseinheit 23 eine Bildaufnahmeposition, an der das Bild einer Erkrankung, die in einem Diagnoseprotokoll über ein ähnliches endoskopisches Bild mit der höchsten Ähnlichkeit beschrieben wird und die in einer zu untersuchenden Untersuchungsperson H erwartet wird, aufgenommen werden kann, in der zu untersuchenden Untersuchungsperson (Schritt ST5). Ferner spezifiziert die Endoskoppositions-Spezifikationseinheit 24 die aktuelle Position des distalen Endes 8 des Endoskops (Schritt ST6). Die Verarbeitung von Schritt ST6 kann nach der Verarbeitung von einem beliebigen von Schritten ST1 bis ST5 durchgeführt werden oder kann parallel zu der Verarbeitung von Schritten ST1 bis ST5 durchgeführt werden. In einem Fall, in dem die Bildaufnahmeposition spezifiziert ist (Schritt ST7; positiv), benachrichtigt die Benachrichtigungseinheit 25 über die spezifizierte Bildaufnahmeposition (Schritt ST8).
In einem Fall, in dem Schritt ST7 negativ ist, und in einem Fall, in dem Verarbeitung auf Schritt ST8 folgt, empfängt die Diagnoseprotokoll-Erzeugungseinheit 26 eine durch den Untersucher eingegebene Meinung und beschreibt die eingegebene Meinung in dem Diagnoseprotokoll, um ein Diagnoseprotokoll zu erzeugen (Schritt ST9). Nachfolgend wird bestimmt, ob eine Anweisung zum Beenden gegeben wird oder nicht (Schritt ST10). In einem Fall, in dem Schritt ST10 negativ ist, kehrt die Verarbeitung zu Schritt ST1 zurück, und die Verarbeitung von Schritten ST1 bis ST10 wird wiederholt. In einem Fall, in dem Schritt ST10 positiv ist, erzeugt die Kommunikationseinheit 27 eine Bilddatei eines diagnostizierten endoskopischen Bildes aus endoskopischen Bildern, die diagnostiziert werden und die an den jeweiligen spezifizierten Bildaufnahmepositionen erfasst werden, und überträgt die Bilddatei des diagnostizierten endoskopischen Bildes und Diagnoseprotokolle an den Bildspeicherserver 3 (Schritt ST11), und die Verarbeitung wird beendet. In einem Fall, in dem die Verarbeitung von Schritten ST1 bis ST 10 wiederholt wird, aktualisiert die Diagnoseprotokoll-Erzeugungseinheit 26 das Diagnoseprotokoll bei der Verarbeitung von Schritt ST9.
Wie oben beschrieben, wird bei der vorliegenden Ausführungsform nach einem ähnlichen endoskopischen Bild, das Eigenschaften aufweist, die den Eigenschaften des endoskopischen Bildes, das diagnostiziert wird, ähnlich sind, gesucht, eine Bildaufnahmeposition, an der das Bild von einer zu erwartenden Erkrankung in einer zu untersuchenden Untersuchungsperson aufgenommen werden kann, in dem Körper der zu untersuchenden Untersuchungsperson wird unter Verwendung der Positionsinformationen einer Erkrankung, die in dem Diagnoseprotokoll über das ähnliche endoskopische Bild enthalten sind, spezifiziert, und eine Benachrichtigung über die spezifizierte Bildaufnahmeposition wird gesendet. Aus diesem Grund kann ein Bediener, um ein endoskopisches Bild zu erfassen und das erfasste endoskopische Bild auszuwerten, um zu überprüfen, ob eine Erkrankung vorliegt oder nicht, das distale Ende 8 des Endoskops zu der Bildaufnahmeposition bewegen, über die benachrichtigt wurde. Dementsprechend ist es möglich, ein ähnliches endoskopisches Bild zu verwenden, um ein endoskopisches Bild so zu erfassen, dass eine Erkrankung nicht übersehen wird. Infolgedessen ist es möglich, die Genauigkeit einer Diagnose unter Verwendung eines endoskopischen Bildes zu verbessern.
Ferner ist es möglich, ein endoskopisches Bild einer zu untersuchenden Untersuchungsperson an einer Position zu erfassen, an der ein Bild mit dem ähnlichen endoskopischen Bild allein nicht aufgenommen werden konnte, und zu überprüfen, ob eine Erkrankung auftritt oder nicht, da die Erfassung eines neuen endoskopischen Bildes an einer spezifizierten Bildaufnahmeposition, die Suche nach einem neuen ähnlichen endoskopischen Bild auf der Grundlage eines neuen endoskopischen Bildes, die Spezifikation einer neuen Bildaufnahmeposition, die Benachrichtigung über eine neue Bildaufnahmeposition und die Aktualisierung eines Diagnoseprotokolls auf der Grundlage einer Meinung über ein neues endoskopisches Bild wiederholt werden. Dementsprechend ist es möglich, Erkrankungen, die wahrscheinlich auftreten, ohne Auslassung zu untersuchen.
Die endoskopische Bildaufnahmevorrichtung gemäß der vorliegenden Ausführungsform kann, wie bei einer anderen endoskopischen Bildaufnahmevorrichtung 2A gemäß der vorliegenden Ausführungsform, die in 11 gezeigt wird, eine Analyseeinheit 28 enthalten, die ein endoskopisches Bild, das diagnostiziert wird, analysiert, um eine abnormale Verschattung aus dem endoskopischen Bild, das diagnostiziert wird, zu detektieren. Die Analyseeinheit 28 analysiert sequentiell die jeweiligen Einzelbilder eines endoskopischen Bildes T0, das diagnostiziert wird, um Erkrankungen zu detektieren, die in dem endoskopischen Bild T0, das diagnostiziert wird, enthalten sind. Die Analyseeinheit 28 detektiert mehrere Arten von Erkrankungen aus dem endoskopischen Bild T0, das diagnostiziert wird, unter Verwendung eines öffentlich bekannten Algorithmus für computergestützte Bilddiagnose (das heißt computergestützte Diagnose (computer-aided diagnosis, CAD)). Insbesondere enthält in dem Fall einer Untersuchung des Magens die Analyseeinheit 28 ein trainiertes Modell, wie beispielsweise ein neuronales Netzwerk, das maschinellem Lernen unterzogen wurde, um die Erkrankungen der Speiseröhre und des Magens zu detektieren, und detektiert unter Verwendung des trainierten Modells Erkrankungen, die in einem endoskopischen Bild enthalten sind. Beispiele der Erkrankungen der Speiseröhre und des Magens beinhalten Refluxösophagitis, Gastritis, Magengeschwür, einen Polypen, einen Magenkrebs und dergleichen. Jede dieser Erkrankungen weist eine charakteristische Oberflächenstruktur auf. Aus diesem Grund ist es möglich, ein trainiertes Modell, das Erkrankungen aus einem endoskopischen Bild detektiert, zu konstruieren, indem ein neuronales Netzwerk veranlasst wird, zu lernen, während die Bilder von verschiedenen Erkrankungen der Speiseröhre und des Magens und die Arten der Erkrankungen als Trainingsdaten verwendet werden.
Anstelle des trainierten Modells kann Vorlagenabgleich unter Verwendung einer Vorlage, die die Formen der Erkrankungen zeigt, die in der Speiseröhre, dem Magen und dergleichen enthalten sind, durchgeführt werden, um eine Erkrankung zu detektieren. Ferner muss die Analyseeinheit 28 nur anatomische Eigenschaften aus nur einem Einzelbild detektieren, das in dem endoskopischen Bild T0, das diagnostiziert wird, enthalten ist, insbesondere aus dem neuesten Einzelbild, aber die Detektionsgenauigkeit für eine Erkrankung kann in dem Fall von nur einem Einzelbild niedrig sein. Aus diesem Grund kann die Analyseeinheit 28 eine Erkrankung aus einigen Einzelbildern detektieren, die in dem endoskopischen Bild T0, das diagnostiziert wird, enthalten sind.
In einem Fall, in dem die endoskopische Bildaufnahmevorrichtung die wie oben beschriebene Analyseeinheit 28 enthält, kann die Sucheinheit 22 nach einem ähnlichen endoskopischen Bild suchen, das einem Diagnoseprotokoll entspricht, in dem die gleiche Erkrankung wie eine von der Analyseeinheit 28 aus dem endoskopischen Bild T0, das diagnostiziert wird, detektierte Erkrankung beschrieben wird.
In diesem Fall bestimmt die Bildaufnahmepositions-Spezifikationseinheit 23 unter Bezugnahme auf Diagnoseprotokolle über alle gesuchten ähnlichen endoskopischen Bilder, ob der Krankheitsname einer anderen Erkrankung als der von der Analyseeinheit 28 aus dem endoskopischen Bild, das diagnostiziert wird, detektierten Erkrankung enthalten ist oder nicht. In einem Fall, in dem ein anderer Krankheitsname enthalten ist, ist die Beschreibung von Positionsinformationen, die die Position der anderen Erkrankung angeben, in dem Diagnoseprotokoll enthalten. Aus diesem Grund erfasst in einem Fall, in dem ein anderer Krankheitsname in einem Diagnoseprotokoll über ein ähnliches endoskopisches Bild enthalten ist, die Bildaufnahmepositions-Spezifikationseinheit 23 den anderen Krankheitsnamen und die Positionsinformationen davon aus dem Diagnoseprotokoll. In einem Fall, in dem ein anderer Krankheitsname nicht in den Diagnoseprotokollen über alle der gesuchten ähnlichen endoskopischen Bilder enthalten ist, spezifiziert die Bildaufnahmepositions-Spezifikationseinheit 23 keine Bildaufnahmeposition.
12 ist ein Diagramm, das ein Diagnoseprotokoll über ein bestimmtes ähnliches endoskopisches Bild zeigt. Wie in 12 gezeigt, wird „Gastritis wird im Körper des Magens erkannt. Das Zeichen von Refluxösophagitis ist in der Kardia zu sehen“ in dem Diagnoseprotokoll 35 beschrieben. Da eine Erkrankung, die von der Analyseeinheit 28 aus dem endoskopischen Bild, das diagnostiziert wird, detektiert wird, Gastritis ist, erfasst in diesem Fall die Bildaufnahmepositions-Spezifikationseinheit 23 „Refluxösophagitis“ als einen anderen Krankheitsnamen und Informationen über „Kardia“ als Positionsinformationen aus dem Diagnoseprotokoll 35. Aus diesem Grund wird aus dem Diagnoseprotokoll 35 über das ähnliche endoskopische Bild das Auftreten von Refluxösophagitis in der Kardia in der zu untersuchenden Untersuchungsperson H erwartet.
Als Nächstes wird Verarbeitung beschrieben, die bei einer anderen Ausführungsform durchgeführt wird. 13 ist ein Flussdiagramm, das Verarbeitung, die bei der anderen Ausführungsform durchgeführt wird, zeigt. Ein Anweisung zum Starten einer Untersuchung wird eingegeben, um Verarbeitung zu starten, und die Bilderfassungseinheit 21 erfasst sequentiell Einzelbilder eines endoskopischen Bildes T0 (die Erfassung eines endoskopischen Bildes; Schritt ST21) und speichert das erfasste endoskopische Bild T0 in dem Datenspeicher 13 (Schritt ST22).
Danach analysiert die Analyseeinheit 28 das endoskopische Bild T0 und bestimmt, ob eine Erkrankung in dem endoskopischen Bild T0 enthalten ist oder nicht (Schritt ST23). In einem Fall, in dem Schritt ST23 negativ ist, kehrt die Verarbeitung zu Schritt ST21 zurück. In einem Fall, in dem Schritt ST23 positiv ist, sucht die Sucheinheit 22 aus mehreren diagnostizierten endoskopischen Bildern unter Bezugnahme auf den Bildspeicherserver 3 nach einem ähnlichen endoskopischen Bild, das Eigenschaften aufweist, die den Eigenschaften des erfassten endoskopischen Bildes T0 ähnlich sind (Schritt ST24). Dann spezifiziert die Bildaufnahmepositions-Spezifikationseinheit 23 eine Bildaufnahmeposition, an der das Bild einer Erkrankung, die in einer zu untersuchenden Untersuchungsperson erwartet wird, aufgenommen werden kann, auf der Körperoberfläche der zu untersuchenden Untersuchungsperson unter Verwendung des Diagnoseprotokolls über das ähnliche endoskopische Bild (Schritt ST25). Ferner spezifiziert die Endoskoppositions-Spezifikationseinheit 24 die aktuelle Position des distalen Endes 8 des Endoskops (Schritt ST26). Die Verarbeitung von Schritt ST26 kann nach der Verarbeitung von einem beliebigen von Schritten ST21 bis ST25 durchgeführt werden oder kann parallel zu der Verarbeitung von Schritten ST21 bis ST25 durchgeführt werden. In einem Fall, in dem die Bildaufnahmeposition spezifiziert ist (Schritt ST27; positiv), benachrichtigt die Benachrichtigungseinheit 25 über die spezifizierte Bildaufnahmeposition (Schritt ST28).
In einem Fall, in dem Schritt ST27 negativ ist, und in einem Fall, in dem Verarbeitung auf Schritt ST28 folgt, empfängt die Diagnoseprotokoll-Erzeugungseinheit 26 eine durch den Untersucher eingegebene Meinung und beschreibt die eingegebene Meinung in dem Diagnoseprotokoll, um ein Diagnoseprotokoll zu erzeugen (Schritt ST29). Nachfolgend wird bestimmt, ob eine Anweisung zum Beenden gegeben wird oder nicht (Schritt ST30). In einem Fall, in dem Schritt ST30 negativ ist, kehrt die Verarbeitung zu Schritt ST21 zurück, und die Verarbeitung von Schritten ST21 bis ST30 wird wiederholt. In einem Fall, in dem Schritt ST30 positiv ist, erzeugt die Kommunikationseinheit 27 eine Bilddatei eines diagnostizierten endoskopischen Bildes aus endoskopischen Bildern, die diagnostiziert werden und die an den jeweiligen spezifizierten Bildaufnahmepositionen erfasst werden, und überträgt die Bilddatei des diagnostizierten endoskopischen Bildes und Diagnoseprotokolle an den Bildspeicherserver 3 (Schritt ST31), und die Verarbeitung wird beendet. In einem Fall, in dem die Verarbeitung von Schritten ST21 bis ST30 wiederholt wird, aktualisiert die Diagnoseprotokoll-Erzeugungseinheit 26 das Diagnoseprotokoll bei der Verarbeitung von Schritt ST29.
In einem Fall, in dem Vorschaubilder in dem dritten Bildbereich 43 des Benachrichtigungsbildschirms 40 bei der anderen Ausführungsform angezeigt werden, kann ein Vorschaubild, in dem eine Erkrankung detektiert wird, hervorgehoben werden. Beispiele für Hervorheben beinhalten Hinzufügen eines Einzelbildes zu dem Vorschaubild und Hinzufügen einer Markierung zu dem Vorschaubild. Ferner kann in einem Fall, in dem auf das hervorgehobene Vorschaubild doppelgeklickt wird, ein Einzelbild des endoskopischen Bildes, das dem Vorschaubild entspricht, vergrößert und in einem separaten Fenster angezeigt werden.
Darüber hinaus sind Abschnitte, von denen Bilder von der endoskopischen Bildaufnahmevorrichtung 2 aufgenommen werden, bei den oben erwähnten Ausführungsformen auf die Speiseröhre und den Magen eingestellt, sind aber nicht darauf beschränkt. Es ist natürlich, dass eine Bronchie und ein Dickdarm als ein Objekt eingestellt werden können, das Bildaufnahme unterzogen werden soll.
Bei jeder der oben erwähnten Ausführungsformen können verschiedene unten zu beschreibende Prozessoren als die Hardwarestrukturen von Verarbeitungseinheiten verwendet werden, die verschiedene Arten von Verarbeitung durchführen, wie beispielsweise die Bilderfassungseinheit 21, die Sucheinheit 22, die Bildaufnahmepositions-Spezifikationseinheit 23, die Endoskoppositions-Spezifikationseinheit 24, die Benachrichtigungseinheit 25, die Diagnoseprotokoll-Erzeugungseinheit 26, die Kommunikationseinheit 27 und die Analyseeinheit 28. Die verschiedenen oben beschriebenen Prozessoren enthalten eine programmierbare logische Schaltung (programmable logic device, PLD), die ein Prozessor ist, dessen Schaltungskonfiguration nach Herstellung geändert werden kann, wie beispielsweise ein Field Programmable Gate Array (FPGA), eine dedizierte elektrische Schaltung, die ein Prozessor mit einer Schaltungskonfiguration ist, die ausschließlich dazu ausgelegt ist, spezifische Verarbeitungen durchzuführen, wie beispielsweise eine anwendungsspezifische integrierte Schaltung (application-specific integrated circuit, ASIC), und dergleichen zusätzlich zu einer CPU, die ein Allzweckprozessor ist, der als verschiedene Verarbeitungseinheiten durch Ausführen von Software (Programmen), wie oben beschrieben, fungiert.
Eine Verarbeitungseinheit kann aus einem dieser verschiedenen Prozessoren gebildet sein oder kann aus einer Kombination aus zwei oder mehr Prozessoren des gleichen Typs oder verschiedener Typen (zum Beispiel einer Kombination aus mehreren FPGAs oder einer Kombination aus einer CPU und einem FPGA) gebildet sein. Ferner können mehrere Verarbeitungseinheiten aus einem Prozessor gebildet sein.
Als ein Beispiel, bei dem mehrere Verarbeitungseinheiten aus einem Prozessor gebildet werden, gibt es erstens einen Aspekt, bei dem ein Prozessor aus einer Kombination aus einer oder mehreren CPUs und Software, wie sie von einem Computer, wie beispielsweise einem Client oder einem Server, typisiert wird, gebildet wird und als mehrere Verarbeitungseinheiten fungiert. Zweitens gibt es einen Aspekt, bei dem ein Prozessor, der die Funktionen des gesamten Systems, das mehrerer Verarbeitungseinheiten enthält, via einen wie durch ein System On Chip (SoC) oder dergleichen typisierten IC-Chip (integrated circuit, integrierte Schaltung) realisiert, verwendet wird. Auf diese Weise werden verschiedene Verarbeitungseinheiten unter Verwendung eines oder mehrerer der oben erwähnten verschiedenen Prozessoren als Hardwarestrukturen gebildet.
Darüber hinaus kann weiter insbesondere elektrische Schaltung, bei der Schaltungselemente, wie beispielsweise Halbleiterelemente, kombiniert werden, als die Hardwarestrukturen dieser verschiedenen Prozessoren verwendet werden.
Bezugszeichenliste

1: Computer
2, 2A: endoskopische Bildaufnahmevorrichtung
3: Bildspeicherserver
4: Netzwerk
5: Endoskop
6: Prozessorvorrichtung
7: Betätigungseinheit
8: distales Ende von Endoskop
11: CPU
12: endoskopisches Bildaufnahmeprogramm
13: Datenspeicher
14: Anzeige
15: Eingabevorrichtung
16: Speicher
17: Netzwerkschnittstelle
18: Schnittstelle
19: Bus
21: Bilderfassungseinheit
22: Sucheinheit
23: Bildaufnahmepositions-Spezifikationseinheit
24: Endoskoppositions-Spezifikationseinheit
25: Benachrichtigungseinheit
26: Diagnoseprotokoll-Erzeugungseinheit
27: Kommunikationseinheit
28: Analyseeinheit
30-1, 30-2, 30-3: diagnostiziertes endoskopisches Bild
31: endoskopisches Bild
32-1, 32-2, 32-3: Einzelbild von endoskopischem Bild
33, 35: Diagnoseprotokoll
34-1, 34-2: Standbild
40: Benachrichtigungsbildschirm
41: erster Bildbereich
42: zweiter Bildbereich
43: dritter Bildbereich
44: Meinungsbereich
51: Endoskop-Symbol
52: distales Ende
53, 55: Markierung
C1 bis C9: Bereich von Vorschaubild
M0: Kartenbild
T0: endoskopisches Bild

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2018180631 A1 [0002, 0003]
JP 2017199635 A1 [0002, 0003]

Claims

Endoskopische Bildaufnahmevorrichtung, die mindestens einen Prozessor umfasst, wobei der Prozessor ein endoskopisches Bild einer zu untersuchenden Untersuchungsperson erfasst, das von einem in einen Körper der zu untersuchenden Untersuchungsperson eingeführten Endoskop aufgenommen wird, aus mehreren diagnostizierten endoskopischen Bildern unter Bezugnahme auf eine externe Vorrichtung, in der die mehreren diagnostizierten endoskopischen Bilder und Diagnoseprotokolle über die jeweiligen diagnostizierten endoskopischen Bilder, einschließlich Positionsinformationen, die eine Position einer Erkrankung angeben, gespeichert werden, nach einem ähnlichen endoskopischen Bild sucht, das Eigenschaften aufweist, die Eigenschaften des erfassten endoskopischen Bildes ähnlich sind, die Positionsinformationen, die in dem Diagnoseprotokoll über das ähnliche endoskopische Bild enthalten sind, verwendet, um eine Bildaufnahmeposition, an der ein Bild einer in der zu untersuchenden Untersuchungsperson zu erwartenden Erkrankung aufgenommen werden kann, in der zu untersuchenden Untersuchungsperson zu spezifizieren, und über die spezifizierte Bildaufnahmeposition benachrichtigt.
Endoskopische Bildaufnahmevorrichtung nach Anspruch 1, wobei der Prozessor eine aktuelle Position eines distalen Endes des Endoskops in der zu untersuchenden Untersuchungsperson spezifiziert, ein Bild anzeigt, das ein Inneres der zu untersuchenden Untersuchungsperson schematisch zeigt, und eine Position des distalen Endes des Endoskops und die Bildaufnahmeposition dem Bild, das das Innere der zu untersuchenden Untersuchungsperson schematisch zeigt, überlagert, um über die Bildaufnahmeposition zu benachrichtigen.
Endoskopische Bildaufnahmevorrichtung nach Anspruch 2, wobei der Prozessor ferner über einen Indikator benachrichtigt, der eine Bewegungsrichtung des distalen Endes des Endoskops in einem Fall angibt, in dem das distale Ende des Endoskops von der Bildaufnahmeposition in einen vorbestimmten Bereich bewegt wird.
Endoskopische Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 3, wobei der Prozessor ein Diagnoseprotokoll erzeugt, in dem eine Meinung über das erfasste endoskopische Bild beschrieben ist.
Endoskopische Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 4, wobei der Prozessor Erfassung eines neuen endoskopischen Bildes an der spezifizierten Bildaufnahmeposition, Suche nach einem neuen ähnlichen endoskopischen Bild auf der Grundlage des neuen endoskopischen Bildes, Spezifikation einer neuen Bildaufnahmeposition und Benachrichtigung über die neue Bildaufnahmeposition wiederholt.
Endoskopische Bildaufnahmevorrichtung nach Anspruch 4, wobei der Prozessor Erfassung eines neuen endoskopischen Bildes an der spezifizierten Bildaufnahmeposition, Suche nach einem neuen ähnlichen endoskopischen Bild auf der Grundlage des neuen endoskopischen Bildes, Spezifikation einer neuen Bildaufnahmeposition, Benachrichtigung über die neue Bildaufnahmeposition und Aktualisierung des Diagnoseprotokolls auf der Grundlage einer Meinung über das neue endoskopische Bild wiederholt.
Endoskopische Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 6, wobei der Prozessor das endoskopische Bild analysiert, um eine in dem endoskopischen Bild enthaltene Erkrankung zu detektieren, und nach dem diagnostizierten endoskopischen Bild, das dem Diagnoseprotokoll entspricht, in dem dieselbe Erkrankung wie die detektierte Erkrankung beschrieben ist, als dem ähnlichen endoskopischen Bild sucht.
Endoskopisches Bildaufnahmeverfahren, umfassend: Erfassen eines endoskopischen Bildes einer zu untersuchenden Untersuchungsperson, das von einem in einen Körper der zu untersuchenden Untersuchungsperson eingeführten Endoskop aufgenommen wird; Suchen nach einem ähnlichen endoskopischen Bild, das Eigenschaften aufweist, die Eigenschaften des erfassten endoskopischen Bildes ähnlich sind, aus mehreren diagnostizierten endoskopischen Bildern unter Bezugnahme auf eine externe Vorrichtung, in der die mehreren diagnostizierten endoskopischen Bilder und Diagnoseprotokolle über die jeweiligen diagnostizierten endoskopischen Bilder, einschließlich Positionsinformationen, die eine Position einer Erkrankung angeben, gespeichert werden; Verwenden der Positionsinformationen, die in dem Diagnoseprotokoll über das ähnliche endoskopische Bild enthalten sind, um eine Bildaufnahmeposition, an der ein Bild einer in der zu untersuchenden Untersuchungsperson zu erwartenden Erkrankung aufgenommen werden kann, in der zu untersuchenden Untersuchungsperson zu spezifizieren; und Benachrichtigen über die spezifizierte Bildaufnahmeposition.
Endoskopisches Bildaufnahmeprogramm, das einen Computer veranlasst, durchzuführen: einen Schritt des Erfassens eines endoskopischen Bildes einer zu untersuchenden Untersuchungsperson, das von einem in einen Körper der zu untersuchenden Untersuchungsperson eingeführten Endoskop aufgenommen wird; einen Schritt des Suchens nach einem ähnlichen endoskopischen Bild, das Eigenschaften aufweist, die Eigenschaften des erfassten endoskopischen Bildes ähnlich sind, aus mehreren diagnostizierten endoskopischen Bildern unter Bezugnahme auf eine externe Vorrichtung, in der die mehreren diagnostizierten endoskopischen Bilder und Diagnoseprotokolle über die jeweiligen diagnostizierten endoskopischen Bilder, einschließlich Positionsinformationen, die eine Position einer Erkrankung angeben, gespeichert werden; einen Schritt des Verwendens der Positionsinformationen, die in dem Diagnoseprotokoll über das ähnliche endoskopische Bild enthalten sind, um eine Bildaufnahmeposition, an der ein Bild einer in der zu untersuchenden Untersuchungsperson zu erwartenden Erkrankung aufgenommen werden kann, in der zu untersuchenden Untersuchungsperson zu spezifizieren; und einen Schritt des Benachrichtigens über die spezifizierte Bildaufnahmeposition.