DE112020004438T5

DE112020004438T5 - Prozessor für ein endoskop, programm, informationsverarbeitungsverfahren und informationsverarbeitungsvorrichtung

Info

Publication number: DE112020004438T5
Application number: DE112020004438.6T
Authority: DE
Inventors: Akihiko Nishide; Kohei Iketani; Junko ISAWA
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2019-09-20
Filing date: 2020-09-16
Publication date: 2022-06-23
Also published as: JP7313512B2; JPWO2021054360A1; CN113544743B; JP2022105685A; JP7096445B2; US20220198742A1; CN113544743A; WO2021054360A1

Abstract

Ein Prozessor für ein Endoskop enthält: eine Endoskopbild-Erfassungseinheit, die ein Endoskopbild eines Patienten aus dem Endoskop erfasst; eine Erfassungseinheit zum Erfassen eines virtuellen Endoskopbildes, die ein virtuelles Endoskopbild erfasst, das auf der Basis eines dreidimensionalen medizinischen Bildes rekonstruiert wird, das dadurch erhalten wird, dass vorab ein Bild des Patienten aufgenommen wird; eine Rekonstruktionseinheit zum Rekonstruieren eines virtuellen Endoskopbildes, die ein korrigiertes virtuelles Endoskopbild rekonstruiert, das auf der Basis des Übereinstimmungsgrades zwischen dem virtuellen Endoskopbild, das von der Erfassungseinheit zum Erfassen des virtuellen Endoskopbildes erfasst wird, und dem Endoskopbild, das von der Endoskopbild-Erfassungseinheit erfasst wird, am meisten mit dem Endoskopbild übereinstimmt; und eine Diagnoseunterstützungsinformation-Ausgabeeinheit, die eine Diagnoseunterstützungsinformation basierend auf einem Merkmalsparameter ausgibt, der gemäß einer Korrespondenz zwischen jedem Pixel des Endoskopbildes, das von der Endoskopbild-Erfassungseinheit erfasst wird, und einem Distanzbild, das aus dem korrigierten virtuellen Endoskopbild gewonnen wird, das von der Rekonstruktionseinheit zum Rekonstruieren des virtuellen Endoskopbildes rekonstruiert wird, korrigiert wird.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft einen Prozessor für ein Endoskop, ein Programm, ein Informationsverarbeitungsverfahren und eine Informationsverarbeitungsvorrichtung.
Die vorliegende Anmeldung beansprucht die Priorität der japanischen Patentanmeldung Nr. 2019-171874 , angemeldet am 20. September 2019, und der japanischen Patentanmeldung Nr. 2019-222349 , angemeldet am 9. Dezember 2019, deren gesamte Inhalte hierin durch Bezugnahme aufgenommen werden.
Stand der Technik
Die Mehrheit der Tumoruntersuchungen bei Patienten wird durch Einführen eines Endoskops in eine röhrenförmige Organstelle, wie z. B. die Luftröhre, den Bronchus, den Magen-Darm-Trakt, die Bauchspeicheldrüse, das Gallengangsystem oder den Darmtrakt, und durch Verwenden eines von dem eingeführten Endoskop gewonnenen Bildes durchgeführt. Jedoch ist aus der zweidimensionalen Bildinformation des Endoskopbildes ein Abstand zu jedem Pixel nicht bekannt, ferner ist eine geometrische Verzerrung des Bildes vorhanden, und ein Fehler zum Zeitpunkt der Bildmessung ist groß. Deshalb ist das Vorsehen des Endoskopbildes, so wie es ist, als Bilddiagnoseunterstützungsinformation ungeeignet. Ein virtuelles Endoskop, das im Patentdokument 1 offenbart ist, kann ein virtuelles Endoskopbild unter Verwendung von Daten eines Röntgen-Computertomographie-(CT)-Bildes liefern. Das virtuelle Endoskopbild wird aus einem dreidimensionalen Bild einer Röntgen-CT erzeugt, und in einem Fall, in dem ein Endoskopbild und das virtuelle Endoskopbild miteinander verknüpft werden, ist auch eine Information über einen Abstand zu jedem Pixel des Endoskopbildes aus dem dreidimensionalen Bild der Röntgen-CT bekannt. Folglich besteht die Möglichkeit, dass die Genauigkeit der Bildmessung verbessert werden kann und dass die Genauigkeit der Bilddiagnoseunterstützungsinformation ebenfalls verbessert werden kann.
Die Mehrheit der Tumoruntersuchungen bei Patienten wird durch Einführen eines Endoskops in eine röhrenförmige Organstelle, wie z. B. die Luftröhre, den Bronchus, den Magen-Darm-Trakt, die Bauchspeicheldrüse, das Gallengangsystem oder den Darmtrakt, und durch Verwenden eines von dem eingeführten Endoskop gewonnenen Bildes durchgeführt. Jedoch ist aus der zweidimensionalen Bildinformation des Endoskopbildes ein Abstand zu jedem Pixel nicht bekannt, ferner ist eine geometrische Verzerrung des Bildes vorhanden, und ein Fehler zum Zeitpunkt der Bildmessung ist groß. Deshalb ist das Vorsehen des Endoskopbildes, so wie es ist, als Bilddiagnoseunterstützungsinformation schwierig. Andererseits liefert das im Patentdokument 1 offenbarte virtuelle Endoskop ein virtuelles Endoskopbild unter Verwendung von Daten eines Röntgen-Computertomographie-(CT)-Bildes. Das virtuelle Endoskopbild wird aus einem dreidimensionalen Bild der Röntgen-CT erzeugt.
Liste von Entgegenhaltungen
Patentdokument
Patentdokument 1: JP 2002-238887 A
Zusammenfassung der Erfindung
Technisches Problem
Die Erfindung gemäß dem Patentdokument 1 hat jedoch das Problem, dass nur ein rekonstruiertes Querschnittsbild (virtuelles Endoskopbild) der Röntgen-CT angezeigt wird, und eine Diagnose unter Verwendung des Endoskopbildes und des virtuellen Endoskopbildes in Kombination wird nicht in Betracht gezogen. Darüber hinaus zeigt das virtuelle Endoskop, das im Patentdokument 1 offenbart ist, einfach ein rekonstruiertes Querschnittsbild (virtuelles Endoskopbild) der Röntgen-CT, und ein Verknüpfen des Endoskopbildes mit dem dreidimensionalen Bild, das aus der Röntgen-CT erhalten wird, findet keine Berücksichtigung beim Durchführen der Diagnoseunterstützung.
In einem Aspekt ist ein Ziel, einen Prozessor für ein Endoskop und dergleichen vorzusehen, der effektiv zur Diagnose verwendet werden kann.
Lösung der Aufgabe
Ein Prozessor für ein Endoskop gemäß einem Aspekt enthält: eine Endoskopbild-Erfassungseinheit, die ein Endoskopbild eines Patienten aus dem Endoskop erfasst, eine Erfassungseinheit zum Erfassen eines virtuellen Endoskopbildes, die ein virtuelles Endoskopbild erfasst, das auf der Basis eines dreidimensionalen medizinischen Bildes rekonstruiert wird, das dadurch erhalten wird, das ein Bild des Patienten vorab aufgenommen wird; eine Rekonstruktionseinheit zum Rekonstruieren eines virtuellen Endoskopbildes, die ein korrigiertes virtuelles Endoskopbild rekonstruiert, das auf der Basis des Übereinstimmungsgrades zwischen dem virtuellen Endoskopbild, das von der Erfassungseinheit zum Erfassen des virtuellen Endoskopbild erfasst wird, und dem Endoskopbild, das von der Endoskopbild-Erfassungseinheit erfasst wird, am meisten mit dem Endoskopbild übereinstimmt; und eine Diagnoseunterstützungsinformation-Ausgabeeinheit, die eine Diagnoseunterstützungsinformation basierend auf einem Merkmalsparameter ausgibt, der gemäß einer Korrespondenz zwischen jedem Pixel des Endoskopbildes, das von der Endoskopbild-Erfassungseinheit erfasst wird, und einem Distanzbild, das aus dem korrigierten virtuellen Endoskopbild gewonnen wird, das von der Rekonstruktionseinheit zum Rekonstruieren des virtuellen Endoskopbildes rekonstruiert wird, korrigiert wird.
Ein Programm gemäß einem Aspekt der vorliegenden Offenbarung veranlasst einen Computer eine folgende Verarbeitung durchzuführen: Erfassen eines Endoskopbildes, das dadurch erhalten wird, dass ein Endoskop ein Bild eines Patienten aufnimmt; Erfassen eines dreidimensionalen medizinischen Bildes, das dadurch erhalten wird, dass ein Bild des Inneren des Körpers des Patienten durch einen Röntgen-CT-Scan, einen Röntgen-Kegelstrahl-CT-Scan und/oder einen MRI-CT-Scan aufgenommen wird; Ableiten einer Positionsinformation in einem Koordinatensystem des dreidimensionalen medizinischen Bildes, das durch das Endoskopbild und das dreidimensionale medizinische Bild spezifiziert wird; und Speichern des Endoskopbildes und des dreidimensionalen medizinischen Bildes in Verknüpfung miteinander auf der Basis der abgeleiteten Positionsinformation.
Ein Informationsverarbeitungsverfahren gemäß einem Aspekt der vorliegenden Offenbarung veranlasst einen Computer eine folgende Verarbeitung durchzuführen:

Erfassen eines Endoskopbildes, das dadurch erhalten wird, dass ein Endoskop ein Bild eines Patienten aufnimmt; Erfassen eines dreidimensionalen medizinischen Bildes, das dadurch erhalten wird, dass ein Bild des Inneren des Körpers des Patienten durch einen Röntgen-CT-Scan, einen Röntgen-Kegelstrahl-CT-Scan und/oder einen MRI-CT-Scan aufgenommen wird; Ableiten einer Positionsinformation in einem Koordinatensystem des dreidimensionalen medizinischen Bildes, das durch das Endoskopbild und das dreidimensionale medizinische Bild spezifiziert wird; und
Speichern des Endoskopbildes und des dreidimensionalen medizinischen Bildes in Verknüpfung miteinander auf der Basis der abgeleiteten Positionsinformation.

Eine Informationsverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung enthält: eine Erfassungseinheit, die ein Endoskopbild erfasst, das dadurch erhalten wird, dass ein Endoskop ein Bild eines Patienten aufnimmt, sowie ein dreidimensionales medizinisches Bild, das dadurch erhalten wird, dass ein Bild des Inneren des Körpers des Patienten durch einen Röntgen-CT-Scan, einen Röntgen-Kegelstrahl-CT-Scan und/oder einen MRI-CT-Scan aufgenommen wird; eine Ableitungseinheit, die eine Positionsinformation in einem Koordinatensystem des dreidimensionalen medizinischen Bildes, die durch das Endoskopbild und das dreidimensionale medizinische Bild spezifiziert wird, ableitet; und eine Speichereinheit, die das Endoskopbild und das dreidimensionale medizinische Bild in Verknüpfung miteinander auf der Basis der abgeleiteten Positionsinformation speichert.
Vorteilhafte Wirkungen der Erfindung
In einem Aspekt ist ein Ziel, einen Prozessor für ein Endoskop und dergleichen vorzusehen, der effektiv zur Diagnose verwendet werden kann.
Figurenliste

1 ist ein schematisches Diagramm, das ein Konfigurationsbeispiel für ein Endoskopsystem zeigt.
2 ist eine Außenansicht eines Endoskops.
3 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für einen Prozessor zeigt.
4 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für einen Server zeigt.
5 ist ein erläuterndes Diagramm, das ein Beispiel für ein Datensatzlayout einer Datenbank für medizinische Bilder (Medizinbild-Datenbank) zeigt.
6 ist ein erläuterndes Diagramm zum Beschreiben der Verarbeitung des Ausgebens eines Endoskopbildes in Verknüpfung mit einem virtuellen Endoskopbild.
7 ist ein Konfigurationsdiagramm in einem Fall, in dem ein optischer Sensor in einem flexiblen Schlauch angeordnet ist.
8 ist eine erläuternde Ansicht, die eine Z-Koordinate in einer Körperhöhle zeigt.
9 ist ein Flussdiagramm, das eine Verarbeitungsprozedur beim Ausgeben des Endoskopbildes in Verknüpfung mit dem virtuellen Endoskopbild zeigt.
10 ist ein Flussdiagramm, das eine Verarbeitungsprozedur beim Korrigieren einer Position und Ausrichtung des virtuellen Endoskopbildes zeigt.
11 ist ein Flussdiagramm, das eine Verarbeitungsprozedur beim Korrigieren einer Einführungsdistanz gemäß einer Biegeverlaufsinformation zeigt.
12 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für einen Prozessor eines zweiten Ausführungsbeispiels zeigt.
13 ist ein erläuterndes Diagramm, das ein Beispiel für ein Datensatzlayout einer Diagnoseunterstützungsinformation-Datenbank zeigt.
14 ist ein erläuterndes Diagramm zum Beschreiben der Verarbeitung des Erhaltens eines Distanzbildes.
15 ist ein Flussdiagramm, das eine Verarbeitungsprozedur beim Ausgeben einer Diagnoseunterstützungsinformation auf der Basis eines Endoskopbildes nach einer Pixelwertkorrektur zeigt.
16 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für einen Prozessor eines dritten Ausführungsbeispiels zeigt.
17 ist ein erläuterndes Diagramm zum Beschreiben der Verarbeitung des Ausgebens einer Diagnoseunterstützungsinformation unter Verwendung eines Bilderkennungsmodells.
18 ist ein erläuterndes Diagramm zum Beschreiben eines Vorgangs zum Ermitteln eines Merkmalsparameters durch Durchführen einer Distanzkorrektur.
19 ist ein erläuterndes Diagramm zum Beschreiben eines Vorgangs zum Durchführen einer Flächenkorrektur.
20 ist ein Flussdiagramm, das eine Verarbeitungsprozedur beim Ausgeben der Diagnoseunterstützungsinformation unter Verwendung des Bilderkennungsmodells zeigt.
21 ist ein Funktionsblockdiagramm, das einen Betrieb des Prozessors des oben beschriebenen Ausführungsbeispiels zeigt.
22 ist ein schematisches Diagramm, das einen Überblick über ein Diagnoseunterstützungssystem gemäß einem fünften Ausführungsbeispiel zeigt.
23 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für eine Endoskopvorrichtung zeigt, die in dem Diagnoseunterstützungssystem enthalten ist.
24 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für eine Informationsverarbeitungsvorrichtung zeigt, die in dem Diagnoseunterstützungssystem enthalten ist.
25 ist ein erläuterndes Diagramm, das ein Datenlayout einer Endoskopbild-Datenbank zeigt.
26 ist ein Funktionsblockdiagramm, das Funktionsteile zeigt, die in einer Steuereinheit der Informationsverarbeitungsvorrichtung enthalten sind.
27 ist ein erläuterndes Diagramm, das eine Distanz (einen Wert einer S-Koordinate) zeigt, um die das Endoskop eingeführt ist.
28 ist ein erläuterndes Diagramm bezüglich einer Beziehung zwischen dem Endoskopbild und einem dreidimensionalen medizinischen Bild.
29 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitungsprozedur zeigt, die von der Steuereinheit der Informationsverarbeitungseinheit durchgeführt wird.
30 ist ein Funktionsblockdiagramm, das Funktionsteile zeigt, die in einer Steuereinheit einer Informationsverarbeitungsvorrichtung gemäß einem sechsten Ausführungsbeispiel enthalten sind.
31 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitungsprozedur zeigt, die von der Steuereinheit der Informationsverarbeitungsvorrichtung durchgeführt wird.
32 ist eine Perspektivansicht, die schematisch eine distale Spitze eines Einführteils gemäß einem siebten Ausführungsbeispiel zeigt.
33 ist eine Vorderansicht, die schematisch die distale Spitze des Einführteils zeigt.
34 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitungsprozedur zeigt, die von einer Steuereinheit einer Informationsverarbeitungsvorrichtung durchgeführt wird.
35 ist eine erläuternde Ansicht, die einen Modus (Modus eines dreidimensionalen medizinischen Bildes) eines integrierten Bildanzeigeschirms gemäß einem achten Ausführungsbeispiel zeigt.
36 ist eine erläuternde Ansicht, die einen Modus (Endoskopbild-Modus) des integrierten Bildanzeigeschirms zeigt.
37 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitungsprozedur zeigt, die von einer Steuereinheit einer Informationsverarbeitungsvorrichtung durchgeführt wird.
38 ist ein erläuterndes Diagramm zum Beschreiben der Verarbeitung des Ausgebens einer Diagnoseunterstützungsinformation unter Verwendung eines Lernmodells nach einem neunten Ausführungsbeispiel.
39 ist ein Funktionsblockdiagramm, das Funktionsteile zeigt, die in einer Steuereinheit einer Informationsverarbeitungsvorrichtung enthalten sind.
40 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitungsprozedur zeigt, die von der Steuereinheit der Informationsverarbeitungsvorrichtung durchgeführt wird.

Beschreibung von Ausführungsbeispielen
Nachstehend wird die vorliegende Erfindung unter Bezugnahme auf die Zeichnungen, die Ausführungsbeispiele derselben zeigen, näher beschrieben.
(Erstes Ausführungsbeispiel)
Ein erstes Ausführungsbeispiel ist ein Ausführungsbeispiel, in dem ein Endoskopbild, das von einem Endoskop erfasst wird, in Verknüpfung mit einem virtuellen Endoskopbild ausgegeben wird, das einer Distanz entspricht, um die das Endoskop in einen Körper eingeführt wird. Das virtuelle Endoskopbild ist ein virtuelles Endoskopbild des Inneren einer Körperhöhle basierend auf einem dreidimensionalen Bild, das auf der Basis eines dreidimensionalen medizinischen Bildes rekonstruiert wird, das durch einen Röntgen-CT-Scan, einen MR-Scan oder einen Röntgen-Kegelstrahl-CT-Scan erhalten wird, bei dem ein Bild des Inneren der Luftröhre, des Inneren des Bronchus oder eines röhrenförmigen Organs, wie z. B. des Verdauungstrakts, aufgenommen wird.
Beispiele für das dreidimensionale medizinische Bild umfassen ein Bild, das durch Volumendaten dargestellt ist, die aus Schichtdaten rekonstruiert werden, die aus einer CT-Vorrichtung, einer Magnetresonanzabbildungs-(MRI)-Vorrichtung oder dergleichen ausgegeben werden, und ein Bild, das durch Volumendaten dargestellt ist, die aus einer Röntgen-Kegelstrahl-CT-Vorrichtung unter Verwendung einer Mehrschicht-(MS)-CT-Vorrichtung und eines Röntgen-Flachbildschirms ausgegeben werden. Das virtuelle Endoskopbild des Dickdarms kann beispielsweise rekonstruiert werden, indem ein CT-Scan in einem Zustand durchgeführt wird, in dem Luft in den Dickdarm eingebracht wird, und ein Volumen-Rendering eines dreidimensionalen Bildes durchgeführt wird, das durch das Scannen aus dem Inneren des Dickdarms gewonnen wird.
1 ist ein schematisches Diagramm, das ein Konfigurationsbeispiel für ein Endoskopsystem zeigt. Das in 1 gezeigte System enthält ein Endoskop 1, das in einen Körper eines Patienten eingeführt wird, um ein Bild aufzunehmen, und ein Videosignal eines Beobachtungsziels ausgibt, einen Prozessor 2 für ein Endoskop, der das aus dem Endoskop 1 ausgegebene Videosignal in ein Endoskopbild umwandelt, eine Anzeigevorrichtung 3, die das Endoskopbild und dergleichen anzeigt, und eine Informationsverarbeitungsvorrichtung 4. Das Endoskop 1, der Prozessor 2 für ein Endoskop und die Anzeigevorrichtung 3 senden und empfangen ein elektrisches Signal, ein Videosignal und dergleichen über einen Verbindungsstecker. Der Prozessor 2 für ein Endoskop und die Informationsverarbeitungsvorrichtung 4 senden und empfangen Informationen über ein Netzwerk N, wie z. B. das Internet.
Das Endoskop 1 ist ein Instrument, dessen Einführteil mit einem an einem distalen Spitzenabschnitt vorgesehenen Bildsensor in den Körper des Patienten eingeführt wird, um eine Diagnose oder Behandlung durchzuführen. Das Endoskop 1 überträgt an den Prozessor 2 ein Bild, das von dem an der distalen Spitze vorgesehenen Bildsensor aufgenommen wird.
Der Prozessor 2 für ein Endoskop ist eine Informationsverarbeitungsvorrichtung, die eine Bildverarbeitung an dem aufgenommenen Bild durchführt, das aus dem an der distalen Spitze des Endoskops 1 vorgesehenen Bildsensor erfasst wird, ein Endoskopbild sammelt und das Endoskopbild an die Anzeigevorrichtung 3 ausgibt.
Nachstehend wird der Kürze wegen der Prozessor 2 für ein Endoskop als Prozessor 2 bezeichnet werden.
Die Anzeigevorrichtung 3 ist eine Flüssigkristallanzeige, eine organische Elektrolumineszenz-(EL)-Anzeige oder dergleichen und zeigt das aus dem Prozessor 2 ausgegebene Endoskopbild oder dergleichen an.
Die Informationsverarbeitungsvorrichtung 4 ist eine Informationsverarbeitungsvorrichtung, die eine Information über einen Patienten und ein virtuelles Endoskopbild, das auf der Basis eines dreidimensionalen medizinischen Bildes rekonstruiert wird, das durch Aufnahme eines Bildes des Patienten gewonnen wird, speichert und sendet/empfängt. Die Informationsverarbeitungsvorrichtung 4 ist beispielsweise eine Servervorrichtung, ein Personal Computer oder dergleichen. In dem vorliegenden Ausführungsbeispiel wird angenommen, dass die Informationsverarbeitungsvorrichtung 4 eine Servervorrichtung ist, und sie wird nachstehend der Kürze wegen als Server 4 bezeichnet.
2 ist eine Außenansicht des Endoskops 1. Das Endoskop 1 enthält einen Bildsensor 11, einen Behandlungswerkzeug-Einführkanal 12, eine Bedieneinheit 13, einen Verbindungsstecker 14 und einen flexiblen Schlauch 15. Der Bildsensor 11 ist beispielsweise ein ladungsgekoppelter (CCD) Bildsensor, ein ladungsmodulierter (CMD) Bildsensor oder ein komplementärer Metall-Oxid-Halbleiter-(CMOS)-Bildsensor, der an dem distalen Spitzenabschnitt des Endoskops 1 angebracht ist, und führt an einfallendem Licht eine photoelektrische Transformation durch. Ein elektrisches Signal, das durch die photoelektrische Transformation rekonstruiert wird, wird einer Signalverarbeitung, wie z. B. einer A/D-Umwandlung und einer Rauschunterdrückung, durch eine Signalverarbeitungsschaltung (nicht gezeigt) unterzogen und wird an den Prozessor 2 ausgegeben.
Der Behandlungswerkzeug-Einführkanal 12 ist ein Kanal zum Durchführen eines Behandlungswerkzeugs. Beispiele für das Behandlungswerkzeug umfassen Greifer, Biopsienadeln, Zangen, Schlingen, Klemmen, Scheren, Skalpelle, Inzisionsinstrumente, medizinische Klammerwerkzeuge, Gewebeschlingen, Clip-Zangen, Fadenzuführinstrumente, energiebasierte Gewebegerinnungsinstrumente und Gewebeschneidinstrumente. Die Bedieneinheit 13 ist mit einem Löseknopf, einem Winkeldrehknopf zum Biegen der distalen Spitze des Endoskops und dergleichen versehen und empfängt ein Signal zum Anweisen eines Betriebs eines peripheren Geräts, wie z. B. einer Luftzuführung, einer Wasserzuführung und einer Gaszuführung. Der Verbindungsstecker 14 ist mit dem Prozessor 2 verbunden. Der flexible Schlauch 15 ist eine flexible endoskopische Röhre, die in den Körper eines Patienten eingeführt werden kann.
3 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für den Prozessor 2 zeigt. Der Prozessor 2 enthält eine Steuereinheit 21, eine Speichereinheit 22, eine Bedieneingabeeinheit 23, eine Ausgabeeinheit 24, eine Lichtquellensteuereinheit 25, eine Kommunikationseinheit 26, eine Lichtquelle 27, eine Leseeinheit 28, eine Speichereinheit mit großer Kapazität 29 und eine Sensorsignaleingabeeinheit 20. Die jeweiligen Komponenten sind über einen Bus B verbunden.
Die Steuereinheit 21 enthält arithmetische Verarbeitungsvorrichtungen, wie z. B. eine Zentraleinheit (CPU), eine Mikroverarbeitungseinheit (MPU) und eine Grafikverarbeitungseinheit (GPU) und liest und führt ein Steuerprogramm 2P, das in der Speichereinheit 22 gespeichert ist, aus, um verschiedene Arten von Informationsverarbeitung, Steuerverarbeitung und dergleichen in Bezug auf den Prozessor 2 auszuführen. Es wird angemerkt, dass, obgleich die Steuereinheit 21 in 3 als Einzelprozessor beschrieben ist, sie auch ein Multiprozessor sein kann.
Die Speichereinheit 22 enthält ein Speicherelement, wie z. B. einen Direktzugriffsspeicher (RAM) oder einen Nur-Lese-Speicher (ROM), und speichert das Steuerprogramm 2P oder Daten, die für die Steuereinheit 21 zum Durchführen der Verarbeitung erforderlich sind. Darüber hinaus speichert die Speichereinheit 22 temporär Daten und dergleichen, die für die Steuereinheit 21 zum Durchführen der arithmetischen Verarbeitung erforderlich sind. Die Bedieneingabeeinheit 23 wird durch Eingabevorrichtungen implementiert, wie z. B. einen berührungsempfindlichen Bildschirm (Touchpanel) und verschiedene Schalter, und gibt ein Eingabesignal, das in Antwort auf eine äußere Betätigung, die an diesen Eingabevorrichtungen vorgenommen wird, erzeugt wird, an die Steuereinheit 21 weiter. Unter der Steuerung der Steuereinheit 21 gibt die Ausgabeeinheit 24 ein Bildsignal zur Anzeige und verschiedene Arten von Informationen an die Anzeigevorrichtung 3 aus, um das Bild und die Informationen anzuzeigen.
Die Lichtquellensteuereinheit 25 steuert die Menge des emittierten Beleuchtungslichts durch Ein-/Ausschalten einer LED und dergleichen und durch Anpassen eines Antriebsstroms und einer Antriebsspannung der LED und dergleichen. Ferner steuert die Lichtquellensteuereinheit 25 ein Wellenlängenband des Beleuchtungslichts durch Ändern eines optischen Filters oder dergleichen. Die Lichtquellensteuereinheit 25 stellt einen Emissionszeitpunkt, eine Emissionsdauer, die Menge und ein spektrales Spektrum des Beleuchtungslichts durch unabhängiges Steuern des Einschaltens oder Ausschaltens jeder LED und der Menge des emittierten Lichts bei eingeschalteter LED ein. Die Kommunikationseinheit 26 ist ein Kommunikationsmodul zum Durchführen einer Verarbeitung bezüglich der Kommunikation und sendet/empfängt eine Information an den/aus dem Server 4, eine/einer externen Informationsverarbeitungsvorrichtung oder dergleichen über das Netzwerk N.
Die Lichtquelle 27 enthält eine Lichtquelle, die Beleuchtungslicht emittiert, das zum Beleuchten des Beobachtungsziels verwendet wird. Beispiele für die Lichtquelle umfassen eine Halbleiterlichtquelle, wie z. B. eine Mehrfarben-LED mit verschiedenen Wellenlängenbereichen, eine Kombination aus einer Laserdiode und einem Phosphor, eine Xenonlampe und eine Halogenlampe. Die Lichtquelle 27 stellt die Helligkeit und dergleichen unter der Steuerung der Lichtquellensteuereinheit 25 des Prozessors 2 ein. Es wird angemerkt, dass in dem vorliegenden Ausführungsbeispiel der Prozessor 2 mit der Lichtquelle integriert ist, aber die vorliegende Erfindung ist nicht darauf beschränkt. Der Prozessor 2 kann beispielsweise auch getrennt von der Lichtquellenvorrichtung sein.
Die Leseeinheit 28 liest ein tragbares Speichermedium 2a aus, das eine CD-ROM oder eine DVD-ROM einschließt. Die Steuereinheit 21 kann das Steuerprogramm 2P aus dem tragbaren Speichermedium 2a über die Leseeinheit 28 auslesen und das Speicherprogramm 2P in der Speichereinheit mit großer Kapazität 29 speichern. Ferner kann die Steuereinheit 21 das Steuerprogramm 2P von einem anderen Computer über das Netzwerk N oder dergleichen herunterladen und das Steuerprogramm 2P in der Speichereinheit mit großer Kapazität 29 speichern. Darüber hinaus kann die Steuereinheit 21 das Steuerprogramm 2P aus einem Halbleiterspeicher 2b auslesen.
Die Speichereinheit mit großer Kapazität 29 enthält z. B. ein Aufzeichnungsmedium, wie z. B. ein Festplattenlaufwerk (HDD) oder einen Festkörperspeicher (SSD). Es wird angemerkt, dass in dem vorliegenden Ausführungsbeispiel die Speichereinheit 22 und die Speichereinheit mit großer Kapazität 29 als integrierte Speichervorrichtung implementiert sein können. Ferner kann die Speichereinheit mit großer Kapazität 29 durch eine Vielzahl von Speichervorrichtungen implementiert werden. Außerdem kann die Speichereinheit mit großer Kapazität 29 eine externe Speichervorrichtung sein, die mit dem Prozessor 2 verbunden ist. Die Sensorsignal-Eingabeeinheit 20 empfängt Signale, die aus verschiedenen Sensoren erhalten werden.
4 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für den Server 4 zeigt. Der Server 4 enthält eine Steuereinheit 41, eine Speichereinheit 42, eine Kommunikationseinheit 43, eine Eingabeeinheit 44, eine Anzeigeeinheit 45, eine Leseeinheit 46 und eine Speichereinheit mit großer Kapazität 47. Die jeweiligen Komponenten sind über einen Bus B verbunden.
Die Steuereinheit 41 enthält eine arithmetische Verarbeitungseinheit, wie z. B. eine CPU, eine MPU oder eine GPU, und führt verschiedene Arten von Informationsverarbeitung, Steuerverarbeitung und dergleichen in Bezug auf den Server 4 durch, indem ein in der Speichereinheit 42 gespeichertes Steuerprogramm 4P gelesen und ausgeführt wird. Es wird angemerkt, dass, obgleich die Steuereinheit 41 in 4 als Einzelprozessor beschrieben ist, sie auch ein Multiprozessor sein kann.
Die Speichereinheit 42 enthält ein Speicherelement wie z. B. ein RAM oder ROM und speichert das Steuerprogramm 4P, Daten oder dergleichen, die für die Steuereinheit 41 zum Ausführen der Verarbeitung erforderlich sind. Darüber hinaus speichert die Speichereinheit 42 temporär Daten und dergleichen, die für die Steuereinheit 41 zum Durchführen der arithmetischen Verarbeitung erforderlich sind. Die Kommunikationseinheit 43 ist ein Kommunikationsmodul zum Durchführen der Verarbeitung bezüglich der Kommunikation und sendet/empfängt eine Information an/aus dem Prozessor 2 über das Netzwerk N.
Die Eingabeeinheit 44 ist eine Eingabevorrichtung wie z. B. eine Maus, eine Tastatur, ein Touchpanel oder eine Taste und gibt empfangene Betätigungsinformationen an die Steuereinheit 41 weiter. Die Anzeigeeinheit 45 ist eine Flüssigkristallanzeige, eine organische Elektrolumineszenz-(EL)-Anzeige oder dergleichen und zeigt verschiedene Arten von Informationen gemäß einer Anweisung aus der Steuereinheit 41 an.
Die Leseeinheit 46 liest ein tragbares Speichermedium 4a aus, das eine CD-ROM oder eine DVD-ROM einschließt. Die Steuereinheit 41 kann das Steuerprogramm 4P aus dem tragbaren Speichermedium 4a über die Leseeinheit 46 auslesen und das Steuerprogramm 4P in der Speichereinheit mit großer Kapazität 47 speichern. Ferner kann die Steuereinheit 41 das Steuerprogramm 4P von einem anderen Computer über das Netzwerk N oder dergleichen herunterladen und das Steuerprogramm 4P in der Speichereinheit mit großer Kapazität 47 speichern. Außerdem kann die Steuereinheit 41 das Steuerprogramm 4P aus einem Halbleiterspeicher 4b auslesen.
Die Speichereinheit mit großer Kapazität 47 enthält ein Aufzeichnungsmedium, wie z. B. eine HDD oder eine SSD. Die Speichereinheit mit großer Kapazität 47 speichert eine Datenbank für medizinische Bilder (Medizinbild-Datenbank) 471. Es wird angemerkt, dass in dem vorliegenden Ausführungsbeispiel die Speichereinheit 42 und die Speichereinheit mit großer Kapazität 47 als integrierte Speichervorrichtung implementiert werden können. Ferner kann die Speichereinheit mit großer Kapazität 47 durch eine Vielzahl von Speichervorrichtungen implementiert werden. Außerdem kann die Speichereinheit mit großer Kapazität 47 eine externe Speichervorrichtung sein, die mit dem Server 4 verbunden ist.
Es wird angemerkt, dass in dem vorliegenden Ausführungsbeispiel der Server 4 als eine einzige Informationsverarbeitungsvorrichtung beschrieben ist. Der Server 4 kann jedoch auch durch eine Vielzahl von Vorrichtungen auf verteilte Weise implementiert sein oder kann durch eine virtuelle Maschine implementiert sein.
5 ist ein erläuterndes Diagramm, das ein Beispiel für ein Datensatzlayout der Medizinbild-Datenbank 471 zeigt. Die Medizinbild-Datenbank 471 enthält eine Patienten-ID-Spalte, eine Geschlecht-Spalte, eine Name-Spalte und eine dreidimensionales medizinisches Bild-Spalte. Die Patienten-ID-Spalte speichert eine Patienten-ID, die eindeutig spezifiziert ist, um jeden Patienten zu identifizieren. Die Geschlecht-Spalte speichert das Geschlecht des Patienten. Die Name-Spalte speichert den Namen des Patienten. Die dreidimensionales medizinisches Bild-Spalte speichert ein dreidimensionales medizinisches Bild, das durch Aufnahme eines Bildes des Patienten erhalten wird. Die dreidimensionales medizinisches Bild-Spalte kann beispielsweise ein dreidimensionales medizinisches Bild in einem DICOM-Format sein (DICOM: Digitale Bildgebung und-kommunikation in der Medizin). Es wird angemerkt, dass ein Endoskopbild und eine Diagnoseunterstützungsinformation, die mit dem dreidimensionalen medizinischen Bild verknüpft ist, in der Medizinbild-Datenbank 471 gespeichert werden kann.
6 ist ein erläuterndes Diagramm, das eine Verarbeitung des Ausgebens des Endoskopbildes in Verknüpfung mit dem virtuellen Endoskopbild zeigt. Die Steuereinheit 41 des Servers 4 erfasst ein dreidimensionales medizinisches Bild, das durch Aufnahme eines Bildes eines Patienten vorab vor der Operation, vor der Untersuchung oder dergleichen erhalten wird, aus der Medizinbild-Datenbank 471 der Speichereinheit mit großer Kapazität 47. Die Steuereinheit 41 sendet das erfasste dreidimensionale medizinische Bild über die Kommunikationseinheit 43 an den Prozessor 2. Die Steuereinheit 21 des Prozessors 2 empfängt das dreidimensionale medizinische Bild, das aus dem Server 4 übertragen wurde, über die Kommunikationseinheit 26.
Die Steuereinheit 21 rekonstruiert ein virtuelles Endoskopbild auf der Basis des empfangenen dreidimensionalen medizinischen Bildes. Nachstehend wird ein Beispiel für eine Rekonstruktion eines virtuellen endoskopischen Bildes des Dickdarms unter Verwendung eines dreidimensionalen medizinischen Bildes des Dickdarms beschrieben. Es wird angemerkt, dass das dreidimensionale medizinische Bild nicht auf das dreidimensionale medizinische Bild des Dickdarms beschränkt ist und ein dreidimensionales medizinisches Bild eines anderen hohlen Organs, wie z. B. des Bronchus oder des Magens, sein kann.
Die Steuereinheit 21 extrahiert Voxeldaten eines Organs im Patienten aus dem erfassten dreidimensionalen medizinischen Bild. Das Organ ist beispielsweise der Dickdarm, der Dünndarm, die Niere, der Bronchus und ein Blutgefäß. Das Organ ist aber nicht darauf beschränkt, und es können auch andere Organe sein. Es wird angemerkt, dass in dem vorliegenden Ausführungsbeispiel die Voxeldaten des Dickdarms extrahiert und erfasst werden.
Bei einem Verfahren zum Extrahieren eines Dickdarmbereichs im Speziellen wird zunächst eine Verarbeitung einer Rekonstruktion einer Vielzahl von axialen Bildern von Querschnitten senkrecht zu einer Körperachse auf der Basis des dreidimensionalen medizinischen Bildes und einer Trennung eines extrakorporalen Bereichs von einem intrakorporalen Bereich basierend auf einer Körperfläche in jedem axialen Bild durch ein bekanntes Verfahren durchgeführt. Beispielsweise wird eine Binarisierungsverarbeitung an dem rekonstruierten axialen Bild durchgeführt, eine Kontur wird durch eine Konturextraktionsverarbeitung extrahiert und der Bereich innerhalb der extrahierten Kontur wird als intrakorporaler (menschlicher Körper) Bereich extrahiert.
Als Nächstes wird eine Binarisierungsverarbeitung unter Verwendung eines Schwellenwertes an dem axialen Bild des intrakorporalen Bereichs durchgeführt, und ein Kandidat für einen Bereich des Dickdarms in jedem axialen Bild wird extrahiert. Genau genommen wird, da Luft in dem Trakt des Dickdarms vorhanden ist, ein Schwellenwert (z. B. -600 oder weniger), der einem CT-Wert von Luft entspricht, eingestellt und eine Binarisierungsverarbeitung wird durchgeführt, und ein Luftbereich im Körper in jedem axialen Bild wird als Kandidat für den Bereich des Dickdarms extrahiert.
Es wird angemerkt, dass ein Innenwandbild des vorliegenden Ausführungsbeispiels ein Bild ist, das durch virtuelles Aufnehmen eines Bildes des Lumens des Dickdarms mit dem Endoskop erhalten wird. Insbesondere rekonstruiert die Steuereinheit 21 als virtuelles Endoskopbild ein Bild, das durch zentrale Projektion erhalten wird, indem Voxeldaten auf einer Vielzahl von Strahlenrichtungen, die radial um einen Sichtlinienvektor basierend auf einem vorbestimmten Blickpunkt und einer Sichtlinienrichtung verlaufen, auf eine vorbestimmte Projektionsebene projiziert werden. Es wird angemerkt, dass als spezifische Methode der zentralen Projektion beispielsweise ein bekanntes Verfahren zum Volumen-Rendering oder dergleichen verwendet werden kann.
Außerdem kann der Blickpunkt des virtuellen Endoskopbildes durch automatisches oder manuelles Festlegen eines vorbestimmten Punktes auf einer Mittellinie des Dickdarms eingestellt werden, der auf der Basis von Voxeldaten des Lumens des Dickdarms in dem dreidimensionalen medizinischen Bild des Dickdarms, das auf der Anzeigevorrichtung angezeigt wird, extrahiert wird. Der Nutzer kann auch manuell eine beliebige Richtung oder die Richtung der Mittellinie des Dickdarms als Sichtlinienrichtung einstellen.
Es wird angemerkt, dass bei der oben beschriebenen Verarbeitung ein Beispiel für eine Rekonstruktion des virtuellen endoskopischen Bildes auf der Basis des dreidimensionalen medizinischen Bildes beschrieben wurde, die vorliegende Erfindung jedoch nicht darauf beschränkt ist. Beispielsweise kann die Steuereinheit 21 das vorab rekonstruierte virtuelle endoskopische Bild direkt aus dem Server 4 erfassen.
Wenn die distale Spitze des Endoskops 1 in den Körper des Patienten eingeführt ist, erfasst die Steuereinheit 21 des Prozessors 2 das Endoskopbild, das aus dem Bildsensor erfasst wird, der an der distalen Spitze des Endoskops 1 vorgesehen ist. Die Steuereinheit 21 erfasst eine Distanz (Länge), um die das Endoskop 1 in den Körper eingeführt ist.
Was die Verarbeitung der Erfassung der Einführdistanz des Endoskops 1 betrifft, so sind verschiedene Sensoren zum Messen einer Umgebung um das Endoskop 1 in dem flexiblen Schlauch 15 des Endoskops 1 vorgesehen. Für diese Sensoren werden ein Temperatursensor, ein optischer Sensor, ein Drucksensor, ein Vibrationssensor, ein Benetzungssensor (Elektrode), ein Feuchtigkeitssensor und dergleichen verwendet. Nachstehend wird ein Fall beschrieben, bei dem der Sensor ein optischer Sensor ist.
7 ist ein Konfigurationsdiagramm für einen Fall, bei dem ein optischer Sensor in dem flexiblen Schlauch 15 angeordnet ist. 7A ist eine Perspektivansicht des flexiblen Schlauchs 15. Eine Richtung, die durch einen Pfeil 15a in 7A angedeutet ist, gibt eine Längsrichtung des flexiblen Schlauchs 15 an. Der flexible Schlauch 15 hat eine äußere Endoskopfläche 151, die mit der Außenseite des Endoskops 1 in Kontakt kommt, und eine innere Endoskopfläche 152.
7B zeigt eine schematische Querschnittsansicht entlang der Linie A-A in 7A. Der flexible Schlauch 15 enthält einen flexiblen Körper 153, der Licht durchlässt, einen optischen Sensor 16 und ein Kabel 17 für einen optischen Sensor. Die optischen Sensoren 16 sind auf der inneren Endoskopfläche 152 angeordnet, während sie mit dem flexiblen Körper 153 in vorbestimmten Abständen entlang der Pfeilrichtung 15a in Kontakt stehen. Es wird angemerkt, dass als Alternative zum flexiblen Körper 153 der gesamte flexible Schlauch aus einem Material mit einem hohen Durchlassgrad gebildet sein kann. Bei dieser Konfiguration kann der optische Sensor 16 mehr Licht empfangen als im Falle des flexiblen Körpers 153. Jeder optische Sensor 16 ist mit dem Kabel 17 für den optischen Sensor verbunden, und das Kabel 17 für den optischen Sensor ist mit der Sensorsignal-Eingabeeinheit 20 des Prozessors 2 verbunden.
Die Lichtmenge in einem Behandlungsraum, in dem eine endoskopische Untersuchung durchgeführt wird, entspricht im Wesentlichen gleich der in einem normalen Raum. Im Gegensatz dazu ist das Innere des Körpers in einem dunklen Zustand, außer es ist Beleuchtungslicht vorhanden. Der optische Sensor 16 ist im Inneren des flexiblen Schlauchs 15 angeordnet, kann aber Licht empfangen, selbst wenn der flexible Schlauch 15 in den Körper eingeführt ist. Deshalb ist es möglich, zu bestimmen, dass ein Abschnitt, an dem der optische Sensor mehr Licht empfängt, außerhalb des Körpers liegt, und ein Abschnitt, an dem der optische Sensor weniger Licht empfängt, im Inneren des Körpers ist. Dann kann die Steuereinheit 21 des Prozessors 2 eine Z-Koordinate berechnen, die eine Distanz (Länge) ist, um die der flexible Schlauch 15 in den Körper eingeführt ist, indem der optische Sensor 16, der an einer Grenzposition positioniert ist, die ein Körperhöhlen-Einführabschnitt ist, auf der Basis eines Signals, das von dem optischen Sensor 16 erhalten wird, spezifiziert wird.
Darüber hinaus ist ein Rollen-Encoder an einem Mundstück (nicht gezeigt) oder dergleichen angebracht, das mit dem flexiblen Schlauch 15 in Kontakt ist, und der Rollen-Encoder dreht sich um die Distanz, um die der flexible Schlauch 15 in den Körper eingeführt wird, wodurch die Z-Koordinate erfasst werden kann, die die Distanz ist, um die das Endoskop 1 in den Körper eingeführt ist. Der Rollen-Encoder des Mundstücks oder dergleichen dreht sich, wenn sich der flexible Schlauch 15 vor- und zurückbewegt, und kann eine Länge zwischen dem distalen Spitzenabschnitt des Endoskops 1, das in den Körper eingeführt ist, und einem Öffnungsabschnitt messen, der mit dem Lumen des Mundes, der Nase oder dergleichen kommuniziert, d.h. eine Einführdistanz des flexiblen Schlauchs 15. Der Rollen-Encoder ist elektrisch mit dem Prozessor 2 verbunden und sendet die gemessene Distanz an den Prozessor 2. Ferner kann ein optischer Kodierer anstelle des Rollen-Encoder verwendet werden.
Darüber hinaus kann in einem Fall, in dem eine Hilfsvorrichtung zum Messen der Einführdistanz des Endoskops 1 an dem Körperhöhlen-Einführabschnitt befestigt ist, die ein Eingang des Patienten ist, die Z-Koordinate, die die Distanz ist, um die das Endoskop 1 in den Körper eingeführt ist, durch Messen einer Passierdistanz des Endoskops erfasst werden. Die Hilfsvorrichtung kann eine Distanz durch eine Skala eines Magnetfeldes messen, wie z. B. eine lineare Skala, die an dem flexiblen Schlauch 15 angebracht ist, und einen linearen Kopf, der an dem Mundstück angebracht ist, oder kann ein Mundstück des Endoskops 1 sein, an dem eine Rolle angebracht ist. Es wird angemerkt, dass in einem Fall, in dem das Endoskop in die Nase, den Anus oder dergleichen eingeführt wird, eine Hilfsvorrichtung, die mit einer Rolle versehen und ähnlich dem Mundstück ist, verwendet werden kann.
Außerdem können Chips, in denen die Einführdistanzen aufgezeichnet werden, in den flexiblen Schlauch 15 des Endoskops 1 in regelmäßigen Abständen eingebettet werden. Der Prozessor 2 kann die Z-Koordinate, die die Distanz ist, um die das Endoskop 1 in den Körper eingeführt ist, anhand einer Z-Koordinateninformation erfassen, die in dem Chip aufgezeichnet ist und durch das Mundstück oder dergleichen ermittelt wurde.
8 ist eine erläuternde Ansicht, die die Z-Koordinate in der Körperhöhle zeigt. Die Z-Koordinate ist eine Distanz, um die das Endoskop 1 ist den Körper eingeführt ist. Die Steuereinheit 21 des Prozessors 2 führt eine Verarbeitung einer Umwandlung von Parametern einer Sichtlinienposition des Endoskopbildes von der Länge entlang der Körperhöhle in dreidimensionale Bildkoordinaten (x, y, z) auf der Basis der Z-Koordinate in der Körperhöhle um. Die Parameter der Sichtlinienposition sind Positionen (x, y, z) und Winkel (θx, θy, θz), die nicht gezeigt sind.
Unter erneuter Bezugnahme auf die 6 rekonstruiert die Steuereinheit 21 das virtuelle Endoskopbild entsprechend der Z-Koordinate, die die Einführdistanz (Länge) des Endoskops 1 ist, die aus dem Endoskopbild erfasst wird, der Position des Endoskops in der Körperhöhle, die aus der Endoskopbiegeinformation erhalten wird, und einer Endoskop-Blickrichtung. Insbesondere erfasst die Steuereinheit 21 die Parameter der Sichtlinienposition des Endoskopbildes, das aus dem Endoskop 1 erfasst wird. Die Steuereinheit 21 führt eine Verarbeitung einer Umwandung der Parameter der Sichtlinienposition des Endoskopbildes von der Länge entlang der Körperhöhle in die dreidimensionalen Bildkoordinaten (x, y, z) auf der Basis der Z-Koordinate in der Körperhöhle in 8 durch.
Der Ursprung des dreidimensionalen Bildes wird jedoch als bestimmter Punkt des Patienten festgelegt. Die Parameter der Sichtlinienposition sind die Positionen (x, y, z) und die Winkel (θx, θy, θz). Die Steuereinheit 21 rekonstruiert das virtuelle Endoskopbild entsprechend den dreidimensionalen Bildkoordinaten nach der Umwandlung, dem Sichtlinienwinkel und der Einführdistanz des Endoskops 1 aus dem virtuellen Endoskopbild, das durch die oben beschriebene Verarbeitung zur Rekonstruktion des virtuellen Endoskopbildes rekonstruiert wird. Die Steuereinheit 21 verknüpft das aus dem Endoskop 1 erfasste Endoskopbild mit dem virtuellen Endoskopbild, das der Z-Koordinate entspricht, die die Einführdistanz des Endoskops 1 ist, und gibt das Endoskopbild und das virtuelle Endoskopbild an die Anzeigevorrichtung 3 aus. Die Anzeigevorrichtung 3 zeigt das Endoskopbild und das virtuelle Endoskopbild, das mit dem Endoskopbild verknüpft ist, an, wobei das Endoskopbild und das virtuelle Endoskopbild aus dem Prozessor 2 ausgegeben werden.
9 ist ein Flussdiagramm, das eine Verarbeitungsprozedur zeigt, wenn das Endoskopbild in Verknüpfung mit dem virtuellen Endoskopbild ausgegeben wird. Die Steuereinheit 41 des Servers 4 bezieht ein dreidimensionales medizinisches Bild, das durch Vorabaufnahme eines Bildes des Patienten erhalten wird, aus der Medizinbild-Datenbank der Speichereinheit mit großer Kapazität 47 (Schritt S401). Die Steuereinheit überträgt das bezogene dreidimensionale medizinische Bild an den Prozessor 2 über die Kommunikationseinheit 43 (Schritt S402). Die Steuereinheit 21 des Prozessors 2 empfängt das von dem Server 4 übertragene dreidimensionale medizinische Bild über die Kommunikationseinheit 26 (Schritt S201).
Die Steuereinheit 21 erfasst ein Endoskopbild, das aus dem an der distalen Spitze des Endoskops 1 vorgesehenen Bildsensor erfasst wurde (Schritt S202). Die Steuereinheit 21 erfasst eine Z-Koordinatenposition, die eine Distanz ist, um die das Endoskop 1 in den Körper eingeführt ist, basierend auf einem Signal, das aus Endoskopeinführdistanz-Messmitteln gewonnen wird (Schritt S203). Es wird angemerkt, dass eine Beschreibung der Verarbeitung des Erfassens der Z-Koordinatenposition weggelassen wird, um die obige Beschreibung nicht zu wiederholen.
Die Steuereinheit 21 rekonstruiert ein virtuelles Endoskopbild auf der Basis des empfangenen dreidimensionalen medizinischen Bildes (Schritt S204). Genau genommen rekonstruiert die Steuereinheit 21 als virtuelles Endoskopbild ein Bild, das durch zentrale Projektion erhalten wird, indem Voxeldaten auf einer Vielzahl von Strahlenrichtungen, die sich radial um einen Sichtlinienvektor basierend auf einem voreingestellten Blickpunkt in der Sichtlinienrichtung erstrecken, auf eine vorbestimmte Projektionsebene projiziert werden, wie in 18, die später beschrieben wird, im Lumen des Patienten in dem erfassten dreidimensionalen medizinischen Bild. Die Steuereinheit 21 verknüpft das virtuelle Endoskopbild mit dem Endoskopbild (Schritt S205). Zu diesem Zeitpunkt werden die Blickpunkt-Position und der Winkel des Endoskops anhand der Z-Koordinatenposition (Einführlänge) und dem Biegezustand des Endoskops geschätzt, um das virtuelle Endoskopbild zu rekonstruieren, und feine Unterschiede zum Endoskopbild werden wie folgt angepasst.
Das Sichtfeld und die Sichtlinienrichtung des virtuellen Endoskopbildes des Beobachtungsziels sind vorzugsweise identisch zu dem Sichtfeld und der Sichtlinienrichtung des Endoskopbildes. Das Sichtfeld und die Sichtlinienrichtung des Endoskops können basierend auf der Position und Ausrichtung des Endoskopbildes angepasst werden. In einem Fall, in dem die Position und Ausrichtung des Endoskopbildes, das aus dem Endoskop 1 erfasst wird, nicht mit der Position und Ausrichtung des virtuellen Endoskopbildes übereinstimmen, das der Einführdistanz entspricht, korrigiert die Steuereinheit 21 die Position und Ausrichtung des virtuellen Endoskopbildes auf der Basis des Endoskopbildes und rekonstruiert das virtuelle Endoskopbild.
In Schritt S205 kann ein auf KI basierendes Verfahren dazu verwendet werden, den Grad der Übereinstimmung zwischen dem Endoskopbild und dem virtuellen Endoskopbild zu messen. Der Grad der Übereinstimmung wird jedoch mit einem Index gemessen, der ein Schattenbild des Endoskopbildes und ein Schattenbild des virtuellen Endoskopbildes korreliert, und das virtuelle Endoskopbild wird kontinuierlich mit der Blickpunkt-Position und dem Winkel des Endoskops durch Feineinstellen der Z-Koordinatenposition (Einführlänge) und des Biegezustandes des Endoskops rekonstruiert, um so den höchsten Grad an Übereinstimmung zu erhalten. Das Endoskopbild und das virtuelle Endoskopbild werden dazu gebracht, miteinander übereinzustimmen. Wenn das Endoskopbild und das virtuelle Endoskopbild übereinstimmen, rekonstruiert die Steuereinheit 21 das virtuelle Endoskopbild, das mit dem Endoskopbild übereinstimmt, und erfasst ein Distanzbild aus dem virtuellen Endoskopbild (Schritt S206). Die Steuereinheit 21 ermittelt eine Distanz zu jedem Pixel des Endoskopbildes anhand der erfassten Distanzbildinformation.
Die Steuereinheit 21 erfasst (ermittelt) eine Merkmalsparametergröße, die erhalten wird, indem eine Merkmalsparametergröße, die aus dem Endoskopbild durch Bildmessung erhalten wird, unter Verwendung der Distanzbildinformation korrigiert wird (Schritt S207). Die Steuereinheit 21 erfasst eine KI-Diagnoseunterstützungsinformation (Schritt S208). In Schritt S208 kann ein Tumorkandidat durch KI anhand der Merkmalsparametergröße gefunden werden, die durch Korrektur unter Verwendung der oben beschriebenen Distanzbildinformation erhalten wird, ein Tumorkandidat kann auf Basis einer Bestimmungslogik durch Messen eines Merkmalsparameters jedes Bereichs des Endoskopbildes ermittelt werden, oder ein Tumorkandidat kann durch KI anhand des Merkmalsparameters jedes Bereichs des Endoskopbildes ermittelt werden. Die Tumorkandidateninformation kann als Bilddiagnoseunterstützungsinformation vorgesehen werden. Folglich ist es möglich, die Bilddiagnoseunterstützungsinformation mit höherer Genauigkeit als die Merkmalsparametergrößeninformation vorzusehen, die durch Bildmessung unter Berücksichtigung der Distanzbildinformation erhalten wird, die aus dem virtuellen Endoskopbild ermittelt wird, das mit dem Endoskopbild übereinstimmt.
Die Steuereinheit 21 fügt die Diagnoseunterstützungsinformation dem Endoskopbild, das aus dem Endoskop 1 erfasst wird, hinzu und gibt das mit der Diagnoseunterstützungsinformation ergänzte Endoskopbild an die Anzeigevorrichtung 3 aus (Schritt S209). Die Anzeigevorrichtung 3 zeigt das aus dem Prozessor 2 ausgegebene Endoskopbild und die Diagnoseunterstützungsinformation an (Schritt S301) und beendet die Verarbeitung. Es wird angemerkt, dass das verknüpfte virtuelle Endoskopbild ebenfalls zu diesem Zeitpunkt angezeigt werden kann. Darüber hinaus kann ein Bereich, der als Tumorkandidat erachtet wird, in einer anderen Farbe angezeigt werden oder kann zum leichteren Erkennen hervorgehoben sein.
Als Nächstes wird eine Verarbeitung einer Korrektur der Position und Ausrichtung des virtuellen Endoskopbildes auf der Basis des Endoskopbildes, das aus dem Endoskop 1 erfasst wird, in den Schritten S203 bis S205 beschrieben.
Insbesondere ermittelt die Steuereinheit 21 als dreidimensionale intrakorporale Koordinaten eine Position, die um die Z-Koordinate entlang der Körperhöhle vorgeschoben wurde, wie in 8 gezeigt, anhand der Z-Koordinatenposition des distalen Spitzenabschnitts des Endoskops, der Position des Blickpunkts und der Richtungsinformation, die aus dem Endoskop 1 erfasst wird. Die dreidimensionalen intrakorporalen Koordinaten werden mit einer bestimmten Position des Patienten als Ursprung bestimmt. Die Z-Koordinatenposition des distalen Spitzenabschnitts des Endoskops wird in ein dreidimensionales intrakorporales Bild umgewandelt, und das virtuelle Endoskopbild und das Endoskopbild an der dreidimensionalen intrakorporalen Bildposition werden in Übereinstimmung gebracht. Um den Grad der Übereinstimmung zwischen dem virtuellen Endoskopbild und dem Endoskopbild quantitativ zu bestimmen, kann der Grad der Übereinstimmung auf der Basis des Grades der Korrelation der Schattenbildinformation bestimmt werden, die anhand der Leuchtdichteinformation ermittelt wird. Alternativ dazu kann der Grad der Übereinstimmung auf der Basis der Ähnlichkeit zwischen dem Endoskopbild und dem Endoskopbild ermittelt werden.
Es wird angemerkt, dass das Verarbeitungsverfahren nicht auf das obige Verfahren beschränkt ist. Beispielsweise kann die Steuereinheit 21 des Prozessors 2 die Position und Ausrichtung des virtuellen Endoskopbildes auf eine Weise anpassen, bei der KI nach dem virtuellen Endoskopbild mit hoher Ähnlichkeit mit dem Endoskopbild sucht. Insbesondere wenn das virtuelle Endoskopbild aus den dreidimensionalen Bilddaten im DICOM-Format rekonstruiert wird, rekonstruiert die Steuereinheit 21 eine Vielzahl von virtuellen Endoskopbildern an einer großen Anzahl von unterschiedlichen Sichtlinienpositionen durch Vor- und Zurückbewegung und Winkeleinstellung, die durch Ändern von sechs Sichtlinienparametern erfolgen, welche die oben beschriebenen Positionen (x, y, z) und Winkel (θx, θy, θz) sind. Die Steuereinheit 21 vergleicht die Ähnlichkeiten zwischen der Vielzahl von rekonstruierten virtuellen Endoskopbildern und dem Endoskopbild. Hierbei wird der Ähnlichkeitsvergleich zwischen den beiden Bildern durch eine bekannte Bildverarbeitung durchgeführt, und es kann entweder ein Pixeldatenabgleich oder ein Abgleich von Merkmalen, die aus den Bildern extrahiert werden, verwendet werden. Die Steuereinheit 21 extrahiert das virtuelle Endoskopbild, das die höchste Ähnlichkeit mit dem Endoskopbild hat, und beendet die Korrekturverarbeitung.
10 ist ein Flussdiagramm, das eine Verarbeitungsprozedur zeigt, wenn die Position und Ausrichtung des virtuellen Endoskopbildes korrigiert werden. Es wird angemerkt, dass Inhalte, die sich mit denen der 9 decken, mit den gleichen Bezugszeichen bezeichnet sind und eine Beschreibung derselben weggelassen wird. Nach Durchführen von Schritt S204 korrigiert die Steuereinheit 21 des Prozessors 2 die Position und Ausrichtung des virtuellen Endoskopbildes auf der Basis des Endoskopbildes, das aus dem Endoskop 1 erfasst wird (Schritt S211). Danach führt die Steuereinheit 21 Schritt S205 durch.
Als Nächstes wird die Verarbeitung der Korrektur der Z-Koordinate, die die Distanz ist, um die das Endoskop 1 in den Körper eingeführt ist, gemäß der Biegeverlaufsinformation des Endoskops 1, das in den Körper des Patienten eingeführt ist, beschrieben. Beispielsweise ist in einem Fall, in dem das Beobachtungsziel im Körper des Patienten der Dickdarm ist, der Dickdarm ein Organ, das eine Form und eine Anordnung hat, die bei jedem Patienten anders ist, und kann gemäß der Form des Einführteils verformt werden. Folglich ist es möglich, dass ein Erfassungsfehler der erfassten Einführdistanz abhängig von einem Einführzustand des Einführteils, wie z. B. der Position im Dickdarm, der gebogenen Form und dergleichen, auftritt. Die Steuereinheit 21 des Prozessors 2 erfasst die Biegeverlaufsinformation des Endoskops 1, das in den Körper des Patienten eingeführt ist, und bestimmt den Einführzustand des Endoskops 1 gemäß der erfassten Biegeverlaufsinformation. Die Steuereinheit 21 korrigiert die Z-Koordinate, die die Distanz ist, um die das Endoskop 1 in den Körper eingeführt ist, auf der Basis des ermittelten Einführzustands.
11 ist ein Flussdiagramm, das eine Verarbeitungsprozedur zeigt, wenn die Einführdistanz gemäß der Biegeverlaufsinformation korrigiert wird. Es wird angemerkt, dass Inhalte, die sich mit denen der 10 decken, mit den gleichen Bezugszeichen bezeichnet sind und deren Beschreibung weggelassen wird. Nach Durchführen von Schritt S203 erfasst die Steuereinheit 21 des Prozessors 2 die Biegeverlaufsinformation (Schritt S212). Beispielsweise kann die Biegeverlaufsinformation unter Verwendung einer Vorrichtung zum Erfassen der Endoskopeinführform erfasst werden.
Die Endoskopeinführform-Erfassungsvorrichtung ist eine Vorrichtung, die ein geschätztes Bild der Einführform des in den Körper des Patienten eingeführten Endoskops 1 in Kombination mit einem Endoskop anzeigt, das nur die Einführform erfasst und in dem eine Magnetspule eingebettet ist. Wie in JP 2019-37643 A offenbart, sind beispielsweise eine Vielzahl von Magnetspulen im Inneren des Einführteils des Endoskops 1 in vorbestimmten Abständen entlang einer Längsrichtung des Einführteils angeordnet. Eine eingebaute Antenne eines Hauptkörpers der Endoskopeinführform-Erfassungsvorrichtung empfängt einen Magnetismus, der von der Magnetspule erzeugt wird. Durch ein Wechselmagnetfeld, das von der eingebauten Antenne erzeugt wird, wird eine elektromotorische Kraft in jeder Spule zur Positionserfassung erzeugt, die in dem Einführteil angeordnet ist, und es fließt ein induzierter Storm. Die Position jeder Spule wird auf der Basis des durch die Spule fließenden induzierten Stroms erfasst. Die Biegeverlaufsinformation wird gemäß der erfassten Position jeder Spule erfasst.
Es wird angemerkt, dass die Biegeverlaufsinformation unter Verwendung eines Biegeerfassungssensors zusätzlich zur Endoskopeinführform-Erfassungsvorrichtung erfasst werden kann. Der Biegeerfassungssensor enthält ein flexibles Element, das einen Kontaktabschnitt hat, und ein flexibles Substrat, das in Kontakt mit dem Kontaktabschnitt ist und ein Signal entsprechend einer Kontaktposition ausgibt. Wenn ein vorbestimmter Abschnitt des Einführteils des Endoskops 1 gebogen wird, wird insbesondere ein flexibles Stützelement und ein Substrat, das an einem Abschnitt vorgesehen ist, der von der Biegung betroffen ist, sowohl verformt als auch gebogen. Im Biegeerfassungssensor wird die Kontaktposition zwischen dem Kontaktabschnitt und dem Substrat entlang einer vorbestimmten Richtung gemäß der Biegung des Einführteils verschoben. Da sich das Ausgabesignal ändert, wenn die Kontaktposition verschoben wird, erfasst der Biegeerfassungssensor die Biegeverlaufsinformation (Biegungsinformation) des Einführteils.
Die Biegeverlaufsinformation gibt einen physikalischen Parameter oder eine Information über eine Biegung an, wie z. B. einen Biegewinkel und eine Biegerichtung. In Übereinstimmung mit der Biegeverlaufsinformation, die aus jeder Magnetspule erfasst wird, die in dem Einführteil des Endoskops 1 angeordnet ist, korrigiert die Steuereinheit 21 die Z-Koordinate, die die Einführdistanz in die Körperhöhle ist, indem die Biegeform angepasst wird, um mit der Körperhöhlenform übereinzustimmen, die aus der dreidimensionalen Bildinformation der Körperhöhle ermittelt wird (Schritt S213). Insbesondere erfasst die Steuereinheit 21 die Form des Einführteils (beispielsweise gebogen nach rechts um 30 Grad oder dergleichen) durch arithmetische Verarbeitung gemäß dem Biegewinkel und der Biegerichtung. Die Steuereinheit 21 berechnet die Z-Koordinate, die die Einführdistanz ist, erneut auf der Basis der erfassten Form des Einführteils. In einem Fall, in dem das Endoskop eine Drehung auf dem Weg macht, kann beispielsweise die Umfangslänge des Drehabschnitts von der Einführdistanz abgezogen werden. Darüber hinaus kann beispielsweise in einem Fall einer mehrfachen Biegung in einem vorbestimmten Abschnitt, die Länge des gebogenen Teils ermittelt werden, indem eine Distanz pro Pixel mit der Anzahl der Pixel des gebogenen Teils multipliziert wird, und eine Differenz zwischen der Länge und der Länge des vorbestimmten Abschnitts wird ermittelt. Schließlich wird die Differenz von der Einführdistanz abgezogen, und eine Differenz zwischen der Einführdistanz des Endoskops und der Einführdistanz in die Körperhöhle kann ebenfalls korrigiert werden. Danach führt die Steuereinheit 21 Schritt S205 durch.
Gemäß dem vorliegenden Ausführungsbeispiel ist es durch Ausgeben des Endoskopbildes, das aus dem Endoskop 1 erfasst wird, und des virtuellen Endoskopbildes, das der Z-Koordinate entspricht, die die Einführdistanz des Endoskops 1 ist, in Verknüpfung miteinander möglich, die Position in dem Endoskopbild mit der Position in dem virtuellen Endoskopbild, das auf der Basis des dreidimensionalen medizinischen Bildes rekonstruiert wird, zu verknüpfen.
Gemäß dem vorliegenden Ausführungsbeispiel ist es durch Korrigieren der Position und Ausrichtung des virtuellen Endoskopbildes auf der Basis des Endoskopbildes, das aus dem Endoskop 1 erfasst wird, möglich, das virtuelle Endoskopbild mit hoher Ähnlichkeit mit dem tatsächlichen Endoskopbild zu erhalten.
Gemäß dem vorliegenden Ausführungsbeispiel ist es durch Korrigieren der Z-Koordinate, die die Distanz ist, um die das Endoskop 1 in den Körper eingeführt ist, gemäß der Biegeverlaufsinformation des Endoskops 1 möglich, die Z-Koordinate, die die Einführdistanz ist, mit hoher Genauigkeit zu erfassen.
Gemäß dem vorliegenden Ausführungsbeispiel kann durch Abgleichen des virtuellen Endoskopbildes, das aus den dreidimensionalen Daten eines Röntgen-CT-Bildes rekonstruiert wird, mit dem tatsächlichen Endoskopbild die Distanzbildinformation dem Endoskopbild zugefügt werden, der Merkmalsparameter, der aus dem Endoskopbild ermittelt wird, kann unter Verwendung der Distanzinformation korrigiert und die Bilddiagnoseunterstützungsinformation mit hoher Genauigkeit vorgesehen werden.
(Zweites Ausführungsbeispiel)
In einem zweiten Ausführungsbeispiel wird ein Distanzbild einer Distanz zu jedem Pixel des Lumens, gesehen von einem Blickpunkt, auf der Basis eines virtuellen Endoskopbildes rekonstruiert, und ein Pixelwert (Datenelement) jedes Pixels eines Endoskopbilds wird auf der Basis des rekonstruierten Distanzbildes korrigiert. Alternativ dazu wird ein Merkmalsparameter, der aus jedem Pixel erhalten wird, korrigiert. Das heißt, ein korrigierter Bildmessmerkmalsparameter kann ermittelt werden, indem die Fläche der Pixel, die um eine Distanz r getrennt sind, mit 1/r2 multipliziert wird. Ferner gibt eine Steuereinheit 21 eines Prozessors 2 eine Diagnoseunterstützungsinformation an eine Anzeigevorrichtung 3 auf der Basis des Merkmalsparameters des Endoskopbildes aus, der unter Verwendung der Distanzbildinformation korrigiert wurde. Es wird angemerkt, dass eine Beschreibung der Inhalte, die sich mit denen des ersten Ausführungsbeispiels decken, weggelassen wird.
12 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für den Prozessor 2 des zweiten Ausführungsbeispiels zeigt. Es wird angemerkt, dass Inhalte, die sich mit denen der 3 decken, mit den gleichen Bezugszeichen bezeichnet sind und eine Beschreibung derselben weggelassen wird. Eine Speichereinheit mit großer Kapazität 29 speichert eine Diagnoseunterstützungsinformation-Datenbank 291. Die Diagnoseunterstützungsinformation-Datenbank 291 speichert eine Diagnoseunterstützungsinformation für einen Patienten.
13 ist ein erläuterndes Diagramm, das ein Beispiel für ein Datensatzlayout der Diagnoseunterstützungsinformation-Datenbank 291 zeigt. Die Diagnoseunterstützungsinformation-Datenbank 291 enthält eine Verwaltungs-ID-Spalte, eine Patienten-ID-Spalte, eine Diagnoseinhalt-Spalte und eine Diagnose-Datum-und-Zeitpunkt-Spalte. Die Verwaltungs-ID-Spalte speichert eine ID von Verwaltungsdaten der Diagnoseunterstützungsinformation, die eindeutig festgelegt ist, um die Verwaltungsdaten jeder Diagnoseunterstützungsinformation zu identifizieren. Die Patienten-ID-Spalte speichert eine Patienten-ID, die den Patienten spezifiziert. Die Diagnoseinhalt-Spalte speichert die Diagnoseinhalte für den Patienten. Die Diagnose-Datum-und-Zeitpunkt-Spalte speichert die Information über das Datum und den Zeitpunkt der Diagnose für den Patienten. Es wird angemerkt, dass das verknüpfte Endoskopbild und die Diagnoseunterstützungsinformation in der Diagnoseunterstützungsinformation-Datenbank 291 gespeichert werden können.
Die Steuereinheit 21 des Prozessors 2 erfasst ein virtuelles Endoskopbild, das einer Z-Koordinate entspricht, die eine Distanz ist, um die ein Endoskop 1 in den Körper eingeführt ist, anhand eines virtuellen Endoskopbildes, das auf der Basis eines dreidimensionalen medizinischen Bildes rekonstruiert wird, das erhalten wird, indem vorab ein Bild des Patienten aufgenommen wird. Es wird angemerkt, dass die Verarbeitung des Erfassens des virtuellen Endoskopbildes, das der Z-Koordinate entspricht, die die Einführdistanz ist, ähnlich der des ersten Ausführungsbeispiels ist, und somit eine Beschreibung derselben weggelassen wird. Die Steuereinheit 21 ermittelt ein Distanzbild aus dem virtuellen Endoskopbild, das der Z-Koordinate entspricht, die die Einführdistanz ist, auf der Basis einer Distanz zu jedem Pixel, das in dem virtuellen Endoskopbild gemäß einer Blickpunkt-Position und einer Sichtlinienrichtung erscheint. Es wird angemerkt, dass die Verarbeitung der Ermittlung des Distanzbildes später beschrieben wird.
Die Steuereinheit 21 korrigiert einen Pixelwert jedes Pixels des Endoskopbildes auf der Basis des rekonstruierten Distanzbildes. Es kommt zu einem Unterschied in der Chromatizität je nach Distanz (lang oder kurz) zu einem Pixel in jedem Bildbereich des Endoskopbildes. In einem Fall, in dem die Distanz zu dem Pixel lang ist, erscheint der entsprechende Bildbereich dunkel, und umgekehrt dazu erscheint in einem Fall, in dem die Distanz zu dem Pixel kurz ist, der entsprechende Bildbereich hell. Die Steuereinheit 21 des Prozessors 2 korrigiert den Pixelwert jedes Pixels in jedem Bildbereich des entsprechenden Endoskopbildes auf der Basis der Distanz zu jedem Pixel, das in dem Distanzbild erscheint, entsprechend der Blickpunkt-Position und der Sichtlinienrichtung.
Die Distanz zu jedem Pixel des Endoskopbildes wird anhand des Distanzbildes ermittelt, und Merkmalsparameterwerte jedes Pixels und jedes Bereichs werden entsprechend der Distanz korrigiert. Es wird angenommen, dass jedes Pixel und jeder Bereich in einer Referenzdistanz Ra vorhanden sind, und die Merkmalsparameter werden mit einer Distanz Rb zu jedem Pixel und jedem Bereich korrigiert. Befindet sich beispielsweise die Fläche Sb eines bestimmten Bereichs in der Distanz Rb, werden die Merkmalsparameter zu Sb x (Rb/Ra)2 korrigiert.
Nachstehend wird ein Beispiel beschrieben, bei dem ein Pixelwert eines Pixels in einem Bildbereich einer Schleimhautoberfläche, die aufgrund von Rötungen rot ist, korrigiert wird. Wenn die Steuereinheit 21 beispielsweise bestimmt, dass eine Distanz zu einem Pixel (R1, G1, B1) in dem Bildbereich der Schleichhautoberfläche gleich oder größer als eine Referenzdistanz ist (die Distanz zum Pixel ist lang), wird, da die rote Farbe der Schleimhautoberfläche dunkel erscheint, eine Pixelwertkorrekturverarbeitung an dem Pixel durchgeführt, damit die rote Farbe hell erscheint. Da beispielsweise eine Pixelgröße gemäß einem Verhältnis einer Quadratzahl der Distanz geändert wird, wird auch der Pixelwert R1 um das Verhältnis erhöht, sodass das Pixel (R2, G1, B1) nach der Korrektur rot erscheint.
Bestimmt die Steuereinheit 21 im umgekehrten Fall, dass die Distanz zum Pixel (R1, G1, B 1) in dem Bildbereich der Schleimhautoberfläche geringer als die Referenzdistanz ist (die Distanz zum Pixel ist kurz), wird, da die Pixelgröße entsprechend dem Verhältnis der Quadratzahl der Distanz geändert wird, der Pixelwert R1 ebenfalls um das Verhältnis reduziert, wodurch eine Pixelwertkorrekturverarbeitung durchgeführt wird, damit die rote Farbe der Schleimhautoberfläche dunkel erscheint.
Es wird angemerkt, dass ein Verhältnis von R im Pixel für die oben beschriebene Pixelwertkorrekturverarbeitung für den Bildbereich der roten Schleimhautoberfläche verwendet werden kann. Wenn die Steuereinheit 21 beispielsweise bestimmt, dass die Distanz zum Pixel (R3, G3, B3) im Bildbereich der Schleimhautoberfläche das Zweifache der Referenzdistanz oder mehr und das Dreifache der Referenzdistanz oder weniger beträgt, wird das Verhältnis von R anhand einer Rechenformel R3/(R3 + G3 + B3) berechnet. In einem Fall, in dem die Steuereinheit 21 bestimmt, dass die Distanz zum Pixel (R3, G3, B3) im Bildbereich der Schleimhautoberfläche das Dreifache der Referenzdistanz oder mehr beträgt, berechnet die Steuereinheit 21 das Verhältnis von R durch eine Rechenformel (2R3/(R3 + G3 + B3). Auf der Basis des berechneten Verhältnisses von R führt die Steuereinheit 21 die Pixelwertkorrekturverarbeitung durch, um die rote Farbe der Schleimhautoberfläche hell erscheinen zu lassen, und erhält die Pixel (R4, G4, B4) nach der Korrektur.
Die Steuereinheit 21 extrahiert den Merkmalsparameter des Bildbereichs auf der Basis des Bildbereichs des Endoskopbildes nach der Pixelwertkorrektur. Auf der Basis des extrahierten Merkmalsparameters trifft die Steuereinheit 21 eine Feststellung basierend auf KI, einem Entscheidungsbaum oder dergleichen und gibt die ermittelte Diagnoseunterstützungsinformation an die Anzeigevorrichtung 3 aus. Der Merkmalsparameter ist eine Bildgeometrie jedes Bereichs in dem Endoskopbild, ein Bildwert und ein daraus berechneter Zahlenwert eines Merkmalsparameters und wird durch die Anwendung eines Bildverarbeitungsverfahrens gewonnen. Beispielsweise kann die Steuereinheit 21 als Merkmalsparameter eine spezifizierte Chromatizität in der Magenschleimhaut extrahieren und kann eine Diagnoseunterstützungsinformation wie z. B. die Art eines Geschwürs in einem Fall ausgeben, in dem bestimmt wird, dass der extrahierte Merkmalsparameter gleich oder größer als ein Schwellenwert ist.
Es wird angemerkt, dass die Verarbeitung nicht auf das Obige beschränkt ist. Die Diagnoseunterstützungsinformation kann beispielsweise ausgegeben werden, indem ein trainiertes Bilderkennungsmodell verwendet wird, dass ein Erkennungsergebnis ausgibt, wenn das Endoskopbild nach der Pixelwertkorrektur eingegeben wird. Es wird angemerkt, dass die Verarbeitung des Ausgebens der Diagnoseunterstützungsinformation unter Verwendung des Bilderkennungsmodells in einem dritten Ausführungsbeispiel, das später beschrieben wird, beschrieben wird.
Die Steuereinheit 21 speichert die ausgegebene Diagnoseunterstützungsinformation in der Diagnoseunterstützungsinformation-Datenbank 291 der Speichereinheit mit großer Kapazität 29. Insbesondere ordnet die Steuereinheit 21 die Verwaltungs-ID zu, um die Verwaltungs-ID mit der Patienten-ID und der dreidimensionalen Position auf dem Patienten oder der Z-Koordinate zu verknüpfen, und speichert in der Diagnoseunterstützungsinformation-Datenbank 291 einen Diagnoseinhalt, ein Datum und einen Zeitpunkt der Diagnose, eine dreidimensionale Position auf dem Patienten oder die Z-Koordinate, die die Einführdistanz ist, als einen Datensatz.
14 ist ein erläuterndes Diagramm zum Beschreiben der Verarbeitung des Gewinnens des Distanzbildes. Das Distanzbild ist ein zweidimensionales Bild, das eine lineare Distanz von einem Blickpunkt zum Beobachtungsziel (beispielsweise die Innenwand des Dickdarmbereichs) als Pixelwert hat. Die Steuereinheit 21 des Prozessors rekonstruiert das virtuelle Endoskopbild auf der Basis des dreidimensionalen medizinischen Bildes und bringt das rekonstruierte virtuelle Endoskopbild und das Endoskopbild in Übereinstimmung. Die Steuereinheit 21 gewinnt (erzeugt) das Distanzbild auf der Basis einer Distanz von dem Blickpunkt zu einem dreidimensionalen Bild, das jedem Pixel des rekonstruierten virtuellen Endoskopbildes entspricht, basierend auf der Blickpunkt-Position und der Sichtlinienrichtung, an bzw. in der das Endoskopbild und das virtuelle Endoskopbild miteinander übereinstimmen.
15 ist ein Flussdiagramm, das eine Verarbeitungsprozedur beim Ausgeben der Diagnoseunterstützungsinformation auf der Basis des Endoskopbildes nach der Pixelwertkorrektur zeigt. Es wird angemerkt, dass Inhalte, die sich mit denen der 9 decken, mit den gleichen Bezugszeichen bezeichnet sind und deren Beschreibung weggelassen wird. Nach Erfassen des virtuellen Endoskopbildes, das der Z-Koordinate entspricht, die die Einführdistanz des Endoskops 1 ist, in Schritt S204, ermittelt die Steuereinheit 21 des Prozessors 2 das Distanzbild auf der Basis der Distanz vom Blickpunkt zum dreidimensionalen Bild, das jedem Pixel des erfassten virtuellen Endoskopbildes entspricht, wie in 14 gezeigt (Schritt S221).
Die Steuereinheit 21 korrigiert den Merkmalsparameter jedes Bildbereichs oder jedes Pixels des entsprechenden Endoskopbildes auf der Basis der Distanz zu jedem Pixel, das in dem Distanzbild erscheint, entsprechend der Blickpunkt-Position und der Sichtlinienrichtung (Schritt S222). Die Steuereinheit 21 extrahiert den Merkmalsparameter des Bildbereichs auf der Basis des Bildbereichs des Endoskopbildes nach der Pixelwertkorrektur (Schritt S223). Es wird angemerkt, dass was die Merkmalsparameterextraktionsverarbeitung angeht, beispielsweise in einem Fall, in dem die oben erwähnte Feststellung über einen Farbton wie „die Schleimhautoberfläche ist aufgrund einer Rötung rot“ in einen Merkmalsparameter umgewandelt wird, ein Chromatizitätsmerkmalsparameter, der ein Verhältnis ist, das durch Berechnen von R/(R+G+B) für jedes Pixel ermittelt wird, extrahiert werden kann, unter Verwendung aller RGB-Daten, die das Endoskopbild bilden. Alternativ dazu kann eine Phaseninformation basierend auf einer vorbestimmten Frequenzkomponente, die durch Frequenzkomponentenextraktionsmittel extrahiert wird, erfasst werden, und der Merkmalsparameter des Endoskopbildes kann auf der Basis der erfassten Phaseninformation extrahiert werden.
Die Steuereinheit 21 führt eine Diagnoseverarbeitung an dem Beobachtungsziel auf der Basis des extrahierten Merkmalsparameters durch (Schritt S224). Für die Magenschleimhaut kann die Steuereinheit 21 zum Beispiel die extrahierte Chromatizität jedes Pixels mit einem Chromatizitätsschwellenwert vergleichen, und wenn bestimmt wird, dass die Chromatizität jedes Pixels oder einiger Pixel gleich oder größer als der Schwellenwert ist, kann die Diagnoseverarbeitung gemäß einem vorbestimmten Bestimmungskriterium durchgeführt werden. Das vorbestimmte Bestimmungskriterium kann beispielsweise eine Klassifizierungsinformation eines Magengeschwürs gemäß dem Wert der Chromatizität des Pixels sein.
Die Steuereinheit 21 gibt die Diagnoseunterstützungsinformation, die durch die Diagnoseverarbeitung ermittelt wurde, an die Anzeigevorrichtung 3 aus (Schritt S225). Die Anzeigevorrichtung 3 zeigt die vom Prozessor 2 ausgegebene Diagnoseunterstützungsinformation an (Schritt S321). Die Steuereinheit 21 des Prozessors 2 speichert die ausgegebene Diagnoseunterstützungsinformation in der Diagnoseunterstützungsinformation-Datenbank 291 der Speichereinheit mit großer Kapazität 29 (Schritt S226) und beendet die Verarbeitung.
Gemäß dem vorliegenden Ausführungsbeispiel ist es möglich, das Distanzbild auf der Basis des virtuellen Endoskopbildes zu gewinnen und den Merkmalsparameterwert jedes Pixels des Endoskopbildes auf der Basis des gewonnenen Distanzbildes zu korrigieren.
Gemäß dem vorliegenden Ausführungsbeispiel ist es möglich, die Diagnoseunterstützungsinformation auf der Basis des Endoskopbildes nach der Pixelwertkorrektur auszugeben.
(Drittes Ausführungsbeispiel)
Das dritte Ausführungsbeispiel ist ein Ausführungsbeispiel, bei dem die Merkmalsparameterkorrekturverarbeitung an jedem Bildbereich eines Endoskopbildes auf der Basis eines Distanzbildes durchgeführt wird, und das Endoskopbild nach der Merkmalsparameterkorrektur wird in ein Bilderkennungsmodell eingegeben, um ein Erkennungsergebnis zu erfassen. Es wird angemerkt, dass eine Beschreibung der Inhalte, die sich mit denen des ersten und zweiten Ausführungsbeispiels decken, weggelassen wird. Es wird angemerkt, dass in dem vorliegenden Ausführungsbeispiel ein Beispiel einer Flächenkorrekturverarbeitung als Merkmalsparameterkorrekturverarbeitung beschrieben wird.
16 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für einen Prozessor 2 eines dritten Ausführungsbeispiels zeigt. Es wird angemerkt, dass sich Inhalte, die sich mit denen der 12 decken, mit den gleichen Bezugszeichen bezeichnet sind und deren Beschreibung weggelassen wird. Ein Bilderkennungsmodell 292 ist in einer Speichereinheit mit großer Kapazität 29 gespeichert. Das Bilderkennungsmodell 292 ist ein Bilderkenner, der eine Läsion, ein Gewebe oder dergleichen in dem Körper eines Patienten auf der Basis eines aufgenommenen Bildes erkennt, und ist ein trainiertes Modell, das durch maschinelles Lernen erzeugt wird. Es wird angemerkt, dass das Bilderkennungsmodell 292 in einem Cloud-Computing-System, das über ein Netzwerk verbunden ist, angeordnet und verwendet werden kann.
17 ist ein erläuterndes Diagramm zum Beschreiben einer Verarbeitung des Ausgebens einer Diagnoseunterstützungsinformation unter Verwendung des Bilderkennungsmodells 292. Die Fläche jedes Bildbereichs variiert abhängig von einer Distanz zum Bildbereich. Eine Steuereinheit 21 des Prozessors 2 führt eine Flächenkorrekturverarbeitung an jedem Bildbereich des Endoskopbildes unter Verwendung des Distanzbildes durch, das auf der Basis eines virtuellen Endoskopbildes gewonnen wurde. Es wird angemerkt, dass die Flächenkorrekturverarbeitung später beschrieben wird.
Die Steuereinheit 21 gibt die Diagnoseunterstützungsinformation aus, wenn der Bildbereich des Endoskopbildes nach der Flächenkorrektur in das Bilderkennungsmodell 292 eingegeben wird. Es wird angemerkt, dass im Folgenden ein Beispiel einer Ausgabe eines Erkennungsergebnisses eines Erkennens eines Polypen im Dickdarm unter Verwendung des Bilderkennungsmodells 292 beschrieben wird, das durch tiefes Lernen erzeugt wird. Ein Polyp ist ein Teil der Schleimhaut des Dickdarms, der sich wie eine Warze erhebt und in einen Raumabschnitt des Dickdarms hineinragt. Die meisten Polypen sind gutartige Erkrankungen und fügen dem Körper keine unmittelbaren Schäden zu, aber bei allmählicher Vergrößerung können sie Blutungen oder dergleichen verursachen.
Das Bilderkennungsmodell 292 wird als Programmmodul verwendet, das ein Teil einer Künstliche-Intelligenz-Software ist. Das Bilderkennungsmodell 292 ist ein Extraktor, der ein neuronales Netz konstruiert (erzeugt) hat, das das Endoskopbild nach der Flächenkorrektur empfängt und ein Ergebnis einer Vorhersage des Polypen im Dickdarm ausgibt. Das neuronale Netz ist beispielsweise ein konvolutionales neuronales Netz (Convolutional Neural Network) (CNN), das eine Eingabeschicht enthält, die das Endoskopbild nach der Flächenkorrektur empfängt, eine Ausgabeschicht, die ein Ergebnis einer Vorhersage einer Stelle im Dickdarm ausgibt, und eine Zwischenschicht, die durch Backpropagation trainiert wurde.
Die Eingabeschicht hat eine Vielzahl von Neuronen, die einen Pixelwert jedes in dem Endoskopbild enthaltenen Pixels empfängt und den eingegebenen Pixelwert in die Zwischenschicht überträgt. Die Zwischenschicht hat eine Vielzahl von Neuronen, die einen Bildmerkmalsparameter des Endoskopbildes extrahieren, und überträgt den extrahierten Bildmerkmalsparameter an die Ausgabeschicht. Es wird ein Fall, in dem das Bilderkennungsmodell 292 ein CNN ist, beispielhaft beschrieben. Die Zwischenschicht hat eine Konfiguration, in der eine konvolutionale Schicht, die den Pixelwert jedes Pixel, das aus einer Eingabeschicht eingegeben wurde, faltet, und eine Pooling-Schicht, die den in der konvolutionalen Schicht gefalteten Pixelwert, abbildet, abwechselnd verbunden sind. Deshalb extrahiert die Zwischenschicht schließlich den Merkmalsparameter des Bildes, während Pixelinformationen des Endoskopbildes komprimiert werden. Anschließend sagt die Zwischenschicht eine Wahrscheinlichkeit, dass das Endoskopbild ein Polyp im Dickdarm ist, durch eine vollkommen verbundene Schicht vorher, deren Parameter durch Backpropagation gelernt wird. Das Vorhersageergebnis wird an die Ausgabeschicht ausgegeben, die eine Vielzahl von Neuronen hat.
Es wird angemerkt, dass das Endoskopbild in die Eingabeschicht eingegeben werden kann, nachdem es die konvolutionale Schicht und die Pooling-Schicht durchlaufen hat, die abwechselnd verbunden werden, um den Merkmalsparameter zu extrahieren.
Es wird angemerkt, dass ein beliebiger Objekterkennungsalgorithmus, wie z. B. ein regionenbasiertes konvolutionales neuronales Netz (RCNN), Fast RCNN, Faster R-CNN, Single-Shot MultiBox Detector (SSD) oder You Only Look Once (YOLO), anstelle von CNN verwendet werden kann.
Es wird angemerkt, dass die vorliegende Erfindung nicht auf die Diagnoseverarbeitung eines Identifizierens eines Polypen durch maschinelles Lernen, wie oben beschrieben, beschränkt ist. Die Steuereinheit 21 des Prozessors 2 kann beispielsweise einen Polypen identifizieren, indem ein Verfahren zur Extraktion eines lokalen Merkmalsparameters, wie z. B. beschleunigtes KAZE (A-KAZE) oder SIFT (scale invariant feature transform), auf der Grundlage einer Farbtonveränderung oder Falten im Dickdarm aus dem Endoskopbild verwendet wird, und die Diagnoseunterstützungsinformation ausgeben.
Es wird angemerkt, dass, obgleich das Beispiel der oben beschriebenen Flächenkorrekturverarbeitung an dem Endoskopbild im Dickdarm beschrieben wurde, die vorliegende Erfindung nicht darauf beschränkt ist, und die Flächenkorrekturverarbeitung auch an anderen Teilen durchgeführt werden kann (beispielsweise dem Magen). Obgleich das Beispiel der Fläche als der oben beschriebene Merkmalsparameter beschrieben wurde, ist die vorliegende Erfindung nicht darauf beschränkt, und die Distanzkorrekturverarbeitung kann an anderen Merkmalsparametern durchgeführt werden.
Es wird angemerkt, dass in dem vorliegenden Ausführungsbeispiel ein Beispiel für ein Bilderkennungsmodell 292 zur Polypenextraktion beschrieben wird, aber es können auch andere trainierte Bilderkennungsmodelle verwendet werden. Beispielsweise ist das Bilderkennungsmodell 292 ein trainiertes Modell, das durch maschinelles Lernen erzeugt wird, und kann ein Bilderkenner sein, der eine Läsion, ein Gewebe oder dergleichen in dem Körper des Patienten durch Extrahieren eines Chromatizitätsmerkmalsparameters des Endoskopbildes erkennt. Wenn das Endoskopbild nach der Pixelwertkorrektur in dem zweiten Ausführungsbeispiel in das Bilderkennungsmodell 292 eingegeben wird, kann dann die Diagnoseunterstützungsinformation ausgegeben werden.
Insbesondere gibt die Steuereinheit 21 des Prozessors 2 das Endoskopbild nach der Pixelwertkorrektur in das Bilderkennungsmodell 292 unter Verwendung des trainierten Bilderkennungsmodells 292 ein, und gibt ein Ergebnis einer Identifizierung einer Läsion, eines Gewebes oder dergleichen (beispielsweise eines Polypen im Dickdarm) aus. Die Steuereinheit 21 gibt die Diagnoseunterstützungsinformation auf der Basis des Identifizierungsergebnisses aus (z. B. ein Wahrscheinlichkeitswert eines Polypen im Dickdarm), das aus der Ausgabeschicht des Bilderkennungsmodells 292 ausgegeben wird. Wenn der Wahrscheinlichkeitswert des Polypen des Dickdarms gleich oder größer als ein vorbestimmter Schwellenwert ist (z. B. 0,90), kann die Steuereinheit 21 beispielsweise bestimmen, dass die Läsion oder das Gewebe ein Polyp ist.
Nachstehend wird die Flächenkorrekturverarbeitung unter Bezugnahme auf die 18 und 19 beschrieben. 18 ist ein erläuterndes Diagramm zum Beschreiben eines Vorgangs zum Ermitteln des Merkmalsparameters durch Durchführen der Distanzkorrektur. 19 ist ein erläuterndes Diagramm zum Beschreiben eines Vorgangs zum Durchführen der Flächenkorrektur.
Die Steuereinheit 21 des Prozessors 2 erfasst eine Distanz R (z. B. r1 oder r2) zu jedem Bildbereich des entsprechenden Endoskopbildes auf der Basis des Distanzbildes, das aus dem entsprechenden virtuellen Endoskopbild ermittelt wird, wie in 18 gezeigt. Die Steuereinheit 21 vergleicht die erfasste Distanz zu jedem Bildbereich mit einer Referenzdistanz (z. B. 20 mm). Die Steuereinheit 21 führt eine Korrektur mit einem umgekehrten Quadratverhältnis (R/20)2 in Bezug auf die verglichene Distanz R zu jedem Bereich durch.
Wenn bestimmt wird, dass die Distanz zum Bildbereich des Endoskopbildes gleich oder größer als die Referenzdistanz ist (die Distanz zum Pixel ist lang), führt die Steuereinheit 21 eine Vergrößerungsverarbeitung an dem Bildbereich durch Korrigieren der Anzahl an Pixeln durch, die den Bildbereich bilden, mit dem umgekehrten Quadratverhältnis (R/20)2 in Bezug auf die Distanz R zu jedem Bereich. Wenn bestimmt wird, dass die Distanz zum Bildbereich des Endoskopbildes geringer als die Referenzdistanz ist (die Distanz zum Pixel ist kurz), führt die Steuereinheit 21 eine Verkleinerungsverarbeitung an dem Bildbereich durch Korrigieren und Reduzieren der Anzahl der Pixel, die den Bildbereich bilden, durch das umgekehrte Quadratverhältnis (R/20)2 in Bezug auf die Distanz R zu jedem Bereich durch. Wenn eine Differenz bei der Distanz zwischen den jeweiligen Pixeln in jedem Bildbereich vorhanden ist, wird darüber hinaus eine Korrektur durchgeführt, unter der Annahme, dass jeder Bildbereich an der Referenzdistanz platziert ist.
Wenn die Vergrößerungs-/Verkleinerungsverarbeitung an jedem Bereich auf der Basis der Distanzbildinformation, die aus dem virtuellen Endoskopbild ermittelt wird, das dem Endoskopbild entspricht, basierend auf einem Distanzverhältnis durchgeführt wird, wie in 19 gezeigt, kann beispielsweise eine Nächster-Nachbar-Interpolation verwendet werden. Die Nächster-Nachbar-Interpolation ist eine lineare Interpolation, bei der ein Pixel in Koordinaten, das durch Teilen eines Pixels nach dem Vergrößern oder Verkleinern durch ein Vergrößerungs-/Verkleinerungsverhältnis und Runden des Wertes ermittelt wird, wie es ist verwendet wird. Ferner können eine bilineare Interpolation, eine bikubische Interpolation, eine Lanczos Interpolation und dergleichen, die Techniken einer Bildvergrößerungs-/-verkleinerungsverarbeitung sind, verwendet werden. Durch die oben beschriebene Verarbeitung gibt anschließend die Steuereinheit 21 den Bildbereich des Endoskopbildes nach der Flächenkorrektur in das Bilderkennungsmodell 292 ein.
20 ist ein Flussdiagramm, das eine Verarbeitungsprozedur beim Ausgeben der Diagnoseunterstützungsinformation unter Verwendung des Bilderkennungsmodells 292 zeigt. Es wird angemerkt, dass die Inhalte, die sich mit denen der 15 decken, mit den gleichen Bezugszeichen bezeichnet sind und eine Beschreibung derselben weggelassen wird. Nach Gewinnen des Distanzbildes in Schritt S221 führt die Steuereinheit 21 des Prozessors 2 die Flächenkorrekturverarbeitung an jedem Bildbereich des Endoskopbildes unter Verwendung des gewonnenen Distanzbildes durch (Schritt 231). Die Steuereinheit 21 gibt das Endoskopbild, das der Flächenkorrekturverarbeitung unterzogen wurde, in das Bilderkennungsmodell 292 ein (Schritt S232). Es wird angemerkt, dass die Steuereinheit 21 in das Bilderkennungsmodell 292 das Endoskopbild eingeben kann, das durch Durchführen der Flächenkorrekturverarbeitung an dem Endoskopbild nach der Luminanzkorrektur (Pixelwertkorrektur) erhalten wurde, die in dem zweiten Ausführungsbeispiel beschrieben wurde.
Die Steuereinheit 21 extrahiert den Bildmerkmalsparameter für das Endoskopbild nach der Flächenkorrektur unter Verwendung des Bilderkennungsmodells 292, um ein Erkennungsergebnis (Diagnoseunterstützungsinformation) des Erkennens einer Läsion (beispielweise eines Polypen im Dickdarm) oder dergleichen zu erfassen (Schritt S233). Die Steuereinheit 21 erzeugt ein Anzeigebild durch Überlagern des Endoskopbildes nach der Flächenkorrektur und der Diagnoseunterstützungsinformation, die aus dem trainierten Bilderkennungsmodell 292 unter Verwendung des Endoskopbildes nach der Flächenkorrektur ausgegeben wird (Schritt S234).
Die Steuereinheit 21 gibt das erzeugte Anzeigebild an die Anzeigevorrichtung 3 aus (Schritt S235). Die Anzeigevorrichtung 3 zeigt das aus dem Prozessor 2 ausgegebene Anzeigebild an (Schritt S331). Die Steuereinheit 21 des Prozessors 2 speichert die ausgegebene Diagnoseunterstützungsinformation in der Diagnoseunterstützungsinformation-Datenbank 291 der Speichereinheit mit großer Kapazität 29 (Schritt S236) und beendet die Verarbeitung.
Gemäß dem vorliegenden Ausführungsbeispiel ist es möglich, einen korrekten Bildmerkmalsparameter zu erfassen, indem die Merkmalsparameterkorrekturverarbeitung an jedem Bildbereich des Endoskopbildes durchgeführt wird.
Gemäß dem vorliegenden Ausführungsbeispiel wird durch Eingeben des Endoskopbildes, das der Merkmalsparameterkorrekturverarbeitung unterzogen wurde, in das trainierte Bilderkennungsmodell ein genaues Erkennungsergebnis ausgegeben, sodass eine äußerst zuverlässige Diagnoseunterstützungsinformation erhalten werden kann.
Gemäß dem vorliegenden Ausführungsbeispiel ist es durch Korrigieren des Merkmalsparameters jedes Bereichs des Endoskopbildes auf der Basis des Distanzbildes möglich, sowohl eine entfernte Läsionsstelle (z. B. einen Polypen) als auch eine nahe Läsionsstelle unter Verwendung desselben Bilderkennungsmodells genau zu erkennen.
(Viertes Ausführungsbeispiel)
21 ist ein Funktionsblockdiagramm, das einen Betrieb des Prozessors 2 des oben beschriebenen Ausführungsbeispiels zeigt. Wenn die Steuereinheit 21 das Steuerprogramm 2P ausführt, wird der Prozessor 2 wie folgt betrieben.
Eine Endoskopbild-Erfassungseinheit 20a erfasst ein Endoskopbild eines Patienten aus dem Endoskop 1. Eine Erfassungseinheit 20b zum Erfassen eines virtuellen Endoskopbildes erfasst ein virtuelles Endoskopbild, das auf der Basis eines dreidimensionalen medizinischen Bildes rekonstruiert (erzeugt) wird, das dadurch erhalten wird, dass vorab ein Bild des Patienten aufgenommen wird. Eine Rekonstruktionseinheit 20c zum Rekonstruieren eines virtuellen Endoskopbildes rekonstruiert (erzeugt) ein korrigiertes virtuelles Endoskopbild, das am meisten mit dem Endoskopbild übereinstimmt, auf der Basis des Übereinstimmungsgrades zwischen dem virtuellen Endoskopbild, das von der Erfassungseinheit 20b zum Erfassen des virtuellen Endoskopbildes erfasst wird, und dem Endoskopbild, das von der Endoskopbild-Erfassungseinheit 20a erfasst wird.
Eine Diagnoseunterstützungsinformation-Ausgabeeinheit 20d gibt eine Diagnoseunterstützungsinformation basierend auf einem Merkmalsparameter aus, der gemäß einer Korrespondenz zwischen jedem Pixel des Endoskopbildes, das von der Endoskopbild-Erfassungseinheit 20a erfasst wird, und einem Distanzbild korrigiert wird, das aus dem korrigierten virtuellen Endoskopbild gewonnen wird, das von der Rekonstruktionseinheit 20c zum Rekonstruieren des virtuellen Endoskopbildes rekonstruiert wird. Eine Distanzbild-Rekonstruktionseinheit 20e ermittelt das Distanzbild auf der Basis des virtuellen Endoskopbildes. Eine erste Korrektureinheit 20f korrigiert einen Pixelwert jedes Pixels des entsprechenden Endoskopbildes gemäß einer Distanz, die aus dem Distanzbild erhalten wird, auf der Basis des Distanzbildes, das von der Distanzbild-Rekonstruktionseinheit 20e erhalten wird.
Eine zweite Korrektureinheit 20g führt eine Korrekturverarbeitung für den Merkmalsparameter jedes Bildbereichs des Endoskopbildes, das von der Endoskopbild-Erfassungseinheit 20a erfasst wird, auf der Basis des Distanzbildes, das von der Distanzbild-Rekonstruktionseinheit 20e gewonnen wird, durch. Eine Biegeverlaufsinformation-Erfassungseinheit 20h erfasst eine Biegeverlaufsinformation des Endoskops, das in den Körper des Patienten eingeführt ist. Eine Z-Koordinaten-Korrektureinheit 20i korrigiert eine Z-Koordinate, die eine Einführdistanz des Endoskops ist, eine Blickpunkt-Richtung und eine Blickpunkt-Position des virtuellen Endoskops gemäß der Biegeverlaufsinformation, die von der Biegeverlaufsinformation-Erfassungseinheit 20h erfasst wird. Eine Z-Koordinaten-Erfassungseinheit 20j misst die Z-Koordinate, die die Einführdistanz des Endoskops ist, das in den Körper des Patienten eingeführt ist.
Darüber hinaus gibt die Diagnoseunterstützungsinformation-Ausgabeeinheit 20d die Diagnoseunterstützungsinformation einschließlich eines Tumorkandidaten auf der Basis des Endoskopbildes aus, das durch die erste Korrektureinheit 20f oder die zweite Korrektureinheit 20g korrigiert wurde. Außerdem gibt die Diagnoseunterstützungsinformation-Ausgabeeinheit 20d ein Erkennungsergebnis aus, indem ein trainiertes Bilderkennungsmodell verwendet wird, das das Erkennungsergebnis ausgibt, wenn das von der ersten Korrektureinheit 20f oder der zweiten Korrektureinheit 20g korrigierte Endoskopbild eingegeben wird.
Das vierte Ausführungsbeispiel ist wie oben beschrieben. Da die anderen Teile ähnlich denen des ersten bis dritten Ausführungsbeispiels sind, sind die entsprechenden Teile mit den gleichen Bezugszeichen bezeichnet und eine detaillierte Beschreibung derselben wird weggelassen.
(Fünftes Ausführungsbeispiel)
Nachstehend wird die vorliegende Erfindung insbesondere unter Bezugnahme auf die Zeichnungen beschrieben, die Ausführungsbeispiele der vorliegenden Erfindung zeigen. 22 ist ein schematisches Diagramm, das einen Überblick über ein Diagnoseunterstützungssystem S gemäß einem fünften Ausführungsbeispiel zeigt. Das Diagnoseunterstützungssystem S enthält eine Endoskopvorrichtung 110 und eine Informationsverarbeitungsvorrichtung 6, die kommunikativ mit der Endoskopvorrichtung 110 verbunden ist.
Die Endoskopvorrichtung 110 überträgt ein Bild (aufgenommenes Bild), das von einem Bildsensor 1445 (siehe 32) eines Endoskops 140 aufgenommen wird, an einen Prozessor 120 für ein Endoskop, und der Prozessor 120 für ein Endoskop führt verschiedene Arten von Bildverarbeitung wie z. B. eine Gammakorrektur, einen Weißabgleich und eine Shading-Korrektur durch, wodurch ein Endoskopbild erzeugt wird, das so eingestellt ist, dass es leicht von einer Bedienperson betrachtet werden kann. Die Endoskopvorrichtung 110 gibt das erzeugte Endoskopbild an die Informationsverarbeitungsvorrichtung 6 aus (überträgt es an diese). Die Informationsverarbeitungsvorrichtung 6, die das aus der Endoskopvorrichtung 110 übertragene Endoskopbild erfasst hat, führt verschiedene Arten von Informationsverarbeitung auf der Basis des Endoskopbildes durch, und gibt eine Information bezüglich einer Diagnoseunterstützung aus.
Die Endoskopvorrichtung 110 enthält den Prozessor 120 für ein Endoskop, das Endoskop 140 und eine Anzeigevorrichtung 50. Die Anzeigevorrichtung 50 ist beispielsweise eine Flüssigkristallanzeigevorrichtung oder eine organische Elektrolumineszenz-(EL)-Anzeigevorrichtung.
Die Anzeigevorrichtung 50 ist auf der oberen Ebene eines Aufbewahrungsregals 116 mit Rollen installiert. Der Prozessor 120 für ein Endoskop ist in der mittleren Ebene des Aufbewahrungsregals 116 untergebracht. Das Aufbewahrungsregal 116 ist in der Nähe eines Betts (nicht gezeigt) zur endoskopischen Untersuchung angeordnet. Das Aufbewahrungsregal 116 enthält ein ausziehbares Brett, auf dem eine Tastatur 115, die mit dem Prozessor 120 für ein Endoskop verbunden ist, angebracht ist.
Der Prozessor 120 für ein Endoskop hat eine im Wesentlichen rechteckige parallelepipedische Form und ist auf einer seiner Oberflächen mit einem Berührungsbildschirm (Touchpanel) 125 versehen. Eine Leseeinheit 128 ist an der Unterseite des Touchpanels 125 angeordnet. Die Leseeinheit 128 ist eine Verbindungschnittstelle zum Auslesen und Beschreiben eines tragbaren Aufzeichnungsmediums, wie z. B. ein USB-Verbindungsstecker, ein SD-(Secure Digital)-Kartenschlitz oder ein CD-ROM (Compact Disc Read Only Memory)-Laufwerk.
Das Endoskop 140 enthält einen Einführteil 144, eine Bedieneinheit 143, ein universelles Kabel 149 und einen Beobachtungsinstrument-Verbindungstecker 148. Die Bedieneinheit 143 ist mit einer Steuertaste 1431 versehen. Der Einführteil 144 ist lang und hat ein Ende, das über einen Biegeverhinderungsteil 145 mit der Bedieneinheit 143 verbunden ist. Der Einführteil 144 enthält einen weichen Teil 1441, einen Biegeteil 1442 und einen distalen Spitzenabschnitt 1443 in der Reihenfolge von der Bedieneinheit 143. Der Biegeteil 1442 wird entsprechend einer Betätigung eines Biegedrehknopfes 1433 gebogen. Physikalische Detektionsvorrichtungen, wie z. B. ein Drei-Achsen-Beschleunigungssensor, ein Gyrosensor, ein geomagnetischer Sensor, ein Magnetspulensensor und eine Endoskopposition-Erfassungsvorrichtung (Kolonnavigation) können am Einführteil 144 angebracht sein, und wenn das Endoskop 140 in den Körper eines Patienten eingeführt ist, können Detektionsergebnisse aus diesen physikalischen Detektionsvorrichtungen erfasst werden.
Das universelle Kabel 149 ist lang und hat ein erstes Ende, das mit der Bedieneinheit 143 verbunden ist, und ein zweites Ende, das mit dem Beobachtungsinstrument-Verbindungstecker 148 verbunden ist. Das universelle Kabel 149 ist flexibel. Der Beobachtungsinstrument-Verbindungstecker 148 hat eine im Wesentlichen rechteckige parallelepipedische Form. Der Beobachtungsinstrument-Verbindungstecker 148 ist mit einem Luft/Wasser-Zuführungsanschluss 136 (siehe 2) zum Anschließen eines Luft/Wasser-Zuführungsschlauchs versehen.
23 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für die Endoskopvorrichtung 110 zeigt, die in dem Diagnoseunterstützungssystem S enthalten ist. Eine Steuereinheit 121 ist eine arithmetische Steuervorrichtung, die ein Programm dieses Ausführungsbeispiels ausführt. Für die Steuereinheit 121 werden eine oder mehrere Zentraleinheiten (CPU), Graphikprozessoren (GPU) oder Mehrkern-CPUs und dergleichen verwendet. Die Steuereinheit 121 ist mit jeder Hardware-Einheit, aus der der Endoskopprozessor 120 gebildet ist, über einen Bus verbunden.
Eine Hauptspeichervorrichtung 122 ist eine Speichervorrichtung, wie z. B. ein statischer Direktzugriffsspeicher (SRAM), ein dynamischer Direktzugriffspeicher (DRAM) oder ein Flash-Speicher. Die Hauptspeichervorrichtung 122 speichert temporär Informationen, die während der Verarbeitung, die von der Steuereinheit 121 ausgeführt wird, notwendig sind, sowie ein Programm, das von der Steuereinheit 121 ausgeführt wird. Eine Hilfsspeichervorrichtung 123 ist eine Speichervorrichtung, wie z. B. ein SRAM, ein Flash-Speicher oder eine Festplatte, und ist eine Speichervorrichtung, die eine größere Kapazität als die Hauptspeichervorrichtung 122 hat. In der Hilfsspeichervorrichtung 123 können beispielsweise das erfasste aufgenommene Bild und das erzeugte Endoskopbild als Zwischendaten gespeichert werden.
Eine Kommunikationseinheit 124 ist ein Kommunikationsmodul oder eine Kommunikationsschnittstelle zum Durchführen einer Kommunikation mit der Informationsverarbeitungsvorrichtung 6 über ein Netzwerk über ein Kabel oder ohne Kabel, und ist beispielsweise ein drahtloses Nahfeld-Kommunikationsmodul wie z. B. Wi-Fi (eingetragene Marke) oder Bluetooth (eingetragene Marke) oder ein drahtloses Weitfeld-Kommunikationsmodul wie 4G oder LTE. Das Touchpanel 125 enthält eine Anzeigeeinheit, wie z. B. eine Flüssigkristallanzeigetafel, und eine Eingabeeinheit, die der Anzeigeeinheit überlagert ist. Die Kommunikationseinheit 124 kann mit einer CT-Vorrichtung, einer MRI-Vorrichtung (vgl. 26) oder einer Speichervorrichtung (nicht gezeigt) kommunizieren, die aus diesen Vorrichtungen ausgegebene Daten speichert.
Eine Anzeigevorrichtung-Schnittstelle 126 ist eine Schnittstelle zum Verbinden des Endoskopprozessors 120 mit der Anzeigevorrichtung 50. Eine Eingabevorrichtung-Schnittstelle 127 ist eine Schnittstelle zum Verbinden des Endoskopprozessors 120 mit einer Eingabevorrichtung, wie z. B. der Tastatur 115.
Eine Lichtquelle 133 ist beispielsweise eine Weißlichtquelle mit hoher Intensität, wie z. B. eine weiße LEC oder eine Xenonlampe. Die Lichtquelle 133 ist mit dem Bus über einen Treiber (nicht gezeigt) verbunden. Ein Ändern des Ein/Aus-Zustandes und der Helligkeit der Lichtquelle 133 werden von der Steuereinheit 121 gesteuert. Das von der Lichtquelle 133 emittierte Beleuchtungslicht fällt auf einen optischen Verbindungstecker 1312. Der optische Verbindungsstecker 1312 steht mit dem Beobachtungsinstrument- Verbindungstecker 148 in Eingriff, um dem Endoskop 140 Beleuchtungslicht zuzuführen.
Eine Pumpe 134 erzeugt Druck für die Luftzuführungs-/Wasserzuführungsfunktion des Endoskops 140. Die Pumpe 34 ist mit dem Bus über einen Treiber (nicht gezeigt) verbunden. Ein Ändern des Ein/Aus-Zustandes und des Drucks der Pumpe 134 werden von der Steuereinheit 121 gesteuert. Die Pumpe 134 ist über einen Wasserzuführungstank 135 mit dem Luft/Wasserzuführungsanschluss 136 verbunden, der in dem Beobachtungsinstrument-Verbindungstecker 148 vorgesehen ist.
Die Funktion des mit dem Endoskopprozessor 120 verbundenen Endoskops 140 wird nun umrissen. Ein Faserbündel, ein Kabelbündel, ein Luftzuführungsschlauch, ein Wasserzuführungsschlauch und dergleichen werden in den Beobachtungsinstrument-Verbindungstecker 148, das universelle Kabel 149, die Bedieneinheit 143 und den Einführteil 144 eingefügt. Das von der Lichtquelle 133 emittierte Licht wird aus einem Beleuchtungsfenster abgestrahlt, das an dem distalen Spitzenabschnitt 1443 vorgesehen ist, über den optischen Verbindungstecker 1312 und das Faserbündel. Ein Bild eines von dem Beleuchtungslicht beleuchteten Bereichs wird von einem Bildsensor aufgenommen, der an dem distalen Spitzenabschnitt 1443 vorgesehen ist. Das aufgenommene Bild wird von dem Bildsensor zum Prozessor 120 für ein Endoskop über das Kabelbündel und einen elektrischen Verbindungstecker 1312 übertragen.
Die Steuereinheit 121 des Prozessors 120 für ein Endoskop führt ein Programm aus, das in der Hauptspeichervorrichtung 122 gespeichert ist, um als Bildverarbeitungseinheit 1211 zu arbeiten. Die Bildverarbeitungseinheit 1211 führt verschiedene Arten von Bildverarbeitung wie eine Gammakorrektur, einen Weißabgleich und eine Shading-Korrektur an einem Bild (aufgenommenes Bild) durch, das aus dem Endoskop 140 ausgegeben wird, und gibt das Bild als Endoskopbild aus.
24 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für die Informationsverarbeitungsvorrichtung 6 zeigt, die in dem Diagnoseunterstützungssystem S enthalten ist. Die Informationsverarbeitungsvorrichtung 6 enthält eine Steuereinheit 62, eine Kommunikationseinheit 61, eine Speichereinheit 63 und eine Eingabe/Ausgabe-Schnittstelle 64. Die Informationsverarbeitungsvorrichtung 6 ist beispielsweise eine Servervorrichtung, ein Personal Computer oder dergleichen. Die Servervorrichtung enthält nicht nur eine einzelne Servervorrichtung sondern auch eine Cloud-Servervorrichtung, die durch eine Vielzahl von Computern implementiert ist, oder eine virtuelle Servervorrichtung. Die Informationsverarbeitungsvorrichtung 6 kann als Cloud-Server vorgesehen sein, der sich auf einem externen Netzwerk befindet, auf das der Prozessor 120 für ein Endoskop zugreifen kann.
Die Steuereinheit 62 enthält eine oder mehr arithmetische Verarbeitungsvorrichtungen mit einer Zeitzählfunktion, wie z B. eine Zentraleinheit (CPU), eine Mikroverarbeitungseinheit (MPU) und eine Graphikverarbeitungseinheit (GPU) und liest und führt ein Programm P aus, das in der Speichereinheit 63 gespeichert ist, wodurch verschiedene Arten der Informationsverarbeitung, Steuerverarbeitung und dergleichen durchgeführt werden, die mit der Informationsverarbeitungsvorrichtung 6 in Verbindung stehen. Alternativ dazu kann die Steuereinheit 62 einen Quantencomputerchip enthalten, und die Informationsverarbeitungsvorrichtung 6 kann ein Quantencomputer sein.
Die Speichereinheit 63 umfasst einen flüchtigen Speicherbereich, wie z. B. einen statischen Direktzugriffsspeicher (SRAM), einen dynamischen Direktzugriffsspeicher (DRAM) oder einen Flash-Speicher, und einen nicht-flüchtigen Speicherbereich, wie z. B. einen EEPROM oder eine Festplatte. Die Speichereinheit 63 speichert vorab das Programm P und Daten, auf die zum Zeitpunkt der Verarbeitung zugegriffen wird. Das in der Speichereinheit 63 gespeicherte Programm P kann ein Programm P sein, das aus einem Aufzeichnungsmedium 632 ausgelesen wird, das von der Informationsverarbeitungsvorrichtung 6 auslesbar ist. Alternativ dazu kann das Programm P von einem externen Computer (nicht gezeigt) heruntergeladen werden, der mit einem Kommunikationsnetzwerk (nicht gezeigt) verbunden ist, und in der Speichereinheit 63 gespeichert werden. Die Speichereinheit 63 speichert Entity-Dateien (Instanz-Dateien eines neuronalen Netzes (NN)), die ein später beschriebenes Lernmodell 9 bilden. Diese Entity-Dateien können als Teil des Programms P konfiguriert sein. Die Speichereinheit 63 kann eine Endoskopbild-Datenbank 631 und das später zu beschreibende Lernmodell 9 speichern.
Die Kommunikationseinheit 61 ist ein Kommunikationsmodul oder eine Kommunikationsschnittstelle zum Durchführen einer Kommunikation mit der Endoskopvorrichtung 110 über ein Kabel oder kabellos und ist beispielsweise ein drahtloses Nahfeld-Kommunikationsmodul wie z. B. Wi-Fi (eingetragene Marke) oder Bluetooth (eingetragene Marke) oder ein drahtloses Weitfeld-Kommunikationsmodul wie 4G oder LTE. Die Kommunikationseinheit 61 kann mit einer CT-Vorrichtung, einer MRI-Vorrichtung (siehe 26) oder einer Speichervorrichtung (nicht gezeigt) kommunizieren, die Daten, die aus diesen Vorrichtungen ausgegeben werden, speichert.
Die Eingabe/Ausgabe-Schnittstelle 64 erfüllt einen Kommunikationsstandard wie z. B. USB oder DSUB, und ist eine Kommunikationsschnittstelle zum Durchführen einer seriellen Kommunikation mit einer externen Vorrichtung, die mit der Eingabe/Ausgabe-Schnittstelle 64 verbunden ist. Eine Anzeigeeinheit 7, wie z. B. eine Anzeige, oder eine Eingabeeinheit 8, wie z. B. eine Tastatur, sind mit der Eingabe/Ausgabe-Schnittstelle 64 verbunden, und die Steuereinheit 62 gibt an die Anzeigeeinheit 7 ein Ergebnis einer Informationsverarbeitung aus, das auf der Basis eines Ausführungsbefehls oder eines Ereignisses, das aus der Eingabeeinheit 8 eingegeben wurde, durchgeführt wird.
25 ist ein erläuterndes Diagramm, das ein Datenlayout der Endoskopbild-Datenbank 631 zeigt. Die Endoskopbild-Datenbank 631 ist in der Speichereinheit 63 der Informationsverarbeitungsvorrichtung 6 gespeichert und wird von einer Datenbankverwaltungssoftware, wie z. B. einem relationalem Datenbankmanagementsystem (RDBMS), implementiert, die in der Informationsverarbeitungsvorrichtung 6 implementiert ist. Alternativ dazu kann die Endoskopbild-Datenbank 631 in einem vorbestimmten Speicherbereich gespeichert werden, der von der Informationsverarbeitungsvorrichtung 6 aus zugänglich ist, wie z. B. eine Speichervorrichtung, die kommunikationsfähig mit der Informationsverarbeitungsvorrichtung 6 verbunden ist. Alternativ dazu kann die Endoskopbild-Datenbank 631 in der Hauptspeichervorrichtung 122 der Endoskopvorrichtung 110 gespeichert werden. Das heißt, der vorbestimmte Speicherbereich umfasst die Speichereinheit 63 der Informationsverarbeitungsvorrichtung 6, die Hauptspeichervorrichtung 122 der Endoskopvorrichtung 110 und eine Speichervorrichtung, die von der Informationsverarbeitungsvorrichtung 6 oder der Endoskopvorrichtung 110 aus zugänglich ist. Die Informationsverarbeitungsvorrichtung 6 kann das Endoskopbild, ein Datum der Untersuchung und Attributinformationen des Patienten, die von dem Prozessor 120 für ein Endoskop ausgegeben werden, erfassen und kann sie in der Untersuchungsergebnis-Datenbank 631 speichern. Alternativ dazu können das Endoskopbild, das Untersuchungsdatum und die Attributinformation des Patienten, die direkt aus dem Prozessor 120 für ein Endoskop ausgegeben werden, direkt in der Untersuchungsergebnis-Datenbank 631 aufgezeichnet werden.
Die Endoskopbild-Datenbank 631 enthält z. B. eine Patienten-Haupttabelle und eine Bildtabelle, und die Patienten-Haupttabelle und die Bildtabelle sind miteinander verknüpft, indem eine Patienten-ID verwendet wird, die ein Eintrag (Metadaten) ist, der in beiden Tabellen enthalten ist.
Die Patienten-Haupttabelle enthält z. B. eine Patienten-ID, das Geschlecht, ein Geburtsdatum und das Alter als Verwaltungseinträge (Metadaten). In dem Eintrag (Feld) der Patienten-ID wird eine ID-Information gespeichert, um den Patienten, der endoskopisch untersucht wurde, eindeutig zu identifizieren. In den Einträgen (Feldern) Geschlecht und Geburtsdatum werden biologische Attribute, einschließlich Geschlecht und Geburtsdatum, die der Patienten-ID entsprechen, gespeichert und in dem Eintrag (Feld) Alter wird das Alter zum jetzigen Zeitpunkt, berechnet auf der Basis des Geburtsdatums gespeichert. Das Geschlecht und das Alter werden als biologische Informationen des Patienten in der Patienten-Haupttabelle verwaltet.
Die Bildtabelle enthält z. B. die Patienten-ID, ein Untersuchungsdatum, ein Endoskopbild, eine Einzelbildanzahl, eine S-Koordinate (Einführdistanz), ein dreidimensionales medizinisches Bild, eine Blickpunkt-Position, eine Blickpunkt-Richtung und ein virtuelles Endoskopbild als Verwaltungseinträge (Metadaten).
Der Eintrag (Feld) der Patienten-ID dient der Verknüpfung mit den biologischen Attributen des Patienten, die in der Patienten-Haupttabelle verwaltet werden, und speichert den Wert der ID jedes Patienten. Der Eintrag (Feld) des Untersuchungsdatums speichert das Datum, an dem der Patient, der der Patienten-ID entspricht, endoskopisch untersucht wurde. In dem Eintrag (Feld) des Endoskopbildes wird das Endoskopbild der Patienten-ID als Objektdaten gespeichert. Das Endoskopbild kann ein Standbild aus einem Einzelbild beispielsweise im jpeg-Format oder ein Bewegtbild aus mehreren Einzelbildern z. B. im avi-Format sein. Alternativ kann in dem Eintrag (Feld) des Endoskopbildes eine Information gespeichert sein, die eine Speicherstelle (Dateipfad) des als Datei gespeicherten Endoskopbildes angibt.
Wenn das Endoskopbild ein Bewegtbild ist, wird eine Einzelbildanzahl des Bewegtbildes in dem Eintrag (Feld) der Einzelbildanzahl gespeichert. Durch Speichern der Einzelbildanzahl des Bewegtbildes kann selbst in einem Fall, in dem das Endoskopbild ein Bewegtbild ist, das Bewegtbild auf ähnliche Weise wie beim Standbild gehandhabt werden und kann mit einer Positionsinformation (Koordinaten in einem Koordinatensystem im Körper) des dreidimensionalen medizinischen Bildes oder des virtuellen Endoskopbildes verknüpft werden, wie später beschrieben.
In dem Eintrag (Feld) der S-Koordinate (Einführdistanz) wird die Einführdistanz des Endoskops 40 zu einem Zeitpunkt, zu dem das Endoskopbild, das in demselben Datensatz gespeichert ist, aufgenommen wird, als Wert der S-Koordinate gespeichert. Die Ableitung des Einführdistanz (S-Koordinate) und dergleichen wird später beschrieben.
In dem Eintrag (Feld) des dreidimensionalen medizinischen Bildes wird beispielsweise ein dreidimensionales medizinisches Bild in einem DICOM-Format, das auf der Basis von Daten, die aus einer CT-Vorrichtung (Röntgen-CT oder Röntgen-Kegelstrahl-CT) oder einer MRI-Vorrichtung (MRI-CT) ausgegeben werden, erzeugt wird, als Objektdaten gespeichert. Alternativ kann eine Information, die eine Speicherstelle (Dateipfad) des als Datei gespeicherten dreidimensionalen medizinisches Bildes angibt, gespeichert werden.
In dem Eintrag (Feld) der Blickpunkt-Position werden Koordinaten des Endoskops 140 in dem Körper zum Zeitpunkt der Aufnahme des Endoskopbildes gespeichert, d.h. Koordinaten des dreidimensionalen medizinischen Bildes im Koordinatensystem. Eine Ableitung der Blickpunkt-Position und dergleichen wird später beschrieben.
In dem Eintrag (Feld) der Blickpunkt-Richtung wird die Ausrichtung des Endoskops 140 zum Zeitpunkt der Aufnahme des Endoskopbildes gespeichert, d.h. der Rotationswinkel des dreidimensionalen medizinischen Bildes in dem Koordinatensystem (Koordinaten im Koordinatensystem im Körper). Eine Ableitung der Blickpunkt-Richtung and dergleichen wird später beschrieben.
In dem Eintrag (Feld) des virtuellen Endoskopbildes wird das virtuelle Endoskopbild, das aus dem dreidimensionalen medizinischen Bild erzeugt wird, als Objektdaten gespeichert. Eine Information, die einen Speicherort (Dateipfad) des virtuellen Endoskopbildes angibt, das als Datei gespeichert ist, können gespeichert werden. Das virtuelle Endoskopbild wird aus dem dreidimensionalen medizinischen Bild erzeugt, um eine Übereinstimmungsverarbeitung mit dem Endoskopbild durchzuführen, und beispielweise wird ein virtuelles Endoskopbild, das am meisten mit dem Endoskopbild übereinstimmt, in dem gleichen Datensatz wie das Endoskopbild registriert. Die Erzeugung des virtuellen Endoskopbildes und dergleichen wird später beschrieben.
26 ist ein Funktionsblockdiagramm, das Funktionsteile zeigt, die in der Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 enthalten sind. Die Steuereinheit 121 des Prozessors 120 für ein Endoskop (Endoskopvorrichtung 110) führt ein in der Hauptspeichervorrichtung 122 gespeichertes Programm aus, um als Bildverarbeitungseinheit 1211 zu arbeiten. Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 führt das in der Speichereinheit 63 gespeicherte Programm P aus, um als Erfassungseinheit 621, Blickpunkt-Positionsableitungseinheit 622, Erzeugungseinheit 623 zur Erzeugung eines virtuellen Endoskopbildes, Übereinstimmungsgrad-Bestimmungseinheit 624 und Datenbank-Registrierungseinheit 625 zu fungieren.
Die Bildverarbeitungseinheit 1211 des Prozessors 120 für ein Endoskop führt verschiedene Arten einer Bildverarbeitung, wie eine Gammakorrektur, einen Weißabgleich und eine Shading-Korrektur, an einem Bild (aufgenommenes Bild) durch, das aus dem Endoskop ausgegeben wird, und gibt das Bild als Endoskopbild aus. Die Bildverarbeitungseinheit 1211 gibt das erzeugte Endoskopbild und das Untersuchungsdatum basierend auf einem Aufnahmezeitpunkt des Endoskopbildes an die Informationsverarbeitungsvorrichtung 6 aus (überträgt es zu dieser). Die Bildverarbeitungseinheit 1211 kann ferner die Patienten-ID, die über die Tastatur 115 eingegeben wird, an die Informationsverarbeitungsvorrichtung 6 ausgeben. Die Bildverarbeitungseinheit 1211 kann eine Information bezüglich der Einführdistanz (S-Koordinate) des Endoskops 40, die aus einem Sensor ausgegeben wird, der in dem Einführteil 144 (flexibler Schlauch) des Endoskops 40 angeordnet ist, um eine Umgebung des Endoskopbilds 140 zu messen, an die Informationsverarbeitungsvorrichtung 6 ausgeben. Die Bildverarbeitungseinheit 1211 kann eine Information über die Einführdistanz des Endoskops 140, die aus dem Sensor erfasst wird, dem Endoskopbild überlagern und die Information beispielweise auf der Anzeigevorrichtung anzeigen.
Beispiele für den Sensor zum Erfassen der S-Koordinate, die die Distanz ist, um die das Endoskop 140 in den Körper eingeführt ist, umfassen einen Temperatursensor, einen optischen Sensor, einen Drucksensor, einen Benetzungssensor (Elektrode) und einen Feuchtigkeitssensor. Wenn der Sensor ein optischer Sensor ist, ist der optische Sensor beispielsweise in dem Einführteil 144 (flexibler Schlauch) angeordnet. Der optische Sensor kann jedoch Licht empfangen, selbst wenn der Einführteil 144 (flexibler Schlauch) in den Körper eingeführt ist. Folglich ist es möglich, zu bestimmen, dass ein Bereich, an dem der optische Sensor mehr Licht empfängt, sich außerhalb des Körpers befindet, und ein Bereich, an dem der optische Sensor weniger Licht empfängt, sich innerhalb des Körpers befindet. Die Steuereinheit 121 des Prozessors 120 für ein Endoskop kann die S-Koordinate ableiten, die die Distanz (Länge) ist, um die der Einführteil 144 (flexibler Schlauch) in den Körper eingeführt ist, indem der optische Sensor identifiziert wird, der an einer Grenzposition positioniert ist, die ein Körperhöhleneinführabschnitt ist, auf der Basis eines Signals, das von dem optischen Sensor erhalten wird.
Ein Rollen-Encoder ist an einem Mundstück (nicht gezeigt) oder dergleichen angebracht, das mit dem Einführteil 144 (flexibler Schlauch) in Kontakt ist, und der Rollen-Encoder dreht sich um die Distanz, um die der Einführteil 144 (flexibler Schlauch) in den Körper eingeführt ist, wodurch die S-Koordinate, die die Distanz ist, um die das Endoskop 140 in den Körper eingeführt ist, erfasst werden kann. Der Rollen-Encoder des Mundstücks oder dergleichen dreht sich, wenn sich der Einführteil 144 (flexibler Schlauch) vor- und zurückbewegt, und kann eine Länge zwischen dem in den Körper eingeführten distalen Spitzenabschnitt 1443 des Endoskops 40 und einem Öffnungsteil, das mit dem Lumen des Mundes, der Nase oder dergleichen kommuniziert, messen, das heißt die Einführdistanz des Einführteils 144 (flexibler Schlauch). Der Rollen-Encoder ist elektrisch mit dem Prozessor 120 für ein Endoskop verbunden und überträgt die gemessene Distanz an den Prozessor 120 für ein Endoskop. Ferner kann ein optischer Kodierer anstelle des Rollen-Encoders verwendet werden.
Darüber hinaus kann in einem Fall, in dem eine Hilfsvorrichtung zum Messen der Einführdistanz des Endoskops 140 an dem Körperhöhleneinführabschnitt befestigt ist, der ein Eingang des Patienten ist, die S-Koordinate, die die Distanz ist, um die das Endoskop 140 in den Körper eingeführt ist, durch Messen einer Passierdistanz des Endoskops 140 erfasst werden. Die Hilfsvorrichtung kann eine Distanz durch eine Skala eines Magnetfeldes messen, wie z. B. eine lineare Skala, die an dem Einführteil 144 (flexiblen Schlauch) angebracht ist, sowie einen linearen Kopf, der an dem Mundstück angebracht ist, oder kann ein Mundstück des Endoskops 140 sein, an dem eine Rolle angebracht ist. Es wird angemerkt, dass in einem Fall, in dem das Endoskop in die Nase, den Anus oder dergleichen eingeführt wird, eine Hilfsvorrichtung, die mit einer Rolle versehen und ähnlich dem Mundstück ist, verwendet werden kann. Außerdem können Chips, in denen die Einführdistanzen aufgezeichnet werden, in den Einführteil 144 (flexiblen Schlauch) des Endoskops 140 in regelmäßigen Abständen eingebettet sein. Der Prozessor 120 für ein Endoskop kann die S-Koordinate erfassen, die die Distanz ist, um die das Endoskop 140 in den Körper eingeführt ist, anhand einer S-Koordinateninformation, die in dem Chip aufgezeichnet ist und durch das Mundstück oder dergleichen ermittelt wurde.
Die Erfassungseinheit 612 erfasst die Patienten-ID, das Untersuchungsdatum, das Endoskopbild und die S-Koordinate (Einführdistanz), die von dem Prozessor 120 für ein Endoskop ausgegeben werden. Basierend auf der erfassten Patienten-ID erfasst die Erfassungseinheit 621 das dreidimensionale medizinische Bild des Patienten, das aus der kommunikationsfähig angeschlossenen CT-Vorrichtung oder MRI-Vorrichtung ausgegeben wird. Wenn das dreidimensionale medizinische Bild, das aus einer anderen Untersuchungsvorrichtung, wie der CT-Vorrichtung oder der MRI-Vorrichtung, ausgegeben wird, beispielsweise bereits in einem externen Server (nicht gezeigt) gespeichert wurde, kann die Informationsverarbeitungsvorrichtung 6 auf den externen Server zugreifen und das dreidimensionale medizinische Bild des Patienten auf der Basis der aus dem Prozessor 120 für ein Endoskop ausgegebenen Patienten-ID erfassen.
Beispiele für das dreidimensionale medizinische Bild umfassen ein Bild, das durch Volumendaten dargestellt ist, die aus Schichtdaten konstruiert werden, die aus der CT-Vorrichtung, der MRI-Vorrichtung oder dergleichen ausgegeben werden, und ein Bild, das durch Volumendaten dargestellt ist, die aus einer Röntgenkegelstrahl-CT-Vorrichtung unter Verwendung einer Mehrschicht-(MS)-CT-Vorrichtung und eines Röntgen-Flachbildschirms ausgegeben werden. Wenn die Röntgenstrahl-CT-Vorrichtung oder die Kegelstrahl-CT-Vorrichtung verwendet wird, kann das dreidimensionale medizinische Bild beispielsweise ein Bild sein, dessen Zusammensetzung (Körperzusammensetzung) jedes Pixels des dreidimensionalen medizinischen Bildes auf der Basis einer effektiven Massenzahl (Effektive Z) erhalten wird, indem eine Dual-Energy-CT-(DECT)-Abtastung durchgeführt wird. Bei Verwendung der MRI-Vorrichtung kann das dreidimensionale medizinische Bild ein Bild sein, dem eine Information über die Zusammensetzung (Körperzusammensetzung) jedes Pixels des dreidimensionalen medizinischen Bildes, wie z. B. Fett oder Milchsäure, hinzugefügt wird.
Die Erfassungseinheit 621 gibt die erfasste S-Koordinate an die Blickpunkt-Position-Ableitungseinheit 622 aus. Auf der Basis der erfassten S-Koordinate leitet die Blickpunkt-Position-Ableitungseinheit 622 Koordinaten (Koordinaten im Koordinatensystem im Körper) des dreidimensionalen medizinischen Bildes entsprechend der S-Koordinate ab, d.h. eine Blickpunkt-Position, an der der distale Spitzenabschnitt 1443 des Endoskops 140 zum Zeitpunkt der Abbildung des Endoskops positioniert ist. 27 ist ein erläuterndes Diagramm, das die Distanz (den Wert der S-Koordinate) zeigt, um die das Endoskop eingeführt ist. Wie in 27 gezeigt, wird ein von dem Endoskop 140 aufgenommenes Bild eines Verdauungsorgans oder dergleichen in einer dreidimensionalen Form in dem dreidimensionalen medizinischen Bild ausgedrückt. Ein Raum wird innerhalb der Innenwand des Verdauungsorgans oder dergleichen gebildet, und der Raum dient als Einführpfad, in den das Endoskop eingeführt wird. Da die S-Koordinate, die die Einführdistanz des Endoskops 140 ist, ein Ort ist, der sich auf der Innenseite des Einführpfades befindet (der Innenseite der Innenwand des Verdauungsorgans oder dergleichen) und in dem die Länge des Einführpfades im Wesentlichen gleich der Einführdistanz ist, ist es möglich, die Koordinaten des distalen Spitzenabschnittes 1443 des Endoskops 140, das auf der Innenseite der Innenwand des Verdauungsorgans oder dergleichen positioniert ist, auf der Basis der S-Koordinate abzuleiten. Die Blickpunkt-Position-Ableitungseinheit 622 gibt eine Information bezüglich der abgeleiteten Blickpunkt-Position an die Erzeugungseinheit 623 zum Erzeugen des virtuellen Endoskopbildes aus.
Die Erfassungseinheit 621 gibt das erfasste dreidimensionale medizinische Bild an die Erzeugungseinheit 623 zum Erzeugen des virtuellen Endoskopbildes aus. Die Erzeugungseinheit 623 zum Erzeugen des virtuellen Endoskopbildes erzeugt ein virtuelles Endoskopbild auf der Basis des erfassten dreidimensionalen medizinischen Bildes und der Blickpunkt-Position, die aus der Blickpunkt-Position-Ableitungseinheit 622 erfasst wird. Das virtuelle Endoskopbild ist ein virtuelles Endoskopbild des Inneren eines Organs (des Inneren der Körperhöhle) basierend auf dem dreidimensionalen medizinischen Bild, das auf der Basis des dreidimensionalen medizinischen Bildes erzeugt (rekonstruiert) wird, das durch den Röntgen-CT-Scan, den MRI-Scan oder den Röntgen-Kegelstrahl-CT-Scan erhalten wird, bei dem ein Bild des Inneren der Trachea, des Inneren des Bronchus oder eines röhrenförmigen Organs wie z. B. des Verdauungstrakts aufgenommen wird. Das virtuelle Endoskopbild des Dickdarms kann beispielsweise dadurch erzeugt (rekonstruiert) werden, dass eine CT-Abtastung in einem Zustand durchgeführt wird, in dem Luft in den Dickdarm eingebracht ist, und ein Volumen-Rendering eines dreidimensionalen medizinischen Bildes, das von dem Inneren des Dickdarms durch die Abtastung erhalten wird, durchgeführt wird.
Die Erzeugungseinheit 623 zum Erzeugen des virtuellen Endoskopbildes extrahiert Voxeldaten eines Organs im Patienten aus dem erfassten dreidimensionalen medizinischen Bild. Das Organ ist beispielsweise der Dickdarm, der Dünndarm, die Niere, der Bronchus und ein Blutgefäß. Das Organ ist aber nicht darauf beschränkt, und es können andere Organe sein. Es wird angemerkt, dass in dem vorliegenden Ausführungsbeispiel die Voxeldaten des Dickdarms extrahiert und erfasst werden. Bei einem Verfahren zum Extrahieren eines Dickdarmbereichs wird beispielsweise insbesondere zunächst eine Verarbeitung des Rekonstruierens einer Vielzahl von axialen Bildern von Querschnitten senkrecht zu einer Körperachse auf der Basis des dreidimensionalen medizinischen Bildes und des Erhaltens einer Grenze zwischen einer Körperoberfläche und einem intrakorporalen Bereich unter Verwendung eines Röntgen-CT-Werts basierend auf einem Röntgenabsorptions-Koeffizienten als Schwellenwert, um einen extrakorporalen Bereich und einen intrakorporalen Bereich basierend auf der Körperoberfläche in jedem axialen Bild voneinander zu trennen, durch ein bekanntes Verfahren durchgeführt. Beispielsweise wird eine Binarisierungsverarbeitung an dem rekonstruierten axialen Bild unter Verwendung des Röntgen-CT-Wertes durchgeführt, eine Kontur wird durch eine Konturextraktionsverarbeitung extrahiert und der innerhalb der extrahierten Kontur liegende Bereich wird als intrakorporaler (menschlicher Körper) Bereich extrahiert. Als Nächstes wird eine Binarisierungsverarbeitung unter Verwendung eines Schwellenwertes an dem axialen Bild des intrakorporalen Bereichs durchgeführt und ein Kandidat für einen Bereich des Dickdarms wird in jedem axialen Bild extrahiert. Genau genommen wird, da Luft in dem Trakt des Dickdarms vorhanden ist, ein Schwellenwert (z. B. -600 Hounsfield unit (HU) oder weniger), der einem CT-Wert von Luft entspricht, eingestellt, und eine Binarisierungsverarbeitung wird durchgeführt, und ein Luftbereich im Körper in jedem axialen Bild wird als Kandidat für den Bereich des Dickdarms extrahiert. Die Erzeugungseinheit 623 zum Erzeugen des virtuellen Bildes rekonstruiert als virtuelles Endoskopbild ein Bild, das durch zentrale Projektion dadurch erhalten wird, dass Voxeldaten auf einer Vielzahl von Strahlenrichtungen, die radial um einen Sichtlinienvektor basierend auf einem Rotationswinkel, der als Blickpunkt-Position festgelegt wird, und einer Sichtlinienrichtung verlaufen, auf eine vorbestimmte Projektionsebene projiziert werden. Es wird angemerkt, dass als spezifische Methode der zentralen Projektion beispielsweise ein bekanntes Verfahren zum Volumen-Rendering oder dergleichen verwendet werden kann.
Beispielsweise erzeugt die Einheit 623 zum Erzeugen eines virtuellen Endoskopbildes sequentiell eine Vielzahl von virtuellen Kandidaten-Endoskopbildern durch Ändern der Blickpunkt-Richtung, d.h. der Rotationswinkel (θx, θy und θz) im Koordinatensystem des dreidimensionalen medizinischen Bildes um einen vorbestimmten Einheitsbetrag von 1°, ausgehend von der Blickpunkt-Position mit den Koordinaten des distalen Spitzenabschnitts 1443 des Endoskops 10 als Startpunkt. Die Einheit 623 zum Erzeugen des virtuellen Endoskopbildes kann beispielsweise eine dreidimensionale Form, die von der Innenwand des Verdauungsorgans gebildet wird, von der Blickpunkt-Position aus projizieren, die sich im Inneren des Verdauungsorgans befindet, das in dem dreidimensionalen medizinischen Bild spezifiziert ist, auf der Basis einer Vielzahl von Rotationswinkeln, die als Blickpunkt-Richtung festgelegt werden, um eine Vielzahl von virtuellen Endoskopbildern zu erzeugen. Die Einheit 623 zum Erzeugen des virtuellen Endoskopbildes verknüpft die Vielzahl von erzeugten virtuellen Endoskopbildern mit der Blickpunkt-Richtung (Rotationswinkel), die beim Erzeugen der virtuellen Endoskopbilder verwendet wurde, und gibt die virtuellen Endoskopbilder an die Übereinstimmungsgrad-Bestimmungseinheit 624 aus.
Die Erfassungseinheit 621 gibt das erfasste Endoskopbild an die Übereinstimmungsgrad-Bestimmungseinheit 624 aus. Auf der Basis des erfassten Endoskopbildes, der Vielzahl von virtuellen Endoskopbildern, die aus der Einheit 623 zum Erzeugen des virtuellen Endoskopbildes erfasst werden, und der Blickpunkt-Richtung (Rotationswinkel), die verwendet wird, wenn die virtuellen Endoskopbilder erzeugt werden, spezifiziert die Übereinstimmungsgradbestimmungseinheit 624 ein virtuelles Endoskopbild, das am meisten mit dem erfassten Endoskopbild übereinstimmt, sowie eine Blickpunkt-Richtung (Rotationswinkel), die verwendet wird, wenn das virtuelle Endoskopbild, das am meisten mit dem erfassten Endoskopbild übereinstimmt, erzeugt wird. Die Übereinstimmungsgrad-Bestimmungseinheit 624 vergleicht das erfasste Endoskopbild mit jedem der Vielzahl von virtuellen Endoskopbildern, um den Übereinstimmungsgrad zwischen dem Endoskopbild und dem virtuellen Endoskopbild abzuleiten.
Beispielsweise kann die Übereinstimmungsgrad-Bestimmungseinheit 624 den Grad der Übereinstimmung unter Verwendung eines Index messen, der das Schattenbild des Endoskopbildes und das Schattenbild des virtuellen Endoskopbildes korreliert. Um den Grad der Übereinstimmung zwischen dem virtuellen Endoskopbild und dem Endoskopbild quantitativ zu bestimmen, kann der Grad der Übereinstimmung auf der Basis des Korrelationsgrades der Schattenbildinformation bestimmt werden, die aus der Luminanzinformation erhalten wird. Alternativ dazu kann der Übereinstimmungsgrad auf der Basis der Ähnlichkeit zwischen dem Endoskopbild und dem virtuellen Endoskopbild ermittelt werden. Um den Grad der Übereinstimmung zwischen dem Endoskopbild und dem virtuellen Endoskopbild zu messen, kann beispielsweise ein Verfahren basierend auf KI (Übereinstimmungsgrad-Lernmodell), wie z. B ein tiefes konvolutionales neuronales Netz (deep convolutional neural network) (DCNN), das durch ein VGG 16 Modell (caffemodel: VGG_ILSVRC_16_layers) implementiert ist, verwendet werden. Alternativ kann die Übereinstimmungsgrad-Bestimmungseinheit 624 die Ähnlichkeiten zwischen der Vielzahl von konstruierten virtuellen Endoskopbildern und dem Endoskopbild vergleichen. Der Ähnlichkeitsvergleich zwischen den beiden Bildern wird durch eine bekannte Bildverarbeitung durchgeführt, und es kann entweder ein Pixeldatenabgleich oder ein Abgleich von Merkmalen, die aus den Bildern extrahiert werden, verwendet werden. Die Übereinstimmungsgrad-Bestimmungseinheit 624 gibt das virtuelle Endoskopbild, das als das mit dem höchsten Übereinstimmungsgrad mit dem Endoskopbild spezifiziert wurde, und die Blickpunkt-Richtung (Rotationswinkel), die beim Erzeugen des virtuellen Endoskopbildes verwendet wurde, an die Datenbank-Registrierungseinheit 625 aus.
In dem vorliegenden Ausführungsbeispiel spezifiziert die Übereinstimmungsgrad-Bestimmungseinheit 624 ein virtuelles Endoskopbild, das mit dem erfassten Endoskopbild am meisten übereinstimmt, aber die vorliegende Erfindung ist nicht darauf beschränkt. Die Übereinstimmungsgrad-Bestimmungseinheit 624 kann ein virtuelles Endoskopbild, dessen Übereinstimmungsgrad gleich oder größer als ein vorbestimmter Wert ist, als virtuelles Endoskopbild spezifizieren, das als im Wesentlichen identisch mit dem erfassten Endoskopbild angesehen werden kann, und kann das virtuelle Endoskopbild an die Datenbank-Registrierungseinheit 625 ausgeben. Durch Spezifizieren des virtuellen Endoskopbildes, dessen Übereinstimmungsgrad gleich oder größer als der vorbestimmte Wert ist, ist es nicht erforderlich, einen Vergleich mit allen virtuellen Endoskopbildern, die als Kandidaten erzeugt wurden, durchzuführen, und es ist möglich, eine Rechenlast und eine Verarbeitungszeit der Informationsverarbeitungsvorrichtung 6 zu reduzieren.
Wenn der Übereinstimmungsgrad nicht gleich oder größer als ein vorbestimmter Wert ist, kann die Übereinstimmungsgrad-Bestimmungseinheit 624 eine Vielzahl von virtuellen Endoskopbildern auf der Basis einer Blickpunkt-Position, die durch feines Korrigieren der Blickpunkt-Position erhalten wird, die von der Blickpunkt-Position-Ableitungseinheit 622 bestimmt wurde, erneut erzeugen, den Übereinstimmungsgrad zwischen der Vielzahl der erneut erzeugten virtuellen Endoskopbilder und dem Endoskopbild ableiten und ein virtuelles Endoskopbild spezifizieren, das den höchsten Übereinstimmungsgrad hat. In diesem Fall gibt die Übereinstimmungsgrad-Bestimmungseinheit 624 an die Datenbank-Registrierungseinheit 625 das virtuelle Endoskopbild mit dem höchsten Übereinstimmungsgrad und die Blickpunkt-Position und die Blickpunkt-Richtung, die fein korrigiert und beim Erzeugen des virtuellen Endoskopbildes verwendet wurden, aus.
Die Erfassungseinheit 621 gibt die erfasste Patienten-ID, das Untersuchungsdatum, das Endoskopbild und das dreidimensionale medizinische Bild an die Datenbank-Registrierungseinheit 625 aus. Wenn das Endoskopbild ein Bewegtbild ist, gibt die Erfassungseinheit 621 eine Einzelbildanzahl des Endoskopbildes an die Datenbank-Registrierungseinheit 625 in Übereinstimmung mit dem Endoskopbild aus. Die Datenbank-Registrierungseinheit 625 verknüpft die erfasste Patienten-ID, das Untersuchungsdatum, das Endoskopbild (mit zugeordneter Einzelbildanzahl im Falle eines Bewegtbildes), die S-Koordinate, das dreidimensionale medizinische Bild, die Blickpunkt-Position, die von der Blickpunkt-Positionsableitungseinheit 622 bestimmt wurde, das virtuelle Endoskopbild, das von der Übereinstimmungsgrad-Bestimmungseinheit 624 erfasst wurde, und die Blickpunkt-Richtung (Rotationswinkel) miteinander und registriert sie in der Endoskopbild-Datenbank 631, wodurch diese Datenelemente gespeichert werden.
In dem vorliegenden Ausführungsbeispiel wurden die jeweiligen Funktionsteile in einer Verarbeitungsreihe getrennt beschrieben als Funktionsteil der Steuereinheit 121 des Prozessors 120 für ein Endoskop und als Funktionsteil der Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6, aber die Aufteilung dieser Funktionsteile ist ein Beispiel und ist nicht einschränkend. Die Steuereinheit 121 des Prozessors 120 für ein Endoskop kann alle Funktionsteile der Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 übernehmen. Das heißt, der Prozessor 120 für ein Endoskop kann die Informationsverarbeitungsvorrichtung 6 im Wesentlichen enthalten. Alternativ dazu kann die Steuereinheit 121 des Prozessors 120 für ein Endoskop nur ein aufgenommenes Bild ausgeben, das von dem Bildsensor 1445 aufgenommen wird, und die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 kann alle Funktionsteile übernehmen, die die weitere Verarbeitung ausführen. Alternativ dazu können die Steuereinheit 121 des Prozessors 120 für ein Endoskop und die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 als jeweilige Funktionsteile in einer Verarbeitungsreihe zusammenarbeiten, indem sie beispielsweise eine Kommunikation zwischen den Prozessen umsetzen.
28 ist ein erläuterndes Diagramm bezüglich einer Beziehung zwischen dem Endoskopbild und dem dreidimensionalen medizinischen Bild. In 28 ist eine Beziehung zwischen dem dreidimensionalen medizinischen Bild, dem virtuellen Endoskopbild und dem Endoskopbild in einer objektorientierten Weise dargestellt.
Wie oben beschrieben, werden das dreidimensionale medizinische Bild, das virtuelle Endoskopbild und das Endoskopbild, die in der Endoskopbild-Datenbank 631 registriert sind, miteinander auf der Basis der Blickpunkt-Position und der Blickpunkt-Richtung zum Zeitpunkt der Aufnahme des Endoskopbildes verknüpft. Die Blickpunkt-Position entspricht den Koordinaten (x, y, z) im Koordinatensystem (das Koordinatensystem im Körper) des dreidimensionalen medizinischen Bildes. Die Blickpunkt-Richtung entspricht den Rotationswinkeln (θx, θy und θz) in einer x-Achse, y-Achse und einer z-Achse im Koordinatensystem (das Koordinatensystem im Körper) des dreidimensionalen medizinischen Bildes.
Jedes Pixel des Endoskopbildes entspricht jedem Pixel des virtuellen Endoskopbildes (das virtuelle Endoskopbild, das am meisten mit dem Endoskopbild übereinstimmt). Das virtuelle Endoskopbild ist ein Bild, das erzeugt wird, indem eine Projektion durch Vektorumwandlung unter Verwendung eines Blickpunktvektors, der von der Blickpunkt-Richtung (Rotationswinkel) definiert wird, auf der Basis des dreidimensionalen medizinischen Bildes durchgeführt wird, mit der Blickpunkt-Position als Startpunkt, und die Koordinaten im Koordinatensystem (das Koordinatensystem im Körper) des dreidimensionalen medizinischen Bildes werden von einem Pixel des virtuellen Endoskopbildes bestimmt.
Da, wie oben beschrieben, jedes Pixel des virtuellen Endoskopbildes jedem Pixel des Endoskopbildes entspricht, kann das Pixel des Endoskopbildes, das heißt die Koordinaten einer im Endoskopbild enthaltenen intrakorporalen Stelle im Koordinatensystem (das Koordinatensystem im Körper) des dreidimensionalen medizinischen Bildes, auf der Basis des Pixels des virtuellen Endoskopbildes bestimmt werden. Das heißt, mit dem virtuellen Endoskopbild als Zwischenmedium ist es möglich, das Pixel (die intrakorporale Stelle) des Endoskopbildes mit den Koordinaten im Koordinatensystem (das Koordinatensystem im Körper) des dreidimensionalen medizinischen Bildes zu verknüpfen.
Eine Farbinformation und eine Schmalbandpixelinformation des Pixels des Endoskopbildes kann dem dreidimensionalen medizinischen Bild hinzugefügt werden, und das dreidimensionale medizinische Bild kann in der Endoskopbild-Datenbank 631 registriert werden. Wenn die Pixelinformation des Endoskopbildes, wie z. B. die Differenz oder die Farbinformation dem dreidimensionalen medizinischen Bild hinzugefügt wird, ist es wünschenswert, eine Luminanzkorrektur durch eine Bildaufnahmelichtquelle 1446 durchzuführen. Wie oben beschrieben, wird eine Distanz zwischen dem Pixel des Endoskopbildes und der Blickpunkt-Position (ein Punkt der Bildaufnahmelichtquelle 1446) im Koordinatensystem des dreidimensionalen medizinischen Bildes abgeleitet. Folglich kann die Helligkeit, die in der Pixelinformation des Endoskopbildes enthalten ist, auf der Basis eines Kehrwerts korrigiert werden, der durch Quadrieren der abgeleiteten Distanz erhalten wird. Wenn eine Vielzahl von Endoskopbildern vorhanden sind, die Pixel enthalten, die an den selben Koordinaten im Koordinatensystem des dreidimensionalen medizinischen Bildes positioniert sind, kann ein Endoskopbild mit der kürzesten Distanz priorisiert werden, und eine entsprechende Pixelinformation kann an dem dreidimensionalen medizinischen Bild angewandt werden, um einen gewichteten Durchschnitt durch Anlegen eines Gewichts gemäß der Distanz zu berechnen oder um einen einfachen Durchschnitt zu berechnen.
Bei der Aufnahme des dreidimensionalen medizinischen Bildes kann in einem Fall, in dem die Röntgen-CT-Vorrichtung oder die Kegelstrahl-CT-Vorrichtung verwendet wird, das dreidimensionale medizinische Bild beispielsweise ein Bild sein, dessen Zusammensetzung (Körperzusammensetzung) jedes Pixels des dreidimensionalen medizinischen Bildes auf der Basis einer effektiven Massenzahl (Effektive Z) durch Durchführen einer Dual-Energy-CT-(DECT)-Abtastung erhalten wird. Im Falle der Verwendung einer MRI-Vorrichtung kann das dreidimensionale medizinische Bild ferner ein Bild sein, dem eine Information über die Zusammensetzung (Körperzusammensetzung) jedes Pixels des dreidimensionalen medizinischen Bildes, wie z. B. Fett oder Milchsäure, zugefügt wird. Wie oben beschrieben, ist es durch Zufügen der effektiven Massenzahl (Effektive Z) und der Information über die Körperzusammensetzung, wie z. B. Fett oder Milchsäure, zu der Zusammensetzung jedes Pixels des dreidimensionalen medizinischen Bildes möglich, eine Diagnoseunterstützungsinformation für einen Arzt oder dergleichen vorzusehen, in der diese zugefügten Informationen und das Endoskopbild, das mit den Koordinaten verknüpft ist, die durch jedes Pixel des dreidimensionalen medizinischen Bildes spezifiziert sind, miteinander verknüpft sind.
Durch Konfigurieren der Endoskopbild-Datenbank 631 auf diese Weise und weiteres Zufügen der Pixelinformation des Endoskopbildes zu dem registrierten dreidimensionalen medizinischen Bild können verschiedene medizinische Daten, die aus der CT-Vorrichtung oder der MRI-Vorrichtung und der Endoskopvorrichtung 110 ausgegeben werden, integral verwaltet, gesucht und von verschiedenen Blickpunkten aus extrahiert werden, und das extrahierte dreidimensionale medizinische Bild, das Endoskopbild und dergleichen können miteinander verknüpft und einem Arzt oder dergleichen als Diagnoseunterstützungsinformation bereitgestellt werden.
29 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitungsprozedur zeigt, die von der Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 durchgeführt wird. Beispielsweise startet die Informationsverarbeitungsvorrichtung 6 die Verarbeitung des Flussdiagramms auf der Basis eines Inhalts, der durch die Eingabeeinheit 8 eingegeben wird, die mit der Informationsverarbeitungsvorrichtung 6 selbst verbunden ist.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 erfasst das Untersuchungsdatum, die Patienten-ID, das Endoskopbild und die Information über die Einführdistanz, die aus dem Prozessor 120 für ein Endoskop ausgegeben werden (Schritt 501). Das Endoskopbild, das von der Steuereinheit 62 aus dem Prozessor 120 für ein Endoskop erfasst wird, kann ein Standbild oder ein Bewegtbild sein. Zusätzlich zu dem Endoskopbild erfasst die Steuereinheit 62 die Information über die Einführdistanz des Endoskopbildes 140, die aus dem optischen Sensor oder dergleichen ausgegeben wird, und eine Attributinformation über den Patienten, wie z. B. das Untersuchungsdatum (ein Aufnahmedatum des Endoskopbilds) und die Patienten-ID.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 erfasst das dreidimensionale medizinische Bild, das aus einer anderen Untersuchungsvorrichtung, wie z. B. der CT-Vorrichtung oder der MRI-Vorrichtung ausgegeben wird (S502). Die Erfassung des dreidimensionalen medizinischen Bildes kann von der Informationsverarbeitungsvorrichtung 6 dadurch durchgeführt werden, indem sie kommunikativ mit einer weiteren Untersuchungsvorrichtung, wie z. B. der CT-Vorrichtung oder der MRI-Vorrichtung, verbunden ist. Alternativ dazu kann in einem Fall, in dem das dreidimensionale medizinische Bild, das aus einer weiteren Untersuchungsvorrichtung, wie z. B. der CT-Vorrichtung oder der MRI-Vorrichtung, ausgegeben wird, beispielsweise bereits in einem externen Server (nicht gezeigt) gespeichert wurde, die Informationsverarbeitungsvorrichtung 6 auf den externen Server zugreifen und das dreidimensionale medizinische Bild des Patienten auf der Basis der Patienten-ID erfassen, die aus dem Prozessor 120 für ein Endoskop ausgegeben wird. Alternativ dazu kann der Prozessor 120 für ein Endoskop kommunikativ mit einer weiteren Untersuchungsvorrichtung wie z. B der CT-Vorrichtung oder der MRI-Vorrichtung verbunden sein, und die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 kann das dreidimensionale medizinische Bild aus der CT-Vorrichtung, der MRI-Vorrichtung oder dergleichen über den Prozessor 120 für ein Endoskop erfassen.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 leitet die Blickpunkt-Position auf der Basis der Einführdistanz (S-Koordinate) ab (S503). Beispielsweise erfasst die Steuereinheit 62 die Information über die Einführdistanz (S-Koordinate) aus dem optischen Sensor oder dergleichen, der im Inneren des Einführteils 144 (flexibler Schlauch) des Endoskops 140 angeordnet ist, über den Prozessor 120 für ein Endoskop, und leitet die Koordinaten des distalen Spitzenabschnittes 1443 des Endoskops 140, der innerhalb der Innenwand des Verdauungsorgans oder dergleichen angeordnet ist, in das das Endoskop eingeführt ist, auf der Basis der erfassten Einführdistanz (S-Koordinate) und des dreidimensionalen medizinischen Bildes ab. Die Koordinaten sind Koordinaten im Koordinatensystem (das Koordinatensystem im Körper) des dreidimensionalen medizinischen Bildes, das mit einem vorbestimmten Punkt als Ursprung festgelegt ist.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 erzeugt eine Vielzahl von virtuellen Kandidaten-Endoskopbildern auf der Basis der Blickpunkt-Position (S504). Die Steuereinheit 62 erzeugt sequentiell die Vielzahl der virtuellen Kandidaten-Endoskopbilder durch Ändern der Blickpunkt-Richtung, d.h. der Rotationswinkel (θx, θy und θz) im Koordinatensystem des dreidimensionalen medizinischen Bildes um einen vorbestimmten Einheitsbetrag, mit der Blickpunkt-Position, die den Koordinaten des distalen Spitzenabschnittes 1443 des Endoskopbilds 140 entspricht, als Startpunkt. In einem Fall, in dem der vorbestimmte Einheitsbetrag 10° beträgt, kann die Steuereinheit 62 beispielsweise 36 Auflösungen in Bezug auf den Rotationswinkel jeder Achse haben, d.h. sie kann 36³ (46656) virtuelle Kandidaten-Endoskopbilder erzeugen.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 spezifiziert ein virtuelles Endoskopbild mit dem höchsten Übereinstimmungsgrad mit dem Endoskopbild unter der Vielzahl von erzeugten virtuellen Endoskopbildern (S505). Beispielsweise kann die Steuereinheit 62 den Übereinstimmungsgrad unter Verwendung eines Index messen, der das Schattenbild des Endoskopbildes und das Schattenbild des virtuellen Endoskopbildes korreliert. Die Steuereinheit 62 spezifiziert das virtuelle Endoskopbild mit dem höchsten Übereinstimmungsgrad und eine Blickpunkt-Richtung (Rotationswinkel) zum Zeitpunkt der Erzeugung des virtuellen Endoskopbildes.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 registriert in der Endoskopbild-Datenbank 631 das Untersuchungsdatum, die Patienten-ID, das Endoskopbild, die Einführdistanz (S-Koordinate), das dreidimensionale medizinische Bild, die Blickpunkt-Position, die Blickpunkt-Richtung und das virtuelle Endoskopbild mit dem höchsten Übereinstimmungsgrad in Verknüpfung miteinander (S506). Die Steuereinheit 62 registriert in der Endoskopbild-Datenbank 631 das Untersuchungsdatum, die Patienten-ID, das Endoskopbild und die Einführdistanz (S-Koordinate), die aus dem Prozessor 120 für ein Endoskop erfasst wurde, das dreidimensionale medizinische Bild, das aus der CT-Vorrichtung oder dergleichen erfasst wurde, die Blickpunkt-Position, das virtuelle Endoskopbild mit dem höchsten Übereinstimmungsgrad und die Blickpunkt-Richtung (Rotationswinkel) zum Zeitpunkt der Erzeugung des virtuellen Endoskopbildes in Verknüpfung miteinander. Durch Registrieren jedes Datenelements in der Endoskopbild-Datenbank 631 auf diese Weise können das virtuelle Endoskopbild und das Endoskopbild in Verknüpfung miteinander auf der Basis der Koordinaten im Koordinatensystem des virtuellen Endoskopbildes registriert werden.
(Sechstes Ausführungsbeispiel)
Eine Informationsverarbeitungsvorrichtung 6 eines sechsten Ausführungsbeispiels unterscheidet sich von der des fünften Ausführungsbeispiels dadurch, dass eine Blickpunkt-Position basierend auf einem Biegeverlauf korrigiert wird, der von einem Prozessor 120 für ein Endoskop erfasst wird. 30 ist ein Funktionsblockdiagramm, das Funktionsteile zeigt, die in einer Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 gemäß dem sechsten Ausführungsbeispiel enthalten sind.
Eine Steuereinheit 121 des Prozessors 120 für ein Endoskop erfasst eine Biegeverlaufsinformation eines Endoskops 140, das in den Körper eingeführt ist, und bestimmt einen Einführzustand des Endoskops 140 gemäß der erfassten Biegeverlaufsinformation. Die Steuereinheit 121 des Prozessors 120 für ein Endoskop kann die Biegeverlaufsinformation erfassen, indem beispielsweise eine Endoskopeinführform-Erfassungsvorrichtung (nicht gezeigt), die mit dem Prozessor 120 für ein Endoskop verbunden ist, verwendet wird. Wie in JP 2019-37643 A offenbart, kann die Endoskopeinführform-Erfassungsvorrichtung eine Vorrichtung sein, in der eine Vielzahl von Magnetspulen im Inneren eines Einführteils 144 des Endoskops 140 in vorbestimmten Abständen entlang einer Längsrichtung des Einführteils 144 angeordnet sind. Die Biegeverlaufsinformation gibt einen physikalischen Parameter oder eine Information über die Biegung, wie z. B. einen Biegewinkel und eine Biegerichtung, an.
Eine Erfassungseinheit 621 der Informationsverarbeitungsvorrichtung 6 erfasst ein Endoskopbild und dergleichen aus dem Prozessor 120 für ein Endoskop und erfasst ferner die Biegeverlaufsinformation, ähnlich dem fünften Ausführungsbeispiel. Die Erfassungseinheit 621 gibt die erfasste Biegeverlaufsinformation an eine Blickpunkt-Position-Ableitungseinheit 622 aus.
Die Blickpunkt-Position-Ableitungseinheit 622 korrigiert eine Einführdistanz (S-Koordinate) auf der Basis der erfassten Biegeverlaufsinformation und leitet die Blickpunkt-Position auf der Basis der korrigierten Einführdistanz (S-Koordinate) ab, ähnlich dem fünften Ausführungsbeispiel. Die Blickpunkt-Position-Ableitungseinheit 622 erfasst die Form des Einführteils 144 (beispielswiese gebogen nach recht um 30 Grad oder dergleichen) durch arithmetische Verarbeitung gemäß einem Biegewinkel und einer Biegerichtung. Die Steuereinheit 121 berechnet die S-Koordinate, die die Einführdistanz ist, auf der Basis der erfassten Form des Einführteils 144 neu. Danach führt jeder Funktionsteil, wie z. B. die Erzeugungseinheit 623 zum Erzeugen des virtuellen Endoskopbildes, eine Verarbeitung ähnlich dem fünften Ausführungsbeispiel durch, und eine Datenbank-Registriereinheit 625 registriert jedes Datenelement in einer Endoskopbild-Datenbank 631 ähnlich dem fünften Ausführungsbeispiel.
Die Blickpunkt-Position-Ableitungseinheit 622 der Informationsverarbeitungsvorrichtung 6 korrigiert die Blickpunkt-Position auf der Basis des Biegeverlaufs, der aus dem Prozessor 120 für ein Endoskop erfasst wird. Die vorliegende Erfindung ist aber nicht darauf beschränkt. Die Steuereinheit 121 des Prozessors 120 für ein Endoskop kann die Einführdistanz auf der Basis der erfassten Biegeverlaufsinformation korrigieren und die korrigierte Einführdistanz an die Informationsverarbeitungsvorrichtung 6 ausgeben. Die Erfassungseinheit 621 der Informationsverarbeitungsvorrichtung 6 kann die Blickpunkt-Position, die auf der Basis der Biegeverlaufsinformation von der Steuereinheit 121 des Prozessors 120 für ein Endoskop korrigiert wurde, erfassen und die nachfolgende Verarbeitung kann auf eine Weise ähnlich der im fünften Ausführungsbeispiel durchgeführt werden.
Eine Positionsinformation zum Verknüpfen des Endoskopbildes mit einem dreidimensionalen medizinischen Bild wird auf der Basis einer Information über den Biegeverlauf, einer Information über die Einführdistanz und der Länge eines Einführpfades des Endoskops 140 abgeleitet, das in dem dreidimensionalen medizinischen Bild spezifiziert ist. Eine Genauigkeit der Einführdistanz (S-Koordinate) kann verbessert werden, indem die Information über die Einführdistanz auf der Basis der Information über den Biegeverlauf korrigiert wird. Folglich ist es möglich, die Blickpunkt-Position (Koordinaten) und eine Blickpunkt-Richtung (Rotationswinkel) des Endoskops 140 in einem Koordinatensystem des dreidimensionalen medizinischen Bildes zum Zeitpunkt der Aufnahme des Endoskopbildes genau zu spezifizieren, um ein geeignetes virtuelles Endoskopbild effizient zu erzeugen und um die Genauigkeit bei der Verknüpfung des Endoskopbildes mit dem dreidimensionalen medizinischen Bild weiter zu verbessern.
Die Steuereinheit 121 des Prozessors 120 für ein Endoskop erfasst beispielsweise unter Verwendung einer Endoskopposition-Erfassungsvorrichtung (Kolonnavigation) eine dreidimensionale Information über die Einführform des Endoskops 140, die aus der Endoskopposition-Erfassungsvorrichtung ausgegeben wird. Dann kann die Steuereinheit 62 (die Blickpunkt-Position-Ableitungseinheit 622) der Informationsverarbeitungsvorrichtung 6 die Position (Blickpunkt-Position) des Endoskops 140 in dem Körper ableiten, indem sie die erfasste dreidimensionale Information über die Einführform des Endoskops 140 an dem dreidimensionalen medizinischen Bild anwendet. Die Positionsinformation zum Verknüpfen des Endoskopbildes mit dem dreidimensionalen medizinischen Bild wird auf der Basis der Information über die Form des Endoskops 140, der Information über den Biegeverlauf, der Information über die Einführdistanz und des dreidimensionalen medizinischen Bildes abgeleitet. Folglich können die Position (Blickpunkt-Position) und die Rotationswinkel (Blickpunkt-Richtung) des Endoskops 140 im Koordinatensystem des dreidimensionalen medizinischen Bildes zum Zeitpunkt der Aufnahme des Endoskopbildes auf der Basis der Form des Endoskops 140 spezifiziert werden, und die Genauigkeit bei der Verknüpfung des Endoskopbildes mit dem dreidimensionalen medizinischen Bild kann weiter verbessert werden.
31 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitungsprozedur zeigt, die von der Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 durchgeführt wird. Beispielsweise startet die Informationsverarbeitungsvorrichtung 6 die Verarbeitung des Flussdiagramms auf der Basis eines Inhalts, der durch die Eingabeeinheit 8 eingegeben wird, die mit der Informationsverarbeitungsvorrichtung 6 selbst verbunden ist.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 erfasst ein Untersuchungsdatum, eine Patienten-ID, das Endoskopbild und die Information über die Einführdistanz und den Biegeverlauf, der aus dem Prozessor 120 für ein Endoskop ausgegeben wird (S601). Ähnlich dem fünften Ausführungsbeispiel erfasst die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 das Endoskopbild oder dergleichen aus dem Prozessor 120 für ein Endoskop und erfasst ferner beispielsweise die Information über den Biegeverlauf, die von der Endoskopposition-Erfassungsvorrichtung erfasst wird, über den Prozessor 120 für ein Endoskop. Alternativ dazu kann die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 die Information über den Biegeverlauf aus der Endoskopposition-Erfassungsvorrichtung erfassen.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 erfasst das dreidimensionale medizinische Bild, das aus einer anderen Untersuchungsvorrichtung, wie z. B. einer CT-Vorrichtung oder einer MRI-Vorrichtung, ausgegeben wird (S602).
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 führt die Verarbeitung von S602 ähnlich der Verarbeitung von S502 des fünften Ausführungsbeispiels durch.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 korrigiert die Einführdistanz (S-Koordinate) auf der Basis des Biegeverlaufs, der aus dem Prozessor 120 für ein Endoskop ausgegeben wird, und leitet die Blickpunkt-Position ab (S603). Die Steuereinheit 62 leitet die Form des Einführteils 144 (beispielsweise gebogen nach rechts um 30 Grad oder dergleichen) durch arithmetische Verarbeitung gemäß dem Biegewinkel und der Biegerichtung ab, die in dem Biegeverlauf enthalten sind, und berechnet (korrigiert) die S-Koordinate, die die Einführdistanz ist, auf der Basis der abgeleiteten Form des Einführteils 144 neu. Die Steuereinheit 62 leitet die Blickpunkt-Position auf der Basis der korrigierten Einführdistanz (S-Koordinate) ähnlich dem fünften Ausführungsbeispiel ab.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 erzeugt eine Vielzahl von virtuellen Kandidaten-Endoskopbildern auf der Basis der Blickpunkt-Position (S604). Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 spezifiziert ein virtuelles Endoskopbild mit dem höchsten Übereinstimmungsgrad mit dem Endoskopbild unter der Vielzahl von erzeugten virtuellen Endoskopbildern (S605). Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 registriert in der Endoskopbild-Datenbank 631 das Untersuchungsdatum, die Patienten-ID, das Endoskopbild, die Einführdistanz (S-Koordinate), das dreidimensionale medizinische Bild, die Blickpunkt-Position, die Blickpunkt-Richtung und das virtuelle Endoskopbild mit dem höchsten Überstimmungsgrad in Verknüpfung miteinander (S606). Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 führt die Verarbeitung von S604, S605 und S606 ähnlich der Verarbeitung von S504, S505 und S506 des fünften Ausführungsbeispiels durch.
(Siebtes Ausführungsbeispiel)
Eine Informationsverarbeitungsvorrichtung 6 des sechsten Ausführungsbeispiels unterscheidet sich von der des fünften Ausführungsbeispiels dadurch, dass eine Vielzahl von Endoskopbildern, die von einem Endoskop aufgenommen werden, welches eine Vielzahl von Bildsensoren 1445 enthält, aus einem Prozessor 120 für ein Endoskop erfasst werden. 32 ist eine Perspektivansicht, die schematisch eine distale Spitze eines Einführteils 144 gemäß dem siebten Ausführungsbeispiel zeigt. 33 ist eine Vorderansicht, die schematisch die distale Spitze des Einführteils 144 gemäß dem siebten Ausführungsbeispiel zeigt. Die Vielzahl der Bildsensoren 1445 und eine Vielzahl von Bildaufnahmelichtquellen 1446 sind an einem distalen Spitzenabschnitt 1443 des Endoskops 140 vorgesehen und bilden eine Bildaufnahmeeinheit 1444.
Die Vielzahl von Bildsensoren 1445 umfasst Bildsensoren 1445 (vier Bildsensoren in den Zeichnungen), die in gleichen Abständen entlang einer Umfangsrichtung auf einer Außenumfangsfläche eines zylindrischen Körpers an einem distalen Spitzenabschnitt 1443 angeordnet sind, und einen Bildsensor 1445 (ein Bildsensor in den Zeichnungen), der auf einer Endfläche des zylindrischen Körpers an dem distalen Spitzenabschnitt 1443 vorgesehen ist. Der Bildsensor 1445, der auf der Endfläche des zylindrischen Körpers an dem distalen Spitzenabschnitt 1443 vorgesehen ist, nimmt ein Bild eines vorderen Bereichs in einer Einführrichtung des Endoskops 140 auf. Jeder der Vielzahl von Bildsensoren 1445, der auf der Außenumfangsfläche des zylindrischen Körpers an dem distalen Spitzenabschnitt 1443 vorgesehen ist, nimmt ein Bild eines seitlichen Bereichs in der Einführrichtung des Endoskops 140 auf. Das heißt, dass jeder der Vielzahl von Bildsensoren 1445, der auf der Außenumfangsfläche des zylindrischen Körpers an dem distalen Spitzenabschnitt 1443 vorgesehen ist, ein Bild einer intrakorporalen Stelle aufnehmen kann, die hinter einer intrakorporalen Stelle positioniert ist, deren Bild von dem Bildsensor 1445 aufgenommen wird, der auf der Endfläche des zylindrischen Körpers am distalen Spitzenabschnitt 1443 in Einführrichtung des Endoskops 140 vorgesehen ist.
Die Vielzahl von Bildaufnahmelichtquellen 1446 umfassen eine Bildaufnahmelichtquelle 1446 (vier Bildaufnahmelichtquellen in den Zeichnungen), die in gleichen Abständen entlang der Umfangsrichtung auf der Außenumfangsfläche des zylindrischen Körpers an dem distalen Spitzenabschnitt 1443 angeordnet sind, und eine Bildaufnahmelichtquelle 1446 (zwei Bildaufnahmelichtquellen in den Zeichnungen), die auf einer Endfläche des zylindrischen Körpers am distalen Spitzenabschnitt 1443 vorgesehen ist. Das heißt, da die Vielzahl von Bildaufnahmelichtquellen 1446 entsprechend dem Bildsensor 1445, der auf der Endfläche des zylindrischen Körpers an dem distalen Spitzenabschnitt 1443 vorgesehen ist, bzw. der Vielzahl von Bildsensoren 1445, die auf der Außenumfangsfläche des zylindrischen Körpers am distalen Spitzenabschnitt 1443 vorgesehen ist, vorgesehen sind, ist es möglich, eine ausreichende Lichtmenge bereitzustellen, wenn die Vielzahl von Bildsensoren 1445 ein Bild einer intrakorporalen Stelle aufnehmen.
Indem die Vielzahl von Bildsensoren 1445 auf diese Weise auf der Außenumfangsfläche des zylindrischen Körpers und der Endfläche des zylindrischen Körpers am distalen Spitzenabschnitt 1443 vorgesehen ist, ist es möglich, eine Vielzahl von Endoskopbildern zu erfassen, die in einer Vielzahl von verschiedenen Blickpunkt-Richtungen an einer einzigen Blickpunkt-Position gewonnen werden.
34 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitungsprozedur zeigt, die von einer Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 durchgeführt wird. Beispielsweise startet die Informationsverarbeitungsvorrichtung 6 die Verarbeitung des Flussdiagramms auf der Basis eines Inhalts, der durch die Eingabeeinheit 8 eingegeben wird, die mit der Informationsverarbeitungsvorrichtung 6 selbst verbunden ist.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 erfasst ein Untersuchungsdatum, eine Patienten-ID, die Vielzahl von Endoskopbildern und eine Information über eine Einführdistanz, die von dem Prozessor 120 für ein Endoskop ausgegeben wird (S701). Die Steuereinheit 62 erfasst das Untersuchungsdatum, die Patienten-ID, die Vielzahl von Endoskopbildern und die Information über die Einführdistanz wie im fünften Ausführungsbeispiel. Da die Vielzahl der Bildsensoren 1445 am distalen Spitzenabschnitt 1443 des Einführteils 144 im Endoskop 140 vorgesehen ist, gibt im vorliegenden Ausführungsbeispiel der Prozessor 120 für ein Endoskop die Vielzahl von Endoskopbildern aus, die in verschiedenen Blickpunkt-Richtungen an derselben Blickpunkt-Position (die Position des Endoskops 140 im Körper) gewonnen wird. Folglich erfasst die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 die Vielzahl von Endoskopbildern, die an derselben Blickpunkt-Position in verschiedenen Blickpunkt-Richtungen gewonnen wird, aus dem Prozessor 120 für ein Endoskop.
Durch Erfassen der Vielzahl von Endoskopbildern, die an derselben Blickpunkt-Position in verschiedenen Blickpunkt-Richtungen gewonnen wird, ist es möglich, ein Endoskopbild mit einer intrakorporalen Stelle aufzunehmen, die hinter dem distalen Spitzenabschnitt 1443 des Einführteils 144 in dem Endoskop 140 in der Einführrichtung des Einführteils 144 positioniert ist. Folglich kann die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 eine Vielzahl von Endoskopbildern erfassen, die jeweils intrakorporale Stellen einschließen, die auf der vorderen Seite oder der hinteren Seite in Einführrichtung des Einführteils 144 positioniert sind.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 erfasst ein dreidimensionales medizinisches Bild, das aus einer anderen Untersuchungsvorrichtung, wie z. B. eine CT-Vorrichtung oder eine MRI-Vorrichtung, ausgegeben wird (S702). Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 leitet die Blickpunkt-Position auf der Basis der Einführdistanz (S-Koordinate) ab (S703). Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 führt die Verarbeitung von S702 und S703 ähnlich der Verarbeitung von S502 und S503 des fünften Ausführungsbeispiels durch.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 erzeugt eine Vielzahl von virtuellen Kandidaten-Endoskopbildern auf der Basis der Blickpunkt-Position (S704). Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 spezifiziert ein virtuelles Endoskopbild mit dem höchsten Übereinstimmungsgrad mit jedem der Vielzahl von Endoskopbildern unter der Vielzahl von erzeugten virtuellen Endoskopbildern (S705). Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 führt die Verarbeitung von S704 und S705 ähnlich der Verarbeitung von S504 und S505 des fünften Ausführungsbeispiels durch. In dem vorliegenden Ausführungsbeispiel erfasst die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 eine Vielzahl von Endoskopbildern, die an derselben Blickpunkt-Position in verschiedenen Blickpunkt-Richtungen aus dem Prozessor 120 für ein Endoskop gewonnen wird. Folglich vergleicht die Steuereinheit 62 jedes der erfassten Vielzahl von Endoskopbildern mit einer Vielzahl von virtuellen Endoskopbildern, die durch Ändern der Blickpunkt-Richtung (Rotationswinkel) um einen vorbestimmten Winkel auf der Basis der Blickpunkt-Position erzeugt wird, und spezifiziert jedes virtuelle Endoskopbild, das am meisten mit jedem der Vielzahl von Endoskopbildern übereinstimmt (das den höchsten Übereinstimmungsgrad mit demselben hat), d.h. jedes virtuelle Endoskopbild mit dem kleinsten Differenzbetrag. Die Steuereinheit 62 spezifiziert das virtuelle Endoskopbild mit dem höchsten Übereinstimmungsgrad und eine Blickpunkt-Richtung (Rotationswinkel) zum Zeitpunkt der Erzeugung des virtuellen Endoskopbildes für jedes der Vielzahl von erfassten Endoskopbildern.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 registriert in der Endoskopbild-Datenbank 631 das Untersuchungsdatum, die Patienten-ID, die Vielzahl von Endoskopbildern, die Einführdistanz (S-Koordinate), das dreidimensionale medizinische Bild, die Blickpunkt-Position, die Blickpunkt-Richtung, die jedem der Vielzahl von Endoskopbildern entspricht, und die virtuellen Endoskopbilder in Verknüpfung miteinander (S706). Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 führt die Verarbeitung von S706 ähnlich der Verarbeitung von S506 des fünften Ausführungsbeispiels durch.
In dem vorliegenden Ausführungsbeispiel ist eine Vielzahl von Endoskopbildern, die an derselben Blickpunkt-Position in verschiedenen Blickpunkt-Richtungen gewonnen wird, in der Endoskopbild-Datenbank 631 registriert. Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 registriert in der Endoskopbild-Datenbank 631 jedes der Vielzahl von Endoskopbildern, jedes virtuelle Endoskopbild, das am meisten mit jedem Endoskopbild übereinstimmt, und jede Blickpunkt-Richtung, die verwendet wird, um das virtuelle Endoskopbild zu erzeugen, in Verknüpfung miteinander. Da die Endoskopbilder eine Vielzahl von Endoskopbildern enthalten, die von der Vielzahl von Bildsensoren 1445 aufgenommen wird, kann eine Vielzahl von Endoskopbildern, die unter verschiedenen Aufnahmewinkeln (Blickpunkt-Richtungen) und demselben Bildaufnahmepunkt (Blickpunkt-Position) gewonnen wird, erfasst werden. Da die Vielzahl von Endoskopbildern, die unter verschiedenen Bildaufnahmewinkeln (Blickpunkt-Richtung) gewonnen wird, und das dreidimensionale medizinische Bild in Verknüpfung miteinander auf der Basis desselben Bildaufnahmepunktes (Blickpunkt-Position) gespeichert werden, ist es möglich, die Gruppe von Bildern einer Bedienperson des Endoskops 140, wie z. B. einem Arzt, bereitzustellen und die Diagnose für den Arzt oder dergleichen effizienter zu unterstützen.
(Achtes Ausführungsbeispiel)
Eine Informationsverarbeitungsvorrichtung 6 des sechsten Ausführungsbeispiels verwendet verschiedene Daten, die in einer Endoskopbild-Datenbank 631 registriert sind, um einen Bildschirm (integrierter Bildanzeigeschirm 71) anzuzeigen, in dem ein Endoskopbild und ein dreidimensionales medizinisches Bild miteinander verknüpft sind, wodurch eine Diagnoseunterstützungsinformation einem Doktor oder dergleichen bereitgestellt wird. 35 ist eine erläuternde Ansicht, die einen Modus (Modus des dreidimensionalen medizinischen Bildes) des integrierten Bildanzeigeschirms 71 gemäß dem achten Ausführungsbeispiel zeigt. 36 ist eine erläuternde Ansicht, die einen Modus (Endoskopbild-Modus) des integrierten Bildanzeigeschirms 71 zeigt.
Eine Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 durchsucht die Endoskopbild-Datenbank 631, die in der Speichereinheit 63 gespeichert ist, erzeugt Bildschirmdaten zum Konfigurieren des Anzeigebildschirms (integrierter Bildanzeigeschirm 71), gibt die Bildschirmdaten an eine Anzeigeeinheit 7 aus und zeigt den Anzeigebildschirm (integrierter Bildanzeigeschirm 71) auf der Anzeigeeinheit 7 an.
Beim Anzeigen des integrierten Bildanzeigeschirms 71 zeigt die Informationsverarbeitungsvorrichtung 6 beispielsweise einen Endoskopbild-Auswahlbildschirm 70 an, wie in 35 gezeigt, und empfängt eine Information, die als Suchschlüssel dient, wie z. B. eine Patienten-ID, zum Durchsuchen der Endoskopbild-Datenbank 631. Auf dem Endoskopbild-Auswahlbildschirm 70 ist beispielsweise ein Eingabefeld zum Aufnehmen einer Patienten-ID und eines Datums der endoskopischen Untersuchung eines Patienten angeordnet. Die Informationsverarbeitungsvorrichtung 6 durchsucht die Endoskopbild-Datenbank 631 auf der Basis der Patienten-ID und dergleichen, die durch den Endoskopbild-Auswahlbildschirm 70 eingegeben wird, und zeigt den integrierten Bildanzeigeschirm 71 einschließlich Daten des Suchergebnisses auf der Anzeigeeinheit 7 an.
Der integrierte Bildanzeigeschirm 71 enthält beispielsweise einen Bereich zum Anzeigen eines bibliographischen Eintrags, wie der Patienten-ID, einen Bereich zum Anzeigen des dreidimensionalen medizinischen Bildes, einen Bereich zum Anzeigen des Endoskopbildes, einen Bereich zum Anzeigen eines virtuellen Endoskopbildes, einen Bereich zum Anzeigen einer Blickpunkt-Position, an der das Endoskopbild aufgenommen wird, oder dergleichen, und einen Bereich zum Anzeigen einer Information über die intrakorporale Stelle (Pixel), die in dem Endoskopbild ausgewählt ist.
Im Bereich zum Anzeigen des bibliographischen Eintrags, wie z. B. der Patienten-ID, werden der bibliographische Eintrag in der Datenverwaltung, wie die Patienten-ID, das Datum der endoskopischen Untersuchung, ein Datum der Erzeugung des dreidimensionalen medizinischen Bildes und dergleichen, die zum Durchsuchen der Endoskopbild-Datenbank 631 verwendet werden, angezeigt.
Im Bereich zum Anzeigen des dreidimensionalen medizinischen Bildes wird eine intrakorporale Stelle, wie z. B. ein Verdauungsorgan, das in dem dreidimensionalen medizinischen Bild erscheint, als dreidimensionales Objekt anzeigt, und das dreidimensionale Objekt kann gedreht werden, indem ein beliebiger Teil des dreidimensionalen Objekts gezogen wird. Das dreidimensionale medizinische Bild kann in einem Zustand angezeigt werden, in dem die Position einer Läsion, die in dem Endoskopbild spezifiziert ist, beispielsweise hervorgehoben ist.
Im Bereich zum Anzeigen des Endoskopbildes wird beispielweise ein Endoskopbild angezeigt, das einer mit der Maus oder dergleichen ausgewählten Position im dreidimensionalen medinischen Bild entspricht. Das heißt, die von der Maus oder dergleichen ausgewählte Position im dreidimensionalen medizinischen Bild entspricht Koordinaten im Koordinatensystem des dreidimensionalen medizinischen Bildes. Die Informationsverarbeitungsvorrichtung 6 durchsucht folglich die Endoskopbild-Datenbank 631 nach einem Endoskopbild, das an einer Blickpunkt-Position gewonnen wurde, die den Koordinaten entspricht, oder ein Endoskopbild, das die intrakorporale Stelle enthält, die den Koordinaten entspricht, und zeigt das Endoskopbild im Bereich zum Anzeigen des Endoskopbildes an. Wenn eine Vielzahl von Endoskopbildern in der Endoskopbild-Datenbank 631 auf der Basis der Koordinaten gesucht (extrahiert) wird, kann eines der Endoskopbilder auf der Basis des Vorhandenseins oder Nichtvorhandenseins einer Läsion, die in dem Endoskopbild enthalten ist, oder einer Merkmalsgröße ausgewählt und angezeigt werden, und weitere Endoskopbilder können als Thumbnails angezeigt werden. D.h. ein Thumbnail-Anzeigefeld 713 ist im Bereich zum Anzeigen des Endoskopbildes angeordnet und weitere Endoskopbilder werden als Thumbnails in dem Thumbnail-Anzeigefeld 713 angezeigt.
Im Bereich zum Anzeigen des virtuellen Endoskopbildes wird ein virtuelles Endoskopbild mit dem höchsten Übereinstimmungsgrad mit dem Endoskopbild, das im Bereich zum Anzeigen des Endoskopbildes angezeigt wird, angezeigt. Da, wie oben beschrieben, das Endoskopbild und das virtuelle Endoskopbild mit dem höchsten Überstimmungsgrad mit dem Endoskopbild in dem gleichen Datensatz gespeichert sind, ist es möglich, das virtuelle Endoskopbild unter Verwendung der Endoskopbild-Datenbank 631 wirksam zu extrahieren.
Die Position (Blickpunkt-Position) und die Blickpunkt-Richtung (Rotationswinkel) des Endoskops 140 im Körper zu dem Zeitpunkt, zu dem das Endoskopbild, das im Bereich zum Anzeigen des Endoskopbildes angezeigt wird, aufgenommen wird, werden im Bereich zum Anzeigen der Blickpunkt-Position, an der das Endoskopbild aufgenommen wird oder dergleichen, angezeigt. D.h. ein Blickpunkt-Position-Feld 711 und ein Blickpunkt-Richtung-Feld 712 sind im Bereich zum Anzeigen der Blickpunkt-Position, an der das Endoskopbild oder dergleichen aufgenommen wird, angeordnet, und die Blickpunkt-Position wird im Blickpunkt-Position-Feld 711 angezeigt, und die Blickpunkt-Richtung wird im Blickpunkt-Richtung-Feld 712 angezeigt.
Der Bereich zum Anzeigen der Blickpunkt-Position, an der das Endoskopbild aufgenommen wird oder dergleichen, kann als Eingabefeld (das Blickpunkt-Position-Feld 711 und das Blickpunkt-Richtung-Feld 712) dienen, in das eine beliebige Blickpunkt-Position und eine beliebige Blickpunkt-Richtung eingegeben werden. Die Endoskopbild-Datenbank 631 kann unter Verwendung der Blickpunkt-Position, die in das Blickpunkt-Position-Feld 711 eingegeben wird, und der Blickpunkt-Richtung, die in das Blickpunkt-Richtung-Feld 712 eingegeben wird, durchsucht werden, ein Endoskopbild, das der Blickpunkt-Position und der Blickpunkt-Richtung entspricht, kann extrahiert werden, und das Endoskopbild kann im Bereich zum Anzeigen des Endoskopbildes angezeigt werden.
Im Bereich zum Anzeigen der Information über die intrakorporale Stelle (Pixel), die in dem Endoskopbild ausgewählt ist, werden Koordinaten der intrakorporalen Stelle (Pixel), die von der Maus oder dergleichen in dem Endoskopbild ausgewählt wird, im dreidimensionalen medizinischen Bild und eine Distanz zwischen der intrakorporalen Stelle (Pixel) und einem distalen Spitzenabschnitt 1443 des Endoskops 140 angezeigt.
Das Endoskopbild und das virtuelle Endoskopbild mit dem höchsten Übereinstimmungsgrad mit dem Endoskopbild zeigen einen Bereich desselben intrakorporalen Körpers, und jedes Pixels des Endoskopbildes und jedes Pixel des virtuellen Endoskopbildes stimmen im Wesentlichen überein oder können im Koordinatensystem in beiden Bildern als gleich angesehen werden, und somit entsprechen jedes Pixel des Endoskopbildes und jedes Pixel des virtuellen Endoskopbildes einander. Da das virtuelle Endoskopbild dadurch erzeugt wird, dass das dreidimensionale medizinische Bild oder dergleichen projiziert wird, entspricht jedes Pixel des virtuellen Endoskopbildes den Koordinaten im dreidimensionalen medizinischen Bild. Folglich ist es möglich, die Koordinaten der intrakorporalen Stelle (Pixel) im Koordinatensystem des dreidimensionalen medizinischen Bildes auf der Basis der intrakorporalen Stelle (Pixel), die in dem gewählten Endoskopbild enthalten ist, zu spezifizieren. Da, wie oben beschrieben, die Blickpunkt-Position, die die Position des distalen Spitzenabschnitts 1443 des Endoskops 140 ist, bereits in der Datenbank-Registriereinheit 625 registriert ist, kann die Distanz zwischen dem distalen Spitzenabschnitt 1443 des Endoskops 140 und der intrakorporalen Stelle (Pixel), die in dem ausgewählten Endoskopbild enthalten ist, auf der Basis der Koordinaten der intrakorporalen Stelle (Pixel) im Koordinatensystem des dreidimensionalen medizinischen Bildes und der Blickpunkt-Position abgeleitet werden.
Im Bereich zum Anzeigen der Information über die intrakorporale Stelle (Pixel), die im Endoskopbild ausgewählt ist, kann eine effektive Massenzahl (Effektive Z) der intrakorporalen Stelle (Pixel), die in dem Endoskopbild ausgewählt ist, oder eine Information über eine Körperzusammensetzung, wie z. B. Fett oder Milchsäure, angezeigt werden. Da die effektive Massenzahl und dergleichen eine Attributinformation ist, die jedem Pixel des dreidimensionalen medizinischen Bildes zugefügt wird, kann das Pixel des dreidimensionalen medizinischen Bildes auf der Basis der Koordinaten im Koordinatensystem des dreidimensionalen medizinischen Bildes, das wie oben spezifiziert ist, spezifiziert werden, und die dem Pixel zugefügte effektive Massenzahl und dergleichen kann extrahiert und angezeigt werden.
In dem integrierten Bildanzeigeschirm 71 sind beispielsweise ein Anzeigemodus-Umschaltfeld 715 zum Umschalten eines Anzeigemodus und ein Anzeigeoptionsfeld 714 zum Einstellen einer Anzeigeoption in einem Eingabebereich angeordnet, der einen Eingabebereich zum Empfangen einer Eingabe bezüglich eines Anzeigemodus enthält.
Das Anzeigemodus-Umschaltfeld 715 enthält einen Radiobutton (Optionsfeld) oder dergleichen zum Umschalten zwischen einem Modus für ein dreidimensionales medizinisches Bild, in dem hauptsächlich das dreidimensionale medizinische Bild angezeigt wird, und einem Endoskopbild-Modus, in dem das Endoskopbild angezeigt wird. Der integrierte Bildanzeigeschirm 71 ist ausgebildet, um zwischen einer Vielzahl von Anzeigemodi, die den Modus für das dreidimensionale medizinische Bild (35), in dem hauptsächlich das dreidimensionale medizinische Bild angezeigt wird, und den Endoskopbild-Modus (36) einschließen, in dem hauptsächlich das Endoskopbild angezeigt wird, gemäß einem Eingabeinhalt in dem Anzeigemodus-Umschaltfeld 715 umzuschalten. Indem ermöglicht wird, dass auf diese Weise leicht auf ein Bild umgeschaltet werden kann, das hauptsächlich angezeigt wird, ist es möglich, einem Arzt oder dergleichen auf effiziente Weise eine Diagnoseunterstützungsinformation bereitzustellen.
Das Anzeigeoptionsfeld 714 enthält einen Radiobutton zum Umschalten zwischen einer Einstellung zum Anzeigen eines Bild mit einer spezifizierten Position als Blickpunkt-Position oder einer Einstellung zum Anzeigen eines Bildes, das eine intrakorporale Stelle an einer spezifizierten Position enthält. Gemäß dem Eingabeinhalt in dem Anzeigemodus-Umschaltfeld 715 wird eine Suchbedingung zum Suchen nach einem Endoskopbild, das im Bereich zum Anzeigen des Endoskopbildes angezeigt werden soll, eingestellt, und das Endoskopbild, das die Bedingung erfüllt, wird auf dem integrierten Bildanzeigeschirm 71 angezeigt. Da, wie oben beschrieben, die Blickpunkt-Position und die intrakorporale Stelle (Pixel), die in dem Endoskopbild enthalten ist, auf der Basis der Koordinaten im Koordinatensystem des dreidimensionalen medizinischen Bildes spezifiziert werden, kann die Informationsverarbeitungsvorrichtung 6 die Suchbedingung in dem Anzeigeoptionsfeld 714 einstellen und die Endoskopbild-Datenbank 631 durchsuchen.
Das Anzeigeoptionsfeld 714 kann eine Optionseinstellung enthalten, die durch einen Radiobutton oder dergleichen erfolgt, um das dreidimensionale medizinische Bild durchsichtig anzuzeigen. Wenn das dreidimensionale medizinische Bild beispielsweise als Volumendaten aus Schichtdaten konfiguriert ist, die aus einer CT-Vorrichtung, einer MRI-Vorrichtung oder dergleichen ausgegeben werden, kann das dreidimensionale medizinische Bild durchsichtig angezeigt werden, indem es in einem transparenten Modus erzeugt wird (durchsichtige Verarbeitung). Wenn die durchsichtige Anzeige als Anzeigeoption eingestellt ist, zeigt die Informationsverarbeitungsvorrichtung 6 das dreidimensionale medizinische Bild in durchsichtiger Verarbeitung an.
37 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitungsprozedur zeigt, die von der Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 durchgeführt wird. Die Informationsverarbeitungsvorrichtung 6 startet die Verarbeitung des Flussdiagramms beispielsweise auf der Basis eines Inhalts, der durch die Eingabeeinheit 8 eingegeben wird, die mit der Informationsverarbeitungsvorrichtung 6 selbst verbunden ist.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 empfängt die Patienten-ID (S801). Die Steuereinheit 62 erfasst die Patienten-ID durch Empfangen der Patienten-ID, die von einem Arzt oder dergleichen auf dem Endoskopbild-Auswahlbildschirm eingegeben wird. In einem Fall, in dem ein Eingabefeld vorhanden ist, in dem das Datum der endoskopischen Untersuchung auf dem Endoskopbild-Auswahlbildschirm ausgewählt wird, kann die Steuereinheit 62 eine Information über das ausgewählte Datum der endoskopischen Untersuchung empfangen und eine Information über das Datum, wie z. B. einen Zeitraum, erfassen.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 sucht nach dem dreidimensionalen medizinischen Bild auf der Basis der erfassten Patienten-ID und erfasst dasselbe (S802). Die Steuereinheit 62 durchsucht die Endoskopbild-Datenbank 631 unter Verwendung der erfassten Patienten-ID als Suchschlüssel und extrahiert und erfasst das dreidimensionale medizinische Bild, das der Patienten-ID entspricht.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 zeigt das erfasste dreidimensionale medizinische Bild an (S803). Die Steuereinheit 62 zeigt das erfasste dreidimensionale medizinische Bild auf dem integrierten Bildanzeigeschirm 71 an.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 empfängt eine Positionsinformation im dreidimensionalen medizinischen Bild (S804). Die Steuereinheit 62 empfängt die Positionsinformation im dreidimensionalen medizinischen Bild, die durch einen Mausklick ausgewählt wird, der von einem Arzt oder dergleichen beispielsweise an dem integrierten Bildanzeigeschirm 71 ausgeführt wird.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 leitet Koordinaten im dreidimensionalen medizinischen Bild auf der Basis der empfangenen Positionsinformation im dreidimensionalen medizinischen Bild ab (S805).
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 sucht nach dem anzuzeigenden Endoskopbild auf der Basis der abgeleiteten Koordinaten und erfasst dasselbe (S806). Die Steuereinheit 62 durchsucht die Endoskopbild-Datenbank 631 unter Verwendung der abgeleiteten Koordinaten als Blickpunkt-Position und unter Verwendung der Blickpunkt-Position als Suchschlüssel, und extrahiert und erfasst das entsprechende Endoskopbild. Beim Suchen nach dem Endoskopbild unter Verwendung der Blickpunkt-Position als Suchschlüssel kann die Steuereinheit 62 einen vorbestimmten Bereich durchsuchen, der die Koordinaten (abgeleiteten Koordinaten) der Blickpunkt-Position enthält. Durch Durchsuchen des vorbestimmten Bereichs, der die Koordinaten (abgeleiteten Koordinaten) der Blickpunkt-Position enthält, ist es möglich, nach den Endoskopbildern zu suchen, die dem anhand der Koordinaten vorbestimmten Bereich entsprechen, und es ist somit möglich, effizient nach einer oder mehr Endoskopbildgruppen zu suchen, die in der Nähe der ausgewählten Position im dreidimensionalen medizinischen Bild aufgenommen wurden. Die Steuereinheit 62 zeigt das extrahierte Endoskopbild auf dem integrierten Bildanzeigeschirm 71 an. In einem Fall, in dem eine Vielzahl von Endoskopbildern extrahiert wird, kann die Steuereinheit 62 in maximaler Größe oder an vorderster Stelle ein Endoskopbild mit einer hohen Priorität, die auf der Basis des Vorhandensein oder Nichtvorhandensein einer Läsion oder dergleichen bestimmt wurde, unter der Vielzahl von extrahierten Endoskopbildern anzeigen, und andere Endoskopbilder in minimaler Größe oder an hinterster Stelle anzeigen.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 zeigt eine Information über das angezeigte Endoskopbild an (S807). Die Steuereinheit 62 zeigt beispielsweise ein virtuelles Endoskopbild an, das mit dem Endoskopbild am meisten übereinstimmt, oder eine Information über eine intrakorporale Stelle (Pixel), die in dem angezeigten Endoskopbild ausgewählt ist, als Information über das angezeigte Endoskopbild an. Die Information über die intrakorporale Stelle (Pixel), die in dem Endoskopbild ausgewählt ist, kann beispielsweise Koordinaten der intrakorporalen Stelle (Pixel) im dreidimensionalen medizinischen Bild und eine Distanz von dem distalen Spitzenabschnitt 1443 des Endoskopbilds 140 zur intrakorporalen Stelle (Pixel) umfassen. Die Information über die intrakorporale Stelle (Pixel), die in dem Endoskopbild ausgewählt ist, kann eine Information über die effektive Massenzahl (Effektive Z) oder eine Körperzusammensetzung einschließen, die eine Information ist, die jedem Pixel (intrakorporale Stelle) des dreidimensionalen medizinischen Bildes zugefügt ist.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 empfängt die Anzeigeoption, die auf dem integrierten Bildanzeigeschirm 71 ausgewählt wird, und führt die Anzeige in einer Anzeigeform durch, die einem Inhalt der Anzeigeoption entspricht (S808). Wie oben beschrieben, ist das Eingabefeld zum Empfangen der Auswahl der Anzeigeoption auf dem integrierten Bildanzeigeschirm 71 angeordnet, und der Anzeigemodus des integrierten Bildanzeigeschirms 71 wird gemäß einem Inhalt der eingegebenen Anzeigeoption geändert.
Gemäß dem vorliegenden Ausführungsbeispiel werden das Endoskopbild, das dreidimensionale medizinische Bild und das virtuelle Endoskopbild, die in der Endoskopbild-Datenbank 631 in Verknüpfung miteinander registriert sind, auf dem integrierten Bildanzeigeschirm 71 aufgeführt und angezeigt, wodurch eine Diagnoseunterstützungsinformation, die durch Integrieren einer Gruppe von medizinischen Daten bezüglich des Patienten erhalten wird, einem Arzt oder dergleichen bereitgestellt werden kann.
In dem vorliegenden Ausführungsbeispiel zeigt die Informationsverarbeitungsvorrichtung 6 den integrierten Bildanzeigeschirm 71 auf der Anzeigeeinheit 7 an, aber die vorliegende Erfindung ist nicht darauf beschränkt. Die Informationsverarbeitungsvorrichtung 6 kann den integrierten Bildanzeigeschirm 71 auf einer Anzeigevorrichtung 50 einer Endoskopvorrichtung 110 über einen Prozessor 120 für ein Endoskop anzeigen. Alternativ dazu kann eine Verarbeitungsreihe oder ein Vorgang als Funktionsteil bezüglich der Anzeige des integrierten Bildanzeigeschirms 71 oder dergleichen von dem Prozessor 120 für ein Endoskop wie im fünften Ausführungsbeispiel ausgeführt werden. Alternativ dazu können ähnlich wie im fünften Ausführungsbeispiel die Informationsverarbeitungsvorrichtung 6 und der Prozessor 120 für ein Endoskop eine Verarbeitungsreihe bezüglich der Anzeige des integrierten Bildanzeigeschirms 71 oder dergleichen in Zusammenarbeit durchführen, oder können als Funktionsteil bezüglich der Anzeige des integrierten Bildanzeigeschirms 71 oder dergleichen in Zusammenarbeit betrieben werden.
(Neuntes Ausführungsbeispiel)
Eine Informationsverarbeitungsvorrichtung 6 gemäß einem neunten Ausführungsbeispiel verwendet verschiedene Daten, die in einer Endoskopbild-Datenbank 631 registriert sind, um eine Diagnoseunterstützungsinformation wie das Vorhandensein oder Nichtvorhandensein einer Läsion bezüglich einer intrakorporalen Stelle, die in einem Endoskopbild enthalten ist, das in der Endoskopbild-Datenbank 631 registriert ist, auszugeben.
38 ist ein erläuterndes Diagramm zum Beschreiben einer Verarbeitung des Ausgebens der Diagnoseunterstützungsinformation unter Verwendung eines Lernmodells 9 gemäß dem neunten Ausführungsbeispiel. Die Informationsverarbeitungsvorrichtung 6 konstruiert (erzeugt) ein neuronales Netz, das das Endoskopbild empfängt und die Diagnoseunterstützungsinformation ausgibt, die das Vorhandensein oder Nichtvorhandensein einer Läsion und dergleichen enthält, durch Trainieren des neuronalen Netzes auf der Basis von Trainingsdaten, in denen das Endoskopbild Problemdaten und die Diagnoseunterstützungsinformation, die das Vorhandensein oder Nichtvorhandensein einer Läsion, die Art eines Symptoms der Läsion, das Stadium des Symptoms der Läsion, den Ort der Läsion und/oder dergleichen enthalten, Antwortdaten sind. Das Endoskopbild enthält beispielsweise eine intrakorporale Stelle mit Verdacht auf eine Läsion. Das Vorhandensein oder Nichtvorhandensein einer Läsion, die Art des Symptoms, das Stadium des Symptoms und der Ort der Läsion sind Informationen über das Vorhandensein oder Nichtvorhandensein oder den Wahrscheinlichkeitswert einer Läsion bezüglich der intrakorporalen Stelle, die in dem Endoskopbild enthalten ist, die Art des Symptoms, das Stadium des Symptoms und den Ort der Läsion.
Das in das Lernmodell 9 eingegebene Endoskopbild kann ein Endoskopbild sein, dessen Merkmalsparameter auf der Basis der Distanzbildinformation korrigiert wurde, die aus einem virtuellen Endoskopbild, das dem Endoskopbild entspricht (ein virtuelles Endoskopbild, das mit dem Endoskopbild am meisten übereinstimmt) abgeleitet wurde. Die Korrektur des Merkmalsparameters basierend auf der Distanzbildinformation wird später beschrieben.
Das neuronale Netz (Lernmodell 9), das unter Verwendung der Trainingsdaten trainiert wird, wird als Programmmodul verwendet, das Teil einer Künstliche-Intelligenz-Software ist. Das Lernmodell 9 wird in der Informationsverarbeitungsvorrichtung 6 verwendet, die eine Steuereinheit 62 (eine ZPU oder dergleichen) und eine Speichereinheit 63, wie oben beschrieben, enthält, und wird von der Informationsverarbeitungsvorrichtung 6 mit arithmetischer Verarbeitungsfähigkeit ausgeführt, wodurch ein neuronales Netzwerksystem gebildet wird. Das heißt die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 wird betrieben, um einen arithmetischen Vorgang des Extrahierens der Merkmalsgröße des Endoskopbildes durchzuführen, das in eine Eingabeschicht gemäß einem Befehl aus dem Lernmodell 9 eingegeben wird, das in der Speichereinheit 63 gespeichert ist, und gibt die Diagnoseunterstützungsinformation, die das Vorhandensein oder Nichtvorhandensein einer Läsion einschließt, aus einer Ausgabeschicht aus.
Die Eingabeschicht hat eine Vielzahl von Neuronen, die einen Pixelwert des Endoskopbildes empfängt, und übertragt den Eingabepixelwert und die Distanzinformation an eine Zwischenschicht. Die Zwischenschicht hat eine Vielzahl von Neuronen, die die Bildmerkmalsgröße des Endoskopbildes extrahiert, und überträgt die extrahierten Bildmerkmalsgrößen an die Ausgabeschicht. Die Ausgabeschicht hat ein oder mehr Neuronen, die eine Information über das Vorhandensein oder Nichtvorhandensein einer Läsion und das Stadium eines Symptoms ausgeben, und gibt die Information über das Vorhandensein oder Nichtvorhandensein einer Läsion und das Stadium eines Symptoms auf der Basis der Bildmerkmalsgröße aus, die aus der Zwischenschicht ausgegeben wird. In einem Fall, in dem das Lernmodell 9 ein konvolutionales neuronales Netzwerk (CNN) ist, hat die Zwischenschicht eine Konfiguration, bei der eine konvolutionale Schicht, die den Pixelwert jedes Pixels faltet, das aus der Eingabeschicht eingegeben wird, und eine Pooling-Schicht, die den von der konvolutionalen Schicht gefalteten Pixelwert abbildet (komprimiert), abwechselnd verbunden sind, und extrahiert schließlich die Merkmalsgröße des Endoskopbildes, während die Pixelinformation des Endoskopbildes komprimiert wird. Die Ausgabeschicht hat ein oder mehr Neuronen, die eine Information über das Vorhandensein oder Nichtvorhandensein einer Läsion bezüglich der intrakorporalen Stelle, die in dem Endoskopbild enthalten ist, ausgeben, und gibt eine Information über das Vorhandensein oder Nichtvorhandensein einer Läsion oder dergleichen auf der Basis der Bildmerkmalsgröße und dergleichen aus, die aus der Zwischenschicht ausgegeben wird. Die ausgegebene Information über das Vorhandensein oder Nichtvorhandensein einer Läsion oder dergleichen ist eine Information, die von einem Arzt oder dergleichen, der das Endoskop bedient, als Diagnoseunterstützungsinformation verwendet wird.
In dem vorliegendem Ausführungsbeispiel werden in das Lernmodell 9 eingegebene Daten als Endoskopbild beschrieben, aber die vorliegende Erfindung ist nicht darauf beschränkt. In das Lernmodell 9 eingegebene Daten können ein aufgenommenes Bild (Rohbild) sein, das von einem Bildsensor 1445 des Endoskops 140 aufgenommen wird. D.h. das Lernmodell 9 kann die Information über das Vorhandensein oder Nichtvorhandensein einer Läsion oder dergleichen durch Empfangen des aufgenommenen Bildes ausgegeben.
In dem vorliegenden Ausführungsbeispiel ist ein Fall, in dem das Lernmodell 9 ein neuronales Netzwerk (NN), wie z. B. ein CNN ist, beschrieben, aber das Lernmodell 9 ist nicht auf das NN beschränkt und kann ein Lernmodell 9 sein, das von einem anderen Lernalgorithmus, wie z. B. einer Support Vector Machine (SVM), einem Bayesschen Netz oder einem Regressionsbaum, konstruiert wird. Alternativ dazu kann statt des CNN das Lernmodell 9 ein Lernmodell sein, das unter Verwendung eines beliebigen Objekterkennungsalgorithmus, wie z. B. RCNN, Fast RCNN, Faster RCNN, Single Shot Multibox Detektor (SSD) oder You Only Look Once (YOLO), erzeugt wird.
Die Informationsverarbeitungsvorrichtung 6 vergleicht den aus der Ausgabeschicht ausgegebenen Wert mit einer Information (dem Vorhandensein oder Nichtvorhandensein einer Läsion und dem Stadium eines Symptoms), die für die Problemdaten (Endoskopbild) gekennzeichnet ist, d.h. einem korrekten Antwortwert (Antwortdaten), und optimiert einen Parameter, der zur arithmetischen Verarbeitung in der Zwischenschicht verwendet wird, sodass sich der Ausgabewert aus der Ausgabeschicht dem korrekten Antwortwert annähert. Der Parameter ist beispielsweise ein Gewicht (Kopplungskoeffizient) zwischen Neuronen, ein Koeffizient einer Aktivierungsfunktion, die in jedem Neuron verwendet wird, oder dergleichen. Das Parameteroptimierungsverfahren ist nicht speziell beschränkt, aber die Informationsverarbeitungsvorrichtung 6 optimiert beispielsweise verschiedene Parameter durch eine Backpropagation. Die Informationsverarbeitungsvorrichtung 6 führt die oben beschriebene Verarbeitung an dem in den Trainingsdaten enthaltenen Endoskopbild durch, erzeugt das Lernmodell 9 und speichert das erzeugte Lernmodell 9 in der Speichereinheit 63.
Das Endoskopbild (Problemdaten), das als Trainingsdaten verwendet wird, und die Information (Antwortdaten) über das Vorhandensein oder Nichtvorhandensein einer Läsion oder dergleichen, das mit dieser Information korreliert ist, werden in einer großen Menge als Ergebnisdaten der endoskopischen Untersuchung gespeichert, die in jedem medizinischen Institut durchgeführt wird, und es ist möglich, eine große Menge an Trainingsdaten zum Trainieren des Lernmodells 9 unter Verwendung der Ergebnisdaten zu erzeugen.
39 ist ein Funktionsblockdiagramm, das Funktionsteile zeigt, die in der Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 enthalten sind. Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 führt ein Programm P aus, das in der Speichereinheit 63 gespeichert ist, um als Erfassungseinheit 621, Distanzbildinformation-Ableitungseinheit 626, Merkmalsparameter-Ableitungseinheit 627, Merkmalsparameter-Korrektureinheit 628 und Ausgabeeinheit 629 zu fungieren.
Die Steuereinheit 62 führt das in der Speichereinheit 63 gespeicherte Programm P aus oder liest eine das Lernmodell 9 bildende Entity-Datei aus, um als Lernmodell 9 zu fungieren.
Die Erfassungseinheit 621 empfängt eine Patienten-ID und ein Untersuchungsdatum, die über einen Endoskopbild-Auswahlschirm 70 oder dergleichen eingegeben werden, und erfasst die Patienten-ID und dergleichen. Die Erfassungseinheit 621 durchsucht die Endoskopbild-Datenbank 631 unter Verwendung der erfassten Patienten-ID oder der Patienten-ID und dem Untersuchungsdatum als Suchschlüssel, und erfasst eine Vielzahl von Datensätzen, die das Endoskopbild und das virtuelle Endoskopbild, das am meisten mit dem Endoskopbild übereinstimmt, enthalten.
Die Erfassungseinheit 621 gibt das virtuelle Endoskopbild an die Distanzbildinformation-Ableitungseinheit 626 aus. Die Distanzbildinformation-Ableitungseinheit 626 leitet die Distanzbildinformation auf der Basis des erfassten virtuellen Endoskopbildes ab. Die Distanzbildinformation ist eine Information über eine Distanz zwischen Pixeln in dem virtuellen Endoskopbild. Die Distanz zwischen den Pixeln steht für eine Distanz in einem Koordinatensystem (ein Koordinatensystem im Körper) eines dreidimensionalen medizinischen Bildes, und ist beispielsweise eine Distanz, die eine Tiefe an zwei intrakorporalen Stellen berücksichtigt, die in dem virtuellen Endoskopbild enthalten sind. Das virtuelle Endoskopbild ist ein Bild, das durch Projizieren des dreidimensionalen medizinischen Bildes und Umwandeln des dreidimensionalen medizinischen Bildes in ein zweidimensionales Bild erhalten wird, wobei ein beliebiger Punkt in dem virtuellen Endoskopbild einem Punkt in dem dreidimensionalen medizinischen Bild entspricht, und diese Punkte dieselbe Position an der intrakorporalen Stelle angeben. Der beliebige Punkt in dem virtuellen Endoskopbild kann eine Pixelanzahl (Pixelkoordinaten) sein, die eine minimale Einheit in dem Bild ist, oder kann beispielsweise ein zentraler Abschnitt eines lokalen Bereichs sein, (ein Bereich, der eine Vielzahl von Pixeln enthält), der eine vorbestimmte intrakorporale Stelle spezifiziert. Durch Bestimmen zweier beliebiger Punkte auf diese Weise kann eine Distanz zwischen den beiden Punkten im Koordinatensystem des dreidimensionalen medizinischen Bildes abgeleitet werden. D.h. die Distanz in der Distanzbildinformation entspricht der Distanz zwischen zwei Punkten im Koordinatensystem des dreidimensionalen medizinischen Bildes, die zwei Punkten in dem virtuellen Endoskopbild entsprechen.
Zwei Punkte in dem dreidimensionalen medizinischen Bild werden anhand von zwei Punkten in dem virtuellen Endoskopbild spezifiziert. Die Distanz zwischen zwei Punkten und Vektoren von zwei Punkten können auf der Basis der Koordinatenwerte der spezifizierten zwei Punkte in dem dreidimensionalen medizinischen Bild abgeleitet werden. Durch Anwenden der abgeleiteten Distanz zwischen zwei Punkten und der abgeleiteten Vektoren von zwei Punkten in dem dreidimensionalen medizinischen Bild an dem virtuellen Endoskopbild als die Distanz zwischen zwei Punkten und Vektoren von zwei Punkten des virtuellen Endoskopbildes, die den beiden Punkten entsprechen, ist es möglich, ein Distanzbild zu erzeugen, d.h. ein virtuelles Endoskopbild (Distanzbild), dem eine Distanzinformation im Koordinatensystem des dreidimensionalen medizinischen Bildes zugefügt ist. Die Distanzbildinformation-Ableitungseinheit 626 kann das virtuelle Endoskopbild (Distanzbild), dem die Information über die Distanz zwischen den entsprechenden Pixeln zugefügt ist, als die Distanzbildinformation ausgeben.
Das Endoskopbild entspricht dem virtuellen Endoskopbild, das aus dem dreidimensionalen medizinischen Bild auf der Basis einer Position (Blickpunkt-Position) und einer Bildaufnahmerichtung (Blickpunkt-Richtung) des Endoskops 140, das das Endoskopbild aufgenommen hat, konstruiert wird. Folglich kann die Distanzbildinformation basierend auf dem virtuellen Endoskopbild, das dem Endoskopbild entspricht, auch an dem Endoskopbild angewandt werden. D.h. eine Distanz zwischen zwei Punkten in dem Endoskopbild entspricht der Distanz (der Distanz im Distanzbild und der Distanz im Koordinatensystem des dreidimensionalen medizinischen Bildes) zwischen zwei Punkten im virtuellen Endoskopbild, das dem Endoskopbild entspricht. Durch Anwenden der Distanzbildinformation, die in dem Distanzbild enthalten ist, an dem Endoskopbild kann die Distanzinformation, wie z. B. eine Distanz zwischen intrakorporalen Stellen, die in dem Endoskopbild enthalten sind, und die Größe der intrakorporalen Stelle bestimmt werden.
Die Erfassungseinheit 621 gibt das Endoskopbild an die Merkmalsparameter-Ableitungseinheit 627 aus. Die Merkmalsparameter-Ableitungseinheit 627 leitet einen Bereich einer vorbestimmten intrakorporalen Stelle, die in dem Endoskopbild enthalten ist, als Merkmalsparameter ab. Die Merkmalsparameter-Ableitungseinheit 627 kann beispielsweise einen Bereich einer vorbestimmten intrakorporalen Stelle, die in dem Endoskopbild enthalten ist, als Merkmalsparameter ableiten, indem eine Mustererkennung, eine Kantenerfassung oder dergleichen verwendet wird. Alternativ dazu kann die Merkmalsparameter-Ableitungseinheit 627 als Merkmalsparameter einen Bereich einer vorbestimmten intrakorporalen Stelle, die in dem Endoskopbild enthalten ist, ableiten, indem ein lokales Verfahren zur Extraktion eines Merkmalsparameters, wie z. B. der beschleunigte KAZE (A-KAZE) oder eine skaleninvariante Merkmalstransformation (scale-invariant feature transform) (SIFT), auf der Basis einer Änderung des Farbtons oder von Falten der intrakorporalen Stelle im Endoskopbild verwendet wird.
Die Merkmalsparameter-Korrektureinheit 628 erfasst die Distanzbildinformation, die aus der Distanzbildinformation-Ableitungseinheit 626 ausgegeben wird, den Merkmalsparameter, der aus der Merkmalsparameter-Ableitungseinheit 627 ausgegeben wird, und das Endoskopbild, das aus der Erfassungseinheit 621 ausgegeben wird. Die Merkmalsparameter-Korrektureinheit 628 erzeugt ein Endoskopbild, dessen Merkmalsparameter durch die Distanzbildinformation auf der Basis der erfassten Distanzbildinformation, des Merkmalsparameters und des Endoskopbildes korrigiert wurde, und gibt das Endoskopbild an das Lernmodell 9 aus.
Bei der Korrektur, die von der Merkmalsparameter-Korrektureinheit 628 durchgeführt wird, wird beispielsweise die Fläche des Bereichs der vorbestimmten intrakorporalen Stelle, die als Merkmalsparameter spezifiziert ist, korrigiert (Flächenkorrekturverarbeitung). Beim Durchführen der Flächenkorrekturverarbeitung erfasst die Merkmalsparameter-Korrektureinheit 628 eine Distanz R (beispielsweise r1 oder r2) zu jedem Bildbereich des entsprechenden Endoskopbildes auf der Basis der Distanzbildinformation, die aus dem virtuellen Endoskopbild erhalten wird. Die Merkmalsparameter-Korrektureinheit 628 vergleicht die erfasste Distanz zu jedem Bildbereich mit einer Referenzdistanz (beispielsweise 20 mm). Die Steuereinheit 121 führt eine Korrektur mit einem umgekehrten Quadratverhältnis (R/20)² in Bezug auf die Distanz R zu jedem Bereich durch. In einem Fall, in dem bestimmt wird, dass die Distanz zum Bildbereich des Endoskopbildes gleich oder größer als die Referenzdistanz ist (die Distanz zum Pixel ist lang), führt die Merkmalsparameter-Korrektureinheit 628 eine Vergrößerungsverarbeitung an dem Bildbereich durch Korrigieren der Anzahl an Pixeln durch, die den Bildbereich bilden, mit dem umgekehrten Quadratverhältnis (R/20)² in Bezug auf die Distanz R zu jedem Bereich. In einem Fall, in dem bestimmt wird, dass die Distanz zum Bildbereich des Endoskopbildes geringer als die Referenzdistanz ist (die Distanz zum Pixel ist kurz), führt die Merkmalsparameter-Korrektureinheit 628 eine Kontraktionsverarbeitung an dem Bildbereich durch Korrigieren und Reduzieren der Anzahl an Pixeln durch, die den Bildbereich bilden, durch das umgekehrte Quadratverhältnis (R/20)² in Bezug auf die Distanz R zu jedem Bereich. Zusätzlich wird in einem Fall, in dem eine Differenz der Distanz zwischen den jeweiligen Pixeln in jedem Bildbereich vorhanden ist, eine Korrektur durchgeführt, unter der Annahme, dass jeder Bildbereich an der Referenzdistanz platziert ist. Alternativ dazu kann die Merkmalsparameter-Korrektureinheit 628 die Flächenkorrekturverarbeitung unter Verwendung einer Nächster-Nachbar-Interpolation, einer bilinearen Interpolation, einer bikubischen Interpolation, einer Lanczos-Interpolation oder dergleichen durchführen. Die Merkmalsparameter-Korrektureinheit 628 führt die Flächenkorrekturverarbeitung an dem Endoskopbild unter Verwendung dieser verschiedenen Verfahren durch und gibt das korrigierte Endoskopbild an das Lernmodell 9 aus.
Das Lernmodell 9 erfasst das korrigierte Endoskopbild und gibt eine Diagnoseunterstützungsinformation, die das Vorhandensein oder Nichtvorhandensein einer Läsion an der intrakorporalen Stelle, die in dem Endoskopbild enthalten ist, enthält, an die Ausgabeeinheit 629 aus. Die Ausgabeeinheit 629 erfasst die Diagnoseunterstützungsinformation, die das Vorhandensein oder Nichtvorhandensein einer Läsion und dergleichen enthält, aus dem Lernmodell 9 und erfasst das Endoskopbild, die Patienten-ID und dergleichen aus der Merkmalsparameter-Korrektureinheit 628 oder der Erfassungseinheit 621. Die Ausgabeeinheit 629 kann das Endoskopbild, dessen Merkmalsparameter korrigiert wurde, aus der Merkmalsparameter-Korrektureinheit 628 erfassen. Die Ausgabeeinheit 629 kann die Endoskopbild-Datenbank 631 auf der Basis des Endoskopbildes durchsuchen und relevante Informationen, wie z. B. die Blickpunkt-Position des Endoskopbildes, erfassen.
Die Ausgabeeinheit 629 gibt die Diagnoseunterstützungsinformation, die das Vorhandensein oder Nichtvorhandensein einer Läsion und dergleichen enthält und die aus dem Lernmodell 9 erfasst wird, an eine Anzeigeeinheit 7 in Verbindung mit dem Endoskopbild aus, das ein Ziel der Diagnoseunterstützungsinformation ist. Die Ausgabeeinheit 629 kann sowohl das korrigierte Endoskopbild, das in das Lernmodell 9 eingegeben wird, und das Endoskopbild vor der Korrektur an die Anzeigeeinheit 7 ausgeben. Die Ausgabeeinheit 629 kann die Diagnoseunterstützungsinformation und das dreidimensionale medizinische Bild, das mit dem Endoskopbild verknüpft ist, das das Ziel der Diagnoseunterstützungsinformation ist, an die Anzeigeeinheit 7 in Verknüpfung miteinander ausgeben. Wenn die Diagnoseunterstützungsinformation und das dreidimensionale medizinische Bild an die Anzeigeeinheit 7 in Verknüpfung miteinander ausgegeben werden, kann die Ausgabeeinheit 629 die Diagnoseunterstützungsinformation und das dreidimensionale medizinische Bild beispielsweise so ausgeben, dass sie auf der Anzeigeeinheit 7 in einem Zustand angezeigt werden, in dem eine Position der Läsion in dem dreidimensionalen medizinischen Bild hervorgehoben ist.
Die Ausgabeeinheit 629 kann in der Endoskopbild-Datenbank 631 die Diagnoseunterstützungsinformation, die das Vorhandensein oder Nichtvorhandensein einer Läsion und dergleichen enthält und die aus dem Lernmodell 9 erfasst wird, und das Endoskopbild, das das Ziel der Diagnoseunterstützungsinformation ist, in Verknüpfung miteinander ausgeben. Die Ausgabeeinheit 629 kann in der Endoskopbild-Datenbank 631 sowohl das korrigierte Endoskopbild, das in das Lernmodell 9 eingegeben wird, als auch das Endoskopbild vor der Korrektur registrieren. Die Ausgabeeinheit 629 kann die Distanzbildinformation (Distanzbild) aus der Distanzbildinformation-Ableitungseinheit 626 erfassen und in der Endoskopbild-Datenbank 631 die Distanzbildinformation in Verknüpfung mit dem Endoskopbild registrieren.
40 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitungsprozedur zeigt, die von der Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 durchgeführt wird. Beispielweise startet die Informationsverarbeitungsvorrichtung 6 die Verarbeitung des Flussdiagramms auf der Basis eines Inhalts, der über die Eingabeeinheit 8 eingegeben wird, die mit der Informationsverarbeitungsvorrichtung 6 selbst verbunden ist.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 erfasst die Patienten-ID (S901). Die Steuereinheit 62 kann die Untersuchungsdatumsinformation wie z. B. eine Zeitdauer zum Spezifizieren des Datums der endoskopischen Untersuchung zusätzlich zur Patienten-ID erfassen.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 durchsucht die Endoskopbild-Datenbank 631 auf der Basis der Patienten-ID und erfasst einen Datensatz, der ein Endoskopbild und ein virtuelles Endoskopbild enthält (S902). Die Steuereinheit 62 durchsucht die Endoskopbild-Datenbank 631 auf der Basis der erfassten Patienten-ID oder der Patienten-ID und der Untersuchungsdatumsinformation und erfasst das Endoskopbild und das virtuelle Endoskopbild, die unter Verwendung der Patienten-ID oder dergleichen extrahiert wurden.
In einem Fall, in dem eine Vielzahl von Endoskopbildern unter Verwendung der Patienten-ID oder dergleichen extrahiert wurde, ist auch eine Vielzahl von virtuellen Endoskopbildern (virtuelle Endoskopbilder, die in dem gleichen Datensatz wie die Endoskopbilder registriert sind), die den Endoskopbildern entsprechen, vorhanden. Die Steuereinheit 62 kann die Vielzahl von Endoskopbildern und virtuellen Endoskopbildern als eine Vielzahl von Datensätzen (Endoskopbilder und virtuelle Endoskopbilder) erfassen. Ein Datensatz enthält ein Endoskopbild und ein virtuelles Endoskopbild, und die Steuereinheit 62 kann die folgende Verarbeitung entsprechend der Anzahl an erfassten Datensätzen durchführen.
Die Steuereinheit 62 der Informationsverarbeitungseinheit 6 leitet die Distanzbildinformation auf der Basis des erfassten virtuellen Endoskopbildes oder dergleichen ab (S903). Die Steuereinheit 62 leitet die Distanzbildinformation, die eine Information über eine Distanz zwischen Pixeln in dem virtuellen Endoskopbild ist, ab.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 leitet einen Merkmalsparameter aus dem Endoskopbild ab (S904). Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 leitet beispielsweise den Merkmalsparameter, wie z. B. einen Bereich des Endoskopbildes, das das Ziel der Flächenkorrekturverarbeitung ist, ab.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 erzeugt ein Endoskopbild, dessen Merkmalsparameter auf der Basis der Distanzbildinformation korrigiert wurde (S905). Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 korrigiert beispielsweise die Fläche des Bereichs, der dem Merkmalsparameter entspricht, auf der Basis der Distanzbildinformation, und erzeugt das Endoskopbild, dessen Merkmalsparameter korrigiert wurde.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 gibt das Endoskopbild, dessen Merkmalsparameter korrigiert wurde, in das Lernmodell 9 ein (S906). Eine Information, die in das Lernmodell 9 eingegeben wird, kann eine effektive Massenzahl (Effektive Z) und eine Körperzusammensetzung enthalten, die an einem Pixel eines dreidimensionalen medizinischen Bildes angehängt ist, das dem Merkmalsparameter entspricht, zusätzlich zu dem Endoskopbild, dessen Merkmalsparameter korrigiert wurde. Der Merkmalsparameter entspricht einem Bereich des Endoskopbildes, d.h. einer intrakorporalen Stelle oder einem Pixel, die bzw. das in dem Endoskopbild enthalten ist, und die intrakorporale Stelle oder das Pixel entspricht Koordinaten im und einem Pixel des dreidimensionalen medizinischen Bildes mittels der Distanzbildinformation, die aus dem virtuellen Endoskopbild erzeugt wird. Da, wie oben beschrieben, die effektive Massenzahl (Effektive Z), die Körperzusammensetzung oder beide an dem Pixel des dreidimensionalen medizinischen Bildes angehängt sind, erfasst die Steuereinheit 62 die effektive Massenzahl (Effektive Z) und die Körperzusammensetzung, die dem dreidimensionalen medizinischen Bild angehängt ist, auf der Basis des Endoskopbildes, dessen Merkmalsparameter korrigiert wurde.
Das Lernmodell 9 wird trainiert, um eine Diagnoseunterstützungsinformation über eine Läsion auszugeben, die in dem Endoskopbild enthalten ist, indem das Endoskopbild, dessen Merkmalsparameter korrigiert wurde, die effektive Massenzahl (Effektive Z) und die Körperzusammensetzung eingegeben werden. Durch Eingabe des Endoskopbildes, dessen Merkmalsparameter korrigiert wurde, der effektiven Massenzahl (Effektive Z) und der Körperzusammensetzung in das Lernmodell 9, das auf diese Weise trainiert wird, kann eine genauere Diagnoseunterstützungsinformation erfasst werden.
Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 erfasst die Diagnoseunterstützungsinformation, die aus dem Lernmodell 9 ausgegeben wird (S907). Die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 gibt die erfasste Diagnoseunterstützungsinformation und das Endoskopbild in Verknüpfung miteinander aus (S908). Die Steuereinheit 62 kann die erfasste Diagnoseunterstützungsinformation, das Endoskopbild, das dreidimensionale medizinische Bild, das virtuelle Endoskopbild und die Information über das Endoskopbild, wie z. B. die Blickpunkt-Position, an die Anzeigeeinheit 7 ausgeben und kann die Anzeigeeinheit 7 veranlassen, sie anzuzeigen. Ferner kann die Steuereinheit 62 in der Endoskopbild-Datenbank 631 die erfasste Diagnoseunterstützungsinformation und das Endoskopbild in Verknüpfung miteinander registrieren.
In dem vorliegenden Ausführungsbeispiel wurden die entsprechenden Funktionsteile in einer Verarbeitungsreihe, einschließlich des Lernmodells 9, getrennt als Funktionsteil einer Steuereinheit 121eines Prozessors 120 für ein Endoskop und als Funktionsteil der Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 beschrieben, aber eine Aufteilung dieser Funktionsteile ist ein Beispiel und gilt nicht als einschränkend. Ähnlich dem fünften Ausführungsbeispiel kann die Steuereinheit 121 des Prozessors 120 für ein Endoskop als alle Funktionsteile der Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 fungieren. Alternativ dazu können die Steuereinheit 121 des Prozessors 120 für ein Endoskopbild und die Steuereinheit 62 der Informationsverarbeitungsvorrichtung 6 als jeweilige Funktionsteile in einer Verarbeitungsreihe zusammenarbeiten, indem sie beispielsweise eine Kommunikation zwischen den Prozessen durchführen.
Da eine Verarbeitungsreihe des Durchführens einer Endoskopbildkorrektur unter Verwendung des Endoskopbildes und des virtuellen Endoskopbildes, das bereits in der Endoskopbild-Datenbank 631 registriert ist, und des Eingebens des korrigierten Endoskopbildes in das Lernmodell 9 kontinuierlich durchgeführt wird, kann gemäß dem vorliegenden Ausführungsbeispiel die Diagnoseunterstützungsinformation, die das Vorhandensein oder Nichtvorhandensein einer Läsion oder dergleichen enthält und die von dem Lernmodell 9 ausgegeben wird, wirksam erfasst werden. Da die Diagnoseunterstützungsinformation, die das Vorhandensein oder Nichtvorhandensein einer Läsion oder dergleichen enthält und die von dem Lernmodell 9 ausgegeben wird, in der Endoskopbild-Datenbank 631 als Ziel der Diagnoseunterstützungsinformation registriert ist, kann die Diagnoseunterstützungsinformation, die von dem Lernmodell 9 ausgegeben wird, wirksam wiederverwendet werden.
Gemäß der vorliegenden Offenbarung kann die Diagnoseunterstützungsinformation mit beachtenswert hoher Genauigkeit unter Verwendung des Endoskopbildes und des virtuellen Endoskopbildes in Kombination ermittelt werden. Gemäß der vorliegenden Offenbarung kann die Diagnoseunterstützungsinformation, die aus dem Bildmerkmalsparameter (Merkmalsgröße) ermittelt wird, effektiv zur Diagnose verwendet werden, wobei der Bildmerkmalsparameter durch Kombinieren des Distanzbildes, das aus dem virtuellen Endoskopbild gewonnen wird, das mit dem Endoskopbild übereinstimmt, und dem Endoskopbild erhalten werden. Gemäß der vorliegenden Offenbarung ist es möglich, ein Programm oder dergleichen vorzusehen, das das Endoskopbild effizient mit dem dreidimensionalen medizinischen Bild verknüpft.
Die hier offenbarten Ausführungsbeispiele sollen in jeder Hinsicht als beispielhaft angesehen werden, ohne einschränkend zu sein. Die technischen Merkmale, die in den jeweiligen Ausführungsbeispielen beschrieben sind, können miteinander kombiniert werden, und der Schutzumfang der vorliegenden Erfindung soll alle Modifizierungen innerhalb des Schutzumfangs der Ansprüche und einen den Ansprüchen äquivalenten Schutzumfang umfassen.
Bezugszeichenliste

1: Endoskop
11: Bildsensor
12: Behandlungswerkzeug-Einführkanal
13: Bedieneinheit
14: Verbindungstecker
15: Flexibler Schlauch
15a: Pfeil
151: Außenfläche des Endoskops
152: Innenfläche des Endoskops
153: Flexibler Körper
16: Optischer Sensor
17: Kabel für optischen Sensor
2: Prozessor für Endoskop (Prozessor)
20: Sensorsignaleingabeeinheit
21: Steuereinheit
22: Speichereinheit
23: Bedieneingabeeinheit
24: Ausgabeeinheit
25: Lichtquellensteuereinheit
26: Kommunikationseinheit
27: Lichtquelle
28: Leseeinheit
29: Speichereinheit mit großer Kapazität
291: Diagnoseunterstützungsinformation-Datenbank
292: Bilderkennungsmodell
2a: tragbares Speichermedium
2b: Halbleiterspeicher
2P: Steuerprogramm
3: Anzeigevorrichtung
4: Informationsverarbeitungsvorrichtung (Server)
41: Steuereinheit
42: Speichereinheit
43: Kommunikationseinheit
44: Eingabeeinheit
45: Anzeigeeinheit
46: Leseeinheit
47: Speichereinheit mit großer Kapazität
471: Datenbank für medizinische Bilder
4a: tragbares Speichermedium
4b: Halbleiterspeicher
4P: Steuerprogramm
20a: Endoskopbild-Erfassungseinheit
20b: Erfassungseinheit zum Erfassen eines virtuellen Endoskopbildes
20c: Rekonstruktionseinheit zum Rekonstruieren eines virtuellen Endoskopbildes
20d: Diagnoseunterstützungsinformation-Ausgabeeinheit
20e: Distanzbild-Rekonstruktionseinheit
20f: erste Korrektureinheit
20g: zweite Korrektureinheit
20h: Biegeverlaufsinformation-Erfassungseinheit
20i: Z-Koordinaten-Korrektureinheit
20j: Z-Koordinaten-Erfassungseinheit
S: Diagnoseunterstützungssystem
110: Endoskopvorrichtung
115: Tastatur
116: Aufbewahrungsregal
120: Prozessor für ein Endoskop
121: Steuereinheit
1211: Bildverarbeitungseinheit
122: Hauptspeichervorrichtung
123: Hilfsspeichervorrichtung
124: Kommunikationseinheit
125: Touchpanel
126: Anzeigevorrichtung-Schnittstelle
127: Eingabevorrichtung-Schnittstelle
128: Leseeinheit
131: Endoskop-Verbindungstecker
1311: elektrischer Verbindungstecker
1312: optischer Verbindungstecker
133: Lichtquelle
134: Pumpe
135: Wasserzuführungstank
136: Luft-/Wasserzuführungsanschluss
140: Endoskop
143: Bedieneinheit
1431: Steuertaste
1433: Biegedrehknopf
144: Einführteil (flexibler Schlauch)
1441: weicher Teil
1442: Biegeteil
1443: distaler Spitzenabschnitt
1444: Bildaufnahmeeinheit
1445: Bildsensor
1446: Bildaufnahmelichtquelle
145: Biegeverhinderungsabschnitt
148: Beobachtungsinstrument-Verbindungstecker
149: Universeller Schlauch
50: Anzeigevorrichtung
6: Informationsverarbeitungsvorrichtung
61: Kommunikationseinheit
62: Steuereinheit
621: Erfassungseinheit
622: Blickpunkt-Position-Ableitungseinheit
623: Erzeugungseinheit zum Erzeugen eines virtuellen Endoskopbildes
624: Übereinstimmungsgrad-Bestimmungseinheit
625: Datenbank-Registrierungseinheit
626: Distanzbildinformation-Ableitungseinheit
627: Merkmalsparameter-Ableitungseinheit
628: Merkmalsparameter-Korrektureinheit
629: Ausgabeeinheit
63: Speichereinheit
631: Endoskopbild-Datenbank
632: Aufzeichnungsmedium
P: Programm
64: Eingabe/Ausgabe-Schnittstelle
7: Anzeigeeinheit
70: Endoskopbild-Auswahlschirm
71: Integrierter Bildanzeigeschirm
711: Blickpunkt-Position-Feld
712: Blickpunkt-Richtung-Feld
713: Thumbnail-Anzeige-Feld
714: Anzeigeoptionsfeld
715: Anzeigemodus-Umschaltfeld
8: Eingabeeinheit
9: Lernmodell

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2019171874 [0002]
JP 2019222349 [0002]
JP 2002238887 A [0005]
JP 2019037643 A [0071, 0188]

Claims

Prozessor für ein Endoskop, umfassend eine Endoskopbild-Erfassungseinheit, die ein Endoskopbild eines Patienten aus dem Endoskop erfasst; eine Erfassungseinheit zum Erfassen eines virtuellen Endoskopbildes, die ein virtuelles Endoskopbild erfasst, das auf der Basis eines dreidimensionalen medizinischen Bildes rekonstruiert wird, das dadurch erhalten wird, dass vorab ein Bild des Patienten aufgenommen wird; eine Rekonstruktionseinheit zum Rekonstruieren eines virtuellen Endoskopbildes, die ein korrigiertes virtuelles Endoskopbild rekonstruiert, das auf der Basis eines Übereinstimmungsgrad zwischen dem virtuellen Endoskopbild, das von der Erfassungseinheit zum Erfassen des virtuellen Endoskopbildes erfasst wird, und dem Endoskopbild, das von der Endoskopbild-Erfassungseinheit erfasst wird, am meisten mit dem Endoskopbild übereinstimmt; und eine Diagnoseunterstützungsinformation-Ausgabeeinheit, die eine Diagnoseunterstützungsinformation basierend auf einem Merkmalsparameter ausgibt, der gemäß einer Korrespondenz zwischen jedem Pixel des Endoskopbildes, das von der Endoskopbild-Erfassungseinheit erfasst wird, und einem Distanzbild, das aus dem korrigierten virtuellen Endoskopbild gewonnen wird, das von der Rekonstruktionseinheit zum Rekonstruieren des virtuellen Endoskopbildes rekonstruiert wird, korrigiert wird.
Prozessor für ein Endoskop nach Anspruch 1, ferner umfassend: eine Z-Koordinaten-Erfassungseinheit, die eine Einführdistanz des Endoskops, das in einen Körper des Patienten eingeführt wird, misst; eine Biegeverlaufsinformation-Erfassungseinheit, die eine Biegeverlaufsinformation des Endoskops erfasst; und eine Z-Koordinaten-Korrektureinheit, die eine Z-Koordinate, die die Einführdistanz des Endoskops ist, eine Blickpunkt-Richtung und eine Blickpunkt-Position eines virtuellen Endoskops gemäß der Biegeverlaufsinformation korrigiert, die von der Biegeverlaufsinformation-Erfassungseinheit erfasst wird.
Prozessor für ein Endoskop nach Anspruch 1 oder 2, ferner umfassend: eine Distanzbild-Rekonstruktionseinheit, die das Distanzbild auf der Basis des virtuellen Endoskopbildes rekonstruiert; und eine erste Korrektureinheit, die einen Pixelwert jedes Pixels des entsprechenden Endoskopbildes gemäß einer Distanz korrigiert, die aus dem Distanzbild erhalten wird, auf der Basis des Distanzbildes, das von der Distanzbild-Rekonstruktionseinheit gewonnen wird.
Prozessor für ein Endoskop nach Anspruch 3, ferner umfassend: eine zweite Korrektureinheit, die den Merkmalsparameter jedes Bildbereichs des entsprechenden Endoskopbildes auf der Basis des Distanzbildes korrigiert, das von der Distanzbild-Rekonstruktionseinheit gewonnen wird.
Prozessor für ein Endoskop nach Anspruch 4, wobei die Diagnoseunterstützungsinformation-Ausgabeeinheit die Diagnoseunterstützungsinformation einschließlich eines Tumorkandidaten auf der Basis des Endoskopbildes ausgibt, das von der ersten Korrektureinheit oder der zweiten Korrektureinheit korrigiert wird.
Prozessor für ein Endoskop nach Anspruch 4 oder 5, wobei die Diagnoseunterstützungsinformation-Ausgabeeinheit ein Erkennungsergebnis unter Verwendung eines trainierten Bilderkennungsmodells ausgibt, das das Erkennungsergebnis dann ausgibt, wenn das von der ersten Korrektureinheit oder der zweiten Korrektureinheit korrigierte Endoskopbild eingegeben wird.
Programm, das einen Computer veranlasst, eine folgende Verarbeitung durchzuführen: Erfassen eines Endoskopbildes eines Patienten aus einem Endoskop; Erfassen eines virtuellen Endoskopbildes, das auf der Basis eines dreidimensionalen medizinischen Bildes rekonstruiert wird, das dadurch erhalten wird, dass vorab ein Bild des Patienten aufgenommen wird; Rekonstruieren eines korrigierten virtuellen Endoskopbildes, das auf der Basis eines Übereinstimmungsgrades zwischen dem erfassten virtuellen Endoskopbild und dem Endoskopbild am meisten mit dem Endoskopbild übereinstimmt; und Ausgeben einer Diagnoseunterstützungsinformation basierend auf einem Merkmalsparameter, der gemäß einer Korrespondenz zwischen jedem Pixel des erfassten Endoskopbildes und einem Distanzbild, das aus dem rekonstruierten korrigierten virtuellen Endoskopbild gewonnen wird, korrigiert wird.
Informationsverarbeitungsverfahren, umfassend: Erfassen eines Endoskopbildes eines Patienten aus einem Endoskop; Erfassen eines virtuellen Endoskopbildes, das auf der Basis eines dreidimensionalen medizinischen Bildes rekonstruiert wird, das dadurch erhalten wird, dass vorab ein Bild des Patienten aufgenommen wird; Rekonstruieren eines korrigierten virtuellen Endoskopbildes, das auf der Basis eines Übereinstimmungsgrades zwischen dem erfassten virtuellen Endoskopbild und dem Endoskopbild am meisten mit dem Endoskopbild übereinstimmt; und Ausgeben einer Diagnoseunterstützungsinformation basierend auf einem Merkmalsparameter, der gemäß einem virtuellen Endoskopbild, das einer Korrespondenz zwischen jedem Pixel des erfassten Endoskopbildes und einem Distanzbild entspricht, das aus dem rekonstruierten korrigierten virtuellen Endoskopbild gewonnen wird, korrigiert wird.
Programm, das einen Computer veranlasst, eine folgende Verarbeitung auszuführen: Erfassen eines Endoskopbildes, das dadurch erhalten wird, dass ein Endoskop ein Bild eines Patienten aufnimmt; Erfassen eines dreidimensionalen medizinischen Bildes, das dadurch erhalten wird, dass ein Bild eines Inneren eines Körpers des Patienten durch einen Röntgen-CT-Scan, einen Röntgen-Kegelstrahl-Scan und/oder einen MRI-CT-Scan aufgenommen wird, Ableiten einer Positionsinformation in einem Koordinatensystem des dreidimensionalen medizinischen Bildes, das von dem Endoskopbild und dem dreidimensionalen medizinischen Bild spezifiziert wird; und Speichern des Endoskopbildes und des dreidimensionalen medizinischen Bildes in Verknüpfung miteinander auf der Basis der abgeleiteten Positionsinformation.
Programm nach Anspruch 9, wobei das Ableiten der Positionsinformation eine folgende Verarbeitung einschließt: Erzeugen eines virtuellen Endoskopbildes, das aus dem dreidimensionalen medizinischen Bild rekonstruiert wird; Ableiten eines Übereinstimmungsgrades zwischen dem erzeugten virtuellen Endoskopbild und dem Endoskopbild; und Ableiten der Positionsinformation auf der Basis eines virtuellen Endoskopbildes mit einem vorbestimmten Übereinstimmungsgrad oder höher.
Programm nach Anspruch 10, wobei beim Ableiten des Übereinstimmungsgrades ein Übereinstimmungsgrad-Lernmodell verwendet wird, das trainiert ist, den Übereinstimmungsgrad auszugeben, wenn das virtuelle Endoskopbild und das Endoskopbild eingegeben werden, das virtuelle Endoskopbild und das Endoskopbild in das Übereinstimmungsgrad-Lernmodell eingegeben werden und der Übereinstimmungsgrad zwischen dem virtuellen Endoskopbild und dem Endoskopbild, der von dem Übereinstimmungsgrad-Lernmodell ausgegeben wird, erfasst wird.
Programm nach Anspruch 11, wobei das Übereinstimmungsgrad-Lernmodell durch ein tiefes konvolutionales neuronales Netz (DCNN) implementiert ist.
Programm nach Anspruch 9 oder 12, wobei eine Information über eine Einführdistanz des Endoskops, das in den Körper des Patienten zum Zeitpunkt der Aufnahme des Endoskopbildes eingeführt ist, erfasst wird, und das Ableiten der Positionsinformation eine Verarbeitung des Ableitens der Positionsinformation im Koordinatensystem des dreidimensionalen medizinischen Bildes auf der Basis der Information über die Einführdistanz einschließt.
Programm nach Anspruch 13, wobei eine Information über einen Biegeverlauf des Endoskops, das in den Körper des Patienten eingeführt ist, erfasst wird, und das Ableiten der Positionsinformation eine Verarbeitung des Ableitens der Positionsinformation im Koordinatensystem des dreidimensionalen medizinischen Bildes auf der Basis der Information über den Biegeverlauf und der Information über die Einführdistanz einschließt.
Programm nach Anspruch 14, wobei eine Information über eine Form des Endoskops erfasst wird, und das Ableiten der Positionsinformation eine Verarbeitung des Ableitens der Positionsinformation im Koordinatensystem des dreidimensionalen medizinischen Bildes auf der Basis der Information über die Form des Endoskops, der Information über den Biegeverlauf und die Information über die Einführdistanz einschließt.
Programm nach einem der Ansprüche 9 bis 15, wobei die Positionsinformation eine Information über eine Position und Ausrichtung des Endoskops zu einem Zeitpunkt der Aufnahme des Endoskopbilds einschließt.
Programm nach einem der Ansprüche 9 bis 16, wobei das Endoskop eine Vielzahl von Bildsensoren enthält, und das Endoskopbild eine Vielzahl von Endoskopbildern einschließt, die von der Vielzahl von Bildsensoren aufgenommen wird, und jedes der Vielzahl von Endoskopbildern und das dreidimensionale medizinische Bild in Verknüpfung miteinander gespeichert sind.
Programm, das einen Computer veranlasst, eine folgende Verarbeitung durchzuführen: Erfassen eines beliebigen dreidimensionalen medizinischen Bildes durch Bezugnahme auf einen vorbestimmten Speicherbereich, in dem ein Endoskopbild und das dreidimensionale medizinische Bild in Verknüpfung miteinander gespeichert sind, auf der Basis einer Positionsinformation im Koordinatensystem des dreidimensionalen medizinischen Bildes, die von dem Endoskopbild und dem dreidimensionalen medizinischen Bild spezifiziert wird; Anzeigen des beliebigen dreidimensionalen medizinischen Bildes; Empfangen einer Auswahlverarbeitung zum Auswählen einer vorbestimmten Stelle in dem angezeigten beliebigen dreidimensionalen medizinischen Bild; Ableiten einer Positionsinformation in einem Koordinatensystem des beliebigen dreidimensionalen medizinischen Bildes gemäß der empfangenen Auswahlverarbeitung; und Anzeigen eines Endoskopbildes, das der abgeleiteten Positionsinformation entspricht.
Programm, das einen Computer veranlasst, eine folgende Verarbeitung durchzuführen: Erfassen eines beliebigen endoskopischen Bildes durch Bezugnahme auf einen vorbestimmten Speicherbereich, in dem das Endoskopbild und ein dreidimensionales medizinisches Bild in Verknüpfung miteinander gespeichert sind, auf der Basis einer Positionsinformation in einem Koordinatensystem des dreidimensionalen medizinischen Bildes, die von dem Endoskopbild und dem dreidimensionalen medizinischen Bild spezifiziert wird; Erfassen eines virtuellen Endoskopbildes, das durch Projizieren des dreidimensionalen medizinischen Bildes, das mit dem beliebigen Endoskopbild verknüpft ist, gewonnen wird; Korrigieren des beliebigen Endoskopbildes auf der Basis der Distanzbildinformation, die aus dem virtuellen Endoskopbild abgeleitet wird; Eingeben des korrigierten Endoskopbildes in ein Lernmodell, das trainiert ist, um eine Diagnoseunterstützungsinformation über eine Läsion auszugeben, die in dem beliebigen Endoskopbild enthalten ist; und Ausgeben der erfassten Diagnoseunterstützungsinformation und des beliebigen Endoskopbildes in Verknüpfung miteinander.
Informationsverarbeitungsverfahren, das einen Computer veranlasst, eine folgende Verarbeitung durchzuführen: Erfassen eines Endoskopbildes, das dadurch erhalten wird, dass ein Endoskop ein Bild eines Patienten aufnimmt; Erfassen eines dreidimensionalen medizinischen Bildes, das dadurch erhalten wird, dass ein Bild eines Inneren eines Körpers des Patienten durch einen Röntgen-CT-Scan, einen Röntgen-Kegelstrahl-Scan und/oder einen MRI-CT-Scan aufgenommen wird; Ableiten einer Positionsinformation in einem Koordinatensystem des dreidimensionalen medizinischen Bildes, das von dem Endoskopbild und dem dreidimensionalen medizinischen Bild spezifiziert wird; und Speichern des Endoskopbildes und des dreidimensionalen medizinischen Bildes in Verknüpfung miteinander auf der Basis der abgeleiteten Positionsinformation.
Informationsverarbeitungsvorrichtung, umfassend: eine Erfassungseinheit, die ein Endoskopbild erfasst, das dadurch erhalten wird, dass ein Endoskop ein Bild eines Patienten aufnimmt, und ein dreidimensionales medizinisches Bild, das dadurch erhalten wird, dass ein Bild eines Inneren eines Körpers des Patienten durch einen Röntgen-CT-Scan, einen Röntgen-Kegelstrahl-Scan und/oder einen MRI-CT-Scan aufgenommen wird; eine Ableitungseinheit, die eine Positionsinformation in einem Koordinatensystem des dreidimensionalen medizinischen Bildes ableitet, die von dem Endoskopbild und dem dreidimensionalen medizinischen Bild spezifiziert wird; und eine Speichereinheit, die das Endoskopbild und das dreidimensionale medizinische Bild in Verknüpfung miteinander auf der Basis der abgeleiteten Positionsinformation speichert.