DE112019007602T5

DE112019007602T5 - Computerprogramm, endoskopprozessor und informationsverarbeitungsverfahren

Info

Publication number: DE112019007602T5
Application number: DE112019007602.7T
Authority: DE
Inventors: Yuichi Kawabata
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2019-08-02
Filing date: 2019-08-02
Publication date: 2022-04-14
Also published as: US20220084194A1; JP7189355B2; WO2021024301A1; JPWO2021024301A1

Abstract

Ein Computerprogramm (231) veranlasst einen Computer, eine Verarbeitung auszuführen, um eine Untersuchungspunktinformation (234) bezüglich eines Untersuchungspunktes, der in einem Untersuchungszielbereich enthalten ist, unter Verwendung eines Endoskops (40) zu erfassen, ein von dem Endoskop (40) aufgenommenes Endoskopbild (59) zu erfassen, zu bestimmen, ob das Endoskop (40) den Untersuchungspunkt auf der Basis der Bildanalyse des erfassten Endoskopbildes (59) erreicht hat, und eine Mitteilung auszugeben, in einem Fall, in dem das Endoskop (40) den Untersuchungspunkt erreicht hat.

Description

TECHNISCHES GEBIET
Die vorliegende Technologie betrifft ein Computerprogramm, einen Prozessor für ein Endoskop und ein Informationsverarbeitungsverfahren.
STAND DER TECHNIK
Bei der Durchführung einer endoskopischen Untersuchung werden für jeden Patienten, der ein Proband ist, ein oder mehrere Untersuchungszielbereiche vorab bestimmt, und die Untersuchungszielbereiche werden in einer Körperhöhle des Patienten gemäß einem vorgeschriebenen Verfahren abgebildet, um eine Bilddiagnose durchzuführen. Insbesondere fügt eine Person, die für die Untersuchung mit dem Endoskop zuständig ist, den Endoskopeinführteil in die Körperhöhle des Patienten ein und veranlasst, dass der Endoskopeinführteil einen vorbestimmten Untersuchungszielbereich erreicht, während sie die Position des distalen Endes des Einführteils des Endoskops in der Körperhöhle bestätigt. Dann wird, während ein Bild auf dem Monitorbildschirm jedes Mal bestätigt wird, wenn es auftaucht, ein Standbild fotografiert, indem ein Knopf zur Standbildaufnahme betätigt wird, während eine Aufnahmeposition und eine Richtung fein eingestellt werden.
Die Anzahl der aufgenommenen Bilder kann von einigen bis hin zu 20 oder mehr Bildern während einer medizinischen Untersuchung reichen, und es ist wünschenswert, eine große Anzahl von Personen in einer kurzen Zeit in einem medizinischen Umfeld zu untersuchen. Aus diesem Grund muss die für die Untersuchung zuständige Person einen genauen und schnellen Abbildungsvorgang durchführen. Unter solchen Umständen kann es leicht passieren, dass ein Fehler, wie z. B. ein Fehler beim Abbilden eines Teils des Untersuchungsbereichs, auftritt, und wenn es zu einem Abbildungsfehler an einem notwendigen Untersuchungsbereich kommt, wird eine genaue Diagnose schwierig. Um ein ausgelassenes Bild zu erhalten, wird ferner die Belastung für den Patienten erhöht, um das Bild mit dem Endoskop durch eine erneute Untersuchung erneut aufzunehmen.
Um in medizinischen Einrichtungen Unterschiede in einer Patientenbelastung und bei einem Organbeobachtungsverfahren aufgrund von Unterschieden in der Erfahrung und den Fähigkeiten einer für die Untersuchung zuständigen Person zu vermeiden, ist es effektiv, ein Untersuchungsprotokoll zu definieren, das einen Untersuchungsablauf definiert. Das Patentdokument 1 offenbart ein Endoskopbetriebsunterstützungssystem, das leicht bestätigen kann, ob eine Untersuchung gemäß einem Untersuchungsprotokoll in einer medizinischen Einrichtung, die ein Untersuchungsprotokoll festlegt, durchgeführt worden ist.
LISTE VON ENTGEGENHALTUNGEN
PATENTDOKUMENT
Patentdokument 1: JP 2017-108792 A
ZUSAMMENFASSUNG DER ERFINDUNG
TECHNISCHES PROBLEM
Jedoch erfolgt bei dem Endoskopbetriebsunterstützungssystem des Patentdokuments 1 die Bestätigung, ob die Untersuchung durchgeführt wurde oder nicht, nach der Untersuchung basierend auf dem Untersuchungsprotokoll. Daher gibt es Bedenken, dass Untersuchungsinhalte ausgelassen wurden. Um einen geeigneten Untersuchungsinhalt ungeachtet der Erfahrung und des Könnens einer für die Untersuchung zuständigen Person durchzuführen, ist es wünschenswert, Informationen über die Untersuchungsinhalte in Echtzeit abzuleiten.
Ein Ziel der vorliegenden Offenbarung ist, ein Computerprogramm oder dergleichen vorzusehen, das eine effiziente Ableitung von Informationen über einen Untersuchungsinhalt durchführt.
LÖSUNG DER AUFGABE
Ein Computerprogramm gemäß einem Aspekt der vorliegenden Offenbarung veranlasst einen Computer dazu, eine Untersuchungspunktinformation bezüglich eines Untersuchungspunkts, der in einem Untersuchungszielbereich enthalten ist, unter Verwendung eines Endoskops zu erfassen, ein Endoskopbild zu erfassen, das von dem Endoskop aufgenommen wurde, auf Basis einer Bildanalyse des erfassten Endoskopbilds zu bestimmen, ob das Endoskop den Untersuchungspunkt erreicht hat oder nicht, und eine Mitteilung auszugeben, wenn das Endoskop den Untersuchungspunkt erreicht hat.
VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
Gemäß der vorliegenden Offenbarung ist es möglich, ein Computerprogramm oder dergleichen vorzusehen, das eine effiziente Ableitung einer Information bezüglich eines Untersuchungsinhalts durchführt.
Figurenliste

1 ist ein erläuterndes Diagramm, welches das Erscheinungsbild eines Diagnoseunterstützungssystems zeigt.
2 ist ein erläuterndes Diagramm zum Erläutern einer Konfiguration eines Diagnoseunterstützungssystems gemäß einem ersten Ausführungsbeispiel.
3 ist ein Diagramm, das ein Inhaltsbeispiel für eine Information zeigt, die in einer Untersucher-Datenbank gespeichert ist.
4 ist ein Diagramm, das ein Inhaltsbeispiel für eine Information zeigt, die in einer Untersuchungspunkt-Datenbank gespeichert ist.
5 ist ein erläuterndes Diagramm bezüglich des Ablaufs der Erzeugung eines Lernmodells.
6 ist ein Funktionsblockdiagramm, das Funktionseinheiten zeigt, die in einer Steuereinheit enthalten sind.
7 ist ein erläuterndes Diagramm zum Erläutern eines Ablaufs zum Einstellen einer Untersuchungspunktinformation.
8A ist ein schematisches Diagramm, das ein Beispiel für einen Kontrollpunkt-Eingabebildschirm zeigt.
8B ist ein schematisches Diagramm, das ein Beispiel für einen Kontrollpunkt-Eingabebildschirm zeigt.
9 ist ein schematisches Diagramm, das ein Beispiel für einen Mitteilungsbildschirm zum Anzeigen einer Mitteilungsinformation zeigt.
10 ist ein schematisches Diagramm, das ein Beispiel für einen Mitteilungsbildschirm zeigt, der eine Mitteilungsinformation anzeigt.
11 ist ein schematisches Diagramm, das ein Beispiel für einen Mitteilungsbildschirm zeigt, der eine Mitteilungsinformation anzeigt.
12 ist ein Flussdiagramm, das ein Beispiel für einen Verarbeitungsablauf zeigt, der von dem Diagnoseunterstützungssystem durchgeführt wird.
13 ist ein Flussdiagramm, das ein Beispiel für einen Verarbeitungsablauf zeigt, der von dem Diagnoseunterstützungssystem durchgeführt wird.
14 ist ein erläuterndes Diagramm zum Erläutern einer Konfiguration eines Diagnoseunterstützungssystems gemäß einem zweiten Ausführungsbeispiel.
15 ist ein Diagramm, das ein Inhaltsbeispiel für eine Information zeigt, die in einer Action-Learning-Datenbank gespeichert ist.
16 ist ein Funktionsblockdiagramm, das Funktionseinheiten zeigt, die in einer Steuereinheit enthalten sind.
17 ist ein erläuterndes Diagramm zum Erläutern eines Beispiels für eine Bewegungserkennung.
18 ist ein Flussdiagramm, das ein Beispiel für einen Verarbeitungsablauf zeigt, der von dem Diagnoseunterstützungssystem durchgeführt wird.
19 ist ein Flussdiagramm das ein Beispiel für einen Verarbeitungsablauf zeigt, der von dem Diagnoseunterstützungssystem durchgeführt wird.

BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Die vorliegende Erfindung wird insbesondere unter Bezugnahme auf die Zeichnungen beschrieben, die Ausführungsbeispiele der Erfindung zeigen.
(Erstes Ausführungsbeispiel)
1 ist ein erläuterndes Diagramm, das das Erscheinungsbild eines Diagnoseunterstützungssystems 100 zeigt. Das Diagnoseunterstützungssystem 100 umfasst einen Endoskopprozessor 20, ein Endoskop 40 und eine Anzeigevorrichtung 50. Die Anzeigevorrichtung 50 ist beispielsweise eine Flüssigkristallanzeigevorrichtung oder eine organische EL-(Elektrolumineszenz)-Anzeigevorrichtung.
Die Anzeigevorrichtung 50 ist auf der oberen Ebene eines Aufbewahrungsregals 16 mit Rollen installiert. Der Endoskopprozessor 20 ist in der mittleren Ebene des Aufbewahrungsregals 16 untergebracht. Das Aufbewahrungsregal 16 ist in der Nähe eines Betts (nicht gezeigt) zur endoskopischen Untersuchung angeordnet. Das Aufbewahrungsregal 16 enthält ein ausziehbares Brett, auf dem eine Tastatur 15 angebracht ist, die mit dem Endoskopprozessor 20 verbunden ist.
Der Endoskopprozessor 20 hat eine im Wesentlichen rechteckige parallelepipedische Form und ist auf einer Oberfläche mit einem Berührungsbildschirm (Touchpanel) 25 versehen. Eine Leseeinheit 28 ist an der Unterseite des Touchpanels 25 angeordnet. Die Leseeinheit 28 ist eine Verbindungschnittstelle zum Auslesen und Beschreiben eines trabbaren Aufzeichnungsmediums, wie z. B. ein USB-Steckverbinder, ein SD-(Secure Digital)-Kartenschlitz oder ein CD-ROM (Compact Disc Read Only Memory)-Laufwerk.
Das Endoskop 40 enthält einen Einführteil 44, eine Bedieneinheit 43, einen Lichtleiterschlauch 49 und einen Beobachtungsinstrument-Steckverbinder 48. Die Bedieneinheit 43 ist mit einer Steuertaste 431 versehen. Der Einführteil 44 ist lang und hat ein Ende, das über einen Biegeverhinderungsteil 45 mit der Bedieneinheit 43 verbunden ist. Der Einführteil 44 enthält einen weichen Teil 441, einen Biegeteil 442 und eine distale Spitze 443 in der Reihenfolge von der Seite der Bedieneinheit 43. Der Biegeteil 442 wird entsprechend einer Betätigung eines Biegedrehknopfes 433 gebogen. Physikalische Detektionsvorrichtungen, wie z. B. ein Drei-Achsen-Beschleunigungssensor, ein Gyrosensor, ein geomagnetischer Sensor oder ein Magnetspulensensor, können am Einführteil 44 angebracht sein, und wenn das Endoskop 40 in den Körper des Probanden eingeführt wird, können Detektionsergebnisse aus diesen physikalischen Detektionsvorrichtungen erfasst werden.
Der Lichtleiterschlauch 49 ist lang und hat ein erstes Ende, das mit der Bedieneinheit 43 verbunden ist, und ein zweites Ende, das mit dem Beobachtungsinstrument-Steckverbinder 48 verbunden ist. Der Lichtleiterschlauch 49 ist flexibel. Der Beobachtungsinstrument-Steckverbinder 48 hat eine im Wesentlichen rechteckige parallelepipedische Form. Der Beobachtungsinstrument-Steckverbinder 48 ist mit einem Luft/Wasser-Zuführungsanschluss 36 (siehe 2) zum Anschließen eines Luft/Wasser-Zuführungsschlauchs versehen.
In dem Diagnoseunterstützungssystem 100 bestimmt der Endoskopprozessor 20 den Untersuchungsinhalt des Endoskops 40 in Echtzeit basierend auf einem von dem Endoskop 40 aufgenommenen Endoskopbild 59 und teilt dem Untersucher das Bestimmungsergebnis mit. Der Untersucher betätigt das Endoskop 40 unter Bezugnahme auf die Mitteilung.
2 ist ein erläuterndes Diagramm zum Erläutern einer Konfiguration des Diagnoseunterstützungssystems 100 gemäß einem ersten Ausführungsbeispiel. Wie oben beschrieben, enthält das Diagnoseunterstützungssystem 100 den Endoskopprozessor 20, das Endoskop 40 und die Anzeigevorrichtung 50. Zusätzlich zum Touchpanel 25 und der Leseeinheit 28 enthält der Endoskopprozessor 20 eine Steuereinheit 21, eine Hauptspeichervorrichtung 22, eine Hilfsspeichervorrichtung 23, eine Kommunikationseinheit 24, eine Anzeigevorrichtungs-Schnittstelle 26 und eine Eingabevorrichtungs-Schnittstelle 27, einen Endoskop-Steckverbinder 31, eine Lichtquelle 33, eine Pumpe 34 und einen Bus. Der Endoskop-Steckverbinder 31 umfasst einen elektrischen Steckverbinder 311 und einen optischen Steckverbinder 312.
Die Steuereinheit 21 ist eine arithmetische Steuervorrichtung, die ein Programm 231 dieses Ausführungsbeispiels ausführt. Für die Steuereinheit 21 werden eine oder mehrere Zentraleinheiten (CPU), Mikroprozessoren (MPU), Graphikprozessoren (GPU) oder dergleichen verwendet. Die Steuereinheit 21 ist mit jeder Hardware-Einheit, aus der der Endoskopprozessor 20 gebildet ist, über den Bus verbunden.
Die Hauptspeichervorrichtung 22 ist eine Speichervorrichtung, wie z. B. ein statischer Direktzugriffsspeicher (SRAM), ein dynamischer Direktzugriffspeicher (DRAM) und ein Flash-Speicher. Die Hauptspeichervorrichtung 22 speichert temporär Informationen, die während der Verarbeitung, die von der Steuereinheit 21 ausgeführt wird, notwendig sind, sowie ein Programm, das von der Steuereinheit 21 ausgeführt wird.
Die Hilfsspeichervorrichtung 23 ist eine Speichervorrichtung wie z. B. ein SRAM, ein Flash-Speicher oder eine Festplatte. Die Hilfsspeichervorrichtung 23 speichert das Programm 231, das von der Steuereinheit 21 ausgeführt wird, ein Lernmodell 237 und verschiedene Daten, die zum Ausführen des Programms 231 notwendig sind. Das Programm 231 und das Lernmodell 237 können von einer externen Vorrichtung über ein Netzwerk, wie ein sogenanntes Internet, über die Kommunikationseinheit 24 heruntergeladen und in der Hilfsspeichervorrichtung 23 von der Steuereinheit 21 gespeichert werden. Das Programm 231 und das Lernmodell 237 können von der Steuereinheit 21 aus einem tragbaren Speichermedium 23a über die Leseeinheit 28 ausgelesen und in der Hilfsspeichervorrichtung 23 gespeichert werden. Das Programm 231 und das Lernmodell 237 können aus einem Halbleiterspeicher 23a von der Steuereinheit 21 ausgelesen werden.
Die Hilfsspeichervorrichtung 23 speichert eine Untersucher-Datenbank 232 und eine Untersuchungspunkt-Datenbank 233. Die Untersucher-Datenbank 232 und die Untersuchungspunkt-Datenbank 233 können in einer externen Massenspeichervorrichtung gespeichert werden, die mit dem Endoskopprozessor 20 verbunden ist.
Die Kommunikationseinheit 24 ist eine Schnittstelle zur Datenkommunikation zwischen dem Endoskopprozessor 20 und dem Netzwerk. Das Touchpanel 25 enthält eine Anzeigeeinheit 251, wie z. B. eine Flüssigkristallanzeigetafel, und eine Eingabeeinheit 252, die der Anzeigeeinheit 251 überlagert ist.
Die Anzeigevorrichtungs-Schnittstelle 26 ist eine Schnittstelle zum Verbinden des Endoskopprozessors 20 und der Anzeigevorrichtung 50. Die Eingabevorrichtungs-Schnittstelle 27 ist eine Schnittstelle zum Verbinden des Endoskopprozessors 20 und einer Eingabevorrichtung, wie z. B. der Tastatur 15.
Die Lichtquelle 33 ist beispielsweise eine Weißlichtquelle mit hoher Leuchtkraft, wie z. B. eine weiße LED. Die Lichtquelle 33 ist mit dem Bus über einen Treiber (nicht gezeigt) verbunden. Das Ein/Aus der Lichtquelle 33 und die Helligkeitsänderung werden von der Steuereinheit 21 gesteuert. Das von der Lichtquelle 33 emittierte Beleuchtungslicht fällt auf den optischen Steckverbinder 312. Der optische Steckverbinder 312 steht mit dem Beobachtungsinstrument-Steckverbinder 48 in Eingriff, um dem Endoskop 40 Beleuchtungslicht zuzuführen.
Die Pumpe 34 erzeugt Druck für die Luftzuführungs-/Wasserzuführungsfunktion des Endoskops 40. Die Pumpe 34 ist mit dem Bus über einen Treiber (nicht gezeigt) verbunden. Das Ein/Aus der Pumpe und die Druckänderung der Pumpe 34 werden von der Steuereinheit 21 gesteuert. Die Pumpe 34 ist über einen Wasserzuführungstank 35 mit dem Luft/Wasserzuführungsanschluss 36 verbunden, der in dem Beobachtungsinstrument-Steckverbinder 48 vorgesehen ist.
Die Funktion des mit dem Endoskopprozessor 20 verbundenen Endoskops 40 wird nun umrissen. Ein Faserbündel, ein Kabelbündel, ein Luftzuführungsschlauch, ein Wasserzuführungsschlauch und dergleichen werden in den Beobachtungsinstrument-Steckverbinder 48, den Lichtleiterschlauch 49, die Bedieneinheit 43 und den Einführteil 44 eingefügt. Das von der Lichtquelle 33 emittierte Licht wird aus einem Beleuchtungsfenster abgestrahlt, das an der distalen Spitze 443 vorgesehen ist, über den optischen Steckverbinder 312 und das Faserbündel.
Der von dem Beleuchtungslicht beleuchtete Bereich wird von einem an der distalen Spitze 443 vorgesehenen Bildsensor aufgenommen. Das aufgenommene Bild wird von dem Bildsensor zum Endoskopprozessor 20 über das Kabelbündel und den elektrischen Steckverbinder 311 übertragen.
Die Steuereinheit 21 führt an dem aufgenommenen Bild eine Bildverarbeitung durch, um das Endoskopbild 59 zu erzeugen, das es für den die Untersuchung durchführenden Untersucher leicht macht, eine Läsion visuell zu finden. Die Steuereinheit 21 gibt das Endoskopbild 59 an die Anzeigevorrichtung 50 aus. Der Untersucher betätigt das Endoskop 40, während er das Endoskopbild 59 bestätigt, und bei Erreichen eines vorbestimmten Untersuchungspunktes drückt er einen Knopf zur Standbildaufnahme, um ein Standbild aufzunehmen.
3 ist ein Diagramm, das ein Inhaltsbeispiel für eine Information zeigt, die in der Untersucher-Datenbank 232 gespeichert ist. Die Untersucher-Datenbank 232 speichert ein Attribut, wie z. B. einen Namen eines Untersuchers und eine Information bezüglich einer Untersuchungshistorie des Untersuchers in Verbindung mit einer Untersucher-ID zum Identifizieren des Untersuchers. Die Information bezüglich der Untersuchungshistorie des Untersuchers enthält den Skill-Level (das Fähigkeitsniveau) des Untersuchers, die Anzahl der Untersuchungen, die Untersuchungshistorie und dergleichen. Der Skill-Level ist eine Information, die ein Fähigkeitsniveau des Untersuchers in Bezug auf die endoskopische Untersuchung angibt. Beispielsweise wird der Skill-Level in fünf Stufen von 1 bis 5 angegeben und je höher der Zahlenwert ist, umso erfahrener ist der Untersucher bei der endoskopischen Untersuchung. Die Anzahl der Untersuchungen ist die Anzahl der endoskopischen Untersuchungen, die von dem Untersucher bisher durchgeführt wurden. Die Untersuchungshistorie ist eine Ausführungshistorie der endoskopischen Untersuchung, die von dem Untersucher bisher durchgeführt wurde, und kann ein Ausführungsdatum, einen Untersuchungsinhalt, ein Protokoll eines Betriebssignals zum Zeitpunkt der Untersuchung und dergleichen einschließen. Es wird angemerkt, dass 3 ein Beispiel ist, und der in der Untersucher-Datenbank DB 232 gespeicherte Inhalt ist nicht beschränkt.
4 ist ein Diagramm, das ein Inhaltsbeispiel für eine Information zeigt, die in der Untersuchungspunkt-Datenbank 233 gespeichert ist. Die Steuereinheit 21 erfasst vorab verschiedene Arten von Informationen bezüglich des Untersuchungspunktes, der in einem Untersuchungszielbereich enthalten ist, und speichert die Informationen in der Untersuchungspunkt-Datenbank 233. Der Untersuchungspunkt ist ein zu untersuchender Bereich, wenn sich das Endoskop in dem Körper bei der Untersuchung unter Verwendung des Endoskops bewegt, und ist ein Untersuchungsbereich, der als Bestimmungspunkt des Untersuchungsinhalts dient. Der Untersuchungspunkt umfasst einen Bereich um den Kontrollpunkt herum, einen spezifischen Punkt zwischen Kontrollpunkten und dergleichen, zusätzlich zu dem Untersuchungsbereich, der als sogenannter Kontrollpunkt dient. Das Diagnoseunterstützungssystem 100 bestimmt den Untersuchungsinhalt des Endoskops 40 in Echtzeit basierend auf dem Analyseergebnis des Bildes des Endoskopbildes 59 und des Untersuchungspunktbildes der Untersuchungspunktinformation 234 und gibt eine Mitteilung, die dem Bestimmungsergebnis entspricht, an den Untersucher aus. Die Untersuchungspunkt-Datenbank 233 speichert die Untersuchungspunktinformation 234 und eine Kandidateninformation 235.
Die Untersuchungspunktinformation 234 speichert eine Kontrollpunktinformation, eine Untersuchungspunktposition, ein Untersuchungspunktbild, eine Endoskopart und eine Mitteilungsinformation in Verbindung mit einer Untersuchungspunkt-ID zum Identifizieren der Untersuchungspunktinformation. Die Kontrollpunktinformation enthält eine Information über einen Kontrollpunkt in Bezug auf den Untersuchungspunkt, und beispielsweise wird eine Information über einen angrenzenden Kontrollpunkt des Untersuchungspunktes gespeichert. Wenn der Untersuchungspunkt ein Kontrollpunkt ist, kann eine Kontrollpunktnummer, die auf der Anzeigevorrichtung 50 angezeigt wird, enthalten sein. Die Untersuchungspunktposition kann beispielsweise eine Information bezüglich der Position des Untersuchungspunktes enthalten, wie z. B. eine Positionsinformation des Untersuchungspunktes in dem Körper, eine Abstandsinformation zwischen den Untersuchungspunkten und dergleichen. Das Untersuchungspunktbild kann eine Vielzahl von Bildinformationen enthalten, die den Untersuchungspunkt angeben. Die Endoskopart kann eine Art des Endoskops 40 umfassen, das mit dem Endoskopprozessor 20 verbunden ist. Bei der Untersuchung unter Verwendung des Endoskops wird das Endoskop 40 einer Art, die für den Untersuchungszielbereich geeignet ist, ausgewählt und verwendet. Als Endoskopart werden beispielsweise ein oberer Bereich (Verdauungsorgan), ein oberer Bereich (Atemorgan), ein unterer Bereich (Verdauungsorgans) und dergleichen gespeichert. Die Mitteilungsinformation kann eine Information bezüglich dessen enthalten, ob eine Mitteilung am Untersuchungspunkt ausgegeben wird oder nicht. Für den Untersuchungspunkt, für den die Mitteilungsausgabe gespeichert wird, wird eine Mitteilung zum Informieren des Untersuchers über den Untersuchungsinhalt ausgegeben. Die Mitteilungsinformation kann das Vorhandensein oder das Nichtvorhandensein der Mitteilung in Verbindung mit dem Skill-Level speichern.
Ferner kann die Untersuchungspunktinformation 234 den Ziel-Skill-Level in Verbindung mit der Untersuchungspunkt-ID speichern. Der Ziel-Skill-Level umfasst eine Information über den Skill-Level des Untersuchers zum Untersuchen des Untersuchungspunktes in Verbindung mit dem Ziel-Skill-Level. Der Ziel-Skill-Level wird in anderen Ausführungsbeispielen im Detail beschrieben.
Bei der endoskopischen Untersuchung wird eine Richtlinie (Anleitung) definiert, um dem Untersucher unterschiedlicher Skill-Levels zu ermöglichen, Bilder über das gesamte Innere des Magen-Darm-Trakts mit einem entsprechenden Level aufzunehmen (siehe beispielsweise „Manual of Gastroendoscopic Examination for Countermeasure Screening, 2015 Edition (Seiten 56 bis 63)“). Die Untersuchungspunktposition kann basierend auf diesen Richtlinien festlegt werden. Beim Durchführen einer gastroskopischen Untersuchung umfasst die Untersuchungspunktposition, die aufgenommen werden soll, den Aufnahmeort, der in der Anleitung zur gastroendoskopischen Untersuchung beschrieben ist.
Die Kandidateninformation 235 speichert die Kandidateninformation des Untersuchungspunktes in Verbindung mit der Endoskopart, die eine Information zum Identifizieren der Art des Endoskops ist. Die Kandidateninformation umfasst eine Information bezüglich eines Kandidaten eines Untersuchungspunktes, der ein Bestimmungspunkt eines Untersuchungsinhalts sein wird, in einem Fall, in dem eine vorbestimmte Art von Endoskop verwendet wird. Die Kandidateninformation kann die Durchlaufreihenfolge der Untersuchungspunkte zum Untersuchungszeitpunkt enthalten. In dem Beispiel der 4 wird die Kandidateninformation als Untersuchungspunkt-ID gespeichert. Es wird angemerkt, dass 4 ein Beispiel ist und der in der Untersuchungspunkt-Datenbank 233 gespeicherte Inhalt nicht beschränkt ist.
5 ist ein erläuterndes Diagramm bezüglich der Erzeugungsverarbeitung des Lernmodells 237. Die Steuereinheit 21 konstruiert (erzeugt) ein Lernmodell für Maschinelles Lernen einschließlich Tiefes Lernen, in das das Endoskopbild 59 eingegeben wird und aus dem die Untersuchungspunktinformation, die dem Endoskopbild 59 entspricht, ausgegeben wird. In diesem Ausführungsbeispiel wird die Untersuchungspunkt-ID aus der Ausgabeschicht als Untersuchungspunktinformation ausgegeben. Die Steuereinheit 21 führt ein Maschinelles Lernen zum Lernen einer Bildmerkmalsgröße bezüglich eines Untersuchungspunktes im Endoskopbild 59 durch. Das Lernmodell 237 ist beispielsweise ein neuronales Netz, das ein Convolutional Neural Network (CNN) („faltendes neuronales Netzwerk“) ist. Das Lernmodell 237 enthält eine Eingabeschicht, die eine Eingabe des Endoskopbilds 59 empfängt, eine Ausgabeschicht, die eine Untersuchungspunkt-ID ausgibt, die dem Endoskopbild 59 entspricht, und eine Zwischenschicht, die eine Bildmerkmalsgröße des Endoskopbilds 59 extrahiert.
Ein neuronales Netz (Lernmodell 237), das unter Verwendung von Trainingsdaten lernt, wird als Programmmodul verwendet angenommen, welches Teil einer Künstliche-Intelligenz-Software ist. Das Lernmodell 237 wird von dem Endoskopprozessor 20, der die Steuereinheit 21 (CPU oder dergleichen) und die Hilfsspeichervorrichtung 23 enthält, wie oben beschrieben, verwendet und wird von dem Endoskopprozessor 20 ausgeführt, der auf diese Weise die arithmetische Verarbeitungsfähigkeit hat, wodurch ein neuronales Netzsystem gebildet wird. Das heißt, die Steuereinheit 21 des Endoskopprozessors 20 arbeitet, um die Berechnung des Extrahierens der Merkmalsgröße des Endoskopbildes, das in die Eingabeschicht eingegeben wurde, gemäß dem Befehl aus dem Lernmodell 237, das in der Hilfsspeichervorrichtung 23 gespeichert ist, auszuführen, und die Untersuchungspunkt-ID, die dem Endoskopbild entspricht, aus der Ausgabeschicht auszugeben.
Die Eingabeschicht hat eine Vielzahl von Neuronen, die eine Eingabe des Pixelwerts jedes Pixels empfangen, das in dem Endoskopbild 59 enthalten ist, und leitet den eingegebenen Pixelwert an die Zwischenschicht weiter. Die Zwischenschicht enthält eine Vielzahl von Neuronen, die die Bildmerkmalsgröße des Endoskopbilds 59 extrahieren, und leitet die extrahierte Bildmerkmalsgröße unter Verwendung verschiedener Parameter an die Ausgabeschicht weiter. Wenn das Lernmodell 237 ein CNN ist, hat die Zwischenschicht beispielsweise eine Konfiguration, in der eine Faltungsschicht, die einen Pixelwert jedes Pixel faltet, das aus der Eingabeschicht eingegeben wird, und eine Pooling-Schicht, die einen von der Faltungsschicht gefalteten Pixelwert abbildet, abwechselnd verbunden sind. Die Zwischenschicht extrahiert schließlich die Bildmerkmalsgröße, während sie die Pixelinformation der Bildregion des Objekts komprimiert.
Die Ausgabeschicht enthält eine Vielzahl von Neuronen, die die dem Endoskopbild entsprechende Untersuchungspunkt-ID ausgeben. Jedes Neuron kann in Verbindung mit jeder Untersuchungspunkt-ID unterteilt werden. Der Ausgabewert aus der Ausgabeschicht kann als Wahrscheinlichkeit interpretiert werden, dass die Untersuchungspunkt-ID, die in jede Kategorie klassifiziert ist, in dem Endoskopbild enthalten ist. Beispielweise kann unter den Neuronen mit den Untersuchungspunkt-IDs 1030, 1130, 2012, ... die Information über die Untersuchungspunkt-ID des Neurons mit der höchsten Wahrscheinlichkeit oder des Neurons, dessen Wahrscheinlichkeit gleich oder größer als ein Schwellenwert ist, als Ausgabewert des Lernmodells 237 festgelegt werden. Die Ausgabeschicht gibt einen Ausgabewert basierend auf der Bildmerkmalsgröße aus, die aus der Zwischenschicht ausgegeben wird.
Die Steuereinheit 21 lernt verschiedene Parameter in der Zwischenschicht anhand von Trainingsdaten, in denen eine Vielzahl von Endoskopbildern, die durch Aufnahme des Untersuchungspunktes durch das Endoskop erhalten werden, und die Untersuchungspunkt-ID in jedem Endoskopbild miteinander verknüpft sind. Wie in 5 gezeigt, sind die Trainingsdaten beispielsweise als Datensatz konstruiert, in dem das Vorhandensein oder Nichtvorhandensein des Untersuchungspunkts und die Untersuchungspunkt-ID in Bezug auf das Endoskopbild gekennzeichnet sind. Die Steuereinheit 21 führt das Lernen unter Verwendung einer großen Datenmenge von Endoskopbildern durch, die während Untersuchungen, die in der Vergangenheit durchgeführt wurden, gesammelt wurden. Die Daten können ein Endoskopbild in einem Zustand enthalten, in dem der Untersuchungspunkt nicht enthalten ist.
Die Steuereinheit 21 gibt das in den Trainingsdaten enthaltene Endoskopbild in die Eingabeschicht ein, führt eine arithmetische Verarbeitung in der Zwischenschicht durch und erfasst die Untersuchungspunkt-ID aus der Ausgabeschicht. Die Steuereinheit 21 vergleicht die Untersuchungspunkt-ID, die aus der Ausgabeschicht ausgegeben wird, mit der Untersuchungspunkt-ID, die in Bezug auf das Bild in den Trainingsdaten gekennzeichnet ist, d.h. dem korrekten Wert, und optimiert verschiedene Parameter, die zur arithmetischen Verarbeitung in der Zwischenschicht verwendet werden, derart, dass sich der Ausgabewert aus der Ausgabeschicht dem korrekten Wert annähert. Der Parameter ist beispielsweise ein Gewicht, ein Bias oder dergleichen zwischen Neuronen. Das Verfahren der Optimierung verschiedener Parameter ist nicht speziell beschränkt, aber die Steuereinheit 21 optimiert beispielsweise verschiedene Parameter unter Verwendung eines Fehlerrückführungsverfahrens. Die Steuereinheit 21 führt die obige Verarbeitung an jedem Endoskopbild durch, das in den Trainingsdaten enthalten ist, und erzeugt das Lernmodell 237.
Obgleich die Beschreibung unter der Annahme wiedergegeben wird, dass das Lernmodell 237 in diesem Ausführungsbeispiel das CNN ist, ist das Lernmodell 237 nicht auf das CNN beschränkt. Wenn Zeitreihendaten erfasst werden, kann ein anderes neuronales Netz als das CNN, beispielsweise ein rekurrentes neuronales Netz (RNN) oder ein LSTM-(langes Kurzzeitgedächtnis)-Netzwerk verwendet werden. Ferner kann es ein Lernmodell sein, das durch einen anderen Lernalgorithmus konstruiert wird, z. B. ein Reinforcement-Lernmodell, eine Support-Vektor-Maschine oder ein Regressionsbaum, der kein neuronales Netz verwendet.
6 ist ein Funktionsblockdiagramm, das Funktionseinheiten zeigt, die in der Steuereinheit 21 enthalten sind. Die Steuereinheit 21 implementiert die Funktionen einer Endoskopbilderfassungseinheit 21, einer Endoskopartbestimmungseinheit 212, einer Untersuchungspunktinformationserfassungseinheit 213, einer Bildanalyseeinheit 214 und einer Ausgabeeinheit 218 durch Ausführen des Programms 231, das in der Hilfsspeichervorrichtung 23 gespeichert ist. In 6 sind diese Teile als Funktionseinheiten gezeigt. Die Steuereinheit 21 fungiert als Lernmodell 237, indem sie das Programm 231, das in der Hilfsspeichervorrichtung 23 gespeichert ist, ausführt oder die Entity-Datei, die das Lernmodell 237 bildet, ausliest.
Die Endoskopbilderfassungseinheit 211 erfasst das Endoskopbild 59. Die Steuereinheit 21 erfasst ein aufgenommenes Bild, das von einem Bildsensor, der an der distalen Spitze 443 des Endoskops 40 vorgesehen ist, aufgenommen wird. Das aufgenommene Bild wird als Bewegtbild erhalten und ist aus Standbildern einer Vielzahl von Einzelbildern, wie z. B. 60 Einzelbilder pro Sekunde, gebildet. Die Steuereinheit 21 führt verschiedene Arten der Bildverarbeitung wie z. B. eine Gammakorrektur, einen Weißabgleich und eine Shading-Korrektur an dem aufgenommenen Bild durch, erzeugt das Endoskopbild 59 in einem Zustand, in dem der Nutzer das Endoskopbild leicht betrachten kann und speichert das Endoskopbild in der Hilfsspeichervorrichtung 23. Die Endoskopbilderfassungseinheit 211 erfasst das erzeugte Endoskopbild 59. Es wird angemerkt, dass das Endoskopbild 59, das in die Endoskopbilderfassungseinheit 211 eingegeben wird, ein aufgenommenes Bild in einem Stadium sein kann, in dem verschiedene Arten von Bildverarbeitungen nicht durchgeführt wurden, oder ein Bild in einem Zwischenstadium des Erzeugens des Endoskopbildes 59 aus dem aufgenommenen Bild sein kann. Das erfasste Endoskopbild 59 wird in die Bildanalyseeinheit 214 eingegeben.
Die Endoskopartbestimmungseinheit 212 erfasst eine Endoskopartinformation basierend auf der Information, die aus dem Endoskop 40 erfasst wird. Die Endoskopartinformation ist eine Information bezüglich der Art des Endoskops 40, das an den Endoskopprozessor 20 angeschlossen ist. Die Endoskopartbestimmungseinheit 212 bestimmt die Art des Endoskops 40 anhand einer Steckverbinderform des Endoskops 40, das an den Endoskopprozessor 20 angeschlossen ist, einer Signalinformation, die aus dem Endoskop 40 erhalten wird, oder dergleichen, und erfasst die Endoskopartinformation. Die erfasste Endoskopartinformation wird in die Untersuchungspunktinformationserfassungseinheit 213 eingegeben.
Die Untersuchungspunktinformationserfassungseinheit 213 greift auf die Untersuchungspunkt-Datenbank 233 zu und erfasst eine Kandidateninformation, die den Untersuchungspunkt enthält, der der Endoskopartinformation entspricht. Darüber hinaus empfängt die Untersuchungspunktinformationserfassungseinheit 213 die Untersuchungspunkt-ID des Kontrollpunktes, der von dem Untersucher ausgewählt wird, und leitet die Untersuchungspunktinformation basierend auf der Kandidateninformation und dem von dem Untersucher gewählten Kontrollpunkt ab.
7 ist ein erläuterndes Diagramm zum Erläutern eines Ablaufs eines Festlegens einer Untersuchungspunktinformation. Die Untersuchungspunktinformationserfassungseinheit 213 liest die Kandidateninformation, die der erfassten Endoskopartinformation entspricht, aus der Untersuchungspunkt-Datenbank 233 aus und zeigt den Untersuchungspunkt, welcher der Kontrollpunkt ist, der in der Kandidateninformation enthalten ist, auf der Anzeigevorrichtung 50 über die Ausgabeeinheit 218 an (siehe 8). Der Untersuchungspunkt wird beispielsweise durch eine Kontrollpunktnummer angezeigt. Der Untersucher wählt oder ergänzt einen Kontrollpunkt unter den Kandidatenkontrollpunkten, die auf der Anzeigevorrichtung 50 angezeigt werden, gemäß einem Untersuchungszweck oder dergleichen.
Die Untersuchungspunktinformationserfassungseinheit 213 empfängt eine Eingabe aus der Tastatur 15, der Maus oder dergleichen und erfasst die Untersuchungspunkt-ID des ausgewählten Kontrollpunktes. Die Untersuchungspunktinformationserfassungseinheit 213 greift auf die Untersuchungspunkt-Datenbank 233 zu und spezifiziert den Untersuchungspunkt bezüglich des Kontrollpunktes basierend auf dem ausgewählten Kontrollpunkt. Der Untersuchungspunkt enthält einen ausgewählten Kontrollpunkt, einen Durchlaufpunkt bezüglich jedes Kontrollpunkts und dergleichen. Die Untersuchungspunktinformationserfassungseinheit 213 leitet die Untersuchungspunktinformation, die mit diesen Untersuchungspunkten verknüpft ist, aus der Untersuchungspunkt-Datenbank 233 ab. Die Untersuchungspunktinformationserfassungseinheit 213 speichert temporär die abgeleitete Untersuchungspunktinformation in der Hilfsspeichervorrichtung 23. Die Untersuchungspunktinformation wird in die Bildanalyseeinheit 214 eingegeben. Es wird angemerkt, dass diese Eingabevorgänge und Ausgabevorgänge unter Verwendung der Anzeigevorrichtung 251 und der Eingabeeinheit 252 des Touchpanels 25 erfolgen können.
Die Bildanalyseeinheit enthält eine Untersuchungsinhaltsbestimmungseinheit (Bestimmungseinheit) 215. Die Untersuchungsinhaltsbestimmungseinheit 215 führt eine Bildanalyse des Endoskopbilds 59 durch und bestimmt die Untersuchungspunktinformation, die dem Endoskop 40 entspricht. Die Untersuchungsinhaltsbestimmungseinheit 215 liefert das Endoskopbild 59 an das Lernmodell 237 als Eingabeinformation. Das Lernmodell 237 gibt die Untersuchungspunkt-ID, die in dem Endoskopbild enthalten ist, als Ausgabeinformation gemäß dem Endoskopbild 59 aus. Die Untersuchungsinhaltsbestimmungseinheit 215 bestimmt, ob das Endoskop 40 den Untersuchungspunkt erreicht hat oder nicht, auf der Basis dessen, ob die Untersuchungspunkt-ID, die aus dem Lernmodell 237 ausgegeben wird, der Untersuchungspunkt-ID entspricht, die in der Untersuchungspunktinformation enthalten ist, die von der Untersuchungspunktinformationserfassungseinheit 213 abgeleitet wurde, d.h. die Untersuchungspunkt-ID, die in dem Untersuchungszielabschnitt enthalten ist.
Die Untersuchungsinhaltsbestimmungseinheit 215 bestimmt, ob ein entsprechender Untersuchungsinhalt unter Verwendung des Endoskops 40 durchgeführt wurde oder nicht. Wenn das Endoskop 40 einen Kontrollpunkt erreicht hat, bestimmt die Untersuchungsinhaltsbestimmungseinheit 215, ob ein geeigneter Untersuchungsinhalt am Kontrollpunkt durchgeführt wurde oder nicht. Die Ausführung eines entsprechenden Untersuchungsinhalts bedeutet, dass beispielsweise an einem Kontrollpunkt der Steuerknopf 431 gedrückt wird und ein Aufnahmevorgang eines vorbestimmten Bildes erfolgt. Die Untersuchungsinhaltsbestimmungseinheit 215 bestimmt, ob ein Aufnahmevorgang am Kontrollpunkt auf der Basis einer Betätigungsinformation des Endoskops 40, einer Aufnahmehistorieninformation eines Bildes oder dergleichen durchgeführt wurde. Es wird angemerkt, dass der Untersuchungsinhalt nicht auf den Bildaufnahmevorgang beschränkt ist und beispielsweise ein Luftzuführungs- oder Wasserzuführungsvorgang, eine Entfernung eines fremden Objekts oder dergleichen sein kann. Darüber hinaus bestimmt die Untersuchungsinhaltsbestimmungseinheit 215 das Vorhandensein oder Nichtvorhandensein eines Auslassens eines Durchlaufs durch den Untersuchungspunkt basierend auf der Historie des Erreichens des Untersuchungspunkts. Die Untersuchungsinhaltsbestimmungseinheit 215 erfasst im Voraus eine Information einer Vielzahl von Untersuchungspunkten, die von dem Endoskop 40 erfasst werden sollen, als Untersuchungspunktinformation. Die Untersuchungspunktinformation umfasst eine Information, wie z. B. eine Durchlaufreihenfolge und eine Position des Untersuchungspunktes. In einem Fall, in dem der Untersuchungspunkt nicht aus dem Endoskopbild 59 in einer vorbestimmten Reihenfolge während der Untersuchung erfasst wird, bestimmt die Untersuchungsinhaltsbestimmungseinheit 215, dass der Durchlauf eines vorbestimmten Untersuchungspunktes ausgelassen wurde. Die Untersuchungsinhaltsbestimmungseinheit 215 erzeugt eine Mitteilungsinformation entsprechend dem Bestimmungsergebnis. Die Mitteilungsinformation des Bestimmungsergebnisses wird in die Ausgabeeinheit 218 eingegeben.
Die Untersuchungsinhaltsbestimmungseinheit 215 kann die Positionsinformation der distalen Spitze 443 des Endoskops 40 in dem Körper zum Zeitpunkt des Bestimmens des Untersuchungsinhalts erfassen. Es ist möglich, ein genaueres Bestimmungsergebnis zu erhalten, indem auf der Basis der Positionsinformation der distalen Spizte 443 und des Bildanalyseergebnisses bestimmt wird, ob das Endoskop 40 den Untersuchungspunkt erreicht hat. Obgleich es verschiedene Verfahren zum Erfassen der Positionsinformation der distalen Spitze 443 gibt, kann die Untersuchungsinhaltsbestimmungseinheit 215 die Positionsinformation beispielsweise auf der Basis der Einführgröße des Endoskops 40 bestimmen. Die Einführgröße des Einführteils 44 in den Körper wird durch den Vergleich mit dem Referenzpunkt in Bezug auf die vorherige Einführung erfasst. Die Untersuchungsinhaltsbestimmungseinheit 215 leitet die Positionsinformation der distalen Spitze 443 aus der Einführgröße des Endoskops 40 basierend auf Attributen wie Höhe und Gewicht des Probanden, die vorab erfasst werden, ab. Es wird angemerkt, dass in diesem Fall eine Vielzahl von Spulen in dem Einführteil 44 angeordnet ist, ein von den Spulen erzeugtes elektrisches Signal nach außen über eine Anschlussleitung ausgegeben wird, indem eine elektromagnetische Welle von außen empfangen wird, und die Form des Endoskops 40 kann basierend auf der Amplitude, der Phase und dergleichen des ausgegebenen elektrischen Signals erfasst werden. Durch Erfassen der Form des Endoskops 40 in dem Körper und durch Korrigieren der Positionsinformation basierend auf der Einführgröße des Endoskops 40, einschließlich Drehung, Krümmung und dergleichen, kann eine genaue Positionsinformation des Endoskops 40 in dem Körper erhalten werden. Basierend auf der Positionsinformation und dem Bildanalyseergebnis bestimmt die Untersuchungsinhaltsbestimmungseinheit 215 beispielsweise, dass der Untersuchungsinhalt am Untersuchungspunkt ausgelassen wurde, wenn der Untersuchungspunkt nicht erfasst wird, wenn die vorbestimmte Position durchlaufen wird.
Darüber hinaus kann die Untersuchungsinhaltsbestimmungseinheit 215 einen Sensor anordnen, der die Positionsinformation über die distale Spitze 443 erfasst, und die Positionsinformation der distalen Spitze 443 aus der Erfassungsinformation des Sensors ableiten. Beispielsweise erfasst die Untersuchungsinhaltsbestimmungseinheit 215 Signale, die die Messinformationen der Beschleunigung und der Drehwinkelgeschwindigkeit angeben und die aus einem Drei-Achsen-Beschleunigungssensor und einem Gyrosensor, die an der distalen Spitze 443 angeordnet sind, ausgegeben werden, und leitet die Positionsinformation der distalen Spitze 443 aus dem erfassten Erfassungsergebnis des Sensors ab.
Es wird angemerkt, dass das Verfahren der Bildanalyse nicht auf die Verwendung des Lernmodells 237 beschränkt ist und auch andere Verfahren eingesetzt werden können. Beispielsweise kann die Untersuchungsinhaltsbestimmungseinheit 215 auf der Basis der Merkmalsgröße des Endoskopbildes 59 und der Merkmalsgröße des Untersuchungspunktes, die vorab gespeichert wurden, unter Einsatz eines Pattern-Matching-Verfahrens (Musterabgleich) bestimmen, ob der Untersuchungspunkt in dem Endoskopbild 59 enthalten ist.
Die Ausgabeeinheit 218 erzeugt eine Anzeigebildschirminformation basierend auf verschiedenen Arten von Informationen, wie z. B. eine Kandidateninformation und eine Mitteilungsinformation eines Bestimmungsergebnisses, und gibt die erzeugte Anzeigebildschirminformation an die Anzeigevorrichtung 50 aus.
In diesem Ausführungsbeispiel ist die gemeinsame Nutzung jeder Funktionseinheit in der Verarbeitungsreihe ein Beispiel, und die vorliegende Erfindung ist nicht darauf beschränkt. Die Funktion jeder Funktionseinheit, einschließlich des Lernmodells 237, kann durch eine Steuereinheit (nicht gezeigt) eines externen Servers realisiert werden, der kommunikativ mit dem Endoskopprozessor 20 verbunden ist. Ferner können die Steuereinheit 21 des Endoskopprozessors 20 und die Steuereinheit des externen Servers als Funktionseinheit in einer Verarbeitungsreihe zusammenarbeiten, indem sie beispielweise eine Interprozesskommunikation durchführen.
8A und 8B sind schematische Diagramme, die ein Beispiel für einen Kontrollpunkteingabebildschirm zeigen. 8A zeigt ein Beispiel für einen Eingabebildschirm zum Empfangen einer Eingabe einer Auswahlinformation. Der Eingabebildschirm enthält ein Kandidateninformationsfeld 511, das eine Kandidateninformation des Untersuchungspunktes angibt, und ein Auswahlannahmefeld 512 zum Akzeptieren der Auswahl des Untersuchers aus den Kandidaten des Untersuchungspunkts. In dem Beispiel der 8A enthält der Eingabebildschirm eine Darstellung eines menschlichen Körpers einschließlich eines Untersuchungszielbereichs zum Durchführen einer endoskopischen Untersuchung, und die Kandidateninformation wird angezeigt, indem eine Kontrollpunkt-(Untersuchungspunkt-)Nummer und ein Kreis verwendet wird, der eine entsprechende Position in dem Körper angibt. Ferner enthält der Eingabebildschirm einen Eingabekasten 513, der das Kandidateninformationsfeld 511 einschließt, das von einer Vielzahl von Kontrollpunktnummern angegeben wird, und ein Kontrollkästchen des Auswahlannahmefeldes 512, das einen Auswahlvorgang des Untersuchers, der mit jeder Kontrollpunktnummer verknüpft ist, annimmt. Der Untersucher führt einen Auswahlvorgang eines Kontrollkästchens eines gewünschten Kontrollpunktes aus den Kontrollpunktkandidaten durch und legt den ausgewählten Kontrollpunkt fest.
Die Steuereinheit 21 greift auf die Untersuchungspunkt-Datenbank 233 zu und spezifiziert eine Vielzahl von Kandidatenkontrollpunkten, die in der Kandidateninformation enthalten sind, basierend auf der Endoskopartinformation. Die Steuereinheit 21 erzeugt eine Anzeigebildschirminformation, die Kandidatenkontrollpunkte enthält, und zeigt die Anzeigebildschirminformation auf der Anzeigevorrichtung 50 an, wie in 8a gezeigt. In 8A empfängt die Steuereinheit 21 einen Eingabevorgang der Untersuchungspunkt-ID des ausgewählten Kontrollpunktes aus der Tastatur 15, der Maus oder dergleichen. Die Steuereinheit 21 erzeugt Bildschirminformationen basierend auf der Untersuchungspunkt-ID des ausgewählten Kontrollpunktes, der erfasst wurde, und zeigt die Bildschirminformation auf der Anzeigevorrichtung 50 an, wie in 8B gezeigt. Auf dem Bildschirm wird nur der von dem Untersucher ausgewählte Kontrollpunkt zusammen mit einem Kreis angezeigt, der die Untersuchungsposition angibt, und wird der Darstellung des menschlichen Körpers überlagert und auf dieser angezeigt.
9 bis 11 sind schematische Diagramme, die ein Beispiel für einen Mitteilungsbildschirm zum Anzeigen einer Mitteilungsinformation zeigen. Die Mitteilungsinformation wird beispielsweise parallel zum Endoskopbild 59 auf einem Teil des Anzeigebildschirms der Anzeigevorrichtung 50 angezeigt. 9 zeigt ein Beispiel für einen Mitteilungsbildschirm zur Mitteilung, dass der Untersuchungsinhalt durchgeführt wurde. Der Mitteilungsbildschirm enthält einen Textkasten, der eine Mitteilungsinformation und eine Information über eine Darstellung, die die aktuelle Position des Endoskops 40 in dem Körper angibt, umfasst. Wenn bestimmt wird, dass ein entsprechender Untersuchungsinhalt an dem festgesetzten Untersuchungspunkt durchgeführt wurde, wird dem Untersucher eine Mitteilung, die eine Bestätigungsabschluss angibt, angezeigt. Der Mitteilungsbildschirm enthält einen Text, der Mitteilungsinhalte angibt, wie z. B. „Kontrollpunkt 02 wurde bestätigt“. Die Steuereinheit 21 führt eine Bestimmung basierend auf dem Endoskopbild 59 und der Untersuchungspunktinformation durch, und erfasst ein Bestimmungsergebnis bezüglich der Implementierung des Untersuchungsinhalts zu einem vorbestimmten Untersuchungspunkt. Eine Mitteilungs-Datenbank (nicht gezeigt) der Hilfsspeichervorrichtung 23 speichert Mitteilungsinhalte in Verbindung mit dem Bestimmungsergebnis. Die Steuereinheit 21 greift auf die Mitteilungs-Datenbank zu, erfasst eine Mitteilungsinformation gemäß dem Untersuchungspunkt und dem Bestimmungsergebnis und erzeugt eine Anzeigebildschirminformation, die die erfasste Mitteilungsinformation enthält. Die Steuereinheit 21 veranlasst die Anzeigevorrichtung 50, die Anzeigebildschirminformation, die die erzeugte Mitteilungsinformation enthält, anzuzeigen. Ferner erfasst die Steuereinheit 21 die Positionsinformation des Endoskops 40 auf der Basis des Untersuchungspunkts und erzeugt eine Bildschirminformation, die die aktuelle Position angibt.
10 zeigt ein Beispiel für einen Mitteilungsbildschirm zum Mitteilen, dass der Untersuchungsinhalt nicht durchgeführt wurde. Der Mitteilungsbildschirm enthält einen Textkasten, der eine Mitteilungsinformation und eine Information einer Darstellung enthält, die die aktuelle Position des Endoskops 40 in dem Körper angibt. Wenn bestimmt wird, dass ein entsprechender Untersuchungsinhalt am festgelegten Untersuchungspunkt nicht durchgeführt wurde, wird eine Mittelung, die den Untersucher zur erneuten Bestätigung auffordert, angezeigt. Auf dem Mitteilungsbildschirm ist ein Text „Kontrollpunkt 02 wurde durchlaufen. Da die Aufnahme nicht durchgeführt wurde, bitte erneut kontrollieren“ oder dergleichen, der den Mitteilungsinhalt angibt, enthalten. In einem Fall, in dem das Endoskopbild 59 nicht in einer vorbestimmten Reihenfolge erfasst wurde oder das Endoskopbild 59, das mit dem Untersuchungspunkt übereinstimmt, nicht an der vorbestimmten Position erfasst wurde, bestimmt die Steuereinheit 21, dass eine Möglichkeit einer Auslassung der Untersuchung besteht. In diesem Fall kann die Bewegung zum nächsten Untersuchungspunkt durch den Untersuchungspunkt hindurch verhindert werden, indem die Mitteilung, die zur erneuten Untersuchung auffordert, angezeigt wird.
11 zeigt ein Beispiel für einen Mitteilungsbildschirm zum Mitteilen des Erreichens der Umgebung des Untersuchungspunkts. Der Mitteilungsbildschirm enthält einen Textkasten, der eine Mitteilungsinformation und eine Information über eine Darstellung enthält, die die aktuelle Position des Endoskops 40 in dem Körper angibt. In einem Fall, in dem bestimmt wird, dass das Endoskop 40 die Umgebung des Untersuchungspunktes erreicht hat, wird eine Mitteilung, die angibt, dass der Untersuchungspunkt nahe ist, angezeigt. Auf dem Mitteilungsbildschirm ist ein Text „Annäherung an den Kontrollpunkt 02. Bitte achten Sie darauf, den Untersuchungspunkt nicht auszulassen“, der den Mitteilungsinhalt angibt, enthalten. In dem Diagnoseunterstützungssystem 100 enthält der Untersuchungspunkt nicht nur einen Kontrollpunkt, sondern auch den Bereich um den Kontrollpunkt herum. Indem beispielsweise die Mittelung am Untersuchungspunkt nahe dem Kontrollpunkt auf Ausgabe gesetzt wird, wird die Mitteilung zum Mitteilen des Erreichens des Bereichs um den Kontrollpunkt herum ausgegeben, und ein Auslassen der Untersuchung kann verhindert werden.
12 und 13 sind Flussdiagramme, die ein Beispiel für einen Verarbeitungsablauf zeigen, der von dem Diagnoseunterstützungssystem 100 durchgeführt wird. Wenn das Endoskop 40 an den Endoskopprozessor 20 angeschlossen ist, und das Programm 231 des Endoskopprozessors 20 aktiviert ist, führt die Steuereinheit 21 die folgende Verarbeitung durch. Die Steuereinheit 21 führt das in den 12 und 13 gezeigte Programm aus, zusammen mit einer Verarbeitung wie z. B. der Erzeugung des Endoskopbilds 59 und der Steuerung der Lichtquelle 33 und des Bildsensors, der an der distalen Spitze 443 des Endoskops 40 angeordnet ist.
Die Steuereinheit 21 erfasst eine Endoskopartinformation aus dem angeschlossenen Endoskop 40 (Schritt S 11). Die Steuereinheit 21 greift auf die Untersuchungspunkt-Datenbank 233 zu und erfasst eine Kandidateninformation, die den Untersuchungspunkt enthält, der der Art des Endoskops entspricht (Schritt S13). Die Kandidateninformation enthält eine Information über eine Vielzahl von Kandidatenkontrollpunkten. Um die Auswahleingabe des Untersuchers zu empfangen, erzeugt die Steuereinheit 21 die Eingabebildschirminformation, die die Kandidateninformation enthält, und zeigt die Eingabebildschirminformation auf der Anzeigevorrichtung 50 an (Schritt S15).
Die Steuereinheit 21 empfängt die Auswahl des Untersuchungspunkts (Kontrollpunkts) durch den Untersucher durch einen Eingabevorgang über die Tastatur 15, eine Maus oder dergleichen (Schritt S17) und erfasst die Untersuchungspunkt-ID des ausgewählten Kontrollpunkts (Schritt S 19). Die Steuereinheit 21 greift auf die Untersuchungspunkt-Datenbank 233 zu und erfasst eine Untersuchungspunktinformation, die dem Untersuchungsinhalt entspricht, basierend auf dem ausgewählten Kontrollpunkt (Schritt S21). Die Untersuchungspunktinformation enthält eine Information über den Untersuchungspunkt zwischen dem ausgewählten Kontrollpunkt und dem Kontrollpunkt, der aus dem Grad der Relevanz mit dem ausgewählten Kontrollpunkt abgeleitet wurde. Die Steuereinheit 21 speichert die erfasste Untersuchungspunktinformation in der Hilfsspeichervorrichtung 23 (Schritt S23).
Die endoskopische Untersuchung wird gestartet, und das Endoskop 40 fotografiert einen Untersuchungszielbereich. Die Steuereinheit 21 erfasst das Endoskopbild 59 (Schritt S31). Die Steuereinheit 21 gibt das Endoskopbild 59 an das Lernmodell 237 (Schritt S33) und spezifiziert die auszugebende Untersuchungspunkt-ID (Schritt S35). Es wird angemerkt, dass die Anzahl der in dem Endoskopprozessor 20 gespeicherten Lernmodelle 237 nicht auf ein Lernmodell beschränkt ist und eine Vielzahl von Lernmodellen entsprechend der Art des Endoskops vorbereitet werden können. In diesem Fall wird das Lernmodell gemäß der Endoskopartinformation ausgewählt. Darüber hinaus kann die Endoskopartinformation als eines der Elemente der Eingabeinformation eingegeben werden.
Die Steuereinheit 21 bestimmt, ob die distale Spitze 443 des Endoskops 40 den Untersuchungspunkt erreicht hat oder nicht (Schritt S37). Die Steuereinheit 21 greift auf die Hilfsspeichervorrichtung 23 zu und bestimmt, ob die Untersuchungspunkt-ID der Untersuchungspunktinformation, die zuvor ausgewählt und registriert wurde, mit der Untersuchungspunkt-ID übereinstimmt, die dem Endoskopbild 59 entspricht, das anhand des Ausgabewerts des Lernmodells 237 spezifiziert wurde.
Wenn bestimmt wird, dass die Untersuchungspunkt-IDs nicht übereinstimmen oder der Untersuchungspunkt in dem Endoskopbild 59 nicht enthalten ist, und somit das Endoskop 40 den vorab selektiv registrierten Untersuchungspunkt nicht erreicht hat (Schritt S37: NEIN), dann bestimmt die Steuereinheit 21, ob der Untersuchungspunkt ausgelassen wurde (Schritt S39). Die Steuereinheit 21 bestimmt basierend auf der Durchlaufreihenfolge, der Position des Untersuchungspunktes und dergleichen, die in der Untersuchungspunktinformation enthalten sind, ob der Untersuchungspunkt ausgelassen wurde. Wenn sich das Endoskop 40 zum nächsten Untersuchungspunkt bewegt, wird bestimmt, dass der Untersuchungspunkt nicht ausgelassen wurde (Schritt S39: NEIN). In diesem Fall bringt die Steuereinheit 21 die Verarbeitung voran zum Schritt S51. Wenn andererseits das Endoskopbild 59, das die Untersuchungspunkt-ID enthält, nicht in einer vorbestimmten Reihenfolge erfasst wird, oder wenn das Endoskopbild 59, das die Untersuchungspunkt-ID enthält, nicht an einer vorbestimmten Position erfasst wird, bestimmt die Steuereinheit 21, dass der Untersuchungspunkt, der bereits vorbei ist, ausgelassen wurde (Schritt S39: JA) und die Verarbeitung geht weiter zu Schritt S49.
Wenn die Untersuchungspunkt-ID der Untersuchungspunktinformation, die vorab ausgewählt und registriert wurde, mit der Untersuchungspunkt-ID übereinstimmt, die anhand des Ausgabewerts des Lernmodells 237 spezifiziert wurde, bestimmt die Steuereinheit 21, dass das Endoskop 40 den Untersuchungspunkt erreicht hat (Schritt S37: JA). Basierend auf der Untersuchungspunkt-ID bestimmt die Steuereinheit 21, ob der Untersuchungspunkt ein Kontrollpunkt ist (Schritt S41).
In einem Fall, in dem der Untersuchungspunkt, der in dem Endoskopbild 59 enthalten ist, ein anderer Untersuchungspunkt als der Kontrollpunkt ist (Schritt S41: NEIN), bestimmt die Steuereinheit 21, ob eine Mitteilung auf der Basis der Untersuchungspunktinformation auszugeben ist oder nicht (Schritt S43). Die Steuereinheit 21 greift auf die Information über das Vorhandensein oder Nichtvorhandensein der Ausgabe der Mitteilung, die in der Untersuchungspunktinformation 234 der Untersuchungspunkt-Datenbank 233 gespeichert ist, zu und bestimmt, ob der Untersuchungspunkt ein Ausgabeziel der Mitteilung ist. Wenn der Untersuchungspunkt nicht das Ausgabeziel der Mitteilung ist, bestimmt die Steuereinheit 21, die Mitteilung nicht auszugeben (Schritt S43: NEIN), und bringt die Verarbeitung voran zum Schritt S51. Wenn andererseits der Untersuchungspunkt das Ausgabeziel der Mitteilung ist, bestimmt die Steuereinheit 21, dass die Ausgabe der Mitteilung notwendig ist (Schritt S43: JA) und bringt die Verarbeitung zum Schritt S49 voran.
In einem Fall, in dem der Untersuchungspunkt, der in dem Endoskopbild 59 enthalten ist, ein Kontrollpunkt ist (Schritt S41: JA), bestimmt die Steuereinheit 21, ob ein entsprechender Untersuchungsinhalt durchgeführt wurde oder nicht (Schritt S45). Die Steuereinheit 21 bestimmt, ob die Abbildung am Untersuchungspunkt durchgeführt wurde, beispielsweise durch Erfassen des Vorhandenseins oder Nichtvorhandenseins des Aufnahmevorgangs des Endoskops 40. Wenn bestimmt wird, dass der Aufnahmevorgang durchgeführt wurde und ein entsprechender Untersuchungsinhalt durchgeführt wurde (Schritt S45: JA), speichert die Steuereinheit 21 eine Betriebshistorie des Endoskops 40 in der Hilfsspeichervorrichtung 23 (Schritt S47). Wenn andererseits bestimmt wird, dass der Aufnahmevorgang nicht durchgeführt wurde und ein entsprechender Untersuchungsinhalt nicht durchgeführt wurde (Schritt S45: NEIN), bringt die Steuereinheit 21 die Verarbeitung voran zum Schritt S49.
In einem Fall, in dem verschiedene Bestimmungsergebnisse bezüglich der Untersuchung am Untersuchungspunkt erfasst werden, wie z. B. die Ausführung eines entsprechenden Untersuchungsinhalts durch das Endoskop 40, das Auslassen des Untersuchungsinhalts, das Erreichen der Umgebung des Untersuchungspunktes oder das Auslassen am Untersuchungspunkt, gibt die Steuereinheit 21 eine Mitteilung des Bestimmungsergebnisses aus. Die Steuereinheit 21 erfasst das Bestimmungsergebnis und erzeugt eine Anzeigebildschirminformation, die die Mitteilungsinformation gemäß dem Bestimmungsergebnis unter Bezugnahme auf die Mitteilungs-Datenbank enthält. Die Steuereinheit 21 gibt die Anzeigebildschirminformation einschließlich der erzeugten Mitteilungsinformation an die Anzeigevorrichtung 50 aus (Schritt S49). Die Mitteilungsinformation, die auf der Anzeigevorrichtung 50 angezeigt wird, enthält eine Information bezüglich des Untersuchungsinhalts, wie z. B. einen Bestätigungsabschluss, eine Auslassung der Untersuchung und ein Erreichen der Umgebung des Untersuchungspunkts.
Die Steuereinheit 21 bestimmt, ob die Aufnahme beendet ist (Schritt S51). Wenn bestimmt wird, dass die Aufnahme nicht beendet ist (Schritt S51: NEIN), bringt die Steuereinheit 21 die Verarbeitung zu Schritt S31 zurück und erfasst ein neues Endoskopbild. Wenn bestimmt wird, dass die Aufnahme beendet ist (Schritt S51: JA), beendet die Steuereinheit 21 eine Verarbeitungsreihe.
Gemäß diesem Ausführungsbeispiel wird der Untersuchungsinhalt in Echtzeit auf der Basis des Endoskopbildes 59 erfasst und eine Mitteilung, die dem Erfassungsergebnis entspricht, wird ausgegeben. Da die Information bezüglich der Implementierung des Untersuchungsinhalts wirksam abgeleitet wurde, kann der Untersucher den Untersuchungsinhalt basierend auf der Mitteilungsinformation bestätigen.
(Zweites Ausführungsbeispiel)
Das zweite Ausführungsbeispiel unterscheidet sich von dem ersten Ausführungsbeispiel dadurch, dass der Endoskopprozessor 20 eine Bewegungsinformation eines Untersuchers erfasst und eine Mitteilung gemäß dem Skill-Level des Untersuchers ausgibt. 14 ist ein erläuterndes Diagramm zum Erläutern einer Konfiguration eines Diagnoseunterstützungssystems 200 gemäß dem zweiten Ausführungsbeispiel. Da die Hardware-Konfiguration in dem zweiten Ausführungsbeispiel ähnlich der des Diagnoseunterstützungssystems 200 in dem ersten Ausführungsbeispiel ist, werden gemeinsamen Konfigurationen die gleichen Bezugszeichen gegeben und eine detaillierte Beschreibung derselben entfällt. In dem zweiten Ausführungsbeispiel ist ferner eine Action-Learning-Datenbank 236 (Datenbank für Handlungsorientiertes Lernen) in der Hilfsspeichervorrichtung 23 des Endoskopprozessors 20 gespeichert.
15 ist ein Diagramm, das ein Inhaltsbeispiel für eine Information zeigt, die in der Action-Learning-Datenbank 236 gespeichert ist. Die Steuereinheit 21 sammelt eine Information bezüglich des Betriebs des Endoskops 40 gemäß der Endoskopart und dem Skill-Level und speichert die Information in der Action-Learning-Datenbank 236. Die Action-Learning-Datenbank 236 speichert eine Endoskopart, einen Skill-Level und eine Bewegungsinformation in Verbindung mit einer Bewegungsinformations-ID zum Identifizieren der Bewegungsinformation. Die Bewegungsinformation ist eine Information, die angibt, wie das Endoskop 40 zum Untersuchungszeitpunkt, mit dem ein vorbestimmter Skill-Level verknüpft ist, arbeitet, und umfasst beispielsweise eine Information wie z. B. eine Bewegungsreihenfolge und eine Bewegungszeit des Endoskops 40. Die Bewegungsinformation kann beispielsweise Bilddaten, Endoskopbetriebssignaldaten und dergleichen enthalten. Die Erfassung der Bewegungsinformation wird später beschrieben.
16 ist ein Funktionsblockdiagramm, das Funktionseinheiten zeigt, die in der Steuereinheit 21 enthalten sind. In dem zweiten Ausführungsbeispiel enthält die Steuereinheit 21 ferner eine Bewegungserkennungseinheit 216 und eine Action-Analyseeinheit 217 als Funktionseinheiten. Die Steuereinheit 21 implementiert die Funktionen der Bewegungserkennungseinheit 216 und der Action-Analyseeinheit 217 durch Ausführen des Programms 231, das in der Hilfsspeichervorrichtung 23 gespeichert ist.
In dem zweiten Ausführungsbeispiel erfasst die Untersuchungspunktinformationserfassungseinheit 213 die Untersuchungspunktinformation gemäß dem Skill-Level des Untersuchers. Das Einstellen des Untersuchungspunktes kann je nach Skill-Level des Untersuchers verschiedene Inhalte haben. Beispielsweise ist es in einem Fall, in dem ein Untersucher, der bezüglich einer endoskopischen Untersuchung unter Verwendung einer bestimmten Art von Endoskop unerfahren ist, eine Untersuchung durchführt, wünschenswert, die Untersuchung durchzuführen, indem alle der grundsätzlich festgelegten Untersuchungspunkte ohne Auslassung durchlaufen werden. Im Gegensatz dazu kann in einem Fall, in dem ein erfahrener Untersucher eine Untersuchung durchführt, anstelle des Durchführens des Untersuchungsinhalts an allen Untersuchungspunkten, die grundsätzlich festgelegt sind, die Untersuchung an den Untersuchungspunkten durchgeführt werden, wobei mehrere Untersuchungspunkte weggelassen werden. Darüber hinaus kann der Untersuchungspunkt, der entsprechend dem Skill-Level festgelegt wurde, verändert werden. In der Untersucher-Datenbank 232 wird der Ziel-Skill-Level des Untersuchers, der den Untersuchungspunkt als Bestimmungspunkt enthalten soll, in Verbindung mit der Untersuchungspunktinformation gespeichert.
Die Untersuchungspunktinformationserfassungseinheit 213 erfasst die Endoskopartinformation und den Skill-Level des Untersuchers, der die endoskopische Untersuchung durchführt. Der Untersucher gibt eine Untersucher-ID und dergleichen vorab auf dem Eingabebildschirm ein. Die Untersuchungspunktinformationserfassungseinheit 213 erfasst die Untersucher-ID und spezifiziert den Skill-Level, der mit dem Untersucher verknüpft ist, durch Bezugnahme auf die Untersucher-Datenbank 232. Die Untersuchungspunktinformationserfassungseinheit 213 greift auf die Untersuchungspunkt-Datenbank 233 zu, extrahiert eine Kandidateninformation gemäß der Endoskopartinformation und dem Ziel-Skill-Level und zeigt einen Kandidatenkontrollpunkt, der in der Kandidateninformation enthalten ist, auf der Anzeigevorrichtung 50 über die Ausgabeeinheit 218 an. Der Untersucher wählt einen Kontrollpunkt unter den Kandidatenkontrollpunkten, die auf der Anzeigevorrichtung 50 angezeigt werden, gemäß dem Untersuchungszweck, dem Skill-Level des Untersuchers oder dergleichen aus oder fügt ihn hinzu und legt den Kontrollpunkt fest. Die Untersuchungspunktinformationserfassungseinheit 213 empfängt eine Eingabe aus der Tastatur 15, der Maus oder dergleichen und erfasst die Untersuchungspunkt-ID des ausgewählten Kontrollpunktes.
Die Untersuchungspunktinformationserfassungseinheit 213 spezifiziert den Untersuchungspunkt unter Bezugnahme auf die Untersuchungspunkt-Datenbank 233 basierend auf der erfassten Untersuchungspunkt-ID des Kontrollpunktes und des Ziel-Skill-Levels. Zusätzlich zu dem festgelegten Kontrollpunkt umfasst der Untersuchungspunkt einen Bereich um den Kontrollpunkt herum, der gemäß dem Skill-Level zugefügt wurde, einen Durchlaufpunkt zwischen den Kontrollpunkten und dergleichen. Die Untersuchungspunkt-Datenbank 233 speichert den Untersuchungspunkt in Verbindung mit dem Ziel-Skill-Level. Die Untersuchungspunktinformationserfassungseinheit 213 leitet die Untersuchungspunktinformation, die mit diesen Untersuchungspunkten verknüpft ist, aus der Untersuchungspunkt-Datenbank 233 ab. Die Untersuchungspunktinformationserfassungseinheit 213 gibt die abgeleitete Untersuchungspunktinformation an die Bildanalyseeinheit 214 aus.
Die Bildanalyseeinheit 214 des zweiten Ausführungsbeispiels umfasst die Untersuchungsinhaltsbestimmungseinheit 215 und die Bewegungserkennungseinheit 216. Die Bewegungserkennungseinheit 216 führt eine Bildanalyse des Endoskopbildes 59 durch und erkennt die Bewegung des Endoskops 40 zum Untersuchungszeitpunkt. Als Bildanalyseverfahren kann beispielweise ein bekanntes Verfahren wie z. B. ein Musterabgleich eingesetzt werden.
17 ist ein erläuterndes Diagramm, das ein Beispiel für eine Bewegungserkennung zeigt. Die Bewegungserkennungseinheit 216 extrahiert eine Information wie z. B. das Vorhandensein oder Nichtvorhandensein, die Position und die Größe des Untersuchungspunktes in dem Abbildungsbereich des Endoskopbilds 59 basierend auf der Merkmalsgröße des Endoskopbildes 59 und der Merkmalsgröße des Untersuchungspunktes, der vorab gespeichert wurde. Ferner führt die Bewegungserkennungseinheit 216 eine Bewegungserkennung auf der Basis der Bildmerkmalsgrößen einer Vielzahl von Einzelbildern des Endoskopbildes 59 durch.
17 zeigt ein Beispiel für ein erstes Einzelbild, ein zweites Einzelbild und ein drittes Einzelbild, die in dem Endoskopbild 59 enthalten sind. Die Bewegungserkennungseinheit 216 erfasst Einzelbilder des Endoskopbildes 59 in der Reihenfolge des ersten Einzelbildes, des zweiten Einzelbildes und des dritten Einzelbildes. Das heißt, das Endoskop 40 bewegt den Untersuchungsbereich in der Reihenfolge der Aufnahme in dem ersten Einzelbild, dem zweiten Einzelbild und dem dritten Einzelbild. Die Bewegungserkennungseinheit 216 erkennt die Bewegung des Endoskops durch Abgleichen der Bildmerkmalsgröße, die in jedem Einzelbild enthalten ist. Beispielsweise enthält das erste Einzelbild einen Merkmalspunkt a auf der oberen linken Seite der Einzelbildmitte, einen Merkmalspunkt b auf der unteren linken Seite und einen Merkmalspunkt c auf der rechten Seite der Mitte. In dem zweiten Einzelbild verschwindet der Merkmalspunkt b, der Merkmalspunkt a ist auf der oberen linken Seite enthalten, der Merkmalspunkt c ist in der Mitte enthalten und der neue Merkmalspunkt d ist auf der oberen rechten Seite enthalten. In dem dritten Einzelbild ist der Merkmalspunkt c vergrößert und angezeigt, und der Merkmalspukt a und der Merkmalspunkt d verschwinden. Folglich wird aus dem ersten Einzelbild und dem zweiten Einzelbild ein Vorgang, der angibt, dass sich die distale Spitze des Endoskops 40 nach rechts bewegt hat, erkannt. Darüber hinaus wird ein Vorgang, der angibt, dass sich die distale Spitze 443 des Endoskops 40 an einen Aufmerksamkeitsbereich, der den Merkmalspunkt b enthält, angenähert hat, aus dem zweiten Einzelbild und dem dritten Einzelbild erkannt. Auf diese Weise detektiert die Bewegungserkennungseinheit 216 die Bewegungsinformation. Es wird angemerkt, dass die Bewegungserkennungseinheit 216 ein Betätigungssignal des Endoskops 40 erfassen und eine Bewegung auf der Basis einer Betätigungshistorie detektieren kann. Zusätzlich zu der Information bezüglich des Bewegungspfades detektiert die Bewegungserkennungseinheit 216 eine Information bezüglich der Bewegungszeit, die zur Bewegung zwischen den Untersuchungspunkten, zwischen den Durchlaufpunkten und dergleichen erforderlich ist. Die detektierte Bewegungsinformation wird in die Action-Analyseeinheit 217 eingegeben.
Die Action-Analyseeinheit 217 führt eine Action-Analyse des Untersuchers unter Bezugnahme auf die Action-Learning-Datenbank 236 auf der Basis der erfassten Bewegungsinformation durch. Die Action-Analyseeinheit 217 evaluiert den Skill-Level des Untersuchers durch die Action-Analyse, und gibt ein Analyseergebnis gemäß dem Skill-Level aus. Beispielsweise vergleicht die Action-Analyseeinheit 217 die erfasste Bewegungsinformation des Untersuchers mit der Bewegungsinformation, die mit verschiedenen Skill-Levels verknüpft ist, die in der Action-Learning-Datenbank 236 enthalten sind. Die Action-Analyseeinheit 217 spezifiziert eine Bewegungsinformations-ID, die eine Bewegungsinformation mit einer hohen Übereinstimmungsrate hat, und erfasst einen Skill-Level, der mit der Bewegungsinformations-ID verknüpft ist. Die Action-Analyseeinheit 217 spezifiziert einen Skill-Level aus der Betriebshistorie des Endoskops 40, der für den Betrieb erforderlichen Zeit und dergleichen auf der Basis der Bewegungsinformation. Beispielsweise kann ein Untersucher, der in der endoskopischen Untersuchung erfahren ist, das Endoskop 40 von einem Untersuchungspunkt zum nächsten Untersuchungspunkt in einer kurzen Zeit ohne eine Abweichung im Bewegungspfad des Endoskops 40 bewegen.
Die Action-Analyseeinheit 217 vergleicht den Skill-Level, der in Echtzeit aus dem Analyseergebnis erhalten wurde, mit dem Skill-Level des Untersuchers, der vorab erfasst wurde, und bestimmt, ob der Untersuchungspunkt geändert wird oder nicht. Die Action-Analyseeinheit 217 leitet eine Analyseergebnisinformation, die ein Bestimmungsergebnis enthält, ab. Die Analyseergebnisinformation wird in die Untersuchungspunktinformationserfassungseinheit 213 eingegeben. Wenn es erforderlich ist, den Untersuchungspunkt basierend auf der erfassten Analyseergebnisinformation zu ändern, erfasst die Untersuchungspunktinformationserfassungseinheit 213 die Untersuchungspunktinformation entsprechend dem neu abgeleiteten Skill-Level.
Es wird angemerkt, dass die Analyseeinheit 217 den Skill-Level des Untersuchers unter Verwendung eines anderen Modells für Maschinelles Lernen bestimmen kann. Wenn das Endoskopbild 59 eingegeben wird, erzeugt die Action-Analyseeinheit 217 vorab ein Lernmodell, das eine Information ausgibt, die den Skill-Level angibt, und speichert das Lernmodell in der Hilfsspeichervorrichtung 23. Das Lernmodell wird unter Verwendung von Daten erzeugt, die endoskopische Bilder zum Untersuchungszeitpunkt durch Untersucher mit verschiedenen Skill-Levels sammeln. In einem Fall, in dem Bewegtbilddaten, einschließlich einer Vielzahl von Endoskopbildern, eingegeben werden, gibt das Lernmodell den Skill-Level des Untersuchers aus, der anhand des Bewegungsinhalts geschätzt wird, der aus den Bildinformationen erhalten wird. Die Action-Analyseeinheit 217 erfasst die Information, die den Skill-Level angibt, aus dem Endoskopbild 59 unter Verwendung des Lernmodells. Die in das Lernmodell eingegebene Information kann beispielsweise eine Information, wie z. B. ein Betriebssignal zusätzlich zu dem Endoskopbild 59 enthalten.
18 und 19 sind Flussdiagramme, die ein Beispiel für einen Verarbeitungsablauf zeigen, der von dem Diagnoseunterstützungssystem 200 ausgeführt wird. Prozesse, die mit denen in 12 und 13 des ersten Ausführungsbeispiels gemeinsam sind, sind mit den gleichen Schrittzahlen bezeichnet, und deren detaillierte Beschreibungen entfallen. Wenn das Endoskop 40 mit dem Endoskopprozessor 20 verbunden ist und das Programm 231 des Endoskopprozessors 20 aktiviert ist, führt die Steuereinheit 21 die folgende Verarbeitung aus.
Die Steuereinheit 21 erfasst eine Untersucherinformation eines Untersuchers, der eine Untersuchung durchführt (Schritt S61). Die Steuereinheit 21 empfängt einen Eingabevorgang aus der Tastatur 15, einer Maus oder dergleichen und erfasst eine Untersucher-ID. Die Steuereinheit 21 greift auf die Untersucher-Datenbank 232 zu, um eine Untersucherinformation, die den Skill-Level des Untersuchers enthält, zu erfassen.
Die Steuereinheit 21 erfasst die Endoskopartinformation (Schritt S 11). Die Steuereinheit 21 greift auf die Untersuchungspunkt-Datenbank 233 zu und erfasst eine Kandidateninformation, die eine Vielzahl von Untersuchungspunkten gemäß der Art des Endoskops und dem Skill-Level des Untersuchers enthält (Schritt S13). Die Steuereinheit 21 veranlasst die Anzeigevorrichtung 50, die eingegebene Bildschirminformation einschließlich der Kandidateninformation anzuzeigen (Schritt S15). Es wird angemerkt, dass die Steuereinheit 21 die Anzeigeeinheit 50 veranlassen kann, die Kandidateninformation nur basierend auf der Endoskopartinformation ungeachtet des Skill-Levels anzuzeigen.
Die Steuereinheit 21 empfängt die Auswahl des Untersuchungspunktes durch den Untersucher (Schritt S17) und erfasst die Untersuchungspunkt-ID des ausgewählten Kontrollpunktes (Schritt S19). Die Steuereinheit 21 greift auf die Untersuchungspunkt-Datenbank 233 zu und erfasst eine Untersuchungspunktinformation, die dem Untersuchungsinhalt entspricht, basierend auf dem ausgewählten Kontrollpunkt und dem Skill-Level (Schritt S21). Die Untersuchungspunktinformation enthält eine Untersuchungspunktinformation, wie z. B. einen Kontrollpunkt und einen Bereich um den Kontrollpunkt herum, entsprechend dem Skill-Level.
Die endoskopische Untersuchung wird gestartet, und das Endoskop 40 fotografiert einen Untersuchungszielbereich. Die Steuereinheit 21 führt die Verarbeitung vom Schritt S31 zum Schritt S49 durch, wie im ersten Ausführungsbeispiel, und gibt eine Mitteilung entsprechend dem Untersuchungsinhalt aus. Der Untersuchungspunkt, der das Ausgabeziel der Mitteilung sein soll, ändert sich je nach Skill-Level. In einem Fall, in dem ein ungeübter Untersucher eine Untersuchung durchführt, ist beispielsweise nicht nur ein Kontrollpunkt sondern auch ein Bereich um den Kontrollpunkt herum in einem Mitteilungsausgabeziel enthalten. Die Mitteilung wird vorab zum Zeitpunkt des Erreichens der Nähe des Kontrollpunktes ausgegeben und die Aufmerksamkeit des Untersuchers wird erregt, sodass ein Auslassen der Untersuchung verhindert werden kann. In einem Fall, in dem der Skill-Level des Untersuchers hoch ist, wird die Mitteilung vor dem Kontrollpunkt nicht ausgegeben, und die Mitteilung wird erst ausgegeben, wenn die Untersuchung am Kontrollpunkt abgeschlossen ist.
Als Nächstes detektiert die Steuereinheit 21 eine Bewegungsinformation basierend auf dem Endoskopbild 59 (Schritt S63). Die Steuereinheit 21 detektiert eine Bewegungsinformation auf der Basis einer Bildanalyse des Endoskopbildes 59, eines Betriebssignals und dergleichen. Die Steuereinheit 21 führt eine Action-Analyse unter Bezugnahme die die Action-Learning-Datenbank 236 auf der Basis der detektierten Bewegungsinformation durch. Die Steuereinheit 21 spezifiziert den Skill-Level des Untersuchers, der die Bewegungsinformation in Echtzeit widerspiegelt, durch die Action-Analyse. Die Steuereinheit 21 leitet ein Analyseergebnis ab, das den spezifizierten Skill-Level enthält (Schritt S65).
Basierend auf dem Analyseergebnis erfasst die Steuereinheit 21 eine Information darüber, ob der Skill-Level des Untersuchers geändert werden soll oder nicht (Schritt S67). Wenn sich der Skill-Level, der in der Untersucherinformation enthalten ist, die vorab erfasst wurde, von dem Skill-Level unterscheidet, der in dem Analyseergebnis enthalten ist, oder wenn der Unterschied des Skill-Levels gleich oder größer als ein Schwellenwert ist (Schritt S67: NEIN), bestimmt die Steuereinheit 21, dass der Skill-Level geändert wird. Die Steuereinheit 21 führt die Verarbeitung zu Schritt S21 zurück und erfasst eine Untersuchungspunktinformation basierend auf dem neu abgeleiteten Skill-Level. Beispielsweise wird in einem Fall, in dem der Skill-Level auf einen niedrigen Zahlenwert geändert wird, die Untersuchungspunktinformation geändert, sodass eine Mitteilung in einem Bereich um den Kontrollpunkt herum zusätzlich zum Kontrollpunkt ausgegeben wird. Wenn andererseits der Skill-Level, der in der Untersucherinformation enthalten ist, die vorab erfasst wurde, der gleiche ist wie der Skill-Level, der in dem Analyseergebnis enthalten ist, oder wenn der Unterschied des Skill-Levels kleiner als der Schwellenwert ist (Schritt S67: JA), bestimmt die Steuereinheit 21, dass der Skill-Level nicht geändert wird, und führt die Verarbeitung voran zum nächsten Schritt S51.
Die Steuereinheit 21 bestimmt, ob die Aufnahme abgeschlossen ist oder nicht (Schritt S51). Wenn bestimmt wird, dass die Aufnahme nicht abgeschlossen ist (Schritt S51: NEIN), führt die Steuereinheit 21 die Verarbeitung zu Schritt S31 zurück und erfasst ein neues endoskopisches Bild. Wenn bestimmt wird, dass die Aufnahme abgeschlossen ist (Schritt S51: JA), beendet die Steuereinheit 21 eine Verarbeitungsreihe.
Gemäß diesem Ausführungsbeispiel wird die Mitteilung bezüglich des Untersuchungsinhalts auf der Basis des Ergebnisses der Action-Analyse ausgegeben, die in Echtzeit durchgeführt wird. Da die Information bezüglich der Implementation des Untersuchungsinhalts effizient abgeleitet wird, ist es möglich, eine Information gemäß dem Untersuchungsinhalt des Untersuchers bereitzustellen.
Die offenbarten Ausführungsbeispiele, wie oben beschrieben, sollen in jeder Hinsicht als beispielhaft angesehen werden, ohne einschränkend zu sein. Die technischen Merkmale, die in den Ausführungsbeispielen beschrieben werden, können miteinander kombiniert werden, und der Schutzumfang der vorliegenden Erfindung soll alle Modifizierungen, die im Schutzumfang der Ansprüche liegen und die dem Schutzumfang der Ansprüche entsprechen, umfassen.
Bezugszeichenliste

20: Endoskopprozessor
21: Steuereinheit
211: Endoskopbilderfassungseinheit
212: Endoskopartbestimmungseinheit
213: Untersuchungspunktinformationserfassungseinheit
214: Bildanalyseeinheit
215: Untersuchungsinhaltsbestimmungseinheit
216: Bewegungserkennungseinheit
217: Action-Analyseeinheit
218: Ausgabeeinheit
23: Hilfsspeichervorrichtung
231: Programm
232: Untersucher-Datenbank
233: Untersuchungspunkt-Datenbank
234: Untersuchungspunktinformation
235: Kandidateninformation
236: Action-Learning-Datenbank
237: Lernmodell
40: Endoskop
50: Anzeigevorrichtung
59: Endoskopbild
100, 200: Diagnoseunterstützungssystem

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017108792 A [0005]

Claims

Computerprogramm zum Veranlassen eines Computers, auszuführen: Erfassen einer Untersuchungspunktinformation bezüglich eines Untersuchungspunkts, der in einem Untersuchungszielbereich enthalten ist, unter Verwendung eines Endoskops; Erfassen eines von dem Endoskop aufgenommenen Endoskopbildes; Bestimmen auf der Basis einer Bildanalyse des erfassten Endoskopbildes, ob das Endoskop den Untersuchungspunkt erreicht hat oder nicht; und Ausgeben einer Mitteilung, wenn das Endoskop den Untersuchungspunkt erreicht hat.
Computerprogramm nach Anspruch 1, wobei die Mitteilung eine Information bezüglich eines Untersuchungsinhalts am Untersuchungspunkt enthält.
Computerprogramm nach Anspruch 1 oder 2, zum Ausführen: Erfassen eines auszugebenden Untersuchungspunktes durch Eingeben eines Endoskopbildes in ein Lernmodell, das den Untersuchungspunkt, der dem Endoskopbild entspricht, ausgibt, wenn das Endoskopbild eingegeben wird; und Bestimmen, ob das Endoskop den Untersuchungspunkt erreicht hat, basierend auf dem erfassten Untersuchungspunkt und der erfassten Untersuchungspunktinformation bezüglich des Untersuchungspunktes.
Computerprogramm nach einem der Ansprüche 1 bis 3, zum Ausführen: Ausgeben der Mitteilung, wenn ein vorbestimmter Untersuchungsinhalt am Untersuchungspunkt nicht durchgeführt wird.
Computerprogramm nach einem der Ansprüche 1 bis 4, zum Ausführen: Erfassen eines Skill-Levels eines die Untersuchung durchführenden Untersuchers in Bezug auf die Untersuchung; und Ändern eines Inhalts der Mitteilung auf der Basis des erfassten Skill-Levels.
Computerprogramm nach einem der Ansprüche 1 bis 5, zum Ausführen: Erfassen einer Bewegungsinformation eines Untersuchers, der die Untersuchung durchführt, auf der Basis des Endoskopbildes oder eines Betriebssignal des Endoskops.
Computerprogramm nach Anspruch 6, zum Ausführen: Ableiten eines Skill-Levels des Untersuchers in Bezug auf die Untersuchung gemäß einem Ausführungsinhalt der Untersuchung basierend auf der erfassten Bewegungsinformation.
Computerprogramm nach Anspruch 7, zum Ausführen: Erfassen der Untersuchungspunktinformation auf der Basis des abgeleiteten Skill-Levels in Bezug auf die Untersuchung gemäß dem Ausführungsinhalt der Untersuchung.
Computerprogramm nach einem der Ansprüche 1 bis 8, zum Ausführen: Anzeigen einer Vielzahl von vorab gespeicherten Kandidaten der Untersuchungspunktinformation; und Empfangen der Auswahl von einem Untersucher, der die Untersuchung durchführt, und Bestimmen der Untersuchungspunktinformation, die der Untersuchung entspricht.
Computerprogramm nach einem der Ansprüche 1 bis 9, zum Ausführen: Spezifizieren einer Art des Endoskops, das für die Untersuchung verwendet wird; und Erfassen der Untersuchungspunktinformation, die der spezifizierten Art des Endoskops entspricht.
Prozessor für ein Endoskop, umfassend: eine Untersuchungspunktinformationserfassungseinheit, die eine Untersuchungspunktinformation bezüglich eines Untersuchungspunktes erfasst, der in einem Untersuchungszielbereich enthalten ist, unter Verwendung eines Endoskops; eine Endoskopbilderfassungseinheit, die ein Endoskopbild erfasst, das von dem Endoskop aufgenommen wird; eine Bestimmungseinheit, die auf der Basis einer Bildanalyse des erfassten Endoskopbildes bestimmt, ob das Endoskop den Untersuchungspunkt erreicht hat oder nicht; und eine Ausgabeeinheit, die eine Mitteilung ausgibt, wenn das Endoskop den Untersuchungspunkt erreicht hat.
Prozessor für ein Endoskop nach Anspruch 11, wobei die Bestimmungseinheit ein Endoskopbild in ein Lernmodell eingibt, das einen Untersuchungspunkt ausgibt, der dem Endoskopbild entspricht, wenn das Endoskopbild eingegeben wird, und den auszugebenden Untersuchungspunkt erfasst, und wobei die Bestimmungseinheit bestimmt, ob das Endoskop den Untersuchungspunkt erreicht hat, basierend auf dem erfassten Untersuchungspunkt und der erfassten Untersuchungspunktinformation bezüglich des Untersuchungspunktes.
Informationsverarbeitungsverfahren, umfassend: Erfassen einer Untersuchungspunktinformation bezüglich eines Untersuchungspunktes, der in einem Untersuchungszielbereich enthalten ist, unter Verwendung eines Endoskops; Erfassen eines von dem Endoskop aufgenommenen Endoskopbildes; Bestimmen auf der Basis einer Bildanalyse des erfassten Endoskopbildes, ob das Endoskop den Untersuchungspunkt erreicht hat oder nicht; und Ausgeben einer Mittelung, wenn das Endoskop den Untersuchungspunkt erreicht hat.