DE112019004084T5

DE112019004084T5 - Endoskopprozessor, informationsverarbeitungsvorrichtung, endoskopsystem, programm und informationsverarbeitungsverfahren

Info

Publication number: DE112019004084T5
Application number: DE112019004084.7T
Authority: DE
Inventors: Toshio Tachibana
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2019-03-27
Filing date: 2019-03-27
Publication date: 2021-05-06
Also published as: US11944262B2; US20220000337A1; CN112566540B; CN112566540A; JP6883662B2; JPWO2020194568A1; WO2020194568A1

Abstract

Bereitstellung eines Endoskopprozessors (2) und dergleichen, der die Aggregationsergebnisse von Läsionen für jeden untersuchten Bereich ausgeben kann. Der Endoskopprozessor (2) gemäß einem Aspekt schließt eine Bilderfassungseinheit, die ein aufgenommenes Bild von einem Dickdarmendoskop (1) erfasst, eine Bereichsidentifikationseinheit, die einen Bereich in einem Dickdarm basierend auf dem von der Bilderfassungseinheit erfassten Bild identifiziert, eine Polypenextraktionseinheit, die einen Polypen aus dem aufgenommenen Bild extrahiert, eine Aggregationseinheit, die die Anzahl der Polypen für jeden von der Bereichsidentifikationseinheit identifizierten Bereich aggregiert, und eine Ausgabeeinheit ein, die ein Endoskopbild basierend auf dem aufgenommenen Bild und einem durch die Aggregationseinheit aggregierten Aggregationsergebnis ausgibt.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft einen Endoskopprozessor, eine Informationsverarbeitungsvorrichtung, ein Endoskopsystem, ein Programm und ein Informationsverarbeitungsverfahren.
Stand der Technik
Seit den letzten Jahren steht eine Technik zur Verfügung, bei der ein Bericht gleichzeitig mit der endoskopischen Untersuchung ausgegeben wird. Beispielsweise offenbart die Patentliteratur 1 eine medizinische Bildaufzeichnungsvorrichtung, die die für die Berichterstellung erforderliche Zeit verkürzt und die Arbeitslast verringert, indem die Daten, über die jede medizinische Vorrichtung verfügt, geteilt werden.
Literaturliste
Patentliteratur
Patentliteratur 1: JP 2004-350734 A
Kurzdarstellung der Erfindung
Technisches Problem
Bei der Erfindung gemäß Patentliteratur 1 wird jedoch ein Bericht erstellt, indem automatisch eine Läsion in einem Skizzendiagramm eines Untersuchungsbereichs und das endoskopische Betrachtungsbild der Läsion verknüpft werden, jedoch ist das Aggregationsergebnis der Läsion (beispielsweise ein Polyp usw.) nicht im Bericht enthalten.
Ein Aspekt besteht darin, einen Endoskopprozessor und dergleichen bereitzustellen, der in der Lage ist, das Aggregationsergebnis der Läsion für jeden Untersuchungsbereich auszugeben.
Lösung des Problems
Ein Endoskopprozessor gemäß einem Aspekt schließt eine Bilderfassungseinheit, die ein aufgenommenes Bild von einem Dickdarmendoskop erfasst, eine Bereichsidentifikationseinheit, die einen Bereich eines Dickdarms basierend auf dem von der Bilderfassungseinheit erfassten aufgenommenen Bild identifiziert, eine Polypenextraktionseinheit, die einen Polypen aus dem aufgenommenen Bild extrahiert, eine Aggregationseinheit, die die Anzahl der Polypen für jeden von der Bereichsidentifikationseinheit identifizierten Bereich aggregiert, und eine Ausgabeeinheit, die ein Endoskopbild basierend auf dem aufgenommenen Bild und einem von der Aggregationseinheit aggregierten Aggregationsergebnis ausgibt, ein.
Vorteilhafte Wirkungen der Erfindung
In einem Aspekt ist es möglich, die Aggregationsergebnisse einer Läsion für jeden Untersuchungsbereich auszugeben.
Figurenliste

1 ist ein schematisches Diagramm, das ein Konfigurationsbeispiel für ein Endoskopsystem für den Dickdarm darstellt, das die Anzahl der Polypen für jeden Bereich des Dickdarms aggregiert.
2 ist eine Außenansicht eines Endoskops.
3 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für einen Prozessor darstellt.
4 ist ein erläuterndes Diagramm, das ein Beispiel für ein Aufzeichnungslayout einer Patienten-DB darstellt.
5 ist ein erläuterndes Diagramm, das ein Beispiel für ein Aufzeichnungslayout einer Aggregations-DB darstellt.
6 ist ein erläuterndes Diagramm, das ein Beispiel für ein Aufzeichnungslayout einer Polypen-DB darstellt.
7 ist ein erläuterndes Diagramm zur Erklärung der Bereiche im Dickdarm.
8 ist ein erläuterndes Diagramm zur Erklärung eines Polypen im Dickdarm.
9 ist ein schematisches Diagramm, das die Morphologie eines Polypen darstellt.
10 ist ein erläuterndes Diagramm zur Erklärung eines Bereichsidentifikationsmodells.
11 ist ein erläuterndes Diagramm zur Erklärung eines Polypenextraktionsverfahrens im Überblick unter Verwendung eines Polypenextraktionsmodells.
12 ist ein Flussdiagramm, das ein Gesamtverarbeitungsverfahren darstellt, wenn die Anzahl von Polypen für jeden Bereich im Dickdarm aggregiert wird.
13 ist ein Flussdiagramm, das ein Verarbeitungsverfahren einer Unterroutine eines Verfahrens zum Aggregieren der Anzahl von Polypen für jeden Bereich darstellt.
14A ist ein schematisches Diagramm, das die Anzahl und die kumulative Anzahl von Polypen darstellt, die für jeden Bereich aggregiert werden.
14B ist ein Graph, der die Beziehung zwischen jedem Bereich und der Anzahl von Polypen in jedem Bereich darstellt.
15 ist ein erläuterndes Diagramm, das ein Beispiel für ein Aufzeichnungslayout einer Aggregations-DB einer ersten Modifikation darstellt.
16 ist ein Flussdiagramm, das ein Verarbeitungsverfahren einer Unterroutine eines Verfahrens zum Aggregieren der Anzahl von Polypen für jeden Teilbereich darstellt.
17 ist ein Graph, der die Beziehung zwischen jedem Teilbereich und der Anzahl von Polypen in jedem Teilbereich darstellt.
18 ist ein erläuterndes Diagramm, das ein Beispiel für ein Aufzeichnungslayout der Aggregations-DB einer zweiten Ausführungsform darstellt.
19 ist ein erläuterndes Diagramm, das ein Beispiel für ein Aufzeichnungslayout der Polypen-DB gemäß der zweiten Ausführungsform darstellt.
20 ist ein Flussdiagramm, das ein Verarbeitungsverfahren einer Unterroutine eines Verfahrens zum Aggregieren der Anzahl der extrahierten Polypen und der Häufigkeit der Resektionen für jeden Teilbereich darstellt.
21 ist ein Diagramm, das die Beziehung zwischen jedem Bereich und der Anzahl der extrahierten Polypen und die Häufigkeit der Resektionen für jeden Bereich darstellt.
22 ist ein erläuterndes Diagramm, das ein Beispiel für ein Aufzeichnungslayout der Polypen-DB einer dritten Ausführungsform darstellt.
23 ist ein Flussdiagramm, das ein Verarbeitungsverfahren zum Anzeigen einer Betrachtungsbedingung für einen Polypen darstellt.
24 ist ein schematisches Diagramm zum Anzeigen von Betriebsinformationen, die während der endoskopischen Untersuchung durchgeführt werden, in einem Registerkartenformat.
25 ist ein Graph, der die Anzahl der extrahierten Polypen und die Anzahl der vorherigen Extraktionen gleichzeitig für jeden Bereich darstellt.
26 ist ein Funktionsblockdiagramm, das den Betrieb des Prozessors der vorstehend beschriebenen Ausführungsformen darstellt.

Beschreibung von Ausführungsformen
Nachfolgend wird die Erfindung unter Bezugnahme auf die Zeichnungen, die Ausführungsformen davon veranschaulichen, detailliert beschrieben.
(Erste Ausführungsform)
Die erste Ausführungsform betrifft einen Modus, in dem die Anzahl der Polypen für jeden Bereich des Dickdarms aus dem aufgenommenen, vom Endoskop für den Dickdarm erfassten Bildes aggregiert wird und das Aggregationsergebnis ausgegeben wird.
1 ist ein schematisches Diagramm, das ein Konfigurationsbeispiel für ein Endoskopsystem für den Dickdarm darstellt, das die Anzahl der Polypen für jeden Bereich des Dickdarms aggregiert. Das in 1 dargestellte System schließt ein Dickdarmendoskop 1, das in den unteren Gastrointestinaltrakt (Dickdarm) eines Körpers eingeführt wird, um ein Bild aufzunehmen, und ein elektrisches Signal eines Betrachtungsziels ausgibt, einen Endoskopprozessor 2, der das vom Dickdarmendoskop 1 ausgegebene elektrisches Signal in ein Videosignal umwandelt, und eine Anzeigevorrichtung 3 ein, die das aufgenommene Bild und dergleichen des Betrachtungsziels anzeigt. Jede Vorrichtung sendet und empfängt das elektrische Signal, das Videosignal und dergleichen mittels eines Verbinders.
Das Dickdarmendoskop 1 ist ein Instrument, das einen Einführabschnitt mit einem Bildsensor an der Spitze vom Anus aus einführt und eine Diagnose oder Behandlung vom Rektum bis zum Ende des Dickdarms durchführt. Das Dickdarmendoskop 1 überträgt das vom Bildsensor an der Spitze erfasste elektrische Signal des Betrachtungsziels an den Prozessor 2. Im Folgenden wird der Kürze halber das Dickdarmendoskop 1 als Endoskop 1 bezeichnet.
Der Endoskopprozessor 2 ist eine Informationsverarbeitungsvorrichtung, die eine Bildverarbeitung eines aufgenommenen, vom Bildsensor an der Spitze des Endoskops 1 erfassten Bildes durchführt, ein Endoskopbild erzeugt und es an die Anzeigevorrichtung 3 ausgibt. Im Folgenden wird der Kürze halber der Endoskopprozessor 2 als Prozessor 2 bezeichnet.
Die Anzeigevorrichtung 3 ist eine Flüssigkristallanzeige, eine organische EL-Anzeige (Elektrolumineszenzanzeige) oder dergleichen und zeigt ein Endoskopbild oder dergleichen an, das vom Prozessor 2 ausgegeben wird.
In dieser Ausführungsform identifiziert der Prozessor 2 den betrachteten Bereich des Dickdarms anhand des aufgenommenen, vom Endoskop 1 erfassten Bildes. Ferner extrahiert der Prozessor 2 einen Polypen aus dem aufgenommenen Bild. Dann aggregiert der Prozessor 2 die Anzahl der Polypen, die für jeden identifizierten Bereich des Dickdarms extrahiert wurden, und gibt das Endoskopbild und das Aggregationsergebnis an die Anzeigevorrichtung 3 aus.
2 ist eine Außenansicht des Endoskops 1. Das Endoskop 1 schließt einen Bildsensor 11, einen Einführkanal 12 für das Behandlungswerkzeug, eine Bedieneinheit 13 und einen Verbinder 14 ein. Der Bildsensor 11 ist am Spitzenabschnitt des Endoskops 1 installiert, schließt einen CCD-Bildsensor (Charge Coupled Device), einen CMD-Bildsensor (Charge Modulation Device) oder einen CMOS-Bildsensor (Complementary Metal Oxide Semiconductor) ein und wandelt das einfallende Licht photoelektrisch um. Das durch die photoelektrische Umwandlung erzeugte elektrische Signal wird einer Signalverarbeitung wie einer A/D-Umwandlung und einer Rauschentfernung durch eine Signalverarbeitungsschaltung (nicht dargestellt) unterzogen und an den Prozessor 2 ausgegeben.
Der Einführkanal 12 für das Behandlungswerkzeug ist ein Kanal zum Durchleiten des Behandlungswerkzeugs. Beispiele für die Behandlungswerkzeuge schließen Greifer, Biopsienadeln, Pinzetten, Schlingen, Klammern, Scheren, Skalpelle, Inzisionsinstrumente, endoskopische Hefter, Gewebeschleifen, Klammerapplikatoren, Nahtzufübrungsinstrumente, energiebasierte Gewebergerinnungsinstrumente oder Gewebeschneidinstrumente ein. Die Bedieneinheit 13 ist mit einem Entriegelungsknopf, einem Winkelknopf zum Biegen der Spitze des Endoskops und dergleichen versehen und empfängt Betriebsanweisungssignale von Peripheriegeräten wie Luftversorgung, Wasserversorgung und Gasversorgung. Der Verbinder 14 ist mit dem Prozessor 2 verbunden.
3 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für den Prozessor 2 darstellt. Der Prozessor 2 schließt eine Steuereinheit 21, eine Speichereinheit 22, eine Betriebseingabeeinheit 23, eine Ausgabeeinheit 24, eine Lichtquellensteuereinheit 25, eine Takteinheit 26, eine Speichereinheit mit großer Kapazität 27, eine Lichtquelle 28 und eine Leseeinheit 29 ein. Jede Konfiguration ist über einen Bus B verbunden.
Die Steuereinheit 21 schließt arithmetische Verarbeitungseinheiten wie eine CPU (zentrale Verarbeitungseinheit), eine MPU (Mikroverarbeitungseinheit) und eine GPU (Grafikverarbeitungseinheit) ein und liest und führt ein Steuerprogramm 2P aus, das in der Speichereinheit 22 gespeichert ist, um verschiedene Informationsverarbeitungen, Steuerverarbeitungen und dergleichen im Zusammenhang mit dem Prozessor 2 durchzuführen. Obwohl die Steuereinheit 21 in 2 als Einzelprozessor beschrieben ist, kann sie ein Multiprozessor sein.
Die Speichereinheit 22 schließt ein Speicherelement wie einen RAM (Direktzugriffsspeicher) und einen ROM (Nur-Lese-Speicher) ein und speichert das Steuerprogramm 2P oder Daten, die erforderlich sind, damit die Steuereinheit 21 die Verarbeitung ausführt. Zusätzlich speichert die Speichereinheit 22 vorübergehend Daten und dergleichen, die erforderlich sind, damit die Steuereinheit 21 eine arithmetische Verarbeitung ausführt. Die Betriebseingabeeinheit 23 wird durch Eingabevorrichtungen wie ein Touchpanel und verschiedene Schalter konfiguriert und gibt ein Eingabesignal, das als Reaktion auf einen externen Vorgang an diesen Eingabevorrichtungen erzeugt wird, in die Steuereinheit 21 ein. Unter der Steuerung der Steuereinheit 21 gibt die Ausgabeeinheit 24 ein Bildsignal zur Anzeige und verschiedene Arten von Informationen an die Anzeigevorrichtung 3 aus, um das Bild und die Informationen anzuzeigen.
Die Lichtquellensteuereinheit 25 steuert die von dem Beleuchtungslicht emittierte Lichtmenge durch Ein-/Ausschalten der LED und dergleichen, Einstellen des Treiberstroms und der Treiberspannung der LED und dergleichen. Ferner steuert die Lichtquellensteuereinheit 25 das Wellenlängenband des Beleuchtungslichts durch Ändern des optischen Filters oder dergleichen. Die Lichtquellensteuereinheit 25 stellt den Emissionszeitpunkt, die Emissionsperiode, die Lichtmenge und das Spektralspektrum des Beleuchtungslichts ein, indem sie unabhängig voneinander das Leuchten und das Löschen jeder LED und die zum Zeitpunkt der Beleuchtung emittierte Lichtmenge steuert. Die Takteinheit 26 ist eine Schaltung, die Zeit, verstrichene Zeit und dergleichen misst und der Steuereinheit 21 als Antwort auf eine Anfrage von der Steuereinheit 21 ein Zeitmessergebnis gibt.
Die Speichereinheit mit großer Kapazität 27 schließt beispielsweise ein Aufzeichnungsmedium wie eine Festplatte (Festplattenlaufwerk) oder eine SSD (SSD-Laufwerk) ein. Die Speichereinheit mit großer Kapazität 27 schließt eine Patienten-DB 271, eine Aggregations-DB 272, eine Polypen-DB 273, ein Polypenextraktionsmodell 274 und ein Bereichsidentifikationsmodell 275 ein. Die Patienten-DB 271 speichert Informationen über einen Patienten. Die Aggregations-DB 272 speichert das Aggregationsergebnis für die aus dem aufgenommenen Bild extrahierten Polypen. Die Polypen-DB 273 speichert Informationen über die extrahierten Polypen. Das Polypenextraktionsmodell 274 ist ein Extraktor, der Polypen im Dickdarm extrahiert, und ist ein eingelerntes Modell, das durch maschinelles Lernen erzeugt wurde. Das Bereichsidentifikationsmodell 275 ist ein Bereichsidentifikator, der einen Bereich im Dickdarm identifiziert, und ist ein eingelerntes Modell, das durch maschinelles Lernen erzeugt wird.
In dieser Ausführungsform können die Speichereinheit 22 und die Speichereinheit mit großer Kapazität 27 als integrierte Speichervorrichtung konfiguriert sein. Ferner kann die Speichereinheit mit großer Kapazität 27 durch eine Vielzahl von Speichervorrichtungen konfiguriert sein. Des Weiteren kann die Speichereinheit mit großer Kapazität 27 eine externe Speichervorrichtung sein, die mit dem Prozessor 2 verbunden ist.
Die Lichtquelle 28 schließt eine Lichtquelle ein, die Beleuchtungslicht emittiert, das zum Beleuchten des Betrachtungsziels verwendet wird. Die Lichtquelle ist beispielsweise eine Halbleiterlichtquelle wie eine Mehrfarben-LED (Leuchtdiode) mit einem anderen Wellenlängenband, eine Kombination aus einer Laserdiode und einem Leuchtstoff, eine Xenonlampe oder dergleichen. Die Lichtquelle 28 stellt die Helligkeit und dergleichen gemäß der Steuerung aus der Lichtquellensteuereinheit 25 des Prozessors 2 ein. In dieser Ausführungsform ist der Prozessor 2 eine integrierte Lichtquelle, aber die Erfindung ist nicht darauf beschränkt. Beispielsweise kann der Prozessor 2 Lichtquellentrennungstyp sein, der von der Lichtquellenvorrichtung getrennt ist.
Die Leseeinheit 29 liest ein tragbares Speichermedium 2a, das eine CD-ROM (Compact Disc ROM) oder eine DVD-ROM (Digital Versatile Disc ROM) einschließt. Die Steuereinheit 21 kann das Steuerprogramm 2P von dem tragbaren Speichermedium 2a mittels der Leseeinheit 29 ablesen und es in der Speichereinheit mit großer Kapazität 27 speichern. Ferner kann die Steuereinheit 21 das Steuerprogramm 2P von einem anderen Computer über das Netzwerk N oder dergleichen herunterladen und in der Speichereinheit mit großer Kapazität 27 speichern. Des Weiteren kann die Steuereinheit 21 das Steuerprogramm 2P aus einem Halbleiterspeicher 2b ablesen.
In dieser Ausführungsform wird der Prozessor 2 als eine einzelne Informationsverarbeitungsvorrichtung beschrieben, obgleich die Verarbeitung auf mehrere Prozessoren verteilt oder eine virtuelle Maschine konfiguriert werden kann.
4 ist ein erläuterndes Diagramm, das ein Beispiel für das Aufzeichnungslayout der Patienten-DB 271 darstellt. Die Patienten-DB 271 schließt ein Patienten-ID-Feld, ein Geschlechtsfeld und ein Namensfeld ein. Das Patienten-ID-Feld speichert eine eindeutig identifizierte ID für einen Patienten, um jeden Patienten zu identifizieren. Das Geschlechtsfeld speichert das Geschlecht des Patienten. Das Namensfeld speichert den Namen des Patienten.
5 ist ein erläuterndes Diagramm, das ein Beispiel für das Aufzeichnungslayout der Aggregations-DB 272 darstellt. Die Aggregations-DB 272 enthält ein Aggregations-ID-Feld, ein Patienten-ID-Feld, ein Aggregationsdatumsfeld und ein Bereichsfeld. Das Aggregations-ID-Feld speichert die ID des Aggregationsdatums, die eindeutig identifiziert wird, um die einzelnen Aggregationsdaten zu identifizieren. Das Patienten-ID-Feld speichert die Patienten-ID, die einen Patienten identifiziert. Das Aggregationsdatumsfeld speichert Informationen zum Datum, an dem die Zahl der Polypen aggregiert wird.
Das Bereichsfeld schließt ein Kolon-aszendens-Feld, ein Kolon-transversum-Feld, ein Kolon-deszendens-Feld, ein Kolon-sigmoideum-Feld und ein Rektalfeld ein. Das Kolon-aszendens-Feld speichert die Anzahl der im Kolon aszendens vorhandenen Polypen. Das Kolon-transversum-Feld speichert die Anzahl der im Kolon transversum vorhandenen Polypen. Das Kolon-deszendens-Feld speichert die Anzahl der im Kolon deszendens vorhandenen Polypen. Das Kolon-sigmoideum-Feld speichert die Anzahl der im Kolon sigmoideum vorhandenen Polypen. Das Rektalfeld speichert die Anzahl der im Rektum vorhandenen Polypen.
6 ist ein erläuterndes Diagramm, das ein Beispiel für das Aufzeichnungslayout der Polypen-DB 273 darstellt. Die Polypen-DB 273 schließt ein Aggregations-ID-Feld, ein Polypen-ID-Feld, ein Bereichsfeld, ein morphologisches Feld, ein neoplastisches Feld, ein Gutartig/bösartig-Feld, ein Größenfeld und ein Bildgebungszeitfeld ein. Das Aggregations-ID-Feld speichert die ID der Aggregationsdaten, die die Anzahl der Polypen aggregieren. Das Polypen-ID-Feld speichert die ID einer eindeutig identifizierten ID für einen Polypen, um jeden extrahierten Polypen zu identifizieren. Das Bereichsfeld speichert einen Bereich des Dickdarms, in dem sich der extrahierte Polyp befindet. Das morphologische Feld speichert die morphologischen Informationen des Polypen. Die Form des Polypen wird später beschrieben.
Das neoplastische Feld speichert diagnostische Informationen darüber, ob der Polyp neoplastisch oder nicht neoplastisch ist. Das Gutartig/bösartig-Feld speichert diagnostische Informationen darüber, ob der Polyp ein gutartiger Tumor oder ein bösartiger Tumor ist, wenn der Polyp ein neoplastischer Polyp ist. Das Größenfeld speichert die Größe des Polypen. Das Bildgebungszeitfeld speichert Informationen zum Datum, an dem der Polyp aufgenommen wurde.
7 ist ein erläuterndes Diagramm zur Erklärung eines Bereichs des Dickdarms. Der Dickdarm ist ein Organ, das im unteren rechten Bauch anschließend an den Dünndarm beginnt und im Uhrzeigersinn um den Bauch herum verläuft, um sich mit einem Analkanal 10a zu verbinden. Der Dickdarm schließt einen Blinddarm 10g, ein Kolon aszendens 10f, ein Kolon transversum 10e, ein Kolon aszendens 10d, ein Kolon sigmoideum 10c und ein Rektum 10b ein. Zusätzlich ist das Rektum nicht auf den oben erwähnten Bereich beschränkt und kann beispielsweise weiter in einen rektalen Sigmoidbereich, ein oberes Rektum und ein unteres Rektum unterteilt werden.
8 ist ein erläuterndes Diagramm zur Erklärung eines Polypen im Dickdarm. Wie in der Zeichnung dargestellt, ist ein Polyp ein Teil der Schleimhaut des Dickdarms, der sich wie eine Warze erhebt und in den Raum des Dickdarms hineinragt. Polypen können nach Morphologie, Gewebetyp oder Größe des Polypen eingestuft werden. Beispielsweise werden Polypen in Abhängigkeit von der Morphologie des Polypen in einen gestielten Typ (Ip), einen halbgestielten Typ (Isp), einen aufsitzenden Typ (Ts) und dergleichen eingestuft. Polypen werden nach histologischen Typen in neoplastische Polypen und nicht neoplastische Polypen eingestuft. Neoplastische Polypen schließen gutartige Tumoren und bösartige Tumoren ein, und nicht neoplastische Polypen schließen hyperplastische Polypen und entzündliche Polypen ein. Polypen können beispielsweise entsprechend ihrer Größe in „kleiner als 10 mm“, „10 bis 20 mm“ und „20 mm oder größer” eingestuft werden.
9 ist ein schematisches Diagramm, das die Morphologie des Polypen darstellt. Der gestielte Typ ist eine Form, bei der die Schleimhautoberfläche des Dickdarms mit einem Stiel wie ein Pilz wächst. Der halbgestielte Typ ist eine Form, bei der die Schleimhautoberfläche des Dickdarms mit einem kurzen Stamm wächst, der nicht klar ist. Der aufsitzende Typ ist eine Form, bei der sich die Schleimhautoberfläche des Dickdarms ohne Stiel flach erhebt. Daher ist es möglich, den Polypen aus dem aufgenommenen, vom Endoskop 1 aufgenommenen Bild basierend auf den Merkmalen jeder Form des Polypen zu extrahieren.
Anschließend wird ein Verfahren zum Aggregieren der Anzahl von Polypen für jeden Bereich des Dickdarms beschrieben. Die Spitze des Endoskops 1 wird in den Analkanal 10a eingeführt, passiert das Rektum 10b und wird durch das Kolon sigmoideum 10c über das Kolon deszendens l0d, das Kolon transversum 10e und das Kolon aszendens 10f eingeführt, bis sie den Blinddarm 10g erreicht. Der vorstehend erwähnte Einführungsweg ist ein allgemeiner Einführungsweg für ein Dickdarmendoskop und bezieht je nach Ermessen des Arztes möglicherweise den Blinddarm nicht mit ein. Die Steuereinheit 21 des Prozessors 2 ermittelt, ob die Spitze des Endoskops 1 den Blinddarm 10g erreicht hat. Wenn die Steuereinheit 21 je nach Ermessen des Arztes über die Betriebseingabeeinheit 23 eine Anweisung erhält, das Einführen des Endoskops abzuschließen, kann die Steuereinheit 21 bestimmen, dass die Spitze des Endoskops 1 angekommen ist. Wenn die Spitze des Endoskops 1 den Blinddarm erreicht, ist das Einführen des Endoskops 1 abgeschlossen.
10 ist ein erläuterndes Diagramm zur Erklärung des Bereichsidentifikationsmodells 275. Das Bereichsidentifikationsmodell 275 wird als Programmmodul verwendet, das Teil einer Software für künstliche Intelligenz ist. Das Bereichsidentifikationsmodell 275 ist ein Extraktor, für den ein neuronales Netzwerk aufgebaut (erzeugt) wurde, das ein aufgenommenes, vom Endoskop 1 im Dickdarm erfasstes Bild empfängt und ein Ergebnis der Vorhersage für einen Bereich des Dickdarms ausgibt. Das neuronale Netzwerk ist beispielsweise ein CNN (Convolutional Neural Network) und hat eine Eingabeschicht, die eine Eingabe des aufgenommenen Bildes akzeptiert, eine Ausgabeschicht, die das Ergebnis der Vorhersage für einen Bereich des Dickdarms ausgibt, und eine Zwischenschicht, die durch Rückpropagierung eingelernt wurde.
Die Eingabeschicht weist mehrere Neuronen auf, die eine Eingabe des Pixelwerts jedes in dem aufgenommenen Bild enthaltenen Pixels empfangen und den Eingabepixelwert an die Zwischenschicht weiterleiten. Die Zwischenschicht weist mehrere Neuronen zum Extrahieren einer Menge von Bildmerkmalen des aufgenommenen Bildes auf und leitet die extrahierte Menge von Bildmerkmalen an die Ausgabeschicht weiter. Beispielsweise wird der Fall, in dem das Bereichsidentifikationsmodell 275 ein CNN ist, als Beispiel beschrieben. Die Zwischenschicht weist eine Konfiguration auf, bei der eine Faltungsschicht, die den Pixelwert jedes der von der Eingabeschicht eingegebenen Pixels faltet, und eine Pooling-Schicht, die die von der Faltungsschicht gefalteten Pixelwerte abbildet, abwechselnd verbunden sind, sodass die Menge von Merkmalen des Bildes schließlich extrahiert wird, während die Pixelinformationen des aufgenommenen Bildes komprimiert werden. Danach sagt die Zwischenschicht die Wahrscheinlichkeit voraus, dass das aufgenommene Bild jedem Bereich des Dickdarm entspricht, und zwar durch die vollständig verbundene Schicht, deren Parameter durch Rückpropagierung eingelernt werden. Das Ergebnis der Vorhersage wird an die Ausgabeschicht mit mehreren Neuronen ausgegeben.
Das aufgenommene Bild kann in die Eingabeschicht eingegeben werden, nachdem die Menge von Merkmalen durch Passieren der Faltungsschicht und der Pooling-Schicht, die abwechselnd verbunden sind, extrahiert wurde.
Das Verfahren ist nicht auf den vorstehend erwähnten maschinellen Lernprozess zum Identifizieren eines Bereichs beschränkt. Beispielsweise kann die Steuereinheit 21 des Prozessors 2 einen Bereich unter Verwendung eines Extraktionsverfahrens für die lokale Menge von Merkmalen wie A-KAZE (Accelerated KAZE), SIFT (Scale Invariant Feature Transform) oder dergleichen basierend auf der Änderung der Farbe oder Falten im Dickdarm aus dem aufgenommenen, vom Endoskop 1 aufgenommenen Bild identifizieren. Alternativ dazu kann die Steuereinheit 21 des Prozessors 2 das Identifikationsergebnis des Arztes, der den Bereich des Dickdarms basierend auf dem medizinischen Fachwissen identifiziert, von der Betriebseingabeeinheit 23 empfangen.
Die Steuereinheit 21 führt eine Bildverarbeitung an dem aufgenommenen, vom Bildsensor 11 an der Spitze des Endoskops 1 erfassten Bild durch, um ein Endoskopbild zu erzeugen, das zur Betrachtung durch einen Arzt geeignet ist. Das erzeugte Endoskopbild wird in Echtzeit auf der Anzeigevorrichtung 3 angezeigt. Die Steuereinheit 21 extrahiert einen Polypen aus dem aufgenommenen Bild. Im Folgenden wird das Verfahren der Extraktion von Polypen im Dickdarm unter Verwendung des Polypenextraktionsmodells 274 beschrieben, das durch Deep Learning erstellt wurde.
11 ist ein erläuterndes Diagramm zur Erklärung des Polypenextraktionsverfahrens im Überblick unter Verwendung des Polypenextraktionsmodells 274. Das Polypenextraktionsmodell 274 wird als Programmmodul verwendet, das Teil einer Software für künstliche Intelligenz ist. Das Polypenextraktionsmodell 274 ist ein Lernmodell, das Informationen ausgibt, die eine Region, in der ein Polyp vermutlich auftritt, und eine Wahrscheinlichkeit, dass ein Polyp in der Region auftritt, angeben, wenn das aufgenommene, vom Endoskop 1 im Dickdarm erfasste Bild eingegeben wird.
Das Polypenextraktionsmodell 274 dieser Ausführungsform wird unter Verwendung von RCNN (Regions with Convolutional Neural Network) geschätzt. Das Polypenextraktionsmodell 274 schließt eine Regionskandidatenextraktionseinheit 74a und eine Klassifizierungseinheit 74b ein. Die Klassifizierungseinheit 74b schließt ein neuronales Netzwerk ein (nicht dargestellt). Das neuronale Netzwerk schließt eine Faltungsschicht, eine Pooling-Schicht und eine vollständig verbundene Schicht ein.
Das aufgenommene Bild wird in das Polypenextraktionsmodell 274 eingegeben. Die Regionskandidatenextraktionseinheit 74a extrahiert Regionskandidaten verschiedener Größen aus dem aufgenommenen Bild. Die Klassifizierungseinheit 74b berechnet die Menge von Merkmalen des extrahierten Regionskandidaten und klassifiziert, basierend auf der berechneten Menge von Merkmalen, ob das im Regionskandidaten wiedergegebene Objekt ein Polyp ist. Das Polypenextraktionsmodell 274 wiederholt die Extraktion und Klassifizierung von Regionskandidaten.
Das Polypenextraktionsmodell 274 gibt den Bereich der Region und die Wahrscheinlichkeit aus, dass der Polyp für den Regionskandidaten als Polyp, der mit einer Wahrscheinlichkeit höher als ein vorbestimmter Schwellenwert aufgetreten ist, klassifiziert erscheint. In dem in 11 dargestellten Beispiel werden eine Region, in der ein Polyp mit einer Wahrscheinlichkeit von 80 % auftritt, und eine Region, in der ein Polyp mit einer Wahrscheinlichkeit von 90 % auftritt, detektiert.
Das Polypenextraktionsmodell 274 kann Polypen mit einer Wahrscheinlichkeit für bösartige Polypen, einer Wahrscheinlichkeit für gutartige Polypen, einer Wahrscheinlichkeit für gestielte Polypen, einer Wahrscheinlichkeit für halbgestielte Polypen, einer Wahrscheinlichkeit für aufsitzende Polypen, einer Wahrscheinlichkeit von kleiner als 10 mm, einer Wahrscheinlichkeit von 10 bis 20 mm oder einer Wahrscheinlichkeit von 20 mm oder größer klassifizieren und ausgeben.
Anstelle von RCNN kann jeder Objekterkennungsalgorithmus wie Fast RCNN, Faster RCNN oder SSD (Single Shot Multibook Detector), YOLO (You Only Look Once) verwendet werden.
Das Polypenextraktionsverfahren ist nicht auf das Extraktionsverfahren beschränkt, bei dem ein Modell verwendet wird, bei dem die vorstehend genannten Polypenmerkmale durch Deep Learning oder dergleichen eingelernt werden. Beispielsweise kann die Steuereinheit 21 des Prozessors 2 das Ergebnis der Bestimmung, bei der der Arzt den Polypen basierend auf dem speziellen medizinischen Wissen bestimmt, durch die Betriebseingabeeinheit 23 akzeptieren. Ferner kann die Steuereinheit 21 des Prozessors 2 das aufgenommene, vom Endoskop 1 erfasste Bild unter Verwendung von Musteranpassung oder dergleichen erkennen und den Polypen auf dem aufgenommenen Bild erkennen und daraus extrahieren.
Die Steuereinheit 21 des Prozessors 2 aggregiert die Anzahl der für jeden identifizierten Bereich extrahierten Polypen. Die Steuereinheit 21 gibt das Endoskopbild basierend auf dem aufgenommenen Bild und dem Aggregationsergebnis an die Anzeigevorrichtung 3 aus. Das Aggregationsergebnis schließt eine Polypen-ID, die Anzahl der Polypen für jeden Bereich und die kumulative Anzahl der Polypen ein.
Das heißt, für die vorstehend erwähnte Verarbeitung identifiziert die Steuereinheit 21 des Prozessors 2 den Bereich im Dickdarm anhand des aufgenommenen, vom Endoskop 1 aufgenommenen Bildes. Ferner extrahiert die Steuereinheit 21 einen Polypen aus dem aufgenommenen Bild. Die Steuereinheit 21 aggregiert die Anzahl der für jeden identifizierten Bereich extrahierten Polypen und gibt das Endoskopbild basierend auf dem aufgenommenen, vom Endoskop 1 aufgenommenen Bild und der kumulativen Anzahl der Polypen für jeden Bereich an die Anzeigevorrichtung 3 aus. Beim Herausziehen der Spitze des Endoskops 1 aus dem Blinddarm zum Anus durch diesen Verarbeitungsfluss zeigt die Steuereinheit 21 das Aggregationsergebnis der Polypen jedes Bereichs, den die Spitze des Endoskops 1 passiert hat, und das Endoskopbild gleichzeitig auf der Anzeigevorrichtung 3 an.
12 ist ein Flussdiagramm, das das gesamte Verarbeitungsverfahren darstellt, wenn die Anzahl von Polypen für jeden Bereich im Dickdarm aggregiert wird. Die Steuereinheit 21 des Prozessors 2 bestimmt basierend auf dem aufgenommenen, vom Endoskop 1 aufgenommenen Bild, ob der Blinddarm erreicht wurde (Schritt S201). Insbesondere gibt die Steuereinheit 21 das aufgenommene Bild unter Verwendung des eingelernten Bereichsidentifikationsmodells 275 in das Bereichsidentifikationsmodell 275 ein und gibt das Identifikationsergebnis zum Identifizieren des Bereichs aus. Die Steuereinheit 21 identifiziert den Bereich basierend auf dem Identifikationsergebnis (beispielsweise dem Wahrscheinlichkeitswert des Bereichs), das von der Ausgabeschicht des Bereichsidentifikationsmodells 275 ausgegeben wird. Wenn beispielsweise der Wahrscheinlichkeitswert des Blinddarms gleich oder höher als ein vorbestimmter Schwellenwert (Beispielsweise 0,85) ist, kann die Steuereinheit 21 bestimmen, dass die Spitze des Endoskops 1 den Blinddarm erreicht hat.
Wenn die Steuereinheit 21 bestimmt, dass der Blinddarm nicht erreicht wurde (NEIN in Schritt S201), kehrt die Steuereinheit 21 zu Schritt S201 zurück. Wenn die Steuereinheit 21 bestimmt, dass der Blinddarm erreicht wurde (JA in Schritt S201), führt die Steuereinheit 21 eine Unterroutine eines Verfahrens zum Aggregieren der Anzahl von Polypen jedes Bereichs aus, wenn die Spitze des Endoskops 1 entgegen der Bewegungsrichtung herausgezogen wird (Schritt S202). Die Unterroutine des Verfahrens zum Aggregieren der Anzahl von Polypen wird später beschrieben.
Die Steuereinheit 21 gibt das aufgenommene Bild unter Verwendung des eingelernten Bereichsidentifikationsmodells 275 in das Bereichsidentifikationsmodell 275 ein und gibt das Identifikationsergebnis zum Identifizieren des Bereichs aus. Die Steuereinheit 21 bestimmt basierend auf dem Identifikationsergebnis, das von der Ausgangsschicht des Bereichsidentifikationsmodells 275 ausgegeben wird, ob der Anus erreicht wurde (Schritt S203). Wenn die Steuereinheit 21 bestimmt, dass der Anus nicht erreicht wurde (NEIN in Schritt S203), kehrt die Steuereinheit 21 zu Schritt S202 zurück. Wenn die Steuereinheit 21 bestimmt, dass der Anus erreicht wurde (JA in Schritt S203), beendet die Steuereinheit 21 das Verfahren.
13 ist ein Flussdiagramm, das ein Verarbeitungsverfahren der Unterroutine des Verfahrens zum Aggregieren der Anzahl von Polypen für jeden Bereich darstellt. Die Steuereinheit 21 des Prozessors 2 erfasst das vom Endoskop 1 übertragene aufgenommene Bild (Schritt S211). Die Steuereinheit 21 gibt das aufgenommene Bild unter Verwendung des eingelernten Polypenextraktionsmodells 274 in das Polypenextraktionsmodell 274 ein und erfasst das Extraktionsergebnis des Polypen (Schritt S212). In Bezug auf das Polypenextraktionsverfahren können beispielsweise die vorstehend erwähnten Polypenmerkmale unter Verwendung des Polypenextraktionsmodells 274 extrahiert werden, das durch Deep Learning oder dergleichen eingelernt wurde, oder kann die Bilderkennung durch Musteranpassung oder dergleichen durchgeführt werden, um einen Polypen auf dem aufgenommenen Bild zu erkennen und daraus zu extrahieren.
Die Steuereinheit 21 weist dem extrahierten Polypen eine eindeutig identifizierte Polypen-ID zu (Schritt S213). Die Steuereinheit 21 bestimmt basierend auf dem aufgenommenen erfassten Bild, ob der nächste Bereich (beispielsweise das Kolon transversum) erreicht wurde (Schritt S214). Wenn die Steuereinheit 21 bestimmt, dass der nächste Bereich nicht erreicht wurde (NEIN in Schritt S214), kehrt die Steuereinheit 21 zu Schritt S211 zurück. Wenn die Steuereinheit 21 bestimmt, dass der nächste Bereich erreicht wurde (JA in Schritt S214), aggregiert die Steuereinheit 21 die Anzahl der für jeden Bereich extrahierten Polypen (Schritt S215).
Die Steuereinheit 21 speichert das Aggregationsergebnis der Polypen in der Aggregations-DB 272 und der Polypen-DB 273 der Speichereinheit mit großer Kapazität 27 (Schritt S216). Insbesondere wenn die Aggregations-ID für diese Aggregation nicht existiert, weist die Steuereinheit 21 eine Aggregations-ID zu. Die Steuereinheit 21 ordnet die zugewiesene Aggregations-ID basierend auf dem Aggregationsergebnis von Polypen zu und speichert die Patienten-ID, das Aggregationsdatum und die Anzahl der Polypen jedes Bereichs als einen Datensatz in der Aggregations-DB 272. Zusätzlich speichert die Steuereinheit 21 die Aggregations-ID, die Polypen-ID, den Bereich, die Morphologie, den neoplastischen Typ (Tumor/Nichttumor), die Gutartigkeit/Bösartigkeit (Gutartigkeit, Bösartigkeit), die Größe und die Bildgebungszeit als einen Datensatz in der Polypen-DB 273 für jeden Polypen. Der Zeitpunkt der Speicherung des Aggregationsergebnisses ist nicht auf die Zeit unmittelbar nach der Aggregationsverarbeitung jedes vorstehend beschriebenen Bereichs beschränkt; beispielsweise kann das Aggregationsergebnis zu einem Zeitpunkt gespeichert werden, zu dem die Spitze des Endoskops 1 den Analkanal 10a erreicht und die endoskopische Untersuchung abgeschlossen ist.
Die Steuereinheit 21 gibt das Endoskopbild basierend auf dem aufgenommenen Bild und dem Aggregationsergebnis der Polypen an die Anzeigevorrichtung 3 aus (Schritt S217). Die Anzeigevorrichtung 3 zeigt das vom Prozessor 2 ausgegebene Endoskopbild und das Aggregationsergebnis der Polypen an (Schritt S301). Die Steuereinheit 21 beendet die Unterroutine des Verfahrens zum Aggregieren der Anzahl von Polypen und kehrt zurück.
14A ist ein schematisches Diagramm, das die Anzahl und die kumulative Anzahl von Polypen darstellt, die für jeden Bereich aggregiert werden. Die Steuereinheit 21 des Prozessors 2 identifiziert einen Bereich des Dickdarms anhand des vom Endoskop 1 erfassten aufgenommenen Bildes. Die Steuereinheit 21 extrahiert einen Polypen aus dem aufgenommenen Bild und weist dem extrahierten Polypen eine Polypen-ID zu. Die Steuereinheit 21 aggregiert die Anzahl der Polypen für jeden identifizierten Bereich und gibt das Endoskopbild basierend auf dem aufgenommenen Bild und dem Aggregationsergebnis an die Anzeigevorrichtung 3 aus.
Wie in der Zeichnung dargestellt, stellen 14a, 14b und 14c die extrahierten Polypen dar, und über jedem Polypen wird eine Markierung angezeigt, die die Polypen-ID angibt. Die Polypen-ID dient zur einfachen Identifizierung jedes Polypen und muss nicht auf dem Endoskopbild angezeigt werden. 14d stellt eine aktuelle Ortsanzeige dar, die Informationen zu dem Bereich (Positionsinformationen) des Dickdarms anzeigt, den die Spitze des Endoskops 1 erreicht hat. Die Steuereinheit 21 identifiziert einen Bereich, in dem ein Polyp vorhanden ist, anhand des aufgenommenen Bildes und gibt aktuelle Ortsinformationen, die basierend auf dem identifizierten Bereich die Entfernungsbeziehung zwischen dem Bereich und dem gesamten Durchgangsweg des Dickdarms angeben, an die Anzeigevorrichtung 3 aus. Das Anzeigeformat der aktuellen Ortsanzeige ist nicht auf das vorstehend erwähnte Anzeigeformat beschränkt und kann beispielsweise ein Anzeigeformat aus Zeichen sein, die den aktuellen Ort beschreiben.
14e ist ein Graph, der die Beziehung zwischen jedem Bereich und der Anzahl von Polypen in jedem Bereich darstellt. 14B ist ein Graph, der die Beziehung zwischen jedem Bereich und der Anzahl von Polypen in jedem Bereich darstellt. 14B ist eine vergrößerte Ansicht von 14e. Wie in der Zeichnung dargestellt, wird das Aggregationsergebnis jedes Bereichs in einem Säulendiagramm angezeigt, das auf der aggregierten Anzahl von Polypen für jeden der Bereiche Kolon aszendens, Kolon transversum, Kolon deszendens, Kolon sigmoideum und Rektum basiert. Das Aggregationsergebnis schließt die Anzahl der Polypen in jedem Bereich, die kumulative Anzahl der Polypen und die Gesamtzahl der Polypen ein. Die horizontale Achse stellt Bereiche dar und die vertikale Achse stellt die Anzahl der Polypen in jedem Bereich dar. Außerdem werden die Anzahl der Polypen an jedem Bereich und die Gesamtzahl der Polypen im unteren Teil des Graphen angezeigt. 14e_1 ist eine polygonale Linie, die die Beziehung zwischen jedem Bereich des Dickdarms und der kumulativen Anzahl der Polypen darstellt, die in jedem Bereich vorhanden sind. Das Anzeigeformat des Aggregationsergebnisses ist nicht auf das vorstehend beschriebene Säulendiagramm beschränkt. Beispielsweise kann das Aggregationsergebnis als Liniendiagramm oder Kreisdiagramm angezeigt werden.
<Erste Modifikation>
Das Verfahren des Aggregierens der Anzahl von Polypen wird für alle Teilbereiche beschrieben, in die der Bereich, in dem der Polyp vorhanden ist, weiter unterteilt wird. Die Steuereinheit 21 des Prozessors 2 bestimmt den Teilbereich, in dem ein Polyp vorhanden ist, basierend auf der Zeit, die das Endoskop 1 benötigt, um den Bereich zu passieren, in dem der Polyp vorhanden ist, und der Zeit, zu der der extrahierte Polyp aufgenommen wird, und aggregiert die Anzahl der für jeden Teilbereich extrahierten Polypen. Die Steuereinheit 21 gibt das Endoskopbild und das Aggregationsergebnis an die Anzeigevorrichtung 3 aus.
15 ist ein erläuterndes Diagramm, das ein Beispiel für das Aufzeichnungslayout der Aggregations-DB 272 der ersten Modifikation darstellt. Der Inhalt, der sich mit 5 überschneidet, ist mit den gleichen Bezugsnummern bezeichnet, und es wird auf dessen Beschreibung verzichtet. In 15 ist der Bereich weiter unterteilt. Im Kolon-aszendens-Feld wird beispielsweise die Anzahl der Polypen pro Teilbereich gespeichert. Basierend auf der Zeit, die das Endoskop 1 benötigt, um den Kolon aszendens zu passieren, in dem der Polyp vorhanden ist, und der Zeit, zu der der Polyp beispielsweise aufgenommen wird, wird der Kolon aszendens entlang der Richtung, in der das Endoskop 1 herausgeführt wird, weiter in drei Bereiche unterteilt. Die Anzahl der Polypen pro Teilbereich (z. B. „3, 6, 9“) kann im Kolon-aszendens-Feld gespeichert werden. Das Kolon-transversum-, das Kolon-deszendens-, das Kolon-sigmoideum- und das Rektalfeld sind hinsichtlich des Verfahrens, mit dem Informationen im Kolon-aszendens-Feld gespeichert werden, gleich wie das Kolon-aszendens-Feld, und daher wird auf dessen Beschreibung verzichtet.
Im Folgenden wird ein Beispiel für die Unterteilung des Kolon aszendens in Teilbereiche beschrieben; da jedoch der Unterteilungsprozess für andere Bereiche gleich ist, wird auf dessen Beschreibung verzichtet. Die Steuereinheit 21 des Prozessors 2 verwendet die Takteinheit 26, um die Zeitmessung ab dem Zeitpunkt zu starten, an dem die Spitze des Endoskops 1 in den Blinddarm (Startbereich) eingeführt wird, und stoppt die Zeitmessung, wenn das Kolon transversum (nächster Bereich) erreicht ist. Die Steuereinheit 21 erfasst die Zeit, die die Spitze des Endoskops 1 für den Durchgang benötigt, basierend auf der von der Takteinheit 26 gemessenen Startzeit und Endzeit. Die erfasste Durchgangszeit ist die Zeit, die die Spitze des Endoskops 1 benötigt, um das Kolon aszendens zu passieren. Die Steuereinheit 21 weist dem Kolon aszendens einen Teilbereich gemäß der Durchgangszeit des Kolon aszendens zu. Wenn beispielsweise die Zeit, die das Endoskop 1 benötigt, um das Kolon aszendens zu passieren, 9 Sekunden beträgt, kann die Steuereinheit 21 des Prozessors 2 das Kolon aszendens abhängig von der verstrichenen Zeit weiter in drei Stufen unterteilen, einschließlich von „0 bis 3 Sekunden“, „4 bis 6 Sekunden“ und „7 bis 9 Sekunden“. Dann identifiziert die Steuereinheit 21 die Position (Teilbereich), an der sich jeder Polyp befindet, basierend auf der Bildgebungszeit für jeden Polypen, der aus dem Kolon aszendens extrahiert wurde, und aggregiert die Anzahl der Polypen für jeden zugewiesenen Teilbereich.
16 ist ein Flussdiagramm, das ein Verarbeitungsverfahren einer Unterroutine eines Verfahrens zum Aggregieren der Anzahl von Polypen für jeden Teilbereich darstellt. Der Inhalt, der sich mit 13 überschneidet, ist mit den gleichen Bezugsnummern bezeichnet, und es wird auf dessen Beschreibung verzichtet.
Die Steuereinheit 21 des Prozessors 2 startet die Zeitmessung über die Takteinheit 26 (Schritt S221). Dann führt die Steuereinheit 21 die Schritte S211 bis 213 aus, gibt das aufgenommene Bild unter Verwendung des eingelernten Polypenextraktionsmodells 274 in das Polypenextraktionsmodell 274 ein und gibt das Extraktionsergebnis zum Extrahieren des Polypen aus. Das Extraktionsergebnis des Polypen beinhaltet die Aufnahmezeit des extrahierten Polypen. Wenn die Steuereinheit 21 in Schritt S214 bestimmt, dass die Spitze des Endoskops 1 den nächsten Bereich erreicht hat, beendet die Steuereinheit 21 die Zeitmessung (Schritt S222).
Die Steuereinheit 21 erfasst die Zeit, die die Spitze des Endoskops 1 benötigt, um den Bereich zu passieren, basierend auf der von der Takteinheit 26 gemessenen Startzeit und Endzeit (Schritt S223). Die Steuereinheit 21 ordnet dem erfassten Bereich einen Teilbereich gemäß der Zeit zu, die zum Passieren des erfassten Bereichs erforderlich ist (Schritt S224). Die Steuereinheit 21 identifiziert die Position (Teilbereich), an der sich jeder Polyp befindet, basierend auf der Bildgebungszeit für jeden extrahierten Polypen (Schritt S225) und aggregiert die Anzahl der Polypen für jeden zugewiesenen Teilbereich (Schritt S226).
17 ist ein Graph, der die Beziehung zwischen jedem Teilbereich und der Anzahl von Polypen in jedem Teilbereich darstellt. 17 zeigt die Anzahl der Polypen pro Teilbereich anstelle von 14B. Auf die Beschreibung des Inhalts, der sich mit 14B überschneidet, wird verzichtet. Wie in der Zeichnung dargestellt, wird das Aggregationsergebnis jedes Teilbereichs in einem Säulendiagramm angezeigt, das auf der aggregierten Anzahl von Polypen für jeden der Teilbereiche des Kolon aszendens, des Kolon transversum, des Kolon deszendens, des Kolon sigmoideum und des Rektums basiert. Das Aggregationsergebnis schließt die Anzahl der Polypen für jeden Teilbereich, die Anzahl der Polypen in jedem Bereich, die kumulative Anzahl der Polypen und die Gesamtzahl der Polypen ein. Die horizontale Achse stellt Bereiche dar, und die vertikale Achse stellt die Anzahl der Polypen jedes Teilbereichs in jedem Bereich dar. Das Anzeigeformat des Aggregationsergebnisses ist nicht auf das vorstehend beschriebene Säulendiagramm beschränkt. Beispielsweise kann das Aggregationsergebnis als Liniendiagramm oder Kreisdiagramm angezeigt werden.
Gemäß dieser Ausführungsform werden, da die aus dem aufgenommenen Bild, das vom Dickdarmendoskop aufgenommen wurde, extrahierten Polypen automatisch für jeden Bereich des Dickdarms aggregiert werden, der Bereich, in dem sich der Polyp befindet, und die Anzahl der Polypen in jedem Bereich visuell angezeigt. Dies ermöglicht es einem Arzt, die Situation im Dickdarm des Patienten klar zu erfassen.
Gemäß dieser Ausführungsform ist es möglich, hochgenaue Positionsinformationen eines Polypen zu erhalten, indem jeder Bereich des Dickdarms weiter unterteilt wird.
(Zweite Ausführungsform)
Die zweite Ausführungsform betrifft einen Modus, in dem, wenn Polypen reseziert werden, die Anzahl der resezierten Polypen und die Anzahl der nicht resezierten Polypen für jeden Bereich aggregiert werden. Auf die Beschreibung des Inhalts, der sich mit der ersten Ausfuhrungsform überschneidet, wird verzichtet.
Polypen im Dickdarm sind Erkrankungen, bei denen sich auf der Schleimhaut des Dickdarms warzenartige Erhöhungen bilden, und die meisten davon sind gutartige Erkrankungen, die den Körper nicht sofort schädigen, aber Blutungen verursachen können, wenn sie allmählich wachsen. Es ist bekannt, dass einige Polypen sich im Dickdarm über gutartige adenomatöse Polypen zu einem Dickdarmkrebs entwickeln.
Befindet er sich im Polypenstadium, kann er mit dem Endoskop 1 reseziert werden. Wenn beispielsweise der anhand der Morphologie des Polypen eingestufte Polyp vom gestielten Typ ist und die Größe „20 mm oder größer“ beträgt, kann der Arzt den Polypen unter Verwendung eines Behandlungswerkzeugs wie einer Schlinge durch den Einführkanal 12 für das Behandlungswerkzeug des Endoskops 1 resezieren. Insbesondere führt der Arzt eine Schlinge durch den Einführkanal 12 des Behandlungswerkzeugs, zieht die Schlinge (den Ring) zusammen, während ein Hochfrequenzstrom durch die Bedieneinheit 13 geleitet wird, und reseziert den Polypen vollständig an der Wurzel.
Die Steuereinheit 21 des Prozessors 2 erfasst und speichert die Resektionsinformationen bezüglich des resezierten Polypen aus dem aufgenommenen, bei der Resektion des Polypen erhaltenen Bild. Das Verfahren des Erfassens der Resektionsinformationen ist nicht auf das vorstehend beschriebene Verfahren beschränkt, und beispielsweise können die Resektionsinformationen des Polypen manuell von einem Arzt erfasst werden. Die Resektionsinformationen schließen die ID des resezierten Polypen, die Resektionszeit, die Behandlung vor und nach der Resektion, die Häufigkeit der Resektionen und dergleichen ein. Die Steuereinheit 21 aggregiert die Anzahl der resezierten Polypen und die Anzahl der nicht resezierten Polypen für jeden Bereich und gibt das Aggregationsergebnis an die Anzeigevorrichtung 3 aus.
18 ist ein erläuterndes Diagramm, das ein Beispiel für das Aufzeichnungslayout der Aggregations-DB 272 der zweiten Ausführungsform darstellt. Der Inhalt, der sich mit 5 überschneidet, ist mit den gleichen Bezugsnummern bezeichnet, und es wird auf dessen Beschreibung verzichtet. Das Kolon-aszendens-Feld beinhaltet ein Extraktionsfeld und ein Resektionsfeld. Das Extraktionsfeld speichert die Anzahl der Polypen, die aus dem Kolon aszendens extrahiert wurden. Wenn das Kolon aszendens weiter in Teilbereiche unterteilt wird, kann die Anzahl der Polypen für jeden Teilbereich gespeichert werden. Das Resektionsfeld speichert die Häufigkeit der Resektionen für den resezierten Polypen. Wie beim Extraktionsfeld kann die Häufigkeit der Resektionen des Polypen für jeden Teilbereich gespeichert werden.
Das Kolon-transversum-Feld enthält ein Extraktionsfeld und ein Resektionsfeld. Das Kolon-deszendens-Feld enthält ein Extraktionsfeld und ein Resektionsfeld. Das Kolon-sigmoideum-Feld enthält ein Extraktionsfeld und ein Resektionsfeld. Das Rektum enthält ein Extraktionsfeld und ein Resektionsfeld. Da die Konfiguration jeder vorstehend beschriebenen Spalte gleich ist wie jene des Kolon aszendens, wird auf deren Beschreibung verzichtet.
19 ist ein erläuterndes Diagramm, das ein Beispiel für das Aufzeichnungslayout der Polypen-DB 273 der zweiten Ausführungsform darstellt. Der Inhalt, der sich mit 6 überschneidet, ist mit den gleichen Bezugsnummern bezeichnet, und es wird auf dessen Beschreibung verzichtet. Die Polypen-DB 273 schließt ein Resektionssituationsfeld, ein Vorresektionsbehandlungsfeld, ein Nachresektionsbehandlungsfeld, ein Resektionszeitfeld und ein Resektionsfrequenzfeld ein. Das Resektionssituationsfeld speichert die Situation, ob der extrahierte Polyp reseziert wurde. Beispielsweise kann „reseziert“, „nicht reseziert“ oder dergleichen im Resektionssituationsfeld gespeichert werden.
Das Vorresektionsbehandlungsfeld speichert Behandlungsinformationen vor der Resektion des Polypen. Beispielsweise kann „Injektion physiologischer Kochsalzlösung“ oder dergleichen gespeichert werden. Wenn ein anhand der Morphologie des Polypen klassifizierter Polyp vom aufsitzenden Typ ist, ist es schwierig, den Polypen zu umschlingen und zu resezieren, da er eine Morphologie aufweist, die sich flach von der Schleimhautoberfläche des Dickdarms ohne Stiel erhebt. In diesem Fall kann der Polyp durch Injizieren einer physiologischen Kochsalzlösung unter die Schleimhaut des Dickdarms angehoben und der erhabene Teil durch Leiten eines elektrischen Stroms durch eine Schlinge reseziert werden.
Das Nachresektionsbehandlungsfeld speichert Behandlungsinformationen nach der Resektion des Polypen. Beispielsweise können Behandlungsinformationen wie „hämostatisch mit einer Klammer oder Hämostat-Pinzette“ und „Eindrücken eines Lochs mit einer Klammer“ gespeichert werden. Das Resektionszeitfeld speichert den Zeitpunkt, an dem der Polyp reseziert wurde. Das Resektionsfrequenzfeld speichert die Häufigkeit, mit der der Polyp reseziert wurde. Wenn das Endoskop 1 beispielsweise einen großen Polypen nicht bei einem Mal vollständig abschneiden kann, kann der Polyp mehrmals abgeschnitten werden.
20 ist ein Flussdiagramm, das ein Verarbeitungsverfahren einer Unterroutine eines Verfahrens zum Aggregieren der Anzahl der extrahierten Polypen und der Häufigkeit der Resektionen für jeden Teilbereich darstellt. Der Inhalt, der sich mit 16 überschneidet, ist mit den gleichen Bezugsnummern bezeichnet, und es wird auf dessen Beschreibung verzichtet.
Die Steuereinheit 21 des Prozessors 2 erfasst Resektionsinformationen bezüglich des vom Arzt unter Verwendung des Endoskops 1 resezierten Polypen (Schritt S231). Die Steuereinheit 21 aggregiert die Anzahl der extrahierten Polypen und die Häufigkeit der Resektionen für jeden Teilbereich (Schritt S232) und speichert das Aggregationsergebnis in der Aggregation-DB 272 und der Polypen-DB 273 der Speichereinheit mit großer Kapazität 27 (Schritt S233).
Insbesondere wenn die Aggregations-ID für diese Aggregation nicht vorliegt, weist die Steuereinheit 21 eine Aggregations-ID zu. Die Steuereinheit 21 ordnet die zugewiesene Aggregations-ID basierend auf dem Aggregationsergebnis der Polypen zu und speichert die Patienten-ID, das Aggregationsdatum, die Anzahl der aus jedem Bereich extrahierten Polypen und die Häufigkeit der Resektionen als einen Datensatz in der Aggregations-DB 272. Zusätzlich dazu speichert die Steuereinheit 21 die Aggregations-ID, die Polypen-ID, den Bereich, die Morphologie, den neoplastischen Typ (Tumor/Nichttumor), die Gutartigkeit/Bösartigkeit (Gutartigkeit, Bösartigkeit), die Größe, die Bildgebungszeit, die Resektionssituation, die Vorresektionsbehandlung und Nachresektionsbehandlung, die Resektionszeit und die Häufigkeit der Resektionen für jeden Polypen als einen Datensatz in der Polypen-DB 273. Der Zeitpunkt der Speicherung des Aggregationsergebnisses ist nicht auf die Zeit unmittelbar nach der Aggregationsverarbeitung jedes vorstehend beschriebenen Bereichs beschränkt; beispielsweise kann das Aggregationsergebnis zu einem Zeitpunkt gespeichert werden, zu dem die Spitze des Endoskops 1 den Analkanal 10a erreicht und die endoskopische Untersuchung abgeschlossen ist.
21 ist ein Diagramm, das die Beziehung zwischen jedem Bereich und der Anzahl der extrahierten Polypen und die Häufigkeit der Resektionen für jeden Bereich darstellt. 21 zeigt die Anzahl der extrahierten Polypen und die Häufigkeit der Resektionen für jeden Bereich anstelle von 14B. Auf die Beschreibung des Inhalts, der sich mit 14B überschneidet, wird verzichtet. Wie in der Zeichnung dargestellt, wird das Aggregationsergebnis jedes Bereichs in einem Säulendiagramm angezeigt, das auf der Anzahl der aggregierten extrahierten Polypen und die Häufigkeit der Resektionen für jedes von Kolon aszendens, Kolon transversum, Kolon deszendens, Kolon sigmoideum und Rektum basiert. Das Aggregationsergebnis schließt die Anzahl der extrahierten Polypen, die Häufigkeit der Resektionen und die kumulative Anzahl der Polypen für jeden Bereich ein. Die horizontale Achse gibt den Bereich an, die schwarze vertikale Achse gibt die Anzahl der Polypen an, die für jeden Teilbereich für jeden Bereich extrahiert wurden, und die weiße vertikale Achse gibt die Häufigkeit der Resektionen von Polypen für jeden Teilbereich für jeden Bereich an. Das Anzeigeformat des Aggregationsergebnisses ist nicht auf das vorstehend beschriebene Säulendiagramm beschränkt. Beispielsweise kann das Aggregationsergebnis als Liniendiagramm oder Kreisdiagramm angezeigt werden.
Gemäß dieser Ausführungsform ist es möglich, die Anzahl der resezierten Polypen und die Anzahl der nicht resezierten Polypen für die Polypen zu aggregieren, die aus dem aufgenommenen Bild, das vom Dickdarmendoskop aufgenommen wurde, extrahiert wurden.
(Dritte Ausführungsform)
Die dritte Ausführungsform betrifft einen Modus, in dem Betriebsinformationen ausgegeben werden, die während der endoskopischen Untersuchung ausgeführt werden. Auf die Beschreibung des Inhalts, der sich mit der ersten und zweiten Ausführungsform überschneidet, wird verzichtet. Die während der endoskopischen Untersuchung ausgeführten Vorgänge schließen normale Betrachtung, vergrößerte Betrachtung und Betrachtung unter Verwendung von Licht ein. Beispielsweise kann eine Betrachtungsbedingung 1 die An- oder Abwesenheit einer Vergrößerung und kann eine Betrachtungsbedingung 2 die Art des Beleuchtungslichts anzeigen.
Die normale Betrachtung der Betrachtungsbedingung 1 ist ein Betrachtungsvorgang mit einer normalen Zoom-Vergrößerung. Die vergrößerte Betrachtung der Betrachtungsbedingung 1 ist ein Betrachtungsvorgang unter Verwendung von Mitteln wie Vergrößern der Zoom-Vergrößerung. Ferner kann die vergrößerte Betrachtung in Kombination mit beispielsweise dem Sprühen eines Pigments verwendet werden. Insbesondere sprüht ein Arzt durch den Einführkanal 12 für das Behandlungswerkzeug des Endoskops 1 ein Pigment wie Indigokarmin in einer hohen Konzentration von etwa 0,2 % auf die Oberfläche des Polypen. Der Arzt kann die Betrachtung beispielsweise durchführen, indem er die Zoom-Vergrößerung um das 100-fache vergrößert.
22 ist ein erläuterndes Diagramm, das ein Beispiel für das Aufzeichnungslayout der Polypen-DB 273 der dritten Ausführungsform darstellt. Der Inhalt, der sich mit 19 überschneidet, ist mit den gleichen Bezugsnummern bezeichnet, und es wird auf dessen Beschreibung verzichtet. Die Polypen-DB 273 schließt ein Feld für Betrachtungsbedingung 1, ein Feld für Betrachtungsbedingung 2, ein Feld für die Betriebszeit und ein Feld für Bemerkungen ein. Das Feld für Betrachtungsbedingung 1 speichert eine Betrachtungsbedingung wie normale Betrachtung oder vergrößerte Betrachtung. Das Feld für Betrachtungsbedingung 2 speichert eine Betrachtungsbedingung wie eine Betrachtung unter Verwendung von Licht. Das Feld für die Betriebszeit speichert die letzte Betriebszeit, die entweder der Betrachtungsbedingung 1 oder der Betrachtungsbedingung 2 entspricht. Das Feld für Bemerkungen speichert den Inhalt der ergänzenden Erläuterungen zum Polypen.
23 ist ein Flussdiagramm, das ein Verarbeitungsverfahren beim Anzeigen der Betrachtungsbedingung für einen Polypen darstellt. Die Steuereinheit 21 des Prozessors 2 erfasst das aufgenommene, vom Endoskop 1 übertragene Bild (Schritt S241). Die Steuereinheit 21 extrahiert einen Polypen aus dem erfassten aufgenommenen Bild (Schritt S242). Da das Polypenextraktionsverfahren gleich wie jenes in der ersten Ausführungsform ist, wird auf dessen Beschreibung verzichtet.
Die Steuereinheit 21 veranlasst die Anzeigevorrichtung 3, das Endoskopbild, die Betrachtungsbedingung 1 einschließlich der Zoom-Vergrößerung und die Betrachtungsbedingung 2 einschließlich der Weißlichtbetrachtung oder der speziellen Lichtbetrachtung anzuzeigen (Schritt S243). Die Betrachtungsbedingung 1 und die Betrachtungsbedingung 2 können getrennt oder in Kombination verwendet werden. Die Steuereinheit 21 ordnet die Betrachtungsbedingung 1 und die Betrachtungsbedingung 2 der Polypen-ID zu und speichert sie in der Polypen-DB 273 der Speichereinheit mit großer Kapazität 27 (Schritt S244). Insbesondere ist die Steuereinheit 21 der größten Polypen-ID in dem erfassten Bild zugeordnet und speichert die Betrachtungsbedingung 1, die Betrachtungsbedingung 2, die Betriebszeit und die Bemerkungen als einen Datensatz in der Polypen-DB 273.
Zusätzlich dazu können die Betrachtungsbedingungen, die dem während der endoskopischen Untersuchung operierten Polypen entsprechen, in der Polypen-DB 273 der Speichereinheit mit großer Kapazität 27gespeichert werden. Insbesondere speichert die Steuereinheit 21 die Aggregations-ID, die Polypen-ID, den Bereich, die Morphologie, den neoplastischen Typ (Tumor/Nichttumor), die Gutartigkeit/Bösartigkeit (Gutartigkeit, Bösartigkeit), die Größe, die Bildgebungszeit, die Resektionssituation, die Vorresektionsbehandlung und Nachresektionsbehandlung, die Resektionszeit, die Häufigkeit der Resektionen und die Betrachtungsbedingung 1, die Betrachtungsbedingung 2, die Betriebszeit und die Bemerkungen für jeden Polypen als einen Datensatz in der Polypen-DB 273. In Bezug auf den Zeitpunkt der Speicherverarbeitung der Betrachtungsbedingungen, wie in der ersten Ausführungsform, kann der Zeitpunkt unmittelbar nach der Aggregationsverarbeitung jedes Bereichs des Dickdarms oder zu einem Zeitpunkt gespeichert werden, an dem die Spitze des Endoskops 1 den Analkanal 10a erreicht und die endoskopische Untersuchung endet.
24 ist ein schematisches Diagramm zum Anzeigen von Betriebsinformationen, die während der endoskopischen Untersuchung durchgeführt werden, in einem Registerkartenformat. Die Steuereinheit 21 des Prozessors 2 hat drei Polypen aus dem aufgenommenen Bild, das vom Endoskop 1 aufgenommen wurde, extrahiert. Die Steuereinheit 21 erfasst Informationen zu Gutartigkeit/Bösartigkeit für jeden extrahierten Polypen. In Bezug auf den Bestimmungsprozess von Gutartigkeit/Bösartigkeit kann beispielsweise das Polypenextraktionsmodell 274 verwendet werden, um einen Wahrscheinlichkeitswert für Gutartigkeit/Bösartigkeit zu erfassen, und die Gutartigkeit/Bösartigkeit kann gemäß dem erfassten Wahrscheinlichkeitswert bestimmt werden. Die Steuereinheit 21 erfasst die Betrachtungsbedingung 1 und die Betrachtungsbedingung 2 und gibt den erfassten Typ gutartig/bösartig, die Betrachtungsbedingung 1 und die Betrachtungsbedingung 2 an die Anzeigevorrichtung 3 aus.
Wie in der Zeichnung dargestellt, zeigt die Anzeigevorrichtung 3 den vom Prozessor 2 ausgegebenen Typ gutartig/bösartig, die Betrachtungsbedingung 1 und die Betrachtungsbedingung 2 in einem Markierungsformat über dem Polypen an. Die am Polypen angebrachten Markierungen schließen einen Typ gutartig/bösartig, eine Betrachtungsbedingung 1 und eine Betrachtungsbedingung 2 ein. Beispielsweise wird der Typ gutartig durch B (benign, gutartig) angezeigt, der Typ bösartigdurch M (malign, bösartig) und ein unbestimmter Typ durch U (undefiniert). Die normale Betrachtung wird durch N (normal) angezeigt, und die vergrößerte Betrachtung wird durch M (magnified, vergrößert) angezeigt. Die Weißlichtbetrachtung wird durch W (weiß) und die spezielle Lichtbetrachtung durch S (spezial) angezeigt.
Die Betrachtungsbedingung ist nicht auf die vorstehend erwähnte Betrachtungsbedingung beschränkt. Beispielsweise kann die Markierung eines Polypen den Bestimmungszustand gutartig/bösartig durch Blinken anzeigen. Die Anzeigevorrichtung 3 zeigt die Markierung des bestimmten Polypen so an, wie er ist, ohne zu blinken, und zeigt die Markierung des unbestimmten Polypen durch Blinken an. Zusätzlich dazu kann die Gewissheit in einem Rahmen entsprechend dem Wahrscheinlichkeitswert des Typs gutartig/bösartig angezeigt werden. Beispielsweise kann die Markierung eines Polypen mit einer hohen Gewissheit für Bösartigkeit in einem fetten Rahmen angezeigt werden. Die Markierung eines Polypen mit einer niedrigen Gewissheit für Bösartigkeit kann in einem schmalen Rahmen angezeigt werden. Wenn des Weiteren beispielsweise ein gutartiger oder bösartiger Polyp groß ist und eine Resektion empfohlen wird, kann die Anzeigevorrichtung 3 dies mit einem schnellen Blinken anzeigen.
Gemäß dieser Ausführungsform ist es durch Anzeigen einer Markierung, die den Betrachtungszustand und dergleichen für den aus dem aufgenommenen Bild extrahierten Polypen anzeigt, möglich, die Diagnose des Arztes zu unterstützen und zu verhindern, dass der Polyp übersehen oder die Resektion versäumt wird.
(Vierte Ausführungsform)
Die vierte Ausführungsform bezieht sich auf einen Modus, in dem das vorherige Aggregationsergebnis für denselben Patienten und das aktuelle Aggregationsergebnis zur gleichen Zeit ausgegeben werden. Auf die Beschreibung des Inhalts, der sich mit der ersten bis dritten Ausführungsform überschneidet, wird verzichtet. Die Steuereinheit 21 des Prozessors 2 kann das vorherige Aggregationsergebnis und das aktuelle Aggregationsergebnis aus der Aggregations-DB 272 der Speichereinheit mit großer Kapazität 27 basierend auf der Patienten-ID und dem Aggregationsdatum erfassen. Die Steuereinheit 21 gibt das erfasste vorherige Aggregationsergebnis und das aktuelle Aggregationsergebnis an die Anzeigevorrichtung 3 aus.
25 ist ein Graph, der die Anzahl der extrahierten Polypen und die Anzahl der vorherigen Extraktionen gleichzeitig für jeden Bereich darstellt. Die Steuereinheit 21 des Prozessors 2 aggregiert die Anzahl der Polypen für jeden Bereich und erfasst dann das vorherige Aggregationsergebnis aus der Aggregations-DB 272 der Speichereinheit mit großer Kapazität 27 basierend auf der Patienten-ID und dem Aggregationsdatum. Die Steuereinheit 21 gibt das aktuelle Aggregationsergebnis und das erfasste vorherige Aggregationsergebnis in einem Diagrammformat an die Anzeigevorrichtung 3 aus. Die Anzeigevorrichtung 3 zeigt das aktuelle Aggregationsergebnis und das vom Prozessor 2 ausgegebene vorherige Aggregationsergebnis an.
Wie in der Zeichnung dargestellt, ist die Verteilung der Anzahl der diesmal aggregierten Polypen für jeden Bereich durch eine durchgezogene polygonale Linie und die Verteilung der Anzahl der das letzte Mal aggregierten Polypen für jeden Bereich durch eine gestrichelte polygonale Linie dargestellt. Die Verteilung der Differenz zwischen der Anzahl der diesmal aggregierten Polypen und der Anzahl der das letzte Mal aggregierten Polypen ist in Punkten dargestellt. Außerdem werden die Anzahl der diesmal aggregierten Polypen für jeden Bereich, die Anzahl der das letzte Mal aggregierten Polypen für jeden Bereich, die Gesamtanzahl der diesmal aggregierten Polypen und die Differenz zwischen der Gesamtanzahl der diesmal aggregierten Polypen und der Gesamtanzahl der das letzte Mal aggregierten Polypen auf dem unteren Teil des Graphen angezeigt. Das Anzeigeformat ist nicht auf das vorstehend erwähnte Anzeigeformat beschränkt und kann beispielsweise in einem Säulendiagramm angezeigt werden.
Gemäß dieser Ausführungsform ist es durch gleichzeitige Ausgabe des vorherigen Aggregationsergebnisses und des aktuellen Aggregationsergebnisses für jeden Patienten möglich, Informationen wie den bisherigen Progressionsstatus des Polypen und die Vorhersage der Progression des Polypen in Zukunft bereitzustellen.
(Fünfte Ausführungsform)
26 ist ein Funktionsblockdiagramm, das den Betrieb des Prozessors 2 der vorstehend beschriebenen Ausführungsform darstellt. Wenn die Steuereinheit 21 das Steuerprogramm 2P ausführt, arbeitet der Prozessor 2 wie folgt.
Eine Bilderfassungseinheit 20a erfasst ein aufgenommenes Bild vom Endoskop 1. Eine Polypenextraktionseinheit 20b extrahiert einen Polypen aus dem von der Bilderfassungseinheit 20a erfassten aufgenommenen Bild. Eine Bereichsidentifikationseinheit 20c identifiziert den Bereich des Dickdarms, in dem der von der Polypenextraktionseinheit 20b extrahierte Polyp vorhanden ist. Eine Aggregationseinheit 20d aggregiert die Anzahl der Polypen, die von der Polypenextraktionseinheit 20b für jeden Bereich extrahiert wurden, der von der Bereichsidentifikationseinheit 20c identifiziert wurde. Eine Ausgabeeinheit 20e gibt ein Endoskopbild basierend auf dem von der Bilderfassungseinheit 20a erfassten aufgenommenen Bild und dem von der Aggregationseinheit 20d aggregierten Aggregationsergebnis aus. Eine Polypenklassifizierungseinheit 20f klassifiziert die von der Polypenextraktionseinheit 20b extrahierten Polypen. Eine Resektionsaufzeichnungseinheit 20g zeichnet auf, ob der Polyp reseziert wurde. Eine Betriebsaufzeichnungseinheit 20h zeichnet den während der endoskopischen Untersuchung durchgeführten Vorgang und die Betriebszeit in Verbindung miteinander auf.
Die fünfte Ausführungsform ist wie vorstehend beschrieben, und die anderen Teile sind gleich wie jene der ersten bis vierten Ausführungsform. Daher werden die entsprechenden Teile mit den gleichen Bezugsnummern bezeichnet, und es wird auf deren detaillierte Beschreibung verzichtet.
Die hierin offenbarten Ausführungsformen sind in jeder Hinsicht beispielhaft, und es sollte berücksichtigt werden, dass die Ausführungsformen nicht einschränkend sind. Der Geltungsumfang der Erfindung wird nicht durch die vorstehend beschriebene Bedeutung, sondern durch Ansprüche definiert und beabsichtigt, alle Modifikationen innerhalb der Bedeutung und eines Schutzumfangs, der den Ansprüchen entspricht, einzuschließen.
Bezugszeichenliste

1: Dickdarmendoskop (Endoskop)
11: Bildsensor
12: Einführkanal für das Behandlungswerkzeug
13: Bedieneinheit
14: Verbinder
2: Endoskopprozessor (Prozessor)
21: Steuereinheit
22: Speichereinheit
23: Betrieb seingab eeinheit
24: Ausgabeeinheit
25: Lichtquellensteuereinheit
26: Takteinheit
27: Speichereinheit mit großer Kapazität
271: Patienten-DB
272: Aggregations-DB
273: Polypen-DB
274: Polypenextraktionsmodell
74a: Regionskandidatenextraktionseinheit
74b: Klassifizierungseinheit
275: Bereichsidentifikationsmodell
28: Lichtquelle
29: Leseeinheit
2a: tragbares Speichermedium
2b: Halbleiterspeicher
2P: Steuerprogramm
3: Anzeigevorrichtung
10a: Analkanal
10b: Rektum
10c: Kolon sigmoideum
10d: Kolon deszendens
10e: Kolon transversum
10f: Kolon aszendens
10g: Blinddarm
20a: Bilderfassungseinheit
20b: Polypenextraktionseinheit
20c: Bereichsidentifikationseinheit
20d: Aggregationseinheit
20e: Ausgabeeinheit
20f: Polypenklassifizierungseinheit
20g: Resektionsaufzeichnungseinheit
20h: Betriebsaufzeichnungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2004350734 A [0003]

Claims

Endoskopprozessor, umfassend: eine Bilderfassungseinheit, die ein aufgenommenes Bild von einem Dickdarmendoskop erfasst; eine Bereichsidentifikationseinheit, die einen Bereich in einem Dickdarm basierend auf dem von der Bilderfassungseinheit erfassten aufgenommenen Bild identifiziert; eine Polypenextraktionseinheit, die einen Polypen aus dem aufgenommenen Bild extrahiert; eine Aggregationseinheit, die die Anzahl der Polypen für jeden von der Bereichsidentifikationseinheit identifizierten Bereich aggregiert; und eine Ausgabeeinheit, die ein Endoskopbild basierend auf dem aufgenommenen Bild und einem von der Aggregationseinheit aggregierten Aggregationsergebnis ausgibt.
Endoskopprozessor nach Anspruch 1, wobei die Bereichsidentifikationseinheit identifiziert, ob der Bereich ein Blinddarm, ein Kolon aszendens, ein Kolon transversum, ein Kolon deszendens, ein Kolon sigmoideum oder ein Rektum ist.
Endoskopprozessor nach Anspruch 1 oder 2, wobei die Aggregationseinheit die Anzahl von Polypen für jeden Teilbereich aggregiert, der durch Teilen des von der Bereichsidentifikationseinheit identifizierten Bereichs erhalten wird.
Endoskopprozessor nach Anspruch 3, wobei die Aggregationseinheit basierend auf einer Zeit, die das Dickdarmendoskop benötigt, um den Bereich zu passieren, in dem sich der Polyp befindet, und einer Zeit, zu der der Polyp aufgenommen wird, einen Teilbereich bestimmt und aggregiert, in dem sich der Polyp befindet.
Endoskopprozessor nach einem der Ansprüche 1 bis 4, umfassend: eine Polypenklassifizierungseinheit, die den Polypen klassifiziert, wobei die Aggregationseinheit die Anzahl der Polypen für jeden von der Bereichsidentifikationseinheit identifizierten Bereich aggregiert.
Endoskopprozessor nach einem der Ansprüche 1 bis 4, umfassend: eine Resektionsaufzeichnungseinheit, die aufzeichnet, ob der Polyp reseziert wurde, wobei die Aggregationseinheit einen resezierten Polypen und einen nicht resezierten Polypen aggregiert, die jeweils in der Resektionsaufzeichnungseinheit aufgezeichnet sind.
Endoskopprozessor nach einem der Ansprüche 1 bis 5, umfassend: eine Betriebsaufzeichnungseinheit, die einen Vorgang, einschließlich des während der endoskopischen Untersuchung durchgeführten Farbstoffsprühens, und eine Betriebszeit in Verbindung miteinander aufzeichnet, wobei die Ausgabeeinheit einen in der Betriebsaufzeichnungseinheit aufgezeichneten Vorgang in Verbindung mit dem Aggregationsergebnis ausgibt.
Endoskopprozessor nach einem der Ansprüche 1 bis 7, wobei die Ausgabeeinheit ein Endoskopbild basierend auf dem aufgenommenen Bild und einen Graphen ausgibt, der eine Beziehung zwischen einem Bereich des Dickdarms und der Anzahl der Polypen darstellt, die von der Aggregationseinheit auf einem Bildschirm aggregiert werden.
Endoskopprozessor nach Anspruch 8, wobei der Graph eine Beziehung zwischen einem Bereich des Dickdarms und der Anzahl der Polypen und einer kumulativen Anzahl der Polypen darstellt.
Endoskopprozessor nach einem der Ansprüche 1 bis 9, wobei die Ausgabeeinheit eine Markierung anzeigt, die den Polypen angibt, der mit dem Endoskopbild überlagert werden soll.
Endoskopprozessor nach einem der Ansprüche 1 bis 10, umfassend eine vorherige Erfassungseinheit, die ein vorheriges Aggregationsergebnis erfasst, das von der Aggregationseinheit bei einer vorherigen endoskopischen Untersuchung des Dickdarms aggregiert wurde, wobei die Ausgabeeinheit das Endoskopbild, das Aggregationsergebnis und ein vorheriges Aggregationsergebnis ausgibt, das von der vorherigen Erfassungseinheit erfasst wurde.
Informationsverarbeitungsvorrichtung, umfassend: eine Bilderfassungseinheit, die ein aufgenommenes Bild, das von einem Dickdarmendoskop aufgenommen wurde, erfasst; eine Bereichsidentifikationseinheit, die einen Bereich in einem Dickdarm basierend auf dem von der Bilderfassungseinheit erfassten aufgenommenen Bild identifiziert; eine Polypenextraktionseinheit, die einen Polypen aus dem aufgenommenen Bild extrahiert; eine Aggregationseinheit, die die Anzahl der Polypen für jeden von der Bereichsidentifikationseinheit identifizierten Bereich aggregiert; und eine Ausgabeeinheit, die ein Endoskopbild basierend auf dem aufgenommenen Bild und einem von der Aggregationseinheit aggregierten Aggregationsergebnis ausgibt.
Endoskopsystem, umfassend: einen Endoskopprozessor; und ein Dickdarmendoskop, das mit dem Endoskopprozessor verbunden ist, wobei der Endoskopprozessor Folgendes einschließt: eine Bilderfassungseinheit, die ein aufgenommenes Bild von dem Dickdarmendoskop erfasst, eine Bereichsidentifikationseinheit, die einen Bereich in einem Dickdarm basierend auf dem von der Bilderfassungseinheit erfassten aufgenommenen Bild identifiziert, eine Polypenextraktionseinheit, die einen Polypen aus dem aufgenommenen Bild extrahiert, eine Aggregationseinheit, die die Anzahl der Polypen für jeden von der Bereichsidentifikationseinheit identifizierten Bereich aggregiert, und eine Ausgabeeinheit, die ein Endoskopbild basierend auf dem aufgenommenen Bild und einem von der Aggregationseinheit aggregierten Aggregationsergebnis ausgibt.
Programm, um einen Computer zu veranlassen, Folgendes auszuführen: Erfassen eines aufgenommenen Bildes, das von einem Dickdarmendoskop aufgenommen wurde; Identifizieren eines Bereichs in einem Dickdarm basierend auf dem aufgenommenen Bild; Extrahieren eines Polypen aus dem aufgenommenen Bild; Aggregieren der Anzahl der Polypen für jeden identifizierten Bereich; und Ausgeben eines Endoskopbildes basierend auf dem aufgenommenen Bild und einem Aggregationsergebnis.
Informationsverarbeitungsverfahren, um einen Computer zu veranlassen, Folgendes auszuführen: Erfassen eines aufgenommenen Bildes, das von einem Dickdarmendoskop aufgenommen wurde; Identifizieren eines Bereichs in einem Dickdarm basierend auf dem aufgenommenen Bild; Extrahieren eines Polypen aus dem aufgenommenen Bild; Aggregieren der Anzahl der Polypen für jeden identifizierten Bereich; und Ausgeben eines Endoskopbildes basierend auf dem aufgenommenen Bild und einem Aggregationsergebnis.