DE102016105165A1

DE102016105165A1 - Gerät, verfahren und nicht-flüchtiges, computerlesbares medium zum erkennen eines von einem endoskop abgebildeten körperteils

Info

Publication number: DE102016105165A1
Application number: DE102016105165.9A
Authority: DE
Inventors: Nobuyuki Miura
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2015-03-30
Filing date: 2016-03-21
Publication date: 2016-10-06
Also published as: JP2016189812A; US10092216B2; JP6389136B2; US20160292498A1

Abstract

In einem Endoskopsystem wird eine Einführtiefe einer Einführeinheit basierend auf Kamerabildern ermittelt, die von zwei in einem Mundstück befindlichen Kameras aufgenommen werden. Anschließend werden aus einer Altbild-Speichereinheit alte Bilder eines der nachgewiesenen Einführtiefe entsprechenden vorbestimmten Bereichs erfasst. Ein laufendes Bild wird mit jedem der erfassten alten Bilder verglichen, um eine Ähnlichkeit zwischen dem laufenden Bild und jedem der alten Bilder zu berechnen. Ein in dem alten Bild aufgenommener Körperteil mit der größten Ähnlichkeit bezüglich des laufenden Bilds wird als der in dem laufenden Bild aufgenommene Körperteil festgestellt.

Description

Die vorliegende Erfindung nimmt die Priorität gemäß 35 U.S.C. § 119 der japanischen Patentanmeldung Nr. 2015-070156 , eingereicht am 30. März 2015, in Anspruch. Jede der obigen Anmeldungen wird hier ausdrücklich durch Bezugnahme in ihrer Gesamtheit in die vorliegende Anmeldung inkorporiert.
HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Vorrichtung, ein Verfahren und ein nicht-flüchtiges, computerlesbares Medium zum Identifizieren eines Körperteils, das von einer Bildgebungseinheit an einem distalen Ende eines Einführabschnitts eines Endoskops aufgenommen wurde.
2. Beschreibung des einschlägigen Standes der Technik
Endoskope zum Aufnehmen von Bildern eines Patienten-Körperhohlraums sind weithin bekannt. Ein Einführabschnitt des Endoskops, welcher an dem distalen Ende eine Bildgebungseinheit beinhaltet, wird in den Körperhohlraum des Patienten eingeführt, und von der Bildgebungseinheit wird das Bild aufgenommen. Das aufgenommene Bild wird in Echtzeit auf einem Monitor angezeigt. Ein Arzt betrachtet den abgebildeten Körperteil über den Monitor.
Wie bekannt, ist der Einführabschnitt des Endoskops mit einem distalen Teil, einem flexiblen Teil und einem flexiblen Schlauch ausgestattet, die in der genannten Reihenfolge ausgehend von dem distalen Ende vorgesehen sind. Der distale Teil beinhaltet die Bildgebungseinheit. Der flexible Teil biegt sich zur Richtungsänderung des distalen Teils. Der flexible Schlauch ist flexibel. Eine Betätigungseinheit ist mit dem proximalen Ende des Einführabschnitts verbunden. Die Betätigungseinheit ist mit einem Betätigungselement (z. B. einem Winkelknopf), einer Verschlusstaste und dergleichen ausgestattet. Das Betätigungselement dient zum Biegen des flexiblen Teils. Die Verschlusstaste ermöglicht der Bildgebungseinheit die Aufnahme eines Stehbilds.
Bei der endoskopischen Untersuchung ist es notwendig, dass der Arzt die Betrachtung vornimmt, während er Kenntnis über den abgebildeten Körperteil hat, beispielsweise Kenntnis hat, ob der abgebildete Körperteil die Speiseröhre oder der Magen ist, oder ob der abgebildete Körperteil die Cardia, der Pylorus oder die Magenkerbe des Magens ist. Allerdings ist es schwierig, den Körperteil (d. h. den Gastrointestinaltrakt), der endoskopisch untersucht wird, durch visuelle Betrachtung des auf dem Monitor dargestellten Bilds zu unterscheiden, so dass der abgebildete Körperteil möglicherweise nicht korrekt identifiziert werden kann. Um dieses Problem zu lösen, wurde eine Vorrichtung zum Identifizieren des abgebildeten Körperteils entwickelt. Beispielsweise offenbaren das japanische Patent Nr. 4262741 und die US 2015/0208947 (entsprechend der japanischen Patentanmeldungs-Offenlegungsschrift Nr. 2014-076174 ) eine Vorrichtung zum Identifizieren eines abgebildeten Körperteils anhand einer Einführtiefe des Einführabschnitts, eines Biegemaßes des Einführabschnitts (des flexiblen Teils) und eines Drehmaßes des Einführabschnitts bezüglich seiner Achse. Bei einer oralen Untersuchung, bei der das Endoskop durch den Mund des Patienten eingeführt wird, so z. B. eine Untersuchung des oberen Gastrointestinaltrakts, werden die Einführtiefe und das Drehmaß basierend auf einen Versatz des Einführabschnitts in Bezug auf beispielsweise ein am Mund des Patienten angebrachtes Mundstück ermittelt. Das Biegungsmaß wird beispielsweise anhand eines Betätigungshubs des Betätigungselementes zum Durchbiegen des flexiblen Teils nachgewiesen.
Die japanische Patentanmeldungs-Offenlegungsschrift Nr. 2012-165838 zeigt eine Methode zum Identifizieren des abgebildeten Körperteils. Gemäß dieser Methode werden dreidimensionale Bilddaten des Körperhohlraums des Patienten auf der Grundlage eines Bilds erzeugt, welches durch eine CT-(Computertomographie-)-Untersuchung oder eine MRI-(Magnetic Resonance Imaging)-Untersuchung erfasst wurde, ferner anhand der Einführtiefe des Einführabschnitts, des Biegemaßes und des Drehmaßes des Einführabschnitts. Die dreidimensionalen Bilddaten werden verglichen mit einem aufgenommenen Bild (dem laufenden Bild), um den abgebildeten Körperteil zu identifizieren.
Allerdings weist das Verfahren zum Identifizieren des abgebildeten Körperteils anhand der Einführtiefe, des Biegemaßes und des Drehmaßes gemäß dem japanischen Patent Nr. 4262741 und der US 2015/0208947 eine geringe Genauigkeit beim Identifizieren des abgebildeten Körperteils auf. Selbst wenn die Einführtiefe gleich ist, kann der abgebildete Körperteil von Patient zu Patient variieren, abhängig von den individuellen Besonderheiten (Körperform, Alter, Geschlecht oder dergleichen). Der basierend auf der Einführtiefe identifizierte abgebildete Körperteil kann verschieden sein von dem tatsächlich abgebildeten Körperteil.
Das Drehmaß wird basierend auf dem Versatz des Einführabschnitt relativ zu dem am Mund des Patienten angebrachten Mundstück nachgewiesen. In anderen Worten: Das Drehmaß wird relativ zu der Richtung des Munds des Patienten ermittelt. Wenn die Richtung des Patienten-Mundes sich ändert (z. B. dann, wenn der Patient die Richtung seines Gesichts ändert), während die Untersuchung stattfindet, kann die Drehung des Einführabschnitts auch dann fehlerbehaftet nachgewiesen werden, wenn der Einführabschnitt selbst nicht gedreht wurde. Das Biegemaß wird basierend auf dem Betätigungshub des Betätigungselementes nachgewiesen. Eine Biegerichtung des flexiblen Teils variiert entsprechend einer Änderung des Drehmaßes, welches die Bezugsgröße zum Bestimmen der Biegerichtung ist. Beispielsweise kann es zu einer Verschiebung bis hin zu 90° zwischen der aktuellen Bildgebungsrichtung und derjenigen Bildgebungsrichtung kommen, die ermittelt wird anhand des nachgewiesenen Biegemaßes und des nachgewiesenen Drehbetrags.
Bei dem in der japanischen Patent-Offenlegungsschrift Nr. 2012-165838 beschriebenen Verfahren werden die dreidimensionalen Bilddaten des Körperhohlraums des Patienten erzeugt, und der abgebildete Körperteil wird anhand des Vergleichsergebnisses zwischen den dreidimensionalen Bilddaten und dem laufenden Bild identifiziert. Dieses Verfahren weist eine höhere Genauigkeit beim Identifizieren des abgebildeten Körperteils auf als das Verfahren nach dem japanischen Patent Nr. 4262741 und der US 2015/0208947 . Allerdings benötigt das Verfahren nach der japanischen Patentanmeldungs-Offenlegungsschrift 2012-165838 Zeit und Mühe zum Erzeugen der dreidimensionalen Bilddaten des Körperhohlraums des Patienten anhand der Untersuchungsdaten von der CT-Untersuchung oder der MRI-Untersuchung, die zusätzlich zu der endoskopischen Untersuchung stattfindet.
OFFENBARUNG DER ERFINDUNG
Ein Ziel der vorliegenden Erfindung ist es, eine Vorrichtung, ein Verfahren und ein nicht-flüchtiges, computerlesbares Medium zum Identifzieren eines von einem Endoskop abgebildeten Körperteils zu schaffen, die in der Lage sind, in einfacher Weise die Genauigkeit des Identifizieren des abgebildeten Körperteils zu verbessern.
Um das obige Ziel und weitere Ziele zu erreichen, enthält eine Körperteil-Identifiziervorrichtung gemäß einem Aspekt der vorliegenden Erfindung einen Einführtiefendetektor, eine Laufendbild-Erfassungseinheit, eine Altbild-Erfassungseinheit und einen Körperteil-Identifizierer. Der Einführtiefendetektor weist eine Einführtiefe des in den Körperhohlraum eingeführten Einführabschnitts nach. Die Laufendbild-Erfassungseinheit erfasst das laufende Bild, die Altbild-Erfassungseinheit holt mindestens ein altes Bild aus einer Altbild-Speichereinheit, basierend auf der von dem Einführtiefendetektor ermittelten Einführtiefe. Die Altbild-Speichereinheit speichert die vergangenen Bilder, die bei mindestens einer früheren endoskopischen Untersuchung aufgenommen wurden. Der Körperteil-Identifizierer identifiziert den abgebildeten Körperteil in dem laufenden Bild durch Vergleichen des von der Altbild-Erfassungseinheit geholten alten Bilds mit dem laufenden Bild, und durch Bestimmen des dem laufenden Bild ähnlichen alten Bilds. Die Körperteil-Identifiziervorrichtung wird für ein Endoskop verwendet. Das Endoskop führt einen Einführabschnitt in einen Körperhohlraum eines Patienten ein und nimmt innerhalb des Körperhohlraums ein Bild auf. Der distale Teil des Einführabschnitts beinhaltet eine Bildgebungseinheit. Die Körperteil-Identifiziervorrichtung identifiziert den abgebildeten Körperteil in dem gerade von der Bildgebungseinheit aufgenommenen laufenden Bild.
Es ist bevorzugt, wenn der Körperteil-Identifizierer unter den für den Vergleich mit dem laufenden Bild verwendeten alten Bildern dasjenige Bild bestimmt, das mit dem laufenden Bild die größte Ähnlichkeit aufweist, und als abgebildeten Körperteil in dem laufenden Bild einen Körperteil in dem festgestellten alten Bild bestimmt.
Es ist bevorzugt, wenn die Körperteil-Identifiziervorrichtung weiterhin eine Korrespondenztabelle enthält, welche eine Entsprechung zwischen der Einführtiefe und einem Kandidaten für den abgebildeten Körperteil enthält. Es ist bevorzugt, wenn die Altbild-Erfassungseinheit auf die Korrespondenztabelle Bezug nimmt und den Kandidaten für den abgebildeten Körperteil basierend auf der von dem Eindringtiefendetektor nachgewiesenen Einführtiefe bestimmt, und das dem festgestellten Kandidaten entsprechende alte Bild aus der Altbild-Speichereinheit erfasst.
Es ist bevorzugt, wenn die Körperteil-Identifiziereinrichtung weiterhin einen Biegemaßdetektor und einen Drehmaßdetektor enthält. Der Biegemaßdetektor erfasst ein Biegemaß des Einführabschnitts. Der Drehmaßdetektor ermittelt ein Drehmaß des Einführabschnitts um eine Achse desselben. Es ist bevorzugt, wenn die Altbild-Erfassungseinheit das alte Bild basierend auf der Einführtiefe, dem Biegemaß und dem Drehmaß holt.
Es ist bevorzugt, wenn die Altbild-Erfassungseinheit das alte Bild eines interessierenden Patienten aus der Altbild-Speichereinheit holt. Der interessierende Patient ist derjenige, der in dem laufenden Bild abgebildet ist.
Es ist bevorzugt, wenn die Altbild-Erfassungseinheit das alte Bild eines anderen Patienten aus der Altbild-Speichereinheit holt. Der andere Patient unterscheidet sich von einem in dem laufenden Bild abgebildeten interessierenden Patienten.
Es ist bevorzugt, wenn die Altbild-Erfassungseinheit das alte Bild eines interessierenden Patienten in dem Fall erfasst, dass der Altbild-Speichereinheit das Altbild des interessierenden Patienten enthält, und die Altbild-Erfassungseinheit das alte Bild eines anderen Patienten holt, der verschieden ist von dem interessierenden Patienten, falls die Altbild-Speichereinheit nicht das alte Bild des interessierenden Patienten enthält. Der interessierende Patient ist in dem laufenden Bild abgebildet.
Es ist bevorzugt, wenn die Körperteil-Identifiziereinheit weiterhin einen Bildschirmgenerator und eine Anzeigesteuerung enthält. Der Bildschirmgenerator erzeugt einen endoskopischen Untersuchungs- und Unterstützungsbildschirm. Der endoskopische Untersuchungs-Unterstützungsbildschirm zeigt das laufende Bild und den abgebildeten Körperteil innerhalb des laufenden Bilds an. Der abgebildete Körperteil wird durch den Körperteil-Identifizierer identifiziert. Die Anzeigesteuerung steuert eine Anzeige des endoskopischen Untersuchungs- und Unterstützungsbildschirms.
Es ist bevorzugt, dass der endoskopische Untersuchungs-Unterstützungsbildschirm das laufende Bild und das alte Bild in miteinander vergleichbarer Weise zur Anzeige bringt. Das alte Bild enthält denselben abgebildeten Körperteil wie das laufende Bild. Der abgebildete Körperteil in dem laufenden Bild wird durch den Körperteil-Identifizierer identifiziert.
Ein Aspekt der vorliegenden Erfindung schafft ein Körperteil-Identifizierverfahren, das einem Körperteil-Identifizierverfahren gestattet, folgende Schritte auszuführen: einen Nachweisschritt, einen Laufendbild-Erfassungsschritt, einen Altbild-Erfassungsschritt und einen Identifizierschritt. In dem Nachweisschritt wird eine Einführtiefe des in den Körperhohlraum eingeführten Einführabschnitts nachgewiesen. In dem Laufendbild-Erfassungsschritt wird ein laufendes Bild erfasst. In dem Altbild-Erfassungsschritt wird mindestens ein altes Bild basierend auf der Einführtiefe aus einer Altbild-Speichereinheit geholt. Die Altbild-Speichereinheit speichert die alten Bilder, die bei mindestens einer früheren endoskopischen Untersuchung aufgenommen wurden. In dem Identifizierschritt wird der abgebildete Körperteil in dem laufenden Bild identifiziert durch Vergleichen des erfassten alten Bilds mit dem laufenden Bild und durch Bestimmen des dem laufenden Bild ähnlichen alten Bilds. Das Körperteil-Identifizierverfahren wird für ein Endoskop eingesetzt. Das Endoskop führt einen Einführabschnitt in einen Körperhohlraum eines Patienten ein und nimmt ein Bild des Körperhohlraums auf. Ein distaler Teil des Einführabschnitts beinhaltet eine Bildgebungseinheit. Das Körperteil-Identifizierverfahren identifiziert den abgebildeten Körperteil in einem laufenden Bild, welches laufend von der Bildgebungseinheit aufgenommen wird.
Ein Aspekt der vorliegenden Erfindung schafft ein nicht-flüchtiges, computerlesbares Medium mit darin gespeicherten Befehlen, die bei Ausführen durch einen Computer diesen veranlassen, Operationen zum Identifizieren eines abgebildeten Körperteils in einem laufenden Bild auszuführen, welches laufend von einer Bildgebungseinheit aufgenommen wird. Die Bildgebungseinheit ist in einem distalen Teil eines Einführabschnitts eines Endoskops untergebracht. Das Endoskop führt den Einführabschnitt in einen Körperhohlraum eines Patienten ein und nimmt ein Bild des Körperhohlraums auf. Die Operationen beinhalten einen Nachweisvorgang, einen Laufendbild-Erfassungsvorgang, einen Altbild-Erfassungsvorgang und einen Identifiziervorgang. Bei dem Nachweisvorgang wird eine Einführtiefe eines in den Körperhohlraum eingeführten Einführabschnitts ermittelt. Bei dem Laufendbild-Erfassungsvorgang wird ein laufendes Bild erfasst. Bei dem Altbild-Erfassungsvorgang wird mindestens ein altes Bild aus einer Altbild-Speichereinheit basierend auf der Einführtiefe erfasst. Die Altbild-Speichereinheit speichert die vergangenen Bilder, die bei mindestens einer früheren endoskopischen Untersuchung aufgenommen wurden. Bei dem Identifiziervorgang wird der abgebildete Körperteil in dem laufenden Bild identifiziert anhand eines Vergleichs des erfassten alten Bilds mit dem laufenden Bild und anhand einer Bestimmung des dem laufenden Bild ähnlichen alten Bilds.
Gemäß dem Aspekt der vorliegenden Erfindung wird auf einfacher Weise die Genauigkeit beim Identifizieren eines abgebildeten Körperteils verbessert.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die obigen und weitere Ziele sowie Vorteile der vorliegenden Erfindung ergeben sich deutlicher aus der nachfolgenden detaillierten Beschreibung der bevorzugten Ausführungsformen, wenn diese in Verbindung mit den begleitenden Zeichnungen gelesen wird, wobei gleiche Bezugszeichen gleiche oder entsprechende Teile in sämtlichen Ansichten bezeichnen. Es zeigen:
1 eine erläuternde Ansicht, die ein Endoskopsystem veranschaulicht;
2 eine schematische erläuternde Darstellung, die eine Prozedur zum Identifizieren eines abgebildeten Körperteils veranschaulicht;
3 eine erläuternde Ansicht, die gespeicherte alte Bilder veranschaulicht, an denen jenen jeweils Zusatzinformation angehängt ist;
4 eine erläuternde Ansicht, die die gemäß der Untersuchung klassifizierten gespeicherten vergangenen Bilder veranschaulicht;
5 eine erläuternde Ansicht, die ein Beispiel für eine Suche nach alten Bildern verdeutlicht;
6 eine erläuternde Ansicht, die schematisch Funktionen eines Prozessorgeräts veranschaulicht;
7 eine erläuternde Ansicht, die einen endoskopischen Untersuchungs-Unterstützungsbildschirm veranschaulicht;
8 ein Flussdiagramm zum Veranschaulichen einer Prozedur zum Identifizieren des abgebildeten Körperteils;
9 eine erläuternde Ansicht, die ein Beispiel zeigt, bei dem die alten Bilder, die mit einem laufenden Bild zu vergleichen sind, abhängig vom Vorhandensein oder Fehlen der alten Bilder eines interessierenden Patienten ausgewählt werden;
10 eine erläuternde Ansicht, die ein Beispiel veranschaulicht, bei dem eine Korrespondenztabelle dazu dient, die alten, mit dem laufenden Bild zu vergleichenden Bilder in ihrer Anzahl zu verringern;
11 ist eine erläuternde Ansicht, die ein Beispiel darstellt, bei dem eine Einführtiefe, ein Drehmaß und ein Biegemaß dazu dienen, die mit dem laufenden Bild zu vergleichenden alten Bilder in ihrer Anzahl von verringern; und
12 ist eine anschauliche Darstellung, welche ein Beispiel veranschaulicht, bei dem die Einführtiefe, das Drehmaß und das Biegemaß dazu dienen, die mit dem laufenden Bild zu vergleichenden alten Bilder in ihrer Anzahl von verringern.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
(Erste Ausführungsform)
Wie in 1 gezeigt ist, enthält ein Endoskopsystem 10 eine Endoskopvorrichtung 12 und einen Altbildserver 14, die untereinander über ein Kommunikationsnetzwerk 16, wie z. B. das Internet, oder ein LAN (Lokal Area Network) verbunden sind. Die Endoskopvorrichtung 10 enthält ein Endoskop 18, ein Mundstück 12, ein Prozessorgerät 22, eine Anzeige 72 und eine Tastatur 74. Das Prozessorgerät 22 ist ein Beispiel für einen Körperteil-Identifiziervorrichtung.
Das Endoskop 18 enthält einen Einführabschnitt 24, der in einen Körperhohlraum eines Patienten einzuführen ist, und eine Bedieneinheit 26, die sich an einem proximalen Ende des Einführabschnitts 24 befindet. Das Endoskop 18 ist mit dem Prozessorgerät 22 über ein Kabel 28 verbunden. Der Einführabschnitt 24 enthält einen distalen Teil 32, einen flexiblen Teil 34 und einen flexiblen Schlauch 36. Der distale Teil 32 beinhaltet eine Bildgebungseinheit 30. Der flexible Teil 34 biegt sich zum Ändern einer Richtung des distalen Teils 32 (d. h. einer Bildgebungsrichtung der Bildgebungseinheit 30). Der flexible Schlauch 36 ist flexibel. Die Bildgebungseinheit 30 enthält einen Bildsensor, wie z. B. ein CCD (Charge Coupled Device), ein Objektiv und ein Lichtfenster. Das Objektiv sammelt Licht auf dem Bildsensor. Das Lichtfenster bringt Beleuchtungslicht auf einen abzubildenden Körperteil. Die Bildgebungseinheit 30 nimmt ein Bild des Körperteils auf, der sich in einer axialen Richtung des Einführabschnitts 24 und vor dem distalen Teil 32 befindet. Die Bildgebungseinheit 30 gibt Bildsignale, die durch die Bildaufnahme erzeugt werden, an das Prozessorgerät 22. An einer Außenoberfläche des Einführabschnitts 24 befinden sich Skalenmarkierungen 40. Die Skalenmarkierungen 40 sind z. B. Punkte, die mit einem vorbestimmten Mittelabstand (beispielsweise 1 cm) in Längsrichtung des Abschnitts 24 angeordnet sind. Die Skalenmarkierungen 40 dienen zum Nachweisen einer Tiefe (im Folgenden als die Einführtiefe bezeichnet) des Einführens des Einführabschnitts 24. Die Einführtiefe gibt die Länge des in den Körperhohlraum des Patienten eingeführten Einführabschnitts 24 an. Die Einführtiefe ist z. B. eine Größe, die relativ zu der Lage des Mundstücks 20 nachgewiesen wird. In anderen Worten: Die Einführtiefe ist die Tiefe oder die Position des distalen Teils 32 innerhalb des Körperhohlraums, bezogen auf die Lage des Mundstücks 20. Eine Einheit der Einführtiefe ist beispielsweise Zentimeter (cm). Der Nachweis der Einführtiefe wird im Folgenden erläutert.
Winkeldrähte, eine Lichtführung und ein Signalkabel verlaufen durch den Einführabschnitt 24. Die Winkeldrähte dienen zum Biegen des flexiblen Teils 34. Die Lichtführung setzt sich aus einer lichtoptischen Faser zusammen. Die optische Faser überträgt das Beleuchtungslicht aus einer Lichtquelle zu dem Lichtfenster. Das Signalkabel überträgt die Bildsignale, die von der Bildgebungseinheit 30 ausgegeben werden, zu dem Prozessorgerät 22 und überträgt verschiedene Signale (z. B. einen Befehl zur Bildgebung) von dem Prozessorgerät 22 zu der Bildgebungseinheit 30. Die Bedieneinheit 26 enthält eine Auslösetaste und einen Winkelknopf 42. Die Auslösetaste wird betätigt, um eine Stehbildaufnahme anzuweisen. Der Winkelknopf 42 wird betätigt (gedreht), um die Winkeldrähte zum Biegen des flexiblen Teils 34 aufzuwickeln oder zu ziehen. Insbesondere wird der Winkeldraht abhängig vom Ausmaß der Betätigung (einen Drehhub) des Winkelknopfs 42 aufgewickelt oder gezogen, um den flexiblen Teil 34 zu biegen. In anderen Worten: In dem Endoskop 18 wird das Biegemaß des flexiblen Teils 34 nach Maßgabe des Betätigungshubs des Winkelknopfs 42 gesteuert.
Das Mundstück 20 hat eine rohrförmige Gestalt und ist am Mund des Patienten befestigt. Das Mundstück 20 hält den Mund des Patienten offen. Das Mundstück 20 unterstützt das glatte Einführen des Einführabschnitts 24 und verhindert, dass der Einführabschnitt 24 beschädigt wird (beispielsweise durch Beißen mit den Zähnen des Patienten). Der Einführabschnitt 24 wird in den Körperhohlraum des Patienten durch eine Öffnung in dem Mundstück 20 eingeführt.
Das Mundstück 20 ist mit kleinen Kameras 46 und 48 ausgestattet, die dazu dienen, die Einführtiefe des Einführabschnitts 24 zu messen. Jede der Kameras 46 und 48 enthält einen Bildsensor (beispielsweise einen CCD). Die Kameras 46 und 48 nehmen Bilder der Außenfläche des Einführabschnitts 24 auf. Hierdurch werden ein oder mehrere Skalenmarkierungen 40 in den von den Kameras 46 und 48 aufgenommenen Bildern abgebildet.
Die Kameras 46 und 48 befinden sich an bezüglich der Öffnung des Mundstücks 20 einander gegenüberliegenden Stellen, so dass die Skalenmarkierung 40 sich in mindestens einem der Bildgebungsfelder der Kameras 46 und 48 befindet, unabhängig von einem Maß (Drehmaß) der Drehung des Einführabschnitts 26, der durch das Mundstück 20 eingeführt wird und um seine Achse dreht. Bei dieser Ausführungsform befindet sich die Kamera 46 auf der Seite des Unterkiefers des Patienten. Die Kamera 48 befindet sich an der Nasenseite des Patienten. Damit liegen die Kameras 46 und 48 einander gegenüber.
Die Kameras 46 und 48 sind in Datenaustausch mit dem Prozessorgerät 22 verbunden und werden von diesem gesteuert. Die Kameras 46 und 48 starten die Bildgebung ansprechend auf das Einschalten am Prozessorgerät 22. Während das Prozessorgerät 22 eingeschaltet ist, nehmen die Kameras 46 und 48 einen Film mit beispielsweise 30 Einzelbildern pro Sekunde auf. Jedes aufgenommene Einzelbild wird als Kamerabild an das Prozessorgerät 22 ausgegeben. Basierend auf den Kamerabildern zählt das Prozessorgerät 22 die durch das Mundstück 20 hindurchgehenden Skalenmarkierungen 40. Die Skalenmarkierungen 40 sind mit einem vorbestimmten Mittenabstand angeordnet, so dass die Einführtiefe nachgewiesen wird durch Zählen der das Mundstück 20 passierenden Skalenmarkierungen 40.
Das Prozessorgerät 22 hat eine Bildgebungs-Steuerfunktion des Eingeben des Befehls zur Bildgebung an die Bildgebungseinheit 30 des Endoskops 18, damit die Bildgebungseinheit 30 die Bildgebung ausführen kann. Das Prozessorgerät 22 besitzt eine Anzeigesteuerfunktion zum Erzeugen eines Anzeigebilds basierend auf den Bildsignalen, die von der Bildgebungseinheit 30 ausgegeben werden, um der Anzeige 72 zu ermöglichen, das Anzeigebild darzustellen. Die Bildgebungseinheit 30 kann Bewegungsbilder und Stehbilder aufnehmen. Die Bewegungsbildaufnahme erfolgt kontinuierlich, während z. B. das Prozessorgerät 22 eingeschaltet ist. Die Stehbildaufnahme erfolgt ansprechend auf den Befehl zur Bildgebung, der von der Auslösetaste der Bedieneinheit 26 eingegeben wird.
Das Prozessorgerät 22 hat eine Funktion (Körperteil-Identifizierfunktion) zum Identifizieren eines Körperteils (im Folgenden als abgebildeter Körperteil bezeichnet), der in einem laufenden Bild 49 (siehe 2) abgebildet ist, bei dem es sich um ein Bild handelt, welches gerade von der Bildgebungseinheit 30 des Endoskops 18 aufgenommen wird. Das Prozessorgerät 22 ist ein Beispiel für eine Körperteil-Identifiziervorrichtung.
Wie schematisch in 2 dargestellt ist, wird das laufende Bild mit alten Bildern 50 verglichen, die in dem Altbildserver 14 gespeichert sind, was durch Musterabgleich geschieht, um dasjenige alte Bild 50 zu ermitteln, welches dem laufenden Bild 49 ähnlich ist. Hierdurch wird der abgebildete Körperteil identifiziert. Die alten Bilder 50 sind Bilder, die bei mindestens einer früheren endoskopischen Untersuchung aufgenommen wurden. Jedes alte Bild 50 speichert Abgebildete-Körperteil-Information als Zusatzinformation. Die Abgebildete-Körperteil-Information wird aus dem alten Bild 50 gelesen, die dem laufenden Bild 49 ähnelt, und sie dient zum Identifizieren des abgebildeten Körperteils in dem laufenden Bild 49. Es wird davon ausgegangen, dass die Bilder des gleichen Körperteils untereinander eine hohe Ähnlichkeit aufweisen. Folglich wird der abgebildete Körperteil in dem laufenden Bild 49 dadurch identifiziert, dass dasjenige alte Bild 50 identifiziert wird, welches eine hohe Ähnlichkeit mit dem laufenden Bild 49 hat.
2 zeigt, dass der distale Teil 32 des Einführabschnitts 24 den Magen S erreicht hat. In diesem Fall ist der abgebildete Körperteil in dem laufenden Bild 49 der „Magen”, und der abgebildete Körperteil in dem alten Bild 50, das eine große Ähnlichkeit mit diesem laufenden Bild 49 hat, ist ebenfalls der „Magen”. Durch den Vergleich zwischen dem laufenden Bild 49 und jedem der alten Bilder 50 wird das alte Bild 50 bestimmt, das eine hohe Ähnlichkeit mit dem laufenden Bild 49 hat. Der abgebildete Körperteil in dem laufenden Bild 49 wird anhand des abgebildeten Körperteils „Magen” in dem alten Bild 50, welches als Bild mit hoher Ähnlichkeit bezüglich des laufenden Bilds 49 bestimmt wurde, als der „Magen” identifiziert.
Die Einführtiefe wird nachgewiesen oder ermittelt, um diejenigen alten Bilder 50 in ihrer Anzahl zu verringern, die mit dem laufenden Bild 49 verglichen werden. Die mehreren alten Bilder 50 sind in dem Altbildserver 14 gespeichert. Der Vergleich zwischen dem laufenden Bild 49 und jedem der alten Bilder 50 in dem Altbildserver 40 nimmt viel Zeit in Anspruch für die Suche nach denjenigem alten Bild 50, welches dem laufenden Bild 49 ähnlich ist. Um die Zeit für den Vergleich zu verkürzen, werden die alten Bilder 50 unter Zugrundelegung der Einführtiefe extrahiert. Hierdurch wird die Anzahl der alten Bilder 50, die mit dem laufenden Bild 49 zu vergleichen sind, verringert.
Das laufende Bild 49 kann hier ein Einzelbild als Bestandteil des Videos oder das Stehbild sein, welches bei einer Stehbildaufnahme aufgenommen wurde. Der Zweck des Identifizieren des abgebildeten Körperteils in dem laufenden Bild 49 ist es, einem Arzt (der die Untersuchung durchführt) den abgebildeten Körperteil zu melden. Aus diesem Grund ist es im Fall des Videos nicht notwendig, den abgebildeten Körperteil bei jedem Einzelbild zu identifizieren. In diesem Fall wird ein Prozess zum Identifizieren des abgebildeten Körperteils bei den Einzelbildern in Zeitintervallen von beispielsweise einer Sekunde ausgeführt.
Der Altbildserver 14 enthält eine Altbild-Speichereinheit 52, in der die mehreren alten Bilder 50 gespeichert sind. Der Altbildserver 14 ist mit dem Prozessorgerät 22 über das Kommunikationsnetzwerk 16 verbunden. Ansprechend auf eine Suchanfrage, die von dem Prozessorgerät 22 eingegeben wird, um nach dem oder den Altbildern 50 zu suchen, ermittelt der Altbildserver 14 das oder die angeforderten alten Bilder 50 aus der Altbild-Speichereinheit 52 und sendet das oder die ermittelten alten Bilder 50 an das Prozessorgerät 22.
Wie in 3 gezeigt ist, speichert jedes in der Altbild-Speichereinheit 52 abgespeicherte alte Bild 50 die den Bilddaten angehängte Zusatzinformation. Die Zusatzinformation enthält unterschiedliche Arten von Information wie z. B. Patienten-Kennungsinformation (z. B. einen Patienten-Namen, eine Patienten-ID oder dergleichen) zum Identifizieren eines interessierenden Patienten, Bildgebungsdaten und Zeitinformation über Datum und Zeit der Bildaufnahme, Einführtiefeninformation, die die Einführtiefe repräsentieren, und Abgebildete-Körperteil-Information über den abgebildeten Körperteil. Der interessierende Patient ist hier ein Patient, der Gegenstand der Untersuchung ist oder in dem laufenden Bild 49 abgebildet ist.
Das alte Bild 50 ist ein Bild, das bei einer früheren Untersuchung mit Hilfe einer Endoskopvorrichtung aufgenommen wurde, die eine Funktion zum Ermitteln einer Einführtiefe und einer Funktion des Identifizieren eines abgebildeten Körperteils aufweist. Diese Funktionen sind ähnlich oder gleichen jenen der für diese Ausführungsform beschriebenen Endoskopvorrichtung 12. Die Endoskopvorrichtung 12 zeichnet die gemessene Einführtiefe und den identifizierten abgebildeten Körperteil als Zusatzinformation an dem laufenden Bild 49 auf, welches zum Identifizieren des abgebildeten Körperteils dient. In anderen Worten: Die Einführtiefe des Einführabschnitts 24 zur Zeit der Aufnahme des laufenden Bilds 49 und der basierend auf der Einführtiefe identifizierte Körperteil werden als die Zusatzinformation in Echtzeit an dem laufenden Bild 49 aufgezeichnet. Die Patienten-Kennungsinformation wird ebenfalls als Zusatzinformation an dem laufenden Bild 49 aufgezeichnet.
Wie oben beschrieben, ist das laufende Bild 49 das Einzelbild des Videos oder ein Stehbild. Sämtliche oder ein Teil der laufenden Bilder 49 werden aufgezeichnet und als alte Bilder 50 in der Altbild-Speichereinheit 52 abgespeichert. Folglich speichert die Altbild-Speichereinheit 52 die alten Bilder 50, auf denen jeweils die Einführtiefeninformation, die Abgebildete-Körperteil-Information und die Patienten-Kennungsinformation als Zusatzinformation gespeichert sind.
Die Abgebildeter-Körperteil-Information ist Information, die einen abgebildeten Körperteil repräsentiert. Wenn beispielsweise der Untersuchungsgegenstand der obere Magendarmtrakt ist, so ist die Abgebildeter-Körperteil-Information Information über ein Organ wie z. B. die Speiseröhre, der Magen oder der Zwölffingerdarm. Die Abgebildeter-Körperteil-Information kann Information über einen abgebildeten Körperteil einer feinen Kategorie enthalten, in die eine grobe Kategorie (in diesem Fall ein Organ) unterteilt ist. Beispielsweise kann der abgebildete Körperteil der kleinen Kategorie ein Teil des Magen sein, so z. B. die Cardia, die Magenkerbe oder der Pylorus für den Fall, dass der abgebildete Körperteil der großen Kategorie der Magen ist. Je stärker die Körperteilinformation unterteilt oder segmentiert ist, desto genauer wird das Identifizieren des abgebildeten Körperteils.
Wie in 4 dargestellt ist, speichert die Altbild-Speichereinheit 51 die zwei oder mehr alten Bilder 50 für jede Untersuchung E (z. B. für jede Untersuchung E1, eine Untersuchung E2 usw.). Zusatzinformation, wie z. B. die Abgebildeter-Körperteil-Information, wird mit jedem der alten Bilder 50 aufgezeichnet. Bei diesem Beispiel werden die Untersuchungen E1 und E2 an unterschiedlichen Patienten A bzw. B ausgeführt. Alternativ kann die Untersuchung E zweimal oder dreimal an demselben Patienten ausgeführt werden. In diesem Fall werden die in den Untersuchungen E, die am selben Patienten erfolgen, aufgenommenen alten Bilder 50 in der Altbild-Speichereinheit 52 gespeichert. Bei diesem Beispiel sind die Untersuchungen E1 und E2 Untersuchungen des oberen Magendarmtrakts. Die alten Bilder 50, die bei jeder der Untersuchungen E1 und E2 aufgenommen wurden, enthalten die alten Bilder 50 des abgebildeten Körperteils, so z. B. der Mundhöhle (entsprechend 2 „oral2 in der Zeichnung), der Speiseröhre oder des Magens. Die für den Vergleich mit dem laufenden Bild 49 herangezogenen alten Bilder 50 werden aus der Altbild-Speichereinheit 52 geholt.
Wie in 5 gezeigt ist, ist die Altbild-Speichereinheit 52 eine Datenbank, in der das alte Bild 50 basierend auf einer Suchbedingung gesucht wird, so z. B. gemäß Patienten-Kennungsinformation, Information über die Einführtiefe und die Abgebildeter-Körperteil-Information, wie oben erläutert wurde. Beispielsweise wird das alte Bild 50 dadurch gesucht, dass die Suchbedingung festgelegt wird (z. B. die Patienten-Kennungsinformation und die Information über die Einführtiefe). Hierdurch extrahiert die Altbild-Speichereinheit 52 das oder die alten Bilder 50, die die Suchbedingung erfüllen.
In einem in 5 dargestellten Beispiel wird ein Patient A als die Patienten-Kennungsinformation bezeichnet. Ein Bereich von 36 bis 46 cm wird als Einführtiefe L festgelegt. Hierdurch werden durch die Suche alte Bilder 50a bis 50c extrahiert. Das alte Bild 50a ist ein altes Bild des abgebildeten Körperteils „Cardia”, aufgenommen an einer Stelle, die der Einführtiefe L von 37 cm entspricht. Das alte Bild 50b ist ein altes Bild des abgebildeten Körperteils „Magenkerbe” (gastric angle), aufgenommen an einer Stelle entsprechend der Einführtiefe L von 42 cm. Das alte Bild 50c ist ein altes Bild des abgebildeten Körperteils „Pylorus”, aufgenommen an einer Stelle entsprechend der Einführtiefe von 43 cm.
Wie oben beschrieben, kann der Altbildserver 14 nach dem alten Bild 50 des abgebildeten Körperteils entsprechend der spezifischen Einführtiefe L suchen. Damit extrahiert der Altbildserver 14 das oder die alten Bilder 50, die bei der Einführtiefe oder den Einführtiefen L ähnlich denjenigen aufgenommen wurden, bei denen das laufende Bild 49 aufgenommen wird.
Die Patienten-Kennungsinformation dient als Suchbedingung. Hierdurch werden die oder das alte Bild 50 desselben Patienten wie in dem laufenden Bild 49 extrahiert. Das alte Bild 50 wird mit dem laufenden Bild 49 zum Identifizieren des abgebildeten Körperteils in dem laufenden Bild 49 verglichen. Falls die alten Bilder 50 desselben interessierenden Patienten wie in dem laufenden Bild 49 verwendet werden, besitzt das extrahierte alte Bild 50 eine höhere Ähnlichkeit mit dem laufenden Bild 49 als das alte Bild 50, welches aus den alten Bildern 50 eines anderen Patienten extrahiert werden, der verschieden ist von dem in dem laufenden Bild 49 abgebildeten interessierenden Patienten. Damit wird die Genauigkeit beim Identifizieren des abgebildeten Körperteils gesteigert.
Wie in 6 gezeigt ist, enthält das Prozessorgerät 22 eine Bildverarbeitungseinheit 88, eine Steuerung 89, eine Laufendbild-Erfassungseinheit 90, einen Einführtiefendetektor 91, eine Altbild-Erfassungseinheit 92, einen Körperteil-Identifizierer 98, eine Bildschirmsteuerung 100 und eine Speichereinrichtung 87.
Die Bildverarbeitungseinheit 88 führt eine Bildverarbeitung an den Bildsignalen durch, die von der Bildgebungseinheit 30 ausgegeben wurden, um ein Betrachtungsbild zu erzeugen. Die Bildverarbeitungseinheit 88 gibt das Betrachtungsbild als das laufende Bild 49 aus. Das laufende Bild 49 wird in die Bildschirmsteuerung 100 eingegeben und auf der Anzeige 72 dargestellt. Die Bildschirmsteuerung 100 führt einen Prozess (Anzeigebild-Erzeugungsprozess) zum Erzeugen des Anzeigebilds und einen Prozess (Anzeigesteuerprozess) zum Darstellen des Anzeigebilds aus und gibt dann das Anzeigebild (das laufende Bild 49) an die Anzeige 72. Hierdurch wird das laufende Bild 49 auf der Anzeige 72 in Echtzeit zur Betrachtung durch den Arzt dargestellt.
Während der Videoaufnahme werden die Bildsignale der Einzelbilder, welche das Video ausmachen, in vorbestimmten Zeitintervallen aus der Bildgebungseinheit 30 in die Bildverarbeitungseinheit 88 eingegeben. Basierend auf den Bildsignalen der jeweiligen Einzelbilder erzeugt die Bildverarbeitungseinheit 88 die laufenden Bilder 49 und gibt sie sequentiell an die Bildschirmsteuerung 100. Für den Fall, dass die Auslösetaste betätigt wird, werden die Bildsignale des Stehbilds von der Bildgebungseinheit 30 in die Bildverarbeitungseinheit 88 eingegeben. Die Bildverarbeitungseinheit 88 erzeugt das laufende Bild 49 (das Stehbild) und gibt das laufende Bild 49 an die Bildschirmsteuerung 100. Die laufenden Bilder 49 (das Video und das Stehbild) werden in der Speichereinrichtung 87, beispielsweise einem Speicher oder einem Festplattenlaufwerk, gespeichert.
Die Steuerung 89 steuert zentral jeden Abschnitt des Prozessorgeräts 22. Die Steuerung 89 gibt einen Ausführungs-Startbefehl für einen Körperteil-Identifizierprozess, um die Laufendbild-Erfassungseinheit 90, die Altbild-Erfassungseinheit 92 und den Körperteil-Identifizierer 98 zu steuern. Während der Videoaufnahme wird der Ausführungs-Startbefehl in Zeitintervallen von einer Sekunde ausgegeben, wie oben beschrieben wurde. Im Fall einer Stehbildaufnahme wird der Ausführungs-Startbefehl zum Zeitpunkt der Aufnahme des Stehbilds ausgegeben. Ansprechend auf die Eingabe des Ausführungs-Startbefehls an jedem Abschnitt startet der Körperteil-Identifizierprozess, bei dem es sich um einen Prozess zum Identifizieren des abgebildeten Körperteils handelt. Die Steuerung 89 gibt die Patienten-Kennungsinformation, die als Suchbedingung für die Suche nach dem alten Bild oder den alten Bildern 50 verwendet wird, an die Altbild-Erfassungseinheit 92. Beispielsweise ist die Patienten-Kennungsinformation in einem Untersuchungsauftrag enthalten, der in das Prozessorgerät 22 eingegeben wird, bevor die Untersuchung begonnen wird. Die Steuerung 89 liest die Patienten-Kennungsinformation aus dem Untersuchungsauftrag und gibt die Patienten-Kennungsinformation in die Altbild-Erfassungseinheit 92 ein.
Ansprechend auf die Eingabe des Ausführungs-Startbefehls erfasst die Laufendbild-Erfassungseinheit 90 das laufende Bild 49, welches von der Bildverarbeitungseinheit 88 ausgegeben wird, zum Zeitpunkt der Eingabe des Ausführungs-Startbefehls. Ansprechend auf die Eingabe des Ausführungs-Startbefehls von der Steuerung 89 gibt die Laufendbild-Erfassungseinheit 90 das erfasste laufende Bild 49 an den Körperteil-Identifizierer 98.
Die von den Kameras 46 und 48 aufgenommenen Kamerabilder werden in Echtzeit an den Einführtiefen-Detektor 91 gegeben. Dieser analysiert sequentiell die eingegebenen Kamerabilder. Basierend auf einem Ergebnis der Analyse ermittelt der Einführtiefen-Detektor 91 die Einführtiefe des Einführabschnitts 24. Insbesondere wird die Außenoberfläche des Einführabschnitts 24 mit den Skalenmarkierungen 40 in dem Kamerabild abgebildet. Wenn der Einführabschnitt 24 in den Körperhohlraum des Patienten eingeführt wird, bewegt sich der Einführabschnitt 24 relativ zu dem Mundstück 20. Mit der Bewegung des Einführabschnitts 24 laufen die Skalenmarkierungen 40 (d. h. in diesem Beispiel die Punkte) sequentiell durch die Stelle zwischen den Kameras 46 und 48.
Der Einführtiefen-Detektor 91 zählt die Anzahl der Punkte der Skalenmarkierungen 40, die in jedem der sequentiell eingegebenen Kamerabilder abgebildet sind. Hierdurch weist der Einführtiefendetektor 91 die Einführtiefe nach. Beispielsweise repräsentiert die Einführtiefe eine (in Zentimetern gemessene Größe) des Einführen des distalen Endes des Einführabschnitts 24 in Relation zu dem Mundstück 20. Alternativ können die Skalenmarkierungen 40 Zahlen sein, die jeweils eine Einführtiefe darstellen. Die Einführtiefe lässt sich nachweisen durch Lesen (Detektieren) der Zahl aus dem Kamerabild.
Ansprechend auf die Eingabe des Ausführungs-Startbefehls erfassen die Laufendbild-Erfassungseinheit 90 und die Altbild-Erfassungseinheit 92 die Einführtiefe, die von dem Einführtiefendetektor 91 ausgegeben wird, zum Zeitpunkt der Eingabe des Ausführungs-Startbefehls. Ansprechend auf die Eingabe des Ausführungs-Startbefehls erfasst die Altbild-Erfassungseinheit 92 das oder die alten Bilder 50, das/die zum Identifizieren des abgebildeten Körperteils verwendet wird/werden, aus dem Altbildserver 14. Insbesondere sendet die Altbild-Erfassungseinheit 92 die Suchanfrage an den Altbildserver 14. In der Suchanfrage sind die Einführtiefe, die von dem Einführtiefendetektor 91 erfasst wird, zur Zeit der Eingabe des Ausführungs-Startbefehls, und die Patienten-Kennungsinformation, die von der Steuerung 89 ermittelt wird, als Suchbedingung festgelegt.
Die als Suchbedingung bestimmte Einführtiefe ist so eingestellt, dass sie einem vorbestimmten Bereich entspricht, der die von dem Einführtiefendetektor 91 eingegebenen Einführtiefe enthält. Bei dieser Ausführungsform beispielsweise wird die Einführtiefe eingerichtet als Bereich von 10 cm um die eingegebenen Einführtiefe herum (dem Mittelwert). Der die Einführtiefe enthaltende Bereich wird als Suchbedingung festgelegt, um den Nachweisfehler oder Messfehler der Einführtiefe zu berücksichtigen. Beispielsweise sind die Einführtiefen für die Betrachtung des Magens zwischen früheren Untersuchungen und der laufenden Untersuchung nicht stets vollständig gleich, auch wenn derselbe Körperteil (bei diesem Beispiel der Magen) bei zwei oder mehr Untersuchungen an demselben Patienten betrachtet wird. Dies deshalb, weil das Organ (z. B. der Magen) sich ausdehnt oder zusammenzieht. Aus diesem Grund wird der vorbestimmte Bereich, der die gemessene Einführtiefe enthält, als Suchbedingung festgelegt.
Bei Empfang der Suchanfrage holt der Altbildserver 14 das oder die alten Bilder 50, die mit der Suchbedingung übereinstimmen, die von der Suchanfrage festgelegt ist, und er sendet das ermittelte alte Bild oder die ermittelten alten Bilder 50 an die Altbild-Erfassungseinheit 92. Damit erfasst die Altbild-Erfassungseinheit 92 das oder die alten Bilder 50 aus dem Altbildserver 14. Auf diese Weise werden das oder die alten Bilder 50 entsprechend der festgelegten Eindringtiefe extrahiert.
Die als Suchbedingung festgelegte Einführtiefe ist nicht die Einführtiefe L selbst, welche von dem Einführtiefendetektor 91 nachgewiesen wird, sondern es handelt sich um einen vorbestimmten Bereich um die Einführtiefe L herum (dies ist der Mittelwert). Beispielsweise beträgt gemäß 5 in einem Fall die laufende Einführtiefe L, die von dem Einführtiefendetektor 91 festgestellt wird, 41 cm, und als Suchbedingung wird ein Bereich von 10 cm um die Einführtiefe L (= 41 cm) (dem Mittelwert) festgelegt, d. h. ein Bereich von 36 bis 46 cm. Auf diese Weise werden die alten Bilder 50 bis 50c mit Einführtiefen innerhalb dieses Bereichs ermittelt (siehe 5). Die Altbild-Erfassungseinheit 92 gibt die alten Bilder 50 (die alten Bilder 50a bis 50c in diesem Beispiel), die auf diese Weise erfasst wurden, an den Körperteil-Identifizierer 98.
Ansprechend auf die Eingabe des Ausführungs-Startbefehls seitens der Steuerung 89 vergleicht der Körperteil-Identifizierer 98 das von der Laufendbild-Erfassungseinheit 90 eingegebene laufende Bild 49 mit jedem der alten Bilder 50, die von der Altbild-Erfassungseinheit 92 eingegeben werden. Der Körperteil-Identifizierer 98 führt beispielsweise eine an sich bekannte Musterabgleichverarbeitung durch, bei der eine Kontur, eine Farbe oder dergleichen verglichen werden, um die Ähnlichkeit zwischen dem laufenden Bild 49 und jedem der alten Bilder 50 zu berechnen. Aus den alten Bildern 50 ermittelt der Körperteil-Identifizierer 98 dasjenige alte Bild 50, welches die größte Ähnlichkeit mit dem laufenden Bild 49 hat. Der Körperteil-Identifizierer 98 liest die Abgebildeter-Körperteil-Information aus dem alten Bild 50, das die größte Ähnlichkeit mit dem laufenden Bild 49 hat, und er bestimmt den abgebildeten Körperteil, der durch die Abgebildeter-Körperteil-Information des alten Bilds 50 repräsentiert wird, als abgebildeten Körperteil in dem laufenden Bild 49.
Insbesondere wird ein Verfahren zum Berechnen der Ähnlichkeit durch Vergleichen des laufenden Bilds 49 mit dem alten Bild 50 folgendermaßen ausgeführt: Als Erstes wird eine Merkmalsgröße, wie z. B. eine Form oder eine Farbe, als eine Blutgefäßstruktur in der Schleimhaut oder aus duktaler Struktur in Schleimhautoberfläche in jedem von dem laufenden Bild 49 und dem alten Bild 50 extrahiert. Als Nächstes wird die Ähnlichkeit berechnet durch Vergleichen der Merkmalsgröße des laufenden Bilds 49 mit der Merkmalsgröße des alten Bilds 50. Diese Prozesse werden an jedem von den alten Bilder 50 ausgeführt, um die Ähnlichkeit zwischen dem laufenden Bild 49 und jedem alten Bild 50 zu berechnen. Das alte Bild 50 mit der größten Ähnlichkeit zu dem laufenden Bild 49 wird unter den alten Bildern 50 festgestellt.
Nachdem die Merkmalsgröße aus jedem der alten Bilder 50 und dem laufenden Bild 49 extrahiert ist, und bevor die Ähnlichkeit zwischen jedem der von der Altbild-Erfassungseinheit 92 eingegebenen alten Bilder 50 und dem laufenden Bild 49 berechnet wird, kann eine Filterung ausgeübt werden, um die Anzahl der alten Bilder 50, die zum Berechnen der Ähnlichkeit herangezogen werden, zu verringern. Dies deshalb, weil die Schleimhaut (beispielsweise eine Welligkeit oder dergleichen der Schleimhaut) in der Anzeige in Farbe und Form von Organ zu Organ anders aussieht (z. B. der Speiserohre, dem Magen oder dergleichen). Der Unterschied in der dargestellten Schleimhaut wird hervorgerufen durch einen Unterschied in der Merkmalsgröße. Es gibt eine hohe Wahrscheinlichkeit dafür, dass die Bilder mit unterschiedlichen Merkmalsgrößen unterschiedliche Organe darstellen. Aus diesem Grund kann, nachdem die Merkmalsgröße jedes der alten Bilder 50 und des laufenden Bilds 49 extrahiert sind, das alte Bild 50 mit der Merkmalsgröße, die signifikant anders ist als die des laufenden Bilds 49, aus den mit dem laufenden Bild 49 verglichenen alten Bildern 50 eliminiert werden.
Der Körperteil-Identifizierer 98 gibt Information über den identifizierten abgebildeten Körperteil an die Bildschirmsteuerung 100. Gemeinsam mit der Information über den identifizierten abgebildeten Körperteil gibt der Körperteil-Identifizierer 98 das für die Identifizierung des abgebildeten Körperteils verwendete laufende Bild 49 und dasjenige alte Bild 50, das als das Bild mit der größten Ähnlichkeit mit dem laufenden Bild 49 festgestellt wurde, an die Bildschirmsteuerung 100.
Basierend auf der Information des identifizierten abgebildeten Körperteils, des laufenden Bilds 49, das zum Identifizieren des abgebildeten Körperteils verwendet wurde, und des alten Bilds 50, das als Bild mit der größten Ähnlichkeit mit dem laufenden Bild 49 ermittelt wurde, erzeugt die Bildschirmsteuerung 100 einen endoskopischen Untersuchungs-Unterstützungsbildschirm (im Folgenden einfach als Untersuchungs-Unterstützungsbildschirm bezeichnet) 102 (siehe 7) und steuert eine Anzeige des Untersuchungs- und Unterstützungsbildschirms 102 auf der Anzeige 72. Auf diese Weise fungiert die Bildschirmsteuerung 100 als Bildgenerator zum Erzeugen des Untersuchungs-Unterstützungsbildschirms 102, und sie fungiert auch als Anzeigesteuerung zum Steuern der Anzeige des Untersuchungs-Unterstützungsbildschirms 102.
Wie in 7 dargestellt ist, enthält der Untersuchungs-Unterstützungsbildschirm 102 eine Laufendbild-Anzeigefläche 102a, eine Körperteil-Anzeigefläche 102b und eine Altbild-Anzeigefläche 102c. Die Laufendbild-Anzeigefläche 102a zeigt das laufende Bild 49, die Patienten-Kennungsinformation des in dem laufenden Bild 49 abgebildeten Patienten und die Bildgebungs-Daten- und -Zeitinformation für das laufende Bild 49 an. Die Körperteil-Anzeigefläche 102b zeigt den identifizierten abgebildeten Körperteil, der von dem Körperteil-Identifizierer 98 identifiziert wurde, des laufenden Bilds 49 an. Die Körperteil-Anzeigefläche 102b zeigt außerdem Information über die Einführtiefe an, aufgenommen zur Zeit der Bildgebung des laufenden Bilds 49.
Das laufende Bild 49 wird sukzessive während der Videoaufnahme auf dem Untersuchungs-Unterstützungsbildschirm 102 aktualisiert. Die Abgebildeter-Körperteil-Information und das alte Bild 50, welches zum Identifizieren des abgebildeten Körperteils verwendet wird, werden in gleichen Zeitintervallen aktualisiert, während die Ausführung der Körperteil-Identifizierung fortschreitet. Falls das Stehbild aufgenommen wird, in anderen Worten, dann, wenn es sich bei dem laufenden Bild 49 um ein Stehbild handelt, wird das Stehbild angezeigt, wodurch die Anzeige des Videos unterbrochen wird.
Bei dieser Ausführungsform wird der identifizierte abgebildete Körperteil als Textinformation angezeigt. Darüber hinaus ist auf dem Schemabild 106 eines menschlichen Körpers eine kreisförmige Markierung vorgesehen. Hierdurch wird der identifizierte abgebildete Körper auch als Bildinformation angezeigt.
Von den alten Bildern 50, die mit dem laufenden Bild 49 beim Identifizieren des abgebildeten Körperteils verglichen werden, wird das alte Bild 50 mit der größten Ähnlichkeit mit dem laufenden Bild 49 in der Altbild-Anzeigefläche 102c angezeigt. Diese zeigt außerdem Patienten-Kennungsinformation und das Bildgebungsdatum sowie die Bildgebungszeit des angezeigten alten Bilds 50 an. Damit wird das für die Identifizierung des abgebildeten Körperteils herangezogene Bild 50 so angezeigt, dass eine Verifizierung des alten Bilds 50 möglich ist.
Im Folgenden soll anhand des in 8 gezeigten Flussdiagramms eine Arbeitsweise des oben beschriebenen Aufbaus erläutert werden. Die Endoskopvorrichtung 12 beginnt mit der Aufnahme des Videos beim Start der Untersuchung. In dem Prozessorgerät 22 erzeugt die Bildverarbeitungseinheit 88 das laufende Bild 49 basierend auf den Bildsignalen aus der Bildgebungseinheit 30. Die Bildschirmsteuerung 100 zeigt auf der Anzeige 72 das laufende Bild 49 an. Das Stehbild wird aufgenommen, indem die Auslösetaste der Bedieneinheit 26 betätigt wird. Der in dem laufenden Bild 49 angezeigte Körperteil ändert sich mit der Einführtiefe des Einführabschnitts 24. Damit wird das laufende Bild 49 betrachtet, welches dem abgebildeten Körperteil entsprechend der Einführtiefe des Einführabschnitts 24 zeigt.
Basierend auf den von den Kameras 46 und 48 aufgenommenen Kamerabildern ermittelt der Einführtiefen-Detektor 91 die Einführtiefe des Einführabschnitts 24 des Endoskops 18.
Die Steuerung 89 gibt einen Ausführungs-Startbefehl für den Körperteil-Identifizierprozess in vorbestimmten Zeitintervallen während der Videoaufnahme aus. Im Fall der Stehbildaufnahme gibt die Steuerung 89 den Ausführungs-Startbefehl ansprechend auf die Aufnahme des Stehbilds aus. Der Ausführungs-Startbefehl wird an die Laufendbild-Erfassungseinheit 90, die Altbild-Erfassungseinheit 92 und den Körperteil-Identifizierer 98 ausgegeben.
Ansprechend auf die Eingabe des Ausführungs-Startbefehls erfasst die Laufendbild-Erfassungseinheit 90 das von der Bildverarbeitungseinheit 88 ausgegebene laufende Bild 49. Ansprechend auf die Eingabe des Ausführungs-Startbefehls erfasst die Altbild-Erfassungseinheit 92 die von dem Einführtiefen-Detektor 91 gemessene Einführtiefe. Die Altbild-Erfassungseinheit 92 sendet die Suchanforderung an den Altbildserver 14. Die Suchanforderung kennzeichnet die Patienten-Kennungsinformation und den vorbestimmten Bereich, welcher die gemessene Einführtiefe enthält, als Suchbedingung. Der Altbildserver 14 holt den oder die alten Bilder 50, die der Suchbedingung genügen, und sendet das oder die alten Bilder 50 an die Altbild-Erfassungseinheit 92. Da das oder die alten Bilder 50 basierend auf der Einführtiefe ermittelt werden, befindet sich der abgebildete Körperteil in dem oder den extrahierten alten Bildern 50 in einem Bereich nahe derjenigen Einführtiefe, die dem abgebildeten Körperteil des laufenden Bilds 49 entspricht.
Die extrahierten alten Bilder 50 und das laufende Bild 49 werden in den Körperteil-Identifizierer 98 eingegeben. Der Körperteil-Identifizierer 98 vergleicht das laufende Bild 49 mit jedem der extrahierten alten Bilder 50 und berechnet die Ähnlichkeit zwischen dem laufenden Bild 49 und jedem der alten Bilder 50. Der Körperteil-Identifizierer 98 bestimmt das alte Bild 50 mit der größten Ähnlichkeit bezüglich des laufenden Bilds 49 und liest die Abgebildeter-Körperteil-Information des alten Bilds 50 mit der höchsten Ähnlichkeit. Die Abgebildeter-Körperteil-Information repräsentiert den abgebildeten Körperteil in dem alten Bild 50 mit der höchsten Ähnlichkeit.
Der Körperteil-Identifizierer 98 bestimmt den abgebildeten Körperteil in dem alten Bild 50 als den abgebildeten Körperteil in dem laufenden Bild 49.
Die Bildschirmsteuerung 100 erzeugt den Untersuchungs-Unterstützungsbildschirm 102 (siehe 7) basierend auf dem identifizierten abgebildeten Körperteil, dem alten Bild 50, welches zum Identifizieren des abgebildeten Körperteils verwendet wird, dem laufenden Bild 49 und der dem laufenden Bild 49 entsprechenden Einführtiefe. Der Untersuchungs-Unterstützungsbildschirm 102 wird auf der Anzeige 72 angezeigt. Hierdurch wird der die Untersuchung vornehmende Arzt über den Körperteil in dem laufenden Bild 49 informiert.
Während der Videoaufnahme wird das laufende Bild 49 sukzessive auf dem Untersuchungs-Unterstützungsbildschirm 102 aktualisiert. Der Untersuchungs-Startbefehl wird in Zeitintervallen von einer Sekunde ausgegeben. Ansprechend darauf wird der Körperteil-Identifizierprozess in den gleichen Zeitintervallen ausgegeben, wie der Ausführungs-Startbefehl erteilt wird. Die Abgebildeter-Körperteil-Information wird in Zeitintervallen von annähernd einer Sekunde aktualisiert. Im Fall des Videos ändert sich der abgebildete Körperteil in dem laufenden Bild 49 sukzessive mit einer Änderung der Einführtiefe des Einführabschnitts 24. Da die Abgebildeter-Körperteil-Information in Zeitintervallen von etwa einer Sekunde aktualisiert wird, hält das Aktualisieren der Abgebildeter-Körperteil-Information Schritt mit der Änderung in dem angezeigten laufenden Bild 49. Der Körperteil-Identifizierprozess kann in Zeitintervallen von mehr oder weniger als eine Sekunde ausgeführt werden.
Die Abgebildeter-Körperteil-Information und das alte Bild 50, das zum Identifzieren des abgebildeten Körperteils dient, werden in gleichen Zeitintervallen wie die Ausführung des Körperteil-Identifizierungsprozesses aktualisiert. Wird ein Stehbild aufgenommen, so wird das aufgenommene Stehbild als laufendes Bild 49 unter Unterbrechung des angezeigten Videos angezeigt. Die Abgebildeter-Körperteil-Information und das alte Bild 50 entsprechen dem Stehbild (d. h. das laufende Bild 49) werden angezeigt, während das Stehbild angezeigt wird. Alternativ können sowohl das Video als auch das Stehbild zur gleichen Zeit auf dem Untersuchungs-Unterstützungsbildschirm 102 angezeigt werden. Hierdurch lassen sich gleichzeitig das Video und das Stehbild betrachten.
Der Körperteil-Identifizierer 98 zeichnet sowohl die Einführtiefen-Information, welche die Einführtiefe repräsentiert, als auch die Abgebildeter-Körperteil-Information, die den identifizierten abgebildeten Körperteil repräsentiert, als Zusatzinformation zu dem laufenden Bild 49 auf, an dem der Körperteil-Identifizierprozess ausgeführt wurde. Hierdurch speichert dann, wenn das laufende Bild 49 als altes Bild 50 abgespeichert wird, das alte Bild 50 die Eindringtiefen-Information und die Angezeigter-Körperteil-Information.
Für den Fall der für diese Ausführungsform beschriebenen Videoaufnahme wird der Körperteil-Identifizierprozess in Zeitintervallen von beispielsweise einigen Sekunden ausgeführt, so dass die Einführtiefeninformation und die Abgebildeter-Körperteil-Information für jedes Einzelbild aufgezeichnet werden, welches in den Zeitintervallen von einigen Sekunden erfasst wird. Ist das laufende Bild 49 das Stehbild, so werden die Einführtiefen-Information und die Abgebildeter-Körperteil-Information für jedes Stehbild aufgezeichnet. Das Video und das Stehbild, die als laufende Bilder 49 aufgenommen werden, werden sämtlich oder teilweise abgespeichert und dienen als alte Bilder 50.
Wie oben beschrieben wurde, werden bei den Ausführungsformen der vorliegenden Erfindung die alten Bilder 50 basierend auf der Einführtiefe erfasst. Das laufende Bild 49 wird mit jedem der alten Bilder verglichen, um das mit dem laufenden Bild 49 ähnliche alte Bild 50 festzustellen. Damit wird der abgebildete Körperteil des laufenden Bilds 49 festgestellt. Die Genauigkeit bei der Identifizierung des abgebildeten Körperteils ist bei den Ausführungsformen der vorliegenden Erfindung höher als bei jenen nach dem japanischen Patent Nr. 4262741 und der US 2015/0208947 , die Vorrichtungen zum Identifizieren des abgebildeten Körperteils basierend auf der Einführtiefe des Einführabschnitts, dem Biegemaß des Einführabschnitts (des flexiblen Abschnitts), dem Drehmaß des Einführabschnitts um seine Achse und dergleichen beschreiben. Es wird berücksichtigt, dass die Einführtiefe, das Biegemaß und das Drehmaß einen hohen Anteil an Messfehlern enthalten. Eine hohe Identifiziergenauigkeit wird gewährleistet durch den Vergleich anhand der Bildanalyse, wie beispielsweise dem Musterabgleich. Bei den Ausführungsformen der vorliegenden Erfindung dient die Einführtiefe lediglich zum Verringern der Anzahl der alten Bilder 50, die mit dem laufenden Bild 49 zu vergleichen sind. Hiermit hat die Einführtiefe keinen abträglichen Einfluss auf die Identifiziergenauigkeit, wenn die Einführtiefe fehlerbehaftet ist. Das Verringern der Anzahl der alten Bilder 50 durch die Einführtiefe verkürzt die Verarbeitungszeit.
Bei den Ausführungsformen der vorliegenden Erfindung wird das laufende Bild 49 mit dem alten Bild 50 verglichen, um die Genauigkeit beim Identifizieren des abgebildeten Körperteils zu verbessern. Folglich ist die Genauigkeit beim Identifizieren des abgebildeten Körperteils in einfacher Weise verbessert ohne Einsatz einer umfangreichen Apparatur, verglichen mit einem Stand der Technik, bei dem die Genauigkeit beim Identifizieren des abgebildeten Körperteils unter Heranziehung dreidimensionaler Bilddaten verbessert wird, welche durch CT-Untersuchung oder MRI-Untersuchung ermittelt werden, wie dies z. B. in der japanischen Patentanmeldungs-Offenlegungsschrift 2012-165838 beschrieben ist.
Bei dieser Ausführungsform werden das laufende Bild 49 und das alte Bild 50 desselben Patienten miteinander verglichen. Die Ähnlichkeit zwischen dem laufenden Bild 49 und dem alten Bild 50 desselben Patienten ist höher als die Ähnlichkeit zwischen dem laufenden Bild 49 und dem alten Bild 50 anderer Patienten, auch wenn der abgebildete Körperteil der gleiche ist. Damit ermöglicht der Vergleich zwischen dem laufenden Bild 49 und dem alten Bild 50 desselben Patienten die Extraktion des alten Bilds 50 mit hoher Ähnlichkeit bezüglich des laufenden Bilds 49. Im Ergebnis wird die Genauigkeit der Identifizierung des Körperteils weiter verbessert.
Bei dieser Ausführungsform ist gemäß 7 die Markierung 108 an dem Schemabild vorgesehen, welche den identifizierten abgebildeten Körperteil anzeigt. Dadurch wird der identifizierte abgebildete Körperteil als Textinformation und Bildinformation (siehe 7) identifiziert. Dies macht es einem Benutzer einfach, den abgebildeten Körperteil zu erkennen.
Bei dieser Ausführungsform werden gemäß 7 das laufende Bild 49 und das alte Bild 50, welches ermittelt wurde als Bild, auf dem der gleiche Körperteil wie in dem laufenden Bild 49 abgebildet ist, in vergleichbarer Weise angezeigt. Das laufende Bild 49 wird visuell mit dem alten Bild 50 verglichen, um zu verifizieren, ob der identifizierte abgebildete Körperteil korrekt ist.
(Zweite Ausführungsform)
Bei der obigen Ausführungsform werden für den Vergleich das laufende Bild 49 und das alte Bild 50 desselben Patienten (desselben interessierenden Patienten) herangezogen. Stattdessen kann zum Identifizieren des abgebildeten Körperteils das alte Bild 50 eines Patienten (eines anderen Patienten), der verschieden von dem interessierenden Patienten ist, verwendet werden.
Der Vergleich zwischen dem laufenden Bild 49 und dem alten Bild 50 unterschiedlicher Patienten resultiert in einer Ähnlichkeit, die geringer ist als jene bei dem Vergleich zwischen dem laufenden Bild 49 und dem alten Bild 50 desselben Patienten (desselben interessierenden Patienten), auch wenn der abgebildete Körperteil der gleiche ist. Wenn allerdings der Altbildserver 14 nicht das alte Bild 50 desselben Patienten wie im laufenden Bild 49 enthält, kann das laufende Bild 49 nicht mit dem alten Bild 50 desselben Patienten verglichen werden. In diesem Fall ist es effektiv, das alte Bild 50 eines anderen Patienten für den Vergleich mit dem laufenden Bild 49 des interessierenden Patienten heranzuziehen.
Wie in 9 dargestellt, ist es bevorzugt, wenn die Altbild-Erfassungseinheit 92 das oder die alten Bilder 50 des interessierenden Patienten für den Fall erfasst, dass die Altbild-Speichereinheit 52 das oder die alten Bilder 50 des interessierenden Patienten enthält. Es ist bevorzugt, wenn die Altbild-Erfassungseinheit 92 das oder die alten Bilder 50 eines anderen, von dem interessierenden Patienten verschiedenen Patienten erfasst, falls die Altbild-Speichereinheit 52 das oder die alten Bilder 50 des interessierenden Patienten nicht enthält.
(Dritte Ausführungsform)
Ein Beispiel für eine dritte Ausführungsform gemäß 10 verwendet eine Korrespondenztabelle 111, welche die Entsprechung zwischen den Einführtiefen und den Kandidaten für den abgebildeten Körperteil speichert. Bei der ersten Ausführungsform wird die Einführtiefe selbst als Suchbedingung (Suchbegriff) zum Auffinden des alten Bilds 50 verwendet. Bei der dritten Ausführungsform nimmt die Altbild-Erfassungseinheit 92 zunächst auf die Korrespondenztabelle 111 Bezug, um die Kandidaten für den abgebildeten Körperteil basierend auf der nachgewiesenen Einführtiefe zu bestimmen. Die Altbild-Erfassungseinheit 92 kennzeichnet die Kandidaten für den abgebildeten Körperteil als Suchbedingung, um die alten Bilder 50 entsprechend den Kandidaten für den abgebildeten Körperteil aus der Altbild-Speichereinheit 52 zu ermitteln.
Es gibt eine gewisse Entsprechung zwischen der Einführtiefe und dem abgebildeten Körperteil. Die Korrespondenztabelle 111 speichert die Entsprechung zwischen dem Bereich der Einführtiefe und dem Kandidaten für den abgebildeten Körperteil entsprechend dem Bereich der Einführtiefe. In einem in 10 gezeigten Beispiel ist die Einführtiefe mit L (cm) bezeichnet. Ein Bereich „0 < L ≤ 10” der Einführtiefe entspricht den abgebildeten Körperteilen „oral (Mundhöhle)” und „Ösophagus”. Ein Bereich „10 < L ≤ 30” der Einführtiefe entspricht den abgebildeten Körperteilen „Ösophagus” und „Cardia”. Ein Bereich „30 < L ≤ 40” entspricht den abgebildeten Körperteilen „Ösophagus”, „Cardia” und „Magenkerbe”. Ein Bereich 40 < L ≤ 42” entspricht den abgebildeten Körperteilen „Cardia”, „Magenkerbe” und „Pylorus”. Ein Bereich „42 < L ≤ 45” entspricht den abgebildeten Körperteilen „Magenkerbe”, „Pylorus” und „Duodenum”.
Für den Fall beispielsweise, dass die nachgewiesene Einführtiefe L 36 cm beträgt, nimmt die Altbild-Erfassungseinheit 92 Bezug auf die Korrespondenztabelle 111 und bestimmt „Ösophagus”, „Cardia” und „Magenkerbe” als Kandidaten für den abgebildeten Körperteil. Die Altbild-Erfassungseinheit 92 erfasst das oder die alten Bilder 50 mit der Zusatzinformation, dass die Information über den abgebildeten Körperteil dem „Ösophagus”, der „Cardia” und der „Magenkerbe” entspricht. Bei diesem Beispiel dient die Abgebildeter-Körperteil-Information als Suchbedingung, so dass die Zusatzinformation des alten Bilds 50 nur die Abgebildeter-Körperteil-Information enthalten kann. Die Einführtiefen-Information wird nicht benötigt.
Die Korrespondenztabelle 111 ermöglicht die Verwendung des alten Bilds 50 mit der Zusatzinformation in Form lediglich der Abgebildeter-Körperteil-Information. Die Zusatzinformation des alten Bilds 50 kann automatisch von der Endoskopvorrichtung 12 eingegeben werden, wie dies für die erste Ausführungsform beschrieben wurde, oder kann, alternativ, manuell eingegeben werden. Bei der manuellen Eingabe der Zusatzinformation ist es schwierig, die Einführtiefeninformation aufzuzeigen. Hinsichtlich der Abgebildeter-Körperteil-Information beispielsweise kann der Arzt den abgebildeten Körperteil bei Betrachtung des alten Bilds 50 identifizieren, und er kann die Abgebildeter Körperteil-Information des identifizierten abgebildeten Körperteils als die Zusatzinformation des alten Bilds 50 eingeben. Das Verfahren unter Verwendung der Korrespondenztabelle 111 ist dann effektiv, wenn die Einführtiefen-Information nicht in dem alten Bild 50 aufgezeichnet werden kann.
Man beachte, dass die Entsprechung zwischen den Einführtiefen und dem Kandidaten für den abgebildeten Körperteil in der Korrespondenztabelle 111 basierend auf beispielsweise Standardwerten für Erwachsene festgelegt sind. Eine derartige Entsprechung kann auch schwanken in Abhängigkeit von Geschlecht, Körperform oder dergleichen unter den Erwachsenen. Aus diesem Grund können zwei oder mehr Referenztabellen entsprechend den Geschlechtern, den Körperformen oder dergleichen der Patienten vorgesehen und selektiv genutzt werden.
(Vierte Ausführungsform)
In einem Beispiel einer vierten Ausführungsform gemäß den 11 und 12 erfasst die Altbild-Erfassungseinheit 92 das oder die alten Bilder 50 basierend auf der nachgewiesenen Einführtiefe, dem Biegemaß, des flexiblen Abschnitts 34 und dem Drehmaß des Einführabschnitts 24 um seine Achse. In anderen Worten: Bei der vierten Ausführungsform wird die Anzahl der mit dem laufenden Bild 49 zu vergleichenden alten Bilder 50 verringert anhand der Einführtiefe, des Biegemaßes und des Drehmaßes.
Die Abbildungsrichtung des distalen Abschnitts 32 wird geändert durch Biegen des flexiblen Abschnitts 34. Der flexible Abschnitt 34 wird in vertikaler und horizontaler Richtung durch Betätigen des Winkelknopfs 42 gebogen. Der Einführabschnitt 24 kann um seine Achse drehen.
Bei der endoskopischen Untersuchung befindet sich der Patient als Gegenstand der Untersuchung normalerweise in einer seitlichen Liegestellung, indem er auf seiner Seite auf einem Tisch liegt. Die Einführrichtung des Einführabschnitts 24 des Endoskops 18 relativ zu dem Patienten ist häufig begrenzt oder vorbestimmt. Für den Fall beispielsweise, dass sich der Patient in einer seitlichen Liegeposition mit der linken Seite nach unten und der rechten Seite nach oben befindet, wird der Einführabschnitt 24 derart eingeführt, dass der obere Bereich des angezeigten Bilds der rechten Seite des Patienten entspricht und der untere Teil des Bilds der linken Seiten des Patienten entspricht. Angenommen, dass der im Wesentlichen geradlinige obere Magendarmtrakt sich entlang der Körperachse des Patienten erstreckt und die relative Lagebeziehung zwischen der Lage des Patienten und der Einführrichtung des Einführabschnitts 24 im Wesentlichen konstant ist, so wird die Richtung des distalen Abschnitts 32 im Inneren des Patientenkörpers nachgewiesen durch Ermitteln des Biegemaßes und des Drehmaßes. Die Richtung des distalen Abschnitts 32 ist die Abbildungsrichtung.
Im Inneren des Prozessorgeräts 22 dieser Ausführungsform sind der Einführtiefen-Detektor 51, ein Biegemaß-Detektor 112 und ein Drehmaß-Detektor 113 vorgesehen. Der Biegemaßdetektor 112 erfasst beispielsweise den Betätigungshub des Winkelknopfs 52 von dem Endoskop 18, um das Biegemaß des flexiblen Abschnitts 34 zu ermitteln. Der Winkelknopf 42 ist mit einem Winkelknopf zum Zielen des flexiblen Abschnitts 34 in der vertikalen Richtung und einem Winkelknopf zum Zielen des flexiblen Abschnitts 34 in der horizontalen Richtung ausgestattet. Der Betätigungshub (das Drehmaß) des Winkelknopfs 42 wird von beispielsweise einem Drehcodierer erfasst. Der ermittelte Betätigungshub wird an den Biegemaß-Detektor 112 ausgegeben. Basierend auf dem Betätigungshub des Winkelknopfs 42 ermittelt der Biegemaß-Detektor 112 das Biegemaß des flexiblen Abschnitts 34 in vertikaler und horizontaler Richtung und gibt das ermittelte Biegemaß an die Altbild-Erfassungseinheit 92. Der Drehmaßdetektor 113 analysiert die Kamerabilder, die von den Kameras 46 und 48 aufgenommen werden, um die Bewegung (die Verschiebung) der Skalenmarkierungen 40 um die Achse zu ermitteln. Hierdurch weist der Drehmaßdetektor 113 das Drehmaß nach.
Die Altbild-Erfassungseinheit 92 erfasst die Einführtiefe, das Biegemaß und das Drehmaß ansprechend auf die Eingabe des Ausführungs-Startbefehls für den Körperteil-Identifizierprozess. Die Biegerichtung relativ zu einer Referenzposition wird ermittelt durch Nachweisen des Biegemaßes in vertikaler und horizontaler Richtung. Die Referenzposition bezieht sich auf eine Position, in der das Biegemaß sowohl in vertikaler als auch in horizontaler Richtung Null beträgt, und die Achse des distalen Abschnitts 32 übereinstimmt mit der Einführachse des Einführabschnitts 24. Angenommen, die Richtung des Patienten und die Einführrichtung des Einführabschnitts 24 sind konstant, und der obere Magendarmtrakt verläuft im Wesentlichen entlang der Körperachse, so wird die näherungsweise Richtung (die Abbildungsrichtung) des distalen Abschnitts 32 anhand der Biegerichtung und des Drehmaßes ermittelt.
Wie in den 11 und 12 dargestellt ist, gibt es beispielsweise fünf Abbildungsrichtungen. Die fünf Abbildungsrichtungen sind die Achsenrichtung, in der die Achse eines Trakts wie z. B. des Magendarmtrakts übereinstimmt mit der Achse des Einführabschnitts 24, und die im Folgenden beschriebenen vier Richtungen. Die vier Richtungen sind: eine Frontalrichtung (Abdomenseite oder Abdomenrichtung), eine Rückwärtsrichtung (Rückseite), eine Rechts-Richtung und eine Links-Richtung bezüglich des Patientenkörpers, der auf der Seite mit der linken Seite nach unten liegt. Basierend auf dem Biegemaß und dem Drehmaß wird eine der fünf Richtungen als die Abbildungsrichtung für das laufende Bild 49 bestimmt. Bei diesem Beispiel wird eine der fünf Abbildungsrichtungen als Abgebildeter-Körperteil-Information an jedem der alten Bilder 50 aufgezeichnet.
Wie in 12 zu sehen ist, führt basierend auf dem Drehmaß und dem Biegemaß die Altbild-Erfassungseinheit 92 einen Abbildungsrichtungs-Bestimmungsprozess zum Festlegen der Abbildungsrichtung aus. Wenn die Abbildungsrichtung des laufenden Bilds 49 als frontale Richtung (die abdominale Seite) festgelegt wird, wird die Rückwärtsrichtung (Rückseite), dargestellt durch Schraffur und abgewandt von der Frontalrichtung gelegen (von der abdominalen Seite) aus den fünf Richtungen eliminiert. Die übrigen vier Richtungen (die Trakt-Achsen-Richtung, die Frontalrichtung (die abdominale Seite), die Richtung nach rechts und die Richtung nach links) als die Abbildungsrichtungen festgelegt, welche als Suchbedingung gekennzeichnet werden.
In diesem Fall kann als Suchbedingung lediglich die frontale Richtung von dem Abbildungsrichtung-Bestimmungsprozess festgelegt werden. Allerdings wird bei diesem Beispiel berücksichtigt, dass die Festlegung der Abbildungsrichtung einen signifikanten Fehler aufweist. Aus diesem Grund wird nur die Abbildungsrichtung mit der geringsten Möglichkeit eliminiert. Hierdurch werden das oder die alten Bilder 50 der aktuellen Abbildungsrichtung ohne Weglassung extrahiert, auch wenn die festgelegte Abbildungsrichtung sich von der aktuellen Abbildungsrichtung unterscheidet (beispielsweise in dem Fall, dass die festgelegte Abbildungsrichtung die frontale Richtung und die aktuelle Abbildungsrichtung die Richtung nach rechts ist).
Der Zweck der Festlegung der Abbildungsrichtung besteht in der Verringerung der Anzahl alter Bilder 50, die mit dem laufenden Bild 49 zu vergleichen sind. Durch Eliminieren nur einer oder eines Teils der Abbildungsrichtungen mit geringer Möglichkeit lässt sich die Zeit für den Vergleich reduzieren. Wenn die Bestimmung der Abbildungsrichtung ein hohes Maß an Genauigkeit aufweist, kann die Richtung (die frontale Richtung in diesem Beispiel) von dem Abbildungsrichtungs-Bestimmungsprozess als die Suchbedingung festgelegt werden.
Die Altbild-Erfassungseinheit 92 übermittelt die Suchanfrage, welche die festgelegte Abbildungsrichtung und die Einführtiefe als die Suchbedingung enthält, an den Altbildserver 14 um das oder die alten Bilder 50 zu erfassen, die der Suchbedingung genügen.
Der Körperteil-Identifizierer 98 vergleicht das oder die alten Bilder 50 mit dem laufenden Bild 49 und bestimmt das alte Bild 50, das hohe Ähnlichkeit mit dem laufenden Bild 49 hat, in ähnlicher Weise wie bei den obigen Ausführungsformen. Der Körperteil-Identifizierer 38 liest den abgebildeten Körperteil und die Abbildungsrichtung als Abgebildeter-Körperteil-Information aus der Zusatzinformation des ermittelten alten Bilds 50. Hierdurch identifiziert der Körperteil-Identifizierer 98 den abgebildeten Körperteil in dem laufenden Bild 49 und die Abbildungsrichtung des abgebildeten Körperteils. Der abgebildete Körperteil und die Abbildungsrichtung werden als Abgebildeter-Körperteil-Information auf den Untersuchungs-Unterstützungsbildschirm 102 ähnlich wie bei den obigen Ausführungsformen angezeigt.
Bei diesem Beispiel wird die Abbildungsrichtung als Abgebildeter-Körperteil-Information angezeigt. Hierdurch wird der Arzt über die Abbildungsrichtung des laufenden Bilds 49 informiert.
Bei den obigen Ausführungsformen fungiert das Prozessorgerät 22 als Körperteil-Identifiziereinrichtung zum Identifizieren des abgebildeten Körperteils in dem laufenden Bild 49. Alternativ kann ein Computer, wie z. B. ein Server, separat von dem Prozessorgerät 22 vorhanden sein. Der Server kann als die Körperteil-Identifiziervorrichtung fungieren.
Im vorliegenden Fall wird die Information (z. B. das von der Bildgebungseinheit 30 aufgenommene laufende Bild 49, das von der Kamera 46 oder 48 an dem Mundstück 20 aufgenommene Bild oder der Betätigungshub des Winkelknopfs 42) die zum Identifizieren des abgebildeten Körperteils notwendig ist, von dem Prozessorgerät 22 an den Server übertragen. Eine CPU des Servers fungiert als Laufendbild-Erfassungseinheit 90, als die Altbild-Erfassungseinheit 92, als Einführtiefendetektor 91, als Körperteil-Identifizierer 98 und dergleichen. Die Altbild-Erfassungseinheit 92 identifiziert den abgebildeten Körperteil in einer Weise ähnlich wie bei den obigen Ausführungsformen, und sie erzeugt den Untersuchungs-Unterstützungsbildschirm 102 und sendet diesen an das Prozessorgerät 22. Diese Konfiguration erzielt ebenfalls Effekte ähnlich wie die oben beschriebenen Ausführungsformen.
Die obigen Ausführungsformen sind Beispiele, bei denen die Kameras 46 und 48 dazu dienen, die Einführtiefe und das Drehmaß des Einführabschnitts 24 zu messen. Alternativ lassen sich beispielsweise die Einführtiefe und das Drehmaß von einer Detektoreinrichtung wie z. B. einem Trackball in einer Maus nachweisen, die als Eingabeeinrichtung für einen Computer dient.
Verschiedene Änderungen und Modifizierungen sind bei der Erfindung möglich und liegen innerhalb ihres Schutzumfangs.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2015-070156 [0001]
JP 4262741 [0005, 0007, 0009, 0090]
US 2015/0208947 [0005, 0007, 0009, 0090]
JP 2014-076174 [0005]
JP 2012-165838 [0006, 0009, 0009, 0091]

Claims

Körperteil-Identifiziervorrichtung für ein Endoskop, das einen Einführabschnitt in einen Körperhohlraum eines Patienten einführt und ein Bild des Körperhohlraums aufnimmt, wobei ein distaler Teil des Einführabschnitts eine Bildgebungseinheit beinhaltet, die Körperteil-Identifiziervorrichtung konfiguriert ist zum Identifizieren eines abgebildeten Körperteils in einem gerade von der Bildgebungseinheit aufgenommenen laufenden Bild, wobei die Körperteil-Identifiziervorrichtung umfasst: einen Einführtiefendetektor, konfiguriert zum Nachweisen einer Einführtiefe des in den Körperhohlraum eingeführten Einführabschnitts; eine Laufendbild-Erfassungseinheit, konfiguriert zum Erfassen des laufenden Bilds; eine Altbild-Erfassungseinheit, konfiguriert zum Erfassen mindestens eines alten Bilds aus einer Altbild-Speichereinheit, basierend auf der von dem Einführtiefendetektor nachgewiesenen Einführtiefe, wobei die Altbild-Speichereinheit die altern Bilder speichert, die bei mindestens einer früheren endoskopischen Untersuchung aufgenommen wurden; und einen Körperteil-Identifizierer, konfiguriert zum Identifizieren des abgebildeten Körperteils in dem laufenden Bild durch Vergleichen des von der Altbild-Erfassungseinheit erfassten alten Bilds mit dem laufenden Bild, und Feststellen, dass das alte Bild dem laufenden Bild ähnlich ist.
Körperteil-Identifiziervorrichtung nach Anspruch 1, bei der der Körperteil-Identifizierer unter den für den Vergleich mit dem laufenden Bild verwendeten alten Bildern dasjenige Bild bestimmt, das mit dem laufenden Bild die größte Ähnlichkeit aufweist, und als abgebildeten Körperteil in dem laufenden Bild einen Körperteil in dem festgestellten alten Bild bestimmt.
Körperteil-Identifiziervorrichtung nach Anspruch 1 oder 2, weiterhin umfassend eine Korrespondenztabelle, die eine Korrespondenz zwischen der Einführtiefe und einem Kandidaten für den abgebildeten Körperteil repräsentiert, wobei die Altbild-Erfassungseinheit auf die Korrespondenztabelle Bezug nimmt und den Kandidaten für den abgebildeten Körperteil basierend auf der von dem Eindringtiefendetektor nachgewiesenen Einführtiefe bestimmt, und das dem festgestellten Kandidaten entsprechende alte Bild aus der Altbild-Speichereinheit erfasst.
Körperteil-Identifiziervorrichtung nach einem der Ansprüche 1 bis 3, weiterhin umfassend: einen Biegemaßdetektor, konfiguriert zum Nachweisen eines Biegemaßes des Einführabschnitts; und einen Drehmaßdetektor, konfiguriert zum Nachweisen eines Drehmaßes des Einführabschnitts bezüglich einer Achse des Einführabschnitts, wobei die Altbild-Erfassungseinheit das alte Bild basierend auf der Einführtiefe, dem Biegemaß und dem Drehmaß erfasst.
Körperteil-Identifiziervorrichtung nach einem der Ansprüche 1 bis 4, bei der die Altbild-Erfassungseinheit das alte Bild eines interessierenden Patienten aus der Altbild-Speichereinheit erfasst, wobei der interessierende Patient in dem laufenden Bild abgebildet wird.
Körperteil-Identifiziervorrichtung nach einem der Ansprüche 1 bis 4, bei der die Altbild-Erfassungseinheit das alte Bild eines anderen Patienten aus der Altbild-Speichereinheit erfasst, wobei der andere Patient verschieden ist von einem interessierenden Patienten, der in dem laufenden Bild abgebildet ist.
Körperteil-Identifiziervorrichtung nach einem der Ansprüche 1 bis 4, bei der die Altbild-Erfassungseinheit das alte Bild eines interessierenden Patienten für den Fall erfasst, dass die Altbild-Speichereinheit das alte Bild des interessierenden Patienten enthält, und die Altbild-Erfassungseinheit das alte Bild eines anderen, von dem interessierenden Patienten verschiedenen Patienten für den Fall erfasst, dass die Altbild-Speichereinheit nicht das alte Bild des interessierenden Patienten enthält, wobei der interessierende Patient in dem laufenden Bild abgebildet wird.
Körperteil-Identifiziervorrichtung nach einem der Ansprüche 1 bis 7, weiterhin umfassend: einen Bildschirmgenerator, konfiguriert zum Erzeugen eines endoskopischen Untersuchungs-Unterstützungsbildschirms, welcher das laufende Bild und den abgebildeten Körperteil in dem laufenden Bild anzeigt, wobei der abgebildete Körperteil von dem Körperteil-Identifizierer identifiziert wird; und eine Anzeigesteuerung, konfiguriert zum Steuern einer Anzeige des endoskopischen Untersuchungs-Unterstützungsbildschirms.
Körperteil-Identifiziervorrichtung nach Anspruch 8, bei der der endoskopische Untersuchungs-Unterstützungsbildschirm das laufende Bild und das alte Bild in vergleichbarer Weise zur Anzeige bringt, wobei das alte Bild den gleichen abgebildeten Körperteil wie in dem laufenden Bild enthält, und der abgebildete Körperteil in dem laufenden Bild von dem Körperteil-Identifizierer identifiziert wird.
Körperteil-Identifizierverfahren für ein Endoskop, das einen Einführabschnitt in einen Körperhohlraum eines Patienten einführt und ein Bild des Körperhohlraums aufnimmt, wobei ein distaler Teil des Einführabschnitts eine Bildgebungseinheit beinhaltet, das Körperteil-Identifizierverfahren einen abgebildeten Körperteil in einem gerade von der Bildgebungseinheit aufgenommenen laufenden Bild identifiziert, das Körperteil-Identifizierverfahren einer Körperteil-Identifiziervorrichtung ermöglicht, folgende Schritte auszuführen: Nachweisen einer Einführtiefe des in den Körperhohlraum eingeführten Einführabschnitts; Erfassen des laufenden Bilds; Erfassen mindestens eines alten Bilds aus einer Altbild-Speichereinheit, basierend auf der Einführtiefe, wobei die Altbild-Speichereinheit die alten Bilder speichert, die bei mindestens einer früheren endoskopischen Untersuchung aufgenommen wurden; Identifizieren des abgebildeten Körperteils in dem laufenden Bild durch Vergleichen des erfassten alten Bilds mit dem laufenden Bild, und durch Bestimmen des dem laufenden Bild ähnlichen alten Bilds.
Nicht-flüchtiges, computerlesbares Medium mit darin gespeicherten Befehlen, die bei Ausführung durch einen Computer diesen veranlassen, Operationen zum Identifizieren eines abgebildeten Körperteils in einem von einer Bildgebungseinheit gerade aufgenommenen laufenden Bild auszuführen, wobei die Bildgebungseinheit in einem distalen Teil eines Einführabschnitts eines Endoskops enthalten ist, das den Einführabschnitt in einen Körperhohlraum eines Patienten einführt und ein Bild des Körperhohlraums aufnimmt, wobei die Operationen umfassen: Nachweisen einer Einführtiefe des in den Körperhohlraum eingeführten Einführabschnitts; Erfassen des laufenden Bilds; Erfassen mindestens eines alten Bilds aus einer Altbild-Speichereinheit, basierend auf der Einführtiefe, wobei die Altbild-Speichereinheit die alten Bilder speichert, die bei mindestens einer früheren endoskopischen Untersuchung aufgenommen wurden; Identifizieren des abgebildeten Körperteils in dem laufenden Bild durch Vergleichen des erfassten alten Bilds mit dem laufenden Bild, und durch Bestimmen des dem laufenden Bild ähnlichen alten Bilds.