DE102023114020A1

DE102023114020A1 - Informationsverarbeitungsvorrichtung, ultraschallendoskop, informationsverarbeitungsverfahren und programm

Info

Publication number: DE102023114020A1
Application number: DE102023114020.5A
Authority: DE
Inventors: Takeharu Nakazato
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2022-05-31
Filing date: 2023-05-26
Publication date: 2023-11-30
Also published as: JP2023176613A; US20230380910A1

Abstract

Bereitgestellt werden eine Informationsverarbeitungsvorrichtung, ein Ultraschallendoskop, ein Informationsverarbeitungsverfahren und ein Programm, die Positionierung zwischen einem medizinischen Modul und einem spezifischen Teil leicht durchführen können.Eine Informationsverarbeitungsvorrichtung umfasst einen Prozessor. Der Prozessor erfasst ein tatsächliches Ultraschallbild, das als ein Bild, das einen Aspekt eines Beobachtungszielbereichs einschließlich eines spezifischen Teils zeigt, auf der Grundlage von reflektierten Wellen, die durch Emittieren von Ultraschallwellen von einem medizinischen Modul zu dem Beobachtungszielbereich erhalten werden, erzeugt wurde. Darüber hinaus erfasst der Prozessor ein virtuelles Ultraschallbild, das als ein Ultraschallbild, das einen Aspekt des Beobachtungszielbereichs virtuell zeigt, auf der Grundlage von Volumendaten, die den Beobachtungszielbereich angeben, erzeugt wurde. Ferner spezifiziert der Prozessor eine Positionsbeziehung zwischen einer ersten Position, an der das medizinische Modul vorhanden ist, und einer zweiten Position, an der der spezifische Teil vorhanden ist, auf der Grundlage des tatsächlichen Ultraschallbildes und des virtuellen Ultraschallbildes.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die Technologie der vorliegenden Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein Ultraschallendoskop, ein Informationsverarbeitungsverfahren und ein Programm.
2. Beschreibung des Standes der Technik
JP2011-000173A offenbart ein Endoskopie-Unterstützungssystem, das eine erste Speichereinheit, eine zweite Speichereinheit, eine Einstelleinheit, eine Erzeugungseinheit, eine Berechnungseinheit, eine Anzeigeeinheit und eine Anzeigesteuereinheit enthält.
Bei dem in JP2011-000173A offenbarten Endoskopie-Unterstützungssystem speichert die erste Speichereinheit Volumendaten bezüglich einer luminalen Struktur, die einen Läsionsteil aufweist. Die zweite Speichereinheit speichert Daten eines Endoskopbildes in Bezug auf den Läsionsteil, das auf der Grundlage einer Ausgabe von einem in die luminale Struktur eingeführten Endoskop erzeugt wurde. Die Einstelleinheit stellt mehrere Blickpunktpositionen in einem vorbestimmten Bereich der Volumendaten ein. Die Erzeugungseinheit erzeugt Daten mehrerer virtueller Endoskopbilder aus den Volumendaten auf der Grundlage der mehreren eingestellten Blickpunktpositionen. Die Berechnungseinheit berechnet mehrere Ähnlichkeiten zwischen jedem der mehreren erzeugten virtuellen Endoskopbilder und dem Endoskopbild. Die Anzeigeeinheit zeigt das Endoskopbild und ein spezifisches virtuelles Endoskopbild, das eine spezifische Ähnlichkeit unter den mehreren berechneten Ähnlichkeiten aufweist, Seite an Seite an. In einem Fall, in dem ein Läsionsteilbereich auf dem spezifischen virtuellen Endoskopbild enthalten ist, steuert die Anzeigesteuereinheit die Anzeigeeinheit so, dass ein Teilbereich, der dem Läsionsteilbereich entspricht, auf dem Endoskopbild hervorgehoben wird.
WO2019/088008A offenbart eine Bildverarbeitungsvorrichtung, die eine erste Bildeingabeeinheit, eine zweite Bildeingabeeinheit, eine Zuordnungseinheit, eine erste Merkmalsbereich-Extraktionseinheit, eine zweite Merkmalsbereich-Extraktionseinheit und eine Speichereinheit enthält.
Bei der in WO2019/088008A offenbarten Bildverarbeitungsvorrichtung gibt die erste Bildeingabeeinheit ein virtuelles Endoskopbild ein, das aus einem dreidimensionalen Untersuchungsbild einer Untersuchungsperson erzeugt wird. Die zweite Bildeingabeeinheit gibt ein tatsächliches Endoskopbild ein, das durch Abbilden eines Beobachtungsziels der Untersuchungsperson unter Verwendung eines Endoskops erhalten wird. Die Zuordnungseinheit ordnet das virtuelle Endoskopbild dem tatsächlichen Endoskopbild zu. Die erste Merkmalsbereich-Extraktionseinheit extrahiert einen ersten Merkmalsbereich, der mit einer ersten Bedingung übereinstimmt, aus dem virtuellen Endoskopbild. Die zweite Merkmalsbereich-Extraktionseinheit extrahiert einen zweiten Merkmalsbereich, der mit einer zweiten Bedingung übereinstimmt, die der ersten Bedingung entspricht, aus dem tatsächlichen Endoskopbild. Die Speichereinheit speichert mindestens eine von Informationen eines nicht extrahierten Bereichs, der dem zweiten Merkmalsbereich des tatsächlichen Endoskopbildes zugeordnet ist und nicht als der erste Merkmalsbereich aus dem virtuellen Endoskopbild extrahiert wird, oder Informationen des zweiten Merkmals Bereich, der dem nicht extrahierten Bereich zugeordnet ist.
ZUSAMMENFASSUNG DER ERFINDUNG
Eine Ausführungsform gemäß der Technologie der vorliegenden Offenbarung stellt eine Informationsverarbeitungsvorrichtung, ein Ultraschallendoskop, ein Informationsverarbeitungsverfahren und ein Programm bereit, die Positionierung zwischen einem medizinischen Modul und einem spezifischen Teil leicht durchführen können.
Nach einem ersten Aspekt der Technologie der vorliegenden Offenbarung wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die einen Prozessor umfasst. Der Prozessor erfasst ein tatsächliches Ultraschallbild, das als ein Bild, das einen Aspekt eines Beobachtungszielbereichs einschließlich eines spezifischen Teils zeigt, auf der Grundlage reflektierter Wellen, die durch Emittieren von Ultraschallwellen von einem medizinischen Modul zu dem Beobachtungszielbereich erhalten werden, erzeugt wurde, erfasst ein virtuelles Ultraschallbild, das als ein Ultraschallbild, das den Aspekt des Beobachtungszielbereichs virtuell zeigt, auf der Grundlage von Volumendaten, die den Beobachtungszielbereich angeben, erzeugt wurde, und spezifiziert eine Positionsbeziehung zwischen einer ersten Position, an der das medizinische Modul vorhanden ist, und einer zweiten Position, an der der spezifische Teil vorhanden ist, auf der Grundlage des tatsächlichen Ultraschallbildes und des virtuellen Ultraschallbildes.
Nach einem zweiten Aspekt der Technologie der vorliegenden Offenbarung kann der Prozessor in der Informationsverarbeitungsvorrichtung nach dem ersten Aspekt das tatsächliche Ultraschallbild mit dem virtuellen Ultraschallbild vergleichen, um einen Abweichungsbetrag zwischen der ersten Position und der zweiten Position zu berechnen, und die Positionsbeziehung kann auf der Grundlage des Abweichungsbetrags definiert werden.
Nach einem dritten Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach dem ersten Aspekt oder dem zweiten Aspekt in einem Fall, in dem die erste Position und die zweite Position miteinander übereinstimmen, der Prozessor einen Benachrichtigungsprozess des Benachrichtigens, dass die erste Position und die zweite Position miteinander übereinstimmen, durchführen.
Nach einem vierten Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach einem der ersten bis dritten Aspekte der Prozessor einen ersten Präsentationsprozess des Präsentierens von Führungsinformationen zum Führen der ersten Position zu der zweiten Position auf der Grundlage der Positionsbeziehung durchführen.
Nach einem fünften Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach einem der ersten bis vierten Aspekte das tatsächliche Ultraschallbild ein Ultraschallbild sein, das in einem Doppler-Modus erzeugt wird.
Nach einem sechsten Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach einem der ersten bis vierten Aspekte das tatsächliche Ultraschallbild ein Bild sein, das auf einem Ultraschallbild, das einen Blutfluss enthält, und auf einem Ultraschallbild, in dem Intensität der reflektierten Wellen durch Helligkeit dargestellt wird, basiert.
Nach einem siebten Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach einem der ersten bis vierten Aspekte der Prozessor ein erstes Ultraschallbild, das ein in einem Doppler-Modus erzeugtes Ultraschallbild ist, und ein zweites Ultraschallbild, das ein in einem B-Modus erzeugtes Ultraschallbild ist, als das tatsächliche Ultraschallbild erfassen. Nach Präsentieren erster Führungsinformationen zum Führen der ersten Position zu einer anderen Position auf der Grundlage des ersten Ultraschallbildes und des virtuellen Ultraschallbildes kann der Prozessor einen zweiten Präsentationsprozess des Präsentierens von zweiten Führungsinformationen zum Führen der ersten Position zu der zweiten Position gemäß der Positionsbeziehung, die auf der Grundlage des zweiten Ultraschallbildes und des virtuellen Ultraschallbildes spezifiziert ist, durchführen.
Nach einem achten Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach einem der ersten bis siebten Aspekte der Prozessor das tatsächliche Ultraschallbild auf einer Anzeigevorrichtung anzeigen.
Nach einem neunten Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach dem achten Aspekt der Prozessor einen Bilderkennungsprozess an dem tatsächlichen Ultraschallbild und/oder dem virtuellen Ultraschallbild durchführen und ein Ergebnis des Bilderkennungsprozesses auf der Anzeigevorrichtung anzeigen.
Nach einem zehnten Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach dem achten Aspekt oder dem neunten Aspekt der Prozessor das virtuelle Ultraschallbild und das tatsächliche Ultraschallbild auf der Anzeigevorrichtung so anzeigen, dass sie miteinander vergleichbar sind.
Nach einem elften Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach dem zehnten Aspekt der Prozessor das virtuelle Ultraschallbild, dessen Übereinstimmungsrate mit dem tatsächlichen Ultraschallbild gleich oder größer als ein vorbestimmter Wert ist, aus mehreren der virtuellen Ultraschallbilder für unterschiedliche Positionen in dem Beobachtungszielbereich auswählen und das ausgewählte virtuelle Ultraschallbild und das tatsächliche Ultraschallbild auf der Anzeigevorrichtung so anzeigen, dass sie miteinander vergleichbar sind.
Nach einem zwölften Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach einem der achten bis elften Aspekte der Beobachtungszielbereich ein luminales Organ enthalten, und der Prozessor kann ein Oberflächenbild, das auf der Grundlage der Volumendaten erzeugt wird und eine Innenfläche des luminalen Organs enthält, und das tatsächliche Ultraschallbild auf der Anzeigevorrichtung so anzeigen, dass sie miteinander vergleichbar sind.
Nach einem dreizehnten Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach dem zwölften Aspekt das Oberflächenbild ein Videobild sein, das Bewegung des medizinischen Moduls führt.
Nach einem vierzehnten Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach dem zwölften Aspekt oder dem dreizehnten Aspekt der Prozessor auf der Anzeigevorrichtung Positionsspezifikationsinformationen, die in der Lage sind, eine Position zu spezifizieren, die einer Position entspricht, an der die Ultraschallwellen von dem medizinischen Modul emittiert werden, in dem Oberflächenbild anzeigen.
Nach einem fünfzehnten Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach dem vierzehnten Aspekt das virtuelle Ultraschallbild ein virtuelles Ultraschallbild sein, das einen Aspekt des Beobachtungszielbereichs für die Position, die aus den Positionsspezifikationsinformationen spezifiziert wurde, zeigt.
Nach einem sechzehnten Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach einem der ersten bis fünfzehnten Aspekte das medizinische Modul ein distaler Endteil eines Ultraschallendoskops sein, das ein Behandlungswerkzeug aufweist, und der spezifische Teil kann ein Behandlungszielteil sein, der durch das Behandlungswerkzeug behandelt wird.
Nach einem siebzehnten Aspekt der Technologie der vorliegenden Offenbarung kann bei der Informationsverarbeitungsvorrichtung nach dem sechzehnten Aspekt das Behandlungswerkzeug eine Punktionskanüle sein und der Behandlungszielteil kann ein Teil sein, der von der Punktionskanüle punktiert wird.
Nach einem achtzehnten Aspekt der Technologie der vorliegenden Offenbarung wird eine Ultraschallendoskopvorrichtung bereitgestellt, die umfasst: die Informationsverarbeitungsvorrichtung nach einem der ersten bis siebzehnten Aspekte; und ein Ultraschallendoskop, bei dem das medizinische Modul in einem distalen Endteil davon vorgesehen ist.
Nach einem neunzehnten Aspekt der Technologie der vorliegenden Offenbarung wird ein Informationsverarbeitungsverfahren bereitgestellt, das umfasst: Erfassen eines tatsächlichen Ultraschallbildes, das als ein Bild, das einen Aspekt eines Beobachtungszielbereichs einschließlich eines spezifischen Teils zeigt, auf der Grundlage reflektierter Wellen, die durch Emittieren von Ultraschallwellen von einem medizinischen Modul zu dem Beobachtungszielbereich erhalten werden, erzeugt wurde; Erfassen eines virtuellen Ultraschallbildes, das als ein Ultraschallbild, das den Aspekt des Beobachtungszielbereichs virtuell zeigt, auf der Grundlage von Volumendaten, die den Beobachtungszielbereich angeben, erzeugt wurde; und Spezifizieren einer Positionsbeziehung zwischen einer ersten Position, an der das medizinische Modul vorhanden ist, und einer zweiten Position, an der der spezifische Teil vorhanden ist, auf der Grundlage des tatsächlichen Ultraschallbildes und des virtuellen Ultraschallbildes.
Nach einem zwanzigsten Aspekt der Technologie der vorliegenden Offenbarung wird ein Programm bereitgestellt, das einen Computer veranlasst, einen Prozess auszuführen, der umfasst: Erfassen eines tatsächlichen Ultraschallbildes, das als ein Bild, das einen Aspekt eines Beobachtungszielbereichs einschließlich eines spezifischen Teils zeigt, auf der Grundlage reflektierter Wellen, die durch Emittieren von Ultraschallwellen von einem medizinischen Modul zu dem Beobachtungszielbereich erhalten werden erzeugt wurde; Erfassen eines virtuellen Ultraschallbildes, das als ein Ultraschallbild, das virtuell den Aspekt des Beobachtungszielbereichs zeigt, auf der Grundlage von Volumendaten erzeugt wird, die den Beobachtungszielbereich angeben; und Spezifizieren einer Positionsbeziehung zwischen einer ersten Position, an der das medizinische Modul vorhanden ist, und einer zweiten Position, an der der spezifische Teil vorhanden ist, auf der Grundlage des tatsächlichen Ultraschallbildes und des virtuellen Ultraschallbildes.
KURZBESCHREIBUNG DER ZEICHNUNGEN

1 ist ein Konzeptdiagramm, das ein Beispiel eines Aspekts darstellt, bei dem ein Endoskopsystem verwendet wird.
2 ist ein Konzeptdiagramm, das ein Beispiel einer Gesamtkonfiguration des Endoskopsystems darstellt.
3 ist ein Konzeptdiagramm, das ein Beispiel eines Aspekts darstellt, bei dem ein Einführabschnitt eines Bronchoskops in ein luminales Organ einer Untersuchungsperson eingeführt wird.
4 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration einer Endoskopverarbeitungsvorrichtung darstellt.
5 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration einer Ultraschallverarbeitungsvorrichtung darstellt.
6 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration eines Anzeigesteuergeräts darstellt.
7 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration eines Servers darstellt.
8 ist ein Blockdiagramm, das ein Beispiel von Funktionen von Haupteinheiten eines Prozessors des Anzeigesteuergeräts darstellt.
9 ist ein Blockdiagramm, das ein Beispiel von Funktionen von Haupteinheiten eines Prozessors des Servers darstellt.
10 ist ein Konzeptdiagramm, das ein Beispiel von Inhalt eines ersten Prozesses einer Bildverarbeitungseinheit des Servers darstellt.
11 ist ein Konzeptdiagramm, das ein Beispiel von Inhalt eines zweiten Prozesses der Bildverarbeitungseinheit des Servers darstellt.
12 ist ein Konzeptdiagramm, das ein Beispiel von Inhalt eines Prozesses einer ersten Erzeugungseinheit des Servers darstellt.
13 ist ein Konzeptdiagramm, das ein Beispiel von Inhalt von Prozessen der ersten Erzeugungseinheit und einer zweiten Übertragungseinheit des Servers darstellt.
14 ist ein Konzeptdiagramm, das ein Beispiel von Inhalt von Prozessen einer ersten Steuereinheit und einer zweiten Steuereinheit des Anzeigesteuergeräts darstellt.
15 ist ein Konzeptdiagramm, das ein Beispiel von Inhalt eines Prozesses einer zweiten Erzeugungseinheit des Servers darstellt.
16 ist ein Konzeptdiagramm, das ein Beispiel von Inhalt von Prozessen einer dritten Steuereinheit und einer ersten Übertragungseinheit des Anzeigesteuergeräts und ein Beispiel von Inhalt von Prozessen einer ersten Übertragungs- und Empfangseinheit und einer zweiten Übertragungs- und Empfangseinheit des Servers darstellt.
17 ist ein Konzeptdiagramm, das ein Beispiel von Inhalt von Prozessen der ersten Übertragungs- und Empfangseinheit, einer Erfassungseinheit, einer Bilderkennungseinheit und einer Verarbeitungseinheit des Servers darstellt.
18 ist ein Konzeptdiagramm, das ein Beispiel von Inhalt von Prozessen der Verarbeitungseinheit und der ersten Übertragungs- und Empfangseinheit des Servers und ein Beispiel von Inhalt von Prozessen einer zweiten Empfangseinheit und einer vierten Steuereinheit des Anzeigesteuergeräts darstellt.
19 ist ein Konzeptdiagramm, das ein Beispiel von Inhalt von Prozessen der zweiten Übertragungs- und Empfangseinheit und einer dritten Erzeugungseinheit des Servers darstellt.
20 ist ein Konzeptdiagramm, das ein Beispiel des Inhalts der Prozesse der dritten Erzeugungseinheit und der zweiten Übertragungs- und Empfangseinheit des Servers und ein Beispiel von Inhalt von Prozessen einer dritten Empfangseinheit und einer fünften Steuereinheit des Anzeigesteuergeräts darstellt.
21 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines Endoskopbild-Anzeigeprozesses darstellt.
22 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines Navigationsvideobild-Anzeigeprozesses darstellt.
23 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines Anzeigeprozesses für tatsächliches Ultraschallbild darstellt.
24 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines Anzeigeprozesses für virtuelles Ultraschallbild darstellt.
25 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines Unterstützungsinformationen-Anzeigeprozesses darstellt.
26 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines Navigationsvideobild-Erzeugungsprozesses darstellt.
27 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines Erzeugungsprozesses für virtuelles Ultraschallbild darstellt.
28 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines Unterstützungsinformationen-Erzeugungsprozesses darstellt.
29 ist ein Konzeptdiagramm, das ein Beispiel von Inhalt von Prozessen einer ersten Übertragungs- und Empfangseinheit, einer Bilderkennungseinheit und einer Verarbeitungseinheit eines Servers gemäß einem ersten Modifikationsbeispiel darstellt.
30 ist ein Konzeptdiagramm, das ein Beispiel von Inhalt eines Prozesses einer dritten Erzeugungseinheit eines Servers gemäß einem zweiten Modifikationsbeispiel darstellt.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Nachstehend werden Beispiele von Ausführungsformen einer Informationsverarbeitungsvorrichtung, einer Bronchoskopvorrichtung, eines Informationsverarbeitungsverfahrens und eines Programms gemäß der Technologie der vorliegenden Offenbarung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
Zunächst werden Begriffe beschrieben, die bei der folgenden Beschreibung verwendet werden.
CPU (central processing unit) ist eine Abkürzung für „Zentraleinheit“. GPU (graphics processing unit) ist eine Abkürzung für „Grafikverarbeitungseinheit“. RAM (random access memory) ist eine Abkürzung für „Arbeitsspeicher“. NVM (non-volatile memory) ist eine Abkürzung für „nichtflüchtiger Speicher“. EEPROM (electrically erasable programmable read-only memory) ist eine Abkürzung für „elektrisch löschbarer programmierbarer Nur-Lese-Speicher“. ASIC (application-specific integrated circuit) ist eine Abkürzung für „anwendungsspezifische integrierte Schaltung“. PLD (programmable logic device) ist eine Abkürzung für „programmierbare logische Schaltung“. FPGA ist eine Abkürzung für „feldprogrammierbares Gate-Array“. SoC ist eine Abkürzung für „System-on-a-Chip“. SSD (solid-state drive) ist eine Abkürzung für „Solid-State-Laufwerk“. USB ist eine Abkürzung für „Universal Serial Bus“. HDD (hard disk drive) ist eine Abkürzung für „Festplattenlaufwerk“. EL ist eine Abkürzung für „Elektrolumineszenz“. CMOS (complementary metal oxide semiconductor) ist eine Abkürzung für „komplementärer Metalloxid-Halbleiter“. CCD (charge-coupled device) ist eine Abkürzung für „ladungsgekoppeltes Bauteil“. CT ist eine Abkürzung für „Computertomographie“. MRT ist eine Abkürzung für „Magnetresonanztomographie“. PC ist eine Abkürzung für „Personal Computer“. LAN (local area network) ist eine Abkürzung für „lokales Netzwerk“. WAN (wide area network) ist eine Abkürzung für „Weitverkehrsnetz“. KI ist eine Abkürzung für „künstliche Intelligenz“. ADC (analog-to-digital converter) ist eine Abkürzung für „Analog-Digital-Umsetzer“. FPC (flexible printed circuit) ist eine Abkürzung für „Flexible Leiterplatte“. BLI ist eine Abkürzung für „Blue Laser Imaging“. LCI ist eine Abkürzung für „Linked Color Imaging“. Bei dieser Ausführungsform bedeutet, zusätzlich zu perfekte Übereinstimmung, der Begriff „Übereinstimmung“ Übereinstimmung einschließlich eines Fehlers, der auf dem technischen Gebiet, zu dem die Technologie der vorliegenden Offenbarung gehört, allgemein zulässig ist und nicht von dem Kern der Technologie der vorliegenden Offenbarung abweicht.
Beispielsweise umfasst, wie in 1 dargestellt, ein Endoskopsystem 10 eine Ultraschallendoskopvorrichtung 12. Die Ultraschallendoskopvorrichtung 12 ist ein Beispiel einer „Ultraschallendoskopvorrichtung“ gemäß der Technologie der vorliegenden Offenbarung. Die Ultraschallendoskopvorrichtung 12 weist eine Anzeigevorrichtung 14 auf. Die Ultraschallendoskopvorrichtung 12 wird von einem medizinischen Mitarbeiter (nachstehend als ein „Benutzer“ bezeichnet) wie beispielsweise einem Arzt 16 verwendet. Die Ultraschallendoskopvorrichtung 12 umfasst ein Bronchoskop (ein Endoskop) 18 und wird verwendet, um eine medizinische Behandlung an einem Atmungssystem einschließlich Bronchien einer Untersuchungsperson 20 (zum Beispiel eines Patienten) durch das Bronchoskop 18 durchzuführen. Das Bronchoskop 18 ist ein Beispiel eines „Ultraschallendoskops“ gemäß der Technologie der vorliegenden Offenbarung. Die Anzeigevorrichtung 14 ist ein Beispiel einer „Anzeigevorrichtung“ gemäß der Technologie der vorliegenden Offenbarung.
Das Bronchoskop 18 wird von dem Arzt 16 in die Bronchie der Untersuchungsperson 20 eingeführt, bildet das Innere der Bronchie ab, erfasst ein Bild, das einen Aspekt des Inneren der Bronchie zeigt, und gibt das Bild aus. Bei dem in 1 dargestellten Beispiel ist ein Aspekt dargestellt, bei dem das Bronchoskop 18 durch einen Mund der Untersuchungsperson 20 in ein luminales Organ des Atmungssystems eingeführt wird. Darüber hinaus wird das Bronchoskop 18 bei dem in 1 dargestellten Beispiel durch den Mund der Untersuchungsperson 20 in das luminale Organ des Atmungssystems eingeführt. Dies ist jedoch nur ein Beispiel, und das Bronchoskop 18 kann durch eine Nase der Untersuchungsperson 20 in das luminale Organ des Atmungssystems eingeführt werden. Ferner bedeutet bei dieser Ausführungsform das luminale Organ des Atmungssystems ein Organ, das einen Luftkanal von einem oberen Atemweg zu einem unteren Atemweg bildet (zum Beispiel ein Organ, das eine Luftröhre und die Bronchie enthält). Nachstehend wird das luminale Organ des Atmungssystems einfach als ein „luminales Organ“ bezeichnet.
Die Anzeigevorrichtung 14 zeigt verschiedene Arten von Informationen einschließlich eines Bildes an. Beispiele der Anzeigevorrichtung 14 beinhalten eine Flüssigkristallanzeige und eine EL-Anzeige. Auf der Anzeigevorrichtung 14 werden mehrere Bildschirme nebeneinander angezeigt. Bei dem in 1 dargestellten Beispiel werden Bildschirme 22, 24 und 26 als ein Beispiel der mehreren Bildschirme angegeben.
Ein durch ein optisches Verfahren aufgenommenes Endoskopbild 28 wird auf dem Bildschirm 22 angezeigt. Das Endoskopbild 28 ist ein Bild, das durch Emittieren von Licht (zum Beispiel sichtbarem Licht oder Infrarotlicht) auf eine Innenfläche des luminalen Organs (zum Beispiel der Bronchie) (nachstehend auch als eine „Innenwandfläche von luminalem Organs“ bezeichnet) der Untersuchungsperson 20 mit dem Bronchoskop 18 und Aufnehmen von reflektiertem Licht von der Innenwandfläche des luminalen Organs erhalten wird. Ein Beispiel des Endoskopbildes 28 ist ein Videobild (zum Beispiel ein Livebild). Dies ist jedoch nur ein Beispiel, und das Endoskopbild 28 kann ein Standbild sein.
Ein tatsächliches Ultraschallbild 30, das einen Aspekt eines Beobachtungszielbereichs auf einer Rückseite der Innenwandfläche von luminalem Organ (nachstehend auch einfach als ein „Beobachtungszielbereich“ bezeichnet) zeigt, wird auf dem Bildschirm 24 angezeigt. Das tatsächliche Ultraschallbild 30 ist ein Ultraschallbild, das auf der Grundlage reflektierter Wellen erzeugt wird, die durch die Reflexion von Ultraschallwellen, die von dem Bronchoskop 18 durch die Innenwandfläche von luminalem Organ in dem luminalen Organ zu dem Beobachtungszielbereich emittiert wurden, von dem Beobachtungszielbereich erhalten werden. Das tatsächliche Ultraschallbild 30 ist ein Ultraschallbild, das tatsächlich in einem sogenannten B-Modus (Helligkeitsmodus) erhalten wird. Darüber hinaus wird hier das tatsächlich im B-Modus erhaltene Ultraschallbild als ein Beispiel des tatsächlichen Ultraschallbildes 30 angegeben.
Die Technologie der vorliegenden Offenbarung ist jedoch nicht darauf beschränkt, und das tatsächliche Ultraschallbild 30 kann ein Ultraschallbild sein, das tatsächlich in einem sogenannten M-Modus (Bewegungsmodus) oder einem Doppler-Modus erhalten wird. Das tatsächliche Ultraschallbild 30 ist ein Beispiel eines „tatsächlichen Ultraschallbildes“ gemäß der Technologie der vorliegenden Offenbarung.
Ein virtuelles Ultraschallbild 32 wird auf dem Bildschirm 26 angezeigt. Das heißt, das tatsächliche Ultraschallbild 30 und das virtuelle Ultraschallbild 32 werden auf der Anzeigevorrichtung 14 so angezeigt, dass sie miteinander vergleichbar sind. Wie unten detailliert beschrieben wird, ist das virtuelle Ultraschallbild 32 ein virtuelles Ultraschallbild, das den Aspekt des Beobachtungszielbereichs zeigt und auf das der Benutzer Bezug nimmt. Das virtuelle Ultraschallbild 32 ist ein Beispiel eines „virtuellen Ultraschallbildes“ gemäß der Technologie der vorliegenden Offenbarung.
Beispielsweise umfasst, wie in 2 dargestellt, das Bronchoskop 18 eine Betätigungseinheit 34 und einen Einführabschnitt 36. Der Einführabschnitt 36 ist in einer rohrförmigen Form gebildet. Der Einführabschnitt 36 weist einen distalen Endteil 38, einen biegbaren Teil 40 und einen weichen Teil 42 auf. Der distale Endteil 38, der biegbare Teil 40 und der weiche Teil 42 sind in der Reihenfolge des distalen Endteils 38, des biegbaren Teils 40 und des weichen Teils 42 von einem distalen Ende zu einem Basisende des Einführabschnitts 36 angeordnet. Der weiche Teil 42 ist aus einem länglichen flexiblen Material gefertigt und verbindet die Betätigungseinheit 34 und den biegbaren Teil 40. Der biegbare Teil 40 wird durch die Betätigung der Betätigungseinheit 34 teilweise gebogen oder um eine Achse des Einführabschnitts 36 gedreht. Infolgedessen wird der Einführabschnitt 36 zu der Rückseite des luminalen Organs bewegt, während er gemäß der Form des luminalen Organs (zum Beispiel der Form eines Bronchialtrakts) gebogen wird oder während er um die Achse des Einführabschnitts 36 gedreht wird.
Der distale Endteil 38 ist mit einer Beleuchtungsvorrichtung 44, einer Kamera 46, einer Ultraschallsonde 48 und einer Behandlungswerkzeugöffnung 50 versehen. Die Beleuchtungsvorrichtung 44 weist ein Beleuchtungsfenster 44A und ein Beleuchtungsfenster 44B auf. Die Beleuchtungsvorrichtung 44 emittiert Licht durch das Beleuchtungsfenster 44A und das Beleuchtungsfenster 44B. Beispiele für die Art von Licht, das von der Beleuchtungsvorrichtung 44 emittiert wird, beinhalten sichtbares Licht (zum Beispiel weißes Licht), unsichtbares Licht (zum Beispiel Nahinfrarotlicht) und/oder Speziallicht. Beispiele des Speziallichts beinhalten Licht für BLI und/oder Licht für LCI. Die Kamera 46 bildet das Innere des luminalen Organs unter Verwendung des optischen Verfahrens ab. Ein Beispiel der Kamera 46 ist eine CMOS-Kamera. Die CMOS-Kamera ist nur ein Beispiel, und die Kamera 46 kann andere Arten von Kameras, wie beispielsweise CCD-Kameras, sein.
Die Ultraschallsonde 48 ist an einer distalen Endseite des distalen Endteils 38 vorgesehen. Eine Außenfläche 48A der Ultraschallsonde 48 ist in einer konvexen Form von einem Basisende zu einem distalen Ende der Ultraschallsonde 48 nach außen gebogen. Die Ultraschallsonde 48 überträgt Ultraschallwellen durch die Außenfläche 48A und empfängt reflektierte Wellen, die durch die Reflexion der übertragenen Ultraschallwellen von dem Beobachtungszielbereich durch die Außenfläche 48A erhalten werden. Darüber hinaus ist hier die Übertragung der Ultraschallwellen ein Beispiel von „Emission von Ultraschallwellen“ gemäß der Technologie der vorliegenden Offenbarung.
Die Behandlungswerkzeugöffnung 50 ist näher an einem Basisende des distalen Endteils 38 als die Ultraschallsonde 48 gebildet. Die Behandlungswerkzeugöffnung 50 ist eine Öffnung, durch die ein Behandlungswerkzeug 52 aus dem distalen Endteil 38 vorsteht. Eine Behandlungswerkzeug-Einführöffnung 54 ist bei der Betätigungseinheit 34 gebildet, und das Behandlungswerkzeug 52 wird durch die Behandlungswerkzeug-Einführöffnung 54 in den Einführabschnitt 36 eingeführt. Das Behandlungswerkzeug 52 passiert den Einführabschnitt 36 und steht aus der Behandlungswerkzeugöffnung 50 zu der Innenseite des Körpers vor. Bei dem in 2 dargestellten Beispiel steht als das Behandlungswerkzeug 52 eine Hülle 52A aus der Behandlungswerkzeugöffnung 50 vor. Die Hülle 52A wird durch die Behandlungswerkzeug-Einführöffnung 54 in den Einführabschnitt 36 eingeführt und steht aus der Behandlungswerkzeugöffnung 50 nach außen vor. Ferner ist bei dem in 2 dargestellten Beispiel auch eine Punktionskanüle 52B als Behandlungswerkzeug 52 dargestellt. Die Punktionskanüle 52B wird in die Hülle 52A eingeführt und steht aus einem distalen Ende der Hülle 52A nach außen vor. Hier werden die Hülle 52A und die Punktionskanüle 52B als ein Beispiel des Behandlungswerkzeugs 52 angegeben. Dies ist jedoch nur ein Beispiel, und das Behandlungswerkzeug 52 kann beispielsweise eine Fasszange und/oder eine Ultraschallsonde sein. Diese Werkzeuge können in die Hülle 52A eingeführt und dann verwendet werden. Darüber hinaus fungiert die Behandlungswerkzeugöffnung 50 auch als eine Saugöffnung zum Ansaugen von beispielsweise Blut und Körperausscheidungen.
Die Ultraschallendoskopvorrichtung 12 umfasst ein Universalkabel 58, eine Endoskopverarbeitungsvorrichtung 60, eine Lichtquellenvorrichtung 62, eine Ultraschallverarbeitungsvorrichtung 64 und ein Anzeigesteuergerät 66. Das Universalkabel 58 weist einen Basisendteil 58A und erste bis dritte distale Endteile 58B bis 58D auf. Der Basisendteil 58A ist mit der Betätigungseinheit 34 verbunden. Der erste distale Endteil 58B ist mit der Endoskopverarbeitungsvorrichtung 60 verbunden. Der zweite distale Endteil 58C ist mit der Lichtquellenvorrichtung 62 verbunden. Der dritte distale Endteil 58D ist mit der Ultraschallverarbeitungsvorrichtung 64 verbunden.
Das Endoskopsystem 10 umfasst eine Empfangsvorrichtung 68. Die Empfangsvorrichtung 68 empfängt eine Anweisung von dem Benutzer. Beispiele der Empfangsvorrichtung 68 beinhalten ein Bedienfeld, das mehrere Hardkeys und/oder ein Touch-Panel aufweist, eine Tastatur, eine Maus, einen Trackball, einen Fußschalter, ein Smart-Gerät und/oder ein Mikrofon.
Die Empfangsvorrichtung 68 ist mit der Endoskopverarbeitungsvorrichtung 60 verbunden. Die Endoskopverarbeitungsvorrichtung 60 überträgt und empfängt verschiedene Signale an das und von der Kamera 46 oder steuert die Lichtquellenvorrichtung 62 gemäß der von der Empfangsvorrichtung 68 empfangenen Anweisung. Die Endoskopverarbeitungsvorrichtung 60 weist die Kamera 46 an, Bildaufnahme durchzuführen, erfasst das Endoskopbild 28 (siehe 1) von der Kamera 46 und gibt das Endoskopbild 28 aus. Die Lichtquellenvorrichtung 62 emittiert Licht unter der Steuerung der Endoskopverarbeitungsvorrichtung 60 und führt das Licht der Beleuchtungsvorrichtung 44 zu. Ein Lichtleiter ist bei der Beleuchtungsvorrichtung 44 vorgesehen, und das von der Lichtquellenvorrichtung 62 zugeführte Licht wird aus den Beleuchtungsfenstern 44A und 44B durch den Lichtleiter emittiert.
Die Empfangsvorrichtung 68 ist mit der Ultraschallverarbeitungsvorrichtung 64 verbunden. Die Ultraschallverarbeitungsvorrichtung 64 überträgt und empfängt verschiedene Signale an die und von der Ultraschallsonde 48 gemäß der von der Empfangsvorrichtung 68 empfangenen Anweisung. Die Ultraschallverarbeitungsvorrichtung 64 weist die Ultraschallsonde 48 an, die Ultraschallwellen zu übertragen, erzeugt das tatsächliche Ultraschallbild 30 (siehe 1) auf der Grundlage der von der Ultraschallsonde 48 empfangenen reflektierten Wellen und gibt das tatsächliche Ultraschallbild 30 aus.
Die Anzeigevorrichtung 14, die Endoskopverarbeitungsvorrichtung 60, die Ultraschallverarbeitungsvorrichtung 64 und die Empfangsvorrichtung 68 sind mit dem Anzeigesteuergerät 66 verbunden. Das Anzeigesteuergerät 66 steuert die Anzeigevorrichtung 14 gemäß der von der Empfangsvorrichtung 68 empfangenen Anweisung. Das Anzeigesteuergerät 66 erfasst das Endoskopbild 28 von der Endoskopverarbeitungsvorrichtung 60 und zeigt das erfasste Endoskopbild 28 auf der Anzeigevorrichtung 14 an (siehe 1). Darüber hinaus erfasst das Anzeigesteuergerät 66 das tatsächliche Ultraschallbild 30 von der Ultraschallverarbeitungsvorrichtung 64 und zeigt das erfasste tatsächliche Ultraschallbild 30 auf der Anzeigevorrichtung 14 an (siehe 1).
Das Endoskopsystem 10 umfasst einen Server 70. Ein Beispiel des Servers 70 ist ein Server für einen Cloud-Dienst. Der Server 70 enthält einen Computer 72, der ein Hauptkörper des Servers 70 ist, eine Anzeigevorrichtung 74 und eine Empfangsvorrichtung 76. Der Computer 72 und das Anzeigesteuergerät 66 sind über ein Netzwerk 78 so verbunden, dass sie miteinander kommunizieren können. Ein Beispiel des Netzwerks 78 ist ein LAN. Darüber hinaus ist das LAN nur ein Beispiel, und das Netzwerk 78 kann beispielsweise durch mindestens eines von dem LAN und einem WAN konfiguriert werden.
Das Anzeigesteuergerät 66 ist als ein Client-Terminal für den Server 70 positioniert. Daher führt der Server 70 einen Prozess durch, der einer von dem Anzeigesteuergerät 66 über das Netzwerk 78 gegebenen Anforderung entspricht, und stellt ein Verarbeitungsergebnis über das Netzwerk 78 dem Anzeigesteuergerät 66 bereit.
Die Anzeigevorrichtung 74 und die Empfangsvorrichtung 76 sind mit dem Computer 72 verbunden. Die Anzeigevorrichtung 74 zeigt verschiedene Arten von Informationen unter der Steuerung des Computers 72 an. Beispiele der Anzeigevorrichtung 74 beinhalten eine Flüssigkristallanzeige und eine EL-Anzeige. Die Empfangsvorrichtung 76 empfängt eine Anweisung beispielsweise von dem Benutzer des Servers 70. Beispiele der Empfangsvorrichtung 76 beinhalten eine Tastatur und eine Maus. Der Computer 72 führt einen Prozess durch, der der von der Empfangsvorrichtung 76 empfangenen Anweisung entspricht.
Beispielsweise ist, wie in 3 dargestellt, ein Atmungsorgan 82 in dem Körper der Untersuchungsperson 20 enthalten. Das Atmungsorgan 82 weist ein luminales Organ 84 wie beispielsweise den oberen Atemweg und den unteren Atemweg auf. Der Einführabschnitt 36 des Bronchoskops 18 wird von einer Mundhöhle 86 der Untersuchungsperson 20 in das luminale Organ 84 eingeführt. Das heißt, der Einführabschnitt 36 wird von der Mundhöhle 86 durch einen Kehlkopf 88 in eine Bronchie 96 eingeführt. Der distale Endteil 38 wird entlang einer vorbestimmten Route 98 in der Bronchie 96 zu einer Rückseite der Bronchie 96 bewegt. Der zu der Rückseite der Bronchie 96 bewegte distale Endteil 38 erreicht schließlich eine vorbestimmte Position 100 in der Bronchie 96.
Die Position 100 ist die Position eines Abschnitts einer Innenwandfläche 102 von luminalem Organ, die eine Innenfläche des luminalen Organs 84 ist. Insbesondere ist die Position 100 eine Position, an der ein Lymphknoten 104, der im Voraus als ein durch das Behandlungswerkzeug 52 zu behandelnder Behandlungszielteil designiert wurde, außerhalb des luminalen Organs 84 (bei dem in 3 dargestellten Beispiel der Bronchie 96) in der Innenwandfläche 102 von luminalem Organ vorhanden. Mit anderen Worten bedeutet die Position 100 eine Position, an der der Lymphknoten 104 in der Innenwandfläche 102 von luminalem Organ immanent ist. Bei dieser Ausführungsform ist der Lymphknoten 104 ein Teil, aus dem Gewebe gesammelt werden sollen. Das heißt, der Lymphknoten 104 ist ein Teil, der von der Punktionskanüle 52B zu punktieren ist. Bei dem in 3 dargestellten Beispiel ist die Position 100 eine Position, an der die Innenwandfläche 102 von luminalem Organ von der Punktionskanüle 52B in einem Fall punktiert wird, in dem ein Mittelabschnitt 104A (zum Beispiel die Mitte) des Lymphknotens 104 von der Punktionskanüle 52B gestochen wird.
Die Ultraschallsonde 48 in dem distalen Endteil 38 des Bronchoskops 18 emittiert die Ultraschallwellen an einen Beobachtungszielbereich 106, der das luminale Organ 84 und den Lymphknoten 104 enthält (zum Beispiel ein Organ wie beispielsweise eine Lunge, die das luminale Organ 84 und den Lymphknoten 104 enthält). Dann wird das tatsächliche Ultraschallbild 30 auf der Grundlage der reflektierten Wellen erzeugt, die durch die Reflexion der emittierten Ultraschallwellen von dem Beobachtungszielbereich 106 erhalten werden. Darüber hinaus wird der Aspekt des von der Punktionskanüle 52B punktierten Beobachtungszielbereichs 106 durch das tatsächliche Ultraschallbild 30 gezeigt. Bei dem in 3 dargestellten Beispiel stimmt eine Position 108 des distalen Endteils 38 des Bronchoskops 18 mit der Position 100 überein. Die Position 108 ist eine Position, die der Position zugewandt ist, an der die Punktionskanüle 52B in der Behandlungswerkzeugöffnung 50 (siehe 2) in die Innenwandfläche 102 von luminalem Organ vorsteht. Mit anderen Worten ist die Position 108 eine Position, an der sich eine vorstehende Richtung der Punktionskanüle 52B und die Innenwandfläche 102 von luminalem Organ einander schneiden.
Der Lymphknoten 104 ist ein Beispiel eines „spezifischen Teils“ und eines „Behandlungszielteils“ gemäß der Technologie der vorliegenden Offenbarung. Das Behandlungswerkzeug 52 ist ein Beispiel eines „Behandlungswerkzeugs“ gemäß der Technologie der vorliegenden Offenbarung. Die Punktionskanüle 52B ist ein Beispiel einer „Punktionskanüle“ gemäß der Technologie der vorliegenden Offenbarung. Der distale Endteil 38 ist ein Beispiel eines „medizinischen Moduls“ und eines „distalen Endteils eines Ultraschallendoskops“ gemäß der Technologie der vorliegenden Offenbarung. Der Beobachtungszielbereich 106 ist ein Beispiel eines „Beobachtungszielbereichs“ gemäß der Technologie der vorliegenden Offenbarung. Die Position 108 ist ein Beispiel einer „ersten Position“ gemäß der Technologie der vorliegenden Offenbarung. Die Position 100 ist ein Beispiel einer „zweiten Position“ gemäß der Technologie der vorliegenden Offenbarung.
Beispielsweise umfasst, wie in 4 dargestellt, die Endoskopverarbeitungsvorrichtung 60 einen Computer 110 und eine Eingabe-/Ausgabe-Schnittstelle 112. Der Computer 110 umfasst einen Prozessor 114, einen RAM 116 und einen NVM 118. Die Eingabe-/Ausgabeschnittstelle 112, der Prozessor 114, der RAM 116 und der NVM 118 sind mit einem Bus 120 verbunden.
Der Prozessor 114 weist beispielsweise eine CPU und eine GPU auf und steuert die gesamte Endoskopverarbeitungsvorrichtung 60. Die GPU arbeitet unter der Steuerung der CPU und führt hauptsächlich Bildverarbeitung durch. Darüber hinaus kann der Prozessor 114 eine oder mehrere CPUs sein, mit denen die Funktionen der GPU integriert wurden, oder kann eine oder mehrere CPUs sein, mit denen die Funktionen der GPU nicht integriert wurden.
Der RAM 116 ist ein Speicher, der vorübergehend Informationen speichert und von dem Prozessor 114 als ein Arbeitsspeicher verwendet wird. Der NVM 118 ist eine nichtflüchtige Speichervorrichtung, die beispielsweise verschiedene Programme und verschiedene Parameter speichert. Ein Beispiel des NVM 118 ist ein Flash-Speicher (zum Beispiel ein EEPROM) und/oder eine SSD. Darüber hinaus sind der Flash-Speicher und die SSD nur ein Beispiel, und der NVM 118 kann andere nichtflüchtige Speichervorrichtungen, wie beispielsweise HDDs, oder eine Kombination aus zwei oder mehr Arten von nichtflüchtigen Speichervorrichtungen sein.
Die Empfangsvorrichtung 68 ist mit der Eingabe-/Ausgabeschnittstelle 112 verbunden, und der Prozessor 114 erfasst die von der Empfangsvorrichtung 68 empfangene Anweisung über die Eingabe-/Ausgabeschnittstelle 112 und führt einen Prozess durch, der der erfassten Anweisung entspricht. Darüber hinaus ist die Kamera 46 mit der Eingabe-/Ausgabe-Schnittstelle 112 verbunden. Der Prozessor 114 steuert die Kamera 46 über die Eingabe-/Ausgabeschnittstelle 112 oder erfasst das Endoskopbild 28, das durch Abbilden des Inneren des Körpers der Untersuchungsperson 20 mit der Kamera 46 erhalten wird, über die Eingabe-/Ausgabeschnittstelle 112. Ferner ist die Lichtquellenvorrichtung 62 mit der Eingabe-/Ausgabe-Schnittstelle 112 verbunden. Der Prozessor 114 steuert die Lichtquellenvorrichtung 62 über die Eingabe-/Ausgabeschnittstelle 112 so, dass der Beleuchtungsvorrichtung 44 Licht zugeführt wird oder die der Beleuchtungsvorrichtung 44 zugeführte Menge von Licht angepasst wird. Darüber hinaus ist das Anzeigesteuergerät 66 mit der Eingabe-/Ausgabe-Schnittstelle 112 verbunden. Der Prozessor 114 überträgt und empfängt verschiedene Signale an die und von dem Anzeigesteuergerät 66 über die Eingabe-/Ausgabe-Schnittstelle 112.
Beispielsweise umfasst, wie in 5 dargestellt, die Ultraschallverarbeitungsvorrichtung 64 einen Computer 122 und eine Eingabe-/Ausgabe-Schnittstelle 124. Der Computer 122 umfasst einen Prozessor 126, einen RAM 128 und einen NVM 130. Die Eingabe-/Ausgabeschnittstelle 124, der Prozessor 126, der RAM 128 und der NVM 130 sind mit einem Bus 132 verbunden. Der Prozessor 126 steuert die gesamte Ultraschallverarbeitungsvorrichtung 64. Darüber hinaus sind mehrere Hardware-Ressourcen (das heißt der Prozessor 126, der RAM 128 und der NVM 130), die in dem in 5 dargestellten Computer 122 enthalten sind, die gleichen Typen wie mehrere Hardware-Ressourcen, die in dem in 4 dargestellten Computer 110 enthalten sind. Daher wird die Beschreibung davon hier nicht wiederholt.
Die Empfangsvorrichtung 68 ist mit der Eingabe-/Ausgabeschnittstelle 124 verbunden, und der Prozessor 126 erfasst die von der Empfangsvorrichtung 68 empfangene Anweisung über die Eingabe-/Ausgabeschnittstelle 124 und führt einen Prozess durch, der der erfassten Anweisung entspricht. Darüber hinaus ist das Anzeigesteuergerät 66 mit der Eingabe-/Ausgabe-Schnittstelle 124 verbunden. Der Prozessor 126 überträgt und empfängt verschiedene Signale an das und von dem Anzeigesteuergerät 66 über die Eingabe-/Ausgabe-Schnittstelle 124.
Die Ultraschallverarbeitungsvorrichtung 64 umfasst einen Multiplexer 134, eine Übertragungsschaltung 136, eine Empfangsschaltung 138 und einen Analog-Digital-Umsetzer 140 (nachstehend als ein „ADC 140“ bezeichnet). Der Multiplexer 134 ist mit der Ultraschallsonde 48 verbunden. Ein Eingabeende der Übertragungsschaltung 136 ist mit der Eingabe-/Ausgabe-Schnittstelle 124 verbunden, und ein Ausgabeende der Übertragungsschaltung 136 ist mit dem Multiplexer 134 verbunden. Ein Eingabeende des ADC 140 ist mit einem Ausgabeende der Empfangsschaltung 138 verbunden, und ein Ausgabeende des ADC 140 ist mit der Eingabe-/Ausgabe-Schnittstelle 124 verbunden. Ein Eingabeende der Empfangsschaltung 138 ist mit dem Multiplexer 134 verbunden.
Die Ultraschallsonde 48 umfasst mehrere Ultraschallwandler 142. Die mehreren Ultraschallwandler 142 sind in einem eindimensionalen oder zweidimensionalen Array angeordnet, um vereinheitlicht zu werden. Jeder der mehreren Ultraschallwandler 142 ist durch Anordnen von Elektroden auf beiden Oberflächen eines piezoelektrischen Elements gebildet. Ein Beispiel des piezoelektrischen Elements ist Bariumtitanat, Bleizirkonattitanat oder Kaliumniobat. Die Elektroden bestehen aus einzelnen Elektroden, die individuell für die mehreren Ultraschallwandler 142 vorgesehen sind, und einer Wandlermasse, die den mehreren Ultraschallwandlern 142 gemeinsam ist. Die Elektroden sind über eine FPC und ein Koaxialkabel elektrisch mit der Ultraschallverarbeitungsvorrichtung 64 verbunden.
Die Ultraschallsonde 48 ist eine konvexe Array-Sonde, bei der die mehreren Ultraschallwandler 142 in einer Bogenform angeordnet sind. Die mehreren Ultraschallwandler 142 sind entlang der Außenfläche 48A (siehe 2) angeordnet. Das heißt, die mehreren Ultraschallwandler 142 sind in gleichen Abständen in einer konvexen Krümmungsform entlang einer Axialrichtung des distalen Endteils 38 (siehe 2) (das heißt einer Längsachsenrichtung des Einführabschnitts 36) angeordnet. Daher betreibt die Ultraschallsonde 48 die mehreren Ultraschallwandler 142, um die Ultraschallwellen radial zu übertragen. Darüber hinaus wird hier die konvexe Array-Sonde als ein Beispiel angegeben. Dies ist jedoch nur ein Beispiel, und die Ultraschallsonde 48 kann beispielsweise eine Radialsonde, eine Linearsonde oder eine Sektorsonde sein. Ferner ist ein Abtastverfahren der Ultraschallsonde 48 nicht besonders eingeschränkt.
Die Übertragungsschaltung 136 und die Empfangsschaltung 138 sind über den Multiplexer 134 elektrisch mit jedem der mehreren Ultraschallwandler 142 verbunden. Der Multiplexer 134 wählt mindestens einen der mehreren Ultraschallwandler 142 aus und öffnet einen Kanal eines ausgewählten Ultraschallwandlers, der der ausgewählte Ultraschallwandler 142 ist.
Die Übertragungsschaltung 136 wird von dem Prozessor 126 über die Eingabe-/Ausgabe-Schnittstelle 124 gesteuert. Die Übertragungsschaltung 136 führt ein Ansteuersignal zum Übertragen der Ultraschallwellen (zum Beispiel mehrerer gepulster Signale) dem ausgewählten Ultraschallwandler unter der Steuerung des Prozessors 126 zu. Das Ansteuersignal wird gemäß von dem Prozessor 126 eingestellten Übertragungsparametern erzeugt. Die Übertragungsparameter sind beispielsweise die Anzahl an Ansteuersignalen, die dem ausgewählten Ultraschallwandler zugeführt werden, die Zuführzeit der Ansteuersignale und eine Ansteuervibrations-Amplitude.
Die Übertragungsschaltung 136 führt dem ausgewählten Ultraschallwandler das Ansteuersignal so zu, dass der ausgewählte Ultraschallwandler die Ultraschallwellen überträgt. Das heißt, in einem Fall, in dem das Ansteuersignal der bei dem ausgewählten Ultraschallwandler enthaltenen Elektrode zugeführt wird, wird das bei dem ausgewählten Ultraschallwandler enthaltene piezoelektrische Element expandiert und kontrahiert und der ausgewählte Ultraschallwandler vibriert. Infolgedessen werden gepulste Ultraschallwellen von dem ausgewählten Ultraschallwandler ausgegeben. Die Ausgabeintensität des ausgewählten Ultraschallwandlers wird durch die Amplitude der Ultraschallwellen definiert, die von dem ausgewählten Ultraschallwandler ausgegeben werden (das heißt die Größe des Ultraschalldrucks).
Der Ultraschallwandler 142 empfängt die reflektierten Wellen, die durch die Reflexion der übertragenen Ultraschallwellen von dem Beobachtungszielbereich 106 erhalten werden. Der Ultraschallwandler 142 gibt ein elektrisches Signal, das die empfangenen reflektierten Wellen angibt, über den Multiplexer 134 an die Empfangsschaltung 138 aus. Insbesondere gibt das in dem Ultraschallwandler 142 enthaltene piezoelektrische Element das elektrische Signal aus. Die Empfangsschaltung 138 empfängt das elektrische Signal von dem Ultraschallwandler 142, verstärkt das empfangene elektrische Signal und gibt das verstärkte elektrische Signal an den ADC 140 aus. Der ADC 140 digitalisiert das von der Empfangsschaltung 138 eingegebene elektrische Signal. Der Prozessor 126 erfasst das von dem ADC 140 digitalisierte elektrische Signal und erzeugt das tatsächliche Ultraschallbild 30 (siehe 1) auf der Grundlage des erfassten elektrischen Signals.
Beispielsweise umfasst, wie in 6 dargestellt, das Anzeigesteuergerät 66 einen Computer 144 und eine Eingabe-/Ausgabe-Schnittstelle 146. Der Computer 144 umfasst einen Prozessor 148, einen RAM 150 und einen NVM 152. Die Eingabe-/Ausgabeschnittstelle 146, der Prozessor 148, der RAM 150 und der NVM 152 sind mit einem Bus 154 verbunden.
Der Prozessor 148 steuert das gesamte Anzeigesteuergerät 66. Darüber hinaus sind mehrere Hardware-Ressourcen (das heißt der Prozessor 148, der RAM 150 und der NVM 152), die in dem in 6 dargestellten Computer 144 enthalten sind, die gleichen Typen wie die mehreren Hardware-Ressourcen, die in dem in 4 dargestellten Computer 110 enthalten sind. Daher wird die Beschreibung davon hier nicht wiederholt.
Die Empfangsvorrichtung 68 ist mit der Eingabe-/Ausgabeschnittstelle 146 verbunden, und der Prozessor 148 erfasst die von der Empfangsvorrichtung 68 empfangene Anweisung über die Eingabe-/Ausgabeschnittstelle 146 und führt einen Prozess durch, der der erfassten Anweisung entspricht. Darüber hinaus ist die Endoskopverarbeitungsvorrichtung 60 mit der Eingabe-/Ausgabe-Schnittstelle 146 verbunden, und der Prozessor 148 überträgt und empfängt verschiedene Signale an den und von dem Prozessor 114 (siehe 4) der Endoskopverarbeitungsvorrichtung 60 durch die Eingabe/Ausgabe Schnittstelle 146. Ferner ist die Ultraschallverarbeitungsvorrichtung 64 mit der Eingabe-/Ausgabe-Schnittstelle 146 verbunden, und der Prozessor 148 überträgt und empfängt verschiedene Signale an den und von dem Prozessor 126 (siehe 5) der Ultraschallverarbeitungsvorrichtung 64 über die Eingabe-/Ausgabe-Schnittstelle 146.
Die Anzeigevorrichtung 14 ist mit der Eingabe-/Ausgabeschnittstelle 146 verbunden, und der Prozessor 148 steuert die Anzeigevorrichtung 14 über die Eingabe-/Ausgabeschnittstelle 146 so, dass verschiedene Arten von Informationen auf der Anzeigevorrichtung 14 angezeigt werden. Beispielsweise erfasst der Prozessor 148 das Endoskopbild 28 (siehe 1) von der Endoskopverarbeitungsvorrichtung 60, erfasst das tatsächliche Ultraschallbild 30 (siehe 1) von der Ultraschallverarbeitungsvorrichtung 64 und zeigt das Endoskopbild 28 und das tatsächliche Ultraschallbild 30 auf der Anzeigevorrichtung 14 an.
Die Ultraschallendoskopvorrichtung 12 umfasst ein Kommunikationsmodul 156. Das Kommunikationsmodul 156 ist mit der Eingabe-/Ausgabe-Schnittstelle 146 verbunden. Das Kommunikationsmodul 156 ist eine Schnittstelle, die einen Kommunikationsprozessor, eine Antenne und dergleichen enthält. Das Kommunikationsmodul 156 ist mit dem Netzwerk 78 verbunden und steuert Kommunikation zwischen dem Prozessor 148 und dem Computer 72 des Servers 70.
Beispielsweise umfasst, wie in 7 dargestellt, der Server 70 eine Eingabe-/Ausgabeschnittstelle 160, die die gleiche wie die Eingabe-/Ausgabeschnittstelle 112 (siehe 4) ist, und ein Kommunikationsmodul 162, das das gleiche wie das Kommunikationsmodul 156 ist, zusätzlich zu dem Computer 72, der Anzeigevorrichtung 74 und der Empfangsvorrichtung 76. Der Computer 72 umfasst einen Prozessor 164, der der gleiche wie der Prozessor 148 (siehe 6) ist, einen RAM 166, der der gleiche wie der RAM 150 (siehe 6) ist und einen NVM 168, der der gleiche wie der NVM 152 (siehe 6) ist. Die Eingabe-/Ausgabeschnittstelle 160, der Prozessor 164, der RAM 166 und der NVM 168 sind mit einem Bus 170 verbunden.
Die Anzeigevorrichtung 74 ist mit der Eingabe-/Ausgabeschnittstelle 160 verbunden, und der Prozessor 164 steuert die Anzeigevorrichtung 74 über die Eingabe-/Ausgabeschnittstelle 160 so, dass verschiedene Arten von Informationen auf der Anzeigevorrichtung 74 angezeigt werden.
Die Empfangsvorrichtung 76 ist mit der Eingabe-/Ausgabeschnittstelle 160 verbunden, und der Prozessor 164 erfasst die von der Empfangsvorrichtung 76 empfangene Anweisung über die Eingabe-/Ausgabeschnittstelle 160 und führt einen Prozess durch, der der erfassten Anweisung entspricht.
Das Kommunikationsmodul 162 ist mit der Eingabe-/Ausgabe-Schnittstelle 160 verbunden. Das Kommunikationsmodul 162 ist mit dem Netzwerk 78 verbunden und führt in Zusammenarbeit mit dem Kommunikationsmodul 156 Kommunikation zwischen dem Prozessor 164 des Servers 70 und dem Prozessor 148 des Anzeigesteuergeräts 66 durch.
Darüber hinaus sind das Anzeigesteuergerät 66 und der Server 70 ein Beispiel einer „Informationsverarbeitungsvorrichtung“ gemäß der Technologie der vorliegenden Offenbarung. Darüber hinaus sind die Prozessoren 148 und 164 ein Beispiel eines „Prozessors“ gemäß der Technologie der vorliegenden Offenbarung. Der Computer 144 (siehe 6) und der Computer 72 sind ein Beispiel eines „Computers“ gemäß der Technologie der vorliegenden Offenbarung.
In einem Fall, in dem eine Behandlung (zum Beispiel Gewebesammlung) an dem Lymphknoten 104 unter Verwendung des Behandlungswerkzeugs 52 durchgeführt wird, bezieht sich der Arzt 16 jedoch auf das Endoskopbild 28 und/oder das tatsächliche Ultraschallbild 30, die auf der Anzeigevorrichtung 14 angezeigt werden. Dann betätigt der Arzt 16 das Bronchoskop 18, um die Position 100 (siehe 3) mit der Position 108 (siehe 3) auszurichten, während er auf das Endoskopbild 28 und/oder das tatsächliche Ultraschallbild 30, die auf der Anzeigevorrichtung 14 angezeigt werden, Bezug nimmt. In einem Fall, in dem die Positionsausrichtung erfolgreich ist, führt der Arzt 16 die Behandlung an dem Lymphknoten 104 unter Verwendung des Behandlungswerkzeugs 52 durch. Jedoch ist es, selbst in einem Fall, in dem sich der Arzt 16 auf das Endoskopbild 28 und/oder das tatsächliche Ultraschallbild 30 bezieht, die auf der Anzeigevorrichtung 14 angezeigt werden, für den Arzt 16 schwierig, die Positionsbeziehung zwischen der Position 100 und der Position 108 zu ermitteln. Für den Arzt 16 ist es wichtig, die Positionsbeziehung zwischen der Position 100 und der Position 108 zu ermitteln, um die Behandlung an dem Lymphknoten 104 genau durchzuführen. Darüber hinaus ist es für den Arzt 16 wichtig, die Positionsbeziehung zwischen der Position 100 und der Position 108 zu ermitteln, um die Zeit bis zu dem Beginn der Behandlung an dem Lymphknoten 104 zu verkürzen. Je mehr die Zeit bis zu dem Beginn der Behandlung an dem Lymphknoten 104 verkürzt wird, desto mehr kann die Zeit, die erforderlich ist, damit der Einführabschnitt 36 in das luminale Organ 84 eingeführt wird, verkürzt werden. Infolgedessen wird auch die Belastung für den Körper der Untersuchungsperson 20 verringert.
Daher führt in Anbetracht dieser Umstände bei dieser Ausführungsform der Prozessor 148 des Anzeigesteuergeräts 66 anzeigesteuergerätsseitige Prozesse durch, und der Prozessor 164 des Servers 70 führt serverseitige Prozesse durch. Die anzeigesteuergerätsseitigen Prozesse enthalten einen Endoskopbild-Anzeigeprozess, einen Navigationsvideobild-Anzeigeprozess, einen Anzeigeprozess für tatsächliches Ultraschallbild, einen Anzeigeprozess für virtuelles Ultraschallbild und einen Unterstützungsinformationen-Anzeigeprozess (siehe 8 und 21 bis 25). Die serverseitigen Prozesse enthalten einen Navigationsvideobild-Erzeugungsprozess, einen Erzeugungsprozess für virtuelles Ultraschallbild und einen Unterstützungsinformationen-Erzeugungsprozess (siehe 9 und 26 bis 28).
Beispielsweise sind, wie in 8 dargestellt, anzeigesteuergerätsseitige Programme 172 in dem NVM 152 gespeichert. Die anzeigesteuergerätsseitigen Programme 172 enthalten ein Endoskopbild-Anzeigeprogramm 172A, ein Navigationsvideobild-Anzeigeprogramm 172B, ein Anzeigeprogramm für tatsächliches Ultraschallbild 172C, ein Anzeigeprogramm für virtuelles Ultraschallbild 172D und ein Unterstützungsinformationen-Anzeigeprogramm 172E.
Der Prozessor 148 liest die anzeigesteuergerätsseitigen Programme 172 von dem NVM 152 und führt die gelesenen anzeigesteuergerätsseitigen Programme 172 auf dem RAM 150 aus, um die anzeigesteuergerätsseitigen Prozesse durchzuführen. Der Prozessor 148 arbeitet als eine erste Steuereinheit 148A gemäß dem Endoskopbild-Anzeigeprogramm 172A, das auf dem RAM 150 ausgeführt wird, um den Endoskopbild-Anzeigeprozess zu implementieren, der in den anzeigesteuergerätsseitigen Prozessen enthalten ist. Der Prozessor 148 arbeitet als eine erste Empfangseinheit 148B und eine zweite Steuereinheit 148C gemäß dem auf dem RAM 150 ausgeführten Navigationsvideobild-Anzeigeprogramm 172B, um den in den anzeigesteuergerätsseitigen Prozessen enthaltenen Navigationsvideobild-Anzeigeprozess zu implementieren. Der Prozessor 148 arbeitet als eine dritte Steuereinheit 148D und eine erste Übertragungseinheit 148E gemäß dem auf dem RAM 150 ausgeführten Anzeigeprogramm für tatsächliches Ultraschallbild 172C, um den in den anzeigesteuergerätsseitigen Prozessen enthaltenen Anzeigeprozess für tatsächliches Ultraschallbild zu implementieren. Der Prozessor 148 arbeitet als eine zweite Empfangseinheit 148F und eine vierte Steuereinheit 148G gemäß dem auf dem RAM 150 ausgeführten Anzeigeprogramm 172D für virtuelles Ultraschallbild, um den in den anzeigesteuergerätsseitigen Prozessen enthaltenen Anzeigeprozess für virtuelles Ultraschallbild zu implementieren. Der Prozessor 148 arbeitet als eine dritte Empfangseinheit 148H und eine fünfte Steuereinheit 1481 gemäß dem auf dem RAM 150 ausgeführten Unterstützungsinformationen-Anzeigeprogramm 172E, um den in den anzeigesteuergerätsseitigen Prozessen enthaltenen Unterstützungsinformationen-Anzeigeprozess zu implementieren.
Beispielsweise werden, wie in 9 dargestellt, serverseitige Programme 174 auf dem NVM 168 gespeichert. Die serverseitigen Programme 174 enthalten ein Navigationsvideobild-Erzeugungsprogramm 174A, ein Erzeugungsprogramm 174B für virtuelles Ultraschallbild und ein Unterstützungsinformationen-Erzeugungsprogramm 174C.
Der Prozessor 164 liest die serverseitigen Programme 174 von dem NVM 168 und führt die gelesenen serverseitigen Programme 174 auf dem RAM 166 aus, um die serverseitigen Prozesse durchzuführen. Der Prozessor 164 arbeitet als eine Bildverarbeitungseinheit 164A, eine erste Erzeugungseinheit 164B und eine zweite Übertragungseinheit 164C gemäß dem von dem RAM 166 ausgeführten Navigationsvideobild-Erzeugungsprogramm 174A, um den in den serverseitigen Prozessen enthaltenen Navigationsvideobild-Erzeugungsprozess zu implementieren. Der Prozessor 164 arbeitet als eine zweite Erzeugungseinheit 164D, eine erste Übertragungs- und Empfangseinheit 164E, eine Erfassungseinheit 164F, eine Bilderkennungseinheit 164G und eine Verarbeitungseinheit 164H gemäß dem auf dem RAM 166 ausgeführten Erzeugungsprogramm 174B für virtuelles Ultraschallbild, um den in den serverseitigen Prozessen enthaltenen Erzeugungsprozess für virtuelles Ultraschallbild implementieren. Der Prozessor 164 arbeitet als eine zweite Übertragungs- und Empfangseinheit 1641 und eine dritte Erzeugungseinheit 164J gemäß dem auf dem RAM 166 ausgeführten Unterstützungsinformationen-Erzeugungsprogramm 174C, um den in den serverseitigen Prozessen enthaltenen Unterstützungsinformationen-Erzeugungsprozess zu implementieren.
Die anzeigesteuergerätsseitigen Programme 172 und die serverseitigen Programme 174 sind ein Beispiel eines „Programms“ gemäß der Technologie der vorliegenden Offenbarung.
Beispielsweise werden, wie in 10 dargestellt, auf dem Server 70 Volumendaten 176 auf dem NVM 168 gespeichert. Die Volumendaten 176 sind ein Beispiel von „Volumendaten“ gemäß der Technologie der vorliegenden Offenbarung. Die Volumendaten 176 sind ein dreidimensionales Bild, bei dem mehrere zweidimensionale Schichtbilder, die durch Abbilden des gesamten Körpers oder eines Teils (zum Beispiel eines Teil einschließlich einer Brust) des Körpers der Untersuchungsperson 20 mit einer Modalität erhalten werden, gestapelt und durch Voxel definiert sind. Die Position jedes Voxels wird durch dreidimensionale Koordinaten spezifiziert. Ein Beispiel der Modalität ist eine CT-Vorrichtung. Die CT-Vorrichtung ist nur ein Beispiel, und andere Beispiele der Modalität sind eine MRT-Vorrichtung und eine Ultraschalldiagnosevorrichtung.
Die Volumendaten 176 beinhalten Brustvolumendaten 178, die ein dreidimensionales Bild sind, das die Brust enthält, die den Beobachtungszielbereich 106 enthält. Darüber hinaus enthalten die Brustvolumendaten 178 Volumendaten 180 über luminales Organ, die ein dreidimensionales Bild sind, das das luminale Organ 84 enthält. Ferner enthalten die Brustvolumendaten 178 Lymphknotenvolumendaten 182. Die Lymphknotenvolumendaten 182 sind ein dreidimensionales Bild, das den Lymphknoten enthält. Die Brustvolumendaten 178 beinhalten die Lymphknotenvolumendaten 182 für jeden von mehreren Lymphknoten, einschließlich des Lymphknotens 104.
Die Bildverarbeitungseinheit 164A extrahiert die Brustvolumendaten 178 aus den Volumendaten 176. Dann erzeugt die Bildverarbeitungseinheit 164A Brustvolumendaten 184 mit einem Weg auf der Grundlage der Brustvolumendaten 178. Die Brustvolumendaten 184 mit einem Weg sind Volumendaten, die die Brustvolumendaten 178 und mehrere Wege 186 von luminalem Organ enthalten.
Die mehreren Wege 186 von luminalem Organ werden durch Durchführen eines Ausdünnungsprozesses an den in den Brustvolumendaten 178 enthaltenen Volumendaten 180 über luminales Organ erzeugt. Der Weg 186 von luminalem Organ ist eine dreidimensionale Linie, die durch die Mitte des luminalen Organs 84 verläuft, das durch die Volumendaten 180 über luminales Organ in einer Querschnittsansicht angegeben wird. Die dreidimensionale Linie, die durch die Mitte des luminalen Organs 84 verläuft, das durch die Volumendaten 180 über luminales Organ in einer Querschnittsansicht angegeben ist, wird durch Ausdünnen der Volumendaten 180 über luminales Organ erhalten. Die Anzahl an Wegen 186 von luminalem Organ entspricht der Anzahl an Peripherien der Bronchien 96 (siehe 3), die durch die Volumendaten 180 über luminales Organ angegeben werden. Darüber hinaus ist jeder Weg 186 von luminalem Organ der kürzeste Weg zu der Peripherie der entsprechenden Bronchie 96.
Beispielsweise werden, wie in 11 dargestellt, Zielpositionsinformationen 188 auf dem NVM 168 gespeichert. Die Zielpositionsinformationen 188 sind Informationen (zum Beispiel dreidimensionale Koordinaten), die eine Zielposition 190 in den Volumendaten 180 über luminales Organ spezifizieren können. Die Zielposition 190 ist eine Position, die der Position 100 (siehe 3) in dem Körper der Untersuchungsperson 20 entspricht. Die Bildverarbeitungseinheit 164A aktualisiert die Brustvolumendaten 184 mit einem Weg zu den Brustvolumendaten 184 mit einem Weg, bei denen nur ein Weg 186A von luminalem Organ verbleibt, unter Bezugnahme auf die Zielpositionsinformationen 188. Der Weg 186A von luminalem Organ ist ein Weg von einem Startpunkt eines Weges 186 von luminalem Organ, der die Zielposition 190 unter den mehreren Wegen 186 von luminalem Organ passiert, zu einem Punkt, der der Zielposition 190 entspricht. Die Bildverarbeitungseinheit 164A speichert die aktualisierten Brustvolumendaten 184 mit einem Weg auf dem NVM 168.
Beispielsweise erfasst, wie in 12 dargestellt, auf dem Server 70 die erste Erzeugungseinheit 164B die Brustvolumendaten 184 mit einem Weg von dem NVM 168. Die erste Erzeugungseinheit 164B extrahiert die Volumendaten 180 über luminales Organ entlang des Weges 186A von luminalem Organ aus den Brustvolumendaten 184 mit einem Weg. Dann erzeugt die erste Erzeugungseinheit 164B ein Navigationsvideobild 192 zum Führen der Bewegung des distalen Endteils 38 (siehe 2 und 3) des Bronchoskops 18 auf der Grundlage der Volumendaten 180 über luminales Organ entlang des Weges 186A von luminalem Organ. Das Navigationsvideobild ist ein Beispiel eines „Oberflächenbildes“ und eines „Videobildes“ gemäß der Technologie der vorliegenden Offenbarung.
Das Navigationsvideobild 192 ist ein Videobild, das die in 3 dargestellte Innenwandfläche 102 von luminalem Organ enthält. Ein virtueller Blickpunkt 194 ist in dem Weg 186A von luminalem Organ vorgesehen. Der Blickpunkt 194 rückt entlang des Weges 186A von luminalem Organ vor. Mit anderen Worten ist der Blickpunkt 194 ein virtuelles Endoskop, das der Kamera 46 in dem distalen Endteil 38 des Bronchoskops 18 entspricht. Während die Kamera 46 eine physische Kamera ist, ist das virtuelle Endoskop eine virtuelle Kamera. Das Navigationsvideobild 192 ist ein Videobild, das einen Aspekt zeigt, bei dem eine Innenwandfläche 196 von luminalem Organ (das heißt die in 3 dargestellte Innenwandfläche 102 von luminalem Organ), die durch die Volumendaten 180 über luminales Organ angezeigt wird, von dem Blickpunkt 194 aus beobachtet wird, der von dem Startpunkt bis zu dem Endpunkt des Weges 186A von luminalem Organ vorrückt.
Das Navigationsvideobild 192 enthält mehrere Einzelbilder 198, die mit einer vorbestimmten Bildrate von dem Startpunkt bis zu dem Endpunkt des Weges 186A von luminalem Organ erhalten werden. Das Einzelbild 198 ist ein einzelnes Bild. Die mehreren Einzelbilder 198 sind in Zeitreihe entlang einer Richtung angeordnet, in die der Blickpunkt 194 vorrückt (das heißt eine Abschlussrichtung des Weges 186A von luminalem Organ). Ferner werden jedem Einzelbild 198 Metadaten 200 gegeben. Die Metadaten 200 enthalten beispielsweise Koordinaten 202 (das heißt dreidimensionale Koordinaten), die in der Lage sind, zu spezifizieren, welcher Position des Weges 186A von luminalem Organ jedes Einzelbild 198 entspricht. Darüber hinaus enthalten die Metadaten 200 zusätzlich zu den Koordinaten 202 Informationen, die sich auf das Einzelbild 198 beziehen. Eine Einzelbildkennung und/oder eine Zweigkennung wird als ein Beispiel der in den Metadaten 200 enthaltenen Informationen angegeben, die nicht die Koordinaten 202 sind. Die Einzelbildkennung ist eine Kennung, die das Einzelbild 198 spezifizieren kann. Die Zweigkennung ist eine Kennung, die einen Zweig der in dem Einzelbild 198 enthaltenen Bronchie 96 spezifizieren kann.
Wie beispielsweise in 13 dargestellt, überlagert die erste Erzeugungseinheit 164B eine Zielmarkierung 204, die eine Markierung ist, die in der Lage ist, einen empfohlenen Bereich zu spezifizieren, der mit den Ultraschallwellen von der Ultraschallsonde 48 bestrahlt wird, auf mehreren entsprechenden Einzelbildern 198, die in dem Navigationsvideobild 192 enthalten sind. Die mehreren entsprechenden Einzelbilder 198 bedeuten mehrere Einzelbilder 198, die die Zielposition 190 enthalten. Die Zielmarkierung 204 ist eine kreisförmige Markierung, die die Zielposition 190 als ihrer Mitte aufweist und farbig ist. Die Position, der die Zielmarkierung 204 in dem Einzelbild 198 gegeben wird, ist eine Position, die der Position entspricht, an der die Ultraschallwellen von der Ultraschallsonde 48 in einem realen Raum in dem Einzelbild 198 emittiert werden.
Ein Beispiel der Farbe, die der Zielmarkierung 204 gegeben wird, ist eine lichtdurchlässige chromatische Farbe (zum Beispiel Gelb). Die Farbintensität und/oder Helligkeit der Zielmarkierung 204 kann in Abhängigkeit von dem Abstand zwischen dem Blickpunkt 194 (siehe 12) und der Zielposition 190 geändert werden. Je näher beispielsweise der Blickpunkt 194 an der Zielposition 190 liegt, desto höher ist die Farbintensität oder die Helligkeit. Der Abstand zwischen dem Blickpunkt 194 und der Zielposition 190 wird beispielsweise auf der Grundlage der in den Metadaten 200 enthaltenen Koordinaten berechnet. Die Größe (das heißt der Durchmesser) der Zielmarkierung 204 entspricht der Größe des Lymphknotens 104 und wird von der ersten Erzeugungseinheit 164B auf der Grundlage der Lymphknotenvolumendaten 182 berechnet.
Darüber hinaus wird der Mitte der Zielmarkierung 204 eine Markierung 190A gegeben, die die Zielposition 190 spezifizieren kann. Hier wurde der Aspekt beschrieben, bei dem der Zielmarkierung 204 die Markierung 190A gegeben wird. Dies ist jedoch nur ein Beispiel, und die Technologie der vorliegenden Offenbarung wird selbst in einem Fall etabliert, in dem die Markierung 190A der Zielmarkierung 204 nicht gegeben wird. Ferner muss die Zielmarkierung 204 keine kreisförmige Markierung sein und kann eine Markierung sein, die eine andere Form aufweist. Des Weiteren muss die Farbe der Zielmarkierung 204 keine lichtdurchlässige chromatische Farbe sein und kann eine andere Farbe sein. Die Zielmarkierung 204 kann eine beliebige Markierung sein, solange sie die Position spezifizieren kann, an der der Lymphknoten 104 vorhanden ist.
Auf dem Server 70 überträgt die zweite Übertragungseinheit 164C das von der ersten Erzeugungseinheit 164B erzeugte Navigationsvideobild 192 an das Anzeigesteuergerät 66. Bei dem Anzeigesteuergerät 66 empfängt die erste Empfangseinheit 148B das von der zweiten Übertragungseinheit 164C übertragene Navigationsvideobild 192.
Beispielsweise erfasst, wie in 14 dargestellt, bei dem Anzeigesteuergerät 66 die erste Steuereinheit 148A ein tatsächliches Videobild 206, das ein Bild des Inneren des tatsächlich beobachteten Körpers ist, von der Kamera 46. Das tatsächliche Videobild 206 ist ein Beispiel des in 1 dargestellten Endoskopbildes 28. Das tatsächliche Videobild 206 ist ein Videobild (hier zum Beispiel ein Livebild), das durch Abbilden des Inneren des luminalen Organs 84 (siehe 3) entlang der Route 98 (siehe 3) mit der Kamera 46 erhalten wird. Das tatsächliche Videobild 206 enthält mehrere Einzelbilder 208, die durch Durchführen von Bildaufnahme gemäß einer vorbestimmten Bildrate von einem Startpunkt bis zu einem Endpunkt der Route 98 erhalten werden. Das Einzelbild 208 ist ein einzelnes Bild. Die erste Steuereinheit 148A erzeugt den Bildschirm 22 und gibt den Bildschirm 22 an die Anzeigevorrichtung 14 so aus, dass der Bildschirm 22 auf der Anzeigevorrichtung 14 angezeigt wird. Die mehreren Einzelbilder 208 werden sequentiell auf dem Bildschirm 22 in Zeitreihen gemäß einer vorbestimmten Bildrate unter der Steuerung der ersten Steuereinheit 148A angezeigt. Daher wird das tatsächliche Videobild 206 auf dem Bildschirm 22 angezeigt.
Die zweite Steuereinheit 148C erzeugt einen Bildschirm 212 und gibt den Bildschirm 212 an die Anzeigevorrichtung 14 so aus, dass der Bildschirm 212 auf der Anzeigevorrichtung 14 angezeigt wird. Mehrere Einzelbilder 198 werden auf dem Bildschirm 212 unter der Steuerung der zweiten Steuereinheit 148C angezeigt. Daher wird das Navigationsvideobild 192 auf dem Bildschirm 212 angezeigt. Ferner wird bei dem in 14 dargestellten Beispiel das Einzelbild 198, auf dem die Zielmarkierung 204 überlagert wurde, auf dem Bildschirm 212 angezeigt.
Des Weiteren ist bei dem in 14 dargestellten Beispiel der Bildschirm der Anzeigevorrichtung 14 in zwei Bildschirme, den Bildschirm 22 und den Bildschirm 212, unterteilt. Dies ist jedoch nur ein Beispiel, und die Bildschirme 22 und 212 können selektiv gemäß Bedingungen angezeigt werden, die dem Anzeigesteuergerät 66 gegeben werden (zum Beispiel die von der Empfangsvorrichtung 68 empfangene Anweisung). Darüber hinaus können das tatsächliche Videobild 206 und das Navigationsvideobild 192 gemäß den dem Anzeigesteuergerät 66 gegebenen Bedingungen selektiv auf dem ganzen Bildschirm angezeigt werden.
Ferner ist die Geschwindigkeit, mit der die Anzeige des Navigationsvideobildes 192 weitergeschaltet wird, grundsätzlich konstant, es sei denn, eine Anweisung von dem Benutzer (zum Beispiel eine Sprachanweisung durch den Arzt 16) wird von der Empfangsvorrichtung 68 empfangen. Ein Beispiel der konstanten Geschwindigkeit ist eine Geschwindigkeit, die aus dem Abstand von dem Startpunkt bis zu dem Endpunkt des Weges 186A von luminalem Organ und aus einer Standardzeit, die erforderlich ist, damit sich der Blickpunkt 194 von dem Startpunkt bis zu dem Endpunkt des Weges 186A von luminalem Organ bewegt, berechnet wird.
Darüber hinaus wird der Anzeigeaspekt einschließlich der Geschwindigkeit, mit der die Anzeige des Navigationsvideobildes 192 weitergeschaltet wird, unter der Bedingung geändert, dass die Anweisung von dem Benutzer (zum Beispiel die Sprachanweisung durch den Arzt 16) von der Empfangsvorrichtung 68 empfangen wird. Beispielsweise wird die Geschwindigkeit, mit der die Anzeige des Navigationsvideobildes 192 weitergeschaltet wird, gemäß der von der Empfangsvorrichtung 68 empfangenen Anweisung geändert. Die Änderung der Geschwindigkeit, mit der die Anzeige des Navigationsvideobildes 192 weitergeschaltet wird, wird beispielsweise durch sogenannten schnellen Vorlauf, Einzelbild-Wiedergabe und langsame Wiedergabe implementiert.
Beispielsweise erfasst, wie in 15 dargestellt, die zweite Erzeugungseinheit 164D die Brustvolumendaten 184 mit einem Weg von dem NVM 168. Die zweite Erzeugungseinheit 164D erzeugt ein virtuelles Ultraschallbild 214 mit einem vorbestimmten Abstand (zum Beispiel in Einheiten von einem bis mehreren Voxeln) entlang des Weges 186A von luminalem Organ auf der Grundlage der Brustvolumendaten 184 mit einem Weg. Das virtuelle Ultraschallbild 214 ist ein virtuelles Ultraschallbild, das den Aspekt des Beobachtungszielbereichs 106 zeigt. Das virtuelle Ultraschallbild bedeutet ein virtuelles Bild, das als ein Bild erhalten wird, das das tatsächliche Ultraschallbild 30 imitiert, indem die Brustvolumendaten 178, die in den Brustvolumendaten 184 mit einem Weg enthalten sind, verarbeitet werden. Das Bild, das das tatsächliche Ultraschallbild 30 imitiert, bedeutet ein Bild, das das in dem B-Modus erzeugte tatsächliche Ultraschallbild 30 imitiert.
Die zweite Erzeugungseinheit 164D erzeugt das virtuelle Ultraschallbild 214 mit einem vorbestimmten Abstand entlang des Weges 186A von luminalem Organ und mit einem vorbestimmten Winkel (zum Beispiel 1 Grad) um den Weg 186A von luminalem Organ. Der Begriff „vorbestimmter Abstand“ und/oder „vorbestimmter Winkel“ kann ein Standardwert sein oder kann gemäß der Anweisung und/oder verschiedenen Bedingungen (zum Beispiel der Art des Bronchoskops 18), die von der Empfangsvorrichtung 68 oder 76 empfangen werden, bestimmt werden.
Metadaten 216 werden jedem virtuellen Ultraschallbild 214 gegeben. Die Metadaten 216 enthalten Koordinaten 218 (das heißt dreidimensionale Koordinaten), die die Position des Weges 186A von luminalem Organ mit einem vorbestimmten Abstand spezifizieren können und einen Winkel 220 um den Weg 186A von luminalem Organ.
Darüber hinaus enthalten die mehreren virtuellen Ultraschallbilder 214 ein spezifisches virtuelles Ultraschallbild 214A, das ein virtuelles Ultraschallbild 214 ist, das der Zielposition 190 entspricht. Das virtuelle Ultraschallbild 214, das der Zielposition 190 entspricht, bedeutet ein virtuelles Ultraschallbild 214, das unter den mehreren virtuellen Ultraschallbildern 214 dem tatsächlichen Ultraschallbild 30 entspricht, das in einem Fall erhalten wird, in dem die Position 108 und die Position 100, die in 3 dargestellt sind, miteinander übereinstimmen. Ein Beispiel des tatsächlichen Ultraschallbildes 30, das in einem Fall erhalten wird, in dem die Position 108 und die in 3 dargestellte Position 100 miteinander übereinstimmen, ist das tatsächliche Ultraschallbild 30, das in einem Fall erhalten wird, in dem der distale Endteil 38 an der Position 108 vorhanden ist, an der der Mittelabschnitt 104A des Lymphknotens 104 von der Punktionskanüle 52B punktiert wird.
Die zweite Erzeugungseinheit 164D enthält eine Kennung 222, die das spezifische virtuelle Ultraschallbild 214A in den Metadaten 216 des spezifischen virtuellen Ultraschallbildes 214A identifizieren kann, und gibt die Kennung 222 dem spezifischen virtuellen Ultraschallbild 214A.
Die zweite Erzeugungseinheit 164D speichert eine virtuelle Ultraschallbildgruppe 224 auf dem NVM 168. Die virtuelle Ultraschallbildgruppe 224 enthält mehrere virtuelle Ultraschallbilder 214, die mit einem vorbestimmten Abstand entlang des Weges 186A von luminalem Organ und mit einem vorbestimmten Winkelabstand um den Weg 186A von luminalem Organ erzeugt wurden und denen jeweils die Metadaten 216 gegeben wurde.
Beispielsweise erfasst, wie in 16 dargestellt, die dritte Steuereinheit 148D ein tatsächliches Ultraschall-Videobild 226 von der Ultraschallverarbeitungsvorrichtung 64. Das tatsächliche Ultraschall-Videobild 226 ist mehrere tatsächliche Ultraschallbilder 30, die in Zeitreihen angeordnet sind (das heißt mehrere tatsächliche Ultraschallbilder 30, die sequentiell mit einer vorbestimmten Bildrate von der Ultraschallverarbeitungsvorrichtung 64 erzeugt werden). Die dritte Steuereinheit 148D erzeugt den Bildschirm 24 und gibt den Bildschirm 24 an die Anzeigevorrichtung 14 so aus, dass der Bildschirm 24 auf der Anzeigevorrichtung 14 angezeigt wird. Die mehreren tatsächlichen Ultraschallbilder 30 werden sequentiell auf dem Bildschirm 24 in Zeitreihen mit einer vorbestimmten Bildrate unter der Steuerung der dritten Steuereinheit 148D angezeigt. Daher wird das tatsächliche Ultraschall-Videobild 226 auf dem Bildschirm 24 angezeigt. Darüber hinaus wird der Bildschirm 24 Seite an Seite mit den Bildschirmen 22 und 212 angezeigt. Das heißt, das tatsächliche Ultraschall-Videobild 226, das tatsächliche Videobild 206 und das Navigationsvideobild 192 werden auf der Anzeigevorrichtung 14 in einem Zustand angezeigt, in dem sie verglichen werden können.
Bei dem in 16 dargestellten Beispiel ist der Bildschirm der Anzeigevorrichtung 14 in drei Bildschirme 22, 212 und 24 unterteilt. Dies ist jedoch nur ein Beispiel, und die Bildschirme 22, 212 und 24 können selektiv gemäß den Bedingungen angezeigt werden, die dem Anzeigesteuergerät 66 gegeben werden (zum Beispiel die von der Empfangsvorrichtung 68 empfangene Anweisung). Darüber hinaus können das tatsächliche Ultraschall-Videobild 226, das tatsächliche Videobild 206 und das Navigationsvideobild 192 gemäß den dem Anzeigesteuergerät 66 gegebenen Bedingungen selektiv auf dem ganzen Bildschirm angezeigt werden. Ferner kann mindestens einer von dem Bildschirm 22, dem Bildschirm 212 oder dem Bildschirm 24 auf mindestens einer anderen Anzeigevorrichtung als der Anzeigevorrichtung 14 angezeigt werden.
Die erste Übertragungseinheit 148E überträgt das tatsächliche Ultraschall-Videobild 226, das von der Ultraschallverarbeitungsvorrichtung 64 durch die dritte Steuereinheit 148D erfasst wird, an den Server 70. Auf dem Server 70 empfangen die erste Übertragungs- und Empfangseinheit 164E und die zweite Übertragungs- und Empfangseinheit 1641 das tatsächliche Ultraschall-Videobild 226, das von der ersten Übertragungseinheit 148E übertragen wurde.
Beispielsweise erfasst, wie in 17 dargestellt, auf dem Server 70 die Erfassungseinheit 164F das tatsächliche Ultraschallbild 30 Einzelbild für Einzelbild in Zeitserie aus dem tatsächlichen Ultraschall-Videobild 226, das von der ersten Übertragungs- und Empfangseinheit 164E empfangen wird. Die Erfassungseinheit 164F vergleicht das aus dem tatsächlichen Ultraschall-Videobild 226 erfasste tatsächliche Ultraschallbild 30 mit der auf dem NVM 168 gespeicherten virtuellen Ultraschallbildgruppe 224 und wählt und erfasst das virtuelle Ultraschallbild 214, das die höchste Übereinstimmungsrate mit dem tatsächlichen Ultraschallbild 30 aufweist, aus der virtuellen Ultraschallbildgruppe 224 aus. Bei dieser Ausführungsform bedeutet der Vergleich zwischen dem tatsächlichen Ultraschallbild 30 und der virtuellen Ultraschallbildgruppe 224 beispielsweise Mustervergleich. Darüber hinaus wurde hier der Aspekt beschrieben, bei dem das virtuelle Ultraschallbild 214, das die höchste Übereinstimmungsrate mit dem tatsächlichen Ultraschallbild 30 aufweist, aus der virtuellen Ultraschallbildgruppe 224 ausgewählt wird. Die Technologie der vorliegenden Offenbarung ist jedoch nicht auf diesen Aspekt beschränkt. Beispielsweise kann das virtuelle Ultraschallbild 214, dessen Übereinstimmungsrate mit dem tatsächlichen Ultraschallbild 30 gleich oder größer als ein vorbestimmter Wert ist (zum Beispiel in einem Fall, in dem die Übereinstimmungsrate mit dem tatsächlichen Ultraschallbild 30 gleich oder größer als 99% ist, das virtuelle Ultraschallbild 214, das die zweithöchste Übereinstimmungsrate mit dem tatsächlichen Ultraschallbild 30 aufweist) ausgewählt werden.
Die Bilderkennungseinheit 164G führt einen Bilderkennungsprozess vom KI-Typ an dem von der Erfassungseinheit 164F erfassten virtuellen Ultraschallbild 214 durch, um einen Bereich 164G1 zu spezifizieren, in dem der in dem virtuellen Ultraschallbild 214 enthaltene Lymphknoten vorhanden ist. Der Bereich 164G1 wird durch zweidimensionale Koordinaten dargestellt, die eine Position in dem virtuellen Ultraschallbild 214 spezifizieren können. Darüber hinaus wird hier der Bilderkennungsprozess vom KI-Typ angewendet. Dies ist jedoch nur ein Beispiel, und ein Bilderkennungsprozess vom Template-Matching-Typ kann angewendet werden.
Die Verarbeitungseinheit 164H überlagert eine Bilderkennungs-Ergebnismarkierung 230 auf dem virtuellen Ultraschallbild 214, um das virtuelle Ultraschallbild 32 zu erzeugen. Die Bilderkennungs-Ergebnismarkierung 230 ist eine Markierung, die durch Färben des Bereichs 164G1 in dem virtuellen Ultraschallbild 214 erhalten wird. Ein Beispiel der Farbe, die dem Bereich 164G1 gegeben wird, ist eine lichtdurchlässige chromatische Farbe (zum Beispiel Blau). Die dem Bereich 164G1 gegebene Farbe kann eine beliebige Farbe sein, solange sie den Unterschied zu anderen Bereichen in dem virtuellen Ultraschallbild 214 unverwechselbar ausdrückt. Darüber hinaus können die Farbe und/oder die Helligkeit der Kontur des Bereichs 164G1 angepasst werden, um den Unterschied zwischen dem Bereich 164G1 und anderen Bereichen in dem virtuellen Ultraschallbild 214 unverwechselbar auszudrücken.
Beispielsweise überträgt, wie in 18 dargestellt, auf dem Server 70 die erste Übertragungs- und Empfangseinheit 164E das von der Verarbeitungseinheit 164H erzeugte virtuelle Ultraschallbild 32 an das Anzeigesteuergerät 66. Bei dem Anzeigesteuergerät 66 empfängt die zweite Empfangseinheit 148F das von der ersten Übertragungs- und Empfangseinheit 164E übertragene virtuelle Ultraschallbild 32. Die vierte Steuereinheit 148G erzeugt den Bildschirm 26 und gibt den Bildschirm 26 an die Anzeigevorrichtung 14 so aus, dass der Bildschirm 26 auf der Anzeigevorrichtung 14 angezeigt wird. Das virtuelle Ultraschallbild 32 wird auf dem Bildschirm 26 unter der Steuerung der vierten Steuereinheit 148G angezeigt. Daher wird auch die Bilderkennungs-Ergebnismarkierung 230 angezeigt. Dies bedeutet, dass das Ergebnis des Bilderkennungsprozesses vom KI-Typ durch die Bilderkennungseinheit 164G als die Bilderkennungs-Ergebnismarkierung 230 angezeigt wird.
Darüber hinaus wird der Bildschirm 26 Seite an Seite mit den Bildschirmen 22 und 24 angezeigt. Das heißt, das virtuelle Ultraschallbild 32, das tatsächliche Videobild 206 und das tatsächliche Ultraschall-Videobild 226 werden auf der Anzeigevorrichtung 14 in einem Zustand angezeigt, in dem sie verglichen werden können.
Bei dem in 18 dargestellten Beispiel ist der Bildschirm der Anzeigevorrichtung 14 in drei Bildschirme 22, 24 und 26 unterteilt. Dies ist jedoch nur ein Beispiel, und die Bildschirme 22, 24 und 26 können selektiv gemäß den Bedingungen angezeigt werden, die dem Anzeigesteuergerät 66 gegeben werden (zum Beispiel die von der Empfangsvorrichtung 68 empfangene Anweisung). Darüber hinaus können das virtuelle Ultraschallbild 32, das tatsächliche Videobild 206 und das tatsächliche Ultraschall-Videobild 226 gemäß den dem Anzeigesteuergerät 66 gegebenen Bedingungen selektiv auf dem ganzen Bildschirm angezeigt werden. Darüber hinaus kann mindestens einer von dem Bildschirm 22, dem Bildschirm 24 oder dem Bildschirm 26 auf mindestens einer anderen Anzeigevorrichtung als der Anzeigevorrichtung 14 angezeigt werden.
Ferner wird bei dem in 18 dargestellten Beispiel der Bildschirm 212 nicht auf der Anzeigevorrichtung 14 angezeigt. Der Bildschirm 212 kann jedoch auch Seite an Seite mit den Bildschirmen 22, 24 und 26 angezeigt werden. In diesem Fall können die Anzeige der Bildschirme 22, 24 und 26 und der Bildschirm 212 gemäß den dem Anzeigesteuergerät 66 gegebenen Bedingungen selektiv umgeschaltet werden.
Darüber hinaus wird in einigen Fällen das Einzelbild 198, auf dem die Zielmarkierung 204 überlagert wurde, auf dem Bildschirm 212 angezeigt (siehe 14). In diesem Fall wird das tatsächliche Ultraschallbild 30 durch Emittieren der Ultraschallwellen zu der Position, die von der Zielmarkierung 204 spezifiziert ist, erhalten (siehe 16). Dann wird das virtuelle Ultraschallbild 32 auf der Grundlage des erhaltenen tatsächlichen Ultraschallbildes 30 erzeugt, und das erzeugte virtuelle Ultraschallbild 32 wird auf dem Bildschirm 26 angezeigt (siehe 17 und 18). Das heißt, dies bedeutet, dass das virtuelle Ultraschallbild, das den Aspekt des Beobachtungszielbereichs 106 in Bezug auf die von der Zielmarkierung 204 spezifizierte Position zeigt, als das virtuelle Ultraschallbild 32 auf dem Bildschirm 26 angezeigt wird.
Beispielsweise erfasst, wie in 19 dargestellt, auf dem Server 70 die dritte Erzeugungseinheit 164J das tatsächliche Ultraschallbild 30 Einzelbild für Einzelbild in Zeitserie aus dem tatsächlichen Ultraschall-Videobild 226, das von der zweiten Übertragungs- und Empfangseinheit 1641 empfangen wird. Die dritte Erzeugungseinheit 164J spezifiziert die Positionsbeziehung zwischen der Position 100 (siehe 3) und der Position 108 (siehe 3) auf der Grundlage des aus dem tatsächlichen Ultraschall-Videobild 226 erfassten tatsächlichen Ultraschallbildes 30 und des spezifischen virtuellen Ultraschallbildes 214A. Die Positionsbeziehung zwischen der Position 100 und der Position 108 wird auf der Grundlage des Abweichungsbetrags zwischen der Position 100 und der Position 108 definiert.
Die dritte Erzeugungseinheit 164J vergleicht das tatsächliche Ultraschallbild 30 mit dem spezifischen virtuellen Ultraschallbild 214A, um den Abweichungsbetrag zwischen der Position 100 und der Position 108 zu berechnen. Der Abweichungsbetrag zwischen der Position 100 und der Position 108 ist ein Beispiel eines „Abweichungsbetrags“ gemäß der Technologie der vorliegenden Offenbarung. Bei dem in 19 dargestellten Beispiel wird ein Abstand 232 als ein Beispiel des Abweichungsbetrags angegeben.
Die dritte Erzeugungseinheit 164J vergleicht das tatsächliche Ultraschallbild 30 mit dem spezifischen virtuellen Ultraschallbild 214A unter Verwendung von Metadaten 216A, die die Metadaten 216 des dem tatsächlichen Ultraschallbild 30 entsprechenden virtuellen Ultraschallbildes 214 sind und Metadaten 216B, die die Metadaten 216 des spezifischen virtuellen Ultraschallbildes 214A sind. Das heißt, der Vergleich zwischen dem tatsächlichen Ultraschallbild 30 und dem spezifischen virtuellen Ultraschallbild 214A wird durch den Vergleich zwischen den Metadaten 216A und den Metadaten 216B implementiert. Die Metadaten 216A und die Metadaten 216B werden von der dritten Erzeugungseinheit 164J erfasst. Insbesondere vergleicht die dritte Erzeugungseinheit 164J das aus dem tatsächlichen Ultraschall-Videobild 226 erfasste tatsächliche Ultraschallbild 30 mit der auf dem NVM 168 gespeicherten virtuellen Ultraschallbildgruppe 224, um die Metadaten 216A aus der virtuellen Ultraschallbildgruppe 224 zu erfassen. Die Metadaten 216A sind die Metadaten 216, die dem virtuellen Ultraschallbild 214, das die höchste Übereinstimmungsrate mit dem tatsächlichen Ultraschallbild 30 aufweist, gegeben werden. Darüber hinaus erfasst die dritte Erzeugungseinheit 164J die Metadaten 216B aus der virtuellen Ultraschallbildgruppe 224. Die Metadaten 216B sind die Metadaten 216 einschließlich der Kennung 222, das heißt die Metadaten 216, die dem spezifischen virtuellen Ultraschallbild 214A gegeben wurden.
Die dritte Erzeugungseinheit 164J vergleicht die Metadaten 216A mit den Metadaten 216B, um Positionsbeziehungsinformationen 234 zu erzeugen. Die Positionsbeziehungsinformationen 234 sind Informationen zum Spezifizieren der Positionsbeziehung zwischen der Position 100 und der Position 108 und werden auf der Grundlage des Abstands 232 und einer Richtung 236 definiert. Bei dem in 19 dargestellten Beispiel enthalten die Positionsbeziehungsinformationen 234 den Abstand 232 und die Richtung 236. Der Abstand 232 ist ein Abstand zwischen den Koordinaten 218, die in den Metadaten 216A enthalten sind, und den Koordinaten 218, die in den Metadaten 216B enthalten sind. Die Richtung 236 ist eine Richtung, in der die Position 108 bewegt wird, damit sie mit der Position 100 übereinstimmt. Die Richtung 236 ist beispielsweise durch einen Vektor definiert, der die Richtung entlang der Route 98 und den Winkel um die Route 98 spezifizieren kann. Der Vektor, der die Richtung entlang der Route 98 spezifizieren kann, wird beispielsweise auf der Grundlage der in den Metadaten 216A enthaltenen Koordinaten 218 und der in den Metadaten 216B enthaltenen Koordinaten 218 berechnet. Der Winkel um die Route 98 wird beispielsweise auf der Grundlage der Differenz zwischen dem in den Metadaten 216A enthaltenen Winkel 220 und dem in den Metadaten 216B enthaltenen Winkel 220 berechnet.
Darüber hinaus wurde hier der Aspekt beschrieben, bei dem die Positionsbeziehung zwischen der Position 100 und der Position 108 auf der Grundlage des Ergebnisses des Vergleichs zwischen den Metadaten 216A und den Metadaten 216B spezifiziert wird. Die Technologie der vorliegenden Offenbarung ist jedoch nicht auf diesen Aspekt beschränkt. Beispielsweise kann die dritte Erzeugungseinheit 164J direkten Vergleich (zum Beispiel Musterabgleich) zwischen dem tatsächlichen Ultraschallbild 30 und dem spezifischen virtuellen Ultraschallbild 214A durchführen, um den Abweichungsbetrag zwischen der Position 100 und der Position 108 zu berechnen und die Positionsbeziehung zwischen der Position 100 und der Position 108 auf der Grundlage des berechneten Abweichungsbetrags spezifizieren. In diesem Fall kann die Positionsbeziehung zwischen der Position 100 und der Position 108 auf der Grundlage des Abweichungsbetrags (zum Beispiel des Abstands) zwischen der Position 100 und der Position 108 definiert werden.
Die dritte Erzeugungseinheit 164J erzeugt Unterstützungsinformationen 238 auf der Grundlage der Positionsbeziehungsinformationen 234. Die Unterstützungsinformationen 238 sind Informationen zum Unterstützen der Betätigung des Bronchoskops 18. Beispiele der Unterstützungsinformationen 238 beinhalten eine Textnachricht, eine Sprachnachricht, eine Markierung, einen numerischen Wert und/oder ein Symbol zum Unterstützen der Betätigung des Bronchoskops 18 (zum Beispiel eine Betätigung zum Abgleichen der Position 108 mit der Position 100). Die Unterstützungsinformationen 238 enthalten selektiv Führungsinformationen 238A und Benachrichtigungsinformationen 238B. Beispielsweise enthalten die Unterstützungsinformationen 238 die Führungsinformationen 238A in einem Fall, in dem die Position 108 und die Position 100 nicht miteinander übereinstimmen (zum Beispiel in einem Fall, in dem der Abstand 232 nicht „0“ ist). Darüber hinaus enthalten die Unterstützungsinformationen 238 die Benachrichtigungsinformationen 238B in einem Fall, in dem die Position 108 und die Position 100 miteinander übereinstimmen (zum Beispiel in einem Fall, in dem der Abstand 232 „0“ ist). Die Führungsinformationen 238A sind Informationen zum Führen der Position 108 zu der Position 100. Die Benachrichtigungsinformationen 238B sind Informationen zum Benachrichtigen, dass die Position 108 und die Position 100 miteinander übereinstimmen.
Beispielsweise überträgt, wie in 20 dargestellt, auf dem Server 70 die zweite Übertragungs- und Empfangseinheit 1641 die von der dritten Erzeugungseinheit 164J erzeugten Unterstützungsinformationen 238 an das Anzeigesteuergerät 66. Bei dem Anzeigesteuergerät 66 empfängt die dritte Empfangseinheit 148H die von der zweiten Übertragungs- und Empfangseinheit 1641 übertragenen Unterstützungsinformationen 238. Die fünfte Steuereinheit 1481 führt einen ersten Präsentationsprozess und einen Benachrichtigungsprozess auf der Grundlage der Unterstützungsinformationen 238 durch. Der erste Präsentationsprozess ist ein Prozess des Präsentierens der Führungsinformationen 238A. Der erste Präsentationsprozess wird durch Anzeigen der Führungsinformationen 238A auf der Anzeigevorrichtung 14 implementiert. Der Benachrichtigungsprozess ist ein Prozess des Benachrichtigens, dass die Position 108 und die Position 100 in einem Fall miteinander übereinstimmen, in dem die Position 108 und die Position 100 miteinander übereinstimmen. Der Benachrichtigungsprozess wird durch Anzeigen der Benachrichtigungsinformationen 238B auf der Anzeigevorrichtung 14 implementiert.
Der von der fünften Steuereinheit 1481 durchgeführte erste Präsentationsprozess ist ein Beispiel eines „ersten Präsentationsprozesses“ gemäß der Technologie der vorliegenden Offenbarung, und der von der fünften Steuereinheit 1481 durchgeführte Benachrichtigungsprozess ist ein Beispiel eines „Benachrichtigungsprozess" gemäß der Technologie der vorliegenden Offenbarung.
Bei dem in 20 dargestellten Beispiel werden in einem Fall, in dem die Position 108 und die Position 100 nicht miteinander übereinstimmen, die Richtung, in der die Position 108 bewegt wird („nach rechts“ bei dem in 20 dargestellten Beispiel), der Abstand von der Position 108 zu der Position 100 („** mm“ bei dem in 20 dargestellten Beispiel), der Winkel zwischen der Position 108 und der Position 100 („** Grad“ bei dem in 20 dargestellten Beispiel) und die Bewegung des distalen Endteils 38 des Bronchoskops 18 („Gleiten“ und „Drehung“ bei dem in 20 dargestellten Beispiel) als die Führungsinformationen 238A auf dem Bildschirm 24 in einem Nachrichtenformat angezeigt. Darüber hinaus können die Richtung, in der die Position 108 bewegt wird, und/oder der Winkel zwischen der Position 108 und der Position 100 beispielsweise durch einen Pfeil, ein dem Pfeil ähnliches Symbol oder ein Bild dargestellt werden. Beispielsweise kann die Richtung, in der die Position 108 bewegt wird, durch einen geraden Pfeil dargestellt werden, und der Winkel zwischen der Position 108 und der Position 100 kann durch einen Bogenpfeil dargestellt werden.
Bei dem in 20 dargestellten Beispiel werden in einem Fall, in dem die Position 108 und die Position 100 miteinander übereinstimmen, Informationen, die darüber benachrichtigen, dass die Position 108 eine ideale Position (zum Beispiel eine Position, an der der Mittelabschnitt 104A des Lymphknotens 104 punktiert werden kann) als die von der Punktionskanüle 52B punktierte Position ist („Die Position ist eine ideale Punktionsposition“ bei dem in 20 dargestellten Beispiel), als die Benachrichtigungsinformationen 238B auf dem Bildschirm 24 in einem Nachrichtenformat angezeigt.
Als Nächstes wird der Betrieb des Endoskopsystems 10 unter Bezugnahme auf 21 bis 28 beschrieben.
Zunächst wird ein Beispiel eines Flusses des Endoskopbild-Anzeigeprozesses, der von dem Prozessor 148 des Anzeigesteuergeräts 66 in einem Fall durchgeführt wird, in dem die Kamera 46 in das luminale Organ 84 der Untersuchungsperson 20 eingeführt wird, unter Bezugnahme auf 21 beschrieben. Darüber hinaus wird hier die Beschreibung unter der Voraussetzung gemacht, dass die Kamera 46 Bildaufnahme mit einer vorbestimmten Bildrate entlang der Route 98 (siehe 3) durchführt, um das tatsächliche Videobild 206 (siehe 14) als das Livebild zu erfassen.
Bei dem in 21 dargestellten Endoskopbild-Anzeigeprozess bestimmt zunächst die erste Steuereinheit 148A bei Schritt ST10, ob Bildaufnahme, die einem Einzelbild entspricht, von der Kamera 46 durchgeführt wurde oder nicht. In einem Fall, in dem die Bildaufnahme, die einem Einzelbild entspricht, von der Kamera 46 bei Schritt ST10 nicht durchgeführt wurde, ist das Bestimmungsergebnis „Nein“, und der Endoskopbild-Anzeigeprozess geht zu Schritt ST16 über. In einem Fall, in dem die Bildaufnahme, die einem Einzelbild entspricht, von der Kamera 46 bei Schritt ST10 durchgeführt wurde, ist das Bestimmungsergebnis „Ja“, und der Endoskopbild-Anzeigeprozess geht zu Schritt ST12 über.
Bei Schritt ST12 erfasst die erste Steuereinheit 148A das Einzelbild 208, das durch Durchführen der Bildaufnahme, die einem Einzelbild entspricht, mit der Kamera 46 erhalten wird (siehe 14). Nachdem der Prozess bei Schritt ST12 durchgeführt wurde, geht der Endoskopbild-Anzeigeprozess zu Schritt ST14 über.
Bei Schritt ST14 zeigt die erste Steuereinheit 148A das bei Schritt ST12 erfassten Einzelbild 208 auf dem Bildschirm 22 an (siehe 14). Nachdem der Prozess bei Schritt ST14 durchgeführt wurde, geht der Endoskopbild-Anzeigeprozess zu Schritt ST16 über.
Bei Schritt ST16 bestimmt die erste Steuereinheit 148A, ob eine Bedingung zum Beenden des Endoskopbild-Anzeigeprozesses (nachstehend als eine „Endoskopbild-Anzeigeprozess-Endbedingung“ bezeichnet) erfüllt wurde oder nicht. Ein Beispiel der Endoskopbild-Anzeigeprozess-Endbedingung ist eine Bedingung, bei der die Empfangsvorrichtung 68 eine Anweisung zum Beenden des Endoskopbild-Anzeigeprozesses empfangen hat. In einem Fall, in dem die Endoskopbild-Anzeigeprozess-Endbedingung bei Schritt ST16 nicht erfüllt wurde, ist das Bestimmungsergebnis „Nein“, und der Endoskopbild-Anzeigeprozess geht zu Schritt ST10 über. In einem Fall, in dem die Endoskopbild-Anzeigeprozess-Endbedingung bei Schritt ST16 erfüllt wurde, ist das Bestimmungsergebnis „Ja“, und der Endoskopbild-Anzeigeprozess endet.
Als Nächstes wird ein Beispiel eines Flusses des Navigationsvideobild-Anzeigeprozesses, der von dem Prozessor 148 des Anzeigesteuergeräts 66 in einem Fall durchgeführt wird, in dem eine Anweisung zum Starten der Ausführung des Navigationsvideobild-Anzeigeprozesses von der Empfangsvorrichtung 68 empfangen wird, unter Bezugnahme auf 22 beschrieben.
Bei dem in 22 dargestellten Navigationsvideobild-Anzeigeprozess bestimmt die erste Empfangseinheit 148B zunächst bei Schritt ST20, ob das Kommunikationsmodul 156 (siehe 6 und 7) das von der zweiten Übertragungseinheit 164C des Servers 70 übertragene Navigationsvideobild 192 empfangen hat oder nicht, indem ein Prozess bei Schritt ST70, der bei dem in 26 dargestellten Navigationsvideobild-Erzeugungsprozess enthalten ist, durchgeführt wird. In einem Fall, in dem das Kommunikationsmodul 156 das von der zweiten Übertragungseinheit 164C des Servers 70 übertragene Navigationsvideobild 192 bei Schritt ST20 nicht empfangen hat, ist das Bestimmungsergebnis „Nein“, und die Bestimmung bei Schritt ST20 wird erneut durchgeführt. In einem Fall, in dem das Kommunikationsmodul 156 das von der zweiten Übertragungseinheit 164C des Servers 70 übertragene Navigationsvideobild 192 bei Schritt ST20 empfangen hat, ist das Bestimmungsergebnis „Ja“, und der Navigationsvideobild-Anzeigeprozess geht zu Schritt ST22 über.
Bei Schritt ST22 zeigt die zweite Steuereinheit 148C das von dem Kommunikationsmodul 156 empfangene Navigationsvideobild 192 auf dem Bildschirm 212 an (siehe 14). Nachdem der Prozess bei Schritt ST22 durchgeführt wurde, endet der Navigationsvideobild-Anzeigeprozess.
Als Nächstes wird ein Beispiel eines Flusses des Anzeigeprozesses für tatsächliches Ultraschallbild, der von dem Prozessor 148 des Anzeigesteuergeräts 66 in einem Fall durchgeführt wird, in dem die Empfangsvorrichtung 68 eine Anweisung zum Starten der Ausführung des Anzeigeprozesses für tatsächliches Ultraschallbild empfängt, unter Bezugnahme auf 23 beschrieben.
Bei dem in 23 dargestellten Anzeigeprozess für tatsächliches Ultraschallbild bestimmt die dritte Steuereinheit 148D zunächst bei Schritt ST30, ob das tatsächliche Ultraschallbild 30, das einem Einzelbild entspricht, von der Ultraschallverarbeitungsvorrichtung 64 erzeugt wurde oder nicht. In einem Fall, in dem das tatsächliche Ultraschallbild 30, das einem Einzelbild entspricht, nicht von der Ultraschallverarbeitungsvorrichtung 64 bei Schritt ST30 erzeugt wurde, ist das Bestimmungsergebnis „Nein“, und der Anzeigeprozess für tatsächliches Ultraschallbild geht zu Schritt ST38 über. In einem Fall, in dem das tatsächliche Ultraschallbild 30, das einem Einzelbild entspricht, von der Ultraschallverarbeitungsvorrichtung 64 bei Schritt ST30 erzeugt wurde, ist das Bestimmungsergebnis „Ja“, und der Anzeigeprozess für tatsächliches Ultraschallbild geht zu Schritt ST32 über.
Bei Schritt ST32 erfasst die dritte Steuereinheit 148D das tatsächliche Ultraschallbild 30, das einem Einzelbild entspricht, von der Ultraschallverarbeitungsvorrichtung 64. Nachdem der Prozess bei Schritt ST32 durchgeführt wurde, geht der Anzeigeprozess für tatsächliches Ultraschallbild zu Schritt ST34 über.
Bei Schritt ST34 zeigt die dritte Steuereinheit 148D das bei Schritt ST32 erfasste tatsächliche Ultraschallbild 30 auf dem Bildschirm 24 an (siehe 16). Nachdem der Prozess bei Schritt ST34 durchgeführt wurde, geht der tatsächliche Ultraschall-Anzeigeprozess zu Schritt ST36 über.
Bei Schritt ST36 überträgt die erste Übertragungseinheit 148E das bei Schritt ST32 erfasste tatsächliche Ultraschallbild 30 an den Server 70 (siehe 16). Nachdem der Prozess bei Schritt ST36 durchgeführt wurde, geht der tatsächliche Ultraschall-Anzeigeprozess zu Schritt ST38 über.
Bei Schritt ST38 bestimmt die dritte Steuereinheit 148D, ob eine Bedingung zum Beenden des Anzeigeprozesses für tatsächliches Ultraschallbild (nachstehend als eine „Endbedingung von Anzeigeprozess für tatsächliches Ultraschallbild“ bezeichnet) erfüllt wurde oder nicht. Ein Beispiel der Endbedingung von Anzeigeprozess für tatsächliches Ultraschallbild ist eine Bedingung, bei der die Empfangsvorrichtung 68 eine Anweisung zum Beenden des Anzeigeprozesses für tatsächliches Ultraschallbild empfangen hat. In einem Fall, in dem die Endbedingung von Anzeigeprozess für tatsächliches Ultraschallbild bei Schritt ST38 nicht erfüllt wurde, ist das Bestimmungsergebnis „Nein“, und der Anzeigeprozess für tatsächliches Ultraschallbild geht zu Schritt ST30 über. In einem Fall, in dem die Endbedingung von Anzeigeprozess für tatsächliches Ultraschallbild bei Schritt ST38 erfüllt wurde, ist das Bestimmungsergebnis „Ja“, und der Anzeigeprozess für tatsächliches Ultraschallbild endet.
Als Nächstes wird ein Beispiel eines Flusses des Anzeigeprozesses für virtuelles Ultraschallbild, der von dem Prozessor 148 des Anzeigesteuergeräts 66 in einem Fall durchgeführt wird, in dem die Empfangsvorrichtung 68 eine Anweisung zum Starten der Ausführung des Anzeigeprozesses für virtuelles Ultraschallbild empfängt, unter Bezugnahme auf 24 beschrieben.
Bei dem in 24 dargestellten Anzeigeprozess für virtuelles Ultraschallbild bestimmt die zweite Empfangseinheit 148F zunächst bei Schritt ST40, ob das Kommunikationsmodul 156 (siehe 6 und 7) das von der ersten Übertragungs- und Empfangseinheit 164E des Servers 70 übertragene virtuelle Ultraschallbild 32 empfangen hat oder nicht, indem ein Prozess bei Schritt ST92, der in dem in 27 dargestellten Erzeugungsprozess für virtuelles Ultraschallbild enthalten ist, durchgeführt wird. In einem Fall, in dem das Kommunikationsmodul 156 das von der ersten Übertragungs- und Empfangseinheit 164E des Servers 70 übertragene virtuelle Ultraschallbild 32 bei Schritt ST40 nicht empfangen hat, ist das Bestimmungsergebnis „Nein“, und der Anzeigeprozess für virtuelles Ultraschallbild geht zu Schritt ST44 über. In einem Fall, in dem das Kommunikationsmodul 156 das von der ersten Übertragungs- und Empfangseinheit 164E des Servers 70 übertragene virtuelle Ultraschallbild 32 bei Schritt ST40 empfangen hat, ist das Bestimmungsergebnis „Ja“, und der Anzeigeprozess für virtuelles Ultraschallbild geht zu Schritt ST42 über.
Bei Schritt ST42 zeigt die vierte Steuereinheit 148G das von dem Kommunikationsmodul 156 empfangene virtuelle Ultraschallbild 32 auf dem Bildschirm 26 an (siehe 18). Nachdem der Prozess bei Schritt ST42 durchgeführt wurde, geht der Anzeigeprozess für virtuelles Ultraschallbild zu Schritt ST44 über.
Bei Schritt ST44 bestimmt die vierte Steuereinheit 148G, ob eine Bedingung zum Beenden des Anzeigeprozesses für virtuelles Ultraschallbild (nachstehend als eine „Endbedingung von Anzeigeprozess für virtuelles Ultraschallbild“ bezeichnet) erfüllt wurde oder nicht. Ein Beispiel der Endbedingung von Anzeigeprozess für virtuelles Ultraschallbild ist eine Bedingung, bei der die Empfangsvorrichtung 68 eine Anweisung zum Beenden des Anzeigeprozesses für virtuelles Ultraschallbild empfangen hat. In einem Fall, in dem die Endbedingung von Anzeigeprozess für virtuelles Ultraschallbild bei Schritt ST44 nicht erfüllt wurde, ist das Bestimmungsergebnis „Nein“, und der Anzeigeprozess für virtuelles Ultraschallbild geht zu Schritt ST40 über. In einem Fall, in dem die Endbedingung von Anzeigeprozess für virtuelles Ultraschallbild bei Schritt ST44 erfüllt wurde, ist das Bestimmungsergebnis „Ja“, und der Anzeigeprozess für virtuelles Ultraschallbild endet.
Als Nächstes wird ein Beispiel eines Flusses des Unterstützungsinformationen-Anzeigeprozesses, der von dem Prozessor 148 des Anzeigesteuergeräts 66 in einem Fall durchgeführt wird, in dem die Empfangsvorrichtung 68 eine Anweisung zum Starten der Ausführung des Unterstützungsinformationen-Anzeigeprozesses empfängt, unter Bezugnahme auf 25 beschrieben.
Bei dem in 25 dargestellten Unterstützungsinformationen-Anzeigeprozess bestimmt die dritte Empfangseinheit 148H zunächst bei Schritt ST50, ob das Kommunikationsmodul 156 (siehe 6 und 7) die von der zweiten Übertragungs- und Empfangseinheit 1641 des Servers 70 übertragenen Unterstützungsinformationen 238 empfangen hat oder nicht, indem ein Prozess bei Schritt ST106, der in dem in 28 dargestellten Unterstützungsinformationen-Erzeugungsprozess enthalten ist, durchgeführt wird. In einem Fall, in dem das Kommunikationsmodul 156 die von der zweiten Übertragungs- und Empfangseinheit 1641 des Servers 70 übertragenen Unterstützungsinformationen 238 bei Schritt ST50 nicht empfangen hat, ist das Bestimmungsergebnis „Nein“, und der Unterstützungsinformationen-Anzeigeprozess geht zu Schritt ST54 über. In einem Fall, in dem das Kommunikationsmodul 156 die von der zweiten Übertragungs- und Empfangseinheit 1641 des Servers 70 übertragenen Unterstützungsinformationen 238 bei Schritt ST50 empfangen hat, ist das Bestimmungsergebnis „Ja“, und der Unterstützungsinformationen-Anzeigeprozess geht zu Schritt ST52 über.
Bei Schritt ST52 zeigt die fünfte Steuereinheit 1481 die von dem Kommunikationsmodul 156 empfangenen Unterstützungsinformationen 238 auf der Anzeigevorrichtung 14 an (siehe 20). Nachdem der Prozess bei Schritt ST52 durchgeführt wurde, geht der Unterstützungsinformationen-Anzeigeprozess zu Schritt ST54 über.
Bei Schritt ST54 bestimmt die fünfte Steuereinheit 1481, ob eine Bedingung zum Beenden des Unterstützungsinformationen-Anzeigeprozesses (nachstehend als eine „Unterstützungsinformationen-Anzeigeprozess-Endbedingung“ bezeichnet) erfüllt wurde oder nicht. Ein Beispiel der Unterstützungsinformationen-Anzeigeprozess-Endbedingung ist eine Bedingung, bei der die Empfangsvorrichtung 68 eine Anweisung zum Beenden des Unterstützungsinformationen-Anzeigeprozesses empfangen hat. In einem Fall, in dem die Unterstützungsinformationen-Anzeigeprozess-Endbedingung bei Schritt ST54 nicht erfüllt wurde, ist das Bestimmungsergebnis „Nein“, und der Unterstützungsinformationen-Anzeigeprozess geht zu Schritt ST50 über. In einem Fall, in dem die Unterstützungsinformationen-Anzeigeprozess-Endbedingung bei Schritt ST54 erfüllt wurde, ist das Bestimmungsergebnis „Ja“, und der Unterstützungsinformationen-Anzeigeprozess endet.
Als Nächstes wird ein Beispiel eines Flusses des Navigationsvideobild-Erzeugungsprozesses, der von dem Prozessor 164 des Servers 70 in einem Fall durchgeführt wird, in dem die Empfangsvorrichtung 68 oder 76 eine Anweisung zum Starten der Ausführung des Navigationsvideobild-Erzeugungsprozesses empfängt, unter Bezugnahme auf 26 beschrieben.
Bei dem in 26 dargestellten Navigationsvideobild-Erzeugungsprozess extrahiert die Bildverarbeitungseinheit 164A zunächst bei Schritt ST60 die Brustvolumendaten 178 aus den Volumendaten 176, die auf dem NVM 168 (siehe 10) gespeichert sind. Nachdem der Prozess bei Schritt ST60 durchgeführt wurde, geht der Navigationsvideobild-Erzeugungsprozess zu Schritt ST62 über.
Bei Schritt ST62 erzeugt die Bildverarbeitungseinheit 164A die Brustvolumendaten 184 mit einem Weg auf der Grundlage der Brustvolumendaten 178, die bei Schritt ST60 aus den Volumendaten 176 extrahiert wurden (siehe 10). Nachdem der Prozess bei Schritt ST62 durchgeführt wurde, geht der Navigationsvideobild-Erzeugungsprozess zu Schritt ST64 über.
Bei Schritt ST64 erfasst die Bildverarbeitungseinheit 164A die Zielpositionsinformationen 188 von dem NVM 168 (siehe 11). Nachdem der Prozess bei Schritt ST64 durchgeführt wurde, geht der Navigationsvideobild-Erzeugungsprozess zu Schritt ST66 über.
Bei Schritt ST66 aktualisiert die Bildverarbeitungseinheit 164A die Brustvolumendaten 184 mit einem Weg zu den Brustvolumendaten 184 mit einem Weg, bei denen nur der Weg 186A von luminalem Organ verbleibt, unter Bezugnahme auf die bei Schritt ST64 erfassten Zielpositionsinformationen 188 und speichert die aktualisierten Brustvolumendaten 184 mit einem Weg auf dem NVM 168 (siehe 11). Nachdem der Prozess bei Schritt ST66 durchgeführt wurde, geht der Navigationsvideobild-Erzeugungsprozess zu Schritt ST68 über.
Bei Schritt ST68 erfasst die erste Erzeugungseinheit 164B die bei Schritt ST66 auf dem NVM 168 gespeicherten Brustvolumendaten 184 mit einem Weg und erzeugt das Navigationsvideobild 192 auf der Grundlage der erfassten Brustvolumendaten 184 mit einem Weg (siehe 12). Nachdem der Prozess bei Schritt ST68 durchgeführt wurde, geht der Navigationsvideobild-Erzeugungsprozess zu Schritt ST70 über.
Bei Schritt ST70 überträgt die zweite Übertragungseinheit 164C das bei Schritt ST68 erzeugte Navigationsvideobild 192 an das Anzeigesteuergerät 66 (siehe 13). Nachdem der Prozess bei Schritt ST70 durchgeführt wurde, endet der Navigationsvideobild-Erzeugungsprozess.
Als Nächstes wird ein Beispiel eines Flusses des Erzeugungsprozesses für virtuelles Ultraschallbild, der von dem Prozessor 164 des Servers 70 in einem Fall durchgeführt wird, in dem die Empfangsvorrichtung 68 oder 76 eine Anweisung zum Starten der Ausführung der Erzeugung des Erzeugungsprozesses für virtuelles Ultraschallbild empfängt, unter Bezugnahme auf 27 beschrieben.
Bei dem in 27 dargestellten Erzeugungsprozess für virtuelles Ultraschallbild erfasst die zweite Erzeugungseinheit 164D zunächst bei Schritt ST80 die Brustvolumendaten 184 mit einem Weg (das heißt die auf dem NVM 168 gespeicherten Brustvolumendaten 184 mit einem Weg, indem der Prozess bei Schritt ST66, der in dem in 26 dargestellten Navigationsvideobild-Erzeugungsprozess enthalten ist, durchgeführt wird) von dem NVM 168 (siehe 15). Nachdem der Prozess bei Schritt ST80 durchgeführt wurde, geht der Erzeugungsprozess für virtuelles Ultraschallbild zu Schritt ST82 über.
Bei Schritt ST82 erzeugt die zweite Erzeugungseinheit 164D das virtuelle Ultraschallbild 214 mit einem vorbestimmten Abstand auf der Grundlage der bei Schritt ST80 erfassten Brustvolumendaten 184 mit einem Weg und speichert das erzeugte virtuelle Ultraschallbild 214 auf dem NVM 168 (siehe 15). Nachdem der Prozess bei Schritt ST82 durchgeführt wurde, geht der Erzeugungsprozess für virtuelles Ultraschallbild zu Schritt ST84 über.
Bei Schritt ST84 bestimmt die erste Übertragungs- und Empfangseinheit 164E, ob das Kommunikationsmodul 162 (siehe 7) das von der ersten Übertragungseinheit 148E übertragene tatsächliche Ultraschallbild 30 empfangen hat oder nicht, indem der Prozess bei Schritt ST36, der in dem in 23 dargestellten Anzeigeprozess für tatsächliches Ultraschallbild enthalten ist, durchgeführt wird. In einem Fall, in dem das Kommunikationsmodul 162 das tatsächliche Ultraschallbild 30 bei Schritt ST84 nicht empfangen hat, ist das Bestimmungsergebnis „Nein“, und der Erzeugungsprozess für virtuelles Ultraschallbild geht zu Schritt ST94 über. In einem Fall, in dem das Kommunikationsmodul 162 das tatsächliche Ultraschallbild 30 bei Schritt ST84 empfangen hat, ist das Bestimmungsergebnis „Ja“, und der Erzeugungsprozess für virtuelles Ultraschallbild geht zu Schritt ST86 über.
Bei Schritt ST86 erfasst die Erfassungseinheit 164F das virtuelle Ultraschallbild 214, das die höchste Übereinstimmungsrate mit dem von dem Kommunikationsmodul 162 empfangenen tatsächlichen Ultraschallbild 30 aufweist, aus der virtuellen Ultraschallbildgruppe 224 (siehe 17). Nachdem der Prozess bei Schritt ST86 durchgeführt wurde, geht der Erzeugungsprozess für virtuelles Ultraschallbild zu Schritt ST88 über.
Bei Schritt ST88 führt die Bilderkennungseinheit 164G den Bilderkennungsprozess vom KI-Typ an dem bei Schritt ST86 erfassten virtuellen Ultraschallbild 214 durch, um den Bereich 164G1 zu spezifizieren (siehe 17). Nachdem der Prozess bei Schritt ST88 durchgeführt wurde, geht der Erzeugungsprozess für virtuelles Ultraschallbild zu Schritt ST90 über.
Bei Schritt ST90 gibt die Verarbeitungseinheit 164H das Bilderkennungsergebnis (das heißt das Ergebnis des bei Schritt ST88 durchgeführten Bilderkennungsprozesses) in dem bei Schritt ST86 erfassten virtuellen Ultraschallbild 214 wieder, um das virtuelle Ultraschallbild 32 zu erzeugen (siehe 17). Hier bedeutet die Wiedergabe des Bilderkennungsergebnisses in dem virtuellen Ultraschallbild 214 beispielsweise einen Prozess, bei dem die Bilderkennungs-Ergebnismarkierung 230 auf dem virtuellen Ultraschallbild 214 überlagert wird (siehe 17). Nachdem der Prozess bei Schritt ST90 durchgeführt wurde, geht der Erzeugungsprozess für virtuelles Ultraschallbild zu Schritt ST92 über.
Bei Schritt ST92 überträgt die erste Übertragungs- und Empfangseinheit 164E das bei Schritt ST90 erzeugte virtuelle Ultraschallbild 32 an das Anzeigesteuergerät 66 (siehe 18). Nachdem der Prozess bei Schritt ST92 durchgeführt wurde, geht der Erzeugungsprozess für virtuelles Ultraschallbild zu Schritt ST94 über.
Bei Schritt ST94 bestimmt die erste Übertragungs- und Empfangseinheit 164E, ob eine Bedingung zum Beenden des Erzeugungsprozesses für virtuelles Ultraschallbild (nachstehend als eine „Endbedingung von Erzeugungsprozess für virtuelles Ultraschallbild“ bezeichnet) erfüllt wurde oder nicht. Ein Beispiel der Endbedingung von Erzeugungsprozess für virtuelles Ultraschallbild ist eine Bedingung, bei der die Empfangsvorrichtung 68 oder 76 eine Anweisung zum Beenden des Erzeugungsprozesses für virtuelles Ultraschallbild empfangen hat. In einem Fall, in dem die Endbedingung von Erzeugungsprozess für virtuelles Ultraschallbild bei Schritt ST94 nicht erfüllt wurde, ist das Bestimmungsergebnis „Nein“, und der Erzeugungsprozess für virtuelles Ultraschallbild geht zu Schritt ST84 über. In einem Fall, in dem die Endbedingung von Erzeugungsprozess für virtuelles Ultraschallbild bei Schritt ST94 erfüllt wurde, ist das Bestimmungsergebnis „Ja“, und der Erzeugungsprozess für virtuelles Ultraschallbild endet.
Als Nächstes wird ein Beispiel eines Flusses des Unterstützungsinformationen-Erzeugungsprozesses, der von dem Prozessor 164 des Servers 70 in einem Fall durchgeführt wird, in dem die Empfangsvorrichtung 68 oder 76 eine Anweisung zum Starten der Ausführung des Unterstützungsinformationen-Erzeugungsprozesses empfängt, unter Bezugnahme auf 28 beschrieben. Darüber hinaus ist der Fluss des in 28 dargestellten Unterstützungsinformationen-Erzeugungsprozesses ein Beispiel eines „Informationsverarbeitungsverfahrens“ gemäß der Technologie der vorliegenden Offenbarung.
Bei dem in 28 dargestellten Unterstützungsinformationen-Erzeugungsprozess bestimmt die zweite Übertragungs- und Empfangseinheit 1641 zunächst bei Schritt ST100, ob das Kommunikationsmodul 162 (siehe 7) das von der ersten Übertragungseinheit 148E übertragene tatsächliche Ultraschallbild 30 empfangen hat oder nicht, indem der Prozess bei Schritt ST36, der in dem in 23 dargestellten Anzeigeprozess für tatsächliches Ultraschallbild enthalten ist, durchgeführt wird. In einem Fall, in dem das Kommunikationsmodul 162 das tatsächliche Ultraschallbild 30 bei Schritt ST100 nicht empfangen hat, ist das Bestimmungsergebnis „Nein“, und der Unterstützungsinformationen-Erzeugungsprozess geht zu Schritt ST108 über. In einem Fall, in dem das Kommunikationsmodul 162 das tatsächliche Ultraschallbild 30 bei Schritt ST100 empfangen hat, ist das Bestimmungsergebnis „Ja“, und der Unterstützungsinformationen-Erzeugungsprozess geht zu Schritt ST102 über.
Bei Schritt ST102 erzeugt die dritte Erzeugungseinheit 164J die Positionsbeziehungsinformationen 234 auf der Grundlage des von dem Kommunikationsmodul 162 empfangenen tatsächlichen Ultraschallbildes 30 und der virtuellen Ultraschallbildgruppe 224 (siehe 19). Nachdem der Prozess bei Schritt ST102 durchgeführt wurde, geht der Unterstützungsinformationen-Erzeugungsprozess zu Schritt ST104 über.
Bei Schritt ST104 erzeugt die dritte Erzeugungseinheit 164J die Unterstützungsinformationen 238 auf der Grundlage der bei Schritt ST102 erzeugten Positionsbeziehungsinformationen 234 (siehe 19). Nachdem der Prozess bei Schritt ST104 durchgeführt wurde, geht der Unterstützungsinformationen-Erzeugungsprozess zu Schritt ST106 über.
Bei Schritt ST106 überträgt die zweite Übertragungs- und Empfangseinheit 164I die bei Schritt ST104 erzeugten Unterstützungsinformationen 238 an das Anzeigesteuergerät 66 (siehe 20). Nachdem der Prozess bei Schritt ST106 durchgeführt wurde, geht der Unterstützungsinformationen-Erzeugungsprozess zu Schritt ST108 über.
Bei Schritt ST108 bestimmt die zweite Übertragungs- und Empfangseinheit 164I, ob eine Bedingung zum Beenden des Unterstützungsinformationen-Erzeugungsprozesses (nachstehend als eine „Unterstützungsinformationen-Erzeugungsprozess-Endbedingung“ bezeichnet) erfüllt wurde oder nicht. Ein Beispiel der Unterstützungsinformationen-Erzeugungsprozess-Endbedingung ist eine Bedingung, bei der die Empfangsvorrichtung 68 oder 76 eine Anweisung zum Beenden des Unterstützungsinformationen-Erzeugungsprozesses empfangen hat. In einem Fall, in dem die Unterstützungsinformationen-Erzeugungsprozess-Endbedingung bei Schritt ST108 nicht erfüllt wurde, ist das Bestimmungsergebnis „Nein“, und der Unterstützungsinformationen-Erzeugungsprozess geht zu Schritt ST100 über. In einem Fall, in dem die Unterstützungsinformationen-Erzeugungsprozess-Endbedingung bei Schritt ST108 erfüllt wurde, ist das Bestimmungsergebnis „Ja“, und der Unterstützungsinformationen-Erzeugungsprozess endet.
Wie oben beschrieben, wird bei dem Endoskopsystem 10 die Positionsbeziehung zwischen der Position 108 und der Position 100 auf der Grundlage des tatsächlichen Ultraschallbildes 30 und des spezifischen virtuellen Ultraschallbildes 214A spezifiziert. Das spezifische virtuelle Ultraschallbild 214A ist das virtuelle Ultraschallbild 214, das der Zielposition 190 entspricht. Das virtuelle Ultraschallbild 214, das der Zielposition 190 entspricht, bedeutet ein virtuelles Ultraschallbild 214, das unter mehreren virtuellen Ultraschallbildern 214 dem tatsächlichen Ultraschallbild 30 entspricht, das in einem Fall erhalten wird, in dem die Position 108 und die Position 100, die in 3 dargestellt sind, miteinander übereinstimmen. Ferner ist die Position 108 die Position des distalen Endteils 38 des Bronchoskops 18. Beispielsweise ist die Position 108 eine Position, die der Position zugewandt ist, an der die Punktionskanüle 52B in der Behandlungswerkzeugöffnung 50 (siehe 2) in die Innenwandfläche 102 von luminalem Organ vorsteht. Mit anderen Worten ist die Position 108 eine Position, an der sich die vorstehende Richtung der Punktionskanüle 52B und die Innenwandfläche 102 von luminalem Organ einander schneiden. Andererseits ist die Position 100 die Position, an der der Lymphknoten 104 außerhalb des luminalen Organs 84 (außerhalb der Bronchie 96 in dem in 3 dargestellten Beispiel) in der Innenwandfläche 102 von luminalem Organ vorhanden ist. Mit anderen Worten ist die Position 100 eine Position, die von der Punktionskanüle 52B in der Innenwandfläche 102 von luminalem Organ in einem Fall punktiert wird, in dem der Mittelabschnitt 104A des Kanals des Lymphknotens 104 von der Punktionskanüle 52B gestochen wird.
Daher ermöglicht es die Spezifikation der Positionsbeziehung zwischen der Position 108 und der Position 100 auf der Grundlage des tatsächlichen Ultraschallbildes 30 und des spezifischen virtuellen Ultraschallbildes 214A, Positionierung zwischen dem distalen Endteil 38 des Bronchoskop 18 und dem Lymphknoten 104 leicht durchzuführen (das heißt ein Vorgang des Ausrichtens der Position 108 mit der Position 100). Beispielsweise ist es möglich, den Vorgang des Ausrichtens der Position 108 mit der Position 100 im Vergleich zu einem Fall leicht durchzuführen, in dem der Arzt 16 den Vorgang des Ausrichtens der Position 108 mit der Position 100 nur unter Bezugnahme auf das tatsächliche Ultraschallbild 30 durchführt. Infolgedessen ist es möglich, den Lymphknoten 104 leicht mit der Punktionskanüle 52B zu punktieren. Beispielsweise ist es möglich, den Lymphknoten 104 mit der Punktionskanüle 52B im Vergleich zu dem Fall leicht zu punktieren, in dem der Arzt 16 den Vorgang des Ausrichtens der Position 108 mit der Position 100 nur unter Bezugnahme auf das tatsächliche Ultraschallbild 30 durchführt.
Darüber hinaus wird bei dem Endoskopsystem 10 das tatsächliche Ultraschallbild 30 mit dem spezifischen virtuellen Ultraschallbild 214A verglichen, um den Abstand 232 (siehe 19) als den Abweichungsbetrag zwischen der Position 108 und der Position 100 zu berechnen. Ferner wird die Positionsbeziehung zwischen der Position 108 und der Position 100 auf der Grundlage des Abstands 232 definiert. Daher kann der Arzt 16 das Bronchoskop 18 betätigen, um den distalen Endteil 38 des Bronchoskops 18 und den Lymphknoten 104 so zu positionieren, dass der Abstand 232 verringert wird.
Darüber hinaus erfolgt bei dem Endoskopsystem 10 in einem Fall, in dem die Position 108 und die Position 100 miteinander übereinstimmen, Benachrichtigung, dass die Position 108 und die Position 100 miteinander übereinstimmen. Beispielsweise werden die Benachrichtigungsinformationen 238B auf dem Bildschirm 24 angezeigt, um darüber zu benachrichtigen, dass die Position 108 und die Position 100 miteinander übereinstimmen. Dies ermöglicht es dem Benutzer, wahrzunehmen, dass die Position 108 und die Position 100 miteinander übereinstimmen.
Darüber hinaus werden bei dem Endoskopsystem 10 in einem Fall, in dem die Position 108 und die Position 100 nicht miteinander übereinstimmen, die Führungsinformationen 238A dem Benutzer als Informationen zum Führen der Position 108 zu der Position 100 präsentiert. Beispielsweise werden die Führungsinformationen 238A auf dem Bildschirm 24 angezeigt, um dem Benutzer die Führungsinformationen 238A zu präsentieren. Daher ist es möglich, die Positionierung zwischen dem distalen Endteil 38 des Bronchoskops 18 und dem Lymphknoten 104 (das heißt den Vorgang des Ausrichtens der Position 108 mit der Position 100) effizient durchzuführen. Beispielsweise ist es möglich, die Positionierung zwischen dem distalen Endteil 38 des Bronchoskops 18 und dem Lymphknoten 104 im Vergleich zu dem Fall effizient durchzuführen, in dem der Arzt 16 den Vorgang des Ausrichtens der Position 108 mit der Position 100 nur unter Bezugnahme auf das tatsächliche Ultraschallbild 30 durchführt.
Ferner wird bei dem Endoskopsystem 10 das tatsächliche Ultraschallbild 30 auf dem Bildschirm 24 angezeigt (siehe 1, 16, 18 und 20). Dies ermöglicht es dem Benutzer, die Positionsbeziehung zwischen dem distalen Endteil 38 des Bronchoskops 18 und dem Lymphknoten 104 zu ermitteln.
Darüber hinaus wird bei dem Endoskopsystem 10 der Bilderkennungsprozess an dem virtuellen Ultraschallbild 214 durchgeführt, und das Ergebnis des Bilderkennungsprozesses wird als die Bilderkennungs-Ergebnismarkierung 230 auf dem virtuellen Ultraschallbild 214 überlagert, um das virtuelle Ultraschallbild 32 zu erzeugen (siehe 17). Die Bilderkennungs-Ergebnismarkierung 230 wird dem Bereich 164G1 gegeben, in dem der in dem virtuellen Ultraschallbild 214 enthaltene Lymphknoten vorhanden ist. Dann wird das virtuelle Ultraschallbild 32 auf dem Bildschirm 26 angezeigt (siehe 18 und 20). Dies ermöglicht es dem Benutzer, durch das virtuelle Ultraschallbild 32 den Bereich zu ermitteln, in dem der Lymphknoten vorhanden ist.
Ferner werden bei dem Endoskopsystem 10 das virtuelle Ultraschallbild 32 und das tatsächliche Ultraschallbild 30 auf der Anzeigevorrichtung 14 so angezeigt, dass sie miteinander vergleichbar sind. Dies ermöglicht es dem Arzt 16, den Vorgang des Ausrichtens der Position 108 mit der Position 100 durchzuführen, während er auf das virtuelle Ultraschallbild 32 und das tatsächliche Ultraschallbild 30 Bezug nimmt.
Darüber hinaus wird bei dem Endoskopsystem 10 das virtuelle Ultraschallbild 214, das die höchste Übereinstimmungsrate mit dem tatsächlichen Ultraschallbild 30 aufweist, aus der virtuellen Ultraschallbildgruppe 224 ausgewählt, und das durch Verarbeiten des ausgewählten virtuellen Ultraschallbildes 214 erhaltene virtuelle Ultraschallbild 32 und das tatsächliche Ultraschallbild 30 werden auf der Anzeigevorrichtung 14 so angezeigt, um miteinander vergleichbar zu sein. Dies ermöglicht es dem Arzt 16, den Vorgang des Ausrichtens der Position 108 mit der Position 100 durchzuführen, während er auf das tatsächliche Ultraschallbild 30 und das virtuelle Ultraschallbild 32 Bezug nimmt, das dem tatsächlichen Ultraschallbild 30 ähnlich ist.
Ferner werden bei dem Endoskopsystem 10 das Navigationsvideobild 192 und das tatsächliche Ultraschallbild 30 auf der Anzeigevorrichtung 14 so angezeigt, dass sie miteinander vergleichbar sind (siehe 16). Dies ermöglicht es dem Arzt 16, den Vorgang des Ausrichtens der Position 108 mit der Position 100 durchzuführen, während er auf das Navigationsvideobild 192 und das tatsächliche Ultraschallbild 30 Bezug nimmt.
Darüber hinaus wird bei dem Endoskopsystem 10 das Navigationsvideobild 192 als ein Videobild zum Führen der Bewegung des distalen Endteils 38 (siehe 2 und 3) des Bronchoskops 18 erzeugt und das Navigationsvideobild 192 und das tatsächliche Ultraschallbild 30 werden auf der Anzeigevorrichtung 14 so angezeigt, dass sie miteinander vergleichbar sind (siehe 16). Dies macht es möglich, Komfort für den Arzt 16, der sich nicht sicher ist, wie er den distalen Endteil 38 des Bronchoskops 18 bewegen soll, zu erhöhen. Beispielsweise ist es möglich, Komfort für den Arzt 16, der sich nicht sicher ist, wie er den distalen Endteil 38 des Bronchoskops 18 bewegen soll, im Vergleich zu einem Fall zu erhöhen, in dem das Navigationsvideobild 192 nicht auf der Anzeigevorrichtung angezeigt wird 14, sondern nur das tatsächliche Ultraschallbild 30 auf der Anzeigevorrichtung 14 angezeigt wird.
Ferner wird bei dem Endoskopsystem 10 das Einzelbild 198, auf dem die Zielmarkierung 204 überlagert wurde, auf der Anzeigevorrichtung 14 angezeigt. Die Position, die die dazu gegebene Zielmarkierung 204 in dem Einzelbild 198 aufweist, ist eine Position, die der Position entspricht, an der die Ultraschallwellen von der Ultraschallsonde 48 in einem realen Raum in dem Einzelbild 198 emittiert werden. Dies ermöglicht es daher dem Arzt 16 die Position wahrzunehmen, an der die Ultraschallwellen emittiert werden.
Darüber hinaus wird bei dem Endoskopsystem 10 in einem Fall, in dem das Einzelbild 198, auf dem die Zielmarkierung 204 überlagert wurde, auf dem Bildschirm 212 angezeigt wird, das virtuelle Ultraschallbild 32, das auf der Grundlage des tatsächlichen Ultraschallbildes 30 durch Emittieren der Ultraschallwellen zu der von der Zielmarkierung 204 spezifizierten Position erzeugt wurde, auf dem Bildschirm 26 angezeigt (siehe 17 und 18). Dies bedeutet, dass ein virtuelles Ultraschallbild, das den Aspekt des Beobachtungszielbereichs 106 in Bezug auf die von der Zielmarkierung 204 spezifizierte Position zeigt, als das virtuelle Ultraschallbild 32 auf dem Bildschirm 26 angezeigt wird. Dies ermöglicht es daher dem Benutzer, zu ermitteln, auf welche Position des Einzelbildes 198 sich das virtuelle Ultraschallbild 32 bezieht, und dann das virtuelle Ultraschallbild 32 und das Einzelbild 198 zu beobachten.
Darüber hinaus wird bei der oben beschriebenen Ausführungsform das tatsächliche Ultraschallbild 30, das in dem B-Modus erzeugt wurde, als ein Beispiel angegeben. Die Technologie der vorliegenden Offenbarung ist jedoch nicht darauf beschränkt, und ein tatsächliches Ultraschallbild, das in dem Doppler-Modus erzeugt wurde, kann anstelle des tatsächlichen Ultraschallbildes 30 angewendet werden. In diesem Fall kann der Benutzer die Positionsbeziehung zwischen der Position 108 und der Position 100 unter Bezugnahme auf ein Blutgefäß (zum Beispiel die Anzeige eines Blutflusses) spezifizieren, das in dem tatsächlichen Ultraschallbild enthalten ist.
Ferner kann ein Bild, das auf dem in dem Doppler-Modus erzeugten tatsächlichen Ultraschallbild (das heißt einem Ultraschallbild, das einen Blutfluss enthält) und dem in dem B-Modus erzeugten tatsächlichen Ultraschallbild 30 basiert (das heißt, einem Ultraschallbild, in dem die Intensität der reflektierten Wellen, die durch die Reflexion der Ultraschallwellen von dem Beobachtungszielbereich 106 erhalten werden, durch Helligkeit dargestellt wird), anstelle des tatsächlichen Ultraschallbildes 30 angewendet werden. Ein Beispiel des Bildes, das auf dem in dem Doppler-Modus erzeugten tatsächlichen Ultraschallbild und dem in dem B-Modus erzeugten tatsächlichen Ultraschallbild 30 basiert, ist ein überlagertes Bild, das erhalten wird, indem das in dem Doppler-Modus erzeugte tatsächliche Ultraschallbild oder das in dem B-Modus erzeugte tatsächliche Ultraschallbild 30, auf dem anderen tatsächlichen Ultraschallbild überlagert wird. Das auf diese Weise erhaltene überlagerte Bild wird auf der Anzeigevorrichtung 14 auf die gleiche Weise wie bei der oben beschriebenen Ausführungsform angezeigt. Dies ermöglicht es dem Benutzer, die Positionsbeziehung zwischen der Position 108 und der Position 100 unter Bezugnahme auf das Blutgefäß, das in dem in dem Doppler-Modus erzeugten Ultraschallbild enthalten ist, und den Lymphknoten, der in dem in dem B-Modus erzeugten tatsächlichen Ultraschallbild 30 enthalten ist, zu spezifizieren.
Erstes Modifikationsbeispiel
Bei der oben beschriebenen Ausführungsform wurde der Aspekt beschrieben, bei dem der Bilderkennungsprozess an dem virtuellen Ultraschallbild 214 durchgeführt wird. Die Technologie der vorliegenden Offenbarung ist jedoch nicht auf diesen Aspekt beschränkt. Beispielsweise kann, wie in 29 dargestellt, die Bilderkennungseinheit 164G den Bilderkennungsprozess an dem von der Erfassungseinheit 164F erfassten tatsächlichen Ultraschallbild 30, auf die gleiche Weise wie bei der oben beschriebenen Ausführungsform durchführen. Der Bilderkennungsprozess wird an dem tatsächlichen Ultraschallbild 30 durchgeführt, um einen Bereich 164G2 zu spezifizieren, in dem der in dem tatsächlichen Ultraschallbild 30 enthaltene Lymphknoten vorhanden ist.
Die Verarbeitungseinheit 164H überlagert eine Bilderkennungs-Ergebnismarkierung 240 auf dem tatsächlichen Ultraschallbild 30, um das tatsächliche Ultraschallbild 30 zu verarbeiten. Die Bilderkennungs-Ergebnismarkierung 240 ist eine Markierung, die durch Färben des Bereichs 164G2 in dem tatsächlichen Ultraschallbild 30 auf die gleiche Weise wie bei der oben beschriebenen Ausführungsform erhalten wird. Das auf diese Weise erhaltene tatsächliche Ultraschallbild 30 wird auf dem Bildschirm 24 angezeigt. Daher kann der Benutzer den Bereich, in dem der Lymphknoten vorhanden ist, durch das tatsächliche Ultraschallbild 30 ermitteln.
Zweites Modifikationsbeispiel
Bei der oben beschriebenen Ausführungsform wurde der Aspekt beschrieben, bei dem die Unterstützungsinformationen 238 auf der Grundlage des in dem B-Modus erzeugten tatsächlichen Ultraschallbildes 30 erzeugt werden. Die Technologie der vorliegenden Offenbarung ist jedoch nicht auf diesen Aspekt beschränkt. Beispielsweise können, wie in 30 dargestellt, Unterstützungsinformationen 244 auf der Grundlage eines in dem Doppler-Modus erzeugten tatsächlichen Ultraschallbildes 242 (das heißt eines Ultraschallbildes, das erhalten wird, indem ein Ultraschallbild, das einen Blutfluss enthält, einem Ultraschallbild, das dem Ultraschallbild 30 entspricht, überlagert wird) erzeugt werden.
Das in 30 dargestellte Beispiel unterscheidet sich von der oben beschriebenen Ausführungsform darin, dass die dritte Erzeugungseinheit 164J das tatsächliche Ultraschallbild 242 anstelle des tatsächlichen Ultraschallbildes 30 verwendet, eine virtuelle Ultraschallbildgruppe 246 anstelle der virtuellen Ultraschallbildgruppe 224 angewendet wird, und die dritte Erzeugungseinheit 164J die Unterstützungsinformationen 244 anstelle der Unterstützungsinformationen 238 erzeugt.
Die virtuelle Ultraschallbildgruppe 246 unterscheidet sich von der virtuellen Ultraschallbildgruppe 224 darin, dass ein virtuelles Ultraschallbild 246A anstelle des virtuellen Ultraschallbildes 214 angewendet wird. Das virtuelle Ultraschallbild 246A unterscheidet sich von dem virtuellen Ultraschallbild 214 darin, dass es ein virtuelles Bild ist, das als ein Bild erhalten wurde, das das tatsächliche Ultraschallbild 242 imitiert. Das Bild, das das tatsächliche Ultraschallbild 242 imitiert, bedeutet ein Bild, das das in dem Doppler-Modus erzeugte tatsächliche Ultraschallbild 242 imitiert.
Die dritte Erzeugungseinheit 164J erfasst Metadaten 216C und Metadaten 216D aus der virtuellen Ultraschallbildgruppe 246. Die Metadaten 216C sind die Metadaten 216, die dem virtuellen Ultraschallbild 246A, das die höchste Übereinstimmungsrate mit dem tatsächlichen Ultraschallbild 242 aufweist, gegeben werden. Die Metadaten 216D sind die Metadaten 216, die einem virtuellen Ultraschallbild 246A (zum Beispiel einem virtuellen Ultraschallbild 246A, das einen beliebigen von mehreren Lymphknoten, einschließlich des Lymphknotens, 104 enthält) gegeben werden, das sich von dem virtuellen Ultraschallbild 246A unterscheidet, zu dem die Metadaten 216C gegeben wurden.
Die dritte Erzeugungseinheit 164J vergleicht die Metadaten 216C mit den Metadaten 216D, um Positionsbeziehungsinformationen 234 auf die gleiche Weise wie bei der oben beschriebenen Ausführungsform zu erzeugen. Dann erzeugt die dritte Erzeugungseinheit 164J die Unterstützungsinformationen 244 auf der Grundlage der Positionsbeziehungsinformationen 234. Die Unterstützungsinformationen 244 unterscheiden sich von den Unterstützungsinformationen 238 darin, dass sie Führungsinformationen 244A anstelle der Führungsinformationen 238A aufweisen. Die Führungsinformationen 244A sind Informationen zum Führen der Position 108 zu einer anderen Position (das heißt einer Position, die sich von der Position 108 in der Innenwandfläche 102 von luminalem Organ (siehe 3) unterscheidet).
Die fünfte Steuereinheit 148I (siehe 20) führt einen zweiten Präsentationsprozess durch. Der zweite Präsentationsprozess ist ein Prozess, bei dem die Führungsinformationen 244A dem Benutzer präsentiert werden und dann die Führungsinformationen 238A dem Benutzer präsentiert werden. Die Präsentation der Führungsinformationen 244A und der Führungsinformationen 238A wird beispielsweise durch Anzeigen der Führungsinformationen 244A und der Führungsinformationen 238A auf der Anzeigevorrichtung 14 (beispielsweise dem Bildschirm 24) implementiert. Darüber hinaus können die Führungsinformationen 238A in einem Fall angezeigt werden, in dem eine vorbestimmte Bedingung erfüllt ist, nachdem die Führungsinformationen 244A angezeigt wurden.
Ein erstes Beispiel der vorbestimmten Bedingung ist eine Bedingung, bei der die Position 108 zu einer vorbestimmten Position bewegt wurde. Die vorbestimmte Position bedeutet beispielsweise eine Position, an der das tatsächliche Ultraschallbild 242 erhalten wird. das mit dem virtuellen Ultraschallbild 246A übereinstimmt, dem die Metadaten 216D gegeben wurden. Ob die Position 108 zu der vorbestimmten Position bewegt wurde oder nicht, wird beispielsweise durch Durchführen von Mustervergleich unter Verwendung mehrerer tatsächlicher Ultraschallbilder 242 und/oder durch Durchführen des Bilderkennungsprozesses vom KI-Typ an den mehreren tatsächlichen Ultraschallbildern 242 spezifiziert. Ein zweites Beispiel der vorbestimmten Bedingung ist eine Bedingung, bei der die Empfangsvorrichtung 68 eine Anweisung zum Starten der Anzeige der Führungsinformationen 238A empfangen hat. Ein drittes Beispiel der vorbestimmten Bedingung ist eine Bedingung, bei der der Lymphknoten 104 in das tatsächliche Ultraschallbild 242 aufgenommen wurde. Ob der Lymphknoten 104 in dem tatsächlichen Ultraschallbild 242 aufgenommen wurde oder nicht, wird durch Durchführen des Bilderkennungsprozesses an dem tatsächlichen Ultraschallbild 242 spezifiziert.
Wie oben beschrieben, werden bei dem Endoskopsystem 10 gemäß dem zweiten Modifikationsbeispiel die Führungsinformationen 244A, die auf der Grundlage des in dem Doppler-Modus erzeugten tatsächlichen Ultraschallbildes 242 und des das tatsächliche Ultraschallbild 242 imitierenden virtuellen Ultraschallbildes 246A erzeugt werden, auf der Anzeigevorrichtung 14 angezeigt. Dann werden die Führungsinformationen 238A, die auf der Grundlage des in dem B-Modus erzeugten tatsächlichen Ultraschallbildes 30 und des das tatsächliche Ultraschallbild 30 imitierenden virtuellen Ultraschallbildes 214 erzeugt werden, auf der Anzeigevorrichtung 14 angezeigt. Da das in dem Doppler-Modus erzeugte tatsächliche Ultraschallbild 242 ein Bild mit höherer Auflösung als das in dem B-Modus erzeugte tatsächliche Ultraschallbild 30 ist, enthält das tatsächliche Ultraschallbild 242 eine größere Menge an Markierungsinformationen als das in dem B-Modus erzeugte tatsächliche Ultraschallbild 30. Daher kann sich der Arzt 16 der Position 100 von der Position 108 aus unter Bezugnahme auf die auf der Grundlage des tatsächlichen Ultraschallbildes 242 erzeugten Führungsinformationen 244A anstatt der auf der Grundlage des tatsächlichen Ultraschallbildes 30 erzeugten Führungsinformationen 238A genau annähern.
Indessen ist in dem Doppler-Modus die auf den Prozessor 164 aufgebrachte Verarbeitungslast größer als die in dem B-Modus. Darüber hinaus ist die Bildrate des in dem Doppler-Modus erzeugten tatsächlichen Ultraschallbildes 242 niedriger als die des in dem B-Modus erzeugten tatsächlichen Ultraschallbildes 30. Daher kann der Doppler-Modus beispielsweise auf den B-Modus umgeschaltet werden, nachdem die Position 108 bis zu einem gewissen Grad in die Nähe der Position 100 gebracht wurde (zum Beispiel ist der Lymphknoten 104 in dem tatsächlichen Ultraschallbild 30 enthalten).
Dies ermöglicht es dem Benutzer, die Position 108 in die Nähe der Position 100 unter Bezugnahme auf die Führungsinformationen 244A in dem Doppler-Modus anstatt die Führungsinformationen 238A in dem B-Modus genau zu bewegen. Nachdem der Benutzer die Position 108 in die Nähe der Position 100 bewegt hat, schaltet der Benutzer dann den Modus von dem Doppler-Modus in den B-Modus um. Dies ermöglicht es dem Benutzer, die Position 108 mit der Position 100 unter Bezugnahme auf die Führungsinformationen 238A in dem B-Modus, in dem die auf den Prozessor 164 aufgebrachte Verarbeitungslast geringer als die in dem Doppler-Modus ist und die Bildrate des tatsächlichen Ultraschallbildes 30 höher als die in dem Doppler-Modus ist, auszurichten.
Bei dem zweiten Modifikationsbeispiel ist der zweite Präsentationsprozess, der von der fünften Steuereinheit 148I durchgeführt wird, ein Beispiel eines „zweiten Präsentationsprozesses“ gemäß der Technologie der vorliegenden Offenbarung. Das tatsächliche Ultraschallbild 242 ist ein Beispiel eines „ersten Ultraschallbildes“ gemäß der Technologie der vorliegenden Offenbarung. Das tatsächliche Ultraschallbild 30 ist ein Beispiel eines „zweiten Ultraschallbildes“ gemäß der Technologie der vorliegenden Offenbarung. Die Führungsinformationen 244A sind ein Beispiel von „ersten Führungsinformationen“ gemäß der Technologie der vorliegenden Offenbarung. Die Führungsinformationen 238A sind ein Beispiel von „zweiten Führungsinformationen“ gemäß der Technologie der vorliegenden Offenbarung.
Bei dem zweiten Modifikationsbeispiel wurde der Aspekt beschrieben, bei dem die Positionsbeziehung zwischen der Position 108 und der Position 100 auf der Grundlage des Ergebnisses des Vergleichs zwischen den Metadaten 216C und den Metadaten 216D spezifiziert wird. Die Technologie der vorliegenden Offenbarung ist jedoch nicht auf diesen Aspekt beschränkt. Beispielsweise kann Musterabgleich zwischen dem tatsächlichen Ultraschallbild 242 und dem virtuellen Ultraschallbild 246A durchgeführt werden, um die Positionsbeziehung zwischen der Position 108 und der Position 100 zu spezifizieren. Der Mustervergleich enthält in diesem Fall beispielsweise einen Prozess des Vergleichens eines in dem tatsächlichen Ultraschallbild 242 enthaltenen Blutflussbereichs mit einem in dem virtuellen Ultraschallbild 246A enthaltenen Blutflussbereich. Dann werden die Unterstützungsinformationen 244 einschließlich der Führungsinformationen 244A auf der Grundlage der Positionsbeziehungsinformationen 234 erzeugt, die die Positionsbeziehung angeben, die durch Durchführen des Musterabgleichs auf diese Weise spezifiziert wurde.
Andere Modifikationsbeispiele
Bei der oben beschriebenen Ausführungsform wurde der Aspekt beschrieben, bei dem der Lymphknoten 104 punktiert wird. Die Technologie der vorliegenden Offenbarung ist jedoch nicht auf diesen Aspekt beschränkt. Beispielsweise wird die Technologie der vorliegenden Offenbarung selbst in einem Fall etabliert, in dem Sonographie an dem Beobachtungszielbereich 106 einschließlich des Lymphknotens 104 durchgeführt wird, ohne den Lymphknoten 104 zu punktieren.
Bei der oben beschriebenen Ausführungsform wird der Lymphknoten 104 als ein Ziel (das heißt ein Beispiel des „spezifischen Teils“ gemäß der Technologie der vorliegenden Offenbarung) angegeben, das durch das Ultraschallbild beobachtet wird. Dies ist jedoch nur ein Beispiel, und das durch das Ultraschallbild beobachtete Ziel kann ein anderer Teil (zum Beispiel ein Lymphgefäß oder ein Blutgefäß) als der Lymphknoten 104 sein.
Bei der oben beschriebenen Ausführungsform wird die Ultraschallsonde 48 des Bronchoskops 18 als ein Beispiel angegeben. Die Technologie der vorliegenden Offenbarung ist jedoch selbst in einem medizinischen Modul etabliert, das Ultraschallwellen emittiert, wie beispielsweise einer extrakorporalen Ultraschallsonde. In diesem Fall kann die Positionsbeziehung zwischen der Position, an der das medizinische Modul vorhanden ist (zum Beispiel der Position des mit den Ultraschallwellen bestrahlten Teils) und der Position, an der das durch das Ultraschallbild beobachtete Ziel vorhanden ist, auf dieselbe Weise wie bei der oben beschriebenen Ausführungsform spezifiziert werden.
Bei der oben beschriebenen Ausführungsform wurde der Aspekt beschrieben, bei dem das Anzeigesteuergerät 66 die anzeigesteuergerätsseitigen Prozesse durchführt. Die Technologie der vorliegenden Offenbarung ist jedoch nicht auf diesen Aspekt beschränkt. Beispielsweise kann die Vorrichtung, die mindestens einige der Prozesse durchführt, die in den anzeigesteuergerätsseitigen Prozessen enthalten sind, außerhalb des Anzeigesteuergeräts 66 vorgesehen werden. Ein Beispiel der außerhalb des Anzeigesteuergeräts 66 vorgesehenen Vorrichtung ist der Server 70. Beispielsweise wird der Server 70 durch Cloud-Computing implementiert. Hier wird Cloud Computing als ein Beispiel angegeben, aber dies ist nur ein Beispiel. Beispielsweise kann der Server 70 durch Netzwerk-Computing wie beispielsweise Fog-Computing, Edge-Computing oder Grid-Computing implementiert werden.
Hier wird der Server 70 als ein Beispiel der Vorrichtung angegeben, die außerhalb des Anzeigesteuergeräts 66 vorgesehen wird. Dies ist jedoch nur ein Beispiel, und die Vorrichtung kann beispielsweise mindestens ein PC und/oder mindestens ein Großrechner anstelle des Servers 70 sein. Darüber hinaus können mindestens einige der Prozesse, die in den anzeigesteuergerätsseitigen Prozessen enthalten sind, von mehreren Vorrichtungen, einschließlich des Anzeigesteuergeräts 66 und der außerhalb des Anzeigesteuergeräts 66 vorgesehenen Vorrichtung, verteilt durchgeführt werden.
Ferner können mindestens einige der Prozesse, die in den anzeigesteuergerätsseitigen Prozessen enthalten sind, beispielsweise von der Endoskopverarbeitungsvorrichtung 60, der Ultraschallverarbeitungsvorrichtung 64 und einem Tablet-Terminal oder einem mit dem Server 70 verbundenen PC durchgeführt werden.
Bei der oben beschriebenen Ausführungsform wurde der Aspekt beschrieben, bei dem der Server 70 die serverseitigen Prozesse durchführt. Die Technologie der vorliegenden Offenbarung ist jedoch nicht auf diesen Aspekt beschränkt. Beispielsweise können mindestens einige der Prozesse, die in den serverseitigen Prozessen enthalten sind, von einer anderen Vorrichtung als dem Server 70 durchgeführt werden oder können von mehreren Vorrichtungen, einschließlich des Servers 70 und der anderen Vorrichtung als dem Server 70, verteilt durchgeführt werden. Ein erstes Beispiel der anderen Vorrichtung als dem Server 70 ist das Anzeigesteuergerät 66. Darüber hinaus ist ein zweites Beispiel der anderen Vorrichtung als dem Server 70 mindestens ein PC und/oder mindestens ein Großrechner.
Bei der oben beschriebenen Ausführungsform wurde der Aspekt beschrieben, bei dem die Unterstützungsinformationen 238 in einem Nachrichtenformat angezeigt werden. Die Technologie der vorliegenden Offenbarung ist jedoch nicht auf diesen Aspekt beschränkt. Die Unterstützungsinformationen 238 können per Sprache präsentiert werden.
Bei der oben beschriebenen Ausführungsform wurde der Aspekt beschrieben, bei dem die anzeigesteuergerätsseitigen Programme 172 auf dem NVM 152 gespeichert sind und die serverseitigen Programme 174 auf dem NVM 168 gespeichert sind. Die Technologie der vorliegenden Offenbarung ist jedoch nicht auf diesen Aspekt beschränkt. Beispielsweise können die anzeigesteuergerätsseitigen Programme 172 und die serverseitigen Programme 174 (nachstehend als „Programme“ bezeichnet) auf einem tragbaren Speichermedium wie beispielsweise einer SSD oder einem USB-Speicher gespeichert werden. Das Speichermedium ist ein nicht flüchtiges computerlesbares Speichermedium. Die auf dem Speichermedium gespeicherten Programme sind auf dem Computer 72 und/oder dem Computer 144 installiert. Der Prozessor 148 und/oder der Prozessor 164 führt die anzeigesteuergerätsseitigen Prozesse und die serverseitigen Prozesse (nachstehend als „verschiedene Prozesse“ bezeichnet) gemäß den Programmen durch.
Bei der oben beschriebenen Ausführungsform wird der Computer 72 und/oder der Computer 144 als ein Beispiel angegeben. Die Technologie der vorliegenden Offenbarung ist jedoch nicht darauf beschränkt, und eine Vorrichtung, die eine ASIC, ein FPGA und/oder eine PLD enthält, kann anstelle des Computers 72 und/oder des Computers 144 angewendet werden. Darüber hinaus kann anstelle des Computers 72 und/oder des Computers 144 eine Kombination aus einer Hardwarekonfiguration und einer Softwarekonfiguration verwendet werden.
Die folgenden verschiedenen Prozessoren können als Hardware-Ressourcen zum Durchführen verschiedener Prozesse verwendet werden, die bei der oben beschriebenen Ausführungsform beschrieben sind. Ein Beispiel des Prozessors ist ein Prozessor, der ein Allzweckprozessor ist, der Software, das heißt ein Programm, ausführt, um als die Hardware-Ressourcen zu fungieren, die verschiedene Prozesse durchführen. Darüber hinaus ist ein Beispiel des Prozessors eine dedizierte elektronische Schaltung, die ein Prozessor mit einer dedizierten Schaltungskonfiguration ist, die dazu ausgelegt ist, einen spezifischen Prozess durchzuführen, wie beispielsweise ein FPGA, eine PLD oder eine ASIC. Ein beliebiger Prozessor weist einen eingebauten oder damit verbundenen Speicher auf, und ein beliebiger Prozessor verwendet den Speicher, um verschiedene Prozesse durchzuführen.
Die Hardware-Ressource zum Durchführen verschiedener Prozesse kann durch einen der verschiedenen Prozessoren oder durch eine Kombination aus zwei oder mehr Prozessoren des gleichen Typs oder verschiedener Typen (zum Beispiel eine Kombination aus mehreren FPGAs oder eine Kombination aus einem Prozessor und einem FPGA) konfiguriert werden. Ferner kann die Hardware-Ressource zum Durchführen verschiedener Prozesse ein Prozessor sein.
Ein erstes Beispiel der Konfiguration, bei der die Hardware-Ressource durch einen Prozessor konfiguriert wird, ist ein Aspekt, bei dem ein Prozessor durch eine Kombination aus einem oder mehreren Prozessoren und Software konfiguriert wird und als die Hardware-Ressource zum Durchführen verschiedener Prozesse fungiert. Ein zweites Beispiel der Konfiguration ist ein Aspekt, bei dem ein Prozessor verwendet wird, der die Funktionen des gesamten Systems einschließlich mehrerer Hardware-Ressourcen zum Durchführen verschiedener Prozesse unter Verwendung eines IC-Chips implementiert. Ein repräsentatives Beispiel dieses Aspekts ist ein SoC. Wie oben beschrieben, werden verschiedene Prozesse unter Verwendung eines oder mehrerer der verschiedenen Prozessoren als die Hardware-Ressource erreicht.
Darüber hinaus kann insbesondere eine elektronische Schaltung, die durch Kombinieren von Schaltungselementen, wie beispielsweise Halbleiterelementen, erhalten wird, als die Hardwarestruktur der verschiedenen Prozessoren verwendet werden. Ferner sind die verschiedenen Prozesse nur ein Beispiel. Daher versteht es sich von selbst, dass unnötige Schritte gelöscht werden können, neue Schritte hinzugefügt werden können oder die Verarbeitungsreihenfolge geändert werden kann, ohne von dem Kern abzuweichen.
Der oben beschriebene und dargestellte Inhalt ist eine detaillierte Beschreibung von Abschnitten, die sich auf die Technologie der vorliegenden Offenbarung beziehen, und ist nur ein Beispiel der Technologie der vorliegenden Offenbarung. Beispielsweise ist die Beschreibung der Konfigurationen, Funktionen, Vorgänge und Effekte die Beschreibung von Beispielen der Konfigurationen, Funktionen, Vorgänge und Effekte der Abschnitte, die sich auf die Technologie der vorliegenden Offenbarung beziehen. Daher versteht es sich von selbst, dass in dem oben beschriebenen und dargestellten Inhalt unnötige Abschnitte gelöscht werden können oder neue Elemente hinzugefügt oder ersetzt werden können, ohne von dem Kern der Technologie der vorliegenden Offenbarung abzuweichen. Darüber hinaus wird die Beschreibung von beispielsweise allgemeinem technischem Wissen, das nicht besonders beschrieben werden muss, um die Implementierung der Technologie der vorliegenden Offenbarung zu ermöglichen, in dem oben beschriebenen und dargestellten Inhalt weggelassen, um Verwirrung zu vermeiden und das Verständnis der Abschnitte zu erleichtern, die sich auf die Technologie der vorliegenden Offenbarung beziehen.
Bei der Beschreibung ist „A und/oder B“ gleichbedeutend mit „mindestens eines von A und B“. Das heißt, „A und/oder B“ bedeutet nur A, nur B oder eine Kombination aus A und B. Ferner wird in der Beschreibung das gleiche Konzept wie „A und/oder B“ auf einen Fall angewendet, in dem die Verbindung von drei oder mehr Sachverhalten durch „und/oder“ ausgedrückt wird.
Alle der in der Beschreibung beschriebenen Dokumente, Patentanmeldungen und technischen Normen werden hierin durch Bezugnahme im gleichen Umfang aufgenommen, in dem jedes einzelne Dokument, jede Patentanmeldung und jede technische Norm spezifisch und individuell angegeben wird, um durch Bezugnahme aufgenommen zu werden.
Bezugszeichenliste

10:: Endoskopsystem
12:: Ultraschallendoskopvorrichtung
14, 74:: Anzeigevorrichtung
16:: Arzt
18:: Bronchoskop
20:: Untersuchungsperson
22, 24, 26, 212:: Bildschirm
28:: Endoskopbild
30, 242:: tatsächliches Ultraschallbild
32:: virtuelles Ultraschallbild
34:: Betätigungseinheit
36:: Einführabschnitt
38:: distaler Endteil
40:: biegbarer Teil
42:: weicher Teil
44:: Beleuchtungsvorrichtung
44A, 44B:: Beleuchtungsfenster
46:: Endoskop
48:: Ultraschallsonde
48A:: Außenfläche
50:: Behandlungswerkzeugöffnung
56:: Behandlungswerkzeug
54:: Behandlungswerkzeug-Einführöffnung
52A:: Hülle
52B:: Punktionskanüle
58:: Universalkabel
58A:: distaler Endteil
58B bis 58D:: erste bis dritte distale Endteile
60:: Endoskopverarbeitungsvorrichtung
62:: Lichtquellenvorrichtung
64:: Ultraschallverarbeitungsvorrichtung
66:: Anzeigesteuergerät
68, 76:: Empfangsvorrichtung
70:: Server
72, 110, 122, 144:: Computer
78:: Netzwerk
82:: Atmungsorgan
84:: luminales Organ
86:: Mundhöhle
88:: Kehlkopf
94:: Luftröhre
96:: Bronchie
98:: Route
100, 108:: Position
102, 196:: Innenwandfläche von luminalem Organ
104:: Lymphknoten
104A:: Mittelabschnitt
106:: Beobachtungszielbereich
112, 124, 146, 160:: Eingabe-/Ausgabeschnittstelle
114, 126, 148, 164:: Prozessor
116, 128, 150, 166:: RAM
118, 130, 152, 168:: NVM
120, 132, 154, 170:: Bus
134:: Multiplexer
136:: Übertragungsschaltung
138:: Empfangsschaltung
140:: ADC
142:: Ultraschallwandler
148A:: erste Steuereinheit
148B:: erste Empfangseinheit
148C:: zweite Steuereinheit
148D:: dritte Steuereinheit
148E:: erste Übertragungseinheit
148F:: zweite Empfangseinheit
148G:: vierte Steuereinheit
148H:: dritte Empfangseinheit
148I:: fünfte Steuereinheit
156, 162:: Kommunikationsmodul
164A:: Bildverarbeitungseinheit
164B:: erste Erzeugungseinheit
164C:: zweite Übertragungseinheit
164D:: zweite Erzeugungseinheit
164E:: erste Übertragungs- und Empfangseinheit
164F:: Erfassungseinheit
164G:: Bilderkennungseinheit
164G1, 164G2:: Bereich
164H:: Verarbeitungseinheit
164I:: zweite Übertragungs- und Empfangseinheit
164J:: dritte Erzeugungseinheit
172:: anzeigesteuergerätsseitiges Programm
172A:: Endoskopbild-Anzeigeprogramm
172B:: Navigationsvideobild-Anzeigeprogramm
172C:: Anzeigeprogramm für tatsächliches Ultraschallbild
172D:: Anzeigeprogramm für virtuelles Ultraschallbild
172E:: Unterstützungsinformationen-Anzeigeprogramm
174:: serverseitiges Programm
174A:: Navigationsvideobild-Erzeugungsprogramm
174B:: Erzeugungsprogramm für virtuelles Ultraschallbild
174C:: Unterstützungsinformationen-Erzeugungsprogramm
176:: Volumendaten
178:: Brustvolumendaten
180:: Volumendaten über luminales Organ
182:: Lymphknotenvolumendaten
184:: Brustvolumendaten mit Weg
186, 186A:: Weg von luminalem Organ
188:: Zielpositionsinformationen
190:: Zielposition
190A:: Markierung
192:: Navigationsvideobild
194:: Blickpunkt
198, 208:: Einzelbild
200, 216:: Metadaten
202, 218:: Koordinaten
204:: Zielmarkierung
206:: tatsächliches Videobild
214:: virtuelles Ultraschallbild
214A:: spezifisches virtuelles Ultraschallbild
220:: Winkel
222:: Kennung
224, 246:: virtuelle Ultraschallbildgruppe
226:: tatsächliches Ultraschall-Videobild
230, 240:: Bilderkennungs-Ergebnismarkierung
232:: Abstand
234:: Positionsbeziehungsinformationen
236:: Richtung
238, 244:: Unterstützungsinformationen
238A, 244A:: Führungsinformationen
238B:: Benachrichtigungsinformationen
246A:: virtuelles Ultraschallbild

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2011000173 A [0002, 0003]
WO 2019/088008 A [0004, 0005]

Claims

Informationsverarbeitungsvorrichtung (66, 70), umfassend: einen Prozessor (148, 164), wobei der Prozessor ein tatsächliches Ultraschallbild (30, 242), das als ein Bild, das einen Aspekt eines Beobachtungszielbereichs (106) einschließlich eines spezifischen Teils (104) zeigt, auf der Grundlage reflektierter Wellen, die durch Emittieren von Ultraschallwellen von einem medizinischen Modul (38) zu dem Beobachtungszielbereich erhalten werden, erzeugt wurde, erfasst, ein virtuelles Ultraschallbild (32), das als ein Ultraschallbild, das den Aspekt des Beobachtungszielbereichs virtuell zeigt, auf der Grundlage von Volumendaten (176), die den Beobachtungszielbereich angeben, erzeugt wurde, erfasst, und eine Positionsbeziehung zwischen einer ersten Position (108), an der das medizinische Modul vorhanden ist, und einer zweiten Position (100), an der der spezifische Teil vorhanden ist, auf der Grundlage des tatsächlichen Ultraschallbildes und des virtuellen Ultraschallbildes spezifiziert.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei der Prozessor das tatsächliche Ultraschallbild mit dem virtuellen Ultraschallbild vergleicht, um einen Abweichungsbetrag zwischen der ersten Position und der zweiten Position zu berechnen, und die Positionsbeziehung auf der Grundlage des Abweichungsbetrags definiert ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1 oder 2, wobei in einem Fall, in dem die erste Position und die zweite Position miteinander übereinstimmen, der Prozessor einen Benachrichtigungsprozess des Benachrichtigens, dass die erste Position und die zweite Position miteinander übereinstimmen, durchführt.
Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei der Prozessor einen ersten Präsentationsprozess des Präsentierens von Führungsinformationen zum Führen der ersten Position zu der zweiten Position auf der Grundlage der Positionsbeziehung durchführt.
Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei das tatsächliche Ultraschallbild ein Ultraschallbild ist, das in einem Doppler-Modus erzeugt wird.
Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei das tatsächliche Ultraschallbild ein Bild ist, das auf einem Ultraschallbild, das einen Blutfluss enthält, und auf einem Ultraschallbild, in dem Intensität der reflektierten Wellen durch Helligkeit dargestellt wird, basiert.
Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei der Prozessor ein erstes Ultraschallbild (242), das ein in einem Doppler-Modus erzeugtes Ultraschallbild ist, und ein zweites Ultraschallbild (30), das ein in einem B-Modus erzeugtes Ultraschallbild ist, als das tatsächliche Ultraschallbild erfasst, und nach Präsentieren erster Führungsinformationen (244A) zum Führen der ersten Position zu einer anderen Position auf der Grundlage des ersten Ultraschallbildes und des virtuellen Ultraschallbildes, einen zweiten Präsentationsprozess des Präsentierens von zweiten Führungsinformationen (238A) zum Führen der ersten Position zu der zweiten Position gemäß der Positionsbeziehung, die auf der Grundlage des zweiten Ultraschallbildes und des virtuellen Ultraschallbildes spezifiziert ist, durchführt.
Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei der Prozessor das tatsächliche Ultraschallbild auf einer Anzeigevorrichtung anzeigt.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei der Prozessor einen Bilderkennungsprozess an dem tatsächlichen Ultraschallbild und/oder dem virtuellen Ultraschallbild durchführt, und ein Ergebnis des Bilderkennungsprozesses auf der Anzeigevorrichtung anzeigt.
Informationsverarbeitungsvorrichtung nach Anspruch 8 oder 9, wobei der Prozessor das virtuelle Ultraschallbild und das tatsächliche Ultraschallbild auf der Anzeigevorrichtung so anzeigt, dass sie miteinander vergleichbar sind.
Informationsverarbeitungsvorrichtung nach Anspruch 10, wobei der Prozessor das virtuelle Ultraschallbild, dessen Übereinstimmungsrate mit dem tatsächlichen Ultraschallbild gleich oder größer als ein vorbestimmter Wert ist, aus mehreren der virtuellen Ultraschallbildern für unterschiedliche Positionen in dem Beobachtungszielbereich auswählt, und das ausgewählte virtuelle Ultraschallbild und das tatsächliche Ultraschallbild auf der Anzeigevorrichtung so anzeigt, dass sie miteinander vergleichbar sind.
Informationsverarbeitungsvorrichtung nach einem der Ansprüche 8 bis 11, wobei der Beobachtungszielbereich ein luminales Organ enthält, und der Prozessor ein Oberflächenbild (192), das auf der Grundlage der Volumendaten erzeugt wird und eine Innenfläche des luminalen Organs enthält, und das tatsächliche Ultraschallbild auf der Anzeigevorrichtung so anzeigt, dass sie miteinander vergleichbar sind.
Informationsverarbeitungsvorrichtung nach Anspruch 12, wobei das Oberflächenbild ein Videobild (192) ist, das Bewegung des medizinischen Moduls führt.
Informationsverarbeitungsvorrichtung nach Anspruch 12 oder 13, wobei der Prozessor auf der Anzeigevorrichtung Positionsspezifikationsinformationen, die in der Lage sind, eine Position zu spezifizieren, die einer Position entspricht, an der die Ultraschallwellen von dem medizinischen Modul emittiert werden, in dem Oberflächenbild anzeigt.
Informationsverarbeitungsvorrichtung nach Anspruch 14, wobei das virtuelle Ultraschallbild ein virtuelles Ultraschallbild ist, das einen Aspekt des Beobachtungszielbereichs für die Position, die aus den Positionsspezifikationsinformationen spezifiziert wurde, zeigt.
Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 15, wobei das medizinische Modul ein distaler Endteil (38) eines Ultraschallendoskops ist, das ein Behandlungswerkzeug (52) aufweist, und der spezifische Teil ein Behandlungszielteil (104) ist, der durch das Behandlungswerkzeug behandelt wird.
Informationsverarbeitungsvorrichtung nach Anspruch 16, wobei das Behandlungswerkzeug eine Punktionskanüle (52B) ist, und der Behandlungszielteil ein Teil ist, der von der Punktionskanüle punktiert wird.
Ultraschallendoskopvorrichtung (12), umfassend: die Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 17; und ein Ultraschallendoskop (18), bei dem das medizinische Modul in einem distalen Endteil (38) davon vorgesehen ist.
Informationsverarbeitungsverfahren, umfassend: Erfassen eines tatsächlichen Ultraschallbildes (30, 242), das als ein Bild, das einen Aspekt eines Beobachtungszielbereichs (106) einschließlich eines spezifischen Teils (104) zeigt, auf der Grundlage reflektierter Wellen, die durch Emittieren von Ultraschallwellen von einem medizinischen Modul (38) zu dem Beobachtungszielbereich erhalten werden, erzeugt wurde; Erfassen eines virtuellen Ultraschallbildes (32), das als ein Ultraschallbild, das den Aspekt des Beobachtungszielbereichs virtuell zeigt, auf der Grundlage von Volumendaten (176), die den Beobachtungszielbereich angeben, erzeugt wurde; und Spezifizieren einer Positionsbeziehung zwischen einer ersten Position (108), an der das medizinische Modul vorhanden ist, und einer zweiten Position (100), an der der spezifische Teil vorhanden ist, auf der Grundlage des tatsächlichen Ultraschallbildes und des virtuellen Ultraschallbildes.
Speichermedium (152, 168), das ein durch einen Computer (72, 144) ausführbares Programm (72, 144) speichert, um einen Prozess auszuführen, der umfasst: Erfassen eines tatsächlichen Ultraschallbildes (30, 242), das als ein Bild, das einen Aspekt eines Beobachtungszielbereichs (106) einschließlich eines spezifischen Teils (104) zeigt, auf der Grundlage reflektierter Wellen, die durch Emittieren von Ultraschallwellen von einem medizinischen Modul (38) zu dem Beobachtungszielbereich erhalten werden, erzeugt wurde; Erfassen eines virtuellen Ultraschallbildes (32), das als ein Ultraschallbild, das den Aspekt des Beobachtungszielbereichs virtuell zeigt, auf der Grundlage von Volumendaten (176), die den Beobachtungszielbereich angeben, erzeugt wurde; und Spezifizieren einer Positionsbeziehung zwischen einer ersten Position (108), an der das medizinische Modul vorhanden ist, und einer zweiten Position (100), an der der spezifische Teil vorhanden ist, auf der Grundlage des tatsächlichen Ultraschallbildes und des virtuellen Ultraschallbildes.