JP2023167710A - 情報処理装置、気管支内視鏡装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、気管支内視鏡装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2023167710A
JP2023167710A JP2022079096A JP2022079096A JP2023167710A JP 2023167710 A JP2023167710 A JP 2023167710A JP 2022079096 A JP2022079096 A JP 2022079096A JP 2022079096 A JP2022079096 A JP 2022079096A JP 2023167710 A JP2023167710 A JP 2023167710A
Authority
JP
Japan
Prior art keywords
information
information processing
bronchus
processing device
bronchoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022079096A
Other languages
English (en)
Inventor
威晴 中里
Takeharu Nakazato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2022079096A priority Critical patent/JP2023167710A/ja
Priority to US18/304,366 priority patent/US20230363622A1/en
Priority to DE102023112313.0A priority patent/DE102023112313A1/de
Publication of JP2023167710A publication Critical patent/JP2023167710A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676Bronchoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00059Operational features of endoscopes provided with identification means for the endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

【課題】気管支内の予定されている位置まで気管支内視鏡を到達させる作業を支援することができる情報処理装置、気管支内視鏡装置、情報処理方法、及びプログラムを提供する。【解決手段】情報処理装置は、プロセッサを備える。プロセッサは、気管支を示す気管支画像を含むボリュームデータに基づいて気管支の内径を導出し、気管支に挿入される気管支内視鏡の外径と内径とに基づいて、気管支内視鏡の到達位置を導出する。【選択図】図14

Description

本開示の技術は、情報処理装置、気管支内視鏡装置、情報処理方法、及びプログラムに関する。
特許文献1には、体積領域設定手段、管腔臓器領域情報算出手段、管腔臓器構造情報算出手段、仮想芯線生成手段、仮想画像生成手段、観察位置規定手段、及び表示手段を備える医療画像観察支援装置が開示されている。
特許文献1に記載の医療画像観察支援装置において、体積領域設定手段は、被検体の3次元画像データに基づき、被検体内に延びる管腔臓器の一部を内含する体積領域を設定する。管腔臓器領域情報算出手段は、体積領域内での管腔臓器を表す3次元画像データに基づき、体積領域内の特定の管腔臓器の領域情報である管腔領域データを繰り返し算出する。管腔臓器構造情報算出手段は、管腔臓器領域情報手段が算出した管腔領域データ毎に、体積領域での管腔臓器の構造情報である管腔構造データを算出する。仮想芯線生成手段は、管腔構造データに基づいて、管腔臓器の長手方向に沿った仮想芯線を生成する。仮想画像生成手段は、仮想芯線に沿って管腔臓器の仮想画像を生成する。観察位置規定手段は、仮想画像を生成するための観察位置を、仮想芯線、管腔領域データ及び管腔構造データの少なくとも1つに基づき表示手段における管腔臓器の表示領域が所望の大きさとなるように定めるとともに、仮想芯線又は管腔構造データに基づき管腔臓器長手方向に沿って観察位置を移動させる。表示手段は、仮想画像を表示するための手段である。
また、特許文献1に記載の医療画像観察支援装置は、内視鏡位置検出手段及び第一実画像観察位置推定手段を備える。内視鏡位置検出手段は、実際に被検体内に挿入された内視鏡の先端部の相対的な位置を検出するための手段である。第一実画像観察位置推定手段は、内視鏡位置検出手段によって検出された内視鏡の先端位置と管腔構造データとを比較することにより内視鏡の先端部の管腔臓器内における位置である実画像観察位置を推定する。
特許文献2には、3次元画像生成手段、内視鏡、及びナビゲーション画像生成手段を備える内視鏡装置が開示されている。特許文献2に記載の内視鏡装置において、3次元画像生成手段は、被検体の3次元領域の画像データに基づき被検体内の体腔路の3次元画像を生成する。内視鏡は、被検体内の体腔路を撮像する。ナビゲーション画像生成手段は、被検体内の体腔路への内視鏡の挿入経路を案内しながら、被検体内を観察したり処置したりするために、内視鏡により撮像された被検体内の体腔路の内視鏡画像と3次元画像とからなるナビゲーション画像を生成する。また、ナビゲーション画像生成手段は、被検体内の体腔路が分岐する全分岐点での3次元画像の縮小画像をナビゲーション画像に付加してナビゲーション画像を生成する。
国際公開第2007/129493号 国際公開第2004/010857号
本開示の技術に係る一つの実施形態は、気管支内の予定されている位置まで気管支内視鏡を到達させる作業を支援することができる情報処理装置、気管支内視鏡装置、情報処理方法、及びプログラムを提供する。
本開示の技術に係る第1の態様は、プロセッサを備え、プロセッサが、気管支を示す気管支画像を含むボリュームデータに基づいて気管支の内径を導出し、気管支に挿入される気管支内視鏡の外径と内径とに基づいて、気管支内視鏡の到達位置を導出する情報処理装置である。
本開示の技術に係る第2の態様は、到達位置が、気管支内で気管支内視鏡が到達可能な限界位置である、第1の態様に係る情報処理装置である。
本開示の技術に係る第3の態様は、限界位置が、内径が外径未満となる位置、内径を基準にして定められた径が外径未満となる位置、内径が外径を基準にして定められた径未満となる位置、又は、内径を基準にして定められた径が外径を基準にして定められた径未満となる位置である、第2の態様に係る情報処理装置である。
本開示の技術に係る第4の態様は、到達位置が、気管支内の指定された目標位置までの最短経路上での位置である、第1の態様又は第2の態様に係る情報処理装置である。
本開示の技術に係る第5の態様は、目標位置が複数存在しており、到達位置が、目標位置毎に導出される、第4の態様に係る情報処理装置である。
本開示の技術に係る第6の態様は、受付装置によって受け付けられた指示に従って目標位置が定められる第4の態様又は第5の態様に係る情報処理装置である。
本開示の技術に係る第7の態様は、プロセッサが、ボリュームデータに基づいて複数の目標位置候補を導出し、目標位置が、複数の目標位置候補から受付装置によって受け付けられた指示に従って選択された少なくとも1つである、第4の態様から第6の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第8の態様は、気管支内視鏡が複数存在しており、到達位置が、気管支内視鏡毎に導出される第1の態様から第8の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第9の態様は、気管支内視鏡が複数存在しており、外径が、複数の気管支内視鏡から、受付装置によって受け付けられた指示に従って選択された気管支内視鏡の外径である、第1の態様から第8の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第10の態様は、プロセッサが、到達位置に関連する到達位置関連情報を出力する第1の態様から第9の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第11の態様は、到達位置関連情報の出力が、表示装置に対する到達位置関連情報の表示である、第10の態様に係る情報処理装置である。
本開示の技術に係る第12の態様は、到達位置関連情報が、注意喚起を促す第1アラート情報を含み、プロセッサが、到達位置、及び/又は、到達位置を基準にして定められた位置に気管支内視鏡に対応する仮想内視鏡が到達した場合に第1アラート情報を出力する第10の態様又は第11の態様に係る情報処理装置である。
本開示の技術に係る第13の態様は、プロセッサが、ボリュームデータに基づいて生成された動画像であって、気管支内を管路に沿って進んだ態様を示す動画像と到達位置関連情報とを対比可能に表示装置に対して表示させる第10の態様から第12の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第14の態様は、動画像が、複数の画像を含み、複数の画像から、気管支内の指定された位置の態様を示す画像が表示装置に表示される場合に、プロセッサが、到達位置関連情報を表示装置に対して表示させる第13の態様に係る情報処理装置である。
本開示の技術に係る第15の態様は、気管支内の指定された位置が、受付装置によって受け付けられた指示に従って選択された位置、又は、到達位置を基準にして定められた位置である、第14の態様に係る情報処理装置である。
本開示の技術に係る第16の態様は、動画像が、複数の画像を含み、到達位置関連情報が、注意喚起を促す第2アラート情報を含み、複数の画像から、気管支内の指定された位置の態様を示す画像が表示装置に表示される場合に、プロセッサが、第2アラート情報を表示装置に対して表示させる第13の態様から第15の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第17の態様は、動画像が、複数の画像を含み、到達位置関連情報が、複数の画像のうちの表示装置に表示されている画像と到達位置の態様を示す画像との関係性を示す関係性情報を含み、プロセッサが、動画像の表示内容に対応する関係性情報を表示装置に対して表示させる第13の態様から第16の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第18の態様は、到達位置関連情報が、到達位置での気管支内視鏡の操作を支援する支援情報を含む第10の態様から第17の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第19の態様は、支援情報が、内径を有する部位の位置を特定可能な情報、部位での注意事項を示す情報、及び/又は気管支内視鏡を用いた処置方法を示す情報を含む第18の態様に係る情報処理装置である。
本開示の技術に係る第20の態様は、外径が、気管支内視鏡の挿入部の外径である、第1の態様から第19の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第21の態様は、第1の態様から第20の態様の何れか1つの態様に係る情報処理装置と、気管支内視鏡と、を備える気管支内視鏡装置である。
本開示の技術に係る第22の態様は、気管支を示す気管支画像を含むボリュームデータに基づいて気管支の内径を導出すること、及び、気管支に挿入される気管支内視鏡の外径と内径とに基づいて、気管支内視鏡の到達位置を導出することを備える情報処理方法である。
本開示の技術に係る第23の態様は、コンピュータに、気管支を示す気管支画像を含むボリュームデータに基づいて気管支の内径を導出すること、及び、気管支に挿入される気管支内視鏡の外径と内径とに基づいて、気管支内視鏡の到達位置を導出することを含む処理を実行させるためのプログラムである。
内視鏡システムが用いられている態様の一例を示す概念図である。 内視鏡システムの全体構成の一例を示す概念図である。 気管支内視鏡の挿入部が被検者の管腔臓器に挿入されている態様の一例を示す概念図である。 内視鏡装置のハードウェア構成の一例を示すブロック図である。 サーバのハードウェア構成の一例を示すブロック図である。 内視鏡用処理装置のプロセッサの要部機能の一例を示すブロック図である。 サーバのプロセッサの要部機能の一例を示すブロック図である。 内視鏡装置からサーバに画像送信要求信号が送信される態様の一例を示す概念図である。 サーバの画像処理部の処理内容の一例を示す概念図である。 内視鏡装置に含まれる第1送受信部及び第1制御部の処理内容の一例を示す概念図である。 受付装置によって目標位置選択指示が受け付けられた場合の第1制御部及び第1送受信部の処理内容の一例を示す概念図である。 受付装置によって気管支内視鏡の挿入部の外径が受け付けられた場合の第1制御部及び第1送受信部の処理内容の一例を示す概念図である。 第2送受信部によって目標位置情報が受信された場合の生成部の処理内容の一例を示す概念図である。 第2送受信部によって外径情報が受信された場合の導出部の処理内容の一例を示す概念図である。 導出部によって到達位置特定情報が生成された場合の生成部の処理内容の一例を示す概念図である。 第1制御部及び第2制御部の処理内容の一例を示す概念図である。 内視鏡画像表示処理の流れの一例を示すフローチャートである。 ナビゲーション動画像表示処理の流れの一例を示すフローチャートである。 画像生成処理の流れの一例を示すフローチャートである。 第1変形例に係るサーバ内の導出部の処理内容の一例を示す概念図である。 第2変形例に係るサーバ内の画像処理部の処理内容の一例を示す概念図である。 第3変形例に係るサーバ内の導出部の処理内容の一例を示す概念図である。 第4変形例に係るサーバ内の導出部の処理内容の一例を示す概念図である。 第5変形例に係るナビゲーション動画像の一例を示す概念図である。 第6変形例に係るナビゲーション動画像の一例を示す概念図である。 内視鏡用処理装置のプロセッサの要部機能の変形例を示すブロック図である。
以下、添付図面に従って本開示の技術に係る情報処理装置、気管支内視鏡装置、情報処理方法、及びプログラムの実施形態の一例について説明する。
先ず、以下の説明で使用される文言について説明する。
CPUとは、“Central Processing Unit”の略称を指す。DSPとは、“Digital Signal Processor”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。NVMとは、“Non-volatile memory”の略称を指す。EEPROMとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。CTとは、“Computed Tomography”の略称を指す。MRIとは、“Magnetic Resonance Imaging”の略称を指す。PCとは、“Personal Computer”の略称を指す。LANとは、“Local Area Network”の略称を指す。WANとは、“Wide Area Network”の略称を指す。AIとは、“Artificial Intelligence”の略称を指す。
一例として図1に示すように、内視鏡システム10は、内視鏡装置12を備えている。内視鏡装置12は、表示装置14を有する。内視鏡装置12は、医師16等の医療従事者(以下、「ユーザ」と称する)によって用いられる。内視鏡装置12は、気管支内視鏡18を備えており、気管支内視鏡18を介して被検者20(例えば、患者)の気管支に対する診療を行うための装置である。気管支内視鏡18は、本開示の技術に係る「気管支内視鏡」の一例である。表示装置14は、本開示の技術に係る「表示装置」の一例である。
気管支内視鏡18は、医師16によって被検者20の気管支に挿入され、気管支内を撮像することで気管支内の態様を示す画像を取得して出力する。図1に示す例では、気管支内視鏡18が被検者20の鼻孔から呼吸器系の管腔臓器に挿入されている態様が示されている。なお、図1に示す例では、気管支内視鏡18が被検者20の鼻孔から呼吸器系の管腔臓器に挿入されているが、これは、あくまでも一例に過ぎず、気管支内視鏡18が被検者20の口から呼吸器系の管腔臓器に挿入されてもよい。また、本実施形態において、呼吸器系の管腔臓器とは、上気道から下気道までの空気の通り道を形成する臓器(例えば、気管及び気管支を含む臓器)を指す。以下では、呼吸器系の管腔臓器を、単に「管腔臓器」と称する。
内視鏡装置12は、マイクロフォン21を備えている。マイクロフォン21は、医師16から発せられた音声を取得し、取得した音声を示す音声信号を既定の出力先に出力する。マイクロフォン21の一例としては、ピンマイクが挙げられる。図1に示す例では、マイクロフォン21が医師16の襟元に装着されている。なお、マイクロフォン21の設置位置は、医師16の音声を取得可能な位置であればよく、医師16の口元に対して指向性を有するマイクロフォンであることが好ましい。図1に示す例では、マイクロフォン21の一例としてピンマイクが示されているが、これは、あくまでも一例に過ぎず、マイクロフォン21は、スタンドマイク又は骨伝導マイク等の他種類のマイクロフォンであってもよい。
表示装置14は、画像を含めた各種情報を表示する。表示装置14の一例としては、液晶ディスプレイ又はELディスプレイ等が挙げられる。表示装置14には、複数の画面が並べて表示される。図1に示す例では、複数の画面の一例として、第1画面22、第2画面24、及び第3画面26が示されている。
第1画面22には、気管支内視鏡18によって被検者20の管腔臓器内(例えば、気管支内)が撮像されることで得られた内視鏡画像28が表示される。内視鏡画像28の一例としては、動画像(例えば、ライブビュー画像)が挙げられる。第2画面26には、仮想画像30が表示される。仮想画像30の一例としては、動画像が挙げられる。仮想画像30は、医師16が内視鏡画像28を通して観察している管腔臓器を模した仮想的な管腔臓器内を、仮想的に設定された視点から観察された態様を示した仮想的な画像である。第3画面26には、被検者20に関する情報及び/又は内視鏡装置12の操作に関する情報等が表示される。
表示装置14には、タッチパネル31が設けられている。タッチパネル31は、表示装置14の画面に重ねられており、表示装置14の画面上でユーザからの指示を受け付ける。
一例として図2に示すように、気管支内視鏡18は、操作部32及び挿入部34を備えている。挿入部34は、管状に形成されている。挿入部34は、先端部36、湾曲部38、及び軟性部40を有する。先端部36、湾曲部38、及び軟性部40は、挿入部34の先端側から基端側にかけて、先端部36、湾曲部38、及び軟性部40の順に配置されている。軟性部40は、長尺状の可撓性を有する素材で形成されており、操作部32と湾曲部38とを連結している。湾曲部38は、操作部32が操作されることにより部分的に湾曲したり、挿入部34の軸心周りに回転したりする。この結果、挿入部34は、管腔臓器の形状(例えば、気管支の管路の形状)に応じて湾曲したり、挿入部34の軸心周りに回転したりしながら管腔臓器の奥側に送り込まれる。
先端部36には、照明装置42、内視鏡スコープ44、及び処置具用開口46が設けられている。照明装置42は、照明窓42A及び照明窓42Bを有する。照明装置42は、照明窓42A及び照明窓42Bを介して光(例えば、三原色光からなる白色光又は近赤外光等)を照射する。内視鏡スコープ44は、管腔臓器内を光学的手法で撮像する。内視鏡スコープ44の一例としては、CMOSカメラが挙げられる。CMOSカメラは、あくまでも一例に過ぎず、CCDカメラ等の他種のカメラであってもよい。
処置具用開口46は、処置具50を先端部36から突出させるための開口である。また、処置具用開口46は、血液及び体内汚物等を吸引する吸引口としても機能する。操作部32には、処置具挿入口52が形成されており、処置具50は、処置具挿入口52から挿入部34内に挿入される。処置具50は、挿入部34内を通過して処置具用開口46から外部に突出する。図2に示す例では、処置具50として、ガイドシース50A及び穿刺針50Bが示されている。ガイドシース50Aは、処置具挿入口52から挿入部34内に挿入されて処置具用開口46から外部に突出する。穿刺針50Bは、ガイドシース50A内に挿入されて、ガイドシース50Aの先端側から外部に突出する。ここでは、処置具50として、ガイドシース50A及び穿刺針50Bを例示しているが、これは、あくまでも一例に過ぎず、処置具50は、把持鉗子及び/又は超音波プローブ等であってもよく、これらがガイドシース50A内に挿入されて用いられてもよい。
内視鏡装置12は、ユニバーサルコード54、内視鏡用処理装置56、光源装置58、及び受付装置60を備えている。
ユニバーサルコード54は、基端部54A、第1先端部54B、及び第2先端部54Cを有する。基端部54Aは、操作部32に接続されている。第1先端部54Bは、内視鏡用処理装置56に接続されている。第2先端部54Cは、光源装置58に接続されている。
受付装置60は、ユーザからの指示を受け付ける。受付装置60は、マイクロフォン21(図1参照)、タッチパネル31(図1参照)、フットスイッチ62、キーボード64、及びマウス66を有する。マイクロフォン21、タッチパネル31、フットスイッチ62、キーボード64、及びマウス66は、あくまでも一例に過ぎず、受付装置60には、トラックボール及び/スマートデバイス等が含まれていてもよい。このように受付装置60に含まれる機器は、ユーザからの指示を受け付け、受け付けた指示を電気信号として出力する機器であればよい。
内視鏡用処理装置56には、受付装置60が接続されている。内視鏡用処理装置56は、受付装置60によって受け付けられた指示に従って内視鏡スコープ44との間で各種信号の授受を行ったり、光源装置58を制御したりする。内視鏡用処理装置56は、内視鏡スコープ44に対して撮像を行わせ、内視鏡スコープ44から内視鏡画像28(図1参照)を取得して出力する。光源装置58は、内視鏡用処理装置56の制御下で発光し、光を照明装置42に供給する。照明装置42には、ライトガイドが内蔵されており、光源装置58から供給された光はライトガイドを経由して照明窓42A及び42Bから照射される。
内視鏡用処理装置56には、表示装置14が接続されている。内視鏡用処理装置56は、受付装置60によって受け付けられた指示に従って表示装置14を制御する。内視鏡用処理装置56は、内視鏡スコープ44によって観察対象領域が撮像されることで得られた内視鏡画像28を表示装置14に対して表示させる(図1参照)。
内視鏡システム10は、サーバ68を備えている。サーバ68は、サーバ68の本体であるコンピュータ70と、表示装置72と、受付装置74と、を有する。コンピュータ70は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ70及び内視鏡用処理装置56は、ネットワーク75を介して互いに通信可能に接続されている。ネットワーク75の一例としては、LANが挙げられる。なお、LANは、あくまでも一例に過ぎず、ネットワーク75は、LAN及びWAN等のうちの少なくとも1つで構成されていればよい。
内視鏡用処理装置56は、サーバ68に対するクライアント端末として位置付けられている。従って、サーバ68は、ネットワーク75を介して内視鏡用処理装置56から与えられた要求に応じた処理を実行し、処理結果を、ネットワーク75を介して内視鏡用処理装置56に提供する。
表示装置72及び受付装置74は、コンピュータ70に接続されている。表示装置72は、コンピュータ70の制御下で各種情報を表示する。表示装置72の一例としては、液晶ディスプレイ又はELディスプレイ等が挙げられる。受付装置74は、サーバ68の使用者等からの指示を受け付ける。受付装置74の一例としては、キーボード及びマウス等が挙げられる。コンピュータ70は、受付装置74によって受け付けられた指示に応じた処理を実行する。
一例として図3に示すように、気管支内視鏡18の挿入部34は、被検者20の鼻孔76から管腔臓器77に挿入される。すなわち、挿入部34は、鼻孔76から、鼻腔78、咽頭80、喉頭82、及び気管84を介して気管支86に挿入される。先端部36は、気管支86内の予定された経路88に沿って気管支86の奥側に送り込まれる。気管支86の奥側に送り込まれた先端部36は、やがて、気管支86内の事前に予定されている位置90に到達する。位置90の一例としては、気管支86の内径と挿入部34の外径との大小関係から先端部36を気管支86の奥側に物理的に入れることができない位置よりも数ミリメートルだけ上流側の位置、又は、病変(例えば、気管支86の末梢部に位置する病変)に対して何らかの処置を行う位置として事前に計画された位置が挙げられる。ここで、何らかの処理の一例としては、例えば、ガイドシース50A及び穿刺針50B(図2参照)を用いた組織採取が挙げられる。
先端部36が管腔臓器77に挿入されている間、内視鏡スコープ44は、既定のフレームレートで気管支86内を撮像する。既定のフレームレートの一例としては、数十フレーム/秒(例えば、30フレーム/秒又は60フレーム/秒)が挙げられる。
一例として図4に示すように、内視鏡用処理装置56は、コンピュータ92及び入出力インタフェース94を備えている。コンピュータ92は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ92は、プロセッサ96、RAM98、及びNVM100を備えている。入出力インタフェース94、プロセッサ96、RAM98、及びNVM100は、バス102に接続されている。
プロセッサ96は、例えば、DSP、CPU、及びGPUを有しており、内視鏡用処理装置56の全体を制御する。DSP及びGPUは、CPUの制御下で動作する。プロセッサ96は、GPU機能を統合した1つ以上のCPUであってもよいし、GPU機能を統合していない1つ以上のCPUであってもよい。
RAM98は、一時的に情報が格納されるメモリであり、プロセッサ96によってワークメモリとして用いられる。NVM100は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。NVM100の一例としては、フラッシュメモリ(例えば、EEPROM及び/又はSSD)が挙げられる。なお、フラッシュメモリは、あくまでも一例に過ぎず、HDD等の他の不揮発性の記憶装置であってもよいし、2種類以上の不揮発性の記憶装置の組み合わせであってもよい。
入出力インタフェース94には、受付装置60が接続されており、プロセッサ96は、受付装置60によって受け付けられた指示を、入出力インタフェース94を介して取得し、取得した指示に応じた処理を実行する。
入出力インタフェース94には、内視鏡スコープ44が接続されている。プロセッサ96は、入出力インタフェース94を介して内視鏡スコープ44を制御したり、内視鏡スコープ44によって被検者20の管腔臓器77内が撮像されることで得られた内視鏡画像28(図1参照)を、入出力インタフェース94を介して取得したりする。
入出力インタフェース94には、光源装置58が接続されている。プロセッサ96は、入出力インタフェース94を介して光源装置58を制御することで、照明装置42に光を供給したり、照明装置42に供給する光の光量を調節したりする。
入出力インタフェース94には、表示装置14が接続されており、プロセッサ96は、入出力インタフェース94を介して表示装置14を制御することで、表示装置14に対して各種情報を表示させる。例えば、プロセッサ96は、表示装置14に対して内視鏡画像28及び仮想画像30を表示させる。
内視鏡装置12は、通信モジュール104を備えている。通信モジュール104は、入出力インタフェース94に接続されている。通信モジュール104は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信モジュール104は、ネットワーク75に接続されており、プロセッサ96とサーバ68のコンピュータ70との間の通信を司る。
一例として図5に示すように、サーバ68は、コンピュータ70、表示装置72、及び受付装置74の他に、入出力インタフェース94(図4参照)と同様の入出力インタフェース106、及び通信モジュール104と同様の通信モジュール108を備えている。コンピュータ70は、プロセッサ96と同様のプロセッサ110、RAM98(図4参照)と同様のRAM112、及びNVM100(図4参照)と同様のNVM114を備えている。バス116には、入出力インタフェース106、プロセッサ110、RAM112、及びNVM114が接続されている。
入出力インタフェース106には、表示装置72が接続されており、プロセッサ110は、入出力インタフェース106を介して表示装置72を制御することで、表示装置72に対して各種情報を表示させる。
入出力インタフェース106には、受付装置74が接続されており、プロセッサ110は、受付装置74によって受け付けられた指示を、入出力インタフェース106を介して取得し、取得した指示に応じた処理を実行する。
入出力インタフェース106には、通信モジュール108が接続されている。通信モジュール108は、ネットワーク75に接続されており、通信モジュール104と協働することにより、サーバ68のプロセッサ110と内視鏡用処理装置56のプロセッサ96との間の通信を司る。
なお、内視鏡用処理装置56及びサーバ68は、本開示の技術に係る「情報処理装置」の一例である。また、プロセッサ96及び110は、本開示の技術に係る「プロセッサ」の一例である。
ところで、気管支86の末梢部に病変が存在していることが判明しており、気管支86の末梢部の病変に対して気管支内視鏡18を用いて何らかの処置(例えば、組織採取)を行う場合、気管支86の末梢部に近い位置まで気管支内視鏡18の先端部36を到達させることが好ましい。なぜならば、気管支内視鏡18の先端部36から処置具50を突出させ、突出させた処置具50を用いて病変に対する処理を行うからである。
しかし、気管支86の内径が挿入部34の外径よりも小さいために、気管支内視鏡18の先端部36を気管支86の末梢部に到達させることが物理的に難しい場面がある。このような場面に遭遇することを事前にユーザに把握させること(すなわち、気管支内視鏡18の先端部36を気管支86内のどの位置まで到達させることが物理的に可能なのかをユーザに把握させること)は、病変に対して気管支内視鏡18を用いた処置を行う上で重要である。例えば、ユーザが、例えば、ガイドシース50Aを用いた処置を計画している場合、気管支86内において気管支内視鏡18の先端部36からガイドシース50Aを突出させる位置として適切な位置を計画しておき、計画した位置に気管支内視鏡18の先端部36を到達させることは、ガイドシース50Aを用いた処理を行う上で効果的である。
そこで、このような事情に鑑み、本実施形態では、内視鏡用処理装置56のプロセッサ96によってナビゲーション動画像表示処理及び内視鏡画像表示処理が行われ(図6、図17、及び図18参照)、かつ、サーバ68のプロセッサ110によって画像生成処理(図19参照)が行われる。
一例として図6に示すように、NVM100には、ナビゲーション動画像表示プログラム118が記憶されている。ナビゲーション動画像表示プログラム118は、本開示の技術に係る「プログラム」の一例である。プロセッサ96は、NVM100からナビゲーション動画像表示プログラム118を読み出し、読み出したナビゲーション動画像表示プログラム118をRAM98上で実行することによりナビゲーション動画像表示処理を行う。ナビゲーション動画像表示処理は、プロセッサ96がナビゲーション動画像表示プログラム118に従って第1送受信部96A及び第1制御部96Bとして動作することによって実現される。
また、NVM100には、内視鏡画像表示プログラム120が記憶されている。プロセッサ96は、NVM100から内視鏡画像表示プログラム120を読み出し、読み出した内視鏡画像表示プログラム120をRAM98上で実行することにより内視鏡画像表示処理を行う。内視鏡画像表示処理は、プロセッサ96が内視鏡画像表示プログラム120に従って第2制御部96Cとして動作することによって実現される。
一例として図7に示すように、NVM114には、画像生成プログラム122が記憶されている。画像生成プログラム122は、本開示の技術に係る「プログラム」の一例である。プロセッサ110は、NVM114から画像生成プログラム122を読み出し、読み出した画像生成プログラム122をRAM112上で実行することにより画像生成処理を行う。画像生成処理は、プロセッサ110が画像生成プログラム122に従って第2送受信部110A、画像処理部110B、生成部110C、及び導出部110Dとして動作することによって実現される。
一例として図8に示すように、内視鏡装置56において、受付装置60は、ユーザからの画像送信要求指示124を受け付ける。画像送信要求指示124は、サーバ68に対して画像に送信を要求する指示である。第1送受信部96Aは、受付装置60によって受け付けられ得た画像送信要求指示124を示す信号である画像送信要求指示信号126をサーバ68に送信する。サーバ68において、第2送受信部110Aは、第1送受信部96Aから送信された画像送信要求指示信号126を受信する。第2送受信部110Aによって画像送信要求指示信号126が受信されると、図9及び図10に示す処理がサーバ68のプロセッサ110によって行われる。
一例として図9に示すように、サーバ68において、NVM114には、ボリュームデータ128が記憶されている。ボリュームデータ128は、本開示の技術に係る「ボリュームデータ」の一例である。ボリュームデータ128は、モダリティによって被検者20の全身又は一部(例えば、胸部)が撮像されることで得られた複数の2次元スライス画像が積み重ねられてボクセルで規定された3次元画像である。各ボクセルの位置は3次元座標によって特定される。モダリティの一例としては、CT装置が挙げられる。CT装置は、一例に過ぎず、モダリティの他の例としては、MRI装置又は超音波診断装置等が挙げられる。
ボリュームデータ128には、仮想管腔臓器130Aを示す3次元画像である管腔臓器ボリュームデータ130が含まれている。仮想管腔臓器130Aとは、被検者20の管腔臓器77を模した仮想的な管腔臓器を指す。なお、管腔臓器ボリュームデータ130は、本開示の技術に係る「気管支画像」の一例である。
画像処理部110Bは、ボリュームデータ128から管腔臓器ボリュームデータ130を抽出し、管腔臓器ボリュームデータ130から複数の管腔臓器経路132を取得する。複数の管腔臓器経路132は、管腔臓器ボリュームデータ130に対して細線化処理が行われることによって生成される。管腔臓器経路132は、仮想管腔臓器130Aの横断面視の中央を通る3次元ラインである。仮想管腔臓器130Aの横断面視の中央を通る3次元ラインは、管腔臓器ボリュームデータ130が細線化されることによって得られる。管腔臓器経路132の本数は、管腔臓器ボリュームデータ130により示される気管支86(図3参照)の末梢の個数に対応している。また、各管腔臓器経路132は、対応する気管支86の末梢までの最短経路である。なお、管腔臓器経路132は、本開示の技術に係る「最短経路」の一例である。
画像処理部110Bは、経路付き管腔臓器ボリュームデータ136を生成し、生成した経路付き管腔臓器ボリュームデータ136をNVM114に格納する。経路付き管腔臓器ボリュームデータ136は、管腔臓器ボリュームデータ130と複数の管腔臓器経路132とが統合されることによって得られる3次元画像である。
一例として図10に示すように、サーバ68において、画像処理部110Bによって生成された経路付き管腔臓器ボリュームデータ136は、第2送受信部110Aによって内視鏡装置12に送信される。内視鏡装置12において、第1送受信部96Aは、第2送受信部110Aから送信された経路付き管腔臓器ボリュームデータ136を受信する。
内視鏡装置12において、第1制御部96Bは、第1送受信部96Aによって受信された経路付き管腔臓器ボリュームデータ136に基づいて経路付き管腔臓器画像138を生成し、表示装置14に対して経路付き管腔臓器画像138を表示させる。経路付き管腔臓器画像138は、経路付き管腔臓器ボリュームデータ136が表示装置14の画面14Aにレンダリングされた画像である。経路付き管腔臓器画像138は、管腔臓器画像140と管腔臓器経路142とが統合されることによって得られるレンダリング画像である。管腔臓器画像140は、管腔臓器ボリュームデータ130に対応するレンダリング画像であり、管腔臓器経路142は、管腔臓器経路132に対応するレンダリング画像である。
第1制御部96Bは、座標対応情報144を生成してNVM100に格納する。座標対応情報144は、レンダリング前の3次元座標(すなわち、経路付き管腔臓器ボリュームデータ136の3次元座標)とレンダリング後の2次元座標(すなわち、経路付き管腔臓器画像138の2次元座標)とを対応付けた情報である。
一例として図11に示すように、表示装置14の画面14Aに経路付き管腔臓器画像138が表示されている状態で、受付装置60は、ユーザから目標位置選択指示146を受け付ける。図11に示す例では、タッチパネル31によって目標位置選択指示146が受け付けられている。ここでは、目標位置選択指示146がタッチパネル31によって受け付けられる形態例を挙げているが、これは、あくまでも一例に過ぎず、マイクロフォン21、フットスイッチ62、キーボード64、及び/又はマウス66(図2参照)等によって目標位置選択指示146が受け付けられてもよい。
目標位置選択指示146は、管腔臓器画像140内での目標位置148を選択する指示である。目標位置148の一例としては、画面14Aに表示されている経路付き管腔臓器画像138内のうち、管腔臓器77(図3参照)内において病変が存在している箇所(すなわち、気管支内視鏡18を用いた処置を予定している病変が存在している箇所)に相当する位置が挙げられる。図11に示す例では、複数の管腔臓器経路142のうちの1つの管腔臓器経路142上の末梢(例えば、気管支86の末梢)に相当する位置が目標位置148として例示されている。なお、ここでは、1つの管腔臓器経路142上の末梢に相当する位置が目標位置148として選択される形態例を挙げているが、これは、あくまでも一例に過ぎず、2つ以上の管腔臓器経路142上の複数の位置の各々が目標位置148として選択されてもよい。
タッチパネル31によって目標位置選択指示146が受け付けられると、第1制御部96Bは、タッチパネル31から目標位置情報150Aを取得する。目標位置情報150Aは、目標位置選択指示146によって選択された目標位置148を特定する座標である。第1制御部96Bは、NVM100から座標対応情報144を取得し、座標対応情報144を参照して、目標位置情報150Aを目標位置情報150Bに変換する。目標位置情報150Aから目標位置情報150Bへの変換は、座標対応情報144から、目標位置情報150Aに対応する3次元座標が目標位置情報150Bとして取得されることによって実現される。第1送受信部96Aは、第1制御部96Bによって取得された目標位置情報150Bをサーバ68に送信する。サーバ68において、第2送受信部110Aは、第1送受信部96Aから送信された目標位置情報150Bを受信する。
タッチパネル31による目標位置選択指示146の受け付けが完了すると、第1制御部96Bは、表示装置14に対して案内画面14Bを表示させる。案内画面14Bは、気管支内視鏡18の外径αの内視鏡用処理装置56への入力をユーザに対して案内する画面である。外径αは、挿入部34の外径である。挿入部34の外径とは、例えば、挿入部34の軸心方向(換言すると、挿入部34の長手方向)の部分において最も太い箇所の外径(図12に示す例では、先端部36の外径)を指す。
案内画面14Bには、案内メッセージ14B1、外径入力領域14B2、及び確定キー14B3が表示される。案内メッセージ14B1は、外径αの入力を促すメッセージである。図12に示す例では、「気管支内視鏡の外径を入力して下さい。」というメッセージが示されているが、これは、あくまでも一例に過ぎず、気管支内視鏡18の外径の入力を促すメッセージであれば如何なるメッセージであってもよい。外径入力領域14B2は、気管支内視鏡18の外径を入力する領域である。外径αが受付装置60によって受け付けられると、受け付けられた外径αが外径入力領域14B2に表示される。
なお、外径入力領域14B2は、プルダウンメニュー方式の入力領域であってもよい。この場合、例えば、プルダウンメニューに複数の外径αが表示され、表示された複数の外径αから1つの外径αが選択されることによって、選択された外径αが外径入力領域14B2に表示されるようにしてもよい。また、例えば、プルダウンメニューに複数種類の気管支内視鏡18が表示され、表示された複数種類の気管支内視鏡18から1つの気管支内視鏡18が選択されることによって、選択された気管支内視鏡18の外径αが外径入力領域14B2に表示されるようにしてもよい。また、内視鏡用処理装置56に気管支内視鏡18が接続された場合に、内視鏡用処理装置56に接続された気管支内視鏡18が保持している情報(例えば、気管支内視鏡18に対して付与されている固有の識別子等)から、第1制御部96B又はプロセッサ110等によって、内視鏡用処理装置56に接続された気管支内視鏡18が認識されるようにしてもよい。この場合、認識された気管支内視鏡18の機種名及び外径等が表示され、ユーザが表示内容を確認した上で受付装置60を介して「OK」の指示を内視鏡用処理装置56及び/又はサーバ68に対して与えるようにしてもよい。
確定キー14B3は、外径入力領域14B2に入力された外径αを確定する場合にユーザによってオンされるソフトキーである。確定キー14B3に対する操作は、ユーザからの指示が受付装置60によって受け付けられることで実現される。
受付装置60によって外径αが受け付けられると、第1制御部96Bは、受付装置60によって受け付けられた外径αを外径入力領域14B2に表示する。そして、外径入力領域14B2に外径αが表示されている状態で、第1制御部96Bは、確定キー14B3がオンされると、外径入力領域14B2に表示されている外径αを示す外径情報152を生成する。第1送受信部96Aは、第1制御部96Bによって生成された外径情報152をサーバ68に送信する。サーバ68において、第2送受信部110Aは、第1送受信部96Aによって送信された外径情報152を受信する。
一例として図13に示すように、サーバ68において、生成部110Cは、第2送受信部110Aによって受信された目標位置情報150Bと、NVM114に格納されている経路付き管腔臓器ボリュームデータ136とに基づいてナビゲーション動画像154を生成する。
ここで、ナビゲーション動画像154の具体的な生成方法の一例を説明する。先ず、生成部110Cは、目標位置情報150Bを参照して、複数の管腔臓器経路132(図9参照)から、目標位置情報150Bに対応する管腔臓器経路132Aを選択する。管腔臓器経路132Aは、複数の管腔臓器経路132のうちの目標位置情報150Bから特定される目標位置132A1を有する1本の管腔臓器経路132である。つまり、管腔臓器経路132Aは、複数の管腔臓器経路132のうちの目標位置情報150B(すなわち、ユーザによって選択された目標位置148(図11参照)を特定する3次元座標)を含む1本の管腔臓器経路132である。
次に、生成部110Cは、目標位置132A1までの管腔臓器経路132A沿いの管腔臓器ボリュームデータ130に基づいてナビゲーション動画像154を生成する。目標位置132A1までの管腔臓器経路132A沿いの管腔臓器ボリュームデータ130とは、管腔臓器経路132Aが通る仮想管腔臓器130Aを示す管腔臓器ボリュームデータ130(すなわち、管腔臓器ボリュームデータ130のうち、管腔臓器経路132Aを生成するための細線化処理が行われた部分)を指す。
ナビゲーション動画像154は、図1に示す仮想画像30の一例である。ナビゲーション動画像154は、管腔臓器ボリュームデータ130により示される仮想管腔臓器130A内の管腔臓器経路132A上に設けられた仮想的な視点156から、仮想管腔臓器130A内の奥側(すなわち、管腔臓器経路132Aの終端方向)を観察した態様を示す動画像である。つまり、ナビゲーション動画像154は、視点156が仮想管腔臓器130A内を管腔臓器経路132Aに沿って進んだ態様を示す動画像である。視点156は、換言すると、気管支内視鏡18の先端部36の内視鏡スコープ44に対応する仮想的な内視鏡スコープである。内視鏡スコープ44が物理カメラであるのに対し、仮想的な内視鏡スコープは仮想カメラである。なお、視点156は、本開示の技術に係る「気管支内視鏡に対応する仮想内視鏡」の一例である。
ナビゲーション動画像154は、管腔臓器経路132Aの始点から終点にかけて既定のフレームレートに従って得られた複数のフレーム158を含む。フレーム158は、単一の画像である。複数のフレーム158は、視点156が進む方向(すなわち、管腔臓器経路132Aの終端方向)に沿って時系列に並べられている。また、各フレーム158には、メタデータ159が付与されており、メタデータ159には、各フレーム158が管腔臓器経路132Aのどの位置に対応しているかを特定可能な3次元座標、及びフレーム158を特定可能な識別子であるフレーム識別子等が含まれている。また、仮想管腔臓器130A内の分枝の位置に対応するフレーム158のメタデータ159には、仮想管腔臓器130A内の分枝を特定可能な識別子である分枝識別子が含まれている。複数のフレーム158は、本開示の技術に係る「複数の画像」の一例である。また、視点156は、本開示の技術に係る「仮想内視鏡」の一例である。
一例として図14に示すように、サーバ68において、導出部110Dは、第2送受信部110Aによって受信された外径情報152により示される外径α(図12参照)と、管腔臓器経路132Aが通る仮想管腔臓器130A内の内径βとに基づいて限界到達位置132A2を導出する。限界到達位置132A2とは、気管支86内で気管支内視鏡18(例えば、気管支内視鏡18のうちの先端部36)が到達可能な位置を指す。また、限界到達位置132A2の導出とは、目標位置132A1までの管腔臓器経路132A沿いの管腔臓器ボリュームデータ130から、限界到達位置132Aの内径β及び座標160を得ることを指す。限界到達位置132A2は、本開示の技術に係る「到達位置」及び「限界位置」の一例である。
ここで、限界到達位置132A2の具体的な導出方法の一例を説明する。先ず、導出部110Dは、管腔臓器経路132Aが通る仮想管腔臓器130Aを示す管腔臓器ボリュームデータ130に基づいて、管腔臓器経路132Aに沿って一定の間隔(例えば、数画素~数十画素間隔)で仮想管腔臓器130Aの内径βを導出する。また、導出部110Dは、管腔臓器ボリュームデータ130から、内径βの位置を特定可能な3次元座標を座標160として取得し、取得した座標160と、対応する内径βとを関連付けて保持する。そして、導出部110Dは、管腔臓器経路132A上の複数の内径βと外径αとを比較することにより、内径βが外径α未満となる位置を限界到達位置132A2として導出する。すなわち、導出部110Dは、管腔臓器経路132Aにおいて“内径β<外径α”の大小関係が成立する最も上流側の位置を限界到達位置132A2として導出する。
このように、導出部110Dが限界到達位置132A2を導出すると、一例として図15に示すように、導出部110Dは、限界到達位置132A2を特定可能な到達位置特定情報162を生成する。到達位置特定情報162には、限界到達位置132A2の内径βと、対応する座標160とが含まれている。
生成部110Cは、導出部110Dによって生成された到達位置特定情報162に基づいて、限界到達位置132A2に関連する情報である限界到達関連情報164を生成する。限界到達関連情報164は、本開示の技術に係る「到達位置関連情報」の一例である。
生成部110Cは、生成した限界到達関連情報164と、ナビゲーション動画像154に含まれる複数のフレーム158のうちの限界到達関連情報164に対応するフレーム158を基準に定められた既定枚数(例えば、数十~数百の範囲内で指定された枚数)のフレーム158とに基づいて既定枚数の合成画像158Aを生成する。
既定枚数のフレーム158とは、限界到達関連情報164に含まれる座標160から特定される限界到達位置132A2に対応するフレーム158を含めて既定枚数分遡った期間内に得られた複数のフレーム158を指す。生成部110Cは、各フレーム158のメタデータ159(図13参照)と到達位置特定情報162とに基づいて既定枚数のフレーム158を特定する。既定枚数は、フレームレート等に応じて定められた固定値であってもよいし、受付装置60又は74によって受け付けられた指示及び/又は撮像条件等に応じて変更される可変値であってもよい。既定枚数の合成画像158Aは、既定枚数のフレーム158の各々に対して限界到達関連情報164が重畳されることによって生成される。
限界到達関連情報164には、色付きマーク164A、注意喚起メッセージ164B、及び数値164Cが含まれる。色付きマーク164Aは、限界到達位置132A2に位置する仮想的な気管支の孔部を覆う色付きの円形マーク(例えば、半透明色付きの円形マーク)である。色付きマーク164Aの態様(例えば、色及び/又はサイズ等)は、視点156(図13参照)の位置と限界到達位置132A2の内径βとに応じて定まる。
注意喚起メッセージ164Bは、ユーザに対して注意喚起を促すメッセージである。図15に示す例では、「挿入注意」というメッセージが示されているが、これは、あくまでも一例に過ぎない。例えば、注意喚起メッセージ164Bは、フレーム158に限界到達位置132A2が写っていることを報知するメッセージであってもよいし、気管支内視鏡18の操作に注意が必要であることを報知するメッセージであってもよく、ユーザに対して注意喚起を促すメッセージであればよい。数値164Cは、限界到達位置132A2の内径βを示す数値である。
なお、色付きマーク164Aは、本開示の技術に係る「内径を有する部位の位置を特定可能な情報」の一例である。また、注意喚起メッセージ164Bは、本開示の技術に係る「第1アラート情報」及び「部位での注意事項を示す情報」の一例である。
このように、既定枚数の合成画像158Aを含むナビゲーション動画像154が生成部110Cによって生成されると、第2送受信部110Aは、生成されたナビゲーション動画像154を内視鏡装置12に送信する。内視鏡装置12において、第1送受信部96Aは、第2送受信部110Aから送信されたナビゲーション動画像154を受信する。
一例として図16に示すように、内視鏡装置12において、第2制御部96Cは、内視鏡スコープ44から、実際に観察される被検体(例えば、体内)の画像である実動画像166を取得する。実動画像166は、図1に示す内視鏡画像28の一例である。実動画像166は、内視鏡スコープ44によって経路88(図3参照)に沿って管腔臓器77(図3参照)内が撮像されることによって得られる動画像(ここでは、一例として、ライブビュー画像)である。実動画像166は、経路88の始点から終点にかけて既定のフレームレートに従って撮像されることによって得られた複数のフレーム168を含む。フレーム168は、単一の画像である。第2制御部96Cは、複数のフレーム168を時系列で表示装置14に出力することで、表示装置14の第1画面22に実動画像166を表示する。
内視鏡装置12において、第1制御部96Bは、第1送受信部96Aによって受信されたナビゲーション動画像154に含まれる複数のフレーム158を時系列で表示装置14に出力することで、表示装置14の第2画面24にナビゲーション動画像154を表示する。
第2画面24には、視点156(図13参照)が限界到達位置132A2を基準にして定められた位置(例えば、限界到達位置132A2よりも既定枚数分遡ったフレーム158に対応する位置)に到達した場合に、合成画像158Aが表示される。合成画像158Aが表示されるということは、フレーム158と共に限界到達関連情報164も表示されることを意味する。また、合成画像158Aが表示されるということは、フレーム158と限界到達関連情報164とが対比可能に表示されることを意味する。
なお、ナビゲーション動画像154の表示を進める速度は、ユーザ(例えば、医師16の音声による指示)からの指示が受付装置60によって受け付けられない限り、基本的には一定の速度である。一定の速度の一例としては、管腔臓器経路132Aの始点から終点までの距離と、視点156が管腔臓器経路132Aの始点から終点までの移動に要するデフォルトの時間とから算出される速度が挙げられる。
また、ナビゲーション動画像154の表示を進める速度を含めた表示態様は、ユーザからの指示(例えば、医師16の音声による指示)が受付装置60によって受け付けられたことを条件に変更される。例えば、ナビゲーション動画像154の表示を進める速度は、受付装置60によって受け付けられた指示に従って変更される。ナビゲーション動画像154の表示を進める速度の変更は、いわゆる早送り、コマ送り、及びスロー再生等によって実現される。なお、ナビゲーション動画像154の表示態様は、ユーザからの指示が解除されたことを条件にデフォルトの表示態様に戻る。
次に、内視鏡システム10の作用について図17~図19を参照しながら説明する。
先ず、内視鏡スコープ44が被検者20の管腔臓器77に挿入された場合に内視鏡用処理装置56のプロセッサ96によって行われる内視鏡画像表示処理の流れの一例について図17を参照しながら説明する。なお、ここでは、内視鏡スコープ44が経路88(図3参照)に沿って既定のフレームレートに従って撮像を行うことで実動画像166(図16参照)をライブビュー画像として取得することを前提として説明する。
図17に示す内視鏡画像表示処理では、先ず、ステップST10で、第2制御部96Cは、内視鏡スコープ44によって1フレーム分の撮像が行われたか否かを判定する。ステップST10において、内視鏡スコープ44によって1フレーム分の撮像が行われていない場合は、判定が否定されて、内視鏡画像表示処理は、ステップST16へ移行する。ステップST10において、内視鏡スコープ44によって1フレーム分の撮像が行われた場合は、判定が肯定されて、内視鏡画像表示処理は、ステップST12へ移行する。
ステップST12で、第2制御部96Cは、内視鏡スコープ44によって1フレーム分の撮像が行われることで得られたフレーム168を取得する(図16参照)。ステップST12の処理が実行された後、内視鏡画像表示処理は、ステップST14へ移行する。
ステップST14で、第2制御部96Cは、ステップST12で取得したフレーム168を第1画面22に表示する(図16参照)。ステップST14の処理が実行された後、内視鏡画像表示処理は、ステップST16へ移行する。
ステップST16で、第2制御部96Cは、内視鏡画像表示処理を終了させる条件(以下、「内視鏡画像表示処理終了条件」と称する)を満足したか否かを判定する。内視鏡画像表示処理終了条件の一例としては、内視鏡画像表示処理を終了させる指示が受付装置60によって受け付けられたという条件が挙げられる。ステップST16において、内視鏡画像表示処理終了条件を満足していない場合は、判定が否定されて、内視鏡画像表示処理はステップST10へ移行する。ステップST16において、内視鏡画像表示処理終了条件を満足した場合は、判定が肯定されて、内視鏡画像表示処理が終了する。
次に、ナビゲーション動画像表示処理の実行を開始する指示が受付装置60によって受け付けられた場合に内視鏡用処理装置56のプロセッサ96によって行われるナビゲーション動画像表示処理の流れの一例について図18を参照しながら説明する。
図18に示すナビゲーション動画像表示処理では、先ず、ステップST20で、第1送受信部96Aは、受付装置60によって画像送信要求指示124が受け付けられたか否かを判定する。ステップST20において、受付装置60によって画像送信要求指示124が受け付けられていない場合は、判定が否定されて、ステップST20の判定が再び行われる。ステップST20において、受付装置60によって画像送信要求指示124が受け付けられた場合は、判定が肯定されて、ナビゲーション動画像表示処理はステップST22へ移行する。
ステップST22で、第1送受信部96Aは、受付装置60によって受け付けられた画像送信要求指示124を示す画像送信要求指示信号126をサーバ68に送信する。ステップST22の処理が実行された後、ナビゲーション動画像表示処理はステップST24へ移行する。
ステップST22の処理が実行されることによって画像送信要求指示信号126がサーバ68に送信されると、これに応じて、サーバ68の第2送受信部110Aが経路付き管腔臓器ボリュームデータ136を内視鏡装置12に送信する(図10及び図19のステップST54参照)。
ステップST24で、第1送受信部96Aは、サーバ68の第2送受信部110Aから送信された経路付き管腔臓器ボリュームデータ136が通信モジュール104(図4及び図5参照)によって受信されたか否かを判定する。ステップST24において、サーバ68の第2送受信部110Aから送信された経路付き管腔臓器ボリュームデータ136が通信モジュール104によって受信されていない場合は、判定が否定されて、ステップST24の判定が再び行われる。ステップST24において、サーバ68の第2送受信部110Aから送信された経路付き管腔臓器ボリュームデータ136が通信モジュール104によって受信された場合は、判定が肯定されて、ナビゲーション動画像表示処理はステップST26へ移行する。
ステップST26で、第1制御部96Bは、経路付き管腔臓器ボリュームデータ136に基づいて経路付き管腔臓器画像138を生成し、表示装置14に対して経路付き管腔臓器画像138を表示させる(図10参照)。ステップST26の処理が実行された後、ナビゲーション動画像表示処理はステップST28へ移行する。
ステップST28で、第1制御部96Bは、受付装置60によって目標位置選択指示146(図11参照)が受け付けられたか否かを判定する。ステップST28において、受付装置60によって目標位置選択指示146が受け付けられていない場合は、判定が否定されて、ステップST28の判定が再び行われる。ステップST28において、受付装置60によって目標位置選択指示146が受け付けられた場合は、判定が肯定されて、ナビゲーション動画像表示処理はステップST30へ移行する。
ステップST30で、第1制御部96Bは、表示装置14に対して案内画面14B(図12参照)を表示させる。ステップST30の処理が実行された後、ナビゲーション動画像表示処理はステップST32へ移行する。
ステップST32で、第1制御部96Bは、受付装置60によって外径α(図12参照)が受け付けられたか否かを判定する。ステップST32において、受付装置60によって外径αが受け付けられていない場合は、判定が否定されて、ステップST32の判定が再び行われる。ステップST32において、受付装置60によって外径αが受け付けられた場合は、判定が肯定されて、ナビゲーション動画像表示処理はステップST34へ移行する。
ステップST34で、第1制御部96Bは、受付装置60によって受け付けられた目標位置選択指示146に応じた目標位置情報150Bを生成する(図11参照)。また、第1制御部96Bは、受付装置60によって受け付けられた外径αを示す外径情報152を生成する(図12参照)。そして、第1制御部96Bは、目標位置情報150B及び外径情報152をサーバ68に送信する(図11及び図12参照)。ステップST34の処理が実行された後、ナビゲーション動画像表示処理はステップST36へ移行する。
ステップST34の処理が実行されることによって目標位置情報150B及び外径情報152がサーバ68に送信されると、これに応じて、サーバ68の生成部110Cがナビゲーション動画像154を生成し、第2送受信部110Aがナビゲーション動画像154を内視鏡装置12に送信する(図15及び図19のステップST64参照)。
ステップST36で、第1送受信部96Aは、サーバ68の第2送受信部110Aから送信されたナビゲーション動画像154が通信モジュール104(図4及び図5参照)によって受信されたか否かを判定する。ステップST36において、サーバ68の第2送受信部110Aから送信されたナビゲーション動画像154が通信モジュール104によって受信されていない場合は、判定が否定されて、ステップST36の判定が再び行われる。ステップST36において、サーバ68の第2送受信部110Aから送信されたナビゲーション動画像154が通信モジュール104によって受信された場合は、判定が肯定されて、ナビゲーション動画像表示処理はステップST38へ移行する。
ステップST38で、第1制御部96Bは、ナビゲーション動画像154を表示装置14に対して表示させる(図16参照)。ステップST38の処理が実行された後、ナビゲーション動画像表示処理が終了する。
次に、画像生成処理の実行を開始する指示が受付装置60又は74によって受け付けられた場合にサーバ68のプロセッサ110によって行われる画像生成処理の流れの一例について図19を参照しながら説明する。なお、図19に示す画像生成処理の流れは、本開示の技術に係る「情報処理方法」の一例である。
図19に示す画像生成処理では、先ず、ステップST50で、第2送受信部110Aは、図18に示すステップST22の処理が実行されることによって第1送受信部96Aから送信された画像送信要求指示信号126が通信モジュール108(図5参照)によって受信されたか否かを判定する。ステップST50において、画像送信要求指示信号126が通信モジュール108によって受信されていない場合は、判定が否定されて、ステップST50の判定が再び行われる。ステップST50において、画像送信要求指示信号126が通信モジュール108によって受信された場合は、判定が肯定されて、画像生成処理はステップST52へ移行する。
ステップST52で、画像処理部110Bは、ボリュームデータ128から管腔臓器ボリュームデータ130を抽出する(図9参照)。ステップST52の処理が実行された後、画像生成処理はステップST54へ移行する。
ステップST54で、画像処理部110Bは、ステップST52でボリュームデータ128から抽出した管腔臓器ボリュームデータ130に基づいて経路付き管腔臓器ボリュームデータ136を生成する(図9参照)。そして、第2送受信部110Aは、画像処理部110Bによって生成された経路付き管腔臓器ボリュームデータ136を内視鏡装置12に送信する(図10参照)。ステップST54の処理が実行された後、画像生成処理はステップST56へ移行する。
ステップST56で、第2送受信部110Aは、図18に示すステップST34の処理が実行されることによって第1送受信部96Aから送信された目標位置情報150B及び外径情報152が通信モジュール108(図5参照)によって受信されたか否かを判定する。ステップST56において、目標位置情報150B及び外径情報152が通信モジュール108によって受信されていない場合は、判定が否定されて、ステップST56の判定が再び行われる。ステップST56において、目標位置情報150B及び外径情報152が通信モジュール108によって受信された場合は、判定が肯定されて、画像生成処理はステップST58へ移行する。
ステップST58で、導出部110Dは、目標位置情報150Bを参照して、複数の管腔臓器経路132(図9参照)から、目標位置情報150Bに対応する管腔臓器経路132Aを選択する。そして、導出部110Dは、管腔臓器経路132Aが通る仮想管腔臓器130Aを示す管腔臓器ボリュームデータ130に基づいて、管腔臓器経路132Aに沿って一定の間隔(例えば、数画素~数十画素間隔)で仮想管腔臓器130Aの内径βを導出する。ステップST58の処理が実行された後、画像生成処理はステップST60へ移行する。
ステップST60で、導出部110Dは、外径情報152により示される外径αと内径βとに基づいて限界到達位置132A2を導出する。ステップST60の処理が実行された後、画像生成処理はステップST62へ移行する。
ステップST62で、生成部110Cは、ステップST60で導出された限界到達位置132A2の内径β及び座標160を含む到達位置特定情報162と、管腔臓器経路132Aが通る仮想管腔臓器130Aを示す管腔臓器ボリュームデータ130とに基づいて、ナビゲーション動画像154を生成する(図15参照)。ナビゲーション動画像154には、既定枚数の合成画像158Aが含まれている。合成画像158Aは、フレーム158に対して、到達位置特定情報162に基づいて生成された限界到達関連情報164が重畳された画像である(図15参照)。ステップST62の処理が実行された後、画像生成処理はステップST64へ移行する。
ステップST64で、第2送受信部110Aは、ステップST62で生成されたナビゲーション動画像154を内視鏡装置12に送信する(図15参照)。これにより、内視鏡装置12の第1送受信部96Aによってナビゲーション動画像154が受信され(図15参照)、第1制御部96Bによって第2画面24にナビゲーション動画像154が表示される(図16及び図18のステップST36参照)。ステップST64の処理が実行された後、画像生成処理が終了する。
以上説明したように、内視鏡システム10では、管腔臓器経路132Aが通る仮想管腔臓器130Aを示す管腔臓器ボリュームデータ130に基づいて、管腔臓器経路132Aに沿って一定の間隔で仮想管腔臓器130Aの内径βが導出される。そして、気管支86に挿入される気管支内視鏡18の挿入部34の外径αと内径βとに基づいて限界到達位置132A2(図14参照)が導出される。従って、気管支86内で予定されている位置90(例えば、限界到達位置132A2を基準にして定められた位置)まで気管支内視鏡18(例えば、先端部36)を到達させる作業を支援することができる。
また、限界到達位置132A2は、仮想管腔臓器130A内の管腔臓器経路132A上において“内径β<外径α”という大小関係が成立する位置である。従って、気管支内視鏡18の先端部36が到達可能な位置(例えば、気管支86内で気管支内視鏡18の先端部36を挿入することができる限界位置)を基準にして定められた位置(例えば、図3に示す位置90)まで気管支内視鏡18を到達させる作業を支援することができる。また、気管支86内において気管支内視鏡18の先端部36が物理的に挿入可能な位置を限界位置として特定することができる。
また、管腔臓器経路132Aは目標位置132A1までの最短経路であり、限界到達位置132A2は、管腔臓器経路132A上の位置である。従って、管腔臓器77内の目標とする位置(例えば、気管支86の末梢の位置に相当する位置)までの最短経路上において予定されている位置90(例えば、限界到達位置132A2を基準にして定められた位置)まで気管支内視鏡18を到達させる作業を支援することができる。
また、目標位置148は、受付装置60によって受け付けられた目標位置選択指示146に従って定められている。従って、管腔臓器77内の目標とする位置としてユーザが意図する位置までの最短経路上において予定されている位置90(例えば、限界到達位置132A2を基準にして定められた位置)まで気管支内視鏡18を到達させる作業を支援することができる。
また、第2画面24には、限界到達関連情報164が重畳された既定枚数のフレーム158を含むナビゲーション動画像154が表示される(図16参照)。限界到達関連情報164は、限界到達位置132A2に関連する情報である。従って、限界到達位置132A2に関連する情報をユーザに把握させることができる。
また、限界到達関連情報164には、注意喚起メッセージ164Bが含まれる(図16参照)。注意喚起メッセージ164Bは、ユーザに対して注意喚起を促すメッセージである。従って、気管支86内で予定されている位置90(例えば、限界到達位置132A2を基準にして定められた位置)に気管支内視鏡18が到達したことをユーザに知覚させることができる。
また、第1画面22には、実動画像166が表示され、第2画面24には、既定枚数の合成画像158Aを含むナビゲーション動画像154が表示される。すなわち、表示装置14には、実動画像166と既定枚数の合成画像158Aを含むナビゲーション動画像154とが対比可能に表示される(図16参照)。従って、気管支86内で予定されている位置90(例えば、限界到達位置132A2を基準にして定められた位置)まで気管支内視鏡18を到達させる作業を誘導することができる。
また、管腔臓器経路132Aが通る仮想管腔臓器130A内の指定された位置の態様を示すフレーム158(例えば、限界到達位置132A2に対応するフレーム158を含めて既定枚数分遡ったフレーム158)が第2画面24に表示される場合に、第2画面24に限界到達関連情報164が表示される。従って、管腔臓器経路132Aが通る仮想管腔臓器130A内の指定された位置(例えば、図3に示す位置90に対応する位置)に視点156が到達した場合に、限界到達位置132A2に関連する情報をユーザに把握させることができる。
また、管腔臓器経路132Aが通る仮想管腔臓器130A内の指定された位置は、受付装置60又は74によって受け付けられた指示に従って選択された位置であってもよい。これにより、受付装置60又は74によって受け付けられた指示に従って選択された位置(例えば、図3に示す位置90に対応する位置)に視点156が到達した場合に、限界到達位置132A2に関連する情報をユーザに把握させることができる。
また、管腔臓器経路132Aが通る仮想管腔臓器130A内の指定された位置は、限界到達位置132A2を基準にして定められた位置であってもよい。この場合、限界到達位置132A2を基準にして定められた位置(例えば、図3に示す位置90に対応する位置)に視点156が到達した場合に、限界到達位置132A2に関連する情報をユーザに把握させることができる。
なお、上記実施形態では、“内径β<外径α”という大小関係が成立する位置を限界到達位置132A2としたが、本開示の技術はこれに限定されない。例えば、内径βを基準にして定められた径が外径α未満となる位置を限界到達位置132A2としてもよい。内径βを基準にして定められた径とは、例えば、内径βに対して第1係数を乗じて得た径を指す。第1係数としては、例えば、“1”を超える係数(例えば、1.25)が挙げられる。第1係数は、事前に定められた固定値であってもよいし、受付装置60又は74によって受け付けられた指示、及び/又は、被検者20毎の管腔臓器77の特徴(例えば、軟骨が存在する位置)等に応じて変更される可変値であってもよい。
また、例えば、内径βが外径αを基準にして定められた径未満となる位置を限界到達位置132A2としてもよい。外径αを基準にして定められた径とは、例えば、外径αに対して第2係数を乗じて得た径を指す。第2係数としては、例えば、“1”未満の係数(例えば、0.85)が挙げられる。第2係数は、事前に定められた固定値であってもよいし、受付装置60又は74によって受け付けられた指示、及び/又は、挿入部34の材質等に応じて変更される可変値であってもよい。
また、例えば、内径βを基準にして定められた径が外径αを基準にして定められた径未満となる限界到達位置132A2としてもよい。
[第1変形例]
上記実施形態では、1つの目標位置132A1に対して限界到達位置132A2が導出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、複数の目標位置132A1が存在している場合、限界到達位置132A2が目標位置132A1毎に導出されるようにしてもよい。
この場合、例えば、図20に示すように、導出部110Dは、複数の目標位置132A1(図20に示す例では、2つの目標位置132A1)の各々について、目標位置情報150Bを参照して、複数の管腔臓器経路132(図9参照)から、目標位置情報150Bに対応する管腔臓器経路132Aを選択する。導出部110Dは、管腔臓器経路132A毎に、外径情報152により示される外径α(図12参照)と、管腔臓器経路132Aが通る仮想管腔臓器130A内の内径βとに基づいて限界到達位置132A2を導出する。また、導出部110Dは、管腔臓器経路132A毎に到達位置特定情報162を生成する。
ナビゲーション動画像154は、上記実施形態で説明した要領で、管腔臓器経路132A毎に生成される。そして、上記実施形態で説明した要領で、管腔臓器経路132A毎に限界到達位置132A2に基づく限界到達関連情報164が生成されて、対応するナビゲーション動画像154に含まれる既定枚数のフレーム158に重畳されることで既定枚数の合成画像158Aが生成される。ナビゲーション動画像154は、管腔臓器経路132A単位で第2画面24に表示される。すなわち、これは、第2画面24に管腔臓器経路132A単位で既定枚数の合成画像158Aが表示されることを意味する。
このように、複数の目標位置132A1の各々について限界到達位置132A2が導出されることによって、管腔臓器77内の目標とする複数の位置までの各最短経路上において予定されている各位置(例えば、限界到達位置132A2の各々を基準にして定められた各位置)まで気管支内視鏡18を到達させる作業を支援することができる。
なお、複数の目標位置132A1は、受付装置60によって受け付けられた目標位置選択指示146に従って定められてもよい。この場合、管腔臓器77内の目標とする複数の位置としてユーザが意図する複数の位置までの各最短経路上において予定されている各位置(例えば、限界到達位置132A2の各々を基準にして定められた各位置)まで気管支内視鏡18を到達させる作業を支援することができる。
[第2変形例]
上記実施形態では、画面14Aに表示された経路付き管腔臓器画像138からユーザが目標位置148を選択する形態例(図11参照)を挙げて説明したが、本開示の技術はこれに限定されない。例えば、経路付き管腔臓器画像138と共に、経路付き管腔臓器画像138に付加された複数の目標位置候補も画面14Aに表示され、複数の目標位置候補から、受付装置60によって受け付けられた指示(例えば、目標位置選択指示146)に従って選択された少なくとも1つが目標位置148とされてもよい。
経路付き管腔臓器画像138と共に複数の目標位置候補が画面14Aに表示されるようにするために、例えば、図21に示すように、先ず、画像処理部110Bは、ボリュームデータ128(図9参照)から、複数の目標位置候補131を含む管腔臓器ボリュームデータ136を抽出する。目標位置候補131の一例としては、病変(例えば、腫瘍)が挙げられる。複数の目標位置候補131は、ボリュームデータ128に対してAI方式又はテンプレートマッチング方式の画像認識処理が行われることによって導出されるようにしてもよいし、事前の検査結果から病変として予め指定された複数の部分がボリュームデータ128から複数の目標位置候補131として導出されてもよい。
次に、画像処理部110Bは、複数の目標位置候補131を含む管腔臓器ボリュームデータ136に対して細線化処理を行うことで複数の管腔臓器経路132を生成する。画像処理部110Bは、生成した複数の管腔臓器経路132から、目標位置候補131を含まない管腔臓器経路132を消去する。このようにして得られた管腔臓器ボリュームデータ136がレンダリングされることによって、複数の目標位置候補と、複数の目標候補に対応する複数の管腔臓器経路142とが付加された経路付き管腔臓器画像138が生成されて画面14Aに表示される。そして、画面14Aに表示された複数の目標位置候補から、受付装置60によって受け付けられた指示(例えば、目標位置選択指示146)に従って選択された少なくとも1つが目標位置148とされる。これにより、管腔臓器77内の目標とする位置としてユーザが意図する位置までの各最短経路上において予定されている位置(例えば、限界到達位置132A2を基準にして定められた位置)まで気管支内視鏡18を到達させる作業を支援することができる。
[第3変形例]
上記実施形態では、受付装置60によって受け付けられた外径αに基づいて限界到達位置132A2が導出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、気管支内視鏡18が複数存在している場合に、限界到達位置132A2が気管支内視鏡18毎に導出されるようにしてもよい。
この場合、例えば、図22に示すように、NVM114には、複数の内視鏡情報170が記憶されている。複数の内視鏡情報170は、複数の気管支内視鏡18に関連する情報である。内視鏡情報170には、気管支内視鏡18を特定可能な識別子170A、及び気管支内視鏡18の外径αを示す外径情報170B等が含まれている。
導出部110Dは、NVM114から複数の内視鏡情報170を取得し、取得した複数の内視鏡情報170の各々から識別子170A及び外径情報170Bを抽出する。導出部110Dは、識別子170A毎に、外径情報170Bにより示される外径αと、上記実施形態と同様の要領で取得された複数の内径βとに基づいて、管腔臓器経路132A上の限界到達位置132A2を導出する。そして、導出部110Dは、識別子170A毎に、上記実施形態と同様の要領で、限界到達位置132A2に基づいて到達位置特定情報162を生成する。
このように、気管支内視鏡18が複数存在している場合に、限界到達位置132A2が気管支内視鏡18毎に導出されることによって、気管支内視鏡18毎に、気管支86内の予定されている位置90(例えば、限界到達位置132A2を基準にして定められた位置)まで気管支内視鏡18(例えば、挿入部34)を到達させる作業を支援することができる。
[第4変形例]
上記第3変形例では、複数の気管支内視鏡18の各々について限界到達位置132A2が導出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、複数の気管支内視鏡18のうちの受付装置60によって受け付けられた指示に従って選択された気管支内視鏡18について限界到達位置132A2が導出されるようにしてもよい。
この場合、例えば、図23に示すように、内視鏡装置12において、受付装置60は、識別子170Aを受け付ける。受付装置60によって受け付けられた識別子170Aは、第1送受信部96Aによってサーバ68に送信される。サーバ68において、第2送受信部110Aは、第1送受信部96Aによって送信された識別子170Aを受信する。導出部110Dは、NVM114から、第2送受信部110Aによって受信された識別子170Aと同じ識別子170Aを含む内視鏡情報170を取得し、取得した内視鏡情報170から外径情報170Bを抽出する。導出部110Dは、外径情報170Bにより示される外径αと、上記実施形態と同様の要領で取得された複数の内径βとに基づいて、管腔臓器経路132A上の限界到達位置132A2を導出する。そして、導出部110Dは、管腔臓器経路132A毎に、上記実施形態と同様の要領で、限界到達位置132A2に基づいて到達位置特定情報162を生成する。
このように、気管支内視鏡18が複数存在している場合に、複数の気管支内視鏡18のうちの受付装置60によって受け付けられた指示に従って選択された気管支内視鏡18について限界到達位置132A2が導出されることによって、ユーザが意図する気管支内視鏡18について、気管支86内の予定されている位置90(例えば、限界到達位置132A2を基準にして定められた位置)まで気管支内視鏡18(例えば、挿入部34)を到達させる作業を支援することができる。
[第5変形例]
上記実施形態では、限界到達関連情報164に注意喚起メッセージ164B(図16参照)が含まれる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図24に示すように、気管支86内の指定された位置の態様を示すフレーム158が表示された場合に、限界到達関連情報164に含まれる情報の1つとして注意喚起メッセージ164Dが第2画面24に表示されるようにしてもよい。気管支86内の指定された位置の態様を示すフレーム158とは、例えば、限界到達位置132A2に対応するフレーム158から既定枚数遡ったフレーム158を指す。
注意喚起メッセージ164Dは、気管支86内の指定された位置の態様を示すフレーム158であることの注意喚起を促すメッセージである。注意喚起メッセージ164Dの一例としては、第2画面24に表示されているフレーム158と限界到達位置132A2に対応するフレーム158との関係性を示すメッセージが挙げられる。図24に示す例では、注意喚起メッセージ164Dの一例として、第2画面24に表示されているフレーム158から、限界到達位置132A2に対応するフレーム158までのフレーム数を示すメッセージが示されている。残りのフレーム数を示すメッセージは、あくまでも一例に過ぎず、例えば、限界到達位置132A2に対応するフレーム158が表示されるまでに要する時間、及び/又は、限界到達位置132A2までの実空間上の距離等の数値を含むメッセージであってもよい。メッセージは、あくまでも一例に過ぎず、数値、マーク、及び/又は音声等で表現してもよい。なお、注意喚起メッセージ164Dは、本開示の技術に係る「第2アラート情報」及び「関係性情報」の一例である。
このように、気管支86内の指定された位置の態様を示すフレーム158が表示された場合に、限界到達関連情報164に含まれる情報の1つとして注意喚起メッセージ164Dが第2画面24に表示されることによって、気管支86内の指定された位置(例えば、図3に示す位置90)に気管支内視鏡18が到達したことをユーザに知覚させることができる。また、第2画面24に表示されているフレーム158と限界到達位置132A2に対応するフレーム158との関係性をユーザに知覚させることができる。
[第6変形例]
上記実施形態では、色付きマーク164A、注意喚起メッセージ164B、及び数値164Cがフレーム158に重畳される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図25に示すように、限界到達関連情報164に含まれる情報として支援情報172がフレーム158に重畳されるようにしてもよい。
支援情報172は、限界到達位置132A2での気管支内視鏡18の操作を支援する情報である。支援情報172には、限界到達位置132A2の内径βを有する部位の位置を特定可能な情報、限界到達位置132A2の内径βを有する部位での注意事項を示す情報、及び気管支内視鏡18を用いた処置方法を示す情報が含まれる。図25に示す例では、限界到達位置132A2の内径βを有する部位の位置を特定可能な情報の一例として、分枝識別子172A(図25に示す例では、“#6”という識別子)が示されている。分枝識別子172Aは、仮想管腔臓器130A内の分枝を特定可能な識別子である。また、図25に示す例では、限界到達位置132A2の内径βを有する部位での注意事項を示す情報の一例として、ガイドシース50A(図2参照)の準備を促すメッセージ172Bが示されている。また、図25に示す例では、気管支内視鏡18を用いた処置方法を示す情報の一例として、穿刺針50Bを用いた処置を促すメッセージ172Cが示されている。
このように、限界到達関連情報164に含まれる情報として支援情報172がフレーム158に重畳されることによって、気管支内視鏡18が気管支86内で予定されている位置(例えば、限界到達位置132A2を基準にして定められた位置)に到達した段階での気管支内視鏡18の円滑な操作を実現することができる。また、
なお、支援情報172は、受付装置60によって受け付けられた指示に応じて非表示されてもよいし、受付装置60によって受け付けられた指示に応じて支援情報172の表示と非表示とが切り替えられるようにしてもよい。分枝識別子172A、メッセージ172B、及びメッセージ172Cが受付装置60によって受け付けられた指示に応じて選択的に表示されたり非表示されたりするようにしてもよい。
[その他の変形例]
上記実施形態では、限界到達位置132A2が導出部110Dによって導出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、管腔臓器経路132A上で限界到達位置132A2よりも上流側の指定された位置(例えば、限界到達位置132A2を基準にして定められた位置)が導出部110Dによって導出されるようにしてもよい。この場合、管腔臓器経路132A上で限界到達位置132A2よりも上流側の指定された位置は、本開示の技術に係る「到達位置」の一例である。
上記実施形態では、内視鏡用処理装置56によってナビゲーション動画像表示処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、ナビゲーション動画像表示処理を行うデバイスは、内視鏡用処理装置56の外部に設けられていてもよい。内視鏡用処理装置56の外部に設けられるデバイスの一例としては、サーバ68が挙げられる。例えば、サーバ68は、クラウドコンピューティングによって実現される。ここでは、クラウドコンピューティングを例示しているが、これは、あくまでも一例に過ぎず、例えば、サーバ68は、メインフレームによって実現されてもよいし、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。ここでは、内視鏡用処理装置56の外部に設けられるデバイスの一例として、サーバ68を挙げているが、これは、あくまでも一例に過ぎず、サーバ68に代えて、少なくとも1台のパーソナル・コンピュータ等であってもよい。また、ナビゲーション動画像表示処理は、内視鏡用処理装置56と内視鏡用処理装置56の外部に設けられるデバイスとを含む複数のデバイスによって分散して行われるようにしてもよい。
上記実施形態では、内視鏡用処理装置56によってナビゲーション動画像表示処理及び内視鏡画像表示処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、内視鏡用処理装置56又はサーバ68に接続されたタブレット端末又はPC等によってナビゲーション動画像表示処理及び内視鏡画像表示処理のうちの少なくともナビゲーション動画像表示処理が行われるようにしてもよい。
上記実施形態では、内視鏡用処理装置56のプロセッサ96によってナビゲーション動画像表示処理及び内視鏡画像表示処理が行われ、サーバ68のプロセッサ110によって画像生成処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図26に示すように、内視鏡用処理装置56のプロセッサ96によって、ナビゲーション動画像表示処理、内視鏡画像表示処理、及び画像生成処理が行われるようにしてもよい。この場合、内視鏡用処理装置56とサーバ68との間での通信は不要となるので、第1送受信部96A及び第2送受信部110Aも不要となる。
また、気管支内視鏡18を用いた処置を行う前段階でユーザが処置内容を予習する場合にユーザが用いる院内PC又はタブレット端末等によってナビゲーション動画像表示処理及び画像生成処理が行われるようにしてもよい。
上記実施形態では、第1画面22、第2画面24、及び第3画面26が表示装置14に表示される形態例を挙げて説明したが、第1画面22、第2画面24、及び第3画面26が異なる表示装置によって分散して表示されるようにしてもよい。また、第1画面22の大きさ、第2画面24の大きさ、及び第3画面26の大きさが選択的に変更されるようにしてもよい。
上記実施形態では、第1制御部96Bが表示装置14に対してナビゲーション動画像154を出力する形態例を挙げて説明したが、本開示の技術はこれに限定されない。ナビゲーション動画像154、ナビゲーション動画像154に含まれる複数の合成画像158A、及び/又は限界到達関連情報164の出力先を格納媒体(例えば、NVM114及び/又は外部ストレージ等)にしてもよい。また、限界到達関連情報164は、スピーカを介して音声で出力されるようにしてもよい。
上記実施形態では、NVM100にナビゲーション動画像表示プログラム118が記憶されており、NVM114に画像生成プログラム122が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、ナビゲーション動画像表示プログラム118及び画像生成プログラム122(以下、「プログラム」と称する)がSSD又はUSBメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的なコンピュータ読取可能な記憶媒体である。記憶媒体に記憶されているプログラムは、コンピュータ70及び/又は92にインストールされる。プロセッサ96及び/又は110は、プログラムに従ってナビゲーション動画像表示処理及び画像生成処理(以下、「各種処理」と称する)を実行する。
上記実施形態では、コンピュータ70及び/又は92が例示されているが、本開示の技術はこれに限定されず、コンピュータ70及び/又は92に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ70及び/又は92に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
上記実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるプロセッサが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。
各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はプロセッサとFPGAとの組み合わせ)で構成されてもよい。また、各種処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、1つ以上のプロセッサとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、各種処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、各種処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
10 内視鏡システム
12 内視鏡装置
14,72 表示装置
14A 画面
14B 案内画面
14B1 案内メッセージ
14B2 外径入力領域
14B3 確定キー
16 医師
18 気管支内視鏡
20 被検者
21 マイクロフォン
22 第1画面
24 第2画面
26 第3画面
28 内視鏡画像
30 仮想画像
31 タッチパネル
32 操作部
34 挿入部
36 先端部
38 湾曲部
40 軟性部
42 照明装置
42A,42B 照明窓
44 内視鏡スコープ
46 処置具用開口
50 処置具
50A ガイドシース
50B 穿刺針
52 処置具挿入口
54 ユニバーサルコード
54A 基端部54A
54B 第1先端部
54C 第2先端部
56 内視鏡用処理装置
58 光源装置
60,74 受付装置
62 フットスイッチ
64 キーボード
66 マウス
68 サーバ
70,92 コンピュータ
75 ネットワーク
76 鼻孔
77 管腔臓器
78 鼻腔
80 咽頭
82 喉頭
84 気管
86 気管支
88 経路
90 位置
94、106 入出力インタフェース
96,110 プロセッサ
96A 第1送受信部
96B 第1制御部
96C 第2制御部
98,112 RAM
100,114 NVM
102,116 バス
104,108 通信モジュール
110A 第2送受信部
110B 画像処理部
110C 生成部
110D 導出部
118 ナビゲーション動画像表示プログラム
120 内視鏡画像表示プログラム
122 画像生成プログラム
124 画像送信要求指示
126 画像送信要求指示信号
128 ボリュームデータ
130 管腔臓器ボリュームデータ
130A 仮想管腔臓器
131 目標位置候補
132,132A,142 管腔臓器経路
132A1,148 目標位置
132A2 限界到達位置
136 経路付き管腔臓器ボリュームデータ
138 経路付き管腔臓器画像
140 管腔臓器画像
144 座標対応情報
146 目標位置選択指示
150A,150B 目標位置情報
152,170B 外径情報
154 ナビゲーション画像
156 視点
158,168 フレーム
158A 合成画像
159 メタデータ
160 座標
162 到達位置特定情報
164 限界到達関連情報
164A 色付きマーク
164B,164D 注意喚起メッセージ
164C 数値
166 実動画像
170 内視鏡情報
170A 識別子
172 支援情報
172A 分枝識別子
172B,172C メッセージ
α 外径
β 内径

Claims (23)

  1. プロセッサを備え、
    前記プロセッサは、
    気管支を示す気管支画像を含むボリュームデータに基づいて前記気管支の内径を導出し、
    前記気管支に挿入される気管支内視鏡の外径と前記内径とに基づいて、前記気管支内視鏡の到達位置を導出する
    情報処理装置。
  2. 前記到達位置は、前記気管支内で前記気管支内視鏡が到達可能な限界位置である
    請求項1に記載の情報処理装置。
  3. 前記限界位置は、前記内径が前記外径未満となる位置、前記内径を基準にして定められた径が前記外径未満となる位置、前記内径が前記外径を基準にして定められた径未満となる位置、又は、前記内径を基準にして定められた径が前記外径を基準にして定められた径未満となる位置である
    請求項2に記載の情報処理装置。
  4. 前記到達位置は、前記気管支内の指定された目標位置までの最短経路上での位置である
    請求項1又は請求項2に記載の情報処理装置。
  5. 前記目標位置が複数存在しており、
    前記到達位置は、前記目標位置毎に導出される
    請求項4に記載の情報処理装置。
  6. 受付装置によって受け付けられた指示に従って前記目標位置が定められる
    請求項4に記載の情報処理装置。
  7. 前記プロセッサは、前記ボリュームデータに基づいて複数の目標位置候補を導出し、
    前記目標位置は、前記複数の目標位置候補から受付装置によって受け付けられた指示に従って選択された少なくとも1つである
    請求項4に記載の情報処理装置。
  8. 前記気管支内視鏡が複数存在しており、
    前記到達位置は、前記気管支内視鏡毎に導出される
    請求項1から請求項3の何れか一項に記載の情報処理装置。
  9. 前記気管支内視鏡が複数存在しており、
    前記外径は、複数の前記気管支内視鏡から、受付装置によって受け付けられた指示に従って選択された前記気管支内視鏡の外径である
    請求項1から請求項3の何れか一項に記載の情報処理装置。
  10. 前記プロセッサは、前記到達位置に関連する到達位置関連情報を出力する
    請求項1から請求項3の何れか一項に記載の情報処理装置。
  11. 前記到達位置関連情報の出力は、表示装置に対する前記到達位置関連情報の表示である
    請求項10に記載の情報処理装置。
  12. 前記到達位置関連情報は、注意喚起を促す第1アラート情報を含み、
    前記プロセッサは、前記到達位置、及び/又は、前記到達位置を基準にして定められた位置に前記気管支内視鏡に対応する仮想内視鏡が到達した場合に前記第1アラート情報を出力する
    請求項10に記載の情報処理装置。
  13. 前記プロセッサは、前記ボリュームデータに基づいて生成された動画像であって、前記気管支内を管路に沿って進んだ態様を示す動画像と前記到達位置関連情報とを対比可能に表示装置に対して表示させる
    請求項10に記載の情報処理装置。
  14. 前記動画像は、複数の画像を含み、
    前記複数の画像から、前記気管支内の指定された位置の態様を示す画像が前記表示装置に表示される場合に、前記プロセッサは、前記到達位置関連情報を前記表示装置に対して表示させる
    請求項13に記載の情報処理装置。
  15. 前記気管支内の指定された位置は、受付装置によって受け付けられた指示に従って選択された位置、又は、前記到達位置を基準にして定められた位置である
    請求項14に記載の情報処理装置。
  16. 前記動画像は、複数の画像を含み、
    前記到達位置関連情報は、注意喚起を促す第2アラート情報を含み、
    前記複数の画像から、前記気管支内の指定された位置の態様を示す画像が前記表示装置に表示される場合に、前記プロセッサは、前記第2アラート情報を前記表示装置に対して表示させる
    請求項13に記載の情報処理装置。
  17. 前記動画像は、複数の画像を含み、
    前記到達位置関連情報は、前記複数の画像のうちの前記表示装置に表示されている画像と前記到達位置の態様を示す画像との関係性を示す関係性情報を含み、
    前記プロセッサは、前記動画像の表示内容に対応する前記関係性情報を前記表示装置に対して表示させる
    請求項13に記載の情報処理装置。
  18. 前記到達位置関連情報は、前記到達位置での前記気管支内視鏡の操作を支援する支援情報を含む
    請求項10に記載の情報処理装置。
  19. 前記支援情報は、前記内径を有する部位の位置を特定可能な情報、前記部位での注意事項を示す情報、及び/又は前記気管支内視鏡を用いた処置方法を示す情報を含む
    請求項18に記載の情報処理装置。
  20. 前記外径は、前記気管支内視鏡の挿入部の外径である
    請求項1から請求項3の何れか一項に記載の情報処理装置。
  21. 請求項1から請求項3の何れか一項に記載の情報処理装置と、
    前記気管支内視鏡と、を備える
    気管支内視鏡装置。
  22. 気管支を示す気管支画像を含むボリュームデータに基づいて前記気管支の内径を導出すること、及び、
    前記気管支に挿入される気管支内視鏡の外径と前記内径とに基づいて、前記気管支内視鏡の到達位置を導出することを備える
    情報処理方法。
  23. コンピュータに、
    気管支を示す気管支画像を含むボリュームデータに基づいて前記気管支の内径を導出すること、及び、
    前記気管支に挿入される気管支内視鏡の外径と前記内径とに基づいて、前記気管支内視鏡の到達位置を導出することを含む処理を実行させるためのプログラム。
JP2022079096A 2022-05-12 2022-05-12 情報処理装置、気管支内視鏡装置、情報処理方法、及びプログラム Pending JP2023167710A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022079096A JP2023167710A (ja) 2022-05-12 2022-05-12 情報処理装置、気管支内視鏡装置、情報処理方法、及びプログラム
US18/304,366 US20230363622A1 (en) 2022-05-12 2023-04-21 Information processing apparatus, bronchoscope apparatus, information processing method, and program
DE102023112313.0A DE102023112313A1 (de) 2022-05-12 2023-05-10 Informationsverarbeitungsvorrichtung, bronchoskopvorrichtung, informationsverarbeitungsverfahren und programm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022079096A JP2023167710A (ja) 2022-05-12 2022-05-12 情報処理装置、気管支内視鏡装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2023167710A true JP2023167710A (ja) 2023-11-24

Family

ID=88599484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022079096A Pending JP2023167710A (ja) 2022-05-12 2022-05-12 情報処理装置、気管支内視鏡装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230363622A1 (ja)
JP (1) JP2023167710A (ja)
DE (1) DE102023112313A1 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE349944T1 (de) 2002-07-31 2007-01-15 Olympus Corp Endoskop
JP4899068B2 (ja) 2006-05-02 2012-03-21 国立大学法人名古屋大学 医療画像観察支援装置

Also Published As

Publication number Publication date
US20230363622A1 (en) 2023-11-16
DE102023112313A1 (de) 2023-11-23

Similar Documents

Publication Publication Date Title
JP2021112588A (ja) 副鼻腔手術用のガイドワイヤ操縦法
EP2430979B1 (en) Biopsy support system
JP6323335B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN106572827A (zh) 智能显示器
JP7270658B2 (ja) 画像記録装置、画像記録装置の作動方法および画像記録プログラム
JP6270026B2 (ja) 内視鏡観察支援装置
US20220277461A1 (en) Method for generating learning model and program
JP2012024518A (ja) 内視鏡観察を支援する装置および方法、並びに、プログラム
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
US20230181148A1 (en) Vascular system visualization
EP3110335B1 (en) Zone visualization for ultrasound-guided procedures
JP2018000775A (ja) 超音波診断装置、及び医用画像処理装置
JP2004097696A (ja) 内視鏡観測装置
JP2002253480A (ja) 医療処置補助装置
JP2023167710A (ja) 情報処理装置、気管支内視鏡装置、情報処理方法、及びプログラム
JP2014204904A (ja) 医用ガイドシステム
WO2023129562A1 (en) Systems and methods for pose estimation of imaging system
WO2023166974A1 (ja) 画像処理装置、内視鏡装置、画像処理方法、及びプログラム
US20230380910A1 (en) Information processing apparatus, ultrasound endoscope, information processing method, and program
US20240079100A1 (en) Medical support device, medical support method, and program
WO2024042895A1 (ja) 画像処理装置、内視鏡、画像処理方法、及びプログラム
WO2024004597A1 (ja) 学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラム
JP5854399B2 (ja) 医用システム
CN116887778A (zh) 用于将术中图像数据与微创医疗技术集成的系统
CN117547302A (zh) 一种超声扫查装置、方法与存储介质