JP2014124218A - 画像処理装置および画像処理方法、並びに画像処理プログラム - Google Patents

画像処理装置および画像処理方法、並びに画像処理プログラム Download PDF

Info

Publication number
JP2014124218A
JP2014124218A JP2012280943A JP2012280943A JP2014124218A JP 2014124218 A JP2014124218 A JP 2014124218A JP 2012280943 A JP2012280943 A JP 2012280943A JP 2012280943 A JP2012280943 A JP 2012280943A JP 2014124218 A JP2014124218 A JP 2014124218A
Authority
JP
Japan
Prior art keywords
tubular structure
point
endoscope
target
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012280943A
Other languages
English (en)
Other versions
JP6030435B2 (ja
Inventor
Kenta Yamada
健太 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012280943A priority Critical patent/JP6030435B2/ja
Priority to PCT/JP2013/007401 priority patent/WO2014103237A1/ja
Publication of JP2014124218A publication Critical patent/JP2014124218A/ja
Priority to US14/747,635 priority patent/US10278613B2/en
Application granted granted Critical
Publication of JP6030435B2 publication Critical patent/JP6030435B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676Bronchoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Abstract

【課題】術者が内視鏡を管状構造物を経由させて目標領域の観察・治療を行う際に、内視鏡を経由させるべき経路および内視鏡の到達すべき経路上の目標点をより好適に抽出できるようにする。
【解決手段】ボリュームデータから管状構造物を抽出し、内視鏡により管状構造物を経由して到達されるべき目標領域を決定し、管状構造物の経路上の点のうち、所定の条件を満たす点を、内視鏡の先端部が到達すべき目標点として抽出し、管状構造物中の所定の始点から抽出された目標点までの管状構造物の経路を特定し、内視鏡を経由させるべき経路として決定する。
【選択図】図2

Description

本発明は、3次元医用画像を用いて気管および気管支からなる管状構造物のような体内の管路への内視鏡の挿入経路を抽出するための画像処理装置および画像処理方法、並びに画像処理プログラムに関するものである。
近年、医療現場では画像による診断が広く行われるようになり、X線CT(Computed Tomography)装置などで撮影された被検体の3次元画像データ(ボリュームデータ)を用いて患部の診断が行われるようになってきた。例えば、胸部を撮影したボリュームデータにボリュームレンダリング処理を施すことにより気管と気管支から構成される管状構造物の3次元画像を生成することができる。この管状構造物の3次元画像は、肺癌等が疑われる異常部の位置を3次元的に把握するのに利用され、その異常部の位置まで気管支内視鏡を挿入し、異常部の観察や治療、あるいは、生検鉗子等で組織のサンプルを採取するなどの各種の処置が行われる。
しかし、気管支のような多段階に分岐する管路内を通って、気管支の末端に近い異常部まで内視鏡の先端を到達させることは容易ではないため、内視鏡を気管や気管支から構成される管状構造物に挿入する前に、管状構造物の3次元画像により、異常部の位置を確認するとともに、異常部に所望のアクセスを実施するために内視鏡の先端部を位置させるべき目標点を設定し、その目標点までの経路を事前に決定しておくことが好ましい。このような内視鏡の経路の決定を支援するために、特許文献1および2のように、ボリュームデータに基づいて気管支の3次元画像を作成し、3次元画像上で管路に沿って下気道の入り口から目標領域まで到着する経路を抽出する方法が提案されている。
また、特許文献3のように、罹患領域に気管支鏡を安全に到達させる経路を決定する指針となるように、経路の長さや、気道の直径、気道間の接合角度など様々な観点に基づいて、気管支の各部位について評点を算出する技術が提案されている。
特開2009-056143号公報 特開2009-511155号公報 特表2009-542374号公報
ここで、管状構造物の経路から内視鏡の先端部を目標領域に向けるために管状構造物内で内視鏡の先端部を管状構造物の経路方向から大きく傾けると、管状構造物内で内視鏡の先端により管状構造物の内壁が押圧される場合があり、管状構造物に対する負担低減の観点から好ましくなかった。しかしながら、特許文献1ないし3に開示された手法により決定された経路の終点を目標点として用いると、目標点に内視鏡の先端部を位置させて異常部などの目標領域に所望のアクセスを行う際、経路方向とは大きく異なる方向に目標領域が位置する場合があり、このような場合には内視鏡の先端部を大きく管状構造物の経路方向から傾ける必要があった。
本発明は上記事情に鑑みてなされたものであり、内視鏡の先端部を管状構造物内で管状構造物の経路方向から大きく傾けることによる被検体の管状構造物への負担を低減するように、内視鏡による治療や観察などを行う管状構造物の経路上の目標点を適切に抽出して、管状構造物の経路を決定することが可能な画像処理装置およびその動作方法、並びに画像処理プログラムを提供することを目的とするものである。
本発明の画像処理装置は、被検体の木構造をなす管状構造物を含む領域を撮影して得られたボリュームデータから管状構造物を抽出する管状構造物抽出部と、ボリュームデータにおいて、内視鏡により管状構造物を経由して到達されるべき目標領域を決定する目標領域設定部と、管状構造物の経路上の点のうち、経路上の点が目標領域から所定範囲内に位置するという第1の条件と、経路上の点から目標領域に向かう向きと、経路上の点から管状構造物の経路の延びる向きのなす角度である判定角度が、少なくとも鋭角の所定の角度である基準角度以下であるという第2の条件を満たす点を、内視鏡の先端部が到達すべき目標点として抽出する目標点抽出部と、管状構造物中の所定の始点から抽出された目標点までの管状構造物の経路を特定し、内視鏡を経由させるべき経路として決定する経路決定部とを備えたことを特徴とするものである。
本発明の上記の画像処理装置に実施させる画像処理方法は、被検体の木構造をなす管状構造物を含む領域を撮影して得られたボリュームデータから管状構造物を抽出する管状構造物抽出ステップと、ボリュームデータにおいて、内視鏡により管状構造物を経由して到達されるべき目標領域を決定する目標領域設定ステップと、管状構造物の経路上の点のうち、経路上の点が目標領域から所定範囲内に位置するという第1の条件と、経路上の点から目標領域に向かう向きと、経路上の点から管状構造物の経路の延びる向きのなす角度である判定角度が、少なくとも鋭角の所定の角度である基準角度以下であるという第2の条件を満たす点を、内視鏡の先端部が到達すべき目標点として抽出する目標点抽出ステップと、管状構造物中の所定の始点から抽出された目標点までの管状構造物の経路を特定し、内視鏡を経由させるべき経路として決定する経路決定ステップとを有することを特徴とするものである。
本発明の画像処理プログラムは、コンピュータに上記の画像処理方法を実行させることを特徴とするものである。
本発明において、「管状構造物」は木構造として表すことのできる被検体内の任意の構造物であってよく、代表的には管状構造物が気管と気管支からなる管状構造物であることが好ましい。
本発明において、「管状構造物の経路」とは、内視鏡が管状構造物内を移動する経路となる管状構造の内腔を通る経路である。例えば、管状構造物の芯線を管状構造物の経路とすることができる。
本発明において、「経路上の点が目標領域から所定範囲内に位置する」とは、経路上の点と目標領域内の点との距離が所定範囲内であることを意味する。また、距離を算出するために用いられる目標領域内の点は、目標領域内の点であれば任意に設定してよい。また、所定範囲は、内視鏡の種類や、治療方法、目標領域の大きさに応じて任意に設定でき、例えば、目標領域の切除などを目的とする場合には、目標領域の全部が内視鏡先端部からの処置具の到達可能範囲に含まれるように所定範囲を設定することが好ましい。また、目標領域への観察、投薬、目標領域のサンプル採取などを目的とする場合には、目標領域の少なくとも一部が内視鏡先端部からの処置具の到達可能範囲に含まれるように所定範囲を設定することが好ましい。このために、例えば、距離を算出するために用いられる目標領域内の点を、目標領域内において経路上の点の最も近い位置に位置する点としてもよく、目標領域内において経路上の点の最も遠い位置に位置する点としてもよく、目標領域の重心や中心としてもよい。
「経路上の点から目標領域に向かう向き」は、経路上の点から目標領域内の所定の点に向かう向きを意味する。「経路上の点から目標領域に向かう向き」を算出するために用いる所定の点は、目標領域内に位置するものであれば任意の点としてよい。例えば、「経路上の点から目標領域に向かう向き」を算出するために用いる所定の点を、目標領域の重心または中心としてもよく、目標領域のうち判定角度が最も大きくなる点としてもよく、目標領域のうち判定角度が最も小さくなる点としてもよく、ユーザのマニュアル操作により指定された点としてもよい。
また、「経路上の点から管状構造物の経路の延びる向き」は、経路上の点において管状構造物の経路に沿って管状構造物の始点から離れる向きを意味する。
また、「基準角度」は、鋭角の範囲内で内視鏡の先端部を管状構造物の経路方向から傾けることによる管状構造物の負担を十分低減可能な任意の角度を設定してよい。また、任意の条件に応じて基準角度を複数設けてもよい。
例えば、本発明に係る画像処理装置において、第2の条件は、管状構造物の径が小さいほど基準角度が小さくなるように、管状構造物の径に応じて基準角度を異ならせることが好ましい。
また、上記場合に、管状構造物の径が、内視鏡の径の1倍以上の所定倍率以上である場合には、基準角度として第1の基準角度が用いられ、管状構造物の径が、内視鏡の径の所定倍率より小さい場合には、基準角度として第1の基準角度より小さい第2の基準角度が用いられることが好ましい。この場合に、所定倍率を内視鏡の1倍以上であれば任意の倍率とすることができ、例えば、内視鏡の外径と管状構造物の内径がほぼ等しくなる倍率とすることが好ましく、所定倍率を、内視鏡の径の1倍から1.5倍の範囲内の倍率であることが好ましく、内視鏡の径の1倍から1.3倍の範囲内の倍率であることが更に好ましく、内視鏡の径の1倍から1.1倍の範囲内の倍率であることが好ましく、内視鏡の径の1倍から1.05倍の範囲内の倍率としてもよい。また、同場合には、例えば、また、第1の基準角度および第2の基準角度を、内視鏡先端部を管状構造物の経路から傾けることによる管状構造物に対する負担を十分小さくでき、かつ、第1の基準角度より第2の基準角度が小さい範囲内であれば、任意に決定してよい。例えば、第2の基準角度を、内視鏡の半画角より2.5度大きい角度以下の角度とすることが好ましく、第2の基準角度を内視鏡の半画角以下にすることが好ましい。また、この場合に第1の基準角度を、内視鏡の半画角より5度大きい角度以下の角度としてもよい。
また、目標点抽出部は、目標点を、その点が位置する管状構造物の部分の径が、所定の閾値より小さいという第3の条件をさらに満たす点とすることが好ましい。例えば、気管と気管支からなる管状構造物(以下、気管構造物と記載する。)であれば、所定の閾値を、損傷を避けるべき部位である気管または主気管支の径とすることが好ましい。
また、目標点抽出部は、目標点を、その点が位置する管状構造物の部分が、管状構造物の損傷を避けるべき所定の部分に属さないという第4の条件をさらに満たす点とすることが好ましい。例えば、気管構造物であれば、所定の部分を、損傷を避けるべき部位である気管または主気管支とすることが好ましい。
また、目標点抽出部は、目標点を、その点と目標領域との間に障害物を有さないという第5の条件をさらに満たす点とすることが好ましい。例えば、気管構造物であれば、目標点と目標領域の間に、損傷を避けるべき部位である葉間膜が障害物として位置しないという条件を満たすことが好ましい。
また、目標点抽出部は、管状構造物を区分する複数の区域のうち、目標領域と最も近接する区域を特定し、特定された区域内のみにおいて、目標点を抽出することが好ましい。
本発明の画像処理装置および画像処理方法並びに画像処理プログラムによれば、被検体の木構造をなす管状構造物を含む領域を撮影して得られたボリュームデータから管状構造物を抽出し、ボリュームデータにおいて、内視鏡により管状構造物を経由して到達されるべき目標領域を決定し、管状構造物の経路上の点のうち、経路上の点が目標領域から所定範囲内に位置するという第1の条件と、経路上の点から目標領域に向かう向きと、経路上の点から管状構造物の経路の延びる向きのなす角度である判定角度が、少なくとも鋭角の所定の角度である基準角度以下であるという第2の条件を満たす点を、内視鏡の先端部が到達すべき目標点として抽出し、管状構造物中の所定の始点から抽出された目標点までの管状構造物の経路を特定し、内視鏡を経由させるべき経路として決定する。このため、第1の条件に基づいて、目標領域から所定範囲内に位置するように目標点を抽出し、かつ、第2の条件に基づいて、経路方向から基準角度範囲内に目標領域の少なくとも一部を含めることができるように目標点を抽出することができ、決定された目標点に内視鏡の先端部を配置すれば、目標点が目標領域の所定範囲内であるため目標領域に良好にアクセス可能であり、内視鏡の先端部を管状構造物内で管状構造物の経路方向から傾けることによる被検体の管状構造物への負担を低減できる。
本発明の実施の形態となる画像処理装置を含む医療システムの概略構成図 本発明の実施の形態における画像処理装置の構成を示すブロック図 本発明の実施の形態における画像処理方法の処理の流れを示したフローチャート 管状構造物の木構造の一例を示す図 管状構造物の擬似3次元画像の一例を示す図 候補点が条件(1)、(2)を満たすか否かを判別する方法を説明する図 管状構造物の始点と目標点を結ぶ経路の一例を示す図 抽出された目標点と目標領域の一例を示す図
以下、図面を参照して本発明の画像処理装置の実施の形態を詳細に説明する。図1は本発明の画像処理装置を含む医療システムの概略構成図である。医療システムは、モダリティ1、画像保管サーバ2、画像処理ワークステーション3、ネットワーク4、内視鏡5で構成される。
モダリティ1には、患者の診断対象となる部位を撮影することにより、その被写体を表す3次元の医用画像データを生成し、その画像データにDICOM(Digital Imaging and Communications in Medicine)規格で規定された付帯情報を付加して出力する装置が含まれる。具体例としては、CT装置、MRI装置などが挙げられる。
画像保管サーバ2は、モダリティ1で取得された医用画像データや、画像処理ワークステーション3で画像処理が施された画像データを画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェアを備えている。モダリティ1で撮影された3次元の医用画像データはボリュームデータVとして記憶される。
画像処理ワークステーション3は、CPU、主記憶装置39、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置(マウス、キーボード等)37、表示装置(ディスプレイモニタ)38、データバス等の周知のハードウェア構成を備え、周知のオペレーティングシステム等がインストールされたものである。画像処理ワークステーション3には不図示のGUI(Graphical User Interface)が実装されており、ユーザは、GUIを利用してモダリティ1や画像保管サーバ2から所望の医用画像データを取得したり、各種の指示を入力することができる。さらに、画像処理ワークステーション3は、取得した医用画像データに対して種々の画像処理を施し、生成した画像を表示装置上に表示する機能を備えている。
また、画像処理ワークステーション3は、画像処理装置プログラムをインストールすることにより画像処理が実装され、本発明の画像処理装置として機能する。この画像処理プログラムは、CD−ROM等の記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。
ネットワーク4は、モダリティ1、画像保管サーバ2、画像処理ワークステーション3の各機器を接続する。ネットワーク4経由での各装置間の通信は、DICOM等のプロトコルに基づいて行なわれる。
図2は、画像処理ワークステーション3の機能のうち、本発明の実施形態となる画像処理装置3に関連する部分のブロック図である。図に示すように、本発明の実施形態となる画像処理装置3は、被検体の木構造をなす管状構造物を含む領域を撮影して得られたボリュームデータVを、記憶装置39または画像保管サーバ2等からメモリに取得する画像取得部31と、被検体の木構造をなす管状構造物を含む領域を撮影して得られたボリュームデータVから管状構造物を抽出する管状構造物抽出部32と、ボリュームデータVにおいて、内視鏡により管状構造物を経由して到達されるべき目標領域を決定する目標領域設定部33と、管状構造物の経路上の点のうち、所定の条件を満たす点を、内視鏡の先端部が到達すべき目標点として抽出する目標点抽出部34と、管状構造物中の所定の始点から抽出された目標点までの管状構造物の経路を特定し、内視鏡を経由させるべき経路として決定する経路決定部35と、各処理の結果得られた画像を適宜表示装置に表示させる表示制御部36で構成される。
図3は、本実施形態における画像処理方法の流れを説明するフローチャートである。図3を用いて、本発明の実施形態に係る画像処理方法を用いて、管状構造物である気管構造物に内視鏡挿入のための経路を決定する方法について説明する。
まず、CT装置(モダリティ1)で検査対象の患者(被検者)の胸部を撮影したボリュームデータVが画像保管サーバ2に保管される。内視鏡の気管構造物への挿入をシミュレーションするために、術者は、画像処理ワークステーション3に実装された公知のオーダリングシステムの操作端末インターフェースを操作し、検査対象の患者のボリュームデータVの取得を要求する。この操作に応じて、画像処理ワークステーション3は画像保管サーバ2に対してボリュームデータVの検索要求を送信し、画像保管サーバ2は、データベース検索により、患者のボリュームデータVを取得し、画像処理ワークステーション3に送信する。画像処理ワークステーション3は、画像保管サーバ2から送信されてきたボリュームデータVを記憶装置39に記憶する(S01)。
次に、ユーザによる指示に応じて、画像処理ワークステーション3で画像処理ソフトウェアを起動して、気管構造物の入り口から目標領域までの内視鏡の挿入経路の抽出処理を開始する。
まず、最初に、管状構造物抽出部32は、ボリュームデータVから患者の気管構造物の構造を抽出する(S02)。ボリュームデータV中の気管構造物は、気管構造物の内部の画素は空気領域に相当するためCT画像上では低いCT値(画素値)を示す領域として表れるが、気管構造物壁は比較的高いCT値を示す円柱あるいは線状(管状)の構造物であると考えられる。そこで、画素ごとにCT値の分布に基づく形状の構造解析を行なって気管構造物を抽出する。ここでは、本出願人の先行出願である特開2012−200403号公報と同じ方法で、各画素の画素値に基づいてヘッセ解析を行って気管構造物の主軸方向を特定し、気管および気管支構造を抽出するものとする(詳細は、本願出願人が出願した特開2012−200403号公報または特開2010−220742号公報などを参照)。
なお、管状構造物抽出部32は、管状構造物を抽出可能なものであれば任意の方法により管状構造物を抽出してよい。また、本実施形態では、管状構造物抽出部32は、気管及び気管支構造の中心線を気管構造物の経路として取得し、さらに気管構造物の中心線の位置ごとに気管または気管支の径を取得して対応付けて記憶する。また、管状構造物抽出部32は、周知の方法により、ボリュームデータVから葉間膜を抽出し、抽出した葉間膜を特定する情報を記憶する。
そして、抽出した木構造を、開始点・端点・木構造分岐点・エッジ(辺)に分類し、開始点IN・端点・木構造分岐点をエッジで連結することによって、気管および気管支からなる気管構造物を表す木構造データTを得る。必要に応じて、木構造の各位置における気管の径や気管支の径や各エッジの長さ(気管支の分岐部間の長さ)等の特徴量も木構造データTとして格納する。図4に木構造の一例を示す。図4では、分岐点を白丸、端点を黒丸、エッジを線で表している。
次に、目標領域設定部33は、目標領域Rの位置を示す入力を受け付ける。例えば、ボリュームデータVから生成された管状構造物を表すボリュームレンダリング画像Mを画像処理ワークステーション3の表示装置の画面上に表示し、表示された画像上で肺の腫瘍の位置をマウスなどで囲むことにより目標領域R(図5参照)の位置(中心および大きさ)を入力する(S03)。そして、入力された位置を取得して目標領域Rを設定する。また、目標領域設定部33は、周知の方法により設定された目標領域Rに属する各画素の位置を取得してメモリに記憶し、かつ、各画素の位置に基づいて目標領域Rの重心の座標を算出してメモリに記憶する。
なお、本実施形態では、表示制御部36は、図5に示すように、選択された目標領域Rの確認のために、ボリュームレンダリング画像M上に抽出された気管支領域と目標領域Rを重畳表示する。また、表示制御部36は、目標領域Rの選択のために、ボリュームレンダリング画像のような擬似3次元画像として気管支領域の表示をすることが好ましく、擬似3次元画像に併せて気管支の断面画像など所望の画像をさらに比較可能に表示してもよい。
次に、目標点抽出部34は、管状構造物の経路の芯線上にn個の候補点Pi(0≦i<n)を等間隔に設定する。そして、管状構造物の経路上の候補点Pi(0≦i<n)のうち、以下の条件(1)〜(4)を満たす候補点を、内視鏡の先端部が到達すべき目標点Pとして抽出する(S04)。
(1)候補点Piが目標領域Rから所定範囲L内に位置する
(2)候補点Piから目標領域Rに向かう向きと、候補点Piから管状構造物の経路の延びる向きのなす角度である判定角度θが、少なくとも鋭角の所定の角度である基準角度以下である
(3)候補点Piと目標領域Rとの間に障害物を有さない
(4)候補点Piが位置する管状構造物の部分の径が、所定の閾値より小さい
条件(1)は、目標点Pを目標領域Rから所定範囲L内に設定するためのものである。目標点Pは、目標領域Rの観察、治療などを行うために内視鏡の先端部を位置させるための点であるため、目標点は、内視鏡の先端部が目標領域Rの観察や処置等が可能な目標領域Rの近傍に決定されることが好ましい。このため、所定範囲Lは、内視鏡の先端部により目標領域Rの観察や処置等の目的が達成できる範囲で、内視鏡の種類や、治療方法、目標領域の大きさに応じて任意に設定できる。例えば、目標領域Rの切除などを目的とする場合には、上述のように目標領域Rの全部が内視鏡先端部からの処置具の到達可能範囲に含まれるように、所定範囲を設定することが好ましい。例えば、候補点Piと目標領域R内の最も遠い点との距離が、処置具の伸びる最大距離である所定距離以下となるように条件(1)を設定することが考えられる。また、目標領域Rへの観察、投薬、目標領域のサンプル採取などを目的とする場合には、目標領域Rの少なくとも一部が内視鏡先端部からの処置具の到達可能範囲に含まれるように所定範囲を設定することが好ましい。例えば、候補点Piと目標領域R内の最も近い点との距離が、処置具の伸びる最大距離である所定距離以下となるように条件(1)を設定することが考えられる。
本実施形態では、条件(1)を、経路上の点が、目標領域Rと候補点Piとの最も近い距離Liが所定の範囲L以下であるか否かにより判定する。また、本実施形態においては、目標点抽出部34は、経路上の候補点P0〜PNから、条件(1)を満たす点が複数ある場合に、条件(1)を満たす点として目標領域R内の点と最も距離が近い候補点Piから順に抽出する。
図6は、本実施形態における条件(1)の判定方法を説明する図である。なお、図6は、説明のために目標領域Rの位置、サイズ、管状構造物の形状などを簡略化した図であるため、管状構造物の枝の配置や大きさなどは、図5とは適宜異ならせている。また、図6において、目標領域Rに含まれる画素のうち、候補点Piとの距離が最小である画素をRiとして示す。図6に示すように、本実施形態において、所定の範囲Lは、目標領域Rと候補点Piとの最も近い距離Liが、所定の範囲L以下であるように設定されている。また、所定の範囲Lが、処置具の最大到達長さLmax(処置具が内視鏡の先端から伸びる最大長さ)以上の長さに設定されている。このように、所定の範囲Lを処置具の最大到達長さLmax以上になるように設定した場合には、目標領域Rの少なくとも一部に処置具が到達可能であるように目標点Pを抽出することができる。
また、上記実施形態に限定されず、例えば、条件(1)を、目標領域Rと候補点Piとの最も大きい距離が、所定の範囲L以下になるように設定してもよい。また、所定の範囲Lが処置具の最大到達長さLmax以上になるように設定することが好ましく、この場合には、処置具が目標領域Rの全体に好適に届く可能性が高い。なお、所定の範囲Lを、目標領域Rの全体に内視鏡の先端部が到達可能な距離となるように決定できる任意の方法で決定することにより、同効果を得られる。
条件(2)は、目標点Pから目標領域Rにアクセスする際に、内視鏡の先端部を経路に対して大きく傾ける必要がない位置(少なくとも内視鏡の先端部を経路方向に対して直角以上に傾ける必要がない位置)に、目標点Pを設定するためのものである。
条件(2)において、「経路上の点から目標領域に向かう向き」は、経路上の点から目標領域内の所定の点に向かう向きを意味し、目標領域内の所定の点は、目標領域内に位置するものであれば任意の点としてよい。また、「経路上の点から管状構造物の経路の延びる向き」は、管状構造物の経路に沿って管状構造物の始点から離れる向き(木構造の起始部から離れる向き)を意味する。本実施形態では、図6に示すように、目標領域内の所定の点を目標領域の重心RCとし、経路上の各候補点Piにおいて、Piから重心RCに向かうベクトルと、経路の延びる向きに向かう候補点Piにおける接線ベクトルとの角度を判定角度θとする。
また、本実施形態では、条件(2)において、管状構造物の径が小さいほど判定角度が小さくなるように、管状構造物の径に応じて基準角度を異ならせている。木構造をなす管状構造物においては、気管支などの管状構造物の径が細くなるほど、内視鏡と管状構造物との間の間隙が小さくなり、管状構造物の径が細くなるほど、管状構造物の経路に対する内視鏡先端部の傾きを大きくすることによる管状構造物への負担が大きくなると考えられる。このため、管状構造物の径が細くなるほど、管状構造物の経路方向に対する内視鏡先端部の傾きを小さくすることが好ましいと考えられる。このため、管状構造物の径が小さいほど基準角度が小さくなるように、管状構造物の径に応じて基準角度を異ならせることにより、管状構造物の内壁に内視鏡が押し当てられることによる負担を適切に軽減して目標点Pを設定することができる。
また、条件(2)において、内視鏡の先端部と管状構造物の内壁との間の間隙をより正確に表すことができるため、管状構造物の径として管状構造物の内径を用いることが好ましい。
なお、「基準角度」は、内視鏡先端部の屈曲による管状構造物に負担を十分小さくできるものであれば、鋭角の範囲内で目的に応じた任意の角度を設定してよい。また、任意の条件に応じて基準角度を複数設けてもよい。
例えば、条件(2)において、管状構造物の径が、管状構造物の径が内視鏡の径と略同一であると考えられる内視鏡の径の1倍以上の所定倍率以上である場合には、基準角度として第1の基準角度が用いられ、管状構造物の径が、内視鏡の径の所定倍率より小さい場合には、基準角度として第1の基準角度より小さい第2の基準角度が用いられることが好ましい。
本実施形態では、内視鏡の半画角をωとすると、条件(2)を、管状構造物の内径が内視鏡先端部の径の1.05倍以上である場合には、判定角度θが第1の基準角度θ1(=ω+5°)以下であり、管状構造物の内径が内視鏡先端部の径の1.05倍より小さければ、判定角度θが第2の基準角度θ2(=ω)以下であるとする。また、ユーザの入力を受け付けて、第2の基準角度θ2を、θ2’=ω+2.5°に切り替えることが可能である。
上記のように、管状構造物の径が内視鏡の径と略同一であると考えられる所定倍率より小さい場合に、第2の基準角度θ2を内視鏡の半画角ωとした場合には、目標点において、内視鏡先端部を傾けなくても内視鏡の視野内に目標領域Rが含めることができる。
また、管状構造物の柔軟性などの特性によって、経路方向に対して内視鏡先端部を角度θkだけ傾けることが許容できることが既知である場合には、許容角度θkを用いて、第2の基準角度を、許容角度θk(ここでは2.5度)と半画角ωとの和とすることが好適である。この場合には、内視鏡先端部を管状構造物の経路から傾けることができる角度を適切に反映して、目標点Pから目標領域Rにアクセスする際に、内視鏡先端部を経路から無理なく傾けられる角度範囲内でアクセス可能となるように目標点Pを設定することができる。
また、管状構造物の径が内視鏡の径より十分大きいと考えられる所定倍率以上の場合にも、管状構造物の径に応じて、経路方向に対して内視鏡先端部を角度θk1だけ傾けることが許容できることが既知である場合には、許容角度θk1を用いて、第1の基準角度を内視鏡の半画角ωと許容角度θk1(ここでは5度)の和とすることが好適である。この場合にも、内視鏡先端部を管状構造物の経路から傾けることができる角度を適切に反映して、内視鏡先端部を経路から無理なく傾けられる角度範囲内でアクセス可能となるように目標点を設定することができる。
なお、本実施形態に限定されず、条件(2)の所定倍率を、管状構造物の径が内視鏡の径と略同一であると考えられ、内視鏡の径の1倍以上であれば任意の倍率とすることができ、例えば、所定倍率は、内視鏡の径の1倍から1.5倍の範囲内の倍率であることが好ましく、内視鏡の径の1倍から1.2倍の範囲内の倍率であることが更に好ましく、内視鏡の径の1倍から1.1倍の範囲内の倍率としてもよい。
また、判定角度θが、目標領域Rの切除などを行う場合には、目標領域Rの全体に処置具を到達させるために、処置具が到達可能な角度範囲に目標領域Rの全体が含まれるように、基準角度を設定することが好ましい。処置具は、内視鏡の先端部の光軸方向とほぼ同じ方向に伸びると考えられるため、例えば、条件(2)において、管状構造物の経路の延びる向きと、候補点Pから目標領域R内の点に向かう向きのなす最大角を判定角度θとし、基準角度を、経路方向に対して内視鏡先端部を傾けることが許容できる既知の角度θk2以下とすることが好ましい。また、上記のような許容角度が得られない場合であっても、経路方向に対して内視鏡先端部を傾ける角度は小さい方が好ましいと考えられるため、例えば、基準角度を60度以下とすることが好ましく、基準角度45度以下とすることが好ましい。このように、条件(2)を、基準角度を小さくするように設定するほど、内視鏡先端部を目標点に位置させた場合に、管状構造物の経路からの内視鏡先端部の傾きを小さく維持しつつ、目標点から目標領域Rにアクセスすることが可能である。
また、上記実施形態では、内視鏡の径と管状構造物の径の比を用いて基準角度を決定することにより、条件(2)において、管状構造物内における管状構造物の内壁と内視鏡との間の間隙を適切に反映できる。また、内視鏡の径として内視鏡先端部の径を用いた場合には、管状構造物内における管状構造物の内壁と内視鏡との間の間隙をより正確に反映できるため好ましい。
条件(3)は、目標点Pから目標領域Rにアクセスする際に、目標領域Rの観察や治療などを妨げる障害物がない位置に目標点Pを設定するためのものである。本実施形態では、候補点Piと目標領域Rの間に葉間膜が存在する場合には、条件(3)を満たさないと判断し、候補点Piと目標領域Rの間に葉間膜が存在しない場合には、条件(3)を満たすと判断する。なお、本実施形態に限定されず、条件(3)の判定のために、障害物の有無を判別可能な周知の方法を用いることができ、例えば、特開2008−29694号公報に記載された方法により障害物を判定してもよい。
条件(4)は、損傷を避けたいなど種々の理由により目標点Pの設定を避けたい経路部分を除いた位置に、目標点Pを設定するためのものである。本実施形態では、気管支のように木構造をなす管状構造物は、木構造の起始部から末端部分に向かうにつれて徐々に径が細くなるという特質を利用して、目標点Pの設定を避けたい所望の管状構造物部分(除外部分)を、この除外部分の径により特定し、上記除外部分の径と等しくなる管状構造物の部分には、目標点Pを設定しないように条件(4)を設定する。本実施形態においては、主気管支の平均的な径を、目標点Pにおける管状構造物部分の上限値として用い、径が上限値以下の経路部分に目標点Pを設定可能にすることにより、気管または主気管支などの損傷を避けたい(目標点Pの設定を避けたい)除外部分を除いた位置に、目標点Pを設定することができる。
また、条件(4)において、内視鏡の径を、目標点Pにおける管状構造物部分の径の下限値として用い、内視鏡の径より小さい径の経路部分に目標点Pを設定不可能にしてもよい。この場合には、内視鏡が入り込めない細い気管支部分を除いた位置に、目標点Pを設定することができる。また、目標点Pにおける管状構造物部分の径に上限値と下限値の両方を設けてもよい。
次に、目標点抽出部34は、候補点Piにおける判定角度θを算出し、条件(2)の判定を行う。図6に示すように、判定角度θは、候補点Piから目標領域Rの重心RCに向かうベクトルと、候補点Piにおける接線に平行で、管状構造物の伸びる向きに向かうベクトルとの角度として算出される。
目標点抽出部34は、候補点Piの位置する部分の管状構造物の径を取得し、管状構造物の径が内視鏡の径の1.05倍以上であれば、判定角度θが第1の基準角度θ1以下であるか否かを判定し、管状構造物の径が内視鏡の径の1.05倍より小さいものであれば、判定角度θが第2の基準角度θ2以下であるか否かを判定する。そして、候補点Piにおける判定角度θが第1の基準角度θ1または第2の基準角度θ2以下であれば、条件(2)を満たしていると判断する。そして、候補点Piが条件(2)を満たしていると判断した場合には、この候補点Piが条件(3)を満たすか判定する。そして、候補点Piが条件(3)を満たしている場合には、この候補点Piが条件(4)を満たすか判定する。
目標点抽出部34は、候補点Piが条件(1)〜(4)のいずれか1つでも満たさない場合には、候補点Piについての条件(1)〜(4)の判定を終了し、条件(1)〜(4)のいずれも判定されていない残りの候補点について、上記のように、条件(1)〜(4)の判定を繰り返す。そして、条件(1)〜(4)を全て満たす候補点Piが抽出されると、その候補点Piを目標点Pとして抽出する。また、本実施形態では、目標点抽出部34は、所定数の目標点Pを抽出するように構成されており、目標点が所定数である3つ抽出されるまで、上記条件(1)〜(4)を満足する候補点Piを抽出する。以下、抽出された3つの目標点を抽出された順に、PA、PB、PCと記載する。なお、目標点PA、PB、PCは、本実施形態では互いに異なる枝に抽出されたものとして説明するが、目標点PA、PB、PCは、同じ枝に位置するものとして抽出されてもよい。
このように、条件(1)を満たす点として、目標領域Rに最も距離が近い候補点Piを抽出し、条件(1)を満たす候補点のうち、他の条件(ここでは条件(2)から(4))を満たす候補点を目標点として抽出した場合には、目標点Pを目標領域Rのできるだけ近傍に決定することができ、内視鏡の先端部を目標点Pに配置した場合、目標領域Rに好適にアクセスすることできる。なお、本実施形態によれば条件(1)を満たす点として、目標領域Rに最も距離が近い候補点Piを抽出しているので、条件(2)から(4)を満たす候補点Piのうち、目標領域Rに最も距離が近い順に目標点が抽出され、目標点PA、PB、PCは、この順に目標領域Rとの距離が大きくなっている。
経路決定部35は、管状構造物中の所定の始点から抽出された目標点までの管状構造物の経路を特定し、内視鏡を経由させるべき経路として決定する(S05)。
ここでは、経路決定部35は、仮想の内視鏡が気管支の入り口INから管内を通過して目標領域Rに到達する代表的な複数の経路を木構造データTに基づいて抽出する。もし、目標領域Rが腫瘍のようにある程度の大きさがある場合、目標領域Rの近傍には互いに異なる枝における目標点PA、PB、PCが抽出され、各目標点PA、PB、PCごとに、気管支の入り口から目標領域Rに達する経路も複数存在する場合がある。経路決定部35は、目標領域Rに接続する気管支の経路上に対応する木構造データT上の目標点PA、PB、PCを取得して、気管支の入り口に該当する木構造データTの開始点INから目標点PA、PB、PCまでの経路を、木構造データTをベースに探索する。なお、経路の探索には、従来から行われている種々の経路探索法を用いることができる。
表示制御部36は、気管支の木構造データTに基づいて、気管および気管支をボリュームレンダリングした気管構造物レンダリング画像を生成し、この気管構造物レンダリング画像Mとする。そして、図7に示すように、気管構造物レンダリング画像Mに、決定された経路を重畳表示させる(S06)。図7に気管構造物レンダリング画像Mの一例を示し、図8に、断層画像中において、目標点Pと目標領域Rを重畳表示した画像を示す。図8に示す目標点Pに内視鏡の先端部を配置した場合、目標点Pから経路の延びる方向に処置具を伸ばすことにより、目標領域Rに好適にアクセスすることができるように目標点Pが抽出されていることが好ましい。
以上、本実施形態によれば、条件(1)を満たすように目標点を決定することにより、管状構造物にアクセスしやすい近傍の範囲に目標点を決定することができる。また、条件(2)を満たすように目標点を決定することにより、目標点に内視鏡の先端部を配置して目標領域Rにアクセスする際に、内視鏡の先端部を管状構造物の経路に対して傾ける角度を少なくとも鋭角に維持できる。このため、条件(1)と(2)の両方を満たすように目標点を決定することにより、決定された目標点に内視鏡の先端部を配置することにより、目標領域Rに向かって所望のアクセスをするために内視鏡先端部を経路に対して傾けることによる、管状構造物の負担を低減することができる。
例えば、従来の方法では、条件(2)のように、内視鏡先端部を経路に対して傾けることによる管状構造物の負担を軽減するように目標点を抽出するものはなかったため、例えば、図6に示す目標領域Rに最も近接する候補点Piが目標点として抽出されることが生じていた。しかしながら、図6に示す候補点Piに内視鏡の先端部を位置させた場合には、観察や治療のために例えば目標領域Rの重心に内視鏡先端部を向けるためには、管状構造物の枝の末端の細い部分で内視鏡先端部を経路の伸びる方向に対してほぼ垂直に傾ける必要があり、管状構造物に大きな負担を与える可能性が高いと考えられる。本実施形態によれば、条件(2)を満たすように目標点を抽出しているため、目標点PA、PB、PCのいずれに内視鏡先端部を配置しても、管状構造物内で内視鏡先端部を傾けることが許容される角度範囲内に内視鏡先端部の方向を維持しつつ、内視鏡の視野内に目標領域Rを好適に捉えて、目標領域Rのサンプル採取などの所望のアクセスを行うことができる。
また、条件(3)を満たすように目標点を決定することにより、視界を遮り、処置の障害となる障害物を避けるように、目標点を決定できるため、決定された目標点から内視鏡による目標領域の観察や処置などを好適に行うことができる。
また、条件(4)を満たすように目標点を決定することにより、目標点Pの設定を避けたい管状構造物の部分を除いた位置に、目標点を抽出することができ、より安全な経路を設定できる。また、条件(4)以外の方法であっても、目標点が損傷を避けるべき所定の管状構造物部分を除くように決定できるものであればいかなる方法を用いてもよい。
例えば、目標点抽出部34は、条件(4)に換えて、以下の条件(5)または条件(6)を用いてもよい。
(5)候補点Piが位置する管状構造物の部分が、管状構造物の損傷を避けるべき所定の部分に属さない
(6)候補点Piが位置する管状構造物の部分の壁厚が、所定の範囲内である
上記実施形態において、条件(5)において、気管および主気管支を目標点Pの設定を避けたい所定の部分として設定した場合には、条件(4)と同様に、目標点Pの設定を避けたい経路部分を除いた位置に、目標点Pを設定することができる。
また、条件(5)を用いる場合には、管状構造物抽出部32は、抽出された管状構造物を、周知の管状構造物のモデル構造と比較するなど周知の方法により複数の区域に分けて記憶する。そして、目標点抽出部34は、予め記憶しておいた除外すべき特定区域に基づいて、条件(5)において、複数の区域のうち、管状構造物の経路から特定の区域を除いた区域においてのみ、目標点Pを抽出するようにすることが考えられる。
また、上記実施形態において、目標点抽出部34が、候補点Piの位置する管状構造物の部分の壁厚を取得するものとし、上記(4)に換えて、条件(6)を用いてもよい。気管支のように木構造をなす管状構造物は、木構造の起始部から末端部分に向かうにつれて徐々に壁厚が小さくなるという特質を利用して、目標点Pの設定を避けたい所望の管状構造物部分(除外部分)を、この除外部分の壁厚により特定し、上記除外部分の壁厚と等しくなる管状構造物の部分には、目標点Pを設定しないように条件(6)を設定することが考えられる。例えば、主気管支の平均的な壁厚を、目標点Pにおける管状構造物部分の上限値として用い、壁厚が上限値以下の経路部分に目標点Pを設定可能にすることにより、条件(4)と同様に、気管または主気管支などの損傷を避けたい(目標点Pの設定を避けたい)除外部分を除いた位置に、目標点Pを設定することができる。
また、目標点抽出部34は、目標点を抽出するための条件として、任意の条件を設定してよい。例えば、条件(1)〜(6)の全てを用いてもよく、条件(1)〜(6)のいずれか1つのみを用いてもよく、条件(1)〜(6)から任意に選択される1つ以上の条件を組み合わせて用いて目標点を抽出してよく、上記条件以外のさらなる条件をさらに組み合わせて用いて目標点を抽出してもよい。また、各条件を任意の順番で判定してよい。また、目標点を1つだけ抽出してもよく、複数の目標点を抽出してもよい。
また、上記の実施形態において、目標点抽出部34が、管状構造物を区分する複数の区域のうち、目標領域Rと最も近接する区域を特定し、特定された区域内のみにおいて、目標点を抽出してもよい。この場合には、目標点を抽出するための計算負荷および計算時間を低減することができ好ましい。
上記場合に、管状構造物抽出部32は、管状構造物を区分する任意の方法により管状構造物を区分することができる。例えば、気管構造物の場合には、主気管支と、右肺(主気管支を除く)に含まれる気管支部分と、左肺(主気管支を除く)に含まれる気管支部分との3つの区域と区分してもよく、右肺の上葉、右肺の中葉、右肺の下葉、左肺の上葉、左肺の下葉にそれぞれ含まれる気管支部分をそれぞれ1つの区域としてもよい。
また、目標点抽出部34を複数の目標点を抽出するように構成し、その複数の目標点に対して、内視鏡の先端部を位置させるために好ましい目標点であるか否かを判断できる任意の条件に基づいてスコアを算出するようにし、スコアに基づいて目標点に優先順位を設けてもよい。例えば、上記条件(1)〜(6)のような複数の観点に基づいて、目標領域Rと目標点P間の距離が小さい目標点ほど優先順位を高くする、または、判定角度が小さい目標点ほど優先順位を高くするなど、周知の種々の方法によりそれぞれスコアを算出し、算出された複数のスコアを重み付け加算して、加算したスコアに基づいて目標点Pに優先順位を付けてもよい。
例えば、上記実施形態において、条件(2)を満たす点として、判定角度θができるだけ小さい候補点Piを抽出し、条件(2)を満たす点のうち他の条件(例えば、条件(1)、(3)および(4))を満たす点を目標点Pとして抽出し、目標点Pを所定数抽出して、判定角度の小さい順に優先順位を付けてもよい。この場合には、抽出された目標点Pを内視鏡の先端部を目標点Pに配置した場合、目標領域Rに内視鏡先端部を向けるために、管状構造物内で内視鏡先端部を経路から傾ける傾きを好適に小さくすることができ、内視鏡の先端部を管状構造物内で傾けることによる被検体の管状構造物への負担を好適に低減できる。
また、経路決定部35は、複数の目標点に対してそれぞれ異なる経路が得られる場合に、内視鏡を通過させるために好ましい経路であるか否かを判断できる任意の条件に基づいて経路のスコアを算出し、スコアに基づいて経路に優先順位を設けてもよい。例えば、経路の分岐部が曲がっている角度等に基づいて、経路の途中に大きく屈曲した部分を含む場合に優先順位が低くなるようにスコアを設定することが考えられる。また、例えば、経路の長さが長いほど優先順位が低くなるようにスコアを設定してもよい。また、複数の観点によるスコアを重み付け加算して、加算したスコアに基づいて経路に優先順位を付けてもよい。
また、目標点についてのスコアと、その目標点を含む経路についての上記経路のスコアを重み付け加算したさらなるスコアに基づいて、各目標点を含む経路ごとに、優先順位を設けてもよい。
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
また、画像処理装置3は、複数台のコンピュータにより、上記各部としての機能を分担する構成としてもよい。また、入力装置、ディスプレイ等、システムを構成する装置としては、公知のあらゆる装置を採用することができる。
1 モダリティ
2 画像保管サーバ
3 画像処理ワークステーション
4 ネットワーク
5 内視鏡
31 画像取得部
32 管状構造物抽出部
33 目標領域設定部
34 目標点抽出部
35 経路決定部
36 表示制御部
IN 入り口(開始点)
M 擬似3次元画像
R 目標領域
T 木構造データ
V ボリュームデータ
判定角度 θ

Claims (12)

  1. 被検体の木構造をなす管状構造物を含む領域を撮影して得られたボリュームデータから前記管状構造物を抽出する管状構造物抽出部と、
    前記ボリュームデータにおいて、内視鏡により前記管状構造物を経由して到達されるべき目標領域を決定する目標領域設定部と、
    前記管状構造物の経路上の点のうち、前記経路上の点が前記目標領域から所定範囲内に位置するという第1の条件と、前記経路上の点から前記目標領域に向かう向きと、前記経路上の点から前記管状構造物の経路の延びる向きのなす角度である判定角度が、少なくとも鋭角の所定の角度である基準角度以下であるという第2の条件を満たす点を、前記内視鏡の先端部が到達すべき目標点として抽出する目標点抽出部と、
    前記管状構造物中の所定の始点から前記抽出された目標点までの前記管状構造物の経路を特定し、前記内視鏡を経由させるべき経路として決定する経路決定部とを備えたことを特徴とする画像処理装置。
  2. 前記第2の条件は、前記管状構造物の径が小さいほど前記基準角度が小さくなるように、前記管状構造物の径に応じて前記基準角度を異ならせることを特徴とする請求項1記載の画像処理装置。
  3. 前記第2の条件において、前記管状構造物の径が、前記内視鏡の径の1倍以上の所定倍率以上である場合には、前記基準角度として第1の基準角度が用いられ、前記管状構造物の径が、前記内視鏡の径の前記所定倍率より小さい場合には、前記基準角度として前記第1の基準角度より小さい第2の基準角度が用いられることを特徴とする請求項2に記載の画像処理装置。
  4. 前記所定倍率は、前記内視鏡の径の1倍から1.5倍の範囲内の倍率であることを特徴とする請求項3記載の画像処理装置。
  5. 前記第2の基準角度が、前記内視鏡の半画角より2.5度大きい角度以下の角度であることを特徴とする請求項3または4記載の画像処理装置。
  6. 前記目標点抽出部は、前記目標点を、該点が位置する前記管状構造物の部分の径が、所定の閾値より小さいという第3の条件をさらに満たす点とすることを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
  7. 前記目標点抽出部は、前記目標点を、該点が位置する前記管状構造物の部分が、前記管状構造物の損傷を避けるべき所定の部分に属さないという第4の条件をさらに満たす点とすることを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
  8. 前記目標点抽出部は、前記目標点を、該点と前記目標領域との間に障害物を有さないという第5の条件をさらに満たす点とすることを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
  9. 前記目標点抽出部は、前記管状構造物を区分する複数の区域のうち、前記目標領域と最も近接する区域を特定し、特定された該区域内のみにおいて、前記目標点を抽出することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
  10. 前記管状構造物は気管支であることを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
  11. 画像処理装置に実施させる画像処理方法であって、
    被検体の木構造をなす管状構造物を含む領域を撮影して得られたボリュームデータから前記管状構造物を抽出する管状構造物抽出ステップと、
    前記ボリュームデータにおいて、内視鏡により前記管状構造物を経由して到達されるべき目標領域を決定する目標領域設定ステップと、
    前記管状構造物の経路上の点のうち、前記経路上の点が前記目標領域から所定範囲内に位置するという第1の条件と、前記経路上の点から前記目標領域に向かう向きと、前記経路上の点から前記管状構造物の経路の延びる向きのなす角度である判定角度が、少なくとも鋭角の所定の角度である基準角度以下であるという第2の条件を満たす点を、前記内視鏡の先端部が到達すべき目標点として抽出する目標点抽出ステップと、
    前記管状構造物中の所定の始点から前記抽出された目標点までの前記管状構造物の経路を特定し、前記内視鏡を経由させるべき経路として決定する経路決定ステップとを有することを特徴とする画像処理方法。
  12. コンピュータに、
    被検体の木構造をなす管状構造物を含む領域を撮影して得られたボリュームデータから前記管状構造物を抽出する管状構造物抽出ステップと、
    前記ボリュームデータにおいて、内視鏡により前記管状構造物を経由して到達されるべき目標領域を決定する目標領域設定ステップと、
    前記管状構造物の経路上の点のうち、前記経路上の点が前記目標領域から所定範囲内に位置するという第1の条件と、前記経路上の点から前記目標領域に向かう向きと、前記経路上の点から前記管状構造物の経路の延びる向きのなす角度である判定角度が、少なくとも鋭角の所定の角度である基準角度以下であるという第2の条件を満たす点を、前記内視鏡の先端部が到達すべき目標点として抽出する目標点抽出ステップと、
    前記管状構造物中の所定の始点から前記抽出された目標点までの前記管状構造物の経路を特定し、前記内視鏡を経由させるべき経路として決定する経路決定ステップを実行させることを特徴とする画像処理プログラム。
JP2012280943A 2012-12-25 2012-12-25 画像処理装置および画像処理方法、並びに画像処理プログラム Expired - Fee Related JP6030435B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012280943A JP6030435B2 (ja) 2012-12-25 2012-12-25 画像処理装置および画像処理方法、並びに画像処理プログラム
PCT/JP2013/007401 WO2014103237A1 (ja) 2012-12-25 2013-12-17 画像処理装置および画像処理方法、並びに画像処理プログラム
US14/747,635 US10278613B2 (en) 2012-12-25 2015-06-23 Image processing apparatus, image processing method, and a non-transitory computer readable recording medium containing an image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012280943A JP6030435B2 (ja) 2012-12-25 2012-12-25 画像処理装置および画像処理方法、並びに画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2014124218A true JP2014124218A (ja) 2014-07-07
JP6030435B2 JP6030435B2 (ja) 2016-11-24

Family

ID=51020360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012280943A Expired - Fee Related JP6030435B2 (ja) 2012-12-25 2012-12-25 画像処理装置および画像処理方法、並びに画像処理プログラム

Country Status (3)

Country Link
US (1) US10278613B2 (ja)
JP (1) JP6030435B2 (ja)
WO (1) WO2014103237A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016152042A1 (ja) * 2015-03-25 2016-09-29 富士フイルム株式会社 内視鏡検査支援装置、方法およびプログラム
JP2017006244A (ja) * 2015-06-18 2017-01-12 株式会社日立製作所 X線診断装置、及びその作動方法
WO2018221509A1 (ja) * 2017-06-02 2018-12-06 テルモ株式会社 経路選択支援システム、経路選択支援プログラムを記録した記録媒体、経路選択支援方法および診断方法
JPWO2018221508A1 (ja) * 2017-06-02 2020-04-02 テルモ株式会社 経路選択支援システム、経路選択支援プログラムを記録した記録媒体、経路選択支援方法および診断方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107529963B (zh) * 2015-04-23 2020-06-12 奥林巴斯株式会社 图像处理装置、图像处理方法和存储介质
US10238455B2 (en) * 2016-08-31 2019-03-26 Covidien Lp Pathway planning for use with a navigation planning and procedure system
US10777324B2 (en) * 2016-11-03 2020-09-15 The University Of Akron Engineered 3D lung airway tree
JP6702902B2 (ja) * 2017-02-24 2020-06-03 富士フイルム株式会社 マッピング画像表示制御装置および方法並びにプログラム
JP6745748B2 (ja) * 2017-03-16 2020-08-26 富士フイルム株式会社 内視鏡位置特定装置、その作動方法およびプログラム
EP4202527A4 (en) * 2020-08-24 2024-02-14 Fujifilm Corp IMAGE PROCESSING DEVICE, METHOD AND PROGRAM
US20220202273A1 (en) * 2020-12-30 2022-06-30 Canon U.S.A., Inc. Intraluminal navigation using virtual satellite targets

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010517633A (ja) * 2007-01-31 2010-05-27 ザ ペン ステイト リサーチ ファンデーション 中空臓器を通る3d経路計画のためのシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8417491B2 (en) 2005-10-11 2013-04-09 Koninklijke Philips Electronics N.V. 3D tool path planning, simulation and control system
JP5457178B2 (ja) 2006-06-30 2014-04-02 ブロンカス テクノロジーズ, インコーポレイテッド 気道バイパス部位選択および治療計画
JP5170993B2 (ja) 2006-07-31 2013-03-27 株式会社東芝 画像処理装置及び該画像処理装置を備える医用診断装置
WO2008096376A1 (en) * 2007-02-08 2008-08-14 Marorka Route selecting method and apparatus
JP5123615B2 (ja) 2007-08-31 2013-01-23 オリンパスメディカルシステムズ株式会社 内視鏡挿入支援装置
JP4717935B2 (ja) 2009-03-23 2011-07-06 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5748520B2 (ja) 2011-03-25 2015-07-15 富士フイルム株式会社 内視鏡挿入支援装置およびその作動方法、並びに内視鏡挿入支援プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010517633A (ja) * 2007-01-31 2010-05-27 ザ ペン ステイト リサーチ ファンデーション 中空臓器を通る3d経路計画のためのシステム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016152042A1 (ja) * 2015-03-25 2016-09-29 富士フイルム株式会社 内視鏡検査支援装置、方法およびプログラム
JP2016179121A (ja) * 2015-03-25 2016-10-13 富士フイルム株式会社 内視鏡検査支援装置、方法およびプログラム
JP2017006244A (ja) * 2015-06-18 2017-01-12 株式会社日立製作所 X線診断装置、及びその作動方法
WO2018221509A1 (ja) * 2017-06-02 2018-12-06 テルモ株式会社 経路選択支援システム、経路選択支援プログラムを記録した記録媒体、経路選択支援方法および診断方法
JPWO2018221508A1 (ja) * 2017-06-02 2020-04-02 テルモ株式会社 経路選択支援システム、経路選択支援プログラムを記録した記録媒体、経路選択支援方法および診断方法
JPWO2018221509A1 (ja) * 2017-06-02 2020-04-23 テルモ株式会社 経路選択支援システム、経路選択支援プログラムを記録した記録媒体、経路選択支援方法および診断方法
JP7144408B2 (ja) 2017-06-02 2022-09-29 テルモ株式会社 経路選択支援システム、経路選択支援プログラムを記録した記録媒体、および経路選択支援方法
US11490963B2 (en) 2017-06-02 2022-11-08 Terumo Kabushiki Kaisha Route selection assistance system, recording medium on which route selection assistance program is recorded, route selection assistance method, and diagnosis method
JP7214631B2 (ja) 2017-06-02 2023-01-30 テルモ株式会社 経路選択支援システム、および経路選択支援プログラムを記録した記録媒体
US11596352B2 (en) 2017-06-02 2023-03-07 Terumo Kabushiki Kaisha Route selection assistance system, recording medium on which route selection assistance program is recorded, route selection assistance method, and diagnosis method

Also Published As

Publication number Publication date
JP6030435B2 (ja) 2016-11-24
US20150282887A1 (en) 2015-10-08
WO2014103237A1 (ja) 2014-07-03
US10278613B2 (en) 2019-05-07

Similar Documents

Publication Publication Date Title
JP6030435B2 (ja) 画像処理装置および画像処理方法、並びに画像処理プログラム
US11389247B2 (en) Methods for navigation of a probe inside a lung
US10460441B2 (en) Trachea marking
JP2010517633A (ja) 中空臓器を通る3d経路計画のためのシステム
JP5748520B2 (ja) 内視鏡挿入支援装置およびその作動方法、並びに内視鏡挿入支援プログラム
US8994720B2 (en) Diagnosis assisting apparatus, diagnosis assisting program, and diagnosis assisting method
JP6072008B2 (ja) ユーザ操作されるオンザフライの経路プランニング
US9024941B2 (en) Sequentially displaying virtual endoscopic images by setting an observation path to compensate for a curved region of the tubular structure
US9390497B2 (en) Medical image processing apparatus, method and program
EP4181152A1 (en) Processing image data for assessing a clinical question
Gibbs et al. Planning and visualization methods for effective bronchoscopic target localization
JP2023110069A (ja) 医用画像処理装置、医用画像処理システムおよび医用画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161020

R150 Certificate of patent or registration of utility model

Ref document number: 6030435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees