JP2013150650A - 内視鏡画像診断支援装置および方法並びにプログラム - Google Patents

内視鏡画像診断支援装置および方法並びにプログラム Download PDF

Info

Publication number
JP2013150650A
JP2013150650A JP2012011865A JP2012011865A JP2013150650A JP 2013150650 A JP2013150650 A JP 2013150650A JP 2012011865 A JP2012011865 A JP 2012011865A JP 2012011865 A JP2012011865 A JP 2012011865A JP 2013150650 A JP2013150650 A JP 2013150650A
Authority
JP
Japan
Prior art keywords
endoscope
data
matching
endoscopic image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012011865A
Other languages
English (en)
Other versions
JP5918548B2 (ja
Inventor
Jun Masumoto
潤 桝本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012011865A priority Critical patent/JP5918548B2/ja
Priority to PCT/JP2013/000184 priority patent/WO2013111535A1/ja
Priority to EP13741090.8A priority patent/EP2807972A4/en
Publication of JP2013150650A publication Critical patent/JP2013150650A/ja
Priority to US14/337,867 priority patent/US10085672B2/en
Application granted granted Critical
Publication of JP5918548B2 publication Critical patent/JP5918548B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/28—Details of apparatus provided for in groups G01R33/44 - G01R33/64
    • G01R33/285—Invasive instruments, e.g. catheters or biopsy needles, specially adapted for tracking, guiding or visualization by NMR

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】予め取得された被検体の３次元画像を用いて内視鏡の先端位置を特定する内視鏡画像診断支援装置において、３次元画像上における内視鏡の先端位置をより正確に特定する。
【解決手段】被検体の３次元画像データを取得する３次元画像データ取得部１１と、３次元画像データ取得部１１によって取得された３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得する管状組織形状データ取得部１２と、被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得する内視鏡経路データ取得部１３と、管状組織形状データと内視鏡経路データとのマッチングを行うマッチング部１４とを備える。
【選択図】図１

Description

本発明は、予め取得された被検体の３次元画像上における実際の内視鏡の先端位置を特定することができる内視鏡画像診断支援装置および方法並びにプログラムに関するものである。
近年、患者の大腸、小腸および気管支等の管状組織を内視鏡を用いて観察または処置を行う技術が注目されている。
しかし、内視鏡画像は、ＣＣＤ（Charge Coupled Device）等の撮像素子により管状組織内部の色や質感が鮮明に表現された画像が得られる一方で、管状組織の内部を２次元の画像に表すものであるため、管状組織内のどの位置を表している画像かを把握することが困難である。
そこで、ＣＴ（Computed Tomography）装置等のモダリティによる断層撮影で予め得られた３次元画像データを用いて管状組織内の目標とする地点までの経路を予め取得するとともに、上記３次元画像データを用いて実際に内視鏡によって撮影した画像と類似した仮想内視鏡画像を生成し、この仮想内視鏡画像を用いて目標とする地点までの経路をナビゲーションする技術が提案されている（特許文献１、特許文献２参照）。
そして、上記のような仮想内視鏡画像を表示する際には、実際に管状組織内に挿入された内視鏡の先端位置に対応する３次元画像データ上の位置を特定する必要がある。そこで、たとえば非特許文献１においては、管状組織内における実際の内視鏡の先端位置を特定するために、光学センサや磁気センサを用いることが提案されている。
また、非特許文献１のように光学センサや磁気センサで内視鏡の位置を特定するために、内視鏡にセンサで検知可能なマーカを設け、このマーカを検出することによってカメラ位置を特定する方法も多く提案されている。
また、特許文献１から特許文献５においては、体内に挿入された軟性内視鏡がどのような形状になっているかをセンシングする方法が提案されている。
そして、従来は、たとえば内視鏡の先端位置を磁気センサなどでトラッキングし、術前画像と術中画像との相対位置関係を考慮にいれながら、術中の内視鏡の先端位置と同じと考えられる術前画像の位置を特定し、その特定した位置の仮想内視鏡画像を表示するようにしていた。
特開２００６−１９８０３１号公報 特開２０００−１３５２１５号公報 特開２００６−１４９９７２号公報 特開２００７−００７１８０号公報 特開２００３−２４５２４２号公報 特開２００４−０００５５１号公報 特開２００２−３６９７９０号公報
"斜視内視鏡ナビゲーションのための仮想および実内視鏡像の連動表示システム"、電子情報通信学会技術研究報告．MI，医用画像 103(213)，43-46，2003-07-11
しかしながら、大腸などの管状組織が術前と術中とで動かないことが前提であれば、上記の方法によって実際の内視鏡の先端位置に対応する位置の仮想内視鏡画像を表示することができるが、大腸のような軟組織は変形を伴うため、しばしば実際の内視鏡の先端位置と仮想内視鏡画像の位置とがずれるという問題が発生していた。
また、大腸などの管状組織の場合、被検体の前後左右方向に複雑に曲がった形状であり、また被検体の前後方向について２重、３重に折り重なった形状であるため、上記のようなセンシングの技術を用いても内視鏡の先端位置しか特定できないので、術前画像の折り重なった部分などにおいては、実際の内視鏡の先端位置を正確に特定することが非常に困難であった。
本発明は、上記事情に鑑み、予め取得された被検体の３次元画像上における内視鏡の先端位置をより正確に特定することができる内視鏡画像診断支援装置および方法並びにプログラムを提供することを目的とするものである。
本発明の内視鏡画像診断支援装置は、被検体の３次元画像データを取得する３次元画像データ取得手段と、３次元画像データ取得手段によって取得された３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得する管状組織形状データ取得手段と、被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得する内視鏡経路データ取得手段と、管状組織形状データと内視鏡経路データとのマッチングを行うマッチング手段とを備えたことを特徴とする。
また、上記本発明の内視鏡画像診断支援装置においては、３次元画像データと内視鏡経路データとマッチング手段におけるマッチング結果とに基づいて、被検体内における内視鏡の経路を管状組織の３次元立体画像内に表示する表示制御手段を設けることができる。
また、３次元画像データと内視鏡経路データとマッチング手段におけるマッチング結果とに基づいて、被検体内における内視鏡の経路を管状組織の断面画像内に表示する表示制御手段を設けることができる。
また、マッチング手段を、被検体内における内視鏡の経路が変化した場合に、マッチングをリアルタイムに行うものとできる。
また、マッチング手段を、被検体内における内視鏡の経路が変化した場合に、その形状の変化量を取得し、その変化量を用いてマッチングを行うものとできる。
また、管状組織形状データ取得部を、管状組織形状データとして木構造データを取得するものとし、マッチング手段を、木構造データを用いてマッチングを行うものとできる。
また、内視鏡経路データ取得手段を、内視鏡経路データとして線分構造データを取得するものとし、マッチング手段を、線分構造データと木構造データとの曲率極大点同士のマッチングを行うものとできる。
また、マッチング手段を、被検体における内視鏡の挿入口から被検体内に挿入された内視鏡の先端までの距離情報を取得し、その距離情報を用いてマッチングを行うものとできる。
また、表示制御手段を、管状組織をサーフェスモデルとして表示するものとできる。
また、表示制御手段を、管状組織をボクセルモデルとして表示するものとできる。
また、マッチング手段におけるマッチング結果に基づいて、３次元画像データの座標上での内視鏡の先端位置情報を取得する先端位置情報取得手段と、先端位置情報取得手段によって取得された先端位置情報と３次元画像データとに基づいて、内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データを取得する仮想内視鏡画像データ取得手段と、仮想内視鏡画像データに基づく仮想内視鏡画像と、内視鏡によって実際に撮影された実内視鏡画像とを表示する表示制御手段とを設けることができる。
また、表示制御手段を、仮想内視鏡画像と実内視鏡画像とを並べて表示するものとできる。
また、表示制御手段を、実内視鏡画像の表示画面内に仮想内視鏡画像を表示するものとできる。
また、表示制御手段を、実内視鏡画像と仮想内視鏡画像をブレンディング表示するものとできる。
また、内視鏡として、気管支鏡、大腸内視鏡、小腸内視鏡またはカプセル内視鏡を用いることができる。
また、管状組織を気管支、大腸または小腸とすることができる。
また、３次元画像データとしてＣＴ画像データを用いることができる。
また、３次元画像データとしてＭＲ画像データを用いることができる。
本発明の内視鏡画像診断支援方法は、被検体の３次元画像データを取得し、３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得し、被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得し、管状組織形状データと内視鏡経路データとのマッチングを行うことを特徴とする。
本発明の内視鏡画像診断支援プログラムは、コンピュータを、被検体の３次元画像データを取得する３次元画像データ取得手段と、３次元画像データ取得手段によって取得された３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得する管状組織形状データ取得手段と、被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得する内視鏡経路データ取得手段と、管状組織形状データと内視鏡経路データとのマッチングを行うマッチング手段として機能させることを特徴とする。
本発明の内視鏡画像診断支援装置および方法並びにプログラムによれば、被検体の３次元画像データを取得し、その３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得し、かつ被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得し、その取得した管状組織形状データと内視鏡経路データとのマッチングを行うようにしたので、従来は内視鏡の先端位置しか分からなかったものが、内視鏡が通過してきた管状組織内の経路も特定することができ、この経路を表す内視鏡経路データと管状組織形状データとのマッチングを行うことによって、術中における大腸などの軟組織の変形の影響を少なくして、実際の内視鏡の先端位置に対応する３次元画像上の位置をより正確に特定することができる。
また、上記本発明の内視鏡画像診断支援装置において、３次元画像データと内視鏡経路データとマッチング結果とに基づいて、被検体内における内視鏡の経路を管状組織の３次元立体画像内または断層画像内に表示するようにした場合には、視覚的に内視鏡の正確な先端位置を把握することができる。
また、被検体内における内視鏡の経路が変化した場合に、その形状の変化量を取得し、その変化量を用いてマッチングを行うようにした場合には、その変化量の範囲でのみマッチングを行うようにできるので、内視鏡経路データ全体についてマッチングを行う場合と比較するとマッチングを高速化することができる。
また、被検体における内視鏡の挿入口から被検体内に挿入された内視鏡の先端までの距離情報を取得し、その距離情報を用いてマッチングを行うようにした場合には、たとえばその距離情報から所定の範囲についてマッチングを行うようにすれば、明らかに誤ったマッチングを行うことを回避することができる。
また、マッチング結果に基づいて、３次元画像データの座標上での内視鏡の先端位置情報を取得し、その先端位置情報と３次元画像データとに基づいて、内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データを取得し、その仮想内視鏡画像データに基づく仮想内視鏡画像と、内視鏡によって実際に撮影された実内視鏡画像とを表示するようにした場合には、実際の内視鏡の先端位置に対応する位置の仮想内視鏡画像を表示することができるので、より正確なナビゲーションを行うことができる。
本発明の第１の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図 大腸形状データと内視鏡経路データとのマッチング方法の一例を説明するための図 大腸形状データと内視鏡経路データとのマッチング方法の一例を説明するための図 本発明の第１の実施形態を用いた内視鏡画像診断支援システムの作用を説明するためのフローチャート 大腸全体の３次元立体画像の正面図の一例を示す図 大腸全体の３次元立体画像の側面図の一例を示す図 大腸全体の３次元立体画像の正面図に木構造画像を重ねた画像を示す図 大腸全体の３次元立体画像の側面図に木構造画像を重ねた画像を示す図 内視鏡経路画像データによって表される内視鏡経路画像の正面図の一例を示す図 内視鏡経路画像データによって表される内視鏡経路画像の側面図の一例を示す図 大腸全体の３次元立体画像内に内視鏡経路画像を重ねた正面図の一例を示す図 大腸全体の３次元立体画像内に内視鏡経路画像を重ねた側面図の一例を示す図 本発明の第２の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図 実際に撮影された実内視鏡画像ＲＩと、仮想内視鏡画像ＶＩとを並べて表示する形態の一例を示す図 実際に撮影された実内視鏡画像ＲＩの表示画面内に仮想内視鏡画像ＶＩを表示する形態の一例を示す図
以下、本発明の内視鏡画像診断支援装置、内視鏡画像診断支援プログラムおよび内視鏡画像診断支援方法の第１の実施形態を用いた内視鏡画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、第１の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図である。
本内視鏡画像診断支援システム１は、図１に示すように、内視鏡画像診断支援装置１０と、内視鏡装置２０と、内視鏡経路検出装置３０と、モニタ４０と、入力部５０と、３次元画像データ保管サーバ６０とを備えている。
内視鏡画像診断支援装置１０は、コンピュータに内視鏡画像診断支援プログラムをインストールすることによって構成されたものである。
そして、内視鏡画像診断支援装置１０は、中央処理装置（ＣＰＵ）および半導体メモリや上述した内視鏡画像診断支援プログラムがインストールされたハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスなどを備えており、これらのハードウェアによって、図１に示すような３次元画像データ取得部１１（３次元画像データ取得手段）、管状組織形状データ取得部１２（管状組織形状データ取得手段）、内視鏡経路データ取得部１３（内視鏡経路データ取得手段）、マッチング部１４（マッチング手段）および表示制御部１５（表示制御手段）が構成されている。そして、ハードディスクにインストールされた内視鏡画像診断支援プログラムが中央処理装置によって実行されることによって上記各部がそれぞれ動作する。
３次元画像データ取得部１１は、内視鏡装置２０を用いた手術前または検査前などに予め撮影された被検体の３次元画像データを取得するものである。３次元画像データとしては、たとえばＣＴ装置やＭＲＩ（Magnetic Resonance Imaging）装置などから出力されたスライスデータから再構成されたボリュームデータや、ＭＳ（Multi Slice）ＣＴ装置やコーンビームＣＴ装置から出力されたボリュームデータなどがある。３次元画像データは、３次元画像データ保管サーバ６０に被検体の識別情報とともに予め保管されており、３次元画像データ取得部１１は、入力部５０において入力された被検体の識別情報に対応する３次元画像データを３次元画像データ保管サーバ６０から読み出すものである。
管状組織形状データ取得部１２は、３次元画像データ取得部１１によって取得された３次元画像データが入力され、その入力された３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得するものである。上記管状組織としては、たとえば大腸、小腸または気管支などがあるが、これに限らずその他の管状組織でもよい。本実施形態においては大腸の形状データを抽出して取得するものとする。
大腸形状データを抽出する方法としては、具体的には、まず、３次元画像データに基づいて体軸に垂直な断面（軸位断；axial）の軸位断画像データを複数生成し、その各軸位断画像データに対して、公知の手法により、体表を基準に体外と体内領域を分離する処理を行う。たとえば、入力された軸位断画像データに対して二値化処理を施し、輪郭抽出処理により輪郭を抽出し、その抽出した輪郭内部を体内(人体)領域として抽出する。次に、体内領域の軸位断画像データに対して閾値による二値化処理を行い、各軸位断画像データにおける大腸の領域の候補を抽出する。具体的には、大腸の管内には空気が入っているため、空気のＣＴ値に対応する閾値（たとえば、−６００以下）を設定して二値化処理を行い、各軸位断画像データの体内の空気領域を大腸領域候補として抽出する。最後に、各軸位断画像データ間で、抽出された体内の大腸領域候補がつながる部分のみを大腸領域として抽出することによって、大腸領域の３次元画像データを取得する。なお、大腸領域の３次元画像データを取得する方法としては、上記の方法に限らず、その他にもRegion Growing法やLevel Set法など公知な方法を用いるようにしてもよい。
そして、管状組織形状データ取得部１２は、上記のようにして取得された大腸領域の３次元画像データを細線化させて大腸の中心線を推定することによって大腸の木構造データを大腸形状データとして取得する。なお、細線化処理については、公知な方法を採用することができ、たとえば“安江正宏,森 健策,齋藤豊文,他:3次元濃淡画像の細線化法と医用画像への応用における能力の比較評価.電子情報通信学会論文誌J79‐D‐H(10):1664-1674,1996”や、“齋藤豊文,番正聡志,鳥脇純一郎:ユークリッド距離に基づくスケルトンを用いた3次元細線化手法の改善−ひげの発生を制御できる−手法.電子情報通信学会論文誌(E日刷中),2001”などに記載の方法を用いることができる。
内視鏡経路データ取得部１３は、内視鏡経路検出装置３０によって検出された被検体内における内視鏡装置２０の検出情報を取得し、この検出情報に基づいて内視鏡経路データを取得するものである。具体的には、本実施形態においては、後で詳述するように内視鏡経路検出装置３０によって内視鏡装置２０に設けられた磁気マーカの検出情報が取得されるが、内視鏡経路データ取得部１３は、その磁気マーカの検出情報をスプライン曲線で近似した線分構造データを内視鏡経路データとして取得するものである。
なお、本実施形態においては、内視鏡装置２０として大腸を観察するための軟性内視鏡装置を用いるので、上述した内視鏡経路データは内視鏡装置２０の形状を表す内視鏡形状データでもある。なお、内視鏡装置２０としていわゆるカプセル内視鏡装置を用いる場合には、そのカプセル内視鏡装置が大腸内を通過した経路を表すデータが、上述した内視鏡経路データとして取得されるものとする。
マッチング部１４は、管状組織形状データ取得部１２から出力された大腸形状データと内視鏡経路データ取得部１３から出力された内視鏡経路データを取得し、その取得した大腸形状データと内視鏡経路データとのマッチングを行うものである。ここでいうマッチングとは、手術前または検査前などに予め取得された大腸領域の３次元画像データによって表される大腸と、手術中または検査中において被検体に挿入された内視鏡装置２０の大腸内における実際の位置との位置合わせを行う処理である。
具体的には、図２に示すように、内視鏡経路（線分構造）上に５ｍｍ〜１ｃｍ程度の十分細かい範囲間隔でマッチング候補点Ｐ１，Ｐ２，Ｐ３，・・・を設定するとともに、大腸形状（木構造）上に同様の範囲間隔でマッチング候補点Ｐ１’，Ｐ２’，Ｐ３’・・・を設定する。
そして、内視鏡経路上の各マッチング候補点について、そのマッチング候補点の前後数点のマッチング候補点の座標値を利用して曲率を算出する。すなわち、たとえば内視鏡経路上のマッチング候補点Ｐ４の前後のマッチング候補点Ｐ１，Ｐ２，Ｐ３，Ｐ５，Ｐ６，Ｐ７の座標値を用いてマッチング候補点Ｐ４の曲率を算出するといったように、各マッチング候補点について曲率を算出する。
次に、このようにして算出した各マッチング候補点の曲率を用いて、図３に示すようなマッチング候補点の極大点Ｐｍａｘ１，Ｐｍａｘ２，Ｐｍａｘ３・・・を算出する。そして、この極大点Ｐｍａｘ１，Ｐｍａｘ２，Ｐｍａｘ３・・・のうち、予め設定された閾値以上のものをマッチング対象点として取得する。すなわち、図３の場合、極大点Ｐｍａｘ１，Ｐｍａｘ２，Ｐｍａｘ３のうち、極大点Ｐｍａｘ１，Ｐｍａｘ２だけがマッチング対象点として取得される。
一方、大腸形状上の各マッチング候補点についても、上記と同様にして曲率を算出した後、マッチング候補点の極大点を算出し、その極大点のうちの閾値以上のものをマッチング対象点として取得する。
そして、内視鏡経路のマッチング対象点群と、大腸形状のマッチング対象点群とを内視鏡挿入位置Ｓ，Ｓ’から順番に対応づけることによってマッチングを行う。上述した曲率の極大点は、内視鏡装置２０や大腸が曲がった点や、その他の管状組織が分岐している点を示している可能性が高く、このような大腸の曲がった点などは被検体内においてほとんど移動しない部分であるため、これを内視鏡装置２０と大腸の形状の特徴量として用いることができる。
なお、このマッチングにおいて、明らかに誤ったマッチングが行われるのを回避するため、内視鏡装置２０が被検体内に実際に挿入された長さと、大腸形状データにおける内視鏡装置２０の挿入口からの距離との関係も考慮して確からしいマッチングを行うようにしてもよい。具体的には、大腸の伸び縮みを考慮して、内視鏡装置２０が実際に挿入された長さの位置から１０ｃｍ前後に存在するマッチング対象点同士のマッチングを行うようにしてもよい。内視鏡装置２０が実際に挿入された長さについては、内視鏡装置２０の体内挿入部にセンサなどを設けることによって自動的に取得するようにしてもよいし、体内挿入部に目盛などの指標を設け、その目盛を使用者が読み取った値を入力部５０を用いて入力するようにしてもよい。
また、マッチング部１４におけるマッチングは、被検体内における内視鏡装置２０の体内挿入部の経路が変化した場合にリアルタイムを行われる。具体的には、内視鏡経路が予め設定された所定の長さだけ増加する毎にリアルタイムに行われる。
また、マッチング部１４におけるマッチングは、必ずしも大腸形状データと内視鏡経路データとの全体についてリアルタイムに行う必要はなく、被検体内における内視鏡装置２０の体内挿入部の経路が変化した場合、具体的には内視鏡経路の長さが増加した場合に、その増加量を取得し、その増加した範囲内でのみマッチングを行い、その他の範囲ではマッチングを行わないようにしてもよい。たとえば内視鏡経路の挿入口からの距離が２０ｃｍから３０ｃｍに変化した場合、内視鏡経路のうちの２０ｃｍ〜３０ｃｍの範囲のみについてマッチングを行い、０〜２０ｃｍまでの範囲については新たにマッチングを行うことなく前回までのマッチング結果を利用するようにしてもよい。このようにすることによってマッチングを高速化することができる。
また、内視鏡経路データと大腸形状データとの間のマッチングの方法としては上述した方法に限らず、その他の公知な方法も用いることができる。
表示制御部１５は、管状組織形状データ取得部１２において取得された大腸領域の３次元画像データが入力され、その３次元画像データに対してボリュームレンダリングやサーフェスレンダリングを施して、大腸全体の３次元立体画像をボクセルモデルまたはサーフェスモデルによってモニタ４０に表示するものである。そして、さらに内視鏡経路データ取得部１３によって取得された内視鏡経路データが入力され、この内視鏡経路データとマッチング部１４におけるマッチング結果とに基づいて、大腸全体の３次元立体画像内に内視鏡装置２０の経路（形状）画像を表示するものである。
具体的には、表示制御部１５は、マッチング部１４におけるマッチング結果に基づいて、内視鏡経路データの座標を３次元立体画像上の座標に変換し、その変換した座標を用いて内視鏡装置２０の経路画像をモニタ４０に表示する。
なお、本実施形態においては、大腸全体の３次元立体画像内に内視鏡装置２０の経路を表示するようにしたが、これに限らず、大腸の断面画像内に内視鏡装置２０の経路画像を表示するようにしてもよい。大腸の断面画像としては、任意の断面の画像を採用することができ、すなわちアキシャル断面、サジタル断面、コロナル断面などの直交断面はもちろんのこと、任意のオブリーク断面も採用することができる。また、内視鏡装置２０の経路（形状）画像の表示方法としては、断面に全ての経路画像を射影するようにしてもよいし、経路画像のうちの断面に近い部分のみを断面に射影することによって見易く表示するようにしてもよい。
また、表示制御部１５は、内視鏡装置２０によって撮影された大腸内の実内視鏡画像をモニタ４０に表示させるものである。
内視鏡装置２０としては、気管支鏡、大腸内視鏡、小腸内視鏡などの軟性内視鏡装置や、カプセル内視鏡装置を用いることができる。また、小腸内視鏡としては、ダブルバルーンやシングルバルーンを備えたものを用いることができる。なお、本実施形態においては、上述したとおり大腸内視鏡装置を用いるものとする。
そして、内視鏡装置２０には、内視鏡経路検出装置３０の構成に対応した構成が設けられている。たとえば内視鏡経路検出装置３０が磁気センサを用いて内視鏡装置２０の経路情報を検出するものである場合には、内視鏡装置２０の体内挿入部に一定間隔で磁気マーカが設けられる。なお、この例に限らず、内視鏡装置２０には、内視鏡経路検出装置３０によって内視鏡装置２０の経路情報を検出するためにその他の構成が設けられるものとする。
内視鏡経路検出装置３０は、内視鏡装置２０の経路情報を検出するものであり、具体的には、たとえば上述したような磁気センサを備え、被検体の体表に設定された上記磁気センサによって内視鏡装置２０の体内挿入部に設けられた磁気マーカを検出することによって内視鏡装置２０の経路（形状）情報を検出するものである。なお、内視鏡経路検出装置３０としては、上述したような磁気センサによって内視鏡装置２０を検出するものに限らず、その他にも光学的なセンサによって内視鏡装置２０の経路情報を検出するものとしてもよい。また、内視鏡装置２０としてカプセル内視鏡装置を用いる場合には、たとえばカプセル内視鏡装置に設けられた加速度センサの検出結果を無線通信などによって受信し、その受信結果に基づいてカプセル内視鏡装置の経路情報を検出するようにしてもよい。
入力部５０は、使用者の所定の情報の入力を受け付けるものであり、たとえばキーボードやマウスなどのポインティングデバイスによって構成されるものである。
次に、本発明の第１の実施形態を用いた内視鏡画像診断支援システムの作用について、図４に示すフローチャートを参照しながら説明する。
まず、入力部５０において被検体の識別情報が入力され、内視鏡画像診断支援装置１０の３次元画像データ取得部１１は、その入力された被検体の識別情報に対応する３次元画像データを３次元画像データ保管サーバ６０から読み出して取得する（Ｓ１０）。
３次元画像データ取得部１１によって取得された３次元画像データは、管状組織形状データ取得部１２に入力され、管状組織形状データ取得部１２は、入力された３次元画像データに基づいて大腸形状データを抽出して取得する（Ｓ１２）。
一方、内視鏡装置２０の体内挿入部が被検体の大腸に挿入され、内視鏡装置２０による大腸内の撮影が開始される。そして、このとき内視鏡装置２０の経路（形状）の情報が内視鏡経路検出装置３０によって検出され、その検出情報が内視鏡経路データ取得部１３によって取得される。具体的には、たとえば内視鏡経路検出装置３０の磁気センサによって内視鏡装置２０に設けられた磁気マーカが検出され、その検出情報が内視鏡経路データ取得部１３によって取得され、内視鏡経路データ取得部１３は、上記検出情報に基づいて内視鏡経路データを生成して取得する（Ｓ１４）。
そして、管状組織形状データ取得部１２によって取得された大腸形状データと、内視鏡経路データ取得部１３によって取得された内視鏡経路データとが、マッチング部１４に入力され、マッチング部１４は、これらのデータを用いてマッチングを行う（Ｓ１６）。マッチング部１４におけるマッチングの方法については上述したとおりである。
次に、管状組織形状データ取得部１２において取得された大腸領域の３次元画像データが表示制御部１５に入力され、表示制御部１５は、この大腸領域の３次元画像データに対してボリュームレンダリングやサーフェスレンダリングを施して大腸全体の３次元立体画像をモニタ４０に表示させる。図５は、大腸全体の３次元立体画像の正面図の一例を示すものであり、図６は、大腸全体の３次元立体画像の側面図の一例を示すものである。図５に示す正面図と図６に示す側面図とは、並べて表示するようにしてもよいし、入力部５０において使用者による表示切り替え指示を受け付けることによって切り替えて表示するようにしてもよい。また、図７および図８に示すように、大腸全体の３次元立体画像に対して上述した木構造データによって表される木構造画像を重ねて表示するようにしてもよい。
また、表示制御部１５にはマッチング部１４において取得された内視鏡経路データが入力され、表示制御部１５は、入力された内視鏡経路データに基づいて内視鏡経路画像データを生成する。図９は、内視鏡経路画像データによって表される内視鏡経路画像の正面図の一例を示すものであり、図１０は、内視鏡経路画像データによって表される内視鏡経路画像の側面図の一例を示すものである。
そして、表示制御部１５は、上記内視鏡経路画像データとマッチング部１４におけるマッチング結果とに基づいて、大腸全体の３次元立体画像内に内視鏡経路画像を重ねて表示する（Ｓ１８）。図１１は、大腸全体の３次元立体画像内に内視鏡経路画像を重ねた正面図の一例を示すものであり、図１２は、大腸全体の３次元立体画像内に内視鏡経路画像を重ねた側面図の一例を示すものである。図１１に示す正面図および図１２に示す側面図についても、並べて表示するようにしてもよいし、入力部５０において使用者の表示切り替え指示を受け付けることによって切り替えて表示するようにしてもよい。
また、表示制御部１５は、上述した３次元立体画像や内視鏡経路画像とともに、内視鏡装置２０によって撮影された大腸の内視鏡画像も表示する。３次元立体画像および内視鏡経路画像と、大腸の内視鏡画像とについても並べて表示するようにしてもよいし、入力部５０において使用者の表示切り替え指示を受け付けることによって切り替えて表示するようにしてもよい。
上記本発明の第１の実施形態を用いた内視鏡画像診断支援システムによれば、内視鏡経路データと管状組織形状データとのマッチングを行うようにしたので、術中における大腸などの軟組織の変形の影響を少なくして、実際の内視鏡の先端位置に対応する３次元画像上の位置をより正確に特定することができる。そして、図１１および図１２に示すような画像を表示させることによって、実際の内視鏡装置２０の先端位置に対応する３次元画像上の位置を視覚的により正確に把握することができる。特に、図１１および図１２に示すように大腸が前後方向に３重に折り重なっている場合には、内視鏡の先端位置の座標だけでは３重部分のどの位置に実際の内視鏡装置２０の先端が位置するのか把握しづらいが、上述したように内視鏡経路データと管状組織形状データとのマッチングを行うことによって、図１２に示すように、３重に重なっている部分の真ん中の部分に内視鏡装置２０の先端が位置することを容易に把握することができる。
また、３次元立体画像内に表示される内視鏡経路画像については、入力部５０において使用者による表示切り替え指示を受け付けることによって表示と非表示とを切り替えるようにしてもよい。
次に、本発明の第２の実施形態を用いた内視鏡画像診断支援システムについて説明する。図１３は、本発明の第２の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図である。
第２の実施形態の内視鏡画像診断支援システム２は、第１の実施形態の内視鏡画像診断支援システムとは、仮想内視鏡画像を表示する点で異なるものである。それ以外の構成については第１の実施形態の内視鏡画像診断支援システム１と同様であるのでこの異なる点を中心に説明する。
第２の実施形態の内視鏡画像診断支援システム２における内視鏡画像診断支援装置７０は、第１の実施形態の内視鏡画像診断支援装置１０に対してさらに先端位置情報取得部１６（先端位置情報取得手段）と仮想内視鏡画像データ取得部１７（仮想内視鏡画像データ取得手段）とを備えたものである。
先端位置情報取得部１６は、マッチング部１４におけるマッチング結果に基づいて、大腸の３次元立体画像の座標上での内視鏡装置２０の体内挿入部の先端位置の座標を先端位置情報として取得するものである。
仮想内視鏡画像データ取得部１７は、管状組織形状データ取得部１２において取得された大腸領域の３次元画像データが入力されるとともに、先端位置情報取得部１６によって取得された先端位置情報が入力されるものである。そして、先端位置情報取得部１６によって取得された先端位置情報を視点として、その視点から放射線状に伸ばした複数の視線上の３次元画像データを所定の投影面に投影した中心投影による投影画像データを取得する。この投影画像データは、先端位置情報取得部１６によって取得された内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データとなる。なお、中心投影の具体的な方法としては、たとえば公知のボリュームレンダリング手法等を用いることができる。また、仮想内視鏡画像データの画角（視線の範囲）や視野の中心（投影方向の中心）は、使用者による入力などによって予め設定されているものとする。
そして、上記のようにして取得された仮想内視鏡画像データは、表示制御部１５に入力され、表示制御部１５は、入力された仮想内視鏡画像データに基づいて仮想内視鏡画像をモニタ４０に表示させる。
なお、このとき図１４に示すように、内視鏡装置２０によって実際に撮影された実内視鏡画像ＲＩと、仮想内視鏡画像ＶＩとを並べて表示するようにしてもよいし、図１５に示すように、実際に撮影された実内視鏡画像ＲＩの表示画面内に仮想内視鏡画像ＶＩを表示するようにしてもよい。もしくは、実内視鏡画像ＲＩに対して半透明処理を施した仮想内視鏡画像を重ねて表示することによってブレンディング表示するようにしてもよい。
なお、仮想内視鏡画像ＶＩにおいては、たとえば大腸内の病変部が強調して表示されたり、内視鏡装置２０の体内挿入部が進むべき方向のガイドの表示が行われたりする。
また、上記第２の実施形態の内視鏡画像診断支援システムにおいて、大腸の３次元立体画像および内視鏡経路画像と、大腸の実内視鏡画像ＲＩおよび仮想内視鏡画像ＶＩとを並べて表示するようにしてもよいし、入力部５０において使用者の表示切り替え指示を受け付けることによって４つの各画像の表示または非表示をそれぞれ切り替えるようにしてもよい。
上記本発明の第２の実施形態の内視鏡画像診断支援システムによれば、マッチング結果に基づいて、３次元画像データの座標上での内視鏡の先端位置情報を取得し、その先端位置情報と３次元画像データとに基づいて、仮想内視鏡画像データを取得し、その仮想内視鏡画像データに基づく仮想内視鏡画像と、内視鏡によって実際に撮影された実内視鏡画像とを表示するようにしたので、実際の内視鏡の先端位置に対応する位置の仮想内視鏡画像を表示することができ、より正確なナビゲーションを行うことができる。
１，２ 内視鏡画像診断支援システム
１０ 内視鏡画像診断支援装置
１１ ３次元画像データ取得部
１２ 管状組織形状データ取得部
１３ 内視鏡経路データ取得部
１４ マッチング部
１５ 表示制御部
１６ 先端位置情報取得部
１７ 仮想内視鏡画像データ取得部
２０ 内視鏡装置
３０ 内視鏡経路検出装置
４０ モニタ
５０ 入力部
６０ ３次元画像データ保管サーバ
７０ 内視鏡画像診断支援装置

Claims (21)

  1. 被検体の３次元画像データを取得する３次元画像データ取得手段と、
    該３次元画像データ取得手段によって取得された３次元画像データから前記被検体内の管状組織の形状を表す管状組織形状データを抽出して取得する管状組織形状データ取得手段と、
    前記被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得する内視鏡経路データ取得手段と、
    前記管状組織形状データと前記内視鏡経路データとのマッチングを行うマッチング手段とを備えたことを特徴とする内視鏡画像診断支援装置。
  2. 前記３次元画像データと前記内視鏡経路データと前記マッチング手段におけるマッチング結果とに基づいて、前記被検体内における内視鏡の経路を前記管状組織の３次元立体画像内に表示する表示制御手段を備えたことを特徴とする請求項１記載の内視鏡画像診断支援装置。
  3. 前記３次元画像データと前記内視鏡経路データと前記マッチング手段におけるマッチング結果とに基づいて、前記被検体内における内視鏡の経路を前記管状組織の断面画像内に表示する表示制御手段を備えたことを特徴とする請求項１記載の内視鏡画像診断支援装置。
  4. 前記マッチング手段が、前記被検体内における内視鏡の経路が変化した場合に、前記マッチングをリアルタイムに行うものであることを特徴とする請求項１から３いずれか１項記載の内視鏡画像診断支援装置。
  5. 前記マッチング手段が、前記被検体内における内視鏡の経路が変化した場合に、該形状の変化量を取得し、該変化量を用いて前記マッチングを行うものであることを特徴とする請求項４記載の内視鏡画像診断支援装置。
  6. 前記管状組織形状データ取得部が、前記管状組織形状データとして木構造データを取得するものであり、
    前記マッチング手段が、前記木構造データを用いてマッチングを行うものであることを特徴とする請求項１から５いずれか１項記載の内視鏡画像診断支援装置。
  7. 前記内視鏡経路データ取得手段が、前記内視鏡経路データとして線分構造データを取得するものであり、
    前記マッチング手段が、前記線分構造データと前記木構造データとの曲率極大点同士のマッチングを行うものであることを特徴とする請求項６項記載の内視鏡画像診断支援装置。
  8. 前記マッチング手段が、前記被検体における前記内視鏡の挿入口から前記被検体内に挿入された内視鏡の先端までの距離情報を取得し、該距離情報を用いて前記マッチングを行うものであることを特徴とする請求項１から７いずれか１項記載の内視鏡画像診断支援装置。
  9. 前記表示制御手段が、前記管状組織をサーフェスモデルとして表示するものであることを特徴とする請求項１から８いずれか１項記載の内視鏡画像診断支援装置。
  10. 前記表示制御手段が、前記管状組織をボクセルモデルとして表示するものであることを特徴とする請求項１から８いずれか１項記載の内視鏡画像診断支援装置。
  11. 前記マッチング手段におけるマッチング結果に基づいて、前記３次元画像データの座標上での前記内視鏡の先端位置情報を取得する先端位置情報取得手段と、
    該先端位置情報取得手段によって取得された先端位置情報と前記３次元画像データとに基づいて、前記内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データを取得する仮想内視鏡画像データ取得手段と、
    前記仮想内視鏡画像データに基づく仮想内視鏡画像と、前記内視鏡によって実際に撮影された実内視鏡画像とを表示する表示制御手段とを備えたものであることを特徴とする請求項１記載の内視鏡画像診断支援装置。
  12. 前記マッチング手段におけるマッチング結果に基づいて、前記３次元画像データの座標上での前記内視鏡の先端位置情報を取得する先端位置情報取得手段と、
    該先端位置情報取得手段によって取得された先端位置情報と前記３次元画像データとに基づいて、前記内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データを取得する仮想内視鏡画像データ取得手段とを備え、
    前記表示制御手段が、前記仮想内視鏡画像データに基づく仮想内視鏡画像と、前記内視鏡によって実際に撮影された実内視鏡画像とを表示するものであることを特徴とする請求項２または３記載の内視鏡画像診断支援装置。
  13. 前記表示制御手段が、前記仮想内視鏡画像と前記実内視鏡画像とを並べて表示するものであることを特徴とする請求項１１または１２記載の内視鏡画像診断支援装置。
  14. 前記表示制御手段が、前記実内視鏡画像の表示画面内に前記仮想内視鏡画像を表示するものであることを特徴とする請求項１１または１２記載の内視鏡画像診断支援装置。
  15. 前記表示制御手段が、前記実内視鏡画像と前記仮想内視鏡画像をブレンディング表示するものであることを特徴とする請求項１１または１２記載の内視鏡画像診断支援装置。
  16. 前記内視鏡が、気管支鏡、大腸内視鏡、小腸内視鏡またはカプセル内視鏡であることを特徴とする請求項１から１５いずれか１項記載の内視鏡画像診断支援装置。
  17. 前記管状組織が、気管支、大腸または小腸であることを特徴とする請求項１から１６記載の内視鏡画像診断支援装置。
  18. 前記３次元画像データが、ＣＴ画像データであることを特徴とする請求項１から１７いずれか１項記載の内視鏡画像診断支援装置。
  19. 前記３次元画像データは、ＭＲ画像データであることを特徴とする請求項１から１７いずれか１項記載の内視鏡画像診断支援装置。
  20. 被検体の３次元画像データを取得し、
    該３次元画像データから前記被検体内の管状組織の形状を表す管状組織形状データを抽出して取得し、
    前記被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得し、
    前記管状組織形状データと前記内視鏡経路データとのマッチングを行うことを特徴とする内視鏡画像診断支援方法。
  21. コンピュータを、
    被検体の３次元画像データを取得する３次元画像データ取得手段と、
    該３次元画像データ取得手段によって取得された３次元画像データから前記被検体内の管状組織の形状を表す管状組織形状データを抽出して取得する管状組織形状データ取得手段と、
    前記被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得する内視鏡経路データ取得手段と、
    前記管状組織形状データと前記内視鏡経路データとのマッチングを行うマッチング手段として機能させることを特徴とする内視鏡画像診断支援プログラム。
JP2012011865A 2012-01-24 2012-01-24 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム Active JP5918548B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012011865A JP5918548B2 (ja) 2012-01-24 2012-01-24 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
PCT/JP2013/000184 WO2013111535A1 (ja) 2012-01-24 2013-01-17 内視鏡画像診断支援装置および方法並びにプログラム
EP13741090.8A EP2807972A4 (en) 2012-01-24 2013-01-17 DEVICE, METHOD AND PROGRAM FOR SUPPORTING ENDOSCOPIC IMAGE DIAGNOSIS
US14/337,867 US10085672B2 (en) 2012-01-24 2014-07-22 Diagnostic endoscopic imaging support apparatus and method, and non-transitory computer readable medium on which is recorded diagnostic endoscopic imaging support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012011865A JP5918548B2 (ja) 2012-01-24 2012-01-24 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム

Publications (2)

Publication Number Publication Date
JP2013150650A true JP2013150650A (ja) 2013-08-08
JP5918548B2 JP5918548B2 (ja) 2016-05-18

Family

ID=48873269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012011865A Active JP5918548B2 (ja) 2012-01-24 2012-01-24 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム

Country Status (4)

Country Link
US (1) US10085672B2 (ja)
EP (1) EP2807972A4 (ja)
JP (1) JP5918548B2 (ja)
WO (1) WO2013111535A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014230612A (ja) * 2013-05-28 2014-12-11 国立大学法人名古屋大学 内視鏡観察支援装置
JP2017108934A (ja) * 2015-12-17 2017-06-22 キヤノンマーケティングジャパン株式会社 医用画像処理装置、その制御方法、及びプログラム
JP2017108971A (ja) * 2015-12-17 2017-06-22 キヤノンマーケティングジャパン株式会社 画像診断支援装置及びその制御方法、並びにコンピュータプログラム及び記憶媒体
WO2019087969A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 内視鏡システム、報知方法、及びプログラム
JP2019533503A (ja) * 2016-10-13 2019-11-21 フラウンホーファー−ゲゼルシャフト ツール フエルデルング デア アンゲヴァンテン フォルシュング エー．ファオ． 管状構造内の器具の位置を決定するための位置決定装置
US10733747B2 (en) 2017-06-30 2020-08-04 Fujifilm Corporation Image registration apparatus, image registration method, and image registration program
JP2021514761A (ja) * 2018-03-01 2021-06-17 オーリス ヘルス インコーポレイテッド マッピング及びナビゲーションのための方法及びシステム
JP2021519188A (ja) * 2018-04-11 2021-08-10 フラウンホーファー−ゲゼルシャフト ツール フエルデルング デア アンゲヴァンテン フォルシュング エー．ファオ． 管状構造体内の物体の位置を決定するための位置決定装置
WO2023075303A1 (ko) * 2021-10-26 2023-05-04 주식회사 카이미 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10334227B2 (en) * 2014-03-28 2019-06-25 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
EP3122281B1 (en) 2014-03-28 2022-07-20 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and 3d modeling of surgical implants
US10555788B2 (en) 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
KR102397254B1 (ko) 2014-03-28 2022-05-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 장면의 정량적인 3차원 영상
JP6854237B2 (ja) 2014-03-28 2021-04-07 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視野内の器具の定量的三次元視覚化
JP6594133B2 (ja) * 2015-09-16 2019-10-23 富士フイルム株式会社 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
BR112020012682A2 (pt) * 2017-12-27 2020-11-24 Ethicon Llc imageamento hiperespectral em um ambiente com deficiência de luz
JP6990292B2 (ja) * 2018-02-21 2022-01-12 オリンパス株式会社 医療システムおよび医療システムの作動方法
JPWO2020121380A1 (ja) * 2018-12-10 2021-10-28 オリンパス株式会社 画像処理装置、消化管の形状モデルの生成方法、及び画像処理装置の作動プログラム
US11276148B2 (en) 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US10841504B1 (en) 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
US11288772B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11096565B2 (en) 2019-06-20 2021-08-24 Cilag Gmbh International Driving light emissions according to a jitter specification in a hyperspectral, fluorescence, and laser mapping imaging system
US11360028B2 (en) 2019-06-20 2022-06-14 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11237270B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
US11233960B2 (en) 2019-06-20 2022-01-25 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11122968B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral imaging
US11218645B2 (en) 2019-06-20 2022-01-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US20200397239A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11622094B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11134832B2 (en) 2019-06-20 2021-10-05 Cilag Gmbh International Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system
US11187657B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Hyperspectral imaging with fixed pattern noise cancellation
US11674848B2 (en) 2019-06-20 2023-06-13 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for hyperspectral imaging
US11172810B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Speckle removal in a pulsed laser mapping imaging system
US11700995B2 (en) 2019-06-20 2023-07-18 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11412152B2 (en) 2019-06-20 2022-08-09 Cilag Gmbh International Speckle removal in a pulsed hyperspectral imaging system
US11937784B2 (en) 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11012599B2 (en) 2019-06-20 2021-05-18 Ethicon Llc Hyperspectral imaging in a light deficient environment
US20200397270A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Optical fiber waveguide in an endoscopic system for fluorescence imaging
US11375886B2 (en) 2019-06-20 2022-07-05 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for laser mapping imaging
US11172811B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11624830B2 (en) 2019-06-20 2023-04-11 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for laser mapping imaging
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11457154B2 (en) 2019-06-20 2022-09-27 Cilag Gmbh International Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11986160B2 (en) 2019-06-20 2024-05-21 Cllag GmbH International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral imaging system
US11412920B2 (en) 2019-06-20 2022-08-16 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11686847B2 (en) 2019-06-20 2023-06-27 Cilag Gmbh International Pulsed illumination in a fluorescence imaging system
US11141052B2 (en) 2019-06-20 2021-10-12 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11432706B2 (en) 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US11540696B2 (en) 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US10979646B2 (en) 2019-06-20 2021-04-13 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11671691B2 (en) 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US11516387B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11788963B2 (en) 2019-06-20 2023-10-17 Cilag Gmbh International Minimizing image sensor input/output in a pulsed fluorescence imaging system
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11294062B2 (en) 2019-06-20 2022-04-05 Cilag Gmbh International Dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping
US11221414B2 (en) 2019-06-20 2022-01-11 Cilag Gmbh International Laser mapping imaging with fixed pattern noise cancellation
US11265491B2 (en) 2019-06-20 2022-03-01 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US11187658B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11716533B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11284785B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Controlling integral energy of a laser pulse in a hyperspectral, fluorescence, and laser mapping imaging system
US10952619B2 (en) 2019-06-20 2021-03-23 Ethicon Llc Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor
US11892403B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11716543B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11291358B2 (en) 2019-06-20 2022-04-05 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005503882A (ja) * 2001-10-02 2005-02-10 ネオガイド システムズ， インコーポレイテッド 操縦可能なセグメント化内視鏡および挿入法
JP2005304937A (ja) * 2004-04-23 2005-11-04 Olympus Corp 挿入支援システム
JP2010517632A (ja) * 2007-01-31 2010-05-27 ザ ペン ステイト リサーチ ファンデーション 内視鏡の継続的案内のためのシステム
JP2010172350A (ja) * 2009-01-27 2010-08-12 Sendai City Medical Center 術具挿入支援システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4159396B2 (ja) 1994-08-18 2008-10-01 オリンパス株式会社 内視鏡形状検出装置
JP2000135215A (ja) 1998-10-30 2000-05-16 Ge Yokogawa Medical Systems Ltd 管路案内方法および装置並びに放射線断層撮影装置
US6468203B2 (en) 2000-04-03 2002-10-22 Neoguide Systems, Inc. Steerable endoscope and improved method of insertion
JP3722762B2 (ja) 2002-02-22 2005-11-30 オリンパス株式会社 内視鏡形状検出装置
JP3749196B2 (ja) 2002-04-04 2006-02-22 オリンパス株式会社 内視鏡形状検出システム
US7224827B2 (en) * 2002-09-27 2007-05-29 The Board Of Trustees Of The Leland Stanford Junior University Method for matching and registering medical image data
EP1681011B1 (en) 2003-10-31 2013-03-20 Olympus Corporation Insertion support system
JP4749703B2 (ja) 2004-12-01 2011-08-17 オリンパス株式会社 内視鏡挿入形状検出装置
US8069420B2 (en) * 2004-12-29 2011-11-29 Karl Storz Endoscopy-America, Inc. System for controlling the communication of medical imaging data
JP2006198031A (ja) 2005-01-18 2006-08-03 Olympus Corp 手術支援システム
JP2007007180A (ja) 2005-06-30 2007-01-18 Olympus Medical Systems Corp 内視鏡挿入形状観測装置
CN101055620B (zh) * 2006-04-12 2011-04-06 富士通株式会社 形状比较装置和方法
US8219179B2 (en) * 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US20120027260A1 (en) * 2009-04-03 2012-02-02 Koninklijke Philips Electronics N.V. Associating a sensor position with an image position
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
US20130303887A1 (en) * 2010-08-20 2013-11-14 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation
US20130046137A1 (en) * 2011-08-15 2013-02-21 Intuitive Surgical Operations, Inc. Surgical instrument and method with multiple image capture sensors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005503882A (ja) * 2001-10-02 2005-02-10 ネオガイド システムズ， インコーポレイテッド 操縦可能なセグメント化内視鏡および挿入法
JP2005304937A (ja) * 2004-04-23 2005-11-04 Olympus Corp 挿入支援システム
JP2010517632A (ja) * 2007-01-31 2010-05-27 ザ ペン ステイト リサーチ ファンデーション 内視鏡の継続的案内のためのシステム
JP2010172350A (ja) * 2009-01-27 2010-08-12 Sendai City Medical Center 術具挿入支援システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014230612A (ja) * 2013-05-28 2014-12-11 国立大学法人名古屋大学 内視鏡観察支援装置
JP2017108934A (ja) * 2015-12-17 2017-06-22 キヤノンマーケティングジャパン株式会社 医用画像処理装置、その制御方法、及びプログラム
JP2017108971A (ja) * 2015-12-17 2017-06-22 キヤノンマーケティングジャパン株式会社 画像診断支援装置及びその制御方法、並びにコンピュータプログラム及び記憶媒体
JP2019533503A (ja) * 2016-10-13 2019-11-21 フラウンホーファー−ゲゼルシャフト ツール フエルデルング デア アンゲヴァンテン フォルシュング エー．ファオ． 管状構造内の器具の位置を決定するための位置決定装置
US10733747B2 (en) 2017-06-30 2020-08-04 Fujifilm Corporation Image registration apparatus, image registration method, and image registration program
WO2019087969A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 内視鏡システム、報知方法、及びプログラム
JPWO2019087969A1 (ja) * 2017-10-31 2020-11-12 富士フイルム株式会社 内視鏡システム、報知方法、及びプログラム
JP2021514761A (ja) * 2018-03-01 2021-06-17 オーリス ヘルス インコーポレイテッド マッピング及びナビゲーションのための方法及びシステム
JP2021519188A (ja) * 2018-04-11 2021-08-10 フラウンホーファー−ゲゼルシャフト ツール フエルデルング デア アンゲヴァンテン フォルシュング エー．ファオ． 管状構造体内の物体の位置を決定するための位置決定装置
WO2023075303A1 (ko) * 2021-10-26 2023-05-04 주식회사 카이미 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법

Also Published As

Publication number Publication date
US10085672B2 (en) 2018-10-02
JP5918548B2 (ja) 2016-05-18
EP2807972A4 (en) 2015-11-11
EP2807972A1 (en) 2014-12-03
US20140336501A1 (en) 2014-11-13
WO2013111535A1 (ja) 2013-08-01

Similar Documents

Publication Publication Date Title
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
US8248414B2 (en) Multi-dimensional navigation of endoscopic video
US7824328B2 (en) Method and apparatus for tracking a surgical instrument during surgery
US7945310B2 (en) Surgical instrument path computation and display for endoluminal surgery
US8248413B2 (en) Visual navigation system for endoscopic surgery
US8894566B2 (en) Endoscope system
JP5369078B2 (ja) 医用画像処理装置および方法、並びにプログラム
US20080071141A1 (en) Method and apparatus for measuring attributes of an anatomical feature during a medical procedure
US9619938B2 (en) Virtual endoscopic image display apparatus, method and program
JP5785120B2 (ja) 医用画像診断支援装置および方法並びにプログラム
US20160228075A1 (en) Image processing device, method and recording medium
JP2007260144A (ja) 医療用画像処理装置及び医療用画像処理方法
WO2012014438A1 (ja) 内視鏡観察を支援する装置および方法、並びに、プログラム
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
US9501709B2 (en) Medical image processing apparatus
JP2018153346A (ja) 内視鏡位置特定装置、方法およびプログラム
JP5554028B2 (ja) 医用画像処理装置、医用画像処理プログラム、及びｘ線ｃｔ装置
JP4981335B2 (ja) 医療用画像処理装置及び医療用画像処理方法
US9558589B2 (en) Medical image display apparatus, method, and program
JP6026357B2 (ja) 仮想内視鏡画像生成装置および方法並びにプログラム
JP2007236630A (ja) 医療用画像処理装置及び医療用画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160408

R150 Certificate of patent or registration of utility model

Ref document number: 5918548

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250