JP2014064722A - 仮想内視鏡画像生成装置および方法並びにプログラム - Google Patents

仮想内視鏡画像生成装置および方法並びにプログラム Download PDF

Info

Publication number
JP2014064722A
JP2014064722A JP2012211644A JP2012211644A JP2014064722A JP 2014064722 A JP2014064722 A JP 2014064722A JP 2012211644 A JP2012211644 A JP 2012211644A JP 2012211644 A JP2012211644 A JP 2012211644A JP 2014064722 A JP2014064722 A JP 2014064722A
Authority
JP
Japan
Prior art keywords
viewpoint position
distance
image
endoscopic image
virtual endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012211644A
Other languages
English (en)
Other versions
JP5934070B2 (ja
Inventor
Futoshi Sakuragi
太 櫻木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012211644A priority Critical patent/JP5934070B2/ja
Priority to PCT/JP2013/005496 priority patent/WO2014050019A1/ja
Priority to EP13842951.9A priority patent/EP2901935B1/en
Publication of JP2014064722A publication Critical patent/JP2014064722A/ja
Priority to US14/663,788 priority patent/US9830737B2/en
Application granted granted Critical
Publication of JP5934070B2 publication Critical patent/JP5934070B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】仮想内視鏡の視点位置と構造物との距離に応じて、構造物を適切に視認できるようにする。
【解決手段】構造物抽出部２４が、３次元医用画像Ｍから構造物を抽出し、視点決定部２６が、仮想内視鏡画像の視点位置および視線方向を決定する。画像生成部２７が、視点位置Ｐ１と抽出した構造物との距離を算出し、距離および構造物に対して複数定義された、視点位置からの距離に応じて異なる表示属性に基づいて、抽出した構造物の表示属性を決定し、決定された表示属性の構造物を含む仮想内視鏡画像Ｇ１を３次元医用画像Ｍから生成する。表示制御部２８が、仮想内視鏡画像Ｇ０をＷＳディスプレイ１０に表示する。
【選択図】図２

Description

本発明は、被検体の体腔内に挿入された内視鏡下での手術および検査等における、内視鏡観察を支援するための、被検体の体腔内を表す仮想内視鏡画像を生成する装置および方法並びにプログラムに関するものである。
近年、腹腔鏡手術や胸腔鏡手術等の内視鏡下で行われる手術が注目されている。この内視鏡手術では、開腹や開胸等を行うことなく、内視鏡と処置具を刺入するための数センチ程度の穴を２、３個開けるだけで済むため、患者の負担が極めて小さいというメリットがある。一方で、内視鏡の限られた視野で手術を実施することは技術的難易度が高く、執刀を行う医師は熟練を要する。もし患者の血管や臓器を誤って傷つけてしまい、出血してしまった場合には、開腹、開胸等を伴う従来の手法による手術に移行せざるを得ない。
一方、ＣＴ等での撮影によって得られた３次元ボリューム画像から内視鏡と類似した画像を生成する仮想内視鏡技術が知られている。この技術は、とくに大腸の腫瘍を発見するために、内視鏡検査をすることなくＣＴ撮影のみで腫瘍を発見する方法として北米で普及している。そして、仮想内視鏡画像を用いて内視鏡手術あるいは検査等を安全かつ迅速に行うための手法が提案されている。
例えば、特許文献１には、内視鏡の位置をセンサで検出し、検出位置を視点とし、内視鏡よりも広い画角を有する仮想内視鏡画像を生成し、内視鏡撮影で得られた実内視鏡画像と仮想内視鏡画像とを重畳表示する装置が記載されている。
しかしながら、特許文献１に記載された手法では、内視鏡の狭い視野を仮想内視鏡画像によって補うことはできるものの、仮想内視鏡画像は実内視鏡画像と同じ視点、同じ観察方向の画像であるから、手術対象部位等の注目箇所と内視鏡との位置関係によっては、仮想内視鏡画像あるいは実内視鏡画像中に注目箇所が表示されない可能性があり、内視鏡と注目箇所との位置関係が把握できないこともありうる。
このため、例えば特許文献２に、仮想内視鏡の視点位置からの距離に応じて仮想内視鏡画像の色を変化させるためのカラーテンプレートを構造物毎に定義しておき、視点からの距離に応じて構造物の色を変化させる手法が提案されている。また、特許文献３には、仮想内視鏡の視点位置と注目構造物との間に他の構造物が存在する場合に注目構造物が表示されなくなることを防止するために、各構造物に対して各部を半透明にする不透明度を定義したカラーテンプレートを用いる手法が提案されている。
特開２００２−２６３０５３号公報 特開２０１１−２１２２４５号公報 特開２０１１−２１２２４４号公報
特許文献２に記載された手法は、構造物に近いほど色が淡く、遠いほど色が濃いものとなるように構造物の色を変化させるものである。このため、構造物への仮想内視鏡の接近の状態を把握できるものの、構造物の表現の仕方が乏しく、各構造物を適切に視認できない場合がある。また、特許文献３に記載された手法は、全ての構造物に対して半透明となる不透明度を定義したカラーテンプレートを適用するものであるため、仮想内視鏡画像に含まれる全ての構造物が半透明となってしまう。このため、注目構造物も半透明となってしまうことから、注目構造物の確認がし難くなるおそれがある。
本発明は上記事情に鑑みなされたものであり、仮想内視鏡の視点位置と構造物との距離に応じて、構造物を適切に視認できるようにすることを目的とする。
本発明による仮想内視鏡画像生成装置は、複数の構造物を含む被検体の３次元画像を取得する画像取得手段と、
３次元画像から少なくとも１つの構造物を抽出する構造物抽出手段と、
被検体の体腔内における仮想的な視点位置および視線方向を決定する視点決定手段と、
複数の構造物のそれぞれに対して複数定義した、視点位置からの距離に応じて異なる表示属性を記憶する記憶手段と、
視点位置と抽出した構造物との距離、および抽出した構造物に定義された複数の表示属性に基づいて、抽出した構造物の表示属性を決定し、決定された表示属性の構造物を含む、視点位置および視線方向の仮想内視鏡画像を３次元画像から生成する画像生成手段とを備えたことを特徴とするものである。
「構造物」の具体例としては、内視鏡下での手術対象部位や、手術において注意を要する解剖学的構造物、すなわち、血管や、臓器、腫瘍等が挙げられる。これらの構造物の位置の具体的な特定方法は、公知の画像認識技術を用いた自動的方法、ユーザの手動操作による方法、あるいは両者を組み合わせた方法のいずれであってもよい。
「表示属性」としては、不透明度の他、実内視鏡画像に表された体腔内各部とほぼ同じ外観の仮想内視鏡画像が得られるように定義されたカラーテンプレートを含むものであってもよい。また、構造物に対する陰の有無、および環境光あるいは拡散光といった光源の種類を、表示属性に含めてもよい。
なお、本発明による仮想内視鏡画像表示装置においては、表示属性を、視点位置からの距離に応じて変化する不透明度が定義されているものとし、
画像生成手段を、視点位置と抽出した構造物との距離に応じて、表示属性の不透明度をさらに変更し、不透明度がさらに変更された表示属性の構造物を含む、仮想内視鏡画像を生成する手段としてもよい。
この場合、不透明度を、距離が第１のしきい値以上および第２のしきい値以下で０となり、第１および第２のしきい値の間の第３のしきい値で１となるように変化するものとしてもよい。
また、本発明による仮想内視鏡画像生成装置においては、画像生成手段を、視点位置と抽出した構造物との最短距離を算出する手段としてもよい。
また、本発明による仮想内視鏡画像生成装置においては、画像生成手段を、視点位置と抽出した構造物の重心との距離を算出する手段としてもよい。
また、本発明による仮想内視鏡画像生成装置においては、仮想内視鏡画像を表示手段に表示する表示制御手段をさらに備えるものとしてもよい。
本発明による仮想内視鏡画像表示方法は、複数の構造物を含む被検体の３次元画像を取得し、
３次元画像から少なくとも１つの構造物を抽出し、
被検体の体腔内における仮想的な視点位置および視線方向を決定し、
視点位置と抽出した構造物との距離、および複数の構造物のそれぞれに対して複数定義した、視点位置からの距離に応じて異なる表示属性に基づいて、抽出した構造物の表示属性を決定し、決定された表示属性の構造物を含む、視点位置および視線方向の仮想内視鏡画像を３次元画像から生成することを特徴とするものである。
なお、本発明による仮想内視鏡画像生成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明の仮想内視鏡画像生成装置および方法によれば、複数の構造物を含む被検体の３次元画像が取得され、３次元画像から少なくとも１つの構造物が抽出され、被検体の体腔内における仮想的な視点位置および視点方向が決定される。そして、視点位置と抽出した構造物との距離、および複数の構造物のそれぞれに対して複数定義した、視点位置からの距離に応じて異なる表示属性に基づいて、抽出した構造物の表示属性が決定され、決定された表示属性の構造物を含む仮想内視鏡画像が３次元画像から生成される。このため、構造物からの距離に応じて適切に表示属性を定義しておくことにより、仮想内視鏡の視点位置および視線方向に応じて、構図物を適切に視認することができる。
また、視点位置から遠すぎる構造物あるいは近すぎる構造物については不透明度を０、観察に適切な距離にある構造物については不透明度を１とする等、視点位置からの距離に応じて構造物の不透明度を変更することにより、仮想内視鏡の視点位置に応じて、構造物をさらに適切に視認することができる。
本発明の実施形態による仮想内視鏡画像生成装置を適用した内視鏡観察支援システムのハードウェア構成図 本発明の実施形態における内視鏡観察支援システムの機能ブロック図 本実施形態における内視鏡観察支援処理の流れを表したフローチャート 本実施形態において実内視鏡の視野と構造物の位置に基づいて決定された仮想内視鏡の視野の一例を模式的に表した図 仮想内視鏡の視点位置と構造物との距離の算出を説明するための図 距離に応じて異なるカラーテンプレートを示す図 視点位置に応じた構造物の色の見え方を説明するための図 視点位置に応じた構造物の色の見え方を説明するための図 視点位置に応じた構造物の色の見え方を説明するための図 本実施形態における実内視鏡画像と仮想内視鏡画像とを並べた表示の一例を模式的に示す図 カラーテンプレートに定義された距離に応じた不透明度を示す図 カラーテンプレートに定義された距離に応じた不透明度を示す図 視点位置に応じた構造物の見え方を説明するための図 視点位置に応じた構造物の見え方を説明するための図 視点位置に応じた構造物の見え方を説明するための図 視点位置に応じた構造物の見え方を説明するための図 ３次元医用画像において内視鏡の移動経路を設定した状態を示す図
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による仮想内視鏡画像生成装置を適用した内視鏡観察支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムは、内視鏡１、デジタルプロセッサ２、光源装置３、実内視鏡画像用ディスプレイ４、モダリティ５、処置具６、内視鏡用マーカー７、位置センサ８、画像処理ワークステーション９、画像処理ワークステーション用ディスプレイ（以下、ＷＳディスプレイ）１０から構成されている。
本実施形態では、内視鏡１は腹腔用の硬性鏡であり、被検体の腹腔内に挿入される。光源装置３から光ファイバーで導かれた光が内視鏡１の先端部から照射され、内視鏡１の撮像光学系により被検体の腹腔内の画像が得られる。デジタルプロセッサ２は、内視鏡１で得られた撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行った後、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、実内視鏡画像データＧ０を出力する。出力された実内視鏡画像データＧ０は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション９に送信される。また、デジタルプロセッサ２は、実内視鏡画像データＧ０をアナログ信号に変換して実内視鏡画像用ディスプレイ４に出力し、実内視鏡画像用ディスプレイ４には実内視鏡画像Ｇ０が表示される。内視鏡１での撮像信号の取得は所定のフレームレートで行われるため、実内視鏡用ディスプレイ４では、実内視鏡画像Ｇ０が腹腔内を表す動画として表示される。さらに、内視鏡１では、ユーザの操作に応じて静止画撮影も可能である。
モダリティ５は、被検体の検査対象部位を撮影することにより、その部位を表す３次元医用画像の画像データＭを生成する装置であり、ここではＣＴ装置とする。この３次元医用画像データＭにもＤＩＣＯＭ規格で規定された付帯情報が付加されている。また、３次元医用画像データＭも、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション９に送信される。
内視鏡用マーカー７および位置センサ８は公知の３次元位置計測装置を構成する。内視鏡用マーカー７は、内視鏡１の手元付近に設けられており、光学式の位置センサ８によって、所定の時間間隔でマーカー７の３次元位置が検出される。内視鏡用マーカー７は複数のマーカー片から構成されているため、位置センサ８は、各マーカー片の位置関係から内視鏡１の姿勢も検出可能である。ここで、内視鏡１の姿勢は、内視鏡が挿入された向きを表すものであり、内視鏡の視野の中心における視線の向きと一致するため、以下では、内視鏡１の姿勢のことを内視鏡１の向きまたは中心視線ベクトルともいう。また、オフセット計算によって、内視鏡１の先端部の３次元位置(内視鏡検出位置)Ｐ０を算出することができる。位置センサ８は、算出された内視鏡１の視点位置Ｐ０を表す３次元位置データおよび姿勢Ｄ０を表す３次元姿勢データを、ＵＳＢインターフェースを介して画像処理ワークステーション９に送信する。
画像処理ワークステーション９は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のハードウェア構成を備えたコンピュータであり、入力装置（ポインティングデバイス、キーボード等）や、ＷＳディスプレイ１０が接続されている。また、画像処理ワークステーション９は、デジタルプロセッサ２やモダリティ５とはＬＡＮ接続されており、位置センサ８とはＵＳＢ接続されている。さらに、画像処理ワークステーション９は、周知のオペレーティングシステムや各種アプリケーション・ソフトウェア等がインストールされたものであり、本実施形態の内視鏡観察支援処理を実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
図２は、本発明の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図である。図２に示すように、本実施形態による内視鏡観察得支援システムは、内視鏡１、実内視鏡画像形成部２、実内視鏡画像用ディスプレイ４、３次元医用画像形成部５、ＷＳディスプレイ１０、内視鏡位置姿勢検出部１１、実内視鏡画像取得部２２、３次元医用画像取得部２３、構造物抽出部２４、内視鏡画角取得部２５、視点決定部２６、画像生成部２７、表示制御部２８および記憶部２９から構成されている。
なお、図１に示すハードウェア機器と図２に示す各機能ブロックとが概ね１対１に対応する場合には同じ符号を付している。すなわち、実内視鏡画像形成部２の機能は図１のデジタルプロセッサによって実現され、３次元医用画像形成部５の機能は図１のモダリティによって実現される。一方、内視鏡位置姿勢検出部１１の機能は、内視鏡用マーカー７および位置センサ８によって実現される。また、破線枠は画像処理ワークステーション９を示しており、破線枠内の各処理部の機能は、画像処理ワークステーション９で所定のプログラムを実行することによって実現される。さらに、実内視鏡画像Ｇ０、内視鏡検出位置Ｐ０、内視鏡姿勢Ｄ０、内視鏡画角Ａ０、仮想内視鏡の視点位置Ｐ１、仮想内視鏡の中心視線ベクトルＶ１、仮想内視鏡画角Ａ１、３次元医用画像Ｍ、仮想内視鏡画像Ｇ１は、各々、破線枠内の各処理部によって、画像処理ワークステーション９の所定のメモリ領域に対して読み書きされるデータである。
次に、図３に示すフローチャートを用いて、本実施形態の内視鏡観察支援システムで行われるユーザの操作や、上記各処理部で行われる処理の概略的な流れを説明する。
まず、内視鏡１を用いた被検体の腹腔内の観察に先立って、３次元医用画像形成部５による被検体の腹腔内の撮像により、３次元医用画像Ｍが形成される。画像処理ワークステーション９では、３次元医用画像取得部２３が、３次元医用画像形成部５によって形成された３次元医用画像Ｍを取得した後（ステップＳＴ１）、構造物抽出部２４が、３次元医用画像Ｍに表された体腔内の構造物（例えば手術対象部位）の指定操作を受け付けるユーザインターフェースを提示し、ユーザによる構造物の指定を受け付け、３次元医用画像Ｍから指定された構造物を抽出する（ステップＳＴ２）。なお、指定および抽出される構造物は、１つであっても複数であってもよい。
そして、図３のフローチャートの右側に付記したように、内視鏡下手術中、すなわち内視鏡１を用いた被検体の腹腔内の観察中は、観察が終了するまで（すなわちステップＳＴ８が肯定されるまで）、実内視鏡画像形成部２は、所定のフレームレートで、体腔内に挿入された内視鏡１による実内視鏡画像Ｇ０を繰り返し形成し、形成された実内視鏡画像Ｇ０を実内視鏡画像用ディスプレイ４にスルー動画としてリアルタイムに表示する。また、内視鏡位置姿勢検出部１１は、所定の時間間隔で、体腔内に挿入された内視鏡１の位置Ｐ０および姿勢Ｄ０を繰り返しリアルタイムに検出する。
画像処理ワークステーション９では、実内視鏡画像取得部２２が、実内視鏡画像形成部２で形成された実内視鏡画像Ｇ０を取得し（ステップＳＴ３）、内視鏡画角取得部２５が、画像処理ワークステーション９の所定のメモリ領域から内視鏡１の画角Ａ０を取得する（ステップＳＴ４）。これとほぼ同じタイミングで、視点決定部２６が、内視鏡位置姿勢検出部１１で検出された内視鏡検出位置Ｐ０および姿勢Ｄ０を取得し、取得された内視鏡位置Ｐ０および姿勢Ｄ０を３次元医用画像Ｍの座標系における位置および姿勢に変換して、仮想内視鏡の視点位置Ｐ１および視線方向（中心視線ベクトル）Ｖ１を取得する。さらに、視点決定部２６は、視点位置Ｐ１に配置された仮想内視鏡についての仮想視野を、視点位置Ｐ０、姿勢Ｄ０および画角Ａ０に基づいて、内視鏡１の視野に対応する３次元医用画像中での視野である内視鏡対応視野と連続性を有するように決定し、仮想内視鏡の視点位置Ｐ１、視線方向Ｖ１および仮想内視鏡の画角Ａ１を出力する（ステップＳＴ５）。
画像生成部２７は、３次元医用画像取得部２３によって取得された３次元医用画像Ｍを入力として、視点決定部２６により決定された、仮想内視鏡の視点位置Ｐ１、中心視線ベクトルＶ１、画角Ａ１に基づいて、内視鏡位置Ｐ０(Ｐ１)を視点とし、仮想視野を有する仮想内視鏡画像Ｇ１を生成する（ステップＳＴ６）。
そして、表示制御部２８は、実内視鏡画像取得部２２によって取得された実内視鏡画像Ｇ０と、画像生成部２７によって生成された仮想内視鏡画像Ｇ１とをＷＳディスプレイ１０に表示させる（ステップＳＴ７）。
画像処理ワークステーション９では、観察終了を指示する操作が行われない限り（ステップＳＴ８否定）、ステップＳＴ３〜ステップＳＴ７の処理が繰り返し行われる。これにより、ＷＳディスプレイ１０では、実内視鏡画像Ｇ０と仮想内視鏡画像Ｇ１とが時間的に同期した連続表示が実現される。一方、観察終了を指示する操作が行われた場合には（ステップＳＴ８肯定）、画像処理ワークステーション９は処理を終了する。
次に、画像処理ワークステーション９内の各処理部で行われる処理の詳細について説明する。
実内視鏡画像取得部２２は、実内視鏡画像形成部（デジタルプロセッサ）２との通信により、実内視鏡画像Ｇ０を受信し、画像処理ワークステーション９の所定のメモリ領域の格納する通信インターフェースであり、実内視鏡画像取得部２２からの要求に基づいて実内視鏡画像形成部２から実内視鏡画像Ｇ０が転送される。
３次元医用画像取得部２３は、３次元医用画像形成部５から３次元医用画像Ｍを受信し、画像処理ワークステーション９の所定のメモリ領域に格納する通信インターフェース機能を有する。
構造物抽出部２４は、公知のＭＰＲ法により３次元医用画像Ｍから生成された所定の断面を表す断面画像中に、画像処理ワークステーション９のポインティングデバイスやキーボードを用いて注目構造物の指定する操作を受け付けるユーザインターフェースを提示する。例えば、ポインティングデバイスによって、断面画像中の構造物がクリックされると、構造物抽出部２４は、クリックにより指定された構造物を３次元医用画像Ｍから抽出し、画像処理ワークステーション９の所定のメモリ領域に格納する。
なお、構造物として、手術対象の部位や手術時における要注意箇所等が、ユーザの所望に応じて指定される。例えば、３次元医用画像Ｍが被検体の腹部を撮影することにより取得したものである場合、体表、肝臓、肝臓内の門脈および腎臓等がユーザにより指定され、３次元医用画像Ｍから抽出される。
ここで、体表、肝臓および腎臓の抽出には、３次元医用画像Ｍにおける体表、肝臓および腎臓が存在するＣＴ値の範囲を推定し、その値を用いてしきい値処理を行い、これにより抽出された領域に、モフォロジーフィルタを適用する手法等、任意の手法を用いることができる。また、とくに肝臓を抽出する手法として、「“非剛体レジストレーションを適用した多時相腹部造影ＣＴ画像からの肝臓領域自動抽出法“、コンピュータ支援画像診断学会論文誌、Vol.7, No.4-1, Jun. 2003.」に記載されたように、時系列で撮影された複数の肝臓フェーズ画像を用いて、肝臓領域の造影パターンを検出し、それを用いて肝臓領域を抽出する手法、「“A Liver Level Set (LLS) Algorithm for Extracting Liver’s Volume Containing Disconnected Regions Automatically”, IJCSNS International Journal of Computer Science and Network Security, VOL.8 No.12, December 2008」および「”Level set methodを用いた肝臓領域抽出方法の開発と評価”、コンピュータ支援診断学会論文誌、Vol.7, No.4-2, Jun. 2003」に記載されたレベルセット法等を用いることができる。
門脈を抽出する手法としては、例えば特開２０１０−２２０７４２号公報に記載された、線状構造からなる対象組織を表す複数の候補点の位置情報と主軸方向を算出し、算出された位置情報および主軸方向に基づいた変数とするコスト関数を用いて、複数の候補点が接続されるように再構築する手法、あるいは特開２０１１−２１２３１４号公報に記載された、自動で血管を区別して抽出する手法を用いることができる。
なお、ユーザがマニュアル操作により、構造物を抽出するようにしてもよい。
内視鏡画角取得部２５は、プログラムの起動パラメータや設定ファイル等に内視鏡１の仕様に基づいて予め設定されている内視鏡１の画角Ａ０の情報を取得する。なお、内視鏡１の画角Ａ０の情報が実内視鏡画像Ｇ０の付帯情報として付帯されている場合には、内視鏡画角取得部２５は、この付帯情報を解析して内視鏡１の画角Ａ０の情報を取得してもよい。
視点決定部２６は、内視鏡位置姿勢検出部１１との通信により内視鏡検出位置Ｐ０および姿勢Ｄ０を取得する通信インターフェースとしての機能と、取得した内視鏡検出位置Ｐ０および姿勢Ｄ０を位置センサ８の３次元座標系から３次元医用画像Ｍの３次元座標系の座標値で表現された仮想内視鏡の視点位置Ｐ１および視線方向（中心視線ベクトル）Ｖ１に変換して画像処理ワークステーション９の所定のメモリ領域に格納する機能とを有する。前者の通信インターフェース機能では、視点決定部２６からの要求ベースで内視鏡位置姿勢検出部１１から内視鏡検出位置Ｐ０および姿勢Ｄ０が取得される。
また、後者の座標変換機能では、位置センサの３次元座標系における各座標軸と３次元医用画像Ｍの３次元座標系における各座標軸との向きの対応関係に基づいて、座標軸の回転量を予め求めておくとともに、３次元医用画像Ｍの原点に相当する被検体中の位置の、位置センサ８の３次元座標系における座標値を予め計測しておき、この原点の座標値に基づいて、両座標軸の平行移動量を求めておけば、その回転量の回転とその平行移動量の平行移動を行う行列を用いて、位置センサ８の３次元座標系で表現された内視鏡検出位置Ｐ０および姿勢Ｄ０を、３次元医用画像Ｍの３次元座標系の座標値で表現された仮想内視鏡の視点位置Ｐ１および視線方向（中心視線ベクトル）Ｖ１に変換することができる。
これにより、図４に模式的に示すように、仮想内視鏡と内視鏡１との視点位置および中心視線ベクトルの向きが一致される。すなわち、内視鏡位置姿勢検出部１１によって得られた内視鏡検出位置Ｐ０が仮想内視鏡の視点位置Ｐ１に決定されるとともに、内視鏡位置姿勢検出部１１によって得られた内視鏡１の姿勢Ｄ０に基づく内視鏡１の芯線方向が、仮想内視鏡の視線方向（中心視線ベクトル）Ｖ１に決定される。
また、視点決定部２６は、仮想内視鏡の画角Ａ１を、内視鏡１の画角Ａ０よりも広くなるように決定する。具体的には、画角Ａ０をθとすると、仮想内視鏡の画角Ａ１は、内視鏡１の画角Ａ０と２θの大きい方の値に定数を加えたり、所定の１より大きい係数を乗じたりすることによって求めることができる。以上のようにして決定された仮想内視鏡の視点位置Ｐ１、中心視線ベクトルＶ１、画角Ａ１は、所定のメモリ領域に書き込まれる。
画像生成部２７は、３次元医用画像Ｍを入力として、図４に示すように、仮想内視鏡の中心視線ベクトルＶ１の向きを視野の中心を通る視線ベクトルの向きとして、画角Ａ１の範囲内で、仮想内視鏡の視点位置Ｐ１からの放射状の複数の視線を設定し、公知の中心投影によるボリュームレンダリング法により、各視線上の画素値を投影した仮想内視鏡画像Ｇ１を生成する。ここで、ボリュームレンダリングの際には、実内視鏡画像Ｇ０に表された腹腔内各部とほぼ同じ外観の画像が得られるように色および透明度が予め定義されたカラーテンプレートが用いられる。また、構造物に対する陰の有無、および環境光あるいは拡散光といった光源の種類を、カラーテンプレートとともに表示属性として定義しておいてもよい。なお、カラーテンプレートあるいは表示属性は記憶部２９に記憶されている。
ここで、本実施形態においては、各構造物に対して、視点位置Ｐ１からの距離に応じて複数の表示属性が定義されている。なお、構造物までの距離は、視点位置Ｐ１と視線方向Ｖ１に存在する構造物の表面との最短距離とする。具体的には、図５に示すように、視点位置Ｐ１から視線方向Ｖ１に伸ばした直線と構造物の表面との交点Ｐｋを設定した場合における、３次元医用画像Ｍ上での視点位置Ｐ１から交点Ｐｋまでの距離が、視点位置Ｐ１から構造物までの距離となる。
図６は本実施形態における表示属性としてのカラーテンプレートを示す図である。なお、本実施形態においては、表示属性としてカラーテンプレートの他に構造物に対する陰の有無、および環境光あるいは拡散光といった光源の種類が定義してもよいが、以降の説明では主にカラーテンプレートについてのみ説明する。
カラーテンプレートは横軸に３次元医用画像Ｍの信号値（すなわちＣＴ値）、縦軸に色（Ｒ，Ｇ，Ｂ）および不透明度αが設定された１次元のルックアップテーブルである。なお、図６においては１つのカラーテンプレートのみを示しているが、実際には、Ｒ，Ｇ，Ｂの各色および不透明度αのそれぞれについて４つのカラーテンプレートが用意されている。そして、１つの構造物に対して、Ｒ，Ｇ，Ｂの各色および不透明度αについてのカラーテンプレートが、視点位置Ｐ１と構造物との距離に応じて複数定義されている。例えば、本実施形態においては、ある構造物に対して図６に示すように、視点位置Ｐ１と構造物との距離Ｌ１，Ｌ２（Ｌ１＜Ｌ２）に対応した２つのカラーテンプレートＴＬ１，ＴＬ２が定義されている。
表示属性としてこのような距離に応じて異なるカラーテンプレートが定義されている場合、画像生成部２７は、視点位置Ｐ１と構造物との距離に応じて、構造物に対してカラーテンプレートを適用して仮想内視鏡画像Ｇ１を生成する。すなわち、視点位置Ｐ１と構造物との距離がＬ１の場合にはカラーテンプレートＴＬ１を、Ｌ２の場合にはカラーテンプレートＴＬ２をそれぞれ適用して仮想内視鏡画像Ｇ１を生成する。
なお、視点位置Ｐ１と構造物との距離がカラーテンプレートに定義された距離Ｌ１，Ｌ２と異なる場合には、視点位置Ｐ１と構造物との距離および距離Ｌ１，Ｌ２に基づいて、補間演算により構造物の色を決定する。例えば、視点位置Ｐ１と構造物との距離が、距離Ｌ１，Ｌ２の間の距離Ｌ３である場合、距離Ｌ１，Ｌ２における構造物の色をそれぞれＣ１，Ｃ２とすると、求める構造物の色Ｃ３は、Ｃ１×（Ｌ２−Ｌ３）／（Ｌ２−Ｌ１）＋Ｃ２×（Ｌ３−Ｌ１）／（Ｌ２−Ｌ１）により算出する。
このように距離に応じて異なるカラーテンプレートを定義することにより、視点位置Ｐ１に応じて仮想内視鏡画像Ｇ１に含まれる構造物の色が異なるものとなるため、仮想内視鏡画像Ｇ１を表示した際の構造物の見え方が、視点位置Ｐ１からの距離に応じて異なるものとなる。図７〜図９は視点位置Ｐ１に応じた構造物の見え方を説明するための図である。なお、図７〜図９には、１つの構造物Ｋ１が示されており、各図において色が異なることを異なるハッチングにて示している。
まず、図７に示すように、仮想内視鏡画像の視点位置Ｐ１と構造物Ｋ１との距離がＬ２である場合、テンプレートＴＬ２が適用されて、構造物Ｋ１の色はＣ２となる。次に図８に示すように、視点位置Ｐ１が構造物Ｋ１に近づいて、視点位置Ｐ１と構造物Ｋ１との距離がＬ３（Ｌ１＜Ｌ３＜Ｌ２）となった場合、視点位置Ｐ１と構造物との距離Ｌ３および距離Ｌ１，Ｌ２に基づいて、補間演算により構造物の色が決定され、構造物Ｋ１の色はＣ３となる。さらに、図９に示すように、視点位置Ｐ１が構造物Ｋ１に近づいて、視点位置Ｐ１と構造物Ｋ１との距離がＬ１となった場合、テンプレートＴＬ１が適用されて、構造物Ｋ１の色はＣ１となる。
表示制御部２８は、実内視鏡画像Ｇ０と仮想内視鏡画像Ｇ１とを並べた表示画面を生成し、ＷＳディスプレイ１０に出力する。これにより、ＷＳディスプレイ１０には、図１０に示すように、実内視鏡画像Ｇ０と仮想内視鏡画像Ｇ１とを並べた表示画面が表示される。なお、特許文献３に記載されたように、公知のアルファブレンディング法等を用いて両画像を重ね合わせて表示してもよい。
このように、本実施形態においては、複数の構造物を含む被検体の３次元医用画像Ｍから構造物を抽出し、被検体の体腔内における仮想的な視点位置Ｐ１および視点方向Ｖ１を決定し、視点位置Ｐ１と抽出した構造物との距離に応じて、複数の構造物のそれぞれに対して複数定義した、視点位置Ｐ１からの距離に応じて異なるカラーテンプレートに基づいて、抽出した構造物の色を決定し、決定された色の構造物を含む、視点方向の仮想視野を有する仮想内視鏡画像Ｇ１を３次元医用画像Ｍから生成するようにしたものである。このため、構造物からの距離に応じて適切にカラーテンプレートを定義しておくことにより、仮想内視鏡の視点位置Ｐ１に応じて、構図物を適切に視認することができる。例えば、体腔内の血管に対して、距離が離れている場合は青、近づくと赤となるようにカラーテンプレートを距離に応じて適宜しておくことにより、内視鏡１が血管に近づいたときに、仮想内視鏡画像Ｇ１においては血管が赤く見えるようになる。このように血管の色を変更することにより、手術中にその血管を避けるように処置を執ることができる。
なお、上記実施形態においては、１つの構造物に対して距離に応じて異なる２つのカラーテンプレートを適宜しているが、これに限定されるものではなく距離に応じて異なる３以上のカラーテンプレートを定義してもよい。また、カラーテンプレート以外の、構造物に対する陰の有無、および環境光あるいは拡散光といった光源の種類を、カラーテンプレートとともに表示属性として定義しておいてもよい。この場合、視点位置Ｐ１と構造物との距離に応じて複数の表示属性を定義しておくことにより、視点位置Ｐ１と構造物との距離に応じて、適切な表示属性の構造物を仮想内視鏡画像Ｇ１において視認することができる。
また、上記実施形態において、視点位置Ｐ１から構造物までの距離に応じて不透明度を変化させるようにしてもよい。図１１は距離と不透明度との関係を示す図である。図１１において横軸が視点位置Ｐ１と構造物との距離であり、距離が離れる方向を＋、距離が近づく方向を−にて示している。図１１に示すように、視点位置Ｐ１と構造物との距離がしきい値Ｔｈ１以上の場合には不透明度αが０となり、視点位置Ｐ１が構造物に近づくに連れて不透明度αが大きくなり、視点位置Ｐ１と構造物との距離がしきい値Ｔｈ２となると不透明度αが１となる。さらに、視点位置Ｐ１が構造物に近づくと、不透明度αが徐々に小さくなり、視点位置Ｐ１が構造物まで到達して、視点位置Ｐ１と構造物との距離が０となると不透明度αが０となる。なお、視点位置Ｐ１が構造物からさらに先に進むと、その構造物については不透明度αは０のままとなる。なお、距離に応じた不透明度αの変化は図１１に示すように高次曲線的であってもよく、線形に変化するものであってもよい。また、構造物の種類に応じて不透明度αの変化の仕方を変更してもよい。例えば構造物が体表である場合は、図１２に示すように、視点位置Ｐ１と構造物との距離がしきい値Ｔｈ２以上の場合に不透明度αを１としてもよい。
このように距離と不透明度αの関係をさらに規定することにより、視点位置Ｐ１に応じて仮想内視鏡画像に含まれる構造物の不透明度αがさらに異なるものとなるため、仮想内視鏡画像Ｇ１を表示した際の構造物の見え方が色も含めて視点位置Ｐ１からの距離に応じて異なるものとなる。図１３〜図１６は視点位置Ｐ１に応じた構造物の見え方を説明するための図である。なお、図１３〜図１６には、体表Ｋ０内に体表側から順に３つの構造物Ｋ１〜Ｋ３が示されており、各図において仮想内視鏡画像の視点位置Ｐ１と構造物との距離は、図１１に示すしきい値Ｔｈ２であるものとする。また、図１３〜図１６においては、構造物が不透明であることを実線で、透明であることを破線で示している。また、体表Ｋ０については、距離に応じて異なる複数のカラーテンプレートは定義されておらず、１つのカラーテンプレートのみが定義されているものとする。
まず、図１３に示すように、仮想内視鏡画像の視点位置Ｐ１が体表Ｋ０よりも外側にある場合、仮想内視鏡画像には体表Ｋ０のみが含まれる。この状態においては、構造物Ｋ１〜Ｋ３は透明であるため、仮想内視鏡画像においては視認できない。この状態から視点位置Ｐ１を移動して、視点位置Ｐ１と体表Ｋ０との距離がしきい値Ｔｈ２未満となり、視点位置Ｐ１が体表Ｋ０に近づくと、体表Ｋ０が徐々に透明となり、視点位置Ｐ１が体表Ｋ０に到達すると、体表Ｋ０の不透明度は０となるため体表Ｋ０は透明となり、仮想内視鏡画像において視認できなくなる。
次に図１４に示すように、視点位置Ｐ１が体表Ｋ０を通過して構造物Ｋ１に近づくと、それまで透明で見えなかった構造物Ｋ１の不透明度αが徐々に大きくなり、視点位置Ｐ１と構造物Ｋ１との距離がしきい値Ｔｈ２となると、構造物Ｋ１が仮想内視鏡画像において、完全に視認できるようになる。この状態においては、体表Ｋ０および構造物Ｋ２，Ｋ３は透明であるため、仮想内視鏡画像においては視認できない。この状態から視点位置Ｐ１を移動して、視点位置Ｐ１と構造物Ｋ１との距離がしきい値Ｔｈ２未満となり、視点位置Ｐ１が構造物Ｋ１にさらに近づくと、構造物Ｋ１の色が徐々に変化し、かつ構造物Ｋ１が徐々に透明となり、視点位置Ｐ１が構造物Ｋ１に到達すると、構造物Ｋ１の不透明度は０となるため構造物Ｋ１は透明となり、仮想内視鏡画像において視認できなくなる。
次に図１５に示すように、視点位置Ｐ１が構造物Ｋ１を通過して構造物Ｋ２に近づくと、それまで透明で見えなかった構造物Ｋ２の不透明度αが徐々に大きくなり、視点位置Ｐ１と構造物Ｋ２との距離がしきい値Ｔｈ２となると、構造物Ｋ２が仮想内視鏡画像において、完全に視認できるようになる。この状態においては、体表Ｋ０および構造物Ｋ１，Ｋ３は透明であるため、仮想内視鏡画像においては視認できない。この状態から視点位置Ｐ１を移動して、視点位置Ｐ１と構造物Ｋ２との距離がしきい値Ｔｈ２未満となり、視点位置Ｐ１が構造物Ｋ２にさらに近づくと、構造物Ｋ２の色が徐々に変化し、かつ構造物Ｋ２が徐々に透明となり、視点位置Ｐ１が構造物Ｋ２に到達すると、構造物Ｋ２の不透明度は０となるため構造物Ｋ２は透明となり、仮想内視鏡画像において視認できなくなる。
さらに図１６に示すように、視点位置Ｐ１が構造物Ｋ２を通過して構造物Ｋ３に近づくと、それまで透明で見えなかった構造物Ｋ３の不透明度αが徐々に大きくなり、視点位置Ｐ１と構造物Ｋ３との距離がしきい値Ｔｈ２となると、構造物Ｋ３が仮想内視鏡画像において、完全に視認できるようになる。この状態においては、体表Ｋ０および構造物Ｋ１，Ｋ２は透明であるため、仮想内視鏡画像においては視認できない。この状態から視点位置Ｐ１を移動して、視点位置Ｐ１と構造物Ｋ３との距離がしきい値Ｔｈ２未満となり、視点位置Ｐ１が構造物Ｋ３にさらに近づくと、構造物Ｋ３の色が徐々に変化し、かつ構造物Ｋ３が徐々に透明となり、視点位置Ｐ１が構造物Ｋ３に到達すると、構造物Ｋ３の不透明度は０となるため構造物Ｋ３は透明となり、仮想内視鏡画像において視認できなくなる。
このように、複数の構造物のそれぞれに対して定義した、視点位置Ｐ１からの距離に応じて不透明度αを変更し、変更された不透明度により構造物を描画した仮想内視鏡画像Ｇ１を３次元医用画像Ｍから生成することにより、視点位置から遠すぎる構造物あるいは近すぎる構造物については不透明度を０、観察に適切な距離にある構造物については不透明度を１とする等、視点位置からの距離に応じて、構造物の不透明度を変更することができる。したがって、仮想内視鏡の視点位置Ｐ１に応じて、構図物を適切に視認することができる。
なお、不透明度の変化のさせ方は図１１，１２に示すものに限定されるものではない。例えば、構造物の位置に近づくまで徐々に不透明度αが大きくなり、構造物の位置において不透明度αが１となり、構造物の位置の通過後は０となるあるいは徐々に０に近づくように、不透明度を変更してもよい。
また、上記実施形態においては、実内視鏡画像と仮想内視鏡画像との視点位置および視線方向を一致させているが、例えば、３次元医用画像Ｍから生成されたＭＰＲ画像あるいはボリュームレンダリング画像を表示し、表示された画像上において、ユーザによる視点位置および視線方向の指定を受け付けるようにしてもよい。この場合、指定される視点位置および視線方向は、３次元医用画像Ｍの座標系であるため、指定された視点位置および視線方向を、仮想内視鏡画像を生成するための視点位置Ｐ１および視線方向Ｖ１として用いることができる。
この場合、図１７に示すように３次元医用画像Ｍをおよび３次元医用画像Ｍに設定された内視鏡の移動経路Ｒ０を表示し、移動経路Ｒ０上に指定された視点位置Ｐ１および視線方向Ｖ１における仮想内視鏡画像Ｇ１を３次元医用画像Ｍと並べて表示するようにしてもよい。
また、上記実施形態においては、視点位置Ｐ１と構造物との距離として、視点位置Ｐ１と構造物の表面との最短距離を用いているが、視点位置Ｐ１と構造物の重心位置との距離を、視点位置Ｐ１と構造物との距離として用いてもよい。
なお、上記の各実施形態はあくまでも例示であり、上記の全ての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
この他、上記実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
例えば、システム構成については、上記実施形態においては、図１のハードウェア構成では、モダリティ５と画像処理ワークステーション９とが直接接続されているが、画像保管サーバをＬＡＮ上に接続し、モダリティ５で形成された３次元医用画像Ｍは、いったん画像保管サーバのデータベースに格納されるようにし、画像処理ワークステーション９からの要求に応じて、画像保管サーバから画像処理ワークステーション９に３次元医用画像Ｍが転送されるようにしてもよい。
また、内視鏡１は、硬性鏡ではなく、軟性鏡やカプセル型内視鏡を用いてもよい。
モダリティ５は、上記のＣＴ装置や超音波診断装置の他、ＭＲＩ装置等を用いてもよい。
さらに、観察部位は腹腔内ではなく、胸腔内等、内視鏡下での観察に適した被検体の他の部位であってもよい。
１ 内視鏡
２ デジタルプロセッサ
３ 光源装置
４ 実内視鏡画像用ディスプレイ
５ モダリティ
６ 処置具
７ 内視鏡用マーカー
８ 位置センサ
９ 画像処理ワークステーション
１０ 画像処理ワークステーション用ディスプレイ
１１ 内視鏡位置姿勢検出部
２２ 実内視鏡画像取得部
２３ ３次元医用画像取得部
２４ 構造物抽出部
２５ 内視鏡画角取得部
２６ 視点決定部
２７ 画像生成部
２８ 表示制御部
２９ 記憶部

Claims (8)

  1. 複数の構造物を含む被検体の３次元画像を取得する画像取得手段と、
    前記３次元画像から少なくとも１つの構造物を抽出する構造物抽出手段と、
    前記被検体の体腔内における仮想的な視点位置および視線方向を決定する視点決定手段と、
    前記複数の構造物のそれぞれに対して複数定義した、前記視点位置からの距離に応じて異なる表示属性を記憶する記憶手段と、
    前記視点位置と前記抽出した構造物との距離、および該抽出した構造物に定義された複数の表示属性に基づいて、該抽出した構造物の表示属性を決定し、該決定された表示属性の前記構造物を含む、前記視点位置および前記視線方向の仮想内視鏡画像を前記３次元画像から生成する画像生成手段とを備えたことを特徴とする仮想内視鏡画像生成装置。
  2. 前記表示属性には、前記視点位置からの距離に応じて変化する不透明度が定義されており、
    前記画像生成手段は、前記視点位置と前記抽出した構造物との距離に応じて、前記表示属性の前記不透明度をさらに変更し、該不透明度がさらに変更された前記表示属性の前記構造物を含む、前記仮想内視鏡画像を生成する手段であることを特徴とする請求項１記載の仮想内視鏡画像生成装置。
  3. 前記不透明度は、前記距離が第１のしきい値以上および第２のしきい値以下で０となり、該第１および第２のしきい値の間の第３のしきい値で１となるように変化することを特徴とする請求項２記載の仮想内視鏡画像生成装置。
  4. 前記画像生成手段は、前記視点位置と前記抽出した構造物との最短距離を算出する手段であることを特徴とする請求項１から３のいずれか１項記載の仮想内視鏡画像生成装置。
  5. 前記画像生成手段は、前記視点位置と前記抽出した構造物の重心との距離を算出する手段であることを特徴とする請求項１から３のいずれか１項記載の仮想内視鏡画像生成装置。
  6. 前記仮想内視鏡画像を表示手段に表示する表示制御手段をさらに備えたことを特徴とする請求項１から５のいずれか１項記載の仮想内視鏡画像生成装置。
  7. 複数の構造物を含む被検体の３次元画像を取得し、
    前記３次元画像から少なくとも１つの構造物を抽出し、
    前記被検体の体腔内における仮想的な視点位置および視線方向を決定し、
    前記視点位置と前記抽出した構造物との距離、および前記複数の構造物のそれぞれに対して複数定義した、前記視点位置からの距離に応じて異なる表示属性に基づいて、前記抽出した構造物の表示属性を決定し、該決定された表示属性の前記構造物を含む、前記視点位置および前記視線方向の仮想内視鏡画像を前記３次元画像から生成することを特徴とする仮想内視鏡画像生成方法。
  8. 複数の構造物を含む被検体の３次元画像を取得する手順と、
    前記３次元画像から少なくとも１つの構造物を抽出する手順と、
    前記被検体の体腔内における仮想的な視点位置および視線方向を決定する手順と、
    前記視点位置と前記抽出した構造物との距離、および前記複数の構造物のそれぞれに対して複数定義した、前記視点位置からの距離に応じて異なる表示属性に基づいて、前記抽出した構造物の表示属性を決定し、該決定された表示属性の前記構造物を含む、前記視点位置および前記視線方向の仮想内視鏡画像を前記３次元画像から生成する手順とを有する仮想内視鏡画像生成方法をコンピュータに実行させることを特徴とするプログラム。
JP2012211644A 2012-09-26 2012-09-26 仮想内視鏡画像生成装置およびその作動方法並びにプログラム Active JP5934070B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012211644A JP5934070B2 (ja) 2012-09-26 2012-09-26 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
PCT/JP2013/005496 WO2014050019A1 (ja) 2012-09-26 2013-09-18 仮想内視鏡画像生成装置および方法並びにプログラム
EP13842951.9A EP2901935B1 (en) 2012-09-26 2013-09-18 Method and device for generating virtual endoscope image, and program
US14/663,788 US9830737B2 (en) 2012-09-26 2015-03-20 Virtual endoscopic image generation device, method, and medium containing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012211644A JP5934070B2 (ja) 2012-09-26 2012-09-26 仮想内視鏡画像生成装置およびその作動方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2014064722A true JP2014064722A (ja) 2014-04-17
JP5934070B2 JP5934070B2 (ja) 2016-06-15

Family

ID=50387462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012211644A Active JP5934070B2 (ja) 2012-09-26 2012-09-26 仮想内視鏡画像生成装置およびその作動方法並びにプログラム

Country Status (4)

Country Link
US (1) US9830737B2 (ja)
EP (1) EP2901935B1 (ja)
JP (1) JP5934070B2 (ja)
WO (1) WO2014050019A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6042711B2 (ja) * 2012-12-18 2016-12-14 富士フイルム株式会社 トロカーポート位置決定支援装置、トロカーポート位置決定支援プログラムおよびトロカーポート位置決定支援装置の作動方法
JP2015102944A (ja) * 2013-11-22 2015-06-04 コニカミノルタ株式会社 医用情報処理装置
DE102014007908A1 (de) * 2014-05-27 2015-12-03 Carl Zeiss Meditec Ag Chirurgie-System
JP6594133B2 (ja) * 2015-09-16 2019-10-23 富士フイルム株式会社 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
US11026747B2 (en) * 2017-04-25 2021-06-08 Biosense Webster (Israel) Ltd. Endoscopic view of invasive procedures in narrow passages
EP3841954A4 (en) * 2018-08-20 2021-10-13 FUJIFILM Corporation MEDICAL IMAGE PROCESSING SYSTEM
CN112584738B (zh) * 2018-08-30 2024-04-23 奥林巴斯株式会社 记录装置、图像观察装置、观察系统、观察系统的控制方法及存储介质
US20210378748A1 (en) * 2018-10-30 2021-12-09 Intuitive Surgical Operations, Inc. Anatomical structure visualization systems and methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090283A (ja) * 1998-09-09 2000-03-31 Toshiba Iyo System Engineering Kk ボリュームレンダリング画像表示方法及び画像処理装置並びにボリュームレンダリング画像表示方法のプログラムを記憶した記憶媒体
JP2003091735A (ja) * 2001-09-19 2003-03-28 Toshiba Medical System Co Ltd 画像処理装置
JP2009261519A (ja) * 2008-04-23 2009-11-12 Hitachi Medical Corp Ｘ線ｃｔ装置
WO2011114733A1 (ja) * 2010-03-17 2011-09-22 富士フイルム株式会社 医用画像変換装置および方法並びにプログラム
WO2011122037A1 (ja) * 2010-03-31 2011-10-06 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5030335B2 (ja) 2001-03-06 2012-09-19 オリンパス株式会社 医用画像表示装置
BRPI0721562A2 (pt) * 2007-04-20 2013-01-22 Softkinetic S A mÉtodo e sistema de reconhecimento de volume
JP4717935B2 (ja) 2009-03-23 2011-07-06 富士フイルム株式会社 画像処理装置および方法並びにプログラム
CN105342705A (zh) * 2009-03-24 2016-02-24 伊顿株式会社 利用增强现实技术的手术机器人系统及其控制方法
JP5539778B2 (ja) 2010-03-31 2014-07-02 富士フイルム株式会社 血管表示制御装置、その作動方法およびプログラム
JP5551955B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置、方法、及びプログラム
JP5380348B2 (ja) 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
JP5675227B2 (ja) * 2010-08-31 2015-02-25 富士フイルム株式会社 内視鏡画像処理装置および作動方法、並びに、プログラム
JP6071070B2 (ja) * 2011-01-14 2017-02-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ハイリスク構造強調機能を持つ仮想内視鏡撮像

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090283A (ja) * 1998-09-09 2000-03-31 Toshiba Iyo System Engineering Kk ボリュームレンダリング画像表示方法及び画像処理装置並びにボリュームレンダリング画像表示方法のプログラムを記憶した記憶媒体
JP2003091735A (ja) * 2001-09-19 2003-03-28 Toshiba Medical System Co Ltd 画像処理装置
JP2009261519A (ja) * 2008-04-23 2009-11-12 Hitachi Medical Corp Ｘ線ｃｔ装置
WO2011114733A1 (ja) * 2010-03-17 2011-09-22 富士フイルム株式会社 医用画像変換装置および方法並びにプログラム
WO2011122037A1 (ja) * 2010-03-31 2011-10-06 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム

Also Published As

Publication number Publication date
EP2901935A4 (en) 2016-06-22
JP5934070B2 (ja) 2016-06-15
US20150193966A1 (en) 2015-07-09
EP2901935B1 (en) 2019-01-30
WO2014050019A1 (ja) 2014-04-03
EP2901935A1 (en) 2015-08-05
US9830737B2 (en) 2017-11-28

Similar Documents

Publication Publication Date Title
JP5421828B2 (ja) 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5934070B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP5535725B2 (ja) 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP5380348B2 (ja) 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
Gsaxner et al. The HoloLens in medicine: A systematic review and taxonomy
JP5551957B2 (ja) 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
JP6463038B2 (ja) 画像位置合せ装置、方法およびプログラム
CN110709894B (zh) 用于增强深度感知的虚拟阴影
EP2637593A1 (en) Visualization of anatomical data by augmented reality
US20200074737A1 (en) Visualization of ultrasound images in physical space
JP2017063908A (ja) 画像位置合せ装置、方法およびプログラム
Habert et al. Multi-layer visualization for medical mixed reality
Kersten-Oertel et al. 20 Augmented Reality for Image-Guided Surgery
CN114159157A (zh) 辅助移动器械的方法、装置、设备及存储介质
De Paolis et al. Augmented Visualization of the Patient's Organs through a SlidingWindow.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160506

R150 Certificate of patent or registration of utility model

Ref document number: 5934070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250