JP2018138124A - マッピング画像表示制御装置および方法並びにプログラム - Google Patents

マッピング画像表示制御装置および方法並びにプログラム Download PDF

Info

Publication number
JP2018138124A
JP2018138124A JP2017033711A JP2017033711A JP2018138124A JP 2018138124 A JP2018138124 A JP 2018138124A JP 2017033711 A JP2017033711 A JP 2017033711A JP 2017033711 A JP2017033711 A JP 2017033711A JP 2018138124 A JP2018138124 A JP 2018138124A
Authority
JP
Japan
Prior art keywords
branch
region
position information
information
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017033711A
Other languages
English (en)
Other versions
JP6702902B2 (ja
Inventor
健太 山田
Kenta Yamada
健太 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2017033711A priority Critical patent/JP6702902B2/ja
Priority to US15/901,056 priority patent/US11304762B2/en
Priority to DE102018103987.5A priority patent/DE102018103987A1/de
Publication of JP2018138124A publication Critical patent/JP2018138124A/ja
Application granted granted Critical
Publication of JP6702902B2 publication Critical patent/JP6702902B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/481Diagnostic techniques involving the use of contrast agents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743Type of operation; Specification of treatment sites
    • A61B2017/00809Lung operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • A61B2034/104Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4405Constructional features of apparatus for radiation diagnosis the apparatus being movable or portable, e.g. handheld or mounted on a trolley
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Pulmonology (AREA)
  • Geometry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】気管支鏡を挿入して気管支の末梢に染料を吹き付けた際に、染料が滲み出す肺表面の位置をシミュレーションしてマッピング画像を表示する場合において、気管支の変形およびカテーテルの誤挿入も考慮したマッピング画像を表示可能なマッピング画像表示制御装置および方法並びにプログラムを提供する。
【解決手段】気管支領域に含まれる末梢の枝の延長線が肺領域の表面に到達する到達位置情報を推定し、かつ特定の末梢の枝を目標対象の枝とした場合に、予め設定された条件に基づいて、特定の末梢の枝の到達位置情報以外の想定マッピング情報を推定する到達位置情報推定部14と、特定の末梢の枝の到達位置情報および想定マッピング情報を肺領域の表面にマッピングしたマッピング画像を生成して表示部に表示させる表示制御部15とを備える。
【選択図】図1

Description

本発明は、気管支の末梢に染料を吹き付けた場合に、その染料が滲み出す肺表面の位置をシミュレーションし、その位置を肺表面上にマッピングしたマッピング画像を生成して表示させる装置および方法並びにプログラムに関するものである。
近年、肺の切除領域をマーキングする方法としてVAL-MAP(Virtual Assisted Lung Mapping)法が提案されている(非特許文献1参照)。このVAL-MAP法では、腫瘍の周辺にある気管支を任意に選択し、その気管支に対して気管支鏡の手技を実施する。そして、カテーテルを気管支の末梢まで進ませ、その末梢に染料を吹きかけることによって肺表面を染色する。
このように肺表面を染色することによって、開胸あるいは胸腔鏡の手技時には染色された領域をランドマークとして、腫瘍の存在位置を高精度に予測できる。
特願2015−177523号
Masaaki Sato、外8名、"Thoracoscopic wedge lung resection using virtual-assisted lung mapping"、[online]、2014年6月12日、Asian Cardiovascular and Thoracic Annals、〈URL:http://aan.sagepub.com/content/early/2014/06/12/0218492314539332〉
ここで、上述したVAL-MAP法を実施する際、どの気管支を選択して染料を吹き付けると肺表面のどの辺りが染色されるかを術前にシミュレーションによって確認したい場合がある。そこで、事前に撮影されたCT(Computed Tomography)画像などの3次元画像を用いて画像処理により抽出された気管支領域に基づいて、肺表面に染色できる位置をシミュレーションする方法が考えられる。
このようなシミュレーションを行う場合、通常、気管支領域は、肺表面に触れるところまでは存在しないので、気管支領域を肺表面まで引き延ばすことが考えられる。気管支領域を肺表面まで引き延ばす方法としては、たとえば気管支領域の経路をグラフ構造として抽出し、そのグラフ構造の末端を肺表面まで延長させる方法が考えられる(たとえば特許文献1参照)。
しかしながら、発明者の検討結果によれば、上述したようなシミュレーションを行った後、そのシミュレーション結果を考慮して染色のための気管支鏡処置を行ったとしても、シミュレーション通りの位置に染色されない場合があることがわかった。このため、想定する切除領域のための指標にするには難しい場合があり、最悪の場合、染色処置がもう一度必要となる場合が発生することがわかった。
また、実際の現場では、どこに染色されたかを確認するために、染色処置後にCT画像を撮影する。そして、このCT画像を解析し、実際に染色された位置とシミュレーション結果の位置とのずれを把握し、切除のための計画を立てている。事前にずれを把握できていれば、このような術後のCT画像の撮影をする必要がなくなる。
発明者が、さらに検討を進めた結果、上述したような実際の染色位置とシミュレーション結果との位置ずれの要因として、2つの要因を発見した。一つの要因としては、末梢付近の気管支ほど、気管支鏡を挿入した際に変形してしまうことである。
また、末梢に近くなるほど気管支領域の径が狭くなり、気管支鏡を挿入することができなくなるため、カテーテルを挿入する。この際、リアルタイムに撮影されたX線透視像を観察しながらカテーテルの挿入方向が決定されるが、術者のX線透視像に対する視線方向が固定されているため、奥行き方向について挿入する枝を誤る可能性がある。この誤挿入が、もう一つの要因と考えられる。
本発明は、上記事情に鑑み、気管支の末梢に染料を吹き付けた場合に、その染料が滲み出す肺表面の位置をシミュレーションしてマッピング画像を表示する場合において、気管支の変形およびカテーテルの誤挿入も考慮したマッピング画像を生成し、表示させることができるマッピング画像表示制御装置および方法並びにプログラムを提供することを目的とするものである。
本発明のマッピング画像表示制御装置は、3次元画像に含まれる肺領域を抽出する肺領域抽出部と、肺領域内に含まれる気管支領域を抽出する気管支領域抽出部と、気管支領域の分岐位置の情報を取得する分岐位置情報取得部と、分岐位置の情報に基づいて、気管支領域に含まれる末梢の枝の延長線が肺領域の表面に到達する到達位置情報を推定し、かつ特定の末梢の枝を目標対象の枝とした場合に、予め設定された条件に基づいて、特定の末梢の枝の到達位置情報以外の想定マッピング情報を推定する到達位置情報推定部と、特定の末梢の枝の到達位置情報および想定マッピング情報を肺領域の表面にマッピングしたマッピング画像を生成して表示部に表示させる表示制御部とを備える。
また、上記本発明のマッピング画像表示制御装置において、到達位置情報推定部は、気管支に気管支鏡が挿入された場合における気管支の変形の条件に基づいて、想定マッピング情報を推定することができる。
また、上記本発明のマッピング画像表示制御装置において、到達位置情報推定部は、気管支領域の基端部と特定の末梢の枝との間に存在する分岐位置から延びる特定の末梢の枝とは異なる末梢の枝の延長線が肺領域の表面に到達する位置情報を想定マッピング情報として推定することができる。
また、上記本発明のマッピング画像表示制御装置において、到達位置情報推定部は、特定の末梢の枝の末端から1つ目または2つ目の分岐位置から延びる特定の末梢の枝とは異なる末梢の枝の延長線が肺領域の表面に到達する位置情報を想定マッピング情報として推定することができる。
また、上記本発明のマッピング画像表示制御装置において、到達位置情報推定部は、分岐位置の情報と末梢の枝とに基づいて設定された直線を枝の延長線として推定することができる。
また、上記本発明のマッピング画像表示制御装置において、到達位置情報推定部は、末梢の枝の末端と末端から1つの目の分岐位置の情報とに基づいて設定された直線を末梢の枝の延長線として推定することができる。
また、上記本発明のマッピング画像表示制御装置において、到達位置情報推定部は、末梢の枝上の点と末梢の枝の末端から1つの目の分岐位置の情報に基づいて特定された点とを用いてスプライン補間し、そのスプライン補間によって求められた曲線を末梢の枝の延長線として推定することができる。
また、上記本発明のマッピング画像表示制御装置において、到達位置情報推定部は、分岐位置の情報に基づいて末梢の枝を特定し、肺領域における特定した末梢の枝の支配領域を特定し、その支配領域の重心と末梢の枝の末端とを結んだ直線を末梢の枝の延長線として推定することができる。
また、上記本発明のマッピング画像表示制御装置において、到達位置情報推定部は、分岐位置の情報に基づいて末梢の枝を特定し、肺領域における特定した末梢の枝の支配領域を特定し、その支配領域の表面のうちの肺領域の表面となる領域の重心を到達位置情報として推定することができる。
また、上記本発明のマッピング画像表示制御装置においては、肺領域内に含まれる血管領域を抽出する血管領域抽出部を備えることができ、到達位置情報推定部は、血管領域および分岐位置の情報に基づいて、末梢の枝の延長線を推定することができる。
また、上記本発明のマッピング画像表示制御装置において、血管領域抽出部は、血管領域として、肺静脈領域および肺動脈領域のうちの少なくとも一方を抽出することができる。
また、上記本発明のマッピング画像表示制御装置において、表示制御部は、特定の末梢の枝の到達位置情報および想定マッピング情報に基づいて領域を設定し、その領域を肺領域の表面にマッピングしたマッピング画像を生成して表示部に表示させることができる。
本発明のマッピング画像表示制御方法は、3次元画像に含まれる肺領域を抽出し、肺領域内に含まれる気管支領域を抽出し、気管支領域の分岐位置の情報を取得し、分岐位置の情報に基づいて、気管支領域に含まれる末梢の枝の延長線が肺領域の表面に到達する到達位置情報を推定し、かつ特定の末梢の枝を目標対象の枝とした場合に、予め設定された条件に基づいて、特定の末梢の枝の到達位置情報以外の想定マッピング情報を推定し、特定の末梢の枝の到達位置情報および想定マッピング情報を肺領域の表面にマッピングしたマッピング画像を生成して表示部に表示させる。
本発明のマッピング画像表示制御プログラムは、コンピュータを、3次元画像に含まれる肺領域を抽出する肺領域抽出部と、肺領域内に含まれる気管支領域を抽出する気管支領域抽出部と、気管支領域の分岐位置の情報を取得する分岐位置情報取得部と、分岐位置の情報に基づいて、気管支領域に含まれる末梢の枝の延長線が肺領域の表面に到達する到達位置情報を推定し、かつ特定の末梢の枝を目標対象の枝とした場合に、予め設定された条件に基づいて、特定の末梢の枝の到達位置情報以外の想定マッピング情報を推定する到達位置情報推定部と、特定の末梢の枝の到達位置情報および想定マッピング情報を肺領域の表面にマッピングしたマッピング画像を生成して表示部に表示させる表示制御部として機能させる。
本発明の他のマッピング画像表示制御装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサを備え、プロセッサが、3次元画像に含まれる肺領域を抽出する処理と、肺領域内に含まれる気管支領域を抽出する処理と、気管支領域の分岐位置の情報を取得する処理と、分岐位置の情報に基づいて、気管支領域に含まれる末梢の枝の延長線が肺領域の表面に到達する到達位置情報を推定し、かつ特定の末梢の枝を目標対象の枝とした場合に、予め設定された条件に基づいて、特定の末梢の枝の到達位置情報以外の想定マッピング情報を推定する処理と、特定の末梢の枝の到達位置情報および想定マッピング情報を肺領域の表面にマッピングしたマッピング画像を生成して表示部に表示させる処理とを実行するように構成されている。
本発明のマッピング画像表示制御装置および方法並びにプログラムによれば、3次元画像に含まれる肺領域を抽出し、肺領域内に含まれる気管支領域を抽出し、気管支領域の分岐位置の情報を取得する。そして、その分岐位置の情報に基づいて、気管支領域に含まれる末梢の枝の延長線が肺領域の表面に到達する到達位置情報を推定する。そして、さらに特定の末梢の枝を目標対象の枝とした場合に、予め設定された条件に基づいて、特定の末梢の枝の到達位置情報以外の想定マッピング情報を推定し、その特定の末梢の枝の到達位置情報および想定マッピング情報を肺領域の表面にマッピングしたマッピング画像を生成して表示する。
すなわち、上述したカテーテルの誤挿入および気管支の変形などを考慮した条件を予め設定し、その条件に基づいて、想定マッピング情報を推定してマッピング画像を生成し表示させるようにしたので、ユーザは、実際に気管支の末梢に染料を吹き付けた場合における位置ずれも考慮した上で、腫瘍の切除領域などを決定することができる。
また、予め染色位置のずれを把握することができるので、染色処置後において、染色位置を確認するためのCT画像の撮影を行う必要がない。
本発明のマッピング画像表示制御装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図 到達位置情報を求める方法を説明するための図 マッピング画像の一例を示す図 特定の末梢の枝の到達位置情報および想定マッピング情報のみをマッピング画像上に表示した例を示す図 特定の末梢の枝の到達位置情報および想定マッピング情報のみをマッピング画像上に表示したその他の例を示す図 本発明のマッピング画像表示制御装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムの作用を説明するためのフローチャート 気管支の変形を考慮して想定マッピング情報を推定する方法を説明するための図 末梢の枝上の2つの点と分岐点とを用いてスプライン補間した曲線を気管支領域の末梢の枝の延長線として推定する場合を説明するための図 スプライン補間によって気管支領域の末梢の枝の延長線を推定する場合のその他の例を説明するための図 末梢の枝の支配領域の重心と末梢の枝の末端とを結んだ直線を気管支領域の末梢の枝の延長線として推定する場合を説明するための図 支配領域の表面のうちの肺領域の表面となる領域の重心を到達位置情報として推定する場合を説明するための図 血管領域抽出部をさらに備えた医用画像診断支援システムの概略構成を示すブロック図 血管領域および分岐位置の情報に基づいて、気管支領域の末梢の枝の延長線が肺表面に到達する位置を推定する場合を説明するための図
以下、本発明のマッピング画像表示制御装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムについて、図面を参照しながら詳細に説明する。図1は、本発明の第1の実施形態の医用画像診断支援システムの概略構成を示すブロック図である。
本実施形態の医用画像診断支援システムは、上述したVAL-MAP法を行う際の支援を行うものであり、基本的には、気管支の末梢に染料を吹き付けた場合に、その染料が滲み出す肺表面の位置をシミュレーションし、その位置を肺表面上にマッピングしたマッピング画像を生成して表示させるものである。医者は、このマッピング画像を観察することによって、気管支を選択してその末梢に染料を吹き付けた場合に、肺表面のどの位置に染料が滲み出すかを把握することができるので、術前に、染料を吹き付ける気管支を適切に選択することができる。
さらに、本実施形態の医用画像診断支援システムは、上述したように医者が、染料を吹き付ける気管支を選択し、その選択した気管支に気管支鏡を実際に挿入する場合において、上述したようにカテーテルを誤って異なる気管支に挿入して染料を吹き付けた場合も想定して、マッピング画像を生成し表示させるものである。
本実施形態の医用画像診断支援システムは、具体的には、図1に示すように、マッピング画像表示制御装置1と、医用画像保管サーバ2と、表示装置3(表示部に相当するものである)と、入力装置4とを備えている。
マッピング画像表示制御装置1は、コンピュータに本実施形態のマッピング画像表示制御プログラムをインストールしたものである。
マッピング画像表示制御装置1は、中央処理装置(CPU(central processing unit))、半導体メモリ、およびハードディスクやSSD(Solid State Drive)等のストレージデバイスを備えている。ストレージデバイスには、本実施形態のマッピング画像表示制御プログラムがインストールされており、このマッピング画像表示制御プログラムが中央処理装置によって実行されることによって、図1に示す医用画像取得部10、肺領域抽出部11、気管支領域抽出部12、分岐位置情報取得部13、到達位置情報推定部14および表示制御部15が動作する。
マッピング画像表示制御プログラムは、DVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、マッピング画像表示制御プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
医用画像取得部10は、予め撮影された患者の胸部の3次元画像6を取得するものである。3次元画像6は、たとえばCT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置などによって患者の胸部を撮影したものである。
3次元画像6は、医用画像保管サーバ2に患者の識別情報とともに予め保管されており、医用画像取得部10は、入力装置4などを用いてユーザによって入力された患者の識別情報に基づいて、その識別情報を有する3次元画像6を医用画像保管サーバ2から読み出して一時記憶するものである。
肺領域抽出部11は、医用画像取得部10によって取得された胸部の3次元画像6から肺領域を抽出する処理を行うものである。肺領域を抽出する方法としては、肺野は空気が存在する領域であるため、3次元画像6の各画素位置の信号値をヒストグラム化し、肺領域をしきい値処理することにより抽出する方法や、肺領域を表すシード点に基づく領域拡張法などの公知の手法を用いることができる。
気管支領域抽出部12は、胸部の3次元画像6の肺領域内に含まれる気管支領域を抽出する処理を行うものである。3次元画像6に含まれる気管支は、気管支の内部の画素は空気領域に相当するため低い画素値を示す領域として表れるが、気管支壁は比較的高い画素値を示す円柱あるいは線状の構造物であると考えられる。そこで、画素毎に画素値の分布に基づく形状の構造解析を行なって気管支を抽出する。たとえば特開2012−200403号公報に記載の方法のように、各画素の画素値に基づいてヘッセ解析を行うことによって気管支領域および気管支領域を細線化したグラフ構造を抽出することができる。なお、気管支領域を抽出方法としては、その他の公知の手法を用いるようにしてもよい。
分岐位置情報取得部13は、気管支領域抽出部12によって抽出された気管支領域の分岐位置の情報を取得するものである。具体的には、分岐位置情報取得部13は、気管支領域抽出部12において抽出された気管支領域のグラフ構造を、開始点、端点、分岐点およびエッジに分類し、その分岐点の位置情報を気管支領域の分岐位置の情報として取得するものである。
到達位置情報推定部14は、分岐位置情報取得部13によって取得された分岐位置の情報に基づいて、気管支領域に含まれる末梢の枝の延長線が肺領域の表面に到達する到達位置情報を推定するものである。
ここで、VAL-MAP法において気管支の末梢に染料を吹き付けた場合に、その染料が肺の組織内を通過し、肺表面に到達して滲み出す位置は、気管支の末梢の枝の延長線が肺表面に到達する位置と推定することができる。
そこで、到達位置情報推定部14は、3次元画像から気管支領域のグラフ構造を抽出し、そのグラフ構造に含まれる末梢の枝の末端と、分岐位置情報取得部13によって取得された分岐位置の情報とに基づいて設定された直線を気管支領域の末梢の枝の延長線として推定する。そして、その延長線が肺領域の表面に到達する到達位置情報を、染料が肺表面に到達する位置として推定する。
具体的には、到達位置情報推定部14は、図2に示すように、気管支領域のグラフ構造の末梢の枝Brの末端Tとその末端Tから1つの目の分岐点Sとを結んだ直線を抹消の枝Brの延長線L1として推定する。そして、その延長線L1と肺領域表面との交点を到達位置情報として取得する。末端Tから1つ目の分岐点とは、気管支領域の末端から気管支領域の基端部側(上流側)に向かう方向について1つの目の分岐である。
なお、本実施形態においては、末端Tから1つ目の分岐点を用いるようにしたが、これに限らず、末端Tから2つ目の分岐点や3つ目の分岐点などを用いて延長線を設定するようにしてもよい。
また、本実施形態においては、気管支領域のグラフ構造の末梢の枝の末端Tとその末端Tから1つの目の分岐点Sとを結ぶようにしたが、必ずしも分岐点Sを用いなくてもよく、実質的に同等の結果が得られるような点であれば、分岐点Sの近傍の点を用いてもよい。すなわち、分岐位置の情報とグラフ構造の末梢の枝の末端とに基づいて設定された直線とは、末梢の枝の末端Tと分岐点Sの近傍の点とを結んで設定された直線も含むものとする。
なお、到達位置情報は必ずしも1点の座標でなくてもよく、その交点を含む2次元的または3次元的な範囲を到達位置情報として取得するようにしてもよい。到達位置情報は、気管支の末梢に染料を吹き付けた場合に、その染料が肺の組織内を通過し、肺表面に到達する到達点または到達範囲を表す情報である。
さらに、本実施形態の到達位置情報推定部14は、気管支領域の末梢の枝のうちの特定の末梢の枝を、染料を吹き付ける目標対象の枝とした場合に、上述したようなカテーテルの誤挿入を想定し、その誤挿入された末梢の枝の到達位置情報を想定マッピング情報として推定するものである。具体的には、本実施形態の到達位置情報推定部14は、気管支領域の基端部と、上述した特定の末梢の枝との間に存在する分岐位置から延びる特定の末梢の枝とは異なる末梢の枝の到達位置情報を想定マッピング情報として推定する。気管支領域の基端部と特定の末梢の枝との間に存在する分岐位置としては、たとえば、図2に示す抹消の枝Brを特定の末梢の枝とした場合、その末端Tから1つ目の分岐点Sを用いるようにしてもよいし、末端Tから2つ目の分岐点Vを用いるようにしてもよい。分岐点Sを用いた場合には、抹消の枝Brとは異なる末梢の枝Bsの到達位置情報が想定マッピング情報として推定される。また、分岐点Vを用いた場合には、抹消の枝Brとは異なる末梢の枝Bsおよび末梢の枝Btの到達位置情報が想定マッピング情報として推定される。
表示制御部15は、肺領域抽出部11によって抽出された肺領域および気管支領域抽出部12によって抽出された気管支領域に基づいて、肺領域および気管支領域のボリュームレンダリング画像を生成するものである。肺領域のボリュームレンダリング画像の不透明度については、肺領域内の気管支領域が視認できる程度に設定され、肺領域と気管支領域の色はそれぞれ異なる色に設定される。
また、表示制御部15は、到達位置情報推定部14において推定された到達位置情報および想定マッピング情報並びに到達位置情報を推定する際に設定された延長線を、肺領域および気管支領域のボリュームレンダリング画像に重ね合わせたマッピング画像を生成し表示装置3に表示させるものである。
図3は、表示装置3に表示させるマッピング画像の一例を示す図である。図3に示すマッピング画像の例では、到達位置情報は球体で表示され、気管支領域の末梢の枝の延長線はグレーの太線で表示されている。また、マッピング画像の中央の球体は、腫瘍領域を表す画像である。なお、到達位置情報は、全ての末梢の枝について推定されてマッピング画像上に表示されるが、図3においては一部の到達位置情報のみを示し、その他の到達位置情報の表示を図示省略しているものとする。
そして、図3に示すような到達位置情報を含むマッピング画像が表示された状態において、たとえば腫瘍領域との位置関係に基づいて、ユーザが、特定の到達位置情報P1を選択した場合、表示制御部15は、図3に示すように、その到達位置情報P1に関連する末梢の枝Bvまでの経路を表示させ、特定の到達位置情報P1をその他の到達位置情報とは異なる色で表示させる。
そして、このとき到達位置情報推定部14は、ユーザによって選択された到達位置情報P1に関連する枝Bvを、特定の末梢の枝とし、その枝Brを目標対象の枝とした場合における上述した想定マッピング情報を推定し、表示制御部15に出力する。
表示制御部15は、想定マッピング情報が入力されると、ユーザによって選択された到達位置情報と想定マッピング情報の到達位置情報のみをボリュームレンダリング画像に重ね合わせたマッピング画像を生成して表示させるものである。図4は、そのマッピング画像の一例を示す図である。図4は、枝Bvの末端から1つめの分岐点Wを用いて想定マッピング情報を推定した場合のマッピング画像であり、分岐点Wから延びる末梢の枝Bvsの到達位置情報P2が想定マッピング情報としてマッピング画像上に表示されている。また、図5は、枝Bvの末端から2つめの分岐点Xを用いて想定マッピング情報を推定した場合のマッピング画像であり、分岐点Xから延びる末梢の枝Bvs,Bv3,Bv4の到達位置情報P2,P3,P4が想定マッピング情報としてマッピング画像上に表示されている。
なお、図4および図5に示す例では、ユーザによって選択された到達位置情報および想定マッピング情報の到達位置情報のみをマッピング画像上に表示するようにしたが、これに限らず、その他の到達位置情報もマッピング画像上に表示し、ユーザによって選択された到達位置情報および想定マッピング情報の到達位置情報をその他の到達位置情報とは異なる表示形態でマッピング画像上に表示するようにしてもよい。具体的には、ユーザによって選択された到達位置情報および想定マッピング情報の到達位置情報をその他の到達位置情報とは異なる色または異なる形状で表示するようにしてもよい。
また、上記説明では、想定マッピング情報の到達位置情報を表示する際、ユーザが特定の到達位置情報を選択するようにしたが、これに限らず、たとえば腫瘍領域との距離が最も近い到達位置情報を特定するなどして自動的に選択するようにしてもよい。
また、マッピング画像内に表示される到達位置情報を表す球体の大きさは、ユーザによって入力装置4を用いて任意に設定可能である。また、到達位置情報を表す球体は、表示および非表示を切り替え可能にしてもよく、また、点滅表示させるようにしてもよい。また、気管支領域の延長線は必ずしも表示しなくてもよく、ユーザによって表示と非表示を切り替え可能としてもよい。
表示装置3は、液晶ディスプレイなどの表示デバイスを備えたものであり、上述したボリュームレンダリング画像などを表示するものである。
入力装置4は、ユーザによる種々の設定入力を受け付けるものであり、キーボードやマウスなどの入力デバイスを備えたものである。入力装置4は、たとえば患者の識別情報の設定入力、ボリュームレンダリング画像の不透明度および色の設定入力、並びに到達位置情報の表示形状および大きさの設定入力、特定の到達位置情報の選択などを受け付けるものである。なお、タッチパネルを用いることによって表示装置3と入力装置4と兼用するようにしてもよい。
次に、本実施形態の医用画像診断支援システムの作用について、図6に示すフローチャートを参照しながら説明する。
まず、ユーザによる患者の識別情報などの入力に基づいて、医用画像取得部10によって医用画像保管サーバ2から3次元画像6が読み出されて取得される(S10)。
医用画像取得部10によって取得された3次元画像6は、肺領域抽出部11および気管支領域抽出部12に入力される。肺領域抽出部11は、入力された3次元画像6から肺領域を抽出し(S12)、気管支領域抽出部12は、入力された3次元画像6から気管支領域を抽出し、さらにその気管支領域を細線化したグラフ構造を取得する(S14)。
気管支領域抽出部12によって取得されたグラフ構造は、分岐位置情報取得部13に入力され、分岐位置情報取得部13は、入力されたグラフ構造に基づいて、気管支領域の分岐位置の情報を取得する(S16)。
分岐位置情報取得部13によって取得された分岐位置の情報は、到達位置情報推定部14に入力され、到達位置情報推定部14は、入力された分岐位置の情報に基づいて、気管支領域の末梢の枝の延長線を設定し、その延長線と肺領域表面との交点の情報を到達位置情報として取得する(S18)。
肺領域抽出部11によって抽出された肺領域および気管支領域抽出部12によって抽出された気管支領域が表示制御部15に入力され、表示制御部15は、入力された肺領域および気管支領域に基づいて、そのボリュームレンダリング画像を生成する。さらに、到達位置情報推定部14において設定された気管支領域の末梢の枝の延長線および到達位置情報が表示制御部15に入力され、表示制御部15は、入力された末梢の枝の延長線および到達位置情報を肺領域および気管支領域のボリュームレンダリング画像に重ね合わせたマッピング画像を生成し(S20)、そのマッピング画像を表示装置3に表示させる(S22)。
次いで、マッピング画像上に表示された複数の到達位置情報のうち、特定の到達位置情報が選択された場合には(S24,YES)、到達位置情報推定部14は、ユーザによって選択された到達位置情報に関連する末梢の枝を、特定の末梢の枝とし、その枝を目標対象の枝とした場合における想定マッピング情報を推定し(S26)、表示制御部15に出力する。
表示制御部15は、想定マッピング情報が入力されると、ユーザによって選択された到達位置情報と想定マッピング情報の到達位置情報のみをボリュームレンダリング画像に重ね合わせたマッピング画像を生成して表示させる(S28)。
次に、本発明の第2の実施形態の医用画像診断支援システムについて説明する。第2の実施形態の医用画像診断支援システムの概略構成については、図1に示す第1の実施形態と同様であるが、到達位置情報推定部14において推定される想定マッピング情報が、第1の実施形態とは異なる。したがって、ここではその想定マッピング情報を中心に説明する。
上述したとおり特定の末梢の枝を目標対象の枝とし、実際にその目標対象の枝に向けて気管支鏡を挿入した際、気管支鏡の剛性により、気管支が曲がる場合がある。この場合、気管支の末梢の枝が延びる方向が、到達位置情報を推定する際に設定した延長線の方向とは異なる方向となる可能性がある。
そこで、第2の実施形態の到達位置情報推定部14においては、分岐にかかる負荷を考慮して、上述したような気管支の曲がりを想定し、術中において末梢の枝が延びる方向を推定し、その推定した方向に基づいて想定マッピング情報を推定する。
気管支鏡が挿入された際における気管支の変形(曲がり)の条件については、たとえば気管支領域における末梢の枝毎に予め設定しておいてもよいし、気管支領域の分岐位置毎に変形の条件を設定しておき、特定の末梢の枝が選択された際、その特定の末梢の枝の末端から気管支の基端部までの間に存在する分岐位置を特定し、その特定した分岐位置の変形条件に基づいて、想定マッピング情報を推定するようにしてもよい。
具体的には、第2の実施形態の到達位置情報推定部14は、図7に示すように、特定の末梢の枝Brについて、その変形条件に基づいて変形後の枝Braを推定し、その枝Braの到達位置情報Praを推定する。なお、到達位置情報Praの推定方法は、第1の実施形態と同様である。
そして、特定の末梢の枝Brの到達位置情報Prと変形後の枝Braの到達位置情報Praの両方を含む肺領域表面上の領域Rを想定マッピング情報として推定する。領域Rとしては、到達位置情報Prと到達位置情報Praと結ぶ線分を直径とする円としてもよいし、到達位置情報Prと到達位置情報Praと結ぶ線分を半径とし、到達位置情報Prを中心とする円としてもよい。また、到達位置情報Praを想定マッピング情報としてもよい。
そして、第2の実施形態の到達位置情報推定部14においては、マッピング画像上に表示された複数の到達位置情報のうち、図7に示す到達位置情報Prが選択された場合には、想定マッピング情報として、上述した領域Rの情報または到達位置情報Praを推定し、表示制御部15に出力する。
表示制御部15は、ユーザによって選択された到達位置情報Prと領域Rを示す指標および/または到達位置情報Praとをボリュームレンダリング画像に重ね合わせたマッピング画像を生成して表示させる。
上記第1および第2の実施形態の医用画像診断支援システムによれば、カテーテルの誤挿入または気管支の変形を考慮した条件を予め設定し、その条件に基づいて、想定マッピング情報を推定してマッピング画像上に表示させるようにしたので、ユーザは、実際に気管支の末梢に染料を吹き付けた場合における位置ずれも考慮した上で、腫瘍の切除領域などを決定することができる。
また、予め染色位置のずれを把握することができるので、染色処置後において、染色位置を確認するためのCT画像の撮影を行う必要がない。
なお、第1の実施形態においても、第2の実施形態と同様に、特定の末梢の枝の到達位置情報と想定マッピング情報とに基づいて領域を設定し、その領域を示す指標をボリュームレンダリング画像に重ね合わせたマッピング画像を生成して表示させるようにしてもよい。
また、想定マッピング情報を推定する際、第1の実施形態のようにカテーテルの誤挿入を考慮し、かつ第2の実施形態のように気管支の変形も考慮して、特定の末梢の枝の到達位置情報とは異なる到達位置情報を推定し、これにより想定マッピング情報を推定するようにしてもよい。
また、上記第1および第2の実施形態においては、グラフ構造の末端と分岐点とを結ぶ直線を気管支領域の末梢の枝の延長線として推定するようにしたが、気管支領域の末梢の枝の延長線の設定方法としてはこれに限らない。たとえば、図8に示すように、末梢の枝上の2つの点p1および点p2と末梢の枝の末端Tから1つの目の分岐点Sとを用いてスプライン補間し、そのスプライン補間によって求められた曲線L2を末梢の枝の延長線として推定するようにしてもよい。
このようにスプライン補間によって求められた曲線L2を末梢の枝の延長線として推定するようにした場合には、より高精度に末梢の枝の延長線を推定することができる。
なお、このようにスプライン補間によって末梢の枝の延長線を推定する場合においても、必ずしも分岐点Sを用いなくてもよく、実質的に同等の結果が得られるような点であれば、分岐点Sの近傍の点を用いてもよい。
また、上記説明では、分岐点Sと末梢の枝上の2つの点p1,p2を用いてスプライン補間を行うようにしたが、分岐点S以外の点については、3つ以上の点を設定するようにしてもよい。また、図8に示すように末梢の枝上の2点を設定するのではなく、図9に示すように、末梢の枝上の少なくとも1つ以上の点p1と分岐点Sと分岐点Sよりも気管上流側の点p3とを用いてスプライン補間して曲線L3を推定するようにしてもよい。点p3は、分岐点Sと分岐点Sから気管上流側に1つ前の分岐点との間に設定することが望ましい。なお、スプライン補間に用いる点p1〜p3は、ユーザが入力装置4を用いて任意に設定するようにしてもよいし、分岐点Sからの距離を予め設定しておき、自動的に設定するようにしてもよい。
また、分岐位置情報取得部13によって取得された分岐位置の情報に基づいて、末梢の枝を特定し、肺領域におけるその特定した末梢の枝の支配領域を特定し、その支配領域の重心と末梢の枝の末端とを結んだ直線を気管支領域の末梢の枝の延長線として推定するようにしてもよい。
具体的には、図10に示すように、分岐位置情報取得部13によって取得された分岐点Sに基づいて末梢の枝Bを特定し、肺領域における末梢の枝Bの支配領域Raを特定し、その支配領域Raの重心G1と末梢の枝Bの末端Tとを結んだ直線L4を気管支領域の末梢の枝の延長線として推定するようにしてもよい。なお、気管支領域の末梢の枝の支配領域Raについては、解剖学的な見地から末梢の枝毎に予め設定されるものであり、ここでいう重心G1は、3次元的な形状である支配領域の3次元空間上の重心である。
このように、支配領域Raの重心G1と末梢の枝Bの末端Tとを結んだ直線L4を気管支領域の末梢の枝Bの延長線として推定した場合には、解剖学的な見地に基づいて、より高精度に末梢の枝の延長線を推定することができる。
また、上述したように気管支領域の末梢の枝の支配領域を用いて末梢の枝の延長線の肺表面における到達位置を推定するその他の方法として、たとえば分岐位置情報取得部13によって取得された分岐位置の情報に基づいて、末梢の枝を特定し、肺領域におけるその特定した末梢の枝の支配領域を特定し、その支配領域の表面のうちの肺領域の表面となる領域の重心を到達位置情報として推定するようにしてもよい。
具体的には、図11に示すように、分岐位置情報取得部13によって取得された分岐点Sに基づいて末梢の枝Bを特定し、肺領域における末梢の枝Bの支配領域Raを特定し、その支配領域Raの表面のうちの肺領域の表面となる領域Aの重心G2を到達位置情報として推定するようにしてもよい。なお、ここでいう重心G2は、3次元空間上の面として表される領域Aの重心である。
また、気管支の周辺には肺動脈および肺静脈があり、気管支の延伸方向と肺動脈および肺静脈の延伸方向とは類似していることが知られている。そこで、肺動脈や肺動脈の延伸方向の情報に基づいて、気管支領域の末梢の枝の延長線が肺表面に到達する位置を推定するようにしてもよい。
具体的には、図12に示すように、マッピング画像表示制御装置1に対してさらに血管領域抽出部16を設ける。血管領域抽出部16は、3次元画像6から肺領域内に含まれる血管領域を抽出するものである。具体的には、血管領域抽出部16は、肺動脈領域および肺静脈領域を抽出する。肺動脈領域および肺静脈領域の抽出方法としては、たとえば領域拡張法などの公知な手法を用いることができる。
そして、到達位置情報推定部14は、分岐位置情報取得部13によって取得された分岐位置の情報に基づいて気管支領域の末梢の枝に沿って延びる肺動脈領域および肺静脈領域を特定し、その特定した肺動脈領域および肺静脈領域に基づいて、気管支領域の末梢の枝の延長線を推定する。具体的には、図13示すように、分岐位置情報取得部13によって取得された分岐点Sに最も近い肺動脈領域の位置v1と分岐点Sに最も近い肺静脈領域の位置a1とを検出し、さらに、グラフ構造の末梢の枝の末端Tに最も近い肺動脈領域上の位置v2と末端Tに最も近い肺静脈領域上の位置a2とを検出する。
なお、分岐点Sは、グラフ構造の末梢の枝の末端Tから気管上流側に向かって一つ目の分岐点である。また、分岐点Sに最も近い肺動脈領域上の位置v1とは、分岐点Sとの距離が最も短い肺動脈領域上の位置であり、分岐点Sに最も近い肺静脈領域上の位置a1とは、分岐点Sとの距離が最も短い肺静脈領域上の位置である。また、末端Tに最も近い肺動脈領域上の位置v2とは、末端Tとの距離が最も短い肺動脈領域上の位置であり、末端Tに最も近い肺静脈領域上の位置a2とは、末端Tと距離が最も短い肺静脈領域上の位置である。
そして、肺動脈領域上の位置v1から位置v2へ向かう方向を肺動脈領域の延伸方向として推定して第1のベクトルを設定し、肺静脈領域上の位置a1から位置a2へ向かう方向を肺静脈領域の延伸方向として推定して第2のベクトルを設定し、第1のベクトルと第2のベクトルの平均を算出する。そして、その平均のベクトルを伸ばした直線L5を気管支領域の末梢の枝の延長線として推定し、この延長線が肺表面に到達する位置を取得する。
このように肺静脈領域および肺動脈領域を用いて末梢の枝の延長線を推定することによって、解剖学的な見地に基づいて、より高精度に末梢の枝の延長線を推定することができる。
なお、上記説明では、肺動脈領域上の位置v1と位置v2を用いて第1のベクトルを設定し、肺静脈領域上の位置a1と位置a2を用いて第2のベクトルを設定するようにしたが、たとえば肺動脈領域上の位置v1と位置v2とこれらの位置の間の点を用いてスプライン補間して第1の曲線を設定し、肺静脈領域上の位置a1と位置a2とこれらの位置の間の点を用いてスプライン補間して第2の曲線を設定し、第1の曲線と第2の曲線を平均化した曲線を気管支領域の末梢の枝の延長線として推定するようにしてもよい。
また、上記説明では、肺静脈領域と肺動脈領域の両方を使用して末梢の枝の延長線を推定するようにしたが、いずれか一方のみを用いて末梢の枝の延長線を推定するようにしてもよい。たとえば、肺動脈領域に基づいて設定された第1のベクトルに平行であり、かつ末梢の枝の末端Tを通る直線を末梢の枝の延長線を推定するようにしてもよい。また、肺静脈領域に基づいて設定された第2のベクトルに平行であり、かつ末梢の枝の末端Tを通る直線を末梢の枝の延長線を推定するようにしてもよい。
1 マッピング画像表示制御装置
2 医用画像保管サーバ
3 表示装置
4 入力装置
10 医用画像取得部
11 肺領域抽出部
12 気管支領域抽出部
13 分岐位置情報取得部
14 到達位置情報推定部
15 表示制御部
16 血管領域抽出部
B,Br,Bra,Bs,Bt,Bv,Bvs,Bv3,Bv4 末梢の枝
G1 支配領域の重心
G2 肺領域の表面となる領域の重心
L1 延長線
L2,L3 スプライン補間によって求められた曲線
L4 直線
L5 直線
P1,P2,P3,P4,Pr,Pra 到達位置情報
R 領域
Ra 支配領域
S 分岐点
T 末端
V 分岐点
W 分岐点
X 分岐点
a1,a2 肺静脈領域上の位置
v1,v2 肺動脈領域上の位置
A 支配領域の表面のうちの肺領域の表面となる領域

Claims (14)

  1. 3次元画像に含まれる肺領域を抽出する肺領域抽出部と、
    前記肺領域内に含まれる気管支領域を抽出する気管支領域抽出部と、
    前記気管支領域の分岐位置の情報を取得する分岐位置情報取得部と、
    前記分岐位置の情報に基づいて、前記気管支領域に含まれる末梢の枝の延長線が前記肺領域の表面に到達する到達位置情報を推定し、かつ特定の前記末梢の枝を目標対象の枝とした場合に、予め設定された条件に基づいて、前記特定の末梢の枝の前記到達位置情報以外の想定マッピング情報を推定する到達位置情報推定部と、
    前記特定の末梢の枝の到達位置情報および前記想定マッピング情報を前記肺領域の表面にマッピングしたマッピング画像を生成して表示部に表示させる表示制御部とを備えるマッピング画像表示制御装置。
  2. 前記到達位置情報推定部が、気管支に気管支鏡が挿入された場合における前記気管支の変形の条件に基づいて、前記想定マッピング情報を推定する請求項1記載のマッピング画像表示制御装置。
  3. 前記到達位置情報推定部が、前記気管支領域の基端部と前記特定の末梢の枝との間に存在する分岐位置から延びる前記特定の末梢の枝とは異なる末梢の枝の延長線が前記肺領域の表面に到達する位置情報を前記想定マッピング情報として推定する請求項1または2記載のマッピング画像表示制御装置。
  4. 前記到達位置情報推定部が、前記特定の末梢の枝の末端から1つ目または2つ目の分岐位置から延びる前記特定の末梢の枝とは異なる末梢の枝の延長線が前記肺領域の表面に到達する位置情報を前記想定マッピング情報として推定する請求項3記載のマッピング画像表示制御装置。
  5. 前記到達位置情報推定部が、前記分岐位置の情報と前記末梢の枝とに基づいて設定された直線を前記枝の延長線として推定する請求項1から4いずれか1項記載のマッピング画像表示制御装置。
  6. 前記到達位置情報推定部が、前記末梢の枝の末端と前記末端から1つの目の分岐位置の情報とに基づいて設定された直線を前記末梢の枝の延長線として推定する請求項5記載のマッピング画像表示制御装置。
  7. 前記到達位置情報推定部が、前記末梢の枝上の点と前記末梢の枝の末端から1つの目の分岐位置の情報に基づいて特定された点とを用いてスプライン補間し、該スプライン補間によって求められた曲線を前記末梢の枝の延長線として推定する請求項1から4いずれか1項記載のマッピング画像表示制御装置。
  8. 前記到達位置情報推定部が、前記分岐位置の情報に基づいて前記末梢の枝を特定し、前記肺領域における前記特定した末梢の枝の支配領域を特定し、該支配領域の重心と前記末梢の枝の末端とを結んだ直線を前記末梢の枝の延長線として推定する請求項1から4いずれか1項記載のマッピング画像表示制御装置。
  9. 前記到達位置情報推定部が、前記分岐位置の情報に基づいて前記末梢の枝を特定し、前記肺領域における前記特定した末梢の枝の支配領域を特定し、該支配領域の表面のうちの前記肺領域の表面となる領域の重心を前記到達位置情報として推定する請求項1から4いずれか1項記載のマッピング画像表示制御装置。
  10. 前記肺領域内に含まれる血管領域を抽出する血管領域抽出部を備え、
    前記到達位置情報推定部が、前記血管領域および前記分岐位置の情報に基づいて、前記末梢の枝の延長線を推定する請求項1から4いずれか1項記載のマッピング画像表示制御装置。
  11. 前記血管領域抽出部が、前記血管領域として、肺静脈領域および肺動脈領域のうちの少なくとも一方を抽出する請求項10記載のマッピング画像表示制御装置。
  12. 前記表示制御部が、前記特定の末梢の枝の到達位置情報および前記想定マッピング情報に基づいて領域を設定し、該領域を前記肺領域の表面にマッピングしたマッピング画像を生成して表示部に表示させる請求項1から11いずれか1項記載のマッピング画像表示制御装置。
  13. 3次元画像に含まれる肺領域を抽出し、
    前記肺領域内に含まれる気管支領域を抽出し、
    前記気管支領域の分岐位置の情報を取得し、
    前記分岐位置の情報に基づいて、前記気管支領域に含まれる末梢の枝の延長線が前記肺領域の表面に到達する到達位置情報を推定し、かつ特定の前記末梢の枝を目標対象の枝とした場合に、予め設定された条件に基づいて、前記特定の末梢の枝の前記到達位置情報以外の想定マッピング情報を推定し、
    前記特定の末梢の枝の到達位置情報および前記想定マッピング情報を前記肺領域の表面にマッピングしたマッピング画像を生成して表示部に表示させるマッピング画像表示制御方法。
  14. コンピュータを、
    3次元画像に含まれる肺領域を抽出する肺領域抽出部と、
    前記肺領域内に含まれる気管支領域を抽出する気管支領域抽出部と、
    前記気管支領域の分岐位置の情報を取得する分岐位置情報取得部と、
    前記分岐位置の情報に基づいて、前記気管支領域に含まれる末梢の枝の延長線が前記肺領域の表面に到達する到達位置情報を推定し、かつ特定の前記末梢の枝を目標対象の枝とした場合に、予め設定された条件に基づいて、前記特定の末梢の枝の前記到達位置情報以外の想定マッピング情報を推定する到達位置情報推定部と、
    前記特定の末梢の枝の到達位置情報および前記想定マッピング情報を前記肺領域の表面にマッピングしたマッピング画像を生成して表示部に表示させる表示制御部として機能させるマッピング画像表示制御プログラム。
JP2017033711A 2017-02-24 2017-02-24 マッピング画像表示制御装置および方法並びにプログラム Active JP6702902B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017033711A JP6702902B2 (ja) 2017-02-24 2017-02-24 マッピング画像表示制御装置および方法並びにプログラム
US15/901,056 US11304762B2 (en) 2017-02-24 2018-02-21 Mapping image display control device, method, and program
DE102018103987.5A DE102018103987A1 (de) 2017-02-24 2018-02-22 Vorrichtung, Verfahren und Programm zur Steuerung einer Abbildungsbildanzeige

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017033711A JP6702902B2 (ja) 2017-02-24 2017-02-24 マッピング画像表示制御装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2018138124A true JP2018138124A (ja) 2018-09-06
JP6702902B2 JP6702902B2 (ja) 2020-06-03

Family

ID=63112510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017033711A Active JP6702902B2 (ja) 2017-02-24 2017-02-24 マッピング画像表示制御装置および方法並びにプログラム

Country Status (3)

Country Link
US (1) US11304762B2 (ja)
JP (1) JP6702902B2 (ja)
DE (1) DE102018103987A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6396597B2 (ja) * 2015-09-09 2018-09-26 富士フイルム株式会社 マッピング画像表示制御装置および方法並びにプログラム
JPWO2020066132A1 (ja) * 2018-09-27 2021-04-30 富士フイルム株式会社 医用画像診断支援装置、方法及びプログラム
CN111861988A (zh) * 2020-06-09 2020-10-30 深圳市旭东数字医学影像技术有限公司 基于支气管的自动及半自动肺分叶分段的方法及其系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011206186A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 医用画像診断支援装置および方法、並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5601582A (en) * 1994-11-16 1997-02-11 Wilson-Cook Medical Inc. Cutting catheter
US7822461B2 (en) * 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
US7583829B2 (en) * 2004-09-13 2009-09-01 Siemens Medical Solutions Usa, Inc. Method and apparatus for embolism analysis
US20070167714A1 (en) * 2005-12-07 2007-07-19 Siemens Corporate Research, Inc. System and Method For Bronchoscopic Navigational Assistance
US8199984B2 (en) * 2006-05-02 2012-06-12 National University Corporation Nagoya University System that assists in observing a luminal organ using the structure of the luminal organ
WO2007129616A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 内視鏡挿入支援システム及び内視鏡挿入支援方法
US20100149183A1 (en) * 2006-12-15 2010-06-17 Loewke Kevin E Image mosaicing systems and methods
CN102883651B (zh) * 2010-01-28 2016-04-27 宾夕法尼亚州研究基金会 可应用于支气管镜引导的基于图像的全局配准系统和方法
JP5584006B2 (ja) * 2010-03-31 2014-09-03 富士フイルム株式会社 投影画像生成装置、投影画像生成プログラムおよび投影画像生成方法
JP5597429B2 (ja) * 2010-03-31 2014-10-01 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
EP2441388A4 (en) * 2010-06-02 2012-07-25 Olympus Medical Systems Corp MEDICAL APPARATUS AND METHOD FOR CONTROLLING THE MEDICAL DEVICE
WO2013173229A1 (en) * 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for deformation compensation using shape sensing
JP6080249B2 (ja) * 2012-09-13 2017-02-15 富士フイルム株式会社 3次元画像表示装置および方法並びにプログラム
JP6030435B2 (ja) * 2012-12-25 2016-11-24 富士フイルム株式会社 画像処理装置および画像処理方法、並びに画像処理プログラム
JP2015177523A (ja) 2014-03-18 2015-10-05 Kddi株式会社 無線基地局装置、無線端末装置、セルタイプ情報取得方法およびコンピュータプログラム
US20150305650A1 (en) * 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011206186A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 医用画像診断支援装置および方法、並びにプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
佐藤 雅昭: "小型肺癌の術中局在同定法 −術前マーキング法とvirtual-assisted lung mapping−", JAPANESE JOURNAL OF LUNG CANCER, vol. 54, no. 6, JPN6020013804, 20 October 2014 (2014-10-20), pages 835 - 842, ISSN: 0004252011 *
山梨恵次 他: "術前気管支鏡下肺マッピング法 (VAL-MAP; virtual-assisted lung mapping)を用い,微小なground-glass nodu", JAPANESE JOURNAL OF LUNG CANCER, vol. 55, no. 4, JPN6020013805, 20 August 2015 (2015-08-20), pages 206 - 211, ISSN: 0004252010 *

Also Published As

Publication number Publication date
JP6702902B2 (ja) 2020-06-03
US11304762B2 (en) 2022-04-19
US20180243034A1 (en) 2018-08-30
DE102018103987A1 (de) 2018-08-30

Similar Documents

Publication Publication Date Title
CN110010249B (zh) 基于视频叠加的增强现实手术导航方法、系统及电子设备
JP7133474B2 (ja) 内視鏡画像及び超音波画像の画像ベースの融合
JP6262027B2 (ja) 医用画像処理装置
US10198875B2 (en) Mapping image display control device, method, and program
JP6594914B2 (ja) 肺の内側のツールナビゲーションのための動的3d肺マップビュー
KR101061670B1 (ko) 심장에 카테터의 전기생리학적 적용을 시각적 지원을 위한 방법 및 장치
US9563978B2 (en) Image generation apparatus, method, and medium with image generation program recorded thereon
US20200242776A1 (en) Medical image processing apparatus, medical image processing method, and system
WO2013093761A2 (en) Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope
US9808145B2 (en) Virtual endoscopic image generation device, method, and medium containing program
EP2901935B1 (en) Method and device for generating virtual endoscope image, and program
US11304762B2 (en) Mapping image display control device, method, and program
JP2019202154A (ja) 医用画像処理装置、医用画像処理システムおよび医用画像処理方法
EP2819570B1 (en) Apparatus and method for visualizing a conduction tract of heart
Bourier et al. Pulmonary vein isolation supported by MRI‐derived 3D‐augmented biplane fluoroscopy: a feasibility study and a quantitative analysis of the accuracy of the technique
JP2003339644A (ja) 臓器の切除領域抽出表示装置
US10568705B2 (en) Mapping image display control device, method, and program
CN117100393A (zh) 一种用于视频辅助外科手术靶标定位的方法、系统和装置
JP7041446B2 (ja) 医用画像処理方法、医用画像処理装置および医用画像処理システム
CN106600599B (zh) 肿瘤包绕血管的包绕程度分析方法及装置
JP6751178B2 (ja) 医用画像処理装置、医用画像処理方法および記録媒体
JP6530043B2 (ja) 医用画像処理装置、医用画像処理方法および記録媒体
JP7262923B2 (ja) 医用画像処理装置、その制御方法、及びプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200507

R150 Certificate of patent or registration of utility model

Ref document number: 6702902

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250