JP2023165364A - 画像処理装置、方法およびプログラム - Google Patents

画像処理装置、方法およびプログラム Download PDF

Info

Publication number
JP2023165364A
JP2023165364A JP2022076306A JP2022076306A JP2023165364A JP 2023165364 A JP2023165364 A JP 2023165364A JP 2022076306 A JP2022076306 A JP 2022076306A JP 2022076306 A JP2022076306 A JP 2022076306A JP 2023165364 A JP2023165364 A JP 2023165364A
Authority
JP
Japan
Prior art keywords
image
ultrasound
endoscope
images
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022076306A
Other languages
English (en)
Inventor
嘉郎 北村
Yoshiro Kitamura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2022076306A priority Critical patent/JP2023165364A/ja
Priority to EP23169520.6A priority patent/EP4272655A1/en
Priority to US18/306,966 priority patent/US20230346351A1/en
Publication of JP2023165364A publication Critical patent/JP2023165364A/ja
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4438—Means for identifying the diagnostic device, e.g. barcodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

【課題】画像処理装置、方法およびプログラムにおいて、内視鏡の先端と病変との位置関係を容易に把握できるようにする。【解決手段】プロセッサは、超音波撮影装置が取り付けられ、かつ放射線不透過性のマーカが取り付けられた超音波内視鏡が体腔内に挿入された被検体についての複数の放射線画像を順次取得し、超音波撮影装置により取得される、複数の放射線画像のそれぞれに対応する複数の２次元超音波画像を順次取得し、複数の放射線画像のそれぞれに含まれるマーカに基づいて体腔内における超音波内視鏡の位置および姿勢を認識し、複数の放射線画像に関して認識された超音波内視鏡の位置および姿勢に基づいて、複数の２次元超音波画像から３次元超音波画像を導出する。【選択図】図７

Description

本開示は、画像処理装置、方法およびプログラムに関する。
内視鏡を被検体の気管支あるいは消化器官等の管腔に挿入し、管腔内の内視鏡画像を取得して管腔内を観察することが行われている。また、内視鏡画像において発見した病変が疑われる部位の組織を内視鏡の先端に取り付けられた鉗子等の処置具により採取する生検の処置も行われている。このような内視鏡を用いた処置を行う際には、内視鏡を被検体内の目標位置に正確に到達させることが重要である。このため、処置中に放射線を放射線源から被検体に連続的に照射し、これにより取得される透視画像をリアルタイムで表示する透視撮影を行うことにより、内視鏡と人体構造との位置関係を把握することが行われている。しかしながら、透視画像においては被検体内部の奥行きを把握することは困難である。また、病変が小さい場合、内視鏡画像において見えにくい場合があるため、病変の組織の採取の成功率が低くなる。
このため、内視鏡の先端に小型の超音波観察装置を装着し、気管支の内側から超音波で壁の外側の病変を確認し、組織を採取するための処置具が病変に当たっているかを確認しながら組織を採取することも行われている。しかしながら、このような内視鏡を用いる場合であっても、処置具および内視鏡の位置関係は透視画像を用いて確認されるため、これらの位置関係を完全に把握して組織を採取することは難しい。
このような問題点を解決するために、内視鏡の先端に放射線を透過しない材料からなるマーカを付与し、透視画像に含まれるマーカ像を用いて内視鏡の位置および姿勢を把握することが行われている（例えば特許文献１参照）。
特表２０１０－５２２５９７号公報
特許文献１に記載された手法においては、透視画像において内視鏡の位置および姿勢を把握することが容易となるが、病変の位置と内視鏡の位置との関係はなおも不明確である。
本開示は上記事情に鑑みなされたものであり、内視鏡の先端と病変との位置関係を容易に把握できるようにすることを目的とする。
本開示による画像処理装置は、少なくとも１つのプロセッサを備え、プロセッサは、超音波撮影装置が取り付けられ、かつ放射線不透過性のマーカが取り付けられた超音波内視鏡が体腔内に挿入された被検体についての複数の放射線画像を順次取得し、
超音波撮影装置により取得される、複数の放射線画像のそれぞれに対応する複数の２次元超音波画像を順次取得し、
複数の放射線画像のそれぞれに含まれるマーカに基づいて体腔内における超音波内視鏡の位置および姿勢を認識し、
複数の放射線画像に関して認識された超音波内視鏡の位置および姿勢に基づいて、複数の２次元超音波画像から３次元超音波画像を導出する。
なお、本開示による画像処理装置においては、プロセッサは、放射線画像と３次元超音波画像とを位置合わせし、
位置合わせされた３次元超音波画像を放射線画像に重畳表示するものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、あらかじめ取得された被検体の３次元画像から超音波内視鏡が挿入される体腔を抽出し、
抽出された体腔の形状に応じて、超音波内視鏡の位置および姿勢を補正し、
補正された位置および姿勢に基づいて、複数の２次元超音波画像から３次元超音波画像を導出するものであってもよい。
本開示による画像処理方法は、超音波撮影装置が取り付けられ、かつ放射線不透過性のマーカが取り付けられた超音波内視鏡が体腔内に挿入された被検体についての複数の放射線画像を順次取得し、
超音波撮影装置により取得される、複数の放射線画像のそれぞれに対応する複数の２次元超音波画像を順次取得し、
複数の放射線画像のそれぞれに含まれるマーカに基づいて体腔内における超音波内視鏡の位置および姿勢を認識し、
複数の放射線画像に関して認識された超音波内視鏡の位置および姿勢に基づいて、複数の２次元超音波画像から３次元超音波画像を導出する。
本開示による画像処理プログラムは、超音波撮影装置が取り付けられ、かつ放射線不透過性のマーカが取り付けられた超音波内視鏡が体腔内に挿入された被検体についての複数の放射線画像を順次取得する手順と、
超音波撮影装置により取得される、複数の放射線画像のそれぞれに対応する複数の２次元超音波画像を順次取得する手順と、
複数の放射線画像のそれぞれに含まれるマーカに基づいて体腔内における超音波内視鏡の位置および姿勢を認識する手順と、
複数の放射線画像に関して認識された超音波内視鏡の位置および姿勢に基づいて、複数の２次元超音波画像から３次元超音波画像を導出する手順とをコンピュータに実行させる。
本開示によれば、３次元超音波画像を用いることにより、放射線画像に含まれる病変の位置を容易に確認できる。
本開示の第１の実施形態による画像処理装置を適用した医療情報システムの概略構成を示す図 本実施形態による内視鏡の先端部分を示す図 放射線不透過マーカの展開図 放射線不透過マーカを貼り付けた状態を示す図 環状マーカの変化を示す図 第１の実施形態による画像処理装置の概略構成を示す図 第１の実施形態による画像処理装置の機能構成図 ３次元超音波画像の導出を説明するための図 超音波画像間の対応する画素の空間的な位置関係の導出を説明するための図 ３次元超音波画像の導出を説明するための図 表示画面を示す図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態による画像処理装置の機能構成図 第２の実施形態において行われる処理を示すフローチャート 本実施形態による内視鏡の先端部分の他の例を示す図
以下、図面を参照して本開示の実施形態について説明する。まず、第１の実施形態による画像処理装置を適用した医療情報システムの構成について説明する。図１は、医療情報システムの概略構成を示す図である。図１に示す医療情報システムは、第１の実施形態による画像処理装置を内包するコンピュータ１、３次元画像撮影装置２、透視画像撮影装置３および画像保管サーバ４が、ネットワーク５を経由して通信可能な状態で接続されている。
コンピュータ１は、第１の実施形態による画像処理装置を内包するものであり、第１の実施形態の画像処理プログラムがインストールされている。コンピュータ１は、後述するように被検体に対して処置を行う処置室に設置される。コンピュータ１は、処置を行う医療従事者が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータ１にダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータ１にインストールされる。
３次元画像撮影装置２は、被検体Ｈの診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された、複数の断層画像からなる３次元画像は画像保管サーバ４に送信され、保存される。なお、本実施形態においては、被検体Ｈの処置対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、後述するように被検体Ｈに対する処置の前に、被検体Ｈの胸部を撮影することにより、被検体Ｈの胸部を含むＣＴ画像を３次元画像としてあらかじめ取得し、画像保管サーバ４に保存しておく。
透視画像撮影装置３は、Ｃアーム３Ａ、Ｘ線源３ＢおよびＸ線検出器３Ｃを有する。Ｘ線源３ＢおよびＸ線検出器３ＣはＣアーム３Ａの両端部にそれぞれ取り付けられている。透視画像撮影装置３においては、被検体Ｈを任意の方向から撮影可能なようにＣアーム３Ａが回転および移動可能に構成されている。そして、透視画像撮影装置３は、後述するように被検体Ｈに対する処置中に、あらかじめ定められたフレームレートによりＸ線を被検体Ｈに連続的に照射し、被検体Ｈを透過したＸ線をＸ線検出器３Ｃにより順次検出する透視撮影を行うことにより、被検体ＨのＸ線画像を順次取得する。以降の説明においては、順次取得されるＸ線画像を透視画像と称する。透視画像が本開示による放射線画像の一例である。また、Ｘ線が本開示による放射線の一例である。
画像保管サーバ４は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ４は、有線あるいは無線のネットワーク５を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で取得された３次元画像、透視画像撮影装置３で取得された透視画像、および後述する超音波内視鏡装置６で取得された超音波画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク５経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
なお、本実施形態においては、被検体Ｈの透視撮影を行いつつ、被検体Ｈの肺に存在する肺結節等の病変の一部を採取し、病気の存在を詳しく調べる生検の処置を行うものとする。このため、透視画像撮影装置３は生検を行うための処置室に配置されている。また、処置室には、超音波内視鏡装置６が設置されている。超音波内視鏡装置６は、先端に超音波プローブおよび穿刺針等の処置具が取り付けられた内視鏡７を備える。
図２は本実施形態による内視鏡７の先端部分を示す図である。図２に示すように内視鏡７の先端には、穿刺針等の処置具（不図示）が出入りするチャネル７Ａが形成され、チャネル７Ａの出口付近に内視鏡画像を取得するための光学系７Ｂが取り付けられている。さらに、チャネル７Ａよりも先端の位置に超音波プローブ７Ｃが取り付けられている。また、内視鏡７の先端には放射線不透過性のマーカ８が付与されている。超音波内視鏡装置６は、超音波プローブ７Ｃが向いている方向において内視鏡７の長軸と直交する断面の超音波画像を取得する。なお、超音波画像が撮影可能な範囲は、超音波プローブ７Ｃから超音波が広がるあらかじめ定められた台形状の範囲である。
図３は放射線不透過マーカの展開図である。図３に示すように、放射線不透過性のマーカ８は線状マーカ８Ａとチェスボードマーカ８Ｂとを含む。このようなマーカ８を内視鏡７の先端に巻き付けるように貼付することにより、図４に示すように線状マーカ８Ａは一部を切り欠いた環状マーカ８Ｃとなる。なお、図４において白抜きのチェスボードマーカ８Ｂは裏向きとなっていることを示す。
本実施形態においては、病変の生検を行うべく、操作者は内視鏡７を被検体Ｈの気管支に挿入し、透視画像撮影装置３により被検体Ｈの透視画像を撮影し、撮影した透視画像をリアルタイムで表示しつつ、透視画像において被検体Ｈ内における内視鏡７の先端位置を確認し、目標となる病変の位置まで内視鏡７の先端を移動させる。
ここで、肺結節等の肺の病変は気管支の内側ではなく気管支の外側に発生する。このため、操作者は内視鏡７の先端を目標位置まで移動させた後、超音波プローブにより気管支の内面から外側の超音波画像を撮影して超音波画像を表示し、超音波画像において病変位置を確認しながら処置具を用いて病変の一部を採取する処置を行う。
この際、内視鏡７の先端に付与したマーカ８の透視画像における見え方により、内視鏡７の先端の位置および姿勢を認識することができる。姿勢に関しては、図４に示すように空間的に３軸を設定した場合、内視鏡７の先端のｙ軸周り（すなわち矢印Ａ１方向）の回転による姿勢の変化によって環状マーカ８Ｃは図５の上段の「ｙ軸周り」に示すように変化する。また、内視鏡７の先端のｘ軸周り（すなわち矢印Ａ２方向）の回転による姿勢の変化によって環状マーカ８Ｃは図５の中段の「ｘ軸周り」に示すように変化する。また、内視鏡７の先端のｚ軸周り（すなわち矢印Ａ３方向）の回転による姿勢の変化によって環状マーカ８Ｃは図５の下段の「ｚ軸周り」に示すように変化する。なお、チェスボードマーカ８Ｂを補助的に用いることにより、内視鏡７の先端の姿勢をより精度よく認識することができる。
したがって、超音波画像を撮影する際には、操作者は透視画像に含まれるマーカ８の位置および形状により、病変が超音波画像に含まれた状態における内視鏡７の先端の位置および姿勢を判断し、その位置を保持したまま処置具を病変に到達させることにより病変を確実に採取できることとなる。
一方、処置具が装着されていない超音波内視鏡を用いる場合には、病変の位置を確認した後、処置具が装着された内視鏡を挿入して病変組織を採取することになる。この場合において、処置具が装着された内視鏡にも同様のマーカ８を付与しておけば、操作者は透視画像に含まれるマーカ８を頼りにして病変の位置を容易に記憶することができるため、病変の位置に処置具が装着された内視鏡を挿入して、病変の組織を確実に採取できることとなる。
次いで、第１の実施形態による画像処理装置について説明する。図６は、本実施形態による画像処理装置のハードウェア構成を示す図である。図６に示すように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、画像処理装置１０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク５に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、画像処理プログラム１２が記憶される。ＣＰＵ１１は、ストレージ１３から画像処理プログラム１２を読み出してメモリ１６に展開し、展開した画像処理プログラム１２を実行する。
次いで、第１の実施形態による画像処理装置の機能的な構成を説明する。図７は、第１の実施形態による画像処理装置の機能的な構成を示す図である。図７に示すように画像処理装置１０は、画像取得部２１、認識部２２、導出部２３、位置合わせ部２４および表示制御部２５を備える。そして、ＣＰＵ１１が画像処理プログラム１２を実行することにより、ＣＰＵ１１は、画像取得部２１、認識部２２、導出部２３、位置合わせ部２４および表示制御部２５として機能する。
画像取得部２１は、被検体Ｈの処置中に透視画像撮影装置３により取得される複数の透視画像Ｔ０をあらかじめ定められたフレームレートにより順次取得する。また、画像取得部２１は、超音波内視鏡装置６により取得される、複数の透視画像Ｔ０のそれぞれに対応する複数の超音波画像をあらかじめ定められたフレームレートにより順次取得する。なお、超音波内視鏡装置６により取得される超音波画像が本開示の２次元超音波画像の一例である。なお、以降の説明において、超音波画像とはとくに断りのない限り２次元の超音波画像を意味するものとする。
認識部２２は、透視画像Ｔ０に含まれるマーカ８の像（以下マーカ像とする）に基づいて、気管支内における内視鏡７の位置および姿勢を認識する。マーカ８は放射線不透過性であるため、マーカ像は透視画像Ｔ０において高輝度（低濃度）の領域として現れる。したがって、しきい値処理あるいは学習済みモデル等を用いて透視画像Ｔ０から検出することができる。ここで、図３～５に示すように環状マーカ８Ｃに基づいて、内視鏡７の被検体内における３軸周りの回転に基づく姿勢を認識することができる。また、環状マーカ８Ｃの透視画像Ｔ０における位置は内視鏡７の先端の位置に相当する。また、マーカ８のサイズは、透視画像Ｔ０に直交する方向すなわち奥行き方向における内視鏡７の位置に相当する。
認識部２２は、順次取得される透視画像Ｔ０のうちの１つの透視画像Ｔ０を基準透視画像Ｔｂに設定し、基準透視画像Ｔｂからマーカ像を検出し、マーカ像の位置および姿勢を認識する。基準透視画像Ｔｂにおけるマーカ像の位置および姿勢を基準位置姿勢と称する。基準位置は、例えば気管支の最初の分岐位置あるいは病変の近くの位置等を操作者が入力デバイス１５を用いて指定することにより特定すればよい。
認識部２２は、基準透視画像Ｔｂを取得した後、順次取得される透視画像Ｔ０においてマーカ像の位置および姿勢を認識する。これにより、順次取得される透視画像Ｔ０において、基準位置を基準とした内視鏡７の位置および姿勢が順次認識されることとなる。なお、認識部２２は、環状マーカ８Ｃに加えてチェスボードマーカ８Ｂを補助的に用いてマーカ像の位置および姿勢を認識するようにしてもよい。
導出部２３は、複数の透視画像Ｔ０に関して認識された内視鏡７の位置および姿勢に基づいて複数の超音波画像Ｕ０から３次元超音波画像ＵＶ０を導出する。図８は３次元超音波画像ＵＶ０の導出を説明するための図である。図８において、破線は気管支内における内視鏡７が移動した経路を示す。図８には、内視鏡７が移動した経路３０においてあらかじめ定められた時間間隔で５つの超音波画像Ｕ１～Ｕ５が取得された状態を示している。なお、図８において内視鏡の経路２０は説明のためのものであり、実際の経路とは異なる。また、超音波画像Ｕ１～Ｕ５の間隔も説明のためのものであり、実際の間隔とは異なる。また、図８においては、超音波画像Ｕ１～Ｕ５と対応付けて、超音波画像Ｕ１～Ｕ５のそれぞれを取得した際に取得された透視画像Ｔ１～Ｔ５に含まれる環状マーカ８Ｃを示している。
図８に示すように内視鏡７が経路３０に沿って気管支内を進むにつれて、内視鏡７の位置および姿勢が変化する。このため、超音波画像が表す被検体Ｈ内の断面の位置および向きが変化する。超音波画像により表される断面の位置および向きは、透視画像Ｔ０に含まれるマーカ８の位置および向きに対応する。このため、導出部２３は、取得時間が隣接する２つの超音波画像（Ｕ１，Ｕ２とする）について、超音波画像Ｕ１を取得した際の内視鏡７の位置および姿勢と、超音波画像Ｕ２を取得した際の内視鏡７の位置および姿勢とから、超音波画像Ｕ１と超音波画像Ｕ２との対応する画素の空間的な位置関係を導出する。
図９は超音波画像間の対応する画素の空間的な位置関係の導出を説明するための図である。図９に示すように、導出部２３は、超音波画像Ｕ１を取得してから超音波画像Ｕ２を取得するまでの間に変化した内視鏡７の位置および姿勢に基づいて、超音波画像Ｕ１の各画素の位置が超音波画像Ｕ２における空間的ないずれの位置に移動したかを位置関係として導出する。図９においては、超音波画像Ｕ１における５つの画素の変化を超音波画像Ｕ１から超音波画像Ｕ２に向かうベクトルにより示している。
そして、導出部２３は、導出した位置関係に基づいて、超音波画像Ｕ１と超音波画像Ｕ２との対応する画素を補間することにより、図１０に示すように、３次元超音波画像ＵＶ１２を導出する。
導出部２３は、取得時間が隣接する超音波画像について上記の処理を繰り返すことにより、３次元超音波画像ＵＶ０を導出する。
位置合わせ部２４は、導出部２３が導出した３次元超音波画像ＵＶ０と透視画像Ｔ０とを位置合わせする。このために、位置合わせ部２４は、それまで取得した超音波画像Ｕ０から導出した３次元超音波画像ＵＶ０を、最新の透視画像Ｔ０の撮影方向に投影することにより２次元投影超音波画像ＵＴ０を導出する。投影方法は最大値投影あるいは最小値投影等の任意の投影方法を用いることができる。
そして、位置合わせ部２４は、２次元投影超音波画像ＵＴ０と透視画像Ｔ０とを位置合わせする。位置合わせは剛体位置合わせあるいは非剛体位置合わせ等、任意の手法を用いることができる。
表示制御部２５は、位置合わせされた２次元投影超音波画像ＵＴ０を透視画像Ｔ０に重畳してディスプレイ１４に表示する。図１１は表示画面を示す図である。図１１に示すように表示画面４０には透視画像Ｔ０が表示される。透視画像Ｔ０には内視鏡７の像が含まれる。透視画像Ｔ０における内視鏡７の先端付近には２次元投影超音波画像ＵＴ０が重畳表示されている。また、２次元投影超音波画像ＵＴ０には病変４１が含まれていることが分かる。
次いで、第１の実施形態において行われる処理について説明する。図１２は第１の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が透視画像Ｔ０および超音波画像Ｕ０を取得する（画像取得：ステップＳＴ１）。次いで、認識部２２が、透視画像Ｔ０に含まれるマーカ像に基づいて、気管支内における内視鏡７の位置および姿勢を認識する（ステップＳＴ２）。続いて、導出部２３が、複数の透視画像Ｔ０に関して認識された内視鏡７の位置および姿勢に基づいて、複数の超音波画像Ｕ０から３次元超音波画像ＵＶ０を導出する（ステップＳＴ３）。
そして、位置合わせ部２４が３次元超音波画像ＵＶ０と最新の透視画像Ｔ０とを位置合わせし（ステップＳＴ４）、表示制御部２５が、位置合わせされた３次元超音波画像ＵＶ０すなわち２次元投影超音波画像ＵＴ０を透視画像Ｔ０に重畳表示し（ステップＳＴ５）、ステップＳＴ１にリターンする。
このように、本実施形態においては、複数の透視画像Ｔ０に関して認識された内視鏡７の位置および姿勢に基づいて複数の超音波画像Ｕ０から３次元超音波画像ＵＶ０を導出するようにした。このような３次元超音波画像ＵＶ０を用いることにより、透視画像Ｔ０に含まれる病変の位置を容易に確認することができる。
とくに、３次元超音波画像ＵＶ０を透視画像Ｔ０に重畳表示することにより、透視画像Ｔ０に含まれる内視鏡７の先端と３次元超音波画像ＵＶ０に含まれる病変との位置関係を容易に把握することができる。したがって、生検のために病変の組織を採取する場合においては、透視画像Ｔ０に含まれる内視鏡７の先端と３次元超音波画像ＵＶ０に含まれる病変との位置関係に基づいて、病変からの組織の採取の精度を向上させることができる。
次いで、本開示の第２の実施形態について説明する。図１３は、本開示の第２の実施形態による画像処理装置の機能的な構成を示す図である。なお、図１３において図７と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図１３に示すように第２の実施形態による画像処理装置１０Ａは、抽出部２６および補正部２７をさらに備えた点が第１の実施形態と異なる。
第２の実施形態においては、画像取得部２１は、処置の前に操作者による入力デバイス１５からの指示により、画像保管サーバ４から被検体Ｈの３次元画像Ｖ０を取得する。
抽出部２６は、３次元画像Ｖ０から内視鏡７が挿入される体腔を抽出する。第２の実施形態においては内視鏡７が挿入されるのは気管支であるため、抽出部２６は３次元画像Ｖ０から気管支を抽出する。このために、抽出部２６は、３次元画像Ｖ０から肺領域を抽出する。肺領域を抽出する手法としては、３次元画像Ｖ０における画素毎の信号値をヒストグラム化し、肺をしきい値処理することにより抽出する方法、または肺を表すシード点に基づく領域拡張法(Region Growing)等、任意の手法を用いることができる。なお、肺領域を抽出するように機械学習がなされた判別器を用いるようにしてもよい。
そして、抽出部２６は、３次元画像Ｖ０から抽出した肺領域に含まれる気管支領域のグラフ構造を、３次元の気管支領域として抽出する。気管支領域を抽出する手法としては、例えば特開２０１０－２２０７４２号公報等に記載された、ヘッセ行列を用いて気管支のグラフ構造を抽出し、抽出したグラフ構造を、開始点、端点、分岐点および辺に分類し、開始点、端点および分岐点を辺で連結することによって、気管支領域を抽出する手法を用いることができる。なお、気管支領域を抽出する手法はこれに限定されるものではない。
補正部２７は、抽出された気管支の形状に応じて、内視鏡７の位置および姿勢を補正する。このために、補正部２７は３次元画像Ｖ０の座標系と内視鏡７の先端位置の座標系とを一致させる処理を行う。例えば、内視鏡７の座標系を３次元画像Ｖ０の座標系と一致させるように、内視鏡７の先端位置の座標（３次元）を座標変換することにより、３次元画像Ｖ０の座標系と内視鏡７の先端位置の座標系とを一致させる。
そして、補正部２７は、内視鏡７の先端位置が気管支内にあるか否かを判定し、内視鏡７の先端位置が気管支内にない場合、内視鏡７の先端位置が気管支内に位置するように、認識された内視鏡７の位置および姿勢を補正する。一方、補正部２７は、 内視鏡７の先端位置が気管支内にある場合は、内視鏡７の位置および姿勢を補正しない。
導出部２３は、内視鏡７の位置および姿勢が補正された場合は補正された内視鏡の位置および姿勢に基づいて３次元超音波画像ＵＶ０を導出する。内視鏡７の位置および姿勢が補正されなかった場合は認識部２２が認識した内視鏡の位置および姿勢に基づいて３次元超音波画像ＵＶ０を導出する。
次いで、第２の実施形態において行われる処理について説明する。図１４は第２の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が透視画像Ｔ０および超音波画像Ｕ０に加えて３次元画像Ｖ０を取得する（画像取得：ステップＳＴ１１）。そして、抽出部２６が３次元画像Ｖ０から気管支領域を抽出する（ステップＳＴ１２）。次いで、認識部２２が、透視画像Ｔ０に含まれるマーカ像に基づいて、気管支内における内視鏡７の位置および姿勢を認識する（ステップＳＴ１３）。続いて、補正部２７が、３次元画像Ｖ０の座標系と内視鏡の位置の座標系とを一致させる処理を行い（ステップＳＴ１４）、内視鏡７の先端位置が気管支内にあるか否かを判定する（ステップＳＴ１５）。
ステップＳＴ１５が否定されると、補正部２７は認識された内視鏡７の位置および姿勢を補正する（ステップＳＴ１６）。続いて、導出部２３が、複数の透視画像Ｔ０に関して補正された内視鏡７の位置および姿勢に基づいて複数の超音波画像Ｕ０から３次元超音波画像ＵＶ０を導出する（ステップＳＴ１７）。
ステップＳＴ１５が肯定されると、ステップＳＴ１７の処理に進み、導出部２３が、複数の透視画像Ｔ０に関して認識された内視鏡７の位置および姿勢に基づいて、複数の超音波画像Ｕ０から３次元超音波画像ＵＶ０を導出する。
そして、位置合わせ部２４が３次元超音波画像ＵＶ０と最新の透視画像Ｔ０とを位置合わせし（ステップＳＴ１８）、表示制御部２５が、位置合わせされた３次元超音波画像ＵＶ０すなわち２次元投影超音波画像ＵＴ０を透視画像Ｔ０に重畳表示し（ステップＳＴ１９）、ステップＳＴ１１にリターンする。
このように、第２の実施形態においては、内視鏡の位置が気管支内にない場合に、内視鏡の位置および姿勢を補正するようにしたため、内視鏡の位置の認識の精度を向上させることができる。したがって、透視画像Ｔ０に含まれる内視鏡７の先端と３次元超音波画像ＵＶ０に含まれる病変との位置関係を正確に把握することができ、その結果、病変からの組織の採取の精度を向上させることができる。
なお、上記各実施形態においては、図１５に示すように、全周囲に亘って超音波画像を撮影可能な超音波プローブ７Ｄを有する内視鏡を用いてもよい。このような超音波プローブ７Ｄを有する内視鏡７を用いた場合、図１５に示すように円形の超音波画像Ｕ１０が取得される。このため、円柱を変形させたような３次元形状となる３次元超音波画像ＵＶ０が導出されることとなる。
また、上記各実施形態においては、気管支内視鏡を用いて肺の病変の採取を行う場合の処理について説明しているが、これに限定されるものではない。例えば、超音波内視鏡を胃等の消化器官に挿入して膵臓あるいは肝臓等の組織の生検を行う場合にも、本実施形態による画像処理装置を適用することができる。
また、上記各実施形態において、例えば、画像取得部２１、認識部２２、導出部２３、位置合わせ部２４、表示制御部２５、抽出部２６および補正部２７といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１ コンピュータ
２ ３次元画像撮影装置
３ 透視画像撮影装置
３Ａ アーム
３Ｂ Ｘ線源
３Ｃ Ｘ線検出器
４ 画像保管サーバ
５ ネットワーク
６ 超音波内視鏡装置
７ 内視鏡
７Ａ チャネル
７Ｂ 光学系
７Ｃ 超音波プローブ
８ マーカ
８Ａ 線状マーカ
８Ｂ チェスボードマーカ
８Ｃ 環状マーカ
１０，１０Ａ 画像処理装置
１１ ＣＰＵ
１２ 画像処理プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
２１ 画像取得部
２２ 認識部
２３ 導出部
２４ 位置合わせ部
２５ 表示制御部
２６ 抽出部
２７ 補正部
３０ 経路
４０ 表示画面
４１ 病変
Ｔ０、Ｔ１～Ｔ５ 透視画像
Ｕ０、Ｕ１～Ｕ５、Ｕ１０ 超音波画像
ＵＴ０ ２次元投影超音波画像
ＵＶ０、ＵＶ１２ ３次元超音波画像

Claims (5)

  1. 少なくとも１つのプロセッサを備え、
    前記プロセッサは、
    超音波撮影装置が取り付けられ、かつ放射線不透過性のマーカが取り付けられた超音波内視鏡が体腔内に挿入された被検体についての複数の放射線画像を順次取得し、
    前記超音波撮影装置により取得される、前記複数の放射線画像のそれぞれに対応する複数の２次元超音波画像を順次取得し、
    前記複数の放射線画像のそれぞれに含まれる前記マーカに基づいて前記体腔内における前記超音波内視鏡の位置および姿勢を認識し、
    前記複数の放射線画像に関して認識された前記超音波内視鏡の位置および姿勢に基づいて、前記複数の２次元超音波画像から３次元超音波画像を導出する画像処理装置。
  2. 前記プロセッサは、前記放射線画像と前記３次元超音波画像とを位置合わせし、
    位置合わせされた前記３次元超音波画像を前記放射線画像に重畳表示する請求項１に記載の画像処理装置。
  3. 前記プロセッサは、あらかじめ取得された前記被検体の３次元画像から前記超音波内視鏡が挿入される前記体腔を抽出し、
    前記抽出された体腔の形状に応じて、前記超音波内視鏡の位置および姿勢を補正し、
    補正された位置および姿勢に基づいて、前記複数の２次元超音波画像から３次元超音波画像を導出する請求項１または２に記載の画像処理装置。
  4. 超音波撮影装置が取り付けられ、かつ放射線不透過性のマーカが取り付けられた超音波内視鏡が体腔内に挿入された被検体についての複数の放射線画像を順次取得し、
    前記超音波撮影装置により取得される、前記複数の放射線画像のそれぞれに対応する複数の２次元超音波画像を順次取得し、
    前記複数の放射線画像のそれぞれに含まれる前記マーカに基づいて前記体腔内における前記超音波内視鏡の位置および姿勢を認識し、
    前記複数の放射線画像に関して認識された前記超音波内視鏡の位置および姿勢に基づいて、前記複数の２次元超音波画像から３次元超音波画像を導出する画像処理方法。
  5. 超音波撮影装置が取り付けられ、かつ放射線不透過性のマーカが取り付けられた超音波内視鏡が体腔内に挿入された被検体についての複数の放射線画像を順次取得する手順と、
    前記超音波撮影装置により取得される、前記複数の放射線画像のそれぞれに対応する複数の２次元超音波画像を順次取得する手順と、
    前記複数の放射線画像のそれぞれに含まれる前記マーカに基づいて前記体腔内における前記超音波内視鏡の位置および姿勢を認識する手順と、
    前記複数の放射線画像に関して認識された前記超音波内視鏡の位置および姿勢に基づいて、前記複数の２次元超音波画像から３次元超音波画像を導出する手順とをコンピュータに実行させる画像処理プログラム。
JP2022076306A 2022-05-02 2022-05-02 画像処理装置、方法およびプログラム Pending JP2023165364A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022076306A JP2023165364A (ja) 2022-05-02 2022-05-02 画像処理装置、方法およびプログラム
EP23169520.6A EP4272655A1 (en) 2022-05-02 2023-04-24 Image processing device, method, and program
US18/306,966 US20230346351A1 (en) 2022-05-02 2023-04-25 Image processing device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022076306A JP2023165364A (ja) 2022-05-02 2022-05-02 画像処理装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2023165364A true JP2023165364A (ja) 2023-11-15

Family

ID=86184933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022076306A Pending JP2023165364A (ja) 2022-05-02 2022-05-02 画像処理装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20230346351A1 (ja)
EP (1) EP4272655A1 (ja)
JP (1) JP2023165364A (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005022345A1 (de) * 2005-05-13 2006-11-16 Siemens Ag Verfahren zur Erzeugung und Darstellung von Untersuchungsbildern und zugehöriger Ultraschallkatheter
EP2140426B1 (en) 2007-03-26 2019-05-01 Covidien LP Ct-enhanced fluoroscopy
JP4717935B2 (ja) 2009-03-23 2011-07-06 富士フイルム株式会社 画像処理装置および方法並びにプログラム
DE102011079561B4 (de) * 2011-07-21 2018-10-18 Siemens Healthcare Gmbh Verfahren und Röntgengerät zum zeitlich aktuellen Darstellen eines bewegten Abschnitts eines Körpers, Computerprogramm und Datenträger
EP3659514A1 (en) * 2018-11-29 2020-06-03 Koninklijke Philips N.V. Image-based device identification and localization

Also Published As

Publication number Publication date
US20230346351A1 (en) 2023-11-02
EP4272655A1 (en) 2023-11-08

Similar Documents

Publication Publication Date Title
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US9406134B2 (en) Image system for supporting the navigation of interventional tools
JP2021533906A (ja) デジタル・コンピュータ・トモグラフィを用いた多視点姿勢推定のための方法及びシステム
US20230316550A1 (en) Image processing device, method, and program
JP6349278B2 (ja) 放射線撮像装置、画像処理方法及びプログラム
CN114129240A (zh) 一种引导信息生成方法、系统、装置及电子设备
JP6806655B2 (ja) 放射線撮像装置、画像データ処理装置及び画像処理プログラム
CN110072467B (zh) 提供引导手术的图像的系统
US12064280B2 (en) System and method for identifying and marking a target in a fluoroscopic three-dimensional reconstruction
CN115843232A (zh) 用于目标覆盖的缩放检测和荧光镜移动检测
JP6878028B2 (ja) 医用画像診断システム及び複合現実画像生成装置
WO2020064924A1 (en) Guidance in lung intervention procedures
JP6703470B2 (ja) データ処理装置及びデータ処理方法
JP2023165364A (ja) 画像処理装置、方法およびプログラム
US20240016365A1 (en) Image processing device, method, and program
US20240005495A1 (en) Image processing device, method, and program
JP2023172310A (ja) 画像処理装置、方法およびプログラム
JP2023173812A (ja) 学習装置、方法およびプログラム、学習済みモデル、画像処理装置、方法およびプログラム、並びに画像導出装置、方法およびプログラム
JP2023173813A (ja) 画像処理装置、方法およびプログラム
TW201103494A (en) Method for image positioning
EP4346613A1 (en) Volumetric filter of fluoroscopic sweep video
Castro et al. Estimation of 2D/3D rigid transformation for Computer-assisted Endovascular Navigation