JP2023173813A - 画像処理装置、方法およびプログラム - Google Patents

Abstract

【課題】画像処理装置、方法およびプログラムにおいて、高速かつ精度よく３次元画像と２次元の放射線画像とを位置合わせできるようにする。【解決手段】プロセッサは、被検体の３次元画像を取得し、被検体の複数の放射線画像を順次取得し、複数の放射線画像のうちの基準放射線画像と３次元画像とに対して第１の位置合わせを行い、第１の位置合わせの結果に基づいて３次元画像を変形して第１の変形３次元画像を導出し、第１の変形３次元画像を基準放射線画像に重畳表示し、第１の変形３次元画像と基準放射線画像の後に取得された新たな放射線画像とに対して、第１の位置合わせよりも計算コストが小さい第２の位置合わせを行う。【選択図】図３

Description

本開示は、画像処理装置、方法およびプログラムに関する。

内視鏡観察部および超音波観察部を先端に有する超音波内視鏡を被検体の消化器官あるいは気管支内等の管腔に挿入し、管腔内の内視鏡画像および管腔壁の外側にある病変等の部位の超音波画像を撮像することが行われている。また、管腔壁の外側にある病変の組織を鉗子等の処置具により採取する生検も行われている。

このような超音波内視鏡を用いた処置を行う際には、超音波内視鏡を被検体内の目標位置に正確に到達させることが重要である。このため、処置中に放射線を放射線源から被検体に連続的に照射し、これにより取得される透視画像をリアルタイムで表示する透視撮影を行うことにより、超音波内視鏡と人体構造との位置関係を把握することが行われている。

ここで、透視画像は被検体内の臓器、血管および骨等の解剖構造が重なり合った状態で含まれるため、管腔および病変の認識が容易ではない。このため、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等により、被検体の３次元画像を処置前に予め取得し、３次元画像において病変位置を特定し、３次元画像と透視画像との位置合わせを行うことにより、透視画像において病変位置を特定することが行われている（例えば特許文献１，２参照）。

特開２０２０－１３７７９６号公報 特開２０２０－０５４７９４号公報

剛体位置合わせは演算量が少ないため比較的高速に位置合わせを行うことができるが、位置合わせの精度はそれほど高くない。一方、非剛体位置合わせは位置合わせの精度は高いが演算量が多いため、処理に時間を要する。

本発明は上記事情に鑑みなされたものであり、高速かつ精度よく３次元画像と２次元の放射線画像とを位置合わせできるようにすることを目的とする。

本開示の第１の態様に係る画像処理装置は、少なくとも１つのプロセッサを備え、プロセッサは、被検体の３次元画像を取得し、
被検体の複数の放射線画像を順次取得し、
複数の放射線画像のうちの基準放射線画像と３次元画像とに対して第１の位置合わせを行い、
第１の位置合わせの結果に基づいて３次元画像を変形して第１の変形３次元画像を導出し、
第１の変形３次元画像を基準放射線画像に重畳表示し、
第１の変形３次元画像と基準放射線画像の後に取得された新たな放射線画像とに対して、第１の位置合わせよりも計算コストが小さい第２の位置合わせを行う。

本開示の第２の態様に係る画像処理装置は、本開示の第１の態様に係る画像処理装置において、プロセッサは、第２の位置合わせの結果に基づいて第１の変形３次元画像を変形して第２の変形３次元画像を導出し、
第２の変形３次元画像と新たな放射線画像との位置合わせの誤差を導出し、
誤差が予め定められたしきい値未満か否かを判定し、
判定が肯定された場合、第２の変形３次元画像を新たな放射線画像に重畳表示するものであってもよい。

本開示の第３の態様に係る画像処理装置は、本開示の第２の態様に係る画像処理装置において、プロセッサは、判定が否定された場合、基準放射線画像を新たな放射線画像に更新して、基準放射線画像と３次元画像とに対して新たな第１の位置合わせを行い、

新たな第１の位置合わせの結果に基づいて３次元画像を変形して新たな第１の変形３次元画像を導出し、
新たな第１の変形３次元画像を新たな放射線画像に重畳表示するものであってもよい。

本開示の第４の態様に係る画像処理装置は、本開示の第３の態様に係る画像処理装置において、プロセッサは、新たな放射線画像が取得される毎に、第２の位置合わせ、第２の変形３次元画像の導出、誤差の導出、第２の変形３次元画像の新たな放射線画像への重畳表示、判定、判定が肯定された場合の重畳表示、判定が否定された場合の新たな第１の位置合わせ、新たな第１の変形３次元画像の導出、新たな第１の変形３次元画像の重畳表示、および基準放射線画像の更新を繰り返すものであってもよい。

本開示の第５の態様に係る画像処理装置は、本開示の第１から第４のいずれか１つの態様に係る画像処理装置において、最初に行われる第１の位置合わせに使用される基準放射線画像は、３次元画像の呼吸相に最も近い呼吸相の放射線画像であってもよい。

本開示の第６の態様に係る画像処理装置は、本開示の第１から第５のいずれか１つの態様に係る画像処理装置において、３次元画像および放射線画像は被検体の胸部を含み、
第１の位置合わせは、基準放射線画像と３次元画像との剛体位置合わせ、および基準放射線画像および３次元画像のそれぞれから抽出した肺野領域に基づく非剛体位置合わせを含み、
第２の位置合わせは、第１の位置合わせに際して２次元となった第１の変形３次元画像から抽出された肺野領域、および新たな放射線画像から抽出された肺野領域に基づく非剛体位置合わせを含むものであってもよい。

本開示の第７の態様に係る画像処理装置は、本開示の第６の態様に係る画像処理装置において、第２の位置合わせにおける新たな放射線画像からの肺野領域の抽出は、第１の位置合わせにおける基準放射線画像からの肺野領域の抽出よりも計算コストが小さいものであってもよい。

本開示による画像処理方法は、被検体の３次元画像を取得し、
被検体の複数の放射線画像を順次取得し、
複数の放射線画像のうちの基準放射線画像と３次元画像とに対して第１の位置合わせを行い、
第１の位置合わせの結果に基づいて３次元画像を変形して第１の変形３次元画像を導出し、
第１の変形３次元画像を基準放射線画像に重畳表示し、
第１の変形３次元画像と基準放射線画像の後に取得された新たな放射線画像とに対して、第１の位置合わせよりも計算コストが小さい第２の位置合わせを行う。

本開示による画像処理プログラムは、被検体の３次元画像を取得する手順と、
被検体の複数の放射線画像を順次取得する手順と、
複数の放射線画像のうちの基準放射線画像と３次元画像とに対して第１の位置合わせを行う手順と、
第１の位置合わせの結果に基づいて３次元画像を変形して第１の変形３次元画像を導出する手順と、
第１の変形３次元画像を基準放射線画像に重畳表示する手順と、
第１の変形３次元画像と基準放射線画像の後に取得された新たな放射線画像とに対して、第１の位置合わせよりも計算コストが小さい第２の位置合わせを行う手順とをコンピュータに実行させる。

本開示によれば、高速かつ精度よく３次元画像と放射線画像とを位置合わせできる。

本開示の本実施形態による画像処理装置を適用した医療情報システムの概略構成を示す図 本実施形態による画像処理装置の概略構成を示す図 本実施形態による画像処理装置の機能構成図 本実施形態による画像処理装置が行う処理を模式的に示す図 横隔膜の位置の相違の検出を説明するための図 表示画面を示す図 本実施形態において行われる処理を示すフローチャート

以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による画像処理装置を適用した医療情報システムの構成について説明する。図１は、医療情報システムの概略構成を示す図である。図１に示す医療情報システムは、本実施形態による画像処理装置を内包するコンピュータ１、３次元画像撮影装置２、透視画像撮影装置３および画像保管サーバ４が、ネットワーク５を経由して通信可能な状態で接続されている。

コンピュータ１は、本実施形態による画像処理装置を内包するものであり、本実施形態の画像処理プログラムがインストールされている。コンピュータ１は、後述するように被検体Ｈに対して処置を行う処置室に設置される。コンピュータ１は、処置を行う医療従事者が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータ１にダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータ１にインストールされる。

３次元画像撮影装置２は、被検体Ｈの診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された、複数の断層画像からなる３次元画像は画像保管サーバ４に送信され、保存される。なお、本実施形態においては、被検体Ｈの処置対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、後述するように被検体Ｈに対する処置の前に、被検体Ｈの胸部を撮影することにより、被検体Ｈの胸部を含むＣＴ画像を３次元画像として予め取得し、画像保管サーバ４に保存しておく。

透視画像撮影装置３は、Ｃアーム３Ａ、Ｘ線源３ＢおよびＸ線検出器３Ｃを有する。Ｘ線源３ＢおよびＸ線検出器３ＣはＣアーム３Ａの両端部にそれぞれ取り付けられている。透視画像撮影装置３においては、被検体Ｈを任意の方向から撮影可能なようにＣアーム３Ａが回転および移動可能に構成されている。そして、透視画像撮影装置３は、後述するように被検体Ｈに対する処置中に、予め定められたフレームレートによりＸ線を被検体Ｈに連続的に照射し、被検体Ｈを透過したＸ線をＸ線検出器３Ｃにより順次検出する透視撮影を行うことにより、被検体ＨのＸ線画像を順次取得する。以降の説明においては、順次取得されるＸ線画像を透視画像と称する。透視画像が本開示による放射線画像の一例である。

画像保管サーバ４は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ４は、有線あるいは無線のネットワーク５を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で取得された３次元画像、および透視画像撮影装置３で取得された透視画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク５経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

なお、本実施形態においては、被検体Ｈの透視撮影を行いつつ、３次元画像Ｖ０を用いてあらかじめ検出された被検体Ｈの肺に存在する肺結節等の病変の一部を採取して、病気の存在を詳しく調べる生検の処置を行うものとする。このため、透視画像撮影装置３は処置を行うための処置室に配置されている。また、処置室には、超音波内視鏡装置６が設置されている。超音波内視鏡装置６は、先端に超音波プローブおよび鉗子等の処置具が取り付けられた内視鏡６Ａを備える。本実施形態においては、病変の生検を行うべく、操作者は内視鏡６Ａを被検体Ｈの気管支に挿入し、透視画像撮影装置３により被検体Ｈの透視画像を撮影し、撮影した透視画像および内視鏡６Ａにより撮影した内視鏡画像をリアルタイムで表示しつつ、透視画像において被検体Ｈ内における内視鏡６Ａの先端位置を確認し、目標となる病変の位置まで内視鏡６Ａの先端を移動させる。

ここで、肺結節等の肺の病変は気管支の内側ではなく気管支の外側に発生する。このため、操作者は内視鏡６Ａの先端を目標位置まで移動させた後、超音波プローブにより気管支の外側の超音波画像を撮影して超音波画像を表示し、超音波画像において病変位置を確認しながら鉗子等の処置具を用いて病変の一部を採取する処置を行う。

次いで、本実施形態による画像処理装置について説明する。図２は、本実施形態による画像処理装置のハードウェア構成を示す図である。図２に示すように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、画像処理装置１０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク５に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。

ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、画像処理プログラム１２が記憶される。ＣＰＵ１１は、ストレージ１３から画像処理プログラム１２を読み出してメモリ１６に展開し、展開した画像処理プログラム１２を実行する。

次いで、本実施形態による画像処理装置の機能的な構成を説明する。図３は、本実施形態による画像処理装置の機能的な構成を示す図である。図４は、本実施形態による画像処理装置が行う処理を模式的に示す図である。図３に示すように画像処理装置１０は、画像取得部２１、第１位置合わせ部２２、第１導出部２３、第２位置合わせ部２４、第２導出部２５、誤差導出部２６、判定部２７および表示制御部２８を備える。そして、ＣＰＵ１１が画像処理プログラム１２を実行することにより、ＣＰＵ１１は、画像取得部２１、第１位置合わせ部２２、第１導出部２３、第２位置合わせ部２４、第２導出部２５、誤差導出部２６、判定部２７および表示制御部２８として機能する。

画像取得部２１は、操作者による入力デバイス１５からの指示により、画像保管サーバ４から被検体Ｈの３次元画像Ｖ０を取得する。また、画像取得部２１は、被検体Ｈの処置中に透視画像撮影装置３により取得される透視画像Ｔ０を順次取得する。

第１位置合わせ部２２は、透視画像Ｔ０と３次元画像Ｖ０との第１の位置合わせを行う。ここで、３次元画像Ｖ０はＣＴ装置により取得されたものである。ＣＴ装置による撮影時には、濃度の淡い病変を見やすくするために、息を吸い込んだ吸気の状態で撮影を行う。このため、３次元画像Ｖ０の呼吸相は吸気相である。一方、透視画像Ｔ０は予め定められたフレームレートにより順次取得されるが、位置合わせの精度を高めるためには、透視画像Ｔ０の呼吸相は３次元画像Ｖ０の呼吸相と一致することが好ましい。このため、第１位置合わせ部２２は、吸気相または吸気相に近い呼吸相の透視画像Ｔ０を基準透視画像Ｔｂに特定する。そして、第１位置合わせ部２２は、基準透視画像Ｔｂと３次元画像Ｖ０に対して第１の位置合わせを行う。

ここで、基準透視画像Ｔｂは２次元画像である。このため、第１位置合わせ部２２は、２次元画像と３次元画像との位置合わせを行う。本実施形態において、第１位置合わせ部２２は、まず、基準透視画像Ｔｂの撮影方向と同一の方向に３次元画像Ｖ０を投影して２次元の疑似透視画像ＶＴ０を導出する。そして第１位置合わせ部２２は、２次元の疑似透視画像ＶＴ０を透視画像Ｔ０に剛体位置合わせする。剛体位置合わせの手法としては、例えばアフィン変換等、任意の手法を用いることができる。例えば、アフィン変換を用いた場合、第１位置合わせ部２２は、疑似透視画像ＶＴ０および透視画像Ｔ０に含まれる肋骨の交点等の特徴点を一致させるための、疑似透視画像ＶＴ０の透視画像Ｔ０に対する平行移動量および回転量を導出する。

また、第１位置合わせ部２２は、３次元画像Ｖ０および基準透視画像Ｔｂから肺野領域を抽出する。肺野領域とは３次元画像Ｖ０および基準透視画像Ｔｂに含まれる肺の軟部組織である。本実施形態において、第１位置合わせ部２２は、公知のコンピュータ支援画像診断（ＣＡＤ: Computer Aided Diagnosis、以下ＣＡＤと称する）のアルゴリズムを用いて、３次元画像Ｖ０および基準透視画像Ｔｂから肺野領域を抽出する。

そして、第１位置合わせ部２２は、３次元画像Ｖ０と基準透視画像Ｔｂとの非剛体位置合わせを行う。具体的には、剛体位置合わせされた３次元画像Ｖ０から抽出された肺野領域が基準透視画像Ｔｂから抽出された肺野領域と一致するように３次元画像Ｖ０を変形することにより、３次元画像Ｖ０と基準透視画像Ｔｂとの非剛体位置合わせを行い、３次元画像Ｖ０の基準透視画像Ｔｂに対する変形量を導出する。この場合においても、第１位置合わせ部２２は、基準透視画像Ｔｂの撮影方向と同一の方向に３次元画像Ｖ０を投影して２次元の疑似透視画像ＶＴ０を導出し、疑似透視画像ＶＴ０における肺野領域と基準透視画像Ｔｂにおける肺野領域とに基づいて非剛体位置合わせを行う。

非剛体位置合わせとしては、例えばＢスプラインおよびシンプレートスプライン等の関数を用いて、疑似透視画像ＶＴ０における肺野領域と基準透視画像Ｔｂにおける肺野領域との対応点を非線形に変換することにより、剛体位置合わせされた疑似透視画像ＶＴ０の透視画像Ｔ０に対する変形量を導出し、導出した変形量を３次元に展開する手法を用いることができるが、これに限定されるものではない。学習済みモデルを用いて、非剛体位置合わせを行う手法等の任意の手法を用いることができる。

第１導出部２３は、第１の位置合わせの結果に基づいて３次元画像Ｖ０を変形して第１の変形３次元画像Ｖ１を導出する。すなわち、剛体位置合わせの結果に基づいて３次元画像Ｖ０を変形し、かつ非剛体位置合わせの結果に基づいて、変形された３次元画像Ｖ０を変形することにより、第１の変形３次元画像Ｖ１を導出する。

第２位置合わせ部２４は、第１の変形３次元画像Ｖ１と基準透視画像Ｔｂの後に取得された新たな透視画像Ｔ０とに対して第２の位置合わせを行う。本実施形態において、第２の位置合わせは、第１位置合わせ部２２が行う第１の位置合わせよりも計算コストが小さい。第２の位置合わせのために、第２位置合わせ部２４は第１の変形３次元画像Ｖ１から肺野領域を抽出し、第１の変形３次元画像Ｖ１から抽出された肺野領域と新たな透視画像Ｔ０から抽出した肺野領域とに基づいて、非剛体位置合わせのみを行う。このため、第２の位置合わせは第１の位置合わせよりも計算コストが小さいものとなる。

なお、第１の位置合わせに際しては、３次元画像Ｖ０から抽出された肺野領域は、非剛体位置合わせのために２次元に投影されている。このため、第２位置合わせ部２４は、３次元画像Ｖ０から肺野領域を抽出することなく、第１位置合わせ部２２により導出された２次元の肺野領域と、新たな透視画像Ｔ０から抽出された肺野領域とに基づいて、非剛体位置合わせを行うようにしてもよい。この場合も、第２の位置合わせは第１の位置合わせよりも計算コストが小さいものとなる。

ここで、非剛体位置合わせの手法としては、第１位置合わせ部２２が行う非剛体位置合わせと同一の手法を用いてもよいが、これよりも演算量が少ない非剛体位置合わせの手法を用いてもよい。演算量が少ない非剛体位置合わせの手法としては、例えば、「Diffeomorphic Demons: Efficient Non-parametric Image Registration、Tom Vercauterenら、December 2008 NeuroImage 45(1 Suppl):S61-72、DOI:10.1016/j.neuroimage.2008.10.040」および「Image matching as a diffusion process: an analogy with Maxwell's demons、Jean-Philippe Thirionら、Medical Image Analysis, Elsevier, 1998, 2 (3), pp.243-260.」等に記載された手法を用いることができる。

また、第２位置合わせ部２４における新たな透視画像Ｔ０からの肺野領域の抽出は、第１位置合わせ部２２における基準透視画像Ｔｂからの肺野領域の抽出よりも計算コストが小さい手法を用いてもよい。例えば、第２位置合わせ部２４においては第１位置合わせ部２２よりもパラメータが少なく、演算量がより少ないＣＡＤを用いるようにしてもよい。

第２導出部２５は、第２の位置合わせの結果に基づいて第１の変形３次元画像Ｖ１を変形して第２の変形３次元画像Ｖ２を導出する。すなわち、第２位置合わせ部２４による非剛体位置合わせにより導出された変形量により第１の変形３次元画像Ｖ１を変形することによって、第２の変形３次元画像Ｖ２を導出する。

誤差導出部２６は、第２の変形３次元画像Ｖ２と新たな透視画像Ｔ０との位置合わせの誤差Ｄ０を導出する。このために、誤差導出部２６は、第２の変形３次元画像Ｖ２に含まれる横隔膜の被検体Ｈの体軸方向における位置と、新たな透視画像Ｔ０に含まれる横隔膜の被検体Ｈの体軸方向における位置との相違を導出する。

具体的には、図５に示すように、誤差導出部２６は、第２の変形３次元画像Ｖ２を新たな透視画像Ｔ０の撮影方向と同一の方向に投影して２次元の疑似変形透視画像ＶＴ２を導出する。そして、誤差導出部２６は、疑似変形透視画像ＶＴ２と新たな透視画像Ｔ０とにおける骨部を位置合わせし、位置合わせ後の横隔膜の位置の相違を導出する。横隔膜の位置の相違とは、疑似変形透視画像ＶＴ２の横隔膜３１の位置と新たな透視画像Ｔ０の横隔膜３２の位置の差の代表値を用いることができる。代表値としては、最大値、最小値、平均値および中間値等が挙げられる。

なお、誤差導出部２６は、第２の変形３次元画像Ｖ２に含まれる横隔膜の被検体Ｈの体軸方向における位置と、新たな透視画像Ｔ０に含まれる横隔膜の被検体Ｈの体軸方向における位置との相違を導出する学習済みモデルを用いて、横隔膜の位置の相違を導出するようにしてもよい。このような学習済みモデルは、体軸方向における横隔膜の位置の相違が既知の３次元画像と透視画像とを教師データを用いてニューラルネットワークを学習することにより構築される。

ここで、呼気相と吸気相とでは肺野領域の面積が異なる。このため、誤差導出部２６は、第２の変形３次元画像Ｖ２から肺野領域を抽出して２次元に投影し、新たな透視画像Ｔ０のから肺野領域を抽出し、２次元に投影した肺野領域の面積と新たな透視画像Ｔ０から抽出した肺野領域の面積の相違を誤差Ｄ０として導出するものであってもよい。

また、誤差導出部２６は、第２位置合わせ部２４により導出された変形量を誤差Ｄ０として用いるものであってもよい。なお、変形量は剛体位置合わせされた疑似透視画像ＶＴ０および新たな透視画像Ｔ０の各画素について導出されるため、各画素について導出した変形量の代表値を誤差Ｄ０として導出すればよい。代表値としては、平均値、中央値、最大値および最小値等を用いることができる。

判定部２７は、誤差導出部２６が導出した誤差Ｄ０が予め定められたしきい値Ｔｈ１未満であるか否かを判定する。

表示制御部２８は、第１の変形３次元画像Ｖ１を基準透視画像Ｔｂに重畳してディスプレイ１４に表示する。あるいは第２の変形３次元画像Ｖ２を透視画像Ｔ０に重畳してディスプレイ１４に表示する。図６は重畳画像の表示画面を示す図である。図６に示すように、表示画面４０には第１の変形３次元画像Ｖ１を基準透視画像Ｔｂに重畳した、あるいは第２の変形３次元画像Ｖ２を透視画像Ｔ０に重畳した重畳画像４１が表示されている。

ここで、本実施形態においては、判定部２７による判定が肯定されると、表示制御部２８は、第２の変形３次元画像Ｖ２を新たな透視画像Ｔ０に重畳してディスプレイ１４に表示する。

一方、判定部２７による判定が否定されると、第１位置合わせ部２２が、基準透視画像Ｔｂを新たな透視画像Ｔ０に更新し、更新された基準透視画像Ｔｂと３次元画像Ｖ０とに対して新たな第１の位置合わせを行う。そして、第１導出部２３が、新たな第１の位置合わせの結果に基づいて３次元画像Ｖ０を変形して新たな第１の変形３次元画像Ｖ１を導出する。そして表示制御部２８が、新たな第１の変形３次元画像Ｖ１を新たな透視画像Ｔ０に重畳表示する。この後、基準透視画像Ｔｂが新たな透視画像Ｔ０に更新され、第２の位置合わせ、第２の変形３次元画像Ｖ２の導出、位置合わせ誤差Ｄ０の導出、第２の変形３次元画像Ｖ２の新たな放射線画像Ｔ０への重畳表示、判定、判定が肯定された場合の重畳表示、判定が否定された場合の新たな第１の位置合わせ、新たな第１の変形３次元画像Ｖ１の導出、新たな第１の変形３次元画像Ｖ１の重畳表示、および基準透視画像Ｔｂの更新が繰り返される。

次いで、本実施形態において行われる処理について説明する。図７は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が画像保管サーバ４から３次元画像Ｖ０を取得し（ステップＳＴ１）、次いで、画像取得部２１が透視画像Ｔ０を順次取得する（ステップＳＴ２）。そして、第１位置合わせ部２２が、透視画像Ｔ０のうちの基準透視画像Ｔｂと３次元画像Ｖ０との第１の位置合わせを行う（ステップＳＴ３）。次いで、第１導出部２３が、第１の位置合わせの結果に基づいて３次元画像Ｖ０を変形して第１の変形３次元画像Ｖ１を導出する（ステップＳＴ４）。そして、表示制御部２８が、第１の変形３次元画像Ｖ１を基準透視画像Ｔｂに重畳してディスプレイ１４に表示する（第１の重畳表示：ステップＳＴ５）。

続いて、第２位置合わせ部２４が、第１の変形３次元画像Ｖ１と基準透視画像Ｔｂの後に取得された新たな透視画像Ｔ０とに対して第２の位置合わせを行う（ステップＳＴ６）。そして、第２導出部２５が、第２の位置合わせの結果に基づいて第１の変形３次元画像Ｖ１を変形して第２の変形３次元画像Ｖ２を導出する（ステップＳＴ７）。続いて、誤差導出部２６が、第２の変形３次元画像Ｖ２と新たな透視画像Ｔ０との位置合わせ誤差Ｄ０を導出する（ステップＳＴ８）。さらに、判定部２７が、誤差導出部２６が導出した誤差Ｄ０が予め定められたしきい値Ｔｈ１未満であるか否かを判定する（ステップＳＴ９）。

ステップＳＴ９が肯定されると、表示制御部２８は、第２の変形３次元画像Ｖ２を新たな透視画像Ｔ０に重畳してディスプレイ１４に表示し（第２の重畳表示：ステップＳＴ１０）、ステップＳＴ６にリターンし、引き続き取得される新たな透視画像Ｔ０を用いてステップＳＴ６以降の処理が繰り返される。一方、ステップＳＴ９が否定されると、第１位置合わせ部２２が、基準透視画像Ｔｂを新たな透視画像Ｔ０に更新し（ステップＳＴ１１）、ステップＳＴ３に戻り、ステップＳＴ３以降の処理が繰り返される。

このように、本実施形態においては、基準透視画像Ｔｂと３次元画像Ｖ０に対して第１の位置合わせを行った後、第１の変形３次元画像Ｖ１と新たな透視画像Ｔ０とに対して、第１の位置合わせよりも計算コストが小さい第２の位置合わせを行うようにした。さらに、第２の変形３次元画像Ｖ２と新たな透視画像Ｔ０との位置合わせ誤差Ｄ０を導出し、誤差がしきい値Ｔｈ１未満である場合には、第２の変形３次元画像Ｖ２を新たな透視画像Ｔ０に重畳してディスプレイ１４に表示するようにした。このため、誤差がしきい値Ｔｈ１未満である限り、計算コストが小さい第２の位置合わせが繰り返されることとなる。このため、第１の位置合わせのみを行う場合と比較して、演算量を低減して３次元画像Ｖ０と透視画像Ｔ０との位置合わせを高速に行うことができる。

また、誤差がしきい値Ｔｈ１以上となった場合には、基準透視画像Ｔｂを新たな透視画像Ｔ０に更新して、第１の位置合わせを行うようにした。このため、第２の位置合わせのみを行う場合と比較して、３次元画像Ｖ０と透視画像Ｔ０との位置合わせを精度よく行うことができる。また、第１の位置合わせのみを行う場合と比較して、演算量を低減して３次元画像Ｖ０と透視画像Ｔ０との位置合わせを高速に行うことができる。したがって、本実施形態によれば、高速かつ精度よく３次元画像Ｖ０と透視画像Ｔ０とを位置合わせできる。

なお、上記実施形態においては、気管支に挿入する気管支内視鏡を用いて肺の病変の採取を行う場合の処理について説明しているが、これに限定されるものではない。例えば、超音波内視鏡を胃等の消化器官に挿入して膵臓あるいは肝臓等の組織の生検を行う場合にも、本実施形態による画像処理装置を適用することができる。

また、上記各実施形態において、例えば、画像取得部２１、第１位置合わせ部２２、第１導出部２３、第２位置合わせ部２４、第２導出部２５、誤差導出部２６、判定部２７および表示制御部２８といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

１ コンピュータ
２ ３次元画像撮影装置
３ 透視画像撮影装置
３Ａ アーム
３Ｂ Ｘ線源
３Ｃ Ｘ線検出器
４ 画像保管サーバ
５ ネットワーク
６ 超音波内視鏡装置
６Ａ 内視鏡
１０ 画像処理装置
１１ ＣＰＵ
１２ 画像処理プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
２１ 画像取得部
２２ 第１位置合わせ部
２３ 第１導出部
２４ 第２位置合わせ部
２５ 第２導出部
２６ 誤差導出部
２７ 判定部
２８ 表示制御部
３１，３２ 横隔膜
４０ 表示画面
４１ 重畳画像
Ｔ０ 透視画像
Ｔｂ 基準透視画像
Ｖ０ ３次元画像
Ｖ１，Ｖ２ 変形３次元画像
ＶＴ０ 疑似透視画像
ＶＴ２ 疑似変形透視画像

Claims (9)

1. 少なくとも１つのプロセッサを備え、
   前記プロセッサは、
   被検体の３次元画像を取得し、
   前記被検体の複数の放射線画像を順次取得し、
   前記複数の放射線画像のうちの基準放射線画像と前記３次元画像とに対して第１の位置合わせを行い、
   前記第１の位置合わせの結果に基づいて前記３次元画像を変形して第１の変形３次元画像を導出し、
   前記第１の変形３次元画像を前記基準放射線画像に重畳表示し、
   前記第１の変形３次元画像と前記基準放射線画像の後に取得された新たな放射線画像とに対して、前記第１の位置合わせよりも計算コストが小さい第２の位置合わせを行う画像処理装置。
2. 前記プロセッサは、前記第２の位置合わせの結果に基づいて前記第１の変形３次元画像を変形して第２の変形３次元画像を導出し、
   前記第２の変形３次元画像と前記新たな放射線画像との位置合わせの誤差を導出し、
   前記誤差が予め定められたしきい値未満か否かを判定し、
   前記判定が肯定された場合、前記第２の変形３次元画像を前記新たな放射線画像に重畳表示する請求項１に記載の画像処理装置。
3. 前記プロセッサは、前記判定が否定された場合、前記基準放射線画像を前記新たな放射線画像に更新して、前記基準放射線画像と前記３次元画像とに対して新たな第１の位置合わせを行い、
   前記新たな第１の位置合わせの結果に基づいて前記３次元画像を変形して新たな第１の変形３次元画像を導出し、
   前記新たな第１の変形３次元画像を前記新たな放射線画像に重畳表示する請求項２に記載の画像処理装置。
4. 前記プロセッサは、前記新たな放射線画像が取得される毎に、前記第２の位置合わせ、前記第２の変形３次元画像の導出、前記誤差の導出、前記第２の変形３次元画像の前記新たな放射線画像への重畳表示、前記判定、前記判定が肯定された場合の重畳表示、前記判定が否定された場合の前記新たな第１の位置合わせ、前記新たな第１の変形３次元画像の導出、前記新たな第１の変形３次元画像の重畳表示、および前記基準放射線画像の更新を繰り返す請求項３に記載の画像処理装置。
5. 最初に行われる前記第１の位置合わせに使用される基準放射線画像は、前記３次元画像の呼吸相に最も近い呼吸相の放射線画像である請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記３次元画像および前記放射線画像は前記被検体の胸部を含み、
   前記第１の位置合わせは、前記基準放射線画像と前記３次元画像との剛体位置合わせ、および前記基準放射線画像および前記３次元画像のそれぞれから抽出した肺野領域に基づく非剛体位置合わせを含み、
   前記第２の位置合わせは、前記第１の位置合わせに際して２次元となった第１の変形３次元画像から抽出された肺野領域、および前記新たな放射線画像から抽出された肺野領域に基づく非剛体位置合わせを含む請求項１に記載の画像処理装置。
7. 前記第２の位置合わせにおける前記放射線画像からの肺野領域の抽出は、前記第１の位置合わせにおける放射線画像からの前記肺野領域の抽出よりも計算コストが小さい請求項６に記載の画像処理装置。
8. 被検体の３次元画像を取得し、
   前記被検体の複数の放射線画像を順次取得し、
   前記複数の放射線画像のうちの基準放射線画像と前記３次元画像とに対して第１の位置合わせを行い、
   前記第１の位置合わせの結果に基づいて前記３次元画像を変形して第１の変形３次元画像を導出し、
   前記第１の変形３次元画像を前記基準放射線画像に重畳表示し、
   前記第１の変形３次元画像と前記基準放射線画像の後に取得された新たな放射線画像とに対して、前記第１の位置合わせよりも計算コストが小さい第２の位置合わせを行う画像処理方法。
9. 被検体の３次元画像を取得する手順と、
   前記被検体の複数の放射線画像を順次取得する手順と、
   前記複数の放射線画像のうちの基準放射線画像と前記３次元画像とに対して第１の位置合わせを行う手順と、
   前記第１の位置合わせの結果に基づいて前記３次元画像を変形して第１の変形３次元画像を導出する手順と、
   前記第１の変形３次元画像を前記基準放射線画像に重畳表示する手順と、
   前記第１の変形３次元画像と前記基準放射線画像の後に取得された新たな放射線画像とに対して、前記第１の位置合わせよりも計算コストが小さい第２の位置合わせを行う手順とをコンピュータに実行させる画像処理プログラム。