JP2023173813A - 画像処理装置、方法およびプログラム - Google Patents
画像処理装置、方法およびプログラム Download PDFInfo
- Publication number
- JP2023173813A JP2023173813A JP2022086310A JP2022086310A JP2023173813A JP 2023173813 A JP2023173813 A JP 2023173813A JP 2022086310 A JP2022086310 A JP 2022086310A JP 2022086310 A JP2022086310 A JP 2022086310A JP 2023173813 A JP2023173813 A JP 2023173813A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional image
- alignment
- new
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000005855 radiation Effects 0.000 claims abstract description 49
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 210000004072 lung Anatomy 0.000 claims description 39
- 238000009795 derivation Methods 0.000 claims description 31
- 230000000241 respiratory effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000003902 lesion Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000002604 ultrasonography Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 210000000621 bronchi Anatomy 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000001574 biopsy Methods 0.000 description 4
- 230000003434 inspiratory effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000002685 pulmonary effect Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【課題】画像処理装置、方法およびプログラムにおいて、高速かつ精度よく3次元画像と2次元の放射線画像とを位置合わせできるようにする。【解決手段】プロセッサは、被検体の3次元画像を取得し、被検体の複数の放射線画像を順次取得し、複数の放射線画像のうちの基準放射線画像と3次元画像とに対して第1の位置合わせを行い、第1の位置合わせの結果に基づいて3次元画像を変形して第1の変形3次元画像を導出し、第1の変形3次元画像を基準放射線画像に重畳表示し、第1の変形3次元画像と基準放射線画像の後に取得された新たな放射線画像とに対して、第1の位置合わせよりも計算コストが小さい第2の位置合わせを行う。【選択図】図3
Description
本開示は、画像処理装置、方法およびプログラムに関する。
内視鏡観察部および超音波観察部を先端に有する超音波内視鏡を被検体の消化器官あるいは気管支内等の管腔に挿入し、管腔内の内視鏡画像および管腔壁の外側にある病変等の部位の超音波画像を撮像することが行われている。また、管腔壁の外側にある病変の組織を鉗子等の処置具により採取する生検も行われている。
このような超音波内視鏡を用いた処置を行う際には、超音波内視鏡を被検体内の目標位置に正確に到達させることが重要である。このため、処置中に放射線を放射線源から被検体に連続的に照射し、これにより取得される透視画像をリアルタイムで表示する透視撮影を行うことにより、超音波内視鏡と人体構造との位置関係を把握することが行われている。
ここで、透視画像は被検体内の臓器、血管および骨等の解剖構造が重なり合った状態で含まれるため、管腔および病変の認識が容易ではない。このため、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等により、被検体の3次元画像を処置前に予め取得し、3次元画像において病変位置を特定し、3次元画像と透視画像との位置合わせを行うことにより、透視画像において病変位置を特定することが行われている(例えば特許文献1,2参照)。
剛体位置合わせは演算量が少ないため比較的高速に位置合わせを行うことができるが、位置合わせの精度はそれほど高くない。一方、非剛体位置合わせは位置合わせの精度は高いが演算量が多いため、処理に時間を要する。
本発明は上記事情に鑑みなされたものであり、高速かつ精度よく3次元画像と2次元の放射線画像とを位置合わせできるようにすることを目的とする。
本開示の第1の態様に係る画像処理装置は、少なくとも1つのプロセッサを備え、プロセッサは、被検体の3次元画像を取得し、
被検体の複数の放射線画像を順次取得し、
複数の放射線画像のうちの基準放射線画像と3次元画像とに対して第1の位置合わせを行い、
第1の位置合わせの結果に基づいて3次元画像を変形して第1の変形3次元画像を導出し、
第1の変形3次元画像を基準放射線画像に重畳表示し、
第1の変形3次元画像と基準放射線画像の後に取得された新たな放射線画像とに対して、第1の位置合わせよりも計算コストが小さい第2の位置合わせを行う。
被検体の複数の放射線画像を順次取得し、
複数の放射線画像のうちの基準放射線画像と3次元画像とに対して第1の位置合わせを行い、
第1の位置合わせの結果に基づいて3次元画像を変形して第1の変形3次元画像を導出し、
第1の変形3次元画像を基準放射線画像に重畳表示し、
第1の変形3次元画像と基準放射線画像の後に取得された新たな放射線画像とに対して、第1の位置合わせよりも計算コストが小さい第2の位置合わせを行う。
本開示の第2の態様に係る画像処理装置は、本開示の第1の態様に係る画像処理装置において、プロセッサは、第2の位置合わせの結果に基づいて第1の変形3次元画像を変形して第2の変形3次元画像を導出し、
第2の変形3次元画像と新たな放射線画像との位置合わせの誤差を導出し、
誤差が予め定められたしきい値未満か否かを判定し、
判定が肯定された場合、第2の変形3次元画像を新たな放射線画像に重畳表示するものであってもよい。
第2の変形3次元画像と新たな放射線画像との位置合わせの誤差を導出し、
誤差が予め定められたしきい値未満か否かを判定し、
判定が肯定された場合、第2の変形3次元画像を新たな放射線画像に重畳表示するものであってもよい。
本開示の第3の態様に係る画像処理装置は、本開示の第2の態様に係る画像処理装置において、プロセッサは、判定が否定された場合、基準放射線画像を新たな放射線画像に更新して、基準放射線画像と3次元画像とに対して新たな第1の位置合わせを行い、
新たな第1の位置合わせの結果に基づいて3次元画像を変形して新たな第1の変形3次元画像を導出し、
新たな第1の変形3次元画像を新たな放射線画像に重畳表示するものであってもよい。
新たな第1の変形3次元画像を新たな放射線画像に重畳表示するものであってもよい。
本開示の第4の態様に係る画像処理装置は、本開示の第3の態様に係る画像処理装置において、プロセッサは、新たな放射線画像が取得される毎に、第2の位置合わせ、第2の変形3次元画像の導出、誤差の導出、第2の変形3次元画像の新たな放射線画像への重畳表示、判定、判定が肯定された場合の重畳表示、判定が否定された場合の新たな第1の位置合わせ、新たな第1の変形3次元画像の導出、新たな第1の変形3次元画像の重畳表示、および基準放射線画像の更新を繰り返すものであってもよい。
本開示の第5の態様に係る画像処理装置は、本開示の第1から第4のいずれか1つの態様に係る画像処理装置において、最初に行われる第1の位置合わせに使用される基準放射線画像は、3次元画像の呼吸相に最も近い呼吸相の放射線画像であってもよい。
本開示の第6の態様に係る画像処理装置は、本開示の第1から第5のいずれか1つの態様に係る画像処理装置において、3次元画像および放射線画像は被検体の胸部を含み、
第1の位置合わせは、基準放射線画像と3次元画像との剛体位置合わせ、および基準放射線画像および3次元画像のそれぞれから抽出した肺野領域に基づく非剛体位置合わせを含み、
第2の位置合わせは、第1の位置合わせに際して2次元となった第1の変形3次元画像から抽出された肺野領域、および新たな放射線画像から抽出された肺野領域に基づく非剛体位置合わせを含むものであってもよい。
第1の位置合わせは、基準放射線画像と3次元画像との剛体位置合わせ、および基準放射線画像および3次元画像のそれぞれから抽出した肺野領域に基づく非剛体位置合わせを含み、
第2の位置合わせは、第1の位置合わせに際して2次元となった第1の変形3次元画像から抽出された肺野領域、および新たな放射線画像から抽出された肺野領域に基づく非剛体位置合わせを含むものであってもよい。
本開示の第7の態様に係る画像処理装置は、本開示の第6の態様に係る画像処理装置において、第2の位置合わせにおける新たな放射線画像からの肺野領域の抽出は、第1の位置合わせにおける基準放射線画像からの肺野領域の抽出よりも計算コストが小さいものであってもよい。
本開示による画像処理方法は、被検体の3次元画像を取得し、
被検体の複数の放射線画像を順次取得し、
複数の放射線画像のうちの基準放射線画像と3次元画像とに対して第1の位置合わせを行い、
第1の位置合わせの結果に基づいて3次元画像を変形して第1の変形3次元画像を導出し、
第1の変形3次元画像を基準放射線画像に重畳表示し、
第1の変形3次元画像と基準放射線画像の後に取得された新たな放射線画像とに対して、第1の位置合わせよりも計算コストが小さい第2の位置合わせを行う。
被検体の複数の放射線画像を順次取得し、
複数の放射線画像のうちの基準放射線画像と3次元画像とに対して第1の位置合わせを行い、
第1の位置合わせの結果に基づいて3次元画像を変形して第1の変形3次元画像を導出し、
第1の変形3次元画像を基準放射線画像に重畳表示し、
第1の変形3次元画像と基準放射線画像の後に取得された新たな放射線画像とに対して、第1の位置合わせよりも計算コストが小さい第2の位置合わせを行う。
本開示による画像処理プログラムは、被検体の3次元画像を取得する手順と、
被検体の複数の放射線画像を順次取得する手順と、
複数の放射線画像のうちの基準放射線画像と3次元画像とに対して第1の位置合わせを行う手順と、
第1の位置合わせの結果に基づいて3次元画像を変形して第1の変形3次元画像を導出する手順と、
第1の変形3次元画像を基準放射線画像に重畳表示する手順と、
第1の変形3次元画像と基準放射線画像の後に取得された新たな放射線画像とに対して、第1の位置合わせよりも計算コストが小さい第2の位置合わせを行う手順とをコンピュータに実行させる。
被検体の複数の放射線画像を順次取得する手順と、
複数の放射線画像のうちの基準放射線画像と3次元画像とに対して第1の位置合わせを行う手順と、
第1の位置合わせの結果に基づいて3次元画像を変形して第1の変形3次元画像を導出する手順と、
第1の変形3次元画像を基準放射線画像に重畳表示する手順と、
第1の変形3次元画像と基準放射線画像の後に取得された新たな放射線画像とに対して、第1の位置合わせよりも計算コストが小さい第2の位置合わせを行う手順とをコンピュータに実行させる。
本開示によれば、高速かつ精度よく3次元画像と放射線画像とを位置合わせできる。
以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による画像処理装置を適用した医療情報システムの構成について説明する。図1は、医療情報システムの概略構成を示す図である。図1に示す医療情報システムは、本実施形態による画像処理装置を内包するコンピュータ1、3次元画像撮影装置2、透視画像撮影装置3および画像保管サーバ4が、ネットワーク5を経由して通信可能な状態で接続されている。
コンピュータ1は、本実施形態による画像処理装置を内包するものであり、本実施形態の画像処理プログラムがインストールされている。コンピュータ1は、後述するように被検体Hに対して処置を行う処置室に設置される。コンピュータ1は、処置を行う医療従事者が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータ1にダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)あるいはCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータ1にインストールされる。
3次元画像撮影装置2は、被検体Hの診断対象となる部位を撮影することにより、その部位を表す3次元画像を生成する装置であり、具体的には、CT装置、MRI装置、およびPET(Positron Emission Tomography)装置等である。3次元画像撮影装置2により生成された、複数の断層画像からなる3次元画像は画像保管サーバ4に送信され、保存される。なお、本実施形態においては、被検体Hの処置対象部位は肺であり、3次元画像撮影装置2はCT装置であり、後述するように被検体Hに対する処置の前に、被検体Hの胸部を撮影することにより、被検体Hの胸部を含むCT画像を3次元画像として予め取得し、画像保管サーバ4に保存しておく。
透視画像撮影装置3は、Cアーム3A、X線源3BおよびX線検出器3Cを有する。X線源3BおよびX線検出器3CはCアーム3Aの両端部にそれぞれ取り付けられている。透視画像撮影装置3においては、被検体Hを任意の方向から撮影可能なようにCアーム3Aが回転および移動可能に構成されている。そして、透視画像撮影装置3は、後述するように被検体Hに対する処置中に、予め定められたフレームレートによりX線を被検体Hに連続的に照射し、被検体Hを透過したX線をX線検出器3Cにより順次検出する透視撮影を行うことにより、被検体HのX線画像を順次取得する。以降の説明においては、順次取得されるX線画像を透視画像と称する。透視画像が本開示による放射線画像の一例である。
画像保管サーバ4は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ4は、有線あるいは無線のネットワーク5を介して他の装置と通信を行い、画像データ等を送受信する。具体的には3次元画像撮影装置2で取得された3次元画像、および透視画像撮影装置3で取得された透視画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク5経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等のプロトコルに基づいている。
なお、本実施形態においては、被検体Hの透視撮影を行いつつ、3次元画像V0を用いてあらかじめ検出された被検体Hの肺に存在する肺結節等の病変の一部を採取して、病気の存在を詳しく調べる生検の処置を行うものとする。このため、透視画像撮影装置3は処置を行うための処置室に配置されている。また、処置室には、超音波内視鏡装置6が設置されている。超音波内視鏡装置6は、先端に超音波プローブおよび鉗子等の処置具が取り付けられた内視鏡6Aを備える。本実施形態においては、病変の生検を行うべく、操作者は内視鏡6Aを被検体Hの気管支に挿入し、透視画像撮影装置3により被検体Hの透視画像を撮影し、撮影した透視画像および内視鏡6Aにより撮影した内視鏡画像をリアルタイムで表示しつつ、透視画像において被検体H内における内視鏡6Aの先端位置を確認し、目標となる病変の位置まで内視鏡6Aの先端を移動させる。
ここで、肺結節等の肺の病変は気管支の内側ではなく気管支の外側に発生する。このため、操作者は内視鏡6Aの先端を目標位置まで移動させた後、超音波プローブにより気管支の外側の超音波画像を撮影して超音波画像を表示し、超音波画像において病変位置を確認しながら鉗子等の処置具を用いて病変の一部を採取する処置を行う。
次いで、本実施形態による画像処理装置について説明する。図2は、本実施形態による画像処理装置のハードウェア構成を示す図である。図2に示すように、画像処理装置10は、CPU(Central Processing Unit)11、不揮発性のストレージ13、および一時記憶領域としてのメモリ16を含む。また、画像処理装置10は、液晶ディスプレイ等のディスプレイ14、キーボードとマウス等の入力デバイス15、およびネットワーク5に接続されるネットワークI/F(InterFace)17を含む。CPU11、ストレージ13、ディスプレイ14、入力デバイス15、メモリ16およびネットワークI/F17は、バス18に接続される。なお、CPU11は、本開示におけるプロセッサの一例である。
ストレージ13は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ13には、画像処理プログラム12が記憶される。CPU11は、ストレージ13から画像処理プログラム12を読み出してメモリ16に展開し、展開した画像処理プログラム12を実行する。
次いで、本実施形態による画像処理装置の機能的な構成を説明する。図3は、本実施形態による画像処理装置の機能的な構成を示す図である。図4は、本実施形態による画像処理装置が行う処理を模式的に示す図である。図3に示すように画像処理装置10は、画像取得部21、第1位置合わせ部22、第1導出部23、第2位置合わせ部24、第2導出部25、誤差導出部26、判定部27および表示制御部28を備える。そして、CPU11が画像処理プログラム12を実行することにより、CPU11は、画像取得部21、第1位置合わせ部22、第1導出部23、第2位置合わせ部24、第2導出部25、誤差導出部26、判定部27および表示制御部28として機能する。
画像取得部21は、操作者による入力デバイス15からの指示により、画像保管サーバ4から被検体Hの3次元画像V0を取得する。また、画像取得部21は、被検体Hの処置中に透視画像撮影装置3により取得される透視画像T0を順次取得する。
第1位置合わせ部22は、透視画像T0と3次元画像V0との第1の位置合わせを行う。ここで、3次元画像V0はCT装置により取得されたものである。CT装置による撮影時には、濃度の淡い病変を見やすくするために、息を吸い込んだ吸気の状態で撮影を行う。このため、3次元画像V0の呼吸相は吸気相である。一方、透視画像T0は予め定められたフレームレートにより順次取得されるが、位置合わせの精度を高めるためには、透視画像T0の呼吸相は3次元画像V0の呼吸相と一致することが好ましい。このため、第1位置合わせ部22は、吸気相または吸気相に近い呼吸相の透視画像T0を基準透視画像Tbに特定する。そして、第1位置合わせ部22は、基準透視画像Tbと3次元画像V0に対して第1の位置合わせを行う。
ここで、基準透視画像Tbは2次元画像である。このため、第1位置合わせ部22は、2次元画像と3次元画像との位置合わせを行う。本実施形態において、第1位置合わせ部22は、まず、基準透視画像Tbの撮影方向と同一の方向に3次元画像V0を投影して2次元の疑似透視画像VT0を導出する。そして第1位置合わせ部22は、2次元の疑似透視画像VT0を透視画像T0に剛体位置合わせする。剛体位置合わせの手法としては、例えばアフィン変換等、任意の手法を用いることができる。例えば、アフィン変換を用いた場合、第1位置合わせ部22は、疑似透視画像VT0および透視画像T0に含まれる肋骨の交点等の特徴点を一致させるための、疑似透視画像VT0の透視画像T0に対する平行移動量および回転量を導出する。
また、第1位置合わせ部22は、3次元画像V0および基準透視画像Tbから肺野領域を抽出する。肺野領域とは3次元画像V0および基準透視画像Tbに含まれる肺の軟部組織である。本実施形態において、第1位置合わせ部22は、公知のコンピュータ支援画像診断(CAD: Computer Aided Diagnosis、以下CADと称する)のアルゴリズムを用いて、3次元画像V0および基準透視画像Tbから肺野領域を抽出する。
そして、第1位置合わせ部22は、3次元画像V0と基準透視画像Tbとの非剛体位置合わせを行う。具体的には、剛体位置合わせされた3次元画像V0から抽出された肺野領域が基準透視画像Tbから抽出された肺野領域と一致するように3次元画像V0を変形することにより、3次元画像V0と基準透視画像Tbとの非剛体位置合わせを行い、3次元画像V0の基準透視画像Tbに対する変形量を導出する。この場合においても、第1位置合わせ部22は、基準透視画像Tbの撮影方向と同一の方向に3次元画像V0を投影して2次元の疑似透視画像VT0を導出し、疑似透視画像VT0における肺野領域と基準透視画像Tbにおける肺野領域とに基づいて非剛体位置合わせを行う。
非剛体位置合わせとしては、例えばBスプラインおよびシンプレートスプライン等の関数を用いて、疑似透視画像VT0における肺野領域と基準透視画像Tbにおける肺野領域との対応点を非線形に変換することにより、剛体位置合わせされた疑似透視画像VT0の透視画像T0に対する変形量を導出し、導出した変形量を3次元に展開する手法を用いることができるが、これに限定されるものではない。学習済みモデルを用いて、非剛体位置合わせを行う手法等の任意の手法を用いることができる。
第1導出部23は、第1の位置合わせの結果に基づいて3次元画像V0を変形して第1の変形3次元画像V1を導出する。すなわち、剛体位置合わせの結果に基づいて3次元画像V0を変形し、かつ非剛体位置合わせの結果に基づいて、変形された3次元画像V0を変形することにより、第1の変形3次元画像V1を導出する。
第2位置合わせ部24は、第1の変形3次元画像V1と基準透視画像Tbの後に取得された新たな透視画像T0とに対して第2の位置合わせを行う。本実施形態において、第2の位置合わせは、第1位置合わせ部22が行う第1の位置合わせよりも計算コストが小さい。第2の位置合わせのために、第2位置合わせ部24は第1の変形3次元画像V1から肺野領域を抽出し、第1の変形3次元画像V1から抽出された肺野領域と新たな透視画像T0から抽出した肺野領域とに基づいて、非剛体位置合わせのみを行う。このため、第2の位置合わせは第1の位置合わせよりも計算コストが小さいものとなる。
なお、第1の位置合わせに際しては、3次元画像V0から抽出された肺野領域は、非剛体位置合わせのために2次元に投影されている。このため、第2位置合わせ部24は、3次元画像V0から肺野領域を抽出することなく、第1位置合わせ部22により導出された2次元の肺野領域と、新たな透視画像T0から抽出された肺野領域とに基づいて、非剛体位置合わせを行うようにしてもよい。この場合も、第2の位置合わせは第1の位置合わせよりも計算コストが小さいものとなる。
ここで、非剛体位置合わせの手法としては、第1位置合わせ部22が行う非剛体位置合わせと同一の手法を用いてもよいが、これよりも演算量が少ない非剛体位置合わせの手法を用いてもよい。演算量が少ない非剛体位置合わせの手法としては、例えば、「Diffeomorphic Demons: Efficient Non-parametric Image Registration、Tom Vercauterenら、December 2008 NeuroImage 45(1 Suppl):S61-72、DOI:10.1016/j.neuroimage.2008.10.040」および「Image matching as a diffusion process: an analogy with Maxwell's demons、Jean-Philippe Thirionら、Medical Image Analysis, Elsevier, 1998, 2 (3), pp.243-260.」等に記載された手法を用いることができる。
また、第2位置合わせ部24における新たな透視画像T0からの肺野領域の抽出は、第1位置合わせ部22における基準透視画像Tbからの肺野領域の抽出よりも計算コストが小さい手法を用いてもよい。例えば、第2位置合わせ部24においては第1位置合わせ部22よりもパラメータが少なく、演算量がより少ないCADを用いるようにしてもよい。
第2導出部25は、第2の位置合わせの結果に基づいて第1の変形3次元画像V1を変形して第2の変形3次元画像V2を導出する。すなわち、第2位置合わせ部24による非剛体位置合わせにより導出された変形量により第1の変形3次元画像V1を変形することによって、第2の変形3次元画像V2を導出する。
誤差導出部26は、第2の変形3次元画像V2と新たな透視画像T0との位置合わせの誤差D0を導出する。このために、誤差導出部26は、第2の変形3次元画像V2に含まれる横隔膜の被検体Hの体軸方向における位置と、新たな透視画像T0に含まれる横隔膜の被検体Hの体軸方向における位置との相違を導出する。
具体的には、図5に示すように、誤差導出部26は、第2の変形3次元画像V2を新たな透視画像T0の撮影方向と同一の方向に投影して2次元の疑似変形透視画像VT2を導出する。そして、誤差導出部26は、疑似変形透視画像VT2と新たな透視画像T0とにおける骨部を位置合わせし、位置合わせ後の横隔膜の位置の相違を導出する。横隔膜の位置の相違とは、疑似変形透視画像VT2の横隔膜31の位置と新たな透視画像T0の横隔膜32の位置の差の代表値を用いることができる。代表値としては、最大値、最小値、平均値および中間値等が挙げられる。
なお、誤差導出部26は、第2の変形3次元画像V2に含まれる横隔膜の被検体Hの体軸方向における位置と、新たな透視画像T0に含まれる横隔膜の被検体Hの体軸方向における位置との相違を導出する学習済みモデルを用いて、横隔膜の位置の相違を導出するようにしてもよい。このような学習済みモデルは、体軸方向における横隔膜の位置の相違が既知の3次元画像と透視画像とを教師データを用いてニューラルネットワークを学習することにより構築される。
ここで、呼気相と吸気相とでは肺野領域の面積が異なる。このため、誤差導出部26は、第2の変形3次元画像V2から肺野領域を抽出して2次元に投影し、新たな透視画像T0のから肺野領域を抽出し、2次元に投影した肺野領域の面積と新たな透視画像T0から抽出した肺野領域の面積の相違を誤差D0として導出するものであってもよい。
また、誤差導出部26は、第2位置合わせ部24により導出された変形量を誤差D0として用いるものであってもよい。なお、変形量は剛体位置合わせされた疑似透視画像VT0および新たな透視画像T0の各画素について導出されるため、各画素について導出した変形量の代表値を誤差D0として導出すればよい。代表値としては、平均値、中央値、最大値および最小値等を用いることができる。
判定部27は、誤差導出部26が導出した誤差D0が予め定められたしきい値Th1未満であるか否かを判定する。
表示制御部28は、第1の変形3次元画像V1を基準透視画像Tbに重畳してディスプレイ14に表示する。あるいは第2の変形3次元画像V2を透視画像T0に重畳してディスプレイ14に表示する。図6は重畳画像の表示画面を示す図である。図6に示すように、表示画面40には第1の変形3次元画像V1を基準透視画像Tbに重畳した、あるいは第2の変形3次元画像V2を透視画像T0に重畳した重畳画像41が表示されている。
ここで、本実施形態においては、判定部27による判定が肯定されると、表示制御部28は、第2の変形3次元画像V2を新たな透視画像T0に重畳してディスプレイ14に表示する。
一方、判定部27による判定が否定されると、第1位置合わせ部22が、基準透視画像Tbを新たな透視画像T0に更新し、更新された基準透視画像Tbと3次元画像V0とに対して新たな第1の位置合わせを行う。そして、第1導出部23が、新たな第1の位置合わせの結果に基づいて3次元画像V0を変形して新たな第1の変形3次元画像V1を導出する。そして表示制御部28が、新たな第1の変形3次元画像V1を新たな透視画像T0に重畳表示する。この後、基準透視画像Tbが新たな透視画像T0に更新され、第2の位置合わせ、第2の変形3次元画像V2の導出、位置合わせ誤差D0の導出、第2の変形3次元画像V2の新たな放射線画像T0への重畳表示、判定、判定が肯定された場合の重畳表示、判定が否定された場合の新たな第1の位置合わせ、新たな第1の変形3次元画像V1の導出、新たな第1の変形3次元画像V1の重畳表示、および基準透視画像Tbの更新が繰り返される。
次いで、本実施形態において行われる処理について説明する。図7は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部21が画像保管サーバ4から3次元画像V0を取得し(ステップST1)、次いで、画像取得部21が透視画像T0を順次取得する(ステップST2)。そして、第1位置合わせ部22が、透視画像T0のうちの基準透視画像Tbと3次元画像V0との第1の位置合わせを行う(ステップST3)。次いで、第1導出部23が、第1の位置合わせの結果に基づいて3次元画像V0を変形して第1の変形3次元画像V1を導出する(ステップST4)。そして、表示制御部28が、第1の変形3次元画像V1を基準透視画像Tbに重畳してディスプレイ14に表示する(第1の重畳表示:ステップST5)。
続いて、第2位置合わせ部24が、第1の変形3次元画像V1と基準透視画像Tbの後に取得された新たな透視画像T0とに対して第2の位置合わせを行う(ステップST6)。そして、第2導出部25が、第2の位置合わせの結果に基づいて第1の変形3次元画像V1を変形して第2の変形3次元画像V2を導出する(ステップST7)。続いて、誤差導出部26が、第2の変形3次元画像V2と新たな透視画像T0との位置合わせ誤差D0を導出する(ステップST8)。さらに、判定部27が、誤差導出部26が導出した誤差D0が予め定められたしきい値Th1未満であるか否かを判定する(ステップST9)。
ステップST9が肯定されると、表示制御部28は、第2の変形3次元画像V2を新たな透視画像T0に重畳してディスプレイ14に表示し(第2の重畳表示:ステップST10)、ステップST6にリターンし、引き続き取得される新たな透視画像T0を用いてステップST6以降の処理が繰り返される。一方、ステップST9が否定されると、第1位置合わせ部22が、基準透視画像Tbを新たな透視画像T0に更新し(ステップST11)、ステップST3に戻り、ステップST3以降の処理が繰り返される。
このように、本実施形態においては、基準透視画像Tbと3次元画像V0に対して第1の位置合わせを行った後、第1の変形3次元画像V1と新たな透視画像T0とに対して、第1の位置合わせよりも計算コストが小さい第2の位置合わせを行うようにした。さらに、第2の変形3次元画像V2と新たな透視画像T0との位置合わせ誤差D0を導出し、誤差がしきい値Th1未満である場合には、第2の変形3次元画像V2を新たな透視画像T0に重畳してディスプレイ14に表示するようにした。このため、誤差がしきい値Th1未満である限り、計算コストが小さい第2の位置合わせが繰り返されることとなる。このため、第1の位置合わせのみを行う場合と比較して、演算量を低減して3次元画像V0と透視画像T0との位置合わせを高速に行うことができる。
また、誤差がしきい値Th1以上となった場合には、基準透視画像Tbを新たな透視画像T0に更新して、第1の位置合わせを行うようにした。このため、第2の位置合わせのみを行う場合と比較して、3次元画像V0と透視画像T0との位置合わせを精度よく行うことができる。また、第1の位置合わせのみを行う場合と比較して、演算量を低減して3次元画像V0と透視画像T0との位置合わせを高速に行うことができる。したがって、本実施形態によれば、高速かつ精度よく3次元画像V0と透視画像T0とを位置合わせできる。
なお、上記実施形態においては、気管支に挿入する気管支内視鏡を用いて肺の病変の採取を行う場合の処理について説明しているが、これに限定されるものではない。例えば、超音波内視鏡を胃等の消化器官に挿入して膵臓あるいは肝臓等の組織の生検を行う場合にも、本実施形態による画像処理装置を適用することができる。
また、上記各実施形態において、例えば、画像取得部21、第1位置合わせ部22、第1導出部23、第2位置合わせ部24、第2導出部25、誤差導出部26、判定部27および表示制御部28といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
1 コンピュータ
2 3次元画像撮影装置
3 透視画像撮影装置
3A アーム
3B X線源
3C X線検出器
4 画像保管サーバ
5 ネットワーク
6 超音波内視鏡装置
6A 内視鏡
10 画像処理装置
11 CPU
12 画像処理プログラム
13 ストレージ
14 ディスプレイ
15 入力デバイス
16 メモリ
21 画像取得部
22 第1位置合わせ部
23 第1導出部
24 第2位置合わせ部
25 第2導出部
26 誤差導出部
27 判定部
28 表示制御部
31,32 横隔膜
40 表示画面
41 重畳画像
T0 透視画像
Tb 基準透視画像
V0 3次元画像
V1,V2 変形3次元画像
VT0 疑似透視画像
VT2 疑似変形透視画像
2 3次元画像撮影装置
3 透視画像撮影装置
3A アーム
3B X線源
3C X線検出器
4 画像保管サーバ
5 ネットワーク
6 超音波内視鏡装置
6A 内視鏡
10 画像処理装置
11 CPU
12 画像処理プログラム
13 ストレージ
14 ディスプレイ
15 入力デバイス
16 メモリ
21 画像取得部
22 第1位置合わせ部
23 第1導出部
24 第2位置合わせ部
25 第2導出部
26 誤差導出部
27 判定部
28 表示制御部
31,32 横隔膜
40 表示画面
41 重畳画像
T0 透視画像
Tb 基準透視画像
V0 3次元画像
V1,V2 変形3次元画像
VT0 疑似透視画像
VT2 疑似変形透視画像
Claims (9)
- 少なくとも1つのプロセッサを備え、
前記プロセッサは、
被検体の3次元画像を取得し、
前記被検体の複数の放射線画像を順次取得し、
前記複数の放射線画像のうちの基準放射線画像と前記3次元画像とに対して第1の位置合わせを行い、
前記第1の位置合わせの結果に基づいて前記3次元画像を変形して第1の変形3次元画像を導出し、
前記第1の変形3次元画像を前記基準放射線画像に重畳表示し、
前記第1の変形3次元画像と前記基準放射線画像の後に取得された新たな放射線画像とに対して、前記第1の位置合わせよりも計算コストが小さい第2の位置合わせを行う画像処理装置。 - 前記プロセッサは、前記第2の位置合わせの結果に基づいて前記第1の変形3次元画像を変形して第2の変形3次元画像を導出し、
前記第2の変形3次元画像と前記新たな放射線画像との位置合わせの誤差を導出し、
前記誤差が予め定められたしきい値未満か否かを判定し、
前記判定が肯定された場合、前記第2の変形3次元画像を前記新たな放射線画像に重畳表示する請求項1に記載の画像処理装置。 - 前記プロセッサは、前記判定が否定された場合、前記基準放射線画像を前記新たな放射線画像に更新して、前記基準放射線画像と前記3次元画像とに対して新たな第1の位置合わせを行い、
前記新たな第1の位置合わせの結果に基づいて前記3次元画像を変形して新たな第1の変形3次元画像を導出し、
前記新たな第1の変形3次元画像を前記新たな放射線画像に重畳表示する請求項2に記載の画像処理装置。 - 前記プロセッサは、前記新たな放射線画像が取得される毎に、前記第2の位置合わせ、前記第2の変形3次元画像の導出、前記誤差の導出、前記第2の変形3次元画像の前記新たな放射線画像への重畳表示、前記判定、前記判定が肯定された場合の重畳表示、前記判定が否定された場合の前記新たな第1の位置合わせ、前記新たな第1の変形3次元画像の導出、前記新たな第1の変形3次元画像の重畳表示、および前記基準放射線画像の更新を繰り返す請求項3に記載の画像処理装置。
- 最初に行われる前記第1の位置合わせに使用される基準放射線画像は、前記3次元画像の呼吸相に最も近い呼吸相の放射線画像である請求項1から4のいずれか1項に記載の画像処理装置。
- 前記3次元画像および前記放射線画像は前記被検体の胸部を含み、
前記第1の位置合わせは、前記基準放射線画像と前記3次元画像との剛体位置合わせ、および前記基準放射線画像および前記3次元画像のそれぞれから抽出した肺野領域に基づく非剛体位置合わせを含み、
前記第2の位置合わせは、前記第1の位置合わせに際して2次元となった第1の変形3次元画像から抽出された肺野領域、および前記新たな放射線画像から抽出された肺野領域に基づく非剛体位置合わせを含む請求項1に記載の画像処理装置。 - 前記第2の位置合わせにおける前記放射線画像からの肺野領域の抽出は、前記第1の位置合わせにおける放射線画像からの前記肺野領域の抽出よりも計算コストが小さい請求項6に記載の画像処理装置。
- 被検体の3次元画像を取得し、
前記被検体の複数の放射線画像を順次取得し、
前記複数の放射線画像のうちの基準放射線画像と前記3次元画像とに対して第1の位置合わせを行い、
前記第1の位置合わせの結果に基づいて前記3次元画像を変形して第1の変形3次元画像を導出し、
前記第1の変形3次元画像を前記基準放射線画像に重畳表示し、
前記第1の変形3次元画像と前記基準放射線画像の後に取得された新たな放射線画像とに対して、前記第1の位置合わせよりも計算コストが小さい第2の位置合わせを行う画像処理方法。 - 被検体の3次元画像を取得する手順と、
前記被検体の複数の放射線画像を順次取得する手順と、
前記複数の放射線画像のうちの基準放射線画像と前記3次元画像とに対して第1の位置合わせを行う手順と、
前記第1の位置合わせの結果に基づいて前記3次元画像を変形して第1の変形3次元画像を導出する手順と、
前記第1の変形3次元画像を前記基準放射線画像に重畳表示する手順と、
前記第1の変形3次元画像と前記基準放射線画像の後に取得された新たな放射線画像とに対して、前記第1の位置合わせよりも計算コストが小さい第2の位置合わせを行う手順とをコンピュータに実行させる画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022086310A JP2023173813A (ja) | 2022-05-26 | 2022-05-26 | 画像処理装置、方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022086310A JP2023173813A (ja) | 2022-05-26 | 2022-05-26 | 画像処理装置、方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023173813A true JP2023173813A (ja) | 2023-12-07 |
Family
ID=89031098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022086310A Pending JP2023173813A (ja) | 2022-05-26 | 2022-05-26 | 画像処理装置、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023173813A (ja) |
-
2022
- 2022-05-26 JP JP2022086310A patent/JP2023173813A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022517581A (ja) | 冠動脈の動的ロードマップを提供するための方法およびシステム | |
US7467007B2 (en) | Respiratory gated image fusion of computed tomography 3D images and live fluoroscopy images | |
US8942455B2 (en) | 2D/3D image registration method | |
TW202011894A (zh) | 用於肺體積閘控x射線成像系統和方法 | |
JP5244319B2 (ja) | 画像のマルチモーダルレジストレーションのための装置及び方法 | |
US8897514B2 (en) | Imaging method for motion analysis | |
US20050027193A1 (en) | Method for automatically merging a 2D fluoroscopic C-arm image with a preoperative 3D image with one-time use of navigation markers | |
US20050004449A1 (en) | Method for marker-less navigation in preoperative 3D images using an intraoperatively acquired 3D C-arm image | |
CN110248603A (zh) | 3d超声和计算机断层摄影结合用于引导介入医疗规程 | |
JP7027046B2 (ja) | 医用画像撮像装置及び方法 | |
JP2007528747A (ja) | 外科手術を計画するための心臓撮像システム及び方法 | |
JP6349278B2 (ja) | 放射線撮像装置、画像処理方法及びプログラム | |
CN110301883B (zh) | 用于导航管状网络的基于图像的向导 | |
US20230316550A1 (en) | Image processing device, method, and program | |
JP6637781B2 (ja) | 放射線撮像装置及び画像処理プログラム | |
JP6806655B2 (ja) | 放射線撮像装置、画像データ処理装置及び画像処理プログラム | |
JP2023512139A (ja) | 放射線パラメータを判定するためのシステムおよび方法 | |
JP2007526033A (ja) | 構造化オブジェクトの画像を登録するための装置及び方法 | |
CN111415404A (zh) | 术中预设区域的定位方法、装置、存储介质及电子设备 | |
JP7323128B2 (ja) | 医用画像処理装置、医用装置、治療システム、医用画像処理方法、およびプログラム | |
WO2020064924A1 (en) | Guidance in lung intervention procedures | |
JP2023173813A (ja) | 画像処理装置、方法およびプログラム | |
JP6824641B2 (ja) | X線ct装置 | |
JP2023172310A (ja) | 画像処理装置、方法およびプログラム | |
US20240005495A1 (en) | Image processing device, method, and program |