JP2018068982A - データ処理装置及びデータ処理方法 - Google Patents
データ処理装置及びデータ処理方法 Download PDFInfo
- Publication number
- JP2018068982A JP2018068982A JP2016216759A JP2016216759A JP2018068982A JP 2018068982 A JP2018068982 A JP 2018068982A JP 2016216759 A JP2016216759 A JP 2016216759A JP 2016216759 A JP2016216759 A JP 2016216759A JP 2018068982 A JP2018068982 A JP 2018068982A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional image
- image
- captured
- attenuated
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 55
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000004364 calculation method Methods 0.000 claims abstract description 111
- 230000002238 attenuated effect Effects 0.000 claims abstract description 71
- 238000003384 imaging method Methods 0.000 claims description 59
- 210000000746 body region Anatomy 0.000 claims description 25
- 230000005855 radiation Effects 0.000 claims description 9
- 210000000988 bone and bone Anatomy 0.000 abstract description 116
- 238000012937 correction Methods 0.000 abstract description 29
- 238000000034 method Methods 0.000 description 42
- 238000011282 treatment Methods 0.000 description 30
- 238000002591 computed tomography Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 21
- 239000003550 marker Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 11
- 210000004872 soft tissue Anatomy 0.000 description 10
- 238000005259 measurement Methods 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 238000001574 biopsy Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013480 data collection Methods 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 210000000621 bronchi Anatomy 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
その他の解決手段については実施形態中において記載する。
以下、放射線撮像システムの一例として、特に、X線撮像システムの実施形態について図面を用いて説明する。本実施形態は、これに限らず適宜の放射線撮像システムに適用することができる。なお、本実施形態では、X線源及び検出器によって撮像された2次元の撮像X線画像を、単に撮像X線画像と称する。
また、X線源やX線検出器、撮像X線画像等に限らず、X線以外の適宜の測定源や検出器、撮像画像や反射画像等に適宜適用することができる。
X線撮像システム1は、データ処理装置100、X線源201、検出器202、制御装置300、表示装置(表示部)401、記憶装置402を有している。また、X線撮像システム1は、有線又は無線のネットワークを介して、医用画像サーバ2と接続されている。
医用画像サーバ2は、例えば、CT画像、MRI(Magnetic Resonance Imaging)画像、PET(Positron Emission Computed Tomography)画像、超音波画像と言った様々な医用画像を保存している。これら画像及び情報のネットワークを介した通信や保存は、例えば、医療分野にて一般的に使用されているDICOM(Digital Imaging and Communication in Medicine)フォーマットが用いられることが望ましい。
制御装置300は、X線源201、検出器202の移動や、回転等を制御するとともに、検出器202から検出データを取得するものであり、駆動部301と、データ収集部302とを有する。
駆動部301は、X線源201、検出器202を駆動する図示しない駆動モータ等を駆動することにより、X線源201、検出器202の移動や、回転等を行う。
データ収集部302は、検出器202から撮像X線画像(2次元画像)の情報を収集し、記憶装置402へ送る。
表示装置401は、各種画像の表示を行うとともに、補正した処置具の特徴部位等を表示する。つまり、表示装置401は、データ収集部302が収集した撮像X線画像の表示や、データ処理装置100による処理結果を表示する。
記憶装置402は、検出器202で撮像され、データ収集部302から送られた撮像X線画像を格納する。また、記憶装置402は、データ処理装置100による処理結果等を記憶する。
画像取得部111は、医用画像サーバ2から3次元画像を取得したり、記憶装置402から撮像X線画像を取得したりする。
計算投影画像生成部112は、3次元画像から2次元の計算投影画像(計算2次元画像)を生成する。計算投影画像については、後記する。
剛体領域減弱部114は、撮像X線画像から骨領域の減弱処理を行う。骨領域の減弱処理については後記する。
特徴部位抽出部115は、骨領域が減弱された撮像X線画像(骨領域減弱X線画像(減弱2次元画像)と称する)から処置具等の特徴部位(以下、特徴部位と称する)を抽出する。骨領域減弱X線画像については後記する。
体動移動量算出/補正部116は、骨領域減弱X線画像と計算投影画像とから体動移動量を算出し、特徴部位の位置を補正する。
3次元位置算出部117は、体動移動量算出/補正部116で算出された体動移動量を基に、特徴部位の3次元位置の算出を行う。なお、本実施形態では、3次元位置とは、X線撮像システム1での空間位置のことを指すものとする。
位置マッピング部118は、3次元位置算出部117によって算出された特徴部位の3次元位置を基に、特徴部位を3次元画像等に付加する。
表示処理部119は、各種画像の表示を行うとともに、補正した特徴部位等を表示装置401に表示させる。
図2は、本実施形態に係るデータ処理装置のハードウェア構成図を示すとともに、メモリの構成を示す図である。
データ処理装置100は、メモリ101、CPU(Central Processing Unit)102、通信装置103を有している。
メモリ101には、記憶装置402(図1参照)等に格納されているプログラムが展開されている。そして、メモリ101に展開されたプログラムがCPU102によって実行されることにより、画像取得部111、計算投影画像生成部112、画像位置合わせ部113、剛体領域減弱部114、特徴部位抽出部115、体動移動量算出/補正部116、3次元位置算出部117、位置マッピング部118、表示処理部119が具現化している。画像取得部111、計算投影画像生成部112、画像位置合わせ部113、剛体領域減弱部114、特徴部位抽出部115、体動移動量算出/補正部116、3次元位置算出部117、位置マッピング部118、表示処理部119については、図1で説明済みであるので、ここでの説明を省略する。
図3は、本実施形態に係るデータ処理装置における全体処理の手順の一例を示すフローチャートである。以降、適宜、図1を参照する。
これ以降では、一例として、2つの撮像X線画像を取得する場合について説明するが、本実施形態は、3つ以上の撮像X線画像を取得する場合にも適用可能である。また、本実施形態では、特徴部位(以下、特徴部位と称する)を鉗子先端及びガイドシースマーカとしているが、鉗子先端やガイドシースマーカ以外にも、適宜のマーカや適宜の部位・部分でもよい。また、本実施形態では、特徴部位は、鉗子先端及びガイドシースマーカの2つとしているが、一つ又は3以上としてもよい。また、処置具に限らず、他の器具でもよい。
そして、ステップS101において、2つの撮像X線画像が取得されるのと前後して、画像取得部111は、医用画像サーバ2から、事前に撮像されている3次元画像を取得する(S102)。ここで、3次元画像は、撮像X線画像とは、別に撮像されている。3次元画像の撮像は、例えば、撮像X線画像の1週間前等である(1週間前には限らない)。
なお、3次元画像は、例えば、体軸方向に連続撮像したものが複数枚取得される。
ここで、計算投影画像は、以下の手順によって生成される。
(A1)計算投影画像生成部112は、実際のX線撮像システム1におけるX線源201及び検出器202の空間的な配置に、事前に撮像した3次元画像(CT画像等)を配置した模擬体系を生成する。
(A2)そして、計算投影画像生成部112は、生成した模擬体系で、X線源201から検出器202に模擬X線(レイ)を投影し、模擬X線による検出器202での検出画像(例えば、通過距離と画素値等)を算出(レイトレース)することによって計算投影画像を生成する。
つまり、計算投影画像とは、3次元画像から模擬的に再構成されるX線画像である。
なお、計算投影画像は、一般的には、DRR(Digital Reconstructed Radiograph)画像と呼ばれる。
図4は、本実施形態に係る計算投影画像の生成手法の一例を示す図である。
まず、前記した通り、X線撮像システム1において、撮像X線画像501が取得された際のX線源201、検出器202の3次元的な位置は、撮像時の装置構成から容易に取得可能である。ここで、3次元的な位置とは、X線撮像システム1における3次元位置である。
図3の説明に戻る。
次に、画像位置合わせ部113により、計算投影画像と撮像X線画像との位置合わせを行う(S112)。
計算投影画像と、撮像X線画像の組み合わせにおいて、各画像は2次元画像のため、それらの位置合わせを行うことは容易である。ここで、計算投影画像と、撮像X線画像の組み合わせとは、同じX線源201及び検出器202の位置で、実際に撮像された撮像X線画像と、模擬的に生成された計算投影画像の組み合わせである。例えば、図4において、X線源201の位置P1と、位置P2とで撮像X線画像501a,501bが撮像されたとすると、X線源201の位置P1で撮像された撮像X線画像501aと、X線源201が位置P1にあるとして模擬的に生成された計算投影画像502aとの組み合わせが1つの組み合わせとなる。同様に、X線源201の位置P2で撮像された撮像X線画像501bと、X線源201が位置P2にあるとして模擬的に生成された計算投影画像502bとの組み合わせが1つの組み合わせとなる。
そして、画像位置合わせ部113は、類似度が最大となる移動・回転パラメータを求める。すなわち、画像位置合わせ部113は、図4における計算投影画像502aと、撮像X線画像501aとの類似度が最大となる計算投影画像502aの移動・回転パラメータを求める。
画像位置合わせ部113は、撮像X線画像501bと、計算投影画像502bとについて同様の位置合わせを行う。
本実施形態では、移動・回転パラメータとして5パラメータを算出することとする。また、ステップS112で行われる位置合わせは、いわゆる剛体位置合わせであるため、主に骨等の剛体領域の位置合わせに適している。
撮像X線画像501と、3次元画像503とは撮像時刻が異なっているため、被検体の撮像位置が異なっているが、このような位置合わせを行うことにより、以降の処理における精度を向上させることができる。
図3の説明に戻る。
次に、剛体領域減弱部114が、撮像X線画像と3次元画像とを用いて、撮像X線画像の骨領域(剛体領域)を減弱する骨領域減弱処理を行う(S113)。
図5は、本実施形態に係る骨領域減弱処理の詳細な手順を示すフローチャートである。
まず、剛体領域減弱部114は、撮像X線画像のすべてと3次元画像とを取得する(S201)。
次に、剛体領域減弱部114は、3次元画像から骨領域を抽出する(S202)。
3次元画像であるCT画像では、画素値がCT値と呼ばれる規格化された数値となっている。このCT値は、水を0、空気等のガスを−1000とした相対値であり、撮像された物質の密度を示している。このため、軟組織領域、空気領域、骨領域等がCT値によって識別可能である。これにより、剛体領域減弱部114は、例えば、軟組織領域、空気領域、骨領域等に相当する画素値を指定することにより、それぞれの領域を抽出することが可能である。
骨領域のみが抽出された3次元画像は、元の3次元画像と同様に投影計算できるため、剛体領域減弱部114は、骨領域のみを投影した計算投影画像(骨領域計算投影画像)を生成することができる。
ステップS112において、撮像X線画像501と3次元画像503(図4参照)は位置合わせされている。前記したように、この位置合わせは、主に骨領域での剛体位置合わせでもある。よって、撮像X線画像501と、3次元画像503から生成された骨領域計算投影画像511とを差分することが可能である。
そして、剛体領域減弱部114は、骨減弱がなされていない撮像X線画像501から、骨領域計算投影画像511を差分することで、骨領域減弱X線画像521を生成する。
剛体領域減弱部114は、この処理を骨領域減弱X線画像521の数だけ行う。
図3の説明に戻る。
そして、特徴部位抽出部115が、骨領域減弱X線画像から特徴部位を抽出する(S114)。本実施形態では、鉗子先端及びガイドシースマーカを特徴部位とする。
骨領域減弱X線画像521aは、図4のX線源201の位置P1で撮像された撮像X線画像501aを基に生成された骨領域減弱X線画像521である。同様に、骨領域減弱X線画像521bは、図4のX線源201の位置P2で撮像された撮像X線画像501bを基に生成された骨領域減弱X線画像521である。骨領域減弱X線画像521a,521bでは、骨領域が少し残っているが、骨領域が減弱される前の撮像X線画像501a,501bと比較すると、骨領域が低コントラストとなっている。
なお、鉗子先端531と、処置具におけるその他の部分もコントラストが異なっているので、コントラストを基に、特徴部位抽出部115が、処置具全体の画像から鉗子先端531を抽出することができる。
図3の説明に戻る。
ステップS114の後、体動移動量算出/補正部116は、骨領域減弱X線画像と3次元画像とを用いて体動移動量を算出する体動移動量算出処理を行う(S115)
まず、撮像X線画像と、撮像X線画像とは別に撮像された3次元画像は、撮像した装置が異なる上、同じ時刻に撮像されたものではない。従って、撮像X線画像の撮像時と、3次元画像撮像時における被検者の体勢、環境等が異なる。また、被検者の体動、例えば心臓の動きや、呼吸等により、人体は非剛体的に変形する。そのため、撮像時刻が異なるそれぞれの画像(撮像X線画像、3次元画像)には、体動によるずれが含まれる。
処置具は、気管支や、血管等の軟組織中に挿入されるため、軟組織と共に体動の影響を受けることとなる。このような体動の影響を補正する手法について以下に述べる。
まず、体動移動量算出/補正部116は、骨領域減弱X線画像のすべてと、3次元画像を取得する(S301)。
次に、体動移動量算出/補正部116は、3次元画像から骨領域を減弱した計算投影画像を生成することで骨領域減弱計算投影画像(計算減弱2次元画像)を生成する(S302)。図5及び図6で生成される骨領域減弱X線画像521が、撮像X線画像501から骨領域を減弱したものであるのに対し、ステップS302で生成される骨領域減弱計算投影画像は3次元画像から模擬的に生成される画像である。なお、3次元画像から骨領域を減弱した画像を生成することは、前記したようにCT値を利用することで可能である。なお、骨領域減弱計算投影画像は、撮像X線画像に対応して生成される。このようにして生成された骨領域減弱計算投影画像は、計算投影画像から剛体領域を減弱したものに相当する。
続いて、体動移動量算出/補正部116は、骨領域減弱X線画像を非剛体変換する。(S303)。
ここで、非剛体変換について図9を用いて説明する。
図9は、本実施形態に係る体動移動量算出(図8のS303)を説明するための図である。
ここで、骨領域減弱X線画像521aは、X線源201が図4の位置P1に位置している時における撮像X線画像501aを基に生成された骨領域減弱X線画像521である。また、骨領域減弱計算投影画像541aは、骨領域減弱X線画像521aに対応する骨領域減弱計算投影画像541である。
同様に、骨領域減弱X線画像521bは、X線源201が図4の位置P2に位置している時における撮像X線画像501bを基に生成された骨領域減弱X線画像521である。また、骨領域減弱計算投影画像541bは、骨領域減弱X線画像521bに対応する骨領域減弱計算投影画像541である。
なお、移動するひとつ又は複数の格子点の選択、移動量や移動方向はユーザが予め設定するようにしてもよい。
また、本実施形態では、骨領域減弱X線画像521に対して非剛体変換が行われているが、骨領域減弱計算投影画像541に対して非剛体変換が行われてもよい。
類似度は、非剛体変換した骨領域減弱X線画像521(図9参照)と、骨領域減弱計算投影画像541(図9参照)との画素毎における相互情報量等である。なお、類似度として相互情報量以外の指標が用いられてもよい。
なお、図9に示すように骨領域減弱X線画像521と、骨領域減弱計算投影画像541では。互いに明暗が反転した関係となっている。このような場合、体動移動量算出/補正部116は、相互情報量が最小となったときを類似度最大と判定する。骨領域減弱X線画像521と、骨領域減弱計算投影画像541では。互いに明暗が反転していない場合、体動移動量算出/補正部116は、相互情報量が最大となったときを類似度最大と判定する。
ステップS305の結果、類似度が類似度である場合(S305→Yes)、体動移動量算出/補正部116は、非剛体変換された骨領域減弱X線画像における非剛体変換パラメータを用いて、特徴部位が、どの程度移動したかを示す体動移動量(ずれの度合い)を算出し(S306)、図3のステップS121へ処理をリターンする。体動移動量は、例えば、ベクトル(移動量ベクトル)として示される。この移動量ベクトルは、非剛体変換前(ステップS302の段階)における特徴部位の位置と、ステップS306の段階での特徴部位の位置から算出される。この移動量ベクトルは、各画素について算出される。
体動移動量算出/補正部116は、ステップS301〜S306の処理を、骨領域減弱X線画像それぞれについて行う。
ステップS301〜S306の処理が行われることにより、体動移動量を定量的気に算出することができる。
図3の説明に戻る
ステップS115の後、体動移動量算出/補正部116は、ステップS115で算出された移動量ベクトル等の体動パラメータを基に、骨領域減弱X線画像における特徴部位の位置を補正する(S121)。
続いて、3次元位置算出部117は、処理対象となっている特徴部位(本実施形態では鉗子先端か、ガイドシースマーカ)の骨領域減弱X線画像上の位置に対応する検出器202上の3次元位置を算出する(S123)。ここで、3次元位置とは、前記したようにX線撮像システム1での空間的位置である。
ガイドシースマーカについても同様の処理により検出器202上(撮像X線画像上)の3次元位置を算出することができる。
図10は、特徴部位の3次元位置算出方法を示す図である。
3次元位置算出部117は、X線撮像システム1上におけるX線源201の装置構成から、撮像X線画像501の撮像時におけるX線源201のX線撮像システム1における3次元位置を求めることができる。従って、3次元位置算出部117は、特徴部位、例えば、抽出した鉗子先端位置の検出器202上の3次元位置(図10におけるK1)と、X線源201の位置P1から、その2点を結ぶ直線L1を生成する。なお、符号K2、位置P2、直線L2、符号Q1,Q,Q2は後記する。
ステップS132の結果、直線の生成を完了していない骨領域減弱X線画像が存在する場合(S132→No)、3次元位置算出部117は、ステップS123に戻って、処理が行われていない骨領域減弱X線画像を基に、検出器202上の特徴部位の位置と、X線源201とを結ぶ直線を算出する。本実施形態の例では、図10の符号K2、位置P2を結ぶ直線L2を算出する。
なお、本実施形態では、検出器202上の特徴部位の位置と、X線源201とを結ぶ直線を、1回1回生成しているが、1回の処理ですべての直線を生成するようにしてもよい。
図11は、生成された直線の関係を示す図である。
ここで、図10は、図11に示す直線L1,L2をz軸方向からみたものに相当する。
Q1=K1+(D1−D2*Dv)/(1−Dv*Dv)*v1・・・(1)
Q2=K2+(D2−D1*Dv)/(Dv*Dv−1)*v2・・・(2)
D2=(K2−K1)・v2・・・(4)
Dv=v1・v2・・・(5)
Q=(Q1+Q2)/2・・・(6)
このようにすることにより、算出された体動移動量に計測誤差等が含まれていても、精度よく特徴部位の3次元位置を算出することができる。
3次元位置算出部117は、すべての特徴部位について、X線撮像システム1における3次元位置の算出が完了したか否かを判定する(S142)。
ステップS142の結果、すべての特徴部位の3次元位置の算出が完了していない場合(S142→No)、3次元位置算出部117は、ステップS122へ処理を戻して、残っている特徴部位の3次元位置を算出する。
ステップS142の結果、すべての特徴部位について3次元位置の算出が完了している場合(S142→Yes)、位置マッピング部118は、ステップS141で算出した各特徴部位の位置情報を3次元画像に付加する(S151)。
このとき、位置マッピング部118は、ステップS112で算出された移動・回転パラメータを利用して、ステップS141で算出した特徴部位の位置情報を3次元画像に付加する。
ステップS112で行った位置合わせにより、撮像対象となっている被検体の位置と、3次元画像の位置とは合っている。その状態で、体動補正及び特徴部位の3次元位置の算出が行われているため、各特徴部位の3次元位置情報を3次元画像上に正しく付加することができる。
図12に示す表示画面は、図3のステップS152で表示される画面である。
図12に示す表示画面600は、3次元画像表示部601と、第1撮像X線画像表示部602と、第2撮像X線画像表示部603とを有している。
図12に示す例では、X線撮像システム1により取得された、撮像方向の異なる撮像X線画像それぞれが、第1撮像X線画像表示部602及び第2撮像X線画像表示部603に表示されている。そして、3次元画像表示部601には、図3のステップS141で算出された特徴部位(鉗子先端位置及びガイドシースマーカ)の位置611が付加表示されたCT画像(3次元画像の断層画像)が表示されている。
このような表示画面600が表示されることにより、術者は、鉗子先端や、ガイドシースマーカをリアルタイムで視認することができる。
図13では、図12における3次元画像表示部601に相当する3次元画像表示部601aのみを示している。図13に示す例では、これまでの手法によって推定された特徴部位の位置が破線(符号612)で示されており、本実施形態による手法で推定された特徴部位の位置が実線(符号611)で示されている。すなわち、破線で示される特徴部位の位置は体動量補正前に推定された位置を示し、実線で示される特徴部位の位置は体動量補正後に推定された位置を示している。
図13のような3次元画像表示部601aが表示されることにより、どの程度体動補正がなされたか否かをユーザが確認することができる。
このように、本実施形態によると、X線撮像システム1による2次元撮像画像と事前に撮像された3次元画像とを用い、病変部及び処置具等の特徴部位の相対位置関係が高精度に認識可能となり、また病変を含む処置具等の特徴部位周辺の構造が高精度に認識可能とすることができる。
上述の実施形態では、画像のフォーマット(データ形式)にDICOMフォーマットを使用しているが、もちろん他のフォーマット、例えばJPEG(Joint Photographic Experts Group)画像やビットマップ画像等のフォーマットを用いることができる。
さらに、本実施形態では、医用画像サーバ2に3次元画像のデータを保存しているが、図示しない治療計画装置と、データ処理装置100とが直接通信し、データファイルを交換してもよい。
また、ネットワークによるデータファイル等の通信を用いる形態を説明したが、データファイルの交換手段として他の記憶媒体、例えばフレキシブルディスクやCD−R等の大容量記憶媒体を用いてもよい。
また、本実施形態では、図3の骨領域減弱処理(S113)の後に、特徴部位の抽出(S114)が行われているが、これに限らない。体動移動量算出処理(S115)の後に、特徴部位抽出部115が、非剛体変換された骨領域減弱X線画像から特徴部位を抽出するようにしてもよい。
また、各実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてよい。
2 医用画像サーバ
100 データ処理装置
101 メモリ
102 CPU
103 通信装置
110 処理部
111 画像取得部(2次元画像取得部、3次元画像取得部)
112 計算投影画像生成部(計算2次元画像生成部)
113 画像位置合わせ部
114 剛体領域減弱部
115 特徴部位抽出部
116 体動移動量算出/補正部(計算剛体領域減弱部、ずれ度算出部、位置算出部)
117 3次元位置算出部(位置算出部)
118 位置マッピング部
119 表示処理部
201 X線源
202 検出器
401 表示装置(表示部)
402 記憶装置
501,501a,501b 撮像X線画像(2次元画像)
502,502a,502b 計算投影画像(計算2次元画像)
503 3次元画像
511 骨領域計算投影画像
521,521a,521b 骨領域減弱X線画像(減弱2次元画像)
531 鉗子先端(特徴部位)
532 ガイドシースマーカ(特徴部位)
541,541a,541b 骨領域減弱計算投影画像(計算減弱2次元画像)
600 表示画面
601,601a 3次元画像表示部
602 第1撮像X線画像表示部
603 第2撮像X線画像表示部
L1,L2 直線
Claims (7)
- 放射線撮像装置によって撮像された画像であり、所定の特徴部位が撮像されている2次元画像と、前記2次元画像を撮像した被検体と同一の被検体を、前記放射線撮像装置とは別の放射線撮像装置で、前記2次元画像とは異なる時刻で撮像された3次元画像とにおいて、前記2次元画像に撮像されている前記特徴部位の前記3次元画像での位置を算出するデータ処理装置であって、
前記2次元画像を取得する2次元画像取得部と、
前記3次元画像を取得する3次元画像取得部と、
前記3次元画像を基に、前記2次元画像に相当する2次元の画像である計算2次元画像を生成する計算2次元画像生成部と、
前記3次元画像を基に、前記2次元画像における剛体領域を減弱して減弱2次元画像を生成する剛体領域減弱部と、
前記3次元画像を基に、前記計算2次元画像から剛体領域を減弱したものに相当する計算減弱2次元画像を生成する計算剛体領域減弱部と、
前記減弱2次元画像と、前記計算減弱2次元画像とを基に、前記減弱2次元画像と、前記計算減弱2次元画像とにおけるずれの度合いを算出するずれ度算出部と、
前記算出されたずれの度合いを基に、前記特徴部位の前記3次元画像での位置を算出する位置算出部と、
前記3次元画像中に前記特徴部位の位置を表示する表示部と、
を有することを特徴とするデータ処理装置。 - 前記表示部は、
前記算出された特徴部位の位置とともに、前記ずれの度合いを考慮せずに算出された前記特徴部位の前記3次元画像での位置を表示する
ことを特徴とする請求項1に記載のデータ処理装置。 - 前記2次元画像は、X線源から照射されたX線を検出器で検出することによって複数撮像され、
前記位置算出部は、
前記2次元画像に撮像されている前記特徴部位を基に、前記2次元画像を撮像した時の前記検出器の位置における、前記補正された特徴部位の位置を算出し、
前記2次元画像を撮像した前記検出器の位置における、前記補正された特徴部位の位置と、前記2次元画像を撮像した時の前記X線源の位置とを結ぶ直線を生成する
ことを各2次元画像に対して行った結果、生成された各直線に対して最も近くなる点を算出し、
該算出された点を基に、前記特徴部位の前記3次元画像中での位置を算出する
ことを特徴とする請求項1に記載のデータ処理装置。 - 前記ずれ度算出部は、
前記減弱2次元画像及び前記計算減弱2次元画像のいずれか一方の画像を所定の歪度で歪曲させ、前記前記減弱2次元画像及び前記計算減弱2次元画像のうち、前記歪曲された画像である歪曲画像と、前記歪曲されていない画像である非歪曲画像との類似度が最大となる前記歪曲画像と、前記非歪曲画像とにおける各画素の移動量を前記ずれの度合いとする
ことを特徴とする請求項1に記載のデータ処理装置。 - 前記2次元画像は複数撮像され、
前記ずれ度算出部は、
前記各画素の移動量の算出を、各2次元画像から生成された減弱2次元画像のそれぞれについて行う
ことを特徴とする請求項4に記載のデータ処理装置。 - 前記2次元画像と、前記計算2次元画像との位置合わせを行うことにより、前記2次元画像と、前記3次元画像との位置合わせを行う画像位置合わせ部
を有することを特徴とする請求項1に記載のデータ処理装置。 - 放射線撮像装置によって撮像された画像であり、所定の特徴部位が撮像されている2次元画像と、前記2次元画像を撮像した被検体と同一の被検体を、前記放射線撮像装置とは別の放射線撮像装置で、前記2次元画像とは異なる時刻で撮像された3次元画像とにおいて、前記2次元画像に撮像されている前記特徴部位の前記3次元画像での位置を算出するデータ処理装置によるデータ処理方法であって、
前記データ処理装置が、
前記2次元画像を取得し、
前記3次元画像を取得し、
前記3次元画像を基に、前記2次元画像に相当する2次元の画像である計算2次元画像を生成し、
前記3次元画像を基に、前記2次元画像における剛体領域を減弱して減弱2次元画像を生成し、
前記3次元画像を基に、前記計算2次元画像から剛体領域を減弱したものに相当する計算減弱2次元画像を生成し、
前記減弱2次元画像と、前記計算減弱2次元画像とを基に、前記減弱2次元画像と、前記計算減弱2次元画像とにおけるずれの度合いを算出し、
前記算出されたずれの度合いを基に、前記特徴部位の前記3次元画像での位置を算出し、
前記3次元画像中に前記特徴部位の位置を表示部に表示する
ことを特徴とするデータ処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016216759A JP6703470B2 (ja) | 2016-11-04 | 2016-11-04 | データ処理装置及びデータ処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016216759A JP6703470B2 (ja) | 2016-11-04 | 2016-11-04 | データ処理装置及びデータ処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018068982A true JP2018068982A (ja) | 2018-05-10 |
JP6703470B2 JP6703470B2 (ja) | 2020-06-03 |
Family
ID=62113206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016216759A Active JP6703470B2 (ja) | 2016-11-04 | 2016-11-04 | データ処理装置及びデータ処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6703470B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020099696A (ja) * | 2018-12-21 | 2020-07-02 | インテリジョイント サージカル インク. | 再配向手術のための術前計画:模擬x線を用いた表面モデルフリーアプローチ |
EP4060604A1 (en) * | 2021-03-16 | 2022-09-21 | Koninklijke Philips N.V. | Method and system to generate modified x-ray images |
JP7565772B2 (ja) | 2020-12-09 | 2024-10-11 | 富士フイルム株式会社 | X線撮像装置及び処置具認識方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007135858A (ja) * | 2005-11-18 | 2007-06-07 | Hitachi Medical Corp | 画像処理装置 |
JP2008086658A (ja) * | 2006-10-04 | 2008-04-17 | Fujifilm Corp | 画像表示装置および画像表示プログラム |
WO2009145170A1 (ja) * | 2008-05-26 | 2009-12-03 | 株式会社 日立メディコ | 医用画像処理装置、医用画像処理方法および医用画像処理プログラム |
JP2011115562A (ja) * | 2009-10-29 | 2011-06-16 | Toshiba Corp | X線撮影装置 |
JP2013141603A (ja) * | 2012-01-12 | 2013-07-22 | Toshiba Corp | 医用画像処理装置、医用画像処理方法および医用画像処理プログラム |
JP2014158628A (ja) * | 2013-02-20 | 2014-09-04 | Univ Of Tokushima | 画像処理装置、画像処理方法、制御プログラム、および記録媒体 |
JP2015217052A (ja) * | 2014-05-15 | 2015-12-07 | 株式会社東芝 | 医用画像処理装置、x線診断装置及び医用画像処理プログラム |
JP2016096902A (ja) * | 2014-11-19 | 2016-05-30 | 株式会社東芝 | 医用画像処理装置、方法、プログラム及び放射線治療装置 |
JP2016178986A (ja) * | 2015-03-23 | 2016-10-13 | 株式会社日立製作所 | 放射線撮像装置、画像処理方法及びプログラム |
-
2016
- 2016-11-04 JP JP2016216759A patent/JP6703470B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007135858A (ja) * | 2005-11-18 | 2007-06-07 | Hitachi Medical Corp | 画像処理装置 |
JP2008086658A (ja) * | 2006-10-04 | 2008-04-17 | Fujifilm Corp | 画像表示装置および画像表示プログラム |
WO2009145170A1 (ja) * | 2008-05-26 | 2009-12-03 | 株式会社 日立メディコ | 医用画像処理装置、医用画像処理方法および医用画像処理プログラム |
JP2011115562A (ja) * | 2009-10-29 | 2011-06-16 | Toshiba Corp | X線撮影装置 |
JP2013141603A (ja) * | 2012-01-12 | 2013-07-22 | Toshiba Corp | 医用画像処理装置、医用画像処理方法および医用画像処理プログラム |
JP2014158628A (ja) * | 2013-02-20 | 2014-09-04 | Univ Of Tokushima | 画像処理装置、画像処理方法、制御プログラム、および記録媒体 |
JP2015217052A (ja) * | 2014-05-15 | 2015-12-07 | 株式会社東芝 | 医用画像処理装置、x線診断装置及び医用画像処理プログラム |
JP2016096902A (ja) * | 2014-11-19 | 2016-05-30 | 株式会社東芝 | 医用画像処理装置、方法、プログラム及び放射線治療装置 |
JP2016178986A (ja) * | 2015-03-23 | 2016-10-13 | 株式会社日立製作所 | 放射線撮像装置、画像処理方法及びプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020099696A (ja) * | 2018-12-21 | 2020-07-02 | インテリジョイント サージカル インク. | 再配向手術のための術前計画:模擬x線を用いた表面モデルフリーアプローチ |
JP7565772B2 (ja) | 2020-12-09 | 2024-10-11 | 富士フイルム株式会社 | X線撮像装置及び処置具認識方法 |
EP4060604A1 (en) * | 2021-03-16 | 2022-09-21 | Koninklijke Philips N.V. | Method and system to generate modified x-ray images |
WO2022194826A1 (en) * | 2021-03-16 | 2022-09-22 | Koninklijke Philips N.V. | Method and system to generate modified x-ray images |
Also Published As
Publication number | Publication date |
---|---|
JP6703470B2 (ja) | 2020-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110120095B (zh) | 用于使用标准荧光镜的局部三维体积重构的系统和方法 | |
JP5207795B2 (ja) | 撮像対象中の対象物をナビゲーションするシステム及び方法 | |
JP6349278B2 (ja) | 放射線撮像装置、画像処理方法及びプログラム | |
CN100591282C (zh) | 用于在患者体内引导医疗器械的系统 | |
JP2966089B2 (ja) | 不均質組織内部における局部手術用対話型装置 | |
KR101049507B1 (ko) | 영상유도수술시스템 및 그 제어방법 | |
CN110123449B (zh) | 使用标准荧光镜进行局部三维体积重建的系统和方法 | |
US20130094742A1 (en) | Method and system for determining an imaging direction and calibration of an imaging apparatus | |
JP5345947B2 (ja) | 対象物を撮像する撮像システム及び撮像方法 | |
JP6559532B2 (ja) | X線透視画像のリアルタイムシミュレーション | |
JP6806655B2 (ja) | 放射線撮像装置、画像データ処理装置及び画像処理プログラム | |
JP2017502807A (ja) | 外科装置及び該使用の方法 | |
JP6637781B2 (ja) | 放射線撮像装置及び画像処理プログラム | |
JP2008126075A (ja) | Ctレジストレーション及びフィードバックの視覚的検証のためのシステム及び方法 | |
JP2008532612A (ja) | 診療処理中の3次元ボリュームデータとの2次元情報の位置合わせのための画像処理システム及び方法 | |
JP2001218765A (ja) | 対象物のビジュアル化方法及びシステム | |
US20180253838A1 (en) | Systems and methods for medical imaging of patients with medical implants for use in revision surgery planning | |
Mirota et al. | Evaluation of a system for high-accuracy 3D image-based registration of endoscopic video to C-arm cone-beam CT for image-guided skull base surgery | |
US20230316550A1 (en) | Image processing device, method, and program | |
CN106725851A (zh) | 用于外科器械重建的图像采集的系统和方法 | |
JP6703470B2 (ja) | データ処理装置及びデータ処理方法 | |
Naik et al. | Feature-based registration framework for pedicle screw trajectory registration between multimodal images | |
US20240346646A1 (en) | System and method for automatically adjusting a position of an imaging system | |
US20230092430A1 (en) | Providing result image data | |
JP2024005113A (ja) | 画像処理装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200421 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6703470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |