JP2004164298A

JP2004164298A - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP2004164298A
Application number: JP2002329578A
Authority: JP
Inventors: Bokuryo Kaku; 睦凌郭
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-11-13
Filing date: 2002-11-13
Publication date: 2004-06-10

Abstract

【課題】２画像間の位置合わせを精度良く行うこと。
【解決手段】２画像間の複数組の対応する２点の情報に基づいて、前記２画像のうちの変換対象画像の部分領域毎に座標変換態様を決定する決定手段と、決定手段により決定された座標変換態様に従って、変換対象画像を部分領域毎に座標変換する座標変換手段とを有する画像処理装置等とする。
【選択図】図５

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理に関する。特に、放射線画像のＣＡＤ（コンピュータ支援診断：ＣｏｍｐｕｔｅｒＡｉｄｅｄＤｉａｇｎｏｓｉｓ）技術等において、差分等の処理の対象となる２つの画像の位置合わせを行う処理に関する。
【０００２】
【従来の技術】
胸部Ｘ線画像の経時差分ＣＡＤ技術によれば、異なる時点に撮影された同一の人体の２つの胸部Ｘ線画像について、人体領域の位置の違い及び呼吸等の要因により生じた肺野等の人体領域の変形を補正したうえで両画像の差分をとることにより、異なる時点の間に生じた病変または病変の変化を差分画像に明確に表示することができる。当該差分画像は、セカンド・オピニオンのように医者に提供されることにより、病変の早期発見や病気の進行又は治癒の状況把握に大いに貢献する。また、差分画像では経時的に変化していない正常な解剖学的構造に対応する信号は相殺又は抑制される。このため、正常な解剖学的構造に隠された病変および病変の変化も表示でき、患者に病状等を分かりやすく説明する場合にも利用できる。
【０００３】
図１に従来の経時差分ＣＡＤ技術における処理の流れを示す。図１において、ステップ１で入力された所定の被写体の第１及び第２画像に対し、ステップ２で胸郭領域を検出（認識）する処理を行う。次に、ステップ３で、検出された肺野（胸郭）の輪郭上において、図２に示すように、特徴となる複数組の対応点を求め、対応点間のシフト量を計算する。ステップ４において、肺野領域の平行移動及び回転、並びに拡大・縮小などの変形を補正するため、第１及び第２画像の一方が前記シフト量に基づいてアフィン変換され、他方の画像に大局的に位置合わせされる。ここで、ステップ３及び４の処理はグローバルマッチング処理等と呼ばれている。
【０００４】
次に、グローバルマッチングがなされた後の２画像に対して、ステップ５で、胸郭内部において、図３に示すような縦横方向に均等な位置で、それぞれ多数のテンプレート関心領域（テンプレートＲＯＩ）および探索関心領域（探索ＲＯＩ）を設定する。次に、ステップ６で、テンプレートＲＯＩを探索ＲＯＩ内で移動しながら、差の自乗和又は相互相関係数等のマッチングの尺度を計算して、最もマッチングのよい位置を探すことにより、両ＲＯＩの中心点間のシフト量を求める。続いて、ステップ７で、得られた複数のシフトベクトルを単一の多項式で近似（内挿補間）し、詳細な位置合わせ情報を得る。ここで、ステップ５〜７の処理は詳細マッチング処理等と呼ばれている。
【０００５】
尚、上述した差の自乗和及び相互相関係数等はマッチング精度（対応度）を表すため、始点座標と横縦大きさ（ｘｙ成分）とを有するシフトベクトルに対しマッチング精度を表す重み付けデータを対応づけることができる。尚、本願明細書では、重み付けが大きいほどマッチング精度が良いものとする。
【０００６】
ここで、アフィン変換又は多項式変換はそれぞれ座標変換であって、対応点間のシフト量に基づいて変換方程式を求め、原画像における画素の座標（ｘ，ｙ）をワーピング後の画像の座標（ｕ，ｖ）に変換するものである。対応点以外のシフトベクトル（△ｘ，△ｙ）＝（ｕ−ｘ，ｖ−ｙ）は、前記２画像の対応する画素の間の座標値の相対的な変位を表す量であり、変換方程式により間接的に求められるものである。よって、対応点間のシフトベクトルを補間することは、ワーピング後の対応点の座標を補間することと実質的に等価である。このため、本願明細書では、座標変換とシフトベクトル補間とは、同一概念のものとして取り扱われることがある。
【０００７】
上述の詳細マッチングの後、ステップ８で、第１及び第２画像の一方をワーピングすることにより他方の画像に位置合わせし、ステップ９で当該位置合わせ後の画像間で差分を行い、差分画像を生成する。
【０００８】
尚、上述のように複数のシフトベクトルを単一の多項式で近似することにより位置合わせ情報を得ることが特許文献１に開示されている。
【０００９】
【特許文献１】
特開平０７−０３７０７４号公報（段落００３９〜００４２）
【００１０】
【発明が解決しようとする課題】
以上説明した経時差分ＣＡＤ技術においては、正確な差分画像を生成し、効果的な診断支援や病変の定量的な測定を行うために、第１及び第２画像の正確な位置合わせ（ワーピング）が重要である。
【００１１】
しかしながら、被写体の呼吸や姿勢等の要因により、異なる時期に撮影された同一被写体の２つの胸部画像には、平行移動、回転及び変倍だけでは補正しきれない複雑な変形が含まれている。よって、グローバルマッチングは、後続の詳細マッチング精度に大きな影響を与えるため、従来のようなアフィン変換では不十分な場合も有り得る。
【００１２】
更に、詳細マッチングにおいては、ＲＯＩマッチングの精度によらず、複数のシフトベクトルを最小自乗誤差法等により単一の多項式（方程式）で近似（補間）するため、得られた補間多項式は、マッチング精度の悪い対応点のシフトベクトルによる影響（ノイズ）をある程度抑制できるものの、近似誤差により、精度良くマッチングしたシフトベクトルと必ずしも合致するとは限らなくなってしまう。この位置ずれは、対応点のマッチング精度が良い場合、差分画像の観察上妨害となるアーティファクトの原因となる。
【００１３】
また、肺野全体を単一の補間多項式で補間するため、画像間で局所的な変形が存在した場合であっても、その変形は補間の影響により抑制されてしまう。さらに、肺野全体において、マッチング精度の悪い少数のＲＯＩが存在することは一般的である。この少数のＲＯＩに関するシフトベクトルが補間多項式に影響を与えるため、差分画像の当該ＲＯＩ近傍の領域でアーティファクトが著しくなる。
【００１４】
また、グローバルマッチングによる位置合わせ段階においても、第１及び第２の画像に対し、複数の対応点間のシフト量（シフトベクトル）に基づいて単一の多項式（アフィン変換係数を含む）を決定し、全対応点のシフト量（シフトベクトル）を求めているため、詳細マッチングの場合と同様の問題がある。
【００１５】
そこで本発明は、以上のような事情を考慮してなされたものであり、２画像間の位置合わせを精度良く行うことを目的とする。
【００１６】
【課題を解決するための手段】
上述の目的を達成するための第１の発明は、対象となる２つの画像の位置合せを行う画像処理装置であって、前記２画像間の複数組の対応する２点の情報に基づいて、前記２画像のうちの変換対象画像の部分領域毎に座標変換態様を決定する決定手段と、前記決定手段により決定された座標変換態様に従って、前記変換対象画像を部分領域毎に座標変換する座標変換手段とを有することを特徴とする画像処理装置である。
【００１７】
第２の発明は、対象となる２つの画像の位置合せを行う画像処理方法であって、前記２画像間の複数組の対応する２点の情報に基づいて、前記２画像のうちの変換対象画像の部分領域毎に座標変換態様を決定する決定工程と、前記決定工程において決定された座標変換態様に従って、前記変換対象画像を部分領域毎に座標変換する座標変換工程とを有することを特徴とする画像処理方法である。
【００１８】
第３の発明は、対象となる２つの画像の位置合せを行う画像処理方法をコンピュータに実行させるためのプログラムであって、前記画像処理方法は、前記２画像間の複数組の対応する２点の情報に基づいて、前記２画像のうちの変換対象画像の部分領域毎に座標変換態様を決定する決定工程と、前記決定工程において決定された座標変換態様に従って、前記変換対象画像を部分領域毎に座標変換する座標変換工程とを有することを特徴とするプログラムである。
【００１９】
本発明の他の目的、特徴若しくは優位性等、又は他の発明は、添付図面を参照してなされた後述の説明から明らかにされるが、以下に代表的な他の発明のいくつかを示す。
【００２０】
第４の発明は、前記対応する２点の情報は、前記対応する２点の位置の情報、前記対応する２点によって決まるベクトルの情報、及び前記対応する２点の対応度の情報の少なくとも１つを含むことを特徴とする前記第１の発明に従った画像処理装置である。
【００２１】
第５の発明は、前記部分領域は、前記変換対象画像をその部分領域の属性に基づき分割することにより得られることを特徴とする前記第１の発明に従った画像処理装置である。
【００２２】
第６の発明は、前記座標変換手段は多項式変換を行うことを特徴とする前記第１の発明に従った画像処理装置である。
【００２３】
第７の発明は、前記決定手段は前記多項式変換における多項式の項数及び係数を決定することを特徴とする前記第６の発明に従った画像処理装置である。
【００２４】
第８の発明は、前記座標変換手段は前記対応する２点によって決まるベクトルを補間することを特徴とする前記第１の発明に従った画像処理装置である。
【００２５】
第９の発明は、前記決定手段は前記ベクトル補間の対象となる前記ベクトルを、前記対応する２点の対応度の情報に基づいて決定することを特徴とする前記第８の発明に従った画像処理装置である。
【００２６】
第１０の発明は、前記座標変換手段は多項式変換及び前記対応する２点によって決まるベクトルの補間を選択的に行うことを特徴とする前記第１の発明に従った画像処理装置である。
【００２７】
第１１の発明は、前記決定手段は、前記対応点の位置分布態様及び前記対応する２点の対応度の情報に基づいて、前記多項式変換及び前記ベクトル補間のいずれが行われるべきかを決定することを特徴とする前記第１０の発明に従った画像処理装置である。
【００２８】
第１２の発明は、対象となる２つの画像の位置合せを行う画像処理装置であって、前記２画像間の複数組の対応する２点の情報に基づいて、前記対応する２点によって決まるベクトルを補間する補間手段を有し、前記補間手段は前記ベクトルを不変に維持することを特徴とする画像処理装置である。
【００２９】
第１３の発明は、前記対応する２点の情報は、前記対応する２点の位置の情報、前記対応する２点によって決まるベクトルの情報、及び前記対応する２点の対応度の情報の少なくとも１つを含むことを特徴とする前記第２の発明に従った画像処理方法である。
【００３０】
第１４の発明は、前記部分領域は、前記変換対象画像をその部分領域の属性に基づき分割することにより得られることを特徴とする前記第２の発明に従った画像処理方法である。
【００３１】
第１５の発明は、前記座標変換工程において多項式変換が行われることを特徴とする前記第２の発明に従った画像処理方法である。
【００３２】
第１６の発明は、前記決定工程において前記多項式変換における多項式の項数及び係数が決定されることを特徴とする前記第１５の発明に従った画像処理方法である。
【００３３】
第１７の発明は、前記座標変換工程において前記対応する２点によって決まるベクトルが補間されることを特徴とする前記第２の発明に従った画像処理方法である。
【００３４】
第１８の発明は、前記決定工程において前記ベクトル補間の対象となる前記ベクトルが、前記対応する２点の対応度の情報に基づいて決定されることを特徴とする前記第１７の発明に従った画像処理方法である。
【００３５】
第１９の発明は、前記座標変換工程において多項式変換及び前記対応する２点によって決まるベクトルの補間が選択的に行われることを特徴とする前記第２の発明に従った画像処理方法である。
【００３６】
第２０の発明は、前記決定工程において、前記対応点の位置分布態様及び前記対応する２点の対応度の情報に基づいて、前記多項式変換及び前記ベクトル補間のいずれが行われるべきかが決定されることを特徴とする前記第１９の発明に従った画像処理方法である。
【００３７】
第２１の発明は、対象となる２つの画像の位置合せを行う画像処理方法であって、前記２画像間の複数組の対応する２点の情報に基づいて、前記対応する２点によって決まるベクトルを補間する補間工程を有し、前記補間工程において、前記ベクトルが不変に維持されることを特徴とする画像処理方法である。
【００３８】
第２２の発明は、前記対応する２点の情報は、前記対応する２点の位置の情報、前記対応する２点によって決まるベクトルの情報、及び前記対応する２点の対応度の情報の少なくとも１つを含むことを特徴とする前記第３の発明に従ったプログラムである。
【００３９】
第２３の発明は、前記部分領域は、前記変換対象画像をその部分領域の属性に基づき分割することにより得られることを特徴とする前記第３の発明に従ったプログラムである。
【００４０】
第２４の発明は、前記座標変換工程において多項式変換が行われることを特徴とする前記第３の発明に従ったプログラムである。
【００４１】
第２５の発明は、前記決定工程において前記多項式変換における多項式の項数及び係数が決定されることを特徴とする前記第２４の発明に従ったプログラムである。
【００４２】
第２６の発明は、前記座標変換工程において前記対応する２点によって決まるベクトルが補間されることを特徴とする前記第３の発明に従ったプログラムである。
【００４３】
第２７の発明は、前記決定工程において前記ベクトル補間の対象となる前記ベクトルが、前記対応する２点の対応度の情報に基づいて決定されることを特徴とする前記第２６の発明に従ったプログラムである。
【００４４】
第２８の発明は、前記座標変換工程において多項式変換及び前記対応する２点によって決まるベクトルの補間が選択的に行われることを特徴とする前記第３の発明に従ったプログラムである。
【００４５】
第２９の発明は、前記決定工程において、前記対応点の位置分布態様及び前記対応する２点の対応度の情報に基づいて、前記多項式変換及び前記ベクトル補間のいずれが行われるべきかが決定されることを特徴とする前記第２８の発明に従ったプログラムである。
【００４６】
第３０の発明は、対象となる２つの画像の位置合せを行う画像処理方法をコンピュータに実行させるためのプログラムであって、前記画像処理方法は、前記２画像間の複数組の対応する２点の情報に基づいて、前記対応する２点によって決まるベクトルを補間する補間工程を有し、前記補間工程において、前記ベクトルが不変に維持されることを特徴とするプログラムである。
【００４７】
【発明の実施の形態】
（第１の実施形態）
図５は第１の実施形態としての画像処理装置の構成を示し、図１２は当該画像処理装置における処理の流れを示す図である。ここで、処理対象の画像は異なる時点に撮影された同一人体の２つの胸部放射線画像であるものとする。第１の実施形態では、シフトベクトルを補間するための内挿補間処理は、２次元多項式補間を用いるものとする。以下、図５及び図１２で示される画像処理装置の構成及び当該画像処理装置における処理の流れを説明する。
【００４８】
まず、従来方式と同様に、不図示の入力部により第１及び第２の胸部放射線画像が入力され（ステップＳ１０１）、不図示の胸郭検出部により、各画像の胸郭領域が検出（認識）され、それぞれにテンプレートＲＯＩ、探索ＲＯＩの中心点が、図３に示すように、胸郭内部に均等に配置される（ステップＳ１０２）。次に、グローバルマッチング又は詳細マッチングとして、従来方式と同様に、テンプレートＲＯＩと探索ＲＯＩとの間のマッチング処理を行い、複数のシフトベクトルを求める（ステップＳ１０３）。
【００４９】
次に、領域分離処理部１０１は、図４に示すように、４つのシフトベクトルの始点（例えば、図４のＡ、Ｂ、Ｃ、Ｄ）により決まる矩形領域をシフトベクトル補間の対象領域とし、矩形領域毎に該矩形領域を中心とした縦ｎ×横ｎの矩形領域のシフトベクトルを分離する（ステップＳ１０４）。
【００５０】
シフトベクトルアナライザ１０３はステップＳ１０４で分離されたシフトベクトルを解析する。シフトベクトルアナライザ１０３において、まず、係数マトリクス計算部１０３１が、補間多項式を決定するため、項数決定部１０３５により設定された初期値を多項式変換における基底項の項数として、入力されたシフトベクトルに基づいて、（１）式に示す方程式を生成する（ステップＳ１０５）。
【００５１】
【外１】

【外２】

【００５２】
を意味しており、Ｍはサンプル点（シフトベクトル）の数である。ｘ及びｙは多項式変換される一方の画像中の点の直交座標（シフトベクトルの始点の座標）である。ｕは他方の画像中の対応する点の横方向座標であり、シフトベクトルを用いて求められる。補間多項式は、基底項の最高次数が２次の場合、（２）式のとおりである。
【００５３】
【外３】

【００５４】
方程式（１）を解くことにより、補間多項式（２）を決定でき、他方の画像中の対応する点の縦方向座標ｖ（ｘ，ｙ）を表わす補間多項式も同様にして決定できる。
【００５５】
ＬＵ分解部１０３２は、方程式（１）を解くため、方程式（１）における係数マトリクスを下三角行列と上三角行列の積に分解する（ステップＳ１０６）。
【００５６】
基底多項式係数計算部１０３３は、下三角行列と上三角行列を用い、方程式（１）に対し前進代入と後退代入を行い、多項式の各基底の係数を計算する（ステップＳ１０７）。
【００５７】
続いて、誤差分析部１０３４は、求められた係数を用いて、各サンプル点について多項式変換を行い、変換後の点と各サンプルの対応点との間の位置（座標）の誤差を計算する（ステップＳ１０８）。
【００５８】
項数決定部１０３５は、総合的な誤差が所定の評価基準を満たす（例えば、所定の閾値以下である）か否か判断を行う（ステップＳ１０９）。ここで、総合的な誤差が所定の評価基準を満たす場合、現時点の多項式の項数と求められた係数とが項数決定部１０３５から多項式内挿補間部１０２に出力されると共に、処理がステップＳ１１１に進められる。また、総合的な誤差が所定の評価基準を満たさない（例えば、所定の閾値より大きい）場合、項数決定部１０３５は項数を１増やすよう係数マトリクス計算部１０３１へ指示する（ステップＳ１１０）。
【００５９】
項数決定部１０３５から当該指示がなされた場合、項数を１増やしたうえで、ステップＳ１０５〜Ｓ１０９までの処理が繰り返される。予め決められた最大項数Ｋまで、総合誤差が所定の評価基準を満たさない（例えば、所定の閾値以下に収まらない）場合、最大項数Ｋ、及び最大項数Ｋの条件下で求められた多項式の係数が項数決定部１０３５から多項式内挿補間部１０２に出力されると共に、処理がステップＳ１１１に進められる。尚、多項式は、以下のような順序で基底項
【外４】

【００６０】
の数を増加させていくものとする。
１，ｘ，ｙ，ｘｙ，
ｘ^２，ｙ^２，ｘ^２ｙ，ｘｙ^２，ｘ^２ｙ^２，
ｘ^３，ｙ^３，ｘ^３ｙ，ｘｙ^３，ｘ^３ｙ^２，ｘ^２ｙ^３，ｘ^３ｙ^３，
ｘ^４，ｙ^４，ｘ^４ｙ，ｘｙ^４，ｘ^４ｙ^２，ｘ^２ｙ^４，ｘ^４ｙ^３，ｘ^３ｙ^４，ｘ^４ｙ^４，
ｘ^５，ｙ^５，ｘ^５ｙ，ｘｙ^５，ｘ^５ｙ^２，ｘ^２ｙ^５，ｘ^５ｙ^３，ｘ^３ｙ^５，ｘ^５ｙ^４，ｘ^４ｙ^５，ｘ^５ｙ^５，
ｘ^６，ｙ^６，ｘ^６ｙ，ｘｙ^６，ｘ^６ｙ^２，ｘ^２ｙ^６，ｘ^６ｙ^３，ｘ^３ｙ^６，ｘ^６ｙ^４，ｘ^４ｙ^６，ｘ^６ｙ^５，ｘ^５ｙ^６，ｘ^６ｙ^６，
… …
基底項は、ｘ又はｙの最高次数の小さい項から大きい項へと並び、当該最高次数が同じ場合、総合次数の小さい項から大きい項へと並ぶ。
【００６１】
多項式内挿補間部１０２は、項数決定部１０３５から得た多項式の項数と係数とに基づいて、シフトベクトルの補間処理を行う（ステップＳ１１１）。
【００６２】
続いて、対象画像の全領域についての処理が完了したか否かを判定し（ステップＳ１１２）、当該判定結果に応じてステップＳ１０４〜Ｓ１１１の処理を繰り返す。
【００６３】
以上のように、第１の実施形態では、所定の領域毎にシフトベクトルを多項式補間するようにし、かつ当該領域毎に、当該補間の結果（誤差）に応じて、補間に用いる多項式の次数を決定しているため、処理時間を過度に増加させることなく、より正確な多項式変換又は位置合わせを行うことができる。
【００６４】
本実施形態の処理がグローバルマッチングに用いられた場合、本処理の後、従来技術と同様に、テンプレートＲＯＩ及び探索ＲＯＩが設定され、当該ＲＯＩ間で詳細マッチングが行われる。本処理が詳細マッチングに用いられた場合、本処理の後、第１及び第２の画像の一方がワーピングされ、ワーピング後の２画像間の差分演算により、差分画像が生成される。
【００６５】
（第２の実施形態）
第２の実施形態の画像処理装置および当該画像処理装置における処理の流れをそれぞれ図６及び図１３に示す。処理対象の画像は第１の実施形態と同様である。本実施形態では、シフトベクトルの内挿補間処理にキュービック・スプライン（ＣｕｂｉｃＳｐｌｉｎｅ）補間を用いる。
【００６６】
以下、図６及び図１３で示される画像処理装置の構成及び当該画像処理装置における処理の流れを説明する。
【００６７】
領域分離処理部２０１の機能は第１の実施形態の領域分離処理部１０１と同様であり、また、ステップＳ２０１からＳ２０４までの処理は第１の実施形態におけるステップＳ１０１からＳ１０４までの処理と同様であるため、説明を省略する。
【００６８】
シフトベクトルアナライザ２０３はステップＳ２０４で分離されたシフトベクトルを解析する。シフトベクトルアナライザ２０３において、閾値比較処理部２０３１は、入力されたシフトベクトルの重み付けデータを所定の閾値と比較し、閾値より大きい場合、該シフトベクトルのデータを採用し後段のシフトベクトル選定処理部２０３２に引き渡し、閾値より小さい場合、該シフトベクトルのデータを採用せずシフトベクトル選定処理部２０３２には引き渡さないようにする（ステップＳ２０５）。
【００６９】
次に、シフトベクトル選定処理部２０３２は、閾値比較処理部２０３１により採用されたシフトベクトルを特定するためのインデクス情報を内挿補間処理部２０２に出力する（ステップＳ２０６）。
【００７０】
内挿補間処理部２０２は、ステップＳ２０６において採用されたシフトベクトルに対しキュービック・スプライン補間を行う（ステップＳ２０７）。２次元のデータに対し、横方向ｎ行を補間した後、縦方向ｍ列を補間する。その結果、図４に示される４つのサンプル点（シフトベクトル）Ａ、Ｂ、Ｃ、Ｄにより決まる矩形領域内に、ｍ×ｍ個のベクトルが計算される。
【００７１】
続いて、対象画像の全領域についての処理が完了したか否かを判定し（ステップＳ２０８）、当該判定結果に応じてステップＳ２０４〜Ｓ２０７の処理を繰り返す。
【００７２】
ここで、キュービック・スプライン法は、それぞれの区間
【外５】

【００７３】
に対して、一つの３次曲線を与え、これらの３次曲線を円滑に接続するものである。ここで、当該３次曲線は以下のように表せる。
【００７４】
【外６】

【００７５】
そして、キュービック・スプライン補間曲線の係数Ａ_３，Ａ_２，Ａ_１，Ａ_０は、サンプル点ｘ_０，ｘ_１，・・・ｘ_ｎ−１に対し上述のように各区間を定義し、キュービック・スプライン補間曲線に対する次の３つの条件から求めることができる。
【００７６】
１）各サンプル点を通ること。
【００７７】
１）各サンプル点の左右の区間における１次および２次導関数が等しいこと。
２）サンプル点での１次導関数の拘束条件、すなわち次式を満たすこと。
【００７８】
【外７】

【００７９】
３）ｎｏｔ−ａ−ｋｎｏｔの拘束条件、すなわちｘ_１およびｘ_ｎ−２での３次導関数ｙ’’’が連続であること。
【００８０】
このように、キュービック・スプライン補間法によれば、相隣るサンプル点毎に一つの低次多項式でシフトベクトルを補間し、かつ、サンプル点のシフトベクトルを変更しないため、マッチング精度（対応度）の良いシフトベクトルのマッチング度を保存することができる。
【００８１】
以上説明したように第２の実施形態では、シフトベクトルをキュービック・スプライン補間するため、サンプル点のシフトベクトルは補間処理に拘らず不変とすることができる。よって、シフトベクトルの精度が十分良ければ、正確な位置合わせを行うことができる。また、シフトベクトルは所定の部分領域毎に補間されるため、画像の局所的な移動又は変形に対応することができる。更に、マッチング精度の低いシフトベクトルがあっても、その影響が抑制されるため、当該シフトベクトルに対応するサンプル点の周辺でも、より正確なシフトベクトル補間又は位置合わせを行うことができる。
【００８２】
（第３の実施形態）
第３の実施形態の画像処理装置および当該画像処理装置における処理の流れをそれぞれ図７及び図１４に示す。処理対象の画像は第１の実施形態と同様である。本実施形態では、シフトベクトルの内挿補間処理に多項式補間及びキュービック・スプライン補間を選択的に用いる。
【００８３】
以下、図７及び図１４で示される画像処理装置の構成及び当該画像処理装置における処理の流れを説明する。
【００８４】
領域分離処理部３０１の機能は第１の実施形態の領域分離処理部１０１と同様であり、また、ステップＳ３０１からＳ３０４までの処理は第１の実施形態におけるステップＳ１０１からＳ１０４までの処理と同様であるため、説明を省略する。
【００８５】
シフトベクトルアナライザ３０５はステップＳ２０４で分離されたシフトベクトルを解析する。シフトベクトルアナライザ３０５において、シフトベクトル位置分布判定部３０５１は、シフトベクトルが図２に示すように疎らに分布するか、あるいは図３に示すように均等に分布するかを判定し、判定結果を次段の内挿補間方式決定部３０５３に出力する（ステップＳ３０５）。
【００８６】
マッチング精度パラメータ計算部３０５２は、シフトベクトルに対応付けられた重み付けデータに基づいて、対象領域のマッチング精度を表すパラメータを算出し、当該パラメータを内挿補間方式決定部３０５３に出力する（ステップＳ３０６）。
【００８７】
続いて、内挿補間方式決定部３０５３は、シフトベクトル位置分布判定部３０５１の判定結果とマッチング精度パラメータ計算部３０５２からの精度パラメータとに基づいて、シフトベクトルに適した内挿補間方式、すなわち、多項式内挿補間部３０３又はキュービック・スプライン内挿補間部３０４のどちらで補間を行うかを決定し、当該決定に従ってセレクタ３０２、３０６及び３０５６を制御する（ステップＳ３０７）。
【００８８】
内挿補間方式決定部３０５３の決定に応じて、以降の処理ルートが分岐する（ステップＳ３０８）。内挿補間方式決定部３０５３により多項式補間が選択された場合、変形程度パラメータ計算部３０５４は、対象領域の変形程度又は幾何学変換を表すパラメータとして、補間多項式の基底項の数と各基底項の係数とを算出し、当該パラメータを多項式内挿補間部３０３に出力する（ステップＳ３０９）。多項式内挿補間部３０３は変形程度パラメータ計算部３０５４からのパラメータに基づいて対象領域のシフトベクトルを補間する（ステップＳ３１０）。
【００８９】
内挿補間方式決定部３０５３によりキュービック・スプライン補間が選択された場合、シフトベクトル選定処理部３０５５は、重み付けデータに基づいてマッチング精度のよいシフトベクトルを選択し、選択されたシフトベクトルをキュービック・スプライン内挿補間部３０４に出力する（ステップＳ３１１）。キュービック・スプライン内挿補間部３０４はシフトベクトル選定処理部３０５５からのシフトベクトルに基づいて、対象領域のシフトベクトルを補間する（ステップＳ３１２）。
【００９０】
続いて、対象画像の全領域についての処理が完了したか否かを判定し（ステップＳ３１３）、当該判定結果に応じてステップＳ３０４〜Ｓ１１２における必要な処理を繰り返す。
【００９１】
多項式内挿補間部３０３又はキュービック・スプライン内挿補間部３０４により補間されたシフトベクトルはセレクタ３０６を介して出力される。
【００９２】
尚、図８は内挿補間方式決定部３０５３において内挿補間方式（内挿補間部）が決定される際のロジックを示す表である。シフトベクトル位置分布判定部３０５１が、シフトベクトルが図３のように多数均等に分布すると判定し、且つマッチング精度パラメータ計算部３０５２によるマッチング精度が（例えば、所定の閾値より）良い場合、内挿補間方式決定部３０５３はキュービック・スプライン内挿補間部３０３を選択する。他の場合、内挿補間方式決定部３０５３は多項式内挿補間部３０２を選択する。
【００９３】
また、シフトベクトル位置分布判定部３０５１は、シフトベクトルが図３に示すようなグリッド上に在るか否かを判定する。その判定処理の具体な流れの例を図９のフローチャートに示す。まず、ステップ３０５１１で、各行のシフトベクトルの数（総数）を計数する。次に、ステップ３０５１２で、孤立シフトベクトル数Ｐと連続シフトベクトル数Ｑを計数する。続いて、ステップ３０５１３で、ＰとＱとの比と閾値Ｔとを比較し、Ｔの方が小さい場合、ステップ３０５１６へ処理を進め、Ｔの方が大きい場合、ステップ３０５１４へ処理を進める。ステップ３０５１６では、ランドマーク分布との判定がなされる。
【００９４】
ステップ３０５１４では、行毎に、最も長く連続するシフトベクトルの個数とシフトベクトル総数との比を計算する。次いで、ステップ３０５１５で、各行の比が一致するか否かを判定する。一致しない場合、ステップ３０５１６へ処理が進められ、ランドマーク分布との判定がなされる。一致する場合には、ステップ３０５１７へ処理が進められ、多数均等的分布との判定がなされる。
【００９５】
更に、マッチング精度パラメータ計算部３０５２は、より具体的には例えば、シフトベクトルの重み付けデータの平均値を算出する。そして、内挿補間方式決定部３０５３は、より具体的には例えば、当該平均値が所定閾値以上であればマッチング精度が良い、そうでなければマッチング精度が悪いとの判断を行う。
【００９６】
以上説明したように本実施形態では、シフトベクトルの分布の態様に応じて補間方法を選択でき、また、シフトベクトルを得た際のマッチング精度に応じて補間方法を選択できるため、グローバルマッチング及び詳細マッチングのいずれであるかに拘らず、適切なシフトベクトル補間又は位置合わせを行うことができる。
【００９７】
（第４の実施形態）
以上の実施形態においては、均等に分割された領域毎にシフトベクトルの補間が行われたが、本実施形態では、画像の特徴に応じて分割された領域毎にシフトベクトルの補間が行われる。本実施形態を図１０及び１１を参照しながら説明する。
【００９８】
図１０は領域分割された胸部Ｘ線画像の例を示したものである。同図において、Ａは胸郭領域を示し、さらに胸郭領域Ａは右肺領域Ｂ、左肺領域Ｃ及び縦隔・心領域Ｄに領域分割されている。
【００９９】
このように領域分割を行う方法としては、例えば、対象画像の画素値ヒストグラムを作成し、当該ヒストグラムを解析することにより、胸郭領域を粗く抽出し、抽出された胸郭領域近傍の画像信号に対し、解剖学的領域の輪郭に対応した複数のエッジ点を抽出する処理を行い、これらのエッジ点を曲線で接続する方法等を採用することができる。
【０１００】
本実施形態においては、シフトベクトルの補間方法は、図１０のように分割された解剖学的領域に応じて決定される。ここで、肺野領域Ｂ及びＣでは、肋骨や血管等の輪郭での急峻なエッジが多く含まれるためにシフトベクトルを求める際のテンプレート・マッチングの精度は一般的に高い。一方、縦隔・心領域Ｂにおいては、全体的に信号の変化に乏しいため、相対的に当該精度は低い。
【０１０１】
したがって、シフトベクトルの補間方法として、肺野領域Ｂ及びＣについてはキュービック・スプライン補間が選択され、縦隔・心領域Ｄについては多項式補間が選択される。尚、同じ肺野領域であっても、左右肺の変形の態様又は程度の相違により、各領域のシフトベクトルを得る際のマッチング精度が大幅に相違する場合もある。従って、各領域の当該マッチング精度（重み付けデータ）をも参照することにより、当該マッチング精度に応じて、肺野領域Ｂ及びＣの少なくとも一方に対して、多項式補間を選択することも可能である。このようにして、対象画像の部分的な領域及び／又は特徴に応じて、シフトベクトルの補間処理を適切に行うことができる。
【０１０２】
また、領域分割は、シフトベクトルの性質（例えば、シフトベクトルを得る際のマッチング精度、シフトベクトルの向き及び／又は大きさの類似度又は分散値、等）に基づいて、同様の性質のシフトベクトルを同一の領域にまとめるようにして行うこともできる。その一例を図１１に示す。この例では、マッチング精度に基づき（例えば、マッチング精度と所定閾値との大小関係に基づき）、胸郭領域Ａが、肺野領域を含む領域Ｂと肺野領域を含まない領域Ｃとに分割されている。
【０１０３】
（他の実施形態）
第１乃至３の実施形態では、補間方法として、２次元多項式補間及び／又はキュービック・スプライン補間を用いた。しかし、補間方法として、例えば、一次元多項式補間、キュービック・コンボリューション（ＣｕｂｉｃＣｏｎｖｏｌｕｔｉｏｎ）補間、ビー・スプライン（Ｂ−Ｓｐｌｉｎｅ）補間等、他の公知の補間方法を適宜採用することもできる。
【０１０４】
更に、図１５にその構成を模式的に示すように、３種以上の内挿補間部（内挿補間方式１、５０４〜内挿補間方式ｎ、５０６）と、画像の部分領域毎のシフトベクトルの分布又は属性等に応じて、当該３種以上の内挿補間部から１つの内挿補間部を選択するように適合させたシフトベクトルアナライザ５０２とを含むように、第３の実施形態の画像処理装置の構成を変更することができる。尚、同図において、領域分離処理部５０１並びにセレクタ５０３及び５０７は、それぞれ第３の実施形態における領域分離処理部３０１並びにセレクタ３０２及び３０６と同様の機能を有するものである。
【０１０５】
尚、本発明の目的は、実施形態１〜４他のいずれかの装置又はシステムの機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、装置又はシステムに供給し、その装置又はシステムのコンピュータ（ＣＰＵ又はＭＰＵ等）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
【０１０６】
この場合、記憶媒体から読み出されたプログラムコード自体が実施形態１〜４他のいずれかの機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明の実施態様を構成することとなる。
【０１０７】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【０１０８】
また、コンピュータが読み出したプログラムコードを実行することにより、実施形態１〜４他のいずれかの機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等を利用して実際の処理の一部又は全部が行われ、その処理によって実施形態１〜４他のいずれかの機能が実現される場合も本発明の実施の態様に含まれることは言うまでもない。
【０１０９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニット等に備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニット等に備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって実施形態１〜４他のいずれかの機能が実現される場合も本発明の実施の態様に含まれることは言うまでもない。
【０１１０】
このようなプログラム又は当該プログラムを格納した記憶媒体に本発明が適用される場合、当該プログラムは、例えば、上述の図１２、１３又は１４等に示されるフローチャートに対応したプログラムコードから構成される。
【０１１１】
【発明の効果】
以上説明したように本発明によれば、２画像間の位置合わせを精度良く行うことができる。
【図面の簡単な説明】
【図１】従来の経時差分ＣＡＤ処理の流れ
【図２】グローバルマッチング処理のためのランドマーク状の対応点分布
【図３】詳細マッチング処理のための多数均等的な対応点（ＲＯＩ）分布
【図４】シフトベクトルを補間するための領域
【図５】第１の実施形態の画像処理装置の構成
【図６】第２の実施形態の画像処理装置の構成
【図７】第３の実施形態の画像処理装置の構成
【図８】第３の実施形態における補間方式決定ロジック
【図９】対応点分布の判定処理の流れ
【図１０】解剖学的構造に基づく領域分割
【図１１】シフトベクトルの性質に基づく領域分割
【図１２】第１の実施形態の処理の流れを示すフローチャート
【図１３】第２の実施形態の処理の流れを示すフローチャート
【図１４】第３の実施形態の処理の流れを示すフローチャート
【図１５】他の実施形態の画像処理装置の構成
【符号の説明】
１０１、２０１、３０１、５０１領域分離処理部
１０３、２０３、３０５、５０２シフトベクトルアナライザ
１０２、３０３多項式内挿補間部
２０２、３０４キュービック・スプライン内挿補間部

Claims

対象となる２つの画像の位置合せを行う画像処理装置であって、
前記２画像間の複数組の対応する２点の情報に基づいて、前記２画像のうちの変換対象画像の部分領域毎に座標変換態様を決定する決定手段と、
前記決定手段により決定された座標変換態様に従って、前記変換対象画像を部分領域毎に座標変換する座標変換手段と
を有することを特徴とする画像処理装置。
対象となる２つの画像の位置合せを行う画像処理方法であって、
前記２画像間の複数組の対応する２点の情報に基づいて、前記２画像のうちの変換対象画像の部分領域毎に座標変換態様を決定する決定工程と、
前記決定工程において決定された座標変換態様に従って、前記変換対象画像を部分領域毎に座標変換する座標変換工程と
を有することを特徴とする画像処理方法。
対象となる２つの画像の位置合せを行う画像処理方法をコンピュータに実行させるためのプログラムであって、前記画像処理方法は、
前記２画像間の複数組の対応する２点の情報に基づいて、前記２画像のうちの変換対象画像の部分領域毎に座標変換態様を決定する決定工程と、
前記決定工程において決定された座標変換態様に従って、前記変換対象画像を部分領域毎に座標変換する座標変換工程と
を有することを特徴とするプログラム。