JP2002032764A - 画像の位置合わせ方法および装置 - Google Patents

画像の位置合わせ方法および装置

Info

Publication number
JP2002032764A
JP2002032764A JP2001105537A JP2001105537A JP2002032764A JP 2002032764 A JP2002032764 A JP 2002032764A JP 2001105537 A JP2001105537 A JP 2001105537A JP 2001105537 A JP2001105537 A JP 2001105537A JP 2002032764 A JP2002032764 A JP 2002032764A
Authority
JP
Japan
Prior art keywords
area
template
region
image
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001105537A
Other languages
English (en)
Other versions
JP4274400B2 (ja
Inventor
Satoru Osawa
哲 大沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2001105537A priority Critical patent/JP4274400B2/ja
Priority to US09/853,659 priority patent/US6751341B2/en
Publication of JP2002032764A publication Critical patent/JP2002032764A/ja
Application granted granted Critical
Publication of JP4274400B2 publication Critical patent/JP4274400B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors

Abstract

(57)【要約】 【課題】 画像の位置合わせ装置において、比較対象と
なる2つの画像の位置ずれを従来よりもさらに抑制可能
としつつ、画像自体の不自然に歪むことを防止する。 【解決手段】 同一被写体についての2つの画像P1,
P2に対して、テンプレート領域およびそのテンプレー
ト領域の画像と一致程度が高い部分領域を探索するため
の探索領域を、順次小さくして、段階的にシフト量(移
動量)を算出し、最終的に得られたテンプレート領域と
部分領域との対応位置関係(シフト量)に基づいて、両
画像が略一致するように位置合わせ処理する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像の位置合わせ方
法および位置合わせ装置に関し、詳細には、同一被写体
についての2つの画像の位置合わせの改良に関するもの
である。
【0002】
【従来の技術】従来より、同一被写体についての2以上
の画像を比較読影して、両画像間の差異を調べ、その差
異に基づいて被写体の検査などを行うことが、種々の分
野において行われている。
【0003】例えば工業製品の製造分野においては、あ
る製品について新品の状態の時に撮影された画像と、当
該製品の耐久試験後に撮影された画像とを比較読影し
て、両者の差異の大きな部位に注目することにより、製
品の耐久性を向上させるべき部位を検討することが行わ
れており、また医療分野においては、ある患者の疾患部
位について時系列的に撮影された複数枚の放射線画像を
医師が比較読影することにより、当該疾患の進行状況や
治癒状況を把握して治療方針を検討することが行われて
いる。
【0004】このように2以上の画像を比較読影するこ
とが日常的に各種の分野で行われているが、その比較読
影のために、これら2以上の画像を画像表示装置等に表
示させる場合がある。すなわち画像を濃度信号や輝度信
号に変換したうえで、画像表示装置等に表示し、または
プリンターによりフイルム等の媒体に出力するのであ
る。
【0005】ここで比較読影の対象となる2以上の画像
を出力する場合、それらの画像を単に並べて出力するの
が一般的であるが、比較読影を行なう場合に読影者にと
って最も関心があるのはこれらの画像間の差異である。
しかし、上述したように例えば2つの画像を単に並べて
この差異を発見するのは、その差異が小さい程困難であ
り、比較読影の性能向上が求められている。
【0006】そこで一般的には、比較読影の対象とされ
る2以上の画像間で画素を対応させた減算処理をはじめ
とした画像間演算を行なって、上記差異を抽出・強調す
ることが行われる。このように画像間の差異のみが抽出
・強調されることにより、読影者に対して画像間の差異
を確実に視認させることができるため、進行または治癒
する病変部の見落としを防止することができると考えら
れる。
【0007】ところでこの画像間演算の前提となるの
は、比較対象すなわち画像間演算の対象となる2つの画
像間で精度良く位置合わせがなされている必要がある。
精度よく位置合わせがなされていないと、画素を対応さ
せた画像間演算により画像中の構造物のアーティファク
トが生じるからである。
【0008】一方、比較対象となる2つの画像は、時系
列的に同時に撮影された画像だけでなく、時間的に離れ
た2つの時点でそれぞれ取得されたものである場合も多
く、それぞれの取得時における被写体の撮影体位のずれ
や誤差等により、2つの画像間には特に位置ずれを有し
ていることが多い。したがって、画像間演算に先立っ
て、これらの位置ずれを予め補正する必要がある。
【0009】そこで比較対象となる同一被写体について
の2つの画像のうち少なくとも一方の画像に多数の小領
域であるテンプレート領域を設定するとともに、他方の
画像に、前記各テンプレート領域にそれぞれ対応する、
該各テンプレート領域よりも大きい領域の探索領域を設
定し、互いに対応する前記テンプレート領域および前記
探索領域の各組において、前記テンプレート領域と画像
が略一致する、探索領域内の部分領域を求め、前記一方
の画像における各テンプレート領域と前記他方の画像に
おける各部分領域との対応位置関係に基づいて、両領域
が略一致するように、両画像のうちいずれか一方の画像
に対して非線形歪変換(例えば2次元多項式によるカー
ブフィッティングを用いた非線形歪み変換等)処理(ワ
ーピング)を施す画像の位置合わせ方法が提案されてい
る(特開平7-37074 号、同8-335721号等)。
【0010】またこの位置合わせ方法においては、局所
的な位置合わせを行なうのに先立って、回転および/ま
たは平行移動するアフィン変換等の線形変換を施すこと
により、予めある程度の位置合わせを行なうことも提案
されている。
【0011】
【発明が解決しようとする課題】しかしながら、例えば
胸部放射線画像における肋骨のように、近接する局所間
に類似のテクスチャーが存在する場合には、上述した位
置合わせによってもなお局所領域において位置ずれが残
る場合がある。
【0012】また、上述した局所領域ごとに対応する位
置を求める場合、テンプレート領域を小さく設定するほ
ど位置合わせ精度を高めることができるため、テンプレ
ート領域を可及的に小さく設定することが好ましいが、
位置合わせ状態の良い部分領域(最適対応位置)を求め
るのに、単純に小さい領域を用いた場合には、探索領域
内で、本来の最適対応位置ではない部分領域と偶然に最
高の一致程度が得られる場合があり、この場合、その局
所領域において画像が不自然に歪む可能性がある。
【0013】本発明は上記事情に鑑みなされたものであ
って、2つの画像の位置ずれを従来よりもさらに抑制可
能としつつ、画像自体が不自然に歪むことを防止して、
高精度に位置ずれを解消することができる、画像の位置
合わせ方法および装置を提供することを目的とするもの
である。
【0014】
【課題を解決するための手段】本発明の画像の位置合わ
せ方法および装置は、2つの画像について、テンプレー
ト領域および探索領域を順次小さくしながら、一致程度
が高くなるような対応位置関係を順次求め、各対応位置
関係に基づいて最終的な対応位置関係を求めて、この最
終的な対応位置関係に基づいて位置合わせを行なうこと
により、画像自体が不自然に歪むのを防止しつつ、従来
よりも位置ずれを抑制し、高精度に位置ずれを解消させ
るものである。
【0015】すなわち本発明の画像の位置合わせ方法
は、同一被写体についての2つの画像を位置合わせする
画像の位置合わせ方法であって、前記2つの画像にそれ
ぞれ対応する多数のテンプレート領域および探索領域を
設定して前記探索領域内にテンプレート領域と画像の一
致程度の高い部分領域(対応テンプレート領域)を求
め、前記各テンプレート領域および対応する前記各部分
領域の各対応位置関係を求め、前記探索領域と探索範囲
とのうち少なくとも1つを段階的に小さくしつつ、前記
テンプレート領域および前記探索領域を前記各対応位置
関係に基づいて設定し、順次前記各対応位置関係を求め
る操作を繰り返して最終的な対応位置関係を求め、該求
められた最終的な対応位置関係に基づいて、前記2つの
画像のうち少なくとも一方の画像に変換処理(例えば2
次元多項式による画像全体についてのカーブフィッティ
ング等による非線形歪変換処理や局所領域ごとの線形補
間による変換処理など)を施すことにより両画像の位置
合わせを行なうことを特徴とするものである。
【0016】ここで、探索範囲とは、探索領域内におい
てテンプレート領域が移動可能な範囲を意味するもので
ある。すなわち、例えば、テンプレート領域と探索領域
を矩形領域とし、テンプレート領域の大きさを(Wt,
Wt)、探索領域の大きさを(Ws,Ws)とすると、
探索範囲の大きさは(Ws−Wt,Ws−Wt)となる
(但し、Ws≧Wt)。つまり、探索範囲を小さくする
とは、例えば、探索領域の大きさを変えずにテンプレー
ト領域を大きく設定した場合や、テンプレート領域の大
きさを変えずに探索領域を小さく設定した場合などを含
むことを意味するものである。
【0017】また、前記探索領域と前記探索範囲とのう
ち少なくとも1つを段階的に小さくしつつ、前記テンプ
レート領域および前記探索領域を設定する際に、さら
に、前記テンプレート領域を段階的に小さくするものと
してもよい。すなわち、探索領域と探索範囲とのうち少
なくとも1つを段階的に小さくすることを前提として、
さらに、その際に、テンプレート領域を小さくするもの
でもよいことを意味するものであり、テンプレート領域
のみを小さくするものを含まないことを意味する。
【0018】なお、被写体には、人体等の他、動植物、
工業製品、地形、天体、風景等あらゆるものが含まれ
る。位置合わせの対象となる2つの画像は、高度な位置
合わせ精度が求められる画像間演算に供されるものを適
用するのが好ましく、この画像間演算としては、特に、
2つの画像をそれぞれ表す画像情報間の画素を対応させ
た減算処理が適用されるものが好ましい。この場合、単
純な減算であってもよいし、重み付けを行なったうえで
の減算であってもよい。減算処理によって得られた画像
間演算画像は一般にサブトラクション画像と称され、こ
のサブトラクション画像としては、時系列的に略同時に
撮影して得られたエネルギー分布の互いに異なる2つの
原画像(=オリジナルの画像;高圧画像(通常の放射線
画像)および低圧画像(高圧抑制画像))に基づいて
(単純減算または荷重減算によって)得られるエネルギ
サブトラクション画像、時系列的に異なる時期に撮影し
て得られた2つの原画像に基づいて得られる経時サブト
ラクション画像、造影剤の注入前後にそれぞれ撮影して
得られる血管の2つの原画像に基づいて得られるDSA
(デジタルサブトラクション・アンギオグラフィ)画像
等が含まれる。
【0019】なお、上記「同一被写体についての2つの
画像」とは、例えば、同一被写体の同一部位を時系列的
に異なる時期に撮影して得られた2つの放射線画像が挙
げられるが、これに限られるものではなく、同一日時に
撮影された画像中のほぼ同一の形状を有する部位(例え
ば、左右肺、左右乳房など)を表わす各画像部分をも含
む。すなわち、2つの画像とは、互いに異なる画像に限
るものではなく、同一画像中の異なる画像部分をも意味
するものである。
【0020】また、上記画像としては、特に医療用放射
線画像を適用するのが好ましい。
【0021】位置合わせのためのテンプレート領域と探
索領域との設定は、位置合わせの対象となる両画像の全
体に亘って設定してもよいし、位置ずれが生じている
(位置ずれ程度が高い)局所領域についてのみ設定して
もよい。
【0022】一部の局所領域についてのみ設定する場合
は、テンプレート領域および探索領域の設定に先立っ
て、両画像間で位置ずれ程度が高い局所領域を任意に手
動で設定してその設定された局所領域についてのみ、テ
ンプレート領域および探索領域を設定してもよいし、両
画像の全体に亘って設定する場合は、テンプレート領域
および探索領域の設定に先立って、位置ずれ程度の高低
に拘わらず両画像にそれぞれ多数の局所領域を自動的に
設定して対応する局所領域間で位置ずれ程度をそれぞれ
各別に求め、その求められた位置ずれ程度に基づいて位
置ずれ程度の高い局所領域を自動的に選定して、その選
定された局所領域についてのみ、テンプレート領域およ
び探索領域を設定してもよい。
【0023】ここで、「テンプレート領域および探索領
域の設定に先立って」とは、2つの画像に対してテンプ
レート領域および探索領域を設定する全ての時点を対象
としたものであり、最初にテンプレート領域および探索
領域を設定する時点だけでなく、探索領域や探索範囲を
段階的に小さくしつつテンプレート領域および探索領域
を設定する時点を含むものである。すなわち、「設定
(或いは選定)された局所領域についてのみ、テンプレ
ート領域および探索領域を設定する」とは、局所領域の
設定を行なった時点に応じたテンプレート領域および探
索領域を設定して、さらに、その局所領域において、探
索領域や探索範囲を段階的に小さくしつつテンプレート
領域および探索領域を設定して順次前記各対応位置関係
を求める操作を繰り返すことを意味するものである。つ
まり、例えば、第2段階目におけるテンプレート領域お
よび探索領域の設定に先立って局所領域を設定(或いは
選定)した場合には、設定(或いは選定)された局所領
域についてのみ、第2段階目のテンプレート領域および
探索領域を設定して順次前記各対応位置関係を求める操
作を繰り返すことを意味する。これらの場合、その後、
最終的な対応位置関係は、当該設定または選定された局
所領域についてのみ求めるようにすればよい。
【0024】なお、画像全体に亘って自動的に局所領域
を設定したうえで、テンプレート領域および探索領域を
設定する局所領域を自動的に選定する方法としては、画
像の位置ずれ程度として画素値差の絶対値の総和値を適
用し、この総和値について閾値処理することにより当該
局所領域を選定すればよい。
【0025】両画像の対応する局所領域は、両画像にお
いて同一中心、同一形状の領域(例えば矩形形状の領
域)を適用すればよい。
【0026】以上のように、画像の一部の局所領域につ
いてのみテンプレート領域等を設定可能とすることによ
り、位置合わせに先立って、例えば前述した特開平7-37
074号、同8-335721号等により提案されている位置合わ
せや、アフィン変換等の線形変換の概略位置合わせを予
め施し、その概略位置合わせによっては良好に位置合わ
せすることができなかった局所領域の対応位置ずれに基
づいて再度の位置合わせとして適用することもできる。
【0027】また、本発明による画像の位置合わせ方法
を、前記部分領域を求める対象の局所領域の対のうち、
一方の画像には第1テンプレート領域を設定し、他方の
画像には、第1テンプレート領域よりも大きい領域の第
1探索領域を設定し、互いに対応する第1テンプレート
領域および第1探索領域の各組において、第1テンプレ
ート領域と画像の一致程度が高い、第1探索領域内の第
1部分領域を求め、これらに基づいて各第1テンプレー
ト領域と各第1部分領域との対応位置関係である第1位
置関係を求め、さらに第1位置関係に基づいて、一方の
画像には、第1テンプレート領域よりも小さい領域の第
2テンプレート領域を設定し、他方の画像には、第2テ
ンプレート領域よりも大きくかつ前記第1探索領域より
も小さい第2探索領域を設定し、互いに対応する前記第
2テンプレート領域および前記第2探索領域の各組にお
いて、前記第2テンプレート領域と画像の一致程度が高
い、第2探索領域内の第2部分領域を求め、前記各第2
テンプレート領域と前記各第2部分領域との対応位置関
係である第2位置関係を求め、以下、必要に応じて同様
の操作を繰り返して第n(n≧3)位置関係を求めるこ
とにより、前記各テンプレート領域と各部分領域との最
終的な対応位置関係を求め、求められた最終的な対応位
置関係に基づいて両画像の位置合わせを行なうものとし
てもよい。もちろん第2位置関係まで求めた処理で終了
して、各テンプレート領域と各部分領域との最終的な対
応位置関係を求めるようにしてもよい。
【0028】この場合、第1テンプレート領域および第
1部分領域についての一致程度は正規化相互相関値によ
り求め、第2テンプレート領域および第2部分領域以後
についての一致程度は画素値の差の絶対値総和値により
求めるのが、実用上好ましいが、必ずしもこの態様に限
るものではなく、全ての段階における一致程度をそれぞ
れ正規化相互相関値により求めたり、それぞれ画素値の
差の絶対値総和値により求めるものであってもよい。
【0029】なお上述した本発明の画像の位置合わせ方
法および以下に説明する本発明の画像位置合わせ装置に
おいては、探索領域と探索範囲とのうち少なくとも1つ
を段階的に小さくしつつテンプレート領域および探索領
域を設定してそれぞれ対応位置関係を求める一連の処理
の間、すなわち例えば第1対応位置関係を求めた後か
ら、第2テンプレート領域および第2探索領域を設定す
る前までの間に、第1対応位置関係に基づいて一方の画
像を他方の画像に位置合わせするする処理を行うように
してもよい(同様に、第2対応位置関係を求めた後か
ら、第3テンプレート領域および第3探索領域を設定す
る前までの間に、第1対応位置関係に基づいて位置合わ
せされた画像同士を、第2対応位置関係に基づいて位置
合わせを行なうなど、各段階でテンプレート領域および
探索領域を設定する前に、その前段階で得られた対応位
置関係に基づいて位置合わせを行なうようにしてもよ
い。)。この場合、最終的な対応位置関係は、各段階の
対応位置関係を集積したものではなくなり、最終的に設
定された第nテンプレート領域および第n探索領域によ
り得られた第n部分領域と、第nテンプレート領域との
対応位置関係である第n位置関係がそのまま最終的な対
応位置関係となる。
【0030】本発明の画像の位置合わせ装置は、本発明
の画像の位置合わせ方法を実施するための装置であり、
同一被写体についての2つの画像を位置合わせする画像
の位置合わせ装置であって、前記2つの画像にそれぞれ
対応する多数のテンプレート領域および探索領域を設定
し、前記探索領域内に前記テンプレート領域と画像の一
致程度の高い部分領域を求め、前記各テンプレート領域
および対応する前記各部分領域の各対応位置関係を求
め、前記探索領域と探索範囲とのうち少なくとも1つを
段階的に小さくしつつ、前記テンプレート領域および前
記探索領域を前記各対応位置関係に基づいて設定し、順
次前記各対応位置関係を求める操作を繰り返して最終的
な対応位置関係を求め、該求められた最終的な対応位置
関係に基づいて、前記2つの画像のうち少なくとも一方
の画像に変換処理を施して、両画像の位置合わせを行な
う位置合わせ手段を備えたことを特徴とするものであ
る。
【0031】ここで、探索範囲とは、上述したように、
探索領域内においてテンプレート領域が移動可能な範囲
を意味するものである。
【0032】また、本発明の画像の位置合わせ装置を、
同一被写体についての2つの画像を位置合わせする画像
の位置合わせ装置であって、前記2つの画像のうち少な
くとも一方の画像全体に対して、回転、平行移動および
拡大・縮小のうち少なくとも1つからなる変換処理を施
すことにより前記2つの画像全体の概略位置合わせを行
なう概略位置合わせ手段と、該概略位置合わせ手段によ
り概略位置合わせされた前記2つの画像にそれぞれ対応
する多数のテンプレート領域および探索領域を設定し、
前記探索領域内に前記テンプレート領域と画像の一致程
度の高い部分領域を求め、前記各テンプレート領域およ
び対応する前記各部分領域の各対応位置関係を求め、前
記テンプレート領域および前記探索領域を、該探索領域
と探索範囲とのうち少なくとも1つを段階的に小さくし
つつ、前記各対応位置関係に基づいて設定し、順次前記
各対応位置関係を求める操作を繰り返して最終的な対応
位置関係を求め、該求められた最終的な対応位置関係に
基づいて、前記2つの画像のうち少なくとも一方の画像
に変換処理を施して、両画像の位置合わせを行なう位置
合わせ手段とを備えたものとしてもよい。
【0033】また、前記位置合わせ手段を、前記探索領
域と前記探索範囲とのうち少なくとも1つを段階的に小
さくしつつ、前記テンプレート領域および前記探索領域
を設定する際に、さらに、前記テンプレート領域を段階
的に小さくするものとしてもよい。
【0034】ここで、位置合わせ手段によるテンプレー
ト領域と探索領域との設定は、位置合わせの対象となる
両画像の全体に亘って設定してもよいし、位置ずれが生
じている(位置ずれ程度が高い)局所領域についてのみ
設定してもよい。すなわち、一部の局所領域についての
み設定する場合は、テンプレート領域および探索領域の
設定に先立って、両画像の位置ずれ程度が高い局所領域
を任意に手動で設定する位置合わせ領域設定手段をさら
に備え、位置合わせ手段が、その位置合わせ領域設定手
段により設定された局所領域についてのみ、テンプレー
ト領域および探索領域を設定して最終的な対応位置関係
を求めるものとし、または両画像の全体に亘って設定す
る場合は、テンプレート領域および探索領域の設定に先
立って、位置ずれ程度の高低に拘わらず両画像にそれぞ
れ多数の局所領域を自動的に設定して対応する局所領域
間で位置ずれ程度をそれぞれ各別に求め、その求められ
た位置ずれ程度に基づいて位置ずれ程度の高い局所領域
を自動的に選定する位置合わせ領域選定手段をさらに備
え、位置合わせ手段が、その位置合わせ領域選定手段に
より選定された局所領域についてのみ、テンプレート領
域および探索領域を設定して最終的な対応位置関係を求
めるものとすればよい。
【0035】ここで、「テンプレート領域および探索領
域の設定に先立って」とは、上述したように、2つの画
像に対してテンプレート領域および探索領域を設定する
全ての時点を対象としたものであり、「設定(或いは選
定)された局所領域についてのみ、テンプレート領域お
よび探索領域を設定する」とは、局所領域の設定を行な
った時点に応じたテンプレート領域および探索領域を設
定して、さらに、その局所領域において、探索領域や探
索範囲を段階的に小さくしつつテンプレート領域および
探索領域を設定して順次前記各対応位置関係を求める操
作を繰り返すことを意味するものである。
【0036】なお、位置合わせ領域選定手段による、画
像全体に亘って自動的に局所領域を設定したうえで、テ
ンプレート領域および探索領域を設定する局所領域を自
動的に選定する方法としては、画像の位置ずれ程度とし
て画素値差の総和値を適用し、この総和値について閾値
処理することにより当該局所領域を選定すればよい。
【0037】以上のように、画像の一部の局所領域につ
いてのみテンプレート領域等を設定可能とすることによ
り、位置合わせに先立って、例えば前述した特開平7-37
074号、同8-335721号等により提案されている位置合わ
せや、アフィン変換等の線形変換の概略位置合わせなど
を予め施す前処理手段をさらに備えた構成を採用して、
この前処理手段による概略位置合わせによっては良好に
位置合わせすることができなかった局所領域の対応位置
ずれに基づいた再度の位置合わせを行なうことで、より
精度の高い位置合わせが可能となり好ましい。
【0038】また、前記位置合わせ手段を、前記テンプ
レート領域および前記探索領域を設定する各段階のうち
少なくとも1つの段階において、全ての前記テンプレー
ト領域および対応する前記部分領域を中心領域としたと
きの該中心領域についての前記対応位置関係と、前記中
心領域の周囲の複数の前記テンプレート領域および対応
する前記部分領域を周囲領域としたときの該複数の周囲
領域それぞれについての前記対応位置関係とを、前記中
心領域についての前記対応位置関係と前記周囲領域につ
いての前記対応位置関係とに応じた拘束力で拘束させ、
該拘束力に応じて、前記中心領域についての新たな相対
的対応位置関係を求めるバネ拘束手段をさらに備えたも
のとし、該バネ拘束手段により求められた前記各中心領
域についての新たな相対的対応位置関係を、前記段階に
おける前記各対応位置関係とするものとしてもよい。
【0039】ここで、「テンプレート領域および探索領
域を設定する各段階」とは、探索領域や探索範囲を段階
的に小さくしつつテンプレート領域および探索領域を設
定する段階だけでなく、最初にテンプレート領域および
探索領域を設定する段階を含むものである。
【0040】また、上記位置合わせ手段を、部分領域を
求める対象の局所領域の対のうち、一方の画像には第1
テンプレート領域を設定し、他方の画像には、前記第1
テンプレート領域よりも大きい領域の第1探索領域を設
定し、互いに対応する前記第1テンプレート領域および
前記第1探索領域の各組において、前記第1テンプレー
ト領域と画像の一致程度が高い、第1探索領域内の第1
部分領域を求め、これらに基づいて前記各第1テンプレ
ート領域と前記各第1部分領域との対応位置関係である
第1位置関係を求め、さらに前記第1位置関係に基づい
て、前記一方の画像には、前記第1テンプレート領域よ
りも小さい領域の第2テンプレート領域を設定し、前記
他方の画像には、前記第2テンプレート領域よりも大き
くかつ前記第1探索領域よりも小さい第2探索領域を設
定し、互いに対応する前記第2テンプレート領域および
前記第2探索領域の各組において、前記第2テンプレー
ト領域と画像の一致程度が高い、第2探索領域内の第2
部分領域を求め、前記各第2テンプレート領域と前記各
第2部分領域との対応位置関係である第2位置関係を求
め、以下、必要に応じて同様の操作を繰り返して第n位
置関係を求めて、前記各テンプレート領域と各部分領域
との最終的な対応位置関係を求めることにより、前記両
画像の位置合わせを行なうものとしてもよい。
【0041】この場合、前記第1テンプレート領域およ
び前記第1部分領域についての前記一致程度は正規化相
互相関値により求め、前記第2テンプレート領域および
前記第2部分領域以後についての前記一致程度は画素値
の差の絶対値総和値により求めるのが、実用上さらに好
ましいが、この態様に限らず、全ての段階における一致
程度を正規化相互相関値により求めたり、画素値差の絶
対値の総和値により求めるようにしてもよい。
【0042】なお、上記テンプレート領域および探索領
域を段階的に小さくして最終的な対応位置関係を求める
処理において、第n位置関係に基づいて第n+1テンプ
レート領域および第n+1探索領域を設定する際には、
既に設定されている第nテンプレート領域および第n探
索領域と略同じ位置に、同数の第n+1テンプレート領
域および第n+1探索領域を設定する形態でもよいし、
第nテンプレート領域および第n探索領域よりも数を増
やして第n+1テンプレート領域および第n+1探索領
域を設定する形態でもよい。
【0043】
【発明の効果】本発明の画像の位置合わせ方法および位
置合わせ装置によれば、位置合わせの対象となる2つの
画像について、探索領域と探索範囲とのうち少なくとも
1つを段階的に小さくしつつテンプレート領域および探
索領域を順次設定しながら、一致程度が高くなるような
対応位置関係を順次求め、この対応位置関係に基づいて
位置合わせを行なうことにより、画像自体が不自然に歪
むのを防止しつつ、従来よりも位置ずれを抑制し、高精
度に位置ずれを解消させることができる。
【0044】すなわち、探索領域或いは探索範囲を段階
的に小さくしつつテンプレート領域および探索領域を設
定するから、段階的に位置合わせの対象範囲が絞られる
ことになり、当該局所領域についての位置合わせ精度を
高めることができる。
【0045】この場合、用いる領域は小さければ小さい
ほど、位置合わせ精度を高めることができるので好まし
いが、位置合わせ状態の良い対応位置(最適対応位置)
を求めるのに、単純に小さい領域を用いた場合には、探
索領域内で、本来の最適位置対応位置ではない部分領域
と偶然に最高の一致程度が得られるというローカルミニ
マムに陥る場合があり、各局所領域ごとに求められる最
適対応位置が、近接する局所領域間で全く異なる方向に
移動させなければ得られない位置になる事態が生じ、局
所領域中の画像部分が不自然に歪む可能性がある。
【0046】そこで本発明の画像の位置合わせ方法およ
び位置合わせ装置においては、最適対応位置を求めるの
に、大きい領域から順次段階的に小さい領域を用いて段
階的に対応位置関係を求めることにより、ローカルミニ
マムに陥るのを防止して、局所領域中の画像部分が不自
然に歪むのを防止することができる。
【0047】なお、位置合わせ手段がバネ拘束手段を備
えた場合には、各領域の対応位置関係が周囲の領域の対
応位置関係に基づいて平滑化されるから、さらに位置合
わせ精度を向上させることができる。
【0048】
【発明の実施の形態】以下、図面を参照して、本発明の
位置合わせ方法および位置合わせ装置の具体的な実施の
形態について説明する。図1は本発明の位置合わせ方法
の一実施態様の処理フローを示すフローチャート、図2
は図1に示した処理フローを実施する画像位置合わせ装
置の一実施態様を示す図である。また図3は、図2に示
した実施形態の画像位置合わせ装置10により位置合わ
せがなされる2つの画像P1,P2を示すものであり、
同一患者についての、撮影時期を異にして撮影された胸
部画像(放射線画像)である。なお第1画像P1は時系
列的に第2画像P2よりも古い時期に撮影された画像で
あって、いわゆる過去画像であり、第2画像P2は第1
画像P1よりも新しい現在画像である。
【0049】これら2つの画像P1,P2を比較読影す
る場合、医師等の読影者は、現在画像である第2画像P
2を基準にして比較する場合が多いため、本実施形態の
画像位置合わせ装置においては、第2画像P2が基準と
なるように作用するものとして以下に説明するが、第1
画像P1が基準となるように、第1画像P1と第2画像
P2とを入れ替えて作用するものとしてもよい。
【0050】図2に示した画像位置合わせ装置10は、
比較対象となる同一被写体についての2つの画像P1,
P2の全面に亘ってそれぞれ対応するROI(局所領
域)を設定し、各局所領域についてさらに、テンプレー
ト領域(テンプレートROI)および探索領域(探索R
OI)を用いて一致程度の高い部分領域を求め、このテ
ンプレート領域と部分領域とに基づいてこれらの対応位
置関係(シフト量)を求め、テンプレート領域および探
索領域を、段階的に小さくしつつ、前段階の各対応位置
関係に基づいて設定して順次各段階ごとの対応位置関係
を求める操作を繰り返し、最終的に得られた対応位置関
係(本実施形態においては、各段階での対応位置関係
(シフト量)を集積した集積対応位置関係)に基づいて
両画像のすべての局所領域をそれぞれ略一致させるよう
に、第1画像P1に対して非線形歪変換処理を施す位置
合わせ手段13を備えた構成である。
【0051】位置合わせ手段13は、両画像P1,P2
にそれぞれ、図3に示すように、互いに対応する同一位
置を中心とする同一形状(例えば、縦16画素×横16
画素の矩形形状)の多数のROI(ROI1,ROI
1′、ROI2,ROI2′、ROI3,ROI3′、
…)を設定し、図4の処理フローに示すように、(1)
基準となる第2画像P2には、そのROIの中心(x
0,y0)を中心とする第1テンプレート領域(例え
ば、縦80画素×横80画素の矩形形状)TR(TR
1,TR2,…)を設定し、第1画像P1には、第1テ
ンプレート領域TRと同一の中心(x0,y0)を有
し、第1テンプレート領域TRより大きい領域(例え
ば、縦92画素×横92画素の矩形形状)の第1探索領
域RR(RR1,RR2,…)を設定し、互いに対応す
る第1テンプレート領域TRおよび第1探索領域RRの
各組(TR1とRR1の組,TR2とRR2の組等)に
おいて、第1テンプレート領域TRと画像の一致程度
(例えば正規化相互相関値を指標とする)が高い、第1
探索領域RR内の第1部分領域tRを求め、各第1テン
プレート領域TRと各第1部分領域tRとの対応位置関
係である第1位置関係を求め、この第1位置関係に基づ
いて第1テンプレート領域TRを第1部分領域tRに一
致させるための移動量である第1シフト量(+Δx,+
Δy)を算出し、(2)次にこの第1シフト量(+Δ
x,+Δy)に基づいて、第2画像P2には、元の中心
(x0,y0)を中心とする第2テンプレート領域(例
えば、縦48画素×横48画素の矩形形状)TR′(T
R′1,TR′2,…)を設定し、第1画像P1には、
第1部分領域tRの中心(x0,y0)から第1シフト
量(+Δx,+Δy)だけ移動した位置(x′,y′)
(=(x0+Δx,y0+Δy))に中心を有し、第2
テンプレート領域TR′より大きく、かつ第1探索領域
RRより小さい領域(例えば、縦56画素×横56画素
の矩形形状)の第2探索領域RR′(RR′1,RR′
2,…)を設定し、互いに対応する第2テンプレート領
域TR′および第2探索領域RR′の各組(TR′1と
RR′1の組,TR′2とRR′2の組等)において、
第2テンプレート領域TR′と画像の一致程度(例えば
画素値の差の絶対値の総和を指標とする)が高い、第2
探索領域RR′内の第2部分領域tR′を求め、各第2
テンプレート領域TR′と各第2部分領域tR′との対
応位置関係である第2位置関係を求め、この第2位置関
係に基づいて第2テンプレート領域TR′を第2部分領
域tR′に一致させるための移動量である第2シフト量
(+Δx′,+Δy′)を算出し、(3)次に第2シフ
ト量(+Δx′,+Δy′)に基づいて、第2画像P2
には、元の中心(x0,y0)を中心とする第3テンプ
レート領域(例えば、縦16画素×横16画素の矩形形
状)TR″(TR″1,TR″2,…)を設定し、第1
画像P1には、第2部分領域tR′の中心(x′,
y′)から第2シフト量(+Δx′,+Δy′)だけ移
動した位置(x″,y″)(=(x′+Δx′,y′+
Δy′)=(x0+Δx+Δx′,y0+Δy+Δ
y′))に中心を有し、第3テンプレート領域TR″よ
り大きく、かつ第2探索領域RR′より小さい領域(例
えば、縦20画素×横20画素の矩形形状)の第3探索
領域RR″(RR″1,RR″2,…)を設定し、互い
に対応する第3テンプレート領域TR″および第3探索
領域RR″の各組(TR″1とRR″1の組,TR″2
とRR″2の組等)において、第3テンプレート領域T
R″と画像の一致程度(例えば画素値の差の絶対値の総
和を指標とする)が高い、第3探索領域RR″内の第3
部分領域tR″を求め、各第3テンプレート領域TR″
と各第3部分領域tR″との対応位置関係である第3位
置関係を求め、この第3位置関係に基づいて第3テンプ
レート領域TR″を第3部分領域tR″に一致させるた
めの移動量である第3シフト量(+Δx″,+Δy″)
を算出し、(4)各ROI(ROI1,ROI2,…)
の中心ごとの移動量(+Δxi(i=1,2,…),+
Δyi)(=第1シフト量+第2シフト量+第3シフト
量)を算出する作用をなす。
【0052】さらに位置合わせ手段13は、上述した各
ROIごとに算出された中心の移動量(+Δxi,+Δ
yi)に基づいて、第2画像P2中の各ROI内の全画
素の移動量を、例えば近傍4点(各ROIの中心点)の
移動量を用いた補間演算(線形補間、スプライン補間、
ベジェ補間等)により求める作用をなし、これら第2画
像P2の画素の移動量に基づいて、第1画像P1の選定
されたROIに対してワーピング( Warping)を施し
て、両画像P1′(第1画像P1をワーピングして得ら
れた画像;以下、第1ワーピング画像という),P2の
位置合わせを行なう作用をなす。
【0053】次に本実施形態の画像位置合わせ装置の作
用について説明する。
【0054】まず時系列的に取得された2つの画P1お
よびP2が、位置合わせ手段13に入力され、位置合わ
せ手段13は、入力された両画像P1,P2にそれぞ
れ、図3に示すように、互いに対応する同一位置を中心
とする同一形状の多数のROIを設定する。つまり、第
1画像P1に対しては、ROI1′、ROI2′、RO
I3′、…というROIを設定し、第2画像P2に対し
ては、ROI1、ROI2、ROI3、…というROI
を設定する。そして、位置合わせ手段13は、入力され
た両画像P1,P2に対して、図4の処理フローに示す
ように、まず第1に基準となる第2画像P2には、その
ROIの中心(x0,y0)を中心とする第1テンプレ
ート領域(例えば、縦80画素×横80画素の矩形形
状)TR(TR1,TR2,…)を設定し、第1画像P
1には、第1テンプレート領域TRと同一の中心(x
0,y0)を有し、第1テンプレート領域TRより大き
い領域(例えば、縦92画素×横92画素の矩形形状)
の第1探索領域RR(RR1,RR2,…)を設定し、
互いに対応する第1テンプレート領域TRおよび第1探
索領域RRの各組において、第1テンプレート領域TR
と画像の一致程度(例えば正規化相互相関値を指標とす
る)が最も高い、第1探索領域RR内の第1部分領域t
Rを求める。そして、位置合わせ手段13は、各第1テ
ンプレート領域TRと各第1部分領域tRとの対応位置
関係である第1位置関係を求め、この第1位置関係に基
づいて第1テンプレート領域TRを第1部分領域tRに
一致させるための移動量である第1シフト量(+Δx,
+Δy)を算出する。
【0055】例えば図5に示すように、1つの第1テン
プレート領域TR2(中心(x0,y0);同図
(1))を対応する第1探索領域RR2(中心(x0,
y0);同図(2))内で探索し、最も一致程度が高い
第1部分領域tR2の中心が(x′,y′)であるとす
ると、第1シフト量(+Δx,+Δy)は、 (+Δx,+Δy)=(x′−x0,y′−y0) となる。
【0056】位置合わせ手段13は次に、第2画像P2
には、その中心(x0,y0)を中心とし、第1テンプ
レート領域TRより小さい領域である第2テンプレート
領域(例えば、縦48画素×横48画素の矩形形状)T
R′(TR′1,TR′2,…)を設定し、第1画像P
1には、第1部分領域tRの中心(x0,y0)から第
1シフト量(+Δx,+Δy)だけ移動した位置
(x′,y′)(=(x0+Δx,y0+Δy))に中
心を有し、第2テンプレート領域TR′より大きく、か
つ第1探索領域RRより小さい領域(例えば、縦56画
素×横56画素の矩形形状)の第2探索領域RR′(R
R′1,RR′2,…)を設定し、互いに対応する第2
テンプレート領域TR′および第2探索領域RR′の各
組(TR′1とRR′1の組,TR′2とRR′2の組
等)において、第2テンプレート領域TR′と画像の一
致程度(例えば画素値の差の絶対値の総和を指標とす
る)が最も高い、第2探索領域RR′内の第2部分領域
tR′を求める。そして、位置合わせ手段13は、各第
2テンプレート領域TR′と各第2部分領域tR′との
対応位置関係である第2位置関係を求め、この第2位置
関係に基づいて第2テンプレート領域TR′を第2部分
領域tR′に一致させるための移動量である第2シフト
量(+Δx′,+Δy′)を算出する。
【0057】例えば図6に示すように、1つの第2テン
プレート領域TR′2(中心(x0,y0);同図
(1))を対応する第2探索領域RR′2(中心
(x′,y′);同図(2))内で探索し、最も一致程
度が高い第2部分領域tR′2の中心が(x″,y″)
であるとすると、第2シフト量(+Δx′,+Δy′)
は、 (+Δx′,+Δy′)=(x″−x′,y″−y′) =(x″−x0−Δx,y″−y0−Δy) となる。
【0058】位置合わせ手段13はさらに同様に、第2
画像P2には、その中心(x0,y0)を中心とし、第
2テンプレート領域TR′より小さい領域である第3テ
ンプレート領域(例えば、縦16画素×横16画素の矩
形形状)TR″(TR″1,TR″2,…)を設定し、
第1画像P1には、第2部分領域tRの中心(x′,
y′)から第2シフト量(+Δx′,+Δy′)だけ移
動した位置(x″,y″)(=(x′+Δx′,y′+
Δy′))に中心を有し、第3テンプレート領域TR″
より大きく、かつ第2探索領域RR′より小さい領域
(例えば、縦20画素×横20画素の矩形形状)の第3
探索領域RR″(RR″1,RR″2,…)を設定し、
互いに対応する第3テンプレート領域TR″および第3
探索領域RR″の各組(TR″1とRR″1の組,T
R″2とRR″2の組等)において、第3テンプレート
領域TR″と画像の一致程度(例えば画素値の差の絶対
値の総和を指標とする)が最も高い、第3探索領域R
R″内の第3部分領域tR″を求める。そして、位置合
わせ手段13は、各第3テンプレート領域TR″と各第
3部分領域tR″との対応位置関係である第3位置関係
を求め、この第3位置関係に基づいて第3テンプレート
領域TR″を第3部分領域tR″に一致させるための移
動量である第3シフト量(+Δx″,+Δy″)を算出
する。
【0059】例えば、1つの第3テンプレート領域T
R″2(中心(x0,y0))を対応する第3探索領域
RR″2(中心(x″,y″))内で探索し、最も一致
程度が高い第3部分領域tR″2の中心が(x°,y
°)であるとすると、第3シフト量(+Δx″,+Δ
y″)は、 (+Δx″,+Δy″)=(x°−x″,y°−y″)
=(x°−x0−Δx−Δx′,y°−y0−Δy−Δ
y′) となる。
【0060】以上のように、各局所領域について段階的
に小さく設定されたテンプレート領域および探索領域に
基づいて、両画像P1,P2の各局所領域ごと(i=
1,2,…)の、それらの中心のシフト量(+Δxi
(i=1,2,…),+Δyi)は、 (+Δxi,+Δyi)=(x°i−x0i,y°i−
y0i)=(Δxi+Δx′i+Δx″i,Δyi+Δ
y′i+Δy″i) となり、位置合わせ手段13は、この第2画像P2につ
いての各局所領域中心ごとの最終的なシフト量(+Δx
i,+Δyi)を算出する。
【0061】さらに位置合わせ手段13は、上述した各
ROIごとに算出された中心のシフト量(+Δxi,+
Δyi)に基づいて、第2画像P2中の各ROI内の全
画素のシフト量を、例えば近傍4点(各ROIの中心
点)のシフト量を用いた線形補間により求める。なお、
線形補間以外の補間演算(スプライン補間、ベジェ補
間、NURBS補間(重み付けBスプライン補間)等)
を適用してもよく、また、補間演算に用いる近傍点数も
4点に限られるものではなく、補間演算の種類等に合わ
せて適宜設定することができる(例えば、近傍16点
等)。
【0062】すなわち、図7に示すように第2画像中の
テンプレート領域TR1,TR2,…,TR11,TR
12,…が並んでいる場合、テンプレート領域TR1の
中心のシフト量は、上述したように(+Δx1,+Δy
1)(+Δxiにおいてi=1、+Δyiにおいてi=
1としたもの;以下、同様。)、テンプレート領域TR
2の中心のシフト量は(+Δx2,+Δy2)、テンプ
レート領域TR11の中心のシフト量は(+Δx11,
+Δy11)、テンプレート領域TR12の中心のシフ
ト量は(+Δx12,+Δy12)であり、この4つの
テンプレート領域TR1,TR2,TR11,TR12
の4つの中心点で囲まれる範囲内に存在する各画素
(x,y)についてのシフト量(+Δx(x),+Δy
(y))は、図8に示すように、2次元面内における線
形補間演算を適用することにより、 Δx(x)=(1-u)(1-v)Δx1+u(1-v)Δx2+(1-u)v
Δx11+uvΔx12 Δy(y)=(1-u)(1-v)Δy1+u(1-v)Δy2+(1-u)v
Δy11+uvΔy12 と求められる。
【0063】位置合わせ手段13は、このようにして求
められた第2画像P2中の選定されたROI内の各画素
(x,y)のシフト量(+Δx(x),+Δy(y))
に基づいて、第1画像P1のROIに対してワーピング
( Warping)を施して第1ワーピング画像P1′を得
る。
【0064】このようにして得られた第1ワーピング画
像P1′は、第2画像P2とは画素配列が異なるため、
後に画素を対応させたサブトラクション処理がなされる
場合や、表示等されることを考慮して、基準となる第2
画像P2と画素配列を一致させる必要がある。そこで、
位置合わせ手段13は図9に示すように、第1ワーピン
グ画像P1′の画素に対して2次元面内での線形補間処
理を施して、下記の通りの画素値を算出する。
【0065】g(x+Δx,y+Δy)=(1-u)(1-v)g
(x1,y1)+u(1-v)g(x2,y2)+(1-u)vg
(x11,y11)+uvg(x12,y12) 以上のように、本実施形態の画像位置合わせ装置によれ
ば、位置合わせの対象となる2つの画像について、テン
プレート領域および探索領域を順次小さくしながら、一
致程度が高くなるような対応位置関係を順次求め、この
対応位置関係に基づいて位置合わせを行なうことによ
り、画像自体が不自然に歪むのを防止しつつ、従来より
も位置ずれを抑制し、高精度に位置ずれを解消させるこ
とができる。
【0066】なお、上記実施形態においては、テンプレ
ート領域および探索領域を段階的に小さくして各段階ご
との対応位置関係を求める際に、前段階のテンプレート
領域および探索領域と同じ位置に小さいサイズのテンプ
レート領域および探索領域を設定する形態を示したが、
小さいサイズのテンプレート領域および探索領域を設定
する際に設定数を増加させて前段階とは異なる位置に設
ける形態でもよい。以下、図19を参照して、第2テン
プレート領域および第2探索領域の設定方法について例
示する。
【0067】第2テンプレート領域TR′は、第1テン
プレート領域TRよりもサイズが小さく、第1テンプレ
ート領域TRの中心(x0,y0)と同じ中心を有する
領域として設定され(図19(c)の実線領域)、さら
に各領域の間に同サイズの第2テンプレート領域TR′
を新しく設定する(同図(c)の点線領域)。また、第
2探索領域RR′は、上述の前段階と同じ位置に設定す
る形態と同様に、第1部分領域tRの中心(x0,y
0)から第1シフト量(+Δx,+Δy)だけ移動した
位置(x′,y′)(=(x0+Δx,y0+Δy))
に中心を有し、第2テンプレート領域TR′より大き
く、かつ第1探索領域RRより小さい領域として設定さ
れ(図19(d)の実線領域)、さらに各領域の間に同
サイズの第2探索領域RR′を新しく設定する(同図
(d)の点線領域)。この際、新しく設定される第2探
索領域RR′の第1シフト量は、第1シフト量が存在し
ている4近傍の探索領域RR′の第1シフト量を用いた
補間演算により求める。すなわち、新しく設定される第
2探索領域RR′12のシフト量は、第2探索領域R
R′1,RR′3,RR′21,RR′23のシフト量
から内挿して求める。また、4近傍が存在しない新しく
設定される第2探索領域RR′11のシフト量は、探索
領域RR′1とRR′21のシフト量から内挿して求め
る。
【0068】なお、具体的な、テンプレート領域および
探索領域の設定の例としては、第1テンプレート領域を
縦90画素×横90画素、第1探索領域を縦160画素
×横160画素、第1ステップ数(ROI中心の間隔)
を200画素とし、第2テンプレート領域を縦48画素
×横48画素、第2探索領域を縦78画素×横78画
素、第2ステップ数を100画素とすることもできる。
【0069】また、テンプレート領域および探索領域の
設定例としては、上記のような方法の他、種々の組み合
わせが可能である。例えば、各領域の設定数としては
(a)増加、(b)同等、(c)減少の形態が可能であ
り、また、各領域のサイズとしては(d)テンプレート
領域および探索領域ともにサイズを小さくする、(e)
テンプレート領域のサイズは同等とし、探索領域のサイ
ズのみ小さくする等の形態が可能であり、これらを種々
組み合わせて採用することもできる。なお、位置合わせ
精度が高い組み合わせの例としては、第1テンプレート
領域が縦90画素×横90画素、第1探索領域が縦16
0画素×横160画素、第1ステップ数が90画素、第
2テンプレート領域が縦48画素×横48画素、第2探
索領域が縦78画素×横78画素、第2ステップ数が4
8画素、第3テンプレート領域が縦48画素×横48画
素、第3探索領域が縦58画素×横58画素、第3ステ
ップ数が48画素などである。
【0070】なお、テンプレート領域および探索領域
は、図19のように重ならないように設定する形態でも
よいし、上記例のように隣接する領域と重なるように設
定してもよい。
【0071】なお本実施形態の画像位置合わせ装置は、
位置合わせ手段13が第1画像P1および第2画像P2
の全体に亘って局所領域(ROI,ROI′)を設定す
る機能を有するものとして説明したが、これは両画像の
テンプレート領域と探索領域との対応関係を明確にする
ための付加的事項であり、第1画像P1のテンプレート
領域と第2画像P2の探索領域との中心位置を対応させ
るように、当該テンプレート領域および探索領域を、画
像の全体に亘って設定するようにすれば、位置合わせ手
段13が、予めそのような局所領域を設定することを必
須の機能とするものである必要はない。
【0072】また本実施形態の画像位置合わせ装置は、
位置合わせ手段13が、第1画像P1の全体に亘ってテ
ンプレート領域を設定し、第2画像P2の全体に亘っ
て、テンプレート領域に対応する探索領域を設定する機
能を有するものとして説明したが、段階的に対応位置関
係を求める内の少なくとも1つの段階において、両画像
P1,P2間の位置ずれ程度が高い領域についてのみ、
テンプレート領域および探索領域を設定するようにして
もよい。この場合、図10に示すように、位置合わせ手
段13によるテンプレート領域および探索領域の設定に
先立って、両画像P1,P2の全体に亘ってそれぞれ対
応する多数の局所領域(ROI)を設定し、両画像P
1,P2の対応するROI間で画像の位置ずれ程度をそ
れぞれ各別に求め、求められた位置ずれ程度に基づいて
位置ずれ程度が高い局所領域を自動的に選定する位置合
わせ領域選定手段12をさらに備え、位置合わせ手段1
3を、位置合わせ領域選定手段12により選定されたR
OIについてのみ、テンプレート領域および探索領域を
設定して部分領域を求めるものとする構成や、図11に
示すように、位置合わせ手段13によるテンプレート領
域および探索領域の設定に先立って両画像P1,P2に
それぞれ、両画像の位置ずれ程度が高い、対応する局所
領域(ROI)を手動で設定する位置合わせ領域設定手
段12′をさらに備え、位置合わせ手段13を、位置合
わせ領域設定手段12′により設定されたROIについ
てのみ、テンプレート領域および探索領域を設定して部
分領域を求めるものとする構成を採用することもでき
る。
【0073】図10に示した位置合わせ領域選定手段1
2を備えた構成の実施形態の画像位置合わせ装置10′
による処理フローを図12に示す。すなわち、画像位置
合わせ装置10′に入力された2つの画像P1,P2は
位置合わせ領域選定手段12に入力され、この位置合わ
せ領域選定手段12は、入力された両画像P1,P2に
それぞれ、図3、12および13に示すように、互いに
対応する同一位置を中心とする同一形状(例えば、縦1
6画素×横16画素の矩形形状)の多数のROI(RO
I1,ROI1′、ROI2,ROI2′、ROI3,
ROI3′、…)を設定し、対応するROI(例えばR
OI1とROI1′、ROI2とROI2′など)間で
それぞれ、そのROI内に含まれる画素(位置が対応す
る画素)同士の値(第2画像P2におけるROI内の画
素の画素値A(i,j)、第1画像P1におけるROI
内の画素B(i,j))の差の絶対値(=|A(i,
j)−B(i,j)|)の総和値Ds(=ΣΣ|A
(i,j)−B(i,j)|)を、各ROI間の一致程
度を表す指標として求め、得られた総和値Dsを予め設
定した閾値Tと比較処理し、閾値Tよりも総和値Dsが
大きい(Ds>T)ROIを、位置合わせのレベルが低
い(位置ずれ程度が高い)ものとして、位置合わせ手段
13による位置合わせ処理の対象として選定し、閾値T
よりも総和値Dsが大きくない(Ds≦T)ROIを、
位置合わせのレベルが高いものとして、位置合わせ処理
の対象としては選定しない作用をなす。
【0074】なおこのように位置合わせ手段13が、位
置ずれ程度の高いROI,ROI′についてのみ、テン
プレート領域および探索領域を設定する作用をなすもの
とした場合、位置ずれ程度の低いROIの中心の最終的
な対応位置のシフト量(+Δxi,+Δyi)を(0,
0)と見なして、第2画像P2の全ROIの中心点のシ
フト量を設定し、これらに基づいて、上述した近傍4点
(各ROIの中心点)のシフト量を用いた補間演算によ
り、第2画像P2の各画素のシフト量を求めるようにす
ればよい。
【0075】図11に示した位置合わせ領域設定手段1
2′を備えた構成の実施形態の画像位置合わせ装置1
0″による処理フローを図14に示す。すなわち図11
に示した画像位置合わせ装置10′は、図10に示した
画像位置合わせ装置10′と同様に、位置合わせ手段1
3が、一部のROI,ROI′についてのみ、テンプレ
ート領域および探索領域を設定するものであるが、図1
0に示した画像位置合わせ装置10′が、テンプレート
領域および探索領域を設定すべきROIを自動的に選定
する作用をなすのに対して、図11に示した画像位置合
わせ装置10″は、テンプレート領域および探索領域を
設定すべきROIを、位置合わせ領域設定手段12′に
より、読影者等が、位置ずれ程度が高い局所領域である
と認識して手動で設定しうる作用をなし、位置合わせ手
段13が、この位置合わせ領域設定手段12′により手
動で設定されたROI,ROI′についてのみ、テンプ
レート領域および探索領域を設定する作用をなすもので
ある。なお、位置合わせ領域設定手段12′は、読影者
が一方の画像(例えば、第2画像P2)において、一致
程度が低いとして一部の局所領域(ROI)を、位置合
わせ領域設定手段12′により手動設定することによ
り、位置合わせ領域設定手段12′が、その手動設定さ
れたROIと同一中心および同一形状の局所領域(RO
I′)を、他方の画像(同、第1画像P1)において自
動的に設定する作用をなすものとするのが好ましい。同
一中心、同一形状の領域を2つ(ROIとROI′)手
動で設定するのは困難だからである。
【0076】なお、本実施形態においては、最初の段階
のROI設定前に位置ずれ程度の高い領域を選定(或い
は設定)しているが、これに限るものではなく、任意の
段階のROI設定前に前記選定(或いは設定)を行なう
ようにしてもよい。
【0077】次に、本発明の画像の位置合わせ装置の別
の実施形態について以下に説明する。なお、その構成お
よび作用は上記第1の実施形態(図1および図2に係る
実施形態)とほぼ同様であるため、上記第1の実施形態
と異なる部分についてのみ説明する。また、全体構成図
としては図2を採用し、図15に本実施形態による位置
合わせ手段13における段階的なシフト量の計算処理の
フローを示す。
【0078】本実施形態において、位置合わせ手段13
は、テンプレート領域および探索領域を小さくする各段
階において各段階ごとの対応位置関係を求めた後に、バ
ネ拘束処理を行って段階ごとにバネ拘束後対応位置関係
を求め、この求められたバネ拘束後対応位置関係を各段
階ごとの対応位置関係として、順次各段階ごとのバネ拘
束後対応位置関係を求める操作を繰り返し、最終的な対
応位置関係を求める。すなわち、本実施形態の位置合わ
せ手段13における段階的なシフト量の計算処理は図1
5の処理フローに示すように、(1)基準となる第2画
像P2には、そのROIの中心(x0,y0)を中心と
する第1テンプレート領域(例えば、縦80画素×横8
0画素の矩形形状)TR(TR1,TR2,…)を設定
し、第1画像P1には、第1テンプレート領域TRと同
一の中心(x0,y0)を有し、第1テンプレート領域
TRより大きい領域(例えば、縦92画素×横92画素
の矩形形状)の第1探索領域RR(RR1,RR2,
…)を設定し、互いに対応する第1テンプレート領域T
Rおよび第1探索領域RRの各組(TR1とRR1の
組,TR2とRR2の組等)において、第1テンプレー
ト領域TRと画像の一致程度(例えば正規化相互相関値
を指標とする)が高い、第1探索領域RR内の第1部分
領域tRを求め、各第1テンプレート領域TRと各第1
部分領域tRとの対応位置関係である第1位置関係を求
め、この第1位置関係に基づいて第1テンプレート領域
TRを第1部分領域tRに一致させるための移動量であ
る第1シフト量(+Δx,+Δy)を算出するととも
に、第1テンプレート領域TRと第1部分領域tRの周
囲の各小領域についても同様にシフト量を求め、これら
のシフト量に基づいてバネ拘束処理を行ない第1バネ拘
束後シフト量(+ΔX,+ΔY)を求め、(2)次に第
1バネ拘束後シフト量(+ΔX,+ΔY)に基づいて、
第2画像P2には、元の中心(x0,y0)を中心とす
る第2テンプレート領域(例えば、縦48画素×横48
画素の矩形形状)TR′(TR′1,TR′2,…)を
設定し、第1画像P1には、第1部分領域tRの中心
(x0,y0)から第1バネ拘束後シフト量(+ΔX,
+ΔY)だけ移動した位置(x′,y′)(=(x0+
ΔX,y0+ΔY))に中心を有し、第2テンプレート
領域TR′より大きく、かつ第1探索領域RRより小さ
い領域(例えば、縦56画素×横56画素の矩形形状)
の第2探索領域RR′(RR′1,RR′2,…)を設
定し、互いに対応する第2テンプレート領域TR′およ
び第2探索領域RR′の各組(TR′1とRR′1の
組,TR′2とRR′2の組等)において、第2テンプ
レート領域TR′と画像の一致程度(例えば画素値の差
の絶対値の総和を指標とする)が高い、第2探索領域R
R′内の第2部分領域tR′を求め、各第2テンプレー
ト領域TR′と各第2部分領域tR′との対応位置関係
である第2位置関係を求め、この第2位置関係に基づい
て第2テンプレート領域TR′を第2部分領域tR′に
一致させるための移動量である第2シフト量(+Δ
x′,+Δy′)を算出するとともに、第2テンプレー
ト領域TR′と第2部分領域tR′の周囲の各小領域に
ついても同様にシフト量を求め、これらのシフト量に基
づいてバネ拘束処理を行ない第2バネ拘束後シフト量
(+ΔX′,+ΔY′)を求め、(3)次に第2バネ拘
束後シフト量(+ΔX′,+ΔY′)に基づいて、第2
画像P2には、元の中心(x0,y0)を中心とする第
3テンプレート領域(例えば、縦16画素×横16画素
の矩形形状)TR″(TR″1,TR″2,…)を設定
し、第1画像P1には、第2部分領域tR′の中心
(x′,y′)から第2バネ拘束後シフト量(+Δ
X′,+ΔY′)だけ移動した位置(x″,y″)(=
(x′+ΔX′,y′+ΔY′)=(x0+ΔX+Δ
X′,y0+ΔY+ΔY′))に中心を有し、第3テン
プレート領域TR″より大きく、かつ第2探索領域R
R′より小さい領域(例えば、縦20画素×横20画素
の矩形形状)の第3探索領域RR″(RR″1,RR″
2,…)を設定し、互いに対応する第3テンプレート領
域TR″および第3探索領域RR″の各組(TR″1と
RR″1の組,TR″2とRR″2の組等)において、
第3テンプレート領域TR″と画像の一致程度(例えば
画素値の差の絶対値の総和を指標とする)が高い、第3
探索領域RR″内の第3部分領域tR″を求め、各第3
テンプレート領域TR″と各第3部分領域tR″との対
応位置関係である第3位置関係を求め、この第3位置関
係に基づいて第3テンプレート領域TR″を第3部分領
域tR″に一致させるための移動量である第3シフト量
(+Δx″,+Δy″)を算出するとともに、第3テン
プレート領域TR″と第3部分領域tR″の周囲の各小
領域についても同様にシフト量を求め、これらのシフト
量に基づいてバネ拘束処理を行ない第3バネ拘束後シフ
ト量(+ΔX″,+ΔY″)を求め、(4)各ROI
(ROI1,ROI2,…)の中心ごとの最終的な移動
(シフト)量(+ΔXi(i=1,2,…),+ΔY
i)(=第1シフト量+第2シフト量+第3シフト量)
を算出する作用をなす。
【0079】ここで、バネ拘束処理の具体的な処理につ
いて以下に説明する。
【0080】図16に示すように、各テンプレートRO
Iをそれぞれ中心領域とし、その中心領域を取り囲む一
重の周囲テンプレートROI群(ここでは、TR1,T
R2,TR3,TR11,TR13,TR23,TR2
2,TR21の8領域)について、各周囲テンプレート
ROIの各シフトベクトル(シフト量)と中心領域であ
るテンプレートROI(TR12)のシフトベクトル
(シフト量)とを、仮想的なバネで拘束し、それぞれの
バネの拘束力で各周囲テンプレートROIのシフトベク
トル間で平衡させる。
【0081】具体的には、中心領域であるテンプレート
ROI(TR12)のシフトベクトルを(x(2,
2),y(2,2))とし、周囲のテンプレートROI
の各シフトベクトルを(x(2+k,2+l),y(2
+k,2+l))とし、中心領域のテンプレートROI
(TR12)のシフトベクトルと各周囲テンプレートR
OIのシフトベクトルとの間の各バネ定数をa(k,
l)とすれば、この中心領域のテンプレートROI(T
R12)は、各バネ拘束力の平衡により、x方向につい
てΔx(2,2)、y方向についてΔy(2,2)だけ
シフト量が修正される。すなわち、中心領域のテンプレ
ートROI(TR12)の本来のシフトベクトルは(x
(2,2),y(2,2))であるが、周囲8個のテン
プレートROIのシフトベクトル(x(2+k,2+
l),y(2+k,2+l))とのバネ拘束力により、
シフトベクトルの差に応じた引っ張り合いが生じ、ベク
トル(Δx(2,2),Δy(2,2))だけ修正され
る。そして、この修正量Δx(2,2),Δy(2,
2)は以下の式により得られる。
【0082】
【数1】 この結果、修正量による修正後のシフトベクトル(nx
(2,2),ny(2,2))は下記式により算出され
る。
【0083】
【数2】 以上は、テンプレートROI(TR12)を中心領域と
した場合のテンプレートROI(TR12)のシフトベ
クトルの修正量(Δx(2,2),Δy(2,2))を
表したものであるが、テンプレートROI(TRij)
のシフトベクトル(x(i,j),y(i,j))の修
正量(Δx(i,j),Δy(i,j))は下記式によ
り与えられる。
【0084】
【数3】 この結果、各テンプレートROIの修正量(Δx(i,
j),Δy(i,j))による修正後のシフトベクトル
(nx(i,j),ny(i,j))は、下記式により
算出される。
【0085】
【数4】 なお、1つの中心領域についての8つのバネのバネ定数
a(k,l)の総和Σa(k,l)を、1に規格化する
のが好ましい。
【0086】また、上記では、1つの中心領域のテンプ
レートROIを拘束する周囲のテンプレートROIを、
中心領域を一重に取り囲む8つのテンプレートROIと
したが、さらに外側の16個のテンプレートROIまで
含めて、合計24個のテンプレートROIと拘束するよ
うにしてもよく、一般に拘束するテンプレートROIの
数をNcとすれば、式(5)、(6)はそれぞれ、下記
式(9)、(10)と表すことができる。
【0087】
【数5】 以上のように、各テンプレートROIのシフトベクトル
を周囲のテンプレートROIのシフトベクトルとの間
で、バネ拘束力による引っ張り合いをさせて平衡させる
ことにより、シフトベクトルを平滑化させることがで
き、テンプレートROIのシフトベクトルが周囲のテン
プレートROIのシフトベクトルに対して全く異なる方
向に向いていたり、シフト量が大きくなったりするな
ど、突発的なものとなっても、それを抑えることができ
る。
【0088】なお、本実施形態では、段階的なシフト量
の計算の全段階においてバネ拘束処理を採用した例を示
したが、本発明の画像位置合わせ装置はこの形態に限る
ものではなく、各段階のうちのいずれか1つ若しくは2
つの段階においてバネ拘束処理を採用する形態でもよ
い。例えば、第3位置関係を求めた後(第3段階)にバ
ネ拘束処理を行なうと平滑化のために位置合わせ精度が
低下してしまう可能性があることから、第1位置関係を
求めた後(第1段階)と第2位置関係を求めた後(第2
段階)のみにおいてバネ拘束処理を行なう形態を採用す
ることもできる。なお、この形態においては、例えば、
第1テンプレート領域を縦90画素×横90画素、第1
探索領域を縦160画素×横160画素とし、第2テン
プレート領域を縦48画素×横48画素、第2探索領域
を縦78画素×横78画素とし、第3テンプレート領域
を縦68画素×横68画素、第2探索領域を縦76画素
×横76画素などとすることが望ましい。すなわち、バ
ネ拘束処理を行なわないとシフト量の算出時にノイズに
影響される確率が高くなるため、第3段階のテンプレー
ト領域のサイズを第2段階より大きくすることが望まし
い。
【0089】上述したようなバネ拘束処理を用いた手法
によれば、従来の手法(特開平7-37074、米国特許6,06
7,373)では位置合わせの精度が悪いために繰り返し行
なわなければならなかったワーピングを、1回実施する
だけで、同等以上の位置合わせ精度が得られるようにな
った。
【0090】なお、本実施形態においても、上記第1の
実施形態と同様に、両画像P1,P2間の位置ずれ程度
が高い領域についてのみ、テンプレート領域および探索
領域を設定するようにしてもよい。
【0091】また、図17および図18に示すように、
上記各実施形態において、位置合わせ手段13による段
階的なシフト量の計算の前に、概略位置合わせ手段を設
け、概略位置合わせ手段が、両画像P1,P2のうち取
得時期が古い方の第1画像P1全体に対して、回転、平
行移動および拡大・縮小等のアフィン変換を施すことに
より、両画像P1,P2を大局的に位置合わせ(グロー
バルマッチング)する概略位置合わせ処理を施すように
してもよい。
【図面の簡単な説明】
【図1】本発明の画像の位置合わせ方法の一実施形態の
処理を示すフローチャート
【図2】図1に示した処理フローを実施する画像位置合
わせ装置の一実施形態を示す図
【図3】図2に示した実施形態の画像位置合わせ装置に
より位置合わせされる2つの画像P1,P2を示す図
【図4】図1に示した処理フローの一部分の詳細を示す
フローチャート
【図5】第1テンプレート領域TR2、第1探索領域R
R2および第1部分領域tR2の対応関係を示す図
【図6】第2テンプレート領域TR′2、第2探索領域
RR′2および第2部分領域tR′2の対応関係を示す
【図7】第2画像P2中の各テンプレート領域TRを示
す図
【図8】近傍4点を用いた線形補間を説明する図
【図9】第2ワーピング画像P1′の画素に対する近傍
4点を用いた2次元面内での線形補間処理を説明する図
【図10】本発明の画像位置合わせ装置の他の実施形態
を示す図(その1)
【図11】本発明の画像位置合わせ装置の他の実施形態
を示す図(その2)
【図12】図10に示した画像位置合わせ装置の処理を
示すフローチャート
【図13】図12に示した一部の処理の詳細を示すフロ
ーチャート
【図14】図11に示した画像位置合わせ装置の処理を
示すフローチャート
【図15】バネ拘束処理を加えた処理フローの一部分の
詳細を示すフローチャート
【図16】各周囲テンプレート領域の各シフトベクトル
と中心領域のテンプレート領域のシフトベクトルとを、
仮想的なバネで拘束した概念を示す図
【図17】図18に示した画像位置合わせ装置の処理を
示すフローチャート
【図18】本発明の画像位置合わせ装置の他の実施形態
を示す図(その3)
【図19】第2テンプレート領域および第2探索領域の
設定形態の一例を示す図
【符号の説明】
10 画像位置合わせ装置 11 前処理手段 12 位置合わせ領域選定手段 13 位置合わせ手段

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 同一被写体についての2つの画像を位置
    合わせする画像の位置合わせ方法であって、 前記2つの画像にそれぞれ対応する多数のテンプレート
    領域および探索領域を設定して前記探索領域内に前記テ
    ンプレート領域と画像の一致程度の高い部分領域を求
    め、前記各テンプレート領域および対応する前記各部分
    領域の各対応位置関係を求め、 前記探索領域と探索範囲とのうち少なくとも1つを段階
    的に小さくしつつ、前記テンプレート領域および前記探
    索領域を前記各対応位置関係に基づいて設定し、順次前
    記各対応位置関係を求める操作を繰り返して最終的な対
    応位置関係を求め、 該求められた最終的な対応位置関係に基づいて、前記2
    つの画像のうち少なくとも一方の画像に変換処理を施し
    て、両画像の位置合わせを行なうことを特徴とする画像
    の位置合わせ方法。
  2. 【請求項2】 前記探索領域と前記探索範囲とのうち少
    なくとも1つを段階的に小さくしつつ、前記テンプレー
    ト領域および前記探索領域を設定する際に、さらに、前
    記テンプレート領域を段階的に小さくすることを特徴と
    する請求項1記載の画像の位置合わせ方法。
  3. 【請求項3】 前記テンプレート領域および前記探索領
    域の設定に先立って、前記2つの画像間で画像の位置ず
    れ程度が高い局所領域を設定し、該設定された局所領域
    についてのみ、前記テンプレート領域および前記探索領
    域を設定して、前記最終的な対応位置関係を求めること
    を特徴とする請求項1または2記載の画像の位置合わせ
    方法。
  4. 【請求項4】 前記テンプレート領域および前記探索領
    域の設定に先立って、前記2つの画像にそれぞれ対応す
    る多数の局所領域を設定し、該両画像の対応する局所領
    域間で画像の位置ずれ程度をそれぞれ各別に求め、前記
    求められた位置ずれ程度に基づいて、該位置ずれ程度が
    高い局所領域を選定し、前記選定された局所領域につい
    てのみ、前記テンプレート領域および前記探索領域を設
    定して、前記最終的な対応位置関係を求めることを特徴
    とする請求項1または2記載の画像の位置合わせ方法。
  5. 【請求項5】 前記局所領域間の画像の位置ずれ程度
    は、前記対応する局所領域間でそれぞれ各画素値差の絶
    対値の総和値により求め、 前記位置ずれ程度が高い局所領域の選定は、前記画素値
    差の絶対値の総和値について閾値処理することにより行
    なうものであることを特徴とする請求項4記載の画像の
    位置合わせ方法。
  6. 【請求項6】 前記部分領域を求める対象の局所領域の
    対のうち、一方の画像には第1テンプレート領域を設定
    し、他方の画像には、前記第1テンプレート領域よりも
    大きい領域の第1探索領域を設定し、互いに対応する前
    記第1テンプレート領域および前記第1探索領域の各組
    において、前記第1テンプレート領域と画像の一致程度
    が高い、第1探索領域内の第1部分領域を求め、前記各
    第1テンプレート領域と前記各第1部分領域とに基づい
    てこれらの対応位置関係である第1位置関係を求め、 前記第1位置関係に基づいて、前記一方の画像には、前
    記第1テンプレート領域よりも小さい領域の第2テンプ
    レート領域を設定し、前記他方の画像には、前記第2テ
    ンプレート領域よりも大きくかつ前記第1探索領域より
    も小さい第2探索領域を設定し、互いに対応する前記第
    2テンプレート領域および前記第2探索領域の各組にお
    いて、前記第2テンプレート領域と画像の一致程度が高
    い、第2探索領域内の第2部分領域を求め、前記各第2
    テンプレート領域と前記各第2部分領域とに基づいてこ
    れらの対応位置関係である第2位置関係を求め、 以下、必要に応じて同様の操作を繰り返して第n位置関
    係を求めることにより、前記各テンプレート領域と各部
    分領域との最終的な対応位置関係を求め、 前記最終的な対応位置関係に基づいて前記両画像の位置
    合わせを行なうことを特徴とする請求項1から5のうち
    いずれか1項に記載の画像の位置合わせ方法。
  7. 【請求項7】 前記第1テンプレート領域および前記第
    1部分領域についての前記一致程度は正規化相互相関値
    により求め、前記第2テンプレート領域および前記第2
    部分領域以後についての前記一致程度は画素値の差の絶
    対値総和値により求めることを特徴とする請求項6記載
    の画像の位置合わせ方法。
  8. 【請求項8】 前記2つの画像が、撮影時点が互いに異
    なる時系列の画像であることを特徴とする請求項1から
    7のうちいずれか1項に記載の画像の位置合わせ方法。
  9. 【請求項9】 前記画像が医療用放射線画像であること
    を特徴とする請求項1から8のうちいずれか1項に記載
    の画像の位置合わせ方法。
  10. 【請求項10】 同一被写体についての2つの画像を位
    置合わせする画像の位置合わせ装置であって、 前記2つの画像にそれぞれ対応する多数のテンプレート
    領域および探索領域を設定し、前記探索領域内に前記テ
    ンプレート領域と画像の一致程度の高い部分領域を求
    め、前記各テンプレート領域および対応する前記各部分
    領域の各対応位置関係を求め、前記探索領域と探索範囲
    とのうち少なくとも1つを段階的に小さくしつつ、前記
    テンプレート領域および前記探索領域を前記各対応位置
    関係に基づいて設定し、順次前記各対応位置関係を求め
    る操作を繰り返して最終的な対応位置関係を求め、該求
    められた最終的な対応位置関係に基づいて、前記2つの
    画像のうち少なくとも一方の画像に変換処理を施して、
    両画像の位置合わせを行なう位置合わせ手段を備えたこ
    とを特徴とする画像の位置合わせ装置。
  11. 【請求項11】 同一被写体についての2つの画像を位
    置合わせする画像の位置合わせ装置であって、 前記2つの画像のうち少なくとも一方の画像全体に対し
    て、回転、平行移動および拡大・縮小のうち少なくとも
    1つからなる変換処理を施すことにより前記2つの画像
    全体の概略位置合わせを行なう概略位置合わせ手段と、 該概略位置合わせ手段により概略位置合わせされた前記
    2つの画像にそれぞれ対応する多数のテンプレート領域
    および探索領域を設定し、前記探索領域内に前記テンプ
    レート領域と画像の一致程度の高い部分領域を求め、前
    記各テンプレート領域および対応する前記各部分領域の
    各対応位置関係を求め、前記探索領域と探索範囲とのう
    ち少なくとも1つを段階的に小さくしつつ、前記テンプ
    レート領域および前記探索領域を前記各対応位置関係に
    基づいて設定し、順次前記各対応位置関係を求める操作
    を繰り返して最終的な対応位置関係を求め、該求められ
    た最終的な対応位置関係に基づいて、前記2つの画像の
    うち少なくとも一方の画像に変換処理を施して、両画像
    の位置合わせを行なう位置合わせ手段とを備えたことを
    特徴とする画像の位置合わせ装置。
  12. 【請求項12】 前記位置合わせ手段が、前記探索領域
    と前記探索範囲とのうち少なくとも1つを段階的に小さ
    くしつつ、前記テンプレート領域および前記探索領域を
    設定する際に、さらに、前記テンプレート領域を段階的
    に小さくするものであることを特徴とする請求項10ま
    たは11記載の画像の位置合わせ装置。
  13. 【請求項13】 前記テンプレート領域および前記探索
    領域の設定に先立って、前記2つの画像間で画像の位置
    ずれ程度が高い局所領域を設定する位置合わせ領域設定
    手段をさらに備え、 前記位置合わせ手段が、前記位置合わせ領域設定手段に
    より設定された局所領域についてのみ、前記テンプレー
    ト領域および前記探索領域を設定して前記最終的な対応
    位置関係を求めるものであることを特徴とする請求項1
    0から12のうちいずれか1項に記載の画像の位置合わ
    せ装置。
  14. 【請求項14】 前記テンプレート領域および前記探索
    領域の設定に先立って、前記2つの画像にそれぞれ対応
    する多数の局所領域を設定し、該両画像の対応する局所
    領域間で画像の位置ずれ程度をそれぞれ各別に求め、前
    記求められた位置ずれ程度に基づいて、該位置ずれ程度
    が高い局所領域を選定する位置合わせ領域選定手段をさ
    らに備え、 前記位置合わせ手段が、前記位置合わせ領域選定手段に
    より選定された局所領域についてのみ、前記テンプレー
    ト領域および前記探索領域を設定して前記最終的な対応
    位置関係を求めるものであることを特徴とする請求項1
    0から12のうちいずれか1項に記載の画像の位置合わ
    せ装置。
  15. 【請求項15】 前記位置合わせ領域選定手段が、前記
    局所領域間の画像の位置ずれ程度を、前記対応する局所
    領域間でそれぞれ各画素値差の絶対値の総和値により求
    め、前記局所領域の選定を、前記画素値差の絶対値の総
    和値について閾値処理することにより行なうものである
    ことを特徴とする請求項14記載の画像の位置合わせ装
    置。
  16. 【請求項16】 前記位置合わせ手段が、 前記テンプレート領域および前記探索領域を設定する各
    段階のうち少なくとも1つの段階において、 全ての前記テンプレート領域および対応する前記部分領
    域を中心領域としたときの該中心領域についての前記対
    応位置関係と、前記中心領域の周囲の複数の前記テンプ
    レート領域および対応する前記部分領域を周囲領域とし
    たときの該複数の周囲領域それぞれについての前記対応
    位置関係とを、前記中心領域についての前記対応位置関
    係と前記周囲領域についての前記対応位置関係とに応じ
    た拘束力で拘束させ、該拘束力に応じて、前記中心領域
    についての新たな相対的対応位置関係を求めるバネ拘束
    手段をさらに備え、 該バネ拘束手段により求められた前記各中心領域につい
    ての新たな相対的対応位置関係を、前記段階における前
    記各対応位置関係とするものであることを特徴とする請
    求項10から15のうちいずれか1項に記載の画像の位
    置合わせ装置。
  17. 【請求項17】 前記位置合わせ手段が、 前記部分領域を求める対象の局所領域の対のうち、一方
    の画像には第1テンプレート領域を設定し、他方の画像
    には、前記第1テンプレート領域よりも大きい領域の第
    1探索領域を設定し、互いに対応する前記第1テンプレ
    ート領域および前記第1探索領域の各組において、前記
    第1テンプレート領域と画像の一致程度が高い、第1探
    索領域内の第1部分領域を求め、前記各第1テンプレー
    ト領域と前記各第1部分領域とに基づいてこれらの対応
    位置関係である第1位置関係を求め、前記第1位置関係
    に基づいて、前記一方の画像には、前記第1テンプレー
    ト領域よりも小さい領域の第2テンプレート領域を設定
    し、前記他方の画像には、前記第2テンプレート領域よ
    りも大きくかつ前記第1探索領域よりも小さい第2探索
    領域を設定し、互いに対応する前記第2テンプレート領
    域および前記第2探索領域の各組において、前記第2テ
    ンプレート領域と画像の一致程度が高い、第2探索領域
    内の第2部分領域を求め、前記各第2テンプレート領域
    と前記各第2部分領域とに基づいてこれらの対応位置関
    係である第2位置関係を求め、以下、必要に応じて同様
    の操作を繰り返して第n位置関係を求めて、前記各テン
    プレート領域と各部分領域との最終的な対応位置関係を
    求めることにより、前記両画像の位置合わせを行なうも
    のであることを特徴とする請求項10から16のうちい
    ずれか1項に記載の画像の位置合わせ装置。
  18. 【請求項18】 前記位置合わせ手段が、前記第1テン
    プレート領域および前記第1部分領域についての前記一
    致程度は正規化相互相関値により求め、前記第2テンプ
    レート領域および前記第2部分領域以後についての前記
    一致程度は画素値の差の絶対値総和値により求めるもの
    であることを特徴とする請求項17記載の画像の位置合
    わせ装置。
  19. 【請求項19】 前記2つの画像が、撮影時点が互いに
    異なる時系列の画像であることを特徴とする請求項10
    から18のうちいずれか1項に記載の画像の位置合わせ
    装置。
  20. 【請求項20】 前記画像が医療用放射線画像であるこ
    とを特徴とする請求項10から19のうちいずれか1項
    に記載の画像の位置合わせ装置。
JP2001105537A 2000-05-12 2001-04-04 画像の位置合わせ方法および装置 Expired - Fee Related JP4274400B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001105537A JP4274400B2 (ja) 2000-05-12 2001-04-04 画像の位置合わせ方法および装置
US09/853,659 US6751341B2 (en) 2000-05-12 2001-05-14 Image position matching method and apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000140332 2000-05-12
JP2000-140332 2000-05-12
JP2001105537A JP4274400B2 (ja) 2000-05-12 2001-04-04 画像の位置合わせ方法および装置

Publications (2)

Publication Number Publication Date
JP2002032764A true JP2002032764A (ja) 2002-01-31
JP4274400B2 JP4274400B2 (ja) 2009-06-03

Family

ID=26591786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001105537A Expired - Fee Related JP4274400B2 (ja) 2000-05-12 2001-04-04 画像の位置合わせ方法および装置

Country Status (2)

Country Link
US (1) US6751341B2 (ja)
JP (1) JP4274400B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282906A (ja) * 2006-04-18 2007-11-01 Kyushu Institute Of Technology 医用画像処理方法及びその装置、プログラム
US8170314B2 (en) 2007-06-13 2012-05-01 Fujifilm Corporation Image processing device and image processing program storage medium
US8237805B2 (en) 2007-06-13 2012-08-07 Fujifilm Corporation Image processing device that executes an image process of matching two images with each other, and a non-transitory computer-readable medium that stores a program that causes a computer to operate as the image processing device
JP2015080554A (ja) * 2013-10-22 2015-04-27 コニカミノルタ株式会社 医用画像処理装置及びプログラム
JP2016022111A (ja) * 2014-07-18 2016-02-08 株式会社東芝 磁気共鳴イメージング装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006521616A (ja) * 2003-03-18 2006-09-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ データセットを最適に整合させるための方法及び装置
US7246311B2 (en) * 2003-07-17 2007-07-17 Microsoft Corporation System and methods for facilitating adaptive grid-based document layout
JP2005295303A (ja) * 2004-04-01 2005-10-20 Fuji Photo Film Co Ltd 放射線撮影装置
WO2006100674A2 (en) * 2005-03-21 2006-09-28 Yeda Research And Development Co. Ltd. Detecting irregularities
JP4895204B2 (ja) * 2007-03-22 2012-03-14 富士フイルム株式会社 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
US8457392B2 (en) * 2007-07-27 2013-06-04 Sportvision, Inc. Identifying an object in an image using color profiles
JP5519122B2 (ja) 2007-08-15 2014-06-11 富士フイルム株式会社 画像成分分離装置、方法、およびプログラム
JP4876058B2 (ja) * 2007-11-27 2012-02-15 キヤノン株式会社 色処理装置およびその方法
CA2897462A1 (en) 2009-02-11 2010-05-04 Certusview Technologies, Llc Management system, and associated methods and apparatus, for providing automatic assessment of a locate operation
JP5434621B2 (ja) * 2010-01-19 2014-03-05 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
CN111656398A (zh) * 2018-01-29 2020-09-11 日本电气株式会社 图像处理设备、图像处理方法和记录介质
CN110288040B (zh) * 2019-06-30 2022-02-11 北京华融塑胶有限公司 一种基于拓扑验证的图像相似评判方法及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359513A (en) 1992-11-25 1994-10-25 Arch Development Corporation Method and system for detection of interval change in temporally sequential chest images
JP3494692B2 (ja) * 1994-03-07 2004-02-09 富士写真フイルム株式会社 放射線画像の位置合せ方法
JPH08335721A (ja) 1995-06-08 1996-12-17 Isuzu Motors Ltd ポーラス状熱発電素子の製造方法
US5982915A (en) * 1997-07-25 1999-11-09 Arch Development Corporation Method of detecting interval changes in chest radiographs utilizing temporal subtraction combined with automated initial matching of blurred low resolution images
US6317510B1 (en) * 1997-12-19 2001-11-13 Fuji Photo Film Co., Ltd. Blackening processing method and apparatus
JP4040222B2 (ja) * 1999-03-23 2008-01-30 富士フイルム株式会社 放射線画像の連結処理方法および放射線画像処理装置
US6470092B1 (en) * 2000-11-21 2002-10-22 Arch Development Corporation Process, system and computer readable medium for pulmonary nodule detection using multiple-templates matching

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282906A (ja) * 2006-04-18 2007-11-01 Kyushu Institute Of Technology 医用画像処理方法及びその装置、プログラム
US8170314B2 (en) 2007-06-13 2012-05-01 Fujifilm Corporation Image processing device and image processing program storage medium
US8237805B2 (en) 2007-06-13 2012-08-07 Fujifilm Corporation Image processing device that executes an image process of matching two images with each other, and a non-transitory computer-readable medium that stores a program that causes a computer to operate as the image processing device
JP2015080554A (ja) * 2013-10-22 2015-04-27 コニカミノルタ株式会社 医用画像処理装置及びプログラム
JP2016022111A (ja) * 2014-07-18 2016-02-08 株式会社東芝 磁気共鳴イメージング装置

Also Published As

Publication number Publication date
US6751341B2 (en) 2004-06-15
US20010048758A1 (en) 2001-12-06
JP4274400B2 (ja) 2009-06-03

Similar Documents

Publication Publication Date Title
JP4294881B2 (ja) 画像の位置合わせ方法および装置
JP4104054B2 (ja) 画像の位置合わせ装置および画像処理装置
JP2002032764A (ja) 画像の位置合わせ方法および装置
JP4234311B2 (ja) 画像の位置合わせ方法
US4644582A (en) Image registration method
US8265354B2 (en) Feature-based composing for 3D MR angiography images
JP2002324238A (ja) 画像の位置合わせ方法および装置
US20080143707A1 (en) Texture-based multi-dimensional medical image registration
US7406187B2 (en) Method and system for processing an image
EP1956553B1 (en) Visual enhancement of interval changes using a temporal subtraction technique.
JP4533587B2 (ja) 医用画像の貼り合わせ装置
EP1652122B1 (en) Automatic registration of intra-modality medical volume images using affine transformation
JPH08103439A (ja) 画像の位置合わせ処理装置及び画像間処理装置
US8224046B2 (en) Visual enhancement of interval changes using rigid and non-rigid transformations
JP2000126150A (ja) 関心領域設定方法、画像処理装置および医用画像処理装置
US8229190B2 (en) Visual enhancement of interval changes using temporal subtraction and pattern detector
JPH08110939A (ja) 画像の位置合わせ処理装置及び画像間演算処理装置
JP2002109538A (ja) 画像の位置合わせ方法および装置
JP2001291087A (ja) 画像の位置合わせ方法および位置合わせ装置
JP2022052210A (ja) 情報処理装置、情報処理方法及びプログラム
JP4208049B2 (ja) 画像処理装置
Buzug et al. Improvement of vessel segmentation by elastically compensated patient motion in digital subtraction angiography images
JP4208048B2 (ja) 画像処理装置
US20120134569A1 (en) Method and device for reducing position-related gray value variations by means of a registration of image data sets
Wang et al. An adaptive approach for image subtraction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060113

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090226

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140313

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees