JP2000123177A

JP2000123177A - 画像処理装置およびその処理を実行するためのプログラムを記録した記録媒体

Info

Publication number: JP2000123177A
Application number: JP10297198A
Authority: JP
Inventors: Itaru Furukawa; 至古川; Hidekazu Ine; 英一井根
Original assignee: Dainippon Screen Manufacturing Co Ltd
Current assignee: Dainippon Screen Manufacturing Co Ltd
Priority date: 1998-10-19
Filing date: 1998-10-19
Publication date: 2000-04-28

Abstract

(57)【要約】【課題】２つの画像内における特徴点を容易に対応付
けることができる技術を提供する。【解決手段】第１および第２の画像について、それぞ
れ第１および第２のフーリエ位相画像を生成する。次
に、第１および第２のフーリエ位相画像のそれぞれか
ら、第１および第２の画像内のパターンの特徴を示す複
数の特徴点を抽出する。複数の特徴点が抽出されると、
第１および第２の画像、または、第１および第２のフー
リエ位相画像の２つを処理対象画像として、２つの処理
対象画像内における複数の特徴点のそれぞれを含む複数
の所定の領域について、パターンマッチング処理を行
う。パターンの一致度に応じて、第１の画像に含まれる
複数の特徴点のうちの第１の特徴点と、第２の画像に含
まれる複数の特徴点のうちの第２の特徴点とを対応付け
ることができるので、これにより各特徴点の対応関係を
示す特徴点対応情報を生成することが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像の中の特徴
点を用いる画像処理技術に関する。

【０００２】

【従来の技術】アニメーションなどの動画を再生する場
合には、通常、そのデータ量は膨大なものとなる。この
ような問題を解決するために、従来から、連続した多数
の画像を間引きして、いくつかの画像のみを保存してお
き、保存されなかった他の画像を補間して動画を再生す
るという方法が採用されている。

【０００３】画像の補間は、保存された画像のうち、時
間的に隣り合う２つの画像を、順次、関連付けることに
よって行われる。例えば、２つの画像内に含まれる複数
の特徴点を、それぞれ対応付けることによって、２つの
画像を関連付けることができる。なお、画像内の特徴点
としては、通常、画像内のパターンの特徴を表す点が採
用される。

【０００４】

【発明が解決しようとする課題】しかし、従来の技術に
おいては、２つの画像内における特徴点を対応付ける場
合には、ユーザが画像内の特徴点をマウス等を用いて各
々指定することによって行われており、手間がかかると
いう問題があった。

【０００５】この発明は、従来技術における上述の課題
を解決するためになされたものであり、２つの画像内に
おける特徴点を容易に対応付けることができる技術を提
供することを目的とする。

【０００６】

【課題を解決するための手段およびその作用・効果】上
述の課題の少なくとも一部を解決するため、本発明の装
置は、画像処理装置であって、第１および第２の画像に
ついて、それぞれ第１および第２のフーリエ位相画像を
生成する位相画像生成部と、前記第１および第２のフー
リエ位相画像のそれぞれから、前記第１および第２の画
像内のパターンの特徴を示す複数の特徴点を抽出する特
徴点抽出部と、前記第１および第２の画像、または、前
記第１および第２のフーリエ位相画像の２つを処理対象
画像として、前記２つの処理対象画像内における前記複
数の特徴点のそれぞれを含む複数の所定の領域につい
て、パターンマッチング処理を行い、パターンの一致度
を算出する一致度算出部と、前記一致度に応じて、前記
第１の画像に含まれる前記複数の特徴点のうちの第１の
特徴点と、前記第２の画像に含まれる前記複数の特徴点
のうちの第２の特徴点とが、対応していることを示す特
徴点対応情報を生成する特徴点対応情報生成部と、を備
えることを特徴とする。

【０００７】この画像処理装置においては、第１と第２
の画像から第１と第２のフーリエ位相画像を生成してい
るので、フーリエ位相画像を用いて第１と第２の画像に
含まれる特徴点を抽出することができる。２つの処理対
象画像内の複数の特徴点のそれぞれを含む複数の所定の
領域を用いて、パターンマッチング処理を行うことによ
り、特徴点を含む所定の領域同士の一致度を求めること
ができる。したがって、求められた一致度に応じて、２
つの処理対象画像内の対応する特徴点を決定することが
できるので、第１と第２の画像の各特徴点を容易に対応
付けることが可能となる。

【０００８】上記の装置において、前記特徴点対応情報
生成部は、前記一致度に応じて前記２つの処理対象画像
のそれぞれに含まれる前記複数の特徴点を双方向に対応
付け、前記第１の特徴点に対する前記第２の画像に含ま
れる前記複数の特徴点の一致度の中で前記第２の特徴点
の一致度が最も高く、かつ、前記第２の特徴点に対する
前記第１の画像に含まれる前記複数の特徴点の一致度の
中で前記第１の特徴点の一致度が最も高い場合にのみ前
記特徴点対応情報を生成することが望ましい。

【０００９】このように２つの処理対象画像について、
特徴点を含む所定の領域同士で双方向に対応付けを行え
ば、互いに一致度が最も高くなる特徴点のみを用いて特
徴点対応情報を生成することができる。これにより、よ
り信頼度の高い特徴点対応情報を生成することが可能と
なる。

【００１０】上記の装置において、前記特徴点抽出部
は、前記第１および第２のフーリエ位相画像を、所定の
閾値で２値化することにより前記特徴点の複数の候補を
選出し、前記特徴点の候補の中から、前記特徴点を決定
するようにすることが好ましい。

【００１１】第１と第２のフーリエ位相画像を所定の閾
値で２値化することにより特徴点の候補を選出すれば、
特徴点の候補の中には、特徴点となるべき点がうまく含
まれる。したがって、このように特徴点の候補を選出し
ておけば、特徴点となるべき点を確実に特徴点として決
定することが可能となる。

【００１２】上記の装置において、前記特徴点抽出部
は、前記複数の候補に関する細らせ処理を行うことによ
り前記特徴点を決定するようにしてもよい。

【００１３】このようにすれば、複数の特徴点の候補の
中から、特徴点を容易に決定することができる。

【００１４】また、上記の装置において、前記特徴点
は、前記特徴点の候補の中から、ユーザが選択すること
によって決定されるようにしてもよい。

【００１５】このようにすれば、ユーザが選択する範囲
が限られているため、従来の技術に対し、比較的容易に
特徴点を決定することが可能となる。

【００１６】本発明の記録媒体は、画像処理を行うため
のコンピュータプログラムを記録したコンピュータ読み
取り可能な記録媒体であって、第１および第２の画像に
ついて、それぞれ第１および第２のフーリエ位相画像を
生成する機能と、前記第１および第２のフーリエ位相画
像のそれぞれから、前記第１および第２の画像内のパタ
ーンの特徴を示す複数の特徴点を抽出する機能と、前記
第１および第２の画像、または、前記第１および第２の
フーリエ位相画像の２つを処理対象画像として、前記２
つの処理対象画像内における前記複数の特徴点のそれぞ
れを含む複数の所定の領域について、パターンマッチン
グ処理を行い、パターンの一致度を算出する機能と、前
記一致度に応じて、前記第１の画像に含まれる前記複数
の特徴点のうちの第１の特徴点と、前記第２の画像に含
まれる前記複数の特徴点のうちの第２の特徴点とが、対
応していることを示す特徴点対応情報を生成する機能
と、を記録する。

【００１７】このような記録媒体に記録されたコンピュ
ータプログラムがコンピュータシステムによって実行さ
れた場合にも、上記の画像処理装置と同様の作用・効果
を有し、第１と第２の画像の各特徴点を容易に対応付け
ることができる。

【００１８】

【発明の他の態様】この発明は、以下のような態様も含
んでいる。第１の態様は、画像処理方法であって、第１
および第２の画像について、それぞれ第１および第２の
フーリエ位相画像を生成する工程と、前記第１および第
２のフーリエ位相画像のそれぞれから、前記第１および
第２の画像内のパターンの特徴を示す複数の特徴点を抽
出する工程と、前記第１および第２の画像、または、前
記第１および第２のフーリエ位相画像の２つを処理対象
画像として、前記２つの処理対象画像内における前記複
数の特徴点のそれぞれを含む複数の所定の領域につい
て、パターンマッチング処理を行い、パターンの一致度
を算出する工程と、前記一致度に応じて、前記第１の画
像に含まれる前記複数の特徴点のうちの第１の特徴点
と、前記第２の画像に含まれる前記複数の特徴点のうち
の第２の特徴点とが、対応していることを示す特徴点対
応情報を生成する工程と、を備えることを特徴とする。

【００１９】第２の態様は、コンピュータに上記の発明
の各工程または各部の機能を実行させるコンピュータプ
ログラムを通信経路を介して供給するプログラム供給装
置である。

【００２０】

【発明の実施の形態】次に、本発明の実施の形態を実施
例に基づき説明する。図１は、本発明の一実施例として
の画像処理装置を示すブロック図である。この装置は、
ＣＰＵ１００と、バスライン１０２とを備えている。バ
スライン１０２には、画像データメモリ１１０と、表示
部１２０と、ＲＯＭ１３０と、磁気ディスク１４０とが
接続されている。また、バスライン１０２には、画像処
理部１５０の機能を実現するプログラムを含むＲＡＭが
接続されている。画像処理部１５０は、画像調整部１５
１と、位相画像生成部１５２と、特徴点抽出部１５３
と、一致度算出部１５４と、特徴点対応情報生成部１５
５との機能を備えている。この画像処理装置は、伝送路
に接続して一般的なネットワークシステムを構成するよ
うにしてもよい。

【００２１】なお、上記の画像処理部１５０内の各部１
５１〜１５５の機能を実現するコンピュータプログラム
は、フレキシブルディスクやＣＤ−ＲＯＭ等の、コンピ
ュータ読み取り可能な記録媒体に記録された形態で提供
される。コンピュータは、その記録媒体からコンピュー
タプログラムを読み取って内部記憶装置または外部記憶
装置に転送する。あるいは、通信経路を介してコンピュ
ータにコンピュータプログラムを供給するようにしても
よい。コンピュータプログラムの機能を実現するときに
は、内部記憶装置に格納されたコンピュータプログラム
がコンピュータのマイクロプロセッサによって実行され
る。また、記録媒体に記録されたコンピュータプログラ
ムをコンピュータが読み取って直接実行するようにして
もよい。

【００２２】この明細書において、コンピュータとは、
ハードウェア装置とオペレーションシステムとを含む概
念であり、オペレーションシステムの制御の下で動作す
るハードウェア装置を意味している。また、オペレーシ
ョンシステムが不要でアプリケーションプログラム単独
でハードウェア装置を動作させるような場合には、その
ハードウェア装置自体がコンピュータに相当する。ハー
ドウェア装置は、ＣＰＵ等のマイクロプロセッサと、記
録媒体に記録されたコンピュータプログラムを読み取る
ための手段とを少なくとも備えている。コンピュータプ
ログラムは、このようなコンピュータに、上述の各部の
機能を実現させるプログラムコードを含んでいる。な
お、上述の機能の一部は、アプリケーションプログラム
でなく、オペレーションシステムによって実現されてい
ても良い。

【００２３】なお、この発明における「記録媒体」とし
ては、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気デ
ィスク、ＩＣカード、ＲＯＭカートリッジ、パンチカー
ド、バーコードなどの符号が印刷された印刷物、コンピ
ュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）
および外部記憶装置等の、コンピュータが読取り可能な
種々の媒体を利用できる。

【００２４】図２は、本実施例における画像の処理手順
を示すフローチャートである。図３は、画像の処理の様
子を示す説明図である。図２のステップＳ１０１におい
ては、図１の画像調整部１５１は、第１と第２の画像の
調整を行う。ステップＳ１０１においては、解像度の調
整が行われる。例えば、２つの画像の解像度が異なる場
合には、ほぼ同じ解像度となるように画像が調整され
る。具体的には、解像度の高い画像の画素を間引くこと
によって、解像度の低い画像とほぼ同じ解像度となるよ
うに調整する。また、２つの画像の解像度をさらに低い
解像度に調整してもよい。このようにすれば、後述する
ステップＳ１０６における処理を迅速に行うことが可能
となる。図３（Ａ−１），（Ａ−２）には、それぞれス
テップＳ１０１において解像度が調整された第１の画像
Ｍ１と第２の画像Ｍ２とが示されている。

【００２５】図３（Ａ−１），（Ａ−２）に示すよう
に、３次元空間に配置された３次元対象物である直方体
が、第１と第２の画像Ｍ１，Ｍ２の両方に含まれてい
る。２つの画像Ｍ１，Ｍ２は、同じ対象物を３次元空間
の異なる方向から撮像した場合を示している。

【００２６】図２のステップＳ１０２，Ｓ１０３におい
ては、位相画像生成部１５２（図１）が、第１と第２の
画像Ｍ１，Ｍ２からそれぞれ第１と第２のフーリエ位相
画像を生成する。

【００２７】図４は、ステップＳ１０２（図２）の第１
のフーリエ位相画像の生成処理の手順を示すフローチャ
ートである。なお、ステップＳ１０３における第２のフ
ーリエ位相画像の生成処理の手順も図４に示す手順と同
じである。ステップＳ１０２ａでは、第１の画像の画像
データをフーリエ変換する。画像データのフーリエ変換
Ｆ（ｕ，ｖ）は、数式１によって与えられる。

【００２８】

【数１】

【００２９】ここで、（ｘ，ｙ）は、図３（Ａ−１），
（Ａ−２）に示すように、画像における各画素の位置を
示している。ｆ（ｘ，ｙ）は、位置（ｘ，ｙ）における
画像データを示している。Ｎｘ，Ｎｙは、それぞれ画像
のｘ方向、ｙ方向の全画素数を示している。（ｕ，ｖ）
は、それぞれｘ方向、ｙ方向における画像データｆ
（ｘ，ｙ）の周波数に関する値を示している。

【００３０】次に、ステップＳ１０２ｂ（図４）におい
ては、ステップＳ１０２ａで得られたフーリエ変換を次
の数式２に従って調整する。

【００３１】

【数２】

【００３２】ここで、Ｆφ（ｕ，ｖ）は、調整されたフ
ーリエ変換を示している。｜Ｆ（ｕ，ｖ）｜は、数式１
のフーリエ変換Ｆ（ｕ，ｖ）の絶対値を示している。α
は、０以上の所定の定数を示している。なお、αは、分
母が０となることを回避するための定数であり、本実施
例においてはαは「１」に設定されている。

【００３３】数式２から分かるように、定数α＝０の場
合には、調整されたフーリエ変換Ｆφ（ｕ，ｖ）は、フ
ーリエ変換Ｆ（ｕ，ｖ）の振幅成分を規格化して位相成
分のみを抽出した関数となっている。

【００３４】ステップＳ１０２ｃでは、調整されたフー
リエ変換Ｆφ（ｕ，ｖ）を逆フーリエ変換して、フーリ
エ位相画像データを生成する。フーリエ位相画像データ
ｆφ（ｘ，ｙ）は、数式３によって与えられる。

【００３５】

【数３】

【００３６】図５は、種々の画像と、対応するフーリエ
位相画像とを示す説明図である。図５（Ａ−１），（Ａ
−２）は、それぞれ、正方形の２次元対象物が含まれて
いる画像とそのフーリエ位相画像とを示している。同様
に、図５（Ｂ−１），（Ｂ−２）には、三角形の２次元
対象物が含まれている画像とそのフーリエ位相画像とが
示されており、図５（Ｃ−１），（Ｃ−２）には、円形
の２次元対象物が含まれている画像とそのフーリエ位相
画像とが示されている。図５（Ａ−２），（Ｂ−２），
（Ｃ−２）のフーリエ位相画像内の白い領域は、数式３
のフーリエ位相画像データｆφ（ｘ，ｙ）が比較的大き
な値を示す領域に相当し、他の領域は、フーリエ位相画
像データｆφ（ｘ，ｙ）が比較的小さな値を示す領域に
相当する。図５（Ａ−２），（Ｂ−２）のフーリエ位相
画像においては、それぞれ、正方形および三角形の頂点
に対応する画素のフーリエ位相画像データｆφ（ｘ，
ｙ）が最も大きな値となっている。また、図５（Ｃ−
２）のフーリエ位相画像においては、円の輪郭に対応す
る画素のフーリエ位相画像データｆφ（ｘ，ｙ）がほぼ
同じレベルで比較的大きな値となっている。

【００３７】図５（Ａ−２），（Ｂ−２），（Ｃ−２）
に示すように、フーリエ位相画像では、画像に含まれる
パターンの形状に関する特徴が強調される。したがっ
て、フーリエ位相画像を用いれば、画像に含まれる対象
物の特徴、すなわち、画像の特徴点をうまく抽出するこ
とが可能である。

【００３８】図３（Ｂ−１），（Ｂ−２）は、それぞれ
図２のステップＳ１０２，Ｓ１０３において得られたフ
ーリエ位相画像Ｆ１，Ｆ２を示している。図３（Ｂ−
１）に示す第１のフーリエ位相画像Ｆ１は、図３（Ａ−
１）の第１の画像Ｍ１から得られたものであり、第２の
フーリエ位相画像Ｆ２は、図３（Ａ−２）の第２の画像
Ｍ２から得られたものである。

【００３９】なお、図３（Ｂ−１），（Ｂ−２）および
図５においては、フーリエ位相画像は、図示の便宜上、
白い領域とそれ以外の領域から構成されているが、実際
のフーリエ位相画像データｆφ（ｘ，ｙ）は、数式３か
ら得られるので、０〜１の値を取り得る多値のデータと
なっている。図３（Ｂ−１），（Ｂ−２）および図５に
示すフーリエ位相画像は、数式３のフーリエ位相画像デ
ータｆφ（ｘ，ｙ）に２５５を乗じて、８ビット（０〜
２５５）で表現したものである。

【００４０】上記のようにして、第１と第２のフーリエ
位相画像Ｆ１，Ｆ２が得られると、図２のステップＳ１
０４，１０５において特徴点が抽出される。

【００４１】図６は、ステップＳ１０４（図２）におけ
る第１のフーリエ位相画像Ｆ１の特徴点の抽出処理の手
順を示すフローチャートである。なお、ステップＳ１０
５における第２のフーリエ位相画像Ｆ２の特徴点の抽出
処理の手順も図６に示す手順と同じである。

【００４２】特徴点の抽出処理においては、まず、ステ
ップＳ１０４ａにおいて、ステップＳ１０２，１０３
（図２）において得られた第１と第２のフーリエ位相画
像を２値化して特徴点の候補を抽出する。２値化処理
は、第１と第２のフーリエ位相画像と所定の閾値とを比
較することによって行われる。すなわち、フーリエ位相
画像の画素値が所定の閾値を越える画素は、特徴点の候
補として抽出される。

【００４３】ステップＳ１０４ａにおいて、所定の閾値
が十分に大きな値に設定されている場合には、フーリエ
位相画像の２値化によって得られる特徴点の候補は、ス
テップＳ１０４ｂにおいて、そのまま特徴点として決定
することができる。すなわち、所定の閾値が十分に大き
い場合には、特徴点候補は、画像内の対象物の形状の特
徴をうまく抽出した点となっている。

【００４４】ところで、フーリエ位相画像を２値化する
際の所定の閾値が大き過ぎるときには、本来、画像内の
特徴点となるべき点が特徴点の候補として抽出されない
という問題が生じ得る。また、所定の閾値が比較的小さ
いときには、画像内の特徴点となるべき点に対して多数
の特徴点候補が選出され、後述するステップＳ１０６以
降（図２）の処理をあまり迅速に行えないという問題が
生じ得る。これらの問題を回避するために、ステップＳ
１０４ｃ〜Ｓ１０４ｅ（図６）に示すいずれかの手順に
よって、特徴点を決定することが好ましい。このため
に、ステップＳ１０４ａ（図６）において、フーリエ位
相画像を２値化する所定の閾値を、あまり大きくない値
に設定しておく。例えば、フーリエ位相画像が８ビット
で表されるときは、閾値は約１００に設定される。この
とき、画像内の特徴点となるべき点に対して、比較的多
数の特徴点候補が選出される。２値化処理の結果は、数
式２の定数αの値などによって変わり得るので、２値化
処理のための所定の閾値は、実験により経験的に求める
ことが好ましい。

【００４５】ステップＳ１０４ｃにおいては、ステップ
Ｓ１０４ａで抽出された多数の特徴点候補の中からユー
ザの選択によって特徴点を決定する。例えば、第１と第
２のフーリエ位相画像Ｆ１，Ｆ２（図３（Ｂ−１），
（Ｂ−２））上において、ステップＳ１０４ａにおいて
抽出された比較的多数の特徴点候補を表示し、ユーザが
比較的多数の特徴点候補の中から、特徴点を選定するよ
うにすればよい。このようにして特徴点を決定する場合
には、ユーザの選択範囲が限られているので、比較的容
易に特徴点を決定することができる。

【００４６】ステップＳ１０４ｄにおいては、ステップ
Ｓ１０４ａで抽出された比較的多数の特徴点候補を含む
領域に対して、周知の細らせ処理を行うことにより特徴
点を決定する。本実施例の細らせ処理においては、特徴
点候補が４画素以上連続した画素領域を細らせ処理の対
象とし、孤立した画素および３画素以下で連続した画素
領域は、特徴点を含まない画素領域とみなして細らせ処
理の対象外とする。なお、上記の「連続」とは、ある特
徴点候補の画素を注目画素とした際に、注目画素の８近
傍画素の領域内に、特徴点候補となっている画素が少な
くとも１つ存在する状態を意味する。こうすれば、特徴
点となるべき特徴点候補を含む領域を効率的に選択し
て、細らせ処理を行うことができる。このように決定さ
れる処理対象領域において、特徴点候補領域の大きさが
１画素になるまで細らせ処理を繰り返し行う。なお、細
らせ処理は、処理対象領域を囲む外接矩形において、外
縁部に存在する特徴点候補を順次注目画素として、行え
ばよい。このとき、処理対象領域内において最後に残る
１画素の大きさの特徴点候補が特徴点として決定され
る。

【００４７】ステップＳ１０４ｅでは、特徴点候補が所
定の画素数以上連続した画素領域内において、フーリエ
位相画像データｆφ（ｘ，ｙ）が最大となる特徴点候補
を特徴点として決定する。このようにすれば、複数の特
徴点候補の中から、容易に特徴点を決定することができ
る。

【００４８】このように、ステップＳ１０４ｃ〜Ｓ１０
４ｅのいずれかの処理を用いれば、上記の種々の問題を
回避して、特徴点を決定することができる。なお、ステ
ップＳ１０４ｃ〜Ｓ１０４ｅの処理のいずれを採用する
かは、ユーザが予め設定しておけばよい。

【００４９】ステップＳ１０４（図２）においては、上
記のようにして第１と第２のフーリエ位相画像Ｆ１，Ｆ
２から特徴点が抽出される。図３（Ｂ−１），（Ｂ−
２）には、第１と第２のフーリエ位相画像Ｆ１，Ｆ２に
おける特徴点が「●」印で示されている。

【００５０】図２のステップＳ１０６においては、第１
と第２のフーリエ位相画像Ｆ１，Ｆ２から得られた各特
徴点を含む所定の領域においてパターンマッチング処理
を行い、パターンの一致度を求める。

【００５１】図７は、パターンの一致度を求める際の処
理を示す説明図である。図７には、図３（Ｂ−１），
（Ｂ−２）の第１のフーリエ位相画像Ｆ１と第２のフー
リエ位相画像Ｆ２とが示されている。図７に示すよう
に、パターンの一致度は、第１のフーリエ位相画像Ｆ１
内の第１の特徴点（ＡＰＴ１_x，ＡＰＴ１_y）を囲む所定
の大きさの領域ＡＰＴ１をテンプレートとして用いて、
第２のフーリエ位相画像Ｆ２内の複数の特徴点（ＢＰＴ
１_x，ＢＰＴ１_y），（ＢＰＴ２_x，ＢＰＴ２_y）…をそれ
ぞれ囲む所定の大きさの領域ＢＰＴ１，ＢＰＴ２…につ
いてパターンマッチング処理を行うことにより求められ
る。第１のフーリエ位相画像Ｆ１内の第１の特徴点（Ａ
ＰＴ１_x，ＡＰＴ１_y）を囲む所定の大きさの領域ＡＰＴ
１をテンプレートとして用いたパターンマッチング処理
が終了すると、次に、第１のフーリエ位相画像Ｆ１内の
第２の特徴点（ＡＰＴ２_x，ＡＰＴ２_y）を囲む所定の大
きさの領域ＡＰＴ２をテンプレートとして用いてパター
ンマッチング処理を行う。このようにして、第１のフー
リエ位相画像Ｆ１内のすべての特徴点をそれぞれ囲む所
定の大きさの領域をテンプレートとして用いてパターン
マッチング処理を行う。本実施例において、２つのパタ
ーン領域ＡＰＴα，ＢＰＴβの一致度Ｓは、次の数式４
に従って求められる。

【００５２】

【数４】

【００５３】ここで、（ｉ，ｊ）は、第１のフーリエ位
相画像Ｆ１内のα番目のパターン領域ＡＰＴαと、第２
のフーリエ位相画像Ｆ２内のβ番目のパターン領域ＢＰ
Ｔβとにおいて、特徴点（ＡＰＴα_x，ＡＰＴα_y），
（ＢＰＴβ_x，ＢＰＴβ_y）を原点とする座標を示してい
る。ＡＶ_α（ｉ，ｊ），ＢＶ_β（ｉ，ｊ）は、位置
（ｉ，ｊ）の画素の画素値を示している。ｍ，ｎは、パ
ターン領域の大きさを示す定数であり、特徴点を中心と
して（２ｍ＋１）×（２ｎ＋１）画素の領域がパターン
マッチング処理の対象領域となる。

【００５４】例えば、第１のフーリエ位相画像Ｆ１内の
特徴点（ＡＰＴ１_x，ＡＰＴ１_y）を囲む領域ＡＰＴ１を
テンプレートとして用いると、第２のフーリエ位相画像
Ｆ２内の各特徴点を囲む領域ＢＰＴ１，ＢＰＴ２…につ
いての一致度Ｓ（ＡＰＴ１，ＢＰＴ１），Ｓ（ＡＰＴ
１，ＢＰＴ２）…が求められる。同様に、第１のフーリ
エ位相画像Ｆ１内の特徴点（ＡＰＴ２_x，ＡＰＴ２_y）を
囲む領域ＡＰＴ２をテンプレートとして用いると、第２
のフーリエ位相画像Ｆ２内の各特徴点を囲む領域ＢＰＴ
１，ＢＰＴ２…についての一致度Ｓ（ＡＰＴ２，ＢＰＴ
１），Ｓ（ＡＰＴ２，ＢＰＴ２）…が求められる。

【００５５】なお、本実施例においては、第１のフーリ
エ位相画像Ｆ１内のα番目の特徴点を囲む領域ＡＰＴα
と、第２のフーリエ位相画像Ｆ２内のβ番目の特徴点を
囲む領域ＢＰＴβとの画素サイズ（（２ｍ＋１）×（２
ｎ＋１）画素）が等しくなっているが、領域ＢＰＴβの
画素サイズを領域ＡＰＴαの画素サイズより大きくして
もよい。この場合には、領域ＢＰＴβ内において、領域
ＡＰＴαのパターンを順次走査しつつパターンマッチン
グ処理を行い、最も大きくなる一致度を求めればよい。

【００５６】上記のように特徴点を含む所定の領域のパ
ターンの一致度が求められると、図２のステップＳ１０
７において、第１と第２のフーリエ位相画像Ｆ１，Ｆ２
に含まれる各特徴点が対応付けられる。すなわち、第１
のフーリエ位相画像Ｆ１内のα番目の特徴点（ＡＰＴα
_x，ＡＰＴα_y）については、この特徴点を含む領域ＡＰ
Ｔαに関して数式４の一致度Ｓが最も大きくなるような
第２のフーリエ位相画像Ｆ２内の領域ＢＰＴβに含まれ
る特徴点（ＢＰＴβ_x，ＢＰＴβ_y）が対応付けられる。
図７では、第１のフーリエ位相画像Ｆ１内の第１の特徴
点（ＡＰＴ１_x，ＡＰＴ１_y）が、第２のフーリエ位相画
像Ｆ２内の領域ＢＰＴ１に含まれる特徴点（ＢＰＴ
１_x，ＢＰＴ１_y）と対応付けられる場合が矢印で示され
ている。このようにして、第１のフーリエ位相画像Ｆ１
内の各特徴点は、第２のフーリエ位相画像Ｆ２内の各特
徴点と対応付けられる。

【００５７】ステップＳ１０８（図２）においては、特
徴点対応情報生成部１５５（図１）が、ステップＳ１０
７における特徴点の対応付けの結果を評価して、特徴点
対応情報を生成する。例えば、第１のフーリエ位相画像
Ｆ１内の特徴点の数が、第２のフーリエ位相画像Ｆ２内
の特徴点の数より１つ多い場合には、不適切な特徴点の
対応付けが行われている可能性がある。すなわち、第１
のフーリエ位相画像Ｆ１内の２つの特徴点が、第２のフ
ーリエ位相画像Ｆ２内の１つの特徴点と対応付けられて
いると考えられる。このような場合には、これらの２つ
の対応付けのうち、パターンマッチング処理による一致
度Ｓが大きい方の対応付けを優先させ、他方の対応付け
を消去して、特徴点対応情報を生成する。

【００５８】図３（Ｃ−１），（Ｃ−２）には、ステッ
プＳ１０８で生成された特徴点対応情報で示される対応
関係が矢印により模式的に示されている。図３（Ｃ−
１），（Ｃ−２）には、第１と第２の画像Ｍ１，Ｍ２に
おける特徴点が「●」印で示されている。なお、特徴点
の位置は図３（Ｂ−１），（Ｂ−２）と同じである。図
３（Ｃ−１），（Ｃ−２）では、２つの画像Ｍ１，Ｍ２
には特徴点が７つずつ含まれており、各特徴点が１つず
つうまく対応付けられている場合が示されている。この
ように生成された特徴点対応情報（図３（Ｃ−１），
（Ｃ−２））と、第１と第２の画像Ｍ１，Ｍ２（図３
（Ａ−１），（Ａ−２））とを保存しておけば、第１の
画像Ｍ１から第２の画像Ｍ２までの間の画像を適宜補間
して、例えば、画像内の対象物が連続的に回転する様子
を再現することが可能となる。

【００５９】なお、上記の手順においては、ステップＳ
１０７（図２）で第１のフーリエ位相画像Ｆ１内の各特
徴点に対し、第２のフーリエ位相画像内の特徴点が一方
的に対応付けられているが、特徴点の対応付けは双方向
に行うことが好ましい。

【００６０】図８は、特徴点の対応付けを双方向に行う
場合を模式的に示す説明図である。図８（Ａ）は、図７
と同じであり、第１のフーリエ位相画像Ｆ１内の第１の
特徴点（ＡＰＴ１_x，ＡＰＴ１_y）が、第２のフーリエ位
相画像Ｆ２内の第１の特徴点（ＢＰＴ１_x，ＢＰＴ１_y）
と対応付けられている様子を示している。図８（Ｂ）
は、図７と逆方向の対応付け、すなわち、第２のフーリ
エ位相画像Ｆ２内の第１の特徴点（ＢＰＴ１_x，ＢＰＴ
１_y）が、第２のフーリエ位相画像Ｆ１内の第１の特徴
点（ＡＰＴ１_x，ＡＰＴ１_y）と対応付けられている様子
を示している。逆方向の対応付けの場合には、第２のフ
ーリエ位相画像Ｆ２内のβ番目の特徴点（ＢＰＴβ_x，
ＢＰＴβ_y）については、この特徴点を含む領域ＢＰＴ
βに関して数式４と同様の一致度Ｓ（ＢＴＰβ，ＡＰＴ
α）が最も大きくなるような第１のフーリエ位相画像Ｆ
１内のα番目の領域ＡＰＴαに含まれる特徴点（ＡＰＴ
α_x，ＡＰＴα_y）が対応付けられる。なお、このときの
一致度Ｓ（ＢＴＰβ，ＡＰＴα）を求める際には、逆方
向のパターンマッチング処理を行う必要はない。すなわ
ち、第１のフーリエ位相画像Ｆ１の特徴点を含む各領域
ＡＰＴαについて求められた一致度Ｓ（ＡＴＰα，ＢＰ
Ｔβ）を整理して、第２のフーリエ位相画像Ｆ２の特徴
点を含む各領域ＢＰＴβについての一致度Ｓ（ＢＴＰ
β，ＡＰＴα）を生成すればよい。

【００６１】このように双方向に対応付けを行えば、ス
テップＳ１０８における特徴点の対応付けの評価をより
確実に行うことができる。すなわち、相互の対応付けが
一致する場合にのみ、第１のフーリエ位相画像内の特徴
点と、第２のフーリエ位相画像内の特徴点との対応関係
を示す特徴点対応情報を生成すればよい。このようにす
れば、生成される特徴点対応情報の信頼度を向上させる
ことが可能となる。

【００６２】図９は、４つの画像ＰＡ〜ＰＤについての
特徴点の対応関係を示す特徴点対応情報を模式的に示す
説明図である。４つの画像ＰＡ〜ＰＤは、３次元空間に
配置された物体（直方体）が、順次異なる方向から撮像
された際の画像を示している。図９では、各画像内の４
つの特徴点についてのみ、特徴点対応情報が図示されて
いる。なお、図９に示す特徴点対応情報は、各画像の特
徴点がステップＳ１０７（図２）において双方向に対応
付けられる場合を示している。

【００６３】第１の画像ＰＡの４つの特徴点Ａ１〜Ａ４
はそれぞれ第２の画像ＰＢの４つの特徴点Ｂ１〜Ｂ４と
対応付けられ、第２の画像ＰＢの４つの特徴点Ｂ１〜Ｂ
４はそれぞれ第１の画像ＰＡの４つの特徴点Ａ１〜Ａ４
と対応付けられている。このとき、図中、双方向の矢印
で示すように、第１の画像ＰＡの４つの特徴点Ａ１〜Ａ
４と第２の画像ＰＢの４つの特徴点Ｂ１〜Ｂ４とは、そ
れぞれ相互に対応付けられて、特徴点対応情報が生成さ
れる。同じように、第３の画像ＰＣの４つの特徴点Ｃ１
〜Ｃ４と、第４の画像ＰＤの４つの特徴点Ｄ１〜Ｄ４も
相互に対応付けられて、特徴点対応情報が生成される。

【００６４】同様に、第２の画像ＰＢの４つの特徴点Ｂ
１〜Ｂ４のうち３つの特徴点Ｂ１，Ｂ２，Ｂ４は、第３
の画像の特徴点Ｃ１，Ｃ２，Ｃ４とそれぞれ相互に対応
付けられて、特徴点対応情報が生成される。しかし、第
２の画像ＰＢの特徴点Ｂ３は、第３の画像ＰＣの特徴点
Ｃ３と相互に対応付けられておらず、特徴点対応情報に
含まれていない。すなわち、第２の画像ＰＢの２つの特
徴点Ｂ３，Ｂ４は、ともに第３の画像ＰＣの特徴点Ｃ４
と対応付けられている。一方、第３の画像ＰＣの特徴点
Ｃ３，Ｃ４は、それぞれ第２の画像ＰＢの特徴点Ｂ３，
Ｂ４と対応付けられている。このとき、第２の画像ＰＢ
の特徴点Ｂ４と、第３の画像ＰＣの特徴点Ｃ４とは、相
互に対応付けられるので、特徴点対応情報に含まれる。
しかし、第２の画像ＰＢの特徴点Ｂ３と、第３の画像Ｐ
Ｃの特徴点Ｃ３とは、相互に対応付けられていないの
で、その対応関係は特徴点対応情報に含まれていない。

【００６５】このように、ステップＳ１０７（図２）に
おいて、双方向に対応付けを行えば、ステップＳ１０８
において、信頼性の高い特徴点対応情報を生成すること
ができる。

【００６６】上記実施例では、ステップＳ１０６（図
２）において、第１と第２のフーリエ位相画像Ｆ１，Ｆ
２（図３（Ｂ−１），（Ｂ−２））を用いてパターンマ
ッチング処理を行っているが、この代わりに、第１と第
２の画像Ｍ１，Ｍ２（図３（Ａ−１），（Ａ−２））を
用いてパターンマッチング処理を行ってもよい。図１０
は、第１と第２の画像Ｍ１，Ｍ２を用いる場合のパター
ンマッチング処理を示す説明図である。なお、図１０は
図７の処理に対応する。この場合にも、第１と第２の画
像Ｍ１，Ｍ２内の各特徴点を対応付けて、ステップＳ１
０８（図２）において特徴点対応情報を生成することが
可能である。

【００６７】また、本実施例の画像処理装置（図１）
に、さらにＣＣＤカメラなどの受光素子を有する画像入
力部（図示せず）を追加してデジタルカメラを構成すれ
ば、撮像時に保存すべき画像を大幅に削減することがで
きる。すなわち、デジタルカメラにおいて画像を撮像す
る度に、順次、特徴点の対応付けを行っていけば、特徴
点の対応付けが比較的難しい２つの画像間における特徴
点対応情報を生成することができる。これにより、撮像
時に保存すべき画像を大幅に削減することが可能とな
る。

【００６８】例えば、図９の第１と第４の２つの画像Ｐ
Ａ，ＰＤでは、それぞれの画像内の特徴点を囲む領域の
パターンが大きく異なるため、パターンマッチング処理
によって複数の特徴点を正確に対応付けることは比較的
困難である。このような場合にも、以下に説明するよう
にすれば第１と第４の画像ＰＡ，ＰＤの特徴点対応情報
をうまく生成することができる。まず、第１と第２の画
像ＰＡ，ＰＢを撮像して特徴点の対応付けを行う。次
に、第３の画像ＰＣを撮像して、第２と第３の画像Ｐ
Ｂ，ＰＣの特徴点の対応付けを行う。さらに、第４の画
像ＰＤを撮像して第３と第４の画像ＰＣ，ＰＤの特徴点
の対応付けを行う。このようにして各画像間で特徴点の
対応付けを順次行い、各画像間における特徴点の対応付
けに基づいて、第１の画像ＰＡの特徴点と第４の画像Ｐ
Ｄの特徴点とを直接対応付けて、特徴点対応情報を生成
することができる。図９では、第１と第４の画像ＰＡ，
ＰＤのそれぞれに示されている４つの特徴点のうち、第
１の画像内の３つの特徴点Ａ１，Ａ２，Ａ４と第４の画
像内の３つの特徴点Ｄ１，Ｄ２，Ｄ４とが直接対応付け
られた特徴点対応情報が生成される。なお、上記の場合
には、第１と第４の画像ＰＡ，ＰＤのみを磁気ディスク
１４０（図１）に保存し、第２と第３の画像ＰＢ，ＰＣ
は、一時的に画像データメモリ１１０に記憶すればよ
い。また、特徴点対応情報が生成されれば、隣り合う各
画像間の特徴点の対応付けは消去すればよい。このよう
に、特徴点の対応付けが比較的困難な２つの画像間にお
いても、撮像される画像毎に特徴点を順次対応させてい
けば、特徴点対応情報をうまく生成することができ、撮
像時に保存すべき画像を大幅に削減することが可能とな
る。

【００６９】以上、説明したように、本発明において
は、２つの画像からそれぞれフーリエ位相画像を生成す
ることによって、画像内の特徴点を抽出する。２つの画
像、または、２つのフーリエ位相画像を用いて、特徴点
を含む所定の領域についてパターンマッチング処理を行
えば、パターンの一致度を求めることができる。このと
き、パターンの一致度に基づいて対応する特徴点を決定
することができるため、２つの画像間の特徴点の対応関
係を示す特徴点対応情報を容易に生成することが可能と
なる。

【００７０】なお、この発明は上記の実施例や実施形態
に限られるものではなく、その要旨を逸脱しない範囲に
おいて種々の態様において実施することが可能であり、
例えば以下のような変形も可能である。

【００７１】（１）上記実施例では、３次元空間に配置
された３次元対象物を含む画像（図３）について、特徴
点の対応付けを説明したが、画像内の対象物は、図５に
示すような２次元の対象物でもよい。この場合にも、画
像内に含まれる特徴点をうまく対応付けることができ
る。

【００７２】（２）上記実施例では、画像調整部１５１
は、２つの画像における解像度の調整を行っているが、
２つの画像がカラー画像である場合には、さらに、カラ
ー画像の複数の色成分を合成して、単色の画像を生成す
るようにしてもよい。この場合には、図２のステップＳ
１０２以降の処理を迅速に行うことができるという利点
がある。

【００７３】（３）上記実施例では、画像またはフーリ
エ位相画像を用いて、パターンマッチング処理を行って
いるが、パターンマッチング処理には、図２のステップ
Ｓ１０４において得られるフーリエ位相画像を２値化処
理した２値化画像を用いてもよい。ただし、この場合に
は、パターンの一致度Ｓの精度がかなり粗くなると考え
られるため、上記実施例において説明したように、画像
またはフーリエ位相画像を用いてパターンマッチング処
理を行うことが好ましい。

【００７４】（４）上記実施例では、一致度Ｓを求める
際に、テンプレートを回転させずにパターンマッチング
処理を行っているが、テンプレートを比較的小さな角度
範囲で回転させて、パターンマッチング処理を行うよう
にしてもよい。例えば、テンプレートを−１５度〜＋１
５度の角度範囲で５度ずつ回転させてパターンマッチン
グ処理を行ってもよい。こうすれば、対象物がわずかに
傾いて撮像された場合などにも、うまく特徴点を対応付
けて特徴点対応情報を生成することが可能である。

【図面の簡単な説明】

【図１】本発明の一実施例としての画像処理装置を示す
ブロック図。

【図２】本実施例における画像の処理手順を示すフロー
チャート。

【図３】画像の処理の様子を示す説明図。

【図４】ステップＳ１０２（図２）の第１のフーリエ位
相画像の生成処理の手順を示すフローチャート。

【図５】種々の画像と、対応するフーリエ位相画像とを
示す説明図。

【図６】ステップＳ１０４（図２）における第１のフー
リエ位相画像Ｆ１の特徴点の抽出処理の手順を示すフロ
ーチャート。

【図７】パターンの一致度を求める際の処理を示す説明
図。

【図８】特徴点の対応付けを双方向に行う場合を模式的
に示す説明図。

【図９】４つの画像データＰＡ〜ＰＤについての特徴点
の対応関係を示す特徴点対応情報を模式的に示す説明
図。

【図１０】第１と第２の画像Ｍ１，Ｍ２を用いる場合の
パターンマッチング処理を示す説明図。

【符号の説明】

１００…ＣＰＵ１０２…バスライン１１０…画像データメモリ１２０…表示部１３０…ＲＯＭ１４０…磁気ディスク１５０…画像処理部１５１…画像調整部１５２…位相画像生成部１５３…特徴点抽出部１５４…一致度算出部１５５…特徴点対応情報生成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者井根英一京都市上京区堀川通寺之内上る４丁目天神北町１番地の１大日本スクリーン製造株式会社内Ｆターム(参考） 5B043 EA01 EA04 EA06 GA01 GA05 5L096 EA43 FA23 FA81 9A001 HH23

Claims

【特許請求の範囲】

【請求項１】画像処理装置であって、第１および第２の画像について、それぞれ第１および第
２のフーリエ位相画像を生成する位相画像生成部と、前記第１および第２のフーリエ位相画像のそれぞれか
ら、前記第１および第２の画像内のパターンの特徴を示
す複数の特徴点を抽出する特徴点抽出部と、前記第１および第２の画像、または、前記第１および第
２のフーリエ位相画像の２つを処理対象画像として、前
記２つの処理対象画像内における前記複数の特徴点のそ
れぞれを含む複数の所定の領域について、パターンマッ
チング処理を行い、パターンの一致度を算出する一致度
算出部と、前記一致度に応じて、前記第１の画像に含まれる前記複
数の特徴点のうちの第１の特徴点と、前記第２の画像に
含まれる前記複数の特徴点のうちの第２の特徴点とが、
対応していることを示す特徴点対応情報を生成する特徴
点対応情報生成部と、を備えることを特徴とする画像処
理装置。
【請求項２】請求項１記載の画像処理装置であって、前記特徴点対応情報生成部は、前記一致度に応じて前記
２つの処理対象画像のそれぞれに含まれる前記複数の特
徴点を双方向に対応付け、前記第１の特徴点に対する前
記第２の画像に含まれる前記複数の特徴点の一致度の中
で前記第２の特徴点の一致度が最も高く、かつ、前記第
２の特徴点に対する前記第１の画像に含まれる前記複数
の特徴点の一致度の中で前記第１の特徴点の一致度が最
も高い場合にのみ前記特徴点対応情報を生成する、画像
処理装置。
【請求項３】請求項１または２記載の画像処理装置で
あって、前記特徴点抽出部は、前記第１および第２のフーリエ位
相画像を、所定の閾値で２値化することにより前記特徴
点の複数の候補を選出し、前記特徴点の候補の中から、
前記特徴点を決定する、画像処理装置。
【請求項４】請求項３記載の画像処理装置であって、前記特徴点抽出部は、前記複数の候補に関する細らせ処
理を行うことにより前記特徴点を決定する、画像処理装
置。
【請求項５】請求項３記載の画像処理装置であって、前記特徴点は、前記特徴点の候補の中から、ユーザが選
択することによって決定される、画像処理装置。
【請求項６】画像処理を行うためのコンピュータプロ
グラムを記録したコンピュータ読み取り可能な記録媒体
であって、第１および第２の画像について、それぞれ第１および第
２のフーリエ位相画像を生成する機能と、前記第１および第２のフーリエ位相画像のそれぞれか
ら、前記第１および第２の画像内のパターンの特徴を示
す複数の特徴点を抽出する機能と、前記第１および第２の画像、または、前記第１および第
２のフーリエ位相画像の２つを処理対象画像として、前
記２つの処理対象画像内における前記複数の特徴点のそ
れぞれを含む複数の所定の領域について、パターンマッ
チング処理を行い、パターンの一致度を算出する機能
と、前記一致度に応じて、前記第１の画像に含まれる前記複
数の特徴点のうちの第１の特徴点と、前記第２の画像に
含まれる前記複数の特徴点のうちの第２の特徴点とが、
対応していることを示す特徴点対応情報を生成する機能
と、をコンピュータに実現させるためのコンピュータプ
ログラムを記録したコンピュータ読み取り可能な記録媒
体。