JP2002352241A - ブロックマッチング装置 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、対応点探索の精度を向上すること
ができ、演算量の増加を抑え高速処理を行うことができ
るブロックマッチング装置を提供することを目的とす
る。 【解決手段】 各色成分毎に、切り出した基準画像の画
素ブロックと、参照画像から切り出した複数の画素ブロ
ックそれぞれについてマッチング誤差を算出するマッチ
ング誤差算出手段３−２と、各色成分毎に、基準画像か
ら切出したブロックのブロック内電力を算出するブロッ
ク内電力算出手段３−３と、各色成分毎に算出したマッ
チング誤差をブロック内電力に応じて重み付け加算を行
う重み付け加算手段７と、重み付け加算手段から供給さ
れる参照画像の探索範囲にわたる複数のマッチング誤差
を比較し、マッチング誤差が最小となる画素ブロックの
位置を対応点として出力する対応点出力手段８とを有す
ることにより、カラー画像の情報を有効に利用して対応
点を精度よく決定することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はブロックマッチング
装置に関し、特に、２つの画像から局所的な類似度の高
い領域を探索するブロックマッチング装置に関する。

【０００２】

【従来の技術】動画像の動き推定処理、ステレオ画像の
視差推定処理、画像の照合処理等では、２つの画像から
局所的な類似度の高い領域（対応点）を探索するために
ブロックマッチングが行われる。

【０００３】従来、カラー画像を対象とするブロックマ
ッチング装置では、カラー成分（例えば、ＲＧＢ信号）
の中から単一の成分（例えば、Ｇ信号）のみを対象とし
てブロックマッチングを行ったり、各カラー成分の重み
付け和によって得られる信号（例えば、輝度信号）を対
象としてブロックマッチングが行われている。また、各
カラー成分ＲＧＢ毎にブロックマッチング誤差を求め、
それらの重み付け和を評価して対応点を探索している。

【０００４】

【発明が解決しようとする課題】しかし、カラー成分の
中から単一の成分のみを対象としてブロックマッチング
を行う方法や、輝度信号を対象としてブロックマッチン
グを行う方法では、対応点探索の精度が低い。また、各
カラー成分ＲＧＢ毎にブロックマッチング誤差を求め、
それらの重み付け和を評価して対応点を探索する方法で
は、演算量が増加し対応点探索に要する時間が長くなり
高速処理を行うことができないという問題があった。

【０００５】本発明は、上記の点に鑑みなされたもの
で、対応点探索の精度を向上することができ、演算量の
増加を抑え高速処理を行うことができるブロックマッチ
ング装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】請求項１に記載の発明
は、各色成分毎に、カラー画像である基準画像の着目す
る画素を含む所定画素数の画素ブロックとカラー画像で
ある参照画像の探索範囲から切り出し位置をずらしなが
ら被探索画素を含む所定画素数の複数の画素ブロックを
切出す画素ブロック切出し手段と、各色成分毎に、前記
画素ブロック切出し手段により切り出した基準画像の画
素ブロックと参照画像から切り出した複数の画素ブロッ
クそれぞれについてマッチング誤差を算出するマッチン
グ誤差算出手段と、各色成分毎に、前記画素ブロック切
出し手段により基準画像から切出したブロックのブロッ
ク内電力を算出するブロック内電力算出手段と、各色成
分毎に算出したマッチング誤差を前記ブロック内電力に
応じて重み付け加算を行う重み付け加算手段と、重み付
け加算手段から供給される参照画像の探索範囲にわたる
複数のマッチング誤差を比較し、マッチング誤差が最小
となる画素ブロックの位置を対応点として出力する対応
点出力手段とを有することにより、カラー画像の情報を
有効に利用して対応点を精度よく決定することができ
る。

【０００７】請求項２に記載の発明では、ブロック内電
力算出手段は、エピポーラ線方向の画素勾配からブロッ
ク内電力を算出することにより、異なる位置で撮影した
画像間の対応を求めるステレオ画像のブロックマッチン
グにおいて、対応点を精度よく決定することができる。

【０００８】請求項３に記載の発明では、重み付け加算
手段は、ブロック内電力が最大となる色成分のマッチン
グ誤差の重みを１とし、他の色成分のマッチング誤差の
重みを０として重み付け加算を行うことにより、カラー
画像の最も有効な色成分を利用して対応点を精度よく決
定することができる。

【０００９】請求項４に記載の発明では、重み付け加算
手段は、ブロック内の電力が最大となる色成分のマッチ
ング誤差算出手段にのみマッチング誤差の算出を行わ
せ、他の色成分のマッチング誤差算出手段のマッチング
誤差の算出を停止させることにより、無駄なマッチング
誤差の算出処理をスキップして演算の高速化を図ること
ができると同時に回路規模を縮小できる。

【００１０】

【発明の実施の形態】図１は、本発明のブロックマッチ
ング装置の第１実施例のブロック構成図を示す。同図
中、基準画像入力部１は、カラー基準画像を複数の色成
分（例えば、Ｒ、Ｇ、Ｂ）に分解して、各色成分ａ−
１、ａ−２、ａ−３を出力する。参照画像入力部２は、
カラー参照画像を複数の色成分（例えば、Ｒ、Ｇ、Ｂ）
に分解して、各色成分ｂ−１、ｂ−２、ｂ−３を出力す
る。

【００１１】色成分マッチング部３は、画素ブロック切
出部３−１とマッチング誤差算出部３−２とブロック内
電力算出部３−３とより構成されており、基準画像入力
部１より出力される色成分ａ−１と参照画像入力部２よ
り出力されるａ−１と同一色の色成分ｂ−１とは画素ブ
ロック切出部３−１に供給される。

【００１２】画素ブロック切出部３−１は、ブロック位
置制御部６の指示する基準画像の着目画素の位置に基づ
き色成分ａ−１から着目する画素を含む所定画素数の画
素ブロックを切出して当該画素ブロックｄ−１を出力す
る。更に、画素ブロック切出部３−１は、色成分ｂ−１
より探索範囲（画素ブロックより大きい範囲）にわたっ
て、ブロック位置制御部６の指示する位置ｃに基づき切
出し位置をずらしながら被探索画素を含む所定画素数の
画素ブロックを順次切出し、候補となる複数の画素ブロ
ックｅ−１を出力する。なお、ブロック位置制御部６
は、基準画像の着目画素の位置及びその着目画素に対応
する参照画像の探索画素の位置ｃを出力している。

【００１３】マッチング誤差算出部３−２は、画素ブロ
ック切出部３−１から供給される基準画像の画素ブロッ
クｄ−１と参照画像の候補となる画素ブロックｅ−１と
のマッチング誤差ｆ−１を算出する。このマッチング誤
差の算出は、画素ブロックｄ−１の画素と、これに対応
する画素ブロックｅ−１の画素との差分２乗和、または
差分絶対値和、または相互相関係数などを用いて行う。
上記のマッチング誤差算出は、候補となる複数の画素ブ
ロックｅ−１それぞれについて行われ、候補となる複数
の画素ブロックの個数分のマッチング誤差ｆ−１が出力
される。

【００１４】ブロック内電力算出部３−３は、基準画像
から切出された画素ブロックｄ−１内の電力ｇ−１を算
出する。このブロック内電力算出は、画素ブロックｄ−
１内の画素の画素値の２乗和、画素値の絶対値和、画素
値の分散（各画素値からブロック内平均画素値を減じた
値の２乗和）、画素値からブロック内平均画素値を減じ
た値の絶対値和などを用いて行う。

【００１５】更に、光軸が互いに平行で水平にならべら
れたステレオカメラで撮像された画像対を基準画像及び
参照画像として用いる場合には、画素値の水平勾配（水
平方向に隣接する画素の画素値の差分）の２乗和、画素
値の水平勾配の絶対値和などを用いる。

【００１６】なお、カメラ対が平行あるいは水平に設置
されていない場合には、基準画像（または参照画像）に
おける視線を参照画像（または基準画像）上に投影した
線であるエピポーラ線（参考文献：末松良一、山田宏尚
著、「画像処理工学」１８６ページ、コロナ社、２００
０年）方向の画素勾配（差分）の２乗和または絶対値和
を用いることができる。エピポーラ線と水平画素軸との
なす角をθとし、水平方向の画素差分を△Ｘ、垂直方向
の画素差分を△ｙとすると、エピポーラ線方向の勾配を
△ｘ・ｃｏｓθ＋△ｙ・ｓｉｎθによって算出し、この
勾配値の２乗和または絶対値和を用いる。あるいは、画
素ブロック切出部３−１の画素ブロック切出部におい
て、エピポーラ線が水平方向となるように画像の幾何変
換を行った後に画素ブロックを切出して画素ブロックｄ
−１，ｅ−１を出力し、画素値の水平勾配（水平方向の
画素差分）の２乗和または絶対値和を用いる。

【００１７】色成分マッチング部４は、色成分マッチン
グ部３と同一構成であり、画素ブロック切出部とマッチ
ング誤差算出部とブロック内電力算出部とより構成され
ており、基準画像入力部１より出力される色成分ａ−２
と参照画像入力部２より出力されるａ−２と同一色の色
成分ｂ−２とは画素ブロック切出部に供給される。画素
ブロック切出部は、ブロック位置制御部６の指示する基
準画像の着目画素の位置に基づき色成分ａ−２から着目
する画素を含む所定画素数の画素ブロックを切出して当
該画素ブロックｄ−２を出力し、色成分ｂ−２より探索
範囲にわたって、ブロック位置制御部６の指示する位置
ｃに基づき切出し位置をずらしながら被探索画素を含む
所定画素数の画素ブロックを順次切出し、候補となる複
数の画素ブロックｅ−２を出力する。マッチング誤差算
出部は、基準画像の画素ブロックｄ−２と参照画像の候
補となる複数の画素ブロックｅ−２とのマッチング誤差
ｆ−２を算出する。ブロック内電力算出部は、基準画像
から切出された画素ブロックｄ−２内の電力ｇ−２を算
出する。

【００１８】色成分マッチング部５は、色成分マッチン
グ部３と同一構成であり、画素ブロック切出部とマッチ
ング誤差算出部とブロック内電力算出部とより構成され
ており、基準画像入力部１より出力される色成分ａ−３
と参照画像入力部２より出力されるａ−３と同一色の色
成分ｂ−３とは画素ブロック切出部に供給される。画素
ブロック切出部は、ブロック位置制御部６の指示する基
準画像の着目画素の位置に基づき色成分ａ−３から着目
する画素を含む所定画素数の画素ブロックを切出して当
該画素ブロックｄ−３を出力し、色成分ｂ−３より探索
範囲にわたって、ブロック位置制御部６の指示する位置
ｃに基づき切出し位置をずらしながら被探索画素を含む
所定画素数の画素ブロックを順次切出し、候補となる複
数の画素ブロックｅ−３を出力する。マッチング誤差算
出部は、基準画像の画素ブロックｄ−３と参照画像の候
補となる複数の画素ブロックｅ−３とのマッチング誤差
ｆ−３を算出する。ブロック内電力算出部は、基準画像
から切出された画素ブロックｄ−３内の電力ｇ−３を算
出する。

【００１９】色成分マッチング部３，４，５それぞれの
出力するマッチング誤差ｆ−１，ｆ−２，ｆ−３及びブ
ロック電力ｇ−１，ｇ−２，ｇ−３は重み付け加算部７
に供給される。重み付け加算部７は、各色成分で算出し
たマッチング誤差ｆ−１，ｆ−２，ｆ−３を各色成分の
ブロック内電力ｇ−１，ｇ−２，ｇ−３で重み付けを行
って加算した和ｈを出力する。

【００２０】対応点出力部８は、ブロック位置制御部６
から位置ｃを供給されており、重み付け加算部７から供
給されるマッチング誤差の和ｈ（または選択されたマッ
チング誤差）を探索範囲にわたって比較し、最小となる
候補の画素ブロックの位置ｃを対応点として出力する。
マッチング誤差の算出に相互相関係数を用いる場合には
最大となる候補の画素ブロックの位置ｃを対応点として
出力する。

【００２１】上記実施例では、ある画素ブロックについ
て、色成分ａ−１，ｂ−１（例えばＲ成分）は均一で、
色成分ａ−３，ｂ−３（例えばＢ成分）は分散が大きい
場合、Ｒ成分のマッチングではどこが対応点となるのか
決定できないが、Ｂ成分ではハッキリしたピークによっ
てマッチングがとれる。分散が大きいＢ成分はブロック
内電力が大きいため、Ｂ成分のマッチング誤差ｆ−３に
対する重み付けの値が大きくなり、対応点を精度よく決
定することができる。

【００２２】図２に本発明のブロックマッチング装置の
変形例を示す。この変形例では、重み付け加算部７の代
わりに重み付け加算部１７を用いている。重み付け加算
部１７は、マッチング誤差ｆ−１，ｆ−２，ｆ−３の中
から、ブロック内電力ｇ−１，ｇ−２，ｇ−３が最大と
なる色成分のマッチング誤差の重みを１とし、他の色成
分のマッチング誤差の重みを０として重み付け加算を行
う構成である。この場合、重み付け加算部１７は各色成
分の重みをマッチング誤差算出フラグｉとして色成分マ
ッチング部３，４，５それぞれのマッチング誤差算出部
に供給し、重みを１とした色成分（ブロック内電力が最
大の色成分）についてのみマッチング誤差の算出を行わ
せ、重みを０とした他の色成分のマッチング誤差の算出
を停止させるように制御する。

【００２３】これはブロック内電力ｇ−１，ｇ−２，ｇ
−３の算出が１回であるのに対し、各マッチング誤差算
出部は基準画像の画素ブロックと参照画像の候補となる
複数の画素ブロックとのマッチング誤差を算出するの
で、無駄なマッチング誤差の算出処理をスキップして演
算の高速化を図るためである。

【００２４】図３は、本発明のブロックマッチング装置
の第２実施例のブロック構成図を示す。同図中、図１と
同一部分には同一符号を付す。基準画像入力部１は、カ
ラー基準画像を複数の色成分（例えば、Ｒ、Ｇ、Ｂ）に
分解して、各色成分ａ−１、ａ−２、ａ−３を出力す
る。参照画像入力部２は、カラー参照画像を複数の色成
分（例えば、Ｒ、Ｇ、Ｂ）に分解して、各色成分ｂ−
１、ｂ−２、ｂ−３を出力する。

【００２５】色成分マッチング部１３は、基準画素ブロ
ック切出部１３−４とブロック内電力算出部１３−３と
より構成されており、基準画像入力部１より出力される
色成分ａ−１は基準画素ブロック切出部１３−４に供給
される。

【００２６】基準画素ブロック切出部１３−４は、ブロ
ック位置制御部６の指示する基準画像の着目画素の位置
に基づき色成分ａ−１から着目する画素を含む所定画素
数の画素ブロックを切出して当該画素ブロックｄ−１を
出力する。なお、ブロック位置制御部６は、基準画像の
着目画素の位置及びその着目画素に対応する参照画像の
探索画素の位置ｃを出力している。

【００２７】ブロック内電力算出部１３−３は、基準画
像から切出された画素ブロックｄ−１内の電力ｇ−１を
算出する。このブロック内電力算出は、画素ブロックｄ
−１内の画素の画素値の２乗和、画素値の絶対値和、画
素値の分散（各画素値からブロック内平均画素値を減じ
た値の２乗和）、画素値からブロック内平均画素値を減
じた値の絶対値和などを用いて行う。

【００２８】色成分マッチング部１４は、色成分マッチ
ング部１３と同一構成であり、基準画素ブロック切出部
とブロック内電力算出部とより構成されており、基準画
像入力部１より出力される色成分ａ−２は基準画素ブロ
ック切出部に供給される。基準画素ブロック切出部は、
ブロック位置制御部６の指示する基準画像の着目画素の
位置に基づき色成分ａ−２から着目する画素を含む所定
画素数の画素ブロックを切出して当該画素ブロックｄ−
２を出力する。ブロック内電力算出部は、基準画像から
切出された画素ブロックｄ−２内の電力ｇ−２を算出す
る。

【００２９】色成分マッチング部１５は、色成分マッチ
ング部１３と同一構成であり、基準画素ブロック切出部
とブロック内電力算出部とより構成されており、基準画
像入力部１より出力される色成分ａ−３は基準画素ブロ
ック切出部に供給される。基準画素ブロック切出部は、
ブロック位置制御部６の指示する基準画像の着目画素の
位置に基づき色成分ａ−３から着目する画素を含む所定
画素数の画素ブロックを切出して当該画素ブロックｄ−
３を出力する。ブロック内電力算出部は、基準画像から
切出された画素ブロックｄ−３内の電力ｇ−３を算出す
る。

【００３０】色成分マッチング部１３，１４，１５それ
ぞれの出力するブロック電力ｇ−１，ｇ−２，ｇ−３は
最大値判定部２０に供給される。最大値判定部２０は、
ブロック電力ｇ−１，ｇ−２，ｇ−３の最大値を判定
し、ブロック電力が最大であった画素ブロックに対応す
る基準画像の画素ブロックを取り出すよう切替スイッチ
２２の切替制御を行い、また、ブロック電力が最大であ
った画素ブロックに対応する参照画像の色成分を取り出
すよう切替スイッチ２３の切替制御を行う。これによっ
て、例えばブロック電力ｇ−１が最大の場合、画素ブロ
ックｄ−１が切替スイッチ２２より出力されマッチング
誤差算出部２６に供給されると共に、参照画像の色成分
ｂ−１が切替スイッチ２３より出力され参照画素ブロッ
ク切出部２４に供給される。

【００３１】参照画素ブロック切出部２４は供給される
参照画素の色成分より探索範囲（画素ブロックより大き
い範囲）にわたって、ブロック位置制御部６の指示する
位置ｃに基づき切出し位置をずらしながら被探索画素を
含む所定画素数の画素ブロックを順次切出し、候補とな
る複数の画素ブロックｋを出力する。マッチング誤差算
出部２６では、基準画像の画素ブロックｊと参照画像の
候補となる画素ブロックｋとのマッチング誤差ｍを算出
する。このマッチング誤差の算出は、画素ブロックｊの
画素と、これに対応する画素ブロックｋの画素との差分
２乗和、または差分絶対値和、または相互相関係数など
を用いて行う。上記のマッチング誤差算出は、候補とな
る複数の画素ブロックｋそれぞれについて行われ、候補
となる複数の画素ブロックの個数分のマッチング誤差ｍ
が出力される。

【００３２】対応点出力部２８は、ブロック位置制御部
６から位置ｃを供給されており、マッチング誤差算出部
２６から供給されるマッチング誤差を探索範囲にわたっ
て比較し、マッチング誤差が最小となる候補の画素ブロ
ックの位置ｃを対応点として出力する。マッチング誤差
の算出に相互相関係数を用いる場合には最大となる候補
の画素ブロックの位置ｃを対応点として出力する。

【００３３】上記実施例では、参照画素ブロック切出部
２４及びマッチング誤差算出部２６を色成分マッチング
部１３，１４，１５それぞれに設ける必要が無く、参照
画素ブロック切出部２４及びマッチング誤差算出部２６
が１回路で済むため、回路規模を削減することができ
る。

【００３４】なお、画素ブロック切出部１３−１が請求
項記載の画素ブロック切出し手段に対応し、マッチング
誤差算出部１３−２がマッチング誤差算出手段に対応
し、ブロック内電力算出部１３−３がブロック内電力算
出手段に対応し、重み付け加算部７，１７が重み付け加
算手段に対応し、対応点出力部８が対応点出力手段に対
応する。

【００３５】

【発明の効果】上述の如く、請求項１に記載の発明は、
各色成分毎に、カラー画像である基準画像の着目する画
素を含む所定画素数の画素ブロックとカラー画像である
参照画像の探索範囲から切り出し位置をずらしながら被
探索画素を含む所定画素数の複数の画素ブロックを切出
し、各色成分毎に、切り出した基準画像の画素ブロック
と参照画像から切り出した複数の画素ブロックそれぞれ
についてマッチング誤差を算出し、各色成分毎に、基準
画像から切出したブロックのブロック内電力を算出し、
各色成分毎に算出したマッチング誤差を前記ブロック内
電力に応じて重み付け加算を行い、参照画像の探索範囲
にわたる複数のマッチング誤差を比較し、マッチング誤
差が最小となる画素ブロックの位置を対応点として出力
することにより、カラー画像の情報を有効に利用して対
応点を精度よく決定することができる。

【００３６】請求項２に記載の発明では、エピポーラ線
方向の画素勾配からブロック内電力を算出することによ
り、異なる位置で撮影した画像間の対応を求めるステレ
オ画像のブロックマッチングにおいて、対応点を精度よ
く決定することができる。

【００３７】請求項３に記載の発明では、ブロック内電
力が最大となる色成分のマッチング誤差の重みを１と
し、他の色成分のマッチング誤差の重みを０として重み
付け加算を行うことにより、カラー画像の最も有効な色
成分を利用して対応点を精度よく決定することができ
る。

【００３８】請求項４に記載の発明では、ブロック内の
電力が最大となる色成分のマッチング誤差算出手段にの
みマッチング誤差の算出を行わせ、他の色成分のマッチ
ング誤差算出手段のマッチング誤差の算出処理をスキッ
プして演算の高速化を図ることができると同時に回路規
模を縮小できる。

【図面の簡単な説明】

【図１】本発明のブロックマッチング装置の第１実施例
のブロック構成図である。

【図２】本発明のブロックマッチング装置の変形例のブ
ロック構成図である。

【図３】本発明のブロックマッチング装置の第２実施例
のブロック構成図である。

【符号の説明】

１ 基準画像入力部 ２ 参照画像入力部 ３，４，５，１３，１４，１５ 色成分マッチング部 ３−１ 画素ブロック切出部 ３−２，２６ マッチング誤差算出部 ３−３，１３−３ ブロック内電力算出部 ６ ブロック位置制御部 ７，１７ 重み付け加算部 ８，２８ 対応点出力部 １３−４ 基準画素ブロック切出部 ２２，２３ 切替スイッチ ２４ 参照画素ブロック切出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岩舘 祐一 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5C057 EA01 EK04 FB03 5C059 PP13 PP15 5C061 AB04 AB12 AB24 5L096 AA02 AA06 CA05 EA35 EA39 FA31 FA69 GA04 GA07 GA19 HA07

Claims (4)

【特許請求の範囲】
1. 【請求項１】 各色成分毎に、カラー画像である基準画
   像の着目する画素を含む所定画素数の画素ブロックとカ
   ラー画像である参照画像の探索範囲から切り出し位置を
   ずらしながら被探索画素を含む所定画素数の複数の画素
   ブロックを切出す画素ブロック切出し手段と、 各色成分毎に、前記画素ブロック切出し手段により切り
   出した基準画像の画素ブロックと参照画像から切り出し
   た複数の画素ブロックそれぞれについてマッチング誤差
   を算出するマッチング誤差算出手段と、 各色成分毎に、前記画素ブロック切出し手段により基準
   画像から切出したブロックのブロック内電力を算出する
   ブロック内電力算出手段と、 各色成分毎に算出したマッチング誤差を前記ブロック内
   電力に応じて重み付け加算を行う重み付け加算手段と、 重み付け加算手段から供給される参照画像の探索範囲に
   わたる複数のマッチング誤差を比較し、マッチング誤差
   が最小となる画素ブロックの位置を対応点として出力す
   る対応点出力手段とを有することを特徴とするブロック
   マッチング装置。
2. 【請求項２】 請求項１記載のブロックマッチング装置
   において、 前記ブロック内電力算出手段は、エピポーラ線方向の画
   素勾配からブロック内電力を算出することを特徴とする
   ブロックマッチング装置。
3. 【請求項３】 請求項１または２記載のブロックマッチ
   ング装置において、 前記重み付け加算手段は、前記ブロック内電力が最大と
   なる色成分のマッチング誤差の重みを１とし、他の色成
   分のマッチング誤差の重みを０として重み付け加算を行
   うことを特徴とするブロックマッチング装置。
4. 【請求項４】 請求項３記載のブロックマッチング装置
   において、 前記重み付け加算手段は、前記ブロック内の電力が最大
   となる色成分のマッチング誤差算出手段にのみマッチン
   グ誤差の算出を行わせ、他の色成分のマッチング誤差算
   出手段のマッチング誤差の算出を停止させることを特徴
   とするブロックマッチング装置。