JP2004219142A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2004219142A JP2004219142A JP2003004272A JP2003004272A JP2004219142A JP 2004219142 A JP2004219142 A JP 2004219142A JP 2003004272 A JP2003004272 A JP 2003004272A JP 2003004272 A JP2003004272 A JP 2003004272A JP 2004219142 A JP2004219142 A JP 2004219142A
- Authority
- JP
- Japan
- Prior art keywords
- value
- pixel
- distribution
- correlation
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】互いに相関を有する画素ブロック対のズレ量をサブピクセルレベルで精度よく算出する。
【解決手段】ステレオマッチング部４は、一方の撮像画像の画素ブロックを評価対象として、他方の撮像画像における画素ブロックとの相関を相関値として評価し、一対の撮像画像間の画素ブロックのズレ量に対する相関値の離散的な分布（第１の分布）として求める。自画像マッチング部５は、この評価対象の画素ブロックと、一方の撮像画像における画素ブロックとの相関を相関値によって評価し、画素単位のズレ量に対する相関値の離散的な分布（第２の分布）を求める。サブピクセル処理部６は、第２の分布を連続的な分布として推定し、推定された第２の分布が、第１の分布上において、算出されたピクセルレベルのズレ量における最高相関値である第１の値と、最高相関値の直前・直後に隣接した相関値の内、相関が高い方の相関値を第２の値とを含むように、第２の分布を設定することにより、サブピクセル成分を算出する。
【選択図】 図１
【解決手段】ステレオマッチング部４は、一方の撮像画像の画素ブロックを評価対象として、他方の撮像画像における画素ブロックとの相関を相関値として評価し、一対の撮像画像間の画素ブロックのズレ量に対する相関値の離散的な分布（第１の分布）として求める。自画像マッチング部５は、この評価対象の画素ブロックと、一方の撮像画像における画素ブロックとの相関を相関値によって評価し、画素単位のズレ量に対する相関値の離散的な分布（第２の分布）を求める。サブピクセル処理部６は、第２の分布を連続的な分布として推定し、推定された第２の分布が、第１の分布上において、算出されたピクセルレベルのズレ量における最高相関値である第１の値と、最高相関値の直前・直後に隣接した相関値の内、相関が高い方の相関値を第２の値とを含むように、第２の分布を設定することにより、サブピクセル成分を算出する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、一対の撮像画像において、輝度特性の相関を有する画素ブロック対のズレ量を補間演算付で算出する画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
例えば、互いに相関を有する画素ブロック対のピクセルレベルの視差を、直線近似によって算出されたサブピクセル成分によって補間する、ステレオ画像を用いた測距装置がある（例えば、特許文献１）。図１２は、従来のサブピクセル成分の算出説明図である。ピクセルレベルの視差Ｄを与える仮の対応点ｐ１、その直前の隣接点ｐ０、その直後の隣接点ｐ２の３つの点に基づいて、縦軸に対して線対称となる２本の直線Ｌ１，Ｌ２を算出する。そして、これらの直線Ｌ１，Ｌ２の交点より、サブピクセル成分Ｓを算出する。
【０００３】
【特許文献１】
特開２０００−２８３７５３号公報
【０００４】
【発明が解決しようとする課題】
上述した従来技術では、対応点ｐ０の前後の隣接点ｐ０，ｐ２の双方を用いてサブピクセル成分Ｓを算出している。前後の対応点ｐ０，ｐ２の内、シティブロック距離の小さい隣接点ｐ２には、真の対応点ｐｓｕｂの輝度値が含まれているが、シティブロック距離の大きい対応点ｐ０には、真の対応点ｐｓｕｂの輝度値が含まれていない。そのため、サブピクセル成分Ｓの誤差が大きくなり易く、サブピクセル成分Ｓによって補間されたサブピクセルレベルの視差の算出精度が低下する傾向がある。
【０００５】
また、この従来技術では、シティブロック距離の分布が真の対応点ｐｓｕｂに関して対称であるとの知得に基づき、直線Ｌ１，Ｌ２を算出している。しかしながら、シティブロック距離の分布が真の対応点ｐｓｕｂに関して対称とはならないような画像では、算出されたサブピクセル成分Ｓに誤差が含まれてしまう可能性がある。例えば、視差の算出対象となる画素ブロックの周囲において、輝度のバラツキが存在するような画像では、シティブロック距離の対称性が保証されない傾向が大きい。したがって、従来の技術では、サブピクセル成分Ｓによって補間されたサブピクセルレベルの視差の算出精度が低下する可能性がある。
【０００６】
そこで、本発明の目的は、互いに相関を有する画素ブロック対のズレ量をサブピクセルレベルで精度よく算出し得る、新規な画像処理装置および画像処理方法を提供することである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、一方の撮像画像における画素ブロックと、この画素ブロックと輝度的に対応する他方の撮像画像における画素ブロックとの画素ブロック間のピクセルレベルのズレ量を、サブピクセル成分を用いて補完して、サブピクセルレベルのズレ量を算出する画像処理装置において、ステレオマッチング部と、自画像マッチング部と、サブピクセル処理部とを有する画像処理装置を提供する。この画像処理装置において、ステレオマッチング部は、一方の撮像画像における画素ブロックを評価対象として、他方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価する。そして、この評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布が第１の分布として求められる。このとき、第１の分布において相関が最も高くなる相関値を最高相関値としてピクセルレベルのズレ量が算出される。自画像マッチング部は、一方の画像における画素ブロックを評価対象として、この一方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価する。そして、評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布が第２の分布として求められる。一方、サブピクセル処理部は、ステレオマッチング部によって求められた第１の分布において、ピクセルレベルのズレ量における最高相関値を第１の値として設定し、かつ、最高相関値の直前に隣接した相関値および最高相関値の直後に隣接した相関値の内、相関が高い方の相関値を第２の値として選択する。また、サブピクセル処理部は、自画像マッチング部によって求められた第２の分布を連続的な分布として推定する。このとき、第１の分布上において、推定された連続的な分布が、第１の値と第２の値とを含むように、第２の分布を設定することにより、サブピクセル成分が算出される。
【０００８】
ここで、第１の発明において、サブピクセル処理部は、第２の分布において、評価対象となる画素ブロックと位置的に対応したズレ量に関する相関値を第３の値、第３の値の直前に隣接した相関値を第４の値、第３の値の直後に隣接した相関値を第５の値として選択し、第３の値と第４の値との間の連続的な分布を推定し、かつ、第３の値と第５の値との間の連続的な分布を推定することが望ましい。この場合、サブピクセル処理部は、第１の分布において、第２の値が最高相関値の直後に隣接した相関値であると判断した場合には、第１の値を通る、第３の値と第４の値との間の連続的な分布と、第２の値を通る、第３の値と第５の値との間の連続的な分布との交点に基づき、サブピクセル成分を算出することが好ましい。一方、第１の分布において、第２の値が最高相関値の直前に隣接した相関値であると判断した場合には、第２の値を通る、第３の値と第４の値との間の連続的な分布と、第１の値を通る、第３の値と第５の値との間の連続的な分布との交点に基づき、サブピクセル成分が算出されることが好ましい。
【０００９】
このとき、サブピクセル算出部は、比較的少ない演算量で処理を行うために、第３の値と第４の値とを線形的に近似するとともに、第３の値と第５の値とを線形的に近似することにより、連続的な分布を算出することが好ましい。
【００１０】
また、サブピクセル処理部は、第２の値が最高相関値の直後に隣接した相関値であると判断した場合には、第１の値と第２の値との差分値と、第５の値との和を、第４の値と第５の値との和で除算することにより、サブピクセル成分を算出することが好ましい。一方、第２の値が最高相関値の直前に隣接した相関値であると判断した場合には、第１の値と第２の値との差分値と、第４の値との和を、第４の値と第５の値との和で除算することにより、サブピクセル成分が算出されることが好ましい。
【００１１】
また、第２の発明は、一方の撮像画像における画素ブロックと、この画素ブロックと輝度的に対応する他方の撮像画像における画素ブロックとの画素ブロック間のピクセルレベルのズレ量を、サブピクセル成分を用いて補完して、サブピクセルレベルのズレ量を算出する画像処理装置において、ステレオマッチング部と、自画像マッチング部と、サブピクセル処理部とを有する画像処理装置を提供する。この画像処理装置において、ステレオマッチング部は、一方の撮像画像における画素ブロックを評価対象として、他方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価する。そして、この評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布が第１の分布として求められる。このとき、第１の分布において相関が最も高くなる相関値を最高相関値としてピクセルレベルのズレ量が算出される。自画像マッチング部は、一方の画像における画素ブロックを評価対象として、この一方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価する。そして、評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布が第２の分布として求められる。一方、サブピクセル処理部は、ステレオマッチング部によって求められた第１の分布において、ピクセルレベルのズレ量における最高相関値を第１の値として設定し、かつ、最高相関値の直前に隣接した相関値および最高相関値の直後に隣接した相関値の内、相関が高い方の相関値を第２の値として選択する。また、サブピクセル処理部は、自画像マッチング部によって求められた第２の分布を連続的な分布として推定する。そして、第１の分布上において、推定された連続的な分布が、第１の値と第２の値とを含むように、第２の分布を設定することにより、サブピクセル成分が算出される。
【００１２】
第３の発明は、一方の撮像画像における画素ブロックを評価対象として、他方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価し、この評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布を第１の分布として求め、第１の分布において相関が最も高くなる相関値を最高相関値としてピクセルレベルのズレ量を算出するとともに、算出されたピクセルレベルのズレ量をサブピクセル成分を用いて補完して、サブピクセルレベルのズレ量を算出する画像処理方法を提供する。この画像処理方法は、第１のステップとして、一方の画像における画素ブロックを評価対象として、一方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価し、評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布を第２の分布として求める。また、第２のステップとして、第１の分布において、ピクセルレベルのズレ量における最高相関値を第１の値として設定し、かつ、最高相関値の直前に隣接した相関値および最高相関値の直後に隣接した相関値の内、相関が高い方の相関値を第２の値として選択する。さらに、第３のステップとして、求められた第２の分布を連続的な分布として推定するとともに、第１の分布上において、推定された連続的な分布が、第１の値と第２の値とを含むように、第２の分布を設定することにより、サブピクセル成分を算出する。
【００１３】
ここで、第３の発明において、第３のステップは、第２の分布において、評価対象となる画素ブロックと位置的に対応したズレ量に関する相関値を第３の値、第３の値の直前に隣接した相関値を第４の値、第３の値の直後に隣接した相関値を第５の値として選択し、第３の値と第４の値との間の連続的な分布を推定し、かつ、第３の値と第５の値との間の連続的な分布を推定することが好ましい。この場合、第３のステップは、第２のステップにおいて、第２の値として最高相関値の直後に隣接した相関値が設定された場合には、第１の値を通る、第３の値と第４の値との間の連続的な分布と、第２の値を通る、第３の値と第５の値との間の連続的な分布との交点に基づき、サブピクセル成分を算出することが好ましい。一方、第２のステップにおいて、第２の値として最高相関値の直前に隣接した相関値が設定された場合には、第２の値を通る、第３の値と第４の値との間の連続的な分布と、第１の値を通る、第３の値と第５の値との間の連続的な分布との交点に基づき、サブピクセル成分が算出されることが好ましい。
【００１４】
また、第３のステップは、第２のステップにおいて、第２の値として最高相関値の直後に隣接した相関値が設定された場合には、第１の値と第２の値との差分値と、第５の値との和を、第４の値と第５の値との和で除算することにより、サブピクセル成分を算出することが好ましい。一方、第２のステップにおいて、第２の値が最高相関値の直前に隣接した相関値が設定された場合には、第１の値と第２の値との差分値と、第４の値との和を、第４の値と第５の値との和で除算することにより、サブピクセル成分が算出されることが好ましい。
【００１５】
【発明の実施の形態】
図１は、本実施形態にかかる画像処理装置の基本構成を示すブロック図である。ステレオカメラ１は、ＣＣＤやＣＭＯＳイメージセンサ等を内蔵した一対のカメラ１ａ，１ｂで構成されており、所定の基線長で互いの撮像面垂直軸が平行となるように取付けられている。メインカメラ１ａは、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ１ｂは、ステレオ画像処理を行う際に必要な比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ１ａ，１ｂから出力された各アナログ画像は、画像入力部２に出力される。なお、ステレオカメラ１は、ＣＣＤカメラ等に限らず、赤外線カメラ等を用いてもよい。
【００１６】
画像入力部２は、それぞれのカメラ１ａ，１ｂから出力された２系統のアナログ画像信号に対する入力処理を行い、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換する。デジタル化されたこれらの画像（ステレオ画像）は、画像入力部２の一部を構成する補正回路において、輝度補正や画像の幾何学的な変換等が行われる。通常、カメラ１ａ，１ｂの取付位置は程度の差こそあれ誤差を含んでいるため、それに起因したずれが左右の画像に存在する。そこで、アフィン変換等によって、画像の回転や平行移動といった幾何学的な変換処理がステレオ画像に対して行われる。これにより、ステレオマッチング処理の前提となる、基準画像の水平線と比較画像の水平線との一致（エピポーラライン）が保証される。
【００１７】
このような画像処理を経て、メインカメラ１ａより基準画像データが得られ、サブカメラ１ｂより比較画像データが得られる。これらの画像データ（ステレオ画像データ）は、各画素の輝度値（０〜２５５）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。そして、一フレーム（一画像の表示単位）相当のステレオ画像データは、後段のステレオ画像処理部３に出力されるとともに、画像データメモリ７に格納される。
【００１８】
ステレオ画像処理部３は、ステレオマッチング部４と、自画像マッチング部５とで構成される。このステレオ画像処理部３の機能的な要素の一つであるステレオマッチング部４は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差の集合であり、個々の視差は画像平面上の位置（ｉ，ｊ）に対応付けられている。それぞれの視差は、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロック毎に１つ算出される。
【００１９】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が２００×５１２画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックの個数相当（５０×１２８個）の視差群が算出され得る。周知のように、視差は、その算出単位である画素ブロックに関する水平方向のずれ量であり、画素ブロックに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロック内に写し出されている対象物がカメラ１ａ，１ｂに近いほど、この画素ブロックの視差は大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。
【００２０】
基準画像内のある画素ブロック（以下、「基準画素ブロック」と称する）に関する視差を算出する場合、ステレオマッチング部４は、この基準画素ブロックを評価対象として、この基準画素ブロックの輝度特性と相関を有する領域を比較画像において特定する。したがって、図３に示すように、基準画素ブロックＡの相関先を探索する場合、比較画像全体を探索範囲とする必要はなく、基準画素ブロックＡと同一水平線（エピポーラライン）を探索範囲とすればよい。ステレオマッチング部４は、このエピポーラライン上を１画素ずつずらしながら、エピポーラライン上の所定範囲内に存在するすべての画素ブロックＢ（以下「「比較画素ブロック」と称する）の相関を順次評価する（ステレオマッチング）。
【００２１】
２つの画素ブロックＡ，Ｂの相関は、例えば、シティブロック距離Ｃ（相関値としての一例）を算出することにより評価することができる。このシティブロック距離は、画素ブロックＡ，Ｂの相関性を評価する手法として周知であり、比較的少ない演算量で輝度特性の相関を良好に評価することができる。ここで、基準画素ブロックＡを構成する各画素の輝度値をａｉｊ（ｉ＝０〜３，ｊ＝０〜３）、比較画素ブロックＢを構成する各画素の輝度値をｂｉｊ（ｉ＝０〜３，ｊ＝０〜３）とする。基本的に、シティブロック距離Ｃは、位置的に対応した二つの輝度値ａｉｊ，ｂｉｊの差（絶対値）の画素ブロック全体における総和として定義される。前段の処理（画像入力部２における処理）で、画像に輝度補正をかけている場合には、両画素ブロックＡ，Ｂに関するシティブロック距離Ｃは、輝度値ａｉｊ，ｂｉｊをそのまま用いて、下式に従い算出する。
【数１】
Ｃ＝Σ｜ａｉｊ−ｂｉｊ｜
【００２２】
上式からわかるように、２つの画素ブロックＡ，Ｂの輝度特性が類似しているほど（すなわち相関が高いほど）、シティブロック距離Ｃが小さくなり、両者がまったく同じであれば０になる。比較画像のエピポーラライン上を左から右へ１画素ずつずらしながら、それぞれの比較画素ブロックＢを演算対象としたシティブロック距離Ｃを順次算出する。これにより、基準画素ブロックＡの位置を基準とした比較画素ブロック（・・・，Ｂ［ｉｓ−１］，Ｂ［ｉｓ］，Ｂ［ｉｓ＋１］，・・・）の相対的なズレ量（・・・，ｉｓ−１，ｉｓ，ｉｓ＋１，・・・）に対するシティブロック距離Ｃ（・・・，Ｃ０，Ｃ１，Ｃ２，・・・）の離散的な分布（第１の分布）が求まる。このとき、シティブロック距離Ｃの算出間隔は、ピクセルレベル、すなわち、１画素の横方向サイズ相当となる。
【００２３】
このようにして算出されたシティブロック距離Ｃの離散的な分布（第１の分布）において、相関が最も高い相関値（最高相関値）、すなわち、シティブロック距離Ｃが最小値Ｃｍｉｎとなる比較画素ブロックＢ［ｉｓ］を基準画素ブロックＡの相関先と判断する。そして、基本的には、相関先と判断された比較画素ブロックＢ［ｉｓ］の水平方向のズレ量ｉｓが、基準画素ブロックＡに関する視差Ｄとなる。なお、シティブロック距離を算出するためのハード構成を含めたステレオマッチングの詳細については、本願出願人が既に提案した特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。
【００２４】
以上の手法によって、ステレオマッチング部４は、１フレームの基準画像におけるすべての基準画素ブロックＡに関してピクセルレベルの視差Ｄを順次算出し、それをサブピクセル処理部６に出力する。その際、視差Ｄを与えるズレ量ｉｓに関するシティブロック距離Ｃ１（＝Ｃｍｉｎ）、その直前において隣接したシティブロック距離Ｃ０、および、その直後において隣接したシティブロック距離Ｃ２も後段のサブピクセル処理部６に出力される。
【００２５】
一方、再び図１を参照し、自画像マッチング部５（ステレオ画像処理部３の別な機能的な要素の一つ）は、基準画素ブロックＡを評価対象として、自画像（基準画像）内での輝度特性の相関を、シティブロック距離Ｃによって評価する。なお、上述したステレオマッチング部４によって算出されるシティブロック距離Ｃとの混同を避けるため、自画像マッチング部５によって算出されるシティブロック距離Ｃの値を、便宜的にシティブロック距離Ｍと称する。
【００２６】
具体的には、自画像マッチング部５は、図４に示すように、評価対象となる基準画素ブロックＡに関するエピポーラライン上を１画素ずつずらしながら、エピポーラライン上に存在する基準画素ブロックＡ相当の面積領域Ａ’（以下「評価画素ブロック」と称する）と、基準画素ブロックＡとの相関を順次評価する（自画像マッチング）。これにより、基準画素ブロックＡからの画素単位のズレ量、すなわち、基準画素ブロックＡの位置を基準とした評価画素ブロック（・・・，Ａ’［ｉｄ−１］，Ａ’［ｉｄ］，Ａ’［ｉｄ＋１］，・・・）の相対的なズレ量（・・・，ｉｄ−１，ｉｄ，ｉｄ＋１，・・・）に対するシティブロック距離Ｍ（・・・，Ｍ０，Ｍ１，Ｍ２，・・・）が求まる。これにより、評価対象となる基準画素ブロックＡからの画素単位のズレ量に対するシティブロック距離Ｍの離散的な分布（第２の分布）が求められる。このとき、第２の分布において、基準画素ブロックＡと位置的に対応する評価画素ブロックＡ’［ｉｄ］の相対的なズレ量ｉｄ（すなわち、ｉｄ＝０）に対するシティブロック距離Ｍ１は、基本的に、０（＝Ｍｍｉｎ）となる。なお、後述する処理で用いられる関係上、この第２の分布を求めるにあたり、自画像マッチング部５は、少なくとも、評価画素ブロックＡ’［ｉｄ］、および、その直前・直後に隣接した評価画素ブロックＡ’［ｉｄ−１］，Ａ’［ｉｄ＋１］のそれぞれのズレ量ｉｄ，ｉｄ−１，ｉｄ＋１に対するシティブロック距離Ｍ１，Ｍ０，Ｍ２を求めればよい。
【００２７】
以上の手法によって、自画像マッチング部５は、１フレーム相当の基準画像におけるすべての基準画素ブロックＡについて、シティブロック距離Ｍの離散的な分布（第２の分布）を順次求める。これにより、基準画素ブロックＡと位置的に対応したズレ量ｉｄに関するシティブロック距離Ｍ１（＝０）、その直前において隣接したシティブロック距離Ｍ０、および、その直後において隣接したシティブロック距離Ｍ２が、第２の分布として、評価対象となる基準画素ブロックＡに関連づけられてサブピクセル処理部６に出力される。
【００２８】
サブピクセル処理部６は、ステレオマッチング部４において生成された１画素単位の分解能を有する視差Ｄに対して、サブピクセル処理による補間を行うことで、１画素単位以下の分解能を有する視差Ｄを算出する。ステレオマッチング部４で算出される視差Ｄは画素単位（画素の整数倍）であるため、三角測量の原理より、撮像画像に写し出された対象物までの距離が遠くなるにつれて、測距分解能が必然的に低下してしまう。そこで、サブピクセル処理部６は、第１の分布に基づく第１の値と第２の値とを用いて、ピクセルレベルの視差Ｄに関する１画素以下の小数画素成分、すなわち、サブピクセル成分Ｓを求める。ここで、第１の値とは、ステレオマッチング部４側の出力である、ズレ量ｉｓ（＝Ｄ）に関するシティブロック距離Ｃ１（以下、「最小シティブロック距離Ｃ１」と称する）をいう。また、第２の値とは、直前のズレ量ｉｓ−１（＝Ｄ−１）に関するシティブロック距離Ｃ０（以下、「直前の隣接シティブロック距離Ｃ０」と称する）、および、直後のズレ量ｉｓ＋１（＝Ｄ＋１）に関するシティブロック距離Ｃ２（以下、「直後の隣接シティブロック距離Ｃ２」と称する）の内、シティブロック距離Ｃが小さい方の値をいう。このとき、サブピクセル成分Ｓを求めるにあたり、サブピクセル処理部６は、基本的に、第２の分布に基づく第３〜第５の値を用いる。ここで、第３の値とは、自画像マッチング部５側の出力である、ズレ量ｉｄ（＝０）に関するシティブロック距離Ｍ１をいう。また、第４の値とは、その直前において隣接したシティブロック距離Ｍ０（以下、「直前の隣接シティブロック距離Ｍ０」と称する）をいい、第５の値とは、その直後において隣接したシティブロック距離Ｍ２（以下、「直後の隣接シティブロック距離Ｍ１」と称する）をいう。
【００２９】
そして、このサブピクセル成分Ｓを用いて、ピクセルレベルの視差Ｄを補間し、サブピクセルレベルの視差Ｄが算出される。補間された視差群は、距離データとして距離データメモリ８に順次格納される。なお、本実施形態の特徴の一つである、サブピクセル処理部６において行われる具体的な処理については、後述する。
【００３０】
認識部９は、画像データメモリ７に格納された画像データと、距離データメモリ８に格納された距離データとに基づき、撮像画像に写し出された対象物、および、その対象物までの距離等を認識する。以上のような構成を有する画像処理装置は、自車両前方の道路形状や先行車等を検出する車外監視装置、障害物検出装置、踏切監視装置、或いは、飛行体の高度計測装置として利用することができる。
【００３１】
図５は、本実施形態にかかるサブピクセル処理を示すフローチャートである。まず、ステップ１において、ステレオマッチング部４で算出された、ある基準画素ブロックＡに関する視差Ｄと、この視差Ｄに関連付けられたシティブロック距離Ｃ０〜Ｃ２とが入力される。そして、ステップ２において、自画像マッチング部５で求められ、ステップ１で入力された基準画素ブロックＡに関連づけられた第２の分布であるシティブロック距離Ｍ０，Ｍ１，Ｍ２が入力される。
【００３２】
ステップ２に続くステップ３では、第１の分布における隣接シティブロック距離Ｃ０，Ｃ２の大きさ、すなわち、相関の高さが比較される。この処理を行う前提として、まず、ズレ量ｉｓ（＝Ｄ）における最小シティブロック距離Ｃ１が、基準値として設定される。設定された最小シティブロック距離Ｃ１を基準として、その前後に隣接するシティブロック距離Ｃ０，Ｃ２が大きさの比較対象として抽出され、この値Ｃ０，Ｃ２の大きさが比較される。このとき、直前の隣接シティブロック距離Ｃ０が直後の隣接シティブロック距離Ｃ２以上の場合（Ｃ０≧Ｃ２）、直後の隣接シティブロック距離Ｃ２の方が相関が高いとして、直後のシティブロック距離Ｃ２が選択される。そして、第１の分布における、選択された直後の隣接シティブロック距離Ｃ２および最小シティブロック距離Ｃ１と、第２の分布における、直前の隣接シティブロック距離Ｍ０および直後の隣接シティブロック距離Ｍ２とを用いて、下式に従いサブピクセル成分Ｓが算出される（ステップ４）。すなわち、最小シティブロック距離Ｃ１とその直後の隣接シティブロック距離Ｃ２との差分値と、直後の隣接シティブロック距離Ｍ２との和を、直前の隣接シティブロック距離Ｍ０と直後の隣接シティブロック距離Ｍ２との和で除算した値が、サブピクセル成分Ｓとなる（Ｓは正の値）。
【数２】
Ｓ＝（Ｍ２＋（Ｃ１−Ｃ２））／（Ｍ０＋Ｍ２）
【００３３】
これに対して、直前の隣接シティブロック距離Ｃ０が直後の隣接シティブロック距離Ｃ２よりも小さい場合（Ｃ０＜Ｃ２）、直前の隣接シティブロック距離Ｃ０の方が相関が高いとして、直前の隣接シティブロック距離Ｃ０（第２の値）が選択される。そして、下式に従いサブピクセル成分Ｓが算出される（ステップ５）。すなわち、最小シティブロック距離Ｃ１とその直前の隣接シティブロック距離Ｃ０との差分値と、直前の隣接シティブロック距離Ｍ０との和を、直前の隣接シティブロック距離Ｍ０と直後の隣接シティブロック距離Ｍ２との和で除算した値が、サブピクセル成分Ｓとなる（Ｓは負の値）。
【数３】
Ｓ＝−（Ｍ０＋（Ｃ１−Ｃ０）／（Ｍ０＋Ｍ２）
【００３４】
サブピクセル成分Ｓは、ピクセルレベルの視差Ｄ（ｉｓに相当）とサブピクセルレベルの視差Ｄ（後述するｉｓｕｂに相当）とのオフセット値であり、正の値または負の値のいずれかをとる。サブピクセル成分Ｓが正の場合、サブピクセルレベルの視差Ｄは、ピクセルレベルの視差Ｄよりも正方向に存在する。また、サブピクセル成分Ｓが負の場合、サブピクセルレベルの視差Ｄは、ピクセルレベルの視差Ｄよりも負方向に存在する。
【００３５】
最後に、ステップ６において、ステップ４またはステップ５で算出されたサブピクセル成分Ｓを用いて、ステレオマッチング部４で算出されたピクセルレベルの視差Ｄが補間される。具体的には、ピクセルレベルの視差Ｄにサブピクセル成分Ｓを加算することにより、１画素以下の分解能を有するサブピクセルレベルの視差Ｄが算出される。算出されたサブピクセルレベルの視差Ｄは距離データメモリ８に格納される。そして、ステレオマッチング部４から視差Ｄが出力される度に、サブピクセル処理部６は上述したサブピクセル処理を行う。これにより、距離データを構成するすべての視差Ｄが補間され、１画素以下の分解能を有する距離データが距離データメモリ８に格納される。
【００３６】
つぎに、サブピクセル成分Ｓが数式２または数式３より算出される理由について説明する。従来技術として挙げた特開２０００−２８３７５３号公報にも言及されているように、１画素のサイズが無限に小さいと仮定した場合、画像平面（ｉ，ｊ）におけるシティブロック距離の分布は、図６に示すように連続的になる。これを、視差検出方向であるｉ方向の一次元的な分布として捉えた場合には、例えば、図７の破線で示すような連続的な分布となる（Ｃ０≧Ｃ２のケース）。同図において、横軸は、基準画素ブロックＡに対する比較画素ブロックＢの相対的なズレ量ｉであり、縦軸はシティブロック距離Ｃである。また、破線上に丸印で示した点群（点ｐ０〜ｐ２を含む）は、ステレオマッチング部４において算出された離散的なシティブロック距離Ｃをプロットしたものである（すなわち、第１の分布）。連続分布が示すように、シティブロック距離Ｃの分布は、対応点ｐｓｕｂ（シティブロック距離の連続的な分布において最小値をとる点）周りに左右対称になる。ただし、その対称性が理論的に保証されるのは極狭い範囲であり、対応点ｐｓｕｂの±１画素以内である。±１画素以上の点では、基準画像の画素成分が比較画像の画素成分にまったく含まれないため、対称性が維持されない。画素のサイズ間隔で離散的にプロットした点ｐ０〜ｐ２は、シティブロック距離Ｃの連続分布を示す破線上に存在し、この部分においては対称性が維持される。
【００３７】
シティブロック距離Ｃの離散的な分布（第１の分布）において、最小値Ｃ１をとる点ｐ１（ｉｓ，Ｃ１）を「仮の対応点」とする。「仮の対応点」と呼ぶ理由は、破線で図示した連続的なシティブロック距離Ｃの最小値をとる対応点Ｐｓｕｂ（真の対応点）は、仮の対応点ｐ１近傍にあるものの、仮の対応点Ｐ１とは一致しないからである。対応点ｐｓｕｂの座標（ｉ，Ｃ）を（ｉｓｕｂ，０）とすると、１画素以下のサブピクセル成分Ｓは、ｉｓとｉｓｕｂとの差より算出できる。ここで、対応点ｐｓｕｂのＣ座標値を０とする理由は、対応点ｐｓｕｂは基準画素ブロックＡの輝度特性と完全に一致する比較画素ブロックＢのズレ量（理想値）を示すからである。そして、画素ブロックＡ，Ｂの輝度特性が完全に一致する場合、そのシティブロック距離Ｃは原理的に０となるからである。
【００３８】
一方、本出願人によって既に提案された特願２００１−２９６２４５号には、画素ブロック対のピクセルレベルの視差を、直線近似によって算出されたサブピクセル成分によって補間する、画像処理装置が提案されている。この画像処理装置によれば、シティブロック距離Ｃの連続的な分布が対応点ｐｓｕｂ周りで対称になることを利用して、仮の対応点ｐ１と、シティブロック距離Ｃの小さい方の隣接点ｐ０（またはｐ２）と、対応点ｐｓｕｂとを用いて、対応点ｐｓｕｂを通る縦軸に対して線対称な直線Ｌ１（傾きｍ）と、直線Ｌ２とを設定する。そして、これらの直線Ｌ１，Ｌ２の交点より、サブピクセル成分Ｓが算出される。
【００３９】
このように、上述した手法のそれぞれでは、シティブロック距離Ｃの連続的な分布が対応点ｐｓｕｂ周りで対称になることを前提としてサブピクセル成分Ｓを算出している。しかしながら、シティブロック距離Ｃの連続的な分布が完全に対称とならないような場合には、算出されるサブピクセルレベルの視差に誤差が含まれてしまい、その値が精度良く算出されない可能性がある。そこで、本手法では、自画像マッチング部５において、自画像（本実施形態は、基準画素ブロックＡが設定される基準画像）を処理対象として自画像マッチングを行うことにより、この連続的な分布を推定している。連続的な分布を推定するにあたり、自画像マッチングを用いる理由としては、基準画像と比較画像とが、基本的に同一景色を撮像している点にある。すなわち、仮に一方の画像のみを用いてマッチングを行った場合であっても、ステレオマッチングにより得られる真の対応点ｐｓｕｂ周りの連続的な分布と、自画像マッチングを行うことにより得られる分布とは、基本的に一致すると考えられるからである。
【００４０】
図８は、自画像マッチングのシティブロック距離Ｍの離散的な分布（第２の分布）説明図である。同図において、横軸は、基準画素ブロックＡに対する評価画素ブロックＡ’の相対的なズレ量ｉであり、縦軸はシティブロック距離Ｍである。また、丸印で示した点群（点Ｐ０〜Ｐ２を含む）は、自画像マッチング部５において算出された離散的なシティブロック距離Ｍをプロットしたものである。ここで、評価対象となる基準画素ブロックＡと位置的に対応したズレ量ｉｄに関するシティブロック距離Ｍ１がＰ１で示されており、その直前に隣接したシティブロック距離Ｍ０がＰ０、その直後に隣接したシティブロック距離Ｍ２がＰ２として示されている。このとき、ズレ量ｉｄに関するシティブロック距離Ｍ１の値が０となる理由は、基準画素ブロックＡと輝度特性が完全に一致する比較対象ブロックＡ’を用いてシティブロック距離Ｍが算出されるからである。
【００４１】
したがって、図８に示す点Ｐ０〜Ｐ２の離散的な分布（第２の分布）の傾向は、図７に示した第１の分布上にも存在すると考えることができる。そこで、まず、このＰ０〜Ｐ２に基づき、第２の分布を連続的な分布として推定する。この推定方法は、二次、三次といった高次の近似手法を用いることも考えられるが、本実施形態では、比較的に演算量の少ない方法として、線形近似を用いる。同図に示す直線Ｌ１は、第２の分布における点Ｐ１と点Ｐ０との間の連続的な分布であり、点Ｐ０と点Ｐ１とを線形的に近似することにより、傾き−Ｍ０（正確には、Ｍ１−Ｍ０）の直線として特定される。また、直線Ｌ２は、第２の分布における点Ｐ１と点Ｐ２との間の連続的な分布であり、点Ｐ２と点Ｐ１とを線形的に近似することにより、傾きＭ２（正確には、Ｍ２−Ｍ１）の直線として特定される。この結果、離散的な第２の分布が、直線的な分布として推定される。
【００４２】
この連続的な分布を用いて、サブピクセル成分Ｓを算出する場合、まず、仮の対応点ｐ１の前後の隣接点ｐ０，ｐ１のシティブロック距離Ｃ０，Ｃ２の大小関係（すなわち、相関関係）より、対応点ｐｓｕｂが仮の対応点ｐ１の左右どちらに存在するのかを判断する。図７に示すように、直前の隣接点ｐ０のＣ座標値が直後の隣接点ｐ２のＣ座標値以上の場合、換言すれば、直前のシティブロック距離Ｃ０が直後のシティブロック距離Ｃ２以上の場合には、シティブロック距離Ｃの連続的な分布（第１の分布）は基本的に対称であるとして、対応点ｐｓｕｂは、ｉ座標ベースで座標値ｉｓ〜（ｉｓ＋１）の範囲内にあると判断できる。
【００４３】
そこで、例えば図７に示すような第１の分布上において、推定された連続的な分布が、最小シティブロック距離Ｃ１（第１の値）と直後に隣接するシティブロック距離Ｃ２（第２の値）とを含むように、第２の分布を設定することにより、サブピクセル成分Ｓが算出できる。具体的には、図９に示すように、２本の直線Ｌ１，Ｌ２を用い、その交点からサブピクセル成分Ｓが算出される。このケース（Ｃ０≧Ｃ２）において、左側の直線Ｌ１は、仮の対応点ｐ１（ｉｓ，Ｃ１）を通り、右側の直線Ｌ２は、直後の隣接点ｐ２（ｉｓ＋１，Ｃ２）とを通る。サブピクセル成分Ｓは、ｉ軸方向における、仮の対応点ｐ１と、これらの直線Ｌ１，Ｌ２の交点との間の距離（Ｓ＝ｉｓｕｂ−ｉｓ）として求めることができ、その値は正となる。
【００４４】
直線Ｌ１をＣ＝−Ｍ０×ｉ＋ａ（基本式）で表すと、直線Ｌ１の条件より下式が得られる。ここで、式（１）は仮の対応点ｐ１（ｉｓ，Ｃ１）を通るという条件より得られ、式（２）は式（１）から得られた値ａを基本式に代入することにより得られる。
【数４】
Ｃ１＝−Ｍ０×ｉｓ＋ａ ・・・・・・（１）
Ｃ＝−Ｍ０×ｉ＋Ｃ１＋Ｍ０・ｉｓ ・・・・・・（２）
【００４５】
また、直線Ｌ２をＣ＝Ｍ２×ｉ＋ｂ（基本式）で表すと、直線Ｌ２の条件より下式が得られる。ここで、式（３）は直後の隣接点ｐ２（Ｃ２，ｉｓ＋１）を通という条件より得られ、数式（４）は数式（３）から得られた値ｂを基本式に代入することにより得られる。
【数５】
Ｃ２＝Ｍ２×（ｉｓ＋１）＋ｂ ・・・・・・（３）
Ｃ＝Ｍ２×ｉ＋Ｃ２−Ｍ１（ｉｓ＋１） ・・・・・・（４）
【００４６】
そして、式（２），（４）より、直線Ｌ１と直線Ｌ２との交点のｉ座標値をｉｓｕｂとして算出して、上述したＳ＝ｉｓｕｂ−ｉｓを用いて、サブピクセル成分Ｓについて解くと、上述した数式２が導出されることとなる。
【００４７】
一方、図１０に示すように、直前の隣接点ｐ０のシティブロック距離Ｃ０が直後の隣接点ｐ２のシティブロック距離Ｃ２よりも小さい場合（Ｃ０＜Ｃ２）、シティブロック距離Ｃの連続的な分布は基本的に対称であるとして、対応点ｐｓｕｂは、ｉ座標ベースで座標値ｉｓ−１〜ｉｓの範囲内にあると判断できる。そこで、図１１に示すように、直線の隣接点ｐ０（ｉｓ−１）を通る直線Ｌ１（Ｃ＝−Ｍ０×ｉ＋ａ（基本式））と、仮の対応点ｐ１を通る直線Ｌ２（Ｃ＝Ｍ２×ｉ＋ｂ（基本式））との交点からサブピクセル成分Ｓが算出される。そして、上述したＣ０≧Ｃ２の場合と同様に、Ｓ＝ｉｓｕｂ−ｉｓを用いて、サブピクセル成分Ｓについて解くと、上述した数式３が導出されることとなる。図１１から分かるように、このケースにおけるサブピクセル成分Ｓは負の値となる。
【００４８】
このように本実施形態によれば、ピクセルレベルの視差Ｄ（ズレ量ｉｓ）を補間することにより、１画素以下の分解能を有するサブピクセルレベルの視差Ｄ（ズレ量ｉｓｕｂ）を算出できる。そのため、システム的に、あたかも１画素以下で視差検出を行ったかのように取り扱うことができる。その結果、ピクセルレベルの視差Ｄをそのまま用いた場合に生じる、遠距離での測距分解能の低下を抑制でき、近距離から遠距離までの広いレンジで有効な測距分解能を確保することが可能となる。そして、サブピクセルレベルの視差群で構成された距離データを用いて各種の監視制御を行えば、信頼性の高い監視を行うことができる。
【００４９】
また、本実施形態によれば、自画像マッチングを行うことにより、シティブロック距離Ｍの離散的な分布（第２の分布）が求められる。そして、ステレオマッチングにより得られる真の対応点ｐｓｕｂ周りの連続的な分布と、この第２の分布とは、基本的に一致するという考えのもと、第１の分布におけるシティブロック距離Ｃ１，Ｃ０（またはＣ２）を用いて、サブピクセル成分Ｓが算出される。これにより、シティブロック距離Ｃの分布が、真の対応点周りに対象とならないような画像であっても、その分布を有効に推定することができる。この結果、従来技術と比較して、精度の高いサブピクセル成分Ｓを算出することができる。
【００５０】
なお、上述した実施形態は、ステレオカメラ１を用いたステレオ画像処理について説明した。しかしながら、本発明はこれに限定されるものではく、例えば、１台のカメラで画像内対象物のオプティカルフロー検出を行うといった、２枚以上の画像の対応付けにも適用可能である。この場合、１台のカメラを用いて所定の間隔で繰返し撮像し、時系列的な複数の撮像画像を得る。そして、ある撮像タイミングで得られた一方の撮像画像（基準画像）と、それとは異なる撮像タイミングで得られた他方の撮像画像（比較画像）とを用いて、上述した実施形態と同様にサブピクセル処理を行う。これにより得られたサブピクセルレベルのズレ量ｉｓｕｂは、基準画素ブロックＡに写し出された対象物に関する、画像平面上の移動量や速度に相当する。
【００５１】
また、シティブロック距離Ｃ（またはＭ）の基本形は上述したとおりであるが、具体的な算出式には数々のバリエーションが存在する。例えば、以下に示す数式６に従いシティブロック距離Ｃを算出することもできる。すなわち、数式６では、シティブロック距離Ｃは、位置的に対応した二つの輝度値ａｉｊ，ｂｉｊの差の二乗の画素ブロック全体における総和として定義される。
【数６】
Ｃ＝Σ（ａｉｊ−ｂｉｊ）２
【００５２】
また、上述した通常のステレオマッチングに代えて、平均値差分マッチングを行ってもよい。平均値差分マッチングは、撮像画像の高周波成分をマッチング対象とし、ハイパスフィルタと等価な作用を有しているため、低周波ノイズを有効に除去する。また、平均値差分マッチングでは、ステレオ画像における輝度の僅かなバランスの狂いに起因した影響、或いは、カメラやアナログ回路部品の経年変化によるゲイン変化に起因した影響等に対し、ミスマッチングを生じることがなく正確な距離情報を得る。そのため、通常のステレオマッチングでは前段の処理として必須となる輝度補正等を省略することができる。その結果、画像入力部２を構成する回路の部品点数を低減し、画像入力部２の回路構成を簡素化できるため、コスト低減や信頼性向上を図ることができる。
【００５３】
平均値差分マッチングでは、下式に従いシティブロック距離Ｃを算出する。ここで、Ａａｖｅは基準画素ブロックＡの輝度平均値であり、Ｂａｖｅは比較画素ブロックＢの輝度平均値である。すなわち、平均値差分マッチングでは、基準画素ブロックＡの輝度値ａｉｊからその輝度平均値Ａａｖｅを差分した値と、比較画素ブロックＢの輝度値ｂｉｊからその輝度平均値Ｂａｖｅを差分した値との差（絶対値）の画素ブロック全体における総和として定義される。なお、平均値差分マッチング処理の詳細については、本願出願人が既に提案した特開平１１−２３４７０１号公報に詳述されているので、必要ならば参照されたい。
【数７】
Ｃ＝Σ｜（ａｉｊ−Ａａｖｅ）−（ｂｉｊ−Ｂａｖｅ）｜
Ａａｖｅ＝Σａｉｊ／（Ｉ×Ｊ）
Ｂａｖｅ＝Σｂｉｊ／（Ｉ×Ｊ）
【００５４】
また、画素ブロックＡ，Ｂの中心部の輝度値（例えば、ａ２２，ａ２３，ａ３２，ａ３３、ｂｉｊについても同様）を重視する場合には、下式のように、輝度差の絶対値に重み係数ｗｉｊを乗じてシティブロック距離Ｃを算出してもよい（重み付けマッチング）。この場合、重み係数ｗｉｊは、画素ブロックＡ，Ｂの内側に向うほど大きな値に設定する。重み付けマッチング処理の詳細については、本願出願人が既に提案した特願２００１−０６３２９０号において開示されている。
【数８】
Ｃ＝Σｗｉｊ｜ａｉｊ−ｂｉｊ｜
【００５５】
【発明の効果】
本発明では、相関値の離散的な分布（第１の分布）において算出された、最高相関値をとるピクセルレベルのズレ量を、サブピクセル成分で補間することにより、サブピクセルレベルのズレ量を算出する。このサブピクセル成分は、自画像内での輝度特性の相関を示す相関値の離散的な分布に基づいて算出される。これにより、互いに相関を有する画素ブロック対のズレ量をサブピクセルレベルで精度よく算出することができる。
【図面の簡単な説明】
【図１】本実施形態にかかる画像処理装置の基本構成を示すブロック図
【図２】基準画像に設定される画素ブロックの説明図
【図３】ステレオマッチングの説明図
【図４】自画像マッチングの説明図
【図５】本実施形態にかかるサブピクセル処理を示すフローチャート
【図６】画像平面におけるシティブロック距離の分布説明図
【図７】Ｃ０≧Ｃ２における極小点周りのシティブロック距離の分布説明図
【図８】自画像マッチングのシティブロック距離の離散的な分布説明図
【図９】Ｃ０≧Ｃ２におけるサブピクセル成分の算出の説明図
【図１０】Ｃ０＜Ｃ２における極小点周りのシティブロック距離の分布説明図
【図１１】Ｃ０＜Ｃ２におけるサブピクセル成分の算出の説明図
【図１２】従来のサブピクセル成分の算出の説明図
【符号の説明】
１ ステレオカメラ
１ａ メインカメラ
１ｂ サブカメラ
２ 画像入力部
３ ステレオ画像処理部
４ ステレオマッチング部
５ 自画像マッチング部
６ サブピクセル処理部
７ 画像データメモリ
８ 距離データメモリ
９ 認識部
【発明の属する技術分野】
本発明は、一対の撮像画像において、輝度特性の相関を有する画素ブロック対のズレ量を補間演算付で算出する画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
例えば、互いに相関を有する画素ブロック対のピクセルレベルの視差を、直線近似によって算出されたサブピクセル成分によって補間する、ステレオ画像を用いた測距装置がある（例えば、特許文献１）。図１２は、従来のサブピクセル成分の算出説明図である。ピクセルレベルの視差Ｄを与える仮の対応点ｐ１、その直前の隣接点ｐ０、その直後の隣接点ｐ２の３つの点に基づいて、縦軸に対して線対称となる２本の直線Ｌ１，Ｌ２を算出する。そして、これらの直線Ｌ１，Ｌ２の交点より、サブピクセル成分Ｓを算出する。
【０００３】
【特許文献１】
特開２０００−２８３７５３号公報
【０００４】
【発明が解決しようとする課題】
上述した従来技術では、対応点ｐ０の前後の隣接点ｐ０，ｐ２の双方を用いてサブピクセル成分Ｓを算出している。前後の対応点ｐ０，ｐ２の内、シティブロック距離の小さい隣接点ｐ２には、真の対応点ｐｓｕｂの輝度値が含まれているが、シティブロック距離の大きい対応点ｐ０には、真の対応点ｐｓｕｂの輝度値が含まれていない。そのため、サブピクセル成分Ｓの誤差が大きくなり易く、サブピクセル成分Ｓによって補間されたサブピクセルレベルの視差の算出精度が低下する傾向がある。
【０００５】
また、この従来技術では、シティブロック距離の分布が真の対応点ｐｓｕｂに関して対称であるとの知得に基づき、直線Ｌ１，Ｌ２を算出している。しかしながら、シティブロック距離の分布が真の対応点ｐｓｕｂに関して対称とはならないような画像では、算出されたサブピクセル成分Ｓに誤差が含まれてしまう可能性がある。例えば、視差の算出対象となる画素ブロックの周囲において、輝度のバラツキが存在するような画像では、シティブロック距離の対称性が保証されない傾向が大きい。したがって、従来の技術では、サブピクセル成分Ｓによって補間されたサブピクセルレベルの視差の算出精度が低下する可能性がある。
【０００６】
そこで、本発明の目的は、互いに相関を有する画素ブロック対のズレ量をサブピクセルレベルで精度よく算出し得る、新規な画像処理装置および画像処理方法を提供することである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、一方の撮像画像における画素ブロックと、この画素ブロックと輝度的に対応する他方の撮像画像における画素ブロックとの画素ブロック間のピクセルレベルのズレ量を、サブピクセル成分を用いて補完して、サブピクセルレベルのズレ量を算出する画像処理装置において、ステレオマッチング部と、自画像マッチング部と、サブピクセル処理部とを有する画像処理装置を提供する。この画像処理装置において、ステレオマッチング部は、一方の撮像画像における画素ブロックを評価対象として、他方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価する。そして、この評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布が第１の分布として求められる。このとき、第１の分布において相関が最も高くなる相関値を最高相関値としてピクセルレベルのズレ量が算出される。自画像マッチング部は、一方の画像における画素ブロックを評価対象として、この一方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価する。そして、評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布が第２の分布として求められる。一方、サブピクセル処理部は、ステレオマッチング部によって求められた第１の分布において、ピクセルレベルのズレ量における最高相関値を第１の値として設定し、かつ、最高相関値の直前に隣接した相関値および最高相関値の直後に隣接した相関値の内、相関が高い方の相関値を第２の値として選択する。また、サブピクセル処理部は、自画像マッチング部によって求められた第２の分布を連続的な分布として推定する。このとき、第１の分布上において、推定された連続的な分布が、第１の値と第２の値とを含むように、第２の分布を設定することにより、サブピクセル成分が算出される。
【０００８】
ここで、第１の発明において、サブピクセル処理部は、第２の分布において、評価対象となる画素ブロックと位置的に対応したズレ量に関する相関値を第３の値、第３の値の直前に隣接した相関値を第４の値、第３の値の直後に隣接した相関値を第５の値として選択し、第３の値と第４の値との間の連続的な分布を推定し、かつ、第３の値と第５の値との間の連続的な分布を推定することが望ましい。この場合、サブピクセル処理部は、第１の分布において、第２の値が最高相関値の直後に隣接した相関値であると判断した場合には、第１の値を通る、第３の値と第４の値との間の連続的な分布と、第２の値を通る、第３の値と第５の値との間の連続的な分布との交点に基づき、サブピクセル成分を算出することが好ましい。一方、第１の分布において、第２の値が最高相関値の直前に隣接した相関値であると判断した場合には、第２の値を通る、第３の値と第４の値との間の連続的な分布と、第１の値を通る、第３の値と第５の値との間の連続的な分布との交点に基づき、サブピクセル成分が算出されることが好ましい。
【０００９】
このとき、サブピクセル算出部は、比較的少ない演算量で処理を行うために、第３の値と第４の値とを線形的に近似するとともに、第３の値と第５の値とを線形的に近似することにより、連続的な分布を算出することが好ましい。
【００１０】
また、サブピクセル処理部は、第２の値が最高相関値の直後に隣接した相関値であると判断した場合には、第１の値と第２の値との差分値と、第５の値との和を、第４の値と第５の値との和で除算することにより、サブピクセル成分を算出することが好ましい。一方、第２の値が最高相関値の直前に隣接した相関値であると判断した場合には、第１の値と第２の値との差分値と、第４の値との和を、第４の値と第５の値との和で除算することにより、サブピクセル成分が算出されることが好ましい。
【００１１】
また、第２の発明は、一方の撮像画像における画素ブロックと、この画素ブロックと輝度的に対応する他方の撮像画像における画素ブロックとの画素ブロック間のピクセルレベルのズレ量を、サブピクセル成分を用いて補完して、サブピクセルレベルのズレ量を算出する画像処理装置において、ステレオマッチング部と、自画像マッチング部と、サブピクセル処理部とを有する画像処理装置を提供する。この画像処理装置において、ステレオマッチング部は、一方の撮像画像における画素ブロックを評価対象として、他方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価する。そして、この評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布が第１の分布として求められる。このとき、第１の分布において相関が最も高くなる相関値を最高相関値としてピクセルレベルのズレ量が算出される。自画像マッチング部は、一方の画像における画素ブロックを評価対象として、この一方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価する。そして、評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布が第２の分布として求められる。一方、サブピクセル処理部は、ステレオマッチング部によって求められた第１の分布において、ピクセルレベルのズレ量における最高相関値を第１の値として設定し、かつ、最高相関値の直前に隣接した相関値および最高相関値の直後に隣接した相関値の内、相関が高い方の相関値を第２の値として選択する。また、サブピクセル処理部は、自画像マッチング部によって求められた第２の分布を連続的な分布として推定する。そして、第１の分布上において、推定された連続的な分布が、第１の値と第２の値とを含むように、第２の分布を設定することにより、サブピクセル成分が算出される。
【００１２】
第３の発明は、一方の撮像画像における画素ブロックを評価対象として、他方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価し、この評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布を第１の分布として求め、第１の分布において相関が最も高くなる相関値を最高相関値としてピクセルレベルのズレ量を算出するとともに、算出されたピクセルレベルのズレ量をサブピクセル成分を用いて補完して、サブピクセルレベルのズレ量を算出する画像処理方法を提供する。この画像処理方法は、第１のステップとして、一方の画像における画素ブロックを評価対象として、一方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価し、評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布を第２の分布として求める。また、第２のステップとして、第１の分布において、ピクセルレベルのズレ量における最高相関値を第１の値として設定し、かつ、最高相関値の直前に隣接した相関値および最高相関値の直後に隣接した相関値の内、相関が高い方の相関値を第２の値として選択する。さらに、第３のステップとして、求められた第２の分布を連続的な分布として推定するとともに、第１の分布上において、推定された連続的な分布が、第１の値と第２の値とを含むように、第２の分布を設定することにより、サブピクセル成分を算出する。
【００１３】
ここで、第３の発明において、第３のステップは、第２の分布において、評価対象となる画素ブロックと位置的に対応したズレ量に関する相関値を第３の値、第３の値の直前に隣接した相関値を第４の値、第３の値の直後に隣接した相関値を第５の値として選択し、第３の値と第４の値との間の連続的な分布を推定し、かつ、第３の値と第５の値との間の連続的な分布を推定することが好ましい。この場合、第３のステップは、第２のステップにおいて、第２の値として最高相関値の直後に隣接した相関値が設定された場合には、第１の値を通る、第３の値と第４の値との間の連続的な分布と、第２の値を通る、第３の値と第５の値との間の連続的な分布との交点に基づき、サブピクセル成分を算出することが好ましい。一方、第２のステップにおいて、第２の値として最高相関値の直前に隣接した相関値が設定された場合には、第２の値を通る、第３の値と第４の値との間の連続的な分布と、第１の値を通る、第３の値と第５の値との間の連続的な分布との交点に基づき、サブピクセル成分が算出されることが好ましい。
【００１４】
また、第３のステップは、第２のステップにおいて、第２の値として最高相関値の直後に隣接した相関値が設定された場合には、第１の値と第２の値との差分値と、第５の値との和を、第４の値と第５の値との和で除算することにより、サブピクセル成分を算出することが好ましい。一方、第２のステップにおいて、第２の値が最高相関値の直前に隣接した相関値が設定された場合には、第１の値と第２の値との差分値と、第４の値との和を、第４の値と第５の値との和で除算することにより、サブピクセル成分が算出されることが好ましい。
【００１５】
【発明の実施の形態】
図１は、本実施形態にかかる画像処理装置の基本構成を示すブロック図である。ステレオカメラ１は、ＣＣＤやＣＭＯＳイメージセンサ等を内蔵した一対のカメラ１ａ，１ｂで構成されており、所定の基線長で互いの撮像面垂直軸が平行となるように取付けられている。メインカメラ１ａは、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ１ｂは、ステレオ画像処理を行う際に必要な比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ１ａ，１ｂから出力された各アナログ画像は、画像入力部２に出力される。なお、ステレオカメラ１は、ＣＣＤカメラ等に限らず、赤外線カメラ等を用いてもよい。
【００１６】
画像入力部２は、それぞれのカメラ１ａ，１ｂから出力された２系統のアナログ画像信号に対する入力処理を行い、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換する。デジタル化されたこれらの画像（ステレオ画像）は、画像入力部２の一部を構成する補正回路において、輝度補正や画像の幾何学的な変換等が行われる。通常、カメラ１ａ，１ｂの取付位置は程度の差こそあれ誤差を含んでいるため、それに起因したずれが左右の画像に存在する。そこで、アフィン変換等によって、画像の回転や平行移動といった幾何学的な変換処理がステレオ画像に対して行われる。これにより、ステレオマッチング処理の前提となる、基準画像の水平線と比較画像の水平線との一致（エピポーラライン）が保証される。
【００１７】
このような画像処理を経て、メインカメラ１ａより基準画像データが得られ、サブカメラ１ｂより比較画像データが得られる。これらの画像データ（ステレオ画像データ）は、各画素の輝度値（０〜２５５）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。そして、一フレーム（一画像の表示単位）相当のステレオ画像データは、後段のステレオ画像処理部３に出力されるとともに、画像データメモリ７に格納される。
【００１８】
ステレオ画像処理部３は、ステレオマッチング部４と、自画像マッチング部５とで構成される。このステレオ画像処理部３の機能的な要素の一つであるステレオマッチング部４は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差の集合であり、個々の視差は画像平面上の位置（ｉ，ｊ）に対応付けられている。それぞれの視差は、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロック毎に１つ算出される。
【００１９】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が２００×５１２画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックの個数相当（５０×１２８個）の視差群が算出され得る。周知のように、視差は、その算出単位である画素ブロックに関する水平方向のずれ量であり、画素ブロックに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロック内に写し出されている対象物がカメラ１ａ，１ｂに近いほど、この画素ブロックの視差は大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。
【００２０】
基準画像内のある画素ブロック（以下、「基準画素ブロック」と称する）に関する視差を算出する場合、ステレオマッチング部４は、この基準画素ブロックを評価対象として、この基準画素ブロックの輝度特性と相関を有する領域を比較画像において特定する。したがって、図３に示すように、基準画素ブロックＡの相関先を探索する場合、比較画像全体を探索範囲とする必要はなく、基準画素ブロックＡと同一水平線（エピポーラライン）を探索範囲とすればよい。ステレオマッチング部４は、このエピポーラライン上を１画素ずつずらしながら、エピポーラライン上の所定範囲内に存在するすべての画素ブロックＢ（以下「「比較画素ブロック」と称する）の相関を順次評価する（ステレオマッチング）。
【００２１】
２つの画素ブロックＡ，Ｂの相関は、例えば、シティブロック距離Ｃ（相関値としての一例）を算出することにより評価することができる。このシティブロック距離は、画素ブロックＡ，Ｂの相関性を評価する手法として周知であり、比較的少ない演算量で輝度特性の相関を良好に評価することができる。ここで、基準画素ブロックＡを構成する各画素の輝度値をａｉｊ（ｉ＝０〜３，ｊ＝０〜３）、比較画素ブロックＢを構成する各画素の輝度値をｂｉｊ（ｉ＝０〜３，ｊ＝０〜３）とする。基本的に、シティブロック距離Ｃは、位置的に対応した二つの輝度値ａｉｊ，ｂｉｊの差（絶対値）の画素ブロック全体における総和として定義される。前段の処理（画像入力部２における処理）で、画像に輝度補正をかけている場合には、両画素ブロックＡ，Ｂに関するシティブロック距離Ｃは、輝度値ａｉｊ，ｂｉｊをそのまま用いて、下式に従い算出する。
【数１】
Ｃ＝Σ｜ａｉｊ−ｂｉｊ｜
【００２２】
上式からわかるように、２つの画素ブロックＡ，Ｂの輝度特性が類似しているほど（すなわち相関が高いほど）、シティブロック距離Ｃが小さくなり、両者がまったく同じであれば０になる。比較画像のエピポーラライン上を左から右へ１画素ずつずらしながら、それぞれの比較画素ブロックＢを演算対象としたシティブロック距離Ｃを順次算出する。これにより、基準画素ブロックＡの位置を基準とした比較画素ブロック（・・・，Ｂ［ｉｓ−１］，Ｂ［ｉｓ］，Ｂ［ｉｓ＋１］，・・・）の相対的なズレ量（・・・，ｉｓ−１，ｉｓ，ｉｓ＋１，・・・）に対するシティブロック距離Ｃ（・・・，Ｃ０，Ｃ１，Ｃ２，・・・）の離散的な分布（第１の分布）が求まる。このとき、シティブロック距離Ｃの算出間隔は、ピクセルレベル、すなわち、１画素の横方向サイズ相当となる。
【００２３】
このようにして算出されたシティブロック距離Ｃの離散的な分布（第１の分布）において、相関が最も高い相関値（最高相関値）、すなわち、シティブロック距離Ｃが最小値Ｃｍｉｎとなる比較画素ブロックＢ［ｉｓ］を基準画素ブロックＡの相関先と判断する。そして、基本的には、相関先と判断された比較画素ブロックＢ［ｉｓ］の水平方向のズレ量ｉｓが、基準画素ブロックＡに関する視差Ｄとなる。なお、シティブロック距離を算出するためのハード構成を含めたステレオマッチングの詳細については、本願出願人が既に提案した特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。
【００２４】
以上の手法によって、ステレオマッチング部４は、１フレームの基準画像におけるすべての基準画素ブロックＡに関してピクセルレベルの視差Ｄを順次算出し、それをサブピクセル処理部６に出力する。その際、視差Ｄを与えるズレ量ｉｓに関するシティブロック距離Ｃ１（＝Ｃｍｉｎ）、その直前において隣接したシティブロック距離Ｃ０、および、その直後において隣接したシティブロック距離Ｃ２も後段のサブピクセル処理部６に出力される。
【００２５】
一方、再び図１を参照し、自画像マッチング部５（ステレオ画像処理部３の別な機能的な要素の一つ）は、基準画素ブロックＡを評価対象として、自画像（基準画像）内での輝度特性の相関を、シティブロック距離Ｃによって評価する。なお、上述したステレオマッチング部４によって算出されるシティブロック距離Ｃとの混同を避けるため、自画像マッチング部５によって算出されるシティブロック距離Ｃの値を、便宜的にシティブロック距離Ｍと称する。
【００２６】
具体的には、自画像マッチング部５は、図４に示すように、評価対象となる基準画素ブロックＡに関するエピポーラライン上を１画素ずつずらしながら、エピポーラライン上に存在する基準画素ブロックＡ相当の面積領域Ａ’（以下「評価画素ブロック」と称する）と、基準画素ブロックＡとの相関を順次評価する（自画像マッチング）。これにより、基準画素ブロックＡからの画素単位のズレ量、すなわち、基準画素ブロックＡの位置を基準とした評価画素ブロック（・・・，Ａ’［ｉｄ−１］，Ａ’［ｉｄ］，Ａ’［ｉｄ＋１］，・・・）の相対的なズレ量（・・・，ｉｄ−１，ｉｄ，ｉｄ＋１，・・・）に対するシティブロック距離Ｍ（・・・，Ｍ０，Ｍ１，Ｍ２，・・・）が求まる。これにより、評価対象となる基準画素ブロックＡからの画素単位のズレ量に対するシティブロック距離Ｍの離散的な分布（第２の分布）が求められる。このとき、第２の分布において、基準画素ブロックＡと位置的に対応する評価画素ブロックＡ’［ｉｄ］の相対的なズレ量ｉｄ（すなわち、ｉｄ＝０）に対するシティブロック距離Ｍ１は、基本的に、０（＝Ｍｍｉｎ）となる。なお、後述する処理で用いられる関係上、この第２の分布を求めるにあたり、自画像マッチング部５は、少なくとも、評価画素ブロックＡ’［ｉｄ］、および、その直前・直後に隣接した評価画素ブロックＡ’［ｉｄ−１］，Ａ’［ｉｄ＋１］のそれぞれのズレ量ｉｄ，ｉｄ−１，ｉｄ＋１に対するシティブロック距離Ｍ１，Ｍ０，Ｍ２を求めればよい。
【００２７】
以上の手法によって、自画像マッチング部５は、１フレーム相当の基準画像におけるすべての基準画素ブロックＡについて、シティブロック距離Ｍの離散的な分布（第２の分布）を順次求める。これにより、基準画素ブロックＡと位置的に対応したズレ量ｉｄに関するシティブロック距離Ｍ１（＝０）、その直前において隣接したシティブロック距離Ｍ０、および、その直後において隣接したシティブロック距離Ｍ２が、第２の分布として、評価対象となる基準画素ブロックＡに関連づけられてサブピクセル処理部６に出力される。
【００２８】
サブピクセル処理部６は、ステレオマッチング部４において生成された１画素単位の分解能を有する視差Ｄに対して、サブピクセル処理による補間を行うことで、１画素単位以下の分解能を有する視差Ｄを算出する。ステレオマッチング部４で算出される視差Ｄは画素単位（画素の整数倍）であるため、三角測量の原理より、撮像画像に写し出された対象物までの距離が遠くなるにつれて、測距分解能が必然的に低下してしまう。そこで、サブピクセル処理部６は、第１の分布に基づく第１の値と第２の値とを用いて、ピクセルレベルの視差Ｄに関する１画素以下の小数画素成分、すなわち、サブピクセル成分Ｓを求める。ここで、第１の値とは、ステレオマッチング部４側の出力である、ズレ量ｉｓ（＝Ｄ）に関するシティブロック距離Ｃ１（以下、「最小シティブロック距離Ｃ１」と称する）をいう。また、第２の値とは、直前のズレ量ｉｓ−１（＝Ｄ−１）に関するシティブロック距離Ｃ０（以下、「直前の隣接シティブロック距離Ｃ０」と称する）、および、直後のズレ量ｉｓ＋１（＝Ｄ＋１）に関するシティブロック距離Ｃ２（以下、「直後の隣接シティブロック距離Ｃ２」と称する）の内、シティブロック距離Ｃが小さい方の値をいう。このとき、サブピクセル成分Ｓを求めるにあたり、サブピクセル処理部６は、基本的に、第２の分布に基づく第３〜第５の値を用いる。ここで、第３の値とは、自画像マッチング部５側の出力である、ズレ量ｉｄ（＝０）に関するシティブロック距離Ｍ１をいう。また、第４の値とは、その直前において隣接したシティブロック距離Ｍ０（以下、「直前の隣接シティブロック距離Ｍ０」と称する）をいい、第５の値とは、その直後において隣接したシティブロック距離Ｍ２（以下、「直後の隣接シティブロック距離Ｍ１」と称する）をいう。
【００２９】
そして、このサブピクセル成分Ｓを用いて、ピクセルレベルの視差Ｄを補間し、サブピクセルレベルの視差Ｄが算出される。補間された視差群は、距離データとして距離データメモリ８に順次格納される。なお、本実施形態の特徴の一つである、サブピクセル処理部６において行われる具体的な処理については、後述する。
【００３０】
認識部９は、画像データメモリ７に格納された画像データと、距離データメモリ８に格納された距離データとに基づき、撮像画像に写し出された対象物、および、その対象物までの距離等を認識する。以上のような構成を有する画像処理装置は、自車両前方の道路形状や先行車等を検出する車外監視装置、障害物検出装置、踏切監視装置、或いは、飛行体の高度計測装置として利用することができる。
【００３１】
図５は、本実施形態にかかるサブピクセル処理を示すフローチャートである。まず、ステップ１において、ステレオマッチング部４で算出された、ある基準画素ブロックＡに関する視差Ｄと、この視差Ｄに関連付けられたシティブロック距離Ｃ０〜Ｃ２とが入力される。そして、ステップ２において、自画像マッチング部５で求められ、ステップ１で入力された基準画素ブロックＡに関連づけられた第２の分布であるシティブロック距離Ｍ０，Ｍ１，Ｍ２が入力される。
【００３２】
ステップ２に続くステップ３では、第１の分布における隣接シティブロック距離Ｃ０，Ｃ２の大きさ、すなわち、相関の高さが比較される。この処理を行う前提として、まず、ズレ量ｉｓ（＝Ｄ）における最小シティブロック距離Ｃ１が、基準値として設定される。設定された最小シティブロック距離Ｃ１を基準として、その前後に隣接するシティブロック距離Ｃ０，Ｃ２が大きさの比較対象として抽出され、この値Ｃ０，Ｃ２の大きさが比較される。このとき、直前の隣接シティブロック距離Ｃ０が直後の隣接シティブロック距離Ｃ２以上の場合（Ｃ０≧Ｃ２）、直後の隣接シティブロック距離Ｃ２の方が相関が高いとして、直後のシティブロック距離Ｃ２が選択される。そして、第１の分布における、選択された直後の隣接シティブロック距離Ｃ２および最小シティブロック距離Ｃ１と、第２の分布における、直前の隣接シティブロック距離Ｍ０および直後の隣接シティブロック距離Ｍ２とを用いて、下式に従いサブピクセル成分Ｓが算出される（ステップ４）。すなわち、最小シティブロック距離Ｃ１とその直後の隣接シティブロック距離Ｃ２との差分値と、直後の隣接シティブロック距離Ｍ２との和を、直前の隣接シティブロック距離Ｍ０と直後の隣接シティブロック距離Ｍ２との和で除算した値が、サブピクセル成分Ｓとなる（Ｓは正の値）。
【数２】
Ｓ＝（Ｍ２＋（Ｃ１−Ｃ２））／（Ｍ０＋Ｍ２）
【００３３】
これに対して、直前の隣接シティブロック距離Ｃ０が直後の隣接シティブロック距離Ｃ２よりも小さい場合（Ｃ０＜Ｃ２）、直前の隣接シティブロック距離Ｃ０の方が相関が高いとして、直前の隣接シティブロック距離Ｃ０（第２の値）が選択される。そして、下式に従いサブピクセル成分Ｓが算出される（ステップ５）。すなわち、最小シティブロック距離Ｃ１とその直前の隣接シティブロック距離Ｃ０との差分値と、直前の隣接シティブロック距離Ｍ０との和を、直前の隣接シティブロック距離Ｍ０と直後の隣接シティブロック距離Ｍ２との和で除算した値が、サブピクセル成分Ｓとなる（Ｓは負の値）。
【数３】
Ｓ＝−（Ｍ０＋（Ｃ１−Ｃ０）／（Ｍ０＋Ｍ２）
【００３４】
サブピクセル成分Ｓは、ピクセルレベルの視差Ｄ（ｉｓに相当）とサブピクセルレベルの視差Ｄ（後述するｉｓｕｂに相当）とのオフセット値であり、正の値または負の値のいずれかをとる。サブピクセル成分Ｓが正の場合、サブピクセルレベルの視差Ｄは、ピクセルレベルの視差Ｄよりも正方向に存在する。また、サブピクセル成分Ｓが負の場合、サブピクセルレベルの視差Ｄは、ピクセルレベルの視差Ｄよりも負方向に存在する。
【００３５】
最後に、ステップ６において、ステップ４またはステップ５で算出されたサブピクセル成分Ｓを用いて、ステレオマッチング部４で算出されたピクセルレベルの視差Ｄが補間される。具体的には、ピクセルレベルの視差Ｄにサブピクセル成分Ｓを加算することにより、１画素以下の分解能を有するサブピクセルレベルの視差Ｄが算出される。算出されたサブピクセルレベルの視差Ｄは距離データメモリ８に格納される。そして、ステレオマッチング部４から視差Ｄが出力される度に、サブピクセル処理部６は上述したサブピクセル処理を行う。これにより、距離データを構成するすべての視差Ｄが補間され、１画素以下の分解能を有する距離データが距離データメモリ８に格納される。
【００３６】
つぎに、サブピクセル成分Ｓが数式２または数式３より算出される理由について説明する。従来技術として挙げた特開２０００−２８３７５３号公報にも言及されているように、１画素のサイズが無限に小さいと仮定した場合、画像平面（ｉ，ｊ）におけるシティブロック距離の分布は、図６に示すように連続的になる。これを、視差検出方向であるｉ方向の一次元的な分布として捉えた場合には、例えば、図７の破線で示すような連続的な分布となる（Ｃ０≧Ｃ２のケース）。同図において、横軸は、基準画素ブロックＡに対する比較画素ブロックＢの相対的なズレ量ｉであり、縦軸はシティブロック距離Ｃである。また、破線上に丸印で示した点群（点ｐ０〜ｐ２を含む）は、ステレオマッチング部４において算出された離散的なシティブロック距離Ｃをプロットしたものである（すなわち、第１の分布）。連続分布が示すように、シティブロック距離Ｃの分布は、対応点ｐｓｕｂ（シティブロック距離の連続的な分布において最小値をとる点）周りに左右対称になる。ただし、その対称性が理論的に保証されるのは極狭い範囲であり、対応点ｐｓｕｂの±１画素以内である。±１画素以上の点では、基準画像の画素成分が比較画像の画素成分にまったく含まれないため、対称性が維持されない。画素のサイズ間隔で離散的にプロットした点ｐ０〜ｐ２は、シティブロック距離Ｃの連続分布を示す破線上に存在し、この部分においては対称性が維持される。
【００３７】
シティブロック距離Ｃの離散的な分布（第１の分布）において、最小値Ｃ１をとる点ｐ１（ｉｓ，Ｃ１）を「仮の対応点」とする。「仮の対応点」と呼ぶ理由は、破線で図示した連続的なシティブロック距離Ｃの最小値をとる対応点Ｐｓｕｂ（真の対応点）は、仮の対応点ｐ１近傍にあるものの、仮の対応点Ｐ１とは一致しないからである。対応点ｐｓｕｂの座標（ｉ，Ｃ）を（ｉｓｕｂ，０）とすると、１画素以下のサブピクセル成分Ｓは、ｉｓとｉｓｕｂとの差より算出できる。ここで、対応点ｐｓｕｂのＣ座標値を０とする理由は、対応点ｐｓｕｂは基準画素ブロックＡの輝度特性と完全に一致する比較画素ブロックＢのズレ量（理想値）を示すからである。そして、画素ブロックＡ，Ｂの輝度特性が完全に一致する場合、そのシティブロック距離Ｃは原理的に０となるからである。
【００３８】
一方、本出願人によって既に提案された特願２００１−２９６２４５号には、画素ブロック対のピクセルレベルの視差を、直線近似によって算出されたサブピクセル成分によって補間する、画像処理装置が提案されている。この画像処理装置によれば、シティブロック距離Ｃの連続的な分布が対応点ｐｓｕｂ周りで対称になることを利用して、仮の対応点ｐ１と、シティブロック距離Ｃの小さい方の隣接点ｐ０（またはｐ２）と、対応点ｐｓｕｂとを用いて、対応点ｐｓｕｂを通る縦軸に対して線対称な直線Ｌ１（傾きｍ）と、直線Ｌ２とを設定する。そして、これらの直線Ｌ１，Ｌ２の交点より、サブピクセル成分Ｓが算出される。
【００３９】
このように、上述した手法のそれぞれでは、シティブロック距離Ｃの連続的な分布が対応点ｐｓｕｂ周りで対称になることを前提としてサブピクセル成分Ｓを算出している。しかしながら、シティブロック距離Ｃの連続的な分布が完全に対称とならないような場合には、算出されるサブピクセルレベルの視差に誤差が含まれてしまい、その値が精度良く算出されない可能性がある。そこで、本手法では、自画像マッチング部５において、自画像（本実施形態は、基準画素ブロックＡが設定される基準画像）を処理対象として自画像マッチングを行うことにより、この連続的な分布を推定している。連続的な分布を推定するにあたり、自画像マッチングを用いる理由としては、基準画像と比較画像とが、基本的に同一景色を撮像している点にある。すなわち、仮に一方の画像のみを用いてマッチングを行った場合であっても、ステレオマッチングにより得られる真の対応点ｐｓｕｂ周りの連続的な分布と、自画像マッチングを行うことにより得られる分布とは、基本的に一致すると考えられるからである。
【００４０】
図８は、自画像マッチングのシティブロック距離Ｍの離散的な分布（第２の分布）説明図である。同図において、横軸は、基準画素ブロックＡに対する評価画素ブロックＡ’の相対的なズレ量ｉであり、縦軸はシティブロック距離Ｍである。また、丸印で示した点群（点Ｐ０〜Ｐ２を含む）は、自画像マッチング部５において算出された離散的なシティブロック距離Ｍをプロットしたものである。ここで、評価対象となる基準画素ブロックＡと位置的に対応したズレ量ｉｄに関するシティブロック距離Ｍ１がＰ１で示されており、その直前に隣接したシティブロック距離Ｍ０がＰ０、その直後に隣接したシティブロック距離Ｍ２がＰ２として示されている。このとき、ズレ量ｉｄに関するシティブロック距離Ｍ１の値が０となる理由は、基準画素ブロックＡと輝度特性が完全に一致する比較対象ブロックＡ’を用いてシティブロック距離Ｍが算出されるからである。
【００４１】
したがって、図８に示す点Ｐ０〜Ｐ２の離散的な分布（第２の分布）の傾向は、図７に示した第１の分布上にも存在すると考えることができる。そこで、まず、このＰ０〜Ｐ２に基づき、第２の分布を連続的な分布として推定する。この推定方法は、二次、三次といった高次の近似手法を用いることも考えられるが、本実施形態では、比較的に演算量の少ない方法として、線形近似を用いる。同図に示す直線Ｌ１は、第２の分布における点Ｐ１と点Ｐ０との間の連続的な分布であり、点Ｐ０と点Ｐ１とを線形的に近似することにより、傾き−Ｍ０（正確には、Ｍ１−Ｍ０）の直線として特定される。また、直線Ｌ２は、第２の分布における点Ｐ１と点Ｐ２との間の連続的な分布であり、点Ｐ２と点Ｐ１とを線形的に近似することにより、傾きＭ２（正確には、Ｍ２−Ｍ１）の直線として特定される。この結果、離散的な第２の分布が、直線的な分布として推定される。
【００４２】
この連続的な分布を用いて、サブピクセル成分Ｓを算出する場合、まず、仮の対応点ｐ１の前後の隣接点ｐ０，ｐ１のシティブロック距離Ｃ０，Ｃ２の大小関係（すなわち、相関関係）より、対応点ｐｓｕｂが仮の対応点ｐ１の左右どちらに存在するのかを判断する。図７に示すように、直前の隣接点ｐ０のＣ座標値が直後の隣接点ｐ２のＣ座標値以上の場合、換言すれば、直前のシティブロック距離Ｃ０が直後のシティブロック距離Ｃ２以上の場合には、シティブロック距離Ｃの連続的な分布（第１の分布）は基本的に対称であるとして、対応点ｐｓｕｂは、ｉ座標ベースで座標値ｉｓ〜（ｉｓ＋１）の範囲内にあると判断できる。
【００４３】
そこで、例えば図７に示すような第１の分布上において、推定された連続的な分布が、最小シティブロック距離Ｃ１（第１の値）と直後に隣接するシティブロック距離Ｃ２（第２の値）とを含むように、第２の分布を設定することにより、サブピクセル成分Ｓが算出できる。具体的には、図９に示すように、２本の直線Ｌ１，Ｌ２を用い、その交点からサブピクセル成分Ｓが算出される。このケース（Ｃ０≧Ｃ２）において、左側の直線Ｌ１は、仮の対応点ｐ１（ｉｓ，Ｃ１）を通り、右側の直線Ｌ２は、直後の隣接点ｐ２（ｉｓ＋１，Ｃ２）とを通る。サブピクセル成分Ｓは、ｉ軸方向における、仮の対応点ｐ１と、これらの直線Ｌ１，Ｌ２の交点との間の距離（Ｓ＝ｉｓｕｂ−ｉｓ）として求めることができ、その値は正となる。
【００４４】
直線Ｌ１をＣ＝−Ｍ０×ｉ＋ａ（基本式）で表すと、直線Ｌ１の条件より下式が得られる。ここで、式（１）は仮の対応点ｐ１（ｉｓ，Ｃ１）を通るという条件より得られ、式（２）は式（１）から得られた値ａを基本式に代入することにより得られる。
【数４】
Ｃ１＝−Ｍ０×ｉｓ＋ａ ・・・・・・（１）
Ｃ＝−Ｍ０×ｉ＋Ｃ１＋Ｍ０・ｉｓ ・・・・・・（２）
【００４５】
また、直線Ｌ２をＣ＝Ｍ２×ｉ＋ｂ（基本式）で表すと、直線Ｌ２の条件より下式が得られる。ここで、式（３）は直後の隣接点ｐ２（Ｃ２，ｉｓ＋１）を通という条件より得られ、数式（４）は数式（３）から得られた値ｂを基本式に代入することにより得られる。
【数５】
Ｃ２＝Ｍ２×（ｉｓ＋１）＋ｂ ・・・・・・（３）
Ｃ＝Ｍ２×ｉ＋Ｃ２−Ｍ１（ｉｓ＋１） ・・・・・・（４）
【００４６】
そして、式（２），（４）より、直線Ｌ１と直線Ｌ２との交点のｉ座標値をｉｓｕｂとして算出して、上述したＳ＝ｉｓｕｂ−ｉｓを用いて、サブピクセル成分Ｓについて解くと、上述した数式２が導出されることとなる。
【００４７】
一方、図１０に示すように、直前の隣接点ｐ０のシティブロック距離Ｃ０が直後の隣接点ｐ２のシティブロック距離Ｃ２よりも小さい場合（Ｃ０＜Ｃ２）、シティブロック距離Ｃの連続的な分布は基本的に対称であるとして、対応点ｐｓｕｂは、ｉ座標ベースで座標値ｉｓ−１〜ｉｓの範囲内にあると判断できる。そこで、図１１に示すように、直線の隣接点ｐ０（ｉｓ−１）を通る直線Ｌ１（Ｃ＝−Ｍ０×ｉ＋ａ（基本式））と、仮の対応点ｐ１を通る直線Ｌ２（Ｃ＝Ｍ２×ｉ＋ｂ（基本式））との交点からサブピクセル成分Ｓが算出される。そして、上述したＣ０≧Ｃ２の場合と同様に、Ｓ＝ｉｓｕｂ−ｉｓを用いて、サブピクセル成分Ｓについて解くと、上述した数式３が導出されることとなる。図１１から分かるように、このケースにおけるサブピクセル成分Ｓは負の値となる。
【００４８】
このように本実施形態によれば、ピクセルレベルの視差Ｄ（ズレ量ｉｓ）を補間することにより、１画素以下の分解能を有するサブピクセルレベルの視差Ｄ（ズレ量ｉｓｕｂ）を算出できる。そのため、システム的に、あたかも１画素以下で視差検出を行ったかのように取り扱うことができる。その結果、ピクセルレベルの視差Ｄをそのまま用いた場合に生じる、遠距離での測距分解能の低下を抑制でき、近距離から遠距離までの広いレンジで有効な測距分解能を確保することが可能となる。そして、サブピクセルレベルの視差群で構成された距離データを用いて各種の監視制御を行えば、信頼性の高い監視を行うことができる。
【００４９】
また、本実施形態によれば、自画像マッチングを行うことにより、シティブロック距離Ｍの離散的な分布（第２の分布）が求められる。そして、ステレオマッチングにより得られる真の対応点ｐｓｕｂ周りの連続的な分布と、この第２の分布とは、基本的に一致するという考えのもと、第１の分布におけるシティブロック距離Ｃ１，Ｃ０（またはＣ２）を用いて、サブピクセル成分Ｓが算出される。これにより、シティブロック距離Ｃの分布が、真の対応点周りに対象とならないような画像であっても、その分布を有効に推定することができる。この結果、従来技術と比較して、精度の高いサブピクセル成分Ｓを算出することができる。
【００５０】
なお、上述した実施形態は、ステレオカメラ１を用いたステレオ画像処理について説明した。しかしながら、本発明はこれに限定されるものではく、例えば、１台のカメラで画像内対象物のオプティカルフロー検出を行うといった、２枚以上の画像の対応付けにも適用可能である。この場合、１台のカメラを用いて所定の間隔で繰返し撮像し、時系列的な複数の撮像画像を得る。そして、ある撮像タイミングで得られた一方の撮像画像（基準画像）と、それとは異なる撮像タイミングで得られた他方の撮像画像（比較画像）とを用いて、上述した実施形態と同様にサブピクセル処理を行う。これにより得られたサブピクセルレベルのズレ量ｉｓｕｂは、基準画素ブロックＡに写し出された対象物に関する、画像平面上の移動量や速度に相当する。
【００５１】
また、シティブロック距離Ｃ（またはＭ）の基本形は上述したとおりであるが、具体的な算出式には数々のバリエーションが存在する。例えば、以下に示す数式６に従いシティブロック距離Ｃを算出することもできる。すなわち、数式６では、シティブロック距離Ｃは、位置的に対応した二つの輝度値ａｉｊ，ｂｉｊの差の二乗の画素ブロック全体における総和として定義される。
【数６】
Ｃ＝Σ（ａｉｊ−ｂｉｊ）２
【００５２】
また、上述した通常のステレオマッチングに代えて、平均値差分マッチングを行ってもよい。平均値差分マッチングは、撮像画像の高周波成分をマッチング対象とし、ハイパスフィルタと等価な作用を有しているため、低周波ノイズを有効に除去する。また、平均値差分マッチングでは、ステレオ画像における輝度の僅かなバランスの狂いに起因した影響、或いは、カメラやアナログ回路部品の経年変化によるゲイン変化に起因した影響等に対し、ミスマッチングを生じることがなく正確な距離情報を得る。そのため、通常のステレオマッチングでは前段の処理として必須となる輝度補正等を省略することができる。その結果、画像入力部２を構成する回路の部品点数を低減し、画像入力部２の回路構成を簡素化できるため、コスト低減や信頼性向上を図ることができる。
【００５３】
平均値差分マッチングでは、下式に従いシティブロック距離Ｃを算出する。ここで、Ａａｖｅは基準画素ブロックＡの輝度平均値であり、Ｂａｖｅは比較画素ブロックＢの輝度平均値である。すなわち、平均値差分マッチングでは、基準画素ブロックＡの輝度値ａｉｊからその輝度平均値Ａａｖｅを差分した値と、比較画素ブロックＢの輝度値ｂｉｊからその輝度平均値Ｂａｖｅを差分した値との差（絶対値）の画素ブロック全体における総和として定義される。なお、平均値差分マッチング処理の詳細については、本願出願人が既に提案した特開平１１−２３４７０１号公報に詳述されているので、必要ならば参照されたい。
【数７】
Ｃ＝Σ｜（ａｉｊ−Ａａｖｅ）−（ｂｉｊ−Ｂａｖｅ）｜
Ａａｖｅ＝Σａｉｊ／（Ｉ×Ｊ）
Ｂａｖｅ＝Σｂｉｊ／（Ｉ×Ｊ）
【００５４】
また、画素ブロックＡ，Ｂの中心部の輝度値（例えば、ａ２２，ａ２３，ａ３２，ａ３３、ｂｉｊについても同様）を重視する場合には、下式のように、輝度差の絶対値に重み係数ｗｉｊを乗じてシティブロック距離Ｃを算出してもよい（重み付けマッチング）。この場合、重み係数ｗｉｊは、画素ブロックＡ，Ｂの内側に向うほど大きな値に設定する。重み付けマッチング処理の詳細については、本願出願人が既に提案した特願２００１−０６３２９０号において開示されている。
【数８】
Ｃ＝Σｗｉｊ｜ａｉｊ−ｂｉｊ｜
【００５５】
【発明の効果】
本発明では、相関値の離散的な分布（第１の分布）において算出された、最高相関値をとるピクセルレベルのズレ量を、サブピクセル成分で補間することにより、サブピクセルレベルのズレ量を算出する。このサブピクセル成分は、自画像内での輝度特性の相関を示す相関値の離散的な分布に基づいて算出される。これにより、互いに相関を有する画素ブロック対のズレ量をサブピクセルレベルで精度よく算出することができる。
【図面の簡単な説明】
【図１】本実施形態にかかる画像処理装置の基本構成を示すブロック図
【図２】基準画像に設定される画素ブロックの説明図
【図３】ステレオマッチングの説明図
【図４】自画像マッチングの説明図
【図５】本実施形態にかかるサブピクセル処理を示すフローチャート
【図６】画像平面におけるシティブロック距離の分布説明図
【図７】Ｃ０≧Ｃ２における極小点周りのシティブロック距離の分布説明図
【図８】自画像マッチングのシティブロック距離の離散的な分布説明図
【図９】Ｃ０≧Ｃ２におけるサブピクセル成分の算出の説明図
【図１０】Ｃ０＜Ｃ２における極小点周りのシティブロック距離の分布説明図
【図１１】Ｃ０＜Ｃ２におけるサブピクセル成分の算出の説明図
【図１２】従来のサブピクセル成分の算出の説明図
【符号の説明】
１ ステレオカメラ
１ａ メインカメラ
１ｂ サブカメラ
２ 画像入力部
３ ステレオ画像処理部
４ ステレオマッチング部
５ 自画像マッチング部
６ サブピクセル処理部
７ 画像データメモリ
８ 距離データメモリ
９ 認識部
Claims (10)
- 一方の撮像画像における画素ブロックと、当該画素ブロックと輝度的に対応する他方の撮像画像における画素ブロックとの画素ブロック間のピクセルレベルのズレ量を、サブピクセル成分を用いて補完して、サブピクセルレベルのズレ量を算出する画像処理装置において、
一方の撮像画像における画素ブロックを評価対象として、他方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価し、前記評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布を第１の分布として求めるとともに、前記第１の分布において相関が最も高くなる相関値を最高相関値としてピクセルレベルのズレ量を算出するステレオマッチング部と、
前記一方の画像における画素ブロックを評価対象として、当該一方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価し、前記評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布を第２の分布として求める自画像マッチング部と、
前記ステレオマッチング部によって求められた第１の分布において、前記ピクセルレベルのズレ量における最高相関値を第１の値として設定し、かつ、前記最高相関値の直前に隣接した相関値および前記最高相関値の直後に隣接した相関値の内、相関が高い方の相関値を第２の値として選択し、前記自画像マッチング部によって求められた第２の分布を連続的な分布として推定するとともに、前記第１の分布上において、前記推定された連続的な分布が、前記第１の値と前記第２の値とを含むように、前記第２の分布を設定することにより、サブピクセル成分を算出するサブピクセル処理部と
を有することを特徴とする画像処理装置。 - 前記サブピクセル処理部は、前記第２の分布において、前記評価対象となる画素ブロックと位置的に対応したズレ量に関する相関値を第３の値、当該第３の値の直前に隣接した相関値を第４の値、前記第３の値の直後に隣接した相関値を第５の値として選択し、前記第３の値と前記第４の値との間の連続的な分布を推定し、かつ、前記第３の値と前記第５の値との間の連続的な分布を推定することを特徴とする請求項１に記載された画像処理装置。
- 前記サブピクセル処理部は、前記第１の分布において、前記第２の値が前記最高相関値の直後に隣接した相関値であると判断した場合には、前記第１の値を通る、前記第３の値と前記第４の値との間の連続的な分布と、前記第２の値を通る、前記第３の値と前記第５の値との間の連続的な分布との交点に基づき、サブピクセル成分を算出し、
前記第１の分布において、前記第２の値が前記最高相関値の直前に隣接した相関値であると判断した場合には、前記第２の値を通る、前記第３の値と前記第４の値との間の連続的な分布と、前記第１の値を通る、前記第３の値と前記第５の値との間の連続的な分布との交点に基づき、サブピクセル成分を算出することを特徴とする請求項２に記載された画像処理装置。 - 前記サブピクセル算出部は、前記第３の値と前記第４の値とを線形的に近似するとともに、前記第３の値と前記第５の値とを線形的に近似することにより、前記連続的な分布を算出することを特徴とする請求項２または３に記載された画像処理装置。
- 前記サブピクセル処理部は、前記第２の値が前記最高相関値の直後に隣接した相関値であると判断した場合には、前記第１の値と前記第２の値との差分値と、前記第５の値との和を、前記第４の値と前記第５の値との和で除算することにより、前記サブピクセル成分を算出し、
前記第２の値が前記最高相関値の直前に隣接した相関値であると判断した場合には、前記第１の値と前記第２の値との差分値と、前記第４の値との和を、前記第４の値と前記第５の値との和で除算することにより、前記サブピクセル成分を算出することを特徴とする請求項２から４のいずれかに記載された画像処理装置。 - 一方の撮像画像における画素ブロックと、当該画素ブロックと輝度的に対応する他方の撮像画像における画素ブロックとの画素ブロック間のピクセルレベルのズレ量を、サブピクセル成分を用いて補完して、サブピクセルレベルのズレ量を算出する画像処理装置において、
一方の撮像画像における画素ブロックを評価対象として、他方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価し、前記評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布を第１の分布として求めるとともに、前記第１の分布において相関が最も高くなる相関値を最高相関値としてピクセルレベルのズレ量を算出するステレオマッチング部と、
前記一方の画像における画素ブロックを評価対象として、当該一方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価し、前記評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布を第２の分布として求める自画像マッチング部と、
前記ステレオマッチング部によって求められた第１の分布において、前記ピクセルレベルのズレ量における最高相関値を第１の値として設定し、かつ、前記最高相関値の直前に隣接した相関値および前記最高相関値の直後に隣接した相関値の内、相関が高い方の相関値を第２の値として選択し、前記自画像マッチング部によって求められた第２の分布を線形的な分布として推定するとともに、前記第１の分布上において、前記推定された線形的な分布が、前記第１の値と前記第２の値とを含むように、前記第２の分布を設定することにより、サブピクセル成分を算出するサブピクセル処理部と
を有することを特徴とする画像処理装置。 - 一方の撮像画像における画素ブロックを評価対象として、他方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価し、前記評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布を第１の分布として求め、前記第１の分布において相関が最も高くなる相関値を最高相関値としてピクセルレベルのズレ量を算出するとともに、当該算出されたピクセルレベルのズレ量をサブピクセル成分を用いて補完して、サブピクセルレベルのズレ量を算出する画像処理方法において、
前記一方の画像における画素ブロックを評価対象として、当該一方の撮像画像における画素ブロックとの輝度特性の相関を相関値によって評価し、前記評価対象となる画素ブロックからの画素単位のズレ量に対する相関値の離散的な分布を第２の分布として求める第１のステップと、
前記第１の分布において、前記ピクセルレベルのズレ量における最高相関値を第１の値として設定し、かつ、前記最高相関値の直前に隣接した相関値および前記最高相関値の直後に隣接した相関値の内、相関が高い方の相関値を第２の値として選択する第２のステップと、
前記求められた第２の分布を連続的な分布として推定するとともに、前記第１の分布上において、前記推定された連続的な分布が、前記第１の値と前記第２の値とを含むように、前記第２の分布を設定することにより、サブピクセル成分を算出する第３のステップと
を有することを特徴とする画像処理方法。 - 前記第３のステップは、前記第２の分布において、前記評価対象となる画素ブロックと位置的に対応したズレ量に関する相関値を第３の値、当該第３の値の直前に隣接した相関値を第４の値、前記第３の値の直後に隣接した相関値を第５の値として選択し、前記第３の値と前記第４の値との間の連続的な分布を推定し、かつ、前記第３の値と前記第５の値との間の連続的な分布を推定することを特徴とする請求項７に記載された画像処理方法。
- 前記第３のステップは、前記第２のステップにおいて、前記第２の値として前記最高相関値の直後に隣接した相関値が設定された場合には、前記第１の値を通る、前記第３の値と前記第４の値との間の連続的な分布と、前記第２の値を通る、前記第３の値と前記第５の値との間の連続的な分布との交点に基づき、サブピクセル成分を算出し、
前記第２のステップにおいて、前記第２の値として前記最高相関値の直前に隣接した相関値が設定された場合には、前記第２の値を通る、前記第３の値と前記第４の値との間の連続的な分布と、前記第１の値を通る、前記第３の値と前記第５の値との間の連続的な分布との交点に基づき、サブピクセル成分を算出することを特徴とする請求項８に記載された画像処理方法。 - 前記第３のステップは、前記第２のステップにおいて、前記第２の値として前記最高相関値の直後に隣接した相関値が設定された場合には、前記第１の値と前記第２の値との差分値と、前記第５の値との和を、前記第４の値と前記第５の値との和で除算することにより、前記サブピクセル成分を算出し、
前記第２のステップにおいて、前記第２の値が前記最高相関値の直前に隣接した相関値が設定された場合には、前記第１の値と前記第２の値との差分値と、前記第４の値との和を、前記第４の値と前記第５の値との和で除算することにより、前記サブピクセル成分を算出することを特徴とする請求項８または９に記載された画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003004272A JP2004219142A (ja) | 2003-01-10 | 2003-01-10 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003004272A JP2004219142A (ja) | 2003-01-10 | 2003-01-10 | 画像処理装置および画像処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004219142A true JP2004219142A (ja) | 2004-08-05 |
Family
ID=32895294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003004272A Pending JP2004219142A (ja) | 2003-01-10 | 2003-01-10 | 画像処理装置および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004219142A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006119843A (ja) * | 2004-10-20 | 2006-05-11 | Olympus Corp | 画像生成方法およびその装置 |
-
2003
- 2003-01-10 JP JP2003004272A patent/JP2004219142A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006119843A (ja) * | 2004-10-20 | 2006-05-11 | Olympus Corp | 画像生成方法およびその装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6244407B2 (ja) | 深度測定の品質の向上 | |
| EP2858008B1 (en) | Target detecting method and system | |
| CN105335955B (zh) | 对象检测方法和对象检测装置 | |
| CN110567469A (zh) | 视觉定位方法、装置、电子设备及系统 | |
| JP3054681B2 (ja) | 画像処理方法 | |
| CN109155066B (zh) | 用于机动车辆的环境区域的两个图像之间的运动估计的方法，计算装置，驾驶员辅助系统以及机动车辆 | |
| JP2003083742A (ja) | 監視システムの距離補正装置および距離補正方法 | |
| CN104685513A (zh) | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 | |
| JP2008236642A (ja) | 物体追跡装置 | |
| JPWO2013133129A1 (ja) | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 | |
| JP2008064628A (ja) | 物体検出装置および物体検出方法 | |
| JP4032843B2 (ja) | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 | |
| CA3206206A1 (en) | Device and method for correspondence analysis in images | |
| JP2000283753A (ja) | ステレオ画像による測距装置 | |
| JP4394487B2 (ja) | ステレオ画像処理装置 | |
| JP3702260B2 (ja) | 目標角速度計測装置および目標角速度計測方法 | |
| JP2002267441A (ja) | ステレオマッチング方法および監視装置 | |
| CN104471436B (zh) | 用于计算对象的成像比例的变化的方法和设备 | |
| US9538161B2 (en) | System and method for stereoscopic photography | |
| JP2009129318A (ja) | 画像処理装置 | |
| JPH0814861A (ja) | ３次元形状の計測方法及び装置 | |
| JP4150218B2 (ja) | 地形認識装置および地形認識方法 | |
| JP4605582B2 (ja) | ステレオ画像認識装置及びその方法 | |
| JP2004219142A (ja) | 画像処理装置および画像処理方法 | |
| JP5903901B2 (ja) | 車両位置算出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051007 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071114 |