JP2023145262A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】異なる視点から撮影された複数の画像を用いた視差算出の誤差を低減した画像処理装置、方法及びプログラムを提供する。【解決手段】第１の画像と第２の画像とから視差を算出する画像処理装置であって、第１の画像上に設定された第１の基準画像と第２の画像上に設定された第１の参照画像との相互相関値を算出する相互相関算出部と、第１の画像又は第２の画像のいずれか１つに対して設定した第２の基準画像と第２の参照画像との自己相関値を算出する自己相関算出部と、相互相関算出部によって算出した相互相関値及び自己相関算出部によって算出した自己相関値を用いて第１の画像と第２の画像の視差量を算出する視差算出部と、を有する。視差算出部は、自己相関値を用いて相互相関値を補正する。【選択図】図３

Description

本発明は、複数の画像から視差を算出する画像処理装置に関する。

複数の画像から、３次元情報を算出する手法がある。例えば、３次元情報を算出する手法として、サブピクセル推定手法がある。この手法は最も相違度の低い相互相関とその近傍の相互相関値に対して、相互相関値の計算方法に応じた所定の関数をフィッティングすることで、サブピクセル視差を算出する方法である。

特許文献１では相互相関でサブピクセル視差を推定した後に自己相関を利用して撮影画像の急激な画素値変化による誤差の補正を行うことが開示されている。

特開２０２０－１１２８８１号公報

しかし、特許文献１では、特に端部テクスチャの非対称性に起因する誤差を正しく補正できない場合がある。

本件は、上記の端部テクスチャの非対称性に起因する誤差などの、異なる視点から撮影された複数の画像を用いた視差算出の誤差を低減することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、第１の画像と第２の画像とから視差を算出する画像処理装置であって、前記第１の画像上に設定された第１の基準画像と前記第２の画像上に設定された第１の参照画像との相互相関値を算出する相互相関算出手段と、前記第１の画像または前記第２の画像のいずれか１つに対して設定した第２の基準画像と第２の参照画像との自己相関値を算出する自己相関算出手段と、前記相互相関算出手段によって算出された前記相互相関値および前記自己相関算出手段によって算出された前記自己相関値を用いて前記第１の画像と前記第２の画像の視差量を算出する視差算出手段と、を有し、前記視差算出手段は、前記自己相関値を用いて前記相互相関値を補正する。

本発明によれば、異なる視点から撮影された複数の画像を用いた視差算出の誤差を低減することができる。

第１の実施形態の画像処理装置を備えた撮像装置を説明する図である。 第１の実施形態の撮像素子が受光する光束を説明する図である。 第１の実施形態の画像処理装置を説明する図である。 第１の実施形態の画像処理装置を説明する図である。 基準画像と自己相関および相互相関の関係を説明する図である。 第１の実施形態の相互相関補正部を説明する図である。 第２の実施形態の画像処理装置を説明する図である。 第３の実施形態の画像処理装置を説明する図である。 第４の実施形態の撮像装置を説明する図である。

本発明について、実施形態、図面を用いて詳細に説明する。本発明は各実施例に記載された内容に限定されない。また、各実施形態を適宜組み合わせても良い。

＜第１の実施形態＞
（撮像装置の構成）
図１は、本発明の実施形態に係る撮像装置の構成を概略的に示す図である。

図１（Ａ）において、撮像装置１００は、画像処理装置１１０と撮像部１２０と距離算出部１３０を備える。

撮像部１２０は、撮像素子１２１、光学系１２２を備える。

光学系１２２は、撮像装置１００の撮影レンズであり、被写体の像を撮像素子１２１上に形成する機能を有する。光学系１２２は複数のレンズ群（不図示）および絞り（不図示）等から構成され、撮像素子１２１から所定距離離れた位置に射出瞳１２３を有する。なお、本明細書中では、ｚ軸を、光学系１２２の光軸１４０と平行とする。さらに、ｘ軸とｙ軸は互いに垂直であり、且つ光軸と垂直な軸とする。

撮像素子１２１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成される。光学系１２２を介して撮像素子１２１上に結像した被写体像は、撮像素子１２１により光電変換され、被写体像に基づく画像信号を生成する。

図１（Ｂ）は、撮像素子１２１のｘｙ断面図である。撮像素子１２１は、２行×２列の画素群１５０を複数配列することで構成される。画素群１５０は、対角方向に緑画素１５０Ｇ１及び１５０Ｇ２、他の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置され、構成されている。

図１（Ｃ）は、画素群１５０のＩ－Ｉ’断面を模式的に示した図である。各画素は受光層１８２と導光層１８１から構成される。受光層１８２には、受光した光を光電変換するための２つの光電変換部（第１の光電変換部１６１、第２の光電変換部１６２）が配置される。導光層１８１には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１８３、所定の波長帯域の光を通過させるカラーフィルタ（不図示）、画像読み出し用及び画素駆動用の配線（不図示）などが配置される。また、各画素には不図示の配線が設けられており、各画素は配線を介して画像信号（出力信号）を画像処理装置１１０に送ることができる。図１（Ｂ）及び（Ｃ）は、１つの瞳分割方向（ｘ軸方向）に２分割された光電変換部の例であるが、仕様に応じて、２つの瞳分割方向（ｘ軸方向およびｙ軸方向）に分割された光電変換部を備える撮像素子が用いられる。瞳分割方向及び分割数については任意である。

図２は、光軸１４０と撮像素子１２１の交点（中心像高）から見た、光学系１２２の射出瞳１２３を示す。光電変換部１６１及び光電変換部１６２には、それぞれ射出瞳１２３の異なる領域である第１の瞳領域２１０を通過した第１の光束及び第２の瞳領域２２０を通過した第２の光束が入射する。各画素における光電変換部１６１及び光電変換部１６２は入射した光束を光電変換することで、それぞれＡ画像（第１の画像）及びＢ画像（第２の画像）に対応する画像信号を生成することができる。生成された画像信号は画像処理装置１１０に伝送される。

図２には第１の瞳領域２１０の重心位置（第１の重心位置２１１）、及び第２の瞳領域２２０の重心位置（第２の重心位置２２１）が示されている。本実施形態においては、第１の重心位置２１１は、射出瞳１２３の中心から第１の軸２００に沿って偏心（移動）している。一方、第２の重心位置２２１は、第１の軸２００に沿って、第１の重心位置２１１とは逆の方向に偏心（移動）している。第１の重心位置２１１と第２の重心位置２２１とを結ぶ方向を瞳分割方向と呼ぶ。また、第１の重心位置２１１と第２の重心位置２２１との重心間距離が基線長２３０となる。

次に図１（Ａ）の画像処理装置１１０について図３を用いて説明する。図３は、本発明の実施形態に係る画像処理装置１１０の構成を概略的に示す図である。図３において、画像処理装置１１０は、相互相関算出部１１１、自己相関算出部１１２、相互相関補正部１１３及び視差算出部１１４を備える。

画像処理装置１１０は、論理回路を用いて構成することができる。また画像処理装置１１０と距離算出部１３０の別の形態として、中央演算処理装置（ＣＰＵ）を含む制御部と演算処理プログラムを格納するメモリとから構成してもよい。

画像処理装置１１０は受け取った画像信号に基づいて、Ａ画像及びＢ画像を生成する。画像処理装置１１０は、Ａ画像及びＢ画像を用いて視差算出処理により視差値を算出し、算出した視差値を本体メモリ（不図示）に蓄える。また、画像処理装置１１０は、Ａ画像とＢ画像を加算した画像を画像情報として本体メモリに記憶し、以降の処理で利用することができる。なお、画像処理装置１１０は、Ａ画像及びＢ画像自体を本体メモリに記憶させることもできる。

図１（Ａ）の説明に戻る。

距離算出部１３０は、論理回路を用いて構成することができる。また画像処理装置１１０と距離算出部１３０の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

距離算出部１３０は、受け取った視差情報に基づいて、被写体までの距離を算出する。Ａ画像とＢ画像は、デフォーカスによって瞳分割方向と同じ方向（本実施形態ではｘ軸方向）に位置がずれる。この画像間の相対的な位置ずれ量、すなわちＡ画像とＢ画像の視差量は、デフォーカス量に応じた量となる。よって、基線長を用いた幾何学的な関係を用いることで視差量からデフォーカス量への換算を行うことができる。また、デフォーカス量から被写体距離への変換は、光学系１２２の結像関係を用いて行うことができる。また、視差量に所定の変換係数を乗算することで、視差量をデフォーカス量、または被写体距離に変換してもよい。このような方法により、距離算出部１３０は、注目画素における距離情報を生成することができる。

（画像処理装置の処理の説明）
ここで本実施形態における画像処理装置１１０の処理について説明する。図３（Ｂ）は、本実施形態の画像処理装置１１０の動作の一例を示すフローチャートである。この画像処理装置１１０の処理は、不揮発性メモリに記録されたソフトウェアを作業用メモリに展開して制御部（ＣＰＵやＧＰＵ等）が実行することで実現する。またこの処理は、撮像部１２０によって画像信号が生成されたことをトリガに開始される。

ステップＳ３１０では、制御部は、撮像部１２０から取得した画像信号からＡ画像とＢ画像を含む画像組を生成する。生成された画像組は本体メモリ（不図示）に記憶される。

ステップＳ３１１では、相互相関算出部１１１は、相互相関を算出する。例えば、相互相関算出部１１１は、Ａ画像上において、距離算出を行うための画素（注目画素）を含む部分領域の画像を基準画像として設定し、Ｂ画像に参照画像を設定する。そして、相互相関算出部１１１は、参照画像の位置を所定の方向に移動させながら基準画像と参照画像との相互相関値を算出する。本実施形態における、相互相関算出部１１１による相互相関値の算出方法について詳細に説明する。

図４（Ａ）、（Ｂ）及び（Ｃ）は、ステップＳ３１１にて設定する基準画像および参照画像の位置関係を説明するための図である。図４（Ａ）にはＡ画像４１０Ａが示され、図４（Ｂ）にはＢ画像４１０Ｂが示され、図４（Ｃ）にはＡ画像４１０Ａが示されている。ステップＳ３１１では、相互相関算出部１１１は、Ａ画像４１０ＡとＢ画像４１０Ｂの相互相関値を算出する。

具体的には、相互相関算出部１１１は、まず、Ａ画像４１０Ａ上において、注目画素４２０とその近傍画素を含む部分領域を、基準画像４１１として設定する。次に、相互相関算出部１１１は、Ｂ画像４１０Ｂ上において、基準画像４１１と同じ面積（画像サイズ）の領域を参照画像４１２として設定する。その後、相互相関算出部１１１は、Ｂ画像４１０Ｂ上で参照画像４１２とする領域を移動（変更）させて、移動するごとに参照画像４１２と基準画像４１１との相互相関値を算出する。これにより、相互相関算出部１１１は、各移動量（各領域）に対応する相互相関値から相関値デ－タ列を生成する。この際に、参照画像４１２の移動方向はいかなる方向でも良い。本実施形態では、参照画像４１２を移動させる方向を視差探索方向と呼ぶ。特に視差探索方向と上述の瞳分割方向（ｘ軸方向）を同じ方向に設定することにより、前述の距離算出部１３０の計算を簡易に行うことができる。本実施形態では、視差探索方向をｘ軸方向とする。

なお、相互相関値の算出方法は、例えば、差の二乗和（ＳＳＤ）や差の絶対値和（ＳＡＤ）、正規化相互相関（ＮＣＣ）である。本実施形態ではＳＳＤを利用した方法を説明する。ただし、別の方法を利用した場合でも同様の考え方を利用できる。本実施形態におけるＳＳＤでは基準画像４１１と参照画像４１２の相違度を評価しており、相互相関値の値が低いほど、相関度が高いと判定できる。

次に、ステップＳ３１２では、自己相関算出部１１２は、ステップＳ３１１で基準画像として利用した領域を引き続き基準画像として設定し、参照画像もＡ画像内に設定する。自己相関算出部１１２は、Ａ画像内の参照画像の位置を所定の方向に移動させて、少なくとも２つの基準画像と参照画像との相関値（自己相関値）を算出する。ここで、参照画像の移動量は－ｘ方向に１画素以上及び＋ｘ方向に１画素以上移動させ、それぞれで自己相関値を計算する。特に移動量を－ｘ方向に１画素移動させた場合と＋ｘ方向に１画素移動させた場合における相関値を算出することでより精度よく自己相関値を算出できる。本実施形態では、自己相関算出部１１２は、移動量を－ｘ方向に１画素移動させた場合と＋ｘ方向に１画素移動させた場合における相関値を算出する。なお、参照画像の移動方向はいかなる方向でも良いが、相互相関値の視差探索方向と同じ方向にする方がより精度よく後述する補正を行うことができる。

具体的には、自己相関算出部１１２は、まず、ステップＳ３１１と同様の基準画像４１１を設定する。次に、自己相関算出部１１２は、図４（Ｃ）に示すようにＡ画像４１０Ａ上において、基準画像４１１と同じ面積（画像サイズ）の領域を参照画像４１３として設定する。その後、自己相関算出部１１２は、Ａ画像４１０Ａ上で参照画像４１３とする領域を視差探索方向に移動（変更）して、移動するごとに参照画像４１３と基準画像４１１との相関値を算出する。これにより、自己相関算出部１１２は、各移動量（各領域）に対応する相互相関値から相関値デ－タ列を生成する。

なお、自己相関値の算出方法は公知のどのような方法を利用して計算されても良い。しかし、相互相関値で類似度を算出された場合には、自己相関値も同様に類似度を算出される方が望ましく、相互相関値で相違度を算出された場合には、自己相関値も同様に相違度を算出される方が望ましい。本実施形態の自己相関算出部１１２は、自己相関値の算出方法として、相互相関算出部１１１と同様にＳＳＤを用いる。

次に、ステップＳ３１３では、相互相関補正部１１３は、補正相関値を算出する。本実施形態では、相互相関補正部１１３は、ステップＳ３１２で求めた２つ以上の自己相関値の比を利用して相互相関値を補正し、補正相互相関値を算出する。以下、相互相関値の補正方法について説明する。

まず、基準画像端部の画素値変化により、視差算出結果に誤差を生じる理由について説明する。以降の説明では、Ａ画像とＢ画像は同じ濃淡を有する画像で視差が＋０．１画素あるものと仮定する。図５（Ａ）～（Ｅ）は誤差の発生理由を説明する図である。

図５（Ａ）は、Ａ画像５０１、基準画像５０２及び基準画像５０３との位置関係を示した図である。ここで、Ａ画像５０１は、明領域及び暗領域が交互に表れるラインパタ－ンを有する画像（被写体）である。基準画像５０２は、Ａ画像５０１の明領域と暗領域が切り替わる画像エッジ５０４，５０５（境界部）を基準画像５０２の内部に含んでいる。

まず、端部テクスチャの非対称性がない場合（基準画像端部の画素値変化が同一軸方向に＋方向と－方向とで同量の場合）について説明する。

図５（Ｂ）は、基準画像５０２に対して設定された参照画像を移動させて基準画像５０２と参照画像の自己相関算出処理を行うことで算出される自己相関値を示している。

自己相関値Ｃ（０），自己相関値Ｃ（＋１），自己相関値Ｃ（－１）はそれぞれ参照画像の位置をｘ軸方向にそれぞれ０、＋１、－１画素だけ移動させたときの自己相関値である。以降でＣ（ｘ）は基準画像と参照画像が同位置となる画素位置を０とした時の、０からの（ｘ軸方向の）移動量ｘに対応した自己相関値である。ここでは、移動量が０画素のとき、両画像は一致し、相互相関値Ｃ（０）は０となる。参照画像をｘ軸方向に＋１画素又は－１画素だけ移動させると、画像エッジ５０４，５０５に起因して基準画像５０２と参照画像に差（異なる画素値）が生じる。したがって、自己相関値Ｃ（＋１），および自己相関値Ｃ（－１）は自己相関値Ｃ（０）より値が大きい。端部テクスチャの非対称性がない場合、自己相関値Ｃ（＋１），および自己相関値Ｃ（－１）に対応する参照画像の移動量の絶対値は同じであるため、ラインパタ－ン上の画像エッジ５０４，５０５に起因する画像間の差も同量となる。そのため、自己相関値Ｃ（１）と自己相関値Ｃ（－１）は同じ値（自己相関値に非対称性がない）となる。この自己相関値を二次関数で内挿した場合、その形状は曲線５１０Ｃとなる。自己相関値の連続的な変化を示す自己相関曲線は曲線５１０Ｃと一致する。

図５（Ｄ）は、基準画像５０２と、基準画像５０２に対して設定された参照画像との相互相関算出処理を行うことで算出された相互相関値を示している。Ａ画像とＢ画像には視差が＋０．１画素あるため、相互相関値の連続的な変化を示す相互相関曲線は曲線５１０Ｃを＋０．１画素移動させた形状であり、二次関数である曲線５１０Ｓと一致する。また、参照画像の位置をｘ軸方向の０、＋１、－１画素だけ移動させたときのそれぞれの相互相関値Ｓ（０），相互相関値Ｓ（１），相互相関値Ｓ（－１）はすべて曲線５１０Ｓ上の値となる。以降でＳ（ｘ）は相互相関値が最小になる参照画像の整数画素位置を０とした時の、０からの（ｘ軸方向の）移動量ｘに対応した相互相関値である。

このように端部テクスチャの非対称性がない場合は、自己相関値に非対称性がなく、相互相関曲線が二次関数になる。つまり、フィッティング関数は真の視差位置を境界として対称になっており、二次関数のように境界軸に対して対称になる関数となる。画像処理装置１１０は、自己相関曲線から算出できる二次関数である曲線５１０Ｃを移動させ、相互相関値にフィッティングする位置を推定することで正確に視差を算出することができる。

一方、端部テクスチャの非対称性がある場合（基準画像端部の画素値変化が同一軸方向に＋方向と軸方向に－方向とで量が異なる場合）について説明する。

基準画像５０３では、画像エッジ５０４と基準画像５０３の右端が重なる。図５（Ｃ）は、基準画像５０３に対して設定された参照画像を移動させて基準画像５０３と参照画像の自己相関処理を行うことで算出される自己相関値を示している。移動量が０のとき、両画像は一致し、自己相関値Ｃ（０）は０となる。移動量がｘ軸方向に＋１画素のとき、基準画像５０２の場合と同様に、自己相関値Ｃ（＋１）は自己相関値Ｃ（０）より大きい値である。これに対し、移動量がｘ軸方向に－１画素のときには、画像エッジ５０５のみに起因して基準画像と参照画像との差が生じるため、自己相関値Ｃ（０）からの自己相関値Ｃ（－１）の値はＣ（＋１）よりも小さい。そのため、この場合の自己相関値は、参照画像の移動量が正の側と負の側とで非対称となる。この場合、自己相関曲線は移動量が正の側では曲線５１１Ｃ、移動量が負の側では曲線５１２Ｃとなる。

図５（Ｅ）は、基準画像５０３と、基準画像５０３に対して設定された参照画像との相互相関算出処理を行うことで算出された相互相関値を示している。Ａ画像とＢ画像には視差が＋０．１画素あるため、相互相関値を二次関数で内挿した曲線５１１Ｓ及び５１２Ｓは曲線５１１Ｓ及び５１２Ｓを＋０．１画素移動させた形状となる。また、参照画像の位置をｘ軸方向に０、－１画素だけ移動させたときのそれぞれの相互相関値Ｓ（０），Ｓ（－１）は相互相関曲線５１２Ｓ上の値、参照画像の位置を＋１画素だけ移動させたときの相互相関値Ｓ（１）は相互相関曲線５１１Ｓ上の値となる。相互相関値曲線は移動量が真の視差値の＋０．１画素より＋側では曲線５１１Ｓ、移動量が－側では曲線５１２Ｓとなる。

このように端部テクスチャの非対称性がある場合は、自己相関値に非対称性があり、相互相関曲線が境界軸に対して対称な関数ではなくなる。このよう場合では、フィッティング関数を二次関数のようなｙ軸対称の関数とすると視差の算出において誤差が大きくなる。このように、フィッティング関数が従来想定されていた公知の形状とは異なり、真の視差位置を境界として非対称になっている状態を、フィッティング関数に非対称性があると呼ぶ。フィッティング関数に非対称性がある場合、自己相関曲線から算出できる二次関数である曲線５１１Ｃもしくは５１２Ｃを移動させ、異なる相関曲線上に存在する相互相関値にフィッティングする位置を推定すると視差の算出において大きな誤差を生じる要因となる。

なお、前述の通り、この説明では自己相関値及び相互相関値はＳＳＤを利用しているために従来の手法で想定されるフィッティング関数は二次関数である。ただし、ＳＡＤを利用した場合には、フィッティング関数は等角直線の一次関数である。このように自己相関値及び相関値の計算方法に依存してフィッティング関数は異なる。

以上が端部テクスチャの非対称性によって、視差算出結果に誤差を生じる理由である。

なお、Ａ画像とＢ画像の視差量が０．１画素でない場合にも同様の理由で誤差が生じうる。また、公知の手法であるパラボラフィッティングをなどの相互相関値のみでサブピクセル推定を行う場合でも同様の理由で誤差が発生する。

次に、フィッティング関数の非対称性を考慮しない場合において算出された視差に発生した誤差を正確に補正できない理由について説明する。例えば、相互相関値Ｓ（１），Ｓ（－１）に対して補正を行い、Ｓ（０）には補正を行わない場合を考える。図５（Ｅ）の例の場合、Ｓ（０）と＋０．１画素で相互相関が０となる点を通る二次関数は曲線５１２Ｓしか存在しない。そのため、補正後の相関値が曲線５１２Ｓ上になるような補正を行っている場合に、正確な補正を行っていると判断できる。他方、Ｓ（－１）はもともと曲線５１２Ｓ上に存在するため、補正を行う必要はない。一方、Ｓ（１）は曲線５１１Ｓ上にあるため、補正を行う必要がある。フィッティング関数の非対称性を考慮しない場合には、補正として、自己相関値から計算される補正量γを用いて、Ｓ（１）に対してはγを引き、Ｓ（－１）に対してはγを足すことで補正を行うような処理となる。なお、この補正量γはＣ（－１）とＣ（１）を直線で内挿した際の傾きである。つまり、図５（Ｅ）の場合にはγが０ではない補正量を持つこととなり、補正の必要のないＳ（－１）に対して適切ではない補正を行うことになる。

以上がフィッティング関数の非対称性を考慮しない場合に誤差を正しく補正できない理由である。この場合の問題点は補正量が視差位置を境界として正負側で異なる値を持つ（非対称）と考慮していない点である。

しかし、ステップＳ３１３による処理では、フィッティング関数の非対称性を考慮して補正された相互相関値（補正相互相関値）を算出する。後述するステップＳ３１４の視差算出の際に補正相互相関値を利用することで、上記の誤差を軽減することができる。

図５によれば、視差探索方向＋側の自己相関値が大きいほど真のサブピクセル視差を基準として視差探索方向＋側の相互相関値が大きくなる。また、視差探索方向－側の自己相関値が大きいほど真のサブピクセル視差を基準として視差探索方向－側の相互相関値が大きくなる。よって、自己相関値が大きいほど、真のサブピクセル視差を基準として同一の視差探索方向の相互相関値を小さくする補正をすることで、相互相関値に含まれるフィッティング関数の非対称性の補正を行うことができる。

例えば、図５（Ｅ）の相互相関値に対して補正を行った状態が図７（Ａ）である。図７（Ａ）では曲線５１１Ｓ上に存在するＳ（１）に対して、曲線Ｓ５１２上に移動するように補正を行っている。このように視差算出に利用する相互相関値を同じ二次関数上に存在するように補正を加えることで上記の補正を行うことができる。この補正を加える相互相関値はいずれの値でも良いが、ここではＳ（０）を用いる場合について説明する。Ｓ（０）を用いる場合には、具体的には、数式１または数式２によって補正相互相関値Ｓ’を算出できる。

数式１および数式２においてＳ’（ｘ）は相互相関値が最小になる参照画像の整数画素位置を０とした時の、０からの移動量ｘに対応する、補正された相互相関値である。ここで、数式１は真のサブピクセル視差が、相互相関値が最小になる参照画像の整数画素位置から視差探索方向＋側に存在すると推定される場合に特に有効な補正式である。数式２は真のサブピクセル視差が、相互相関値が最小になる参照画像の整数画素位置から視差探索方向＋側に存在すると推定される場合に特に有効な補正式である。

数式１または数式２のいずれの数式を利用するかは真のサブピクセル視差位置を推定して判断しても良い。その際には公知の手法を用いても良い。例えば、Ｓ（１）とＳ（－１）の値を比較して、値の小さい側に真のサブピクセル視差位置が存在するとしても良い。

または、この推定の際にもフィッティング関数の非対称性を考慮し、相互相関値を補正しても良い。例えば、Ｓ（１）／Ｃ（１）とＳ（－１）／Ｃ（－１）の値を比較して、値の小さい側に真のサブピクセル視差位置が存在するとしても良い。

または、また、真のサブピクセル視差位置を推定する処理を行わず、常に一定の計算方法を利用しても構わない。

ここで、数式１および数式２は補正方法を限定するものではなく、フィッティング関数の非対称性を考慮して相互相関値を補正する方法であれば良い。

なお、自己相関値と相互相関値で別の計算方法を利用する場合でも上記と同様の方法を用いることが可能である。

また、上記では相互相関値の１点に対して補正を行っているが、サブピクセル推定に利用する相互相関値の各点に対してそれぞれに補正を行っても構わない。例えば、図５（Ｅ）の相互相関値に対して相互相関値各点補正を行った状態が図７（Ｂ）である。この場合は任意の二次関数を設定し、その関数上に視差計算に利用するすべての相互相関値が存在するように補正を行ったものである。この任意の二次関数の傾きを１とした場合には、相互相関値と自己相関値の比を用いて相互相関値を補正できる。ここで、上記の説明は補正方法を限定するものではなく、フィッティング関数の非対称性を考慮して相互相関値を補正する方法であれば良い。

以上、ステップＳ３１３について説明した。図３（Ｂ）の説明に戻る。

次に、ステップＳ３１４では、視差算出部１１４は、既知の任意の手法により、Ａ画像およびＢ画像を含む画像組の視差量を算出する。利用する手法は、相互相関値を用いる方法もしくは相互相関値と自己相関値を用いる方法のいずれでも良い。本実施形態では、相互相関値ではなく相互相関補正部１１３で算出した補正相互相関値を用いる。例えば、従来では数式３のようなサブピクセル視差量ｄの算出を行う方法がある。本実施形態では、数式３の相互相関値を補正相互相関値に置き換えた数式４でサブピクセル視差量ｄを算出する。

数式３はＳ（０）及びＳ（１）が傾きＣ（１）の同じ二次関数上に存在する場合にその最小値の位置を算出するものである。前述の通り、フィッティング関数の非対称性からＳ（０）及びＳ（１）は同じ二次関数上に存在するとは限らないため、視差量が適切に補正されていない。一方、数式４ではＳ’（０）がＳ（１）と同じ二次関数上に存在するように補正を加えているため、誤差の少ない最小値の位置を算出することができる。

なお、ここで、数式４は補正方法を限定するものではなく、フィッティング関数の非対称性を考慮して補正された相互相関値を利用する方法であれば良い。

本実施形態の自己相関算出部は、Ａ画像を用いて自己相関値を算出しているが、Ｂ画像を用いて自己相関値を算出しても構わない。Ｂ画像を用いて自己相関値を算出する場合には、視差算出部が算出した移動量を用いて注目画素４２０を設定する位置をずらすことが望ましい。

本実施形態の相互相関補正部は、参照画像の移動量が＋１画素と－１画素の自己相関値のみを用いている。従って、当該移動量のみ自己相関値を算出することが、演算量を低減するためには望ましい。また、本実施形態の画像処理装置１１０の動作フローにおいては、ステップＳ３１１からＳ３１４まで順次処理を行う場合について説明したが、ステップＳ３１１を行う前に、ステップＳ３１２を行っても構わない。

本実施形態の画像処理装置１１０は、すべての画素について補正を行っているが、補正を行うか否かの判断部を加え、必要な画素のみに補正を行っても良い。この際、判断部では公知の手法を利用して自己相関値や相互相関値の信頼度を求め、その信頼度が高い場合にのみ補正を行っても良い。または、自己相関値からフィッティング関数の非対称性の度合いを判断し、非対称性が強い場合にのみ補正を行っても良い。例えば、Ｃ（－１）とＣ（１）の差分が大きい場合に非対称性が強いと判断しても良い。

本実施形態の画像処理装置１１０は、ステップＳ３１０にて取得した画像組に対し、主として光学系１２２のヴィネッティングに起因して生じる光量バランスの崩れを補正する処理を行っても構わない。具体的には、予め撮像装置１００が輝度一定の面光源を撮影した結果に基づき、Ａ画像とＢ画像の輝度値が、画角に依らず略一定値になるように補正することで、光量バランスを補正することができる。また、例えば撮像素子１２１にて生じる光ショットノイズ等の影響を低減するために、取得したＡ画像とＢ画像にバンドパスフィルタやロ－パスフィルタを施しても構わない。

本実施形態の画像処理装置１１０は、視差の探索方向が１次元であるが、２次元以上での探索を行っても構わない。その際には公知のいかなる手法を利用して次元を拡張しても構わない。例えば、本実施形態の画像処理装置１１０を用いてｘ方向に視差の算出を行った後に本実施形態の画像処理装置１１０を用いてｙ方向に視差の算出を行い２次元の視差を算出しても良い。

本実施形態の画像処理装置では、自己相関値を用いて補正した相互相関値を用いて視差量を算出している。当該処理によれば、相互相関値に現れるフィッティング関数の非対称性を補正することでサブピクセル推定の際にフィッティング関数の非対称性が解消される。その結果、フィッティング関数の非対称に関係して発生する視差量の算出誤差を低減し、測距誤差を低減することで、高精度な測距を行うことができる。

＜第２の実施形態＞
以下、図を参照しながら本発明の第２の実施形態について詳細に説明する。なお、本実施の形態に記載されている構成要素は、あくまで例示に過ぎず、本発明の範囲は本実施形態に記載されている構成要素に限定されることはない。

（画像処理装置の構成）
本実施形態の画像処理装置７０１について説明する。図７（Ａ）は、本発明の実施形態に係る画像処理装置７０１の構成を概略的に示す図である。図７（Ａ）において、画像処理装置７０１は、相互相関算出部、自己相関算出部及び視差算出部を備える。図７（Ｂ）は、本実施形態の画像処理装置７０１の動作を表すフローチャートである。本実施形態に係る画像処理が開始されると、処理はステップＳ３１０に移行する。なお、図７では、図３で説明した構成または動作と同一の部分については、図３の番号と同じ番号を付して説明を省略する。

画像処理装置７０１は、論理回路を用いて構成することができる。また画像処理装置７０１の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

画像処理装置７０１は受け取った画像信号に基づいて、Ａ画像及びＢ画像を生成する。画像処理装置７０１は、Ａ画像及びＢ画像を用いて視差算出処理により視差値を算出し、算出した視差値を本体メモリ（不図示）に蓄える。また、画像処理装置７０１は、Ａ画像とＢ画像を加算した画像を画像情報として本体メモリに記憶し、以降の処理で利用することができる。なお、画像処理装置７０１は、Ａ画像及びＢ画像自体を本体メモリに記憶させることもできる。

ステップＳ７１０では、視差算出部７１０は、Ａ画像およびＢ画像を含む画像組の視差量を、フィッティング関数の非対称性の影響を受けない相互相関値と自己相関値の組み合わせで算出する。

図５によれば、異なる関数上に存在する相関値を１つの関数にフィッティングすることが誤差の一つの原因である。よって、利用する関数に適した相互相関値のみを利用して視差を計算することで上記の誤差を低減することができる。

例えば、自己相関値曲線５１１Ｃを利用する場合には、相互相関値Ｓ（１）を用いて視差を算出すればよい。自己相関値曲線５１１Ｃを視差探索方向に水平移動させ、自己相関値曲線５１１Ｃ上に相互相関値Ｓ（１）が存在する移動量がサブピクセル視差ｄである。具体的には数式５で上記の移動量の算出を行える。なお、図５（Ｅ）の位置関係から自己相関値曲線５１１Ｃの最小値より視差探索方向＋側に相互相関値Ｓ（１）が存在するため、サブピクセル視差ｄを一意に定めることが出来る。

同様の考え方を利用してＳ（－１）やＳ（０）などの他の相互相関値を利用した場合にもサブピクセル視差を算出できる。

ここで、数式５は補正方法を限定するものではなく、フィッティング関数の非対称性を考慮してその影響を受けない相互相関値と自己相関値の組み合わせで視差の算出を行う方法であれば良い。

また、上記では自己相関曲線と１つの相互相関値から視差量算出を行っているが、自己相関曲線と複数の相互相関値から視差量算出を行っても良い。例えば、自己相関値曲線５１２Ｃと相互相関値Ｓ（－１）と相互相関値Ｓ（０）から視差算出を行っても良い。

または、自己相関値曲線５１２Ｃを利用する場合には、相互相関値Ｓ（－１）と相互相関値Ｓ（０）を用いて数式３などの従来の手法を用いて視差を算出すればよい。

この際に真のサブピクセル視差位置を推定して相互相関値がどの関数上に存在するかを推定して利用する式を変更しても良い。その際には公知の手法を用いても良い。例えば、Ｓ（１）とＳ（－１）の値を比較して、値の小さい側に真のサブピクセル視差位置が存在するとしても良い。

または、この推定の際にもフィッティング関数の非対称性を考慮し、相互相関値を補正しても良い。例えば、Ｓ（１）／Ｃ（１）とＳ（－１）／Ｃ（－１）の値を比較して、値の小さい側に真のサブピクセル視差位置が存在するとしても良い。

または、真のサブピクセル視差位置を推定する処理を行わず、常に一定の計算方法を利用しても構わない。

本実施形態の画像処理装置では、相互相関値と自己相関曲線の１種類の組み合わせのみで視差量算出を行っているが、相互相関値と自己相関曲線の複数の組み合わせで視差量の算出を行っても構わない。例えば自己相関値曲線５１１Ｃと相互相関値Ｓ（１）で視差算出を行った後に自己相関値曲線５１２Ｃと相互相関値Ｓ（－１）で視差算出を行っても良い。その場合、複数の視差量算出の結果を平均しても構わない。また、利用した自己相関値または相互相関値または自己相関値と相互相関値の信頼度から最終的な視差量を決定しても構わない。

本実施形態の画像処理装置では、フィッティング関数の非対称性の影響を受けない相互相関値と自己相関値の組み合わせを用いて視差量を算出している。当該処理によれば、視差算出の式を補正することで、フィッティング関数の非対称性の影響を受けることなく視差を算出できる。その結果、フィッティング関数の非対称性に関係して発生する視差量の算出誤差を低減し、測距誤差を低減することで、高精度な測距を行うことができる。

本実施形態の画像処理装置では、視差算出にかかる計算処理量を削減することができる。

＜第３の実施形態＞
以下、図を参照しながら本発明の第３の実施形態について詳細に説明する。なお、本実施の形態に記載されている構成要素は、あくまで例示に過ぎず、本発明の範囲は本実施形態に記載されている構成要素に限定されることはない。

（画像処理装置の構成）
本実施形態の画像処理装置８０１について説明する。図８（Ａ）は、本発明の実施形態に係る画像処理装置８０１の構成を概略的に示す図である。図８（Ａ）において、画像処理装置８０１は、相互相関算出部、自己相関算出部及び視差算出部を備える。図８（Ｂ）は、本実施形態の画像処理装置８０１の動作を表すフローチャートである。本実施形態に係る画像処理が開始されると、処理はステップＳ３１０に移行する。なお、図８では、図３で説明した構成または動作と同一の部分については、図３の番号と同じ番号を付して説明を省略する。

画像処理装置８０１は、論理回路を用いて構成することができる。また画像処理装置８０１の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

画像処理装置８０１は受け取った画像信号に基づいて、Ａ画像及びＢ画像を生成する。画像処理装置８０１は、Ａ画像及びＢ画像を用いて視差算出処理により視差値を算出し、算出した視差値を本体メモリ（不図示）に蓄える。また、画像処理装置８０１は、Ａ画像とＢ画像を加算した画像を画像情報として本体メモリに記憶し、以降の処理で利用することができる。なお、画像処理装置８０１は、Ａ画像及びＢ画像自体を本体メモリに記憶させることもできる。

ステップＳ８１０では、フィッティング関数補正部８１０は、自己相関値を用いてフィッティング関数の非対称性を推定し、補正を行う。

ステップＳ３１４で行われる視差算出処理において、相互相関値を算出した方法によって定まる関数を相互相関値にフィッティングする。この関数は従来では視差を境界に対称な形状が利用されるが、図５で前述したように端部テクスチャの非対称性によって実際には視差を境界に対称な形状になっている。ステップＳ８１０では、この非対称性を推定し、相互相関値にフィッティングするフィッティング関数の形状が算出される。

具体的にはステップＳ３１２で算出される自己相関値を利用してこの非対称性は推定される。例えば、図５ではＣ（ー１）とＣ（１）を利用することで二次関数の傾きを２つ算出できる。Ｃ（ー１）が視差を境界に左側の二次の係数であり、Ｃ（１）が視差を境界に右側の二次の係数である。

このように、従来対称な形状であったフィッティング関数を非対称に補正することで、以降のステップＳ３１４で相互相関値に非対称なフィッティング関数をフィッティングできる。

その結果、フィッティング関数の非対称性に関係して発生する視差量の算出誤差を低減し、測距誤差を低減することで、高精度な測距を行うことができる。

本実施形態の画像処理装置では、ノイズの多い環境でも高精度な測距を行うことができる。

＜第４の実施形態＞
以下、図を参照しながら本発明の第４の実施形態について詳細に説明する。なお、本実施の形態に記載されている構成要素は、あくまで例示に過ぎず、本発明の範囲は本実施形態に記載されている構成要素に限定されることはない。

（装置構成）
図９は、本発明の実施形態に係る画像処理装置の構成を概略的に示す図である。なお、図９では、図１で説明した構成と同一の部分については、図１の番号と同じ番号を付して説明を省略する。

図９において、撮像装置９００は、画像処理装置１１０と撮像部９２０と距離算出部１３０を備える。

撮像部９２０は、２つの撮像素子９２１と９２２，２つの光学系９２３と９２４を備える。光学系９２３および９２４は、撮像装置９００の撮影レンズであり、被写体の像を撮像素子９２１または９２２上に形成する機能を有する。光学系９２３および９２４は複数のレンズ群（不図示）および絞り（不図示）等から構成され、撮像素子９２１または９２２から所定距離離れた位置に射出瞳９２５または９２６を有する。この時、光学系９２３と９２４の光軸はそれぞれ９４１と９４２である。

光学系の位置関係などのパラメータを事前に校正しておくことで正確に画像間の視差を算出することができる。またそれぞれの光学系でレンズ歪みの補正を行うことでも正確に画像間の視差を算出することができる。

この場合には、基線長の設計自由度が向上し、測距分解能を向上することができる。

本実施形態では距離に応じた視差を有するＡ画像とＢ画像を取得する光学系が２つであるが、３つ以上の光学系とそれに対応する撮像素子から構成されたステレオカメラで構成されてもよい。

本実施形態では画像処理装置として第１の実施例に記載の画像処理装置を使用しているが、第２、第３の実施例中の画像処理装置でもよい。

本発明は、測距装置の他に、コンピュータプログラムをも包含する。本実施形態のコンピュータプログラムは、距離あるいは視差量の算出のために、コンピュータに所定の工程を実行させるものである。本実施形態のプログラムは、測距装置またはそれを備えるデジタルカメラ等の撮像装置のコンピュータにインストールされる。インストールされたプログラムがコンピュータによって実行されることにより上記の機能が実現され、高速で高精度な視差の算出が可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

Claims (16)

1. 第１の画像と第２の画像とから視差を算出する画像処理装置であって、
   前記第１の画像上に設定された第１の基準画像と前記第２の画像上に設定された第１の参照画像との相互相関値を算出する相互相関算出手段と、
   前記第１の画像または前記第２の画像のいずれか１つに対して設定した第２の基準画像と第２の参照画像との自己相関値を算出する自己相関算出手段と、
   前記相互相関算出手段によって算出された前記相互相関値および前記自己相関算出手段によって算出された前記自己相関値を用いて前記第１の画像と前記第２の画像の視差量を算出する視差算出手段と、を有し、
   前記視差算出手段は、前記自己相関値を用いて、前記相互相関値を補正する
   ことを特徴とする画像処理装置。
2. 前記相互相関算出手段は、前記第１の参照画像の位置を変更し少なくとも２つの前記相互相関値を算出し、
   前記自己相関算出手段は、前記第２の参照画像の位置を任意の方向に少なくとも＋１画素および－１画素移動させて少なくとも２つの前記自己相関値を算出し、
   前記視差算出手段は、前記自己相関値の最小値の近傍を用いて前記相互相関値を補正した補正相互相関値を算出し、前記補正相互相関値もしくは前記相互相関値と前記補正相互相関値を内挿することで最も相関が高い前記第１の参照画像の位置を前記視差量として算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記視差算出手段は、少なくとも１つの前記相互相関値に対して前記第２の参照画像の移動量が異なる２つの前記自己相関値の比を用いて前記補正相互相関値を算出する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記視差算出手段は、少なくとも２つの前記相互相関値に対して前記相互相関値と前記自己相関値の比を前記補正相互相関値として算出する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 第１の画像と第２の画像とから視差を算出する画像処理装置であって、
   前記第１の画像上に設定された第１の基準画像と前記第２の画像上に設定された第１の参照画像との相互相関値を算出する相互相関算出手段と、
   前記第１の画像または前記第２の画像のいずれか１つに対して設定した第２の基準画像と第２の参照画像との自己相関値を算出する自己相関算出手段と、
   前記相互相関算出手段によって算出された前記相互相関値および前記自己相関算出手段によって算出された前記自己相関値を用いて前記第１の画像と前記第２の画像の視差量を算出する視差算出手段と、を有し、
   前記視差算出手段は、前記自己相関値を用いてフィッティング関数を補正する
   ことを特徴とする画像処理装置。
6. 第１の画像と第２の画像とから視差を算出する画像処理装置であって、
   前記第１の画像上に設定された第１の基準画像と前記第２の画像上に設定された第１の参照画像との相互相関値を算出する相互相関算出手段と、
   前記第１の画像または前記第２の画像のいずれか１つに対して設定した第２の基準画像と第２の参照画像との自己相関値を算出する自己相関算出手段と、
   前記相互相関算出手段によって算出された前記相互相関値および前記自己相関算出手段によって算出された前記自己相関値を用いて前記第１の画像と前記第２の画像の視差量を算出する視差算出手段と、を有し、
   前記視差算出手段は、前記自己相関値を用いて同一のフィッティング関数に属する前記相互相関値と前記自己相関値を用いて視差量を算出する
   ことを特徴とする画像処理装置。
7. 前記自己相関算出手段は、前記第２の参照画像を任意の方向に少なくとも＋１画素もしくは－１画素移動させて少なくとも１つの前記自己相関値を算出し、
   前記視差算出手段は、前記自己相関値を用いて同一のフィッティング関数に属する前記相互相関値と前記自己相関値の比を用いて視差量を算出する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記視差算出手段は、同一のフィッティング関数に属する前記相互相関値と前記自己相関値の複数の組み合わせで視差量を算出することを特徴とする請求項６に記載の画像処理装置。
9. 前記視差算出手段は、同一のフィッティング関数に属する前記相互相関値と前記自己相関値の複数の組み合わせで視差量を算出し、それらの平均を最終的な視差量とすることを特徴とする請求項８に記載の画像処理装置。
10. 前記視差算出手段は、同一のフィッティング関数に属する前記相互相関値と前記自己相関値の複数の組み合わせで視差量を算出し、利用した前記自己相関値から最終的な視差量を決定することを特徴とする請求項８に記載の画像処理装置。
11. 前記相互相関算出手段は、前記第１の基準画像と前記第１の参照画像の差分の二乗和、または差分の絶対値和、または正規化相互相関のいずれかを用いて前記相互相関値を算出し、
    前記自己相関算出手段は、前記第２の基準画像と前記第２の参照画像の差分の二乗和、または差分の絶対値和、または正規化相互相関のいずれかを用いて前記相互相関値を算出する
    ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記視差算出手段は、前記相互相関値もしくは前記相互相関値と前記自己相関値の比を用いて視差位置の推定を行い、その結果に基づいて処理の方法を変更する
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記相互相関値または前記自己相関値の信頼度に基づいて、前記視差算出手段による補正を行うか否かを判断する判断手段をさらに有することを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 端部テクスチャの非対称性の大きさに基づいて、前記視差算出手段による補正を行うか否かを判断する判断手段をさらに有することを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
15. 第１の画像と第２の画像とから視差を算出する画像処理方法であって、
    前記第１の画像上に設定された第１の基準画像と前記第２の画像上に設定された第１の参照画像との相互相関値を算出する相互相関算出工程と、
    前記第１の画像または前記第２の画像のいずれか１つに対して設定した第２の基準画像と第２の参照画像との自己相関値を算出する自己相関算出工程と、
    前記相互相関算出工程によって算出された前記相互相関値および前記自己相関算出工程によって算出された前記自己相関値を用いて前記第１の画像と前記第２の画像の視差量を算出する視差算出工程と、を有し、
    前記視差算出工程では、前記自己相関値を用いてフィッティング関数の非対称性を推定し、前記相互相関値を補正する
    ことを特徴とする画像処理方法。
16. 第１の画像と第２の画像とから視差を算出する画像処理装置に、
    前記第１の画像上に設定された第１の基準画像と前記第２の画像上に設定された第１の参照画像との相互相関値を算出する相互相関算出工程と、
    前記第１の画像または前記第２の画像のいずれか１つに対して設定した第２の基準画像と第２の参照画像との自己相関値を算出する自己相関算出工程と、
    前記相互相関算出工程によって算出された前記相互相関値および前記自己相関算出工程によって算出された前記自己相関値を用いて前記第１の画像と前記第２の画像の視差量を算出する視差算出工程と、を実行させるためのプログラムで
    前記視差算出工程では、前記自己相関値を用いてフィッティング関数の非対称性を推定し、前記相互相関値を補正する
    ことを特徴とするプログラム。

Images