JP2023135500A - 画像処理装置、撮像装置、制御方法、プログラム、および記憶媒体 - Google Patents

Abstract

【課題】高精度で遠近競合領域を判定することが可能な画像処理装置を提供する。【解決手段】視差を有する第１画像と第２画像とに基づいて算出された視差の信頼度を判定する画像処理装置（１１０）であって、第１画像に基準画像を設定して算出された第２画像との第１視差と、第２画像に基準画像を設定して算出された第１画像との第２視差とを取得する取得手段（１１２、１１４）と、注目画素の信頼度を判定する判定手段（１１５）とを有し、判定手段は、注目画素の位置周辺での第１視差の視差変化の急峻性を表す視差変化率と、第２視差の視差変化の急峻性を表す視差変化率とを比較して、信頼度を判定する。【選択図】図３

Description

本発明は、画像処理装置、撮像装置、制御方法、プログラム、および記憶媒体に関する。

従来、視差算出の結果に対して遠近競合領域に当てはまるか否かを判定し、視差算出の信頼度を算出する方法が知られている。特許文献１には、画像間のコントラスト分布を比較して遠近競合領域の判定を行う方法が開示されている。特許文献２には、基準画素と基準画素に対して互いに反対方向に所定量ずれた２つの周辺画素のデフォーカス値とを用いて遠近競合領域の判定を行う方法が開示されている。特許文献３には、各々の画像を基準画像として基準以外の画像との対応点を算出し、基準画像を変更した際の対応点が一致するか否かを判定する方法が開示されている。

特開２０１８－１０１９８２号公報 特開２０１５－２３２６０４号公報 特許第３７９４１９９号公報

特許文献１に開示された方法では、視差が０画素でない距離に模様のある物体が存在する場合、正しい判定を行うことができない。特許文献２に開示された方法は、遠近競合領域での視差変化がなだらかであると仮定しているため、算出された視差に誤差が多く含まれる場合、正しい判定を行うことができない。特許文献３に開示された方法では、基線長が短い撮像装置で撮影された画像を利用した場合や視差算出時に基準画像の画像サイズが大きい場合、正しい判定を行うことができない。

そこで本発明は，高精度で遠近競合領域を判定することが可能な画像処理装置を提供することを目的とする。

本発明の一側面としての画像処理装置は、視差を有する第１画像と第２画像とに基づいて算出された視差の信頼度を判定する画像処理装置であって、前記第１画像に基準画像を設定して算出された前記第２画像との第１視差と、前記第２画像に基準画像を設定して算出された前記第１画像との第２視差とを取得する取得手段と、注目画素の信頼度を判定する判定手段とを有し、前記判定手段は、前記注目画素の位置周辺での前記第１視差の視差変化の急峻性を表す視差変化率と、前記第２視差の視差変化の急峻性を表す視差変化率とを比較して、前記信頼度を判定する。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、高精度で遠近競合領域を判定することが可能な画像処理装置を提供することができる。

第１実施形態における撮像装置の説明図である。 第１実施形態における光学系の射出瞳の説明図である。 第１実施形態における信頼度算出装置の説明図である。 第１実施形態における基準画像と参照画像の位置関係の説明図である。 第１実施形態における遠近競合領域での視差変化の説明図である。 第１実施形態における遠近競合領域での視差変化の説明図である。 第１実施形態における視差変化率比較処理の説明図である。 第１実施形態における視差変化率比較処理の説明図である。 第２実施形態における撮像装置の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、各実施形態を説明する前に、本発明の概略について説明する。複数の画像を取得して３次元情報を算出する手法として、例えば、複数の画像情報から３次元情報を求めるために、ブロックマッチング手法がある。この手法では、まず、異なる視点から撮影された二つの画像、Ａ画像とＢ画像に対して、Ａ画像に任意の領域１を基準画像として設定し、Ｂ画像に領域２を参照画像として設定し、領域２の位置を変えて最も領域１に似た領域２の探索を行う。そして、領域１と領域２の位置のズレから距離を算出する。なお、探索では異なる画像の領域間の相違度（または類似度）を表す相互相関が利用され、似た領域の判定が行われる。この位置のズレを視差と呼び、三角測量等の公知の手法を利用することで距離情報を取得できる。なお、以降では画像上のテクスチャのズレをズレ量と呼び、視差探索結果である領域１と領域２の位置のズレを視差と呼ぶものとする。

ブロックマッチング手法等の視差算出手法では、結果に誤差を生じる場合がある。被写体として撮影位置から遠い位置に配置された物体１と近い位置に配置された物体２が存在する環境を想定する。撮影装置等の条件によって、撮影位置から物体までの距離と物体が描写される画像間のズレ量は一意の関係に定まる。よって、Ａ画像で撮影される物体１とＢ画像で撮影される物体１の画像上のズレ量１とＡ画像で撮影される物体２とＢ画像で撮影される物体２の画像上のズレ量２とは異なる値になる。ここで、基準画像の中に物体１と物体２が共に観測された場合を考える。参照画像は基準画像から物体１がズレ量１だけズレたテクスチャと物体２がズレ量２だけズレたテクスチャが混ざった状態になる。このように基準画像または参照画像内に異なる距離の被写体を含む領域を遠近競合領域と呼ぶ。遠近競合領域で上記のブロックマッチングに代表される視差算出手法を行うと、各画像間のテクスチャに差異があるために誤った視差算出が行われる。

そこで各実施形態では、視差算出の結果に対し、遠近競合領域に当てはまるか否かを判定し、視差算出の信頼度を高精度に判定する構成および方法について説明する。

（第１実施形態）
まず、図１（Ａ）～（Ｃ）を参照して、本発明の第１実施形態における撮像装置１００について説明する。図１（Ａ）は、撮像装置１００の概略図である。撮像装置１００は、信頼度算出装置（画像処理装置）１１０、撮像部（撮像手段）１２０、および視差補正部（補正手段）１３０を備える。信頼度算出装置１１０および視差補正部１３０は論理回路を用いて構成されるが、これに限定されるものではない。信頼度算出装置１１０および視差補正部１３０は、例えば、中央演算処理装置（ＣＰＵ）と、演算処理プログラムを格納するメモリとから構成してもよい。

撮像部１２０は、撮像素子１２１および光学系１２２を備える。光学系１２２は、撮像装置１００の撮像レンズ（撮像光学系）であり、被写体の像（光学像）を撮像素子１２１上に形成する。光学系１２２は、複数のレンズ群（不図示）および絞り（不図示）等から構成され、撮像素子１２１から所定距離だけ離れた位置に射出瞳１２３を有する。なお本実施形態において、ｚ軸は光学系１２２の光軸１４０と平行の軸、ｘ軸とｙ軸は互いに垂直であり且つ光軸１４０と垂直な軸である。

撮像素子１２１は、相補型金属酸化膜半導体（ＣＭＯＳ）センサや電荷結合素子（ＣＣＤ）センサから構成される。撮像素子１２１は、光学系１２２を介して形成された被写体像を光電変換し、被写体像に基づく画像信号を生成する。なお本実施形態において、撮像装置１００は、撮像素子１２１を備えたカメラ本体と光学系１２２とが一体的に構成されているが、これに限定されるものではない。光学系１２２は、撮像装置１００に対して着脱可能なレンズ装置（交換レンズ）であってもよい。

図１（Ｂ）は、撮像素子１２１のｘｙ断面図である。撮像素子１２１は、２行×２列の画素群１５０を複数配列することで構成される。画素群１５０は、対角方向に緑画素１５０Ｇ１、１５０Ｇ２、他の２画素に赤画素１５０Ｒおよび青画素１５０Ｂが配置されて構成される。

図１（Ｃ）は、図１（Ｂ）中の線Ｉ－Ｉ’に沿った断面図である。各画素は、受光層１８２と導光層１８１とから構成される。受光層１８２には、受光した光を光電変換するための二つの光電変換部（視差を有する第１画像および第２画像をそれぞれ取得する第１光電変換部１６１、第２光電変換部１６２）が複数配置される。すなわち撮像素子１２１は、第１光電変換部１６１および第２光電変換部１６２をそれぞれ複数有する。導光層１８１には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１８３、所定の波長帯域の光を通過させるカラーフィルタ（不図示）、および、画像読み出し用及び画素駆動用の配線（不図示）などが配置される。また、各画素には不図示の配線が設けられており、各画素は配線を介して画像信号（出力信号）を信頼度算出装置１１０に送ることができる。図１（Ｂ）、（Ｃ）は、一つの瞳分割方向（ｘ軸方向）に２分割された光電変換部の例を示すが、仕様に応じて、二つの瞳分割方向（ｘ軸方向およびｙ軸方向）に分割された光電変換部を備える撮像素子が用いられる。瞳分割方向及び分割数については任意である。

図２は、光軸１４０と撮像素子１２１との交点（中心像高）から見た、光学系１２２の射出瞳１２３の説明図である。第１光電変換部１６１および第２光電変換部１６２にはそれぞれ、射出瞳１２３の互いに異なる領域である第１瞳領域２１０を通過した第１光束および第２瞳領域２２０を通過した第２光束が入射する。各画素における第１光電変換部１６１および第２光電変換部１６２は、入射光束を光電変換することで、それぞれＡ画像（第１画像）およびＢ画像（第２画像）に対応する画像信号を生成することができる。生成された画像信号は、信頼度算出装置１１０に伝送される。

図２には、第１瞳領域２１０の重心位置（第１重心位置２１１）、および第２瞳領域２２０の重心位置（第２重心位置２２１）が示されている。本実施形態において、第１重心位置２１１は、射出瞳１２３の中心から第１軸２００に沿って所定方向（ｘ軸方向）に偏心（移動）している。一方、第２重心位置２２１は、第１軸２００に沿って、第１重心位置２１１とは逆の方向（－ｘ軸方向）に偏心（移動）している。第１重心位置２１１と第２重心位置２２１とを結ぶ方向を瞳分割方向と呼ぶ。基線長２３０は、第１重心位置２１１と第２重心位置２２１との重心間距離に相当する。

次に、本実施形態における視差補正部１３０について説明する。視差補正部１３０は、信頼度が低いと判定された視差を補正する補正手段である。すなわち視差補正部１３０は、受け取ったＡ画像基準視差値またはＢ画像基準視差値と信頼度に基づいて、信頼度の低い視差値の補間を行い、その結果をメモリ（不図示）に蓄える。ここで、Ａ画像基準視差値と信頼度を取得した場合を考える。注目画素の視差の信頼度が閾値よりも低い場合、注目画素の近傍の視差を用いて補間を行ってもよい。この際に、注目画素の近傍の視差のうち信頼度が閾値より高い視差のみを利用し、その平均値もしくは中央値で補間をする処理を行ってもよい。もしくは、画像（第１画像および第２画像）の撮影時刻に近い画像から算出された視差を用いて補間を行ってもよい。

次に、図３（Ａ）、（Ｂ）を参照して、本実施形態における信頼度算出装置１１０について説明する。信頼度算出装置１１０は、視差を有するＡ画像（第１画像）とＢ画像（第２画像）とに基づいて算出された視差（視差情報）の信頼度（視差の確からしさを表す信頼度）を判定する画像処理装置である。図３（Ａ）は、信頼度算出装置１１０のブロック図である。図３（Ａ）において、信頼度算出装置１１０は、第１相関算出部１１１、第１視差算出部１１２、第２相関算出部１１３、第２視差算出部１１４、および比較部１１５を備える。第１視差算出部１１２および第２視差算出部１１４は、第１画像に基準画像を設定して算出された第２画像との第１視差と、第２画像に基準画像を設定して算出された第１画像との第２視差とを取得する取得手段としての機能を有する。比較部１１５は、注目画素の信頼度を判定する判定手段としての機能を有する。

図３（Ｂ）は、信頼度算出装置１１０の動作を示すフローチャートである。本実施形態の画像処理が開始されると、処理はステップＳ３１０に移行する。

まずステップＳ３１０において、撮像装置１００は撮影を行い、信頼度算出装置１１０は、距離に応じた視差を有するＡ画像とＢ画像を含む画像組を生成および取得し、取得した画像組を撮像装置１００のメモリ（不図示）に記憶させる。ここで信頼度算出装置１１０は、ステップＳ３１０にて取得した画像組に対し、主として光学系１２２のヴィネッティングに起因して生じる光量バランスの崩れを補正する処理を行ってもよい。具体的には、予め、撮像装置１００が輝度一定の面光源を撮影した結果に基づき、Ａ画像とＢ画像の輝度値が、画角に依らず略一定値になるように補正することで、光量バランスを補正することができる。また、例えば撮像素子１２１にて生じる光ショットノイズ等の影響を低減するために、取得したＡ画像とＢ画像にバンドパスフィルタやローパスフィルタを施してもよい。

続いてステップＳ３１１において、第１相関算出部１１１は、Ａ画素基準相互演算処理を行う。すなわち第１相関算出部１１１は、Ａ画像上において、距離算出を行う画素（注目画素）を含む部分領域の画像を基準画像として設定し、Ｂ画像に参照画像を設定する。そして第１相関算出部１１１は、参照画像の位置を所定の方向に移動させながら基準画像と参照画像とのＡ画像基準相互相関値を算出する。

図４（Ａ）、（Ｂ）は、ステップＳ３１１にて設定する基準画像と参照画像の位置関係の説明図である。図４（Ａ）はＡ画像４１０Ａを示し、図４（Ｂ）はＢ画像４１０Ｂを示す。ステップＳ３１１において、第１相関算出部１１１は、Ａ画像４１０ＡとＢ画像４１０ＢのＡ画像基準相互相関値を算出する。具体的には、第１相関算出部１１１は、まず、Ａ画像４１０Ａ上において、注目画素４２０とその近傍画素を含む部分領域を抜き出して、基準画像４１１として設定する。次に、第１相関算出部１１１は、Ｂ画像４１０Ｂ上において、基準画像４１１と同じ面積（画像サイズ）の領域を抜き出して参照画像４１２として設定する。その後、第１相関算出部１１１は、Ｂ画像４１０Ｂ上で参照画像４１２を抜き出す位置を移動させて、各移動量（各位置）における参照画像４１２と基準画像４１１とのＡ画像基準相互相関値を算出する。これにより、第１相関算出部１１１は、各移動量に対応する相関値デ－タ列からなるＡ画像基準相互相関値を算出する。この際、参照画像４１２の移動方向はいかなる方向でもよい。参照画像４１２を移動させて相互相関演算を行う方向を視差探索方向と呼ぶ。視差探索方向と瞳分割方向とを同じ方向に設定することにより、後述の第１視差算出部１１２による算出を簡易に行うことができる。

Ａ画像基準相互相関値は、基準画像４１１と参照画像４１２との相関度を評価できればよく、公知のどのような方法を利用して算出してもよい。例えば、差の二乗和（ＳＳＤ）や差の絶対値和（ＳＡＤ）、正規化相互相関（ＮＣＣ）を用いることもできる。以下では、ＳＳＤを利用した方法を説明するが、別の方法を利用した場合でも同様の考え方を利用できる。ＳＳＤは基準画像４１１と参照画像４１２の相違度を評価しており、相互相関値の値が低いほど、相関度が高くなる。

続いて、図３のステップＳ３１２において、第１視差算出部１１２は、Ａ画像基準視差算出処理を行う。すなわち第１視差算出部１１２は、既知の任意の手法により、Ａ画像を基準とした時の視差量（Ａ画像基準視差）を算出する。例えば、Ａ画像基準相互相関値が最小になる位置を視差量としてもよい。または、サブピクセル推定を行って小数画素単位の視差を求めてもよい。例えば、相互相関値がＳＳＤの場合には、二次関数で内挿を行うことで最小値を求めることができる。また、相互相関値がＳＡＤの場合には、等角直線で内挿を行うことで最小値を求めることができる。

続いてステップＳ３１３において、第２相関算出部１１３は、Ａ画像４１０ＡとＢ画像４１０ＢとのＢ画像基準相互相関値を算出する（Ｂ画像基準相互相関演算処理）。具体的には、第２相関算出部１１３は、ステップＳ３１１の基準画像と参照画像とで、Ａ画像とＢ画像とを逆にして同様の処理を行う。または、ステップＳ３１１で求めたＡ画像基準相互相関値を利用してＢ画像基準相互相関値を算出してもよい。位置を（ｘ、ｙ）、参照画像の移動量を（ａ、０）としたときのＡ画像基準相互相関値は、位置（ｘ＋ａ、ｙ）、参照画像の移動量（－ａ、０）のＢ画像基準相互相関値と同じ値になる。この二つは差分をとっている画像が同じになるためにこのようなことが発生する。つまり、Ａ画像基準相互相関値を並び替えることによってＢ画像基準相互相関値を算出することができる。

続いてステップＳ３１４において、第２視差算出部１１４は、Ｂ画像基準視差算出処理を行う。ステップＳ３１４では既知の任意の手法により、Ｂ画像を基準とした時の視差量（Ｂ画像基準視差）を算出する。例えば、Ｂ画像基準相互相関値が最小になる位置を視差量としてもよい。または、サブピクセル推定を行って小数画素単位の視差を求めてもよい。

本実施形態の信頼度算出装置１１０は、視差の探索方向が一次元であるが、二次元以上での探索を行っても構わない。その際には、公知のいかなる手法を利用して次元を拡張しても構わない。例えば、二次元同時推定法に本実施形態の信頼度算出装置１１０を応用しても構わない。この手法では、ｘとｙ二つの方向の視差を得ることができる。そのようにして取得した二つの視差に対して、それぞれ後述するステップＳ３１５の処理を行うことでそれぞれの信頼度を算出することができる。

なお本実施形態において、ステップＳ３１０～Ｓ３１４の処理は、前述の方法に限定されるものではなく、Ａ画像基準視差とＢ画像基準視差が算出できれば他の方法を用いてもよい。例えば、機械学習等で視差の算出方法を学習させ、それぞれの視差を算出してもよい。または、信頼度算出装置１１０の外部に視差算出部を設け、そこからの視差情報を受け取るだけでもよい。

続いてステップＳ３１５において、比較部１１５は、視差変化率比較処理を行う。すなわち比較部１１５は、ステップＳ３１２とステップＳ３１４で求めた二つの視差値に対して注目画素周辺での視差変化の急峻性を求め、それを比較することで信頼度を算出する。

ここで、図５（Ａ）～（Ｄ）を参照して、遠近競合領域での視差の特徴について説明する。図５（Ａ）～（Ｄ）は、遠近競合領域での視差変化の説明図である。

図５（Ａ）、（Ｂ）は、撮像装置１００を用いて取得したＡ画像５０１ＡまたはＢ画像５０１Ｂを示す。Ａ画像およびＢ画像内には、５１１Ａ、５１１Ｂで示される物体１と５１２Ａ、５１２Ｂで示される物体２が存在する。物体１上の一部に５１３で示されるテクスチャが存在する。テクスチャ５１３は視点の違いにより、Ａ画像５０１Ａのみで観測される（オクルージョン部にテクスチャ５１３が存在する）。物体１、物体２のＡ画像基準視差をｄｉｓｐ１、ｄｉｓｐ２とすると、それぞれのＢ画像基準視差は－ｄｉｓｐ１、－ｄｉｓｐ２となる。５２０は、基準画像の画像サイズを示す。

図５（Ｃ）、（Ｄ）は、遠近競合領域の探索方向を図５（Ａ）、（Ｂ）上でのｘ方向に設定した際の、画素位置と視差との関係を示す。図５（Ｃ）で示されるＡ画像基準視差は、基準画像が全て物体１に存在するときには視差がｄｉｓｐ１と算出される。基準画像がオクルージョン部にかかる領域５３１では、基準画像と一致する領域がＢ画像中に存在しなくなるため、算出される視差値に誤差を含みやすくなる。特に基準画像の大部分がオクルージョン部にあたる場合には、大きく異なる視差値が算出される可能性が高い。なお、領域５３１で示した視差値はイメージであり、必ずしも図示したような変化が起こるわけではない。基準画像がオクルージョン部を抜けると、視差はｄｉｓｐ２と算出される。

一方、図５（Ｄ）で示されるＢ画像基準視差は、基準画像が全て物体１に存在するときには視差が－ｄｉｓｐ１と算出される。基準画像が物体１と物体２を両方含むようになる領域５３１では、基準画像と一致する領域がＡ画像中に存在しなくなるため、算出される視差値に誤差を含みやすくなる。しかし、Ａ画像基準の場合と違い、そのテクスチャはＡ画像のどこかでは存在するため、大きな誤差を含むことは少ない。－ｄｉｓｐ１から－ｄｉｓｐ２まで、基準画像内のテクスチャの割合で視差が徐々に変化していく。基準画像が全て物体２に存在する場合、視差は－ｄｉｓｐ２と算出される。以降、画素位置ｘでのＡ画像基準視差をＤａ（ｘ）、Ｂ画像基準視差をＤｂ（ｘ）とする。

次に、遠近競合が起きていない状態でのＡ画像基準視差とＢ画像基準視差の関係について説明する。５４１Ａで示される位置のＡ画像基準視差は、Ｄａ（ｘ１）＝ｄｉｓｐ１である。この視差値は正しく物体１の視差値を示している。これに対応するＢ画像基準視差の画素位置はｘ１＋ｄｉｓｐ１で、５４１Ｂで示される。このとき、Ｄｂ（ｘ１＋ｄｉｓｐ１）＝－ｄｉｓｐ１となる。このように対応する視差値を足し合わせた際に０になる場合、この視差値は遠近競合が発生しておらず、信頼できると判定される。

次に、遠近競合が起きている状態でのＡ画像基準視差とＢ画像基準視差の関係について説明する。５４２Ａで示される位置のＡ画像基準視差は、Ｄａ（ｘ２）＝ｄｉｓｐ３である。この視差値は物体２の視差値ではなく、遠近競合による誤差の生じている値である。これに対応するＢ画像基準視差の画素位置はｘ１＋ｄｉｓｐ３で、５４２Ｂで示される。このとき、Ｄｂ（ｘ１＋ｄｉｓｐ３）＝－ｄｉｓｐ１となる。このように対応する視差値を足し合わせた際に０にならない場合、この視差値は遠近競合が発生しており、信頼できないと判定される。

次に、図６（Ａ）～（Ｄ）を参照して、本実施形態において解決すべき課題について説明する。図６（Ａ）～（Ｄ）は、遠近競合領域での視差変化の説明図であり、本実施形態において解決すべき課題を説明するための図である。

図６（Ａ）、（Ｂ）は、撮像装置１００を用いて取得したＡ画像５０１ＡまたはＢ画像５０１Ｂを示す。Ａ画像５０１ＡおよびＢ画像５０１Ｂはそれぞれ、図５（Ａ）、（Ｂ）に示されるＡ画像５０１およびＢ画像５０１Ｂと同様である。６１０は、基準画像の画像サイズを示し、図５（Ａ）に示される画像サイズ５２０よりも大きい。

図６（Ｃ）、（Ｄ）は、遠近競合領域の探索方向を図６（Ａ）、（Ｂ）上でのｘ方向に設定した際の、画素位置と視差との関係を示す。図６（Ｃ）に示されるＡ画像基準視差は、基準画像が全て物体１に存在するときには視差がｄｉｓｐ１と算出される。基準画像がオクルージョン部にかかる領域６２１では、基準画像と一致する領域がＢ画像中に存在しなくなるため、算出される視差値に誤差を含みやすくなる。しかし、基準画像の画像サイズがオクルージョン領域よりも大きいことから基準画像の一部のテクスチャはＢ画像中に存在する。そのため、大きな誤差を含むことは少ない。ｄｉｓｐ１からｄｉｓｐ２まで、基準画像内のテクスチャの割合で視差が徐々に変化していく。基準画像がオクルージョン部を抜けると、視差はｄｉｓｐ２と算出される。

一方、図６（Ｄ）に示されるＢ画像基準視差は、基準画像が全て物体１に存在するときには視差が－ｄｉｓｐ１と算出される。基準画像が物体１と物体２を両方含む領域６２２では、基準画像と一致する領域がＡ画像中に存在しなくなるため、算出される視差値に誤差を含みやすくなる。前述の通り、そのテクスチャはＡ画像のどこかでは存在するため、大きな誤差を含むことは少ない。－ｄｉｓｐ１から－ｄｉｓｐ２まで、基準画像内のテクスチャの割合で視差が徐々に変化していく。基準画像が全て物体２に存在するときには視差は－ｄｉｓｐ２と算出される。

次に、遠近競合が起きている状態でのＡ画像基準視差とＢ画像基準視差の関係について説明する。なお、遠近競合が起きていない状態でのＡ画像基準視差とＢ画像基準視差との関係は、図５（Ｃ）、（Ｄ）と同様である。６３１Ａで示される位置のＡ画像基準視差は、Ｄａ（ｘ２）＝ｄｉｓｐ４である。この視差値は、物体１と物体２の間の視差値で遠近競合による誤差の生じている値である。これに対応するＢ画像基準視差の画素位置はｘ１＋ｄｉｓｐ４で、６３１Ｂで示される。このとき、Ｄｂ（ｘ１＋ｄｉｓｐ４）＝－ｄｉｓｐ４となる。このように対応する視差値を足し合わせた際に０になる。このように、Ｄａ（ｘ２）は遠近競合による誤差が発生しているにもかかわらず、誤って信頼できると判定されてしまう。

このように、オクルージョンよりも基準画像の画像サイズが大きい場合に、対応する視差値の比較を行うと誤った遠近競合領域の判定がされてしまう。この判定の間違いは基準画像の画像サイズが大きい場合以外にも、撮像部の基線長が短い場合にも発生する。

次に、図７を参照して、ステップＳ３１５の処理（視差変化率比較処理）について説明する。図７は、視差変化率比較処理の説明図であり、図６（Ｃ）、（Ｄ）に示されるＡ画像基準視差とＢ画像基準視差を同じ軸上に表したものである。Ａ画像基準視差で視差変化が開始する画素位置からＢ画像基準視差で視差変化が開始する画素位置までの距離７０１は、Ａ画像とＢ画像での物体１のエッジの位置のズレ量を示すため、ｄｉｓｐ１である。同様に、Ａ画像基準視差で視差変化が終了する画素位置からＢ画像基準視差で視差変化が終了する画素位置までの距離７０２は、Ａ画像とＢ画像両方に観測される物体２のテクスチャの境界位置のズレ量を示すため、ｄｉｓｐ２である。また、Ｂ画像基準視差で視差変化が起こる領域の幅をＷとすると、Ａ画像基準視差で視差変化が起こる領域の幅はＷ＋Ｄである。ここで、Ｄはｄｉｓｐ１とｄｉｓｐ２の視差差の絶対値とする。また、Ｗは物体境界の形状、基準画像の画素サイズ、ステップＳ３１０でバンドパスフィルタやローパスフィルタを実施した場合にはそのフィルタサイズ等によって決まる値である。

Ａ画像基準視差での視差変化の急峻性ＳａとＢ画像基準視差での視差変化の急峻性Ｓｂは、以下の式（１）および式（２）を用いて算出される。

遠近競合領域の発生していない位置では、Ａ画像基準視差とＢ画像基準視差の視差の正負が逆転し絶対値が同じ値になるため、視差の急峻性Ｓａ、Ｓｂは同じ性質を持つ。つまり、Ｓａ＋Ｓｂ＝０となる。以降では、この状態を視差の急峻性Ｓａ、Ｓｂが一致していると呼ぶ。遠近競合領域では、式（１）および式（２）のようにＳａ＋Ｓｂ≠０となり、視差の急峻性が一致していない。このように、視差の急峻性を比較することで遠近競合領域か否かを判定することが可能である。本実施形態では、視差の急峻性が一致しない場合に近競合領域と判定している。すなわち比較部１１５は、注目画素の位置周辺での第１視差の視差変化の急峻性を表す視差変化率と、第２視差の視差変化の急峻性を表す視差変化率とを比較して、信頼度を判定する。

次に、図８を参照して、本実施形態のステップＳ３１５の具体的な方法について説明する。図８は、視差変化率比較処理の説明図であり、図７と同じ画素位置のＡ画像基準視差（第１視差）とＢ画像基準視差（第２視差）とを加算した視差（Ａ＋Ｂ視差）を一点鎖線で追加したものである。

遠近競合領域の判定を行う画素（注目画素）を８１０とする。評価には、評価値８０１を利用する。これは、画素８１０周辺のＡ＋Ｂ視差の最大値と最小値の差である。評価値８０１が所定値以上である場合、遠近競合領域と判定する。評価値８０１は視差の急峻性がＡ画像基準視差とＢ画像基準視差で違うほど大きくなる値であり、視差の急峻性の一致を判定していることと同じ意味を持つ。

評価値８０１をＥとするとき、評価値Ｅは、以下の式（３）を用いて算出される。

視差差Ｄを一定としたときの評価値Ｅ’はｄｉｓｐ２＝０の時最小値をとり、その値はＤ×Ｄ÷（Ｗ＋Ｄ）となる。ｄｉｓｐ１やｄｉｓｐ２の大小関係や正負を変えた場合にも、視差差がＤの場合には、評価値はＤ×Ｄ÷（Ｗ＋Ｄ）以上の値となる。視差に含まれる誤差量が予め推定できる場合にはその量を閾値と設定してもよい。このように、比較部１１５は、注目画素の位置周辺で同じ画素位置の第１視差と第２視差との加算値（Ａ＋Ｂ視差）を算出し、加算値の最大値と最小値との差が所定の差よりも大きい場合、注目画素での視差の信頼度が低いと判定する。

または、Ａ＋Ｂ視差の最大値と最小値の差を評価値とするのではなく、Ａ画像基準視差とＢ画像基準視差の注目画素周辺の視差変化を直線で推定し、その傾きを比較してもよい。遠近競合発生時に、Ａ画像基準視差とＢ画像基準視差で視差変化の傾きは異なる。例えば、図７ではこれらの傾き（第１傾き、第２傾き）が急峻性Ｓａ、Ｓｂに相当する。これらの傾きの違いを評価値として利用することにより、遠近競合領域の判定を行うことができる。すなわち比較部１１５は、注目画素の位置周辺での第１視差の視差変化を直線で内挿した際の第１傾きと、第２視差の視差変化を直線で内挿した際の第２傾きとが異なる場合、注目画素での視差の信頼度が低いと判定する。

または、Ａ＋Ｂ視差の最大値と最小値の差を評価値とするのではなく、Ａ画像基準視差とＢ画像基準視差の視差変化の幅を比較してもよい。遠近競合発生時に、Ａ画像基準視差とＢ画像基準視差で視差変化の発生する領域の幅（第１領域と第２領域の大きさ）は異なる。例えば、図７ではその幅がＷとＷ＋Ｄとなっている。これらの幅の違いを評価値として利用することにより、遠近競合領域の判定を行うことができる。視差変化の発生する領域の幅の推定には公知のいかなる手法を用いても構わない。例えば、視差変化を直線でフィッティングし、その始点から終点までの距離を求めてもよい。すなわち比較部１１５は、第１視差の視差変化のある第１領域の大きさと、第２視差の視差変化のある第２領域の大きさとが異なる場合、注目画素での視差の信頼度が低いと判定する。

また、Ａ画像基準視差とＢ画像基準視差のいずれかの視差変化の幅は視差に関わらず一定の値となる。この値（第１領域または第２領域の大きさ）をＷｃとする。物体境界の形状が遠近競合領域の判定方向に垂直である場合、その大きさは、基準画像の画素サイズＢＳと、ステップＳ３１０で実施したバンドパスフィルタやローパスフィルタなどのフィルタのフィルタサイズＦＳとで決まる値である。具体的には、Ｗｃ＝ＢＳ＋ＦＳとなる。よって、視差変化領域の幅を推定した後にＷｃとの比較を行って推定結果の妥当性を判定する処理を行ってもよい。また、その結果に基づき、再度、視差変化領域の幅の推定を行ってもよい。すなわち比較部１１５は、信頼度の判定の妥当性を判定する。また比較部１１５は、第１領域または第２領域の大きさが、基準画像の大きさ、第１画像および第２画像に適用されたフィルタの大きさ、または被写体のテクスチャの少なくとも一つに基づく値と一致するか否かに基づいて、妥当性を判定する。

本実施形態において、視差補正部１３０は、信頼度に基づいて視差を補正するが、これに限定されるものではない。例えば、視差補正部１３０は、視差を補正することなく、信頼度が高いと判定された視差のみを抽出する抽出手段としての機能を有してもよい。本実施形態の信頼度算出装置１１０は、Ａ画像基準視差とＢ画像基準視差の視差変化の急峻性を比較することで遠近競合領域を判定する。このような処理によれば、オクルージョンと視差算出時の基準画像の画像サイズの関係性によらず、遠近競合領域を判定することができる。その結果、視差算出時の基準画像の画像サイズが大きい場合や撮像部の基線長が短い場合でも正しく遠近競合領域の判定を行うことができる。

（第２実施形態）
次に、図９を参照して、本発明の第２実施形態における撮像装置９００について説明する。図９は、撮像装置９００の概略図である。なお図９において、図１（Ａ）を参照して説明した撮像装置１００と同一の部分については、同じ番号を付してそれらの説明を省略する。

撮像装置９００は、信頼度算出装置（画像処理装置）１１０と撮像部（撮像手段）９２０と視差補正部（距離算出部）１３０とを備える。撮像部９２０は、撮像素子（第１撮像素子）９２１と撮像素子（第２撮像素子）９２２、および、光学系（第１光学系）９２３および光学系（第２光学系）９２４を備える。光学系９２３、９２４はそれぞれ、撮像装置９００の撮像レンズ（撮像光学系）である。光学系９２３は、被写体の像を撮像素子９２１に形成する。光学系９２４は、被写体の像を撮像素子９２２に形成する。光学系９２３、９２４は、複数のレンズ群（不図示）および絞り（不図示）等から構成され、撮像素子９２１または撮像素子９２２から所定距離だけ離れた位置に射出瞳９２５または射出瞳９２６を有する。９４１、９４２はそれぞれ、光学系９２３、９２４の光軸である。このような構成により、撮像素子９２１、９２２は、視差を有する第１画像と第２画像とをそれぞれ取得する。

光学系９２３、９２４の位置関係などのパラメータを事前に校正しておくことで、正確に画像間の視差を算出することができる。また、光学系９２３、９２４のそれぞれでレンズ歪みの補正を行うことにより、正確に画像間の視差を算出することができる。この場合、基線長の設計自由度が向上し、測距分解能を向上することができる。

なお本実施形態では、距離に応じた視差を有するＡ画像とＢ画像を取得する二つの光学系９２３、９２４が設けられているが、三つ以上の光学系とそれに対応する三つ以上の撮像素子とから構成されたステレオカメラで構成されてもよい。

各実施形態において、測距装置の他に、コンピュータプログラムをも包含する。本実施形態のコンピュータプログラムは、距離あるいは視差量の算出のために、コンピュータに所定の工程を実行させるものである。本実施形態のプログラムは、測距装置またはそれを備えるデジタルカメラ等の撮像装置のコンピュータにインストールされる。インストールされたプログラムがコンピュータによって実行されることにより上記の機能が実現され、高速で高精度な視差の算出が可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、基線長が短い撮像装置で撮影された画像を利用した場合や視差算出時に大きいブロックサイズでブロックマッチングを行った場合にも、算出された視差に対して遠近競合領域か否かの判定を行い、信頼度を算出することができる。このため各実施形態によれば、高精度で遠近競合領域を判定することが可能な画像処理装置、撮像装置、制御方法、プログラム、および記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１１０ 信頼度算出装置（画像処理装置）
１１２ 第１視差算出部（取得手段）
１１４ 第２視差算出部（取得手段）
１１５ 比較部（判定手段）

Claims (16)

1. 視差を有する第１画像と第２画像とに基づいて算出された視差の信頼度を判定する画像処理装置であって、
   前記第１画像に基準画像を設定して算出された前記第２画像との第１視差と、前記第２画像に基準画像を設定して算出された前記第１画像との第２視差とを取得する取得手段と、
   注目画素の信頼度を判定する判定手段と、を有し、
   前記判定手段は、前記注目画素の位置周辺での前記第１視差の視差変化の急峻性を表す視差変化率と、前記第２視差の視差変化の急峻性を表す視差変化率とを比較して、前記信頼度を判定することを特徴とする画像処理装置。
2. 前記判定手段は、前記注目画素の位置周辺での前記第１視差の視差変化を直線で内挿した際の第１傾きと、前記第２視差の視差変化を直線で内挿した際の第２傾きとが異なる場合、前記注目画素での視差の信頼度が低いと判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記注目画素の位置周辺で同じ画素位置の前記第１視差と前記第２視差との加算値を算出し、前記加算値の最大値と最小値との差が大きい場合、前記注目画素での視差の信頼度が低いと判定することを特徴とする請求項１に記載の画像処理装置。
4. 前記判定手段は、前記第１視差の視差変化のある第１領域の大きさと、前記第２視差の視差変化のある第２領域の大きさとが異なる場合、前記注目画素での視差の信頼度が低いと判定することを特徴とする請求項１に記載の画像処理装置。
5. 前記判定手段は、前記信頼度の判定の妥当性を判定することを特徴とする請求項４のいずれか一項に記載の画像処理装置。
6. 前記判定手段は、前記第１領域または前記第２領域の大きさが、前記基準画像の大きさ、前記第１画像および前記第２画像に適用されたフィルタの大きさ、または被写体のテクスチャの少なくとも一つに基づく値と一致するか否かに基づいて、前記妥当性を判定することを特徴とする請求項５に記載の画像処理装置。
7. 前記信頼度が高いと判定された視差のみを抽出する抽出手段を更に有することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記信頼度が低いと判定された視差を補正する補正手段を更に有することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
9. 前記補正手段は、前記注目画素において前記信頼度が低いと判定された場合、前記注目画素の近傍の画素の視差を用いて補間を行うことを特徴とする請求項８に記載の画像処理装置。
10. 前記補正手段は、前記注目画素において前記信頼度が低いと判定された場合、前記第１画像および前記第２画像の撮影時刻に近い画像の視差を用いて補間を行うことを特徴とする請求項８に記載の画像処理装置。
11. 撮像手段と、
    請求項１乃至１０のいずれか一項に記載の画像処理装置と、を有することを特徴とする撮像装置。
12. 前記撮像手段は、光学系と撮像素子とを有し、
    前記光学系は、被写体の像を前記撮像素子に形成し、
    前記撮像素子は、前記第１画像を取得する第１光電変換部と、前記第２画像を取得する第２光電変換部とをそれぞれ複数有することを特徴とする請求項１１に記載の撮像装置。
13. 前記撮像手段は、
    第１撮像素子と、
    被写体の像を前記第１撮像素子に形成する第１光学系と、
    第２撮像素子と、
    被写体の像を前記第２撮像素子に形成する第２光学系と、を有し、
    前記第１撮像素子は前記第１画像を取得し、前記第２撮像素子は前記第２画像を取得することを特徴とする請求項１１に記載の撮像装置。
14. 視差を有する第１画像と第２画像とに基づいて算出された視差の信頼度を判定する制御方法であって、
    前記第１画像に基準画像を設定して算出された前記第２画像との第１視差と、前記第２画像に基準画像を設定して算出された前記第１画像との第２視差とを取得する取得ステップと、
    注目画素の信頼度を判定する判定ステップと、を有し、
    前記判定ステップにおいて、前記注目画素の位置周辺での前記第１視差の視差変化の急峻性を表す視差変化率と、前記第２視差の視差変化の急峻性を表す視差変化率とを比較して、前記信頼度を判定することを特徴とする制御方法。
15. 請求項１４に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
16. 請求項１５に記載のプログラムを記憶していることを特徴とするコンピュータが読み取り可能な記憶媒体。