JP2014027441A - 情報処理装置、情報処理方法、プログラム及び撮像装置 - Google Patents

Abstract

【課題】立体映像等の高品質な撮影が可能となる情報処理装置、情報処理方法、プログラム及び撮像装置を提供することにある。
【解決手段】本技術の一形態に係る情報処理装置は、入力部と、検出部と、判定部と、設定部とを具備する。前記入力部は、互いに視差を有する第１の画像と第２の画像とを入力する。前記検出部は、前記第１の画像の点を注目点として、前記注目点に対応する前記第２の画像の対応点を検出する。前記判定部は、前記検出された対応点の、前記注目点との対応に関する信頼度を判定する。前記設定部は、前記判定された信頼度が所定より低い前記対応点を、前記視差を算出する処理に関して無効の点として設定する。
【選択図】図３

Description

本技術は、立体映像等の撮影に用いられる情報処理装置、情報処理方法、プログラム及び撮像装置に関する。

特許文献１には、３Ｄ画像を簡単に撮影するための画像処理装置が記載されている。この画像処理装置では、３Ｄ画像を表示するための左目用画像と右目用画像との視差が検出される。当該画像間の視差が予め設定された範囲を超えている場合、警告メッセージがリアルタイムに表示される。これにより撮影者は、左目用画像と右目用画像との視差を適切に設定しながら簡単に撮影を行うことが可能となる（特許文献１の段落［００５７］−［００７６］等参照）。

特開２０１２−８３４１２号公報

このように立体視可能な画像や映像等を撮影するための有用な技術が求められている。

以上のような事情に鑑み、本技術の目的は、立体映像等の高品質な撮影が可能となる情報処理装置、情報処理方法、プログラム及び撮像装置を提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、入力部と、検出部と、判定部と、設定部とを具備する。
前記入力部は、互いに視差を有する第１の画像と第２の画像とを入力する。
前記検出部は、前記第１の画像の点を注目点として、前記注目点に対応する前記第２の画像の対応点を検出する。
前記判定部は、前記検出された対応点の、前記注目点との対応に関する信頼度を判定する。
前記設定部は、前記判定された信頼度が所定より低い前記対応点を、前記視差を算出する処理に関して無効の点として設定する。

この情報処理装置では、第１の画像の注目点に対応する第２の画像の対応点が検出される。また注目点と対応点との対応に関する信頼度が判定される。信頼度が所定よりも低い対応点が、視差を算出する処理に関して無効の点として設定される。これにより例えば視差の算出等を高い精度で実行することができる。この結果、立体映像等の高品質な撮影が可能となる。

前記検出部は、前記第２の画像のエピポーラ線上に並ぶ複数の点を複数の候補点として、前記複数の候補点のそれぞれについて前記注目点との類似度を算出し、前記算出された類似度が最も高い前記候補点を前記対応点として検出してもよい。この場合、前記判定部は、前記複数の候補点のそれぞれについて算出された前記類似度の分布をもとに、前記検出された前記対応点の前記信頼度を判定してもよい。
この情報処理装置では、対応点を検出するために複数の候補点について類似度が算出される。そして算出された類似度の分布をもとに対応点の信頼度が判定される。

前記検出部は、前記注目点を基準とした所定の大きさの領域である注目点領域と、前記候補点を基準とした所定の領域である候補点領域との類似度を、前記候補点ごとの前記注目点との類似度として算出してもよい。
このように注目点領域と候補点領域との類似度が、候補点ごとの類似度として算出されてもよい。

前記検出部は、前記注目点領域の各画素の輝度と、前記候補点領域の各画素の輝度との差分絶対値和を前記類似度として算出し、前記算出された差分絶対値が最も小さい前記候補点領域の基準となる前記候補点を前記対応点として検出してもよい。
このように差分絶対値和が類似度として算出されてもよい。例えば差分絶対値和の符号を反転した値が類似度として用いられる。

前記判定部は、前記複数の候補点のそれぞれについて算出された前記類似度の平均値と、前記類似度の最小値との差をもとに前記信頼度を判定してもよい。
これにより類似度の平均値と最小値とを用いた簡単な計算で信頼度を判定することが可能となる。

前記情報処理装置は、生成部をさらに具備してもよい。
前記生成部は、前記第１の画像のエッジを抽出した第１のエッジ抽出画像と、前記第２の画像のエッジを抽出した第２のエッジ抽出画像とをそれぞれ生成可能である。
この場合、前記検出部及び前記判定部は、前記第１及び前記第２のエッジ抽出画像を用いて、前記対応点の検出及び前記信頼度の判定をそれぞれ実行してもよい。
このように第１及び第２のエッジ抽出画像が用いられることで、高い精度で対応点の検出及び信頼度の判定を実行することが可能となる。

本技術の一形態に係る情報処理方法は、コンピュータにより実行され、互いに視差を有する第１の画像と第２の画像とを入力することを含む。
前記第１の画像の点を注目点として、前記注目点に対応する前記第２の画像の対応点が検出される。
前記検出された対応点の、前記注目点との対応に関する信頼度が判定される。
前記判定された信頼度が所定より低い前記対応点が、前記視差を算出する処理に関して無効の点として設定される。

本技術の一形態に係るプログラムは、以下のステップをコンピュータに実行させる。
互いに視差を有する第１の画像と第２の画像とを入力するステップ。
前記第１の画像の点を注目点として、前記注目点に対応する前記第２の画像の対応点を検出するステップ。
前記検出された対応点の、前記注目点との対応に関する信頼度を判定するステップ。
前記判定された信頼度が所定より低い前記対応点を、前記視差を算出する処理に関して無効の点として設定するステップ。

本技術の一形態に係る撮像装置は、撮像部と、検出部と、判定部と、設定部とを具備する。
前記撮像部は、互いに視差を有する第１の画像と第２の画像とを撮影する。
前記検出部は、前記第１の画像の点を注目点として、前記注目点に対応する前記第２の画像の対応点を検出する。
前記判定部は、前記検出された対応点の、前記注目点との対応に関する信頼度を判定する。
前記設定部は、前記判定された信頼度が所定より低い前記対応点を、前記視差を算出する処理に関して無効の点として設定する。

以上のように、本技術によれば、立体映像等の高品質な撮影が可能となる。

本技術の第１の実施形態に係る撮像装置の構成例を示す模式的な図である。 図１に示す視差算出部の構成例を示す図である。 本実施形態に係る撮像装置の動作例を示すフローチャートである。 左目画像及び右目画像の一例を示す模式的な図である。 算出されたＳＡＤ値の分布例を示すグラフである。 算出されたＳＡＤ値の分布例を示すグラフである。 ＳＡＤ値が図５に示すような分布になる場合の一例を示す図である。 ＳＡＤ値が図６に示すような分布になる場合の一例を示す図である。 類似度（ＳＡＤ値）の分布例を示す写真である。 視差が色表示された画像の一例を示す模式的な図である。 対応画素の誤検出による誤った警告表示の一例を示す模式的な図である。 画素ごとに算出される信頼度の分布を示す模式的な図である。 本技術の第２の実施形態に係る視差算出部の構成例を示す図である。 本技術に係る一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
［撮像装置の構成］
図１は、本技術の第１の実施形態に係る撮像装置の構成例を示す模式的な図である。撮像装置１００は、左目画像と右目画像とを含むステレオ立体画像を撮影する。

撮像装置１００は、左目画像及び右目画像を撮影する撮像部１０と、撮影された画像を処理する情報処理部２０とを有する。この情報処理部２０が撮像部１０と別体で設けられ、本実施形態に係る情報処理装置として動作してもよい。

撮像部１０は、左目画像を撮影する第１のカメラ１１と、右目画像を撮影する第２のカメラ１２とを有する。第１及び第２のカメラ１１及び１２は、水平方向において例えば４５ｍｍ程度の間隔で配置される。また第１及び第２のカメラ１１及び１２は、それぞれ撮影角度を調整可能である。

第１及び第２のカメラ１１及び１２が適宜制御されることで、互いに視差を有する左目画像及び右目画像が撮影される。なお本実施形態では、左目画像は第１の画像に相当する。また右目画像は第２の画像に相当する。

第１及び第２のカメラ１１及び１２は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を撮像素子として有する。第１及び第２のカメラ１１及び１２の構成や、ステレオ立体画像を撮影するための設定等は限定されない。

情報処理部２０は、画像入力部２１と、前処理部２２と、視差算出部２３と、後処理部２４と、視差出力部２５とを有する。

画像入力部２１は、左目画像及び右目画像を入力する。前処理部２２は、左目画像及び右目画像への前処理を実行する。例えばカラー画像からグレイスケール画像への変換や、スケーリングやノイズ処理等が前処理として実行される。その他の処理が前処理として実行されてもよい。

視差算出部２３は、左目画像と右目画像との視差を算出する。両画像間の視差は、画像内の画素ごとに算出される。

後処理部２４は、算出された画素ごとの視差への後処理を実行する。例えば極端な値を取り除くための平滑化等の処理が後処理として実行される。後処理が行われた視差は視差出力部２５へ出力される。

本実施形態では、視差算出部２３により、画素ごとに算出された視差の有効性が判定される。そして無効なものと判定された視差は後処理部に出力されず、代わりに「視差値無効」を意味する信号が出力される。視差算出部２３は、本実施形態における検出部、判定部及び設定部として機能する。

なお視差の有効性とは、後述するように、視差を算出するために右目画像から検出された対応点の信頼度により判定される。例えば対応点の信頼度が所定の閾値より高い場合、算出された視差は有効と判定される。一方、対応点の信頼度が所定の閾値より低い場合、算出された視差は無効と判定される。

図２は、視差算出部２３の構成例を示す図である。視差算出部２３は、ＳＡＤ（Sum of Absolute Difference：差分絶対値和）計算部２６と、視差探索部２７と、信頼度計算部２８と、判定部２９とを有する。

ＳＡＤ計算部２６は、左目画像の注目点領域と、右目画像の候補点領域とのＳＡＤ値（差分絶対値和）を算出する。具体的には、ＳＡＤ計算部２６により、注目点領域の各画素の輝度と、候補点領域の各画素の輝度とのＳＡＤ値が算出される。

注目点領域は、左目画像に設定される注目点を基準とした所定の大きさの領域である。注目点は、左目画像の全ての画素に対して順次設定される。

候補点領域は、右目画像の候補点を基準とした所定の大きさである。候補点とは、注目点に設定された画素に対応する画素（対応点）の候補となる画素である。本実施形態では、１つの注目点に対して複数の候補点が設定される。そして各候補点に対して候補点領域が設定される。

視差探索部２７は、注目点に対応する右目画像の対応点を検出し、２つの点の位置をもとに視差値を算出する。本実施形態では、エピポーラ線に沿って水平方向に並ぶ複数の点が複数の候補点として設定される。これら複数の候補点のそれぞれについて注目点との類似度が算出される。そして複数の候補点のうち最も類似度が高い候補点が対応点として検出される。なおエピポーラ線上の点が並ぶ方向は水平方向に限定されない。

本実施形態では、ＳＡＤ計算部２６により算出されたＳＡＤ値が上記類似度として用いられる。ＳＡＤ値が小さいほど、注目点領域と候補点領域との類似度が高くなる。従ってＳＡＤ値の符号を反転した値が類似度として用いられる。算出されたＳＡＤ値が最も小さい（信頼度が最も高い）候補点領域の基準となっている候補点が対応点として検出される。算出された視差値は、判定部２９に出力される。

信頼度計算部２８は、視差探索部２７により検出された対応点の、注目点との対応に関する信頼度を算出する。ここで算出された信頼度が判定されることで、視差探索部２７で算出された視差値の有効性が判定される。

本実施形態では、複数の候補点のそれぞれについて算出されたＳＡＤ値の分布をもとに、信頼度が算出される。具体的には、ＳＡＤ値の平均値と最小値との差が信頼度として算出される。算出された信頼度は判定部２９に出力される。

判定部２９は、信頼度計算部２８により算出された信頼度の高さを判定する。信頼度が所定よりも高い場合は、検出された対応点は有効と判定されて視差値が出力される。信頼度が所定よりも低い場合は、検出された対応点が視差を算出する処理に関して無効の点として設定される。そして視差値の代わりに「視差値無効」を意味する信号が出力される。

本実施形態では、ＳＡＤ計算部２６及び視差探索部２７が動作することにより、検出部が実現される。また信頼度計算部２８及び判定部２９が動作することにより、判定部及び設定部が実現される。

［撮像装置の動作］
図３は、本実施形態に係る撮像装置１００の動作例を示すフローチャートである。第１及び第２のカメラ１１及び１２により撮影された左目画像及び右目画像が、画像入力部２１に入力される（ステップ１０１）。

図４は、左目画像及び右目画像の一例を示す模式的な図である。図４（Ａ）が左目画像３０であり、図４（Ｂ）が右目画像４０である。左目画像３０及び右目画像４０は互いに視差を有するように撮影される。

両画像間の視差は、例えばコンバージェンスポイント（輻輳点）と被写体との位置関係により変わってくる。コンバージェンスポイントは、第１及び第２のカメラ１１及び１２の各撮影光軸が交差する点である。コンバージェンスポイントが適宜設定されることで、撮影された被写体の立体感（奥行きや飛び出し）が調整される。例えば、コンバージェンスポイントより後ろにある被写体は奥まって表示され、コンバージェンスポイントより手前にある被写体は飛び出して表示される。

図４に示す例では、左から２番目の被写体３１の位置が、コンバージェンスポイントと略同様になるように撮影されている。従って被写体３１が写っている画素に関しては、左目画像３０と右目画像４０との間に視差はほとんどない。

一番左に位置する被写体３２は、コンバージェンスポイントよりも手前の位置で撮影されている。従って右目画像４０の被写体３２は、左目画像３０よりも左側（ｘ軸の負の方向）にずれて撮影されている。すなわち、被写体３２が写っている画素に関しては、右目画像４０の左側に向けて視差が生じている。

左から３番目の被写体３３は、コンバージェンスポイントよりも奥の位置で撮影されている。従って右目画像４０の被写体３３は、左目画像３０よりも右側（ｘ軸の正の方向）にずれて撮影されている。すなわち、被写体３３が写っている画素に関しては、右目画像４０の右側に向けて視差が生じている。

図４に示すように、左目画像３０から注目点となる注目画素３４が選択される（ステップ１０２）。注目画素３４は順次選択されるが、その順番等は限定されない。例えば左目画像３０の一番左上の画素から右下に向けてラスタースキャン順に注目画素３４が選択される。

右目画像の視差探索範囲３５内にある複数の候補画素３６と、注目画素３４との類似度が算出される（ステップ１０３）。図４に示すように、視差探索範囲３５は、注目画素３４に対応するエピポーラ線３７上で予め定められた範囲である。視差探索範囲３５内でエピポーラ線３７上に水平方向で並ぶ複数の画素が、複数の候補画素３６となる。以後、視差探索範囲３５を、探索範囲３５と記載する。

探索範囲３５は、例えば注目画素３４の座標を基準として設定される。本実施形態では、注目画素３４の座標と同じ点３８の前後の最大６４画素分が探索範囲３５となる。なお探索範囲３５の設定方法は限定されず、例えば撮影者により探索範囲が設定されたり、コンバージェンス距離によって自動設定されてもよい。

注目画素３４を基準として注目点領域３９が設定される。本実施形態では、注目画素３４を中心とするＭ×Ｎ画素の領域が注目点領域３９として設定される。例えば縦３画素×横５画素の領域が注目点領域３９として設定される。注目点領域３９の大きさや設定方法は限定されない。左目画像３０の大きさや被写体の種類、又は撮影者からの指示等により適宜設定されてよい。

候補画素３６ごとに、候補画素３６を基準とした候補点領域４１が設定される。候補画素３６を中心としたＭ×Ｎ画素の領域が候補点領域４１として設定される。候補点領域４１は、注目点領域３９と同じ大きさで設定される。そして以下の式により注目点領域３９と候補点領域４１とのＳＡＤ値が算出される。

Ｚ１及びＺ２はそれぞれ注目点領域３９及び候補点領域４１である。注目点領域３９の画素Ｐ１と、領域内において同じ位置となる候補点領域４１の点Ｐ２との、輝度値の差の絶対値が算出される。そして各点で算出された差分の絶対値が足し合わされてＳＡＤ値が算出される。

探索範囲３５内の候補画素３６ごとに設定された候補点領域４１について、上記の式に基づいてＳＡＤ値が算出される。従って、複数の候補画素３６の数だけＳＡＤ値が算出される。算出されたＳＡＤ値は、候補点領域４１の基準となっている候補画素３６の、注目画素３４に対する類似度となる。

ＳＡＤ値の最小値と平均値とが算出される（ステップ１０４）。例えばＳＡＤ値の最小値ＳＡＤmin及び平均値ＳＡＤavrは以下の式で表わされる。

ｄmin〜ｄmaxは探索範囲３５を表わす。ｄminは探索範囲３５の左端を表わし、ｄmaxは探索範囲３５の右端を表わす。Ｌは、探索範囲３５に含まれる複数の候補画素３６の数である。複数の候補画素３６のそれぞれのＳＡＤ値が足し合わされ、その値を複数の候補画素３６の数Ｌで割ることで、平均値ＳＡＤavrが算出される。

図５及び図６は、算出されたＳＡＤ値の分布例を示すグラフである。例えば図５のグラフでは、探索範囲３５内の点Ｐ２minでＳＡＤ値が最小値となり、その他の点ではＳＡＤ値は一様に大きい値となっている。従ってＳＡＤ値の平均値は、点Ｐ２min以外での点のＳＡＤ値に近い大きい値となる。

図６のグラフでは、点Ｐ２minでＳＡＤ値が最小値となるが、ＳＡＤ値が小さくなる点が他にもある。例えば点Ｐ２Ａ、Ｐ２Ｂ及びＰ２Ｃの各点では、ＳＡＤ値が小さくなっている。このような分布の場合、ＳＡＤ値の平均値は小さい値となる。

上記したように、ＳＡＤ値が大きいと類似度は低くなり、ＳＡＤ値が小さいと類似度は高くなる。従ってＳＡＤ値が最小値となるＰ２minが、注目画素３４に対する最適な一致点として判定される。そしてＰ２minが対応画素４２として検出される。注目画素３４の位置と、検出された対応画素４２の位置とをもとに視差値が算出される（ステップ１０５）。

左目画像３０での注目画素３４の位置と、右目画像４０での対応画素４２の位置との距離（左目画像３０と右目画像４０とを重ね合わせた場合の２つの点の距離）が視差値として算出される。例えば注目画素３４のｘ座標と対応画素４２のｘ座標との差をもとに視差値が算出される。あるいは座標の差と画素間の距離とをもとに視差値が算出されてもよい。被写体がコンバージェンスポイントの奥にあるのか、手前にあるのかが判別できるように、正負の符号をつけて視差値が算出されてもよい。

検出された対応画素４２の信頼度Ｒが算出される（ステップ１０６）。この信頼度Ｒは、対応画素４２をもとに算出された視差値の信頼度にも相当する。信頼度Ｒは、以下の式のように、ＳＡＤ値の平均値ＳＡＤavrから最小値ＳＡＤminを差し引いた値で算出される。

例えば図５のグラフでは、対応画素４２である点Ｐ２min以外の点では、ＳＡＤ値が一様に高くなっている。これは、点Ｐ２minでのみ注目画素３４との類似度が高くなり、その他の点では類似度が一様に低い場合に相当する。

図７は、ＳＡＤ値がそのような分布になる場合の一例を示す図である。図７では、左目画像３０及び右目画像４０に１つの被写体４３が撮影されている。被写体４３のエッジの部分は鮮明に撮影されているとする。

左目画像３０に撮影された被写体４３のエッジの部分に注目画素３４が設定される。注目画素３４に対応するエピポーラ線３７上に探索範囲３５が設定され、複数の候補画素についてＳＡＤ値が算出される。そうすると右目画像４０の被写体４３のエッジの点４４で類似度が高くなり、それ以外の点では類似度が低くなる。

このように１点でのみＳＡＤ値が最小になり、その他の点ではＳＡＤ値が大きい場合は、ＳＡＤ値が最小になる点４４が正しい対応画素４２である可能性が高い。この場合、図５に示すように、平均値ＳＡＤavrは大きくなり、最小値ＳＡＤminは小さくなる。この結果、上記の式のように信頼度Ｒを定めることで、高い信頼度Ｒの値が算出される。

これに対して図６のグラフでは、対応画素４２である点Ｐ２min以外の点Ｐ２Ａ〜点Ｐ２Ｃでも、ＳＡＤ値が小さくなっている。これは、点Ｐ２min以外の点Ｐ２Ａ〜点Ｐ２Ｃでも、注目画素３４との類似度が高くなっていることを意味する。

図８は、ＳＡＤ値がそのような分布になる場合の一例を示す図である。図８では、左目画像３０及び右目画像４０に略同様の形状を有する複数の被写体４５が撮影されている。例えば木のような被写体４５が、画像の横方向（ｘ方向）に並んで撮影されているとする。

左目画像３０の左から２番目の被写体４５ａのエッジの部分に注目画素３４が設定される。注目画素３４に対応するエピポーラ線３７上に探索範囲３５が設定され、複数の候補画素についてＳＡＤ値が算出される。そうすると、同じ被写体４５ａの同じ部分の点４４でＳＡＤ値は小さくなるが、その他の点でもＳＡＤ値が小さくなる。

例えば隣りの被写体４５ｂの同じエッジの部分では、注目画素３４との類似度が高くなり、ＳＡＤ値が小さくなる可能性がある。また被写体４５が木等である場合、葉や枝の形状により、異なる複数の画素でもＳＡＤ値が小さくなる場合がある。その他、被写体が柄のないカーペット等の特徴的な部分がない場合でも、正しい対応画素４２とは異なる画素にてＳＡＤ値が小さくなる場合がある。このように被写体に特徴的な部分がないか、あるいは同じようなパターンが連続する場合等において、正しい対応画素４２以外の画素でＳＡＤ値が小さくなる場合がある。

図６や図８に示すような場合では、正しい対応画素４２以外の点でＳＡＤ値が最小となる可能性もある。そうすると、誤った画素が対応画素４２として検出され、誤った視差値が算出されてしまう。すなわち図６に示すようなＳＡＤ値の分布の場合、検出された対応画素４２の信頼度Ｒは低いものとされる。図６に示すグラフでは、平均値ＳＡＤavrは小さくなり、最小値ＳＡＤminはあまり変化しない。この結果、上記の式のように信頼度Ｒを定めることで、低い信頼度Ｒの値が算出される。

本実施形態では、信頼度Ｒに対して予め閾値が設定されている。そして算出された信頼度Ｒが閾値と比較される（ステップ１０７）。閾値の設定方法は限定されない。画像の大きさや撮影モード、又は被写体の種類等によって適宜設定されればよい。

信頼度Ｒが閾値よりも大きいと判定された場合（ステップ１０７のＹｅｓ）、対応画素４２は有効であると判定され、算出された視差値が出力される（ステップ１０８）。信頼度Ｒが閾値よりも小さいと判定された場合（ステップ１０７のＮｏ）、対応画素４２は無効であると判定され、視差値の代わりに「視差値無効」の信号が出力される（ステップ１０９）。

左目画像３０に未処理の画素があるかが判定される（ステップ１１０）。すなわち左目画像３０の全ての画素が注目画素３４として設定されたかが判定される。左目画像３０に未処理の画素がある場合には、ステップ１０２にもどる（ステップ１１０のＹｅｓ）。未処理の画素はない場合には処理は終了する（ステップ１１０のＮｏ）。

図９は、信頼度Ｒを算出するための類似度の分布を示す画像である。

図９（Ａ）は左目画像３０の各画素において判定された最小ＳＡＤ値の分布である。左目画像３０の特定のｘ座標（左目画像内の白い線）において、右目画像４０に探索範囲３５が設定される。図９（Ｂ）では、その探索範囲３５における類似度の分布（ＳＡＤ値の分布）が示されている。

左目画像３０の画素列４６のある画素が注目画素として設定され、注目画素と同じｙ座標上で水平方向に並ぶ複数の候補画素に対して類似度が算出される。図９（Ｂ）の視差探索範囲３５内において、類似度が低い画素（ＳＡＤ値が大きい画素）は白く表わされている。類似度が高い画素は黒く表わされている、黒が濃くなるほど類似度は高くなる。

図９（Ｂ）の領域４７では、１つの点Ｐ２が黒く表わされ、その他の点は白く部分となっている。すなわち点Ｐ２でＳＡＤ値が最小となり、その他の点ではＳＡＤ値が一様に高くなっている。これは図５に示すグラフと同様の分布であり、検出される対応画素（点Ｐ２）の信頼度Ｒは高いと判定となる。

領域４８では、複数の画素にわたって黒い部分が表示されている。これは複数の候補画素において、ＳＡＤ値が小さくなっていることを表わしている。これは図６に示すグラフと同様の分布であり、算出される対応画素（最も黒が濃い画素）の信頼度Ｒは低いと判定される。このように注目画素に対応する対応画素の信頼度Ｒが適宜判定される。

以上、本実施形態に係る撮像装置１００では、左目画像３０の注目画素３４に対応する右目画像４０の対応画素４２が検出される。また注目画素３４と対応画素４２との対応に関する信頼度Ｒが判定される。信頼度Ｒが所定よりも低い対応画素４２が、視差を算出する処理に関して無効の点として設定される。これにより例えば視差の算出等を高い精度で実行することができる。この結果、立体映像等の高品質な撮影が可能となる。

ステレオ立体画像は、左目画像と右目画像との間に視差をつけることによって、視聴者に立体感のある映像を提示する。このとき画像間の視差があまりに大きすぎると映像が手前に過剰に飛び出すなどして視聴者に違和感や不快感を与える。このため、ステレオ立体画像を生成するときには、視聴時に快適さが保たれるように視差を一定の範囲内におさめながら撮影することが求められる。

例えばステレオ立体画像を撮影可能なステレオビデオカメラとして、左右の視差がどれだけあるかを撮影時に表示する機能を有するものがある。例えば画像処理等により視差が求められ、一定の限度を超えた視差の部分に色表示等で警告が与えられる。これにより視差が大きすぎる映像となることが撮影の段階で防止される。例えば片目用のビューファインダが用いられる場合では視差の確認が難しいので、上記のように色表示等されると非常に便利である。

図１０は、視差が色表示された画像の一例を示す模式的な図である。視差の色表示には、例えば赤色、黄色、水色、青色等の複数の色が用いられる。そして検出された視差によって色が区別されて表示される。コンバージェンスポイントよりも手前で撮影された被写体に対して、視差が限度を超えている場合に、それが赤色及び黄色で２段階に分けて表示される。コンバージェンスポイントよりも奥で撮影された被写体に対して、視差が限度を超えている場合に、それが水色及び青色で２段階に分けて表示される。

表示される色の数や種類は限定されない。また色表示される視差の大きさも限定されない。例えば視差が画像全体の大きさの３％よりも大きくなったら黄色（水色）で表示され、５％よりも大きくなったら赤色（青色）で表示されるといった設定が用いられる。

図１０（Ａ）は、コンバージェンスポイントが無限遠に設定された場合の画像である。この場合、手前にある被写体群８０が、赤色で表示され、その奥にある被写体群８５が黄色で表示される。図１０（Ｂ）は、コンバージェンスポイントが３ｍに設定された場合の画像である。この場合、手前にある被写体群８０が、黄色で表示され、その奥にある被写体群８５には色は付されない。従って奥の被写体群８５の視差は許容範囲内に含まれている。

図１０（Ｃ）は、コンバージェンスポイントが１．２ｍに設定された場合の画像である。この場合、手前にある被写体群８０には色は付されず、奥にある被写体群８５に水色が付される。従って手前の被写体群８０の視差は許容範囲内となり、奥の被写体群８５はコンバージェンスポイントよりも奥で撮影され、その視差が限度を超えたことになる。

図１０に示すように色表示が行われることで、視差の調整が容易となり、ステレオ立体画像を操作性よく撮影することが可能となる。しかしながら各画素について視差が算出される際に、以下のような問題が生じる可能性がある。

上でも述べたが、同じようなパターンが繰り返されている画像、細かいものがたくさん写り込んでいる画像、あるいは特徴的な部分がないような画像では、似ている点がたくさん観測されたり、逆に全く観測されなかったりするため、対応画素が判定しにくくなる。この場合、必ずしも正しい対応点が検出されず、誤判定や誤検出が生じてしまう可能性がある。

対応画素の誤検出が生じると、正しい視差値とはかけ離れた値が出力される可能性がある。そうするとその値をもとに誤った警告が表示されたり、逆に本来警告すべき視差値が警告されなかったりする問題が起きる。

図１１は、対応画素の誤検出による誤った警告表示の一例を示す模式的な図である。図１１に示す画像９０には、被写体として特徴的な柄等がないカーペット９１が撮影されている。このカーペット９１上の領域９２及び９３において、対応画素の誤検出が発生しているとする。

領域９２及び９３では、画素ごとの視差値として様々な値が算出される。ある画素では対応画素が正しく検出され、正しい視差値が算出される。他の画素では、誤検出が発生し、限度を大きく超えた視差値が算出される。またある画素では、誤検出により、限度を少し超えた視差値が算出される。逆に、警告が必要な画素であるのに、許容範囲内の値が算出される場合もある。

この結果、図１１に示すように、領域９２及び９３では、画素単位で警告を表わす色表示９４が行われる。例えば赤色、黄色、水色、青色の色表示９４が、ランダムに混在するような状態となる。ステレオ立体画像として動画像が撮影される場合では、色表示９４が細かく点滅して行われることも起こり得る。そうすると撮影者にとって、視差の判定が難しくなり、さらに言えば撮影自体にも支障をきたす可能性がある。

例えば対応画素の検出に用いられるアルゴリズムが複数用意され、アルゴリズムが適宜選択される技術も考えられる。このような技術によれば、対応画素の誤検出をある程度抑えることが可能かもしれない。しかしながら選択されたアルゴリズムによって検出された対応画素が誤りである場合には品質が低下してしまう。

上記の問題に対して本実施形態では、注目画素３４に対応する対応画素４２について信頼度Ｒが判定される。そして閾値よりも小さい信頼度Ｒの対応画素４２については、視差値の代わりに視差値無効の信号が出力される。すなわち図１１の領域９２及び９３の画素は、視差の算出に関して無効の点として設定される。

図１２は、画素ごとに算出される信頼度Ｒの分布を示す模式的な図である。図１１のグレーの色が付されている領域５０は、信頼度Ｒが所定よりも小さい画素によりなる領域である。このように対応画素４２の誤検出が発生しやすいような領域が、視差値が無効である領域５０として設定される。この結果、図１１に示すような誤った警告表示や色表示の細かい点滅等を防止することができる。この結果、視差警告の精度の向上を図ることが可能となり、立体映像の高品質な撮影が可能となる。

図１２に示すような視差値無効領域５０を現す画像が生成されて、撮影者の確認等のために表示されてもよい。その際、グレー色の濃さ等を適宜設定することで、信頼度Ｒの大きさが段階的に表示されてもよい。

例えば被写体までの距離を算出するために視差値が推定される場合がある。この場合、画像の全体に対して視差値が算出されて用いられる。本実施形態では、人間にとって不快に感じる視差を検出することが目的であるので、必ずしも画像の全体について視差値を推定する必要がない。このため、図１２に示すように視差値無効領域５０を設定して、その領域５０に含まれる画素を以後の処理から除外することができる。

本実施形態では、対応画素４２を検出するために複数の候補画素３６について類似度が算出される。そして算出された類似度の分布をもとに対応画素４２の信頼度Ｒが判定される。これにより信頼度Ｒの判定を複雑な処理を行わずに実行することができる。

＜第２の実施形態＞
本技術に係る第２の実施形態の撮像装置について説明する。これ以降の説明では、上記の実施形態で説明した撮像装置１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。

図１３は、本実施形態に係る情報処理部が有する視差算出部２２３の構成例を示す図である。視差算出部２２３は、第１の実施形態で説明した各ブロックに加えて、ソーベル（Sobel）フィルタ部２５０を有する。

ソーベルフィルタ部２５０は、第１の画像である左目画像のエッジを抽出した第１のエッジ抽出画像を生成する。またソーベルフィルタ部２５０は、第２の画像である右目画像のエッジを抽出した第２のエッジ抽出画像を生成する。ソーベルフィルタ部２５０は、本実施形態において生成部として機能する。

これら第１及び第２のエッジ抽出画像が用いられて、対応画素の検出及び信頼度の判定がそれぞれ実行される。第１及び第２のエッジ抽出画像のみが用いられてもよいし、本実施形態のように、元の左目画像及び右目画像と、第１及び第２のエッジ抽出画像とがともに用いられてもよい。

図１３に示すように、ＳＡＤ計算部２２６に、右目画像及び左目画像と、第１及び第２のエッジ抽出画像とが出力される。そして以下の式をもとにＳＡＤ値が算出される。

本実施形態では、左目画像の注目点領域Ｚ１の画素Ｐ１と、右目画像の候補点領域Ｚ２の画素Ｐ２とのＳＡＤ値が算出される。また第１のエッジ抽出領域Ｚ１の画素Ｓ１と、第２のエッジ抽出画像の候補点領域Ｚ２の画素Ｓ２とのＳＡＤ値が算出される。これらの２つのＳＡＤ値が適宜足し合わされることで、類似度としてのＳＡＤ値が算出される。このＳＡＤ値の分布をもとに対応画素の検出と、対応画素の信頼度の算出とが実行される。なお、係数Ｃｐ及びＣｓは、重み付けのための定数であり、その値は適宜設定されてよい。

このように第１及び第２のエッジ抽出画像が用いられることで、高い精度で対応画素の検出及び信頼度の判定を実行することが可能となる。例えば画像内の輝度変化の影響等を抑えることが可能となる。

なお、第１及び第２のエッジ抽出画像を生成するためのフィルタ等は限定されず、ソーベルフィルタ以外のエッジ抽出フィルタや、画像内のエッジを強調するためのエッジ強調フィルタ等が用いられてもよい。また本実施形態において説明するエッジ抽出画像は、エッジのみが抽出された画像やエッジが強調されたエッジ強調画像等を含む。

第１及び第２の実施形態で説明した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータ３００は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、入出力インターフェース３０５、及び、これらを互いに接続するバス３０４を備える。

入出力インターフェース３０５には、表示部３０６、入力部３０７、記憶部３０８、通信部３０９、ドライブ部３１０等が接続される。

表示部３０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。

入力部３０７は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部３０７がタッチパネルを含む場合、そのタッチパネルは表示部３０６と一体となり得る。

記憶部３０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。

ドライブ部３１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体３１１を駆動することが可能なデバイスである。これに対し上記記憶部３０８は、主にリムーバブルでない記録媒体を駆動する、コンピュータ３００に予め搭載されたデバイスとして使用される場合が多い。

通信部３０９は、ＬＡＮ、ＷＡＮ等のネットワークに接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部３０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部３０９は、コンピュータ３００とは別体で使用される場合もある。

上記のようなハードウェア構成を有するコンピュータ３００による情報処理は、記憶部３０８またはＲＯＭ３０２等に記憶されたソフトウェアと、コンピュータ３００のハードウェア資源との協働により実現される。具体的には、ＣＰＵ３０１が記憶部３０８またはＲＯＭ３０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ３０３にロードして実行することにより実現される。プログラムは、例えば記録媒体を介してコンピュータ３００にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがコンピュータ３００にインストールされてもよい。

なお、コンピュータが実行するプログラムは、上記で説明した順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜変形例＞
本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。

例えば上記の実施形態では、注目点領域と候補点領域の類似度を算出する際に、以下の式で表わされるＳＡＤ値が用いられた。ＳＡＤ値は、差分の絶対値の合計であり、値が小さいほど類似度は高くなる。

これに代えて、注目点領域と候補点領域の類似度として、以下の式で表わされるＳＳＤ（Sum of Squared Difference）が用いられてもよい。ＳＳＤ値は、差の２乗の合計であり、値が小さいほど類似度は高くなる。

あるいは、注目点領域と候補点領域の類似度として、以下の式で表わされる正規化相互相関（Normalized Cross-Correlation：ＮＣＣ）が用いられてもよい。ＮＣＣ値が１に近いほど類似度は高くなる。

このように２つの領域の類似度の算出方法は限定されず、パターンマッチング等に用いられる技術が適宜用いられてよい。例えば２つの領域の周波数成分等が解析されることで類似度が算出されてもよい。例えば用いられる装置の演算処理能力等をもとに、類似度の算出方法が適宜選択されてもよい。カムコーダ等に本技術が適用される場合には、利用できる演算能力が限られるため比較的少ない演算で算出することができるＳＡＤ値が用いられる。ＰＣ等の装置が用いられる場合には、ＳＳＤやＮＣＣが用いられることで、高い精度で類似度が算出可能となる。

上記の実施形態では、対応画素の信頼度Ｒが、ＳＡＤ値の平均値ＳＡＤavrから最小値ＳＡＤminを差し引いた値で算出された。すなわち最小値ＳＡＤminの偏差の符号を判定したものが信頼度Ｒとして用いられた。これにより類似度の平均値と最小値とを用いた簡単な計算で信頼度を判定することが可能となる。

信頼度Ｒをどのような値で算出するかは限定されず、例えば以下の式で示すように、ＳＡＤ値の平均値ＳＡＤavrがそのまま信頼度Ｒとして用いられてもよい。図５のグラフに示すように、対応画素が正しく検出される場合は、ＳＡＤ値の平均値は高くなる。一方、図６のグラフに示すように、誤検出の可能性が高い場合は、ＳＡＤ値の平均値は小さくなる。

その他、類似度の分布の標準偏差を利用して信頼度Ｒを算出することも可能である。例えば以下の式に示すように、最小値の偏差÷標準偏差σの符号を反転した値が信頼度Ｒとして算出されてもよい。ＳＡＤ値が全体的に一定していて大きな変動がない（平均からの偏りが小さい）ほど標準偏差σが小さくなり、信頼度が高くなる。

このように、注目点と複数の候補点との類似度の分布から信頼度Ｒを算出する際に、信頼度を表わす信頼度関数をどのように定めるかは任意である。装置の処理能力や被写体の種類等をもとに適宜設定されてよい。

上記の実施形態では、全ての画素に対して視差値が算出され、対応点の信頼度に応じて、当該視差値が出力されるか、視差値無効の信号が出力されるかが適宜選択された。これに対して、信頼度が低い対応点に関しては、視差値が算出されることなく、無効を表わす信号が出力されてもよい。すなわち視差を算出する処理に関して無効となる点は、算出された視差値が無効となる点と、視差値の算出の対象とならない点との両方を含む。

上記では、出力された視差値又は視差値無効の信号をもとに、視差の色分け表示による警告が行われた。しかしながら視差値を用いた他の処理にも本技術が適用可能である。信頼度の高い視差値が適宜用いられることで、高い精度での処理の実行が可能となる。

以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。

なお、本技術は以下のような構成も採ることができる。
（１）互いに視差を有する第１の画像と第２の画像とを入力する入力部と、
前記第１の画像の点を注目点として、前記注目点に対応する前記第２の画像の対応点を検出する検出部と、
前記検出された対応点の、前記注目点との対応に関する信頼度を判定する判定部と、
前記判定された信頼度が所定より低い前記対応点を、前記視差を算出する処理に関して無効の点として設定する設定部と
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記検出部は、前記第２の画像のエピポーラ線上に並ぶ複数の点を複数の候補点として、前記複数の候補点のそれぞれについて前記注目点との類似度を算出し、前記算出された類似度が最も高い前記候補点を前記対応点として検出し、
前記判定部は、前記複数の候補点のそれぞれについて算出された前記類似度の分布をもとに、前記検出された前記対応点の前記信頼度を判定する
情報処理装置。
（３）（２）に記載の情報処理装置であって、
前記検出部は、前記注目点を基準とした所定の大きさの領域である注目点領域と、前記候補点を基準とした所定の領域である候補点領域との類似度を、前記候補点ごとの前記注目点との類似度として算出する
情報処理装置。
（４）（３）に記載の情報処理装置であって、
前記検出部は、前記注目点領域の各画素の輝度と、前記候補点領域の各画素の輝度との差分絶対値和を前記類似度として算出し、前記算出された差分絶対値が最も小さい前記候補点領域の基準となる前記候補点を前記対応点として検出する
情報処理装置。
（５）（２）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記判定部は、前記複数の候補点のそれぞれについて算出された前記類似度の平均値と、前記類似度の最小値との差をもとに前記信頼度を判定する
情報処理装置。
（６）前記（１）から（５）のうちいずれか１つに記載の情報処理装置であって、
前記第１の画像のエッジを抽出した第１のエッジ抽出画像と、前記第２の画像のエッジを抽出した第２のエッジ抽出画像とをそれぞれ生成可能な生成部をさらに具備し、
前記検出部及び前記判定部は、前記第１及び前記第２のエッジ抽出画像を用いて、前記対応点の検出及び前記信頼度の判定をそれぞれ実行する
情報処理装置。

１０…撮像部
１１…第１のカメラ
１２…第２のカメラ
２０…情報処理部
２１…画像入力部
２３、２２３…視差算出部
２６、２２６…ＳＡＤ計算部
２７…視差探索部
２８…信頼度計算部
２９…判定部
３０…左目画像
３４…注目画素
３６…候補画素
３９…注目点領域
４０…右目画像
４１…候補点領域
４２…対応画素
５０…視差値無効領域
１００…撮像装置
２５０…ソーベルフィルタ部

Claims (9)

1. 互いに視差を有する第１の画像と第２の画像とを入力する入力部と、
   前記第１の画像の点を注目点として、前記注目点に対応する前記第２の画像の対応点を検出する検出部と、
   前記検出された対応点の、前記注目点との対応に関する信頼度を判定する判定部と、
   前記判定された信頼度が所定より低い前記対応点を、前記視差を算出する処理に関して無効の点として設定する設定部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記検出部は、前記第２の画像のエピポーラ線上に並ぶ複数の点を複数の候補点として、前記複数の候補点のそれぞれについて前記注目点との類似度を算出し、前記算出された類似度が最も高い前記候補点を前記対応点として検出し、
   前記判定部は、前記複数の候補点のそれぞれについて算出された前記類似度の分布をもとに、前記検出された前記対応点の前記信頼度を判定する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記検出部は、前記注目点を基準とした所定の大きさの領域である注目点領域と、前記候補点を基準とした所定の領域である候補点領域との類似度を、前記候補点ごとの前記注目点との類似度として算出する
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記検出部は、前記注目点領域の各画素の輝度と、前記候補点領域の各画素の輝度との差分絶対値和を前記類似度として算出し、前記算出された差分絶対値が最も小さい前記候補点領域の基準となる前記候補点を前記対応点として検出する
   情報処理装置。
5. 請求項２に記載の情報処理装置であって、
   前記判定部は、前記複数の候補点のそれぞれについて算出された前記類似度の平均値と、前記類似度の最小値との差をもとに前記信頼度を判定する
   情報処理装置。
6. 請求項１に記載の情報処理装置であって、
   前記第１の画像のエッジを抽出した第１のエッジ抽出画像と、前記第２の画像のエッジを抽出した第２のエッジ抽出画像とをそれぞれ生成可能な生成部をさらに具備し、
   前記検出部及び前記判定部は、前記第１及び前記第２のエッジ抽出画像を用いて、前記対応点の検出及び前記信頼度の判定をそれぞれ実行する
   情報処理装置。
7. 互いに視差を有する第１の画像と第２の画像とを入力し、
   前記第１の画像の点を注目点として、前記注目点に対応する前記第２の画像の対応点を検出し、
   前記検出された対応点の、前記注目点との対応に関する信頼度を判定し、
   前記判定された信頼度が所定より低い前記対応点を、前記視差を算出する処理に関して無効の点として設定する
   ことをコンピュータが実行する情報処理方法。
8. 互いに視差を有する第１の画像と第２の画像とを入力するステップと、
   前記第１の画像の点を注目点として、前記注目点に対応する前記第２の画像の対応点を検出するステップと、
   前記検出された対応点の、前記注目点との対応に関する信頼度を判定するステップと、
   前記判定された信頼度が所定より低い前記対応点を、前記視差を算出する処理に関して無効の点として設定するステップと
   をコンピュータに実行させるプログラム。
9. 互いに視差を有する第１の画像と第２の画像とを撮影する撮像部と、
   前記第１の画像の点を注目点として、前記注目点に対応する前記第２の画像の対応点を検出する検出部と、
   前記検出された対応点の、前記注目点との対応に関する信頼度を判定する判定部と、
   前記判定された信頼度が所定より低い前記対応点を、前記視差を算出する処理に関して無効の点として設定する設定部と
   を具備する撮像装置。