JP2011205388A - 信号処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より簡単にステレオカメラの撮影タイミングのずれを検出できるようにする。
【解決手段】生成部９１には、輝度が所定の周波数で周期的に変化する提示信号を、ステレオカメラを構成する左右の２つのカメラで撮影して得られた画像が入力される。生成部９１は、供給された左右の画像から、提示信号の輝度の時間的変化を示す左右のキャプチャ信号を生成する。提示信号の周波数が、カメラのフレームレートのナイキスト周波数より大きい場合、フィルタ処理部９３は、フィルタ処理により、キャプチャ信号から特定の周波数の左右の折り返し信号を抽出する。マッチング処理部９４は、左右の折り返し信号の位相ずれを検出し、ずれ量算出部９５は、折り返し信号の位相ずれからカメラの撮影タイミングのずれを検出する。本発明は、信号処理装置に適用することができる。
【選択図】図７

Description

本発明は信号処理装置および方法、並びにプログラムに関し、特に、より簡単かつ精度よくステレオカメラにおける撮影タイミングのずれを検出することができるようにした信号処理装置および方法、並びにプログラムに関する。

従来、視点の異なる位置から同じ被写体を撮影する複数のカメラからなるステレオカメラが知られており、例えば、ステレオカメラにより撮影された画像対は、被写体までの距離測定や視差の検出等に利用されている。ところが、画像対の撮影時においては、画像対を構成する各画像の撮影のタイミングにずれが生じるため、そのタイミングのずれが画像対の位相ずれとなり、その結果、距離や視差の検出誤差が生じる。なお、画像対の位相ずれは、時間オフセットなどとも呼ばれている。

そこで、非同期の画像信号を同期させる技術として、ステレオカメラを構成する一方のカメラにより撮影された複数フレームの画像から動きのある前景を除去し、残った静的画像部分を利用して位相ずれを検出する技術が提案されている（例えば、特許文献１参照）。この技術では、静的画像部分と、他方のカメラで撮影された画像とのマッチング処理を行うことで、画像対の位相ずれが検出される。

特開２００６−１７０９９３号公報

しかしながら、静的画像部分とのマッチング処理を行う方法では、複数フレームの画像から動きを検出して、静的画像部分を切り出してからマッチング処理を行わなければならないため、処理量が多くなり、位相ずれの検出に時間がかかってしまう。また、この方法では、マッチング処理に用いられる、静的画像部分と他方のカメラで撮影された画像とが必ずしも時間的に同期せず、そのような場合には、位相ずれの検出のための各処理で誤差が生じ、位相ずれの検出精度が低下してしまう。

本発明は、このような状況に鑑みてなされたものであり、より簡単かつ精度よくステレオカメラにおける撮影タイミングのずれを検出することができるようにするものである。

本発明の一側面の信号処理装置は、第１の撮影手段と第２の撮影手段とに、既知の同じフレームレートで同一の被写体を撮影させたときに生じる撮影タイミングのずれを検出する信号処理装置であって、既知の第１の周波数で周期的に状態が変化する提示信号を、前記第１の撮影手段により撮影して得られた第１の画像から、各時刻における前記提示信号の状態を示す第１のキャプチャ信号を生成するとともに、前記提示信号を前記第２の撮影手段により撮影して得られた第２の画像から、各時刻における前記提示信号の状態を示す前記第２のキャプチャ信号を生成する生成手段と、前記第１のキャプチャ信号と前記第２のキャプチャ信号との位相のずれを検出することで、前記撮影タイミングのずれを検出するマッチング処理手段とを備える。

前記マッチング処理手段には、前記第１の周波数が前記フレームレートのナイキスト周波数以下である場合、前記第１のキャプチャ信号と、前記第２のキャプチャ信号との差分を求めることで前記位相のずれを検出させ、前記位相のずれを前記撮影タイミングのずれとさせることができる。

信号処理装置には、前記第１のキャプチャ信号にフィルタ処理を施して、前記フレームレートと前記第１の周波数とから予め定まる第２の周波数の第１の折り返し信号を抽出するとともに、前記第２のキャプチャ信号に前記フィルタ処理を施して、前記第２の周波数の第２の折り返し信号を抽出するフィルタ処理手段をさらに設け、前記マッチング処理手段には、前記第１の周波数が前記ナイキスト周波数より大きい場合、前記第１の折り返し信号と前記第２の折り返し信号との差分を求めることで、前記位相のずれを検出させ、前記位相のずれを前記撮影タイミングのずれとさせることができる。

前記第１のキャプチャ信号および前記第２のキャプチャ信号に含まれる折り返し信号の周波数のうち、正の値である最小の周波数が、前記第２の周波数として定めることができる。

前記提示信号は、画像上における撮影対象の表示位置若しくは大きさ、輝度、色、または提示位置が前記第１の周波数で周期的に変化する信号とすることができる。

信号処理装置には、前記第１の撮影手段により動きのある動被写体を撮影して得られた第１の撮影画像と、前記第２の撮影手段により前記動被写体を撮影して得られた第２の撮影画像とを用いた対応点探索処理により、所定位置から前記動被写体までの距離、または前記動被写体の視差を算出する算出手段と、異なる時刻に撮影された前記第１の撮影画像を用いて、前記動被写体の動きを検出する動き検出手段と、前記動き検出の結果から、前記第１の撮影画像における前記動被写体の移動速度を求め、前記移動速度および前記撮影タイミングのずれに基づいて、前記距離または前記視差の誤差を算出する誤差算出手段と、前記誤差に基づいて、前記距離または前記視差を補正する補正手段とをさらに設けることができる。

本発明の一側面の信号処理方法またはプログラムは、第１の撮影手段と第２の撮影手段とに、既知の同じフレームレートで同一の被写体を撮影させたときに生じる撮影タイミングのずれを検出する信号処理方法またはプログラムであって、既知の第１の周波数で周期的に状態が変化する提示信号を、前記第１の撮影手段により撮影して得られた第１の画像から、各時刻における前記提示信号の状態を示す第１のキャプチャ信号を生成するとともに、前記提示信号を前記第２の撮影手段により撮影して得られた第２の画像から、各時刻における前記提示信号の状態を示す前記第２のキャプチャ信号を生成し、前記第１のキャプチャ信号と前記第２のキャプチャ信号との位相のずれを検出することで、前記撮影タイミングのずれを検出するステップを含む。

本発明の一側面においては、第１の撮影手段と第２の撮影手段とに、既知の同じフレームレートで同一の被写体を撮影させたときに生じる撮影タイミングのずれを検出する場合に、既知の第１の周波数で周期的に状態が変化する提示信号を、前記第１の撮影手段により撮影して得られた第１の画像から、各時刻における前記提示信号の状態を示す第１のキャプチャ信号が生成されるとともに、前記提示信号を前記第２の撮影手段により撮影して得られた第２の画像から、各時刻における前記提示信号の状態を示す前記第２のキャプチャ信号が生成され、前記第１のキャプチャ信号と前記第２のキャプチャ信号との位相のずれを検出することで、前記撮影タイミングのずれが検出される。

本発明の一側面によれば、より簡単かつ精度よくステレオカメラにおける撮影タイミングのずれを検出することができる。

カメラによる位相ずれについて説明する図である。 キャプチャ信号について説明する図である。 キャプチャ信号をフーリエ変換して得られる周波数成分について説明する図である。 折り返し信号について説明する図である。 フーリエ変換により得られる線スペクトルを示す図である。 本発明を適用した信号処理装置の一実施の形態の構成例を示す図である。 本体機器の構成例を示す図である。 位相調整処理を説明するフローチャートである。 提示信号の提示方法について説明する図である。 位相ずれ検出処理を説明するフローチャートである。 位相調整処理を説明するフローチャートである。 信号処理装置の構成例を示す図である。 位相調整処理を説明するフローチャートである。 被写体の距離検出について説明する図である。 距離と視差の関係について説明する図である。 位相ずれに対する距離の誤差を示す図である。 信号処理装置の構成例を示す図である。 距離算出処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

〈本発明の概要〉
例えば、図１に示すように、信号提示部１１により提示された既知の提示信号を、ステレオカメラを構成するカメラ１２−１とカメラ１２−２により撮影する場合を考える。

ここで、提示信号は、例えば、波形が正弦波形状、すなわち輝度が所定の周波数で周期的に変化する光信号とされる。なお、提示信号は、その他、画像上における撮影対象の表示位置若しくは大きさ、強度、色、または提示位置などの状態が、所定の周波数で周期的に変化するものであれば、どのようなものであってもよい。

また、カメラ１２−１とカメラ１２−２は、提示信号を被写体として時間的に連続する画像を撮影するが、カメラ１２−１とカメラ１２−２の画像のキャプチャのタイミングがわずかな時間だけずれており、キャプチャの間隔は等しいものとする。すなわち、カメラ１２−１とカメラ１２−２は、同じフレームレート（周波数）で被写体を撮影するが、その撮影タイミングがわずかにずれている。なお、以下、カメラ１２−１およびカメラ１２−２を特に区別する必要のない場合、単にカメラ１２とも称する。

２つのカメラ１２からなるステレオカメラは、例えば、外部からカメラ１２にクロックが入力されるが、カメラ１２間の垂直水平の同期信号がずれている場合や、２つのカメラ１２を同じ種類のカメラとすることで、それらのカメラ１２で同じ種類の発振器が使用される場合に近似的に得ることができる。

いま、カメラ１２−１が矢印Ａ１に示す波形のタイミングで提示信号を撮影（キャプチャ）し、撮影により得られた画像から、提示信号の輝度の時間的な変化を示す左キャプチャ信号を生成するとする。また、カメラ１２−２が矢印Ａ２に示す波形のタイミングで提示信号を撮影し、撮影により得られた画像から、提示信号の輝度の時間的な変化を示す右キャプチャ信号を生成するとする。

ここで、矢印Ａ１および矢印Ａ２に示される波形において、図中、横方向は、時間方向を示しており、図中、上に凸の期間に１フレーム分の画像が撮影されるものとする。図１の例では、各カメラ１２の画像のキャプチャのタイミングは等間隔であり、その期間は同じ長さであるが、キャプチャのタイミングがわずかな時間△ｔだけずれているので、左キャプチャ信号と右キャプチャ信号は、時間△ｔの分だけ位相のずれが生じる。

したがって、これらの非同期の左キャプチャ信号と右キャプチャ信号の位相のずれ△ｔを検出することができれば、２つのカメラ１２における画像の撮影タイミングを完全に同期させることができるようになる。なお、以下、左キャプチャ信号と右キャプチャ信号を特に区別する必要のない場合、単にキャプチャ信号とも称することとする。

ところで、提示信号を適切にサンプリングするには、すなわち提示信号の時間的な輝度の変化を正確に復元するには、サンプリング定理より、提示信号の輝度変化の周波数が、カメラ１２のフレームレートのナイキスト周波数以下である必要がある。

本発明を適用した信号処理装置では、提示信号の周波数がカメラ１２のフレームレート（周波数）のナイキスト周波数以下であるか否かの場合分けが行われて、カメラ１２の位相ずれ△ｔの検出が行われる。

すなわち、提示信号の周波数がカメラ１２のフレームレートのナイキスト周波数以下である場合、キャプチャ信号により提示信号の輝度変化は正しく復元されるので、左キャプチャ信号と右キャプチャ信号のマッチング処理により、カメラ１２の位相ずれが検出される。

これに対して、提示信号の周波数がカメラ１２のフレームレートのナイキスト周波数以下でない場合、キャプチャ信号により提示信号の輝度変化は正しく復元できないので、キャプチャ信号に含まれる折り返し信号のマッチング処理により、カメラ１２の位相ずれが検出される。

以下、カメラ１２の１秒間当たりの画像の撮影回数、つまりフレームレートが30fps（Frame Per Second）であり、提示信号の輝度変化の周波数が50Hzである場合を例として、折り返し信号を利用した位相ずれの検出について説明する。なお、以下では、カメラ１２が画像を撮影するときの画像のサンプリングの周波数、つまりフレームレートを単にカメラ１２の周波数とも称する。

例えば、図２の矢印Ａ１１および矢印Ａ１２に示す、左キャプチャ信号および右キャプチャ信号が得られたとする。なお、図中、横方向は時間方向を示しており、破線で示される信号の波形Ｓｔは、本来の提示信号の波形、つまり輝度の変化を表している。

矢印Ａ１１に示す左キャプチャ信号、および矢印Ａ１２に示す右キャプチャ信号は、それぞれ連続する提示信号を離散的にサンプリングして得られた信号である。例えば、左キャプチャ信号のサンプルＳＰ１は、所定時刻のサンプルのサンプル値を表しており、このサンプル値は、所定時刻における提示信号の輝度を示すものである。同様に、右キャプチャ信号のサンプルＳＰ２は、所定時刻のサンプルのサンプル値を表しており、このサンプル値は、所定時刻における提示信号の輝度を示すものである。

カメラ１２のフレームレートのナイキスト周波数よりも、提示信号の周波数が大きい場合、左右のキャプチャ信号には、折り返し信号（ｋ次高調波）が含まれており、キャプチャ信号は、本来の提示信号の波形Ｓｔとはならない。また、左右のキャプチャ信号は、互いにキャプチャのタイミングがずれているため、キャプチャ信号の位相ずれを推定するために、それらのキャプチャ信号をそのまま比較することは困難である。

ところで、時間方向の波形を示す左キャプチャ信号に対してフーリエ変換を施すと、例えば、図３に示すように、周波数領域における左キャプチャ信号の各周波数成分が得られる。なお、図３において、横軸は周波数を示しており、縦軸は各周波数成分のパワーを示している。

図３の例では、50Hzの提示信号が折り返されて、キャプチャ信号に、周波数が10Hzの折り返し信号ＳＯが含まれていることが分かる。ここで、カメラ１２のフレームレートは30fpsであるから、キャプチャ信号のサンプリング周波数は30Hzであり、このときのナイキスト周波数は15Hzとなる。そして折り返し信号ＳＯは、ナイキスト周波数15Hz以下の周波数成分となっている。このように、提示信号の周波数成分が折り返されて、特定の周波数の折り返し信号が生じるのは、右キャプチャ信号においても同じである。

ここで、提示信号の周波数が既知である場合、50Hzの信号が10Hzに折り返されるといったように、カメラ１２のナイキスト周波数以下に含まれる折り返し信号の周波数は特定可能である。そこで、本発明を適用した信号処理装置では、提示信号の周波数がカメラ１２のフレームレートのナイキスト周波数よりも大きい場合、フィルタ処理により抽出された折り返し信号を用いたマッチング処理により、キャプチャ信号の位相ずれが検出される。これにより、カメラ１２によるキャプチャのずれ時間を見積もることが可能となる。

例えば、図３の例では、キャプチャ信号のうち、ナイキスト周波数である15Hz以下の周波数成分のみを通過させるローパスフィルタを用いれば、キャプチャ信号から確実に折り返し信号のみを抽出することができる。

例えば、左右の各キャプチャ信号に対してフーリエ変換を行ってから、ローパスフィルタを用いたフィルタ処理を施し、さらに得られた信号に逆フーリエ変換を施すと、図４に示す折り返し信号ＳＬと、折り返し信号ＳＲが得られる。なお、図４において、横軸は時間を示しており、縦軸は信号の振幅を示している。

図４の例では、折り返し信号ＳＬと、折り返し信号ＳＲとは、位相が△ｔ’だけずれている。折り返し信号ＳＬおよび折り返し信号ＳＲは、正弦波であるので、これらの折り返し信号を比較すれば、この位相ずれ△ｔ’を簡単かつ確実に求めることができる。

なお、フィルタ処理は、フーリエ変換後のキャプチャ信号に対して行なってもよいし、フーリエ変換を行なわずに、キャプチャ信号に対してそのまま行なわれてもよい。また、フィルタ処理により抽出される周波数帯域は、折り返し信号が含まれており、折り返し信号の位相ずれ△ｔ’を充分な精度で検出できれば、どのような周波数帯域であってもよい。

このようにして、特定の周波数の折り返し信号の位相ずれ△ｔ’が得られると、この位相ずれ△ｔ’を用いて、実際のキャプチャ信号の位相ずれ△ｔを求めることができる。具体的には、一般に次式（１）が成立することが知られているから、折り返し信号、つまり高調波の次数ｋと、折り返し信号の位相ずれ△ｔ’とから、キャプチャ信号の位相ずれ△ｔを求めることができる。

すなわち、位相ずれ△ｔ’に次数ｋを乗算することで、位相ずれ△ｔが得られる。このようにして得られたキャプチャ信号の位相ずれが、実際のカメラ１２の撮影タイミングのずれ△ｔである。以上のように、既知である提示信号の周波数と、カメラ１２の既知のフレームレートとから、抽出すべき折り返し信号の次数ｋと周波数を予め求めておけば、簡単な処理で位相ずれ△ｔを求めることができる。

ここで、折り返し信号の次数ｋと周波数を定めることについて考える。まず、提示信号f(t)が、振幅がＡであり、角周波数がω_ｐである正弦波信号であるとすると、提示信号f(t)は次式（２）で表される。

このような提示信号f(t)を、キャプチャ間隔Ｔ_Ｓで離散的にサンプリングすると、次式（３）に示す左キャプチャ信号f_ｓ(t)が得られる。なお、式（３）において、δ（ｔ）はデルタ関数を表している。

さらに、提示信号f(t)のフーリエ変換をＦ（ω）として次式（４）を計算すると、左キャプチャ信号f_ｓ(t)のフーリエ変換Ｆ_ｓ（ω）が得られる。なお、式（４）において、ω_ｓは、カメラ１２によるサンプリング角周波数を表している。

ここで、右キャプチャ信号が、左キャプチャ信号f_ｓ(t)と微小時間△ｔだけ位相が遅れている、つまりカメラ１２の撮影（キャプチャ）のタイミングが△ｔだけずれているとする。このとき、右キャプチャ信号をf_ｓ△ｔ(t)とすると、右キャプチャ信号のフーリエ変換Ｆ_ｓ△ｔ（ω）は、次式（５）により表される。

このようにして得られたフーリエ変換Ｆ_ｓ（ω）とフーリエ変換Ｆ_ｓ△ｔ（ω）には、ｋ＝ｎ（但しｋ≠０）のとき、かつ提示信号f(t)の周波数が、カメラ１２の周波数（フレームレート）よりも高い場合、折り返し成分が含まれる。

例えば、式（５）において、ｋ＝０の基本波は、左キャプチャ信号との位相のずれがなく、同期がとれており、この基本波は提示信号を表している。また、式（５）において、ｋ＝ｎのｎ次の折り返し信号（ｎ次高調波）は、左キャプチャ信号のｎ次の折り返し信号と位相が２πｎ△ｔだけずれていることが分かる。このことから、上述した式（１）が成立することが分かる。

また、式（４）および式（５）から、折り返し信号の次数ｋと周波数は、式（４）および式（５）におけるＦ（ω−ｋω_ｓ）から求まることが分かる。Ｆ（ω−ｋω_ｓ）を得るには、提示信号f(t)のフーリエ変換Ｆ（ω）を求め、フーリエ変換Ｆ（ω）にω＝ω−ｋω_ｓを代入すればよい。そこで、上述した式（２）を用いて提示信号f(t)のフーリエ変換Ｆ（ω）を求めると、次式（６）が得られる。

このようにして得られたフーリエ変換Ｆ（ω）に、ω＝ω−ｋω_ｓを代入すると、次式（７）が得られる。

フーリエ変換Ｆ（ω−ｋω_ｓ）は、正弦波信号のフーリエ変換により得られたものであるから、カメラ１２のフレームレートが30fpsであり、提示信号の周波数が50Hzであるとすると、図５に示す線スペクトルが得られるはずである。なお、図５において、横軸は周波数を示しており、縦軸は各周波数成分のパワーを示している。

図５の例では、10Hz、20Hz、40Hz、50Hz、70Hz、および80Hzの各周波数にピークが観測されており、図３に示したキャプチャ信号と同じ周波数でピークが観測されている。これらの各ピークの周波数は、折り返し信号の周波数であり、この周波数は、式（７）から得られる次式（８）および式（９）に示す関係から求めることができる。

式（８）および式（９）で示される関係式は、角周波数の関係式であるので、これを提示信号の周波数ｆ_ｐと、カメラ１２による画像のサンプリングの周波数ｆ_ｓとを用いて表すと、次式（１０）および式（１１）に示す折り返し信号の周波数ｆが求まる。

いま、ｆ_ｐ＝50Hz，ｆ_ｓ＝30Hzとして、ｋ＝1，2，3…と変化させると、各次数の折り返し信号の周波数ｆが求まる。例えば、ｋ＝１のとき、ｆ＝-20，80となり、ｋ＝２のとき、ｆ＝10，110となり、ｋ＝３のとき、ｆ＝40，140となる。

抽出対象とされる折り返し信号には、折り返し信号の周波数ｆが、カメラ１２のナイキスト周波数（15Hz）以下の正の値となる、最小の値であるものが適している。すなわち、フィルタ処理により特定の周波数の折り返し信号を抽出する場合、ナイキスト周波数以下の正の値をもつ、最小の周波数の折り返し信号が、最も容易に抽出できる折り返し信号である。

そこで、このような条件を満たす観測可能な最小周波数の折り返し信号を、キャプチャ信号の位相ずれ△ｔの検出に利用すればよい。したがって、この例の場合では、次数ｋ＝２である周波数がｆ＝10Hzの折り返し信号を利用すればよいので、次数ｋ＝２と、周波数ｆが10Hzの折り返し信号を抽出するためのローパスフィルタを予め用意すればよいことになる。

〈第１の実施の形態〉
［信号処理装置の構成］
次に、以上において説明した方法により、ステレオカメラを構成するカメラ１２のキャプチャタイミングのずれを補正する信号処理装置の具体例について説明する。

図６は、本発明を適用した信号処理装置の一実施の形態の構成例を示す図である。信号処理装置４１は、カメラ１２−１およびカメラ１２−２からなるステレオカメラ４２と接続されており、信号処理装置４１には、提示信号を提示する信号提示部５１と、ステレオカメラ４２を制御する本体機器５２とが設けられている。

例えば、信号処理装置４１は、パーソナルコンピュータやゲーム機などからなり、外部接続されたステレオカメラ４２を用いて、信号処理装置４１からユーザまでの距離を求めてユーザの手の位置を特定し、その手の動きに応じた処理等を行なう。

具体的には、本体機器５２は、ユーザから指示があると、ステレオカメラ４２を用いて算出されたユーザまでの距離を利用するアプリケーションプログラムを起動させるとともに、ステレオカメラ４２も起動させる。

信号提示部５１は、例えばディスプレイなどからなり、本体機器５２の指示に応じて、提示信号を提示する。例えば、提示信号は、各画素の画素値が同じであり、画像の各画素の輝度または色が、所定の周波数で周期的に変化する動画像などとすることができる。

なお、提示信号の周波数は、カメラ１２のフレームレートのナイキスト周波数の整数倍でなければ、上述した方法によりカメラ１２のキャプチャ（撮影）の位相ずれ△ｔを検出することが可能である。一般的には提示信号の周波数、つまりディスプレイのフレームレートが、カメラ１２のフレームレートよりも高い場合が少なくないので、折り返し信号の位相ずれからカメラ１２の位相ずれ△ｔを検出する方法が有効である。

また、信号提示部５１により提示信号が提示され、ステレオカメラ４２により提示信号の画像が撮影されると、本体機器５２は、得られた画像からステレオカメラ４２を構成する２つのカメラ１２のキャプチャの位相ずれ△ｔを検出する。

そして、本体機器５２は、得られた位相ずれ△ｔに基づいて、カメラ１２の動作を制御することで、カメラ１２−１とカメラ１２−２の動作を同期させ、その後、起動したアプリケーションプログラムに従って、ユーザの操作に応じた処理を実行する。

［本体機器の構成］
また、図６の本体機器５２は、より詳細には、図７に示すように構成される。すなわち、本体機器５２は、位相ずれ検出部８１および位相制御部８２から構成される。

位相ずれ検出部８１は、ステレオカメラ４２から供給された、提示信号を被写体とする画像に基づいて、カメラ１２の位相ずれ△ｔを検出し、その検出結果を位相制御部８２に供給する。位相ずれ検出部８１は、生成部９１、切り替え部９２、フィルタ処理部９３−１、フィルタ処理部９３−２、マッチング処理部９４、およびずれ量算出部９５から構成される。

生成部９１は、ステレオカメラ４２を構成するカメラ１２−１およびカメラ１２−２から供給された画像から、左キャプチャ信号および右キャプチャ信号を生成し、切り替え部９２に供給する。切り替え部９２は、提示信号の周波数が、カメラ１２の周波数のナイキスト周波数以下であるか否かに応じて、キャプチャ信号の出力先を切り替える。

すなわち、切り替え部９２は、提示信号の周波数がナイキスト周波数以下である場合、生成部９１からのキャプチャ信号をマッチング処理部９４に供給し、提示信号の周波数がナイキスト周波数より大きい場合、左キャプチャ信号および右キャプチャ信号をフィルタ処理部９３−１およびフィルタ処理部９３−２に供給する。

フィルタ処理部９３−１およびフィルタ処理部９３−２は、切り替え部９２から供給された左キャプチャ信号および右キャプチャ信号にフィルタ処理を施して、キャプチャ信号から折り返し信号を抽出し、マッチング処理部９４に供給する。なお、以下、フィルタ処理部９３−１およびフィルタ処理部９３−２を個々に区別する必要のない場合、単にフィルタ処理部９３とも称する。

マッチング処理部９４は、フィルタ処理部９３からの折り返し信号、または切り替え部９２からのキャプチャ信号のマッチング処理を行ない、その処理結果をずれ量算出部９５に供給する。ずれ量算出部９５は、マッチング処理部９４からのマッチング処理の結果に基づいてカメラ１２の位相ずれ△ｔを算出し、位相制御部８２に供給する。

また、位相制御部８２は、ずれ量算出部９５からの位相ずれ△ｔに基づいてステレオカメラ４２の動作を制御し、２つのカメラ１２による画像の撮影タイミングを同期させる。

［位相調整処理の説明］
ところで、ユーザが信号処理装置４１を操作してアプリケーションプログラムの起動を指示すると、本体機器５２は、ユーザの操作により入力されたコマンドに応じてアプリケーションプログラムを起動させるとともに、ステレオカメラ４２を起動させる。すると、信号処理装置４１は、位相調整処理を行なって、カメラ１２の撮影タイミングが同期するように、カメラ１２による撮影タイミングの位相を調整する。そして、その後、信号処理装置４１は、起動したアプリケーションプログラムに従って、ユーザの操作に応じた処理を実行する。

以下、図８のフローチャートを参照して、信号処理装置４１による位相調整処理について説明する。

ステップＳ１１において、本体機器５２は、信号提示部５１を制御して、提示信号の提示を開始させる。これにより、例えば信号提示部５１は、各画素の画素値（輝度値）が同じであり、画素の輝度が所定の周波数で周期的に変化する動画像を提示信号として表示（提示）する。

ステップＳ１２において、位相制御部８２は、ステレオカメラ４２を制御して、提示信号をキャプチャさせる。すると、ステレオカメラ４２を構成するカメラ１２−１およびカメラ１２−２は、それぞれ位相制御部８２の指示に応じて提示信号を被写体とする画像を撮影し、得られた画像を生成部９１に供給する。

なお、このとき、ステレオカメラ４２で確実に提示信号を撮影できるように、ステレオカメラ４２を信号提示部５１の方向に向ける旨の音声等の出力やメッセージの表示を行なうようにしてもよい。

ステップＳ１３において、生成部９１は、カメラ１２から供給された画像を用いてキャプチャ信号を生成し、切り替え部９２に供給する。

具体的には、例えば、生成部９１は、カメラ１２−１からの各フレームの画像について、画像の各画素の輝度値の平均値を求め、得られた平均値が、そのフレームに対応する時刻のサンプルのサンプル値となる左キャプチャ信号を生成する。つまり、左キャプチャ信号の各サンプルのサンプル値は、各時刻における提示信号としての画像の輝度を示している。同様にして生成部９１は、カメラ１２−２から供給された画像から、右キャプチャ信号を生成する。

なお、キャプチャ信号のサンプル値は、カメラ１２で撮影された画像全体の輝度値や色の平均値ではなく、画像の一部の画素の輝度値や色の平均値としてもよいし、特定の画素の輝度値や色としてもよい。

また、カメラ１２により撮影された画像全体のうちの一部に提示信号が表示され、画像全体の輝度や色が均一とならない場合には、撮影された画像から、提示信号が含まれる部分を抽出して、得られた提示信号の部分の画像からキャプチャ信号を生成してもよい。例えば、提示信号の含まれる領域の検出は、連続するフレーム間の画像の差分や、円形などの特定の形状の検出などにより行なわれる。

ステップＳ１４において、位相ずれ検出部８１は、位相ずれ検出処理を行なって、左右のキャプチャ信号から、カメラ１２の位相ずれ△ｔを算出し、位相制御部８２に供給する。なお、位相ずれ検出処理の詳細は後述する。

カメラ１２の位相ずれ△ｔが得られると、ステップＳ１５において、本体機器５２は、信号提示部５１を制御して、提示信号の提示を終了させる。

ステップＳ１６において、位相制御部８２は、ずれ量算出部９５から供給された位相ずれ△ｔに基づいてステレオカメラ４２を制御し、ステレオカメラ４２の使用を開始させる。すなわち、位相制御部８２は、位相ずれ△ｔの分だけカメラ１２−２の撮影のタイミングが早くなるか、または遅れるように、カメラ１２の撮影タイミングを制御し、ステレオカメラ４２の各カメラ１２にユーザの画像を撮影させる。これにより、カメラ１２−１とカメラ１２−２の撮影のタイミングが同期することになり、視点の異なる同じ被写体の画像が、同じ時刻に撮影されることになる。

ステレオカメラ４２の動作が制御され、ユーザの画像の撮影が開始されると、位相調整処理は終了し、その後、アプリケーションプログラムに従った処理が実行される。

このようにして、信号処理装置４１は、ステレオカメラ４２の起動時に、提示信号を提示し、その提示信号を撮影した画像から得られるキャプチャ信号を用いて、カメラ１２の位相ずれ△ｔを検出して、カメラ１２による撮影の同期をとる。

［提示信号の説明］
なお、以上においては、提示信号が、輝度や色が所定の周波数で周期的に変化する画像である場合を例として説明したが、提示信号は、特定の周波数で強度等が変化する信号であれば、どのような信号であってもよい。

例えば、図９に示すように、画素値が特定の値からなる図中、横方向に長く白い帯状の被検出領域ＲＷが、縦方向に移動する画像ＰＴを提示信号として表示させてもよい。図９の例では、画像ＰＴのほぼ全体が、画素値が０である黒い領域とされている。また、画像ＰＴの端近傍に設けられた白い枠ＷＦ内に被検出領域ＲＷが表示されており、枠ＷＦ内の上端から下端まで、被検出領域ＲＷが所定の周波数で表示位置を変化させながら移動していく。つまり被検出領域ＲＷが所定の速度で移動していく。

そして、被検出領域ＲＷの図中、上側の端が枠ＷＦの下側に到達すると、再び、被検出領域ＲＷが枠ＷＦ内の図中、上側の端に現れ、図中、下方向に移動していく。なお、このとき、被検出領域ＲＷが枠ＷＦ内の上端から下端まで、提示信号の１周期分の時間で移動するようになされる。

このような画像ＰＴが提示信号として提示される場合、被検出領域ＲＷと枠ＷＦの縦方向の長さが既知の特定の値となるようにされ、生成部９１では、エッジ検出等により画像ＰＴから被検出領域ＲＷが検出される。そして、例えば、枠ＷＦの上端から被検出領域ＲＷまでの距離ＬＷが、キャプチャ信号の強度や位相として処理される。これにより、振幅が所定の周波数で周期的に変化するキャプチャ信号を得ることができる。

なお、例えば図９の枠ＷＦの上端から被検出領域ＲＷの下端までが白い領域とされ、この領域が被検出領域とされるようにしてもよい。この場合、被検出領域は、時間とともに大きくなり、１周期分の時間が経過すると、枠ＷＦの上端から下端までの領域が被検出領域となるようにされる。

このように、提示信号は、所定の周波数で検出対象の輝度や色、位置等が周期的に変化する信号であれば、どのようなものであってもよい。

［位相ずれ検出処理の説明］
次に、図１０のフローチャートを参照して、図８のステップＳ１４に対応する位相ずれ検出処理について説明する。

ステップＳ４１において、切り替え部９２は、提示信号の周波数が、ステレオカメラ４２のフレームレートのナイキスト周波数以下であるか否かを判定する。

例えば、信号処理装置４１では、信号提示部５１により提示される提示信号をユーザの指示等により変更できるようになされており、提示信号がユーザにより指定されると、切り替え部９２は、指定された提示信号と、その提示信号の周波数とを記録する。また、切り替え部９２は、接続されているステレオカメラ４２のフレームレートを示す情報も予め記録しており、記録しているフレームレートと、提示信号の周波数とから、提示信号の周波数がナイキスト周波数以下であるか否かを判定する。

ステップＳ４１において、ナイキスト周波数以下であると判定された場合、切り替え部９２は、生成部９１から供給された左右のキャプチャ信号を、マッチング処理部９４に供給し、処理はステップＳ４２に進む。

ステップＳ４２において、マッチング処理部９４は、切り替え部９２から供給された左右のキャプチャ信号に対するマッチング処理を行う。

例えば、マッチング処理部９４は、特定期間の所定数のサンプルからなる左右のキャプチャ信号を、時間方向にずらしながら、各サンプルのサンプル値の差分をとり、得られた各サンプル値の差分の総和を正規化した値を求める。すなわち、マッチング処理部９４は、左キャプチャ信号と、時間方向にずらされた右キャプチャ信号との対応する時刻の各サンプルについて、左キャプチャ信号のサンプルのサンプル値と、右キャプチャ信号のサンプルのサンプル値との差分を求め、全サンプルの差分の平均値を求める。

そして、マッチング処理部９４は、サンプルの差分の平均値が最小となるときの右キャプチャ信号の時間方向のずれ量、つまりキャプチャ信号の位相のずれを、マッチング処理の結果としてずれ量算出部９５に供給する。

ステップＳ４３において、ずれ量算出部９５は、マッチング処理部９４から供給されたマッチング処理の結果に基づいて、カメラ１２の位相ずれ△ｔを検出する。具体的には、ずれ量算出部９５は、マッチング処理の結果として得られた左右のキャプチャ信号の位相のずれ量を、そのままカメラ１２の位相ずれ△ｔとする。

提示信号の周波数が、ステレオカメラ４２のフレームレートのナイキスト周波数以下である場合、提示信号を撮影した画像から得られるキャプチャ信号は、正確に提示信号の時間波形を再現できるものである。したがって、この場合、キャプチャ信号の位相ずれは、カメラ１２の位相ずれ△ｔそのものとなる。

このようにして、カメラ１２の位相ずれ△ｔが得られると、ずれ量算出部９５は、得られた位相ずれ△ｔを位相制御部８２に供給し、位相ずれ検出処理は終了する。そして、その後、処理は図８のステップＳ１５へと進む。

これに対して、ステップＳ４１において、ナイキスト周波数以下でないと判定された場合、切り替え部９２は、生成部９１から供給された左右のキャプチャ信号を、フィルタ処理部９３に供給し、処理はステップＳ４４に進む。

ステップＳ４４において、フィルタ処理部９３−１は、切り替え部９２から供給された左キャプチャ信号に対して、予め定められたローパスフィルタを用いたフィルタ処理を施し、左キャプチャ信号から予め定められた次数ｋの折り返し信号（以下、左の折り返し信号とも称する）を抽出する。

例えば、フィルタ処理に用いるローパスフィルタは、予め既知である提示信号の周波数と、ステレオカメラ４２のフレームレートとから定まる次数ｋの折り返し信号、つまりｋ次の高調波を抽出するフィルタとされる。具体的には、カメラ１２のフレームレートが30fpsであり、提示信号の周波数が50Hzである場合、周波数が10Hzである次数ｋ＝２の折り返し信号が抽出されるローパスフィルタとされる。

フィルタ処理部９３は、提示信号やステレオカメラ４２を変更する場合であっても、提示信号の周波数とステレオカメラ４２のフレームレートが既知とされていれば、その周波数とフレームレートに対して予め定められた、適切なローパスフィルタを選択することができる。

フィルタ処理により左の折り返し信号が得られると、フィルタ処理部９３−１は、得られた左の折り返し信号をマッチング処理部９４に供給する。

ステップＳ４５において、フィルタ処理部９３−２は、切り替え部９２から供給された右キャプチャ信号に対して、予め定められたローパスフィルタを用いたフィルタ処理を施し、右キャプチャ信号から予め定められた次数ｋの折り返し信号を抽出する。ここで、折り返し信号（以下、右の折り返し信号とも称する）の抽出に用いられるローパスフィルタは、ステップＳ４４の処理で用いられるフィルタと同じものとされる。フィルタ処理部９３−２は、フィルタ処理により得られた右の折り返し信号をマッチング処理部９４に供給する。

ステップＳ４６において、マッチング処理部９４は、フィルタ処理部９３から供給された左右の折り返し信号に対するマッチング処理を行い、得られたマッチング処理の結果をずれ量算出部９５に供給する。

なお、折り返し信号のマッチング処理は、ステップＳ４２におけるキャプチャ信号のマッチング処理の場合と同様に、特定期間の所定数のサンプルからなる左右の折り返し信号を時間方向にずらしながら行なわれる。すなわち、左右の折り返し信号の各サンプルのサンプル値の差分の平均値が求められ、その平均値が最小となるときの折り返し信号の時間方向のずれ、つまり折り返し信号の位相ずれ△ｔ’が求められる。

マッチング処理部９４は、求めた左右の折り返し信号の位相ずれ△ｔ’を、マッチング処理の結果としてずれ量算出部９５に供給する。

ステップＳ４７において、ずれ量算出部９５は、マッチング処理部９４から供給されたマッチング処理の結果に基づいて、カメラ１２の位相ずれ△ｔを検出する。

具体的には、ずれ量算出部９５は、既知である提示信号の周波数とステレオカメラ４２のフレームレートとに対して予め求められた、マッチング処理に用いる折り返し信号の次数ｋ、つまり高調波の次数ｋを記録している。ずれ量算出部９５は、上述した式（１）に示した計算を行なって、カメラ１２の位相ずれ△ｔ（キャプチャ信号の位相ずれ）を算出する。すなわち、折り返し信号の位相ずれ△ｔ’に次数ｋが乗算され、カメラ１２の位相ずれ△ｔとされる。

なお、ずれ量算出部９５は、提示信号やステレオカメラ４２が変更される場合であっても、提示信号の周波数とステレオカメラ４２のフレームレートが既知であれば、その周波数とフレームレートに対して予め定められた、適切な次数ｋを選択することができる。

例えば、提示信号の周波数が、ステレオカメラ４２のフレームレートのナイキスト周波数を超える場合、提示信号を撮影した画像から得られるキャプチャ信号では、正確に提示信号の時間波形を再現することはできない。そこで、信号処理装置４１は、キャプチャ信号から特定の次数ｋの折り返し信号を抽出し、それらの折り返し信号を比較することで、キャプチャ信号の位相のずれを検出し、その結果をカメラ１２の位相ずれ△ｔとする。

このように、キャプチャ信号によって正確な提示信号の時間波形（輝度の時間変化）が再現できず、キャプチャ信号同士を直接比較することが困難である場合であっても、折り返し信号を抽出して比較することで、簡単かつ正確にカメラ１２の位相ずれ△ｔを得ることができる。

このようにして、カメラ１２の位相ずれ△ｔが得られると、ずれ量算出部９５は、得られた位相ずれ△ｔを位相制御部８２に供給し、位相ずれ検出処理は終了する。そして、その後、処理は図８のステップＳ１５へと進む。

以上のようにして、信号処理装置４１は、提示信号の周波数と、カメラ１２のフレームレートのナイキスト周波数とを比較して、その比較結果に応じてキャプチャ信号または折り返し信号のマッチング処理を行い、カメラ１２の位相ずれ△ｔを検出する。

このように、キャプチャ信号または折り返し信号を比較して、カメラ１２の位相ずれ△ｔを検出することで、より簡単かつ精度よくカメラ１２の位相のずれ、つまり異なるカメラ１２で得られる非同期である画像信号の位相ずれを検出することができる。これにより、より簡単にカメラ１２による画像の撮影を同期させることができる。

特に、信号処理装置４１によれば、提示信号の周波数が、カメラ１２のナイキスト周波数より大きい場合でも、簡単にカメラ１２の位相ずれ△ｔを検出できるため、カメラ１２と提示信号の組み合わせを任意のものとすることができる。

また、信号処理装置４１によれば、ステレオカメラ４２を利用して位相ずれ△ｔを検出する場合に、周囲に存在するディスプレイなどを信号提示部５１として機能させることができるため、より簡単な構成で位相ずれを検出することができる。

〈変形例１〉
［位相調整処理の説明］
なお、カメラ１２の位相ずれ△ｔの検出時に、より確からしい検出結果が得られるように、位相ずれ△ｔの検出結果が適切でなかった場合には、再度検出が行なわれるようにしてもよい。以下、図１１のフローチャートを参照して、適宜、位相ずれの再検出が行なわれる場合における位相調整処理について説明する。

なお、ステップＳ７１乃至ステップＳ７４の処理は、図８のステップＳ１１乃至ステップＳ１４の処理のそれぞれと同様であるので、その説明は省略する。位相ずれ検出処理が行われ、カメラ１２の位相ずれ△ｔが検出されると、その検出結果は、ずれ量算出部９５から位相制御部８２に供給される。

ステップＳ７５において、位相制御部８２は、ずれ量算出部９５から供給されたカメラ１２の位相ずれ△ｔに基づいて、位相ずれ△ｔを再検出するか否かを判定する。例えば、カメラ１２の位相ずれ△ｔが、予め定められた範囲内の値ではなく、位相ずれの量として取り得ない値であった場合、検出された位相ずれ△ｔは確からしいものではなく、位相ずれ△ｔを再検出すると判定される。

ステップＳ７５において、再検出すると判定された場合、処理はステップＳ７２に戻り、上述した処理が繰り返される。すなわち、再度、位相ずれ△ｔが検出される。

これに対して、ステップＳ７５において、再検出しないと判定された場合、処理はステップＳ７６に進む。そして、ステップＳ７６およびステップＳ７７の処理が行われて位相調整処理は終了するが、これらの処理は、図８のステップＳ１５およびステップＳ１６の処理と同様であるので、その説明は省略する。

このようにして、本体機器５２は、検出された位相ずれ△ｔが妥当であるか否か、つまり確からしいか否かを判定し、その検出結果が確からしいものではない場合には、位相ずれ△ｔの再検出を行なう。これにより、より確からしい位相ずれ△ｔを得ることができ、より高精度にカメラ１２の撮影タイミングの同期をとることができる。

なお、位相ずれ△ｔの検出後、その位相ずれ△ｔが所定の範囲内の値であるか否かを判定し、その判定結果に応じて、カメラ１２の撮影タイミングを同期させる処理を行わないようにしてもよい。

そのような場合、例えば、位相ずれ△ｔが所定の範囲内の値である場合、位相ずれ△ｔは無視できる程度であるとして、撮影タイミングを同期させる処理は行われず、そのままカメラ１２が使用される。また、位相ずれ△ｔが所定の範囲内の値でない場合、位相ずれ△ｔは無視できない程度に大きいとされ、位相ずれ△ｔに従って撮影タイミングを同期させる処理が行われる。

〈第２の実施の形態〉
［信号処理装置の構成］
また、以上においては、信号処理装置４１が信号提示部５１を備えており、信号処理装置４１にステレオカメラ４２が外付けされる場合を例として説明したが、信号処理装置４１がステレオカメラ４２を備えていてもよい。

そのような場合、信号処理装置４１は、例えば、図１２に示すように構成される。なお、図１２において、図６における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

すなわち、図１２に示す信号処理装置４１は、本体機器５２とステレオカメラ４２とを備えており、信号処理装置４１の本体機器５２には、信号提示部５１が接続されている。このような構成とされる信号処理装置４１は、例えば、パーソナルコンピュータやテレビジョン受像機などとされる。

例えば、信号処理装置４１は、ステレオカメラ４２を用いて、信号処理装置４１からユーザまでの距離を求めてユーザの手の位置を特定し、その手の動きに応じて、ディスプレイ等に表示されたボタンなどを操作するためのポインタを移動させるなどの処理を行う。

また、信号提示部５１は、例えば光学式のマウスなどとされ、光学式マウスの光源からの光、つまりマウスの位置を特定するために光源から発せられる光が、提示信号として利用される。

その他、信号提示部５１は、所定の周波数で輝度が周期的に変化する画像を表示するディスプレイや、ゲーム用のコントローラなどとされてもよい。また、信号提示部５１は、リモートコマンダなどとされてもよい。そのような場合、リモートコマンダから発せられるコマンドとしての光が提示信号として利用される。

［位相調整処理の説明］
ところで、ユーザが信号処理装置４１に設けられたボタンや、信号提示部５１等を操作して、アプリケーションプログラムの起動を指示すると、本体機器５２は、ユーザの操作により信号提示部５１等から入力されたコマンドに応じてアプリケーションプログラムを起動させる。また、同時に本体機器５２は、ステレオカメラ４２を起動させる。すると、信号処理装置４１は、位相調整処理を行なって、カメラ１２の撮影タイミングが同期するように、カメラ１２による撮影タイミングの位相を調整する。そして、その後、信号処理装置４１は、起動したアプリケーションプログラムに従って、ユーザの操作に応じた処理を実行する。

以下、図１３のフローチャートを参照して、図１２の信号処理装置４１による位相調整処理について説明する。

ステップＳ１２１において、本体機器５２は、信号提示部５１に提示信号の提示を開始させる。例えば、信号提示部５１がマウスである場合など、信号提示部５１から常に提示信号が出力された状態であるときには、本体機器５２が、信号処理装置４１のディスプレイ等に、信号提示部５１をステレオカメラ４２に向けるように促すメッセージを表示させてもよい。

また、本体機器５２が直接、信号提示部５１を制御し、提示信号を出力させるようにしてもよい。この場合、ステレオカメラ４２で確実に提示信号を撮影できるように、信号提示部５１をステレオカメラ４２の方向に向ける旨の音声等の出力や、メッセージの表示を行なうようにしてもよい。

提示信号の提示が開始されると、その後、ステップＳ１２２乃至ステップＳ１２５の処理が行われて、提示信号からカメラ１２の位相ずれ△ｔが検出される。なお、これらのステップＳ１２２乃至ステップＳ１２５の処理は、図８のステップＳ１２乃至ステップＳ１５の処理と同様であるので、その説明は省略する。

ステップＳ１２６において、位相制御部８２は、ずれ量算出部９５から供給された位相ずれ△ｔに基づいてステレオカメラ４２を制御し、ステレオカメラ４２の使用を開始させる。すなわち、位相制御部８２は、位相ずれ△ｔの分だけ一方のカメラ１２の撮影タイミングがずれるようにカメラ１２を制御し、画像の撮影タイミングを同期させる。

ステレオカメラ４２の動作が制御され、ユーザの画像の撮影が開始されると、位相調整処理は終了し、その後、アプリケーションプログラムに従った処理が実行される。

このようにして、信号処理装置４１は、ステレオカメラ４２の起動時に、提示信号を提示させ、その提示信号を撮影した画像から得られるキャプチャ信号を用いて、カメラ１２の位相ずれ△ｔを検出し、カメラ１２による撮影の同期をとる。

なお、信号提示部５１により提示される提示信号は、例えば次のようなものとすることができる。例えば、信号提示部５１が光学式マウスにより構成される場合、信号提示部５１が備える光源からの光の輝度を、所定の周波数で点滅させ、このようにして光源から出力される光が提示信号とされる。また、光の色が所定の周波数で変化するようにし、そのような光を提示信号としてもよい。

一般的に、光学式マウスやリモートコマンダ等の光の点滅の周波数は非常に高く、そのままの状態では、カメラで点滅信号を捉えることができない。しかし、提示信号として光を提示する期間は、マウスやリモートコマンダの光の点滅の周波数を、カメラ１２のフレームレートのナイキスト周波数以下となるように制御すれば、提示信号として適切に扱うことが可能となる。なお、信号提示部５１に表示部が設けられている場合には、その表示部に周期的に輝度等が変化する信号を提示信号として表示させてもよい。

提示信号の周波数がナイキスト周波数以下である場合、カメラ１２により撮影された画像から提示信号を抽出するには、例えば、画像の特定領域内に提示信号が含まれるようにし、その特定領域の輝度や色の変化をフレーム間差分により検出して、提示信号の位置を特定すればよい。

また、画像における提示信号の位置が特定されると、必要に応じて提示信号の形状検出等が行なわれて、提示信号の輝度や色の変化から、キャプチャ信号が生成される。このとき、提示信号の含まれる領域の画素の輝度や色の平均値、提示信号の含まれる領域の中心位置にある画素の輝度や色などが２値化され、キャプチャ信号のサンプリングのサンプリング値とされる。

〈第３の実施の形態〉
［距離の測定の説明］
さらに、以上においては、位相ずれ△ｔを検出し、その検出結果を用いてカメラ１２の撮影タイミングを同期させる例について説明したが、カメラ１２で撮影された画像が用いられて算出された距離や視差を、位相ずれ△ｔにより補正するようにしてもよい。

例えば、図１４に示すように、カメラ１２により撮影した画像を用いて、カメラ１２から被写体までの距離の測定を行なうとする。

図１４の例では、カメラ１２−１は、レンズ１３１と、撮像素子からなるセンサ１３２から構成され、カメラ１２−２は、レンズ１３３と、撮像素子からなるセンサ１３４から構成されている。また、図１４では、カメラ１２−１およびカメラ１２−２のそれぞれの図中、上側には、カメラ１２−１およびカメラ１２−２により撮影される左画像ＬＰと右画像ＲＰが示されている。これらの左画像ＬＰおよび右画像ＲＰは、カメラ１２の仮想的な撮像面を示している。

ここで、左画像ＬＰおよびセンサ１３２は、それぞれレンズ１３１から図中、縦方向にレンズ１３１の焦点距離ｆ_Ｏだけ離れた位置に配置されており、同様に、右画像ＲＰおよびセンサ１３４は、それぞれレンズ１３３から図中、縦方向にレンズ１３３の焦点距離ｆ_Ｏだけ離れた位置に配置されている。また、図中、横方向および縦方向をそれぞれＸ方向およびＺ方向とし、Ｘ方向およびＺ方向に垂直な方向、つまり図中、奥行き方向をＹ方向とする。

いま、簡単のため、カメラ１２−２の画像のキャプチャタイミング、つまり右画像ＲＰの撮影タイミングが、カメラ１２−１の左画像ＬＰの撮影タイミングよりも時間△ｔだけ遅れるとする。すなわち、カメラ１２の位相ずれが△ｔであるとする。また、撮影対象の被写体となる物体ＯＢＪが、ＸＹＺ座標系からなる３次元空間上を、Ｘ方向に速度Ｖ_ｘで等速移動しているとする。

ここで、所定の時刻において、位置Ｑ１１にあった物体ＯＢＪが、カメラ１２の１フレーム分の時間間隔よりも短い所定の時間△ｔ後に、位置Ｑ１２に移動していたとする。なお、位置Ｑ１１は、レンズ１３１の中心からＺ方向に、所定の距離だけ離れた位置である。

カメラ１２−１およびカメラ１２−２が物体ＯＢＪをキャプチャするとき、まずカメラ１２−１が左画像ＬＰを撮影し、その後、時間△ｔだけ経過してからカメラ１２−２が右画像ＲＰを撮影する。例えば、物体ＯＢＪが位置Ｑ１１にあるときにカメラ１２が撮影を行なったとする。

すると、左画像ＬＰ上における物体ＯＢＪの像の位置は、左画像ＬＰの中央、つまり位置ＧＱ１１となる。これに対して、右画像ＲＰ上における物体ＯＢＪの像の位置は、本来、位置ＧＱ１２となるはずであるが、右画像ＲＰの撮影タイミングが左画像ＬＰよりも時間△ｔだけ遅れるので、位置ＧＱ１２よりも図中、右側にある位置ＧＱ１３となる。つまり、左画像ＬＰの撮影時の物体ＯＢＪの位置Ｑ１１ではなく、位置Ｑ１２にある、左画像ＬＰの撮影時刻よりも時間△ｔだけ後の時刻の物体ＯＢＪが撮影されることになる。

このような場合、撮影により得られた左画像ＬＰと右画像ＲＰを用いて、レンズ１３１から物体ＯＢＪまでの距離（Ｚ方向の距離）を求めると、レンズ１３１の中心から、位置Ｑ１３までの距離が、測定結果として得られる。

なお、位置Ｑ１３は、レンズ１３１の中心および位置Ｑ１１を結ぶ直線と、レンズ１３３の中心および位置Ｑ１２を結ぶ直線とが交わる位置である。

このように、物体ＯＢＪまでの距離の測定結果は、実際の物体ＯＢＪまでの距離、つまりレンズ１３１から位置Ｑ１１までの距離よりも長い距離となってしまう。

同様に、左画像ＬＰと右画像ＲＰを用いて、それらの画像における物体ＯＢＪの視差を求めると、本来であれば、位置ＧＱ１１から位置ＧＱ１２までの距離が視差として得られるべきである。ところが、撮影タイミングのずれにより、位置ＧＱ１１から位置ＧＱ１３までの距離が視差として検出されてしまう。

そこで、このような撮影タイミングのずれにより生じる距離測定の結果の誤差を求めて補正し、より正確な距離を求めることについて考える。

いま、カメラ１２−１から物体ＯＢＪまでの距離をＺ_ｔ、物体ＯＢＪの移動速度をＶ_ｘ、カメラ１２の焦点距離をｆ_Ｏ、左画像ＬＰおよび右画像ＲＰにおける画素サイズをｌとする。この場合、カメラ１２による撮影タイミングのずれ△ｔにより生じる、左画像ＬＰと右画像ＲＰの視差の誤差ｅ_ｔ＋△ｔは、次式（１２）で表される。なお、視差の誤差ｅ_ｔ＋△ｔは、画像上における画素数で表される。

すなわち、距離Ｚ_ｔと焦点距離ｆ_Ｏの比が、位置Ｑ１１から位置Ｑ１２までの距離と、位置ＧＱ１２から位置ＧＱ１３までの距離の比が等しいことから、誤差ｅ_ｔ＋△ｔが求まる。

一方、カメラ１２−１から物体ＯＢＪまでの距離Ｚと、左画像ＬＰおよび右画像ＲＰにおける物体ＯＢＪの視差ｄは、次式（１３）に示す関係を有している。

なお、式（１３）において、ｆ_Ｏおよびｌは、それぞれレンズ１３１の焦点距離および画素サイズを示しており、ｂは、カメラ１２間の距離である基線長を示している。

したがって、式（１３）から、図１５の曲線Ｃ１１に示すように、視差ｄが大きくなるほど、物体ＯＢＪまでの距離Ｚは短くなることが分かる。なお、図１５において縦軸は距離Ｚを示しており、横軸は視差ｄを示している。この曲線Ｃ１１は、ステレオカメラ４２の測距性能を示している。

ここで、上述した式（１３）について、所定の時刻ｔにおける視差ｄ_ｔの誤差ｅ_ｔ＋△ｔを考えると、物体ＯＢＪまでの距離が誤差ｅ_ｔ＋△ｔから受ける影響、すなわち時刻ｔにおける距離Ｚ_ｔ＋△ｔは、次式（１４）により表される。

すなわち、時刻ｔにおける視差の測定結果であるｄ_ｔ＋△ｔ＝（ｄ_ｔ±｜ｅ_ｔ＋△ｔ｜）を上述した式（１３）の視差ｄに代入することで、時刻ｔにおける距離Ｚ_ｔ＋△ｔが得られる。

ここで、距離Ｚ_ｔ＋△ｔが視差の誤差ｅ_ｔ＋△ｔから受ける誤差をＥ_ｔ＋△ｔとすると、次式（１５）に示すように、本来得られる距離Ｚ_ｔと誤差Ｅ_ｔ＋△ｔを含む距離Ｚ_ｔ＋△ｔの差分を計算して、距離Ｚ_ｔで除算することで、誤差Ｅ_ｔ＋△ｔを求めることができる。

なお、式（１５）では、距離Ｚ_ｔと距離Ｚ_ｔ＋△ｔのそれぞれに式（１３）および式（１４）の右辺を代入し、さらに得られたｅ_ｔ＋△ｔの項に式（１２）の右辺を代入するとともに、ｖ_ｘ＝（ｆ_ＯＶ_ｘ／Ｚ_ｔｌ）とすることで誤差Ｅ_ｔ＋△ｔが得られる。ここで、速度ｖ_ｘは、速度Ｖ_ｘで移動する物体ＯＢＪの左画像ＬＰまたは右画像ＲＰ上における移動速度を示している。

したがって、式（１５）から、時刻ｔにおける物体ＯＢＪまでの距離Ｚ_ｔ＋△ｔに含まれる誤差Ｅ_ｔ＋△ｔは、物体ＯＢＪまでの距離Ｚ_ｔに依存せず、物体ＯＢＪの画像上の速度ｖ_ｘ（または速度Ｖ_ｘ）と、カメラ１２の撮影タイミングのずれ△ｔにより定まることが分かる。

このようにして得られた式（１５）から、図１６に示す距離Ｚ_ｔ＋△ｔに含まれる誤差Ｅ_ｔ＋△ｔと、撮影タイミングのずれ△ｔ（位相ずれ△ｔ）との関係が得られる。なお、図１６において、縦軸は誤差Ｅ_ｔ＋△ｔを示しており、横軸は位相ずれ△ｔを示している。ここでの横軸の位相ずれ△ｔは、カメラ１２により撮影される画像の１フレームの時間以内の位相ずれの時間とされる。また、図１６では、横軸の位置が縦軸の誤差Ｅ_ｔ＋△ｔ＝０とされている。

図１６では、曲線Ｃ１２が正の値となる誤差Ｅ_ｔ＋△ｔを示しており、曲線Ｃ１３が負の値となる誤差Ｅ_ｔ＋△ｔを示している。

ここで、０＜ｖ_ｘ△ｔ＜−ｄ_ｔのとき、誤差Ｅ_ｔ＋△ｔは正となり、誤差Ｅ_ｔ＋△ｔは、位相ずれ△ｔに対して曲線Ｃ１２により示される値をとる。このとき、測定により得られた距離Ｚ_ｔ＋△ｔは、実際の距離Ｚ_ｔよりも大きい値となる。

逆に、０＞ｖ_ｘ△ｔのとき、誤差Ｅ_ｔ＋△ｔは負となり、誤差Ｅ_ｔ＋△ｔは、位相ずれ△ｔに対して曲線Ｃ１３により示される値をとる。このとき、測定により得られた距離Ｚ_ｔ＋△ｔは、実際の距離Ｚ_ｔよりも小さい値となる。

また、式（１５）からも分かるように、位相ずれ△ｔに対する誤差Ｅ_ｔ＋△ｔの値は、物体ＯＢＪの速度Ｖ_ｘ、つまり画像上の速度ｖ_ｘによっても変化する。

具体的には、曲線Ｃ１２および曲線Ｃ１３のそれぞれについて、それらの曲線の位相ずれ△ｔ＝０近傍での微小区間における傾きが横軸となす角をθとするとき、速度Ｖ_ｘと角度θとは比例関係となる。したがって、物体ＯＢＪの速度Ｖ_ｘが速いほど、角度θにより定まる曲線Ｃ１２および曲線Ｃ１３の傾きも急になり、誤差Ｅ_ｔ＋△ｔの絶対値が大きくなる。

さらに、図１６の曲線Ｃ１２により示される位相ずれ△ｔに対する誤差Ｅ_ｔ＋△ｔの値は、図１５の曲線Ｃ１１上の所定の点を真値としたとき、その真値からの図１５中、上方への誤差を示している。これに対して、図１６の曲線Ｃ１３により示される位相ずれ△ｔに対する誤差Ｅ_ｔ＋△ｔの値は、図１５の曲線Ｃ１１上の所定の点を真値としたとき、その真値からの図１５中、下方への誤差を示している。

図１５の曲線Ｃ１１の所定の点を誤差の含まれる値とした場合、位相ずれをもつ２つのカメラ１２を用いて物体ＯＢＪまでの距離を検出したとき、その検出結果である曲線Ｃ１１上の点について、式（１５）や図１６から誤差Ｅ_ｔ＋△ｔを見積もることができる。この誤差Ｅ_ｔ＋△ｔを求めるには、上述したように、誤差を含む視差の測定結果であるｄ_ｔ＋△ｔ、位相ずれ△ｔ、および物体ＯＢＪの速度ｖ_ｘが分かればよい。

なお、以上においては、カメラ１２−２の撮影タイミングが、カメラ１２−１の撮影タイミングよりも時間△ｔだけ遅れる場合について説明したが、カメラ１２−１の撮影タイミングが、カメラ１２−２の撮影タイミングに対して遅れる場合についても同様にして、距離の誤差を求めることができる。

［信号処理装置の構成］
次に、ステレオカメラ４２を用いて測定した物体までの距離の誤差を見積もり、測定結果として得られた距離を補正する信号処理装置の具体例について説明する。

図１７は、内蔵するカメラ１２から各被写体までの距離を算出して、その算出結果を出力する信号処理装置の構成例を示す図である。

すなわち、信号処理装置１６１は、ステレオカメラ４２、位相ずれ検出部８１、メモリ１７１、距離検出部１７２、動き検出部１７３、誤差算出部１７４、および補正部１７５から構成され、信号処理装置１６１には信号提示部５１が接続されている。なお、図１７において、図６および図７における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

ステレオカメラ４２は、図１４に示したカメラ１２−１およびカメラ１２−２からなり、信号提示部５１により提示された提示信号や、物体ＯＢＪの画像を撮影し、メモリ１７１または位相ずれ検出部８１に供給する。

位相ずれ検出部８１は、ステレオカメラ４２から供給された、提示信号を撮影して得られた画像から、カメラ１２の位相ずれ△ｔを算出し、誤差算出部１７４に供給する。

メモリ１７１は、ステレオカメラ４２から供給された物体ＯＢＪの画像、すなわち図１４の左画像ＬＰおよび右画像ＲＰを一時的に記録する。ここで、左画像ＬＰおよび右画像ＲＰは、複数フレームからなる画像とされ、ステレオカメラ４２からメモリ１７１には、時間的に連続して撮影された各フレームの左画像ＬＰと右画像ＲＰが、順次、供給される。

距離検出部１７２は、メモリ１７１から、処理対象となる現フレームの左画像ＬＰと右画像ＲＰを読み出して、画像上の各領域（画素）の視差を求め、誤差算出部１７４に供給する。さらに、距離検出部１７２は、求めた視差から画像上の各領域に含まれる被写体までの距離を算出し、補正部１７５に供給する。

例えば、画像上の被写体としての物体ＯＢＪに注目すると、画像上における物体ＯＢＪの視差ｄ_ｔ＋△ｔと、その視差から得られる距離Ｚ_ｔ＋△ｔが求められる。ここで、距離Ｚ_ｔ＋△ｔは、レンズ１３１から物体ＯＢＪまでのＺ方向の距離であり、視差ｄ_ｔ＋△ｔと距離Ｚ_ｔ＋△ｔには、カメラ１２の位相ずれ△ｔに起因する誤差が含まれている。

動き検出部１７３は、メモリ１７１から連続するフレームの画像、例えば、現フレームと、現フレームよりも１つ前のフレームの左画像ＬＰを読み出して動き検出を行い、その結果得られた、左画像ＬＰ上における各領域の動きを誤差算出部１７４に供給する。

誤差算出部１７４は、距離検出部１７２から供給された画像上の各領域の視差、動き検出部１７３から供給された各領域の動き、および位相ずれ検出部８１からの位相ずれ△ｔに基づいて、画像上の各領域の距離の誤差を算出し、補正部１７５に供給する。補正部１７５は、距離検出部１７２から供給された、画像上の各領域にある被写体までの距離を、誤差算出部１７４から供給された誤差に基づいて補正し、出力する。

［距離算出処理の説明］
ところで、ユーザにより信号処理装置１６１が操作され、特定の被写体までのＺ方向の距離の測定が指示されると、信号処理装置１６１は、信号提示部５１を制御して提示信号を提示させる。そして、信号提示部５１による提示信号の提示が開始されると、信号処理装置１６１は、距離算出処理を行って、被写体までの距離を出力する。

以下、図１８のフローチャートを参照して、信号処理装置１６１による距離算出処理について説明する。

なお、ステップＳ１５１乃至ステップＳ１５３の処理は、図８のステップＳ１２乃至ステップＳ１４の処理と同様であるので、その説明は省略する。ステップＳ１５１乃至ステップＳ１５３の処理では、ステレオカメラ４２を構成するカメラ１２により提示信号がキャプチャされ、カメラ１２−１とカメラ１２−２との位相ずれ△ｔが算出される。そして、算出されたカメラ１２の位相ずれ△ｔが、位相ずれ検出部８１から誤差算出部１７４に供給される。

このようにして、カメラ１２の位相ずれ△ｔが求められると、信号処理装置１６１は、信号提示部５１を制御して提示信号の提示を停止させる。また、ユーザは、信号処理装置１６１を操作して、距離測定の対象となる被写体の撮影を指示する。

すると、ステップＳ１５４において、ステレオカメラ４２のカメラ１２−１およびカメラ１２−２は、ユーザの操作に応じて、距離測定の対象となる被写体の撮影を開始する。例えば、測定対象の被写体として、速度Ｖ_ｘでＸ方向に等速移動する物体ＯＢＪを含む実空間上の領域が撮影される。なお、物体ＯＢＪのＹ方向およびＺ方向への移動速度は０であるものとする。

カメラ１２−１は、撮影により得られた各フレームの左画像ＬＰを順次、メモリ１７１に供給して記録させ、カメラ１２−２も撮影により得られた各フレームの右画像ＲＰを順次、メモリ１７１に供給して記録させる。

ステップＳ１５５において、距離検出部１７２は、メモリ１７１から処理対象の現フレームの左画像ＬＰおよび右画像ＲＰを読み出して、被写体までの距離を検出する。

例えば、距離検出部１７２は、読み出した左画像ＬＰおよび右画像ＲＰを用いて対応点探索処理、すなわちステレオマッチング処理を行い、画像（例えば、左画像ＬＰ）の各領域（画素）にある被写体の視差ｄ_ｔ＋△ｔを求め、誤差算出部１７４に供給する。

さらに、距離検出部１７２は、得られた視差ｄ_ｔ＋△ｔ＝（ｄ_ｔ＋ｅ_ｔ＋△ｔ）と、上述した式（１４）とから、画像（例えば、左画像ＬＰ）の各領域にある被写体の距離Ｚ_ｔ＋△ｔを算出し、補正部１７５に供給する。ここで、被写体の距離Ｚ_ｔ＋△ｔは、カメラ１２−１を構成するレンズ１３１から、その被写体までのＺ方向の距離である。

例えば、左画像ＬＰ上の各領域にある被写体の距離のうち、物体ＯＢＪのように、動きのある被写体の距離には、その被写体の移動速度とカメラ１２の位相ずれ△ｔにより生じる誤差が含まれている。

これに対して、動きのない被写体は、どの時刻に撮影しても、左画像ＬＰおよび右画像ＲＰにおける、その被写体の位置に変化はないので、動きのない被写体の視差の検出、およびＺ方向の距離測定には、誤差は生じない。すなわち、視差ｄ_ｔ＋△ｔ＝（ｄ_ｔ＋ｅ_ｔ＋△ｔ）において、誤差ｅ_ｔ＋△ｔ＝０となる。

ステップＳ１５６において、動き検出部１７３は、メモリ１７１から処理対象の現フレームの左画像ＬＰと、現フレームの１つ前のフレームの左画像ＬＰとを読み出して、左画像ＬＰに対するブロックマッチング等を行なうことで動き検出を行う。動き検出部１７３は、動き検出の結果得られた画像（例えば、左画像ＬＰ）上の各領域の動きを誤差算出部１７４に供給する。

なお、連続するフレームの左画像ＬＰを用いて動き検出を行なうと説明したが、撮影対象の被写体の動きを検出できる方法であれば、どのように動き検出を行なってもよい。例えば、現フレームの左画像ＬＰと、現フレームよりもいくつか前または後のフレームの左画像ＬＰとを用いて動き検出を行なうようにしてもよいし、左画像ＬＰではなく、互いに異なる２つのフレームの右画像ＲＰを用いて動き検出を行なってもよい。

ステップＳ１５７において、誤差算出部１７４は、距離検出部１７２からの視差ｄ_ｔ＋△ｔ、位相ずれ検出部８１からのカメラ１２の位相ずれ△ｔ、および動き検出部１７３からの左画像ＬＰ上の各領域の動きの検出結果を用いて、左画像ＬＰ上の各領域の距離Ｚ_ｔ＋△ｔの誤差Ｅ_ｔ＋△ｔを算出する。

まず、誤差算出部１７４は、左画像ＬＰ上の各領域の動きの検出結果を用いて、それらの各領域にある被写体の左画像ＬＰ上のＸ方向の速度ｖ_ｘを算出する。この速度ｖ_ｘは、処理対象となっている被写体の動き量と、左画像ＬＰの１フレーム分の時間とから求まる。

例えば、左画像ＬＰ上の動きのない被写体の領域は、動き量が０であるので、その被写体の速度は、ｖ_ｘ＝０となる。これに対して、左画像ＬＰにおける、物体ＯＢＪ等の動きのある被写体の領域では、その被写体の実際の速度Ｖ_ｘに対応する画像上の速度ｖ_ｘが算出される。

次に、誤差算出部１７４は、左画像ＬＰ上の各領域のうち、速度ｖ_ｘが０でない領域について、その速度ｖ_ｘ、カメラ１２の位相ずれ△ｔ、および視差ｄ_ｔ＋△ｔを用いて、上述した式（１５）を計算し、その領域についての距離Ｚ_ｔ＋△ｔの誤差Ｅ_ｔ＋△ｔを算出する。そして、誤差算出部１７４は、算出した誤差Ｅ_ｔ＋△ｔを補正部１７５に供給する。なお、左画像ＬＰ上の各領域のうち、速度ｖ_ｘ＝０となる領域については、距離測定に誤差は生じないので、誤差Ｅ_ｔ＋△ｔ＝０とされる。

また、誤差算出部１７４が、図１６に示した位相ずれ△ｔに対する誤差Ｅ_ｔ＋△ｔの値を示す曲線Ｃ１２や曲線Ｃ１３を表す関数、曲線Ｃ１２や曲線Ｃ１３を近似的に表す関数（例えば、１次関数）、△ｔに対する誤差Ｅ_ｔ＋△ｔの値を示すテーブルなどを用いて誤差Ｅ_ｔ＋△ｔを算出するようにしてもよい。

例えば、誤差算出部１７４が、実際の被写体の速度Ｖ_ｘごとに、曲線Ｃ１２や曲線Ｃ１３を表す関数Ｇ（△ｔ）を予め保持しているとする。この場合、誤差算出部１７４は、処理対象となる左画像ＬＰ上の領域、例えば物体ＯＢＪの領域について、その領域の速度ｖ_ｘと位相ずれ△ｔとから、誤差Ｅ_ｔ＋△ｔの算出に用いる関数Ｇ（△ｔ）を特定し、その関数Ｇ（△ｔ）に位相ずれ△ｔを代入して、誤差Ｅ_ｔ＋△ｔを算出する。

なお、関数Ｇ（△ｔ）の選択時において、速度Ｖ_ｘに対して定められた関数Ｇ（△ｔ）が、例えば、図１６における曲線Ｃ１２を表す関数Ｇ（△ｔ）であるか、曲線Ｃ１３を表す関数Ｇ（△ｔ）であるかは、速度ｖ_ｘと位相ずれ△ｔとから定められる。

ステップＳ１５８において、補正部１７５は、距離検出部１７２から供給された左画像ＬＰの各領域の距離Ｚ_ｔ＋△ｔを、誤差算出部１７４から供給された左画像ＬＰの各領域の誤差Ｅ_ｔ＋△ｔを用いて補正し、左画像ＬＰの各領域の距離Ｚ_ｔを算出する。すなわち、誤差Ｅ_ｔ＋△ｔの分だけ、距離Ｚ_ｔ＋△ｔの値が増減される。これにより、例えば、左画像ＬＰ上の動きのある物体ＯＢＪなどの領域の距離が、誤差のないより正確な距離に補正される。

例えば、補正部１７５は、ε＝（１＋Ｅ_ｔ＋△ｔ）として、Ｚ_ｔ＝Ｚ_ｔ＋△ｔ×ε^―１を計算することで、補正後の距離Ｚ_ｔを求める。

補正部１７５は、左画像ＬＰの各領域の距離Ｚ_ｔを算出すると、その算出結果を後段に出力する。そして、左画像ＬＰの各領域の距離Ｚ_ｔが出力されると、距離算出処理は終了する。

このようにして、信号処理装置１６１は、提示信号からカメラ１２の位相ずれ△ｔを求めておき、ステレオカメラ４２で撮影された画像を用いて、被写体までの距離を算出する場合に、位相ずれ△ｔを用いて測定誤差を見積もり、距離の算出結果を補正する。

このように、信号処理装置１６１では、位相ずれ△ｔと、画像上の被写体の動きとから、より簡単に被写体までの距離の測定誤差を見積もることができる。これにより、より簡単かつ高精度に被写体までの距離を算出することができる。

また、信号処理装置１６１では、提示信号を撮影して得られたキャプチャ信号や、折り返し信号を比較して位相ずれ△ｔを検出するので、従来のように、仮想的な同期画像を生成する処理が必要なくなり、より簡単かつ迅速に位相ずれを得ることができる。

また、信号処理装置１６１が被写体までの距離を測定する例について説明したが、撮影された被写体の画像間の視差を検出するようにしてもよい。

そのような場合、誤差算出部１７４は、動き検出部１７３から供給された、左画像ＬＰ上の各領域の動きの検出結果を用いて、それらの各領域にある被写体の左画像ＬＰ上のＸ方向の速度ｖ_ｘを算出する。そして、誤差算出部１７４は、この速度ｖ_ｘと、位相ずれ検出部８１からの位相ずれ△ｔとを用いて、視差の誤差ｅ_ｔ＋△ｔを算出する。

すなわち、視差の誤差ｅ_ｔ＋△ｔは、上述した式（１２）により表される。また、速度ｖ_ｘ＝（ｆ_Ｏ×Ｖ_ｘ）／（Ｚ_ｔ×ｌ）であるから、誤差ｅ_ｔ＋△ｔ＝ｖ_ｘ×△ｔが得られる。誤差算出部１７４は、速度ｖ_ｘと位相ずれ△ｔとの積を誤差ｅ_ｔ＋△ｔとして算出し、補正部１７５に供給する。

また、補正部１７５は、距離検出部１７２からの視差ｄ_ｔ＋△ｔから、誤差算出部１７４からの誤差ｅ_ｔ＋△ｔを減算することで、視差ｄ_ｔ＋△ｔを補正し、誤差のない視差ｄ_ｔを算出する。

このように、信号処理装置１６１においては、カメラ１２の位相ずれ△ｔの検出結果を利用して視差を補正し、より正確な視差を得ることができる。

以上のように、信号処理装置１６１によれば、距離や視差の計測精度の向上を図ることができるので、信号処理装置１６１を、ステレオカメラ４２を用いて距離測定や視差検出を行なうアプリケーションプログラム全般に適用することが可能である。

例えば、被写体までの距離情報に基づいて、画像にエフェクトを施したり、距離情報そのものを利用してユーザインターフェースを制御したりする場合、高精度な距離測定が要求されるため、信号処理装置１６１は、このような処理を行う場合に特に効果的である。

なお、以上においては、ステレオカメラ４２を構成するカメラ１２の撮影タイミングのずれを検出する場合を例として説明したが、本発明は、任意の非同期の信号の位相ずれを検出する場合に適用可能である。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１２−１，１２−２，１２ カメラ， ４１ 信号処理装置， ４２ ステレオカメラ， ５１ 信号提示部， ５２ 本体機器， ８１ 位相ずれ検出部， ９１ 生成部， ９２ 切り替え部， ９３−１，９３−２，９３ フィルタ処理部， ９４ マッチング処理部， ９５ ずれ量算出部， １６１ 信号処理装置， １７２ 距離検出部， １７３ 動き検出部， １７４ 誤差算出部， １７５ 補正部

Claims (8)

1. 第１の撮影手段と第２の撮影手段とに、既知の同じフレームレートで同一の被写体を撮影させたときに生じる撮影タイミングのずれを検出する信号処理装置であって、
   既知の第１の周波数で周期的に状態が変化する提示信号を、前記第１の撮影手段により撮影して得られた第１の画像から、各時刻における前記提示信号の状態を示す第１のキャプチャ信号を生成するとともに、前記提示信号を前記第２の撮影手段により撮影して得られた第２の画像から、各時刻における前記提示信号の状態を示す前記第２のキャプチャ信号を生成する生成手段と、
   前記第１のキャプチャ信号と前記第２のキャプチャ信号との位相のずれを検出することで、前記撮影タイミングのずれを検出するマッチング処理手段と
   を備える信号処理装置。
2. 前記マッチング処理手段は、前記第１の周波数が前記フレームレートのナイキスト周波数以下である場合、前記第１のキャプチャ信号と、前記第２のキャプチャ信号との差分を求めることで前記位相のずれを検出し、前記位相のずれを前記撮影タイミングのずれとする
   請求項１に記載の信号処理装置。
3. 前記第１のキャプチャ信号にフィルタ処理を施して、前記フレームレートと前記第１の周波数とから予め定まる第２の周波数の第１の折り返し信号を抽出するとともに、前記第２のキャプチャ信号に前記フィルタ処理を施して、前記第２の周波数の第２の折り返し信号を抽出するフィルタ処理手段をさらに備え、
   前記マッチング処理手段は、前記第１の周波数が前記ナイキスト周波数より大きい場合、前記第１の折り返し信号と前記第２の折り返し信号との差分を求めることで、前記位相のずれを検出し、前記位相のずれを前記撮影タイミングのずれとする
   請求項２に記載の信号処理装置。
4. 前記第１のキャプチャ信号および前記第２のキャプチャ信号に含まれる折り返し信号の周波数のうち、正の値である最小の周波数が、前記第２の周波数として定められる
   請求項３に記載の信号処理装置。
5. 前記提示信号は、画像上における撮影対象の表示位置若しくは大きさ、輝度、色、または提示位置が前記第１の周波数で周期的に変化する信号である
   請求項１に記載の信号処理装置。
6. 前記第１の撮影手段により動きのある動被写体を撮影して得られた第１の撮影画像と、前記第２の撮影手段により前記動被写体を撮影して得られた第２の撮影画像とを用いた対応点探索処理により、所定位置から前記動被写体までの距離、または前記動被写体の視差を算出する算出手段と、
   異なる時刻に撮影された前記第１の撮影画像を用いて、前記動被写体の動きを検出する動き検出手段と、
   前記動き検出の結果から、前記第１の撮影画像における前記動被写体の移動速度を求め、前記移動速度および前記撮影タイミングのずれに基づいて、前記距離または前記視差の誤差を算出する誤差算出手段と、
   前記誤差に基づいて、前記距離または前記視差を補正する補正手段と
   をさらに備える請求項１に記載の信号処理装置。
7. 第１の撮影手段と第２の撮影手段とに、既知の同じフレームレートで同一の被写体を撮影させたときに生じる撮影タイミングのずれを検出する信号処理装置であり、
   既知の第１の周波数で周期的に状態が変化する提示信号を、前記第１の撮影手段により撮影して得られた第１の画像から、各時刻における前記提示信号の状態を示す第１のキャプチャ信号を生成するとともに、前記提示信号を前記第２の撮影手段により撮影して得られた第２の画像から、各時刻における前記提示信号の状態を示す前記第２のキャプチャ信号を生成する生成手段と、
   前記第１のキャプチャ信号と前記第２のキャプチャ信号との位相のずれを検出することで、前記撮影タイミングのずれを検出するマッチング処理手段と
   を備える信号処理装置の信号処理方法であって、
   前記生成手段が、前記第１の画像から前記第１のキャプチャ信号を生成するとともに、前記第２の画像から前記第２のキャプチャ信号を生成し、
   前記マッチング処理手段が、前記第１のキャプチャ信号と前記第２のキャプチャ信号とから、前記撮影タイミングのずれを検出する
   ステップを含む信号処理方法。
8. 第１の撮影手段と第２の撮影手段とに、既知の同じフレームレートで同一の被写体を撮影させたときに生じる撮影タイミングのずれを検出する信号処理用のプログラムであって、
   既知の第１の周波数で周期的に状態が変化する提示信号を、前記第１の撮影手段により撮影して得られた第１の画像から、各時刻における前記提示信号の状態を示す第１のキャプチャ信号を生成するとともに、前記提示信号を前記第２の撮影手段により撮影して得られた第２の画像から、各時刻における前記提示信号の状態を示す前記第２のキャプチャ信号を生成し、
   前記第１のキャプチャ信号と前記第２のキャプチャ信号との位相のずれを検出することで、前記撮影タイミングのずれを検出する
   ステップを含む処理をコンピュータに実行させるプログラム。

Images