JP2014158090A - 複眼撮像装置 - Google Patents

Abstract

【課題】簡単な構成で同期ズレの発生を検出することのできる複眼撮像装置を提供する。
【解決手段】第一のカメラ（１１）から出力される第一の同期信号と、第二のカメラ（１２）から出力される第二の同期信号とを入力して、排他的論理和を演算する排他的論理和演算部（２０）と、排他的論理和演算部（２０）から出力される演算結果を平滑化する平滑化部（３０）と、平滑化部（３０）から出力される平滑化された電圧値を所定の電圧値と比較する電圧比較部（４０）を備える。電圧比較部（４０）から出力される比較結果によって第一のカメラ（１１）と第二のカメラ（１２）それぞれの撮影時刻が一致しているかどうかを判断する。
【選択図】図１

Description

本発明は、複眼撮像装置に関し、特に、複数のカメラ画像をもとに対象物までの距離を推定する技術に関するものである。

２次元画像から３次元情報を復元する手法として、ステレオ視法が知られている。ステレオ視法では、視点の異なる（設置位置の異なる）一対のカメラの画像を利用する。一対の画像のうちどちらか一方を基準画像とし、他方を比較画像とし、基準画像内のある部分に注目して、その注目部分が比較画像内ではどの部分に対応するかを調べるステレオマッチングという処理を行い、注目した部分の一対の画像間での位置ズレ量（＝視差）を算出する。

図９を参照してステレオマッチング処理を説明する。図９は、エピポーラ線が一致している一対のカメラ（横方向にきっちり並んで配置されている一対のカメラ）で撮影した際にそれぞれのカメラから得られる画像であり、ここでは（ａ）を基準画像、（ｂ）を比較画像であるとする。基準画像内のある部分（ウィンドウ）Ｗａに対応する比較画像内の部分を探す際には、ウィンドウの縦方向は同じ位置に固定して、Ｗｂ１→Ｗｂ２→Ｗｂ３…というように横方向にずらしていく。

このステレオマッチング処理により得られた視差に基づいて、三角測量の原理で測定対象までの距離を算出することができる（図１０）。近年では、このステレオカメラを車両に取り付けて、車両周辺の対象物までの距離の測定に利用するようになってきた。例えば特許文献１では、ふたつの赤外線画像から距離を演算するにあたって、少ない演算量で精度良く求めるための装置を提案している。

ステレオカメラを車両のような動体に取り付けて利用するにあたっては、一対のカメラの画像は同時刻に撮影するのが望ましい。ステレオマッチング処理で比較する一対の画像における差は、それぞれのカメラの取り付け位置の差にのみ起因すべきである。しかし車両に取り付けた場合には、カメラ自体が移動することになるし、また被写体（他車両、歩行者など）も移動するため、それぞれのカメラの撮影時刻にズレ（以下、「同期ズレ」と呼称する）が生じ、それが取得画像の差として現れてしまう。

図１１では、この状況を模式的に示している。この図は、第一のカメラが撮影を行った時刻から遅れて、第二のカメラが撮影を行った場合である。遅れた時間の分だけ、自車両はより前方に進んでおり、また対向車はよりこちらに近づいている。このような、同期ズレが発生した画像でステレオマッチング処理を行い、算出された距離情報は、正確なものではないおそれが大きい。

そこで本発明では、簡単な構成で同期ズレの発生を検出することのできる、複眼撮像装置を提供することを目的とする。

上記目的を達成するために、第一のカメラ部と第二のカメラ部を有し、前記第一のカメラ部から出力される第一の同期信号と前記第二のカメラ部から出力される第二の同期信号とを入力して、排他的論理和を演算する排他的論理和演算部と、前記排他的論理和演算部から出力される演算結果を平滑化する平滑化部と、前記平滑化部から出力される平滑化された電圧値を所定の電圧値と比較する電圧比較部と、を備え、前記電圧比較部から出力される比較結果によって前記第一のカメラ部と前記第二のカメラ部それぞれの撮影時刻が一致しているかどうかを判断することを特徴とする複眼撮像装置が提供される。

本発明によれば、簡単な構成で同期ズレの発生を検出することができる。

本発明による実施形態の構成を示すブロック図である。 本発明による実施形態のカメラからの出力データの一例を示す図である。 図１の平滑化部と電圧比較部の構成例を示す図である。 図１のステレオカメラ装置の動作を説明するための図（その１）である。 図１のステレオカメラ装置の動作を説明するための図（その２）である。 本発明の他の実施形態の構成を示すブロック図である。 図６のウォッチドッグタイマの動作を示す図である。 図６のステレオカメラ装置の動作を説明するための図である。 ステレオマッチング処理を説明するための図である。 ステレオマッチング処理を利用して距離を測定する方法を説明するための図である。 ステレオマッチング処理における同期ズレを説明するための図である。

ステレオマッチング処理を利用するステレオカメラでは、対になるカメラの撮影時刻のズレ（同期ズレ）が問題になる。以下に説明する本発明の実施形態では、一対のカメラからの垂直同期信号の排他的論理和を演算し、その結果を平滑化したうえで所定の電圧値と比較することで、一対のカメラの撮影時刻が一致しているかどうかを判断する。以下、このような車載用ステレオカメラ装置の実施形態の特徴について、図面を用いて説明していく。なお、本明細書における複眼撮像装置としてのステレオカメラは撮像手段の数を２としているが、これに限られることはない。

＜第１の実施形態＞
図１に、本実施形態のステレオカメラ装置（１００）を構成する要素を示す。ステレオカメラ装置（１００）は、一対のカメラ部（１０）を有する。一対のカメラ部（１０）は、第一のカメラ（１１）と第二のカメラ（１２）からなり、撮影対象（２００）の画像を取得し出力する。

図２に示すのは、カメラからの出力データの一例である。カメラからは画像データが継続的に出力されるが、その画像データと併せて、どこからどこまでが１画面にあたるのかを示す垂直同期信号と、横１ライン分にあたるのかを示す水平同期信号も出力される。また画像データには、対象を撮影して得られた有効な画像データだけでなく、カメラ動作上必要ではあるが画像としては意味の無いデータが含まれる。

図２の例のカメラでは、水平同期信号は横１ラインのうち有効な画像が出力されている期間において”Ｈ”レベルを示し、垂直同期信号は水平同期信号が継続的に出力されている期間において”Ｈ”レベルを示すものである。

プロセッサ（６０）は、一対のカメラ部（１０）がそれぞれ出力する一対の画像に対してステレオマッチング処理を施して、視差を算出するものである。例えば、ＣＰＵやＦＰＧＡ、ＡＳＩＣなどを使用する。

一対のカメラ部（１０）が出力する垂直同期信号は、プロセッサ（６０）だけでなく、排他的論理和演算部（２０）にも入力する。分岐による信号品質の劣化が懸念されるのであれば、バッファ（５０）を挿入してもよい。

排他的論理和演算を行った結果（ＸＯＲ）は、平滑化部（３０）で平滑化したうえで、電圧比較部（４０）にて所定の電圧値と比較する。

図３に、平滑化部と電圧比較部の構成例を示す。この例の場合、平滑化部（３０）は、抵抗Ｒ（３１）とコンデンサＣ（３２）で構成される１次のローパスフィルタである。十分に平滑化されるように、このローパスフィルタのカットオフ周波数は、カメラのフレームレートよりも低くなるように設計する。

電圧比較部（４０）では、コンパレータ（４１）を使用している。正転入力端子には平滑化された電圧値（Ｖ＿ａｖｅ）を入力し、反転入力端子には所定の電圧値（Ｖ＿ｒｅｆ）を入力している。この場合、平滑化された電圧値の方が所定の電圧値よりも大きい（Ｖ＿ａｖｅ＞Ｖ＿ｒｅｆ）ときには、コンパレータ出力（ＣＭＰ）は”Ｈｉｇｈ”状態を示す。逆に、平滑化された電圧値の方が所定の電圧値よりも小さい（Ｖ＿ａｖｅ＜Ｖ＿ｒｅｆ）ときには、コンパレータ出力は”Ｌｏｗ”状態を示す。

さらに図４、図５を用いて、ステレオカメラ装置（１００）の動作を説明する。図示のように、同期ズレが起きているとき、一対のカメラがそれぞれ出力している垂直同期信号の間には、位相差が生じている。

図４では、ステレオマッチング処理に支障をきたすほどに大きな同期ズレが生じているとき（＝垂直同期信号間の位相差が大きいとき）の、各信号の様子を示している。図５では、ステレオマッチング処理に影響を与えない程度のわずかな同期ズレが生じているとき（＝垂直同期信号間の位相差が十分小さいとき）の、各信号の様子を示している。

図４及び図５において、ＶＳ１は第一のカメラ（１１）の垂直同期信号を、ＶＳ２は第二のカメラ（１２）の垂直同期信号をそれぞれ示している。ＸＯＲは、前述のＶＳ１およびＶＳ２の排他的論理和を演算した結果である。ＸＯＲを平滑化した結果がＶ＿ａｖｅであり、図中に点線（−−−）で示している。

図４と図５を見比べると、同期ズレの程度が小さくなるほどにＸＯＲが”Ｈｉｇｈ”となる期間が短くなり、Ｖ＿ａｖｅのレベルが低くなることが分かる。図中にはさらに、コンパレータで使用する所定の電圧Ｖ＿ｒｅｆを、破線（−・−）で示している。

ＣＭＰは、前述のＶ＿ａｖｅとＶ＿ｒｅｆとをコンパレータで比較した結果である。図４ではＶ＿ａｖｅ＞Ｖ＿ｒｅｆであるのでＣＭＰは”Ｈｉｇｈ”状態となっており、図５ではＶ＿ａｖｅ＜Ｖ＿ｒｅｆであるのでＣＭＰは”Ｌｏｗ”状態となっている。結局、同期ズレが大きいときはＣＭＰが”Ｈｉｇｈ”状態であり、同期ズレが小さくなるとＣＭＰ
が”Ｌｏｗ”状態になるということである。

ステレオマッチング処理を行うにあたり許容できる同期ズレの程度に基づき、Ｖ＿ｒｅｆの値を設計しておくことで、ＣＭＰの状態をみれば同期ズレの程度を簡単に認識できることになる。

このコンパレータ出力（ＣＭＰ）は、例えばプロセッサに入力して利用できる。同期ズレが大きいと認識された場合（ＣＭＰが”Ｈｉｇｈ”状態）には、ステレオマッチング処理をいったん停止して、一対のカメラの撮影タイミングを揃える操作を試みる、などといった用途が考えられる。

＜第２の実施形態＞
次に、図６を用いて他の実施形態のステレオカメラ装置の構成を説明する。本実施形態では、上記第１の実施形態の構成に加えてさらに、一対のカメラ部（１０）が出力する垂直同期信号を変化検出部（７０）に入力するようにした。この変化検出部（７０）は、例えばウォッチドッグタイマ（７１，７２）で構成する。

図７には、ウォッチドッグタイマ（７１，７２）の動作を示している。ウォッチドッグタイマ（７１，７２）にはカウンタが内蔵されており、常時カウントを続けている。このカウンタの値はウォッチドッグタイマに入力されている信号が変化したことを検出すると（図７の場合は立ち上がりを検出すると）いったんゼロに戻り、その後カウントを再開する。

しかし、所定の期間を過ぎても入力信号の変化が検出されず、カウンタが所定の値に達した場合、タイムアウトを示す信号を出力する（図７の場合は”Ｈｉｇｈ”状態になる）。本実施形態の構成では、このウォッチドッグタイマ（７１，７２）の入力としてカメラの垂直同期信号を利用している。

図２を用いて説明したように、垂直同期信号は画像データのどこからどこまでが１画面にあたるのかを示す信号であり、カメラから画像が出力され続けている間中ずっと、変化を続けている信号である。カメラの故障などにより画像及び同期信号の出力が停止してしまった場合、ウォッチドッグタイマ（７１，７２）からタイムアウトを示す信号が出力され、カメラが停止したことを知ることができる。

図８を参照して本実施形態の構成のステレオカメラ装置の動作について補足する。この図では、一対のカメラが十分に小さい位相差で動作していたが、故障などにより両方のカメラともに出力が停止してしまったときの、各信号の様子を示している。

図中、ＴＯ１はＶＳ１が入力されているウォッチドッグタイマのタイムアウトを、ＴＯ２はＶＳ２が入力されているウォッチドッグタイマのタイムアウトをそれぞれ示す信号である。タイムアウト発生時には、それぞれ”Ｈｉｇｈ”状態になる。

既に図５で説明したように、一対のカメラが十分に小さい位相差で動作している期間においては、Ｖ＿ａｖｅ＜Ｖ＿ｒｅｆでありＣＭＰは”Ｌｏｗ”状態となっている。またこの期間では、ＶＳ１およびＶＳ２が定期的に入力されているためタイムアウトは生じておらず、ＴＯ１およびＴＯ２ともに”Ｌｏｗ”状態となっている。ここで、ある時点においてカメラ出力が停止し、ＶＳ１およびＶＳ２が”Ｌｏｗ”状態から変化しなくなったとする。

この場合、最後にＶＳ１およびＶＳ２の変化があってから所定時間が経過すると、対応するタイムアウトＴＯ１およびＴＯ２が”Ｈｉｇｈ”状態になる。つまりＴＯ１およびＴＯ２の状態をみることで、カメラ出力が停止していないかどうかを簡単に確認できることになる。

このようにＶＳ１およびＶＳ２が”Ｌｏｗ”状態から変化しなくなった場合、それらの排他的論理和を演算した結果も”Ｌｏｗ”状態で固定となる。そのため、ＸＯＲを平滑化した結果であるＶ＿ａｖｅも、ＶＳ１およびＶＳ２が停止した時点から”Ｌｏｗ”に漸近していく。この間も、Ｖ＿ａｖｅ＜Ｖ＿ｒｅｆであるため、ＣＭＰは変わらず”Ｌｏｗ”状態となっている。

つまり、ＣＭＰの状態のみをみているだけでは、一対のカメラの出力が停止してしまった場合と、十分に小さい位相差で動作している場合とで、判別ができないことになる。そこで、ＴＯ１およびＴＯ２の状態も併せてみるようにした。

このタイムアウト出力は、例えばプロセッサ（６０）に入力して利用できる。タイムアウトが発生した場合には、カメラが何らかの異常により出力を停止したと判断し、システムの動作を停止するなどの措置を行うといった用途が考えられる。

なお、カメラが出力を停止してしまう要因として、例えばカメラに電力を供給する電源の故障が考えられる。カメラ電源故障の際にも前述した検出動作ができるように、プロセッサやウォッチドッグタイマなどの電源は、カメラ電源とは独立した電源系統としておくとよい。

また、カメラが出力を停止してしまった場合に、垂直同期信号が不定値（ＨｉｇｈにもＬｏｗにもなりうる値）となることが懸念されるならば、図６の構成で、バッファ（５０）の出力をＰｕｌｌＤｏｗｎ抵抗で”Ｌｏｗ”に固定しておくとよい。

＜上記実施形態の効果＞
第１の実施形態のステレオカメラ装置では、一対のカメラのそれぞれが出力する垂直同期信号の排他的論理和を演算し、その結果を平滑化したうえで所定の電圧値と比較するようにした。その比較結果をみることにより、ステレオマッチング処理に支障をきたすほどに大きな同期ズレが生じているかどうかを、簡単に判断することができる。

さらに、第２の実施形態のステレオカメラ装置では、一対のカメラそれぞれの垂直同期信号をウォッチドッグタイマへ入力し、垂直同期信号が所定の時間内に変化しない場合にはタイムアウトを発生させるようにした。そのタイムアウトの状態をみることにより、カメラからの出力が停止していないかどうかを、簡単に判断することができる。

１０ 一対のカメラ部
１１ 第一のカメラ
１２ 第二のカメラ
２０ 排他的論理和演算部
３０ 平滑化部
４０ 電圧比較部
５０ バッファ
６０ プロセッサ
７０ 変化検出部
７１ ウォッチドッグタイマ
７２ ウォッチドッグタイマ
１００ ステレオカメラ装置

特開２００３−２８６３５号公報

Claims (2)

1. 第一のカメラ部と第二のカメラ部を有し、
   前記第一のカメラ部から出力される第一の同期信号と前記第二のカメラ部から出力される第二の同期信号とを入力して、排他的論理和を演算する排他的論理和演算部と、
   前記排他的論理和演算部から出力される演算結果を平滑化する平滑化部と、
   前記平滑化部から出力される平滑化された電圧値を所定の電圧値と比較する電圧比較部と、を備え、
   前記電圧比較部から出力される比較結果によって前記第一のカメラ部と前記第二のカメラ部それぞれの撮影時刻が一致しているかどうかを判断することを特徴とする複眼撮像装置。
2. 前記第一の同期信号と前記第二の同期信号とを入力して、それぞれの信号が所定の期間内に変化していることを検出する変化検出部を備え、
   前記変化検出部において、少なくともどちらか一方の信号において、前記所定の期間内での変化が検出されない場合には、前記第一のカメラ部及び前記第二のカメラ部のうち少なくともどちらか一方が停止していると判断することを特徴とする請求項１に記載の複眼撮像装置。

Images