JP2017062173A - ステレオカメラ装置 - Google Patents

Abstract

【課題】走行環境状況を考慮した左右撮像素子の輝度レベルの補正を行い、高精度な視差画像を生成するステレオカメラを提供する。【解決手段】本発明のステレオカメラ装置は、２つの撮像部１５、２５から２つの画像を取得する画像取得部と、その２つの撮像部１５、２５の温度情報を取得する温度情報取得部と、取得した温度情報に基づいて、画像を補正する画像補正部６３と、画像補正部６３で補正された画像に基づいて、視差画像を生成する視差画算出部６６と、を有する。【選択図】図５

Description

複数の撮像素子を実装するステレオカメラ装置に関する。

近年、車載安全装置の１つとして、外界認識センサである車載カメラ装置を用いた技術開発が進んでいる。特に、２つの撮像部を持つステレオカメラ技術の開発が進んでいる。
ステレオカメラの特徴は、左右カメラの撮像画像を用いて写し出した１対の画像を用いて、対象物までの距離を測距する。正確な測距をするためには、左右の撮像素子やレンズの特性ばらつきを調整・補正する必要がある。調整・補正の種類は主に、『光軸・ピント調整』、『感度補正』、『幾何補正』の３種類に分けられる。

『光軸・ピント調整』や『幾何補正』については、単眼カメラでも実施されており、特にステレオカメラという理由で、これらの調整・補正が複雑になるということは少ない。
しかし、感度補正に関してはステレオカメラ特有の問題が発生しやすい。その中でも、撮像素子の暗電流による影響は無視することはできない。撮像素子は本来、受光して生成された電荷に基づき電気信号を発生するが、実際に光を受光していないにも関わらず電荷が生成されてしまう。このような電荷は暗電流と呼ばれ、暗電流分の誤差を含んだ撮像画像によって、右カメラと左カメラで得られる撮像画像の輝度（明るさ）に違いが生じる。この結果、ステレオ視する際の左右の撮像画像にミスマッチが生じやすくなり、対象物までの距離をうまく算出できないことがある。

このような撮像素子の暗電流の影響を除去するため、出荷前に左右撮像素子の黒レベルの補正を実施し、その補正値をカメラ内部のＲＯＭに保存し、この補正データを使用して左右撮像画像の補正を行う。

上記方法の欠点として、補正データが出荷前の測定環境で算出されたデータであるという点である。出荷後の走行環境下では出荷前と比べて左右撮像素子の温度も変化しており、出荷前の黒レベル補正値と走行環境下に適合した本来あるべき黒レベル補正値にずれが生じ、左右カメラの撮像画像の黒レベルがずれて、右カメラと左カメラで得られる撮像画像の明るさに違いが生じてしまう。例えば、特許文献１では、撮像素子のコンディションにマッチした画像処理を行うことを目的に、撮像素子のオプティカルブラック部分から読み出した電気信号に基づいて暗電流を求め、暗電流に基づいて内部温度を推定し、画像処理を変更することが開示されている。

特開２００５−１３００４５号公報

特許文献１のように、１つの撮像素子について温度変化を考慮しているだけでは、撮像部を２つ備え、その撮像素子から取得した画像から視差を算出するステレオカメラでは、左右カメラの黒レベルのズレにより生じる左右カメラの感度差が視差に影響してしまう。

本発明は、走行環境状況を考慮した左右撮像素子の輝度レベルの補正を行い、高精度な視差画像を生成するステレオカメラを提供することを目的とする。

上記課題を解決するために本発明のステレオカメラ装置は、複数の撮像部から複数の画像を取得する画像取得部と、複数の撮像部から複数の温度情報を取得する温度情報取得部と、温度情報に基づいて、複数の画像のうち、少なくとも１つの画像を補正する画像補正部と、画像補正部で補正された画像に基づいて、視差画像を生成する視差画像生成部と、を有する構成とする。

本発明は、左右撮像素子の温度差に基づく黒レベルの補正を行い、高精度な視差画像を生成するステレオカメラ装置を提供できる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本実施形態に係るステレオカメラの基本的な装置構成を説明するための図。 一般的な撮像素子の暗電流特性を示す図。 ステレオカメラの感度特性の一例を示す図。 出荷前後の左右撮像素子の温度差による暗電流への影響を説明するための図。 本実施形態のステレオカメラ装置の左右撮像部１０、２０の温度差によって画像補正するための装置構成の特徴部分を抽出した模式的概念図。 画像処理部５０の処理フローチャート。 画像補正処理のタイミングチャート。 環境温度変化による補正有無の左右感度特性を説明する図。 本実施形態に係るステレオカメラの一例を示した模式的概念図。 本実施形態に係るステレオカメラの一例を示した模式的概念図。 撮像素子の暗電流特性ばらつきを補正する手段としてステレオカメラの一例を示した模式的概念図。

図１は、本実施形態に係るステレオカメラの基本的な装置構成を説明するための図である。図１に示すように、ステレオカメラは、左撮像部１０と右撮像部２０からなる左右の撮像部を有している。

左撮像部１０と右撮像部２０とはステレオカメラ筐体３０に取り付けられている。左撮像部１０は左撮像部筐体１１内に、左光学フィルタ１２、左レンズフード１３、左レンズ１４、左撮像素子１５を備えている。左撮像部１０は、左光学フィルタ１２を通過した光を左レンズ１４で集光し、この集光された光が左撮像素子１５に照射される構造となっている。このような構造とすることにより、左撮像素子１５において、車両前方の物体の撮像画像を取得している（画像取得部）。

同様に右撮像部２０は、右撮像部筐体２１内に、右光学フィルタ２２、右レンズフード２３、右レンズ２４、右撮像素子２５を備え、上述した左撮像部１０と同様の構造で、車両前方の物体の撮像画像を取得している（画像取得部）。

ステレオカメラ内の画像処理部５０は、左右撮像部１０、２０で取得された撮像画像の画像処理を行うＣＰＵ５１と、記憶装置であるＲＯＭ５２及び、ＲＡＭ５３を備えている。
また、画像処理部５０で算出された結果を元に処理を実施する認識処理部５４を備えている。左右撮像部１０、２０で取得された撮像画像はＣＰＵ５１で画像処理され、撮像画像から視差（左右の見え方の違い）画像を生成し、撮像された物体の座標情報や距離情報を算出している。そして、その情報を元に認識処理部５４で認識処理を実施する。

ここで、正確な距離を算出するためには、左右撮像部１０、２０の撮像特性を同一にすることが好ましい。左右の撮像画像の撮像特性が異なると、ミスマッチングが発生し、正確な距離を計算できなくなる。

通常、ステレオカメラは図１のような構成を組み立てただけでは、左右撮像部１０、２０の撮像特性は一致しない。それは、撮像部を構成する光学フィルタ、レンズ、撮像素子の個体ばらつきがあるためである。このばらつきの具体的な原因は、感度特性のばらつき、レンズのシェーディング（周辺光量落ち）、レンズ歪み、光軸・ピント等が挙げられる。

ここで、感度特性のばらつきの中には撮像素子の暗電流による黒レベルばらつきがある。図２は撮像素子の暗電流特性を説明するための図である。暗電流は撮像素子ごとにばらついている上に、温度が上昇すると増加し、一般に温度が７〜１０℃上昇すると２倍になるとも言われている。

図３はステレオカメラの感度特性の一例を示したグラフである。横軸は露光時間、縦軸は撮像素子の出力である輝度を示し、露光時間が長くなると撮像素子の輝度が増加する。図２で示した撮像素子の暗電流の増加は、図３の黒レベルの増加に等しい。黒レベルすなわち、ノイズレベルが増加すると、撮像素子の飽和電荷量とノイズレベルで決まるダイナミックレンジの低下につながる。また、このような暗電流特性が異なる撮像素子を、ステレオカメラの左右の撮像部に用い、一定の明るさで対象物を撮像した場合に、同じ露光時間で左右の撮像画像を見ると輝度が異なるため、マッチング処理においてミスマッチングが発生し、このミスマッチングにより正確な距離を算出できなくなる。

上述したミスマッチングを解消するため、出荷前に左右撮像素子の黒レベルの補正を実施する。その補正値をキャリブレーション時に左右撮像素子から取得した補正値としてカメラ内部のＲＯＭに保存し、この補正データを元に左右撮像画像の補正を行う。補正方法として、外光の影響を受けない環境下（遮光環境下）で、撮像素子の感光部から得られる出力（遮光出力）から黒レベル補正値を算出し、撮像画像から減算することで黒レベルを補正する。この方法の場合、完全な遮光環境で撮像する必要があり、出荷後は補正できず、出荷前の補正が必須だが、全画素を使用して黒レベル補正値を算出しているので、ランダムノイズや画素ごとのばらつきを十分に取り除くことができ、より精度の高い黒レベル補正値を算出できる。ここでいう黒レベル補正値とは、撮像素子の暗電流やノイズによる影響を除去し、黒レベルを遮光出力基準に固定（クランプ）するための補正値である。

その他、撮像素子の一部に設けられたオプティカルブラック部（光学的遮光部分）から得られる遮光出力から黒レベル補正値を算出し、撮像画像から減算して黒レベルを補正する方法もある。この方法の場合、撮像環境を選ばないため、出荷後での補正も可能だが、感光部の占める領域に対してオプティカルブラック部の領域が圧倒的に小さいため、ランダムノイズや画素ごとのばらつきが十分に取り除かれているとは言い難い。ステレオカメラのように、左右の感度特性を高精度に合わせる必要がある場合は、前者の補正方法が性能的に有利である。

上記方法の欠点として、出荷前に黒レベル補正値を算出した時の左右撮像素子の温度差と、出荷後の走行環境下で実際にカメラが使用されている時の左右撮像素子の温度差が異なるという点である。実際、出荷前の黒レベル補正値を算出する環境は温度管理された生産設備であり、左右撮像素子の温度差はつきにくい。一方、出荷後の走行環境下では以下のようなケースで特に顕著に左右撮像素子の温度差が生じることが想定される。例えば右カメラは日陰、左カメラは日なたのような環境や運転席と助手席でエアコンが独立制御されているような環境などが挙げられる。

図４に出荷前後の左右撮像素子の温度差による暗電流への影響を示す。撮像素子を選別して使用することで、図４のように左右撮像素子の暗電流特性（図４の特性カーブ）を揃えることはできる。しかし、左右撮像素子の暗電流特性を揃えても、前述の通り、出荷前と比較して出荷後に左右撮像素子の温度差が大きくなると左右撮像素子の暗電流に差が生じ、左右感度差となってステレオカメラの性能に影響を与えてしまう。

このような課題に対して、出荷後の左右撮像素子の温度差に基づいて実際の使用環境に合わせた黒レベルの補正を動的に行い、高精度な距離算出を実現することを目的としている。

［実施例１］
このような点を鑑みて本実施形態に係るステレオカメラ装置は、以下のように構成されている。図５は、本実施形態のステレオカメラ装置の出荷後の左右撮像素子の温度差によって画像補正をするための装置構成の特徴部分を抽出した模式的概念図である。

本実施形態では、左撮像素子１５に左感光部７１、左オプティカルブラック部７２、左温度センサ部７３を備えており、左感光部７１からは左撮像画像Ｐ１が出力され、左オプティカルブラック部７２からは左黒レベル補正値Ｃ３が出力され、左温度センサ部７３からは左撮像素子１５の左温度データＳ１が出力される。右撮像素子２５は右感光部７４、右オプティカルブラック部７５、右温度センサ部７６を備えており、右感光部７４からは右撮像画像Ｐ２が出力され、右オプティカルブラック部７５からは右黒レベル補正値Ｃ４が出力され、右温度センサ部７６からは右撮像素子２５の右温度データＳ２が出力される。黒レベル補正値Ｃ３、Ｃ４は一般的に知られているオプティカルブラック部７２、７５を使用した公知の手法で算出する。左撮像素子１５の左黒レベル補正値Ｃ３、左温度データＳ１、右撮像素子２５の右黒レベル補正値Ｃ４、右温度データＳ２の出力タイミングは、画像処理部５０が制御するタイミングジェネレータ８１によって管理されている。なお、タイミングジェネレータ８１の出力タイミングは、左右撮像素子１５、２５の温度差をチェックするタイミングであり、出力タイミングを自在に変更することができる。

画像処理部５０は左右温度差算出部６１、補正値選択信号発生部６２、画像補正部６３、視差画算出部６６を備えている。また、画像補正部６３は左画像補正部６４、右画像補正部６５を備えている。

画像処理部５０の処理フローチャートを図６に示す。画像処理部５０内部の画像補正部６３は左右の撮像素子１５、２５の左右感光部７１、７４から左右撮像画像Ｐ１、Ｐ２を取得する。また、カメラの電源起動時にメモリ８２にアクセスし、メモリに格納されている出荷前の左右黒レベル補正値（以降、出荷前補正値と記載）Ｃ１、Ｃ２を取得し、画像補正部６３内部のレジスタにその値を記憶させる。一方、上述の通り、タイミングジェネレータ８１の出力タイミングで、画像補正部６３は左右の撮像素子１５、２５の左右オプティカルブラック部７２、７５から左右黒レベル補正値（以降、出荷後補正値と記載）Ｃ３、Ｃ４を取得する（左右黒レベル補正値取得部）。また、画像処理部５０内部の左右温度差算出部６１は左右の撮像素子１５、２５の左右温度センサ部７３、７６から左右の撮像素子１５、２５の温度情報である左右温度データＳ１、Ｓ２を取得する（温度情報取得部）。

左右温度差算出部６１は入力された左右温度データＳ１、Ｓ２の差を算出する。補正値選択信号発生部６２では、左右温度差算出部６１から出力される差分データを取得し、許容値と比較する。その比較結果を元に、出荷前補正値Ｃ１、Ｃ２もしくは出荷後補正値Ｃ３、Ｃ４のどちらを選択するかを決定し、画像補正部６３に補正値選択信号Ｓ３出力する。補正値選択信号Ｓ３が“０”の場合は出荷前補正値Ｃ１、Ｃ２を使用する。一方、補正値選択信号Ｓ３が“１”の場合は出荷後補正値Ｃ３、Ｃ４を使用する。

例えば、差分データが３℃（許容値）以下の場合、左右撮像素子１５、２５の温度差が小さいと判断し、出荷前補正値Ｃ１、Ｃ２を使用するので、補正値選択信号Ｓ３は“０”となる。一方、差分データが３℃より大きい場合、左右撮像素子１５、２５の温度差が大きいと判断し、出荷後補正値Ｃ３、Ｃ４を使用するので補正値選択信号は“１”となる。

画像補正部６３内部の左画像補正部６４と右画像補正部６５は上述の補正値選択信号Ｓ３を受け取ると、選択された黒レベル補正値を取得する。左右ともに選択された黒レベル補正値取得に成功した場合、左右同期信号Ｓ４が出力される。左右撮像画像Ｐ１、Ｐ２の画像補正は、前述の左右同期信号Ｓ４によって同フレームで実行される。視差画算出部６６は左画像補正部６４で画像補正された左撮像画像Ｐ３（補正画像）と右画像補正部６５で画像補正された右撮像画像Ｐ４（補正画像）から視差画像を生成する（視差画像生成部）。

図７に画像補正部６３で画像補正する際のタイミングチャートを示す。画像補正部６３内部で左右の補正値取得に成功し、同期信号Ｓ４が出力されると、左右撮像画像Ｐ１、Ｐ２の現在転送中のフレームは飛ばして次のフレームから左右同時に補正値を切り替える。

これにより、左右撮像素子１５、２５の温度差が大きくなっても、同じ露光時間で左右撮像画像１５、２５の明るさが一致するため、高精度にマッチング処理することができ、正確な距離を算出することが可能となる。

図８は左右撮像素子１５、２５に温度差が生じた時に補正しなかった場合と補正した場合の左右感度特性を説明する図である。補正しなかった場合は、左右撮像素子１５、２５の温度差による黒レベルのずれがそのまま左右の感度差となっている。一方、補正した場合は、左右撮像素子１５、２５の温度差による黒レベルのずれが解消され、左右の感度差がなくなる。

［実施例２］
図９は、本実施形態に係るステレオカメラの一例を示した模式的概念図である。図９に示すように、画像処理部５０は出荷前後データ比較部９１を備えている。出荷前後データ比較部９１はメモリ（記憶部）８２から出荷前の左右撮像素子の温度差データＳ１１を取得する。メモリ８２には、出荷前のキャリブレーション時における左撮像素子と右撮像素子との間の温度差が温度差データＳ１１として記憶されている。また、左右温度差算出部６１から出力される出荷後の左右撮像素子１５、２５の温度差データＳ１２を取得する。それらの出荷前後の左右撮像素子１５、２５の左右温度差データＳ１１、Ｓ１２の差分を算出し、その結果を補正値選択信号発生部６２に出力する。それ以降の画像処理部５０の処理は実施例１と同じである。左右温度差算出部６１では、左温度センサ部７３と右温度センサ部７６から取得した左温度データＳ１と右温度データＳ２との差を算出し、出荷後の左右撮像素子１５、２５の温度差データＳ１２として出力する。

出荷前後の左右撮像素子１５、２５の温度差を比較するメリットは、出荷前の黒レベル補正値を算出した測定環境（出荷前の左右撮像素子の温度差）に対応して、より適切な黒レベル補正を実施することができる点である。

例えば、出荷前の黒レベル補正値算出時の左撮像素子１５の温度を２５℃、右撮像素子２５の温度を２６℃とする。一方、出荷後の左撮像素子１５の左温度データＳ１を２８℃、右撮像素子２５の右温度データＳ２を３２℃とする。この場合、実施例１では出荷後のＳ１とＳ２の差分が４℃（＝３２℃−２８℃）となり、実施例１で例として挙げた許容値の３℃より大きくなるので、出荷後補正値Ｃ３、Ｃ４で補正される。

しかし、実際には出荷前補正値Ｃ１、Ｃ２は左右撮像素子１５、２５の温度差が１℃（＝２６℃−２５℃）の環境で算出された補正値である。そのため、出荷前補正値を取得した際の左右撮像素子１５、２５の左右温度差１℃を基準として考えると、出荷後の左右撮像素子１５、２５の左右温度差と出荷前の左右撮像素子１５、２５の左右温度差の変化は３℃（＝４℃−１℃）となり、許容値の３℃以下となるため、より適切な出荷前補正値Ｃ１、Ｃ２で補正が可能となる。

［実施例３］
図１０は、本実施形態に係るステレオカメラの一例を示した模式的概念図である。本実施例において特徴的なことは、輝度情報（黒レベル補正値）に基づいて左右温度差を推定することである。本実施例では、上述の実施例１、２とは異なり、左右の撮像素子１５、２５は、左温度センサ部７３と右温度センサ部７６を備えていない。

図１０に示すように、画像処理部５０は左右黒レベル補正値差算出部１０１を備えている。左右黒レベル補正値差算出部１０１は、左撮像素子１５の左オプティカルブラック部７２から出力される左黒レベル補正値Ｃ３と右撮像素子２５の右オプティカルブラック部７５から出力される右黒レベル補正値Ｃ４の差分（左右黒レベル補正値差）を算出する。その結果を元に、補正値選択信号発生部６２で許容値と比較を行い、適切な補正値を選択して左右撮像画像Ｐ１、Ｐ２の画像補正を実施する。

補正値選択信号発生部６２の許容値に関しては、例えば、撮像素子の出力（輝度）が４０９６階調（１２ｂｉｔ）の分解能をもつ場合は、許容値を５階調とする。この場合、左右撮像素子１５、２５の黒レベル補正値差が５階調よりも大きい場合は左右温度差が大きいと判断し、出荷後補正値Ｃ３、Ｃ４を使用する。その時の補正値選択信号は“１”となる。一方、左右撮像素子１５、２５の黒レベル補正値差が５階調以下の場合は左右温度差が小さいと判断し、出荷前補正値Ｃ１、Ｃ２を使用する。その時の補正値選択信号は“０”となる。それ以降の画像処理部５０の処理は実施例１と同じである。

出荷前後の左右撮像素子１５、２５の黒レベル補正値差を比較することのメリットは、撮像素子の温度を直接測定する手段がない場合や撮像素子内部の温度センサの精度が悪い場合に別手段で出荷後の左右撮像素子１５，２５の温度差変化を判定し、画像補正を実施できる点である。

［実施例４］
そもそも、これまでの実施例では、図２に示すような撮像素子の暗電流特性の個体ばらつきに関しては、撮像素子を選別するという前提で触れていなかった。図１１は撮像素子の暗電流特性ばらつきを補正する手段としてステレオカメラの一例を示した模式的概念図である。図１１に示すように、画像処理部５０は左温度差算出部１１１、右温度差算出部１１２、左補正値選択信号発生部１１３、右補正値選択信号発生部１１４を備えている。

左温度差算出部１１１は左撮像素子１５の左温度センサ部７３から出力された左温度データＳ１とメモリ８２から取得した出荷前の左温度データＳ２１の差を算出する。そして、左補正値選択信号発生部１１３で許容値と比較を行い、適切な補正値を選択して左撮像画像Ｐ１の画像補正を実施する。また、右温度差算出部１１２は右撮像素子２５の右温度センサ部７６から出力された右温度データＳ２とメモリ８２から取得した出荷前の右温度データＳ２２の差を算出する。そして、右補正値選択信号発生部１１４で許容値と比較を行い、適切な補正値を選択して右撮像画像Ｐ２の画像補正を実施する。

左補正値選択信号発生部１１３と右補正値選択信号発生部１１４の許容値に関しては、例えば、出荷前後の左右それぞれの撮像素子の温度差が５℃よりも大きい場合は出荷前後の撮像素子の温度差が大きいと判断し、出荷後補正値Ｃ３、Ｃ４を使用する。その時の左右補正値選択信号は“１”となる。すなわち、出荷前後の左の撮像素子の温度差が５℃よりも大きい場合は、出荷前後の左の撮像素子の温度差が大きいと判断し、出荷後補正値Ｃ３を使用し、出荷前後の右の撮像素子の温度差が５℃よりも大きい場合は、出荷前後の右の撮像素子の温度差が大きいと判断し、出荷後補正値Ｃ４を使用する。そのときに、左補正値選択信号発生部１１３から出力される左補正値選択信号は“１”となり、右補正値選択信号発生部１１４から出力される右補正値選択信号も“１”となる。

一方、出荷前後の左右それぞれの撮像素子の温度差が５℃以下の場合は出荷前後の撮像素子の温度差が小さいと判断し、出荷前補正値Ｃ１、Ｃ２を使用する。その時の左右補正値選択信号は“０”となる。すなわち、出荷前後の左の撮像素子の温度差が５℃以下の場合は、出荷前後の左の撮像素子の温度差が小さいと判断し、出荷前補正値Ｃ１を使用し、出荷前後の右の撮像素子の温度差が５℃以下の場合は、出荷前後の右の撮像素子の温度差が小さいと判断し、出荷前補正値Ｃ２を使用する。そのときに、左補正値選択信号発生部１１３から出力される左補正値選択信号は“０”となり、右補正値選択信号発生部１１４から出力される右補正値選択信号も“０”となる。補正値選択信号は左右それぞれ独立してはいるが、それ以降の画像処理部５０の処理は実施例１と同じである。

左右ごとに出荷前後で温度差を算出して補正値を選択するメリットは、左右撮像素子ごとに独立して出荷前後の温度変化を把握することができ、左右撮像素子の温度差だけではなく、前述の通り、撮像素子の暗電流特性ばらつきを考慮した補正が可能になるという点である。これにより、左右撮像素子の個体差を選別して揃える必要がなくなる。また、左右撮像素子ごとに独立して補正値を選択するため、例えば、左撮像画像は出荷前の黒レベル補正値、右撮像画像は出荷後の黒レベル補正値のように、左右撮像素子で独立して最適な補正値を選択することが可能となる。

さらに、出荷前に撮像素子ごとに温度と黒レベル補正値のテーブルを取得して、メモリに用意しておくことで、左右撮像素子ごとに出荷後の温度に適応した黒レベル補正を実施することができる。

その場合、撮像素子の黒レベル補正値の精度を気にする必要がなくなる。というのも、製造プロセス上の問題から撮像素子のオプティカルブラック部の遮光性が十分でなく、僅かながら光が漏れてブラックレベル補正値の精度が悪化するといったことも考えられる。また、出荷前後の温度変化をチェックする度に撮像素子からブラックレベル補正値を読み出す必要がなくなり、撮像素子と画像処理部５０の通信負荷を軽減することができる。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０：左撮像部、１１：左撮像部筐体、１２：左光学フィルタ、１３：左レンズフード、１４：左レンズ、１５：左撮像素子、２０：右撮像部、２１：右撮像部筐体、２２：右光学フィルタ、２３：右レンズフード、２４：右レンズ、２５：右撮像素子、３０：ステレオカメラ筐体、５０：画像処理部、５１：ＣＰＵ、５２：ＲＯＭ、５３：ＲＡＭ、５４：認識処理部、６１：左右温度差算出部、６２：補正値選択信号発生部、６３：画像補正部、６４：左画像補正部、６５：右画像補正部、６６：視差画算出部、７１：左感光部、７２：左オプティカルブラック部、７３：左温度センサ部、７４：右感光部、７５：右オプティカルブラック部、７６：右温度センサ部、８１：タイミングジェネレータ、８２：メモリ、９１：出荷前後データ比較部、１０１：左右黒レベル補正値差算出部、１１１：左温度差算出部、１１２：右温度差算出部、１１３：左補正値選択信号発生部、１１４：右補正値選択信号発生部

Claims (12)

1. 複数の撮像部から複数の画像を取得する画像取得部と、
   前記複数の撮像部の温度情報を取得する温度情報取得部と、
   前記温度情報と前記複数の画像に基づいて、視差画像を生成する視差画像生成部と、を有するステレオカメラ装置。
2. 請求項１記載のステレオカメラ装置において、
   前記温度情報に基づいて、前記画像を補正する画像補正部を有し、
   前記視差画像生成部は、前記画像補正部で補正された前記画像に基づいて、視差画像を生成するステレオカメラ装置。
3. 請求項２記載のステレオカメラ装置において、
   予め複数の温度情報の差が記憶された記憶部を有し、
   前記画像補正部は、前記記憶部に記憶された複数の温度情報の差と、前記温度情報取得部で現在取得した前記複数の温度情報の差と、に基づいて、前記画像を補正するステレオカメラ装置。
4. 請求項３記載のステレオカメラ装置において、
   前記記憶部に記憶された複数の温度情報の差は、出荷前に前記複数の撮像部から検知した複数の温度情報の差であるステレオカメラ装置。
5. 請求項２記載のステレオカメラ装置において、
   前記温度情報取得部で取得した前記複数の温度情報の差を求め、前記差が予め定めた許容値以上の場合、前記複数の温度情報の差から算出した補正値を選択し、前記差が前記許容値より小さい場合、予め記憶された複数の温度情報の差、又は輝度レベルの差に基づいて算出された補正値を選択する補正値選択信号発生部を有し、
   前記画像補正部は、前記補正値に基づいて前記画像を補正するステレオカメラ装置。
6. 請求項２記載のステレオカメラ装置において、
   前記複数の撮像部として左撮像部と右撮像部とを有し、
   前記画像取得部は、左撮像部で撮像された左画像と右撮像部で撮像された右画像を取得し、
   前記温度情報取得部は、前記左撮像部から該左撮像部の温度情報と前記右撮像部から該右撮像部の温度情報とを取得し、
   前記画像補正部は、前記左撮像部の温度情報と前記右撮像部の温度情報とに基づいて、前記左画像と前記右画像とを補正し、
   前記視差画像生成部は、前記画像補正部により補正された前記左画像の補正画像と前記右画像の補正画像を用いて視差画像を生成する、ステレオカメラ装置。
7. 請求項６記載のステレオカメラ装置において、
   前記左撮像部の温度情報と前記右撮像部の温度情報に基づいて前記左撮像部と前記右撮像部の間の温度差を算出する左右温度差算出部を有し、
   前記画像補正部は、前記左撮像部と前記右撮像部の間の温度差に基づいて前記左画像と前記右画像を補正する、ステレオカメラ装置。
8. 請求項７記載のステレオカメラ装置において、
   前記左撮像部から該左撮像部の左黒レベル補正値を取得しかつ前記右撮像部から該右撮像部の右黒レベル補正値を取得する左右黒レベル補正値取得部を有し、
   前記画像補正部は、前記左撮像部と前記右撮像部の間の温度差と予め設定されている許容値とを比較し、前記左撮像部と前記右撮像部の間の温度差が前記許容値よりも大きい場合には、前記左右黒レベル補正値取得部により取得した前記左撮像部の左黒レベル補正値と前記右撮像部の右黒レベル補正値とを用いて前記左画像と前記右画像を補正するステレオカメラ装置。
9. 請求項８記載のステレオカメラ装置において、
   キャリブレーション時に前記左撮像部から取得した前記左撮像部の左黒レベル補正値と前記右撮像部から取得した前記右撮像部の右黒レベル補正値とを記憶する記憶部を有し、
   前記画像補正部は、前記左撮像部と前記右撮像部の間の温度差が前記許容値以下の場合には、前記記憶部に記憶されている前記キャリブレーション時における前記左撮像部の左黒レベル補正値と前記右撮像部の右黒レベル補正値を用いて前記左画像と前記右画像を補正するステレオカメラ装置。
10. 請求項６記載のステレオカメラ装置において、
    前記左撮像部の温度情報と前記右撮像部の温度情報に基づいて前記左撮像部と前記右撮像部の間の温度差を算出する左右温度差算出部と、
    キャリブレーション時における前記左撮像部と前記右撮像部との間の温度差を記憶する記憶部と、
    該記憶部に記憶されている前記キャリブレーション時の温度差と前記左右温度差算出部で算出された温度差とを比較して差分を算出する出荷前後データ比較部と、
    を有しており、
    前記画像補正部は、前記出荷前後データ比較部により算出された差分に基づいて前記右画像と前記左画像を補正するステレオカメラ装置。
11. 請求項６記載のステレオカメラ装置において、
    キャリブレーション時における前記左撮像部の温度と前記右撮像部の温度を記憶する記憶部と、
    前記左撮像部の温度情報と前記キャリブレーション時における前記左撮像部の温度との温度差を算出する左温度差算出部と、
    前記右撮像部の温度情報と前記キャリブレーション時における前記右撮像部の温度との温度差を算出する右温度差算出部と、を有し、
    前記画像補正部は、前記左温度差算出部により算出された温度差に基づいて前記左画像を補正する左画像補正部と、前記右温度差算出部により算出された温度差に基づいて前記右画像を補正する右画像補正部と、を有するステレオカメラ装置。
12. 左撮像部で撮像された左画像と右撮像部で撮像された右画像を取得する画像取得部と、
    前記左撮像部から該左撮像部の左黒レベル補正値を取得しかつ前記右撮像部から該右撮像部の右黒レベル補正値を取得する左右黒レベル補正値取得部と、
    該左右黒レベル補正値取得部により取得した前記左撮像部の左黒レベル補正値と前記右撮像部の右黒レベル補正値から差分である左右黒レベル補正値差を算出する左右黒レベル補正値差算出部と、
    前記左右黒レベル補正値差に基づいて前記右画像と前記左画像を補正する画像補正部と、
    該画像補正部により補正された前記右画像の補正画像と前記左画像の補正画像を用いて視差画像を生成する視差画像生成部と、を有するステレオカメラ装置。

Images