JP2003158668A - ステレオカメラの調整装置 - Google Patents

Abstract

(57)【要約】 【課題】 ステレオカメラの一対の画像間の輝度ゲイン
と輝度オフセットとを同時に調整し、各画像の明るさを
揃えてステレオ画像処理の精度向上を図る。 【解決手段】 右画像のウィンドウＷｒと輝度相関が最
も高いウィンドウＷｌを左画像から決定し、各ウィンド
ウの合計輝度を輝度サンプル対として記憶する処理を繰
返す（Ｓ１〜Ｓ３）。そして、輝度サンプル対が高輝度
側或いは低輝度側に集中していない場合、輝度サンプル
対の分布に対する回帰直線のパラメータからクランプ値
の修正量Ｄｏとゲイン値の修正量Ｄｇとを計算し（Ｓ４
〜Ｓ６）、修正量Ｄｇを加算したゲインの指示値をアン
プに出力すると共に、修正量Ｄｏを加算したクランプ値
の指示値をクランプ回路に出力する（Ｓ７）。これによ
り、画像間の輝度ゲインの差と輝度オフセットずれとを
同時に解消することができ、ステレオ画像処理の精度向
上を図ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオカメラの
画像間の輝度バランスを調整するステレオカメラの調整
装置に関する。

【０００２】

【従来の技術】一般に、画像による三次元計測技術とし
て、２台のカメラを一対とするステレオカメラで対象物
を異なる位置から撮像し、同一物体に対する視差からス
テレオカメラの取り付け位置や焦点距離等のカメラパラ
メータを用いて三角測量の原理により距離を求める、い
わゆるステレオ法による画像処理が知られている。

【０００３】このステレオ法による画像処理では、２つ
の画像信号を順次シフトしながら重ね合わせて２つの画
像信号が一致した位置を求めるようにしており、２つの
画像間には視差以外のずれがないことが望ましく、２台
のカメラにおける光学特性や信号特性のバランスが確保
されている必要がある。

【０００４】このため、本出願人は、先に、特開２００
１−６９４０２号公報において、ステレオカメラの一方
の画像中に設定された第１の評価ウィンドウの全体的な
輝度の大きさを表す第１の評価値と、第１の評価ウィン
ドウの輝度特性と相関を有する領域に設定された他方の
画像の第２の評価ウィンドウの全体的な輝度の大きさを
表す第２の評価値との差が小さくなるように、アンプの
ゲインを補正することで、ステレオカメラの各画像間の
輝度バランスを調整する技術を提案している。

【０００５】

【発明が解決しようとする課題】しかしながら、ステレ
オカメラを構成する２台のカメラは、その特性上のばら
つきから、それぞれの出力信号の大きさに加えて直流成
分レベルが異なり、一対の画像間で画像信号を処理する
上での基準となる黒レベルが必ずしも一致しない場合が
ある。この黒レベルが相違することは、Ａ／Ｄ変換後の
各画像で画像全体の輝度レベルが異なり、画像間に輝度
オフセットずれが存在することを意味する。この輝度オ
フセットずれは、先行技術のように、一義的にアンプの
ゲインを調整するだけでは解消できず、ステレオ画像処
理における更なる精度向上を図る上での支障となってい
た。

【０００６】本発明は上記事情に鑑みてなされたもの
で、ステレオカメラの一対の画像間の輝度ゲインと輝度
オフセットとを同時に調整し、各画像の明るさを揃えて
ステレオ画像処理の精度向上を図ることのできるステレ
オカメラの調整装置を提供することを目的としている。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の発明は、２台１組のカメラからなる
ステレオカメラで撮像した一対の画像間の輝度バランス
を調整する調整装置であって、上記ステレオカメラで撮
像した一対の画像の輝度ゲインを調整するゲイン調整手
段と、上記ステレオカメラで撮像した一対の画像におけ
る輝度レベルオフセット量を調整するレベル調整手段
と、上記一対の画像の一方の画像中に設定された第１の
評価ウィンドウの全体的な輝度の大きさを表す評価値
と、他方の画像中に設定されて上記第１の評価ウィンド
ウの輝度特性と相関を有する第２の評価ウィンドウの全
体的な輝度の大きさを表す評価値とのサンプル対を複数
組算出する評価サンプル対算出手段と、上記サンプル対
を構成する２つの評価値の差が小さくなるように上記輝
度ゲインと上記輝度レベルオフセット量とを修正し、各
画像間の輝度バランスを調整する輝度バランス調整手段
とを備えたことを特徴とする。

【０００８】請求項２記載の発明は、請求項１記載の発
明において、上記輝度バランス調整手段は、上記サンプ
ル対の分布に対する回帰直線を求め、この回帰直線が原
点を通る比例直線となるように上記輝度ゲインと上記輝
度レベルオフセット量とを修正することを特徴とする。

【０００９】請求項３記載の発明は、請求項１或いは請
求項２記載の発明において、上記輝度オフセットレベル
の調整は、黒レベルの基準電圧を調整することにより行
うことを特徴とする。

【００１０】請求項４記載の発明は、請求項１或いは請
求項２記載の発明において、上記ゲイン調整手段はアン
プであり、上記輝度ゲインの調整は、画像信号の電圧を
増幅するアンプの増幅率の調整により行うことを特徴と
する。

【００１１】すなわち、請求項１記載の発明は、ステレ
オカメラで撮像した一対の画像の各々に互いに輝度特性
の相関を有する第１，第２の評価ウィンドウを設定し、
第１の評価ウィンドウの全体的な輝度の大きさを表す評
価値と第２の評価ウィンドウの全体的な輝度の大きさを
表す評価値とのサンプル対を複数組算出する。そして、
サンプル対を構成する２つの評価値の差が小さくなるよ
うに各画像の輝度ゲインと輝度レベルオフセット量とを
修正して画像間の輝度バランスを調整することで、画像
間の輝度ゲインの差と輝度オフセットずれとを同時に解
消する。その際、輝度ゲインの修正量、輝度レベルオフ
セット量の修正量は、請求項２記載の発明のように、サ
ンプル対の分布に対する回帰直線を原点を通る比例直線
とすることで求めることができる。また、輝度レベルオ
フセット量の調整は、請求項３記載の発明のように、黒
レベルの基準電圧を調整することにより行うことが望ま
しく、輝度ゲインの調整は、請求項４記載の発明のよう
に、画像信号の電圧を増幅するアンプの増幅率の調整に
より行うことが望ましい。

【００１２】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１〜図３は本発明の実施の一形
態に係わり、図１はステレオ画像処理システムの構成
図、図２は輝度差調整処理のフローチャート、図３は輝
度サンプル対の分布と回帰直線を示す説明図である。

【００１３】図１に示す画像処理システムおいて、符号
１は、電荷結合素子（ＣＣＤ）等のイメージセンサを内
蔵し、互いに同期がとれた２台のカメラ２，３から構成
されるステレオカメラである。このステレオカメラ１
は、例えば、カメラ２を右カメラ、カメラ３を左カメラ
として、所定の基線長をもって図示しないステー等に配
設されており、一方のカメラで撮像された画像を基準画
像、他方のカメラで撮像された画像を比較画像としてス
テレオ画像処理を行う。

【００１４】各カメラ２，３には、各カメラ２，３から
の画像信号を比例増幅するアンプ４，５が接続され、更
に、アンプ４，５の後段に、クランプ回路６，７を介し
てＡ／Ｄ変換器８，９が接続されている。これにより、
各カメラ２，３で撮像したアナログ画像が所定の輝度階
調（例えば２５６階調のグレースケール）を有するデジ
タル画像に変換される。

【００１５】ここで、アンプ４，５は、可変ゲインビデ
オアンプであり、外部から与える指示値により画像信号
の電圧を増幅する増幅率の調整、すなわちゲインを調整
することができ、ステレオカメラ１で撮像したステレオ
画像（左右画像）の輝度ゲインを調整するゲイン調整手
段としての機能を担っている。また、クランプ回路６，
７は、アンプ４，５から出力される画像信号の輝度レベ
ルオフセット量としての黒レベルを固定して安定化（ク
ランプ）し、Ａ／Ｄ変換に必要な電圧範囲に収めるレベ
ル調整手段としての機能を担い、Ａ／Ｄ変換器８，９で
のＡ／Ｄ変換の際の基準電圧値（画像処理の基準となる
黒レベルの電圧値で、その電圧以下は、輝度ゼロとする
値）を、外部から指示可能となっている。

【００１６】すなわち、外部からアンプ４，５に与える
ゲイン値により輝度ゲインを可変することで、左右画像
の輝度ゲインを揃えると共に、外部からクランプ回路
６，７に与える黒レベルのレベル固定値（クランプ値）
により、クランプレベルを上下させてＡ／Ｄ変換の際の
黒レベルを調整し、左右画像の輝度レベルを揃えて輝度
オフセットずれを解消することができる。本形態におい
ては、基本的に、左画像側のアンプ５に与えるゲイン
値、及び左画像側のクランプ回路７に与えるクランプ値
を可変し、主としてアンプ５及びクランプ回路７で左右
画像の輝度ゲイン及び輝度レベルを調整する。

【００１７】Ａ／Ｄ変換器８，９でデジタル化された左
右の画像データは、補正回路１０に入力され、この補正
回路１０で、シェーディング補正、ログ補正、カメラ
２，３の光学的な位置ずれに対する幾何学的補正等がな
される。補正回路１０で補正された左右のデジタル画像
データは、画像データメモリ１１に蓄積されると共に、
一致点探索・視差計算回路１２に入力され、左右画像で
同一の物体が写っている部分を所定の小領域毎に探索す
るステレオマッチング処理が行われる。そして、このス
テレオマッチング処理によって得られた視差データが視
差データメモリ１３に蓄積される。

【００１８】周知のように、左右画像（ステレオ画像）
に映し出された同一視線上の同一物体は、左右のカメラ
２，３の両光学中心を結ぶ線と平行な画像上の線（エピ
ポーラライン）に乗っており、このエピポーラライン上
の対応位置の互いのずれ量が対象物までの距離を表して
いる。従って、一致点探索・視差計算回路１２では、基
準画像の小領域に対応する比較画像の小領域を、水平走
査方向に１画素ずつシフトしながら探索し、小領域間の
相関を評価する。

【００１９】この小領域間の相関は、例えば、シティブ
ロック距離を計算することで評価することができる。す
なわち、画面左上を原点として、画像横方向をｉ座標
軸、縦方向をｊ座標軸、単位を画素とし、例えば、小領
域を４×４画素の領域としたとき、基準画像のｉ,ｊ番
目の輝度Ａi,jと比較画像のｉ,ｊ番目の輝度Ｂi,jとの
差に基づくシティブロック距離Ｚ（＝Σ｜Ａi,j−Ｂi,j
｜：ｉ，ｊ＝０〜３）を計算することで、小領域間の相
関を評価することができる。基本的には、このシティブ
ロック距離が最小となる小領域が同一視線上の同一物体
の対応位置となり、対応する小領域間の画素ずれ量が距
離を表す視差データとして出力される。尚、シティブロ
ック距離を計算して視差データを生成するハードウェア
回路の構成及び動作については、本出願人によって先に
提出された特開平５−１１４０９９号に詳述されてい
る。

【００２０】画像データメモリ１１に蓄積された左右の
元画像、及び、視差データメモリ１３に蓄積された視差
データは、画像処理装置１４に入力されて各種の画像処
理が実施される。この画像処理装置１４は、マイクロコ
ンピュータを中心とし、その他の周辺回路を備えて構成
されるものであり、画像データメモリ１１の左右元画像
データ及び視差データメモリ１３の視差データに基づい
て、自己位置や障害物等の周囲環境を認識する処理を行
う認識処理部１５、画像データメモリ１１の左右元画像
データに基づいてアンプ４，５に対するゲイン値及びク
ランプ回路６，７に対するクランプ値を演算し、左右画
像の輝度バランスを調整する輝度調整処理部１６を含ん
でいる。

【００２１】輝度調整処理部１６における輝度バランス
の調整は、左右画像の一方の画像中に第１の評価ウィン
ドウを設定すると共に、この第１の評価ウィンドウの輝
度特性と相関を有する第２の評価ウィンドウを他方の画
像中に設定し、第１の評価ウィンドウの全体的な輝度の
大きさを表す評価値と、第２の評価ウィンドウの全体的
な輝度の大きさを表す評価値とのサンプル対を複数組算
出する。そして、サンプル対の分布に対する回帰直線を
求め、この回帰直線が原点を通る比例曲線となるよう
に、輝度ゲインと黒レベルの基準電圧値とを同時に修正
することで、左右画像間の輝度ゲインの差と輝度オフセ
ットずれとを同時に解消して各画像の明るさを揃える。

【００２２】すなわち、輝度調整処理部１６は、本発明
に係わる評価サンプル対算出手段、輝度バランス調整手
段としての機能を実現するものであり、具体的には、図
２に示す処理を実行することで、各手段の機能を実現す
る。以下、輝度調整処理部１６における輝度調整処理に
ついて、図２のフローチャートを用いて説明する。

【００２３】このオフセット調整処理では、先ず、ステ
ップＳ１で、画像データメモリ１１から左右の元画像デ
ータを読出し、右画像のランダムな位置から横Ｈ×縦Ｖ
画素（例えば、２０×２０画素）のウィンドウＷｒを切
出す。そして、このウィンドウＷｒを第１の評価ウィン
ドウ（以下、「右ウィンドウ」と称する）として、左画
像から、この右ウィンドウＷｒと輝度相関が最も高いウ
ィンドウを第２の評価ウィンドウ（以下、「左ウィンド
ウ」と称する）Ｗｌとして決定する。

【００２４】右ウィンドウＷｒと輝度相関が最も高い左
ウィンドウＷｌの決定は、本出願人による特開２００１
−６９４０２号に開示の技術を用いることができる。詳
細は特開２００１−６９４０２号に譲るとして、基本的
には、右ウィンドウＷｒに対応する領域の視差データを
視差データメモリ１３から読込み、この視差データのヒ
ストグラムの出現度数の最も多い値、或いは平均値を右
ウィンドウＷｒを代表する視差として求める。そして、
左画像中で、この代表視差分だけ水平方向にオフセット
させた位置に、右ウィンドウＷｒと同じ大きさの左ウィ
ンドウＷｌを設定する。尚、視差データメモリ１３内の
視差データを用いず、右ウィンドウＷｒの座標位置を基
準として左画像のエピポーラライン上を１画素ずつずら
しながらステレオマッチング処理を行うことで、右ウィ
ンドウＷｒと最も相関の高い領域を左画像中で特定する
ことも可能である。

【００２５】以上により、右ウィンドウＷｒと、この右
ウィンドウＷｒと輝度相関が最も高い左ウィンドウＷｌ
を決定した後、ステップＳ１からステップＳ２へ進み、
左右のウィンドウＷｒ，Ｗｌについて、それぞれ、ウィ
ンドウ内の輝度値を単純合計して評価値とし、右ウィン
ドウＷｒの評価値（合計輝度）と左ウィンドウＷｌの評
価値（合計輝度）との対（以下、「輝度サンプル対」と
称する）をメモリ上に記憶する。次いで、ステップＳ３
へ進み、以上のステップＳ１，Ｓ２の処理をＮ回（例え
ば、３０回）繰返したか否かを調べる。そして、Ｎ回未
満のときには、ステップＳ１へ戻ってステップＳ１，Ｓ
２の処理を継続し、Ｎ回に達したとき、ステップＳ４へ
進んでメモリに蓄積したＮ個の輝度サンプル対の分布を
チェックする。

【００２６】その結果、ステップＳ４において、高輝度
側或いは低輝度側に輝度サンプル対の分布が偏って集中
していると判定された場合には、Ｎ個の輝度サンプル対
を全て破棄し、最初に戻ってステップＳ１から改めて処
理をやり直す。輝度サンプル対が高輝度側或いは低輝度
側に「集中している」か否かは、例えば、以下のように
判定する。すなわち、輝度サンプル対の右側データ或い
は左側データの片方の理論的最大値は、（ウィンドウの
画素数）×階調度であり、本形態においては、２０×２
０画素×２５６階調＝１０２４００であるため、この半
分の５１２００を基準値として、Ｎ個の輝度サンプル対
の右側データの全てを、この基準値と比較する。そし
て、Ｎ個の輝度サンプル対の右側データの全てが基準値
よりも高かった場合、或いは逆にＮ個のサンプル対の右
側データの全てが基準値よりも低かった場合には、「集
中している」と判定する。

【００２７】ステップＳ４の判定により、輝度サンプル
対が高輝度側或いは低輝度側に偏って集中していないと
判定された場合には、ステップＳ４からステップＳ５へ
進み、図３に示すように、Ｎ個の輝度サンプル対を（右
輝度）対（左輝度）のグラフにプロットした場合の回帰
直線のパラメータ（傾きａ，切片ｂ）を、例えば最小二
乗法によって算出する。この回帰直線は、横軸を右輝
度、縦軸を左輝度として、両者を変数Ｂｒ，Ｂｌで表す
と、以下の（１）式で表現される。 Ｂｌ＝ａ×Ｂｒ＋ｂ …（１）

【００２８】次に、ステップＳ６へ進み、上述の（１）
式の回帰直線から、左画像側のクランプ回路７に対する
クランプ値の修正量Ｄｏと、左画像側のアンプ５に対す
るゲイン値の修正量Ｄｇとを計算する。この修正量の計
算は、回帰直線が原点を通り、傾きａ＝１となる比例直
線（Ｂｌ＝Ｂｒの直線）となる修正量、すなわち左右画
像の輝度ゲイン及び輝度レベルが一致するような修正量
を求めるものであり、以下の（２），（３）式により、
回帰直線のパラメータａ，ｂから修正量Ｄｏ，Ｄｇに換
算される。 Ｄｏ＝Ｃｏ×（−ｂ） …（２） Ｄｇ＝Ｃｇ×（（−ａ）×２５５） …（３）

【００２９】但し、（２），（３）式において、Ｃｏ，
Ｃｇは、アンプ５、クランプ回路７、Ａ／Ｄ変換器９の
特性によって定まる定数であり、定数Ｃｏは、クランプ
値の増分と輝度の増分との比率（Δクランプ値／Δ輝
度）を表し、定数Ｃｇは、ゲイン値の増分と輝度の増分
との比率（Δゲイン値／Δ輝度；最大輝度近傍での値）
を表す。尚、ゲイン値の修正量Ｄｇを計算する（３）式
中の数字“２５５”は、輝度の最大値である。

【００３０】以上の修正量Ｄｏ，Ｄｇを計算した後は、
ステップＳ７へ進み、現在のゲイン値に修正量Ｄｇを加
算した指示値を左画像側のアンプ５に出力すると共に、
現在のクランプ値に修正量Ｄｏを加算した指示値を左画
像側のクランプ回路７に出力し、処理を終了する。

【００３１】その結果、左画像側のアンプ５のゲイン値
及びクランプ回路７のクランプ値が左右画像間の輝度差
及び輝度オフセットずれを解消する方向に修正される。
すなわち、アンプ５を経た左画像の輝度ゲインがアンプ
４を経た右画像の輝度ゲインに一致するように調整さ
れ、更に、クランプ回路７を経てＡ／Ｄ変換器９でＡ／
Ｄ変換された左画像の輝度レベルが、クランプ回路６を
経てＡ／Ｄ変換器８でＡ／Ｄ変換された右画像の輝度レ
ベルと同レベルに調整される。

【００３２】但し、修正量を加算した後の指示値が各回
路の仕様によって定まる調整範囲を越える場合には、調
整範囲を超える回路の指示値を変更せず、代わりに、右
画像側の該当する回路の現在の指示値を修正量だけ減算
した値に変更することで、右画像の輝度ゲイン、クラン
プレベルを修正し、左右画像の輝度バランスを調整す
る。

【００３３】このように、本実施の形態においては、ス
テレオカメラを構成する２台のカメラの出力の大きさの
ばらつきによる一対の画像間の輝度ゲインの差、及び直
流信号レベルのばらつきによる輝度オフセットずれを自
動的且つ同時に解消することができ、各画像で同一物体
を写した対応位置の明るさを揃えることができる。これ
により、ステレオマッチング処理におけるミスマッチン
グを防止し、距離検出精度を向上させると共に、正確な
画像認識を可能とすることができる。

【００３４】

【発明の効果】以上説明したように本発明によれば、ス
テレオカメラで撮像した一対の画像の各々に互いに輝度
特性の相関を有する第１，第２の評価ウィンドウを設定
し、第１の評価ウィンドウの全体的な輝度の大きさを表
す評価値と第２の評価ウィンドウの全体的な輝度の大き
さを表す評価値とのサンプル対を複数組算出する。そし
て、サンプル対を構成する２つの評価値の差が小さくな
るように各画像の輝度ゲインと輝度レベルオフセット量
とを修正して画像間の輝度バランスを調整するので、画
像間の輝度ゲインの差と輝度オフセットずれとを同時に
解消することができ、ステレオ画像処理の精度向上を図
ることができる。

【図面の簡単な説明】

【図１】ステレオ画像処理システムの構成図

【図２】輝度差調整処理のフローチャート

【図３】輝度サンプル対の分布と回帰直線を示す説明図

【符号の説明】

１ ステレオカメラ ４，５ アンプ（ゲイン調整手段） ６，７ クランプ回路（レベル調整手段） １６ 輝度調整処理部（輝度バランス調整手段） Ｄｇ ゲイン値の修正量 Ｄｏ クランプ値の修正量

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ２台１組のカメラからなるステレオカメ
   ラで撮像した一対の画像間の輝度バランスを調整する調
   整装置であって、 上記ステレオカメラで撮像した一対の画像の輝度ゲイン
   を調整するゲイン調整手段と、 上記ステレオカメラで撮像した一対の画像における輝度
   レベルオフセット量を調整するレベル調整手段と、 上記一対の画像の一方の画像中に設定された第１の評価
   ウィンドウの全体的な輝度の大きさを表す評価値と、他
   方の画像中に設定されて上記第１の評価ウィンドウの輝
   度特性と相関を有する第２の評価ウィンドウの全体的な
   輝度の大きさを表す評価値とのサンプル対を複数組算出
   する評価サンプル対算出手段と、 上記サンプル対を構成する２つの評価値の差が小さくな
   るように上記輝度ゲインと上記輝度レベルオフセット量
   とを修正し、各画像間の輝度バランスを調整する輝度バ
   ランス調整手段とを備えたことを特徴とするステレオカ
   メラの調整装置。
2. 【請求項２】 上記輝度バランス調整手段は、 上記サンプル対の分布に対する回帰直線を求め、この回
   帰直線が原点を通る比例直線となるように上記輝度ゲイ
   ンと上記輝度レベルオフセット量とを修正することを特
   徴とする請求項１記載のステレオカメラの調整装置。
3. 【請求項３】 上記輝度レベルオフセット量の調整は、
   黒レベルの基準電圧を調整することにより行うことを特
   徴とする請求項１或いは請求項２記載のステレオカメラ
   の調整装置。
4. 【請求項４】 上記ゲイン調整手段はアンプであり、上
   記輝度ゲインの調整は、画像信号の電圧を増幅するアン
   プの増幅率の調整により行うことを特徴とする請求項１
   或いは請求項２記載のステレオカメラの調整装置。