JP2019178871A

JP2019178871A - ステレオカメラ装置

Info

Publication number: JP2019178871A
Application number: JP2018066447A
Authority: JP
Inventors: 潤岸和田; Jun Kishiwada
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2018-03-30
Filing date: 2018-03-30
Publication date: 2019-10-17
Anticipated expiration: 2038-03-30
Also published as: EP3547682B1; JP7131026B2; EP3547682A1

Abstract

【課題】広角領域での視野を確保するとともに望遠領域での遠方精度を確保し、且つ、小型化と低コスト化を実現することができるステレオカメラ装置を提供する。【解決手段】第１、第２の光学系（２１）は、第１、第２の撮像部（２３）による撮像データを望遠領域と広角領域に区画して投影するとともに、望遠領域では相対的にディストーションが小さく広角領域では相対的にディストーションが大きいディストーション特性を有する。画像処理部（３０）は、第１、第２の撮像部（２３）による撮像データに望遠領域と広角領域に応じた画像処理を施す。【選択図】図６

Description

本発明は、ステレオカメラ装置に関する。

近年、一対のステレオカメラ（車載カメラ）を用いたステレオ式監視装置が注目されている。三次元計測技術の一つであるステレオ法では、一方のカメラ画像の画素ブロックと相関を有する画素ブロックを他方のカメラ画像において特定し、両画像における相対的なずれ量である視差から三角測量の原理を用いて距離データを算出する。算出した距離データを用いて障害物までの距離を計測し、その値に応じて車間制御などの運転支援を行う。また昨今では、車両の前方だけでなく、割り込み車両の検知や交差点の歩行者検知などのより広角の視野（ビジョン）のニーズが高まっている。

特許文献１には、視差画像を生成するステレオカメラ装置が開示されている。ステレオカメラ装置は、二つの撮像手段と、二つの光学系と、第一の画像生成手段と、第二の画像生成手段と、第一の視差画像生成手段と、第二の視差画像生成手段と、画像合成手段とを有している。二つの撮像手段は、光軸が平行に配置されている。二つの光学系は、二つの撮像手段が撮影した画像データを等距離射影画像に投影する。第一の画像生成手段は、二つの等距離射影画像からエピポーラ線が直線になる第一の変形画像データ及び第二の変形画像データを生成する。第二の画像生成手段は、二つの等距離射影画像の所定領域から第一の変形画像データ及び第二の変形画像データよりも倍率が大きくエピポーラ線が直線になる第三の変形画像データ及び第四の変形画像データを生成する。第一の視差画像生成手段は、第一の変形画像データと第二の変形画像データを比較して画素に視差情報が配置された第一の視差画像を生成する。第二の視差画像生成手段は、第三の変形画像データと第四の変形画像データを比較して画素に視差情報が配置された第二の視差画像を生成する。画像合成手段は、第一の変形画像データ又は第二の変形画像データと、第三の変形画像データ又は第四の変形画像データの倍率により定まる第一の視差画像の画素の画素値を、第二の視差画像の画素の画素値で置き換える。

特開２０１２−１９８０７７号公報

しかしながら、従来のステレオ式監視装置では、視野を広角にすると遠方精度の確保が難しく、遠方精度の確保を優先すると扱うデータ量（撮像センサの解像度）が膨大になるという問題がある。後者の場合、システムコストが増大するとともに、２つのカメラ距離を大きめに確保する必要があるためにシステムサイズの大型化が避けられない。

例えば、特許文献１のステレオカメラ装置では、画像処理の元データに等距離射影画像を用いており、画像補正量が多くなることによる処理量の増大や処理遅延の発生、さらに補正フィッティング時に発生する誤差の増大が問題となってしまう。また、中心射影画像と比較すると元データの角度分解能が低くなってしまう。

本発明は、以上の問題意識に基づいて完成されたものであり、広角領域での視野を確保するとともに望遠領域での遠方精度を確保し、且つ、小型化と低コスト化を実現することができるステレオカメラ装置を提供することを目的の１つとする。

本実施形態のステレオカメラ装置は、第１、第２の撮像部と、前記第１、第２の撮像部による撮像データを望遠領域と広角領域に区画して投影するとともに、前記望遠領域では相対的にディストーションが小さく前記広角領域では相対的にディストーションが大きいディストーション特性を有する第１、第２の光学系と、前記第１、第２の撮像部による撮像データに前記望遠領域と前記広角領域に応じた画像処理を施す画像処理部と、を有することを特徴としている。

本発明によれば、広角領域での視野を確保するとともに望遠領域での遠方精度を確保し、且つ、小型化と低コスト化を実現することができるステレオカメラ装置を提供することができる。

平行配置したステレオカメラによる距離計測の原理を説明するための図である。中心射影、等距離射影を説明する図の一例である。本実施形態のステレオカメラ装置を示す概略構成図である。レンズ（第１、第２の光学系）が区画する望遠領域と広角領域の一例を示す概念図である。レンズ（第１、第２の光学系）が持つディストーション特性の一例を示す概念図である。図５の望遠領域の射影方式（中心射影）に合わせたディストーション特性の一例を示す概念図である。ディストーション特性におけるディストーション変化量の一例を示す概念図である。ディストーション特性におけるディストーション変化率の一例を示す概念図である。レンズ（第１、第２の光学系）の構成例を示す断面図である。図９のレンズ（第１、第２の光学系）の構成例における収差図である。本実施形態のステレオカメラ装置の構成を示すブロック図である。本実施形態のステレオカメラ装置による画像フローの一例を示す概念図である。

図１は平行配置したステレオカメラによる距離計測の原理を説明するための図である。カメラＣ０とＣ１が距離Ｂだけ離れて設置されている。カメラＣ０とＣ１の焦点距離、光学中心、撮像面は下記のとおりである。
焦点距離：ｆ、
光学中心：Ｏ_０、Ｏ_１
撮像面：ｓ_０、ｓ_１
カメラＣ０の光学中心Ｏ_０から光軸方向に距離ｄだけ離れた位置にある被写体Ａの像は、直線Ａ−Ｏ_０と撮像面ｓ_０との交点であるＰ_０に像を結ぶ。一方カメラＣ１では、同じ被写体Ａが、撮像面ｓ_１上の位置Ｐ_１に像を結ぶ。ここで、カメラＣ１の光学中心Ｏ_１を通り、直線Ａ−Ｏ_０と平行な直線と、撮像面ｓ_１との交点をＰ_０’とし、点Ｐ_０’とＰ_１との距離をｐとする。

Ｐ_０’は、カメラＣ０上の像Ｐ_０と同じ位置であり、距離ｐは、同じ被写体の像の、二つのカメラで撮影した画像上での位置のずれ量を表し、これを視差と呼ぶ。
三角形:Ａ−Ｏ_０−Ｏ_１、三角形Ｏ_１−Ｐ_０’−Ｐ_１は相似なので、
ｄ＝Ｂｆ／ｐ
が得られる。カメラＣ０とＣ１の距離Ｂ（基線長）と焦点距離ｆが既知ならば、視差ｐから距離ｄを求めることができる。

ここで、このようなカメラの結像光学系は、カメラ外部にある被写体の像を撮像面上に投影するしくみである。カメラの結像光学系には、どの位置(方向) にある被写体を、撮像面上のどの位置に投影するか、という点で多くの方式がある。そのうちよく利用される、中心射影と等距離射影について説明する。

図２（ａ）は中心射影を説明する図の一例である。中心射影とは、カメラ光軸から角度θだけ離れた方向に存在する被写体を、撮像面中心（光軸との交点）からｆ：ｔａｎ（θ）だけ離れた位置に投影する方式である。ここでｆは光学系の焦点距離である。

中心射影には、三次元空間内の直線が画像上直線に写るという特徴がある。通常のカメラレンズはほぼこの中心射影特性を持つよう設計されている。特にステレオカメラでは、エピポーラ線が直線になるため、対応点探索が容易になるという大きな利点となる。しかしｔａｎ（θ）はθ＝９０°で発散するため、９０度以上の視野は投影できず、また９０度に近い広角の視野を投影する場合に非常に広い撮像面が必要になる。

図２（ｂ）は等距離射影を説明する図の一例である。等距離射影とは、カメラ光軸から角度θだけ離れた方向に存在する被写体を、撮像面中心からｆ・θだけ離れた位置に投影する方式である。

等距離射影は中心射影のように９０度で発散するようなことはなく、広い視野を表現することができる。そのため多くの魚眼レンズはこの特性を持つ。しかし等距離射影のステレオカメラではエピポーラ線が曲線となるので、対応点探索は非常に複雑な処理を必要とする。

これまでのステレオカメラシステムは、一般的に、中心射影（図２（ａ））が用いられることが多かった。これは、エピポーラ線が直線で定義され、視差から距離の変換が下記の簡単な式（１）で算出できるためである。
（１）ｄ＝Ｂｆ／ｐ
ｄ：距離、Ｂ：基線長（２つのカメラ間距離）、ｆ：焦点距離、ｐ：視差。

一方で、昨今の広角化のトレンドからステレオカメラシステムの画角を全角で１００度以上とすることが要求されてきている。中心射影では像高と画角の関係が下記の式（２）で定義されるので、広角になればなるほど必要な像高が大きくなる。
（２）ｙ＝ｆ：ｔａｎ（θ）
ｙ：像高、ｆ：焦点距離、θ：画角。

ここで式（２）の像高ｙを小さくするために焦点距離ｆを小さくすることが考えられる。しかし、この場合、式（１）で定義される視差ｐの値が小さくなるので、遠方の精度確保が困難になる。また、画像中央の角度分解能が小さくなり、画像中央の被写体のサイズが小さくなることから、遠方の障害物などをとらえることが困難になる。

上述の特許文献１のステレオカメラ装置は、等距離射影画像を中心射影画像に補正することを提案しているが、その補正量が大きくなりすぎることが問題となる。例えば、焦点距離２ｍｍの等距離射影の像高を焦点距離５ｍｍの中心射影へ画像補正する場合を考える。センサピッチ０．００３７５ｍｍとし、垂直方向の画角１０度の像高を補正する場合、約１４２ｐｉｘの画像補正量が必要となる。画像補正量が大きくなることでバッファするデータ量が増加するため、回路リソースが大きくなり、処理用のデバイスが高価になることや、その処理による遅延増加などの課題が発生する。また、画像補正量そのものが大きくなることで補正フィッティング時に発生する誤差の増大も予想される。

本実施形態のステレオカメラ装置は、上記問題を重要な技術課題として捉えて、これを解決するための構成を具備している。すなわち、ステレオカメラ装置を構成する左右の２つのカメラにおいて望遠、広角の２つの領域が設定されており、望遠領域は中心射影でかつ補正量が少なくなるように低ディストーションの光学特性を有し、広角領域は目的の画角が入るようなディストーション特性を有する。設定した望遠、広角の２つの領域でそれぞれ画像補正を実施して、それぞれ画像を作成する。左右のカメラで作成した望遠、広角の２つの画像ペアに対してステレオマッチングをすることで、望遠、広角それぞれの三次元データが取得できる。この構成により、望遠領域では中心射影光学系で画像撮影を実施することで角度分解能の高い元データを取得することができ、かつ、低ディストーションであるため画像補正時に発生する補正量や補正誤差が少なく、小さい回路リソースで実現することができる。

図３は、本実施形態のステレオカメラ装置１００を示す概略構成図である。カメラ部１１０には左カメラＣ０と右カメラＣ１（第１、第２のカメラ）が配置されている。左カメラＣ０と右カメラＣ１は、同じレンズ、同じＣＭＯＳイメージセンサを有し、左カメラＣ０と右カメラＣ１は互いの光軸が平行に、かつ、二つの撮像面が同一平面になるように配置されている。左カメラＣ０と右カメラＣ１は同じレンズ２１（第１、第２の光学系）、絞り２２、ＣＭＯＳイメージセンサ（第１、第２の撮像部）２３を有する。

ＣＭＯＳイメージセンサ２３は、カメラ制御部１３が出力する制御信号を入力として動作する。ＣＭＯＳイメージセンサ２３は、例えば、１０００×１０００画素のモノクロイメージセンサとすることができる。レンズ２１は、例えば、上下左右共に片側８０度、両側１６０度の視野の像をＣＭＯＳイメージセンサ２３の撮像領域内に結像する特性を持つ。

ＣＭＯＳイメージセンサ２３が出力した画像信号は、ＣＤＳ２４に出力されて相関二重サンプリングによるノイズ除去が行われ、ＡＧＣ２５により信号強度に応じて利得制御され、Ａ／Ｄ変換部２６によりＡ／Ｄ変換される。画像信号はＣＭＯＳイメージセンサ２３の全体を記憶可能なフレームメモリ２７に記憶される。

フレームメモリ２７に記憶された画像信号はデジタル信号処理部２８により、距離の算出等が行われ、仕様によってはフォーマット変換され液晶などの表示手段に表示される。デジタル信号処理部２８は、ＤＳＰ、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたＬＳＩである。後述する機能ブロックは、例えばこのデジタル信号処理部２８により、ハード的又はソフト的に提供される。なお、カメラ制御部１３をデジタル信号処理部２８に配置してもよく、図示する構成は一例である。

デジタル信号処理部２８は、水平同期信号ＨＤ、垂直同期信号ＶＤ及びクロック信号の各パルスをカメラ制御部１３に出力する。または、カメラ制御部１３が水平同期信号ＨＤ及び垂直同期信号ＶＤを生成することも可能である。カメラ制御部１３は、タイミングジェネレータやクロックドライバを有し、ＨＤ、ＶＤ及びクロック信号からＣＭＯＳイメージセンサ２３を駆動するための制御信号を生成する。

このように、ステレオカメラ装置１００は、左カメラＣ０と右カメラＣ１（第１、第２のカメラ）のそれぞれにおいて、ＣＭＯＳイメージセンサ（第１、第２の撮像部）２３と、ＣＭＯＳイメージセンサ（第１、第２の撮像部）２３による撮像データを投影するレンズ２１（第１、第２の光学系）とを有している。

レンズ２１（第１、第２の光学系）は、ＣＭＯＳイメージセンサ（第１、第２の撮像部）２３による撮像データを望遠領域と広角領域に区画して投影するとともに、望遠領域では相対的にディストーションが小さく広角領域では相対的にディストーションが大きいディストーション特性を有している。

図４はレンズ（第１、第２の光学系）２１が区画する望遠領域と広角領域の一例を示す概念図である。ＣＭＯＳイメージセンサ（第１、第２の撮像部）２３による撮像データは矩形の撮像領域を有しており、当該撮像領域の中央部分が望遠領域に区画され、当該撮像領域の周辺部分が広角領域に区画されている。図４では、中央部分の望遠領域を道路や道路標識を含んだ車からの風景を描いており、周辺部分の広角領域を簡略化したグラデーションパターンで描いている。なお、撮像領域に占める望遠領域と広角領域の割合や配置の態様には自由度があり、種々の設計変更が可能である。

図５〜図８を参照してレンズ（第１、第２の光学系）２１が持つディストーション特性について詳細に説明する。

図５はレンズ（第１、第２の光学系）２１が持つディストーション特性の一例（画角に対する像高の特性）を示す概念図である。ここでは、１／３型のセンサ（イメージセンサ）を用いており、対角の像高は３ｍｍ、センサピッチは０．００３７５ｍｍ、解像度は１２８０ｐｉｘ×９６０ｐｉｘ（水平×垂直）に設定している。図５のディストーション特性では、像高０ｍｍ〜１．５ｍｍまでを望遠領域とし、像高１．５ｍｍ〜３．０ｍｍまでを広角領域としている。望遠領域では焦点距離５ｍｍの中心射影の像高特性を持たせる一方、広角領域では焦点距離１．５ｍｍの等距離射影の像高特性を持たせている。このような像高特性を持たせることにより、望遠領域では約０．０４ｄｅｇ／ｐｉｘと高い角度分解能を持ちながら画像全体で視野を１４０度以上確保できている。単純に中心射影で１４０度以上の視野を確保しようとすると焦点距離を１ｍｍ程度まで低下させる必要があるが、その場合、画像中央の角度分解能は約０．２ｄｅｇ／ｐｉｘ程度まで低下してしまう。広角領域に等距離射影の投射方式を採用したのは像高によらず一定の角度分解能を持たせるためである。もちろん、より焦点距離の小さい中心射影の特性を持たせてもいいし、正射影にすることで広角領域でもできるだけ中央付近の角度分解能が高くなるように設定してもいい。像高特性は下記の式（３）、（４）で表すことができる。
（３）ｙ＝ｆｔａｎθ（ｙ≦ａ）
（４）ｙ＝ｆθ＋Ｂ（ｙ＞ａ）
ｙ：像高、ｆ：焦点距離、θ：画角、Ｂ：基線長（２つのカメラ間距離）、ａ：望遠領域と広角領域の境界となる像高（上記の例では１．５ｍｍ）。

図６は図５の望遠領域の射影方式（中心射影）に合わせたディストーション特性の一例を示す概念図である。図６に示すように、望遠領域におけるディストーションは略ゼロに抑えられており（相対的に小さく設定されており）、広角領域に入ったところからディストーションが急激に増加している（相対的に大きく設定されている）。

ここまでは、発明の理解を容易にするために、理想的な（理論上の）中心射影・等距離射影の特性を説明してきたが、現実のステレオカメラは歪曲収差によるディストーションが発生し得る。本実施形態では、歪曲収差によるディストーションが発生したとしても、望遠領域におけるディストーションを１％以下とすることが好ましい。望遠領域におけるディストーションを１％以下とすることで、ｘ像高とｙ像高の補正量をともに１０ｐｉｘ以下に抑えることができる。

別言すると、レンズ（第１、第２の光学系）２１は、望遠領域において次の条件式（Ｘ）、（Ｙ）を満足するディストーション特性を有することが好ましい。条件式（Ｘ）、（Ｙ）を満足することで、望遠領域で発生するディストーションを極めて小さく抑えるとともに、後述する画像処理で実行する望遠領域のディストーション補正量を小さく抑えることができる。これにより、ステレオカメラシステム装置１００の小型化と低コスト化（小さいシステムコスト）を実現することができる。また、後述する画像処理の低レイテンシー化や高精度化を図ることができる。
（Ｘ）（ｘ・Ｄ／１００）／ｐ＜１０
（Ｙ）（ｙ・Ｄ／１００）／ｐ＜１０
ｘ：ｘ像高［ｍｍ］、ｙ：ｙ像高［ｍｍ］、Ｄ：ディストーション［％］、ｐ：ＣＭＯＳイメージセンサ（第１、第２の撮像部）２３のセンサピッチ。

上記のように本実施形態のレンズ（第１、第２の光学系）２１が持つディストーション特性は、望遠領域から広角領域に変わる像高で大きく変化する（急激に増大する）特徴を持つ。望遠領域と広角領域の定義として先述したディストーション量を閾値として用いてもいいし、ディストーションの立ち上がりの像高を望遠領域と広角領域の境界線と定義してもいい。立ち上がり像高の算出方法としてはディストーション変化量の絶対値を算出し、最大値を示す箇所を立ち上がり像高としてもいいし、その立ち上がり像高の前後のプロットから近似直線もしくは曲線（接線）を算出し、ディストーション軸（ディストーションがゼロ）と交差する点を立ち上がり像高としてもいい。

図７はディストーション特性におけるディストーション変化量の一例を示す概念図である。図７において、ディストーション変化量の最大値から算出した像高は１．６２ｍｍ、近似直線とディストーション軸の交点から算出した像高は１．４９ｍｍであった。本実施形態のようなディストーション特性を持っている場合、最大値を境界として設定すると、望遠領域の周辺像高では最大５％程度のディストーションを補正する必要が発生する。一方、接線とディストーション軸の交点から算出した境界では、発生するディストーションは１％程度である。また、緩やかな立ち上がりのディストーション特性に対応させるためには、図７に示したディストーション変化量の代わりに、図８に示したディストーション変化率を使用してもすることも可能である。図８はディストーション特性におけるディストーション変化率の一例を示す概念図である。

以上まとめると、望遠領域と広角領域は、次の（Ａ）〜（Ｅ）の基準によって区画することができる。
（Ａ）望遠領域と広角領域はディストーション特性におけるディストーション１％を境界として区画することができる。この場合、望遠領域で発生するディストーションを極めて小さく抑えるとともに、後述する画像処理で実行する望遠領域のディストーション補正量を小さく抑えることができる。これにより、ステレオカメラシステム装置１００の小型化と低コスト化（小さいシステムコスト）を実現することができる。また後述する画像処理の低レイテンシー化や高精度化を図ることができる。
（Ｂ）望遠領域と広角領域は、ディストーション特性におけるディストーション変化量の絶対値が最大値となる点を境界として区画することができる（図７を参照）。これにより、上記（Ａ）の効果に加えて／代えて、外乱の影響を受け難くロバスト性の高いシステムを実現しやすくすることができる。
（Ｃ）望遠領域と広角領域は、ディストーション特性におけるディストーション変化量の絶対値が最大値となる点のディストーションカーブの接線とディストーション軸の交点を境界として区画することができる（図７を参照）。これにより、上記（Ｂ）の場合よりも、望遠領域で発生するディストーションとディストーション補正量を小さく抑えることができる（極限までゼロに近付けることができる）。
（Ｄ）望遠領域と広角領域は、ディストーション特性におけるディストーション変化率の絶対値が最大値となる点を境界として区画することができる（図８を参照）。これにより、上記（Ｂ）の効果に加えて／代えて、ディストーションカーブの立ち上がりが小さいものに対して対応しやすくすることができる。
（Ｅ）望遠領域と広角領域は、ディストーション特性におけるディストーション変化率の絶対値が最大値となる点のディストーションカーブの接線とディストーション軸の交点を境界として区画することができる（図８を参照）。これにより、上記（Ｄ）の場合よりも、望遠領域で発生するディストーションとディストーション補正量を小さく抑えることができる（極限までゼロに近付けることができる）。

上記のようなディストーション特性を持つレンズ（第１、第２の光学系）２１の具体的構成（どのように構成するか）には自由度があり、種々の設計変更が可能である。図３はレンズ２１が単レンズであるように描いているが、レンズ２１は複数のレンズから構成されていることが実際的である。すなわち、レンズ２１は、レンズのパラメータ（例えば、レンズ枚数、レンズ間隔、レンズパワー、曲率半径、接合の有無、非球面の有無など）を適宜設定して、画像の中央部と周辺部の歪みのバランスを任意のものに最適化したものとすることができる。

図９はレンズ（第１、第２の光学系）２１の構成例を示す断面図であり、図１０はその収差図である。

図９に示すように、レンズ（第１、第２の光学系）２１は、物体側より像側へ順に、前群Ｇｒｆと、絞りＳＴと、後群Ｇｒｒとから構成されている。前群Ｇｒｆは、物体側より像側へ順に、物体側に凸の負メニスカスレンズ（第１レンズＬ１）と、両凹の負レンズ（第２レンズＬ２）と、物体側に凸の正メニスカスレンズ（第３レンズＬ３）と、物体側に凸の正メニスカスレンズ（第４レンズＬ４）とから構成された光学系である。絞りＳＴは、開口絞りである。後群Ｇｒｒは、両凸の正レンズ（第５レンズＬ５）から構成された光学系である。第２レンズＬ２〜第５レンズＬ５は、それぞれ、両面が非球面であり、第２レンズＬ２、第５レンズＬ５は、例えばプラスチックなどの樹脂材料製レンズである。

そして、後群Ｇｒｒの像側（第５レンズＬ５の像側）には、フィルタとしての平行平板ＦＲを介してイメージセンサ２３の受光面が配置されている。平行平板ＦＲは、各種光学フィルタやイメージセンサ２３のカバーガラス等である。

図９において、各レンズ面に付されている番号ｒｉ（ｉ＝１，２，３，・・・）は、物体側から数えた場合のｉ番目のレンズ面（ただし、レンズの接合面は１つの面として数えるものとする。）であり、ｒｉに「＊」印が付されている面は、非球面であることを示す。なお、開口絞りＳＴ、平行平板ＦＲの両面およびイメージセンサ２３の受光面も１つの面として扱っている。

このような構成の下で、物体側から入射した光線は、光軸ＡＸに沿って、順に第１レンズＬ１、第２レンズＬ２、第３レンズＬ３、第４レンズＬ４、開口絞りＳＴ、第５レンズＬ５および平行平板ＦＲを通過し、イメージセンサ２３の受光面に物体の光学像を形成する。そして、イメージセンサ２３では、光学像が電気的な信号に変換される。

レンズ（第１、第２の光学系）２１の構成例における、各レンズのコンストラクションデータを以下に示す。

単位ｍｍ
面データ
面番号ｒｄｎｄ νｄ
物面 ∞ ∞
１ 16.70 0.70 1.883 40.81
２ 4.94 3.12
３＊ -49.95 0.80 1.53048 55.72
４＊ 1.83 0.65
５＊ 1.76 1.36 1.847 23.82
６＊ 1.56 1.14
７＊ 2.44 1.10 1.77601 23.99
８＊ 5.96 0.32
９（絞り） ∞ 0.51
１０＊ 4.36 1.98 1.53048 55.72
１１＊ -1.01 1.21
１２ ∞ 0.50 1.51680 64.20
１３ ∞ 1.24
像面 ∞
非球面データ
第３面
Ｋ＝-100，Ａ４＝0，Ａ６＝-3.95E-06，Ａ８＝-1.65E-07
第４面
Ｋ＝-1.0，Ａ４＝0，Ａ６＝-4.81E-04，Ａ８＝-2.74E-05
第５面
Ｋ＝-0.8，Ａ４＝0，Ａ６＝-8.35E-06，Ａ８＝-4.55E-06
第６面
Ｋ＝-3.3，Ａ４＝0，Ａ６＝-1.07E-03，Ａ８＝1.76E-04
第７面
Ｋ＝-8.5，Ａ４＝0，Ａ６＝4.19E-03，Ａ８＝6.86E-04
第８面
Ｋ＝31.0，Ａ４＝0，Ａ６＝7.14E-02，Ａ８＝-3.56E-02
第１０面
Ｋ＝-4.6，Ａ４＝0，Ａ６＝4.06E-03，Ａ８＝-5.28E-04
第１１面
Ｋ＝-1.7，Ａ４＝0，Ａ６＝9.91E-03，Ａ８＝-7.52E-04
各種データ
焦点距離 0.839
Ｆナンバ 2.762
半画角 95.548
像高 2.389
レンズ全長 15.342
ＢＦ 1.665

上記の面データにおいて、面番号は、図９に示した各レンズ面に付した符号ｒｉ（ｉ＝１，２，３，…）の番号ｉが対応する。番号ｉに＊が付された面は、非球面（非球面形状の屈折光学面または非球面と等価な屈折作用を有する面）であることを示す。

また、“ｒ”は、各面の曲率半径（単位はｍｍ）、“ｄ”は、無限遠合焦状態での光軸上の各レンズ面の間隔（軸上面間隔）、“ｎｄ”は、各レンズのｄ線（波長５８７．５６ｎｍ）に対する屈折率、“νｄ”は、アッベ数をそれぞれ示している。なお、開口絞りＳＴ、平行平面板ＦＲの両面、イメージセンサ２３の受光面の各面は、平面であるために、それらの曲率半径は、∞（無限大）である。

上記の非球面データは、非球面とされている面（面データにおいて番号ｉに＊が付された面）の２次曲面パラメータ（円錐係数Ｋ）と非球面係数Ａｉ（ｉ＝４、６、８、１０、１２）の値とを示すものである。なお、光学面の非球面形状は、面頂点を原点、物体から撮像素子に向かう向きをｚ軸の正の方向とするローカルな直交座標系（ｘ、ｙ、ｚ）を用い、次式により定義している。
ｚ（ｈ）＝ｃｈ２／［１＋√｛１−(1＋Ｋ)ｃ２ｈ２}]＋ΣＡｉ・ｈｉ
ただし、ｚ（ｈ）：高さｈの位置でのｚ軸方向の変位量（面頂点基準）
ｈ：ｚ軸に対して垂直な方向の高さ（ｈ２＝ｘ２＋ｙ２）
ｃ：近軸曲率（＝１／曲率半径）
Ａｉ：ｉ次の非球面係数
Ｋ：２次曲面パラメータ（円錐係数）
そして、上記非球面データにおいて、「En」は、「１０のｎ乗」を意味する。例えば、「E+001」は、「１０の＋１乗」を意味し、「E-003」は、「１０の−３乗」を意味する。

図１０は、図９のレンズ（第１、第２の光学系）２１の構成例における収差図である。図１０（Ａ）は、球面収差（正弦条件）（LONGITUDINAL SPHERICAL ABERRATION）を示し、図１０（Ｂ）は、非点収差（ASTIGMATISM FIELDCURVER）を示し、そして、図１０（Ｃ）は、歪曲収差（DISTORTION）を示す。球面収差の横軸は、焦点位置のずれをｍｍ単位で表しており、その縦軸は、入射高で規格化した値で表している。非点収差の横軸は、焦点位置のずれをｍｍ単位で表しており、その縦軸は、像高をｍｍ単位で表している。歪曲収差の横軸は、実際の像高を理想像高に対する割合（％）で表しており、縦軸は、その画角を度単位で表している（ただし、ここでは半画角９０度までを表示）。また、非点収差の図中、破線は、サジタル、実線は、タンジェンシャルをそれぞれ表している。球面収差の図には、一点鎖線でｄ線（波長５８７．５６ｎｍ）、破線でｇ線（波長４３５．８４ｎｍ）、実線でＣ線（波長６５６．２８ｎｍ）の３つの波長の収差をそれぞれ示してある。非点収差および歪曲収差の図は、上記ｄ線（波長５８７．５６ｎｍ）を用いた場合の結果である。

図１０（Ｃ）に示すように、図９のレンズ（第１、第２の光学系）２１の構成例では、画角（像高）がゼロからある一定の値（約４５度）に至るまでは、歪曲収差（DISTORTION）が略ゼロで推移し、上記ある一定の値（約４５度）を超えると、歪曲収差（DISTORTION）が急激に増大する。このような設計原理を応用して、本実施形態のようなディストーション特性を有するレンズ（第１、第２の光学系）２１を実現することができる。

図１１は、ステレオカメラ装置１００の構成を示すブロック図である。ステレオカメラ装置１００は、左カメラＣ０と右カメラＣ１（第１、第２のカメラ）による撮像データが入力する画像処理部３０を有している。画像処理部３０は、補正パラメータ記憶部４０と、視差演算部５０とに接続されている。補正パラメータ記憶部４０は、不揮発性メモリから構成されており、左カメラＣ０と右カメラＣ１（第１、第２のカメラ）による撮像データ（低ディストーションの望遠領域と高ディストーションの広角領域を含んだ撮像データ）を補正するための補正パラメータを記憶している。視差演算部５０は、画像処理部３０の一機能構成要素とすることができる。また、画像処理部３０と補正パラメータ記憶部４０と視差演算部５０は、図３に示したデジタル信号処理部２８の一機能構成要素とすることができる。

画像処理部３０は、補正パラメータ記憶部４０が記憶した補正パラメータを参照して、左カメラＣ０と右カメラＣ１（第１、第２のカメラ）に含まれる各レンズ（第１、第２の光学系）２１による撮像データに対して、望遠領域と広角領域に応じた画像処理を施す。より具体的に、画像処理部３０は、左カメラＣ０と右カメラＣ１（第１、第２のカメラ）に含まれる各レンズ（第１、第２の光学系）２１による各撮像データに対してディストーション補正を行うとともに、望遠領域でのディストーション補正量を相対的に小さくし、且つ、広角領域でのディストーション補正量を相対的に大きくする。

上述したように、左カメラＣ０と右カメラＣ１（第１、第２のカメラ）に含まれる各レンズ（第１、第２の光学系）２１は、望遠領域におけるディストーションが略ゼロに抑えられ（相対的に小さく設定され）、広角領域に入ったところからディストーションが急激に増加する（相対的に大きく設定される）というディストーション特性を有している。当該ディストーション特性に応じて最適化された補正パラメータが補正パラメータ記憶部４０に記憶されている。画像処理部３０は、望遠領域でのディストーション補正量を略ゼロに抑える一方で、広角領域でのディストーション補正量を上記の急激な増加に合わせてこれを相殺するように段階的に大きくするような幾何学的な補正を実行する。その結果、望遠領域と広角領域のそれぞれの画像処理データ（補正処理データ）が作成される。望遠領域と広角領域に応じて最適化した画像処理（補正処理）を実行することにより、広角領域での視野を確保するとともに望遠領域での遠方精度を確保し、且つ、小型化と低コスト化を実現することができる。

視差演算部５０は、画像処理部３０により画像処理（補正処理）が施された撮像データに対して視差演算を実行することで視差画像を出力する。より具体的に、視差演算部５０は、左カメラＣ０による望遠領域画像と右カメラＣ１による望遠領域画像の視差である望遠領域視差画像と、左カメラＣ０による広角領域画像と右カメラＣ１による広角領域画像の視差である広角領域視差画像とを演算する。さらに、視差演算部５０は、望遠領域視差画像と広角領域視差画像を合成することで、最終的な視差画像を出力する。

また画像処理部３０は、上述した画像処理（補正処理）に加えて、低下したＭＴＦ特性を復元させることや、シェーディング補正（周辺光量補正）、ノイズ低減などの補正を実行することで、画質を向上させた輝度画像を出力することができる。擬似的に基線方向と水平方向が一致した左カメラＣ０と右カメラＣ１（第１、第２のカメラ）で撮影した画像に補正することで，水平方向の視差を計算すればよく，正確な視差画像を出力することができる。

以上の画像処理部３０と補正パラメータ記憶部４０と視差演算部５０とによる処理は、例えば、ステレオマッチング処理と呼ぶことができる。

図１２は本実施形態のステレオカメラ装置１００による画像フローの一例を示す概念図である。左カメラＣ０による撮像データ（輝度画像）と右カメラＣ１による撮像データ（輝度画像）の各々に対して望遠領域と広角領域のそれぞれで画像変換を実行する（広角領域は望遠領域を含んだ全画像領域である）。望遠領域画像は、中心射影の特性を持たせるとともに像高１．５ｍｍを対角とした１．２ｍｍ×０．９ｍｍ（水平×垂直）の領域画像とすることができる。また、望遠領域画像と広角領域画像を同一の解像度とすることで（例えば６４０ｐｉｘ×４８０ｐｉｘ）、ステレオカメラ装置１００を簡単なシステム構成で実現することができる。また、広角領域画像では補正量が大きくなるが、解像度を半分にすることで必要な補正量も半分とすることができる。もちろん、広角領域画像の画質をできるだけ生かすために望遠領域画像の解像度を２倍にして望遠領域画像と広角領域画像の解像度を合わせてもいいし、システム構成は複雑になるが、そのままの解像度（解像度を変えることなく）、望遠領域画像（６４０ｐｉｘ×４８０ｐｉｘ）と広角領域画像（１２８０ｐｉｘ×９６０ｐｉｘ）画像をそれぞれ作成してもよい。

左カメラＣ０による望遠領域画像と右カメラＣ１による望遠領域画像のペアに基づいて両画像の視差である望遠領域視差画像が作成される。左カメラＣ０による広角領域画像と右カメラＣ１による広角領域画像のペアに基づいて両画像の視差である広角領域視差画像が作成される。この望遠領域視差画像と広角領域視差画像を合成することで、最終的な視差画像が作成される。

１００ステレオカメラ装置
Ｃ０Ｃ１カメラ（第１、第２のカメラ）
１３カメラ制御部
２１レンズ（第１、第２の光学系）
２２絞り
２３ＣＭＯＳイメージセンサ（第１、第２の撮像部）
２４ＣＤＳ
２５ＡＧＣ
２６Ａ／Ｄ変換部
２７フレームメモリ
２８デジタル信号処理部
３０画像処理部
４０補正パラメータ記憶部
５０視差演算部

Claims

第１、第２の撮像部と、
前記第１、第２の撮像部による撮像データを望遠領域と広角領域に区画して投影するとともに、前記望遠領域では相対的にディストーションが小さく前記広角領域では相対的にディストーションが大きいディストーション特性を有する第１、第２の光学系と、
前記第１、第２の撮像部による撮像データに前記望遠領域と前記広角領域に応じた画像処理を施す画像処理部と、
を有することを特徴とするステレオカメラ装置。
前記第１、第２の光学系は、前記望遠領域において中心射影画像を投影する、
ことを特徴とする請求項１に記載のステレオカメラ装置。
前記画像処理部は、前記第１、第２の撮像部による撮像データにディストーション補正を行うとともに、前記望遠領域でのディストーション補正量を相対的に小さくし、且つ、前記広角領域でのディストーション補正量を相対的に大きくする、
ことを特徴とする請求項１又は請求項２に記載のステレオカメラ装置。
前記第１、第２の光学系は、前記望遠領域において次の条件式（Ｘ）、（Ｙ）を満足するディストーション特性を有する、
ことを特徴とする請求項１から請求項３のいずれかに記載のステレオカメラ装置。
（Ｘ）（ｘ・Ｄ／１００）／ｐ＜１０
（Ｙ）（ｙ・Ｄ／１００）／ｐ＜１０
但し、
ｘ：ｘ像高［ｍｍ］、
ｙ：ｙ像高［ｍｍ］、
Ｄ：ディストーション［％］、
ｐ：前記第１、第２の撮像部であるイメージセンサのセンサピッチ。
前記望遠領域と前記広角領域は、前記ディストーション特性におけるディストーション１％を境界として区画される、
ことを特徴とする請求項１から請求項４のいずれかに記載のステレオカメラ装置。
前記望遠領域と前記広角領域は、前記ディストーション特性におけるディストーション変化量の絶対値が最大値となる点を境界として区画される、
ことを特徴とする請求項１から請求項４のいずれかに記載のステレオカメラ装置。
前記望遠領域と前記広角領域は、前記ディストーション特性におけるディストーション変化量の絶対値が最大値となる点のディストーションカーブの接線とディストーション軸の交点を境界として区画される、
ことを特徴とする請求項１から請求項４のいずれかに記載のステレオカメラ装置。
前記望遠領域と前記広角領域は、前記ディストーション特性におけるディストーション変化率の絶対値が最大値となる点を境界として区画される、
ことを特徴とする請求項１から請求項４のいずれかに記載のステレオカメラ装置。
前記望遠領域と前記広角領域は、前記ディストーション特性におけるディストーション変化率の絶対値が最大値となる点のディストーションカーブの接線とディストーション軸の交点を境界として区画される、
ことを特徴とする請求項１から請求項４のいずれかに記載のステレオカメラ装置。
前記第１、第２の光学系は、前記広角領域において等距離射影画像を投影する、
ことを特徴とする請求項１から請求項９のいずれかに記載のステレオカメラ装置。
前記第１、第２の光学系は、前記広角領域において正射影画像を投影する、
ことを特徴とする請求項１から請求項９のいずれかに記載のステレオカメラ装置。
前記画像処理部により画像処理が施された前記第１、第２の撮像部による撮像データは、前記望遠領域と前記広角領域で同一の解像度を有する、
ことを特徴とする請求項１から請求項１１のいずれかに記載のステレオカメラ装置。