JP2017129543A

JP2017129543A - ステレオカメラ装置及び車両

Info

Publication number: JP2017129543A
Application number: JP2016010937A
Authority: JP
Inventors: 将行佐東; Masayuki Sato
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2016-01-22
Filing date: 2016-01-22
Publication date: 2017-07-27

Abstract

【課題】所定の領域の物体までの距離測定を行うとともに、所定の領域外の物体の認識を可能にしたステレオカメラ及び当該ステレオカメラを搭載した車両を提供する。【解決手段】ステレオカメラ１０は、右カメラ１１Ｒと、右カメラ１１Ｒよりも画角が広く、右カメラ１１Ｒと同方向、同画角の撮像範囲を含む撮像範囲を撮像可能な左カメラ１１Ｌと、左カメラ１１Ｌの撮像画像から、右カメラ１１Ｒと同方向、同画角の撮像範囲の画像を、右カメラ１１Ｒの撮像画像と画像サイズを揃えて抽出する画像処理部１２とを備える。【選択図】図２

Description

本発明はステレオカメラ及びこれを搭載した車両に関する。

近年、車載システムによる車両の走行安全性の向上や運転支援への要求が高まり、車両に種々のセンサが設けられ、車両内外の情報の取得に用いられている。車両用に開発または搭載されているセンサとしては、例えば、ミリ波レーダー、レーザーレーダー、超音波センサ、カメラ等を挙げることができる。特に、カメラを用いたセンサは、車外の物体（例えば、他車両や障害物等）までの距離測定や物体の認識に用いることができる。将来的には、自動運転や半自動運転の実現を目指し、多くのカメラが車両に搭載されていくものと予測される。

カメラを用いたセンサの中でも、ステレオカメラは、左右２台のカメラを用いて異なる視点から物体を撮像し、三角測量の原理により物体までの距離を測定することができるので、走行中の車両の前方に位置する物体までの距離測定手段として使用することができる。さらに、ステレオカメラにより撮像された画像から物体の端部を抽出し、抽出した物体の端部までの距離を測定することにより、自車両が走行する路面上の前方の物体の認識と距離測定とを同時に行うことも提案されている（例えば、特許文献１参照）。

特開平７−２２５１２６号公報

しかしながら、車両の走行に関わる環境を把握するには、走行する道路上の物体のみならず、その周辺の物体の検出・認識ができることが望ましい。例えば、道路わきの歩道や路側帯を歩行する歩行者の飛び出しを監視することで、安全性の向上が期待できる。また、信号や道路標識の認識を行うことで、道路法規に従った車両の制御が可能になる。

これに対して、従来のステレオカメラでは、物体の認識は路面上の物体に対して行っており、道路周辺の物体についてまで認識処理は行っていない。ステレオカメラによる距離測定は、一方のカメラの画像をブロックに分割し、他方の画像上で輝度値のマッチング処理を行うことにより視差を検出する。仮に、ステレオカメラの画角を広げて、道路周辺の物体までを認識及び距離測定の対象にしようとすると、演算対象となる画素数が増大し処理負荷が大きくなり、処理時間も長くなることが懸念される。

また、道路周辺の物体の検出・認識のために、ステレオカメラとは別の単眼のカメラを設けることもできるが、その分カメラの台数が増えてしまいコスト高になる。さらに、多数のカメラを設置するために車体に多くの設置場所が必要となること、ステレオカメラにより取得される画像との整合性をとるために調整が煩雑となること、等の懸念がある。

したがって、これらの点に着目してなされた本発明の目的は、所定の撮像範囲内で距離測定を行うとともに、当該撮像範囲よりも広い撮像範囲内の物体の認識を可能にするステレオカメラ及び当該ステレオカメラを備えた車両を提供することにある。

上記目的を達成するステレオカメラは、第１のカメラと、前記第１のカメラよりも画角が広く、第１のカメラと同方向、同画角の撮像範囲を含む撮像範囲を撮像可能な第２のカメラと、前記第２のカメラの撮像画像から、前記第１のカメラと同方向、同画角の撮像範囲の画像を、前記第１のカメラの撮像画像と画像サイズを揃えて抽出する画像処理部とを備えることを特徴とするものである。

上記目的を達成する車両は、第１のカメラと、前記第１のカメラよりも画角が広く、第１のカメラと同方向、同画角の撮像範囲を含む撮像範囲を撮像可能な第２のカメラと、前記第２のカメラの撮像画像から、前記第１のカメラと同方向、同画角の撮像範囲の画像を、前記第1のカメラの撮像画像と画像サイズを揃えて抽出する画像処理部とを備えるステレオカメラを搭載したことを特徴とするものである。

本発明によれば、カメラの設置台数を増やすことなく、所定の撮像範囲内で距離測定を行うとともに、当該撮像範囲よりも広い撮像範囲内の物体の認識を可能にしたステレオカメラ及び当該ステレオカメラを備えた車両を提供することができる。

道路上を走行する第１実施形態に係るステレオカメラ装置を搭載した車両を簡略化して示す図である。第１実施形態に係るステレオカメラの概略構成を示すブロック図である。第１実施形態のステレオカメラの光学系を説明する図である。第１実施形態のステレオカメラの撮像素子の有効領域を説明する図であり、（ａ）は左カメラに内蔵される左撮像素子の有効領域、（ｂ）は右カメラに内蔵される右撮像素子の有効領域を示す。第１実施形態のステレオカメラにより取得される画像を説明する図であり、（ａ）は左カメラにより取得される左画像、（ｂ）は右カメラにより取得される右画像を示す。第２実施形態に係るステレオカメラの撮像素子の有効領域を説明する図であり、（ａ）は左カメラに内蔵される左撮像素子の有効領域、（ｂ）は右カメラに内蔵される右撮像素子の有効領域を示す。第２実施形態のステレオカメラにより取得される画像を説明する図であり、（ａ）は左カメラにより取得される左画像、（ｂ）は右カメラにより取得される右画像を示す。第３実施形態に係るステレオカメラの概略構成を示すブロック図である。第３実施形態のステレオカメラにより取得される画像の領域を説明する図であり、（ａ）は左カメラにより取得される左画像、（ｂ）は右カメラにより取得される右画像を示す。

以下、本発明の実施形態について、図面を参照して説明する。以下の説明で用いられる図は模式的なものであり、図面上の寸法比率等は現実のものとは必ずしも一致していない。

（第１実施形態）
図１は、道路上を走行する第１実施形態に係るステレオカメラ１０を搭載した車両１を簡略化して示す図である。以下の実施形態において、車両１が使用される国または地域において、道路法規等により定められる通行区分が左側通行であるものとする。図１では、ステレオカメラ１０は、車両１の前方に向けて設置され、進行方向前方を撮像する。ここで、本願における「車両」は、乗用車、トラック、バス等、道路上を走行する車両を意味する。また、以下の説明において、物体が位置する車両の前方（図１において右側）を前側、その反対側（図１において左側）を後側という。さらに、「ステレオカメラ」とは、対象物を、視差を有する複数の視点から同時に撮像することにより、その奥行き方向情報も記録できるようにしたカメラ装置のことである。また、同じ物体を異なる複数の視点から撮像した、複数の互いに視差のある画像を「ステレオ画像」という。

図１及び図２に示すように、ステレオカメラ１０は、進行方向（図１において右方向）に向かって右側に位置する右カメラ１１Ｒ（第１のカメラ）、左側に位置する左カメラ１１Ｌ（第２のカメラ）、及び、右カメラ１１Ｒと左カメラ１１Ｌとから画像信号を受信可能に構成された画像処理部１２を備える。以下に、ステレオカメラ１０の各構成要素について説明する。

右カメラ１１Ｒ及び左カメラ１１Ｌは、例えば、モノクロのＣＣＤカメラやＣＭＯＳカメラであり、車両１の車体に強固に連結され固定される。好ましくは、右カメラ１１Ｒ及び左カメラ１１Ｌは、車両１のフロントガラスの内側に設置される。あるいは、右カメラ１１Ｒ及び左カメラ１１Ｌは、それぞれ車両１のフロントバンパーの前面に固定されていても良い。図１では、右カメラ１１Ｒ、左カメラ１１Ｌ及び画像処理部１２は、それぞれ離間して配置されているが、これらは同一の筺体内に収容されていても良い。右カメラ１１Ｒ及び左カメラ１１Ｌは、水平方向または水平方向から僅かに下向きに配置され、路面１３上の白線１４ａ，１４ｂ（区画線）、他車両などを撮像することができる。

右カメラ１１Ｒは、所定の画角（図１において水平方向の画角をθで示す）内の画像を撮像し、左カメラ１１Ｌは所定の画角を含むより広い画角内の画像を撮像する。これにより、後述するように、画像処理部１２は、右カメラ１１Ｒ及び左カメラ１１Ｌ双方の所定の画角の範囲（距離計測範囲Ａｄ）の画像のステレオ画像を取得することが可能になる。また、画像処理部１２は、左カメラ１１Ｌの画角の範囲（物体認識範囲Ａｒ）に位置する物体、例えば歩道上を歩く歩行者Ｐ等を認識する。

図３は、ステレオカメラ１０の光学系を鉛直方向上側より見た図である。右カメラ１１Ｒは撮像レンズ（以下、「右撮像レンズ２０Ｒ」という）及び撮像素子（以下、「右撮像素子２１Ｒ」という）を含み、左カメラ１１Ｌは撮像レンズ（以下、「左撮像レンズ２０Ｌ」という）及び撮像素子（以下、「左撮像素子２１Ｌ」という）を含んで構成される。右カメラ１１Ｒの右撮像レンズ２０Ｒと左カメラ１１Ｌの左撮像レンズ２０Ｌとは、同じ仕様の正の屈折力を有するレンズである。また、右撮像レンズ２０Ｒと左撮像レンズ２０Ｌとは、中心の鉛直方向位置が等しく、右撮像レンズ２０Ｒの光軸Ｏ_Rと、左撮像レンズ２０Ｌの光軸Ｏ_Lとは、互いに平行になるように配置される。すなわち、右カメラ１１Ｒと左カメラ１１Ｌとは互いに平行等位に配置される。

図４（ａ）および（ｂ）は、それぞれ、左撮像素子２１Ｌ及び右撮像素子２１Ｒの有効領域を後側から見た図として示している。有効領域とは、撮像素子が画像情報を取り込むことができる撮像面上の領域を意味する。右カメラ１１Ｒの右撮像素子２１Ｒと左カメラ１１Ｌの左撮像素子２１Ｌとは、画素サイズが等しく、且つ、図４に示すように、左撮像素子２１Ｌの方が右撮像素子２１Ｒより有効領域が広い。ここで、画素サイズとは、撮像素子の各画素の大きさを意味する。したがって、左カメラ１１Ｌの方が右カメラ１１Ｒよりも画素数が多い。

図４において、光軸交点Ｐ_ORは、右撮像素子２１Ｒと光軸Ｏ_Rとの交点を示し、光軸交点Ｐ_OLは、左撮像素子２１Ｌと光軸Ｏ_Lとの交点を示す。光軸交点Ｐ_ORに対する右撮像素子２１Ｒの有効領域と比較して、光軸交点Ｐ_OLに対する左撮像素子２１Ｌの有効領域は、左右上下方向に広く、特に右側が広くなっている。左撮像素子２１Ｌに投影される画像は、左右上下が反転した像となるため、実空間において左カメラ１１Ｌは左側に広い撮像範囲を有する。

また、図４（ａ）の左撮像素子２１Ｌにおいて、破線で示される右撮像素子２１Ｒの有効領域に対応する領域（以下、「対応領域」という）が有効領域に含まれている。光軸交点Ｐ_OLに対する対応領域の大きさ及び位置関係は、右カメラ１１Ｒにおける光軸交点Ｐ_ORと右撮像素子２１Ｒの有効領域との大きさ及び位置関係と同じである。すなわち、右カメラ１１Ｌの画角と同じ画角の画像が対応領域に結像する。画素サイズが等しいので、右カメラ１１Ｒの右撮像素子２１Ｒの画素数と、左カメラ１１Ｌの左撮像素子２１Ｌの対応領域の画素数は等しい。

これによって、左カメラ１１Ｌは、図１に示すように、右カメラ１１Ｒの撮像範囲に対応する領域である距離計測範囲Ａｄを含み、距離計測範囲Ａｄよりも広い物体認識範囲Ａｒを撮像することができる。さらに、対応領域に対して、後側から見て左撮像素子２１Ｌの有効領域を右側に広くしたので、実空間においては車両１の進行方向左側により広い撮像範囲が得られる。このため、左カメラ１１Ｌでは、道路左側の歩道の歩行者Ｐも画角内に入る。

次に、図２を参照して画像処理部１２について説明する。画像処理部１２は、右カメラ１１Ｒ及び左カメラ１１Ｌから出力された画像信号に対して、種々の演算処理を実行する部分であり、ソフトウェアプログラムに従い処理を実行する汎用のＣＰＵ（Central Processing Unit）及び／またはステレオ画像処理用に設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、等を含んで構成することができる。画像処理部１２は、さらに画像データを一時的に記憶するＤＲＡＭ（Dynamic Random Access Memory）及び／またはＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリを有することができる。画像処理部１２は、画像抽出部１５、視差算出部１６及び物体認識部１７の各機能ブロックを含んで構成される。

画像抽出部１５は、左カメラ１１Ｌから取得した撮像画像から、右カメラ１１Ｒの撮像範囲に対応する領域の画像を抽出し、視差算出部１６に引き渡す。画像抽出部１５による画像の抽出を、図５を用いて説明する。図５において、図５（ａ）の左画像は左カメラ１１Ｌにより撮像された撮像画像であり、図５（ｂ）の右画像は右カメラ１１Ｒにより撮像された撮像画像である。左画像は、右カメラ１１Ｒの撮像範囲に対応する領域（以下、「対応画像領域」という）の画像を含んでおり、画像抽出部１５はこれを対応画像として抽出する。右カメラ１１Ｒの撮像範囲に対応する領域とは、右カメラ１１Ｒと同方向、同画角の範囲内で撮像される領域を意味する。

ここで、対応画像は、図４（ａ）の左撮像素子２１Ｌの対応領域に結像した画像である。また、右カメラ１１Ｒ及び左カメラ１１Ｌの撮像素子２１Ｒ及び２１Ｌと、光軸Ｏ_R、Ｏ_Lとの交点Ｐ_OR、Ｐ_OLに対応する画素は、それぞれ右画像、及び、左画像内から抽出される対応画像において、等しい座標（好ましくは、画像の中心）に位置する。

右画像と左画像内の対応画像とは、右カメラ１１Ｒと左カメラ１１Ｌとの光軸間の距離（基線長）に基づく視差を含むステレオ画像となる。また、右撮像素子２１Ｒの有効領域と左撮像素子２１Ｌの対応領域との縦横の画素数が等しく、右画像と左画像内の対応画像とは、画像サイズが等しい。ここで、画像サイズとは、画像の縦横の画素数を意味する。すなわち、画像抽出部１５が、左カメラ１１Ｌの撮像画像から抽出する対応画像は、右カメラの撮像画像と画像サイズが揃っている。

画像抽出部１５は、予め設定された右撮像レンズ２０Ｒ、左撮像レンズ２０Ｌ、右撮像素子２１Ｒ、及び、左撮像素子２１Ｌの位置関係に基づいて、左画像から対応画像を切り出す範囲を記憶する。また、車両に加わる振動等により、右側カメラ１１Ｒと左側カメラ１１Ｌとの間で、位置や方向のずれが生じる場合は、画像処理部１２において、路面１３上の平行線である白線１４ａ、１４ｂの消失点が一致することを利用して、適宜対応画像の切り出し範囲を調整するようにしても良い。

視差算出部１６は、右カメラ１１Ｒから取得した右画像と画像抽出部１５で抽出された左画像内の対応画像の各画素の輝度値から、視差を算出し視差画像を生成する。視差の算出は、右画像と左画像内の対応画像とのうち、一方の画像を基準画像とし他方の画像を参照画像として、参照画像を３×３画素や５×５画素等の矩形のブロックに分割し、基準画像の中から最も類似するブロックを探索することによって行う。視差を算出することによって物体までの距離を算出することができる。各ブロックについて視差を算出し、２次元にマップ化することによって視差画像を生成する。視差の算出及び視差画像の生成方法は公知なので、詳しい説明は省略する。本願において視差画像を生成するとは、２次元画像上での視差分布を算出することを意味し、実際に視差画像を表示装置に表示するとは限られない。視差算出部１６は、ブロックのマッチングを高速並列処理する専用の距離演算回路を備えることが好ましい。

さらに、視差算出部１６は、算出した個々の位置の視差及び／または視差画像を、ＣＡＮ（Controller Area Network）等のネットワークを介して、車両１の加速や制動等を制御する車両制御装置（ＥＣＵ）１８に送信する。視差は物体までの距離に対応するので、車両制御装置１８は視差画像の視差に基づいて、前方の車両、障害物等との距離が狭くなり過ぎないように制御することが可能になる。

また、視差算出部１６は、算出した視差及び／または視差画像を、車両１の表示・警告装置１９に送信しても良い。表示・警告装置１９は、車両１に搭載され運転者に危険を知らせ、注意を喚起する種々の装置である。表示・警告装置１９は、独立した装置ではなく、何れかの車載装置に埋め込まれている場合や他の装置の機能を利用する場合もある。例えば、表示・警告装置１９は、ナビゲーションシステムのディスプレイを使用して危険を知らせる。あるいは、車両のスピーカから警告音を発生させる。表示・警告装置１９は、前方の車両、障害物等との距離が狭くなりすぎた場合は、表示画面上の点滅や警告音等で運転者に警告を発することができる。

一方、物体認識部１７は、左カメラ１１Ｌから取得した撮像画像の一部または全部を用いて、物体認識を行う。使用する撮像画像の領域は、視差画像の生成に使用する対応画像領域以外の領域を含む。物体認識には、単眼カメラによる既存の物体認識技術を用いることができる。これによって、図１の物体認識範囲Ａｒに存在する歩行者Ｐ、速度標識等の道路標識、信号機等を認識することができる。物体認識部１７は、認識した物体の情報を、ＣＡＮ等のネットワークを介して、車両１の表示・警告装置１９に送信する。物体認識部１７は、好ましくは、撮像画像のエッジ強調、特徴情報抽出、予め格納された特徴情報との比較等を行う専用の物体認識回路を備える。

表示・警告装置１９は、例えば歩行者の動きを監視することによって、実空間における物体認識範囲Ａｒに存在する歩行者の車道への飛び出しを検知、予測、警告等することができる。また、実空間における距離計測範囲Ａｄについて、表示・警告装置１９は、物体認識部１７からの物体の識別情報に加え、視差算出部１６から物体までの距離分布を表す視差画像を取得するので、視差画像のみでは難しい物体の認識が可能になる。これにより、危険度や回避方法等の判断に使用することができる。

以上説明したように本実施形態によれば、ステレオカメラ１０は、右カメラ１１Ｒにより撮像された右画像と左カメラ１１Ｌにより撮像された左画像から抽出された対応画像とから視差画像を生成し、ステレオカメラ１０の進行方向の所定の画角内の物体までの距離を計測することができる。

さらに、左カメラ１１Ｌは右カメラ１１Ｒの撮像範囲を含みより広い撮像範囲を撮像可能であるため、画像処理部１２は、距離計測に加えて、左カメラ１１Ｌの左画像内の対応画像領域以外の領域における物体を識別することもできる。したがって、物体認識のために別途カメラを設ける必要が無く、車載のカメラ装置全体の価格を低減しカメラ設置に係るスペースを減らすことが可能になる。

また、右カメラ１１Ｒと左カメラ１１Ｌとは、光軸Ｏ_R、Ｏ_Lが平行になるように配置した同じ仕様の右撮像レンズ２０Ｒ及び左撮像レンズ２０Ｌを用い、それぞれの右撮像素子２１Ｒと右撮像レンズ２０Ｒ、及び、左撮像素子２１Ｌと左撮像レンズ２０Ｌの位置関係（距離及び互いの向き）を同じにしている。これにより、右撮像素子２１Ｒの有効領域と左撮像素子２１Ｌの対応領域に投影される画像とは、視差による画素ずれを除き同じ条件で投影されるので、歪みの補正等をする必要が少ない。また、右カメラ１１Ｒの右撮像素子２１Ｒと左カメラ１１Ｌの左撮像素子２１Ｌとは画素サイズが等しいので、右画像と左画像内の対応画像とは画素同士が視差によるずれ分を除き良く対応する。したがって、画像の縮小や拡大及びそれに伴う補間処理等を行う必要がなく、右カメラ１１Ｒと左カメラ１１Ｌとの間で異なる仕様の異なる光学系を用いた場合に比べ、処理負荷を低減することができる。

（第２実施形態）
次に、図６及び図７を用いて、第２実施形態に係るステレオカメラについて説明する。第２実施形態に係るステレオカメラは、第１実施形態のステレオカメラ１０と同一または対応する構成要素により構成されるので、第１実施の形態における同一または対応する構成要素と同一の符号を用い、第１実施形態と異なる部分について説明する。

第２実施形態のステレオカメラは、第１実施形態のステレオカメラ１０において、左カメラ１１Ｌの左撮像レンズ２０Ｌの屈折力（焦点距離）を変えて、像倍率を小さくするとともに、左撮像素子２１Ｌの画素サイズ及び画素数を右カメラ１１Ｒの右撮像素子２１Ｒの画素サイズ及び画素数と同じにしたものである。その結果、図６（ａ）及び（ｂ）に示すように、左カメラ１１Ｌの左撮像素子２１Ｌ上における、右カメラ１１Ｒの撮像範囲に対応する対応領域は、右カメラ１１Ｒの右撮像素子２１Ｒの有効領域のサイズよりも小さくなる。このため、左カメラ１１Ｌにより撮像される左画像は、図７（ａ）に示すように、図７（ｂ）に示す右画像に比べ縮小された画像となる。さらに、左画像内の対応画像領域の画像サイズは、右画像よりも小さくなる。

また、第２実施の形態では、画像処理部１２内の処理が第１実施形態とは一部異なる。画像抽出部１５は、左カメラ１１Ｌからの取得した撮像画像から、右カメラ１１Ｒの撮像範囲に対応する対応画像を抽出する。左画像の対応画像は、右カメラ１１Ｒの撮像する右画像よりも画像サイズが小さいので、画像抽出部１５は変換処理を行って、対応画像の画像サイズを右画像の画像サイズに揃えて、視差算出部１６に出力する。視差算出部１６は、第１実施形態と同様に、視差の算出及び視差画像の生成を行う。その他の構成及び作用は第１実施形態と同様である。

本実施形態によれば、第１実施形態と同様に、ステレオカメラ１０を用いて視差の算出、すなわち距離測定を行うとともに、同じステレオカメラ１０に含まれる左カメラ１１Ｌの撮像画像である左画像に基づいて物体認識をすることができる。さらに、本実施形態によれば、右カメラ１１Ｒと左カメラ１１Ｌとの間で同じ仕様の右撮像素子２１Ｒ及び左撮像素子２１Ｌを使用することが可能になり、右撮像素子２１Ｒ及び左撮像素子２１Ｌに異なる撮像素子を使用することに係るコストを低減することが可能になる。

（第３実施形態）
第３実施形態に係るステレオ装置を、図８及び図９を用いて説明する。第３実施形態は、第１実施形態と視差算出部１６の処理が異なっている。視差算出部１６は、右カメラ１１Ｒによる右画像及び左カメラ１１Ｌからの対応画像の全ての画像信号を使用するのではなく、走行状態情報（例えば、車両の速度、制動状態）及び周辺環境情報（例えば、道路種別、道路形状）の少なくとも何れかに応じて、その一部を視差算出領域として切り出して視差の算出、視差画像の生成を行う。

図８に示すように、本実施形態に係るステレオカメラ１０は、図２の第１実施形態に係るステレオカメラ１０において、視差算出部１６が状態情報提供装置２２から状態情報を受信する。状態情報とは、車両１の走行状態、周辺環境等の情報である。例えば、状態情報提供装置２２は、車両制御装置１８と同一の車両制御装置であって、状態情報は車両１の車速信号（車速パルス信号）である。または、状態情報提供装置２２は、ＧＰＳを搭載したナビゲーションシステムであって、状態情報は車両の位置情報及び周辺道路の形状の情報とすることもできる。また、状態情報提供装置２２は、自動料金収受システム（ＥＴＣ）の車載端末であって、状態情報は走行中の道路の一般道路または自動車専用道路の種別とすることもできる。

例えば、状態情報提供装置２２を車両制御装置として、視差算出部１６は状態情報提供装置２２から速度情報を受信するものとする。視差算出部１６は、第１実施形態と同様に、右カメラ１１Ｒから右画像を取得し、画像抽出部１５から左画像内の対応画像を取得する。さらに、視差算出部１６は、状態情報提供装置２２から受信した車速信号に基づいて、右画像及び対応画像から視差算出を行う視差算出領域を決定する。

一般に、速度が高速になるに従い、車両の制動距離が延びるため、危険距離が長くなる。従って、より遠方にある物体を検知する必要がある。また、走行速度が速い場合は、歩道と車道とが分離された整備された道路や自動車専用道路を走行中の場合が多く、路側の歩行者や自転車を検知する必要性は低い。一方、走行速度が低速の場合は、遠方の物体を検知する必要性は低くなるが、市街地を走行中の場合が多いので、路側帯等に位置する歩行者、自転車等の検知及び距離測定の必要性が高くなる。そこで、視差算出部１６は、車速信号に基づいて車速が速い場合は視差算出領域を狭くし、車速が遅い場合は視差算出領域を広くする。

図９において、視差算出領域を一点鎖線で示す。車両１の高速走行時には、視差算出領域を右カメラ１１Ｒから取得される右画像及び左カメラ１１Ｌから取得される対応画像領域の中から、さらに互いの撮像範囲が対応する領域を切り出して視差算出領域とし、視差を算出する。

また、状態情報提供装置２２がＥＴＣ車載端末であり、状態情報が自動車専用道路、一般道路等の道路種別の情報の場合、視差算出部１６は、自動車専用道路走行時は視差算出領域を狭くし、一般道路走行時には視差算出領域を広くすることができる。さらに、状態情報提供装置２２がナビゲーションシステムであり、状態情報が位置及びナビゲーションシステムの地図情報から得られる進行方向の道路形状の情報の場合、視差算出部１６は、進行方向の道路の屈曲に合わせて切り出す視差算出領域の位置を変えることができる。

以上説明したように、本実施形態によれば、状態情報提供装置２２から提供される走行状態情報及び周辺環境情報の少なくとも何れかを含む状態情報に応じて、好適な視差算出、及び、視差画像の生成を行うことが可能になる。

なお、視差算出部１６で視差算出領域を決定するために使用する情報は、一種類に限られない。例えば、車速情報、自動車専用道路及び一般道路等の走行中の道路の種別、進行方向の道路の形状の情報等から二種類以上の情報を組み合わせて使用し、視差算出部１６における視差算出領域の決定に使用することができる。

また、視差算出部１６は、状態情報提供装置２２からの状態情報に代えて、物体認識部１７から画像認識により検知された周辺環境の情報を取得するようにしても良い。例えば、周辺環境の情報としては、建物等の検出に基づく市街地であるか否かの情報、白線等の検出に基づく歩道または路側帯の有無の情報、道路標識から得られる制限速度の情報等が挙げられる。

本発明は、上記実施形態にのみ限定されるものではなく、幾多の変形または変更が可能である。たとえば、上記各実施形態では、右カメラ１１Ｒに比べ左カメラ１１Ｌの撮像範囲が広いものとしたが、左カメラに比べ右カメラの撮像範囲を広くしても良い。また、ステレオカメラ１０の右撮像レンズ２０Ｒ及び左撮像レンズ２０Ｌは、それぞれ１枚のレンズ構成に限られず、複数のレンズにより構成することができる。

右カメラ１１Ｒと左カメラ１１Ｌとは、平行等位に配置されるものとしたが、本発明はこれに限られない。右カメラ１１Ｒ及び左カメラ１１Ｌの光軸の向きや配置がずれていても、画像処理部１２内で、補正処理プログラムによりずれや画像の歪みを補正することが可能である。例えば、左カメラ１１Ｌの左撮像レンズ２０Ｌの光軸方向は、左カメラ１１Ｌの撮像する領域の中心を通るような向きとしても良い。

また、物体認識部１７は、左カメラ１１Ｌからの撮像画像である左画像の全体について物体識別を行うのではなく、視差画像を生成する領域を除いて、視差画像の生成に使用しない領域の撮像画像を用いて物体識別を行うようにしても良い。さらに、物体認識部１７は、視差画像を生成する領域を除く左画像のさらに、一部の領域のみについて物体認識を行うようにしても良い。

右カメラ１１Ｒ及び左カメラ１１Ｌは、モノクロカメラとしたが、これには限られない。例えば、右カメラ１１Ｒ及び左カメラ１１Ｌを、カラーカメラとして色毎の輝度情報に基づいて視差算出及び物体認識を行うようにしても良い。また、右カメラ１１Ｒ及び左カメラ１１Ｌとして、遠赤外線領域の波長の光まで撮像可能な撮像素子を用いても良い。これによって、夜間等の暗所を走行する場合でも、人や物体の認識が可能になる。

上記第１実施形態では、左カメラ１１Ｌは右カメラ１１Ｒに画素サイズが等しく画素数が多いものとし、上記第２実施形態では、左カメラ１１Ｌは右カメラ１１Ｒと画素サイズ及び画素数が等しいものとした。しかし、本発明の構成はこれらに限られない。例えば、左カメラ１１Ｌの画素サイズを右カメラよりも小さくし、画素数を右カメラ１１Ｒより多くしても良い。この場合、左撮像レンズ２０Ｌの像倍率を適切に設定して、右カメラ１１Ｒの右撮像素子２１Ｒと左カメラの１１Ｌの左撮像素子２１Ｌとの有効領域の大きさを同じにするとともに、右カメラ１１Ｒの画素数と左カメラ１１Ｌの対応領域内の画素数を同じにすることができる。

また、上記各実施形態では、道路の通行区分が左側通行であるものとして、左カメラ１１Ｌを右カメラ１１Ｒより画角の広い第２のカメラとして、道路左側の歩道や路側帯まで含めて物体認識をするものとした。仮に、通行区分が右側通行である場合は、右側に第1のカメラより画角の広い第２のカメラを配置することにより、右側の歩道や路側帯の物体認識が可能になり、上記各実施形態と同様の効果が得られる。

１車両
１０ステレオカメラ
１１Ｒ右カメラ（第１のカメラ）
１１Ｌ左カメラ（第２のカメラ）
１２画像処理部
１３路面
１４ａ，１４ｂ白線
１５画像抽出部
１６視差算出部
１７物体認識部
１８車両制御装置
１９表示・警告装置
２０Ｒ右撮像レンズ
２０Ｌ左撮像レンズ
２１Ｒ右撮像素子
２１Ｌ左撮像素子
２２状態情報提供装置
Ｐ歩行者
Ａｄ距離計測範囲
Ａｒ物体認識範囲
Ｏ_R、Ｏ_L 光軸
Ｐ_OR、Ｐ_OL 光軸交点

Claims

第１のカメラと、
前記第１のカメラよりも画角が広く、第１のカメラと同方向、同画角の撮像範囲を含む撮像範囲を撮像可能な第２のカメラと、
前記第２のカメラの撮像画像から、前記第１のカメラと同方向、同画角の撮像範囲の画像を、前記第１のカメラの撮像画像と画像サイズを揃えて抽出する画像処理部と
を備えるステレオカメラ。
前記第１のカメラおよび前記第２のカメラは、撮像素子を備え、
前記第１のカメラと前記第２のカメラのそれぞれの撮像素子をそれぞれの光軸が横切る画素位置は、前記第１のカメラの前記撮像画像と前記第２のカメラから抽出する画像とにおいて等しい座標に位置する請求項１に記載のステレオカメラ。
前記第２のカメラは、前記第１のカメラと画素サイズが等しく、前記第１のカメラより画素数が多い請求項１または２に記載のステレオカメラ。
前記第２のカメラは、前記第１のカメラと画素サイズ及び画素数が等しい請求項１または２に記載のステレオカメラ。
前記画像処理部は、前記第１のカメラの撮像画像と前記第２のカメラから抽出する画像とから、視差画像の生成を行う請求項１から４の何れか一項に記載のステレオカメラ。
前記画像処理部は、前記第２のカメラの少なくとも前記視差画像の生成に使用しない領域の撮像画像を用いて、物体認識を行う請求項５に記載のステレオカメラ。
車両に搭載されるステレオカメラであって、
搭載される車両の走行状態情報及び周辺環境情報の少なくとも何れかに応じて、前記視差画像の生成を行う領域を異ならせる請求項５または６に記載のステレオカメラ。
車両に搭載されるステレオカメラであって、
前記車両が使用される国または地域において定められた通行区分が、左側通行の場合は、前記第２のカメラを前記第１のカメラの左側に配置し、右側通行の場合は、前記第２のカメラを前記第１のカメラの右側に配置することを特徴とする請求項１から７に記載のステレオカメラ。
第１のカメラと、前記第１のカメラよりも画角が広く、第１のカメラと同方向、同画角の撮像範囲を含む撮像範囲を撮像可能な第２のカメラと、前記第２のカメラの撮像画像から、前記第１のカメラと同方向、同画角の撮像範囲の画像を、前記第1のカメラの撮像画像と画像サイズを揃えて抽出する画像処理部とを備えるステレオカメラを搭載した車両。