以下、図面を参照して本発明を実施するための形態について説明する。
<カメラの使用場面>
図1は、本発明の一実施の形態によるカメラ3を搭載した車両1の運転支援装置2の概略構成図である。図1において、自動車等の車両1に運転支援装置2が搭載されている。運転支援装置2は、カメラ3と、制御装置4と、第1の走行制御ユニット5と、第2の走行制御ユニット6等により構成される。なお、本説明では内燃機関を駆動源とする例を説明するが、モータを駆動源とするものでもよい。
カメラ3は、複数のレンズを有する撮像光学系、撮像素子(本実施形態では積層型撮像素子(図3参照))を備え、例えば車室内の天井前方に取り付けられている。カメラ3は車両1の前方に向けられ、その取り付け高さ(地面からカメラ3までの距離)は、例えば1.4(m)に調整されている。カメラ3は、車両1の進行方向の画像を取得し、取得した画像に基づいて撮影画面内の複数の位置における各被写体(対象物)までの距離測定(測距)を行う。距離測定は、積層型撮像素子に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する。焦点検出用画素および測距については後述する。カメラ3により取得された画像のデータおよび測距データは、制御装置4へ送出される。なお、カメラ3を車外に設けてもよく、車内・車外のカメラ3を協働してもよく、カメラ3の数も適宜設定すればよい。一例を挙げると、後述する白線検出は車外のカメラ3を用い、対象物や障害物の認識は、車内・車外のカメラ3を協働させるようにしてもよい。
制御装置4は、図2に例示するように、CPU4aおよび記憶部4bを含む。CPU4aは、記憶部4bに記憶されている各種プログラムに基づいて、記憶部4bに記憶されている制御パラメータや後述する各センサによる検出信号などを用いて各種演算を行う。
第1の走行制御ユニット5は、制御装置4からの指示に基づいて、定速走行制御および追従走行制御を行う。定速走行制御は、所定の制御プログラムに基づいて、車両1を一定速度で走行させる制御である。追従走行制御は、定速走行制御を行っている際に、制御装置4にて認識された先行車の速度が車両1に設定されている目標速度以下の場合には、先行車に対して一定の車間距離を保持した状態で走行させる制御である。
第2の走行制御ユニット6は、制御装置4からの指示に基づいて、運転支援制御を行う。運転支援制御は、所定の制御プログラムに基づいて、車両1が道路に沿って走行するように操舵制御装置9にステアリング制御信号を出力したり、車両1が対象物と衝突するのを回避するようにブレーキ制御装置8にブレーキ制御信号を出力したりする制御である。
図1にはさらに、スロットル制御装置7と、ブレーキ制御装置8と、操舵制御装置9と、ステアリングホイール10と、ターンシグナルスイッチ11と、車速センサ12と、ヨーレートセンサ13と、表示装置14と、GPS装置15と、シフトレバー位置検出装置16と、マイク17とが図示されている。
スロットル制御装置7は、アクセルペダル7aの踏み込み量に応じて不図示のスロットルバルブの開度を制御する。また、スロットル制御装置7は、第1の走行制御ユニット5から送出されるスロットル制御信号に応じて上記スロットルバルブに対する開度の制御も行う。スロットル制御装置7はさらに、アクセルペダル7aの踏み込み量を示す信号を制御装置4へ送出する。
ブレーキ制御装置8は、ブレーキペダル8aの踏み込み量に応じて不図示のブレーキバルブの開度を制御する。また、ブレーキ制御装置8は、第2の走行制御ユニット6からのブレーキ制御信号に応じて上記ブレーキバルブに対する開度の制御も行う。ブレーキ制御装置8はさらに、ブレーキペダル8aの踏み込み量を示す信号を制御装置4へ送出する。
操舵制御装置9は、ステアリングホイール10の回転角に応じて不図示のステアリング装置の舵角を制御する。また、操舵制御装置9は、第2の走行制御ユニット6からのステアリング制御信号に応じて上記ステアリング装置の舵角の制御も行う。操舵制御装置9はさらに、ステアリングホイール10の回転角を示す信号を第1の走行制御ユニット5と、制御装置4と、にそれぞれ送出する。
ターンシグナルスイッチ11は、不図示のターンシグナル(ウィンカー)装置を作動させるためのスイッチである。ターンシグナル装置は、車両1の進路変更を示す点滅発光装置である。車両1の乗員によってターンシグナルスイッチ11が操作されると、ターンシグナルスイッチ11からの操作信号がターンシグナル装置、第2の走行制御ユニット6および制御装置4にそれぞれ送出される。車速センサ12は車両1の車速Vを検出し、検出信号を第1の走行制御ユニット5と、第2の走行制御ユニット6と、制御装置4とにそれぞれ送出する。
ヨーレートセンサ13は車両1のヨーレートを検出し、検出信号を第2の走行制御ユニット6と、制御装置4とにそれぞれ送出する。ヨーレートは、車両1の旋回方向への回転角の変化速度である。表示装置14は、第1の走行制御ユニット5、および第2の走行制御ユニット6による制御状態を示す情報などを表示する。表示装置14は、例えばフロントガラスに情報を投映するHUD(Head Up Display)によって構成される。なお、表示装置14として、不図示のナビゲーション装置の表示部を利用するようにしてもよい。
GPS装置15は、GPS衛星からの電波を受信し、電波にのせられている情報を用いて所定の演算を行うことにより、車両1の位置(緯度、経度など)を算出する。GPS装置15で算出した位置情報は、不図示のナビゲーション装置や制御装置4へ送出される。シフトレバー位置検出装置16は、車両1の乗員によって操作された不図示のシフトレバーの位置(例えば、パーキング(P)、リバース(R)、ドライブ(D)など)を検出する。シフトレバー位置検出装置16で検出したシフトレバーの位置情報は、制御装置4へ送出される。
マイク17は、例えば前方マイクと、右側方マイクと、左側方マイクとによって構成される。前方マイクは、専ら車両1の前方の音を集音する指向性を有する。右側方マイクは、専ら車両1の右側方の音を集音する指向性を有する。左側方マイクは、専ら車両1の左側方の音を集音する指向性を有する。マイク17で集音された各音情報(前方、右側方、左側方)は、それぞれ制御装置4へ送出される。
<対象物の検出>
制御装置4は、車両1の走行路および対象物を検出するために、カメラ3からの画像に対し、以下のように画像処理を行う。先ず、制御装置4は、撮影画面内の複数の位置における測距データに基づいて距離画像(奥行き分布画像)を生成する。制御装置4は、距離画像のデータに基づいて、周知のグルーピング処理を行い、あらかじめ記憶部4bに記憶しておいた3次元的な道路形状データ、側壁データ、対象物データ等の枠(ウインドウ)と比較し、白線データ(道路に沿った白線データおよび道路を横断する白線(停止線:交差点情報)データを含む)、道路に沿って存在するガードレール、縁石等の側壁データを抽出するとともに、対象物・障害物を、2輪車、普通車両、大型車両、歩行者、電柱等その他の対象物に分類して抽出する。
本説明では、走行路に引かれた白色または黄色のラインを白線と呼ぶ。また、実線および破線を含めて白線と呼ぶ。
<運転支援>
制御装置4は、上記のように抽出した各情報、すなわち、白線データ、ガードレール側壁データ、および対象物データの各データに基づいて走行路や障害となる対象物・障害物を認識し、認識結果をもとに第2の走行制御ユニット6に上記運転支援制御を行わせる。すなわち、車両1を道路に沿って走行させ、車両1が対象物と衝突するのを回避させる。
<走行制御>
制御装置4は、例えば、以下の4 通りにより自車進行路の推定を行う。
(1)白線に基づく自車進行路推定
カメラ3で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから車両1が走行している車線の形状が推定できる場合、制御装置4は、車両1の幅や、車両1の現在の車線内の位置を考慮して、自車進行路が白線と並行であると推定する。
(2)ガードレール、縁石等の側壁データに基づく自車進行路推定
カメラ3で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから車両1が走行している車線の形状が推定できる場合、制御装置4は、車両1の幅や、車両1の現在の車線内の位置を考慮して、自車進行路が側壁と並行であると推定する。
(3)先行車軌跡に基づく自車進行路推定
制御装置4は、記憶部4bに記憶しておいた先行車の過去の走行軌跡に基づいて、自車進行路を推定する。先行車は、車両1と同じ方向に走行する対象物のうち、車両1に最も近い車両をいう。
(4)車両1の走行軌跡に基づく自車走行路推定
制御装置4は、車両1の運転状態に基づいて、自車進行路を推定する。例えば、ヨーレートセンサ13による検出信号と、車速センサ12による検出信号と、に基づく旋回曲率を用いて自車進行路を推定する。旋回曲率Cuaは、Cua =dψ/dt/V により算出する。dψ/dtは上記ヨーレート(旋回方向への回転角の変化速度)であり、Vは車両1の車速である。
制御装置4は、記憶部4bに記憶されている所定の走行制御プログラムにしたがって、上記対象物ごとに、対象物が存在する位置における車両1の走行領域を自車進行路に基づき推定し、この走行領域と対象物位置とを比較して、それぞれの対象物が走行領域内にあるか否か判定する。制御装置4はさらに、カメラ3の撮像結果に基づき上記先行車を認識する。すなわち、制御装置4は、走行領域内に存在して順方向(車両1と同じ方向)に走行する対象物の中から、車両1に最も近い車両を先行車とする。
制御装置4は、先行車と車両1との車間距離情報、および先行車の車速情報を、車外情報として第1の走行制御ユニット5へ出力する。ここで、先行車の車速情報は、所定時間ごとに取得した車両1の車速Vと、車速Vの取得タイミングに同期して上記所定時間ごとにカメラ3で取得された画像に基づいて測距した撮影画面内の先行車までの距離(車間距離)の変化と、に基づいて算出する。
第1の走行制御ユニット5は、車速センサ12で検出される車速Vが、あらかじめセットされている所定の車速(目標速度)に収束するようにスロットル制御装置7へスロットル制御信号を送出する。これにより、スロットル制御装置7が不図示のスロットルバルブの開度をフィードバック制御し、車両1を自動で定速走行させる。
また、第1の走行制御ユニット5は、定速状態の走行制御を行っている際に制御装置4から入力された先行車の車速情報が車両1に設定されている目標速度以下の場合には、制御装置4から入力された車間距離情報に基づいてスロットル制御装置7へスロットル制御信号を送出する。具体的には、車両1から先行車までの車間距離および先行車の車速と、車両1の車速Vと、に基づいて適切な車間距離の目標値を設定し、カメラ3で取得された画像に基づいて測距される車間距離が、上記車間距離の目標値に収束するようにスロットル制御装置7へスロットル制御信号を送出する。これにより、スロットル制御装置7が不図示のスロットルバルブの開度をフィードバック制御し、車両1を先行車に追従走行させる。
<積層型撮像素子の説明>
上述したカメラ3に備わる積層型撮像素子100について説明する。なお、この積層型撮像素子100は、本願出願人が先に出願した特願2012−139026号に記載されているものである。図3は、積層型撮像素子100の断面図である。撮像素子100は、入射光に対応した画素信号を出力する裏面照射型撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面(撮像面)と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図3の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD(フォトダイオード)104、および、PD104に対応して設けられたトランジスタ105を有する。
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104およびトランジスタ105の組が、一つの画素を形成する。
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられてよい。
図4は、撮像チップ113の画素配列と単位領域131を説明する図である。特に、撮像チップ113を裏面(撮像面)側から観察した様子を示す。画素領域には例えば2000万個以上もの画素がマトリックス状に配列されている。図4の例では、隣接する4画素×4画素の16画素が一つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数は、これに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
画素領域の部分拡大図に示すように、図4の単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素Gb、Grは、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
本実施形態において、1ブロックにつき単位領域131を少なくとも1つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数(語長)等である。撮像素子100は、行方向(撮像チップ113のX軸方向)の間引きのみでなく、列方向(撮像チップ113のY軸方向)の間引きも自在に行える。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
図5は、単位領域131における回路を説明する図である。図5の例では、隣接する3画素×3画素の9画素により一つの単位領域131を形成する。なお、上述したように単位領域131に含まれる画素の数はこれに限られず、これ以下でもこれ以上でもよい。単位領域131の二次元的な位置を符号A〜Iにより示す。
単位領域131に含まれる画素のリセットトランジスタは、画素ごとに個別にオンオフ可能に構成される。図5において、画素Aのリセットトランジスタをオンオフするリセット配線300が設けられており、画素Bのリセットトランジスタをオンオフするリセット配線310が、上記リセット配線300とは別個に設けられている。同様に、画素Cのリセットトランジスタをオンオフするリセット配線320が、上記リセット配線300、310とは別個に設けられている。他の画素Dから画素Iに対しても、それぞれのリセットトランジスタをオンオフするための専用のリセット配線が設けられている。
単位領域131に含まれる画素の転送トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図5において、画素Aの転送トランジスタをオンオフする転送配線302、画素Bの転送トランジスタをオンオフする転送配線312、画素Cの転送トランジスタをオンオフする転送配線322が、別個に設けられている。他の画素Dから画素Iに対しても、それぞれの転送トランジスタをオンオフするための専用の転送配線が設けられている。
さらに、単位領域131に含まれる画素の選択トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図5において、画素Aの選択トランジスタをオンオフする選択配線306、画素Bの選択トランジスタをオンオフする選択配線316、画素Cの選択トランジスタをオンオフする選択配線326が、別個に設けられている。他の画素Dから画素Iに対しても、それぞれの選択トランジスタをオンオフするための専用の選択配線が設けられている。
なお、電源配線304は、単位領域131に含まれる画素Aから画素Iで共通に接続されている。同様に、出力配線308は、単位領域131に含まれる画素Aから画素Iで共通に接続されている。また、電源配線304は複数の単位領域間で共通に接続されるが、出力配線308は単位領域131ごとに個別に設けられる。負荷電流源309は、出力配線308へ電流を供給する。負荷電流源309は、撮像チップ113側に設けられてもよいし、信号処理チップ111側に設けられてもよい。
単位領域131のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域131に含まれる画素Aから画素Iに対して独立して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域131の選択トランジスタを個別にオンオフすることにより、各画素Aから画素Iの画素信号を共通の出力配線308を介して出力することができる。
ここで、単位領域131に含まれる画素Aから画素Iについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図5の例では「ABCDEFGHI」の順序で画素信号が出力される。
このように単位領域131を基準として回路を構成することにより、単位領域131ごとに電荷蓄積時間を制御することができる。換言すると、単位領域131間で異なったフレームレートによる画素信号をそれぞれ出力させることができる。また、撮像チップ113において一部のエリアに含まれる単位領域131に電荷蓄積(撮像)を行わせる間に他のエリアに含まれる単位領域131を休ませることにより、撮像チップ113の所定のエリアでのみ撮像を行わせて、その画素信号を出力させることができる。さらに、フレーム間で電荷蓄積(撮像)を行わせるエリア(蓄積制御の対象エリア)を切り替えて、撮像チップ113の異なるエリアで逐次撮像を行わせて、画素信号を出力させることもできる。
図6は、図5に例示した回路に対応する撮像素子100の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位領域131を形成する9個のPD104を順番に選択して、それぞれの画素信号を当該単位領域131に対応して設けられた出力配線308へ出力させる。マルチプレクサ411は、PD104と共に、撮像チップ113に形成される。
マルチプレクサ411を介して出力された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。デマルチプレクサ413および画素メモリ414は、メモリチップ112に形成される。
演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図6では1つの単位領域131の分の接続を示すが、実際にはこれらが単位領域131ごとに存在して、並列で動作する。ただし、演算回路415は単位領域131ごとに存在しなくてもよく、例えば、一つの演算回路415がそれぞれの単位領域131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
上記の通り、単位領域131のそれぞれに対応して出力配線308が設けられている。撮像素子100は撮像チップ113、信号処理チップ111およびメモリチップ112を積層しているので、これら出力配線308にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
<測距の説明>
図7は、撮像素子100の撮像面における焦点検出用画素の位置を例示する図である。本実施形態では、撮像チップ113のX軸方向(水平方向)に沿って離散的に焦点検出用画素が並べて設けられている。図7の例では、15本の焦点検出画素ライン60が所定の間隔で設けられる。焦点検出画素ライン60を構成する焦点検出用画素は、測距用の画像信号を出力する。撮像チップ113において焦点検出画素ライン60以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、車外監視用の画像信号を出力する。
図8は、上記焦点検出画素ライン60のうち一つのラインの一部を含む領域を拡大した図である。図8において、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bと、焦点検出用画素S1、および焦点検出用画素S2とが例示される。赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bは、上述したベイヤー配列の規則にしたがって配される。
赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系31(図9)の射出瞳を通る光束を受光する。すなわち、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。
なお、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bの受光領域(マスク開口部)の形状は四角形に限定されず、例えば円形であってもよい。
焦点検出用画素S1、および焦点検出用画素S2について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素S1は、図8において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素S1の受光部に到達する。一方、焦点検出用画素S2は、図8において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素S2の受光部に到達する。このように、焦点検出用画素S1および焦点検出用画素S2は、撮像光学系31(図9)の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。
なお、撮像チップ113における焦点検出画素ラインの位置は、図7に例示した位置に限定されない。また、焦点検出画素ラインの数についても、図7の例に限定されるものではない。さらに、焦点検出用画素S1および焦点検出用画素S2におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素R、撮像用画素G、撮像用画素Bにおける四角形状受光領域(マスク開口部)を横方向に分割した長方形状としてもよい。
また、撮像チップ113における焦点検出画素ラインは、撮像チップ113のY軸方向(鉛直方向)に沿って焦点検出用画素を並べて設けたものでもよい。図8のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。
なお、図8の例では、焦点検出用画素S1、S2がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成、いわゆる1PD構造を説明した。この代わりに、例えば特開2007−282107号公報に開示されるように、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成、いわゆる2PD構造にしてもよい。このように2PD構造にすることにより、焦点検出用画素からも画像データを読み出すことが可能となり、焦点検出画素が欠陥画素になることがない。
本実施形態では、焦点検出用画素S1および焦点検出用画素S2から出力される測距用の画像信号に基づいて、撮像光学系31(図9)の異なる領域を通る一対の光束による一対の像の像ズレ量(位相差)を検出することにより、撮像光学系31の焦点調節状態(デフォーカス量)を演算する。
一般に、上記一対の像は、撮像光学系31が予定焦点面よりも前に対象物(例えば先行車)の鮮鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆に予定焦点面より後ろに対象物の鮮鋭像を結ぶいわゆる後ピン状態では互いに遠ざかる。予定焦点面において対象物の鮮鋭像を結ぶ合焦状態には、上記一対の像が相対的に一致する。したがって、一対の像の相対位置ズレ量は、対象物までの距離(奥行き情報)に対応する。
上記位相差に基づくデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。ここで、デフォーカス量と対象物までの距離とは一対一で対応するため、対象物ごとにデフォーカス量を求めることにより、カメラ3から各対象物までの距離を求めることができる。すなわち、撮影画面の複数の位置で、それぞれ上記対象物までの距離測定(測距)が行える。デフォーカス量と対象物までの距離との関係は、あらかじめ数式またはルックアップテーブルとして用意し、不揮発性メモリ35b(図9)に格納しておく。
<カメラの説明>
図9は、上述した撮像素子100を有するカメラ3の構成を例示するブロック図である。図9において、カメラ3は、撮像光学系31と、撮像部32と、画像処理部33と、ワークメモリ34と、制御部35と、記録部36とを有する。
撮像光学系31は、被写界からの光束を撮像部32へ導く。撮像部32は、上記撮像素子100および駆動部32aを含み、撮像光学系31によって撮像チップ113上に結像された対象物の像を光電変換する。駆動部32aは、撮像素子100(撮像チップ113)に上述したブロック単位で独立した蓄積制御を行わせるために必要な駆動信号を生成する。上記ブロックの位置や形状、その範囲、蓄積時間などの指示は、制御部35から駆動部32aへ送信される。
画像処理部33は、ワークメモリ34と協働して撮像部32で撮像された画像データに対する画像処理を行う。画像処理部33は、例えば輪郭強調処理やガンマ補正などの画像処理に加えて、画像に含まれる対象物の色検出も行う。
ワークメモリ34は、画像処理前後の画像データなどを一時的に記憶する。記録部36は、不揮発性メモリなどで構成される記憶媒体に画像データなどを記録する。制御部35は、例えばCPUによって構成され、制御装置4からの制御信号に応じて、カメラ3による全体の動作を制御する。例えば、撮像部32で撮像された画像信号に基づいて所定の露出演算を行い、適正露出に必要な撮像チップ113の蓄積時間を駆動部32aへ指示する。
制御部35には、測距演算部35aと、不揮発性メモリ35bとが含まれる。測距演算部35aは、上述したように撮影画面の複数の位置で、それぞれ上記対象物までの距離測定(測距)を行う。カメラ3で取得した画像データおよびカメラ3で算出した測距データは、制御装置4へ送出される(図1)。不揮発性メモリ35bは、制御部35aが実行するプログラム、および測距に必要な情報を記憶する。
<撮像素子のブロック制御>
制御装置4は、カメラ3の撮像素子100(撮像チップ113)に対し、上述したブロック単位で独立した蓄積制御を行わせる。このため、制御装置4には、車両1の各部から次の信号が入力される(図2)。
(1)アクセルペダル7aの踏み込み量
スロットル制御装置7から制御装置4に、アクセルペダル7aの踏み込み量を示す信号が入力される。
(2)ブレーキペダル8aの踏み込み量
ブレーキ制御装置8から制御装置4に、ブレーキペダル8aの踏み込み量を示す信号が入力される。
(3)ステアリングホイール10の回転角
操舵制御装置9から制御装置4に、ステアリングホイール10の回転角を示す信号が入力される。ステアリングホイール10の回転角とステアリング装置の舵角との比は、ステアリングのギヤレシオによる。
(4)車両1の車速V
車速センサ12による検出信号が、制御装置4に入力される。
(5)ターンシグナルスイッチ11の操作信号
ターンシグナルスイッチ11の操作信号が、制御装置4に入力される。
(6)シフトレバーの操作位置
シフトレバー位置検出装置16が検出したシフトレバーの操作位置を示す信号が、制御装置4に入力される。
(7)車両1の位置情報
GPS装置15で測位された位置情報が、GPS装置15から制御装置4に入力される。
(8)車両1の周囲の音情報
マイク17で集音された車両1の前方、右側方、および左側方からの音情報が、それぞれ制御装置4に入力される。
図10は、撮像チップ113の撮像面と、撮像チップ113において電荷蓄積(撮像)を行わせる領域(撮像領域81および注目領域82)と、行方向および列方向の電荷蓄積(撮像)を行わせない領域(休止領域83)とを例示する図である。注目領域82は、撮像領域81と異なる条件で電荷蓄積(撮像)を行う領域である。撮像チップ113における撮像領域81、注目領域82のサイズや位置も、撮像条件の一つである。
制御装置4は、撮像領域81に含まれる単位領域131に対し、それぞれ第1の条件を設定して撮像するように制御するとともに、注目領域82に含まれる単位領域131に対し、それぞれ第2の条件を設定して撮像するように制御する。また、制御装置4は、休止領域83に含まれる単位領域131については撮像しないように休止させる。なお、注目領域82を複数設けてもよいし、複数の注目領域間で撮像の条件を異ならせてもよい。また、休止領域83を設けなくてもよい。
<フローチャートの説明>
以下、フローチャート(図11,図12、図17)を参照して撮像領域81および注目領域82の決め方について説明する。図11は、制御装置4が実行するカメラ3の制御処理の流れを説明するフローチャートである。図11のフローチャートによる処理を実行するためのプログラムは、制御装置4の記憶部4bに格納されている。制御装置4は、例えば車両1から電源供給が開始されたり、エンジンが始動すると、図11による処理を行うプログラムを起動する。
図11のステップS10において、制御装置4は、フラグa=0か否かを判定する。フラグaは、初期設定が終了している場合に1、初期設定が終了していない場合に0がセットされるフラグである。制御装置4は、フラグa=0の場合にステップS10を肯定判定してステップS20へ進み、フラグa≠0の場合にステップS10を否定判定してステップS30へ進む。
ステップS20において、制御装置4は、初期設定処理を行ってステップS30へ進む。初期設定処理の詳細については後述する。ステップS30において、制御装置4は、走行アシスト設定処理を行ってステップS40へ進む。走行アシスト設定処理では、撮像素子100に対して撮像領域81および注目領域82を決定する。走行アシスト設定処理の詳細については後述する。
ステップS40において、制御装置4はカメラ3へ指示を送り、撮像素子100における撮像領域81および注目領域82をそれぞれ所定の条件で駆動させて、画像の取得を行わせる。本実施形態では、例えば、制御装置4は、車速Vが0から増加すると撮像領域81に比べて注目領域82のフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。これにより、カメラ3による撮像が行われるとともに、上述したように撮影画面の複数の位置で距離測定(測距)が行われる。
なお、撮像領域81と注目領域82との間でフレームレート、ゲイン、間引き率、蓄積時間などの全てを異ならせる必要はなく、少なくとも一つを異ならせるだけでもよい。なお、制御装置4は、注目領域82については間引きを行わない設定としてもよい。
ステップS45において、制御装置4は、画像のデータおよび測距データをカメラ3から取得してステップS50へ進む。ステップS50において、制御装置4は、情報を表示する設定が行われているか否かを判定する。制御装置4は、表示設定が行われている場合にステップ50を肯定判定してステップS60へ進む。制御装置4は、表示設定が行われていない場合には、ステップ50を否定判定してステップS70へ進む。
ステップS60において、制御装置4は、表示装置14(図1)に対する表示情報を送出してステップS70へ進む。表示情報は、走行アシスト設定処理(S30)の中で判断された車両1の状態に応じた情報で、例えば「停止中です」、「緊急停車します」、「右折します」、「左折します」というメッセージを表示装置14に表示させる。
なお、表示情報を送出する代わりに、または表示情報の送出とともに、不図示の音声再生装置へ上記メッセージを再生させるための音声信号を送出してもよい。この場合も不図示の音声再生装置として、不図示のナビゲーション装置の音声装置を用いてもよい。
ステップS70において、制御装置4は、オフ操作されたか否かを判定する。制御装置4は、例えば車両1からオフ信号(例えば、エンジンのオフ信号)を受けると、ステップS70を肯定判定し、所定のオフ処理を行って図11による処理を終了する。制御装置4は、例えば車両1からオフ信号を受けない場合は、ステップS70を否定判定してステップS80へ進む。ステップS80において、制御装置4は、所定時間(例えば0.1秒)待ってステップS30へ戻る。ステップS30へ戻る場合は、上述した処理を繰り返す。
<初期設定処理>
図12は、図11のフローチャートのステップS20初期設定処理の詳細を説明するフローチャートである。図12のステップS21において、制御装置4は、GPS装置15(図1)から車両1の位置情報を入力してステップS22へ進む。ステップS22において、制御装置4は、位置情報に含まれる緯度、経度に基づいて、車両1が走行する通行帯が道路の左か右か、すなわち左側通行か右側通行かを示すフラグをセットする。具体的には、緯度、経度に基づいて車両1が使用される国名を判別する。そして、不図示のデータベースを参照して当該国における道路が左側通行か右側通行かを示すフラグをセットする。国名と通行帯の左右との関係を示すデータベースは、あらかじめ記憶部4bに格納されている。
ステップS23において、制御装置4は車両1におけるハンドル(ステアリングホイール10)の取り付け位置(右または左)を示すフラグをセットしてステップS24へ進む。右ハンドルか左ハンドルかを示す情報は、車両1の諸元情報としてあらかじめ記憶部4bに格納されている。ステップS24において、制御装置4は、図13に例示するテーブルに基づいて初期設定値を決定してステップS25へ進む。なお、ステップS21とステS23との順番は入れ替えてもよい。
図13によれば、車両1におけるステアリングホイール10の取り付け位置(右または左)と、道路における通行帯の位置(右または左)との組み合わせに応じて「1」から「4」の4通りの初期設定値が用意される。右ハンドルで左側通行の場合、初期設定値は「4」である。
ステップS25において、制御装置4は、注目領域82の初期位置をセットする。注目領域82の初期位置は、初期設定値に応じた位置とする。具体的には、初期設定値「1」の場合に注目領域82の初期位置を(Xq1,Yq)とし、初期設定値「2」の場合に注目領域82の初期位置を(Xq2,Yq)とし、初期設定値「3」の場合に注目領域82の初期位置を(Xq3,Yq)とし、初期設定値「4」の場合に注目領域82の初期位置を(Xq4,Yq)とする。
本説明では、撮像領域81を表す座標系において、注目領域82の中央の座標(Xq,Yq)で注目領域82の位置を表す。図10は、初期設定値が「4」の場合の注目領域82を例示しており、右ハンドルで左側通行であることから、左側通行帯の中で運転者席側(右寄り)に注目領域82を設定するように初期位置(Xq4,Yq)を定めている。
図14は、初期設定値が「1」の場合の注目領域82を例示しており、左ハンドルで右側通行であることから、右側通行帯の中で運転者席側(左寄り)に注目領域82を設定するように初期位置(Xq1,Yq)を定めている。
図15は、初期設定値が「3」の場合の注目領域82を例示しており、左ハンドルで左側通行であることから、左側通行帯の中で運転者席側(左寄り)に注目領域82を設定するように初期位置(Xq3,Yq)を定めている。
図16は、初期設定値が「2」の場合の注目領域82を例示しており、右ハンドルで右側通行であることから、右側通行帯の中で運転者席側(右寄り)に注目領域82を設定するように初期位置(Xq2,Yq)を定めている。
図12のステップS26において、制御装置4は、注目領域82の初期サイズをセットする。本実施形態では、注目領域82の初期サイズ(Px(X軸方向)×Py(Y軸方向))を対象物(例えば先行車)の大きさ(寸法)に基づいて決める。制御装置4は、カメラ3で取得した画像に先行車が含まれる場合に、撮像チップ113で撮像された先行車の像高と、既知である撮像光学系31の焦点距離と、測距によって得た車両1から先行車までの距離Lと、に基づいて先行車の大きさ(寸法)を推定する。そして、推定した大きさ(例えば幅3(m)×高さ1.4(m))の先行車を1(m)後方から撮像した場合に撮像チップ113上で得られる像を構成するピクセル数(Px(X軸方向)×Py(Y軸方向))を、初期サイズとする。
PxおよびPyは次式(1)、(2)により算出する。
Px = ox×L …(1)
Py = oy×L …(2)
ただし、oxはL(m)離れて撮像チップ113で撮像された先行車の像を構成するX軸方向のピクセル数である。oyはL(m)離れて撮像チップ113で撮像された先行車の像を構成するY軸方向のピクセル数である。L は車両1から先行車までの車間距離である。
なお、撮像領域81を表す座標系において、初期位置を表す上記Yqは、上記1(m)離れた先行車を撮像した場合に撮像チップ113上で得られる像の高さ中心(本例では先行車の高さ0.7(m)の部位)に相当する。
ステップS27において、制御装置4は、表示装置14(図1)に対する表示情報を送出し、フラグaに1をセットして図12による処理を終了する。表示情報は、初期設定処理を終了したことを示す情報で、例えば「初期設定を終了します」というメッセージを表示装置14に表示させる。
<走行アシスト設定処理>
図17は、走行アシスト設定処理の詳細を説明するフローチャートである。図17のステップS310において、制御装置4は、シフトレバー位置検出装置16(図1)から入力されたシフトレバーの位置情報が「P」(パーキング)である場合にステップS310を肯定判定してステップS320へ進む。制御装置4は、シフトレバー位置検出装置16(図1)から入力したシフトレバーの位置情報が「P」でない場合にはステップS310を否定判定してステップS420へ進む。なお、シフトレバーが「N」(ニュートラル)である場合にもステップS310の判断を適用してもよい。
ステップS320において、制御装置4は、車速センサ12から車速Vを入力してステップS330へ進む。制御装置4は、例えば車速Vに応じて注目領域82のフレームレートを変化させる。上述したように、注目領域82のフレームレートを撮像領域81のフレームレートに比べて高く設定する場合、制御装置4は、車速Vが増加するほど注目領域82のフレームレートを高く設定し、車速Vが減少するほど注目領域82のフレームレートを低く設定する。この場合、制御装置4は、注目領域82以外の撮像領域81のフレームレートも車速Vに比例するような制御を適用してもよい。ステップS330において、制御装置4は、ブレーキ制御装置8(図1)からブレーキペダル8aの踏み込み量を入力してステップS340へ進む。
ステップS340において、制御装置4は、車速Vとブレーキペダル8aの踏み込み量(踏み込み角度)とに基づいてフラグEm=0か否かを判定する。フラグEmは、車速Vとブレーキペダル8aの踏み込み量(踏み込み角度)の変化量とに基づき、図18に例示するようにセットされるフラグである。本実施形態では、Em=1の場合を緊急ブレーキ(急ブレーキ)と判断し、Em=0の場合を通常ブレーキと判断する。制御装置4は、Em=0の場合にステップS340を肯定判定してステップS350へ進む。制御装置4は、Em=1の場合にステップS340を否定判定してステップS430へ進む。
なお、ブレーキペダル8aの踏み込み量(踏み込み角度)の変化量の代わりに、不図示のブレーキバルブの開度の変化量に基づいてEm=1を判定してもよい。また、車速Vの変化量に基づいてEm=1を判定してもよいし、不図示の変速機の減速比の変化量に基づいてEm=1を判定してもよい。
ステップS350において、制御装置4は、スロットル制御装置7(図1)からアクセルペダル7aの踏み込み量を入力してステップS360へ進む。ステップS360において、制御装置4は、操舵制御装置9からステアリングホイール10の回転角θを入力してステップS370へ進む。ステップS370において、制御装置4は、ステアリング操作がなされたか否かを判定する。制御装置4は、回転角θが所定値より大きい場合にステップS370を肯定判定してステップS380へ進み、回転角θが所定値以下の場合にステップS370を否定判定してステップS440へ進む。
ステップS380において、制御装置4は、X軸方向における注目領域82の移動量Xdistを、ステアリングホイール10の回転角θと車速Vとに基づいて、次式(3)により算出する。
Xdist = θ×(V×0.2) …(3)
上式(3)によれば、ステアリング装置の舵角(すなわちステアリングホイール10の回転角θ)が大きいほど、また、車速Vが大きいほど移動量Xdistが大きくなる。
ステップS390において、制御装置4は、初期設定処理においてセットした注目領域82の初期位置(XqN,Yq)をベースに、走行中の注目領域82の位置(X座標)を次式(4)により算出する。
Xq =XqN +Xdist …(4)
ただし、Nは初期設定処理において決定した初期設定値1〜4のいずれかの値である。XdistはステップS380で算出したX軸方向における注目領域82の移動量であり、X軸方向のピクセル数に対応する。ステップS390の処理により、ステアリング操作に応じて注目領域82の位置が変化する。また、車速Vの大きさによっても注目領域82の位置が変化する。
ステップS400において、制御装置4は、初期設定処理においてセットした注目領域82の初期位置(XqN,Yq)をベースに、走行中の注目領域82の位置(Y座標)を次式(5)により算出する。
Yq =Yq +P(Z) …(5)
ただし、P(Z)はY軸方向における注目領域82の移動量であり、奥行きZ(m)に対応するY軸方向のピクセル数である。例えば、奥行き20(m)の道路の像がY軸方向に何ピクセルに相当するかを表す。奥行きZとピクセル数との関係P(Z)は、あらかじめ記憶部4b(図2)に格納しておく。
一般に、平坦な直線道路で進行方向を撮像する場合、撮像チップ113上の道路の像に対応するY軸方向のピクセル数は、車両1からの奥行きZ(m)が深くなるにつれて増加する。そこで、上記1(m)離れた先行車を撮像した場合の像の高さ中心に相当するYqの値を、注目すべき先行車が遠くなる(すなわち奥行きZが深くなる)につれて増加させる。
制御装置4は、注目すべき先行車の奥行きZを次式(6)により決定する。
Z =Za+Zb …(6)
ただし、Zaは乾燥路における制動距離(m)であり、Zbは濡れた路面における制動距離(m)である。ZaおよびZbは、図19に例示した値に基づく。本実施形態では、車両1の前方の奥行きZ(すなわち車両1からZ(m)離れた位置)の先行車を注目領域82に含めるように、注目領域82の位置を決定する。これは、緊急ブレーキをかけた場合の停車に必要な距離より遠方を注目するという考え方に基づく。車速Vに応じた奥行きZの値(Za+Zb)は、あらかじめ記憶部4b(図2)に格納しておく。ステップS400の処理によれば、車速Vの変化に応じて注目領域82の位置が変化する。
このように位置を変更した注目領域82について、撮像領域81と注目領域82との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせる。
ステップS410において、制御装置4は、初期設定処理においてセットした注目領域82の初期サイズ(Px×Py)をベースに、走行中の注目領域82のサイズ(X_wid, Y_wid)を次式(7)および(8)により算出し、図17による処理を終了する。
X_wid =Px/Z …(7)
Y_wid =Py/Z …(8)
ただし、PxはステップS26でセットしたX軸方向のピクセル数であり、PyはステップS26でセットしたY軸方向のピクセル数である。上式(7)、(8)によれば、走行中の注目領域82のサイズ(X_wid, Y_wid)は、注目すべき先行車が遠く離れる(奥行きZが深くなる)ほど、注目領域82の初期サイズ(Px×Py)より小さくなる。ステップS410の処理によれば、車速Vの変化に応じて注目領域82のサイズが変化する。
このようにサイズを変更した注目領域82について、撮像領域81と注目領域82との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせる。
上述したステップS310を否定判定して進むステップS420において、制御装置4は、停止中の設定処理を行って図17による処理を終了する。停止中の設定処理は、例えば、1(m)離れた先行車を注目領域82に含めるように、注目領域82の位置を決定する。また、注目領域82のX軸方向のサイズを最大にして、車両1の側部に近い位置の対象物もなるべく注目領域82に含まれるようにする。
上述したステップS340を否定判定して進むステップS430において、制御装置4は、急ブレーキ判定時の設定処理を行って図17による処理を終了する。急ブレーキ判定時の設定処理は、例えば、注目領域82における間引きを止め、フレームレートを最大に上げ、蓄積時間を短くし、ゲインを高く設定する。なお、制御装置4は、注目領域82以外の撮像領域81のフレームレートも増加するようにしてもよい。また、制御装置4は、ステップS340を否定判定した以降の所定時間(例えば5秒〜15秒)の間、カメラ3で取得される画像を記録部36に保存するようにカメラ3に対して記録の指示を行う。
急停車後の制御装置4はさらに、初期設定処理においてセット(図12のステップS25)した注目領域82の初期位置へ注目領域82を移動させるとともに、初期設定処理においてセット(図12のステップS26)した注目領域82の初期サイズ(Px×Py)へ注目領域82のサイズを変更する。これにより、走行中の車速Vによって変化した注目領域82の位置、サイズが、停車時に適した位置、サイズへ戻る。
上述したステップS370を否定判定して進むステップS440において、制御装置4は、走行中の注目領域82の位置(X座標)を移動させない設定を行う。すなわち、ステアリングホイール10の回転角θが所定値以下の場合にθ←0とし、Xdistの値も0とする。つまり、ステアリングホイール10の操作角が所定値に満たない場合は、注目領域82の位置(X座標)が維持される。このため、旋回操作でない微小操作時における処理負担の軽減に役立つ。
図20(a)は、一般道路の交差点において右折する場合の注目領域82の位置の移動、および注目領域82のサイズの変化を例示する図である。上記走行アシスト設定処理によれば、車両1が先行車の後ろで右折待ちをしている場合は、注目領域82Aの位置は初期位置にあり、注目領域82Aのサイズは初期サイズ(Px×Py)と略同じである。車両1が前進する状態で運転者が右方向へステアリング操作を始めると、注目領域82Bの位置は右斜め上へ移動する。車速Vが低速であるので、注目領域82Bのサイズも初期サイズ(Px×Py)と略同じである。
図20(b)は、高速道路において右側の追い越し車線へ加速しながら車線変更する場合の注目領域82の位置の移動、および注目領域82のサイズの変化を例示する図である。上記走行アシスト設定処理によれば、車両1が高速で走行する場合は、注目領域82Aの位置は初期位置より上方にあり、注目領域82Aのサイズは初期サイズ(Px×Py)に比べて小さい。車両1が加速する状態で運転者が右方向へステアリング操作すると、注目領域82Bの位置は右斜め上へ移動する。車速Vが速いので、注目領域82Bのサイズはさらに小さくなる。なお、図20は左側通行の場合の例であり、右側通行の左折や、右側通行の車線変更にも適宜用いることができる。また、不図示の視線検出装置(例えば、ステアリングホイールに視線検出装置を設ける)により運転者の視線を検出して、運転者が注視していない領域や、死角となる領域を注目領域82と設定するようにしてもよい。なお、視線検出には、赤外線を運転者の角膜で反射させてユーザの視線方向を検出する角膜反射法や、角膜と強膜との光に対する反射率の差を利用するリンバストラッキング法、眼球の映像をカメラで撮像して画像処理により視線を検出する画像解析法などがあり、いずれの視線検出方法を用いてもよい。
上述した実施の形態によれば、次の作用効果が得られる。
(1)搭載されている車両1の諸元と、車両1の操作部に対する操作と、の少なくとも一方を認識する制御装置4と、少なくとも注目領域82と、撮像領域81とを有し、車両1の外部を撮像する撮像部32と、制御装置4による認識結果に基づいて、注目領域82の撮像条件と、撮像領域81の撮像条件と、を異ならせて設定する制御装置4を備えたので、カメラ3の撮像条件を適切に設定することができる。
(2)制御装置4は、車両1におけるハンドル(ステアリングホイール10)の取り付け位置(右または左)を認識するので、運転者の乗車位置に応じてカメラ3の撮像条件を適切に設定することができる。
(3)設定部は、ステアリングホイール10の位置に応じて注目領域82のフレームレートと、撮像領域81のフレームレートとを異ならせて設定するので、例えば運転者席側(右)の注目領域82でフレームレートを高めるなど、カメラ3の撮像条件を適切に設定することができる。
(4)車両1の車速Vに関する情報を検出する制御装置4を備え、制御装置4は、車速Vに関する情報の検出結果に応じて、注目領域82の撮像条件と、撮像領域81の撮像条件とを異ならせて設定するので、車速Vに応じてカメラ3の撮像条件を適切に設定することができる。
(5)制御装置4は、車速Vに関する情報が増加するときと、減少するときで、注目領域82の撮像条件と、撮像領域81の撮像条件との少なくとも一つの撮像条件を変更するので、例えば車速Vが速いほどフレームレートを高めるなど、カメラ3の撮像条件を適切に設定することができる。
(6)制御装置4は、ハンドル(ステアリングホイール10)の回転角θが所定値を超えたときに、注目領域82の撮像のフレームレートと、撮像領域81の撮像のフレームレートとの少なくとも一つのフレームレートを高く変更するので、旋回操作の場合において、カメラ3の撮像条件を変更することができる。
(7)撮像部32による撮像結果に基づいて、車両1の表示装置14に対する表示情報を送信する制御装置4を備えたので、車両1の乗員に対して必要な情報を提供できる。
(8)ハンドル(ステアリングホイール10)の回転角θが所定値に達しないときには、制御装置4は、注目領域82の撮像のフレームレートと、撮像領域81の撮像のフレームレートとの少なくとも一つのフレームレートの設定を維持するので、旋回操作でない微小操作時における撮像条件の変更を避けることができる。これにより、例えば注目領域82のフレームレートを必要以上に細かく変更することが防止され、処理負担の軽減に役立つ。
(9)制御装置4は、注目領域82の撮像条件と、撮像領域81の撮像条件と、の間で異ならせる撮像条件に、撮像のフレームレート、ゲイン、間引き、画素信号加算、蓄積、ビット長、撮像領域のサイズ、および撮像領域の位置の少なくとも1つを含めるので、カメラ3の撮像条件を適切に設定することができる。
(10)制御装置4は、車速Vに関する情報の検出結果に基づいて、注目領域82の中心位置と、撮像領域81の中心位置との少なくとも一つの中心位置を変更するので、車速Vの変化に伴って注目領域82の位置を変更するなど、カメラ3の撮像条件を適切に設定することができる。
(11)制御装置4は、車速Vに関する情報の検出結果に基づいて、注目領域82のサイズと、撮像領域81のサイズとの少なくとも一つのサイズを変更するので、車速Vの変化に伴って注目領域82のサイズを変更するなど、カメラ3の撮像条件を適切に設定することができる。
(12)制御装置4は、注目領域82を囲む撮像領域81を設定するので、カメラ3の撮像条件を適切に設定することができる。
(13)車両1の操作部としてハンドル(ステアリングホイール10)を備えており、制御装置4は、ハンドルの操作に基づいて、注目領域82の中心位置と、撮像領域81の中心位置との少なくとも一つの中心位置を変更するので、車両1の進路の変化に伴って注目領域82の位置を変更するなど、カメラ3の撮像条件を適切に設定することができる。なお、上述の実施の形態では、制御装置4の制御によりカメラ3を制御したが、カメラ3の制御の一部をカメラ3の制御部35により行うようにしてもよい。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
走行アシスト設定処理において、制御装置4は、ターンシグナルスイッチ11からの操作信号に応じて注目領域82の位置および注目領域82のサイズを変更するように構成してもよい。制御装置4は、図21に例示するように、ステップS24において決定された初期設定値と、ターンシグナルスイッチ11の操作によるターンシグナルの方向とに基づいて注目領域82のサイズを変更したり、注目領域82の撮像条件を設定したりする。
例えば、図10を参照して説明すると、右ハンドルおよび左側通行であって初期設定値が「4」の場合、制御装置4は、ターンシグナルが左方向であれば注目領域82に道路左端を含めるような制御を行う。具体的には、図10の注目領域82を左側へ拡げる。注目領域82を左側へ拡げるのは、左折時の巻き込み事故防止のためである。反対に、制御装置4は、ターンシグナルが右方向であれば注目領域82に対向車線を含めるような制御を行う。具体的には、図10の注目領域82を右側へ拡げる。
図14を参照して説明すると、左ハンドルおよび右側通行であって初期設定値が「1」の場合、制御装置4は、ターンシグナルが左方向であれば注目領域82に対向車線を含めるような制御を行う。具体的には、図14の注目領域82を左側へ拡げる。反対に、制御装置4は、ターンシグナルが右方向であれば注目領域82に道路右端を含めるような制御を行う。具体的には、図14の注目領域82を右側へ拡げる。右側へ拡げるのは、右折時の巻き込み事故防止のためである。
図16を参照して説明すると、右ハンドルおよび右側通行であって初期設定値が「2」の場合、制御装置4は、ターンシグナルが左方向であれば注目領域82に対向車線を含めるような制御を行う。具体的には、図16の注目領域82を左側へ大きく拡げる。反対に、制御装置4は、ターンシグナルが右方向であれば注目領域82に道路右端を含めるような制御を行う。具体的には、図16の注目領域82を右側へやや拡げる。右側へ拡げるのは、右折時の巻き込み事故防止のためである。
図15を参照して説明すると、左ハンドルおよび左側通行であって初期設定値が「3」の場合、制御装置4は、ターンシグナルが左方向であれば注目領域82に道路左端を含めるような制御を行う。具体的には、図15の注目領域82を左側へやや拡げる。左側へ拡げるのは、左折時の巻き込み事故防止のためである。反対に、制御装置4は、ターンシグナルが右方向であれば注目領域82に対向車線を含めるような制御を行う。具体的には、図15の注目領域82を右側へ大きく拡げる。
図22は、変形例1によるターンシグナルスイッチ11の操作時の処理を説明するフローチャートである。制御装置4は、走行アシスト設定処理中にターンシグナルスイッチ11から操作信号が入力されると、サブルーチンとして図22による処理を起動させる。図22のステップS510において、制御装置4は、ターンシグナル方向が左向きか否かを判定する。制御装置4は、ターンシグナル方向が左向きの場合にステップS510を肯定判定してステップS520へ進み、ターンシグナル方向が右向きの場合にステップS510を否定判定してステップS530へ進む。
ステップS520において、制御装置4は、通行帯の位置が左か否かを判定する。制御装置4は、左側通行の場合にステップS520を肯定判定してステップS550へ進み、右側通行の場合にステップS520を否定判定してステップS540へ進む。
ステップS540において、制御装置4は、注目領域82に対向車線を含めるように撮像部32を制御して図22による処理を終了する。ステップS550において、制御装置4は、注目領域82に道路左端を含めるように撮像部32を制御して図22による処理を終了する。
ステップS530において、制御装置4は、通行帯の位置が左か否かを判定する。制御装置4は、左側通行の場合にステップS530を肯定判定してステップS560へ進み、右側通行の場合にステップS530を否定判定してステップS570へ進む。
ステップS560において、制御装置4は、注目領域82に対向車線を含めるように撮像部32を制御して図22による処理を終了する。ステップS570において、制御装置4は、注目領域82に道路右端を含めるように撮像部32を制御して図22による処理を終了する。
なお、制御装置4は、図22による処理を実行した後にターンシグナルスイッチ11がオフされた場合、図22による注目領域82のサイズ変更を解除する。また、ターンシグナルスイッチ11がオンされた場合は、車速Vが0であっても撮像領域81に比べて注目領域82のフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定してよい。ただし、撮像領域81と注目領域82との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせる場合は、異ならせる撮像条件のみを変更する。
以上説明した変形例1によれば、ターンシグナルスイッチ11の操作に応じて注目領域82の撮像条件と、撮像領域81の撮像条件と、を異ならせて設定するので、例えば交差点で右左折する場合において、対向車を確実に検出し得るように対向車線を注目領域82に含めたり、巻き込み事故を防止し得るように道路端を注目領域82に含めたりして、適切に注目領域82を設定することができる。さらに、撮像領域81に比べて注目領域82のフレームレートを高く設定するなど、撮像領域81および注目領域82において撮像条件を適切に設定し得る。
(変形例2)
走行アシスト設定処理において、制御装置4は、2輪車、普通車両、大型車両、歩行者などの対象物と車両1との間の距離の変化に応じて注目領域82の位置および注目領域82のサイズを変更するように構成してもよい。
変形例2において、制御装置4は、例えば車両1が先行車に近づいて先行車までの距離L(車間距離)が短くなると、先行車を注目領域82に含めるように注目領域82の位置を決定する。ここで、車両1から先行車までの車間距離Lの変化は、車速Vの取得タイミングに同期して所定時間ごとにカメラ3で取得する画像に基づいて、カメラ3の測距演算部35aが撮影画面内の先行車までの距離L(車間距離)を逐次測距することによって得る。
制御装置4は、上式(5)において奥行きZの代わりに車間距離Lを用いて走行中の注目領域82の位置(Y座標)を算出する。これにより、平坦な直線道路で先行車を撮像する場合、撮像チップ113上でY軸方向における注目領域82の位置を示すYqの値は、車間距離Lが長くなるにつれて増加し、車間距離Lが短くなると減少する。
また、制御装置4は、車間距離Lが変化して短くなるとカメラ3に先行車が大きく写るので、注目領域82のサイズを大きく設定する。反対に、制御装置4は、車間距離Lが変化して長くなるとカメラ3に先行車が小さく写るので、注目領域82のサイズを小さく設定する。制御装置4は、上式(7)および(8)において奥行きZの代わりに車間距離Lを代入して走行中の注目領域82のサイズを算出する。
上述した図17による処理によれば、車速Vが速くなると注目領域82のサイズを小さく設定するところ、変形例2においては、車速Vが速くても先行車までの車間距離Lが短い場合には注目領域82のサイズを大きく設定するので、先行車を注目領域82に適切に含めることができる。このため、注目領域82のサイズを小さく設定し続ける場合に比べて、カメラ3で取得した画像に基づく先行車の走行状態の変化の検出が容易になる。
このようにサイズや位置を変更した注目領域82についても、撮像領域81と注目領域82との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
(変形例3)
制御装置4は、既設の注目領域82以外にも、2輪車、普通車両、大型車両、歩行者などの車両1の周辺の対象物を検出した場合に、この対象物を含む注目領域82を新たに設定してもよい。変形例3において、制御装置4は、検出した対象物が移動した場合に、この対象物を含む注目領域82を新たに設定する。例えば、制御装置4は、検出した対象物と車両1との距離が所定距離以内に近づいた場合に、この対象物を含む注目領域82を新たに設定する。そして、制御装置4は、検出した対象物と車両1との距離が所定距離以上に離れた場合に、この対象物を含む注目領域82の設定を解除する。
このように設定した注目領域82についても、撮像領域81と注目領域82との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
変形例3によれば、カメラ3からの情報に基づいて車両1の周辺の移動物を検出する制御装置4を備え、制御装置4は、移動物の検出結果に基づいて、注目領域82の撮像条件と、撮像領域81の撮像条件との少なくとも一つの撮像条件を変更するので、移動物の有無に応じてカメラ3の撮像条件を適切に設定することができる。
また、カメラ3からの情報に基づいて車両1と移動物との距離が所定距離以内に近づいていると検出した際に、制御装置4は、注目領域82の撮像のフレームレートと、撮像領域81の撮像のフレームレートとの少なくとも一つのフレームレートを高く変更するので、カメラ3で取得した画像に基づく移動物の移動状態の変化の検出が容易になる。
(変形例4)
カメラ3によって取得された画像の色に基づいて注目領域82を新たに設定してもよい。制御装置4は、画像のうち赤色の対象物を含む領域を注目領域82として設定する。赤色の対象物を含む領域を注目領域82に加えることで、例えば赤信号、鉄道の踏切の警報機、緊急車両の赤色灯などを注目領域82に含めることができる。
このように設定した注目領域82についても、撮像領域81と注目領域82との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
(変形例5)
車両1のマイク17で集音された音情報に基づいて注目領域82を新たに設定してもよい。制御装置4は、例えば車両1の右側方の音情報のレベルが所定値を超えて入力された場合、撮像領域81のうち右側へ注目領域82を拡げる、または撮像領域81のうち右側へ新たに注目領域82を設定する。右側へ注目領域82を設けるのは、車両1の右側の車外情報を集めるためである。
また、制御装置4は、例えば車両1の左側方の音情報のレベルが所定値を超えて入力された場合、撮像領域81のうち左側へ注目領域82を拡げる、または撮像領域81のうち左側へ新たに注目領域82を設定する。左側へ注目領域82を設けるのは、車両1の左側の車外情報を集めるためである。
このように設定した注目領域82についても、撮像領域81と注目領域82との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
(変形例6)
上記実施形態では、先行車を含む注目領域82を設定する場合を説明したが、車両1の対向車を含む注目領域82を設定してもよい。変形例6において、制御装置4は、上述した走行領域内に存在して逆方向(車両1と対向)に走行する対象物の中から、車両1に最も近い車両を対向車として認識する。
制御装置4は、カメラ3で取得された画像のうち、上記対向車の位置に相当する領域を注目領域82として設定する。制御装置4は、とくに対向車のナンバープレートや、対向車の運転席で運転する運転者の顔を含めて注目領域82を設定する。
対向車のナンバープレートや対向車の運転者の顔を含む領域を注目領域82とすることで、車両1に近づいてくる対向車を適切に注目領域82に含めることができる。
このように設定した注目領域82についても、撮像領域81と注目領域82との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
(変形例7)
上述した説明では、撮像領域81が注目領域82を含む(注目領域82を囲む)例を説明したが、撮像領域81と注目領域82とを左右に並べて設定してもよい。撮像領域81と注目領域82の境界線を左右に動かすことで、撮像領域81と注目領域82のサイズや位置の変更を行える。このように設定した注目領域82についても、撮像領域81と注目領域82との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
以上の説明では、カメラ3で行う距離測定として、撮像素子100に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する手法を用いたが、ステレオカメラによる2枚の画像を用いて距離測定を行う手法を用いてもよい。また、カメラ3と別にミリ波レーダを用いて距離測定を行う手法を用いてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。