以下、図面を参照して本発明を実施するための形態について説明する。
(第一の実施の形態)
<カメラの使用場面>
図1は、本発明の第一の実施の形態によるカメラ3A、3Bを搭載した車両1の運転支援装置2の概略構成図である。図1において、自動車等の車両1に運転支援装置2が搭載されている。運転支援装置2は、カメラ3Aと、カメラ3Bと、制御装置4と、第1の走行制御ユニット5と、第2の走行制御ユニット6等により構成される。なお、本実施の形態では内燃機関を駆動源とする例を説明するが、モータを駆動源とするものでもよい。
本実施の形態では、カメラ3Aとカメラ3Bとを同じカメラによって構成する。カメラ3A(3B)は、複数のレンズを有する撮像光学系と後述する積層型撮像素子とを備える。カメラ3Aは、例えば車室内の天井前方に取り付けられ、車両1の前方の画像を取得する。カメラ3Bは、例えば車室内の天井後方に取り付けられ、車両1の後方の画像を取得する。
カメラ3Aおよび3Bは、それぞれ、取得した画像に基づいて撮影画面内の複数の位置における各被写体(対象物)までの距離測定(測距)を行う。距離測定は、積層型撮像素子に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する。測距については後述する。カメラ3A(3B)により取得された画像のデータおよび測距データは、制御装置4へ送出される。なお、カメラ3A(3B)を車外に設けてもよい。
制御装置4は、CPU4aおよび記憶部4bを含む。CPU4aは、記憶部4bに記憶されている各種プログラムに基づいて、記憶部4bに記憶されている制御パラメータや後述する各センサによる検出信号などを用いて各種演算を行う。
第1の走行制御ユニット5は、制御装置4からの指示に基づいて、定速走行制御および追従走行制御を行う。定速走行制御は、所定の制御プログラムに基づいて、車両1を一定速度で走行させる制御である。追従走行制御は、定速走行制御を行っている際に、制御装置4にて認識された先行車の速度が車両1に設定されている目標速度以下の場合には、先行車に対して一定の車間距離を保持した状態で走行させる制御である。
第2の走行制御ユニット6は、制御装置4からの指示に基づいて、運転支援制御を行う。運転支援制御は、所定の制御プログラムに基づいて、車両1が道路に沿って走行するように操舵制御装置9にステアリング制御信号を出力したり、車両1が対象物と衝突するのを回避するようにブレーキ制御装置8にブレーキ制御信号を出力したりする制御である。
図1にはさらに、スロットル制御装置7と、ブレーキ制御装置8と、操舵制御装置9と、ステアリングホイール10と、ターンシグナルスイッチ11と、車速センサ12と、ヨーレートセンサ13と、表示・再生装置14と、GPS装置15と、視線検出装置16と、が図示されている。
スロットル制御装置7は、アクセルペダル7aの踏み込み量に応じて不図示のスロットルバルブの開度を制御する。また、スロットル制御装置7は、第1の走行制御ユニット5から送出されるスロットル制御信号に応じて上記スロットルバルブに対する開度の制御も行う。スロットル制御装置7はさらに、アクセルペダル7aの踏み込み量を示す信号を制御装置4へ送出する。
ブレーキ制御装置8は、ブレーキペダル8aの踏み込み量に応じて不図示のブレーキバルブの開度を制御する。また、ブレーキ制御装置8は、第2の走行制御ユニット6からのブレーキ制御信号に応じて上記ブレーキバルブに対する開度の制御も行う。ブレーキ制御装置8はさらに、ブレーキペダル8aの踏み込み量を示す信号を制御装置4へ送出する。
操舵制御装置9は、ステアリングホイール10の回転角に応じて不図示のステアリング装置の舵角を制御する。また、操舵制御装置9は、第2の走行制御ユニット6からのステアリング制御信号に応じて上記ステアリング装置の舵角の制御も行う。操舵制御装置9はさらに、ステアリングホイール10の回転角を示す信号を第1の走行制御ユニット5と、制御装置4と、にそれぞれ送出する。
ターンシグナルスイッチ11は、不図示のターンシグナル(ウィンカー)装置を作動させるためのスイッチである。ターンシグナル装置は、車両1の進路変更を示す点滅発光装置である。車両1の乗員によってターンシグナルスイッチ11が操作されると、ターンシグナルスイッチ11からの操作信号がターンシグナル装置、第2の走行制御ユニット6および制御装置4にそれぞれ送出される。車速センサ12は車両1の車速Vを検出し、検出信号を第1の走行制御ユニット5と、第2の走行制御ユニット6と、制御装置4とにそれぞれ送出する。
ヨーレートセンサ13は車両1のヨーレートを検出し、検出信号を第2の走行制御ユニット6と、制御装置4とにそれぞれ送出する。ヨーレートは、車両1の旋回方向への回転角の変化速度である。表示・再生装置14は、第1の走行制御ユニット5、および第2の走行制御ユニット6による制御状態を示す情報などを表示する。表示・再生装置14は、例えばフロントガラスに情報を投映するHUD(Head Up Display)によって構成される。なお、表示・再生装置14として、不図示のナビゲーション装置の表示部、再生部を利用するようにしてもよい。
GPS装置15は、GPS衛星からの電波を受信し、電波にのせられている情報を用いて所定の演算を行うことにより、車両1の位置(緯度、経度など)を算出する。GPS装置15で算出した位置情報は、不図示のナビゲーション装置や制御装置4へ送出される。
視線検出装置16は、例えばステアリングホイール10に内蔵される。視線検出装置16は運転者の視線位置を検出し、運転者が注視している領域を示す視線情報を制御装置4へ送出する。視線検出には、赤外光を運転者の角膜で反射させて視線方向を検出する角膜反射法や、角膜と強膜との光に対する反射率の差を利用するリンバストラッキング法、運転者の眼球の映像をカメラで撮像して画像処理により視線を検出する画像解析法などがあり、いずれの視線検出方法を用いてもよい。
また、視線検出装置16を眼鏡型のウェアラブルデバイスに内蔵させて、視線情報をウェアラブルデバイスから制御装置4へ無線通信により送信する構成にしてもよい。
<対象物の検出>
制御装置4は、車両1の走行路および対象物を検出するために、カメラ3A(3B)からの画像に対し、以下のように画像処理を行う。先ず、制御装置4は、撮影画面内の複数の位置における測距データに基づいて距離画像(奥行き分布画像)を生成する。制御装置4は、距離画像のデータに基づいて、周知のグルーピング処理を行い、あらかじめ記憶部4bに記憶しておいた3次元的な道路形状データ、側壁データ、対象物データ等の枠(ウインドウ)と比較し、白線(道路に沿った白線データおよび道路を横断する白線(停止線:交差点情報)を含む)、道路に沿って存在するガードレール、縁石等の側壁を検出するとともに、対象物・障害物を、2輪車、普通車両、大型車両、歩行者、電柱等その他の対象物に分類して検出する。
本実施の形態では、走行路に引かれた白色または黄色のラインを白線と呼ぶ。また、実線および破線を含めて白線と呼ぶ。
<運転支援>
制御装置4は、上記のように検出した各情報、すなわち、白線、ガードレール側壁、および対象物に基づいて走行路や障害となる対象物・障害物を認識し、認識結果をもとに第2の走行制御ユニット6に上記運転支援制御を行わせる。すなわち、車両1を道路に沿って走行させ、車両1が対象物と衝突するのを回避させる。
<走行制御>
制御装置4は、例えば、以下の4 通りにより自車進行路の推定を行う。
(1)白線に基づく自車進行路推定
カメラ3A(3B)で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから車両1が走行している車線の形状が推定できる場合、制御装置4は、車両1の幅や、車両1の現在の車線内の位置を考慮して、自車進行路が白線と並行であると推定する。
(2)ガードレール、縁石等の側壁データに基づく自車進行路推定
カメラ3A(3B)で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから車両1が走行している車線の形状が推定できる場合、制御装置4は、車両1の幅や、車両1の現在の車線内の位置を考慮して、自車進行路が側壁と並行であると推定する。
(3)先行車軌跡に基づく自車進行路推定
制御装置4は、記憶部4bに記憶しておいた先行車の過去の走行軌跡に基づいて、自車進行路を推定する。先行車は、車両1と同じ方向に走行する対象物のうち、車両1に最も近い前方の車両をいう。
(4)車両1の走行状態に基づく自車走行路推定
制御装置4は、車両1の運転状態に基づいて、自車進行路を推定する。例えば、ヨーレートセンサ13による検出信号と、車速センサ12による検出信号と、に基づく旋回曲率を用いて自車進行路を推定する。旋回曲率Cuaは、Cua =dψ/dt/V により算出する。dψ/dtは上記ヨーレート(旋回方向への回転角の変化速度)であり、Vは車両1の車速である。
制御装置4は、記憶部4bに記憶されている所定の走行制御プログラムにしたがって、上記対象物ごとに、対象物が存在する位置における車両1の走行領域を自車進行路に基づき推定し、この走行領域と対象物位置とを比較して、それぞれの対象物が走行領域内にあるか否か判定する。制御装置4はさらに、カメラ3A(3B)の撮像結果に基づき上記先行車を認識する。すなわち、制御装置4は、走行領域内に存在して順方向(車両1と同じ方向)に走行する対象物の中から、車両1に最も近い車両を先行車とする。
制御装置4は、先行車と車両1との車間距離情報、および先行車の車速情報を、車外情報として第1の走行制御ユニット5へ出力する。ここで、先行車の車速情報は、所定時間ごとに取得した車両1の車速Vと、車速Vの取得タイミングに同期して上記所定時間ごとにカメラ3A(3B)で取得された画像に基づいて測距した撮影画面内の先行車までの距離(車間距離)の変化と、に基づいて算出する。
第1の走行制御ユニット5は、車速センサ12で検出される車速Vが、あらかじめセットされている所定の車速(目標速度)に収束するようにスロットル制御装置7へスロットル制御信号を送出する。これにより、スロットル制御装置7が不図示のスロットルバルブの開度をフィードバック制御し、車両1を自動で定速走行させる。
また、第1の走行制御ユニット5は、定速状態の走行制御を行っている際に制御装置4から入力された先行車の車速情報が車両1に設定されている目標速度以下の場合には、制御装置4から入力された車間距離情報に基づいてスロットル制御装置7へスロットル制御信号を送出する。具体的には、車両1から先行車までの車間距離および先行車の車速と、車両1の車速Vと、に基づいて適切な車間距離の目標値を設定し、カメラ3A(3B)で取得された画像に基づいて測距される車間距離が、上記車間距離の目標値に収束するようにスロットル制御装置7へスロットル制御信号を送出する。これにより、スロットル制御装置7が不図示のスロットルバルブの開度をフィードバック制御し、車両1を先行車に追従走行させる。
<積層型撮像素子の説明>
上述したカメラ3A(3B)に備わる積層型撮像素子100は、本願出願人が先に出願し公開された国際公開WO13/164915号に記載されているものである。撮像素子100には、入射光に対応した画素信号を出力する裏面照射型の撮像チップと、画素信号を処理する信号処理チップと、画素信号を記憶するメモリチップとが積層されている。撮像素子100は、単位領域ごとに撮像条件を設定可能に構成される。
図2は、撮像チップ111の画素配列と単位領域131を説明する図である。撮像素子100への入射光は、Z軸プラス方向へ向かって入射する。座標軸に示すように、Z軸に直交する紙面右方向をX軸プラス方向、Z軸およびX軸に直交する紙面上方向をY軸プラス方向とする。以降のいくつかの図においては、図2の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ111の画素領域には、例えば2000万個以上の画素がマトリックス状に配列されている。図2の例では、隣接する2画素×2画素の4画素が一つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数はいくらでもよく、例えば1000画素でも1画素でもよい。また、単位領域間で画素の数が異なっていても構わない。
画素領域の部分拡大図に示すように、単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を内包する。緑色画素Gb、Grは、カラーフィルタとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。
本実施の形態において、1ブロックにつき単位領域131を少なくとも1つ含むように複数のブロックが定義される。すなわち、1ブロックの最小単位は1つの単位領域131となる。上述したように、1つの単位領域131を形成する画素の数として取り得る値のうち、最も小さい画素の数は1画素である。したがって、1ブロックを画素単位で定義する場合、1ブロックを定義し得る画素の数のうち最小の画素の数は1画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域131、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数(語長)等である。撮像素子100は、行方向(撮像チップ111のX軸方向)の間引きのみでなく、列方向(撮像チップ111のY軸方向)の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。
<測距の説明>
本実施の形態では、撮像チップ111に離散的に設けられた焦点検出用画素からの測距用の画像信号に基づいて、撮像光学系31(図4)の異なる瞳位置を通過する複数の光束による複数の像のずれ量(位相差)を検出することにより、撮像光学系31のデフォーカス量を求める。デフォーカス量と対象物までの距離とが一対一で対応するため、カメラ3Aから対象物までの距離を求めることができる。
なお、撮像チップ111において焦点検出画素以外の画素位置には通常の撮像用画素が設けられる。撮像用画素は、車外監視用の画像信号を出力する。
<カメラの説明>
図3は、上述した撮像素子100を有するカメラ3A(3B)の構成を例示するブロック図である。上述したように、カメラ3Aおよび3Bの構成は同一である。図3において、カメラ3A(3B)は、撮像光学系31と、撮像部32と、画像処理部33と、ワークメモリ34と、制御部35と、記録部36とを有する。
撮像光学系31は、被写界からの光束を撮像部32へ導く。撮像部32は、上記撮像素子100および駆動部32aを含み、撮像光学系31によって撮像チップ111上に結像された対象物の像を光電変換する。駆動部32aは、撮像素子100(撮像チップ111)に上述したブロック単位で独立した蓄積制御を行わせるために必要な駆動信号を生成する。上記ブロックの位置や形状、その範囲、蓄積時間などの指示は、制御部35から駆動部32aへ送信される。
画像処理部33は、ワークメモリ34と協働して撮像部32で撮像された画像データに対する画像処理を行う。画像処理部33は、例えば輪郭強調処理やガンマ補正などの画像処理に加えて、画像に含まれる対象物の色検出も行う。
ワークメモリ34は、画像処理前後の画像データなどを一時的に記憶する。記録部36は、不揮発性メモリなどで構成される記憶媒体に画像データなどを記録する。制御部35は、例えばCPU35aと記憶部35bとによって構成される。CPU35aは、制御装置4からの制御信号に応じて、カメラ3A(3B)による全体の動作を制御する。例えば、撮像部32で撮像された画像信号に基づいて所定の露出演算を行い、適正露出に必要な撮像チップ111の蓄積時間を駆動部32aへ指示する。カメラ3A(3B)で取得した画像データおよび算出した測距データは、制御装置4へ送出される(図1)。記憶部35bは、CPU35aが実行するプログラム、および必要な情報を記憶する。
<撮像素子のブロック制御>
制御装置4は、カメラ3A(3B)の撮像素子100(撮像チップ111)に対し、上述したブロック単位で独立した蓄積制御を行わせる。具体的には、制御装置4が、撮像チップ111の撮像面において、第2領域と、第2領域より注目度を高めたい第1領域とを設定し、第1領域と第2領域との間において異なる条件で電荷蓄積(撮像)を行わせる。ここで、第1領域、第2領域における上述した制御パラメータに加えて、第1領域、第2領域のサイズや位置も、撮像条件の一つである。
<前方カメラ>
本実施の形態では、車両1の前方を撮像するカメラ3Aの撮像素子100に対して、運転者が注視していない領域、あるいは運転者による注視の度合いが低い領域を第1領域として設定する。
<右折時>
図4は、交差点を右折しようとする車両1に備えられた前方のカメラ3Aの撮像チップ111上に結像される被写体(対象物)の像を模式的に示す図である。実際には倒立逆像が結像されるが、わかりやすくするために正立正像として図示している。図4において、撮像チップ111の撮像面(撮影領域)70には、交差点の道路の像と、対向車91の像と、歩行者92の像が含まれる。
一般に、右折車両の運転者は、対象物のうち対向車91と右折先の道路の横断歩道を歩行する歩行者92を含む領域90へ視線を向けるので、領域90に対する注目度が高くなる。そこで、制御装置4は、撮像面70のうち領域90を含まない左側の第1領域81と、第1領域81を除く右側の第2領域82(網掛け)との間に異なる条件を設定して電荷蓄積(撮像)を行わせる。例えば、撮像チップ111の第1領域81に対応する単位領域131(図3)に対し、それぞれ第1の条件を設定して撮像するようにカメラ3Aを制御するとともに、第2領域82に対応する単位領域131に対し、それぞれ第2の条件を設定して撮像するようにカメラ3Aを制御する。
なお、第1領域81、第2領域82をそれぞれ複数設けてもよいし、第1領域81内あるいは第2領域82内に電荷蓄積制御(撮像条件)が異なる複数の領域を設けてもよい。さらに、撮像面70の行方向および列方向において電荷蓄積(撮像)を行わせない休止領域を設けてもよい。
<左折時>
図5は、交差点を左折しようとする車両1に備えられた前方のカメラ3Aの撮像チップ111上に結像される被写体(対象物)の像を模式的に示す図である。図5において、撮像チップ111の撮像面(撮影領域)70には、交差点の道路の像と、対向車91の像と、歩行者92の像が含まれる。一般に、左折車両の運転者は、対象物のうち左折先の道路の横断歩道を歩行する歩行者92を含む領域90へ視線を向けるので、領域90に対する注目度が高くなる。そこで、制御装置4は、撮像面70のうち領域90を含まない右側の第1領域81と、第1領域81を除く左側の第2領域82(網掛け)との間に異なる条件を設定して電荷蓄積(撮像)を行わせる。
<直進時>
図6は、道路を直進する車両1に備えられた前方のカメラ3Aの撮像チップ111上に結像される被写体(対象物)の像を模式的に示す図である。図6(a)において、撮像チップ111の撮像面(撮影領域)70には、直線状の道路の像と、先行車93の像と、隣車線を走行する他車94の像が含まれる。一般に、直進車両の運転者は、専ら前方中央を含む領域90へ視線を向けるので、領域90に対する注目度が高くなる。そこで、制御装置4は、撮像面70のうち領域90を含まない左右両端の第1領域81と、第1領域81を除く中央の第2領域82(網掛け)との間に異なる条件を設定して電荷蓄積(撮像)を行わせる。
<高速時>
図6(b)は、図6(a)に比べて車速Vが速い車両1に備えられた前方のカメラ3Aの撮像チップ111上に結像される被写体(対象物)の像を模式的に示す図である。図6(b)において、撮像チップ111の撮像面(撮影領域)70には、直線状の道路の像と、先行車93の像と、隣車線を走行する他車95の像が含まれる。一般に、運転者は、自車の速度が高くなるほど遠方へ視線を移動させるので、注目度が高い領域90が低速時に比べて狭くなる。そこで、制御装置4は、撮像面70のうち領域90を含まない画面の周辺部(領域90の周囲)である第1領域81と、第1領域81を除く中央の第2領域82(網掛け)との間に異なる条件を設定して電荷蓄積(撮像)を行わせる。
<画像に太陽が含まれる時>
図7は、朝日または夕日に向かって走行する車両1に備えられた前方のカメラ3Aの撮像チップ111上に結像される像を模式的に示す図である。図7において、撮像チップ111の撮像面(撮影領域)70には、太陽96の像が含まれる。一般に、運転者は、太陽96を直視できない場合に太陽96から視線をそらすだけでなく、太陽96の周囲の高輝度領域90よりもさらに外側へ視線をそらす。この結果、高輝度領域90に対する注目度が低くなる。そこで、制御装置4は、撮像面70のうち高輝度領域90(太陽96の周囲)である第1領域81と、第1領域81を除く第2領域82(網掛け)との間に異なる条件を設定して電荷蓄積(撮像)を行わせる。
<画面内を移動する対象物が含まれる時>
図8は、信号機がない交差点にさしかかった車両1に備えられた前方のカメラ3Aの撮像チップ111上に結像される像を模式的に示す図である。図8において、撮像チップ111の撮像面(撮影領域)70には、交差点の右方向から左方向へ直進した車両97と、交差点を直進してくる対向車91とが含まれる。一般に、運転者は、移動物体の移動方向へ視線を移動させるので、左方向へ進んだ車両97を含む領域90に対する注目度が高くなる。そこで、制御装置4は、撮像面70のうち領域90を含まない右側(前方右)の第1領域81と、第1領域81を除く左側の第2領域82(網掛け)との間に異なる条件を設定して電荷蓄積(撮像)を行わせる。
<フローチャートの説明>
以下、フローチャート(図9、図10)を参照して第1領域81および第2領域82の決め方について説明する。図9は、制御装置4が実行するカメラ3Aの制御処理の全体の流れを説明するフローチャートである。図9のフローチャートによる処理を実行するためのプログラムは、制御装置4の記憶部4bに格納されている。制御装置4は、例えば車両1から電源供給が開始(システムオン)されたり、エンジンが始動されたりすると、図9による処理を行うプログラムを起動する。
図9のステップS10において、制御装置4は、フラグa=0か否かを判定する。フラグaは、初期設定が終了している場合に1、初期設定が終了していない場合に0がセットされるフラグである。制御装置4は、フラグa=0の場合にステップS10を肯定判定してステップS20へ進み、フラグa≠0の場合にステップS10を否定判定してステップS30へ進む。
ステップS20において、制御装置4は、カメラ3Aへ初期設定を行ってステップS30へ進む。初期設定では、カメラ3Aに所定の動作をさせるための予め定められた設定を行うとともに、フラグaに1をセットする。これにより、カメラ3Aが撮像素子100の撮像面の全域に同じ撮像条件を設定し、例えば毎秒60フレーム(60fps)のフレームレートで撮像を開始する。
ステップS30において、制御装置4は、撮像条件設定処理を行ってステップS40へ進む。撮像条件設定処理は、カメラ3Aの撮像素子100に対して第1領域81および第2領域82を設定し、それぞれの撮像条件を決定する処理をいう。撮像条件設定処理の詳細については後述する。本実施の形態では、第1領域81について、第2領域82に比べてフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。カメラ3Aは、この設定に基づいて撮像を行い、上述した距離測定(測距)を行う。
なお、第1領域81と第2領域82との間でフレームレート、ゲイン、間引き率、蓄積時間などの全てを異ならせる必要はなく、少なくとも一つを異ならせるだけでもよい。
図9のステップS40において、制御装置4は、撮像条件設定処理後にカメラ3Aで取得された画像データ、測距データ、および車両1内の各部からの情報を取得してステップS50へ進む。ステップS50において、制御装置4は、情報を表示する設定が行われているか否かを判定する。制御装置4は、表示設定が行われている場合にステップ50を肯定判定してステップS60へ進む。制御装置4は、表示設定が行われていない場合には、ステップ50を否定判定してステップS70へ進む。
ステップS60において、制御装置4は、表示・再生装置14(図1)に対する表示情報を送出してステップS70へ進む。表示情報は、撮像条件設定処理(S30)の中で判断された車両1の状態に応じた情報で、例えば「前方左に横断者がいます」、「前方右に対向車がいます」、「隣の車線に車両がいます」というメッセージを表示・再生装置14に表示させる。
なお、表示情報を送出する代わりに、または表示情報の送出とともに、表示・再生装置14へ上記メッセージを再生させるための音声信号を送出してもよい。音声再生装置として、不図示のナビゲーション装置の音声装置を用いてもよい。
ステップS70において、制御装置4は、オフ操作されたか否かを判定する。制御装置4は、例えば車両1からオフ信号(例えば、システムオフ信号またはエンジンのオフ信号)を受けると、ステップS70を肯定判定し、所定のオフ処理を行って図9による処理を終了する。制御装置4は、例えば車両1からオフ信号を受けない場合は、ステップS70を否定判定してステップS30へ戻る。ステップS30へ戻る場合は、上述した処理を繰り返す。
<撮像条件設定処理>
図10のフローチャートを参照して、上記撮像条件設定処理(S30)の詳細について説明する。図10のステップS31において、制御装置4は、視線検出装置16(図1)から視線情報を入力してステップS32へ進む。
ステップS32において、制御装置4は、撮像チップ111の撮像面70のうち運転者の視線対象を含まない領域を第1領域81とし、第1領域81以外の領域を第2領域82(網掛け)としてステップS33へ進む。例えば、車両1の運転者が専ら前方正面を注視している場合、図6(a) や図6(b) に例示した場合と同様に、撮像面70の中央部が第2領域82とされ、撮像面70の中央部を除く領域が第1領域81とされる。
ステップS33において、制御装置4は視線検出装置16(図1)から視線情報を入力し、視線移動の有無を判定する。制御装置4は、例えば、視線移動量が所定値より大きい場合にステップS33を肯定判定してステップS34へ進む。制御装置4は、視線移動量が上記所定値より大きくない場合にはステップS33を否定判定してステップS36へ進む。
ステップS34において、制御装置4は、視線の移動方向が、車両1の曲がる方向と一致するか否かを判定する。車両1の曲がる方向は、例えば、ターンシグナルスイッチ11の操作方向、ステアリングホイール10の回転操作方向、カメラ3Aで取得された前フレームの画像との比較、のいずれかに基づいて検出する。制御装置4は、視線の移動方向が車両1の曲がる方向と一致する場合にステップS34を肯定判定してステップS35へ進む。制御装置4は、視線の移動方向が車両1の曲がる方向と一致しない場合には、ステップS34を否定判定してステップS39へ進む。
ステップS35において、制御装置4は、図4、図5を例示して説明したように、右折時や左折時において運転者の視線が向かう方向と逆方向に位置する撮像面70上の領域を第1領域81とし、第1領域81以外の領域(すなわち視線が向かう方向の領域)を第2領域82として設定し、ステップS3Eへ進む。
ステップS34を否定判定して進むステップS39において、制御装置4は、視線の移動方向が、撮像面70上を移動する対象物の像の移動方向と一致するか否かを判定する。対象物の像の移動方向は、例えば、カメラ3Aで取得された前フレームの画像との比較に基づいて検出する。制御装置4は、視線の移動方向が対象物の像の移動方向と一致する場合にステップS39を肯定判定してステップS35へ進む。制御装置4は、視線の移動方向が対象物の像の移動方向と一致しない場合には、ステップS39を否定判定してステップS3Aへ進む。ステップS39を肯定判定して進むステップS35では、制御装置4は、図8を例示して上述したように、車両97を追って視線が向かう左方向と逆方向に位置する撮像面70上の領域を第1領域81とし、第1領域81以外の領域(すなわち視線が向かう方向の領域)を第2領域82として設定し、ステップS3Eへ進む。
ステップS3Aにおいて、制御装置4は、撮像面70に結像される被写体像に太陽の像が含まれるか否かを判定する。制御装置4は、例えば、画像データの値が所定値を超えている領域が存在する場合にステップS3Aを肯定判定してステップS3Bへ進み、画像データの値が上記所定値を超えている領域が存在しない場合には、ステップS3Aを否定判定してステップS3Eへ進む。ステップS3Aを否定判定する場合、制御装置4は、ステップS32において設定した第1領域81および第2領域82を維持する。
ステップS3Bにおいて、制御装置4は、移動した視線位置が太陽96(図7)の像の位置から離れているか否かを判定する。制御装置4は、視線位置が太陽96に相当する位置から離れている(運転者が、太陽から視線をそらしている)場合にステップS3Bを肯定判定してステップS3Cへ進む。制御装置4は、視線位置が太陽96に相当する位置にある(運転者が、太陽へ視線を向けている)場合にステップS3Bを否定判定してステップS3Eへ進む。ステップS3Bを否定判定する場合、制御装置4は、ステップS32において設定した第1領域81および第2領域82を維持する。
ステップS3Cにおいて、制御装置4は、図7を参照して説明したように、撮像面70上で太陽96の像の周囲の高輝度領域90(運転者の視線位置よりも太陽96の像の位置に近い領域)を第1領域81とし、第1領域81以外の領域を第2領域82として設定し、ステップS3Dへ進む。
ステップS3Dにおいて、制御装置4はカメラ3へ指示を送り、太陽96の像の領域について、第1領域81のゲインより低く設定させてステップS3Eへ進む。具体的には、太陽96の像に対応する単位領域131(図3)に対し、第1領域81に対応する単位領域131に設定するゲインより低いゲインを設定する。
上述したステップS33を否定判定して進むステップS36において、制御装置4は、車両1が直進中で、かつ運転者の視線位置が前方被写界の略中央にあるか否かを判定する。制御装置4は、車両1が直進中、かつ運転者の視線位置が前方被写界の略中央に相当する位置にある場合、ステップS36を肯定判定してステップS37へ進む。制御装置4は、車両1が直進中でない、または運転者の視線位置が略中央に相当する位置にない場合、ステップS36を否定判定してステップS38へ進む。
ステップS37において、制御装置4は、図6(a) 、図6(b) を例示して説明したように、視線が向かう中央方向と逆方向に位置する撮像面70の周辺部の領域を第1領域81とし、第1領域81以外の領域(すなわち画面の略中央の領域)を第2領域82として設定し、ステップS3Eへ進む。
上述したステップS36を否定判定して進むステップS38において、制御装置4は、車両1が減速中で、かつ運転者の視線位置が前方被写界の略中央にあるか否かを判定する。車両1の減速は、例えば、ブレーキペダル8aの踏み込み信号、車速Vの減少、カメラ3Aで取得された前フレームの画像との比較、のいずれかに基づいて検出する。制御装置4は、車両1が減速中、かつ運転者の視線位置が前方被写界の略中央に相当する位置にある場合、ステップS38を肯定判定してステップS3Eへ進む。制御装置4は、車両1が減速中でない、または運転者の視線位置が略中央に相当する位置にない場合、ステップS38を否定判定してステップS3Eへ進む。
ステップS3Eにおいて、制御装置4はカメラ3へ指示を送り、第1領域81のフレームレートを第2領域82のフレームレートよりも高く設定させて、図9のステップS40へ進む。例えば、第1領域81のフレームレートを毎秒120フレーム(120fps)とし、第2領域82のフレームレートを60fpsとする。これは、運転者による注目度が低い領域についての画像情報を取得する頻度を高めるためである。
<後方カメラ>
制御装置4は、車両1の前方を撮像するカメラ3Aに対する第1領域81および第2領域82の設定情報に基づいて、車両1の後方を撮像するカメラ3Bに対する第1領域および第2領域の設定を以下のように行う。
なお、後方を撮像するカメラ3Bにおいても、第1領域は第2領域より注目度を高めたい領域であり、第1領域と第2領域との間において異なる条件で電荷蓄積(撮像)を行わせる。例えば、後方カメラ3Bの第1領域のフレームレートを120fpsとし、後方カメラ3Bの第2領域のフレームレートを60fpsとする。
<左折時>
図11は、交差点を左折しようとする車両1に備えられた後方のカメラ3Bの撮像チップ111上に結像される被写体(対象物)の像を模式的に示す図である。車両1の左サイドを左側に図示するように、図4〜図8の場合と比べて左右を反転させて図示している。図11において、撮像チップ111の撮像面(撮影領域)70には、車両1の後方の道路の像と、車両1に後続する二輪車98の像と、さらに後続する車両99の像が含まれる。
図5を参照して上述したように、左折車両の運転者は、前方左側の領域90に対する注目度が高くなる。そこで、制御装置4は、運転者の注目度が低い後方について、とくに車両1の左側をすり抜けるおそれのある二輪車98の画像情報の取得頻度を高めるように、図11に例示する撮像面70のうち後方左側の第1領域81と、第1領域81を除く右側の第2領域82(網掛け)との間に異なる条件を設定して電荷蓄積(撮像)を行わせる。図5および図11によれば、左折時の前方のカメラ3Aは、前方に向かって右側を第1領域とし、左折時の後方のカメラ3Bは、後方に向かって右側を第1領域とする。
<右折時>
右折時の場合は、左折時の場合と左右の設定を入れ替えればよい。すなわち、図4を参照して上述したように、右折車両の運転者は、前方右側の領域90に対する注目度が高くなる。そこで、制御装置4は、運転者の注目度が低い後方について、とくに車両1の右側をすり抜ける車両の画像情報の取得頻度を高めるように、撮像面70のうち後方右側の第1領域81と、第1領域81を除く左側の第2領域82との間に異なる条件を設定して電荷蓄積(撮像)を行わせる。すなわち、右折時の前方のカメラ3Aは、前方に向かって左側を第1領域とし(図4)、右折時の後方のカメラ3Bは、後方に向かって左側を第1領域とする。
左折時および右折時における後方のカメラ3Bに対する第1領域81および第2領域82の設定は、前方のカメラ3Aに対するステップS35(図10)の処理と前後して行うものとする(同時でもよい)。
<減速時>
図12は、例えば高速道路において減速する車両1に備えられた後方のカメラ3Bの撮像チップ111上に結像される被写体(対象物)の像を模式的に示す図である。図12において、撮像チップ111の撮像面(撮影領域)70には、車両1の後方の道路の像と、後続する車両99の像が含まれる。一般に、ブレーキをかけた車両の運転者は、専ら前方中央を含む領域90(例えば図6(b))に対する注目度が高くなる。そこで、制御装置4は、運転者の注目度が低い後方について、とくに車両1が減速すると車両1に接近するおそれのある車両99の画像情報の取得頻度を高めるように、図12に例示する撮像面70のうち略中央の第1領域81と、第1領域81を除く周辺部の第2領域82(網掛け)との間に異なる条件を設定して電荷蓄積(撮像)を行わせる。
減速時における後方のカメラ3Bに対する第1領域81および第2領域82の設定は、ステップS38(図10)を肯定判定して進む、前方のカメラ3Aに対するステップS37の処理と前後して行うものとする(同時でもよい)。
上述した第一の実施の形態によれば、次の作用効果が得られる。
(1)撮像装置は、第1領域81と、第2領域82と、を有して車両1の進行方向を撮像するカメラ3Aと、進行方向における運転者の視線位置を検出する視線検出装置16と、視線検出装置16による検出結果に基づいて、第1領域81の撮像条件と、第2領域82の撮像条件と、を異ならせて設定する制御装置4と、を備えたので、運転者の視線方向に応じて、カメラ3Aの撮像面70における領域ごとに、撮像条件を適切に設定することができる。
(2)制御装置4は、カメラ3Aによる撮影画面において視線位置を含まない領域を第1領域81とし、第1領域81以外の領域を第2領域82にするので、運転者による注目度が低くなる領域を第1領域81として設定できる。
一般に、運転者による視線は絶えず移動する。視線位置を含まない領域というのは、視線の移動範囲の外側領域に相当する。このため、視線の移動範囲が狭い場合は第1領域が拡がり、視線の移動範囲が広い場合は第1領域が狭くなる。
(3)制御装置4は、ハンドル操作の際の視線位置の移動方向がハンドル操作の方向と一致する場合に、撮影画面において視線位置の移動方向と逆方向に位置する領域を第1領域81にするので、ハンドル操作時に運転者による注目度が低くなる領域を第1領域81として設定できる。
(4)制御装置4は、車両1が直進する際の視線位置が撮影画面の略中央に位置する場合に、撮影画面の周辺領域を第1領域81にするので、直進時に運転者による注目度が低くなる領域を第1領域81として設定できる。
(5)制御装置4は、撮影画面に太陽96の像が含まれる場合の視線位置が撮影画面において太陽96の像から離れている場合に、撮影画面において太陽96の像の周囲の高輝度領域90を第1領域81にするので、眩しさに起因して運転者による注目度が低くなる領域を第1領域81として設定できる。
(6)制御装置4は、撮影画面に移動する車両97の像が含まれる場合の視線位置の移動方向が車両97の移動方向と一致する場合に、撮影画面において視線位置の移動方向と逆方向に位置する領域を第1領域81にするので、移動車両97を注目する運転者による注目度が低くなる領域を第1領域81として設定できる。
(7)制御装置4は、第1領域81の撮像のフレームレートを第2領域82の撮像のフレームレートよりも高く設定するので、第1領域81における撮像頻度を第2領域82における撮像頻度より高くすることができる。
(8)第1領域81と、第2領域82と、を有して進行方向と反対方向を撮像するカメラ3Bを備え、制御装置4は、カメラ3Bによる撮影画面のうち、カメラ3Aによる撮影画面の第1領域81に対応する領域をカメラ3Bによる撮影画面の第2領域82に含め、この第2領域82以外の領域をカメラ3Bによる撮影画面の第1領域81にするので、反対方向のカメラ3Bに対する設定を、進行方向のカメラ3Aにおける設定状態に応じて行うことができる。具体的には、前方のカメラ3Aと後方のカメラ3Bとで、車両1の反対サイドを第1領域81として設定し得る。
(9)制御装置4は、カメラ3Bの第1領域81の撮像のフレームレートを、カメラ3Bの第2領域82の撮像のフレームレートよりも高く設定するので、第1領域81における撮像頻度を、第2領域82における撮像頻度より高くすることができる。
なお、上述の実施の形態では、制御装置4の制御によりカメラ3A(3B)を制御したが、カメラ3A(3B)の制御の一部を、カメラ3A(3B)の制御部35により行うようにしてもよい。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
(変形例1)
制御装置4は、車両1の前方を撮像するカメラ3Aにより取得された画像情報に基づいて、車両1の後方を撮像するカメラ3Bに対する第1領域81および第2領域82の設定を行うようにしてもよい。
例えば、カメラ3Aで取得された車両1の前方の画像の右側に図7に例示したような太陽96の像が検出されている場合を説明する。変形例1において、制御装置4は、車両1の前方を撮像するカメラ3Aに対し、撮像面70の右側領域(前方右)に対するゲインを、撮像面70の左側領域(前方左)に対するゲインより低く設定する。一方、制御装置4は、車両1の後方を撮像するカメラ3Bに対しては、撮像面70の左右両側領域(後方左および後方右)に対するゲインを等しく設定する。
上述した状態で車両1が左折する場合、車両1が左折した後において車両1の後方を撮像するカメラ3Bに太陽96の像が写り込む可能性がある。具体的には、左折後の車両1の後方に向かって左側領域(すなわち車両1の後方右)に、太陽96の像が写り込む。そこで、制御装置4は、カメラ3Bの撮像面70の左側領域(後方右)に対するゲインを、カメラ3Bの撮像面70の右側領域(後方左)に対するゲインより低く設定する。制御装置4はさらに、車両1の前方を撮像するカメラ3Aの撮像面70に対しては、撮像面70の左右両側領域(前方左および前方右)に対するゲインを等しくするように設定を戻す。
変形例1によれば、車両1の前方を撮像するカメラ3Aにより取得された画像情報に基づいて、車両1の後方を撮像するカメラ3Bに対する第1領域81および第2領域82の設定を行うことにより、例えば、後方のカメラ3Bに太陽96の像が写り込むおそれを事前(本例では左折前)に予測して左折時にすみやかにゲインを低く設定するなど、撮像信号の飽和の防止に向けて適切な対処が可能になる。
(変形例2)
一般に、運転者の緊張度が高まると、運転者の視線の移動範囲が小さくなる。そこで、制御装置4は、運転者の緊張度が高まる場面で、前方のカメラ3Aにおいて通常時より第1領域81を拡げるようにしてもよい。運転者の緊張度が高まる場面の例として、夜間の走行や降雨時の走行が挙げられる。制御装置4は、ヘッドライトが点灯操作された場合や、ワイパーがオン操作された場合において、運転者の緊張度が高まると判断して前方のカメラ3Aにおいて通常時より第1領域81を拡げるように制御する。
また、運転者の緊張度を運転者の体温や心拍数に基づいて判定してもよい。例えば、運転席のシートに温度センサや心拍センサを備え、所定温度以上の温度検知や、所定数以上の心拍数が検知された場合において、制御装置4が、運転者の緊張度が高まったと判断して前方のカメラ3Aにおいて通常時より第1領域81を拡げるように制御する。
変形例2によれば、運転者の緊張により運転者の注目度が低くなる領域が拡がる(換言すれば、運転者の注目度が高い領域が狭くなる)場合において、第1領域81を拡げることができる。第1領域81を拡げておくと、第1領域81における撮像頻度を第2領域82における撮像頻度より高くする場合には、運転者による注目度の低下分をカメラ3Aにより取得する画像を用いて補うことが可能になる。
(変形例3)
上記実施の形態では、第1領域81のフレームレートを120fpsとし、第2領域82のフレームレートを60fpsとすることによって、フレームレートを2段階に異ならせる例を説明した。この代わりに、第1領域81と第2領域82との間に緩衝領域を設け、フレームレートを多段階に異ならせるようにしてもよい。例えば、緩衝領域のフレームレートを第1領域81のフレームレートと第2領域82のフレームレートとの中間値(90fps)にすることにより、フレームレートを多段階に変化させる。
また、緩衝領域におけるフレームレートを徐々に変化させるようにしてもよい。例えば、緩衝領域のうち第1領域81との境界に近い部分のフレームレートを100fpsとし、緩衝領域のうち第2領域82との境界に近い部分のフレームレートを80fpsとする。このような緩衝領域を設けることで、フレームレートの値が境界部分で大きく変化する状態を避けることができる。
(変形例4)
以上の説明では、カメラ3A、3Bで行う距離測定として、撮像素子100に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する手法を用いたが、ステレオカメラによる2枚の画像を用いて距離測定を行う手法を用いてもよい。また、カメラ3A、3Bと別にミリ波レーダを用いて距離測定を行う手法を用いてもよい。
(変形例5)
上記実施の形態では、カメラ3Aの撮像素子100に対して、運転者が注視していない領域、あるいは運転者による注視の度合いが低い領域を第1領域として設定する例を説明したが、運転者から視認できない領域を第1領域として設定してもよい。例えば車両のピラーの陰などは、カメラ3Aで撮影されるものの運転者の眼が届きにくい領域なので、この領域を第1領域とすると好都合である。
また、運転者が注視している領域であっても、撮像素子100に対して第1領域として設定してもよい。
(第二の実施の形態)
<カメラの使用場面>
図13は、第二の実施の形態による交通システム1で用いられる車両側装置2、および道路側装置50の要部構成を例示するブロック図である。交通システム1は、車両に設けられる車両側装置2と、道路側に設けられる道路側装置50とで構成される。図14は、道路が十字状に交差する交差点30を説明する図である。本実施の形態では、交通システム1を図14に示す交差点30に適用した例を説明する。
なお、図13、図14および第二の実施の形態の説明で参照するいくつかの図において、既述の図面で用いた符号と共通する符号があるが、本実施の形態の説明を適用する。
<車両側装置>
図13において車両側装置2は、カメラ3と、制御装置4と、第1の走行制御ユニット5と、第2の走行制御ユニット6と、スロットル制御装置7と、ブレーキ制御装置8と、操舵制御装置9と、表示・再生装置14と、通信装置16等により構成される。
車両側装置2を構成する各装置は、第一の実施の形態において説明した図1における同一符号の装置と同様である。カメラ3は、図1のカメラ3Aと同様である。通信装置16は、例えばDSRC(Dedicated Short Range Communication)と呼ばれる狭域通信を行う無線通信装置である。本実施の形態では、通信装置16が道路側装置50(図13)から送信された無線信号を受信し、この無線信号にのせられている情報を制御装置4へ送出する。また、通信装置16は、制御装置4からの指示に応じて、車両20の情報をのせた無線信号を道路側装置50へ送信する。
<道路側装置>
交通システム1の道路側装置50は、図14に示す交差点30の一隅に設けられている。図13において道路側装置50は、制御装置51と、カメラ52(後述する52−1および52−2)と、通信装置53と、信号入力装置54とで構成される。
制御装置51は、CPU51aおよび記憶部51bを含む。CPU51aは、記憶部51bに記憶されている各種プログラムに基づいて、カメラ52(52−1および52−2)で取得された画像と、交差点30に設けられている信号機100Sの表示情報と、記憶部51bに記憶されている制御パラメータ等を用いて各種演算を行う。
カメラ52は、本例では2台のカメラ52−1および52−2(図14)によって構成される。なお、カメラ52の数は、交差点30の規模に応じて適宜増減してよく、1台でも10台でもよい。カメラ52(52−1、52−2)はそれぞれ、複数のレンズを有する撮像光学系と積層型撮像素子を備える。積層型撮像素子は、第一の実施の形態において説明したものと同様である。本実施の形態では、図14に示す交差点30の四隅に配された信号機の支柱S1〜S4のうち、支柱S1にカメラ52−1が、支柱S3にカメラ52−2が、それぞれ交差点30を俯瞰するように取り付けられる。カメラ52−1は撮影領域31を撮影し、カメラ52−2は撮影領域32を撮影する。カメラ52−1および52−2により取得された画像のデータは、制御装置51へ送出される。
なお、図14においては、信号機の支柱S1〜S4のみを図示し、支柱S1〜S4に取り付けられている信号機や、支柱S1〜S4に取り付けられている路側機(後述する)の図示を省略している。
図13に戻り、通信装置53は、上記狭域通信を行う無線通信装置である。本実施の形態では、通信装置53が車両側装置2から送信された無線信号を受信し、この無線信号にのせられている情報を制御装置51へ送出する。また、通信装置53は、制御装置51からの指示に応じて、車両20に対する情報をのせた無線信号を車両側装置2へ送信する。通信装置53は、交差点30を走行する全ての車両20に搭載されている車両側装置2との間で通信可能である。
本実施の形態では、通信装置53を構成する4台の路側機を図14の4本の支柱S1〜S4にそれぞれ配置する。また、各路側機が車両側装置2と通信を行うエリアを通信ゾーンZ531〜Z534と呼ぶ。通信ゾーンZ531〜Z534は、例えば横断歩道の手前の所定区間(例えば10m)とする。通信装置53は、通信ゾーンZ531〜Z534の中に進入した車両20の車両側装置2との間で、対応する路側機を介して所定の通信を行う。
なお、各通信ゾーンZ531〜Z534の中に複数台の車両20が進入している場合でも、通信装置53は、走行レーン別に車両20と通信を行うことが可能に構成されている。
信号入力装置54は、交差点30の信号機100Sの表示情報(どの向きの道路や横断歩道が「青信号」で、どの向きの道路が「黄信号」で、どの向きの道路や横断歩道が「赤信号」であるかを示す)を、信号機100Sの制御盤101Sからリアルタイムに受信する。
<情報提供>
本実施の形態では、上記道路側装置50が、交差点30を通行する車両20に対して車両20の周辺に関する情報を提供する。
<対象物の検出>
道路側装置50の制御装置51は、車両20の周辺に関する情報を検出するために、カメラ52(52−1および52−2)で取得された画像に対し、以下のように画像処理を行う。制御装置51は、あらかじめ記憶部51bに記憶しておいた道路形状データ、側壁データ、対象物データ等の枠(ウインドウ)と比較し、白線(道路に沿った白線および道路を横断する白線(停止線:交差点情報)を含む)、道路に沿って存在するガードレール、縁石等の側壁データを検出するとともに、対象物・障害物を、二輪車、普通車両、大型車両、歩行者、電柱等その他の対象物に分類して検出する。
本実施の形態では、走行路に引かれた白色または黄色のラインを白線と呼ぶ。また、実線および破線を含めて白線と呼ぶ。
<進行路の推定>
制御装置51は、例えば、以下の3通りにより車両20の進行路の推定を行う。
(1)白線に基づく進行路推定
カメラ52(52−1、52−2)で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから車両20が走行している車線の形状が推定できる場合、制御装置51は、車両20の幅や、車両20の現在の車線内の位置を考慮して、車両20の進行路が白線と並行であると推定する。
(2)ガードレール、縁石等の側壁データに基づく進行路推定
カメラ52(52−1、52−2)で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから車両20が走行している車線の形状が推定できる場合、制御装置51は、車両20の幅や、車両20の現在の車線内の位置を考慮して、車両20の進行路が側壁と並行であると推定する。
(3)車両側装置2からの情報に基づく進行路推定
車両側装置2から道路側装置50へ車両20の運転情報が送信された場合、制御装置51は、車両20の運転情報に基づいて車両20の進行路が変更されると推定する。運転情報は、例えばステアリングホイール10の操作や、ターンシグナルスイッチ11の操作を示す情報である。制御装置51は、車両20でステアリングホイール10の操作や、ターンシグナルスイッチ11の操作が行われた場合に、上記(1)、(2)によって推定した進行路から、ステアリングホイール10の回転方向やターンシグナルスイッチ11の操作方向へ進行路が変更されると推定する。
<メッセージの生成>
制御装置51は、上記のように抽出した各情報、すなわち、白線データ、ガードレール側壁データ、および対象物データの各データと、上記のように推定した進行路の情報とに基づいて、車両20の走行路や障害となる対象物・障害物を認識し、認識結果をもとに車両側装置2へ送信するメッセージを生成する。メッセージは、例えば「後方から二輪車が来ます。」、「歩行者が横断します。」、「対向車両が直進します。」などである。制御装置51は、カメラ52で取得した画像または車両20に対するメッセージを、車両20の周辺に関する情報とする。
<カメラの説明>
カメラ52の構成は、車両側装置2を構成するカメラ3と同様である。すなわち、図3のカメラ3Aと同様である。本実施の形態では、カメラ52−1とカメラ52−2とが同様の構成であるとする。カメラ52のCPU35aは、それぞれ制御装置51からの制御信号に応じて、カメラ52による全体の動作を制御する。
<撮像素子のブロック制御>
制御装置51は、カメラ52の撮像素子100(撮像チップ111)に対し、上述したブロック単位で独立した蓄積制御を行わせる。
具体的には、制御装置51が、撮像チップ111の撮像面において、第2領域と、第2領域より注目度を高めたい第1領域とを設定し、第1領域と第2領域との間において異なる条件で電荷蓄積(撮像)を行わせる。ここで、第1領域、第2領域における上述した制御パラメータに加えて、第1領域、第2領域のサイズや位置も、撮像条件の一つである。
図15は、図14に例示した2台のカメラ52−1および52−2のうち、カメラ52−1による撮影領域31について説明する図である。カメラ52−1の撮像チップ111上に結像される被写体(対象物)の像を模式的に示す。実際には倒立逆像が結像されるが、わかりやすくするために正立正像として図示している。
図15において、交差点30を撮影する撮影領域31が、上記第1領域に対応する注目領域81と、上記第2領域に対応する通常領域82(網掛け)とに分けられている。制御装置51は、撮像素子100(撮像チップ111)の注目領域81に対応する単位領域131(図2)に対し、それぞれ第1の条件を設定して撮像するようにカメラ52−1を制御するとともに、通常領域82に対応する単位領域131に対し、それぞれ第2の条件を設定して撮像するようにカメラ52−1を制御する。
なお、撮影領域31の中に注目領域81を複数設けてもよいし、複数の注目領域間で撮像の条件を異ならせてもよい。また、注目領域81および通常領域82以外に、行方向および列方向の電荷蓄積(撮像)を行わせない休止領域を設けるようにしてもよい。
<フローチャートの説明>
以下、フローチャート(図16、図19)を参照して注目領域81および通常領域82の決め方について説明する。
<道路側処理>
図16は、道路側処理において制御装置51が実行するカメラ52−1に対する制御処理の流れを説明するフローチャートである。図16のフローチャートによる処理を実行するためのプログラムは、制御装置51の記憶部51bに格納されている。制御装置51は、図16による処理を行うプログラムを繰り返し実行する。
なお、制御装置51は、カメラ51−1に対する制御処理と同様の処理をカメラ52−2に対して並行して行うが、カメラ52−2に対する制御処理の説明については省略する。
図16のステップS510において、制御装置51はカメラ52−1へ指示を送り、撮像素子100における撮影領域31を所定の条件で駆動させて、画像の取得を開始させる。カメラ52−1は、例えば、初期条件としてフレームレートを60fpsとして繰り返し撮像を行う。
ステップS520において、制御装置51は、交差点30に車両20が接近したか否かを判定する。制御装置51は、カメラ52−1(または52−2)で取得された画像に基づいて、交差点30の中心から所定距離(例えば50m)以内への車両20の進入を検出すると、ステップS520を肯定判定してステップS530へ進む。制御装置51は、交差点30の中心から所定距離以内への車両20の進入を検出しない場合には、ステップS520を否定判定して当該判定処理を繰り返す。
なお、後述する注目領域81を設定後、交差点30内に車両20が存在しなくなった場合、制御装置4は、注目領域81の設定を解除して上記初期条件による駆動に戻す。
例えば、図14において交差点30に対してA方向に進入する車両20がカメラ52−1で取得された画像に基づいて検出され、交差点30に対してB方向に進入する車両20がカメラ52−1で取得された画像に基づいて検出される。また、交差点30に対してC方向に進入する車両20がカメラ52−2で取得された画像に基づいて検出され、交差点30に対してD方向に進入する車両20がカメラ52−2で取得された画像に基づいて検出される。
図16のステップS530において、制御装置51は、車両側装置2へ車両20の識別情報と車両20の運転情報とを要求してステップS540へ進む。この要求は、交差点30の中心から所定距離(本例では50m)以内を走行する全ての車両20へ無線信号が届くように送信する。ステップS540において、制御装置51は、車両20の車両側装置2から送信された、車両20の識別情報と車両20の運転情報とを受信してステップS550へ進む。
ステップS550において、制御装置51は、以下のように車両20の位置を特定する。制御装置51は、図14のカメラ52−1(または52−2)によって取得された画像に基づき、車両が通信ゾーンZ531〜Z534へ進入したタイミングと、通信装置53が車両側装置2からの情報を受信したタイミングとが一致する車両20を検出し、画像における当該車両20の位置を特定する。そして、カメラ52−2(または52−1)によって取得される次フレーム以降の画像においても、上記特定した車両20を追尾する。
ステップS560において、制御装置51は、信号機100Sの制御盤101S(図13)から信号機の表示情報を取得してステップS570へ進む。ステップS570において、制御装置51は、交差点30における走行レーンのいずれかのレーンが「青信号」か否かを判定する。制御装置51は、交差点30における走行レーンのいずれかが「青信号」である場合にステップS570を肯定判定してステップS580へ進む。制御装置51は、交差点30におけるいずれの走行レーンも「青信号」でない場合にはステップS570を否定判定してステップS630へ進む。
ステップS580において、制御装置51はカメラ52−1へ指示を送り、「青信号」のレーンの道路と「青信号」の横断歩道とを注目領域81に含め、注目領域81以外の領域を通常領域82としてセットさせる。「青信号」の場合に注目領域81に含める交差点30の領域情報は、あらかじめ記憶部51bに記憶させておく。制御装置51はさらに、撮像素子100における注目領域81および通常領域82をそれぞれ所定の条件で駆動させて、画像の取得を行わせる。
図17は、交差点30を撮影するカメラ52−1による撮影領域31について説明する図である。図17において、撮影領域31の中で「青信号」の道路(図17の上下方向)と、「青信号」の横断歩道(図17の上下方向)とが注目領域81に含められ、注目領域81以外の領域が通常領域82(網掛け)とされている。制御装置51は、通常領域82に比べて注目領域81のフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。フレームレートは、例えば注目領域81を120fps、通常領域82を60fpsとする。
図16のステップS590において、制御装置51は、画像のデータをカメラ52−1から取得してステップS600へ進む。ステップS600において、制御装置51は、取得した画像に基づいて、車両20に対する報知が必要か否かを判定する。図17の例では、左折しようとする車両20が一旦停止中である。歩行者23が横断歩道を横断中で、他の歩行者24も横断を開始しようとしている。車両20の後方からは、二輪車21が接近している。一般に、車両20の運転者の注意は横断中の歩行者23に注がれる。そこで制御装置51は、二輪車21の接近と、歩行者24の存在とを車両20へ報知する情報とする。
制御装置51は、上述したように車両20へ報知すべき情報が得られた場合には、ステップS600を肯定判定してステップS610へ進む。制御装置51は、二輪車21の接近がなく、歩行者24も存在しない場合には、ステップ600を否定判定してステップS620へ進む。
ステップS610において、制御装置51は、対象となる車両20(一旦停止中)へ情報を送信してステップS620へ進む。送信情報は、例えば「後方から二輪車が来ます」、「歩行者が横断します」というメッセージ情報である。制御装置51は、送信情報に対象となる車両20の識別情報を含める。これによって車両側装置2は、識別情報が自己の識別情報と合致する場合に自己の車両20に対する情報であると認識できる。
なお、メッセージ情報は、車両における表示・再生装置14(図13)の表示面にメッセージ表示を行うための表示信号でも、スピーカからメッセージを音声再生させる音声信号でもよい。
ステップS620において、制御装置51は、終了操作されたか否かを判定する。制御装置51は、例えば不図示の操作盤からオフ信号(例えば、システムオフ信号)を受けると、ステップS620を肯定判定し、所定のオフ処理を行って図16による処理を終了する。制御装置51は、オフ信号を受けない場合は、ステップS620を否定判定してステップS520へ戻る。ステップS520へ戻る場合は、上述した処理を繰り返す。
ステップS630において、制御装置51は、交差点30における走行レーンのいずれかのレーンが「黄信号」か否かを判定する。制御装置51は、交差点30における走行レーンのいずれかが「黄信号」の場合にステップS630を肯定判定してステップS640へ進む。制御装置51は、交差点30におけるいずれの走行レーンも「黄信号」でない場合にはステップS630を否定判定してステップS650へ進む。
ステップS640において、制御装置51はカメラ52−1へ指示を送り、全てのレーンの道路と全ての横断歩道とを注目領域81に含め、注目領域81以外の領域を通常領域82としてセットさせる。「黄信号」の場合に注目領域81に含める交差点30の領域情報は、あらかじめ記憶部51bに記憶させておく。制御装置51はさらに、撮像素子100における注目領域81および通常領域82をそれぞれ所定の条件で駆動させて、画像の取得を行わせる。
図15は、交差点30の全てのレーンの道路および全ての横断歩道を含む注目領域81を例示している。図15によれば、撮影領域31の中で、図15の上下方向および左右方向の道路と、図15の上下方向および左右方向の横断歩道とが注目領域81に含められ、注目領域81以外の領域が通常領域82(網掛け)とされている。制御装置51は、上述したように通常領域82に比べて注目領域81のフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。
図16のステップS650へ進む場合は全てのレーンの道路で「赤信号」となる場合である。制御装置51はカメラ52−1へ指示を送り、全ての横断歩道を注目領域81に含め、注目領域81以外の領域を通常領域82としてセットさせる。「赤信号」の場合に注目領域81に含める交差点30の領域情報は、あらかじめ記憶部51bに記憶させておく。制御装置51はさらに、注目領域81および通常領域82をそれぞれ所定の条件で駆動させて、画像の取得を行わせる。
図18は、交差点30の全ての横断歩道を含む注目領域81を例示している。図18によれば、撮影領域31の中で、図18の上下方向および左右方向の横断歩道が注目領域81に含められ、注目領域81以外の領域が通常領域82(網掛け)とされている。制御装置51は、上述したように通常領域82に比べて注目領域81のフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。
<車両側処理>
図19は、車両側処理において制御装置4が実行する情報取得処理の流れを説明するフローチャートである。図19のフローチャートによる処理を実行するためのプログラムは、制御装置4の記憶部4bに格納されている。制御装置4は、図19による処理を行うプログラムを、繰り返し実行する。
図19のステップS210において、制御装置4は、道路側装置50からの送信要求の有無を判定する。制御装置4は、車両20の識別情報および車両20の運転情報の送信を要求する道路側装置50からの送信要求が通信装置16で受信された場合にステップS210を肯定判定してステップS220へ進み、道路側装置50からの送信要求が通信装置16で受信されていない場合には、ステップS210を否定判定して当該判定処理を繰り返す。
ステップS220において、制御装置4は通信装置16へ指示を送り、記憶部4bに記憶されている車両20の識別情報と、車両20の運転情報(本例では、ステアリングホイール10の操作やターンシグナルスイッチ11の操作を示す情報)とを道路側装置50へ送信させてステップS230へ進む。この送信は、通信ゾーンZ531〜Z534の中の車両20から送信された無線信号だけが不図示の路側機へ到達する程度の送信レベルで行う。これにより、通信ゾーンの中の車両20のみが道路側装置50へ情報を送信できる。
ステップS230において、制御装置4は道路側装置50から送信された、車両20の周辺に関する情報を受信したか否かを判定する。制御装置4は、道路側装置50から送信された情報が通信装置16で受信され、送信情報に含まれた識別情報が自己の識別情報と合致する場合に、ステップS230を肯定判定してステップS240へ進む。制御装置4は、道路側装置50からの情報が通信装置16で受信されていない場合や、送信情報に含まれた識別情報が自己の識別情報と異なる場合には、ステップS230を否定判定してステップS210へ戻る。ステップS210へ戻る場合は、上述した処理を繰り返す。
ステップS240において、制御装置4は、受信した車両20の周辺に関する情報に基づいて所定の処理を行う。例えば道路側装置50からメッセージ情報を受信した場合、制御装置4は、メッセージ情報を表示・再生装置14(図13)の表示面に表示させたり、表示・再生装置14のスピーカからメッセージを音声再生させたりする。制御装置4は、ステップS210へ戻って上述した処理を繰り返す。
上述した第二の実施の形態によれば、次の作用効果が得られる。
(1)道路側装置50は、注目領域81と、通常領域82と、を有して交差点30を撮像するカメラ52と、交差点30に設けられている信号機100Sによる信号を検出する信号入力装置54と、信号入力装置54による検出結果に基づいて、注目領域81の撮像条件と、通常領域82の撮像条件と、を異ならせて設定する制御装置51と、を備えたので、信号機100Sの信号の変化に合わせて、カメラ52の撮像面における領域ごとに撮像条件を適切に設定することができる。
(2)制御装置51は、交差点30のいずれかの走行レーンに対する青信号が検出された場合に、交差点30で青信号の走行レーンおよび青信号の横断歩道を注目領域81に含め、注目領域81以外の領域を通常領域82にする。これにより、青信号の走行レーンがある場合において、カメラ52の撮像条件を適切に設定することができる。
(3)制御装置51は、交差点30のいずれかの走行レーンに対する黄信号が検出された場合に、交差点30の全ての走行レーンおよび全ての横断歩道を注目領域81に含め、注目領域81以外の領域を通常領域82にする。これにより、黄信号の走行レーンがある場合においてカメラ52の撮像条件を適切に設定することができる。
(4)制御装置51は、交差点30の全ての走行レーンに対する赤信号が検出された場合に、交差点30の全ての横断歩道を注目領域81に含め、注目領域81以外の領域を通常領域82にする。これにより、全走行レーンが赤信号の場合において、カメラ52の撮像条件を適切に設定することができる。
(5)制御装置51は、注目領域81の撮像のフレームレートを通常領域82の撮像のフレームレートよりも高く設定するので、注目領域81における撮像頻度を通常領域82における撮像頻度より高くすることができる。
(6)カメラ52で取得した画像に基づいて、交差点30を走行する車両20に対する情報を生成する制御装置51を備えるので、車両20に対して必要な情報を生成できる。
(7)制御装置51は、車両20に対する注意メッセージを生成するので、車両20に対して注意を喚起できる。
(8)車両20が進む走行レーンを検出する制御装置51を備え、走行レーン別に情報を生成するので、走行レーンごとに異なる情報を与えることが可能になる。
なお、上述の実施の形態では、制御装置51の制御によりカメラ52を制御したが、カメラ52の制御の一部をカメラ52の制御部35により行うようにしてもよい。
(第三の実施の形態)
<カメラの使用場面>
図20は、本発明の第三の実施の形態による交通システムを説明する図である。図20において、矢印Aの方向に2レーンと、矢印Bの方向に2レーンとを有する道路に面して駐車場70が設けられている。交通システムは、車両20に設けられる車両側装置2と、駐車場70に設けられる車庫側装置50Bとで構成される。車庫側装置50Bは、図13に例示した道路側装置50から信号入力装置54を省略した構成を有する。すなわち、制御装置51と、カメラ52と、通信装置53とによって車庫側装置50Bが構成される。車両側装置2の構成は、図13に例示した構成と同一である。
なお、第三の実施の形態の説明で参照するいくつかの図において、既述の図面で用いた符号と共通する符号があるが、本実施の形態の説明を適用する。
<車庫側装置>
本実施の形態の車庫側装置50Bは、道路を挟んで駐車場70の反対側に設けられている。カメラ52は、1台のカメラによって構成される。カメラ52の構成は、第二の実施の形態で用いたものと同様である。第三の実施の形態では、図20に示す車庫側装置50Bの近傍に配された支柱Sに、カメラ52が駐車場70および駐車場70に面する道路を俯瞰するように取り付けられる。カメラ52は、撮影領域31を撮影し、取得した画像のデータを車庫側装置50Bへ送出する。
なお、カメラ52の数は、駐車場70の規模に応じて適宜増減してよく、1台でも10台でもよい。
第三の実施の形態では、駐車場70への進入路INにつながる道路上に通信ゾーンZ535を設け、駐車場70の入口に通信ゾーンZ536を設け、駐車場70の出口に通信ゾーンZ537を設け、駐車場70の退出路OUTにおいて通信ゾーンZ538を設ける。各通信ゾーンZ535〜Z538には、それぞれ対応する路側機が設けられる。なお、図20においては通信ゾーンZ535〜Z538のみを図示し、各通信ゾーンに対応する路側機の図示を省略している。第三の実施の形態において、車庫側装置50Bを構成する通信装置53は、通信ゾーンZ535〜Z538の中に進入した車両20との間で、対応する路側機を介して所定の通信を行う。
<情報提供>
第三の実施の形態では、上記車庫側装置50Bが、駐車場70を入出庫する車両20に対して、車両20の周辺に関する情報を提供する。
<フローチャートの説明>
以下、フローチャート(図21、図25、図26)を参照して、車庫側装置50Bにおけるカメラ52の注目領域81および通常領域82の決め方について説明する。
<車庫側処理>
図21は、車庫側処理において制御装置51が実行するカメラ52に対する制御処理の流れを説明するフローチャートである。図21のフローチャートによる処理を実行するためのプログラムは、制御装置51の記憶部51bに格納されている。制御装置51は、図21による処理を行うプログラムを繰り返し実行する。
図21のステップS510Bにおいて、制御装置51はカメラ52へ指示を送り、撮像素子100における撮影領域31を所定の条件で駆動させて、画像の取得を開始させる。本実施の形態では、制御装置51は、図22に例示するように通常領域82に比べて注目領域811(注目領域81の第1態様)のフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。これにより、カメラ52−1による撮像が所定の周期(例えば注目領域811を120fps、通常領域82を60fps)で繰り返し行われる。
図22は、カメラ52による撮影領域31について説明する図である。B方向へ向かうレーンにおいて、進入路INの手前所定距離(例えば30m)と、A方向へ向かうレーンにおいて、進入路INの手前所定距離(例えば30m)と、が注目領域811に含められ、注目領域811以外の領域が通常領域82(網掛け)とされている。注目領域811に含める領域情報は、あらかじめ記憶部51bに記憶させておく。
図21のステップS520Bにおいて、制御装置51は、車両が駐車場70に接近したか否かを判定する。制御装置51は、カメラ52で取得された画像に基づいて、駐車場70の進入路INの手前所定距離以内への車両20の進入を検出すると、ステップS520Bを肯定判定してステップS530へ進む。制御装置51は、進入路INの手前所定距離以内への車両20の進入を検出しない場合には、ステップS520Bを否定判定して当該判定処理を繰り返す。
ステップS530において、制御装置51は、車両側装置2へ車両20の識別情報と車両20の運転情報とを要求してステップS540へ進む。この要求は、進入路INの手前上記所定距離以内を走行する全ての車両20へ無線信号が届くように送信する。ステップS540において、制御装置51は、通信ゾーンZ535へ進んだ車両20の車両側装置2から送信された、車両20の識別情報と車両20の運転情報とを受信してステップS550へ進む。
ステップS550において、制御装置51は、以下のように車両20の位置を特定する。制御装置51は、図22のカメラ52によって取得された画像に基づき、車両が通信ゾーンZ535へ進入したタイミングと、通信装置53が車両側装置2からの情報を受信したタイミングとが一致する車両20を検出し、画像における当該車両20の位置を特定する。そして、カメラ52によって取得される次フレーム以降の画像においても、上記特定した車両20を追尾する。
図21のステップS660において、制御装置51は、駐車場70に対する入庫車両があるか否かを判定する。制御装置51は、車両20から受信した運転情報に基づいて入庫判定を行う。例えば、B方向へ進む車両20が通信ゾーンZ535において左方向へターンシグナル装置を作動させている場合や、A方向へ進んできた車両20が通信ゾーンZ535において右方向へターンシグナル装置を作動させている場合には、ステップS660を肯定判定してステップS670へ進む。制御装置51は、上記以外の場合はステップS660を否定判定してステップS690へ進む。
<入庫時の処理>
図21のステップS670において、制御装置51は入庫時の処理を行ってステップS620へ進む。入庫時の処理について、図25に例示するフローチャートを参照して説明する。図25のステップS671において、制御装置51はカメラ52へ指示を送り、図23に示すように注目領域812(注目領域81の第2態様)をセットし、注目領域812以外の領域を通常領域82(網掛け)にセットする。
図23は、カメラ52による撮影領域31について説明する図である。図23において、進入路INと、進入路INを挟む歩道の両側の所定距離(例えば各15m)が、注目領域812に含められている。制御装置51は、注目領域811(注目領域81の第1態様)の場合と同様に、通常領域82に比べて注目領域812のフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。注目領域812に含める領域情報は、あらかじめ記憶部51bに記憶させておく。
図25のステップS672において、制御装置51は、画像のデータをカメラ52から取得してステップS673へ進む。ステップS673において、制御装置51は、取得した画像に基づいて、車両20に対する報知が必要か否かを判定する。図23の例では、左折しようとする車両20が進入路INの手前で一旦停止中である。歩行者23が歩道を歩行中で、後方から自転車21も接近している。一般に、車両20の運転者の注意は歩道上の歩行者23に注がれるが、歩行者23に比べて移動速度が速い自転車21に気づきにくい。そこで制御装置51は、自転車21の接近と、歩行者23の存在とを車両20へ報知する情報とする。
制御装置51は、上述したように車両20へ報知すべき情報が存在する場合には、図25のステップS673を肯定判定してステップS674へ進む。制御装置51は、自転車21の接近がなく、歩行者23も存在しない場合には、ステップ673を否定判定してステップS675へ進む。
ステップS674において、制御装置51は、通信ゾーンZ535(図23)に位置する車両20に対して情報を送信してステップS675へ進む。送信情報は、例えば「後方から自転車が来ます」、「歩行者が歩行中です」というメッセージ情報である。制御装置51は、送信情報に対象となる車両20の識別情報を含める。これによって車両側装置2は、識別情報が自己の識別情報と合致する場合に自己の車両20に対する情報であると認識できる。
なお、メッセージ情報は、車両における表示・再生装置14(図13)の表示面にメッセージ表示を行うための表示信号でも、スピーカからメッセージを音声再生させる音声信号でもよい。
ステップS675において、制御装置51はカメラ52へ指示を送り、図24に示すように注目領域813(注目領域81の第3態様)をセットし、注目領域813以外の領域を通常領域82(網掛け)にセットする。
図24は、カメラ52による撮影領域31について説明する図である。図24において、駐車場70の内部が注目領域813に含められている。制御装置51は、注目領域811(注目領域81の第1態様)や注目領域812(注目領域81の第2態様)の場合と同様に、通常領域82に比べて注目領域813のフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。注目領域813に含める領域情報は、あらかじめ記憶部51bに記憶させておく。
図25のステップS676において、制御装置51は、画像のデータをカメラ52から取得してステップS677へ進む。ステップS677において、制御装置51は、通信ゾーンZ536(図24)に位置する車両20に対して所定の入庫処理(例えば、識別情報記録、入庫日時記録、入庫ゲート開閉など)を行うとともに、駐車場70内部の空きスペースの位置を示す情報を車両20へ送信してステップS678へ進む。
車両20(図24)の車両側装置2は、識別情報が自己の識別情報と合致する場合に自己の車両20に対する情報であると認識できる。なお、空きスペース情報は、車両における表示・再生装置14(図13)の表示面に空きスペースを示す表示を行うための表示信号でも、スピーカから空きスペースを示す記号番号を音声再生させる音声信号でもよい。
図25のステップS678において、制御装置51はカメラ52へ指示を送り、図22に示すように注目領域811(注目領域81の第1態様)をセットし、注目領域811以外の領域を通常領域82(網掛け)にセットして図21のステップS620へ進む。
ステップS620において、制御装置51は、終了操作されたか否かを判定する。制御装置51は、例えば不図示の操作盤からオフ信号(例えば、システムオフ信号)を受けると、ステップS620を肯定判定し、所定のオフ処理を行って図21による処理を終了する。制御装置51は、オフ信号を受けない場合は、ステップS620を否定判定してステップS520Bへ戻る。ステップS520Bへ戻る場合は、上記注目領域811の設定状態に戻して上述した処理を繰り返す。
上記ステップS660を否定判定して進むステップS690において、制御装置51は、駐車場70からの出庫車両があるか否かを判定する。制御装置51は、例えば通信ゾーンZ537(図23)において通信が成立した車両20が存在する場合に、ステップS690を肯定判定してステップS700へ進む。制御装置51は、通信ゾーンZ537(図23)に車両20が存在しない場合は、ステップS690を否定判定してステップS720へ進む。
<出庫時の処理>
出庫時の処理について、図26に例示するフローチャートを参照して説明する。図26のステップS701において、制御装置51は、通信ゾーンZ537(図23)に位置する車両20に対して所定の出庫処理(例えば、課金処理、識別情報記録、出庫日時記録、出庫ゲート開閉など)を行ってステップS702へ進む。
ステップS702において、制御装置51はカメラ52へ指示を送り、図23に示すように注目領域814(注目領域81の第4態様)をセットし、注目領域814以外の領域を通常領域82(網掛け)にセットする。
図23において、退出路OUTと、退出路OUTを挟む歩道の両側の所定距離(例えば各15m)が、注目領域814に含められている。制御装置51は、注目領域811(注目領域81の第1態様)〜注目領域813(注目領域81の第3態様)の場合と同様に、通常領域82に比べて注目領域814のフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。注目領域814に含める領域情報は、あらかじめ記憶部51bに記憶させておく。
図26のステップS703において、制御装置51は、画像のデータをカメラ52から取得してステップS704へ進む。ステップS704において、制御装置51は、取得した画像に基づいて、車両20に対する報知が必要か否かを判定する。図23の例では、出庫しようとする車両20が退出路OUTの手前で一旦停止中である。図23において右側から自転車25が接近している。一般に、車両20の運転者は、速度が速い自転車25に気づきにくいことがある。そこで制御装置51は、自転車25の接近を車両20へ報知する情報とする。
制御装置51は、上述したように車両20へ報知する情報がある場合には、図26のステップS704を肯定判定してステップS705へ進む。制御装置51は、自転車25の接近がない場合には、ステップS704を否定判定してステップS706へ進む。
ステップS705において、制御装置51は、通信ゾーンZ537(図23)に位置する車両20に対して情報を送信してステップS706へ進む。送信情報は、例えば「左から自転車が来ます」というメッセージ情報である。制御装置51は、送信情報に対象となる車両20の識別情報を含める。これによって車両側装置2は、識別情報が自己の識別情報と合致する場合に自己の車両20に対する情報であると認識できる。
なお、メッセージ情報は、車両における表示・再生装置14(図13)の表示面にメッセージ表示を行うための表示信号でも、スピーカからメッセージを音声再生させる音声信号でもよい。
ステップS706において、制御装置51はカメラ52へ指示を送り、図22に示すように注目領域815(注目領域81の第5態様)をセットし、注目領域815以外の領域を通常領域82(網掛け)にセットする。
図22において、B方向へ向かうレーンにおいて退出路OUTの手前所定距離(例えば30m)と、A方向へ向かうレーンにおいて退出路OUTの手前所定距離(例えば30m)とが注目領域815に含められている。制御装置51は、注目領域811(注目領域81の第1態様)〜注目領域814(注目領域81の第4態様)の場合と同様に、通常領域82に比べて注目領域815のフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。注目領域815に含める領域情報は、あらかじめ記憶部51bに記憶させておく。
図26のステップS707において、制御装置51は、画像のデータをカメラ52から取得してステップS708へ進む。ステップS708において、制御装置51は、取得した画像に基づいて、車両20に対する報知が必要か否かを判定する。図22の例では、退出路OUTにおいて車両20が一旦停止中である。A方向へ向かうレーンには、車両26が走行している。一般に、車両20の運転者は、道路の反対側にあるレーン(本例ではA方向へ向かうレーン)の車両26の確認をしづらい。そこで制御装置51は、車両26の存在を車両20へ報知する情報とする。
制御装置51は、上述したように車両20へ報知すべき情報が存在する場合には、図26のステップS708を肯定判定してステップS709へ進む。制御装置51は、車両26が存在しない場合には、ステップ708を否定判定してステップS710へ進む。
ステップS709において、制御装置51は、通信ゾーンZ538(図22)に位置する車両20に対して情報を送信してステップS710へ進む。送信情報は、例えば「反対車線に車両が来ます」というメッセージ情報である。制御装置51は、送信情報に対象となる車両20の識別情報を含める。これによって車両側装置2は、識別情報が自己の識別情報と合致する場合に自己の車両20に対する情報であると認識できる。
なお、メッセージ情報を表示信号としても音声信号としてもよい点は上述の通りである。
制御装置51は、通信ゾーンZ538(図22)に位置する車両20から送信された運転情報(ターンシグナルスイッチ11の操作方向)に応じて車両20に対する情報を切り替えてもよい。具体的には、制御装置51は、通信ゾーンZ538に位置する車両20のターンシグナル装置が左方向に作動した場合に、注目領域815のうちB方向へ向かうレーンに関する情報を車両20へ提供する。一方、通信ゾーンZ538に位置する車両20のターンシグナル装置が右方向に作動した場合は、制御装置51は、注目領域815のうちA方向へ向かうレーンに関する情報を車両20へ提供する。
図26のステップS710において、制御装置51はカメラ52へ指示を送り、図24に示すように注目領域813(注目領域81の第3態様)をセットし、注目領域813以外の領域を通常領域82(網掛け)にセットして図21のステップS620へ進む。
ステップS690を否定判定して進む図15のステップS720において、制御装置51はカメラ52へ指示を送り、上記注目領域811(注目領域81の第1態様)および上記注目領域813(注目領域81の第3態様)をセットし、注目領域811、813以外の領域を通常領域82(網掛け)にセットして図21のステップS620へ進む。
<車両側処理>
第三の実施の形態における車両側処理は、第二の実施の形態と同様である。すなわち、図19のフローチャートにおける「道路側装置」を「車庫側装置」と読み替える。車両側装置2は、車庫側装置から取得した情報に基づいて所定の処理を行う。
以上説明した第三の実施の形態によれば、以下の作用効果が得られる。
(1)車庫側装置50Bは、注目領域811と、通常領域82とを有し、駐車場70の出入口INおよび出入口OUTに近接する道路を撮像するカメラ52と、駐車場70への入庫車両および駐車場70からの出庫車両を検出する制御装置51と、制御装置51による検出結果に基づいて、注目領域811の撮像条件と、通常領域82の撮像条件と、を異ならせて設定する制御装置51と、を備えたので、車両の入出庫に合わせて、領域ごとにカメラ52の撮像条件を適切に設定することができる。
(2)制御装置51は、入庫車両が検出された場合に、駐車場70の入口(IN)に向かう道路の走行レーン(811)と、駐車場70の入口(IN)および道路間の歩道(812)と、駐車場70の中の走路(813)と、を段階的に注目領域81に含め、注目領域81以外の領域を通常領域82にする。これにより、車両の入庫に合わせて、領域ごとにカメラ52の撮像条件を適切に設定することができる。
(3)制御装置51は、出庫車両が検出された場合に、駐車場70の中の走路(813)と、駐車場70の出口(OUT)および道路間の歩道(814)と、駐車場70の出口(OUT)につながる道路の走行レーン(815)と、を段階的に注目領域81に含め、注目領域81以外の領域を通常領域82にする。これにより、車両の出庫に合わせて、領域ごとにカメラ52の撮像条件を適切に設定することができる。
(4)制御装置51は、注目領域81の撮像のフレームレートを通常領域82の撮像のフレームレートよりも高く設定するので、注目領域81における撮像頻度を通常領域82における撮像頻度より高くすることができる。
(5)カメラ52で取得した画像に基づいて、入庫車両および出庫車両に対する情報を生成する制御装置51を備えるので、車両20に対して必要な情報を生成できる。
(6)制御装置51は、入庫車両に対する注意メッセージ、出庫車両に対する注意メッセージを生成するようにしたので、入庫する車両20または出庫する車両20に対して注意を喚起できる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
(第三の実施の形態の変形例1)
上述したステップS610(図16)において、道路側装置50が、対象となる車両20へメッセージ情報を送信する例を説明した。また、上述したステップS674(図25)、ステップS705(図26)、およびステップS709(図26)において、車庫側装置50Bが、対象となる車両20へメッセージ情報を送信する例を説明した。メッセージ情報を送信する代わりに、あるいはメッセージ情報の送信に加えて、当該車両20に対する「進め」、「止まれ」などの運転指示を送信してもよい。第三の実施の形態の変形例1によれば、車両20側へメッセージを伝えるだけでなく、自動運転制御されている車両20に対する運転指示を行うことが可能になる。
(第三の実施の形態の変形例2)
上述したステップS240(図19)において、車両側装置2が、道路側装置50(車庫側装置50B)から受信したメッセージ情報を表示・再生装置14(図13)で表示させたり、表示・再生装置14で音声再生させたりする例を説明した。この代わりに、あるいはメッセージ表示やメッセージ再生に加えて、車両側装置2が、ブレーキ制御装置8にブレーキを掛ける制御を行わせてもよい。第三の実施の形態の変形例2によれば、車両20の運転者にメッセージを伝えるだけでなく、車両20に対する運転支援の度合いをさらに高めることが可能になる。
(第三の実施の形態の変形例3)
上述したステップS610(図16)において、道路側装置50が、対象となる車両20へメッセージ情報を送信する例を説明したが、メッセージ情報の代わりにカメラ52(52−1または52−2)で取得した画像を対象車両20へ送信してもよい。図27は、第三の実施の形態の変形例3において道路側装置50の制御装置51が実行する制御処理の流れを説明するフローチャートである。制御装置51は、図16のフローチャートに代えて図27のフローチャートによる処理を実行する。図27と図16との間でステップS600Bの処理が相違するので、この相違点を中心に説明する。
ステップS590の次に進むステップS600Bにおいて、制御装置51は、対象となる車両20へ、ステップS590で取得した画像のデータを送信してステップS620へ進む。第三の実施の形態の変形例3では、画像を受信した車両側装置2が、運転者に対する報知が必要か否かの判断を行う。
図28は、第三の実施の形態の変形例3において車両側装置2の制御装置4が実行する制御処理の流れを説明するフローチャートである。制御装置4は、図19のフローチャートに代えて図28のフローチャートによる処理を実行する。図28と図19との間でステップS230B以降の処理が相違するので、これらの相違点を中心に説明する。
図28のステップS230Bにおいて、制御装置4は道路側装置50から送信された画像を受信したか否かを判定する。制御装置4は、道路側装置50から送信された画像が通信装置16で受信され、送信情報に含まれた識別情報が自己の識別情報と合致する場合に、ステップS230Bを肯定判定してステップS250へ進む。制御装置4は、道路側装置50からの画像が通信装置16で受信されていない場合や、送信情報に含まれた識別情報が自己の識別情報と異なる場合には、ステップS230Bを否定判定してステップS210へ戻る。ステップS210へ戻る場合は、上述した処理を繰り返す。
ステップS250において、制御装置4は、車両20の進行方向を推定する。例えば、ターンシグナルスイッチ11の操作方向に応じて、左折か、直進か、右折か、を推定する。なお、不図示のナビゲーション装置によるルート案内情報に基づいて左折か、直進か、右折か、を推定してもよい。
ステップS260において、制御装置4は、左折を推定した場合にステップS270へ進み、直進を推定した場合にステップS210へ戻り、左折を推定した場合にステップS270へ進み、右折を推定した場合にステップS280へ進む。
ステップS270において、制御装置4は、車両20における表示・再生装置14(図13)の表示面に、道路側装置50から受信した画像(左折側の横断歩道を含む)を表示させてステップS210へ進む。制御装置4は、左折側の横断歩道を強調して表示させる。これにより、横断歩道の画像が運転者に対して見やすく提供される。
ステップS280において、制御装置4は、車両20における表示・再生装置14(図13)の表示面に、道路側装置50から受信した画像(対向直進レーン、右折側の横断歩道を含む)を表示させてステップS210へ進む。制御装置4は、対向直進レーンおよび右折側の横断歩道を強調して表示させる。これにより、対向する直進車や横断歩道の画像が運転者に対して見やすく提供される。
(第三の実施の形態の変形例4)
上述したステップS674(図25)、ステップS677(図25)、ステップS705(図26)、およびステップS709(図26)において、車庫側装置50Bが、対象となる車両20へメッセージ情報を送信する例を説明したが、メッセージ情報の代わりにカメラ52で取得した画像を対象車両20へ送信してもよい。図29は、第三の実施の形態の変形例4において車庫側装置50Bの制御装置51が実行する入庫時の処理の流れを説明するフローチャートである。制御装置51は、図25のフローチャートに代えて図29のフローチャートによる処理を実行する。図25と図29との間でステップS673B、S677Bの処理が相違するので、これらの相違点を中心に説明する。
ステップS672の次に進むステップS673Bにおいて、制御装置51は、対象となる車両20へ、ステップS672で取得した画像のデータを送信してステップS675へ進む。また、ステップS676の次に進むステップS677Bにおいて、制御装置51は、通信ゾーンZ536(図24)に位置する車両20に対して所定の入庫処理を行うとともに、ステップS676で取得した画像のデータを送信してステップS678へ進む。
図30は、第三の実施の形態の変形例4において車庫側装置50Bの制御装置51が実行する出庫時の処理の流れを説明するフローチャートである。制御装置51は、図26のフローチャートに代えて図30のフローチャートによる処理を実行する。図26と図30との間でステップS704B、S708Bの処理が相違するので、これらの相違点を中心に説明する。
ステップS703の次に進むステップS704Bにおいて、制御装置51は、対象となる車両20へ、ステップS703で取得した画像のデータを送信してステップS706へ進む。また、ステップS707の次に進むステップS708Bにおいて、制御装置51は、対象となる車両20へ、ステップS707で取得した画像のデータを送信してステップS710へ進む。
第三の実施の形態の変形例4では、画像を受信した車両側装置2が、運転者に対する報知が必要か否かの判断を行う。
図31は、第三の実施の形態の変形例4において車両側装置2の制御装置4が実行する制御処理の流れを説明するフローチャートである。制御装置4は、図19のフローチャートに代えて図31のフローチャートによる処理を実行する。
図31のステップS210Cにおいて、制御装置4は、車両20の識別情報と車両20の運転情報について、車庫側装置50Bからの送信要求の有無を判定する。制御装置4は、車庫側装置50Bからの送信要求が通信装置16で受信された場合にステップS210Cを肯定判定してステップS220Cへ進み、車庫側装置50Bからの送信要求が通信装置16で受信されていない場合には、ステップS210Cを否定判定して当該判定処理を繰り返す。
ステップS220Cにおいて、制御装置4は通信装置16へ指示を送り、記憶部4bに記憶されている車両20の識別情報と、車両20の運転情報(本例では、ステアリングホイール10の操作やターンシグナルスイッチ11の操作を示す情報)とを車庫側装置50Bへ送信させてステップS230Cへ進む。この送信は、通信ゾーンZ535〜Z538の中の車両20から送信された無線信号だけが不図示の路側機へ到達する程度の送信レベルで行う。これにより、通信ゾーンの中の車両20のみが車庫側装置50Bへ情報を送信できる。
ステップS230Cにおいて、制御装置4は車庫側装置50Bから送信された画像を受信したか否かを判定する。制御装置4は、車庫側装置50Bから送信された画像が通信装置16で受信され、送信情報に含まれた識別情報が自己の識別情報と合致する場合に、ステップS230Cを肯定判定してステップS250Cへ進む。制御装置4は、車庫側装置50Bからの画像が通信装置16で受信されていない場合や、送信情報に含まれた識別情報が自己の識別情報と異なる場合には、ステップS230Cを否定判定してステップS210Cへ戻る。ステップS210Cへ戻る場合は、上述した処理を繰り返す。
ステップS250Cにおいて、制御装置4は、車両20の駐車場の利用に関する状態を判定する。例えば、ターンシグナルスイッチ11の操作方向や、減速の有無に応じて、入庫か、出庫か、利用なしか、を判定する。なお、不図示のナビゲーション装置によるルート案内の目的地が駐車場70か否かに基づいて入庫を判定してもよい。
ステップS260Cにおいて、制御装置4は、入庫を判定した場合にステップS270Cへ進み、出庫を判定した場合にステップS280Cへ進み、利用なしを判定した場合にステップS210Cへ戻る。
ステップS270Cにおいて、制御装置4は、車両20における表示・再生装置14(図13)の表示面に、車庫側装置50Bから受信した画像を表示させてステップS210Cへ戻る。受信画像が注目領域812を含む画像の場合、制御装置4は、画像における注目領域812に相当する部分を強調して表示させる。受信画像が注目領域813を含む画像の場合、制御装置4は、画像における注目領域813に相当する部分を強調して表示させる。注目領域813に相当する部分については、空きスペースをさらに強調するとよい。これにより、車両20の周囲の情報が運転者に対して見やすく提供される。
ステップS280Cにおいて、制御装置4は、車両20における表示・再生装置14(図13)の表示面に、車庫側装置50Bから受信した画像を表示させてステップS210Cへ戻る。受信画像が注目領域814を含む画像の場合、制御装置4は、画像における注目領域814に相当する部分を強調して表示させる。また、受信画像が注目領域815を含む画像の場合、制御装置4は、画像における注目領域815に相当する部分を強調して表示させる。これにより、車両20の周囲で注意すべき画像が運転者に対して見やすく提供される。
(第三の実施の形態の変形例5)
上述したカメラ52(52−1、52−2)に近赤外線カメラ(例えば波長750nm〜3μm)を用いてもよい。とくに、夜間において近赤外光の画像を取得すると、可視光の画像に比べて歩行者を認識しやすくすることができる。一般に、対象物へ近赤外光を照射し、対象物で反射された近赤外光の像を撮影する撮影距離は、およそ150mであるので、上述した交差点30や駐車場70の周囲を監視する用途に好適である。
(変形例6)
上述した車両1に搭載したカメラ3Aによって取得した画像を、車両1以外の他の車両との間で共有したり、交通管制センターとの間で共有してもよい。例えば、カメラ3Aで取得した画像を無線通信装置によって他の車両または交通管制センターへ送信する。車両1から他の車両への送信は、車車間通信で行ってもよいし、車両1から交通管制センターを介して送るようにしてもよい。
なお、車両1から交通管制センターへ画像を送信した場合は、交通管制センターが車両1から受信した画像に基づいて生成した情報を他の車両へ配信する構成にしてもよい。例えば、車両1から受信した画像に障害物が写っている場合、交通管制センターの制御装置が、画像を解析して「県道○○線△△4丁目付近に落下物があります。」というメッセージを生成し、他の車両へ配信する。
車両1のカメラ3Aで上述した道路上の障害物を含む画像が取得される場合、制御装置4は、障害物に対して撮像チップ111における注目領域を設定し、他の領域(順注目領域)と異なる撮像条件を設定(例えば解像度やフレームレート等を高くする)する。これにより、注目領域の障害物の詳細な情報を得ることができる。また、注目領域のみ(すなわち画像の一部)を高精細に撮像することで、撮像チップ111における全ての領域(画像の全部)を高精細に撮像する場合に比べて、取得される画像のデータ量を少なく抑えることができる。
データ量を少なくすることで、車両1から他の車両または交通管制センターへ画像を送信する場合の通信量を少なく抑えることができる。また、カメラ3Aで取得した画像をドラーブレコーダとして保存する場合には、データ量を少なくすることで、記録する記憶媒体の容量を抑えることができる。
なお、車両1から他の車両または交通管制センターへ画像を送信する場合の通信量を少なく抑える場合において、撮像チップ111における全ての領域を高精細に撮像した上で、障害物に対する領域のみを切り出した一部の画像を車両1から他の車両または交通管制センターへ送信するようにしてもよい。
車両1に搭載したカメラ3Aによって取得した画像を、車両1以外の他の車両や交通管制センターとの間で共有する例としては、上記障害物の有無の他にも、事故の有無、災害発生の有無、工事の有無、渋滞の有無、検問の有無、チェーン装着規制の有無等にも適用することができる。