JP2020013586A - 撮像装置 - Google Patents

Abstract

【課題】自動走行制御をしている自動車と、ドライバーによる手動運転で走行をしている自動車とが混在するとき、自車両の撮像部の撮像条件を適切に設定する撮像装置を提供する。【解決手段】撮像システム１において、撮像装置は、複数の領域の撮像条件を独立して設定可能な撮像素子を備えた撮像部５と、移動体としての自動車１０、他の車２０の移動に関する情報に基づいて、複数の領域の撮像条件を設定する制御部１９とを備える。撮像素子は、各画素又は複数画素（例えば１６画素×１６画素）からなる単位領域ごとに個別に撮像条件（撮像をしない場合も含む）を設定することができる。【選択図】図１

Description

本発明は、撮像装置に関する。

車両に搭載したカメラで取得した画像に基づいて車両の走行環境を検出し、検出した走行環境データに基づいて、先行車への追従走行などの自動走行制御や、警報、制動、操舵支援等の運転支援を行う技術が開発されている（特許文献１参照）。

特開２０１０−７９４２４号公報

しかしながら、今後、自動走行制御をしている自動車と、ドライバーによる手動運転で走行をしている自動車とが混在することが予想されるが、この点に関する提案は多くなかった。

本発明の第１の態様によれば、車に搭載される撮像装置において、複数の撮像領域の撮像条件を独立して設定可能な撮像素子を備え、前記車の外部を撮像する撮像部と、 信号機から、横断歩道の移動体の移動に関する情報を取得する取得部と、前記取得部で取得した前記移動体の移動に関する情報に基づいて、前記撮像部の一部の撮像領域である第一撮像領域の撮像条件を変更する撮像制御部と、を備え、前記車が交差点で左折する場合、前記取得部が左折方向の横断歩道を移動体が移動している情報を取得したとき、前記撮像制御部は、前記撮像部の左側の被写体を撮像する撮像領域のフレームレートを前記撮像部の右側の被写体を撮像する撮像領域より高く設定し、前記車が前記交差点で右折する場合、前記取得部が右折方向の横断歩道を移動体が移動している情報を取得したとき、前記撮像制御部は、前記撮像部の右側の被写体を撮像する撮像領域のフレームレートを前記撮像部の左側の被写体を撮像する撮像領域より高く設定する。
本発明の第２の態様によれば、車に搭載される撮像装置において、複数の撮像領域の撮像条件を独立して設定可能な撮像素子を備え、前記車の外部を撮像する撮像部と、 信号機から、横断歩道の移動体の移動に関する情報を取得する取得部と、前記取得部で取得した前記移動体の移動に関する情報に基づいて、前記撮像部の一部の撮像領域である第一撮像領域の撮像条件を変更する撮像制御部と、を備え、前記車が交差点で左折する場合、前記取得部が左折方向の横断歩道を移動体が移動している情報を取得したとき、前記撮像制御部は、前記撮像部の左側の被写体を撮像する撮像領域の間引き率を前記撮像部の右側の被写体を撮像する撮像領域より低く設定し、前記車が前記交差点で右折する場合、前記取得部が右折方向の横断歩道を移動体が移動している情報を取得したとき、前記撮像制御部は、前記撮像部の右側の被写体を撮像する撮像領域の間引き率を前記撮像部の左側の被写体を撮像する撮像領域より低く設定する。

一実施の形態に係る撮像システムの構成を示すブロック図である。 交差点における信号機の配置を例示する図である。 自動車用の信号機を例示する図である。 積層型撮像素子の断面図である。 撮像チップの画素配列と単位領域を説明する図である。 単位領域の回路を説明する図である。 撮像素子の機能的構成を示すブロック図である。 撮像面における焦点検出用画素の位置を例示する図である。 焦点検出画素ラインの一部を含む領域を拡大した図である。 自動車の制御部による制御を説明するフローチャートである。 図１１(a)は、自動車の位置関係を説明する図、図１１(b)は、前方カメラの被写体像を模式的に示す図、図１１(c)は、後方カメラの被写体像を模式的に示す図である。 信号機の制御部による制御を説明するフローチャートである。 自動車用の信号機の撮像部の制御を説明する図である。 自動車用の信号機の撮像部の制御を説明する図である。 歩行者用の信号機の撮像部の制御を説明する図である。 図１６(a)は、歩行者用の信号機の撮像部による撮像場面を例示する図、図１６(b)は、撮像条件の設定を説明する図である。 自動車用の信号機の撮像部による撮像場面を例示する図である。

図１は、一実施の形態に係る撮像装置を含む撮像システム１の構成を例示するブロック図である。撮像システム１は、自動車１０と、他の車２０と、交通信号生成装置３０および信号機４０とを利用する。
なお、信号機４０に代え、または信号機４０と併用して、道路に設置された情報提供システムやＶＩＣＳ（登録商標：Vehicle Information and Communication System）を用いても構わない。

（自動車１０）
自動車１０は、車操作部１１と、ＧＰＳ機器１２と、ナビシステム（ナビゲーションシステム）１３と、光学系１４と、光電変換部１５と、通信部１６と、記憶部１７と、センサ１８および制御部１９とを備えている。なお、自動車１０は、説明は省略するものの自動車としての基本構成を有する。

車操作部１１は、ハンドル（ステアリングホイール）、ターンシグナルスイッチ、シフトレバー、アクセル、ブレーキ、自動運転モードと手動運転モードとを切替え設定するスイッチなど、自動車の操作に係る各種操作部材を含む。

ＧＰＳ機器１２は、ＧＰＳ衛星からの電波を受信して得た信号に基づき、自動車１０の位置（経度、緯度など）を算出する。ＧＰＳ機器１２で算出された位置情報は、ナビシステム１３や制御部１９に出力される。

ナビシステム１３は、ＧＰＳ機器１２等から自動車１０の現在位置を検出して、現在位置に対応する地図データを記憶媒体やネットワークから取得して液晶モニターに表示し、入力された目的地まで走行経路を案内するシステムである。このナビシステム１３は、ユーザからの操作を受け付ける操作部と、前述の液晶モニターと、音声ガイダンスを行うスピーカと、地図データを読み取る読み取り部などを有している。

光学系１４は、複数のレンズから構成され、光電変換部１５に被写体像を結像させる。光学系１４を自動車１０の前方に向けた場合、光電変換部１５により自動車１０の進行方向の画像が取得される。光学系１４を自動車１０の後方に向けた場合、光電変換部１５により自動車１０の進行方向と逆方向の画像が取得される。光学系１４は、複数の走行レーン（２車線または３車線等）に対応した画角となっている。
なお、光学系１４を複数設けてステレオカメラとしてもよい。

光電変換部１５は、光学系１４から入射した光に対応して画素信号を出力する撮像チップと、画素信号を処理する信号処理チップと、画素信号を記憶するメモリチップとが積層して構成されている撮像素子１００を備える。撮像素子１００は後に詳述するように、各画素又は複数画素（例えば１６画素×１６画素）からなる単位領域ごとに個別に撮像条件（撮像をしない場合も含む）を設定することができる。

本実施形態において、光学系１４と光電変換部１５とによってカメラの撮像部５を構成し、自動車１０の周囲の対象物（移動体や障害物等）を撮像したり、路上の白線（黄色等の他の色のラインも含む）を撮像したりする。自動車１０には、自動車１０の前方の画像を取得する前方用の撮像部５と、自動車１０の後方の画像を取得する後方用の撮像部５とが備えられている。
本説明では、走行路に引かれた白色等のラインを白線と呼ぶ。また、実線および破線を含めて白線と呼ぶ。
なお、不図示ではあるもののレーダを設けて、このレーダと撮像部５（光学系１４、光電変換部１５）とにより周囲の対象物を検出するようにしてもよい。

通信部１６は、他の車２０や信号機４０などの外部機器との間で、無線通信（光ビーコン、電波ビーコン、可視光通信を含む）を行う。通信方式は、どのようなものを用いても構わない。

記憶部１７は、例えば、フラッシュメモリ等の不揮発性の半導体メモリによって構成され、自動車１０を走行させる（自動走行を含む）ための各種ブログラムや、制御パラメータを記憶する。

センサ１８は、一または複数の車速センサ、ヨーレートセンサなどの各種センサを含む。車速センサは自動車１０の車速Ｖを検出し、検出信号を制御部１９などにそれぞれ送出する。ヨーレートセンサは自動車１０のヨーレートを検出し、検出信号を制御部１９などにそれぞれ送出する。ヨーレートは、車両等の旋回方向への回転角の変化速度である。

制御部１９は、自動車１０全体を制御するものであり、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備える。本実施形態では、制御部１９は、光電変換部１５の撮像素子１００の各単位領域の撮像条件を設定・制御する。また、制御部１９は、車操作部１１により自動運転モードが設定された場合には、撮像部５（光学系１４、光電変換部１５）により路上の白線を検出するとともに、撮像部５を用いて自動車１０の周囲の移動体や障害物等を検出して、ナビシステム１３と連携してナビシステム１３に入力された目的地まで自動運転を行う。

なお、本実施形態において、自動運転モードとは、ハンドル、アクセル、ブレーキ、ターンシグナルスイッチ、シフトレバーの操作などを制御部１９の制御により全て自動的に行うことをいう。また、手動運転とは、ハンドル、アクセル、ブレーキ、ターンシグナルスイッチ、シフトレバーの操作などをドライバーが行うことをいい、変速機がオートマチックトランスミッションの場合とマニュアルトランスミッションの場合とがある。また、自動運転モードは、全て制御部１９の制御により運転を行う完全自動運転に加え、ユーザが車操作部１１の操作を行っている場合でも制御部１９が撮像部５、ＧＰＳ１２、通信部１６、センサ１８などの出力に基づき、衝突などを回避するように自動車１０を停止したり、減速したりする準自動運転も含む。これにより、ユーザの自動車１０の運転を楽しみながら安全を確保することができる。また、準自動運転は、ハンドル、アクセル、ブレーキ、ターンシグナルスイッチ、シフトレバーの操作などの一部をドライバーに代わって制御部１９が制御する場合も含んでいる。

（他の車２０）
他の車２０は、通信部２１と、車操作部２２と、記憶部２３と、撮像部２４および制御部２５等を備えており、各部の機能は自動車１０の機能と同様である。他の車２０も図１では省略しているものの、自動車としての基本構成を有している。ただし、他の車２０には、通信部２１を備えていない車両もありうる。また、他の車２０には、自動運転車と手動運転車とが混在している。このうち、少なくとも自動運転モードを備えた車両は、通信部２１により車両同士が通信可能であり、自動運転中か手動運転中かに関する情報や、撮像部２４によって取得された画像データを送受信可能に構成されている。

（交通信号生成装置３０）
交通信号生成装置３０は、信号機４０の表示部４２に表示される信号灯の制御を行う装置であり、信号情報生成部３１と、記憶部３２と、通信部３３および制御部３４とを有している。交通信号生成装置３０は、交差点等に設けられた複数の信号機４０にそれぞれ設置されうるが、複数の信号機４０の制御を一つの交通信号生成装置３０が行うようにしてもよい。

信号情報生成部３１は、交差点等に設置された複数の信号機４０の種類や設置位置、交通に関する不図示の交通管制センターからの指示等に基づいて交通信号を生成する。

記憶部３２は、例えば、フラッシュメモリ等の不揮発性の半導体メモリによって構成され、交通信号生成装置３０の各種プログラムや、制御パラメータ等を記憶する。

通信部３３は、有線または無線により、一または複数の信号機４０のそれぞれに信号情報生成部３１にて生成された交通信号を送信する。また、通信部３３は、交通管制センターとの間で情報の送受信を行う。

制御部３４は、交通信号生成装置３０全体を制御するものであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。また、制御部３４は、交通量等に基づいて、交通の状況に関する解析を行い、それを基に信号情報生成部３１を制御することができる。

（信号機４０）
信号機４０は、通信部４１と、表示部４２と、光学系４３と、光電変換部４４と、記憶部４５および制御部４６とを有している。信号機４０は、図１では１基図示したのみであるが、通常は複数の信号機４０が設けられる。例えば交差点の場合、図２に例示するように、自動車用の信号機４０ａが４基、歩行者用の信号機４０ｂが８基設けられる。信号機４０は、それぞれ設置された位置に応じた交通信号を交通信号生成装置３０より受信して表示部４２の表示灯を点灯、点滅させる。

通信部４１は、有線または無線により、信号情報生成部３１にて生成された交通信号を受信する。また、通信部４１は、自動車１０、他の車２０および他の信号機４０との間で、車両の運転情報および交通に関する情報など、種々の情報を送受信する。

表示部４２は、信号灯を有し、通信部４１が受信した交通信号に応じて信号灯の表示を行う。具体的には、路上を走行する車両、道路を横断する歩行者に対して、進行、停止等の移動を許可または制限するために、信号灯を点灯、点滅、消灯する。なお、表示部４２は、赤色灯、黄色灯、青色灯だけでなく、交差点において直進可、左折可、右折可を示す矢印灯を点灯させてもよい。

本実施形態において、光学系４３と光電変換部４４とによってカメラの撮像部５０が構成される。光学系４３は、複数のレンズから構成され、光電変換部４４に被写体像を結像させる。撮像部５０が自動車用の信号機４０ａに設けられている場合、光学系４３は、主に車両の画像取得に用いられる。撮像部５０が歩行者用の信号機４０ｂに設けられている場合、光学系４３は、主に歩行者（自転車を含む）の画像取得に用いられる。撮像部５０は、表示部４２（信号灯）の近傍に設けられる。

光電変換部４４は、光学系４３から入射した光に対応して画素信号を出力する撮像チップと、画素信号を処理する信号処理チップと、画素信号を記憶するメモリチップとが積層して構成されている撮像素子１００を備える。上述した自動車１０における光電変換部１５と同様の構成である。撮像素子１００は、各画素又は複数画素（例えば１６画素×１６画素）からなる単位領域ごとに、交通信号に応じて撮像条件を設定することができる。

図３は、交差点に配置された自動車用の信号機４０ａを例示する図である。図３において、信号機４０ａの表示部４２ａの下方近傍に撮像部５０が設置されている。撮像部５０は、例えば、光学系４３として広角レンズを有し、図２に例示する交差点の複数の走行レーン（片側２車線等）の両側４車線を含む画角を有している。

記憶部４５は、例えば、フラッシュメモリ等の不揮発性の半導体メモリによって構成され、光電変換部４４で取得された画像データ等を記憶する。

制御部４６は、信号機４０全体を制御するものであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。本実施形態において、制御部４６は、交通信号に応じて表示部４２の信号灯の表示制御を行うとともに、光電変換部４４の撮像素子１００を用いた撮像を制御する。

なお、自動車用の信号機４０ａの撮像部５０による撮影範囲に、歩行者用の信号機４０ｂの撮像部５０による撮影範囲が含まれている場合は、歩行者用の信号機４０ｂの撮像部５０（光学系４３、光電変換部４４）を省略してもよい。

＜積層型撮像素子の説明＞
上述した自動車１０、他の車２０、および信号機４０において撮像部に備わる積層型撮像素子１００について説明する。なお、この積層型撮像素子１００は、本願出願人が先に出願して公開されたＷＯ13/164915号に記載されているものである。図４は、積層型撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面（撮像面）と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図４の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。

図５は、撮像チップ１１３の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１３を裏面（撮像面）側から観察した様子を示す。画素領域には例えば２０００万個以上もの画素がマトリックス状に配列されている。図５の例では、隣接する４画素×４画素の１６画素が一つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。

画素領域の部分拡大図に示すように、図５の単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子１００は、行方向（撮像チップ１１３のＸ軸方向）の間引きのみでなく、列方向（撮像チップ１１３のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。

図６は、単位領域１３１における回路を説明する図である。図６の例では、隣接する３画素×３画素の９画素により一つの単位領域１３１を形成する。なお、上述したように単位領域１３１に含まれる画素の数はこれに限られず、これ以下でもこれ以上でもよい。単位領域１３１の二次元的な位置を符号Ａ〜Ｉにより示す。

単位領域１３１に含まれる画素のリセットトランジスタは、画素ごとに個別にオンオフ可能に構成される。図６において、画素Ａのリセットトランジスタをオンオフするリセット配線３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０が、上記リセット配線３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０が、上記リセット配線３００、３１０とは別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれのリセットトランジスタをオンオフするための専用のリセット配線が設けられている。

単位領域１３１に含まれる画素の転送トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図６において、画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２が、別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれの転送トランジスタをオンオフするための専用の転送配線が設けられている。

さらに、単位領域１３１に含まれる画素の選択トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図６において、画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６が、別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれの選択トランジスタをオンオフするための専用の選択配線が設けられている。

なお、電源配線３０４は、単位領域１３１に含まれる画素Ａから画素Ｉで共通に接続されている。同様に、出力配線３０８は、単位領域１３１に含まれる画素Ａから画素Ｉで共通に接続されている。また、電源配線３０４は複数の単位領域間で共通に接続されるが、出力配線３０８は単位領域１３１ごとに個別に設けられる。負荷電流源３０９は、出力配線３０８へ電流を供給する。負荷電流源３０９は、撮像チップ１１３側に設けられてもよいし、信号処理チップ１１１側に設けられてもよい。

単位領域１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域１３１に含まれる画素Ａから画素Ｉに対して独立して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｉの画素信号を共通の出力配線３０８を介して出力することができる。

ここで、単位領域１３１に含まれる画素Ａから画素Ｉについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図６の例では「ＡＢＣＤＥＦＧＨＩ」の順序で画素信号が出力される。

このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位領域１３１間で異なったフレームレートによる画素信号をそれぞれ出力させることができる。また、撮像チップ１１３において一部のエリアに含まれる単位領域１３１に電荷蓄積（撮像）を行わせる間に他のエリアに含まれる単位領域１３１を休ませることにより、撮像チップ１１３の所定のエリアでのみ撮像を行わせて、その画素信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるエリア（蓄積制御の対象エリア）を切り替えて、撮像チップ１１３の異なるエリアで逐次撮像を行わせて、画素信号を出力させることもできる。

図７は、図６に例示した回路に対応する撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位領域１３１を形成する９個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該単位領域１３１に対応して設けられた出力配線３０８へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図７では１つの単位領域１３１の分の接続を示すが、実際にはこれらが単位領域１３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位領域１３１ごとに存在しなくてもよく、例えば、一つの演算回路４１５がそれぞれの単位領域１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。

上記の通り、単位領域１３１のそれぞれに対応して出力配線３０８が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０８にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

＜測距の説明＞
図８は、撮像素子１００の撮像面における焦点検出用画素の位置を例示する図である。本実施形態では、撮像チップ１１３のＸ軸方向（水平方向）に沿って離散的に焦点検出用画素が並べて設けられている。図８の例では、１５本の焦点検出画素ライン６０が所定の間隔で設けられる。焦点検出画素ライン６０を構成する焦点検出用画素は、測距用の画像信号を出力する。撮像チップ１１３において焦点検出画素ライン６０以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、移動体や障害物等を監視する画像信号を出力する。

図９は、上記焦点検出画素ライン６０のうち一つのラインの一部を含む領域を拡大した図である。図９において、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂと、焦点検出用画素Ｐ１、および焦点検出用画素Ｐ２とが例示される。赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂは、上述したベイヤー配列の規則にしたがって配される。

赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系の射出瞳を通る光束を受光する。すなわち、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。

なお、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂの受光領域（マスク開口部）の形状は四角形に限定されず、例えば円形であってもよい。

焦点検出用画素Ｐ１、および焦点検出用画素Ｐ２について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素Ｐ１は、図９において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｐ１の受光部に到達する。一方、焦点検出用画素Ｐ２は、図９において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｐ２の受光部に到達する。このように、焦点検出用画素Ｐ１および焦点検出用画素Ｐ２は、撮像光学系の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。

なお、撮像チップ１１３における焦点検出画素ラインの位置は、図８に例示した位置に限定されない。また、焦点検出画素ラインの数についても、図８の例に限定されるものではない。さらに、焦点検出用画素Ｐ１および焦点検出用画素Ｐ２におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素Ｒ、撮像用画素Ｇ、撮像用画素Ｂにおける四角形状受光領域（マスク開口部）を横方向に分割した長方形状としてもよい。

また、撮像チップ１１３における焦点検出画素ラインは、撮像チップ１１３のＹ軸方向（鉛直方向）に沿って焦点検出用画素を並べて設けたものでもよい。図９のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。

なお、図９の例では、焦点検出用画素Ｐ１、Ｐ２がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成、いわゆる１ＰＤ構造を説明した。この代わりに、例えば特開２００７−２８２１０７号公報に開示されるように、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成、いわゆる２ＰＤ構造にしてもよい。このように２ＰＤ構造にすることにより、焦点検出用画素からも画像データを読み出すことが可能となり、焦点検出画素が欠陥画素になることがない。

本実施形態では、焦点検出用画素Ｐ１および焦点検出用画素Ｐ２から出力される測距用の画像信号に基づいて、撮像光学系の異なる領域を通る一対の光束による一対の像の像ズレ量（位相差）を検出することにより、撮像光学系の焦点調節状態（デフォーカス量）を演算する。

一般に、上記一対の像は、撮像光学系が予定焦点面よりも前に対象物（例えば先行車）の鮮鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆に予定焦点面より後ろに対象物の鮮鋭像を結ぶいわゆる後ピン状態では互いに遠ざかる。予定焦点面において対象物の鮮鋭像を結ぶ合焦状態には、上記一対の像が相対的に一致する。したがって、一対の像の相対位置ズレ量は、対象物までの距離（奥行き情報）に対応する。

上記位相差に基づくデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。ここで、デフォーカス量と対象物までの距離とは一対一で対応するため、対象物ごとにデフォーカス量を求めることにより、カメラから各対象物までの距離を求めることができる。すなわち、撮影画面の複数の位置で、それぞれ上記対象物までの距離測定（測距）が行える。デフォーカス量と対象物までの距離との関係は、あらかじめ数式またはルックアップテーブルとして用意し、不揮発性メモリ等に格納しておく。

＜自動車の制御＞
以下、自動車１０の制御部１９が実行する制御について、図１０のフローチャートを参照して説明する。なお、このフローチャートは自動車１０の起動、例えばエンジンの始動または運転システム等の始動により開始されるものとする。図１０のフローチャートによる処理を実行するためのプログラムは、制御部１９にあるＲＯＭ等の記憶媒体、または自動車１０の記憶部１７に格納されている。

制御部１９は、ステップＳ１において、光電変換部１５の撮像素子１００による撮像を開始させる。上述したように、自動車１０の撮像部５（光学系１４、光電変換部１５）は、自動車１０の前後の画像をそれぞれ取得する。

制御部１９は、ステップＳ２において、通信部１６を介して、他の車２０（自動車１０と同じレーンを走行する車両に加え、自動車１０と同じ進行方向で異なる走行レーンを走行する車両）と通信を行う。本実施形態においては、図１１（ａ）に示したように、自動車１０と同じレーンを走行する前の車両７３Ａが自動運転車であり、隣の走行レーン（進行方向同じ）を走行する前の車両７２Ａが手動運転車であるとする。また、自動車１０と同じレーンを走行する後ろの車両７３Ｂが自動運転車であり、隣の走行レーン（進行方向同じ）を走行する後ろの車両７２Ｂが手動運転車であるとする。

自動車１０の周囲の車両が自動運転車か手動運転車かは、通信部１６による公知の車車間通信などの通信結果に基づき判別する。また、他の車２０に識別マークなどが表示される場合には、撮像部５（光学系１４、光電変換部１５）による撮像結果に基づき判別してもよい。識別マークは、所定のマークやコードを車両のボディに表示するものでもよく、車両のルーフ等に設けた不図示の表示部に識別情報を表示させるものでもよい。
なお、通信結果（通信不能）や撮像結果に基づき自動運転車か手動運転車かを判別できない他の車２０については、制御部１９は、手動運転車であると推定するものとする。

制御部１９は、ステップＳ３において、光電変換部１５の撮像素子１００の上記単位領域１３１（図５）ごとに個別に撮像条件を設定する。図１１（ｂ）および図１１（ｃ）は、それぞれ自動車１０の前方および後方を撮像する撮像素子１００に結像される被写体（対象物）の像を模式的に示す図である。実際には倒立逆像が結像されるが、分かりやすくするために正立正像として図示している。白線８０ａは、進行方向に向かって道路左側の区画線、白線８０ｂは走行レーン（車線）の境界線、白線８０ｃは道路右側の区画線を表す。

上述したように、自動車１０の隣のレーンを走行する前後の車両７２Ａ、７２Ｂは手動運転車であるため、制御部１９は、図１１（ｂ）において車両７２Ａを含む領域を注目領域７１Ａとする。そして、注目領域７１Ａに該当する撮像素子１００の単位領域のフレームレートを通常領域のフレームレートより高く設定し（例えば６０ｆｐｓ）、間引き率を通常領域より低い０〜２０％とする。

同様に、制御部１９は、図１１（ｃ）において車両７２Ｂを含む領域を注目領域７１Ｂとする。そして、注目領域７１Ｂに該当する撮像素子１００の単位領域のフレームレートを通常領域のフレームレートより高く設定し（例えば６０ｆｐｓ）、間引き率を通常領域より低い０〜２０％とする。
制御部１９はさらに、この間引き率を自動車１０の移動速度または自動車１０と他の車２０との相対的な移動速度に応じて設定変更する。例えば、相対的な移動速度が速くなるに連れて間引き率を低く変更する。

なお、図１１（ｂ）は注目領域７１Ａを除く領域を全て通常領域とする例であるが、自動運転車である車両７３Ａを囲む領域を準注目領域７４Ａとし、注目領域７１Ａおよび準注目領域７４Ａを除く領域を通常領域としてもよい。また、図１１（ｃ）は注目領域７１Ｂを除く領域を全て通常領域とする例であるが、自動運転車である車両７３Ｂを囲む領域を準注目領域７４Ｂとし、注目領域７１Ｂおよび準注目領域７４Ｂを除く領域を通常領域としてもよい。なお、制御部１９は、準注目領域７４Ａ，Ｂの撮像条件を完全自動運転と準自動運転とで異なる設定としてもよい。この場合、制御部１９は、準自動運転の場合の撮像素子１００のフレームレートを完全自動運転の場合の撮像素子１００のフレームレートよりも高く設定すればいい。また、制御部１９は、完全自動運転の場合にその撮像領域を通常領域と設定してもよい。

制御部１９は、それぞれ自動車１０の前方および後方を撮像する撮像素子１００に対し、準注目領域７４Ａ、７４Ｂに該当する撮像素子１００の単位領域のフレームレートを、通常領域のフレームレートより低く設定し（例えば３０ｆｐｓ）、間引き率を３０〜６０％程度に設定する。

また、制御部１９は、上記注目領域７１Ａ、７１Ｂに加えて、路上の白線が含まれる領域を注目領域としてよい。そして、それぞれ自動車１０の前方および後方を撮像する撮像素子１００に対し、注目領域に該当する撮像素子１００の単位領域のフレームレートを、通常領域のフレームレートより高く設定し（例えば６０ｆｐｓ）、間引き率を０〜２０％とする。
このように、手動運転車と自動運転車とを撮像する際に撮像素子１００の単位領域ごとに撮像条件を異ならせることにより、撮像素子１００を効率的に使用することができ、消費電力や発熱を抑えることができる。

制御部１９は、図１０のステップＳ４において、通信部１６を介して信号機４０と通信可能かどうか、すなわち信号機４０（交差点）に近づいてきたかどうか等を判断する。制御部１９は、信号機４０との通信ができない（通信可能エリア外）場合には、ステップＳ４を否定判定してステップＳ７に進む。一方、制御部１９は、信号機４０との通信が可能な（通信可能エリア内）場合は、ステップＳ４を肯定判定してステップＳ５に進む。

制御部１９は、ステップＳ５において、信号機４０（自動車用の信号機４０ａまたは歩行者用の信号機４０ｂ）の光電変換部４４によって取得された画像に基づく情報を受信する。例えば、制御部１９は、自動車１０が左折する場合（米国などの車両が右側通行の地域では右折する場合）に、歩行者用の信号機４０ｂから人物に関する情報を受信する。この場合、信号機４０の制御部４６が光電変換部４４によって取得された画像に基づいて歩行者の有無を判断し、制御部１９が、制御部４６によって判断された歩行者に関する情報を受信する。
なお、自動車１０の制御部１９が、信号機４０の光電変換部４４によって取得された画像データを受信し、受信した画像データに基づいて歩行者の有無を判断するようにしてもよい。

制御部１９は、自動車１０が右折をする場合（車両が右側通行の地域では左折する場合）に、対向車線の直進車が自動運転車か手動運転車かといった情報を自動車用の信号機４０ａから受信する。さらに、制御部１９は、自動車用の信号機４０ａから交通信号の切り替わりに関する情報（例えば数秒後に青信号から赤信号に変わる等の信号切り替え情報）を受信する。

制御部１９は、ステップＳ６において、ステップＳ５にて入手した情報に基づいて光電変換部１５の撮像素子１００の撮像条件を設定する。制御部１９は、例えば自動車１０が交差点で左折する場合に、撮影画面の左側に対応する撮像素子１００の単位領域のフレームレートを、撮影画面の右側に対応する単位領域のフレームレートより高くしたり、自動車１０の速度や歩行者の移動速度（例えば時速４ｋｍ/ｈ）に対応して上記フレームレートを変化させたりする。

例えば、時速５０ｋｍ/ｈで移動していた自動車１０が、左折のために１０ｋｍ/ｈ程度まで減速した場合には、撮影画面の左側に対応する単位領域のフレームレートを減速前に比べて下げる。また、制御部１９は、自動車１０が左折する場合に、歩道を渡る歩行者が自動車１０に近付いてくるのか、または歩行者が自動車１０から遠ざかるのかに応じて、撮像素子１００の撮像条件を設定する。すなわち、制御部１９は、自動車１０に近づいてくる人に対応する撮像素子１００の単位領域のフレームレートを高くするとともに間引き率を低くして、自動車１０から遠ざかる歩行者（特に自動車１０が通過予定の横断歩道をすでに渡り終えた人）に対応する撮像素子１００の単位領域のフレームレートを低くするとともに間引き率を高くする。

また、自動車１０が交差点で右折する場合に、制御部１９は、対向車線から直進して来る他の車２０が手動運転車である場合には、撮影画面の右側に対応する単位領域のフレームレートを撮影画面の左側に対応する単位領域のフレームレートより相対的に高くして、間引き率を低くする。また、右折先の横断歩道を渡る歩行者が自動車１０に近づいてきている場合には、近づいてくる歩行者に対応する撮像素子１００の単位領域のフレームレートをさらに高くして、間引き率をさらに低くする。

制御部１９は、自動車１０が右折・左折をする場合に、ターンシグナルスイッチの操作状態や、ハンドルの操作量に応じて、注目すべき撮像領域を予測（歩行者等が写りこむ可能性がある撮像領域を予測）して、撮像条件を設定変更するようにしてもよい。

また、制御部１９は、自動車用の信号機４０ａから交通信号の切り替わりに関する情報を受信して、その情報に基づいて撮像素子１００の撮像条件を変更する。例えば、制御部１９は、数秒後に青信号から赤信号に変わるという交通信号の切り替わりに関する情報を自動車用の信号機４０ａから受信し、自動車１０が減速する場合には、前方を撮像する撮像素子１００のフレームレートを減速前より低くしたり、間引き率を高くしたりするように制御する。一方、制御部１９は、後方を撮像する撮像素子１００の撮像条件はそのまま維持するように制御する。
なお、自動車１０が減速すると、後続車が自動車１０に接近することが予想されるので、後方を撮像する撮像素子１００のフレームレートを、減速前より高くしたり、間引き率を低くしたりする制御を行ってもよい。
制御部１９は、自動車１０が速度を変更する場合に、ブレーキやアクセルの操作量（ペダルの踏み込み量）に応じて速度変化を予測して、撮像条件を設定変更するようにしてもよい。

制御部１９は、ステップＳ７において、エンジン（または運転システム）がオンかどうかを判定する。制御部１９は、エンジン（または運転システム）がオンであればステップＳ７を肯定判定してステップＳ２以降の処理を繰り返す。制御部１９は、エンジン（または運転システム）がオフであればステップＳ７を否定判定し、本フローチャートによる処理を終了する。

＜信号機の制御＞
次に、信号機４０の制御部４６が実行する制御について、図１２のフローチャートを参照して説明する。図１２のフローチャートによる処理を実行するためのプログラムは、制御部４６にあるＲＯＭ等の記憶媒体、または記憶部４５に格納されている。

制御部４６は、ステップＳ１０において、交通信号生成装置３０から交通信号を受信したかを判定する。制御部４６は、交通信号生成装置３０からの交通信号を受信すると、ステップＳ１０を肯定判定してステップＳ１１に進む。制御部４６は、交通信号生成装置３０からの交通信号を受信していない場合は、ステップＳ１０を否定判定して受信を待つ。

制御部４６は、ステップＳ１１において、表示部４２の表示制御を行う。例えば、制御部４６は交通信号生成装置３０から受信した交通信号に応じて表示部４２の信号灯表示を赤から青に切り替える制御を行う。

制御部４６は、ステップＳ１２において、一若しくは複数の車両または他の信号機４０と通信を行う。制御部４６が通信対象とする車両には、自動車１０、および通信部２１を備える他の車２０を含むことができる。
なお、通信対象車両は、交差点または信号機４０から所定の範囲内にある車両としてもよいし、道路に設置された不図示の情報提供システム等を介して通信可能な車両としてもよい。

制御部４６は、通信対象車両から、該車両または該車両の周辺の車両が自動運転車であるか手動運転車であるか等の移動方式についての情報を取得する。さらに、制御部４６は、通信対象車両から、該車両または該車両の周辺の車両の運転状況に関する情報を取得する。例えば、通信対象車両の制御部１９または制御部２５が、ウィンカー（方向指示器）を作動させるためのターンシグナルスイッチの状態から交差点での進路変更（右折または左折）を予測する。制御部４６は、通信対象車両によって予測された右折予測情報または左折予測情報を、上記運転状況に関する情報として通信対象車両から取得する。

なお、車両が自動運転車であるか手動運転車であるかは、制御部４６が通信対象車両との通信結果に基づき判別してもよい。また、車両に識別マークなどが表示される場合には、制御部４６が、撮像部（光学系４３、光電変換部４４）による撮像結果に基づき判別してもよい。さらに、車両の進路変更（右折または左折）については、制御部４６が、撮像部（光学系４３、光電変換部４４）による撮像結果に基づき、該車両のウィンカーの作動状態から判別してもよく、該車両が左折レーン上にあるか、右折レーン上にあるかによって判別してもよい。

また、制御部４６は、自動車用の信号機４０ａまたは歩行者用の信号機４０ｂを含む他の信号機４０とも通信を行い、交差点等における交通状況の情報を取得することができる。制御部４６はさらに、必要に応じて、各信号機の交通信号生成に係る交通信号生成装置３０と通信を行い、交通信号の表示状況についての情報を取得する。

制御部４６は、ステップＳ１３において、表示部４２の信号灯の表示状況、およびステップＳ１２で取得した情報に基づいて、光電変換部４４の撮像素子１００の撮像条件を設定する。光電変換部４４の撮像素子１００における撮像条件の設定の詳細については後述する。

制御部４６は、ステップＳ１４において、ステップＳ１３で設定された撮像条件の下に撮像部（光学系４３、光電変換部４４）による撮像を行わせる。

制御部４６は、ステップＳ１５において、ステップＳ１４で取得した画像データを、通信部４１を介して、自動車１０、他の車２０または他の信号機４０等に送信する。また、制御部４６は、上記画像データに基づいて画像処理または画像解析を行い抽出した各情報、例えば、車両の方向、速さ等の各データと、ウィンカー等の作動状態の識別とにより推定した当該車両の走行レーンの情報も、同様に送信する。

さらに、制御部４６は、解析した情報に基づいて通信対象車両（自動車１０や他の車２０）の推定される走行レーンや障害となる対象物（車両や歩行者を含む）を認識し、認識結果を基にメッセージを生成し、メッセージを通信部４１から通信対象車両へ送信させてもよい。メッセージは、例えば「後方から二輪車が来ます。」、「歩行者が横断します。」、「対向車両が直進します。」などである。制御部４６は、ステップＳ１０からステップＳ１５までの処理を、繰り返し実行する。

＜信号機における撮像条件の設定＞
図１３は、自動車用の信号機４０ａが青信号を表示しているときの、自動車用の信号機４０ａと一体として設置、あるいはその近傍に設置された撮像部５０−１の撮像素子１００における撮像条件の制御の例を示す図である。

図１３において、走行レーン（車線）Ａに対する自動車用の信号機４０ａと、撮像部５０−１と、交通信号生成装置３０−１とが示されている。当該交差点にあるその他の信号機等は、図示が省略されている。自動車用の信号機４０ａの制御部４６は、撮像部５０−１の撮像領域７０の範囲内で、青信号により車両が移動している走行レーンの範囲を、注目領域７１として設定する（網掛けの範囲）。

制御部４６は、注目領域７１に対応する撮像素子１００の単位領域について、注目領域７１以外の単位領域よりフレームレートを高くしたり、間引き率を低くしたりして制御する。また、図１３の注目領域７１において自動運転でない手動運転車である車両７２が存在するときは、制御部４６は、車両７２を囲む領域を特注目領域７５として設定する。そして、特注目領域７５に対応する撮像素子１００の単位領域のフレームレートを、注目領域７１に対応する単位領域よりもさらに高くする。制御部４６は、特注目領域７５に対応する撮像素子１００の単位領域の間引き率についても、注目領域７１に対応する単位領域の間引き率よりもさらに低く制御する。

また、制御部４６は、注目領域７１の中で、右左折のために一時停止している車両７６、車両７７を含む領域についても、それぞれ、注目領域７１に対応する単位領域より間引き率を低くすることによって高解像度で撮像することができる。

図１４は、自動車用の信号機４０ａが赤信号を表示しているときの、自動車用の信号機４０ａと一体として設置、あるいはその近傍に設置された撮像部５０−１の撮像素子１００における撮像条件の制御の例を示す図である。

図１４において、走行レーン（車線）Ａに対する自動車用の信号機４０ａと、撮像部５０−１と、交通信号生成装置３０−１とが示されている。当該交差点にあるその他の信号機等は、図示が省略されている。制御部４６は、撮像部５０−１の撮像領域７０の範囲内で、歩行者９０が進入しうる横断歩道およびその付近を注目領域７１として設定する（網掛けの範囲）。

制御部４６は、注目領域７１に対応する撮像素子１００の単位領域について、注目領域７１以外の単位領域よりフレームレートを高くしたり、間引き率を低くしたりして制御する。また、制御部４６は、歩行者９０を認識したときは、歩行者９０を含む所定の範囲の領域を特注目領域７５として設定する。そして、特注目領域７５に対応する撮像素子１００の単位領域のフレームレートを、注目領域７１に対応する単位領域よりもさらに高くする。制御部４６は、特注目領域７５に対応する撮像素子１００の単位領域の間引き率についても、注目領域７１に対応する単位領域の間引き率よりもさらに低く制御する。

図１５は、歩行者用の信号機４０ｂと一体として設置、あるいはその近傍に設置された撮像部５０−２の撮像条件の制御の例を示す図である。図１５において、歩行者用の信号機４０ｂと、撮像部５０−２と、交通信号生成装置３０−２とが示されている。当該交差点にあるその他の信号機等は、図示が省略されている。歩行者用の信号機４０ｂの制御部４６は、撮像部５０−２の撮像領域７０の範囲内で、歩行者９０が進入しうる横断歩道およびその付近を注目領域７１として設定する（網掛けの範囲）。

制御部４６は、注目領域７１に対応する撮像素子１００の単位領域について、注目領域７１以外の単位領域よりフレームレートを高くしたり、間引き率を低くしたりして制御する。また、制御部４６は、歩行者９０を認識したときは、歩行者９０を含む所定の範囲の領域を特注目領域７５として設定する。そして、特注目領域７５に対応する撮像素子１００の単位領域のフレームレートを、注目領域７１に対応する単位領域よりもさらに高くする。制御部４６は、特注目領域７５に対応する撮像素子１００の単位領域の間引き率についても、注目領域７１に対応する単位領域の間引き率よりもさらに低く制御する。

図１６（ａ）は、歩行者用の信号機４０ｂに設置された撮像部５０−２により撮像される場面を例示する図である。図１６（ｂ）は、撮像部５０−２により取得された画像データを用いた被写体認識結果に基づく撮像条件の設定を説明する図である。図１６（ａ）において、歩行者用の信号機４０ｂに、上述の撮像素子１００を有する撮像部５０−２が設置されている。本実施形態に係る撮像素子１００によれば、上下・左右方向だけでなく奥行き方向の移動も計測することができるため、被写体である歩行者９０が移動する速度Ｖｏを測定することが可能である。

図１６（ｂ）において、制御部４６は、撮像部５０−２の撮像領域７０の範囲内で、横断歩道を渡る歩行者９０を含む範囲を注目領域７１として設定する。そして、制御部４６は、注目領域７１に対応する撮像素子１００の単位領域について、注目領域７１以外の単位領域との間で撮像条件を異ならせる。このとき、制御部４６は、歩行者９０の速度Ｖｏに依存して撮像条件を異ならせる。

制御部４６は、例えば、歩行者９０の速度Ｖｏの絶対値が大きいときは、歩行者９０を含む注目領域７１に対応する撮像素子１００の単位領域について、注目領域７１以外の単位領域よりフレームレートを高くしたり、間引き率を低くしたりして制御する。

また、制御部４６は、付近の車両や建築物と歩行者９０との位置関係に基づいて、注目領域７１に対する撮像条件を変えてもよい。例えば、交差点を右折または左折のためにウィンカーを作動させている車両が撮像領域７０に存在する場合、その車両が横断歩道に進入する可能性があるので、制御部４６は、注目領域７１のうち、上記車両に近い側の領域を特注目領域として設定する。そして、特注目領域に対応する撮像素子１００の単位領域のフレームレートを、注目領域７１に対応する単位領域よりもさらに高くする。制御部４６は、特注目領域に対応する撮像素子１００の単位領域の間引き率についても、注目領域７１に対応する単位領域の間引き率よりもさらに低く制御する。

さらに、制御部４６は、注目領域７１においても、斜線で示した複数の画素または領域７８Ｐと、斜線で示されていない複数の画素または領域７８Ｓとで、撮像条件を異ならせてもよい。図１６（ｂ）の例では、市松模様状に上下左右に隣接する画素または領域同士で撮像条件を異ならせたが、この態様に限らずともよい。

また、制御部４６は、撮像領域７０の範囲内に他の歩行者や自転車などの対象物を認識した場合には、これら複数の対象物をそれぞれ含む領域を、注目領域７１に加えてもよい。そして、複数の注目領域７１において、それぞれ斜線で示した複数の画素または領域７８Ｐと、斜線で示されていない複数の画素または領域７８Ｓとで、撮像条件を異ならせてもよい。

図１７は、交差点において自動車用の信号機４０ａに設置された撮像部５０−１により撮像される場面を例示する図である。図１７において、自動車用の信号機４０ａは、直進可、左折可、右折可を示す表示灯を有する表示部４２ａを備える。撮像部５０−１により撮像された画像データを用いた被写体認識結果に基づく撮像条件の設定の例を説明する。

図１７は、信号機４０ａの表示部４２ａが、直進可と左折可を示す表示灯を点灯し、右折を待機させている状態を示す。自動車用の信号機４０ａの制御部４６は、直進または左折する車両が通過する走行レーンＡ，直進する車両が通過する走行レーンＢに対応する撮像素子１００の単位領域のフレームレートを、他の走行レーンＣに対応する単位領域のフレームレートよりも高くしたり、間引き率を低くしたりして制御する。言い換えれば、制御部４６は、走行レーンＣに対応する単位領域のフレームレートを低くしたり、間引き率を高く設定したりして制御する。
なお、フレームレートを低くすることは、その単位領域において撮像を行わない設定を行うことも含む。

以上説明した実施形態に係る自動車１０または信号機４０（自動車用の信号機４０ａ、歩行者用の信号機４０ｂ）における撮像素子１００の撮像条件の制御においては、表示部４２の表示の切り替わりタイミングとほぼ同時に撮像条件を変更してもよいし、表示の切り替わりタイミングから一定の時間間隔を設けて撮像条件を変更してもよい。あるいは、表示の切り替わり直後の一定時間は、表示の切り替わり前において設定した注目領域と、表示の切り替わり後に設定すべき注目領域との両方を注目領域として、撮像条件を変更してもよい。

上述した実施形態によれば、次の作用効果が得られる。
（１）自動車１０（または信号機４０）の撮像装置は、複数の領域の撮像条件を設定可能な撮像素子１００を備えた撮像部５（または撮像部５０）と、周囲の他の車２０の運転方式に基づいて、複数の単位領域の撮像条件を設定する制御部１９（または制御部４１）とを備える。これにより、撮像素子１００に対し、周囲の車２０の運転方式に適した撮像条件を設定し得る。

（２）制御部１９（または制御部４１）は、運転方式が異なる他の車２０を撮像する領域毎に異なる撮像条件を設定するので、撮像素子１００に対して、運転方式が異なる車２０を撮像する領域間に異なる撮像条件を設定し得る。

（３）他の車２０の運転方式は、自動運転方式と手動運転方式とであり、制御部１９（または制御部４１）は、自動運転方式の車２０を撮像する領域と、手動運転方式の車２０を撮像する領域とで異なる撮像条件を設定するので、撮像素子１００に対して、自動運転方式の車２０を撮像する領域と、手動運転方式の車２０を撮像する領域との間に異なる撮像条件を設定し得る。

（４）制御部１９（または制御部４１）は、手動運転方式の車２０を撮像する領域のフレームレートを、自動運転方式の車２０を撮像する領域のフレームレートよりも高く設定する。これにより、手動運転方式の車２０を撮像する頻度が自動運転方式の車２０を撮像する頻度より高まるので、手動運転方式の車２０に対する注目度を高めることができる。すなわち、手動運転方式の車２０の予測のできない挙動について、迅速かつ正確な情報を取得することが可能になる。

（５）制御部１９（または制御部４１）は、手動運転方式の車２０を撮像する領域の画素の間引き率を、自動運転方式の車２０を撮像する領域の画素の間引き率よりも低く設定する。これにより、手動運転方式の車２０についての情報量を自動運転方式の車２０についての情報量より多くすることができる。すなわち、手動運転方式の車２０の予測のできない挙動についてより正確な情報を取得することが可能になる。

（６）周囲の他の車２０の移動方式に関する情報を取得する制御部１９（または制御部４１）を備えるようにしたので、例えば、周囲の他の車２０が入れ替わる場合でも、取得した最新の情報に基づいて、撮像素子１００に対して撮像条件を設定することができる。

（７）制御部１９（または制御部４１）は、他の車２０との通信によって情報を取得するようにしたので、通信によって得た新たな情報に基づいて、撮像素子１００の撮像条件を適切に設定することができる。

（８）制御部１９（または制御部４１）は、撮像部５（または撮像部５０）による他の車２０の撮像によって情報を取得するので、通信ができない状況においても、新たな情報に基づいて撮像素子１００の撮像条件を適切に設定することができる。

（９）制御部１９は、他の車２０とは異なる信号機４０から情報を取得する。これにより、他の車２０との通信ができない状況においても、新たな情報に基づいて撮像素子１００の撮像条件を適切に設定することができる。

（１０）制御部１９（または制御部４１）は、他の車２０が自動運転車か手動運転車かを示す情報を取得し、自動運転車を撮像する領域と、手動運転車を撮像する領域とで異なる撮像条件を設定する。これにより、例えば自動運転車に比べて手動運転車についての注目度を高めるように、撮像素子１００の撮像面における単位領域ごとに撮像条件を適切に設定することができる。特に、手動運転車に対してフレームレートを高くし、画素の間引き率を低くすることにより、手動運転車の予測のできない挙動について迅速かつ正確に情報を取得することができる。

（１１）自動車１０は、上記（１）から（１０）の撮像装置を備えるので、自動車１０の周囲の他の車２０の移動方式に合わせ、撮像装置に対する撮像条件を適切に設定できる。

（１２）自動車１０の制御部１９（または制御部４１）は、自動車１０におけるハンドル、ターンシグナルスイッチ、アクセル、またはブレーキ等の操作に応じて撮像素子１００の撮像条件を変更する。これにより、自動車１０の進路変更、速度変更等に応じて、撮像素子１００の撮像面における単位領域ごとに撮像条件を適切に設定することができる。

（１３）信号機４０は、複数の領域の撮像条件を独立して設定可能な撮像素子１００を備えた撮像部５０と、自動車１０、他の車２０の移動に関する情報に基づいて、複数の領域の撮像条件を設定する制御部４６とを備える。これにより、交差点等を移動する自動車１０、他の車２０の交通状況に応じて、撮像素子１００に撮像条件を設定することができる。

（１４）自動車１０、他の車２０の移動に関する情報は、自動車１０、他の車２０の移動を許可する信号と、自動車１０、他の車２０の移動を許可しない信号とを有し、制御部４６は、それぞれの信号に基づいて撮像条件を設定するようにした。これにより、自動車１０、他の車２０が移動する場合と、自動車１０、他の車２０が移動しない場合とで、それぞれ撮像素子１００の撮像条件を適切に設定することができる。

（１５）自動車１０、他の車２０の移動を許可する信号は、直進を許可する信号と、左折を許可する信号と、右折を許可する信号とを有し、制御部４６は、それぞれの信号に基づいて撮像条件を設定するようにした。これにより、自動車１０、他の車２０が直進する場合、左折する場合、右折する場合において、それぞれ撮像素子１００の撮像条件を適切に設定することができる。

（１６）制御部４６は、自動車１０、他の車２０の移動に関する情報の切り替わりに応じて撮像条件を変更するので、上記信号の切り替わるタイミングで、適切に撮像素子１００の撮像条件を変更することができる。

（１７）信号機４０は、周囲の自動車１０、他の車２０の移動に関する情報を取得する制御部４６を備えるので、例えば、周囲の他の車２０が入れ替わる場合でも、取得した最新の情報に基づいて、撮像素子１００に対して撮像条件を設定することができる。

（１８）制御部４６は、自動車１０、他の車２０との通信によって情報を取得するので、通信によって得た新たな情報に基づいて、撮像素子１００の撮像条件を適切に設定することができる。

（１９）制御部４６は、撮像部５０による自動車１０、他の車２０の撮像によって情報を取得するので、通信ができない状況においても、新たな情報に基づいて撮像素子１００の撮像条件を適切に設定することができる。

（２０）制御部４６は、自動車１０、他の車２０が自動運転方式の自動車か手動運転方式の自動車かを示す情報を移動に関する情報として取得し、自動運転方式の自動車を撮像する領域と、手動運転方式の自動車を撮像する領域とで異なる撮像条件を設定する。これにより、例えば自動運転方式の自動車に比べて手動運転方式の自動車についての注目度を高めるように、撮像素子１００の撮像面における単位領域ごとに撮像条件を適切に設定することができる。特に、手動運転方式の自動車に対してフレームレートを高くし、画素の間引き率を低くすることにより、手動運転方式の自動車の予測のできない挙動について迅速かつ正確に情報を取得することができる。

（２１）制御部４６は、自動車１０、他の車２０の進路変更を示す情報を取得し、自動車１０、他の車２０の進路変更に基づいて撮像条件を設定する領域を変更する。これにより、進路変更のタイミングで、適切に撮像素子１００の撮像条件を変更することができる。

（２２）自動車１０、他の車２０とは異なる他の自動車１０、他の車２０と通信を行う通信部４１を備えるので、例えば、信号機４０の周囲の他の車２０の情報を、自動車１０へ送信することができる。

（２３）自動車１０および信号機４０は、撮像する対象物が移動する速度を測定し、速度の大きさ、方向・向きに応じて撮像素子１００の撮像条件を変更する。従って、対象物の移動状況に応じ、撮像素子１００の撮像面における領域ごとに撮像条件を適切に設定することができる。

（２４）自動車１０は、何秒後に信号が切り変わるかなどの情報を取得し、自動車１０の運転状況に反映させる。従って、信号の切り替わりをあらかじめ考慮に入れた円滑な運転が実現できる。

（２５）自動車１０または信号機４０は、信号の切り替わりの直後の一定時間は、直前の信号において設定した注目領域と、切り替わり後の信号で設定すべき注目領域との両方を注目領域として含むように、撮像素子１００の撮像条件を設定する。これにより、信号の切り替わりにおける過渡的な状態に対し、撮像素子１００の撮像条件を適切に設定することができる。

（２６）自動車１０および信号機４０を含む撮像システム１により、正確かつ効率的な撮像による情報取得と、通信とに基づいた、より整理された交通システムを実現することができる。

なお、上述の実施形態では、自動車１０の制御部１９または信号機４０の制御部４６が行う制御によってそれぞれ撮像部５、撮像部５０を制御したが、撮像部５、撮像部５０の制御の一部を撮像部内部の制御回路（ＣＰＵ等）により行うようにしてもよい。

また、信号機４０の制御部４６が行う処理の一部を信号情報生成装置３０の制御部３４により行うようにしてもよい。カメラ等の撮像部５０は、必ずしも信号機４０に付随するものでなくともよく、交差点等の交通信号または交通状況に応じて設置してよい。

さらに、上述の実施形態では、メッセージの表示にナビシステム１３の表示部・音声再生部を利用したが、別個の表示・再生装置を利用してもよい。さらに、自動車１０のフロントガラスに情報を投映するＨＵＤ(Head Up Display)と、音声情報を再生するスピーカとによって構成される表示・再生装置を利用するようにしてもよい。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
信号機４０の制御部４６は、撮像部５０による撮像、または通信部４１による通信により、道路上または交差点における車両の自動運転車の割合に関する情報を取得し、その割合に応じて撮像条件を変えてもよい。例えば、制御部４６は、自動運転車の割合が多い時間帯には、自動運転車の割合が少ないときに比べて間引き率を上げるように制御する。これにより、消費電力の節約等が実現でき、より効率的な撮像を行うことができる。

（変形例２）
自動車１０の制御部１９または信号機４０の制御部４６は、自動運転車か手動運転車かを撮像により識別するのに加え、初心運転者標識や高齢運転者標識などの標識を識別してもよい。そして、初心運転車や高齢運転車に対応する撮像素子１００の単位領域において異なる撮像条件を設定する。例えば初心運転者標識の表示された車両は、手動運転車に対応する撮像素子１００の単位領域よりもフレームレートをさらに高くしたフレームレートで撮像してもよい。これにより、対象物に応じて、撮像素子１００の撮像面における単位領域ごとに撮像条件を適切に設定することができる。

（変形例３）
以上の説明では、撮像素子１００を用いた撮像により距離測定および周囲の移動体や障害物の検出を行ったが、不図示のレーダを併用してもよい。これにより、撮像素子１００とレーダの特性を生かし、より信頼性の高い交通情報の取得を行うことができる。

上記では、種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。実施形態および変形例で示された各構成を組み合わせて用いる態様も本発明の範囲内に含まれる。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…撮像システム
５、５０（５０−１、５０−２）…撮像部
１０…自動車
１９、４６…制御部
２０…他の車
３０…交通信号生成装置
４０…信号機
４０ａ…自動車用の信号機
４０ｂ…歩行者用の信号機
４２…表示部
７０…撮像領域
７１、７１Ａ、７１Ｂ…注目領域
７２、７２Ａ、７２Ｂ、７３Ａ、７３Ｂ、７６、７７…車両
７４Ａ、７４Ｂ…準注目領域
７５…特注目領域
９０…歩行者
１００…撮像素子
１１３…撮像チップ

Claims (6)

1. 車に搭載される撮像装置において、
   複数の撮像領域の撮像条件を独立して設定可能な撮像素子を備え、前記車の外部を撮像する撮像部と、
   信号機から、横断歩道の移動体の移動に関する情報を取得する取得部と、
   前記取得部で取得した前記移動体の移動に関する情報に基づいて、前記撮像部の一部の撮像領域である第一撮像領域の撮像条件を変更する撮像制御部と、
   を備え、
   前記車が交差点で左折する場合、前記取得部が左折方向の横断歩道を移動体が移動している情報を取得したとき、前記撮像制御部は、前記撮像部の左側の被写体を撮像する撮像領域のフレームレートを前記撮像部の右側の被写体を撮像する撮像領域より高く設定し、
   前記車が前記交差点で右折する場合、前記取得部が右折方向の横断歩道を移動体が移動している情報を取得したとき、前記撮像制御部は、前記撮像部の右側の被写体を撮像する撮像領域のフレームレートを前記撮像部の左側の被写体を撮像する撮像領域より高く設定する撮像装置。
2. 車に搭載される撮像装置において、
   複数の撮像領域の撮像条件を独立して設定可能な撮像素子を備え、前記車の外部を撮像する撮像部と、
   信号機から、横断歩道の移動体の移動に関する情報を取得する取得部と、
   前記取得部で取得した前記移動体の移動に関する情報に基づいて、前記撮像部の一部の撮像領域である第一撮像領域の撮像条件を変更する撮像制御部と、
   を備え、
   前記車が交差点で左折する場合、前記取得部が左折方向の横断歩道を移動体が移動している情報を取得したとき、前記撮像制御部は、前記撮像部の左側の被写体を撮像する撮像領域の間引き率を前記撮像部の右側の被写体を撮像する撮像領域より低く設定し、
   前記車が前記交差点で右折する場合、前記取得部が右折方向の横断歩道を移動体が移動している情報を取得したとき、前記撮像制御部は、前記撮像部の右側の被写体を撮像する撮像領域の間引き率を前記撮像部の左側の被写体を撮像する撮像領域より低く設定する撮像装置。
3. 請求項１又は２に記載の撮像装置において、
   前記撮像制御部は、前記取得部で取得した前記移動体の移動に関する情報に基づいて、前記移動体を撮像する前記第一撮像領域の撮像条件を変更する撮像装置。
4. 請求項３に記載の撮像装置において、
   前記車の操作に関する情報が入力される入力部を備え、
   前記撮像制御部は、前記取得部で取得した前記移動体の移動に関する情報に及び、前記入力部に入力された前記車の操作に関する情報に基づいて、前記第一撮像領域の撮像条件を変更する撮像装置。
5. 請求項１から４のいずれか一項に記載の撮像装置において、
   前記取得部で取得した前記移動体の移動に関する情報には、前記横断歩道を歩行する歩行者の移動に関する情報である撮像装置。
6. 請求項１から５のいずれか一項に記載の撮像装置において、
   前記取得部で取得した前記移動体の移動に関する情報は、他の車の移動に関する情報である撮像装置。

Images