JP2020162016A - 状態検出装置、状態検出システム及び状態検出方法 - Google Patents

Abstract

【課題】より迅速に運転者の状態を検出する。【解決手段】実施形態に係る状態検出装置は、行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する第１固体撮像装置と、前記第１固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する状態検出部とを備える。【選択図】図１

Description

本開示は、状態検出装置、状態検出システム及び状態検出方法に関する。

従来、運転者を撮像した画像から運転者が居眠りをしているか否かを判定し、居眠りしている場合には、運転者へ警報を発して居眠り運転を防止する居眠り運転防止装置が開発されている。

特開平１０−８６６９６号公報

一般的な居眠り運転防止装置では、カメラから所定のフレームレートで読み出された画像データを解析することで、運転者が居眠りをしているか否かが判定される。そのため、運転者の状態を検出するために必要となるデータ処理量が多く、運転者が居眠りをしているか否かを迅速に判断することが困難であった。

そこで本開示では、より迅速に運転者の状態を検出することが可能な状態検出装置、状態検出システム及び状態検出方法を提案する。

上記の課題を解決するために、本開示に係る一形態の状態検出装置は、行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する第１固体撮像装置と、前記第１固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する状態検出部とを備える。

第１の実施形態に係る状態検出装置（システム）の概略構成例を示すブロック図である。 第１の実施形態に係るＤＶＳの機能構成例を示すブロック図である。 第１の実施形態に係る単位画素の概略構成例を示す回路図である。 第１の実施形態に係るアドレスイベント検出部の概略構成例を示すブロック図である。 第１の実施形態に係る電流電圧変換部の他の一例を示す回路図である。 第１の実施形態に係る減算器及び量子化器の概略構成例を示す回路図である。 第１の実施形態に係る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 第１の実施形態に係る状態検出装置（システム）の他の概略構成例を示すブロック図である。 第１の実施形態に係る撮像部の車両に対する設置位置の例を示す図である。 、第１の実施形態に係る運転者状態検出部の車両に対する設置位置の例を示す図である。 第１の実施形態に係る運転者状態検出部の画角を説明するための図である。 第１の実施形態に係る状態検出装置が実行する状態検出動作の一例を示すフローチャートである。 まばたき時のまぶたの動きを示す図である。 覚醒度とまぶたの状態（開き量）との関係を示す図である。 運転者の目線が電子ミラーに向いている場合を示す図である。 運転者の目線が電子ミラーに向いていない場合を示す図である。 第２の実施形態に係る状態検出装置が実行する状態検出動作の一例を示すフローチャートである。 第２の実施形態の変形例に係る状態検出装置が実行する状態検出動作の一例を示すフローチャートである。

以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１．１ 状態検出装置（又はシステム）の構成例
１．２ ＤＶＳの構成例
１．３ 単位画素の構成例
１．４ アドレスイベント検出部の構成例
１．４．１ 電流電圧変換部の構成例
１．４．２ 減算器及び量子化器の構成例
１．５ 移動体への応用例
１．６ 撮像部の配置例
１．７ 運転者状態検出部（ＤＶＳ）の配置例
１．８ 状態検出動作例
１．９ 作用・効果
２．第２の実施形態
２．１ 状態検出動作例
２．２ 作用・効果
２．３ 変形例

１．第１の実施形態
まず、第１の実施形態について、図面を参照して詳細に説明する。

１．１ 状態検出装置（又はシステム）の構成例
図１は、第１の実施形態に係る状態検出装置（又は状態検出システム。以下、状態検出装置という）の概略構成例を示すブロック図である。図１に示すように、状態検出装置１は、例えば、撮像レンズ１１と、ＤＶＳ（Dynamic Vision Sensor）（第１固体撮像装置）２００と、動き検出部１２と、撮像レンズ１３と、イメージセンサ（第２固体撮像装置）１４と、物体検出部１５と、動きベクトル推定部１６と、行動パターン決定部１７と、記憶部１８と、インタフェース（Ｉ／Ｆ）部１９とを備える。

ＤＶＳ２００は、運転者の状態を検出するためのセンサであって、受光量が閾値を超えたことをアドレスイベントとしてリアルタイムに検出する検出回路を画素毎に設けた非同期型のイメージセンサである。

一般的なＤＶＳには、単位画素ごとにアドレスイベントの発生の有無を検出し、アドレスイベントの発生が検出された場合、このアドレスイベントが発生した単位画素から画素信号を読み出すという、いわゆるイベントドリブン型の駆動方式が採用されている。

また、一般的なＤＶＳでは、アドレスイベントの発生が検出された単位画素に対して読出し動作が実行されるため、全ての単位画素に対して読出し動作が実行される同期型のイメージセンサよりも非常に高速な読出しが可能であり、且つ、１フレーム分として読み出されるデータ量も小さいという特徴を備える。

そのため、運転者の状態を検出するためのセンサにＤＶＳ２００を用いることで、より迅速に運転者の状態を検出することが可能となる。状態検出時のデータ量を削減することで、消費電力を低減することも可能となる。

なお、本説明における単位画素とは、１つの光電変換素子（受光素子ともいう）を含んで構成された画素の最小単位であり、例えば、イメージセンサから読み出した画像データにおける各ドットに対応するものである。また、アドレスイベントとは、二次元格子状に配列する複数の単位画素それぞれに割り当てられたアドレスごとに発生するイベントであり、例えば、光電変換素子で発生した電荷に基づく電流（以下、光電流という）の電流値又はその変化量がある一定の閾値を超えたことなどである。

本実施形態において、ＤＶＳ２００は、入射光量に基づいてアドレスイベントの発生を検出し、アドレスイベントの発生が検出された単位画素を特定するためのアドレス情報をイベント検出データとして生成する。このイベント検出データには、アドレスイベントの発生が検出されたタイミングを示すタイムスタンプなどの時間情報が含まれていてもよい。また、生成されたイベント検出データは、動き検出部１２及び物体検出部１５にそれぞれ入力される。

一方、イメージセンサ１４は、例えば、ＣＣＤ（Charge Coupled Device）型のイメージセンサやＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型のイメージセンサなど、画像データを取得することが可能な種々のイメージセンサであってよい。イメージセンサ１４で取得された画像データは、動き検出部１２及び物体検出部１５にそれぞれ入力される。

なお、ＤＶＳ２００とイメージセンサ１４とは、例えば、実質的に同じ画角を撮像するように、同一方向に向けて近接して配置されてもよい。

撮像レンズ１１は、入射光を集光してその像をＤＶＳ２００の受光面に結像する光学系の一例である。受光面とは、ＤＶＳ２００における光電変換素子が配列する面であってよい。

撮像レンズ１３は、撮像レンズ１１と同様に、入射光を集光してその像をイメージセンサ１４の受光面に結像する光学系の一例である。受光面とは、イメージセンサ１４における光電変換素子が配列する面であってよい。

動き検出部１２は、例えば、ＤＶＳ２００から入力されたイベント検出データに基づいて、ＤＶＳ２００の画角内に存在する物体の動きを検出する。例えば、動き検出部１２は、所定の期間内に入力されたイベント検出データに基づいて１つのフレームデータを作成し、作成したフレームデータから、フレーム内の領域の動きを検出する。その際、動き検出部１２は、イメージセンサ１４から入力された画像データを用いて、検出された動きが物体の動きであるか又は誤検出であるか等を確認してもよい。動き検出の結果は、例えば、物体検出部１５及び動きベクトル推定部１６にそれぞれ入力される。なお、動き検出部１２がイベント検出データからフレームデータを生成する周期は、イメージセンサ１４が画像データを取得する周期（フレームレート）と同じか又はそれよりも短い周期であってよい。

物体検出部１５は、例えば、ＤＶＳ２００から入力されたイベント検出データに基づいて、動き検出部１２で動きが検出された物体を検出する。例えば、物体検出部１５は、所定の期間内に入力されたイベント検出データに基づいて１つのフレームデータを作成し、作成したフレームデータから、フレーム内の物体を検出する。その際、物体検出部１５は、ＤＶＳ２００から入力されたイベント検出データと、イメージセンサ１４から入力された画像データとを組み合わせて、物体を検出してもよい。物体検出の結果は、例えば、動きベクトル推定部１６及び行動パターン決定部１７にそれぞれ入力される。なお、物体検出部１５がイベント検出データからフレームデータを生成する周期は、例えば、動き検出部１２がイベント検出データからフレームデータを生成する周期と同じであってもよいし、異なっていてもよい。例えば、物体検出部１５は、イメージセンサ１４が画像データを取得するフレームレートと同じ周期でフレームデータを生成してもよい。

動きベクトル推定部１６は、例えば、物体検出部１５で検出された物体の、動き検出部１２で検出された動きに基づいて、当該物体の動きベクトルを推定する。物体の動きベクトルの推定には、フレーム間の領域の移動量から移動ベクトルを推定する一般的な手法が用いられてもよい。以下では、説明の簡略化のため、「物体の動きベクトルを推定する」ことを、「物体の動きを検出する」という。推定された動きベクトルは、例えば、行動パターン決定部１７に入力される。

行動パターン決定部１７は、例えば、動きベクトル推定部１６で推定された物体の動きに基づいて、当該状態検出システム１を搭載する車両等の装置の行動パターンを決定する。

記憶部１８は、行動パターン決定部１７が行動パターンを決定する上で必要となる各種プログラムやデータを記憶する。

Ｉ／Ｆ部１９は、例えば、バス等を介して外部との間でデータの送受信を行なうためのインタフェースである。

以上の構成において、動き検出部１２、物体検出部１５及び動きベクトル推定部１６は、運転者等、人や物体の状態を検出する状態検出部として機能する。

動き検出部１２による動き検出、物体検出部１５による物体検出、動きベクトル推定部１６による動きベクトルの推定、及び、行動パターン決定部１７による行動パターンの決定には、予めメモリ等に保存されている学習済みモデルを使用する機械学習が用いられてもよい。ただし、これに限定されず、例えば、物体検出部１５による物体検出は、イベント検出データや画像データから抽出された特徴点と予めメモリ等に保存された特徴点とのマッチングから物体を特定するパターンマッチング等の技術が用いられてもよい。

１．２ ＤＶＳの構成例
つづいて、ＤＶＳ２００の構成例について、図面を参照して詳細に説明する。図２は、第１の実施形態に係るＤＶＳの機能構成例を示すブロック図である。図２に示すように、ＤＶＳ２００は、駆動回路２１１と、信号処理部２１２と、アービタ２１３と、画素アレイ部３００とを備える。

画素アレイ部３００には、複数の単位画素が二次元格子状に配列される。単位画素とは、後述において詳細に説明するが、例えば、フォトダイオードなどの光電変換素子と、この光電変換素子で発生した電荷による光電流の電流値又はその変化量が所定の閾値を超えたか否かに基づき、アドレスイベントの発生の有無を検出する画素回路（本実施形態では、後述するアドレスイベント検出部４００に相当）とから構成される。ここで、画素回路は、複数の光電変換素子で共有され得る。その場合、各単位画素は、１つの光電変換素子と、共有される画素回路とを含んで構成される。

画素アレイ部３００の複数の単位画素は、それぞれが所定数の単位画素からなる複数の画素ブロックにグループ化されていてもよい。以下、水平方向に配列する単位画素又は画素ブロックの集合を「行」と称し、行に垂直な方向に配列された単位画素又は画素ブロックの集合を「列」と称する。

各単位画素は、画素回路においてアドレスイベントの発生が検出されると、当該単位画素から信号を読み出すことのリクエストを、アービタ２１３に出力する。

アービタ２１３は、１つ以上の単位画素からのリクエストを調停し、この調停結果に基づいて、リクエストを発行した単位画素に所定の応答を送信する。この応答を受け取った単位画素は、アドレスイベントの発生を示す検出信号を駆動回路２１１及び信号処理部２１２に出力する。

駆動回路２１１は、検出信号を出力した単位画素を順に駆動することで、アドレスイベントの発生が検出された単位画素から信号処理部２１２へ、例えば、受光量に応じた信号を出力させる。なお、ＤＶＳ２００には、後述する光電変換素子３３３から読み出された信号をその電荷量に応じたデジタル値の信号に変換するためのアナログ・デジタル変換器が、例えば、１つ又は複数の単位画素ごと若しくは列ごとに設けられていてもよい。

信号処理部２１２は、単位画素から入力された信号に対して所定の信号処理を実行し、この信号処理の結果を、イベント検出データとして、信号線２０９を介してデータ処理部１２０に供給する。なお、イベント検出データには、上述したように、アドレスイベントの発生が検出された単位画素のアドレス情報と、アドレスイベントが発生したタイミングを示すタイムスタンプ等の時間情報とが含まれ得る。

１．３ 単位画素の構成例
つづいて、単位画素３１０の構成例について説明する。図３は、第１の実施形態に係る単位画素の概略構成例を示す回路図である。図３に示すように、単位画素３１０は、例えば、受光部３３０と、アドレスイベント検出部４００とを備える。なお、図３におけるロジック回路２１０は、例えば、図２における駆動回路２１１と、信号処理部２１２と、アービタ２１３とからなるロジック回路であってよい。

受光部３３０は、例えば、フォトダイオードなどの光電変換素子３３３を備え、その出力は、アドレスイベント検出部４００に接続される。

アドレスイベント検出部４００は、例えば、電流電圧変換部４１０と、減算器４３０とを備える。ただし、アドレスイベント検出部４００は、その他にも、バッファや量子化器や転送部を備える。アドレスイベント検出部４００の詳細については、後述において図５等を用いて説明する。

このような構成において、受光部３３０の光電変換素子３３３は、入射光を光電変換して電荷を発生させる。光電変換素子３３３で発生した電荷は、その電荷量に応じた電流値の光電流として、アドレスイベント検出部４００に入力される。

１．４ アドレスイベント検出部の構成例
図４は、第１の実施形態に係るアドレスイベント検出部の概略構成例を示すブロック図である。図４に示すように、アドレスイベント検出部４００は、図３にも示した電流電圧変換部４１０、減算器４３０と及び量子化器４４０に加え、バッファ４２０と、転送部４５０とを備える。

電流電圧変換部４１０は、受光部３３０からの光電流を、その対数の電圧信号に変換し、これにより生成された電圧信号をバッファ４２０に出力する。

バッファ４２０は、電流電圧変換部４１０からの電圧信号を補正し、補正後の電圧信号を減算器４３０に出力する。

減算器４３０は、駆動回路２１１からの行駆動信号に従ってバッファ４２０からの電圧信号の電圧レベルを低下させ、低下後の電圧信号を量子化器４４０に出力する。

量子化器４４０は、減算器４３０からの電圧信号をデジタル信号に量子化し、これにより生成されたデジタル信号を検出信号として転送部４５０に出力する。

転送部４５０は、量子化器４４０からの検出信号を信号処理部２１２等に転送する。この転送部４５０は、例えば、アドレスイベントの発生が検出された際に、転送部４５０から駆動回路２１１及び信号処理部２１２へのアドレスイベントの検出信号の送信を要求するリクエストをアービタ２１３に出力する。そして、転送部４５０は、リクエストに対する応答をアービタ２１３から受け取ると、検出信号を駆動回路２１１及び信号処理部２１２に出力する。

１．４．１ 電流電圧変換部の構成例
図４に示す構成における電流電圧変換部４１０は、例えば、図３に示すように、ＬＧトランジスタ４１１と、増幅トランジスタ４１２と、定電流回路４１５とを備えた、所謂ソースフォロア型の電流電圧変換部であってよい。ただし、これに限定されず、例えば、図５に例示するような、２つのＬＧトランジスタ４１１及び４１３と、２つの増幅トランジスタ４１２及び４１４と、定電流回路４１５とを備えた、所謂ゲインブースト型の電流電圧変換器であってもよい。

図３に示すように、ＬＧトランジスタ４１１のソース及び増幅トランジスタ４１２のゲートは、例えば、受光部３３０の光電変換素子３３３におけるカソードに接続される。ＬＧトランジスタ４１１のドレインは、例えば、電源端子ＶＤＤに接続される。

また、例えば、増幅トランジスタ４１２のソースは接地され、ドレインは定電流回路４１５を介して電源端子ＶＤＤに接続される。定電流回路４１５は、例えば、Ｐ型のＭＯＳ（Metal-Oxide-Semiconductor）トランジスタなどの負荷ＭＯＳトランジスタで構成されてもよい。

一方、ゲインブースト型の場合、図５に示すように、ＬＧトランジスタ４１１のソース及び増幅トランジスタ４１２のゲートは、例えば、受光部３３０の光電変換素子３３３におけるカソードに接続される。また、ＬＧトランジスタ４１１のドレインは、例えば、ＬＧトランジスタ４１３のソース及び増幅トランジスタ４１２のゲートに接続される。ＬＧトランジスタ４１３のドレインは、例えば、電源端子ＶＤＤに接続される。

また、例えば、増幅トランジスタ４１４のソースはＬＧトランジスタ４１１のゲート及び増幅トランジスタ４１２のドレインに接続される。増幅トランジスタ４１４のドレインは、例えば、定電流回路４１５を介して電源端子ＶＤＤに接続される。

図３又は図５に示すような接続関係とすることで、ループ状のソースフォロア回路が構成される。これにより、受光部３３０からの光電流が、その電荷量に応じた対数値の電圧信号に変換される。なお、ＬＧトランジスタ４１１及び４１３と、増幅トランジスタ４１２及び４１４とは、それぞれ例えばＮＭＯＳトランジスタで構成されてよい。

１．４．２ 減算器及び量子化器の構成例
図６は、第１の実施形態に係る減算器及び量子化器の概略構成例を示す回路図である。図６に示すように、減算器４３０は、コンデンサ４３１及び４３３と、インバータ４３２と、スイッチ４３４とを備える。また、量子化器４４０は、コンパレータ４４１を備える。

コンデンサ４３１の一端は、バッファ４２０の出力端子に接続され、他端は、インバータ４３２の入力端子に接続される。コンデンサ４３３は、インバータ４３２に並列に接続される。スイッチ４３４は、コンデンサ４３３の両端を接続する経路を行駆動信号に従って開閉する。

インバータ４３２は、コンデンサ４３１を介して入力された電圧信号を反転する。このインバータ４３２は反転した信号をコンパレータ４４１の非反転入力端子（＋）に出力する。

スイッチ４３４をオンした際、コンデンサ４３１のバッファ４２０側には、電圧信号Ｖｉｎｉｔが入力される。また、その逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサ４３１に蓄積されている電位Ｑｉｎｉｔは、コンデンサ４３１の容量をＣ１とすると、次の式（１）により表される。一方、コンデンサ４３３の両端は、短絡されているため、その蓄積電荷はゼロとなる。
Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ （１）

次に、スイッチ４３４がオフされて、コンデンサ４３１のバッファ４２０側の電圧が変化してＶａｆｔｅｒになった場合を考えると、コンデンサ４３１に蓄積される電荷Ｑａｆｔｅｒは、次の式（２）により表される。
Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ （２）

一方、コンデンサ４３３に蓄積される電荷Ｑ２は、出力電圧をＶｏｕｔとすると、次の式（３）により表される。
Ｑ２＝−Ｃ２×Ｖｏｕｔ （３）

このとき、コンデンサ４３１及び４３３の総電荷量は変化しないため、次の式（４）が成立する。
Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ２ （４）

式（４）に式（１）乃至式（３）を代入して変形すると、次の式（５）が得られる。
Ｖｏｕｔ＝−（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ−Ｖｉｎｉｔ） （５）

式（５）は、電圧信号の減算動作を表し、減算結果の利得はＣ１／Ｃ２となる。通常、利得を最大化することが望まれるため、Ｃ１を大きく、Ｃ２を小さく設計することが好ましい。一方、Ｃ２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、Ｃ２の容量削減は、ノイズを許容することができる範囲に制限される。また、単位画素ごとに減算器４３０を含むアドレスイベント検出部４００が搭載されるため、容量Ｃ１やＣ２には、面積上の制約がある。これらを考慮して、容量Ｃ１及びＣ２の値が決定される。

コンパレータ４４１は、減算器４３０からの電圧信号と、反転入力端子（−）に印加された所定の閾値電圧Ｖｔｈとを比較する。コンパレータ４４１は、比較結果を示す信号を検出信号として転送部４５０に出力する。

また、上述のアドレスイベント検出部４００全体のゲインＡは、電流電圧変換部４１０の変換ゲインをＣＧ_ｌｏｇとし、バッファ４２０のゲインを‘１’とすると、次の式（６）により表される。

式（６）において、ｉ_{ｐｈｏｔｏ}＿ｎは、ｎ番目の単位画素の光電流であり、その単位は、例えばアンペア（Ａ）である。Ｎは、画素ブロック内の単位画素３１０の数であり、本実施形態では‘１’である。

１．５ 移動体への応用例
上述した状態検出装置１は、様々な製品へ応用することができる。例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載することが可能である。

図７は、第１の実施形態に係る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。図７に示すように、車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウインカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の情報を取得させるとともに、取得されたデータを受信する。車外情報検出ユニット１２０３０は、受信したデータに基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、電気信号を画像として出力するイメージセンサであってもよいし、測距の情報として出力する測距センサであってもよい。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。本実施形態において、運転者状態検出部１２０４１には、上述したＤＶＳ２００（又は、ＤＶＳ２００及びイメージセンサ１４）が用いられる。その場合、運転者状態検出部１２０４１に接続された車内情報検出ユニット１２０４０及び／又はこれに通信ネットワーク１２００１を介して接続されたマイクロコンピュータ１２０５１は、状態検出装置１における動き検出部１２、物体検出部１５、動きベクトル推定部１６及び行動パターン決定部１７を構成する。

例えば、図８に例示する状態検出装置２のように、車内情報検出ユニット１２０４０及びマイクロコンピュータ１２０５１とは別に状態検出装置１における動き検出部１２、物体検出部１５及び動きベクトル推定部１６を設け、行動パターン決定部１７を車内情報検出ユニット１２０４０及び／又はマイクロコンピュータ１２０５１で実現するように構成することも可能である。

若しくは、動き検出部１２、物体検出部１５、動きベクトル推定部１６及び行動パターン決定部１７は、車内情報検出ユニット１２０４０及び／又はマイクロコンピュータ１２０５１とは異なる構成であってもよい。

車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

１．６ 撮像部の配置例
図９は、第１の実施形態に係る撮像部の車両に対する設置位置の例を示す図である。図９では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４及び１２１０５の計５つの撮像部が、車両１２１００に対して設けられている。

撮像部１２１０１、１２１０２、１２１０３、１２１０４及び１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２及び１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、交通信号機、交通標識又は車線等の検出に用いられる。

また、図９には、撮像部１２１０１乃至１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２及び１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２及び１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１乃至１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１乃至１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１乃至１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１（図７参照）は、撮像部１２１０１乃至１２１０４から得られた距離情報を基に、撮像範囲１２１１１乃至１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１乃至１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１乃至１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１乃至１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１乃至１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１乃至１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

１．７ 運転者状態検出部（ＤＶＳ）の配置例
図１０は、第１の実施形態に係る運転者状態検出部の車両に対する設置位置の例を示す図である。図１１は、第１の実施形態に係る運転者状態検出部の画角を説明するための図である。

図１０及び図１１に示すように、運転者状態検出部１２０４１は、車両１２１００の内部におけるドライバシート１２１１０と対向する位置であって、運転者Ｄの少なくとも顔が画角１２１０６内に収まる位置に設けられる。図１０及び図１１に示す例では、フロントガラス１２１２１の中央上部車内側に設けられたルームミラー１２１２２の上縁であって、運転者Ｄに対してルームミラー１２１２２が隠れない位置に設けられている。ただし、この位置に限定されず、例えば、ルームミラー１２１２２の下縁又は側縁であって運転者Ｄに対してルームミラー１２１２２が隠れない位置や、ドライバシート１２１１０の前方上方のフロントガラス１２１２１の車内側であって、運転者Ｄの車外に対する視界の妨げとならない位置など、種々変更されてよい。

１．８ 状態検出動作例
次に、第１の実施形態に係る状態検出装置の動作例を説明する。図１２は、第１の実施形態に係る状態検出装置が実行する状態検出動作の一例を示すフローチャートである。

図１２に示すように、本動作では、まず、ＤＶＳ２００から動き検出部１２（及び物体検出部１５）へイベント検出データが入力される（ステップＳ１０１）。その際、イメージセンサ１４から動き検出部１２（及び物体検出部１５）へ画像データも入力されてもよい。なお、ＤＶＳ２００及びイメージセンサ１４それぞれは、例えば、その画角内にドライバシート１２１１０に着座した運転者Ｄの顔が入るように設置される。

これに対し、動き検出部１２、物体検出部１５及び動きベクトル推定部１６は、入力されたイベント検出データ（及び画像データ）から運転者Ｄの眼球やまぶたを物体として検出し、そして、検出された眼球やまぶたの動きを検出する（ステップＳ１０２）。検出された眼球やまぶたの動きに関する情報は、行動パターン決定部１７に入力される。

行動パターン決定部１７は、入力された眼球やまぶたの動きから、運転者Ｄの状態を検出し、この検出結果から、運転者Ｄに居眠りの危険があるか否かを判定する（ステップＳ１０３）。例えば、行動パターン決定部１７は、まぶたの開き量やまぶたの開閉速度から、運転者Ｄの覚醒の程度（以下、覚醒度という）を推定し、推定された覚醒度に基づいて、運転者Ｄに居眠りの危険があるか否かを判定する。

ここで、覚醒度が低い、すなわち眠気が強いときのまぶたの動きと、まばたき時のまぶたの動きとの違いについて説明する。図１３は、まばたき時のまぶたの動きを示す図であり、図１４は、覚醒度とまぶたの状態（開き量）との関係を示す図である。なお、図１３では、実際に撮影された目を模式化した図を上段に示し、その実際の目をＤＶＳ２００で観測することで得られたイベント検出データによるフレーム画像を下段に示している。

図１３に示すように、通常のまばたきでは、上まぶた６１と下まぶた６２とが素早く開閉する。したがって、このまばたきをＤＶＳ２００で観測した場合には、上まぶた６１と下まぶた６２とを含む目全体のフレーム画像が取得される。

これに対し、図１４に示すように、まばたきをしていない状態（通常時という）での目の開き量は、その人（例えば、運転者Ｄ）の覚醒度に応じて変化する。例えば、覚醒度が高いときの通常時の目の開き量Ｈ０は大きく、覚醒度が低くなるにつれて、通常時の目の開き量は小さくなる（Ｈ０→Ｈ１→Ｈ２→Ｈ３）。

そこで、ステップＳ１０３では、例えば、行動パターン決定部１７は、所定時間（例えば、０．５秒）内のまぶたの動きベクトルや目の開き量の平均値等を求め、これらの値に基づいて、運転者Ｄがまばたきをしたのか覚醒度が低い（眠気が強い）のかを推定して、運転者Ｄに居眠りの危険があるか否かを判定してもよい。

運転者Ｄに居眠りの危険がないと判断した場合（ステップＳ１０３のＮＯ）、行動パターン決定部１７は、ステップＳ１０５へ進む。一方、運転者Ｄに居眠りの危険があると判断した場合（ステップＳ１０３のＹＥＳ）、行動パターン決定部１７は、例えば、図７における音声画像出力部１２０５２を駆動することで、オーディオスピーカ１２０６１から運転者Ｄを覚醒させるためのアラートを発し（ステップＳ１０４）、ステップＳ１０５へ進む。その際、行動パターン決定部１７は、表示部１２０６２に運転者Ｄを覚醒させるための映像や色等よりなるアラートを表示してもよい。

ステップＳ１０５では、行動パターン決定部１７は、本動作を終了するか否かを判定し、終了する場合（ステップＳ１０５のＹＥＳ）、本動作を終了する。一方、継続する場合（ステップＳ１０５のＮＯ）、行動パターン決定部１７は、ステップＳ１０１へリターンし、以降の動作を実行する。

１．９ 作用・効果
以上のように、本実施形態によれば、運転者の状態を検出するためのセンサにＤＶＳ２００を用いているため、より迅速に運転者の状態を検出することが可能となる。また、本実施形態では、通常のイメージセンサで取得された画像データではなく、よりデータ量の少ないイベント検出データを用いて運転者の状態を検出しているため、状態検出時の消費電力を低減することも可能となる。

２．第２の実施形態
次に、第２の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、第１の実施形態と同様の構成及び動作については、それを引用することで、その重複する説明を省略する。

近年では、車両の後尾に車両の後方を撮像するイメージセンサを搭載するとともに、ルームミラーの代わりにルームミラー型のモニタ（以下、電子ミラー又は表示部という）を設置し、後尾のイメージセンサで撮像された映像を車内の電子ミラーにリアルタイムに再生する技術が存在する。

ただし、運転者が電子ミラーを見ていないときに電子ミラーに車両後方の映像を再生することは、消費電力の増大を招きかねない。そこで、本実施形態では、図１５に例示するように、運転者Ｄの目線の方向Ａ１が電子ミラー２２１２２を見ている場合には電子ミラー２２１２２をオンし、図１６に例示するように、運転者Ｄの目線の方向Ａ２が電子ミラーを見ていない場合、例えば、運転者Ｄがフロントガラス１２１２１越しに車両前方を見ている場合には、電子ミラーをオフすることで、消費電力の増大を抑制する。

なお、車両の後尾に車両の後方を撮像するイメージセンサは、例えば、第１の実施形態において図９を用いて説明した撮像部１２１０４であってもよい。

また、本実施形態に係る状態検出装置（又はシステム）の構成例は、例えば、第１の実施形態で例示した状態検出装置１と同様であってよい。

２．１ 状態検出動作例
図１７は、第２の実施形態に係る状態検出装置が実行する状態検出動作の一例を示すフローチャートである。

図１７に示すように、本動作では、まず、第１の実施形態において図１２のステップＳ１０１〜Ｓ１０２を用いて説明した動作と同様の動作により、ドライバシート１２１１０に着座した運転者Ｄの顔の位置や視線の方向を検出する（ステップＳ２０１〜Ｓ２０２）。検出された顔の位置や視線の方向に関する情報は、行動パターン決定部１７に入力される。

行動パターン決定部１７は、入力された顔の位置や視線の方向から、運転者Ｄの視線の先にルームミラー１２１２２に相当する電子ミラー２２１２２が存在するか否か、すなわち、運転者Ｄが電子ミラー２２１２２を見ているか又は見ようとしているか否かを判定する（ステップＳ２０３）。

運転者Ｄが電子ミラー２２１２２を見ていない又は見ようともしていない場合（ステップＳ２０３のＮＯ）には、行動パターン決定部１７は、ステップＳ２０９へ進む。一方、運転者Ｄが電子ミラー２２１２２を見ている又は見ようとしている場合（ステップＳ２０３のＹＥＳ）、行動パターン決定部１７は、電子ミラー２２１２２の表示をオンする（ステップＳ２０４）。これにより、電子ミラー２２１２２には、車両１２１００の後尾に設置された撮像部１２１０４で撮像された車両後方の映像が表示される。

このように電子ミラー２２１２２の表示をオンすると、次に、第１の実施形態において図１２のステップＳ１０１〜Ｓ１０２を用いて説明した動作と同様の動作により、ドライバシート１２１１０に着座した運転者Ｄの顔の位置や視線の方向を検出する（ステップＳ２０５〜Ｓ２０６）。そして、今度は、行動パターン決定部１７は、運転者Ｄが電子ミラー２２１２２から目線を外したか否かを判定する（ステップＳ２０７）。なお、ステップＳ２０６において検出された顔の位置や視線の方向に関する情報は、行動パターン決定部１７に入力される。

運転者Ｄが電子ミラー２２１２２から目線を外していない場合（ステップＳ２０７のＮＯ）、本動作は、ステップＳ２０５へリターンして、電子ミラー２２１２２への車両後方の映像の表示を継続する。一方、運転者Ｄが電子ミラー２２１２２から目線を外した場合（ステップＳ２０７のＹＥＳ）、行動パターン決定部１７は、電子ミラー２２１２２の表示をオフし（ステップＳ２０８）、ステップＳ２０９へ進む。これにより、未使用時の電子ミラー２２１２２による消費電力が低減される。

ステップＳ２０９では、行動パターン決定部１７は、本動作を終了するか否かを判定し、終了する場合（ステップＳ２０９のＹＥＳ）、本動作を終了する。一方、継続する場合（ステップＳ２０９のＮＯ）、行動パターン決定部１７は、ステップＳ２０１へリターンし、以降の動作を実行する。

以上のような動作により、本実施形態では、運転者Ｄが電子ミラー２２１２２を見ていない期間の電子ミラー２２１２２による消費電力を低減することが可能となる。

２．２ 作用・効果
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。

２．３ 変形例
また、電子ミラー２２１２２の表示のオン／オフの自動切替えは、運転者Ｄが積極的に電子ミラー２２１２２を見る場合に限らず、例えば、運転者Ｄに電子ミラー２２１２２への注意を促す場合、すなわち、運転者Ｄに車両後方への注意を促す場合にも、実行されてよい。例えば、後続車との車間距離が短く、衝突の危険が存在するような場合であって、運転者Ｄがその危険に気付いていないような場合には、電子ミラー２２１２２の表示をオフからオンに切り替えることで、運転者Ｄに電子ミラー２２１２２への注意を促すことが可能である。

図１８は、本変形例に係る状態検出装置が実行する状態検出動作の一例を示すフローチャートである。

図１８に示すように、本動作では、行動パターン決定部１７又はマイクロコンピュータ１２０５１は、例えば、車両１２１００の後尾に配置された撮像部１２１０４で取得された画像データや測距結果に基づいて、後続車との車間距離や相対速度等を検出する（ステップＳ２２１）。そして、行動パターン決定部１７又はマイクロコンピュータ１２０５１は、検出した後続車との車間距離や相対速度等から、後続車と衝突する可能性があるか否かを判定する（ステップＳ２２２）。なお、後続車と衝突する可能性があるか否かに限られず、後続車との車間距離がある閾値よりも短い又は短くなる可能性が高いか否かや、その他、運転者Ｄが車両１２１００の後方へ注意する必要があるか否か等を判定してもよい。

後続車と衝突する可能性等がない場合（ステップＳ２２２のＮＯ）、本動作は、ステップＳ２２７へ進む。一方、後続車と衝突する可能性等がある場合（ステップＳ２２２のＹＥＳ）、第１の実施形態において図１２のステップＳ１０１〜Ｓ１０２を用いて説明した動作と同様の動作により、ドライバシート１２１１０に着座した運転者Ｄの顔の位置や視線の方向を検出する（ステップＳ２２３〜Ｓ２２４）。そして、行動パターン決定部１７は、運転者Ｄが電子ミラー２２１２２を見ているか否か、すなわち、後続車と衝突する可能性等に気付いているか否かを判定する（ステップＳ２２５）。

運転者Ｄが電子ミラー２２１２２を見ている場合（ステップＳ２２５のＹＥＳ）、本動作は、ステップＳ２２７へ進む。一方、運転者Ｄが電子ミラー２２１２２を見ていない場合（ステップＳ２２５のＮＯ）、行動パターン決定部１７は、電子ミラー２２１２２の表示をオンする（ステップＳ２２６）。これにより、電子ミラー２２１２２には、車両１２１００の後尾に設置された撮像部１２１０４で撮像された車両後方の映像が表示される。

このように、電子ミラー２２１２２の表示が自動的にオンされることで、運転者Ｄに対して、電子ミラー２２１２２への注意が促される。その際、行動パターン決定部１７は、例えば、図７における音声画像出力部１２０５２を駆動することで、オーディオスピーカ１２０６１から電子ミラー２２１２２又は後続車への注意を促すアラートを報知してもよいし、表示部１２０６２に電子ミラー２２１２２又は後続車への注意を促すアラートを表示してもよい。

ステップＳ２２７では、行動パターン決定部１７は、本動作を終了するか否かを判定し、終了する場合（ステップＳ２２７のＹＥＳ）、本動作を終了する。一方、継続する場合（ステップＳ２２７のＮＯ）、行動パターン決定部１７は、ステップＳ２２１へリターンし、以降の動作を実行する。

以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。

また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素ごとのイベントの発生を検出する第１固体撮像装置と、
前記第１固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する状態検出部と、
を備える状態検出装置。
（２）
前記状態検出部は、前記運転者の眼球の動き、まぶたの動き、顔の向き、視線の方向のうち、少なくとも１つを前記運転者の状態として検出する前記（１）に記載の状態検出装置。
（３）
前記状態検出部で検出された前記運転者の状態に基づいて行動パターンを決定する行動パターン決定部をさらに備える前記（１）又は（２）に記載の状態検出装置。
（４）
前記状態検出部は、前記運転者の眼球の動き及びまぶたの動きのうちの少なくとも一方を検出し、
前記行動パターン決定部は、前記眼球の動き及びまぶたの動きのうちの少なくとも一方に基づいて、前記運転者の覚醒の程度を推定し、当該推定された覚醒の程度に基づいて、前記行動パターンを決定する
前記（３）に記載の状態検出装置。
（５）
前記行動パターン決定部は、前記推定された覚醒の程度が低い場合、前記運転者を覚醒させるためのアラートを出力する前記行動パターンを決定する前記（４）に記載の状態検出装置。
（６）
車両の後方を撮像する撮像部と、
前記撮像部で撮像された映像を表示する表示部と、
をさらに備え、
前記状態検出部は、前記運転者の顔の向き及び視線の方向のうちの少なくとも一方を検出し、
前記行動パターン決定部は、前記顔の向き及び視線の方向のうちの少なくとも一方に基づいて、前記運転者が前記表示部を見ているか否か又は見ようとしているか否かを判定し、当該判定結果に基づいて、前記行動パターンを決定する
前記（３）に記載の状態検出装置。
（７）
前記行動パターン決定部は、前記運転者が前記表示部を見ている又は見ようとしている場合、前記表示部に前記映像を表示させる行動パターンを決定し、前記運転者が前記表示部を見ていない又は見ようとしていない場合、前記表示部の表示をオフする行動パターンを決定する前記（６）に記載の状態検出装置。
（８）
車両の後方を撮像する撮像部と、
後続車との車間距離及び相対速度のうちの少なくとも一方を検出するセンサと、
前記撮像部で撮像された映像を表示する表示部と、
をさらに備え、
前記状態検出部は、前記運転者の顔の向き及び視線の方向のうちの少なくとも一方を検出し、
前記行動パターン決定部は、前記車間距離及び相対速度のうちの少なくとも一方と、前記顔の向き及び視線の方向のうちの少なくとも一方に基づいて、前記行動パターンを決定する
前記（３）に記載の状態検出装置。
（９）
前記行動パターン決定部は、前記車間距離及び相対速度のうちの少なくとも一方に基づいて前記後続車との衝突の危険があるか否かを判定し、前記後続車との衝突の危険がある場合、さらに、前記顔の向き及び視線の方向のうちの少なくとも一方に基づいて前記運転者が前記表示部を見ているか否か又は見ようとしているか否かを判定し、前記運転者が前記表示部を見ていない又は見ようとしていない場合、前記表示部に前記映像を表示させる行動パターンを決定する前記（８）に記載の状態検出装置。
（１０）
前記運転者の顔を撮像する第２固体撮像装置をさらに備え、
前記状態検出部は、前記第１固体撮像装置で検出された前記イベントの発生と、前記第２固体撮像装置で取得された画像データとに基づいて前記運転者の状態を検出する
前記（１）〜（９）の何れか１項に記載の状態検出装置。
（１１）
行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素ごとのイベントの発生を検出する第１固体撮像装置と、
前記第１固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する状態検出部と、
を備える状態検出システム。
（１２）
行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素ごとのイベントの発生を検出する固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する
ことを含む状態検出方法。

１、２ 状態検出装置（システム）
１１、１３ 撮像レンズ
１２ 動き検出部
１４ イメージセンサ
１５ 物体検出部
１６ 動きベクトル推定部
１７ 行動パターン決定部
１８ 記憶部
１９ Ｉ／Ｆ部
２００ ＤＶＳ
２１０ ロジック回路
２１１ 駆動回路
２１２ 信号処理部
２１３ アービタ
３００ 画素アレイ部
３３０ 受光部
３３３ 光電変換素子
４００ アドレスイベント検出部
４１０ 電流電圧変換部
４１１、４１３ ＬＧトランジスタ
４１２、４１４ 増幅トランジスタ
４１５ 定電流回路
４２０ バッファ
４３０ 減算器
４３１、４３３ コンデンサ
４３２ インバータ
４３４ スイッチ
４４０ 量子化器
４４１ コンパレータ
４５０ 転送部
１２０００ 車両制御システム
１２００１ 通信ネットワーク
１２０１０ 駆動系制御ユニット
１２０２０ ボディ系制御ユニット
１２０３０ 車外情報検出ユニット
１２０３１、１２１０１〜１２１０５ 撮像部
１２０４０ 車内情報検出ユニット
１２０４１ 運転者状態検出部
１２０５０ 統合制御ユニット
１２０５１ マイクロコンピュータ
１２０５２ 音声画像出力部
１２０５３ 車載ネットワークＩ／Ｆ
１２０６１ オーディオスピーカ
１２０６２ 表示部
１２０６３ インストルメントパネル
１２１００ 車両
１２１０６ 画角
１２１１０ ドライバシート
１２１１１〜１２１１４ 撮像範囲
１２１２１ フロントガラス
１２１２２ ルームミラー
２２１２２ 電子ミラー
Ａ１、Ａ２ 目線の方向
Ｄ 運転者

Claims (12)

1. 行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する第１固体撮像装置と、
   前記第１固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する状態検出部と、
   を備える状態検出装置。
2. 前記状態検出部は、前記運転者の眼球の動き、まぶたの動き、顔の向き、視線の方向のうち、少なくとも１つを前記運転者の状態として検出する請求項１に記載の状態検出装置。
3. 前記状態検出部で検出された前記運転者の状態に基づいて行動パターンを決定する行動パターン決定部をさらに備える請求項１に記載の状態検出装置。
4. 前記状態検出部は、前記運転者の眼球の動き及びまぶたの動きのうちの少なくとも一方を検出し、
   前記行動パターン決定部は、前記眼球の動き及びまぶたの動きのうちの少なくとも一方に基づいて、前記運転者の覚醒の程度を推定し、当該推定された覚醒の程度に基づいて、前記行動パターンを決定する
   請求項３に記載の状態検出装置。
5. 前記行動パターン決定部は、前記推定された覚醒の程度が低い場合、前記運転者を覚醒させるためのアラートを出力する前記行動パターンを決定する請求項４に記載の状態検出装置。
6. 車両の後方を撮像する撮像部と、
   前記撮像部で撮像された映像を表示する表示部と、
   をさらに備え、
   前記状態検出部は、前記運転者の顔の向き及び視線の方向のうちの少なくとも一方を検出し、
   前記行動パターン決定部は、前記顔の向き及び視線の方向のうちの少なくとも一方に基づいて、前記運転者が前記表示部を見ているか否か又は見ようとしているか否かを判定し、当該判定結果に基づいて、前記行動パターンを決定する
   請求項３に記載の状態検出装置。
7. 前記行動パターン決定部は、前記運転者が前記表示部を見ている又は見ようとしている場合、前記表示部に前記映像を表示させる行動パターンを決定し、前記運転者が前記表示部を見ていない又は見ようとしていない場合、前記表示部の表示をオフする行動パターンを決定する請求項６に記載の状態検出装置。
8. 車両の後方を撮像する撮像部と、
   後続車との車間距離及び相対速度のうちの少なくとも一方を検出するセンサと、
   前記撮像部で撮像された映像を表示する表示部と、
   をさらに備え、
   前記状態検出部は、前記運転者の顔の向き及び視線の方向のうちの少なくとも一方を検出し、
   前記行動パターン決定部は、前記車間距離及び相対速度のうちの少なくとも一方と、前記顔の向き及び視線の方向のうちの少なくとも一方に基づいて、前記行動パターンを決定する
   請求項３に記載の状態検出装置。
9. 前記行動パターン決定部は、前記車間距離及び相対速度のうちの少なくとも一方に基づいて前記後続車との衝突の危険があるか否かを判定し、前記後続車との衝突の危険がある場合、さらに、前記顔の向き及び視線の方向のうちの少なくとも一方に基づいて前記運転者が前記表示部を見ているか否か又は見ようとしているか否かを判定し、前記運転者が前記表示部を見ていない又は見ようとしていない場合、前記表示部に前記映像を表示させる行動パターンを決定する請求項８に記載の状態検出装置。
10. 前記運転者の顔を撮像する第２固体撮像装置をさらに備え、
    前記状態検出部は、前記第１固体撮像装置で検出された前記イベントの発生と、前記第２固体撮像装置で取得された画像データとに基づいて前記運転者の状態を検出する
    請求項１に記載の状態検出装置。
11. 行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する第１固体撮像装置と、
    前記第１固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する状態検出部と、
    を備える状態検出システム。
12. 行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する
    ことを含む状態検出方法。