JP2018149990A - 運転者の着座判定装置 - Google Patents

Abstract

【課題】自動車の運転席に運転者が着座しているか否かを正確に判断することができる、運転者の着座判定装置、運転者の着座方法、及び運転者の着座プログラムを提供する。【解決手段】本発明に係る運転者の着座判定装置は、自動車の運転席を撮影する少なくとも１つのカメラと接続される運転者の着座判定装置であって、前記カメラによって撮影された撮影画像を取得する取得部と、前記撮影画像から前記運転席に運転者が着座しているか否かを判断する解析部と、を備えている。【選択図】図４

Description

本発明は、運転者の着座判定装置、運転者の着座方法、及び運転者の着座プログラムに関する。

自動車の運転席に運転者が着座しているか否かを判断するための種々の技術が提案されている。このような技術は、例えば、運転者が運転席に着座しているにもかかわらず、シートベルトを着用していない場合に、警告を発することに利用される。例えば、特許文献１には、運転席に感圧センサを設け、これによって運転席に運転者が着座したか否かを判断するようにしている。

特開２０１１−２１３３４２号公報

しかしながら、上記技術では、例えば、運転席に重量の大きい荷物が置かれた場合には、これを運転者と認識して誤作動を引き起こす可能性がある。また、近年の自動運転技術では、自動運転中であっても、運転者が運転席に着座していることが求められることがあるため、このような場合に、運転者の着座を正確に判断できないと、運転に支障を来すおそれがある。本発明は、この問題を解決するためになされたものであり、自動車の運転席に運転者が着座しているか否かを正確に判断することができる、運転者の着座判定装置、運転者の着座方法、及び運転者の着座プログラムを提供することを目的とする。

本発明に係る運転者の着座判定装置は、自動車の運転席を撮影する少なくとも１つのカメラと接続される運転者の着座判定装置であって、前記カメラによって撮影された撮影画像を取得する画像取得部と、前記撮影画像から前記運転席に運転者が着座しているか否かを判断する解析部と、を備えている。

この構成によれば、カメラによって運転席を撮影した撮影画像を取得し、この撮影画像に運転者が含まれているか否かを解析することで、運転者が運転席に着座しているか否かを判断するようにしている。したがって、運転者が運転席に着座していることを確実に判断することができる。

上記着座判定装置においては、前記運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報を取得する観測情報取得部をさらに備えることができ、前記解析部は、前記運転者の前記運転席への着座を判定するための学習を行った学習済みの学習器に、前記撮影画像及び前記観測情報を入力することで、前記運転者が着座しているか否かの着座情報を当該学習器から取得する運転者状態推定部と、を備えることができる。

上記着座判定装置において、前記観測情報取得部は、取得した前記撮影画像に対して所定の画像解析を行うことで、前記運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する情報を前記顔挙動情報として取得することができる。

上記各着座判定装置において、前記解析部は、取得した前記撮影画像の解像度を低下させる解像度変換部を更に備えることができ、前記運転者状態推定部は、解像度を低下させた前記撮影画像を前記学習器に入力することができる。

上記着座判定装置において、解析部は、種々の方法で、運転者の着座を判断することができるが、例えば、前記解析部は、前記撮影画像から前記運転者の顔を検出することで、前記運転席に運転者が着座していると判断することができる。

上記着座判定装置においては、種々の方法で運転者の顔を検出することができるが、例えば、前記解析部は、前記撮影画像に含まれる像から人の顔の器官を検出することで、前記運転席に運転者が着座していると判断することができる。

上記着座判定装置において、解析部は、種々の方法で、運転者の着座を判断することができるが、例えば、前記解析部は、人の顔を検出するための学習を行った学習済みの学習器であって、運転席を含む撮影画像を入力とし、当該撮影画像に人の顔が含まれるか否かを出力とする学習器を備えることができる。

上記各着座判定装置においては、前記運転席に運転者が着座していないと判断した場合に、警告を発する警告部をさらに備えることができる。

上記各着座判定装置においては、特に、自動車が自動運転機能を有するものであるときに有効である。この場合、前記解析部は、前記自動運転機能の作動中に、運転者の着座を判断することができるように構成できる。

本発明に係る運転者の着座判定方法は、自動車の運転席を、少なくとも１つのカメラで撮影するステップと、前記カメラによって撮影された撮影画像から前記運転席に運転者が着座しているか否かを判断するステップと、を備えている。

上記着座判定方法においては、前記撮影画像から前記運転者の顔を検出することで、前記運転席に運転者が着座していると判断することができる。

上記着座判定方法においては、前記撮影画像に含まれる像から人の顔の器官を検出することで、前記運転席に運転者が着座していると判断することができる。

本発明に係る運転者の着座判定プログラムは、自動車のコンピュータに、自動車の運転席を、少なくとも１つのカメラで撮影するステップと、前記カメラによって撮影された撮影画像から前記運転席に運転者が着座しているか否かを判断するステップと、を実行させる。

上記着座判定プログラムにおいては、前記撮影画像から前記運転者の顔を検出することで、前記運転席に運転者が着座していると判断することかできる。

上記着座判定プログラムにおいては、前記撮影画像に含まれる像から人の顔の器官を検出することで、前記運転席に運転者が着座していると判断することができる。

本発明によれば、自動車の運転席に運転者が着座しているか否かを正確に判断することができる。

本発明の第１実施形態に係る着座判定装置が取り付けられる自動車の一部概略構成図である。 本発明の第１実施形態に係る着座判定装置が含まれる着座判定システムの概要を示す図である。 図２の着座判定装置のハードウェア構成の一例を示すブロック図である。 図２の学習装置のハードウェア構成の一例を示すブロック図である。 図２の着座判定装置の機能構成の一例を示すブロック図である。 図２の学習装置の機能構成の一例を示すブロック図である。 図２の着座判定装置の動作を示すフローチャートである。 本発明の第２実施形態に係る着座判定装置のハードウェア構成の一例を示すブロック図である。 第２実施形態に係る着座判定装置の機能構成の一例を示すブロック図である。 第２実施形態に係る学習装置の機能構成の一例を示すブロック図である。 第２実施形態に係る着座判定装置の動作を示すフローチャートである。

＜Ａ．第１実施形態＞
以下、本発明に係る運転者の着座判定装置、着座判定方法、及び着座判定プログラムの第１実施形態について、図面を参照しつつ説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。これらの点は、後述する第２実施形態についても同様である。

＜１．着座判定システムの概要＞
まず、本実施形態に係る着座判定装置が含まれる着座判定システムについて、説明する。図１は着座判定装置が取り付けられる自動車の一部概略構成図であり、図２は着座判定システムの概略構成を示す図である。図１に示すように、このシステムでは、運転席９００の前方に配置されたカメラ３により、運転席９００を撮影して撮影画像を取得し、この撮影画像から顔の器官（目、鼻、口など）が検出されたとき、運転席９００に運転者８００が着座していると判定するものである。具体的には、図２に示すように、この着座判定システムは、着座判定装置１、学習装置２、及びカメラ３を備えている。

着座判定装置１は、例えば、ネットワーク１０を介して、学習装置２により作成された学習済みの学習器を取得することができる。ネットワーク１０の種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。その他、着座判定装置１と学習装置２とを直接接続して、学習器を送信することもできる。あるいは、着座判定装置１と学習装置２とを接続せず、学習装置２で学習された学習済みの学習器を、ＣＤ−ＲＯＭ等の記憶媒体に記憶し、この記憶媒体に記憶された学習器を着座判定装置１に保存することもできる。以下、各装置について詳細に説明する。

＜１−１．カメラ＞
カメラ３は、デジタルカメラやビデオカメラなど、公知のものを用いることができ、前方から運転席を撮影することで撮影画像を生成し、これを着座判定装置１に出力する。カメラ３は、運転席９００において、少なくとも人の顔８０１が配置される付近を撮影する。このとき、運転者の身長の高低を考慮し、概ねほとんどの運転者の顔が位置する範囲を含むようにする。なお、撮影画像は、静止画または動画のいずれであってもよく、動画の場合には、フレーム毎に着座判定装置１に撮影画像が送信され、着座の判定が行われる。

＜１−２．着座判定装置＞

図３は、本実施形態に係る着座判定装置を示すブロック図である。図３に示すように、本実施形態に係る着座判定装置１は、制御部１１、記憶部１２、外部インタフェース１３、入力装置１４、出力装置１５、通信インタフェース１３、及びドライブ１７が電気的に接続されたコンピュータである。なお、図１では、通信インタフェース及び外部インタフェースをそれぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行う。記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部１１で実行される着座判定プログラム１２１、学習済みの学習器に関する情報を示す学習結果データ１２２等を記憶する。

着座判定プログラム１２１は、撮影された画像から人の顔の器官を検出できるか否かの処理を、着座判定装置１に実行させるためのプログラムである。また、学習結果データ１２２は、学習済みの学習器の設定を行うためのデータである。詳細は後述する。

通信インタフェース１６は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。入力装置１４は、例えば、マウス、キーボード等の入力を行うための装置である。出力装置１５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。外部インタフェース１３は、ＵＳＢ（Universal Serial Bus）ポート等であり、カメラ３、車内のスピーカ、ディスプレイ、速度を制御する装置等の外部装置と接続するためのインタフェースである。なお、車内のディスプレイとは、例えば、ダッシュボードに設けられた、カーナビゲーション用のディスプレイなど、種々のものを適用することができる。また、外部インタフェース１３に接続する外部装置は、上記の各装置に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。そのため、外部インタフェース１３は、接続する外部装置毎に設けられてもよく、その数は、実施の形態に応じて適宜選択可能である。

ドライブ１７は、例えば、ＣＤ（Compact Disk）ドライブ、ＤＶＤ（Digital Versatile Disk）ドライブ等であり、記憶媒体９１に記憶されたプログラムを読み込むための装置である。ドライブ１７の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。上記着座判定プログラム１２１及び／又は学習結果データ１２２は、この記憶媒体９１に記憶されていてもよい。

記憶媒体９１は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。着座判定装置１は、この記憶媒体９１から、着座判定プログラム１２１及び／又は学習結果データ１２２を取得してもよい。

ここで、図３では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

なお、着座判定装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。着座判定装置１は、複数台の情報処理装置で構成されてもよい。

＜１−３．学習装置＞
図４は、本実施形態に係る学習装置を示すブロック図である。図４に示すように、本実施形態に係る学習装置２は、上記第２検出部１０２に含まれる学習器を学習するためのものであり、制御部２１、記憶部２２、通信インタフェース２３、入力装置２４、出力装置２５、外部インタフェース２６、及びドライブ２７が電気的に接続されたコンピュータである。なお、図４では、図３と同様に、通信インタフェース及び外部インタフェースをそれぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。

制御部２１〜ドライブ２７及び記憶媒体９２はそれぞれ、上記着座判定装置１の制御部１１〜ドライブ１７及び記憶媒体９１と同様である。ただし、学習装置２の記憶部２２は、制御部２１で実行される学習プログラム２２１、学習器の学習に利用する学習データ２２２、学習プログラム２２１を実行して作成した学習結果データ１２２等を記憶する。

学習プログラム２２１は、学習装置２に後述するニューラルネットワークの学習処理（図８）を実行させるためのプログラムである。また、学習データ２２２は、撮影画像から人の顔の器官を検出するために学習器の学習を行うためのデータである。詳細は後述する。

なお、上記着座判定装置１と同様に、学習プログラム２２１及び／又は学習データ２２２は、記憶媒体９２に記憶されていてもよい。これに応じて、学習装置２は、利用する学習プログラム２２１及び／又は学習データ２２２を記憶媒体９２から取得してもよい。

また、上記着座判定装置１と同様に、学習装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。更に、学習装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、デスクトップＰＣ等が用いられてもよい。

＜２．着座判定装置の機能構成＞
次に、図５を参照しつつ、本実施形態に係る着座判定装置１の機能構成の一例を説明する。図５は、本実施形態に係る着座判定装置１の機能構成の一例を模式的に例示する。

＜２−１．概略構成＞
着座判定装置１の制御部１１は、記憶部１２に記憶された着座判定プログラム１２１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開された着座判定プログラム１２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図５に示すように、本実施形態に係る着座判定装置１は、画像取得部１１１、解析部１１６、及び警告部１１７を備えるコンピュータとして機能する。

画像取得部１１１は、カメラ３で生成された撮影画像１２３を取得する。また、解析部１１６は、撮影画像１２３から運転者が運転席に着座しているか否かを判定する。そして、解析部１１６が、運転者が運転席に着座していないと判定したときには、警告部１１７が警告を発するように構成されている。以下、これらの機能構成について、詳細に説明する。

＜２−２．解析部＞
まず、解析部１１６について説明する。図５に示すように、解析部１１６では、撮影画像１２３を、顔の器官を検出するために学習した学習器の入力として用いる。この学習器の演算処理により、当該学習器から出力値を得る。そして、解析部１１６は、学習器から得られた出力値に基づいて、撮影画像１２３の中の人の顔の器官が存在するか否かを判定する。なお、顔の器官とは、目、鼻、口などが該当するが、これらの少なくとも１つの特徴点を検出できるようにする。但し、カメラの種類によっては、運転者がサングラスを着用している場合には目の検出ができない場合があるため、例えば、鼻や口の特徴点を検出できるようにする。また、運転者がマスクを着用している場合には、鼻や口が検出できないため、例えば、目の特徴点を検出できるようにする。

次に、学習器について説明する。図５に示すように、本実施形態に係る着座判定装置１は、一例として、撮影画像１２３中の顔の器官の有無について学習した学習器が用いられる。この学習器７はニューラルネットワークで構成されている。具体的には、図４に示すような、いわゆる深層学習に用いられる多層構造のニューラルネットワークであり、入力から順に、入力層７１、中間層（隠れ層）７２、及び出力層７３を備えている。

図５の例では、ニューラルネットワーク７は１層の中間層７２を備えており、入力層７１の出力が中間層７２の入力となり、中間層７２の出力が出力層７３の入力となっている。ただし、中間層７２の数は１層に限られなくてもよく、ニューラルネットワーク７は、中間層７２を２層以上備えてもよい。

各層７１〜７３は、１又は複数のニューロンを備えている。例えば、入力層７１のニューロンの数は、各撮影画像１２３の画素数に応じて設定することができる。中間層７２のニューロンの数は実施の形態に応じて適宜設定することができる。また、出力層７３は、顔の器官の有無の判定に応じて設定することができる。

隣接する層のニューロン同士は適宜結合され、各結合には重み（結合荷重）が設定されている。図５の例では、各ニューロンは、隣接する層の全てのニューロンと結合されているが、ニューロンの結合は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。

各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。着座判定装置１は、このようなニューラルネットワーク７の入力層７１に上記各撮影画像を入力することで出力層７３から得られる出力値に基づいて、運転者が運転席に着座しているか否かを判定する。

なお、このようなニューラルネットワーク７の構成（例えば、ニューラルネットワーク７の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報は、学習結果データ１２２に含まれている。着座判定装置１は、学習結果データ１２２を参照して、運転者が運転席に着座しているか否かを判定するための処理に用いる学習済みの学習器７の設定を行う。この点は、後述する第２実施形態においても同様である。

＜２−３．警告部＞
警告部１１７は、上記解析部１１６で、運転席に運転者が着座していないと判定したとき、外部インタフェース１６を通じて車内のディスプレイやスピーカ等を駆動し、警告を行う。すなわち、運転者が着座していないことをディスプレイに表示したり、スピーカを通じて、着座していないことを車内に報知する。その他、ブレーキを駆動するなど、走行中の自動車の速度を落としたり、停止するなどで警告を行うこともできる。

＜３．学習装置の機能構成＞
次に、図６を用いて、本実施形態に係る学習装置２の機能構成の一例を説明する。図６は、本実施形態に係る学習装置２の機能構成の一例を模式的に例示する。

学習装置２の制御部２１は、記憶部２２に記憶された学習プログラム２２１をＲＡＭに展開する。そして、制御部２１は、ＲＡＭに展開された学習プログラム２２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図６に示されるとおり、本実施形態に係る学習装置２は、学習データ取得部２１１、及び学習処理部２１２を備えるコンピュータとして機能する。

学習データ取得部２１１は、図６に示すように、学習データ２２２として、カメラ３で撮影した撮影画像２２３と、この撮影画像２２３に顔の器官が示されているか否かを示す着座情報２２４１の組を取得する。この撮影画像２２３と着座情報２２４１が、ニューラルネットワーク８の教師データに相当する。

一方、学習処理部２１２は、学習データ２２２を用いて、取得した各撮影画像２２３を入力すると、上記着座情報２２４１に対応する出力値を出力するようにニューラルネットワーク８を学習させる。

図６に示すように、学習器の一例であるニューラルネットワーク８は、入力層８１、中間層（隠れ層）８２、及び出力層８３を備え、上記ニューラルネットワーク７と同様に構成される。各層８１〜８３は、上記各層７１〜７３と同様である。学習処理部２１２は、ニューラルネットワークの学習処理により、撮影画像２２３を入力すると、上記着座情報２２４１に対応する出力値を出力するニューラルネットワーク８を構築する。そして、学習処理部２１２は、構築したニューラルネットワーク８の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。そして、この学習結果データ１２２は、上述した種々の方法で、着座判定装置１に送信される。また、このような学習結果データ１２２を定期的に更新してもよい。そして、制御部２１は、作成した学習結果データ１２２を学習処理の実行毎に着座判定装置１に転送することで、着座判定装置１の保持する学習結果データ１２２を定期的に更新してもよい。

＜４．その他＞
着座判定装置１及び学習装置２の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、着座判定装置１及び学習装置２の各機能がいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、着座判定装置１及び学習装置２それぞれの機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。

＜５．着座判定装置の動作＞
次に、図７を参照しつつ、着座判定装置１の動作例を説明する。図７は、着座判定装置１の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

まず、利用者（運転者）は、着座判定装置１を起動し、起動した着座判定装置１に着座判定プログラム１２１を実行させる。着座判定装置１の制御部１１は、学習結果データ１２２を参照して、ニューラルネットワーク７の構造、各ニューロン間の結合の重み及び各ニューロンの閾値の設定を行う。そして、制御部１１は、以下の処理手順に従って、撮影画像１２３から、運転者が運転席に着座しているか否かを判定する。

まず、制御部１１は、自動車の運転が行われている場合（ステップＳ１０１のＹＥＳ）、画像取得部１１１として機能し、外部インタフェース１６を介して接続されるカメラ３から、運転席を前方から撮影した撮影画像１２３を取得する（ステップＳ１０２）。上述したように、撮影画像１２３は、静止画でもよいし、動画である場合は、フレームごとに撮影画像が取得される。

次に、制御部１１は、解析部１１６として機能し、ステップＳ１０２で取得した各撮影画像１２３に顔の器官が含まれているか否かを判断する（ステップＳ１０３）。そして、撮影画像１２３の中に顔の器官を検出した場合、運転席に運転者が着座していると判定する（ステップＳ１０３のＹＥＳ）。その後、運転が行われていれば（ステップＳ１０１のＹＥＳ）、引き続き、撮影画像１２３を取得し（ステップＳ１０２）、運転者の着座を判定する（ステップＳ１０３）。一方、撮影画像１２３中に顔の器官の検出ができない場合には、運転席に運転者が着座していないと判定し（ステップＳ１０１のＮＯ）、警告を発信する（ステップＳ１０４）。すなわち、制御部１１は、警告部１１７として機能し、車内のディスプレイまたはスピーカを用いて、運転席に運転者が着座していないことを車内に報知する。あるいは、自動車を減速したり、停止させることもできる。その後、運転が行われていれば（ステップＳ１０１のＹＥＳ）、引き続き、撮影画像１２３を取得し（ステップＳ１０２）、運転者の着座を判定する（ステップＳ１０３）。一方、運転が行われていない場合には、処理を停止する。

なお、運転席に運転者が着座しているか否かの判定に当たって、撮影画像１２３から顔の器官を検出できない場合、上記のように、即座に警告を発してもよいが、例えば、所定時間（または所定の数のフレーム）、顔の器官が検出できない場合に、警告を発することもできる。

また、上記の処理は、自動車のイグニッション電源がＯＮになった直後から行ってもよいし、例えば、自動車が手動運転モードと自動運転モードとを切替可能な場合、自動車が自動運転モードに移行した場合にのみ行ってもよい。

＜６．特徴＞
以上のように、本実施形態によれば、カメラ３によって運転席を撮影した撮影画像１２３を取得し、この撮影画像１２３に人の顔の器官が含まれているか否かを解析することで、運転者が運転席に着座しているか否かを判断するようにしている。したがって、運転者が運転席に着座していることを確実に判断することができる。

特に、着座の判定に当たっては、ニューラルネットワークにより構成された学習器７によって判定を行っている。すなわち、学習器７は、多くの撮影画像１２３から顔の器官を検出するための学習がなされているため、精度の高い判定を行うことができる。

＜Ｂ．第２実施形態＞
次に、本発明に係る運転者の着座判定装置、着座判定方法、及び着座判定プログラムの第２実施形態について、図面を参照しつつ説明する。

＜１．着座判定システムの概要＞
まず、本実施形態に係る着座判定装置が含まれる着座判定システムについて、説明する。但し、本実施形態に係る着座判定システムは、第１実施形態と同様に、着座判定装置１及び学習装置２を備えている。

本実施形態に係る着座判定装置１は、図１及び図２に示す第１実施形態と同様に、車両の運転席に着いた運転者８００を撮影するように配置されたカメラ３から撮影画像を取得する。また、この着座判定装置１は、運転者８００の顔の挙動に関する顔挙動情報を含む運転者の観測情報を取得する。そして、着座判定装置１は、運転者８００が運転席９００に着座しているか否かを判定するための学習を行った学習済みの学習器（後述するニューラルネットワーク）に、取得した撮影画像及び観測情報を入力することで、運転者８００が運転席９００に着座しているか否かを判定する。

一方、本実施形態に係る学習装置２は、着座判定装置１で利用する学習器を構築する、すなわち、撮影画像及び観測情報の入力に応じて、運転者８００が運転席に着座しているか否かを示す着座情報を出力するように学習器の機械学習を行うコンピュータである。具体的には、学習装置２は、上記の撮影画像、観測情報、及び着座情報の組を学習データとして取得する。そして、学習装置２は、撮影画像及び観測情報を入力すると着座情報に対応する出力値を出力するように学習器（後述するニューラルネットワーク６）を学習させる。これにより、着座判定装置１で利用する学習済みの学習器が作成される。着座判定装置１と学習装置２と接続は、第１実施形態と同様である。

以上のとおり、本実施形態では、運転者８００の状態を推定するために、運転者の着座を推定するための学習を行った学習済みの学習器を利用する。そして、この学習器の入力として、運転者の顔の挙動に関する顔挙動情報を含む、運転者を観測することで得られる観測情報の他に、車両の運転席に着いた運転者を撮影するように配置されたカメラ３から得られる撮影画像を用いる。そのため、運転者８００の顔の挙動だけではなく、運転者８００の身体の状態（例えば、身体の向き、姿勢等）を撮影画像から解析することができる。したがって、本実施形態によれば、運転者８００の取り得る多様な状態を反映して、運転者８００が運転席９００に着座しているか否かを判定することができる。以下、詳細に説明する。

＜２．着座判定装置＞
まず、図８を用いて、本実施形態に係る着座判定装置について説明する。図８は、本実施形態に係る着座判定装置のブロック図である。

図８に示すように、本実施形態に係る着座判定装置のハードウェア構成は、第１実施形態と概ね同じであり、外部Ｉ／Ｆに接続される装置が相違している。したがって、以下では、第１実施形態と相違する点についてのみ説明し、同一構成には同一符号を付して説明を省略する。本実施形態では、外部インタフェース１３は、例えば、ＣＡＮ（Controller Area Network）を介して、上述したカメラ３のほか、ナビゲーション装置３０、生体センサ３２、及びスピーカ３３に接続される。

ナビゲーション装置３０は、車両の走行時に経路案内を行うコンピュータである。ナビゲーション装置３０には、公知のカーナビゲーション装置が用いられてよい。ナビゲーション装置３０は、ＧＰＳ（Global Positioning System）信号に基づいて自車位置を測定し、地図情報及び周辺の建物等に関する周辺情報を利用して、経路案内を行うように構成される。なお、以下では、ＧＰＳ信号に基づいて測定される自車位置を示す情報を「ＧＰＳ情報」と称する。

生体センサ３２は、運転者８００の生体情報を測定するように構成される。測定対象となる生体情報は、特に限定されなくてもよく、例えば、脳波、心拍数等であってよい。生体センサ３２は、測定対象となる生体情報を測定可能であれば特に限定されなくてもよく、例えば、公知の脳波センサ、脈拍センサ等が用いられてよい。生体センサ３２は、測定対象となる生体情報に応じた運転者８００の身体部位に装着される。

スピーカ３３は、音声を出力するように構成される。スピーカ３３は、車両の走行中に運転者８００が当該車両の運転に適した状態ではない場合に、当該車両の運転に適した状態をとるように当該運転者８００に対して警告するのに利用される。詳細は後述する。

＜３．学習装置＞
本実施形態に係る学習装置のハードウェア構成は、第１実施形態の学習装置と同じであるため、ここでは説明を省略する。

＜４．着座判定装置の機能構成＞
次に、図９を用いて、本実施形態に係る着座判定装置１の機能構成の一例を説明する。図９は、本実施形態に係る着座判定装置１の機能構成の一例を模式的に例示する。

図９に示すように、着座判定装置１の制御部１１は、記憶部１２に記憶されたプログラム１２１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム１２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図９に示されるとおり、本実施形態に係る着座判定装置１は、画像取得部１１１、観測情報取得部１１２、解像度変換部１１３、運転状態推定部１１４、及び警告部１１５を備えるコンピュータとして機能する。このうち、解像度変換部１１３及び運転状態推定部１１４が、本発明の解析部に相当する。

画像取得部１１１は、車両の運転席に着いた運転者８００を撮影するように配置されたカメラ３１から撮影画像１２３を取得する。観測情報取得部１１２は、運転者８００の顔の挙動に関する顔挙動情報１２４１及び生体センサ３２により測定された生体情報１２４２を含む観測情報１２４を取得する。本実施形態では、顔挙動情報１２４１は、撮影画像１２３を画像解析することで得られる。なお、観測情報１２４は、このような例に限定されなくてもよく、生体情報１２４２は、省略されてもよい。この場合、生体センサ３２は省略されてもよい。すなわち、撮影画像１２３から取得した顔挙動情報１２４１のみを観測情報１２４として使用することもできる。

解像度変換部１１３は、画像取得部１１１により取得した撮影画像１２３の解像度を低下させる。これにより、解像度変換部１１３は、低解像度撮影画像１２３１を形成する。

運転状態推定部１１４は、運転者が運転席に着座しているか否かの反転を行うための学習を行った学習済みの学習器（ニューラルネットワーク５）に、撮影画像１２３を低解像度化することで得られた低解像度撮影画像１２３１及び観測情報１２４を入力する。これにより、運転状態推定部１１４は、運転者８００の着座に関する着座情報１２５を当該学習器から取得する。なお、低解像度化の処理は省略されてもよい。この場合、運転状態推定部１１４は、撮影画像１２３を学習器に入力してもよい。

ところで、運転席９００に運転者８００が着座しているか否かを判定するに当たっては、誤判定がなされる可能性がある。例えば、助手席の乗車者が運転席９００へ顔を含む体を乗り出している場合、後部座席の乗車者が運転席９００へ顔を含む体を乗り出している場合などに、運転席９００に運転者８００が着座していると判断されるおそれがある。また、運転席９００に着座しているにもかかわらず、運転者が着座していないと判断される可能性もある。例えば、運転者８００がうつむいている場合、あるいは後を向いている場合には、後述するように顔の器官を検出できず、運転者８００が着座していないと判断されるおそれがある。したがって、この着座判定装置１では、後述するように、観測情報１２４に含まれる顔の器官に関する情報を判定の材料とすることに加え、低解像度撮影画像１２３１から運転席に写る者の身体の状態（例えば、身体の向き、姿勢等）を判定の材料としている。このような身体の状態から、運転席に写る者が、運転席に座る者であるか、助手席や後部座席の者であるか、あるいは子供であるかを判定することができる。

警告部１１５は、第１実施形態と同じであり、運転席９００に運転者８００が着座していないと判定したとき、外部インタフェース１６を通じて車内のディスプレイやスピーカ等を駆動し、警告を行う。

（学習器）
次に、学習器について説明する。図９に示されるとおり、本実施形態に係る着座判定装置１は、運転者８００が運転席９００に着座しているか否かの判定のための学習を行った学習済みの学習器として、ニューラルネットワーク５を利用する。本実施形態に係るニューラルネットワーク５は、複数種類のニューラルネットワークを組み合わせることで構成されている。

具体的には、ニューラルネットワーク５は、全結合ニューラルネットワーク５１、畳み込みニューラルネットワーク５２、結合層５３、及びＬＳＴＭネットワーク５４の４つの部分に分かれている。全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２は入力側に並列に配置されており、全結合ニューラルネットワーク５１には観測情報１２４が入力され、畳み込みニューラルネットワーク５２には低解像度撮影画像１２３１が入力される。結合層５３は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２の出力を結合する。ＬＳＴＭネットワーク５４は、結合層５３からの出力を受けて、着座情報１２５を出力する。

（ａ）全結合ニューラルネットワーク
全結合ニューラルネットワーク５１は、いわゆる多層構造のニューラルネットワークであり、入力側から順に、入力層５１１、中間層（隠れ層）５１２、及び出力層５１３を備えている。ただし、全結合ニューラルネットワーク５１の層の数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。

各層５１１〜５１３は、１又は複数のニューロン（ノード）を備えている。各層５１１〜５１３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。各層５１１〜５１３に含まれる各ニューロンが、隣接する層に含まれる全てのニューロンに結合されていることで、全結合ニューラルネットワーク５１は構成される。各結合には、重み（結合荷重）が適宜設定されている。

（ｂ）畳み込みニューラルネットワーク
畳み込みニューラルネットワーク５２は、畳み込み層５２１及びプーリング層５２２を交互に接続した構造を有する順伝播型ニューラルネットワークである。本実施形態に係る畳み込みニューラルネットワーク５２では、複数の畳み込み層５２１及びプーリング層５２２が入力側に交互に配置されている。そして、最も出力側に配置されたプーリング層５２２の出力が全結合層５２３に入力され、全結合層５２３の出力が出力層５２４に入力される。

畳み込み層５２１は、画像の畳み込みの演算を行う層である。画像の畳み込みとは、画像と所定のフィルタとの相関を算出する処理に相当する。そのため、画像の畳み込みを行うことで、例えば、フィルタの濃淡パターンと類似する濃淡パターンを入力される画像から検出することができる。

プーリング層５２２は、プーリング処理を行う層である。プーリング処理は、画像のフィルタに対する応答の強かった位置の情報を一部捨て、画像内に現れる特徴の微小な位置変化に対する応答の不変性を実現する。

全結合層５２３は、隣接する層の間のニューロン全てを結合した層である。すなわち、全結合層５２３に含まれる各ニューロンは、隣接する層に含まれる全てのニューロンに結合される。畳み込みニューラルネットワーク５２は、２層以上の全結合層５２３を備えてもよい。また、全結合層４２３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。

出力層５２４は、畳み込みニューラルネットワーク５２の最も出力側に配置される層である。出力層５２４に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。なお、畳み込みニューラルネットワーク５２の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。

（ｃ）結合層
結合層５３は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２とＬＳＴＭネットワーク５４との間に配置される。結合層５３は、全結合ニューラルネットワーク５１の出力層５１３からの出力及び畳み込みニューラルネットワーク５２の出力層５２４からの出力を結合する。結合層５３に含まれるニューロンの個数は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２の出力の数に応じて適宜設定されてよい。

（ｄ）ＬＳＴＭネットワーク
ＬＳＴＭネットワーク５４は、ＬＳＴＭブロック５４２を備える再起型ニューラルネットワークである。再帰型ニューラルネットワークは、例えば、中間層から入力層への経路のように、内部にループを有するニューラルネットワークのことである。ＬＳＴＭネットワーク５４は、一般的な再起型ニューラルネットワークの中間層をＬＳＴＭブロック５４２に置き換えた構造を有する。

本実施形態では、ＬＳＴＭネットワーク５４は、入力側から順に、入力層５４１、ＬＳＴＭブロック５４２、及び出力層５４３を備えており、順伝播の経路の他、ＬＳＴＭブロック５４２から入力層５４１に戻る経路を有している。入力層５４１及び出力層５４３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。

ＬＳＴＭブロック５４２は、入力ゲート及び出力ゲートを備え、情報の記憶及び出力のタイミングを学習可能に構成されたブロックである（S.Hochreiter and J.Schmidhuber, "Long short-term memory" Neural Computation, 9(8):1735-1780, November 15, 1997）。また、ＬＳＴＭブロック５４２は、情報の忘却のタイミングを調節する忘却ゲートを備えてもよい（Felix A. Gers, Jurgen Schmidhuber and Fred Cummins, "Learning to Forget: Continual Prediction with LSTM" Neural Computation, pages 2451-2471, October 2000）。ＬＳＴＭネットワーク５４の構成は、実施の形態に応じて適宜設定可能である。

（ｅ）小括
各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。着座判定装置１は、全結合ニューラルネットワーク５１に観測情報１２４を入力し、畳み込みニューラルネットワーク５２に低解像度撮影画像１２３１を入力する。そして、着座判定装置１は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、着座判定装置１は、着座情報１２５に対応する出力値をニューラルネットワーク５の出力層５４３から取得する。

＜５．学習装置＞
次に、図１０を用いて、本実施形態に係る学習装置２の機能構成の一例を説明する。図１０は、本実施形態に係る学習装置２の機能構成の一例を模式的に例示する。

図１０に示すように、学習装置２の制御部２１は、記憶部２２に記憶された学習プログラム２２１をＲＡＭに展開する。そして、制御部２１は、ＲＡＭに展開された学習プログラム２２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図１０に示されるとおり、本実施形態に係る学習装置２は、学習データ取得部２１１、及び学習処理部２１２を備えるコンピュータとして機能する。

学習データ取得部２１１は、車両の運転席に着いた運転者を撮影するように配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の着座に関する着座情報の組を学習データとして取得する。本実施形態では、学習データ取得部２１１は、低解像度撮影画像２２３、観測情報２２４、着座情報２２５の組を学習データ２２２として取得する。低解像度撮影画像２２３及び観測情報２２４はそれぞれ、上記低解像度撮影画像１２３１及び観測情報１２４に対応する。着座情報２２５は、上記着座情報１２５に対応する。学習処理部２１２は、低解像度撮影画像２２３及び観測情報２２４を入力すると着座情報２２５に対応する出力値を出力するように学習器を学習させる。これにより、この学習装置２では、上述した誤判定を避けるための、学習が行われる。

図１０に示されるとおり、本実施形態において、学習対象となる学習器は、ニューラルネットワーク６である。当該ニューラルネットワーク６は、全結合ニューラルネットワーク６１、畳み込みニューラルネットワーク６２、結合層６３、及びＬＳＴＭネットワーク６４を備え、上記ニューラルネットワーク５と同様に構成される。全結合ニューラルネットワーク６１、畳み込みニューラルネットワーク６２、結合層６３、及びＬＳＴＭネットワーク６４はそれぞれ、上記全結合ニューラルネットワーク５１、畳み込みニューラルネットワーク５２、結合層５３、及びＬＳＴＭネットワーク５４と同様である。学習処理部２１２は、ニューラルネットワークの学習処理により、全結合ニューラルネットワーク６１に観測情報２２４を入力し、畳み込みニューラルネットワーク６２に低解像度撮影画像２２３を入力すると、着座情報２２５に対応する出力値をＬＳＴＭネットワーク６４から出力するニューラルネットワーク６を構築する。そして、学習処理部２１２は、構築したニューラルネットワーク６の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。

＜６．着座判定装置の動作＞
次に、図１１を用いて、着座判定装置１の動作例を説明する。図１１は、着座判定装置１の処理手順の一例を例示するフローチャートである。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

まず、運転者８００は、車両のイグニッション電源をオンにすることで、着座判定装置１を起動し、起動した着座判定装置１にプログラム１２１を実行させる。着座判定装置１が起動するタイミングは、これに限られない。例えば車両が手動運転モードと自動運転モードとを有する場合、着座判定装置１が起動するタイミングは、自動運転モードが起動されたタイミングでもよい。着座判定装置１の制御部１１は、ナビゲーション装置３０から地図情報、周辺情報、及びＧＰＳ情報を取得して、取得した地図情報、周辺情報、及びＧＰＳ情報に基づいて車両の自動運転を開始する。自動運転の制御方法には、公知の制御方法が利用可能である。そして、車両の自動運転を開始した後（ステップＳ２０１のＹＥＳ）、制御部１１は、以下の処理手順に従って、運転者８００の状態を監視する。

（ステップＳ２０２）
ステップＳ１０１では、制御部１１は、画像取得部１１１として機能し、車両の運転席についた運転者８００を撮影するように配置されたカメラ３１から撮影画像１２３を取得する。取得する撮影画像１２３は、動画像であってもよいし、静止画像であってもよい。撮影画像１２３を取得すると、制御部１１は、次のステップＳ２０３に処理を進める。

（ステップＳ２０３）
ステップＳ２０３では、制御部１１は、観測情報取得部１１２として機能し、運転者８００の顔に挙動する顔挙動情報１２４１及び生体情報１２４２を含む観測情報１２４を取得する。観測情報１２４を取得すると、制御部１１は、次のステップＳ２０４に処理を進める。

顔挙動情報１２４１は適宜取得されてよい。例えば、制御部１１は、ステップＳ２０２で取得した撮影画像１２３に対して所定の画像解析を行うことで、運転者８００の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する情報を顔挙動情報１２４１として取得することができる。

顔挙動情報１２４１の取得方法の一例として、まず、制御部１１は、撮影画像１２３から運転者８００の顔を検出し、検出した顔の位置を特定する。これにより、制御部１１は、顔の検出可否及び位置に関する情報を取得することができる。また、継続的に顔の検出を行うことで、制御部１１は、顔の動きに関する情報を取得することができる。次に、制御部１１は、検出した顔の画像内において、運転者８００の顔に含まれる各器官（眼、口、鼻、耳等）を検出する。これにより、制御部１１は、顔の器官の位置に関する情報を取得することができる。そして、制御部１１は、検出した各器官（眼、口、鼻、耳等）の状態を解析することで、顔の向き、視線の方向、及び目の開閉に関する情報を取得することができる。顔の検出、器官の検出、及び器官の状態の解析には、公知の画像解析方法が用いられてよい。

取得される撮影画像１２３が、動画像又は時系列に並んだ複数の静止画像である場合、制御部１１は、これらの画像解析を撮影画像１２３の各フレームに実行することで、時系列に沿って各種情報を取得することができる。これにより、制御部１１は、ヒストグラム又は統計量（平均値、分散値等）で表された各種情報を時系列データで取得することができる。

また、制御部１１は、生体センサ３２から生体情報（例えば、脳波、心拍数等）１２４２を取得する。例えば、生体情報１２４２は、ヒストグラム又は統計量（平均値、分散値等）で表されてよい。顔挙動情報１２４１と同様に、制御部１１は、生体センサ３２に継続的にアクセスすることで、生体情報１２４２を時系列データで取得することができる。なお、上述したように、生体情報１２４２は、必ずしも必要ではなく、制御部１１は、顔挙動情報１２４１のみを用いて観測情報１２４を生成することができる。

（ステップＳ２０４）
ステップＳ２０４では、制御部１１は、解像度変換部１１３として機能し、ステップＳ２０２で取得した撮影画像１２３の解像度を低下させる。これにより、制御部１１は、低解像度撮影画像１２３１を形成する。低解像度化の処理方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、ニアレストネイバー法、バイリニア補間法、バイキュービック法等により、低解像度撮影画像１２３１を形成することができる。低解像度撮影画像１２３１を形成すると、制御部１１は、次のステップＳ１０４に処理を進める。なお、本ステップＳ１０３は省略されてもよい。すなわち、制御部１１は、撮影画像１２３の低解像度化を行うことなく、撮影画像１２３を学習器５への入力とすることができる。

（ステップＳ２０５及びＳ２０６）
ステップＳ２０５では、制御部１１は、運転状態推定部１１４として機能し、取得した観測情報１２４及び低解像度撮影画像１２３１をニューラルネットワーク５の入力として用いて、当該ニューラルネットワーク５の演算処理を実行する。これにより、ステップＳ１０５では、制御部１１は、着座情報１２５それぞれに対応する出力値を当該ニューラルネットワーク５から得る。

具体的には、制御部１１は、ステップＳ２０３で取得した観測情報１２４を全結合ニューラルネットワーク５１の入力層５１１に入力し、ステップＳ２０４で取得した低解像度撮影画像１２３１を、畳み込みニューラルネットワーク５２の最も入力側に配置された畳み込み層５２１に入力する。そして、制御部１１は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、着座情報１２５に対応する出力値をＬＳＴＭネットワーク５４の出力層５４３から取得する。

（ステップＳ２０７及びＳ２０８）
ステップＳ２０７では、制御部１１は、警告部１１５として機能し、ステップＳ２０６で取得した着座情報１２５に基づいて、運転者８００が運転席に着座しているか否かを判定する。そして、運転者８００が運転席に着座していると判定した場合には、制御部１１は、次のステップＳ２０８を省略して、本動作例に係る処理を終了する。一方、運転者８００が運転席に着座していないと判定した場合には、制御部１１は、次のステップＳ２０８の処理を実行する。すなわち、制御部１１は、スピーカ３３やディスプレイを介して、運転者が運転席に着座していないことを報知する。あるいは、自動車を減速したり、停止させることもできる。その後、運転が行われていれば（ステップＳ２０１のＹＥＳ）、引き続き、ステップＳ２０２〜Ｓ２０７の処理を行う。一方、運転が行われていない場合には（ステップＳ２０１のＮＯ）、処理を停止する。

＜７．特徴＞
以上のように、本実施形態に係る着座判定装置１は、上記ステップＳ２０２〜ステップＳ２０４までの処理により、運転者８００の顔挙動情報１２４１を含む観測情報１２４と車両の運転席に着いた運転者を撮影するように配置されたカメラ３から得られる撮影画像（低解像度撮影画像１２３１）とを取得する。そして、着座判定装置１は、上記ステップＳ２０５及びＳ２０６により、取得した観測情報１２４及び低解像度撮影画像１２３１を学習済みのニューラルネットワーク（ニューラルネットワーク５）の入力として用いることで、運転者８００が運転席９００に着座しているか否か判定する。この学習済みのニューラルネットワークは、上記学習装置２により、低解像度撮影画像２２３、観測情報２２４、着座情報２２５を含む学習データを用いて作成される。したがって、本実施形態では、運転者の着座を判定する過程に、運転者８００の顔の挙動だけではなく、低解像度撮影画像から判別され得る運転者８００の身体の状態（例えば、身体の向き、姿勢等）を反映することができる。

よって、撮影画像１２３において、運転席９００に写る者の身体の状態から、これが、運転者８００であるか、助手席や後部座席の者が運転席９００に身体を乗り出しているのであるか、を判定することができる。また、運転者８００が着座している場合でも、運転者８００がうつむいたり、後を向いたりする場合には、顔の器官を正確に検出できないが、このような場合でも運転者８００の身体の状態を検出することで、運転者８００が運転席９００に着座していると判定することができる。したがって、運転者８００が運転席９００に着座しているか否かを精度よく判定することができる。

また、本実施形態では、ニューラルネットワーク（５、６）の入力として、運転者の顔挙動情報を含む観測情報（１２４、２２４）を利用している。そのため、ニューラルネットワーク（５、６）に入力するための撮影画像は、運転者の顔の挙動を判別できるほど高解像度のものでなくてもよい。そこで、本実施形態では、ニューラルネットワーク（５、６）の入力として、カメラ３１により得られる撮影画像を低解像度化した低解像度撮影画像（１２３１、２２３）を用いてもよい。これにより、ニューラルネットワーク（５、６）の演算処理の計算量を低減することができ、プロセッサの負荷を低減することができる。なお、低解像度撮影画像（１２３１、２２３）の解像度は、運転者の顔の挙動は判別できないが、運転者の姿勢に関する特徴を抽出可能な程度であるのが好ましい。なお、上述したように、撮影画像１２３の低解像度化を必ずしも行う必要はなく、例えば、演算処理の負荷を考慮しなければ、撮影画像１２３を学習器５の入力とすることができる。

また、本実施形態に係るニューラルネットワーク５は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２を入力側に備えている。そして、上記ステップＳ１０４では、全結合ニューラルネットワーク５１に観測情報１２４を入力し、畳み込みニューラルネットワーク５２に低解像度撮影画像１２３１を入力している。これにより、各入力に適した解析を行うことができる。また、本実施形態に係るニューラルネットワーク５は、ＬＳＴＭネットワーク５４を備えている。これにより、観測情報１２４及び低解像度撮影画像１２３１に時系列データを利用し、短期的な依存関係だけでなく、長期的な依存関係を考慮して、運転者８００の着座を判定することができる。したがって、本実施形態によれば、運転者８００の着座の判定精度を高めることができる。

＜Ｃ．変形例＞
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

＜１＞
例えば、上記実施形態では、図５及び図６に示されるとおり、各ニューラルネットワーク（７、８）として、多層構造を有する一般的な順伝播型ニューラルネットワークを用いている。しかしながら、各ニューラルネットワーク（７、８）の種類は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各ニューラルネットワーク（７、８）は、入力層７１及び中間層７２を畳み込み層及びプーリング層として利用する畳み込みニューラルネットワークであってもよい。また、例えば、各ニューラルネットワーク（７、８）は、中間層７２から入力層７１等のように出力側から入力側に再帰する結合を有する再帰型ニューラルネットワークであってもよい。なお、各ニューラルネットワーク（７、８）の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、及び各ニューロンの伝達関数は、実施の形態に応じて適宜決定されてよい。

＜２＞
上記実施形態では、着座判定装置１と学習器（ニューラルネットワーク）７の学習を行う学習装置２とは別々のコンピュータで構成されている。しかしながら、着座判定装置１及び学習装置２の構成はこのような例に限定されなくてもよく、着座判定装置１及び学習装置２の両方の機能を有するシステムを１台又は複数台のコンピュータで実現してもよい。また、学習装置２を着座判定装置１に組み込んで使用することもできる。

＜３＞
上記実施形態では、学習器は、ニューラルネットワークにより構成されている。しかしながら、学習器の種類は、カメラ３で撮影された撮影画像１２３を入力として利用可能であれば、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。複数の撮影画像１２３を入力可能な学習器として、例えば、上記ニューラルネットワークの他、サポートベクターマシン、自己組織化マップ、又は強化学習により学習を行う学習器によって構成された学習器を挙げることができる。

＜４＞
上記実施形態では、着座判定装置１を単独の装置として、自動車に実装しているが、例えば、自動車のコンピュータに、上記着座判定プログラムをインストールして、着座判定を行うこともできる。

＜５＞
顔の器官を検出する方法は、上記のような学習器以外でも可能である。また、顔の器官を検出する以外に、顔自体の検出や、人の体の検出を行うこともできる。そのような方法としては、種々の方法があり、例えば、公知のパターンマッチングを用いることができる。あるいは三次元モデルを用いて特徴点の抽出を行う手法があり、具体的には、例えば、国際公開２００６／０５１６０７号公報、特開２００７−２４９２８０号公報などに記載されている手法を採用することができる。

＜６＞
また、視体積交差法により運転席に位置する物体の三次元形状を取得し、この三次元形状が人であるか否かを判断することで、着座を判定することができる。この場合、車内に複数のカメラを設け、これら複数のカメラで複数の角度から運転席を撮影し、複数の撮影画像を取得する。そして、着座判定装置１では、解析部において、複数の撮影画像から、視体積交差法により運転席に着座する物体の三次元形状を取得する。そして、この三次元形状が人であるか否かを判断し、人である場合には、運転席に運転者が着座していると判定することができる。一方、三次元形状を取得できない場合、あるいは三次元形状が人ではないと判定されたた場合には、上記のように警告を行うことができる。

また、上記実施形態では、観測情報１２４は、顔挙動情報１２４１の他に、生体情報１２４２を含んでいる。しかしながら、観測情報１２４の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、生体情報１２４２は省略されてもよい。また、例えば、観測情報１２４は、生体情報１２４２以外の情報を含んでいてもよい。

（付記１）
自動車の運転席を撮影する少なくとも１つのカメラと接続される運転者の着座判定装置であって、
少なくとも１つのハードウェアプロセッサを備え、
前記ハードウェアプロセッサは、
前記カメラによって撮影された撮影画像を取得し、
前記撮影画像から前記運転席に運転者が着座しているか否かを判断する、運転者の着座判定装置。

（付記２）
自動車の運転席を、少なくとも１つのカメラで撮影するステップと、
少なくとも１つのハードウェアプロセッサにより、前記カメラによって撮影された撮影画像から前記運転席に運転者が着座しているか否かを判断するステップと、
を備えている、運転者の着座判定方法。

１…着座判定装置、１００…着座判定システム、
１１…制御部、１２…記憶部、１３…通信インタフェース、
１４…入力装置、１５…出力装置、１６…外部インタフェース、
１７…ドライブ、
１１１…画像取得部、１１２…解析部、１１３…警告部、
１２１…着座判定プログラム、１２２…学習結果データ、
１２３…撮影画像、
２…学習装置、
２１…制御部、２２…記憶部、２３…通信インタフェース、
２４…入力装置、２５…出力装置、２６…外部インタフェース、
２７…ドライブ、
２１１…学習画像取得部、２１２…学習処理部、
２２１…学習プログラム、２２２…学習データ、
３…カメラ、
７…ニューラルネットワーク、
７１…入力層、７２…中間層（隠れ層）、７３…出力層、
８…ニューラルネットワーク、
８１…入力層、８２…中間層（隠れ層）、８３…出力層、
９１・９２…記憶媒体

Claims (15)

1. 自動車の運転席を撮影する少なくとも１つのカメラと接続される運転者の着座判定装置であって、
   前記カメラによって撮影された撮影画像を取得する画像取得部と、
   前記撮影画像から前記運転席に運転者が着座しているか否かを判断する解析部と、
   を備えている、運転者の着座判定装置。
2. 前記運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報を取得する観測情報取得部をさらに備え、
   前記解析部は、
   前記運転者の前記運転席への着座を判定するための学習を行った学習済みの学習器に、前記撮影画像及び前記観測情報を入力することで、前記運転者が着座しているか否かの着座情報を当該学習器から取得する運転者状態推定部と、
   を備える、請求項１に記載の運転者の着座判定装置。
3. 前記観測情報取得部は、取得した前記撮影画像に対して所定の画像解析を行うことで、前記運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する情報を前記顔挙動情報として取得する、請求項２に記載の運転者の着座判定装置。
4. 前記解析部は、取得した前記撮影画像の解像度を低下させる解像度変換部を更に備え、
   前記運転者状態推定部は、解像度を低下させた前記撮影画像を前記学習器に入力する、
   請求項２または３に記載の運転者の着座判定装置。
5. 前記解析部は、前記撮影画像から前記運転者の顔を検出することで、前記運転席に運転者が着座していると判断する、請求項１に記載の運転者の着座判定装置。
6. 前記解析部は、前記撮影画像に含まれる像から人の顔の器官を検出することで、前記運転席に運転者が着座していると判断する、請求項５に記載の運転者の着座判定装置。
7. 前記解析部は、
   人の顔を検出するための学習を行った学習済みの学習器であって、運転席を含む撮影画像を入力とし、当該撮影画像に人の顔が含まれるか否かを出力とする学習器を備えている、請求項５または６に記載の運転者の着座判定装置。
8. 前記運転席に運転者が着座していないと判断した場合に、警告を発する警告部をさらに備えている、請求項１から７のいずれかに記載に運転者の着座判定装置。
9. 前記自動車は、自動運転機能を有し、
   前記解析部は、前記自動運転機能の作動中に、運転者の着座を判断する、請求項１から８のいずれかに記載に運転者の着座判定装置。
10. 自動車の運転席を、少なくとも１つのカメラで撮影するステップと、
    前記カメラによって撮影された撮影画像から前記運転席に運転者が着座しているか否かを判断するステップと、
    を備えている、運転者の着座判定方法。
11. 前記撮影画像から前記運転者の顔を検出することで、前記運転席に運転者が着座していると判断する、請求項１０に記載の運転者の着座判定方法。
12. 前記撮影画像に含まれる像から人の顔の器官を検出することで、前記運転席に運転者が着座していると判断する、請求項１０に記載の運転者の着座判定方法。
13. 自動車のコンピュータに、
    自動車の運転席を、少なくとも１つのカメラで撮影するステップと、
    前記カメラによって撮影された撮影画像から前記運転席に運転者が着座しているか否かを判断するステップと、
    を実行させる、運転者の着座判定プログラム。
14. 前記撮影画像から前記運転者の顔を検出することで、前記運転席に運転者が着座していると判断する、請求項１３に記載の運転者の着座判定プログラム。
15. 前記撮影画像に含まれる像から人の顔の器官を検出することで、前記運転席に運転者が着座していると判断する、請求項１４に記載の運転者の着座判定プログラム。