JP2019103664A - 状態推定装置とその方法およびプログラム - Google Patents

Abstract

【課題】車両を運転している運転者Ｏｂを簡易に判定できるようにする。【解決手段】状態推定装置１において、画像選択部１１１１は、それぞれ互いに異なる位置に配置された複数台のカメラ２−１，２−２，…，２−Ｎによって取得された状態推定対象者Ｏｂの複数の監視画像の中から、状態推定に使用する少なくとも１つの監視画像を選択し、状態推定部１１１２は、前記選択された監視画像に基づいて前記状態推定対象者の状態を推定する。そして、推定状態出力部１１１３は、推定結果を示す情報を出力する。【選択図】図１

Description

この発明の実施形態は、車両の運転者、機械等の運転者または操作者などである状態推定対象者の状態を推定する状態推定装置とその方法およびプログラムに関する。

例えば、車両の運転者は、車両を運転している間、十分に覚醒していることが求められる。このような車両の運転者に限らず、製造設備やプラント等で使用される機械等の運転者または操作者もまた同様に、機械等を運転や操作している間は、十分に覚醒していることが求められる。

また、これら車両の運転者、機械等の運転者または操作者は、車両の運転や機械等を運転や操作している間、脇見やよそ見をせず、運転や操作に対して十分に集中していることも求められている。

このような事情から、運転者または操作者の眠気状態や脇見状態を推定して、警報を発生する装置が、各種提案されている。例えば、特許文献１は、スピーカから音を発生させ、それに反応した人間の表情の変化、人間の顔あるいは視線方向を検出することで、眠気状態を推定している。また、特許文献２は、運転者の顔または視線の方向を検出し、その検出した方向を基準値と比較して脇見状態を推定している。

特許第５０５６０６７号公報 特開平８−２０７６１７号公報

特許文献１および特許文献２に記載された技術では、１台のカメラによって取得した状態推定対象者の顔画像から、状態推定対象者の表情、あるいは、顔または視線の方向を検出し、その検出結果により状態推定対象者の状態を推定している。

このようなカメラ１台による状態推定装置では、状態推定対象者の姿勢や顔向きによっては、状態推定対象者の表情、あるいは、顔または視線の方向を検出できない事態が生じる。例えば、状態推定対象者が車両の運転者であれば、ハンドル操作時に運転者の腕がカメラと運転者の顔との間に入り込み、カメラによって取得した画像において、運転者の顔が隠れてしまうことがある。また、運転者の顔がカメラに対して正面以外を向いた際には、運転者の眼や口状態がカメラから見えにくくなる。眼や口の状態は、運転者の状態を推定する上で重要であるため、これらの情報が観測できないと、状態推定の信頼度が低下する。

このように、従来の状態推定装置では、状態推定対象者の状況に依っては状態推定が行えなかったり、例え推定が行えたとしても推定結果の信頼性が低くなったりする。状態推定対象者の状況に依らず、安定した状態推定結果が得られることが望まれる。

この発明は上記事情に着目し、その目的の一つは、状態推定対象者の状況に依らず、状態推定対象者の状態を安定して推定できるようにした、状態推定装置とその方法およびプログラムを提供しようとするものである。

上記課題を解決するためにこの発明の第１の態様は、状態推定装置が、それぞれ互いに異なる位置に配置された複数台のカメラによって取得された状態推定対象者の複数の監視画像の中から、状態推定に使用する少なくとも１つの監視画像を選択する画像選択部と、前記選択された監視画像に基づいて前記状態推定対象者の状態を推定する状態推定部と、推定結果を示す情報を出力する出力部と、を具備するようにしたものである。

この発明の第１の態様によれば、状態推定装置では、状態推定対象者を互いに異なる位置から撮像するように複数台のカメラを設置しておき、画像選択部によって、これら複数台のカメラにより取得された状態推定対象者の複数の監視画像の中から、状態推定に使用する少なくとも１つの監視画像を選択する。そして、状態推定部により、この選択された監視画像に基づいて状態推定対象者の状態を推定し、出力部により、その推定結果を示す情報を出力する。したがって、１つのカメラから取得した状態推定対象者の監視画像に基づいて状態推定できない場合であっても、他のカメラから取得した監視画像に基づいて状態推定対象者の状態を推定することができるので、状態推定対象者の状況に依らず、状態推定対象者の状態を安定して推定できるようになる。

この発明の第２の態様は、上記第１の態様において、前記画像選択部が、前記複数の監視画像の中から、前記状態推定対象者の顔が含まれている監視画像を選択するようにしたものである。

この発明の第２の態様によれば、状態推定対象者の状況に依らず、状態推定対象者の顔が含まれる画像を選択することで、監視画像に基づいた推定を行うことが可能となる。

この発明の第３の態様は、上記第１の態様または上記第２の態様において、前記画像選択部が、前記複数の監視画像の中から、前記状態推定対象者の眼が含まれている監視画像を選択するようにしたものである。

この発明の第３の態様によれば、状態推定対象者の状態推定には、状態推定対象者の眼が重要な情報であり、この状態推定対象者の眼が含まれている監視画像を選択することで、状態推定対象者の状態を安定して推定することが可能となる。

この発明の第４の態様は、上記第１の態様から上記第３の態様のいずれか１つの態様において、前記画像選択部が、前記複数の監視画像の中から、前記状態推定対象者の眼が２つ含まれている監視画像を選択するようにしたものである。

この発明の第４の態様によれば、状態推定対象者の眼が２つ含まれている監視画像を選択し、それに基づいて状態推定対象者の状態を推定するので、高い信頼性を持った推定結果が得られる。

この発明の第５の態様は、上記第１の態様から上記第４の態様のいずれか１つの態様において、前記画像選択部が、選択された監視画像が複数ある場合に、当該選択された監視画像のうち、前記状態推定対象者の顔を最も正面に近い向きで撮像した監視画像を１つ選択するようにしたものである。

この発明の第５の態様によれば、監視画像のうち、状態推定対象者の顔を最も正面に近い向きで撮像した監視画像を１つ選択し、それに基づいて状態推定対象者の状態を推定する。したがって、状態推定対象者の状態を推定し易い正面からの顔を含む監視画像に基づいた推定を行えるので、信頼性が非常に高い推定結果が得られる。

この発明の第６の態様は、上記第１の態様において、前記画像選択部が、前記状態推定対象者の眼が２つとも含まれる監視画像の全てを選択し、前記状態推定部が、前記選択された監視画像それぞれに基づいて前記状態推定対象者の状態を推定し、それら推定結果の平均を、前記状態推定対象者の状態の推定結果とするようにしたものである。

この発明の第６の態様によれば、状態推定対象者の眼が２つとも含まれる監視画像のそれぞれに基づいて状態を推定し、それら推定結果の平均を、状態推定対象者の状態の推定結果とする。したがって、最終的な推定結果の信頼性が非常に高くなる。

この発明の第７の態様によれば、上記第１の態様において、前記画像選択部が、前記状態推定対象者の眼が２つとも含まれる監視画像が存在しない場合、前記状態推定対象者の眼が１つ含まれる監視画像を全て選択し、前記状態推定部が、前記選択された複数の監視画像それぞれに基づいて前記状態推定対象者の状態を推定し、それら推定結果の平均を、前記状態推定対象者の状態の推定結果とするようにしたものである。

この発明の第７の態様によれば、状態推定対象者の眼が２つとも含まれる監視画像が存在しない場合には、状態推定対象者の眼が１つ含まれる監視画像それぞれに基づいて状態を推定し、それら推定結果の平均を、状態推定対象者の状態の推定結果とする。したがって、状態推定対象者の眼が１つ含まれる１つの監視画像からの推定結果よりも高い信頼性を有する推定結果が得られる。

この発明の第８の態様によれば、上記第７の態様において、前記画像選択部が、前記選択した監視画像の数が所定数に満たない場合には、その不足数分、前記状態推定対象者の眼を含まない監視画像のうち、前記状態推定対象者の顔を正面に近い向きで撮像した監視画像から順に選択するようにしたものである。

この発明の第８の態様によれば、状態推定対象者の眼が１つ含まれる監視画像の数が少ない場合には、さらに状態推定対象者の顔を正面に近い向きで撮像した監視画像から順に選択して、状態推定に使用する。したがって、状態推定対象者の眼が１つ含まれる１つの監視画像からの推定結果よりも高い信頼性を有する推定結果が得られる。

この発明の第９の態様によれば、上記第１の態様において、前記画像選択部が、前記状態推定対象者の眼が含まれる監視画像が存在しない場合、前記監視画像のうち、前記状態推定対象者の顔を最も正面に近い向きで撮像した監視画像から順に所定数の監視画像を選択するようにしたものである。

この発明の第９の態様によれば、状態推定対象者の眼が含まれる監視画像が存在しない場合には、監視画像のうち、状態推定対象者の顔を最も正面に近い向きで撮像した監視画像から順に所定数選択し、それらに基づいて状態推定対象者の状態を推定する。したがって、状態推定対象者の眼が１つも含まれていない監視画像の中で、状態推定対象者の表情に基づいた状態推定を行うのに適したものから所定数を選択することで、或る程度の信頼性を持った推定結果が得られる。

また、上記課題を解決するためにこの発明の第１０の態様は、状態推定対象者の状態を推定する状態推定装置が実行する状態推定方法であって、前記状態推定装置が、それぞれ互いに異なる位置に配置された複数台のカメラによって取得された前記状態推定対象者の複数の監視画像の中から、状態推定に使用する少なくとも１つの監視画像を選択する過程と、前記状態推定装置が、前記選択された監視画像に基づいて前記状態推定対象者の状態を推定する過程と、前記状態推定装置が、推定結果を示す情報を出力する過程と、を具備するようにしたものである。

この発明の第１０の態様によれば、上記第１の態様同様、複数台のカメラにより取得した状態推定対象者の監視画像の中から、状態推定に使用する少なくとも１つの監視画像を選択し、この選択された監視画像に基づいて状態推定対象者の状態を推定して、その推定結果を示す情報を出力する。したがって、１つのカメラから取得した状態推定対象者の監視画像に基づいて状態推定できない場合であっても、他のカメラから取得した監視画像に基づいて状態推定対象者の状態を推定することができるので、状態推定対象者の状況に依らず、状態推定対象者の状態を安定して推定できるようになる。

また、上記課題を解決するためにこの発明の第１１の態様は、状態推定プログラムが、上記第１の態様から上記第９の態様のいずれか１つの態様の状態推定装置が具備する各部としてコンピュータを機能させるようにしたものである。

この発明の第１１の態様によれば、コンピュータを利用して、上記第１の態様から上記第９の態様のいずれか１つの態様を実現することができる。

すなわちこの発明の各態様によれば、状態推定対象者の状況に依らず、状態推定対象者の状態を安定して推定できるようにした、状態推定装置とその方法およびプログラムを提供することができる。

図１は、この発明の実施形態に係る状態推定装置の一適用例を説明するブロック図である。 図２は、複数台のカメラの配置関係を説明するための模式図である。 図３は、この発明の第１実施形態に係る状態推定装置のハードウェア構成を例示したブロック図である。 図４は、この発明の第１実施形態に係る状態推定装置のソフトウェア構成を例示した状態推定システムのブロック図である。 図５は、図４に示した状態推定装置の画像選択部の処理手順と処理内容の一例を示すフローチャートである。 図６は、図４に示した状態推定装置の状態推定部の処理手順と処理内容の一例を示すフローチャートである。 図７は、この発明の第２実施形態に係る状態推定装置のソフトウェア構成を例示したブロック図である。 図８は、図７に示した状態推定装置の画像選択部の処理手順と処理内容の一例を示すフローチャートである。 図９は、図７に示した状態推定装置の状態推定部の処理手順と処理内容の一例を示すフローチャートである。

以下、図面を参照してこの発明に係わる実施形態を説明する。

［適用例］
先ず、この発明の一実施形態に係る状態推定装置の一つの適用例について説明する。

図１は、この適用例における状態推定装置の構成例を模式的に示したものである。

状態推定装置１は、画像選択部１１１１と、状態推定部１１１２と、推定状態出力部１１１３と、を備えている。この状態推定装置１には、複数台（Ｎ台）のカメラ２−１、２−２、…、２−Ｎが接続されている。なお、Ｎは２以上の整数である。これらカメラ２−１、２−２、…、２−Ｎはそれぞれ、状態推定対象者の顔を撮像できる箇所に設置され、状態推定対象者の顔を互いに異なる位置から撮像して、状態推定対象者の監視画像を取得する。

図２は、複数台のカメラ２−１、２−２、…、２−Ｎのうちの、カメラ２−１と２−２の配置関係を説明するための模式図である。ここでは、状態推定対象者が車両の運転者Ｏｂを示している。運転者ＯｂがハンドルＨａを操作する際に、そのハンドルＨａを操作する腕Ａｒが１つのカメラ、例えばカメラ２−１の撮像視野を遮ったとしても、他のカメラ、例えばカメラ２−２が運転者Ｏｂの顔を撮像できるように設置される。このように、複数台のカメラ２−１、２−２、…、２−Ｎは、互いに異なる位置から、運転者Ｏｂの顔を撮像可能に配置される。例えば、これらのカメラ２−１、２−２、…、２−Ｎは、ダッシュボード上、ステアリング中央、速度メータ脇、フロントピラー等に配置されることができる。なお、カメラ２−１、２−２、…、２−Ｎは、１秒間に複数枚、運転者Ｏｂの静止画像を撮像するスチルカメラであってもよいし、運転者Ｏｂの動画像を撮像するビデオカメラであってもよい。

画像選択部１１１１は、これらそれぞれ互いに異なる位置に配置された複数台のカメラ２−１、２−２、…、２−Ｎによって取得された運転者Ｏｂの複数の監視画像の中から、状態推定に使用する少なくとも１つの監視画像を選択する。

例えば、画像選択部１１１１は、複数台のカメラ２−１、２−２、…、２−Ｎによって取得した複数の監視画像のうち、運転者Ｏｂの顔が含まれている監視画像を１つ選択する。好ましくは、画像選択部１１１１は、複数の監視画像の中から、運転者Ｏｂの眼が含まれている監視画像を選択する。より好ましくは、画像選択部１１１１は、複数の監視画像の中から、運転者Ｏｂの眼が２つ含まれている監視画像を選択する。また、画像選択部１１１１は、そのような顔、眼または２つの眼が含まれる監視画像が複数有る場合には、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像を１つ選択することができる。例えば、運転者Ｏｂの眼が２つとも含まれる監視画像が１つしか無ければ、それを選択することができる。運転者Ｏｂの眼が２つとも含まれる監視画像が複数有る場合には、画像選択部１１１１は、そのうちの、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像を１つ選択することができる。また、運転者Ｏｂの眼が２つとも含まれる監視画像が存在しない場合には、画像選択部１１１１は、複数の監視画像のうち、運転者Ｏｂの眼が１つ含まれる監視画像が１つしか無ければ、それを選択することができる。運転者Ｏｂの眼が１つ含まれる監視画像が複数有る場合には、画像選択部１１１１は、そのうちの、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像を１つ選択することができる。さらに、運転者Ｏｂの眼が含まれる監視画像が存在しない場合には、画像選択部１１１１は、前記監視画像のうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像を１つ選択することができる。

状態推定部１１１２は、画像選択部１１１１によって選択された１つの監視画像に基づいて、既知の手法により、運転者Ｏｂの状態、例えば眠気状態や脇見状態を推定する。

なお、画像選択部１１１１は、１つではなく複数の監視画像を選択するようにしてもよい。例えば、画像選択部１１１１は、運転者Ｏｂの眼が２つとも含まれる監視画像の全てを選択してもよい。この場合、状態推定部１１１２は、画像選択部１１１１によって選択された監視画像それぞれに基づいて運転者Ｏｂの状態を推定し、それら推定結果の平均を、運転者Ｏｂの状態の推定結果とすることができる。また、運転者Ｏｂの眼が２つとも含まれる監視画像が存在しない場合には、画像選択部１１１１は、運転者Ｏｂの眼が１つ含まれる監視画像を全て選択してもよい。この場合には、状態推定部１１１２は、画像選択部１１１１によって選択された複数の監視画像それぞれに基づいて運転者Ｏｂの状態を推定し、それら推定結果の平均を、運転者Ｏｂの状態の推定結果とすることができる。なお、運転者Ｏｂの眼が１つ含まれる監視画像を全て選択したとしても、選択した監視画像の数が所定数に満たない場合には、画像選択部１１１１は、その不足数分、運転者Ｏｂの眼を含まない監視画像のうち、運転者Ｏｂの顔を正面に近い向きで撮像した監視画像から順に選択するようにすればよい。なお、上記所定数は、カメラ２−１、２−２、…、２−Ｎの台数（Ｎ）未満で２以上の整数である。状態推定部１１１２は、画像選択部１１１１によって選択された複数の監視画像それぞれに基づいて運転者Ｏｂの状態を推定し、それら推定結果の平均を、運転者Ｏｂの状態の推定結果とすることができる。なお、運転者Ｏｂの眼が１つ含まれる監視画像を全て選択したとしても、選択した監視画像の数が未だ上記所定数に満たない場合には、画像選択部１１１１は、その不足数分、運転者Ｏｂの眼を含まない監視画像のうち、状態推定対象者の顔を正面に近い向きで撮像した監視画像から順に選択するようにすればよい。

推定状態出力部１１１３は、こうして状態推定部１１１２によって推定された状態推定結果を示す状態推定結果情報を出力する。推定状態出力部１１１３は、例えば、スピーカと警告灯表示器を有し、状態推定部１１１２の状態推定結果に応じて警告音や警告灯の点灯によって、運転者に出力したり、しなかったりする。推定状態出力部１１１３は、スピーカと警告灯表示器の一方で構成されてもよい。また、警告音や警告表示を、車両が備えるナビゲーションシステムの音声出力機能や画像表示機能を利用することも可能であり、この場合には、推定状態出力部１１１３は、ナビゲーションシステム等の外部機器へ状態推定結果情報を出力するものであってよい。

また、推定状態出力部１１１３は、状態推定結果情報を運転者Ｏｂに対して出力するのではなく、車両に搭載された自動運転装置やそれを制御する自動運転制御装置などの外部装置へ出力するものであってもよい。この場合、外部装置は、この状態推定結果情報に基づいた動作を行う。例えば、自動運転制御装置では、自動運転装置による自動運転モードでの走行状態から、運転者Ｏｂの操作による手動運転モードによる走行状態へ、運転モードを切替ようとする際に、この状態推定結果情報に応じて切替の可否を判定することができる。

また、状態推定対象者が製造設備やプラント等で使用される機械等の運転者または操作者である場合、推定状態出力部１１１３は、その運転者または操作者に対して状態推定結果情報を出力することに加えて、あるいは、それを出力する代わりに、運転者または操作者を管理監督する管理者の端末や、管理部署に配置された警告装置に、無線または有線通信により状態推定結果情報を出力するようにしてもよい。

以上のような構成であるから、状態推定装置１においては、状態推定対象者、例えば車両の運転者Ｏｂを互いに異なる位置から撮像するように複数台のカメラ２−１、２−２、…、２−Ｎを設置しておき、画像選択部１１１１によって、これら複数台のカメラ２−１、２−２、…、２−Ｎにより取得された運転者Ｏｂの複数の監視画像の中から、状態推定に使用する少なくとも１つの監視画像を選択する。そして、状態推定部１１１２により、この選択された監視画像に基づいて運転者Ｏｂの状態を推定し、推定状態出力部１１１３により、その推定結果を示す状態推定結果情報を出力する。したがって、１つのカメラ、例えばカメラ２−１から取得した運転者Ｏｂの監視画像に基づいて状態推定できない場合であっても、他のカメラ、例えばカメラ２−２から取得した監視画像に基づいて運転者Ｏｂの状態を推定することができるので、運転者Ｏｂの状況に依らず、運転者Ｏｂの状態を安定して推定できるようになる。

なお、状態推定装置１においては、画像選択部１１１１によって、複数の監視画像の中から、運転者Ｏｂの顔が含まれている監視画像を選択し、状態推定部１１１２により、その選択した１つの監視画像に基づいて運転者Ｏｂの状態を推定する。したがって、運転者Ｏｂの状況に依らず、運転者Ｏｂの顔が含まれる画像を選択することで、監視画像に基づいた推定を行うことが可能となる。

好ましくは、状態推定装置１においては、画像選択部１１１１によって、複数の監視画像の中から、運転者Ｏｂの眼が含まれている監視画像を選択し、状態推定部１１１２により、その選択した１つの監視画像に基づいて運転者Ｏｂの状態を推定する。運転者Ｏｂの状態推定には、運転者Ｏｂの眼が重要な情報であり、この運転者Ｏｂの眼が含まれる画像を選択することで、状態推定部１１１２は、運転者Ｏｂの状態を安定して推定することが可能となる。

より好ましくは、状態推定装置１においては、画像選択部１１１１によって、複数の監視画像の中から、運転者Ｏｂの眼が２つ含まれている監視画像を選択し、状態推定部１１１２により、その選択した１つの監視画像に基づいて運転者Ｏｂの状態を推定する。したがって、状態推定部１１１２は、高い信頼性を持った運転者Ｏｂの状態推定結果を得ることが可能となる。

なお、状態推定装置１においては、画像選択部１１１１によって、選択された監視画像が複数ある場合に、当該選択された監視画像のうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像を１つ選択する。したがって、状態推定部１１１２は、運転者Ｏｂの状態を推定し易い正面からの顔を含む監視画像に基づいた推定を行えるので、信頼性が非常に高い推定結果を得ることができる。

また、状態推定装置１においては、画像選択部１１１１によって、運転者Ｏｂの眼が２つとも含まれる監視画像のうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像を１つ選択し、状態推定部１１１２により、その選択した１つの監視画像に基づいて運転者Ｏｂの状態を推定する。したがって、運転者Ｏｂの眼が２つとも含まれている状態推定に最適な監視画像に基づいた推定を行うので、信頼性が非常に高い推定結果が得られる。

また、状態推定装置１においては、運転者Ｏｂの眼が２つとも含まれる監視画像が存在しない場合には、画像選択部１１１１によって、運転者Ｏｂの眼が１つ含まれる監視画像のうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像を１つ選択し、状態推定部１１１２により、その選択した１つの監視画像に基づいて運転者Ｏｂの状態を推定する。したがって、運転者Ｏｂの眼が１つ含まれる監視画像の中で状態推定に使用するのに最も適したものを選択することで、信頼性の高い推定結果が得られる。

また、状態推定装置１においては、運転者Ｏｂの眼が含まれる監視画像が存在しない場合には、画像選択部１１１１によって、監視画像のうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像を１つ選択し、状態推定部１１１２により、その選択した１つの監視画像に基づいて運転者Ｏｂの状態を推定する。したがって、運転者Ｏｂの眼が１つも含まれていない監視画像の中で、運転者Ｏｂの表情に基づいた状態推定を行うのに最も適したものを選択することで、或る程度の信頼性を持った推定結果が得られる。

また、状態推定装置１においては、画像選択部１１１１によって、運転者Ｏｂの眼が２つとも含まれる監視画像の全てを選択し、状態推定部１１１２により、それらの運転者Ｏｂの眼が２つとも含まれる監視画像それぞれに基づいて状態を推定し、それら推定結果の平均を、運転者Ｏｂの状態の推定結果とする。したがって、最終的な推定結果の信頼性が非常に高くなる。

また、状態推定装置１においては、運転者Ｏｂの眼が２つとも含まれる監視画像が存在しない場合には、画像選択部１１１１によって、運転者Ｏｂの眼が１つ含まれる監視画像を全て選択し、状態推定部１１１２により、それら運転者Ｏｂの眼が１つ含まれる監視画像それぞれに基づいて状態を推定し、それら推定結果の平均を、運転者Ｏｂの状態の推定結果とする。したがって、運転者Ｏｂの眼が１つ含まれる１つの監視画像からの推定結果よりも高い信頼性を有する推定結果が得られる。

この場合、選択した監視画像の数が所定数に満たない場合、つまり、運転者Ｏｂの眼が１つ含まれる監視画像の数が少ない場合には、さらに、画像選択部１１１１によって、運転者Ｏｂの顔を正面に近い向きで撮像した監視画像から順に選択して、状態推定部１１１２での状態推定に使用する。したがって、運転者Ｏｂの眼が１つ含まれる１つの監視画像からの推定結果よりも高い信頼性を有する推定結果が得られる。

また、状態推定装置１においては、運転者Ｏｂの眼が含まれる監視画像が存在しない場合には、画像選択部１１１１によって、監視画像のうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像から順に所定数選択して、状態推定部１１１２での状態推定に使用する。したがって、運転者Ｏｂの眼が１つも含まれていない監視画像の中で、運転者Ｏｂの表情に基づいた状態推定を行うのに適したものから所定数を選択することで、或る程度の信頼性を持った推定結果が得られる。

［第１実施形態］
次に、この発明の第１実施形態を説明する。本第１実施形態では、状態推定対象者は車両の運転者Ｏｂであり、推定する状態は運転者Ｏｂの眠気状態である場合を例にして説明する。

（構成）
（１）システム
図３は、この発明の第１実施形態に係る状態推定装置のハードウェア構成を例示したブロック図である。

状態推定装置１は、ハードウェアプロセッサで構成される制御部１１と、記憶部１２と、通信インタフェース１３とが電気的に接続されている。なお、図３では、通信インタフェースを、「通信Ｉ／Ｆ」と記載している。

制御部１１は、状態推定装置１の各部の動作を制御する。制御部１１は、ＣＰＵ（Central Processing Unit）１１１と、ＲＯＭ（Read Only Memory）１１２と、ＲＡＭ（Random Access Memory）１１３とを備える。ＣＰＵ１１１は、ハードウェアプロセッサの一例である。ＣＰＵ１１１は、ＲＯＭ１１２または記憶部１２に格納された、状態推定プログラムをＲＡＭ１１３に展開する。そして、ＣＰＵ１１１がＲＡＭ１１３に展開された状態推定プログラムを解釈及び実行することで、制御部１１は、後述するソフトウェア構成の項目において説明される各部を実行可能である。なお、状態推定プログラムは、予めＲＯＭ１１２または記憶部１２に記憶されているが、インターネットやＬＡＮ（Local Area Network）等のネットワークを介して状態推定装置１にダウンロードされて、記憶部１２に記憶されてもよい。また、状態推定プログラムは、例えばＲＯＭなどの非一時的なコンピュータ可読媒体に記憶され、流通していてもよい。

通信インタフェース１３は、複数台のカメラ２−１、２−２、…、２−Ｎのそれぞれを制御部１１と接続する。通信インタフェース１３は、有線通信のためのインタフェースを含んでいても、無線通信のためのインタフェースを含んでいてもよい。また、上記記憶部１２に記憶する状態推定プログラムをダウンロードするため、ネットワークを介して通信するためのインタフェースを含んでもよい。

記憶部１２は、いわゆる補助記憶装置である。記憶部１２は、例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込および読出しが可能な記憶媒体を含む。記憶媒体は、こられに限定されない。記憶部１２の記憶領域には、制御部１１で実行される状態推定プログラムを記憶するプログラム記憶部に加えて、各種のデータを記憶するデータ記憶部が構成されることができる。データ記憶部は、例えば、複数台のカメラ２−１、２−２、…、２−Ｎから通信インタフェース１３を介して制御部１１が取得した、互いに異なる位置から状態推定対象者である運転者Ｏｂの少なくとも顔を撮像した、複数の監視画像データを記憶する監視画像データ記憶部１２１を含むことができる。

なお、状態推定装置１の具体的なハードウェア構成に関して、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。

図４は、図３に示したハードウェア構成に、さらにソフトウェア構成を追加して示した状態推定装置１を備える状態推定システムのブロック図である。

この状態推定システムは、状態推定装置１と、この状態推定装置１に接続された、複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎおよび推定結果出力装置３とを含む。

状態推定装置１は、制御部１１と、記憶部１２と、通信インタフェース１３とを備えている。制御部１１は、ソフトウェアによる処理機能部として、画像選択部１１１１と、状態推定部１１１２と、推定状態出力部１１１３と、監視画像取得部１１１４とを含む。なお、これらのソフトウェア構成の各部は、専用のハードウェアによって構成してもよい。記憶部１２の記憶領域に構成されたデータ記憶部は、監視画像データ記憶部１２１と、眼開閉時系列データ記憶部１２２とを含む。

（２）ドライバカメラ
ドライバカメラ２１−１、２１−２、…、２１−Ｎはそれぞれ、互いに異なる位置から状態推定対象者である車両の運転者Ｏｂの顔を撮像できる箇所に設置され、運転者Ｏｂの顔を撮像して、運転者Ｏｂの監視画像を取得する。ドライバカメラ２１−１、２１−２、…、２１−Ｎは、例えば、ダッシュボード上、ステアリング中央、速度メータ脇、フロントピラー等に配置されることができる。なお、ドライバカメラ２１−１、２１−２、…、２１−Ｎは、スチルカメラであってもよいし、ビデオカメラであってもよい。スチルカメラの場合には、１秒間に複数枚、運転者Ｏｂの静止画像を撮像する。

（３）状態推定装置
通信インタフェース１３は、ドライバカメラ２１−１、２１−２、…、２１−Ｎから出力された画像信号を受信してデジタルデータに変換して、制御部１１に入力する。通信インタフェース１３はさらに、制御部１１から出力された状態推定結果情報を出力制御信号に変換して推定結果出力装置３へ出力する。

記憶部１２の監視画像データ記憶部１２１は、ドライバカメラ２１−１、２１−２、…、２１−Ｎによって取得された運転者Ｏｂの複数の監視画像データを記憶する。記憶部１２の眼開閉時系列データ記憶部１２２は、監視画像データから測定された運転者Ｏｂの２つの眼それぞれの開閉状態を、それぞれ時系列データとして記憶する。

制御部１１の監視画像取得部１１１４は、ドライバカメラ２１−１、２１−２、…、２１−Ｎから運転者Ｏｂの監視画像を取得する。すなわち、監視画像取得部１１１４は、ドライバカメラ２１−１、２１−２、…、２１−Ｎから出力された運転者Ｏｂの画像信号のデジタルデータであるセンシングデータを、所定のサンプリングレートで通信インタフェース１３から取り込み、この取り込んだセンシングデータを運転者Ｏｂの監視画像データとして記憶部１２の監視画像データ記憶部１２１に記憶させる。

制御部１１の画像選択部１１１１は、監視画像データ記憶部１２１に記憶された、複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎからの運転者Ｏｂの複数の監視画像データの中から、眠気状態推定に使用する１つの監視画像データを選択する。この画像選択部１１１１における１つの監視画像データの選択動作の詳細については、後述する。

制御部１１の状態推定部１１１２は、例えば、画像選択部１１１１によって選択された１つの監視画像データに基づいて運転者Ｏｂのそれぞれの眼の開閉状態を測定し、その測定結果と眼開閉時系列データ記憶部１２２に記憶された運転者Ｏｂのそれぞれの眼開閉状態時系列データとを使用して、運転者Ｏｂの眠気状態を推定することができる。この状態推定部１１１２における眠気状態の推定動作の詳細については、後述する。

制御部１１の推定状態出力部１１１３は、状態推定部１１１２での運転者Ｏｂの眠気状態の推定結果を示す状態推定結果情報を、通信インタフェース１３を介して推定結果出力装置３へ出力する。

（４）推定結果出力装置
推定結果出力装置３は、例えば、スピーカと警告灯表示器を有し、状態推定装置１から出力された状態推定結果情報を警告音や警告灯の点灯によって、運転者Ｏｂに出力する。推定結果出力装置３は、スピーカと警告灯表示器の一方で構成されてもよい。推定結果出力装置３は、車両が備えるナビゲーションシステムの音声出力機能や画像表示機能を利用して構成されてもよい。また、この推定結果出力装置３は、推定状態出力部１１１３として状態推定装置１に含まれてもよい。

（動作）
次に、以上のように構成された状態推定システムの動作を説明する。
（１）センシングデータ取り込み
車両の駆動源がオンされると、状態推定装置１と、運転者監視センサであるドライバカメラ２１−１、２１−２、…、２１−Ｎおよび推定結果出力装置３は、動作を開始する。状態推定装置１は、ドライバカメラ２１−１、２１−２、…、２１−Ｎそれぞれからのセンシングデータを監視画像取得部１１１４により取得し、監視画像データとして監視画像データ記憶部１２１に記憶させていく。この監視画像データの取得並びに記憶は、車両の駆動源がオフされるまで、繰り返し実施される。

（２）眠気状態推定
（２−１）監視画像データ選択
図５は、図４に示した状態推定装置１の画像選択部１１１１における処理手順と処理内容の一例を示すフローチャートである。

画像選択部１１１１は、監視画像取得部１１１４が監視画像データを取得する所定のサンプリングレートに応じたタイミングで、ステップＳ１１１１Ａにおいて、監視画像データ記憶部１２１から、ドライバカメラ２１−１、２１−２、…、２１−Ｎそれぞれについての監視画像データを取り込む。そして、画像選択部１１１１は、ステップＳ１１１１Ｂにおいて、これら取り込んだ複数の監視画像データそれぞれについて、既知の顔検出手法による顔検出処理を実施することで、監視画像データ中の運転者Ｏｂの顔を検出する。その後、画像選択部１１１１は、ステップＳ１１１１Ｃにおいて、顔が検出された監視画像データのみを選択する。
このように、画像選択部１１１１は、まず、顔が検出された監視画像データのみを選択する。

画像選択部１１１１は、次に、ステップＳ１１１１Ｄにおいて、上記ステップＳ１１１１Ｃで選択した監視画像データそれぞれについて、眼、鼻、口などの特徴検出に基づく既知の顔向き検出手法による顔向き検出処理を実施する。これにより、それぞれの選択監視画像データにおける運転者Ｏｂの顔の向きを検出する。ここで、顔の向きとは、当該監視画像データを取得したドライバカメラに対する向きを指し、車両の正面方向に対する向きではない。本実施形態は眠気状態推定の場合であるため、車両の正面方向に対する向きは必要ではない。なお、脇見状態推定など、他の状態推定を行う際には、車両の正面方向に対する顔の向きが必要な場合が有る。そのような場合には、車両の正面方向に対するドライバカメラ２１−１、２１−２、…、２１−Ｎそれぞれの取り付け角度は既知であるので、ドライバカメラに対する顔の向きに基づいて、車両の正面方向に対する顔の向きは容易に算出できる。

また、画像選択部１１１１は、ステップＳ１１１１Ｅにおいて、上記ステップＳ１１１１Ｃで選択した監視画像データそれぞれについて、運転者Ｏｂの眼の隠れ状態を判定する。つまり、各監視画像データについて、眼が２つとも見えているのか、１つの眼しか見えないのか、眼が１つも見えないのかを判定する。なお、ステップＳ１１１１ＤとステップＳ１１１１Ｅの動作は、逆の順番でも行ってもよいし、並行して行ってもよい。

その後、画像選択部１１１１は、ステップＳ１１１１Ｆにおいて、上記ステップＳ１１１１Ｃで選択した監視画像データのうち、運転者Ｏｂの眼が２つとも見えている監視画像データが有るか否かを判定する。この判定は、上記ステップＳ１１１１Ｅでの運転者Ｏｂの眼の隠れ状態の判定結果に基づいて行うことができる。

このステップＳ１１１１Ｆで運転者Ｏｂの眼が２つとも見えている監視画像データが有ると判定した場合、画像選択部１１１１は、ステップＳ１１１１Ｇにおいて、運転者Ｏｂの眼が２つとも見えている監視画像データの中で、運転者Ｏｂの顔が最も正面に近いものを選択する。この選択は、上記ステップＳ１１１１Ｄでの顔向き検出の検出結果に基づいて行うことができる。そして、画像選択部１１１１は、ステップＳ１１１１Ｈにおいて、この選択した１つの監視画像データを、状態推定部１１１２での眠気状態推定に使用するための監視画像データとして、状態推定部１１１２に出力する。その後、画像選択部１１１１は、上記ステップＳ１１１１Ａの動作に戻る。

このように、画像選択部１１１１は、複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎによって取得した複数の監視画像データのうちの、運転者Ｏｂの眼が２つとも含まれる監視画像データの中から、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像データを１つ選択して、状態推定部１１１２に出力する。なお、運転者Ｏｂの眼が２つとも含まれる監視画像データが１つしか無ければ、それを選択して、状態推定部１１１２に出力する。

また、上記ステップＳ１１１１Ｆで運転者Ｏｂの眼が２つとも見えている監視画像データが無いと判定した場合には、画像選択部１１１１は、ステップＳ１１１１Ｉにおいて、上記ステップＳ１１１１Ｃで選択した監視画像データのうち、運転者Ｏｂの眼が１つ見えている監視画像データが有るか否かを判定する。

このステップＳ１１１１Ｉで運転者Ｏｂの眼が１つ見えている監視画像データが有ると判定した場合、画像選択部１１１１は、ステップＳ１１１１Ｊにおいて、運転者Ｏｂの眼が１つ見えている監視画像データの中で、運転者Ｏｂの顔が最も正面に近いものを選択する。この選択は、上記ステップＳ１１１１Ｄでの顔向き検出の検出結果に基づいて行うことができる。そして、画像選択部１１１１は、上記ステップＳ１１１１Ｈにおいて、この選択した１つの監視画像データを、状態推定部１１１２での眠気状態推定に使用するための監視画像データとして、状態推定部１１１２に出力する。なお、このような眼が１つ見えている監視画像データを選択して出力する場合には、画像選択部１１１１は、何れの眼が見えているかの情報を一緒に出力するようにしてもよい。その後、画像選択部１１１１は、上記ステップＳ１１１１Ａの動作に戻る。

このように、画像選択部１１１１は、複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎによって取得した複数の監視画像データにおいて、運転者Ｏｂの眼が２つとも見えているものは存在しないが、運転者Ｏｂの眼が１つ見えているものが複数有る場合には、それら運転者Ｏｂの眼が１つ見えている監視画像データの中から、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像データを１つ選択して、状態推定部１１１２に出力する。なお、運転者Ｏｂの眼が１つ見えている監視画像データが１つしか無ければ、それを選択して、状態推定部１１１２に出力する。

また、上記ステップＳ１１１１Ｉで運転者Ｏｂの眼が１つ見えている監視画像データも無いと判定した場合には、画像選択部１１１１は、ステップＳ１１１１Ｋにおいて、複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎによって取得した複数の監視画像データのうち、運転者Ｏｂの顔が最も正面に近いものを選択する。この選択は、上記ステップＳ１１１１Ｄでの顔向き検出の検出結果に基づいて行うことができる。そして、画像選択部１１１１は、上記ステップＳ１１１１Ｈにおいて、この選択した１つの監視画像データを、状態推定部１１１２での眠気状態推定に使用するための監視画像データとして、状態推定部１１１２に出力する。その後、画像選択部１１１１は、上記ステップＳ１１１１Ａの動作に戻る。

このように、画像選択部１１１１は、複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎによって取得した複数の監視画像データに、運転者Ｏｂの眼が見えているものが存在しない場合には、取得した複数の監視画像データ全ての中から、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像データを１つ選択して、状態推定部１１１２に出力する。

こうして、画像選択部１１１１は、監視画像データ記憶部１２１に記憶されていく複数の監視画像データから、状態推定部１１１２の動作に使用する１つの監視画像データを選択する動作を、車両の駆動源がオフされるまで、繰り返し行っていく。

（２−２）眠気状態推定
図６は、図４に示した状態推定装置１の状態推定部１１１２の処理手順と処理内容の一例を示すフローチャートである。

状態推定部１１１２は、まず、ステップＳ１１１２Ａにおいて、画像選択部１１１１によって選択された監視画像データを取り込む。なお、本実施形態では、画像選択部１１１１から状態推定部１１１２へは、選択された監視画像データ自体が出力されるものとているが、監視画像データ記憶部１２１に記憶された複数の監視画像データのうちの、選択した監視画像データを特定するファイル名等の情報のみを出力するものとしてもよい。この場合には、状態推定部１１１２は、その情報に基づいて該当する監視画像データを監視画像データ記憶部１２１から読み出して、取り込むことができる。あるいは、画像選択部１１１１は、上記ステップＳ１１１１Ｈでの出力として、上記ステップＳ１１１１Ａにおける複数の監視画像データの取り込み先であるＲＡＭ１１３から、選択した監視画像データ以外のものを除去する処理を行うものとしてもよい。この場合には、状態推定部１１１２は、ＲＡＭ１１３に残った監視画像データを処理対象とすればよく、このステップＳ１１１２Ａの動作を省略することができる。

次に、状態推定部１１１２は、ステップＳ１１１２Ｂにおいて、この取り込んだ監視画像データが、運転者Ｏｂの眼が少なくとも１つ見えているものであるか否かを判定する。

このステップＳ１１１２Ｂで運転者Ｏｂの眼が少なくとも１つ見えている監視画像データであると判定した場合、状態推定部１１１２は、ステップＳ１１１２Ｃにおいて、当該監視画像データから運転者Ｏｂの見えている１つまたは２つの眼の開閉状態を測定する。そして、状態推定部１１１２は、ステップＳ１１１２Ｄにおいて、このステップＳ１１１２Ｃでの判定結果により、記憶部１２の眼開閉時系列データ記憶部１２２に記憶されている運転者Ｏｂのそれぞれの眼についての眼開閉状態時系列データを更新する。その後、状態推定部１１１２は、ステップＳ１１１２Ｅにおいて、眼開閉時系列データ記憶部１２２に記憶された眼開閉状態時系列データに基づいて、ＰＥＲＣＬＯＳ（Percent of the time eyelids are closed）を算出する。ＰＥＲＣＬＯＳとは、直近１分間の眼瞑りの時間の割合（％）であり、米国道路交通安全局に認可された運転手の疲労度を測定する指標である。状態推定部１１１２は、ステップＳ１１１２Ｆにおいて、この算出したＰＥＲＣＬＯＳを所定の判断基準と比較することで、運転者Ｏｂの眠気状態を判定する。そして、状態推定部１１１２は、ステップＳ１１１２Ｇにおいて、判定した眠気状態を、状態推定結果として、推定状態出力部１１１３に出力する。その後、状態推定部１１１２は、上記ステップＳ１１１２Ａの動作に戻る。

一方、上記ステップＳ１１１２Ｂで運転者Ｏｂの眼が１つも見えてない監視画像データであると判定した場合には、状態推定部１１１２は、ステップＳ１１１２Ｈにおいて、当該監視画像データから運転者Ｏｂの表情に基づく眠気状態の推定を行う。例えば、口の開閉状態から欠伸をしているかなどを推定する。そして、状態推定部１１１２は、ステップＳ１１１２Ｇにおいて、推定した眠気状態を推定状態出力部１１１３に出力する。その後、状態推定部１１１２は、上記ステップＳ１１１２Ａの動作に戻る。

こうして、状態推定部１１１２は、画像選択部１１１１によって選択された１つの監視画像に基づいて、運転者Ｏｂの眠気状態を判定または推定する動作を、車両の駆動源がオフされるまで、繰り返し行っていく。

（２−３）眠気状態出力
推定状態出力部１１１３は、状態推定部１１１２からの判定または推定された眠気状態に基づいて、運転者Ｏｂへの警告の必要性を判定する。そして、必要に応じて、推定状態出力部１１１３は、運転者Ｏｂの眠気状態の推定結果を示す状態推定結果情報を推定結果出力装置３へ出力する。これにより、状態推定結果情報が、推定結果出力装置３にて、警告音や警告灯の点灯として、運転者Ｏｂに呈示される。

（第１実施形態の効果）
以上詳述したように一実施形態では、状態推定装置１においては、それぞれ互いに異なる位置に配置された複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎによって取得されて、記憶部１２の監視画像データ記憶部１２１に記憶した状態推定対象者である車両の運転者Ｏｂの複数の監視画像データの中から、画像選択部１１１１により、眠気状態推定に使用する１つの監視画像データを選択し、状態推定部１１１２により、この選択された１つの監視画像データに基づいて運転者Ｏｂの眠気状態を推定し、推定状態出力部１１１３により、運転者Ｏｂの眠気状態の推定結果を示す状態推定結果情報を、推定結果出力装置３から運転者Ｏｂに対して出力する。
つまり、運転者Ｏｂを互いに異なる位置から撮像するように複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎを設置しておき、画像選択部１１１１によって、これら複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎにより取得された運転者Ｏｂの複数の監視画像データの中から、眠気状態推定に使用する１つの監視画像データを選択する。そして、状態推定部１１１２により、この選択された監視画像データに基づいて運転者Ｏｂの眠気状態を推定し、推定状態出力部１１１３により、その推定結果を示す状態推定結果情報を推定結果出力装置３に出力させる。したがって、１つのドライバカメラから取得した運転者Ｏｂの監視画像データに基づいて眠気状態推定できない場合であっても、他のドライバカメラから取得した監視画像データに基づいて運転者Ｏｂの眠気状態を推定することができるので、運転者Ｏｂの状況に依らず、運転者Ｏｂの眠気状態を安定して推定できるようになる。例えば、運転者Ｏｂがサイドミラーを見た状態や、横方向や斜め後ろ方向を見た状態でも、運転者Ｏｂの顔を正面近くから撮像した監視画像データを取得でき、この監視画像データから運転者Ｏｂの眠気状態を正確に推定することが可能になる。また、運転者ＯｂがハンドルＨａを切ったり顔をかいたり等の動作で、１つのドライバカメラから一時的に運転者Ｏｂの顔が隠れても、他のドライバカメラからの監視画像データにより、運転者Ｏｂの眠気状態の推定を継続することができる。

なお、状態推定装置１においては、画像選択部１１１１は、複数の監視画像データの中から、運転者Ｏｂの顔が含まれている監視画像データを選択する。
このように、複数の監視画像データの中から、運転者Ｏｂの顔が含まれている監視画像データを選択し、その選択した１つの監視画像データに基づいて運転者Ｏｂの眠気状態を推定する。したがって、運転者Ｏｂの状況に依らず、運転者Ｏｂの顔が含まれる画像データを選択することで、監視画像データに基づいた眠気状態推定を行うことが可能となる。

好ましくは、状態推定装置１においては、画像選択部１１１１は、複数の監視画像データの中から、運転者Ｏｂの眼が含まれている監視画像データを選択する。
このように、複数の監視画像データの中から、運転者Ｏｂの眼が含まれている監視画像データを選択し、その選択した１つの監視画像データに基づいて運転者Ｏｂの眠気状態を推定する。運転者Ｏｂの眠気状態の推定には、運転者Ｏｂの眼が重要な情報である。したがって、この運転者Ｏｂの眼が含まれる画像データを選択することで、運転者Ｏｂの眠気状態を安定して推定することが可能となる。

より好ましくは、状態推定装置１においては、画像選択部１１１１は、複数の監視画像データの中から、運転者Ｏｂの眼が２つ含まれている監視画像データを選択する。
このように、複数の監視画像データの中から、運転者Ｏｂの眼が２つ含まれている監視画像データを選択し、その選択した１つの監視画像データに基づいて運転者Ｏｂの眠気状態を推定する。したがって、高い信頼性を持った運転者Ｏｂの眠気状態の推定結果を得ることが可能となる。

なお、状態推定装置１においては、画像選択部１１１１は、選択された監視画像データが複数ある場合に、当該選択された監視画像データのうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像データを１つ選択する。
このように、選択された監視画像データが複数ある場合に、当該選択された監視画像データのうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像データを１つ選択する。したがって、運転者Ｏｂの眠気状態を推定し易い正面からの顔を含む監視画像データに基づいた眠気状態の推定を行えるので、信頼性が非常に高い推定結果を得ることができる。

また、状態推定装置１においては、画像選択部１１１１は、運転者Ｏｂの眼が２つとも含まれる監視画像データのうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像データを１つ選択する。
このように、運転者Ｏｂの眼が２つとも含まれる監視画像データのうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像データを１つ選択し、それに基づいて運転者の眠気状態を推定する。したがって、最適な監視画像データに基づいた眠気状態の推定を行うので、信頼性が非常に高い眠気状態推定結果が得られる。

また、状態推定装置１においては、画像選択部１１１１は、運転者Ｏｂの眼が２つとも含まれる監視画像データが存在しない場合、運転者Ｏｂの眼が１つ含まれる監視画像データのうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像データを１つ選択する。
このように、運転者Ｏｂの眼が２つとも含まれる監視画像データが存在しない場合には、運転者Ｏｂの眼が１つ含まれる監視画像データのうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像データを１つ選択し、それに基づいて運転者Ｏｂの眠気状態を推定する。したがって、運転者Ｏｂの眼が１つ含まれる監視画像データの中で眠気状態推定に使用するのに最も適したものを選択することで、信頼性の高い眠気状態推定結果が得られる。

また、状態推定装置１においては、画像選択部１１１１が、運転者Ｏｂの眼が含まれる監視画像データが存在しない場合、監視画像データのうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像データを１つ選択する。
このように、運転者Ｏｂの眼が含まれる監視画像データが存在しない場合には、監視画像データのうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像データを１つ選択し、それに基づいて運転者Ｏｂの眠気状態を推定する。したがって、運転者Ｏｂの眼が１つも含まれていない監視画像データの中で、運転者Ｏｂの表情に基づいた眠気状態推定を行うのに最も適したものを選択することで、或る程度の信頼性を持った眠気状態推定結果が得られる。

［第２実施形態］
次に、この発明の第２実施形態を説明する。本第２実施形態においても、上記第１実施形態と同様、状態推定対象者は車両の運転者Ｏｂであり、推定する状態は運転者Ｏｂの眠気状態である場合を例にして説明する。以下、説明の簡略化のために、上記第１実施形態との相違点を説明し、重複の説明を省略する。

（構成）
（１）システム
図７は、この発明の第２実施形態に係る状態推定装置１のソフトウェア構成を例示した、状態推定システムのブロック図である。

この状態推定システムは、この発明の第２実施形態に係る状態推定装置１と、この状態推定装置１に接続された、複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎおよび推定結果出力装置３とを含む。状態推定装置１は、上記第１実施形態と同様の構成に加え、記憶部１２の記憶領域に構成されたデータ記憶部に、さらに、選択画像データ記憶部１２３と、眠気状態一時記憶部１２４とを含む。

（２）状態推定装置
記憶部１２の選択画像データ記憶部１２３は、制御部１１の画像選択部１１１１が選択した監視画像データを、選択画像データとして記憶する。記憶部１２の眠気状態一時記憶部１２４は、状態推定部１１１２が１つの選択画像データに基づいて推定した眠気状態をそれぞれ一時記憶する。また、本第２実施形態では、眼開閉時系列データ記憶部１２２は、運転者Ｏｂの眼開閉状態時系列データに加えて、状態推定部１１１２が１つの選択画像データから測定した眼開閉状態の情報をそれぞれ一時記憶する。

制御部１１の画像選択部１１１１は、監視画像データ記憶部１２１に記憶された、複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎからの運転者Ｏｂの複数の監視画像データの中から、眠気状態推定に使用する複数の監視画像データを選択する。すなわち、画像選択部１１１１は、上記第１実施形態では、１つの監視画像データを選択していたが、本第２実施形態では、監視画像データを複数選択する。画像選択部１１１１は、選択した複数の監視画像データを、選択画像データとして、選択画像データ記憶部１２３に記憶させる。この画像選択部１１１１における複数の監視画像データの選択動作の詳細については、後述する。

制御部１１の状態推定部１１１２は、例えば、選択画像データ記憶部１２３に記憶された複数の選択画像データそれぞれに基づいて運転者Ｏｂの眼開閉状態を測定し、その測定結果を、眼開閉時系列データ記憶部１２２に一時記憶させる。また、状態推定部１１１２は、眼開閉時系列データ記憶部１２２に記憶された運転者Ｏｂの眼開閉状態時系列データと、各選択画像データに関して一時記憶された眼開閉状態とを使用して、運転者Ｏｂの眠気状態をそれぞれ推定し、それぞれの結果を、眠気状態一時記憶部１２４に記憶させる。また、状態推定部１１１２は、眠気状態一時記憶部１２４に記憶された各選択画像に基づく眠気状態から最終的な眠気状態の推定結果を演算して、推定状態出力部１１１３に出力する。この状態推定部１１１２における眠気状態の推定動作の詳細については、後述する。

（動作）
次に、以上のように構成された状態推定システムの動作を説明する。
センシングデータ取り込み動作については、上記第１実施形態と同様である。

眠気状態推定動作は、以下のように行われる。

（１）監視画像データ選択
図８は、図７に示した状態推定装置１の画像選択部１１１１における処理手順と処理内容の一例を示すフローチャートである。

画像選択部１１１１は、上記第１実施形態と同様のステップＳ１１１１Ａ乃至ステップＳ１１１１Ｅの動作を行った後、ステップＳ１１１１Ｆにおいて、選択した監視画像データのうち、運転者Ｏｂの眼が２つとも見えている監視画像データが有るか否かを判定する。そして、運転者Ｏｂの眼が２つとも見えている監視画像データが有ると判定した場合、本第２実施形態では、画像選択部１１１１は、ステップＳ１１１１Ｎにおいて、運転者Ｏｂの眼が２つとも見えている監視画像データを全て選択し、それらを選択画像データとして、記憶部１２の選択画像データ記憶部１２３に保存させる。その後、画像選択部１１１１は、上記ステップＳ１１１１Ａの動作に戻る。

このように、画像選択部１１１１は、複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎによって取得した複数の監視画像データに、運転者Ｏｂの眼が２つとも含まれる監視画像データが存在すれば、それらを全て選択して、選択画像データとして、選択画像データ記憶部１２３に保存する。

また、上記ステップＳ１１１１Ｆで運転者Ｏｂの眼が２つとも見えている監視画像データが無いと判定した場合には、画像選択部１１１１は、上記第１実施形態と同様に、ステップＳ１１１１Ｉにおいて、上記ステップＳ１１１１Ｃで選択した監視画像データのうち、運転者Ｏｂの眼が１つ見えている監視画像データが有るか否かを判定する。そして、運転者Ｏｂの眼が１つ見えている監視画像データが有ると判定した場合、本第２実施形態では、画像選択部１１１１は、ステップＳ１１１１Ｏにおいて、運転者Ｏｂの眼が１つ見えている監視画像データを全て選択し、それらを選択画像データとして、選択画像データ記憶部１２３に保存させる。

このように、画像選択部１１１１は、複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎによって取得した複数の監視画像データにおいて、運転者Ｏｂの眼が２つとも見えているものは存在しないが、運転者Ｏｂの眼が１つ見えているものが有る場合には、それら運転者Ｏｂの眼が１つ見えている監視画像データを全て選択して、選択画像データとして、選択画像データ記憶部１２３に保存させる。

その後、画像選択部１１１１は、上記ステップＳ１１１１Ｐにおいて、監視画像データを所定数（Ｍ個）以上選択したか否かを判定する。ここで、Ｍは、ドライバカメラの台数であるＮよりも小さい、２以上の整数である。Ｍは、推定される眠気状態の信頼度と処理速度とのトレードオフであり、システム設計時に値が設定されている。このステップＳ１１１１Ｐで監視画像データを所定数以上選択したと判定した場合、画像選択部１１１１は、上記ステップＳ１１１１Ａの動作に戻る。

上記ステップＳ１１１１Ｐで監視画像データを所定数以上選択していないと判定した場合には、画像選択部１１１１は、ステップＳ１１１１Ｑにおいて、複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎによって取得した複数の監視画像データのうちの、運転者Ｏｂの眼が１つも見えていない監視画像データの中から、未選択のもので、運転者Ｏｂの顔が最も正面に近いものを１つ選択し、選択画像データとして、選択画像データ記憶部１２３に保存させる。その後、画像選択部１１１１は、上記ステップＳ１１１１Ｐに進むことで、監視画像データを所定数以上選択するまで、ステップＳ１１１１ＰおよびステップＳ１１１１Ｑを繰り返す。そして、監視画像データを所定数以上選択したならば、画像選択部１１１１は、上記ステップＳ１１１１Ａの動作に戻る。

このように、運転者Ｏｂの眼が１つ見えている監視画像データを全て選択しても、その数が所定数に満たない場合には、その不足数分、運転者Ｏｂの眼を含まない監視画像データのうち、運転者Ｏｂの顔を正面に近い向きで撮像した監視画像データから順に選択して、選択画像データとして、選択画像データ記憶部１２３に保存させる。

また、上記ステップＳ１１１１Ｐで監視画像データを所定数以上選択していないと判定した場合も同様に、画像選択部１１１１は、ステップＳ１１１１Ｑにおいて、複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎによって取得した複数の監視画像データのうちの、運転者Ｏｂの眼が１つも見えていない監視画像データの中から、未選択のもので、運転者Ｏｂの顔が最も正面に近いものを１つ選択し、選択画像データとして、選択画像データ記憶部１２３に保存させる。その後、画像選択部１１１１は、上記ステップＳ１１１１Ｐに進むことで、監視画像データを所定数以上選択するまで、ステップＳ１１１１ＰおよびステップＳ１１１１Ｑを繰り返す。そして、監視画像データを所定数以上選択したならば、画像選択部１１１１は、上記ステップＳ１１１１Ａの動作に戻る。

このように、運転者Ｏｂの眼が見えている監視画像データが無い場合には、運転者Ｏｂの眼を含まない監視画像データのうち、運転者Ｏｂの顔を正面に近い向きで撮像した監視画像データから順に所定数を選択して、選択画像データとして、選択画像データ記憶部１２３に保存させる。

こうして、画像選択部１１１１は、監視画像データ記憶部１２１に記憶されていく複数の監視画像データから、状態推定部１１１２の動作に使用する選択画像データとして、運転者Ｏｂの眼が２つ見えている監視画像データの全て選択する動作、あるいは、眼が１つ見えているまたは１つも見えていない監視画像データを所定数選択する動作を、車両の駆動源がオフされるまで、繰り返し行っていく。

なお、運転者Ｏｂの眼が２つ見えている監視画像データであれば、状態推定部１１１２において高い信頼性を持って眠気状態を推定することが可能であるので、ここでは、所定数の監視データを選択する動作を行っていない。しかしながら、不足数分を運転者Ｏｂの眼が１つ見えている監視画像データなどで補うようにしてもよいことは勿論である。

（２）眠気状態推定
図９は、図７に示した状態推定装置１の状態推定部１１１２の処理手順と処理内容の一例を示すフローチャートである。

状態推定部１１１２は、まず、ステップＳ１１１２Ｈにおいて、記憶部１２の選択画像データ記憶部１２３に保存された選択画像データを１つ取り込む。そして、状態推定部１１１２は、この取り込んだ選択画像データについて、上記第１実施形態と同様のステップＳ１１１２ＢおよびステップＳ１１１２Ｃの動作を行った後、ステップＳ１１１２Ｉにおいて、ステップＳ１１１２Ｃでの測定結果である運転者Ｏｂの眼それぞれの開閉状態を、記憶部１２の眼開閉時系列データ記憶部１２２に記憶させる。

その後、状態推定部１１１２は、ステップＳ１１１２Ｅにおいて、上記第１実施形態と同様に、ＰＥＲＣＬＯＳを算出する。上記第１実施形態では、眼開閉時系列データ記憶部１２２に記憶された眼開閉状態時系列データに基づいて、ＰＥＲＣＬＯＳを算出していた。これに対して、本第２実施形態では、眼開閉時系列データ記憶部１２２に記憶された眼開閉状態時系列データと、眼開閉時系列データ記憶部１２２に一時記憶された眼開閉状態とに基づいて、ＰＥＲＣＬＯＳを算出する。この理由は、第１実施形態では、ステップＳ１１１２Ｄで、眼開閉時系列データ記憶部１２２に記憶された眼開閉状態時系列データの更新を行っていたが、本第２実施形態では、そのような更新処理を行っていないため、眼開閉時系列データ記憶部１２２には、１回前までの眼開閉状態の時系列データしか記憶されていないことにある。

こうしてＰＥＲＣＬＯＳを算出したならば、状態推定部１１１２は、上記第１実施形態と同様にステップＳ１１１２Ｆにおいて運転者Ｏｂの眠気状態を判定し、その後、ステップＳ１１１２Ｊにおいて、その判定結果である眠気状態を、記憶部１２の眠気状態一時記憶部１２４に一時記憶させる。

次に、状態推定部１１１２は、ステップＳ１１１２Ｋにおいて、記憶部１２の選択画像データ記憶部１２３に保存された選択画像データの全てに対する処理が終了したか否かを判定する。このステップＳ１１１２Ｋで選択画像データの全てに対する処理が未だ終了していないと判定した場合には、状態推定部１１１２は、上記ステップＳ１１１２Ｈの動作に戻る。

一方、上記ステップＳ１１１２Ｂで運転者Ｏｂの眼が１つも見えてない選択画像データであると判定した場合には、状態推定部１１１２は、上記第１実施形態と同様のステップＳ１１１２Ｈの動作を行った後、上記ステップＳ１１１２Ｊの動作へと進む。

こうして、記憶部１２の選択画像データ記憶部１２３に保存された選択画像データそれぞれに基づく眠気状態の推定を行っていく。そして、上記ステップＳ１１１２Ｋで選択画像データの全てに対する処理が終了したと判定したならば、状態推定部１１１２は、ステップＳ１１１２Ｌにおいて、眠気状態一時記憶部１２４に一時記憶されている各選択画像データに基づく眠気状態の推定結果から、最終的な眠気状態を決定する。例えば、各選択画像データに基づく眠気状態の推定結果を平均したり、見えている眼の数が多い選択画像データに基づく眠気状態の推定結果ほど重みを重くした重み付け平均したりすることで、最終的な眠気状態を決定する。そして、状態推定部１１１２は、上記第１実施形態と同様にステップＳ１１１２Ｇにおいて、この判定した眠気状態を推定状態出力部１１１３に出力する。

その後、状態推定部１１１２は、ステップＳ１１１２Ｍにおいて、眼開閉時系列データ記憶部１２２に一時記憶されている全ての眼開閉状態より、同じく眼開閉時系列データ記憶部１２２に記憶されている眼開閉状態時系列データを更新する。この場合も、一時記憶されている全ての眼開閉状態を平均したり、見えている眼の数が多い選択画像データから測定された眼開閉状態ほど重みを重くした重み付け平均したりすることで、最終的な眼開閉状態を決定した上で、眼開閉状態時系列データを更新する。その後、状態推定部１１１２は、上記ステップＳ１１１２Ｈの動作に戻る。

こうして、状態推定部１１１２は、画像選択部１１１１によって選択された複数の監視画像に基づいて、運転者Ｏｂの眠気状態を判定または推定する動作を、車両の駆動源がオフされるまで、繰り返し行っていく。

（３）眠気状態出力
推定状態出力部１１１３は、状態推定部１１１２からの判定または推定された眠気状態に基づいて、運転者Ｏｂへの警告の必要性を判定し、状態推定結果情報を推定結果出力装置３へ出力する。これにより、状態推定結果情報が、推定結果出力装置３にて、警告音や警告灯の点灯として、運転者Ｏｂに呈示される。

（第２実施形態の効果）
以上詳述したように一実施形態では、状態推定装置１においては、それぞれ互いに異なる位置に配置された複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎによって取得されて、記憶部１２の監視画像データ記憶部１２１に記憶した状態推定対象者である車両の運転者Ｏｂの複数の監視画像データの中から、画像選択部１１１１により、眠気状態推定に使用する複数の監視画像データを選択し、状態推定部１１１２により、この選択された複数の監視画像データに基づいて運転者Ｏｂの眠気状態を推定し、推定状態出力部１１１３により、運転者Ｏｂの眠気状態の推定結果を示す状態推定結果情報を、推定結果出力装置３から運転者Ｏｂに対して出力する。
つまり、運転者Ｏｂを互いに異なる位置から撮像するように複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎを設置しておき、画像選択部１１１１によって、これら複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎにより取得された運転者Ｏｂの複数の監視画像データの中から、眠気状態推定に使用する複数の監視画像データを選択する。そして、状態推定部１１１２により、これらの選択された監視画像データに基づいて運転者Ｏｂの眠気状態を推定し、推定状態出力部１１１３により、その推定結果を示す状態推定結果情報を推定結果出力装置３に出力させる。したがって、１つのドライバカメラから取得した運転者Ｏｂの監視画像データに基づいて眠気状態推定できない場合であっても、他のドライバカメラから取得した監視画像データに基づいて運転者Ｏｂの眠気状態を推定することができるので、運転者Ｏｂの状況に依らず、運転者Ｏｂの眠気状態を安定して推定できるようになる。

また、状態推定装置１においては、画像選択部１１１１は、運転者Ｏｂの眼が２つとも含まれる監視画像データの全てを選択し、状態推定部１１１２は、それら選択された監視画像データそれぞれに基づいて運転者Ｏｂの眠気状態を推定し、それら推定結果の平均を、運転者Ｏｂの眠気状態の推定結果とする。
このように、運転者Ｏｂの眼が２つとも含まれる監視画像データのそれぞれに基づいて眠気状態を推定し、それら推定結果の平均を、運転者Ｏｂの眠気状態の推定結果とする。したがって、最終的な状態推定結果の信頼性が非常に高くなる。

また、状態推定装置１においては、画像選択部１１１１は、運転者Ｏｂの眼が２つとも含まれる監視画像データが存在しない場合、運転者Ｏｂの眼が１つ含まれる監視画像データを全て選択し、状態推定部１１１２は、それら選択された複数の監視画像データそれぞれに基づいて運転者Ｏｂの眠気状態を推定し、それら推定結果の平均を、運転者Ｏｂの眠気状態の推定結果とする。
このように、運転者Ｏｂの眼が２つとも含まれる監視画像データが存在しない場合には、運転者Ｏｂの眼が１つ含まれる監視画像データそれぞれに基づいて状態を推定し、それら推定結果の平均を、運転者Ｏｂの眠気状態の推定結果とする。したがって、運転者Ｏｂの眼が１つ含まれる１つの監視画像データからの推定結果よりも高い信頼性を有する状態推定結果が得られる。

また、状態推定装置１においては、画像選択部１１１１は、選択した監視画像データの数が所定数に満たない場合には、その不足数分、運転者Ｏｂの眼を含まない監視画像データのうち、運転者Ｏｂの顔を正面に近い向きで撮像した監視画像データから順に選択する。
このように、運転者Ｏｂの眼が１つ含まれる監視画像データの数が少ない場合には、さらに運転者Ｏｂの顔を正面に近い向きで撮像した監視画像データから順に選択して、状態推定に使用する。したがって、運転者Ｏｂの眼が１つ含まれる１つの監視画像データからの推定結果よりも高い信頼性を有する状態推定結果が得られる。

また、状態推定装置１においては、画像選択部１１１１は、運転者Ｏｂの眼が含まれる監視画像データが存在しない場合、監視画像データのうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像データから順に所定数の監視画像データを選択する。
このように、運転者Ｏｂの眼が含まれる監視画像データが存在しない場合には、監視画像データのうち、運転者Ｏｂの顔を最も正面に近い向きで撮像した監視画像データから順に所定数選択し、それらに基づいて運転者Ｏｂの眠気状態を推定する。したがって、運転者Ｏｂの眼が１つも含まれていない監視画像データの中で、運転者Ｏｂの表情に基づいた眠気状態推定を行うのに適したものから所定数を選択することで、或る程度の信頼性を持った状態推定結果が得られる。

［変形例］
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

（１）例えば、前記第１および第２実施形態では、複数台のドライバカメラ２１−１、２１−２、…、２１−Ｎにより取得した運転者Ｏｂの複数の監視画像データの中から少なくとも１つを選択するための判定基準として、運転者Ｏｂの眼の隠れ状態を用いているが、運転者Ｏｂの口の隠れ状態を加えてもよい。さらには、別の判断基準を加えたり、その別の判断基準と置き換えたりしてもよい。
また、運転者Ｏｂの眠気状態をＰＥＲＣＬＯＳに基づいて判定しているが、その他の指標に基づいて判定してもよい。

（２）また、前記第１および第２実施形態では、運転者Ｏｂの推定するべき状態として、眠気状態を例に説明したが、脇見状態等、別の状態推定でもよい。

（３）状態推定対象者についても、車両の運転者Ｏｂに限らず、製造設備やプラント等で使用される機械等の運転者または操作者であってもよい。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

［付記］
前記実施形態の一部または全部は、以下の付記に示すように記載することが可能であるが、これに限られない。
（付記１）
それぞれ互いに異なる位置に配置された複数台のカメラ（２−１，２−２，…，２−Ｎ）によって取得された状態推定対象者（Ｏｂ）の複数の監視画像の中から、状態推定に使用する少なくとも１つの監視画像を選択する画像選択部（１１１１）と、
前記選択された監視画像に基づいて前記状態推定対象者の状態を推定する状態推定部（１１１２）と、
推定結果を示す情報を出力する出力部（１１１３）と、
を具備する状態推定装置（１）。

（付記２）
状態推定対象者（Ｏｂ）の状態を推定する状態推定装置（１）が実行する状態推定方法であって、
前記状態推定装置が、それぞれ互いに異なる位置に配置された複数台のカメラ（２−１，２−２，…，２−Ｎ）によって取得された前記状態推定対象者の複数の監視画像の中から、状態推定に使用する少なくとも１つの監視画像を選択する過程と、
前記状態推定装置が、前記選択された監視画像に基づいて前記状態推定対象者の状態を推定する過程と、
前記状態推定装置が、推定結果を示す情報を出力する過程と、
を具備する状態推定方法。

（付記３）
ハードウェアプロセッサ（１１１）とメモリ（１１２，１１３）とを有する状態推定装置であって、
前記ハードウェアプロセッサが、
それぞれ互いに異なる位置に配置された複数台のカメラ（２−１，２−２，…，２−Ｎ）によって取得された状態推定対象者（Ｏｂ）の複数の監視画像の中から、状態推定に使用する少なくとも１つの監視画像を選択し、
前記選択された監視画像に基づいて前記状態推定対象者の状態を推定し、
推定結果を示す情報を出力する、
状態推定装置。

（付記４）
ハードウェアプロセッサ（１１１）とメモリ（１１２，１１３）とを有する装置が実行する状態推定方法であって、
前記ハードウェアプロセッサが、それぞれ互いに異なる位置に配置された複数台のカメラ（２−１，２−２，…，２−Ｎ）によって取得された状態推定対象者（Ｏｂ）の複数の監視画像の中から、状態推定に使用する少なくとも１つの監視画像を選択する過程と、
前記ハードウェアプロセッサが、前記選択された監視画像に基づいて前記状態推定対象者の状態を推定する過程と、
前記ハードウェアプロセッサが、推定結果を示す情報を出力する過程と、
を具備する状態推定方法。

１…状態推定装置、 ２−１，２−２，…，２−Ｎ…カメラ、 ３…推定結果出力装置、 １１…制御部、 １２…記憶部、 １３…通信インタフェース、 ２１−１，２１−２，…，２１−Ｎ…ドライバカメラ、 １１１…ＣＰＵ、 １１２…ＲＯＭ、 １１３…ＲＡＭ、 １２１…監視画像データ記憶部、 １２２…眼開閉時系列データ記憶部、 １２３…選択画像データ記憶部、 １２４…眠気状態一時記憶部、 １１１１…画像選択部、 １１１２…状態推定部、 １１１３…推定状態出力部、 １１１４…監視画像取得部。

Claims (11)

1. それぞれ互いに異なる位置に配置された複数台のカメラによって取得された状態推定対象者の複数の監視画像の中から、状態推定に使用する少なくとも１つの監視画像を選択する画像選択部と、
   前記選択された監視画像に基づいて前記状態推定対象者の状態を推定する状態推定部と、
   推定結果を示す情報を出力する出力部と、
   を具備する状態推定装置。
2. 前記画像選択部は、前記複数の監視画像の中から、前記状態推定対象者の顔が含まれている監視画像を選択する、請求項１に記載の状態推定装置。
3. 前記画像選択部は、前記複数の監視画像の中から、前記状態推定対象者の眼が含まれている監視画像を選択する、請求項１または２に記載の状態推定装置。
4. 前記画像選択部は、前記複数の監視画像の中から、前記状態推定対象者の眼が２つ含まれている監視画像を選択する、請求項１から請求項３のいずれか１項に記載の状態推定装置。
5. 前記画像選択部は、選択された監視画像が複数ある場合に、当該選択された監視画像のうち、前記状態推定対象者の顔を最も正面に近い向きで撮像した監視画像を１つ選択する、請求項１から請求項４のいずれか１項に記載の状態推定装置。
6. 前記画像選択部は、前記状態推定対象者の眼が２つとも含まれる監視画像の全てを選択し、
   前記状態推定部は、前記選択された監視画像それぞれに基づいて前記状態推定対象者の状態を推定し、それら推定結果の平均を、前記状態推定対象者の状態の推定結果とする、
   請求項１に記載の状態推定装置。
7. 前記画像選択部は、前記状態推定対象者の眼が２つとも含まれる監視画像が存在しない場合、前記状態推定対象者の眼が１つ含まれる監視画像を全て選択し、
   前記状態推定部は、前記選択された複数の監視画像それぞれに基づいて前記状態推定対象者の状態を推定し、それら推定結果の平均を、前記状態推定対象者の状態の推定結果とする、
   請求項１に記載の状態推定装置。
8. 前記画像選択部は、前記選択した監視画像の数が所定数に満たない場合には、その不足数分、前記状態推定対象者の眼を含まない監視画像のうち、前記状態推定対象者の顔を正面に近い向きで撮像した監視画像から順に選択する、請求項７に記載の状態推定装置。
9. 前記画像選択部は、前記状態推定対象者の眼が含まれる監視画像が存在しない場合、前記監視画像のうち、前記状態推定対象者の顔を最も正面に近い向きで撮像した監視画像から順に所定数の監視画像を選択する、請求項１に記載の状態推定装置。
10. 状態推定対象者の状態を推定する状態推定装置が実行する状態推定方法であって、
    前記状態推定装置が、それぞれ互いに異なる位置に配置された複数台のカメラによって取得された前記状態推定対象者の複数の監視画像の中から、状態推定に使用する少なくとも１つの監視画像を選択する過程と、
    前記状態推定装置が、前記選択された監視画像に基づいて前記状態推定対象者の状態を推定する過程と、
    前記状態推定装置が、推定結果を示す情報を出力する過程と、
    を具備する状態推定方法。
11. 請求項１から請求項９のいずれか１項に記載の状態推定装置が具備する各部としてコンピュータを機能させる状態推定プログラム。