JP2019154929A - 算出システム、指標算出方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】移動中の移動体において、人物の覚醒度に関する情報を、より高い精度で得ることのできる算出システムを提供すること。【解決手段】移動体Ｍ中の運転者Ｄの顔を撮影するカメラ１１と、移動体Ｍの運動データを計測するジャイロセンサ２と、カメラ１１により撮影された顔の画像を用いて運転者Ｄの眼球運動を算出する第１の算出部３１と、ジャイロセンサ２により計測された前記移動体の運動データ及びカメラ１１により撮影された顔の画像を用いて人物の頭部運動を算出する第２の算出部３２と、を備えた算出システムとする。【選択図】図５

Description

本発明は、算出システム、情報処理装置、運転支援システム、指標算出方法、およびコンピュータプログラムに関する。

近年、カメラで撮影された運転者の顔画像から運転者の頭部運動や眼球運動を検出し、該検出した運転者の頭部運動や眼球運動などに基づいて、車両走行時の運転者の覚醒度低下を検出して警告を発したり、運転注意力を喚起したりする種々の運転への支援又は介入に関する技術が開示されている。

例えば、下記の特許文献１には、覚醒度推定装置として、運転者の瞬き時間を検出し、覚醒時における運転者に固有の瞬きの基準時間を、所定の割合だけ増大させて長い瞬きを評価するための瞬き評価時間を設定すると共に、この瞬き評価時間に従って長い瞬きを検出し、所定時間内における瞬きの総数と、長い瞬きの回数とからその生起比率を求め、眠気予測モデルを用いた回帰分析により求められる予測式に従って、運転者の覚醒度を評価する技術が開示されている。

また、下記の特許文献２には、眠気予兆検出装置として、頭部運動検出手段により頭部運動を検出し、眼球運動検出手段により眼球運動を検出し、理想眼球運動角速度算出部により、頭部運動データに基づいて理想眼球運動角速度を算出し、眼球回転角速度算出部により、眼球運動データに基づいて眼球回転角速度を算出し、眠気予兆判定手段により理想眼球運動角速度と眼球回転角速度とから前庭動眼反射を検出し、この前庭動眼反射に基づいて、車両の運転者、機械の操作者などが眠気を自覚する前の眠気の予兆を判定する技術が開示されている。

［発明が解決しようとする課題］
下記の特許文献１に開示されている技術では、運転者の瞬き時間を検出して、所定時間内における瞬きの総数と、長い瞬きの回数とから運転者の覚醒度を評価する。このため、低下した覚醒度の検出は可能であるものの、覚醒度低下の予兆、すなわち眠気を自覚する前の眠気の予兆を検出することはできない。

下記の特許文献２に開示されている技術では、前庭動眼反射に基づいて、車両の運転者、機械の操作者などが眠気を自覚する前の眠気の予兆を判定する。前庭動眼反射（Vestibulo-Ocular Reflex：ＶＯＲ）は、頭部運動に対してほぼ同じ速さで眼球を逆方向に回転させ、ブレのない視界を得るための反射性眼球運動である。前庭動眼反射のゲインの減少及び残差標準偏差の増大は、眠気を自覚する前から生じるため、眠気の予兆を示す指標として有効である。特許文献２には、自動車運転時を模擬したドライビングシミュレータシステムを用いた実験例が記載されると共に、眠気に関する内省を被験者に報告させて、前庭動眼反射のゲイン（ＶＯＲゲイン）、残差標準偏差（ＳＤｒｅｓ）の変化から眠気の予兆を判定した、と記載されている。

しかしながら、特許文献２に記載のものでは、被験者が、眼球回旋撮影装置および加速度センサとジャイロセンサを頭部に装着後、振動装置を備えたドライバーシートに着座し、前方スクリーンに映し出される前方自動車のテール部を注視する状況を維持させた状態での実験しか行われていない。実際の乗用移動体では、乗車の度に運転者の頭部にジャイロセンサや撮影装置を取り付けることはできない。従って、実際の移動体を運転中の運転者の覚醒度を評価するシステムにあっては、ジャイロセンサや撮影装置を運転者の頭部に取り付けるよりも、移動体の内部に取り付けることが通常となる。

しかしながら、撮影装置を移動体の内部に取り付けると、移動体内の座標系（移動体座標系）における運転者の情報しか得られない。移動体を運転している運転者の眼球運動は、運転者が車外前方を注視している場合、絶対座標系に属する運動となる。このため、頭部運動も絶対座標系で検出できなければ、前庭動眼反射を精度良く算出することは困難となる。
ところが上記したように、撮影装置を移動体の内部に取り付けた場合、移動体座標系における運転者の情報しか得られない。
このため、乗車し、実際に走行中の運転者の覚醒に関する情報を高い精度に検出することは極めて困難であるという課題があった。

特開平１０−２７２９６０号公報 ＷＯ２０１０／０３２４２４公報

課題を解決するための手段及びその効果

本発明は上記課題に鑑みなされたものであって、移動中の移動体において、人物の覚醒度に関する情報を、より高い精度で得ることのできる算出システム、情報処理装置、運転支援システム、指標算出方法、およびコンピュータプログラムを提供することを例示的な目的としている。

上記目的を達成するために、本開示に係る算出システム（１）は、
移動体中の人物の顔を撮影する撮像部と、
前記移動体の運動データを計測するセンサと、
前記撮像部により撮影された顔の画像を用いて前記人物の眼球運動を算出する第１の算出部と、
前記センサにより計測された前記移動体の運動データ及び前記撮像部により撮影された顔の画像を用いて前記人物の頭部運動を算出する第２の算出部と、
を備えていることを特徴としている。

上記算出システム（１）によれば、前記撮像部により移動体中における前記人物の顔の画像が撮影され、前記センサにより移動体の運動データが計測され、前記第１の算出部により、前記人物の顔の画像に基づいて前記人物の眼球運動が算出される。そして前記第２の算出部により前記移動体の運動データ及び顔の画像に基づいて前記人物の頭部運動が算出される。
従って、移動体の運動を考慮した頭部運動が算出される。このため、少なくとも前記撮像部及び前記センサが移動体に配備され、移動体が移動中の場合であっても、絶対座標系に対する頭部運動の正確な情報を得ることができる。

また、本開示に係る算出システム（２）は、上記算出システム（１）において、
さらに、前記第１の算出部により算出された眼球運動、及び、前記第２の算出部により算出された頭部運動を用いて、前記移動体中における人物の覚醒に関する指標を算出する第３の算出部を備えていることを特徴としている。

上記算出システム（２）によれば、前記撮像部と前記センサとが移動体に設置された構成で、さらに前記第３の算出部を備えることで、運転者の頭部に撮像部やセンサを装着しなくても、移動体の運動を考慮した頭部運動の情報に基づいて前記移動体中における前記人物の覚醒に関する指標を高い精度に算出することが可能となる。

また、本開示に係る算出システム（３）は、上記算出システム（２）において、
前記撮像部により撮影された顔の画像を用いて、前記人物が前記移動体の外部の注視点を注視している第１の状態か否かを判別する第１の判別部をさらに備え、
前記第３の算出部は、前記第１の判別部によって第１の状態であると判別された場合の眼球運動及び頭部運動を用いて、前記指標を算出することを特徴としている。

上記算出システム（３）は、覚醒に関する指標の算出を、人物が移動体の外部の注視点を注視している場合に行うものである。上記算出システム（３）によれば、車外を注視している場合の頭部運動と眼球運動の情報に基づいて運転者の覚醒に関する指標を算出することで、高い精度の覚醒に関する指標を得ることができる。車外を注視している状態の覚醒に関する指標としては、例えばＶＯＲ（前庭動眼反射）に関する各種の値が挙げられる。

また、本開示に係る算出システム（４）は、上記算出システム（２）又は（３）のいずれかにおいて、
前記撮像部により撮影された顔の画像を用いて、眼球と頭部とが同方向に運動している第２の状態であるか否かを判別する第２の判別部をさらに備え、
前記第３の算出部は、前記第１の算出部により算出された眼球運動、及び、前記第２の算出部により算出された頭部運動のうち、前記第２の状態における眼球運動及び頭部運動を除外して、前記指標を算出することを特徴としている。

一般的に、人物が視線方向を意識的に変えるときは、眼球の運動方向と顔の運動方向とが同方向となる。このような同方向の運動時における情報を除くことで、高い精度の覚醒に関する指標を得ることができる。

また、本開示に係る算出システム（５）は、上記算出システム（２）〜（４）のいずれかにおいて、
前記覚醒に関する指標が、前庭動眼反射のゲイン、頭部の角速度と眼球の角速度との位相差、及び前庭動眼反射の残差標準偏差のうちの少なくとも一つの値、或いは、これら値の二つ以上の値に基づく演算値であることを特徴としている。

上記算出システム（５）によれば、覚醒度低下の指標として知られるＶＯＲ（前庭動眼反射）に関する各値、又はこれらに基づく演算値を用いることで、覚醒度との相関性に優れた指標を算出することができる。

また、本開示に係る算出システム（６）は、上記算出システム（２）〜（５）のいずれかにおいて、
前記頭部運動が、
前記撮像部により撮影された顔の画像に基づく顔の運動情報と、
前記センサにより計測された前記移動体の運動情報と、の対応値同士の加算によって、
前記移動体外の絶対座標系の値として算出されることを特徴としている。

上記算出システム（６）は、頭部運動を対応値の加算処理によって絶対座標系の値に換算するものである。顔の運動情報の各値と、移動体自体の運動情報の各値とを加算することで、絶対座標系における顔の運動情報を得ることができる。これにより、より高い精度の覚醒に関する指標を算出することが可能となる。

また、本開示に係る情報処理装置（１）は、
上記算出システム（１）〜（６）のいずれかを構成する情報処理装置であって、
移動体に設置された撮像部によって撮影された顔の画像を用いて、人物の眼球運動を算出する第１の算出部と、
前記移動体に設置されたセンサによって計測された前記移動体の運動データ、及び、前記撮像部によって撮影された顔の画像を用いて、前記人物の頭部運動を算出する第２の算出部と、
を備えていることを特徴としている。

上記情報処理装置（１）は、移動体に設置された撮像部により人物の顔の画像を撮影し、この撮影された顔の画像に基づき、前記人物の眼球運動を算出する。また、前記移動体に設置されたセンサにより前記移動体の運動データを計測し、計測された前記移動体の運動データと前記顔の画像に基づいて、人物の頭部運動を算出する。
前記第２の算出部は、前記移動体の運動データと顔の画像に基づいて頭部運動を算出するため、移動体の運動状態にかかわらず、頭部運動を、移動体外の絶対座標系として得ることができる。これにより、移動体中の運転者の覚醒に関連する情報をより正確に算出することが可能となる。

また、本開示に係る運転支援システム（１）は、上記情報処理装置（１）と、前記第１の算出部により算出された眼球運動、及び、前記第２の算出部により算出された頭部運動を用いて、前記移動体を制御する制御手段とを備えていることを特徴としている。

上記運転支援システム（１）によれば、移動体中の運転者の覚醒に関連する情報を正確に算出することが可能なシステムとすることができる。

また、本開示に係る覚醒に関する指標算出方法（１）は、
移動体中の人物の覚醒に関する指標を算出する方法であって、
前記移動体に設置された撮像部によって、前記移動体中の前記人物の顔の画像を撮影する撮像ステップと、
前記移動体に設置されたセンサによって、移動中の前記移動体の運動データを計測する計測ステップと、
前記撮像ステップにおいて撮影された顔の画像を用いて、前記移動体中の前記人物の眼球運動を算出する第１の算出ステップと、
前記撮像ステップにおいて撮影された顔の画像、及び、前記計測ステップにおいて計測された前記移動体の運動データを用いて、前記移動体中の前記人物の頭部運動を絶対座標系の値として算出する第２の算出ステップと、
前記第１の算出ステップにおいて算出された眼球運動、及び、前記第２の算出ステップにおいて算出された頭部運動を用いて、前記移動体中の人物の覚醒に関する指標を算出する第３の算出ステップと、
を備えていることを特徴としている。

上記覚醒に関する指標算出方法（１）によれば、移動体の運動状態にかかわらず、頭部運動を、移動体外の絶対座標系として得ることができる。これにより、第３の算出ステップにおいて、移動体中の運転者の覚醒に関する指標をより正確に算出することが可能となる。

また、本開示に係る覚醒に関する指標算出のためのコンピュータプログラム（１）は、
移動体中の人物の覚醒に関する指標の算出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムであって、
前記少なくとも１つのコンピュータに、
前記移動体に設置された撮像部によって、前記移動体中の前記人物の顔の画像を撮影する撮像ステップと、
前記移動体に設置されたセンサによって、移動中の前記移動体の運動データを計測する計測ステップと、
前記撮像ステップにおいて撮影された顔の画像を用いて、前記移動体中の前記人物の眼球運動を算出する第１の算出ステップと、
前記撮像ステップにおいて撮影された顔の画像、及び、前記計測ステップにおいて計測された前記移動体の運動データを用いて、前記移動体中の前記人物の頭部運動を絶対座標系の値として算出する第２の算出ステップと、
前記第１の算出ステップにおいて算出された眼球運動、及び、前記第２の算出ステップにおいて算出された頭部運動を用いて、前記移動体中の人物の覚醒に関する指標を算出する第３の算出ステップと、
を実行させることを特徴としている。

上記覚醒に関する指標算出のためのコンピュータプログラム（１）によれば、移動体の運動状態にかかわらず、頭部運動を、移動体外の絶対座標系として取得させることができる。これにより、前記第３の算出ステップにおいて、移動体中の運転者の覚醒に関する指標をより正確に、コンピュータに算出させることが可能となる。

実施の形態に係る情報処理装置を含む算出システムを移動体へ適用した例を示す概略平面図である。 実施の形態に係る算出システムを示す概略斜視図である。 実施の形態に係る情報処理装置における、撮像部の処理動作に関する構成例を示す概略側面図である。 実施の形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 実施の形態に係る算出システムの情報処理の流れを示すブロック図である。 情報処理の流れにおけるデータ構造例を示すブロック図である。 実施の形態に係る情報処理装置のＶＯＲ情報の算出処理動作全体の一例を示すフローチャートである。 情報処理における、頭部運動算出処理の一例を示すフローチャートである。 実施の形態に係る情報処理装置における、眼球運動算出処理の一例を示すフローチャートである。 実施の形態に係る情報処理装置における、ＶＯＲ情報の算出処理の一例を示すフローチャートである。 実施の形態に係る情報処理装置を含む別の算出システムを移動体へ適用した例を示す概略平面図である。

以下、本発明に係る算出システム、情報処理装置、運転支援システム、指標算出方法、およびコンピュータプログラムの実施の形態を図面に基づいて説明する。

［適用例］
図１は、実施の形態に係る情報処理装置を含む算出システムを移動体Ｍへ適用した例を示す概略平面図であり、図２は、移動体Ｍに搭載された算出システムを示す概略斜視図である。

この例において、移動体Ｍは人物を乗せて移動する車両であって、外部を透過視認する視認部（例えばフロントガラス）を有している。移動体Ｍは、運転者Ｄが着座するための着座部（例えば運転席）を備えており、運転者Ｄは、移動中の移動体Ｍの着座部に着座した状態で、視認部を介して移動体Ｍの外部の任意の注視点Ｐを視認することができる。注視点Ｐは、実際には、図示された位置よりも移動体Ｍから遠くにあってもよい。
図２に示す例において、運転者Ｄは、頭部ＤＨを含む上半身が視認部方向を向いた状態で着座部に着座し、眼球の瞳孔１０１（図３）が視認部の先の注視点Ｐの方向を向いている。

注視点Ｐとしては、例えば、通常は前方車両のテール部、あるいは図１に示した、道路周辺に配置された遠方の道路標識などを挙げることができる。図１に示した道路標識は移動体Ｍ外部の絶対座標系で静止したものとなる。
また、図２に示す符号ＤＯは、人物の顔の向きを算出するための顔の一つの顔器官点を示している。情報処理装置１０（図４）は、顔の向きを算出するために、多数の顔の器官点情報からなる顔のモデルを用意し、複数の器官点の位置情報から顔の向きを推定する。顔の向きの変化量から顔の移動量を算出することができる。

運転者Ｄの視線ベクトルは、例えば、図３に示したように、眼球の画像部分における瞳孔中心１１Ａの位置と、眼球の画像部分における照射部３からの照射光の反射位置（角膜反射像１２１）とによって特定することができる。この視線ベクトルを微分することで動き（眼球運動）を算出することも可能である。
また、眼球運動は、眼球の画像部分における瞳孔１０１の動きから算出することも可能である。
前記照射光は非可視光線であることも多く、非可視光線である場合、カメラ１１によって撮影される画像は、非可視光線の反射光に基づく人物の画像からなる。

［構成例］
［算出システムの構成例］
算出システム１は、図４に示したように、移動体Ｍ中の人物である運転者Ｄの顔を撮影する撮像部としてのカメラ１１、各種の情報処理を行う情報処理装置１０、及び移動体Ｍの運動データを計測するジャイロセンサ２を含んで構成されている。
算出システム１は、カメラ１１、情報処理装置１０、及びジャイロセンサ２を含んで構成されており、いわゆるドライブモニタリングシステムの一部を構成しているとみなすこともできる。
また、算出システム１は、図５に示したような機能構成ブロックでも表すことができ、
カメラ１１により撮影された顔の画像を用いて前記人物の眼球運動を算出する第１の算出部３１と、
ジャイロセンサ２により計測された移動体Ｍの運動データ及びカメラ１１により撮影された顔の画像を用いて絶対座標系に対する人物の頭部運動を算出する第２の算出部３２と、
第１の算出部３１により算出された眼球運動、及び、第２の算出部３２により算出された頭部運動を用いて、移動体Ｍ中の人物の覚醒に関する指標を算出する第３の算出部３３とを備えている。

算出システム１には、人物の頭部を含む画像を所定の時間間隔で撮影する撮像部としてのカメラ１１と、運転者Ｄの眼球に照射光を照射する照射部３とが装備され、情報処理装置１０が内蔵されている。算出システム１は、例えば、移動体Ｍ内にあって運転者Ｄと対向する位置に固定されている（図１）。

撮像部としてのカメラ１１は、例えば、図示しないレンズ部、撮像素子部、インターフェース部、これら各部を制御する制御部などを含んで構成されている。撮像素子部は、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、マイクロレンズなどを含んで構成される。撮像素子部は、可視領域の光を受けて撮影画像を形成できるものを含む他、紫外線、赤外線、あるいは近赤外線を受けて撮影画像を形成できるＣＣＤ、ＣＭＯＳ、或いはフォトダイオード等のセンサを含んでもよい。

カメラ１１は、運転者Ｄを撮影する。カメラ１１によって撮影された画像によって、移動体Ｍ中における運転者Ｄの頭部運動を測定することが可能になる。また、カメラ１１によって撮影される画像は、画像内の人物の眼球及び視線の方向を特定できる解像度を有しており、運転者Ｄの眼球運動を算出することも可能になっている。

カメラ１１の数は、図２に示したように１台でもよいし、後述の変形構成例では、図１１に示したように、補助カメラ４を含む２台以上のカメラで構成される。カメラ１１は、単眼カメラであってもよいし、ステレオカメラであってもよい。
カメラ１１は所定のフレームレート（例えば、毎秒３０〜６０フレーム）で画像を撮像し、カメラ１１で撮影された画像のデータが情報処理装置１０へ出力されるようになっている。

ジャイロセンサ２は、移動体Ｍの移動に伴う運動情報を取得する。例えば、図２に示したジャイロセンサ２は三次元ジャイロセンサからなり、移動体Ｍの前部に固定された算出システム１に固定される（図１）。この例において、計測される運動情報は、外部の絶対座標系に対する、移動体Ｍの回転運動量である。運動情報の内容として、三次元的に互いに直交するＸＹＺ軸の各軸周りの回転量、及び単位時間当たりにおける、ロール、ピッチ、ヨーそれぞれの回転角速度が取得される。
ジャイロセンサ２は移動体Ｍに不要に揺動することなく設置されていればよく、移動体Ｍへの設置位置は特に限定されない。

照射部３は、ＬＥＤ(Light Emitting Diode)などの発光素子を含み、また、昼夜を問わず運転者の状態を撮影できるように赤外線ＬＥＤ、近赤外線ＬＥＤなどが採用される。
照射部３は、例えば図２に示したように、移動体Ｍ内の決められた位置から、人物のいる運転席の方向へ照射光を照射する。照射光は、一定方向へ照射されることで、眼球上の一定方向の一点が角膜反射像１２１として反射される。この角膜反射像１２１は、照射部３の固定位置から人物の眼球までの距離が最短距離となる点に形成される。また、照射光が非可視光線である場合、人物の視線の動きを妨げることがない。カメラ１１によって撮影される画像は、角膜反射像１２１を含む画像である。

［情報処理装置の構成例］
図４は、実施の形態に係る情報処理装置１０を含む算出システム１の機能構成例を示すブロック図である。
情報処理装置１０は、入出力インターフェース（Ｉ／Ｆ）１１０、制御ユニット１２、及び記憶ユニット１３を含んで構成されている。

入出力Ｉ／Ｆ１１０には、例えば、カメラ１１、ジャイロセンサ２、照射部３、運転制御装置３０、報知装置３７などが接続され、入出力Ｉ／Ｆ１１０は、これら外部機器との間で信号の授受を行うためのインターフェース回路や接続コネクタなどを含んで構成されている。運転制御装置３０は、情報処理装置１０から供給される種々の情報に基づいて、移動体Ｍを制御することができる。例えば、運転制御装置３０は、移動体Ｍの運転を制御してもよいし、移動体Ｍに設けられたスピーカやディスプレイによる出力を制御してもよい。

制御ユニット１２は、画像取得部１２ａ、検出部１２ｂ、情報取得部１２ｃ、第１判定部１２ｄ、第２判定部１２ｅ、及び基準決定部１２ｆを含んで構成され、さらに、算出部１２ｇ、処理部１２ｈ、基準変更部１２ｉなどを含んで構成されてもよい。制御ユニット１２は、例えば、ＣＰＵ(Central Processing Unit)、メモリ、画像処理回路などを含んで構成され、記憶ユニット１３等に保存されている所定の制御プログラムを読み出してCPUで解釈実行することにより、その働きが実現される。制御ユニット１２は、前記撮像素子部や照射部３を制御して、照射部３から光（例えば、近赤外線など）を照射させ、前記撮像素子部でその反射光を撮影する制御などを行う。制御ユニット１２は、ＣＰＵ、Graphics processing unit（ＧＰＵ）などの１つ以上のハードウェアプロセッサを含んで構成される。

記憶ユニット１３は、画像記憶部１３ａ、顔の向き記憶部１３ｂ、パラメータ記憶部１３ｃ、基準記憶部１３ｄ、及びプログラム記憶部１３ｅを含んで構成される。記憶ユニット１３は、Random Access Memory（ＲＡＭ）、Read Only Memory（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、その他の不揮発性メモリや揮発性メモリなど、半導体素子によってデータを記憶可能な１つ以上の記憶装置で構成される。なお、ＲＡＭ及びＲＯＭを制御ユニット１２に含んで構成してもよい。

画像記憶部１３ａには、画像取得部１２ａによりカメラ１１から取得された運転者Ｄの画像が記憶される。
顔の向き記憶部１３ｂには、検出部１２ｂで検出された各画像の運転者Ｄの顔の向き及び移動量に関する情報が、画像記憶部１３ａに記憶される各画像と対応付けて記憶される。
パラメータ記憶部１３ｃには、第２判定部１２ｅでの判定に用いられる、顔の向きの閾値や移動量の閾値などの各種パラメータが記憶されている。
基準記憶部１３ｄには、基準決定部１２ｆで決定された運転者Ｄの顔の向きの基準に関する情報、例えば、基準を示す値（基準値）などが記憶される。
プログラム記憶部１３ｅには、制御ユニット１２の各部で実行される情報処理プログラムや該プログラムの実行に必要なデータなどが記憶されている。

［動作例］
情報処理装置１０は、移動体Ｍに搭載される算出システム１に内蔵され、車載機器（図示せず）から移動体Ｍの走行状態に関する各種情報を取得できるとともに、車載機器に対して制御信号などを出力するように構成されている。

情報処理装置１０は、移動体Ｍ中の運転者Ｄの状態を把握するための情報処理の一つとして、顔の向きを算出するために、多数の顔の器官点情報からなる顔のモデルを用意し、複数の器官点の位置情報から顔の向きを推定する。顔の向きの変化量から顔の移動量を算出することができる。また、情報処理装置１０は、移動体Ｍ中の運転者Ｄの状態を把握するための情報処理の一つとして、運転者Ｄの眼球の向きの基準となる、運転者Ｄの少なくとも片側の眼球及び当該眼球に含まれる瞳孔を把握し、前記眼球における瞳孔の移動量を把握する処理も実行し、眼球運動の検出を可能としている。

運転者Ｄの頭部運動には、例えば、図２に示すように、運転者Ｄの顔のＸ軸（左右軸）回りの角度(上下の向き)であるピッチ（Pitch）角、顔のＹ軸(上下軸)回りの角度（左右の向き）であるヨー(Yaw)角、及び顔のＺ軸（前後軸）回りの角度（左右傾き）であるロール(Roll)角のうち、少なくとも１つが含まれている。

移動体Ｍの運動情報には、移動体Ｍの三次元軸それぞれの速度情報のほか、例えば、ＣＡＮ（Controller Area Network）で接続された車載機器から取得した、車速情報、或いは操舵情報を含んでもよい。運動情報が車載機器から取得した情報を含む場合、当該取得した情報に基づいて、特定の走行状態にあるかどうかを判別することが可能となる。特定の走行状態としては、例えば、移動体Ｍの車速が所定の車速域にあり、かつ非操舵状態にある走行状態、換言すれば、移動体Ｍが直進している走行状態が挙げられる。このような走行状態は、運転者Ｄの覚醒に関する指標を算出するのに適した状態と言える。

情報処理装置１０は、「頭部運動算出処理」として、カメラ１１により撮影された画像に基づいて、運転者Ｄの頭部ＤＨを検出し、さらに、頭部ＤＨのうち頭部運動の基準である顔器官点ＤＯを検出する処理を実行する。

顔器官点ＤＯの情報として、例えば、顔器官点ＤＯの位置情報と、顔器官点ＤＯの向き情報とを組み合わせた値が用いられる。
このうち、顔器官点ＤＯの位置情報としては、例えば、運転者Ｄの顔の３次元の軸上位置を示す幅位置Ｘｄ、高さ位置Ｙｄ、前後位置Ｚｄの各値の組合せが用いられる。また、顔器官点ＤＯの向きの情報としては、例えば、３次元軸のうちＸ軸周りの回転角であるピッチＰｄ、Ｙ軸周りの回転角であるヨーＹｄ、Ｚ軸周りの回転角であるロールＲｄからなる各値の組合せが用いられる。これらは、運転者Ｄの頭部の位置を示す情報、及び、運転者Ｄの頭部運動を示す情報となる。

カメラ１１で撮影された１以上の画像から、前記幅位置Ｘｄ、高さ位置Ｙｄ、前後位置Ｚｄ、ピッチＰｄ、ヨーＹｄ、ロールＲｄのうち、少なくとも１つ以上の値の組合せ、これらの平均値又は最頻値などの値の組合せを、顔器官点ＤＯの移動情報として用いることができる。

本実施の形態では、情報処理装置１０が、カメラ１１によって撮影された画像を取得し、取得した画像から運転者Ｄの頭部運動を算出するとともに、移動体Ｍの運動情報を取得する。そして、情報処理装置１０の第１判定部１２ｄが、取得した前記情報に基づいて、運転者Ｄが特定の状態（以下「第１の状態」という。）にあるか否かを判定する（図７）。第１の状態は、具体的には、運転者Ｄが移動体Ｍの外部（ここでは車外）を注視している状態であるといえる。

情報処理装置１０の第１判定部１２ｄは、移動体Ｍ内の運転者Ｄの頭部運動の変化量を、移動体Ｍ自体の運動情報に応じて修正した上で、あらかじめ設定された閾値をこえるか否か、判別するものとしてもよい。

制御ユニット１２は、記憶ユニット１３に各種データを記憶する処理を行う。また、制御ユニット１２は、記憶ユニット１３に記憶された各種データや各種プログラムを読み出し、これらプログラムを実行する。制御ユニット１２が記憶ユニット１３と協働して、画像取得部１２ａ、検出部１２ｂ、情報取得部１２ｃ、第１判定部１２ｄ、第２判定部１２ｅ、及び基準決定部１２ｆの動作、さらには、算出部１２ｇ、処理部１２ｈ、及び基準変更部１２ｉの動作が実現される。

画像取得部１２ａは、所定のフレームレートで撮影された運転者Ｄの画像をカメラ１１から取得する処理を行い、カメラ１１から取得した画像を画像記憶部１３ａに記憶する処理を行う。

検出部１２ｂは、画像記憶部１３ａに記憶された画像を毎フレーム、又は所定間隔のフレーム毎に読み出し、これら画像から運転者Ｄの頭部ＤＨを検出する処理を行い、検出した運転者Ｄの頭部ＤＨの運動情報を、当該画像と対応付けて顔の向き記憶部１３ｂに記憶する処理を行う。

運転者Ｄの頭部ＤＨの運動情報には、画像処理により検出された運転者Ｄの顔の向きを示す角度、例えば、上記したヨー角、ピッチ角、及びロール角のうち少なくとも１つの角度の情報が含まれる。また、運転者Ｄの頭部ＤＨの運動情報には、目、鼻付け根部、鼻先端部、口、眉、頭頂部などの顔器官点ＤＯに関する位置情報が含まれる。顔器官点ＤＯは例えば、顔の各器官の代表的又は特徴的な位置を示す特徴点として画像処理によって特定され、頭部運動の基準点として検出される。

情報取得部１２ｃは、運転制御装置３０を介して移動体Ｍの運動情報を取得する処理を行い、取得した前記情報を第１判定部１２ｄに出力する。情報取得部１２ｃの処理と、画像取得部１２ａの処理との先後は必ずしも限定されない。例えば、これらの各処置を並行して行ってもよい。なお、情報取得部１２ｃは、運転制御装置３０を介さずに、車載システム（図示せず）の各部から前記情報を取得するようにしてもよい。
移動体Ｍの運動情報には、少なくともジャイロセンサ２で検出された回転角速度などが含まれる。
また、情報取得部１２ｃは、移動体Ｍの加減速情報や移動体Ｍの傾斜情報等を取得してもよい。

また、情報取得部１２ｃは、移動体Ｍの位置情報と、移動体Ｍの周辺の地図情報とを取得してもよい。これら情報には、例えば、ナビゲーション装置で割り出された自車位置と、該自車位置周辺の地図情報などが含まれる。

さらに、情報取得部１２ｃは、移動体Ｍの周辺、特に進行方向に存在する他の移動体や人などの監視対象物に関する情報を取得してもよい。これら情報には、例えば、周辺監視センサで検出された、対象物の種類や対象物までの距離に関する情報などが含まれる。

第１判定部１２ｄは、運転者Ｄに関する第１の状態の条件を満たすか否かを判別する。第１判定部１２ｄは、カメラ１１により撮影された顔の画像を用いて、第１の状態か否かを視線ベクトルに基づいて判別する。判別結果は例えば二値信号として、第１判定部１２ｄから第２判定部１２ｅに出力される。第１判定部１２ｄは、本開示に係る第１の判別部の一例である。

第２判定部１２ｅは、現在の状態が後述のＶＯＲ情報の算出に適さない状態であるか否かを判別する。本実施の形態では、一例として、眼球の運動方向と顔の運動方向とが同方向である状態をＶＯＲ情報の算出に適さない状態とし、以下これを「第２の状態」ともいう。例えば、第２判定部１２ｅは、カメラ１１により撮影された顔の画像を用いて、眼球の運動方向と顔の運動方向とが同方向か否かを判別することによって、第２の状態か否かを判別することができる。判別結果は例えば二値信号として、第２判定部１２ｅから基準決定部１２ｆに出力される。第２判定部１２ｅは、本開示に係る第２の判別部の一例である。

基準決定部１２ｆは、運転者Ｄが第１の状態にあり、かつ第２の状態にあると判別されているときの運転者Ｄの頭部ＤＨを含む画像要素ＩＤ２０（図６）を画像解析によって抽出し、さらに、運転者Ｄの頭部ＤＨに含まれる眼球の画像要素ＩＤ１０（図６）を画像解析によって抽出する。眼球の画像要素ＩＤ１０に基づいて、瞳孔１０１の位置及び向きを特定する処理を行う。そして、連続撮影された各画像の顔器官点ＤＯの位置情報及び向きの情報の変化に基づいて、運転者Ｄの“眼球運動”を決定する処理を行い、決定した頭部運動を基準記憶部１３ｄに記憶する。

具体的には、まず、第２判定部１２ｅで判定された、運転者Ｄの顔の向きと視線の向きの変化が同一方向ではない、“非同方向運動状態（すなわち第２の状態）”にあると推定できる状態が所定期間以上継続しているか否かが判定される。すなわち、第２判定部１２ｅから、“非同方向運動状態”にあることを示す判定結果を撮影された画像のフレーム毎に付与し、当該判定結果が、所定のフレーム数以上継続したか否かが判定される。

所定期間以上継続して取得されたと判断すれば、基準決定部１２ｆは、次に、顔の向き記憶部１３ｂから前記所定期間に取得した画像に対応する運転者Ｄの眼球（図３の実施形態では顔器官点ＤＯとなる左目）の画像要素ＩＤ１０を読み出し、連続的又は断続的に読み出した各フレームの眼球の画像要素ＩＤ１０から、運転者Ｄの眼球運動を決定する。

眼球運動は、眼球内における瞳孔１０１の位置に関する情報であるから、例えば、カメラ１１で撮影される眼球の画像要素に基づいて、眼球の画像要素における瞳孔１０１の動きを特定することにより求めることができる。瞳孔１０１の位置情報の変化を特定することで、運転者Ｄの眼球運動が決定される。

上記した検出部１２ｂ、情報取得部１２ｃ、第１判定部１２ｄ、第２判定部１２ｅ、基準決定部１２ｆ、及び顔の向き記憶部１３ｂが協働して、ＶＯＲに関する情報（以下「ＶＯＲ情報」という。）の算出処理を実行する。
一方、算出部１２ｇ、処理部１２ｈ、及び基準記憶部１３ｄが協働して、運転者Ｄの状態を把握（モニタリング）する処理を実行する。

算出部１２ｇは、基準決定部１２ｆで決定された顔の向き記憶部１３ｂから頭部を含む画像を読みだすと共に、眼球運動を基準記憶部１３ｄから読み出して、頭部運動及び眼球運動からＶＯＲ情報の算出処理を行い、算出結果を処理部１２ｈに出力する。

処理部１２ｈは、算出部１２ｇで算出された、顔の向きの基準に対する運転者Ｄの顔の向き（例えば、基準値からのずれ）に基づいて、所定の処理を行う。
所定の処理は、例えば、脇見状態にあるか否かの判定処理を行って、脇見状態にある場合（例えば、左右方向の顔の向きが基準値から所定値以上ずれている場合）、報知装置３７に報知を指示する処理でもよいし、報知処理を行うことなく、脇見状態にある顔の向きの情報を記憶ユニット１３に記憶する処理や、運転制御装置３０に出力する処理でもよい。

また、処理部１２ｈは、ＶＯＲ情報の算出処理の算出結果によって、運転者Ｄの覚醒度の低下が予兆されるかどうかの判定処理を行い、覚醒度の低下が予兆されると判断される場合には、報知装置３７に検知信号を出力して、移動体Ｍ内へ覚醒度低下に関する報知を指示する処理を行ってもよい。

また、処理部１２ｈは、報知処理に代えて、又は報知処理とともに、運転者Ｄの覚醒度が低下した状態になっているときのＶＯＲ情報を記憶ユニット１３に記憶する処理を行ってもよい。
また、処理部１２ｈは、移動体Ｍの移動状態の判定処理を行って、明らかに移動体Ｍが停止している場合、或いは明らかに移動体Ｍが右左折移動を行っている場合を検知し、前記いずれの場合でもない時に限って、前記報知処理、あるいは前記記憶ユニット１３への記憶処理を行ってもよい。

また、所定の処理は、自動運転モードから手動運転モードへの切り替え時において、運転者Ｄが手動運転への引き継ぎが可能な状態にあるか否かの判定処理を行って、引き継ぎが可能な状態にあると判定された場合（例えば、基準値からの顔の向きのずれが、手動運転に適切な所定範囲内である場合）、運転制御装置３０に、手動運転への切り替えを許可する信号を出力する処理でもよい。

基準変更部１２ｉは、基準決定部１２ｆで決定された顔の向きの基準、例えば、基準値を変更する処理を行い、変更した基準値を基準記憶部１３ｄに記憶する処理を行う。
例えば、特定の走行状態（例えば、直進している走行状態）であるときに、算出部１２ｇで算出された前記運転者Ｄの顔の向きと、前記顔の向きの基準との差が所定範囲内である状態（例えば、基準値から一定の方向に顔の向きがずれているが、脇見ほどずれていない状態）で一定期間又は断続的に継続している場合に、前記差が小さくなるように前記顔の向きの基準を変更、例えば補正してもよい。また、基準変更部１２ｉが行う処理には、運転者Ｄが変わった場合に、顔の向きの基準を変更する処理も含まれる。

実施の形態に係る算出システムは、運転者Ｄが、運転席に着座し、外部の注視点Ｐを注視した状態にあるとき、運転者Ｄの眼球運動、及び頭部運動に基づいて、運転者ＤのＶＯＲ情報が算出される。

図７は、実施の形態に係る情報処理装置１０の制御ユニット１２が行う、ＶＯＲ情報の算出処理動作全体の一例を示すフローチャートである。

まず、ステップＳ１では、制御ユニット１２が、カメラ１１により撮影された画像を取得する処理を行い、次にステップＳ２では、取得した画像から運転者Ｄの頭部を含む画像要素ＩＤ２０を抽出し、当該画像要素に含まれる顔器官点を検出したうえで、移動体Ｍ座標系における運転者Ｄの頭部運動を算出する処理を行う。カメラ１１では、毎秒所定フレーム数の画像が撮影される。
制御ユニット１２は、これら撮影された画像を時系列で取り込み、毎フレーム、又は所定間隔のフレーム毎に本処理を実行する。
次に、ステップＳ３では、制御ユニット１２が、取得した画像から運転者Ｄの眼球を含む画像要素ＩＤ１０を抽出したうえで、眼球運動を算出する処理を行う。

次に、ステップＳ４では、ジャイロセンサ２によって得られた情報に基づき、車両運動を算出し、次にステップＳ５に進む。
ステップＳ５では、絶対座標系に関する運転者Ｄの頭部運動を求めるために、ステップＳ２で算出された車両座標系における運転者Ｄの頭部運動の値に、ステップＳ４で算出された移動体Ｍの絶対座標系における車両運動の値を加算する処理を行う。この加算処理は、例えば、ある時刻における頭部運動を示す値を、当該時刻の車両運動を示す値とを加算する処理である。
次に、ステップＳ６では、第１判定部１２ｄによって、運転者Ｄが第１の状態にあるか否かが判断され、第１の状態にあると判断されれば、次にステップＳ７に進み、第１の状態にはないと判断されれば、本処理を終了する。
次に、ステップＳ７では、運転者Ｄが第１の状態にあると判断されたときの絶対座標系に変換された頭部運動及び眼球運動に基づいて、運転者ＤのＶＯＲ情報を算出する処理を行い、その後、ステップＳ８に進む。
ステップＳ８では、ＶＯＲ情報を記憶ユニット１３に格納して記憶していく処理が行われ、同時に、５秒以上前のデータは消去され、直近５秒間以内のＶＯＲ情報への書換えが行われる。

その後、ステップＳ９では、５秒間分のデータが格納されたか否かが判断され、格納されたと判断されれば、ステップＳ１０に進み、一方、格納されたと判断されなければ、本処理を終了する。
ステップＳ１０では、第２判定部１２ｅにおいて頭部運動と眼球運動との相関性が“同方向運動状態にある”と判断されたデータを除外する処理が行われ、その後、ステップＳ１１に進み、ステップＳ１１では、“非同方向運動状態”と判断されたＶＯＲ情報のみの出力処理が行われ、その後、本処理が終了する。

図８は、実施の形態に係る情報処理装置１０の制御ユニット１２が行う、頭部運動算出処理（図７に示したフローチャートにおけるステップＳ２の処理）の詳細を示すフローチャートである。
まず、ステップＳ２１では、制御ユニット１２が、カメラ１１により撮影された画像を取得する処理を行い、次に、ステップＳ２２では、取得した画像に基づいて運転者Ｄの頭部ＤＨが検出できるか否かを判断し、運転者Ｄの頭部ＤＨが検出できると判断すると、次にステップＳ２３に進む一方、運転者Ｄの頭部ＤＨが検出できないと判断すると、本処理を終了する。
ステップＳ２３では、取得した画像に基づいて運転者Ｄの頭部ＤＨから顔器官点ＤＯが検出できるか否かを判断し、顔器官点ＤＯが検出できると判断すると、次にステップＳ２４に進む一方、顔器官点ＤＯが検出できないと判断すると、本処理を終了する。

ステップＳ２４では、検出された顔器官点の位置の移動量である“顔運動量”を、移動体Ｍにおける車両座標系での運動量（すなわち移動体Ｍに対する相対的顔運動量）として算出する。
次にステップＳ２５に進み、ステップＳ２５では、顔器官点位置の移動量に基づき、車両座標系における頭部運動を算出し、次に、ステップＳ２６に進む。
ステップＳ２６では、算出された頭部運動を示す情報を記憶ユニット１３に記憶する処理が行なわれ、その後、本処理を終了する。

図９は、実施の形態に係る情報処理装置１０の制御ユニット１２が行う、眼球運動算出処理（図７に示したフローチャートにおけるステップＳ３の処理）の詳細を示すフローチャートである。
まず、ステップＳ３１では、制御ユニット１２が、カメラ１１により撮影された画像を取得する処理を行い、次にステップＳ３２に進み、ステップＳ３２では、取得した画像に基づいて運転者Ｄの頭部ＤＨが検出できるか否かを判断し、運転者Ｄの頭部ＤＨが検出できると判断すると、次にステップＳ３３に進む一方、運転者Ｄの頭部ＤＨが検出できないと判断すると、本処理を終了する。

ステップＳ３３では、取得した画像に基づいて運転者Ｄの頭部ＤＨから眼球ＤＯが検出できるか否かを判断し、眼球ＤＯが検出できると判断すると、次にステップＳ３４に進む一方、眼球ＤＯが検出できないと判断すると、本処理を終了する。
ステップＳ３４では、運転者Ｄの眼球ＤＯから瞳孔１０１が検出できるか否かを判断し、瞳孔１０１が検出できると判断すると、次にステップＳ３５に進む一方、瞳孔１０１が検出できないと判断すると、本処理を終了する。
ステップＳ３５では、瞳孔の移動量を算出し、次にステップＳ３６に進み、ステップＳ３６では、瞳孔の移動量に基づいて、眼球の移動量を算出し、次にステップＳ３７に進み、ステップＳ３７では、眼球の移動量に基づいて、眼球運動を算出する。
次にステップＳ３８に進み、ステップＳ３８では、算出された眼球運動を記憶ユニット１３に記憶する処理が行なわれ、その後、本処理を終了する。

図１０は、実施の形態に係る情報処理装置１０の制御ユニット１２が行う、ＶＯＲ情報の算出処理（図７に示したフローチャートにおけるステップＳ７の処理）の詳細を示すフローチャートである。
まず、ステップＳ７１では、前庭動眼反射のゲイン（ＶＯＲゲイン）が算出される。
次に、ステップＳ７２では、頭部角速度と眼球角速度の位相差が算出される。
次に、ステップＳ７３では、ＶＯＲゲインと上記位相差に基づいて、残差標準偏差が算出される。
次に、ステップＳ７４では、これらのＶＯＲ情報を記憶ユニット１３に記憶する処理が行なわれ、その後、本処理を終了する。

［他の適用例］
実施の形態に係る情報処理装置を含む算出システムの他の適用例を図１１に示す。本適用例は撮像部として二つのカメラを備えている点、照射部３が不可視光線像を運転者Ｄの眼球に加えて運転者Ｄ背部にも照射する点で、図２に示した適用例とは異なっている。

図１１に示す適用例では、撮像部が、カメラ１１と補助カメラ４とからなる二つのカメラを異なる位置に備えている。異なる２つの位置から運転者Ｄの頭部を含む画像を取得することで、撮影される画像の奥行き方向の値の変化を確実に得ることができる。

また、図１１に示す適用例では、運転者Ｄ背部に照射時刻と同期して表示変化する不可視光線の時刻表示画像を照射する。時刻表示画像は例えば時刻変化する時計の画像からなる。カメラによって撮影される画像に時刻表示画像を含めることで、撮影した画像と各画像の撮影時刻との同期を確実に行うことができる。なお、時刻表示画像は、時刻を識別可能な画像であればよい。例えば、時刻表示画像は、時計のような人間が時刻を認識できる画像に限定されず、バーコード、２次元コード等の符号化された画像であってもよい。

以上、本発明の実施の形態を詳細に説明したが、上記説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。

上記実施の形態では、算出システムを車両に適用した場合について説明したが、車両以外の他の移動体、例えば、船舶、潜水機、航空機にも適用することが可能である。

［付記］
本発明の実施の形態は、以下の付記のようにも記載され得るが、これらに限定されない。
［付記１］
移動体に設置されたカメラ（１１）によって撮影された顔の画像を用いて、人物の眼球運動を算出する第１の算出部（３１）と、
前記移動体に設置されたセンサ（２）によって計測された前記移動体の運動データ、及び、
カメラ（１１）によって撮影された顔の画像を用いて、前記人物の頭部運動を算出する第２の算出部（３２）と、
を備えていることを特徴とする情報処理装置。

［付記２］
移動体Ｍ中の人物の覚醒に関する指標を算出する方法であって、
移動体Ｍに固定されたカメラ（１１）によって、移動体Ｍ中の人物の顔の画像を撮影する撮像ステップ（Ｓ１）と、
移動体Ｍに設置されたジャイロセンサ（２）によって、移動中の移動体Ｍの運動データを計測する計測ステップ（Ｓ４）と、
撮像ステップ（Ｓ１）において撮影された顔の画像を用いて、移動体Ｍ中の人物の眼球運動を算出する第１の算出ステップ（Ｓ３）と、
撮像ステップ（Ｓ１）において撮影された顔の画像、及び、計測ステップ（Ｓ４）により計測された移動体Ｍの運動データを用いて、移動体Ｍ中の人物の頭部運動を絶対座標系の値として算出する第２の算出ステップ（Ｓ５）と、
第１の算出ステップ（Ｓ３）において算出された眼球運動、及び、第２の算出ステップにおいて算出された頭部運動を用いて、移動体Ｍ中の人物の覚醒に関する指標を算出する第３の算出ステップ（Ｓ７）と、
を備えていることを特徴とする指標算出方法。

［付記３］
情報処置装置（１０）と、前記第１の算出部により算出された眼球運動、及び、前記第２の算出部により算出された頭部運動を用いて、前記移動体を制御する制御手段とを備えていることを特徴とする運転支援システム。

［付記４］
移動体中の人物の覚醒に関する指標の算出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムであって、
前記少なくとも１つのコンピュータに、
移動体Ｍに固定されたカメラ（１１）によって、移動体Ｍ中の人物の顔の画像を撮影する撮像ステップ（Ｓ１）と、
移動体Ｍに設置されたジャイロセンサ（２）によって、移動中の移動体Ｍの運動データを計測する計測ステップ（Ｓ４）と、
撮像ステップ（Ｓ１）において撮影された顔の画像を用いて、移動体Ｍ中の人物の眼球運動を算出する第１の算出ステップ（Ｓ３）と、
撮像ステップ（Ｓ１）において撮影された顔の画像、及び、計測ステップ（Ｓ４）により計測された移動体Ｍの運動データを用いて、移動体Ｍ中の人物の頭部運動を絶対座標系の値として算出する第２の算出ステップ（Ｓ５）と、
第１の算出ステップ（Ｓ３）において算出された眼球運動、及び、第２の算出ステップにおいて算出された頭部運動を用いて、移動体Ｍ中の人物の覚醒に関する指標を算出する第３の算出ステップ（Ｓ７）と、
を実行させることを特徴とする覚醒に関する指標算出のためのコンピュータプログラム。

１ 算出システム
２ ジャイロセンサ
３ 照射部
４ 補助カメラ
１０ 情報処理装置
１１ カメラ
１１Ａ 瞳孔中心
１２ 制御ユニット
１３ 記憶ユニット
３０ 運転制御装置
３１ 第１の算出部
３２ 第２の算出部
３３ 第３の算出部
３７ 報知装置
１０１ 瞳孔
１１０ 入出力インターフェース
１２１ 角膜反射像
Ｍ 移動体
Ｄ 運転者
ＤＯ 顔器官点
Ｘ−Ｙ−Ｚ 絶対座標系における三次元軸

本発明は、算出システム、指標算出方法、およびコンピュータプログラムに関する。

本発明は上記課題に鑑みなされたものであって、移動中の移動体において、人物の覚醒度に関する情報を、より高い精度で得ることのできる算出システム、指標算出方法、およびコンピュータプログラムを提供することを例示的な目的としている。

上記目的を達成するために、本開示に係る算出システム（１）は、
移動体に設置され、前記移動体中の人物の顔を撮影する撮像部と、
前記移動体に設置され、前記移動体の運動データを計測するセンサと、
前記撮像部により撮影された顔の画像を用いて前記人物の眼球運動を算出する第１の算出部と、
前記センサにより計測された前記移動体の運動データ及び前記撮像部により撮影された顔の画像を用いて前記移動体中の前記人物の頭部運動を算出する第２の算出部と、
前記第１の算出部によって算出された眼球運動、及び、前記第２の算出部によって算出された頭部運動を用いて、前記移動体中の人物の覚醒に関する指標を算出する第３の算出部と、
を備えていることを特徴としている。

上記算出システム（１）によれば、前記移動体に設置された前記撮像部により移動体中における前記人物の顔の画像が撮影され、前記移動体に設置された前記センサにより移動体の運動データが計測され、前記第１の算出部により、前記人物の顔の画像に基づいて前記人物の眼球運動が算出される。そして前記第２の算出部により前記移動体の運動データ及び顔の画像に基づいて前記人物の頭部運動が算出される。
従って、移動体の運動を考慮した頭部運動が算出される。このため、少なくとも前記撮像部及び前記センサが移動体に配備され、移動体が移動中の場合であっても、頭部運動の正確な情報を得ることができる。
前記撮像部と前記センサとが移動体に設置された構成で、さらに前記第３の算出部を備えることで、運転者の頭部に撮像部やセンサを装着しなくても、移動体の運動を考慮した頭部運動の情報に基づいて前記移動体中における前記人物の覚醒に関する指標を高い精度で算出することが可能となる。

また、本開示に係る算出システム（２）は、上記算出システム（１）において、
前記撮像部により撮影された顔の画像を用いて、前記人物が前記移動体の外部の注視点を注視している外部注視状態か否かを判別する第１の判別部をさらに備え、
前記第３の算出部は、前記第１の判別部によって外部を注視している外部注視状態であると判別された場合の眼球運動及び頭部運動を用いて、前記指標を算出することを特徴としている。

上記算出システム（２）は、覚醒に関する指標の算出を、人物が移動体の外部の注視点を注視している場合に行うものである。上記算出システム（２）によれば、車外を注視している場合の頭部運動と眼球運動の情報に基づいて運転者の覚醒に関する指標を算出することで、高い精度の覚醒に関する指標を得ることができる。車外を注視している状態の覚醒に関する指標としては、例えばＶＯＲ（前庭動眼反射）の各値が挙げられる。

また、本開示に係る算出システム（３）は、上記算出システム（１）又は（２）のいずれかにおいて、
前記撮像部により撮影された顔の画像を用いて、眼球運動と頭部運動とが同方向に運動している第２の状態であるか否かを判別する第２の判別部をさらに備え、
前記第３の算出部は、前記第１の算出部により算出された眼球運動、及び、前記第２の判別部により算出された頭部運動のうち、前記第２の状態における眼球運動及び頭部運動を除外して、前記指標を算出することを特徴としている。

また、本開示に係る算出システム（４）は、上記算出システム（１）〜（３）のいずれかにおいて、
前記覚醒に関する指標が、前庭動眼反射のゲイン、頭部の角速度と眼球の角速度との位相差、及び前庭動眼反射の残差標準偏差のうちの少なくとも一つの値、或いは、これら値の二つ以上の値に基づく演算値であることを特徴としている。

上記算出システム（４）によれば、覚醒度低下の指標として知られるＶＯＲ（前庭動眼反射）に関する各値、又はこれらに基づく演算値を用いることで、覚醒度との相関性に優れた指標を算出することができる。

また、本開示に係る覚醒に関する指標算出方法（１）は、
移動体中の人物の覚醒に関する指標を算出する方法であって、
前記移動体に設置された撮像部によって、前記移動体中の前記人物の顔の画像を撮影する撮像ステップと、
前記移動体に設置されたセンサによって、移動中の前記移動体の運動データを計測する計測ステップと、
前記撮像ステップにおいて撮影された顔の画像を用いて、前記移動体中の前記人物の眼球運動を算出する第１の算出ステップと、
前記撮像ステップにおいて撮影された顔の画像、及び、前記計測ステップにおいて計測された前記移動体の運動データを用いて、前記移動体中の前記人物の頭部運動を算出する第２の算出ステップと、
前記第１の算出ステップにおいて算出された眼球運動、及び、前記第２の算出ステップ
において算出された頭部運動を用いて、前記移動体中の人物の覚醒に関する指標を算出す
る第３の算出ステップと、
を備えていることを特徴としている。

上記覚醒に関する指標算出方法（１）によれば、移動体の運動状態にかかわらず、頭部運動を得ることができる。これにより、第３の算出ステップにおいて、移動体中の運転者の覚醒に関する指標をより正確に算出することが可能となる。

また、本開示に係る覚醒に関する指標算出のためのコンピュータプログラム（１）は、
移動体中の人物の覚醒に関する指標の算出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムであって、
前記少なくとも１つのコンピュータに、
前記移動体に設置された撮像部によって撮像された、前記移動体中の前記人物の顔の画像を取得する画像取得ステップと、
前記移動体に設置されたセンサによって計測された、移動中の前記移動体の運動データを取得する情報取得ステップと、
前記画像取得ステップにおいて取得した顔の画像を用いて、前記移動体中の前記人物の眼球運動を算出する第１の算出ステップと、
前記画像取得ステップにおいて取得した顔の画像、及び、前記情報取得ステップにおいて取得した前記移動体の運動データを用いて、前記移動体中の前記人物の頭部運動を算出する第２の算出ステップと、
前記第１の算出ステップにおいて算出された眼球運動、及び、前記第２の算出ステップにおいて算出された頭部運動を用いて、前記移動体中の人物の覚醒に関する指標を算出する第３の算出ステップと、
を実行させることを特徴としている。

上記覚醒に関する指標算出のためのコンピュータプログラム（１）によれば、移動体の運動状態にかかわらず、頭部運動を取得させることができる。これにより、前記第３の算出ステップにおいて、移動体中の運転者の覚醒に関する指標をより正確に、コンピュータに算出させることが可能となる。

Claims (10)

1. 移動体中の人物の顔を撮影する撮像部と、
   前記移動体の運動データを計測するセンサと、
   前記撮像部により撮影された顔の画像を用いて前記人物の眼球運動を算出する第１の算出部と、
   前記センサにより計測された前記移動体の運動データ及び前記撮像部により撮影された顔の画像を用いて前記人物の頭部運動を算出する第２の算出部と、
   を備えていることを特徴とする算出システム。
2. さらに、前記第１の算出部により算出された眼球運動、及び、前記第２の算出部により算出された頭部運動を用いて、前記移動体中における人物の覚醒に関する指標を算出する第３の算出部を備えていることを特徴とする請求項１記載の算出システム。
3. 前記撮像部により撮影された顔の画像を用いて、前記人物が前記移動体の外部の注視点を注視している第１の状態か否かを判別する第１の判別部をさらに備え、
   前記第３の算出部は、前記第１の判別部によって第１の状態であると判別された場合の眼球運動及び頭部運動を用いて、前記指標を算出することを特徴とする請求項２記載の算出システム。
4. 前記撮像部により撮影された顔の画像を用いて、眼球と頭部とが同方向に運動している第２の状態であるか否かを判別する第２の判別部をさらに備え、
   前記第３の算出部は、前記第１の算出部により算出された眼球運動、及び、前記第２の算出部により算出された頭部運動のうち、前記第２の状態における眼球運動及び頭部運動を除外して、前記指標を算出することを特徴とする請求項２又は請求項３記載の算出システム。
5. 前記覚醒に関する指標が、前庭動眼反射のゲイン、頭部の角速度と眼球の角速度との位相差、及び前庭動眼反射の残差標準偏差のうちの少なくとも一つの値、或いは、これら値の二つ以上の値に基づく演算値であることを特徴とする請求項２〜４のいずれかの項に記載の算出システム。
6. 前記頭部運動が、
   前記撮像部により撮影された顔の画像に基づく顔の運動情報と、
   前記センサにより計測された前記移動体の運動情報と、の対応値同士の加算によって、
   前記移動体外の絶対座標系の値として算出されることを特徴とする請求項２〜５のいずれかの項に記載の算出システム。
7. 移動体に設置された撮像部によって撮影された顔の画像を用いて、人物の眼球運動を算出する第１の算出部と、
   前記移動体に設置されたセンサによって計測された前記移動体の運動データ、及び、前記撮像部によって撮影された顔の画像を用いて、前記人物の頭部運動を算出する第２の算出部と、
   を備えていることを特徴とする情報処理装置。
8. 請求項７に記載の情報処理装置と、
   前記第１の算出部により算出された眼球運動、及び、前記第２の算出部により算出された頭部運動を用いて、前記移動体を制御する制御手段と
   を備えていることを特徴とする運転支援システム。
9. 移動体中の人物の覚醒に関する指標を算出する方法であって、
   前記移動体に設置された撮像部によって、前記移動体中の前記人物の顔の画像を撮影する撮像ステップと、
   前記移動体に設置されたセンサによって、移動中の前記移動体の運動データを計測する計測ステップと、
   前記撮像ステップにおいて撮影された顔の画像を用いて、前記移動体中の前記人物の眼球運動を算出する第１の算出ステップと、
   前記撮像ステップにおいて撮影された顔の画像、及び、前記計測ステップにおいて計測された前記移動体の運動データを用いて、前記移動体中の前記人物の頭部運動を絶対座標系の値として算出する第２の算出ステップと、
   前記第１の算出ステップにおいて算出された眼球運動、及び、前記第２の算出ステップにおいて算出された頭部運動を用いて、前記移動体中の人物の覚醒に関する指標を算出する第３の算出ステップと、
   を備えていることを特徴とする覚醒に関する指標算出方法。
10. 移動体中の人物の覚醒に関する指標の算出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムであって、
    前記少なくとも１つのコンピュータに、
    前記移動体に設置された撮像部によって、前記移動体中の前記人物の顔の画像を撮影する撮像ステップと、
    前記移動体に設置されたセンサによって、移動中の前記移動体の運動データを計測する計測ステップと、
    前記撮像ステップにおいて撮影された顔の画像を用いて、前記移動体中の前記人物の眼球運動を算出する第１の算出ステップと、
    前記撮像ステップにおいて撮影された顔の画像、及び、前記計測ステップにおいて計測された前記移動体の運動データを用いて、前記移動体中の前記人物の頭部運動を絶対座標系の値として算出する第２の算出ステップと、
    前記第１の算出ステップにおいて算出された眼球運動、及び、前記第２の算出ステップにおいて算出された頭部運動を用いて、前記移動体中の人物の覚醒に関する指標を算出する第３の算出ステップと、
    を実行させることを特徴とする覚醒に関する指標算出のためのコンピュータプログラム。

Images