JP2019159924A - 車載機、運転評価システム、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】運転者の顔の向き又は視線の方向を用いる処理の精度を高めることができる車載機を提供すること。【解決手段】車両を運転する運転者の各々の認証情報を取得する取得部と、前記運転者の各々の正面の向きの基準情報を算出する算出部と、前記取得部により取得された前記運転者の各々の認証情報と、前記算出部により算出された前記運転者の各々の正面の向きの基準情報とを、前記運転者ごとに対応付けて登録する登録部と、該登録部により登録された情報と、前記取得部により取得された前記運転者の認証情報とに基づいて、前記運転者の認証を行う認証部と、該認証部により前記運転者が認証された場合、認証された前記運転者の正面の向きの基準情報を前記登録部により登録された情報から取得し、取得した前記運転者の正面の向きの基準情報を用いて所定の処理を行う第１の処理部とを装備する。【選択図】図１

Description

本発明は、車載機、運転評価システム、情報処理方法、及びプログラムに関する。

特許文献１には、ステアリングコラムに配置されたカメラで運転者の顔画像を撮像し、撮像された顔画像のエッジ情報から顔の上下の輪郭位置及び中央線を検出し、検出された中央線に基づき運転者の顔向きを検出する、すなわち、中央線から顔の輪郭位置までの距離に基づき、正面方向をゼロ度としたときの左右方向への顔向き度を検出する技術が開示されている。

［発明が解決しようとする課題］
特許文献１記載のドライバモニタセンサでは、カメラで運転者の顔を正面から撮影し、予め設定されている正面方向を基準として顔向き度が検出される。

ところで、運転者の着座位置や運転姿勢には個人差がある。運転者が車両の正面方向を見ている状態であっても、運転者の着座位置や運転姿勢が異なる場合、カメラで撮像された画像に写る運転者の顔の向きは運転者ごとに異なる向きで検出される。

また、ドライバモニタセンサが車両に後付けされる場合、運転者の顔を正面から撮影できる位置にドライバモニタセンサのカメラが設置できない場合もある。カメラが運転者の正面からずれた位置に設置される場合は、運転者の着座位置や運転姿勢が異なると、画像に写る運転者の顔の向きが運転者ごとに異なる向きで検出されやすくなる。

特許文献１記載のドライバモニタセンサでは、装置側で予め設定されている、基準となる正面方向と、運転者が正面方向を見ているときの顔の向きとにズレが生じていたとしても、このズレが考慮されずに顔向き度が検出される。そのため、特許文献１記載のドライバモニタセンサでは、検出される顔向き度に、運転者が運転しているときの運転者ごとの顔の向きの個人差が反映されておらず、顔向き度の検出精度が低くなるという課題があった。

特開２００９−２３２９４５号公報

課題を解決するための手段及びその効果

本発明は上記課題に鑑みなされたものであって、運転者の顔の向き又は視線の方向を用いる処理の精度を高めることができる車載機、運転評価システム、情報処理方法、及びプログラムを提供することを目的としている。

上記目的を達成するために本開示に係る車載機（１）は、
車両を運転する運転者の認証情報を取得する取得部と、
前記運転者の顔の向き又は視線の方向の基準情報を算出する算出部と、
前記取得部により取得された前記運転者の各々の認証情報と、前記算出部により算出された前記運転者の各々の顔の向き又は視線の方向の基準情報とを、前記運転者ごとに対応付けて登録する登録部と、
該登録部により登録された情報と、前記取得部により取得された前記運転者の認証情報とに基づいて、前記運転者の認証を行う認証部と、
該認証部により前記運転者が認証された場合、認証された前記運転者の顔の向き又は視線の方向の基準情報を前記登録部により登録された情報から取得し、取得した前記運転者の顔の向き又は視線の方向の基準情報を用いて所定の処理を行う第１の処理部とを備えていることを特徴としている。

上記車載機（１）によれば、前記運転者の各々の認証情報と、前記運転者の各々の顔の向き又は視線の方向の基準情報とが、前記運転者ごとに対応付けて登録され、該登録された前記運転者の各々の顔の向き又は視線の方向の基準情報を用いて所定の処理が行われる。したがって、前記運転者の各々の顔の向き又は視線の方向の個人差による影響が小さくなるように前記所定の処理を実行することができ、前記運転者ごとに前記所定の処理を精度よく実行することができる。

また本開示に係る車載機（２）は、上記車載機（１）において、前記認証部により前記運転者が認証されなかった場合、予め設定された顔の向き又は視線の方向の基準情報を用いて所定の処理を行う第２の処理部を備えていることを特徴としている。

上記車載機（２）によれば、前記認証部により前記運転者が認証されなかった場合、予め設定された顔の向き又は視線の方向の基準情報を用いて所定の処理が行われるので、前記認証部により前記運転者が認証されなかった場合でも前記所定の処理を適切に実行することができる。

また本開示に係る車載機（３）は、上記車載機（１）又は（２）において、前記運転者を撮像する撮像部を備え、前記算出部が、前記撮像部で撮像された前記運転者の画像から前記運転者の顔の向き又は視線の方向の基準情報を算出するものであることを特徴としている。

上記車載機（３）によれば、前記運転者の顔の向き又は視線の方向の基準情報を効率よく算出することができる。

また本開示に係る車載機（４）は、上記車載機（３）において、前記運転者の顔の向き又は視線の方向の基準情報が、前記撮像部で撮像された前記運転者の複数の画像を用いて統計処理された前記運転者の顔の向き又は視線の方向の統計値を含んでいることを特徴としている。

上記車載機（４）によれば、前記運転者の顔の向き又は視線の方向の基準情報が、前記撮像部で撮像された前記運転者の複数の画像を用いて統計処理された統計値を含んでいるので、前記運転者の各々の顔の向き又は視線の方向の基準情報の精度を高めることができる。なお、前記運転者の顔の向き又は視線の方向の統計値には、例えば、顔の向き又は視線の方向の最頻値、中央値、又は平均値のいずれかを用いることができる。

また本開示に係る車載機（５）は、上記車載機（３）又は（４）において、前記取得部が、前記撮像部で撮像された前記運転者の画像から前記認証情報を取得するものであることを特徴としている。

上記車載機（５）によれば、前記撮像部を前記認証情報の取得にも用いることができるので、前記認証情報を取得するための装備を追加する必要がなく、装置コストを抑制することができる。

また本開示に係る車載機（６）は、上記車載機（１）〜（５）のいずれかにおいて、前記運転者の顔の向き又は視線の方向の基準情報が、予め設定された顔の向き又は視線の方向の基準からのずれを示す情報を含んでいることを特徴としている。

上記車載機（６）によれば、前記予め設定された顔の向き又は視線の方向の基準からのずれを補正して、前記所定の処理を実行することができ、前記運転者ごとに所定の処理を精度よく実行することができる。

また本開示に係る車載機（７）は、上記車載機（１）〜（６）のいずれかにおいて、前記所定の処理が、前記運転者の脇見判定処理であることを特徴としている。

上記車載機（７）によれば、前記運転者の各々の顔の向き又は視線の方向の基準情報を用いて、運転者の脇見判定処理が行われるので、前記運転者の各々の顔の向き又は視線の方向、換言すれば、顔の向き又は視線の方向の個人差が考慮された脇見判定処理を実行することができ、前記運転者ごとに脇見判定処理を精度よく実行することができる。

また本開示に係る車載機（８）は、上記車載機（１）〜（６）のいずれかにおいて、前記所定の処理が、交差点における前記運転者の安全確認動作の判定処理であることを特徴としている。

上記車載機（８）によれば、前記運転者の各々の顔の向き又は視線の方向の基準情報を用いて、交差点における運転者の安全確認動作の判定処理が行われるので、前記運転者の各々の顔の向き又は視線の方向の、換言すれば、顔の向き又は視線の方向の個人差が考慮された、安全確認動作の判定処理を実行することができ、前記運転者ごとに安全確認動作の判定処理を精度よく実行することができる。

また本開示に係る運転評価システムは、車両に搭載される車載機から取得した情報に基づいて、前記車両の運転者の運転を評価する運転評価システムであって、
前記車両を運転する運転者の認証情報を取得する取得部と、
前記運転者の顔の向き又は視線の方向の基準情報を算出する算出部と、
前記取得部により取得された前記運転者の各々の認証情報と、前記算出部により算出された前記運転者の各々の顔の向き又は視線の方向の基準情報とを、前記運転者ごとに対応付けて登録する登録部と、
該登録部により登録された情報と、前記取得部により取得された前記運転者の認証情報とに基づいて、前記運転者の認証を行う認証部と、
該認証部により前記運転者が認証された場合、認証された前記運転者の顔の向き又は視線の方向の基準情報を前記登録部により登録された情報から取得し、取得した前記運転者の顔の向き又は視線の方向の基準情報を用いて所定の処理を行う処理部とを備えていることを特徴としている。

上記運転評価システムによれば、前記運転者の各々の認証情報と、前記運転者の各々の顔の向き又は視線の方向の基準情報とが、前記運転者ごとに対応付けて登録され、該登録された前記運転者の各々の顔の向き又は視線の方向の基準情報を用いて所定の処理が行われる。したがって、前記運転者の各々の顔の向き又は視線の方向の個人差による影響が小さくなるように前記所定の処理を実行することができ、前記運転者ごとに前記所定の処理、例えば、運転評価処理を精度よく実行することができる。

また本開示に係る情報処理方法は、
車両を運転する運転者の認証情報を取得する取得ステップと、
前記運転者の顔の向き又は視線の方向の基準情報を算出する算出ステップと、
前記取得ステップにより取得された前記運転者の各々の認証情報と、前記算出ステップにより算出された前記運転者の各々の顔の向き又は視線の方向の基準情報とを、前記運転者ごとに対応付けて記憶部に登録する登録ステップと、
該登録ステップにより前記記憶部に登録された情報と、前記取得ステップにより取得された前記運転者の認証情報とに基づいて、前記運転者の認証を行う認証ステップと、
該認証ステップにより前記運転者が認証された場合、認証された前記運転者の顔の向き又は視線の方向の基準情報を前記記憶部に登録された情報から取得し、取得した前記運転者の顔の向き又は視線の方向の基準情報を用いて所定の処理を行う処理ステップとを含むことを特徴としている。

上記情報処理方法によれば、前記運転者の各々の認証情報と、前記運転者の各々の顔の向き又は視線の方向の基準情報とを、前記運転者ごとに対応付けて前記記憶部に登録し、前記記憶部に登録された前記運転者の各々の顔の向き又は視線の方向の基準情報を用いて所定の処理を行う。したがって、前記運転者の各々の顔の向き又は視線の方向の個人差による影響が小さくなるように前記所定の処理を実行することができ、前記運転者ごとに前記所定の処理を精度よく実行することができる。

また本開示に係る情報処理プログラムは、
少なくとも１つのコンピュータに、
車両を運転する運転者の認証情報を取得する取得ステップと、
前記運転者の顔の向き又は視線の方向の基準情報を算出する算出ステップと、
前記取得ステップにより取得された前記運転者の各々の認証情報と、前記算出ステップにより算出された前記運転者の各々の顔の向き又は視線の方向の基準情報とを、前記運転者ごとに対応付けて記憶部に登録する登録ステップと、
該登録ステップにより前記記憶部に登録された情報と、前記取得ステップにより取得された前記運転者の認証情報とに基づいて、前記運転者の認証を行う認証ステップと、
該認証ステップにより前記運転者が認証された場合、認証された前記運転者の顔の向き又は視線の方向の基準情報を前記記憶部に登録された情報から取得し、取得した前記運転者の顔の向き又は視線の方向の基準情報を用いて所定の処理を行う処理ステップとを実行させることを特徴としている。

上記プログラムによれば、少なくとも１つのコンピュータによって、前記運転者の各々の認証情報と、前記運転者の各々の顔の向き又は視線の方向の基準情報とが、前記運転者ごとに対応付けて前記記憶部に登録され、前記記憶部に登録された前記運転者の各々の顔の向き又は視線の方向の基準情報を用いて所定の処理が実行される。したがって、前記運転者の各々の顔の向き又は視線の方向の個人差による影響が小さくなるように前記所定の処理を実行することができ、前記運転者ごとに前記所定の処理を精度よく実行することができる装置又はシステムを実現することができる。

実施の形態に係る車載機の特徴部分を示す機能構成ブロック図の一例である。 実施の形態に係る車載機の要部構成を示すブロック図である。 実施の形態に係る車載機が適用される運転評価システムの一例を示す概略構成図である。 実施の形態に係る車載機のモニタリング部が行う処理動作の一例を示すフローチャートである。 実施の形態に係る車載機の制御部が行う処理動作の一例を示すフローチャートである。 実施の形態に係る車載機の制御部が行う処理動作の一例を示すフローチャートである。 車載機からサーバ装置に送信されるデータの構造の一例を示す図である。 実施の形態に係るサーバ装置の中央処理装置が行う処理動作の一例を示すフローチャートである。 別の実施の形態に係る運転評価システムの特徴部分を示す機能構成ブロック図の一例である。

以下、本発明に係る車載機、運転評価システム、情報処理方法、及びプログラムの実施の形態を図面に基づいて説明する。

［適用例］
図１は、実施の形態に係る車載機の特徴部分を示す機能構成ブロック図の一例である。
車載機１０は、例えば、車両２に後付けで搭載される装置であり、車両２の運転者の状態をドライバカメラ２１でモニタリングする装置、又は運転者の運転評価に用いるデータを取得して、外部へ送信する装置などとして適用される。

運転者の状態には、運転者の顔の向き、視線の方向、目開度、眠気度合い、及び脇見のうちの少なくともいずれかが含まれている。
運転者の運転評価に用いるデータには、運転者の状態、車両２の位置、及び車両２の挙動のうちの少なくともいずれかが含まれている。
運転者の運転評価には、例えば、運転者の運転操作行為に関する評価、交差点における安全確認動作に関する評価、運転時の集中状態に関する評価などが含まれる。

運転者の運転操作行為には、急ハンドル、急加速、急減速、急発進、速度超過、又は衝撃検知などの不適切な運転操作行為が含まれている。
交差点における安全確認動作には、通過した各交差点での運転者の安全確認のタイミング、確認角度、確認時間、又は交差点への進入速度などが含まれている。
運転時の集中状態には、運転者の眠気の検出状態（時間、頻度）、脇見の検出状態（時間、頻度）などが含まれている。

車載機１０が搭載される車両２は、特に限定されないが、本実施の形態では、各種の事業を営む事業者が管理する車両が対象とされ得る。例えば、運送事業者が管理するトラック、バス事業者が管理するバス、タクシー事業者が管理するタクシー、カーシェアリング事業者が管理するカーシェア車両、レンタカー事業者が管理するレンタカー、会社が所有している社有車、カーリース事業者からリースして使用する社有車などが対象とされ得る。

上記した用途で使用される車両２では、運転者が入れ替わることがある。また、運転者の着座位置（例えば、シート位置など）や運転姿勢は、運転者ごとに個人差がある。
したがって、車載機１０のドライバカメラ２１で運転者の状態をモニタリングする場合、例えば、運転者が車両２の正面方向を見ている状態であっても、運転者の着座位置や運転姿勢が異なると、ドライバカメラ２１で撮像された画像に写る運転者の顔の向きは運転者ごとに異なる向きで検出される。

また、車載機１０が車両２に後付けされる場合、運転者の顔を正面から撮影できる位置にドライバカメラ２１を設置できない場合もある。ドライバカメラ２１が運転者の正面からずれた位置に設置される場合は、運転者の着座位置や運転姿勢が異なると、ドライバカメラ２１の画像に写る運転者の顔の向きが運転者ごとに異なる向きで検出されやすくなる。

したがって、運転者の顔の向き又は視線の方向などを検出して、例えば、運転者の脇見を判定したり、運転者の安全確認動作を判定したりする処理を行う場合に、装置側で予め設定されている正面方向の基準と、運転者が正面方向を見ているときの顔の向き又は視線の方向とにズレが生じることがある。このズレが考慮されずに顔の向き又は視線の方向が検出されると、顔の向き又は視線の方向の検出精度が低くなり、運転者の脇見や安全確認動作の判定精度も低下してしまうことになる。

本実施の形態に係る車載機１０は、運転者の各々を認証するための認証情報と、運転者の各々にとっての顔の向き又は視線の方向の基準情報とを、運転者ごとに対応付けて登録する。また、車載機１０は、車両２を運転している運転者を認証し、認証された運転者の顔の向き又は視線の方向の基準情報を用いて、脇見や安全確認動作の判定処理などの所定の処理を行う。このような車載機１０によれば、運転者の各々の顔の向き又は視線の方向の個人差による影響を小さくすることができ、運転者ごとに精度の高い処理を実行することができる。

図１に示すように、車載機１０は、ドライバカメラ２１、画像取得部２２ａ、認証情報取得部２２ｂ、向き検出部２２ｃ、算出部１９ａａ、登録部１９ａｂ、認証部１９ａｃ、第１の処理部１９ａｄ、及び第２の処理部１９ａｅを含んで構成されている。また、車載機１０は、画像情報記憶部１７ａ、登録情報記憶部１７ｂ、及び処理情報記憶部１７ｃを備えている。

画像取得部２２ａは、ドライバカメラ２１で撮像された画像を取得する。
認証情報取得部２２ｂは、画像取得部２２ａで取得した画像から、運転者を認証するための認証情報を取得する。例えば、運転者の顔の各器官の特徴点を示すデータなどの顔認証に必要な情報、又は虹彩パターンなどの虹彩認証に必要な情報などを取得する。

図１に例示した車載機１０では、認証情報取得部２２ｂが、ドライバカメラ２１で撮像された画像から運転者の認証情報を取得する構成になっているが、この構成に限定されない。認証情報取得部２２ｂの別の形態としては、例えば、車両２のステアリングに設けられた静脈認証センサ、指紋認証センサ、車両２の運転シートに設けられた心拍認証センサ、及び運転者の声を使用する声紋認証センサのうちの少なくとも１つから認証情報を取得する構成などが採用され得る。

向き検出部２２ｃは、画像取得部２２ａで取得した画像から運転者の顔の向き又は視線の方向など、運転者にとっての顔の向き又は視線の方向の基準を算出するために用いるデータを検出する。

画像情報記憶部１７ａには、画像取得部２２ａで取得した画像のデータ、認証情報取得部２２ｂで取得した認証情報、及び向き検出部２２ｃで検出された運転者の顔の向き又は視線の方向などの画像情報が時系列で記憶される。

算出部１９ａａは、画像情報記憶部１７ａに記憶されている画像情報を用いて、運転者の各々の顔の向き又は視線の方向の基準情報を算出する。例えば、各画像から検出された運転者の顔の向き又は視線の方向（ヨー角、又はピッチ角など）のデータを統計処理して算出された最頻値、中央値、又は平均値などを基準情報とすることができる。また、予め設定された顔の向き又は視線の方向の基準（正面向きの基準方向）からのずれ（ずれ角度）を示す情報を算出してもよい。

また、算出部１９ａａでは、登録情報記憶部１７ｂに運転者の顔の向き又は視線の方向の基準情報が登録されていない運転者の基準情報を算出する処理を行ってもよいし、登録情報記憶部１７ｂに運転者の顔の向き又は視線の方向の基準情報が登録されている運転者の基準情報を更新する処理も行ってもよい。

登録部１９ａｂは、算出部１９ａａにより算出された運転者の各々の顔の向き又は視線の方向の基準情報と、運転者の各々の認証情報とを、運転者ごとに対応付けて登録情報記憶部１７ｂに登録する。登録情報記憶部１７ｂには、運転者ＩＤ、運転者の認証情報、及び運転者の顔の向き又は視線の方向の基準情報が紐付けて記憶されている。運転者ＩＤは、運転者の識別符号であり、登録情報記憶部１７ｂに登録されていない認証情報が車載機１０で初めて取得されたときに、その認証情報に対して付与される。

認証部１９ａｃは、登録情報記憶部１７ｂに登録された情報と、認証情報取得部２２ｂにより取得された運転者の認証情報とに基づいて、車両２を運転している運転者の認証を行う。

第１の処理部１９ａｄは、認証部１９ａｃにより運転者が認証された場合、認証された運転者の顔の向き又は視線の方向の基準情報を登録情報記憶部１７ｂから取得し、取得した、運転者の顔の向き又は視線の方向の基準情報を用いて所定の処理を行う。

第２の処理部は、認証部１９ａｃにより運転者が認証されなかった場合、予め設定された顔の向き又は視線の方向の基準情報を用いて所定の処理を行う。
所定の処理は、例えば、運転者の脇見判定処理、又は交差点などにおける運転者の安全確認動作の判定処理などであるが、これらに限定されない。

このような車載機１０によれば、登録部１９ａｂにより、運転者の各々の認証情報と、運転者の各々の顔の向き又は視線の方向の基準情報とが、運転者ごとに対応付けて登録情報記憶部１７ｂに登録される。そして、認証部１９ａｃにより運転者が認証された場合、登録情報記憶部１７ｂに登録された情報から取得した、認証された運転者の顔の向き又は視線の方向の基準情報を用いて所定の処理が行われる。
したがって、運転者の各々の顔の向き又は視線の方向の基準情報を用いて所定の処理が行われるので、運転者の各々の顔の向き又は視線の方向の個人差による影響が小さくなるように所定の処理を実行することができ、運転者ごとに所定の処理を精度よく実行することが可能となる。

［構成例］
図２は、実施の形態に係る車載機１０の要部構成を示すブロック図である。
車載機１０は、プラットフォーム部１１及びドライバモニタリング部２０を含んで構成されている。また、車載機１０にドライブレコーダ部３０が接続されている。

プラットフォーム部１１には、車両２の加速度を検出する加速度センサ１２、車両２の回転角速度を検出する角速度センサ１３、車両２の位置を検出するＧＰＳ（Global Positioning System）受信部１４が装備されている。また、プラットフォーム部１１には、通信ネットワークを介して外部機器と通信処理を行う通信部１５、警告などを行うための所定の音や音声を出力する報知部１６、記憶部１７、及び外部インターフェース（外部Ｉ／Ｆ）１８が装備されている。さらにプラットフォーム部１１には、各部の処理動作を制御する制御部１９が装備されている。

加速度センサ１２は、例えば、ＸＹＺ軸の３方向の加速度を検出する３軸加速度センサで構成されている。３軸加速度センサには、静電容量型の他、ピエゾ抵抗型などの半導体方式の加速度センサを用いることができる。なお、加速度センサ１２には、２軸、１軸の加速度センサを用いてもよいが、少なくとも車両２に生じる前後方向の加速度を検出できるものが用いられる。加速度センサ１２で検出された加速度データが、検出時刻と対応付けて制御部１９のＲＡＭ１９ｂに記憶される。

角速度センサ１３は、少なくとも鉛直軸回り（ヨー方向）の回転に応じた角速度、すなわち、車両２の左右方向への回転（旋回）に応じた角速度データを検出可能なセンサ、例えば、ジャイロセンサ（ヨーレートセンサともいう）で構成されている。
なお、角速度センサ１３には、鉛直軸回りの１軸ジャイロセンサの他、左右方向の水平軸回り（ピッチ方向）の角速度も検出する２軸ジャイロセンサ、さらに前後方向の水平軸回り（ロール方向）の角速度も検出する３軸ジャイロセンサを用いてもよい。これらジャイロセンサには、振動式ジャイロセンサの他、光学式、機械式のジャイロセンサを用いることができる。

また、角速度センサ１３の鉛直軸回りの角速度の検出方向については、例えば、時計回りを正方向に、反時計回りを負方向に設定してもよい。この場合、車両２が右方向に旋回すれば正の角速度データが検出され、左方向に旋回すれば負の角速度データが検出される。角速度センサ１３では、所定の周期（例えば、数十ｍｓ周期）で角速度が検出され、検出された角速度データが、例えば、検出時刻と対応付けて制御部１９のＲＡＭ１９ｂに記憶される。なお、加速度センサ１２と角速度センサ１３には、これらが一つのパッケージ内に実装された慣性センサを用いてもよい。

ＧＰＳ受信部１４は、アンテナ１４ａを介して人工衛星からのＧＰＳ信号を所定周期で受信して、現在地の位置情報（緯度、および経度）を検出する。ＧＰＳ受信部１４で検出された位置情報は、検出時刻と対応付けて制御部１９のＲＡＭ１９ｂに記憶される。なお、車両２の位置を検出する装置は、ＧＰＳ受信部１４に限定されるものではない。例えば、日本の準天頂衛星、ロシアのグロナス（GLONASS）、欧州のガリレオ（Galileo）、中国のコンパス（Compass）等の他の衛星測位システムに対応した測位装置を用いてもよい。
また、ＧＰＳ受信部１４で検出された位置情報を用いて、例えば、単位時間あたりの位置の変化を算出して車速を検出することが可能となっている。

通信部１５は、通信ネットワークを介して外部装置にデータの出力処理などを行う通信モジュールを含んで構成されている。

記憶部１７は、例えば、メモリーカードなどの着脱可能な記憶装置、又はハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）などの１つ以上の記憶装置で構成されている。記憶部１７は、図１に例示した画像情報記憶部１７ａ、登録情報記憶部１７ｂ、処理情報記憶部１７ｃを含んで構成されている。また、記憶部１７には、例えば、車載機１０の各部、又はドライブレコーダ部３０から取得したデータなどが記憶されてもよい。

外部Ｉ／Ｆ１８は、ドライブレコーダ部３０などの車載機器との間でデータや信号の授受を行うためのインターフェース回路や接続コネクタなどを含んで構成されている。

制御部１９は、ＣＰＵ(Central Processing Unit)１９ａ、ＲＡＭ(Random Access Memory)１９ｂ、及びＲＯＭ(Read Only Memory)１９ｃを含むマイクロコンピュータで構成されている。制御部１９は、取得した各種データをＲＡＭ１９ｂ又は記憶部１７に記憶する処理を行う。また、制御部１９は、ＲＯＭ１９ｃに記憶されたプログラム、ＲＡＭ１９ｂ又は記憶部１７に記憶された各種データを読み出して、前記プログラムを実行する。

制御部１９のＣＰＵ１９ａが、図１に例示した算出部１９ａａ、登録部１９ａｂ、認証部１９ａｃ、第１の処理部１９ａｄ、及び第２の処理部１９ａｅの処理を実行する。また、ＲＯＭ１９ｃに、本発明に係る「プログラム」の一例が格納されている。

ドライバモニタリング部２０は、ドライバカメラ２１、画像解析部２２、及びインターフェース（Ｉ／Ｆ）２３を含んで構成されている。
ドライバカメラ２１は、例えば、図示しないレンズ部、撮像素子部、光照射部、これら各部を制御するカメラ制御部などを含んで構成されている。

撮像素子部は、例えば、ＣＣＤ(Charge Coupled Device)、又はＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、及びマイクロレンズなどを含んで構成されている。撮像素子部は、可視領域の光を受けて撮像画像を形成できるものを含む他、近赤外線などの赤外線又は紫外線を受けて撮像画像を形成できるＣＣＤ、ＣＭＯＳ、或いはフォトダイオード等の赤外線センサを含んでもよい。光照射部は、ＬＥＤ(Light Emitting Diode)などの発光素子を含み、また、昼夜を問わず運転者の状態を撮像できるように赤外線ＬＥＤなどを用いてもよい。ドライバカメラ２１は、単眼カメラでもよいし、ステレオカメラであってもよい。

カメラ制御部は、例えば、プロセッサなどを含んで構成されている。カメラ制御部が、撮像素子部や光照射部を制御して、光照射部から光（例えば、近赤外線など）を照射し、撮像素子部でその反射光を撮像する制御などを行う。ドライバカメラ２１は車両２の運転中に所定のフレームレート（例えば、毎秒３０〜６０フレーム）で画像を撮像し、ドライバカメラ２１で撮像された画像のデータが画像解析部２２へ出力される。

画像解析部２２は、例えば、画像処理プロセッサなどを含んで構成され、ドライバカメラ２１で撮像された画像から運転者の顔の向き、視線の方向、及び目開度のうちの少なくともいずれかの情報（運転者の状態）を検出する処理などを行う。画像解析部２２が、図１に例示した画像取得部２２ａ、認証情報取得部２２ｂ、向き検出部２２ｃとしての処理を実行する。

画像解析部２２で検出された運転者の状態を示すデータ、画像のデータ、及び撮像日時データが、インターフェース（Ｉ／Ｆ）２３を介してプラットフォーム部１１に送出され、プラットフォーム部１１の記憶部１７の画像情報記憶部１７ａに記憶される。

画像解析部２２で検出される運転者の顔の向きは、例えば、運転者の顔のＸ軸（左右軸）回りの角度(上下の向き)であるピッチ（Pitch）角、顔のＹ軸(上下軸)回りの角度（左右の向き）であるヨー(Yaw)角、及び顔のＺ軸（前後軸）回りの角度（左右傾き）であるロール(Roll)角で示してよく、少なくとも左右の向きを示すヨー角が含まれる。またこれらの角度は、所定の基準方向に対する角度で示すことができ、例えば、基準方向が、運転者の正面方向に設定されてもよいし、ドライバカメラ２１の光軸方向に設定されてもよい。

また、画像解析部２２で検出される運転者の視線の方向は、例えば、画像から検出された、運転者の顔の向きと、目領域の情報（目頭、眼尻、又は瞳孔の位置など）との関係から推定され、３次元座標上における視線ベクトルＶ（３次元ベクトル）などで示すことができる。視線ベクトルＶは、例えば、運転者の顔のＸ軸（左右軸）回りの角度(上下の向き)であるピッチ角、顔のＹ軸(上下軸)回りの角度（左右の向き）であるヨー角、及び顔のＺ軸（前後軸）回りの角度（左右傾き）であるロール角のうち、少なくとも１つと、前記目領域の情報とから推定されたものでもよい。また、視線ベクトルＶは、その３次元ベクトルの一部の値を顔の向きのベクトルの値と共通（例えば、３次元座標の原点を共通）にして示したり、顔の向きのベクトルを基準とした相対角度（顔の向きのベクトルの相対値）で示したりしてもよい。

また、画像解析部２２で検出される運転者の目開度は、例えば、画像から検出された、運転者の目領域の情報（目頭、眼尻、上下のまぶたの位置、又は瞳孔の位置など）を基に推定される。

プラットフォーム部１１の外部Ｉ／Ｆ１８には、ドライブレコーダ部３０が接続されている。ドライブレコーダ部３０は、車外カメラ３１と車内カメラ３２とを含んで構成されている。

車外カメラ３１は、車両２の前方の画像を撮像するカメラであり、車内カメラ３２は、車両２の室内の画像を撮像するカメラである。車外カメラ３１と車内カメラ３２は、例えば、可視光カメラで構成され得るが、近赤外線カメラなどで構成してもよい。

車外カメラ３１と車内カメラ３２は、それぞれ所定のフレームレート（例えば、毎秒３０〜６０フレーム）で画像を撮像し、車外カメラ３１と車内カメラ３２で撮像された画像と撮像日時などのデータがプラットフォーム部１１へ送出され、プラットフォーム部１１のＲＡＭ１９ｂ又は記憶部１７に記憶される。なお、ドライブレコーダ部３０は車外カメラ３１のみ備えた構成としてもよい。

車載機１０は、プラットフォーム部１１とドライバモニタリング部２０とが１つの筐体内に収納された、コンパクトな構成にすることが可能である。その場合における車載機１０の車内設置箇所は、ドライバカメラ２１で少なくとも運転者の顔を含む視野を撮像できる位置であれば、特に限定されない。例えば車両２のダッシュボード中央付近の他、ハンドルコラム部分、メーターパネル付近、ルームミラー近傍位置、又はＡピラー部分などに設置してもよい。

また、ドライバカメラ２１の仕様（例えば、画角や画素数（縦×横）など）及び位置姿勢（例えば、取付角度や所定の原点（ハンドル中央位置など）からの距離など）を含む情報がドライバモニタリング部２０又はプラットフォーム部１１に記憶されてもよい。また、ドライバモニタリング部２０は、プラットフォーム部１１と一体に構成される形態の他、プラットフォーム部１１と別体で構成されてもよい。また、車載機１０の電源は、例えば、車両２のアクセサリー電源から供給される。

図３は、実施の形態に係る車載機１０が適用される運転評価システムの一例を示す概略構成図である。
運転評価システム１は、車両２に乗車している運転者３の安全確認動作を評価するためのシステムであって、少なくとも１台以上の車両２に搭載される車載機１０と、各車載機１０から取得したデータを用いて、各運転者３の運転評価を行う、少なくとも１つ以上のサーバ装置４０とを含んで構成されている。

車載機１０とサーバ装置４０とは、通信ネットワーク４を介して通信可能に構成されている。通信ネットワーク４は、基地局を含む携帯電話網（３Ｇ／４Ｇ）や無線ＬＡＮ（Local Area Network）などの無線通信網を含んでもよいし、公衆電話網などの有線通信網、インターネット、又は専用網などの電気通信回線を含んでもよい。

車載機１０は、車両２の運転者３の運転評価に用いるデータを取得し、所定のタイミングでサーバ装置４０に送信する。車載機１０からサーバ装置４０に送信されるデータには、車載機１０で検出された運転者３の状態、車両２の位置、及び車両２の挙動のうちの少なくともいずれかのデータが含まれている。車両２の挙動を示すデータには、車載機１０で検出された、車両２に生じる加速度、又は角速度のデータが含まれる。

また、車両２を管理する事業者の端末装置８０（以下、事業者端末という。）が、通信ネットワーク４を介してサーバ装置４０と通信可能に構成されている。事業者端末８０は、通信機能を備えたパーソナルコンピュータであってもよいし、携帯電話、スマートフォン、又はタブレット装置などの携帯情報端末などであってもよい。また、事業者端末８０が、通信ネットワーク４を介して車載機１０と通信可能に構成されてもよい。

サーバ装置４０は、通信ユニット４１、サーバコンピュータ５０、及び記憶ユニット６０を含んで構成され、これらが通信バス４２を介して接続されている。
通信ユニット４１は、通信ネットワーク４を介して、車載機１０や事業者端末８０などとの間で各種のデータや信号の送受信を実現するための通信装置で構成されている。

サーバコンピュータ５０は、１つ以上のＣＰＵを含んで構成される中央処理装置５１と、制御プログラム５３が記憶されたメインメモリ５２とを含んで構成されている。中央処理装置５１は、メインメモリ５２中の制御プログラム５３に従って、運転評価などの処理を実行するようになっている。

記憶ユニット６０は、例えば、ハードディスクドライブ、ソリッドステートドライブなど、１つ以上の大容量記憶装置で構成され、データ蓄積部６１、評価データ記憶部６２、及び運転者３の情報が記憶される運転者情報記憶部６３を含んで構成されている。
また、車載機１０の登録情報記憶部１７ｂに登録された情報が、サーバ装置４０に所定のタイミングで送信される。運転者情報記憶部６３には、各車載機１０から取得した、登録情報記憶部１７ｂの登録情報が記憶される。

運転評価システム１では、サーバ装置４０が、各車載機１０から所定の事象が検出されたときに送信されてきた、運転者３の状態、車両２の位置、及び車両２の挙動のうちの少なくともいずれかを含むデータを記憶ユニット６０のデータ蓄積部６１に蓄積する。所定の事象が検出されたときには、例えば、車載機１０で車両２の交差点通過が検出されたとき、又は車載機１０で運転者３の脇見が検出されたときなどが含まれる。

サーバ装置４０は、データ蓄積部６１に蓄積された各車載機１０のデータを用いて、各運転者３の運転評価を行う。該運転評価の項目には、交差点における安全確認動作に関する評価が含まれているが、さらに運転操作行為に関する評価、運転時の集中状態に関する評価などの項目が含まれてもよい。

サーバ装置４０は、各車載機１０から取得したデータを用いて、各車両２の一日の運転が終了した後に、各項目の運転評価処理を実行してもよいし、又は一定期間毎に、該一定期間内における各項目の評価処理を実行してもよく、運転評価処理の実行タイミングは特に限定されない。そして、サーバ装置４０は、前記運転評価処理で得られた各運転者３の運転評価データを記憶ユニット６０の評価データ記憶部６２に記憶する処理を行う。

また、サーバ装置４０は、クラウドサービスを提供できるように構成されている。例えば、サーバ装置４０は、Ｗｅｂサーバ、アプリケーションサーバ、及びデータベースサーバを含むサーバシステムで構成されてもよい。Ｗｅｂサーバは、事業者端末８０のブラウザからのアクセス要求などの処理を行う。アプリケーションサーバは、例えば、Ｗｅｂサーバからの要求に応じ、データベースサーバにアクセスして、処理に必要なデータの検索やデータの抽出などの処理を行う。データベースサーバは、例えば、車載機１０から取得した各種データなどを管理し、アプリケーションサーバからの要求に応じて、データの検索、抽出、保存などの処理を行う。

例えば、サーバ装置４０は、事業者端末８０のブラウザなどから要求された各種リクエスト、例えば、Ｗｅｂサイトへのログイン、運転評価報告書の送信リクエストなどを処理し、ブラウザなどを通じて処理結果、例えば、作成した運転評価報告書のデータを事業者端末８０に送信し、事業者端末８０の表示画面に運転評価報告書を表示させる処理を実行する。

事業者は、事業者端末８０の表示画面に表示された各運転者３の運転評価報告書を確認し、各運転者３に対して安全意識の改善を図る指導などを行う。このような指導を行うことにより、運転者３の安全意識を高めて、事故リスクの低減を図ることが可能となる。

［動作例］
図４は、実施の形態に係る車載機１０におけるドライバモニタリング部２０が行う処理動作を示すフローチャートである。本処理動作は、例えば、ドライバカメラ２１で画像が撮像されるタイミング（例えば、毎フレーム、又は所定間隔のフレーム毎）で実行される。

まず、画像解析部２２は、ドライバカメラ２１で撮像された画像を取得する（ステップＳ１）。

次に画像解析部２２は、取得した画像から運転者の顔（例えば、顔の領域）を検出する処理を行う（ステップＳ２）。画像から顔を検出する手法は特に限定されないが、高速で高精度に顔を検出する手法を採用することが好ましい。例えば、顔の局所的な領域の明暗差（輝度差）、又はエッジ強度、これら局所的領域間の関連性などを特徴量として検出し、画像から顔の領域を探索する処理を実行してもよい。

画像解析部２２は、ステップＳ２で検出した顔の領域から、目、鼻、口、眉などの顔器官の位置や形状を検出する処理を行う（ステップＳ３）。画像中の顔の領域から顔器官を検出する手法は特に限定されないが、高速で高精度に顔器官を検出できる手法を採用することが好ましい。例えば、画像解析部２２が、３次元顔形状モデルを作成し、これを２次元画像上の顔の領域にフィッティングさせ、顔の各器官の位置と形状を検出する手法が採用され得る。この手法によれば、ドライバカメラ２１の設置位置や画像中の顔の向きなどに関わらず、正確に顔の各器官の位置と形状を検出することが可能となる。画像中の人の顔に３次元顔形状モデルをフィッティングさせる技術として、例えば、特開２００７−２４９２８０号公報に記載された技術を適用することができるが、これに限定されるものではない。

次に画像解析部２２は、ステップＳ３で求めた顔の各器官の位置や形状のデータに基づいて、運転者の顔の向きを検出する（ステップＳ４）。例えば、上記３次元顔形状モデルのパラメータに含まれている、上下回転（Ｘ軸回り）のピッチ角、左右回転（Ｙ軸回り）のヨー角、及び全体回転（Ｚ軸回り）のロール角のうちの少なくともヨー角を運転者の顔の向きに関する情報として検出することが好ましい。

次に画像解析部２２は、ステップＳ４で求めた運転者の顔の向き、及びステップＳ３で求めた運転者の顔器官の位置や形状、特に目の特徴点（目尻、目頭、及び瞳孔）の位置や形状に基づいて、視線の方向を検出する（ステップＳ５）。

視線の方向は、例えば、様々な顔の向きと視線方向の目の画像の特徴量（例えば、目尻、目頭、及び瞳孔の相対位置、強膜（いわゆる白目）部分と虹彩（いわゆる黒目）部分の相対位置、濃淡、又はテクスチャーなど）とを予め学習器を用いて学習し、これら学習した特徴量データとの類似度を評価することで検出してもよい。または、上記した３次元顔形状モデルのフィッティング結果などを用いて、顔の大きさや向きと目の位置などから眼球の大きさと中心位置とを推定するとともに、瞳孔の位置を検出し、眼球の中心と瞳孔の中心とを結ぶベクトルを視線の方向として検出してもよい。

次に画像解析部２２は、ステップＳ３で求めた運転者の顔器官の位置や形状、特に目の特徴点（目尻、目頭、瞳孔、まぶた）の位置や形状に基づいて、目開度を検出する（ステップＳ６）。

次に画像解析部２２は、運転者の認証情報として、顔認証情報を取得する（ステップＳ７）。顔認証情報には、例えば、ステップＳ３で検出した、目、鼻、口、眉などの顔器官の位置や形状に関する情報が含まれる。なお、ステップＳ７において、顔認証情報に代えて、虹彩パターンなどの虹彩認証に必要な情報を取得してもよい。

次に画像解析部２２は、ステップＳ４で検出した運転者の顔の向きと、ステップＳ５で検出した運転者の視線の方向と、ステップＳ６で検出した運転者の目開度と、ステップＳ７で取得した顔認証情報と、運転者の画像と、撮像時刻とを対応付けて、画像情報としてプラットフォーム部１１に送信する（ステップＳ７）。その後、画像解析部２２は、ステップＳ１に戻り、処理を繰り返す。

図５は、実施の形態に係る車載機１０における制御部１９が行う処理動作を示すフローチャートである。本処理動作は、例えば、ドライバモニタリング部２０から画像情報を取得するタイミングで実行される。

まず、制御部１９は、ドライバモニタリング部２０から画像情報を取得する（ステップＳ１１）。画像情報は、図４に示すステップＳ７で、ドライバモニタリング部２０から送信された情報である。

次に制御部１９は、ドライバモニタリング部２０から取得した画像情報を画像情報記憶部１７ａに記憶する（ステップＳ１２）。

次に制御部１９は、画像情報記憶部１７ａに記憶された画像情報から顔認証情報を取得する（ステップＳ１３）。

次に制御部１９は、ステップＳ１３で取得した顔認証情報と、登録情報記憶部１７ｂに登録されている各運転者の顔認証情報とを照合する処理を行う（ステップＳ１４）。

次に制御部１９は、ステップＳ１３で取得した顔認証情報が、登録情報記憶部１７ｂに登録されているか否かを判断する（ステップＳ１５）。

制御部１９は、ステップＳ１５において、ステップＳ１３で取得した顔認証情報が、登録情報記憶部１７ｂに登録されていると判断すれば、次に登録情報記憶部１７ｂから、当該顔認証情報に対応付けて記憶されている、運転者の顔の向き又は視線の方向の基準情報を読み出す処理を行う（ステップＳ１６）。

制御部１９は、脇見判定に使用する顔の向き又は視線の方向の基準を、ステップＳ１６で読み出した、当該運転者の顔の向き又は視線の方向の基準情報に設定して、ステップＳ１２において画像情報記憶部１７ａに記憶された画像情報を用いて脇見判定処理を実行する（ステップＳ１７）。
例えば、画像情報に含まれている運転者の顔の向き又は視線の方向（ヨー角、又はピッチ角）と、運転者の顔の向き又は視線の方向の基準情報（ヨー角、又はピッチ角）との角度差を算出し、算出した角度差が、所定の脇見判定角度（ヨー角、又はピッチ角）の閾値を超えたか否かにより脇見の有無を判定する。

次に制御部１９は、脇見が検出された否かを判定する（ステップＳ１８）。
制御部１９は、ステップＳ１８において、脇見が検出されていないと判定すれば、その後処理を終える一方、ステップＳ１８において、脇見が検出されたと判定すれば、次に、報知部１６から脇見が検出されたことを報知する処理を行う（ステップＳ１９）。

制御部１９は、ステップＳ１９の報知処理を行った後、脇見の検出データを処理情報記憶部１７ｃに記憶する（ステップＳ２０）。脇見の検出データには、例えば、脇見が検出された画像、その撮像日時、その時の車両の位置、運転者ＩＤなどの情報が含まれている。

次に制御部１９は、処理情報記憶部１７ｃに記憶された脇見の検出データをサーバ装置４０へ送信する（ステップＳ２１）。

図６は、車載機１０からサーバ装置４０に送信されるデータの構造の一例を示す図である。
車載機１０からサーバ装置４０に送信されるデータには、車載機１０の識別情報（シリアルナンバー等）、脇見の識別記号、脇見の検出日時、運転者の顔の向き（ピッチ、ヨー、及びロール）、視線の方向（ピッチ、及びヨー）、目開度（右目、及び左目）、車両の加速度（少なくとも前後）、角速度（ヨー）、運転者ＩＤ、運転者画像、車外画像、及び車両の位置情報（緯度、及び経度）、及び走行速度などが含まれている。なお、サーバ装置４０に送信されるデータの構造は、図６に示した構造に限定されるものではないが、少なくとも車載機１０の識別情報（シリアルナンバー等）、脇見の識別記号、脇見の検出日時、運転者ＩＤ、及び運転者画像が含まれていることが好ましい。

また、車両２が交差点を通過したときも、同様のデータがサーバ装置４０に送信される。その場合は、図６に示す脇見の識別記号、及び脇見の検出日時が、交差点通過の識別記号、及び交差点通過の日時になる。

また一方、ステップＳ１５において、制御部１９は、ステップＳ１３で取得した顔認証情報が、登録情報記憶部１７ｂに登録されていないと判断すれば、次にステップＳ１３で取得した顔認証情報に、運転者を識別するためのＩＤ（識別符号）を付与して、登録情報記憶部１７ｂに登録する処理を行う（ステップＳ２２）。

次に制御部１９は、脇見判定に使用する顔の向き又は視線の方向の基準を、車載機１０の取付け時に予め設定された顔の向き又は視線の方向の初期値に設定して、ステップＳ１２において画像情報記憶部１７ａに記憶された画像情報を用いて脇見判定処理を実行する（ステップＳ２３）。
脇見判定処理は、例えば、画像情報に含まれている運転者の顔の向き又は視線の方向（ヨー角、又はピッチ角）と、顔の向き又は視線の方向の初期値（ヨー角、又はピッチ角）との角度差を算出し、算出した角度差が、所定の脇見判定角度（ヨー角、又はピッチ角）の閾値を超えたか否かにより脇見の有無を判定する。

その後、制御部１９は、上記したステップＳ１８〜Ｓ２１の処理を実行して、処理を終える。

図７は、実施の形態に係る車載機１０における制御部１９が行う処理動作を示すフローチャートである。本処理動作は、例えば、運転者ごとの顔の向き又は視線の方向の基準を算出する所定のタイミングで実行される。

まず制御部１９は、画像情報記憶部１７ａに記憶された画像情報を用いて、運転者ごとの顔の向き又は視線の方向の基準を算出する所定の算出タイミングになったか否かを判断する（ステップＳ３１）。

所定の算出タイミングになったか否かは、車載機１０の電源がオンされてから所定期間が経過したか否か、車両２からイグニッションスイッチ（始動スイッチ）のオフ信号を取得したか否か、又は画像情報記憶部１７ａに所定フレーム数もしくは所定容量の画像が記憶されたか否かにより判断してもよい。

または、所定の算出タイミングになったか否かは、車両２の特定の走行状態が所定期間継続したか否かにより判断してもよい。車両２の特定の走行状態は、例えば、車速が一定範囲の状態（定速走行の状態）、又は車両２で検出される角速度が直進状態を示す範囲内にある状態（直進走行の状態）などでもよい。

制御部１９は、ステップＳ３１において所定の算出タイミングになったと判断すれば、次に、登録情報記憶部１７ｂから、運転者の顔の向き又は視線の方向の基準情報が未登録の運転者ＩＤを読み出す処理を行う（ステップＳ３２）。
登録情報記憶部１７ｂには、運転者ＩＤと、運転者の認証情報と、運転者の顔の向き又は視線の方向の基準情報とが対応付けて登録されるが、運転者の顔の向き又は視線の方向の基準情報が算出されていない（未登録の）段階では、運転者ＩＤと、運転者の認証情報とが対応付けて登録されている。ステップＳ３２では、運転者の顔の向き又は視線の方向の基準情報が未登録の運転者ＩＤを読み出す処理を行う。

次に制御部１９は、運転者の顔の向き又は視線の方向の基準情報が未登録の運転者ＩＤがあったか否かを判断し（ステップＳ３３）、運転者の顔の向き又は視線の方向の基準情報が未登録の運転者ＩＤがあったと判断すれば、ステップＳ３４の処理に進む。

制御部１９は、ステップＳ３４において、画像情報記憶部１７ａに記憶されている画像情報から顔認証情報を取得する処理を行う。

次に制御部１９は、登録情報記憶部１７ｂから読み出した当該運転者ＩＤと対応付けられた顔認証情報と、画像情報記憶部１７ａから取得した顔認証情報とを照合する処理を行う（ステップＳ３５）。

次に制御部１９は、照合ＯＫか否か、すなわち、顔認証情報が一致しているか否かを判断し（ステップＳ３６）、照合ＯＫと判断すれば、ステップＳ３７の処理に進む。

制御部１９は、ステップＳ３７において、画像情報記憶部１７ａから、ステップＳ３６で一致したと判断された顔認証情報と対応付けられている画像情報を読み込み、これら画像情報から当該運転者の顔の向き又は視線の方向の基準情報を算出する処理を行う。

画像情報には、複数の画像から検出された運転者の顔の向き又は視線の方向などの情報（ヨー角、ピッチ角など）が含まれている。制御部１９は、例えば、複数の画像から検出された運転者の顔の向き又は視線の方向（ヨー角、ピッチ角など）の最頻値、平均値、又は中央値を算出して、これら値のいずれかを運転者の顔の向き又は視線の方向の基準値としてもよい。

運転者の顔の向き又は視線の方向の基準情報は、運転者の顔の向き又は視線の方向を示す角度情報、例えば、ヨー角、ピッチ角、及びロール角のうちの少なくとも１つの角度情報の最頻値でもよいし、中央値でもよいし、平均値でもよいが、最頻値が好ましい。また、運転者の顔の向き又は視線の方向の基準情報に、運転者の顔の各器官の位置に関する最頻値、中央値、又は平均値を含んでもよい。

次に制御部１９は、ステップＳ３７で算出された、運転者の顔の向き又は視線の方向の基準情報を登録情報記憶部１７ｂに登録する処理を行う（ステップＳ３８）。登録情報記憶部１７ｂには、運転者ＩＤと、運転者の認証情報と、ステップＳ３７で算出された運転者の顔の向き又は視線の方向の基準情報とが対応付けて登録される。

次に制御部１９は、登録情報記憶部１７ｂに登録された情報、すなわち、運転者ＩＤと、運転者の認証情報と、ステップＳ３７で算出された運転者の顔の向き又は視線の方向の基準情報とを含む登録情報をサーバ装置４０へ送信する（ステップＳ３９）。なお、登録情報を別のタイミングでサーバ装置４０へ送信してもよい。サーバ装置４０では、登録情報を受信して、運転者情報記憶部６３に記憶する。運転者情報記憶部６３には、各車載機１０から受信した登録情報が記憶される。

その後、制御部１９は、ステップＳ３３の処理に戻り、運転者の顔の向き又は視線の方向の基準情報が未登録の運転者ＩＤがあるか否かを判断し、運転者の顔の向き又は視線の方向の基準情報が未登録の運転者ＩＤがあると判断すれば、ステップＳ３４〜３９の処理を繰り返す。すなわち、運転者の顔の向き又は視線の方向の基準情報が未登録の運転者ＩＤごと（換言すれば、運転者ごと）に顔の向き又は視線の方向の基準情報を登録する処理、及び登録情報をサーバ装置４０へ送信する処理を繰り返す。

ステップＳ３３において、制御部１９は、運転者の顔の向き又は視線の方向の基準情報が未登録の運転者ＩＤがないと判断すれば、その後処理を終える。

図８は、実施の形態に係るサーバ装置４０の中央処理装置５１が行う処理動作の一例を示すフローチャートである。
中央処理装置５１は、車載機１０から送信されてきたデータを受信したか否かを判断する（ステップＳ４１）。

中央処理装置５１は、車載機１０からデータを受信したと判断すれば、次に、車載機１０から受信したデータを、車載機１０の識別情報と対応付けてデータ蓄積部６１に記憶する（ステップＳ４２）。

その後、中央処理装置５１は、運転者の安全運転行動の評価を実行するタイミングか否かを判断する（ステップＳ４３）。運転者の安全運転行動の評価を実行するタイミングか否かは、例えば、車載機１０から車両２の運転終了を示す信号を受信したか否かで判断してもよい。

中央処理装置５１は、運転者の安全運転行動の評価を実行するタイミングではないと判断すればステップＳ４１に戻る。一方、中央処理装置５１は、運転者の安全運転行動の評価を実行するタイミングになったと判断すれば、車載機１０が搭載された車両２の運転者３の交差点における安全確認動作の評価処理を開始する（ステップＳ４４）。

次に中央処理装置５１は、データ蓄積部６１から車載機１０の交差点通過時のデータを取得する（ステップＳ４５）。なお、交差点通過時のデータは、図６に示したデータの構造と同様に構成され、交差点を通過する期間（交差点通過する前後数十秒程度）のデータを取得する。

次に中央処理装置５１は、運転者情報記憶部６３に登録されている各運転者の顔の向き又は視線の方向の基準情報の中に、ステップＳ４５で取得した交差点通過時のデータに含まれている運転者ＩＤと同一ＩＤが紐付けられている基準情報があるか否かを判断する（ステップＳ４６）。

中央処理装置５１は、ステップＳ４６において、交差点通過時のデータに含まれている運転者ＩＤと同一ＩＤが紐付けられている基準情報があると判断すれば、ステップＳ４７の処理を実行する。中央処理装置５１は、ステップＳ４７において、交差点における運転者の顔振り角度（安全確認動作）を検出するための正面向きの基準を、運転者ＩＤと対応付けられている運転者の顔の向き又は視線の方向の基準に設定する処理を行う。

次に中央処理装置５１は、車両２が交差点に進入した時刻を推定する（ステップＳ４８）。例えば、中央処理装置５１は、交差点通過時のデータに含まれる角速度データの積分値を演算し、演算された積分値が所定の積分比率に到達した時刻を交差点への進入時刻として推定する。

次に中央処理装置５１は、車両２が交差点で曲がる方向を推定する（ステップＳ４９）。例えば、中央処理装置５１は、角速度データの正負により、車両２が交差点で曲がる方向を推定する。例えば、正の値の場合は右折、負の値の場合は左折と推定する。

次に中央処理装置５１は、運転者ＩＤと対応付けられている運転者の顔の向き又は視線の方向の基準を用いて、交差点進入前の安全確認動作（右又は左方向の確認タイミング、顔の振り角度、及び振り時間など）を、所定の評価条件と比較して評価を行う（ステップＳ５０）。

次に中央処理装置５１は、運転者ＩＤと対応付けられている運転者の顔の向き又は視線の方向の基準を用いて、交差点進入後の安全確認動作（右又は左方向の確認タイミング、顔の振り角度、及び振り時間など）を、所定の評価条件と比較して評価を行う（ステップＳ５１）。

次に中央処理装置５１は、交差点への進入時刻の前後所定時間における車両２の走行速度が適切であるかを評価する。例えば、車両２の走行速度が、交差点内で安全走行が可能な所定の速度以下であるかどうかを評価する（ステップＳ５２）。

次に中央処理装置５１は、ステップＳ５０、Ｓ５１、Ｓ５２で評価された点数又はランク付けされたスコアを集計し、交差点における運転評価点を算出する（ステップＳ５３）。

次に中央処理装置５１は、ステップＳ５３で算出された運転評価点を、車載機１０の識別情報又は運転者３の情報（運転者ＩＤ）と対応付けて記憶ユニット６０の評価データ記憶部６２に記憶する（ステップＳ５４）。

次に中央処理装置５１は、全ての通過交差点における評価を完了したか否かを判断し（ステップＳ５５）、評価を完了したと判断すればその後処理を終える一方、評価を完了していないと判断すればステップＳ４８に戻り、処理を繰り返す。

一方、ステップＳ４６において、中央処理装置５１が、交差点通過時のデータに含まれている運転者ＩＤと同一ＩＤが紐付けられている基準情報がないと判断すれば、ステップＳ５６の処理を実行する。中央処理装置５１は、ステップＳ５６において、交差点における運転者の顔振り角度（安全確認動作）を検出するための正面向きの基準を、予め設定された顔の向き又は視線の方向の初期値に設定する処理を行い、その後ステップＳ４８〜Ｓ５５の処理を実行する。この場合、ステップＳ５０、Ｓ５１では、予め設定された顔の向き又は視線の方向の初期値を用いて、交差点進入前と交差点進入後の安全確認動作が評価される。

［作用・効果］
上記実施の形態に係る車載機１０によれば、運転者３の各々の認証情報と、運転者３の各々の顔の向き又は視線の方向の基準情報とが、運転者ごとに対応付けて登録情報記憶部１７ｂに登録され、登録情報記憶部１７ｂに登録された運転者３の各々の顔の向き又は視線の方向の基準情報を用いて、運転者の脇見判定処理が行われる。
したがって、運転者３の各々の顔の向き又は視線の方向、換言すれば、顔の向き又は視線の方向の個人差が考慮された脇見判定処理を実行することができ、運転者３ごとに脇見判定処理を精度よく実行することができる。

また、車載機１０によれば、認証部１９ａｃにより運転者３が認証されなかった場合、予め設定された顔の向き又は視線の方向の基準情報を用いて脇見判定処理が行われるので、認証部１９ａｃにより運転者３が認証されなかった場合でも脇見判定処理を適切に実行することができる。

また、車載機１０によれば、算出部１９ａａにより、ドライバカメラ２１で撮像された運転者３の画像から運転者の顔の向き又は視線の方向の基準情報を効率よく算出することができる。

また、車載機１０によれば、運転者３の顔の向き又は視線の方向の基準情報が、ドライバカメラ２１で撮像された運転者３の複数の画像を用いて統計処理された統計値（最頻値、中央値、又は平均値など）を含んでいるので、運転者３の各々の顔の向き又は視線の方向の基準情報の精度を高めることができる。

また、車載機１０によれば、ドライバカメラ２１を認証情報の取得にも用いることができるので、運転者の認証情報を取得するための装備を追加する必要がなく、装置コストを抑制することができる。

また、運転評価システム１によれば、運転評価を行うサーバ装置４０が、車載機１０の登録情報記憶部１７ｂに登録された情報を取得して、運転者情報記憶部６３に記憶する。サーバ装置４０において、運転者情報記憶部６３に記憶された登録情報、すなわち、運転者３の各々の顔の向き又は視線の方向の基準情報を用いて、交差点における運転者の安全確認動作の判定処理や評価処理が行われる。したがって、運転者３の各々の顔の向き又は視線の方向、換言すれば、顔の向き又は視線の方向の個人差が考慮された安全確認動作の判定処理や評価処理を実行することができ、運転者３ごとに安全確認動作の判定処理や評価処理を精度よく実行することができる。

［変形例］
以上、本発明の実施の形態を詳細に説明したが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。

図９は、別の実施の形態に係る運転評価システム１Ａの特徴部分を示す機能構成ブロック図の一例である。
図１に例示した実施の形態では、車載機１０に、算出部１９ａａ、登録部１９ａｂ、及び登録情報記憶部１７ｂが装備され、車載機１０が、運転者の各々の顔の向き又は視線の方向の基準情報を算出し、算出された基準情報を登録情報記憶部１７ｂに登録するように構成されている。

別の実施の形態では、図９に示すように、サーバ装置４０Ａのサーバコンピュータ５０Ａに算出部５１ａ、登録部５１ｂが装備されるとともに、記憶ユニット６０Ａに登録情報記憶部６４が装備される構成としてもよい。

係る形態によれば、サーバ装置４０Ａが、各車載機１０Ａから画像情報を取得して、運転者の各々の顔の向き又は視線の方向の基準情報を算出し、算出された基準情報を登録情報記憶部６４に登録する処理を実行する。

また、サーバ装置４０Ａは、登録情報記憶部６４に登録された情報を、各車載機１０Ａに送信する処理を実行する。車載機１０Ａは、サーバ装置４０Ａから取得した登録情報を用いて、認証部１９ａｃで運転者の認証処理を実行する。

上記運転評価システム１Ａによれば、車載機１０Ａが、認証情報取得部２２ｂと、認証部１９ａｃと、第１の処理部１９ａｄとを備え、サーバ装置４０Ａが、算出部５１ａと、登録部５１ｂとを備えている。

したがって、上記した運転評価システム１と同様の効果を得ることができるとともに、サーバ装置４０Ａに算出部５１ａと、登録部５１ｂとを装備することで、車載機１０Ａにおける処理負担を減らすことができ、また装置コストも抑えることができる。また、サーバ装置４０Ａで、運転者の各々の認証情報と、顔の向き又は視線の方向の基準情報とを一元管理することができ、多数の車載機１０Ａを使用し、多数の運転者３を管理する場合でも効率よく適切な運用を行うことができる。

［付記］
本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。
（付記１）
車両（２）を運転する運転者の認証情報を取得する取得部（２２ｂ）と、
前記運転者の顔の向き又は視線の方向の基準情報を算出する算出部（１９ａａ）と、
前記取得部（２２ｂ）により取得された前記運転者の各々の認証情報と、前記算出部（１９ａａ）により算出された前記運転者の各々の顔の向き又は視線の方向の基準情報とを、前記運転者ごとに対応付けて登録する登録部（１９ａｂ）と、
該登録部（１９ａｂ）により登録された情報と、前記取得部（２２ｂ）により取得された前記運転者の認証情報とに基づいて、前記運転者の認証を行う認証部（１９ａｃ）と、
該認証部（１９ａｃ）により前記運転者が認証された場合、該認証された運転者の顔の向き又は視線の方向の基準情報を前記登録部（１９ａｂ）により登録された情報から取得し、取得した前記運転者の顔の向き又は視線の方向の基準情報を用いて所定の処理を行う第１の処理部（１９ａｄ）とを備えていることを特徴とする車載機（１０）。

（付記２）
車両（２）に搭載される車載機（１０Ａ）から取得した情報に基づいて、前記車両（２）の運転者の運転を評価する運転評価システム（１Ａ）であって、
前記車両（２）を運転する運転者の認証情報を取得する取得部（２２ｂ）と、
前記運転者の顔の向き又は視線の方向の基準情報を算出する算出部（５１ａ）と、
前記取得部（２２ｂ）により取得された前記運転者の各々の認証情報と、前記算出部（５１ａ）により算出された前記運転者の各々の顔の向き又は視線の方向の基準情報とを、前記運転者ごとに対応付けて登録する登録部（５１ｂ）と、
該登録部（５１ｂ）により登録された情報と、前記取得部（２２ｂ）により取得された前記運転者の認証情報とに基づいて、前記運転者の認証を行う認証部（１９ａｃ）と、
該認証部（１９ａｃ）により前記運転者が認証された場合、該認証された運転者の顔の向き又は視線の方向の基準情報を前記登録部（５１ｂ）により登録された情報から取得し、取得した前記運転者の顔の向き又は視線の方向の基準情報を用いて所定の処理を行う処理部（１９ａｄ）とを備えていることを特徴とする運転評価システム（１Ａ）。

（付記３）
車両（２）を運転する運転者の認証情報を取得する取得ステップ（Ｓ７）と、
前記運転者の顔の向き又は視線の方向の基準情報を算出する算出ステップ（Ｓ３７）と、
前記取得ステップ（Ｓ７）により取得された前記運転者の各々の認証情報と、前記算出ステップ（Ｓ３７）により算出された前記運転者の各々の顔の向き又は視線の方向の基準情報とを、前記運転者ごとに対応付けて記憶部（１７ｂ）に登録する登録ステップ（Ｓ３８）と、
該登録ステップ（Ｓ３８）により前記記憶部（１７ｂ）に登録された情報と、前記取得ステップ（Ｓ７）により取得された前記運転者の認証情報とに基づいて、前記運転者の認証を行う認証ステップ（Ｓ１４）と、
該認証ステップ（Ｓ１４）により前記運転者が認証された場合、該認証された運転者の顔の向き又は視線の方向の基準情報を前記記憶部（１７ｂ）に登録された情報から取得し、取得した前記運転者の顔の向き又は視線の方向の基準情報を用いて所定の処理を行う処理ステップ（Ｓ１７）とを含むことを特徴とする情報処理方法。

（付記４）
少なくとも１つのコンピュータに、
車両（２）を運転する運転者の認証情報を取得する取得ステップ（Ｓ７）と、
前記運転者の顔の向き又は視線の方向の基準情報を算出する算出ステップ（Ｓ３７）と、
前記取得ステップ（Ｓ７）により取得された前記運転者の各々の認証情報と、前記算出ステップ（Ｓ３７）により算出された前記運転者の各々の顔の向き又は視線の方向の基準情報とを、前記運転者ごとに対応付けて記憶部（１７ｂ）に登録する登録ステップ（Ｓ３８）と、
該登録ステップ（Ｓ３８）により前記記憶部（１７ｂ）に登録された情報と、前記取得ステップ（Ｓ７）により取得された運転者の認証情報とに基づいて、前記運転者の認証を行う認証ステップ（Ｓ１４）と、
該認証ステップ（Ｓ１４）により前記運転者が認証された場合、該認証された運転者の顔の向き又は視線の方向の基準情報を前記記憶部（１７ｂ）に登録された情報から取得し、取得した前記運転者の顔の向き又は視線の方向の基準情報を用いて所定の処理を行う処理ステップ（Ｓ１７）とを実行させることを特徴とするプログラム。

１、１Ａ 運転評価システム
２ 車両
３ 運転者
４ 通信ネットワーク
１０ 車載機
１１ プラットフォーム部
１２ 加速度センサ
１３ 角速度センサ
１４ ＧＰＳ受信部
１４ａ アンテナ
１５ 通信部
１６ 報知部
１７ 記憶部
１７ａ 画像情報記憶部
１７ｂ 登録情報記憶部
１７ｃ 処理情報記憶部
１８ 外部インターフェース（外部Ｉ／Ｆ）
１９ 制御部
１９ａ ＣＰＵ
１９ａａ 算出部
１９ａｂ 登録部
１９ａｃ 認証部
１９ａｄ 第１の処理部
１９ａｅ 第２の処理部
１９ｂ ＲＡＭ
１９ｃ ＲＯＭ
２０ ドライバモニタリング部
２１ ドライバカメラ（撮像部）
２２ 画像解析部
２２ａ 画像取得部
２２ｂ 認証情報取得部（取得部）
２２ｃ 向き検出部
２３ インターフェース（Ｉ／Ｆ）
３０ ドライブレコーダ部
３１ 車外カメラ
３２ 車内カメラ
４０、４０Ａ サーバ装置
４１ 通信ユニット
５０、５０Ａ サーバコンピュータ
５１ 中央処理装置
５１ａ 算出部
５１ｂ 登録部
５２ メインメモリ
５３ 制御プログラム
６０、６０Ａ 記憶ユニット
６１ データ蓄積部
６２ 評価データ記憶部
６３ 運転者情報記憶部
６４ 登録情報記憶部
８０ 事業者端末

Claims (11)

1. 車両を運転する運転者の認証情報を取得する取得部と、
   前記運転者の顔の向き又は視線の方向の基準情報を算出する算出部と、
   前記取得部により取得された前記運転者の各々の認証情報と、前記算出部により算出された前記運転者の各々の顔の向き又は視線の方向の基準情報とを、前記運転者ごとに対応付けて登録する登録部と、
   該登録部により登録された情報と、前記取得部により取得された前記運転者の認証情報とに基づいて、前記運転者の認証を行う認証部と、
   該認証部により前記運転者が認証された場合、認証された前記運転者の顔の向き又は視線の方向の基準情報を前記登録部により登録された情報から取得し、取得した前記運転者の顔の向き又は視線の方向の基準情報を用いて所定の処理を行う第１の処理部とを備えていることを特徴とする車載機。
2. 前記認証部により前記運転者が認証されなかった場合、予め設定された顔の向き又は視線の方向の基準情報を用いて所定の処理を行う第２の処理部を備えていることを特徴とする請求項１記載の車載機。
3. 前記運転者を撮像する撮像部を備え、
   前記算出部が、前記撮像部で撮像された前記運転者の画像から前記運転者の顔の向き又は視線の方向の基準情報を算出するものであることを特徴とする請求項１又は請求項２記載の車載機。
4. 前記運転者の顔の向き又は視線の方向の基準情報が、前記撮像部で撮像された前記運転者の複数の画像を用いて統計処理された前記運転者の顔の向き又は視線の方向の統計値を含んでいることを特徴とする請求項３記載の車載機。
5. 前記取得部が、前記撮像部で撮像された前記運転者の画像から前記認証情報を取得するものであることを特徴とする請求項３又は請求項４記載の車載機。
6. 前記運転者の顔の向き又は視線の方向の基準情報が、予め設定された顔の向き又は視線の方向の基準からのずれを示す情報を含んでいることを特徴とする請求項１〜５のいずれかの項に記載の車載機。
7. 前記所定の処理が、前記運転者の脇見判定処理であることを特徴とする請求項１〜６のいずれかの項に記載の車載機。
8. 前記所定の処理が、交差点における前記運転者の安全確認動作の判定処理であることを特徴とする請求項１〜６のいずれかの項に記載の車載機。
9. 車両に搭載される車載機から取得した情報に基づいて、前記車両の運転者の運転を評価する運転評価システムであって、
   前記車両を運転する運転者の認証情報を取得する取得部と、
   前記運転者の顔の向き又は視線の方向の基準情報を算出する算出部と、
   前記取得部により取得された前記運転者の各々の認証情報と、前記算出部により算出された前記運転者の各々の顔の向き又は視線の方向の基準情報とを、前記運転者ごとに対応付けて登録する登録部と、
   該登録部により登録された情報と、前記取得部により取得された前記運転者の認証情報とに基づいて、前記運転者の認証を行う認証部と、
   該認証部により前記運転者が認証された場合、認証された前記運転者の顔の向き又は視線の方向の基準情報を前記登録部により登録された情報から取得し、取得した前記運転者の顔の向き又は視線の方向の基準情報を用いて所定の処理を行う処理部とを備えていることを特徴とする運転評価システム。
10. 車両を運転する運転者の認証情報を取得する取得ステップと、
    前記運転者の顔の向き又は視線の方向の基準情報を算出する算出ステップと、
    前記取得ステップにより取得された前記運転者の各々の認証情報と、前記算出ステップにより算出された前記運転者の各々の顔の向き又は視線の方向の基準情報とを、前記運転者ごとに対応付けて記憶部に登録する登録ステップと、
    該登録ステップにより前記記憶部に登録された情報と、前記取得ステップにより取得された前記運転者の認証情報とに基づいて、前記運転者の認証を行う認証ステップと、
    該認証ステップにより前記運転者が認証された場合、認証された前記運転者の顔の向き又は視線の方向の基準情報を前記記憶部に登録された情報から取得し、取得した前記運転者の顔の向き又は視線の方向の基準情報を用いて所定の処理を行う処理ステップとを含むことを特徴とする情報処理方法。
11. 少なくとも１つのコンピュータに、
    車両を運転する運転者の認証情報を取得する取得ステップと、
    前記運転者の顔の向き又は視線の方向の基準情報を算出する算出ステップと、
    前記取得ステップにより取得された前記運転者の各々の認証情報と、前記算出ステップにより算出された前記運転者の各々の顔の向き又は視線の方向の基準情報とを、前記運転者ごとに対応付けて記憶部に登録する登録ステップと、
    該登録ステップにより前記記憶部に登録された情報と、前記取得ステップにより取得された前記運転者の認証情報とに基づいて、前記運転者の認証を行う認証ステップと、
    該認証ステップにより前記運転者が認証された場合、認証された前記運転者の顔の向き又は視線の方向の基準情報を前記記憶部に登録された情報から取得し、取得した前記運転者の顔の向き又は視線の方向の基準情報を用いて所定の処理を行う処理ステップとを実行させることを特徴とするプログラム。
    

Images