JP2021092962A - 車載機、処理装置及びプログラム - Google Patents

Abstract

【課題】運行情報の時系列データに基づいて評価値を求めることができ、精度よく運転者の状態を示す評価値を求めることができる車載機、処理装置及びプログラムを提供する。【解決手段】特徴量算出部１５が、車両の運行情報Ｄ１、Ｄ２から複数種類の特徴量ｘを算出する。評価値算出部１７は、複数種類の特徴量ｘを入力、車両の運転者の状態を表す評価値Ｄｙを出力、として機械学習されている。評価値算出部１７は、複数種類の特徴量ｘが入力され、複数種類の特徴量それぞれに対応する出力を出力するＬＳＴＭ層１７Ａと、ＬＳＴＭ層１７Ａからの複数の出力を結合する結合層１７Ｂと、結合層１７Ｂからの出力が入力されるＬＳＴＭ層１７Ｃと、を有する。【選択図】図５

Description

本発明は、車載機、処理装置及びプログラムに関し、特に車両を運転する運転者の状態を検知するための技術に関する。

様々な車両において、安全な運転状態を維持するためには、運転者が正常な運転状態であることが不可欠である。例えば、睡眠不足の状態の運転者が車両を運転している時には居眠り運転を行う可能性があり、交通事故に繋がる危険性が高い。また、何らかの病気の発症により運転者が突然意識を失い、運転不可能な状況に陥る可能性も考えられる。また、運転者自体が身体的には問題が発生していない場合であっても、例えばわき見運転を継続的に行った場合には交通事故に繋がる危険性が高くなる。

そこで、特許文献１に記載された車載機は、運行情報から求めた複数種類の統計値（特徴量）を説明変数として、重回帰式に代入して目的変数である運転者の状態を示す評価値を求めている。

特開２０１９−１６２１３号公報

しかしながら、上述した特許文献１に記載された車載機では、精度よく運転者の状態を示す評価値を求めることができない、という問題があった。

本発明は、上述した事情に鑑みてなされたものであり、その目的は、運行情報に基づいて運転者の状態を示す評価値を精度よく求めることができる車載機、処理装置及びプログラムを提供することにある。

前述した目的を達成するために、本発明に係る車載機、処理装置及びプログラムは、下記［１］〜［８］を特徴としている。
［１］
車両の運行情報を取得する取得部と、
前記運行情報から複数種類の特徴量を算出する特徴量算出部と、
複数種類の前記特徴量を入力、前記車両の運転者の状態を表す評価値を出力、として機械学習された評価値算出部と、
前記評価値に応じて、前記運転者の状態を通知する出力部と、を備え、
前記評価値算出部は、
複数種類の前記特徴量が入力され、複数種類の前記特徴量それぞれに対応する出力を出力する第１再帰型ニューラルネットワークと、
前記第１再帰型ニューラルネットワークからの複数の出力を結合する結合層と、
前記結合層からの出力が入力される第２再帰型ニューラルネットワークと、を有する、
車載機であること。
［２］
［１］に記載の車載機において、
前記第１再帰型ニューラルネットワーク及び前記第２再帰型ニューラルネットワークは
各々、ＬＳＴＭ（Long short-term memory）層から構成されている、
車載機であること。
［３］
［１］又は［２］に記載の車載機において、
所定期間内に算出された前記特徴量を時系列特徴量として抽出する時系列特徴量抽出部をさらに備え、
前記評価値算出部は、前記時系列特徴量を入力とする、
車載機であること。
［４］
［１］〜［３］の何れか１項に記載の車載機において、
前記運行情報は、前記車両の基準位置から左車線まで左位置ベクトルと、前記車両の前記基準位置から右車線までの右位置ベクトルと、から構成されている、
車載機であること。
［５］
［４］に記載の車載機において、
前記左位置ベクトル及び前記右位置ベクトルから求められる道路幅の変化量に基づいて、前記左位置ベクトル及び前記右位置ベクトルの時系列データから検出精度が低い区間を判定して、除去するデータスクリーニング部を備えた、
車載機であること。
［６］
［１］〜［５］何れか１項に記載の車載機において、
前記特徴量算出部は、前記運行情報と、運転開始から一定期間内に取得した初期運行情報と、の双方に基づいて前記特徴量を算出する、
車載機であること。
［７］
車両の運行情報を取得する取得部と、
前記運行情報から複数の特徴量を算出する特徴量算出部と、
複数種類の前記特徴量を入力、前記車両の運転者の状態を表す評価値を出力、として機械学習された評価値算出部と、を備え、
前記評価値算出部は、
複数種類の前記特徴量が入力され、複数種類の前記特徴量それぞれに対応する出力を出力する第１再帰型ニューラルネットワークと、
前記第１再帰型ニューラルネットワークからの複数の出力を結合する結合層と、
前記結合層からの出力が入力される第２再帰型ニューラルネットワークと、を有する、
処理装置であること。
［８］
コンピュータに、［７］に記載の前記取得部、前記特徴量算出部及び前記評価値算出部の機能を実現させるためのプログラムであること。

上記［１］、［７］及び［８］の構成の車載機、処理装置及びプログラムによれば、評価値算出部が、２つの第１、第２再帰型ニューラルネットワークで構成されている。これにより、運行情報の時系列データに基づいて評価値を求めることができ、精度よく運転者の状態を示す評価値を求めることができる。

上記［２］の構成の車載機によれば、第１、第２再帰型ニューラルネットワークが、ＬＳＴＭ層から構成されている。これにより、長期的に保持された特徴量の時系列データに基づいて評価値を求めることができ、より一層精度よく運転者の状態を示す評価値を求めることができる。

上記［３］の構成の車載機によれば、評価値算出部に時系列特徴量が入力される。これ
により、より一層精度よく運転者の状態を示す評価値を求めることができる。

上記［４］の構成の車載機によれば、運転者の状態に対する依存度が高い左位置ベクトルと、右位置ベクトルと、に基づいて評価値を求めることにより、より一層精度よく運転者の状態を示す評価値を求めることができる。

上記［５］の構成の車載機によれば、データスクリーニング部が、左位置ベクトル及び右位置ベクトルの時系列データから検出精度が低い区間を判定して、除去する。これにより、より一層精度よく運転者の状態を示す評価値を求めることができる。

上記［６］の構成の車載機によれば、特徴量算出部は、運行情報と、初期運行情報と、の双方に基づいて特徴量を算出する。これにより、特徴量の個人差がなくなり、より一層精度よく運転者の状態を示す評価値を求めることができる。

本発明によれば、運行情報の時系列データに基づいて評価値を求めることができ、精度よく運転者の状態を示す評価値を求めることができる車載機、処理装置及びプログラムを提供することができる。

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

図１は、本発明の実施形態における車載機の構成例を示すブロック図である。 図２は、図１に示す運行データ検出機能が検出する位置ベクトルについて説明するための説明図である。 図３は、運転者Ａ〜Ｃの位置ベクトルのヒストグラムである。 図４は、運転者Ｄ、Ｅの位置ベクトルのヒストグラムである。 図５は、図１に示す評価値算出部の詳細を示すブロック図である。 図６は、学習処理システムの構成例を示すブロック図である。 図７は、ドライビングシミュレータとそれに付随する装置の位置関係を示す側面図である。 図８は、学習時に用いられる評価値算出部の詳細を示すブロック図である。 図９は、本発明品、比較例１、比較例２における眠気レベルに対するＭＥＡを示すグラフである。

本発明の車載機および処理装置に関する具体的な実施の形態について、各図を参照しながら以下に説明する。

＜実施形態の車載機１０の説明＞
本発明の実施形態における車載機１０の構成例を図１に示す。図１に示した車載機１０は、例えばタクシー、トラック、バスのような業務用車両など様々な車両に搭載した状態で使用され、運転手の状態を自動検出するために利用される。検出対象の代表的な状態として、ここでは運転手の居眠りの状態を想定している。しかし、この車載機１０は居眠りに限らず、様々な状態の検知に利用できる。

図１に示した車載機１０は、ドライブレコーダであり、運転手の居眠り運転を検知して
危険を報知するための機能が追加されている。しかし、本発明の車載機はドライブレコーダに限らず、様々な種類の車載機に本発明の機能を搭載できる。

＜構成の説明＞
図１に示した車載機１０の入力には、車載カメラ３０が接続されている。この車載カメラ３０は、例えば自動車の前方の窓付近に固定され、自動車の進行方向前方の路面や風景などの状況を撮影できる方向に向けられている。なお、複数台の車載カメラ３０を必要に応じて用いることができる。車載カメラ３０の撮影内容を表す撮影信号ＳＧ１が車載機１０に入力される。

また、実際の車両において、映像信号ＳＧ１以外の様々な信号を外部から車載機１０に入力することが可能であるが、運転手の居眠りを検出する用途だけであれば、他の信号を入力する必要はない。

図１に示したように、車載機１０の内部には、画像認識エンジン１１、ドライブレコーダ機能１２、取得部としての運行データ検出機能１３、データスクリーニング部１４、特徴量算出部１５、時系列特徴量抽出部１６、評価値算出部１７、評価値判定部１８、出力部としての音声出力部１９、および広域無線通信アダプタ２０が備わっている。また、広域無線通信アダプタ２０にアンテナ２１が接続されている。

なお、図１に示した車載機１０の内部の主要な構成要素の実体は、マイクロコンピュータを主体とする電気回路のハードウェアと、このマイクロコンピュータが実行するプログラムおよびデータとで構成されるソフトウェアからなる。また、必要に応じて、画像処理専用のプロセッサや、数値演算用のプロセッサなどが車載機１０に内蔵される場合もある。

画像認識エンジン１１は、入力される映像信号ＳＧ１を各フレームの画像に対して、リアルタイムで認識処理を実行し、様々な特徴量を検出する。本実施形態では、画像中に路面に標示されている各白線（レーンの境界の区切り位置）の位置、自車両の位置などを自動的に認識することができる。

ドライブレコーダ機能１２は、一般的なドライブレコーダと同様の機能を実現する。すなわち、入力される映像信号ＳＧ１の情報を取得して記録する。大量の情報を記録できるように、例えば不揮発性メモリにより構成されるメモリカードのような記憶装置がドライブレコーダ機能１２に備わっている。

運行データ検出機能１３は、画像認識結果の信号ＳＧ２に基づいて、運転者の状態を検出するために必要とされる運行情報Ｄ１、Ｄ２を検出する。なお、運行情報Ｄ１、Ｄ２の種類数を必要に応じて増減することも可能である。この運行情報Ｄ１、Ｄ２については後で詳細に説明する。

データスクリーニング部１４は、画像認識結果の信号ＳＧ２に基づいて、運行情報Ｄ１、Ｄ２の時系列データから検出精度が低いものを除去する。

特徴量算出部１５は、運行データ検出機能１３から出力される２種類の運行情報Ｄ１、Ｄ２のそれぞれについて、統計処理を施して各々の特徴量ｘを算出する。なお、特徴量ｘの種類数を必要に応じて増減することも可能である。この特徴量ｘについては後で詳細に説明する。

時系列特徴量抽出部１６は、サンプリング間隔ｋ毎に算出される上記特徴量ｘから所定
期間Ｌｓ内に算出された特徴量ｘを時系列特徴量ｘ_ｔとして抽出する。時刻ｔにおける特徴量ｘ_ｔ＝｛ｘ_ｔ ^（１），ｘ_ｔ ^（２），…，ｘ_ｔ ^（ｎ）｝とするとき、時刻ｔのときの時系列特徴量をｘ_ｔ ^（１）＝｛ｘ_{ｔ−Ｌｓ＋ｋ} ^（１），ｘ_{ｔ−Ｌｓ＋２ｋ} ^（１），…，ｘ_ｔ ^（１）｝、ｘ^（２）＝｛ｘ_{ｔ−Ｌｓ＋ｋ} ^（２），ｘ_{ｔ−Ｌｓ＋２ｋ} ^（２），…，ｘ_ｔ ^（２）｝、…、ｘ^（ｎ）＝｛ｘ_{ｔ−Ｌｓ＋ｋ} ^（ｎ），ｘ_{ｔ−Ｌｓ＋２ｋ} ^（ｎ），…，ｘ_ｔ ^（ｎ）｝として抽出する。

評価値算出部１７は、時系列特徴量抽出部１６により抽出された上記時系列特徴量ｘ_ｔを入力、評価値Ｄｙを出力、として機械学習された再帰型ニューラルネットワーク（ＲＮＮ）から構成されている。この評価値算出部１７については後で詳細に説明する。

評価値判定部１８は、評価値算出部１７が出力する評価値Ｄｙに基づいて運転者の眠気レベルを判定する。例えば、眠気レベルが非常に高いと評価値判定部１８が判定した場合には、居眠り運転の発生を回避するために必要な報知信号ＳＧ４を出力する。

音声出力部１９は、報知信号ＳＧ４に従って、居眠り運転の発生を回避するために役立つ音声出力を実行する。例えば、運転手に聞こえるように「危険です、停車して休憩して下さい」のような音声を出力する。

広域無線通信アダプタ２０は、アンテナ２１を用いて、遠隔地のコンピュータとの間でデータ通信するための無線通信機能を提供する。例えば、ドライブレコーダ機能１２が記録する映像信号ＳＧ１や、報知信号ＳＧ４を、必要に応じて、遠隔地のサーバや当該車両を管理している期限の事務所ＰＣなどに対して送信することができる。

＜動作の説明＞
＜運行データ検出機能１３の動作＞
図１に示した運行データ検出機能１３は、以下に示す２種類の運行情報Ｄ１、Ｄ２をそれぞれ検出する。

Ｄ１：自車両左端を基準とした左車線への左位置ベクトルｐｌ（図２参照）
Ｄ２：自動車右端を基準として右車線への右位置ベクトルｐｒ（図２参照）

＜データスクリーニング部１４の動作＞
上述した位置ベクトルｐｌ、ｐｒは、車載カメラ１０により１０Ｈｚで撮影される白線の途切れや、複数の白線の合流、白線以外の部分（縁石、隣接車線を走行する車両のバンパーなど）の誤検出により、精度が低くなることがある。データスクリーニング部１４は、位置ベクトル（運行情報Ｄ１、Ｄ２）の時系列データから白線検出の精度が低い区域を除去する。

車両が同一車線内を走行しているとすると、時刻ｔにおける左位置ベクトルｐｌ（ｔ）および右位置ベクトルｐｒ（ｔ）の大きさは相対的な増減をする。このため、下記の式（１）で示す時刻ｔにおける道路幅Ｕ（ｔ）は理想的には一定値を取るはずである。
Ｕ（ｔ）＝｜ｐｌ（ｔ）−ｐｒ（ｔ）｜＋ｄ …（１）
ｄ：車幅

しかし、実際には、Ｕ（ｔ）の単位時間あたりの変化量ΔＵ（ｔ）は様々な値をとり、ΔＵ（ｔ）が極端に大きくなる部分の位置ベクトルｐｌ（ｔ）、ｐｒ（ｔ）は、信頼性が低いと言える。そこで、データスクリーニング部１４は、変化量ΔＵ（ｔ）を演算し、｜ΔＵ（ｔ）｜≧αとなるような信頼性が低い時刻ｔの前１０秒から後１０秒のｐｌ（ｔ−１０秒）〜ｐｌ（ｔ）〜ｐｌ（ｔ＋１０秒）、ｐｒ（ｔ−１０秒）〜ｐｒ（ｔ）〜ｐｒ（
ｔ＋１０秒）を除去する。ただし、上記αは、蓄積したドライブレコーダのデータから経験的に決定する。

＜特徴量算出部１５の動作＞
発明者らは、運転者の眠気が車両制御の変化に表れる（例えば眠気時に車両が少し偏って走行する）、との仮説をもとに、運転者Ａ〜Ｅにドライビングシミュレータを模擬運転させた。そして、本発明者らは、運転者Ａ〜Ｅの眠気レベルがレベル１〜２の時と、眠気レベルが３〜４の時と、それぞれ位置ベクトルｐｌを測定した。結果を図３及び図４に示す。なお、眠気レベルについては、表１に示すように運転者の表情から判定している。

図３及び図４は、横軸が位置ベクトルｐｌ、縦軸が頻度を示すヒストグラムである。同図からも明らかなように、眠気レベルがレベル１〜２の時と、眠気レベルがレベル３〜４の時と、では分布の形が異なることがわかった。

そこで、特徴量算出部１５は、位置ベクトルｐｌ、ｐｒのヒストグラムの形状変化特徴量化した特徴量ｘを算出する。

まず、特徴量ｘとして、位置ベクトルｐの１σ、−１σを用いることについて考えてみる。今、時刻ｔｓから時刻ｔｅまでの位置ベクトルｐの１σ、−１σの値は、Ｐσ（ｔｓ、ｔｅ）、Ｎσ（ｔｓ、ｔｅ）として下記の式（２）および（３）により求めることができる。
Ｐσ（ｔｓ、ｔｅ）＝ｍ（ｔｓ、ｔｅ）＋σ（ｔｓ、ｔｅ） …（２）
Ｎσ（ｔｓ、ｔｅ）＝ｍ（ｔｓ、ｔｅ）−σ（ｔｓ、ｔｅ） …（３）
ｍ（ｔｓ、ｔｅ）：位置ベクトルの平均、σ（ｔｓ、ｔｅ）：位置ベクトルの標準偏差

しかしながら、図３及び図４からも明らかなように、位置ベクトルｐのヒストグラムは、車種や運転者の個性の違いにより、分布が異なり、Ｐσ（ｔｓ、ｔｅ）、Ｎσ（ｔｓ、ｔｅ）に影響を及ぼすことが分かる。

そこで、本実施形態では、特徴量算出部１５は、走行開始数分における初期位置ベクトルｐの初期１σ、−１σに対する変化量であるＰ、Ｎを特徴量ｘとして算出する。今、ｔωをスクリーニング済みのデータがＷ秒たまった時刻とするとき、時刻ｔにおけるＰ（ｔ
）、Ｎ（ｔ）は、下記の式（４）、式（５）で表すことができる。

また、特徴量算出部１５は、Ｐ、Ｎの変化量Ｄを特徴量ｘとして算出すると共に、Ｐ、Ｎ間の距離Ｓを特徴量ｘとして算出する。位置ベクトルｐｒに対応するＤｒ、位置ベクトルｐｌに対応するＤｌは、下記の式（６）、（７）で表すことができる。時刻ｔにおけるＳ（ｔ）は、下記の式（８）で表すことができる。
Ｄｒ＝Ｐ（ｔ）−Ｐ（ｔ−ｔω） …（６）
Ｄｌ＝Ｎ（ｔ）−Ｎ（ｔ−ｔω） …（７）
Ｓ（ｔ）＝Ｐ（ｔ）−Ｎ（ｔ） ｉｆ ｔ＞ｔω …（８）

また、特徴量算出部１５は、距離Ｓの絶対値Ａを特徴量ｘとして算出する。時刻ｔにおけるＡ（ｔ）は、下記の式（９）で表すことができる。
Ａ（ｔ）＝｜Ｐ（ｔ）−Ｎ（ｔ）｜ ｉｆ ｔ＞ｔω …（９）

特徴量算出部１５は、位置ベクトルｐｒ、ｐｌそれぞれについてＰ、Ｎ、Ｄ、Ｓ、Ａを算出する。

また、特徴量算出部１５は、時刻ｔ−ｔωから時刻ｔまでの間の位置ベクトルｐｒが、走行開始ｔ＝０から時刻ｔωまでの間の位置ベクトルｐｒの１σであるＰσ（１、ｔω）を超えた回数をＷで割ったＣｒを特徴量ｘとして算出する。同様に、特徴量算出部１５は、時刻ｔ−ｔωから時刻ｔまでの間の位置ベクトルｐｌが、走行開始ｔ＝０から時刻ｔωまでの間の位置ベクトルｐｌの−１σであるＮσ（１、ｔω）を超えた回数をＷで割ったＣｌを特徴量ｘとして算出する。

上記Ｃｒは下記の式（１０）、（１１）で表すことができる。

上記Ｃｌは下記の式（１２）、（１３）で表すことができる。

即ち、特徴量算出部１５は、位置ベクトルｐｌ、ｐｒに基づいて、｛Ｐｒ、Ｎｒ、Ｐｌ、Ｎｌ、Ｄｒ、Ｄｌ、Ｓｒ、Ｓｌ、Ａｒ、Ａｌ、Ｃｒ、Ｃｌ｝を特徴量ｘとして算出する。

＜時系列特徴量抽出部１６の動作＞
時系列特徴量抽出部１６は、特徴量ｘ_ｔ＝｛ｘ_ｔ ^（１），ｘ_ｔ ^（２），…，ｘ_ｔ ^（ｎ）｝である｛Ｐｒ、Ｎｒ、Ｐｌ、Ｎｌ、Ｄｒ、Ｄｌ、Ｓｒ、Ｓｌ、Ａｒ、Ａｌ、Ｃｒ、Ｃｌ｝についてそれぞれ上述したように時系列特徴量を抽出する。抽出した時刻ｔにおける時系列特徴量は下記のベクトルで表される。
ｘ_ｔ ^（１）＝｛Ｐｒ_{ｔ−Ｌｓ＋ｋ}，Ｐｒ_{ｔ−Ｌｓ＋２ｋ}，…，Ｐｒ_ｔ｝
ｘ_ｔ ^（２）＝｛Ｎｒ_{ｔ−Ｌｓ＋ｋ}，Ｎｒ_{ｔ−Ｌｓ＋２ｋ}，…，Ｎｒ_ｔ｝
…
ｘ_ｔ ^（ｎ）＝｛Ｃｌ_{ｔ−Ｌｓ＋ｋ}，Ｃｌ_{ｔ−Ｌｓ＋２ｋ}，…，Ｃｌ_ｔ｝

＜評価値算出部１７の動作＞
評価値算出部１７の構成を図５に示す。同図に示すように、評価値算出部１７は、第１再帰型ニューラルネットワークとしてのＬＳＴＭ層１７Ａと、結合層１７Ｂと、第２再帰型ニューラルネットワークとしてのＬＳＴＭ層１７Ｃと、Ｄｅｎｓｅ層１７Ｄ、１７Ｅと、を有している。ＬＳＴＭ層１７Ａは、特徴量ｘ毎に設けられている。本実施形態では、評価値算出部１７には、１２個の特徴量ｘが入力されているため、ＬＳＴＭ層１７Ａも１２個、設けられている。

ＬＳＴＭ層１７Ａは、一つ前の出力が入力されるニューラルネットワークであるＲＮＮを拡張したものである。今、単純なＲＮＮにおいて、第１層のユニットをｉ＝１，…，Ｉ、第２層のユニットをｊ＝１，…，Ｊで表すと、時刻ｔにおける第２層の出力ｚｊ^（ｔ）は下記の式（１４）、（１５）で表される。即ち、第２層のユニットには、第１層のユニットへの入力ｘ１^（ｔ）〜ｘＩ^（ｔ）に加えて第２のユニットの一つ前の出力ｙ１^{（ｔ−１）}〜ｙＪ^{（ｔ−１）}が入力される。

ｚｊ^（ｔ）＝ｆ（ｙｊ^（ｔ）） …（１５）
ここで、ｘｉ^（ｔ）は第１層のユニットｉに対する入力であり、本実施形態では、図５に示すように、時系列特徴量として抽出したベクトルが入力される。ｗは結合の際の重みで、ｂはバイアス項であり、ｆは活性化関数である。

ＬＳＴＭ層１７Ａは、上述したＲＮＮに加えて、ＲＮＮの出力を加算し続けた値が記憶されるセルと、セルに記憶される情報を制御する入力ゲート、出力ゲート、忘却ゲートと、有している。入力ゲート、忘却ゲート、出力ゲートは、各々別々のＲＮＮから構成されている。入力ゲートは、ＲＮＮからセルへの入力を選択的にオンオフする役割を果たす。出力ゲートは、ＬＳＴＭ層１７Ａの出力を選択的にオンオフする役割を果たす。忘却ゲートは、セルに記憶された情報を選択的に忘却させる役割を果たす。ＬＳＴＭ層１６Ａは、セルを設けて、３つのゲートによりセルを制御することにより、長期依存の学習を行うことができる。

結合層１７Ｂは、各ＬＳＴＭ層１６Ａから出力されたベクトルを結合して、結合したベクトルを次のＬＳＴＭ層１７Ｃに入力する。ＬＳＴＭ層１７Ｃは、上述したＬＳＴＭ層１
７Ａと同様の構成である。ＬＳＴＭ層１７Ｃからの出力は、Ｄｅｎｓｅ層１７Ｄに入力される。Ｄｅｎｓｅ層１７Ｄは、入力層を出力層に全結合するニューラルネットワーク（以下、ＮＮ）から構成され、Ｄｅｎｓｅ層１７Ｄからの出力がＤｅｎｓｅ層１６Ｅに入力される。Ｄｅｎｓｅ層１７Ｅも、入力層を出力層に全結合するＮＮから構成される。Ｄｅｎｓｅ層１６Ｅの出力層の数は１つであり、このＤｅｎｓｅ層１７Ｅからの出力が評価値Ｄｙとなる。なお、Ｄｅｎｓｅ層１７Ｄ、１７Ｅの損失関数としては、本実施形態では二乗誤差（ランプ関数）が用いられる。

＜学習処理システム４０の説明＞
＜概要の説明＞
次に、上述した評価値算出部１７が適切に評価値Ｄｙを算出するために必要な学習処理を実現するための学習処理システム４０について説明する。図６に学習処理システム４０の構成例を示す。

＜学習処理の準備の説明＞
ドライビングシミュレータ４１とそれに付随する装置の位置関係を図７に示す。本実施形態では、学習処理で利用可能な実験データを取得するために、図７に示したドライビングシミュレータ４１を利用する。

このドライビングシミュレータ４１は、実際の車両の運転席と同じように運転者が着座可能な運転席を有しており、更に、運転者が操作可能なステアリングホイール、アクセルペダル、ブレーキペダル、変速操作レバーなどの機器を備えている。また、運転者の前方を主体として運転者を囲むように６面のディスプレイ４１ａが配置されている。このディスプレイ４１ａの画面上には、実際の運転状態において運転者が視認可能な前方視界の情景等を模擬した内容が、ドライビングシミュレータ４１に対する運転操作に応じて表示される。

模擬運転を実施する場合には、図７に示すように被験者４２がドライビングシミュレータ４１の運転席に着座する。そして、この被験者４２は、ドライビングシミュレータ４１の運転者として、ディスプレイ４１ａの画面の内容を視認しながら、ステアリングホイール、アクセルペダル、ブレーキペダル、変速操作レバーなどの機器を操作して模擬運転を行う。被験者４２の模擬運転操作に応じてディスプレイ４１ａの画面の内容が逐次変化する。

学習処理に必要な実験データを取得するために、図７に示すように運転席の前方に配置された前方映像録画用カメラ４３が、ディスプレイ４１ａの画面における前方映像を撮影する。また、運転席の前方に配置された運転手顔映像録画用カメラ（ステレオカメラ）４４が運転席に着座している被験者４２の顔およびその近傍を撮影する。また、被験者４２の生体情報である心電図を取得するために、心電計４５が被験者４２に装着される。

学習処理に必要な実験データは、図６に示した情報記録装置４６が記録する。すなわち、前方映像録画用カメラ４３の撮影により得られる前方の映像と、運転手顔映像録画用カメラ４４の撮影により得られる被験者４２の顔の映像と、心電計４５が出力する心電図の情報とが１組の時系列データとして情報記録装置４６に記録される。情報記録装置４６は、大量の情報の記録を可能にするためにハードディスクなどの記憶装置を搭載している。

ニューラルネットワークの機械学習を行うためには、情報記録装置４６が記録した模擬運転の実験データから得た時系列特徴量ｘ（入力）と、運転者の状態を表す正解値（出力）と、が必要となる。従って、図７に示すように、情報記録装置４６が記録した情報に基づいて各時点の正解値を、正解値の特定処理４７により特定する。

正解値の特定処理について、ここでは熟練者が行う人間の作業として、運転手顔映像録画用カメラ４４が撮影した顔の再生映像（表情や頭の動きなど）と、心電計４５が出力する心電図とに基づいて感覚的に評価した結果を各時点の正解値として出力する場合を想定している。

勿論、正解値の特定処理４７を自動化し、人間の作業を不要にすることも可能である。例えば、画像認識技術により、再生映像における被験者の顔の表情や頭の動きなどを自動認識したり、認識した状態と心電図の状態とを組み合わせて正解値の評価結果を自動的に出力したりすることができる。

正解値の特定処理４７において正解値を評価する際には、例えば上述した表１に示した評価指標を利用し、これに準じた評価を実施することが想定される。

すなわち、表１に示した評価指標を利用する場合には、被験者４２の顔の表情や頭の動きなどと、５段階の評定値とを対応付けることができる。したがって、情報記録装置４６が記録した情報を再生しながら、各時点の被験者４２の状態として、眠気レベルを５段階評価した場合の正解値を、表１の内容に基づき、人間、又は機械が正解値の特定処理４７で特定することができる。

＜学習処理の説明＞
図７に示した学習処理装置５０は、学習処理に用いる入力データとして、情報記録装置４６が記録した模擬運転の記録情報から求めた時系列特徴量ｘ_ｔと、正解値の特定処理４７によって得られた各時点の評価値Ｄｙの正解値とを組み合わせて学習処理を実行する。

なお、学習時用いられる評価値算出部１７は、過学習を抑制するために、図８に示すように、ドロップアウト１７Ｆ〜１７Ｈが設けられている。ドロップアウト１７Ｆは、ＬＳＴＭ層１７Ａの出力に設けられ、一定の割合でＬＳＴＭ層１７Ａの出力をマスクする。ドロップアウト１７Ｇは、ＬＳＴＭ層１７Ｃの出力に設けられ、一定の割合でＬＳＴＭ層１７Ｇの出力をマスクする。ドロップアウト１７Ｈは、Ｄｅｎｓｅ層１７Ｄの出力に設けられ、一定の割合でＤｅｎｓｅ層１７Ｄの出力をマスクする。

学習処理装置５０の実体は、パーソナルコンピュータのような一般的な計算式であって誤差逆伝番法などの学習処理を実行するために必要なアプリケーションソフトウェアを搭載している。学習処理装置５０は、上述したＬＳＴＭ層１７Ａ、１７Ｄを構成するＲＮＮの重みｗを最適化し、評価値算出部１７に登録する。

＜効果の説明＞
＜効果＞
上述した実施形態によれば、評価値算出部１７が、ＲＮＮを拡張した２つのＬＳＴＭ層１６Ａ、１６Ｄで構成されている。これにより、運行情報Ｄ１、Ｄ２の時系列データに基づいて評価値Ｄｙを求めることができ、精度よく運転者の状態を示す評価値を求めることができる。

次に、本発明者らは、上述した実施形態で説明した車載機１０（以下、本発明品）の効果を確認するために、本発明品及び後述する比較例１、２、それぞれについて業務用運転者の運行情報に対する眠気レベル推定の性能評価実験を行った。運行情報や、眠気レベルの正解値は、業務用車両での高速道路走行によって取得した。

＜比較例１＞
比較例１としては、上述した特許文献１に記載された眠気レベルの推定方法を採用する
。特許文献１に記載された推定方法では、ドラレコから、速度や加速度に加えて、自車における白線までの距離や横移動速度、白線と白線との消失点移動量などの特徴を取得し、重回帰分析によって眠気レベルを推定する。

＜比較例２＞
比較例２としては、feed-forward neural network(ＦＦＮＮ)による眠気レベルの推定
方法を採用する。比較例２としては、説明変数をｘ＝｛Ｐｒ、Ｎｒ、Ｐｌ、Ｎｌ、Ｄｒ、Ｄｌ、Ｓｒ、Ｓｌ、Ａｒ、Ａｌ、Ｃｒ、Ｃｌ｝、目的変数を眠気レベルとし、ＦＦＮＮをベースとしている。

＜評価指標＞
評価指標として、本発明品、比較例１、２で推定した推定眠気レベルと正解眠気レベルとの平均絶対誤差（ＭＡＥ）および次式（１６）で表される眠気の立ち上がり誤差（ＴＥ）を用いる。

ただし、τｉは、眠気レベルｉからｉ＋１に上がる時の正解値と推定値との時刻差を示す。

＜評価結果＞
上記評価結果を下記の表２に示す。

表２からも明らかなように、ＭＡＥ、ＴＥともに本発明品が最も精度が高く、比較例１、２よりも優れた性能を示すことが分かる。

また、本発明品、比較例１、２における眠気レベルごとのＭＡＥを図９に示す。同図に示すように、本発明品は、比較例１に比べて眠気レベル３、４の追従性が上がっていることが分かる。

また、本発明品が、比較例２によりも優れている理由としては、ＬＳＴＭが特徴量ｘの時系列的な変化に注目しているのに対して、比較例２では瞬間的な特徴量のみに注目して
推定していることが考えられる。

＜その他の効果＞
また、上述した実施形態によれば、運行情報Ｄ１、Ｄ２は、左位置ベクトルｐｌと、右位置ベクトルｐｒと、から構成されている。これにより、運転者の状態に対する依存度が高い左位置ベクトルｐｌと、右位置ベクトルｐｒと、に基づいて評価値Ｄｙを求めることにより、より一層精度よく運転者の状態を示す評価値を求めることができる。

また、上述した実施形態によれば、左位置ベクトルｐｌ及び右位置ベクトルｐｒから求められる道路幅Ｕの変化量ΔＵに基づいて、左位置ベクトルｐｌ及び右位置ベクトルｐｒの時系列データから検出精度が低い区間を判定して、除去するデータスクリーニング部１４を備えている。これにより、より一層精度よく運転者の状態を示す評価値Ｄｙを求めることができる。

また、上述した実施形態によれば、特徴量算出部１５は、運転開始から所定期間ｔω内に取得した初期運行情報Ｄ１、Ｄ２からＰσ（１、ｔω）、Ｎσ（１、ｔω）を求め、任意時間ｔにおける運行情報Ｄ１、Ｄ２から求めたＰσ（ｔ−ｔω、ｔ）、Ｎσ（ｔ−ｔω、ｔ）からＰσ（１、ｔω）、Ｎσ（１、ｔω）を差し引いた値をＰ（ｔ）、Ｎ（ｔ）として評価値算出部１７に入力する。これにより、特徴量の個人差がなくなり、より一層精度よく運転者の状態を示す評価値Ｄｙを求めることができる。

なお、本発明は、上述した実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。その他、上述した実施形態における各構成要素の材質、形状、寸法、数、配置箇所、等は本発明を達成できるものであれば任意であり、限定されない。

上述した実施形態では、評価値算出部１７は、ＲＮＮを拡張した２段のＬＳＴＭ層１７Ａ、１７Ｃから構成されていたが、これに限ったものではない。ＬＳＴＭ層１７Ａ、１７Ｃの代わりに、ＲＮＮを用いもよい。

上述した実施形態では、評価値算出部１７に時系列特徴量を入力していたが、これに限ったものではない。評価値算出部１７に特徴量を入力するようにしてもよい。

上述した実施形態では、運行情報Ｄ１、Ｄ２として位置ベクトルｐｌ、ｐｒを用いていたが、これに限ったものではない。例えば、車両の横方向位置など他の運行情報を用いてもよい。また、特徴量としても、運行情報を統計処理して求められるものであればよく、上述した実施形態に限定されるものではない。

上述した実施形態では、データスクリーニング部１４を設けていたが、これに限ったものではない。データスクリーニング部１４はなくてもよい。

上述した実施形態では、特徴量から初期特徴量を差し引いていたが、これに限ったものではない。初期特徴量を差し引くことは必須ではない。

ここで、上述した本発明に係る車載機、処理装置及びプログラムの実施形態の特徴をそれぞれ以下［１］〜［８］に簡潔に纏めて列記する。
［１］
車両の運行情報（Ｄ１、Ｄ２）を取得する取得部（１３）と、
前記運行情報（Ｄ１、Ｄ２）から複数種類の特徴量（ｘ）を算出する特徴量算出部（１５）と、
複数種類の前記特徴量（ｘ）を入力、前記車両の運転者の状態を表す評価値（Ｄｙ）を
出力、として機械学習された評価値算出部（１７）と、
前記評価値（Ｄｙ）に応じて、前記運転者の状態を通知する出力部（１９）と、を備え、
前記評価値算出部（１７）は、
複数種類の前記特徴量（ｘ）が入力され、複数種類の前記特徴量（ｘ）それぞれに対応する出力を出力する第１再帰型ニューラルネットワーク（１７Ａ）と、
前記第１再帰型ニューラルネットワーク（１７Ａ）からの複数の出力を結合する結合層（１７Ｂ）と、
前記結合層か（１７Ｂ）らの出力が入力される第２再帰型ニューラルネットワーク（１７Ｃ）と、を有する、
車載機（１０）であること。
［２］
［１］に記載の車載機（１０）において、
前記第１再帰型ニューラルネットワーク（１７Ａ）及び前記第２再帰型ニューラルネットワーク（１７Ｃ）は各々、ＬＳＴＭ（Long short-term memory）層から構成されている、
車載機（１０）であること。
［３］
［１］又は［２］に記載の車載機（１０）において、
所定期間（Ｌｓ）内に算出された前記特徴量（ｘ）を時系列特徴量として抽出する時系列特徴量抽出部（１６）をさらに備え、
前記評価値算出部（１７）は、前記時系列特徴量を入力とする、
車載機（１０）であること。
［４］
［１］〜［３］の何れか１項に記載の車載機（１０）において、
前記運行情報（Ｄ１、Ｄ２）は、前記車両の基準位置から左車線まで左位置ベクトル（ｐｌ）と、前記車両の前記基準位置から右車線までの右位置ベクトル（ｐｒ）と、から構成されている、
車載機（１０）であること。
［５］
［４］に記載の車載機（１０）において、
前記左位置ベクトル（ｐｌ）及び前記右位置ベクトル（ｐｒ）から求められる道路幅（Ｕ）の変化量に基づいて、前記左位置ベクトル（ｐｌ）及び前記右位置ベクトル（ｐｒ）の時系列データから検出精度が低い区間を判定して、除去するデータスクリーニング部（１４）を備えた、
車載機（１０）であること。
［６］
［１］〜［５］何れか１項に記載の車載機（１０）において、
前記特徴量算出部（１５）は、前記運行情報と、運転開始から一定期間（ｔω）内に取得した初期運行情報と、の双方に基づいて前記特徴量を算出する、
車載機（１０）であること。
［７］
車両の運行情報（Ｄ１、Ｄ２）を取得する取得部（１３）と、
前記運行情報（Ｄ１、Ｄ２）から複数の特徴量（ｘ）を算出する特徴量算出部（１５）と、
複数種類の前記特徴量（ｘ）を入力、前記車両の運転者の状態を表す評価値（Ｄｙ）を出力、として機械学習された評価値算出部（１７）と、を備え、
前記評価値算出部（１７）は、
複数種類の前記特徴量（ｘ）が入力され、複数種類の前記特徴量（ｘ）それぞれに対応する出力を出力する第１再帰型ニューラルネットワーク（１７Ａ）と、
前記第１再帰型ニューラルネットワーク（１７Ａ）からの複数の出力を結合する結合層（１７Ｂ）と、
前記結合層からの出力が入力される第２再帰型ニューラルネットワーク（１７Ｃ）と、を有する、
処理装置であること。
［８］
コンピュータに、［７］に記載の前記取得部（１３）、前記特徴量算出部（１５）及び前記評価値算出部（１７）の機能を実現させるためのプログラムであること。

１０ 車載機
１３ 運行データ検出機能（取得部）
１４ データスクリーニング部
１５ 特徴量算出部
１６ 時系列特徴量抽出部
１７ 評価値算出部
１７Ａ ＬＳＴＭ層（第１再帰型ニューラルネットワーク）
１７Ｂ 結合層
１７Ｃ ＬＳＴＭ層（第２再帰型ニューラルネットワーク）
１９ 音声出力部（出力部）
Ｌｓ 所定期間
Ｄ１、Ｄ２ 運行情報
Ｄｙ 評価値
ｐｌ 左位置ベクトル
ｐｒ 右位置ベクトル
ｔω 一定時間
Ｕ 道路幅
ｘ 特徴量

Claims (8)

1. 車両の運行情報を取得する取得部と、
   前記運行情報から複数種類の特徴量を算出する特徴量算出部と、
   複数種類の前記特徴量を入力、前記車両の運転者の状態を表す評価値を出力、として機械学習された評価値算出部と、
   前記評価値に応じて、前記運転者の状態を通知する出力部と、を備え、
   前記評価値算出部は、
   複数種類の前記特徴量が入力され、複数種類の前記特徴量それぞれに対応する出力を出力する第１再帰型ニューラルネットワークと、
   前記第１再帰型ニューラルネットワークからの複数の出力を結合する結合層と、
   前記結合層からの出力が入力される第２再帰型ニューラルネットワークと、を有する、
   車載機。
2. 請求項１に記載の車載機において、
   前記第１再帰型ニューラルネットワーク及び前記第２再帰型ニューラルネットワークは各々、ＬＳＴＭ（Long short-term memory）層から構成されている、
   車載機。
3. 請求項１又は２に記載の車載機において、
   所定期間内に算出された前記特徴量を時系列特徴量として抽出する時系列特徴量抽出部をさらに備え、
   前記評価値算出部は、前記時系列特徴量を入力とする、
   車載機。
4. 請求項１〜３の何れか１項に記載の車載機において、
   前記運行情報は、前記車両の基準位置から左車線まで左位置ベクトルと、前記車両の前記基準位置から右車線までの右位置ベクトルと、から構成されている、
   車載機。
5. 請求項４に記載の車載機において、
   前記左位置ベクトル及び前記右位置ベクトルから求められる道路幅の変化量に基づいて、前記左位置ベクトル及び前記右位置ベクトルの時系列データから検出精度が低い区間を判定して、除去するデータスクリーニング部を備えた、
   車載機。
6. 請求項１〜５何れか１項に記載の車載機において、
   前記特徴量算出部は、前記運行情報と、運転開始から一定期間内に取得した初期運行情報と、の双方に基づいて前記特徴量を算出する、
   車載機。
7. 車両の運行情報を取得する取得部と、
   前記運行情報から複数の特徴量を算出する特徴量算出部と、
   複数種類の前記特徴量を入力、前記車両の運転者の状態を表す評価値を出力、として機械学習された評価値算出部と、を備え、
   前記評価値算出部は、
   複数種類の前記特徴量が入力され、複数種類の前記特徴量それぞれに対応する出力を出力する第１再帰型ニューラルネットワークと、
   前記第１再帰型ニューラルネットワークからの複数の出力を結合する結合層と、
   前記結合層からの出力が入力される第２再帰型ニューラルネットワークと、を有する、
   処理装置。
8. コンピュータに、請求項７に記載の前記取得部、前記特徴量算出部及び前記評価値算出部の機能を実現させるためのプログラム。

Images