JP2018013446A - 情報推定システム、情報推定方法及びプログラム - Google Patents

Abstract

【課題】車載機器に対する操作を、運転者の状況に適するように推定可能とする。
【解決手段】情報推定システム１００は、車両１に搭載された車載機器２に対する操作項目と、操作項目が操作される際における車両１の状況又は当該車両１の走行状態の少なくとも一つである車両環境状態とを、複数の運転者毎に取得する取得部２０２と、取得部２０２が取得した複数の運転者のそれぞれの操作項目と車両環境状態とを関連付けて学習する学習部２０３と、学習部２０３の学習結果に基づいて、特定の運転者の所定時点での車両環境状態に対する操作項目を推定する推定部４２と、を備える。
【選択図】図１

Description

本発明は、車載機器に関する情報を推定する情報推定システム、情報推定方法及びプログラムに関する。

近年、車両運転時のユーザビリティを高めるべく、車載機器に対する運転者の操作を事前に予測して、当該操作を補助することのできるナビゲーション装置が知られている（例えば特許文献１参照）。

特開２００８−２３２９１２号公報

上記特許文献１のナビゲーション装置（すなわち情報推定システム）では、運転者自身の視線を検出し、その検出した視線に基づいて、車載機器に対する操作を予測している。しかしながら、視線に基づくだけでは、運転者が意図する操作を正確に予測できていないのが実情である。

そこで、本発明は、車載機器に対する操作を、運転者の状況に適するように推定することができる情報推定システムなどを提供する。

本発明の一態様に係る情報推定システムは、車両に搭載された車載機器に対する操作項目と、操作項目が操作される際における車両の状況又は当該車両の走行状態の少なくとも一つである車両環境状態とを、複数の運転者毎に取得する取得部と、取得部が取得した複数の運転者のそれぞれの操作項目と車両環境状態とを関連付けて学習する学習部と、学習部の学習結果に基づいて、特定の運転者の所定時点での車両環境状態に対する操作項目を推定する推定部と、を備える。

本発明の一態様に係る情報推定方法は、車両に搭載された車載機器に対する操作項目と、操作項目が操作される際における車両の状況又は当該車両の走行状態の少なくとも一つである車両環境状態とを、複数の運転者のそれぞれ毎に取得し、取得した複数の運転者のそれぞれの操作項目と前記車両環境状態とを関連付けて学習し、学習結果に基づいて、特定の運転者の所定時点での車両環境状態に対する前記操作項目を推定する。

本発明の一態様に係るプログラムは、車両に搭載された車載機器に対する操作項目と、操作項目が操作される際における車両の状況又は当該車両の走行状態の少なくとも一つである車両環境状態とを、複数の運転者のそれぞれ毎に取得し、取得した複数の運転者のそれぞれの操作項目と車両環境状態とを関連付けて学習し、学習結果に基づいて、特定の運転者の所定時点での車両環境状態に対する操作項目を推定する。

この構成によれば、学習部が、取得部によって取得された複数の運転者のそれぞれの操作項目と車両環境状態とを関連付けて学習するので、特定の運転者だけでなく、その他の運転者の操作項目を考慮した学習が可能となる。そして、その学習結果に基づいて、推定部が、特定の運転者の所定時点での車両環境状態に対する操作項目を推定する。これにより、特定の運転者の操作上の傾向と、その他の運転者の操作上の傾向とを反映させて、特定の運転者の所定時点での操作項目を推定することができる。したがって、運転者の視線を用いなくとも、車載機器に対する操作を、運転者の状況に適するように推定することができる。

また、情報推定システムは、さらに、前記所定時点での前記車両環境状態を検出する検出部を備え、取得部は、操作項目と車両環境状態とが対応付けられた、複数の運転者毎の個人操作履歴を取得し、学習部は、取得部が取得した複数の運転者の個人操作履歴をモデル化することによって、少なくとも一部の運転者の操作項目と、車両環境状態との関係を示すドライバモデルを学習結果として構築し、推定部は、学習部によって構築されたドライバモデルにおいて、検出部が検出した車両環境状態に関連付けられた操作項目を、特定の運転者の所定時点での車両環境状態に対する前記操作項目としてもよい。

この構成によれば、ドライバモデルを用いて、特定の運転者の所定時点での操作項目を推定することができるので、特定の運転者の個人操作履歴が操作項目の推定に不十分であっても、特定の運転者の所定時点での操作項目を推定することができる。

また、推定部は、推定した操作項目の頻度が所定の閾値を越えない場合には、操作項目を採用しないこととしてもよい。

この構成によれば、推定部は、推定した操作項目の頻度が所定の閾値を越えない場合には当該操作項目を採用しない。換言すると、推定部は、推定した操作項目の頻度が所定の閾値を越えた場合には当該操作項目を採用するので、複数の運転者の傾向が際立った操作項目を採用することができる。

また、学習部は、複数の運転者のそれぞれについて、取得部が取得した車両環境状態と、操作項目との関係をニューラルネットワークに学習させる第一学習部と、特定の運転者に対して取得部が取得した車両環境状態と、操作項目とを用いて、特定の運転者に対する専用のニューラルネットワークを学習結果として構築する第二学習部とを備え、推定部は、専用のニューラルネットワークを用いて、特定の運転者の所定時点での車両環境状態に対する前記操作項目を推定してもよい。

この構成によれば、ニューラルネットワークを用いて、特定の運転者の所定時点での操作項目を推定することができるので、当該推定を適切に行うことができる。

また、情報推定システムは、さらに、推定部により推定された操作項目を報知する報知部を有してもよい。

この構成によれば、推定された操作項目が報知部によって報知されるため、どのような操作項目が実行されるのかを事前に運転者に把握させることができる。

また、情報推定システムは、さらに、推定部により推定された操作項目に基づいて車載機器を制御する機器制御部を備えてもよい。

この構成によれば、機器制御部が、推定部により推定された操作項目に基づいて車載機器を制御するので、推定された操作項目を自動で実行することができる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本発明によれば、車載機器に対する操作を運転者に適するように推定することができる。

実施の形態１に係る情報推定システムの要部構成を示すブロック図である。 実施の形態１に係る個人操作履歴の一例を示す説明図である。 実施の形態１に係る個人操作履歴の一例を示す図である。 実施の形態１に係るクラスタリング型のドライバモデルの構築方法を示す図である。 実施の形態１に係る、構築されたクラスタリング型のドライバモデルの一例を示す図である。 実施の形態１に係る、構築されたクラスタリング型のドライバモデルの別の一例を示す図である。 実施の形態１に係る個別適応型のドライバモデルの構築方法を示す図である。 実施の形態１に係る、構築された個別適応型のドライバモデルの一例を示す図である。 実施の形態１に係る、検出情報、推定内容、実行内容の関係性を示す図である。 実施の形態１に係る情報推定方法の流れを示すフローチャートである。 実施の形態２に係る情報推定システムの要部構成を示すブロック図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する実施の形態は一例であり、本発明はこれらの実施の形態により限定されるものではない。つまり、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

（実施の形態１）
図１は、実施の形態１に係る情報推定システム１００の要部構成を示すブロック図である。

情報推定システム１００は、車両１と、当該車両１がネットワークを介して通信可能なサーバ装置２００とを備えている。

車両１は、車載機器２と、検出部３と、制御部４と、通信部５とを有する。

車載機器２は、車両１に搭載された各種の機器である。具体的には、車載機器２は、車両１の走行には直接関係のない機器のことである。車載機器２は、エアコン２１と、カーナビ２２と、オーディオ２３とを含む。また、車載機器２としては図示していないがワイパー、ウィンドウ、サイドミラー、ライトなど、その他の機器も車載機器２に含まれる。各車載機器２は、運転者によって操作されるとその操作項目を制御部４へ出力する。操作項目とは、車載機器２のＯＮ／ＯＦＦや、ＯＮ状態での各種設定内容などである。

なお、車載機器２のうち、カーナビ２２は、車両１を目的地にまで案内するナビゲーションシステムであるが、それ以外にも車両１に関する種々の情報を報知する報知部としても機能する。なお、報知部は、カーナビ２２以外の、情報発信機能を有する車載機器２であってもよい。具体的には、報知部としては、ヘッドアップディスプレイ、センターディスプレイ、ハンドルやピラーに設置されているＬＥＤなどの発光体などのような情報を表示する表示部であってもよいし、情報を音声に変換して運転者に報知するスピーカであってもよいし、あるいは、運転者が感知できる位置（例えば、運転者の座席、ハンドルなど）に設けられる振動体であってもよい。また、報知部は、これらの組み合わせであってもよい。

検出部３は、現時点（所定時点）での、車両１の走行状態又は車両１の周囲の状況の少なくとも一つを含む車両環境状態を検出する。そして、検出部３は、車両環境状態を制御部４へ出力する。具体的には、検出部３は、車両１の車両環境状態を検出するセンサ群である。検出部３は、車外環境センサ３１と、車内環境センサ３２と、ドライバモニタセンサ３３などを備えている。

車外環境センサ３１は、車両１の車外の環境を検出するセンサである。具体的には、車外環境センサ３１は、位置情報を取得するＧＰＳ（Global Positioning System）センサ、ＣＡＮ（Controller Area Network）情報を取得するＣＡＮ情報取得部、車両１外の温度・湿度を検出する車外温湿度センサ、車外の照度を検出する車外照度センサ、ＡＤＡＳ（Advanced Driver Assistance Systems）情報を取得するＡＤＡＳ情報取得部などを備えている。

ＣＡＮ情報は、車両１の各電子制御ユニットから取得される情報である。ＣＡＮ情報としては、例えば、運転者が乗車してからの時間や、ワイパーの駆動状況、ライトの駆動状況、車速、ガソリン残量などが含まれている。

ＡＤＡＳ情報は、車両１の周囲に存在する他車両の位置及び大きさ、他車両と車両１との相対速度などを含んでいる。具体的には、ＡＤＡＳ情報は、車両１に搭載されたミリ波レーダ、レーザレーダやカメラなどから取得される、車両１の周囲に存在する他車両の位置及び車線位置情報などの情報である。

車内環境センサ３２は、車両１の車内の環境を検出するセンサである。具体的には、車内環境センサ３２は、車両１内の温度・湿度を検出する車内温湿度センサ、車内の照度を検出する車内照度センサなどを備えている。

ドライバモニタセンサ３３は、運転者の特徴量を検出するセンサである。具体的には、ドライバモニタセンサ３３は、車両１の車内に設置されたカメラである。運転者の特徴量としては、例えば、運転者の個人認証、運転者の視線、所作、姿勢、呼吸、心拍、脈波、温冷感などが挙げられる。

この車外環境センサ３１で検出された車外環境と、車内環境センサ３２で検出された車内環境と、ドライバモニタセンサ３３で検出された運転者の特徴量とを合わせて、車両環境状態とする。

制御部４は、図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備えており、ＲＯＭに記憶されたプログラムをＣＰＵがＲＡＭに展開して実行することで各部を制御する。具体的には、制御部４は、履歴記憶部４１と、推定部４２と、機器制御部４３とを備えている。

履歴記憶部４１は、各車載機器２に対する操作項目と、操作項目が操作される際における車両環境状態とを対応付けて、個人操作履歴として記憶する。

図２は、実施の形態１に係る個人操作履歴の一例を示す説明図である。図２は、個人操作履歴の一部を抜き出している。図２に示すように、運転者が「オーディオ音量ＵＰ」、「ウィンドウを開ける」、「エアコンＯＦＦ」という順で操作した場合には、各操作項目の操作時点での車両環境状態が記憶されている。

推定部４２は、特定の運転者の所定時点での車両環境状態に対する操作項目を推定する。ここで、特定の運転者とは、車両１に乗車している運転者のことである。推定部４２による推定処理については、後述する。

機器制御部４３は、推定部４２によって推定された操作項目に基づいて、車載機器２を制御する。具体的には、機器制御部４３は、複数の車載機器２うち、推定された操作項目に対応する車載機器２を選択し、当該車載機器２に当該操作項目を実行させる。この制御時においては、車載機器２に対して運転者が直接操作を行わなくても、推定された操作項目が自動で実行されることになる。なお、機器制御部４３は、自動で実行しなくとも、推定された操作項目を報知部によって報知することで、運転者に当該操作を促してもよい。

通信部５は、無線ＬＡＮのネットワークに接続された通信インターフェイスであり、サーバ装置２００に対してネットワークを介して通信可能となっている。具体的には、通信部５は、ネットワークを介してサーバ装置２００に対して、個人操作履歴を送信するとともに、サーバ装置２００での学習結果を受信する。

次にサーバ装置２００について説明する。

図１に示すように、サーバ装置２００は、クラウドサーバなどのサーバ装置であり、通信部２０１と、取得部２０２と、学習部２０３とを備えている。

通信部２０１は、無線ＬＡＮのネットワークに接続された通信インターフェイスであり、車両１に対してネットワークを介して通信可能となっている。具体的には、通信部２０１は、ネットワークを介して車両１の制御部４に対して、学習部２０３の学習結果を送信するとともに、車両１からの個人操作履歴を受信する。

取得部２０２は、ネットワークを介して各車両１から受信した複数の運転者毎の個人操作履歴を取得する。具体的には、取得部２０２は、ハードディスク装置やＳＳＤ（Solid State Drive）などの記憶装置であり、取得した複数の運転者毎の個人履歴を記憶している。

学習部２０３は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを備えており、ＲＯＭに記憶されたプログラムをＣＰＵがＲＡＭに展開して実行することで、取得部２０２から複数の運転者の個人操作履歴に基づいて学習（機械学習）を実行する。この学習結果に基づいて、推定部４２が現時点での運転者の操作項目を推定することができる。学習の一例として、ドライバモデルを用いる場合について説明する。以下においては、わかりやすくするために、車両環境状態や操作項目を単純化して説明する。

ここで、ドライバモデルは、運転者による車載機器２に対する操作項目の傾向を各操作項目の頻度の情報などに基づいてモデル化したものである。ドライバモデルは、複数の運転者の個人操作履歴を集約し、集約した個人操作履歴から構築される。具体的には、学習部２０３は、取得部２０２が取得した複数の運転者の個人操作履歴をモデル化することによって、少なくとも一部の運転者の操作項目と、車両環境状態との関係を示すドライバモデルを学習結果として構築する。

図３は、実施の形態１に係る個人操作履歴の一例を示す図である。図３では、車両環境状態として車両１の現在位置が「緯度３５度、経度１３５度」である場合に、運転者ｘが「オーディオ音量ＵＰ」、「ウィンドウを開ける」、「エアコンＯＦＦ」という操作項目の候補を３回、１回、５回選択したことが示されている。また、図３では、車両環境状態として車両１の現在位置が「緯度４０度、経度１３５度」である場合に、運転者ｘが「オーディオ音量ＵＰ」、「ウィンドウを開ける」、「エアコンＯＦＦ」という操作項目の候補を２回、２回、１回選択したことが示されている。運転者ｙについても同様である。

ドライバモデルには、複数のドライバの個人操作履歴をクラスタリングして構築するクラスタリング型と、特定の運転者（例えば、運転者ｘ）の個人操作履歴と類似する複数の個人操作履歴から運転者ｘのドライバモデルを構築する個別適応型とがある。

まず、クラスタリング型について説明する。クラスタリング型のドライバモデルの構築方法は、図３に示したような複数の運転者の個人操作履歴を予め集約する。そして、互いの個人操作履歴の類似度が高い複数の運転者、つまり、類似した操作傾向を有する複数の運転者をグループ化してドライバモデルを構築する。

図４は、実施の形態１に係るクラスタリング型のドライバモデルの構築方法を示す図である。図４には、運転者ａ〜ｆの個人操作履歴が表形式で示されている。そして、運転者ａ〜ｆの個人操作履歴から、モデルＡが運転者ａ〜ｃの個人操作履歴から構築され、モデルＢが運転者ｄ〜ｆの個人操作履歴から構築されることが示されている。

個人操作履歴の類似度は、例えば、運転者ａと運転者ｂの個人操作履歴における各頻度（各数値）を頻度分布として扱い、互いの頻度分布の相関値を算出し、算出した相関値を類似度としてもよい。この場合、例えば、運転者ａと運転者ｂの個人操作履歴から算出した相関値が所定値よりも高い場合に、運転者ａと運転者ｂの個人操作履歴を１つのグループとする。

なお、類似度の算出については、これに限定されない。例えば、運転者ａと運転者ｂの各個人操作履歴において、最も頻度の高い挙動が一致する数に基づいて、類似度を算出してもよい。

そして、クラスタリング型のドライバモデルは、例えば、各グループ内の運転者の個人操作履歴において、それぞれの頻度の平均を算出することによって構築される。

図５は、実施の形態１に係る、構築されたクラスタリング型のドライバモデルの一例を示す図である。図５で示した各グループ内の運転者の個人操作履歴において、それぞれの頻度の平均を算出することによって、各グループの個人操作履歴の平均頻度を導出する。このように、クラスタリング型のドライバモデルは、車両環境状態毎に定められた操作項目に対する平均頻度で構築される。

なお、ドライバモデルは、算出した平均頻度から最も頻度の高いもののみで構築してもよい。図６は、実施の形態１に係る、構築されたクラスタリング型のドライバモデルの別の一例を示す図である。図６に示すように、車両環境状態毎に最頻の操作項目が選択され、選択された操作項目からドライバモデルが構築される。

ここで、構築したクラスタリング型のドライバモデルの使用方法について、例を挙げて説明する。

図５に示したようなドライバモデルは、予めサーバ装置２００の取得部２０２に記憶されている。学習部２０３は、運転者ｙの個人操作履歴とドライバモデルの各モデルの個人操作履歴との類似度を算出し、どのモデルが運転者ｙに最も適しているかを判定する。例えば、図３に示した運転者ｙの個人操作履歴と図５に示したドライバモデルの場合、学習部２０３は、モデルＢが運転者ｙに最も適していると判定する。そして、学習部２０３は、この学習結果であるモデルＢを、通信部２０１からネットワークを介して車両１の推定部４２に送信する。推定部４２は、モデルＢに基づいて、特定の運転者ｙの所定時点での車両環境状態に対する操作項目を推定する。具体的には、推定した操作項目の頻度が所定の閾値を越えない場合には、操作項目を採用しない。換言すると、推定した操作項目の頻度が所定の閾値を越えたもののみを採用する。例えば、所定の閾値を４とすると、モデルＡの場合では、「緯度３５度、経度１３５度」という車両環境状態において「エアコンＯＦＦ」という操作項目が採用され、「緯度４０度、経度１３５度」という車両環境状態において「エアコンＯＦＦ」という操作項目が採用される。また、モデルＢの場合では、「緯度３５度、経度１３５度」という車両環境状態において「オーディオ音量ＵＰ」という操作項目が採用され、「緯度４０度、経度１３５度」という車両環境状態において「オーディオ音量ＵＰ」という操作項目が採用される。ここでは、判断基準として頻度を用いているが、出現割合を判断基準としてもよい。

そして、例えば、図３の示すように、運転者ｙの個人操作履歴に「緯度４０度、経度１３５度」という車両環境状態に対する操作項目の頻度が０、つまり、運転者ｙが「緯度４０度、経度１３５度」という車両環境状態において「オーディオ音量ＵＰ」、「ウィンドウを開ける」という操作項目を選択したことが無い場合においても、推定部４２は、図５に示すモデルＢに基づき、「緯度４０度、経度１３５度」という車両環境状態において、「オーディオ音量ＵＰ」を現時点での操作項目として推定できる。

次に、個別適応型について説明する。個別適応型のドライバモデルの構築方法は、クラスタリング型の場合と同様に、図３に示したような複数の運転者の個人操作履歴を予め集約する。ここで、クラスタリング型の場合と異なる点は、運転者毎にドライバモデルを構築する点である。以下では、運転者ｙに対してドライバモデルを構築する例について説明する。

まず、集約した複数の運転者の個人操作履歴の中から、運転者ｙの個人操作履歴と類似度が高い複数の運転者の個人操作履歴を抽出する。そして、抽出した複数の運転者の個人操作履歴から運転者ｙのドライバモデルを構築する。

図７は、実施の形態１に係る個別適応型のドライバモデルの構築方法を示す図である。図７には、図４と同様に、運転者ａ〜ｆの個人操作履歴が表形式で示されている。また、図７には、図３に示した運転者ｙの個人操作履歴と類似度が高い運転者ｃ〜ｅの個人操作履歴から運転者ｙのドライバモデルが構築されることが示されている。

個別適応型のドライバモデルは、抽出した各運転者の個人操作履歴において、それぞれの頻度の平均を算出することによって構築される。

図８は、実施の形態１に係る、構築された個別適応型のドライバモデルの一例を示す図である。図３に示した運転者ｙの個人操作履歴、及び、図７に示した運転者ｃ〜ｅの個人操作履歴において、車両環境状態毎に、各操作項目の平均頻度を導出する。このように、運転者ｙに対する個別適応型のドライバモデルは、各車両環境状態に対応する操作項目の平均頻度で構築される。

ここで、構築した個別適応型のドライバモデルの使用方法について、例を挙げて説明する。

図８に示したような運転者ｙのドライバモデルは、予めサーバ装置２００の取得部２０２に記憶されている。そして、学習部２０３は、運転者ｙのドライバモデルの各車両環境状態において、最も頻度が高い操作項目が運転者ｙに最も適した操作項目と判定する。

このように、予め複数の運転者の個人操作履歴から運転者個人のドライバモデルを構築することにより、運転者により適した操作項目を推定できる。

例えば、図３の示すように、運転者ｙの個人操作履歴に「緯度４０度、経度１３５度」という車両環境状態に対する操作項目の頻度が０、つまり、運転者ｙが「緯度４０度、経度１３５度」という車両環境状態において「オーディオ音量ＵＰ」、「ウィンドウを開ける」という操作項目を選択したことが無い場合においても、推定部４２は、図８に示す運転者ｙのモデルに基づき、「緯度４０度、経度１３５度」という車両環境状態において、「エアコンＯＦＦ」を現時点での操作項目として推定できる。

なお、上記で説明したドライバモデルは、車両環境状態毎の運転者による操作項目の傾向を各操作項目の頻度の情報などに基づいてモデル化したものであったが、これに限定されない。例えば、ドライバモデルは、過去の車両環境状態（つまり、シチュエーション）を示す環境パラメータと、その車両環境状態において運転者が実際に選択した操作項目とを対応させた個人操作履歴に基づいて構築されてもよい。環境パラメータをドライバモデルに組み込むことにより、車両環境状態の検出・分類を別途行い、その分類結果をドライバモデルに入力（記憶）するという手続きを踏むことなく、選択肢を決めることができる。

ここまではドライバモデルの構築について、車両環境状態や操作項目を単純化して説明した。もう少し複雑な例を挙げると、例えばパラメータが連続値であった場合は図３のような表は作成できない。そこで入力値を車両環境状態とし、出力値を各操作項目とした学習によりドライバモデルを構築する。

具体的には、クラスタリング型の場合、混合分布モデルを使うことによって運転者を複数のクラスタに分けることができる。即ち、同じデータの分布を持つ運転者を同じクラスタとし、異なるデータ分布を持つ運転者を異なるクラスタとすることで、複数の運転者をいくつかのクラスタに分ける。さらに、個々のクラスタでの学習モデルが各々ドライバモデルとなる。ある車両における推定をする場合、対象の運転者に対して、個人操作履歴と各クラスタのドライバモデルを照らし合わせ、最も近いクラスタを選択することでドライバモデルを決定する。個別適応型の場合、各ドライバ毎に代表的なデータを複数項目用意し保持しておく。ある車両における推定をする場合、対象の運転者との相関の高い運転者を抽出しグループを作成する。このグループ内に含まれる運転者の個人操作履歴から学習を行い、ドライバモデルを作成する。このときの学習は、ランダムフォレストでもよいし、勾配ブースティング法でもよいし、ＳＶＭ（Support Vector Machine）でもよい。

得られたドライバモデルは、入力を車両環境状態、出力値を各操作項目とする学習モデルであるため、推定時にはセンサ等から取得した車両環境状態を入力することで各操作項目毎の尤度を出力することができる。これを常時もしくはあるインターバル間に行い、尤度が閾値を越えた場合に操作を推定することができる。

得られた推定結果を「音量をあげますか？」などのように音声や表示装置などでリコメンドすることができる。運転者は、「ＹＥＳ／ＮＯ」を音声／ステアリングスイッチなどで応答するだけで操作を実行することができる。

この際、ＮＯと回答された場合、その結果を再学習することにより精度を高めることができる。

次に、車両環境状態の他の例や、それらによって推定されうる操作項目の例について説明する。

図９は、実施の形態１に係る、検出情報、推定内容、実行内容の関係性を示す図である。

検出情報は、検出部３によって検出される情報のことである。検出情報には、「時間情報」、「位置情報」、「車速」、「ガソリン残量」、「テルテール点灯状態」、「アクセル操作量」、「ブレーキ操作量」、「ステアリング操作量」、「周辺障害物情報」、「雨滴センサ情報」、「ワイパー情報」、「照度計情報」、「ライト情報」、「温度センサ情報」、「エアコン情報」、「オーディオ情報」、「ナビ情報」、「視線情報」、「手の位置」、「脈拍、心拍」などが含まれている。なお、「視線情報」、「手の位置」、「脈拍、心拍」とは、ドライバモニタセンサ３３により検出される運転者の特徴量である。

推定内容は、検出情報を基づいて推定可能な項目である。推定内容には、「自宅、勤務先、通学先位置推定」、「通勤、通学、旅行時間推定」、「給油タイミング推定」、「お気に入りＧＳ（ガソリンスタンド）ブランド推定」、「ラジオ番組推定」、「オーディオ音量推定」、「エアコン温度設定推定」、「エアコン風量設定推定」、「エアコンモード設定推定」、「ワイパー作動タイミング推定」、「ワイパー設定推定」、「ライト点灯タイミング推定」などが含まれている。

実行内容は、推定内容に基づいて車両１で実行される項目である。実行内容には、「通勤、通学時に聴くラジオ番組への自動切り替え」、「通勤、帰宅経路の変更レコメンド」、「給油タイミング（往路、復路、週末）のレコメンド」、「夏季乗車時の冷房自動設定」、「冬季乗車時の暖房自動設定」、「ワイパーの自動作動」、「ライトの自動点灯」などが含まれている。

そして、図９中における矢印は、各項目の関係性を示している。具体的には、推定内容を推定するために必要な検出情報が矢印で繋がれている。また、実行内容を決定するために必要な推定内容が矢印で繋がれている。例えば、「通勤、通学時に聴くラジオ番組への自動切り替え」という実行内容を決定する際には、「自宅、通勤先、通学先位置推定」と、「ラジオ番組推定」という推定内容が用いられる。そして、「自宅、通勤先、通学先位置推定」の推定には、「時間情報」と「位置情報」とが用いられ、「ラジオ番組推定」には、「時間情報」と「オーディオ情報」とが用いられる。各推定には、当該推定に適したドライバモデルが構築されているので、これにより、車両１を運転する運転者（ユーザー）の嗜好にあったラジオ番組が選択されるのではなく、そのユーザーの操作傾向に類似した他の運転者の操作傾向も反映したラジオ番組が推定されることになる。つまり、ユーザーは意図していないものの、当該ユーザーの嗜好にあったラジオ番組が、車両環境状態に合わせて自動的に切り替えられることになる。

また、「給油タイミングのレコメンド」という実行内容を決定する際には、「自宅、勤務先、通学先位置推定」と、「給油タイミング推定」と、「お気に入りＧＳブランド推定」という推定内容が用いられる。そして、「自宅、通勤先、通学先位置推定」の推定には「時間情報」と「位置情報」とが用いられる。「給油タイミング推定」の推定には「時間情報」と「ガソリン残量」とが用いられる。「お気に入りＧＳブランド推定」の推定には「時間情報」と「位置情報」と「ガソリン残量」とが用いられる。これらの推定には、当該推定に適したドライバモデルが構築されているので、これにより、ユーザーだけでなく、その他の運転者の給油タイミング傾向を反映させて、給油タイミングが推定されることになる。つまり、ユーザーは、見知らぬ土地を走行している際にも、当該ユーザーの嗜好にあったガソリンスタンドでの給油が報知されることになる。

また、「エアコンの自動設定」という実行内容を決定する際には、「エアコン温度設定推定」と「エアコン風量設定推定」と「エアコンモード設定推定」という推定内容が用いられる。「エアコン温度設定推定」の推定には、「温度センサ情報」と「エアコン情報」とが用いられる。「エアコン風量設定推定」の推定には「エアコン情報」が用いられる。「エアコンモード設定推定」には「エアコン情報」が用いられる。これらの推定には、当該推定に適したドライバモデルが構築されているので、これにより、ユーザーだけでなく、その他の運転者のエアコンに対する操作傾向を反映させて、エアコン設定が推定されることになる。なお、これに加えて、「時間情報」や「位置情報」、「視線情報」、「手の位置」、「脈拍、心拍」などを用いることで、より細かな推定が可能となる。

また、推定により実行可能なその他の実行内容について例示する。

例えば、周辺音量と、車速と、ウィンドウ状態と、エアコン風量設定とに基づいて、オーディオ音量を推定した場合には、走行時のノイズを考慮して、オーディオの音量を調整することが可能である。

また、オーディオで再生されている再生コンテンツに基づいて、オーディオ音量を推定した場合には、再生コンテンツの種類ごとにオーディオの音量を調整することが可能である。

また、運転者の特徴量に基づいて、カーナビ２２に対する操作項目を推定した場合には、運転者の姿勢に連動させてカーナビ２２の報知内容を制御することが可能である。具体的には、運転者の視線変動に合わせてスクロールしたり、現在地や道路状況を音声出力させたりすることが可能である。

また、ＡＤＡＳ情報、位置情報、車速、ギア位置に基づいて、ミラー操作を想定した場合には、車両１の走行状態に基づいてミラーの姿勢を制御することが可能である。具体的には、車両１がバックしている際のミラーの傾きを制御することができる。

また、アクセル操作量、ブレーキ操作量、ステアリング操作量に基づいて、再生コンテンツの選択を推定した場合には、車両１の加減速や操舵の速さに応じて、再生コンテンツを制御することができる。

また、位置情報に基づいてウィンドウ操作を推定する場合には、位置情報に関連付けてウィンドウ操作を制御することができる。具体的には、よく利用している駐車場の駐車券発券機近くの位置情報を検出した際に、自動でウィンドウを開ける制御を行うことができる。

次に、図１０のフローチャートに基づいて、実施の形態１に係る情報推定方法について説明する。図１０は、実施の形態１に係る情報推定方法の流れを示すフローチャートである。車両１及びサーバ装置２００では各々が記憶するプログラムに基づいて、情報推定方法を実行する。プログラム実行時においては、車両１の制御部４は、通信部５からネットワークを介してサーバ装置２００に、運転者の個人操作履歴を常に送信している。サーバ装置２００では、複数の車両１からネットワークを介して個人操作履歴が送信されており、これにより、取得部２０２が複数の運転者のそれぞれの個人操作履歴を取得している（ステップＳ１）。

次いで、学習部２０３は、取得した複数の運転者のそれぞれの個人操作履歴内にある操作項目と車両環境状態とを関連付けて学習し、その学習結果を車両１の推定部４２に送信する（ステップＳ２）。

推定部４２は、学習部２０３の学習結果に基づいて、特定の運転者の所定時点での車両環境状態に対する操作項目を推定する（ステップＳ３）。

推定後においては、機器制御部４３は、推定された操作項目を報知又は実行する。具体的には、機器制御部４３は、複数の車載機器２うち、推定された操作項目に対応する車載機器２を選択し、当該車載機器２に当該操作項目を実行させる（ステップＳ４）。これにより、推定された操作項目が自動で操作される。また、機器制御部４３は、推定された操作項目を報知部によって報知することで、運転者に当該操作を促す。自動操作及び報知は、一方だけが行われてもよい。

以上のように、本実施の形態に係る情報推定システム１００は、車両１に搭載された車載機器２に対する操作項目と、操作項目が操作される際における車両１の状況又は当該車両の走行状態の少なくとも一つである車両環境状態とを、複数の運転者毎に取得する取得部２０２と、取得部２０２が取得した複数の運転者のそれぞれの操作項目と車両環境状態とを関連付けて学習する学習部２０３と、学習部２０３の学習結果に基づいて、特定の運転者の所定時点での車両環境状態に対する操作項目を推定する推定部４２と、を備える。

また、本実施の形態に係る情報推定方法は、車両１に搭載された車載機器２に対する操作項目と、操作項目が操作される際における車両１の状況又は当該車両の走行状態の少なくとも一つである車両環境状態とを、複数の運転者のそれぞれ毎に取得し、取得した複数の運転者のそれぞれの操作項目と車両環境状態とを関連付けて学習し、学習結果に基づいて、特定の運転者の所定時点での車両環境状態に対する操作項目を推定する。

また、本実施の形態に係るプログラムは、車両１に搭載された車載機器に対する操作項目と、操作項目が操作される際における車両の状況又は当該車両の走行状態の少なくとも一つである車両環境状態とを、複数の運転者のそれぞれ毎に取得し、取得した複数の運転者のそれぞれの操作項目と車両環境状態とを関連付けて学習し、学習結果に基づいて、特定の運転者の所定時点での車両環境状態に対する操作項目を推定することをコンピュータに実行させる。

この構成によれば、学習部２０３が、取得部２０２によって取得された複数の運転者のそれぞれの操作項目と車両環境状態とを関連付けて学習するので、特定の運転者だけでなく、その他の運転者の操作項目を考慮した学習が可能となる。そして、その学習結果に基づいて、推定部４２が、特定の運転者の所定時点での車両環境状態に対する操作項目を推定する。これにより、特定の運転者の操作上の傾向と、その他の運転者の操作上の傾向とを反映させて、特定の運転者の所定時点での操作項目を推定することができる。したがって、運転者の視線を用いなくとも、車載機器２に対する操作を、運転者の状況に適するように推定することができる。

また、情報推定システム１００は、さらに、所定時点での車両環境状態を検出する検出部３を備えている。取得部２０２は、操作項目と車両環境状態とが対応付けられた、複数の運転者毎の個人操作履歴を取得する。学習部２０３は、取得部２０２が取得した複数の運転者の個人操作履歴をモデル化することによって、少なくとも一部の運転者の操作項目と、車両環境状態との関係を示すドライバモデルを学習結果として構築する。推定部４２は、学習部２０３によって構築されたドライバモデルにおいて、検出部３が検出した車両環境状態に関連付けられた操作項目を、特定の運転者の所定時点での車両環境状態に対する操作項目とする。

この構成によれば、ドライバモデルを用いて、特定の運転者の所定時点での操作項目を推定することができるので、特定の運転者の個人操作履歴が操作項目の推定に不十分であっても、特定の運転者の所定時点での操作項目を推定することができる。

また、推定部４２は、推定した操作項目の頻度が所定の閾値を越えない場合には、操作項目を採用しない。

この構成によれば、推定部４２は、推定した操作項目の頻度が所定の閾値を越えない場合には当該操作項目を採用しない。換言すると、推定部は、推定した操作項目の頻度が所定の閾値を越えた場合には当該操作項目を採用するので、複数の運転者の傾向が際立った操作項目を採用することができる。

また、情報推定システム１００は、推定部４２により推定された操作項目を報知する報知部（カーナビ２２）を有している。

この構成によれば、推定された操作項目が報知部によって報知されるため、どのような操作項目が実行されるのかを事前に運転者に把握させることができる。また、操作項目が自動で操作されない場合でも、当該操作項目が報知されることで、推奨される操作を運転者に促すことができる。

また、情報推定システム１００は、推定部４２により推定された操作項目に基づいて車載機器２を制御する機器制御部４３を備える。

この構成によれば、機器制御部４３が、推定部４２により推定された操作項目に基づいて車載機器２を制御するので、推定された操作項目を自動で実行することができる。

（実施の形態２）
上記実施の形態１では、学習としてドライバモニタを構築する場合を例示して説明した。この実施の形態２では、学習としてニューラルネットワークを用いる場合について説明する。なお、以下の説明において実施の形態１と同等の部分においては、同一の符号を付してその説明を省略する場合がある。

図１１は、実施の形態２に係る情報推定システム１００Ａの要部構成を示すブロック図である。実施の形態２に係る情報推定システム１００Ａは、概ね実施の形態１の情報推定システム１００と同等であるが、車両１Ａの制御部４ａからは推定部が除かれた点と、サーバ装置２００Ａに推定部２４２が設けられた点と、学習部２０３Ａの構成が異なる点とで異なる。つまり、実施の形態２に係る情報推定システム１００Ａは、推定までサーバ装置２００Ａで実行し、その推定結果を車両１Ａに送信するようになっている。

サーバ装置２００Ａの学習部２０３Ａは、第一学習部２０３１と、第二学習部２０３２とを備えている。第一学習部２０３１は、複数の運転者のそれぞれについて、取得部２０２が取得した車両環境状態と、操作項目との関係（個人操作履歴）をニューラルネットワークに学習させる。第二学習部２０３２は、特定の運転者に対して取得部２０２が取得した車両環境状態と、操作項目とを用いて、特定の運転者に対する専用のニューラルネットワークを学習結果として構築する。推定部２４２は、学習結果である専用のニューラルネットワークを用いて、特定の運転者の所定時点での車両環境状態に対する操作項目を推定する。

この構成によれば、ニューラルネットワークを用いて、特定の運転者の所定時点での操作項目を推定することができるので、当該推定を適切に行うことができる。

なお、ニューラルネットワークを用いた学習については、周知の機械学習内容が採用され得る。例えば、車両環境状態を入力として、各操作項目のヒストグラムを出すニューラルネットワークを構築することで同様の操作推定を行うことができる。

（その他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１、２を説明した。しかしながら、本実施の形態における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

例えば、上記実施の形態１，２では、情報推定システム１００、１００Ａが車両１及びサーバ装置２００、２００Ａを備える場合を例示した。しかしながら、車両が情報推定システムであってもよい。この場合、車両だけで情報推定方法が実現できる。なお、この場合、車両の制御部が取得部及び学習部を備える。取得部は、通信によって他の運転者の個人操作履歴を取得すればよい。また、他の運転者の個人操作履歴を記憶した記憶媒体を、車両の制御部に接続することで、当該記憶媒体から他の運転者の個人操作履歴を取得してもよい。

また、本発明に係る実施の形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現され得る。

上述した機能をプログラムにより実現するコンピュータは、キーボードやマウス、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、プロセッサまたはＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク装置やＳＳＤ（Solid State Drive）などの記憶装置、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）やＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。

そして、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。

そして、プロセッサまたはＣＰＵが、記憶装置に記憶されたプログラムをＲＡＭにコピーし、そのプログラムに含まれる命令をＲＡＭから順次読み出して実行することにより、上記各装置の機能が実現される。

本発明に係る情報推定システム、情報推定方法及びプログラムは、車載機器に対する操作に関する情報を処理する装置またはシステムに適用することができる。

１、１Ａ 車両
２ 車載機器
３ 検出部
４、４ａ 制御部
２２ カーナビ（報知部）
４１ 履歴記憶部
４２ 推定部
４３ 機器制御部
１００、１００Ａ 情報推定システム
２００、２００Ａ サーバ装置
２０２ 取得部
２０３、２０３Ａ 学習部
２４２ 推定部
２０３１ 第一学習部
２０３２ 第二学習部

Claims (8)

1. 車両に搭載された車載機器に対する操作項目と、前記操作項目が操作される際における前記車両の状況又は当該車両の走行状態の少なくとも一つである車両環境状態とを、複数の運転者毎に取得する取得部と、
   前記取得部が取得した前記複数の運転者のそれぞれの前記操作項目と前記車両環境状態とを関連付けて学習する学習部と、
   前記学習部の学習結果に基づいて、特定の運転者の所定時点での前記車両環境状態に対する前記操作項目を推定する推定部と、を備える
   情報推定システム。
2. さらに、前記所定時点での前記車両環境状態を検出する検出部を備え、
   前記取得部は、前記操作項目と前記車両環境状態とが対応付けられた、前記複数の運転者毎の個人操作履歴を取得し、
   前記学習部は、前記取得部が取得した前記複数の運転者の前記個人操作履歴をモデル化することによって、少なくとも一部の運転者の前記操作項目と、前記車両環境状態との関係を示すドライバモデルを前記学習結果として構築し、
   前記推定部は、前記学習部によって構築された前記ドライバモデルにおいて、前記検出部が検出した前記車両環境状態に関連付けられた前記操作項目を、前記特定の運転者の所定時点での前記車両環境状態に対する前記操作項目とする
   請求項１に記載の情報推定システム。
3. 前記推定部は、推定した前記操作項目の頻度が所定の閾値を越えない場合には、前記操作項目を採用しない
   請求項２に記載の情報推定システム。
4. 前記学習部は、
   前記複数の運転者のそれぞれについて、前記取得部が取得した前記車両環境状態と、前記操作項目との関係をニューラルネットワークに学習させる第一学習部と、
   前記特定の運転者に対して前記取得部が取得した前記車両環境状態と、前記操作項目とを用いて、前記特定の運転者に対する専用のニューラルネットワークを前記学習結果として構築する第二学習部とを備え、
   前記推定部は、前記専用のニューラルネットワークを用いて、前記特定の運転者の所定時点での前記車両環境状態に対する前記操作項目を推定する
   請求項１に記載の情報推定システム。
5. さらに、前記推定部により推定された前記操作項目を報知する報知部を有する
   請求項１〜４のいずれか一項に記載の情報推定システム。
6. さらに、前記推定部により推定された前記操作項目に基づいて前記車載機器を制御する機器制御部を備える
   請求項１〜５のいずれか一項に記載の情報推定システム。
7. 車両に搭載された車載機器に対する操作項目と、前記操作項目が操作される際における前記車両の状況又は当該車両の走行状態の少なくとも一つである車両環境状態とを、複数の運転者のそれぞれ毎に取得し、
   取得した前記複数の運転者のそれぞれの前記操作項目と前記車両環境状態とを関連付けて学習し、
   学習結果に基づいて、特定の運転者の所定時点での前記車両環境状態に対する前記操作項目を推定する
   情報推定方法。
8. 車両に搭載された車載機器に対する操作項目と、前記操作項目が操作される際における前記車両の状況又は当該車両の走行状態の少なくとも一つである車両環境状態とを、複数の運転者のそれぞれ毎に取得し、
   取得した前記複数の運転者のそれぞれの前記操作項目と前記車両環境状態とを関連付けて学習し、
   学習結果に基づいて、特定の運転者の所定時点での前記車両環境状態に対する前記操作項目を推定することをコンピュータに実行させる
   プログラム。

Images