JP2017162385A - 情報提供装置及び情報提供プログラム - Google Patents

Abstract

【課題】運転者の負担を抑えつつ、運転者の意図に即した情報の提供を行うことのできる情報提供装置及び情報提供プログラムを提供する。【解決手段】エージェントＥＣＵ１００は、車載機器の操作提案に対する運転者からの応答の履歴データを用いて報酬関数を設定するとともに、当該報酬関数に基づく強化学習により状態空間を構成する各状態において行動空間を構成する各行動が実行される確率分布を算出する。また、確率分布のばらつき度合いを情報エントロピーとして算出するとともに、当該情報エントロピーを状態空間を構成する各状態について合算することにより平均エントロピーを算出する。そして、平均エントロピーが閾値以上であるときには複数の候補の中から対象となる行動を選択して出力する試行錯誤的な操作提案を行い、平均エントロピーの値が閾値未満であるときには対象となる行動を固定して出力する確定的な操作提案を行う。【選択図】図１

Description

本発明は、提供した情報に対するユーザ（運転者）からの応答の履歴データを蓄積して学習し、その学習結果に基づきユーザ（運転者）の意図に即した情報の提供を行う情報提供装置及び情報提供プログラムに関する。

従来、この種の情報提供装置として、例えば特許文献１に記載の装置（ユーザインターフェースシステム）が知られている。この装置では、音声入力による機能の実行に際してまず、現時点における車両の状況に関する情報を用いてユーザ（運転者）が行うであろう音声操作の候補を推定し、それら推定した音声操作の候補のうち確率の高い順に３つの候補を選択肢としてタッチパネルに表示する。続いて、これら選択肢の中から運転者が手入力により選択した候補を判断して音声操作の対象を決定するとともに、当該決定した音声操作の対象に合わせてユーザに音声入力を促すガイダンスを生成して出力する。その後、このガイダンスに応じて運転者が音声入力を行うことにより、対象となる車両機能を決定して実行するようにしている。そして、このように現時点における車両の状況に応じてユーザの意図に沿う音声操作の入口が提供されることにより、音声入力を行うユーザの操作負荷が軽減されるようになっている。

国際公開ＷＯ２０１５／１６２６３８号公報

ところで、上記文献に記載の装置では、車両機能の実行に際し、タッチパネルに表示された選択肢に対する手入力による操作モードから音声入力による操作モードへとユーザインターフェースが切り替わってしまうため、運転者の負荷の増大が不可避となっていた。

また、上記文献に記載の装置では、音声操作の入口は簡素化されるものの、その後の操作は既存の音声対話システムと同様の機能が実現されているにすぎず、運転者の負荷の更なる軽減が望まれていた。

本発明は、このような実情に鑑みてなされたものであり、その目的は、簡素なユーザインターフェースを一貫して用いることにより、運転者の負荷を抑えつつ情報の提供として運転者の意図に即したより適切な車載機器の操作提案を実行することのできる情報提供装置及び情報提供プログラムを提供することにある。

以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する情報提供装置は、複数の種類の車両データを関連付けすることにより車両の状態を定義して複数の状態の集合である状態空間を構成する状態空間構成部と、車載機器の操作提案に対する運転者からの応答により実行される車載機器の操作内容を示すデータを行動として定義して複数の行動の集合である行動空間を構成する行動空間構成部と、前記車載機器の操作提案に対する運転者からの応答の履歴を蓄積し、該蓄積された履歴を用いつつ前記車載機器の操作提案の適正度合いを表す指標として報酬関数を設定するとともに、当該報酬関数に基づく強化学習により前記状態空間を構成する各状態において前記行動空間を構成する各行動が実行される確率分布を算出する強化学習部と、前記強化学習部により算出される確率分布のばらつき度合いを演算するばらつき度合い演算部と、前記ばらつき度合い演算部により演算される確率分布のばらつき度合いが閾値未満となるときには対象となる行動を操作提案の対象として固定して出力する確定的な操作提案を行い、前記ばらつき度合い演算部により演算される確率分布のばらつき度合いが前記閾値以上であるときには複数の候補の中から対象となる行動を操作提案の対象として選択して出力する試行錯誤的な操作提案を行う情報提供部とを備える。

また、上記課題を解決する情報提供プログラムは、コンピュータに、複数の種類の車両データを関連付けすることにより車両の状態を定義して複数の状態の集合である状態空間を構成する状態空間構成機能と、車載機器の操作提案に対する運転者からの応答により実行される車載機器の操作内容を示すデータを行動として定義して複数の行動の集合である行動空間を構成する行動空間構成機能と、前記車載機器の操作提案に対する運転者からの応答の履歴を蓄積し、該蓄積された履歴を用いつつ前記車載機器の操作提案の適正度合いを表す指標として報酬関数を設定するとともに、当該報酬関数に基づく強化学習により前記状態空間を構成する各状態において前記行動空間を構成する各行動が実行される確率分布を算出する強化学習機能と、前記強化学習機能により算出される確率分布のばらつき度合いを演算するばらつき度合い演算機能と、前記ばらつき度合い演算機能において演算される確率分布のばらつき度合いが閾値未満であるときには対象となる行動を操作提案の対象として固定して出力する確定的な操作提案を行い、前記ばらつき度合い演算機能において演算される確率分布のばらつき度合いが前記閾値以上であるときには複数の候補の中から対象となる行動を操作提案の対象として選択して出力する試行錯誤的な操作提案を行う情報提供機能とを実現させるためのプログラムである。

上記構成では、車載機器の操作提案に対する運転者からの応答の履歴を用いつつ車載機器の操作提案の適正度合いを表す指標として報酬関数を設定している。そして、この報酬関数に基づく強化学習により、各状態における車載機器の操作提案に対する運転者の意思決定のモデルを構築している。また、この構築したモデルを用いつつ、各状態において車載機器の操作提案に対する運転者からの応答により実行する車載機器の操作内容の確率分布が算出される。ここで、車載機器の操作内容の確率分布のばらつき度合いは、車載機器の操作提案の対象によって異なるのが普通である。例えば、車載機器の操作提案の対象が音声の再生であれば、一般に車両の状態だけでなくそのときの運転者の気分等によっても影響を受けやすくその選択肢も多岐に亘るため、車載機器の操作内容の確率分布のばらつき度合いが大きくなる可能性が高い。その一方で、車載機器の操作提案の対象が目的地の設定であれば、一般に音声の再生と比較すればその都度の車両の状態から選択肢も絞りやすいため、車載機器の操作内容の確率分布のばらつき度合いが小さくなる可能性が高い。この点、上記構成では、確率分布のばらつき度合いが閾値未満であるときには、対象となる行動を操作提案の対象として固定して出力する確定的な操作提案を行うようにすることで、運転者に車載機器の操作内容を選択する手間をかけることなく、運転者の意図に即した車載機器の操作提案を行うようにしている。一方、上記構成では、確率分布のばらつき度合いが閾値以上であるときには、複数の候補の中から対象となる行動を操作提案の対象として選択して出力する試行錯誤的な操作提案を行うようにすることで、運転者の意図に即した車載機器の操作提案をより的確に行うようにしている。すなわち上記構成では、確率分布のばらつき度合いが大きい場合であれ、小さい場合であれ、操作提案の対象として一度に出力される車載機器の操作内容は一つのみであるため、運転者としてはその都度提案される車載機器の操作内容について同意の有無を意思表示しさえすればよい。そのため、目的地の設定及び音声の再生といった確率分布のばらつき度合いが異なる異種の車載機器の操作提案に対する応答を簡素かつ同一のユーザインターフェースを用いつつ一貫して行うことができる。これにより、運転者の負荷を抑えつつ運転者の意図に即した車載機器の操作提案を実行することが可能となる。

上記課題を解決する情報提供装置は、複数の種類の車両データを関連付けすることにより車両の状態を定義して複数の状態の集合である状態空間を構成する状態空間構成部と、車載機器の操作提案に対する運転者からの応答により実行される車載機器の操作内容を示すデータを行動として定義して複数の行動の集合である行動空間を構成する行動空間構成部と、前記車載機器の操作提案に対する運転者からの応答の履歴を蓄積し、該蓄積された履歴を用いつつ前記車載機器の操作提案の適正度合いを表す指標として報酬関数を設定するとともに、当該報酬関数に基づく強化学習により前記状態空間を構成する各状態において前記行動空間を構成する各行動が実行される確率分布を算出する強化学習部と、前記強化学習部により算出される確率分布のばらつき度合いを前記状態空間を構成する複数の状態について合算することにより前記状態空間のばらつき度合いを演算するばらつき度合い演算部と、前記ばらつき度合い演算部により演算される前記状態空間のばらつき度合いが閾値未満であるときには対象となる行動を操作提案の対象として固定して出力する確定的な操作提案を行い、前記ばらつき度合い演算部により演算される前記状態空間のばらつき度合いが前記閾値以上であるときには複数の候補の中から対象となる行動を操作提案の対象として選択して出力する試行錯誤的な操作提案を行う情報提供部とを備える。

また、上記課題を解決する情報提供プログラムは、コンピュータに、複数の種類の車両データを関連付けすることにより車両の状態を定義して複数の状態の集合である状態空間を構成する状態空間構成機能と、車載機器の操作提案に対する運転者からの応答により実行される車載機器の操作内容を示すデータを行動として定義して複数の行動の集合である行動空間を構成する行動空間構成機能と、前記車載機器の操作提案に対する運転者からの応答の履歴を蓄積し、該蓄積された履歴を用いつつ前記車載機器の操作提案の適正度合いを表す指標として報酬関数を設定するとともに、当該報酬関数に基づく強化学習により状態空間を構成する各状態において行動空間を構成する各行動が実行される確率分布を算出する強化学習機能と、前記強化学習機能により算出される確率分布のばらつき度合いを前記状態空間を構成する複数の状態について合算することにより前記状態空間のばらつき度合いを演算するばらつき度合い演算機能と、前記ばらつき度合い演算機能において演算される状態空間のばらつき度合いが閾値未満であるときには対象となる行動を操作提案の対象として固定して出力する確定的な操作提案を行い、前記ばらつき度合い演算機能において演算される状態空間のばらつき度合いが前記閾値以上であるときには複数の候補の中から対象となる行動を操作提案の対象として選択して出力する試行錯誤的な操作提案を行う情報提供機能とを実現させるためのプログラムである。

上記構成では、車載機器の操作提案に対する運転者からの応答の履歴を用いつつ車載機器の操作提案の適正度合いを表す指標として報酬関数を設定している。そして、この報酬関数に基づく強化学習により、各状態における車載機器の操作提案に対する運転者の意思決定のモデルを構築している。また、この構築したモデルを用いつつ、各状態において車載機器の操作提案に対する運転者からの応答により実行する車載機器の操作内容の確率分布が算出される。ここで、車載機器の操作内容の確率分布のばらつき度合いは、車載機器の操作提案の対象によって異なるのが普通である。例えば、車載機器の操作提案の対象が音声の再生であれば、一般に車両の状態だけでなくそのときの運転者の気分等によっても影響を受けやすくその選択肢も多岐に亘るため、車載機器の操作内容の確率分布のばらつき度合いが大きくなる可能性が高い。その一方で、車載機器の操作提案の対象が目的地の設定であれば、一般に音声の再生と比較すればその都度の車両の状態から選択肢も絞りやすいため、車載機器の操作内容の確率分布のばらつき度合いが小さくなる可能性が高い。この点、上記構成では、確率分布のばらつき度合いの合算値から求めた状態空間のばらつき度合いが閾値未満であるときには、対象となる行動を操作提案の対象として固定して出力する確定的な操作提案を行うようにすることで、運転者に車載機器の操作内容を選択する手間をかけることなく、運転者の意図に即した車載機器の操作提案を行うようにしている。一方、上記構成では、確率分布のばらつき度合いの合算値から求めた状態空間のばらつき度合いが閾値以上であるときには、複数の候補の中から対象となる行動を操作提案の対象として選択して出力する試行錯誤的な操作提案を行うようにすることで、運転者の意図に即した車載機器の操作提案をより的確に行うようにしている。すなわち上記構成では、状態空間のばらつき度合いが大きい場合であれ、小さい場合であれ、操作提案の対象として一度に出力される車載機器の操作内容は一つのみであるため、運転者としてはその都度提案される車載機器の操作内容について同意の有無を意思表示しさえすればよい。そのため、目的地の設定及び音声の再生といった状態空間のばらつき度合いが異なる異種の車載機器の操作提案に対する応答を簡素かつ同一のユーザインターフェースを用いつつ一貫して行うことができる。これにより、運転者の負荷を抑えつつ運転者の意図に即した車載機器の操作提案を実行することが可能となる。

上記情報提供装置において、前記強化学習部は、前記状態空間を構成する各状態から前記行動空間を構成する各行動への写像を方策とするとともに、前記各状態において前記方策に従った場合に得られる累積報酬の期待値を状態価値関数とし、前記状態空間を構成する全ての状態において前記状態価値関数を最大にする前記方策を最適方策としたとき、前記状態空間を構成する各状態において前記行動空間の中から所定の行動を選択した後に常に前記最適方策に従う場合に得られる累積報酬の期待値を最適行動価値関数として推定して、当該推定した最適行動価値関数に基づいて前記確率分布を算出するものであり、前記情報提供部は、前記ばらつき度合い演算部により演算される前記状態空間のばらつき度合いが前記閾値未満であるときには、現在の状態において前記最適行動価値関数を最大化する行動を対象として前記確定的な操作提案を行うことが好ましい。

上記構成では、状態空間のばらつき度合いが閾値未満であるときには、現在の状態において最適行動価値関数を最大化する行動、すなわち現在の状態において最も価値のある行動であって運転者がとる可能性が最も高いと想定される行動を対象として確定的な操作提案を実行するようにしている。これにより、運転者の意図に即した車載機器の操作提案をより一層高い信頼性をもって実現することが可能となる。

上記情報提供装置において、前記情報提供部は、前記ばらつき度合い演算部により演算される前記状態空間のばらつき度合いが前記閾値以上であるときには、現在の状態における前記確率分布の確率密度が高い行動ほど対象として選択する頻度を高める傾向をもって前記試行錯誤的な操作提案を実行することが好ましい。

上記構成では、状態空間のばらつき度合いが閾値以上であるときには、現在の状態における確率分布の確率密度が高い行動、すなわち、現在の状態において運転者がとる可能性が高い行動を車載機器の操作提案の対象として選択する頻度を高める傾向をもって試行錯誤的な操作提案を行うようにしている。これにより、対象としている車載機器の操作提案について運転者の行動を事前に特定することが困難な中にあっても、運転者の意図に即した車載機器の操作提案をより一層高い信頼性をもって実現することが可能となる。

上記情報提供装置において、前記ばらつき度合い演算部は、前記状態空間を構成する各状態において前記行動空間を構成する各行動が実行される確率分布のばらつき度合いをエントロピーとして定義するとともに、前記状態空間のばらつき度合いを平均エントロピーとして定義し、前記情報提供部は、前記平均エントロピーの値をε値として設定したε−グリーディ法を用いつつ、ε値が大きくなるほど前記試行錯誤的な操作提案を行う頻度を高くする傾向をもって前記確定的な操作提案と前記試行錯誤的な操作提案との選択を行うことが好ましい。

上記構成では、状態空間のばらつき度合いを定義した平均エントロピーの値であるε値が大きくなるほど、すなわち状態空間のばらつき度合いが大きくなるほど、試行錯誤的な操作提案を選択する頻度を高くするようにしている。これによっても、対象としている車載機器の操作提案について運転者の行動を特定することが困難な中にあって、運転者の意図に即した車載機器の操作提案をより一層高い信頼性をもって実現することが可能となる。

上記情報提供装置において、前記強化学習部は、前記車載機器の操作提案に対する運転者の応答により実行される車載機器の操作の頻度を前記報酬関数として設定するものであり、前記車載機器の操作提案に応じて車載機器の操作が行われたときには、その操作履歴の変更に応じて前記報酬関数を更新することが好ましい。

上記構成では、運転者の意図に対する車載機器の操作提案の適正度合いの指標として、車載機器の操作提案に対する運転者の応答により実行される行動の頻度を適用して報酬関数を設定し、応答履歴が変更されるごとに報酬関数を更新するようにしている。これにより、運転者の意図に即したかたちで状態空間を構成する各状態において行動空間を構成する各行動が実行される確率分布を算出することが可能となるとともに、運転者の応答の頻度が増えていくごとに確率分布の精度が運転者個人による応答の実態に合うかたちで高められるようになる。

上記情報提供装置において、前記状態空間構成部は、前記車載機器の操作状況、前記車両の乗員の特性、及び前記車両の走行状況を関連付けしたデータ群である状態の集合として前記状態空間を構成することが好ましい。

上記構成では、車載機器の操作状況、車両の乗員の特性、及び車両の走行状況等、運転者への車載機器の操作提案に影響を与える要素を多岐に亘って考慮しつつ、状態空間を構成する各状態を定義している。これにより、より一層実情に即したかたちで運転者の意図に即した車載機器の操作提案を実現することが可能となる。なお、上記構成では、上述のように種々の要素を考慮した結果、状態空間を構成する状態の数が膨大になることも予想される。しかしながら、履歴データの蓄積とともに精度の向上が図られる強化学習の手法を用いることにより、例えば教師あり学習を用いた場合のように膨大な数の教師データを事前に準備せずとも、運転者の意図に即した車載機器の操作提案を実現することが可能となる。

情報提供装置の第１の実施の形態の概略構成を示すブロック図。 状態空間を定義する車両データの属性の一例を示す図。 状態空間テーブルの設定内容の一例を示す図。 状態空間を定義する車両データの属性の一例を示す図。 状態空間テーブルの設定内容の一例を示す図。 行動空間テーブルの設定内容の一例を示す図。 行動空間テーブルの設定内容の一例を示す図。 状態空間を構成する各状態において行動空間を構成する各行動をとるときの遷移確率行列の一例を示す図。 試行錯誤的な操作提案を実行する際に用いられる累積分布関数の一例を示すグラフ。 （ａ）は現在の状態を定義する車両データの属性の一例を示す図、（ｂ）は図１０（ａ）に示した状態において確定的な操作提案に用いられる行動を選択する過程を説明するための図。 （ａ）は現在の状態を定義する車両データの属性の一例を示す図、（ｂ）は図１１（ａ）に示した状態において試行錯誤的な操作提案に用いられる行動を選択する過程を説明するための図。 ステアリングスイッチの一例を示す図。 情報提供処理の一例として車載機器の操作提案処理の処理内容を示すフローチャート。 確定的な操作提案を含むかたちでエージェントＥＣＵと運転者との間で交わされる対話の内容の一例を示す図。 試行錯誤的な操作提案を含むかたちでエージェントＥＣＵと運転者との間で交わされる対話の内容の一例を示す図。 情報提供装置の第２の実施の形態において、確定的な操作提案及び試行錯誤的な操作提案を選択する過程を説明するための図。 ステアリングスイッチの他の一例を示す図。 ステアリングスイッチの他の一例を示す図。

（第１の実施の形態）
以下、情報提供装置の第１の実施の形態について説明する。
本実施の形態の情報提供装置は、車両に搭載されて運転者に対する情報提供として車載機器の操作提案を行うエージェントＥＣＵ（電子制御装置）により構成されている。ここで、エージェントＥＣＵの機能は、学習系、情報取得系、ユーザインターフェイス系に大別される。そして、エージェントＥＣＵは、情報取得系を通じて取得した各種の情報に基づき車載機器の操作履歴をその都度の車両の状態ごとに分類しつつ学習系において学習の一形態として強化学習を実行するとともに、当該強化学習による学習結果に基づきユーザインターフェース系を通じた車載機器の操作提案を実行する。ここで、強化学習とは、エージェントＥＣＵが環境に基づきある行動を選択したとき、当該選択した行動に基づく環境の変化に伴って何らかの報酬をエージェントＥＣＵに与えることにより、試行錯誤を通じてエージェントＥＣＵを環境に適応させていく学習手法である。なお、本実施の形態では、エージェントＥＣＵは、例えば車載機器の操作状況、車両の乗員の特性、車両の走行状況等、各種の車両データを互いに関連付けすることにより状態を定義して複数の状態の集合である状態空間を構成している。また、エージェントＥＣＵは、操作提案に対する運転者からの応答に伴ってエージェントＥＣＵが代行する可能性のある車載機器の操作の種類を行動として定義して複数の行動の集合である行動空間を構成している。そして、状態空間を構成する各状態において車載機器の操作提案に対する応答として実行された車載機器の操作履歴が強化学習でいうところの報酬に相当する。また、エージェントＥＣＵは、上述した強化学習を実行することにより、状態空間を構成する各状態において行動空間を構成する各行動が実行される確率分布を算出する。また、エージェントＥＣＵは、こうして算出した確率分布に基づき、その都度の車両の状態から運転者がとる可能性の高い行動を予測し、その予測結果を加味したかたちで車載機器の操作提案を実行する。

はじめに、本実施の形態の装置の構成について図面を参照して説明する。
図１に示すように、エージェントＥＣＵ１００は、車載機器の操作提案を制御する制御部１１０と、制御部１１０が車載機器の操作提案の際に実行する情報提供プログラムや当該情報提供プログラムの実行の際に制御部１１０が読み書きする各種のデータを格納する記憶部１２０とを有している。ここで、記憶部１２０に格納される各種のデータとしては、状態空間を定義した状態空間テーブルＴ１，Ｔ１α、行動空間を定義した行動空間テーブルＴ２，Ｔ２α、及び車載機器の操作履歴ＲＡが含まれる。なお、本実施の形態では、例えば音声の再生、目的地の設定、空調の設定、シートポジションの設定、ミラーの設定、ワイパーの設定等、操作提案の対象となるサービスの種類が複数用意されている。そして、これらサービスの種類ごとに個別の状態空間テーブルＴ１，Ｔ１α及び行動空間テーブルＴ２，Ｔ２αがエージェントＥＣＵ１００の記憶部１２０に格納されている。

図２は、操作提案の一例として目的地の設定を行うときの状態の定義に用いられる車両データの属性の一例を示している。ここで、車両データの属性とは、目的地の設定の仕方に寄与する要素として予め登録されるものであり、同図に示す例では、車載機器の操作状況ＤＡ、車両の乗員の特性ＤＢ、車両の走行状況ＤＣに関する車両データが含まれている。なお、車載機器の操作状況ＤＡに関する車両データの一例としては、目的地ＤＡ１、時刻ＤＡ２、曜日ＤＡ３、現在地ＤＡ４が挙げられている。また、車両の乗員の特性ＤＢに関する車両データの一例としては、配偶者の有無ＤＢ１、子供の有無ＤＢ２、同乗者の数ＤＢ３、趣味の有無ＤＢ４、目的ＤＢ５が挙げられている。また、車両の走行状況ＤＣに関する車両データの一例としては、交通状況（混雑度合い）ＤＣ１、天候ＤＣ２が挙げられている。

そして、図３に示すように、状態空間テーブルＴ１は、図２に示した車両データの属性を総当たりで組み合わせることにより状態を定義して複数の状態の集合である状態空間を構成する。ここで、状態空間テーブルＴ１に含まれる状態の数ｍ（例えば、４００万程度）は、車両データの属性を構成する要素の種類（図２に示す例では、左から順に「目的地」から「天候」まで含めて１１種類）や各要素のパラメータ数（図２に示す例では、例えば「目的地」のパラメータ数として８個）が多くなるに連れて増大する。

一方、図４は、操作提案の一例として音声の再生を行うときの状態の定義に用いられる車両データの属性の一例を示している。ここで、車両データの属性とは、音声の再生の仕方に寄与する要素として予め登録されるものであり、同図に示す例では、車載機器の操作状況ＤＡα、車両の乗員の特性ＤＢα、車両の走行状況ＤＣαに関する車両データが含まれている。なお、車載機器の操作状況ＤＡαに関する車両データの一例としては、音源ＤＡ１α、リピート設定ＤＡ２α、音量ＤＡ３α、時刻ＤＡ４α、曜日ＤＡ５α、現在地ＤＡ６αが挙げられている。また、車両の乗員の特性ＤＢαに関する車両データの一例としては、配偶者の有無ＤＢ１α、子供の有無ＤＢ２α、同乗者の数ＤＢ３α、運転者の眠気の度合いＤＢ４αが挙げられている。また、車両の走行状況ＤＣαに関する車両データの一例としては、車両周辺の都市化・郊外化の度合いや道路環境を含めた環境ＤＣ１αが挙げられている。

そして、図５に示すように、状態空間テーブルＴ１αは、図４に示した車両データの属性を総当たりで組み合わせることにより状態を定義して複数の状態の集合である状態空間を構成する。ここでも状態空間テーブルＴ１αに含まれる状態の数ｎ（例えば、１５億程度）は、車両データの属性を構成する要素の種類や各要素のパラメータ数が多くなるに連れて増大する。

図６は、エージェントＥＣＵ１００が操作提案の一例として目的地の設定を代行するときの行動を定義して複数の行動の集合である行動空間を構成する行動空間テーブルＴ２の一例を示している。同図に示す例では、行動空間に含まれる行動の種類として、設定の対象となる目的地の場所名の一覧が挙げられている。ここで、設定の対象となる目的地の場所とは、例えば過去において運転者自身による設定の頻度が特に多かった場所名として予め登録されるものであり、同図に示す例では、「自宅」、「実家」に加え、「場所１」〜「場所６」の計８個の場所名が登録されている。

また、図７は、エージェントＥＣＵ１００が操作提案の一例として音声の再生を代行するときの行動を定義して複数の行動の集合である行動空間を構成する行動空間テーブルＴ２αの一例を示している。同図に示す例では、行動空間に含まれる行動の種類として、再生の対象となる音源の一覧が挙げられている。ここで、再生の対象となる音源とは、例えば過去において運転者による再生の頻度が特に多かった音源として予め登録されるものであり、同図に示す例では、ラジオの局名、及び携帯端末やＣＤ（コンパクトディスク）等の記憶媒体に保存されている楽曲の曲名を含めて計１００個の音源が登録されている。

また、図１に示すように、エージェントＥＣＵ１００は、例えばＣＡＮ（コントローラエリアネットワーク）等からなる車両ネットワークＮＷを介して他ＥＣＵ群１３０、センサ群１３１、及びスイッチ群１３２に接続されている。

他ＥＣＵ群１３０は、各種の車載機器の動作を制御する車載ＥＣＵであり、以下の（Ａ１）〜（Ａ３）に列挙する車載ＥＣＵが含まれる。

（Ａ１）エンジン、ブレーキ、ステアリング等を制御する車両駆動系の車載ＥＣＵ
（Ａ２）エアコン、メータ等を制御するボディ系の車載ＥＣＵ
（Ａ３）カーナビゲーションシステム、オーディオシステム等を制御する情報系の車載ＥＣＵ

センサ群１３１は、各種の車両データを取得するためのセンサ群であり、以下の（Ｂ１）〜（Ｂ２０）に列挙するセンサが含まれる。

（Ｂ１）ＧＰＳ（グローバル・ポジショニング・システム）センサ
（Ｂ２）レーザレーダ
（Ｂ３）赤外線センサ
（Ｂ４）超音波センサ
（Ｂ５）雨滴センサ
（Ｂ６）外気温センサ
（Ｂ７）車室内温度センサ
（Ｂ８）着座センサ
（Ｂ９）シートベルト着用状態センサ
（Ｂ１０）車室内カメラ
（Ｂ１１）スマートキーセンサ（登録商標：スマートキー）
（Ｂ１２）侵入監視センサ
（Ｂ１３）花粉等微粒子センサ
（Ｂ１４）加速度センサ
（Ｂ１５）電界強度センサ
（Ｂ１６）ドライバモニタ
（Ｂ１７）車速センサ
（Ｂ１８）操舵角センサ
（Ｂ１９）ヨーレートセンサ
（Ｂ２０）生体センサ

スイッチ群１３２は、各種の車載機器の動作を切り替えるためのスイッチ群であり、以下の（Ｃ１）〜（Ｃ１４）に列挙されるスイッチが含まれる。

（Ｃ１）ウインカーレバースイッチ
（Ｃ２）ワイパー操作スイッチ
（Ｃ３）ライト操作スイッチ
（Ｃ４）ステアリングスイッチ
（Ｃ５）ナビ・オーディオ操作スイッチ
（Ｃ６）窓操作スイッチ
（Ｃ７）ドア・トランク開閉・ロックスイッチ
（Ｃ８）エアコン操作スイッチ
（Ｃ９）シートヒータ・ベンチレーションスイッチ
（Ｃ１０）シートポジション調整・プリセットメモリスイッチ
（Ｃ１１）侵入監視システムスイッチ
（Ｃ１２）ミラー操作スイッチ
（Ｃ１３）ＡＣＣ（アダプティブ・クルーズ・コントロール）スイッチ
（Ｃ１４）エンジンスイッチ

そして、エージェントＥＣＵ１００の制御部１１０は、これら他ＥＣＵ群１３０、センサ群１３１、及びスイッチ群１３２から車両ネットワークＮＷを介して各種の車両データが入力されると、記憶部１２０に格納されている状態空間テーブルＴ１，Ｔ１αを参照しつつ該当する車両の状態を割り出す。また、エージェントＥＣＵ１００の制御部１１０は、車載機器の操作提案に対する運転者の応答により行動空間に含まれる行動の中から所定の行動が選択されて車載機器の操作が実行されるごとに、記憶部１２０に格納されている車載機器の操作履歴ＲＡのうち当該状態に対応する操作履歴のカウント値を累積加算する。この点で、エージェントＥＣＵ１００の制御部１１０は、状態空間を構成する各状態において車載機器の操作提案に対する運転者の応答の履歴データを蓄積するものである。

また、エージェントＥＣＵ１００の制御部１１０は、上述のように学習した各状態ごとに、操作提案を受理したときの車載機器の操作履歴のカウント値を報酬関数として設定しつつ、以下の（ステップ１）〜（ステップ７）の手順を通じて強化学習の一種であるＱラーニングを実行する強化学習部１１１として機能する。

（ステップ１）状態空間を構成する各状態から行動空間を構成する各行動の写像を方策πとするとき、任意の方策πを初期設定する。
（ステップ２）現在の状態ｓｔを観測する（ｔは時間ステップ）。
（ステップ３）任意の行動選択方法により行動ａｔを実行する（ｔは時間ステップ）。
（ステップ４）報酬ｒｔを受け取る（ｔは時間ステップ）。
（ステップ５）状態遷移後の状態ｓ（ｔ＋１）を観測する（ただし、状態ｓ（ｔ＋１）への遷移がそのときの状態ｓｔと行動ａｔにのみ依存し、それ以前の状態や行動に影響を受けないことが前提（いわゆる、マルコフ性））。
（ステップ６）行動価値関数Ｑ（ｓｔ，ａｔ）を更新する。
（ステップ７）時間ステップｔを（ｔ＋１）へ進めて（ステップ１）に戻る。

なお、（ステップ３）の手順における行動選択方法としては、後述する行動価値関数Ｑ（ｓｔ，ａｔ）の値が最大となる行動を必ず選択するグリーディ法や、逆にあらゆる行動を等確率で選択するランダム法を用いることが可能である。またその他にも、確率εでランダム法による行動選択を行い、確率（１−ε）でグリーディ法による行動選択を行うε−グリーディ法や、行動価値関数Ｑ（ｓｔ，ａｔ）が高い行動を高い確率で選択するとともに行動価値関数Ｑ（ｓｔ，ａｔ）が低い行動を低い確率で選択するボルツマン選択等の手法を用いることが可能である。

また、（ステップ６）の手順における行動価値関数Ｑ（ｓｔ，ａｔ）の更新は、以下の式（１）に基づいて行われる。

なお、式（１）において学習率αは０＜α＜１の数値範囲に設定されている。これは、時間の経過とともに更新される行動価値関数Ｑ（ｓｔ，ａｔ）の増大量を次第に減少させてその値を収束させやすくするためである。また、同じく式（１）においてＱ（ｓｔ，ａｔ）は上記行動価値関数を示しており、強化学習部１１１が時間の経過に関わらず一定の方策πをとることを前提としたときに、状態ｓｔにおいて行動ａｔをとった後に方策πに従う場合に得られる割引累積報酬Ｒｔの期待値を表している。ここで、割引累積報酬Ｒｔとは、状態遷移を繰り返す中で得られる報酬の合計であり、以下の式（２）により得られる。

なお、式（２）（式（１）も同様）において割引率γは０＜γ＜１の数値範囲に設定されている。これは、時間の経過とともに得られる報酬値を次第に減少させていくことで割引累積報酬Ｒｔの値を収束させやすくするためである。

そして以降、強化学習部１１１は、上記（ステップ１）〜（ステップ７）の手順を繰り返し行うことにより、行動価値関数Ｑ（ｓｔ，ａｔ）を最大化（最適化）した最適行動価値関数Ｑ^＊（ｓｔ，ａｔ）を算出する。ここで、最適行動価値関数Ｑ^＊（ｓｔ，ａｔ）は、状態ｓｔにおいて方策πに従う場合に得られる割引累積報酬Ｒｔの期待値を表す関数を状態価値関数Ｖ（ｓｔ）とし、全ての状態ｓｔにおいてＶ（ｓｔ）≧Ｖ’（ｓｔ）を満たす方策πを最適方策π^＊としたとき、状態ｓｔで行動ａｔを選択した後に最適方策π^＊に従う場合に得られる割引累積報酬Ｒｔの期待値を表している。

そして、強化学習部１１１は、上述のようにして得られた最適行動価値関数Ｑ^＊（ｓｔ，ａｔ）を以下の式（３）に代入する。これにより、状態空間を構成する各状態から行動空間を構成する各行動への遷移確率行列のうち割引累積報酬Ｒｔを最大化する遷移確率行列、すなわち各状態ごとの操作履歴ＲＡのカウント値を考慮しつつ運転者の意図に即した遷移確率行列Ｐ（ｓｔ，ａｔ）が算出される。

図８は、上述のようにして算出される遷移確率行列Ｐ（ｓｔ，ａｔ）の一例を示している。遷移確率行列Ｐ（ｓｔ，ａｔ）は、各行が状態空間を構成する各状態に対応しており、各列が行動空間を構成する各行動に対応している。そして、同図に示す例では、例えば状態ｓ１において行動ａ１をとる確率が「０．０１」とされ、同じく状態ｓ１において行動ａ２をとる確率が「０．１０」とされ、同じく状態ｓ１において行動ａ１００をとる確率が「０．０３」とされている。

そして、エージェントＥＣＵ１００の制御部１１０は、これら確率をｐとしたときに図８に示す式を用いつつ情報エントロピーＨ（ｓ）を算出する。なお、情報エントロピーＨ（ｓ）は、確率分布のばらつき度合いの指標となるパラメータである。この点では、エージェントＥＣＵ１００の制御部１１０は、強化学習部１１１により算出される確率分布のばらつき度合いを演算するばらつき度合い演算部１１２としても機能する。そして、情報エントロピーＨ（ｓ）の値が大きいほど、確率分布のばらつき度合いが大きい、すなわち状態ｓｔにおいて行動空間を構成する各行動をとる確率が均等に分散していることを意味している。そのため、情報エントロピーＨ（ｓ）の値が大きい場合、行動空間を構成する行動の中から運転者が取り得る行動を予測することは困難となる。

また、ばらつき度合い演算部１１２は、以下の式（４）に示すように、状態空間を構成する各状態について算出した情報エントロピーＨ（ｓ）を合算することにより平均エントロピーＨ（Ω）を算出する。

なお、平均エントロピーＨ（Ω）とは、状態空間のばらつき度合いを示すパラメータである。そして、平均エントロピーＨ（Ω）の値が大きいほど状態空間のばらつき度合いが大きい、すなわち状態空間全体として見たときに各状態において行動空間を構成する各行動をとる確率が均等に分散していることを意味している。そのため、平均エントロピーＨ（Ω）の値は、操作提案の対象となるサービスについて行動空間を構成する行動の中から運転者が取り得る行動を予測可能であるか否かについての指標となる。

そこで、エージェントＥＣＵ１００の制御部１１０は、以下のアルゴリズムに従い、強化学習部１１１により求めた平均エントロピーＨ（Ω）をε値としたε−グリーディ法を用いつつ車載機器の操作提案に関する情報を生成する提案情報生成部１１３としても機能する。

なお、上記アルゴリズムでは、提案情報生成部１１３は、０〜１の数値範囲をとる乱数δ（閾値）を設定しており、「δ＞ε」の条件を満たしたときに式（５）を適用する。すなわち、提案情報生成部１１３は、強化学習部１１１により求めた平均エントロピーＨ（Ω）の値が小さいほど、式（５）を適用する頻度を高めるようにしている。そして、提案情報生成部１１３は、式（５）の適用により、上述のように強化学習部１１１により求めた最適行動価値関数Ｑ^＊（ｓｔ，ａｔ）を最大化する行動ａ、すなわち状態ｓにおいて最も価値のある行動を操作提案の対象として出力して確定的な操作提案を実行する。

一方、上記アルゴリズムでは、提案情報生成部１１３は、「δ≦ε」の条件を満たしたときに式（６）を適用する。すなわち、提案情報生成部１１３は、強化学習部１１１により求めた平均エントロピーＨ（Ω）の値が大きいほど、式（６）を適用する頻度を高めるようにしている。提案情報生成部１１３は、式（６）の適用に際してまず、ある状態ｓにおいて行動空間を構成する各行動をとる確率を加算していくことで累積分布関数Ｆ（ｓ）を求める。そして、提案情報生成部１１３は、上記の乱数δとは異なる変数として０〜１の数値範囲をとる乱数τを設定したとき、「Ｆ（ｓ）＝τ」を満たす行動を操作提案の対象として出力する試行錯誤的な操作提案を実行する。

図９に一例として示す累積分布関数Ｆ（ｓ）からも明らかなように、行動空間を構成する各行動をとる確率に応じて累積分布関数Ｆ（ｓ）の増加量も変動する。具体的には、確率が比較的高い行動に対応する横軸の区間では累積分布関数Ｆ（ｓ）の増加量が急峻となる一方で、確率が比較的低い行動に対応する横軸の区間では累積分布関数Ｆ（ｓ）の増加量も緩慢となる。そのため、乱数τを０〜１の数値範囲で変化させたとき、確率が比較的高い行動の方が「Ｆ（ｓ）＝τ」の条件を満たしやすく、確率が比較的低い行動の方が「Ｆ（ｓ）＝τ」の条件を満たしにくくなる。したがって、上述のように、「Ｆ（ｓ）＝τ」を満たす行動を操作提案の対象として出力するとき、確率の高い行動ほど選択する頻度を高める傾向をもって出力される。なお同図に示す例では、Ｆ（ｓ）＝τを満たすときの対応する行動が行動ａ３’となっている。そのため、行動空間を構成する複数の行動の中から行動ａ３’が操作提案の対象となる行動として選択されて出力される。

図１０（ａ）、（ｂ）は、操作提案として目的地の設定を行うときの、ε−グリーディ法を用いた確定的な操作提案と試行錯誤的な操作提案との選択を説明するための具体例を示している。

この例では図１０（ａ）に示すように、エージェントＥＣＵ１００はまず、車両ネットワークＮＷを通じて取得される各種の車両データに基づき、現在の状態が状態空間テーブルＴ１において状態空間を構成する各状態のうち何れの状態に該当するのかを抽出する（同図では、状態Ｓｉとして抽出）。そして、この例では、遷移確率行列Ｐ（ｓｔ，ａｔ）から求まる平均エントロピーＨ（Ω）が比較的高い状況にあり、上述した式（５）を適用した確定的な操作提案を行う頻度が高くなる。この場合、図１０（ｂ）に示すように、エージェントＥＣＵ１００は、行動空間を構成する各行動のうち、現在の状態において最も価値のある行動（同図に示す例では、「自宅」）を操作提案の対象として出力する。

また、図１１（ａ）、（ｂ）は、操作提案として音声の再生を行うときの、ε−グリーディ法を用いた確定的な操作提案と試行錯誤的な操作提案との選択を説明するための具体例を示している。

この例でも図１１（ａ）に示すように、エージェントＥＣＵ１００はまず、車両ネットワークＮＷを通じて取得される各種の車両データに基づき、現在の状態が状態空間テーブルＴ１αにおいて状態空間を構成する各状態のうち何れの状態に該当するのかを抽出する（同図では、状態Ｓｊとして抽出）。そしてこの例では、遷移確率行列Ｐ（ｓｔ，ａｔ）から求まる平均エントロピーＨ（Ω）が比較的低い状況にあり、上述した式（６）を適用した試行錯誤的な操作提案を行う頻度が高くなる。この場合、図１１（ｂ）に示すように、エージェントＥＣＵ１００は、行動空間を構成する各行動のうち、現在の状態からの遷移確率の確率密度が高い行動ほど選択する頻度を高める傾向をもって操作提案の対象としてランダムに出力する（同図に示す例では、「ＦＭ Ｄ」）。

そして、エージェントＥＣＵ１００は、こうして操作提案の対象として出力した行動に関する情報を車両ネットワークＮＷを経由してスピーカ等の音声出力部１４０、又はＬＣＤ（液晶ディスプレイ）及びＨＵＤ（ヘッドアップディスプレイ）等の画像出力部１４１に送信することにより、音声又は画像を通じた車載機器の操作提案を実行する。

また、エージェントＥＣＵ１００は、ステアリングスイッチ及びマイク等の操作入力部１４２を介した操作入力又は音声入力の操作信号を車両ネットワークＮＷを介して受信することにより操作提案に対する運転者からの応答を検出する操作検出部１１４としても機能する。

図１２は、ステアリングスイッチを介した操作入力の一例を説明するための図である。同図に示す例では、ステアリングスイッチ１４２Ａは、４つの操作ボタンＢＡ１〜ＢＡ４を有しており、これら操作ボタンのうち上方に位置する第１の操作ボタンＢＡ１及び下方に位置する第２の操作ボタンＢＡ２は、エージェントＥＣＵ１００からの操作提案に応答するときに操作される操作ボタンとして割り当てられている。そして、操作提案を受理するときに第１の操作ボタンＢＡ１が操作され、逆に操作提案を拒否するときに第２の操作ボタンＢＡ２が操作される。また、これら操作ボタンのうち左方に位置する第３の操作ボタンＢＡ３及び右方に位置する第４の操作ボタンＢＡ４は、エージェントＥＣＵ１００からの操作提案とは無関係に車載機器の操作を行うときに操作される操作ボタンとして割り当てられている。そして、運転者自身による手入力により車載機器の操作を行うときに第３の操作ボタンＢＡ３が操作され、運転者自身がその都度の車両の状態とは関係なく高い頻度で行っている車載機器の操作を行うときに第４の操作ボタンＢＡ４が操作される。なお、第４の操作ボタンＢＡ４は、現在と同じ状況のときに他の運転者が過去に行った車載機器の操作に関する情報を外部サーバから取得して運転者自身に提供するときに操作される操作ボタンとして割り当てられるようにしてもよい。

そして、エージェントＥＣＵ１００の制御部１１０は、操作検出部１１４を通じて操作信号を検出すると、学習更新トリガー部１１５から強化学習部１１１へのトリガ信号の送信を促す。なお、上述のように本実施の形態では、操作提案を受理したときの車載機器の操作履歴のカウント値が強化学習における報酬関数として設定されている。そのため、図１２に示したステアリングスイッチ１４２Ａを例に挙げたならば、第１の操作ボタンＢＡ１が操作されて操作提案が受理されたときに、学習更新トリガー部１１５から強化学習部１１１へのトリガ信号の送信が促される。

そして、強化学習部１１１は、学習更新トリガー部１１５からトリガ信号を受信すると、その時点で車両ネットワークＮＷを通じて取得される各種の車両データに基づき、現在の状態が状態空間テーブルＴ１，Ｔ１αにおいて状態空間を構成する各状態のうち何れの状態に該当するのかを割り出す。そして、強化学習部１１１は、記憶部１２０に格納されている車載機器の操作履歴ＲＡのうち当該状態に対応する操作履歴のカウント値を累積加算する。

また、強化学習部１１１は、車載機器の操作履歴ＲＡを更新すると、当該操作履歴ＲＡの更新に併せた更新後の報酬関数を用いつつ最適行動価値関数Ｑ^＊（ｓｔ，ａｔ）、及び当該最適行動価値関数Ｑ^＊（ｓｔ，ａｔ）に基づく遷移確率行列Ｐ（ｓｔ，ａｔ）を新たに算出する。そして、提案情報生成部１１３は、強化学習部１１１により新たに算出された遷移確率行列Ｐ（ｓｔ，ａｔ）に基づき、運転者の意図に即した車載機器の操作提案を実行する。

次に、本実施の形態のエージェントＥＣＵ１００が記憶部１２０に格納された情報提供プログラムを読み出して実行する車載機器の操作提案処理について、その具体的な処理手順を説明する。ここで、エージェントＥＣＵ１００は、車両のイグニッションスイッチがオンとなったことを条件に、図１３に示す車載機器の操作提案処理を開始する。

図１３に示すように、この車載機器の操作提案処理ではまず、エージェントＥＣＵ１００は、記憶部１２０に格納されている操作履歴ＲＡが更新されたか否か、すなわち、学習更新トリガー部１１５から強化学習部１１１へのトリガ信号の送信が行われたか否かを判定する（ステップＳ１０）。

そして、エージェントＥＣＵ１００は、操作履歴ＲＡが更新されたときには（ステップＳ１０＝ＹＥＳ）、報酬関数も併せて更新されることから、当該更新後の報酬関数を用いつつ強化学習部１１１を通じて最適行動価値関数Ｑ^＊（ｓｔ，ａｔ）を算出する（ステップＳ１１）。

また、エージェントＥＣＵ１００は、こうして算出した最適行動価値関数Ｑ^＊（ｓｔ，ａｔ）に基づき、状態空間を構成する各状態から行動空間を構成する各行動への遷移確率行列Ｐ（ｓｔ，ａｔ）を強化学習部１１１を通じて算出する（ステップＳ１２）。

また、エージェントＥＣＵ１００は、こうして算出した遷移確率行列Ｐ（ｓｔ，ａｔ）に基づき、状態空間を構成する各状態ごとの情報エントロピーＨ（ｓ）をばらつき度合い演算部１１２を通じて算出する（ステップＳ１３）。更には、エージェントＥＣＵ１００は、各状態ごとの情報エントロピーＨ（ｓ）を合算して得られる平均エントロピーＨ（Ω）をばらつき度合い演算部１１２を通じて算出する（ステップＳ１４）。

そして、エージェントＥＣＵ１００は、こうして算出した平均エントロピーＨ（Ω）が乱数として設定された乱数δ未満であるときには（ステップＳ１５＝ＹＥＳ）、先のステップＳ１１において算出した最適行動価値関数Ｑ^＊（ｓｔ，ａｔ）を最大化する行動ａを自動設定の対象として提案情報生成部１１３から音声出力部１４０又は画像出力部１４１に固定して出力する確定的な操作提案を実行する（ステップＳ１６）。

一方、エージェントＥＣＵ１００は、先のステップＳ１４において算出した平均エントロピーＨ（Ω）が乱数δ以上であるときには（ステップＳ１５＝ＮＯ）、先のステップＳ１２において算出した遷移確率行列Ｐ（ｓｔ，ａｔ）に基づき、現在の状態ｓｔにおいて実行される確率が高い行動ほど選択する頻度を高める傾向をもって自動設定の対象としてランダムに出力する試行錯誤的な操作提案を実行する（ステップＳ１７）。

続いて、エージェントＥＣＵ１００は、先のステップＳ１６又は先のステップＳ１７における操作提案に対する運転者からの応答があったときには、その応答に関する情報を操作入力部１４２を通じて取得する（ステップＳ１８）。そして、エージェントＥＣＵ１００は、こうして取得した運転者からの応答が操作提案を受理するものであるか否かを判断する（ステップＳ１９）。この判断は、例えばステアリングスイッチを介した操作入力であれば決定ボタン（図１２に示す例では第１の操作ボタンＢＡ１）が押されたか否か、また、マイクを介した音声入力であれば肯定的な応答を示す単語（例えば、「はい」、「ＹＥＳ」等）が入力されたか否かに基づいて行われる。

そして、エージェントＥＣＵ１００は、運転者からの応答が操作提案を受理するものであるときには（ステップＳ１９＝ＹＥＳ）、先のステップＳ１６又はステップＳ１７において自動設定の対象として出力した行動を実行する（ステップＳ２０）。また、エージェントＥＣＵ１００は、自動設定の対象として出力した行動の実行に伴って、学習更新トリガー部１１５から強化学習部１１１へのトリガ信号の送信を行い、強化学習部１１１を通じた車載機器の操作履歴ＲＡの更新を行った上で（ステップＳ２１）、その処理をステップＳ２２に移行する。

一方、エージェントＥＣＵ１００は、運転者からの応答が操作提案を受理するものではないときには（ステップＳ１９＝ＮＯ）、先のステップＳ２０及びステップＳ２１の処理を経ることなく、その処理をステップＳ２２に移行する。

そして、エージェントＥＣＵ１００は、車両のイグニッションスイッチがオンである間は（ステップＳ２２＝ＮＯ）は、その処理をステップＳ１０に戻し、ステップＳ１０〜ステップＳ２２の処理を所定の周期で繰り返す。このとき、エージェントＥＣＵ１００は、先のステップＳ２１において車載機器の操作履歴ＲＡが更新されているのであれば、当該操作履歴ＲＡの更新に併せた更新後の報酬関数を用いつつ、最適行動価値関数Ｑ^＊（ｓｔ，ａｔ）、及び当該最適行動価値関数Ｑ^＊（ｓｔ，ａｔ）に基づく遷移確率行列Ｐ（ｓｔ，ａｔ）を新たに算出する（ステップＳ１１、ステップＳ１２）。そして、エージェントＥＣＵ１００は、新たに算出した遷移確率行列Ｐ（ｓｔ，ａｔ）に基づき、車載機器の操作提案として上述した確定的な操作提案又は試行錯誤的な操作提案を実行する（ステップＳ１６、ステップＳ１７）。

そして以降、エージェントＥＣＵ１００は、操作提案に対する応答として操作入力部１４２が操作されて操作提案が受理されるごとに車載機器の操作履歴ＲＡを更新し、当該更新に併せて強化学習部１１１による強化学習を繰り返す。これにより、車載機器の操作提案に対する運転者からの応答の頻度が増えていくごとに遷移確率行列Ｐ（ｓｔ，ａｔ）の精度が運転者個人による行動の実態に合うかたちで高められる。

次に、本実施の形態のエージェントＥＣＵ１００の作用について、特に車載機器の操作提案を実行するときの作用に着目して以下に説明する。
車載機器の操作提案を実行する際、その都度の車両の状態に応じて運転者が取り得る行動を先回りして予測することの困難さは対象となる操作提案の種類によって異なるのが普通である。例えばラジオの再生や楽曲の再生等、車両の走行時における音声の再生は、一般に車両の状態だけでなくそのときの運転者の気分等によっても影響を受けやすくその選択肢も多岐に亘る。そのため、運転者が取り得る行動を先回りして予測することは困難となることが予想される。その一方で、例えば目的地の設定等は、一般に音声の再生と比較すればその都度の車両の状態から選択肢も絞りやすく運転者が取り得る行動を先回りして予測することは容易となることが予想される。

そこで本実施の形態では、エージェントＥＣＵ１００は、各々の操作提案の種類ごとに、操作提案に対する応答として行われる車載機器の操作履歴ＲＡをログとして記録し、記録した操作履歴ＲＡを報酬関数として設定した強化学習を実行する。これにより、エージェントＥＣＵ１００は、運転者個人による行動の実態に合うかたちで状態空間を構成する各状態から行動空間を構成する各行動への遷移確率行列Ｐ（ｓｔ，ａｔ）を算出する。

この場合、上述のように、音声の再生に対応する車載機器の操作履歴ＲＡに基づき算出される遷移確率行列Ｐ（ｓｔ，ａｔ）では、状態空間を構成する各状態において行動空間を構成する各行動をとる確率が比較的分散しやすい。一方、これも上述のように、目的地の設定に対応する車載機器の操作履歴ＲＡに基づき算出される遷移確率行列Ｐ（ｓｔ，ａｔ）では、状態空間を構成する各状態において行動空間を構成する各行動をとる確率が比較的分散しにくい。

そこで本実施の形態では、エージェントＥＣＵ１００は、こうした状態空間のばらつき度合いの評価を、状態空間を構成する各状態ごとの情報エントロピーＨ（ｓ）の値を合算した平均エントロピーＨ（Ω）の値に基づいて行う。

そして、エージェントＥＣＵ１００は、平均エントロピーＨ（Ω）が乱数δ未満であるときには、現在の状態において最も価値のある行動を操作提案の対象として固定して出力する確定的な操作提案を実行する。この場合、エージェントＥＣＵ１００は、平均エントロピーＨ（Ω）の値が小さくなるほど、確定的な操作提案を実行する頻度を高める。

図１４は、確定的な操作提案を含むかたちでエージェントＥＣＵ１００と運転者との間で交わされる対話の内容の一例を示している。同図に示す例では、エージェントＥＣＵ１００は、確定的な操作提案として、自動設定の対象となる目的地が「自宅」であるか否かを確認している。そして、エージェントＥＣＵ１００は、確定的な操作提案を受理することを示す音声コマンド（同図に示す例では、「Ｙｅｓ」）が運転者から入力されると、目的地として「自宅」を自動設定する。このように、エージェントＥＣＵ１００は、例えば目的地の設定のように、現在の状態において運転者が行動空間を構成する行動のうち何れの行動をとるのかが特定しやすい状況では、運転者に行動を選択する手間をかけることなく、運転者の意図に即した車載機器の操作提案を行うようにしている。

一方、エージェントＥＣＵ１００は、平均エントロピーＨ（Ω）が乱数δ以上であるときには、現在の状態からの遷移確率の確率密度が高いほど選択する頻度を高める傾向をもってランダムに選択された行動を操作提案の対象として出力する試行錯誤的な操作提案を実行する。この場合、エージェントＥＣＵ１００は、平均エントロピーＨ（Ω）の値が大きくなるほど、試行錯誤的な操作提案を実行する頻度を高める。

図１５は、試行錯誤的な操作提案を含むかたちでエージェントＥＣＵ１００と運転者との間で交わされる対話の内容の一例を示している。同図に示す例では、エージェントＥＣＵ１００はまず最初に、試行錯誤的な操作提案を開始するか否かを運転者に確認する。そして、エージェントＥＣＵ１００は、試行錯誤的な操作提案を受理することを示す音声コマンド（同図に示す例では、「ＹＥＳ」）が運転者から入力されると、現在の状態からの遷移確率の確率密度が比較的高い行動の中からランダムに選択された行動として、「ＦＭ Ａ」の選択を運転者に提案する。そして、エージェントＥＣＵ１００は、提案した音声を受理することを示す音声コマンドが運転者から入力されると、音声として「ＦＭ Ａ」を自動設定する。また、エージェントＥＣＵ１００は、音声を再生した後に、提案した音声を拒否することを示す音声コマンド（同図に示す例では、「Ｎｏ」）が入力されると、上述した遷移確率の確率密度が高い行動ほど選択する頻度を高める傾向をもってランダムに選択された別の行動として、「ＣＤ 楽曲ｎ」の選択を運転者に提案する。そして、エージェントＥＣＵ１００は、提案した音声を受理することを示す音声コマンドが運転者から入力されるまで、遷移確率の確率密度が高い行動ほど選択する頻度を高める傾向をもってランダムに選択された別の行動を運転者に順次提案する。そして、エージェントＥＣＵ１００は、「ＣＤ 楽曲２」の選択の提案が受理されたときには、音声として「ＣＤ 楽曲２」を自動設定する。このように、エージェントＥＣＵ１００は、例えば音声の設定のように、現在の状態において運転者が行動空間を構成する行動のうち何れの行動をとるかが特定しにくい状況では、複数の候補の中から対象となる行動を選択して出力するようにすることで、運転者の意図に即した車載機器の操作提案をより的確に行うようにしている。

以上説明したように、本実施の形態によれば、以下に示す効果を得ることができる。
（１）エージェントＥＣＵ１００は、強化学習により算出した遷移確率行列Ｐ（ｓｔ，ａｔ）における各状態ごとの情報エントロピーＨ（ｓ）の合算値から求めた平均エントロピーＨ（Ω）が乱数δ未満であるときには、対象となる行動を操作提案の対象として固定して出力する確定的な操作提案を行う。これにより、運転者に行動を選択する手間をかけることなく、運転者の意図に即した車載機器の操作提案が行われる。一方、エージェントＥＣＵ１００は、強化学習により算出した遷移確率行列Ｐ（ｓｔ，ａｔ）における各状態ごとの情報エントロピーＨ（ｓ）の合算値から求めた平均エントロピーＨ（Ω）が乱数δ以上であるときには、複数の候補の中から対象となる行動を操作提案の対象として選択して出力する試行錯誤的な操作提案を行う。これにより、運転者の意図に即した車載機器の操作提案がより的確に行われる。すなわち、平均エントロピーＨ（Ω）が大きい場合であれ、小さい場合であれ、操作提案の対象として一度に出力される車載機器の操作内容は一つのみであるため、運転者としてはその都度提案される車載機器の操作内容について同意の有無を意思表示しさえすればよい。そのため、目的地の設定及び音声の再生といった平均エントロピーＨ（Ω）のばらつき度合いが異なる異種の車載機器の操作提案に対する応答を簡素かつ同一のユーザインターフェースとして操作入力部１４２を用いつつ一貫して行うことができる。これにより、運転者の負荷を抑えつつ運転者の意図に即した車載機器の操作提案を実行することが可能となる。

（２）エージェントＥＣＵ１００は、平均エントロピーＨ（Ω）の値が乱数δ未満であるときには、現在の状態において最適行動価値関数Ｑ^＊（ｓｔ，ａｔ）を最大化する行動、すなわち現在の状態において最も価値のある行動であって運転者がとる可能性が最も高いと想定される行動を対象として確定的な操作提案を実行する。これにより、運転者の意図に即した操作提案をより一層高い信頼性をもって実現することが可能となる。

（３）エージェントＥＣＵ１００は、平均エントロピーＨ（Ω）の値が乱数δ以上であるときには、現在の状態における確率分布の確率密度が高い行動、すなわち、現在の状態において運転者がとる可能性が高い行動を対象として選択する頻度を高める傾向をもって試行錯誤的な操作提案を行う。これにより、対象としている車載機器の操作を事前に特定することが困難な中にあっても、運転者の意図に即した操作提案をより一層高い信頼性をもって実現することが可能となる。

（４）エージェントＥＣＵ１００は、平均エントロピーＨ（Ω）の値をε値として設定したε−グリーディ法を用いつつ、ε値が大きくなるほど試行錯誤的な操作提案を行う頻度を高くする傾向をもって、確定的な操作提案と試行錯誤的な操作提案との選択を行う。そのため、エージェントＥＣＵ１００は、平均エントロピーの値であるε値が大きくなるほど、すなわち状態空間のばらつき度合いが大きくなるほど、試行錯誤的な操作提案を選択する頻度が高くなる。これによっても、対象としている情報提供について運転者の行動を特定することが困難な中にあって、運転者の意図に即した操作提案をより一層高い信頼性をもって実現することが可能となる。

（５）エージェントＥＣＵ１００は、運転者の意図に対する車載機器の操作提案の適正度合いの指標として、操作提案に対する応答により行動空間を構成する行動の中から選択されて実行される行動の頻度を適用して報酬関数を設定し、応答履歴（車載機器の操作履歴ＲＡ）が更新されるごとに報酬関数も併せて更新するようにしている。これにより、運転者の意図に即したかたちで状態空間を構成する各状態において行動空間を構成する各行動が実行される遷移確率行列Ｐ（ｓｔ，ａｔ）を算出することが可能となるとともに、運転者の応答の頻度が増えていくごとに遷移確率行列Ｐ（ｓｔ，ａｔ）の精度を運転者個人による応答の実態に合うかたちで高めることが可能となる。

（６）エージェントＥＣＵ１００は、車載機器の操作状況ＤＡ，ＤＡα、車両の乗員の特性ＤＢ，ＤＢα、及び車両の走行状況ＤＣ，ＤＣα等、車載機器の操作提案に影響を与える要素を多岐に亘って考慮しつつ、状態空間を構成する各状態を定義している。これにより、より一層実情に即したかたちで運転者の意図に即した操作提案を実現することが可能となる。なお、上述のように種々の要素を考慮した結果、状態空間を構成する状態の数が膨大になることも予想される。この点、上記実施の形態では、操作履歴ＲＡの蓄積とともに精度の向上が図られる強化学習の手法を用いることにより、例えば教師あり学習を用いた場合のように膨大な数の教師データを事前に準備せずとも、運転者の意図に即した操作提案を実現することが可能となる。

（第２の実施の形態）
次に、情報提供装置の第２の実施の形態について図面を参照して説明する。なお、第２の実施の形態は、各状態ごとの情報エントロピーの値を合算した平均エントロピーの値を求めることに代えて、現在の状態に対応する情報エントロピーの値に基づいて確定的な操作提案及び試行錯誤的な操作提案の選択を行う点が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一の又は相当する構成については重複する説明を省略する。

図１６は、本実施の形態において、確定的な操作提案及び試行錯誤的な操作提案の選択に用いる遷移確率行列Ｐ（ｓｔ，ａｔ）の一例を示している。同図に示す例では、例えば状態ｓｉにおいて行動ａ１をとる確率が「０．０３」とされ、同じく状態ｓｉにおいて行動ａ２をとる確率が「０．０４」とされ、同じく状態ｓｉにおいて行動ａ１００をとる確率が「０．０２」とされている。そして、エージェントＥＣＵ１００は、これら確率をｐとしたときに図８に示した式を用いつつ情報エントロピーＨ（ｓ）の値を算出する。この場合、これら確率が均等に分散していることから情報エントロピーＨ（ｓ）の値は比較的大きくなる。

また同様に、同図に示す例では、例えば状態ｓｊにおいて行動ａ１をとる確率が「０．６」とされ、同じく状態ｓｊにおいて行動ａ２をとる確率が「０．０２」とされ、同じく状態ｓｊにおいて行動ａ１００をとる確率が「０．０４」とされている。そして、エージェントＥＣＵ１００は、これら確率をｐとしたときに図８に示した式を用いつつ情報エントロピーＨ（ｓ）の値を算出する。この場合、これら確率が局所的（「行動ａ１」）に偏っていることから情報エントロピーＨ（ｓ）の値は比較的小さくなる。

そして、エージェントＥＣＵ１００は、上記第１の実施の形態において用いたアルゴリズムに概ね従い、現在の状態に対応する情報エントロピーＨ（ｓ）の値をε値としたε−グリーディ法を用いつつ、車載機器の操作提案に関する情報を生成する。これにより、エージェントＥＣＵ１００は、仮に現在の状態が図１６に示した状態ｓｉであるときのように、現在の状態に対応する情報エントロピーＨ（ｓ）の値が比較的大きいときには、上述した式（６）の適用により、試行錯誤的な操作提案を実行する頻度を高める。その一方で、エージェントＥＣＵ１００は、仮に現在の状態が図１６に示した状態ｓｊであるときのように、現在の状態に対応する情報エントロピーＨ（ｓ）の値が比較的小さいときには、上述した式（５）の適用により、確定的な操作提案を実行する頻度を高める。すなわち、エージェントＥＣＵ１００は、例えば目的地の設定のように状態空間全体として見たときには平均エントロピーＨ（Ω）の値が比較的小さいときであっても、現在の状態に対応する情報エントロピーＨ（ｓ）の値が乱数δ以上であるときには、現在の状態に限れば運転者が行動空間を構成する行動のうち何れの行動をとるのかが特定しにくい状況であると判断して試行錯誤的な操作提案を実行する。また逆に、エージェントＥＣＵ１００は、例えば音声の設定のように状態空間全体として見たときには平均エントロピーＨ（Ω）の値が比較的大きいときであっても、現在の状態に対応する情報エントロピーＨ（ｓ）の値が乱数δ未満であるときには、現在の状態に限れば運転者が行動空間を構成する行動のうち何れの行動をとるのかが特定しやすい状況であると判断して確定的な操作提案を実行する。このように、エージェントＥＣＵ１００は、現在の状態において運転者の行動の特定のしやすさを個別具体的に考慮することで、より一層実情に合致したかたちで運転者の意図に即した車載機器の操作提案を行うようにしている。

以上説明したように、上記第２の実施の形態によれば、第１の実施の形態の上記（１）の効果に代えて、以下に示す効果を得ることができる。
（１Ａ）エージェントＥＣＵ１００は、強化学習により算出した遷移確率行列Ｐ（ｓｔ，ａｔ）において現在の状態に対応する情報エントロピーＨ（ｓ）が乱数δ以上であるときには、複数の候補の中から対象となる行動を選択して出力する試行錯誤的な操作提案を車載機器の操作提案として行う。これにより、運転者の意図に即した車載機器の操作提案がより的確に行われる。一方、エージェントＥＣＵ１００は、強化学習により算出した遷移確率行列Ｐ（ｓ，ａ）において現在の状態に対応する情報エントロピーＨ（ｓ）が乱数δ未満であるときには、対象となる行動を固定して出力する確定的な操作提案を車載機器の操作提案として行う。これにより、運転者に行動を選択する手間をかけることなく、運転者の意図に即した車載機器の操作提案が行われる。すなわち、各状態ごとの情報エントロピーＨ（ｓ）のばらつき度合いが大きい場合であれ、小さい場合であれ、操作提案の対象として一度に出力される車載機器の操作内容は一つのみであるため、運転者としてはその都度提案される車載機器の操作内容について同意の有無を意思表示しさえすればよい。そのため、目的地の設定及び音声の再生といった各状態ごとの情報エントロピーＨ（ｓ）のばらつき度合いが異なる異種の車載機器の操作提案に対する応答を簡素かつ同一のユーザインターフェースとして操作入力部１４２を用いつつ一貫して行うことができる。これにより、運転者の負荷を抑えつつ運転者の意図に即した車載機器の操作提案を実行することが可能となる。また、エージェントＥＣＵ１００は、状態空間全体として見たときの状態空間のばらつき度合いを定義する平均エントロピーＨ（Ω）の値とは無関係に、現在の状態に対応する情報エントロピーＨ（ｓ）の値に基づき、試行錯誤的な操作提案及び確定的な操作提案の選択を行う。これにより、エージェントＥＣＵ１００は、現在の状態において運転者の行動の特定のしやすさを個別具体的に考慮することで、より一層実情に合致したかたちで運転者の意図に即した車載機器の操作提案を行うことが可能となる。

（その他の実施の形態）
なお、上記各実施の形態は、以下のような形態にて実施することもできる。
・上記第１の実施の形態においては、状態空間を定義する全ての状態についての情報エントロピーＨ（ｓ）を合算することにより、状態空間のばらつき度合いを定義する平均エントロピーＨ（Ω）を算出するようにした。これに代えて、状態空間を定義する状態のうち一部の状態についての情報エントロピーＨ（ｓ）を合算して平均エントロピーＨ（Ω）を算出するようにしてもよい。

・上記第１の実施の形態においては、平均エントロピーＨ（Ω）との比較対象となる閾値として乱数δを用いるようにした。これにより、より多様性に富んだ振り分けが可能になるものの、処理負荷を軽減するためにはこれに代えて、平均エントロピーＨ（Ω）との比較対象となる閾値として固定値を用いるようにしてもよい。この場合、平均エントロピーＨ（Ω）が固定値未満であるときには上述した式（５）を適用して確定的な操作提案を実行する一方で、平均エントロピーＨ（Ω）が固定値以上であるときには上述した式（６）を適用して試行錯誤的な操作提案を実行するようにすればよい。

・同様に上記第２の実施の形態においては、現在の状態に対応する情報エントロピーＨ（ｓ）との比較対象となる閾値として乱数δを用いるようにした。これに代えて、現在の状態に対応する情報エントロピーＨ（ｓ）との比較対象となる閾値として固定値を用いるようにしてもよい。この場合、情報エントロピーＨ（ｓ）が固定値未満であるときには上述した式（５）を適用して確定的な操作提案を実行する一方で、現在の状態に対応する情報エントロピーＨ（ｓ）が固定値以上であるときには上述した式（６）を適用して試行錯誤的な操作提案を実行するようにすればよい。

・上記第１の実施の形態においては、状態空間のばらつき度合いの評価は、状態空間を構成する各状態に対応する情報エントロピーＨ（ｓ）を合算した平均エントロピーＨ（Ω）に基づいて行うようにした。これに代えて、状態空間のばらつき度合いの評価は、状態空間を構成する各状態ごとの確率分布の分散又は標準偏差を合算した値に基づいて行うようにしてもよい。

・同様に上記第２の実施の形態においては、現在の状態における確率分布のばらつき度合いの評価は、現在の状態に対応する情報エントロピーＨ（ｓ）に基づいて行うようにしたが、これに代えて、現在の状態における確率分布の分散又は標準偏差に基づいて行うようにしてもよい。

・上記各実施の形態においては、状態を定義する車両データの属性として、車載機器の操作状況ＤＡ，ＤＡα、車両の乗員の特性ＤＢ，ＤＢα、及び車両の走行状況ＤＣ，ＤＣαを含むようにした。これに限らず、状態を定義する車両データの属性は、運転者による車載機器の操作の仕方に寄与する要素であれば他の要素を採用するようにしてもよい。

・上記各実施の形態においては、確定的な操作提案として、行動空間を構成する各行動のうち、現在の状態において最適行動価値関数Ｑ^＊（ｓｔ，ａｔ）を最大化する行動、すなわち、現在の状態において最も価値のある行動を操作提案の対象として出力するようにした。これに代えて、例えば、現在の状態において遷移確率が最大となる行動を操作提案の対象として出力するようにしてもよい。要は、運転者がとる可能性が最も高いと想定される行動を対象として確定的な操作提案を実行するものであればよい。

・上記各実施の形態においては、試行錯誤的な操作提案として、「Ｆ（ｓ）＝τ」を満たす行動を操作提案の対象として出力するようにした。これに代えて、ある状態ｓにおいて行動空間を構成する各行動をとる確率を低い順に並べ替えた上で加算していくことで累積分布関数Ｆ（ｓ）を求めたときに、「Ｆ（ｓ）≧τ」を満たす行動を操作提案の対象として出力するようにしてもよい。また、ある状態ｓにおいて行動空間を構成する各行動をとる確率を高い順に並べ替えた上で加算していくことで累積分布関数Ｆ（ｓ）を求めたときに、「Ｆ（ｓ）≦τ」を満たす行動を操作提案の対象として出力するようにしてもよい。要は、現在の状態における確率分布の確率密度が高い行動ほど対象として選択する頻度を高める傾向をもって試行錯誤的な操作提案を実行するものであればよい。

・上記各実施の形態においては、強化学習における報酬関数として、操作提案に対する応答としての図１２に示したステアリングスイッチ１４２Ａにおける第１の操作ボタンＢＡ１の操作回数を設定するようにした。これに代えて、強化学習における報酬関数として、図１２に示したステアリングスイッチにおける第１の操作ボタンＢＡ１の操作回数から第２の操作ボタンＢＡ２の操作回数を減算した値を設定するようにしてもよい。また、第１の操作ボタンＢＡ１の操作回数から第３の操作ボタンＢＡ３の操作回数や第４の操作ボタンＢＡ４の操作回数を更に減算した値を強化学習における報酬関数として設定することも可能である。また、車載機器の操作提案に対して運転者から何らの操作が行われなかったときにその回数をログとして記録して第１の操作ボタンＢＡ１の操作回数から減算した値を強化学習における報酬関数として設定することも可能である。また、強化学習における報酬関数として、車載機器の操作提案に対して運転者が快・不快といった感情を感じた回数を運転者の生体信号等に基づいて計測し、運転者が快と感じた回数を強化学習における報酬関数として設定するようにしてもよい。また、運転者が快と感じた回数から不快と感じた回数を減算した値を強化学習における報酬関数として設定することも可能である。要は、運転者の意図に対する車載機器の操作提案の適正度合いを表す指標となるものであれば、強化学習における報酬関数として設定することは可能である。

・上記各実施の形態においては、ステアリングスイッチとして、エージェントＥＣＵ１００からの操作提案に応答するときに操作される第１の操作ボタンＢＡ１及び第２の操作ボタンＢＡ２に加え、エージェントＥＣＵ１００からの操作提案とは無関係に車載機器の操作を行うときに操作される第３の操作ボタンＢＡ３及び第４の操作ボタンＢＡ４を有する構成を例に挙げて説明した。ただし、図１７に示すように、ステアリングスイッチの他の一例として、エージェントＥＣＵ１００からの操作提案に応答するときに操作される第１の操作ボタンＢＡ１及び第２の操作ボタンＢＡ２のみを有するステアリングスイッチ１４２Ｂを採用する構成としてもよい。また、図１８に示すように、ステアリングスイッチの他の一例として、図１２に示した運転者自身による手入力により車載機器の操作を行うときに操作される第３の操作ボタンＢＡ３に代えて、コンシェルジュサービスを起動するときに操作される第３の操作ボタンＢＡ３αを有するステアリングスイッチ１４２Ｃを採用する構成としてもよい。そして、これらステアリングスイッチ１４２Ｂ，１４２Ｃの構成においても、操作提案に対する運転者からの応答をステアリングスイッチ１４２Ｂ，１４２Ｃの操作を通じて検出して強化学習における報酬関数として用いることが可能となる。

・上記各実施の形態においては、強化学習の手法として、Ｑラーニングを行うようにした。これに代えて、強化学習の手法として、例えば、ＳＡＲＳＡ法、アクタークリティック法等、他の手法を用いることも可能である。

１００…エージェントＥＣＵ、１１０…制御部、１１１…強化学習部１１１…ばらつき度合い演算部１１２…提案情報生成部１１３…操作検出部１１４…学習更新トリガー部、１２０…記憶部、１３０…他ＥＣＵ群、１３１…センサ群、１３２…スイッチ群、１４０…音声出力部、１４１…画像出力部、１４２…操作入力部、ＲＡ…操作履歴、Ｔ１，Ｔ１α…状態空間テーブル、Ｔ２，Ｔ２α…行動空間テーブル。

Claims (9)

1. 複数の種類の車両データを関連付けすることにより車両の状態を定義して複数の状態の集合である状態空間を構成する状態空間構成部と、
   車載機器の操作提案に対する運転者からの応答により実行される車載機器の操作内容を示すデータを行動として定義して複数の行動の集合である行動空間を構成する行動空間構成部と、
   前記車載機器の操作提案に対する運転者からの応答の履歴を蓄積し、該蓄積された履歴を用いつつ前記車載機器の操作提案の適正度合いを表す指標として報酬関数を設定するとともに、当該報酬関数に基づく強化学習により前記状態空間を構成する各状態において前記行動空間を構成する各行動が実行される確率分布を算出する強化学習部と、
   前記強化学習部により算出される確率分布のばらつき度合いを演算するばらつき度合い演算部と、
   前記ばらつき度合い演算部により演算される確率分布のばらつき度合いが閾値未満となるときには対象となる行動を操作提案の対象として固定して出力する確定的な操作提案を行い、前記ばらつき度合い演算部により演算される確率分布のばらつき度合いが前記閾値以上であるときには複数の候補の中から対象となる行動を操作提案の対象として選択して出力する試行錯誤的な操作提案を行う情報提供部とを備える
   情報提供装置。
2. 複数の種類の車両データを関連付けすることにより車両の状態を定義して複数の状態の集合である状態空間を構成する状態空間構成部と、
   車載機器の操作提案に対する運転者からの応答により実行される車載機器の操作内容を示すデータを行動として定義して複数の行動の集合である行動空間を構成する行動空間構成部と、
   前記車載機器の操作提案に対する運転者からの応答の履歴を蓄積し、該蓄積された履歴を用いつつ前記車載機器の操作提案の適正度合いを表す指標として報酬関数を設定するとともに、当該報酬関数に基づく強化学習により前記状態空間を構成する各状態において前記行動空間を構成する各行動が実行される確率分布を算出する強化学習部と、
   前記強化学習部により算出される確率分布のばらつき度合いを前記状態空間を構成する複数の状態について合算することにより前記状態空間のばらつき度合いを演算するばらつき度合い演算部と、
   前記ばらつき度合い演算部により演算される前記状態空間のばらつき度合いが閾値未満であるときには対象となる行動を操作提案の対象として固定して出力する確定的な操作提案を行い、前記ばらつき度合い演算部により演算される前記状態空間のばらつき度合いが前記閾値以上であるときには複数の候補の中から対象となる行動を操作提案の対象として選択して出力する試行錯誤的な操作提案を行う情報提供部とを備える
   情報提供装置。
3. 前記強化学習部は、前記状態空間を構成する各状態から前記行動空間を構成する各行動への写像を方策とするとともに、前記各状態において前記方策に従った場合に得られる累積報酬の期待値を状態価値関数とし、前記状態空間を構成する全ての状態において前記状態価値関数を最大にする前記方策を最適方策としたとき、前記状態空間を構成する各状態において前記行動空間の中から所定の行動を選択した後に常に前記最適方策に従う場合に得られる累積報酬の期待値を最適行動価値関数として推定して、当該推定した最適行動価値関数に基づいて前記確率分布を算出するものであり、
   前記情報提供部は、前記ばらつき度合い演算部により演算される前記状態空間のばらつき度合いが前記閾値未満であるときには、現在の状態において前記最適行動価値関数を最大化する行動を対象として前記確定的な操作提案を行う
   請求項２に記載の情報提供装置。
4. 前記情報提供部は、前記ばらつき度合い演算部により演算される前記状態空間のばらつき度合いが前記閾値以上であるときには、現在の状態における前記確率分布の確率密度が高い行動ほど対象として選択する頻度を高める傾向をもって前記試行錯誤的な操作提案を実行する
   請求項３に記載の情報提供装置。
5. 前記ばらつき度合い演算部は、前記状態空間を構成する各状態において前記行動空間を構成する各行動が実行される確率分布のばらつき度合いをエントロピーとして定義するとともに、前記状態空間のばらつき度合いを平均エントロピーとして定義し、
   前記情報提供部は、前記平均エントロピーの値をε値として設定したε−グリーディ法を用いつつ、ε値が大きくなるほど前記試行錯誤的な操作提案を行う頻度を高くする傾向をもって前記確定的な操作提案と前記試行錯誤的な操作提案との選択を行う
   請求項３又は４に記載の情報提供装置。
6. 前記強化学習部は、前記車載機器の操作提案に対する運転者の応答により実行される車載機器の操作の頻度を前記報酬関数として設定するものであり、前記車載機器の操作提案に応じて車載機器の操作が行われたときには、その操作履歴の変更に応じて前記報酬関数を更新する
   請求項１〜５の何れか一項に記載の情報提供装置。
7. 前記状態空間構成部は、前記車載機器の操作状況、前記車両の乗員の特性、及び前記車両の走行状況を関連付けしたデータ群である状態の集合として前記状態空間を構成する
   請求項１〜６の何れか一項に記載の情報提供装置。
8. コンピュータに、
   複数の種類の車両データを関連付けすることにより車両の状態を定義して複数の状態の集合である状態空間を構成する状態空間構成機能と、
   車載機器の操作提案に対する運転者からの応答により実行される車載機器の操作内容を示すデータを行動として定義して複数の行動の集合である行動空間を構成する行動空間構成機能と、
   前記車載機器の操作提案に対する運転者からの応答の履歴を蓄積し、該蓄積された履歴を用いつつ前記車載機器の操作提案の適正度合いを表す指標として報酬関数を設定するとともに、当該報酬関数に基づく強化学習により前記状態空間を構成する各状態において前記行動空間を構成する各行動が実行される確率分布を算出する強化学習機能と、
   前記強化学習機能により算出される確率分布のばらつき度合いを演算するばらつき度合い演算機能と、
   前記ばらつき度合い演算機能において演算される確率分布のばらつき度合いが閾値未満であるときには対象となる行動を操作提案の対象として固定して出力する確定的な操作提案を行い、前記ばらつき度合い演算機能において演算される確率分布のばらつき度合いが前記閾値以上であるときには複数の候補の中から対象となる行動を操作提案の対象として選択して出力する試行錯誤的な操作提案を行う情報提供機能と
   を実現させるための情報提供プログラム。
9. コンピュータに、
   複数の種類の車両データを関連付けすることにより車両の状態を定義して複数の状態の集合である状態空間を構成する状態空間構成機能と、
   車載機器の操作提案に対する運転者からの応答により実行される車載機器の操作内容を示すデータを行動として定義して複数の行動の集合である行動空間を構成する行動空間構成機能と、
   前記車載機器の操作提案に対する運転者からの応答の履歴を蓄積し、該蓄積された履歴を用いつつ前記車載機器の操作提案の適正度合いを表す指標として報酬関数を設定するとともに、当該報酬関数に基づく強化学習により状態空間を構成する各状態において行動空間を構成する各行動が実行される確率分布を算出する強化学習機能と、
   前記強化学習機能により算出される確率分布のばらつき度合いを前記状態空間を構成する複数の状態について合算することにより前記状態空間のばらつき度合いを演算するばらつき度合い演算機能と、
   前記ばらつき度合い演算機能において演算される状態空間のばらつき度合いが閾値未満であるときには対象となる行動を操作提案の対象として固定して出力する確定的な操作提案を行い、前記ばらつき度合い演算機能において演算される状態空間のばらつき度合いが前記閾値以上であるときには複数の候補の中から対象となる行動を操作提案の対象として選択して出力する試行錯誤的な操作提案を行う情報提供機能と
   を実現させるための情報提供プログラム。