JP2021163236A - 情報提供装置 - Google Patents
情報提供装置 Download PDFInfo
- Publication number
- JP2021163236A JP2021163236A JP2020064596A JP2020064596A JP2021163236A JP 2021163236 A JP2021163236 A JP 2021163236A JP 2020064596 A JP2020064596 A JP 2020064596A JP 2020064596 A JP2020064596 A JP 2020064596A JP 2021163236 A JP2021163236 A JP 2021163236A
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- display
- character
- providing device
- information providing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】リソース負担が少なく、利便性の高い情報提供装置を提供する。
【解決手段】情報提供装置は、移動体に搭乗している乗員の状態を取得する乗員状態取得部10と、レコメンド情報を提供するパーソナルアシスタントプログラムのキャラクタを表示するインフォテイメントディスプレイ8と、乗員状態取得部10で取得した乗員の状態に応じてパーソナルアシスタントプログラムのアシスト対象に選択された乗員の着座位置に対応してインフォテイメントディスプレイ8のキャラクタの表示形式を変更する表示制御部9と、を備える。乗員が助手席に着座している状態を取得した場合には、表示制御部9は、インフォテイメントディスプレイ8の助手席側にキャラクタを表示し、乗員が助手席に着座していない状態を取得した場合には、表示制御部9は、インフォテイメントディスプレイ8の運転席側にキャラクタを表示する。
【選択図】図1
【解決手段】情報提供装置は、移動体に搭乗している乗員の状態を取得する乗員状態取得部10と、レコメンド情報を提供するパーソナルアシスタントプログラムのキャラクタを表示するインフォテイメントディスプレイ8と、乗員状態取得部10で取得した乗員の状態に応じてパーソナルアシスタントプログラムのアシスト対象に選択された乗員の着座位置に対応してインフォテイメントディスプレイ8のキャラクタの表示形式を変更する表示制御部9と、を備える。乗員が助手席に着座している状態を取得した場合には、表示制御部9は、インフォテイメントディスプレイ8の助手席側にキャラクタを表示し、乗員が助手席に着座していない状態を取得した場合には、表示制御部9は、インフォテイメントディスプレイ8の運転席側にキャラクタを表示する。
【選択図】図1
Description
本発明は、情報提供装置に関する。
近年、自動車等の車両では、高速通信システムの装備やカメラ等のセンサ搭載により、快適性を向上するとともに、ネットワークを介して、車外からの情報提供が可能になってきている。
車両の乗員に運転支援情報やインフォテイメント情報を提供するHMI(Human Machine Interface)にディスプレイを利用したシステムも考案されている。
車両の乗員に運転支援情報やインフォテイメント情報を提供するHMI(Human Machine Interface)にディスプレイを利用したシステムも考案されている。
例えば、特許文献1には、運転席と助手席と後部席のそれぞれにディスプレイが設けられ、運転者が運転席エージェントキャラクタとの間の擬似的な対話の中で運転支援情報を運転席ディスプレイに表示させ、助手席搭乗者が助手席エージェントキャラクタとの間の擬似的な対話の中で運転支援情報を助手席ディスプレイに表示させ、後部席搭乗者が後部席エージェントキャラクタとの間の擬似的な対話の中で運転支援情報を後部席ディスプレイに表示させるエージェントキャラクタ表示を利用した表示システムが開示されている。
特許文献1の表示システムによれば、車両の搭乗者のそれぞれが、個々のエージェントキャラクタとの会話により、必要な情報をそれぞれのディスプレイに表示できるので、利便性を高めることができる。
しかし、複数のディスプレイや複数のエージェントキャラクタを用意する必要があり、必要なリソースが大きくなる問題がある。
本発明は、上記の問題を解決し、リソース負担が少なく、利便性の高い情報提供装置を提供することを目的とする。
しかし、複数のディスプレイや複数のエージェントキャラクタを用意する必要があり、必要なリソースが大きくなる問題がある。
本発明は、上記の問題を解決し、リソース負担が少なく、利便性の高い情報提供装置を提供することを目的とする。
前記課題を解決するため、本発明の情報提供装置は、移動体に搭乗している乗員の状態を取得する乗員状態取得部と、少なくともレコメンド情報を提供するパーソナルアシスタントプログラムのキャラクタを表示する表示部と、前記乗員状態取得部で取得した乗員の状態に応じて前記パーソナルアシスタントプログラムのアシスト対象に選択された乗員の着座位置に対応して、前記表示部のキャラクタの表示形式を変更する表示制御部と、を備えるようにした。
本発明によれば、情報提供装置が、どの乗員を対象に対話を行うかおよびレコメンド情報を提供するかを判断してエージェントキャラクタの表現位置を変化させるので、利用者との親和性を高めることができる。
以下、本発明の実施形態を、図面を参照しながら詳細に説明する。
図1は、実施形態の情報提供装置の構成を示す図である。
実施形態の情報提供装置は、ガソリンエンジン等の内燃機関を動力源とした自動車、電動機を動力源とした電気自動車、内燃機関及び電動機を兼ね備えたハイブリッド自動車等を含み、二輪や三輪、四輪等の車両や、船舶、飛行機等の移動体に搭載される。
図1は、実施形態の情報提供装置の構成を示す図である。
実施形態の情報提供装置は、ガソリンエンジン等の内燃機関を動力源とした自動車、電動機を動力源とした電気自動車、内燃機関及び電動機を兼ね備えたハイブリッド自動車等を含み、二輪や三輪、四輪等の車両や、船舶、飛行機等の移動体に搭載される。
実施形態の情報提供装置は、乗員の音声を認識して、乗員の意図に対応した車載装置の制御やインフォテイメント・コンテンツを提供するエージェントであるパーソナルアシスタント1を含み構成されている。
TCU2(Telematics Control Unit:テレマティクス制御ユニット)は、携帯通信網に接続する通信ユニットであり、パーソナルアシスタント1は、TCU2を介して、インフォテイメント・コンテンツを取得し、乗員に提供する。
TCU2(Telematics Control Unit:テレマティクス制御ユニット)は、携帯通信網に接続する通信ユニットであり、パーソナルアシスタント1は、TCU2を介して、インフォテイメント・コンテンツを取得し、乗員に提供する。
自動運転・運転支援ユニット3は、ACC(アダプティブ・クルーズ・コントロール)や(路外逸脱抑制機能)等の運転支援やレベル3(条件付き自動運転)以上の自動運転を制御するユニットである。パーソナルアシスタント1は、制御の設定や制御状態の通知を、乗員と対話して行う。
車載AV装置4は、車両の搭載されているAV(Audio Visual)機器であり、パーソナルアシスタント1は、コンテンツの選択や、再生制御を、乗員と対話して行う。
ナビゲーション装置5は、走行時に現在位置や目的地への経路案内を行う装置であり、パーソナルアシスタント1は、表示内容の制御や、目的地の設定等を、乗員と対話して行う。
ナビゲーション装置5は、走行時に現在位置や目的地への経路案内を行う装置であり、パーソナルアシスタント1は、表示内容の制御や、目的地の設定等を、乗員と対話して行う。
パーソナルアシスタント1は、着座センサ61と車内カメラ62と近赤外カメラ63と車内音声マイク64により取得した情報に基づいて、後述する乗員状態取得部10により、乗員の着座位置や身体状態を検出する。
着座センサ61は、車室内の座席シートに設けられ、メンブレムスイッチや感圧センサなどから成り座席に乗員が座っているか否かを検知する。SBR(Seat Belt Reminder)センサの検出値を着座センサ61の検出値としてとして乗員の着座の有無を検知してもよい。
車内カメラ62は、車室内の乗員の身体状態を検出するための可視光の撮像デバイスである。運転者の身体状態については、ドライバモニタリングカメラにより代用してもよい。また、前部座席と後部座席とで、別の車内カメラ62を設けるようにしてもよいし、ドライバーモニタカメラ(不図示)により、運転者の身体状態を検出するようにしてもよい。
近赤外カメラ63は、日没以後に、車室内の乗員の身体状態を検出するためのカメラである。
車内音声マイク64は、車内の乗員の会話を集音する。後述する音声認識部12により、パーソナルアシスタント1を起動する「OK Honda」の特定の音声を検出し、パーソナルアシスタント1の乗員との対話が開始される。また、音声認識部12は、集音した乗員の音声の感情分析を行い、乗員の嗜好を判定する。
車内音声マイク64は、車内の乗員の会話を集音する。後述する音声認識部12により、パーソナルアシスタント1を起動する「OK Honda」の特定の音声を検出し、パーソナルアシスタント1の乗員との対話が開始される。また、音声認識部12は、集音した乗員の音声の感情分析を行い、乗員の嗜好を判定する。
車内スピーカ7は、車載AV装置4の出力装置であるとともに、パーソナルアシスタント1の対話音声を出力する。
インフォテイメントディスプレイ8(表示部)は、車載AV装置4の表示装置であるとともに、パーソナルアシスタント1の表示出力装置である。
インフォテイメントディスプレイ8(表示部)は、車載AV装置4の表示装置であるとともに、パーソナルアシスタント1の表示出力装置である。
つぎに、パーソナルアシスタント1の構成を説明する。
乗員状態取得部10は、乗員の着座状態や身体状態を取得する処理部であり、着座配置検出部11と音声認識部12と身体モニタ13とを含んでいる。
乗員状態取得部10は、乗員の着座状態や身体状態を取得する処理部であり、着座配置検出部11と音声認識部12と身体モニタ13とを含んでいる。
着座配置検出部11は、車室内のそれぞれの着座センサ61から着座しているか否かの着座検知情報を取得し、乗員の着座状態を検出する。つまり、運転席の着座検知情報により運転席の乗員(運転者)の着座状態を取得し、助手席の着座検知情報により、助手席の乗員の着座状態を取得する。
また、着座配置検出部11は、車内カメラ62による車内の撮像画像を解析し、運転席または助手席に対応する位置に乗員画像を認識できるか否かを判定して着座検知情報とし、乗員の着座状態を検出してもよい。さらに、夜間等の照明が暗い状態では、近赤外カメラ63による撮像画像を利用する。
音声認識部12は、車内音声マイク64により集音した乗員の音声を分析して、テキスト列に認識デコードし、言語分析するとともに感情値を求める。
音声認識部12による言語分析の結果および感情値は、レコメンド情報生成部16に通知する。
音声認識部12による言語分析の結果および感情値は、レコメンド情報生成部16に通知する。
詳しくは、音声認識部12は、取得した乗員の音声の音声波形を音響分析してテキスト列に認識デコードし、このテキスト列を形態素解析して単語(形態素)を抽出する。そして、単語ごとに感情辞書を参照して、テキスト列の感情値を算出する。認識デコードしたテキスト列に含まれる所定のキーワードの数を感情値としてもよいし、また、認識デコードしたテキスト列に含まれる文の数を発話数とし、感情値としてもよい。
また、音声認識部12は、取得した乗員の音声の抑揚の大小、音声の音域、発話頻度、または、音声の長さ・口数を、感情値として求め、この感情値が低い場合には、パーソナルアシスタント1との対話の意思がないと判断する。
さらに、音声認識部12は、乗員の音声を言語分析し、「OK Honda」を認識した場合に、パーソナルアシスタント1はアシスト対象の乗員との対話を開始する。
身体モニタ13は、車内カメラ62の撮像画像から乗員の顔画像を抽出し、この顔画像から乗員の眠気(覚醒度)を算出する。または、下まぶたの形状および上下まぶた間の距離から開眼度を検出し、乗員の眠気を算出する。
身体モニタ13が算出した乗員の眠気が所定値以上の場合には、パーソナルアシスタント1による乗員へのレコメンド情報の提供や機器操作のサポートは不要と判断する。
身体モニタ13が算出した乗員の眠気が所定値以上の場合には、パーソナルアシスタント1による乗員へのレコメンド情報の提供や機器操作のサポートは不要と判断する。
乗員識別部14は、運転席および助手席に着座している乗員の識別子を求める処理部である。詳しくは、乗員識別部14は、車内カメラ62に撮像画像から、運転席および助手席に対応する位置の乗員画像を取得し、顔認証により乗員を認証する。
また、乗員識別部14は、車内音声マイクにより取得した乗員の音声を声紋認証して乗員を特定する識別子を求め、パーソナルアシスタント1の履歴情報から、声紋認証した乗員の着座位置の履歴情報を取得して、運転席および助手席に着座している乗員の識別子を求めるようにしてもよい。
対話制御部15は、パーソナルアシスタント1のアシスト対象の乗員の音声を取得し、パーソナルアシスタント1の音声対話を制御する制御部である。詳しくは、対話制御部15は、乗員識別部14で識別した運転席および助手席に着座している乗員の識別子に対応する音声により、パーソナルアシスタント1とアシスト対象の乗員の対話を制御する。
実施形態の情報提供装置では、話制御部15は、助手席に着座する乗員を優先するアシスト対象とし、助手席に乗員が着座していない場合には、運転席の乗員をアシスト対象とする。
実施形態の情報提供装置では、話制御部15は、助手席に着座する乗員を優先するアシスト対象とし、助手席に乗員が着座していない場合には、運転席の乗員をアシスト対象とする。
また、対話制御部15は、音声認識部12が「OK Honda」を検知した際に、発声した乗員がアシスト対象の乗員であるか否かを判定し、アシスト対象の乗員と異なる乗員が発声した場合には、「OK Honda」を発声した乗員をアシスト対象の乗員とする。
レコメンド情報生成部16は、音声認識部12より通知されたアシスト対象の乗員の言語分析結果および感情値から、乗員の意図に対応インフォテイメント・コンテンツを、TCU2を介して取得してレコメンド情報とするとともに、車載AV装置4の再生コンテンツ名等の情報をレコメンド情報とする。
キャラクタ生成部17は、インフォテイメントディスプレイ8に表示するパーソナルアシスタント1の制御状態に応じた複数の表示形式のアイコン(キャラクタ)を生成する。
例えば、パーソナルアシスタント1が待機状態にあることを示すアイコン、パーソナルアシスタント1が乗員の会話に基づいたレコメンド情報を提供可能な状態であることを示すアイコン、パーソナルアシスタント1がアシスト中を示すアイコン、等を生成する。
例えば、パーソナルアシスタント1が待機状態にあることを示すアイコン、パーソナルアシスタント1が乗員の会話に基づいたレコメンド情報を提供可能な状態であることを示すアイコン、パーソナルアシスタント1がアシスト中を示すアイコン、等を生成する。
キャラクタ生成部17で生成されたアイコンは、パーソナルアシスタント1のキャラクタとして、表示制御部9により表示位置やサイズが調整され、インフォテイメントディスプレイ8に表示される。
表示制御部9は、レコメンド情報生成部16で生成したアシスト対象の乗員へのレコメンド情報を、インフォテイメントディスプレイ8に表示するとともに、キャラクタ生成部17により生成したパーソナルアシスタント1のキャラクタをインフォテイメントディスプレイ8に表示する。
詳細は後述するが、表示制御部9は、乗員状態取得部10により取得した乗員の着座位置や覚醒状態、乗員のパーソナルアシスタント1によるアシスト要否の意思に応じて、パーソナルアシスタント1のキャラクタの表示位置や表示形式を変えて表示する。
実施形態の情報提供装置では、パーソナルアシスタント1が、CPU(Central Processing Unit)によるプログラム実行処理や、専用回路等により実現される。さらに、プログラムの記憶部およびプログラムの一時記憶部として、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等の記憶媒体から構成される。
パーソナルアシスタント1は、自動車のECU(Electronic Control Unit)として実装してもよく、また、他のECUの一部の機能として実装してもよい。
パーソナルアシスタント1は、自動車のECU(Electronic Control Unit)として実装してもよく、また、他のECUの一部の機能として実装してもよい。
つぎに、図2により、インフォテイメントディスプレイ8について説明する。
図2は、実施形態の情報提供装置が搭載された車両の車室前部構造の一例を表す図である。
図2に示すように、車室前部には、運転席に正対する位置に設けられるメータパネル19と、運転席及び助手席にわたって対向するように設けられる、車幅方向(Y方向)に横長のインフォテイメントディスプレイ8と、車幅方向の運転席側に設けられた右側パネル20Rと、車幅方向の助手席側に設けられた左側パネル20Lと、が設けられている。
図2は、実施形態の情報提供装置が搭載された車両の車室前部構造の一例を表す図である。
図2に示すように、車室前部には、運転席に正対する位置に設けられるメータパネル19と、運転席及び助手席にわたって対向するように設けられる、車幅方向(Y方向)に横長のインフォテイメントディスプレイ8と、車幅方向の運転席側に設けられた右側パネル20Rと、車幅方向の助手席側に設けられた左側パネル20Lと、が設けられている。
メータパネル19には、例えば、スピードメータ、タコメータ、オドメータ、シフト位置情報、灯火類の点灯状況情報等が表示される。
インフォテイメントディスプレイ8には、例えば、車両周辺の地図情報、地図上における車両の現在位置情報、車両の現在の走行路・予定経路に関する交通情報(信号情報を含む)、車両の周囲に存する交通参加者(歩行者・自転車・オートバイ・他車両等を含む)に関する交通参加者情報、交通参加者に向けて発するメッセージ等の各種情報等が表示される。
また、インフォテイメントディスプレイ8には、レコメンド情報生成部16で生成したアシスト対象の乗員へのレコメンド情報が表示されるとともに、パーソナルアシスタント1のキャラクタが表示される。
インフォテイメントディスプレイ8には、例えば、車両周辺の地図情報、地図上における車両の現在位置情報、車両の現在の走行路・予定経路に関する交通情報(信号情報を含む)、車両の周囲に存する交通参加者(歩行者・自転車・オートバイ・他車両等を含む)に関する交通参加者情報、交通参加者に向けて発するメッセージ等の各種情報等が表示される。
また、インフォテイメントディスプレイ8には、レコメンド情報生成部16で生成したアシスト対象の乗員へのレコメンド情報が表示されるとともに、パーソナルアシスタント1のキャラクタが表示される。
右側パネル20Rには、車両の右側に設けたカメラ(不図示)により撮像した車両右側における後方及び下方の画像情報が表示される。
左側パネル20Lには、車両の左側に設けたカメラ(不図示)により撮像した車両左側における後方及び下方の画像情報が表示される。
左側パネル20Lには、車両の左側に設けたカメラ(不図示)により撮像した車両左側における後方及び下方の画像情報が表示される。
つぎに、図3A、図3B、図3Cにより、実施形態の情報提供装置のインフォテイメントディスプレイ8の表示例を説明する。
図3Aは、運転席にのみ乗員が着座している際の、パーソナルアシスタント1の待機状態を示す図である。パーソナルアシスタント1の待機状態を示すキャラクタ18aが、インフォテイメントディスプレイ8の運転席側に表示される。
図3Aは、運転席にのみ乗員が着座している際の、パーソナルアシスタント1の待機状態を示す図である。パーソナルアシスタント1の待機状態を示すキャラクタ18aが、インフォテイメントディスプレイ8の運転席側に表示される。
詳細は後述するが、実施形態の情報提供装置では、助手席に乗員が着座している場合には、パーソナルアシスタント1の待機状態のキャラクタ18aは、インフォテイメントディスプレイ8の助手席側に表示される(不図示)。
詳細には、キャラクタ18aは、運転席と助手席の並び方向に2等分したインフォテイメントディスプレイ8の表示領域において助手席側の表示領域に表示される。以下の説明では、2等分したインフォテイメントディスプレイ8の表示領域の助手席側の表示領域を助手席側と記し、運転席側の表示領域を運転席側と記す。
図3Bは、助手席に着座している乗員に、パーソナルアシスタント1が、乗員との対話に基づいて、レコメンド情報をインフォテイメントディスプレイ8に表示している場合の表示例を示す図である。
インフォテイメントディスプレイ8のパーソナルアシスタント1のアシスト対象の乗員が着座している助手席側に、パーソナルアシスタント1がアシスト中を示すキャラクタ18bを表示する。
インフォテイメントディスプレイ8のパーソナルアシスタント1のアシスト対象の乗員が着座している助手席側に、パーソナルアシスタント1がアシスト中を示すキャラクタ18bを表示する。
図示しないが、パーソナルアシスタント1が、アシスト対象の乗員を助手席の乗員として、待機状態のキャラクタ18aをインフォテイメントディスプレイ8の助手席側に表示している際に、運転席の乗員が、「OK Honda」と発声して、パーソナルアシスタント1にアシスト要求した際には、パーソナルアシスタント1のキャラクタをつぎのように表示する。
まず、パーソナルアシスタント1の待機状態のキャラクタ18aが、インフォテイメントディスプレイ8の助手席側から運転席側に移動する。そして、待機状態のキャラクタ18aが、パーソナルアシスタント1がアシスト中を示すキャラクタ18bに変わる。
図3Cは、パーソナルアシスタント1が乗員の会話に基づいたレコメンド情報を提供可能な状態であることを示すキャラクタ18cの表示例である。
実施形態の情報提供装置は、図3Aに示したパーソナルアシスタント1の待機状態が所定時間継続した場合に、キャラクタ18aからキャラクタ18cに表示形式を替えて表示することにより、乗員のパーソナルアシスタント1との対話を促す。
この際、上記の表示形式の変更だけでなく、キャラクタの大きさ、色を変更するようにしてもよい。
実施形態の情報提供装置は、図3Aに示したパーソナルアシスタント1の待機状態が所定時間継続した場合に、キャラクタ18aからキャラクタ18cに表示形式を替えて表示することにより、乗員のパーソナルアシスタント1との対話を促す。
この際、上記の表示形式の変更だけでなく、キャラクタの大きさ、色を変更するようにしてもよい。
つぎに、実施形態の情報提供装置の処理フローを図4により説明する。
ステップS41で、パーソナルアシスタント1は、着座配置検出部11により、運転席と助手席の乗員の着座状態を検出して、乗員の着座配置を取得する。
ステップS41で、パーソナルアシスタント1は、着座配置検出部11により、運転席と助手席の乗員の着座状態を検出して、乗員の着座配置を取得する。
ステップS42で、パーソナルアシスタント1は、ステップS41で取得した乗員の着座配置に基づいて、助手席に乗員が着座しているか否かを判定する。助手席に乗員が着座していれば(S42のYes)、ステップS43に進み、着座していなければ(S42のNo)、ステップS44に進む。
ステップS43で、パーソナルアシスタント1は、アシスト対象の乗員を助手席に着座している乗員とし、パーソナルアシスタント1のキャラクタの表示位置を助手席側に設定する。そして、ステップS45に進む。
ステップS44で、パーソナルアシスタント1は、アシスト対象の乗員を運転席に着座している乗員とし、パーソナルアシスタント1のキャラクタの表示位置を運転席側に設定する。そして、ステップS45に進む。
ステップS44で、パーソナルアシスタント1は、アシスト対象の乗員を運転席に着座している乗員とし、パーソナルアシスタント1のキャラクタの表示位置を運転席側に設定する。そして、ステップS45に進む。
ステップS45で、パーソナルアシスタント1は、表示制御部9により、インフォテイメントディスプレイ8のステップS43またはステップS44で設定したキャラクタの表示位置に、キャラクタ生成部17で生成した待機状態を示すキャラクタ18aを表示する。
ステップS46で、パーソナルアシスタント1は、車両がイグニッションオンの状態であるか否かを判定し、イグニッションオンの状態であれば(S46のYes)、ステップS47に進み、イグニッションオンの状態でなければ(S46のNo)、イグニッションオフの状態として、実施形態の情報提供装置の処理を終了する。
また、ステップS46で、パーソナルアシスタント1は、イグニッションオンの状態の判定に替えて、パーソナルアシスタント1によるレコメンド情報提供機能の実施要否設定の判定を行うようにしてもよい。または、これらを組み合わせ判定するようにしてもよい。
ステップS47で、パーソナルアシスタント1は、音声認識部12により、所定時間、レコメンド情報提供の起動音声であるアシスト対象の乗員の「OK Honda」の発声を検知したか否かを判定する。詳しくは、対話制御部15が、乗員識別部14により識別しているアシスト対象の乗員が、「OK Honda」を発声したか否かを、音声認識部12で検知して、判定する。
所定時間中に、アシスト対象の乗員の「OK Honda」の発声を検知した場合には(S47のYes)、ステップS411に進み、所定時間を過ぎても、「OK Honda」の発声を検知しない場合には(S47のNo)、ステップS48に進む。詳しくは、パーソナルアシスタント1は、所定時間、アシスト対象の乗員の「OK Honda」の発声を待機する。
図示しないが、ステップS47において、パーソナルアシスタント1が、アシスト対象でない乗員の「OK Honda」の発声を検知した場合には、アシスト対象の乗員を、「OK Honda」を発声した乗員に変えて、ステップS411に進む処理を追加してもよい。
この場合には、待機状態を示すキャラクタ18aの表示位置を、変更したアシスト対象の乗員が着座する着座位置側に移動する。
この場合には、待機状態を示すキャラクタ18aの表示位置を、変更したアシスト対象の乗員が着座する着座位置側に移動する。
ステップS47で、パーソナルアシスタント1が、音声指示によりレコメンド情報を提供する場合について説明したが、音声指示に替えて、アシスト対象の乗員が着座する座席、または、座席の近傍に設けられたスイッチの操作、または、インフォテイメントディスプレイ8に設けたタッチセンサのタッチ操作などを、レコメンド情報の提供指示としてもよい。
ステップS48で、パーソナルアシスタント1は、身体モニタ13により、アシスト対象の乗員の覚醒度を検出する。
また、ステップS49で、パーソナルアシスタント1は、音声認識部12により、アシスト対象の乗員の音声感情分析を行い、感情値を検出する。
また、ステップS49で、パーソナルアシスタント1は、音声認識部12により、アシスト対象の乗員の音声感情分析を行い、感情値を検出する。
ステップS410で、パーソナルアシスタント1は、アシスト対象の乗員の覚醒度が所定時間・所定値以下だった場合、つまり、アシスト対象の乗員が寝ているか、または、アシスト対象の乗員の感情値が所定時間・所定値以下だった場合、つまり、パーソナルアシスタント1に興味がない状態であるか否かの、アシスト要否判定を行う。
パーソナルアシスタント1は、アシスト要と判定した場合には(S410の“要”)、ステップS414に進み、アシスト否と判定した場合には(S410の“否”)、ステップS415に進む。
パーソナルアシスタント1は、アシスト要と判定した場合には(S410の“要”)、ステップS414に進み、アシスト否と判定した場合には(S410の“否”)、ステップS415に進む。
ステップS414で、パーソナルアシスタント1は、乗員へのレコメンド情報の提供を促すため、表示制御部9がインフォテイメントディスプレイ8に表示するパーソナルアシスタント1のキャラクタの表示形式を、待機状態のキャラクタ18aからレコメンド情報を提供可能な状態であることを示すキャラクタ18cに変更する。つまり、キャラクタをめだつ表示形式に変更する。そして、ステップS46に戻る。
ステップS415で、パーソナルアシスタント1は、アシスト対象の乗員を変更する。つまり、助手席の乗員から運転席の乗員に変更、または、運転席の乗員から助手席の乗員に変更する。
ステップS416で、パーソナルアシスタント1は、アシスト対象の乗員の変更に伴い、表示制御部9により、インフォテイメントディスプレイ8に表示しているパーソナルアシスタント1のキャラクタの表示位置を、アシスト対象に変更した乗員が着座する座席側に変更する。
そして、ステップS46に戻る。
ステップS416で、パーソナルアシスタント1は、アシスト対象の乗員の変更に伴い、表示制御部9により、インフォテイメントディスプレイ8に表示しているパーソナルアシスタント1のキャラクタの表示位置を、アシスト対象に変更した乗員が着座する座席側に変更する。
そして、ステップS46に戻る。
ステップS411で、表示制御部9により、インフォテイメントディスプレイ8に表示しているパーソナルアシスタント1のキャラクタの表示形式をパーソナルアシスタント1がアシスト中を示すキャラクタ18bに変更する。
ステップS412で、パーソナルアシスタント1は、レコメンド情報生成部16により取得した、アシスト乗員へのレコメンド情報を、インフォテイメントディスプレイ8に表示する。また、必要に応じて、車内スピーカ7からレコメンド情報を発声する。
ステップS413で、パーソナルアシスタント1は、アシスト対象の乗員へのレコメンド情報の提供を終えると、インフォテイメントディスプレイ8に表示しているパーソナルアシスタント1のキャラクタの表示形式を、パーソナルアシスタント1の待機状態であることを示すキャラクタ18aに変更する。
そして、ステップS46に戻る。
そして、ステップS46に戻る。
上記の実施形態の情報提供装置により、誰を対象に会話およびレコメンド情報を提供するかを判断してパーソナルアシスタント1のキャラクタの表現位置を変化させるので、パーソナルアシスタント1と利用者との親和性を高めることができる。
1 パーソナルアシスタント
2 TCU
3 自動運転・運転支援ユニット
4 車載AV装置
5 ナビゲーション装置
61 着座センサ
62 車内カメラ
63 近赤外カメラ
64 車内音声マイク
7 車内スピーカ
8 インフォテイメントディスプレイ
9 表示制御部
10 乗員状態取得部
11 着座配置検出部
12 音声認識部
13 身体モニタ
14 乗員識別部
15 対話制御部
16 レコメンド情報生成部
17 キャラクタ生成部
2 TCU
3 自動運転・運転支援ユニット
4 車載AV装置
5 ナビゲーション装置
61 着座センサ
62 車内カメラ
63 近赤外カメラ
64 車内音声マイク
7 車内スピーカ
8 インフォテイメントディスプレイ
9 表示制御部
10 乗員状態取得部
11 着座配置検出部
12 音声認識部
13 身体モニタ
14 乗員識別部
15 対話制御部
16 レコメンド情報生成部
17 キャラクタ生成部
Claims (8)
- 移動体に搭乗している乗員の状態を取得する乗員状態取得部と、
少なくともレコメンド情報を提供するパーソナルアシスタントプログラムのキャラクタを表示する表示部と、
前記乗員状態取得部で取得した乗員の状態に応じて前記パーソナルアシスタントプログラムのアシスト対象に選択された乗員の着座位置に対応して、前記表示部のキャラクタの表示形式を変更する表示制御部と、
を備えることを特徴とする情報提供装置。 - 請求項1に記載の情報提供装置において、
前記乗員状態取得部により乗員が助手席に着座している状態を取得した場合には、前記表示制御部は、前記表示部の助手席側に前記キャラクタを表示し、
前記乗員状態取得部により乗員が助手席に着座していない状態を取得した場合には、前記表示制御部は、前記表示部の運転席側に前記キャラクタを表示する
ことを特徴とする情報提供装置。 - 請求項2に記載の情報提供装置において、
前記乗員状態取得部により助手席の乗員が前記パーソナルアシスタントプログラムのレコメンド情報を不要と判断する場合には、
前記表示制御部は、前記キャラクタを、前記表示部の助手席側から前記表示部の運転席側に移動して、表示する
ことを特徴とする情報提供装置。 - 請求項3に記載の情報提供装置において、
前記乗員状態取得部が、前記助手席の乗員の覚醒度が所定値以下であることを取得した場合に、レコメンド情報の提供を不要と判断する
ことを特徴とする情報提供装置。 - 請求項3に記載の情報提供装置において、
前記乗員状態取得部により取得された前記助手席の乗員の開眼度または発話頻度に基づいて、レコメンド情報の提供要否を判断する
ことを特徴とする情報提供装置。 - 請求項1又は2に記載の情報提供装置において、
前記乗員状態取得部が、乗員による前記パーソナルアシスタントプログラムのレコメンド情報の提供の指示を所定時間認識しなかった場合に、
前記表示制御部は、前記キャラクタの表示形式を変更する
ことを特徴とする情報提供装置。 - 請求項6に記載の情報提供装置において、
前記表示制御部は、前記キャラクタの少なくとも大きさ、色、表情のいずれかを含む表示形式を変更する
ことを特徴とする情報提供装置。 - 請求項6に記載の情報提供装置において、
前記表示制御部は、前記キャラクタの表示形式を所定時間変更した後に、前記表示部の運転席側から助手席側に前記キャラクタの表示位置を変更するか、または、前記表示部の助手席側から運転席側に前記キャラクタの表示位置を変更する
ことを特徴とする情報提供装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020064596A JP2021163236A (ja) | 2020-03-31 | 2020-03-31 | 情報提供装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020064596A JP2021163236A (ja) | 2020-03-31 | 2020-03-31 | 情報提供装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021163236A true JP2021163236A (ja) | 2021-10-11 |
Family
ID=78004882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020064596A Pending JP2021163236A (ja) | 2020-03-31 | 2020-03-31 | 情報提供装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021163236A (ja) |
-
2020
- 2020-03-31 JP JP2020064596A patent/JP2021163236A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10908677B2 (en) | Vehicle system for providing driver feedback in response to an occupant's emotion | |
JP4380541B2 (ja) | 車両用エージェント装置 | |
JP2018106530A (ja) | 運転支援装置および運転支援方法 | |
US10994612B2 (en) | Agent system, agent control method, and storage medium | |
US10773726B2 (en) | Information provision device, and moving body | |
JP2017090611A (ja) | 音声認識制御システム | |
JP2008070965A (ja) | 車両制御装置および車両制御方法 | |
JP6075577B2 (ja) | 運転支援装置 | |
US10666901B1 (en) | System for soothing an occupant in a vehicle | |
CN111261154A (zh) | 智能体装置、智能体提示方法及存储介质 | |
US10706270B2 (en) | Information provision device, and moving body | |
JP2008070966A (ja) | 車両制御装置および車両制御方法 | |
JP2018030499A (ja) | 車外情報提供装置および車外情報提供方法 | |
CN111007968A (zh) | 智能体装置、智能体提示方法及存储介质 | |
CN113157080A (zh) | 用于车辆的指令输入方法、存储介质、系统及车辆 | |
JP2019073255A (ja) | 運転支援装置 | |
CN108885867B (zh) | 车用效果声发生装置 | |
JP7261626B2 (ja) | 車載機器制御システム、車載機器制御装置、車載機器制御方法、及びプログラム | |
JP2021163236A (ja) | 情報提供装置 | |
CN114194122B (zh) | 一种安全提示系统及汽车 | |
JPH1044894A (ja) | 車両用事故対処装置 | |
CN111902864A (zh) | 用于运行机动车的声音输出装置的方法、语音分析与控制装置、机动车和机动车外部的服务器装置 | |
JP6332072B2 (ja) | 対話装置 | |
JP2019074498A (ja) | 運転支援装置 | |
JP2020144285A (ja) | エージェントシステム、情報処理装置、移動体搭載機器制御方法、及びプログラム |