JP2019139354A - 情報提供装置及び情報提供方法 - Google Patents

情報提供装置及び情報提供方法 Download PDF

Info

Publication number
JP2019139354A
JP2019139354A JP2018020056A JP2018020056A JP2019139354A JP 2019139354 A JP2019139354 A JP 2019139354A JP 2018020056 A JP2018020056 A JP 2018020056A JP 2018020056 A JP2018020056 A JP 2018020056A JP 2019139354 A JP2019139354 A JP 2019139354A
Authority
JP
Japan
Prior art keywords
emotion
vehicle
information
unit
occupant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018020056A
Other languages
English (en)
Other versions
JP6713490B2 (ja
Inventor
聡 今泉
Satoshi Imaizumi
聡 今泉
後藤　紳一郎
Shinichiro Goto
紳一郎 後藤
英輔 相馬
Eisuke Soma
英輔 相馬
博光 湯原
Hiromitsu Yuhara
博光 湯原
滝川　桂一
Keiichi Takigawa
桂一 滝川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018020056A priority Critical patent/JP6713490B2/ja
Priority to CN201811534268.8A priority patent/CN110147160B/zh
Priority to US16/267,641 priority patent/US11312389B2/en
Publication of JP2019139354A publication Critical patent/JP2019139354A/ja
Application granted granted Critical
Publication of JP6713490B2 publication Critical patent/JP6713490B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/22—
    • B60K35/29—
    • B60K35/85—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B60K2360/186—
    • B60K2360/1876—
    • B60K2360/589—
    • B60K2360/592—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

【課題】情報の提供に伴って車両の乗員に与えられる煩わしさを軽減または解消しながら、乗員が興味を持ちうる情報を提供することができる情報提供装置を提供する。【解決手段】情報提供装置１は、乗員が車両Ｘに乗車した時から所定期間内に乗員の感情を推定する感情推定部１０４と（ＳＴＥＰ１１４）、乗員の感情に基づいて、車両Ｘのベース感情を設定するベース感情設定部１０５と（ＳＴＥＰ１２０）、車両Ｘの状態を検出する車両状態検出部１１と（ＳＴＥＰ１２２）、ベース感情及び車両Ｘの状態に応じて、車両Ｘの感情を生成する感情生成部１０６と（ＳＴＥＰ１２６）、車両Ｘの感情に基づいて乗員に提供する情報を決定する情報決定部１０８と（ＳＴＥＰ１２８）、情報を乗員に対して出力する情報出力部１５，１７と（ＳＴＥＰ１３０）、を備える。【選択図】図６

Description

本発明は、情報提供装置及び情報提供方法に関する。
従来、車両の乗員に対して情報を提供する装置が知られている。
運転中の乗員に対して情報を提供する場合、運転に集中しているときには煩わしく感じたり、意識が運転に向いているために情報を認識できないような場合がある。このような課題を解決するために、例えば、特許文献１の技術は、運転者の運転負荷レベルに応じて、運転負荷が高い場合には情報を提示せずに保留し、運転負荷が低い場合に情報を提示することにより、運転者の注意を妨げることなく情報を提供することができる装置が開示されている。
特開２００８−２４１３０９号公報
しかしながら、運転負荷レベルに基づいて情報の提示を判断する特許文献１の技術においては、機嫌が悪い等の情報を受け取る乗員の感情によっては、提供される情報を運転者が煩わしく感じるおそれもある。また、一方的で一律的な情報提供は無味乾燥であると感じる乗員もいる可能性がある。情報提供装置から煩わしい情報又は無味乾燥な情報が提供され続けると、乗員が情報提供装置の使用を避ける可能性もある。
そこで、本発明は、情報の提供に伴って車両の乗員に与えられる煩わしさを軽減または解消しながら、乗員が興味を持ちうる情報を提供することができる情報提供装置及び情報提供方法を提供することを目的とする。
本発明の情報提供装置は、
乗員が車両に乗車した時から所定期間内に乗員の感情を推定する感情推定部と、
前記感情推定部により前記推定された乗員の感情に基づいて、前記車両の感情のベースとなるベース感情を設定するベース感情設定部と、
前記車両の状態を検出する車両状態検出部と、
前記ベース感情及び前記車両状態検出部により検出された前記車両の状態に応じて、前記車両の感情を生成する感情生成部と、
前記車両の感情に基づいて前記乗員に提供する情報を決定する情報決定部と、
前記情報を前記乗員に対して出力する情報出力部と、を備えることを特徴とする。
当該構成の情報提供装置によれば、感情推定部により、乗員が車両に乗車した時から所定期間内に乗員の感情が推定される。
そして、ベース感情設定部により、前記感情推定部により前記推定された乗員の感情に基づいて、前記車両の感情のベースとなるベース感情が設定される。
そして、感情生成部により、前記ベース感情及び車両状態検出部により検出された前記車両の状態に応じて、前記車両の感情が生成される。
そして、情報決定部により、前記車両の感情に基づいて前記乗員に提供する情報が決定される。
ベース感情は乗員が車両に乗車した時から所定期間内に推定された乗員の感情に基づいて設定された感情であるので、ベース感情に応じて生成された車両の感情は、乗員の乗車時から所定期間内の感情に応じた感情となる。
乗員の乗車時から所定期間内の感情は、例えば、休日の前でワクワクしているなど乗員の状況を示すことが多い。このような乗員の状況を示しうる乗員の乗車時から所定期間内の感情が加味されて車両の感情が生成され、当該車両の感情に応じて乗員に提供する情報が決定されることにより、乗員に車両が乗員の状況に共感していると感じさせることができ、乗員に当該提供される情報に興味を持たせうる。
また、車両走行中に推定された乗員の感情ではなく、感情生成部により、車両の状態に応じて感情が加味されて車両の感情が生成される。
車両走行中に推定された乗員の感情は、他の車両との関係、信号機の変化、道路状況など多くの要因によって左右されるため、乗員の性格によっては乗員の感情が激しく変化する可能性がある。これに対し、車両の状態は比較的変化が小さいので、車両の状態に応じて感情が加味されて車両の感情が生成されることにより、車両の状態を車両の感情に反映させながら、車両の感情の頻繁な変化を抑制することができる。
これにより、車両の感情の頻繁な変化に起因して車両の乗員に与えられる煩わしさを解消又は軽減することができる。
以上述べたところによれば、当該構成の情報提供装置によれば、情報の提供に伴って車両の乗員に与えられる煩わしさを軽減または解消しながら、乗員が興味を持ちうる情報を提供することができる。
本発明の情報提供装置において、
前記ベース感情設定部は、さらに、前回において推定された乗員の感情と、今回において推定された乗員の感情との差分に応じてベース感情を設定するように構成されていることが好ましい。
当該構成の情報提供装置によれば、前回において推定された乗員の感情と、今回において推定された乗員の感情との差分に応じてベース感情が設定される。これにより、前回と今回との間に乗員の感情変化があった場合に、当該感情変化が加味されてベース感情、ひいては車両の感情が生成される。この車両の感情に応じて提供される情報が決定されることにより、車両が乗員に共感していると乗員に感じさせることができる。
本発明の情報提供装置において、
さらに、前記乗員のスケジュール情報を取得するスケジュール情報取得部を備え、
前記ベース感情設定部は、さらに、乗員のスケジュール情報を加味して前記ベース感情を設定するように構成されていることが好ましい。
乗員のスケジュール情報は乗員の感情の変化の要因となりうるところ、当該スケジュール情報が加味されて車両のベース感情が設定され、ひいては車両の感情が生成される。当該車両の感情に応じて乗員に提供される情報が決定されることで、車両があたかも乗員に共感しているかのような印象を乗員に与えうる。
基本システムの構成説明図。 エージェント装置の構成説明図。 携帯端末装置の構成説明図。 エージェントの感情表現の構成を説明する図。 情報記憶部に記憶される各情報の例を示す図で、図５Ａは、対象ユーザの感情履歴の例を示す図、図５Ｂは、対象ユーザのスケジュール情報を示す図、図５Ｃは、各イベントと補助オフセットとの関係を示す図、図５Ｄは、車両の状態と補助オフセットとの関係を示す図、図５Ｅは、車両の仮想的な感情と出力されるコンテンツとの関係を示す図。 情報出力処理のフローチャート。 基本感情表現のマップの説明図。 付加パーツのマップの説明図。
（基本システムの構成）
図１に示されている基本システムは、対象車両Ｘ（移動体）に搭載されているエージェント装置１、乗員により対象車両Ｘの内部に持ち込み可能な携帯端末装置２（例えばスマートホン）およびサーバ３により構成されている。エージェント装置１、携帯端末装置２およびサーバ３は無線通信網（例えばインターネット）を通じて相互に無線通信する機能を備えている。エージェント装置１および携帯端末装置２は、同一の対象車両Ｘの空間内に共存するなど、物理的に近接している場合、近接無線方式（例えばＢｌｕｅｔｏｏｔｈ（登録商標））により相互に無線通信する機能を備えている。対象車両Ｘが、本発明の「
車両」に相当する。
（エージェント装置の構成）
エージェント装置１は、例えば図２に示されているように、制御部１００、センサ部１１（ＧＰＳセンサ１１１、車速センサ１１２、ジャイロセンサ１１３及び燃料センサ１１４を備えている。）、車両情報部１２、記憶部１３、無線部１４（近接無線通信部１４１および無線通信網通信部１４２を備えている。）、表示部１５、操作入力部１６、オーディオ部１７（音声出力部）、ナビゲーション部１８、撮像部１９１（車内カメラ）および音声入力部１９２（マイク）を備えている。エージェント装置１が、本発明の「情報提供装置」の一例に相当する。表示部１５及びオーディオ部１７のそれぞれが、本発明の「情報出力部」の一例に相当する。操作入力部１６及び音声入力部１９２のそれぞれが、本発明の「入力部」の一例に相当する。センサ部１１が、本発明の「車両状態検出部」に相当する。制御部１００が、後述する演算を実行することにより、ユーザ検出部１０１、日時情報認識部１０２、ユーザ状態認識部１０３、感情推定部１０４、ベース感情設定部１０５、感情生成部１０６及びスケジュール情報取得部１０７として機能する。なお、情報提供装置のすべての構成要素がエージェント装置１に含まれる必要はなく、エージェント装置１が通信を介して外部のサーバ等に必要な機能を実行させることにより、情報提供装置の構成要素として機能させてもよい。
センサ部１１のＧＰＳセンサ１１１はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ
Ｓｙｓｔｅｍ）衛星からの信号を基に現在位置を算出する。車速センサ１１２は回転軸からのパルス信号を基に対象車両Ｘの速度を算出する。ジャイロセンサ１１３は角速度を検出する。燃料センサ１１４は、対象車両Ｘの燃料タンクからの信号をもとに、対象車両Ｘの燃料残量を算出する。これらＧＰＳセンサ、車速センサ、ジャイロセンサにより、対象車両Ｘの現在位置や向きを正確に算出することが可能となっている。また、ＧＰＳセンサ１１１は、ＧＰＳ衛星から現在日時を示す情報を取得してもよい。
車両情報部１２は、ＣＡＮ−ＢＵＳなどの車内ネットワークを通じて車両情報を取得する。車両情報には、例えばイグニッションＳＷのＯＮ／ＯＦＦ、安全装置系の動作状況（ＡＤＡＳ、ＡＢＳおよびエアバッグなど）の情報が含まれている。操作入力部１６は、スイッチ押下等の操作のほか、乗員の感情推定に利用可能なステアリング、アクセルペダルまたはブレーキペダルの操作量、窓およびエアコンの操作（温度設定など）などの入力を検知する。
記憶部１３は、エージェント画像１３１と、データ記憶部１３２とを備える。
エージェント画像１３１は、車両Ｘの仮想的なキャラクターの顔の画像として、人の顔を模した画像である。エージェント画像１３１は、図４に示されるように、基本表情画像４１と、付加パーツ４２とを含む。基本表情画像４１と付加パーツ４２とを組み合わせることにより、応用表情画像４３が構成される。エージェント画像１３１は、例えばサーバ３からダウンロードされた画像である。
情報記憶部１３２は、種々の情報を記憶しており、例えば、図５Ａに示されるユーザの感情履歴情報、図５Ｂに示されるユーザのスケジュール情報、図５Ｃに示されるイベントと補助オフセットとの関係を示す情報、図５Ｄに示される車両の状態と補助オフセットとの関係を示す情報、図５Ｅに示される車両の感情とコンテンツの関係を示す情報を記憶している。情報記憶部１３２は、この他に、処理に付随して認識された種々の情報を記憶する。図５Ａに示されるユーザの感情履歴情報は、例えば、後述する情報出力処理（図６）のＳＴＥＰ２４０において取得されうる。図５Ｂに示されるユーザのスケジュール情報は、例えば、ユーザが所持している携帯端末等と通信することにより認識されうる。
基本表情画像４１は、例えば、図４に示されるように、好き、平穏、嫌い及び耐えるという感情に対応する夫々の画像である。付加パーツ４２は、基本表情画像４１のそれぞれに対応する愛しい、楽しい、機嫌がいい、安心、悲しい、怒り、苦しい及び辛いに関するパーツである。
例えば、好きの基本表情画像４１１と、好きに対応する愛しいの付加パーツ４２１とが組み合わされることにより、愛しいの応用表現画像４３１が構成される。
無線部１４の近接無線通信部１４１は、例えばＷｉ−Ｆｉ： Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信部であり、無線通信網通信部１４２は、３Ｇやセルラー、ＬＴＥ通信等のいわゆる携帯電話網に代表される無線通信網に接続される通信部である。
（携帯端末装置の構成）
携帯端末装置２は、例えば図３に示されているように、制御部２００、センサ部２１（ＧＰＳセンサ２１１およびジャイロセンサ２１３を備えている。）、記憶部２３（データ記憶部２３１およびアプリケーション記憶部２３２を備えている。）、無線部２４（近接無線通信部２４１および無線通信網通信部２４２を備えている。）、表示部２５、操作入力部２６、音声出力部２７、撮像部２９１（カメラ）および音声入力部２９２（マイク）を備えている。携帯端末装置２が、本発明の「情報提供装置」として機能してもよい。この場合、表示部２５及び音声出力部２７のそれぞれが、本発明の「情報出力部」の一例に相当する。制御部２００が、ユーザ検出部２０１、日時情報認識部２０２、ユーザ状態認識部２０３、感情推定部２０４、ベース感情設定部２０５、感情生成部２０６及びスケジュール情報取得部２０７として機能する。
携帯端末装置２は、エージェント装置１と共通する構成要素を備えている。携帯端末装置２は、車両情報を取得する構成要素（例えば、図２の燃料センサ１１４参照）を備えていないが、例えば近接無線通信部２４１を通じてエージェント装置１又は対象車両Ｘに備えられた「車両状態検出部」から車両情報を取得することが可能である。また、アプリケーション記憶部２３２に記憶されているアプリケーション（ソフトウェア）にしたがって、エージェント装置１のオーディオ部１７およびナビゲーション部１８のそれぞれと同様の機能を携帯端末装置２が備えていてもよい。
（サーバの構成）
サーバ３は、一又は複数のコンピュータにより構成されている。サーバ３は、それぞれのエージェント装置１または携帯端末装置２から、データ及びリクエストを受信し、データをデータベース等の記憶部に記憶し、リクエストに応じた処理を実行し、処理結果をエージェント装置１または携帯端末装置２に送信するように構成されている。
サーバ３を構成するコンピュータの一部又は全部が、移動局、例えば、一又は複数のエージェント装置１または携帯端末装置２の構成要素により構成されていてもよい。
本発明の構成要素が担当演算処理を実行するように「構成されている」とは、当該構成要素を構成するＣＰＵ等の演算処理装置が、ＲＯＭ、ＲＡＭ等のメモリ又は記録媒体から必要な情報に加えてソフトウェアを読み出し、当該情報に対して当該ソフトウェアにしたがって演算処理を実行するように「プログラムされている」又は「デザイン（設計）されている」ことを意味する。各構成要素が共通のプロセッサ（演算処理装置）により構成されてもよく、各構成要素が相互通信可能な複数のプロセッサにより構成されてもよい。
（情報出力処理）
次に、図５〜図８を参照して、情報出力処理を説明する。
エージェント装置１の制御部１００（ユーザ検出部１０１）は、撮像部１９１及び音声入力部１９２の一方または両方を介して、撮像画像データ及び音声データの一方または両方を認識し、データ記憶部１３２に記憶する（図６／ＳＴＥＰ１０２）。
エージェント装置１の制御部１００（ユーザ検出部１０１）は、図６／ＳＴＥＰ１０２で取得された撮像画像データ及び音声データの一方または両方を画像解析又は音声解析して乗員（以下、対象ユーザと適宜いう。）を検出したか否かを判定する（図６／ＳＴＥＰ１０４）。ここでの画像解析又は音声解析には公知の技術を適用できる。
当該判定結果が否定的である場合（図６／ＳＴＥＰ１０４‥ＮＯ）、エージェント装置１の制御部１００は、図６／ＳＴＥＰ１０２の処理を実行する。
当該判定結果が肯定的である場合（図６／ＳＴＥＰ１０４‥ＹＥＳ）、エージェント装置１の制御部１００（日時情報認識部１０２）は、ＧＰＳセンサ１１１から処理時点の日時情報を認識し、データ記憶部１３２に記憶する（図６／ＳＴＥＰ１０６）。当該日時情報には、日付情報、時間情報及び曜日情報が含まれる。
エージェント装置１の制御部１００（スケジュール情報取得部１０７）は、図６／ＳＴＥＰ１０６で取得された日時情報に対応する対象ユーザのスケジュールを認識し、データ記憶部１３２に記憶する（図６／ＳＴＥＰ１０８）。例えば、エージェント装置１の制御部１００は、図６／ＳＴＥＰ１０６で取得された日時情報が2018/2/2 10:00~19:00に含まれるものであれば、対象ユーザが予定しているイベント「○○会」を認識する。
エージェント装置１の制御部１００（ベース感情設定部１０５）は、図６／ＳＴＥＰ１０６で取得された日時情報に応じた補助オフセットを認識し、データ記憶部１３２に記憶する（図６／ＳＴＥＰ１０８）。補助オフセットは、後述する図６／ＳＴＥＰ１２０のベース感情設定で用いられるパラメータセットであり、ベース感情を示すパラメータセットと同じ次元のパラメータセットであることが好ましい。例えば、補助オフセットは、図７に示される定常状態を示す第１値および穏やかさを示す第２値により表される。
エージェント装置１の制御部１００は、例えば、図６／ＳＴＥＰ１０６で認識された日時情報に含まれる曜日情報「金曜日」に対応した補助オフセット（１，２）を認識してもよい。エージェント装置１の制御部１００は、例えば、図６／ＳＴＥＰ１０８で認識されたイベント「○○会」に対応した補助オフセット（２，２）を認識してもよい。エージェント装置１の制御部１００は、ユーザが予定しているイベントが近くなるほど、後述するベース感情が肯定的な感情（好き、平穏等）となりやすくなるような補助オフセットを認識してもよい。
エージェント装置１の制御部１００（ユーザ状態認識部１０３）は、対象ユーザの状態を認識する（図５／ＳＴＥＰ１１２）。また、制御部１００は、対象ユーザの状態の一方または両方の時系列データを情報記憶部１３２に記憶する。
エージェント装置１の制御部１００は、例えば、操作入力部１６により検知された操作、撮像部１９１により撮像された画像、音声入力部１９２により検知された音声及び不図示の対象車両Ｘのユーザである対象ユーザが装着しているウェアラブルセンサから取得された対象ユーザの生体情報のうちの少なくとも１つに基づいて、対象ユーザの状態を認識する。
例えば、制御部１００は、操作入力部１６により検知された操作に基づいて、対象ユーザの状態としての、「今の気分は？」等のアンケートに対する回答を認識する。
また、例えば、制御部１００は、撮像部１９１により撮像された画像に基づいて、対象ユーザの状態としての、対象ユーザの表情及び挙動を認識する。
また、例えば、制御部１００は、音声入力部１９２により検知された音声に基づいて、対象ユーザの状態としての、対象ユーザの発言内容及び発言する際の声の高さを認識する。
また、例えば、制御部１００は、対象ユーザが装着したウェアラブルデバイスから受信した生体情報（筋電、脈拍、血圧、血中酸素濃度、体温等）を認識する。
制御部１００（感情推定部１０４）は、図５／ＳＴＥＰ１１２で認識された対象ユーザの状態に基づいて、対象ユーザの今回の感情を推定する（図５／ＳＴＥＰ１１４）。
例えば、制御部１００は、あらかじめ定められた規則に従って、対象ユーザの状態に基づいて、対象ユーザの感情を推定してもよい。
対象のユーザの感情は、複数のパラメータのセットにより表される。対象のユーザの感情は、後述する図６／ＳＴＥＰ１２０のベース感情設定で用いられるパラメータセットであり、ベース感情を示すパラメータセットと同じ次元のパラメータセットであることが好ましい。
例えば、対象のユーザの感情は、図７に示される定常状態を示す第１値および穏やかさを示す第２値により表される。
制御部１００は、例えば、アンケートに対する回答に基づいて、対象ユーザの感情を推定してもよい。たとえば、アンケートに対する回答が「いつも通り」であった場合には、制御部１００は、対象ユーザの定常状態を示す第１値として比較的高い値（例えば３）を認識してもよい。アンケートに対する回答が「いつもと異なる」であった場合には、制御部１００は、対象ユーザの定常状態を示す第２値として比較的低い値（例えば−３）を認識してもよい。
また、対象車両Ｘの速度が所定の速度以上である状態が所定の時間以上続いている場合、制御部１００は、対象のユーザの穏やかさを示す第２値として比較的高い値（例えば３）を認識してもよい。また、対象車両Ｘの速度が所定の速度未満である状態が所定の時間以上続いていたり、対象車両Ｘの速度が短期間で頻繁に増減しているような場合には、制御部１００は、対象ユーザの穏やかさを示す第２値として比較的低い値（例えば−３）を認識してもよい。
また、制御部１００は、これらの状態が長く続いているほど、より高く又はより低くなるように第２値を認識してもよい。
また、制御部１００は、対象ユーザの表情に基づいて、対象ユーザの感情を推定してもよい。たとえば、制御部１００は、画像解析を行って対象ユーザが笑っているような表情をしていると判断した場合、穏やかさを示す第２値として比較的高い値（たとえば５）を認識してもよい。また、たとえば、制御部１００は、画像解析を行って対象ユーザがむっとした表情をしていると判断した場合、制御部１００は、穏やかさを示す第２値として比較的低い値（たとえば−５）を認識してもよい。これに加えて又は代えて、制御部１００は、対象ユーザの視線または顔の向きを加味して対象ユーザの感情を推定してもよい。
また、制御部１００は、対象ユーザの挙動に基づいて、対象ユーザの感情を推定してもよい。たとえば、制御部１００は、画像解析を行って対象ユーザの動きがほとんどないと判断した場合、制御部１００は、対象ユーザの定常状態を示す第１値として比較的高い値（たとえば３）を認識してもよい。また、たとえば、制御部１００は、画像解析をおこなって対象ユーザが落ち着きなく動いていると判断した場合、制御部１００は、対象ユーザの定常状態を示す第１値として比較的低い値（たとえば−３）を認識してもよい。
また、制御部１００は、対象ユーザの発言内容に基づいて、対象ユーザの感情を推定してもよい。たとえば、制御部１００は、音声解析を行って対象ユーザの発言内容が何かをほめたり、期待したりしている等肯定的な内容であると判断した場合には、穏やかさを示す第２値として比較的高い値（たとえば５）を認識してもよい。たとえば、制御部１００は、音声解析を行って対象ユーザの発言内容が何かを非難したりする等否定的な内容であると判断した場合には、穏やかさを示す第２値として比較的低い値（たとえば−５）を認識してもよい。また、制御部１００は、対象ユーザの発言内容に特定のキーワードが含まれる場合（「いいね」「超いいね」等）に、当該キーワードに関連付けられた感情の種別と、感情の強度とを対象ユーザの感情として推定してもよい。
また、制御部１００は、対象ユーザの発言する際の声の高さに基づいて、対象ユーザの感情を推定してもよい。たとえば、制御部１００は、対象ユーザの発言する際の声の高さが所定の高さ以上である場合、対象ユーザの定常状態を示す第１値として比較的低い値（たとえば−３）を認識してもよい。制御部１００は、対象ユーザの発言する際の声の高さが所定の高さ未満である場合、対象ユーザの定常状態を示す第１値として比較的高い値（たとえば３）を認識してもよい。
また、制御部１００は、対象ユーザが装着したウェアラブルデバイスからの生体情報（筋電、脈拍、血圧、血中酸素濃度、体温等）を用いて対象ユーザの定常状態を示す第１値及び対象ユーザの穏やかさを示す第２値を認識してもよい。
また、例えば、制御部１００は、機械学習によって生成された対象車両Ｘの走行状態及び対象ユーザの状態から対象ユーザの感情を出力する感情エンジンを用いて、対象車両Ｘの走行状態及び対象ユーザの状態に基づいて、対象ユーザの定常状態を示す第１値及び対象ユーザの穏やかさを示す第２値を認識してもよい。
また、例えば、制御部１００は、あらかじめ定められたテーブルを参照して、対象車両Ｘの走行状態及び対象ユーザの状態に基づいて、対象ユーザの定常状態を示す第１値及び対象ユーザの穏やかさを示す第２値を認識してもよい。
制御部１００は、これらを組み合わせて対象ユーザの定常状態を示す第１値及び対象ユーザの穏やかさを示す第２値を認識してもよい。
以下においては、制御部１００は、図６／ＳＴＥＰ１１４において、対象ユーザの今回の感情を示すパラメータセットＰ１として、対象ユーザの定常状態を示す第１値「２」及び対象ユーザの穏やかさを示す第２値「１」を認識したとして説明する。
制御部１００（感情推定部１０４）は、情報記憶部１３２に記憶された対象ユーザの感情履歴情報を参照することにより、対象ユーザの前回推定された感情を認識する（図６／ＳＴＥＰ１１６）。例えば、制御部１００は、図５Ａに示される2018/2/2 7:00の対象ユーザの定常状態を示す第１値「−１」及び対象ユーザの穏やかさを示す第２値「−２」を今回の対象ユーザの感情を示すパラメータセットＰ０として認識する。
制御部１００（ベース感情設定部１０５）は、図６／ＳＴＥＰ１１４で認識された対象ユーザの感情に応じたオフセットを認識する（図６／ＳＴＥＰ１１８）。例えば、制御部１００は、図７に示されるように、図６／ＳＴＥＰ１１６において認識された対象ユーザの前回の感情を示すパラメータセットＰ２から図６／ＳＴＥＰ１１４において認識された対象ユーザの今回の感情を示すパラメータセットＰ１までのベクトルＶ１を当該オフセットとして認識してもよい。制御部１００は、このベクトルに所定の係数をかけて得られたベクトルをオフセットとして認識してもよい。
制御部１００（ベース感情設定部１０５）は、図６／ＳＴＥＰ１１８で認識されたオフセットに基づいて、車両の仮想的な感情のベースであるベース感情を設定する（図６／ＳＴＥＰ１２０）。例えば、制御部１００は、原点を基準として、図６／ＳＴＥＰ１１８で認識されたオフセットであるベクトルＶ１で示されるパラメータセットＢ１をベース感情を示すパラメータセットとして設定してもよい。また、制御部１００は、パラメータセットＢ１を基準として、図６／ＳＴＥＰ１１０で認識された補助オフセットを加味して決定されるパラメータセットＢ２をベース感情を示すパラメータセットとして認識してもよい。
制御部１００は、センサ部１１により取得された情報に基づいて、対象車両Ｘの状態を認識する（図６／ＳＴＥＰ１２２）。また、制御部１００は、認識した対象車両Ｘの状態の時系列データを情報記憶部１３２に記憶する。
例えば、制御部１００（感情生成部）は、センサ部１１により取得された情報に基づいて、対象車両Ｘの動作状態としての、時系列的な位置、対象車両Ｘの走行速度、対象車両Ｘの向きを認識する。制御部１００は、センサ部１１により取得された情報に基づいて、対象車両Ｘの燃料残量を認識する。
制御部１００（感情生成部）は、情報記憶部１３２に記憶された情報を参照して、図６／ＳＴＥＰ１２２で認識された対象車両Ｘの状態に対応する補助オフセットを認識する（図６／ＳＴＥＰ１２４）。制御部１００は、図５Ｄに示される情報記憶部１３２に記憶された対象車両Ｘの状態と補助オフセットとの関係に基づいて、対象車両Ｘの状態に対応する補助オフセットを認識する。例えば、制御部１００は、燃料残量が所定以下となった場合には、対象車両Ｘの感情が否定的な感情（例えば嫌い、耐える）になりやすい補助オフセットを認識する。例えば、制御部１００は、一定時間以上、対象車両Ｘの走行速度が所定速度以上の場合には、対象車両Ｘの感情が肯定的な感情（例えば好き、平穏）になりやすい補助オフセットを認識する。
制御部１００（感情生成部１０６）は、図６／ＳＴＥＰ１２０で設定されたベース感情及び図６／ＳＴＥＰ１２４で認識された補助オフセットに基づいて対象車両Ｘの仮想的な感情を決定する（図５／ＳＴＥＰ１２６）。制御部１００は、図６／ＳＴＥＰ１２０で設定されたベース感情のパラメータセットで表される位置を基準として、図６／ＳＴＥＰ１２４で認識された補助オフセット分だけ移動させることにより、対象車両Ｘの仮想的な感情を決定する。そして、制御部１００は、対象車両Ｘの感情を元に図７または図８に示される感情マップに基づいて、対象車両Ｘの仮想的な感情を決定し、当該感情に対応する表現を決定する。
なお、図７および図８の感情マップは、定常状態の第１軸と、穏やかさの第２軸であらわされている。
例えば、エージェント感情指標値が図７の第１象限に含まれる場合、制御部１００は、対象車両Ｘの仮想的な感情を「好き」と決定し、エージェントの感情表現の基本表現として、好きの基本表情画像４１１を選択する。制御部１００は、画像に代えてまたは加えて、エージェントの感情表現の基本表現として、内容又は発声態様がエージェントの感情に対応するような音声メッセージ又は音楽を選択してもよい。
また、例えば、エージェント感情指標値が第１軸の値が第１閾値Ｔ１以上かつ及び第２軸の値が第２閾値Ｔ２以上である場合、制御部１００は、図８に示されるようなマップを用いて、対象車両Ｘの仮想的な感情を「愛しい」と決定し、エージェントの感情表現の応用表現として、「愛しい」の付加パーツ４２１を選択する。また、例えば、エージェント感情指標値が第１軸の値が第１閾値Ｔ１以上かつ及び第２軸の値がゼロ以上第２閾値Ｔ２未満である場合、制御部１００は、対象車両Ｘの仮想的な感情を「楽しい」と決定し、エージェントの感情表現の応用表現として、「楽しい」の付加パーツ４２２を選択する。また、例えば、エージェント感情指標値が第１軸の値が０以上第１閾値Ｔ１未満である場合、制御部１００は、エージェントの感情表現の応用表現としての付加パーツを選択しない。また、制御部１００は、第１軸又は第２軸とは異なる評価軸を基にして、付加パーツを選択してもよい。
制御部１００は、さらに、図６／ＳＴＥＰ１１４と同様にして対象ユーザの感情を推定して、対象ユーザの感情に近くなるように、対象車両Ｘの仮想的な感情を決定してもよい。
制御部１００（情報決定部１０８）は、対象車両Ｘの仮想的な感情に応じて、出力するコンテンツ及び出力態様を選択する（図６／ＳＴＥＰ１２８）。出力するコンテンツは、ユーザの嗜好に関する質問、その他の質問、ニュース、豆知識、ユーザが走行している地域の紹介、有名な地点の紹介、音楽等のコンテンツ及びその説明等、様々な内容であってもよい。出力態様は、対象車両Ｘの感情を反映したものであることが好ましく、例えば、対象車両Ｘの感情が好き（図７の第１象限）であれば、出力される音声のトーンが高いものであることが好ましい。
制御部１００は、例えば、情報記憶部１３２に記憶された図５に示される対象車両Ｘとコンテンツとの関係から、出力すべきコンテンツを認識してもよい。制御部１００は、例えば、サーバ３に対象車両Ｘの仮想的な感情を示すパラメータセットを送信し、出力すべきコンテンツ及び出力態様を受信してもよい。
制御部１００は、選択された出力する情報の内容及び出力態様に従って、表示部１５及びオーディオ部１７の一方または両方に情報に出力させる（図６／ＳＴＥＰ１３０）。
制御部１００（ユーザ状態認識部１０３）は、図６／ＳＴＥＰ１１２と同様にして対象ユーザの状態を認識する（図６／ＳＴＥＰ１３２）。
制御部１００（感情推定部１０４）は、図６／ＳＴＥＰ１１４と同様にして対象ユーザの感情を推定する（図６／ＳＴＥＰ１３４）。
制御部１００（ユーザ検出部１０１）は、図６／ＳＴＥＰ１０２と同様にして撮像画像データ及び音声データを取得する（図６／ＳＴＥＰ１３６）。
制御部１００（ユーザ検出部１０１）は、図６／ＳＴＥＰ１３６で取得されたデータに基づいて図６／ＳＴＥＰ１０４と同様にして乗員が検出されたか否かを判定する（図６／ＳＴＥＰ１３８）。
当該判定結果が肯定的である場合（図６／ＳＴＥＰ１３８‥ＹＥＳ）、制御部１００は、図６／ＳＴＥＰ１２２以下の処理を実行する。
当該判定結果が肯定的である場合（図６／ＳＴＥＰ１３８‥ＮＯ）、制御部１００（感情推定部１０４）は、図６／ＳＴＥＰ１３４で推定されたユーザの感情を示すパラメータセットを情報記憶部１３２に記憶し、情報出力処理を終了する。
（本実施形態の作用効果）
当該構成のエージェント装置１（本発明の「情報提供装置」に相当する。）によれば、制御部１００（本発明の「感情推定部」として機能する。）により、対象ユーザが対象車両Ｘに乗車した後に対象ユーザの感情が推定される（図６／ＳＴＥＰ１１４）。
そして、制御部１００（本発明の「ベース感情設定部」として機能する。）により、前記感情推定部１０４（制御部１００）により前記推定された対象ユーザの感情に基づいて、対象車両Ｘの仮想的な感情のベースとなるベース感情が設定される（図６／ＳＴＥＰ１２０）。
そして、制御部１００（感情生成部１０６）により、前記ベース感情及びセンサ部１１（本発明の「車両状態検出部」に相当する。）により検出された対象車両Ｘの状態に応じて、対象車両Ｘの感情が生成される（図６／ＳＴＥＰ１２６）。
そして、制御部１００（本発明の「情報決定部」として機能する。）により、対象車両Ｘの感情に基づいて対象ユーザに提供する情報が決定される（図６／ＳＴＥＰ１２８）。
ベース感情は対象ユーザが対象車両Ｘに乗車した後に推定された対象ユーザの感情に基づいて設定された感情であるので、ベース感情に応じて生成された対象車両Ｘの感情は、対象ユーザの乗車時の感情に応じた感情となる。
対象ユーザの乗車時の感情は、例えば、休日の前でワクワクしているなど対象ユーザの状況を示すことが多い。このような対象ユーザの状況を示しうる対象ユーザの乗車時の感情が加味されて対象車両Ｘの仮想的な感情が生成され、当該対象車両Ｘの仮想的な感情に応じて対象ユーザに提供する情報が決定されることにより、対象ユーザに対象車両Ｘが対象ユーザの状況に共感していると感じさせることができ、提供される情報に対して対象ユーザに興味を持たせうる。
また、制御部１００（本発明の「感情生成部」として機能する。）により、対象車両Ｘの走行中に推定された「乗員の感情」ではなく、「対象車両Ｘの状態」に応じて感情が加味されて対象車両Ｘの感情が生成される（図６／ＳＴＥＰ１２２、図６／ＳＴＥＰ１２６）。
対象車両Ｘの走行中に推定された対象ユーザの感情は、他の車両との関係、信号機の変化、道路状況など多くの要因によって左右されるため、対象ユーザの性格によっては乗員の感情が激しく変化する可能性がある。これに対し、対象車両Ｘの状態は比較的変化が小さいので、対象車両Ｘの状態が加味されて対象車両Ｘの仮想的な感情が生成されることにより、対象車両Ｘの状態を対象車両Ｘの感情に反映させながら、対象車両Ｘの仮想的な感情の頻繁な変化を抑制することができる。
これにより、対象車両Ｘの仮想的な感情の頻繁な変化に起因して対象ユーザに与えられる煩わしさを解消又は軽減することができる。
以上述べたところによれば、当該構成のエージェント装置１によれば、情報の提供に伴って対象ユーザに与えられる煩わしさを軽減または解消しながら、対象ユーザが興味を持ちうる情報を提供することができる。
また、当該構成のエージェント装置１によれば、前回において推定された対象ユーザの感情と、今回において推定された対象ユーザの感情との差分に応じてベース感情が設定される（図６／ＳＴＥＰ１１４〜図６／ＳＴＥＰ１２０）。これにより、前回と今回との間に対象ユーザの感情変化があった場合に、当該感情変化が加味されてベース感情、ひいては対象車両Ｘの仮想的な感情が生成される。この対象車両Ｘの仮想的な感情に応じて提供される情報が決定されることにより、対象車両Ｘが対象ユーザの感情の変化に共感して出力される情報が選択されると対象ユーザに感じさせることができる。
対象ユーザのスケジュール情報は対象ユーザの感情の変化の要因となりうるところ、当該スケジュール情報が加味されて対象車両Ｘのベース感情が設定され（図６／ＳＴＥＰ１０６〜ＳＴＥＰ１１０、ＳＴＥＰ１２０）、ひいては対象車両Ｘの感情が生成される（図６／ＳＴＥＰ１２６）。このように、対象ユーザのスケジュール情報が加味されて対象車両Ｘの仮想的な感情が生成され、当該感情に応じて対象ユーザに提供される情報が決定されることで、対象車両Ｘがあたかも対象ユーザの状況に共感しているかのような印象を対象ユーザに与えうる。
（変形態様）
本実施形態では、対象ユーザが検出された後（図６／ＳＴＥＰ１０４‥ＹＥＳ）に順次処理を行う段階で制御部１００が、対象ユーザの感情を推定し、当該対象ユーザの感情を加味してベース感情を設定した（図６／ＳＴＥＰ１０６〜ＳＴＥＰ１２０）。
これに代えてまたは加えて、対象ユーザが検出された後（図６／ＳＴＥＰ１０４‥ＹＥＳ）、制御部１００が、所定の期間が経過するまで対象ユーザの感情を繰り返し推定し、当該所定の期間が経過した後に、推定された感情を加味してベース感情を設定してもよい。
ここで、所定の期間とは、実験的に求められた、対象ユーザの乗車直後の感情を高精度に推定するために十分な時間（たとえば １０分）であってもよいし、例えば、対象車両Ｘの状態が所定の状態（対象車両Ｘの速度が所定速度以上又は対象車両Ｘに対する操舵量が所定量以上）となる前までの期間であってもよい。
また、本実施形態では、乗員（対象ユーザ）が１人であることを前提として説明したが、制御部１００は、複数の乗員に対して同様の処理を行ってもよい。
以下に、複数の乗員に対する処理の一例を示す。
ユーザ状態認識部は、複数の乗員のそれぞれの状態を認識する。
感情推定部は、複数の乗員のそれぞれの状態に鑑みて、複数の乗員のそれぞれの感情を推定する。
ベース感情設定部は、複数の乗員のそれぞれの感情から複数の乗員の共通の仮想的な感情を仮決定する。例えば、ベース感情設定部は、複数の乗員のそれぞれの感情を示すパラメータセットを、複数の乗員間での平均値を取得することにより、複数の乗員に共通の仮想的な感情を示すパラメータセットを仮決定する。
ベース感情設定部は、当該仮決定された複数の乗員の共通の仮想的な感情に基づいて、対象車両Ｘの仮想的な感情を決定する。
１‥エージェント装置、２‥携帯端末装置、３‥サーバ、１００‥制御部、１１‥センサ部、１１１‥ＧＰＳセンサ、１１２‥車速センサ、１１３‥ジャイロセンサ、１３‥記憶部、１４‥無線部、１４１‥近接無線通信部、１４２‥無線通信網通信部、１５‥表示部、１６‥操作入力部、１７‥オーディオ部、１８‥ナビゲーション部、１９１‥撮像部（車内カメラ）、１９２‥音声入力部（マイク）、２１‥センサ部、２１１‥ＧＰＳセンサ、２１３‥ジャイロセンサ、２３‥記憶部、２３１‥データ記憶部、２３２‥アプリケーション記憶部、２４‥無線部、２４１‥近接無線通信部、２４２‥無線通信網通信部、２５‥表示部、２６‥操作入力部、２７‥音声出力部、２９１‥撮像部（カメラ）、２９２‥音声入力部（マイク）、Ｘ‥車両（移動体）。

Claims (4)

  1. 乗員が車両に乗車した時から所定期間内に乗員の感情を推定する感情推定部と、
    前記感情推定部により前記推定された乗員の感情に基づいて、前記車両の感情のベースとなるベース感情を設定するベース感情設定部と、
    前記車両の状態を検出する車両状態検出部と、
    前記ベース感情及び前記車両状態検出部により検出された前記車両の状態に応じて、前記車両の感情を生成する感情生成部と、
    前記車両の感情に基づいて前記乗員に提供する情報を決定する情報決定部と、
    前記情報を前記乗員に対して出力する情報出力部と、を備えることを特徴とする情報提供装置。
  2. 請求項１記載の情報提供装置において、
    前記ベース感情設定部は、さらに、前回において推定された乗員の感情と、今回において推定された乗員の感情との差分に応じてベース感情を設定するように構成されていることを特徴とする情報提供装置。
  3. 請求項１又は２記載の情報提供装置において、
    さらに、前記乗員のスケジュール情報を取得するスケジュール情報取得部を備え、
    前記ベース感情設定部は、さらに、乗員のスケジュール情報を加味して前記ベース感情を設定するように構成されていることを特徴とする情報提供装置。
  4. 指定の情報を車両の乗員に対して出力する情報出力部と、前記車両の状態を検出する車両状態検出部と、を備える装置が実行する方法であって、
    乗員が前記車両に乗車した時から所定期間内に乗員の感情を推定するステップと、
    前記推定された乗員の感情に基づいて、前記車両の感情のベースとなるベース感情を設定するステップと、
    前記ベース感情及び前記車両状態検出部により検出された前記車両の状態に応じて、前記車両の感情を生成するステップと、
    前記車両の感情に基づいて前記乗員に提供する情報を決定するステップと、
    前記決定された情報を前記情報出力部に出力させるステップと、を含むことを特徴とする情報提供方法。
JP2018020056A 2018-02-07 2018-02-07 情報提供装置及び情報提供方法 Active JP6713490B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018020056A JP6713490B2 (ja) 2018-02-07 2018-02-07 情報提供装置及び情報提供方法
CN201811534268.8A CN110147160B (zh) 2018-02-07 2018-12-14 信息提供装置和信息提供方法
US16/267,641 US11312389B2 (en) 2018-02-07 2019-02-05 Providing information to vehicle occupants based on emotions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018020056A JP6713490B2 (ja) 2018-02-07 2018-02-07 情報提供装置及び情報提供方法

Publications (2)

Publication Number Publication Date
JP2019139354A true JP2019139354A (ja) 2019-08-22
JP6713490B2 JP6713490B2 (ja) 2020-06-24

Family

ID=67475562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018020056A Active JP6713490B2 (ja) 2018-02-07 2018-02-07 情報提供装置及び情報提供方法

Country Status (3)

Country Link
US (1) US11312389B2 (ja)
JP (1) JP6713490B2 (ja)
CN (1) CN110147160B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022239642A1 (ja) * 2021-05-13 2022-11-17 株式会社デンソー 車両用情報提供装置、車両用情報提供方法、及び車両用情報提供プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092664B (zh) * 2017-03-30 2020-04-28 华为技术有限公司 一种内容解释方法及装置
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
KR102574937B1 (ko) * 2018-05-18 2023-09-05 현대자동차주식회사 차량 및 그 제어 방법
JP7264079B2 (ja) * 2020-02-05 2023-04-25 トヨタ自動車株式会社 感情推定装置、方法、プログラムおよび車両
US11878714B2 (en) * 2020-04-06 2024-01-23 Harman International Industries, Incorporated Techniques for customizing self-driving models
US20230052474A1 (en) * 2021-08-11 2023-02-16 Rovi Guides, Inc. Systems and methods for operating a vehicle based on physiological parameters of an occupant

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003072488A (ja) * 2001-08-31 2003-03-12 Sony Corp 車載装置、車両及び車両情報の処理方法
JP2008070965A (ja) * 2006-09-12 2008-03-27 Fujitsu Ten Ltd 車両制御装置および車両制御方法
JP2015110417A (ja) * 2015-01-08 2015-06-18 マツダ株式会社 ドライバ感情に基づく運転支援装置
US20170030726A1 (en) * 2015-07-31 2017-02-02 International Business Machines Corporation Selective human emotion metrics for navigation plans and maps
JP2017181449A (ja) * 2016-03-31 2017-10-05 カシオ計算機株式会社 電子機器、経路検索方法及びプログラム
JP2017201499A (ja) * 2015-10-08 2017-11-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提示装置の制御方法、及び、情報提示装置
US20170370736A1 (en) * 2015-01-15 2017-12-28 Pcms Holdings, Inc. Systems and methods for providing navigation directions based on emotions and activities

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6190314B1 (en) * 1998-07-15 2001-02-20 International Business Machines Corporation Computer input device with biosensors for sensing user emotions
JP3953024B2 (ja) * 2003-11-20 2007-08-01 ソニー株式会社 感情算出装置及び感情算出方法、並びに携帯型通信装置
JP2008241309A (ja) 2007-03-26 2008-10-09 Denso Corp 車両用サービス提示装置
WO2008134625A1 (en) * 2007-04-26 2008-11-06 Ford Global Technologies, Llc Emotive advisory system and method
CN101428164B (zh) * 2008-08-19 2012-07-04 李隆 基于互联网的电流及高压电场同步治疗仪
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
KR20140074380A (ko) * 2011-10-04 2014-06-17 칠드런'즈 메디컬 센터 코포레이션 정서 통제 방법 및 장치
JP5729345B2 (ja) * 2012-04-10 2015-06-03 株式会社デンソー 感情モニタリングシステム
US10630647B2 (en) * 2015-02-05 2020-04-21 Apple Inc. Secure wireless communication between controllers and accessories
JP6610661B2 (ja) * 2015-04-23 2019-11-27 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US20170115124A1 (en) * 2015-10-21 2017-04-27 Ford Global Technologies, Llc Driver Workload Prediction and Path Routing
US10289381B2 (en) * 2015-12-07 2019-05-14 Motorola Mobility Llc Methods and systems for controlling an electronic device in response to detected social cues
JP6731718B2 (ja) * 2015-12-17 2020-07-29 国立大学法人広島大学 乗員の感性向上システム
US20180118218A1 (en) * 2016-10-27 2018-05-03 Ford Global Technologies, Llc Method and apparatus for vehicular adaptation to driver state
US11186290B2 (en) * 2016-11-16 2021-11-30 Honda Motor Co., Ltd. Emotion inference device and emotion inference system
CN206287926U (zh) * 2016-12-27 2017-06-30 广州市联奥信息科技有限公司 具备情绪表达能力的交互行车装置
US10170111B2 (en) * 2017-01-19 2019-01-01 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive infotainment system based on vehicle surrounding and driver mood and/or behavior
US10151594B1 (en) * 2017-01-19 2018-12-11 State Farm Mutual Automobile Insurance Company Technology for generating alternate navigation directions for vehicles
US10150351B2 (en) * 2017-02-08 2018-12-11 Lp-Research Inc. Machine learning for olfactory mood alteration
JP6613290B2 (ja) * 2017-11-28 2019-11-27 株式会社Ｓｕｂａｒｕ 運転アドバイス装置及び運転アドバイス方法
US11919531B2 (en) * 2018-01-31 2024-03-05 Direct Current Capital LLC Method for customizing motion characteristics of an autonomous vehicle for a user

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003072488A (ja) * 2001-08-31 2003-03-12 Sony Corp 車載装置、車両及び車両情報の処理方法
JP2008070965A (ja) * 2006-09-12 2008-03-27 Fujitsu Ten Ltd 車両制御装置および車両制御方法
JP2015110417A (ja) * 2015-01-08 2015-06-18 マツダ株式会社 ドライバ感情に基づく運転支援装置
US20170370736A1 (en) * 2015-01-15 2017-12-28 Pcms Holdings, Inc. Systems and methods for providing navigation directions based on emotions and activities
US20170030726A1 (en) * 2015-07-31 2017-02-02 International Business Machines Corporation Selective human emotion metrics for navigation plans and maps
JP2017201499A (ja) * 2015-10-08 2017-11-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提示装置の制御方法、及び、情報提示装置
JP2017181449A (ja) * 2016-03-31 2017-10-05 カシオ計算機株式会社 電子機器、経路検索方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022239642A1 (ja) * 2021-05-13 2022-11-17 株式会社デンソー 車両用情報提供装置、車両用情報提供方法、及び車両用情報提供プログラム

Also Published As

Publication number Publication date
CN110147160B (zh) 2022-08-09
JP6713490B2 (ja) 2020-06-24
US20190243459A1 (en) 2019-08-08
CN110147160A (zh) 2019-08-20
US11312389B2 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
US10929652B2 (en) Information providing device and information providing method
JP6713490B2 (ja) 情報提供装置及び情報提供方法
US20170349184A1 (en) Speech-based group interactions in autonomous vehicles
JP6382273B2 (ja) 施設満足度算出装置
JP7192222B2 (ja) 発話システム
WO2015165811A1 (en) Communication system and related method
US10773726B2 (en) Information provision device, and moving body
JP6552548B2 (ja) 地点提案装置及び地点提案方法
JP2018063486A (ja) サービス提供装置、サービス提供方法およびサービス提供プログラム
JP2000181500A (ja) 音声認識装置及びエ―ジェント装置
JPWO2018061353A1 (ja) 情報提供装置、及び移動体
JP2024041746A (ja) 情報処理装置
CN113401129B (zh) 信息处理装置、记录介质以及信息处理方法
JP6627810B2 (ja) 運転モード切替制御装置、方法およびプログラム
JP6419134B2 (ja) 車両感情表示装置、車両感情表示方法および車両感情表示プログラム
JP6785889B2 (ja) サービス提供装置
JP6657048B2 (ja) 処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体
JP6816247B2 (ja) 情報提供装置
JP2023548675A (ja) ナビゲーションセッション中の運転イベント音の検出と処理
US20200172111A1 (en) Information processing system, program, and control method
WO2023210171A1 (ja) 音声対話装置及び音声対話方法
US20240025416A1 (en) In-vehicle soundscape and melody generation system and method using continuously interpreted spatial contextualized information
EP4299399A1 (en) Method for determining a notification procedure, method for transitioning control of a vehicle, data processing apparatus and autonomous driving system
JP2021124687A (ja) 車載装置及び提案出力方法
JP6660863B2 (ja) 移動体用出力生成装置、移動体用出力生成プログラム、移動体用出力生成方法及び移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190827

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200603

R150 Certificate of patent or registration of utility model

Ref document number: 6713490

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150