JP2005313886A - エージェント装置 - Google Patents

エージェント装置 Download PDF

Info

Publication number
JP2005313886A
JP2005313886A JP2005098227A JP2005098227A JP2005313886A JP 2005313886 A JP2005313886 A JP 2005313886A JP 2005098227 A JP2005098227 A JP 2005098227A JP 2005098227 A JP2005098227 A JP 2005098227A JP 2005313886 A JP2005313886 A JP 2005313886A
Authority
JP
Japan
Prior art keywords
agent
data
response
vehicle
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005098227A
Other languages
English (en)
Inventor
Tomoki Kubota
智氣 窪田
Koji Hori
孝二 堀
Manabu Matsuda
松田  学
Kazuhide Adachi
和英 足立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Equos Research Co Ltd
Original Assignee
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP21249197A external-priority patent/JP3873386B2/ja
Priority claimed from JP6441498A external-priority patent/JP3965538B2/ja
Priority claimed from JP8262698A external-priority patent/JPH11259446A/ja
Priority claimed from JP10082710A external-priority patent/JPH11259271A/ja
Priority claimed from JP09538698A external-priority patent/JP4032492B2/ja
Priority claimed from JP10095387A external-priority patent/JPH11272640A/ja
Application filed by Equos Research Co Ltd filed Critical Equos Research Co Ltd
Publication of JP2005313886A publication Critical patent/JP2005313886A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Air-Conditioning For Vehicles (AREA)
  • Air Conditioning Control Device (AREA)
  • Instructional Devices (AREA)
  • Instrument Panels (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】 擬人化したエージェントが状況に合わせた行為(行動と音声)をし、運転者とのコミュニケーションをはかる。
【解決手段】 表示装置27にはエージェントが現れてほほえむ連続動作の画像が複数枚表示(または動画が表示)されると共に、音声出力装置25からは「外は涼しくなりましたよ。外気を入れてみませんか?」といった音声が出力される。このエージェントのコミュニケーションに対する運転者の応答を取得する(ステップ17)。そして、プログラム番号00123は制御対象プログラムなので(ステップ18;Y)、受容であれば応答に応じた制御としてエアコンの電源をOFFにすると共に、運転席側と助手席側の窓を1/2だけ開ける制御を行う(ステップ19)。
【選択図】 図11

Description

本発明は、エージェント装置に係り、例えば、擬人化されたエージェントを相手に車両内での会話等が可能なコミュニケーション機能を備えたエージェント装置に関する。
従来車両内において、運転者による走行環境を向上させるようにしたものとして、ラジオやカセットテーププレーヤが搭載されている。
また、車両に搭載したアマチュア無線機や携帯電話等の無線通信機器を使用して、車両外の知人等との会話を楽しむことで、走行環境を向上させるようにした車両もある。
なお、運転者に対する情報の伝達を、人間の表情や動作などにより行うようにした技術が特許文献1において提示されている。
特開平9−102098号
従来の車両におけるラジオ等では運転者に対して一方向の情報提示にすぎず、双方向の会話等をすることができなかった。
一方、携帯電話等による場合には会話をすることができるが、コール待ち、ダイヤル等によって通話相手を捜さなければならなかった。たとえ、通話相手が見つかったとしても、車両の状況といった運転者の一方的な都合にあわせた、適切な会話をしてくれるわけではなかった。
このように、従来の車両には、車両の過去の状態などの履歴・運転者の状態に応じて、擬人化されたエージェントが存在しないため、車両が愛着のわかないただの乗り物としての道具でしか役割を持たない場合もあった。
また、特許文献1に記載された技術は、過去の運転者の応答等の履歴によって表示が変わるわけではなく、同一の状況が生じた場合には常に同一の表示がされるものである。すなわち、限られたセンサ出力に対して常に同一の表示を行うものであり、視認性が向上された従来の計器類の範疇に入るべきものである。
本発明は、擬人化したエージェントが状況に合わせた行為(行動と音声)をし、運転者とのコミュニケーションをはかることができる車両を提供することを目的とする。
(1)車両の状況に応じた行動をする擬人化されたエージェントの画像を画像表示装置に表示するエージェント装置であって、エージェントの行動に対応する画像が複数記憶された画像記憶手段と、前記エージェントの画像が表示される表示装置と、前記エージェントの音声を出力する音声出力手段と、車両の室内の気温を検出する室内温度検出センサと、車両外の気温を検出する室外温度検出センサと、エアコンの操作状態を検出するエアコンセンサと、前記エアコンがオン状態で、前記検出した室内の気温と室外の気温との差が第1の閾値以下であり、室外気温が第2の閾値以下である場合に、エージェントの外気を入れる提案に対応して、該当する画像を前記画像記憶手段から読み出して前記表示装置に表示すると共に、前記提案をする音声を前記音声出力手段から出力する画像音声制御手段と、を具備することを特徴とする。
(2)請求項2に記載した発明では、請求項1のエージェント装置において、前記画像音声出力手段によるエージェントの提案に対する運転者の応答を取得する応答取得手段と、前記取得した応答が受容する応答である場合に、エアコンの電源をオフにすると共に、窓を開けるエアコン窓制御手段と、を具備することを特徴とする。
(3)請求項3に記載した発明では、請求項1又は請求項2に記載のエージェント装置において、前記応答の内容に応じて、前記第1の閾値及び第2の閾値を変更する閾値変更手段と、を具備することを特徴とする。
本発明によれば、エアコンがオン状態で、室内の気温と室外の気温との差と、室外気温に基づくエージェントの外気を入れる提案に対応して、エージェントとのコミュニケーションをとることができる。
以下、本発明のエージェント装置における好適な実施の形態について、図1から図11を参照して詳細に説明する。
(1)実施形態の概要
本実施形態のエージェント装置では、擬人化されたエージェントを画像(平面的画像、ホログラフィ等の立体的画像等)により車両内に出現させる。そして、車両自体、運転者、同乗者、対向車等を含む車両の状況の判断と学習(状況の学習だけでなく運転者の応答や反応等も含む)をし、各時点での車両状況とそれまでの学習結果に基づいて、エージェントが運転者や車両に対して様々なバリエーションをもった対応(行為=行動と音声)をする。
これにより運転者は、自分固有のエージェントを車両内でつき合う(コミュニケーションする)ことが可能になり、車両内での環境を快適にすることができる。
ここで、車両内に出現させるエージェントは、人間と同様に判断し学習する疑似人格化(仮想人格化)された主体である。従って、同一の車両状況であっても過去の学習内容等に応じてエージェントのコミュニケーションの内容は異なる。ときには、車両の走行には関係ない範囲での判断ミスも有り、この判断ミスによる不要な(ドジな)応答をすることもある。そして運転者の応答により、判断ミスか否かを判定し、学習する。
エージェントとして画像表示される容姿としては、人間的な容姿である必要はなく、例えば、ひよこや犬、猫、カエル、ネズミ等の動物自体の容姿や人間的に図案化(イラスト化)した動物の容姿であってもよく、更にロボット的な容姿であってもよい。またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく(大人の容姿に変化し、更に老人の容姿に変化していく)ようにしてもよい。
エージェントの容姿や音声については、複数の容姿、複数の音声の中から選択することが可能である。
(2)実施形態の詳細
図1は、本実施形態におけるエージェント装置の構成を示すブロック図である。
本実施形態では、コミュニケーション機能全体を制御する全体処理部1を備えている。この全体処理部は、設定した目的地までの経路を探索して音声や画像表示により案内するナビゲーション処理部10、車両の状況や運転者による過去の応対等を学習して適切な会話や制御を行うエージェント処理部11、ナビゲーション処理部10とエージェント処理部11に対するI/F部12、エージェント画像や地図画像等の画像出力や入力画像を処理する画像処理部13、エージェント音声や経路案内音声等の音声出力や入力される音声を制御する音声制御部14、及び車両や運転者に関する各種状況の検出データを処理する状況情報処理部15を有している。
ナビゲーション処理部10とエージェント処理部11は、データ処理及び各部の動作の制御を行うCPU(中央処理装置)と、このCPUにデータバスや制御バス等のバスラインで接続されたROM、RAM、タイマ等を備えている。両処理部10、11はネットワーク接続されており、互いの処理データを取得することができるようになっている。
ROMはCPUで制御を行うための各種データやプログラムが予め格納されたリードオンリーメモリであり、RAMはCPUがワーキングメモリとして使用するランダムアクセスメモリである。
本実施形態のナビゲーション処理部10とエージェント処理部11は、CPUがROMに格納された各種プログラムを読み込んで各種処理を実行するようになっている。なお、CPUは、記録媒体駆動装置23にセットされた外部の記録媒体からコンピュータプログラムを読み込んで、エージェント記憶装置29やナビゲーションデータ記憶装置、図示しないハードディスク等のその他の記憶装置に格納(インストール)し、この記憶装置から必要なプログラム等をRAMに読み込んで(ロードして)実行するようにしてもよい。また、必要なプログラム等を記録媒体駆動装置23からRAMに直接読み込んで実行するようにしてもよい。
ナビゲーション処理部10には、現在位置検出装置21とナビゲーションデータ記憶装置30が接続され、エージェント処理部11にはエージェントデータ記憶装置29が接続され、I/F部12には入力装置22と記憶媒体駆動装置23と通信制御装置24が接続され、画像処理部13には表示装置27と撮像装置28が接続され、音声制御部14には音声処理装置25とマイク26が接続され、状況情報処理部15には状況センサ部40が接続されている。
現在位置検出装置21は、車両の絶対位置(緯度、経度による)を検出するためのものであり、人工衛星を利用して車両の位置を測定するGPS(Global Positioning System)受信装置211と、方位センサ212と、舵角センサ213と、距離センサ214と、路上に配置されたビーコンからの位置情報を受信するビーコン受信装置215等が使用される。
GPS受信装置211とビーコン受信装置215は単独で位置測定が可能であるが、GPS受信装置211やビーコン受信装置215による受信が不可能な場所では、方位センサ212と距離センサ214の双方を用いた推測航法によって現在位置を検出するようになっている。
方位センサ212は、例えば、地磁気を検出して車両の方位を求める地磁気センサ、車両の回転角速度を検出しその角速度を積分して車両の方位を求めるガスレートジャイロや光ファイバジャイロ等のジャイロ、左右の車輪センサを配置しその出力パルス差(移動距離の差)により車両の旋回を検出することで方位の変位量を算出するようにした車輪センサ、等が使用される。
舵角センサ213は、ステアリングの回転部に取り付けた光学的な回転センサや回転抵抗ボリューム等を用いてステアリングの角度αを検出する。
距離センサ214は、例えば、車輪の回転数を検出して計数し、または加速度を検出して2回積分するもの等の各種の方法が使用される。
入力装置22は、ナビゲーション処理における走行開始時の現在地(出発地点)や目的地(到達地点)、情報提供局へ渋滞情報等の情報の請求を発信したい車両の所定の走行環境(発信条件)、携帯電話6のタイプ(型式)などを入力するためのものである。また、入力装置22は、本実施形態によるエージェントの問い合わせ等に対して運転者が応答するための1つの手段でもある。
入力装置22には、タッチパネル(スイッチとして機能)、キーボード、マウス、ライトペン、ジョイスティック、赤外線等によるリモコン、音声認識装置などの各種の装置が使用可能である。また、赤外線等を利用したリモコンと、リモコンから送信される各種信号を受信する受信部を備えてもよい。リモコンには、画面上に表示されたカーソルの移動操作等を行うジョイスティックの他、メニュー指定キー(ボタン)、テンキー等の各種キーが配置される。
記録媒体駆動装置23は、ナビゲーション処理部10やエージェント処理部11が各種処理を行うためのコンピュータプログラムを外部の記録媒体から読み込むのに使用される駆動装置である。記録媒体に記録されているコンピュータプログラムには、各種のプログラムやデータ等が含まれる。
ここで、記録媒体とは、コンピュータプログラムが記録される記録媒体をいい、具体的には、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、メモリチップやICカード等の半導体記録媒体、CD−ROMやMO、PD(相変化書換型光ディスク)等の光学的に情報が読み取られる記録媒体、紙カードや紙テープ、文字認識装置を使用してプログラムを読み込むための印刷物等の用紙(および、紙に相当する機能を持った媒体)を用いた記録媒体、その他各種方法でコンピュータプログラムが記録される記録媒体が含まれる。
記録媒体駆動装置23は、これらの各種記録媒体からコンピュータプログラムを読み込む他に、記録媒体がフレキシブルディスクやICカード等のように書き込み可能な記録媒体である場合には、ナビゲーション処理部10やエージェント処理部11のRAMや記憶装置29、30のデータ等をその記録媒体に書き込むことが可能である。
例えば、ICカードにエージェント機能に関する学習内容(学習項目データ、応答データ)を記憶させる、他の車両を運転する場合でもこの記憶させたICカードを使用することで、自分の好みに合わせて(過去の応対の状況に応じて)学習されたエージェントとコミュニケーションすることが可能になる。これにより、車両毎のエージェントではなく、運転者に固有のエージェントを車両内に出現させることが可能になる。
通信制御装置24は、各種無線通信機器からなる携帯電話が接続されるようになっている。通信制御部24は、電話回線による通話の他、道路の混雑状況や交通規制等の交通情報に関するデータなどを提供する情報提供局との通信や、車内での通信カラオケのために使用するカラオケデータを提供する情報提供局との通信を行うことができるようになっている。
また、通信制御装置24を介して、エージェント機能に関する学習データを送受信することも可能である。
音声出力装置25は、車内に配置された複数のスピーカで構成され、音声制御部14で制御された音声、例えば、音声による経路案内を行う場合の案内音声や、エージェントの行動にあわせた音声や音が出力されるようになっている。この音声出力装置25は、オーディオ用のスピーカと兼用するようにしてもよい。なお、音声制御装置14は、運転者のチューニング指示の入力に応じて、出力装置25から出力する音声の音色やアクセント等を制御することが可能である。
マイク26は、音声制御部14における音声認識の対象となる音声、例えば、ナビゲーション処理における目的地等の入力音声や、エージェントとの運転者の会話(応答等)等を入出力する音声入力手段として機能する。このマイク26は、通信カラオケ等のカラオケを行う際のマイクと兼用するようにしてもよく、また、運転者の音声を的確に収集するために指向性のある専用のマイクを使用するようにしてもよい。
音声出力装置25とマイク26とでハンズフリーユニットを形成させて、携帯電話を介さずに、電話通信における通話を行えるようにしてもよい。
表示装置27には、ナビゲーション処理部10の処理による経路案内用の道路地図や各種画像情報が表示されたり、エージェント処理部11によるエージェントの各種行動(動画)が表示されたりするようになっている。また、撮像装置28で撮像された車両内外の画像も画像処理部13で処理された後に表示されるようになっている。
表示装置27は、液晶表示装置、CRT等の各種表示装置が使用される。
なお、この表示装置5は、例えばタッチパネル等の、前記入力装置2としての機能を兼ね備えたものとすることができる。
撮像装置28は、画像を撮像するためのCCD(電荷結合素子)を備えたカメラで構成されており、運転者を撮像する車内カメラの他、車両前方、後方、右側方、左側方を撮像する各車外カメラが配置されている。撮像装置28の各カメラにより撮像された画像は、画像処理部13に供給され、画像認識等の処理が行われ、各認識結果をエージェント処理部11によるプログラム番号の決定に使用するようになっている。
エージェントデータ記憶装置29は、本実施形態によるエージェント機能を実現するために必要な各種データ(プログラムを含む)が格納される記憶装置である。このエージェントデータ記憶装置29には、例えば、フレキシブルディスク、ハードディスク、CD−ROM、光ディスク、磁気テープ、ICカード、光カード等の各種記録媒体と、その駆動装置が使用される。
この場合、例えば、学習項目データ292と応答データを持ち運びが容易なICカードやフレキシブルディスクで構成し、その他のデータをハードディスクで構成するというように、複数種類の異なる記録媒体と駆動装置で構成し、駆動装置としてそれらの駆動装置を用いるようにしてもよい。
エージェントデータ記憶装置29には、エージェントプログラム290、プログラム選択テーブル291、学習項目データ292、応答データ、図4に例示したエージェントの容姿や行動を画像表示するための画像データ294、その他のデータが格納されている。
学習項目データ292及び応答データ293は、運転者の運転操作や応答によってエージェントが学習した結果を格納するデータである。従って、学習項目データ292と応答データ293は、各運転者毎にそのデータが格納・更新(学習)されるようになっている。
画像データ294に格納される容姿としては、人間(男性、女性)的な容姿である必要はなく、例えば、ひよこや犬、猫、カエル、ネズミ等の動物自体の容姿や人間的に図案化(イラスト化)した動物の容姿であってもよく、更にロボット的な容姿や、特定のキャラクタの容姿等であってもよい。またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく(大人の容姿に変化し、更に老人の容姿に変化していく)ようにしてもよい。画像データ294には、これらの各種エージェントの容姿の画像が格納されており、運転者の好みによって入力装置22等から選択することができるようになっている。
エージェントプログラム290には、エージェント機能を実現するためのエージェント処理プログラムや、エージェントと運転者とがコミュニケーションする場合の細かな行動を表示装置27に画像表示すると共にその行動に対応した会話を音声出力装置25から出力するためのコミュニケーションプログラムがプログラム番号順に格納されている。
このエージェントプログラム290には、各プログラム番号の音声に対して複数種類の音声データが格納されており、運転者は前記エージェントの容姿の選択と併せて音声を入力装置22等から選択することができるようになっている。エージェントの音声としては、男性の音声、女性の音声、子供の音声、機械的な音声、動物的な音声、特定の声優や俳優の音声、特定のキャラクタの音声等があり、これらの中から適宜運転者が選択する。なお、この音声と前記容姿の選択は、適時変更することが可能である。
プログラム選択テーブル291は、エージェントプログラム290に格納されているコミュニケーションプログラムを選択するためのテーブルである。
図2はプログラム選択テーブル291を表したものであり、図3はプログラム選択テーブル291で選択される各プログラム番号に対応した、エージェントの行為(行動と発声)内容を表したものである。
この図2、図3で示されているプログラム番号は、エージェントプログラム290に格納されている各コミュニケーションプログラムの番号と一致している。
図4は、図2、図3のプログラム番号00001〜00002により表示装置27に表示されるエージェントの「かしこまってお辞儀」行動についての数画面を表したものである。
この図4に示されるように、エージェントEは、口元を引き締めると共に手を膝に当てながら、お辞儀をすることでかしこまったお辞儀であることが表現されている。この行動と共にエージェントEが話す言葉(発声)は、車両状況や学習状況等によって変えられる。
エンジンの冷却水温度が低い場合には、エンジンの調子に合わせて行動「眠そうに…」が選択される。眠そうな表現として、瞼が下がった表情にしたり、あくびや伸びをした後に所定の行動(お辞儀等)をしたり、最初に目をこすったり、動きや発声を通常よりもゆっくりさせたりすることで表すことができる。これらの眠そうな表現は、常に同一にするのではなく、行動回数等を学習することで適宜表現を変更する。
例えば、3回に1回は目をこすり(A行動)、10回に1回はあくびをするようにし(B行動)、それ以外では瞼を下がった表情(C行動)にする。これらの変化は、行動Bや行動Cの付加プログラムを行動Aの基本プログラムに組み合わせることで実現される。そして、どの行動を組み合わせるかについては、基本となる行動Aのプログラム実行回数を学習項目として計数しておき、回数に応じて付加プログラムを組み合わせるようにする。
また、行動「元気よく」を表現する場合には、音声の抑揚を大きくしたり、エージェントEを走りながら画面に登場させたりすることで表現する。
図2に表示された各項目は各、プログラム番号を選択するための選択条件を表したもので、状態センサ40により検出される車両や運転者の各種状況から決定される項目(時間、起動場所、冷却水温等)と、学習項目データ292や応答データ293に格納されている学習内容から決定される項目(今日のIG ON回数、前回終了時からの経過時間、通算起動回数等)がある。
プログラム選択テーブル中で、これら全項目を満足するプログラムは必ず一義的に決定するようになっている。なお、テーブル中で「○」印は、そのプログラム番号が選択されるために満たす必要がある項目を示し、「ー」印はそのプログラムの選択には考慮されない項目を示している。
図2、図3では、イグニッションをONにした場合のコミュニケーション(挨拶)に関連する行為と選択条件について記載しているが、その他各種行為(行動と発声)を規定するプログラムを選択するためのプログラム番号と選択条件も種々規定されている。
例えば、急ブレーキが踏まれたことを条件として、エージェントが「しりもち」をついたり、「たたら」を踏んだりする行動をとったり、驚き声をだすようなプログラムも規定されている。エージェントによる各行動の選択は急ブレーキに対する学習によって変化するようにし、例えば、最初の急ブレーキから3回目までは「しりもち」をつき、4回目から10回目までは「たたら」を踏み、10回目以降は「片足を一歩前にだすだけで踏ん張る」行動を取るようにし、エージェントが急ブレーキに対して段階的に慣れるようにする。そして、最後の急ブレーキから1週間の間隔があいた場合には、1段階後退するようにする。
図1における、学習項目データ292と応答データ293は共にエージェントの学習により格納、更新されるデータであり、その内容がそれぞれ図5、図6に概念的に示されている。
学習項目データ292には、図5に示されるように、プログラム選択テーブル291(図2)の選択条件を決定する通算起動回数、前回終了日時、今日のイグニッションON回数、前5回の給油時残量等が格納され、選択条件により選択されたプログラムを起動するか否か(お休みするか否か)を決定するためのお休み回数/日時、デフォルト値、その他のデータが格納される。
通算起動回数には、イグニッションを起動した通算回数が格納され、イグニッションがONされる毎にカウントアップされる。
前回終了日時には、イグニッションをOFFにする毎にその日時が格納される。
今日のイグニッションON回数には、その日におけるイグニッションONの回数と、1日の終了時間が格納される。イグニッションがONされる毎にカウントアップされるが、1日が終了するとデータが”0”に初期化される。1日の終了時間はデフォルト値として24:00が格納されている、この時間はユーザ(運転者)の生活パターンによって変更することが可能である。時間が変更された場合には、変更後の時間が格納される。
前5回の給油残量には、燃料(ガソリン)を給油する直前に検出された燃料の残量が格納され、新たに給油される毎に各データが左側にシフトされ(最も古い最左のデータが削除される)今回給油直前の残量が一番右側に格納される。
このデータは、後述する燃料検出センサ415の検出値G1が、全5回分の給油残量の平均値G2以下(G1≦G2)になった場合に、エージェントEが表示装置27に現れて給油を促す行動が表示装置27に表示され、「おなかが減ったなあ!ガソリンがほしいな!」等の音声が音声出力装置25から出力される。
お休み回数/日時には、該当するコミュニケーションプログラムが選択されたとしても実行せずにお休みした回数等が各プログラム番号毎に格納される。このお休み回数/日時は、例えば後述するエアコンの停止を提案するエージェントの行為(プログラム番号00123)のように、学習項目としてお休み項目が設定されているエージェント行為について格納される。
エージェントの提案や会話に対する運転者の応答が、拒否(拒絶)であった場合や無視(又は無応答)であった場合、コミュニケーションプログラムに応じて選択的に「お休み」が設定される。
デフォルト値には、時間、回数、温度、車速、日時等の各項目に対する初期設定値が格納されており、前記した1日の終了時間のように学習項目の中で変更された値を初期値に戻す場合に使用される。
学習項目データ292に格納されるその他のデータとしては、例えば、運転者やその関係者の誕生日(これはユーザ入力項目である)、祭日とその言われ、クリスマス、バレンタインデー、ホワイトデー等のイベント日などが格納される。各イベント日に応じた特別メニューのコミュニケーションプログラムも用意されており、例えば、クリスマスイブにはサンタクロースに変装したエージェントが現れる。
図6の応答データ293には、エージェントの行為に対するユーザの応答の履歴が、ユーザ応答を学習項目とする各コミュニケーションプログラム番号毎に格納される。ユーザ応答データは、図6(A)のコミュニケーションプログラム番号00123、125のように最新の応答日時と応答内容が所定回分(プログラム番号00123は2回分)格納されるものと、プログラム番号00124のように最新の応答内容のみが1回分格納される(従って応答がある毎に更新される。)ものと、最新の応答内容のみが所定回分格納されるものと、最新の日時と応答内容が一回分格納されるものと、最新の日時だけが1回分または所定回分格納されるもの等がある。
図6(A)中に表示された記号A、B、Cは応答内容を表すもので、同図(B)に示すように、記号Aが無視された場合、記号Bが拒絶された場合、記号Cが受容された場合を表す。運転者の応答内容については、マイク26から入力される運転者の音声に対する音声認識の結果や、入力装置による入力結果から判断される。
なお、本実施形態では運転者の応答を無視、拒絶、受容の3パターに分類しているが、「強く拒絶」、「怒られた」、「喜ばれてた」を新たに加えるようにしてもよい。この場合、新たに加えた応答により、学習項目データ292(例えば、お休み回数等)や応答データ293のを追加変更する。
図7は、ナビゲーションデータ記憶装置30(図1)に格納されるデータファイルの内容を表したものである。
図7に示されるように、ナビゲーションデータ記憶装置30には経路案内等で使用される各種データファイルとして、通信地域データファイル301、描画地図データファイル302、交差点データファイル303、ノードデータファイル304、道路データファイル305、探索データファイル306、写真データファイル307が格納されるようになっている。
このナビゲーションデータ記憶装置4は、例えば、フレキシブルディスク、ハードディスク、CD−ROM、光ディスク、磁気テープ、ICカード、光カード等の各種記録媒体と、その駆動装置が使用される。
なお、ナビゲーションデータ記憶装置4は、複数種類の異なる記録媒体と駆動装置で構成するようにしてもよい。例えば、検索データファイル46を読み書き可能な記録媒体(例えば、フラッシュメモリ等)で、その他のファイルをCD−ROMで構成し、駆動装置としてそれらの駆動装置を用いるようにする。
通信地域データファイル301には、通信制御装置24に接続され又は無接続で車内において使用される携帯電話が、車内から通信できる地域を表示装置5に表示したり、その通信できる地域を経路探索の際に使用するための通信地域データが、携帯電話のタイプ別に格納されている。この携帯電話のタイプ別の各通信地域データには、検索しやすいように番号が付されて管理され、その通信可能な地域は、閉曲線で囲まれる内側により表現できるので、その閉曲線を短い線分に分割してその屈曲点の位置データによって特定する。なお、通信地域データは、通信可能地を大小各種の四角形エリアに分割し、対角関係にある2点の座標データによりデータ化するようにしてもよい。
通信地域データファイル301に格納される内容は、携帯電話の使用可能な地域の拡大や縮小に伴って、更新できるのが望ましく、このために、携帯電話と通信制御装置24を使用することにより、情報提供局との間で通信を行なって、通信地域データファイル301の内容を最新のデータと更新できるように構成されている。なお、通信地域データファイル301をフレキシブルディスク、ICカード等で構成し、最新のデータと書換えを行うようにしても良い。
描画地図データファイル302には、表示装置27に描画される描画地図データが格納されている。この描画地図データは、階層化された地図、例えば最上位層から日本、関東地方、東京、神田といった階層ごとの地図データが格納されている。各階層の地図データは、それぞれ地図コードが付されている。
交差点データファイル303には、各交差点を特定する交差点番号、交差点名、交差点の座標(緯度と経度)、その交差点が始点や終点になっている道路の番号、および信号の有無などが交差点データとして格納されている。
ノードデータファイル304には、各道路における各地点の座標を指定する緯度、経度などの情報からなるノードデータが格納されている。すなわち、このノードデータは、道路上の一地点に関するデータであり、ノード間を接続するものをアークと呼ぶと、複数のノード列のそれぞれの間をアークで接続することによって表現される。
道路データファイル305には、各道路を特定する道路番号、始点や終点となる交差点番号、同じ始点や終点を持つ道路の番号、道路の太さ、進入禁止等の禁止情報、後述の写真データの写真番号などが格納されている。
交差点データファイル303、ノードデータファイル304、道路データファイル305にそれぞれ格納された交差点データ、ノードデータ、道路データからなる道路網データは、経路探索に使用される。
探索データファイル306には、経路探索により生成された経路を構成する交差点列データ、ノード列データなどが格納されている。交差点列データは、交差点名、交差点番号、その交差点の特徴的風景を写した写真番号、曲がる角、距離等の情報からなる。また、ノード列データは、そのノードの位置を表す東経、北緯などの情報からなる。
写真データファイル307には、各交差点や直進中に見える特徴的な風景等を撮影した写真が、その写真番号と対応してディジタル、アナログ、またはネガフィルムの形式で格納されている。
図8は、状況センサ部40を構成する各種センサを表したものである。
図8に示すように状況センサ部40は、イグニッションセンサ401、車速センサ402、アクセルセンサ403、ブレーキセンサ404、サイドブレーキ検出センサ405、シフト位置検出センサ406、ウィンカー検出センサ407、ワイパー検出センサ408、ライト検出センサ409、シートベルト検出センサ410、ドア開閉検出センサ411、同乗者検出センサ412、室内温度検出センサ413、室外温度検出センサ414、燃料検出センサ415、水温検出センサ416、ABS検出センサ417、エアコンセンサ418、体重センサ419、前車間距離センサ420、後車間距離センサ421、体温センサ422、心拍数センサ423、発汗センサ424、脳波センサ425、アイトレーサー426、赤外線センサ427、その他のセンサ(タイヤの空気圧低下検出センサ、ベルト類のゆるみ検出センサ、窓の開閉状態センサ、クラクションセンサ、室内湿度センサ、室外湿度センサ、油温検出センサ、油圧検出センサ等)428等の車両状況や運転者状況、車内状況等を検出する各種センサを備えている。
これら各種センサは、それぞれのセンシング目的に応じた所定の位置に配置されている。
なお、これらの各センサは独立したセンサとして存在しない場合には、他のセンサ検出信号から間接的にセンシングする場合を含む。例えば、タイヤの空気圧低下検出センサは、車輪速センサの信号の変動により間接的に空気圧の低下を検出する。
イグニッションセンサ401は、イグニッションのONとOFFを検出する。 車速センサ402は、例えば、スピードメータケーブルの回転角速度又は回転数を検出して車速を算出するもの等、従来より公知の車速センサを特に制限なく用いることができる。
アクセルセンサ403は、アクセルペダルの踏み込み量を検出する。
ブレーキセンサ404は、ブレーキの踏み込み量を検出したり、踏み込み力や踏む込む速度等から急ブレーキがかけられたか否かを検出する。
サイドブレーキ検出センサ405は、サイドブレーキがかけられているか否かを検出する。
シフト位置検出センサ406は、シフトレバー位置を検出する。
ウィンカー検出センサ407は、ウィンカの点滅させている方向を検出する。 ワイパー検出センサ408は、ワイパーの駆動状態(速度等)を検出する。
ライト検出センサ409は、ヘッドランプ、テールランプ、フォグランプ、ルームランプ等の各ランプの点灯状態を検出する。
シートベルト検出センサ410は、運転者、及び同乗者(補助席、後部座席)がシートベルトを着用しているか否かを検出する。着用していない場合には適宜(嫌われない程度に)エージェントが現れ、警告、注意、コメント等(学習により程度を変更する)を行う。
ドア開閉検出センサ411は、ドアの開閉状態を検出し、いわゆる半ドアの場合には、エージェントがその旨を知らせる。ドア開閉検出センサ411は、運転席ドア、助手席ドア、後部運転席側ドア、後部助手席側ドア等の、車種に応じた各ドア毎の開閉を検出できるようになっている。
同乗者検出センサ412は、助手席や後部座席に同乗者が乗っているか否かを検出するセンサで、撮像装置28で撮像された車内の画像から検出し、または、補助席等に配置された圧力センサや、体重計により検出する。
室内温度検出センサ413は室内の気温を検出し、室外温度検出センサ414は車両外の気温を検出する。
燃料検出センサ415は、ガソリン、軽油等の燃料の残量を検出する。給油時直前における過去5回分の検出値が学習項目データ292に格納され、その平均値になった場合にエージェントが給油時期であることを知らせる。
水温検出センサ416は、冷却水の温度を検出する。イグニッションON直後において、この検出温度が低い場合には、エージェントが眠そうな行為をする場合が多い。逆に水温が高すぎる場合にはオーバーヒートする前に、エージェントが「だるそう」な行動と共にその旨を知らせる。
ABS検出センサ417は、急ブレーキによるタイヤのロックを防止し操縦性と車両安定性を確保するABSが作動したか否かを検出する。
エアコンセンサ418は、エアコンの操作状態を検出する。例えば、エアコンのON・OFF、設定温度、風量等が検出される。
体重センサ419は、運転者の体重を検出するセンサである。この体重から、または、体重と撮像装置28の画像から運転者を特定し、その運転者との関係で学習したエージェントを出現させるようにする。すなわち、特定した運転者に対してエージェントが学習した、学習項目データ292と応答データ293を使用することで、その運転者専用のエージェントを出現させるようにする。
前車間距離センサ420は車両前方の他車両や障害物との距離を検出し、後車間距離センサ421は後方の他車両や障害物との距離を検出する。
体温センサ422は、心拍数センサ423、発汗センサ424は、それぞれ運転者の体温、心拍数、発汗状態を検出するセンサで、例えば、ハンドル表面に各センサを配置し運転者の手の状態から検出する。または、体温センサ422として、赤外線検出素子を使用したサーモグラフィーにより運転者の各部の温度分布を検出するようにしても良い。
脳波センサ425は、運転者の脳波を検出するセンサで、例えばα波やβ波等を検出して運転者の覚醒状態等を調べる。
アイトレーサー426は、ユーザの視線の動きを検出し、通常運転中、車外の目的物を捜している、車内目的物をさがしている、覚醒状態等を判断する。
赤外線センサ427は、ユーザの手の動きや顔の動きを検出する。
次に、以上のように構成された本実施形態の動作について説明する。
図9は本実施形態によるエージェント処理のメイン動作を表したフローチャートである。
エージェント処理部11は、イグニッションがONされたことがイグニッションセンサ401で検出されると、まず最初に初期設定を行う(ステップ11)。初期設定としては、RAMのクリア、各処理用のワークエリアをRAMに設定、プログラム選択テーブル291(図2)のRAMへのロード、フラグの0設定、等の処理が行われる。なお、本実施形態のエージェント処理では、その処理の開始をイグニッションONとしたが、例えばドア開閉検出センサ411によりいずれかのドアの開閉が検出された場合に処理を開始するようにしてもよい。
次にエージェント処理部11は、状況情報処理部15に状況センサ部40の各センサから供給される検出値や、撮像装置28で撮像した画像の処理結果や、現在位置検出装置21で検出した車両の現在位置等のデータを取得して、RAMの所定エリアに格納し、格納したデータから現在状況の把握を行う(ステップ12)。例えば、水温検出センサ416で検出された冷却水の温度がt1である場合、エージェント処理部11は、この温度t1をRAMに格納すると共に、t1が所定の閾値t2以下であれば、車両の現在の状態として冷却水温(図2参照)は低い状態であると把握する。
現在の状況としては、他にマイク26からの入力に基づいて音声認識した運転者の要求、例えば、「○○○番に電話をしてくれ。」や「この辺のレストランを表示してくれ」や「CDをかけてくれ」等の要求も現在の状況として把握される。この場合、認識した音声に含まれるワード「CD」「かけて」等がプログラム選択テーブル291(図2)の選択条件(横軸項目)になる。
さらにエージェント処理部11は、エージェントデータ記憶装置29の学習項目データ292と応答データ293をチェックすることで、エージェントがこれまでに学習してきた状態(学習データ)を把握する(ステップ13)。
エージェント処理部11は、把握した現在状態とチェックした学習データとから、図2に示したプログラム選択テーブル291から、現在の状態で起動可能なコミュニケーションプログラム(の番号)があるか否かを判断し、該当プログラムが無ければ(ステップ14;N)、ステップ12に戻って新たな状態を把握する。
一方、起動可能なコミュニケーションプログラムがある場合(ステップ14;Y)、そのプログラム番号を決定する。そして、決定したプログラム番号に対する運転者の応答履歴を応答データ293から確認し、当該プログラム番号のコミュニケーションプログラムの起動を、お休みすべき状態か否かを確認する(ステップ15)。
お休み状態ではない場合(ステップ15;N)、エージェント処理部11は、決定したプログラム番号に対応するコミュニケーションプログラムを起動することで、図4に示された各エージェントの行為(行動と音声)に従った画像を表示装置27に表示すると共に、音声出力装置25から音声出力する(ステップ16)。これによって、現在の車両や運転者等の状況からだけでなく、過去の状況や応答にたいする学習結果を反映させたエージェントとのコミュニケーションが可能になる。
そしてエージェント処理部11は、コミュニケーションプログラムの起動によるエージェント行為に対する運転者の応答を、マイク26からの入力に基づく音声認識結果や、入力装置22からの入力結果から取得する(ステップ17)。
次にエージェント処理部11は、ステップ16で起動したコミュニケーションプログラムが制御対象プログラムか否かを判断する(ステップ18)。ここで制御対象プログラムか否かは各プログラム毎に規定されており、例として、「ラジオの電源を入れましょうか?」や、お昼時にお腹が鳴る音を検出した場合に「食堂の案内をしましょうか?」といったように、エージェントが処理可能な行為の提案をする場合のコミュニケーションプログラム等が制御対象プログラムとして規定されている。
制御対象プログラムでない場合(ステップ18;N)にはステップ20に移行し、制御対象プログラムである場合(ステップ18;Y)、ステップ17で取得した運転者の応答に応じた制御を行う(ステップ19)。例えば、上記ラジオの電源を入れる提案コミュニケーションに対して、「入れて」「OK」「はい」等の提案を受容する応答が認識された場合であれば、エージェント処理部11は応答に応じた制御として、エージェントに返事をする行為(行為と音声)をさせると共にラジオの電源をONにする。
そして、エージェント処理部11は、今回のコミュニケーションプログラムに関するデータを蓄積することで、エージェントに学習をさせる(ステップ20)。
データの蓄積としては、例えば、コミュニケーションプログラムの起動がお休みである場合には(ステップ15;Y)、学習項目データ292の該当プログラム番号の回数欄をカウントアップさせる。ただし、学習項目データ292のお休み回数/日時欄に格納されている回数をKa回とし、当該プログラム番号に対する前回までの応答データ293の履歴から決まるお休み回数をKb回とした場合、Ka=Kb−1であれば、今回のお休みで規定回数休んだことになるの。そこで、学習項目データ292及び応答データ293の当該プログラム番号欄の(該当する位置に格納されている)データをクリアする。
その他の場合(ステップ18;Nの場合、ステップ19の後)には、ステップ12で把握した現在状況の中に学習項目があれば学習項目データ292の値を更新し、応答内容を履歴として格納すべきプログラム番号であればステップ17で取得した応答内容を応答データ293(図7)に格納する。この応答の履歴も各プログラム番号毎に規定された所定回数分のデータが既に格納されている場合には、最も古いデータを廃棄して新しいデータを格納する。
以上のプログラム決定・コミュニケーション・学習の各処理が終了すると、エージェント処理部11は、ステップ11でRAMに初期設定したフラグ領域にフラグ1が立っているか否かを確認する(ステップ21)。
フラグが立っていない場合には(ステップ21;N)、イグニッションセンサ401によりイグニッションOFFが検出されたか否かを判断し(ステップ22)、検出されていない場合(ステップ22;N)にはステップ12に戻って新たな状態を把握する。
一方、イグニッションOFFが検出された場合(ステップ22;Y)、RAMのフラグ領域にフラグ1を立て(ステップ23)た後にステップ12に戻り、後処理を行う。すなわち、フラグ1を現在状況や学習データに応じたお別れの行為(行動と音声)をエージェントにさせると共に、消し忘れのライト類の消灯等の制御、及び当該後処理に対する学習(ステップ20)の後、フラグが1なので(ステップ21;Y)、エージェント処理を終了する。
次に、以上説明したエージェント処理による、具体的な行為例について説明する。
図10は、イグニッションON後における具体的なエージェント処理の内容を概念的に表したものである。
この図10(A)に示すように、エージェント処理部11は、現在状況として、イグニッションセンサ401で検出された状態が「ON」、現在位置検出装置21で検出された現在位置(緯度、経度)から求めた現在位置が「その他」(自宅、休憩場所以外)、等の状況を把握(ステップ12)したものとする。
また、学習項目データ292と応答データ293についてチェックした学習データとしては、今日のイグニッションON回数が「2日目」前回終了日時が「1997.7.12 10:05」、通算起動回数が「30回」であるとチェック(ステップ13)したものとする。
以上の処理から、エージェント処理部11は、プログラム選択テーブル291からプログラム番号00004のコミュニケーションプログラムを選択し(ステップ14)、お休み対象で無いことを確認(ステップ15;N)したうえで、当該番号のコミュニケーションプログラムを起動する(ステップ16)。
プログラム番号00004のコミュニケーションプログラムの起動により、図3に示すエージェント行為(行動と発声)が、図10(B)に示すように、行われる。すなわち、表示装置27にはエージェントが図4に示すように「かしこまってお辞儀」をする連続行動の画像が複数枚表示(または動画が表示)されると共に、音声出力装置25からは「また私、リサが御供いたします。よろしくお願いします。」といった音声が出力される。
プログラム番号00004は制御対象プログラムではないので(ステップ18;N)、ステップ19をとばし、エージェントの学習として図10(C)に示すように、学習項目データ292の今日のイグニッションON回数を2回から3回に変更すると共に、通算起動回数を30回から31回に変更する(ステップ20)。その後フラグ=1でなく(イグニッションONしたのちなので通常はフラグ=0)、イグニッションOFFでもなければ(ステップ21;N、22;N)、ステップ12に戻りその後のコミュニケーションを継続する。
以上の学習により、学習項目データ292に格納されている通算起動回数が31回以上になる。従ってそれ以後は、全学習データ(学習項目データ292と応答データ293)を初期化しない限り、コミュニケーションプログラム00001〜00006が選択されることはない。以後イグニッションONの通算回数が300回になるまで、プログラム番号00007〜00019のいずれかのコミュニケーションプログラムが選択される。すなわち、エージェントは「かしこまってお辞儀」を行わず、冷却水温が高ければ通常の「お辞儀」、低ければ「眠そうにお辞儀」をする。その際の音声は、起動場所やその日のIGON回数等により選択されるプログラム番号によって変化する
図11は、車両走行中における具体的なエージェント処理の内容を概念的に表したものである。
この図11(A)に示すように、エージェント処理部11は、現在状況として、エアコンセンサ418で検出された状態が「ON」、室内温度検出センサ413と室外温度検出センサ414で検出された室温T1と室外温T2を取得する。また、各プログラム番号の応答データ293をチェックすることで、プログラム番号0123に対する前2回の運転者応答がC(受容)なので、閾値T3、T4の値としてデフォルト値(T3=2度、T4=24度)が学習項目データ292から読み出される。
この閾値T3とT4とから、室温と室外温の関係、(T1−T2)≦T3が「Yes」、室外温T2と閾値T4との関係T2≦T4が「Yes」、等の状況が最終的に把握される(図11(A))。
以上の処理から、エージェント処理部11は、プログラム選択テーブル291からプログラム番号00123のコミュニケーションプログラムを最終的に選択し(ステップ14)、お休み対象で無いことを確認(ステップ15;N)したうえで、当該番号のコミュニケーションプログラムを起動する(ステップ16)。 プログラム番号00123のコミュニケーションプログラムの起動により、
図11(B)に示すような行為をエージェントがする。すなわち、表示装置27にはエージェントが現れてほほえむ連続動作の画像が複数枚表示(または動画が表示)されると共に、音声出力装置25からは「外は涼しくなりましたよ。外気を入れてみませんか?」といった音声が出力される。
このエージェントのコミュニケーションに対する運転者の応答を取得する(ステップ17)。
そして、プログラム番号00123は制御対象プログラムなので(ステップ18;Y)、受容であれば応答に応じた制御としてエアコンの電源をOFFにすると共に、運転席側と助手席側の窓を1/2だけ開ける制御を行う(ステップ19)。
応答に応じた制御の後、エージェント処理部11は、エージェントの学習として、図11(C)に示すように、運転者の応答が無視であればA、拒絶であればB、受容であればCを、応答日時と共にプログラム番号0123に対応する応答データ293に格納する。この場合、前々回の応答データが削除され、前回の応答と今回の応答が応答データ293の格納内容になる。
そして、格納した応答内容が無視Aであれば、次回の閾値T3、T4は1度づつ下げた値(T3−1=1度、T4−1=23度)が使用され、1回休むことになる。格納した応答内容が拒絶Bであれば、次回の閾値T3、T4は1度づつ下げた値(T3−1=1度、T4−1=23度)が使用され、5回休むことになる。なお、1回休む場合の閾値としては下げた後の温度T3=T3−1、T4=T4−1が使用される。
格納した応答内容が受容Cであれば、前回使用した閾値T3、T4と同一の値が使用される。
なお、エージェントの提案コミュニケーションに対する受容応答により、運転席側と助手席側の窓を1/2だけ開ける制御について説明したが、この窓を開ける位置と量についてもエージェントの学習対象とし、次回の窓開閉制御に対する学習とするようにしてもよい。例えば、運転者の「開けすぎだよ」、「もう少し締めて」、「後ろも開けてよ」等の応答を、図11(A)の状況に対する固有のデータではなく、窓開閉に関して運転者の好みを表す一般的なデータとして応答データ293に格納しておく。この場合のデフォルト値としては、例えば、開対象窓と開放量;運転席側窓1/2、助手席側窓1/2とする。なお、運転者の応答が「後ろも開けてよ」であった場合、この応答(音声認識結果)が現在の状況として把握(ステップ12)され、コミュニケーションプログラムの起動(ステップ16)によりエージェントの行為と共に、後ろの窓も開放する。
以上説明したように本実施形態によれば、過去の種々の状況を学習し、この学習内容に応じて現在の車両や運転者に関する状況に適したコミュニケーション行為をエージェントが行うので、運転者は車内で飽きることなく運転することができる。
また運転者は、エージェントに対して怒ったり、笑ったり、相談したりでき、またエージェントから積極的になされる提案に対してもその時々の気分で応答することができる。そして、これらの運転者の行為を適切に判断、学習してエージェントがコミュニケーションをとるので、エージェントに対して親しみを感じ、その車両に対する愛着を増すことができる。
また本実施形態のコミュニケーション機能を備えた車両によれば、学習手段による学習結果と状況判断手段により判断された現在の状況とから擬人化されたエージェントの行為を決定し、エージェント出現手段により出現されるエージェントに行わせるようにしたので、擬人化されたエージェントが状況に合わせて適切に行為し、運転者とのコミュニケーションをはかることができる。
すなわち、現在の車両・運転者の状況だけでなく、過去の履歴等に基づく学習結果から擬人化されたエージェントが状況に合わせた行為をし、運転者とのコミュニケーションをはかることができる。
従って、運転者はエージェントとの会話をしたり、エージェントに窓の開閉、CDやラジオの制御、走行道路や施設の詳細な案内といった各種の制御をしてもらうことができ、車内での運転環境を快適にすることができる。
なお、本実施形態のエージェント装置を以下のように構成することもできる。
(1)擬人化されたエージェントを車両内に出現させるエージェント出現手段と、車両の状況を判断する状況判断手段と、
この状況判断手段による所定状況を記憶することで学習する学習手段と、
この学習手段による学習結果と前記状況判断手段により判断された状況とから、エージェントの行為を決定する行為決定手段と、
この行為決定手段で決定された行為を前記エージェント出現手段により出現されるエージェントに行わせるエージェント制御手段と、
を具備することを特徴とするエージェント装置。
(2) 前記状況判断手段は、現在または過去の状況を判断する手段であることを特徴とする上記(1)記載のエージェント装置。
(3) 前記状況判断手段は、車両の現在位置を検出する現在位置現在検出手段であることを特徴とする上記(1)記載のエージェント装置。
(4) 前記状況判断手段は、車両各部の状況を検出する車載センサであることを特徴とする上記(1)記載のエージェント装置。
(5) 前記状況判断手段は、車両外部の環境を検出するセンサであることを特徴とする上記(1)記載のエージェント装置。
(6) 前記学習手段は、前記状況手段が同一の状況を検出する回数により予め定められた学習結果を出力することを特徴とする上記(1)記載のエージェント装置。
(7) 前記エージェント出現手段は、画像表示手段と、画像表示手段に対し、特定のエージェントを画像表示するエージェント表示手段を含むことを特徴とする上記(1)記載のエージェント装置。
(8) 前記特定のエージェントは、複数のエージェントの中から選択されることを特徴とする上記(7)記載のエージェント装置。
(9) 前記エージェント出現手段は、音声出力装置と、該音声出力装置に対し、特定のエージェントの音声を出力するエージェント音声出力手段を含むことを特徴とする上記(1)記載のエージェント装置
(10) 前記音声出力手段は、複数のエージェント音声の中から選択された音声を出力することを特徴とする上記(9)記載のエージェント装置。
(11) 前記エージェント制御手段は、前記行為決定手段で決定された行為に対応して、エージェントの行動を画像表示手段に画像表示する上記(1)記載のエージェント装置。
(12) 前記エージェント制御手段は、前記行為決定手段で決定された行為に対応して、音声出力手段から出力される音声の音色を制御する上記(1)記載のエージェント装置。
(13) 前記学習手段は、さらに、運転者の指示内容及び応答内容の少なくとも一方を学習対象として記憶する記憶手段を備えたことを特徴とする上記(1)記載のエージェント装置。
(14) さらに運転者の操作を入力するスイッチを備え、前記記憶手段は該スイッチ入力の時間及び場所を記憶することを特徴とする上記(13)記載のエージェント装置。
(15) 前記学習手段は、前記エージェント制御手段により実行された行為に対応した運転者の操作があったか否かを判別する判別手段を備えることを特徴とする上記(1)記載のエージェント装置。
本発明の1実施形態におけるコミュニケーション機能を実現するための構成を示すブロック図である。 同上、実施形態におるプログラム選択テーブルの内容を概念的にあらわした説明図である。 同上、実施形態において、各プログラム番号に対応するエージェントの行為(行動と音声)を表した説明図である。 同上、実施形態におけるプログラム番号00001〜00002の起動により表示装置に表示されるエージェントの「かしこまってお辞儀」行動についての数画面を表した説明図である。 同上、実施形態における学習項目データの内容を概念的に表した説明図である。 同上、実施形態における応答データの内容を概念的に表した説明図である。 同上、実施形態におけるナビゲーションデータ記憶装置に格納されるデータファイルの内容を概念的に表した説明図である。 同上、実施形態における状況センサ部を構成する各種センサを表した説明図である。 同上、実施形態によるエージェント処理のメイン動作を表したフローチャートである。 同上、実施形態において、イグニッションON後における具体的なエージェント処理の内容を概念的に表した説明図である。 同上、実施形態において、車両走行中における具体的なエージェント処理の内容を概念的に表したものである。
符号の説明
1 全体処理部
10 ナビゲーション処理部
11 エージェント処理部
12 I/F部
13 画像処理部
14 音声制御部
15 状況情報処理部
21 現在位置検出装置
22 入力装置
23 記憶媒体駆動装置
24 通信制御装置
25 音声出力装置
26 マイク
27 表示装置
28 撮像装置
29 エージェントデータ記憶装置
30 ナビゲーションデータ記憶装置
40 状況センサ部

Claims (3)

  1. 車両の状況に応じた行動をする擬人化されたエージェントの画像を画像表示装置に表示するエージェント装置であって、
    エージェントの行動に対応する画像が複数記憶された画像記憶手段と、
    前記エージェントの画像が表示される表示装置と、
    前記エージェントの音声を出力する音声出力手段と、
    車両の室内の気温を検出する室内温度検出センサと、
    車両外の気温を検出する室外温度検出センサと、
    エアコンの操作状態を検出するエアコンセンサと、
    前記エアコンがオン状態で、前記検出した室内の気温と室外の気温との差が第1の閾値以下であり、室外気温が第2の閾値以下である場合に、エージェントの外気を入れる提案に対応して、該当する画像を前記画像記憶手段から読み出して前記表示装置に表示すると共に、前記提案をする音声を前記音声出力手段から出力する画像音声制御手段と、
    を具備することを特徴とするエージェント装置。
  2. 前記画像音声出力手段によるエージェントの提案に対する運転者の応答を取得する応答取得手段と、
    前記取得した応答が受容する応答である場合に、エアコンの電源をオフにすると共に、窓を開けるエアコン窓制御手段と、
    を具備することを特徴とする請求項1のエージェント装置。
  3. 前記応答の内容に応じて、前記第1の閾値及び第2の閾値を変更する閾値変更手段と、
    を具備することを特徴とする請求項1又は請求項2に記載のエージェント装置。
JP2005098227A 1997-07-22 2005-03-30 エージェント装置 Pending JP2005313886A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP21249197A JP3873386B2 (ja) 1997-07-22 1997-07-22 エージェント装置
JP6441498A JP3965538B2 (ja) 1998-02-27 1998-02-27 エージェント装置
JP8262698A JPH11259446A (ja) 1998-03-12 1998-03-12 エージェント装置
JP10082710A JPH11259271A (ja) 1998-03-13 1998-03-13 エージェント装置
JP09538698A JP4032492B2 (ja) 1998-03-23 1998-03-23 エージェント装置
JP10095387A JPH11272640A (ja) 1998-03-23 1998-03-23 エージェント装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP21249197A Division JP3873386B2 (ja) 1997-07-22 1997-07-22 エージェント装置

Publications (1)

Publication Number Publication Date
JP2005313886A true JP2005313886A (ja) 2005-11-10

Family

ID=27550977

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2005098226A Pending JP2005293587A (ja) 1997-07-22 2005-03-30 エージェント装置
JP2005098225A Expired - Fee Related JP3891202B2 (ja) 1997-07-22 2005-03-30 エージェント装置
JP2005098227A Pending JP2005313886A (ja) 1997-07-22 2005-03-30 エージェント装置
JP2005098223A Pending JP2005313885A (ja) 1997-07-22 2005-03-30 エージェント装置
JP2005098224A Expired - Fee Related JP3918850B2 (ja) 1997-07-22 2005-03-30 エージェント装置
JP2008156559A Expired - Fee Related JP4353310B2 (ja) 1997-07-22 2008-06-16 車載装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2005098226A Pending JP2005293587A (ja) 1997-07-22 2005-03-30 エージェント装置
JP2005098225A Expired - Fee Related JP3891202B2 (ja) 1997-07-22 2005-03-30 エージェント装置

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2005098223A Pending JP2005313885A (ja) 1997-07-22 2005-03-30 エージェント装置
JP2005098224A Expired - Fee Related JP3918850B2 (ja) 1997-07-22 2005-03-30 エージェント装置
JP2008156559A Expired - Fee Related JP4353310B2 (ja) 1997-07-22 2008-06-16 車載装置

Country Status (4)

Country Link
US (1) US6249720B1 (ja)
EP (1) EP0893308B1 (ja)
JP (6) JP2005293587A (ja)
DE (1) DE69836846T2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007153076A (ja) * 2005-12-02 2007-06-21 Denso Corp 空調機器制御装置
JP2013063747A (ja) * 2011-09-20 2013-04-11 Aisin Seiki Co Ltd 車両情報表示システム
JP2014196900A (ja) * 2012-07-10 2014-10-16 シャープ株式会社 電気機器
WO2018097089A1 (ja) * 2016-11-24 2018-05-31 Groove X株式会社 瞳を変化させる自律行動型ロボット
US10559305B2 (en) 2016-05-06 2020-02-11 Sony Corporation Information processing system, and information processing method
JP2020149106A (ja) * 2019-03-11 2020-09-17 本田技研工業株式会社 エージェント装置、エージェントシステム、サーバ装置、エージェント装置の制御方法、およびプログラム

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
DE19952854C1 (de) * 1999-11-03 2001-08-09 Bosch Gmbh Robert Assistenzvorrichtung in einem Fahrzeug
JP4163839B2 (ja) * 2000-02-08 2008-10-08 本田技研工業株式会社 車両用コミニュケーション装置
DE10008226C2 (de) * 2000-02-22 2002-06-13 Bosch Gmbh Robert Vorrichtung zur Sprachsteuerung und Verfahren zur Sprachsteuerung
WO2001067228A1 (en) 2000-03-09 2001-09-13 Koninklijke Philips Electronics N.V. Method of interacting with a consumer electronics system
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
JP2002077755A (ja) * 2000-08-29 2002-03-15 Sharp Corp エージェントインタフェース装置
US6580973B2 (en) * 2000-10-14 2003-06-17 Robert H. Leivian Method of response synthesis in a driver assistance system
US7565230B2 (en) * 2000-10-14 2009-07-21 Temic Automotive Of North America, Inc. Method and apparatus for improving vehicle operator performance
US6909947B2 (en) 2000-10-14 2005-06-21 Motorola, Inc. System and method for driver performance improvement
US20020151297A1 (en) * 2000-10-14 2002-10-17 Donald Remboski Context aware wireless communication device and method
US6925425B2 (en) 2000-10-14 2005-08-02 Motorola, Inc. Method and apparatus for vehicle operator performance assessment and improvement
US6591168B2 (en) * 2001-08-31 2003-07-08 Intellisist, Inc. System and method for adaptable mobile user interface
EP1246142A1 (en) * 2001-03-30 2002-10-02 Nokia Corporation Download of audio files to a detachable memory for playing in separate terminal
JP2002304188A (ja) 2001-04-05 2002-10-18 Sony Corp 単語列出力装置および単語列出力方法、並びにプログラムおよび記録媒体
JP2003004455A (ja) * 2001-06-15 2003-01-08 Mitsubishi Electric Corp 車載用ナビゲーション装置
DE10132948B4 (de) * 2001-07-06 2015-10-08 Volkswagen Ag Vorrichtung zur Einstellung einer Spracheinheit
US20050107929A1 (en) * 2001-09-01 2005-05-19 Bayerische Motoren Werke Ag Method, device and computer product for updating data of a control device
US7127271B1 (en) 2001-10-18 2006-10-24 Iwao Fujisaki Communication device
US7466992B1 (en) 2001-10-18 2008-12-16 Iwao Fujisaki Communication device
US7107081B1 (en) 2001-10-18 2006-09-12 Iwao Fujisaki Communication device
US8301108B2 (en) 2002-11-04 2012-10-30 Naboulsi Mouhamad A Safety control system for vehicles
US20030096593A1 (en) * 2001-10-24 2003-05-22 Naboulsi Mouhamad Ahmad Safety control system for vehicles
US6731925B2 (en) * 2001-10-24 2004-05-04 Mouhamad Ahmad Naboulsi Safety control system for vehicles
JP2003139838A (ja) * 2001-10-30 2003-05-14 Mitsui & Co Ltd Gps測位システム
DE10153987B4 (de) * 2001-11-06 2018-05-30 Daimler Ag Informationssystem in einem Fahrzeug
US20040225416A1 (en) * 2001-11-13 2004-11-11 Tomoki Kubota Data creation apparatus
US6804602B2 (en) * 2002-04-02 2004-10-12 Lockheed Martin Corporation Incident-aware vehicular sensors for intelligent transportation systems
CN100559341C (zh) * 2002-04-09 2009-11-11 松下电器产业株式会社 声音提供系统,服务器,客户机,信息提供管理服务器以及声音提供方法
EP1504276B1 (en) 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
JP2003329477A (ja) * 2002-05-15 2003-11-19 Pioneer Electronic Corp ナビゲーション装置及び対話型情報提供プログラム
JPWO2003100760A1 (ja) * 2002-05-29 2005-09-29 ヤマハ発動機株式会社 製品状態表示システム、製品状態表示システム用プログラム、及び製品状態表示システム用記録媒体
US7552140B2 (en) 2002-07-25 2009-06-23 Temic Automotive Of North America, Inc. Smart owner's manual
EP1542101A1 (en) * 2002-09-20 2005-06-15 Matsushita Electric Industrial Co., Ltd. Interactive device
DE10253502A1 (de) 2002-11-16 2004-05-27 Robert Bosch Gmbh Vorrichtung zur Projektion eines Objekts in einem Raum eines Fahrzeugs
US6978199B2 (en) * 2003-01-15 2005-12-20 Daimlerchrysler Corporation Method and apparatus for assisting vehicle operator
US8229512B1 (en) 2003-02-08 2012-07-24 Iwao Fujisaki Communication device
JP3882768B2 (ja) * 2003-02-28 2007-02-21 株式会社デンソー 数値情報通知機能を有する車載機
US8241128B1 (en) 2003-04-03 2012-08-14 Iwao Fujisaki Communication device
KR20040091788A (ko) * 2003-04-22 2004-11-02 현대자동차주식회사 고속도로 자율주행 시스템 및 그의 제어방법
US7162029B2 (en) * 2003-05-29 2007-01-09 Cirrus Logic, Inc. Gain or input volume controller and method utilizing a modified R2R ladder network
JP2005067317A (ja) * 2003-08-21 2005-03-17 Nippon Seiki Co Ltd 車両用情報提供装置
JP2005077372A (ja) 2003-09-03 2005-03-24 Denso Corp 音声認識装置、ナビゲーション装置及びプログラム
US8990688B2 (en) 2003-09-05 2015-03-24 Samsung Electronics Co., Ltd. Proactive user interface including evolving agent
US7881934B2 (en) * 2003-09-12 2011-02-01 Toyota Infotechnology Center Co., Ltd. Method and system for adjusting the voice prompt of an interactive system based upon the user's state
US8090402B1 (en) 2003-09-26 2012-01-03 Iwao Fujisaki Communication device
US7917167B1 (en) 2003-11-22 2011-03-29 Iwao Fujisaki Communication device
JP4839838B2 (ja) * 2003-12-12 2011-12-21 日本電気株式会社 情報処理システム、情報処理方法および情報処理用プログラム
US7222019B2 (en) * 2004-01-14 2007-05-22 Yamaha Hatsudoki Kabushiki Kaisha Vehicle image display apparatus and vehicle having the same
US8041348B1 (en) 2004-03-23 2011-10-18 Iwao Fujisaki Communication device
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP2006154926A (ja) * 2004-11-25 2006-06-15 Denso Corp キャラクタ表示を利用した電子機器操作システム及び電子機器
JP4580230B2 (ja) * 2004-12-27 2010-11-10 クラリオン株式会社 ナビゲーション装置
GB2421828A (en) * 2004-12-29 2006-07-05 Yedidia Emanuel Meshulam Traffic hazard management system for a vehicle, that sends and receives data from sensors and other vehicles relating to the traffic hazards
US7813771B2 (en) * 2005-01-06 2010-10-12 Qnx Software Systems Co. Vehicle-state based parameter adjustment system
JP4371057B2 (ja) * 2005-01-11 2009-11-25 トヨタ自動車株式会社 車両用エージェント装置、エージェントシステム及びエージェント制御方法
US20060262103A1 (en) * 2005-04-08 2006-11-23 Matsushita Electric Industrial Co., Ltd. Human machine interface method and device for cellular telephone operation in automotive infotainment systems
JP4237737B2 (ja) * 2005-08-04 2009-03-11 株式会社日本自動車部品総合研究所 車両搭載機器の自動制御装置、およびその装置を搭載した車両
ATE457902T1 (de) 2005-11-11 2010-03-15 Volkswagen Ag Informationseinrichtung, vorzugsweise in einem kraftfahrzeug, und verfahren zur information über fahrzeugdaten, insbesondere fahrzeugfunktionen und deren bedienung
DE102006049965A1 (de) * 2006-02-11 2007-10-18 Volkswagen Ag Vorrichtung und Verfahren zur interaktiven Informationsausgabe und/oder Hilfestellung für den Benutzer eines Kraftfahrzeugs
CN101427101B (zh) * 2006-04-28 2013-07-17 松下电器产业株式会社 导航装置及其方法
WO2008024639A2 (en) 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
US8065080B2 (en) 2006-10-31 2011-11-22 At&T Intellectual Property I, Lp Location stamping and logging of electronic events and habitat generation
DE102007007982A1 (de) * 2007-02-17 2008-10-09 Volkswagen Ag Informationseinrichtung und Verfahren zum Bereitstellen von Informationen in einem Kraftfahrzeug mit verbesserter Bedienbarkeit
CN101669090A (zh) * 2007-04-26 2010-03-10 福特全球技术公司 情绪提示系统和方法
US7890089B1 (en) 2007-05-03 2011-02-15 Iwao Fujisaki Communication device
US7982620B2 (en) * 2007-05-23 2011-07-19 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for reducing boredom while driving
ATE532324T1 (de) * 2007-07-16 2011-11-15 Nuance Communications Inc Verfahren und system zur verarbeitung von tonsignalen in einem multimediasystem eines fahrzeugs
US8676273B1 (en) 2007-08-24 2014-03-18 Iwao Fujisaki Communication device
JP5228716B2 (ja) * 2007-10-04 2013-07-03 日産自動車株式会社 情報提示システム
US8639214B1 (en) 2007-10-26 2014-01-28 Iwao Fujisaki Communication device
DE102007053213A1 (de) * 2007-11-06 2009-05-07 Navigon Ag Verfahren zum Betrieb eines Navigationssystems
US8543157B1 (en) 2008-05-09 2013-09-24 Iwao Fujisaki Communication device which notifies its pin-point location or geographic area in accordance with user selection
DE102008027827A1 (de) * 2008-06-11 2009-12-17 Volkswagen Ag Audiovisuelles Assistenzsystem
DE102008028512A1 (de) 2008-06-16 2009-12-17 Audi Ag Kommunikationssystem und Verfahren zur Darstellung von Informationen bei einer Kommunikation
US8340726B1 (en) 2008-06-30 2012-12-25 Iwao Fujisaki Communication device
US8452307B1 (en) 2008-07-02 2013-05-28 Iwao Fujisaki Communication device
DE102008045125B4 (de) 2008-09-01 2023-06-29 Volkswagen Ag Verfahren und Assistenzsystem zum Vermitteln von zur Laufzeit zusammengestellten Assistenzinformationen
DE102008045123B4 (de) 2008-09-01 2023-06-07 Volkswagen Ag Assistenz- und Informationsvorrichtung in einem Kraftfahrzeug sowie Verfahren zum Ausgeben von Informationen
DE102008045128B4 (de) 2008-09-01 2024-06-27 Volkswagen Ag Informationsvermittlungseinrichtung in einem Fahrzeug zum grafischen Ausgeben von Information unter Verwendung eines an einen Zustand angepassten animierten anthropomorphen Charakters (Avatar)
US9741147B2 (en) * 2008-12-12 2017-08-22 International Business Machines Corporation System and method to modify avatar characteristics based on inferred conditions
US20100235078A1 (en) * 2009-03-12 2010-09-16 Microsoft Corporation Driving directions with maps and videos
JP2010247799A (ja) 2009-04-20 2010-11-04 Denso Corp 車載装置の制御システム
US8150695B1 (en) 2009-06-18 2012-04-03 Amazon Technologies, Inc. Presentation of written works based on character identities and attributes
WO2011007386A1 (ja) * 2009-07-14 2011-01-20 三菱電機株式会社 ナビゲーション装置
JP2011024353A (ja) * 2009-07-16 2011-02-03 Aisin Aw Co Ltd 案内装置、案内方法、及び案内プログラム
US20110040707A1 (en) * 2009-08-12 2011-02-17 Ford Global Technologies, Llc Intelligent music selection in vehicles
US8649533B2 (en) * 2009-10-02 2014-02-11 Ford Global Technologies, Llc Emotive advisory system acoustic environment
US20110093158A1 (en) * 2009-10-21 2011-04-21 Ford Global Technologies, Llc Smart vehicle manuals and maintenance tracking system
US20110099507A1 (en) 2009-10-28 2011-04-28 Google Inc. Displaying a collection of interactive elements that trigger actions directed to an item
JP5278292B2 (ja) * 2009-11-27 2013-09-04 株式会社デンソー 情報提示装置
US8909414B2 (en) * 2009-12-14 2014-12-09 Volkswagen Ag Three-dimensional corporeal figure for communication with a passenger in a motor vehicle
US20110172873A1 (en) * 2010-01-08 2011-07-14 Ford Global Technologies, Llc Emotive advisory system vehicle maintenance advisor
US8400332B2 (en) * 2010-02-09 2013-03-19 Ford Global Technologies, Llc Emotive advisory system including time agent
US20110298808A1 (en) * 2010-06-02 2011-12-08 Toyota Motor Engineering & Manufacturing North America, Inc. Animated Vehicle Attendance Systems
US10115392B2 (en) * 2010-06-03 2018-10-30 Visteon Global Technologies, Inc. Method for adjusting a voice recognition system comprising a speaker and a microphone, and voice recognition system
US8620549B2 (en) * 2010-09-14 2013-12-31 GM Global Technology Operations LLC Vehicle safety systems and methods
DE102010055795A1 (de) 2010-12-23 2012-06-28 Continental Automotive Gmbh Verfahren zur Ausgabe von Informationen
US8666603B2 (en) 2011-02-11 2014-03-04 Sitting Man, Llc Methods, systems, and computer program products for providing steering-control feedback to an operator of an automotive vehicle
US8773251B2 (en) 2011-02-10 2014-07-08 Sitting Man, Llc Methods, systems, and computer program products for managing operation of an automotive vehicle
US8902054B2 (en) 2011-02-10 2014-12-02 Sitting Man, Llc Methods, systems, and computer program products for managing operation of a portable electronic device
JP5857330B2 (ja) * 2011-05-17 2016-02-10 株式会社ユピテル システム及びプログラム
WO2013038440A1 (ja) 2011-09-13 2013-03-21 三菱電機株式会社 ナビゲーション装置
DE102011121110A1 (de) * 2011-12-14 2013-06-20 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Sprachdialogsystems in einem Fahrzeug und dazugehöriges Sprachdialogsystem
CN103287367A (zh) * 2012-02-24 2013-09-11 绿晁科技股份有限公司 用于交通工具的应用系统
US20130311528A1 (en) * 2012-04-25 2013-11-21 Raanan Liebermann Communications with a proxy for the departed and other devices and services for communicaiton and presentation in virtual reality
CN102874259B (zh) * 2012-06-15 2015-12-09 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
DE102012015002B4 (de) * 2012-07-28 2016-09-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum unterstützten Einparken
WO2014020835A1 (ja) * 2012-07-31 2014-02-06 日本電気株式会社 エージェント制御システム、方法およびプログラム
KR20140054909A (ko) * 2012-10-30 2014-05-09 팅크웨어(주) 광각 렌즈 카메라 영상을 이용한 내비게이션 안내 장치 및 방법
US8758127B2 (en) * 2012-11-08 2014-06-24 Audible, Inc. In-vehicle gaming system for a driver
US9679553B2 (en) * 2012-11-08 2017-06-13 Nec Corporation Conversation-sentence generation device, conversation-sentence generation method, and conversation-sentence generation program
US9570064B2 (en) * 2012-11-08 2017-02-14 Nec Corporation Conversation-sentence generation device, conversation-sentence generation method, and conversation-sentence generation program
US20140172238A1 (en) * 2012-12-15 2014-06-19 Dean A. Craine Motor Vehicle Driver and Passenger Identification System and Method
JP5854030B2 (ja) * 2012-12-21 2016-02-09 株式会社デンソー 車両用情報提供装置
JP6105321B2 (ja) * 2013-02-21 2017-03-29 富士通テン株式会社 通信装置、通信システム、通信方法、及び、プログラム
DE102013006173A1 (de) * 2013-04-10 2014-10-16 Audi Ag Verfahren und Vorrichtung zur proaktiven Dialogführung
CN104210423A (zh) * 2013-06-05 2014-12-17 大陆汽车投资(上海)有限公司 以动画的形式表现车辆信息的方法和装置
USRE49014E1 (en) 2013-06-19 2022-04-05 Panasonic Intellectual Property Corporation Of America Voice interaction method, and device
US9400564B2 (en) 2013-09-17 2016-07-26 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with a safe driving reminder system
US9807196B2 (en) 2013-09-17 2017-10-31 Toyota Motor Sales, U.S.A. Automated social network interaction system for a vehicle
US9387824B2 (en) 2013-09-17 2016-07-12 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with user identification and image recording
US9340155B2 (en) * 2013-09-17 2016-05-17 Toyota Motor Sales, U.S.A., Inc. Interactive vehicle window display system with user identification
US20150161913A1 (en) * 2013-12-10 2015-06-11 At&T Mobility Ii Llc Method, computer-readable storage device and apparatus for providing a recommendation in a vehicle
DE102014205489B4 (de) * 2014-03-25 2021-10-28 Conti Temic Microelectronic Gmbh Verfahren und System zur Bereitstellung einer Rundumsicht unter Einbeziehung von nicht sichtbaren Objekten
US20150294086A1 (en) * 2014-04-14 2015-10-15 Elwha Llc Devices, systems, and methods for automated enhanced care rooms
US20150294085A1 (en) * 2014-04-14 2015-10-15 Elwha LLC, a limited company of the State of Delaware Devices, systems, and methods for automated enhanced care rooms
US20150294067A1 (en) * 2014-04-14 2015-10-15 Elwha Llc Devices, systems, and methods for automated enhanced care rooms
US9158962B1 (en) 2014-05-07 2015-10-13 Lytx, Inc. Passive driver identification
DE102014019158B3 (de) * 2014-12-19 2016-04-07 Audi Ag Verfahren zum Steuern einer Klimatisierungsvorrichtung eines Kraftfahrzeugs, Klimatisierungsvorrichtung sowie Kraftfahrzeug
DE102014019157B4 (de) * 2014-12-19 2020-02-13 Audi Ag Verfahren und Einstellen von fahrdynamischen Eigenschaften eines Fahrzeugs und Fahrzeug zum Durchführen eines entsprechenden Verfahrens
DE102014019192A1 (de) * 2014-12-19 2016-06-23 Audi Ag Darstellung des Online-Status einer hypriden Sprachbedienung
CN105761532B (zh) * 2014-12-19 2018-03-02 大陆汽车投资(上海)有限公司 动态语音提示方法及车载系统
US10226702B2 (en) * 2015-05-25 2019-03-12 International Business Machines Corporation Vehicle entertainment system
US10522041B2 (en) 2016-01-19 2019-12-31 Nissan Motor Co., Ltd. Display device control method and display device
DE102016214477A1 (de) * 2016-08-04 2018-02-08 Bayerische Motoren Werke Aktiengesellschaft Anordnung, Fortbewegungsmittel und Verfahren zur Definition einer Farbe in einem Fortbewegungsmittel
DE102016225222A1 (de) * 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Beeinflussung eines Interaktionsablaufs
US11106426B2 (en) 2017-04-12 2021-08-31 Kawasaki Jukogyo Kabushiki Kaisha Vehicle conversation information output device and conversation information output method
JP6906046B2 (ja) 2017-04-12 2021-07-21 川崎重工業株式会社 車両の会話情報出力装置、及び会話情報出力方法
JP2018197096A (ja) 2017-05-09 2018-12-13 株式会社デンソー 空調制御装置
EP3633650A4 (en) 2017-05-31 2020-07-08 Fujitsu Limited DRIVING AID DEVICE, DRIVING AID SYSTEM, AND DRIVING AID METHOD
JP6639444B2 (ja) * 2017-06-07 2020-02-05 本田技研工業株式会社 情報提供装置及び情報提供方法
JP6561095B2 (ja) 2017-09-01 2019-08-14 本田技研工業株式会社 補給レコメンドシステム及び方法
EP3483855A1 (en) * 2017-11-10 2019-05-15 Volvo Car Corporation Method and system for handling vehicle feature information
US11820394B2 (en) 2018-04-20 2023-11-21 Nissan Motor Co., Ltd. Device control apparatus, and control method for controlling devices
CN112534449A (zh) * 2018-07-27 2021-03-19 索尼公司 信息处理系统、信息处理方法和记录介质
JP7230964B2 (ja) * 2018-08-06 2023-03-01 ソニーグループ株式会社 情報処理装置及び情報処理方法、並びにプログラム
DE102018123155A1 (de) * 2018-09-20 2020-03-26 HELLA GmbH & Co. KGaA Verfahren für eine Benutzer-Fahrzeug-Schnittstelle und Benutzer-Fahrzeug-Schnittstelle
JP2020060830A (ja) * 2018-10-05 2020-04-16 本田技研工業株式会社 エージェント装置、エージェント提示方法、およびプログラム
DE102018217126A1 (de) * 2018-10-08 2020-04-09 Audi Ag Verfahren zum Anzeigen von Informationen auf einer Anzeigeeinheit mit einem nutzeridentifizierenden Avatar, sowie Kraftfahrzeug
DE102018127105A1 (de) * 2018-10-30 2020-04-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Beeinflussung eines Gemütszustands eines Benutzers eines Fahrzeuges
JP2020080503A (ja) * 2018-11-14 2020-05-28 本田技研工業株式会社 エージェント装置、エージェント提示方法、およびプログラム
JP2020135110A (ja) * 2019-02-14 2020-08-31 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
CN110682876B (zh) * 2019-09-26 2021-12-28 坤泰车辆系统(常州)有限公司 车辆自动驾驶方法、系统、存储介质及自动驾驶汽车
KR20220004156A (ko) * 2020-03-30 2022-01-11 상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드 디지털 휴먼에 기반한 자동차 캐빈 인터랙션 방법, 장치 및 차량
CN111736700A (zh) * 2020-06-23 2020-10-02 上海商汤临港智能科技有限公司 基于数字人的车舱交互方法、装置及车辆
CN112026687B (zh) * 2020-07-15 2022-04-08 华人运通(上海)云计算科技有限公司 一种车内身心调适运动前后的状态检测装置及方法
CN113091223B (zh) * 2021-03-05 2022-10-04 江苏惠新知识产权服务有限公司 基于放置位置进行机器学习的物联网空气净化方法及系统
CN113357754A (zh) * 2021-05-28 2021-09-07 青岛海尔科技有限公司 运行状态的显示方法及装置、存储介质、电子装置
DE102022130958A1 (de) 2022-11-23 2024-05-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Anpassen eines digitalen Identifikationsobjekts in Abhängigkeit eines Verhaltens eines Nutzers eines Fahrzeugs, computerlesbares Medium, System, und Fahrzeug

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6091269A (ja) * 1983-10-26 1985-05-22 Sawafuji Electric Co Ltd 自動車の運行管理装置
JPS6093582A (ja) * 1983-12-29 1985-05-25 澤藤電機株式会社 自動車の運行管理装置
JPH03215891A (ja) * 1990-01-21 1991-09-20 Sony Corp 情報入力装置
JP3185225B2 (ja) * 1991-01-10 2001-07-09 三菱電機株式会社 コミュニケーション装置及びコミュニケーション方法
JPH05142994A (ja) * 1991-03-08 1993-06-11 Oki Electric Ind Co Ltd 車載ナビゲーシヨン装置
JPH05272983A (ja) * 1991-03-22 1993-10-22 Oki Electric Ind Co Ltd 車載ナビゲーション装置
JP3273800B2 (ja) * 1991-11-11 2002-04-15 茂 近藤 自動車運転解析診断方法及び装置
JPH05196632A (ja) * 1992-01-18 1993-08-06 Toyota Motor Corp 運転技量判定装置
DE69325316T2 (de) * 1992-07-23 2000-03-30 Aisin Aw Co., Ltd. Fahrzeugnavigationssystem
JPH06195594A (ja) * 1992-12-24 1994-07-15 Fujitsu Ten Ltd ガソリンスタンド表示装置
JP3440503B2 (ja) * 1993-09-13 2003-08-25 マツダ株式会社 自動車の経路誘導装置
JP3263521B2 (ja) * 1994-03-31 2002-03-04 富士通テン株式会社 ナビゲーション装置の車両位置表示方法
US5555502A (en) 1994-05-11 1996-09-10 Geo Ventures Display and control apparatus for the electronic systems of a motor vehicle
JPH0973382A (ja) * 1995-09-04 1997-03-18 Fujitsu Ltd コンピュータシステム
JP3263286B2 (ja) * 1995-09-07 2002-03-04 松下電器産業株式会社 車載ナビゲーション装置
JPH09102098A (ja) * 1995-10-03 1997-04-15 Honda Motor Co Ltd 車両用情報表示装置
JPH09126789A (ja) * 1995-10-27 1997-05-16 Matsushita Electric Ind Co Ltd 走行位置表示装置
JP3651516B2 (ja) * 1996-04-26 2005-05-25 株式会社エクォス・リサーチ 車両制御装置
JP3873386B2 (ja) * 1997-07-22 2007-01-24 株式会社エクォス・リサーチ エージェント装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007153076A (ja) * 2005-12-02 2007-06-21 Denso Corp 空調機器制御装置
JP2013063747A (ja) * 2011-09-20 2013-04-11 Aisin Seiki Co Ltd 車両情報表示システム
JP2014196900A (ja) * 2012-07-10 2014-10-16 シャープ株式会社 電気機器
US10559305B2 (en) 2016-05-06 2020-02-11 Sony Corporation Information processing system, and information processing method
US11646026B2 (en) 2016-05-06 2023-05-09 Sony Group Corporation Information processing system, and information processing method
US11074916B2 (en) 2016-05-06 2021-07-27 Sony Corporation Information processing system, and information processing method
US10777199B2 (en) 2016-05-06 2020-09-15 Sony Corporation Information processing system, and information processing method
JPWO2018097089A1 (ja) * 2016-11-24 2019-02-28 Groove X株式会社 瞳を変化させる自律行動型ロボット
GB2571027A (en) * 2016-11-24 2019-08-14 Groove X Inc Autonomously acting robot changing pupils
CN110024000A (zh) * 2016-11-24 2019-07-16 Groove X 株式会社 使瞳部变化的行为自主型机器人
GB2571027B (en) * 2016-11-24 2022-08-10 Groove X Inc Autonomously acting robot that changes pupil
US11623347B2 (en) 2016-11-24 2023-04-11 Groove X, Inc. Autonomously acting robot that changes pupil image of the autonomously acting robot
WO2018097089A1 (ja) * 2016-11-24 2018-05-31 Groove X株式会社 瞳を変化させる自律行動型ロボット
CN110024000B (zh) * 2016-11-24 2023-12-26 Groove X 株式会社 使瞳部变化的行为自主型机器人
US12076850B2 (en) 2016-11-24 2024-09-03 Groove X, Inc. Autonomously acting robot that generates and displays an eye image of the autonomously acting robot
JP2020149106A (ja) * 2019-03-11 2020-09-17 本田技研工業株式会社 エージェント装置、エージェントシステム、サーバ装置、エージェント装置の制御方法、およびプログラム
US11532303B2 (en) 2019-03-11 2022-12-20 Honda Motor Co., Ltd. Agent apparatus, agent system, and server device
JP7211856B2 (ja) 2019-03-11 2023-01-24 本田技研工業株式会社 エージェント装置、エージェントシステム、サーバ装置、エージェント装置の制御方法、およびプログラム

Also Published As

Publication number Publication date
JP2008290714A (ja) 2008-12-04
EP0893308B1 (en) 2007-01-10
US6249720B1 (en) 2001-06-19
DE69836846T2 (de) 2007-10-25
JP3918850B2 (ja) 2007-05-23
DE69836846D1 (de) 2007-02-22
JP2005249802A (ja) 2005-09-15
EP0893308A2 (en) 1999-01-27
JP2005293587A (ja) 2005-10-20
JP4353310B2 (ja) 2009-10-28
JP2005313885A (ja) 2005-11-10
JP3891202B2 (ja) 2007-03-14
JP2005265852A (ja) 2005-09-29
EP0893308A3 (en) 2000-09-13

Similar Documents

Publication Publication Date Title
JP3891202B2 (ja) エージェント装置
JP3873386B2 (ja) エージェント装置
JP3965538B2 (ja) エージェント装置
JP4193300B2 (ja) エージェント装置
JP4085500B2 (ja) 車両状況把握装置、エージェント装置、および、車両制御装置
JPH11259446A (ja) エージェント装置
JP5019145B2 (ja) 運転者情報収集装置
JPH11259271A (ja) エージェント装置
JP4258585B2 (ja) 目的地設定装置
JP2000020888A (ja) エージェント装置
JP4441939B2 (ja) 目的地設定装置
JP4936094B2 (ja) エージェント装置
JP2000181500A (ja) 音声認識装置及びエ―ジェント装置
JP4253918B2 (ja) エージェント装置
JPH11272640A (ja) エージェント装置
JP4207350B2 (ja) 情報出力装置
JP4284733B2 (ja) エージェント装置
JP2000186942A (ja) エ―ジェントメンタルモデル作成装置、及びエ―ジェント装置
JP4032492B2 (ja) エージェント装置
JP2004045616A (ja) 車載装置、データ作成装置、及びデータ作成プログラム
JP2000203465A (ja) 情報記録装置
JP2004037953A (ja) 車載装置、データ作成装置、及びデータ作成プログラム
JP2003106846A (ja) エージェント装置
JP2004053251A (ja) 車載装置、データ作成装置、及びデータ作成プログラム
JP2004050975A (ja) 車載装置、データ作成装置、及びデータ作成プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071225

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080422