JP2023019243A - エージェント装置 - Google Patents

エージェント装置 Download PDF

Info

Publication number
JP2023019243A
JP2023019243A JP2021123829A JP2021123829A JP2023019243A JP 2023019243 A JP2023019243 A JP 2023019243A JP 2021123829 A JP2021123829 A JP 2021123829A JP 2021123829 A JP2021123829 A JP 2021123829A JP 2023019243 A JP2023019243 A JP 2023019243A
Authority
JP
Japan
Prior art keywords
agent
control unit
driver
cpu
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021123829A
Other languages
English (en)
Inventor
勇 長澤
Isamu Nagasawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2021123829A priority Critical patent/JP2023019243A/ja
Priority to CN202210774732.0A priority patent/CN115675502A/zh
Priority to DE102022116638.4A priority patent/DE102022116638A1/de
Priority to US17/858,535 priority patent/US20230034454A1/en
Publication of JP2023019243A publication Critical patent/JP2023019243A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/162Visual feedback on control action
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85Arrangements for transferring vehicle- or driver-related data

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】エージェントと運転者との信頼関係を日頃から築き、とっさの場合の危険回避行動を円滑に行うことができるようにするエージェント装置を提供する。【解決手段】エージェント装置100は、シフトポジションを検知するシフトポジションセンサ140fと、擬人化されたエージェント200を制御するエージェント制御部190と、を備え、エージェント制御部190は、シフトポジションがパーキングレンジであった場合、エージェント200を車両1のドライバーHに正対させ、情報伝達時には、音声出力と両腕の動作によって情報出力を行う。【選択図】図7

Description

本発明は、擬人化されたキャラクタによる報知が可能なエージェント装置に関する。
従来から、自動車などの車両での走行環境において、乗員(特に運転者)に注意喚起を促す手法として、様々な手法が提案されている。
このような手法の1つとして、乗員と、擬人化されたキャラクタ(いわゆるエージェント)とが、対話を行いながら、乗員の要求に応じた運転支援に関する情報などを提供するエージェント装置や、運転支援装置が提案されている。
例えば、従来の運転支援装置では、音声などによる危険回避行動の通知では、直感的に伝わり難いと考え、ダッシュボードに小型のロボットを配設し、擬人化されたエージェントとして登場させ、このエージェントに運転者が行うべき危険回避行動を模擬的に実行させるものが提案されている(特許文献1参照)。
特開2018-032204号公報
しかしながら、従来のエージェントは、無機的なものであったり、突然登場して注意喚起を促すものであったりして、エージェントと、運転者と、の信頼関係が築き難かった。また、エージェントに突然回避行動と同じ動作をとられても、回避行動を取らなければならない原因となったものが解らないと、とっさにその行動を取り難く、特に信頼関係がないと回避行動に繋がらないという問題があった。
本発明は、このような従来の問題を解決するためになされたもので、エージェントと運転者との信頼関係を日頃から築き、とっさの場合の危険回避行動を円滑に行うことができるようにするエージェント装置を提供することを課題とする。
本発明に係るエージェント装置は、シフトポジションを検知するシフトポジション検知部と、擬人化されたエージェントを制御するエージェント制御部と、を備え、前記エージェント制御部は、シフトポジションがパーキングレンジであった場合、前記エージェントを車両の運転者に正対させ、情報伝達時には、音声出力と両腕の動作によって情報出力を行う、ことを特徴とする。
本発明によれば、エージェントと運転者との信頼関係を日頃から築き、とっさの場合の危険回避行動を円滑に行うことができるようにするエージェント装置を提供することができる。
本発明の実施の一形態おける車両の車室内を示す斜視図である。 運転席前方の車室内を示す正面図である。 エージェントの配置を示す正面図である。 本発明の実施の形態におけるエージェントの構成を示す概略図である。 エージェント装置を説明するためのブロック図である。 エージェント装置の制御部によって行われるエージェント制御処理のメインフローチャートである。 エージェント装置の制御部によって行われる乗車時処理を示すフローチャートである。 エージェント装置の制御部によって行われる傾聴と回答処理を示すフローチャートである。 エージェントの動作の一例を示す動作図である。 エージェント装置の制御部によって行われる運転終了時処理を示すフローチャートである。 エージェントの動作の一例を示す動作図である。
以下、本発明の実施の形態について、図面を参照して説明する。
また、以下の説明で、異なる図における同一符号は同一機能の部位を示しており、各図における重複説明は適宜省略する。
(車室内における各構成)
図1、図2に示すように、車両1は、運転席2の車両前方側に設けられるインストルメントパネル3と、運転席2とインストルメントパネル3との間に配置されるステアリングホイール4と、を有している。ステアリングホイール4は、ステアリングシャフト(図示省略)を介してステアリングコラム(図示省略)に回転自在に取り付けられている。また、ステアリングホイール4の内部には、車両1が衝突等した際に、運転者(以下、ドライバーという)Hに向けて展開するエアバック8が格納されている。
なお、本実施の形態のエージェント装置100(後述)およびエージェント200(後述)においては、ドライバーHとの対話やジェスチャー(動作)を基本に説明しているが、他の乗員に対しても同様に行うことができる。
図1に示すように、車両1の車室内には、第1表示用パネル30と、第2表示用パネル40と、の2つの表示パネルが設けられている。第1表示用パネル30は、運転席2の前方側のインストルメントパネル3に配置され、第2表示用パネル40は、運転席2の左前方側のインストルメントパネル3に配置されている。
(第1表示用パネル30)
図1、図2に示すように、第1表示用パネル30は、アナログ時計のように構成された指針式メータと、液晶パネルとバックライトとが一体的に設けられたいわゆる液晶ディスプレイ装置とを備えて構成されている。ドライバーHは、第1表示用パネル30の第1表示領域30aに表示される各種情報を、ステアリングホイール4の上側空間部4aを介して視ることが可能となっている。
図2に示すように、第1表示用パネル30には、第1表示領域30aが設けられており、この第1表示領域30aの左右には、車両1の走行速度(スピードメータ)や、エンジンの単位時間当たりの回転数(タコメータ)などの情報を表示する2つの指針式メータと、2つの指針式メータの間であって第1表示用パネル30の中央部には、一般的な車両情報を示す画像を表示する小型の液晶ディスプレイ装置とが配置される。なお、第1表示用パネル30は、指針式メータを備えずに、全体を1つの液晶ディスプレイ装置で構成してもよい。
(第2表示用パネル40)
図1に示すように、第2表示用パネル40は、例えば、液晶パネルとバックライトとが一体的に設けられた、いわゆる液晶ディスプレイ装置で構成されている。なお、第2表示用パネル40には地図情報等が表示され、いわゆるカーナビゲーションシステムを担っている。
なお、第1表示用パネル30、第2表示用パネル40において構成されている液晶ディスプレイ装置を、プラズマディスプレイや有機EL等の自発光型の表示デバイス、投影型のプロジェクタ等の表示装置で構成してもよい。
(エージェント200)
また、図3に示すように、運転席2の前方側のインストルメントパネル3の上部には、エージェント200が配置されている。
なお、エージェント200は、ドライバーHの周辺視野に入る位置であればどこでもよく、必ずしも運転席の真正面に配置されていなくてもよい。なお、エージェント200は、ドライバーHの周辺視野にあって、ドライバーHの車外の視野等を遮らない位置にあるのが望ましい。また、所定の操作デバイス、または、音声指示等により、エージェント200の配置位置を変更できるようにしてもよい。
エージェント200は、擬人化されたキャラクタであり、人型の外形を備えた報知用および対話型の立体物である。なお、本実施の形態において、エージェント200は、人型の実像する立体物としているが、これに限らず、ディスプレイ等の表示装置に表示されたキャラクタであっても、フォログラム等で表現された3次元表示物、仮想立体物等であってもよい。
図4に示すように、エージェント200は、頭部211、右眼部212R、左眼部212L、首部213、胸部214、腰部215、臀部216、右肩部221R、左肩部221L、右上腕部222R、左上腕部222L、右肘部223R、左肘部223L、右前腕部224R、左前腕部224L、右手首部225R、左手首部225L、右手部226R、左手部226L、右股関節部231R、左股関節部231L、右大腿部232R、左大腿部232L、右膝部233R、左膝部233L、右下腿部234R、左下腿部234L、右足首部235R、左足首部235L、右足部236R、左足部236Lを有している。
また、エージェント200には、支持コネクタ240が設けられており、エージェント200が、インストルメントパネル3上に立設可能に支持されている。
なお、エージェント200の頭部211の両側部には、耳が設けられている。これにより、ドライバーHの話をエージェント200がよく聴いているように思わせることができる。また、この耳については、実際に設けられていなくても、後述のように、エージェント200がドライバーHの話を聴く際に、エージェント200の頭部211の側部に、右手部226Rまたは左手部226Lを当てることにより、耳に手を当てて聴いているように見せることができ、ドライバーHとの信頼関係を深めることができる。
なお、図4(a)は、エージェント200が、ドライバーH側(車両1の後方側)を向いているときの基本姿勢を示す図であり、図4(b)は、エージェント200が、ドライバーHに背を向けている(車両1の前方側を向いている)ときの基本姿勢を示す図である。
また、基本姿勢において、エージェント200は、右手部226Rの右手掌部226Ra、左手部226Lの左手掌部226Laをエージェント200の内側に向け、右手部226Rの右手甲部226Rb、左手部226Lの左手甲部226Lbをエージェント200の外側に向けて、起立している。
上記のように、エージェント200は、ドライバーH側を向いた前面姿勢と、ドライバーHに背を向けた背面姿勢と、で自由に回転できるようになっている。すなわち、エージェント200は、支持コネクタ240を中心にエージェント200自体が回転するようなものでもよいし、エージェント200を回転体の上にのせて、この回転体を回転させることにより、前面姿勢から背面姿勢、背面姿勢から前面姿勢に回転させるようにしたものであってもよい。
また、エージェント200内には、後述するエージェント制御部190が設けられており、エージェント200の各関節を制御および動作させ、エージェント200が所定の姿勢をとることができるようになっている。エージェント制御部190は、後述する制御部110(ECU)と無線接続されており、制御部110による制御により、エージェント200を動作させるようになっている。なお、本実施の形態では、エージェント制御部190と、制御部110と、を無線接続とするようにしたが、例えば、支持コネクタ240内に通信ラインを通して、有線接続するようにしてもよい。
また、エージェント200の頭部211内には、後述するエージェントスピーカ191が設けられており、エージェント制御部190の制御により、音声出力が行われるようになっている。なお、このエージェントスピーカ191は、エージェント200の頭部211内に限らず、エージェント200の他の部位であっても、車両1の他の場所に設けられたものであってもよい。ただし、エージェント200の頭部211内にエージェントスピーカ191が設けられていた方が、ドライバーHに対して、よりリアルにエージェント200からの発話とらえさせることができ、感情移入もし易く、ドライバーHのエージェント200に対する信頼構築に、大きく寄与することができる。
次に、本発明におけるエージェント装置100の構成について、図5のブロック図を参照して説明する。
図5に示すように、エージェント装置100は、制御部110と、周辺環境認識部120と、乗員状態認識部130と、車両状態認識部140と、スピーカ150と、マイク160と、記憶部170と、送受信機180と、エージェント制御部190と、エージェントスピーカ191と、を備えている。
なお、図5に示すエージェント装置100は一例にすぎず、エージェント装置100の構成要素は適宜変更ができる。例えば、周辺環境認識部120と、乗員状態認識部130と、車両状態認識部140と、は取得したい情報に合わせていずれか1つまたは2つを備えた構成であっても、本発明のエージェント装置100を実現できるし、スピーカ150と、エージェントスピーカ191と、はいずれか一方のみでも、本発明のエージェント装置100を実現できる。また、マイク160に加えて、エージェント200内にエージェントマイクを備えても良く、マイク160の代わりに、エージェント200内に備えたエージェントマイクのみを備えたものであっても、本発明のエージェント装置100を実現できる。さらに、本実施の形態においては、制御部110とエージェント制御部190の双方を設けるようにしているが、これに限らず、制御部110、または、エージェント制御部190の一方のみを有し、双方の機能を行うようにしても構わない。
(制御部110)
制御部110は、図示しないCPU、ROM、RAM(例えば、リングバッファ)、EEPROM、入出力ポート等を備えており、例えば、入力ポートより情報入力が行われると、ROMから読み出した制御プログラムに基づいて、出力ポートを介して各種デバイスを制御するようになっている。
なお、制御部110のROMには、エージェント200が行う動作や、セリフのデータテーブル(図示省略)が記憶されている。また、AI等の学習機能を持たせ、記憶されている動作やセリフ以外を行うようにしてもよい。制御部110のCPUは、後述する各認識部から取得した情報や、マイク160から取得した情報に基づいて、エージェント200に行わせる動作やセリフをデータテーブルから決定する。例えば、ドライバーHからの発話をマイク160から取得したら、データテーブルから「うなずき」のジェスチャーを決定し、ドライバーHの発話が終了したら、「了解しました」といったセリフを決定する。なお、エージェント200が行う動作や、セリフのデータテーブルは、エージェント制御部190のROMに記憶させるようにしてもよい。
(周辺環境認識部120)
周辺環境認識部120は、車両1(自車両)の周辺環境を認識するために設けられている。また、周辺環境認識部120は、車外撮影用カメラ120aと、レーダ120bと、気温センサ120cと、天候センサ120dと、を備えており、これらのデバイスによって車両1の周辺環境を認識することができるようになっている。
(車外撮影用カメラ120a)
車外撮影用カメラ120aは、例えば、図示しないルームミラーに取り付けられており、車両1の前方、および、車両1の後方を撮影できるようになっている。そして、撮影した画像情報が制御部110に入力されて、制御部110がRAMに画像情報を記憶する。これにより、制御部110は、車両1の前方、車両1の後方の状況をリアルタイムおよび事後的に認識することができる。
(レーダ120b)
レーダ120bは、例えば、電波を飛ばして障害物等を検知するミリ波レーダが用いられており、当該ミリ波レーダが車両1のフロントバンパやリアバンパに取り付けられ、車両1の前方監視、車両1の前側方監視、車両1の後側方監視ができるようになっている。そして、監視情報が制御部110に入力されて、制御部110がRAMに監視情報を記憶する。これにより、制御部110は、車両1の前方、車両1の前側方の状況、車両1の後側方の状況をリアルタイムおよび事後的に認識することができる。なお、本実施の形態においてはミリ波レーダを用いているが、他のレーダを用いてもよい。例えば、赤外線レーダでもよい。
(気温センサ120c)
気温センサ120cは、例えば、車両1の後部に取り付けられており、車両1の外部の気温を検出できるようになっている。そして、検出した気温が制御部110に入力されて、制御部110がRAMに気温を記憶する。これにより、制御部110は、車両1の外部の気温を認識することができる。
(天候センサ120d)
天候センサ120dは、例えば、車両1の上部に取り付けられており、車両1にかかる雨の水滴等を検知できるようになっている。そして、検知した水滴情報が制御部110に入力されて、制御部110がRAMに水滴情報を記憶する。これにより、制御部110は、車両1の外部の天候状況を認識することができる。
以上のようにして、制御部110は、車両1の周辺環境をリアルタイムおよび事後的に認識することができる。これにより、制御部110は、車両1の周辺環境の認識に基づいて、エージェント200と、エージェントスピーカ191とを制御して、車両1の周辺環境の情報をドライバーHに対して報知することができる。例えば、車両1の前方に落下物があれば、「前方に落下物があります」といったジェスチャーおよび音声による報知ができる。これにより、安全性を向上させることができる。
なお、本実施の形態においては、周辺環境認識部120として、車外撮影用カメラ120aと、レーダ120bとを挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。
(乗員状態認識部130)
乗員状態認識部130は、ドライバーHの状態を認識するために設けられている。また、乗員状態認識部130は、乗員撮影用カメラ130aと、バイタルセンサ130bとを備えており、これらのデバイスによってドライバーHの状態を認識することができるようになっている。
(乗員撮影用カメラ130a)
乗員撮影用カメラ130aは、例えば、インストルメントパネル3に取り付けられており、ドライバーHを撮影できるようになっている。そして、撮影した画像情報が制御部110に入力されて、制御部110がRAMに画像情報を記憶する。これにより、制御部110は、ドライバーHの状態をリアルタイムおよび事後的に認識することができる。なお、ここでいう、ドライバーHの状態とは、具体的には、ドライバーHの目蓋の状態や、瞬きの回数、視線の方向、顔の向き、また、うずくまった状態であるか、動作できない状態であるか、などが想定される。
(バイタルセンサ130b)
バイタルセンサ130bは、例えば、ステアリングホイール4のドライバーHにより把持される部位に取り付けられ、ドライバーHの心拍数や血圧等のバイタル情報を取得できるようになっている。そして、取得したバイタル情報が制御部110に入力されて、制御部110がRAMにバイタル情報を記憶する。これにより、制御部110は、ドライバーHの状態をリアルタイムおよび事後的に認識することができる。
以上のようにして、制御部110は、ドライバーHの状態をリアルタイムおよび事後的に認識することができる。これにより、制御部110は、ドライバーHの状態の認識に基づいて、エージェント200と、エージェントスピーカ191とを制御して、所定の情報をドライバーHに対して報知することができる。例えば、「目蓋が下がっておりますが、休憩しませんか?」といった画像および音声による報知や、「いつもより心拍数が速いですが、休憩しませんか?」といった画像および音声による報知ができる。これにより、安全性の向上に繋がる。
乗員状態認識部130は、乗員撮影用カメラ130aやバイタルセンサ130bから取得した情報や、マイク160から入力した情報に基づいて、ある程度の範囲でドライバーHの思考感情を認識することができる。例えば、乗員撮影用カメラ130aよりドライバーHの顔の表情を取得し、バイタルセンサ130bよりドライバーHの心拍数や血圧を取得し、マイク160より声量および入力内容を取得し、これらの取得した情報からドライバーHが通常の思考感情にあるか、通常とは異なる思考感情(例えば、驚いている、怒っているなど)にあるかを認識することができる。
なお、本実施形態においては、乗員状態認識部130として、乗員撮影用カメラ130aと、バイタルセンサ130bとを挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。
(車両状態認識部140)
車両状態認識部140は、車両1の状態を認識するために設けられている。また、車両状態認識部140は、車速センサ140aと、ハンドル角センサ140bと、アクセルペダルセンサ140cと、ブレーキペダルセンサ140dと、Gセンサ140eと、シフトポジションセンサ140fと、を備えており、これらのデバイスによって車両1の状態を認識することができるようになっている。
(車速センサ140a)
車速センサ140aは、車両1の車速を検出するためのセンサであって、検出された車速が車速信号として制御部110に入力されて、制御部110がRAMに車速情報を記憶する。これにより、制御部110は、車両1の車速をリアルタイムおよび事後的に認識することができる。
(ハンドル角センサ140b)
ハンドル角センサ140bは、車両1のハンドル角(ステアリングホイール4の角度)を検出するためのセンサであって、検出されたハンドル角が角度信号として制御部110に入力されて、制御部110がRAMに角度情報を記憶する。これにより、制御部110は、車両1のハンドル角(ステアリングホイール4の角度)をリアルタイムおよび事後的に認識することができる。
(アクセルペダルセンサ140c)
アクセルペダルセンサ140cは、図示しないアクセルペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部110に入力されて、制御部110がRAMに踏み込み量情報を記憶する。これにより、制御部110は、車両1のアクセルペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。
(ブレーキペダルセンサ140d)
ブレーキペダルセンサ140dは、図示しないブレーキペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部110に入力されて、制御部110がRAMに踏み込み量情報を記憶する。これにより、制御部110は、車両1のブレーキペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。
(Gセンサ140e)
Gセンサ140eは、車両1の加速度、減速度及び傾斜を検出するためのセンサであって、加速度が検出された場合は加速度量が、減速度が検出された場合は減速度量が、傾斜が検出された場合は傾斜角度量が、それぞれ加速度量信号、減速度量信号、傾斜角度信号として制御部110に入力されて、制御部110がRAMに加速度情報、減速度情報及び傾斜情報を記憶する。これにより、制御部110は、車両1の加速度、減速度及び傾斜をリアルタイムおよび事後的に認識することができる。
(シフトポジションセンサ140f)
シフトポジションセンサ140fは、車両1のシフトレンジ(シフトポジション)がどこになっているかを検出するためのセンサである。すなわち、シフトポジションセンサ140fは、シフトレンジが、パーキングレンジ(停車位置)、ドライブレンジ(走行位置)、リバースレンジ(後退位置)、ニュートラルレンジ(中立位置)等の、どの位置に設定されているかを検知するものである。シフトポジションセンサ140fが検知したシフトレンジは、制御部110に入力されて、制御部110がRAMに現在のシフトレンジを記憶する。これにより、制御部110は、シフトレンジがどこに設定されているかを認識することができる。
以上のようにして、制御部110は、車両1の状態をリアルタイムおよび事後的に認識することができる。これにより、制御部110は、車両1の状態の認識に基づいて、エージェント200と、エージェントスピーカ191と、を制御して、車両1の状態の情報をドライバーHに対して報知することができる。例えば、適切な速度で走行していれば、「適切な速度で走行されていますね」といったジェスチャーおよび音声による報知ができる。これにより、安全性の向上に繋がる。
なお、本実施形態においては、車両状態認識部140として、車速センサ140aと、ハンドル角センサ140bと、アクセルペダルセンサ140cと、ブレーキペダルセンサ140dと、Gセンサ140e、シフトポジションセンサ140fと、を挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。
(スピーカ150)
スピーカ150は、例えば、インストルメントパネル3に取り付けられており、エージェント200から発せられる音声以外の音声や警告音等が出力される。なお、スピーカ150を設けずに、車両1に内蔵されているオーディオスピーカを用いてもよい。また、後述するように、スピーカ150は、エージェントスピーカ191を兼用するものであってもよい。
(マイク160)
マイク160は、例えば、インストルメントパネル3に取り付けられており、ドライバーH、その他乗員から発せられる音声が入力される。
(記憶部170)
記憶部170は、上述した各認識部から取得した情報や、ドライバーHと制御部110とで行われた対話等を記憶することが可能である。制御部110は、これらの情報を記憶部170に蓄積していくことで、ドライバーHの運転傾向(例えば、どのような運転を行うドライバーであるのか)や、ドライバーHの趣味嗜好(例えば、どのようなBGMが好みであるのか)等を認識することができる。また、これらを認識することで、ドライバーHの運転傾向や、ドライバーHの趣味嗜好に併せた対話をエージェント装置100側(エージェント200)から能動的に行うこともできる。
(送受信機180)
送受信機180は、例えば、車載用の無線LANを用いた情報の取得や、衛星測位システムを用いた位置情報の取得などが可能である。制御部110は、これら取得した情報や、上述の記憶部170に蓄積した情報に基づいて、ドライバーHの運転傾向や、ドライバーHの趣味嗜好に併せた対話をエージェント装置100側(エージェント200)から能動的に行うこともできる。
(エージェント制御部190)
エージェント制御部190は、図示しないCPU、ROM、RAM、入出力ポート等を備えており、例えば、制御部110から情報入力が行われると、エージェント200の各部を動作させたり、エージェントスピーカ191に対して所定の音声出力を行わせたりできるようになっている。
(エージェントスピーカ191)
エージェントスピーカ191は、前述のように、エージェント200の頭部211内に設けられており、エージェント200から発せられる音声等が出力される。なお、本実施の形態のように、エージェントスピーカ191をエージェント200の頭部211内、特に口にあたる部分に設けることで、よりリアルになり信頼関係の構築に寄与するものであるが、エージェント200が小さいものであり、頭部211内に設けることが困難である場合などには、前述のスピーカ150で代用したり、車両1内の他の部分にエージェントスピーカ191、または、その代用品となるスピーカを設けたりしてもよい。
次に、エージェント装置100におけるエージェント200の動作および対話について、説明する。エージェント200の動作および対話は、制御部110による制御処理によって行われ、エージェント制御部190によりエージェント200の各部が動作されるとともに、エージェントスピーカ191から音声が出力される。なお、制御処理を行う制御フローは、制御部110のROMに記憶されており、制御部110のCPUがROMから読み出して各種処理を行う。
以下、図6を用いて、制御部110のCPUにより行われるエージェント制御処理のメイン処理について、説明する。
(ステップS10)
ステップS10において、制御部110のCPUは、イグニッションがオンされると、エージェント制御処理のメイン処理を開始する。具体的には、制御部110のCPUは、ROMからエージェント制御処理のメイン処理を読み出して処理を開始し、ステップS100に処理を移行する。
(ステップS100)
ステップS100において、制御部110のCPUは、乗車時処理を行う。乗車時処理では、ドライバーHが車両1に乗車した際の開始時の処理を行う。乗車時処理の詳細については、後述する。そして、乗車時処理を終えると、ステップS200に処理を移行する。
(ステップS200)
ステップS200において、制御部110のCPUは、運転開始前処理を行う。運転開始前処理では、ドライバーHが運転を開始する前の処理を行う。例えば、運転開始前処理では、目的地までの走行環境の注意事項や、休憩ポイントについての説明などを行う。運転開始前処理の説明では、エージェント200は、ドライバーHに正対し、項目ごとに両手を動かして説明し、項目の終了ごとに首を上下するなど完了の合図も行う。そして、運転開始前処理を終えると、ステップS20に処理を移行する。
(ステップS20)
ステップS20において、制御部110のCPUは、シフトレンジが「P」(パーキングレンジ)であるか否かを判定する処理を行う。具体的には、制御部110のCPUは、シフトポジションセンサ140fから入力されたシフトレンジが、パーキングレンジであるか否かを判定する。制御部110のCPUは、シフトレンジがパーキングレンジでない(非パーキングレンジ:この場合、シフトポジションが変更された)と判定した場合には、ステップS300に処理を移行し、シフトレンジがパーキングレンジである(この場合、シフトポジションが変更されていない)と判定した場合には、ステップS400に処理を移行する。
(ステップS300)
ステップS300において、制御部110のCPUは、走行時処理を行う。走行時処理では、走行時におけるエージェント200の制御処理を行う。すなわち、シフトポジションが非パーキングレンジである場合、エージェント200に所定の姿勢をとらせ、音声と動作によって走行中の制御を行う。例えば、制御部110のCPUは、シフトポジションセンサ140fから入力されたシフトレンジが、ドライブレンジである場合には、エージェント200を前方(車両1の進行方向)に向かせる(所定の姿勢をとらせる)などの前進走行時のエージェント200の制御処理を行い、シフトレンジがリバースレンジである場合には、後退走行時のエージェント200の制御処理を行う。そして、走行時処理を終えると、ステップS30に処理を移行する。なお、後述するように、シフトポジションがパーキングレンジに戻ったら、エージェント200を改めてドライバーHに正対させ、労いの音声出力と動作を行う。すなわち、エージェント200は、ドライバーHが乗車時、停車時には、ドライバーHに前面を向け、走行時には、背面に回転し、車両1の前方方向を向き、走行終了後には、再び回転してドライバーHに前面を向ける。
(ステップS30)
ステップS30において、制御部110のCPUは、シフトレンジが「P」(パーキングレンジ)であるか否かを判定する処理を行う。前述のように、制御部110のCPUは、シフトポジションセンサ140fから入力されたシフトレンジが、パーキングレンジであるか否かを判定する。制御部110のCPUは、シフトレンジがパーキングレンジでないと判定した場合には、ステップS300に処理を移行し、シフトレンジがパーキングレンジであると判定した場合には、ステップS400に処理を移行する。
(ステップS400)
ステップS400において、制御部110のCPUは、運転終了時処理を行う。運転終了時処理では、所定の走行が終了した際の終了時の処理を行う。運転終了時処理の詳細については、後述する。そして、運転終了時処理を終えると、ステップS40に処理を移行する。
(ステップS40)
ステップS40において、制御部110のCPUは、シフトレンジが「P」(パーキングレンジ)であるか否かを判定する処理を行う。前述のように、制御部110のCPUは、シフトポジションセンサ140fから入力されたシフトレンジが、パーキングレンジであるか否かを判定する。制御部110のCPUは、シフトレンジがパーキングレンジでない(この場合、シフトポジションが変更された)と判定した場合には、ステップS300に処理を移行し、シフトレンジがパーキングレンジである(この場合、シフトポジションが変更されていない)と判定した場合には、ステップS50に処理を移行する。
(ステップS50)
ステップS50において、制御部110のCPUは、運転再開判定処理を行う。運転再開判定処理では、ドライバーHが運転を再開する意思があるのか否かを判定する処理を行う。例えば、制御部110のCPUは、ドライバーHから「運転を再開します」といった音声入力が行われた場合、または、新たな目的地がナビゲーションシステムに音声入力や手入力によって入力された場合等、運転再開の意思があると判定する。制御部110のCPUは、運転再開の意思があると判定した場合には、ステップS200に処理を移行し、運転再開の意思がないと判定した場合には、ステップS60に処理を移行する。
(ステップS60)
ステップS60において、制御部110のCPUは、イグニッションがオフされたか否かを判定する。制御部110のCPUは、イグニッションがオフされた場合には、エージェント制御処理のメイン処理を終了し、イグニッションがオフされていない場合には、ステップS40に処理を移行する。
次に、図7を用いて、制御部110のCPUにより行われる乗車時処理について説明を行う。図7は、図6のステップS100(乗車時処理)のサブルーチンである。
(ステップS101)
乗車時処理では、まず、ステップS101において、制御部110のCPUは、シフトポジションがパーキングレンジであるか否かの判定処理を行う。具体的には、制御部110のCPUは、シフトポジションセンサ140fから入力されたシフトレンジが、パーキングレンジであるか否かを判定する。制御部110のCPUは、シフトポジションがパーキングレンジであると判定した場合には、ステップS102に処理を移行し、シフトポジションがパーキングレンジ以外であると判定した場合には、乗車時処理を終了する。なお、この判定処理において、シフトポジションがパーキングレンジ以外であることは、イグニッションオン時に、シフトポジションがパーキングレンジ以外であることを示し、正常な状態でないことを示すので、所定の異常時処理などを行うようにしてもよい。
(ステップS102)
ステップS102において、制御部110のCPUは、エージェント200をドライバーHに正対させる処理を行う。具体的には、制御部110のCPUは、RAMに記憶しているエージェント200の停車時基本姿勢に基づいて、送受信機180を介してエージェント制御部190に対してエージェント200をドライバーHに正対させ、基本姿勢を取らせる。なお、エージェント200の基本姿勢とは、図4に示すように、起立した状態で、両手を横で下に伸ばした姿勢であり、エージェント200の初期設定姿勢である。そして、エージェント200をドライバーHに正対させると、ステップS103に処理を移行する。
(ステップS103)
ステップS103において、制御部110のCPUは、音声認識機能が作動したか否かを判定する。具体的には、制御部110のCPUは、マイク160を介して、ドライバーH(あるいはドライバーHを含む乗員)から音声入力があったか否かを判定する。制御部110のCPUは、ドライバーHによる発話があると判定した場合には、ステップS500に処理を移行し、ドライバーHによる発話がないと判定した場合には、ステップS111に処理を移行する。
なお、ステップS103および次のステップS500における処理は、エージェント制御処理において、常に割り込み処理として組み込まれていることが望ましい。
(ステップS500)
ステップS500において、制御部110のCPUは、傾聴と回答処理を行う。すなわち、制御部110のCPUは、ドライバーHの発話を傾聴し、発話に対して対応する処理を行う。傾聴と回答処理の詳細については、後述する。そして、傾聴と回答処理が終了したら、ステップS103に処理を移行する。
(ステップS111)
ステップS111では、制御部110のCPUは、ドライバーHへの会話、乗車時説明事項等があるか否かを判定する。乗車時説明事項とは、例えば、外気温、天候、燃料残情報、車両メンテナンスの特筆事項などである。制御部110のCPUは、ドライバーHへの会話、乗車時説明事項等があると判定した場合には、ステップS112に処理を移行し、ドライバーHへの会話、乗車時説明事項等がないと判定した場合には、乗車時処理を終了する。
(ステップS112)
ステップS112において、制御部110のCPUは、エージェント200に対して発話および動作による会話を行わせる。なお、制御部110のCPUは、エージェント200による情報伝達時には、音声出力と両腕などの体を使った動作によって情報出力を行う。例えば、制御部110のCPUは、エージェント制御部190に対して、発話とともに、エージェント200の両腕などを動かして、項目ごとに会話や説明に合った身振り手振りを行わせる。すなわち、制御部110のCPUは、エージェント制御部190に対して、エージェント200の右上腕部222R、左上腕部222L、右前腕部224R、左前腕部224L、右手部226R、左手部226L等を、右肩部221R、左肩部221L、右肘部223R、左肘部223L、右手首部225R、左手首部225L等によって、対応する動作を行わせる。
(ステップS113)
ステップS113では、制御部110のCPUは、会話や説明が終了したか否か判定する処理を行う。制御部110のCPUは、会話や説明が終了していないと判定した場合には、ステップS112に処理を移行し、会話や説明が終了したと判定した場合には、ステップS114に処理を移行する。
(ステップS114)
ステップS114において、制御部110のCPUは、エージェント発話終了時動作処理を行う。制御部110のCPUは、情報伝達の終了時には、エージェント200に対して、終了確認動作を行わせて、情報伝達を終了させる。例えば、制御部110のCPUは、エージェント制御部190を介して、説明などの終了後に、エージェント200に首を上下させて完了の合図をさせる。また、軽く手をドライバーHの方に向けて、ドライバーHに発話や動作を促す指示動作などを行う。そして、エージェント発話終了時動作を行ったら、ステップS111に処理を移行し、会話や各項目が終了するまで上記処理を繰り返す。そして、会話や全ての項目が終了したら、乗車時処理を終了する。
次に、図8を用いて、制御部110のCPUにより行われる傾聴と回答処理について説明を行う。図8は、図7のステップS500(傾聴と回答処理)のサブルーチンである。
(ステップS511)
傾聴と回答処理では、まず、ステップS511において、制御部110のCPUは、エージェント200に傾聴姿勢を取らせる処理を行う。制御部110のCPUは、ドライバーHからの情報入力時には、エージェント200に対して、真剣に話を聴いている傾聴姿勢を行わせる。具体的には、制御部110のCPUは、RAMに記憶しているエージェント200の傾聴姿勢に基づいて、送受信機180を介してエージェント制御部190に対してエージェント200に傾聴姿勢を取らせる処理を行う。エージェント200の傾聴姿勢とは、例えば、耳に手を当てて聴く姿勢や、うなずきながらドライバーHの発話に対応する姿勢である。具体的には、図9(a)に示すように、耳に片手を当てて、話を聴く姿勢を取らせる。また、音声認識中は、図9(b)に示すように、足を軽く屈伸させて膝に手を置き、うなずきながら聴く姿勢を取らせる。
(ステップS512)
次いで、ステップS512において、制御部110のCPUは、ドライバーHの発話が終了したか否かの判定処理を行う。この発話の終了判定処理では、上記ステップS103の処理と同様に、音声認識機能が作動しているか否かにより、ドライバーHによる発話が終了したか否かを判定する。制御部110のCPUは、ドライバーHの発話が終了したと判定した場合には、ステップS513に処理を移行し、ドライバーHによる発話が終了していないと判定した場合には、ステップS511に処理を移行する。
(ステップS513)
ステップS513において、制御部110のCPUは、ドライバーHの発話の内容が理解できたか否かを判定する。例えば、ドライバーHの質問の意味が分からなかったり、質問自体が聞き取れなかった場合、あるいは、質問自体は理解できるけれども、回答が複数あったり、回答できないものである場合などである。制御部110のCPUは、ドライバーHの発話の内容が理解できなかった場合には、ステップS514に処理を移行し、発話の内容が理解できた場合には、ステップS515に処理を移行する。
(ステップS514)
ステップS514において、制御部110のCPUは、質問や再発話を促す処理を行う。すなわち、制御部110のCPUは、理解できなかった内容にしたがって、ドライバーHに対して質問を行うか、あるいは、再度発話させるように、エージェント200に音声出力や動作をさせる。そして、質問や再発話を促す処理を行ったら、ステップS511に処理を戻し、エージェント200に傾聴姿勢を取らせる。
(ステップS515)
ステップS515において、制御部110のCPUは、エージェント200に対してドライバー発話終了時動作を行う。制御部110のCPUは、ドライバーHからの情報入力の終了時には、エージェント200に対して、情報入力が行われたことの確認を示す音声出力とうなずき動作を行わせる。ドライバー発話終了時動作では、例えば、制御部110のCPUは、エージェント制御部190を介してエージェント200に、「了解しました」、「OKです」などと言ったセリフの出力とともに、図9(c)に示す両腕で丸を作った「OK」サインや、首を上下させる動作(うなずき動作)などの完了の合図を行う。そして、ドライバー発話終了時動作を行ったら、ステップS516に処理を移行する。
(ステップS516)
ステップS516において、制御部110のCPUは、発話に対応する処理を行う。例えば、ドライバーHの問い掛けに対して、答えたり、所定の指示に対する操作を行ったり、あるいは、ドライバーHとの会話を続けたりする。ここで、制御部110のCPUは、ドライバーHの指示により所定の動作が必要になる場合、エージェント200に対して、両腕を動作させながら復唱させ、うなずいて作動を開始すること出力させる。その後、指示に対する所定の動作を行う。そして、発話に対応する処理を行ったら、傾聴と回答処理を終了する。
次に、図10を用いて、制御部110のCPUにより行われる運転終了時処理について説明を行う。図10は、図6のステップS400(運転終了時処理)のサブルーチンである。
(ステップS401)
運転終了時処理では、まず、ステップS401において、制御部110のCPUは、エージェント200がドライバーHに正対しているか否かの判定処理を行う。制御部110のCPUは、エージェント200がドライバーHに正対していないと判定した場合には、ステップS402に処理を移行し、エージェント200がドライバーに正対していると判定した場合には、ステップS403に処理移行する。
(ステップS402)
ステップS402において、制御部110のCPUは、エージェント200をドライバーHに正対させる処理を行う。制御部110のCPUは、シフトポジションがパーキングレンジに戻ったら、エージェント制御部190に対して、エージェント200を改めてドライバーHに正対させ、基本姿勢を取らせる。すなわち、制御部110のCPUは、エージェント200をドライバーHに前面を向けるように回転させる。そして、エージェント200をドライバーHに正対させると、ステップS403に処理を移行する。
(ステップS403)
ステップS403において、制御部110のCPUは、接近物があるか否かを判定する。具体的には、制御部110のCPUは、各種センサなどから入力された情報に基づいて、車両1に接近する物体、人などがあるか否かを判定する。制御部110のCPUは、車両1に対して接近物かあると判定した場合には、ステップS404に処理を移行し、車両1に対して接近物がないと判定した場合には、ステップS405に処理を移行する。
なお、ステップS403および次のステップS404における処理は、エージェント制御処理において、常に割り込み処理として組み込まれていることが望ましい。
(ステップS404)
ステップS404において、制御部110のCPUは、接近物の告知を行う。ここで、制御部110のCPUは、接近物の告知を、エージェント200の音声および動作によって告知する。例えば、制御部110のCPUは、エージェントスピーカ191を介して、対象物が接近していることや回避行動を音声出力させたり、エージェント200に対して接近物の方を指さしさせたり、両手を広げて静止合図を行ったりさせる。例えば、静止合図では、図12に示すように、両手を広げ、静止を促すとともに、屈伸することにより、屈伸の深さで減速量をイメージさせる。そして、接近物の告知が終了したら、ステップS403に処理を移行する。
(ステップS405)
ステップS405において、制御部110のCPUは、車両の異常の有無の検知を行う。また、制御部110のCPUは、車両の異常だけでなく、ドライバーHに対する推奨事項の有無、例えば、燃料の低下等についても、検出するようにしてもよい。そして、車両の異常の有無の検知が終了したら、ステップS406に処理を移行する。
(ステップS406)
ステップS406において、制御部110のCPUは、車両に異常があるか否かを判定する。制御部110のCPUは、上記車両の異常の有無の検出により、車両に異常があるか否かを判定し、車両に異常があると判定した場合には、ステップS407に処理を移行し、車両に異常がないと判定した場合には、ステップS408に処理を移行する。
(ステップS407)
ステップS407において、制御部110のCPUは、異常の告知を行う。ここで、制御部110のCPUは、異常の告知を、エージェント200の音声および動作によって告知する。そして、異常の告知が終了したら、ステップS408に処理を移行する。
(ステップS408)
ステップS408において、制御部110のCPUは、運転終了時の労いのための音声出力および動作を行う。例えば、制御部110のCPUは、エージェントスピーカ191を介して、「運転お疲れ様でした」などの音声出力を行うとともに、エージェント200に対して、軽く会釈をさせるか、あるいは、手によるグッドサインのジェスチャー等を行わせる。そして、運転終了時の声かけおよび動作が終了したら、ステップS409に処理を移行する。
(ステップS409)
ステップS409において、制御部110のCPUは、車両1の項目ごとの状況説明、動作を行う。ここでは、制御部110のCPUは、車両1の異常がない部分の説明、推奨事項の説明などを、エージェント200の音声および動作によって項目ごとに告知する。なお、異常があった項目について、ここでも状況説明などを行うようにしてもよい。そして、車両1の状況説明、動作を行って、ステップS410に処理を移行する。
(ステップS410)
ステップS410において、制御部110のCPUは、当該項目の状況説明が終了したか否かを判定する。制御部110のCPUは、当該項目の状況説明が終了したと判定した場合には、ステップS411に処理を移行し、当該項目の状況説明が終了していないと判定した場合には、ステップS409に処理を移行する。
(ステップS411)
ステップS411において、制御部110のCPUは、項目終了時動作を行う。例えば、制御部110のCPUは、エージェント200に対して、首を軽く上下させるなどの、当該項目の状況説明が終了したことを示す合図を動作させる。そして、項目終了時動作が終了したら、ステップS412に処理を移行する。
(ステップS412)
ステップS412において、制御部110のCPUは、他に状況説明などを行う項目があるか否かを判定する。制御部110のCPUは、他に状況説明などを行う項目があると判定した場合には、ステップS409に処理を移行し、他に状況説明などを行う項目がない、すなわち、全ての項目の状況説明などが終了したと判定した場合には、ステップS413に処理を移行する。
(ステップS413)
ステップS413において、制御部110のCPUは、説明終了時動作を行う。例えば、制御部110のCPUは、エージェントスピーカ191を介して、「全ての説明が終わりました」などの音声出力を行うとともに、エージェント200に対して、各項目終了時よりも大きく首を上下させるか、あるいは、手をドライバーHの方に軽く差し出させるなどの動作を行わせる。そして、説明終了時動作が終了したら、運転終了時処理を終了する。
以上のように、本実施の形態のエージェント装置100は、シフトポジションがパーキングレンジであった場合、エージェント200を車両1のドライバーHに正対させ、情報伝達時には、音声出力と両腕の動作によって情報出力を行い、エージェント200に対して、日頃から音声と動作によって、ドライバーHと会話を行わせている。また、エージェント200が行う動作は、必ずしも、ドライバーHに行わせる動作そのものではなく、ドライバーHが直感的に理解しやすく、内容が伝わりやすい動作となっている。したがって、エージェント200とドライバーHとの信頼関係が築きやすく、ドライバーHに対して、とっさの場合の危険回避行動を円滑に行わせることができる。
なお、本実施の形態のエージェント制御処理は、制御部110のROM、RAM、EEPROM等に記憶されたプログラムが、制御部110のRAM等に展開されて、制御部110のCPU等によって実行される。
また、本実施の形態において、シフトポジションセンサ140fは、本願のシフトポジション検知部を構成する。また、本実施の形態においては、制御部110とエージェント制御部190の双方によって、本願のエージェント制御部を構成するようにしたが、前述のように、エージェント制御部190のみで、本実施の形態の制御部110とエージェント制御部190の双方の機能を有するようにしてもよい。
1:車両、100:エージェント装置、110:制御部、120:周辺環境認識部、130:乗員状態認識部、140:車両状態認識部、140f:シフトポジションセンサ、150:スピーカ、160:マイク、170:記憶部、180:送受信機、190:エージェント制御部、191:エージェントスピーカ、200:エージェント

Claims (5)

  1. シフトポジションを検知するシフトポジション検知部と、
    擬人化されたエージェントを制御するエージェント制御部と、
    を備え、
    前記エージェント制御部は、
    シフトポジションがパーキングレンジであった場合、前記エージェントを車両の運転者に正対させ、
    情報伝達時には、音声出力と両腕の動作によって情報出力を行う、
    ことを特徴とするエージェント装置。
  2. 前記エージェント制御部は、
    シフトポジションが非パーキングレンジとなったら、前記エージェントに所定の姿勢をとらせ、パーキングレンジに戻ったら、改めて運転者に正対させ、労いの音声出力と動作を行う、
    ことを特徴とする請求項1に記載のエージェント装置。
  3. シフトポジションを検知するシフトポジション検知部と、
    擬人化されたエージェントを制御するエージェント制御部と、
    を備え、
    前記エージェント制御部は、
    シフトポジションが非パーキングレンジであった場合、前記エージェントに所定の姿勢をとらせ、パーキングレンジに戻ったら、運転者に正対させ、労いの音声出力と動作を行う、
    ことを特徴とするエージェント装置。
  4. 前記エージェント制御部は、
    運転者からの情報入力時には、耳に手を当て、うなずきながら聴く姿勢をとらせる、
    ことを特徴とする請求項1から請求項3のいずれか1項に記載のエージェント装置。
  5. 前記エージェント制御部は、
    運転者からの情報入力の終了時には、情報入力が行われたことの確認を示す音声出力とうなずき動作を行わせる、
    ことを特徴とする請求項1から請求項4のいずれか1項に記載のエージェント装置。
JP2021123829A 2021-07-29 2021-07-29 エージェント装置 Pending JP2023019243A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021123829A JP2023019243A (ja) 2021-07-29 2021-07-29 エージェント装置
CN202210774732.0A CN115675502A (zh) 2021-07-29 2022-07-01 代表物装置
DE102022116638.4A DE102022116638A1 (de) 2021-07-29 2022-07-04 Agenten-vorrichtung
US17/858,535 US20230034454A1 (en) 2021-07-29 2022-07-06 Agent apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021123829A JP2023019243A (ja) 2021-07-29 2021-07-29 エージェント装置

Publications (1)

Publication Number Publication Date
JP2023019243A true JP2023019243A (ja) 2023-02-09

Family

ID=84889767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021123829A Pending JP2023019243A (ja) 2021-07-29 2021-07-29 エージェント装置

Country Status (4)

Country Link
US (1) US20230034454A1 (ja)
JP (1) JP2023019243A (ja)
CN (1) CN115675502A (ja)
DE (1) DE102022116638A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429720B1 (en) * 2000-05-12 2002-08-06 Analog Devices, Inc. RMS-DC converter using a variable gain amplifier to drive a squaring cell
JP5019145B2 (ja) * 2001-09-28 2012-09-05 株式会社エクォス・リサーチ 運転者情報収集装置
JP5228716B2 (ja) * 2007-10-04 2013-07-03 日産自動車株式会社 情報提示システム
JP2018032204A (ja) 2016-08-24 2018-03-01 トヨタ自動車株式会社 運転支援装置
JP7081317B2 (ja) * 2018-06-12 2022-06-07 トヨタ自動車株式会社 車両用コクピット
US11159666B1 (en) * 2020-10-20 2021-10-26 James E. Beecham Voice sounds characteristic of a celebrity configured to emanate from speaker co-located with figurine resembling said celebrity
US11643056B2 (en) * 2021-01-13 2023-05-09 Mazda Motor Corporation Driving assistance apparatus
JP2023106916A (ja) * 2022-01-21 2023-08-02 株式会社Subaru エージェント装置

Also Published As

Publication number Publication date
CN115675502A (zh) 2023-02-03
US20230034454A1 (en) 2023-02-02
DE102022116638A1 (de) 2023-02-02

Similar Documents

Publication Publication Date Title
JP4380541B2 (ja) 車両用エージェント装置
JP3619380B2 (ja) 車載入出力装置
JP3160108B2 (ja) 運転支援システム
JP2006284454A (ja) 車載用エージェントシステム
WO2019058781A1 (ja) 駐車支援装置
JP2020061642A (ja) エージェントシステム、エージェント制御方法、およびプログラム
JP2020057139A (ja) 機器制御装置
JP2019086805A (ja) 車内システム
JP2005212709A (ja) 車両運転支援システム
JP2019074498A (ja) 運転支援装置
JP2023019243A (ja) エージェント装置
JP7181744B2 (ja) 車両用エージェント装置
US20230234564A1 (en) Agent apparatus
JP2023019244A (ja) エージェント装置
JP2023019246A (ja) エージェント装置
US9536414B2 (en) Vehicle with tactile information delivery system
JP2023019245A (ja) エージェント装置
JP7181743B2 (ja) 車両用エージェント装置
JP2023019248A (ja) エージェント装置
JP2023019247A (ja) エージェント装置
JP7095337B2 (ja) 表示制御装置および表示制御方法
JP2020130502A (ja) 情報処理装置および情報処理方法
WO2022239642A1 (ja) 車両用情報提供装置、車両用情報提供方法、及び車両用情報提供プログラム
JP7108716B2 (ja) 画像表示装置、画像表示システムおよび画像表示方法
JP2020160877A (ja) 車両の非接触操作装置、および車両

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240610