JP2021117942A - エージェント装置、エージェントシステム及びプログラム - Google Patents

エージェント装置、エージェントシステム及びプログラム Download PDF

Info

Publication number
JP2021117942A
JP2021117942A JP2020013028A JP2020013028A JP2021117942A JP 2021117942 A JP2021117942 A JP 2021117942A JP 2020013028 A JP2020013028 A JP 2020013028A JP 2020013028 A JP2020013028 A JP 2020013028A JP 2021117942 A JP2021117942 A JP 2021117942A
Authority
JP
Japan
Prior art keywords
vehicle
information
question
unit
agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020013028A
Other languages
English (en)
Other versions
JP7347244B2 (ja
Inventor
英一 前田
Hidekazu Maeda
英一 前田
智景 久保
Chikage Kubo
智景 久保
景子 中野
Keiko Nakano
景子 中野
博之 西澤
Hiroyuki Nishizawa
博之 西澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020013028A priority Critical patent/JP7347244B2/ja
Priority to CN202110012717.8A priority patent/CN113271330B/zh
Priority to US17/158,056 priority patent/US11790907B2/en
Publication of JP2021117942A publication Critical patent/JP2021117942A/ja
Application granted granted Critical
Publication of JP7347244B2 publication Critical patent/JP7347244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/562Brokering proxy services
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85Arrangements for transferring vehicle- or driver-related data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/164Infotainment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589Wireless data transfers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/592Data transfer involving external databases
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】車両の機能に係る質問の意図を推定するエージェントにおいて、一部又は全ての機能に対するエージェントへの対応が不可とされる場合に、ユーザに与える違和感を低減可能なエージェント装置を提供する。【解決手段】エージェントサーバ16は、車両12に搭載された車載器20から、車両12の車両情報及び乗員からの質問である質問情報を受け付け可能な受付部と、前記受付部が受け付けた前記車両情報に基づいて、前記質問に対する回答の生成が不可能な前記質問の範囲を確認する確認部と、前記確認部により前記回答の生成が不可能と確認された範囲の前記質問について、車載器20において受け付けを禁止するよう車載器20に指示する指示部と、を備えている。【選択図】図7

Description

本発明は、ユーザの質問に対する回答を提供するエージェント装置、エージェントシステム及びプログラムに関する。
特許文献1には、各種車載ユニットの操作に関係のある情報を提供する車両用エージェント処理装置が開示されている。
特開2001−141500号公報
特許文献1の車両用エージェント処理装置を、オーナーズマニュアルを検索するためのエージェントに適用したとする。この場合、車両の一部又は全ての機能に対するエージェントへの対応が不可とされる場合、例えば、質問に対する回答を記憶したオーナーズマニュアルが整備されていない場合やオーナーズマニュアルが更新中につき一時的に利用できない場合等にユーザからの質問を受け付けると、質問に対する回答に「不明」、「対象外」等が出現し、ユーザに違和感を与えてしまう。
本発明は、車両の機能に係る質問の意図を推定するエージェントにおいて、一部又は全ての機能に対するエージェントへの対応が不可とされる場合に、ユーザに与える違和感を低減可能なエージェント装置、エージェントシステム及びプログラムを提供することを目的とする。
請求項1に記載のエージェント装置は、車両に搭載された車載器から、前記車両の車両情報及びユーザからの質問である質問情報を受け付け可能な受付部と、前記受付部が受け付けた前記車両情報に基づいて、前記質問に対する回答の生成が不可能な前記質問の範囲を確認する確認部と、前記確認部により前記回答の生成が不可能と確認された範囲の前記質問について、前記車載器において受け付けを禁止するよう前記車載器に指示する指示部と、を備えている。
請求項1に記載のエージェント装置は、ユーザの質問に対する回答をユーザに提供可能に構成されている。当該エージェント装置では、質問情報を受け付ける受付部において、車両を特定可能な車両情報を受け付ける。また、確認部では車両情報に基づいて回答の生成が不可能な質問の範囲を確認する。ここで、「回答の生成が不可能」な場合には、質問に対する回答を記憶したマニュアルが整備されていない場合、マニュアルが更新中につき一時的に利用できない場合等がある。そして、確認部により回答の生成が不可能と確認された範囲の質問については、車載器において受け付けを禁止するよう指示部が車載器に指示をする。したがって、当該エージェント装置によれば、一部又は全ての機能に関する質問に対して回答の生成が不可能とされる場合に、ユーザに与える違和感を低減することができる。
請求項2に記載のエージェント装置は、請求項1に記載のエージェント装置において、前記確認部は、回答を記憶したマニュアルの車両毎への対応状況を記憶したデータベースを検索し、前記車両情報に対応する前記マニュアルの有無に基づいて前記回答の生成が不可能な前記質問の範囲を確認する。
請求項2に記載のエージェント装置は、確認部がマニュアルと車両との対応を記憶したデータベースを検索することで、回答の生成が不可能な質問の範囲を確認することを特徴としている。当該エージェント装置によれば、車両毎のマニュアルの有無をデータベース化することで、車載器における受け付け禁止の管理を容易に行うことができる。
請求項3に記載のエージェント装置は、請求項1又は2に記載のエージェント装置において、前記確認部は、前記車両の起動時に前記回答の生成が不可能な前記質問の範囲を確認する。
請求項3に記載のエージェント装置によれば、車両が起動した段階で回答の生成が不可能な質問の範囲が確認されているため、誤って質問を受け付けることはなく、ユーザに与える違和感を低減することができる。
請求項4に記載のエージェントシステムは、請求項1〜3の何れか1項に記載のエージェント装置と、前記車両に設けられた表示装置において、前記指示部から受け付けを禁止するように指示された前記質問に係る入力ボタンをトーンダウンさせるように制御する前記車載器と、を備えている。
請求項4に記載のエージェントシステムでは、車両に搭載された車載器が入力ボタンをトーンダウンさせて表示装置に表示させると共に、入力ボタンの操作の受付を禁止する。そのため、当該エージェントシステムによれば、乗員に対してエージェントの利用ができないことを視覚で訴えることができる。
請求項5に記載のプログラムは、車両に搭載された車載器から、前記車両の車両情報を前記車両が起動した際に受け付け、かつ、ユーザからの質問である質問情報を受け付け可能な受付ステップと、受け付けられた前記車両情報に基づいて、前記質問に対する回答の生成が不可能な前記質問の範囲を確認する確認ステップと、前記確認ステップにおいて前記回答の生成が不可能と確認された範囲の前記質問について、前記車載器において受け付けを禁止するよう前記車載器に指示する指示ステップと、を備える処理をコンピュータに実行させる。
請求項5に記載のプログラムは、ユーザの質問に対する回答をユーザに提供する処理をコンピュータが実行可能に構成されている。当該プログラムが実行されるコンピュータでは、車両を特定可能な車両情報を受け付け、車両情報に基づいて回答の生成が不可能な質問の範囲を確認する。「回答の生成が不可能」な場合とは、上述のとおりである。そして、コンピュータは、回答の生成が不可能と確認された範囲の質問について、車載器において受け付けを禁止するよう車載器に指示をする。したがって、当該プログラムによれば、一部又は全ての機能に関する質問に対して回答の生成が不可能とされる場合に、ユーザに与える違和感を低減することができる。
本発明によれば、車両の機能に係る質問の意図を推定するエージェントにおいて、一部又は全ての機能に対するエージェントへの対応が不可とされる場合に、ユーザに与える違和感を低減させることができる。
第1の実施形態に係るマニュアル提供システムの概略構成を示す図である。 第1の実施形態の車両のハードウェア構成を示すブロック図である。 第1の実施形態のサーバのハードウェア構成を示すブロック図である。 第1の実施形態のエージェントサーバの機能構成を示すブロック図である。 第1の実施形態のマニュアル提供システムの機能を説明するブロック図である。 教師データの生成方法の一例を示す図である。 第1の実施形態のマニュアル提供システムにおけるエージェントの対応状況の確認に係る処理、及び対応状況をモニタに反映させる処理の流れを示すシーケンス図である。 エージェントへの対応がある場合におけるモニタの表示の例である。 エージェントへの対応がない場合におけるモニタの表示の例である。 第1の実施形態のマニュアル提供システムにおける質問の意図を推定する場合の処理の流れを示すシーケンス図である。 第1の実施形態のマニュアル提供システムにおける質問の意図を推定する場合の処理の流れを示すシーケンス図(図10の続き)である。 回答情報に係る情報を乗員に提示した例を示す図である。 第2の実施形態のマニュアル提供システムにおける質問の意図を推定する場合の処理の流れを示すシーケンス図である。 第2の実施形態のマニュアル提供システムにおける質問の意図を推定する場合の処理の流れを示すシーケンス図(図13の続き)である。 第3の実施形態のエージェントサーバの機能構成を示すブロック図である。
[第1の実施形態]
図1に示されるように、第1の実施形態のエージェントシステムであるマニュアル提供システム10は、複数の車両12と、複数のサーバ30と、を含んで構成されている。各車両12には通知装置としての車載器20が搭載されている。また、サーバ30は、Human Machine Interface(以下、「HMI」とする)として機能するインタフェース装置としてのHMIサーバ14、エージェント装置としてのエージェントサーバ16、オーナーズマニュアル(Owner’s Manual、以下「OM」と略す場合がある)サーバ18、及びデータサーバ19を含んでいる。
各車両12の車載器20、HMIサーバ14、OMサーバ18及びデータサーバ19は、それぞれ、ネットワークN1を介して相互に接続されている。また、HMIサーバ14とエージェントサーバ16とは、ネットワークN2を通じて相互に接続されている。なお、エージェントサーバ16は、他のサーバ30と同様にネットワークN1に接続されていてもよい。
(車両)
図2に示されるように、本実施形態に係る車両12は、車載器20と、複数のECU22と、音声入力装置としてのマイク24と、操作入力装置としての入力スイッチ26と、表示装置としてのモニタ28、スピーカ29と、を含んで構成されている。
車載器20は、CPU(Central Processing Unit)20A、ROM(Read Only Memory)20B、RAM(Random Access Memory)20C、車内通信I/F(Inter Face)20D、無線通信I/F20E及び入出力I/F20Fを含んで構成されている。CPU20A、ROM20B、RAM20C、車内通信I/F20D、無線通信I/F20E及び入出力I/F20Fは、内部バス20Gを介して相互に通信可能に接続されている。
CPU20Aは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU20Aは、ROM20Bからプログラムを読み出し、RAM20Cを作業領域としてプログラムを実行する。
ROM20Bは、各種プログラム及び各種データを記憶している。本実施形態のROM20Bには、車載器20を制御するための制御プログラムが記憶されている。
RAM20Cは、作業領域として一時的にプログラム又はデータを記憶する。
車内通信I/F20Dは、ECU22と接続するためのインタフェースである。当該インタフェースは、CANプロトコルによる通信規格が用いられる。車内通信I/F20Dは、通信路としての外部バス20Hに対して接続されている。制御装置としてのECU22は、車両12の機能毎に複数設けられている。本実施形態のECU22としては、車両制御ECU、エンジンECU、ブレーキECU、ボデーECU、カメラECU、マルチメディアECUが例示される。
無線通信I/F20Eは、サーバ30と通信するための無線通信モジュールである。当該無線通信モジュールは、例えば、5G、LTE、Wi−Fi(登録商標)等の通信規格が用いられる。無線通信I/F20Eは、ネットワークN1に対して接続されている。
入出力I/F20Fは、車両12に搭載されるマイク24、入力スイッチ26、モニタ28、及びスピーカ29と通信するためのインタフェースである。
マイク24は、車両12のフロントピラーやダッシュボード等に設けられ、ユーザである車両12の乗員が発した音声を集音する装置である。
入力スイッチ26は、インストルメントパネル、センタコンソール、ステアリングホイール等に設けられ、乗員の手指による操作を入力するスイッチである。入力スイッチ26としては、例えば、押しボタン式のテンキーやタッチパッド等を採用することができる。
モニタ28は、インストルメントパネル、メータパネル等に設けられ、オーナーズマニュアルや後述する回答情報に係る画像を表示するための液晶モニタである。モニタ28は、入力スイッチ26を兼ねたタッチパネルとして設けてもよい。
スピーカ29は、インストルメントパネル、センタコンソール、フロントピラー、ダッシュボード等に設けられ、回答情報に係る音声を出力するための装置である。
(サーバ)
図3に示されるように、サーバ30は、CPU30A、ROM30B、RAM30C、ストレージ30D、及び通信I/F30Eを含んで構成されている。CPU30A、ROM30B、RAM30C、ストレージ30D及び通信I/F30Eは、内部バス30Gを介して相互に通信可能に接続されている。CPU30A、ROM30B、RAM30C及び通信I/F30Eの機能は、上述した車載器20のCPU20A、ROM20B、RAM20C及び無線通信I/F20Eと同じである。
ストレージ30Dは、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、各種プログラム及び各種データを記憶している。
CPU30Aは、ストレージ30Dからプログラムを読み出し、RAM30Cを作業領域としてプログラムを実行する。
本実施形態のストレージ30Dには、処理プログラム100及びデータ群110が記憶されている。処理プログラム100は、サーバ30が有する各機能を実現するためのプログラムである。
(HMIサーバ)
HMIサーバ14は、車載器20からの質問を受け付けると共に、オーナーズマニュアルに係る質問に対する回答をエージェントサーバ16に照会する機能を有している。
図5に示されるように本実施形態のHMIサーバ14では、CPU30Aが、処理プログラム100を実行することで、選定部としてのHMI対話制御部32として機能する。
HMI対話制御部32は、車載器20との間で通信を行う。HMI対話制御部32は、車載器20から送信された車両12の乗員に係る音声情報を取得し、音声認識を行い、音声情報をテキスト情報に変換する。ここで、本実施形態では、車両12の乗員による発話で質問を行うことを想定している。そのため、乗員の発話に係る音声情報が乗員により車載器20に入力された入力情報となる。例えば、「ランプの消し方教えて」、「マルにAのスイッチ何?」等、乗員が発話した質問に係る音声情報が入力情報となる。
また、HMI対話制御部32は、変換されたテキスト情報を基に、乗員の発話の意図を理解する。そして、HMI対話制御部32は、乗員がオーナーズマニュアルに係る質問を行ったと理解した場合、当該質問に係る照会をエージェントサーバ16に対し実行する。そして、HMI対話制御部32は、質問に係るテキスト情報をエージェントサーバ16に送信し、エージェントサーバ16から回答に係る回答情報を受信する。
また、HMI対話制御部32は、エージェントサーバ16から受信した回答情報を車載器20に対して送信する。なお、回答情報は、質問に対する回答に係るテキスト情報及び音声情報を含む。このテキスト情報には、オーナーズマニュアルのHTMLデータを閲覧するためのURLが含まれている。
また、HMIサーバ14は、車載器20から取得した車両情報に基づいて、オーナーズマニュアルに係る質問を処理するエージェント(Owner’s Manual Agent(以下、「OMA」とする))の対応状況を確認する機能を有している。当該機能の詳細については後述する。
(エージェントサーバ)
エージェントサーバ16は、OMAとして機能する。エージェントサーバ16は、HMIサーバ14から車両12の車両情報と質問に係るテキスト情報とを取得し、データサーバ19から車両12の状態に係る状態情報であるCAN情報を取得する。また、エージェントサーバ16は、HMIサーバ14に質問に対する回答に係る回答情報を提供する。
本実施形態のエージェントサーバ16では、CPU30Aが処理プログラム100を実行することで、図4に示すOMA対話制御部36及び意図推定部38として機能する。また、OMA対話制御部36は、受付部50、取得部52、確認部53、指示部54及び提供部56を含む。
また、エージェントサーバ16のデータ群110は、図5に示す車両OM対応データ200、意図推定ID管理データ210、QAデータ220、単語正規化データ230及び学習済みモデル240を含む。
車両OM対応データ200は、車両12の車体番号、車種、グレード、装備品等に係る車両情報と、オーナーズマニュアル毎に付与されたOM品番との対応関係を記憶したデータである。この車両OM対応データ200は、質問に対する回答を記憶したマニュアルの車両毎への対応状況を記憶したデータベースの一例である。
意図推定ID管理データ210は、OM品番と意図推定エンジンとの対応関係を記憶したデータである。意図推定ID管理データ210には、OM品番に対応する意図推定エンジンIDが記憶されている。意図推定エンジンIDとは、後述する意図推定処理を実行する意図推定エンジン毎に付与されたIDである。この意図推定エンジンは、類似する又は関連するオーナーズマニュアル毎に設けられている。
QAデータ220は、回答毎に付されるインテントラベルに紐づく回答情報を保持するデータである。ここで、「インテントラベル」とは、乗員の発話内容から意図を推定した結果として提供されるラベル番号である。回答情報には、質問に対する回答に係る表示用テキスト、表示用画像、読み上げ用テキスト、オーナーズマニュアル表示用のURL等の情報が含まれている。
単語正規化データ230は、意図推定処理における前処理に使用する単語の正規化用のデータである。この前処理は、表記のゆれや表現のゆれを統一する処理である。例えば、単語正規化データ230は、「オフ」と「OFF」とが同じ語であることを示す情報であって、表記ゆれを統一させるためのデータを含む。また例えば、単語正規化データ230は、「タイヤ空気圧警告灯」と「空気圧警告灯」とが同一のものを指す情報であって、異なる表現を統一するためのデータを含む。
学習済みモデル240は、後述する受付部50がテキスト情報を受け付けた場合における受付時よりも過去の車両12の状態と、乗員の過去の質問とに基づく教師データを使用して機械学習を行うことによって生成されたデータである。当該教師データは、車両12の過去の状態に係るCAN情報と、当該過去の状態における質問と関連する複数の言い回しに係るテキスト情報を入力とし、当該質問に対する正解の回答に係るインテントラベルを出力としている。過去の状態に係るCAN情報は、過去状態情報の一例である。この学習済みモデル240は、予め、意図推定エンジン毎に学習されたものが用意されている。
図6に過去の質問及び過去のCAN情報に基づく教師データの一例を示す。図6に示されるように、車載器20は、車両12のCAN情報に基づく警告灯、表示灯の点灯状態、通知音の通知状態を記憶している。また車載器20は、マイク24に入力される音声を記憶している。
ここで、車載器20が乗員の発話を受け付けた場合、受付時である時刻Bよりも所定時間前の時刻Aから時刻Bに至る判定期間において、CAN情報から点灯状態や通知状態がアクティブな項目が取得される。図6の例では、時刻Aから時刻Bまでの所定時間において、表示1、表示2及び通知音1が「ON」、つまりアクティブとされている。そして教師データでは、判定期間内において一定時間以上アクティブの要素について、特徴量に「1」を付与した入力データが生成される。
また、発話した質問は音声認識によりテキスト化されて、単語が抽出される。抽出される候補となる単語は「言い回し」に相当する。図6の例では、発話に単語2が含まれているため、当該単語2について、特徴量に「1」を付与した入力データが生成される。
一方、上記のように特徴量を与えた入力に対して、発話の意図に対応するインテントラベルを出力として付与する。図6の例では、インテントラベルの1番が対応付けられている。以上、本実施形態の例では、表示1、表示2及び通知音1がアクティブな状態において、単語2を含む質問をすると、当該質問に対して1番のインテントラベルが生成されるような教師データを使用して機械学習が行われる。
図5に示すOMA対話制御部36では、まず、受付部50が、車両情報及び質問情報であるテキスト情報を受け付ける。また、受付部50は車両12の状態に係るCAN情報を受け付け可能である。次にOMA対話制御部36では、テキスト情報が乗員の質問である場合に、取得部52が車両情報、CAN情報及びテキスト情報に基づいて質問に対する回答を取得する。取得される回答は、質問の意図を推定する意図推定処理を経ることで得られる。
具体的に、取得部52は、車両OM対応データ200を参照して、車両12の車両情報から当該車両12に対応するOM品番を取得する。取得部52がOM品番を取得できなかった場合には、「サービス対象外」である旨をHMI対話制御部32に通知する。また、取得部52は、意図推定ID管理データ210を参照して、取得したOM品番から当該車両12に適用するOMA意図推定エンジンIDを取得する。
そして、取得部52は、質問に係るテキスト情報、車両12のCAN情報及びOMA意図推定エンジンIDを入力値として、意図推定部38に照会を行い、回答に相当するインテントラベルを取得する。インテントラベルが一つも取得できなかった場合、提供部56が「該当なし」であることを示す該当なし情報をHMIサーバ14に送信する。一方、取得部52は、取得したインテントラベルが一つである場合には、QAデータ220を参照して、取得したインテントラベル及びOM品番を基に、対応する回答情報を取得する。
なお、取得部52は、取得したインテントラベルが複数ある場合には、QAデータ220を参照して、複数の回答の選択肢に係る選択肢情報を生成してもよい。選択肢情報が生成された場合、当該選択肢情報を車載器20に送信し、車載器20から乗員の選択結果である結果情報を取得することにより、一のインテントラベルを特定することができる。
OMA対話制御部36において確認部53は、車両12におけるOMAへの対応状況を確認する機能を有している。OMAの対応状況は、乗員の全ての質問に対して回答の生成が可能か否かだけでなく、一部の質問に対して回答の生成が可能か否かで確認してもよい。確認部53は、車両OM対応データ200を検索し、受付部50が受け付けた車両情報に対応するOM品番の有無に基づいてOMAの対応状況を確認する。
OMA対話制御部36において指示部54は、確認部53により回答の生成が不可能と確認された範囲の質問について、車載器20において受け付けを禁止するよう車載器20に指示する。指示部54による機能の詳細については後述する。
また、OMA対話制御部36では、提供部56が該当なし情報、回答情報及び選択肢情報の何れかをHMIサーバ14のHMI対話制御部32に向けて送信する。補足すると、取得部52がインテントラベルを取得できなった場合には、該当なし情報をHMIサーバ14に送信する。また、取得部52が一のインテントラベルを取得した場合には、対応する回答情報をHMIサーバ14に送信する。さらに、取得部52が複数のインテントラベルを取得した場合には、生成された選択肢情報をHMIサーバ14に送信する。
推定部としての意図推定部38は、乗員の質問の意図を推定する推定処理としての意図推定処理を実行する。この意図推定処理は、意図推定エンジンIDに対応する意図推定エンジンを使用して実行される。意図推定処理では具体的に次の処理が実行される。まず、意図推定部38は取得したテキスト情報に係るテキストに対し、単語正規化データ230を使用して前処理を行う。前処理により、表記のゆれや表現のゆれが統一される。次に、意図推定部38は、意図推定エンジン毎に用意された学習済みモデル240に前処理をしたテキスト情報と車両12のCAN情報とを入力し、インテントラベル及びその確信度を出力する。確信度とは、学習済みモデル240に入力されたテキスト情報が、推定されたインテントラベルである確率に相当する。そして、意図推定部38は、確信度が所定値を超える、つまり、所定の確率以上の信頼性が担保されたインテントラベルをOMA対話制御部36に提供する。
(OMサーバ)
OMサーバ18は、オーナーズマニュアルを提供するサーバ30である。OMサーバ18のデータ群110は、オーナーズマニュアルに係るHTMLデータであるOMデータ300を含む。車両12のモニタ28に回答情報に係る画像が表示された場合、当該画像に含まれるURLを乗員が選択すると、当該URLに対応するHTMLデータの送信要求がOMサーバ18に対して実行される。これにより、URLに対応するオーナーズマニュアルのHTMLデータが車載器20に送信され、モニタ28に表示される。
(データサーバ)
データサーバ19は、車載器20からCAN情報を取得すると共に、エージェントサーバ16にCAN情報を提供するサーバ30である。本実施形態のデータサーバ19では、CPU30Aが、処理プログラム100を実行することで、データ管理部39として機能する。
また、データサーバ19のデータ群110は、車両12の車両情報と、当該車両情報に対応するCAN情報とを含むデータであるCANデータベース400を含む。データ管理部39は、所定時間おきに車載器20から車両12のCAN情報を取得し、CANデータベース400に記憶する。また、データ管理部39は、エージェントサーバ16からの要求に基づいて当該エージェントサーバ16にCAN情報を提供する。
なお、データサーバ19では、車載器20からCAN情報と共に質問に係る音声情報を取得することで、データ管理部39が教師データを生成すると共に、機械学習を行い、新たな学習済みモデル240を生成することができる。生成された新たな学習済みモデル240は、エージェントサーバ16に送信されて更新される。
(制御の流れ)
(1)エージェントの対応状況の確認に係る処理、及び対応状況をモニタに反映させる処理について
各車両12におけるOMAの対応状況の確認に係る処理、及び対応状況をモニタ28に反映させる処理について、図7のシーケンス図を用いて説明する。
まず、OMAの対応状況を確認する処理について説明する。
図7のステップS10において、車載器20は車両12の起動を検知する。起動とは、アクセサリスイッチ(ACC)がオンになった状態である。
ステップS11において、車載器20は車両12の車両情報をHMIサーバ14に向けて送信する。
ステップS12において、HMIサーバ14ではHMI対話制御部32がOMA対応状況の確認依頼を行う。すなわち、エージェントサーバ16に対する確認要求を行う。
ステップS13において、HMI対話制御部32は、車両情報をエージェントサーバ16のOMA対話制御部36に向けて送信する。
ステップS14において、OMA対話制御部36はOM品番を検索する。具体的にOMA対話制御部36は、車両OM対応データ200を参照して、取得した車両情報に対応するOM品番があるか否かを検索する。
ステップS15において、OMA対話制御部36はOMAの対応有無を確認する。具体的にOMA対話制御部36は、車両情報に対応するOM品番を検出できた場合は、対応があることを確認し、車両情報に対応するOM品番が検出できなかった場合は、対応がないことを確認する。
ステップS16において、OMA対話制御部36はHMIサーバ14経由で車載器20に対して対応状況を通知する。
ステップS17において、車載器20はOMAの対応有無を更新する。
次に、OMAの対応状況をモニタ28に反映させる処理について説明する。
図7のステップS20において、車載器20は発話を受け付ける。例えば、車両12の乗員がマイク24に向けてエージェントを起動させるためのキーワードである「My agent」と発話したとする。
すると、ステップS21において、車載器20はモニタ28にエージェント機能に係るトップ画面を表示させる。図8及び図9はモニタ28に表示されたトップ画面の一例である。モニタ28上には、車載器20の機能に係る複数の入力ボタン80が表示されている。この入力ボタン80は、ナビゲーションボタン80A、オーディオボタン80B、通話ボタン80C、車両機能ボタン80D、及びヘルプボタン80Eを含んでいる。本実施形態では。ヘルプボタン80EがOMAに対応している。
モニタ28にトップ画面が表示された際、OMAが「対応あり」の場合には、図8に示すように、ヘルプボタン80Eが選択可能なアクティブ表示となる。一方、モニタ28にトップ画面が表示された際、OMAが「対応なし」の場合には、図9に示すように、ヘルプボタン80Eが選択不可能なトーンダウン表示となる。この場合、車載器20はトーンダウン表示とされた車両12の機能に係る質問を受け付けることができない。
(2)質問に対する回答を提示する場合の処理
車両12において乗員が質問をした場合おいて、回答が提示されるまでの処理について、図10及び図11のシーケンス図を用いて説明する。
図10のステップS30において、車載器20は外部バス20HからCAN情報を取得する。
ステップS31において、車載器20は車両12の車両情報と共に、取得したCAN情報をデータサーバ19に向けて送信する。なお、本実施形態において、車両情報及びCAN情報は、一定時間おきに車載器20からデータサーバ19に送信されるが、これに限らず、CAN情報に変化があった場合に車載器20からデータサーバ19に送信してもよい。
ステップS32において、データサーバ19ではデータ管理部39が取得した情報をCANデータベース400に記憶する。記憶する情報は、車両情報、CAN情報及び受信時刻を含む。
ステップS40において、車載器20は乗員の発話を受け付ける。具体的に、車載器20のCPU20Aは、乗員がマイク24に向かって発話した音声を音声情報として取得する。例えば、車両12にてタイヤ空気圧警告灯が点灯した状態において、乗員が「メータのランプが光ったけど何?」と発言したとする。この場合、発話受付により、「メータのランプが光ったけど何」という発言が音声情報として取得される。
ステップS41において、車載器20は、取得した音声情報と共に、車両12の車両情報、及び発話開始時刻をHMIサーバ14に向けて送信する。
ステップS42において、HMIサーバ14ではHMI対話制御部32が音声認識を行う。これにより、音声情報はテキスト情報に変換される。なお、当該音声認識では、質問に相当する語句がテキスト情報に含まれている場合に音声情報が質問であると判定される。
ステップS43において、HMI対話制御部32は、車両情報、発話開始時刻及びテキスト情報をエージェントサーバ16のOMA対話制御部36に向けて送信する。上記の例では、質問と判定された「メータのランプが光ったけど何」の文字列がテキスト情報として送信される。
ステップS44において、OMA対話制御部36はCAN情報を検索する。すなわち、OMA対話制御部36は、データサーバ19からCAN情報の取得を試みる。
ステップS45において、OMA対話制御部36は車両情報及び発話開始時刻をデータサーバ19に向けて送信する。
ステップS46において、データサーバ19ではデータ管理部39がCAN情報又は情報なし通知をエージェントサーバ16に送信する。送信するCAN情報は、データ管理部39がCANデータベース400を照会し、車両12の車両情報、及び発話開始時刻直前の受信時刻に係るCAN情報を検索することで取得される。なお、情報なし通知とは、車両情報及び発話開始時刻に対応するCAN情報が取得できなかった場合に、CAN情報が無い旨を示す通知である。
ステップS47において、OMA対話制御部36は車両情報から対応するOM品番を特定する。つまり、車両12の車体番号、車種、グレード、及び装備品等に対応するオーナーズマニュアルを特定する。なお、OM品番の特定にCAN情報を用いてもよい。この場合、OMA対話制御部36は、通信不良等、何らかの理由で車両12の最新のCAN情報が取得できない場合、車種、グレード等で標準とされるOM品番を特定してもよい。
ステップS48において、OMA対話制御部36は、OM品番から対応する意図推定エンジンIDを特定する。つまり、車両12のオーナーズマニュアルに対応する意図推定エンジンを特定する。なお、意図推定エンジンIDの特定にCAN情報を用いてもよい。この場合、OMA対話制御部36は、通信不良等、何らかの理由で車両12の最新のCAN情報が取得できない場合、車種、グレード等で標準とされる意図推定エンジンIDを特定してもよい。
ステップS49において、OMA対話制御部36は、HMIサーバ14から取得したテキスト情報、データサーバ19から取得したCAN情報、及び意図推定エンジンIDを意図推定部38に提供する。
ステップS50において、意図推定部38は意図推定処理を実行する。これにより、意図推定部38は、テキスト情報及びCAN情報に対応するインテントラベルを出力する。本実施形態の例では、「メータのランプが光ったけど何」というテキスト情報に対して、推定された意図に対応するインテントラベルが出力される。
図11のステップS51において、意図推定部38は、確信度が最も大きい一のインテントラベルをOMA対話制御部36に提供する。なお、確信度が所定値を超えるインテントラベルが出力されなかった場合、意図推定部38はインテントラベルがないことを示すラベルなし情報をOMA対話制御部36に提供する。
ステップS52において、OMA対話制御部36はインテントラベルに基づいて回答情報を生成する。すなわち、OMA対話制御部36は、QAデータ220を参照して表示用テキスト、表示用画像、読み上げ用テキスト、オーナーズマニュアル表示用のURL等の組み合わせからなる回答情報を生成する。
ステップS53において、OMA対話制御部36は、HMIサーバ14に対して回答情報を送信する。
ステップS54において、HMI対話制御部32は提示情報を生成する。提示情報は、車載器20に送信する情報であって、インテントラベルやOM品番等、モニタ28やスピーカ29で提示する必要のない情報を省いた回答情報である。なお、回答情報をそのまま提示情報としてもよい。
ステップS55において、HMI対話制御部32は、車載器20に対して提示情報を送信する。
ステップS56において、車載器20は受信した提示情報を車両12の乗員に提示する。具体的に車載器20のCPU20Aは、受信した提示情報に係る画像をモニタ28に表示させ、受信した提示情報に係る音声をスピーカ29から出力させる。例えば、図12に示されるように、CPU20Aはモニタ28にタイヤ空気圧警告システムの説明を表示させ、「タイヤ空気圧警告システムの警告です。」という音声をスピーカ29から出力させる。
(第1の実施形態のまとめ)
本実施形態のマニュアル提供システム10では、車両12の乗員が車載器20を通じて入力した質問に対し、当該質問の意図が推定されることで得られた回答を、車載器20に提供可能に構成されている。
本実施形態のエージェントサーバ16では、テキスト情報を受け付ける受付部50において、車両12の起動時に車両情報を受け付ける。また、確認部53では車両情報に基づいて回答の生成が不可能な質問の範囲を確認する。ここで、「回答の生成が不可能」な場合には、質問に対する回答を記憶したオーナーズマニュアルが整備されていない場合、オーナーズマニュアルが更新中につき一時的に利用できない場合等がある。そして、確認部53により回答の生成が不可能と確認された範囲の質問については、車載器20において受け付けを禁止するように指示部54が車載器20に指示をする。したがって、本実施形態によれば、一部又は全ての機能に関する質問に対して回答の生成が不可能とされる場合に、乗員に与える違和感を低減することができる。
また、車両12が起動した段階で回答の生成が不可能な質問の範囲が確認されているため、誤って質問を受け付けることはなく、ユーザに与える違和感を低減することができる。なお、車両情報を受け付けるタイミングは必ずしも車両12の起動時に限らない。
また、本実施形態のエージェントサーバ16は、確認部53がオーナーズマニュアルと車両12との対応を記憶した車両OM対応データ200を検索することで、回答の生成が不可能な質問の範囲を確認することを特徴としている。本実施形態によれば、車両12毎のオーナーズマニュアルの有無をデータベース化することで、車載器20における受け付け禁止の管理を容易に行うことができる。
また、本実施形態のエージェントサーバ16では、受付部50において、質問情報に加えて車両12のCAN情報を受け付ける。また、意図推定部38が、テキスト情報と共にCAN情報を用いて推定処理としての意図推定処理を行い、推定された意図に基づいて取得部52が質問に対する回答を取得することを特徴としている。本実施形態のエージェントサーバ16によれば、質問の意図を推定する場合に車両12の状態を反映させることで、意図の推定精度を向上させることができる。
また、本実施形態のエージェントサーバ16は、意図推定部38が予め機械学習を行うことにより生成された学習済みモデル240を使用して意図を推定するように構成されている。本実施形態によれば、より多くの車両12の情報や言い回しを学習させることにより、乗員の質問に対する意図の推定精度を向上させることができる。なお、データサーバ19において、CAN情報と質問に対する回答結果を取得することで更なる機械学習を行い、新たな学習済みモデル240を生成することができる。そして、エージェントサーバ16の学習済みモデル240を更新することで、推定精度をさらに向上させることができる。
また、本実施形態のエージェントサーバ16では、車両12を制御する複数のECU22同士を接続する外部バス20Hから車両12のCAN情報を取得可能に構成されている。本実施形態によれば、車両制御用の通信情報を利用することにより、車両12から当該車両12の状態を容易に取得することができる。
また、本実施形態のエージェントサーバ16では、図6に示されるように所定時間における車両12の状態に基づいて機械学習を行っている。そのため、本実施形態によれば、例えば乗員が警告灯等を認識可能な時間を所定時間に設定することにより、乗員が気付くであろう車両12の状態を意図の推定に反映させることができる。
本実施形態のマニュアル提供システム10では、車両12に搭載された車載器20が乗員からの質問に対する回答を提供可能に構成されている。本実施形態によれば、車両12における乗員の操作の利便性を向上させることができる。
また、本実施形態では、図9に示すように車載器20が入力ボタンをトーンダウンさせてモニタ28に表示させると共に、入力ボタン80による操作の受付を禁止する。そのため、本実施形態によれば、乗員に対してエージェントの利用ができないことを視覚で訴えることができる。
なお、本実施形態では入力ボタン80をトーンダウンさせることで操作の受け付けを禁止させているが、これ限らず、「未対応」等のテキストを入力ボタン80の上に重畳表示させてもよい。
また、本実施形態の車載器20は、車両12に対応するオーナーズマニュアルが間もなく入手可能となる場合に、「準備中」、「取寄中」等のテキストを対応する入力ボタン80に隣接して又は重畳して表示させてもよい。また、車載器20は、車両12に対応するオーナーズマニュアルの入手が完了した場合に、「NEW」、「今日から使用できます」等のテキストを対応する入力ボタン80に隣接して又は重畳して表示させてもよい。さらに、車載器20は、車両12に対応するオーナーズマニュアルの入手中から入手完了にかけて入力ボタン80の色を経時的に変える、又はトーンダウンの程度を次第に弱めてもよい。オーナーズマニュアルに関する「入手」とは、対応するオーナーズマニュアルがOMサーバ18のOMデータ300に追加され、車両12のオーナーズマニュアルへの対応情報がエージェントサーバ16の車両OM対応データ200に追加されることを指す。
[第2の実施形態]
第1の実施形態では、テキスト情報及びCAN情報に基づいて意図推定処理を実行し、一のインテントラベルを取得していた。これに対し、第2の実施形態では、意図推定処理において複数のインテントラベルを取得し、CAN情報を参照して一のインテントラベルに絞り込む意図特定処理を実行している。すなわち、推定処理として、意図推定処理と意図特定処理とを実行している。以下、質問に対する回答を提示する場合の処理における第1の実施形態との相違点について説明する。
本実施形態の車両12において乗員が質問をした場合おいて、回答が提示されるまでの処理について、図13及び図14のシーケンス図を用いて説明する。
図13のステップS60からステップS63までの処理については、図10のステップS40からステップS43までの処理と同じである。
ステップS64において、OMA対話制御部36は車両情報から対応するOM品番を特定する。つまり、車両12の車体番号、車種、グレード、及び装備品等に対応するオーナーズマニュアルを特定する。
ステップS65において、OMA対話制御部36は、OM品番から対応する意図推定エンジンIDを特定する。つまり、車両12のオーナーズマニュアルに対応する意図推定エンジンを特定する。
ステップS66において、OMA対話制御部36は、HMIサーバ14から取得したテキスト情報、及び意図推定エンジンIDを意図推定部38に提供する。
ステップS67において、意図推定部38は推定処理の一つである意図推定処理を実行する。これにより、意図推定部38は、テキスト情報に対応するインテントラベルを出力する。例えば、「メータのランプが光ったけど何」というテキスト情報に対して、推定された意図に対応する複数のインテントラベルが出力される。
図14のステップS68において、意図推定部38は、確信度が所定値を超える複数のインテントラベルをOMA対話制御部36に提供する。なお、確信度が所定値を超えるインテントラベルが出力されなかった場合、意図推定部38はインテントラベルがないことを示すラベルなし情報をOMA対話制御部36に提供する。
ステップS69において、OMA対話制御部36は、参照すべきCAN情報があるか否かの判定を行う。例えば、意図推定処理の結果、表示1、表示2及び表示10に関係する警告灯についてのインテントラベルを取得しているとする。この場合、警告灯に係るCAN情報が参照できるため、参照すべきCAN情報があると判定される。OMA対話制御部36は、参照すべきCAN情報があると判定した場合、ステップS70に進む。一方、OMA対話制御部36は、参照すべきCAN情報がないと判定した場合、ステップS74に進む。
ステップS70において、OMA対話制御部36はCAN情報を検索する。すなわち、OMA対話制御部36は、データサーバ19からCAN情報の取得を試みる。
ステップS71において、OMA対話制御部36は車両情報及び発話開始時刻をデータサーバ19に向けて送信する。
ステップS72において、データサーバ19ではデータ管理部39がCAN情報又は情報なし通知をエージェントサーバ16に送信する。ステップの詳細については、図10のステップS46に同じである。
ステップS73において、特定部としてのOMA対話制御部36はCAN情報から推定処理の一つである意図特定処理を実行する。これにより、OMA対話制御部36は、複数のインテントからCAN情報に対応する一のインテントラベルを取得する。例えば、タイヤ空気圧警告灯が点灯していることを示すCAN情報が取得された場合、複数のインテントラベルからタイヤ空気圧警告システムに係るインテントラベルが取得される。すなわち、意図推定部38による意図推定処理と、OMA対話制御部36による意図特定処理とにより、推定処理が実行される。
以下、ステップS74からステップS78までの処理については、図11のステップS52からステップS56までの処理と同じである。
以上の処理を行う本実施形態のマニュアル提供システム10によれば、第1の実施形態と同様の効果を得ることができる。
[第3の実施形態]
第1及び第2の実施形態では、HMIサーバ14、エージェントサーバ16及びデータサーバ19を異なるサーバ30としている。これに対し、第3の実施形態では、図15に示されるように、HMIサーバ14及びデータサーバ19をエージェントサーバ16に統合している。
本実施形態のマニュアル提供システム10においても、第1及び第2の実施形態と同様の効果を得ることができる。
[備考]
上記各実施形態では、乗員の発話に基づく音声情報をHMIサーバ14に対する入力情報としていたが、これに限らず、タッチパネルであるモニタ28に対する乗員の操作に基づく操作情報を入力情報としてもよい。この場合の操作情報とは、例えば、乗員がモニタ28に対して入力した文字列に関するテキスト情報が挙げられる。
上記第3の実施形態では、マニュアル提供システム10を構成するHMIサーバ14及びデータサーバ19をエージェントサーバ16に統合したが、さらにOMサーバ18を統合してもよい。また、HMIサーバ14、エージェントサーバ16、OMサーバ18、データサーバ19のうち、一部のサーバ30を統合してもよい。また、エージェントサーバ16においては、OMA対話制御部36及び意図推定部38の機能をそれぞれ異なるサーバ30に配置してもよい。
なお、上記実施形態でCPU20A、30Aがソフトウェア(プログラム)を読み込んで実行した各種処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field−Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述した受付処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶(インストール)されている態様で説明した。例えば、サーバ30における処理プログラム100は、ストレージ30Dに予め記憶されている。しかしこれに限らず、各プログラムは、CD−ROM(Compact Disc Read Only Memory)、DVD−ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
上記各実施形態における処理は、1つのプロセッサによって実行されるのみならず、複数のプロセッサが協働して実行されるものであってもよい。上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
10 マニュアル提供システム(エージェントシステム)
12 車両
16 エージェントサーバ(エージェント装置)
20 車載器
28 モニタ
38 意図推定部(推定部)
50 受付部
53 確認部
54 指示部
100 処理プログラム(プログラム)
200 車両OM対応データ(データベース)

Claims (5)

  1. 車両に搭載された車載器から、前記車両の車両情報及びユーザからの質問である質問情報を受け付け可能な受付部と、
    前記受付部が受け付けた前記車両情報に基づいて、前記質問に対する回答の生成が不可能な前記質問の範囲を確認する確認部と、
    前記確認部により前記回答の生成が不可能と確認された範囲の前記質問について、前記車載器において受け付けを禁止するよう前記車載器に指示する指示部と、
    を備えるエージェント装置。
  2. 前記確認部は、
    回答を記憶したマニュアルの車両毎への対応状況を記憶したデータベースを検索し、前記車両情報に対応する前記マニュアルの有無に基づいて前記回答の生成が不可能な前記質問の範囲を確認する請求項1に記載のエージェント装置。
  3. 前記確認部は、
    前記車両の起動時に前記回答の生成が不可能な前記質問の範囲を確認する請求項1又は2に記載のエージェント装置。
  4. 請求項1〜3の何れか1項に記載のエージェント装置と、
    前記車両に設けられた表示装置において、前記指示部から受け付けを禁止するように指示された前記質問に係る入力ボタンをトーンダウンさせるように制御する前記車載器と、
    を備えるエージェントシステム。
  5. 車両に搭載された車載器から、前記車両の車両情報を前記車両が起動した際に受け付け、かつ、ユーザからの質問である質問情報を受け付け可能な受付ステップと、
    受け付けられた前記車両情報に基づいて、前記質問に対する回答の生成が不可能な前記質問の範囲を確認する確認ステップと、
    前記確認ステップにおいて前記回答の生成が不可能と確認された範囲の前記質問について、前記車載器において受け付けを禁止するよう前記車載器に指示する指示ステップと、
    を備える処理をコンピュータに実行させるためのプログラム。
JP2020013028A 2020-01-29 2020-01-29 エージェント装置、エージェントシステム及びプログラム Active JP7347244B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020013028A JP7347244B2 (ja) 2020-01-29 2020-01-29 エージェント装置、エージェントシステム及びプログラム
CN202110012717.8A CN113271330B (zh) 2020-01-29 2021-01-06 代理装置、代理系统以及非暂时性记录介质
US17/158,056 US11790907B2 (en) 2020-01-29 2021-01-26 Agent device, agent system, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020013028A JP7347244B2 (ja) 2020-01-29 2020-01-29 エージェント装置、エージェントシステム及びプログラム

Publications (2)

Publication Number Publication Date
JP2021117942A true JP2021117942A (ja) 2021-08-10
JP7347244B2 JP7347244B2 (ja) 2023-09-20

Family

ID=76970365

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020013028A Active JP7347244B2 (ja) 2020-01-29 2020-01-29 エージェント装置、エージェントシステム及びプログラム

Country Status (3)

Country Link
US (1) US11790907B2 (ja)
JP (1) JP7347244B2 (ja)
CN (1) CN113271330B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7347244B2 (ja) * 2020-01-29 2023-09-20 トヨタ自動車株式会社 エージェント装置、エージェントシステム及びプログラム
US20220415321A1 (en) * 2021-06-25 2022-12-29 Samsung Electronics Co., Ltd. Electronic device mounted in vehicle, and method of operating the same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004309324A (ja) * 2003-04-08 2004-11-04 Denso Corp 車両用ナビゲーション装置
JP2005165901A (ja) * 2003-12-05 2005-06-23 Kenwood Corp データ利用装置及びデータ利用方法
JP2006193138A (ja) * 2004-12-14 2006-07-27 Denso Corp 車載システム、警告灯詳細情報通知システム及びサーバシステム
JP2013032986A (ja) * 2011-08-02 2013-02-14 Toyota Infotechnology Center Co Ltd 車載端末およびユーザインタフェース制限方法
JP2019127192A (ja) * 2018-01-25 2019-08-01 トヨタ自動車株式会社 車載装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001141500A (ja) 1999-11-15 2001-05-25 Auto Network Gijutsu Kenkyusho:Kk 車載エージェント処理装置
US7770102B1 (en) * 2000-06-06 2010-08-03 Microsoft Corporation Method and system for semantically labeling strings and providing actions based on semantically labeled strings
US20090006543A1 (en) * 2001-08-20 2009-01-01 Masterobjects System and method for asynchronous retrieval of information based on incremental user input
JP4259054B2 (ja) * 2002-07-10 2009-04-30 株式会社エクォス・リサーチ 車載装置
JP4534023B2 (ja) * 2003-10-24 2010-09-01 長太郎エンジニアリング株式会社 対話形式認証システム、及び対話形式認証システムの認証サーバのコンピュータに実行させるプログラム
JP2005166901A (ja) 2003-12-02 2005-06-23 Canon Inc 半導体露光方法および装置
JP2006058218A (ja) * 2004-08-23 2006-03-02 Fujitsu Ten Ltd 車載用表示装置
JP2012059004A (ja) * 2010-09-08 2012-03-22 Fujitsu Ten Ltd 情報提供システム、中継装置および端末装置
US9798799B2 (en) * 2012-11-15 2017-10-24 Sri International Vehicle personal assistant that interprets spoken natural language input based upon vehicle context
US9196248B2 (en) * 2013-02-13 2015-11-24 Bayerische Motoren Werke Aktiengesellschaft Voice-interfaced in-vehicle assistance
US9906615B1 (en) * 2013-02-28 2018-02-27 Open Text Sa Ulc System and method for selective activation of site features
JP6362875B2 (ja) * 2014-02-27 2018-07-25 クラリオン株式会社 車載装置、車載情報システム
US20190034048A1 (en) * 2015-12-30 2019-01-31 Sirius Xm Radio Inc. Unifying user-interface for multi-source media
US10410107B2 (en) * 2016-07-26 2019-09-10 Salesforce.Com, Inc. Natural language platform for database system
US10909441B2 (en) * 2017-06-02 2021-02-02 Microsoft Technology Licensing, Llc Modeling an action completion conversation using a knowledge graph
US20190156447A1 (en) * 2017-11-21 2019-05-23 Lorenzo Curci Flight Logging and Resource Management System
JP6984480B2 (ja) * 2018-02-20 2021-12-22 トヨタ自動車株式会社 情報処理装置および情報処理方法
JP2019204287A (ja) * 2018-05-23 2019-11-28 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN110858481B (zh) * 2018-08-07 2024-04-30 三星电子株式会社 用于处理用户语音话语的系统和用于操作该系统的方法
EP3627344A1 (en) * 2018-09-18 2020-03-25 QlikTech International AB Conversational analytics
US11120791B2 (en) * 2018-11-15 2021-09-14 International Business Machines Corporation Collaborative artificial intelligence (AI) voice response system control for authorizing a command associated with a calendar event
US11069351B1 (en) * 2018-12-11 2021-07-20 Amazon Technologies, Inc. Vehicle voice user interface
US11250216B2 (en) * 2019-08-15 2022-02-15 International Business Machines Corporation Multiple parallel delineated topics of a conversation within the same virtual assistant
US11482220B1 (en) * 2019-12-09 2022-10-25 Amazon Technologies, Inc. Classifying voice search queries for enhanced privacy
JP7448350B2 (ja) * 2019-12-18 2024-03-12 トヨタ自動車株式会社 エージェント装置、エージェントシステム、及びエージェントプログラム
JP7347244B2 (ja) * 2020-01-29 2023-09-20 トヨタ自動車株式会社 エージェント装置、エージェントシステム及びプログラム
JP7272293B2 (ja) * 2020-01-29 2023-05-12 トヨタ自動車株式会社 エージェント装置、エージェントシステム及びプログラム
JP7338493B2 (ja) * 2020-01-29 2023-09-05 トヨタ自動車株式会社 エージェント装置、エージェントシステム及びプログラム
JP2021123133A (ja) * 2020-01-31 2021-08-30 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
AU2021254787A1 (en) * 2020-04-15 2022-10-27 Pindrop Security, Inc. Passive and continuous multi-speaker voice biometrics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004309324A (ja) * 2003-04-08 2004-11-04 Denso Corp 車両用ナビゲーション装置
JP2005165901A (ja) * 2003-12-05 2005-06-23 Kenwood Corp データ利用装置及びデータ利用方法
JP2006193138A (ja) * 2004-12-14 2006-07-27 Denso Corp 車載システム、警告灯詳細情報通知システム及びサーバシステム
JP2013032986A (ja) * 2011-08-02 2013-02-14 Toyota Infotechnology Center Co Ltd 車載端末およびユーザインタフェース制限方法
JP2019127192A (ja) * 2018-01-25 2019-08-01 トヨタ自動車株式会社 車載装置

Also Published As

Publication number Publication date
US11790907B2 (en) 2023-10-17
US20210233528A1 (en) 2021-07-29
JP7347244B2 (ja) 2023-09-20
CN113271330A (zh) 2021-08-17
CN113271330B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
JP7338493B2 (ja) エージェント装置、エージェントシステム及びプログラム
US11809885B2 (en) Agent device, agent system, and recording medium
US11790907B2 (en) Agent device, agent system, and recording medium
JP2019127192A (ja) 車載装置
US20230278426A1 (en) Vehicle-mounted apparatus, information processing method, and non-transitory storage medium
JP7044040B2 (ja) 質問応答装置、質問応答方法及びプログラム
CN113206861B (zh) 信息处理装置、信息处理方法和记录介质
JP2021093087A (ja) エージェント装置
US11498576B2 (en) Onboard device, traveling state estimation method, server device, information processing method, and traveling state estimation system
JP7448350B2 (ja) エージェント装置、エージェントシステム、及びエージェントプログラム
JP2019145002A (ja) 情報処理方法、プログラム、情報処理装置、及び情報処理システム
US11593568B2 (en) Agent system, agent processing method, and non-transitory storage medium that stores an agent processing program
WO2019234486A1 (en) Speech recognition system, information processing device and server
CN111739524B (zh) 智能体装置、智能体装置的控制方法及存储介质
JP2021099735A (ja) エージェント装置
JP2021117205A (ja) 情報処理装置
US20210358495A1 (en) Agent control device
WO2024020065A1 (en) Collaboration between a recommendation engine and a voice assistant
JP2021182057A (ja) エージェント制御装置
CN114731344A (zh) 用于运行车辆的方法、装置、计算机程序和计算机可读的存储介质
JP2006292626A (ja) 音認識補助システム
CN113129891A (zh) 一种汽车使用指导系统及方法
JP2001014136A (ja) 車載用コンピュータシステム、車載用コンピュータ、端末装置及び情報入出力方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R151 Written notification of patent or utility model registration

Ref document number: 7347244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151