JP2022103675A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2022103675A
JP2022103675A JP2020218449A JP2020218449A JP2022103675A JP 2022103675 A JP2022103675 A JP 2022103675A JP 2020218449 A JP2020218449 A JP 2020218449A JP 2020218449 A JP2020218449 A JP 2020218449A JP 2022103675 A JP2022103675 A JP 2022103675A
Authority
JP
Japan
Prior art keywords
metadata
user
information
unit
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020218449A
Other languages
English (en)
Inventor
和哉 渡邉
Kazuya Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020218449A priority Critical patent/JP2022103675A/ja
Priority to CN202111575412.4A priority patent/CN114690896A/zh
Priority to US17/560,425 priority patent/US20220208187A1/en
Publication of JP2022103675A publication Critical patent/JP2022103675A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3658Lane guidance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3476Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44Program or device authentication
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025Phonemes, fenemes or fenones being the recognition units
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221Announcement of recognition results
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】音声ユーザインターフェースを介してユーザに通知される情報を、各ユーザに合わせた情報量に調整すること。【解決手段】実施形態の情報処理装置は、複数のコンテンツの其々についてユーザが重視する度合いを表す重要度と、前記複数のコンテンツの其々に付随するメタデータの情報量とに基づいて、前記メタデータの優先順位を決定する決定部と、前記決定部によって決定された前記優先順位に基づいて、前記メタデータを前記ユーザに通知する通知部と、を備える。【選択図】図1

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
音声認識技術を利用した音声ユーザインターフェースやそれに関連する技術が知られている(例えば、特許文献1-3参照)。
特開2020-80110号公報 特開2017-220238号公報 特開2020-30489号公報
しかしながら、従来の技術では、音声ユーザインターフェースを介してユーザに通知される情報に過不足が生じる場合があった。
本発明の態様は、このような事情を考慮してなされたものであり、音声ユーザインターフェースを介してユーザに通知される情報を、各ユーザに合わせた情報量に調整することができる情報処理装置、情報処理方法、及びプログラムを提供することを目的の一つとする。
この発明に係る情報処理装置、情報処理方法、及びプログラムは、以下の構成を採用した。
(1)本発明の第1の態様は、複数のコンテンツの其々についてユーザが重視する度合いを表す重要度と、前記複数のコンテンツの其々に付随するメタデータの情報量とに基づいて、前記メタデータの優先順位を決定する決定部と、前記決定部によって決定された前記優先順位に基づいて、前記メタデータを前記ユーザに通知する通知部と、を備える情報処理装置である。
(2)本発明の第2の態様は、第1の態様において、前記ユーザの発話による要求を取得する取得部と、前記取得部によって取得された前記要求を満たす一つ以上のコンテンツから前記メタデータを抽出する抽出部と、を更に備え、前記決定部は、前記抽出部によって抽出された前記メタデータの情報量と、前記抽出部によって抽出された前記メタデータが付随していたコンテンツに対する前記重要度とに基づいて、前記メタデータの優先順位を決定し、前記通知部は、前記要求に対する応答として、前記優先順位に基づき前記メタデータを前記ユーザに通知する情報処理装置である。
(3)本発明の第3の態様は、第2の態様において、前記ユーザが前記要求を発話したときの前記ユーザの周辺の環境に基づいて、前記重要度を推定する推定部を更に備える情報処理装置である。
(4)本発明の第4の態様は、第3の態様において、前記推定部は、更に、前記メタデータが通知された前記ユーザのフィードバックの結果に基づいて、前記重要度を推定する情報処理装置である。
(5)本発明の第5の態様は、第1から第4の態様のうちいずれか一つにおいて、前記メタデータには、テキストが含まれ、前記通知部は、前記メタデータに含まれる前記テキストを自動音声により読み上げることで、前記メタデータを前記ユーザに通知する情報処理装置である。
(6)本発明の第6の態様は、第5の態様において、前記決定部は、前記ユーザが目的地に到達するまでの期間内に、前記テキストの読み上げが完了するように、前記メタデータの優先順位を決定する情報処理装置である。
(7)本発明の第7の態様は、第1から第6の態様のうちいずれ一つにおいて、前記決定部は、付随先の前記コンテンツに対する前記重要度が高く、かつ前記情報量が少ない前記メタデータほど、前記優先順位を高くする情報処理装置である。
(8)本発明の第8の態様は、第1から第7の態様のうちいずれか一つにおいて、前記ユーザは、車両を運転するドライバーであり、前記決定部は、更に、前記ドライバーの運転負荷に基づいて、前記メタデータの優先順位を決定する情報処理装置である。
(9)本発明の第9の態様は、第8の態様において、前記決定部は、前記ドライバーの運転負荷が大きいほど、前記情報量が多い前記メタデータの優先順位を低くする情報処理装置である。
(10)本発明の第10の態様は、第8又は第9の態様において、前記通知部は、前記車両が自動運転モード下にある場合、前記車両が手動運転モード下にある場合に比べて、より多い数の前記メタデータを前記ユーザに通知する情報処理装置である。
(11)本発明の第11の態様は、第8から第10の態様のうちいずれか一つにおいて、前記通知部は、前記車両が自動運転モード下にある場合、更に、前記コンテンツを前記ユーザに通知する情報処理装置である。
(12)本発明の第12の態様は、コンピュータが、複数のコンテンツの其々についてユーザが重視する度合いを表す重要度と、前記複数のコンテンツの其々に付随するメタデータの情報量とに基づいて、前記メタデータの優先順位を決定し、前記決定した優先順位に基づいて、前記メタデータを前記ユーザに通知する情報処理方法である。
(13)本発明の第13の態様は、コンピュータに、複数のコンテンツの其々についてユーザが重視する度合いを表す重要度と、前記複数のコンテンツの其々に付随するメタデータの情報量とに基づいて、前記メタデータの優先順位を決定すること、前記決定した優先順位に基づいて、前記メタデータを前記ユーザに通知すること、を実行させるためのプログラムである。
上記態様によれば、音声ユーザインターフェースを介してユーザに通知される情報を、各ユーザに合わせた情報量に調整することができる。
実施形態の情報提供システム1の構成図である。 ユーザ認証情報132の内容について説明するための図である。 実施形態の通信端末300の構成図である。 実施形態のエージェント装置500が搭載された車両Mの概略構成の一例を示す図である。 実施形態の情報提供装置100による一連の処理の流れを表すフローチャートである。 観点リスト134の一例を表す図である。 重要度リストの一例を表す図である。 POI情報136の一例を表す図である。 メタデータリストの一例を表す図である。 重要度観点付きリストの一例を表す図である。 各メタデータの優先順位の一例を表す図である。 応答文の一例を表す図である。 本実施形態の技術を適用した場面例である。 ユーザU1に提供される情報の一例を表す図である。 ユーザU2に提供される情報の一例を表す図である。 実施形態のエージェント装置500が搭載された車両Mの概略構成の他の例を示す図である。
以下、図面を参照し、本発明の情報処理装置、情報処理方法、及びプログラムの実施形態について説明する。
図1は、実施形態の情報提供システム1の構成図である。情報提供システム1は、例えば、情報提供装置100と、情報提供システム1のユーザU1が利用する通信端末300と、情報提供システム1のユーザU2が利用する車両Mとを備える。これらの構成要素は、ネットワークNWを介して互いに通信可能である。ネットワークNWは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、電話回線、公衆回線、専用回線、プロバイダ装置、無線基地局等を含む。情報提供システム1には、通信端末300または車両Mの一方または双方が複数含まれてもよい。車両Mは、例えば、エージェント装置500を備える。情報提供装置100は、「情報処理装置」の一例である。
情報提供装置100は、通信端末300からユーザU1の問い合わせや要求等を受け付け、受け付けた問い合わせや要求に応じた処理を行い、処理結果を通信端末300に送信する。また、情報提供装置100は、車両Mに搭載されたエージェント装置500からユーザU2の問い合わせや要求等を受け付け、受け付けた問い合わせや要求に応じた処理を行い、処理結果をエージェント装置500に送信する。情報提供装置100は、例えば、通信端末300およびエージェント装置500と、ネットワークNWを介して互いに通信し、各種データを送受信するクラウドサーバとして機能してもよい。
通信端末300は、例えば、スマートフォンやタブレット端末等の携帯型端末である。通信端末300は、ユーザU1からの問い合わせや要求等の情報を受け付ける。通信端末300は、ユーザU1から受け付けた情報を情報提供装置100に送信し、送信した情報に対する回答として得られた情報を出力する。つまり、通信端末300は、音声ユーザインターフェースとして機能する。
エージェント装置500が搭載される車両Mは、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。また、車両Mは、自動運転車両であってもよい。自動運転とは、例えば、車両の操舵または速度のうち、一方または双方を自動的に制御することである。上述した車両の運転制御には、例えば、ACC(Adaptive Cruise Control)や、ALC(Auto Lane Changing)、LKAS(Lane Keeping Assistance System)といった種々の運転制御が含まれてよい。自動運転車両は、乗員(運転者)の手動運転によって運転が制御されることがあってもよい。
エージェント装置500は、車両Mの乗員(例えば、ユーザU2)と対話したり、乗員から問い合わせや要求等に対する情報を提供したりする。エージェント装置500は、例えば、ユーザU2からの問い合わせや要求等の情報を受け付け、その受け付けた情報を情報提供装置100に送信し、送信した情報に対する回答として得られた情報を出力する。エージェント装置500は、通信端末300と同様に、音声ユーザインターフェースとして機能する。音声ユーザインターフェース(通信端末300又はエージェント装置500)と情報提供装置100とを合わせたものは、「情報処理装置」の他の例である。
[情報提供装置]
以下、情報提供装置100の構成を説明する。情報提供装置100は、例えば、通信部102と、認証部104と、取得部106と、音声認識部108と、自然言語処理部110と、メタデータ抽出部112と、重要度推定部114と、優先順位決定部116と、発話情報生成部118と、通信制御部120と、記憶部130とを備える。取得部106、音声認識部108、及び自然言語処理部110を合わせたものは、「取得部」の一例である。メタデータ抽出部112は「抽出部」の一例であり、重要度推定部114は「推定部」の一例であり、優先順位決定部116は「決定部」の一例である。通信部102、発話情報生成部118、及び通信制御部120を合わせたもの、又は通信部102、発話情報生成部118、通信制御部120、及び音声ユーザインターフェースを合わせたものは、「通知部」の一例である。
認証部104と、取得部106と、音声認識部108と、自然言語処理部110と、メタデータ抽出部112と、重要度推定部114と、優先順位決定部116と、発話情報生成部118と、通信制御部120は、それぞれ、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置等に装着されることで情報提供装置100の記憶装置にインストールされてもよい。
記憶部130は、上記の各種記憶装置、或いはEEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)等により実現される。記憶部130には、上記のプロセッサによって参照されるプログラムに加えて、例えば、ユーザ認証情報132、観点リスト134、POI(Point of Interest)情報136、発話テンプレート138などが格納される。
ユーザ認証情報132には、例えば、情報提供装置100を利用するユーザを識別する情報や認証部104による認証時に用いられる情報等が含まれる。ユーザ認証情報132は、例えば、ユーザID、パスワード、住所、氏名、年齢、性別、趣味、特技、その他情報等である。その他情報には、ユーザの趣味、特技、関心事などが含まれる。
観点リスト134は、ユーザが興味或いは関心を寄せ得る複数の観点がリスト化されたデータである。これら複数の観点は、ユーザの自己申告により決定されてもよいし、複数のユーザの申告結果から代表的なものが統計的に選び出されてもよい。
POI情報136は、店舗や施設といった特定の地点に関する情報である。POI情報136には、POIに関するコンテンツや、そのコンテンツに付随するメタデータなどが含まれる。
発話テンプレート138は、後述する応答文を生成する際のテンプレート(定型書式)である。
[構成要素の説明]
以下、情報提供装置100の各構成要素について説明する。通信部102は、ネットワークNWを介して通信端末300、エージェント装置500、その他の外部装置と通信するインターフェースである。例えば、通信部102は、NIC(Network Interface Card)や、無線通信用のアンテナなどを備える。
認証部104は、情報提供システム1を利用するユーザ(例えば、ユーザU1、U2)に関する情報を、ユーザ認証情報132として記憶部130に登録する。例えば、認証部104は、音声ユーザインターフェース(通信端末300又はエージェント装置500)からユーザ登録要求を受け付けた場合に、ユーザ認証情報132に含まれる各種情報を入力するためのGUI(Graphical User Interface)を、登録要求を受け付けた装置に表示させる。ユーザがGUIに各種情報を入力すると、認証部104は、その装置からユーザに関する情報を取得する。そして、認証部104は、音声ユーザインターフェース(通信端末300又はエージェント装置500)から取得したユーザに関する情報を記憶部130にユーザ認証情報132として登録する。
図2は、ユーザ認証情報132の内容について説明するための図である。ユーザ認証情報132は、例えば、ユーザの認証情報に対して、そのユーザの住所、氏名、年齢、性別、連絡先、その他情報などが対応付けられたものである。認証情報には、例えば、ユーザを識別する識別情報であるユーザIDやパスワード等が含まれる。また、認証情報には、指紋情報や虹彩情報等の生体認証情報が含まれてもよい。連絡先は、例えば、そのユーザによって使用される音声ユーザインターフェース(通信端末300又はエージェント装置500)と通信するためのアドレス情報であってもよいし、ユーザの電話番号やメールアドレス、端末識別情報等であってもよい。情報提供装置100は、連絡先の情報に基づいて、各移動通信機器と通信し、各種情報を提供する。
認証部104は、予め登録しておいたユーザ認証情報132に基づいて情報提供システム1のサービスのユーザを認証する。例えば、認証部104は、通信端末300またはエージェント装置500からサービスの利用要求を受け付けたタイミングでユーザを認証する。具体的には、認証部104は、利用要求を受け付けた場合に、ユーザIDやパスワード等の認証情報を入力するためのGUIを、要求のあった端末装置に表示させると共に、そのGUI上に入力された入力認証情報とユーザ認証情報132の認証情報とを比較する。認証部104は、ユーザ認証情報132の中に、入力認証情報に合致する認証情報が格納されているか否かを判定し、入力認証情報に合致する認証情報が格納されている場合、サービスの利用を許可する。一方、認証部104は、入力認証情報に合致する認証情報が格納されていない場合、サービスの利用を禁止したり、或いは新規登録を行わせるための処理を行う。
取得部106は、通信部102を介して(ネットワークNWを介して)、通信端末300またはエージェント装置500から、一人又は複数人のユーザの発話(utterance)を取得する。ユーザの発話は、音声データ(音響データや音響ストリームともいう)であってもよいし、その音声データから認識されたテキストデータであってもよい。
音声認識部108は、ユーザの発話音声を認識する音声認識(音声をテキスト化する処理)を行う。例えば、音声認識部108は、取得部106によって取得されたユーザの発話を表す音声データに対して音声認識を行い、音声データをテキスト化したテキストデータを生成する。テキストデータには、発話の内容が文字として記述された文字列が含まれる。
例えば、音声認識部108は、音響モデルと、自動音声認識のための辞書(以下、ASR辞書と称する)とを用いて、音声データをテキスト化してよい。音響モデルは、入力された音声を周波数に応じて分離し、その分離した各音声を音素(スペクトログラム)に変換するよう予め学習又は調整されたモデルであり、例えば、ニューラルネットワークや隠れマルコフモデルなどである。ASR辞書は、複数の音素の組み合わせに対して文字列が対応付けれており、更に、構文によって文字列を区切る位置が定義付けられたデータベースである。ASR辞書は、いわゆるパターンマッチ辞書である。例えば、音声認識部108は、音声データを音響モデルに入力し、その音響モデルによって出力された音素の集合をASR辞書の中から探し、その音素の集合に対応した文字列を取得する。音声認識部108は、このように得られた文字列の組み合わせをテキストデータとして生成する。なお、音声認識部108は、ASR辞書を使用する代わりに、例えばn-gramモデル等によって実装された言語モデルを用いて、音響モデルの出力結果からテキストデータを生成してもよい。
自然言語処理部110は、テキストの構造や意味を理解する自然言語理解を行う。例えば、自然言語処理部110は、意味解釈のために予め用意された辞書(以下、NLU辞書)を参照しながら、音声認識部108によって生成されたテキストデータの意味を解釈する。NLU辞書は、テキストデータに対して抽象化された意味情報が対応付けられたデータベースである。NLU辞書は、同義語や類義語などを含んでもよい。音声認識と自然言語理解は、必ずしも段階が明確に分かれる必要はなく、自然言語理解の結果を受けて音声認識の結果を修正するなど、相互に影響し合って行われてよい。
メタデータ抽出部112は、自然言語処理部110によって理解されたユーザの発話の意味が「要求」であった場合、その「要求」を満たす一つ又は複数のコンテンツのメタデータをPOI情報136から抽出する。例えば、ユーザが「近くの中華料理屋を探して」という「要求」を音声ユーザインターフェースに対して発話し、それが自然言語処理部110によって理解されたとする。この場合、メタデータ抽出部112は、「ユーザの現在位置に近い」という条件と、「中華料理屋」という条件を満たす飲食店に関するコンテンツをPOI情報136から探し、更に、そのコンテンツに付随するメタデータをPOI情報136から抽出する。コンテンツは、POIのホームページ、レビュー(口コミ)投稿サイト、予約サイト、WebGIS(Geographic Information System)などで扱われるコンテンツである。例えば、飲食店に関するコンテンツには、料理のメニューや価格、レビュー、写真、アクセス情報(例えば駐車場の有無)、営業時刻などが含まれる。
メタデータは、付随先のコンテンツを特定し得る程度の情報が含まれるものであり、典型的には文書タグである。文書タグは、ウェブクローラーなどにウェブページの情報を知らせるためのタグ情報であり、例えば、HTML(HyperText Markup Language)のmetaタグのようなタグであってもよいし、そのウェブページのタイトルや要約文であってもよい。また、メタデータは、文書タグに加えて、或いは代えて、ディジタル写真や動画のファイルに付加されるタグやタイトルであってもよいし、コンテンツに関するレビュー(口コミ)文書であってもよい。例えば、WebGISでは、地図上のPOIの位置座標に加えて、そのPOIへのアクセス方法や、営業時間、メニュー、不特定多数のユーザのレビュー(口コミ)などが併せて提供される場合がある。POIの位置が対応付けられたマップや航空写真を一つのコンテンツとして捉えた場合、そのコンテンツのメタデータには、POIへアクセス方法や、営業時間、メニュー、レビュー(口コミ)などが含まれることになる。
重要度推定部114は、観点リスト134に含まれる複数の観点の其々に対するユーザの重要度を推定する。重要度とは、ユーザが各観点をどの程度重視しているのかということを定量的に表した指標である。言い換えれば、重要度は、ユーザが各観点についてどの程度興味や関心を寄せているのかということを表している。例えば、重要度推定部114は、「要求」を発話したユーザの周辺の環境に基づいて、そのユーザの各観点に対する重要度を推定してよい。更に、重要度推定部114は、「要求」に対する「応答」が通知されたユーザのフィードバックの結果に基づいて、そのユーザの各観点に対する重要度を推定してもよい。
優先順位決定部116は、メタデータ抽出部112によって抽出された各メタデータの情報量と、重要度推定部114によって推定された各観点に対するユーザの重要度とに基づいて、各メタデータの優先順位を決定する。
発話情報生成部118は、優先順位決定部116によって決定されたメタデータの優先順位に基づいて、メタデータ抽出部112によって抽出された各コンテンツのメタデータの中から、優先的に通知すべきメタデータを選別し、その選別したメタデータを用いて、発話情報を生成する。発話情報とは、ユーザの「要求」に対する「応答」として、音声ユーザインターフェースに発話させる音声データそのもの、又はその音声データの元となるテキストデータである。
通信制御部120は、音声ユーザインターフェース(通信端末300とエージェント装置500とのうち、「要求」を受けた方の装置)に対して、発話情報生成部118によって生成された発話情報を、通信部102を介して送信する。これによって、メタデータが発話という手段によってユーザに通知される。
また、通信制御部120は、メタデータを発話させるための発話情報に加えて、更に、そのメタデータが付随したコンテンツを、音声ユーザインターフェースに通信部102を介して送信してもよい。
[通信端末]
次に、通信端末300の構成について説明する。図3は、実施形態の通信端末300の構成図である。通信端末300は、例えば、端末側通信部310と、入力部320と、ディスプレイ330と、スピーカ340と、マイクロフォン(以下、マイク)350と、位置取得部355と、カメラ360と、アプリ実行部370と、出力制御部380と、端末側記憶部390とを備える。位置取得部355と、アプリ実行部370と、出力制御部380とは、例えば、CPU等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPU等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置やカードスロット等に装着されることで通信端末300の記憶装置にインストールされてもよい。
端末側記憶部390は、上記の各種記憶装置、或いはEEPROM、ROM、RAM等により実現されてもよい。端末側記憶部390には、例えば、上記のプログラムや、情報提供アプリケーション392、その他の各種情報が格納される。
端末側通信部310は、例えば、ネットワークNWを利用して、情報提供装置100、エージェント装置500、その他の外部装置と通信を行う。
入力部320は、例えば、各種キーやボタン等の操作によるユーザU1の入力を受け付ける。ディスプレイ330は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等である。入力部320は、タッチパネルとしてディスプレイ330と一体に構成されていてもよい。ディスプレイ330は、出力制御部380の制御により、実施形態における各種情報を表示する。スピーカ340は、例えば、出力制御部380の制御により、所定の音声を出力する。マイク350は、例えば、出力制御部380の制御により、ユーザU1の音声の入力を受け付ける。
位置取得部355は、通信端末300の位置情報を取得する。例えば、位置取得部355は、GPS(Global Positioning System)などに代表されるGNSS(Global Navigation Satellite System)受信機を含む。位置情報とは、例えば、二次元の地図座標でもよく、緯度経度情報でもよい。位置取得部355は、端末側通信部310を介して、取得した位置情報を情報提供装置100に送信してよい。
カメラ360は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子(イメージセンサ)を利用したデジタルカメラである。例えば、ナビゲーション装置などの代用として通信端末300が車両Mのインストルメントパネルに取り付けられた場合、その通信端末300のカメラ360は、自動的に、又はユーザU1の操作に応じて、車両Mの車室内を撮像してよい。
アプリ実行部370は、端末側記憶部390に記憶された情報提供アプリケーション392を実行する。情報提供アプリケーション392は、情報提供装置100から提供された画像(つまりコンテンツ)をディスプレイ330に出力させたり、情報提供装置100から提供された情報(つまり発話情報)に対応する音声をスピーカ340から出力させたりするように、出力制御部380を制御するためのアプリケーションプログラムである。また、アプリ実行部370は、入力部320により入力された情報を、端末側通信部310を介して情報提供装置100に送信する。情報提供アプリケーション392は、例えば、ネットワークNWを介して外部装置からダウンロードされたものが通信端末300にインストールされてよい。
出力制御部380は、アプリ実行部370の制御により、ディスプレイ330に画像を表示させたり、スピーカ340に音声を出力させたりする。その際、出力制御部380は、ディスプレイ330に表示させる画像の内容や態様を制御したり、スピーカ340に出力させる音声の内容や態様を制御したりしてよい。
[車両]
次に、エージェント装置500が搭載された車両Mの概略構成について説明する。図4は、実施形態のエージェント装置500が搭載された車両Mの概略構成の一例を示す図である。図示のように、車両Mには、エージェント装置500と、マイク610と、表示・操作装置620と、スピーカユニット630と、ナビゲーション装置640と、MPU(Map Positioning Unit)650と、車両機器660と、車載通信装置670と、乗員認識装置690と、自動運転制御装置700とが搭載される。また、スマートフォンなどの汎用通信装置680が車室内に持ち込まれ、通信装置として使用される場合がある。汎用通信装置680は、例えば、通信端末300である。これらの装置は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。
先にエージェント装置500以外の構成について説明する。マイク610は、車室内で発せられた音声を収集する。表示・操作装置620は、画像を表示すると共に、入力操作を受付可能な装置(或いは装置群)である。表示・操作装置620は、典型的には、タッチパネルである。表示・操作装置620は、更に、HUD(Head Up Display)や機械式の入力装置を含んでもよい。スピーカユニット630は、例えば、車室内や車外に音声や警報音等を出力する。表示・操作装置620は、エージェント装置500とナビゲーション装置640とで共用されてもよい。
ナビゲーション装置640は、ナビHMI(Human machine Interface)と、GPSなどの位置測位装置と、地図情報を記憶した記憶装置と、経路探索などを行う制御装置(ナビゲーションコントローラ)とを備える。マイク610、表示・操作装置620、およびスピーカユニット630のうち一部または全部がナビHMIとして用いられてもよい。ナビゲーション装置640は、位置測位装置によって特定された車両Mの位置に基づいて地図情報を参照し、地図情報から車両Mの位置からユーザによって入力された目的地まで移動するための経路(ナビ経路)を探索し、経路に沿って車両Mが走行できるように、ナビHMIを用いて案内情報を出力する。経路探索機能は、ネットワークNWを介してアクセス可能な情報提供装置100やナビゲーションサーバにあってもよい。この場合、ナビゲーション装置640は、情報提供装置100やナビゲーションサーバから経路を取得して案内情報を出力する。なお、エージェント装置500は、ナビゲーションコントローラを基盤として構築されてもよく、その場合、ナビゲーションコントローラとエージェント装置500は、ハードウェア上は一体に構成される。
MPU650は、例えば、ナビゲーション装置640から提供された地図上経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、ブロックごとに推奨車線を決定する。例えば、MPU650は、左から何番目の車線を走行するといった決定を行う。また、MPU650は、ナビゲーション装置640の記憶装置に記憶された地図情報よりも高精度な地図情報(高精度地図)を用いて推奨車線を決定してもよい。高精度地図は、例えば、MPU650の記憶装置に記憶されていてもよく、ナビゲーション装置640の記憶装置やエージェント装置500の車両側記憶部560に記憶してもよい。高精度地図は、車線の中央の情報あるいは車線の境界の情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報などが含まれてよい。
車両機器660は、例えば、カメラやレーダ装置、LIDAR(Light Detection and Ranging)、物体認識装置である。カメラは、例えば、CCDやCMOS等の固体撮像素子を利用したデジタルカメラである。カメラは、車両Mの任意の箇所に取り付けられる。レーダ装置は、車両Mの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。LIDARは、車両Mの周辺に光を照射し、散乱光を測定する。LIDARは、発光から受光までの時間に基づいて、対象までの距離を検出する。物体認識装置は、カメラ、レーダ装置、およびLIDARのうち一部または全部による検出結果に対してセンサフュージョン処理を行って、車両Mの周辺に存在する物体の位置、種類、速度などを認識する。物体認識装置は、認識結果をエージェント装置500や自動運転制御装置700に出力する。
また、車両機器660は、例えば、運転操作子や、走行駆動力出力装置、ブレーキ装置、ステアリング装置等を含む。運転操作子は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、エージェント装置500や自動運転制御装置700、もしくは、走行駆動力出力装置、ブレーキ装置、およびステアリング装置のうち一部または全部に出力される。走行駆動力出力装置は、車両Mが走行するための走行駆動力(トルク)を駆動輪に出力する。ブレーキ装置は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、自動運転制御装置700から入力される情報、或いは運転操作子から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ステアリング装置は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、自動運転制御装置700から入力される情報、或いは運転操作子から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
また、車両機器660は、例えば、ドアロック装置、ドア開閉装置、窓、窓の開閉装置および窓の開閉制御装置、シート、シート位置の制御装置、ルームミラーおよびその角度位置制御装置、車両内外の照明装置およびその制御装置、ワイパーやデフォッガーおよびそれぞれの制御装置、方向指示灯およびその制御装置、空調装置などの車両情報装置などが含まれてもよい。
車載通信装置670は、例えば、セルラー網やWi-Fi網を利用してネットワークNWにアクセス可能な無線通信装置である。
乗員認識装置690は、例えば、着座センサ、車室内カメラ、画像認識装置などを含む。着座センサは座席の下部に設けられた圧力センサ、シートベルトに取り付けられた張力センサなどを含む。車室内カメラは、車室内に設けられたCCDカメラやCMOSカメラである。画像認識装置は、車室内カメラの画像を解析し、座席ごとのユーザの有無、ユーザの顔などを認識して、ユーザの着座位置を認識する。また、乗員認識装置690は、予め登録された顔画像とのマッチング処理を行うことで、画像に含まれる運転席や助手席等に着座するユーザを特定してもよい。
自動運転制御装置700は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより処理を行う。自動運転制御装置700の構成要素のうち一部または全部は、LSIやASIC、FPGA、GPU等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置700のHDDやフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体(非一過性の記憶媒体)がドライブ装置に装着されることで自動運転制御装置700のHDDやフラッシュメモリにインストールされてもよい。
自動運転制御装置700は、車両機器660の物体認識装置を介して入力された情報に基づいて、車両Mの周辺にある物体の位置、および速度、加速度等の状態を認識する。自動運転制御装置700は、原則的にはMPU650により決定された推奨車線を走行し、更に、車両Mの周辺状況に対応できるように、車両Mが自動的に(運転者の操作に依らずに)将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、車両Mの到達すべき地点(軌道点)を順に並べたものとして表現される。
自動運転制御装置700は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベント、自動駐車イベントなどがある。自動運転制御装置700は、起動させたイベントに応じた目標軌道を生成する。また、自動運転制御装置700は、生成した目標軌道を、予定の時刻通りに車両Mが通過するように、車両機器660の走行駆動力出力装置、ブレーキ装置、およびステアリング装置を制御する。例えば、自動運転制御装置700は、目標軌道(軌道点)に付随する速度要素に基づいて、走行駆動力出力装置またはブレーキ装置を制御したり、目標軌道の曲がり具合に応じて、ステアリング装置を制御する。
次に、エージェント装置500について説明する。エージェント装置500は、車両Mの乗員と対話を行う装置である。例えば、エージェント装置500は、乗員の発話を情報提供装置100に送信し、その発話に対する回答を情報提供装置100から受信する。エージェント装置500は、受信した回答を、音声や画像を用いて乗員に提示する。
エージェント装置500は、例えば、管理部520と、エージェント機能部540と、車両側記憶部560とを備える。管理部520は、例えば、音響処理部522と、表示制御部524と、音声制御部526とを備える。図4において、これらの構成要素の配置は説明のために簡易に示しており、実際には、例えば、エージェント機能部540と車載通信装置60の間に管理部520が介在してもよく、その配置は任意に改変することができる。
エージェント装置500の車両側記憶部560以外の各構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
車両側記憶部560は、上記の各種記憶装置、或いはEEPROM、ROM、またはRAM等により実現されてよい。車両側記憶部560には、例えば、プログラム、その他各種情報が格納される。
管理部520は、OS(Operating System)やミドルウェアなどのプログラムが実行されることで機能する。
音響処理部522は、車両Mの乗員(例えば、ユーザU2)から受け付けた各種音声のうち、問い合わせや要求等に関する情報を認識するのに適した状態になるように、入力された音に対して音響処理を行う。具体的には、音響処理部522は、ノイズ除去などの音響処理を行ってよい。
表示制御部524は、エージェント機能部540からの指示に応じて、表示・操作装置620等の出力装置に車両Mの乗員からの問い合わせや要求に対する回答結果に関する画像を生成する。回答結果に関する画像とは、例えば、問い合わせや要求等に対する回答結果を示す店舗や施設の一覧リストを示す画像や、各店舗や施設に関する画像、目的地までの走行経路を示す画像、その他レコメンド情報や処理の開始または終了を示す画像等である。また、表示制御部524は、エージェント機能部540からの指示に応じて、乗員とコミュニケーションを行う擬人化されたキャラクタ画像(以下、エージェント画像と称する)を生成してもよい。エージェント画像は、例えば、乗員に対して話しかける態様の画像である。エージェント画像は、例えば、少なくとも観者(乗員)によって表情や顔向きが認識される程度の顔画像を含んでよい。表示制御部524は、生成した画像を表示・操作装置620に出力させる。
音声制御部526は、エージェント機能部540からの指示に応じて、スピーカ630に含まれるスピーカのうち一部または全部に音声を出力させる。音声には、例えば、エージェント画像が乗員と対話を行うための音声や、表示制御部524により画像を表示・操作装置620に出力された画像に対応する音声が含まれる。また、音声制御部526は、複数のスピーカ630を用いて、エージェント画像の表示位置に対応する位置にエージェント音声の音像を定位させる制御を行ってもよい。エージェント画像の表示位置に対応する位置とは、例えば、エージェント画像がエージェント音声を喋っていると乗員が感じると予測される位置であり、具体的には、エージェント画像の表示位置付近(例えば、2~3[cm]以内)の位置である。また、音像が定位するとは、例えば、ユーザの左右の耳に伝達される音の大きさを調節することにより、乗員が感じる音源の空間的な位置を定めることである。
エージェント機能部540は、管理部520により取得される各種情報に基づいて、情報提供装置100と協働してエージェント画像等を出現させ、車両Mの乗員の発話に応じて、音声による応答を含むサービスを提供する。例えば、エージェント機能部540は、音響処理部522により処理された音声に含まれる起動ワードに基づいてエージェントを起動したり、終了ワードに基づいてエージェントを終了させたりする。また、エージェント機能部540は、音響処理部522により処理された音声データを、車載通信装置670を介して情報提供装置100に送信したり、情報提供装置100から得られる情報を乗員に提供したりする。また、エージェント機能部540は、汎用通信装置680と連携し、情報提供装置100と通信する機能を備えていてもよい。この場合、エージェント機能部540は、例えば、Bluetooth(登録商標)によって汎用通信装置680とペアリングを行い、エージェント機能部540と汎用通信装置680とを接続させる。また、エージェント機能部540は、USB(Universal Serial Bus)などを利用した有線通信によって汎用通信装置680に接続されるようにしてもよい。
[情報提供装置の処理フロー]
次に、情報提供装置100による一連の処理の流れについてフローチャートを用いて説明する。図5は、実施形態の情報提供装置100による一連の処理の流れを表すフローチャートである。
まず、取得部106は、通信部102を介して、音声ユーザインターフェース(通信端末300又はエージェント装置500)から、ある一人のユーザ(以下、対象ユーザという)の発話を取得する(ステップS100)。対象ユーザは、車両Mに乗車し、移動しているものとする。
次に、音声認識部108は、対象ユーザの発話に対して音声認識を行い、その対象ユーザの発話からテキストデータを生成する(ステップS102)。通信端末300またはエージェント装置500において既に発話がテキスト化されていた場合、つまり、取得部106によって取得された対象ユーザの発話がテキストデータであった場合、S102の処理は省略されてよい。
次に、自然言語処理部110は、対象ユーザの発話から得られたテキストデータに対して自然言語理解を行い、そのテキストデータの意味を理解する(ステップS104)。
次に、重要度推定部114は、観点リスト134に含まれる複数の観点の其々に対する対象ユーザの重要度を推定する(ステップS106)。
図6は、観点リスト134の一例を表す図である。図示のように、観点リスト134は、「高評価レビュー」や、「人気がある」、「メニュー」、「禁煙」、「おしゃれ」、「駐車場」といった複数の観点が含まれてよい。
例えば、重要度推定部114は、「要求」が発話された時点における対象ユーザの周辺環境に基づいて、その対象ユーザの各観点に対する重要度を推定する。具体的には、重要度推定部114は、「要求」が発話された時点において、対象ユーザが会話中であったのか、対象ユーザが運転する車両Mの速度や加速度がどの程度であったのか、車両Mが停車や駐車していたのか、といったその当時の環境に基づいて重要度を推定してよい。このような「要求」が発話された時点において対象ユーザがどういった環境下にあったのかということを表す情報は、記憶部130に記憶されていてよい。
更に、重要度推定部114は、対象ユーザの「要求」に対して音声ユーザインターフェースから「応答」が発話されたときに、その「応答」に対する対象ユーザのフィードバック結果に基づいて、対象ユーザの各観点に対する重要度を推定してもよい。具体的には、重要度推定部114は、音声ユーザインターフェースから何らかの「提案」などがなされたときに、対象ユーザがその「提案」に対して「承諾(選択)」したのか、「拒否」したのか、或いは何もせず「無視」したのか、といったフィードバック結果に基づいて重要度を推定してもよい。このような「要求」が発話された時点おける対象ユーザのフィードバック結果は、記憶部130に記憶されていてよい。
更に、重要度推定部114は、ある母集団における対象ユーザのフィードバックの行動の傾向に基づいて重要度を推定してもよい。具体的には、重要度推定部114は、母集団全体に対する対象ユーザのフィードバック結果の統計的な確率に基づいて、重要度を推定してもよい。
重要度推定部114は、対象ユーザの各観点に対する重要度を推定すると、その結果をリスト化した重要度リストを生成する(ステップS108)。
図7は、重要度リストの一例を表す図である。例えば、重要度推定部114は、複数の観点のうち、対象ユーザの重要度が大きい観点から昇順でソートしたリストを重要度リストとして生成してよい。図示の例では、重要度が「最重要」、「重要」、「中程度」といった定性的な表現で表されているこれに限られず、「1.0」、「0.8」、「0.5」といったように定量的な表現で表されてもよい。
図5のフローチャートの説明に戻る。次に、メタデータ抽出部112は、自然言語処理部110によって対象ユーザの発話が「要求」であることが理解された場合、その「要求」を満たすPOIのメタデータをPOI情報136から抽出する(ステップS110)。
図8は、POI情報136の一例を表す図である。POI情報136は、各POIに、タグや、フリーフォーム、レビュー、写真、地理情報などが対応付けられた情報である。上述したように、タグには、HTMLソースに記述されたタグが含まれてもよいし、テキストマイニングなどによって自動的に付与されたタグが含まれてもよい。具体的には、テキストマイニングによってPOIのレビューに「おしゃれ」というキーワードが頻繁に抽出された場合、そのレビュー対象であるPOIには、「おしゃれ」というタグが自動的に付与される。
例えば、メタデータ抽出部112は、これら複数のPOIの中から、対象ユーザの「要求」を満たすPOIを選択し、更にその選択したPOIに対して対応付けられたタグなどの情報をメタデータとして抽出する。
次に、メタデータ抽出部112は、抽出したメタデータをリスト化したメタデータリストを生成する(ステップS112)。
図9は、メタデータリストの一例を表す図である。メタデータ抽出部112は、観点リスト134に含まれる複数の観点のそれぞれについてメタデータを抽出する。例えば、「おしゃれ」という1つの観点に対して、「レビュー」及び「写真タグ」の2種類のメタデータが存在していたとする。この場合、メタデータ抽出部112は、同一の観点について、互いに種類の異なる複数のメタデータを抽出してよい。
この際、メタデータ抽出部112は、メタデータの情報量を算出又は推定する。メタデータは、レビューやタグとして記述された文字列である。つまり、メタデータには、基本的にテキストデータが含まれる。従って、メタデータ抽出部112は、メタデータに含まれるテキストデータを自動音声により読み上げるときに要する時間を、そのメタデータの情報量として算出又は推定する。レビューやタグの文字列が長いほど、その情報量(時間)は大きくなる。
メタデータ抽出部112は、各メタデータの情報量を算出又は推定すると、各観点に対して、メタデータの種類やその情報量が対応付けられたリストを、メタデータリストとして生成する。
図5のフローチャートの説明に戻る。次に、優先順位決定部116は、重要度推定部114によって生成された重要度リストと、メタデータ抽出部112によって生成されたメタデータリストとを結合した重要度観点付きリストを生成する(ステップS114)。
図10は、重要度観点付きリストの一例を表す図である。重要度観点付きリストは、各観点に対して、対象ユーザの重要度と、メタデータの種類と、メタデータの情報量とが対応付けられたリストである。
図5のフローチャートの説明に戻る。次に、優先順位決定部116は、重要度観点付きリストに含まれる各メタデータの優先順位を決定する(ステップS116)。
例えば、優先順位決定部116は、対象ユーザの「要求」を満たすPOIに、その対象ユーザが到達するまでの期間内に、各メタデータに含まれるテキストデータの読み上げが完了するように、各メタデータの優先順位を決定する。
例えば、対象ユーザが「近くの中華料理屋を探して」という「要求」を音声ユーザインターフェースに対して発話し、この「要求」を満たすPOIが「飲食店B」であったとする。この場合、優先順位決定部116は、対象ユーザが乗車した車両Mの速度が一定であると仮定し、「要求」が発話された位置から「飲食店B」の所在地までの区間を走行するのに要する時間(走行時間)を算出する。車両Mが既に「飲食店B」を通り過ぎてしまっている場合、優先順位決定部116は、「飲食店B」に引き返すことが可能な最も近いUターン地点までの走行時間を算出してもよい。そして、優先順位決定部116は、重要度観点付きリストに含まれる複数のメタデータの中から、算出した走行時間以内に自動音声の読み上げが完了し得るメタデータの優先順位を高くする。
図11は、各メタデータの優先順位の一例を表す図である。図示のように、優先順位決定部116は、対象ユーザの重要度が「最重要」の観点のメタデータの優先度を最も高くし、対象ユーザの重要度が「最重要」の次に高い観点(つまり「重要」の観点)のメタデータの優先度をその次に高くし、対象ユーザの重要度が「重要」の次に高い観点(つまり「中程度」の観点)のメタデータの優先度をその次に高くする。
この際、優先順位決定部116は、同一の観点に複数のメタデータが対応付けられている場合、その複数のメタデータの中で最も情報量の少ないものの優先順位を高くする。図10の重要度観点付きリストでは、対象ユーザの重要度が「最重要」である「おしゃれ」という観点に対して、「レビュー」と「写真タグ」の2種類のメタデータが対応付けられており、対象ユーザの重要度が「重要」である「禁煙」という観点に対して、「文書タグ」と「レビュー」の2種類のメタデータが対応付けられている。このような場合、優先順位決定部116は、「おしゃれ」という観点については、より情報量の少ない「レビュー」のメタデータの優先順位を高くし、「禁煙」という観点については、より情報量の少ない「文書タグ」のメタデータの優先順位を高くする。情報量が多い方の「写真タグ」のメタデータや「文書タグ」のメタデータの優先順位は、同一観点においてメタデータが重複しないように、最下位などに下げられてよい。このように、優先順位決定部116は、重要度観点付きリストに含まれる複数のメタデータのうち、ユーザの重要度が高く、かつ情報量が少ないメタデータほど、優先順位を高くする。
また、優先順位決定部116は、対象ユーザの運転負荷が小さくなるほど、情報量が多いメタデータの優先順位を高くし、対象ユーザの運転負荷が大きくなるほど、情報量が多いメタデータの優先順位を低くしてよい。より具体的には、優先順位決定部116は、対象ユーザの重要度が高い観点に対応付けられたメタデータであっても、対象ユーザの運転負荷が所定以上大きくなる場合には、重要度に依らずに、そのメタデータの優先順位を最下位などに下げてよい。また、優先順位決定部116は、対象ユーザの運転負荷が小さくなる自動運転モード下では、対象ユーザの運転負荷が大きくなる手動運転モード下に比べて、情報量が多いメタデータの優先順位を高くしてよい。このように、対象ユーザの運転負荷を考慮してメタデータの優先順位を決定することにより、ドライバーディストラクションの発生を抑制しながら、対象ユーザに有益なPOI情報を通知することができる。
図5のフローチャートの説明に戻る。次に、発話情報生成部118は、優先順位決定部116によって決定されたメタデータの優先順位に基づいて、重要度観点付きリストに含まれる各メタデータの中から、優先的に対象ユーザに通知すべきメタデータを選別する(ステップS118)。
例えば、発話情報生成部118は、メタデータの情報量を優先順位が高いものから順番に加算していき、その総情報量(つまり総時間)が、「要求」を満たすPOIに対象ユーザが到達するまでの時間を超えないように、メタデータを選別する。例えば、図11の例において、「要求」を満たすPOIまでの到達時間が10秒であった場合、上から3番目までのメタデータが選択され、「要求」を満たすPOIまでの到達時間が45秒であった場合、上から4番目までのメタデータが選択される。
また、発話情報生成部118は、「要求」を満たすPOI(つまり一時的な目的地)までの区間において対象ユーザが情報を受け取りやすい時間を算出し、その時間内に各メタデータに含まれるテキストデータの読み上げが完了するように、メタデータを選別してもよい。「対象ユーザが情報を受け取りやすい時間」とは、例えば、車両Mが信号機で停止している時間や、渋滞などの影響により車両Mが一定の速度下で走行している時間などである。つまり、発話情報生成部118は、手動運転下において対象ユーザの運転負荷が相対的に低減される時間を算出し、その時間内にテキストデータの読み上げが完了するように、メタデータを選別してよい。これによって、例えば、「要求」を満たすPOIまでの到達時間が45秒であったとしても、対象ユーザの運転負荷が相対的に低減される時間が10秒しかない場合、図11の例において、上から3番目までのメタデータのみが選択され、4番目以降のメタデータは除外されることになる。
また、発話情報生成部118は、対象ユーザが乗車している車両Mが自動運転モード下にある場合、車両Mが手動運転モード下にある場合に比べて、より多い数のメタデータを選択してよい。これによって、対象ユーザの運転負荷が相対的に低い自動運転モード下では、対象ユーザにより多くの有益なPOI情報を通知することができる。
次に、発話情報生成部118は、選別したメタデータを用いて発話情報を生成する(ステップS120)。例えば、発話情報生成部118は、発話テンプレート138に基づいて、対象ユーザの「要求」に対する「応答文」を生成してよい。
図12は、応答文の一例を表す図である。図示のように、同じ優先順位のメタデータは一つの応答文に纏められる。例えば、図11の全てのメタデータが選択されたとする。これらメタデータのうち、「おしゃれ」や「禁煙」、「駐車場」といった観点のメタデータの優先順位は1位である。この場合、「要求」を満たすPOIが「飲食店B」であれば、その「飲食店B」という固有名詞を主体にして、「おしゃれ」というレビューが多い、「禁煙」である、「駐車場」が存在している、などと形容するような第1の応答文が生成される。更に、図11の例では、「高評価レビュー」という観点のメタデータの優先順位が2位である。この場合、「高評価レビュー」そのものが第2の応答文として生成される。更に、図11の例では、「人気のある」や「メニュー」といった観点のメタデータの優先順位が3位である。この場合、「飲食店B」という固有名詞を主体に形容する文として、「人気」がある、「パスタ」や「ピザ」の写真がある、といった第3の応答文が生成される。これら3つの応答文は、メタデータの優先順位、つまり、第1の応答文、第2の応答文、第3の応答文の順で読み上げられる。
更に、発話情報生成部118は、生成した応答文に基づいて人工的な音声を合成してもよい。例えば、発話情報生成部118は、応答文に含まれる文字列を発音記号に変換し、波形接続型音声合成(Concatenative synthesis)や、フォルマント合成(Formant synthesis)を利用して、発音記号を読み上げる音声を合成する。
図5のフローチャートの説明に戻る。次に、通信制御部120は、通信部102を介して、音声ユーザインターフェースに対して、発話情報生成部118によって生成された発話情報、つまり応答文又は合成音声を送信する(ステップS122)。
この際、通信制御部120は、対象ユーザが乗車している車両Mが自動運転モード下にある場合、発話情報生成部118によって生成された応答文又は合成音声に加えて、更に、メタデータの付随先であるコンテンツ(例えば写真や地図など)を音声ユーザインターフェースに送信してもよい。これによって本フローチャートの処理が終了する。
例えば、音声ユーザインターフェースは、情報提供装置100から応答文を受信した場合、その応答文を読み上げる音声を合成し、その合成した音声を発話として出力する。音声ユーザインターフェースが通信端末300である場合、アプリ実行部370は、応答文を読み上げる音声を合成し、出力制御部380は、アプリ実行部370によって合成された音声をスピーカ340に出力させる。音声ユーザインターフェースがエージェント装置500である場合、エージェント機能部540は、応答文を読み上げる音声を合成し、音声制御部526は、エージェント機能部540によって合成された音声をスピーカ630に出力させる。音声ユーザインターフェースは、情報提供装置100から応答文を受信する代わりに、合成音声を受信した場合、その合成音声を発話として出力する。
また、音声ユーザインターフェースは、情報提供装置100から応答文又は合成音声を受信する際に、メタデータの付随先であるコンテンツも併せた受信した場合、そのコンテンツをディスプレイに表示させてよい。
[場面例]
以下、本実施形態の技術を適用した場面について説明する。図13は、本実施形態の技術を適用した場面例である。図中のBはある飲食店であり、M1は、ユーザU1が乗車する車両であり、M2は、ユーザU2が乗車する車両である。図示の場面では、車両M2よりも車両M1の方が飲食店Bに近い。このような位置関係のときに、ユーザU1とU2がともに同じ観点を重視しており、更に音声ユーザインターフェースに対して「飲食店B」に関する問い合わせ(すなわち「飲食店B」に関する情報の要求)を行ったとする。この場合、ユーザU1に提供される「飲食店B」の情報量は、ユーザU2に提供される「飲食店B」の情報量に比べて少なくなる。
図14は、ユーザU1に提供される情報の一例を表す図であり、図15は、ユーザU2に提供される情報の一例を表す図である。例えば、車両M1が飲食店Bに到達するまでの時間が10秒程度であり、車両M2が飲食店Bに到達するまでの時間が45秒程度であったとする。この場合、ユーザU1の音声ユーザインターフェースは、第1の応答文のみを自動音声により読み上げ、ユーザU2の音声ユーザインターフェースは、第1の応答文、第2の応答文、及び第3の応答文を自動音声により読み上げることになる。このように、ユーザごとにPOIの情報量やその種類を変えることで、ユーザの満足度を向上させたり、音声ユーザインターフェースの使い勝手を良くしたりすることができる。
以上説明した実施形態によれば、情報提供装置100は、複数のPOI(コンテンツの一例)の其々についてユーザが重視する度合いを表す重要度と、複数のPOIの其々に付随するメタデータの情報量とに基づいて、メタデータの優先順位を決定する。そして、情報提供装置100は、決定したメタデータの優先順位に基づいて、メタデータを組み合わせたPOIの説明文を応答文として生成し、その応答文を音声ユーザインターフェースに送信する。これを受けて、音声ユーザインターフェースは、POIの説明文を自動音声によって読み上げる。このように、ユーザの重視度やメタデータの情報量に応じて、ユーザごとにPOIの情報量やその種類を変えることができる。この結果、音声ユーザインターフェースを介してユーザに通知される情報を、各ユーザに合わせた情報量に調整することができる。
更に、上述した実施形態によれば、ユーザの運転負荷に基づいてメタデータの優先順位を決定するため、ユーザが心理的負担なく情報を受け入れることができる。心理的負担は、例えば、音声ユーザインターフェースの発話内容に対するドライバーの認知、判断、又は操作(発話による応答を含む)などに係る負担である。
[その他の実施形態]
以下、その他の実施形態について説明する。上述した実施形態では、重要度推定部114が、観点リスト134に含まれる複数の観点の其々に対するユーザの重要度を推定するものとして説明したがこれに限られない。例えば、ユーザが通信端末300を用いて重要度を事前に入力してもよい。
また、上述した実施形態では、情報提供装置100と、音声ユーザインターフェース(通信端末300又はエージェント装置500)とが、それぞれ別々の装置であるものとして説明したがこれに限られない。例えば、音声ユーザインターフェースは、情報提供装置100の機能的構成要素を備えていてもよい。
図16は、実施形態のエージェント装置500が搭載された車両Mの概略構成の他の例を示す図である。図示のように、エージェント装置500の管理部520は、音声認識部108、自然言語処理部110、メタデータ抽出部112、重要度推定部114、優先順位決定部116、及び発話情報生成部118といった情報提供装置100の機能的構成要素を更に備えていてよい。また、車両側記憶部560には、観点リスト134、POI情報136、発話テンプレート138などが更に格納されてよい。このような構成の場合、エージェント装置500は「情報処理装置」の他の例である。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶したメモリと、
プロセッサと、を備え、
前記プロセッサが前記プログラムを実行することにより、
複数のコンテンツの其々についてユーザが重視する度合いを表す重要度と、前記複数のコンテンツの其々に付随するメタデータの情報量とに基づいて、前記メタデータの優先順位を決定し、
前記決定した優先順位に基づいて、前記メタデータを前記ユーザに通知する、
ように構成されている、情報処理装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…情報提供システム、100…情報提供装置、102…通信部、104…認証部、106…取得部、108…音声認識部、110…自然言語処理部、112…メタデータ抽出部、114…重要度推定部、116…優先順位決定部、118…発話情報生成部、120…通信制御部、130…記憶部、300…通信端末、310…端末側通信部、320…入力部、330…ディスプレイ、340、630…スピーカ、350、610…マイク、355…位置取得部、360…カメラ、370…アプリ実行部、380…出力制御部、390…端末側記憶部、500…エージェント装置、520…管理部、540…エージェント機能部、560…車両側記憶部、620…表示・操作装置、640…ナビゲーション装置640…MPU、660…車両機器、670…車載通信装置、680…汎用通信装置、690…乗員認識装置、700…自動運転制御装置、M…車両

Claims (13)

  1. 複数のコンテンツの其々についてユーザが重視する度合いを表す重要度と、前記複数のコンテンツの其々に付随するメタデータの情報量とに基づいて、前記メタデータの優先順位を決定する決定部と、
    前記決定部によって決定された前記優先順位に基づいて、前記メタデータを前記ユーザに通知する通知部と、
    を備える情報処理装置。
  2. 前記ユーザの発話による要求を取得する取得部と、
    前記取得部によって取得された前記要求を満たす一つ以上のコンテンツから前記メタデータを抽出する抽出部と、を更に備え、
    前記決定部は、前記抽出部によって抽出された前記メタデータの情報量と、前記抽出部によって抽出された前記メタデータが付随していたコンテンツに対する前記重要度とに基づいて、前記メタデータの優先順位を決定し、
    前記通知部は、前記要求に対する応答として、前記優先順位に基づき前記メタデータを前記ユーザに通知する、
    請求項1に記載の情報処理装置。
  3. 前記ユーザが前記要求を発話したときの前記ユーザの周辺の環境に基づいて、前記重要度を推定する推定部を更に備える、
    請求項2に記載の情報処理装置。
  4. 前記推定部は、更に、前記メタデータが通知された前記ユーザのフィードバックの結果に基づいて、前記重要度を推定する、
    請求項3に記載の情報処理装置。
  5. 前記メタデータには、テキストが含まれ、
    前記通知部は、前記メタデータに含まれる前記テキストを自動音声により読み上げることで、前記メタデータを前記ユーザに通知する、
    請求項1から4のうちいずれか一項に記載の情報処理装置。
  6. 前記決定部は、前記ユーザが目的地に到達するまでの期間内に、前記テキストの読み上げが完了するように、前記メタデータの優先順位を決定する、
    請求項5に記載の情報処理装置。
  7. 前記決定部は、付随先の前記コンテンツに対する前記重要度が高く、かつ前記情報量が少ない前記メタデータほど、前記優先順位を高くする、
    請求項1から6のうちいずれか一項に記載の情報処理装置。
  8. 前記ユーザは、車両を運転するドライバーであり、
    前記決定部は、更に、前記ドライバーの運転負荷に基づいて、前記メタデータの優先順位を決定する、
    請求項1から7のうちいずれか一項に記載の情報処理装置。
  9. 前記決定部は、前記ドライバーの運転負荷が大きいほど、前記情報量が多い前記メタデータの優先順位を低くする、
    請求項8に記載の情報処理装置。
  10. 前記通知部は、前記車両が自動運転モード下にある場合、前記車両が手動運転モード下にある場合に比べて、より多い数の前記メタデータを前記ユーザに通知する、
    請求項8又は9に記載の情報処理装置。
  11. 前記通知部は、前記車両が自動運転モード下にある場合、更に、前記コンテンツを前記ユーザに通知する、
    請求項8から10のうちいずれか一項に記載の情報処理装置。
  12. コンピュータが、
    複数のコンテンツの其々についてユーザが重視する度合いを表す重要度と、前記複数のコンテンツの其々に付随するメタデータの情報量とに基づいて、前記メタデータの優先順位を決定し、
    前記決定した優先順位に基づいて、前記メタデータを前記ユーザに通知する、
    情報処理方法。
  13. コンピュータに、
    複数のコンテンツの其々についてユーザが重視する度合いを表す重要度と、前記複数のコンテンツの其々に付随するメタデータの情報量とに基づいて、前記メタデータの優先順位を決定すること、
    前記決定した優先順位に基づいて、前記メタデータを前記ユーザに通知すること、
    を実行させるためのプログラム。
JP2020218449A 2020-12-28 2020-12-28 情報処理装置、情報処理方法、及びプログラム Pending JP2022103675A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020218449A JP2022103675A (ja) 2020-12-28 2020-12-28 情報処理装置、情報処理方法、及びプログラム
CN202111575412.4A CN114690896A (zh) 2020-12-28 2021-12-21 信息处理装置、信息处理方法及存储介质
US17/560,425 US20220208187A1 (en) 2020-12-28 2021-12-23 Information processing device, information processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020218449A JP2022103675A (ja) 2020-12-28 2020-12-28 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2022103675A true JP2022103675A (ja) 2022-07-08

Family

ID=82117739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020218449A Pending JP2022103675A (ja) 2020-12-28 2020-12-28 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20220208187A1 (ja)
JP (1) JP2022103675A (ja)
CN (1) CN114690896A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2021448947A1 (en) * 2021-06-01 2023-12-21 Paymentus Corporation Methods, apparatuses, and systems for dynamically navigating interactive communication systems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8688362B2 (en) * 2010-12-16 2014-04-01 Blackberry Limited Changing frequency of navigational notifications based on travel patterns
US9188459B2 (en) * 2011-10-21 2015-11-17 Telenav, Inc. Navigation system with location estimation mechanism and method of operation thereof
US9282286B2 (en) * 2014-03-06 2016-03-08 Citrix Systems, Inc. Participating in an online meeting while driving
US9381813B2 (en) * 2014-03-24 2016-07-05 Harman International Industries, Incorporated Selective message presentation by in-vehicle computing system
US10137902B2 (en) * 2015-02-12 2018-11-27 Harman International Industries, Incorporated Adaptive interactive voice system
US11227589B2 (en) * 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10425373B2 (en) * 2017-07-19 2019-09-24 Citrix Systems, Inc. Systems and methods for prioritizing messages for conversion from text to speech based on predictive user behavior
JP7000924B2 (ja) * 2018-03-06 2022-01-19 株式会社Jvcケンウッド 音声内容制御装置、音声内容制御方法、及び音声内容制御プログラム
WO2019173697A1 (en) * 2018-03-08 2019-09-12 Bose Corporation Prioritizing delivery of location-based personal audio

Also Published As

Publication number Publication date
CN114690896A (zh) 2022-07-01
US20220208187A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
KR102562227B1 (ko) 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법
US10269348B2 (en) Communication system and method between an on-vehicle voice recognition system and an off-vehicle voice recognition system
KR20180086718A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR20190041569A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
US20200286450A1 (en) Agent device, method of controlling agent device, and storage medium
KR20190044740A (ko) 대화 시스템, 이를 포함하는 차량 및 유고 정보 처리 방법
WO2014057540A1 (ja) ナビゲーション装置およびナビゲーション用サーバ
JP7250547B2 (ja) エージェントシステム、情報処理装置、情報処理方法、およびプログラム
KR102403355B1 (ko) 차량, 그와 통신하는 모바일 기기 및 차량의 제어 방법
JP2011179917A (ja) 情報記録装置、情報記録方法、情報記録プログラムおよび記録媒体
US11532303B2 (en) Agent apparatus, agent system, and server device
CN110503947A (zh) 对话系统、包括其的车辆和对话处理方法
CN114758653A (zh) 对话系统、具有对话系统的车辆以及控制对话系统的方法
US11709065B2 (en) Information providing device, information providing method, and storage medium
US20220208187A1 (en) Information processing device, information processing method, and storage medium
CN110562260A (zh) 对话系统和对话处理方法
US20220207447A1 (en) Information providing device, information providing method, and storage medium
KR20190031935A (ko) 대화 시스템과 이를 포함하는 차량 및 모바일 기기와 대화 처리 방법
JP7449852B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220208213A1 (en) Information processing device, information processing method, and storage medium
CN111754288A (zh) 服务器装置、信息提供系统、信息提供方法及存储介质
JP2022103553A (ja) 情報提供装置、情報提供方法、およびプログラム
KR20190036018A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
JP2020180950A (ja) ナビゲーションシステム、ナビゲーション方法、及び、ナビゲーションプログラム
JP2024091702A (ja) 情報提供装置