JP2021043913A - 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム - Google Patents
情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム Download PDFInfo
- Publication number
- JP2021043913A JP2021043913A JP2019167683A JP2019167683A JP2021043913A JP 2021043913 A JP2021043913 A JP 2021043913A JP 2019167683 A JP2019167683 A JP 2019167683A JP 2019167683 A JP2019167683 A JP 2019167683A JP 2021043913 A JP2021043913 A JP 2021043913A
- Authority
- JP
- Japan
- Prior art keywords
- response
- request
- voice
- signal
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 184
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000004044 response Effects 0.000 claims abstract description 282
- 230000005236 sound signal Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 16
- 230000004913 activation Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 238000010411 cooking Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
録商標)」などのように、特定の起動フレーズ(WuW:Wake-up Word)を発した後、「○○を探して」といった要求を発する必要がある。
地に着く?」のように、起動フレーズに続けて、先程と同じ質問を再度発話する必要がある。このため、AIアシスタントによる応答が円滑に行えないという問題が生じる可能性がある。
第一ユーザが発した音声を示す第一音声信号及び第二ユーザが発した音声を示す第二音声信号を取得する音声取得部と、
前記第一音声信号に基づいて前記第一ユーザによる要求を判別する要求判別部と、
前記第二音声信号に基づいて前記要求に対する有効な反応があったか否かを判定する判定部と、
前記有効な反応が無い場合に、前記要求に対して応答する応答信号をバーチャルアシスタントから取得する応答取得部と、
前記応答信号に基づいて、前記要求に対する応答を実行する応答部と、
を備える。
前記情報処理装置と、通信回線を介して前記情報処理装置と接続し、前記バーチャルアシスタントとして前記応答信号を提供するアシスタントサーバとを備え、
前記アシスタントサーバが、
前記情報処理装置から取得した前記第一音声信号を音声認識して語群に変換する音声認識部と、
前記語群を自然言語処理して、前記要求を特定する要求特定部と、
前記要求に対応する情報をデータベースから取得し、応答信号を生成する応答生成部と、
前記応答信号を前記情報処理装置へ送信する送信部と、
を備える。
第一ユーザが発した音声を示す第一音声信号及び第二ユーザが発した音声を示す第二音声信号を取得するステップと、
前記第一音声信号に基づいて前記第一ユーザによる要求を判別するステップと、
前記第二音声信号に基づいて前記要求に対する有効な反応があったか否かを判定するステップと、
前記有効な反応が無い場合に、前記要求に対して応答する応答信号をバーチャルアシスタントから取得するステップと、
前記応答信号に基づいて、前記要求に対する応答を実行するステップと、
をコンピュータが実行する。
〈全体構成〉
以下、本発明の実施の形態について説明する。図1は、本実施形態に係る情報処理システムの概略構成図である。図1に示すように、情報処理システム100は、情報処理装置10と、当該情報処理装置10へ情報(応答信号)を提供するアシスタントサーバ20とを備えている。
図1に示すように、本実施形態の情報処理装置10は、車両30に搭載された車載機である。情報処理装置10は、車両30の各座席に設けられたマイク31〜34やスピーカ35〜38と接続され、各座席のマイク31〜34で取得したユーザの音声を他のユーザの座席に設けられたスピーカ35〜38から出力する。これにより情報処理装置10は、例えば運転席に座るユーザ(搭乗者)と後部座席に座るユーザとの会話を中継し、ロードノイズが激しい環境においてもユーザ同士が明瞭に会話できるようにサポートするICC(In-Car Communication)機能を実現する。
リ等の記憶媒体に記憶されたデータを読み出して、音響信号を再生するオーディオ機能部、及び動画の再生やテレビ放送の表示といったビジュアル機能部を備えたオーディオ・ビジュアル・ナビゲーション一体型の電子機器(AVN機とも称す)であっても良い。
信号を一つの発話区間信号とし、所定数(例えば五つ)の発話区間信号を記憶領域18に記憶させる。なお、記憶領域18に記憶する発話区間信号は、第一音声信号及び第二音声信号であっても、第一音声信号のみであってもよい。
」のような質問(要求)に対して、「あと40分くらいかかるよ」のように回答(応答)が返される場合、「△△分」「△時間」「かかる」「着く」などの語が応答に用いられると推定される。応答判定部14は、これらの語(以下、応答用の語とも称す)が含まれる発話区間信号が、前記質問の後に記憶されていれば、有効な応答があったと判定する。これらの応答用の語は、想定される質問と対応つけられ、辞書として後述の記憶装置に格納されている。応答判定部14は、この辞書を参照して、前記質問に対応する応答用の語が発話区間信号に含まれているか否かを判定する。図3の例では、No1の質問に対して、ユーザID=001のユーザが「あと40分くらいかかるよ」と発話しているので、応答判定部14は、有効な応答があったと判定する。
。
である。また、補助記憶装置は、要求判別部13又は応答判定部14が用いる辞書、アプリケーションプログラム(情報処理プログラム等)、地図情報等を記憶する。また、補助記憶装置は、音声取得部11が取得した発話区間信号を記憶する記憶領域として用いられる。
、例えば、WiMAX(Worldwide Interoperability for Microwave Access)やLTE
(Long Term Evolution)、WiFi、ブルートゥース(登録商標)等の無線通信方式で
通信を行う。なお、図4に示した情報処理装置10の構成要素はそれぞれ複数設けられてもよいし、一部の構成要素を設けないようにしてもよい。
Array)等の専用LSI(large scale integration)、論理回路、その他のデジタル回
路といったハードウェアで形成されたものであってもよい。また、上記各処理部の少なくとも一部にアナログ回路を含む構成としてもよい。
図5は、アシスタントサーバ20の機能ブロック図である。図5に基づいてアシスタントサーバ20の各機能の詳細について説明する。
を示す音声信号が挙げられる。また、応答信号は、車両30のナビゲーション部に最寄りのガソリンスタンドを中継地点として設定させ、当該ガソリンスタンドまでの経路案内を行わせる制御信号であってもよい。
である。また、補助記憶装置は、要求受信部21で受信した要求信号や、音声認識部22の認識結果等の情報を記憶する記憶領域26として用いられる。また、補助記憶装置は、応答生成部24が用いるデータベースが格納されている。
ウェアで形成されたものであってもよい。また、上記各処理部の少なくとも一部にアナログ回路を含む構成としてもよい。
図7は、ユーザと、情報処理装置(車載機)10と、アシスタントサーバ20とが実行する動作の遷移状態を示すアクティビティ図である。
情報処理装置10は、受信した要求信号に基づいて応答を行う(A80)。例えば、情報処理装置10は、質問の回答を表示装置へ表示させると共に、スピーカ35〜38から音声メッセージとして出力する。
。
に応答用の語が含まれていた場合に、応答があったと判定してもよい。この場合、例えば、「○○に何分で着く?」「何が食べたい?」といった要求の種類毎に、応答用の語を対応つけた辞書を記憶装置に格納しておく。情報処理装置10は、この辞書を参照し、要求を含む発話区間信号に対して、応答用の語を含む発話区間信号があるか否かを判定する。このように辞書を用いて判定することで、要求と応答の対応関係を精度良く判定できる。例えば、「○○に何分で着く?」の次に「時間がかかるなら何か食べる?」といった質問(要求)が連続した後に、「40分くらいかかるよ。」と応答があった場合、「分」「かかる」といった語が、「○○に何分で着く?」に対する応答用の語として辞書に登録されているため、「○○に何分で着く?」に対する応答があったと判定できる。即ち、「時間がかかるなら何か食べる?」に対しては応答がないことが判定できる。
る。また、受信した応答信号が、ナビゲーション部やエアコン、オーディオ等の機能部を制御する制御信号であった場合、この制御信号を各機能部に送って制御を実行する。
(1)上記のように、本実施形態の情報処理装置10は、第一ユーザによる要求に対して、第二ユーザから有効な反応が無い場合に、前記要求に対して応答する応答信号をバーチャルアシスタントから取得し、前記要求に対する応答を実行する。
ャルアシスタントは、起動フレーズを契機として、要求の取得を開始するので、第一ユーザは、「アシスタント(起動フレーズ)」「○○まで何分かかるの?」のように、起動フレーズに続けて第二ユーザに質問した内容を繰り返す必要がある。このため、円滑にバーチャルアシスタントの応答が得られなかった。
図11は、第二実施形態に係る情報処理装置10Aの機能ブロック図、図12は、第二実施形態に係る情報処理装置10Aが、ユーザ同士の会話に応じて、バーチャルアシスタントによる応答を取得してユーザへ提供する処理の流れを示す図である。
8及び図12の処理を繰り返し実行する。なお、ステップS10からステップS60の処理は、図9と同じである。
情報処理装置10Aは、ステップS90へ移行して、前述と同様にステップS90〜S120の処理を行い、バーチャルアシスタントによる応答を実行する。
図13は、第三実施形態に係る情報処理装置10Bの機能ブロック図、図14は、第三実施形態に係るアシスタントサーバ20Aの機能ブロック図である。
いて、アシスタントサーバ20Aによる音声認識等の結果をアシスタントサーバ20Aから取得し、記憶領域18に記憶させる。ここで認識結果は、例えば発話区間信号を音声認識処理によって変換した語群(文字列)と、当該語群が要求を含むものか否かを示す情報(フラグ)である。
ントサーバ20Aは、電源が投入された場合やバーチャルアシスタントの起動が指示された場合に、図17の処理を実行する。また、アシスタントサーバ20Aは、電源がONの間、或いはバーチャルアシスタントの停止が指示されるまでの間、図17の処理を繰り返し実行する。
逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。
11,11B:音声取得部
12,12B:認識結果取得部
13 :要求判別部
14 :応答判定部
15,15B:応答取得部
16 :音出力部
17 :応答部
18 :記憶領域
19 :特定語判定部
20,20A:アシスタントサーバ
21,21A:音声信号受信部
22 :音声認識部
23,23A:要求特定部
24 :応答生成部
25 :応答信号送信部
26 :記憶領域
27 :認識結果送信部
30 :車両
100 :情報処理システム
Claims (8)
- 第一ユーザが発した音声を示す第一音声信号及び第二ユーザが発した音声を示す第二音声信号を取得する音声取得部と、
前記第一音声信号に基づいて前記第一ユーザによる要求を判別する要求判別部と、
前記第二音声信号に基づいて前記要求に対する有効な反応があったか否かを判定する判定部と、
前記有効な反応が無い場合に、前記要求に対して応答する応答信号をバーチャルアシスタントから取得する応答取得部と、
前記応答信号に基づいて、前記要求に対する応答を実行する応答部と、
を備える情報処理装置。 - 前記要求を含む音声が発せられてから所定時間以内に前記第二音声信号が取得できなかった場合、又は前記第二音声信号が前記要求に応答する音声を含まなかった場合に、前記応答取得部が、前記要求に対して応答する前記応答信号を前記バーチャルアシスタントから取得する請求項1に記載の情報処理装置。
- 前記音声取得部が、所定時間を空けずに連続して発せられた音声を示す第一音声信号又は第二音声信号を一つの発話区間信号とし、所定数の発話区間信号を記憶装置に記憶させ、
前記要求判別部が、前記記憶装置に記憶された発話区間信号から前記要求を判別する
請求項1又は2に記載の情報処理装置。 - 前記要求を含む発話区間信号に、前記バーチャルアシスタントが応答を特定するのに必要な情報が含まれていない場合、前記応答部が、改めて前記要求を含む音声を発することを促す音声メッセージを出力する請求項3に記載の情報処理装置。
- 前記第一音声信号に前記バーチャルアシスタントによる応答を促す特定の語が含まれていた場合に、前記応答取得部が、前記要求に対して応答する前記応答信号を前記バーチャルアシスタントから取得する請求項1〜3の何れか1項に記載の情報処理装置。
- 請求項1〜5の何れか1項に記載の情報処理装置と、通信回線を介して前記情報処理装置と接続し、前記バーチャルアシスタントとして前記応答信号を提供するアシスタントサーバとを備え、
前記アシスタントサーバが、
前記情報処理装置から取得した前記第一音声信号を音声認識して語群に変換する音声認識部と、
前記語群を自然言語処理して、前記要求を特定する要求特定部と、
前記要求に対応する情報をデータベースから取得し、応答信号を生成する応答生成部と、
前記応答信号を前記情報処理装置へ送信する送信部と、
を備える情報処理システム。 - 第一ユーザが発した音声を示す第一音声信号及び第二ユーザが発した音声を示す第二音声信号を取得するステップと、
前記第一音声信号に基づいて前記第一ユーザによる要求を判別するステップと、
前記第二音声信号に基づいて前記要求に対する有効な反応があったか否かを判定するステップと、
前記有効な反応が無い場合に、前記要求に対して応答する応答信号をバーチャルアシスタントから取得するステップと、
前記応答信号に基づいて、前記要求に対する応答を実行するステップと、
をコンピュータが実行する情報処理方法。 - 第一ユーザが発した音声を示す第一音声信号及び第二ユーザが発した音声を示す第二音声信号を取得するステップと、
前記第一音声信号に基づいて前記第一ユーザによる要求を判別するステップと、
前記第二音声信号に基づいて前記要求に対する有効な反応があったか否かを判定するステップと、
前記有効な反応が無い場合に、前記要求に対して応答する応答信号をバーチャルアシスタントから取得するステップと、
前記応答信号に基づいて、前記要求に対する応答を実行するステップと、
をコンピュータに実行させるための情報処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019167683A JP7336928B2 (ja) | 2019-09-13 | 2019-09-13 | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019167683A JP7336928B2 (ja) | 2019-09-13 | 2019-09-13 | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021043913A true JP2021043913A (ja) | 2021-03-18 |
JP7336928B2 JP7336928B2 (ja) | 2023-09-01 |
Family
ID=74862462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019167683A Active JP7336928B2 (ja) | 2019-09-13 | 2019-09-13 | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7336928B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018044526A1 (en) * | 2016-08-30 | 2018-03-08 | Google Llc | Conditional disclosure of individual-controlled content in group contexts |
-
2019
- 2019-09-13 JP JP2019167683A patent/JP7336928B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018044526A1 (en) * | 2016-08-30 | 2018-03-08 | Google Llc | Conditional disclosure of individual-controlled content in group contexts |
Also Published As
Publication number | Publication date |
---|---|
JP7336928B2 (ja) | 2023-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6571118B2 (ja) | 音声認識処理のための方法、車載システム及び不揮発性記憶媒体 | |
US11217230B2 (en) | Information processing device and information processing method for determining presence or absence of a response to speech of a user on a basis of a learning result corresponding to a use situation of the user | |
JP5958475B2 (ja) | 音声認識端末装置、音声認識システム、音声認識方法 | |
JP6150077B2 (ja) | 車両用音声対話装置 | |
US20240005919A1 (en) | Voice processing device, voice processing method and voice processing system | |
CN110035339B (zh) | 对话装置 | |
JP2022101663A (ja) | ヒューマンコンピュータインタラクション方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
JP2016061888A (ja) | 音声認識装置、音声認識対象区間設定方法、及び音声認識区間設定プログラム | |
CN110737422B (zh) | 一种声音信号采集方法及装置 | |
JP7274404B2 (ja) | 情報提供装置、情報提供方法、およびプログラム | |
JP2015028566A (ja) | 応答制御システム、車載器、およびセンター | |
US20200082820A1 (en) | Voice interaction device, control method of voice interaction device, and non-transitory recording medium storing program | |
JP7336928B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム | |
JP2020144264A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2020162003A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
Tchankue et al. | Are mobile in-car communication systems feasible? a usability study | |
US11705119B2 (en) | Guide voice output control system and guide voice output control method | |
KR20210073461A (ko) | 에이전트 관리 장치, 프로그램, 및 에이전트 관리 방법 | |
JP2019212168A (ja) | 音声認識システムおよび情報処理装置 | |
JP2020152298A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP3846500B2 (ja) | 音声認識対話装置および音声認識対話処理方法 | |
WO2021166504A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP7217209B2 (ja) | 音声対話装置、音声対話方法、及びプログラム | |
KR20220129366A (ko) | 음성 인식 시스템 및 그 제어 방법 | |
CN112349284A (zh) | 通知控制系统、通知控制装置、通知控制方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7336928 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |