JP2019032479A - 音声アシストシステム、サーバ装置、デバイス、その音声アシスト方法、及びコンピュータが実行するためのプログラム - Google Patents

音声アシストシステム、サーバ装置、デバイス、その音声アシスト方法、及びコンピュータが実行するためのプログラム Download PDF

Info

Publication number
JP2019032479A
JP2019032479A JP2017154571A JP2017154571A JP2019032479A JP 2019032479 A JP2019032479 A JP 2019032479A JP 2017154571 A JP2017154571 A JP 2017154571A JP 2017154571 A JP2017154571 A JP 2017154571A JP 2019032479 A JP2019032479 A JP 2019032479A
Authority
JP
Japan
Prior art keywords
voice
devices
voice assist
user utterance
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017154571A
Other languages
English (en)
Other versions
JP6513749B2 (ja
Inventor
雅春 米田
Masaharu Yoneda
雅春 米田
和宏 小杉
Kazuhiro Kosugi
和宏 小杉
幸司 川北
Koji Kawakita
幸司 川北
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Priority to JP2017154571A priority Critical patent/JP6513749B2/ja
Priority to CN201810621047.8A priority patent/CN109389975A/zh
Priority to US16/100,142 priority patent/US10867596B2/en
Publication of JP2019032479A publication Critical patent/JP2019032479A/ja
Application granted granted Critical
Publication of JP6513749B2 publication Critical patent/JP6513749B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G10L15/07—Adaptation to the speaker
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/083—Recognition networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/086—Recognition of spelled words
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Abstract

【課題】音声アシストを利用可能な複数のデバイスがある場合でも、ユーザがどのデバイスを使用するかを迷うことなく簡単に音声アシストを利用することが可能な音声アシストシステムを提供すること。【解決手段】 音声アシストを行うサーバ装置と複数のデバイスとが通信可能に接続された音声アシストシステムであって、前記複数のデバイスは、マイクを介して、同じユーザ発話をそれぞれ録音してその録音データを前記サーバ装置に送信し、前記サーバ装置は、前記複数のデバイスからそれぞれ送信される録音データを受信し、受信した複数の録音データを、所定の基準に従って音声認識することにより前記ユーザ発話の内容を解釈して音声アシストを行う。【選択図】図１

Description

本発明は、音声アシストシステム、サーバ装置、デバイス、その音声アシスト方法、及びコンピュータが実行するためのプログラムに関する。
近時、音声アシストが各種のデバイスに搭載されてきている。かかる音声アシスタントは、ユーザの発話を解釈し、音声で指示された各種質問の回答や操作を実行する機能のことである。音声アシスタントは、一般的に、音声認識や自然言語処理などの技術を駆使してユーザの話した内容を解釈する。
デバイスでは、通常、ユーザが所定のキーワード（起動発話コマンド）を発すると、音声アシスト機能が起動し、ユーザは音声アシストを使用することが可能となる。現在、デバイス毎にユニークな音声アシスタントが搭載されているため、質問するデバイス毎にユーザはキーワードを使い分ける必要があり不便である。例えば、キーワードは、Ｗｉｎｄｏｗｓ（登録商標）マシンの場合は、「Ｈｅｙ Ｃｏｒｔａｎａ」、ｉＰｈｏｎｅ（登録商標）端末の場合は、「Ｈｅｙ Ｓｉｒｉ」，Ａｎｄｒｏｉｄ端末の場合は「ＯＫ Ｇｏｏｇｌｅ」などである。
ユーザの部屋にこれらの複数のデバイスがある場合に、ユーザはどのデバイスの音声アシストを使用すればよいのか迷うことがあり、また、デバイス毎にキーワードを覚えておく必要がありユーザにとって不便である。今後、ＩｏＴがより普及し、各種のデバイスやサービスが連携してくと、音声アシストを利用可能なデバイスがより多くなるため、ユーザはどのデバイスに音声を認識させ、回答させるかを迷うことがより多くなる。
特開２０１３−７３２４０号公報
本発明は、上記に鑑みてなされたものであり、音声アシストを利用可能な複数のデバイスがある場合でも、ユーザがどのデバイスを使用するかを迷うことなく簡単に音声アシストを利用することが可能な音声アシストシステム、サーバ装置、デバイス、その音声アシスト方法、及びコンピュータが実行するためのプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の第１の態様に係る、音声アシストを行うサーバ装置と複数のデバイスとが通信可能に接続された音声アシストシステムは、前記複数のデバイスは、マイクを介して、同じユーザ発話をそれぞれ録音してその録音データを前記サーバ装置に送信し、前記サーバ装置は、前記複数のデバイスからそれぞれ送信される録音データを受信し、受信した複数の録音データを、所定の基準に従って音声認識することにより前記ユーザ発話の内容を解釈して音声アシストを行う。
また、前記複数のデバイスは、前記マイクを介してユーザの所定の起動発話コマンドが入力された後に、ユーザ発話の録音を開始してもよい。
また、前記複数のデバイスは、さらに、前記ユーザ発話を録音した際の録音状態を示す録音状態情報を前記サーバ装置にそれぞれ送信し、前記サーバ装置は、前記受信した複数の録音データを音声認識する場合に、前記録音状態情報に応じた重み付けを行って、前記ユーザ発話の内容を解釈してもよい。
また、前記録音状態情報は、録音レベル、ノイズレベル、及びエコーのうちの少なくとも一つの情報を含んでもよい。
また、前記録音状態情報は、録音レベル、ノイズレベル、及びエコーの全ての情報を含んでもよい。
また、前記サーバ装置は、さらに、所定の優先順位に従って、前記複数のデバイスのうち音声アシストを出力するデバイスを選択してもよい。
また、前記所定の優先順位は、前記デバイスを使用中であるか否か、前記デバイスで使用している出力手段、前記デバイスとユーザとの距離、及び前記デバイスの出力手段のパフォーマンスのうちの１又は複数により決定してもよい。
また、上述した課題を解決し、目的を達成するために、本発明の第２の態様に係る、複数のデバイスと通信可能に接続されており、音声アシストを行うサーバ装置は、ネットワークを介して、前記複数のデバイスとデータ通信するための通信部と、前記通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従って音声認識することにより、前記ユーザ発話の内容を解釈する音声認識部と、前記音声認識部で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト部と、を備えている。
また、前記音声認識部は、前記同じユーザ発話の録音データを音声認識する場合に、前記複数のデバイスから送出される、前記ユーザ発話を録音した際の録音状態を示す録音状態情報に応じた重み付けを行って、前記ユーザ発話の内容を解釈してもよい。
また、前記録音状態情報は、録音レベル、ノイズレベル、及びエコーのうちの少なくとも一つの情報を含んでもよい。
また、前記録音状態情報は、録音レベル、ノイズレベル、及びエコーの全ての情報を含んでもよい。
また、前記音声アシスト部は、所定の優先順位に従って、前記複数のデバイスのうち音声アシストを出力するデバイスを選択してもよい。
また、前記所定の優先順位は、前記デバイスが使用中であるか否か、前記デバイスで使用している出力手段の種類、前記デバイスとユーザとの距離、及び前記デバイスの出力手段のパフォーマンスのうちの１又は複数により決定してもよい。
また、上述した課題を解決し、目的を達成するために、本発明の第３の態様に係る、音声アシストを行うサーバ装置とデータ通信可能に接続されたデバイスは、ネットワークを介して前記サーバ装置とデータ通信するための通信部と、音声を入力するためのマイクと、前記マイクを介して、他のデバイスと同じユーザ発話を録音してその録音データを、前記通信部を介して前記サーバ装置に送信するリクエスト部と、を備えている。
また、上述した課題を解決し、目的を達成するために、本発明の第４の態様に係る、複数のデバイスと通信可能に接続されたサーバ装置が実行する音声アシスト方法は、通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従って音声認識することにより、前記ユーザ発話の内容を解釈する音声認識工程と、前記音声認識工程で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト工程と、を含む。
また、上述した課題を解決し、目的を達成するために、本発明の第５の態様に係る、複数のデバイスと通信可能に接続されたサーバ装置に搭載されたプログラムは、通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従って音声認識することにより、前記ユーザ発話の内容を解釈する音声認識工程と、前記音声認識工程で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト工程と、をコンピュータに実行させる。
本発明の上記態様によれば、音声アシストを利用可能な複数のデバイスがある場合でも、ユーザがどのデバイスを使用するかを迷うことなく簡単に音声アシストを利用することが可能になるという効果を奏する。
図１は、本実施の形態に係る音声アシストシステムの概念図を示す図である。 図２は、図１の音声アシストシステムの動作の概略を説明するためのフローチャートである。 図３は、デバイスの信頼度（重み）を説明するための図である。 図４は、複数のデバイスでユーザの発話を録音する場合を説明するための図である。 図５は、デバイスの信頼度とサーバ装置の音声認識部の最終的な音声認識結果を説明するための図である。 図６は、サーバ装置の音声アシスト部が実行する出力先デバイス選択処理の具体例を説明するための説明図である。 図７は、図１のサーバ装置のハードウェア構成例を説明するための図である。 図８は、図１のデバイスのハードウェア構成例を示す図である。
以下、本実施の形態に係る音声アシストシステム、サーバ装置、デバイス、その音声アシスト方法、及びコンピュータが実行するためのプログラムを適用したコンピュータシステムの実施の形態について説明する。本発明の構成要素は、本明細書の図面に一般に示してあるが、様々な構成で広く多様に配置し設計してもよいことは容易に理解できる。したがって、本発明の装置、方法、およびプログラムの実施の形態についての以下のより詳細な説明は、特許請求の範囲に示す本発明の範囲を限定するものではなく、単に本発明の選択した実施の形態の一例を示すものであって、本明細書の特許請求の範囲に示す本発明と矛盾無く装置、システムおよび方法についての選択した実施の形態を単に示すものである。当業者は、特定の細目の１つ以上が無くても、または他の方法、部品、材料でも本発明を実現できることが理解できる。
（実施の形態）
図１は、本実施の形態に係る音声アシストシステムの概念図を示す図である。図１に示すように、本実施の形態に係る音声アシストシステム１は、サーバ装置１０と複数のデバイス２０とがネットワーク３０を介してデータ通信可能に構成されている。
サーバ装置１０は、デバイス２０からの音声アシストのリクエストに応じて音声アシストを実行する。デバイス２０は、音声アシストのリクエストをサーバ装置１０に送信する。デバイス２０は、例えば、ラップトップＰＣ、デスクトップＰＣ、スマートフォン、ファブレット、タブレット、スマートウォッチ、インターネットＴＶ、Ｈｏｍｅｈｕｂ、ＰＤＡ、携帯電話、及び各種家電製品等である。
ネットワーク３０は、サーバ装置１０と複数のデバイス２０とを相互に通信可能に接続する機能を有し、例えばインターネットや有線又は無線のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等である。
本実施の形態では、複数のデバイス２０は、ユーザの発話を同じタイミングでマイクを介してそれぞれ録音し、録音したユーザの発話（録音データ）をサーバ装置１０に送信する。サーバ装置１０は、複数のデバイス２０から送信されて複数の録音データを音声認識してユーザの発話の内容を解釈し、デバイス２０を介して音声アシストを実行する。これにより、音声アシストを利用可能な複数のデバイス２０がある場合でも、ユーザがどのデバイスを選択して音声アシストを利用するかを迷わないようにしている。
図１に示すように、サーバ装置１０は、ネットワーク３０を介して、複数のデバイス２０とデータ通信するための通信部１１と、通信部１１を介して受信した、複数のデバイス２０からそれぞれ送信される同じユーザ発話の複数の録音データを、所定の基準に従って音声認識することにより、ユーザ発話の内容を解釈する音声認識部１２と、音声認識部１２で解釈されたユーザの発話の内容に応じた音声アシスタントを実行する音声アシスト部１３と、記憶部１４とを備えている。
音声認識部１２は、ユーザ発話の複数の録音データを音声認識する場合に、複数のデバイス２０から送出される、ユーザ発話を録音した際の録音状態を示す録音状態情報に応じた重み付けを行って、ユーザ発話の内容を解釈することにしてもよい。
音声アシスト部１３は、所定の優先順位に従って、複数のデバイス２０のうち音声アシストを出力するデバイスを選択してもよい。また、所定の優先順位は、デバイス２０が使用中であるか否か、デバイス２０で使用している出力手段の種類、デバイス２０とユーザとの距離、及びデバイス２０の出力手段のパフォーマンスのうちの１又は複数により決定してもよい。
記憶部１４は、音声アシストを利用するユーザ名と、当該ユーザが使用する複数のデバイスのデバイス情報とを対応づけて登録したデバイステーブル１４ａを備えていてもよい。デバイス情報は、デバイス名、機種名、ＩＰアドレス、搭載される出力手段の種類及びそのスペック（例えば、スピーカの場合は、出力音圧レベル、周波数特性、クロスオーバー周波数、入力インピーダンス、許容入力等であり、ディスプレイの場合は、画面サイズ、解像度等）を含むことにしてもよい。本実施の形態では、サーバ装置１０の音声アシストを利用するユーザ及びそのデバイス情報が予めデバイステーブル１４ａに登録されているものとする。音声アシスト部１３は、デバイス２０からのリクエストに応じて、デバイステーブル１４ａにユーザ名とデバイス情報を登録してもよい。
上記サーバ装置１０において、音声認識部１２及び音声アシスト部１３は、例えば、ハードウェアやソフトウェア（ＯＳ、ＡＰＩ、サービス、ユーティリティ、ライブラリ、ドライバ、及びアプリケーション等のプログラム）のモジュール、又は、その組み合わせで構成することができる。また、コンピュータがプログラムを実行することにより、音声認識部１２及び音声アシスト部１３の機能を実現することにしてもよい。
図１に示すように、複数のデバイス２０は、それぞれ、ネットワーク３０を介して、サーバ装置１０とデータ通信するための通信部２１と、音声を入力するためのマイク２２と、ユーザ発話を、マイク２２を介して録音し、録音したユーザの発話のデータ（録音データ）を、通信部２１を介してサーバ装置１０に送信するリクエスト部２３と、出力手段２４とを備えている。
出力手段２４は、液晶、有機ＥＬ、プラズマ、及びＣＲＴ等のモニタ、スピーカ、イヤホンやヘッドホンを含むヘッドセット、並びにプリンタ等の１又は複数で構成されており、情報や音声を外部に出力する機能を有する。デバイス２０によって搭載している出力手段２４の種類やスペックが異なる。
マイク２２は、例えば、シングルマイク、デュアルマイク、及びアレイマイク等で構成されており、ユーザの発話等の音声を集音して入力するためのものである。
リクエスト部２３は、例えば、マイク２２を介して、ユーザの所定の起動発話コマンド（例えば、Ｈｅｌｌｏ、〇〇）が入力された場合に、それ以降のユーザ発話を録音し、録音したユーザ発話のデータ（録音データ）を、通信部２１を介してサーバ装置１０に送信してもよい。このように、複数のデバイス２０で同じキーワード（起動発話コマンド）を使用することで、ユーザはデバイス毎にキーワードを覚える必要がなくなり、ユーザにとって便利となる。
また、リクエスト部２３は、ユーザ発話を録音した際の録音状態を示す録音状態情報を、通信部２１を介してサーバ装置１０に送信してもよい。録音状態情報は、例えば、録音レベル、ノイズレベル、エコーの影響、ユーザ（発話の音源）との距離、ユーザ（発話の音源）の方向のうちの１又は複数の情報を含むことにしてもよい。
また、リクエスト部２３は、ユーザ発話を録音した際の当該デバイス２０の使用状態を示す使用状態情報を送信してもよい。使用状態情報は、例えば、デバイス２０が使用中であるか否か、デバイス２０で現在使用している出力手段、デバイス２０とユーザとの距離等の情報を含んでいてもよい。
上記デバイス２０において、リクエスト部２３は、例えば、ハードウェアやソフトウェア（ＯＳ、ＡＰＩ、サービス、ユーティリティ、ライブラリ、ドライバ、及びアプリケーション等のプログラム）のモジュール、又は、その組み合わせで構成することができる。また、コンピュータがプログラムを実行することにより、リクエスト部２３の機能を実現することにしてもよい。
図２は、図１の音声アシストシステム１の動作の一例の概略を説明するためのフローチャートである。図２を参照して、図１の音声アシストシステム１の動作の一例の概略を説明する。
図２において、複数のデバイス２０では、各リクエスト部２３は、ユーザが発話すると、ユーザ発話を、マイク２２を介して録音する（ステップＳ１）。リクエスト部２３は、例えば、ユーザの所定の起動発話コマンド（例えば、Ｈｅｌｌｏ、〇〇）が入力された場合に、動作を開始して、以降のユーザの発話の内容を録音してもよい。
また、各リクエスト部２３は、ユーザ発話を録音した際の録音状態を示す録音状態情報を取得する（ステップＳ２）。さらに、各リクエスト部２３は、現在のデバイスの使用状態を示す使用状態情報を取得する（ステップＳ３）。
各リクエスト部２３は、録音したユーザ発話（録音データ）、録音状態情報、及び使用状態情報を、通信部２１を介してサーバ装置１０に送信する（ステップＳ４）。
サーバ装置１０では、音声認識部１２は、複数のデバイス２０から送出される、録音したユーザ発話（録音データ）、録音状態情報、及び使用状態情報を、通信部１１を介して受信する（ステップＴ１）。
音声認識部１２は、受信した複数の録音データについて音声認識処理を実行する（ステップＴ２）。具体的には、音声認識処理では、複数の録音データを音声認識する場合に、録音状態情報に応じて重み付けを行って、最終的なユーザの発話の内容を解釈する。
次に、音声アシスト部１３は、複数のデバイス２０の中から音声アシストを出力するデバイスを選択する出力先デバイス選択処理を実行する（ステップＴ３）。具体的には、出力先デバイス選択処理では、複数のデバイス２０から受信した使用状態情報及び記憶部１４に登録している対応するデバイス情報（デバイス２０に搭載されている出力手段の種類及びそのスペック）を参照して、所定の優先順位に従って、複数のデバイス２０のうち音声アシストを出力するデバイスを選択する。なお、音声アシストを出力するデバイスは、録音データを送出したデバイスに限らず、他のデバイスを選択してもよい。
音声アシスト部１３は、選択したデバイス１０を出力先として音声アシストを実行し（ステップＴ４）、選択されたデバイスは音声アシストを出力する（ステップＳ５）。
図３〜図５は、サーバ装置１０の音声認識部１２が実行する音声認識処理（図２のステップＴ２）の一例を説明するための説明図である。図３〜図５を参照して、サーバ装置１０の音声認識部１２が実行する音声認識処理の具体例を説明する。
図３は、デバイス２０の信頼度（重み）を説明するための図である。各デバイス２０の信頼度は、信頼度＝録音レベルのスコア＋ノイズレベルのスコア＋エコーの影響のスコアで算出することができる。信頼度はスコアが高いほど高くなる。録音レベルは、スコア０〜５の範囲で、録音の音量が大きい程スコアを高くする。ノイズレベルは、スコア０〜５の範囲で、周囲の騒音が少ない程スコアを高くする。エコーの影響は、スピーカから出力される音が小さい程スコアを高くする。
各デバイス２０のリクエスト部２３は、録音状態情報として、例えば、録音レベル、ノイズレベル、エコーの影響の情報をサーバ装置１０に送信し、サーバ装置１０の音声認識部１２は、録音状態情報に基づいて各デバイス２０の信頼度を算出してもよい。また、各デバイス２０のリクエスト部２３は、信頼度＝録音レベルのスコア＋ノイズレベルのスコア＋エコーの影響のスコアを算出し、録音状態情報として、信頼度をサーバ装置１０に送信してもよい。
図４は、複数のデバイス２０でユーザの発話を録音する場合を説明するための図である。図４において、Ａさんの部屋に複数のデバイス２０として、インターネットＴＶ２０Ａ，Ｈｏｍｅｈｕｂ２０Ｂ，デスクトップＰＣ２０Ｃ，ノートＰＣ２０Ｄが配置されているものとする。Ａさんは、例えば、所定の起動発話コマンド（例えば、Ｈｅｌｌｏ、〇〇）を発話した後に、「今日の天気は？」と発話（質問）する。
インターネットＴＶ２０Ａは、例えば、Ａさんに近くて周辺ノイズも小さいがスピーカを使用中でエコーがあるため、信頼度＝録音レベル（４）＋ノイズ（５）＋エコー（０）＝９となる。
Ｈｏｍｅｈｕｂ２０Ｂは、例えば、Ａさんに近く、エコーの影響もなく、周辺ノイズも中程度であるため、信頼度＝録音レベル（５）＋ノイズ（３）＋エコー（５）＝１３となる。
デスクトップＰＣ２０Ｃは、例えば、録音レベルは中程度で、スピーカを使用していないが、周りが騒がしいため、信頼度＝録音レベル（３）＋ノイズ（１）＋エコー（５）＝９となる。
ノートＰＣ２０Ｄは、例えば、エコーの影響もなく周辺ノイズも小さいが、Ａさんから遠く録音音量が小さいため、信頼度＝録音レベル（２）＋ノイズ（４）＋エコー（５）＝１１となる。
この例では、信頼度は、Ｈｏｍｅｈｕｂ２０Ｂ（信頼度＝１３）＞ノートＰＣ２０Ｄ（信頼度＝１１）＞インターネットＴＶ２０Ａ（信頼度＝９）＝デスクトップＰＣ２０Ｃ（信頼度＝９）の順に高くなる。
図５は、デバイス２０の信頼度とサーバ装置１０の音声認識部１２の最終的な音声認識結果を説明するための図である。図５において、インターネットＴＶ２０Ａ，Ｈｏｍｅｈｕｂ２０Ｂ，デスクトップＰＣ２０Ｃ，ノートＰＣ２０Ｄで録音したＡさんの発話「今日の天気は？」を、それぞれサーバ装置１０の音声認識部１２で音声認識した結果は、例えば、「今日の変化は？」、「今日の天気は？」、「今日の天下は？」、「今日の天気は？」となる。音声認識部１２は、例えば、音声認識結果が全てのデバイスで同一になる部分は、同一になる部分をそのまま採用し、異なる部分については、評価値に基づいた重み付けを行ってもよい（例えば、評価値が所定値以上のものの結果を採用したり、評価値が最も高いものの結果を採用してもよい。）。
図５において、例えば、「今日の」部分は、全て同じであるので、この結果を採用してもよい。また、「天気は？」の部分は、「変化は？」、「天気は？」、「天下は？」、「天気は？」と異なるため、信頼度の高いＨｏｍｅｈｕｂ２０Ｂ（信頼度＝１３）とノートＰＣ２０Ｄ（信頼度＝１１）の結果「天気は？」を採用してもよい。そして、音声認識部１２は、最終的な音声認識結果として、「今日の天気は？」を採用してもよい。
図６は、サーバ装置１０の音声アシスト部１３が実行する出力先デバイス選択処理（図２のステップＴ４）の具体例を説明するための説明図である。図６を参照して、サーバ装置１００の音声アシスト部１３が実行する出力先デバイス選択処理の具体例を説明する。
音声アシスト部１３は、例えば、出力先デバイスを選択する優先順位を、１．使用中のデバイスであるか否か、２．デバイスが使用している音声出力手段の種類、３．デバイスの位置（ユーザとの距離）、４．デバイスの音声出力手段の性能の順とすることができる。
より具体的には、「１．使用中のデバイスであるか否か」に関して、例えば、電源が入っているか否かを判断し、電源の入っている使用中のデバイスを優先的に使用する。電源が入っていないデバイスからは出力できないためである。
「２．デバイスが使用している音声出力手段の種類」に関して、例えば、ヘッドセットを使用している場合は、スピーカよりもヘッドセットを優先する。ユーザがヘッドセットを使用している場合は、ヘッドセットから出力することをユーザが期待しているからである。
「３．デバイスの位置（ユーザとの距離）」に関して、例えば、ユーザとの距離を、近距離（例、０〜２ｍ）、中距離（例、２〜５ｍ）、遠距離（例、５ｍ〜）として、大まかな距離の範囲で分け、優先順位を近距離＞中距離＞遠距離とする。
「４．デバイスの音声出力手段の性能の順」に関して、３で同じ距離の範囲の場合は、使用する音声出力手段が、例えばスピーカの場合は、最も大きな音を出力可能な（許容入力の最も大きい）スピーカを搭載したデバイスを優先的に選択してもよい。また、使用する出力手段が、モニタの場合は、画面サイズが最も大きいモニタを搭載したデバイスを優先的に選択してもよい。
図６において、例えば、インターネットＴＶ２０Ａ，Ｈｏｍｅｈｕｂ２０Ｂ，デスクトップＰＣ２０Ｃ，及びノートＰＣ２０Ｄは、全て電源が入っており、使用中であるとする。Ａさんが、ノートＰＣ２０Ｄでヘッドセット（ワイヤレス）を使用している場合は、音声アシスト部１３は、音声アシストの出力先デバイスとして、ノートＰＣ２０Ｄを選択する。音声アシスト部１３は、音声アシストの返答（例えば、「一日中快晴です」）をノートＰＣ２０Ｄに送信し、ノートＰＣ２０Ｄは、音声アシストの返答（例えば、「一日中快晴です」）をヘッドセットから出力する。
以上説明したように、本実施の形態によれば、複数のデバイス２０は、同じユーザ発話をマイクを介してそれぞれ録音してその録音データをサーバ装置１０に送信し、サーバ装置１０は、複数のデバイス２０からそれぞれ送信される録音データを、所定の基準に従って音声認識することによりユーザ発話の内容を解釈し、音声アシストを行う。これにより、音声アシストを利用可能な複数のデバイスがある場合でも、ユーザがどのデバイスを使用するかを迷うことなく簡単に音声アシストを利用することが可能となる。また、同じユーザ発話について、複数のデバイスの録音データを使用して音声認識を行うので、音声認識の精度を向上させることが可能となる。
また、本実施の形態によれば、複数のデバイス２０は、マイク２２を介してユーザの所定の起動発話コマンドが入力された後に、ユーザ発話の録音を開始することにしてもよい。これにより、ユーザは、同じキーワード（起動発話コマンド）を使用して音声アシストを利用することができ、デバイス毎に異なるキーワードを覚えておく必要がなくなり、便利となる。
また、本実施の形態によれば、複数のデバイス２０は、ユーザ発話を録音した際の録音状態を示す録音状態情報をサーバ装置１０にそれぞれ送信し、サーバ装置１０は、複数の録音データを音声認識する場合に、録音状態情報に応じた重み付けを行って、ユーザ発話の内容を解釈してもよい。これにより、録音状態に応じた重み付けを行うことでより音声認識の精度を向上させることが可能となる。
また、本実施の形態によれば、録音状態情報は、録音レベル、ノイズレベル、及びエコーの影響の情報のうちの１又は複数を含むことにしてもよい。これにより、録音時の録音レベル、ノイズレベル、又はエコーの影響を加味して音声認識を行うことが可能となる。
また、本実施の形態によれば、サーバ装置１０は、所定の優先順位に従って、複数のデバイスのうち音声アシストを出力するデバイスを選択してもよい。これにより、音声アシストの出力先として好適なデバイスを選択することが可能となる。
また、本実施の形態によれば、所定の優先順位は、デバイスを使用中であるか否か、デバイスで使用している出力手段、デバイスとユーザとの距離、及びデバイスの出力手段のパフォーマンスのうちの１又は複数により決定してもよい。これにより、ユーザにとってより好適なデバイスから音声アシストを出力することが可能となる。
（ハードウェア構成例）
図７及び図８を参照して、上記実施の形態に係る音声アシストシステム１のハードウェア構成例を説明する。図７は、図１のサーバ装置１０のハードウェア構成例を説明するための図である。図８は、図１のデバイス２０のハードウェア構成例を示す図である。
図７に示すように、サーバ装置１は、ＣＰＵ１１１、ＲＯＭ１１２、メモリ１１３、ストレージ１１４、入力部１０４、音声認識エンジン１１７、通信部１２０、ＤＣ−ＤＣコンバータ１２２、及びＡＣアダプタ１２３等を備えており、各部はバスを介して直接または間接的に接続されている。
ＣＰＵ１１１は、バスを介して接続されたストレージ１１４に格納されたＯＳ１３０によりサーバ装置１０全体の制御を行うとともに、ストレージ１１４に格納された各種のプログラムに基づいて処理を実行する機能を司る。ＲＯＭ１１２は、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ：基本入出力システム）１１２ａやデータ等を格納している。
メモリ１１３は、キャッシュメモリやＲＡＭで構成されており、ＣＰＵ１１１の実行プログラムの読み込み領域として、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。
ストレージ１１４は、例えば、ＳＳＤやＨＤＤ等の不揮発性の記憶装置で構成されており、例えば、Ｗｉｎｄｏｗｓ（登録商標）等のサーバ装置１０全体の制御を行うためのＯＳ１３０と、周辺機器類をハードウェア操作するための各種のドライバ１３１と、音声アシスト・サーバ用プログラム１３２、ユーザ名とデバイス情報を登録するためのデバイステーブル１３３、及び他のアプリケーション（不図示）等を記憶する機能を有する。
音声アシスト・サーバ用プログラム１３２は、複数のデバイス２０から送信されるユーザ発話の録音データを音声認識して、ユーザに音声アシストを提供するためのアプリケーションである。音声アシスト・サーバ用プログラム１３２は、複数のデバイス２０からユーザ発話の録音データ（録音状態情報、使用状態情報を含む）を、通信部１２０を介して受信すると、音声認識エンジン１１７に音声認識処理（例えば、図２のステップＴ２参照）を実行させると共に、出力先デバイス選択処理（例えば、図２のステップＴ３参照）を実行し、音声認識エンジン１１７の最終的な音声認識結果に基づいた音声アシストを出力先デバイス選択処理で選択した出力先デバイスを介して実行する。
入力部１０４は、ユーザが入力操作を行うためのユーザインターフェースであり、文字、コマンド等を入力する各種キーより構成されるキーボード等を備えている。
音声認識エンジン１１７は、録音したユーザ発話（録音データ）を音声認識してユーザ発話の内容を解釈（テキストに変換）するためのものであり、具体的には、録音データを音響分析し、音響モデル、言語モデル、発音辞書等の音声認識辞書を使用して、テキストに変換する。音声認識エンジン１１７は、音声アシスト・サーバ用プログラム１３２の指示に従って、音声認識処理（例えば、図２のステップＴ２参照）を実行する。
通信部１２０は、ネットワークを介して有線又は無線で複数のデバイス２０とデータ通信するためのものである。
ＡＣアダプタ１２３は、商用電源に接続して、ＡＣ電圧をＤＣ電圧に変換してＤＣ−ＤＣコンバータ１２２に出力する。ＤＣ−ＤＣコンバータ１２２は、ＡＣアダプタ１２３から供給されるＤＣ電圧を所定の電圧に変換して各部に電力を供給する。
上記構成において、ＣＰＵ１１１，音声アシスト・サーバ用プログラム１３２、及び音声認識エンジン１１７は、図１の音声認識部１２の機能を実現することができる。また、ＣＰＵ１１１及び音声アシスト・サーバ用プログラム１３２は、図１の音声アシスト部１３の機能を実現することができる。
図８に示すように、デバイス２０は、制御部２１０と、メモリ２１１と、ストレージ２１２と、無線通信部２１５と、通信部２１６と、オーディオデバイス２１７と、電源部２２４と、モニタ２０３と、及び操作部２２３等を備えている。
モニタ２０３は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や、有機ＥＬ（Organic Electro−Luminescence）パネルなどで構成され、文字や図形等を表示する。
操作部２２３は、各種ボタン等を通じて利用者の操作を受け付け、受け付けた操作に対応する指示信号を制御部２１０へ送信する。
電源部２２４は、制御部２１０の制御に従って、蓄電池又はＡＣアダプタから得られる電力を、制御部２１０を含むデバイス２０の各部へ供給する。
通信部２１６は、ネットワークを介して、サーバ装置１０とデータ通信するためのものである。
無線通信部２１５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）の通信規格に基づく通信や、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）の通信規格に基づいた通信を行う。
オーディオデバイス２１７は、マイク２０５と、スピーカ２０６と、ヘッドセットポート２０７と、ＤＳＰ２１８とを備えている。
マイク２０５は、例えば、アレイマイクで構成されており、音声を集音して音声データをＤＳＰ２１８に出力する。スピーカ２０６は、ＤＳＰ２１８から出力される音声データに応じた音声を出力する。ヘッドセットポート２０７は、有線又は無線でヘッドセット３００を接続するためのものであり、ＤＳＰ２１８から出力される音声データをヘッドセット３００に出力する。
ＤＳＰ２１８は、Ａ／Ｄ変換器と、Ｄ／Ａ変換器と、アンプと、各種フィルタ等を含む音声処理用ＬＳＩ及びメモリ等を備えており、マイク２０５から入力される音声をＡ／Ｄ変換した後に音声処理し、音声処理後の音声データ（デジタルデータ）を制御部２１０に出力したり、制御部２１０から入力される音声データ（デジタル）を、Ｄ／Ａ変換して、スピーカ２０６又はヘッドセットポート２０７から出力させる。
ＤＳＰ２１８は、ｗａｋｅ ｏｎ ｖｏｉｃｅ機能を備えており、スリープ状態でも電源部２２４から電力が供給されており、スリープ状態にある場合でもマイク２０５から音声を集音可能に構成されている。
ＤＳＰ２１８は、マイク（例えば、アレイマイク）２０５から入力される音声の位置情報（その音源の位置（マイク２０５に対する相対的位置）、方向）を、各マイクの音の到達時間の差から算出することが可能となっており、ユーザ（音源）との距離及びユーザ（音源）の方向を判定することができる。
メモリ２１１は、例えば、ＲＡＭやＤＲＡＭ等で構成されており、制御部２１０によって実行されるプログラム、制御部２１０が参照するデータ、制御部２１０の演算結果等が一時的に記憶されるワークエリアとして使用される。
ストレージ２１２は、例えば、不揮発性メモリ（例えば、ＥＥＰＲＯＭ、ＳＳＤ）であり、制御部２１０での処理に利用されるプログラムやデータを保存する。ストレージ２１２に記憶されるプログラムには、デバイス２０の各機能を実現するためのＯＳ２１２ａ、デバイス２０をハードウェア制御するためのドライバ２１２ｂ、サーバ装置１０の音声アシストを使用するための音声アシスト・クライアント用プログラム（アプリ）２１２ｃ、他のアプリケーション（不図示）、及び各種データ等が含まれる。各種アプリとデバイス間の通信にはＯＳ２１２ａが介在する。
制御部２１０は、例えば、ＣＰＵ（Central Processing Unit）、マイクロプロセッサ、ＤＳＰ等であり、デバイス２０の動作を統括的に制御して各種の機能（モード）を実現する。具体的には、制御部２１０は、ストレージ２１２に記憶されているデータやメモリ２１１に展開したデータを必要に応じて参照しつつ、ストレージ２１２に記憶されているプログラムに含まれる命令を実行して、モニタ２０３、無線通信部２１５，通信部２１６、オーディオデバイス２１７等を制御することによって各種機能（モード）を実現する。なお、制御部２１０が実行するプログラムや参照するデータは、通信部２１６や無線通信部２１５による通信でサーバ装置からダウンロードしたり、アップデートしてもよい。
音声アシスト・クライアント用プログラム（アプリ）２１２ｃは、オーディオデバイス２１７を介して、ユーザの所定の起動発話コマンドが入力された後に、ユーザ発話を録音してその録音データをサーバ装置１０に送信する。また、音声アシスト・クライアント用プログラム（アプリ）２１２ｃは、例えば、録音状態情報をオーディオデバイス２１７から取得してサーバ装置１０に送信したり、動作状態情報をＯＳ２１２ａから取得してサーバ装置１０に送信する。さらに、音声アシスト・クライアント用プログラム（アプリ）２１２ｃは、サーバ装置１０から音声アシストの出力指示があった場合には、ＤＳＰ２１８を介してスピーカ２０６やヘッドセット３００から音声出力させたり、モニタ２０３に表示させる。
上記構成において、制御部２１０，オーディオデバイス２１７，及び音声アシスト・クライアント用プログラム（アプリ）２１２ｃ等は、図１のリクエスト部２３の機能を実現することができる。また、オーディオデバイス２１７やモニタ２０３は、図１の出力手段２４の機能を実現することができる。
１ 音声アシストシステム
１０ サーバ装置
１１ 通信部
１２ 音声認識部
１３ 音声アシスト部
１４ 記憶部
２０ デバイス
２１ 通信部
２２ マイク
２３ リクエスト部
２４ 出力手段
１１１ ＣＰＵ
１１２ ＲＯＭ
１１３ メモリ
１１４ ストレージ
１０７ ＬＣＤ
１１７ 音声認識エンジン
１２０ 通信部
１３２ 音声アシスト・サーバ用プログラム
２０３ モニタ
２０５ マイク
２０６ スピーカ
２０７ ヘッドセットポート
２１０ 制御部
２１１ メモリ
２１２ ストレージ
２１２ｃ 音声アシスト・クライアント用プログラム
２１５ 無線通信部
２１６ 通信部
２１７ オーディオデバイス

Claims (16)

  1. 音声アシストを行うサーバ装置と複数のデバイスとが通信可能に接続された音声アシストシステムであって、
    前記複数のデバイスは、マイクを介して、同じユーザ発話をそれぞれ録音してその録音データを前記サーバ装置に送信し、
    前記サーバ装置は、前記複数のデバイスからそれぞれ送信される録音データを受信し、受信した複数の録音データを、所定の基準に従って音声認識することにより前記ユーザ発話の内容を解釈して音声アシストを行うことを特徴とする音声アシストシステム。
  2. 前記複数のデバイスは、前記マイクを介してユーザの所定の起動発話コマンドが入力された後に、ユーザ発話の録音を開始することを特徴とする請求項１に記載の音声アシストシステム。
  3. 前記複数のデバイスは、さらに、前記ユーザ発話を録音した際の録音状態を示す録音状態情報を前記サーバ装置にそれぞれ送信し、
    前記サーバ装置は、前記受信した複数の録音データを音声認識する場合に、前記録音状態情報に応じた重み付けを行って、前記ユーザ発話の内容を解釈することを特徴とする請求項１又は２に記載の音声アシストシステム。
  4. 前記録音状態情報は、録音レベル、ノイズレベル、及びエコーのうちの少なくとも一つの情報を含むことを特徴とする請求項３に記載の音声アシストシステム。
  5. 前記録音状態情報は、録音レベル、ノイズレベル、及びエコーの全ての情報を含むことを特徴とする請求項３に記載の音声アシストシステム。
  6. 前記サーバ装置は、さらに、所定の優先順位に従って、前記複数のデバイスのうち音声アシストを出力するデバイスを選択することを特徴とする請求項１〜５のいずれか１つに記載の音声アシストシステム。
  7. 前記所定の優先順位は、前記デバイスを使用中であるか否か、前記デバイスで使用している出力手段の種類、前記デバイスとユーザとの距離、及び前記デバイスの出力手段のパフォーマンスのうちの１又は複数により決定されることを特徴とする請求項６に記載の音声アシストシステム。
  8. 複数のデバイスと通信可能に接続されており、音声アシストを行うサーバ装置であって、
    ネットワークを介して、前記複数のデバイスとデータ通信するための通信部と、
    前記通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従って音声認識することにより、前記ユーザ発話の内容を解釈する音声認識部と、
    前記音声認識部で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト部と、
    を備えたことを特徴とするサーバ装置。
  9. 前記音声認識部は、前記同じユーザ発話の録音データを音声認識する場合に、前記複数のデバイスから送出される、前記ユーザ発話を録音した際の録音状態を示す録音状態情報に応じた重み付けを行って、前記ユーザ発話の内容を解釈することを特徴とする請求項８に記載のサーバ装置。
  10. 前記録音状態情報は、録音レベル、ノイズレベル、及びエコーのうちの少なくとも一つの情報を含むことを特徴とする請求項９に記載のサーバ装置。
  11. 前記録音状態情報は、録音レベル、ノイズレベル、及びエコーの全ての情報を含むことを特徴とする請求項９に記載のサーバ装置。
  12. 前記音声アシスト部は、所定の優先順位に従って、前記複数のデバイスのうち音声アシストを出力するデバイスを選択することを特徴とする請求項８〜１１のいずれか１つに記載のサーバ装置。
  13. 前記所定の優先順位は、前記デバイスが使用中であるか否か、前記デバイスで使用している出力手段の種類、前記デバイスとユーザとの距離、及び前記デバイスの出力手段のパフォーマンスのうちの１又は複数により決定されることを特徴とする請求項１２に記載のサーバ装置。
  14. 音声アシストを行うサーバ装置とデータ通信可能に接続されたデバイスであって、
    ネットワークを介して前記サーバ装置とデータ通信するための通信部と、
    音声を入力するためのマイクと、
    前記マイクを介して、他のデバイスと同じユーザ発話を録音してその録音データを、前記通信部を介して前記サーバ装置に送信するリクエスト部と、
    を備えたことを特徴とするデバイス。
  15. 複数のデバイスと通信可能に接続されたサーバ装置が実行する音声アシスト方法であって、
    通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従って音声認識することにより、前記ユーザ発話の内容を解釈する音声認識工程と、
    前記音声認識工程で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト工程と、
    を含むことを特徴とする音声アシスト方法。
  16. 複数のデバイスと通信可能に接続されたサーバ装置に搭載されたプログラムであって、
    通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従って音声認識することにより、前記ユーザ発話の内容を解釈する音声認識工程と、
    前記音声認識工程で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト工程と、
    をコンピュータに実行させることを特徴とするコンピュータが実行可能なプログラム。
JP2017154571A 2017-08-09 2017-08-09 音声アシストシステム、サーバ装置、その音声アシスト方法、及びコンピュータが実行するためのプログラム Active JP6513749B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017154571A JP6513749B2 (ja) 2017-08-09 2017-08-09 音声アシストシステム、サーバ装置、その音声アシスト方法、及びコンピュータが実行するためのプログラム
CN201810621047.8A CN109389975A (zh) 2017-08-09 2018-06-15 语音辅助系统、服务器装置、设备、其语音辅助方法
US16/100,142 US10867596B2 (en) 2017-08-09 2018-08-09 Voice assistant system, server apparatus, device, voice assistant method therefor, and program to be executed by computer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017154571A JP6513749B2 (ja) 2017-08-09 2017-08-09 音声アシストシステム、サーバ装置、その音声アシスト方法、及びコンピュータが実行するためのプログラム

Publications (2)

Publication Number Publication Date
JP2019032479A true JP2019032479A (ja) 2019-02-28
JP6513749B2 JP6513749B2 (ja) 2019-05-15

Family

ID=65275407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017154571A Active JP6513749B2 (ja) 2017-08-09 2017-08-09 音声アシストシステム、サーバ装置、その音声アシスト方法、及びコンピュータが実行するためのプログラム

Country Status (3)

Country Link
US (1) US10867596B2 (ja)
JP (1) JP6513749B2 (ja)
CN (1) CN109389975A (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10743101B2 (en) 2016-02-22 2020-08-11 Sonos, Inc. Content mixing
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10531157B1 (en) * 2017-09-21 2020-01-07 Amazon Technologies, Inc. Presentation and management of audio and visual content across devices
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10665244B1 (en) * 2018-03-22 2020-05-26 Pindrop Security, Inc. Leveraging multiple audio channels for authentication
US10600408B1 (en) * 2018-03-23 2020-03-24 Amazon Technologies, Inc. Content output management based on speech quality
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US10782986B2 (en) 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11315553B2 (en) * 2018-09-20 2022-04-26 Samsung Electronics Co., Ltd. Electronic device and method for providing or obtaining data for training thereof
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
CN111801731B (zh) * 2019-01-22 2024-02-13 京东方科技集团股份有限公司 语音控制方法、语音控制装置以及计算机可执行非易失性存储介质
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
EP3709194A1 (en) 2019-03-15 2020-09-16 Spotify AB Ensemble-based data comparison
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11482210B2 (en) 2019-05-29 2022-10-25 Lg Electronics Inc. Artificial intelligence device capable of controlling other devices based on device information
KR102252526B1 (ko) * 2019-06-07 2021-05-14 부산대학교 산학협력단 경량 ＩｏＴ 장치를 위한 지능형 음성 서비스 지원 장치 및 방법
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
KR20190089128A (ko) * 2019-07-10 2019-07-30 엘지전자 주식회사 음성 인식 방법 및 음성 인식 장치
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
CN110364161A (zh) * 2019-08-22 2019-10-22 北京小米智能科技有限公司 响应语音信号的方法、电子设备、介质及系统
US11094319B2 (en) 2019-08-30 2021-08-17 Spotify Ab Systems and methods for generating a cleaned version of ambient sound
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
KR20210050901A (ko) * 2019-10-29 2021-05-10 엘지전자 주식회사 음성 인식 방법 및 음성 인식 장치
US11233490B2 (en) * 2019-11-21 2022-01-25 Motorola Mobility Llc Context based volume adaptation by voice assistant devices
EP3836582B1 (en) * 2019-12-09 2024-01-31 Google LLC Relay device for voice commands to be processed by a voice assistant, voice assistant and wireless network
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US20210210099A1 (en) * 2020-01-06 2021-07-08 Soundhound, Inc. Multi Device Proxy
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
KR20210098250A (ko) * 2020-01-31 2021-08-10 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11328722B2 (en) * 2020-02-11 2022-05-10 Spotify Ab Systems and methods for generating a singular voice audio stream
US11308959B2 (en) 2020-02-11 2022-04-19 Spotify Ab Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices
CN111312250A (zh) * 2020-02-21 2020-06-19 珠海荣邦电子科技有限公司 基于语音的多设备适配控制方法、装置及系统
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11308962B2 (en) * 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US20220036211A1 (en) * 2020-07-30 2022-02-03 International Business Machines Corporation User-hesitancy based validation for virtual assistance operations
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
CN112201244A (zh) * 2020-09-30 2021-01-08 北京搜狗科技发展有限公司 一种记账方法、装置和耳机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057385A (ja) * 1991-06-27 1993-01-14 Sharp Corp 音声認識リモコン装置
JPH05249989A (ja) * 1992-03-06 1993-09-28 Nippondenso Co Ltd 音声認識制御装置
JP2002258892A (ja) * 2001-03-05 2002-09-11 Alpine Electronics Inc 音声認識機器操作装置
JP2014178339A (ja) * 2011-06-03 2014-09-25 Nec Corp 音声処理システム、発話者の音声取得方法、音声処理装置およびその制御方法と制御プログラム
WO2015146179A1 (ja) * 2014-03-28 2015-10-01 パナソニックＩｐマネジメント株式会社 音声コマンド入力装置および音声コマンド入力方法
JP2016114744A (ja) * 2014-12-15 2016-06-23 オンキヨー株式会社 電子機器制御システム、端末装置、及び、サーバー

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110054900A1 (en) * 2007-03-07 2011-03-03 Phillips Michael S Hybrid command and control between resident and remote speech recognition facilities in a mobile voice-to-speech application
JP5075664B2 (ja) * 2008-02-15 2012-11-21 株式会社東芝 音声対話装置及び支援方法
JP2010085790A (ja) * 2008-09-30 2010-04-15 Nec Corp 会話学習支援システム、会話学習支援方法およびプログラム
US9305553B2 (en) * 2010-04-28 2016-04-05 William S. Meisel Speech recognition accuracy improvement through speaker categories
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
KR20160023089A (ko) * 2014-08-21 2016-03-03 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
US9318107B1 (en) * 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
US9812128B2 (en) * 2014-10-09 2017-11-07 Google Inc. Device leadership negotiation among voice interface devices
KR102306798B1 (ko) * 2015-03-20 2021-09-30 삼성전자주식회사 에코 제거 방법 및 그 전자 장치
WO2016210012A1 (en) * 2015-06-22 2016-12-29 Loose Cannon Systems, Inc. Portable group communication device having audio playback and/or phone call capability
US10152968B1 (en) * 2015-06-26 2018-12-11 Iconics, Inc. Systems and methods for speech-based monitoring and/or control of automation devices
US9875081B2 (en) * 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
CN105825855A (zh) * 2016-04-13 2016-08-03 联想(北京)有限公司 一种信息处理方法及主终端设备
KR20170132622A (ko) * 2016-05-24 2017-12-04 삼성전자주식회사 음성 인식 기능을 갖는 전자 장치 및 전자 장치의 동작 방법
US10257363B2 (en) * 2016-07-22 2019-04-09 Lenovo (Singapore) Pte. Ltd. Coordinating input on multiple local devices
US9972320B2 (en) * 2016-08-24 2018-05-15 Google Llc Hotword detection on multiple devices
CN106951209A (zh) * 2017-03-29 2017-07-14 联想(北京)有限公司 一种控制方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057385A (ja) * 1991-06-27 1993-01-14 Sharp Corp 音声認識リモコン装置
JPH05249989A (ja) * 1992-03-06 1993-09-28 Nippondenso Co Ltd 音声認識制御装置
JP2002258892A (ja) * 2001-03-05 2002-09-11 Alpine Electronics Inc 音声認識機器操作装置
JP2014178339A (ja) * 2011-06-03 2014-09-25 Nec Corp 音声処理システム、発話者の音声取得方法、音声処理装置およびその制御方法と制御プログラム
WO2015146179A1 (ja) * 2014-03-28 2015-10-01 パナソニックＩｐマネジメント株式会社 音声コマンド入力装置および音声コマンド入力方法
JP2016114744A (ja) * 2014-12-15 2016-06-23 オンキヨー株式会社 電子機器制御システム、端末装置、及び、サーバー

Also Published As

Publication number Publication date
US20190051289A1 (en) 2019-02-14
CN109389975A (zh) 2019-02-26
US10867596B2 (en) 2020-12-15
JP6513749B2 (ja) 2019-05-15

Similar Documents

Publication Publication Date Title
JP6513749B2 (ja) 音声アシストシステム、サーバ装置、その音声アシスト方法、及びコンピュータが実行するためのプログラム
US11676601B2 (en) Voice assistant tracking and activation
EP3507797B1 (en) Accessing multiple virtual personal assistants (vpa) from a single device
CN107004411B (zh) 话音应用架构
US10777193B2 (en) System and device for selecting speech recognition model
CN111095400A (zh) 选择系统和方法
NZ770836A (en) Headless task completion within digital personal assistants
KR102508863B1 (ko) 전자 장치 및 상기 전자 장치로부터 수신된 데이터를 처리하는 서버
KR20140089863A (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
KR20200052638A (ko) 전자 장치 및 전자 장치의 음성 인식 방법
JP6904357B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN108804070B (zh) 音乐播放方法、装置、存储介质及电子设备
EP3769303B1 (en) Modifying spoken commands
US20190362709A1 (en) Offline Voice Enrollment
JP2017138536A (ja) 音声処理装置
KR20220143683A (ko) 전자 개인 비서 조정
US10848866B2 (en) Audio interface for multiple microphones and speaker systems to interface with a host
US11151995B2 (en) Electronic device for mapping an invoke word to a sequence of inputs for generating a personalized command
KR20210116897A (ko) 외부 장치의 음성 기반 제어를 위한 방법 및 그 전자 장치
US10976997B2 (en) Electronic device outputting hints in an offline state for providing service according to user context
KR20210044509A (ko) 음성 인식의 향상을 지원하는 전자 장치
US10580266B2 (en) Indicator to indicate a state of a personal assistant application
EP3608905A1 (en) Electronic apparatus for processing user utterance and controlling method thereof
EP3855305A1 (en) Agent system, agent server, and agent program
US11641592B1 (en) Device management using stored network metrics

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190410

R150 Certificate of patent or registration of utility model

Ref document number: 6513749

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250