JP2019091332A - 音声認識システム、電子機器、及び、サーバー - Google Patents

Abstract

【課題】帯域負荷がかかってしまうこと、即時性、オフラインで利用できない等の問題を解決すること。【解決手段】コマンドマネージャーは、マイクに入力される音声を、サーバーに送信する。また、コマンドマネージャーは、サーバーから送信される、サーバーに送信した音声に基づくコマンドを受信する。また、コマンドマネージャーは、受信したコマンドに基づいて、コマンドを送信するアプリケーションを決定する。また、コマンドマネージャーは、決定したアプリケーションにコマンドを送信する。アプリケーションは、コマンドマネージャーから送信されるコマンドを処理する。【選択図】図４

Description

本発明は、音声認識システム、並びに、音声認識システムを構成する電子機器、及び、サーバーに関する。

マイクとスピーカーとを備え、ユーザーからの発話音声の操作を受け付ける機能を有する電子機器がある。図５は、電子機器を含む音声認識システムを示す図である。電子機器は、ユーザーの発話音声を外部のサーバーに送信する。サーバーは、発話音声をテキスト化し、文章理解（NLU：Natural Language Understanding）を行う。サーバーは、文章理解後、適切なコマンドに割り当て（ドメイン）、コマンドに該当するアプリケーションを実行する。電子機器は、ユーザーの要求に応じて、アプリケーション上で外部のサーバーと接続し、適切な情報を取り出す。例えば、ユーザーが「今日の大阪の天気は？」と発話した場合、サーバーは、今日の大阪の天気の情報をテキストデータとして取り出す。サーバーは、取り出したテキストデータ、例えば、「今日の大阪の天気は、晴れです。」というテキストデータを音声に変換し、電子機器に送信する。電子機器は、サーバーから送信された音声をスピーカーから出力することで、ユーザーの要求に対しての応答を行う。特許文献１には、ユーザーが天気、目的地（最寄りのレストラン等）の情報を要求している例が示されている。

従来の音声認識システムの構成では、アプリケーションの拡大性、実装性を考慮し、図５に示すように、サーバー側でのみアプリケーションを実装する設計としている。

特開２０１４−１７９０６７号公報

図５に示す例では、音声の内容により、実行したいアプリケーションがサーバー（クラウド）側で実装されている。サーバー側でアプリケーションを設計することで、電子機器のプラットフォームに依存せずに、アプリケーションを実行できるという利点がある。しかしながら、電子機器のセンシング情報がリアルタイムで必要なアプリケーションは、常に、電子機器とアプリケーションとを接続しておく必要がある。このため、帯域負荷がかかってしまうこと、即時性、オフラインで利用できない等の問題がある。

本発明の目的は、上記問題を解決することである。

第１の発明の電子機器は、コマンドマネージャーと、アプリケーションと、を有し、前記コマンドマネージャーと、前記アプリケーションと、に従って動作する制御部を備え、前記制御部は、前記コマンドマネージャーに従って、入力される音声を、サーバーに送信し、前記サーバーから送信される、前記サーバーに送信した音声に基づくコマンドを受信し、受信したコマンドに基づいて、コマンドを送信する前記アプリケーションを決定し、決定した前記アプリケーションにコマンドを送信し、前記アプリケーションに従って、前記コマンドマネージャーから送信されるコマンドを処理することを特徴とする。

本発明では、制御部は、内部のアプリケーションに従って、コマンドマネージャーから送信されるコマンドを処理する。これにより、外部のアプリケーションに接続することなく、処理を実行することができるため、帯域負荷がかかることがない。また、即時に処理を実行可能である。また、オフラインでも利用可能である。また、電子機器にアプリケーションを設けることで、電子機器のセンシング情報を随時利用することができる。また、電子機器にコマンドマネージャーを設けることで、他のアプリケーションが、テキスト変換、音声入力を意識せず、且つ、他のアプリケーションの機能を利用することができる。

第２の発明の電子機器は、第１の発明の電子機器において、前記制御部は、前記アプリケーションに従って、前記コマンドマネージャーから送信されるコマンドに基づいて、外部のサービスから情報を取得することを特徴とする。

第３の発明の電子機器は、第２の発明の電子機器において、前記制御部は、前記アプリケーションに従って、取得した情報を前記コマンドマネージャーに送信することを特徴とする。

第４の発明の電子機器は、第３の発明の電子機器において、前記制御部は、前記コマンドマネージャーに従って、前記アプリケーションから送信される情報に含まれるテキストを、テキスト・音声変換により、音声に変換することを特徴とする。

第５の発明の電子機器は、第４の発明の電子機器において、スピーカーをさらに備え、前記制御部は、前記コマンドマネージャーに従って、音声を前記スピーカーに出力することを特徴とする。

第６の発明の電子機器は、第１〜第５のいずれかの発明の電子機器において、マイクをさらに備え、前記制御部は、前記コマンドマネージャーに従って、前記マイクに入力される音声を、前記サーバーに送信することを特徴とする。

第７の発明の電子機器は、第１〜第６のいずれかの発明の電子機器において、前記アプリケーションは、複数のアプリケーションを含み、前記制御部は、前記アプリーションに従って、前記コマンドマネージャーから送信されるコマンドを処理できない場合、他の前記アプリケーションにコマンドを処理させるためのコマンドを、前記コマンドマネージャーに送信することを特徴とする。

本発明では、制御部は、アプリケーションに従って、コマンドマネージャーから送信されるコマンドを処理できない場合、他のアプリケーションにコマンドを処理させるためのコマンドを、コマンドマネージャーに送信する。これにより、コマンドマネージャーは、他のアプリケーションにコマンドを処理させるため、そのアプリケーションにコマンドを送信する。このように、本発明では、アプリケーション間の連携をとることができる。

第８の発明の電子機器は、第７の発明の電子機器において、前記制御部は、前記アプリケーションに従って、前記コマンドマネージャーから送信されるコマンドを処理できない場合、他の前記アプリケーションにコマンドを処理させるためのコマンドに、処理の対象となるパラメータを付加して、前記コマンドマネージャーに送信することを特徴とする。

第９の発明の電子機器は、第１〜第８のいずれかの発明の電子機器において、前記アプリケーションは、予定を管理するための予定アプリケーションと、ナビゲーションを行うためのナビゲーションアプリケーションと、を含み、前記制御部は、前記予定アプリケーションに従って、前記コマンドマネージャーから送信される目的地に関するコマンドを受信した場合、前記ナビゲーションアプリケーションが目的地を設定するためのコマンドを、前記コマンドマネージャーに送信することを特徴とする。

本発明では、制御部は、予定アプリケーションに従って、コマンドマネージャーから送信される目的地に関するコマンドを受信した場合、ナビゲーションアプリケーションが目的地を設定するためのコマンドを、コマンドマネージャーに送信する。これにより、コマンドマネージャーは、ナビケーションアプリケーションに目的地を設定させるため、ナビゲーションアプリケーションにコマンドを送信する。このように、本発明では、予定アプリケーションとナビゲーションアプリケーションとの間で連携をとることができる。

第１０の発明の電子機器は、第９の発明の電子機器において、前記制御部は、前記予定アプリケーションに従って、目的地に関するコマンドを受信した場合、前記ナビゲーションアプリが目的地を設定するためのコマンドに、パラメータとして、目的地を付加して、前記コマンドマネージャーに送信することを特徴とする。

第１１の発明のサーバーは、電子機器から送信される音声データをテキストに変換し、変換したテキストに基づいて、文章理解を行い、文章理解に基づいて、コマンドに変換し、変換したコマンドを前記電子機器に送信する。

第１２の発明の音声認識システムは、第１〜第１０のいずれかの発明の電子機器と、第１１の発明のサーバーと、を備えることを特徴とする。

本発明によれば、帯域負荷がかかることがない。また、即時に処理を実行可能である。また、オフラインでも利用可能である。

本発明の実施形態に係る音声認識システムの構成を示すブロック図である。 複数のアプリケーションを示す図である。 音声認識システムの動作を示すシーケンス図である。 音声認識システムにおいて、音声認識を行う具体例を説明するためのシーケンス図である。 電子機器を含む音声認識システムを示す図である。

以下、本発明の実施形態について説明する。図１は、本実施形態に係る音声認識システムの構成を示すブロック図である。音声認識システム１は、電子機器２と、クラウドサーバー３と、サービス／データ４と、を備える。

電子機器２は、図示しないが、ＳｏＣ（System on Chip）（制御部）と、マイクと、スピーカーと、を備える。また、電子機器２は、コマンドマネージャーと、アプリケーションと、を有する。ＳｏＣは、コマンドマネージャー、アプリケーションに従って、処理を実行する。ここで、ＳｏＣは、コマンドマネージャー、アプリケーションに従って、処理を実行するが、以下では、単に、コマンドマネージャー、アプリケーションが処理を実行する、と記載する。マイクは、外部の音声を集音する。スピーカーは、音声データに基づいて、音声を出力する。

コマンドマネージャーは、マイクが集音した音声データをクラウドサーバー３に送信する。外部のクラウドサーバー３は、電子機器２から送信された音声データをテキストに変換する。クラウドサーバー３は、テキストに基づいて、文章理解を行う。クラウドサーバー３は、文章理解に基づいて、コマンドに変換する。クラウドサーバー３は、変換したコマンドを電子機器２に送信する。

コマンドマネージャーは、クラウドサーバー３から送信されるコマンドを受信する。コマンドマネージャーは、受信したコマンドに基づいて、コマンドを送信するアプリケーションを決定する。コマンドが天気に関するコマンドであれば、コマンドマネージャーは、天気コマンドを送信するアプリケーションを、天気アプリケーションに決定する。また、コマンドが予定に関するコマンドであれば、コマンドマネージャーは、予定コマンドを送信するアプリケーションを、予定アプリケーションに決定する。コマンドマネージャーは、決定したアプリケーションにコマンドを送信する。このように、コマンドマネージャーは、アプリケーションに対して、割り当てられたコマンドを送信する。

アプリケーションは、コマンドマネージャーから送信されるコマンドを処理する。具体的には、アプリケーションは、コマンドに基づいて、外部のサービス／データ４から情報を取得する。例えば、天気アプリケーションは、天気サービスから、天気情報を取得する。アプリケーションは、取得した情報をコマンドマネージャーに送信する。コマンドマネージャーは、アプリケーションから送信される情報に含まれるテキストを、テキスト・音声変換により、音声データに変換する。コマンドマネージャーは、変換した音声データをスピーカーに出力する。スピーカーは、出力された音声データに基づいて、音声を出力する。ここで、サービス／データ４は、上記のように、天気の情報を有する天気サービス、料理のレシピの情報を有する料理サービス、予定の情報を有する予定サービス等である。

アプリケーションは、図２に示すように、複数のアプリケーションを含む。例えば、アプリケーションは、天気を知らせるための天気アプリケーション、予定を管理するための予定アプリケーション、ナビゲーションを行うためのナビ（ナビゲーション）アプリケーション、料理をアシストするための料理アプリケーション、音楽を再生するための音楽アプリケーション等である。コマンドマネージャーは、図２に示すように、複数のアプリケーションを管理している。

上述のとおり、図３に示すように、コマンドマネージャーは、マイクが集音した音声データをクラウドサーバー３に送信する。クラウドサーバー３は、電子機器２にコマンドを送信する。コマンドマネージャーは、コマンドを適切なアプリケーションに送信する。アプリケーションは、コマンドに応じて、コマンドマネージャーにレスポンスする。コマンドマネージャーは、アプリケーションからレスポンスされる情報に含まれるテキストを音声に変換し、スピーカーに出力する。アプリケーションからのレスポンスには、アプリケーションから発話したいテキストデータ（ＳＰＥＥＣＨ＿ＴＥＸＴ）、聞き返したい場合のフラグ（ＡＵＴＯ＿ＬＩＳＴＥＮ）、アプリケーションから異なるアプリケーションに問い合わせる場合の履歴情報（ＡＰＰ＿ＣＯＮＴＥＸＴ）が用意されている。

音声認識システム１において、音声認識を行う具体例を、図４に示すシーケンス図に基づいて説明する。まず、ユーザーが、「今日の予定は？」と発話したとする。コマンドマネージャーは、ユーザーが発話した音声「今日の予定は？」をクラウドサーバーに送信する。クラウドサーバー３は、「今日の予定は？」に基づいて、コマンド「ＲＥＭＩＮＤＥＲ＿ＳＣＨＥＤＵＬＥ」を電子機器２に送信する。

コマンドマネージャーは、クラウドサーバー３から送信されるコマンド「ＲＥＭＩＮＤＥＲ＿ＳＣＨＥＤＵＬＥ」を受信する。コマンドマネージャーは、受信したコマンド「ＲＥＭＩＮＤＥＲ＿ＳＣＨＥＤＵＬＥ」に基づいて、コマンドを送信するアプリケーションを決定する。コマンド「ＲＥＭＩＮＤＥＲ＿ＳＣＨＥＤＵＬＥ」は、予定アプリケーションのコマンドであるから、コマンドマネージャーは、コマンドを送信するアプリケーションを予定アプリケーションに決定する。コマンドマネージャーは、「今日の予定は？」が変換されたコマンド「ＲＥＭＩＮＤＥＲ＿ＳＣＨＥＤＵＬＥ」を予定アプリケーションに送信する。予定アプリケーションは、コマンドマネージャーから送信されるコマンド「ＲＥＭＩＮＤＥＲ＿ＳＣＨＥＤＵＬＥ」を受信する。

予定アプリケーションは、コマンド「ＲＥＭＩＮＤＥＲ＿ＳＣＨＥＤＵＬＥ」に基づいて、予定サービスから今日の予定の情報を取得する。予定アプリケーションは、「ＳＰＥＥＣＨ＿ＴＥＸＴ」に「１５時から東京駅で会食です。目的地に設定しますか？」と設定し、「ＡＵＴＯ＿ＬＩＳＴＥＮ」をオンにし、コマンドマネージャーに送信する。これにより、コマンドマネージャーは、ユーザーに対して質問をすることができる。

コマンドマネージャーは、音声・テキスト変換により、音声データ「１５時から東京駅で会食です。目的地に設定しますか？」を取得する。コマンドマネージャーは、取得した音声データをスピーカーに出力する。スピーカーは、音声データに基づいて、音声「１５時から東京駅で会食です。目的地に設定しますか？」を出力する。

次に、ユーザーが、「はい。」と回答したとする。マイクは、音声「はい。」を集音する。コマンドマネージャーは、マイクが集音した音声データ「はい。」をクラウドサーバーに送信する。クラウドサーバー３は、「はい。」に基づいて、コマンド「ＤＩＡＬＯＧ＿ＹＥＳ」を電子機器２に送信する。コマンドマネージャーは、クラウドサーバー３から送信されるコマンド「ＤＩＡＬＯＧ＿ＹＥＳ」を受信する。コマンドマネージャーは、受信したコマンド「ＤＩＡＬＯＧ＿ＹＥＳ」を予定アプリケーションに送信する。予定アプリケーションは、コマンドマネージャーから送信されるコマンド「ＤＩＡＬＯＧ＿ＹＥＳ」を受信し、目的地を「東京駅」に設定する処理を行う。

ここで、予定アプリケーションは、目的地を設定する機能を有していない。このため、予定アプリケーションは、コマンドマネージャーに、「Ａｃｔｉｏｎ」として、「ＮＡＶＩ＿ＳＥＴ＿ＤＥＳＴＩＮＡＴＩＯＮ」（目的地を設定するためのコマンド）を送信し、「ｐａｒａｍｅｔｅｒ」に「東京駅」（パラメータ）を設定する。ここで、図４に示す「Ｌｉｆｅｓｐａｎ」は、コマンドの記憶できる上限で、５の場合、５回、コマンドマネージャーがやり取りすると、履歴情報（ＡＰＰ＿ＣＯＮＴＥＸＴ）が消える。このように、アプリケーションは、コマンドマネージャーから送信されるコマンドを処理できない場合、他のアプリケーションにコマンドを処理させるためのコマンドに、処理の対象となるパラメータを付加して、コマンドマネージャーに送信する。

コマンドマネージャーは、コマンド「ＮＡＶＩ＿ＳＥＴ＿ＤＥＳＴＩＮＡＴＩＯＮ」が、ナビアプリケーションのコマンドであることが分かるため、「Ｉｎｐｕｔ＿Ｃｏｎｔｅｘｔ」と「Ｏｕｔｐｕｔ＿Ｃｏｎｔｅｘｔ」とに、アプリケーション情報（予定アプリケーション、ナビアプリケーション）を付加し、ナビアプリケーションに送信する。ナビアプリケーションは、「ＳＰＥＥＣＨ＿ＴＥＸＴ」に「東京駅に目的地を設定しました。」と設定し、「ＡＵＴＯ＿ＬＩＳＴＥＮ」をオフにし、コマンドマネージャーに送信する。

コマンドマネージャーは、音声・テキスト変換により、音声データ「東京駅を目的地に設定しました。」を取得する。コマンドマネージャーは、取得した音声データをスピーカーに出力する。スピーカーは、音声データに基づいて、音声「東京駅を目的地に設定しました。」を出力する。

以上説明したように、本実施形態では、電子機器２に実装されたアプリケーションは、コマンドマネージャーから送信されるコマンドを処理する。これにより、外部のアプリケーションに接続することなく、処理を実行することができるため、帯域負荷がかかることがない。また、即時に処理を実行可能である。また、オフラインでも利用可能である。また、電子機器２にアプリケーションを設けることで、電子機器２のセンシング情報を随時利用することができる。また、電子機器２にコマンドマネージャーを設けることで、他のアプリケーションが、テキスト変換、音声入力を意識せず、且つ、他のアプリケーションの機能を利用することができる。

また、本実施形態では、アプリケーションは、コマンドマネージャーから送信されるコマンドを処理できない場合、他のアプリケーションにコマンドを処理させるためのコマンドを、コマンドマネージャーに送信する。これにより、コマンドマネージャーは、他のアプリケーションにコマンドを処理させるため、そのアプリケーションにコマンドを送信する。このように、本実施形態では、アプリケーション間の連携をとることができる。

また、本実施形態では、予定アプリケーションは、コマンドマネージャーから送信される目的地に関するコマンドを受信した場合、ナビゲーションアプリケーションが目的地を設定するためのコマンドを、コマンドマネージャーに送信する。これにより、コマンドマネージャーは、ナビケーションアプリケーションに目的地を設定させるため、ナビゲーションアプリケーションにコマンドを送信する。このように、本実施形態では、予定アプリケーションとナビゲーションアプリケーションとの間で連携をとることができる。

以上、本発明の実施形態について説明したが、本発明を適用可能な形態は、上述の実施形態には限られるものではなく、以下に例示するように、本発明の趣旨を逸脱しない範囲で適宜変更を加えることが可能である。

上述の実施形態においては、電子機器２のみにアプリケーションが実装されている構成を例示した。これに限らず、クラウドサーバー３にもアプリケーションが実装されていてもよい。

本発明は、音声認識システム、並びに、音声認識システムを構成する電子機器、及び、サーバーに好適に採用され得る。

１ 音声認識システム
２ 電子機器
３ クラウドサーバー
４ サービス／データ

Claims (12)

1. コマンドマネージャーと、アプリケーションと、を有し、
   前記コマンドマネージャーと、前記アプリケーションと、に従って動作する制御部を備え、
   前記制御部は、
   前記コマンドマネージャーに従って、
   入力される音声を、サーバーに送信し、
   前記サーバーから送信される、前記サーバーに送信した音声に基づくコマンドを受信し、
   受信したコマンドに基づいて、コマンドを送信する前記アプリケーションを決定し、
   決定した前記アプリケーションにコマンドを送信し、
   前記アプリケーションに従って、
   前記コマンドマネージャーから送信されるコマンドを処理することを特徴とする電子機器。
2. 前記制御部は、
   前記アプリケーションに従って、前記コマンドマネージャーから送信されるコマンドに基づいて、外部のサービスから情報を取得することを特徴とする請求項１に記載の電子機器。
3. 前記制御部は、
   前記アプリケーションに従って、取得した情報を前記コマンドマネージャーに送信することを特徴とする請求項２に記載の電子機器。
4. 前記制御部は、
   前記コマンドマネージャーに従って、前記アプリケーションから送信される情報に含まれるテキストを、テキスト・音声変換により、音声に変換することを特徴とする請求項３に記載の電子機器。
5. スピーカーをさらに備え、
   前記制御部は、
   前記コマンドマネージャーに従って、音声を前記スピーカーに出力することを特徴とする請求項４に記載の電子機器。
6. マイクをさらに備え、
   前記制御部は、
   前記コマンドマネージャーに従って、
   前記マイクに入力される音声を、前記サーバーに送信することを特徴とする請求項１〜５のいずれか１項に記載の電子機器。
7. 前記アプリケーションは、複数のアプリケーションを含み、
   前記制御部は、
   前記アプリーションに従って、前記コマンドマネージャーから送信されるコマンドを処理できない場合、他の前記アプリケーションにコマンドを処理させるためのコマンドを、前記コマンドマネージャーに送信することを特徴とする請求項１〜６のいずれか１項に記載の電子機器。
8. 前記制御部は、
   前記アプリケーションに従って、前記コマンドマネージャーから送信されるコマンドを処理できない場合、他の前記アプリケーションにコマンドを処理させるためのコマンドに、処理の対象となるパラメータを付加して、前記コマンドマネージャーに送信することを特徴とする請求項７に記載の電子機器。
9. 前記アプリケーションは、予定を管理するための予定アプリケーションと、ナビゲーションを行うためのナビゲーションアプリケーションと、を含み、
   前記制御部は、
   前記予定アプリケーションに従って、前記コマンドマネージャーから送信される目的地に関するコマンドを受信した場合、前記ナビゲーションアプリケーションが目的地を設定するためのコマンドを、前記コマンドマネージャーに送信することを特徴とする請求項１〜８のいずれか１項に記載の電子機器。
10. 前記制御部は、
    前記予定アプリケーションに従って、目的地に関するコマンドを受信した場合、前記ナビゲーションアプリが目的地を設定するためのコマンドに、パラメータとして、目的地を付加して、前記コマンドマネージャーに送信することを特徴とする請求項９に記載の電子機器。
11. 電子機器から送信される音声データをテキストに変換し、
    変換したテキストに基づいて、文章理解を行い、
    文章理解に基づいて、コマンドに変換し、
    変換したコマンドを前記電子機器に送信することを特徴とするサーバー。
12. 請求項１〜１０のいずれか１項に記載の電子機器と、
    請求項７に記載のサーバーと、
    を備えることを特徴とする音声認識システム。

Images