JP2018198058A - 情報提供方法、電子機器、コンピュータプログラム及び記録媒体 - Google Patents

Abstract

【課題】 音声要請に対応する情報伝達向上のための出力に関する技術を提供する。
【解決手段】 一実施形態として、音声基盤インタフェースを含む電子機器の情報提供方法は、音声基盤インタフェースでユーザからの音声要請を受信する段階、音声要請に対応する応答情報を取得する段階、音声基盤インタフェースに対応するメインメディアおよび電子機器と連動可能な他の電子機器が含むサブメディアを含む複数のメディアのうちの少なくとも１つのメディアから、応答情報を聴覚的出力形態である返答音声として出力する段階、および前記複数のメディアのうちで返答音声が出力されるメディアと同じであるか又は異なる少なくとも１つのメディアから、応答情報のうちの少なくとも一部を他の出力として提供する段階を含む。
【選択図】 図５

Description

以下の説明は、音声要請に対応する情報提供に関する技術であって、より詳細には、音声要請に対する応答情報を提供するときに情報伝達能力を向上させるための他の出力を提供する情報提供方法およびシステム、コンピュータと結合して情報提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムとその記録媒体に関する。

ホームネットワークサービスの人工知能スピーカのように音声に基づいて動作するインタフェースは、マイク（ｍｉｃｒｏｐｈｏｎｅ）でユーザの音声要請を受信し、音声要請に対応する応答情報を提供するために返答音声を合成してスピーカから提供したり、応答情報が含むコンテンツのオーディオを出力したりする。

例えば、特許文献１（公開日２０１１年１２月３０日）は、ホームメディアデバイスおよびこれを利用したホームネットワークシステムと方法に関する技術であって、ホームネットワークサービスにおいて移動通信網の他にＷｉ-Ｆｉのような第２通信網を利用してホームネットワークサービスを提供することが可能であり、ホーム内の複数のマルチメディア機器を、ユーザのボタン操作なく音声命令に基づいてマルチコントロールすることができる技術について開示している。

このような従来技術では、音声要請に対する応答情報の提供時に返答音声だけが出力されるため、情報出力方式が一貫的かつ限定的であることから、情報伝達に限界がある。

韓国公開特許第１０−２０１１−０１３９７９７号公報

人工知能スピーカのような電子機器が含む音声基盤インタフェースに対応するメインメディアだけではなく、電子機器と連動する他の電子機器が含むサブメディア（一例として、スマートフォン、ＩＰＴＶ、照明、スマート冷蔵庫などが含む出力手段）のような複数のメディアに関する情報を管理し、音声基盤インタフェースに受信される音声要請に対応する応答情報に基づいて、応答情報による返答音声と共に、複数のメディアのうちの少なくとも１つのメディアから返答音声を強調する他の出力を提供することができる情報提供方法および情報提供システム、コンピュータと結合してユーザ命令処理方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラム及びその記録媒体等を提供する。

音声基盤インタフェースを含む電子機器の情報提供方法であって、前記音声基盤インタフェースでユーザからの音声要請を受信する段階、前記音声要請に対応する応答情報を取得する段階、前記音声基盤インタフェースに対応するメインメディアおよび前記電子機器と連動可能な他の電子機器が含むサブメディアを含む複数のメディアのうちの少なくとも１つのメディアから、前記応答情報を聴覚的出力形態である返答音声として出力する段階、および前記複数のメディアのうちで前記返答音声が出力されるメディアと同じであるか又は異なる少なくとも１つのメディアから、前記応答情報のうちの少なくとも一部を他の出力として提供する段階を含む、情報提供方法を提供する。

コンピュータと結合して前記情報提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納された、コンピュータプログラムを提供する。

前記情報提供方法をコンピュータに実行させるためのプログラムが記録されていることを特徴とする、コンピュータで読み取り可能な記録媒体を提供する。

電子機器であって、音声基盤インタフェース、およびコンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、前記音声基盤インタフェースでユーザからの音声要請を受信し、前記音声要請に対応する応答情報を取得し、前記音声基盤インタフェースに対応するメインメディアおよび前記電子機器と連動可能な他の電子機器が含むサブメディアを含む複数のメディアのうちの少なくとも１つのメディアから、前記応答情報を聴覚的出力形態である返答音声として出力し、前記複数のメディアのうちで前記返答音声が出力されるメディアと同じであるか又は異なる少なくとも１つのメディアから、前記応答情報のうちの少なくとも一部を他の出力として提供することを特徴とする、電子機器を提供する。

人工知能スピーカのような電子機器が含む音声基盤インタフェースに対応するメインメディアだけではなく、電子機器と連動する他の電子機器が含むサブメディア（一例として、スマートフォン、ＩＰＴＶ、照明、スマート冷蔵庫などが含む出力手段）のような複数のメディアに関する情報を管理し、音声基盤インタフェースに受信される音声要請に対応する応答情報に基づいて、応答情報による返答音声と共に、複数のメディアのうちの少なくとも１つのメディアから返答音声を強調する他の出力を提供することにより、適応的かつ拡張された情報出力方式によって音声要請に対応する応答情報の情報伝達能力を向上させることができる。

本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の例を示した図である。 本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の他の例を示した図である。 本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、情報提供方法の例を示したフローチャートである。 本発明の一実施形態における、音声要請に対する応答情報として、返答音声と同時に、情報伝達能力を向上させるための他の出力を共に提供する例を示した図である。 本発明の一実施形態における、メディアに関する情報の例を示した図である。 本発明の一実施形態における、メディアを決定する方法の例を示したフローチャートである。 本発明の一実施形態における、ユーザの位置によってメディアを決定する例を示した図である。

以下、実施形態について、添付の図面を参照しながら詳しく説明する。

本発明の実施形態に係る情報提供システムは、音声を基盤として動作するインタフェースを提供する電子機器によって実現されてよい。電子機器は、このような音声要請を直接に処理して応答情報を生成するか、インタフェースコネクトを介して連結する外部プラットフォームで認識および分析して音声要請を処理してよい。例えば、外部プラットフォームは、電子機器からユーザの音声要請を受信し、受信した音声要請を分析し、ユーザの意図に適したクエリまたは該当のクエリに対応する応答情報を生成するクラウド人工知能プラットフォームを含んでよい。このとき、電子機器は、音声要請に対応する応答情報を出力するための少なくとも１つのメディアを選択してよい。このようなメディアは、電子機器が含む音声基盤インタフェースに対応するメインメディア、および電子機器と連動して情報出力が可能な他の電子機器が含むサブメディアを含んでよい。一例として、サブメディアは、他の電子機器が含む出力手段（例えば、ディスプレイなど）や他の電子機器にインストールされた特定のアプリケーションに対応してよい。

より具体的に、電子機器は、応答情報に該当する返答音声を出力すると同時に、返答音声と同期化して返答音声を強調することのできる他の出力を共に提供してよい。このとき、返答音声と他の出力は、同じメディアから提供されてもよいし、互いに異なるメディアから提供されてもよい。例えば、「天気を教えて」というユーザの音声要請に対し、「ＰＭ２．５」に関する情報が応答情報として取得される場合が考えられる。このとき、「ＰＭ２．５」に対する返答音声は、電子機器が含む音声基盤インタフェースから聴覚的に出力されてよい。さらに、「ＰＭ２．５」に対する返答音声を強調するための他の出力は、電子機器と連動する他の電子機器のディスプレイから視覚的に出力されてもよい。これだけでなく、「ＰＭ２．５」に対する返答音声と関連する他の出力は、他の電子機器のオーディオアプリケーションと連動して関連ＢＧＭ（ｂａｃｋｇｒｏｕｎｄ ｍｕｓｉｃ）が出力されてもよい。このようなアプリケーションは、オーディオアプリケーションだけではなく、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）関連アプリケーション、地図アプリケーション、検索アプリケーション、ゲームアプリケーション、メッセンジャーアプリケーション、ストアアプリケーションなどのような既存の多様なアプリケーションを含んでもよいことは、当業者であれば容易に理解することができるであろう。

本発明の実施形態に係る情報提供方法は、上述した電子機器によって実行されてよい。このとき、電子機器には、本発明の一実施形態に係るコンピュータプログラムがインストールおよび駆動されてよく、電子機器は、駆動するコンピュータプログラムの制御にしたがって本発明の一実施形態に係る情報提供方法を実行してよい。上述したコンピュータプログラムは、コンピュータによって実現される電子機器と結合し、情報提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されてよい。

図１は、本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の例を示した図である。図１の実施形態では、スマートホーム（ｓｍａｒｔ ｈｏｍｅ）やホームネットワークサービスのように宅内の機器を連結して制御する技術において、音声基盤インタフェース（一例として、マイクとスピーカ）を含む電子機器１００が、マイクに入力されたユーザ１１０の発話「電気を消して」１２１によって受信される音声要請を認識および分析し、「リビングの電気を消しましょうか？」１２２のような応答情報をスピーカから出力する例を示している。さらに、図１の実施形態では、応答情報に対応したユーザ１１０の発話「うん」１２３によって受信される音声要請を認識および分析し、電子機器１００と内部ネットワークを介して連動する宅内照明機器１３０のライト電源を制御する例を示している。

ここで、宅内の機器は、上述した宅内照明機器１３０の他にも、ＩＰＴＶ、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、周辺機器、エアコン、冷蔵庫、ロボット清掃機などのような家電製品はもちろんのこと、水道、電気、冷暖房機器などのようなエネルギー消費装置、ドアロックや監視カメラなどのような保安機器などのように、オンライン上で連結して制御されることのできる多様な機器を含んでよい。また、内部ネットワークは、イーサネット（登録商標（Ｅｔｈｅｒｎｅｔ））、ＨｏｍｅＰＮＡ、ＩＥＥＥ １３９４のような有線ネットワーク技術、ブルートゥース（登録商標（Ｂｌｕｅｔｏｏｔｈ））、ＵＷＢ（ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）、Ｗｉｒｅｌｅｓｓ １３９４、Ｈｏｍｅ ＲＦのような無線ネットワーク技術などが活用されてよい。

電子機器１００は、宅内の機器のうちの１つであってよい。例えば、電子機器１００は、宅内に備えられた人工知能スピーカやロボット清掃機などのような機器のうちの１つであってよい。また、電子機器１００は、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、携帯電話、ノート型パンコン、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットＰＣなどのようなユーザ１１０のモバイル機器であってもよい。このように、電子機器１００は、ユーザ１１０の音声要請を受信し、宅内の機器を制御するために宅内の機器と連結可能な機能を備える機器であれば、特に制限されることはない。また、実施形態によっては、上述したユーザ１１０のモバイル機器が宅内の機器として含まれてもよい。

応答情報は、図１の実施形態のように、基本的には音声基盤インタフェースに対応するメインメディア（一例として、スピーカ）から出力されてよいが、上述したように、本発明の実施形態では、応答情報が多様なメディアから出力されてよく、電子機器１００は、音声要請および音声要請に対応する応答情報のうちの少なくとも１つに基づき、返答音声および返答音声と関連する他の出力のうちの少なくとも１つが提供されるメディアを決定してよい。例えば、図１は、ＩＰＴＶ１４０とユーザ１１０のモバイル機器１５０をさらに示している。この場合、返答音声と関連する他の出力は、ＩＰＴＶ１４０やモバイル機器１５０のディスプレイから視覚的（例えば、ＬＥＤの点灯あるいは点滅など）または触覚的（例えば、振動など）にユーザ１１０に出力されてもよい。このとき、電子機器１００は、他の出力を提供するためのメディアを単純に決定するのではなく、情報の類型や情報出力の効率性などに応じて他の出力を提供するためのメディアを決定してよい。

図２は、本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の他の例を示した図である。図２は、音声基盤インタフェースを含む電子機器１００がユーザ１１０の発話「今日の天気」２１０を認識および分析し、外部ネットワークを介して外部サーバ２２０から今日の天気に関する情報を取得し、取得した情報を「今日の天気は・・・」のように音声で合成して出力する例を示している。例えば、外部ネットワークは、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのようなネットワークのうちの１つ以上の任意のネットワークを含んでよい。

図２の実施形態でも、電子機器１００は、宅内の機器のうちの１つであるか、ユーザ１１０のモバイル機器のうちの１つであってよく、ユーザ１１０の音声要請を受信して処理するための機能と、外部ネットワークを介して外部サーバ２２０と通信して外部サーバ２２０が提供するサービスやコンテンツをユーザ１１０に提供するための機能を備える機器であれば、特に制限されることはない。このように、本発明の実施形態に係る電子機器１００は、音声基盤のインタフェースを利用してユーザ１１０の発話によって受信される音声要請を処理することのできる機器であれば、特に制限されることはない。例えば、電子機器１００は、ユーザの音声要請を直接に認識および分析して音声要請を処理してもよいが、実施形態によっては、電子機器１００と連係する外部のプラットフォーム（一例として、上述したクラウド人工知能プラットフォーム）で音声要請を処理してもよい。

このとき、電子機器１００は、ユーザの音声要請に対応する応答情報を出力するためのメディアを、応答情報に基づいて自動で決定してよい。図２では、電子機器１００が、「今日の天気は・・・」２３０のように応答情報を聴覚的に出力すると同時に、応答情報と関連する他の出力をＩＰＴＶ１４０のディスプレイにも視覚的に共に出力する例を示している。このために、電子機器１００は、応答情報の出力が可能な複数のメディアに関する情報を管理してよく、音声要請および／または応答情報に基づき、複数のメディアのうちから他の出力を提供するための少なくとも１つのメディアを選択し、応答情報と関連する他の出力を伝達してよい。

図３は、本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。図３は、電子機器３１０、クラウド人工知能プラットフォーム３２０、およびコンテンツ・サービス３３０を示している。

一例として、電子機器３１０は、宅内に備えられた機器を意味してよく、少なくとも上述したような電子機器１００を含んでよい。このような電子機器３１０や電子機器３１０にインストールおよび駆動されるアプリケーション（以下、アプリ）は、インタフェースコネクト３４０を介してクラウド人工知能プラットフォーム３２０と連係してよい。ここで、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０にインストールおよび駆動されるアプリの開発のためのＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）および／または開発文書を開発者に提供してよい。また、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０にインストールおよび駆動されるアプリが、クラウド人工知能プラットフォーム３２０が提供する機能を活用することのできるＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）を提供してよい。具体的な例として、開発者が、インタフェースコネクト３４０が提供するＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）および／または開発文書を利用して開発した機器やアプリは、インタフェースコネクト３４０が提供するＡＰＩを利用してクラウド人工知能プラットフォーム３２０が提供する機能を活用することが可能になる。

ここで、クラウド人工知能プラットフォーム３２０は、音声基盤のサービスを提供するための機能を提供してよい。例えば、クラウド人工知能プラットフォーム３２０は、受信した音声を認識し、出力する音声を合成するための音声処理モジュール３２１、受信した映像や動画を分析して処理するためのビジョン処理モジュール３２２、受信した音声にしたがって適した音声を出力するために適切な対話を決定するための対話処理モジュール３２３、受信した音声に適した機能を推薦するための推薦モジュール３２４、人工知能がデータ学習に基づいて文章単位で言語を翻訳するように支援するニューラル機械翻訳（Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ：ＮＭＴ）３２５などのように、音声基盤サービスを提供するための多様なモジュールを含んでよい。

例えば、図１および図２の実施形態において、電子機器１００が、ユーザ１１０の音声要請を、インタフェースコネクト３４０で提供されるＡＰＩを利用してクラウド人工知能プラットフォーム３２０に送信したとする。この場合、クラウド人工知能プラットフォーム３２０は、受信した音声要請を、上述したモジュール３２１〜３２５を活用して認識および分析してよく、受信した音声入力にしたがって適切な返答音声を合成して提供したり、適切な動作を推薦したりしてよい。

また、拡張キット３５０は、第３者コンテンツ開発者または会社が、クラウド人工知能プラットフォーム３２０を基盤として新たな音声基盤機能を実現することのできる開発キットを提供してよい。例えば、図２の実施形態において、電子機器１００は、受信したユーザ１１０の音声要請を外部サーバ２２０に送信し、外部サーバ２２０は、拡張キット３５０で提供されるＡＰＩに基づいてクラウド人工知能プラットフォーム３２０に音声入力を送信したとする。この場合、上述と同じように、クラウド人工知能プラットフォーム３２０は、受信した音声入力を認識および分析した後、適切な返答音声を合成して提供したり、音声入力によって処理されなければならない機能に関する推薦情報を外部サーバ２２０に提供したりしてよい。一例として、図２において、外部サーバ２２０は、音声要請「今日の天気」をクラウド人工知能プラットフォーム３２０に送信し、クラウド人工知能プラットフォーム３２０から、音声要請「今日の天気」の認識によって抽出されたキーワード「今日の」および「天気」を受信したとする。この場合、外部サーバ２２０は、キーワード「今日の」および「天気」に基づいて「今日の天気は・・・」のようなテキスト情報を生成し、クラウド人工知能プラットフォーム３２０に生成されたテキスト情報を再び送信してよい。このとき、クラウド人工知能プラットフォーム３２０は、テキスト情報を音声で合成して外部サーバ２２０に提供してよい。外部サーバ２２０は、合成された音声を電子機器１００に送信してよく、電子機器１００は、合成された音声「今日の天気は・・・」をスピーカから出力することにより、ユーザ１１０から受信された音声要請「今日の天気」が処理されてよい。

図４は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図４の電子機器４１０は、上述した電子機器１００に対応してよく、サーバ４２０は、上述した外部サーバ２２０やクラウド人工知能プラットフォーム３２０を実現する１つのコンピュータ装置に対応してよい。

電子機器４１０とサーバ４２０は、メモリ４１１、４２１、プロセッサ４１２、４２２、通信モジュール４１３、４２３、および入力／出力インタフェース４１４、４２４を含んでよい。メモリ４１１、４２１は、コンピュータで読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んでよい。ここで、ＲＯＭとディスクドライブのような永久大容量記憶装置は、メモリ４１１、４２１とは区分される別の永久記憶装置として電子機器４１０やサーバ４２０に含まれてもよい。また、メモリ４１１、４２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電気機器４１０にインストールされ、特定サービスの提供のために電子機器４１０で駆動するアプリケーションなどのためのコード）が格納されてよい。このようなソフトウェア構成要素は、メモリ４１１、４２１とは別のコンピュータで読み取り可能な記録媒体からロードされてよい。このような別のコンピュータで読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではない通信ジュール４１３、４２３を通じてメモリ４１１、４２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システムがネットワーク４３０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいて電子機器４１０のメモリ４１１にロードされてよい。

プロセッサ４１２、４２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ４１１、４２１または通信モジュール４１３、４２３によって、プロセッサ４１２、４２２に提供されてよい。例えば、プロセッサ４１２、４２２は、メモリ４１１、４２１のような記録装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信モジュール４１３、４２３は、ネットワーク４３０を介して電子機器４１０とサーバ４２０とが互いに通信するための機能を提供してもよいし、電子機器４１０および／またはサーバ４２０が他の電子機器または他のサーバと通信するための機能を提供してもよい。一例として、電子機器４１０のプロセッサ４１２がメモリ４１１のような記録装置に格納されたプログラムコードにしたがって生成した要求が、通信モジュール４１３の制御にしたがってネットワーク４３０を介してサーバ４２０に伝達されてよい。これとは逆に、サーバ４２０のプロセッサ４２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール４２３とネットワーク４３０を経て電子機器４１０の通信モジュール４１３を通じて電子機器４１０に受信されてもよい。例えば、通信モジュール４１３を通じて受信したサーバ４２０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ４１２やメモリ４１１に伝達されてよく、コンテンツやファイルなどは、電子機器４１０がさらに含むことのできる格納媒体（上述した永久記憶装置）に格納されてよい。

入力／出力インタフェース４１４は、入力／出力装置４１５とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース４１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置４１５は、電子機器４１０と１つの装置で構成されてもよい。また、サーバ４２０の入力／出力インタフェース４２４は、サーバ４２０と連結するか、サーバ４２０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってもよい。

また、他の実施形態において、電子機器４１０およびサーバ４２０は、図４の構成要素よりも少ない又は多い構成要素を含んでもよい。しかし、従来技術の構成要素の全てが明確には図示されていない。例えば、電子機器４１０は、上述した入力／出力装置４１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器４１０がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が電子機器４１０にさらに含まれるように実現されてよい。

本実施形態において、電子機器４１０は、ユーザの音声要請を受信するためのマイクおよび／または応答情報を聴覚的に出力するためのスピーカを入力／出力装置４１５として基本的に含んでよい。

図５は、本発明の一実施形態における、情報提供方法の例を示したフローチャートである。本発明の実施形態に係る情報提供方法は、上述した電子機器４１０のようなコンピュータ装置によって実行されてよい。このとき、電子機器４１０のプロセッサ４１２は、メモリ４１１が含むオペレーティングシステムのコードや、少なくとも１つのプログラムのコードによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ４１２は、電子機器４１０に格納されたコードが提供する制御命令にしたがって電子機器４１０が図５の情報提供方法に含まれる段階５１０〜５５０を実行するように電子機器４１０を制御してよい。

段階５１０で、電子機器４１０は、音声基盤インタフェースに対応するメインメディアおよび電子機器４１０と連動する他の電子機器が含むサブメディアを含む複数のメディアに関する情報を管理してよい。このとき、電子機器４１０は、電子機器と連動して視覚的、聴覚的、触覚的出力などが可能な複数の互いに異なる電子機器が含む、複数の互いに異なるメディアに関する情報を管理してよい。サブメディアは、一例として、他の電子機器のディスプレイやスピーカ、他の電子機器にインストールされたアプリケーションなどに対応してよい。一例として、電子機器４１０は、電子機器ＡのディスプレイやＬＥＤ（発光ダイオード）、スピーカ、振動器、電子機器Ａにインストールされたオーディオアプリケーション、ＶＲ関連アプリケーション、地図アプリケーション、検索アプリケーション、翻訳アプリケーション、ゲームアプリケーション、メッセンジャーアプリケーション、ストアアプリケーションなどのように、宅内電子機器のうちで情報出力が可能な電子機器に関する情報と該当の電子機器が含むアプリケーションをそれぞれのサブメディアとして設定して該当のサブメディアに関する情報を管理してよい。また、電子機器４１０は、電子機器４１０が含む音声基盤インタフェースに対応するメインメディアに関する情報も共に管理してよい。

段階５２０で、電子機器４１０は、音声基盤インタフェースでユーザからの音声要請を受信してよい。例えば、電子機器４１０は、電子機器４１０が含むマイクまたは電子機器４１０と連動するマイクのような音声入力装置で、ユーザの発話による音声要請を受信してよい。

段階５３０で、電子機器４１０は、音声要請に対応する応答情報を取得してよい。このとき、電子機器４１０は、音声要請を直接に認識および分析して音声要請に対応する応答情報を生成してもよいが、実施形態によっては、上述したクラウド人工知能プラットフォーム３２０のような外部プラットフォームを利用して応答情報を取得してもよい。例えば、電子機器４１０は、受信した音声要請を外部プラットフォームに送信してよい。このとき、外部プラットフォームは、受信した音声要請を認識および分析しながら適した応答情報を生成してよく、生成された応答情報を電子機器４１０に送信してよい。

応答情報とは、音声要請に対する返答であって、ユーザの意図を確認するための情報や、ユーザの意図に適した動作の処理を知らせるための情報、および／またはユーザの意図に基づいて検索された検索結果などのような多様な情報を含んでよい。例えば、「今日の天気」のようなユーザの音声要請に対する応答情報は、「今日は広い範囲でよく晴れますが、ＰＭ２．５の濃度は上昇するでしょう」のような検索結果に基づく情報を含んでよい。

段階５４０で、電子機器４１０は、複数のメディアのうちの少なくとも１つのメディアから、ユーザの音声要請に対する返答音声として応答情報を出力してよい。電子機器４１０は、少なくとも１つのメディアから応答情報が聴覚的に出力されるように、該当となるメディアに応答情報を伝達してよい。このとき、電子機器４１０は、複数のメディアのうちの少なくとも１つのメディアを利用してユーザの音声要請に対する応答情報を聴覚的出力形態である音声によって提供してよい。例えば、電子機器４１０は、ユーザの音声要請に対する返答音声をメインメディアから出力してよい。

段階５５０で、電子機器４１０は、複数のメディアのうちで返答音声が出力されるメディアと同じであるか異なる少なくとも１つのメディアを利用して返答音声を強調するための他の出力を提供してよい。言い換えれば、電子機器４１０は、ユーザの音声要請に対する応答情報として聴覚的出力である返答音声を出力すると同時に、応答情報の情報伝達能力を向上させるための他の出力を共に提供してよい。このとき、電子機器４１０は、返答音声出力と同期化して他の出力を提供することにより、応答情報の情報伝達能力をより一層強化することが可能となる。

返答音声を強調するための他の出力は、応答情報の少なくとも一部に関するものであり、返答音声と共に提供されてよい。他の出力として提供される応答情報の少なくとも一部は、音声要請に対して核心となる主要情報を含んでよく、返答音声のための返答テンプレートに変数となる情報、あるいは応答情報のうちで意味タグが付与された情報などが主要情報に該当してよい。応答情報に含まれた主要情報は、情報の種類に応じて等級情報、数値情報、方向情報などが含まれてよい。例えば、天気の場合には、晴れ、薄曇り、曇り、雨（または雪）などに区分される段階情報が存在し、ＰＭ２．５の場合は、濃度数値情報や、良好、普通、危険、大いに危険などに区分される段階情報が存在し、道案内の場合には、直進、左折、右折、Ｕターンなどの方向情報や、渋滞、遅滞、徐行、円滑などの通行速度情報などが存在してよい。電子機器４１０は、音声要請に対する応答情報を提供するときに、返答音声を出力すると同時に、応答情報に含まれた主要情報に対する他の出力を共に提供してよい。このとき、電子機器４１０は、返答音声を強調するための他の出力を提供するにあたり、応答情報に含まれる主要情報を他の出力に提供するようになるが、主要情報に該当する等級情報、数値情報、方向情報などに対応する大きさや類型などに応じて出力してよい。例えば、ＬＥＤで他の出力を提供する場合、等級情報、数値情報、方向情報などに応じて光の強度や類型、点滅パターンなどを変えてよい。

電子機器４１０は、音声要請に対する応答情報を音声で合成して出力するようになるが、このとき、音声要請に対して返答テンプレートが事前に定義されてよく、応答情報によって変数となる主要情報を返答テンプレートに合成させて出力してよい。例えば、音声要請「今日の天気」が受信された場合、事前に定められた返答テンプレート「今日の天気は・・・です。また、ＰＭ２．５の数値は・・・で、・・・水準です。」に、音声要請に対する応答情報に基づき、「今日の天気は“晴れ”です。また、ＰＭ２．５の数値は“１１２”で、“危険”水準です。」のように主要情報が合成されて音声で出力されてよい。このとき、電子機器４１０は、音声要請に対する応答情報を強調するために、応答情報のうちの少なくとも一部の情報、例えば主要情報を、他の出力から追加で提供してよい。上述した返答音声において、主要情報に該当する「晴れ」、「１１２」、「危険」のうちの少なくとも１つに対する他の出力を共に提供してよい。

図６は、音声基盤インタフェースを含む電子機器４１０がユーザ１１０の発話「今日の天気」２１０を認識および分析し、外部ネットワークを介して外部サーバから今日の天気に関する情報を取得し、取得した情報を音声で合成して出力する例を示している。電子機器４１０は、音声要請「今日の天気」２１０に対する応答情報として、電子機器４１０のスピーカから「今日の天気は晴れです。また、ＰＭ２．５の数値は１１２で、危険水準です。」のような返答音声を出力してよく、応答情報のうちの「危険」が音声で出力されるときに、該当の時点に同期化して電子機器４１０に含まれるＬＥＤ４０１からオレンジ色の光を出力してよい。例えば、音声要請「今日の天気」２１０に対する応答情報を強調するためにＬＥＤ４０１を利用する場合、応答情報に含まれるＰＭ２．５の等級に応じ、ＰＭ２．５の濃度が良好であるときには青色の光を、普通のときには緑色の光を、危険のときにはオレンジ色の光を、大いに危険であるときには赤色の光を点灯させてよい。他の例としては、ＬＥＤ４０１が４つの領域に区分される場合、４つの領域うち、ＰＭ２．５の濃度が良好であるときには１つの領域、普通のときには２つの領域、危険のときには３つの領域、大いに危険であるときには４つの領域を点灯させる形態で他の出力を提供することも可能である。

他の例として、電子機器４１０は、返答音声を強調するための他の出力を提供するにあたり、応答情報に含まれた主要情報に該当する音声が出力されるときに、音声のトーン（ｔｏｎｅ）を追加で合成してよい。電子機器４１０は、応答情報による返答音声を出力するときに、意味タグが付与された部分の音声に対し、他の出力として追加のトーンを合成してよい。このとき、主要情報に該当する等級情報、数値情報、方向情報などに応じて他の出力として提供するためのトーンの高さや類型などを変えてよい。例えば、音声要請「今日の天気」２１０に対する応答情報を強調するために応答情報に含まれるＰＭ２．５等級を音声で出力するとき、ＰＭ２．５の濃度が危険または大いに危険の場合には、予め定められた音声出力レベルよりも高いレベルのトーンが返答音声に適用されてよい。

また他の例として、電子機器４１０は、返答音声を強調するための他の出力として、応答情報に含まれた主要情報を視覚的出力によって提供してよい。言い換えれば、電子機器４１０は、返答要請に対する応答情報を音声で合成して出力するが、この過程において、応答情報のうちの主要情報だけを視覚的に追加で出力してよい。

また他の例として、電子機器４１０は、返答音声を強調するための他の出力として、応答情報に含まれた主要情報を触覚的出力によって提供してよい。例えば、電子機器４１０は、返答音声を出力する過程において、応答情報に含まれた主要情報に応じて振動を出力してよい。触覚的出力の１つ形態である振動は、主要情報に該当する等級情報、数値情報、方向情報などに応じてその強度やパターンなどを変えてよい。

また他の例として、電子機器４１０は、返答音声を出力する過程において、返答音声を強調するための他の出力として、応答情報に含まれた主要情報に応じてＢＧＭ、イメージ、動画のうちの少なくとも１つのマルチメディアコンテンツを出力してよい。このとき、主要情報に該当する等級情報、数値情報、方向情報などに応じて他の出力として提供されるマルチメディアコンテンツが決定されてよい。マルチメディアコンテンツには、等級情報、数値情報、方向情報などが事前に含まれてよく、これにより、応答情報に含まれた主要情報とマッチングするマルチメディアコンテンツが他の出力として提供されてよい。他の出力として提供されるイメージや動画の場合、ＨＤＭ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）などを利用したＶＲコンテンツなどで提供することも可能である。

したがって、電子機器４１０は、「天気」と関連する音声要請に対して取得された応答情報として返答音声を出力すると同時に、応答情報に含まれた主要情報、例えば、ＰＭ２．５の濃度に関する情報に対して他の出力を追加で提供することができる。このとき、返答音声の他にも、他の出力として、ＰＭ２．５濃度に対して視覚的出力（ＬＥＤ、ディスプレイなど）、聴覚的出力（トーンなど）、触覚的出力（振動など）などを追加で提供することもできる。さらに、音声要請「天気」に対する応答情報において、主要情報であるＰＭ２．５濃度の等級に応じて応答情報を強調するための他の出力の大きさや類型などを変ることにより、音声要請に対する応答情報の情報伝達能力をより一層向上させることができる。

また、電子機器４１０は、音声要請に対する応答情報に道案内と関連する情報が含まれる場合、電子機器４１０または他の電子機器の地図アプリケーションと連動して応答情報を出力してよい。このとき、電子機器４１０は、応答情報に該当する返答音声を出力すると同時に、応答情報を強調するための他の出力として、応答情報に含まれた主要情報を視覚的出力、聴覚的出力、触覚的出力などによって追加で提供してよい。例えば、電子機器４１０は、応答情報に直進、左折、右折、Ｕターンなどの方向情報が含まれる場合、方向情報が音声で出力されるときに、これに合わせて触覚的出力として振動を出力してよい。他の例として、応答情報に渋滞、遅滞、徐行、円滑などの通行速度情報が含まれる場合、通行速度情報が音声で出力されるときに、これに合わせて該当の通行速度に応じたＬＥＤ出力を提供してよい。例えば、ＬＥＤを利用する場合、通行速度情報が円滑であるときには青色光を、徐行であるときには緑色の光を、遅滞であるときにはオレンジ色の光を、大渋滞であるときには赤色の光を点灯させてよい。

ユーザの音声要請に対する応答情報として提供される返答音声を強調するための他の出力は、返答音声を出力するメディアと同じメディアあるいは返答音声を出力するメディアとは異なるメディアから、視覚的出力、聴覚的出力、触覚的出力のうちの少なくとも１つの形態で提供されてよい。このとき、他の出力は、応答情報に含まれた主要情報に対して提供されてよく、返答音声と同期化して主要情報が音声で出力される時点に合わせて提供されてよい。主要情報が等級情報、数値情報、方向情報などのように情報区分されている場合には、該当の情報に応じて大きさや類型などを区分して他の出力を提供してよい。

さらに、電子機器４１０は、音声要請および応答情報のうちの少なくとも１つに基づき、複数のメディアのうちから応答情報に対する他の出力を提供するための少なくとも１つのメディアを決定してよい。本発明の実施形態では、応答情報に対するメディアが単に予め設定されているものだけではなく、音声要請および／または応答情報に基づいて多様なメディアのうちから選択され、他の出力として提供されてよい。例えば、ユーザの発話によって認識される音声要請にしたがって応答情報を音声で合成して聴覚的に出力すると共に、音声要請の類型に応じて聴覚的出力のためのメディア、視覚的出力のためのメディア、視聴覚出力のためのメディア、または触覚的出力のためのメディアなどを選択し、選択されたメディアから他の出力を提供してよい。このようなメディアの選択は、音声要請および／または応答情報から把握される情報伝達の効率性に基づいてもよい。

このように、本発明の実施形態によると、ユーザの音声要請に対する応答情報として返答音声を出力すると同時に、応答情報を強調するための他の出力を共に提供することにより、ユーザの音声要請に対して積極的かつ直観的な応答を提供することができ、これによって応答情報に関する情報伝達能力を向上させることができる。また、本発明の実施形態によると、ユーザの音声要請に対する応答情報として返答音声とは異なる出力を追加で提供するにあたり、視覚的に伝達する方が効率的な情報である場合には視覚的出力が可能なメディアを、聴覚的に伝達する方が効率的な情報である場合には聴覚的出力が可能なメディアを選択するといったように適切なメディアを選択することにより、効果的に応答情報をユーザに提供することができる。

図７は、本発明の一実施形態における、メディアに関する情報の例を示した図である。図７の表７００は、電子機器４１０と連動する電子機器の識別のための機器項目７１０、他の電子機器の宅内位置を識別するための位置項目７２０、他の電子機器が含むサブメディアを識別するための出力メディア項目７３０、サブメディアに関する情報を含む詳細項目７４０、およびサブメディアがどのような情報類型と連係するかを識別するための情報類型項目７５０を含む例を示している。電子機器４１０は、表７００のように宅内で連動する他の電子機器に関する情報と共に、該当となる他の電子機器の出力メディアに関する情報を管理してよい。また、このような情報は、音声要請および／または応答情報の情報類型と予め連結されてよい。例えば、ユーザの音声要請や対応する応答情報が「視覚的出力」と関連する情報類型として分析される場合、電子機器４１０は、表７００に基づき、電子機器Ａのディスプレイ１を応答情報と関連する他の出力を提供するためのメディアとして決定してよい。この場合、電子機器４１０は、応答情報に該当する返答音声をメインメディアのスピーカから出力すると同時に、返答音声と同期化して電子機器Ａのディスプレイ１から応答情報を強調するための他の出力を提供してよい。他の例として、ユーザの音声要請や対応する応答情報が「場所」と関連する情報類型として分析される場合、電子機器４１０は、表７００に基づき、電子機器Ａの地図アプリケーションを応答情報の出力のためのメディアとして決定してよい。この場合、電子機器４１０は、応答情報に該当する返答音声をメインメディアのスピーカから出力してよく、これと同時に、応答情報は電子機器Ａに伝達されてよく、電子機器Ａは、電子機器Ａの地図アプリケーションから、応答情報に対応する地図サービスと共に、応答情報を強調するための他の出力をユーザに提供してよい。

図８は、本発明の一実施形態における、メディアを決定する方法の例を示したフローチャートである。図８の段階８１０および８２０は、図５の段階５５０に含まれて実行されてよい。

段階８１０で、電子機器４１０は、音声要請の類型および応答情報の類型のうちの少なくとも１つの情報類型を分析してよい。例えば、音声要請の類型は、音声要請の主題（一例として、天気、位置、場所、交通、検索、歌手、映画など）に基づいて分類されてよく、応答情報の類型は、応答情報が含むコンテンツの表現形式（一例として、テキスト、イメージ、動画、フラッシュ（ｆｌａｓｈ）など）に基づいて分類されてよい。

段階８２０で、電子機器４１０は、分析された情報類型に応じ、複数のメディアのうちの少なくとも１つのメディアを他の出力のためのメディアとして選択してよい。例えば、「天気」に対する音声要請に対応してテキスト、イメージ、および座標（または住所）を含むウェプページが応答情報として取得された場合が考えられる。この場合、電子機器４１０は、テキストを音声で合成して出力するためのメインメディア、イメージを視覚的に出力するためのディスプレイに対応する第１サブメディア、および座標（または住所）を利用して地図サービスを提供するためのアプリケーションに対応する第２サブメディアという３つのメディアを選択し、３つのメディアそれぞれに取得された応答情報を伝達してよい。実施形態によっては、電子機器４１０は、応答情報をそれぞれのメディアで活用することのできる情報に加工してから伝達してよい。例えば、電子機器４１０は、応答情報として取得されたウェプページから座標（または住所）を抽出し、抽出された座標（または住所）を含む地図サービス要請を応答情報として地図アプリケーションに対応する第２サブメディアに送信してよい。

また、上述した例で説明したように、決定された少なくとも１つのメディアは、他の電子機器のディスプレイに対応するサブメディアを含んでよい。この場合、電子機器４１０は、段階５５０で、応答情報が含む視覚情報が他の電子機器のディスプレイから出力されるように、視覚情報を他の電子機器に送信してよい。例えば、電子機器４１０は、ウェプページの例において、ウェプページが含むイメージや動画を他の電子機器に送信してよい。または、電子機器４１０は、ウェプページ自体を他の電子機器に送信してもよい。

また、決定された少なくとも１つのメディアは、他の電子機器にインストールされたアプリケーションに対応するサブメディアを含んでよい。この場合、電子機器４１０は、段階５５０で、応答情報が、アプリケーションが提供するサービスと連係して他の電子機器から提供されるように、応答情報を他の電子機器またはアプリケーションを経てサービスを提供するサービスサーバに送信してもよい。

また、上述したように、応答情報を重複的または分散的に出力するために複数のメディアが選択されてもよい。例えば、電子機器４１０は、段階５５０で、応答情報が聴覚的に出力されるように音声基盤インタフェースに対応するメインメディアに応答情報を送信し、応答情報を強調するための他の出力のために、他の電子機器に対応する第１サブメディアおよび他の電子機器にインストールされたアプリケーションに対応する第２サブメディアのうちの１つのサブメディアに応答情報をさらに送信してもよい。上述したように、応答情報は、それぞれのメディアに適合するように加工されてから分散して提供されてもよい。図６の実施形態では、ユーザ１１０の音声要請「今日の天気」２１０に対する返答音声が電子機器４１０のスピーカから聴覚的情報に出力され、電子機器４１０のＬＥＤ４０１から追加の視覚的情報がさらに出力される例について説明した。

一方、ユーザの位置と他の電子機器の位置関係に基づいて応答情報を強調するための他の出力の可能なメディアが決定されてもよい。

図９は、本発明の一実施形態における、ユーザの位置によってメディアを決定する例を示した図である。図２に示す例では、応答情報である視覚的情報を電子機器４１０から出力すると同時に、視覚的情報をＩＰＴＶ１４０から出力する例について説明した。一方、図７を参照しながら説明したように、視覚的情報の出力が可能な多様な電子機器が存在することもある。図９では、視覚的情報の出力が可能なＩＰＴＶ１４０とモバイル機器１５０のうち、ユーザ１１０からより近くに位置するモバイル機器１５０のメディアを選択する例を示している。

例えば、電子機器４１０は、複数のメディアに対応して電子機器４１０と連動する複数の互いに異なる電子機器の位置を管理してよい。図７の表７００は、それぞれの電子機器の位置が管理される例について説明している。このとき、宅内の電子機器の位置は、多様な方式によって設定されてよい。例えば、このような位置は、ユーザ１１０や管理者によって電子機器４１０に入力および設定されてもよく、電子機器４１０が他の電子機器と通信するために送受信する信号の強度などのような周知の位置測位技術を活用して測定されてもよい。特に、モバイル機器１５０の場合には、その位置が位置測位を活用して動的に測定されるようになる。このとき、電子機器４１０は、ユーザ１１０の位置と複数の他の電子機器の位置に基づいて測定されるユーザ１１０と複数の他の電子機器との距離間をさらに利用して少なくとも１つのメディアを決定してよい。このとき、ユーザ１１０の位置は、ユーザ１１０の発話に基づいて測定されてよい。例えば、電子機器４１０は、音声基盤のインタフェースが含む複数のマイクに入力された音声入力の位相偏移（ｐｈａｓｅ ｓｈｉｆｔ）に基づいて音声入力に関連する位置情報を生成し、生成された位置情報をユーザ１１０の位置として決定してもよい。複数のマイクに入力される同じ音信号の位相偏移を利用して音信号の発生位置を測定する技術は、ビームフォーミング（ｂｅａｍ ｆｏｒｍｉｎｇ）技術のような周知技術の適用が可能であることは、当業者であれば容易に理解することができるであろう。この場合、電子機器４１０は、ユーザ１１０の位置と他の電子機器の位置に基づき、ユーザ１１０から最も近くに位置する他の電子機器に応答情報を伝達してよい。例えば、図９の実施形態では、応答情報を強調するための他の出力が可能なＩＰＴＶ１４０とモバイル機器１５０のうち、ユーザ１１０から最も近い位置に存在するモバイル機器１５０に応答情報が伝達される様子を示している。

以上のように、本発明の実施形態によると、人工知能スピーカのような電子機器が含む音声基盤インタフェースに対応するメインメディアだけではなく、電子機器と連動する他の電子機器が含むサブメディア（一例として、スマートフォン、ＩＰＴＶ、照明、スマート冷蔵庫などが含む出力手段）のような複数のメディアに関する情報を管理し、音声基盤インタフェースに受信される音声要請に対応する応答情報に基づき、応答情報による返答音声と共に、複数のメディアのうちの少なくとも１つのメディアから返答音声を強調することのできる他の出力を提供することにより、適応的かつ拡張された情報出力方式によって音声要請に対応する応答情報の情報伝達能力を向上させることができる。

上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）および前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、所望の動作をするように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてもよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ格納媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータで読み取り可能な記録媒体に格納されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータで読み取り可能な媒体に記録されてよい。前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。媒体は、コンピュータによって実行可能なプログラムを継続して格納するものであっても、実行またはダウンロードのために臨時で格納するものであってもよい。また、媒体は、単一または複数個のハードウェアが結合した形態の多様な記録手段または格納手段であってよいが、あるコンピュータシステムに直接接続する媒体に限定されてはならず、ネットワーク上に分散存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含んでプログラム命令語が格納されるように構成されたものであってよい。また、他の媒体の例として、アプリケーションを流通するアプリストアやその他の多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体ないし格納媒体が挙げられてもよい。プログラム命令の例には、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。

以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

１００：電子機器
１１０：ユーザ
１４０：ＩＰＴＶ
１５０：モバイル機器
２２０：外部サーバ
４１０：ＬＥＤ

Claims (20)

1. 音声基盤インタフェースを含む電子機器の情報提供方法であって、
   前記音声基盤インタフェースでユーザからの音声要請を受信する段階、
   前記音声要請に対応する応答情報を取得する段階、
   前記音声基盤インタフェースに対応するメインメディアおよび前記電子機器と連動可能な他の電子機器が含むサブメディアを含む複数のメディアのうちの少なくとも１つのメディアから、前記応答情報を聴覚的出力形態である返答音声として出力する段階、および
   前記複数のメディアのうちで前記返答音声が出力されるメディアと同じであるか又は異なる少なくとも１つのメディアから、前記応答情報のうちの少なくとも一部を他の出力として提供する段階
   を含む、情報提供方法。
2. 前記他の出力として提供する段階は、
   視覚的出力形態、触覚的出力形態、聴覚的出力形態のうちの少なくとも１つによって前記他の出力を提供すること
   を特徴とする、請求項１に記載の情報提供方法。
3. 前記他の出力として提供する段階は、
   前記応答情報において、前記返答音声のための応答テンプレートの変数に該当する情報または意味タグが付与された情報に対して前記他の出力を提供すること
   を特徴とする、請求項１に記載の情報提供方法。
4. 前記他の出力として提供する段階は、
   前記応答情報に含まれた主要情報として、等級情報、数値情報、方向情報のうちの少なくとも１つを前記他の出力として提供すること
   を特徴とする、請求項１に記載の情報提供方法。
5. 前記他の出力として提供する段階は、
   前記応答情報に含まれた等級情報、数値情報、方向情報のうちの少なくとも１つに応じて前記他の出力の大きさ、類型、パターンのうちの少なくとも１つを異なるように提供すること
   を特徴とする、請求項１に記載の情報提供方法。
6. 前記他の出力として提供する段階は、
   前記返答音声が出力されるときに、前記応答情報に含まれた等級情報、数値情報、方向情報のうちの少なくとも１つに応じて前記他の出力としてＬＥＤを点灯させること
   を特徴とする、請求項１に記載の情報提供方法。
7. 前記他の出力として提供する段階は、
   前記返答音声が出力されるときに、前記応答情報に含まれた等級情報、数値情報、方向情報のうちの少なくとも１つに応じて前記他の出力として追加のトーンを合成すること
   を特徴とする、請求項１に記載の情報提供方法。
8. 前記他の出力として提供する段階は、
   前記返答音声が出力されるときに、前記応答情報と関連するマルチメディアコンテンツを前記他の出力として提供すること
   を特徴とする、請求項１に記載の情報提供方法。
9. 前記他の出力として提供する段階は、
   前記返答音声の出力と同期化して前記他の出力を提供すること
   を特徴とする、請求項１に記載の情報提供方法。
10. 前記他の出力として提供する段階は、
    前記音声要請および前記応答情報のうちの少なくとも１つに基づき、前記複数のメディアのうちから前記他の出力のための少なくとも１つのメディアを決定する段階、および
    前記決定された少なくとも１つのメディアから前記他の出力が提供されるように、前記応答情報を前記決定された少なくとも１つのメディアに伝達する段階
    を含む、請求項１に記載の情報提供方法。
11. 請求項１〜１０のうちのいずれか一項に記載の情報提供方法をコンピュータに実行させるコンピュータプログラム。
12. 請求項１〜１０項のうちのいずれか一項に記載の情報提供方法をコンピュータに実行させるためのコンピュータプログラムが記録されていることを特徴とする、コンピュータで読み取り可能な記録媒体。
13. 電子機器であって、
    音声基盤インタフェース、および
    コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
    を含み、
    前記少なくとも１つのプロセッサは、
    前記音声基盤インタフェースでユーザからの音声要請を受信し、
    前記音声要請に対応する応答情報を取得し、
    前記音声基盤インタフェースに対応するメインメディアおよび前記電子機器と連動可能な他の電子機器が含むサブメディアを含む複数のメディアのうちの少なくとも１つのメディアから、前記応答情報を聴覚的出力形態である返答音声として出力し、
    前記複数のメディアのうちで前記返答音声が出力されるメディアと同じであるか又は異なる少なくとも１つのメディアから、前記応答情報のうちの少なくとも一部を他の出力として提供すること
    を特徴とする、電子機器。
14. 前記少なくとも１つのプロセッサは、前記他の出力を提供するために、
    視覚的出力形態、触覚的出力形態、聴覚的出力形態のうちの少なくとも１つによって前記他の出力を提供すること
    を特徴とする、請求項１３に記載の電子機器。
15. 前記少なくとも１つのプロセッサは、前記他の出力を提供するために、
    前記応答情報において、前記返答音声のための応答テンプレートの変数に該当する情報または意味タグが付与された情報に対して前記他の出力を提供すること
    を特徴とする、請求項１３に記載の電子機器。
16. 前記少なくとも１つのプロセッサは、前記他の出力を提供するために、
    前記応答情報に含まれた主要情報として、等級情報、数値情報、方向情報のうちの少なくとも１つを前記他の出力として提供すること
    を特徴とする、請求項１３に記載の電子機器。
17. 前記少なくとも１つのプロセッサは、前記他の出力を提供するために、
    前記応答情報に含まれた等級情報、数値情報、方向情報のうちの少なくとも１つに応じて前記他の出力の大きさ、類型、パターンのうちの少なくとも１つを異なるように提供すること
    を特徴とする、請求項１３に記載の電子機器。
18. 前記少なくとも１つのプロセッサは、前記他の出力を提供するために、
    前記返答音声が出力されるときに、前記応答情報に含まれた等級情報、数値情報、方向情報のうちの少なくとも１つに応じて前記他の出力としてＬＥＤを点灯させること
    を特徴とする、請求項１３に記載の電子機器。
19. 前記少なくとも１つのプロセッサは、前記他の出力を提供するために、
    前記返答音声が出力されるときに、前記応答情報に含まれた等級情報、数値情報、方向情報のうちの少なくとも１つに応じて前記他の出力として追加のトーン（ｔｏｎｅ）を合成すること
    を特徴とする、請求項１３に記載の電子機器。
20. 前記少なくとも１つのプロセッサは、前記他の出力を提供するために、
    前記返答音声が出力されるときに、前記応答情報と関連するマルチメディアコンテンツを前記他の出力として提供すること
    を特徴とする、請求項１３に記載の電子機器。

Images