JP2014071457A - 電子装置、サーバー及びその制御方法 - Google Patents

Abstract

【課題】サーバーを利用してユーザの命令を認識する際に、命令の認識から動作の実行までにかかる時間を短縮する。
【解決手段】電子装置１は、映像処理部１１２と、ディスプレイ部１１３と、ユーザの音声命令を受信する命令受信部１２と、第１サーバーと通信する通信部１３と、保存部１５と、前記第１サーバーから前記音声命令の中で所定回数以上認識が成功したユーザの音声認識命令と対応する制御命令情報を含む音声認識命令リストを受信し前記保存部１５に保存し、前記音声命令が入力されれば、前記音声命令が前記音声認識命令リストに含まれた前記音声認識命令に対応するか否かを確認し、対応する場合に前記制御命令情報に基づき前記映像処理部１１２を動作させ、対応しない場合に前記音声命令を前記第１サーバーに送信し前記第１サーバーから対応する制御命令情報を受信し、前記制御命令情報に基づき前記映像処理部１１２を動作させる制御部１４と、を含む。
【選択図】図２

Description

本発明は、電子装置、サーバー及びその制御方法に係り、サーバーを利用してユーザの命令を認識及び動作する電子装置、サーバー及びその制御方法に関する。

一般的に、ＴＶ、セットトップボックス、ＤＶＤプレーヤー、エアコン、冷蔵庫、コンピュータ等の電子装置は、ユーザの命令に従って動作するのに、最近、製品が発展し機能が多様化されることによって、既存のリモコンを利用する入力方式を抜け出して、例えばマイクを通じる音声認識等のように多様な方式の命令に従って電子装置が制御されている。例えば、ＴＶのような電子装置の場合、ユーザが“ボリューム２０に変更せよ”と話せば、該当音声信号を受けて、音声認識技術を利用し解釈した後、ＴＶのボリュームを２０に変更する方法である。

電子装置がユーザの命令を正確に解釈するためには、命令を認識できる構成が必要なのに、電子装置の自体構成で命令を正確に認識することは限界があることもできるので、この場合には、例えば、ネットワークを通じる外部のサーバーを利用する方法がある。具体的に、音声認識の場合、電子装置は、ユーザの音声命令の内容をサーバーに送信して、サーバーに備わった音声認識構成を利用して当該音声命令に関するユーザの意図を分析して判断する。サーバーは当該音声命令に関するユーザの意図を分析した結果を電子装置に送信し、電子装置はその分析結果を利用して該当命令に対応する機能を行うことができる。

しかし、従来の技術による電子装置は、電子装置が自らユーザの命令を把握できない場合に、電子装置が必ずサーバーとの通信を通じてその分析結果を受けなければならない。したがって、電子装置がユーザの命令意図を認識し、その結果に従って動作するためには、電子装置とサーバーとの間のネットワークを利用する通信時間を必要とする。このようなユーザの命令に関する分析結果を得るための通信時間は、ネットワークの状態である。通信回数等の条件に従って変わることはできるだろうが、根本的に、このような通信時間は、ユーザの命令に対する認識から動作の実行までかかる時間を遅らせるという問題がある。

従って、本発明の目的は、ユーザの命令に対する認識から動作の実行までかかる時間を最大に短縮させることができる電子装置、サーバー及びその制御方法を提供することである。

本発明の前記目的は、ディスプレイ装置において、映像信号を処理する映像処理部と；前記映像信号に基づいて映像を表示するディスプレイ部と；ユーザの音声命令を受信する命令受信部と；第１サーバーと通信する通信部と；保存部と；前記第１サーバーから前記音声命令の中で所定の回数以上に成功的に認識された音声命令である少なくとも一つの音声認識命令と、これに対応する制御命令情報を含む音声認識命令リストを受信して前記保存部に保存されるようにし、前記音声命令が入力されれば、前記入力された音声命令が前記音声認識命令リストに含まれた前記音声認識命令に対応するか否かを確認して、対応する場合に前記音声認識命令の制御命令情報に基づいて前記映像処理部が動作するようにし、対応しない場合に前記入力された音声命令を前記第１サーバーに送信して前記第１サーバーから対応する制御命令情報を受信し、受信された前記制御命令情報に基づいて前記映像処理部が動作するように制御する制御部と；を含むディスプレイ装置によって達成されることができる。

前記制御部は、前記音声命令と前記音声認識命令リストの音声認識命令の関連度に基づいて相互対応可否を判断することができる。

前記制御部は、前記第１サーバーに前記音声命令を送信した後に所定の時間以上が経過すれば、前記音声認識命令リストの音声認識命令に基づいて前記映像処理部が動作するように制御することができる。

前記制御部は、前記音声認識命令リストの音声認識命令の内容をユーザに予め通知し、ユーザの意思に従って該当音声認識命令に基づいて動作可否を決めることができる。

前記制御部は、前記入力された音声命令が新しく成功的に認識されれば、前記成功的に認識された音声命令と対応する制御命令情報とを前記第１サーバーに送信することができる。

前記制御部は、前記入力された音声命令を第２サーバーに送信し、前記第２サーバーから前記入力された音声命令を変換したテキストを受信して、前記受信されたテキストを前記第１サーバーに送信することができる。

前記制御部は、ユーザ別に発話された音声命令を前記保存部に保存し、前記保存された音声命令のリストをＵＩ形態で表示することができる。

前記制御部は、ユーザの指示に従って前記音声命令に対応する識別記号を登録し、前記ユーザが前記登録された識別記号を発話すれば、該当音声命令が受信されたと判断することができる。

前記制御部は、ユーザが前記リスト上でいずれか一つの音声命令が配列された位置を発話すれば、該当音声命令が受信されたと判断することができる。

本発明の前記目的は、ディスプレイ装置の制御方法において、第１サーバーからユーザの音声命令の中で所定の回数以上に成功的に認識された音声命令である少なくとも一つの音声認識命令と、これに対応する制御命令情報を含む音声認識命令リストを受信する段階と；前記受信された音声認識命令リストを前記ディスプレイ装置に保存する段階と；ユーザの音声命令を受信する段階と；前記受信された音声命令が前記音声認識命令リストに含まれた前記音声認識命令に対応するか否かを確認する段階と；対応する場合に前記音声認識命令の制御命令情報に従って動作する段階と；対応しない場合に前記受信された音声命令を前記第１サーバーに送信して前記第１サーバーから対応する制御命令情報を受信し、受信された前記制御命令情報に従って動作する段階と；を含むディスプレイ装置の制御方法によっても達成されることができる。

前記対応可否を確認する段階は、前記音声命令と、前記音声認識命令リストの音声認識命令との関連度に基づいて相互に対応可否を判断する段階を含むことができる。

ディスプレイ装置の制御方法は、前記第１サーバーに前記音声命令を送信した後に所定の時間以上に経過すれば、前記音声認識命令リストの音声認識命令に基づいて動作する段階をさらに含むことができる。

ディスプレイ装置の制御方法は、前記音声認識命令リストの音声認識命令の内容をユーザに予め通知し、ユーザの意思に従って該当音声認識命令に基づいて動作可否を決める段階をさらに含むことができる。

ディスプレイ装置の制御方法は、前記受信された音声命令が新しく成功的に認識されれば、前記成功的に認識された音声命令と対応する制御命令情報を前記第１サーバーに送信する段階をさらに含むことができる。

ディスプレイ装置の制御方法は、前記受信された音声命令を第２サーバーに送信する段階と；前記第２サーバーから前記受信された音声命令を変換したテキストを受信する段階と；をさらに含み、前記受信された制御命令情報に従って動作する段階は、前記受信されたテキストを前記第１サーバーに送信する段階をさらに含むことができる。

ディスプレイ装置の制御方法は、ユーザ別に発話された音声命令を前記ディスプレイ装置に保存する段階と；前記保存された音声命令のリストをＵＩ形態で表示する段階と；をさらに含むことができる。

ディスプレイ装置の制御方法は、ユーザの指示に従って前記音声命令に対応する識別記号を登録する段階をさらに含み、前記音声命令を受信する段階は、前記ユーザが前記登録された識別記号を発話すれば、対応する前記音声命令が受信されたと判断する段階を含むことができる。

前記音声命令を受信する段階は、前記ユーザが前記リスト上でいずれか一つの音声命令が配列された位置を発話すれば、対応する前記音声命令が受信されたと判断する段階を含むことができる。

本発明の前記目的は、ディスプレイ装置に対するユーザの音声命令を分析するサーバーにおいて、複数のディスプレイ装置と通信する通信部と；ユーザの音声命令に関する情報を保存する保存部と；前記複数のディスプレイ装置からユーザの音声命令に対する分析要請が受信されれば、該当音声命令に対応する制御命令情報を前記ディスプレイ装置に送信し、前記音声命令の中で所定の回数以上に成功的に認識された音声命令である少なくとも一つの音声認識命令と、これに対応する制御命令情報を含む音声認識命令リストを前記保存部に保存し、前記保存された音声認識命令リストを前記ディスプレイ装置に送信されるように制御する制御部と；を含むサーバーによっても達成されることができる。

前記制御部は、前記ディスプレイ装置から成功的に認識されたユーザの音声命令と、対応する制御命令情報が受信されるようにし、前記受信されたユーザの音声命令と対応する前記制御命令情報に基づいて前記音声認識命令リストと、を用意することができる。

本発明の前記目的は、ディスプレイ装置に対するユーザの音声命令を分析するサーバーの制御方法において、前記複数のディスプレイ装置からユーザの音声命令に対する分析要請を受信する段階と；該当音声命令に対応する制御命令情報を前記ディスプレイ装置に送信する段階と；前記音声命令の中で所定の回数以上に成功的に認識された音声命令である少なくとも一つの音声認識命令と、これに対応する制御命令情報を含む音声認識命令リストと、を前記保存部に保存する段階と；前記保存された音声認識命令リストを前記ディスプレイ装置に送信する段階と；を含むサーバーの制御方法によっても達成されることができる。

サーバーの制御方法は、前記ディスプレイ装置から成功的に認識されたユーザの音声命令と、対応する制御命令情報と、を受信する段階をさらに含み、前記保存する段階は、前記受信されたユーザの音声命令と対応する前記制御命令情報に基づいて前記音声認識命令リストを設ける段階を含むことができる。

前述のように、本発明によれば、サーバーを利用してユーザの命令を認識する方式において、ユーザの命令認識から動作の実行までかかる時間を最大に短縮することができる。

本発明の一実施形態による電子装置及び分析サーバーを示すブロック図である。 本発明の一実施形態による電子装置の構成を示すブロック図である。 本発明の一実施形態による分析サーバーの構成を示すブロック図である。 本発明の一実施形態による電子装置の動作を示すフローチャートである。 本発明の一実施形態による音声認識命令リストの構成の一例を示す図である。 本発明の一実施形態による電子装置の分析可能可否に対する判断動作を示すフローチャートである。 本発明の一実施形態による電子装置の動作の他の例を示すフローチャートである。 本発明の一実施形態による電子装置の動作のまた他の例を示すフローチャートである。 本発明の一実施形態による電子装置と分析サーバーの構成の一例を示す図である。 本発明の一実施形態によるサーバーの動作を示すフローチャートである。 本発明の一実施形態によるサーバーの動作を示すフローチャートである。 本発明の一実施形態による電子装置、分析サーバー及びＳＴＴサーバーを示すブロック図である。 本発明の一実施形態によるユーザ別に保存された音声命令のリストを示すＵＩの一例である。 本発明の一実施形態によるユーザ別に保存された音声命令のリストを示すＵＩの一例である。

以下、本発明の一実施形態に対して詳しく説明する。図１は、本発明の一実施形態による電子装置及び分析サーバーを示すブロック図である。本発明の一実施形態による電子装置１と分析サーバー２は、ネットワーク３を通じて相互に連結される。電子装置１は、ユーザの命令に従って動作する機器として、例えば、ＴＶ、セットトップボックス、ＤＶＤプレーヤー、エアコン、冷蔵庫、コンピュータ、携帯電話、スマートフォン、スマートパッド等の家電機器あるいは個人端末機、プリンタ、コピー機等の事務機器等など電気/電子回路に基づいて動作する機器を含む。

本実施形態のユーザの命令は、ユーザの行為等によって電子装置１が所定の動作を行うことを決定することができるようにする情報を含む。また、本実施形態のユーザの命令は、電子装置１と分析サーバー２がその命令を把握するために命令に対する分析を行う。例えば、ユーザの命令は、ユーザの音声、ジェスチャー、特定の外観等を含む。以下、ユーザの命令は音声命令とし、電子装置１はＴＶのようなディスプレイ装置として、例えて説明する。

本実施形態のネットワーク３は、電子装置１と、分析サーバー２がユーザの音声命令に関する情報をやり取るために通信するのに利用される装置や、インフラを含み、有線及び/または無線のネットワークであることができる。

分析サーバー２は、ネットワーク３に連結されて、クライアントである電子装置１に対してユーザの音声命令に関するサービス、すなわち、ユーザの音声命令を分析し、その結果を電子装置１に提供する。本発明の一実施形態による分析サーバー２は、ユーザの音声命令の中で所定の回数以上に成功的に認識された少なくとも一つの音声命令（以下、‘音声認識命令’と言う）と、これに対応する制御命令情報を含む音声認識命令リストと、を電子装置１に送信する。制御命令情報は、音声認識命令を通じてユーザの意図どおり電子装置１が動作するようにする電子装置１の制御のための情報である。電子装置１は、分析サーバー２から受信した音声認識命令リストに基づいてユーザの音声命令を把握する。ユーザの音声命令が入力されれば、電子装置１は、ユーザの音声命令が受信した音声認識命令リストに含まれた音声認識命令に対応するか否かを確認し、対応すれば音声認識命令の制御命令情報に従って動作し、そうでなければユーザの音声命令を分析サーバー２に伝達する。分析サーバー２は、電子装置１から受信したユーザの音声命令を分析し、その対応する制御命令情報を電子装置１に送信する。電子装置１は、分析サーバー２から受信した制御命令情報に従って動作する。

このように、本発明の一実施形態によると、電子装置１はすべてのユーザの音声命令を分析サーバー２に送信しなく、分析サーバー２からあらかじめ受信した音声認識命令リストを優先的に利用してユーザの音声命令を把握し、保有している音声認識命令リストで把握し難い場合にだけ分析サーバー２から受信した制御命令情報に従って動作する。したがって、電子装置１と分析サーバー２との通信時間を最小化し、これによって、ユーザの音声命令の認識から動作の実行までかかる時間を最大に短縮することができる。

図２は本発明の一実施形態による電子装置１の構成を示すブロック図である。電子装置１は、動作遂行部１１、命令受信部１２、通信部１３及び制御部１４を含むことができる。電子装置１は、保存部１５をさらに含むことができる。動作遂行部１１は、電子装置１の固有の動作を行う。例えば、電子装置１がＴＶのようなディスプレイ装置である場合、動作遂行部１１は、信号受信部１１１、映像処理部１１２及びディスプレイ部１１３を含むことができる。ただし、動作遂行部１１は、電子装置１が具現された製品に固有な機能に対応することとして、図２に示す例に限定されない。

信号受信部１１１は、放送信号送信装置（図示せず）から送出される放送信号に含まれた映像信号を受信したり、ＤＶＤプレーヤー、ＢＤプレーヤー等の映像機器から映像信号を受信したり、ＰＣから映像信号を受信したり、スマートフォン、スマートパッド等のモバイル機器から映像信号を受信したり、インターネット等のネットワークを通じて映像信号を受信したり、ＵＳＢ保存媒体のような保存媒体に保存された映像コンテンツを映像信号として入力することができる。

映像処理部１１２は、信号受信部１１１により受信された映像信号を処理して映像が表示されるようにする。映像処理部１１２は、デコーディング、イメージ
エンハンシング、スケーリング等を含むことができる。ディスプレイ部１１３は、映像処理部１１２によって処理された映像信号に基づいて映像を表示する。ディスプレイ部１１３が映像を表示する方式は、制限されず、ＬＣＤ、ＰＤＰ、ＯＬＥＤ等を含む。

命令受信部１２は、ユーザの音声命令を受信する。命令受信部１２は、例えば、ユーザの音声命令を受信する第１命令受信部１２１を含むことができる。第１命令受信部１２１は、受信されるユーザの音声命令を音声信号に変換するマイクを含むことができる。命令受信部１２は、ユーザの操作命令を受信する第２命令受信部１２２をさらに含むことができる。第２命令受信部１２２はリモコン（図示せず）からユーザの操作命令に対応するキー入力情報を含むリモコン信号を受信するリモコン信号受信部で具現されたり、電子装置１に設けられてユーザの操作に対応してキー入力情報を生成する操作パネルで具現されることができる。

通信部１３は、ネットワーク３を通じて分析サーバー２と通信する。通信部１３は、制御部１４の制御に従ってユーザの音声命令及びその分析結果に関する情報を分析サーバー２とやり取る。

制御部１４は、ユーザの音声命令に従って動作遂行部１１が動作を行うように制御する。制御部１４は、通信部１３を通じて分析サーバー２から音声認識命令リストが受信されれば、受信された音声認識命令リスト１５１を保存部１５に保存する。制御部１４は、命令受信部１２を通じてユーザの音声命令が受信されれば、ユーザの音声命令が保存された音声認識命令リスト１５１に含まれた音声認識命令に対応するかを確認し、対応すれば保存された音声認識命令リスト１５１の音声認識命令に対応する制御命令情報に従って動作するように動作遂行部１１を制御する。一方、制御部１４はユーザの音声命令が保存された音声認識命令リスト１５１に含まれた音声認識命令に対応しなければ、ユーザの音声命令が分析サーバー２に送信されるように通信部１３を制御し、分析サーバー２から該当音声命令に対応する制御命令情報が受信されれば、受信された制御命令情報に従って動作するように動作遂行部１１を制御する。

制御部１４は、ＣＰＵを含み、制御プログラムを実行して動作することができる。制御部１４は、制御プログラムを保存するためのフラッシュメモリー等の非揮発性のメモリーと、ＣＰＵが迅速にアクセスするように保存された制御プログラムの少なくとも一部をローディングするＤＤＲのような揮発性のメモリーと、をさらに含むことができる。制御部１４の制御プログラムは、動作遂行部１１の動作を制御するための内容でプログラムされる。

図３は本発明の一実施形態による分析サーバー２の構成を示すブロック図である。分析サーバー２は、通信部２１、制御部２２及び保存部２３１を含む。通信部２１は、ネットワーク３を通じて電子装置１の通信部１３と通信する。制御部２２は、分析サーバー２の動作を制御する。保存部２３は非揮発性のメモリーとしてユーザの音声命令に対応する音声認識命令リストを保存する。制御部２２は保存部２３に保存された音声認識命令リストが電子装置１に送信されるように通信部２１を制御する。制御部２２は、通信部１３を通じて電子装置１からユーザの音声命令とその分析要請が受信されれば、受信されたユーザの音声命令を分析する。制御部２２は、該当ユーザの音声命令の分析結果が電子装置１に送信されるように通信部２１を制御する。

図４は、本発明の一実施形態による電子装置１の動作を示すフローチャートである。まず、動作Ｓ４１で、電子装置１は、分析サーバー２から音声認識命令リストを受信する。受信された音声認識命令リスト１５１は、保存部１５に保存されることができる。図５は、本発明の一実施形態による音声認識命令リスト１５１の構成の一例を示す。音声認識命令リスト１５１は、複数の音声認識命令（‘音声認識命令１’、‘音声認識命令２’、‘音声認識命令３’、…）と、これらに各々対応する複数の制御命令情報（‘制御命令情報１’、‘制御命令情報２’、‘制御命令情報３’、…）を含むことができる。複数の音声認識命令は、例えば、‘電源つけろ’、‘電源消せ’、‘ボリューム上げろ’等の命令であることができる。複数の制御命令情報は、複数の音声認識命令各々に対応して電子装置１が行うようになっている動作ないし機能に関する装置固有の制御情報を含むことができる。

電子装置１は、電子装置１の電源がターンオンされる場合に分析サーバー２に音声認識命令リストの送信を要請することができる。分析サーバー２は、電子装置１から音声認識命令リストの送信の要請があれば、音声認識命令リストを電子装置１に送信することができる。電子装置１は、分析サーバー２から受信した音声認識命令リストを保存部１５に保存することができる。電子装置１は、保存部１５にすでに受信して保存された音声認識命令リスト１５１が存在する場合に、保存された音声認識命令リスト１５１と現在分析サーバー２から受信した音声認識命令リストを比較して、受信した音声認識命令リストに基づいて保存された音声認識命令リスト１５１をアップデートすることもできる。

また、図４に示すように、動作Ｓ４２で、電子装置１はユーザの音声命令を受信する。次に、動作Ｓ４３で、電子装置１は受信されたユーザの音声命令が既に受信された音声認識命令リストに含まれた音声認識命令に対応するか否かを確認する。図６は、本発明の一実施形態によって、既に受信された音声認識命令リストに含まれた音声認識命令に音声命令の対応可否を判断する動作を示すフローチャートである。

先に、動作Ｓ６１で、電子装置１はユーザの音声命令を受信する。次に、動作Ｓ６２で、電子装置１は受信された音声命令と音声認識命令リストの音声認識命令との関連度を判断する。本実施形態での関連度は、例えば、受信された音声命令が音声認識命令リストに含まれた対応する音声認識命令との類似度によって決定されることができる。例えば、ユーザが‘電源を消せ’と命令した場合に、音声認識命令リストにこれと実質的に同じ‘電源を消せ’という音声認識命令が含まれていれば、該当音声命令と対応する音声認識命令リストの音声認識命令との関連度は最も高いと判断されることができる。他の例として、ユーザが‘ボリュームを高めろ’と命令した場合に、音声認識命令リストには‘ボリュームを上げろ’という音声命令が存在すれば、両者はその意味で類似性が高いとすることができる。この場合、電子装置１は該当音声命令と、対応する音声認識命令リストの音声認識命令との関連度が所定分以上であると判断することができる。また他の例として、ユーザが‘画面を明るくしろ’と命令した場合に、音声認識命令リストにこれと類似な音声認識命令が存在しないと確認されれば、該当音声命令と対応する音声認識命令リストの音声認識命令との関連度が所定分未満である場合と判断することができる。

また、図６に示すように、動作Ｓ６３で、既に受信された音声認識命令リストに音声命令との関連度が所定分以上である音声認識命令が存在すると判断されれば、動作Ｓ６４で、電子装置１は該当音声命令が既に受信された音声認識命令リストに含まれた音声認識命令と対応すると判断する。反面、動作Ｓ６３で、既に受信された音声認識命令リストに音声命令との関連度が所定分以上である音声認識命令が存在しないと判断されれば、動作Ｓ６４で、電子装置１は該当音声命令が既に受信された音声認識命令リストに含まれた音声認識命令と対応しないと判断する。

また、図４に示すように、万一、動作Ｓ４４で、ユーザの音声命令が既に受信された音声認識命令リストに含まれた音声認識命令に対応すると判断されれば、動作Ｓ４５で、電子装置１は音声認識命令リストの音声認識命令に対応する制御命令情報に従って動作する。例えば、電子装置１はユーザの‘電源を消せよ’、‘ボリュームを高めろ’等の音声命令に対応して、音声認識命令リストに含まれた‘電源を消せよ’、‘ボリュームを上げろ’等の音声認識命令に対応する制御命令情報を参照して該当動作を行う。

一方、動作Ｓ４６で、ユーザの音声命令が既に受信された音声認識命令リストに含まれた音声認識命令と対応しないと判断されれば、動作Ｓ４６で、電子装置１は該当ユーザの音声命令を分析サーバー２に送信する。例えば、電子装置１は、ユーザの‘画面を明るくしろ’の音声命令が音声認識命令リストによって分析可能でなければ、’画面を明るくしろ’の音声命令の情報を分析サーバー２に送信する。次に、動作Ｓ４７で、電子装置１は、分析サーバー２から該当音声命令に対応する制御命令情報を受信する。例えば、電子装置１は、‘画面を明るくしろ’の音声命令の分析結果として該当音声命令に対応する制御命令情報を受信する。次に、動作Ｓ４７で、電子装置１は受信した制御命令情報に従って動作する。

図１２は、本発明の一実施形態によるＳＴＴ（Ｓｐｅｅｃｈ−Ｔｏ−Ｔｅｘｔ）サーバーの一例を示す。電子装置１は、ユーザの音声命令、ユーザが発話した音声の情報をテキストの形態で処理することができる。例えば、電子装置１は、受信されたユーザの音声命令をＳＴＴサーバー４に送信する。ＳＴＴサーバー４は、電子装置１から受信されたユーザの音声命令を対応するテキストに変換するＳＴＴ変換部４１を含む。ＳＴＴサーバー４は、ユーザの音声命令を変換したテキストを電子装置１に送信する。電子装置１は、ＳＴＴサーバー４から受信されたテキストを利用してユーザの音声命令が保存された音声認識命令リストに含まれた音声認識命令との対応可否を判断することができる。電子装置１は、ＳＴＴサーバー４から受信されたテキストをサーバー１に送信してユーザの音声命令に対する分析を要請することもできる。

図７は、本発明の一実施形態による電子装置１の動作の他の例を示すフローチャートである。本実施形態では、ユーザの音声命令が既に受信された音声認識命令リストに含まれた音声認識命令と対応しないと判断される場合に対して説明する。まず、動作Ｓ７１で、電子装置１は、ユーザの音声命令を分析サーバー２に送信する。次に、動作Ｓ７２で、電子装置１は分析サーバー２からユーザの音声命令に対応する制御命令情報の受信可否を確認する。万一、分析サーバー２からユーザの音声命令に対応する制御命令情報が受信されると、動作Ｓ７３で、電子装置１は分析サーバー２から受信された制御命令情報に従って動作する。一方、分析サーバー２からユーザの音声命令に対応する制御命令情報がまだ受信されなかったら、動作Ｓ７４で、電子装置１は分析サーバー２にユーザの音声命令を送信して所定時間の経過可否を確認する。万一、まだ所定時間が経過しなかったら、動作Ｓ７２がまた遂行される。しかし、所定時間が経過すれば、動作Ｓ７４で、電子装置１は既に受信された音声認識命令リストの音声認識命令に基づいて動作する。

例えば、ユーザが‘画面を消せよ’と命令した場合、電子装置１は音声認識命令リストに‘画面を小さくしろ’という音声命令はあるが、その関連度が所定未満だと判断して分析サーバー２にその分析結果を要請することができる。しかし、通信条件等の問題で分析サーバー２から分析結果の受信まで時間が長くかかる場合、ユーザが、動作が行われる時までずっと待ち難いと言う問題がある。この場合、電子装置１は分析サーバー２に分析結果を要請してから所定時間が経過した場合に、その関連度が所定未満だと判断された音声認識命令を利用して迅速に動作することができるようにする。例えば、電子装置１は、ユーザの‘画面を減らせよ’の音声命令に対応して音声認識命令リストの‘画面小さくしろ’に対応する音声認識命令に従って動作する。万一、該当音声命令と関連度がある音声認識命令がいくつかある場合、電子装置１は複数の音声認識命令の中で関連度が最も高いいずれか一つを優先的に選択して動作することができる。したがって、本実施形態では、ユーザが動作を待つ時間を最小化することができるので、ユーザの便宜がさらに向上される。

追加的な実施形態として、関連度の低い音声認識命令を利用する場合にユーザの意図と合わないこともあるので、このような誤った動作を防止する必要がある。図８は、本発明の一実施形態による電子装置１の動作のまた他の例を示すフローチャートである。本実施形態では、図７の実施形態で、分析サーバー２に分析を要請してから所定時間が経過し、音声命令との関連度がある程度あると判断された音声認識命令が存在する場合を例えて説明する。まず、動作Ｓ８１で、電子装置１は該当音声命令との関連度がある程度あると判断された音声認識命令に従って動作する前にあらかじめ、該当音声認識命令の内容をユーザに通知する。具体的に、電子装置１は、現在のユーザの音声命令が関連度がある程度あると判断された音声認識命令に該当可否をユーザに問い合わせして確認するようにするメッセージをディスプレイ部１１３に表示することができる。例えば、ユーザが‘画面減らせよ’という音声命令をした場合に、音声認識命令リストに含まれた‘画面小さくしろ’の音声認識命令がユーザの意図に該当するかを問うメッセージを例えることができる。次に、動作Ｓ８２で、電子装置１は第２命令受信部１２２等を通して該当音声認識命令に対するユーザの意思を受信する。万一、動作Ｓ８３で、ユーザが音声認識命令に同意したと判断されれば、動作Ｓ８４で、電子装置１は該当音声認識命令に従って動作する。しかし、動作Ｓ８４で、ユーザが音声認識命令に同意しないと判断されれば、電子装置１は該当音声認識命令に従って動作しない。したがって、本実施形態によると、ユーザの意思にさらに近づくように動作してユーザの便宜をさらに向上させることができる。

他の実施形態として、ユーザの音声命令に対応すると判断される音声認識命令リストに含まれた音声認識命令のない場合、電子装置１は音声認識命令リストに含まれた複数の音声認識命令を表示し、ユーザが複数の音声認識命令の中でユーザの音声命令の意図に合ういずれか一つを選択するようにすることもできる。複数の音声認識命令の中でユーザがいずれか一つを選択すれば、電子装置１は選択された音声認識命令に対応する制御命令情報に基づいて動作されるように制御する。

電子装置１は、保存された音声認識命令リストにユーザの音声命令に対応する音声認識命令が含まれていないと判断された状況で、ユーザの意思に従ってユーザの音声命令が成功的に認識された場合、該当音声命令を新しい音声認識命令として対応する制御命令情報とともに音声認識命令リストに追加して保存する。この場合、電子装置１は、新しく成功的に認識された音声命令と対応する制御命令情報を分析サーバー２に送信して、分析サーバー２が音声認識命令リストをアップデートすることができるようにする。

図１３は本発明の一実施形態による保存された音声命令のリストを示すＵＩの一例を示す。電子装置１は、ユーザが発話した音声命令を貯蔵して、ユーザの要請に従って、保存された音声命令のリストをＵＩ１３１の形態で表示することができる。図１３に示すように、ＵＩ１３１を通じて表示される保存された音声命令のリストは、ユーザが既に発話した音声命令１３２を表示する。電子装置１は、ユーザ別に発話された音声命令を保存し、ユーザ別に（符号１３３参照）既に保存された音声命令１３２を表示することができる。音声命令のリストの音声命令１３２は、ユーザがしばしば発話した音声命令の順でソーティングされて表示されることができる。従って、ユーザは、ＵＩ１３１を通じて以前に自身が発話した音声命令を容易に見ることができるので、音声命令の発話に対する便宜性が向上される。

選択的な実施形態として、電子装置１はユーザが音声命令別に対応する識別記号を登録するようにし、後にユーザが登録された識別記号を発話すれば、対応する音声命令が受信されたと判断することができる。保存された音声命令のリストのＵＩ１３１は、各音声命令に対応する識別記号１３４をさらに表示することができる。例えば、‘明日の天気を知らせてくれ’のような音声命令に対して、識別記号‘１’を登録しておけば、ユーザが識別記号‘１’を発話すれば、電子装置１はこれに対応する‘明日の天気を知らせてくれ’の音声命令が発話されたと判断する。従って、ユーザは長く複雑な文章のような音声命令を簡単な識別記号に変えて命令することができるので、ユーザの便宜性がさらに向上される。電子装置１はユーザの指示に従ってＵＩ１３１のリストで、音声命令を削除したり新しい音声命令を追加することができる。

他の実施形態として、電子装置１は、ユーザが音声命令のリストのＵＩ１３１上でいずれか一つの音声命令が配列された位置を発話する場合、該当音声命令が受信されることと判断することができる。例えば、リストのＵＩ１３１が表示された状態でユーザが‘一番目’と発話すれば、電子装置１はリストのＵＩ１３１で一番目に位置した‘明日の天気を知らせてくれ’の音声命令が発話されたと判断することができる。

また、電子装置１は、ユーザの指示に従って保存された音声命令のリストのＵＩ１３１上の音声命令の順序を編集することができる。図１４は、ＵＩ１３１上の音声命令の順序を編集する状況を示す。例えば、図１４に示すように、電子装置１は、ユーザの指示に従って‘％％％が出る放送を切り替えろ’の命令と、‘＄＄＄ニュース録画してくれ’の命令の順序を互いに変えることができる。この場合、対応する識別記号はそのまま維持することもできるし、二つの命令の識別記号が互いに変わることもできる。

図９は、本発明の一実施形態による電子装置１と、分析サーバー２ａの構成の一例を示す。本実施形態の分析サーバー２ａに対して、図１乃至図８を参照して説明した分析サーバー２と同一ないし類似な構成に対する説明は省略する。本実施形態の分析サーバー２ａは、複数の電子装置１と通信を行う。分析サーバー２ａは、複数の電子装置１各々からユーザの音声命令に対する分析要請があれば、これに対応して音声命令を分析し、その分析結果を該当電子装置１に送信する。また、分析サーバー２ａは、複数の電子装置１から受信されるユーザの音声命令を収集し、これに基づいて音声認識命令リストを準備して、準備した音声認識命令リストを複数の電子装置１に提供する。

図１０は、本発明の一実施形態による分析サーバー２ａの動作を示すフローチャートである。まず、動作Ｓ１０１で、分析サーバー２ａは、電子装置１からユーザの音声命令に対する分析要請を受信する。次に、動作Ｓ１０２で、分析サーバー２ａは該当音声命令に対して分析し、これに対応する分析結果である対応する制御命令情報を要請した電子装置１に送信する。次に、動作Ｓ１０３で、分析サーバー２ａは、複数の電子装置１から収集されたユーザの音声命令と、その分析結果に基づいて音声認識命令リストを用意して、用意された音声認識命令リストを保存部２３に保存する。また、分析サーバー２ａは、複数の電子装置１から持続的に収集されるユーザの音声命令と、その分析結果に基づいて保存部２３に保存された音声認識命令リスト２５１をアップデートすることができる。次に、動作Ｓ１０３で、分析サーバー２ａは、保存部２３に保存された音声認識命令リスト２３１を複数の電子装置１に送信する。

選択的な実施形態として、電子装置１は、図８に示すように、ユーザの音声命令が音声認識命令リストの音声認識命令との関連度が低く判断されたが、ユーザが動作を許諾した（成功的に認識された）音声命令がある場合に、該当音声命令と対応する制御命令情報を分析サーバー２ａに送信することができる。または、電子装置１は、新しい音声命令が成功的に認識された場合、該当音声命令と対応する制御命令情報を分析サーバー２ａに送信することができる。この場合、分析サーバー２ａは、受信された音声命令と対応する制御命令情報を音声認識命令リストの生成に反映することができる。

図１１は、本発明の一実施形態による分析サーバー２ａの動作を示すフローチャートである。まず、動作Ｓ１０１で、分析サーバー２ａは、複数の電子装置１から収集されたユーザの音声命令に対して成功的に認識された回数を判断する。即ち、分析サーバー２ａは、複数の電子装置１から収集されたユーザの音声命令の中で、どれがしばしば成功的に認識されるかを判断する。次に、動作Ｓ１０２で、分析サーバー２ａは、収集されたどの音声命令の成功回数が所定分以上であるかを判断する。万一、該当音声命令の成功回数が所定分以上である場合には、動作Ｓ１０３で、分析サーバー２ａは該当音声命令とその制御命令情報を新しい音声認識命令として音声認識命令リストに追加することができる。しかし、該当音声命令の成功回数が所定分未満である場合には、分析サーバー２ａは、該当音声命令とその制御命令情報を音声認識命令リストに追加しない。したがって、本実施形態によれば、成功回数が所定分以上である音声命令だけで音声認識命令リストを用意することによって、音声認識命令リストの送信時間と、電子装置１が音声認識命令リストの処理に入れる動作を最小化することができる。

以上、多様な実施形態を通じて本発明に対して図示し説明したが、本発明はこれに限定されず、特許請求の範囲の内で多用に実施されることができる。

上記の実施形態につき以下の付記を残しておく。
（付記１）
ディスプレイ装置において、
映像信号を処理する映像処理部と；
前記映像信号に基づいて映像を表示するディスプレイ部と；
ユーザの音声命令を受信する命令受信部と；
第１サーバーと通信する通信部と；
保存部と；
前記第１サーバーから前記音声命令の中で所定の回数以上に成功的に認識された音声命令である少なくとも一つの音声認識命令と、これに対応する制御命令情報を含む音声認識命令リストを受信して、前記保存部に保存されるようにし、前記音声命令が入力されれば、前記入力された音声命令が前記音声認識命令リストに含まれた前記音声認識命令に対応するか否かを確認して、対応する場合に前記音声認識命令の制御命令情報に基づいて前記映像処理部が動作するようにし、対応しない場合に前記入力された音声命令を前記第１サーバーに送信して前記第１サーバーから対応する制御命令情報を受信し、受信された前記制御命令情報に基づいて前記映像処理部が動作するように制御する制御部と；を含むことを特徴とするディスプレイ装置。
（付記２）
前記制御部は、前記音声命令と、前記音声認識命令リストの音声認識命令との関連度に基づいて相互に対応可否を判断することを特徴とする付記１に記載のディスプレイ装置。
（付記３）
前記制御部は、前記第１サーバーに前記音声命令を送信した後に所定の時間以上に経過すれば、前記音声認識命令リストの音声認識命令に基づいて前記映像処理部が動作するように制御することを特徴とする付記１に記載のディスプレイ装置。
（付記４）
前記制御部は、前記音声認識命令リストの音声認識命令の内容をユーザに予め通知し、ユーザの意思に従って該当音声認識命令に基づいて動作可否を決めることを特徴とする付記１に記載のディスプレイ装置。
（付記５）
前記制御部は、前記入力された音声命令が新しく成功的に認識されれば、前記成功的に認識された音声命令と対応する制御命令情報とを前記第１サーバーに送信することを特徴とする付記１に記載のディスプレイ装置。
（付記６）
前記制御部は、前記入力された音声命令を第２サーバーに送信し、前記第２サーバーから前記入力された音声命令を変換したテキストを受信して、前記受信されたテキストを前記第１サーバーに送信することを特徴とする付記１に記載のディスプレイ装置。
（付記７）
ディスプレイ装置の制御方法において、
第１サーバーからユーザの音声命令の中で所定の回数以上に成功的に認識された音声命令である少なくとも一つの音声認識命令と、これに対応する制御命令情報を含む音声認識命令リストを受信する段階と；
前記受信された音声認識命令リストを前記ディスプレイ装置に保存する段階と；
ユーザの音声命令を受信する段階と；
前記受信された音声命令が前記音声認識命令リストに含まれた前記音声認識命令に対応するか否かを確認する段階と；
対応する場合、前記音声認識命令の制御命令情報に従って動作する段階と；
対応しない場合、前記受信された音声命令を前記第１サーバーに送信して前記第１サーバーから対応する制御命令情報を受信し、受信された前記制御命令情報に従って動作する段階を含むことを特徴とするディスプレイ装置の制御方法。
（付記８）
前記対応可否を確認する段階は、前記音声命令と、前記音声認識命令リストの音声認識命令との関連度に基づいて相互に対応可否を判断する段階を含むことを特徴とする付記７に記載のディスプレイ装置の制御方法。
（付記９）
前記第１サーバーに前記音声命令を送信した後に所定の時間以上に経過すれば、前記音声認識命令リストの音声認識命令に基づいて動作する段階をさらに含むことを特徴とする付記７に記載のディスプレイ装置の制御方法。
（付記１０）
前記音声認識命令リストの音声認識命令の内容をユーザに予め通知し、ユーザの意思に従って該当音声認識命令に基づいて動作可否を決める段階をさらに含むことを特徴とする付記７に記載のディスプレイ装置の制御方法。
（付記１１）
前記受信された音声命令が新しく成功的に認識されれば、前記成功的に認識された音声命令と対応する制御命令情報とを前記第１サーバーに送信する段階をさらに含むことを特徴とする付記７に記載のディスプレイ装置の制御方法。
（付記１２）
前記受信された音声命令を第２サーバーに送信する段階と；
前記第２サーバーから前記受信された音声命令を変換したテキストを受信する段階をさらに含み、
前記受信された制御命令情報に従って動作する段階は、前記受信されたテキストを前記第１サーバーに送信する段階を含むことを特徴とする付記７に記載のディスプレイ装置の制御方法。
（付記１３）
ディスプレイ装置に対するユーザの音声命令を分析するサーバーにおいて、
複数のディスプレイ装置と通信する通信部と；
ユーザの音声命令に関する情報を保存する保存部と；
前記複数のディスプレイ装置からユーザの音声命令に対する分析要請が受信されれば、該当音声命令に対応する制御命令情報を前記ディスプレイ装置に送信し、前記音声命令の中で所定の回数以上に成功的に認識された音声命令である少なくとも一つの音声認識命令と、これに対応する制御命令情報を含む音声認識命令リストを前記保存部に保存し、前記保存された音声認識命令リストを前記ディスプレイ装置に送信されるように制御を行う制御部と；
を含むことを特徴とするサーバー。
（付記１４）
前記制御部は、前記ディスプレイ装置から成功的に認識されたユーザの音声命令と、対応する制御命令情報が受信されるようにし、前記受信されたユーザの音声命令と対応する前記制御命令情報に基づいて前記音声認識命令リストを設けることを特徴とする付記１３に記載のサーバー。
（付記１５）
ディスプレイ装置に対するユーザの音声命令を分析するサーバーの制御方法において、
前記複数のディスプレイ装置からユーザの音声命令に対する分析要請を受信する段階と；
該当音声命令に対応する制御命令情報を前記ディスプレイ装置に送信する段階と；
前記音声命令の中で所定の回数以上に成功的に認識された音声命令である少なくとも一つの音声認識命令と、これに対応する制御命令情報を含む音声認識命令リストを前記保存部に保存する段階と；
前記保存された音声認識命令リストを前記ディスプレイ装置に送信する段階と；
を含むことを特徴とするサーバーの制御方法。

１ 電子装置
２ 分析サーバー
４ ＳＴＴサーバー
１１ 動作遂行部
１２ 命令受信部
１３ 通信部
１４ 制御部
１５ 保存部

Claims (15)

1. ディスプレイ装置において、
   映像信号を処理する映像処理部と；
   前記映像信号に基づいて映像を表示するディスプレイ部と；
   ユーザの音声命令を受信する命令受信部と；
   第１サーバーと通信する通信部と；
   保存部と；
   前記第１サーバーから前記音声命令の中で所定の回数以上に成功的に認識された音声命令である少なくとも一つの音声認識命令と、これに対応する制御命令情報を含む音声認識命令リストを受信して、前記保存部に保存されるようにし、前記音声命令が入力されれば、前記入力された音声命令が前記音声認識命令リストに含まれた前記音声認識命令に対応するか否かを確認して、対応する場合に前記音声認識命令の制御命令情報に基づいて前記映像処理部が動作するようにし、対応しない場合に前記入力された音声命令を前記第１サーバーに送信して前記第１サーバーから対応する制御命令情報を受信し、受信された前記制御命令情報に基づいて前記映像処理部が動作するように制御する制御部と；を含み、
   前記音声認識命令リストは、複数の音声認識命令と、これに対応する複数の制御命令情報を含む、
   ことを特徴とするディスプレイ装置。
2. 前記制御部は、前記音声命令と、前記音声認識命令リストの音声認識命令との関連度に基づいて相互に対応可否を判断することを特徴とする請求項１に記載のディスプレイ装置。
3. 前記制御部は、前記第１サーバーに前記音声命令を送信した後に所定の時間以上に経過すれば、前記音声認識命令リストの音声認識命令に基づいて前記映像処理部が動作するように制御することを特徴とする請求項１に記載のディスプレイ装置。
4. 前記制御部は、前記音声認識命令リストの音声認識命令の内容をユーザに予め通知し、ユーザの意思に従って該当音声認識命令に基づいて動作可否を決めることを特徴とする請求項１に記載のディスプレイ装置。
5. 前記制御部は、前記入力された音声命令が新しく成功的に認識されれば、前記成功的に認識された音声命令と対応する制御命令情報とを前記第１サーバーに送信することを特徴とする請求項１に記載のディスプレイ装置。
6. 前記制御部は、前記入力された音声命令を第２サーバーに送信し、前記第２サーバーから前記入力された音声命令を変換したテキストを受信して、前記受信されたテキストを前記第１サーバーに送信することを特徴とする請求項１に記載のディスプレイ装置。
7. ディスプレイ装置の制御方法において、
   第１サーバーからユーザの音声命令の中で所定の回数以上に成功的に認識された音声命令である少なくとも一つの音声認識命令と、これに対応する制御命令情報を含む音声認識命令リストを受信する段階と；
   前記受信された音声認識命令リストを前記ディスプレイ装置に保存する段階と；
   ユーザの音声命令を受信する段階と；
   前記受信された音声命令が前記音声認識命令リストに含まれた前記音声認識命令に対応するか否かを確認する段階と；
   対応する場合、前記音声認識命令の制御命令情報に従って動作する段階と；
   対応しない場合、前記受信された音声命令を前記第１サーバーに送信して前記第１サーバーから対応する制御命令情報を受信し、受信された前記制御命令情報に従って動作する段階を含み、
   前記音声認識命令リストは、複数の音声認識命令と、これに対応する複数の制御命令情報を含む、
   ことを特徴とするディスプレイ装置の制御方法。
8. 前記対応可否を確認する段階は、前記音声命令と、前記音声認識命令リストの音声認識命令との関連度に基づいて相互に対応可否を判断する段階を含むことを特徴とする請求項７に記載のディスプレイ装置の制御方法。
9. 前記第１サーバーに前記音声命令を送信した後に所定の時間以上に経過すれば、前記音声認識命令リストの音声認識命令に基づいて動作する段階をさらに含むことを特徴とする請求項７に記載のディスプレイ装置の制御方法。
10. 前記音声認識命令リストの音声認識命令の内容をユーザに予め通知し、ユーザの意思に従って該当音声認識命令に基づいて動作可否を決める段階をさらに含むことを特徴とする請求項７に記載のディスプレイ装置の制御方法。
11. 前記受信された音声命令が新しく成功的に認識されれば、前記成功的に認識された音声命令と対応する制御命令情報とを前記第１サーバーに送信する段階をさらに含むことを特徴とする請求項７に記載のディスプレイ装置の制御方法。
12. 前記受信された音声命令を第２サーバーに送信する段階と；
    前記第２サーバーから前記受信された音声命令を変換したテキストを受信する段階をさらに含み、
    前記受信された制御命令情報に従って動作する段階は、前記受信されたテキストを前記第１サーバーに送信する段階を含むことを特徴とする請求項７に記載のディスプレイ装置の制御方法。
13. ディスプレイ装置に対するユーザの音声命令を分析するサーバーにおいて、
    複数のディスプレイ装置と通信する通信部と；
    ユーザの音声命令に関する情報を保存する保存部と；
    前記複数のディスプレイ装置からユーザの音声命令に対する分析要請が受信されれば、該当音声命令に対応する制御命令情報を前記ディスプレイ装置に送信し、前記音声命令の中で所定の回数以上に成功的に認識された音声命令である少なくとも一つの音声認識命令と、これに対応する制御命令情報を含む音声認識命令リストを前記保存部に保存し、前記保存された音声認識命令リストを前記ディスプレイ装置に送信されるように制御を行う制御部と；
    を含み、
    前記音声認識命令リストは、複数の音声認識命令と、これに対応する複数の制御命令情報を含む、
    ことを特徴とするサーバー。
14. 前記制御部は、前記ディスプレイ装置から成功的に認識されたユーザの音声命令と、対応する制御命令情報が受信されるようにし、前記受信されたユーザの音声命令と対応する前記制御命令情報に基づいて前記音声認識命令リストを設けることを特徴とする請求項１３に記載のサーバー。
15. ディスプレイ装置に対するユーザの音声命令を分析するサーバーの制御方法において、
    複数のディスプレイ装置からユーザの音声命令に対する分析要請を受信する段階と；
    該当音声命令に対応する制御命令情報を前記ディスプレイ装置に送信する段階と；
    前記音声命令の中で所定の回数以上に成功的に認識された音声命令である少なくとも一つの音声認識命令と、これに対応する制御命令情報を含む音声認識命令リストを保存部に保存する段階と；
    前記保存された音声認識命令リストを前記ディスプレイ装置に送信する段階と；
    を含み、
    前記音声認識命令リストは、複数の音声認識命令と、これに対応する複数の制御命令情報を含む、
    ことを特徴とするサーバーの制御方法。

Images