JP2004005481A

JP2004005481A - ホームネットワークに連結された電化製品を制御する方法及び装置

Info

Publication number: JP2004005481A
Application number: JP2003072015A
Authority: JP
Inventors: ▲曹▼　貞　美; Jeong-Mi Cho; Jay-Woo Kim; 金　載　▲祐▼; Young-Jin Hong; 洪　暎　晋; Shunko Boku; 朴　俊　浩
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-03-15
Filing date: 2003-03-17
Publication date: 2004-01-08
Anticipated expiration: 2023-03-17
Also published as: JP4689944B2; KR100434545B1; EP1345360B1; US7957974B2; ATE333174T1; DE60306701D1; EP1345360A2; US20030187659A1; KR20030075020A; DE60306701T2; EP1345360A3

Abstract

【課題】ホームネットワークに連結された電化製品を制御する方法及び装置を提供する。
【解決手段】ユーザの音声命令を受信して文字命令に変換する第１段階と、前記変換された文字命令からアクションおよび対象を抽出して論理的命令に変換する第２段階と、前記ホームネットワークに連結された電化製品を制御するアクションデータを貯蔵するアクションライブラリーを参照して前記論理的命令から一連のアクションを含むアクションリストを抽出する第３段階と、前記アクションリストに含まれた一連のアクションを電化製品制御信号に変換して前記ホームネットワークに連結された電化製品を制御する第４段階とを含む。これにより、複雑化したホームネットワークに連結された電化製品に対するユーザの命令を単純化でき、電化製品を便利でかつ効率的に制御することが可能となる。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ホームネットワークに連結された電化製品を制御する方法及び装置に係り、より具体的には、音声命令処理を通じてホームネットワークに連結された電化製品を制御する方法及び装置に関する。
【０００２】
【従来の技術】
ホームネットワーク環境では、デジタル放送、ネットワーク家庭電化製品、情報通信機器、デジタル放送プログラム、インターネットコンテンツ、超高速有無線通信サービスが結合された複合情報電化製品などの登場により、ユーザにとって多様かつ便利な機能が提供されているが、その操作および制御はさらに複雑になってきている。ユーザは、電化製品が特定のサービスを実行するように、普通一連の段階を順次に指示しなければならず、そのためには、電化製品間の内部的な相互アクションを事前に知っていなければならない。例えば、パソコンに保存されているファイルをデジタルテレビで再生させるためには、ユーザは、「デジタルテレビのダウンロードメニュー選択→パソコンからのダウンロード選択→パソコン接続→パソコンでダウンロード可能な映像物検索→所望の映像物選択→パソコンからデジタルテレビにファイルダウンロード→デジタルテレビでファイル再生」の７段階アクションを順次に指示したり選択したりしなければならないという不便さがある。
【０００３】
音声は、日常生活で最も効果的かつ自然なコミュニケーション方法であって、音声命令処理は、音声認識技術の発展と共に、人間と機械との間の発展した形態のインターフェースとして開発されてきている。
【０００４】
音声命令処理を通じて単一機器を制御する技術は、多数の特許に開示されている。特許文献１、特許文献２、特許文献３、特許文献４は、いずれも音声によりオーブンを制御する技術に関する特許であって、オーブンの機能選択および強弱調節を音声による対話形式で行う技術が開示されている。また、特許文献５は、音声により洗濯機を制御する技術に関する特許であって、音声認識との合成により洗濯過程を制御する技術が開示されている。これら以外にも、特許文献６に開示された音声ダイアル技術、特許文献７に開示された音声制御カメラ技術、特許文献８に開示された音声インターネットコマンド処理装置など、応用対象が多様な、多くの従来技術がある。
【０００５】
このような技術は、いずれも独立した電化製品の単一機能遂行に関する技術であって、音声命令が、単純に電化製品に装着されたボタンの機能を果たしている。また、かかる技術は、音声パターンと機能との単純マッピングにより具現できる。特許文献９は、音声ＤＢ変更のためのモジュールや、新しい機器装着による命令定義モジュールなどを定義しているが、これもあらかじめ貯蔵された音声と入力された音声との比較による単一電化製品制御システムに関する。
【０００６】
音声命令処理を通じてホームネットワークに連結された電化製品を制御する技術も、多数の特許に開示されている。特許文献１０および特許文献１１には、ブラウザベースによるホームネットワーク上で電化製品を制御するための方法に係り、ユーザにより反復される一連の命令段階を減らすために、マクロ機能を定義する技術が開示されている。すなわち、ブラウザベースのインターフェースを利用して、ユーザが所望する一連の命令段階を順次にマクロで貯蔵し、かかるマクロの実行が一連の命令段階の代わりをする。
【０００７】
前記マクロ定義を通した命令処理技術は、既存の技術に比べて単純でユーザに便宜を提供するが、ユーザがマクロ生成のために一つ一つアクション指示しなければならず、マクロの一部を修正するために全体のマクロを再び生成しなければならないという問題点がある。
【０００８】
それ以外にも、特許文献１２には、電化製品の制御のための音声命令の前処理モジュールに係り、特定音声信号認識による音声命令認識方法と時間間隔による連続命令認識方法、音声命令認識後に周辺電化製品の音響を調節する技術が開示されている。
【０００９】
また、特許文献１３には、家庭外部からの遠隔制御技術に係り、家庭外部からの電話による音声信号により、リモコンにより制御される電化製品及び電源に連結されている電化製品を遠隔制御できる、音声認識ホームオートメーション及びこれを利用した電化製品制御方法が開示されている。
【００１０】
しかし、前記従来技術においては、ホームネットワークに連結された電化製品を制御するために複雑化した多段階のユーザ命令を低減させ、簡易なユーザの音声命令によって電化製品を制御する技術は、まだ開示されていない。
【００１１】
【特許文献１】
米国特許第４，３４０，７９７号公報
【特許文献２】
米国特許第４，３４０，７９８号公報
【特許文献３】
米国特許第４，３４０，７９９号公報
【特許文献４】
米国特許第４，５１３，１８９号公報
【特許文献５】
米国特許第４，５２０，５７６号公報
【特許文献６】
米国特許第５，２２２，１２１号公報
【特許文献７】
米国特許第４，３８９，１０９号公報
【特許文献８】
韓国公開特許第２０００−４９４１７号公報
【特許文献９】
ヨーロッパ特許第１，０６３，６３７号公報
【特許文献１０】
米国特許第６，２４３，７０７号公報
【特許文献１１】
韓国公開特許第２００１−１４１５５号公報
【特許文献１２】
ヨーロッパ特許第１，０８５，５００号公報
【特許文献１３】
韓国公開特許第２０００−４５０６９号公報
【００１２】
【発明が解決しようとする課題】
本発明は、前記問題点を解決するためになされたものであって、複雑化したホームネットワーク環境下で、ユーザが所望の電化製品のアクション制御を便利でかつ効率的に行えるように、ホームネットワークに連結された電化製品を制御する方法及び装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
前記問題点を解決するために、ホームネットワークに連結された電化製品を制御する方法は、ユーザの音声命令を受信して文字命令に変換する第１段階と、前記変換された文字命令からアクションおよび対象を抽出して論理的命令に変換する第２段階と、前記ホームネットワークに連結された電化製品を制御するアクションデータを貯蔵するアクションライブラリーを参照して前記論理的命令から一連のアクションを含むアクションリストを抽出する第３段階と、前記アクションリストに含まれた一連のアクションを電化製品制御信号に変換して前記ホームネットワークに連結された電化製品を制御する第４段階とを含む（請求項１）。
【００１４】
望ましくは、前記第２段階は、前記文字命令から命令のアクションおよび対象を抽出する第２ａ段階と、前記抽出されたアクションおよび対象の意味情報を積載する第２ｂ段階と、前記積載されたアクションおよび対象の意味情報を利用してアクションおよび対象の意味の重意性を解消する第２ｃ段階とを含む（請求項２）。
【００１５】
また望ましくは、前記アクションライブラリーに貯蔵されるアクションデータのデータ構造は、前記アクションを示すアクションヘッダ、前記アクションが行われるために要求される先行条件、前記アクションの実行完了のための細部アクション、前記アクションの実行結果であるアクション効果のうち少なくとも一つを含む（請求項３）。
【００１６】
また望ましくは、前記第３段階は、前記論理的命令に該当するアクションデータに含まれた先行条件が満足されるかどうかを判断する第３ａ段階と、前記判断結果、先行条件が満足されず、その先行条件を満足できるアクションがアクションライブラリー内に存在する場合に前記アクションを検索する第３ｂ段階と、前記判断結果、先行条件が満足されず、その先行条件を満足できるアクションがアクションライブラリー内に存在しない場合にエラーメッセージを出力する第３ｃ段階と、前記論理的命令に該当するアクションデータに含まれた先行条件が満足され、細部アクションが存在する場合に前記細部アクションをアクションライブラリーから検索する第３ｄ段階と、前記論理的命令に該当するアクションデータに含まれた先行条件が満足され、それ以上細部アクションがない場合に前記アクションを前記アクションリストに記録する段階とを含む第３ｅ段階とを含む（請求項４）。
【００１７】
また望ましくは、前記第３ａ段階は、前記ホームネットワークに連結された電化製品の状態情報を貯蔵するデバイス状態ライブラリーを参照して前記先行条件が満足されるかどうかを判断する（請求項５）。
【００１８】
また望ましくは、前記デバイス状態ライブラリーは少なくともデバイスＩＤ、アクション、デバイス状態を貯蔵する（請求項６）。
【００１９】
また望ましくは、前記方法は、前記ホームネットワークに連結された電化製品の制御によるアクション実行結果を報告する第５段階をさらに含む（請求項７）。
【００２０】
また望ましくは、前記第５段階は、前記ホームネットワークに連結された電化製品からアクション実行結果を受信する第５ａ段階と、前記受信されたアクション実行結果を含む結果メッセージを出力する第５ｂ段階とを含む（請求項８）。
【００２１】
また望ましくは、前記結果メッセージは実行結果成功メッセージまたは実行結果失敗メッセージを含み、前記実行結果失敗メッセージはエラーを起こした電化製品に関する情報を含む（請求項９）。
【００２２】
また望ましくは、前記方法は、前記ホームネットワークに連結された電化製品の制御によって変更される電化製品の状態をモニタする第６段階をさらに含む（請求項１０）。
【００２３】
また望ましくは、前記第６段階は、前記ホームネットワークに連結された電化製品から変更された電化製品の状態情報を受信する第６ａ段階と、前記受信された電化製品の状態情報を利用して前記ホームネットワークに連結された電化製品の状態情報を貯蔵するデバイス状態ライブラリーを更新する第６ｂ段階とを含む（請求項１１）。
【００２４】
一方、前記問題点を解決するために、ホームネットワークに連結された電化製品を制御する装置は、前記ホームネットワークに連結された電化製品を制御するアクションデータを貯蔵するアクションライブラリーと、ユーザの音声命令を受信して文字命令に認識する音声認識部と、前記認識された文字命令からアクションおよび対象を抽出して論理的命令に変換する命令解釈部と、前記アクションライブラリーを参照して前記論理的命令から一連のアクションを含むアクションリストを抽出するアクション計画部と、前記アクションリストに含まれた一連のアクションを電化製品制御信号に変換して前記ホームネットワークに連結された電化製品を制御する電化製品制御部とを含むものである（請求項１２）。
【００２５】
望ましくは、前記命令解釈部は、前記文字命令から命令のアクションおよび対象を抽出し、前記抽出されたアクションおよび対象の意味情報を積載する命令表層分析部と、前記積載されたアクションおよび対象の意味情報を利用してアクションおよび対象の意味の重意性を解消する命令深層分析部とを含む（請求項１３）。
【００２６】
また望ましくは、前記アクションライブラリーに貯蔵されるアクションデータのデータ構造は、前記アクションを示すアクションヘッダ、前記アクションが行われるために要求される先行条件、前記アクションの実行完了のための細部アクション、前記アクションの実行結果であるアクション効果のうち少なくとも一つを含む（請求項１４）。
【００２７】
また望ましくは、前記論理的命令に該当するアクションデータに含まれた先行条件が満足されるかどうかを判断した結果、先行条件が満足されず、その先行条件を満足できるアクションがアクションライブラリーに存在しない場合に前記アクション計画部はエラーメッセージを出力する（請求項１５）。
【００２８】
また望ましくは、前記アクションリストには、前記論理的命令に該当するアクションデータに含まれた先行条件が満足されるかどうかを判断した結果、先行条件が満足されず、その先行条件を満足できるアクションがアクションライブラリー内に存在する場合にアクションが検索される（請求項１６）。
【００２９】
また望ましくは、前記論理的命令に該当するアクションデータに含まれた先行条件が満足されるかどうかは、前記ホームネットワークに連結された電化製品の状態情報を貯蔵するデバイス状態ライブラリーを参照して判断される（請求項１７）。
【００３０】
また望ましくは、前記デバイス状態ライブラリーは少なくともデバイスＩＤ、アクション、デバイス状態を貯蔵する（請求項１８）。
【００３１】
また望ましくは、前記論理的命令に該当するアクションデータに含まれた先行条件が満足され、サブアクションが存在する場合、前記サブアクションをアクションライブラリーから検索する（請求項１９）。
【００３２】
また望ましくは、前記論理的命令に該当するアクションデータに含まれた先行条件が満足され、それ以上サブアクションがない場合、前記アクションが前記アクションリストに記録される（請求項２０）。
【００３３】
また望ましくは、前記制御装置は、前記ホームネットワークに連結された電化製品の制御によるアクション実行結果を報告する応答管理部をさらに含む（請求項２１）。
【００３４】
また望ましくは、前記応答管理部は、前記デバイス制御部を通じて前記ホームネットワークに連結された電化製品からアクション実行結果を受信し、前記受信されたアクション実行結果を含む結果メッセージを出力する（請求項２２）。
【００３５】
また望ましくは、前記結果メッセージは音声または文字形態に出力される（請求項２３）。
【００３６】
また望ましくは、前記結果メッセージは実行結果成功メッセージまたは実行結果失敗メッセージを含み、前記実行結果失敗メッセージはエラーを起こした電化製品に関する情報を含む（請求項２４）。
【００３７】
また望ましくは、前記制御装置は、前記ホームネットワークに連結された電化製品の制御によって変更される電化製品の状態をモニタするデバイスモニタ部をさらに含む（請求項２５）。
【００３８】
また望ましくは、前記デバイスモニタ部は、前記ホームネットワークに連結された電化製品から変更された電化製品の状態情報を受信し、前記受信された電化製品の状態情報を利用して前記ホームネットワークに連結された電化製品の状態情報を貯蔵するデバイス状態ライブラリーを更新する（請求項２６）。
【００３９】
ユーザの音声命令を受信して文字命令に変換する第１段階と、前記変換された文字命令からアクションおよび対象を抽出して論理的命令に変換する第２段階と、前記ホームネットワークに連結された電化製品を制御するアクションデータを貯蔵するアクションライブラリーを参照して前記論理的命令から一連のアクションを含むアクションリストを抽出する第３段階と、前記アクションリストに含まれた一連のアクションを電化製品制御信号に変換して前記ホームネットワークに連結された電化製品を制御する第４段階とを含むホームネットワークに連結された電化製品を制御する方法は、コンピュータにて判読でき、実行可能なプログラムコードで記録した記録媒体に具現できる（請求項２７）。
【００４０】
ユーザの音声命令を受信して文字命令に変換する第１段階と、前記変換された文字命令からアクションおよび対象を抽出して論理的命令に変換する第２段階と、前記ホームネットワークに連結された電化製品を制御するアクションデータを貯蔵するアクションライブラリーを参照して前記論理的命令から一連のアクションを含むアクションリストを抽出する第３段階と、前記アクションリストに含まれた一連のアクションを電化製品制御信号に変換して前記ホームネットワークに連結された電化製品を制御する第４段階と、前記ホームネットワークに連結された電化製品の制御によるアクション実行結果を報告する第５段階をさらに含むホームネットワークに連結された電化製品を制御する方法は、コンピュータにて判読でき、実行可能なプログラムコードで記録した記録媒体に具現できる（請求項２８）。
【００４１】
ユーザの音声命令を受信して文字命令に変換する第１段階と、前記変換された文字命令からアクションおよび対象を抽出して論理的命令に変換する第２段階と、前記ホームネットワークに連結された電化製品を制御するアクションデータを貯蔵するアクションライブラリーを参照して前記論理的命令から一連のアクションを含むアクションリストを抽出する第３段階と、前記アクションリストに含まれた一連のアクションを電化製品制御信号に変換して前記ホームネットワークに連結された電化製品を制御する第４段階と、前記ホームネットワークに連結された電化製品の制御によるアクション実行結果を報告する第５段階と、前記ホームネットワークに連結された電化製品の制御によって変更される電化製品の状態をモニタする第６段階をさらに含むホームネットワークに連結された電化製品を制御する方法は、コンピュータにて判読でき、実行可能なプログラムコードで記録した記録媒体に具現できる（請求項２９）。
【００４２】
【発明の実施の形態】
以下、添付した図１ないし図１２を参照して、本発明を詳細に説明する。
【００４３】
図１は、本発明による電化製品制御装置の一例の概略的なブロック図である。図１に示すように、電化製品制御装置は、音声認識部５０と、命令解釈部１００と、アクションライブラリー２００と、アクション計画部３００と、デバイス制御部４００と、デバイスモニタ部５００と、デバイス状態ライブラリー６００と、応答管理部８００と、出力部９００とを含む。
【００４４】
音声認識部５０は、電化製品制御装置に入力されるユーザの音声命令をテキスト命令に変換するものである。すなわち、音声認識部は、音声入力装置を通じてユーザの音声命令が入力され、これを認識して文字命令に変換する。
【００４５】
命令解釈部１００は、音声認識部５０から出力された文字命令を解釈して、論理的な命令形態に変えるものである。なお、命令解釈部１００の細部的な構成及びアクションについては、図２及び図３を参照して詳細に説明する。
【００４６】
アクション計画部３００は、アクションライブラリー２００を参照して命令解釈部１００から出力された論理的な命令を、電化製品制御のための一連のアクションリストに拡張するものである。なお、アクション計画部３００のアクションについては、図６を参照して詳細に説明する。
【００４７】
アクションライブラリー２００は、電化製品制御のためのアクションを先行条件、サブアクション、効果より構成されるデータ構造で貯蔵するものである。なお、アクションライブラリー２００のデータ構造については、図４及び図５を参照して詳細に説明する。
【００４８】
デバイス制御部４００は、アクション計画部３００から出力されたアクションリストを利用して、電化製品を制御してアクション遂行結果を抽出するものである。すなわち、デバイス制御部４００は、アクションリストを電化製品制御のための制御信号に変換し、この制御信号を電化製品に伝送することによって電化製品を制御する。なお、デバイス制御部４００の細部的な構成については、図８を参照して詳細に説明する。
【００４９】
デバイスモニタ部５００は、アクション遂行による電化製品の状態を監視し、電化製品の状態をデバイス状態ライブラリー６００に貯蔵するものである。なお、デバイスモニタ部５００の細部的な構成については、図１０を参照して詳細に説明する。
【００５０】
電化製品７００は、ホームネットワークに連結されたデバイスであって、ＤＴＶ（デジタルテレビ）７１０、ＶＣＲ（Ｖｉｄｅｏ　Ｃａｓｓｅｔｔｅ　Ｒｅｃｏｒｄｅｒ）７２０、ＤＶＤ７３０、ＰＣ（パソコン）７４０などを含み、各デバイスは、デバイス状態監視部７１１、７２１、７３１、７４１と、デバイス状態フラグ７１２、７２２、７３２、７４２を含む。また、各デバイス状態フラグは、そのデバイスの状態によってセットされ、デバイス状態監視部は、フラグを参照してデバイス状態を監視し、デバイスの状態をデバイス制御部４００及びデバイスモニタ部５００に報告する。
【００５１】
応答管理部８００は、デバイス制御部４００から受信したアクション遂行結果から応答を生成して、出力部９００に伝送するものである。なお、応答管理部８００の細部的な構成については、図１２を参照して詳細に説明する。
【００５２】
出力部９００は、応答管理部８００から受信した応答を音声合成部９１０およびディスプレイ制御部９２０を通じて出力するものである。
【００５３】
図２は、図１に示した命令解釈部１００の具体的な構成を示すブロック図である。
図２に示すように、命令解釈部１００は、形態素解釈および構文解釈を行う命令表層分析部１１０と、意味解釈を行う命令深層分析部１２０とを含む。
【００５４】
命令表層分析部１１０のアクション／対象抽出部１１１は、受信された文字命令に対して形態素解釈および構文解釈過程を経て、動詞と名詞、それら間の修飾関係を明らかにして、これに基づいて命令のアクションおよび対象を抽出し、意味情報積載部１１２は、抽出されたアクションおよび対象に該当するあらゆる意味情報を積載する。
【００５５】
命令深層分析部１２０は、意味情報積載部１１２から受信した結果の意味を分析してアクションと対象の意味的重意性（あいまい性）を解消する。すなわち、アクション意味（ａｃｔｉｏｎ　ｍｅａｎｉｎｇ）の重意性解消部１２１は、アクション意味の重意性を解消し、対象意味の重意性解消部１２２は、対象意味の重意性を解消して意味を一つに決定し、決定された論理的命令を出力する。
【００５６】
図３は、図１に示した命令解釈部でのアクションを説明するための図面である。
図３に示すように、例えば、命令解釈部１００が音声認識部５０から「ＸＸ番組つけて」という文字命令を受信すれば、アクション／対象抽出部１１１は、受信した文字命令からアクションとして「つける」を抽出し、対象として「ＸＸ番組」を抽出する。
【００５７】
次いで、意味情報積載部１１２は、「つける」という意味に対する情報として、テレビ、オーディオ、ビデオ、エアコン、蛇口などを積載し、「ＸＸ番組」という意味に対する情報として、番組、チャンネル、日時などを積載する。
【００５８】
そして、アクション意味の重意性解消部１２１は、「ＸＸ番組」がテレビ番組なので、アクションをテレビ−プレイと決定する。また、対象意味の重意性解消部１２２は、命令された時点が該当番組の放送時点であれば、対象の意味情報を該当チャンネルの番組と決定し、命令された時点が該当番組の放送時点を過ぎた時点であれば、対象の意味情報をＶＯＤ（Ｖｉｄｅｏ　Ｏｎ　Ｄｅｍａｎｄ）と決定する。
【００５９】
したがって、命令解釈部１００は、最終的に命令された時点によってプレイ（テレビ、ＸＸ番組（該当チャンネル））またはプレイ（テレビ、ＸＸ番組（ＶＯＤ、該当チャンネル、該当日時））の論理的命令を出力する。
【００６０】
図４は、図１に示したアクションライブラリーに貯蔵されたデータ構造を説明するための図面である。また、図５は、図４に示したデータ構造の一例を説明するための図面である。
【００６１】
図４及び図５に示すように、前記データ構造は、アクションヘッダ２１０、先行条件２２０、サブアクション１，．．．，Ｎ２３０、アクション効果２４０を含む。ここで、アクションの先行条件２２０は、アクションを行うために満たされなければならない条件であって、例えば、図５に示すように「テレビチャンネル変更（ＣＨＡＮＧＥ（ＣＨＥ））」というアクションが行われるためには、「テレビが既にオン（ＰＯＷＥＲ−ＯＮ（ＴＶ））」という先行条件が満たされていなければならない。
【００６２】
アクションの効果２４０は、そのアクションが行われる結果により満足される効果であって、例えば、図５に示すように「パソコンからテレビへ特定ファイル伝送（ＧＥＴ（ＦＩＬＥ，ＰＣ））というアクションが正しく行われれば、その結果として「ＴＶに特定ファイルが存在する（ＩＳ−ＦＩＬＥ（ＴＶ））」という状況が満足される。
【００６３】
アクションのサブアクション２３０は、アクション遂行のための順次の段階を意味し、例えば、図５に示すように「パソコンのファイルをテレビで再生（ＰＬＡＹ（ＦＩＬＥ，ＰＣ））」というアクションは、「パソコン接続（ＰＯＷＥＲ−ＯＮ（ＰＣ））→ＰＣでファイル検索（ＳＥＡＲＣＨ（ＦＩＬＥ））→パソコンからテレビへファイル伝送（ＴＲＡＮＳＭＩＴ（ＦＩＬＥ，ＰＣ，ＴＶ））→テレビでファイル再生（ＰＬＡＹ（ＦＩＬＥ，ＴＶ））」という細部段階に分けられる。
【００６４】
このようにアクションライブラリーを構成することによって、アクション間の前後関係が明確になり、含蓄のあるユーザの命令から一連のアクションリストを抽出できる。
【００６５】
図６は、図１に示したアクション計画部３００でのアクションを説明するフローチャートである。ここで、アクション計画部３００は、論理的形態の命令を受信してアクションリストを抽出する。このアクションリストとは、入力された論理的命令を行うための一連のアクション段階を意味する。
【００６６】
まず、アクション計画部３００は、命令解釈部１００から論理的命令を受信すれば（段階６０１）、その論理的命令に該当するアクションヘッダをアクションライブラリー２００で検索し（段階６０２）、デバイス状態ライブラリー６００を参照してアクションヘッダ内の先行条件を満足するかを検査する（段階６０３）。デバイス状態ライブラリー６００には、電化製品制御装置が制御するデバイスの状態が貯蔵されている。
【００６７】
先行条件を満足できない場合には、その先行条件を満足できるアクションがアクションライブラリー内に存在するかどうかを判断する（段階６０４）。かかるアクションがアクションライブラリーに存在しない場合（すなわち、制御できない場合）、アクション計画部３００は、応答管理部８００にエラーメッセージを出力し（段階６０６）、終了する。例えば、テレビの電源をつけよ、との命令がある場合に、その先行条件として電源コードがプラグに差し込まれている必要があるが、その先行条件を満足できるアクションがアクションライブラリー内に存在しない場合は、それ以上電化製品を制御できない状態にあるので、そのような場合にエラーメッセージを出力する。
【００６８】
段階６０４の判断の結果、先行条件を満足できるアクションがアクションライブラリー内に存在する場合には、前記先行条件を先に行わなければならないので、前記先行条件を満足できるアクションを検索し（段階６０５）、段階６０３に進む。
【００６９】
次いで、サブアクションが存在するかどうかをチェックし（段階６０７）、サブアクションが存在する場合には、サブアクションに該当するアクションヘッダをアクションライブラリー２００で再び検索して段階６０３に戻り、サブアクションが存在しない場合には、現在アクションをアクションリストに記入する（段階６０９）。
【００７０】
それから、次のアクションが存在するかを判断し（段階６１０）、次のアクションが残っていれば次のアクションに該当するアクションヘッダを検索し（段階６１１）、段階６０３に戻り、次のアクションが存在しない場合にはアクション過程を終了する。
【００７１】
図７は、具体的な例を通じて、図１に示した命令解釈部及びアクション計画部のアクションを説明するための図面である。
図７に示すように、命令解釈部１００が「パソコンのファイルをテレビで再生せよ」という文字命令７０１を受信すれば、その文字命令を解釈して「ＰＬＡＹ（ＦＩＬＥ，ＰＣ）」という論理的命令７０２に変換してアクション計画部３００に出力し、アクション計画部３００は受信した論理的命令をアクションリスト７０３に拡張させる。
【００７２】
図５及び図７を参照して「ＰＬＡＹ（ＦＩＬＥ，ＰＣ）」をアクションリストに拡張させる過程を説明すると、「ＰＬＡＹ（ＦＩＬＥ，ＰＣ）」の先行条件としてＰＯＷＥＲ−ＯＮ（ＴＶ）があるが、デバイス状態ライブラリー検索結果、先行条件が満たされなければ、アクションライブラリー内でＰＯＷＥＲ−ＯＮ（ＴＶ）という前記先行条件を満足できるアクションを検索する。すなわち、アクション効果がＰＯＷＥＲ−ＯＮ（ＴＶ）であるアクションを検索し、その結果、アクションＰＯＷＥＲ−ＯＮ（ＴＶ）が検索される。アクションＰＯＷＥＲ−ＯＮ（ＴＶ）の先行条件が満足されると仮定すれば、前記アクションにはサブアクションが存在しないのでアクションリストの最初のアクション７０４としてＰＯＷＥＲ−ＯＮ（ＴＶ）を記入する。
【００７３】
次のサブアクションとして、ＧＥＴ（ＦＩＬＥ，ＰＣ）とＰＬＡＹ（ＦＩＬＥ，ＴＶ）があり、ＧＥＴ（ＦＩＬＥ，ＰＣ）をアクションヘッダで再び検索すれば、先行条件としてＰＯＷＥＲ−ＯＮ（ＰＣ）がある。デバイス状態ライブラリー検索結果、先行条件が満たされなければ、前記先行条件を満足できるアクションをアクションライブラリーから検索し、その結果、アクションＰＯＷＥＲ−ＯＮ（ＰＣ）が検索される。アクションＰＯＷＥＲ−ＯＮ（ＰＣ）の先行条件が満たされ、サブアクションが存在しないと仮定すれば、行わなければならない第２番目のアクション７０５としてＰＯＷＥＲ−ＯＮ（ＰＣ）を記入する。
【００７４】
次いで、サブアクションには、ＳＥＡＲＣＨ（ＦＩＬＥ）とＴＲＡＮＳＭＩＴ（ＦＩＬＥ，ＰＣ，ＴＶ）がある。ＳＥＡＲＣＨ（ＦＩＬＥ）をアクションヘッダで検索して先行条件も満足され、サブアクションもないと仮定すれば、第３番目のアクション７０６としてＳＥＡＲＣＨ（ＦＩＬＥ）を記入し、またＴＲＡＮＳＭＩＴ（ＦＩＬＥ，ＰＣ，ＴＶ）をアクションヘッダで検索して先行条件も満たされ、サブアクションもないと仮定すれば、第４番目のアクション７０７としてＴＲＡＮＳＭＩＴ（ＦＩＬＥ，ＰＣ，ＴＶ）を記入する。
【００７５】
次いで、それ以上のサブアクションがないので次のアクションであるＰＬＡＹ（ＦＩＬＥ，ＴＶ）をアクションヘッダで検索して先行条件も満たされ、サブアクションもないと仮定すれば、第５番目のアクション７０８にＰＬＡＹ（ＦＩＬＥ，ＴＶ）を記入する。次いで、それ以上のアクションがないのでアクションリストの作成は終了する。
【００７６】
このような過程により、ＰＬＡＹ（ＦＩＬＥ，ＰＣ）という論理的命令７０２は、ＰＯＷＥＲ−ＯＮ（ＴＶ）７０４、ＰＯＷＥＲ−ＯＮ（ＰＣ）７０５、ＳＥＡＲＣＨ（ＦＩＬＥ）７０６、ＴＲＡＮＳＭＩＴ（ＦＩＬＥ，ＰＣ，ＴＶ）７０７、ＰＬＡＹ（ＦＩＬＥ，ＴＶ）７０８よりなるアクションリスト７０３に拡張される。
【００７７】
図８は、図１に示したデバイス制御部の具体的な構成を示すブロック図である。
図８に示すように、デバイス制御部４００は、アクションリスト／制御信号変換部４１０と、制御信号印加部４２０と、アクション実行結果報告部４３０とを含む。
【００７８】
アクションリスト／制御信号変換部４１０は、アクション計画部３００から受信したアクションリストの各アクションを個別電化製品制御のための信号に変換する。
【００７９】
制御信号印加部４２０は、変換された家電制御信号をホームネットワークに連結された電化製品７１０に伝送する。例えば、図７に示したアクションリスト７０３を利用して、電化製品を制御するアクションを図９を参照して説明すると、ＰＯＷＥＲ−ＯＮ（ＴＶ）７０４アクションは制御信号Ｓ１に変換されてＤＴＶ７１０に伝送され、ＰＯＷＥＲ−ＯＮ（ＰＣ）７０５アクションは制御信号Ｓ２に変換されてパソコン７４０に伝送され、ＳＥＡＲＣＨ（ＦＩＬＥ）７０６アクションは制御信号Ｓ３に変換されてパソコン７４０に伝送され、ＴＲＡＮＳＭＩＴ（ＦＩＬＥ，ＰＣ，ＴＶ）７０７アクションは制御信号Ｓ４に変換されてＤＴＶ７１０とパソコン７４０とに伝送され、ＰＬＡＹ（ＦＩＬＥ，ＴＶ）７０８アクションは制御信号Ｓ５に変換されてＤＴＶ７１０に伝送される。このような過程により、電化製品は論理的なアクション順序で制御できる。
【００８０】
アクション実行結果報告部４３０は、デバイスの各アクション実行が成功か、あるいは失敗かを報告され、前記報告されたアクション実行結果を応答管理部８００に伝送する。例えば、命令に対するアクションが成功であるという結果をデバイス状態監視部７１１から報告されることもあり、命令に対するアクション実行中にエラーが起こった場合に、失敗であるという結果をデバイス状態監視部７１１から報告されて、応答管理部８００にエラーメッセージを出力することもある。アクション実行失敗の場合には、アクションに参加する多数のデバイスのうちエラーが起こったそのデバイスからエラー結果を報告されうるので、アクション実行のいずれの段階で、またはいずれのデバイスでエラーが起こったかを正確に把握できる。
【００８１】
図１０は、図１に示したデバイスモニタ部の具体的な構成を示すブロック図である。
図１０に示すように、デバイスモニタ部５００は、デバイス状態抽出部５１０と、デバイス状態更新部５２０とを含む。デバイス状態監視部７１１は、デバイス状態フラグ７１２を監視してフラグの状態に変更があれば変更されたデバイス状態フラグの状態を示すメッセージをデバイス状態抽出部５１０に伝送する。デバイス状態抽出部５１０はデバイス状態メッセージを受信してデバイス状態を抽出し、デバイス状態更新部５２０はデバイス状態抽出部５１０により抽出されたデバイス状態をデバイス状態ライブラリー６００に更新する。
【００８２】
図１１は、図１に示したデバイス状態ライブラリーに貯蔵されるデータ構造を説明するための図面である。
図１１に示すように、前記データ構造はデバイスＩＤ１１１０と、アクション１１２０と、デバイス状態１１３０とを含む。例えば、デバイスＩＤ１１１０に「ＴＶ」、アクション１１２０に「ＰＯＷＥＲ−ＯＮ」、デバイス状態１１３０に「ＯＮ」が貯蔵されうる。
【００８３】
図１２は、図１に示した応答管理部の具体的な構成を示すブロック図である。応答管理部８００は、デバイス制御部４００からアクション遂行結果を入力され、ユーザにアクション遂行結果を通知する。アクションリスト作成段階で先行条件を満足できるアクションがアクションライブラリー内に存在しない状態でもエラーメッセージを出力できるので、応答管理部８００はアクション計画部３００からもメッセージを受信できる。
【００８４】
応答管理部８００がデバイス制御部４００またはアクション計画部３００から命令遂行結果を受信すれば、応答フレーム選択部８１０は応答フレームのデータベースである応答フレーム辞書８０１を参照して適した応答フレームを選択し、フレームスロットマッピング部８２０は、応答フレームのスロット値を決定し、形態素生成部８３０は受信した応答フレームを形態素生成過程を経て文字形態の応答に変換し、変換された応答を出力部９００に出力する。
【００８５】
本発明はまた、コンピュータで読取ることができる記録媒体に、コンピュータで読取ることができるコードとして具現できる。コンピュータで読取ることができる記録媒体としては、コンピュータシステムで読取ることができる、データが貯蔵されるあらゆる記録装置を含む。ここで、コンピュータで読取ることができる記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光データ貯蔵装置などがあり、またキャリアウェーブ（例えばインターネットを通した伝送）の形で具現されるものも含む。また、コンピュータで読取ることができる記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式でコンピュータで読取ることができるコードが貯蔵され、実行される。
【００８６】
以上、本発明について望ましい実施例を中心として説明した。本発明が属する技術分野の当業者は、本発明を本発明の本質的な特性から離脱しない範囲内で変形した形態で具現できることを理解できる。したがって、開示された実施例は、限定的な観点でなく説明的な観点で考慮されなければならない。本発明の範囲は、前述した説明でなく、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれていると解釈されねばならない。
【００８７】
【発明の効果】
以上説明した通りに構成される本発明によれば、以下の効果を奏する。
すなわち、一連の命令段階を含蓄的な命令で遂行可能にすることによって、ユーザの命令を短縮でき、命令遂行結果を正確に反映する応答を生成でき、命令失敗時に失敗原因をユーザに正確に知らせることによって、ネットワーク制御の便利性を増大させることができ、複雑になったホームネットワーク制御に対して、便利でかつ効率的なインターフェースを提供することが可能となる。
【図面の簡単な説明】
【図１】本発明による電化製品制御装置の一例を示す概略的なブロック図である。
【図２】図１に示した命令解釈部の具体的な構成を示すブロック図である。
【図３】図１に示した命令解釈部でのアクションを説明するための図面である。
【図４】図１に示したアクションライブラリーに貯蔵されたデータ構造を説明するための図面である。
【図５】図４に示したデータ構造の一例を説明するための図面である。
【図６】図１に示したアクション計画部でのアクションを説明するフローチャートである。
【図７】具体的な例を通じて図１に示した命令解釈部及びアクション計画部のアクションを説明するための図面である。
【図８】図１に示したデバイス制御部の具体的な構成を示すブロック図である。
【図９】具体的な例を通じてデバイス制御部のアクションを説明するための図面である。
【図１０】図１に示したデバイスモニタ部の具体的な構成を示すブロック図である。
【図１１】図１に示したデバイス状態ライブラリーに貯蔵されるデータ構造を説明するための図面である。
【図１２】図１に示した応答管理部の具体的な構成を示すブロック図である。
【符号の説明】
１００：命令解釈部
２００：アクションライブラリー
３００：アクション計画部
４００：デバイス制御部
５００：デバイスモニタ部
６００：デバイス状態ライブラリー
７００：電化製品
８００：応答管理部
９００：出力部

Claims

ホームネットワークに連結された電化製品を制御する方法であって、
（ａ）ユーザの音声命令を受信して文字命令に変換する段階と；
（ｂ）前記変換された文字命令からアクションおよび対象を抽出して論理的命令に変換する段階と；
（ｃ）前記ホームネットワークに連結された電化製品を制御するアクションデータを貯蔵するアクションライブラリーを参照して前記論理的命令から一連のアクションを含むアクションリストを抽出する段階と；
（ｄ）前記アクションリストに含まれた一連のアクションを電化製品制御信号に変換して前記ホームネットワークに連結された電化製品を制御する段階と；
を含むことを特徴とするホームネットワークに連結された電化製品を制御する方法。
前記（ｂ）段階は、
前記文字命令から命令のアクションおよび対象を抽出する段階と；
前記抽出されたアクションおよび対象の意味情報を積載する段階と；
前記積載されたアクションおよび対象の意味情報を利用してアクションおよび対象の意味の重意性を解消する段階とを含むことを特徴とする、請求項１に記載のホームネットワークに連結された電化製品を制御する方法。
前記アクションライブラリーに貯蔵されるアクションデータのデータ構造は、前記アクションを示すアクションヘッダ、前記アクションが行われるために要求される先行条件、前記アクションの実行完了のための細部アクション、前記アクションの実行結果であるアクション効果のうち少なくとも一つを含むことを特徴とする、請求項１に記載のホームネットワークに連結された電化製品を制御する方法。
前記（ｃ）段階は、
（ｃ１）前記論理的命令に該当するアクションデータに含まれた先行条件が満足されるかどうかを判断する段階と；
（ｃ２）前記判断結果、先行条件が満足されず、その先行条件を満足できるアクションがアクションライブラリー内に存在する場合に前記アクションを検索する段階と；
（ｃ３）前記判断結果、先行条件が満足されず、その先行条件を満足できるアクションがアクションライブラリー内に存在しない場合にエラーメッセージを出力する段階と；
（ｃ４）前記論理的命令に該当するアクションデータに含まれた先行条件が満足され、細部アクションが存在する場合に前記細部アクションをアクションライブラリーから検索する段階と；
（ｃ５）前記論理的命令に該当するアクションデータに含まれた先行条件が満足され、それ以上細部アクションがない場合に前記アクションを前記アクションリストに記録する段階とを含むことを特徴とする、請求項３に記載のホームネットワークに連結された電化製品を制御する方法。
前記（ｃ１）段階は、
前記ホームネットワークに連結された電化製品の状態情報を貯蔵するデバイス状態ライブラリーを参照して前記先行条件が満足されるかどうかを判断することを特徴とする、請求項４に記載のホームネットワークに連結された電化製品を制御する方法。
前記デバイス状態ライブラリーは少なくともデバイスＩＤ、アクション、デバイス状態を貯蔵することを特徴とする、請求項５に記載のホームネットワークに連結された電化製品を制御する方法。
（ｅ）前記ホームネットワークに連結された電化製品の制御によるアクション実行結果を報告する段階をさらに含むことを特徴とする、請求項１に記載のホームネットワークに連結された電化製品を制御する方法。
前記（ｅ）段階は、
前記ホームネットワークに連結された電化製品からアクション実行結果を受信する段階と；
前記受信されたアクション実行結果を含む結果メッセージを出力する段階とを含むことを特徴とする、請求項７に記載のホームネットワークに連結された電化製品を制御する方法。
前記結果メッセージは実行結果成功メッセージまたは実行結果失敗メッセージを含み、前記実行結果失敗メッセージはエラーを起こした電化製品に関する情報を含むことを特徴とする、請求項８に記載のホームネットワークに連結された電化製品を制御する方法。
（ｆ）前記ホームネットワークに連結された電化製品の制御によって変更される電化製品の状態をモニタする段階をさらに含むことを特徴とする、請求項１に記載のホームネットワークに連結された電化製品を制御する方法。
前記（ｆ）段階は、
前記ホームネットワークに連結された電化製品から変更された電化製品の状態情報を受信する段階と；
前記受信された電化製品の状態情報を利用して前記ホームネットワークに連結された電化製品の状態情報を貯蔵するデバイス状態ライブラリーを更新する段階とを含むことを特徴とする、請求項１０に記載のホームネットワークに連結された電化製品を制御する方法。
ホームネットワークに連結された電化製品を制御する装置であって、
前記ホームネットワークに連結された電化製品を制御するアクションデータを貯蔵するアクションライブラリーと；
ユーザの音声命令を受信して文字命令に認識する音声認識部と；
前記認識された文字命令からアクションおよび対象を抽出して論理的命令に変換する命令解釈部と；
前記アクションライブラリーを参照して前記論理的命令から一連のアクションを含むアクションリストを抽出するアクション計画部と；
前記アクションリストに含まれた一連のアクションを電化製品制御信号に変換して前記ホームネットワークに連結された電化製品を制御する電化製品制御部とを含むことを特徴とする、ホームネットワークに連結された電化製品を制御する装置。
前記命令解釈部は、
前記文字命令から命令のアクションおよび対象を抽出し、前記抽出されたアクションおよび対象の意味情報を積載する命令表層分析部と；
前記積載されたアクションおよび対象の意味情報を利用してアクションおよび対象の意味の重意性を解消する命令深層分析部とを含むことを特徴とする、請求項１２に記載のホームネットワークに連結された電化製品を制御する装置。
前記アクションライブラリーに貯蔵されるアクションデータのデータ構造は、前記アクションを示すアクションヘッダ、前記アクションが行われるために要求される先行条件、前記アクションの実行完了のための細部アクション、前記アクションの実行結果であるアクション効果のうち少なくとも一つを含むことを特徴とする、請求項１２に記載のホームネットワークに連結された電化製品を制御する装置。
前記論理的命令に該当するアクションデータに含まれた先行条件が満足されるかどうかを判断した結果、先行条件が満足されず、その先行条件を満足できるアクションがアクションライブラリーに存在しない場合に前記アクション計画部はエラーメッセージを出力することを特徴とする、請求項１４に記載のホームネットワークに連結された電化製品を制御する装置。
前記論理的命令に該当するアクションデータに含まれた先行条件が満足されるかどうかを判断した結果、先行条件が満足されず、その先行条件を満足できるアクションがアクションライブラリー内に存在する場合にアクションが検索されることを特徴とする、請求項１４に記載のホームネットワークに連結された電化製品を制御する装置。
前記論理的命令に該当するアクションデータに含まれた先行条件が満足されるかどうかは、前記ホームネットワークに連結された電化製品の状態情報を貯蔵するデバイス状態ライブラリーを参照して判断されることを特徴とする、請求項１５または１６に記載のホームネットワークに連結された電化製品を制御する装置。
前記デバイス状態ライブラリーは少なくともデバイスＩＤ、アクション、デバイス状態を貯蔵することを特徴とする、請求項１７に記載のホームネットワークに連結された電化製品を制御する装置。
前記論理的命令に該当するアクションデータに含まれた先行条件が満足され、サブアクションが存在する場合、前記サブアクションをアクションライブラリーから検索することを特徴とする請求項１４に記載のホームネットワークに連結された電化製品を制御する装置。
前記論理的命令に該当するアクションデータに含まれた先行条件が満足され、それ以上サブアクションがない場合、前記アクションが前記アクションリストに記録されることを特徴とする請求項１４に記載のホームネットワークに連結された電化製品を制御する装置。
前記ホームネットワークに連結された電化製品の制御によるアクション実行結果を報告する応答管理部をさらに含むことを特徴とする、請求項１２に記載のホームネットワークに連結された電化製品を制御する装置。
前記応答管理部は、前記デバイス制御部を通じて前記ホームネットワークに連結された電化製品からアクション実行結果を受信し、前記受信されたアクション実行結果を含む結果メッセージを出力することを特徴とする、請求項２１に記載のホームネットワークに連結された電化製品を制御する装置。
前記結果メッセージは音声または文字形態に出力されることを特徴とする、請求項２２に記載のホームネットワークに連結された電化製品を制御する装置。
前記結果メッセージは実行結果成功メッセージまたは実行結果失敗メッセージを含み、前記実行結果失敗メッセージはエラーを起こした電化製品に関する情報を含むことを特徴とする、請求項２２に記載のホームネットワークに連結された電化製品を制御する装置。
前記ホームネットワークに連結された電化製品の制御によって変更される電化製品の状態をモニタするデバイスモニタ部をさらに含むことを特徴とする、請求項１２に記載のホームネットワークに連結された電化製品を制御する装置。
前記デバイスモニタ部は、前記ホームネットワークに連結された電化製品から変更された電化製品の状態情報を受信し、前記受信された電化製品の状態情報を利用して前記ホームネットワークに連結された電化製品の状態情報を貯蔵するデバイス状態ライブラリーを更新することを特徴とする、請求項２５に記載のホームネットワークに連結された電化製品を制御する装置。
請求項１のホームネットワーク連結電化製品の制御方法をコンピュータにて判読でき、実行可能なプログラムコードで記録した記録媒体。
請求項７のホームネットワーク連結電化製品の制御方法をコンピュータにて判読でき、実行可能なプログラムコードで記録した記録媒体。
請求項１０のホームネットワーク連結電化製品の制御方法をコンピュータにて判読でき、実行可能なプログラムコードで記録した記録媒体。