JP2006033795A - リモートコントロールシステム、コントローラ、コンピュータにコントローラの機能を付与するプログラム、当該プログラムを格納した記憶媒体、およびサーバ。 - Google Patents

Abstract

【課題】 簡易な操作によって確実に、目的とする操作指令を入力でき、これによりユーザの利便性を飛躍的に向上させ得るリモートコントロールシステムを提供する。
【解決手段】 リモコン端末２００から音声入力があると、音声認識部１０７にて音声認識され、キーワードが抽出される。かかるキーワードをもとに、検索式生成部１１０にて検索式が生成され、検索部１１１にて選択候補となり得る制御項目が検索される。かかる制御項目は、出力情報生成部１１３にて、テレビ画面上に表示される。ユーザは、リモコン端末２００をポインティングデバイスとして用いて、表示された制御項目のうち、所望の制御項目を選択指示できる。しかる後、操作キーの“選択”キーを操作すると、当該制御項目の制御コードが取得され、テレビ３００に送信される。
【選択図】 図２

Description

本発明は、リモートコントロールシステム、コントローラ、コンピュータにコントローラの機能を付与するプログラム、当該プログラムを格納した記憶媒体、およびサーバに関し、特に、家電機器を遠隔操作する際に用いて好適なものである。

一般に、家電機器に対する操作指令の入力は、リモートコントローラ（以下、「リモコン」という）を用いて行われる場合が多い。ワイヤレスリモコンを用いる場合には、場所を選ばず任意に操作指令を入力できるため、ユーザの利便性を高めることができる。

しかし、近年の機器の多機能化に伴い、リモコン操作がかなり煩雑化しつつある。特に、デジタルテレビ等のＩＴ機器においては、多機能化の進展が著しく、操作ボタンの細分化に加え、制御項目も階層化しつつある。このため、一つの制御項目を入力するのに、煩雑な操作ボタンの選択作業が必要となり、また、目的の階層に至るまでに、複数の操作ボタンを重ねて操作する必要が生じる。このように、デジタルテレビ等のＩＴ機器においては、リモコン本来の利便性が、操作の煩雑さゆえに滅殺されつつある。特に、高齢者等、ＩＴ操作に不慣れな人にとっては、利便性の低下が顕著となっている。

また、デジタルテレビにおいては、チャンネル数、番組数が膨大であることから、目的とする番組になかなか到達できない。番組選択には、ジャンル選択等の機能がテレビ側に準備されているが、この場合も、各機能が階層化されていることから、目的とする機能を読み出すまでに複数のキー操作が必要となる。また、どのキーにどの機能が割り当てられているか分からないため、目的の機能を読み出すために、マニュアル等を精読する必要が生じる。

これに対し、以下に示す特許文献１には、音声によって操作指令を入力できるコントロールシステムが記載されている。すなわち、ＥＰＧ受信手段で受信した放送番組情報の放送番組名と音声認識変換部で認識した音声信号とを比較し、両者が一致した時に、その一致した放送番組名とその関連するデータ、即ち、放送する日付け、開始時間、終了時間、放送局からなるデータを放送番組予約データとする機能が記載されている。

かかるコントロールシステムでは、煩雑なボタン操作を回避できるため、リモコンの利便性を向上させることができる。
特開２０００−３１６１２８号公報

しかし、上記の場合には、音声認識時における誤認識を避けることができないため、誤った制御指令が機器に設定される場合がある。その結果、誤った番組予約がビデオレコーダに設定される惧れがあり、それに応じて、ユーザが、予約の消去、再設定等、余分な操作を行わねばならないとの不都合が生じる。

そこで、本発明は、このような不都合を解消し、簡易な操作によって確実に、目的とする操作指令を入力でき、これによりユーザの利便性を飛躍的に向上させ得るリモートコントロールシステムを提供することを課題とする。

上記課題に鑑み本発明は、以下の特徴を有する。

第１の発明は、操作端末と、該操作端末に対する操作入力に応じて機器制御用の制御情報を出力するコントローラとを有するリモートコントロールシステムにおいて、音声情報を入力するための音声入力手段と、画面上に表示された表示項目を選択指示するための指示入力手段と、前記音声入力手段に入力された音声情報に基づいて選択対象となり得る候補項目群を生成する候補生成手段と、該候補生成手段によって生成された候補項目群をもとに画像情報を生成する画像情報生成手段と、該画像情報生成手段によって生成された画像情報を画面上に表示させる表示手段と、該表示手段によって画面上に表示された候補項目群のうち前記指示入力手段によって選択指示された制御項目を判別する判別手段と、該判別手段によって判別された制御項目に応じた制御情報を出力する制御情報出力手段とを有することを特徴とする。

第２の発明は、上記第１の発明に係るリモートコントロールシステムにおいて、前記候補生成手段は、制御項目とキーワードとを対応付けて格納するデータベース手段と、前記音声入力手段に入力された音声情報をもとにテキストデータを構成するテキスト構成手段と、該テキスト構成手段によって構成されたテキストデータと前記データベース手段に格納されている各制御項目のキーワードとを比較して当該テキスト中の文字列に整合するキーワードを含む制御項目を選択対象の候補として抽出する候補抽出手段とを有することを特徴とする。

第３の発明は、上記第２の発明に係るリモートコントロールシステムにおいて、前記候補抽出手段は、前記テキスト中の文字列と前記キーワードの整合度合いを前記制御項目毎に検出し、整合度合いが大きいものから順に選択対象の候補となる制御項目を抽出することを特徴とする。

第４の発明は、上記第３の発明に係るリモートコントロールシステムにおいて、前記候補抽出手段は、前記テキスト中の文字列に含まれる用語のうち前記キーワードに整合する用語の個数を前記制御項目毎にカウントし、当該カウント数が大きいものから順に選択対象の候補となる制御項目を抽出することを特徴とする。

第５の発明は、上記第２乃至第４の発明のうち何れか一の発明に係るリモートコントロールシステムにおいて、前記テキスト構成手段は、前記音声入力手段に入力された音声情報を音声認識してテキストデータを生成する音声認識手段を備え、前記入力された音声情報に対して類似度が高い上位Ｎ個（Ｎは自然数）の音声認識結果のテキストデータ群を前記キーワードと比較すべきテキストデータとして前記候補抽出手段に提示することを特徴とする。

第６の発明は、上記第１の発明に係るリモートコントロールシステムにおいて、前記候補生成手段は、前記音声入力手段に入力された音声情報をもとに、外部サーバから、選択対象となり得る候補項目群を取得する候補群取得手段を有することを特徴とする。

第７の発明は、上記第１乃至第６の発明のうち何れか一の発明に係るリモートコントロールシステムにおいて、前記指示入力手段は、前記操作端末を画面に向けることにより画面上に指示位置が重ねて表示されるポインティングデバイスを含むことを特徴とする。

第８の発明は、上記第１の発明に係るリモートコントロールシステムにおいて、前記候補生成手段は、類義語とキーワードとを対応付けて格納する類義語データベースと、制御項目とキーワードとを対応付けて格納する制御項目データベースと、前記音声入力手段に入力された音声情報をもとにテキストデータを構成するテキスト構成手段と、該テキスト構成手段によって構成されたテキストデータと前記類義語データベースに格納されている類義語のキーワードとを比較して当該テキスト中の文字列に整合するキーワードに対応付けられた類義語を選択対象候補として抽出し、抽出した類義語を選択対象として画面上に表示させる類義語表示手段と、該類義語表示手段によって画面上に表示された類義語のうち選択指示された類義語と前記制御項目データベースに格納されている各制御項目のキーワードを比較して当該テキスト中の文字列に整合するキーワードを含む制御項目を選択対象候補として抽出する候補抽出手段とを有することを特徴とする。

第９の発明は、上記第８の発明に係るリモートコントロールシステムにおいて、前記候補抽出手段は、前記選択指示された類義語の他、前記類義語データベースにおいてこの類義語に対応するキーワードに対応付けられた他の類義語を、前記制御項目データベースに格納されている各制御項目のキーワードと比較して、前記選択対象候補とされる制御項目を抽出することを特徴とする。

第１０の発明は、上記第８または第９の発明に係るリモートコントロールシステムにおいて、前記テキスト構成手段は、前記音声入力手段に入力された音声情報を音声認識してテキストデータを生成する音声認識手段を備え、前記入力された音声情報に対して類似度が高い上位Ｎ個（Ｎは自然数）の音声認識結果のテキストデータ群を前記キーワードと比較すべきテキストデータとして前記類義語表示手段に提示し、前記類義語表示手段は、前記Ｎ個の音声認識結果について前記選択対象候補とされる類義語を抽出するとともに、該類義語と前記音声認識結果の両方を選択対象として含む画像を画面上に表示することを特徴とする。

第１１の発明は、上記第１０の発明に係るリモートコントロールシステムにおいて、前記類義語表示手段は、前記Ｎ個の音声認識結果と、このうち認識順位が最上位の認識結果に対応する類義語を選択対象として含む画像を画面上に表示することを特徴とする。

第１２の発明は、上記第１１の発明に係るリモートコントロールシステムにおいて、前記類義語表示手段は、表示された前記Ｎ個の認識結果のうち一の認識結果が選択指示されたとき、表示中の類義語に代えて選択指示された認識結果に対応する類義語を選択候補として画面上に表示することを特徴とする。

この他、上記各発明に係るリモートコントロールシステムの特徴は、当該システムを構成するコントローラまたは端末装置の何れかの特徴として個別に把握することもできる。また、各発明の機能をコンピュータに付与するためのプログラムあるいは当該プログラムを格納した記憶媒体として把握することもできる。さらに、選択対象となり得る候補項目群の抽出機能を外部サーバに負担させる場合には、当該サーバの特徴として把握することもできる。

本発明によれば、音声入力によって選択対象となる候補項目群を生成した後、その中から、指示入力手段によって目的とする制御項目を選択するものであるから、制御項目が膨大で且つ階層的となっていても、簡易に候補項目を絞り込むことができ、その中から所望のものを選択することによって、確実に、目的の制御内容を機器に設定することができる。

なお、本発明においても、音声認識時における誤認識が生じ得るが、かかる誤認識によって候補項目群に不適合な制御項目が含まれていても、その後の選択によって、最終的に、適正な制御項目に確定できるため、不適合な制御項目が候補項目群に含まれることはさほど問題とはならず、むしろ、音声入力のみによって候補項目群を提示できるといった操作の簡便性によるメリットを、ユーザに強調することができる。

加えて、第２乃至第５の発明によれば、大量の検索対象項目の中から効果的に、候補項目群を絞り込むことができ、特に、第５の発明によれば、目的とする制御項目が候補項目群から漏れるのを効果的に抑制することができる。

なお、第６の発明のように、候補項目群を外部サーバから取得するよう構成することもできる。この場合、システムの処理負担を軽減することができ、システムの処理シーケンスを簡素化できる。

また、第７の発明のように、指示入力手段をポインティングデバイスを含むようにして構成することもできる。この場合、操作端末を差し向けるだけで目的とする制御項目を指示できるので、操作の簡便性を高めることができる。

また、第８の発明のように、一旦、音声認識結果とその類義語を表示させ、その中からユーザが所望のものを選択指示したときに、制御項目候補を表示するようにすれば、どのようにキーワードにて音声入力すれば適当か分からないような場合にも、まずは思いついたキーワードを音声入力することで、そのキーワードに近い語が選択候補として表示されるため、ユーザの利便性を高めることができる。

また、第９の発明によれば、選択指示した類義語のみならずこれと近い関係にある語を用いて制御項目が抽出されるため、制御項目の選択範囲を適正に拡張することができる。

また、第１０乃至１２の発明によれば、大量の検索対象項目の中から効果的に、候補項目群を絞り込むことができ、特に、第１１および１２の発明によれば、選択対象とされる類義語が多い場合にも、認識候補の選択指示に応じて、当該認識候補に対する類義語の表示に切り替えることができるため、ユーザの利便性を高めることができる。

この他、本発明の特徴ないし意義は、以下に示す実施形態の説明によって更に明らかとなろう。ただし、以下の実施形態は、本発明の一つの例示形態であって、本発明ないし各構成要件の用語の意義は、以下の実施形態に制限されるものではない。

（実施形態１）
図１に本実施の形態に係るコントロールシステムの構成を示す。

図示の如く、本コントロールシステムは、コントローラ１００と、リモコン端末２００と、テレビ（デジタルテレビ）３００と、外部インタフェース４００から構成されている。

なお、本コントロールシステムは、テレビ３００の機能ないし動作状態を、リモコン端末２００によって遠隔制御するものである。リモコン端末２００からは、操作内容に応じた電波信号がコントローラ１００に出力される。コントローラ１００は、かかる電波信号を受信して、操作内容に応じた処理を実行する。

リモコン端末２００には、操作キーの他、マイクロフォンが配備されており、音声入力が可能となっている。さらに、ジャイロスコープが内蔵されていて、上下左右に振り動かすことにより、それに応じた変位信号を出力するよう構成されている。このように、リモコン端末２００は、キー入力手段として用いる他、音声入力手段あるいはポインティングデバイスとして用いることができるものとなっている。

本コントロールシステムにおいては、マイクロフォンから音声入力があった場合に、それに関連する制御項目がコントローラ１００によって抽出され、テレビ３００上に表示される。すなわち、コントローラ１００は、音声認識機能と検索機能を備えており、音声認識結果に応じてデータベースを検索し、音声中含まれているキーワードに関連する制御項目を制御対象候補として抽出する。抽出された制御項目群は、テレビ３００上に表示される。

ユーザは、リモコン端末２００をポインティングデバイスとして操作して、表示画面上に表示された制御項目群から所望の制御項目を指示することができる。そして、所望の制御項目を指示した後、リモコン端末２００上の“選択”キーを操作することにより、当該制御項目に応じた機能をテレビに設定することができる。

なお、上記制御項目抽出の際にコントローラ１００にて参照されるデータベースは、当該テレビの機能に関するデータベースと、放送番組に関するデータベースから構成されている。このうち、放送番組に関するデータベースは、外部インタフェース４００を介して外部ネットワークからＥＰＧ（電子番組表）等を適宜取得することにより最新の状態に更新される。

図２に、コントローラ１００およびリモコン端末２００の機能ブロック図を示す。

図において、ポインティングデバイス２０１は、上記の如くジャイロスコープを含み、リモコン端末２００の変位に応じた情報（ポインティング情報）を操作情報送信部２０４に出力する。マイクロフォン２０２は、入力音声を音声情報に変換して操作端末送信部２０４に出力する。操作キー２０３は、ユーザによるキー操作に応じた情報（キー情報）を操作端末送信部２０４に出力する。操作情報送信部２０４は、ポインティングデバイス２０１、マイクロフォン２０２、操作キー２０３から受信した各情報を、どの手段によって入力されたかを示す識別情報とともに、電波信号として出力する。なお、電波信号に代えて赤外線信号を出力するようにしてもよい。

操作情報受信部１０１は、リモコン端末２００から送信された電波信号を受信して操作情報を取得し、取得した情報を、指示位置検出部１０２、キー情報処理部１０４、音声認識部１０７の何れかに出力する。すなわち、同時に受信した識別情報がポインティングデバイスを示すものであれば、受信信号からポインティング情報を取得し、これを指示位置検出部１０２に出力する。また、識別情報が操作キーを示すものであれば、受信信号からキー情報を取得し、これをキー情報処理部１０４に出力する。さらに、識別情報がマイクロフォンを示すものであれば、受信信号から音声情報を取得し、これを音声認識部１０７に出力する。

指示位置検出部１０２は、操作情報受信部１０１から受信したポインティング情報をもとに、画面上における現在の指示位置を検出し、検出結果を指示対象判定部１０３に出力する。すなわち、ポインティング情報に基づいて、指示位置が表示画面上の基準位置からどれだけどの方向に移動したかを算出し、さらに、この算出結果をもとに、現時点における指示位置の座標（表示画面上の座標）を算出して、これを指示対象判定部１０３に出力する。

指示対象判定部１０３は、指示位置検出部１０２から受信した指示位置情報をもとに、画面上に表示されている項目のうち現時点で指示されている項目を判定し、判定結果を操作処理部１０５に出力する。すなわち、出力情報生成部１１３から提供される、表示画面上に表示されている制御項目とその表示エリアとを対応付けた対照情報をもとに、指示位置検出部１０２からの指示座標がどの制御項目の表示エリアに含まれるかを判定し、指示座標を表示エリア内に含む制御項目を、判定結果として操作処理部１０５に出力する。

キー情報処理部１０４は、操作情報受信部１０１から受信したキー情報を解釈処理し、キー操作の内容を示す情報を操作処理部１０５に出力する。

操作処理部１０５は、指示対象判定部１０３またはキー情報処理部１０４から受信した情報に基づいて、以下の如く、制御コード発行部１０６または出力情報生成部１１３に指令情報を出力する。

すなわち、指示対象判定部１０３から受信した判定結果が、一定時間以上、同じ制御項目を指示している場合、この制御項目を画面上において拡大表示させる指令を出力情報生成部１１３に出力する。また、かかる拡大表示の後、さらに一定時間が経過したことに応じて、拡大表示を終了させる指令を出力情報生成部１１３に出力する。

また、操作処理部１０５は、キー情報処理部１０４から受信した情報が、“選択”キー以外のキー操作（音量のＵＰ／ＤＯＷＮ、チャンネル選択、等）に応じたものである場合には、キー定義に従った制御コードを出力させる指令を制御コード発行部１０６に出力する。さらに、キー情報処理部１０４から受信した情報が、“選択”キーである場合には、指示対象判定部１０３から受信した指示対象の制御項目を示す情報とともに、当該制御項目に対応する制御コードを出力させる指令を制御コード発行部１０６に出力する。

制御コード発行部１０６は、操作処理部１０５からの指令入力に応じて制御コードをテレビ３００に出力する。なお、かかる制御コードの発行処理については、追って、図５の処理フローを参照しながら詳細に説明する。

音声認識部１０７は、操作情報受信部１０１から受信した音声情報をもとに、マイク入力された音声の音声認識を行い、認識結果を検索式生成部１１０に出力する。すなわち、音声認識辞書選択部１０９によって選択された音声認識辞書をもとに、入力音声に対する音声認識処理を行い、入力音声の文字列から、キーワードを抽出して、そのテキストデータを検索式生成部１１０に出力する。

音声認識辞書１０８は、音声認識処理時に音声認識部１０７によって参照される認識辞書であって、テレビの機能ないし動作状態の設定において用いられると想定される用語ないし文字列に対応した音声認識辞書として構成されている。なお、かかる音声認識辞書１０８は、出力情報生成部１１３からの指示情報に応じて、音声認識部１０７が参照する辞書情報を、音声認識辞書選択部１０９によって適宜選択設定できるよう構成されている。たとえば、各辞書情報を制御項目に関連付けて格納しておくことにより、音声認識時に必要な制御項目に対応する辞書情報のみを適宜選択することができる。この他、各辞書情報の属性を種々設定することで、属性に応じた辞書情報を適宜選択することができる。

音声認識辞書選択部１０９は、出力情報生成部１１３からの指示情報に応じて、音声認識部１０７が参照する音声認識辞書を適宜選択設定する。たとえば、音声認識辞書１０８中の辞書情報のうち、テレビ画面上に表示されている制御項目に関連する辞書情報のみを選択し、これを、音声認識部１０７が参照する辞書情報として設定する。

検索式生成部１１０は、音声認識部１０７から入力されたキーワードをもとに検索式を生成し、これを検索部１１１に出力する。検索部１１１は、制御項目（コマンド）検索用ＤＢ１１２を参照し、音声認識部１０７から入力されたキーワードにマッチングする制御項目を抽出する。また、外部インタフェース４００を介してＥＰＧ等の番組情報を取得し、これをもとに、制御項目検索用ＤＢ１１２中の番組情報に関するデータベースを更新する。

なお、制御項目検索用ＤＢ１１２の構成およびこれを用いた制御項目の検索手法については、追って、図３、図４および図６を参照して詳述する。

出力情報生成部１１３は、検索部１１１によって抽出された制御項目をもとに、当該制御項目をテレビ画面上に表示する表示情報を生成し、これをテレビ３００に出力する。また、かかる制御項目をもとに、上記の如く、表示画面上に表示されている制御項目とその表示エリアとを対応付けた対照情報を生成し、これを指示対象判定部１０３に出力する。さらに、上記の如く、現在表示されている制御項目に関連する辞書情報のみを音声認識部１０７にて参照する辞書情報として選択設定する指令を音声認識辞書選択部１０９に出力する。

図３および図４に、制御項目検索用ＤＢ１１２のデータ構成を示す。

図３は、テレビ制御コマンドＤＢ（テレビの機能に関するデータベース）の構成を示すものである。図示の如く、テレビ制御コマンドＤＢは、制御項目のＩＤと、制御項目のタイトルと、制御項目に付されたキーワードと、制御項目に応じた機能をテレビに設定するための制御コードから構成されている。

なお、一つの制御項目に複数の制御コード（コード１、コード２、…）が設定されているのは、制御項目のディレクトリが階層的となっているためである。すなわち、図５に示す如く、当該制御項目（項目Ｃ３）が３階層目に存在する場合、現状のテレビでは、そのディレクトリ上に存在する１階層目、２階層目の制御項目（項目Ａ１、Ｂ１）に対応する制御コード（コード１、コード２）を順次テレビに送信して設定した後でなければ、当該制御項目である３階層目の制御項目（項目Ｃ３）をテレビに設定することができない。このため、図３に示すテレビ制御コマンドＤＢにおいては、当該ＩＤに対応する制御項目を設定する際に必要な制御コードが、階層順位が低いものから順に記述されている（コード１、コード２、…）。これにより、各コードを順次テレビに送信することにより、当該ＩＤの制御項目をテレビに設定することができる。

なお、ディレクトリを辿ることなく最終的な制御コードのみを送信することにより当該制御コードに応じた機能をテレビに設定できるようになれば、図３の如く制御コードを複数記述する必要はない。この場合、一つの制御項目に対し、当該制御項目の機能を設定するための制御コードのみを記述するようにすればよい。

図４は、テレビ番組検索用ＤＢの構成を示すものである。図示の如く、テレビ番組検索用ＤＢは、番組のＩＤ、タイトル、サブタイトル、放送日、開始時間、終了時間、出演者、関連情報、ジャンル、キーワードおよび制御コード（コード１、コード２、…）から構成されている。なお、一つの番組に複数の制御コード（コード１、コード２、…）が設定されている理由は、上記テレビ制御コマンドＤＢの場合と同様である。

次に、図６を参照して、本コントロールシステムの動作について説明する。

コントロールモードが起動されると、まず、出力情報生成部１１３により、テレビ画面上に初期画面が表示される（Ｓ１０１）。ここで、先に行われたコントロール操作をやり直すような場合には、１ステップ前の画面が初期画面として表示される。この場合、テレビ画面には、１ステップ前に表示された表示項目がそのまま表示される。

１ステップ前の表示項目が画面上に表示されている場合、出力情報生成部１１３は、当該表示項目に関連する辞書情報のみを選択設定する指令を音声認識辞書選択部１０９に出力する。これを受けて、音声認識辞書選択部１０９は、音声認識辞書１０８中の辞書情報のうち、当該表示項目に関連する辞書情報のみを、音声認識部１０７が参照する辞書情報として選択設定する（Ｓ１０２）。

しかる後、コントローラ１００は、リモコン端末２００から操作情報を受信したかを判別し（Ｓ１０３）、受信した場合には（Ｓ１０３：ｙｅｓ）、かかる操作情報が、ポインティングデバイス２０１、マイクロフォン２０２、操作キー２０３のうち何れによるものであるかを判別する（Ｓ１０４、Ｓ１０５）。そして、マイクロフォン２０２からの音声情報である場合には（Ｓ１０４：ｙｅｓ）、音声認識辞書選択部１０９によって選択設定された辞書情報をもとに、音声認識部１０７にて音声認識を行い、入力音声に含まれている用語（キーワード）を抽出する（Ｓ１０９）。抽出されたキーワードは検索式生成部１１０に出力される。

検索式生成部１１０は、受信したキーワードをもとに検索式を生成し、これを検索部１１１に出力する（Ｓ１１０）。検索部１１１は、かかる検索式をもとに、制御項目検索用ＤＢ１１２から、キーワードに整合する制御項目を検索する（Ｓ１１１）。検索された制御項目は出力情報生成部１１３に出力される。

出力情報生成部１１３は、受信した制御項目を含む表示画面を生成し、これをテレビ３００に送信して、テレビ画面上に表示させる（Ｓ１１２）。同時に、出力情報生成部１１３は、表示画面上に表示した制御項目とその表示エリアとを対応付けた対照情報を生成し、これを指示対象判定部１０３に出力する。

なお、制御項目の表示は、表示項目中に、図３、図４に示すデータベースのタイトル、サブタイトル等を文字として含めるようにして行われる。たとえば、表示項目が、テレビの機能に関する制御項目を表示するものであれば、図３に示すテレビ制御コマンドＤＢのタイトルが、表示項目中に文字として含められる。また、表示項目が、テレビ番組に関する制御項目を表示するものであれば、図４に示すテレビ番組検索用ＤＢのタイトル、サブタイトル等が、表示項目中に文字として含められる。

リモコン端末２００から受信した操作情報がポインティングデバイス２０１からのポインティング情報である場合（Ｓ１０４：ｎｏ、Ｓ１０５：ｎｏ）には、かかるポインティング情報をもとに、指示位置検出部１０２にて指示位置座標を算出し、算出結果を指示対象判定部１０３に出力する（Ｓ１０６）。

指示対象判定部１０３は、受信した指示位置座標と、出力情報生成部１１３から受信した対象情報をもとに、当該指示位置に表示項目（制御項目）が存在するかを判定する（Ｓ１０７）。そして、表示項目が存在する場合には（Ｓ１０７：ｙｅｓ）、出力情報生成部１１３にて、当該表示項目をハイライト表示し、さらに、一定時間以上、当該表示項目が指示されている場合には、当該表示項目を拡大表示する（Ｓ１０８）。なお、かかる拡大表示時には、図４に示す情報のうち、登場人物や関連情報等、通常表示時に表示項目中に含まれていない情報も、文字として表示項目中に含められ表示される。

リモコン端末２００から受信した操作情報が操作キー２０３からのキー情報である場合（Ｓ１０４：ｎｏ、Ｓ１０５：ｙｅｓ）には、かかるキー情報をキー情報処理部１０４にて解釈し、キー操作の内容を示す情報を操作処理部１０５に出力する（Ｓ１１３）。操作処理部１１４は、受信した情報が、“選択”キー以外のキー操作（音量のＵＰ／ＤＯＷＮ、チャンネル選択、等）に応じたものである場合（Ｓ１１４：ｎｏ）には、キー定義に従った制御コードを出力させる指令を制御コード発行部１０６に出力する（Ｓ１１５）。

他方、受信した情報が、“選択”キーである場合（Ｓ１１４：ｙｅｓ）には、指示対象判定部１０３から受信した指示対象の制御項目を示す情報とともに、当該制御項目に対応する制御コードを出力させる指令を制御コード発行部１０６に出力する。これを受けて、制御コード発行部１０６は、当該制御項目の制御コード（図３または図４の「コード１」、「コード２」、…）を取り出し、これを順次テレビ３００に出力する（Ｓ１１６）。

次に、上記Ｓ１０９〜Ｓ１１２における動作の詳細について図７を参照して説明する。

まず、Ｓ１０９においては、認識順位の高いものからＮ番目までの認識結果が抽出される。なお、図７では、Ｎ＝５に設定されている。次に、Ｓ１１０にて、ぞれぞれの認識結果中に含まれる用語（キーワード１１、キーワード１２、…、キーワード５２）と、図３および図４に示す各制御項目の用語とを比較して、これらキーワード１１、キーワード１２、…、キーワード５２に整合する制御項目を検索・抽出する検索式が生成される。そして、Ｓ１１１にて、制御項目検索用ＤＢ１１２を参照しながら、かかる検索式が実行される。

具体的には、以下のようにして検索処理が実行される。まず、各制御項目中に含まれる用語とキーワード１１、キーワード１２、…、キーワード５２とを比較し、キーワード１１、キーワード１２、…、キーワード５２のうち、各制御項目中に含まれる用語に整合（完全一致または部分一致）するキーワードの個数（マッチング数）をカウントする。

なお、制御項目が図３に示すテレビ制御コマンドＤＢのものである場合には、制御項目の“タイトル”および“キーワード”の何れかに整合するキーワード１１、キーワード１２、…、キーワード５２の個数をカウントする。一方、制御項目が図４に示すテレビ番組検索用ＤＢのものである場合には、制御項目の“タイトル”、“サブタイトル”、“登場人物”、“関連情報”、“ジャンル”および“キーワード”の何れかに整合するキーワード１１、キーワード１２、…、キーワード５２の個数をカウントする。

図７は、キーワード１１、キーワード１２、…、キーワード５２のうち、キーワード１１、キーワード２１、キーワード３１が比較対象の制御項目中の用語に整合した場合を示している（ハッチング）。この場合、当該制御項目のマッチング数は３である。

なお、マッチング数の計算に際しては、Ｎ番目までの認識結果それぞれに認識順位に応じた重み付けをしてマッチング数を算出するようにしてもよい。たとえば、最上位から順に、ａ１、ａ２、…、ａｎの重み付けを設定し、最上位の認識結果中のキーワードのマッチング数にはａ１を乗じ、以下、第２位、…、第ｎ位の認識結果中のキーワードのマッチング数にそれぞれａ２、…、ａｎを乗じ、その後、重み付けを乗じた後の全てのマッチング数を総計することで、当該制御項目のマッチング数とするようにする。なお、重み付けは、順位に応じて一律に設定する他、たとえば、各認識結果の認識スコア（音声認識の確からしさを表す値）に応じた重み付けを設定するようにしても良い。

このようにして、全ての制御項目に対しマッチング数が取得されると、次に、Ｓ１１２にて、各項目のマッチング数を大小比較し、マッチング数の大きいものから順に並ぶようにして、表示画面を構成する。かかる表示画面がテレビ画面上に表示されて、選択対象となり得る制御項目が、ユーザに提示される。

なお、マッチング数が所定の閾値より小さい制御項目は、表示対象から除外するようにしても良い。また、抽出された制御項目がテレビ番組に関するものである場合には、当該制御項目中の日付、開始時間、終了時間を参照し、当該番組が現時点において放送されていない場合には、当該制御項目を表示対象から除外するようにしても良い。

図８に、本リモートコントロールシステムにおける動作の具体例を示す。

ユーザが、リモコン端末２００のマイクロフォン２０２に向かって、「ＢＳデジタルでスポーツ」と音声入力すると（図８：上段左）、上記の如く、かかる音声入力を音声認識した結果と制御項目検索用ＤＢ１１２中の各制御項目の用語が比較され、選択対象の制御項目がテレビ画面上に表示される（図８：上段右）。

かかる表示を受けて、ユーザが、リモコン端末２００をポインティングデバイスとして操作すると、表示画面上に表示されている表示項目（制御項目）のうち、ポインティングデバイスによって指示された表示項目が順次ハイライト表示される（図８：下段右）。ここで、同一の表示項目が所定時間以上指示されると、当該表示項目が拡大表示され、関連情報や登場人物等、当該表示項目に関する更なる詳細情報がユーザに提示される。

しかる後、所望の表示項目（制御項目）を指示している状態で、ユーザが、リモコン端末２００の“選択キー”を操作すると（図８：下段左）、当該制御項目の制御コード（コード１、コード２、…）が取得され、順次、テレビ３００に送信される。これにより、テレビ３００に、当該制御項目に応じた機能が設定される。なお、図８では、ＮＨＫ衛星第１にて放送されている番組「大リーグ」のチャンネルがテレビに設定される。

以上のように、本実施の形態におけるリモートコントロールシステムによれば、音声入力によって選択候補を粗く絞り込み、その後、ポインティングデバイスで所望の項目を指示しながら“選択”キーを操作することで、所望の制御機能をテレビに設定することができる。よって、デジタルテレビのように操作機能が多彩で、且つ、番組数が膨大である場合にも、所望の機能ないし番組を、簡易かつ円滑に、テレビに設定することができ、リモートコントロールシステムの利便性を向上させることができる。

なお、上記実施形態では、コントローラ１００の構成を機能ブロックとして示したが、コントローラ１００は、セットトップボックス等のように、かかる機能を実行するための専用機器として構成することができる他、かかる機能を実行するためのプログラムおよびデータベースをパーソナルコンピュータ等の汎用コンピュータにインストールすることによって構成することもできる。なお、かかるプログラムおよびデータベースは、ＣＤ−ＲＯＭ等のメモリ媒体に格納して取引される形態の他、インターネット等を介したデータ通信によって取引される形態をとることもできる。

また、コントローラ１００を汎用コンピュータにて構成する場合には、たとえば図９に示す如く、ＬＡＮ接続された２つのＰＣ（Personal Computer）６０１、６０２に上記コントローラ１００の機能を分割するようにしても良い。なお、図９の場合は、図２の機能ブロックのうち、検索部１１１と制御項目検索用ＤＢ１１２の機能をＰＣ６０２が負担し、その他の機能をＰＣ６０１が負担している。すなわち、ＰＣ６０１は、音声認識処理の結果から検索式を生成し、これをＰＣ６０２に送信する。これを受けて、ＰＣ６０２は、検索式に応じた検索を実行し、検索結果をＰＣ６０１に送信する。なお、ＰＣに上記コントローラ１００の機能を実装する場合には、同図に示す如く、リモコン端末２００からの信号を受信するためのリモコン受信機５００を別途準備する必要がある。

なお、上記では、制御対象機器をテレビ３００としたが、これ以外の機器を制御対象とすることも勿論可能である。さらに発展させて、ホームネットワーク等、ＬＡＮ接続された複数の機器を統括的に制御するよう、コントロールシステムを構成することもできる。

図１０は、ホームネットワークに接続された複数の機器を統括的に制御する際のシステム構成例を示すものである。この場合、図２に示す機能ブロック中、音声認識辞書１０８と制御項目検索用ＤＢ１１２を複数機器に対応するものに変更する必要がある。すなわち、音声認識辞書１０８と制御項目検索用ＤＢ１１２には、ホームネットワークに接続される機器毎に、音声認識辞書と制御項目データベース（図３、図４に対応するもの）を構築しておく必要がある。

この場合、リモコン端末２００に対し音声入力がなされると、各機器用の音声認識辞書がマージされた認識辞書が設定される。そして、設定された認識辞書をもとに、音声認識部１０７にて音声認識処理が実行される。さらに、認識結果をもとに、検索式生成部１１０にて検索式が生成され、かかる検索式が検索部１１１にて実行される。このとき、検索部１１１は、検索式に含まれている認識結果（上記図７に示すキーワード１１、キーワード１２、…）と、制御項目検索用ＤＢ１１２に構築されている各機器用の制御項目データベースとを比較し、上記の如く、マッチング数をカウントする。そして、出力情報生成部１１３にて、マッチング数が大きいものから順に、制御項目をテレビ画面上に表示させる。

この他、ポインティングデバイス２０１または操作キー２０３による操作がなされたときの動作は、ほぼ上記と同様である。すなわち、ポインティングデバイス２０１にて指示された制御項目がハイライト表示ないし拡大表示される。さらに、所定の制御項目が指示された状態で操作キー２０３の“選択”キーが操作されると、当該制御項目の制御コード（コード１、コード２、…）が取得され、対応機器に送信される。

なお、制御対象機器の特定は、テレビ画面上に表示される表示項目（制御項目）に、対象機器を識別するための情報（和室エアコン、リビングエアコン、等）を併せて表示することによって可能となる。

かかる表示は、たとえば、図２に示す機能ブロックを以下のように変更することにより実現できる。

すなわち、ホームネットワーク上の機器を管理するための機器データベースを別途準備し、当該データベースに登録されている各機器と、制御項目検索用ＤＢ１１２上の各機器用の制御項目ＤＢとを関連付けておく。具体的には、制御項目検索用ＤＢ１１２上に、“機種毎”に制御項目ＤＢを準備し、それぞれの制御項目ＤＢに機種情報（製品コード、等）を併せて付与しておく。これにより、機器データベース上の機器と制御項目ＤＢは、機種情報（製品コード、等）によって関連づけられる。

なお、機器データベースには、登録機器の機種情報（制御コード、等）が機器毎に格納されている。また、機器の識別情報（機器ＩＤ／機器種別／設置場所／等）も併せて格納されている。

検索部１１１にて検索式を実行し、制御項目を抽出すると、次に、検索部１１１は、制御項目検索用ＤＢ１１２から、当該制御項目を含む制御項目ＤＢの機種情報を取得する。そして、当該機種情報に対応する機器を、機器データベースを参照して特定し（同一機種の機器がホームネットワーク上に複数接続されている場合はそれぞれ特定）、さらに、特定した機器の識別情報（機器ＩＤ／機器種別＝エアコン／設置場所＝和室／等）を機器データベースから取得する。

このようにして取得した機器の識別情報を、当該抽出した制御項目とともに出力情報生成部１１３に送信する。このとき、一つの制御項目に対し複数の機器の識別情報が取得された場合には、機器毎に、識別情報と制御項目の組を個別に構成して出力情報生成部１１３に出力する。

これを受けて、出力情報生成部１１３は、当該制御項目のタイトル等の他、当該機器の識別情報に含まれている機器種別、設置場所等の情報を表示項目中に含めて表示情報を生成する。これにより、テレビ画面上に表示される表示項目（制御項目）に、対象機器を識別するための情報（和室エアコン、リビングエアコン、等）が併せて表示される。同時に、出力情報生成部１１３は、表示画面上に表示した制御項目と、その表示エリア、さらに、当該制御項目に組み合わされた識別情報の機器ＩＤを対応付けた対照情報を指示対象判定部１０３に送信する。

テレビ画面上に表示されている表示項目のうち一つがユーザにより選択されると、当該表示項目の制御項目と機器ＩＤが、指示対象判定部１０３から操作処理部１０５を介して制御コード発行部１０６に出力される。これを受けて、制御コード発行部１０６は、当該制御項目の制御コード（コード１、コード２、…）を取得し、さらに、機器ＩＤと機器データベースを比較して当該制御コードの送信先機器を特定する。そして、取得した制御コードを、特定した送信先機器に向けて送信する。これにより、当該機器にユーザ所望の機能が設定される。

なお、検索部１１１による検索時には、各機器の現時点の動作状態から制御項目の適否を判別し、制御項目として不適正なものを選択候補から除外するようにしても良い。すなわち、検索部１１１は、音声認識結果から制御項目を抽出すると、各制御項目に対応する機器を、上記の如く、機器情報（製品コード、等）をもとに特定する。そして、特定した機器の現時点における動作状態を検出し、当該制御項目による制御内容が、現時点の動作状態から適正なものであるかを判別する。適正であれば、当該制御項目を選択候補に含め、適正でなければ、当該制御項目を選択候補から除外する。

この場合、現時点の動作状態をもとに制御項目の適否を判定する処理が検索部１１１に必要となる。かかる処理は、たとえば、各制御項目と、対応機器の動作状態とを対応付けたテーブルを別途準備し、かかるテーブルを参照することにより実現できる。

ところで、上記のようにネットワーク上の各機器を統合的にコントロールする場合には、機器毎に音声認識辞書と制御項目ＤＢを準備しなければならないこととなる。しかしながら、音声認識部や音声認識辞書、検索部、検索用ＤＢを一体化してコントローラ内に持つ構成の場合には、予め、ネットワーク上に接続され得る機器を想定した上で音声認識辞書や制御項目ＤＢを構成しなければならず、このため、音声認識辞書や制御項目ＤＢのサイズがかなり大きくなってコスト高となってしまう。また、新たな機器が市場に投入された場合に、音声認識辞書や制御項目ＤＢの修正が難しく機器の追加が困難になるとの問題が生じる。

この問題は、音声認識部や音声認識辞書、検索部、検索用ＤＢの機能を、インターネット等に接続された外部サーバに負担させることにより解決できる。

図１１は、かかる場合のシステム構成例を示すものである。この構成例では、リモコン端末２００から音声入力があった場合に、音声情報と、ホームネットワーク上に接続された機器と識別するための機器情報が、コントローラ１００から外部サーバに送信される。外部サーバは、かかる送信を受けて、音声情報を音声認識処理し、これに関連する制御項目を検索する。そして、その検索結果をコントローラ１００に送信する。

図１２は、かかる場合における外部サーバの構成を示す図である。図において、通信処理部７０１は、インターネットに対する通信処理を行う。機器管理部７０２は、ユーザによって登録される機器を管理する。ユーザ機器ＤＢ７０３は、登録機器の機器情報（機器ＩＤ／機種情報／等）を格納するデータベースである。

データベース統合処理部７０４は、機器管理部７０２から入力される機種情報をもとに、音声認識辞書ＤＢ７０５に格納されている辞書情報をマージする。音声認識辞書ＤＢ７０５は、機種毎に音声認識辞書を格納するデータベースである。音声認識処理部７０６は、データベース統合処理部７０４によってマージされた認識辞書をもとに、通信処理部７０１から入力された音声情報を音声認識処理する。検索式生成処理部７０７は、音声認識処理部７０６から入力された認識結果（キーワード）をもとに検索式を生成する。

データベース選択処理部７０８は、機器管理部７０２から入力される機種情報をもとに、制御項目検索用ＤＢ７０９に格納されている制御項目データベースを選択する。制御項目検索用ＤＢ７０９は、機種毎に制御項目データベースを格納するデータベースである。

検索処理部７０８は、検索式生成処理部７０７から入力された検索式をもとに検索処理を実行する。すなわち、データベース選択処理部７０８にて選択された制御項目データベース中の各制御項目と、検索式中に含まれているキーワードとを比較してマッチング数をカウントし、マッチング数の大きいものから順に、制御項目を選択対象項目として抽出する。なお、検索処理の詳細は、上記図７を参照して説明した処理と同様である。さらに、検索処理部７１０は、抽出した制御項目の制御内容と、機器管理部７０２から入力される機器の状態情報とを比較し、機器状態にそぐわない制御項目を選択対象項目から除外する。そして、最終的に残った制御項目を、候補項目生成部７１１に出力する。

候補項目生成部７１１は、入力された制御項目に対応する機器ＩＤを機器管理部７０２から取得し、これを制御項目に組み合わせて、候補項目群を生成する。送信情報生成部７１２は、候補項目群を対応ユーザのコントローラに向けて送信するための送信情報を生成し、これを通信処理部７０１に出力する。

図１３に、本システムの処理フローを示す。

ユーザのホームネットワーク上に新規機器が接続されると、コントローラ１００は、当該機器の機種情報（制御コード、等）、機器の識別情報（機器ＩＤ／機器種別／設置場所／等）を機器データベースに登録し、その後、当該機器の機種情報と機器ＩＤを外部サーバに送信する（Ｓ１０）。外部サーバは、受信した情報を検証し、適正ユーザからのものであれば、これをユーザ機器ＤＢ７０３に登録する（Ｓ１１）。

また、コントローラ１００は、ホームネットワーク上の機器から状態情報を受信すると、これを機器データベースに格納するとともに、受信した状態情報と当該機器の機器ＩＤを外部サーバに送信する（Ｓ２０）。外部サーバは、受信した情報を検証し、適正ユーザからの適正機器に対するものであれば、これをユーザ機器ＤＢ７０３に登録する（Ｓ２１）。

また、リモコン端末２００に対し音声入力があると、リモコン端末２００は、当該音声入力に関する音声情報をコントローラ１００に送信する（Ｓ３０）。これを受けてコントローラ１００は、当該音声情報を含む検索依頼情報を生成し、これを外部サーバに送信する（Ｓ３１）。

これを受けて、外部サーバは、まず、機器管理部７０２にて、当該ユーザのものとして登録されている機器群の機種情報をユーザ機器ＤＢ７０３から取得する。次に、データベース統合部７０４にて、取得した機種情報に対応する音声認識辞書を音声認識辞書ＤＢから抽出し、これをマージして、音声認識用辞書を生成する（Ｓ３２）。さらに、生成した音声認識辞書をもとに、コントローラ１００から受信した音声情報を音声認識し、認識結果（キーワード）を取得する（Ｓ３３）。そして、取得した認識結果をもとに、検索式生成処理部７０７にて検索文を生成し、これを検索処理部７１０に出力する。

次いで、外部サーバは、機器管理部７０２にて取得された機器群の機種情報をもとに、データベース選択処理部７１０にて、当該機種情報に対応する制御項目データベース群を、検索参照用として選択設定する（Ｓ３４）。さらに、選択設定した制御項目データベース群をもとに、検索処理部７１０にて、検索式生成処理部７０７からの検索式を実行し、候補項目群を抽出する（Ｓ３５）。そして、抽出した制御項目に対応する機器ＩＤを機器管理部７０２から取得し、これを制御項目に組み合わせて、候補項目群を生成する。さらに、生成した候補項目群をもとに、送信情報生成部７１２にて、候補項目群を対応ユーザのコントローラに向けて送信するための送信情報を生成し、通信処理部７０１を介して、コントローラ１００に送信する（Ｓ３６）。

コントローラ１００は、受信した候補項目群から制御項目と機器ＩＤを取得し、このうち、機器ＩＤをもとに、機器データベースから、対応機器の機器種別と設置場所を取得する。そして、制御項目と対応機器の機器種別および設置場所を同時に表示する表示項目をテレビ画面上に表示させる（Ｓ３７）。

しかる後、リモコン端末２００がポインティングデバイスとして操作されると（Ｓ４０）、コントローラ１００は、指示対象の表示項目がハイライト表示または拡大表示する（Ｓ４１）。そして、リモコン端末２００の“選択”キーが操作されると（Ｓ５０）、上述した如くして、まず、指示対象の表示項目に対応する機器を特定し（Ｓ５１）、次いで、当該制御項目の制御コードを取得して、これを、Ｓ５１にて特定した機器に向かって送信する（Ｓ５２）。これにより、当該機器にユーザ所望の制御機能が設定される。

このように、本実施の形態によれば、音声認識処理ないし選択項目の絞込み処理を外部サーバに負担させることにより、コントローラの構成の簡素化とコストの低減を図ることができる。また、新規機種が市場に投入された場合には、外部サーバのデータベースに当該機種の認識辞書および制御項目データベースを追加すればよく、もって、新規機種をホームネットワークに新たに追加した場合にも、円滑に、コントロール動作を実行することができる。

さらに、本実施の形態によれば、外部サーバを用いた新たなビジネスを構築することができ、また、操作権限を外部サーバに登録することにより、あるユーザが、他のユーザ宅の機器を制御することができるようにもなる。このように本実施の形態によれば、円滑なコントロール動作の他、ビジネスシーンないしサービス形態の拡張を図ることができる。

（実施形態２）
上記実施形態では、音声入力がなされたとき、音声認識結果に応じた制御項目群が選択候補として表示され、その中からユーザ所望の制御項目が選択指示されたとき、その制御項目に応じた制御コードがテレビ３００に対して発行された。これに対し、本実施の形態では、音声入力がなされたとき、まず、音声認識結果とその類義語群が選択項目として表示画面上に表示される。その後、その中からユーザ所望の項目が選択されると、その項目に応じた制御項目群が選択候補として表示される。そして、この制御項目群の中からユーザ所望の制御項目が選択指示されたときに、その制御項目に応じた制御コードがテレビ３００に対して発行される。

図１４は、音声入力がなされたときの表示画面を説明する図である。

図示の如く、音声入力がなされると、表示画面上（メイン領域）に、認識結果とその類義語が選択項目として表示される。同図の例では、認識結果第１位（スポーツ）の類義語が類義語エリアに表示されている。類義語エリアには、認識結果の類義語として、当該認識結果に対応する項目語、正規化表現、上位語および下位語（詳細は追って説明）が表示される。

この状態において、第２位以下の認識結果が選択指示されると、指示された他の認識結果の類義語が類義語エリアに表示される。なお、所定順位までの認識結果に対応する類義語の数が少なく、これらを全て同時に類義語エリアに表示できる場合には、当該順位までの類義語を類義語エリアに同時に表示するようにしても良い。

また、この状態から、類義語エリアに表示された類義語群の何れかが選択指示されると、その類義語に応じた制御項目が検索され、選択候補として表示される。このとき、検索式は、選択された類義語のみならず、その正規化表現も含めて生成される。このため、上記実施の形態に比べ、やや広範な制御項目群が選択候補としてユーザに提示される。

この他にも、本実施の形態では、さらに操作性を向上するための機能が付加されている。これらについては、以下の説明において、その都度説明を行う。

図１５に、本実施の形態に係るコントローラ１００およびリモコン端末２００の機能ブロック図を示す。

本実施の形態に係るコントローラ１００は、上記実施の形態に比べ、指示対象情報判定部１０３、操作処理部１０５、検索式生成部１１０、出力情報生成部１１３の機能が相違している。また、類義語拡張部１２０、表示データ蓄積部１２１、類義語ＤＢ（データベース）１２２およびテキスト出力部１２３が新たに追加されている。

指示対象判定部１０３は、指示位置検出部１０２から受信した指示位置情報をもとに、画面上の項目のうち指示対象となっている項目を判定する。そして、指示対象の項目が図１４に示す類義語エリア内の項目または認識エリア内の項目であれば、判定結果をテキスト出力部１２３に出力し、指示対象の項目がそれ以外の項目であれば操作処理部１０５に出力する。

操作処理部１０５は、上記実施の形態と同様、一定時間以上継続して、同じ指示対象が指示されているとき、指示対象項目を強調するための表示（ハイライト、拡大表示、等）を出力情報生成部１１３に行わせる。また、制御項目群が表示されている状態において、キー情報処理部１０４から選択キーの押下を示す情報を受信したとき、指示された制御項目に応じた制御コードを制御コード発行部１０６に出力させる。このとき同時に、操作処理部１０５は、発行された制御コードに応じた補助操作画面を出力情報生成部１１３に出力させる。たとえば、音声切り替えを行うための制御コードが発行された場合には、主音声／副音声／主音声＋副音声を選択するための選択ボタンを出力情報生成部１１３に出力させる。補助操作画面に関する処理は、追って詳述する。

さらに操作処理部１０５は、キー情報処理部１０４から受信した情報をもとに表示項目のさらなる絞り込みが可能であるかを判別し、絞り込みが可能である場合には、絞込みの実行を検索式生成部１１０またはテキスト出力部１２３に指示する。操作処理部１０５は、表示項目の絞込みに用い得るキー操作項目とその適用カテゴリーをテーブルとして保持しており、入力されたキー操作情報がテーブル上のキー操作項目に一致し、且つ、そのキー項目の適用カテゴリーが現在表示中のキー項目群に対応する場合に、表示項目の絞り込みが可能であると判別する。

画面上に認識結果と類義語項目が表示されている状態（図１４）において、キー情報処理部１０４から絞込みに用い得るキー操作項目を受信した場合、操作処理部１０５は、テキスト出力部１２３に対し、表示対象の類義語項目をさらに絞り込む旨の指示を行う。また、画面上に制御項目が表示されている状態において、キー情報処理部１０４から絞込みに用い得るキー操作項目を受信した場合には、操作処理部１０５は、検索式生成部１１０に対し、表示対象の制御項目をさらに絞り込むための検索式の生成出力を指示する。なお、絞込みが可能である場合の処理については、追って詳述する。

検索式生成部１１０は、テキスト出力部１２３から受信した情報（項目語、正規化表現）および操作処理部１０５から受信したキー操作項目をもとに検索式を生成し、これを検索部１１１に出力する。検索式生成部１１０の処理の詳細については、追って詳述する。

出力情報生成部１１３は、上記実施の形態における機能に加え、テキスト出力部１２３から受信した音声認識結果およびその類義語から出力画面のレイアウト情報（図１４）を生成しテレビ３００に出力する。また、このレイアウト中に含まれる項目とその表示エリアとを対応付けた対照情報を生成し、これを指示対象判定部１０３に出力する。

類義語拡張部１２０は、音声認識部１０７から受信した上位Ｎ個の音声認識結果（Ｎベスト）をもとに、各認識結果に対する類義語（項目語、正規化表現、上位語、下位語）を類義語ＤＢ１２２から抽出し、表示データ蓄積部１２１に出力する。表示データ蓄積部１２１は、類義語拡張部１２０から入力されたＮベストに対する類義語を格納するとともに、これらをテキスト出力部１２３に出力する。

類義語ＤＢ１２２は、図１６に示す構成にて類義語情報を格納している。図１６に示すように、類義語情報は、項目語と、正規化語と、上位語と、下位語からなっている。

項目語は、音声認識結果に対する類義語を検索する際に音声認識結果と比較される見出し語である。正規化表現は、項目語を概念的に包括する表現にて表したものである。上位語は、項目語を上位のカテゴリーにて表現したものである。下位語は、項目語によって規定されるカテゴリーに含まれる下位の意味語である。

なお、類義語ＤＢ１２２は、正規化表現、上位語、下位語となっている全ての用語を、項目語としても格納している。すなわち、図１６の例では、項目語“スポーツ”の下位語である“ゴルフ”、“サッカー”、“モータスポーツ”、“野球”、“テニス”、…は、それぞれ項目語としても類義語ＤＢ１２２に格納されており、これらの項目語に対応付けて、その正規化表現、上位語、下位語（もしあれば）が格納されている。

上述の類義語拡張部１２０は、音声認識部１０７から受信した上位Ｎ個の音声認識結果（Ｎベスト）と類義語ＤＢ１２２内の項目語とを比較し、完全一致する項目語とその正規化表現、上位語および下位語を音声認識結果毎に抽出する。そして、これら類義語情報と音声認識結果を表示データ蓄積部１２１に出力する。表示データ蓄積部１２１は、類義語拡張部１２０から受信した類義語情報と音声認識結果を格納するとともに、これらをテキスト出力部１２３に出力する。

テキスト出力部１２３は、表示データ蓄積部１２３からＮベストの類義語情報（項目語、正規化語、上位語、下位語）を受信したとき、これを出力情報生成部１１３に出力し、併せて、これらをもとに図１４に示す表示画面を生成するよう出力情報生成部１１３に指示する。

また、テキスト出力部１２３は、表示画面上において指示された項目が類義語ＤＢ１２２内の項目語であると指示対象情報判定部１０３にて判定されたとき、当該項目語とその正規化表現を含む検索式を生成出力するよう、検索式生成部１１０に指示する。

また、テキスト出力部１２３は、表示画面上において指示された項目が図１４の認識結果エリアに表示された項目であると指示対象情報判定部１０３にて判定されたとき、指示された音声認識結果に対応する類義語とＮベストを、それぞれ類義語エリアと認識結果エリアに表示するよう、出力情報生成部１１３に指示する。

さらに、テキスト出力部１２３は、表示画面上に認識結果と類義語が表示されている状態（図１４）において、操作処理部１０５から、上述の如く、キー操作項目による表示項目の絞込みを行う指示を受けたとき、このキー操作項目をもとに、表示データ蓄積部１２１内の類義語情報（項目語、正規化語、上位語、下位語）の絞込みを行う。そして、絞り込んだ後の類義語情報を出力情報生成部１１３に出力し、絞込み後の類義語を含む表示画面を表示するよう、出力情報生成部１１３に指示する。

なお、かかる絞込みは、たとえば、キー操作項目をキーワードとして、表示データ蓄積部１２１内の類義語情報（項目語、正規化語、上位語、下位語）に対しテキスト検索を掛けることにより行うことができる。すなわち、表示データ蓄積部１２１内に格納された類義語のうち、キー操作項目をテキストとして含む類義語を抽出する。この他、類義語ＤＢ１２２に、類義語とともに各用語の属性情報を格納しておき、キー操作項目に対応する属性情報を有する類義語を抽出することにより絞り込みを掛けるようにすることもできる。

次に、図１７ないし図２２を参照して、本コントロールシステムの動作について説明する。なお、上記実施の形態における図６の処理ステップと同一部分には同一符号を付してある。

コントロールモードが起動されると、まず、出力情報生成部１１３により、テレビ画面上に初期画面が表示される（Ｓ１０１）。このとき、本実施の形態では、図１４のサブ領域に、数回前までの操作履歴が表示される。以下、Ｓ１０２〜Ｓ１０８の処理ステップが上記実施の形態と同様にして行われる。ただし、本実施の形態では、図６のＳ１０４がＳ２０１に置き換えられている。

本実施の形態では、リモコン端末２００にマイクスイッチが配されている。マイクスイッチが押下されている間、または、その後一定期間、マイクロフォン２０２から音情報が送信される。Ｓ２０１では、かかるマイクスイッチがユーザによって押下されたかが判別される。

マイクスイッチがキー操作部２０３に配されている場合、マイクスイッチの押下を示すキー情報がリモコン端末からコントローラ１００に送信される。この場合、Ｓ２０１の判別は、操作処理部１０５によって行われる。

マイクスイッチが、マイクロフォン２０２の起動スイッチになっている場合、マイクスイッチの押下に応じて、音情報が操作情報送信部２０４から操作情報受信部１０１に送信される。この場合、図１５の構成に、音情報の受信を判別する機能部が追加される。Ｓ２０１の判別は、この機能部によって行われる。

Ｓ２０１にて、マイクスイッチの押下が検出されると、Ｓ２０２にて、テレビ３００の出力音量が調整される。すなわち、テレビ３００の出力音量が閾値レベルを越えている場合には、出力音量を閾値レベル以下に減じる制御コードがテレビに出力される。これにより、テレビ３００からの音声がマイクロフォン２０２にノイズとして入力されるのが抑制される。その結果、ユーザからの入力音声を円滑に認識処理できるようになる。

このようにしてテレビ３００の出力音量が調整された後、処理フローは、音声認識ルーチンへ（図１８）と移行する。また、操作キー２０３に対しキー入力がなされた場合には、キー情報処理ルーチン（図２０）へと移行する。ポインティングデバイス２０１が操作された場合には、Ｓ１０６以降の処理が行われる。Ｓ１０６以降の処理は、上記実施の形態における図６の処理と同様である。

図１８に、音声認識ルーチンを示す。

図１７のＳ２０２からこのルーチンへ移行すると、音声認識処理が開始され（Ｓ２４０）、“音入力可能”のメッセージがテレビ３００の画面上に表示される（Ｓ２４１）。なお、上記Ｓ２０１（図１７）の判別が操作処理部１０５にて行われる場合、この表示は、操作処理部１０５から出力情報生成部１１３に対する指示に応じて行われる。

その後、音声認識部１０７にて音声認識結果が得られると、類義語拡張部１２０において類義語拡張処理が行われる（Ｓ２４３）。すなわち、上位Ｎ個の音声認識結果（Ｎベスト）と類義語ＤＢ１２２内の項目語が比較され、完全一致する項目語とその正規化表現、上位語および下位語が音声認識結果毎に抽出される。そして、抽出された類義語情報は表示データ蓄積部１２１に出力される。

図１９に、Ｓ２４３における処理フローを示す。

処理が開始されると、変数Ｍに１がセットされ（Ｓ２５０）、Ｎ個の音声認識結果の中から認識順位が第Ｍ位の語Ｗ（Ｍ）が抽出される（Ｓ２５１）。次に、Ｗ（Ｍ）と完全一致する項目語が類義語ＤＢ１２２中の類義語情報群から検索され（Ｓ２５２）、完全一致する項目語があれば（Ｓ２５２：ｙｅｓ）、その項目語に対応する正規化表現、上位語、下位語が類義語ＤＢ１２２から全て抽出される（Ｓ２５３）。そして、抽出された項目語とその正規化表現が同一であるかが判別され（Ｓ２５４）、同一であれば、その項目語と上位語、下位語が表示データ蓄積部１２１に出力される（Ｓ２５５）。他方、同一でなければ（Ｓ２５４：ｎｏ）、その項目語と、正規化表現、上位語、下位語が表示データ蓄積部１２１に出力される（Ｓ２５５）。

Ｓ２５２において、Ｗ（Ｍ）と完全一致する項目語が類義語ＤＢ１２２中にないと判別されれば、Ｗ（Ｍ）と、空の類義語情報が表示データ蓄積部１２１に出力される（Ｓ２５７）。

このようにしてＷ（Ｍ）に対する処理が終了すると、変数Ｍに１が加算された後、Ｓ２５１に戻り、次の認識順位の認識結果に対する処理が同様にして行われる。かかる処理は、認識順位が第Ｎ位の認識結果まで繰り返し行われる（Ｓ２５９）。これにより、Ｎベストに対する類義語情報が表示データ蓄積部１２１に出力される。

図１８に戻り、このようにしてＳ２４３における類義語拡張処理が行われると、次に、表示画面上に表示されていた“音入力可能”のメッセージが消去され、さらに、テレビ３００の出力音量が、Ｓ２０２（図１７）にて調整される前の状態に戻される（Ｓ２４７）。そして、表示データ蓄積部１２１から受信した類義語情報と音声認識結果がテキスト出力部１２３から出力情報生成部１１３に出力され、図１４に示すような画面を表示するための情報が出力情報生成部１１３からテレビ３００に出力される。これにより、テレビ３００の表示画面が、図１４に示すような画面に更新される（Ｓ２４８）。

Ｓ２４２にて、音声認識結果が得られなければ、Ｓ２４４にて、マイクスイッチの押下が解除され、且つ、解除後一定期間が経過したかが判別される。ここで、“ｎｏ”ならば、引き続き音声認識結果の受信が待機される（Ｓ２４２）。“ｙｅｓ”であれば、音声認識処理が中止され（Ｓ２４５）、表示画面上に表示されていた“音入力可能”のメッセージが消去され、さらに、テレビ３００の出力音量が、Ｓ２０２（図１７）にて調整される前の状態に戻される（Ｓ２４７）。そして、表示画面が、初期画面表示後の状態に戻される（Ｓ２４８）。

なお、ここでは、マイクスイッチの押下解除後一定期間が経過するまで音声認識処理を行うようにした（Ｓ２４２）が、マイクスイッチが押されている間だけ音声認識処理を行うようにしても良い。

また、音声認識結果が得られなかった場合には、Ｓ２４８にて、“音声認識結果が得られませんでした。”との表示を行ってから、初期画面表示後の状態に戻すようにしても良い。

なお、音声認識結果は得られたが、音声認識に対するスコアが低いため、音声認識結果が棄却（リジェクト）される場合は、Ｓ２４２において音声認識結果が得られたと判別されない。この場合には、直ちに、“音声認識結果が得られませんでした。”との表示を行い、ユーザに、再度の音声入力を促すようにするのが好ましい。これにより、音声入力を行ったにも拘わらず何も起こらないとの事態を回避することができ、利便性の向上を図ることができる。

図２０に、キー情報処理ルーチンを示す。

図１７のＳ１０５からこのルーチンへ移行すると、キー情報処理部１０４にてキー情報処理が行われ（Ｓ１１３）、さらに、操作処理部１０５にて、上記の如く、このキー情報によって表示項目の絞込みが行えるかが判別される（Ｓ２１０）。ここで、表示項目の絞り込みが行えると判断されると、このキー情報によって先行処理が可能である場合には先行処理が実行され（Ｓ２１１）、Ｓ２１２以降の絞込み処理が行われる。

なお、先行処理とは、たとえば、入力されたキー情報がＢＳ放送を指示するものである場合に、テレビ３００の受信系をＢＳ放送の受信モードに切り替える等の処理である。これにより、その後の選択処理にてＢＳ放送のテレビプログラムが選択された際に、そのプログラムの出力を迅速に行うことができる。

このようにして先行処理が行われると、次に、現在の表示画面が、認識結果と類義語項目群を表示するもの（図１４）になっているかが判別され（Ｓ２１２）、これを表示中であれば（Ｓ２１２:ｙｅｓ）、テキスト出力部１２３にて、上記の如く、キー情報を用いた表示項目の絞込みが行われる（Ｓ２１７）。そして、絞り込んだ後の認識結果と類義語情報がテキスト出力部１２３から出力情報生成部１１３に出力され、表示画面上の表示項目が、入力されたキー情報に関連するものに絞り込まれる（Ｓ２１６）。

一方、Ｓ２１２にて、現在の表示画面が、認識結果と類義語項目群を表示するもの（図１４）になっていない、すなわち、制御項目群を表示するものになっていれば（Ｓ２１２：ｎｏ）、検索式生成部１１０に対する検索条件としてキー情報による絞り込み条件（キー操作項目）が登録され（Ｓ２１３）、これを用いた検索式が検索式生成部１１０にて生成される（Ｓ２１４）。そして、この検索式をもとに、検索部１１１にて検索が実行され（Ｓ２１５）、表示画面上に表示されていた制御項目が、キー情報に関連するものに絞り込まれる（Ｓ２１６）。

Ｓ１１４にて、選択キーが押下されたと判別されると、選択された表示項目が類義語エリア内に含まれるものであるかが判別される（Ｓ２１７）。

現在の表示画面が、認識結果と類義語項目群を表示するもの（図１４）であって、そのうち、指示対象の表示項目が類義語エリア内にある項目であれば、Ｓ２１７における判別は“ｙｅｓ”となる。現在の表示画面が、認識結果と類義語項目群を表示するもの（図１４）であっても、指示対象の表示項目が認識結果エリア内にある項目であれば、Ｓ２１７における判別は“ｎｏ”となり、また、これとは異なる表示画面、すなわち、制御項目群を表示するものであれば、Ｓ２１７における判別は“ｎｏ”となる。Ｓ２１７における判別結果が“ｙｅｓ”の場合、Ｓ２１４に移行し、検索式の生成が行われる。

図２１に、Ｓ２１４における処理フローを示す。

処理が開始されると、Ｓ２１４において、キー情報による絞り込み条件が登録されたかが判別される。この判別は、図２０のＳ２１３からＳ２１４へと移行した場合（制御項目群表示中）は“ｙｅｓ”となり、Ｓ２１７からＳ２１４へと移行した場合（認識結果と類義語群を表示中）は“ｎｏ”となる。

この判別が“ｙｅｓ”ならば、検索式生成部１１０にて、先に制御項目を検索したときの検索式にキー操作項目による絞込み条件が追加され（Ｓ２３１）、これが検索部１１１に出力される（Ｓ２３６）。これにより、検索部１１１にて、先の検索時よりもキー操作項目にてさらに絞り込まれた制御項目が抽出される。

一方、Ｓ２３１における判別が“ｎｏ”なら、検索式生成部１１０にて、指示された項目に対応する語（項目語、正規化表現、上位語および下位語の何れか）に完全一致する項目語が類義語ＤＢ１２２から検索される（Ｓ２３２）。そして、抽出された項目語とその正規化表現が同一であるかが判別され（Ｓ２３３）、同一であれば、項目語のみを用いて検索式が生成される（Ｓ２３４）。同一でなければ、項目語と正規化表現を含む検索式が生成される（Ｓ２３５）。生成された検索式は、検索部１１１に出力される（Ｓ２３６）。そして、この検索式が検索部１１１で実行され、対応する制御項目が制御項目検索用ＤＢ１１２から抽出される。

図２０に戻り、指示対象が類義語エリア内の項目でなければ（Ｓ２１７：ｎｏ）、次に、指示対象が認識候補エリア内の項目であるかが判別される（Ｓ２１８）。ここで、“ｙｅｓ”ならば、操作処理部１０５から出力情報生成部１１３に対し、選択された音声認識候補の類義語群を類義語エリアに表示する旨の指示がなされ、これにおうじて、表示画面が更新される（Ｓ２１６）。

他方、Ｓ２１８における判別が“ｎｏ”、すなわち、表示画面上の制御項目群のうち何れかが選択された場合には、制御項目検索用ＤＢ１１２から、対応する制御コードが取り出され、テレビ３００に出力される（Ｓ２１９）。これにより、テレビ３００は、制御コードに応じた状態に設定され、その後、補助操作処理が実行される（Ｓ２２０）。

図２２に、Ｓ２２０における処理フローを示す。

処理が開始されると、テレビ３００に発行された制御コードに応じた補助操作画面が出力情報生成部１１３によって行われる（Ｓ２６０）。たとえば、音声切り替えを行うための制御コードが発行された場合には、主音声／副音声／主音声＋副音声を選択するための選択ボタンが画面上に表示される。その後、補助操作画面に対する操作が行われれば、対応する制御コードの発行指示が、操作処理部１０５から制御コード発行部１０６に対して行われる（Ｓ２６１）。これにより、選択された機能に対応する制御コードがテレビ３００に発行される。そして、補助操作画面の表示から一定時間が経過したかが判別され（Ｓ２６２）、経過していなければ、引き続き補助操作画面に対する操作が待機される。一定時間が経過すれば、補助操作画面の表示が終了され（Ｓ２６３）、補助操作処理が終了される。

図２３は、補助操作画面の表示例である。同図（ａ）は、音声切り替えに関する制御コードとして副音声の設定を指示する制御コードがテレビ３００に発行されたときの表示例である。この表示から、ユーザは、さらに音声切り替えの指示入力を行うことができる。また、この画面には、音声切り替えに関連する機能項目がサブ領域に表示される。表示されて機能項目のうち、たとえば“音量”の機能項目が選択されると、同図（ｂ）に示すように、音量を変更するためのスライドバーが表示される。ユーザは、左右キーを操作して音量を調整することができる。

図２４に、本リモートコントロールシステムにおける動作の具体例を示す。

ユーザが、リモコン端末２００のマイクスイッチを押下した後、マイクロフォン２０２に向かって、「スポーツ」と音声入力すると（図２４：上段左）、上記の如く、第Ｎ位までの音声認識結果（同図では第４位）と、第１位の認識結果に対する類義語項目群がテレビ画面上に表示される（図２４：上段右）。

かかる表示を受けて、ユーザが、リモコン端末２００をポインティングデバイスとして操作すると、表示画面上に表示されている表示項目（制御項目）のうち、ポインティングデバイスによって指示された表示項目が順次ハイライト表示される（図２４：上段右）。

この状態において、最上段にある認識結果のうち、認識順位第１位とは異なる認識結果が選択されると、その認識結果に対応する類義語項目群がテレビ画面上の類義語エリアに表示される。

他方、この状態において、類義語エリアにある表示項目群が選択されると、その表示項目に対応する項目語およびその正規化表現と、制御項目検索用ＤＢ１１２中の各制御項目の用語が比較され、選択対象の制御項目がテレビ画面上に表示される（図２４：下段右）。

しかる後、所望の表示項目（制御項目）を指示している状態で、ユーザが、リモコン端末２００の“選択キー”を操作すると（図２４：下段左）、当該制御項目の制御コードが取得され、テレビ３００に送信される。これにより、テレビ３００に、当該制御項目に応じた機能が設定される。

以上のように、本実施の形態におけるリモートコントロールシステムによれば、音声入力によって音声認識結果と類義語群が選択項目として表示される。よって、どのように音声入力すれば適当か分からない場合にも、思い付いた言葉を入力することにより、行いたい操作により近いジャンル、カテゴリーの項目を表示させることができる。そして、その後、その項目を指示することにより、制御項目群を選択候補として表示させることができる。このとき、制御項目群は、項目語と正規化表現をもとに検索されるため、上記実施形態に比べ、やや広い範囲にて表示される。よって、上記に比べ、所望の制御項目を表示させ易くなる。

なお、上述の実施形態２では、類義語ＤＢ１２２内の全ての項目語が音声認識辞書１０８内に登録されている。すなわち、類義語ＤＢ１２２内の全ての類義語（項目語、正規化表現、上位語、下位語）が音声認識１０７によって音声認識可能となっている。この場合、たとえば初期画面において、「音声入力後に表示される項目は全てキーワードとして音声入力できます。」とのメッセージを画面上に表示しておけば、音声入力後に表示される画面（たとえば、図２４の上段）を見ることにより、ユーザは、音声入力可能な語を知ることができる。そして、次回以降は、所望の語を直接音声入力することができる。かかる操作を繰り返すことにより、ユーザは、音声入力可能な語を次第に学習する。よって、使う度に、どのようなキーワードを音声入力すれば適当であるかが分かって行き、音声入力すべきキーワードの範囲が広がって行く。本システムは、使い続けていく程、その利便性が拡張する。

なお、本実施形態においても、コントローラ１００の構成を機能ブロックとして示したが、先の実施形態と同様、コントローラ１００は、セットトップボックス等のように、かかる機能を実行するための専用機器として構成することができる他、かかる機能を実行するためのプログラムおよびデータベースをパーソナルコンピュータ等の汎用コンピュータにインストールすることによって構成することもできる。

なお、かかるプログラムおよびデータベースは、ＣＤ−ＲＯＭ等のメモリ媒体に格納して取引される形態の他、インターネット等を介したデータ通信によって取引される形態をとることもできる。

また、コントローラ１００を汎用コンピュータにて構成する場合には、先の実施の形態に示す図９と同様、ＬＡＮ接続された２つのＰＣ（Personal Computer）に上記コントローラ１００の機能を分割するようにしても良い。

以上、本発明に係る種々の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、他に種々の変更が可能であることは言うまでもない。

たとえば、図２に示す実施形態では、コントローラ側で音声認識を行うようにしたが、かかる機能をリモコン端末２００側に負担させるようにすることもできる。この場合、リモコン端末２００からは、音声情報に代えて、認識結果（キーワード）がコントローラ１００に送信される。さらに、リモコン端末２００側に選択項目の抽出まで負担させるようにすることもできる。

また、上記実施の形態では、リモコン端末２００にマイクロフォン、ポインティングデバイス、操作キーを同時に配するようにしたが、リモコン端末２００を２つまたは３つ準備し、それぞれに、マイクロフォン、ポインティングデバイス、操作キーの機能を分離して配するようにすることもできる。

但し、上記のように一つのリモコン端末に全ての操作手段を同時に配する方が、携帯性に優れ、また、操作の簡便性が図れる。たとえば、テレビ画面から目を離すことなく、音声入力と選択項目の指示を行うことができ、さらに、予め“選択”キーに指を掛けていれば、制御項目の選択までも、キーを見ることなく行うことができる。なお、このことからすれば、“選択”キーは、リモコン端末を把持したときに所定の指に係りやすい位置に配置するようにすると良い。また、リモコン端末自身の形状も、そうなるような形状とするのが好ましい。

また、上記図１２および図１３に示す実施形態では、外部サーバからコントローラに対し、候補項目と機器ＩＤを外部送信するようにしたが、さらに表示項目を画面上に表示するための画面情報を併せて送信するようにしても良い。この場合、外部サーバ側のユーザ機器ＤＢ７０３に、ユーザ側機器の識別情報（機器種別／設置場所／等）を併せて登録しておく必要がある。

また、上記図１２および図１３に示す実施形態では、外部サーバにて音声認識と選択項目の抽出を行うようにしたが、かかる処理を、外部サーバからメーカサーバ等に依頼するようにしても良い。この場合、外部サーバは、ユーザ機器ＤＢから対象機器を特定し、当該対象機器を製造するメーカのサーバに、音声情報を含む依頼情報を送信する。あるいは、音声認識は外部サーバ側で行い、認識結果を依頼情報に含めてメーカ側のサーバに送信するようにしてもよい。この場合、メーカサーバは、上記外部サーバにおける音声認識機能および／もしくは制御項目選択機能を負担する。ここで、メーカサーバ上のデータベースには、自身の製品ラインナップに関する音声認識辞書ＤＢおよび制御項目検索用ＤＢが構築されている。

また、上記実施の形態では、ポインティングデバイスをジャイロスコープにて構成したが、ジョイステッィクやジョグダイアル等によって構成することも可能である。

さらに、本発明は、図８に示す表示形態に限らず、抽出された制御項目をテキスト情報の羅列によって表示するような表示形態も含み得るものである。すなわち、抽出された制御項目をもとに選択画面を提示できるものであればよく、制御項目の表示形態や、表示順序、項目配置等を特に制限するものではない。

また、上記の表示形態に加え、マイクロフォンに入力された音声の大きさ（音声レベル）を測定し、これを、数字やグラフィックス等の形態にて、画面上に表示するようにしてもよい。

また、上記実施形態２では、類義語として、項目語、正規化表現、上位語、下位語を示したが、例えば、図５に示すような機能ツリーを辿ったときに上位―下位の関係にあるように機能的に近い語を類義語としても良い。あるいは、同じ時間帯で違うチャンネルのテレビプログラムや、同じチャンネルで前後の時間帯に放映されるテレビプログラム等のように、検索時に何らかの関係があるような事象を表す語を類義語としても良い。

また、上記実施の形態では、ポインティングデバイス２０１、マイクロフォン２０２、操作キー２０３のうち何れからの情報であるかを識別する識別情報を付加して、これら情報を操作情報送信部２０４からコントローラ１００側に送信するようにしたが、ポインティングデバイス２０１、マイクロフォン２０２および操作キー２０３に対応して個別に送信手段を配し、各送信手段に対する受信手段をコントローラ１００側に配するようにしても良い。

さらに、コントローラ１００の機能をテレビ３００に含めるようにすることもできる。さらに、テレビ３００が携帯型のものであれば、コントローラ１００の機能のみならず、リモコン端末２００の機能もテレビ側に含めるようにしても良い。この場合には、表示項目を選択するためのキー、表示項目の選択を確定するためのキーおよび音声入力を行うためのマイクロフォンがテレビに搭載され、各キーからの情報およびマイクロフォンからの情報が、内蔵されたコントローラ部に受け渡される。

この他、データベースの構成やデータベース上の検索項目等についても種々の変更が可能である。本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。

実施形態１に係るリモートコントロールシステムの構成を示す図 リモコン端末とコントローラの構成を示す機能ブロック図 テレビ制御コマンドＤＢの構成例を示す図 テレビ番組検索用ＤＢの構成例を示す図 制御項目のディレクトリ構造を示す図 コントローラの動作を示すフローチャート 制御項目の検索処理を説明する図 リモートコントロールシステムの動作例を示す図 他の実施形態に係るリモートコントロールシステムの構成を示す図 他の実施形態に係るリモートコントロールシステムの構成を示す図 他の実施形態に係るリモートコントロールシステムの構成を示す図 外部サーバの構成を示す機能ブロック図 リモートコントロールシステムの動作を示すフローチャート 実施形態２に係る表示画面の構成例を示す図 実施形態２に係るリモコン端末とコントローラの機能ブロック図 実施形態２に係る類義語ＤＢのデータ構成を示す図 実施形態２に係るコントローラの動作を示すフローチャート 実施形態２に係る音声処理ルーチンの処理フローチャート 実施形態２に係る類義語拡張処理のフローチャート 実施形態２に係るキー情報処理ルーチンの処理フローチャート 実施形態２に係る検索式生成処理のフローチャート 実施形態２に係る補助操作処理のフローチャート 実施形態２に係る補助操作画面の表示例を示す図 実施形態２に係るリモートコントロールシステムの動作例を示す図

符号の説明

１００ コントローラ
１０２ 指示位置検出部
１０３ 指示対象判定部
１０４ キー情報処理部
１０５ 操作処理部
１０６ 制御コード発行部
１０７ 音声認識部
１０８ 音声認識辞書
１０９ 音声認識辞書選択部
１１０ 検索式生成部
１１１ 検索部
１１２ 制御項目検索用ＤＢ
１１３ 出力情報生成部
１２０ 類義語拡張部
１２１ 表示データ蓄積部
１２２ 類義語ＤＢ
１２３ テキスト出力部
２００ リモコン端末
２０１ ポインティングデバイス
２０２ マイクロフォン
２０３ 操作キー
４００ 外部インタフェース
６０１ ＰＣ
６０２ ＰＣ
７０４ データベース統合処理部
７０５ 音声認識辞書ＤＢ
７０６ 音声認識処理部
７０７ 検索式生成処理部
７０８ データベース選択処理部
７０９ 制御項目検索用ＤＢ
７１０ 検索処理部
７１１ 候補項目生成部
７１２ 送信情報生成部

Claims (29)

1. 操作端末と、該操作端末に対する操作入力に応じて機器制御用の制御情報を出力するコントローラとを有するリモートコントロールシステムにおいて、
   音声情報を入力するための音声入力手段と、画面上に表示された表示項目を選択指示するための指示入力手段と、前記音声入力手段に入力された音声情報に基づいて選択対象となり得る候補項目群を生成する候補生成手段と、該候補生成手段によって生成された候補項目群をもとに画像情報を生成する画像情報生成手段と、該画像情報生成手段によって生成された画像情報を画面上に表示させる表示手段と、該表示手段によって画面上に表示された候補項目群のうち前記指示入力手段によって選択指示された制御項目を判別する判別手段と、該判別手段によって判別された制御項目に応じた制御情報を出力する制御情報出力手段とを有する、
   ことを特徴とするリモートコントロールシステム。
2. 請求項１において、
   前記候補生成手段は、制御項目とキーワードとを対応付けて格納するデータベース手段と、前記音声入力手段に入力された音声情報をもとにテキストデータを構成するテキスト構成手段と、該テキスト構成手段によって構成されたテキストデータと前記データベース手段に格納されている各制御項目のキーワードとを比較して当該テキスト中の文字列に整合するキーワードを含む制御項目を選択対象の候補として抽出する候補抽出手段とを有する、
   ことを特徴とするリモートコントロールシステム。
3. 請求項２において、
   前記候補抽出手段は、前記テキスト中の文字列と前記キーワードの整合度合いを前記制御項目毎に検出し、整合度合いが大きいものから順に選択対象の候補となる制御項目を抽出する、
   ことを特徴とするリモートコントロールシステム。
4. 請求項３において、
   前記候補抽出手段は、前記テキスト中の文字列に含まれる用語のうち前記キーワードに整合する用語の個数を前記制御項目毎にカウントし、当該カウント数が大きいものから順に選択対象の候補となる制御項目を抽出する、
   ことを特徴とするリモートコントロールシステム。
5. 請求項２乃至４の何れかにおいて、
   前記テキスト構成手段は、前記音声入力手段に入力された音声情報を音声認識してテキストデータを生成する音声認識手段を備え、前記入力された音声情報に対して類似度が高い上位Ｎ個（Ｎは自然数）の音声認識結果のテキストデータ群を前記キーワードと比較すべきテキストデータとして前記候補抽出手段に提示する、
   ことを特徴とするリモートコントロールシステム。
6. 請求項１において、
   前記候補生成手段は、前記音声入力手段に入力された音声情報をもとに、外部サーバから、選択対象となり得る候補項目群を取得する候補群取得手段を有する、
   ことを特徴とするリモートコントロールシステム。
7. 請求項１乃至６の何れかにおいて、
   前記指示入力手段は、前記操作端末を画面に向けることにより画面上に指示位置が重ねて表示されるポインティングデバイスを含む、
   ことを特徴とするリモートコントロールシステム。
8. 請求項１において、
   前記候補生成手段は、類義語とキーワードとを対応付けて格納する類義語データベースと、制御項目とキーワードとを対応付けて格納する制御項目データベースと、前記音声入力手段に入力された音声情報をもとにテキストデータを構成するテキスト構成手段と、該テキスト構成手段によって構成されたテキストデータと前記類義語データベースに格納されている類義語のキーワードとを比較して当該テキスト中の文字列に整合するキーワードに対応付けられた類義語を選択対象候補として抽出し、抽出した類義語を選択対象として画面上に表示させる類義語表示手段と、該類義語表示手段によって画面上に表示された類義語のうち選択指示された類義語と前記制御項目データベースに格納されている各制御項目のキーワードを比較して当該テキスト中の文字列に整合するキーワードを含む制御項目を選択対象候補として抽出する候補抽出手段とを有する、
   ことを特徴とするリモートコントロールシステム。
9. 請求項８において、
   前記候補抽出手段は、前記選択指示された類義語の他、前記類義語データベースにおいてこの類義語に対応するキーワードに対応付けられた他の類義語を、前記制御項目データベースに格納されている各制御項目のキーワードと比較して、前記選択対象候補とされる制御項目を抽出する、
   ことを特徴とするリモートコントロールシステム。
10. 請求項８または９において、
    前記テキスト構成手段は、前記音声入力手段に入力された音声情報を音声認識してテキストデータを生成する音声認識手段を備え、前記入力された音声情報に対して類似度が高い上位Ｎ個（Ｎは自然数）の音声認識結果のテキストデータ群を前記キーワードと比較すべきテキストデータとして前記類義語表示手段に提示し、
    前記類義語表示手段は、前記Ｎ個の音声認識結果について前記選択対象候補とされる類義語を抽出するとともに、該類義語と前記音声認識結果の両方を選択対象として含む画像を画面上に表示する、
    ことを特徴とするリモートコントロールシステム。
11. 請求項１０において、
    前記類義語表示手段は、前記Ｎ個の音声認識結果と、このうち認識順位が最上位の認識結果に対応する類義語を選択対象として含む画像を画面上に表示する、
    ことを特徴とするリモートコントロールシステム。
12. 請求項１１において、
    前記類義語表示手段は、表示された前記Ｎ個の認識結果のうち一の認識結果が選択指示されたとき、表示中の類義語に代えて選択指示された認識結果に対応する類義語を選択候補として画面上に表示する、
    ことを特徴とするリモートコントロールシステム。
13. 操作端末から受信した操作入力情報に基づいて機器制御用の制御情報を出力するコントローラであって、
    前記操作端末から受信した音声入力による操作入力情報に基づいて選択対象となり得る候補項目群を生成する候補生成手段と、該候補生成手段によって生成された候補項目群をもとに画像情報を生成する画像情報生成手段と、該画像情報生成手段によって生成された画像情報を画面上に表示させる表示手段と、該表示手段によって画面上に表示された候補群のうち前記操作端末から受信した選択指示入力による操作入力情報に応じた制御項目を判別する判別手段と、該判別手段によって判別された制御項目に応じた制御情報を出力する制御情報出力手段とを有する、
    ことを特徴とするコントローラ。
14. 請求項１３において、
    前記候補生成手段は、制御項目とキーワードとを対応付けて格納するデータベース手段と、前記操作端末から受信した音声入力による操作入力情報をもとにテキストデータを構成するテキスト構成手段と、該テキスト構成手段によって構成されたテキストデータと前記データベース手段に格納されている各制御項目のキーワードとを比較して当該テキスト中の文字列に整合するキーワードを含む制御項目を選択対象の候補として抽出する候補抽出手段とを有する、
    ことを特徴とするコントローラ。
15. 請求項１４において、
    前記候補抽出手段は、前記テキスト中の文字列と前記キーワードの整合度合いを前記制御項目毎に検出し、整合度合いが大きいものから順に選択対象の候補となる制御項目を抽出する、
    ことを特徴とするコントローラ。
16. 請求項１５において、
    前記候補抽出手段は、前記テキスト中の文字列に含まれる用語のうち前記キーワードに整合する用語の個数を前記制御項目毎にカウントし、当該カウント数が大きいものから順に選択対象の候補となる制御項目を抽出する、
    ことを特徴とするコントローラ。
17. 請求項１４乃至１６において、
    前記テキスト構成手段は、前記音声入力手段に入力された音声情報を音声認識してテキストデータを生成する音声認識手段を備え、前記入力された音声情報に対して類似度が高い上位Ｎ個（Ｎは自然数）の音声認識結果のテキストデータ群を前記キーワードと比較すべきテキストデータとして前記候補抽出手段に提示する、
    ことを特徴とするコントローラ。
18. 請求項１３において、
    前記候補生成手段は、類義語とキーワードとを対応付けて格納する類義語データベースと、制御項目とキーワードとを対応付けて格納する制御項目データベースと、前記操作端末から受信した音声入力による操作入力情報をもとにテキストデータを構成するテキスト構成手段と、該テキスト構成手段によって構成されたテキストデータと前記類義語データベースに格納されている類義語のキーワードとを比較して当該テキスト中の文字列に整合するキーワードに対応付けられた類義語を選択対象候補として抽出し、抽出した類義語を選択対象として画面上に表示させる類義語表示手段と、該類義語表示手段によって画面上に表示された類義語のうち前記操作端末からの選択指示情報に対応する類義語と前記制御項目データベースに格納されている各制御項目のキーワードを比較して当該テキスト中の文字列に整合するキーワードを含む制御項目を選択対象候補として抽出する候補抽出手段とを有する、
    ことを特徴とするコントローラ。
19. 請求項１８において、
    前記候補抽出手段は、前記選択指示情報に対応する類義語の他、前記類義語データベースにおいてこの類義語に対応するキーワードに対応付けられた他の類義語を、前記制御項目データベースに格納されている各制御項目のキーワードと比較して、前記選択対象候補とされる制御項目を抽出する、
    ことを特徴とするコントローラ。
20. 請求項１８または１９において、
    前記テキスト構成手段は、前記音声入力による操作入力情報を音声認識してテキストデータを生成する音声認識手段を備え、前記音声入力に対して類似度が高い上位Ｎ個（Ｎは自然数）の音声認識結果のテキストデータ群を前記キーワードと比較すべきテキストデータとして前記類義語表示手段に提示し、
    前記類義語表示手段は、前記Ｎ個の音声認識結果について前記選択対象候補とされる類義語を抽出するとともに、該類義語と前記音声認識結果の両方を選択対象として含む画像を画面上に表示する、
    ことを特徴とするコントローラ。
21. 請求項２０において、
    前記類義語表示手段は、前記Ｎ個の音声認識結果と、このうち認識順位が最上位の認識結果に対応する類義語を選択対象として含む画像を画面上に表示する、
    ことを特徴とするコントローラ。
22. 請求項２１において、
    前記類義語表示手段は、表示された前記Ｎ個の認識結果のうち一の認識結果が選択指示されたとき、表示中の類義語に代えて選択指示された認識結果に対応する類義語を選択候補として画面上に表示する、
    ことを特徴とするコントローラ。
23. 請求項１３乃至２２の何れか一項に記載のコントローラの機能をコンピュータに付与するプログラム。
24. 請求項１３乃至２２の何れか一項に記載のコントローラの機能をコンピュータに付与するプログラムを格納した記憶媒体。
25. ネットワークを通じてコントローラと通信を行うための通信手段と、
    前記コントローラから受信した音声情報に基づいて選択対象となり得る候補項目群を生成する候補生成手段と、
    前記候補生成手段にて生成された候補項目群を前記通信手段によって前記コントローラに送信する送信手段とを有する、
    ことを特徴とするサーバ。
26. 請求項２５において、
    前記候補生成手段は、候補項目を検索するためのデータベースを機器毎に備え、前記データベースのうち制御対象となり得る機器に対応するデータベースを検索用データベースとして設定し、設定したデータベースに基づいて、前記コントローラから受信した音声情報をもとに、選択対象となり得る候補項目群を取得する、
    ことを特徴とするサーバ。
27. 請求項２６において、
    前記データベースは、前記音声情報を音声認識するための音声認識辞書を含み、前記候補生成手段は、前記音声認識辞書のうち制御対象となり得る機器に対応する音声認識辞書を選択して統合した音声認識辞書を音声認識用として設定し、設定した音声認識辞書に基づいて、前記コントローラから受信した音声情報を音声認識し、認識結果に基づいて、選択対象となり得る候補項目群を取得する、
    ことを特徴とするサーバ。
28. 請求項２６または２７の何れかにおいて、
    前記候補生成手段は、ユーザ毎に区分して機器情報を登録する機器データベースを備え、該機器データベースに登録されている機器情報をもとに、制御対象となり得る機器に対応するデータベースを特定する、
    ことを特徴とするサーバ。
29. 請求項２５乃至２８の何れかにおいて、
    前記候補生成手段は、前記コントローラから制御対象となり得る機器の動作状態を示す情報を取得する状態情報取得手段と、取得した状態情報に基づいて制御対象となり得る候補項目群の適否を判別する判別手段を備え、該判別結果に基づいて、選択対象となり得る候補項目群を制限する、
    ことを特徴とするサーバ。

Images