JP2010157820A - 制御システム、及び制御方法 - Google Patents
制御システム、及び制御方法 Download PDFInfo
- Publication number
- JP2010157820A JP2010157820A JP2008333836A JP2008333836A JP2010157820A JP 2010157820 A JP2010157820 A JP 2010157820A JP 2008333836 A JP2008333836 A JP 2008333836A JP 2008333836 A JP2008333836 A JP 2008333836A JP 2010157820 A JP2010157820 A JP 2010157820A
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- display
- remote controller
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】操作性のよい制御システムを提供する。
【解決手段】リモートコントローラ装置の入力手段によりサインの入力を行い、入力手段により入力されたサインの軌跡を表示する。そして、そのサインの軌跡データを受信装置に送信する。受信装置では、軌跡データを受信し、受信した軌跡データを補正手段により補正する。そして受信装置は、補正した軌跡データをリモートコントローラ装置に送信する。リモートコントローラ装置は、補正された軌跡データを受信してサイン認識する。
【選択図】 図４
【解決手段】リモートコントローラ装置の入力手段によりサインの入力を行い、入力手段により入力されたサインの軌跡を表示する。そして、そのサインの軌跡データを受信装置に送信する。受信装置では、軌跡データを受信し、受信した軌跡データを補正手段により補正する。そして受信装置は、補正した軌跡データをリモートコントローラ装置に送信する。リモートコントローラ装置は、補正された軌跡データを受信してサイン認識する。
【選択図】 図４
Description
本発明はリモートコントローラ装置（リモコン）を用いた制御システム、及び制御方法に係り、特にタッチパネル型のリモートコントローラ装置と非制御装置とを用いて精度が高くサイン入力を行う制御システム、及び制御方法に関する。
近年、テレビ（ＴＶ、テレビジョン等の非制御装置）放送のデジタル化や、家電機器の多機能化およびネットワーク化が進んでいる。
しかしながら、これらの機器のリモートコントローラ装置（リモコン）の操作が複雑化して使い勝手が悪いという問題があった。
これは、各機器の多機能化に対応するために、リモコンのボタンの数が増えたことが１つの原因であった。実際に、リモコン上に多くのボタンが備えられたことで、直近で操作したいボタンの位置が一目で分かり難く必要な機能にアクセスするのが難しくなっていた。
特に、テレビにおいて通常頻繁に使用される機能は、電源のオン／オフ、チャンネル切換、音量切換等の特定の機能がほとんどであり、設定変更や電子番組表の操作等の機能は、それほど頻繁には使用されなかった。しかしながら、従来のリモコンでは、それほど頻繁には使用しない機能のためのボタンも備えなければならないため、使用頻度が高いボタンが探しにくくなっていた。このため、特に子供や高齢者等にとっては操作が難しいという状況が発生していた。また、ボタン数が多いことで部品点数が多くなり、重量の増大やリモコンのコストが上昇する原因にもなっていた。
しかしながら、これらの機器のリモートコントローラ装置（リモコン）の操作が複雑化して使い勝手が悪いという問題があった。
これは、各機器の多機能化に対応するために、リモコンのボタンの数が増えたことが１つの原因であった。実際に、リモコン上に多くのボタンが備えられたことで、直近で操作したいボタンの位置が一目で分かり難く必要な機能にアクセスするのが難しくなっていた。
特に、テレビにおいて通常頻繁に使用される機能は、電源のオン／オフ、チャンネル切換、音量切換等の特定の機能がほとんどであり、設定変更や電子番組表の操作等の機能は、それほど頻繁には使用されなかった。しかしながら、従来のリモコンでは、それほど頻繁には使用しない機能のためのボタンも備えなければならないため、使用頻度が高いボタンが探しにくくなっていた。このため、特に子供や高齢者等にとっては操作が難しいという状況が発生していた。また、ボタン数が多いことで部品点数が多くなり、重量の増大やリモコンのコストが上昇する原因にもなっていた。
このために、従来の操作性を改善するリモコンとして、通常のスイッチ等からなるボタンを少なくし、指やペンでなぞって入力を行うタッチパネルの入力部を備えている「キーレス」（又は「ボタンレス」）と呼ばれるリモコンが存在する。
このような、従来のキーレスのリモコンとして、例えば特許文献１を参照すると、タッチパネル上に指やペンで文字等を描き、その文字やカーソルの移動位置により、メニュー画面上の機能を選択する遠隔制御信号をテレビに送信し、選択された機能を遂行するリモコンが記載されている。
このような従来技術１のリモコンにより、ボタン数を減らして、使い勝手のよいリモコンを実現することができる。
このような、従来のキーレスのリモコンとして、例えば特許文献１を参照すると、タッチパネル上に指やペンで文字等を描き、その文字やカーソルの移動位置により、メニュー画面上の機能を選択する遠隔制御信号をテレビに送信し、選択された機能を遂行するリモコンが記載されている。
このような従来技術１のリモコンにより、ボタン数を減らして、使い勝手のよいリモコンを実現することができる。
しかしながら、従来技術１のリモコンは、文字やカーソルの移動位置を検出して遠隔制御信号を選択するためには、移動位置の検出処理やリモコンの制御手段との通信処理等にかなりの演算が必要であるという問題があった。このため、リモコンに高度な演算処理性能がある演算手段を備えると、リモコンのコストが上がるという問題があった。
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
本発明の制御システムは、リモートコントローラ装置と受像装置との制御システムであって、該リモートコントローラ装置は、サインの入力を行う入力手段と、前記入力手段により入力されたサインの軌跡を表示する表示手段と、前記サインの軌跡データを前記受像装置に送信し、前記受像装置から送信された、補正済みの軌跡データを受信する送受信手段とを有し、受像装置は、前記リモートコントローラ装置から受信した前記軌跡データを補正する補正手段と、前記軌跡データを受信し、該補正手段により補正された軌跡データを送信する送受信手段とを有することを特徴とする。
本発明の制御システムは、前記リモートコントローラ装置の表示手段は、前記補正された軌跡データを表示することを特徴とする。
本発明の制御システムは、前記リモートコントローラ装置又は前記受像装置は、前記補正された軌跡データからサインを認識するサイン認識手段を更に備えることを特徴とする。
本発明の制御システムは、前記リモートコントローラ装置は、前記送受信手段から、認識したサインに対応するコマンドを送信し、前記受像装置は、前記コマンドに係る確認画面を描画する確認画面描画手段を更に備えることを特徴とする。
本発明の制御システムは、前記受像装置は、電子ペットを描画する電子ペット描画データを更に備え、前記確認画面描画手段は、前記確認画面に電子ペットを描画することを特徴とする。
本発明の制御システムは、前記リモートコントローラ装置は、前記送受信手段から、認識したサインに対応するコマンドを送信し、前記受像装置は、認識したサインに係るコマンドの説明を音声で出力する音声合成手段を更に備えることを特徴とする。
本発明の制御システムは、前記受像装置は、前記リモートコントローラ装置の前記表示手段に表示するリモコン画面データを作成するリモコン画面データ作成手段を更に備えることを特徴とする。
本発明の制御システムは、前記リモコン画面データ作成手段は、前記受像装置の動作状況を前記リモコン画面データに含めることを特徴とする。
本発明の制御システムは、前記受像装置の前記リモコン画面データ作成手段は、前記リモコン画面データに、前記受像装置の機能に対応する非階層的なメニュー画面を含んで作成し、前記リモートコントローラ装置は、前記非階層的なメニュー画面を描画するメニュー画面描画手段と、前記入力手段のドラッグを検知するドラッグ手段とを備え、前記メニュー画面描画手段は、前記非階層的なメニュー画面をドラッグによりスクロールして表示することを特徴とする。
本発明の制御システムは、前記メニュー画面描画手段は、前記非階層的なメニュー画面を拡大して表示することを特徴とする。
本発明の制御方法は、入力手段によりサインの入力を行い、入力された前記サインの軌跡を表示し、前記サインの軌跡データを送信し、前記軌跡データを受信し、受信した前記軌跡データを補正し、補正した軌跡データを送信し、前記補正した軌跡データを受信し、受信した、前記補正した軌跡データを描画することを特徴とする。
本発明の制御システムは、前記リモートコントローラ装置の表示手段は、前記補正された軌跡データを表示することを特徴とする。
本発明の制御システムは、前記リモートコントローラ装置又は前記受像装置は、前記補正された軌跡データからサインを認識するサイン認識手段を更に備えることを特徴とする。
本発明の制御システムは、前記リモートコントローラ装置は、前記送受信手段から、認識したサインに対応するコマンドを送信し、前記受像装置は、前記コマンドに係る確認画面を描画する確認画面描画手段を更に備えることを特徴とする。
本発明の制御システムは、前記受像装置は、電子ペットを描画する電子ペット描画データを更に備え、前記確認画面描画手段は、前記確認画面に電子ペットを描画することを特徴とする。
本発明の制御システムは、前記リモートコントローラ装置は、前記送受信手段から、認識したサインに対応するコマンドを送信し、前記受像装置は、認識したサインに係るコマンドの説明を音声で出力する音声合成手段を更に備えることを特徴とする。
本発明の制御システムは、前記受像装置は、前記リモートコントローラ装置の前記表示手段に表示するリモコン画面データを作成するリモコン画面データ作成手段を更に備えることを特徴とする。
本発明の制御システムは、前記リモコン画面データ作成手段は、前記受像装置の動作状況を前記リモコン画面データに含めることを特徴とする。
本発明の制御システムは、前記受像装置の前記リモコン画面データ作成手段は、前記リモコン画面データに、前記受像装置の機能に対応する非階層的なメニュー画面を含んで作成し、前記リモートコントローラ装置は、前記非階層的なメニュー画面を描画するメニュー画面描画手段と、前記入力手段のドラッグを検知するドラッグ手段とを備え、前記メニュー画面描画手段は、前記非階層的なメニュー画面をドラッグによりスクロールして表示することを特徴とする。
本発明の制御システムは、前記メニュー画面描画手段は、前記非階層的なメニュー画面を拡大して表示することを特徴とする。
本発明の制御方法は、入力手段によりサインの入力を行い、入力された前記サインの軌跡を表示し、前記サインの軌跡データを送信し、前記軌跡データを受信し、受信した前記軌跡データを補正し、補正した軌跡データを送信し、前記補正した軌跡データを受信し、受信した、前記補正した軌跡データを描画することを特徴とする。
本発明によれば、サインや文字のデータをリモートコントローラ装置のタッチパネルで入力し、入力したサインの軌跡データを送信し、補正手段を用いて軌跡データの補正を行い、補正された軌跡データを用いてサインや文字の認識を行うことで、サインや文字の認識精度が高くコストを抑えた制御システムを提供することができる。
＜第１の実施の形態＞
〔操作の外観〕
図１を参照して説明すると、本発明の実施の形態に係る制御システムＸは、赤外線や電波を用いたリモートコントローラ装置であるリモコン１０により、表示装置２０（受像装置）、録画／再生装置３０、照明器具４０といった家庭内の機器を制御する。また、各機器は、ＵＷＢ（ウルトラワイドバンド）無線／有線ネットワークやｉ．ＬｉｎｋやＵＳＢ（ユニバーサルシリアルバス）やＨＤＭＩ等の外部接続により接続して、相互に制御することもできる。
リモコン１０は、リモコン本体の筐体の表面積に対して比較的大きなドットマトリクス・ディスプレイである表示部１４０と、この表示部１４０と一体となったタッチパネルやその他の操作ボタンを備える入力部１６０とを備えている。この表示部１４０と入力部１６０とを用いて、後述するように操作機器を選択し、文字や符号等の線の集合である「サイン」を指やスタイラスペン等でなぞって入力することで各機器の操作をすることができる。これにより、従来の複数のボタンを選択して操作するリモコンよりも、非常に容易に各機器の操作を行うことができる。よって、ユーザーの使い勝手を向上させることができる。
表示装置２０は、地上／衛星／ＣＡＴＶ／ＩＰ放送／サーバー型放送等含むデジタル放送）や地上波放送に対応した表示装置である。さらに、表示装置２０の本体側から赤外線信号や電波等に重畳して、後述する各種データをリモコン１０に送信し、リモコン１０の入力部１６０のデータを受信して双方向通信を行う機能を備えている。なお、録画／再生装置３０の機能を表示装置２０に内蔵することもできる。
録画／再生装置３０は、ＤＶＤ（デジタルバーサティルディスク）、ＢＤ（ブルーレイディスク）、ＨＤＤ（ハードディスクドライブ）のような、画像データや音声データや番組情報のデータを記録／再生する機能を備えた、ＤＶＤ／ＢＤ／ＨＤＤのレコーダー／プレーヤーである。録画／再生装置３０は、放送番組を記憶媒体に録画し、録画された記憶媒体を再生する機器である。
なお、各機器は、複数備えることが可能である。また、この図に記載されていない機器を備えるシステムも当然可能であり、それらの機器とも外部接続により接続して、リモコン１０により制御を行うことができる。
また、以下では、表示装置２０はデジタル放送の表示（テレビ）機能部位と、録画／再生装置３０のような録画／再生（レコーダ）機能部位を備えているものとして説明する。
〔操作の外観〕
図１を参照して説明すると、本発明の実施の形態に係る制御システムＸは、赤外線や電波を用いたリモートコントローラ装置であるリモコン１０により、表示装置２０（受像装置）、録画／再生装置３０、照明器具４０といった家庭内の機器を制御する。また、各機器は、ＵＷＢ（ウルトラワイドバンド）無線／有線ネットワークやｉ．ＬｉｎｋやＵＳＢ（ユニバーサルシリアルバス）やＨＤＭＩ等の外部接続により接続して、相互に制御することもできる。
リモコン１０は、リモコン本体の筐体の表面積に対して比較的大きなドットマトリクス・ディスプレイである表示部１４０と、この表示部１４０と一体となったタッチパネルやその他の操作ボタンを備える入力部１６０とを備えている。この表示部１４０と入力部１６０とを用いて、後述するように操作機器を選択し、文字や符号等の線の集合である「サイン」を指やスタイラスペン等でなぞって入力することで各機器の操作をすることができる。これにより、従来の複数のボタンを選択して操作するリモコンよりも、非常に容易に各機器の操作を行うことができる。よって、ユーザーの使い勝手を向上させることができる。
表示装置２０は、地上／衛星／ＣＡＴＶ／ＩＰ放送／サーバー型放送等含むデジタル放送）や地上波放送に対応した表示装置である。さらに、表示装置２０の本体側から赤外線信号や電波等に重畳して、後述する各種データをリモコン１０に送信し、リモコン１０の入力部１６０のデータを受信して双方向通信を行う機能を備えている。なお、録画／再生装置３０の機能を表示装置２０に内蔵することもできる。
録画／再生装置３０は、ＤＶＤ（デジタルバーサティルディスク）、ＢＤ（ブルーレイディスク）、ＨＤＤ（ハードディスクドライブ）のような、画像データや音声データや番組情報のデータを記録／再生する機能を備えた、ＤＶＤ／ＢＤ／ＨＤＤのレコーダー／プレーヤーである。録画／再生装置３０は、放送番組を記憶媒体に録画し、録画された記憶媒体を再生する機器である。
なお、各機器は、複数備えることが可能である。また、この図に記載されていない機器を備えるシステムも当然可能であり、それらの機器とも外部接続により接続して、リモコン１０により制御を行うことができる。
また、以下では、表示装置２０はデジタル放送の表示（テレビ）機能部位と、録画／再生装置３０のような録画／再生（レコーダ）機能部位を備えているものとして説明する。
〔リモコン１０の制御構成〕
次に、図２を参照してリモコン１０の制御構成の１例について説明する。
リモコン１０は、タッチパネルを備えたリモコンであり、Ｂｌｏｏｔｈ（登録商標）等の２．４ＧＨｚ帯の電波やワイヤレスＵＳＢや赤外線通信等を用いて表示装置２０と接続する。
リモコン１０は、制御部１００と、記憶部１２０と、表示部１４０（表示手段）と、制御信号送受信部１５０（送受信手段）と、入力部１６０と、サイン認識部１７０（サイン認識手段）と、リモコン画面描画部１８０（ボタン描画手段）とを主に含んで構成される。
以下、これらの各構成部位について、より詳しく説明する。
次に、図２を参照してリモコン１０の制御構成の１例について説明する。
リモコン１０は、タッチパネルを備えたリモコンであり、Ｂｌｏｏｔｈ（登録商標）等の２．４ＧＨｚ帯の電波やワイヤレスＵＳＢや赤外線通信等を用いて表示装置２０と接続する。
リモコン１０は、制御部１００と、記憶部１２０と、表示部１４０（表示手段）と、制御信号送受信部１５０（送受信手段）と、入力部１６０と、サイン認識部１７０（サイン認識手段）と、リモコン画面描画部１８０（ボタン描画手段）とを主に含んで構成される。
以下、これらの各構成部位について、より詳しく説明する。
制御部１００は、ＭＰＵ（マイクロ・プロセッシング・ユニット）、ＣＰＵ（中央処理装置）、ＧＰＵ（グラフィックプロセッサ）等であり、記憶部１２０等に記憶されているプログラム等を実行し、番組情報データやタッチパネルのボタンや電子ペット等を表示部１４０に表示する。この制御部１００は、表示装置２０のＣＰＵ等よりも演算能力、処理能力等は低くても、低消費電力であることが望ましい。
記憶部１２０は、ＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）やＳＲＡＭ（スタティック・ランダム・アクセス・メモリ）、ＲＯＭ（リード・オンリー・メモリ）、フラッシュメモリ、ＨＤＤ等の記憶手段である。また、記憶部１２０は、各種プログラムやデータの他に、機種選択部１２１と、リモコン画面データ１２２と、操作マークデータ１２４と、画面座標データ１２５と、電子ペット操作データ１２７とを記憶することができる。
機種選択部１２１は、後述するように、ユーザーが表示部１４０に表示された操作マークを入力部１６０で押下したことを検知して、操作を行う機器である表示装置２０や録画／再生装置３０や照明器具４０等を切り換えるための部位である。
リモコン画面データ１２２は、リモコン１０の表示部１４０に表示するためのリモコン画面のデータである。リモコン画面データ１２２は、ＨＴＭＬやＸＭＬ等の記述言語を用いて所定のフォーマットで記載され、描画するフォームや一覧表のオブジェクトの座標と、このフォームや一覧表に表示するためのデータ放送の文字情報と、操作マークデータ１２４等の別データへのリンクと、ユーザーが押下したことを検出するボタンの座標等を記載したデータと、このボタンのデータをユーザーが押下した際のアクション（動作）等の操作情報を記憶している。このリモコン画面データ１２２には、後述する非階層的なメニュー画面のためのリモコン画面データを含んでいる。なお、このリモコン画面データ１２２は、後述するように表示装置２０が作成して送信し、リモコン１０にて受信することもできる。また、リモコン画面データ１２２を逆に表示装置２０のような各機器に送信することも可能である。
操作マークデータ１２４は、機器を簡単に識別できするための操作マークを表示するためのデータである。この操作マークデータ１２４は、各機器に対するアイコンの画像データと、このアイコンに関連づけられた各機器の名称や特性を示すデータを含んで構成される。これらの操作マークデータ１２４は、各機器からアイコンデータのようなデータ形式で「ダウンロード」したり、ユーザーにより作成して対応する各機器に「アップロード」も可能である。なお、操作マークデータ１２４は、テレビやＢＤレコーダ等基本的な機器を模式図的に描画したアイコンを記憶しておくこともできる。
画面座標データ１２５は、リモコン画面データ１２２の描画ためのデータを記憶している部位である。具体的には、リモコン画面データ１２２から非階層的なメニュー画面を表示させた際に、実際の表示部１４０の画面よりも大きな非階層的なメニュー画面のうち、表示する部分（ビューポート）の画面上の表示座標等のデータと、描画データのバッファ等を記憶している。この画面上の表示座標は、後述するドラッグ部１６２を用いて、この非階層的なメニュー画面をスクロールした際には変化させて記憶することができる。
電子ペット操作データ１２７は、電子ペットを表示して、各機器を操作する幼児用の操作インターフェイスに関するデータを記憶している部位である。この電子ペット操作データ１２７には、電子ペットのキャラクター、電子ペットのアイテムに関する画像データや動き（モーション）、変形データ等を含んでいる。
機種選択部１２１は、後述するように、ユーザーが表示部１４０に表示された操作マークを入力部１６０で押下したことを検知して、操作を行う機器である表示装置２０や録画／再生装置３０や照明器具４０等を切り換えるための部位である。
リモコン画面データ１２２は、リモコン１０の表示部１４０に表示するためのリモコン画面のデータである。リモコン画面データ１２２は、ＨＴＭＬやＸＭＬ等の記述言語を用いて所定のフォーマットで記載され、描画するフォームや一覧表のオブジェクトの座標と、このフォームや一覧表に表示するためのデータ放送の文字情報と、操作マークデータ１２４等の別データへのリンクと、ユーザーが押下したことを検出するボタンの座標等を記載したデータと、このボタンのデータをユーザーが押下した際のアクション（動作）等の操作情報を記憶している。このリモコン画面データ１２２には、後述する非階層的なメニュー画面のためのリモコン画面データを含んでいる。なお、このリモコン画面データ１２２は、後述するように表示装置２０が作成して送信し、リモコン１０にて受信することもできる。また、リモコン画面データ１２２を逆に表示装置２０のような各機器に送信することも可能である。
操作マークデータ１２４は、機器を簡単に識別できするための操作マークを表示するためのデータである。この操作マークデータ１２４は、各機器に対するアイコンの画像データと、このアイコンに関連づけられた各機器の名称や特性を示すデータを含んで構成される。これらの操作マークデータ１２４は、各機器からアイコンデータのようなデータ形式で「ダウンロード」したり、ユーザーにより作成して対応する各機器に「アップロード」も可能である。なお、操作マークデータ１２４は、テレビやＢＤレコーダ等基本的な機器を模式図的に描画したアイコンを記憶しておくこともできる。
画面座標データ１２５は、リモコン画面データ１２２の描画ためのデータを記憶している部位である。具体的には、リモコン画面データ１２２から非階層的なメニュー画面を表示させた際に、実際の表示部１４０の画面よりも大きな非階層的なメニュー画面のうち、表示する部分（ビューポート）の画面上の表示座標等のデータと、描画データのバッファ等を記憶している。この画面上の表示座標は、後述するドラッグ部１６２を用いて、この非階層的なメニュー画面をスクロールした際には変化させて記憶することができる。
電子ペット操作データ１２７は、電子ペットを表示して、各機器を操作する幼児用の操作インターフェイスに関するデータを記憶している部位である。この電子ペット操作データ１２７には、電子ペットのキャラクター、電子ペットのアイテムに関する画像データや動き（モーション）、変形データ等を含んでいる。
表示部１４０は、リモコン１０に備えられた主にドットマトリクスディスプレイであり、液晶ディスプレイ、有機／無機ＥＬディスプレイ、ＰＤＰ（プラズマ・ディスプレイ・パネル）、ＦＥＤ（フィールド・エミッション・ディスプレイ）、ＬＥＤ（ライト・エミッション・ダイオード）アレイ、電子ペーパー、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ディスプレイ、ヘッドマウントディスプレイ等を用いることができる。表示部１４０には、後述するように、操作マークや、ユーザーが各機器を操作するためのサインの軌跡や、階層的でないメニュー画面等を描画する。
制御信号送受信部１５０（送受信手段）は、各機器のコマンドや操作マークデータ１２４等のデータを送受信するための機能を持つ部位である。
制御信号送受信部１５０は、リモコン１０が電波リモコンの場合は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮやワイヤレスＵＳＢのアンテナと受信用ＬＳＩを備えた電波送受信部等から構成される。
また、制御信号送受信部１５０は、リモコン１０が赤外線リモコンの場合、表示装置２０へ赤外線信号を送信する赤外線ＬＥＤと、表示装置２０からの赤外線信号を受信する受光部等から構成される。加えて、制御信号送受信部１５０は、無線ＬＡＮ、ワイヤレスＵＳＢ、ＨＤＭＩ、ｉ−ｌｉｎｋ、有線ＬＡＮ、電話線、ｃ．ｌｉｎｋ、ＵＳＢ等の端子を備えていて、この端子で送受信したコマンドに連動して制御することもできる。また、リモコン１０のファームウェアをアップデートするためのフラッシュメモリカードのインターフェイスを備えていてもよい。
制御信号送受信部１５０は、リモコン１０が電波リモコンの場合は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮやワイヤレスＵＳＢのアンテナと受信用ＬＳＩを備えた電波送受信部等から構成される。
また、制御信号送受信部１５０は、リモコン１０が赤外線リモコンの場合、表示装置２０へ赤外線信号を送信する赤外線ＬＥＤと、表示装置２０からの赤外線信号を受信する受光部等から構成される。加えて、制御信号送受信部１５０は、無線ＬＡＮ、ワイヤレスＵＳＢ、ＨＤＭＩ、ｉ−ｌｉｎｋ、有線ＬＡＮ、電話線、ｃ．ｌｉｎｋ、ＵＳＢ等の端子を備えていて、この端子で送受信したコマンドに連動して制御することもできる。また、リモコン１０のファームウェアをアップデートするためのフラッシュメモリカードのインターフェイスを備えていてもよい。
入力部１６０は、表示部１４０の表面に備えられた、指やスタイラスペン（ペン）等による複数のタッチを検出可能な光感知式や感圧式等のタッチパネル（タッチディスプレイ）と、その他の操作ボタン等のキーを備えた入力手段であり、ユーザーの入力を検知する。
この入力部１６０のタッチパネルは、図１に示したように、表示部１４０よりも大きい面積であってもよく、表示部１４０より外の部分にテンキーやカーソルキーや「ＯＫ（選択）」「キャンセル」「送信」等のボタンである、その他の操作ボタンを備えることもできる。
そして、これらのその他の操作ボタンは、ＬＥＤと導光板を用いて同一のエリアでテンキーとカーソルキー等の表示を動的に切り換えられる「デュアルモード・イルミネーションキー」のような表示切り換え可能キーであってもよい。
また、入力部１６０は、ドラッグ部１６２（ドラッグ手段）と、マルチタッチ部１６４とを更に備えている。
この入力部１６０のタッチパネルは、図１に示したように、表示部１４０よりも大きい面積であってもよく、表示部１４０より外の部分にテンキーやカーソルキーや「ＯＫ（選択）」「キャンセル」「送信」等のボタンである、その他の操作ボタンを備えることもできる。
そして、これらのその他の操作ボタンは、ＬＥＤと導光板を用いて同一のエリアでテンキーとカーソルキー等の表示を動的に切り換えられる「デュアルモード・イルミネーションキー」のような表示切り換え可能キーであってもよい。
また、入力部１６０は、ドラッグ部１６２（ドラッグ手段）と、マルチタッチ部１６４とを更に備えている。
ドラッグ部１６２は、ユーザーがタッチパネルを押下したまま指やペン等を移動させる「ドラッグ」を検出する部位である。ドラッグ部１６２は、このドラッグの際の指やペン等の移動速度や移動距離を測定し、画面の座標を変更して表示部１４０に表示させる「スクロール」や電子ペットでの操作における方向や距離や加速度やスピード等を入力する。
マルチタッチ部１６４は、タッチパネルの画素に形成された複数の電極や光センサー等を用いて、ユーザーが指やペン等で複数の箇所をタッチする「マルチタッチ」を検出する部位である。このマルチタッチを検出することで、メニュー上で複数の機能を連動させて操作をすることができる。
なお、入力部１６０は、光学センサやタッチパッド等のポインティングデバイスや加速度検出デバイスや皮膚抵抗センサや傾きセンサや音声入力センサや電波・磁場センサや脳波センサ等を備えていてもよく、これらの入力信号も入力部１６０の各種入力と同様に扱うことができる。
マルチタッチ部１６４は、タッチパネルの画素に形成された複数の電極や光センサー等を用いて、ユーザーが指やペン等で複数の箇所をタッチする「マルチタッチ」を検出する部位である。このマルチタッチを検出することで、メニュー上で複数の機能を連動させて操作をすることができる。
なお、入力部１６０は、光学センサやタッチパッド等のポインティングデバイスや加速度検出デバイスや皮膚抵抗センサや傾きセンサや音声入力センサや電波・磁場センサや脳波センサ等を備えていてもよく、これらの入力信号も入力部１６０の各種入力と同様に扱うことができる。
サイン認識部１７０は、リモコン１０のドラッグ時の線の軌跡等から、各機器を操作するための文字や符号等の線の集合である「サイン」を認識する部位である。すなわち、本発明の実施の形態に係る「サイン」は、通常の手書き文字認識を行って認識する複数の線で描かれた英数字や漢字や各国語の文字の他に、簡易的に一筆書き的に入力する文字様図形や、単なる傾いた線そのものや、三角や星形のような図形や、その他の図形を含む。つまり、サインの認識には、文字認識の他にも、ユーザーの意図するコマンドを呼び出すための図形の認識が含まれる。サイン認識部１７０は、ドラッグされた線の表示部１４０で押下された座標の変化をベクトル化した「軌跡」を作成し、この軌跡の特徴量を抽出する計算を行い、ユーザーが入力したサインを推定する。この推定の計算には、ヒューリスティックな手法等の演算が少ない手法を用いており、補正された軌跡データを用いた場合には、比較的非力な演算能力をもつ制御部１００でも、十分な精度でサインを推定することができる。さらに、軌跡のデータを制御信号送受信部１５０から表示装置２０等のサイン計算部２７０を備えた機器に送信し、より高精度なサインや手書き文字からなる単語の認識を行うこともできる。
リモコン画面描画部１８０は、リモコン画面データ１２２や操作マークデータ１２４の画像データや文字データ等を描画するためのグラフィックプロセッサの機能を備えている部位である。
また、リモコン画面描画部１８０は、ユーザーが入力部１６０を用いて入力した指示を反映させる表示画面を描画する。さらに、リモコン画面描画部１８０は、ユーザーがリモコン１０の表示部１４０に描画されたボタンをタッチしたことを検出すると、音声や振動にて知らせるための機能も備えている。
さらに、リモコン画面描画部１８０は、マーク描画部１８２と、メニュー描画部１８４（メニュー画面描画手段）と、電子ペット描画部１８６とを備えている。
また、リモコン画面描画部１８０は、ユーザーが入力部１６０を用いて入力した指示を反映させる表示画面を描画する。さらに、リモコン画面描画部１８０は、ユーザーがリモコン１０の表示部１４０に描画されたボタンをタッチしたことを検出すると、音声や振動にて知らせるための機能も備えている。
さらに、リモコン画面描画部１８０は、マーク描画部１８２と、メニュー描画部１８４（メニュー画面描画手段）と、電子ペット描画部１８６とを備えている。
マーク描画部１８２は、操作マークを描画するための部位である。この操作マークは丸や四角や三角形といった、簡単な図形をアイコンとして用いて描画することが好適である。また、各機器の外観を図案化して、そのまま操作マークとして描画することもできる。さらに、各操作マークは、後述するように機器の状態に連動して、色や形状等を変化させて、視覚的・直感的にユーザーに機器の動作の状態を理解させ、操作を促すことができる。
メニュー描画部１８４は、非階層的なメニュー画面等を描画するための部位である。メニュー描画部１８４は、リモコン画面データ１２２から取得した、表示部１４０の表示面積より大きなそれぞれの機器についての非階層的なメニュー画面の一部をビューポートとして、画面座標データ１２５の座標に従って、スクロールさせて描画することができる。
電子ペット描画部１８６は、電子ペットを用いた操作用インターフェイスにより各機器の操作を行う際に、この電子ペットを電子ペット操作データ１２７を用いて描画する部位である。
メニュー描画部１８４は、非階層的なメニュー画面等を描画するための部位である。メニュー描画部１８４は、リモコン画面データ１２２から取得した、表示部１４０の表示面積より大きなそれぞれの機器についての非階層的なメニュー画面の一部をビューポートとして、画面座標データ１２５の座標に従って、スクロールさせて描画することができる。
電子ペット描画部１８６は、電子ペットを用いた操作用インターフェイスにより各機器の操作を行う際に、この電子ペットを電子ペット操作データ１２７を用いて描画する部位である。
なお、リモコン画面描画部１８０は、記憶部１２０に記憶されたプログラムを制御部１００が実行するように構成することもできる。
また、表示部１４０と入力部１６０とは、タッチパネルのように一体的に形成されるように説明したが、それぞれが分離して構成してもよい。
また、リモコン１０には表示部１４０のユニットが内蔵され、入力部１６０だけ別に有線や無線の接続手段（図示しない）により外部に接続するような構成にしてもよい。逆に、リモコン１０には入力部１６０のユニットが内蔵され、表示部１４０の小型ディスプレイだけを有線や無線の接続手段により外部に接続するような構成にしてもよい。
また、表示部１４０と入力部１６０とは、タッチパネルのように一体的に形成されるように説明したが、それぞれが分離して構成してもよい。
また、リモコン１０には表示部１４０のユニットが内蔵され、入力部１６０だけ別に有線や無線の接続手段（図示しない）により外部に接続するような構成にしてもよい。逆に、リモコン１０には入力部１６０のユニットが内蔵され、表示部１４０の小型ディスプレイだけを有線や無線の接続手段により外部に接続するような構成にしてもよい。
〔表示装置２０の制御構成〕
次に、図３を参照して、表示装置２０の制御構成の例について詳細に説明する。
表示装置２０は、デジタル放送のテレビジョン受信機や携帯端末等の表示装置である。以下では、リモコン１０よりも大きな画面を備えており、録画又は再生の可能な記録媒体駆動装置を本体に内蔵又は外部接続可能な液晶テレビジョン放送受信機である場合について説明する。なお、表示装置２０は、携帯電話、スマートフォン、ＰＤＡ（パーソナル・データ・アシスタント）、ＭＩＤ（モバイル・インターネット端末）、ネットブック、ノートＰＣ、ワンセグテレビ、ビデオゲーム機等の携帯端末であってもよい。
表示装置２０は、リモコン情報処理部２００（制御手段、コマンド実行手段、リモコン情報処理手段）と、記憶部２２０と、ネットワーク接続部２３０と、表示部２４０（表示手段）と、制御信号送受信部２５０（送受信手段）と、確認画面描画部２６０（確認画面描画手段）、音声合成部２６５（音声合成手段）と、サイン計算部２７０（補正手段、サイン認識手段）と、録画／再生処理部２８０と、チューナ部２９０とを備えている。以下、各部についてより詳しく説明する。
次に、図３を参照して、表示装置２０の制御構成の例について詳細に説明する。
表示装置２０は、デジタル放送のテレビジョン受信機や携帯端末等の表示装置である。以下では、リモコン１０よりも大きな画面を備えており、録画又は再生の可能な記録媒体駆動装置を本体に内蔵又は外部接続可能な液晶テレビジョン放送受信機である場合について説明する。なお、表示装置２０は、携帯電話、スマートフォン、ＰＤＡ（パーソナル・データ・アシスタント）、ＭＩＤ（モバイル・インターネット端末）、ネットブック、ノートＰＣ、ワンセグテレビ、ビデオゲーム機等の携帯端末であってもよい。
表示装置２０は、リモコン情報処理部２００（制御手段、コマンド実行手段、リモコン情報処理手段）と、記憶部２２０と、ネットワーク接続部２３０と、表示部２４０（表示手段）と、制御信号送受信部２５０（送受信手段）と、確認画面描画部２６０（確認画面描画手段）、音声合成部２６５（音声合成手段）と、サイン計算部２７０（補正手段、サイン認識手段）と、録画／再生処理部２８０と、チューナ部２９０とを備えている。以下、各部についてより詳しく説明する。
リモコン情報処理部２００は、ＣＰＵ等の制御機能を備えており、リモコン１０のコマンドを実行する部位である。また、リモコン情報処理部２００は、ＧＵＩ（グラフィカル・ユーザー・インターフェイス）を用いて、表示部２４０にユーザーの録画や文字放送の双方向処理やＥＰＧ処理に係る表示を行う。
さらに、リモコン情報処理部２００は、リモコン１０で表示するリモコン画面データ１２２を作成したり、タイマー手段を用いて録画予約処理を行うこともできる。このために、リモコン情報処理部２００は、リモコン画面データ作成部２０２（リモコン画面データ作成手段）と、予約処理部２０４（予約手段）とを備えている。
リモコン画面データ作成部２０２は、リモコン１０の表示部１４０に表示されるリモコン画面データ１２２を作成する部位である。また、このリモコン画面データ１２２に、ＴＳデータ２２３のＢＭＬデータ等からパーサー等を用いて取得して含めることもできる。このように、表示装置２０によりリモコン１０で表示する画面データを作成するために、リモコン１０の制御部１００の処理の負荷を抑えることができる。なお、リモコン画面データ１２２は、ネットワーク接続部２３０からサーバに接続して受信してもよい。
予約処理部２０４は、ユーザーがリモコン１０のボタンで入力したデータを元に、タイマーにより予約処理を行うための予約データ２２７を作成する部位である。
さらに、リモコン情報処理部２００は、リモコン１０で表示するリモコン画面データ１２２を作成したり、タイマー手段を用いて録画予約処理を行うこともできる。このために、リモコン情報処理部２００は、リモコン画面データ作成部２０２（リモコン画面データ作成手段）と、予約処理部２０４（予約手段）とを備えている。
リモコン画面データ作成部２０２は、リモコン１０の表示部１４０に表示されるリモコン画面データ１２２を作成する部位である。また、このリモコン画面データ１２２に、ＴＳデータ２２３のＢＭＬデータ等からパーサー等を用いて取得して含めることもできる。このように、表示装置２０によりリモコン１０で表示する画面データを作成するために、リモコン１０の制御部１００の処理の負荷を抑えることができる。なお、リモコン画面データ１２２は、ネットワーク接続部２３０からサーバに接続して受信してもよい。
予約処理部２０４は、ユーザーがリモコン１０のボタンで入力したデータを元に、タイマーにより予約処理を行うための予約データ２２７を作成する部位である。
記憶部２２０は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＨＤＤ等の記憶手段であり、各種データとプログラムを記憶している。記憶部２２０は、リモコン画面データ１２２と、操作マークデータ１２４と、記憶部２２０は、ＴＳデータ２２３と、電子番組表データ２２５（録画画像の画像データ）と、予約データ２２７と、電子ペットデータ２２８とを記憶している。
ＴＳデータ２２３は、チューナ部２９０で受信されているデジタル放送の「生」のデジタルデータである。ＴＳデータ２２３は、画像データ、音声データ、番組情報等の文字データを含むＴＳ形式のデータである。すなわち、画像データとしては、ＭＰＥＧ２−ＴＳ形式や、Ｈ．２６４／ＡＶＣ形式等のＴＶ放送の映像の画像データを含んでいる。音声データとしては、ＡＡＣ形式や、ＭＰＥＧ２−ＬＡ形式や、ロスレス圧縮形式等の音声データを含んでいる。また、番組情報等の文字データとしては、番組配列情報であるＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）／ＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）データから取得するような文字データを含んでいる。このデジタル放送のデジタルデータの形式は、ＡＲＩＢ規格等のデジタル放送用の規格（ＡＲＩＢ ＳＴＤ−Ｂ１０等）で規定されている
電子番組表データ２２５は、録画／再生処理部２８０が録画処理を行った場合に、録画／再生処理部２８０により記憶される画像データや音声データや番組情報等の文字データである。この電子番組表データ２２５は、ＴＳデータをそのまま記憶しても、ＴＳデータから画像データと音声データと番組情報等の文字データとをそれぞれ抽出して、録画用に圧縮された形式等に変換して記憶してもよい。
予約データ２２７は、予約処理部２０４が予約処理を行った際の予約情報をデータベースとして記憶しているデータである。
電子ペットデータ２２８は、後述する確認画面等に表示する「電子ペット」の画像データやキャラクタデータやモーションデータ、さらに電子ペットの「成長」等に関するパラメータのデータ等を記憶したデータである。さらに、電子ペットデータ２２８には、リモコン１０の表示部１４０で表示するための低解像度キャラクターデータや操作用パラメータ等も含んでいる。
なお、リモコン画面データ１２２と、操作マークデータ１２４とは、表示装置２０からリモコン１０に送信されてリモコン１０の記憶部１２０に記憶されるリモコン画面データ１２２と操作マークデータ１２４と同一の構成要素を示すものである。
ＴＳデータ２２３は、チューナ部２９０で受信されているデジタル放送の「生」のデジタルデータである。ＴＳデータ２２３は、画像データ、音声データ、番組情報等の文字データを含むＴＳ形式のデータである。すなわち、画像データとしては、ＭＰＥＧ２−ＴＳ形式や、Ｈ．２６４／ＡＶＣ形式等のＴＶ放送の映像の画像データを含んでいる。音声データとしては、ＡＡＣ形式や、ＭＰＥＧ２−ＬＡ形式や、ロスレス圧縮形式等の音声データを含んでいる。また、番組情報等の文字データとしては、番組配列情報であるＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）／ＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）データから取得するような文字データを含んでいる。このデジタル放送のデジタルデータの形式は、ＡＲＩＢ規格等のデジタル放送用の規格（ＡＲＩＢ ＳＴＤ−Ｂ１０等）で規定されている
電子番組表データ２２５は、録画／再生処理部２８０が録画処理を行った場合に、録画／再生処理部２８０により記憶される画像データや音声データや番組情報等の文字データである。この電子番組表データ２２５は、ＴＳデータをそのまま記憶しても、ＴＳデータから画像データと音声データと番組情報等の文字データとをそれぞれ抽出して、録画用に圧縮された形式等に変換して記憶してもよい。
予約データ２２７は、予約処理部２０４が予約処理を行った際の予約情報をデータベースとして記憶しているデータである。
電子ペットデータ２２８は、後述する確認画面等に表示する「電子ペット」の画像データやキャラクタデータやモーションデータ、さらに電子ペットの「成長」等に関するパラメータのデータ等を記憶したデータである。さらに、電子ペットデータ２２８には、リモコン１０の表示部１４０で表示するための低解像度キャラクターデータや操作用パラメータ等も含んでいる。
なお、リモコン画面データ１２２と、操作マークデータ１２４とは、表示装置２０からリモコン１０に送信されてリモコン１０の記憶部１２０に記憶されるリモコン画面データ１２２と操作マークデータ１２４と同一の構成要素を示すものである。
ネットワーク接続部２３０は、電話線やインターネットと接続して、デジタル放送やＩＰ放送等の双方向機能に対応するための部位である。
表示部２４０は、液晶ディスプレイ、ＰＤＰ、有機・無機ＥＬディスプレイ、プロジェクタ等の表示部を備えている表示装置である。表示部２４０は、リモコン１０の表示部１４０よりも高精細であり、デジタル放送の高精細放送の画像等を明瞭に表示可能である。
制御信号送受信部２５０（双受信手段）は、制御信号送受信部１５０と同様に、赤外線や電波を用いてリモコン１０との間でコマンド（制御信号）、リモコン画面データ１２２、操作マークデータ１２４等を送受信する部位である。
確認画面描画部２６０は、画像処理チップとグラフィックプロセッサー等を用いて、後述するサイン入力によりユーザーが選択した機器のコマンドの「確認画面」を表示部２４０に描画するための部位である。この確認画面描画部２６０は、電子ペットデータ２２８を用いて電子ペットの画像も描画することができる。
音声合成部２６５は、ＰＣＭ音声データや音声合成シンセサイザ等を用いて、確認画面のための音声データを作成する部位である。音声合成部２６５が作成した音声データは、図示しないスピーカー等からユーザーが理解できる言語の音声として出力される。
サイン計算部２７０は、各機器を操作するためのサインや手書き文字の認識を行う部位である。サイン計算部２７０は、リモコン１０のサイン認識部１７０のサインの座標の軌跡データを補正し、サイン認識を行う部位である。この補正としては、通常、タッチパネルによりユーザーが入力するサインの軌跡は一定しないので、平均化正規化等の処理を行う。また、特徴量を抽出しやすいように、指のストロークや向き等を基に、統計的な手法を用いて、実際にどのような線を引きたかったのかを推定して補正することもできる。この統計的な手法としては、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）法や、ベイジアンネットワーク等の手法を用いて、複数のユーザーの指でのストロークや向きの特徴を捉えることができる。また、指の動作の統計モデルを用いることもできる。さらに、ユーザーの書く文字の「くせ」を認識して、この特徴量から、ユーザーの指の筋肉の動作の特徴を認識して、統計的・人工知能的な補正を行うことも可能である。また、サインの認識としては、データを制御信号送受信部２５０から受信し、ＳＶＭ（サポートベクターマシン）やニューラルネット等の人工知能的な手法やベイジアンネットワーク等の統計的な手法等の、比較的複雑な計算が必要なものの、精度の高いサインや手書き文字の認識を行う。また、ヒューリスティックな手法等を用いることもできる。認識したサインや手書き文字の結果は、リモコン１０に送信することができる。
表示部２４０は、液晶ディスプレイ、ＰＤＰ、有機・無機ＥＬディスプレイ、プロジェクタ等の表示部を備えている表示装置である。表示部２４０は、リモコン１０の表示部１４０よりも高精細であり、デジタル放送の高精細放送の画像等を明瞭に表示可能である。
制御信号送受信部２５０（双受信手段）は、制御信号送受信部１５０と同様に、赤外線や電波を用いてリモコン１０との間でコマンド（制御信号）、リモコン画面データ１２２、操作マークデータ１２４等を送受信する部位である。
確認画面描画部２６０は、画像処理チップとグラフィックプロセッサー等を用いて、後述するサイン入力によりユーザーが選択した機器のコマンドの「確認画面」を表示部２４０に描画するための部位である。この確認画面描画部２６０は、電子ペットデータ２２８を用いて電子ペットの画像も描画することができる。
音声合成部２６５は、ＰＣＭ音声データや音声合成シンセサイザ等を用いて、確認画面のための音声データを作成する部位である。音声合成部２６５が作成した音声データは、図示しないスピーカー等からユーザーが理解できる言語の音声として出力される。
サイン計算部２７０は、各機器を操作するためのサインや手書き文字の認識を行う部位である。サイン計算部２７０は、リモコン１０のサイン認識部１７０のサインの座標の軌跡データを補正し、サイン認識を行う部位である。この補正としては、通常、タッチパネルによりユーザーが入力するサインの軌跡は一定しないので、平均化正規化等の処理を行う。また、特徴量を抽出しやすいように、指のストロークや向き等を基に、統計的な手法を用いて、実際にどのような線を引きたかったのかを推定して補正することもできる。この統計的な手法としては、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）法や、ベイジアンネットワーク等の手法を用いて、複数のユーザーの指でのストロークや向きの特徴を捉えることができる。また、指の動作の統計モデルを用いることもできる。さらに、ユーザーの書く文字の「くせ」を認識して、この特徴量から、ユーザーの指の筋肉の動作の特徴を認識して、統計的・人工知能的な補正を行うことも可能である。また、サインの認識としては、データを制御信号送受信部２５０から受信し、ＳＶＭ（サポートベクターマシン）やニューラルネット等の人工知能的な手法やベイジアンネットワーク等の統計的な手法等の、比較的複雑な計算が必要なものの、精度の高いサインや手書き文字の認識を行う。また、ヒューリスティックな手法等を用いることもできる。認識したサインや手書き文字の結果は、リモコン１０に送信することができる。
録画／再生処理部２８０は、予約処理部２０４が作成した予約データ２２７を基に、所定時間に録画処理を行って、電子番組表データ２２５を作成したり、再生処理により電子番組表データ２２５を再生するための部位である。また、録画／再生処理部２８０は、電子番組表データ２２５を再生して表示部２４０に表示する機能も備えている。
チューナ部２９０は、一般的なデジタル放送用のチューナとデジタル放送の放送電波を複合してＴＳ（トランスポート・ストリーム）データへの変換を行う部位である。我が国の地上デジタル放送の例では、ＨＤ（高精細）やＳＤ（標準解像度）の通常のデジタル放送と、電界強度が低くても受信可能なワンセグ放送の電波とを受信してＴＳデータに変換可能である。すなわち、チューナ部２９０は、通常のデジタル放送と、ワンセグ放送とをＴＳデータとして同時に受信可能である。加えて、チューナ部２９０は複数のチューナを備えていて、地上デジタル放送の場合は、視聴しているチャンネルのみならず他のチャンネルのＴＳデータを時分割で切り換えて取得するように構成することが好適である。
チューナ部２９０は、一般的なデジタル放送用のチューナとデジタル放送の放送電波を複合してＴＳ（トランスポート・ストリーム）データへの変換を行う部位である。我が国の地上デジタル放送の例では、ＨＤ（高精細）やＳＤ（標準解像度）の通常のデジタル放送と、電界強度が低くても受信可能なワンセグ放送の電波とを受信してＴＳデータに変換可能である。すなわち、チューナ部２９０は、通常のデジタル放送と、ワンセグ放送とをＴＳデータとして同時に受信可能である。加えて、チューナ部２９０は複数のチューナを備えていて、地上デジタル放送の場合は、視聴しているチャンネルのみならず他のチャンネルのＴＳデータを時分割で切り換えて取得するように構成することが好適である。
なお、リモコン画面データ作成部２０２と、予約処理部２０４と、確認画面描画部２６０と、音声合成部２６５と、サイン計算部２７０と、録画／再生処理部２８０とは、ＲＡＭやＲＯＭやフラッシュメモリやＨＤＤ等の記憶部に記憶されたプログラムを、表示装置２０のＣＰＵ等の制御部が実行するように構成することもできる。
〔制御システムＸの制御処理〕
次に、図４〜図１２を参照して、リモコン１０と表示装置２０とを用いた、表示装置２０の制御処理について説明する。
上述したように、表示装置２０は、高機能な液晶テレビジョン受信機等であり、通常のデジタル放送の表示機能部位と、録画／再生機能部位とを備えている。このように高機能な機器の操作を行う際に、タッチパネルを備えたリモコン１０でサインを入力し、表示装置２０の高度な演算能力を用いて補正を行って、リモコン１０で補正されたサインの軌跡データを用いてサイン認識を行うことで、高い精度でサイン認識を行うことができ、ユーザーが注意を払ってサイン入力をする必要性を減らすことができ、操作性を大幅に向上させることができるという効果が得られる。
また、制御システムＸにおいては、非階層的なメニュー画面等を用いて操作を行うことで、より操作性が高い制御を行うことができる。これにより、ユーザーの使い勝手がよくなるという効果が得られる。
以下で図４のフローチャートを参照して、本発明の実施の形態に係る制御処理について詳しく説明する。
次に、図４〜図１２を参照して、リモコン１０と表示装置２０とを用いた、表示装置２０の制御処理について説明する。
上述したように、表示装置２０は、高機能な液晶テレビジョン受信機等であり、通常のデジタル放送の表示機能部位と、録画／再生機能部位とを備えている。このように高機能な機器の操作を行う際に、タッチパネルを備えたリモコン１０でサインを入力し、表示装置２０の高度な演算能力を用いて補正を行って、リモコン１０で補正されたサインの軌跡データを用いてサイン認識を行うことで、高い精度でサイン認識を行うことができ、ユーザーが注意を払ってサイン入力をする必要性を減らすことができ、操作性を大幅に向上させることができるという効果が得られる。
また、制御システムＸにおいては、非階層的なメニュー画面等を用いて操作を行うことで、より操作性が高い制御を行うことができる。これにより、ユーザーの使い勝手がよくなるという効果が得られる。
以下で図４のフローチャートを参照して、本発明の実施の形態に係る制御処理について詳しく説明する。
（ステップＳ２０１）
まず、表示装置２０において、リモコン情報処理部２００のリモコン画面データ作成部２０２は、操作マークデータ送信処理を行う。
具体的には、リモコン情報処理部２００は、操作マークデータ１２４を取得して、リモコン１０へ転送する。
表示装置２０は、上述したように、デジタル放送の表示機能部位と、録画／再生機能部位とを備えているために、それぞれの機能部位に対応した操作マークの画像データを含む操作マークデータ１２４が記憶部２２０に記憶されている。
以下で、デジタル放送の表示機能部位を「四角」のアイコン画像を用いた操作マークとし、録画／再生機能部位を「丸」のアイコン画像を用いた操作マークである例について説明する。
なお、この操作機器選択データ送信処理は、リモコン１０に対応した機器である録画／再生装置３０、照明器具４０においても同様に実行することができる。この際には、後述するように、リモコン１０の表示部１４０に、この操作機器選択データで送信された各機器のアイコン等の操作マークが表示されて、ユーザーがこの操作マークを押下することでその機器や機能部位を選択可能である。
まず、表示装置２０において、リモコン情報処理部２００のリモコン画面データ作成部２０２は、操作マークデータ送信処理を行う。
具体的には、リモコン情報処理部２００は、操作マークデータ１２４を取得して、リモコン１０へ転送する。
表示装置２０は、上述したように、デジタル放送の表示機能部位と、録画／再生機能部位とを備えているために、それぞれの機能部位に対応した操作マークの画像データを含む操作マークデータ１２４が記憶部２２０に記憶されている。
以下で、デジタル放送の表示機能部位を「四角」のアイコン画像を用いた操作マークとし、録画／再生機能部位を「丸」のアイコン画像を用いた操作マークである例について説明する。
なお、この操作機器選択データ送信処理は、リモコン１０に対応した機器である録画／再生装置３０、照明器具４０においても同様に実行することができる。この際には、後述するように、リモコン１０の表示部１４０に、この操作機器選択データで送信された各機器のアイコン等の操作マークが表示されて、ユーザーがこの操作マークを押下することでその機器や機能部位を選択可能である。
（タイミングＴ３０１）
ここで、リモコン画面データ作成部２０２は、制御信号送受信部２５０から、操作マークデータ１２４を、赤外線や電波にて送信する。
リモコン１０の制御部１００は、制御信号送受信部１５０からリモコン画面データ１２２を受信すると、操作マークデータ１２４として記憶部１２０に記憶する。
ここで、リモコン画面データ作成部２０２は、制御信号送受信部２５０から、操作マークデータ１２４を、赤外線や電波にて送信する。
リモコン１０の制御部１００は、制御信号送受信部１５０からリモコン画面データ１２２を受信すると、操作マークデータ１２４として記憶部１２０に記憶する。
（ステップＳ１０１）
リモコン１０の機種選択部１２１は、操作機器／機能部位選択処理を行う。
図５を参照して具体的に説明すると、まず、機種選択部１２１の指示を受けたマーク描画部１８２は、この操作マークデータ１２４からアイコン画像データや関連づけられた情報等を抽出する。そして、マーク描画部１８２は、リモコン画面描画部１８０のマーク描画部１８２が表示部１４０にボタン等として描画する。
マーク描画部１８２は、表示部１４０に、表示装置２０のデジタル放送の表示機能部位を示す「四角」のアイコン５１０をタッチパネルのボタンとして描画する。また、マーク描画部１８２は、表示装置２０の録画／再生機能部位を示す「円」（縁あり円）のアイコン５２０も、同様にボタンとして描画する。さらに、ここでは、録画／再生装置３０の「円」（縁なし円）のアイコン５３０を表示している。加えて、画面内に収まらないときにリモコン画面に他のアイコンがある場合には、スクロールの方向を指示する矢印５４０が描画されている。
ユーザーは、これらのアイコンのうち、いずれかを押下することで、操作するための機器や機能部位を選択することができる。
リモコン１０の機種選択部１２１は、操作機器／機能部位選択処理を行う。
図５を参照して具体的に説明すると、まず、機種選択部１２１の指示を受けたマーク描画部１８２は、この操作マークデータ１２４からアイコン画像データや関連づけられた情報等を抽出する。そして、マーク描画部１８２は、リモコン画面描画部１８０のマーク描画部１８２が表示部１４０にボタン等として描画する。
マーク描画部１８２は、表示部１４０に、表示装置２０のデジタル放送の表示機能部位を示す「四角」のアイコン５１０をタッチパネルのボタンとして描画する。また、マーク描画部１８２は、表示装置２０の録画／再生機能部位を示す「円」（縁あり円）のアイコン５２０も、同様にボタンとして描画する。さらに、ここでは、録画／再生装置３０の「円」（縁なし円）のアイコン５３０を表示している。加えて、画面内に収まらないときにリモコン画面に他のアイコンがある場合には、スクロールの方向を指示する矢印５４０が描画されている。
ユーザーは、これらのアイコンのうち、いずれかを押下することで、操作するための機器や機能部位を選択することができる。
また、図５の例によれば、マーク描画部１８２は、同様の機能を備える機器については、同様のアイコンを用いて、描画上の変化を与えることで、選択する機器を簡単に識別できるようにすることができる。
この描画上の変化としては、マーク描画部１８２は、例えば、アイコンの描画時に、アイコンの外周部を縁取りしたり、縁取りした外周部の枠内の色を中心部の枠内の色と異ならせたり、あるいはアイコンの形状や大きさ、色調を変化させる等の差異をつけて描画することができる。
図５においては、マーク描画部１８２は、録画／再生機能を備える、表示装置２０の録画／再生機能部位を示すアイコン５２０と、表示装置２０の外部に接続された録画／再生装置３０を示すアイコン５３０とにおいて、描画上の変化の変化をつけて表示している。この例では、複数の同様の機能を備える機器がある場合に、内蔵機器の機能部位については「縁取り（二重線）」でアイコン５２０のように表示し、単独の機器の場合は縁取りなしのアイコン５３０のように表示する。すなわち、単独の機器を単純な図柄で表示し、複数の機能部位を備える機器で機能部位を選択させる場合には修飾した図柄で表示するといったように、アイコンの表示に変化を与えた描画する。
これにより、機器に内蔵されている機能部位と、単独で使用する機器との選択をより容易に行うことが可能となる。
この描画上の変化としては、マーク描画部１８２は、例えば、アイコンの描画時に、アイコンの外周部を縁取りしたり、縁取りした外周部の枠内の色を中心部の枠内の色と異ならせたり、あるいはアイコンの形状や大きさ、色調を変化させる等の差異をつけて描画することができる。
図５においては、マーク描画部１８２は、録画／再生機能を備える、表示装置２０の録画／再生機能部位を示すアイコン５２０と、表示装置２０の外部に接続された録画／再生装置３０を示すアイコン５３０とにおいて、描画上の変化の変化をつけて表示している。この例では、複数の同様の機能を備える機器がある場合に、内蔵機器の機能部位については「縁取り（二重線）」でアイコン５２０のように表示し、単独の機器の場合は縁取りなしのアイコン５３０のように表示する。すなわち、単独の機器を単純な図柄で表示し、複数の機能部位を備える機器で機能部位を選択させる場合には修飾した図柄で表示するといったように、アイコンの表示に変化を与えた描画する。
これにより、機器に内蔵されている機能部位と、単独で使用する機器との選択をより容易に行うことが可能となる。
アイコンを描画した後、機種選択部１２１は、入力部１６０からユーザーがどのアイコンを選択したかを検知する。
なお、選択可能な機器や機能部位が１種類だけの場合には、このステップＳ１０１を省略することができる。
また、これらのアイコンについては、ユーザーが各機器の設定機能を用いて、アイコンの画像そのものを選択することも可能である。これにより、同じ機器が複数備えられている場合でも、よりはっきりと区別して選択して操作することができる。
なお、選択可能な機器や機能部位が１種類だけの場合には、このステップＳ１０１を省略することができる。
また、これらのアイコンについては、ユーザーが各機器の設定機能を用いて、アイコンの画像そのものを選択することも可能である。これにより、同じ機器が複数備えられている場合でも、よりはっきりと区別して選択して操作することができる。
（タイミングＴ３０２）
ここで、機種選択部１２１は、ユーザーが選択した機器や機能部位に対応するリモコン画面データ１２２が存在するか否かを確認して、リモコン画面データ１２２が存在しない場合には、リモコン画面データ１２２送信依頼のコマンドを制御信号送受信部１５０から送信する。以下では、表示装置２０に対して、このコマンドを送信した例について説明する。
なお、ユーザーが選択した機器や機能部位に対応するリモコン画面データ１２２が既に記憶部１２０に記憶されている場合には、機種選択部１２１はコマンドを送信せず、すぐに処理をステップＳ１０２のリモコン画面データ表示処理に進める。
ここで、機種選択部１２１は、ユーザーが選択した機器や機能部位に対応するリモコン画面データ１２２が存在するか否かを確認して、リモコン画面データ１２２が存在しない場合には、リモコン画面データ１２２送信依頼のコマンドを制御信号送受信部１５０から送信する。以下では、表示装置２０に対して、このコマンドを送信した例について説明する。
なお、ユーザーが選択した機器や機能部位に対応するリモコン画面データ１２２が既に記憶部１２０に記憶されている場合には、機種選択部１２１はコマンドを送信せず、すぐに処理をステップＳ１０２のリモコン画面データ表示処理に進める。
（ステップＳ２０２）
表示装置２０のリモコン情報処理部２００のリモコン画面データ作成部２０２は、リモコン画面データ作成処理を行う。
このリモコン画面データ１２２は、後述するようにリモコン１０の表示部１４０よりも大きく表示されるような非階層的なメニュー画面のデータであるリモコン画面データ１２２を作成する。
このリモコン画面データ１２２は、記述言語を用いて、各機器や各機能の状態や操作に係る変化等をリモコン１０で表現できるようなデータとして作成する。さらに、リモコン画面データ１２２は、サイン入力に対応したフォームや、メニュー画面上で表示される画像データ等についても、リモコン画面データ１２２に含めて作成することができる。また、リモコン画面データ１２２は、リモコン１０の表示部１４０やタッチセンサの機能等により、配置等を最適化して作成する。
加えて、表示装置２０のリモコン画面データ作成部２０２は、各機能や個別のフォームやボタン等について、「拡大率」のパラメータを指定する。後述のスクロール処理の際には、その座標が近づくと、最大で「拡大率」まで拡大して表示することができる。この「拡大率」については、リモコン画面データ１２２に、所定のグリッド座標等を備えて、この座標毎に指定してもよい。
また、リモコン画面データ１２２は、リモコン１０で最初に表示される所定の座標情報を含めておく。例えば、この所定の座標情報としては、リモコン画面データ１２２の左上の座標等を設定することができる。
さらに、リモコン画面データ１２２には、電子ペットデータ２２８のうち、リモコン１０での電子ペットによる操作や電子ペットの成長のパラメータのデータ等の電子ペット用情報を含ませることができる。
表示装置２０のリモコン情報処理部２００のリモコン画面データ作成部２０２は、リモコン画面データ作成処理を行う。
このリモコン画面データ１２２は、後述するようにリモコン１０の表示部１４０よりも大きく表示されるような非階層的なメニュー画面のデータであるリモコン画面データ１２２を作成する。
このリモコン画面データ１２２は、記述言語を用いて、各機器や各機能の状態や操作に係る変化等をリモコン１０で表現できるようなデータとして作成する。さらに、リモコン画面データ１２２は、サイン入力に対応したフォームや、メニュー画面上で表示される画像データ等についても、リモコン画面データ１２２に含めて作成することができる。また、リモコン画面データ１２２は、リモコン１０の表示部１４０やタッチセンサの機能等により、配置等を最適化して作成する。
加えて、表示装置２０のリモコン画面データ作成部２０２は、各機能や個別のフォームやボタン等について、「拡大率」のパラメータを指定する。後述のスクロール処理の際には、その座標が近づくと、最大で「拡大率」まで拡大して表示することができる。この「拡大率」については、リモコン画面データ１２２に、所定のグリッド座標等を備えて、この座標毎に指定してもよい。
また、リモコン画面データ１２２は、リモコン１０で最初に表示される所定の座標情報を含めておく。例えば、この所定の座標情報としては、リモコン画面データ１２２の左上の座標等を設定することができる。
さらに、リモコン画面データ１２２には、電子ペットデータ２２８のうち、リモコン１０での電子ペットによる操作や電子ペットの成長のパラメータのデータ等の電子ペット用情報を含ませることができる。
（タイミングＴ３０３）
そして、リモコン画面データ作成部２０２は、作成したリモコン画面データを１２２を制御信号送受信部２５０からリモコン１０へ送信する。
リモコン１０の制御部１００が表示装置２０からリモコン画面データ１２２を受信して記憶部１２０のリモコン画面データ１２２に記憶する。また、所定の座標情報についても、記憶部１２０に記憶する。加えて、電子ペット用データを、電子ペット操作データ１２７に記憶する。
そして、リモコン画面データ作成部２０２は、作成したリモコン画面データを１２２を制御信号送受信部２５０からリモコン１０へ送信する。
リモコン１０の制御部１００が表示装置２０からリモコン画面データ１２２を受信して記憶部１２０のリモコン画面データ１２２に記憶する。また、所定の座標情報についても、記憶部１２０に記憶する。加えて、電子ペット用データを、電子ペット操作データ１２７に記憶する。
（ステップＳ１０２）
ここで、リモコン１０のリモコン画面描画部１８０のメニュー描画部１８４は、リモコン画面データ表示処理を行う。
具体的には、メニュー描画部１８４は、リモコン画面データ１２２を読み出して、記憶部１２０の表示部１４０用のバッファー画面に描画を行う。
この際に、メニュー描画部１８４は、表示部１４０用よりも大きなリモコン画面データ１２２のメニュー画面等をすべて描画せず、上述の所定の座標情報に従って、表示部１４０の表示解像度や表示面積の分だけ描画する。また、メニュー描画部１８４は、この描画した座標を画面座標データ１２５に記憶する。
なお、メニュー描画部１８４は、リモコン１０の記憶部１２０の容量に余裕がある場合には、リモコン画面データ１２２のメニュー画面等をバッファー画面にすべて描画することも可能である。この場合は、入力部１６０のドラッグ部１６２にてメニュー画面をスクロールさせる際に、メニュー画面を再描画せずに矩形コピーやラスタースクロール等で対応できるために、表示スピードが速く操作性が良くなるという効果が得られる。
ここで、リモコン１０のリモコン画面描画部１８０のメニュー描画部１８４は、リモコン画面データ表示処理を行う。
具体的には、メニュー描画部１８４は、リモコン画面データ１２２を読み出して、記憶部１２０の表示部１４０用のバッファー画面に描画を行う。
この際に、メニュー描画部１８４は、表示部１４０用よりも大きなリモコン画面データ１２２のメニュー画面等をすべて描画せず、上述の所定の座標情報に従って、表示部１４０の表示解像度や表示面積の分だけ描画する。また、メニュー描画部１８４は、この描画した座標を画面座標データ１２５に記憶する。
なお、メニュー描画部１８４は、リモコン１０の記憶部１２０の容量に余裕がある場合には、リモコン画面データ１２２のメニュー画面等をバッファー画面にすべて描画することも可能である。この場合は、入力部１６０のドラッグ部１６２にてメニュー画面をスクロールさせる際に、メニュー画面を再描画せずに矩形コピーやラスタースクロール等で対応できるために、表示スピードが速く操作性が良くなるという効果が得られる。
（ステップＳ１０３）
また、リモコン１０のサイン認識部１７０は、メニュー画面にサインを描画する箇所がある場合には、サイン入力処理を行う。
本発明の実施の形態に係る制御システムＸでは、タッチパネルに指またはタッチペン等で書き込まれた、文字、マーク、矢印等を含むサインを認識することができる。そして、このサインに対応して、それぞれの機器を制御するための制御信号を送信する。
図６を参照して説明すると、リモコン１０のサイン認識部１７０は、タッチパネルの特定の座標を「サイン入力フォーム」のような描画領域として、ユーザーの入力を検知する。図６のサイン入力フォーム６１０は、デジタル放送の表示機能部位用のアイコンそのものを、サイン入力フォームとして用いた例である。
また、リモコン１０のサイン認識部１７０は、メニュー画面にサインを描画する箇所がある場合には、サイン入力処理を行う。
本発明の実施の形態に係る制御システムＸでは、タッチパネルに指またはタッチペン等で書き込まれた、文字、マーク、矢印等を含むサインを認識することができる。そして、このサインに対応して、それぞれの機器を制御するための制御信号を送信する。
図６を参照して説明すると、リモコン１０のサイン認識部１７０は、タッチパネルの特定の座標を「サイン入力フォーム」のような描画領域として、ユーザーの入力を検知する。図６のサイン入力フォーム６１０は、デジタル放送の表示機能部位用のアイコンそのものを、サイン入力フォームとして用いた例である。
このように、各機能に係るアイコンを入力フォームとすると、各機能のアイコンと操作のためのサインとの結びつきを一目で理解することができる。
このため、ユーザーは、例えば、「四角」のアイコンを四角の描画領域に用いると、デジタル放送の表示機能を示していることが分かる。すなわち、四角の表示領域に、チャンネル番号の数字、音量アップ／マイナスの「＋」「−」、データ放送に係る「Ｄ」といったコマンド用のサインを描画可能である。
また、例えば、「円」のアイコンを円形の描画領域に用いると、録画／再生機能について操作することが分かる。これにより、円形の描画領域に「ｒ」のサインを描いて録画を指示し、「ｐ」のサインを描いて再生を指示することができる。
このため、ユーザーは、例えば、「四角」のアイコンを四角の描画領域に用いると、デジタル放送の表示機能を示していることが分かる。すなわち、四角の表示領域に、チャンネル番号の数字、音量アップ／マイナスの「＋」「−」、データ放送に係る「Ｄ」といったコマンド用のサインを描画可能である。
また、例えば、「円」のアイコンを円形の描画領域に用いると、録画／再生機能について操作することが分かる。これにより、円形の描画領域に「ｒ」のサインを描いて録画を指示し、「ｐ」のサインを描いて再生を指示することができる。
具体的には、図６の例では、サイン認識部１７０は、ユーザーが指やスタイラスペン等でこのサイン入力フォーム６１０をなぞると、例えば指で描くにつれ、タッチした始点の位置から描画中のなぞられた座標を検知する。
そして、サイン認識部１７０は、検知したサインの座標の変化等を軌跡としてサイン入力フォーム６１０に描画し、表示部１４０に表示することができる。
図６の例では、サイン認識部１７０は、ユーザーのタッチパネルからの入力を検知して、そのまま描画したサインの軌跡６５０を描画する。
そして、サイン認識部１７０は、検知したサインの座標の変化等を軌跡としてサイン入力フォーム６１０に描画し、表示部１４０に表示することができる。
図６の例では、サイン認識部１７０は、ユーザーのタッチパネルからの入力を検知して、そのまま描画したサインの軌跡６５０を描画する。
（タイミングＴ３０４）
ここで、リモコン１０の制御部１００の処理能力が低く、表示装置２０でサイン認識を行う場合には、サインの座標の軌跡データを表示装置２０へ逐次送信する。
ここで、サイン認識部１７０は、サインの座標の軌跡データを制御信号送受信部１５０から送信する。
表示装置２０の制御信号送受信部２５０は、座標の軌跡データを受け取り、サイン計算部２７０に送信する。
ここで、リモコン１０の制御部１００の処理能力が低く、表示装置２０でサイン認識を行う場合には、サインの座標の軌跡データを表示装置２０へ逐次送信する。
ここで、サイン認識部１７０は、サインの座標の軌跡データを制御信号送受信部１５０から送信する。
表示装置２０の制御信号送受信部２５０は、座標の軌跡データを受け取り、サイン計算部２７０に送信する。
（ステップＳ２０３）
表示装置２０のサイン計算部２７０は、軌跡データ補正処理を行う。
この軌跡データ補正処理としては、サイン計算部２７０は、サイン認識を成功させるために、座標のぶれ等を抑えるため、座標の軌跡データの平均化、加速度の予測判別計算等による線分の正規化、ベイジアンネットワークによる線分の移動軌跡の確率計算などの処理を行う。
この軌跡データ補正処理により、サイン計算部２７０は、座標のぶれが補正されて、誤差の少ない補正された軌跡データを得ることができる。
このように、表示装置２０のサイン計算部２７０のような高度な計算処理能力を用いて座標の軌跡データを補正するために、ユーザーがリモコン１０のタッチパネルを多少荒っぽく描画しても、誤差の少ない描画データをリモコンへ返すことができる。これにより、サインの認識精度が向上する。
また、この補正された軌跡データには、座標のデータ以外の動作状況のデータについても含ませることができる。これにより、後述するリモコン１０のアイコン状態変化処理により、表示装置２０の状態を表示可能である。
表示装置２０のサイン計算部２７０は、軌跡データ補正処理を行う。
この軌跡データ補正処理としては、サイン計算部２７０は、サイン認識を成功させるために、座標のぶれ等を抑えるため、座標の軌跡データの平均化、加速度の予測判別計算等による線分の正規化、ベイジアンネットワークによる線分の移動軌跡の確率計算などの処理を行う。
この軌跡データ補正処理により、サイン計算部２７０は、座標のぶれが補正されて、誤差の少ない補正された軌跡データを得ることができる。
このように、表示装置２０のサイン計算部２７０のような高度な計算処理能力を用いて座標の軌跡データを補正するために、ユーザーがリモコン１０のタッチパネルを多少荒っぽく描画しても、誤差の少ない描画データをリモコンへ返すことができる。これにより、サインの認識精度が向上する。
また、この補正された軌跡データには、座標のデータ以外の動作状況のデータについても含ませることができる。これにより、後述するリモコン１０のアイコン状態変化処理により、表示装置２０の状態を表示可能である。
（タイミングＴ３０５）
ここで、サイン計算部２７０は、補正された軌跡データを制御信号送受信部２５０から送信して、リモコン１０へ返す。
リモコン１０の制御信号送受信部１５０は、この補正された軌跡データを受信して、サイン認識部１７０に送信する。
ここで、サイン計算部２７０は、補正された軌跡データを制御信号送受信部２５０から送信して、リモコン１０へ返す。
リモコン１０の制御信号送受信部１５０は、この補正された軌跡データを受信して、サイン認識部１７０に送信する。
（ステップＳ１０４）
ここで、サイン認識部１７０は、サイン認識処理を行う。
図７を参照すると、まず、サイン認識部１７０は、補正された軌跡データを、例えば色別表示して描画する。この色別表示としては、元々のサインの軌跡とは違う赤色のような色で表示したり、太い白黒二色表示にて描画することが可能である。図７の補正されたサインの座標の軌跡７５０は、この補正された軌跡データを描画して表示部１４０に表示した例である。このように、補正された軌跡データを表示することで、ユーザーの意図に沿った綺麗なサインを表示できる。
この上で、サイン認識部１７０は、補正された軌跡データを基に、サイン等を認識するサイン認識を行う。
このサイン認識としては、図６と図７の例では、サインとして「３」すなわち、チャンネルを「３」番に変更するようなサインを認識する。
そして、サイン認識部１７０は、認識したサインについて、実際に記憶部１２０に記憶されたフォントデータやサインの描画用ベクトルデータ（図示せず）を用いて、補正された軌跡データにできるだけ重なるように計算して描画することも可能である。
ここで、サイン認識部１７０は、サイン認識処理を行う。
図７を参照すると、まず、サイン認識部１７０は、補正された軌跡データを、例えば色別表示して描画する。この色別表示としては、元々のサインの軌跡とは違う赤色のような色で表示したり、太い白黒二色表示にて描画することが可能である。図７の補正されたサインの座標の軌跡７５０は、この補正された軌跡データを描画して表示部１４０に表示した例である。このように、補正された軌跡データを表示することで、ユーザーの意図に沿った綺麗なサインを表示できる。
この上で、サイン認識部１７０は、補正された軌跡データを基に、サイン等を認識するサイン認識を行う。
このサイン認識としては、図６と図７の例では、サインとして「３」すなわち、チャンネルを「３」番に変更するようなサインを認識する。
そして、サイン認識部１７０は、認識したサインについて、実際に記憶部１２０に記憶されたフォントデータやサインの描画用ベクトルデータ（図示せず）を用いて、補正された軌跡データにできるだけ重なるように計算して描画することも可能である。
なお、サイン認識部１７０は、この座標の軌跡の情報から、線の長さや傾きや曲線の方向の変化割合等の特徴量を抽出して、表示装置２０に座標の軌跡データを送らずに、ヒューリスティックな手法等を用いて、サインを認識することも可能である。これにより、なんらかの状況で表示装置２０と接続できない場合に対応することができる。
また、表示装置２０のサイン計算部２７０は、サポートベクターマシン等の高度な演算を必要とする手法を用いてサインの認識を行って、その認識結果をリモコン１０に送信するような構成も可能である。
また、表示装置２０のサイン計算部２７０は、サポートベクターマシン等の高度な演算を必要とする手法を用いてサインの認識を行って、その認識結果をリモコン１０に送信するような構成も可能である。
サインの認識を行った後、サイン認識部１７０は、所定の時間、ユーザーがタッチパネルを押下して「いない」ことを検知する。
ここで、ユーザーは、確定後に指やスタイラスペン等を離して、別のサインを描画することで、複数のコマンドを実行する「マクロ」を実現することができる。
図８を参照して説明すると、例えば、表示装置２０の録画／再生機能部位が選択された後、「円」アイコンをサイン入力フォーム８１０とした例について説明する。
ユーザーが指やスタイラスペン等で「ｒ」のサインを描いた場合には、サインの軌跡８５０のデータが入力される。
この後、サイン認識が行われた後、ユーザーがさらに、例えば「８」のサインの座標の軌跡を描いたことをサイン認識部１７０が検出した場合には、この「８」のサイン認識も行う。
この上で、サイン認識部１７０は、「ｒ（ｅｃｏｒｄ） ８（ｃｈ）」という「マクロ」の指示であることを認識する。すなわち、ユーザーは、タッチパネルに「ｒ」を描いた後「８」を描けば、「８チャンネル」を録画することができる。
このような「マクロ」については、リモコン１０の記憶部１２０に予めユーザーが設定していておき、サイン認識部１７０は、マクロそのものを認識して、そのマクロに対応するコマンドを下記の「確定モード」になったと判断したときに送信する。
ここで、ユーザーは、確定後に指やスタイラスペン等を離して、別のサインを描画することで、複数のコマンドを実行する「マクロ」を実現することができる。
図８を参照して説明すると、例えば、表示装置２０の録画／再生機能部位が選択された後、「円」アイコンをサイン入力フォーム８１０とした例について説明する。
ユーザーが指やスタイラスペン等で「ｒ」のサインを描いた場合には、サインの軌跡８５０のデータが入力される。
この後、サイン認識が行われた後、ユーザーがさらに、例えば「８」のサインの座標の軌跡を描いたことをサイン認識部１７０が検出した場合には、この「８」のサイン認識も行う。
この上で、サイン認識部１７０は、「ｒ（ｅｃｏｒｄ） ８（ｃｈ）」という「マクロ」の指示であることを認識する。すなわち、ユーザーは、タッチパネルに「ｒ」を描いた後「８」を描けば、「８チャンネル」を録画することができる。
このような「マクロ」については、リモコン１０の記憶部１２０に予めユーザーが設定していておき、サイン認識部１７０は、マクロそのものを認識して、そのマクロに対応するコマンドを下記の「確定モード」になったと判断したときに送信する。
また、所定時間経過後に、ユーザーがタッチパネルを押下しなくなった場合には、表示装置２０への送信と補正された軌跡データの描画である色別表示を停止する。この際に、サイン認識部１７０は、ユーザーがサイン入力を終了したと推定し、サイン認識の「確定」を行う。また、入力部１６０のボタン等を用いて、サインの「確定」を行ってもよい。
このように「確定」した場合は、サイン認識部１７０は、「確定モード」になったと判定して、認識したサインに対応するコマンドを選択された機器に送信する。
なお、マクロが設定されておらずに、ユーザーがサインを複数指やスタイラスペン等で描いた場合には、認識したサインを、逐次、表示装置２０等の機器に送信するように構成することもできる。この際に、サイン認識部１７０は、当然、サインが２個以上ある場合でも、送信可能である。
このように「確定」した場合は、サイン認識部１７０は、「確定モード」になったと判定して、認識したサインに対応するコマンドを選択された機器に送信する。
なお、マクロが設定されておらずに、ユーザーがサインを複数指やスタイラスペン等で描いた場合には、認識したサインを、逐次、表示装置２０等の機器に送信するように構成することもできる。この際に、サイン認識部１７０は、当然、サインが２個以上ある場合でも、送信可能である。
（ステップＳ１０５）
ここで、サイン認識部１７０は、アイコン状態変化処理を行う。
具体的に説明すると、この処理において、サイン認識部１７０の指示を受けたマーク描画部１８２は、上述の各機器や各機能から受信した、座標のデータ以外の動作状況のデータを用いて、アイコンの描画状態を変化させて描画する。これにより、各機器や各機能の状態を視覚的に容易に把握することが可能になる。
図９を参照して具体的に説明すると、表示装置２０の録画／再生機能部位が選択されている際に、動作状況をリモコン１０の表示部１４０に表示する例を示している。
ここでは、サイン認識部１７０は、表示装置２０に内蔵の録画／再生機能の動作状況として録画指示又録画中である場合、例えば、アイコン１０２１のように、縁取りありの円を赤く表示するように指示する。
また、表示装置２０に内蔵の録画／再生機能の動作状況として録画／再生を停止している停止モードの際には、例えば、アイコン１０２２のように、縁取りありの円を黒く表示するように指示する。
また、録画／再生装置３０の動作状況として再生指示又は再生中の場合は、アイコン１０３１のように、縁取りなしの円を青く表示するように指示する。
また、録画／再生装置３０の動作状況として一時停止中の際には、例えば、アイコン１０３２のように、縁取りなしの円を灰色で表示するように指示する。
マーク描画部１８２は、これらの指示をうけて、リモコン画面データ１２２の状態表示用のデータを変更し、それぞれの指示に従ってアイコンを変化させて描画する。
なお、このリモコン１０の表示部１４０のアイコンと、各機器のＬＥＤ等の動作状態表示を行う表示部の動作とを連動することも可能である。たとえば、録画／再生装置３０において、アイコン１０３１が表示されている場合には、録画／再生装置３０に備えられた円型の表示部を青く光って表示することができる。
また、上述のサイン認識処理とアイコン状態変化処理とは、同時に行うことができる。
ここで、サイン認識部１７０は、アイコン状態変化処理を行う。
具体的に説明すると、この処理において、サイン認識部１７０の指示を受けたマーク描画部１８２は、上述の各機器や各機能から受信した、座標のデータ以外の動作状況のデータを用いて、アイコンの描画状態を変化させて描画する。これにより、各機器や各機能の状態を視覚的に容易に把握することが可能になる。
図９を参照して具体的に説明すると、表示装置２０の録画／再生機能部位が選択されている際に、動作状況をリモコン１０の表示部１４０に表示する例を示している。
ここでは、サイン認識部１７０は、表示装置２０に内蔵の録画／再生機能の動作状況として録画指示又録画中である場合、例えば、アイコン１０２１のように、縁取りありの円を赤く表示するように指示する。
また、表示装置２０に内蔵の録画／再生機能の動作状況として録画／再生を停止している停止モードの際には、例えば、アイコン１０２２のように、縁取りありの円を黒く表示するように指示する。
また、録画／再生装置３０の動作状況として再生指示又は再生中の場合は、アイコン１０３１のように、縁取りなしの円を青く表示するように指示する。
また、録画／再生装置３０の動作状況として一時停止中の際には、例えば、アイコン１０３２のように、縁取りなしの円を灰色で表示するように指示する。
マーク描画部１８２は、これらの指示をうけて、リモコン画面データ１２２の状態表示用のデータを変更し、それぞれの指示に従ってアイコンを変化させて描画する。
なお、このリモコン１０の表示部１４０のアイコンと、各機器のＬＥＤ等の動作状態表示を行う表示部の動作とを連動することも可能である。たとえば、録画／再生装置３０において、アイコン１０３１が表示されている場合には、録画／再生装置３０に備えられた円型の表示部を青く光って表示することができる。
また、上述のサイン認識処理とアイコン状態変化処理とは、同時に行うことができる。
（タイミングＴ３０６）
ここで、サイン認識部１７０は、認識されたサインに係るコマンドを制御信号送受信部１５０から送信する。マクロの場合には、マクロに対応したコマンドを、逐次、各機器に送信する。
表示装置２０は、制御信号送受信部２５０からコマンドを受信すると、まずは確認画面描画部２６０へ送信する。
ここで、サイン認識部１７０は、認識されたサインに係るコマンドを制御信号送受信部１５０から送信する。マクロの場合には、マクロに対応したコマンドを、逐次、各機器に送信する。
表示装置２０は、制御信号送受信部２５０からコマンドを受信すると、まずは確認画面描画部２６０へ送信する。
（ステップＳ２０４）
ここで、確認画面描画部２６０は、確認・復唱処理を行う。
図１０を参照して説明すると、確認画面描画部２６０は、認識したサインに係るコマンドの説明を、表示部２４０に描画して表示する。
この際に、確認画面描画部２６０は、確認画面として、ダイアログボックス１１１０を描画する。図１０の例では、確認画面描画部２６０は、上述の図６と図７の例のように、表示装置２０のデジタル放送の表示機能においてチャンネルを「３」に変えることを、ダイアログボックス１１１０で示す。
また、確認画面描画部２６０は、電子ペット操作データ１２７を用いて、電子ペット１１２０を描画する。この電子ペットは、上述のダイアログボックス１１１０と同様の内容を、より親しみやすいような表現で「セリフ」として、表示することができる。
また、この確認・復唱処理としては、音声合成部２６５は、これらの「セリフ」を合成した音声を用いて出力することができる。
これにより、ユーザーがそのような機能やコマンドを実行しようとしていたのかを、ユーザーが容易に確認することが可能になる。すなわち、手書きのサインは、認識が十分にできない場合もあるので、不明なサインが入力されたような場合は、どのような機能やコマンドを入力したのかを明確にユーザーに認識させることができるという効果が得られる。また、電子ペットにてコマンドの確認・復唱を行うので、機器に対する親しみを持たせることができ、機械に応答されるうっとうしさを軽減することができる。
なお、この電子ペット復唱処理は、表示装置２０のように表示部２４０のような複雑な表示ができる表示部を持たない機器の場合には、音声合成部２６５を用いたような音声合成のみを使用して音声にて確認・復唱することも可能である。さらに、音声合成を行うハードウェアやソフトウェアを備えていない場合には、ブザー音やＬＥＤの点滅等で確認・復唱することもできる。そのような構成により、確認・復唱処理を行うコストを削減することができる。
ここで、確認画面描画部２６０は、確認・復唱処理を行う。
図１０を参照して説明すると、確認画面描画部２６０は、認識したサインに係るコマンドの説明を、表示部２４０に描画して表示する。
この際に、確認画面描画部２６０は、確認画面として、ダイアログボックス１１１０を描画する。図１０の例では、確認画面描画部２６０は、上述の図６と図７の例のように、表示装置２０のデジタル放送の表示機能においてチャンネルを「３」に変えることを、ダイアログボックス１１１０で示す。
また、確認画面描画部２６０は、電子ペット操作データ１２７を用いて、電子ペット１１２０を描画する。この電子ペットは、上述のダイアログボックス１１１０と同様の内容を、より親しみやすいような表現で「セリフ」として、表示することができる。
また、この確認・復唱処理としては、音声合成部２６５は、これらの「セリフ」を合成した音声を用いて出力することができる。
これにより、ユーザーがそのような機能やコマンドを実行しようとしていたのかを、ユーザーが容易に確認することが可能になる。すなわち、手書きのサインは、認識が十分にできない場合もあるので、不明なサインが入力されたような場合は、どのような機能やコマンドを入力したのかを明確にユーザーに認識させることができるという効果が得られる。また、電子ペットにてコマンドの確認・復唱を行うので、機器に対する親しみを持たせることができ、機械に応答されるうっとうしさを軽減することができる。
なお、この電子ペット復唱処理は、表示装置２０のように表示部２４０のような複雑な表示ができる表示部を持たない機器の場合には、音声合成部２６５を用いたような音声合成のみを使用して音声にて確認・復唱することも可能である。さらに、音声合成を行うハードウェアやソフトウェアを備えていない場合には、ブザー音やＬＥＤの点滅等で確認・復唱することもできる。そのような構成により、確認・復唱処理を行うコストを削減することができる。
（ステップＳ１０６）
ここで、リモコン１０にて、非階層的なメニュー画面等を操作するためのスクロール処理について説明する。
このスクロール処理は、リモコン１０の入力部１６０のドラッグ部１６２を用いて実現することができる。ドラッグ部１６２は、指やスタイラスペン等で押下したまま動かして離す「ドラッグ」を検知する。この際に、入力部１６０に備えられた、表示部１４０以外の箇所の「ドラッグ」を検知したり、指を押下して動かす加速度等を検出するタッチパッドの入力を行ってもよい。
制御部１００は、ドラッグ部１６２がドラッグを行った際に、ユーザーが画面上に描かれているサイン入力フォームやボタン等以外の箇所をドラッグしていたことを検知して、スクロール処理を行う。また、制御部１００は、タッチパネルに描画された、非階層的なメニュー画面の他のコマンドや機能へのアクセス（接近、呼び出し）をするための矢印等をユーザーが押下したことについても検知する。
ここで、リモコン１０にて、非階層的なメニュー画面等を操作するためのスクロール処理について説明する。
このスクロール処理は、リモコン１０の入力部１６０のドラッグ部１６２を用いて実現することができる。ドラッグ部１６２は、指やスタイラスペン等で押下したまま動かして離す「ドラッグ」を検知する。この際に、入力部１６０に備えられた、表示部１４０以外の箇所の「ドラッグ」を検知したり、指を押下して動かす加速度等を検出するタッチパッドの入力を行ってもよい。
制御部１００は、ドラッグ部１６２がドラッグを行った際に、ユーザーが画面上に描かれているサイン入力フォームやボタン等以外の箇所をドラッグしていたことを検知して、スクロール処理を行う。また、制御部１００は、タッチパネルに描画された、非階層的なメニュー画面の他のコマンドや機能へのアクセス（接近、呼び出し）をするための矢印等をユーザーが押下したことについても検知する。
図１１を参照すると、リモコン画面データ表示処理にて表示される、非階層的なメニュー画面として描画されるリモコン画面データ１２２の概念図を示している。
このリモコン画面データ１２２は、上述したように、まずは表示部１４０に所定の座標情報に従って、表示部１４０の表示解像度や表示面積の分、ビュー画面１２１０としてメニュー描画部１８４により描画される。つまり、リモコン画面データ１２２には、細分化された各機能に対応するボタン等の情報があり、そのボタン等の情報には座標データが付与されているために、座標によりリモコン画面データ１２２のどの部分を描画するかを決定するように構成することができる。
図１１の例では、表示装置２０の録画／再生機能部位が選択され、この録画／再生機能部位のさらに細分化された各機能に、非階層的なメニュー画面を用いてアクセスする例について示している。
この録画／再生機能の細分化された各機能としては、例えば、電子番組表機能、録画リスト機能、編集機能、電子ペット機能等を用いることができる。ここでは、電子番組表機能は、番組の録画予約を行ったり番組情報を閲覧するための機能である。また、録画リスト機能は、録画した番組のファイルをリスト状に表示してユーザーに選択させ、その選択されたファイルの再生、消去、ダビング等を行う機能である。編集機能は、選択されたファイルからカット編集等を行う機能である。電子ペット機能については後述する。
また、図１１には、電子番組表機能にアクセスするための矢印１２２１、録画リスト機能にアクセスするための矢印１２２２、編集機能にアクセスするための矢印１２２３、電子ペット機能にアクセスするための矢印１２２４がタッチパネル上で押下を検知するボタンとして描画されている。なお、この矢印は、ビュー画面１２１０から向かってどの方向にアクセスする機能があるのかを、メニュー描画部１８４が動的に更新して標示することもできる。
このリモコン画面データ１２２は、上述したように、まずは表示部１４０に所定の座標情報に従って、表示部１４０の表示解像度や表示面積の分、ビュー画面１２１０としてメニュー描画部１８４により描画される。つまり、リモコン画面データ１２２には、細分化された各機能に対応するボタン等の情報があり、そのボタン等の情報には座標データが付与されているために、座標によりリモコン画面データ１２２のどの部分を描画するかを決定するように構成することができる。
図１１の例では、表示装置２０の録画／再生機能部位が選択され、この録画／再生機能部位のさらに細分化された各機能に、非階層的なメニュー画面を用いてアクセスする例について示している。
この録画／再生機能の細分化された各機能としては、例えば、電子番組表機能、録画リスト機能、編集機能、電子ペット機能等を用いることができる。ここでは、電子番組表機能は、番組の録画予約を行ったり番組情報を閲覧するための機能である。また、録画リスト機能は、録画した番組のファイルをリスト状に表示してユーザーに選択させ、その選択されたファイルの再生、消去、ダビング等を行う機能である。編集機能は、選択されたファイルからカット編集等を行う機能である。電子ペット機能については後述する。
また、図１１には、電子番組表機能にアクセスするための矢印１２２１、録画リスト機能にアクセスするための矢印１２２２、編集機能にアクセスするための矢印１２２３、電子ペット機能にアクセスするための矢印１２２４がタッチパネル上で押下を検知するボタンとして描画されている。なお、この矢印は、ビュー画面１２１０から向かってどの方向にアクセスする機能があるのかを、メニュー描画部１８４が動的に更新して標示することもできる。
図１１の例では、ユーザーは、まず、タッチパネルのドラッグや矢印の押下を行う。これにより、メニュー描画部１８４は、表示部１４０に表示する座標を移動して表示する。
これにより、ビュー画面１２１０が移動して、電子番組表機能と録画リスト機能にアクセスすることができる。また、ドラッグや矢印の押下を行うことで、最初に描画される所定の座標よりも遠くの座標にある電子ペット機能や編集機能に、直接アクセスすることもできる。すなわち、階層的にいちいちボタンを何回も押下することなく、各機能に「シームレス」にアクセス可能となるため、使い勝手を向上させることができる。
加えて、各機能に「拡大率」が指定されている場合、この機能にユーザーがアクセスされると、メニュー描画部１８４は、最大でその「拡大率」まで拡大して標示する。これにより、さらに細分化された機能についてアクセスしやすくなるという効果が得られる。
図１１の例では、電子番組表機能と、録画リスト機能と、編集機能について、このような拡大を行うように設定している。
また、ユーザーが拡大された画面にてドラッグを行って別の座標に移動させると、今度は通常の大きさでビュー画面１２１０を表示する。
これにより、ビュー画面１２１０が移動して、電子番組表機能と録画リスト機能にアクセスすることができる。また、ドラッグや矢印の押下を行うことで、最初に描画される所定の座標よりも遠くの座標にある電子ペット機能や編集機能に、直接アクセスすることもできる。すなわち、階層的にいちいちボタンを何回も押下することなく、各機能に「シームレス」にアクセス可能となるため、使い勝手を向上させることができる。
加えて、各機能に「拡大率」が指定されている場合、この機能にユーザーがアクセスされると、メニュー描画部１８４は、最大でその「拡大率」まで拡大して標示する。これにより、さらに細分化された機能についてアクセスしやすくなるという効果が得られる。
図１１の例では、電子番組表機能と、録画リスト機能と、編集機能について、このような拡大を行うように設定している。
また、ユーザーが拡大された画面にてドラッグを行って別の座標に移動させると、今度は通常の大きさでビュー画面１２１０を表示する。
具体的に、電子番組表機能にアクセスした際には、メニュー描画部１８４は、小さく描画されていたビュー画面１２１０が、実際に電子番組表が表示される電子番組表フォームと、録画予約を行うボタン（録画予約）と、番組情報を表示するためのボタン（番組情報）等を表示する。
また、電子番組表フォームについては、拡大時に、実際の電子番組表の情報を、表示装置２０に要求して、電子番組表データ２２５や予約データ２２７を制御信号送受信部１５０でダウンロードするように構成することもできる。なお、リモコン画面データ１２２に、電子番組表データ２２５と予約データ２２７とを含ませるような構成も可能である。
さらに、この電子番組表機能にアクセスされている際に、電子番組表フォームにサインを入力すると、録画予約したい番組の「絞り込み」や「検索」を行うことができる。絞り込みや検索が行われた場合には、電子番組表フォームで絞り込んだ番組表を表示したり、検索された番組の色を変えて表示することができる。また、電子番組表フォームにサインを入力することで、各ボタンと同様の機能を実現することもできる。例えば、電子番組表フォームのある番組を押下して選択した後、「ｒ」というサインを入力すると、録画予約ボタンを押下したのと同じコマンドを入力することができる。
また、電子番組表フォームについては、拡大時に、実際の電子番組表の情報を、表示装置２０に要求して、電子番組表データ２２５や予約データ２２７を制御信号送受信部１５０でダウンロードするように構成することもできる。なお、リモコン画面データ１２２に、電子番組表データ２２５と予約データ２２７とを含ませるような構成も可能である。
さらに、この電子番組表機能にアクセスされている際に、電子番組表フォームにサインを入力すると、録画予約したい番組の「絞り込み」や「検索」を行うことができる。絞り込みや検索が行われた場合には、電子番組表フォームで絞り込んだ番組表を表示したり、検索された番組の色を変えて表示することができる。また、電子番組表フォームにサインを入力することで、各ボタンと同様の機能を実現することもできる。例えば、電子番組表フォームのある番組を押下して選択した後、「ｒ」というサインを入力すると、録画予約ボタンを押下したのと同じコマンドを入力することができる。
録画リスト機能にアクセスした際には、メニュー描画部１８４は、録画番組名等を表示するフォームである録画リストフォームと、再生ボタン（再生）、編集ボタン（再生）、消去ボタン（再生）、ダビングボタン（ダビング）等を表示する。
ここでは、上述の電子番組表機能と同様に、録画したＴＳデータの番組名等のリストを表示装置２０に要求して、制御信号送受信部１５０でダウンロードしたり、リモコン画面データ１２２に含ませるように構成することもできる。
この番組名等のリストは、色を変化させる等の処理にて、少なくとも１つの番組名に係るＴＳデータを選択している。そして、ユーザーが番組名等を押下することで、この番組名等のリストを選択することもできる。各ボタンに関連づけられた機能は、この選択されたＴＳデータに対して実行される。なお、上述の電子番組表のように、録画リストフォームにサイン入力を行うことで、番組名等のリストから「絞り込み」や「検索」を行うこともできる。
ここでは、上述の電子番組表機能と同様に、録画したＴＳデータの番組名等のリストを表示装置２０に要求して、制御信号送受信部１５０でダウンロードしたり、リモコン画面データ１２２に含ませるように構成することもできる。
この番組名等のリストは、色を変化させる等の処理にて、少なくとも１つの番組名に係るＴＳデータを選択している。そして、ユーザーが番組名等を押下することで、この番組名等のリストを選択することもできる。各ボタンに関連づけられた機能は、この選択されたＴＳデータに対して実行される。なお、上述の電子番組表のように、録画リストフォームにサイン入力を行うことで、番組名等のリストから「絞り込み」や「検索」を行うこともできる。
録画リスト機能の編集ボタンの横にドラッグを行ったり、矢印１２２３の押下を検知した場合、制御部１００は、録画リストで選択された録画ファイルを編集する編集機能にアクセスする。
この編集機能においては、時間毎のＴＳ画像のサムネイル画像を表示するタイムロールと、カットボタン（カット）、開始点設定ボタン（開始点）、終了点設定ボタン（終了点）、映像効果付与ボタン（効果）等を表示して、これらを基に映像データのカット編集を行うことができる。
なお、タイムロールにいても、サムネイル画像のデータを表示装置２０に要求して、制御信号送受信部１５０でダウンロードしたり、リモコン画面データ１２２に含ませるように構成することもできる。
また、サムネイル画像は容量が大きいために、映像のタイムコード等のどこを示しているかをタイムバーの棒の位置等で示すようなインターフェイスを用いてもよい。これにより、リモコン１０の記憶部１２０の記憶容量を削減できるという効果が得られる。
この編集機能においては、時間毎のＴＳ画像のサムネイル画像を表示するタイムロールと、カットボタン（カット）、開始点設定ボタン（開始点）、終了点設定ボタン（終了点）、映像効果付与ボタン（効果）等を表示して、これらを基に映像データのカット編集を行うことができる。
なお、タイムロールにいても、サムネイル画像のデータを表示装置２０に要求して、制御信号送受信部１５０でダウンロードしたり、リモコン画面データ１２２に含ませるように構成することもできる。
また、サムネイル画像は容量が大きいために、映像のタイムコード等のどこを示しているかをタイムバーの棒の位置等で示すようなインターフェイスを用いてもよい。これにより、リモコン１０の記憶部１２０の記憶容量を削減できるという効果が得られる。
電子ペット機能にアクセスをした場合には、後述するように電子ペットによる入力手段として機能させたり、電子ペットを「育成」することができる。
この他にも、リモコン画面データ１２２には、表示装置２０の設定を行う設定機能や、接続機器を変更したりホームネットワークを実現するネットワーク機能等にアクセスできるようにボタンやフォーム等を配置可能である。また、各機器の各機能がアップデートされることで、このリモコン画面データ１２２自体も、アップデートされた機能にアクセスできるように更新可能である。これにより、例えば、表示装置２０にダウンロードメディアのダウンロード機能が追加された場合には、ダウンロードメディアのダウンロード機能にシームレスにアクセスできる。
この他にも、リモコン画面データ１２２には、表示装置２０の設定を行う設定機能や、接続機器を変更したりホームネットワークを実現するネットワーク機能等にアクセスできるようにボタンやフォーム等を配置可能である。また、各機器の各機能がアップデートされることで、このリモコン画面データ１２２自体も、アップデートされた機能にアクセスできるように更新可能である。これにより、例えば、表示装置２０にダウンロードメディアのダウンロード機能が追加された場合には、ダウンロードメディアのダウンロード機能にシームレスにアクセスできる。
また、ユーザーがステップＳ１０１のデジタル放送の表示機能部位を選択している場合には、上述の録画／再生機能部位の操作と同様に、電子番組表機能にスクロール処理によりアクセス可能である。加えて、各アイコンにサインを入力することで、必要な機能に自動的にスクロールしてアクセスするようにすることも可能である。
また、チャンネル変更機能として、表示装置２０や、リモコン１０のワンセグ放送のチューナー（図示せず）から、各放送局の放送中の番組のサムネイル画像を一覧で表示して、ユーザーが押下することでこの放送局を選択するコマンドを送信できる。
さらに、音量やサラウンド等を調整する音量機能や、接続を切り換える接続機能等も備えてアクセスすることができる。
また、チャンネル変更機能として、表示装置２０や、リモコン１０のワンセグ放送のチューナー（図示せず）から、各放送局の放送中の番組のサムネイル画像を一覧で表示して、ユーザーが押下することでこの放送局を選択するコマンドを送信できる。
さらに、音量やサラウンド等を調整する音量機能や、接続を切り換える接続機能等も備えてアクセスすることができる。
このように、スクロール処理を行うことで、録画機能やチャンネル選局変更等にシームレスにアクセスすることが可能になる。これにより使い勝手を大きく向上させることができる。
（表示装置２０での非階層的なメニュー画面の操作）
なお、上述の例では、リモコン１０の表示部１４０に非階層的なメニュー画面を標示する例について示した。しかしながら、表示装置２０のように高精細な表示部２４０を備えている場合には、リモコン情報処理部２００は、リモコン画面データ１２２を表示装置２０の表示部２４０に表示して、ユーザーに選択させることが可能である。これにより、スクロール処理を行う際の各機能やボタン等を多数表示したり、一画面で表示することが可能になり、視認性を向上させることができる。
このような構成の場合には、リモコン１０の制御部１００は、ドラッグ部１６２をタッチパッド（トラックパッド）的に用いて、ユーザーが指やスタイラスペン等で押下した座標や加速度等を検知し、その情報のみを表示装置２０へ送信する。これにより、表示装置２０の表示部２４０に描画された各機能やボタン等を示すカーソル等が移動する。
そして、制御部１００は、入力部１６０が「タップ」（短い押下）されたことを検知すると、表示装置２０の表示部２４０で選択されているリモコン画面データ１２２の機能を実行する。この際には、表示装置２０のリモコン情報処理部２００は、選択されている機能やボタン等についての情報を、制御信号送受信部２５０から返信する。
なお、表示装置２０では、他の機器のリモコン画面データを表示して、リモコン１０により選択することも可能である。この場合には、その機器用のリモコン画面データを制御信号送受信部１５０から送信して、表示装置２０の制御信号送受信部２５０で受信する。また、ネットワーク接続部２３０にて受信してもよい。
なお、上述の例では、リモコン１０の表示部１４０に非階層的なメニュー画面を標示する例について示した。しかしながら、表示装置２０のように高精細な表示部２４０を備えている場合には、リモコン情報処理部２００は、リモコン画面データ１２２を表示装置２０の表示部２４０に表示して、ユーザーに選択させることが可能である。これにより、スクロール処理を行う際の各機能やボタン等を多数表示したり、一画面で表示することが可能になり、視認性を向上させることができる。
このような構成の場合には、リモコン１０の制御部１００は、ドラッグ部１６２をタッチパッド（トラックパッド）的に用いて、ユーザーが指やスタイラスペン等で押下した座標や加速度等を検知し、その情報のみを表示装置２０へ送信する。これにより、表示装置２０の表示部２４０に描画された各機能やボタン等を示すカーソル等が移動する。
そして、制御部１００は、入力部１６０が「タップ」（短い押下）されたことを検知すると、表示装置２０の表示部２４０で選択されているリモコン画面データ１２２の機能を実行する。この際には、表示装置２０のリモコン情報処理部２００は、選択されている機能やボタン等についての情報を、制御信号送受信部２５０から返信する。
なお、表示装置２０では、他の機器のリモコン画面データを表示して、リモコン１０により選択することも可能である。この場合には、その機器用のリモコン画面データを制御信号送受信部１５０から送信して、表示装置２０の制御信号送受信部２５０で受信する。また、ネットワーク接続部２３０にて受信してもよい。
（ステップＳ１０７）
ここで、非階層的なメニュー画面等の操作の際の複数タッチ処理について説明する。
この複数タッチ処理は、マルチタッチ部１６４を用いて実現することができる。
制御部１００は、上述の各機能にアクセスされた際に、マルチタッチ部１６４を用いて、ボタンを複数押下されたことを検知して、その複数のボタンに対応することができる。例えば、図１１の例では、制御部１００は、録画リストフォームに表示された番組名を選択して、ダビングボタンと消去ボタンを同時に押下したことを検知すると、「ダビング」してＢＤ等に番組を書き出した後で、消去するといった一連の動作を行うコマンドを、制御信号送受信部１５０から送信することができる。また、この複数押下により、マクロを送信することもできる。
また、ソフトウェアキーボード、「シフトキー」や「Ｆｎ」（ファンクション）ボタンのような特殊なボタンを、リモコン画面データ１２２に用意しておいて、この「シフトキー」や「Ｆｎ」ボタンのようなボタンと別のボタンを同時に押下した際にアクセスする機能を記述することも可能である。
これにより、複数のボタンを同時にタッチして、必要な機能に簡単にアクセスできることができ、使い勝手を向上させることができる。
さらに、図示しないボタンを押しながらサインの入力が行えるので、さらに使い勝手を向上させることができる。
ここで、非階層的なメニュー画面等の操作の際の複数タッチ処理について説明する。
この複数タッチ処理は、マルチタッチ部１６４を用いて実現することができる。
制御部１００は、上述の各機能にアクセスされた際に、マルチタッチ部１６４を用いて、ボタンを複数押下されたことを検知して、その複数のボタンに対応することができる。例えば、図１１の例では、制御部１００は、録画リストフォームに表示された番組名を選択して、ダビングボタンと消去ボタンを同時に押下したことを検知すると、「ダビング」してＢＤ等に番組を書き出した後で、消去するといった一連の動作を行うコマンドを、制御信号送受信部１５０から送信することができる。また、この複数押下により、マクロを送信することもできる。
また、ソフトウェアキーボード、「シフトキー」や「Ｆｎ」（ファンクション）ボタンのような特殊なボタンを、リモコン画面データ１２２に用意しておいて、この「シフトキー」や「Ｆｎ」ボタンのようなボタンと別のボタンを同時に押下した際にアクセスする機能を記述することも可能である。
これにより、複数のボタンを同時にタッチして、必要な機能に簡単にアクセスできることができ、使い勝手を向上させることができる。
さらに、図示しないボタンを押しながらサインの入力が行えるので、さらに使い勝手を向上させることができる。
（ステップＳ１０８）
ここで、上述の非階層的なメニュー画面等で電子ペット機能にアクセスした際の、電子ペット操作処理について説明する。
図１２を参照すると、ユーザーは、例えば幼児向けに、電子ペットによる各機器の制御を行うことができる。このペット操作処理用には、上述のように非階層的なメニュー画面からスクロール処理にて座標を移動させてアクセスすることができる。
そして、この電子ペット機能にアクセスされると、電子ペット描画部１８６は、電子ペット操作データ１２７を用いて、表示部１４０に電子ペットを描画して、以下で説明する各種処理を行う。
ここで、上述の非階層的なメニュー画面等で電子ペット機能にアクセスした際の、電子ペット操作処理について説明する。
図１２を参照すると、ユーザーは、例えば幼児向けに、電子ペットによる各機器の制御を行うことができる。このペット操作処理用には、上述のように非階層的なメニュー画面からスクロール処理にて座標を移動させてアクセスすることができる。
そして、この電子ペット機能にアクセスされると、電子ペット描画部１８６は、電子ペット操作データ１２７を用いて、表示部１４０に電子ペットを描画して、以下で説明する各種処理を行う。
具体的な電子ペット機能を用いた電子ペット操作処理としては、電子ペット描画部１８６は、図１２のように、電子ペット１３２０、オブジェクト１３３０〜オブジェクト１３５０のようなキャラクターを表示する。
この上で、タッチパネル上で、指やスタイラスペン等で、各キャラクターをタッチっしたり、ドラッグしたりすることで、様々なコマンドを入力することができ、さらに電子ペットのパラメータを変化させることができる。
例えば、電子ペット描画部１８６は、ユーザーが電子ペット１３２０の顔の部分をドラッグしたことを検知すると、形が変わるモーフィングを行って表示する。このモーフィングは、所定時間経過後にアニメーションで元に戻るようにすることもできる。同様に、ユーザーが電子ペット１３２０の手や足をドラッグしたりタップすると、電子ペット描画部１８６は、人形のように動かしてアニメーション表示する。また、電子ペット描画部１８６は、何もない位置をタップすると、電子ペット１３２０を、その位置に歩かせるようにアニメーションして表示する。加えて、電子ペット描画部１８６は、電子ペットの頭の部分をスタイラスペン等をドラッグすると、「なでる」動作と検知して、電子ペットの「好意」のようなパラメータを上昇させる。
また、各コマンドと各オブジェクトの動作を関連づけることが可能である。
たとえば、電子ペット描画部１８６は、ユーザーが木のオブジェクト１３３０から皿のオブジェクト１３５０にドラッグを行ったのを検知すると、「葉っぱ」のキャラクターをアニメーションさせて皿のオブジェクト１３５０上に移動させ、積み上げて表示する。この際に、葉っぱの数の分だけ、チャンネルを変更するコマンドを送信することができる。つまり、葉っぱの移動を「サイン」として入力することができる。
また、電子ペット描画部１８６は、パンのオブジェクト１３４０からから皿のオブジェクト１３５０にドラッグを行ったのを検知すると、パンのキャラクターをアニメーションさせて皿のオブジェクト１３５０上に移動させて表示する。そして、同様に、パンの数だけ音量を変化させるコマンドを送信することができる。
このように、葉っぱや餌を皿に入れた数だけチャンネルが変わったり音量が変わったりすることで、幼児に数の概念の学習を行わせる知育効果が得られる。
また、電子ペット描画部１８６は、この各オブジェクトと電子ペット操作データ１２７に含まれるミニゲームを連動させることもでき、皿回しゲームなどを実行することができる。ミニゲームは表示装置２０の電子ペットデータ２２８にも含まれており、表示装置２０と連動して遊ぶことが可能である。
これにより、幼児に、機器のリモコンと操作の関係を学習させることも可能となり、テレビ画面を直接触らないので画面汚れを防止できるという効果が得られる。
この上で、タッチパネル上で、指やスタイラスペン等で、各キャラクターをタッチっしたり、ドラッグしたりすることで、様々なコマンドを入力することができ、さらに電子ペットのパラメータを変化させることができる。
例えば、電子ペット描画部１８６は、ユーザーが電子ペット１３２０の顔の部分をドラッグしたことを検知すると、形が変わるモーフィングを行って表示する。このモーフィングは、所定時間経過後にアニメーションで元に戻るようにすることもできる。同様に、ユーザーが電子ペット１３２０の手や足をドラッグしたりタップすると、電子ペット描画部１８６は、人形のように動かしてアニメーション表示する。また、電子ペット描画部１８６は、何もない位置をタップすると、電子ペット１３２０を、その位置に歩かせるようにアニメーションして表示する。加えて、電子ペット描画部１８６は、電子ペットの頭の部分をスタイラスペン等をドラッグすると、「なでる」動作と検知して、電子ペットの「好意」のようなパラメータを上昇させる。
また、各コマンドと各オブジェクトの動作を関連づけることが可能である。
たとえば、電子ペット描画部１８６は、ユーザーが木のオブジェクト１３３０から皿のオブジェクト１３５０にドラッグを行ったのを検知すると、「葉っぱ」のキャラクターをアニメーションさせて皿のオブジェクト１３５０上に移動させ、積み上げて表示する。この際に、葉っぱの数の分だけ、チャンネルを変更するコマンドを送信することができる。つまり、葉っぱの移動を「サイン」として入力することができる。
また、電子ペット描画部１８６は、パンのオブジェクト１３４０からから皿のオブジェクト１３５０にドラッグを行ったのを検知すると、パンのキャラクターをアニメーションさせて皿のオブジェクト１３５０上に移動させて表示する。そして、同様に、パンの数だけ音量を変化させるコマンドを送信することができる。
このように、葉っぱや餌を皿に入れた数だけチャンネルが変わったり音量が変わったりすることで、幼児に数の概念の学習を行わせる知育効果が得られる。
また、電子ペット描画部１８６は、この各オブジェクトと電子ペット操作データ１２７に含まれるミニゲームを連動させることもでき、皿回しゲームなどを実行することができる。ミニゲームは表示装置２０の電子ペットデータ２２８にも含まれており、表示装置２０と連動して遊ぶことが可能である。
これにより、幼児に、機器のリモコンと操作の関係を学習させることも可能となり、テレビ画面を直接触らないので画面汚れを防止できるという効果が得られる。
なお、電子ペット機能においては、子供が使用して各機器の設定等が変更されることを防ぐために、特定のリモコン１０を電子ペット機能でのアクセスのみ行うようにする「固定」モードを備えている。
この電子ペット機能の固定モードの設定は、例えば、電子ペット機能にアクセスした際にユーザーが固定用のサインをタッチパネル上に描画すると、制御部１００がそれを検知して、検知後に固定モードとすることができる。
また、同様にサインを用いて固定モードを解除することも可能である。
この電子ペット機能の固定モードの設定は、例えば、電子ペット機能にアクセスした際にユーザーが固定用のサインをタッチパネル上に描画すると、制御部１００がそれを検知して、検知後に固定モードとすることができる。
また、同様にサインを用いて固定モードを解除することも可能である。
（タイミングＴ３０７）
ここで、リモコン１０のリモコン画面描画部１８０の電子ペット描画部１８６は、電子ペット機能でのコマンド入力や、ミニゲームでの入力の情報を、制御信号送受信部１５０から表示装置２０へ送信する。
表示装置２０の制御信号送受信部２５０は、これらの情報を、電子ペットデータ２２８へ記憶する。
ここで、リモコン１０のリモコン画面描画部１８０の電子ペット描画部１８６は、電子ペット機能でのコマンド入力や、ミニゲームでの入力の情報を、制御信号送受信部１５０から表示装置２０へ送信する。
表示装置２０の制御信号送受信部２５０は、これらの情報を、電子ペットデータ２２８へ記憶する。
（ステップＳ２０５）
表示装置２０の確認画面描画部２６０は、電子ペット育成処理を行う。
具体的には、確認画面描画部２６０は、リモコン１０の電子ペット機能によりコマンドが入力された際も、上述の確認・復唱処理と同様の処理に加えて、電子ペットのパラメータを変化させる処理を行う。これらのパラメータとしては、電子ペットの「好意」の他にも、活発さ、知性等を設定することができる。
確認画面描画部２６０は、これらのパラメータに従って、確認・復唱処理や電子ペット育成処理を行う。たとえば、確認・復唱処理で、楽しげなセリフを話したり、「もっと構ってほしい」というメッセージを付け加えたりする。
また、ユーザーが選択したコマンドの履歴から、所定の処理を電子ペットデータ２２８に記憶しておき、マクロを作成して提案するといった機能を実現することもできる。
これにより、表示装置２０の使用に親しみを感じさせ、使用頻度を高めさせることが可能になる。
表示装置２０の確認画面描画部２６０は、電子ペット育成処理を行う。
具体的には、確認画面描画部２６０は、リモコン１０の電子ペット機能によりコマンドが入力された際も、上述の確認・復唱処理と同様の処理に加えて、電子ペットのパラメータを変化させる処理を行う。これらのパラメータとしては、電子ペットの「好意」の他にも、活発さ、知性等を設定することができる。
確認画面描画部２６０は、これらのパラメータに従って、確認・復唱処理や電子ペット育成処理を行う。たとえば、確認・復唱処理で、楽しげなセリフを話したり、「もっと構ってほしい」というメッセージを付け加えたりする。
また、ユーザーが選択したコマンドの履歴から、所定の処理を電子ペットデータ２２８に記憶しておき、マクロを作成して提案するといった機能を実現することもできる。
これにより、表示装置２０の使用に親しみを感じさせ、使用頻度を高めさせることが可能になる。
（ステップＳ２０６）
これらの処理を行った後、最終的に、リモコン情報処理部２００の制御手段は、コマンド実行処理を行う。
具体的には、表示装置２０のコマンドを受信した場合、リモコン情報処理部２００の制御手段は、ユーザーがリモコン１０で入力したコマンドや、マクロの複数のコマンドを実行する。
これのコマンドとしては、上述のように、機能部位毎の機能を呼び出すコマンドや、マクロを実行する。たとえば、デジタル放送の表示機能部位では、チャンネルや音量や接続機器の変更を行う。また、録画／再生機能部位では、予約処理部２０４を用いて予約データ２２７の作成／表示や、ＴＳデータ２２３の再生や削除、電子番組表データ２２５の表示等を行うことができる。
また、これらのコマンドやマクロに伴って、必要であればネットワーク接続部２３０から情報を受信し、制御信号送受信部２５０から信号を送信する。
以上により、制御システムＸの制御処理を終了する。
これらの処理を行った後、最終的に、リモコン情報処理部２００の制御手段は、コマンド実行処理を行う。
具体的には、表示装置２０のコマンドを受信した場合、リモコン情報処理部２００の制御手段は、ユーザーがリモコン１０で入力したコマンドや、マクロの複数のコマンドを実行する。
これのコマンドとしては、上述のように、機能部位毎の機能を呼び出すコマンドや、マクロを実行する。たとえば、デジタル放送の表示機能部位では、チャンネルや音量や接続機器の変更を行う。また、録画／再生機能部位では、予約処理部２０４を用いて予約データ２２７の作成／表示や、ＴＳデータ２２３の再生や削除、電子番組表データ２２５の表示等を行うことができる。
また、これらのコマンドやマクロに伴って、必要であればネットワーク接続部２３０から情報を受信し、制御信号送受信部２５０から信号を送信する。
以上により、制御システムＸの制御処理を終了する。
以上のように構成することで、以下のような効果を得ることができる。
まず、従来技術１の遠隔制御装置（リモコン）においては、文字やカーソルの移動位置を検出してコマンドを認識していたために、リモコンの演算手段にコストがかかるという問題があった。
また、従来技術１では、実際にはユーザーが指やペンでなぞって入力を行うと、ユーザーが入力するデータは誤差が大きいため、誤認識することがあった。これにより、ボタンを使ったリモコンよりも操作性が著しく劣るという問題があった。
まず、従来技術１の遠隔制御装置（リモコン）においては、文字やカーソルの移動位置を検出してコマンドを認識していたために、リモコンの演算手段にコストがかかるという問題があった。
また、従来技術１では、実際にはユーザーが指やペンでなぞって入力を行うと、ユーザーが入力するデータは誤差が大きいため、誤認識することがあった。これにより、ボタンを使ったリモコンよりも操作性が著しく劣るという問題があった。
これに対して、本発明の実施の形態に係る制御システムＸにおいては、サインの座標の軌跡データを、リモコン１０で取得して、表示装置２０に送信する。表示装置２０は、画像処理等のために高度な演算能力を備えたサイン計算部２７０を元々備えている。このサイン計算部２７０にて、サインの座標の軌跡データを補正して、補正された軌跡データを基にサインの認識を行うことができる。
これにより、リモコン１０に高度な演算能力をもったＣＰＵやＤＳＰ等の演算手段を備える必要がないために、コストを削減し、重量の増大を抑えることができる。
これにより、リモコン１０に高度な演算能力をもったＣＰＵやＤＳＰ等の演算手段を備える必要がないために、コストを削減し、重量の増大を抑えることができる。
また、従来技術１では、実際にはユーザーが指やペンでなぞって入力を行うと、ユーザーが入力するデータは誤差が大きいため、誤認識することがあった。これにより、ボタンを使ったリモコンよりも操作性が著しく劣るという問題があった。
これに対して、本発明の実施の形態に係る制御システムＸにおいては、、高度な演算能力を備えたサイン計算部２７０を用いて、サインの座標の軌跡データを補正を行う。このため、リモコン１０のタッチパネルで多少荒っぽくサインを描画しても、補正されたデータを基に認識するため、精度高くサインの認識をすることができる。このため、操作性を向上させることができる。
また、従来技術１のリモコンでは、テレビジョン受信機へ一方向に遠隔制御信号（コマンド）を送信することができるだけであった。このため、テレビジョン受信機へコマンドを送信した後で、例えばテレビジョン受信機の画面でコマンドの実行結果を確認することができるだけであった。
このため、従来技術１のリモコンは、正常にサインが認識された場合と、誤って認識された場合との区別が難しかった。
このため、従来技術１のリモコンは、正常にサインが認識された場合と、誤って認識された場合との区別が難しかった。
これに対して、本発明の実施の形態に係る制御システムＸにおいては、制御信号送受信部１５０を備えており、補正された軌跡データをもう一度リモコン１０にて表示することができる。また、認識後の文字やサインを、きれいなフォントを用いてリモコン１０に描画することもできる。
これにより、サインをどのように描いた場合にちゃんと補正されて認識されるのかを、ユーザーが把握しやすくなり、操作性を向上させることができる。
さらに、本発明の実施の形態に係る制御システムＸにおいては、確認・復唱処理を備えており、実際にどういうコマンドが送信されたのかを、表示装置２０で確実に把握することができる。また、音声にて復唱することで、表示部のない機器にも対応可能となる。
さらに、本発明の実施の形態に係る制御システムＸにおいては、電子ペットを用いて確認・復唱処理を行うことで、コマンドを復唱する際に、機械が話す無機的な感じをユーザーが受けることが少なくなり、機器操作に対して煩わしさを感じるのを抑える心理的な効果が得られる。
これにより、サインをどのように描いた場合にちゃんと補正されて認識されるのかを、ユーザーが把握しやすくなり、操作性を向上させることができる。
さらに、本発明の実施の形態に係る制御システムＸにおいては、確認・復唱処理を備えており、実際にどういうコマンドが送信されたのかを、表示装置２０で確実に把握することができる。また、音声にて復唱することで、表示部のない機器にも対応可能となる。
さらに、本発明の実施の形態に係る制御システムＸにおいては、電子ペットを用いて確認・復唱処理を行うことで、コマンドを復唱する際に、機械が話す無機的な感じをユーザーが受けることが少なくなり、機器操作に対して煩わしさを感じるのを抑える心理的な効果が得られる。
また、本発明の実施の形態に係る制御システムＸにおいては、制御信号送受信部１５０により、操作している機器の動作状況を受信し、リモコン１０の表示部１４０に表示されるアイコン等に反映して表示することができる。
このため、リモコン１０にて動作状況を確認しながら、サインを入力してコマンドを送信することができ、操作性を向上させることができる。
また、このリモコン１０に表示される機器の動作状況と、機器の表示部のＬＥＤ等に表示される動作状況を連動させることで、容易に機器の状態を把握することができ、機器のトラブル解消に役立たせることができる。
このため、リモコン１０にて動作状況を確認しながら、サインを入力してコマンドを送信することができ、操作性を向上させることができる。
また、このリモコン１０に表示される機器の動作状況と、機器の表示部のＬＥＤ等に表示される動作状況を連動させることで、容易に機器の状態を把握することができ、機器のトラブル解消に役立たせることができる。
また、従来のリモコンでは、階層型のメニューを用いていたために、必要な機能にアクセスするのが面倒であるという問題があった。
図１３を参照して、従来の階層型のメニュー画面の操作について具体例に説明する。
たとえば、従来のリモコンでは、チャンネルの設定変更をしようとすると、以下のような階層的な操作が必要であった。
（１）「設置調整」ボタンを押して、「設置調整画面」を呼び出す。
（２）「カーソル」ボタンで画面上のハイライトカーソルを移動して「チャンネル設定」を呼び出し「決定」ボタンを押す。
（３）「カーソル」ボタンで変更したいチャンネルを選択し、「決定」ボタンを押す。
（４）「カーソル」ボタンで変更したい内容を呼び出し「決定」ボタンを押す。
（５）「カーソル」ボタンで設定内容を変更し「決定」ボタンを押す。
（６）「戻る」ボタン等で通常の番組視聴状態に戻る。
このように階層的な操作が必要な場合は、ユーザーが多数の階層をまたいで操作を行う必要があるため、設定の途中で次に何をやったらいいか判らなくなったりすることがあった。このため、階層性が深くなればなるほど、操作性が著しく落ちるという問題があった。
図１３を参照して、従来の階層型のメニュー画面の操作について具体例に説明する。
たとえば、従来のリモコンでは、チャンネルの設定変更をしようとすると、以下のような階層的な操作が必要であった。
（１）「設置調整」ボタンを押して、「設置調整画面」を呼び出す。
（２）「カーソル」ボタンで画面上のハイライトカーソルを移動して「チャンネル設定」を呼び出し「決定」ボタンを押す。
（３）「カーソル」ボタンで変更したいチャンネルを選択し、「決定」ボタンを押す。
（４）「カーソル」ボタンで変更したい内容を呼び出し「決定」ボタンを押す。
（５）「カーソル」ボタンで設定内容を変更し「決定」ボタンを押す。
（６）「戻る」ボタン等で通常の番組視聴状態に戻る。
このように階層的な操作が必要な場合は、ユーザーが多数の階層をまたいで操作を行う必要があるため、設定の途中で次に何をやったらいいか判らなくなったりすることがあった。このため、階層性が深くなればなるほど、操作性が著しく落ちるという問題があった。
これに対して、本発明の実施の形態に係る制御システムＸにおいては、非階層的なメニュー画面を描画するリモコン画面データ１２２を作成し、リモコン１０のドラッグ部１６２等の入力を検知して用いてスクロール処理を行って、必要な機能にシームレスにアクセスすることができる。
これにより、どの機能にアクセスしている状況からでも、目的の操作に係る機能にアクセスすることができる。よって、いちいち階層的な操作をする必要がなく、操作性を大きく向上することができる。
また、メニュー描画部１８４により、リモコン画面データ１２２がリモコン１０の表示部１４０に一部のみ表示されている場合には、呼び出す機能がどの方向にあるのかを矢印等で示すことができる。これにより、必要な機能に容易にアクセスできるという効果が得られる。
また、メニュー描画部１８４により、アクセスしている機能が表示された際に、表示部１４０の解像度等に合わせて拡大して表示を行うことができる。これにより、各機能へアクセスする際のスクロールの距離を少なくし、アクセスした際の操作性を向上させることができる。
これにより、どの機能にアクセスしている状況からでも、目的の操作に係る機能にアクセスすることができる。よって、いちいち階層的な操作をする必要がなく、操作性を大きく向上することができる。
また、メニュー描画部１８４により、リモコン画面データ１２２がリモコン１０の表示部１４０に一部のみ表示されている場合には、呼び出す機能がどの方向にあるのかを矢印等で示すことができる。これにより、必要な機能に容易にアクセスできるという効果が得られる。
また、メニュー描画部１８４により、アクセスしている機能が表示された際に、表示部１４０の解像度等に合わせて拡大して表示を行うことができる。これにより、各機能へアクセスする際のスクロールの距離を少なくし、アクセスした際の操作性を向上させることができる。
また、本発明の実施の形態に係る制御システムＸにおいては、電子ペットを用いてコマンドを入力することができる。
このため、幼児においても興味を持たせて容易に機器を操作させることができる。このため、幼児の発達を促す心理的な効果が期待できる。
また、タッチパネルを備えたリモコンを用いてミニゲーム等を呼び出すこともできるため、ゲーム用のコントローラーが必要ない。このため、余計なコストをかけずに制御システムＸにゲームを追加することができる。
このため、幼児においても興味を持たせて容易に機器を操作させることができる。このため、幼児の発達を促す心理的な効果が期待できる。
また、タッチパネルを備えたリモコンを用いてミニゲーム等を呼び出すこともできるため、ゲーム用のコントローラーが必要ない。このため、余計なコストをかけずに制御システムＸにゲームを追加することができる。
なお、上述の実施の形態では、デジタル放送の表示機能と録画／再生機能とを、切り換えて操作する例について説明した。
しかしながら、本発明の実施の形態に係る制御処理はこれに限られるものではなく、マルチリモコンであるリモコン１０を用いて、録画／再生装置３０や照明器具４０のように、各機器との間で同様に各機能を呼び出して、同様にサインや非階層的なメニュー画面等を用いて制御することができる。
また、上述の表示装置２０に備えられたサイン計算部２７０は、他の機器に備えられていてもよく、例えば、録画／再生装置３０や、ＰＣ／ＡＴ互換機のようなパーソナル・コンピューターを用いることもできる。また、サイン計算部２７０と制御信号送受信部２５０を備えた専用のサイン計算機器を用意することもできる。
しかしながら、本発明の実施の形態に係る制御処理はこれに限られるものではなく、マルチリモコンであるリモコン１０を用いて、録画／再生装置３０や照明器具４０のように、各機器との間で同様に各機能を呼び出して、同様にサインや非階層的なメニュー画面等を用いて制御することができる。
また、上述の表示装置２０に備えられたサイン計算部２７０は、他の機器に備えられていてもよく、例えば、録画／再生装置３０や、ＰＣ／ＡＴ互換機のようなパーソナル・コンピューターを用いることもできる。また、サイン計算部２７０と制御信号送受信部２５０を備えた専用のサイン計算機器を用意することもできる。
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
１０ リモコン
２０ 表示装置
３０ 録画／再生装置
４０ 照明器具
１００ 制御部
１２０ 記憶部
１２１ 機種選択部
１２２ リモコン画面データ
１２４ 操作マークデータ
１２５ 画面座標データ
１２７ 電子ペット操作データ
１４０、２４０ 表示部
１５０、２５０ 制御信号送受信部
１６０ 入力部
１６２ ドラッグ部
１６４ マルチタッチ部
１７０ サイン認識部
１８０ リモコン画面描画部
１８２ マーク描画部
１８４ メニュー描画部
１８６ 電子ペット描画部
２００ リモコン情報処理部
２０２ リモコン画面データ作成部
２０４ 予約処理部
２２０ 記憶部
２２３ ＴＳデータ
２２５ 電子番組表データ
２２７ 予約データ
２２８ 電子ペットデータ
２３０ ネットワーク接続部
２６０ 確認画面描画部
２６５ 音声合成部
２７０ サイン計算部
２８０ 録画／再生処理部
２９０ チューナ部
５１０、５２０、５３０、１０２１、１０２２、１０３１、１０３２ アイコン
５４０、１２２１、１２２２、１２２３、１２２４ 矢印
６１０、８１０ サイン入力フォーム
６５０、８５０ サインの軌跡
７５０ 補正されたサインの座標の軌跡
１１１０ ダイアログボックス
１１２０、１３２０ 電子ペット
１３３０、１３４０、１３５０ オブジェクト
１２１０ ビュー画面
Ｘ 制御システム
２０ 表示装置
３０ 録画／再生装置
４０ 照明器具
１００ 制御部
１２０ 記憶部
１２１ 機種選択部
１２２ リモコン画面データ
１２４ 操作マークデータ
１２５ 画面座標データ
１２７ 電子ペット操作データ
１４０、２４０ 表示部
１５０、２５０ 制御信号送受信部
１６０ 入力部
１６２ ドラッグ部
１６４ マルチタッチ部
１７０ サイン認識部
１８０ リモコン画面描画部
１８２ マーク描画部
１８４ メニュー描画部
１８６ 電子ペット描画部
２００ リモコン情報処理部
２０２ リモコン画面データ作成部
２０４ 予約処理部
２２０ 記憶部
２２３ ＴＳデータ
２２５ 電子番組表データ
２２７ 予約データ
２２８ 電子ペットデータ
２３０ ネットワーク接続部
２６０ 確認画面描画部
２６５ 音声合成部
２７０ サイン計算部
２８０ 録画／再生処理部
２９０ チューナ部
５１０、５２０、５３０、１０２１、１０２２、１０３１、１０３２ アイコン
５４０、１２２１、１２２２、１２２３、１２２４ 矢印
６１０、８１０ サイン入力フォーム
６５０、８５０ サインの軌跡
７５０ 補正されたサインの座標の軌跡
１１１０ ダイアログボックス
１１２０、１３２０ 電子ペット
１３３０、１３４０、１３５０ オブジェクト
１２１０ ビュー画面
Ｘ 制御システム
Claims (11)
- リモートコントローラ装置と受像装置との制御システムであって、
該リモートコントローラ装置は、
サインの入力を行う入力手段と、
前記入力手段により入力されたサインの軌跡を表示する表示手段と、
前記サインの軌跡データを前記受像装置に送信し、前記受像装置から送信された、補正済みの軌跡データを受信する送受信手段と
を有し、
受像装置は、
前記リモートコントローラ装置から受信した前記軌跡データを補正する補正手段と、
前記軌跡データを受信し、該補正手段により補正された軌跡データを送信する送受信手段と
を有する
ことを特徴とする制御システム。 - 前記リモートコントローラ装置の表示手段は、
前記補正された軌跡データを表示する
ことを特徴とする請求項１に記載の制御システム。 - 前記リモートコントローラ装置又は前記受像装置は、
前記補正された軌跡データからサインを認識するサイン認識手段を更に備える
ことを特徴とする請求項１又は２に記載の制御システム。 - 前記リモートコントローラ装置は、
前記送受信手段から、認識したサインに対応するコマンドを送信し、
前記受像装置は、
前記コマンドに係る確認画面を描画する確認画面描画手段を更に備える
ことを特徴とする請求項３に記載の制御システム。 - 前記受像装置は、
電子ペットを描画する電子ペット描画データを更に備え、
前記確認画面描画手段は、前記確認画面に電子ペットを描画する
ことを特徴とする請求項４に記載の制御システム。 - 前記リモートコントローラ装置は、
前記送受信手段から、認識したサインに対応するコマンドを送信し、
前記受像装置は、認識したサインに係るコマンドの説明を音声で出力する音声合成手段を更に備える
ことを特徴とする請求項３に記載の制御システム。 - 前記受像装置は、
前記リモートコントローラ装置の前記表示手段に表示するリモコン画面データを作成するリモコン画面データ作成手段を更に備える
ことを特徴とする請求項１から６のいずれか１項に記載に記載の制御システム。 - 前記リモコン画面データ作成手段は、
前記受像装置の動作状況を前記リモコン画面データに含める
ことを特徴とする請求項７に記載の制御システム。 - 前記受像装置の前記リモコン画面データ作成手段は、
前記リモコン画面データに、前記受像装置の機能に対応する非階層的なメニュー画面を含んで作成し、
前記リモートコントローラ装置は、
前記非階層的なメニュー画面を描画するメニュー画面描画手段と、
前記入力手段のドラッグを検知するドラッグ手段とを備え、
前記メニュー画面描画手段は、前記非階層的なメニュー画面をドラッグによりスクロールして表示する
ことを特徴とする請求項７又は８に記載の制御システム。 - 前記メニュー画面描画手段は、前記非階層的なメニュー画面を拡大して表示する
ことを特徴とする請求項９に記載の制御システム。 - 入力手段によりサインの入力を行い、
入力された前記サインの軌跡を表示し、
前記サインの軌跡データを送信し、
前記軌跡データを受信し、
受信した前記軌跡データを補正し、
補正した軌跡データを送信し、
前記補正した軌跡データを受信し、
受信した、前記補正した軌跡データを描画する
ことを特徴とする制御システムにより実行する制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008333836A JP2010157820A (ja) | 2008-12-26 | 2008-12-26 | 制御システム、及び制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008333836A JP2010157820A (ja) | 2008-12-26 | 2008-12-26 | 制御システム、及び制御方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010157820A true JP2010157820A (ja) | 2010-07-15 |
Family
ID=42575408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008333836A Pending JP2010157820A (ja) | 2008-12-26 | 2008-12-26 | 制御システム、及び制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010157820A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012057179A1 (ja) * | 2010-10-28 | 2012-05-03 | シャープ株式会社 | 電子装置 |
| WO2012057174A1 (ja) * | 2010-10-27 | 2012-05-03 | シャープ株式会社 | タッチリモコン |
| JP2012128512A (ja) * | 2010-12-13 | 2012-07-05 | Toyota Motor Corp | 制御装置 |
| JP2012249885A (ja) * | 2011-06-03 | 2012-12-20 | Nintendo Co Ltd | ゲームシステム、情報処理方法、ゲーム装置、および情報処理プログラム |
| JP2014534522A (ja) * | 2011-10-26 | 2014-12-18 | インテル・コーポレーション | マルチタッチインターフェース方式 |
| JP2015068521A (ja) * | 2013-09-27 | 2015-04-13 | 株式会社デンソー | 給湯機用リモコン |
| WO2015063847A1 (ja) * | 2013-10-29 | 2015-05-07 | 発紘電機株式会社 | プログラマブル表示器、プログラム |
| JP2015525403A (ja) * | 2012-06-05 | 2015-09-03 | ペン ジェネレーションズ インコーポレーテッド | 光学フィルムおよびこれを用いた電子ペンシステム |
| US9180368B2 (en) | 2011-06-03 | 2015-11-10 | Nintendo Co., Ltd. | Game system, information processing method, game apparatus, and storage medium having information processing program stored therein |
| JP2017513194A (ja) * | 2014-04-02 | 2017-05-25 | フィリップス ライティング ホールディング ビー ヴィ | 家庭用電化製品において検出されるタッチイベントに呼応してステートマシンを起動する方法 |
-
2008
- 2008-12-26 JP JP2008333836A patent/JP2010157820A/ja active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012057174A1 (ja) * | 2010-10-27 | 2012-05-03 | シャープ株式会社 | タッチリモコン |
| JP2012094010A (ja) * | 2010-10-27 | 2012-05-17 | Sharp Corp | タッチリモコン |
| WO2012057179A1 (ja) * | 2010-10-28 | 2012-05-03 | シャープ株式会社 | 電子装置 |
| JP2012128512A (ja) * | 2010-12-13 | 2012-07-05 | Toyota Motor Corp | 制御装置 |
| US9180368B2 (en) | 2011-06-03 | 2015-11-10 | Nintendo Co., Ltd. | Game system, information processing method, game apparatus, and storage medium having information processing program stored therein |
| JP2012249885A (ja) * | 2011-06-03 | 2012-12-20 | Nintendo Co Ltd | ゲームシステム、情報処理方法、ゲーム装置、および情報処理プログラム |
| US9403094B2 (en) | 2011-06-03 | 2016-08-02 | Nintendo Co., Ltd. | Information processing system, game system, information processing device, terminal device, information processing method, and storage medium having information processing program stored therein |
| JP2014534522A (ja) * | 2011-10-26 | 2014-12-18 | インテル・コーポレーション | マルチタッチインターフェース方式 |
| US9262000B2 (en) | 2011-10-26 | 2016-02-16 | Intel Corporation | Multi-touch interface schemes |
| JP2015525403A (ja) * | 2012-06-05 | 2015-09-03 | ペン ジェネレーションズ インコーポレーテッド | 光学フィルムおよびこれを用いた電子ペンシステム |
| JP2015068521A (ja) * | 2013-09-27 | 2015-04-13 | 株式会社デンソー | 給湯機用リモコン |
| WO2015063847A1 (ja) * | 2013-10-29 | 2015-05-07 | 発紘電機株式会社 | プログラマブル表示器、プログラム |
| JPWO2015063847A1 (ja) * | 2013-10-29 | 2017-03-09 | 発紘電機株式会社 | プログラマブル表示器、プログラム |
| JP2017513194A (ja) * | 2014-04-02 | 2017-05-25 | フィリップス ライティング ホールディング ビー ヴィ | 家庭用電化製品において検出されるタッチイベントに呼応してステートマシンを起動する方法 |
| US10299353B2 (en) | 2014-04-02 | 2019-05-21 | Signify Holding B.V. | Methods for initiating state machines in response to touch events detected at home appliances |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010157820A (ja) | 制御システム、及び制御方法 | |
| US10856033B2 (en) | User terminal apparatus, display apparatus, user interface providing method and controlling method thereof | |
| CN106502638B (zh) | 用于提供视听反馈的设备、方法和图形用户界面 | |
| CN111698557B (zh) | 用户界面显示方法及显示设备 | |
| CN107801075B (zh) | 图像显示设备及其操作方法 | |
| CN102763342B (zh) | 根据基于图像感测模块的用户交互进行外部输出的移动装置及相关控制方法 | |
| TWI400647B (zh) | 行動式終端機之顯示裝置與方法 | |
| CN103873908A (zh) | 显示装置、遥控装置及使用所述装置提供用户界面的方法 | |
| CN103024493A (zh) | 视频设备及其控制方法和包括其的视频系统 | |
| US10216409B2 (en) | Display apparatus and user interface providing method thereof | |
| EP2214174A2 (en) | Apparatus and method for playing of multimedia item | |
| JP2015038665A (ja) | 電子機器、及び電子機器の制御方法 | |
| CN109960556B (zh) | 一种显示设备 | |
| EP2743816A2 (en) | Method and apparatus for scrolling screen of display device | |
| CN111901656B (zh) | 媒体数据的搜索方法、显示设备及服务器 | |
| CN112188249A (zh) | 一种基于电子说明书的播放方法及显示设备 | |
| US20150163443A1 (en) | Display apparatus, remote controller, display system, and display method | |
| US20140195981A1 (en) | Electronic apparatus and control method thereof | |
| CN110109730A (zh) | 用于提供视听反馈的设备、方法和图形用户界面 | |
| KR20160032883A (ko) | 디스플레이 장치 및 이의 인디케이터를 디스플레이하는 방법 | |
| KR20160097868A (ko) | 디스플레이 장치 및 디스플레이 방법 | |
| KR20170072666A (ko) | 디스플레이 장치, 원격 제어 장치 및 그 제어 방법 | |
| US20170285767A1 (en) | Display device and display method | |
| CN111259639B (zh) | 一种表格的自适应调节方法及显示设备 | |
| CN112199560A (zh) | 一种设置项的搜索方法及显示设备 |