JP2010109686A - 遠隔操作システム - Google Patents

Abstract

【課題】 視覚的に理解しやすいユーザーインタフェースを実現し、そのユーザーインタフェースに基づき所望の複数の機器を遠隔操作する。
【解決手段】 被制御機器から入力装置のレイアウト情報と有効なキーイベントとそのイベントを視覚的に理解しやすいキー表示情報を取得し、制御装置の入力装置のキーに対応付けた操作パネルを表示し、ユーザーにその操作パネルに基づく入力操作を促すことで、遠隔操作を実現する。
【選択図】 図１

Description

本発明は、ネットワークに接続された情報機器の遠隔操作システムに関するものである。

制御装置がネットワークを介して被制御装置の動作をリモートコントロールする制御システムの１つとして、以下に説明するような制御システムが考えられている。制御装置は、被制御装置に対して制御装置を操作するためのリモコン情報を被制御装置へと送信する。被制御装置はそのリモコン情報と被制御装置の内部に記録してある操作パネルを制御装置に対して送信する。制御装置は受信した操作パネルに基づくGUIを表示器に表示する。そして、ユーザがGUIに従いリモコン等を用いて操作することで、被制御装置の制御を行うことができる。
特開2000-350270号公報

しかしながら、上記のシステムではユーザのリモコン操作によりその操作に応じて、被制御装置が操作パネルを作成し転送する。その時、被制御装置では制御装置に他の被制御装置の接続の有無が判断できないため、自身を制御するためだけの操作パネルしか生成することができないという問題点がある。そのため、複数の制御装置を連携して動作させる場合など、状況に応じて複数機器を操作する操作パネルを提供できないという問題点があった。

本発明は、このような問題に鑑みてなされたものであり、状況に応じ複数の機器を制御するための直感的にわかり易い操作パネル生成することで、複数機器の操作を可能とする遠隔操作方法を提供することである。

上記課題を解決するために本発明の遠隔操作システムは、
ネットワークに接続された第１の機器と、ネットワークを介して、前記第１の機器によって遠隔操作される第2の機器とを有し、前記第2の機器は自身を一意に決定するデバイス情報と、自身を操作するためのキー情報を生成するキー情報生成手段と、前記第１の機器に前記デバイス情報と前記キー情報を送信するキー情報送信手段を有し、前記第１の機器は前記第２の機器から前記デバイス情報と前記キー情報とを受信する手段と、前記デバイス情報から制御する被制御機器を選択するための第１の操作パネルを生成する手段と、前記第１の操作パネルを表示するための第１の操作パネル手段表示手段と、前記キー情報から前記第２の機器のキー情報と自身の入力装置情報を元に前記第２の機器を制御するための第２の操作パネルを生成する第２の操作パネル生成手段と、前記第２の操作パネルを自身の画面に表示する第２の操作パネル表示手段と、ユーザーが入力装置に対して行った入力情報を前記第２の機器へと送信する入力情報送信手段を備えることを特徴とする。

以上、説明したように本発明によれば被制御機器から送信されたキーイベントとキーレイアウト情報、キー表示情報などのキー情報を元に制御装置で操作パネルを生成し、その操作パネルに基づいてユーザーがリモコン等で入力操作をすることにより、状況に応じて操作パネルを変更可能な遠隔操作方法を提供することが可能となる。

以下、本発明のネットワークに接続された情報機器の遠隔操作方法及びその通信方法についての実施例について説明する。

図１は、本実施形態のユーザーインタフェースによる遠隔操作環境を実現する通信システムの一例を示すブロック図である。

図１において、101はデジタルテレビである。

102はデジタルテレビ101を遠隔操作するためリモートコントロールユニット（以下、リモコン）であり、ユーザーの操作入力をデジタルテレビ受像機101に無線送信する。

ここで、リモコン１０2とデジタルテレビ受像機１０１とは、赤外線通信等の無線通信方式を用いて通信する。

各機器は、ＩＥＥＥ1394-1995規格に準拠した高速デジタルインタフェース（以下、1394I/F）を介して接続され、１つのシリアルバスネットワークを構成している。各機器の1394I/F、あるメディアからの画像情報（動画像や静止画像を含む）、音声情報、制御情報等を、リアルタイム性を損なうことなく他の機器に転送する。

103、104はデジタルビデオレコーダ(以下、DVR)である。

図１において、デジタルテレビ101はリモート制御装置として動作し、DVR103およびDVR104は被制御装置として動作する。

被制御装置DVR103およびDVR104は、自己をリモート制御するためのキーイベント情報、キーレイアウト情報、キー表示情報のキー情報を生成し、制御装置デジタルテレビ１０１へと送信する機能を有する。

制御装置デジタルテレビ101は、自己のリコモン情報、操作パネル情報を有し、受信した被制御装置DVR103およびDVR104のキー情報からDVR103およびDVR104を制御するための操作パネルを生成する機能を有する。

ここで、操作パネルとは、画像情報と文字情報、音声情報とからなるマルチモーダルユーザインターフェイスデータであり、被制御装置のリモート制御可能な機能を表わす複数の操作キーとそれらに付随する情報から構成される。尚、各操作キーは、各操作キーに対応する機能を図柄や文字で表現したアイコン等により構成される
また、被制御装置DVR103およびDVR104は制御装置デジタルテレビ101がリモコン102から受信した信号を元に自己の処理動作を制御する。

次に、図２のブロック図に、図１の通信システムを構成する各機器の詳細な構成を示す。

まず、ＤＶＲ103及びDVR104の構成について説明する。ここで、DVR103とDVR104は同一の構成であるとして、DVR103の構成について詳細に説明する。

212は、MPEG2,SD-DVCR,HD-DVCR,SDL-DVCR方式を用いて高能率符号化された画像情報や音声情報を記録／再生するＤＶＲユニットである。ＤＶＲユニット212は、操作部214やリモート操作パネルを介して選択された任意のコンテンツを1394I/F211に出力する。

215では、ＤＶＲユニット212自体をリモート制御するためのキーイベント情報やキーレイアウト情報のキー情報生成する。各コンテンツにおいて受け付け可能なキーイベント情報やキーレイアウト情報は予め記録媒体216に保持している。

211は、1394I/Fである。1394I/F21１は、AV/Cプロトコルを用いてＤＶＲユニット212から供給されたコンテンツを所定のストリームデータに変換し、該ストリームデータを所望の機器に対してリアルタイムに転送する。また、1394I/F211は、キー情報生成部215から供給されたキー情報をAsynchronous Serial Bus Connectionプロトコルを用いてデジタルテレビ101に転送する。

213は、マイクロコンピュータを有し、ＤＶＲ103の動作を制御する制御部である。214は、ＤＶＲ103自体が具備する操作部である。

209は、１３９４インタフェース210から供給されたストリームデータをビデオストリームとオーディオストリームとに分解し、各種のストリームデータ毎にデコードするデコーダ部である。208は、デコーダ部209でデコードされたオーディオストリームをD/A変換して、増幅した後、スピーカを介して出力する音声出力部である。

207は、１３９４I/Fを介して供給されたキー情報とリモコン情報メモリ203に記録されているデジタルテレビ101のリモコンのパネル情報を元に操作パネルを生成する操作パネル生成部である。

206は、デコーダ部209から供給される画像情報と操作パネル生成部207から供給される操作パネルとを合成し、その合成画像を表示部205に供給する画像合成部である。205、ＣＲＴ、液晶パネル、プラズマディスプレイ等の表示デバイスからなる表示部である。

202は、リモコン102からの制御情報（例えば、ユーザーの操作入力）を受信するリモコン用のインタフェースである。リモコンインターフェース202は、受信した制御情報を制御部204に供給する。

201は、制御部204が読み出すことのできる各種のプログラムを記憶する記憶媒体である。

204は、マイクロコンピュータを有し、デジタルテレビ101の処理動作を制御する制御部である。また、制御部204は、操作パネルに対する操作入力をそのリモートコントロールパネルに対応する機器にAsynchronous転送する。

以下、本発明の実施例を図面およびフローチャートを参照して説明する。

図３は、本実施形態の制御装置（即ち、デジタルテレビ101）の電源を投入後、1つの被制御装置（ＤＶＲ103）との接続の確立後、被制御装置のキー情報を受信し、操作パネルを生成し、操作パネルを元にリモコン102によって送信された信号を被制御装置へと通知し、被制御装置が自身を制御するまでの通信の手順を説明した図である。

デジタルテレビ101が接続されているネットワークにDVR103が接続された場合、または、既にネットワーク上にDVR103が接続されている時にデジタルテレビ101の電源が入れられた場合に、それぞれの機器はIEEE1394規格に基づくプラグアンドプレイ機能によってお互いの接続を確認し、301へ進む。

301では、デジタルテレビ101とDVR103は、AV/Cプロトコルに基づき、Isochronous通信期間内に必要な通信帯域とIsochronous channelとを確保し、Isochronous Connectionを設定する。

Isochronous Connectionの設定後、302でＤＶＲ102は、上述のIsochronous channelを用いて、デジタルテレビ101が選択したコンテンツをIsochronous転送する。

303では、デジタルテレビ101は、Asynchronous Serial Bus Connectionプロトコルに基づき、ＤＶＲ103との間にAsynchronous Serial Bus Connectionを設定し303へと進む。

304では、ＤＶＲ103がキー情報を保持しており、それを使用してデジタルテレビ101がＤＶＲ103をリモート制御することが可能かどうかの情報を送信する。ＤＶＲ103がキー情報を保持している場合には305へと進む。

305では、ＤＶＲ103のデバイス情報を送信する。デバイス情報の例を図4に示す。

デバイス情報はIEEE1394規格上接続時に自律的に決定されるデバイスのIDと、ＤＶＲ10３を示すための文字列や画像データを関連付けたものである。

名前は機器の製品名や種類名、またはユーザーが任意につけたユーザーにとってわかりやすい名前と置き換えてもよい。また、情報として機器を説明する文字列や画像も同時に関連付けることもできる。

本実施例ではデジタルテレビ101にDVR103が接続されている例を説明したが、301から305のステップはネットワーク上に接続されている機器すべてについて、同様の操作を行う。

デジタルテレビ101ではネットワーク上に接続されている機器の中で遠隔操作可能な全ての機器のデバイス情報を保持し、デジタルテレビ101から遠隔操作可能な機器を選択するためのメニュー画面を構成する。

３０６１ではデバイス情報と構成するメニュー画面を図5に示す。

デジタルテレビは自身に遠隔操作を行うためのインターフェイスを保持するものとする。このインターフェイスはリモコンや本体のボタンを押すとメニューを表示するものであってもよいし、グラフィックユーザーインターフェイス（以下、GUI）で提供するメニューの中の１つとして実現してもよい。

図5ではデジタルテレビ１０１には、DVR103以外にもDVR104やチューナが接続されている場合のメニューの一例である。

501はDVR103、502はチューナー、503はDVR104の名前を示しており、504は選択された機器の情報を示している。505は現在選択されている機器を示すフォーカスであり、このフォーカスをリモコン操作によって移動することで遠隔操作を行いたいデバイスを決定する。選択された機器は503で示すように視覚的にわかるように表示アイコンが変化する。

3062でユーザはリモコンを用いて、メニュー画面から遠隔制御を行いたい機器を選択する。

3062で、DVRが選択された場合に307では、制御対象であるＤＶＲ103に対してリモートコントロール要求を送信する。

308では、DVR103は、デジタルテレビ101に対してキー情報の送信を行う。キー情報は、ユーザーの操作や動作中の状態などによりＤＶＲに対して入力可能な項目が変更する毎にデジタルテレビ101へと送信される。3091ではデジタルテレビ101が受信したキー情報と自身のリモコン情報を元にユーザーにリモコン操作を促すための操作パネルを生成し、自身の表示画面へと表示する。

3092では、ユーザーは3091で表示した操作パネルを見ながら所望の処理を実行するように操作を行ったものとする。例えば、ＤＶＲ103トレイ中のＤＶＤメディアの再生を行いたい場合には、操作パネル上で再生ボタンに対応付けられたリモコンのボタンを押す。

310では、3092で入力されたリモコンの信号を元に、その信号に割り当てられたキーイベントに変換後、入力情報としてＤＶＲ103へと送信する。再生の場合は、再生に対応付けられたリモコンの信号がリモコンインターフェイス105から入力され、その信号をＤＶＲ103のＤＶＤを再生するという入力情報へと変換して、ＤＶＲ103へと送信する。

311では、ＤＶＲ103が受信した入力情報を元に自身の制御制御を行う。再生を行う操作が行われた場合には、自身のトレイの中に入っているＤＶＤ等のメディアの再生を行う。

312では、311によって変更されたＤＶＲ103の状態を反映したキー情報をデジタルテレビ101へと送信する。ＤＶＤ再生中であれば、再生イベントが削除され、その代りとして一時停止イベント、停止イベントが追加される。

313では、312で送信されたパネル情報を元に再び操作パネルの生成を行う。

また、314では、ユーザーからのリモコン操作がない場合でも機器の状態が変わった場合には、ＤＶＲ103からキー情報を送信して315でそれを操作パネルへと反映する。例えば、ＤＶＤの最後まで再生し、自動的に停止した場合などである。

上記、3091から315の操作を繰り返すことによって、リモコンからのＤＶＲ103のリモート操作を行う。

301から315までの流れを被制御機器が1つの場合として説明したが、複数の被制御機器がネットワークに接続されている場合にも、各機器は独立して301から315のステップを実行する。

図３の３０５についてのキー情報について以下に図面を用いて詳細に説明する。

キー情報は大きく、被制御装置を操作するために必要なボタンのキーイベント情報、そのボタンが被制御装置のＵＩ上でどのような位置にあるかというキーレイアウト情報、そのキーを直感的に表現した画像や文字列データ、音声データからなるキー表示情報の３つから構成される。

まずは、キーイベント情報について説明する。

図6は、ＤＶＲ１０３の操作ＵＩの概略図である。601は電源ボタンであり、602はＤＶＤメディアを挿入するトレイを開閉するためのイジェクトボタン、603は巻き戻しボタン、604は再生ボタン、605は早送りボタン、606は停止ボタン、607は一時停止ボタン、608は録画ボタンである。

これらの操作ＵＩの内、ＤＶＲ103を電源投入時に有効となるボタンは601電源ボタン、602イジェクトボタン、603再生ボタン、604録画ボタンの３つであり、制御装置側ではそれ以外のボタンについては表示を行う必要がない。キーイベント情報としては、電源キーイベント、イジェクトキーイベント、再生キーイベント、録画キーイベントの4つのイベント情報が送信される。つまり、キーのイベントとしては、機器の状態に応じて有効となるもののみが選択されて送信される。

次にキーレイアウト情報について図7を用いて説明する。

操作ＵＩにおいて、ボタンの配置はユーザビリティに直結しているため、どのように配置するかが重要となる。図7の701に示すのは図5に示した操作ＵＩの構成をレイアウト情報としたものである。

太線は各ボタンを機能毎に分けたグループであることを示す。

ここで、電源ボタン６０１とイジェクトボタンと録画ボタンはそれぞれ独立した機能のボタンである。再生、停止、一時停止、早送り、巻き戻しボタンはＤＶＤの再生や停止など機器本来の制御するための機能であり、ユーザーがもっとも多用するボタンである。そのため、早送りは右側に巻き戻しは左側にというように、配置にも直感的にわかりやすい意味を持っていることが多い。レイアウト情報では、このように機能毎にまとまって意味のある配置されているものをグループとして扱う。

この場合は、１行３列の配列で３つめのセルがさらに2行3列で分割された領域でそれぞれのキーの配置が定義することができる。

次にキー表示情報について説明する。

図8にキー表示情報の詳細を示す。キー表示情報はそのキーの意味を直感的に示す画像データと、文字列、そして、そのキーを押した時に提供される機能を説明した文字列で構成される。また、説明の文字列は音声合成を行うための音声データであってもよい。

キー情報データ記述の一例を図9に示す。図9は図5で示した外観のリモコンのキー情報を記述したものである。

図では、ＸＭＬベースの記述言語で、水平方向を<horizontal>タグ、垂直方向を<vertical>タグで示す要素で構成することで、レイアウトのセル部分を記述しその中の属性として、キーイベントをkeyevent属性、文字列をstring属性、説明をguide属性として表現している。

図３の306１における操作パネルの生成ついて図面を用いて詳細に説明する。

リモコン102の外観を図10に示す。リモコンは、上部左側に音を消す消音ボタンと右側に電源をON/OFFする電源ボタン、中心にチャンネルを指定するためのチャンネルに３×４配列のチャンネル指定ボタン、下部に音量を増減するための音量ボタン、チャンネルを１チャンネルづつ変更するためのチャンネル変更ボタンで構成される。

デジタルテレビ１０１はリモコン情報メモリ２０３に自身のリモコン情報を保持している。

図10に示すリモコンの場合、図11に示すようなキーレイアウト情報と図12に示すようなリモコンのパネル情報を保持している。

ＤＶＲ103から送信されたキー情報と、リモコン情報との比較を行い、ＤＶＲ103のキーのレイアウトを損なわずにリモコン102のボタンに配置することが可能かどうかの判定を行い、可能であれば、キーイベントとリモコンのボタンが押された場合の信号との対応付けて保存し、パネル情報のボタンに関する領域にリモコン表示情報を表示する。作成された操作パネルを図13に示す。

またこの時、リモコン102のボタンにDVR103のキーのレイアウトを損なわずに配置することが不可能な場合、例えば、キーのイベント総数がリモコンの物的数量より大きい場合やレイアウトのマッピングができずレイアウト情報を壊してしまう場合は、選択式の操作パネルを表示する。

選択式の操作パネルについて、以下図面を用いて説明する。

図14は、選択式パネルの一例である。

1406は被制御機器のキー情報データをレイアウトどおりにキーイベント情報を配置し、キーイベント情報をキー表示情報で置き換えて生成した被制御装置の操作UIを模擬したGUI画面である。1407は現在どのキーを選択しているかを示すフォーカスである。

1400はリモコンの操作パネルである。この操作パネルは1401の上キー、1402の右キー、1403の左キー、1404の下キーで1407のフォーカスを移動させ、1405の決定キーでそのキーを選択することで、リモコン操作を模擬するものである。

この時、矢印の図や決定の文字列はデジタルテレビ101の記録媒体201に保存されており、接続されている被制御機器に依存せず汎用的に使用することが可能なものとする。

この選択式操作パネルを用いることで、リモコンへキー情報を正確にマッピングできない場合にも被制御装置を操作することが可能となる。

次に、複数の機器がネットワークに接続している場合の動作について以下、図を用いて説明する。

図15は、本実施形態の制御装置（即ち、デジタルテレビ101）の電源を投入後、2つの被制御装置（ＤＶＲ103、DVR104）との接続の確立後、被制御装置のキー情報を受信し、操作パネルを生成し、操作パネルを元にリモコン102によって送信された信号を被制御装置へと通知し、被制御装置が自身を制御するまでの通信の手順を説明した図である。

図3で示したフローチャート図で説明した場合と同様の処理を行うところには同一の番号を振ってある。

デジタルテレビ101が接続されているネットワークにDVR103、DVR104が接続された場合、または、既にネットワーク上にDVR103、DVR104が接続されている時にデジタルテレビ101の電源が入れられた場合に、それぞれの機器はIEEE1394規格に基づくプラグアンドプレイ機能によってお互いの接続を確認し、301へ進む。

図3で説明した場合と同様に、301から305のステップをDVR103、DVR104の両方で実行する。

デジタルテレビ101はDVR103、DVR104の両方の機器が遠隔操作可能なデバイスであると認識し、3061のメニュー画面でDVR103とDVR104の2つが選択する。

1501では、DVR103とDVR104の２つの機器を遠隔操作対象とし、307,308のステップをDVR103,DVR104の両方で実行し、1502へと進む。

1502で、デジタルテレビ101はDVR103、DVR104の両方のキー情報を記録し、両方のキー情報をリモコン102のレイアウトに対応付けたパネルの操作画面を生成する。

図16に操作パネルの表示例を示す。

図16ではDVR103の操作に該当するキーを1201に、DVR104の操作に該当するキーを1202の領域に配置していることを示す。

3092から313は図3で説明した場合と同様にキー情報の入力をDVR103のイベント情報へと変換し、DVR103の制御を行った後、更新されたキー情報を再び取得し、操作パネルを更新する。

例えば、DVR103に対してユーザーが再生のリモコンキーを押下すると、そのキー情報が再生イベントへと変換されDVR103のDVDメディアが再生される。DVR103は、再生したコンテンツを制御するためのキー情報をデジタルテレビ101へと送信し、デジタルテレビ101はそのキー情報を元に操作パネルの更新を行う。

更新された操作パネルの例を図17に示す。

DVR104に対してユーザーが操作を行った場合にも同様の処理が行われ、常に接続された機器の状況に応じた操作パネルに更新され、ユーザーは複数の機器を制御機器のリモコン102から操作することができる。

本実施例では、制御装置の入力装置としてリモコンとして例を挙げたが、機器を制御するための入力装置であれば、タッチパネルやタッチペンなどのポインティングデバイスとし、制御装置がポインティングデバイスから受け取るイベントをリモコンの信号に置き換えて考えて、被制御装置に入力情報として送信することでも実現可能である。

本実施形態のユーザーインタフェースによる遠隔操作環境を実現する通信システムの一例を示すブロック図。 本実施形態のユーザーインタフェースによる遠隔操作環境を実現する通信システムの一例を示す詳細なブロック図。 通信の手順を説明した図。 デバイス情報の例。 デバイス情報と構成するメニュー画面。 ＤＶＲ１０３の操作ＵＩの概略図。 キーレイアウト情報。 キー表示情報の詳細。 キー情報データ記述の一例。 リモコン102の外観。 キーレイアウト情報。 リモコンのパネル情報。 作成された操作パネル。 選択式パネルの一例。 被制御装置が自身を制御するまでの通信の手順を説明した図。 操作パネルの表示例。 更新された操作パネルの例。

Claims (7)

1. ネットワークに接続された第１の機器と、
   ネットワークを介して、前記第１の機器によって遠隔操作される第2の機器とを有し、
   前記第2の機器は自身を一意に決定するデバイス情報と、自身を操作するためのキー情報を生成するキー情報生成手段と、前記第１の機器に前記デバイス情報と前記キー情報を送信するキー情報送信手段を有し、前記第１の機器は前記第２の機器から前記デバイス情報と前記キー情報とを受信する手段と、前記デバイス情報から制御する被制御機器を選択するための第１の操作パネルを生成する手段と、前記第１の操作パネルを表示するための第１の操作パネル手段表示手段と、
   前記キー情報から前記第２の機器のキー情報と自身の入力装置情報を元に前記第２の機器を制御するための第２の操作パネルを生成する第２の操作パネル生成手段と、前記第２の操作パネルを自身の画面に表示する第２の操作パネル表示手段と、ユーザーが入力装置に対して行った入力情報を前記第２の機器へと送信する入力情報送信手段を備えることを特徴とする遠隔操作システム。
2. 前記キー情報は第２の機器が備える入力装置のボタンレイアウト情報を含むことを特徴とする請求項１に記載の遠隔操作システム。
3. 前記キー情報は第２の機器が備える入力装置を操作した場合のキーイベント情報を含むことを特徴とする請求項１に記載の遠隔操作システム。
4. 前記キー情報は第2の機器が備える入力装置を操作した場合のキーの意味を前記操作パネルに表示するためのキー表示情報を含むことを特徴とする請求項１に記載の遠隔操作システム。
5. 前記操作パネル生成手段は、前記第２の機器から送信されたキー情報を元に前記第２の機器が備える入力装置と同様のボタン配置の操作パネルを生成することを特徴とする請求項１に記載の遠隔操作システム。
6. 前記操作パネル生成手段は、前記第２の機器から送信されたキー情報が、前記第１の機器の入力装置が備えるキーへ物理的に対応付けが不可能な場合は、選択式の操作パネルを表示することを特徴とする請求項１に記載の遠隔操作システム。
7. 前記第1の操作パネル生成手段は、少なくとも２つの被制御機器を統合して選択することができる操作パネルを表示することを特徴とする請求項１に記載の遠隔操作システム。

Images