JP2007194796A

JP2007194796A - 遠隔制御システム、遠隔制御通信装置、及び被制御側通信装置

Info

Publication number: JP2007194796A
Application number: JP2006009708A
Authority: JP
Inventors: Shigeo Ando; 重男安藤; Kenji Minami; 賢司南; Yasuo Maeda; 泰雄前田; Mitsunobu Yoshinaga; 光伸吉永
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-01-18
Filing date: 2006-01-18
Publication date: 2007-08-02
Anticipated expiration: 2026-01-18
Also published as: JP4605028B2

Abstract

【課題】電話機を用いた従来の遠隔制御システムは、電話機の数字キーと機器操作内容を対応づけたメニュー画面を操作者に提示し、操作者が電話機の数字キーを選択押下することにより制御していたので、操作環境が良くないという問題があった。また、操作者の操作内容を対象機器側で誤認することにより、操作者の意図と異なる制御が実行される可能性があるという問題もあった。
【解決手段】被制御機器１が接続された被制御側通信装置２が操作用画像２０を遠隔制御通信装置３に送信し、遠隔制御通信装置３は、操作用画像２０を操作者に対して表示し、操作者が前記操作用画像２０に基づいて入力した画面指示位置に基づいて生成した制御用画像２２を被制御側通信装置２に送信し、被制御側通信装置２は制御用画像２２に基づいて被制御機器１を制御するようにしたものである。
【選択図】図１

Description

本発明は、自宅に設置したＶＴＲ、クーラー等の家庭電気製品を、外出先から遠隔操作することが可能な遠隔制御システム、及び遠隔制御システムを構成する遠隔制御通信装置、及び被制御側通信装置に関するものである。

近年、動画を含む映像を扱うことができる携帯電話の普及が急速に進んでいる。双方向映像通信機能であるテレビ電話機能を有する携帯電話も広く使われ始めている。このような状況で、例えば、外出先から、自宅のＡＶ機器を遠隔制御し、それらの機器に蓄積された映像を見る手段などが求められている。同じく、外出先からエアコンなどの機器を遠隔制御する手段も求められている。

電話機を用いた遠隔制御の方法として、電話機の数字キーと機器操作内容を対応づけたテキスト情報によるメニュー画面を操作者に提示し、操作者が電話機の数字キーを選択押下することにより、ＤＴＭＦ（ＤｕａｌＴｏｎｅＭｕｌｔｉＦｒｅｑｕｅｎｃｙ）信号を発生させる方法が、下記の特許文献１に記載されている。ＤＴＭＦでは、高音系４種類と低音系４種類からそれぞれ１音ずつ組合せ、計１６種類の状態を表現できる。

特開２００５−２３６６７６

しかしながら、従来の方法で多くの対象機器を制御するためには、ＤＴＭＦによる１６種類の情報では不十分であるという問題があった。このＤＴＭＦを複数回送信することにより、送信可能な情報を増やすことは原理的には可能であるが、テキスト情報によるメニュー画面を複数回提示する必要があり、操作者による操作が複雑化し、所望の操作を行うために長い時間を要し、実用的でないという問題点があった。また、操作者に対する操作情報の提示がテキスト情報によるメニュー画面である為、数字キーと操作内容との対応づけ等限られた表現形式での情報提示しか行えず、自由度の高く、操作性の良い操作環境を提供できないという問題があった。また、対象機器側に送信されるＤＴＭＦが、どの操作画面に対する操作者の操作に対応するものか、対象機器側で誤認されることにより、操作者の意図と異なる制御が実行される可能性があるという問題もあった。

本発明は、対象機器の遠隔操作において、多くの対象機器に対する操作を簡単に短時間で行うことができ、かつ確実性の高い制御が実現できる遠隔制御システム、及び遠隔制御システムを構成する遠隔制御通信装置、及び被制御側通信装置を提供することを目的とする。

この発明に係る遠隔制御システムは、被制御機器が接続された被制御側通信装置が操作用画像を遠隔制御通信装置に送信し、前記遠隔制御通信装置は、前記操作用画像を表示し、前記操作用画像に基づいて入力された画面指示位置に基づいて生成した制御用画像を前記被制御側通信装置に送信し、前記被制御側通信装置は前記制御用画像に基づいて前記被制御機器を制御するようにしたものである。

また、この発明に係る遠隔制御システムは、被制御機器が接続された被制御側通信装置が操作用画像を遠隔制御通信装置に送信し、前記遠隔制御通信装置は、前記操作用画像を表示し、前記操作用画像に基づいて入力された画面指示位置に基づいて生成した制御用音声信号と、前記操作用画像と同一の画像である制御用画像とを前記被制御側通信装置に送信し、前記被制御側通信装置は前記制御用音声信号と前記制御用画像に基づいて前記被制御機器を制御するようにしたものである。

本発明によれば、遠隔制御通信装置は被制御側通信装置から取得した操作用画像を操作者に提示するようにしたので、操作者に対してより多様な操作情報を一度に提示することができ、操作者は前記操作用画像に基づいて画面指示位置を入力するようにしたので、より簡単な操作で被制御機器の遠隔操作を行うことができる。

また、本発明によれば、操作者が入力した画面指示位置に基づいて生成した制御用画像を被制御側通信装置に送信するようにしたので、操作者の意図を誤りなく伝送することができるので、より確実性が高い被制御機器の遠隔制御が可能となる。

また、本発明によれば、操作者が入力した画面指示位置に基づいて生成した制御用音声信号と、操作用画像と同一画像である制御用画像とを被制御側通信装置に送信するようにしたので、操作者の意図を誤りなく伝送することができるので、より確実性が高い被制御機器の遠隔制御が可能となる。

また、本発明によれば、操作情報を操作用画像として被制御側通信装置から取得するようにしたので、各個別の被制御機器に対応した多様な操作情報を遠隔制御通信装置に予め蓄積しておく必要が無い。また、各被制御機器の種類によらず、すべての被制御機器の制御を共通した手順で処理できるので、遠隔制御通信装置における処理を簡単化できる。この為、遠隔制御通信装置の処理負荷低減、及びコスト低減の面においても効果がある。よって、遠隔制御システム全体に対してもコスト低減の効果がある。

実施の形態１．
本発明の実施の形態１による遠隔制御システムを図面に基づいて説明する。図１は本発明の実施の形態１による遠隔制御システムの構成図である。本発明の遠隔制御システムは被制御機器１が接続された被制御側通信装置２と、被制御側通信装置２と通信ネットワークを介して通信を行う遠隔制御用通信装置３とから構成される。ここで、被制御機器１としては、例えば、ＤＶＤやＶＴＲなどの映像蓄積再生機能を備えた家庭電気製品や、エアコンや照明機器などの映像関連機器以外の家庭電気製品である。

被制御側通信装置２と被制御機器１は、被制御機器１が出力する映像信号と音声信号を被制御側通信装置２が入力できるようにケーブル等で接続されており、また、被制御側通信装置２が赤外線を使って被制御機器１を遠隔制御できるようになっている。また、被制御側通信装置２と遠隔制御用通信装置３を接続する通信ネットワークは携帯電話回線網であり、テレビ電話による通話が可能な通信ネットワークである。

遠隔制御用通信装置３はテレビ電話機能付き携帯電話としても用いられるものであり、撮像手段としてのカメラ１０と、液晶画面からなる表示部１１と、マイク１２、スピーカ１３、及びキー入力部１４を有する。キー入力部１４は、数字キー１４ａ、方向キー１４ｂは方向キー、選択を確定する確定キー１４ｃを備えている。ここで、カメラ１０は、例えばテレビ電話の際に撮像のために用いられ、表示部１１は、テレビ電話の際、通信相手から送られた映像を表示するのに用いられるほか、後述するように、被制御機器１の遠隔制御を行う際、被制御側通信装置２から受信した映像を表示するのにも用いられる。表示部１１は、図示のように、受信映像表示領域１１ａと、ＧＵＩ（グラフィカル・ユーザ・インターフェース）表示領域１１ｂとから構成される。また、遠隔制御用通信装置３の操作者による画面上の位置指示のために、表示部１１にポインタ１１ｃが表示される。マイク１２は、例えばテレビ電話の際音声を入力するために用いられ、スピーカ１３は、例えばテレビ電話の際、音声を出力するために用いられる。キー入力部１４は、例えばテレビ電話の操作に用いられるほか、後述のように、被制御機器１の遠隔制御を行う際、操作者が表示部１１における画面位置指示を指定するために用いられる。

次に、遠隔制御システムの全体動作について説明する。まず、遠隔制御用通信装置３が通信ネットワークを介して被制御側通信装置２に接続すると、被制御側通信装置２は操作用画像２０を含んだ映像信号を矢印２１で示すように通信ネットワークを介して遠隔制御用通信装置３に送信する。なお、以下では、被制御機器１がＶＴＲの場合を例として説明する。

操作用画像２０には被制御機器１に対する操作を選択指示する為の操作ボタン表示が含まれている。図２に操作用画像２０の構成を示す。操作用画像２０は被制御機器１の機器操作に使用する操作用表示部分２０ａと、映像等を表示する汎用表示部分２０ｂとからなる。操作用表示部分２０ａには、操作ボタン３０、操作用画像２０内での位置基準に用いる位置基準情報３１、及び操作用画像２０の画面種別を示す画面識別情報３２が含まれている。

操作ボタン３０には「再生」、「停止」、「早送り」、「巻戻し」、及びこの操作用画像２０の表示を終了することを意味する「終了」などの操作ボタンが含まれる。また、画面識別情報３２は、白又は黒の単位セルを配列したものであり、各セルにより１ビットの情報が表わされる。例えば、白が第１の値、例えば「０」を表し、黒が第２の値、例えば「１」を表わす。これにより、例えば操作用画像２０がＶＴＲ操作用画像であることを表示する。位置基準情報３１は、操作用表示部分２０ａの右上領域及び左下領域に表示され、中心部が矩形形状で白ぬきされた黒の矩形形状であり、後述する遠隔制御用通信装置３内部での画像処理において、処理しやすいように特徴が明確な図形となっている。

遠隔制御用通信装置３は受信した映像信号に含まれている操作用画像２０を表示部１１に表示する。表示部１１の前面にはポインタ１１ｃが表示され、操作者が確定キー１４ｃを押下した場合、遠隔制御用通信装置３は、ポインタ１１ｃが指し示す画面内での指示位置を表す制御用画像２２を生成し、該制御用画像２２を含んだ映像信号を矢印２３に示すように通信ネットワーク経由で被制御側通信装置２に対して送信する。

図３に制御用画像２２の構成を示す。制御用画像２２は操作用画像２０と同一内容の画像に、縦線を表す縦線画像３３ａと、横線を表す横線画像３３ｂとを重畳表示したものである。ここで、縦線画像３３ａと横線画像３３ｂの表示は、操作者が確定キー１４ｃを押下した際のポインタ１１ｃの位置が、縦線画像３３ａと横線画像３３ｂの交点の位置に一致するように表示するものである。即ち、縦線画像３３ａと、横線画像３３ｂの交点が、操作者が指定した画面指示位置を示す。

被制御側通信装置２は遠隔制御用通信装置３から受信した映像信号に含まれる制御用画像２２を後述する手順で解析することにより、操作者が選択した操作内容を判断する。そして、前記操作内容に対応した制御信号を被制御機器１に対して赤外線通信を用いて、矢印４５に示すように送信する。例えば、操作者が選択した操作が「早送り」の場合、「早送り」の指示の制御信号を被制御機器１に対して送出する。被制御機器１は前記制御信号を受信するとこの制御信号に対応した動作指示に基づく動作をし、その結果の出力データ、例えば早送りされた映像データを、矢印４６に示すように送信する。被制御側通信装置２は、被制御機器１から受け取った映像データを、矢印２１で示すように、遠隔制御用装置３に送信する。

このようにして、遠隔制御用通信装置３では、被制御側通信装置２から受信した操作用画像２０に対する画面位置指示の情報を、制御用画像２２として被制御側通信装置２に対して送信することにより、表示部１１に、上記の場合、「早送り」の映像が表示されることになる。即ち、あたかも、遠隔制御用通信装置３自体に当該映像データが保存されており、操作に応じて、早送りなどの特殊再生を含む再生処理がされたかのように、被制御機器１に蓄積された映像を視聴することができる。

次に、遠隔制御用通信装置３の内部動作を図４に基づいて説明する。なお、図４において、図１におけるものと同一部分については同じ符号で示す。遠隔制御用通信装置３は被制御側通信装置２が送信した操作用画像２０を含んだ映像信号を通信処理部４０で受信する。この時、通信処理部４０は操作用画像受信手段として機能する。受信した映像信号は信号分離処理部４１を経由して、映像復号処理部４２に出力される。なお、信号分離処理部４１は受信した信号が映像信号の場合は映像復号処理部４２に出力し、受信した信号が音声信号の場合には音声復号処理部４３に出力する。映像復号処理部４２は受信した映像信号を復号処理し、復号後の映像信号を映像表示処理部４４に出力する。

映像表示処理部４４は映像復号処理部４２から入力した復号後の映像信号を映像取得部４７に出力するとともに、ＧＵＩ画像生成処理部４５が出力するＧＵＩ表示領域１１ｂに表示するＧＵＩ画像と、後述するポインタ表示処理部４６が出力するポインタ１１ｃの画像を復号後の映像信号に画像合成して、表示部１１に出力する。映像表示処理部４４が出力した合成映像は、図１に示すように表示部１１に表示される。この時、表示部１１は操作用画像表示手段として機能することになる。一方、映像取得部４７は入力した合成映像の全体をキャプチャーして得た静止画像を操作用画像２０として、後述する制御用画像生成処理部４８に出力する。

次に、操作者がキー入力部１４のキーを入力した場合の動作について説明する。操作者がキー入力部１４のキーを入力すると、キー操作検出部４９は入力されたキーの種別を判定する。入力されたキーが方向キー１４ｂの場合はキー種別等の情報をポインタ座標処理部５０に出力し、入力されたキーが確定キー１４ｃの場合はキー種別等の情報を制御用画像生成処理部４８に出力する。なお、図示していないがその他の入力キー１４ａが入力された場合は、全体制御部５５にキー種別等の情報を出力する。

ポインタ座標処理部５０はキー操作検出部４９からキー入力が通知されると、ポインタ１１ｃを表示すべき表示部１１内の位置座標を算出する。ポインタ座標処理部５０は算出した位置座標をポインタ表示処理部４６及び制御用画像生成処理部４８に出力する。ポインタ表示処理部４６は算出した位置座標にポインタ１１ｃを再描画したポインタ画像を生成し、映像表示処理部４４に出力する。映像表示処理部４４は前述したようにポインタ１１ｃが前面に表示されるように画像合成し、表示部１１に表示させる。

次に、操作者が被制御機器１であるＶＴＲに「早送り」動作をさせる時は、方向キー１４ｂを操作して、ポインタ１１ｃを「早送り」の操作ボタン３０の位置に移動させた後、確定キー１４ｃを押下する。この時、制御用画像生成処理部４８がキー操作検出部４９から入力するキー種別は確定キーとなる。制御用画像生成処理部４８は、キー操作検出部４９から入力したキー種別が確定キーの時は、映像取得部４７から入力した操作用画像２０全体の上に、縦線画像３３ａと横線画像３３ｂを重畳して描画する。この際、縦線画像３３ａと横線画像３３ｂの交点の位置がポインタ座標処理部５０が算出した位置座標と一致するようにすることにより、図３に示すような制御用画像２２を生成する。この時、制御用画像生成処理部４８は、制御用画像生成手段として機能することになる。制御用画像生成処理部４８は、生成した制御用画像２２を映像切替処理部５１に出力する。映像切替処理部５１は通常はカメラ１０が撮像した映像を映像符号化処理部５２に出力するが、制御用画像生成処理部４８が制御用画像２２を出力した際には、カメラ１０の映像出力の代わりに制御用画像２２を選択して映像符号化処理部５２に出力する。なお、映像切替処理部５１は、カメラ１０の映像出力に対して制御用画像２２を上書き処理することにより、映像切替を行うようにしても良い。

映像切替処理部５１が出力した制御用画像２２は映像符号化部５２で、画像圧縮等の映像符号化の処理を行った後、映像信号として多重処理部５３に出力される。多重処理部５３はマイク１２が入力した音声を音声符号化処理部５４で音声符号化して得た音声信号と、映像符号化部５２が出力する前述の映像信号とを多重化して通信処理部４０に出力する。通信処理部４０は多重処理部５３が出力する多重化後の信号を通信ネットワーク経由で被制御側通信装置２に送信する。この時、通信処理部４０は制御用画像送信手段として機能することになる。このようにして、図１の矢印２３で示すように、制御用画像２２が被制御側通信装置２に送信される。

次に被制御側通信装置２の動作を図５に示す動作フローに基づいて説明する。被制御側通信装置２は遠隔制御用通信装置３と通信ネットワークを介して通信が確立すると、被制御側通信装置２内の操作用画像送信手段が被制御機器１に対応する操作用画像２０を含んだ映像信号を遠隔制御用通信装置３に送信する（ステップａ１）。

被制御側通信装置２は遠隔制御用通信装置３から制御用画像２２が送信されてくるのを待つ。前述したように、操作者が遠隔制御用通信装置３を用いて遠隔操作すると、遠隔制御用通信装置３は被制御側通信装置２に対して制御用画像２２を送信するので、被制御側通信装置２の制御用画像受信手段は遠隔制御用通信装置３が送信した該制御用画像２２を受信する（ステップａ２）。

被制御側通信装置２は受信した制御用画像２２を画像処理することにより、制御用画像２２内に図３に示すような位置基準情報３１が含まれているか検査する。位置基準情報３１が含まれていない場合には、受信した制御用画像２２が不正なものであるとして受信した制御用画像２２を廃棄し、新たな制御用画像２２を受信するまで待機する（ステップａ３）。

受信した制御用画像２２内に位置基準情報３１が含まれている場合は、検出した位置基準情報３１を用いて、制御用画像２２の座標系を確定する。これにより、制御用画像２２内の任意の位置の座標が決定できることになる（ステップａ４）。

次に、制御用画像２２内に図３に示すような画面識別情報３２が含まれているか検査する。画面識別情報３２が含まれていない場合には、受信した制御用画像２２が不正なものであるとして制御用画像２２を廃棄し、新たな制御用画像２２を受信するまで待機する（ステップａ５）。

受信した制御用画像２２内に画面識別情報３２が含まれている場合は、検出した画面識別情報３２から、画面種別を判定する。これにより受信した制御用画像２２が被制御機器１に対する操作に対応すること、及び被制御機器１に対する操作用画像２０が複数個の画像から構成される場合には、どの操作用画像に対応するかを認識することができる（ステップａ６）。

次に、制御用画像２２内の縦線画像３３ａと横線画像３３ｂの交点位置に対応する座標を、ステップａ４で求めた画面内座標系に基づいて計算する（ステップａ７）。そして、前記交点位置の座標に、操作ボタン３０が存在するか検査する。各操作ボタン３０の制御用画像２２内での領域位置は操作用画像２０の生成時に予め分かっているので、前記交点位置の座標に、操作ボタン３０が存在するか否かは容易に検査することができる。前記座標位置にいずれの操作ボタン３０も存在しない場合には、被制御機器１に対してなんらの制御も行わずに、新たな制御用画像２２を受信するまで待機する（ステップａ８）。

縦線画像３３ａと横線画像３３ｂの交点位置に操作ボタン３０が存在する場合には、この操作ボタン３０の種類を調べる。そして、操作ボタン３０が「終了」であるならば、遠隔制御用通信装置３が遠隔制御を終了したと判断し、処理を終了する（ステップａ９）。操作ボタン３０が「終了」以外の操作に対応するものである場合は、被制御側通信装置２内の被制御機器制御手段が操作ボタン３０に対応する制御信号を赤外線通信により被制御機器１に送信する。例えば、操作ボタン３０が「早送り」の場合には、「早送り」用の制御信号を被制御機器１に送信する。これにより、被制御機器１（この例ではＶＴＲ）が出力する映像が早送りされる。前記制御信号の送出後は、新たな制御用画像２２を受信するまで待機する（ステップａ１０）。

なお、以上の説明では、被制御機器１としてＶＴＲを例としたが、映像関連機器以外の家庭電気製品、例えばエアコンを制御するようにしても良く、操作者はあたかも、エアコンのある部屋において、リモコンでエアコンを操作しているかのごとく、機器の遠隔制御を行うことができる。この場合、被制御機器１から送信する操作用画像は例えば図６に示す操作用画像６１のようになる。操作用画像６１には操作用画像２０と同様に位置基準情報６２、画面識別情報６３、及び各種の操作ボタン６４が含まれている。また、エアコンには映像・音声の出力が無いので、被制御側通信装置２が被制御機器１から映像・音声を入力することは無く、被制御側通信装置２は赤外線通信で被制御機器１を制御するのみである。したがって、エアコンの遠隔操作時には遠隔制御用通信装置３の表示部１１には映像の表示はなく、操作用画像６１のみが表示部１１に表示される。

また、被制御側通信装置２と遠隔制御用通信装置３を結ぶ通信ネットワークとして、携帯電話回線網以外の他の通信ネットワークを用いてもよい。例えば、インターネットを使用するようにしてもよい。

また、被制御側通信装置２と被制御機器１との接続を赤外線通信以外の方法で行っても良い。例えば、小電力無線や無線ＬＡＮを使用することが可能である。

また、遠隔制御用通信装置３の内部構成において、キー操作検出部４９は方向キー１４ｂ及び確定キー１４ｃ以外の入力キーの情報については全体制御部５５に出力するようにしていたが、一旦、すべての入力キーの情報を全体制御部５５に出力し、全体制御部５５が入力キーの情報内容に応じて、制御用画像生成処理部４８及びポインタ座標処理部５０等にキーの情報を出力する構成にしてもよい。

また、図１のシステム構成では、被制御側通信装置２と被制御機器１が、別個の装置となっているが、これらの装置が一体であっても良い。また、図１では、被制御側通信装置２が、受信した制御用画像２２を解析し、被制御機器１に対して赤外線通信で制御信号を送信しているが、被制御側通信装置２が、受信した制御用画像２２を被制御機器１に転送し、被制御機器１が制御用画像２２の解析処理を行うようにしても良い。

また、図１では被制御側通信装置２には一台の被制御機器１が接続されているが、複数台の被制御機器を被制御側通信装置２に設置するようにしても良い。この場合、被制御側通信装置２が最初に送信する操作用画像には制御可能な被制御機器のリストが含まれるようにして、遠隔制御用通信装置３が制御したい被制御機器を最初に選択できるようにすればよい。

また、制御用画像生成処理部４８が生成する制御用画像２２には、映像取得部４７が出力する操作用画像２０全体が含まれるようにしたが、制御用画像２２には操作用画像２０の主要な一部分のみを含むようにしても良い。これにより制御用画像２２の情報量を削減し、通信ネットワークの負荷を低減させることができる。

以上のように、遠隔制御通信装置は被制御側通信装置から取得した操作用画像を操作者に提示するようにしたので、操作者に対してより多様な操作情報を一度に提示することができる。また、操作者は前記操作用画像に基づいて画面指示位置を入力するようにしたので、より簡単な操作で被制御機器の遠隔操作を行うことができる。

また、操作者が入力した画面指示位置に基づいて生成した制御用画像を被制御側通信装置に送信するようにしたので、操作者の意図を誤りなく伝送することができるので、より確実性が高い被制御機器の遠隔制御が可能となる。

また、操作情報を操作用画像として被制御側通信装置から取得するようにしたので、各個別の被制御機器に対応した多様な操作情報を遠隔制御通信装置に予め蓄積しておく必要が無い。また、各被制御機器の種類によらず、すべての被制御機器の制御を共通した手順で処理できるので、遠隔制御通信装置における処理を簡単化できる。この為、遠隔制御通信装置の処理負荷低減、及びコスト低減の面においても効果がある。

また、遠隔制御通信装置は、操作用画像と制御用画像のみを用いて被制御機器の操作を行うようにしたので、被制御機器に対する多様な制御を簡単な操作で行うことが可能である。

また、遠隔制御通信装置は、操作情報を操作用画像として被制御側通信装置から取得するようにしたので、各個別の被制御機器に対応した多様な操作情報を遠隔制御通信装置に予め蓄積しておく必要が無い。また、各被制御機器の種類によらず、すべての被制御機器の制御を共通した手順で処理できるので、遠隔制御通信装置における処理を簡単化できる。この為、遠隔制御通信装置の処理負荷低減、及びコスト低減の面においても効果がある。

また、被制御側通信装置は、すべての被制御機器の制御を共通した手順で処理できるので、内部処理を簡単化でき、また、制御用画像に基づいて被制御機器の制御を行うので、通信ネットワークでの伝送エラーの影響を受けにくく、安定した制御が可能である。

実施の形態２．
実施の形態１では、遠隔制御用通信装置３が、操作者が操作した内容を表す制御用画像２２を生成し、被制御側通信装置２に送信するようにしたが、制御用画像２２の代わりに、操作者が操作した内容を表す音声信号を生成して被制御側通信装置２に送信する構成にしてもよい。実施の形態２の遠隔制御システムは遠隔制御用通信装置３において、操作者が操作した内容を表す画面指示位置情報を含んだ音声信号を生成し、これを被制御側通信装置２に送信することにより被制御機器１の遠隔制御を行うようにしたものである。

図７は本発明の実施の形態２による遠隔制御システムの構成図である。図１と同一部分には同一符号を付してある。まずシステム全体の動作を説明する。被制御側通信装置２が被制御機器１を操作する為の操作用画像２０を遠隔制御用通信装置３に送信し、操作者は遠隔制御用通信装置３の表示部１１に表示された操作用画像２０を見ながら、操作ボタン３０をポインタ１１ｃで指定し、確定キー１４ｃを押下することにより操作内容を選択するところまでは、実施の形態１の動作と同様である。

操作者が確定キー１４ｃを押下すると、遠隔制御用通信装置３はポインタ１１ｃが指定する位置の座標を表す音声信号を生成する。この音声信号は前記指定位置のＸ座標とＹ座標をそれぞれＤＴＭＦ方式で音データに変換したものである。具体的には、Ｘ座標とＹ座標を２桁の数値で表した場合、Ｘ座標の１０の位の数字、Ｘ座標の１の位の数字、及び、Ｙ座標の１０の位の数字、Ｙ座標の１の位の数字の計４つの数字をそれぞれＤＴＭＦの音声信号に変換したものである。

遠隔制御用通信装置３は前記音声信号を制御用音声信号２４として、被制御側通信装置２に送信する。この際、制御用音声信号２４の送信タイミングに同期して、操作用画像２０と同一内容の画像を制御用画像２５として、被制御側通信装置２に送信する。詳細な処理内容は後述するが、被制御側通信装置２は受信した制御用画像２５と制御用音声信号２４を用いて、操作者が行った操作内容を把握する。その後は実施の形態１の場合と同様に、操作者が行った操作内容に対応する制御信号を被制御機器１に赤外線通信で送信することにより被制御機器１の動作制御を行う。

次に、遠隔制御用通信装置３の内部動作を図８に基づいて説明する。図８は遠隔制御用通信装置３の内部構成を示した図である。なお、図８において、図４におけるものと同一部分については同じ符号で示し、説明を省略する。遠隔制御用通信装置３が操作用画像２０を受信し、表示部１１に表示する動作は実施の形態１における動作と同一である。

実施の形態１と相違するのは、制御用音声生成処理部５６と音声多重処理部５７を新たに設けたことである。そして、ポインタ座標処理部５０は算出した位置座標を制御用画像生成処理部４８ではなく、制御用音声生成処理部５６に出力する。なお、ポインタ座標処理部５０は算出した位置座標をポインタ表示処理部４６にも出力する点は実施の形態１と同様である。また、キー操作検出部４９は、方向キー１４ｂの入力情報をポインタ座標処理部５０に出力すると共に、確定キー１４ｃの入力情報を制御用音声生成処理部５６と制御用画像生成処理部４８の両方に出力する。

操作者が確定キー１４ｃを押下し、キー操作検出部４９が確定キー１４ｃの入力情報を制御用音声生成処理部５６に出力すると、制御用音声生成処理部５６はポインタ座標処理部５０から入力したポインタ１１ｃの位置座標の値をＤＴＭＦ形式の音声信号に変換する。変換は前述したように、Ｘ座標、Ｙ座標の各位の数字毎に行う。制御用音声生成処理部５６は生成した音声信号は制御用音声信号２４として、音声多重処理部５７に出力する。音声多重処理部５７はマイク１２が入力した音声信号と制御用音声生成処理部５６が出力した制御用音声信号２４を多重化して音声符号化処理部５４に出力する。音声符号化処理部５４は、マイク音声と制御用音声信号２４が多重化された音声信号に対して音声符号化の処理を行い、音声符号化後の信号を多重処理部５３に出力する。

一方、制御用画像生成処理部４８は、キー操作検出部４９から確定キー１４ｃの入力情報を受け取ると、映像取得部４７が出力した操作用画像２０を取り込み、映像切替処理部５１に制御用画像２５として出力する。従って、制御用画像２５は操作用画像２０と全く同一構成の画像である。制御用画像２５は実施の形態１の場合と同様に、映像切替処理部５１、映像符号化処理部４６を経て、多重化処理部５３に出力される。多重化処理部５３は符号化された映像信号と音声信号を多重化し、多重化後の信号は送信処理部４０により通信ネットワーク経由で被制御側通信装置２に送信される。

このようにして、操作者が確定キー１４ｃを押下すると、その時点での操作用画像２０の内容と同一である制御用画面２５と、操作者が指定した操作用画像２０内での位置座標を表した制御用音声信号２４とが同期して被制御側通信装置２に送信される。

次に、被制御側通信装置２の動作を図９に示す動作フローに基づいて、実施の形態１の場合との相違点に着目して説明する。被制御側通信装置２は遠隔制御用通信装置３と通信ネットワークを介して通信が確立すると、被制御側通信装置２内の操作用画像送信手段が被制御機器１に対応する操作用画像２０の映像信号を遠隔制御用通信装置３に送信する（ステップｂ１）。

次に、被制御側通信装置２は遠隔制御用通信装置３から制御用音声信号２４と制御用画像信号２５とが送信されてくるのを待つ。前述したように、操作者が遠隔制御用通信装置３を用いて遠隔操作すると、遠隔制御用通信装置３は被制御側通信装置２に対して制御用音声信号２４と制御用画像信号２５とを同期して送信するので、被制御側通信装置２内の制御用音声受信手段及び制御用画像受信手段は遠隔制御用通信装置３が送信した制御用音声信号２４及び制御用画像２５とをそれぞれ受信する（ステップｂ２）。なお、図示していないが、通信ネットワークの障害等で制御用音声信号２４と制御用画像信号２５のいずれか一方のみしか受信しないケースも想定される。その際には一方を受信後、一定時間以内にもう一方を受信しない場合には、受信済みの信号を廃棄するようにすればよい。

次に、被制御側通信装置２は受信した制御用画像２５を画像処理することにより、制御用画像２２内に図２に示すような位置基準情報３１が含まれているか検査する。位置基準情報３１が含まれていない場合には、受信した制御用画像２５が不正なものであるとして受信した制御用画像２５及び制御用音声信号２４を廃棄し、新たな制御用音声信号２４及び制御用画像２５とを受信するまで待機する（ステップｂ３）。

受信した制御用画像２５内に位置基準情報３１が含まれている場合は、検出した位置基準情報３１を用いて、制御用画像２５の座標系を確定する。これにより、制御用画像２５内の任意の位置の座標が決定する。（ステップｂ４）。

次に、制御用画像２２内に図３に示すような画面識別情報３２が含まれているか検査する。画面識別情報３２が含まれていない場合には、受信した制御用画像２２が不正なものであるとして受信した制御用画像２５及び制御用音声信号２４を廃棄し、新たな制御用音声信号２４及び制御用画像２５とを受信するまで待機する（ステップｂ５）。

受信した制御用画像２２内に画面識別情報３２が含まれている場合は、検出した画面識別情報３２から、画面種別を判定する。これにより受信した制御用画像２５が被制御機器１に対する操作に対応すること、及び被制御機器１に対する操作用画像２５が複数画面から構成される場合には、どの画面に対応するかを認識することができる（ステップｂ６）。次に、受信した制御用音声信号２４に含まれている数字をＤＴＭＦ方式に基づいて取り出し、操作者が指定した画面指示位置のＸ座標及びＹ座標を取得する（ステップｂ７）。

これ以降の処理は実施の形態１での処理と同様なものである。即ち、前記画面指示位置の座標に、操作ボタン３０が存在するか検査し（ステップｂ８）、画面指示位置に操作ボタン３０が存在する場合には、この操作ボタン３０の種類を調べ（ステップｂ９）、そして、操作ボタン３０が「終了」であるならば処理を終了し、操作ボタン３０が「終了」以外の操作に対応するものである場合は、操作ボタン３０に対応する制御信号を赤外線通信により被制御機器１に送信する。（ステップｂ１０）。

以上のように、操作者は被制御側通信装置が送信する操作用画像に基づいて被制御機器を遠隔制御するようにしたので、様々な種類の被制御機器をより簡単操作で遠隔制御できるという効果がある。また、遠隔制御用通信装置側で各被制御機器対応の個別の操作画面を予め用意する必要が無く、すべての各被制御機器に共通な処理手順で遠隔制御することができるので、より拡張性に富んだ遠隔制御システムの構築が可能となる。

また、操作者が入力した画面指示位置に基づいて生成した制御用音声信号と、操作用画像と同一画像である制御用画像とを被制御側通信装置に送信するようにしたので、操作者の意図を誤りなく伝送することができるので、より確実性が高い被制御機器の遠隔制御が可能になるという効果がある。

本発明の実施の形態１による遠隔制御システムのシステム構成図である。本発明の実施の形態１、２による操作用画像の構成を示す図である。本発明の実施の形態１による制御用画像の構成を示す図である。本発明の実施の形態１による遠隔制御用通信装置の構成図である。本発明の実施の形態１による被制御側通信装置２の動作フローである。本発明の実施の形態１による制御用画像の構成を示す図である。本発明の実施の形態２による遠隔制御システムのシステム構成図である。本発明の実施の形態２による遠隔制御用通信装置の構成図である。本発明の実施の形態２による被制御側通信装置２の動作フローである。

符号の説明

１・・・・被制御機器
２・・・・被制御側通信装置
３・・・・遠隔制御用通信装置
２０・・・・操作用画像
２２・・・・制御用画像
３１・・・・位置基準情報
３２・・・・画面識別情報
３３ａ・・・・縦線画像
３３ｂ・・・・横線画像

Claims

被制御機器が接続された被制御側通信装置と、通信ネットワークを介して前記被制御側通信装置と通信し、前記被制御側通信装置を遠隔制御する遠隔制御通信装置とからなる遠隔制御システムにおいて、
前記被制御側通信装置は、
前記被制御機器を操作するための操作用画像を前記遠隔制御通信装置に送信する操作用画像送信手段と、前記遠隔制御通信装置から制御用画像を受信する制御用画像受信手段と、前記制御用画像に基づいて前記被制御機器を制御する被制御機器制御手段とを有し、
前記遠隔制御通信装置は、
前記被制御側通信装置から前記操作用画像を受信する操作用画像受信手段と、受信した前記操作用画像を表示する操作用画像表示手段と、表示された前記操作用画像に基づいて入力された画面指示位置を示す制御用画像を生成する制御用画像生成手段と、生成した前記制御用画像を前記被制御側通信装置に送信する制御用画像送信手段とを有したことを特徴とする遠隔制御システム。
被制御機器が接続された被制御側通信装置と、通信ネットワークを介して前記被制御側通信装置と通信し、前記被制御側通信装置を遠隔制御する遠隔制御通信装置とからなる遠隔制御システムにおいて、
前記被制御側通信装置は、
前記被制御機器を操作するための操作用画像を前記遠隔制御通信装置に送信する操作用画像送信手段と、前記遠隔制御通信装置から制御用音声信号を受信する制御用音声信号受信手段と、前記遠隔制御通信装置から前記制御用音声信号に対応した制御用画像を受信する制御用画像受信手段と、前記制御用音声信号及び前記制御用画像に基づいて前記被制御機器を制御する被制御機器制御手段とを有し、
前記遠隔制御通信装置は、
前記被制御側通信装置から前記操作用画像を受信する操作用画像受信手段と、受信した前記操作用画像を表示する操作用画像表示手段と、表示された前記操作用画像に基づいて入力した画面指示位置を示す制御用音声信号を生成する制御用音声信号生成手段と、生成した前記制御用音声信号を前記被制御側通信装置に送信する制御用音声信号送信手段と、送信した前記制御用音声信号の送信に同期して、受信した前記操作用画像を前記制御用画像として前記被制御側通信装置に送信する制御用画像送信手段とを有したことを特徴とする遠隔制御システム。
制御用画像生成手段は、操作用画像と、画面指示位置を示す縦線画像と横線画像とを組み合わせて、制御用画像を生成することを特徴とする請求項１に記載の遠隔制御システム。
操作用画像は、前記操作用画像毎に付与された画像識別情報を示す領域を有し、制御用画像は、前記操作用画像に含まれている画像識別情報を示す領域を有していることを特徴とする請求項１から３のいずれかに記載の遠隔制御システム。
操作用画像は、前記操作用画像内位置の基準となる位置基準情報を示す領域を有し、制御用画像は、前記操作用画像に含まれている位置基準情報を示す領域を有していることを特徴とする請求項１から４のいずれかに記載の遠隔制御システム。
制御用画像は、操作用画像の一部、もしくは、全体を含んでいることを特徴とする請求項１から５のいずれかに記載の遠隔制御システム。
遠隔制御通信装置が携帯電話であることを特徴とする請求項１から６のいずれかに記載の遠隔制御システム。
被制御機器を操作するための操作用画像を遠隔制御通信装置に送信する操作用画像送信手段と、前記遠隔制御通信装置から前記操作用画像に対応した画面指示位置を示す制御用画像を受信する制御用画像受信手段と、前記制御用画像に基づいて前記被制御機器を制御する被制御機器制御手段とを有したことを特徴とする被制御側通信装置。
被制御機器を操作するための操作用画像を被制御側通信装置から受信する操作用画像受信手段と、受信した前記操作用画像を表示する操作用画像表示手段と、表示された前記操作用画像に基づいて入力された画面指示位置を示す制御用画像を生成する制御用画像生成手段と、生成した前記制御用画像を前記被制御側通信装置に送信する制御用画像送信手段とを有したことを特徴とする遠隔制御通信装置。
被制御機器を操作するための操作用画像を遠隔制御通信装置に送信する操作用画像送信手段と、前記遠隔制御通信装置から前記操作用画像に対応した画面指示位置を示す制御用音声信号を受信する制御用音声信号受信手段と、前記遠隔制御通信装置から前記制御用音声信号に対応した前記操作用画像と同一の制御用画像を受信する制御用画像受信手段と、前記制御用音声信号及び前記制御用画像に基づいて前記被制御機器を制御する被制御機器制御手段とを有したことを特徴とする被制御側通信装置。
被制御機器を操作するための操作用画像を被制御側通信装置から受信する操作用画像受信手段と、受信した前記操作用画像を表示する操作用画像表示手段と、表示された前記操作用画像に基づいて入力した画面指示位置を示す制御用音声信号を生成する制御用音声信号生成手段と、生成した前記制御用音声信号を前記被制御側通信装置に送信する制御用音声信号送信手段と、送信した前記制御用音声信号の送信に同期して、受信した前記操作用画像と同一の制御用画像を前記被制御側通信装置に送信する制御用画像送信手段とを有したことを特徴とする遠隔制御通信装置。