JP2014222840A - 映像表示装置の遠隔操作方法及び遠隔操作システム - Google Patents

Abstract

【課題】簡易な入力方法を有しているとともに、直感的で尚且つ精度の高い操作入力が可能な映像表示装置の遠隔操作方法及び遠隔操作システムを提供する。【解決手段】映像表示装置１００と外部制御装置２００とを接続するとともに、表示部１０１の表示領域Ａｐと検出部２０１の検出領域Ｓａとが関連付けられており、映像表示装置１００の動作と関連付けられた操作画像が表示部１０１に表示され、操作者が操作するポインタＰの接触動作を検出部１０１が検出したとき、ポインタＰの接触動作を検出した領域と対応する表示領域に表示されている操作画像に関連付けられた動作が実行される遠隔操作方法。【選択図】図３

Description

本発明は、映像を表示する表示部を備えた映像表示装置の遠隔操作方法及び遠隔操作方法を利用した遠隔操作システムに関する。

現在、薄型テレビ受像機等の映像表示装置において、遠隔操作を行うリモートコントローラが操作入力機器として一般的になっている。また、最近では指等の接触（タップ）、移動（スライド）、（以下、まとめてゼスチャーと称する場合がある）を読み取る平板状の読み取り部（タッチパネル）を用いたものが増えている。また、タッチパネルを備えた機器として、スマートフォンやタブレットＰＣ等の携帯端末が普及しており、このような携帯端末をリモートコントローラの代わりに用いることも提案されている（例えば特許文献１）。

特許文献１には、ユーザの指等のポインタの接触を検出するセンサを備えた表示パネル（タッチパネル）を備えた携帯電話（携帯端末）及びこの携帯電話で操作されるテレビ（映像表示装置）が示されている。前記携帯電話機は、前記表示パネルにＧＵＩを構成する任意のオブジェクトごとに設定されるオブジェクトデータに基づいて、オブジェクトを表示する。そして、前記ポインタの接触をセンサが検出すると、その接触部分を含む領域に表示されているオブジェクトに割り当てられた動作の実行指令をテレビに送信し、テレビは実行指令に基づいて所定の処理を実行する。

また、タッチパネルの操作入力を検出する装置として、特許文献２に示す操作入力検知装置もある。特許文献２の操作入力検知装置は、ユーザの指の接触状態を検知するタッチパネル装置と、デジタル処理ユニットを備えている。そして、操作入力検知装置は、ユーザの指の接触状態（接触しているか、離れているか）を検知し、接触していると検知している場合、その指の動作（ストローク）を検知し、そのストロークの種別（例えば、接触のみの点ストローク、接触した指が直線的に移動する直線ストローク、湾曲した線状に移動する曲線ストローク等）を識別している。

特開２０１１−４４１０３号公報 特開２０１２−２０３５６３号公報

しかしながら、上記特許文献１の構成では、携帯電話の表示パネルにＧＵＩを表示し、その表示に合わせ、ユーザが表示部を触れることで実行指令を送る構成であり、ユーザは、テレビの画面と携帯電話の表示パネルとの両方を見なくてはならない。そのため、視線の切替えによる疲労の原因となったり、重要なシーンを見逃してしまったりする場合がある。

また、特許文献２の構成の場合、操作入力検知装置は、ユーザの指の操作（ストローク）を検知する構成であるため、ストロークそれぞれに別の実行指令を割り当てておくことで、ユーザは操作入力検知装置を視認しなくても、ストロークを行うことが可能である。一方で、ユーザの年齢、性別、体格等によってストロークの大きさ、形状等が異なる場合が多く、ストロークを正確に判断できない場合がある。このような場合に備え、特許文献２では、予めストロークを入力し、そのストロークを登録することで、ストロークの検知の精度を高めている。

しかしながら、このような構成とすると、ユーザごとにストロークの登録を行う必要であり、手間と時間がかかり利便性が悪い。また、特定の実行指令を行うためのストロークをユーザが覚えておく必要があり、特に初めて使用するユーザは慣れるまでに正確な操作を行えない恐れがある。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、簡易な入力方法を有しているとともに、直感的で尚且つ精度の高い操作入力が可能な映像表示装置の遠隔操作方法及び遠隔操作システムを提供することである。

この発明の一の局面による遠隔操作方法は、映像を表示する表示部を備えた映像表示装置を物体の接触を検出する面状の検出部を備えた外部制御装置で遠隔操作する遠隔操作方法であって、前記映像表示装置と前記外部制御装置とを接続するとともに、前記表示部の表示領域と前記検出部の検出領域とが関連付けられており、前記映像表示装置の動作と関連付けられた操作画像が前記表示部に表示され、前記検出部が物体の接触を検出したとき、前記ポインタの接触を検出した領域と対応する表示領域に表示されている操作画像に関連付けられた操作が実行されることを特徴とする。

この発明の一局面による遠隔操作方法では、前記外部操作装置の検出部と前記表示部の表示領域とを関連付け、検出部の物体の接触した領域と対応する部分と対応する表示部に表示されている操作画像に関連付けられた動作をするため、操作者は表示部から目を離さずに、遠隔操作を行うことが可能である。

これにより、操作者に対して直感的で簡単な操作方法とすることができるとともに、正確な遠隔操作が可能であり、操作者の利便性が高くなる。

上記一局面による遠隔操作方法において、前記検出領域には前記操作画像と対応する操作領域が含まれており、前記検出部は接触している物体（ポインタ）が前記操作領域の境界を越えたとき、前記ポインタの操作に合わせて、前記操作画像に関連付けられた動作を実行するように構成されている。このように構成にすれば、前記ポインタの操作に応じて遠隔操作が行われるため、操作者の操作感を高めることができる。また、操作者が所望する動作が割り当てられている操作画像の場所と対応する操作領域に前記ポインタを接触させることができなかった場合でも、ポインタが前記操作領域の境界を越える前であれば修正が可能である。これにより、誤操作による無駄な作業を低減することができ、利便性が高くなる。

上記一局面による遠隔操作方法において、前記接触している物体の接触動作を検出した操作領域と対応する操作画像に関連付けられた動作とに基づき、前記接触している物体（ポインタ）の動きを予測し、予測結果に基づいて前記操作領域の形状を変更するように構成されている。このように構成にすれば、前記ポインタが移動方向の位置が一定又は略一定となる位置で動作が実行されるので、操作者は、常に一定の感覚で操作を行うことが可能であり、利便性が高い。

上記一局面による遠隔操作方法において、前記物体（ポインタ）の接触が検出されたとき、前記表示部の操作画像を変化させるように構成されている。このように構成すれば、操作者は、表示部を見ることで、現在ポインタが接触している領域及びその動作が自分の望んでいる動作であるかどうかを認識することができる。外部操作装置を視認する必要がなく、操作者の利便性を高めることが可能である。

上記一局面による遠隔操作方法において、前記表示部には複数個の前記操作画像が表示されており、前記検出領域を前記操作画像と一対一で対応する複数個の操作領域に分割するように構成されている。このように構成すれば、操作者がポインタを検出部に接触させることで、いずれかの操作領域に接触するため、表示部が何らかの反応を示す。そのため、操作者の操作感を高めることができ、利便性が高い。

上記一局面による遠隔操作方法において、前記操作領域を複数含む場合において、前記物体（ポインタ）の接触を検出している操作領域が切り替わったことを検出したとき、前記操作表示画像の変更、遠隔操作の開始又は終了をおこなうように構成されている。このように構成されていることで、操作領域を隣り合うように配置することができるため、操作者の無駄な動作を減らすことが可能であり、利便性が高い。

本発明によると、簡易な入力方法を有しているとともに、直感的で尚且つ精度の高い操作入力が可能な映像表示装置の遠隔操作方法及び遠隔操作システムを提供することができる。

本発明にかかる映像表示装置を遠隔操作する遠隔操作システムの概略図である。 図１に示す映像表示装置を遠隔操作する遠隔操作システムの一例を示すブロック図である。 本発明にかかる遠隔操作システムの動作を示すフローチャートである。 図３に示す動作の初期の各タイミングでの映像表示装置及び外部制御装置を示す図である。 図３に示す動作の初期の各タイミングでの映像表示装置及び外部制御装置を示す図である。 図３に示す動作の初期の各タイミングでの映像表示装置及び外部制御装置を示す図である。 図３に示す動作の初期の各タイミングでの映像表示装置及び外部制御装置を示す図である。 図３に示す動作の後半の各タイミングでの映像表示装置及び外部制御装置を示す図である。 図３に示す動作の後半の各タイミングでの映像表示装置及び外部制御装置を示す図である。 図３に示す動作の後半の各タイミングでの映像表示装置及び外部制御装置を示す図である。 図３に示す動作の後半の各タイミングでの映像表示装置及び外部制御装置を示す図である。 映像表示装置を遠隔操作する遠隔操作システムの一例を示すブロック図である。 映像表示装置を遠隔操作する遠隔操作システムの一例を示すブロック図である。 図７に示す遠隔操作システムの動作を示すフローチャートである。 操作領域の一例を示す図である。 操作領域の他の例を示す図である。 操作領域のさらに他の例を示す図である。 ポインタの操作入力を検出するために操作領域を変更したときの図である。 外部操作装置を縦長と横長とに持ち替えたときの表示部と検出部との対応を示す図である。

以下に本発明の実施形態について図面を参照して説明する。
（第１実施形態）
図１は本発明にかかる映像表示装置を遠隔操作する遠隔操作システムの概略図である。図１に示すように、遠隔操作システムＲｓは、映像表示装置の一例であるテレビ受像機１００と、外部制御装置の一例であるスマートフォン２００とを含む構成となっている。なお、映像表示装置は、表示部を備えている機器であって外部制御装置と接続可能なものであればよく、例えば、パーソナルコンピュータ、プロジェクタ、オーディオ装置等であってもよい。また、外部制御装置は、映像表示装置１００と接続可能な構成のものであればよく、例えば、映像表示装置１００の専用又は汎用のリモートコントローラ、タブレット型ＰＣ等であってもよい。

図１に示しているように、テレビ受像機１００とスマートフォン２００とは、無線で接続されている。なお、テレビ受像機１００とスマートフォン２００との接続は、電波を用いる方法（例えば、無線Ｌａｎ等）や赤外線のような光を用いる方法等を例示することができるが、これに限定されず、データ（信号）のやりとりができる方法を広く採用することができる。

テレビ受像機１００は映像を表示する表示部である表示パネル１０１を有している。表示パネル１０１としては、液晶パネル、プラズマディスプレイパネル、有機ＥＬパネル等、映像を表示することができるものを広く採用することができる。

また、スマートフォン２００は面状の検出部であるタッチパネル２０１を備えている。タッチパネル２０１は、ポインタＰ（ここでは、操作者の指）の接触の検出、接触しているポインタの移動（動作）を検出する検出部である。なお、ポインタとしてユーザの指としているが、これに限定されるものではなく、ペン状の接触具（スタイラスペン）等を用いてもよい。また、タッチパネル２０１は、ポインタＰの接触、ポインタＰが接触している部分の移動（以下、ポインタＰの移動又は操作と称する）を検出することができるセンサ、例えば、感圧式、静電容量式、光学式等を広く作用することができる。

遠隔操作システムＲｓでは、操作者がポインタＰを利用して、スマートフォン２００のタッチパネル２０１に入力を行うことで、テレビ受像機１００の操作（遠隔操作）を行うことができるようになっている。このような遠隔操作システムＲｓの詳細について図面を参照して説明する。

図２は図１に示す映像表示装置を遠隔操作する遠隔操作システムの一例を示すブロック図である。図２に示す遠隔操作システムＲｓは、スマートフォン２００からの操作の情報をテレビ受像機１００に操作信号を送信する構成であり、表示パネル１０１で表示するメニュー画面がテレビ受像機１００で生成される構成としている。

図２に示すように、テレビ受像機１００は、表示パネル１０１、集積回路１０２、中央処理部（ＣＰＵ）１０３、コマンドデコーダ部１０４、操作表示生成部１０５、信号合成部１０６、入力切替・映像処理部１０７、接続部１０８、メモリ１０９、チューナ１１０及び入力端子１１１を備えている。

表示パネル１０１は、ここでは液晶パネルとしており、表示パネル１０１の全面を表示領域として用いるものとする。集積回路１０２は、複数の回路を１つのチップにまとめて集積した回路である。なお、ＣＰＵ１０３、コマンドデコーダ部１０４、操作表示生成部１０５、信号合成部１０６及び入力切替・映像処理部１０７は集積回路１０２の内部に含まれて形成されている。

また、接続部１０８は、外部機器、ここでは、外部制御装置であるスマートフォン２００の後述する接続部２０４と信号のやりとりを行う接続装置である。接続部１０８と接続部２０４とは電波、赤外線等による無線接続としている。なお、本実施形態では、無線ＬＡＮによる接続としているが、これに限定されない。さらには、無線に限定されるものではなく、接続配線を用いる、すなわち、有線による接続を行うようなものであってもよい。

接続部１０８は、集積回路１０２と接続されており、スマートフォン２００からの信号を受信する。そして、受信した信号を集積回路１０２（コマンドデコーダ部１０４）に送信する。接続部１０８が受信する信号には、スマートフォン２００のタッチパネル２０１におけるポインタの接触部分の位置情報、移動情報及びスマートフォン２００からの制御指示（コマンド）の情報が含まれる。スマートフォン２００は、テレビ受像機１００の各部の動作を行うための制御情報を無線信号として送信している。

次に、集積回路１０２の詳細について説明する。ＣＰＵ１０３は、演算処理（情報の処理）を行う回路である。図２に示すように、集積回路１０２に含まれる、コマンドデコーダ部１０４、操作表示生成部１０５、信号合成部１０６及び入力切替・映像処理部１０７を制御している。

コマンドデコーダ部１０４は、接続部１０８から受け取った信号からテレビ受信機１００を構成する装置を動作させるための制御指示（コマンド）を取り出す（デコードする）。そして、コマンドデコーダ部１０４は、ＣＰＵ１０３の指示に従って、デコードしたコマンドをそのコマンドで動作する装置（実際には、各装置を動作させる制御回路等）に送信する。また、コマンドデコーダ部１０４は、接続部１０８から受け取った信号からポインタの位置及び動作の情報を取り出し、これらの情報を操作表示生成部１０５に送信している。なお、遠隔操作開始時やメニュー切替等のとき、そのコマンドは操作表示生成部１０５に送られる。

操作表示生成部１０５は、受信したポインタの位置及び動作の情報、又は、コマンドに基づいて、操作表示画像を生成する。操作表示画像は、動作に対応した操作画像（詳細は後述）が含まれる画像である。操作表示画像は、表示パネル１０１で表示する画像であり、詳細は後述するが、テレビ受像機１００の動作に関連付けられた操作画像が複数配置されたメニュー画像や所定の動作を行うときの操作状態を示す操作画像を含む画像等である。

また、操作表示生成部１０５は、ポインタの位置及び動作の情報、又は、コマンドによっては、操作表示画像を移動させるような動作を含む画像の生成を行う場合もある。操作表示生成部１０５は、生成した操作表示画像の信号を信号合成部１０６に送信する。

また、集積回路１０２は、入力切替・映像処理部１０７を備えており、チューナ１１０及び入力端子１１１が接続されている。チューナ１１０は不図示のアンテナと接続されており、地上波、ＢＳ、ＣＳ等の衛星放送波を受信する。そして、チューナ１１０で受信した信号は、入力切替・映像処理部１０７でデコード等の処理が施されることで映像信号として信号合成部１０６に送られる。一方、入力端子１１１には、例えば、ＤＶＤやＢＤ等の外部映像機器と接続されており、これらの外部映像機器からの映像信号が入力端子１１１を介して入力切替・映像処理部１０７に送られる。

また、入力切替・映像処理部１０７は、チューナ１１０又は入力端子１１１のどちらから信号が送られてきても信号処理ができるように、入力切替機構が備わっている。つまり、チューナ１１０から信号の入力があるときは、チューナからの信号を処理し、入力端子１１１から信号の入力があるときは、入力端子１１１からの信号を処理する。

信号合成部１０６は、操作表示生成部１０５から送られてくる操作表示画像と、入力切替・映像処理部１０７から送られてくる映像信号とを必要に応じて合成し、合成信号を表示パネル１０１（の制御部）に送信する。合成方法としては、例えば、入力切替・映像処理部１０７からの映像信号の上に、透過する操作表示画像を合成するものを挙げることができる。

なお、信号合成部１０６は、操作表示生成部１０５からの操作表示画像がない場合は入力切替・映像処理部１０７からの映像信号を表示パネル１０１に送信し、表示パネル１０１でチューナ１１０又は入力端子１１１からの映像を表示する。逆に、入力切替・映像処理部１０７からの映像信号がない場合は、操作表示生成部１０５からの操作表示画像の画像信号を表示パネル１０１に送り、表示パネル１０１で操作表示画像を表示する。

また、テレビ受像機１００はメモリ１０９を備えている。メモリ１０９は、情報を記録するための記録部であり、揮発性、不揮発性或いはこれらを組み合わせたものを含んでいる。メモリ１０９に記録されている情報としては、例えば、チューナ１１０の選局情報、操作表示生成部１０５で操作表示画像を生成するときに用いる画像（例えば、数字、文字、図案等）の情報、チューナより受信した番組情報等を挙げることができる。そして、メモリ１０９は、ＣＰＵ１０３との間で情報をやり取りできる構成となっている。

また、コマンドデコーダ部１０４、操作表示生成部１０５、信号合成部１０６及び入力切替・映像処理部１０７はそれぞれ独立した回路として集積回路１０２内に備えられているものとしているが、これに限定されるものではない。例えば、これらのうち一部又は全部がＣＰＵ１０３又は別途備えた処理部で動作するプログラムとして提供されていてもよい。このように、プログラムとして提供される構成の場合、各プログラムは、メモリ１０９に収納されていてもよいし、集積回路１０２に別途プログラム用のメモリを備えておき、そのメモリに収納されていてもよい。

次に外部制御装置の一例であるスマートフォンについて説明する。図２に示すように、スマートフォン２００は、タッチパネル２０１と、中央処理部（ＣＰＵ）２０２と、メモリ２０３と、接続部２０４とを備えている。通常、スマートフォン２００のタッチパネル２０１は映像表示部（不図示）と一体（詳説すると、映像表示部の上面にタッチセンサが配置された構成）であり、映像を表示し、その映像をポインタで接触することで所望の動作を行う。なお、本発明の遠隔操作には、映像表示部の映像は必要なものではなく、以下の説明では、特に示さない限り、映像表示部の映像については、表示しない或いは常に同じ映像を表示するものとして説明する。

スマートフォン２００においてタッチパネル２０１は、全面がポインタ（ここでは、っ操作者の指）を検出する検出領域として利用される。タッチパネル２０１は、ポインタの接触を検出する検出部であり、ポインタが接触した座標（位置）を検出し、その情報を、接触した時間とともにＣＰＵ２０２に送る。

ＣＰＵ２０２は、位置の情報と時間の情報に基づいて、ポインタが移動しているか、移動しているとしたらどちらに移動しているか判断する。そして、ポインタの位置及び移動に基づいて、テレビ受像機１００を制御する制御情報を生成する。なお、制御情報の詳細については後述する。

また、ＣＰＵ２０２は、テレビ受像機１００の表示パネル１０１の表示領域とタッチパネル２０１のポインタの接触動作を検出できる検出領域とを対応させている。さらに、ＣＰＵ２０２は、タッチパネル２０１の検出領域内に操作領域を形成する機能も備えている。そして、ＣＰＵ２０２は、現在表示パネル１０１に表示されている操作表示画像を認識しており、その操作表示画像に含まれる動作が関連した操作画像と対応するように、操作領域を形成する。なお、操作領域の詳細については、後述する。

そして、ＣＰＵ２０２は、タッチパネル２０１からのポインタの位置情報に基づいて、ポインタが操作領域内にあるか、また、操作領域の境界を越えたかどうかを判断する。そして、ＣＰＵ２０２は、ポインタの位置及び移動の情報（接触動作情報）に基づき、操作者が所望するテレビ受像機１００の動作を認識し、その動作を行うための制御情報を生成する。そして、ポインタの接触動作情報と制御情報とを信号として接続部２０４に送る。

そしてＣＰＵ２０２は、ポインタの接触動作情報及び制御情報を含む信号を接続部２０４に送る。接続部２０４はＣＰＵ２０２からの信号を無線信号（電波、赤外線等）に変換し、テレビ受像機１００の接続部１０８に送信する。

ＣＰＵ２０２は、メモリ２０３と接続している。メモリ２０３は、テレビ受像機１００のメモリ１０９と同様、情報を記録するための記録部であり、揮発性、不揮発性或いはこれらを組み合わせたものを含んでいる。メモリ２０３に記録された情報には、操作領域の情報（表示領域を操作領域に分割する境界の情報等）が含まれている。

以上示したような、遠隔操作システムＲｓを用いた遠隔操作について新たな図面を参照して説明する。図３は本発明にかかる遠隔操作システムの動作を示すフローチャートである。また、図４Ａ〜図４Ｄは図３に示す動作の前半の各タイミングでのテレビ受像機及びスマートフォンを示す図であり、図５Ａ〜図５Ｄは図３に示す動作の後半の各タイミングでのテレビ受像域及びスマートフォンを示す図である。

図３は映像表示装置であるテレビ受像機１００と、外部制御装置であるスマートフォン２００の動作手順を並列で記載しており、それぞれの間で信号の送受信が行われていることを記載している。図３に示すフローチャートは、テレビ受像機１００から出力される音声の低音を調整する動作を示している。このとき、テレビ受像機１００の表示パネル１０１では、まず、全体の動作を示すメニューＭｎ１（図４Ｂ参照）を表示し、その後、音質の詳細なメニュー画像Ｍｎ２（図５Ａ参照）を表示する。その後、低音の調整を行う調整用画像Ｓｃ１（図５Ｄ参照）を表示する手順を示している。また、それぞれのタイミングでスマートフォン２００が操作者によって操作されるとともに、スマートフォン２００から無線信号が送信されている。

図４Ａに示すように、テレビ受像機１００とスマートフォン２００とはそれぞれ独立して利用される。遠隔操作システムＲｓは、まずスマートフォン２００からの指示により動作開始する。図３に示すように、操作者がスマートフォン２００を操作し、テレビ受像機１００の遠隔操作を開始する動作（たとえば、遠隔操作用のアプリケーションの起動）が行われる（図３、ステップＳ２０１）。ＣＰＵ２０２は、接続部２０４から表示パネル１０１に操作表示画像（ここでは、メニュー画像Ｍｎ１）を起動するメニュー起動情報を送信する（ステップＳ２０２）。

メニュー起動情報を受信した接続部１０８は、その信号をコマンドデコーダ部１０４に送る。メニュー起動情報のコマンドは、操作表示生成部１０５に送られる。操作表示生成部１０５はメニュー起動情報に含まれるメニューの情報に基づいてメニュー画像Ｍｎ１を生成する（ステップＳ１０１）。そして、操作表示生成部１０５は、メニュー画像Ｍｎ１を画像信号として信号合成部１０６に送る。信号合成部１０６は、メニュー画像Ｍｎ１の画像信号を送信し、表示パネル１０１ではメニュー画像Ｍｎ１が表示される（ステップＳ１０２）。

ここで、メニュー画像Ｍｎ１について説明する。図４Ｂに示すように、メニュー画像Ｍｎ１は、横長の長方形状の表示領域Ａｐの四辺それぞれに１個ずつ計４個の操作画像Ｈｐ１、Ｈｐ２、Ｈｐ３、Ｈｐ４が配置されている。操作画像Ｈｐ１、Ｈｐ２、Ｈｐ３、Ｈｐ４はそれぞれ、異なる動作が割り当てられている。メニュー画像Ｍｎ１では、操作画像Ｈｐ１、Ｈｐ２、Ｈｐ３、Ｈｐ４は同じ大きさの正三角形（同じ形状）であるが、これに限定されず、異なる形状、大きさであってもよい。また、操作画像は互いに異なる形状、大きさであってもよい。

メニュー画像Ｍｎ１の具体的な例は次のとおりである。操作画像Ｈｐ１は上側の長辺の中央に配置された三角形状の画像であり、「画質」の詳細なメニュー画像を開く（メニューの階層を移動する）動作が割り当てられている。操作画像Ｈｐ２は下側の長辺の中央に配置された三角形状の画像であり、「チャンネル設定」の詳細なメニュー画像を開く動作が割り当てられている。操作画像Ｈｐ３は右側の短辺の中央に配置された三角形状の画像であり、「音質」の詳細なメニュー画像を開く動作が割り当てられている。操作画像Ｈｐ４は左側の短辺の中央に配置された三角形状の画像であり、「インターネット（ＮＥＴ）」関連の詳細なメニュー画像を開く動作が割り当てられている。

図４Ｂに示すようにスマートフォン２００では、メニュー画像Ｍｎ１の操作画像と対応するようにタッチパネル２０１の検出領域Ｓａを操作領域Ｔｐ１、Ｔｐ２、Ｔｐ３、Ｔｐ４に分割する（ステップＳ２０３）。タッチパネル２０１の検出領域Ｓａの四辺が表示パネル１０１の表示領域Ａｐの四辺と対応している。また、図４Ｂに示す破線は、タッチパネル２０１の検出領域Ｓａを操作領域Ｔｐ１、Ｔｐ２、Ｔｐ３、Ｔｐ４に分割する仮想線であり、実際に表示されていないが、表示されるようにしてもよい。

そして、操作領域Ｔｐ１は操作画像Ｈｐ１が配置されている部分と対応する部分、すなわち、上側の長辺の中央部分を含むように設定する。同様に、操作領域Ｔｐ２は操作画像Ｈｐ２が配置されている部分と対応する部分、操作領域Ｔｐ３は操作画像Ｈｐ３が配置されている部分と対応する部分、操作領域Ｔｐ４は操作画像Ｈｐ４が配置されている部分と対応する部分それぞれを含むように設定されている。

操作者は、テレビ受像機１００の表示パネル１０１を見ながら、スマートフォン２００の操作を行う。表示パネル１０１の表示領域Ａｐとタッチパネル２０１の検出領域Ｓａとが対応しているため、操作者はタッチパネル２０１を見ず、所望する動作に割り当てられた操作画像と対応する操作領域にポインタＰを接触させることが容易になる。なお、本実施形態では、音質の調整を行う動作を表示するものである。そのため、操作者は、表示パネル１０１に表示されたメニュー画像Ｍｎ１を見ながら、スマートフォン２００のタッチパネル２０１の操作画像Ｈｐ３と対応する操作領域Ｔｐ３にポインタＰを接触させることが可能である。

操作領域Ｔｐ１、Ｔｐ２、Ｔｐ３、Ｔｐ４は、検出領域Ｓａの中心を分割している。このように分割することで、操作画像と対応する部分の周囲にある程度の大きさを有する操作領域を形成することができ、操作者がスマートフォン２００を見ずに、タッチパネル２０１の操作を行うときの誤操作を低減することができる。なお、分割の方法としては、これに限定されるものではない。

スマートフォン２００において、タッチパネル２０１がポインタＰ（ここでは、操作者の指）の接触を検出するとその接触位置の情報をＣＰＵ２０２に送る。そして、ＣＰＵ２０２は、ポインタＰが接触している操作領域（図４Ｃでは、操作領域Ｔｐ３）の情報を接触情報として含む無線信号を接続部２０４から送信する（ステップＳ２０４）。

テレビ受像機１００において、接続部１０８が接触情報を含む無線信号を受信すると、その信号をコマンドデコーダ部１０４に送信する。コマンドデコーダ部１０４は、接触情報に基づき操作画像の変更のコマンドを操作表示生成部１０５に送信する。操作表示生成部１０５は、コマンドに基づいて（ポインタＰが操作領域Ｔｐ３と接触している情報に基づいて）、操作画像Ｈｐ３を変更する。

操作表示生成部１０５は図４Ｃに示すような、操作画像Ｈｐ３１を２個の斜辺を伸ばし二等辺三角形としたメニュー画像Ｍｎ１１を生成し、その画像信号として信号合成部１０６に送る。信号合成部１０６は、メニュー画像Ｍｎ１１の画像信号を送信し、表示パネル１０１ではメニュー画像Ｍｎ１１が表示される（ステップＳ１０３）。なお、操作表示生成部１０５は、メニュー画像Ｍｎ１１を生成する構成、又は、メニュー画像Ｍｎ１とメニュー画像Ｍｎ１１の差分、すなわち、操作画像Ｈｐ３１のみを生成する構成であってもよい。このように差分のみを生成する構成の場合、信号合成部１０６で現在表示しているメニュー画像を変更できる構成であることは言うまでもない。また、このように操作画像を変形させるものでなく、操作画像の色を変更する、点滅させる、他の操作画像を消去する等、ポインタＰが接触している操作領域、すなわち、操作者が現在の操作を直感的に理解できるような変更方法を広く採用することが可能である。

このように、ポインタＰが接触した操作領域Ｔｐ３と対応する操作画像Ｈｐ３を備えたメニュー画像Ｍｎ１が、操作画像Ｈｐ３１を備えたメニュー画像Ｍｎ１１に入れ替わることで、操作者は操作画像Ｈｐ３が操作画像Ｈｐ３１に変形したと認識する。これにより、操作者はスマートフォン２００を視認することなく、「音質」を操作している（操作が間違っていない）ことを直感的に理解することができる。

そして、メニュー画像Ｍｎ１１は、操作画像Ｈｐ３１が示す方向に移動させることで、「音質」の詳細なメニュー画像を表示することを示している。そのため、操作者の次の動作として、ポインタＰを左に移動させることが予測できる。そして、スマートフォン２００のＣＰＵ２０２はポインタＰが左側に移動することで次の動作に移ることを認識する。そして、ポインタＰの移動に対応できるように操作領域の分割を図４Ｄに示すように変更する（ステップＳ２０５）。

ここで、変更した操作領域について説明する。スマートフォン２００では、ポインタＰが接触している操作領域（ここでは、Ｔｐ３）の境界を越える、つまり、他の操作領域に移動することで操作入力が行われたと判断するようになっている。ポインタＰを左側に移動させることに対応するため、ＣＰＵ２０２は、検出領域Ｓａを図４Ｄに示すような形状に分割する。

すなわち、図４Ｄに示すように、ＣＰＵ２０２は、上側及び下側の操作領域Ｔｐ１１、Ｔｐ２１を、楕円形を半分に切断した形状とし、検出領域Ｓａの上下に配置している。そして、操作領域Ｔｐ３１、Ｔｐ４１は、検出領域Ｓａの残りの領域を左右の中央で分割した形状となっている。

操作領域Ｔｐ１１、Ｔｐ２１を小さくし、操作領域Ｔｐ３１と操作領域Ｔｐ４１との境界線をポインタＰの予想移動方向に対して交差するように設定している（図４Ｄ参照）。これにより、操作者によるポインタＰの操作が正確に左右方向（水平方向）でない或いはスマートフォン２００がずれていても、操作領域Ｔｐ３１から操作領域Ｔｐ４１に境界を越えた移動を正確に認識することが可能である。

なお、操作領域Ｔｐ１１、Ｔｐ２１として、楕円を切断した形状とすることで、各領域の上下方向の境界を、横長（ポインタＰの移動方向に沿うように）にしている。これにより、ポインタＰの横方向の移動で、ポインタＰが操作領域Ｔｐ１１、Ｔｐ２１に進入するのを抑制しやすい。また、このような形状に限定されるものではなく、ポインタＰが容易に境界を越えにくいように設定した操作領域Ｔｐ１１、Ｔｐ２１を備えていることが好ましい。

なお、ポインタＰの動作と連動して、メニュー画像Ｍｎ１１も表示領域Ａｐに対して移動するように変化してもよい。このような動作として、例えば、図４Ｄに示すように、ポインタＰの左方向への移動に従って、操作画像Ｈｐ１、Ｈｐ２、Ｈｐ３１及びＨｐ４が左に移動する。このとき、次に表示するメニュー画像Ｍｎ２の一部（ここでは、操作画像Ｈｑ４）が表示されている。

スマートフォン２００において、ポインタＰが操作領域Ｔｐ３１から操作領域Ｔｐ４１に移動すると、タッチパネル２０１はポインタＰの動作を検出する。そして、ＣＰＵ２０２は、ポインタＰの接触動作情報及び「音質」の詳細なメニューを表示するとの操作情報を含む無線信号を接続部２０４から送信する（ステップＳ２０６）。

テレビ受像機１００において、接続部１０８が接触動作情報を含む無線信号を受信すると、その信号をコマンドデコーダ部１０４に送信する。コマンドデコーダ部１０４は、接触動作情報に基づきメニュー画像変更のコマンドを操作表示生成部１０５に送信する。操作表示生成部１０５は、コマンドに基づいて（ポインタＰが操作領域Ｔｐ３１からＴｐ４１に移動した情報に基づいて）、「音質」の詳細なメニュー画像Ｍｎ２を操作表示画像として生成する（ステップＳ１０４）。そして、操作表示生成部１０５は、メニュー画像Ｍｎ２を画像信号として信号合成部１０６に送る。信号合成部１０６は、メニュー画像Ｍｎ２の画像信号を送信し、表示パネル１０１ではメニュー画像Ｍｎ２が表示される（ステップＳ１０５及び図５Ａ参照）。

図５Ａに示すメニュー画像Ｍｎ２について説明する。メニュー画像Ｍｎ２は「音質」の詳細な設定を指定するメニュー画像である。図５Ａに示すように、メニュー画像Ｍｎ２は、メニュー画像Ｍｎ１と同様の構成を有している。すなわち、表示領域Ａｐの四辺のそれぞれの中央に、操作画像Ｈｑ１、Ｈｑ２、Ｈｑ３、Ｈｑ４を備えている。なお、操作画像Ｈｑ１〜Ｈｑ４は、操作画像Ｈｐ１〜Ｈｐ４と同じ形状、すなわち、同じ大きさの正三角形である。

そして、メニュー画像Ｍｎ２において、上側の長辺の中央に配された操作画像Ｈｑ１は高音の調整用の画像表示の動作が割り当てられている。下側の長辺の中央に配された操作画像Ｈｑ２は低音の調整用の画像表示の動作が割り当てられている。右側の短辺の中央に配された操作画像Ｈｑ３は音量の左右バランスの調整用の画像表示の動作が割り当てられている。そして、メニュー画像Ｍｎ２において、左側の短辺の中央に配された操作画像Ｈｑ４は、前のメニュー画像Ｍｎ１表示に戻る動作が割り当てられている。

図５Ａに示すようにスマートフォン２００では、タッチパネル２０１の検出領域Ｓａをメニュー画像Ｍｎ２の操作画像と対応するように操作領域Ｔｑ１、Ｔｑ２、Ｔｑ３、Ｔｑ４に分割する（ステップＳ２０７）。メニュー画像Ｍｎ２がメニュー画像Ｍｎ１と同様の操作画像の配列となっているため、操作領域Ｔｑ１、Ｔｑ２、Ｔｑ３、Ｔｑ４は操作領域Ｔｐ１、Ｔｐ２、Ｔｐ３、Ｔｐ４と同じ形状となっている。

本実施形態では、低音の調整を行うため、操作者は表示パネル１０１に表示されたメニュー画像Ｍｎ２を見ながら、低音の調整が割り当てられた操作画像Ｈｑ２と対応する操作領域Ｔｑ２にポインタＰを接触させる。

スマートフォン２００において、タッチパネル２０１がポインタＰの接触を検出するとその接触位置の情報をＣＰＵ２０２に送る。そして、ＣＰＵ２０２は、ポインタＰが接触している操作領域（図５Ａでは、操作領域Ｈｑ２）の情報を接触情報として含む無線信号を接続部２０４から送信する（ステップＳ２０８）。

テレビ受像機１００において、接続部１０８が接触情報を含む無線信号を受信すると、その信号をコマンドデコーダ部１０４に送信する。コマンドデコーダ部１０４は、接触情報に基づき操作画像の変更のコマンドを操作表示生成部１０５に送信する。操作表示生成部１０５は、コマンドに基づいて（ポインタＰが操作領域Ｔｑ２と接触している情報に基づいて）、操作画像Ｈｑ２を変更する。

図５Ｂに示すように、操作画像Ｈｑ２１を、２個の斜辺を伸ばした二等辺三角形としたメニュー画像Ｍｎ２１を生成し、その画像信号として信号合成部１０６に送る。信号合成部１０６は、メニュー画像Ｍｎ２１の画像信号を送信し、表示パネル１０１ではメニュー画像Ｍｎ２１が表示される（ステップＳ１０６）。なお、操作表示生成部１０５の動作は、上述のメニュー画像Ｍｎ１１を生成する時と同じであり、詳細は省略する。

そして、スマートフォン２００のＣＰＵ２０２はポインタＰが上側に移動することで次の動作に移ることを認識する。そして、ポインタＰの移動に対応できるように操作領域の分割を図５Ｂに示すように変更する（ステップＳ２０９）。操作領域の変更は、上述と同様の方法で行われる。ポインタＰを上側に移動させるものであるため、左右の操作領域Ｔｑ３、Ｔｑ４を、楕円形を半分に切断した形状である、Ｔｑ３１、Ｔｑ４１とし、検出領域Ｓａの左右に設けている。また、そして、操作領域Ｔｑ１１、Ｔｑ２１は、検出領域Ｓａの残りの領域を上下の中央で分割した形状となっている。

なお、ポインタＰの動作と連動して、メニュー画像Ｍｎ２１も表示領域Ａｐに対して移動するように変化してもよい。このような動作として、例えば、ポインタＰの上方向への移動に従って、図５Ｃに示すように、操作画像Ｈｑ１、Ｈｑ２１、Ｈｑ３及びＨｑ４が上に移動する。

スマートフォン２００において、ポインタＰが操作領域Ｔｑ２１から操作領域Ｔｑ１１に移動すると、タッチパネル２０１はポインタＰの動作を検出する。そして、ＣＰＵ２０２は、ポインタＰの接触動作情報及び低音の調整用画像を表示するとの操作情報を含む無線信号を接続部２０４から送信する（ステップＳ２１０）。

テレビ受像機１００において、接続部１０８が接触動作情報を含む無線信号を受信すると、その信号をコマンドデコーダ部１０４に送信する。コマンドデコーダ部１０４は、接触動作情報に基づき調整用画像に変更するコマンドを操作表示生成部１０５に送信する。操作表示生成部１０５は、コマンドに基づいて調整用画像Ｓｃ１を操作表示画像として生成する（ステップＳ１０７）。そして、操作表示生成部１０５は、調整用画像Ｓｃ１を画像信号として信号合成部１０６に送る。信号合成部１０６は、調整用画像Ｓｃ１の画像信号を送信し、表示パネル１０１では調整用画像Ｓｃ１が表示される（ステップＳ１０８及び図５Ｄ参照）。

ここで、調整用画像Ｓｃ１について説明する。遠隔操作システムでは、操作者の直感的な操作を容易にするため、音質の調整（低音の出力調整）を行う場合、ボリュームコントローラの動作を模している。そのため、調整用画像Ｓｃ１では、ボリュームコントローラＶｍと、出力している低音のレベルを示すバーＢｒとを備えている。ボリュームコントローラＶｍには、回転方向を示す矢印と矢印の方向に回したとき、調整値が大きくなるか小さくなるかの表示がされている。なお、ボリュームコントローラＶｍは必要に応じて表示するようにしてもよい。また、バーＢｒは低音のレベルを視覚化したものであり、所定の低音レベルを基準としてそのレベルに対する比率を表示するようにしてもよいし、実際の低音の値を表示するようにしてもよい。

図５Ｄに示すようにポインタＰの回転を検出するため、ＣＰＵ２０２は、タッチパネル２０１の検出領域Ｓａを、中心をとおり周方向に８分割する操作領域Ｔｒ１〜Ｔｒ８を形成する（ステップＳ２１１）。なお、調整用の操作領域である操作領域Ｔｒ１〜Ｔｒ８は、検出領域Ｓａの２本の対角線、一対の長辺の中心を結ぶ線及び一対の短辺の中心を結ぶ線を境界としている。なお、操作領域の分割はこれに限定されるものではなく、各領域が等中心角度を有するように分割してもよい。

そして、操作者がポインタＰを回転移動させると、ポインタＰはすぐに操作領域の境界を越える。ポインタＰが現在接触している操作領域の隣の操作領域に移動したことをタッチパネル２０１が検出したとき、ＣＰＵ２０２は、その情報に基づいて、ポインタＰの回転方向を取得する。そして、ＣＰＵ２０２は、ポインタＰの回転方向を含む接触動作情報と低音の調整量（操作情報）とを、接続部２０４を介して無線信号として送信する（ステップＳ２１２）。

テレビ受像機１００において、接続部１０８が動作情報及び調整量の情報を含む無線信号を受信すると、その信号をコマンドデコーダ部１０４に送信する。コマンドデコーダ部１０４は、操作量の情報に基づき調整用画像の変更のコマンドを操作表示生成部１０５に送信する。操作表示生成部１０５は、コマンドに基づいて、ボリュームコントローラＶｍ及びバーＢｒを変更する（ステップＳ１０９）。

また、コマンドデコーダ部１０４は操作情報より実行指令（低音の調整量を指示する指令）を抽出し、ＣＰＵ１０３の指示に従い、音声出力を制御する音声制御部（不図示）に低音の成分を調整する実行指令を送信する（ステップＳ１１０）。

なお、スマートフォン２００は、上述の回転方向を含む接触動作情報、操作情報は、ポインタＰが接触している操作領域が隣の領域に移動するごとに、その情報を接続部２０４から無線信号として送信する。そして、テレビ受像機１００は、その情報を受信するごとに、調整用画像Ｓｃ１のボリュームコントローラＶｍ及びバーＢｒの画像を変更し、表示パネル１０１に表示する。また、同時に各部の調整（ここでは、音声出力の低音の調整）、すなわち調整量の適用を行う。

このように、操作者の動作に対して、瞬時に（リアルタイムに）調整用画像Ｓｃ１の変更及び調整量の適用を行うことで、操作者は操作しつつ、その時のテレビ受像機１０１の調整状態を確認することができるため、調整を直感的かつ正確に行うことができる。

そして、調整操作が終了すると、スマートフォン２００では、調整操作（遠隔操作）の終了の動作の確認を行う。なお、ここでは、調整操作の終了操作として、タッチパネル２０１の検出領域ＳａをポインタＰで予め決められた時間（例えば、３秒）押し続ける（長押しする）こととしている。ＣＰＵ２０２はタッチパネル２０１から上述の終了操作の入力があったことを確認すると（ステップＳ２１３）、遠隔操作終了の情報を無線信号として接続部２０４から送信する。なお、スマートフォン２００において、遠隔操作終了の入力を認識すると、ＣＰＵ２０２は、遠隔操作を終了するため、遠隔操作用のアプリを終了する。

また、テレビ受像機１００において、接続部１０８が遠隔操作終了の情報を含む無線信号を受信すると、その信号をコマンドデコーダ部１０４に送信する。コマンドデコーダ部１０４は、遠隔操作終了のコマンドを抽出し、信号合成部１０６にコマンドを送信し、遠隔操作を行うときの画像の表示パネル１０１への表示を終了する（ステップＳ１１１）。

以上のように、遠隔操作システムを用いることで、操作者は表示パネル１０１から目を離すことなく或いはあまり目を離さなくても、スマートフォン２００のタッチパネル２００１を操作し、テレビ受像機１００の遠隔操作を適切に行うことが可能である。また、表示パネル１０１の操作表示画像（表示領域Ａｐ）とスマートフォン２００の検出領域Ｓａとを対応させることで、操作者にとってより直感的、すなわち、操作しやすい遠隔操作方法を提供することが可能となっている。さらに、スマートフォン２００のタッチパネル２０１に操作領域を設け、操作領域が切り替わる（境界を越える）ことで、操作を行う構成となっているので、操作者がポインタの操作を誤っても、すぐに実行指令が出ないため、操作のやり直しが可能である。これにより、操作者の操作の利便性を向上することが可能である。

なお、外部制御装置がスマートフォン２００のような、ＣＰＵ２０２、メモリ２０３等を備えた装置の場合、遠隔操作用のプログラム（アプリケーション）をロードすることで、遠隔操作用の外部制御装置として用いることが可能である。なお、このような外部制御装置として、プログラムを動作させることで所定の動作が可能であり、さらに、映像表示装置と有線又は無線で信号のやりとりが可能な機器を広く採用することができる。

また、外部制御装置としてスマートフォン２００のような、映像表示部と一体のタッチパネル２０１を備える機器を用いる場合、操作者が手元（スマートフォン２００）をあまり見ないので、映像の表示を省略することができる。これにより、映像表示部での電力消費を抑制することが可能である。また、消費電力の小さい画像と、操作領域の境界線を表示するようにしてもよい。これにより、スマートフォン２００の消費電力を抑えつつ操作者の利便性を高めることが可能である。この画像及び境界線の表示は、常時であってもよいし、操作者の要求に応じて或いは所定の動作（例えば、ポインタの接触認識）から所定の時間行われるものであってもよい。

（第２実施形態）
本発明にかかる遠隔操作システムの他の例について図面を参照して説明する。図６は映像表示装置を遠隔操作する遠隔操作システムの一例を示すブロック図である。図６に示す遠隔操作システムの概略構成は、図２に示す遠隔操作システムＲｓ同様であり、実質上同じ部分には同じ符号付してあるとともに、実質上同じ部分の詳細な説明は省略する。

図６に示す遠隔操作システムＲｓ１は、テレビ受像機１００ｂとスマートフォン２００ｂとを備えている。図６に示すようにテレビ受像機１００ｂは、コマンドデコーダ部１０４の替わりにコマンド生成部１１２を備えているが、それ以外は、テレビ受像機１００と同じ構成を有している。

第１実施形態の遠隔操作システムＲｓにおいて、スマートフォン２００は、テレビ受像機１００を操作する（遠隔操作する）ための情報（上述においては、操作情報）と、ポインタＰのタッチパネル２０１上での接触動作情報を送っている。一方、本実施形態の遠隔操作システムＲｓ１において、スマートフォン２００ｂは、ポインタＰの接触動作情報（接触している操作領域の情報、移動の情報）のみをテレビ受像機１００ｂに送るようになっている。すなわち、スマートフォン２００ｂは、スマートフォン２００と同じ構成を通しているが、送信する情報が少なくなっている。

テレビ受像機１００ｂのＣＰＵ１０３は、操作表示生成部１０５が生成した操作表示画像に含まれる操作画像と、その操作画像に割り当てられているテレビ受像機１００ｂの動作の情報を常に取得している。そして、スマートフォン２００ｂからのポインタＰの接触動作情報を取得すると、ＣＰＵ１０３は、接触動作情報と操作画像に割り当てられているテレビ受像機１００ｂの動作の情報とから、コマンド生成部１１２に実行指令（信号）の生成を指示する。

例えば、ポインタＰが接触している操作領域と対応する操作画像が、次の操作表示画像に変更する（次の階層のメニュー画像に移動する）の場合、コマンド生成部１１２は、対応する操作表示画像を生成するコマンドを操作表示生成部１０５に送る。また、ポインタＰが接触している操作領域と対応する操作画像にテレビ受像機１００の調整／変更（例えば、映像調整、チャンネル変更等）が割り当てられている場合、コマンド生成部１１２は対応する部分を動作するコマンドを生成し、その部分に送信する。

以上のように、遠隔操作システムＲｓ１では、スマートフォン２００ｂから送信される信号がポインタＰの接触動作の情報のみを有するので、情報量が少なくてすむ。そのため、接続部同士を接続する回線（無線、有線にかかわらず）が細くても、操作者はストレスを感じることなく、直感的にテレビ受像機１００ｂの操作を行うことが可能である。また、スマートフォン２００ｂから送信する情報が、ポインタＰの位置情報だけであるため、複雑な情報の送受信が不要であり、異なる仕様の外部制御装置（ここではスマートフォン２００ｂ）であっても、同じ操作が可能となる。さらには、送信する情報が簡単であるため、アプリケーションを作成するときの手間を省くことが可能である。なお、これ以外の特徴は第１実施形態と同じである。

（第３実施形態）
本発明にかかる遠隔操作システムの他の例について図面を参照して説明する。図７は映像表示装置を遠隔操作する遠隔操作システムの一例を示すブロック図である。図７に示す遠隔操作システムＲｓ２の概略構成は、図１に示す遠隔操作システムＲｓ同様である。

遠隔操作システムＲｓ２は、映像表示装置であるテレビ受像機１００ｃと、外部制御装置であるスマートフォン２００ｃとを含んでいる。テレビ受像機１００ｃとスマートフォン２００ｃとの間の接続は、操作情報と操作表示映像の情報とを、送信する接続方法である。すなわち、スマートフォン２００ｃから、操作情報と操作表示情報とをテレビ受像部１００ｃに送信する。なお、この接続方法としては、例えば、Miracast（登録商標）のような映像情報の信号のやりとりを行う無線接続方法を利用している。

図７に示すように、遠隔操作システムＲｓ２において、テレビ受像機１００ｃは、集積回路１０２の内部にコマンド／映像デコーダ部１１３を備えているとともに、操作表示生成部１０５が省かれている。これにより、コマンド／映像デコーダ部１１３が信号合成部１０６に接続されている。これら以外は、テレビ受像機１００と同じ構成を有しており、実質上同じ部分には、同じ符号を付してある。

また、図７に示すように、遠隔操作システムＲｓ２において、スマートフォン２００ｃは、操作表示生成部２０５を備えている。操作表示生成部２０５は、ＣＰＵ２０２からの指示に従い、テレビ受像機１００の表示パネル１０１に表示する操作表示画像を生成する。操作表示生成部２０５は、ＣＰＵ２０２、メモリ２０３及び接続部２０４と接続されている。これら以外は、スマートフォン２００と同じ構成を有しており、実質上同じ部分には、同じ符号を付してある。なお、操作表示生成部２０５は、専用の回路として提供されるものであってもよいし、プログラムとして供給され、ＣＰＵ２０２又はプログラム処理用に設けられている処理部で動作するものであってもよい。

このような、遠隔操作システムＲｓ２の動作について図面を参照して説明する。図８は図７に示す遠隔操作システムの動作を示すフローチャートである。図８は図３同様、映像表示装置であるテレビ受像機１００ｃと、外部制御装置であるスマートフォン２００ｃの動作手順を並列で記載しており、それぞれの間で信号の送受信が行われていることを記載している。なお、図８に示すフローチャートは、図３に示すフローチャートと同じ、音質の低音の調整を行う動作の手順を示している。

図８に示すフローチャートにおいて、遠隔操作システムＲｓ２では、テレビ受像機１００ｃは、スマートフォン２００ｃから送信された操作表示画像の画像情報を表示パネル１０１に表示するものである。図８におけるメニュー画像表示（ステップＳ１０２、Ｓ１０５）、操作画像変更（ステップＳ１０３、Ｓ１０６）、調整用画像表示（ステップＳ１０８）、調整用画像変更Ｓ１０９、調整値適用Ｓ１１０及び遠隔操作表示終了Ｓ１１１は図３と同じである。

スマートフォン２００ｃにおいて、遠隔操作アプリケーションが起動される（ステップＳ２０１）と、ＣＰＵ２０２は、操作表示生成部２０５でメニュー画像Ｍｎ１（図４Ｃ）を生成する。そして、ＣＰＵ２０２は映像情報を無線信号として接続部２０４を介して送信する(ステップＳ２０１１)。このとき、ＣＰＵ２０２は、メニュー画像Ｍｎ１を表示パネル１０１で表示させる操作情報も同時に送信する。

テレビ受像部１００ｃは、接続部１０８で無線信号を受信すると、受信した信号をコマンド／映像デコーダ部１１３に送る。コマンド／映像デコーダ部１１３は、受信した信号から、メニュー画像Ｍｎ１の画像情報と、その画像を表示パネル１０１で表示するとの実行指令（コマンド）を取り出す（デコードする）。メニュー画像Ｍｎ１の画像情報を含む信号を信号合成部１０６に送る。また、実行指令を信号合成部１０６に送り、メニュー画像Ｍｎ１を表示パネル１０１で表示させる（ステップＳ１０２）。

また、スマートフォン２００ｃでは、操作領域の決定の工程（ステップＳ２０３）は、図３のフローチャートと同じである。スマートフォン２００ｃでは、タッチパネル２０１でポインタＰの接触動作を検出すると、そのポインタＰの接触動作に関連付けられた操作画像Ｈｐ３１（図４Ｄ）を操作表示生成部２０５で生成する（ステップＳ２０３１）。遠隔操作システムＲｓでは、テレビ受像機１００で行っていたが操作表示画像の生成を、遠隔操作システムＲｓ２では、スマートフォン２００ｃで行う。そして、ＣＰＵ２０２は、接続部２０４で生成した操作画像Ｈｐ３１を送信する（ステップＳ２０３２）。

遠隔操作システムＲｓ２は、この画像の生成及び送信をスマートフォン２００ｃで行う点が、遠隔操作システムＲｓと異なる点である。なお、スマートフォン２００ｃでは、この後もタッチパネル２０１ポインタＰの接触／動作を検出するごとに、操作画像、メニュー画像又は調整用画像を操作表示生成部２０５で生成（ステップＳ２０５１、Ｓ２０７１、Ｓ２０９１）する。そして、生成した画像を無線信号として接続部２０４から送信する（ステップＳ２０５２、Ｓ２０７２、Ｓ２０９２）。

以上のように、外部制御装置で操作表示画像を生成し、映像表示装置の表示部で表示する映像を生成することで、操作表示生成部を備えていない映像表示装置でも、遠隔操作を行うことが可能である。これにより、遠隔操作が可能な外部制御装置と映像表示装置との組み合わせを多くすることが可能であり、遠隔操作方法、遠隔操作プログラム（アプリ）の汎用性を高めることが可能である。なお、これ以外の特徴については、第１実施形態及び第２実施形態と同じである。

（その他の実施形態）
上述の実施形態において、外部制御装置の検出部（スマートフォンのタッチパネル）の検出領域に操作領域を形成するとき、タッチパネルの中央を透中心角度となり、尚且つ、操作表示画像の操作画像と対応する位置がそれぞれ含まれるように形成していた。操作領域の分割はこれに限定されるものではない。

以下に、操作領域のパターンについて図面を参照して説明する。図９は操作領域の一例を示す図であり、図１０は操作領域の他の例を示す図である。なお、図９及び図１０は、図２に示すスマートフォン２００を正面から見た状態を示している。図９及び図１０は、図４Ｂに示す、動作が割り当てられた操作画像が四辺の中央に配置されているメニュー画像Ｍｎ１が表示パネル１０１に表示されている状態の操作領域を示している。また、上述のように、スマートフォン２００の映像表示部に境界線を実際に表示されるものではなく、図９及び図１０に示す境界線は、仮想の境界線である。

図９に示すように、スマートフォン２００のタッチパネル２０１の検出領域Ｓａを４個の境界線Ｂｎで４つの操作領域Ｔｐ１、Ｔｐ２、Ｔｐ３、Ｔｐ４に分割している。検出領域Ｓａの中心回りに等中心角度（ここでは、４分割なので９０°）に分割し、メニュー画像Ｍｎ１の操作画像Ｈｐ１〜Ｈｐ４と対応する部分が含まれるように操作領域Ｔｐ１〜Ｔｐ４を設定している。

また、図１０に示すスマートフォン２００のように操作領域Ｓｐ１〜Ｓｐ４に分割してもよい。操作領域Ｓｐ１〜Ｓｐ４は操作領域の面積が等しくなるように分割している。なお、図１０に示すスマートフォン２００では、４分割であるため検出領域Ｓａの対角線を分割線Ｂｎとしている。上述のように、分割線Ｂｎが検出領域Ｓａの中央を通過するように設定することで、容易に操作領域を設定することができる。

検出領域Ｓａの中心を通る境界線Ｂｎで操作領域を分割する場合、操作画像の数が奇数であったり、検出領域Ｓａの辺の数の倍数でなかったりすることもあるため、中心角度を等しくするように分割した方が、操作者が直感的にわかりやすい形状になりやすい。

操作領域の分割パターンのさらに他の例について図面を参照して説明する。図１１は操作領域のさらに他の例を示す図である。図１１は、テレビ受像機１００とスマートフォン２００とを示しており、テレビ受像機１００の表示パネル１０１には、メニュー画像Ｍｎ３を表示している。

図１１に示すように表示パネル１０１に示すメニュー画像Ｍｎ３は、表示領域Ａｐの四辺の中央及び四隅に操作画像Ｈｐ１〜Ｈｐ８を備えている。このような構成で、検出領域Ｓａの中央を通る境界線で分割すると、操作領域が尖った三角形状となり、隣り合う境界線の隙間が狭くなる。このことは、ポインタＰを接触させる操作領域が実質的に狭くなり、操作者がポインタＰを正確な操作領域に接触させるのが難しい場合がある。

そこで、図１１のスマートフォン２００のように、検出領域Ｓａの各操作画像Ｈｐ１〜Ｈｐ８と対応する部分を含むようにタイル状に配列した操作領域Ｉｐ１〜Ｉｐ８を形成してもよい。このように配列することで、各操作領域Ｉｐ１〜Ｉｐ８の隣り合う境界線の隙間をある程度の幅に確保することができる。これにより、操作者はスマートフォン２００を見なくても、操作画像と対応した操作領域に正確にポインタＰを接触させる、そして、ポインタＰの動作を正確に行うことが可能である。なお、図１１はタイル状に操作領域を配列したものの一例であり、これに限定されるものではなく、操作領域も四角形に限定されるものではない。

次に、タッチパネル２０１がポインタＰの接触を検知したときの操作領域の変更について説明する。上述の実施形態では、ポインタＰの次の動作に特に関係のない操作領域は、半分に切断した楕円形にする例を示している（例えば、図４Ｄ、図５Ｃ参照）。ここで、スマートフォン２００のＣＰＵ２０２による、ポインタＰの動作の検出について説明する。ＣＰＵ２０２はポインタＰが現在接触している操作領域から別の操作領域に移動したとき、操作入力がなされたと認識している。そのため、上述の実施形態のように操作領域の変更は必須ではない。つまり、操作領域の形状を変更しないままでも、ポインタＰを操作することで、ポインタＰはいつか別の操作領域に移動する。しかしながら、操作領域を変更しない場合、ポインタＰが操作領域を越えるときのポインタＰの位置が一定せず、操作者が操作するごとに操作入力の認識が変化し、操作者が違和感を覚えやすい。そのため、操作領域を変更し、ポインタＰと検出領域Ｓａ（スマートフォン２００）との相対的な位置関係がおよそ一致するあたりで、操作入力を検出することが好ましい。

そこで、図１２示すような操作領域としてもよい。図１２はポインタの操作入力を検出するために操作領域を変更したときの図である。図１２では、ポインタＰの接触時の操作領域として図９に示す操作領域Ｔｐ１〜Ｔｐ４を備えたスマートフォン２００と、ポインタＰの接触によって操作領域Ｒｐ１、Ｒｐ２に変化したスマートフォン２００とを示している。

操作者はスマートフォン２００のタッチパネル２０１にポインタＰを接触させると、その後、ポインタＰを移動させる。図１２に示すように、操作領域Ｔｐ３に接触させた場合、操作者は表示パネル１０１の操作画像の変化でどの操作を行うか認識している。そして、次の動作は限定されている、ここでは、左に移動させることに限定されている。そのため、ＣＰＵ２０２は検出領域ＳａをポインタＰの移動方向に２分割する操作領域Ｒｐ１とＲｐ２とに分割する。これにより、図中上下方向の操作領域を省略しているので、ポインタＰの検出領域Ｓａでの移動方向が相対的に図中上又は下にずれたとしても、操作領域Ｒｐ１から操作領域Ｒｐ２に移動する位置は、およそ同じ位置になる。すなわち、操作者は、一定の操作感覚で、タッチパネル２０１の操作入力を行うことができ、遠隔操作を直感的でかつ正確に行うことが可能である。

また、ポインタＰが操作領域のいずれかに接触したことで、操作領域と対応する操作画像に割り振られている動作を認識し、その後、ポインタＰの移動を検出することで、操作入力の検出とするようにしてもよい。この場合、ポインタＰの移動の検出はポインタＰの相対的な移動量によって行ってもよいし、ポインタＰの移動速度によって行ってもよい。このような構成とすることで、ポインタＰが移動するときに操作領域に変更しなくてもよい。このとき、ＣＰＵ２０２は操作領域を無くしてしまってもよいし、操作領域を分割したままでポインタＰの移動だけ検出するようにしてもよい。

さらに遠隔操作システムの操作についてさらに詳しく説明する。図１等に示すようにスマートフォン２００等の外部操作装置のタッチパネル２０１は、長方形状を有していることが多い。そして、スマートフォン２００は縦長としても、横長としても利用することが可能となっている。そこで、スマートフォンを持ち替えたときの表示領域と検出領域との関係について図名を参照して説明する。

図１３はスマートフォンを縦長と横長とに持ち替えたときの表示部と検出部との対応を示す図である。図１３ではテレビ受像機１００の表示パネル１０１と、横長のときのスマートフォン２００と縦長のときのスマートフォン２００とを示している。なお、表示パネル１０１の表示領域Ａｐ角部には、図中左上から時計回りにＲ１〜Ｒ４の符号を付し、タッチパネル２０１にはＲ１〜Ｒ４に対応する角部にｒ１〜ｒ４の符号を付す。

遠隔操作システムでは、直感的な操作を行うため、テレビ受像機１００の表示パネル１０１とスマートフォン２００のタッチパネル２０１との形状を合わせて用いる場合が多い。すなわち、スマートフォン２００を横長に配置し、タッチパネル２０１の検出領域Ｓａの左上の角部を表示パネル１０１の角部Ｒ１と対応する角部ｒ１とし、時計回りにｒ２、ｒ３、ｒ４としている。

一方で、スマートフォン２００を縦長に用いる場合もある。この場合、操作者は、形状が正確に一致しないが、上下左右の方向が一致するように設定することが好ましい。すなわち、スマートフォン２００を縦長に配置した状態で、タッチパネル２０１の検出領域Ｓａの左上の角部を表示パネル１０１の表示領域Ａｐの角部Ｒ１と対応する角部ｒ１とし、時計回りにｒ２、ｒ３、ｒ４とする。このように設定することで、ポインタＰの動作の長さは、表示パネル１０１と異なるが、ポインタＰの操作の方向が同時であり直感的な操作がやりやすい。

一方で、操作者が横になっていたり、表示パネル１０１に対して傾いた位置にいたりして、表示パネル１０１を一定の角度をつけて視聴している場合もあり得る。この場合、スマートフォン２００を操作者から見て横向きで保持していたとしても、表示パネル１０１表示領域Ａｐの形状と、タッチパネル２０１の検出領域Ｓａの形状が一致するように関連付けることが好ましい。この場合、例えば、スマートフォン２００を縦長に配置した状態で、検出領域Ｓａの右上の角部を表示パネル１０１の表示領域Ａｐの角部Ｒ１と対応する角部ｒ１とし、時計回りにｒ２、ｒ３、ｒ４とする。

以上のように、スマートフォン２００の配置状態に合わせて、表示パネル１０１の表示領域Ａｐとタッチパネル２０１の検出領域Ｓａを適切に関連付けることで、操作者による操作入力を補助し、操作者による直感的で、且つ、正確な操作が可能となる。

本発明の遠隔制御方法は、上述のように映像表示装置と外部制御装置とに組み込まれていてもよいし、映像表示装置及び（又は）外部制御装置に組み込まれるプログラムとして供給されてもよい。

以上、本発明の実施形態について説明したが、本発明はこの内容に限定されるものではない。また本発明の実施形態は、発明の趣旨を逸脱しない限り、種々の改変を加えることが可能である。

１００ テレビ受像機（映像表示装置）
１０１ 表示パネル
１０２ 集積回路
１０３ ＣＰＵ
１０４ コマンドデコーダ
１０５ 操作表示生成部
１０６ 信号合成部
１０７ 入力切替・映像処理部
１０８ 接続部
１０９ メモリ
１１０ チューナ
１１１ 入力端子
２００ スマートフォン（外部制御装置）
２０１ タッチパネル
２０２ ＣＰＵ
２０３ メモリ
２０４ 接続部

Claims (7)

1. 映像を表示する表示部を備えた映像表示装置を物体の接触を検出する面状の検出部を備えた外部制御装置で遠隔操作する遠隔操作方法であって、
   前記映像表示装置と前記外部制御装置とを接続するとともに、前記表示部の表示領域と前記検出部の検出領域とが関連付けられており、
   前記映像表示装置の動作と関連付けられた操作画像が前記表示部に表示され、
   前記検出部が物体の接触を検出したとき、前記ポインタの接触を検出した領域と対応する表示領域に表示されている操作画像に関連付けられた操作が実行されることを特徴とする遠隔操作方法。
2. 前記検出領域には前記操作画像と対応する操作領域が含まれており、前記検出部は接触している物体が前記操作領域の境界を越えたとき、前記ポインタの操作に合わせて、前記操作画像に関連付けられた動作を実行する請求項１に記載の遠隔操作方法。
3. 前記接触している物体の接触動作を検出した操作領域と対応する操作画像に関連付けられた動作とに基づき、前記接触している物体の動きを予測し、予測結果に基づいて前記操作領域の形状を変更する請求項２に記載の遠隔操作方法。
4. 前記物体の接触が検出されたとき、前記表示部の操作画像を変化させる請求項１から請求項３のいずれかに記載の遠隔操作方法。
5. 前記表示部には複数個の前記操作画像が表示されており、
   前記検出領域を前記操作画像と一対一で対応する複数個の操作領域に分割する請求項１から請求項４のいずれかに記載の遠隔操作方法。
6. 前記操作領域を複数含む場合において、前記物体の接触を検出している操作領域が切り替わったことを検出したとき、
   前記操作表示画像の変更、遠隔操作の開始又は終了をおこなう請求項１から請求項４のいずれかに記載の遠隔操作方法。
7. 請求項１から請求項６のいずれかに記載の遠隔操作方法を用い、
   映像を表示する表示部を含む映像表示装置と、
   部材の接触動作を検出する面状の検出部を含む外部制御装置とを有する遠隔操作システム。

Images