JP2012089068A - 遠隔操作システム、遠隔操作方法、およびプログラム - Google Patents

Abstract

【課題】ユーザから要求に応じて、携帯端末に表示された被操作端末の画像の一部を任意に拡大表示することにより、被操作端末の操作を代替する携帯端末による操作性を向上する。
【解決手段】被操作端末１００は、画像領域を特定するマーカーを画像に重ね合わせたマーカー画像を表示部１０１に表示する被操作端末画像出力部１０３と、携帯端末２００から受信した相対位置情報により特定された操作を実行する操作処理部１０６と、を備え、携帯端末２００は、拡大モードに切り替えるモード切替部２０６と、拡大モードの下、タッチスクリーン２０４に表示され、表示部１０１を撮影したカメラ画像の一部を拡大表示する拡大表示制御部２０５と、拡大表示されたカメラ画像を表示したタッチスクリーン２０４へのタッチ操作を検出すると、カメラ画像に写っているマーカー画像上におけるタッチ位置の相対位置情報を計算する相対位置情報計算部２０８と、を備える。
【選択図】図１

Description

本発明は、タッチスクリーンとカメラとを具備した携帯端末へのタッチ操作により被操作端末を遠隔操作する遠隔操作システムに関し、特に、携帯端末のタッチ操作の操作性を向上させる遠隔操作システムに関する。

近年、タッチスクリーンを備えた携帯端末、大画面ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ハイビジョンテレビ等の機器の普及が進んでいる。しかし、携帯性のない大画面ＰＣやハイビジョンテレビ等においては、例えば同じ室内の離れた場所から、タッチスクリーンのタッチ操作を遠隔操作することは難しい。従来の遠隔操作装置（例えば、リモートコントローラ、以下、リモコンという）は、ボタン操作を主に想定しているために、タッチスクリーンのタッチ操作を代替することができないからである。

特許文献１には、操作端末に、ユーザが遠隔操作する被操作端末の画面を送信することにより、被操作端末を手元の操作端末で直接操作することができる装置が提案されている。

特開２００７−２４１７３６号公報

特許文献１に記載の装置では、タッチスクリーンを具備した携帯端末上に被操作端末の画面を表示し、携帯端末から被操作端末を遠隔操作することができる。しかしながら、タッチ位置の取得精度が携帯端末の画面解像度やタッチスクリーンの座標取得の解像度に依存する。そのため、被操作端末の画面がハイビジョン解像度の大画面で、携帯端末のタッチスクリーンの解像度が低い場合は、携帯端末のタッチスクリーンへのタッチ操作による操作精度が低下し、また、大画面を携帯端末向けに縮小して表示するため、ユーザ自身に対して細かい操作を強要してしまい、操作性の低下を招くという問題点があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、ユーザから要求に応じて、携帯端末に表示された被操作端末の画像の一部を任意に拡大表示することにより、被操作端末の操作を代替する携帯端末のタッチスクリーンへのタッチ操作の操作精度を向上するとともに、ユーザの操作性を向上する遠隔操作システムを提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

（１） 本発明は、カメラおよびタッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムであって、前記被操作端末は、画像を表示する表示手段（例えば、図１の表示部１０１に相当）と、前記画像の領域を特定するためのマーカーを生成するマーカー生成手段（例えば、図１のマーカー生成部１０２に相当）と、生成されたマーカーを前記画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を前記表示手段に出力する被操作端末画像出力手段（例えば、図１の被操作端末画像出力部１０３に相当）と、を備え、前記携帯端末は、前記表示手段に表示されたマーカー画像を前記カメラで撮影して得られるカメラ画像を取得するカメラ画像取得手段（例えば、図１のカメラ画像取得部２０２に相当）と、前記カメラ画像を前記タッチスクリーンに出力する携帯端末画像出力手段（例えば、図１の携帯端末画像出力部２０３に相当）と、ユーザの操作に応じて、前記カメラ画像の一部の領域を拡大表示する拡大モードへの切り替えを行うモード切替手段（例えば、図１のモード切替部２０５に相当）と、前記拡大モードの下、前記タッチスクリーンに表示されたカメラ画像において、ユーザの操作により選択された領域を拡大した新たなカメラ画像を前記タッチスクリーンに出力する拡大表示制御手段（例えば、図１の拡大表示制御部２０６に相当）と、前記カメラ画像から、前記マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得するマーカー位置情報取得手段（例えば、図１のマーカー位置情報取得部２０７に相当）と、前記拡大モードが解除されている際に、前記新たなカメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、タッチスクリーン上のタッチ位置を示すタッチ位置情報、前記カメラ画像の拡大表示に関する情報、および取得されたマーカー位置情報に基づいて、前記カメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する相対位置情報計算手段（例えば、図１の相対位置情報計算部２０８に相当）と、計算された相対位置情報を前記被操作端末に送信する相対位置情報送信手段（例えば、図１の相対位置情報送信部２０９に相当）と、を備え、さらに、前記被操作端末は、前記携帯端末から前記相対位置情報を受信する相対位置情報受信手段（例えば、図１の相対位置情報受信部１０４に相当）と、受信した相対位置情報を、前記表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する相対位置情報変換手段（例えば、図１の相対位置情報変換部１０５に相当）と、変換された絶対位置情報と、前記マーカー画像とに基づいて、前記携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する操作処理手段（例えば、図１の操作処理部１０６に相当）と、を備えることを特徴とする遠隔操作システムを提案している。

この発明によれば、表示手段は、画像を表示する。マーカー生成手段は、画像の領域を特定するためのマーカーを生成する。被操作端末画像出力手段は、生成されたマーカーを画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を表示手段に出力する。カメラ画像取得手段は、表示手段に表示されたマーカー画像をカメラで撮影して得られるカメラ画像を取得する。携帯端末画像出力手段は、カメラ画像をタッチスクリーンに出力する。モード切替手段は、ユーザの操作に応じて、カメラ画像の一部の領域を拡大表示する拡大モードへの切り替えを行う。拡大表示制御手段は、拡大モードの下、タッチスクリーンに表示されたカメラ画像において、ユーザの操作により選択された領域を拡大した新たなカメラ画像をタッチスクリーンに出力する。マーカー位置情報取得手段は、カメラ画像から、マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得する。相対位置情報計算手段は、拡大モードが解除されている際に、新たなカメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、タッチスクリーン上のタッチ位置を示すタッチ位置情報、カメラ画像の拡大表示に関する情報、および取得されたマーカー位置情報に基づいて、カメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する。相対位置情報送信手段は、計算された相対位置情報を被操作端末に送信する。相対位置情報受信手段は、携帯端末から相対位置情報を受信する。相対位置情報変換手段は、受信した相対位置情報を、表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する。操作処理手段は、変換された絶対位置情報と、マーカー画像とに基づいて、携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する。したがって、ユーザから要求に応じて、携帯端末に表示された被操作端末の画像の一部を任意に拡大表示することにより、被操作端末の操作を代替する携帯端末のタッチスクリーンへのタッチ操作の操作精度を向上するとともに、ユーザの操作性を向上することができる。

（２） 本発明は、（１）の遠隔操作システムについて、前記相対位置情報計算手段は、前記拡大モードが解除されている際に、前記カメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、前記カメラ画像上のタッチ位置を示すタッチ位置情報と、取得されたマーカー位置情報とに基づいて、前記カメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算することを特徴とする遠隔操作システムを提案している。

この発明によれば、相対位置情報計算手段は、拡大モードが解除されている際に、カメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、カメラ画像上のタッチ位置を示すタッチ位置情報と、取得されたマーカー位置情報とに基づいて、カメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する。したがって、拡大されていないカメラ画像が表示されたタッチスクリーンへのタッチ操作によっても、被操作端末を遠隔操作することができる。

（３） 本発明は、（１）または（２）の遠隔操作システムについて、前記選択された領域は、前記拡大モードの下、ユーザの操作によって指示された前記タッチスクリーン上のタッチ位置および拡大率に基づいて、前記カメラ画像から切り抜かれた領域であることを特徴とする遠隔操作システムを提案している。

この発明によれば、選択された領域は、拡大モードの下、ユーザの操作によって指示されたタッチスクリーン上のタッチ位置および拡大率に基づいて、カメラ画像から切り抜かれた領域である。したがって、拡大する領域や大きさをユーザが決定することができる。

（４） 本発明は、（３）の遠隔操作システムについて、前記新たなカメラ画像の拡大表示に関する情報は、前記拡大率、および前記選択された領域の位置情報を含むことを特徴とする遠隔操作システムを提案している。

この発明によれば、新たなカメラ画像の拡大表示に関する情報は、拡大率、および選択された領域の位置情報を含む。したがって、新たなカメラ画像は、拡大率、および選択された領域の位置情報によって、拡大元であるカメラ画像に対して特定することができる。

（５） 本発明は、カメラおよびタッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムにおける遠隔操作方法であって、前記被操作端末が、画像の領域を特定するためのマーカーを生成する第１のステップ（例えば、図７のステップＳ１に相当）と、前記被操作端末が、生成されたマーカーを前記画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を表示手段に出力する第２のステップ（例えば、図７のステップＳ２、Ｓ３に相当）と、前記携帯端末が、前記表示手段に表示されたマーカー画像を前記カメラで撮影して得られるカメラ画像を取得する第３のステップ（例えば、図８のステップＳ１００に相当）と、前記携帯端末が、前記カメラ画像を前記タッチスクリーンに出力する第４のステップ（例えば、図８のステップＳ１０１に相当）と、前記携帯端末が、ユーザの操作に応じて、前記カメラ画像の一部の領域を拡大表示する拡大モードへの切り替えを行う第５のステップ（例えば、図８のステップＳ１０２、Ｓ１０３に相当）と、前記携帯端末が、前記拡大モードの下、前記タッチスクリーンに表示されたカメラ画像において、ユーザの操作により選択された領域を拡大した新たなカメラ画像を前記タッチスクリーンに出力する第６のステップ（例えば、図８のステップＳ１０４、Ｓ１０５に相当）と、前記携帯端末が、前記カメラ画像から、前記マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得する第７のステップ（例えば、図８のステップＳ１０６、Ｓ１０７に相当）と、前記携帯端末が、前記拡大モードが解除された下、前記新たなカメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、タッチスクリーン上のタッチ位置を示すタッチ位置情報、前記カメラ画像の拡大表示に関する情報、および取得されたマーカー位置情報に基づいて、前記カメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する第８のステップ（例えば、図８のステップＳ１０８、Ｓ１０９に相当）と、前記携帯端末が、計算された相対位置情報を前記被操作端末に送信する第９のステップ（例えば、図８のステップＳ１１０に相当）と、前記被操作端末が、前記携帯端末から前記相対位置情報を受信する第１０のステップ（例えば、図７のステップＳ５に相当）と、前記被操作端末が、受信した相対位置情報を、前記表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する第１１のステップ（例えば、図７のステップＳ６に相当）と、前記被操作端末が、変換された絶対位置情報と、前記マーカー画像とに基づいて、前記携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する第１２のステップ（例えば、図７のステップＳ７に相当）と、を含むことを特徴とする遠隔操作方法を提案している。

この発明によれば、まず、第１のステップにおいて、被操作端末は、表示手段に表示される画像の領域を特定するためのマーカーを生成する。次に、第２のステップにおいて、被操作端末は、生成されたマーカーを画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を表示手段に出力する。次に、第３のステップにおいて、携帯端末は、表示手段に表示されたマーカー画像をカメラで撮影して得られるカメラ画像を取得する。次に、第４のステップにおいて、携帯端末は、カメラ画像をタッチスクリーンに出力する。次に、第５のステップにおいて、携帯端末は、ユーザの操作に応じて、カメラ画像の一部の領域を拡大表示する拡大モードへの切り替えを行う。次に、第６のステップにおいて、携帯端末は、拡大モードの下、タッチスクリーンに表示されたカメラ画像において、ユーザの操作により選択された領域を拡大した新たなカメラ画像をタッチスクリーンに出力する。次に、第７のステップにおいて、携帯端末が、カメラ画像から、マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得する。次に、第８のステップにおいて、拡大モードが解除された下、携帯端末が、新たなカメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、タッチスクリーン上のタッチ位置を示すタッチ位置情報、カメラ画像の拡大表示に関する情報、および取得されたマーカー位置情報に基づいて、カメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する。次に、第９のステップにおいて、携帯端末は、計算された相対位置情報を被操作端末に送信する。次に、第１０のステップにおいて、被操作端末は、携帯端末から相対位置情報を受信する。次に、第１１のステップにおいて、被操作端末は、受信した相対位置情報を、表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する。次に、第１２のステップにおいて、被操作端末は、変換された絶対位置情報と、マーカー画像とに基づいて、携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する。したがって、ユーザから要求に応じて、携帯端末に表示された被操作端末の画像の一部を任意に拡大表示することにより、被操作端末の操作を代替する携帯端末のタッチスクリーンへのタッチ操作の操作精度を向上するとともに、ユーザの操作性を向上することができる。

（６） 本発明は、カメラおよびタッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムにおける遠隔操作方法をコンピュータに実行させるためのプログラムであって、前記被操作端末が、画像の領域を特定するためのマーカーを生成する第１のステップ（例えば、図７のステップＳ１に相当）と、前記被操作端末が、生成されたマーカーを前記画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を表示手段に出力する第２のステップ（例えば、図７のステップＳ２、Ｓ３に相当）と、前記携帯端末が、前記表示手段に表示されたマーカー画像を前記カメラで撮影して得られるカメラ画像を取得する第３のステップ（例えば、図８のステップＳ１００に相当）と、前記携帯端末が、前記カメラ画像を前記タッチスクリーンに出力する第４のステップ（例えば、図８のステップＳ１０１に相当）と、前記携帯端末が、ユーザの操作に応じて、前記カメラ画像の一部の領域を拡大表示する拡大モードへの切り替えを行う第５のステップ（例えば、図８のステップＳ１０２、Ｓ１０３に相当）と、前記携帯端末が、前記拡大モードの下、前記タッチスクリーンに表示されたカメラ画像において、ユーザの操作により選択された領域を拡大した新たなカメラ画像を前記タッチスクリーンに出力する第６のステップ（例えば、図８のステップＳ１０４、Ｓ１０５に相当）と、前記携帯端末が、前記カメラ画像から、前記マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得する第７のステップ（例えば、図８のステップＳ１０６、Ｓ１０７に相当）と、前記携帯端末が、前記拡大モードが解除された下、前記新たなカメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、タッチスクリーン上のタッチ位置を示すタッチ位置情報、前記カメラ画像の拡大表示に関する情報、および取得されたマーカー位置情報に基づいて、前記カメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する第８のステップ（例えば、図８のステップＳ１０８、Ｓ１０９に相当）と、前記携帯端末が、計算された相対位置情報を前記被操作端末に送信する第９のステップ（例えば、図８のステップＳ１１０に相当）と、前記被操作端末が、前記携帯端末から前記相対位置情報を受信する第１０のステップ（例えば、図７のステップＳ５に相当）と、前記被操作端末が、受信した相対位置情報を、前記表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する第１１のステップ（例えば、図７のステップＳ６に相当）と、前記被操作端末が、変換された絶対位置情報と、前記マーカー画像とに基づいて、前記携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する第１２のステップ（例えば、図７のステップＳ７に相当）と、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、まず、第１のステップにおいて、被操作端末は、表示手段に表示される画像の領域を特定するためのマーカーを生成する。次に、第２のステップにおいて、被操作端末は、生成されたマーカーを画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を表示手段に出力する。次に、第３のステップにおいて、携帯端末は、表示手段に表示されたマーカー画像をカメラで撮影して得られるカメラ画像を取得する。次に、第４のステップにおいて、携帯端末は、カメラ画像をタッチスクリーンに出力する。次に、第５のステップにおいて、携帯端末は、ユーザの操作に応じて、カメラ画像の一部の領域を拡大表示する拡大モードへの切り替えを行う。次に、第６のステップにおいて、携帯端末は、拡大モードの下、タッチスクリーンに表示されたカメラ画像において、ユーザの操作により選択された領域を拡大した新たなカメラ画像をタッチスクリーンに出力する。次に、第７のステップにおいて、携帯端末が、カメラ画像から、マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得する。次に、第８のステップにおいて、拡大モードが解除された下、携帯端末が、新たなカメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、タッチスクリーン上のタッチ位置を示すタッチ位置情報、カメラ画像の拡大表示に関する情報、および取得されたマーカー位置情報に基づいて、カメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する。次に、第９のステップにおいて、携帯端末は、計算された相対位置情報を被操作端末に送信する。次に、第１０のステップにおいて、被操作端末は、携帯端末から相対位置情報を受信する。次に、第１１のステップにおいて、被操作端末は、受信した相対位置情報を、表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する。次に、第１２のステップにおいて、被操作端末は、変換された絶対位置情報と、マーカー画像とに基づいて、携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する。したがって、ユーザから要求に応じて、携帯端末に表示された被操作端末の画像の一部を任意に拡大表示することにより、被操作端末の操作を代替する携帯端末のタッチスクリーンへのタッチ操作の操作精度を向上するとともに、ユーザの操作性を向上することができる。

本発明によれば、ユーザから要求に応じて、携帯端末に表示された被操作端末の画像の一部を任意に拡大表示することにより、被操作端末の操作を代替する携帯端末のタッチスクリーンへのタッチ操作の操作精度を向上するとともに、ユーザの操作性を向上することができる。

本発明の実施形態に係る遠隔操作システムの構成図である。 本発明の実施形態に係る被操作端末画面を示す模式図である。 本発明の実施形態に係る被操作端末および携帯端末の位置関係の概念図である。 本発明の本実施形態に係る携帯端末の画面を示す模式図である。 本実施形態に係る携帯端末２００におけるカメラ画像の拡大表示を示す模式図である。 本発明の本実施形態に係るタッチ位置を示す模式図である。 本発明の本実施形態に係る遠隔操作システムの処理フローである。 本発明の本実施形態に係る携帯端末のタッチ操作の処理フローである。

以下、図面を用いて、本発明の実施形態について詳細に説明する。なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含むさまざまなバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

図１は、本発明の実施形態に係る遠隔操作システム１の構成図である。遠隔操作システム１は、携帯端末２００を用いて被操作端末１００を遠隔操作するシステムである。図１に示すように、遠隔操作システム１は、被操作端末１００と、被操作端末１００と通信ネットワーク１０を介して通信可能な携帯端末２００とを備える。

本実施形態において、通信ネットワーク１０として、例えば、無線ＬＡＮ等を利用したＴＣＰ／ＩＰ通信や、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、赤外線等のデジタル無線通信が挙げられる。なお、通信ネットワーク１０は、同じ室内の離れた場所等の近距離での通信が可能であればよく、これらの通信手段に限るものではない。

被操作端末１００と携帯端末２００と間の通信は、両者のペアリングにより確立される。赤外線の場合は物理的に対向させることでペアリングする通信相手を一意に決定することが可能であり、Ｂｌｕｅｔｏｏｔｈでは標準的なペアリング手順が規定されている。一方、ＴＣＰ／ＩＰを利用する場合は、ＩＰアドレスやサーバ名（ＦＱＤＮ）で通信相手を明示したり、ＳＳＤＰ（Ｓｉｍｐｌｅ Ｓｅｒｖｉｃｅ Ｄｉｓｃｏｖｅｒｙ Ｐｒｏｔｏｃｏｌ）やマルチキャストＤＮＳ等の自動サービス発見方式を利用したりしてペアリングを確立する必要がある。

被操作端末１００は、画面出力が可能な表示部を備えた情報端末であるものとするが、情報端末としての機能を具備したテレビやディスプレイであっても、ディスプレイに接続されたセットトップボックスやパーソナルコンピュータ等の端末であってもよい。図１に示すように、被操作端末１００は、表示部１０１、マーカー生成部１０２、被操作端末画像出力部１０３、相対位置情報受信部１０４、相対位置情報変換部１０５、および操作処理部１０６を備える。

表示部１０１は、後述する被操作端末画像出力部１０３から出力された画像を表示し、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）等によって構成される。

マーカー生成部１０２は、表示部１０１に表示される画像の領域を特定するために、後述する被操作端末画像出力部１０３にて画像と重ね合わせるマーカーを生成する。ここで、マーカーは、一定の大きさを持つ矩形の白黒二値画像であり、画像の四隅に重ね合わされる。また、画像の四隅それぞれのマーカーは、画像認識処理で一意に別々のものとして識別できるものである。なお、後述する携帯端末２００のカメラ２０１で被操作端末１００の表示部１０１に表示された画像（以下、被操作端末画面という）を撮影して得られたカメラ画像において、カメラ画像に写った被操作端末画面の四角形領域を認識できれば、マーカーでなくてもよい。

被操作端末画像出力部１０３は、表示部１０１への画像出力要求に応じて、表示部１０１に画像を出力する。被操作端末画像出力部１０３が表示部１０１に出力する画像には、被操作端末１００を操作するための操作画像と、それ以外の画像とがある。なお、操作画像以外の画像とは、例えば、放送番組、映画、写真、文書ファイル等である。本実施形態において、被操作端末画像出力部１０３は、表示部１０１に出力する画像が操作画像である場合に、マーカー画像を出力し、操作画像以外の画像である場合には、マーカー画像ではなく画像を表示部１０１に出力する。また、被操作端末画像出力部１０３は、被操作端末１００と携帯端末２００とのペアリングが確立されているか否かの判断を行い、その結果に応じて、作成したマーカー画像を出力してもよい。以下、被操作端末画像出力部１０３が、操作画像を表示部１０１に出力する場合について説明する。

被操作端末画像出力部１０３は、表示部１０１に出力する画像が操作画像である場合に、マーカー生成部１０２にマーカーの生成を要求し、マーカーを取得する。次に、被操作端末画像出力部１０３は、操作画像に、マーカー生成部１０２から取得したマーカーを重ね合わせ、マーカー画像を作成する。そして、被操作端末画像出力部１０３は、作成したマーカー画像を表示部１０１に出力する。なお、被操作端末１００と携帯端末２００とのペアリングが確立されているか否かの判断を行う場合には、被操作端末１００と携帯端末２００とのペアリングが確立されていると判断された場合に、被操作端末画像出力部１０３は、上述したようにマーカー画像を作成し、作成したマーカー画像を表示部１０１に出力する。一方、被操作端末画像出力部１０３が、被操作端末１００と携帯端末２００とのペアリングが確立されていないと判断した場合には、マーカー画像は生成せず、操作画像を表示部１０１に出力する。

図２は、本発明の実施形態に係る被操作端末画面３００を示す模式図である。図２に示すように被操作端末画面３００の四隅それぞれには異なったマーカー３０１、３０２、３０３、３０４が表示される。

相対位置情報受信部１０４は、後述する携帯端末２００から相対位置情報を受信する。

相対位置情報変換部１０５は、相対位置情報受信部１０４で受信した相対位置情報を、被操作端末画面上の位置を示す絶対位置情報に変換する。具体的には、相対位置情報変換部１０５は、携帯端末２００のカメラ２０１で撮影して得られたカメラ画像に写った被操作端末画面上のタッチ位置を示す相対位置情報を、被操作端末画面の解像度を示す画素数に基づいて、被操作端末画面上の絶対位置情報に変換する。相対位置情報が（ｓ，ｔ）、被操作端末画面の画素数が（ｗ，ｈ）の場合には、絶対位置情報は座標（ｓｗ，ｔｈ）となる。これにより、被操作端末画面上のタッチ位置を特定することができる。

操作処理部１０６は、相対位置情報変換部１０５で得られた絶対位置情報に基づいて、携帯端末２００から指示された操作を特定し、特定した操作を実行する。なお、操作処理部１０６は、いわゆるアプリケーションを指す。

携帯端末２００は、タッチスクリーンおよびカメラを備え、通信機能を有する携帯端末であって、例えば、ＰＨＳ、ＰＤＡ、ＰＣ、ゲーム機等が挙げられる。図１に示すように、携帯端末２００は、カメラ２０１、カメラ画像取得部２０２、携帯端末画像出力部２０３、タッチスクリーン２０４、モード切替部２０５、拡大表示制御部２０６、マーカー位置情報取得部２０７、相対位置情報計算部２０８、および相対位置情報送信部２０９を備える。

カメラ２０１は、所定の対象を撮像し、撮像された画像（以下、カメラ画像という）をカメラ画像取得部２０２に出力する。なお、被操作端末の画面解像度を損なわない程度の高い解像度で被操作端末の画面を画像として取得するために、カメラは３０万画素以上であるのが望ましい。

カメラ画像取得部２０２は、カメラ２０１で撮影されたカメラ画像を取得する。なお、カメラ画像は、動画または静止画のいずれであってもよい。但し、静止画の場合には、カメラ画像内の被操作端末画面と、実際の被操作端末画面が同じでなければならない。撮影する際の被操作端末１００および携帯端末２００の位置関係について、図３を用いて説明する。図３（ａ）には被操作端末１００および携帯端末２００の正面からの位置関係、図３（ｂ）には被操作端末１００および携帯端末２００の側面からの位置関係の概念図を示す。図３に示すように、被操作端末画面３００の全体がカメラ画像５０１内に全て収まるようにする必要がある。

なお、ユーザが手持ちで携帯端末２００のカメラ２０１を被操作端末画面３００に向けている場合は、手ブレ等によって画面が動いてしまう。しかし、カメラ画像取得部２０２が既知の手ブレ補正機能を備えている場合には、カメラ画像内の被操作端末画面５１０を安定させることができ、安定したタッチ操作を提供することができる。一方、カメラ画像取得部２０２にて手ブレ補正をしない場合には、カメラ画像をリアルタイムに随時取得し、後述するマーカー位置情報取得部２０７は、マーカーの位置情報を常時更新する必要がある。

携帯端末画像出力部２０３は、カメラ画像取得部２０２で取得されたカメラ画像をタッチスクリーン２０４に表示する。図４は、本実施形態に係る携帯端末２００の画面を示す模式図である。図３に示したように被操作端末画面３００の全体がカメラ画像５０１内に全て収まるよう撮影することにより、カメラ画像５０１に写っている被操作端末画面５１０全体をタッチスクリーン２０４に表示することができる。

タッチスクリーン２０４は、導電性のある希少金属が透明な基材に蒸着されて実現された透明導電部材と，ユーザが押した透明導電部材上の位置を検出する位置検出回路と，文字や画像を表示するディスプレイとが組み合わされた装置であって、物体（例えば指やタッチペン）のタッチを検知して、そのタッチ位置を示す位置情報を相対位置情報計算部２０８に出力する。

モード切替部２０５は、ユーザ操作に応じて、拡大モードと通常操作モードとを切り替える。ここで、拡大モードとは、タッチスクリーン２０４へのタッチ操作により、タッチスクリーン２０４に表示されているカメラ画像の一部の領域を拡大するモードである。一方、通常操作モードとは、被操作端末１００の操作を携帯端末２００のタッチスクリーン２０４にて行うことができるモードである。モード切替部２０５は、例えば、携帯端末２００のボタンやタッチスクリーン２０４上のボタンがユーザにより押下されたことを受信して、モードを切り替える。モード切替部２０５は、モードの切り替えを行うと、後述する拡大表示制御部２０６に切替後のモードを通知する。

拡大表示制御部２０６は、モード切替部２０５から切替後のモードの通知を受信する。拡大表示制御部２０６は、「拡大モード」に切り替えられたとの通知を受信した後は、タッチスクリーン２０４へのユーザの操作を検出すると、タッチスクリーン２０４に表示されたカメラ画像において、ユーザの操作により選択された領域を拡大した新たなカメラ画像をタッチスクリーン２０４に出力する。ここで、ユーザの操作として、例えば、タッチスクリーン２０４に表示されているカメラ画像のうち拡大したい領域へのダブルタップや、拡大したい領域のピンチがある。なお、ピンチとは、２本の指の間を広げたり縮めたりする操作をいう。

図５は、本実施形態に係る携帯端末２００におけるカメラ画像の拡大表示を示す模式図である。図５に示したように、タッチスクリーン２０４に表示されているカメラ画像５０１からユーザの操作により選択された領域５２０は、拡大表示制御部２０６により拡大され、タッチスクリーン２０４に新たなカメラ画像５０２として表示される。

具体的には、まず、拡大表示制御部２０６は、ユーザの操作により指示されたタッチスクリーン２０４上のタッチ位置および拡大率に基づいて、タッチスクリーン２０４に表示されたカメラ画像のうち、ユーザの操作により選択された領域、すなわち、拡大する領域を決定する。拡大率は、「×２」等のようにユーザが数値で指定してもよいし、予め、「×２」、「×４」、「×６」等といくつかの拡大率が決めておき、ダブルタップやピンチに応じて、拡大率が順次変更されるとしてもよい。次に、拡大表示制御部２０６は、ユーザの操作により選択された領域を拡大し、新たなカメラ画像としてタッチスクリーン２０４に出力する。

マーカー位置情報取得部２０７は、カメラ画像取得部２０２で取得されたカメラ画像に写っている被操作端末画面５１０内のマーカーを検出し、カメラ画像５０１上におけるマーカーの位置を示すマーカー位置情報を取得する。マーカー位置情報は、カメラ画像５０１上の座標に基づいて、位置ベクトルとして表すことができる。ここで取得されるマーカーの位置情報は、被操作端末画面の四隅の位置情報である。なお、四隅のマーカーそれぞれの位置の対応関係が、被操作端末画面に提示されているものと同じになるように、マーカー位置情報取得部２０７が記憶しているものとする。すなわち、マーカー位置情報取得部２０７は、マーカーそれぞれについて、被操作端末画面の左上隅、右上隅、左下隅、または右下隅のいずれであるかを記憶している。

相対位置情報計算部２０８は、通常操作モードの下、携帯端末２００のタッチスクリーン２０４へのタッチ操作を検出すると、タッチスクリーン２０４上のタッチ位置情報をタッチスクリーン２０４から取得する。そして、拡大表示制御部２０６で出力された新たなカメラ画像がタッチスクリーン２０４に表示されている場合には、相対位置情報計算部２０８は、取得したタッチ位置情報と、新たなカメラ画像の拡大表示に関する情報、およびマーカー位置情報取得部２０７で取得されたマーカー位置情報に基づいて、カメラ画像５０１に写っている被操作端末画面５１０上のタッチ位置を示す相対位置情報を計算する。

ここで、新たなカメラ画像の拡大表示に関する情報とは、カメラ画像５０１に対する新たなカメラ画像の拡大率と、カメラ画像５０１における新たなカメラ画像の位置情報とを含み、拡大表示制御部２０６から取得する。なお、カメラ画像５０１における新たなカメラ画像の位置情報とは、例えば、新たなカメラ画像の四隅の座標の位置ベクトルである。新たなカメラ画像の拡大表示に関する情報を用いることにより、カメラ画像５０１の一部を拡大した新たなカメラ画像を表示しているタッチスクリーン２０４上のタッチ位置を、拡大元のカメラ画像５０１上のタッチ位置に計算することができるので、後述する、携帯端末画像出力部２０３で出力されたカメラ画像５０１がタッチスクリーン２０４に表示されている場合と同様に、相対位置情報を計算することができようになる。

一方、携帯端末画像出力部２０３で出力されたカメラ画像５０１がタッチスクリーン２０４に表示されている場合には、相対位置情報計算部２０８は、取得したタッチ位置情報と、マーカー位置情報取得部２０７で取得されたマーカー位置情報とに基づいて、カメラ画像５０１に写っている被操作端末画面５１０上のタッチ位置を示す相対位置情報を計算する。図６を用いて、タッチ位置の相対位置情報の求め方について説明する。

図６において、カメラ画像５０１に写っている被操作端末画面５１０の四隅のマーカーをそれぞれ点Ａ、Ｂ、Ｃ、Ｄ、タッチ位置を点Ｐとして示す。また、点Ａ、Ｂ、Ｃ、Ｄ、Ｐの座標を位置ベクトルａ、ｂ、ｃ、ｄ、ｐと表し、点Ａ、Ｂ、Ｃ、Ｄ、Ｐの座標を正規化したものを（０，０）、（１，０）、（０，１）、（１，１）、（ｓ，ｔ）とする。但し、０≦ｓ≦１、０≦ｔ≦１である。この場合、点Ｐは、ａ、ｂ、ｃ、ｄの一次結合で表され、以下の（１）式のように表すことができる。

ｘ座標、ｙ座標それぞれについて（１）式を立て、立てた２つの式を連立方程式として解くことによって、カメラ画像５０１に写った被操作端末画面５１０における点Ｐ（ｓ，ｔ）の相対位置情報を求めることができる。なお、ｘ座標、ｙ座標それぞれの（１）式を変形させると、ｓ，ｔそれぞれの２次方程式が得られ、簡易な計算によって高速に算出することができる。

相対位置情報送信部２０９は、相対位置情報計算部２０８で計算されたタッチ位置の相対位置情報を被操作端末１００に送信する。

次に、図７を用いて本発明に係る遠隔操作システム１の処理について説明する。

まず、ステップＳ１において、マーカー生成部１０２は、操作画像の領域を特定するためのマーカーを生成する。

次に、ステップＳ２において、被操作端末画像出力部１０３は、ステップＳ２で生成されたマーカーを操作画面に重ね合わせ、マーカー画像を作成する。

次に、ステップＳ３において、被操作端末画像出力部１０３は、ステップＳ３で作成したマーカー画像を表示部１０１に出力する。

次に、ステップＳ４において、携帯端末２００は、被操作端末１００の操作に替わるタッチ操作処理を行い、被操作端末１００に相対位置情報を送信する。タッチ操作処理については、後述する。

次に、ステップＳ５において、相対位置情報受信部１０４は、携帯端末２００から相対位置情報を受信したか否か判断する。携帯端末２００から相対位置情報を受信したと判断した場合（ＹＥＳ）には、ステップＳ６に処理を進める。一方、携帯端末２００から相対位置情報を受信していないと判断した場合（ＮＯ）には、処理を終了する。

次に、ステップＳ６において、相対位置情報変換部１０５は、ステップＳ５で受信した相対位置情報を、被操作端末画面上の位置を示す絶対位置情報に変換する。

次に、ステップＳ７において、操作処理部１０６は、ステップＳ６で得られた絶対位置情報に基づいて、携帯端末２００に入力された操作を特定し、特定した操作を実行する。

続いて、図８を用いて携帯端末２００のタッチ操作処理について説明する。

まず、ステップＳ１００において、カメラ画像取得部２０２は、被操作端末画面をカメラ２０１で撮影したカメラ画像を取得する。

次に、ステップＳ１０１において、携帯端末画像出力部２０３は、ステップＳ１００で取得されたカメラ画像をタッチスクリーン２０４に表示する。

次に、ステップＳ１０２において、モード切替部２０５は、モード切り替えがユーザから指示されたか否か判断する。モード切り替えが指示された場合には（ＹＥＳ）、ステップＳ１０３に処理を進め、モード切り替えが指示されていない場合には（ＮＯ）、ステップＳ１０４に処理を進める。

次に、ステップＳ１０３において、モード切替部２０５は、ユーザから指示されたモードに切り替える。

次に、ステップＳ１０４において、モード切替部２０５は、拡大モードへ切り替えた否かを判断する。拡大モードへ切り替えた場合には（ＹＥＳ）、ステップＳ１０５に処理を進め、通常操作モードへ切り替えた場合には（ＮＯ）、ステップＳ１０６に処理を進める。

次に、ステップＳ１０５において、拡大表示制御部２０６は、タッチスクリーン２０４へのユーザの操作を検出すると、タッチスクリーン２０４に表示されたカメラ画像において、ユーザの操作により選択された領域を拡大した新たなカメラ画像をタッチスクリーン２０４に出力する。

次に、ステップＳ１０６において、マーカー位置情報取得部２０７は、ステップＳ４０で取得されたカメラ画像に写っている被操作端末画面内のマーカーを検出し、カメラ画像上におけるマーカーの位置を示すマーカー位置情報を取得する。

次に、ステップＳ１０７において、マーカー位置情報取得部２０７は、ステップＳ１０６において、被操作端末画面の四隅のマーカー位置情報を取得できたか否か判断する。被操作端末画面の四隅のマーカー位置情報を取得できた場合（ＹＥＳ）には、ステップＳ１０８に処理を進め、被操作端末画面の四隅のマーカー位置情報を取得できなかった場合（ＮＯ）には、ステップＳ１００に処理を戻す。このとき、カメラ画像を再度取得するようにユーザに促すメッセージ等を出力してもよい。

次に、ステップＳ１０８において、相対位置情報計算部２０８は、携帯端末２００のタッチスクリーン２０４へのタッチ操作を検出したか否かを判断する。タッチスクリーン２０４へのタッチ操作を検出した場合（ＹＥＳ）には、ステップＳ１０９に処理を進め、検出しなかった場合には、処理を終了する。

次に、ステップＳ１０９において、相対位置情報計算部２０８は、カメラ画像に写っている被操作端末画面上のタッチ位置を示す相対位置情報を計算する。拡大表示制御部２０６で出力された新たなカメラ画像がタッチスクリーン２０４に表示されている場合には、相対位置情報計算部２０８は、タッチスクリーン２０４上、言い換えるとカメラ画像上におけるタッチ位置を示すタッチ位置情報と、新たなカメラ画像の拡大表示に関する情報、およびマーカー位置情報取得部２０７で取得されたマーカー位置情報に基づいて相対位置情報を計算する。一方、携帯端末画像出力部２０３で出力されたカメラ画像５０１がタッチスクリーン２０４に表示されている場合には、タッチ位置情報と、マーカー位置情報とに基づいて、カメラ画像に写っている被操作端末画面上のタッチ位置を示す相対位置情報を計算する。

次に、ステップＳ１１０において、相対位置情報送信部２０９は、ステップＳ１０９で計算されたタッチ位置の相対位置情報を被操作端末１００に送信する。

以上説明したように、本実施形態によれば、ユーザから要求に応じて、携帯端末に表示された被操作端末の画像の一部を任意に拡大表示することにより、被操作端末の操作を代替する携帯端末のタッチスクリーンへのタッチ操作の操作精度を向上するとともに、ユーザの操作性を向上することができる。

なお、遠隔操作システムの処理をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを、遠隔操作システムを構成する各機器に読み込ませ、実行することによって本発明の遠隔操作システムを実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。

また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されても良い。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 遠隔操作システム
１０ 通信ネットワーク
１００ 被操作端末
１０１ 表示部
１０２ マーカー生成部
１０３ 被操作端末画像出力部
１０４ 相対位置情報受信部
１０５ 相対位置情報変換部
１０６ 操作処理部
２００ 操作端末
２０１ カメラ
２０２ カメラ画像取得部
２０３ 携帯端末画像出力部
２０４ タッチスクリーン
２０５ モード切替部
２０６ 拡大表示制御部
２０７ マーカー位置情報取得部
２０８ 相対位置情報計算部
２０９ 相対位置情報送信部

Claims (6)

1. カメラおよびタッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムであって、
   前記被操作端末は、
   画像を表示する表示手段と、
   前記画像の領域を特定するためのマーカーを生成するマーカー生成手段と、
   生成されたマーカーを前記画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を前記表示手段に出力する被操作端末画像出力手段と、
   を備え、
   前記携帯端末は、
   前記表示手段に表示されたマーカー画像を前記カメラで撮影して得られるカメラ画像を取得するカメラ画像取得手段と、
   前記カメラ画像を前記タッチスクリーンに出力する携帯端末画像出力手段と、
   ユーザの操作に応じて、前記カメラ画像の一部の領域を拡大表示する拡大モードへの切り替えを行うモード切替手段と、
   前記拡大モードの下、前記タッチスクリーンに表示されたカメラ画像において、ユーザの操作により選択された領域を拡大した新たなカメラ画像を前記タッチスクリーンに出力する拡大表示制御手段と、
   前記拡大モードが解除されている際に、前記カメラ画像から、前記マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得するマーカー位置情報取得手段と、
   前記拡大モードが解除されている際に、前記新たなカメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、タッチスクリーン上のタッチ位置を示すタッチ位置情報、前記新たなカメラ画像の拡大表示に関する情報、および取得されたマーカー位置情報に基づいて、前記カメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する相対位置情報計算手段と、
   計算された相対位置情報を前記被操作端末に送信する相対位置情報送信手段と、
   を備え、
   さらに、
   前記被操作端末は、
   前記携帯端末から前記相対位置情報を受信する相対位置情報受信手段と、
   受信した相対位置情報を、前記表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する相対位置情報変換手段と、
   変換された絶対位置情報と、前記マーカー画像とに基づいて、前記携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する操作処理手段と、
   を備えることを特徴とする遠隔操作システム。
2. 前記相対位置情報計算手段は、前記拡大モードが解除されている際に、前記カメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、前記カメラ画像上のタッチ位置を示すタッチ位置情報と、取得されたマーカー位置情報とに基づいて、前記カメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算することを特徴とする請求項１に記載の遠隔操作システム。
3. 前記選択された領域は、前記拡大モードの下、ユーザの操作によって指示された前記タッチスクリーン上のタッチ位置および拡大率に基づいて、前記カメラ画像から切り抜かれた領域であることを特徴とする請求項１または２に記載の遠隔操作システム。
4. 前記新たなカメラ画像の拡大表示に関する情報は、前記拡大率、および前記選択された領域の位置情報を含むことを特徴とする請求項３に記載の遠隔操作システム。
5. カメラおよびタッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムにおける遠隔操作方法であって、
   前記被操作端末が、画像の領域を特定するためのマーカーを生成する第１のステップと、
   前記被操作端末が、生成されたマーカーを前記画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を表示手段に出力する第２のステップと、
   前記携帯端末が、前記表示手段に表示されたマーカー画像を前記カメラで撮影して得られるカメラ画像を取得する第３のステップと、
   前記携帯端末が、前記カメラ画像を前記タッチスクリーンに出力する第４のステップと、
   前記携帯端末が、ユーザの操作に応じて、前記カメラ画像の一部の領域を拡大表示する拡大モードへの切り替えを行う第５のステップと、
   前記携帯端末が、前記拡大モードの下、前記タッチスクリーンに表示されたカメラ画像において、ユーザの操作により選択された領域を拡大した新たなカメラ画像を前記タッチスクリーンに出力する第６のステップと、
   前記携帯端末が、前記カメラ画像から、前記マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得する第７のステップと、
   前記携帯端末が、前記拡大モードが解除された下、前記新たなカメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、タッチスクリーン上のタッチ位置を示すタッチ位置情報、前記カメラ画像の拡大表示に関する情報、および取得されたマーカー位置情報に基づいて、前記カメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する第８のステップと、
   前記携帯端末が、計算された相対位置情報を前記被操作端末に送信する第９のステップと、
   前記被操作端末が、前記携帯端末から前記相対位置情報を受信する第１０のステップと、
   前記被操作端末が、受信した相対位置情報を、前記表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する第１１のステップと、
   前記被操作端末が、変換された絶対位置情報と、前記マーカー画像とに基づいて、前記携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する第１２のステップと、
   を含むことを特徴とする遠隔操作方法。
6. カメラおよびタッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムにおける遠隔操作方法をコンピュータに実行させるためのプログラムであって、
   前記被操作端末が、画像の領域を特定するためのマーカーを生成する第１のステップと、
   前記被操作端末が、生成されたマーカーを前記画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を表示手段に出力する第２のステップと、
   前記携帯端末が、前記表示手段に表示されたマーカー画像を前記カメラで撮影して得られるカメラ画像を取得する第３のステップと、
   前記携帯端末が、前記カメラ画像を前記タッチスクリーンに出力する第４のステップと、
   前記携帯端末が、ユーザの操作に応じて、前記カメラ画像の一部の領域を拡大表示する拡大モードへの切り替えを行う第５のステップと、
   前記携帯端末が、前記拡大モードの下、前記タッチスクリーンに表示されたカメラ画像において、ユーザの操作により選択された領域を拡大した新たなカメラ画像を前記タッチスクリーンに出力する第６のステップと、
   前記携帯端末が、前記拡大モードが解除されたか否か判断する第７のステップと、
   前記携帯端末が、前記拡大モードが解除されたと判断した際に、前記カメラ画像から、前記マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得する第８のステップと、
   前記携帯端末が、前記新たなカメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、タッチスクリーン上のタッチ位置を示すタッチ位置情報、前記カメラ画像の拡大表示に関する情報、および取得されたマーカー位置情報に基づいて、前記カメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する第９のステップと、
   前記携帯端末が、計算された相対位置情報を前記被操作端末に送信する第１０のステップと、
   前記被操作端末が、前記携帯端末から前記相対位置情報を受信する第１１のステップと、
   前記被操作端末が、受信した相対位置情報を、前記表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する第１２のステップと、
   前記被操作端末が、変換された絶対位置情報と、前記マーカー画像とに基づいて、前記携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する第１３のステップと、
   をコンピュータに実行させるためのプログラム。

Images