JP2013021440A - 遠隔制御装置、遠隔制御方法およびプログラム - Google Patents

Abstract

【課題】ユーザに大きな負担をかけることなく、複数の機器のうちの所望の機器を遠隔で制御する。
【解決手段】表示部と、被写体を撮影する撮影部と、撮影部にて撮影された撮影画像から、予め決められた複数の制御対象機器のそれぞれを検出する機器検出部と、複数の制御対象機器のそれぞれに対応付けられた物体の画像である複数のオブジェクト画像のうち、機器検出部にて検出された制御対象機器に対応するオブジェクト画像から、表示部にて表示させるための表示用オブジェクト画像を生成するオブジェクト画像生成部とを有し、表示部は、オブジェクト画像生成部にて生成された表示用オブジェクト画像を撮影画像に重畳して表示し、表示部に積層され、接触された位置を検知する入力部と、入力部にて検知された位置が、表示用オブジェクト画像の表示位置を含む場合、機器検出部にて検出された制御対象機器を制御するための無線信号を送信する無線通信部と、を有する。
【選択図】図１０

Description

本発明は、機器を遠隔で制御するための遠隔制御装置、遠隔制御方法およびプログラムに関する。

近年、家庭にある様々な機器、例えばエアコンやテレビ、照明器具等はリモコン等の遠隔制御装置で制御することが可能となっている。遠隔制御装置は通常、上述したような複数の機器毎に存在する。そのため、ユーザは、制御する対象となる機器毎に異なる遠隔制御装置を使用する必要があり、遠隔制御装置を用いることの利便性を十分に享受できていない。

そこで、１つの遠隔制御装置を用いて複数の機器を制御できるようにすることが求められ、これを実現するための技術が例えば、特許文献１に開示されている。

特許文献１に開示されている技術において機器操作装置は、加速度センサや地磁気センサ等の各種センサを備えている。機器操作装置は、これらのセンサを用いて複数の機器のそれぞれの位置を測定することで複数の機器の中から所望の機器を特定する。そして、機器操作装置は、特定した機器の制御を行う。

特開２００７−２６６７７２号公報

上述した特許文献１に開示されている技術では、加速度センサや磁気センサ等を用いて複数の機器のそれぞれの位置を特定する。そのため、複数の機器のそれぞれが相互に近接している場合、その複数の機器のそれぞれの位置を正確に特定することが困難となる。この場合、所望の機器を遠隔で制御することができなくなってしまうという問題点がある。

また、上述した特許文献１に開示されている技術では、複数の機器のそれぞれの部屋における位置を予め機器操作装置に登録しておく必要がある。そのため、機器の位置を変更した場合、ユーザは再度、機器の位置の登録を行わなくてはならない。

また、上述した特許文献１に開示されている技術では、機器を操作する際のユーザの動作（例えば、機器操作装置を上下に振ると照明の照度を変更するなど）を予め機器操作装置に登録しておく必要があるとともに、ユーザはその動作を覚えておかなければならない。

つまり、特許文献１に開示されている技術を用いた場合、ユーザにかかる負担が大きくなってしまうという問題点がある。

本発明は、ユーザに大きな負担をかけることなく、複数の機器のうちの所望の機器を遠隔で制御することを可能にする遠隔制御装置、遠隔制御方法およびプログラムを提供することを目的とする。

上記目的を達成するために本発明の遠隔制御装置は、
表示部と、
被写体を撮影する撮影部と、
前記撮影部にて撮影された撮影画像から、予め決められた複数の制御対象機器のそれぞれを検出する機器検出部と、
前記複数の制御対象機器のそれぞれに対応付けられた物体の画像である複数のオブジェクト画像のうち、前記機器検出部にて検出された制御対象機器に対応するオブジェクト画像から、前記表示部にて表示させるための表示用オブジェクト画像を生成するオブジェクト画像生成部と、を有し、
前記表示部は、前記オブジェクト画像生成部にて生成された表示用オブジェクト画像を前記撮影画像に重畳して表示し、
前記表示部に積層され、接触された位置を検知する入力部と、
前記入力部にて検知された位置が、前記表示用オブジェクト画像の表示位置を含む場合、前記機器検出部にて検出された制御対象機器を制御するための無線信号を送信する無線通信部と、を有する。

また、上記目的を達成するために本発明の遠隔制御方法は、表示部と、該表示部に積層され、接触された位置を検知する入力部とを有する遠隔制御装置における遠隔制御方法であって、
被写体を撮影する処理と、
前記撮影した撮影画像から、予め決められた複数の制御対象機器のそれぞれを検出する検出処理と、
前記複数の制御対象機器のそれぞれに対応付けられた物体の画像である複数のオブジェクト画像のうち、前記検出した制御対象機器に対応するオブジェクト画像から、前記表示部にて表示させるための表示用オブジェクト画像を生成する生成処理と、
前記生成した表示用オブジェクト画像を前記撮影画像に重畳して前記表示部にて表示する処理と、
前記入力部にて検知された位置が、前記表示用オブジェクト画像の表示位置を含む場合、前記検出した制御対象機器を制御するための無線信号を送信する処理と、を有する。

また、上記目的を達成するために本発明のプログラムは、表示部と、該表示部に積層され、接触された位置を検知する入力部とを有する遠隔制御装置に、
被写体を撮影する機能と、
前記撮影した撮影画像から、予め決められた複数の制御対象機器のそれぞれを検出する検出機能と、
前記複数の制御対象機器のそれぞれに対応付けられた物体の画像である複数のオブジェクト画像のうち、前記検出した制御対象機器に対応するオブジェクト画像から、前記表示部にて表示させるための表示用オブジェクト画像を生成する生成機能と、
前記生成した表示用オブジェクト画像を前記撮影画像に重畳して前記表示部にて表示する機能と、
前記入力部にて検知された位置が、前記表示用オブジェクト画像の表示位置を含む場合、前記検出した制御対象機器を制御するための無線信号を送信する機能と、を実現させる。

本発明は以上説明したように構成されているので、ユーザに大きな負担をかけることなく、複数の機器のうちの所望の機器を遠隔で制御することが可能となる。

本発明の遠隔制御装置を適用した携帯端末の第１の実施形態の構成を示すブロック図である。 図１に示した携帯端末の外観の一例を示す図であり、（ａ）は正面図、（ｂ）は背面図である。 図１に示した制御対象機器情報記憶部が備える制御対象機器情報テーブルの一構成例を示す図である。 図１に示した制御対象機器情報記憶部が備えるオブジェクト画像情報テーブルの一構成例を示す図である。 図１に示した機器検出部が、検出した制御対象機器の撮影画像中の位置および大きさを認識する動作を説明するための図である。 図１に示した表示画面に表示された合成画像の一例を示す図である。 図１に示した表示画面に表示された合成画像の他の例を示す図である。 図１〜図７に示した携帯端末において合成画像を表示するまでの動作を説明するためのフローチャートである。 図１〜図７に示した携帯端末において制御対象機器を制御するときの動作を説明するためのフローチャートである。 本発明の遠隔制御装置を適用した携帯端末の第２の実施形態の構成を示すブロック図である。

以下に、本発明の実施の形態について図面を参照して説明する。

（第１の実施形態）
図１は、本発明の遠隔制御装置を適用した携帯端末の第１の実施形態の構成を示すブロック図である。また、図２は、図１に示した携帯端末１０の外観の一例を示す図であり、（ａ）は正面図、（ｂ）は背面図である。

本実施形態の携帯端末１０は図１に示すように、撮影部１１と、機器検出部１２と、携帯端末１０を構成する各部に各種のコマンドを出力する制御部１３と、無線通信部１４と、表示部である表示画面１５ａを有する表示操作部１５と、制御対象機器情報記憶部１６と、オブジェクト画像生成部１７と、制御方法情報記憶部１８とを備えている。

本実施形態において携帯端末１０は、予め決められた複数の機器のそれぞれを遠隔で制御するための遠隔制御装置として動作する。以降、この予め決められた複数の機器のそれぞれのことを制御対象機器という。

撮影部１１は、画像メモリ１１ａを備えている。また、撮影部１１は、図２（ｂ）に示すように携帯端末１０の筺体の背面に設けられている。撮影部１１は、制御部１３から出力された撮影コマンドを受け付けると、被写体の撮影を開始する。そして、撮影した撮影画像を示す撮影画像データを画像メモリ１１ａに記憶させる。

制御対象機器情報記憶部１６は、上述した複数の制御対象機器のそれぞれに関する情報を記憶する制御対象機器情報テーブルを備えている。

図３は、図１に示した制御対象機器情報記憶部１６が備える制御対象機器情報テーブルの一構成例を示す図である。

制御対象機器情報テーブルでは図３に示すように、複数の制御対象機器のそれぞれを識別する機器ＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）と、その制御対象機器の画像の特徴量情報と、その制御対象機器に対応付けられた物体の画像であるオブジェクト画像を識別するオブジェクト画像ＩＤと、その制御対象機器の制御方法を識別する制御方法ＩＤとが対応付けられている。

なお、各ＩＤにおいて（ ）内の記載は、説明をわかりやすくするために、そのＩＤに対応する機器や物体等を示しているものであり、制御対象機器情報テーブルに記憶されている情報ではない。

また、特徴量情報とは、制御対象機器の画像の特徴を示し、その制御対象機器を含む画像中からその制御対象機器を特定するための数値化された情報である。図３では、特徴量情報として、輝度コントラスト、ホワイトバランスおよび形状を用いた場合を一例として示している。

また、オブジェクト画像は、制御対象機器が照明器具である場合、例えば、照明器具を点灯させたり、消灯させたりするのに一般的に用いられる「ひも」の画像である。

また、制御対象機器情報記憶部１６は、オブジェクト画像に関する情報を記憶するオブジェクト画像情報テーブルを備えている。

図４は、図１に示した制御対象機器情報記憶部１６が備えるオブジェクト画像情報テーブルの一構成例を示す図である。

オブジェクト画像情報テーブルでは図４に示すように、複数のオブジェクト画像のそれぞれを識別するオブジェクト画像ＩＤと、そのオブジェクト画像を生成するための数値化された情報であるオブジェクト画像生成用情報とが対応付けられている。

なお、オブジェクトＩＤにおいて（ ）内の記載は、説明をわかりやすくするために、対応する物体を示しているものであり、オブジェクト画像情報テーブルに記憶されている情報ではない。

また、図４では、オブジェクト画像生成用情報として、回転中心座標情報、配置原点情報、３Ｄ（Ｄｉｍｅｎｎｓｉｏｎｓ）描画情報、動き定義情報を用いた場合を一例として示している。

再度、図１を参照すると、機器検出部１２は、制御部１３から出力された検出コマンドを受け付けると、画像メモリ１１ａに記憶された撮影画像データを取得する。また、機器検出部１２は、制御対象機器情報記憶部１６が備える制御対象機器情報テーブルから、複数の機器ＩＤのそれぞれと、その機器ＩＤに対応する特徴量情報とを取得する。そして、機器検出部１２は、取得した撮影画像データが示す撮影画像から、取得した複数の特徴量情報のそれぞれにて特定される複数の制御対象機器のそれぞれを検出できたかどうかを判定する。判定の結果、検出できた場合、機器検出部１２は、検出した制御対象機器の撮影画像中の座標および大きさを認識し、認識した座標および大きさを示す検出機器情報を生成する。そして、機器検出部１２は、検出した制御対象機器を識別する機器ＩＤと、生成した検出機器情報とを制御部１３へ出力する。

図５は、図１に示した機器検出部１２が、検出した制御対象機器の撮影画像中の位置および大きさを認識する動作を説明するための図である。なお、図５は、検出された制御対象機器が照明器具である場合を一例として示している。

ここでは、撮影画像が図５に示すように、左隅を原点として、水平方向に４８０個および垂直方向に６４０個の座標、すなわち、４８０×６４０で表されるものとしている。

また、ここでは、照明器具の座標は、その照明器具を構成する電球５１の中心の座標で認識されるように予め決められているものとする。また、照明器具の垂直方向の大きさは、照明器具を構成する接続部５２の最上部から電球５１の最下部までの距離で認識されるように予め決められており、水平方向の大きさは、照明器具を構成するカバー５３の最大幅で認識されるように予め決められているものとする。そのため、検出された制御対象機器（照明器具）の座標および大きさは図５に示すように例えば、（２４０，３００）および１８０×１６０のように認識される。

再度、図１を参照すると、制御部１３は、表示画面１５ａに表示される画像と、その画像の表示画面１５ａにおける表示位置とを対応付けて記憶している。また、制御部１３は、表示操作部１５から出力された検知情報を受け付ける。なお、検知情報とは、ユーザが指等で接触した表示画面１５ａ上の位置を示す情報である。そして、制御部１３は、受け付けた検知情報が示す位置と、表示画面１５ａに表示されている画像とに応じ、ユーザが携帯端末１０に対して行った指示の種類を特定する。そして、制御部１３は、特定した指示の種類に応じて撮影部１１や、機器検出部１２、無線通信部１４等に各種のコマンドを出力する。また、制御部１３は、機器検出部１２から出力された機器ＩＤと検出機器情報とを受け付ける。そして、制御部１３は、制御対象機器情報記憶部１６が備える制御対象機器情報テーブルから、受け付けた機器ＩＤに対応するオブジェクト画像ＩＤを取得する。そして、制御部１３は、受け付けた検出機器情報と、取得したオブジェクト画像ＩＤとをオブジェクト画像生成部１７に出力する。

オブジェクト画像生成部１７は、画像メモリ１７ａを備えている。オブジェクト画像生成部１７は、制御部１３から出力されたオブジェクト画像ＩＤと検出機器情報とを受け付ける。そして、オブジェクト画像生成部１７は、制御対象機器情報記憶部１６が備えるオブジェクト画像情報テーブルから、受け付けたオブジェクト画像ＩＤに対応するオブジェクト画像生成用情報を取得する。そして、オブジェクト画像生成部１７は、取得したオブジェクト画像生成用情報を用いてオブジェクト画像を生成する。そして、オブジェクト画像生成部１７は、受け付けた検出機器情報が示す座標および大きさに基づき、生成したオブジェクト画像の表示位置や大きさを変化させた表示用オブジェクト画像を生成する。そして、オブジェクト画像生成部１７は、生成した表示用オブジェクト画像を示す表示用オブジェクト画像データを画像メモリ１７ａに記憶させる。

表示操作部１５は、上述した表示画面１５ａの他に、表示画面１５ａに積層された入力部であるタッチパッド１５ｂと、画像メモリ１５ｃとを備えている。なお、表示画面１５ａは、図２（ａ）に示すように、携帯端末１０の正面に設けられている。表示操作部１５は、ユーザが指等で接触した表示画面１５ａ上の位置をタッチパッド１５ｂにて検知する。つまり、ユーザは、表示画面１５ａに指等で接触することで例えば、制御対象機器の制御を開始するための制御開始指示を携帯端末１０に対して行うことになる。そして、表示操作部１５は、検知された位置を示す検知情報を制御部１３へ出力する。また、表示操作部１５は、画像メモリ１１ａに記憶された撮影画像データと、画像メモリ１７ａに記憶された表示用オブジェクト画像データとを取得する。そして、表示操作部１５は、取得した表示用オブジェクト画像データが示す表示用オブジェクト画像を、取得した撮影画像データが示す撮影画像に重畳させた合成画像を生成し、生成した合成画像を示す合成画像データを画像メモリ１５ｃに記憶させる。そして、表示操作部１５は、画像メモリ１５ｃに記憶された合成画像データが示す合成画像を表示画面１５ａに表示させる。

図６は、図１に示した表示画面１５ａに表示された合成画像の一例を示す図である。なお、図６は、検出された制御対象機器が照明器具である場合を一例として示している。

表示用オブジェクト画像１０１−２（ひもの画像）は、検出された制御対象機器である照明器具の画像１０１−１の撮影画像中の位置および大きさに応じ、オブジェクト画像の表示位置や大きさを変化させた画像となっている。この場合、ユーザは、表示用オブジェクト画像１０１−２（ひもの画像）が、照明器具を点灯させたり、消灯させたりするのに用いられる物体の画像であることを容易に認識することができる。

図７は、図１に示した表示画面１５ａに表示された合成画像の他の例を示す図である。なお、図７は、検出された制御対象機器が車である場合を一例として示している。また、車に対応するオブジェクト画像をレバーの画像としている。

表示用オブジェクト画像１０２−２（レバーの画像）は、検出された制御対象機器である車の画像１０２−１の撮影画像中の位置および大きさに応じ、オブジェクト画像の表示位置や大きさを変化させた画像となっている。この場合、ユーザは、表示用オブジェクト画像１０２−２（レバーの画像）が、車のドアをロックしたり、そのロックを解除したりするのに用いられる物体の画像であることを容易に認識することができる。

再度、図１を参照すると、制御方法情報記憶部１８は、複数の制御対象機器のそれぞれを識別する複数の機器ＩＤのそれぞれと、その制御対象機器を制御する方法を示す制御方法情報とを対応付けて記憶している。なお、制御方法情報には、対応する制御対象機器を制御する際に用いる無線方式を示す情報が含まれている。本実施形態では、制御方法情報には、赤外線通信を用いるのか、近距離無線通信を用いるのかを示す情報が含まれているものとする。なお、近距離無線通信とは例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）である。

無線通信部１４は、赤外線通信部１４ａと近距離無線通信部１４ｂとを備えている。赤外線通信部１４ａと近距離無線通信部１４ｂとは図２（ｂ）に示すように、携帯端末１０の背面に設けられている。無線通信部１４は、制御部１３から出力された操作コマンドを受け付ける。操作コマンドには、機器ＩＤが含まれている。この機器ＩＤは、制御部１３が機器検出部１２から受け付けた機器ＩＤである。そして、無線通信部１４は、制御対象機器情報記憶部１６が備える制御対象機器情報テーブルから、受け付けた操作コマンドに含まれる機器ＩＤに対応する制御方法ＩＤを取得する。そして、無線通信部１４は、取得した制御方法ＩＤに対応する制御方法情報を制御方法情報記憶部１８から取得する。そして、無線通信部１４は、取得した制御方法情報が示す内容に応じた無線信号を、赤外線通信部１４ａまたは近距離無線通信部１４ｂを用いて送信する。すなわち、無線通信部１４は、機器検出部１２にて検出された制御対象機器を制御するための無線信号を送信する。

以下に、上記のように構成された携帯端末１０の動作について説明する。

まず、図１〜図７に示した携帯端末１０において合成画像を表示するまでの動作について説明する。

図８は、図１〜図７に示した携帯端末１０において合成画像を表示するまでの動作を説明するためのフローチャートである。

まず、ユーザは、表示画面１５ａに指等で接触することで、制御開始指示を携帯端末１０に対して行う。

表示操作部１５は、ユーザが指等で接触した表示画面１５ａ上の位置をタッチパッド１５ｂにて検知する。

そして、表示操作部１５は、検知された位置を示す検知情報を制御部１３へ出力する。

表示操作部１５から出力された検知情報を受け付けた制御部１３は、受け付けた検知情報が示す位置と、表示画面１５ａに表示されている画像とに応じ、ユーザが携帯端末１０に対して行った指示の種類を特定する。ここでは、制御部１３は、ユーザが携帯端末１０に対して行った指示の種類が制御開始指示であると特定するものとする。

次に、制御部１３は、撮影コマンドを撮影部１１へ出力するとともに、検出コマンドを機器検出部１２へ出力する。

制御部１３から出力された撮影コマンドを受け付けた撮影部１１は、被写体の撮影を開始し（ステップＳ１）、撮影された撮影画像を示す撮影画像データを画像メモリ１１ａに記憶させる。

また、制御部１３から出力された検出コマンドを受け付けた機器検出部１２は、画像メモリ１１ａに記憶された撮影画像データを取得する。また、機器検出部１２は、制御対象機器情報記憶部１６が備える制御対象機器情報テーブルから、複数の機器ＩＤのそれぞれと、その機器ＩＤに対応する特徴量情報とを取得する。

そして、機器検出部１２は、機器検出部１２は、取得した撮影画像データが示す撮影画像から、取得した複数の特徴量情報のそれぞれにて特定される複数の制御対象画像のそれぞれを検出できたかどうかを判定する（ステップＳ２）。

ステップＳ２における判定の結果、取得した撮影画像データが示す撮影画像から、取得した複数の特徴量情報のそれぞれにて特定される複数の制御対象画像のそれぞれを検出できない場合、ステップＳ２の動作へ遷移する。すなわち、機器検出部１２は、取得した撮影画像データが示す撮影画像から、取得した複数の特徴量情報のそれぞれにて特定される複数の制御対象画像のそれぞれを検出できたかどうかの判定を継続する。

一方、ステップＳ２における判定の結果、取得した撮影画像データが示す撮影画像から、取得した複数の特徴量情報のそれぞれにて特定される複数の制御対象機器のそれぞれを検出できた場合、機器検出部１２は、検出した制御対象機器の撮影画像中の座標および大きさを認識する（ステップＳ３）。

次に、機器検出部１２は、認識した座標および大きさを示す検出機器情報を生成する。

そして、機器検出部１２は、検出した制御対象機器を識別する機器ＩＤと、生成した検出機器情報とを制御部１３へ出力する。

機器検出部１２から出力された機器ＩＤと検出機器情報とを受け付けた制御部１３は、制御対象機器情報記憶部１６が備える制御対象機器情報テーブルから、受け付けた機器ＩＤに対応するオブジェクト画像ＩＤを取得する。

そして、制御部１３は、受け付けた機器検出情報と、取得したオブジェクト画像ＩＤとをオブジェクト画像生成部１７に出力する。

制御部１３から出力されたオブジェクト画像ＩＤと検出機器情報とを受け付けたオブジェクト画像生成部１７は、制御対象機器情報記憶部１６が備えるオブジェクト画像情報テーブルから、受け付けたオブジェクト画像ＩＤに対応するオブジェクト画像生成用情報を取得する。

次に、オブジェクト画像生成部１７は、取得したオブジェクト画像生成用情報を用いてオブジェクト画像を生成する。すなわち、オブジェクト画像生成部１７は、機器検出部１２にて検出された制御対象機器に対応するオブジェクト画像を生成する（ステップＳ４）。

次に、オブジェクト画像生成部１７は、受け付けた検出機器情報が示す座標および大きさに基づき、生成したオブジェクト画像の表示位置および大きさを変化させた表示用オブジェクト画像を生成する（ステップＳ５）。

そして、オブジェクト画像生成部１７は、生成した表示用オブジェクト画像を示す表示用オブジェクト画像データを画像メモリ１７ａに記憶させる。

表示操作部１５は、画像メモリ１１ａに記憶された撮影画像データと、画像メモリ１７ａに記憶された表示用オブジェクト画像データとを取得する。

次に、表示操作部１５は、取得した表示用オブジェクト画像データが示す表示用オブジェクト画像を、取得した撮影画像データが示す撮影画像に重畳させた合成画像を生成する（ステップＳ６）。

次に、表示操作部１５は、生成した合成画像を示す合成画像データを画像メモリ１５ｃに記憶させる。

そして、表示操作部１５は、画像メモリ１５ｃに記憶された合成画像データが示す合成画像を表示画面１５ａに表示させる（ステップＳ７）。

なお、図８を参照しながら説明した動作は、制御対象機器の制御を停止する制御停止指示をユーザから受け付けるまで繰り返して実行される。

次に、図１〜図７に示した携帯端末１０において制御対象機器を制御する動作について説明する。

図９は、図１〜図７に示した携帯端末１０において制御対象機器を制御するときの動作を説明するためのフローチャートである。ここでは、上述した合成画像が表示画面１５ａに表示されているところから説明する。

まず、ユーザは、表示画面１５ａに指等で接触する。

表示操作部１５は、ユーザが指等で接触した表示画面１５ａ上の位置をタッチパッド１５ｂにて検知する（ステップＳ２１）。

そして、表示操作部１５は、検知された位置を示す検知情報を制御部１３へ出力する。

表示操作部１５から出力された検知情報を受け付けた制御部１３は、受け付けた検知情報が示す位置が、表示用オブジェクト画像の表示位置を含むかどうかを確認する。すなわち、制御部１３は、検知された位置が、表示用オブジェクト画像の表示位置を含むかどうかを確認する（ステップＳ２２）。

ステップＳ２２における確認の結果、受け付けた検知情報が示す位置が、表示用オブジェクト画像の表示位置を含まない場合、ステップＳ２２の動作へ遷移する。すなわち、制御部１３は、受け付けた検知情報が示す位置が、表示用オブジェクト画像の表示位置を含むかどうかの確認を継続する。

一方、ステップＳ２２における確認の結果、受け付けた検知情報が示す位置が、表示用オブジェクト画像の表示位置を含む場合、制御部１３は、表示用オブジェクトにアニメーション効果を付加するためのアニメーション付加コマンドを表示操作部１５へ出力する。なお、アニメーション付加コマンドには、取得したオブジェクト画像ＩＤが含まれている。また、制御部１３は、機器検出部１２から受け付けた機器ＩＤを含む操作コマンドを無線通信部１４へ出力する。

なお、受け付けた検知情報が示す位置が、表示用オブジェクト画像の表示位置を含む場合とは例えば、表示用オブジェクト画像が図６に示したような表示用オブジェクト画像１０１−２（ひもの画像）であるときに、ユーザが、表示用オブジェクト画像１０１−２の表示位置に指等を接触させて、そのまま図中下方向にスライドさせた場合等である。また、表示用オブジェクト画像が例えば図７に示したような表示用オブジェクト画像１０２−２（レバーの画像）であるときに、ユーザが、表示用オブジェクト画像１０２−２の表示位置に指等を接触させて、そのまま図中右方向にスライドさせた場合等である。

制御部１３から出力されたアニメーション付加コマンドを受け付けた表示操作部１５は、制御対象機器情報記憶部１６が備えるオブジェクト画像情報テーブルから、受け付けたアニメーション付加コマンドに含まれるオブジェクト画像ＩＤに対応する動き定義情報を取得する。

そして、表示操作部１５は、取得した動き定義情報に基づき、画像メモリ１５ｃに記憶された表示用オブジェクト画像データに、取得した動き定義情報に基づいたアニメーション効果を付加する。すなわち、表示操作部１５は、表示用オブジェクト画像に動きを与えて表示画面１５ａに表示させる（ステップＳ２３）。この動きとは例えば、表示用オブジェクト画像が例えば図６に示したような表示用オブジェクト画像１０１−２（ひもの画像）である場合、ひもの上下動である。

また、制御部１３から出力された操作コマンドを受け付けた無線通信部１４は、制御対象機器情報記憶部１６が備える制御対象機器情報テーブルから、受け付けた操作コマンドに含まれる機器ＩＤに対応する制御方法ＩＤを取得する。

次に、無線通信部１４は、取得した制御方法ＩＤに対応する制御方法情報を制御方法情報記憶部１８から取得する。

次に、無線通信部１４は、取得した制御方法情報が赤外線通信を用いることを示しているかどうかを確認する。すなわち、無線通信部１４は、制御対象機器を赤外線通信を用いて制御するのかどうかを確認する（ステップＳ２４）。

ステップＳ２４における確認の結果、取得した制御方法情報が赤外線通信を用いることを示している場合、無線通信部１４は、赤外線通信部１４ａを起動させる（ステップＳ２５）。

そして、無線通信部１４は、取得した制御方法情報が示す内容に応じた無線信号を送信する。すなわち、無線通信部１４は、機器検出部１２にて検出された制御対象機器を制御するための無線信号を送信する（ステップＳ２６）。

一方、ステップＳ２４における確認の結果、取得した制御方法情報が赤外線通信を用いることを示していない場合、無線通信部１４は、近距離無線通信部１４ｂを起動させる（ステップＳ２５）。そして、ステップＳ２６の動作へ遷移する。

このように本実施形態において携帯端末１０は、表示画面１５ａと、被写体を撮影する撮影部１１とを有する。

また、携帯端末１０は、撮影部１１にて撮影された撮影画像から、複数の制御対象機器のそれぞれを検出する機器検出部１２を有する。

また、携帯端末１０は、複数の制御対象機器のそれぞれに対応付けられた物体の画像である複数のオブジェクト画像のうち、機器検出部１２にて検出された制御対象機器に対応するオブジェクト画像から、表示画面１５ａにて表示させるための表示用オブジェクト画像を生成するオブジェクト画像生成部１７を有する。

そして、表示画面１５ａは、オブジェクト画像生成部１７にて生成された表示用オブジェクト画像を撮影画像に重畳して表示する。

また、携帯端末１０は、表示画面１５ａに積層され、接触された位置を検知するタッチパッド１５ｂを有する。

また、携帯端末１０は、タッチパッド１５ｂにて検知された位置が、表示用オブジェクト画像の表示位置を含む場合、機器検出部１２にて検出された制御対象機器を制御するための無線信号を送信する無線通信部１４を有する。

これにより、ユーザに大きな負担をかけることなく、複数の機器のうちの所望の機器を遠隔で制御することが可能となる。

なお、本実施形態においては、照明器具を点灯させたり消灯させたりするような、制御対象機器に対して単一の制御を行う場合を想定していたが、オブジェクト画像をより複雑な画像とすることで、制御対象機器に複数の種類の無線信号を送信することも可能である。具体的には例えば、エアコンに対応するオブジェクト画像を、エアコンの実際のリモコンのような画像とし、接触が検知された表示画面上の位置に応じ、電源のＯＮ／ＯＦＦだけではなく、温度調整やタイマー制御などを行うための無線信号を送信する。

また、本実施形態においては、検出される制御対象機器が１つである場合を前提として説明したが、本発明は検出される制御対象機器が１つである場合に限定されない。

一例として、撮影画像から２つの制御対象機器が検出された場合を考えてみる。この場合、検出された２つの制御対象機器のそれぞれに対応する２つの表示用オブジェクト画像を表示画面にて表示する。そして、ユーザが指等で表示画面に接触することで、実際に制御を行う制御対象機器を選択する。

また、検出された２つの制御対象機器のいずれかを、ユーザが指等で表示画面に接触することで選択し、選択された制御対象機器に対応する表示用オブジェクト画像だけを表示画面にて表示するようにしてもよい。この場合、選択されなかった制御対象機器を、ユーザが指等で表示画面に接触することで新たに選択すると、最初に選択された制御対象機器に対応する表示用オブジェクト画像の表示を止めて、新たに選択された制御対象機器に対応する表示用オブジェクト画像を表示するようにしてもよい。

（第２の実施形態）
図１０は、本発明の遠隔制御装置を適用した携帯端末の第２の実施形態の構成を示すブロック図である。図１０において、図１に示したものと同一の構成のものには同一の符号を付してある。

本実施形態において携帯端末２０は、表示画面１５ａと、被写体を撮影する撮影部１１とを有する。

また、携帯端末２０は、撮影部１１にて撮影された撮影画像から、複数の制御対象機器のそれぞれを検出する機器検出部１２を有する。

また、携帯端末２０は、複数の制御対象機器のそれぞれに対応付けられた物体の画像である複数のオブジェクト画像のうち、機器検出部１２にて検出された制御対象機器に対応するオブジェクト画像から、表示画面１５ａにて表示させるための表示用オブジェクト画像を生成するオブジェクト画像生成部１７を有する。

そして、表示画面１５ａは、オブジェクト画像生成部１７にて生成された表示用オブジェクト画像を撮影画像に重畳して表示する。

また、携帯端末２０は、表示画面１５ａに積層され、接触された位置を検知するタッチパッド１５ｂを有する。

また、携帯端末２０は、タッチパッド１５ｂにて検知された位置が、表示用オブジェクト画像の表示位置を含む場合、機器検出部１２にて検出された制御対象機器を制御するための無線信号を送信する無線通信部１４を有する。

これにより、ユーザに大きな負担をかけることなく、複数の機器のうちの所望の機器を遠隔で制御することが可能となる。

なお、本発明においては、遠隔制御装置内の処理は上述の専用のハードウェアで実現されるもの以外に、その機能を実現するためのプログラムを遠隔制御装置にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを遠隔制御装置に読み込ませ、実行するものであっても良い。遠隔制御装置にて読取可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＤＶＤ、ＣＤなどの移設可能な記録媒体の他、遠隔制御装置に内蔵されたＨＤＤなどを指す。

１０，２０ 携帯端末
１１ 撮影部
１１ａ，１５ｃ，１７ａ 画像メモリ
１２ 機器検出部
１３ 制御部
１４ 無線通信部
１４ａ 赤外線通信部
１４ｂ 近距離無線通信部
１５ 表示操作部
１５ａ 表示画面
１５ｂ タッチパッド
１６ 制御対象機器情報記憶部
１７ オブジェクト画像生成部
１８ 制御方法情報記憶部
５１ 電球
５２ 接続部
５３ カバー
１０１−１，１０２−１ 画像
１０１−２，１０２−２ 表示用オブジェクト画像

Claims (9)

1. 表示部と、
   被写体を撮影する撮影部と、
   前記撮影部にて撮影された撮影画像から、予め決められた複数の制御対象機器のそれぞれを検出する機器検出部と、
   前記複数の制御対象機器のそれぞれに対応付けられた物体の画像である複数のオブジェクト画像のうち、前記機器検出部にて検出された制御対象機器に対応するオブジェクト画像から、前記表示部にて表示させるための表示用オブジェクト画像を生成するオブジェクト画像生成部と、を有し、
   前記表示部は、前記オブジェクト画像生成部にて生成された表示用オブジェクト画像を前記撮影画像に重畳して表示し、
   前記表示部に積層され、接触された位置を検知する入力部と、
   前記入力部にて検知された位置が、前記表示用オブジェクト画像の表示位置を含む場合、前記機器検出部にて検出された制御対象機器を制御するための無線信号を送信する無線通信部と、を有する遠隔制御装置。
2. 請求項１に記載の遠隔制御装置において、
   前記機器検出部は、前記複数の制御対象機器のそれぞれの画像の特徴量を用いて、前記撮影画像から、前記複数の制御対象機器のそれぞれを検出する遠隔制御装置。
3. 請求項１または請求項２に記載の遠隔制御装置において、
   前記オブジェクト画像生成部は、前記機器検出部にて検出された制御対象機器の前記撮影画像中の位置および大きさに基づいて当該制御対象機器に対応するオブジェクト画像の表示位置および大きさを変化させることで、前記表示用オブジェクト画像を生成する遠隔制御装置。
4. 表示部と、該表示部に積層され、接触された位置を検知する入力部とを有する遠隔制御装置における遠隔制御方法であって、
   被写体を撮影する処理と、
   前記撮影した撮影画像から、予め決められた複数の制御対象機器のそれぞれを検出する検出処理と、
   前記複数の制御対象機器のそれぞれに対応付けられた物体の画像である複数のオブジェクト画像のうち、前記検出した制御対象機器に対応するオブジェクト画像から、前記表示部にて表示させるための表示用オブジェクト画像を生成する生成処理と、
   前記生成した表示用オブジェクト画像を前記撮影画像に重畳して前記表示部にて表示する処理と、
   前記入力部にて検知された位置が、前記表示用オブジェクト画像の表示位置を含む場合、前記検出した制御対象機器を制御するための無線信号を送信する処理と、を有する遠隔制御方法。
5. 請求項４に記載の遠隔制御方法において、
   前記検出処理は、前記複数の制御対象機器のそれぞれの画像の特徴量を用いて、前記撮影画像から、前記複数の制御対象機器のそれぞれを検出する処理である遠隔制御方法。
6. 請求項４または請求項５に記載の遠隔制御方法において、
   前記生成処理は、前記検出した制御対象機器の前記撮影画像中の位置および大きさに基づいて当該制御対象機器に対応するオブジェクト画像の表示位置および大きさを変化させることで、前記表示用オブジェクト画像を生成する処理である遠隔制御方法。
7. 表示部と、該表示部に積層され、接触された位置を検知する入力部とを有する遠隔制御装置に、
   被写体を撮影する機能と、
   前記撮影した撮影画像から、予め決められた複数の制御対象機器のそれぞれを検出する検出機能と、
   前記複数の制御対象機器のそれぞれに対応付けられた物体の画像である複数のオブジェクト画像のうち、前記検出した制御対象機器に対応するオブジェクト画像から、前記表示部にて表示させるための表示用オブジェクト画像を生成する生成機能と、
   前記生成した表示用オブジェクト画像を前記撮影画像に重畳して前記表示部にて表示する機能と、
   前記入力部にて検知された位置が、前記表示用オブジェクト画像の表示位置を含む場合、前記検出した制御対象機器を制御するための無線信号を送信する機能と、を実現させるためのプログラム。
8. 請求項７に記載のプログラムにおいて、
   前記検出機能は、前記複数の制御対象機器のそれぞれの画像の特徴量を用いて、前記撮影画像から、前記複数の制御対象機器のそれぞれを検出する機能であるプログラム。
9. 請求項７または請求項８に記載のプログラムにおいて、
   前記生成機能は、前記検出した制御対象機器の前記撮影画像中の位置および大きさに基づいて当該制御対象機器に対応するオブジェクト画像の表示位置および大きさを変化させることで、前記表示用オブジェクト画像を生成する機能であるプログラム。

Images