JP2012156836A

JP2012156836A - リモコン装置及びプログラム

Info

Publication number: JP2012156836A
Application number: JP2011014865A
Authority: JP
Inventors: Masaaki Endo; 雅明遠藤; Tetsuya Matsui; 哲也松井
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2011-01-27
Filing date: 2011-01-27
Publication date: 2012-08-16

Abstract

【課題】リモコン操作対象機器を効率的に特定して操作可能にするリモコン装置及びプログラム等の提供。
【解決手段】リモコン装置は、機器を撮像する撮像部と、機器の認識処理を行う認識部と、機器をリモコン操作するためのリモコン処理を行うリモコン処理部を含む。前記認識部は、前記撮像画像の画像認識処理により、前記撮像画像に映る機器の識別マーカーのマーカー認識処理を行い、前記リモコン処理部は、前記マーカー認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行う。
【選択図】図４

Description

本発明は、リモコン装置及びプログラム等に関する。

ＴＶ、ＤＶＤプレーヤー等の機器をリモコン操作するリモコン装置としては、機器専用のリモコン装置、マルチリモコン装置、学習型マルチリモコン装置などがある。

ここで、機器専用のリモコン装置では、機器ごとにリモコン装置を取り替える必要があり、ユーザーにとって煩雑であるという課題がある。また、家庭内にある機器１台に対してリモコン装置１台が必要となり、リモコン装置の台数が増えてしまう。

マルチリモコン装置は、一般的にＴＶ用マルチリモコン装置、エアコン用マルチリモコン装置のように、同一製品分野でメーカーごとに異なる制御信号に対応したものである。しかしながら、このマルチリモコン装置においても、やはり、家庭内にある機器ごとにリモコン装置が必要になるという問題がある。また、予め操作対象機器のメーカー名、機種情報をリモコン装置に設定する必要があり、ユーザーにとって煩雑である。

学習型マルチリモコン装置では、前述の機器専用のリモコン装置から送信される赤外線信号を記憶させることで、複数の機器を一台のリモコン装置で操作可能になる。しかしながら、この学習型マルチリモコン装置では、複数の機器の全てのリモコン操作を記憶させる設定入力が、ユーザーにとって煩雑である。また、多くのリモコン操作をリモコン装置に記憶させるためには、リモコン装置本体の操作ボタン数が膨大になってしまう。その上、リモコン装置に搭載される操作ボタンの配列は固定であるため、各操作と操作ボタンの意味づけが分かりにくく、ユーザーにとって使いにくいという問題がある。

また特許文献１には、カメラが搭載されるリモコン装置が開示されている。この特許文献１の従来技術では、機器側から発せられる光の点滅で機器を識別している。

しかしながら、この従来技術では、リモコン操作の対象となる機器側に、赤外線ＬＥＤなどの情報伝達デバイスを設け、リモコン装置が、個々の個別情報を受け取って機器のリモコン操作を行う。このため、このような情報伝達デバイスを持たない既存の機器に対しては、この従来技術の手法を適用することが難しいという課題がある。

即ち、家電機器等の一般的な機器はこのような赤外線ＬＥＤなどの情報伝達デバイスを備えているとは限らない。従って、上述の従来技術では、このような情報伝達デバイスを持たない機器からその機器情報を取得したり、リモコン操作することは困難である。

特開２００７−２８０８７号公報

本発明の幾つかの態様によれば、リモコン操作対象機器を効率的に特定して操作可能にするリモコン装置及びプログラム等を提供できる。

本発明の一態様は、機器を撮像する撮像部と、機器の認識処理を行う認識部と、機器をリモコン操作するためのリモコン処理を行うリモコン処理部とを含み、前記認識部は、前記撮像画像の画像認識処理により、前記撮像画像に映る機器の識別マーカーのマーカー認識処理を行い、前記リモコン処理部は、前記マーカー認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行うリモコン装置に関係する。

本発明の一態様によれば、撮像部からの撮像画像の画像認識処理により、撮像画像に映る機器の識別マーカーの形状認識処理が行われる。そして、このマーカー認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理が実行される。従って、例えば機器の識別マーカーのマーカー認識処理により機器を特定し、特定された機器についての種々のリモコン処理を実行できるようになるため、リモコン操作対象機器を効率的に特定して操作可能にするリモコン装置の提供が可能になる。

また本発明の一態様では、前記リモコン処理部は、機器登録モードにおいて、前記マーカー認識処理により得られた機器の機器情報を、登録情報として登録してもよい。

このようにすれば、機器登録モードにおいてマーカー認識処理により得られた機器の機器情報を登録情報として登録し、他のモード等において登録情報の機器情報を使用することが可能になる。

また本発明の一態様では、前記機器情報を含む前記登録情報を記憶する記憶部を含み、前記リモコン処理部は、リモコン操作モードにおいて、前記登録情報を前記記憶部から読み出すことで、リモコン操作対象機器の前記機器情報を取得してもよい。

このようにすれば、機器登録モードにおいてマーカー認識処理により得られた機器の機器情報を登録情報として登録し、リモコン操作モードにおいて登録情報の機器情報を取得して、リモコン操作対象機器のリモコン処理などを実行することが可能になる。

また本発明の一態様では、前記認識部は、前記機器登録モードにおいて、前記撮像画像の画像認識処理により、前記撮像画像に映る機器の形状認識処理を行い、前記リモコン処理部は、前記機器登録モードにおいて、前記機器登録モードでの形状認識処理により得られた機器の特徴量情報を、機器の登録特徴量情報として登録する処理を行い、前記記憶部は、前記マーカー認識処理により得られた前記機器情報と、前記形状認識処理により得られた前記登録特徴量情報とが関連づけられた情報を、前記登録情報として記憶し、前記認識部は、前記リモコン操作モードにおいて、前記撮像画像の画像認識処理により、前記撮像画像に映る機器の形状認識処理を行い、前記リモコン処理部は、前記リモコン操作モードにおいて、前記リモコン操作モードでの前記形状認識処理により得られた特徴量情報である機器特徴量情報と、前記登録特徴量情報との比較処理を行い、前記機器特徴量情報が前記登録特徴量情報に一致した機器の前記機器情報を前記記憶部から読み出すことで、リモコン操作対象機器の前記機器情報を取得してもよい。

このようにすれば、機器登録モードにおいて、形状認識処理により得られた機器の登録特徴量情報を登録し、リモコン操作モードにおいて、登録特徴量情報と機器特徴量情報を比較することで、リモコン操作対象機器を選択できるようになる。従って、特徴量情報を利用した機器の効率的な選択処理を実現できる。

また本発明の一態様では、前記リモコン処理部は、前記機器登録モードにおいて、前記機器登録モードでの前記マーカー認識処理により前記識別マーカーから取得された機器の特徴量情報を、機器の登録特徴量情報として登録する処理を行い、前記記憶部は、前記マーカー認識処理により得られた前記機器情報と、前記マーカー認識処理により得られた前記登録特徴量情報とが関連づけられた情報を、前記登録情報として記憶し、前記認識部は、前記リモコン操作モードにおいて、前記撮像画像の画像認識処理により、前記撮像画像に映る機器の形状認識処理を行い、前記リモコン処理部は、前記リモコン操作モードにおいて、前記リモコン操作モードでの前記形状認識処理により得られた特徴量情報である機器特徴量情報と、前記登録特徴量情報との比較処理を行い、前記機器特徴量情報が前記登録特徴量情報に一致した機器の前記機器情報を前記記憶部から読み出すことで、リモコン操作対象機器の前記機器情報を取得してもよい。

このようにすれば、機器登録モードにおいて、マーカー認識処理により取得された機器情報と、マーカー認識処理により得られた登録特徴量情報とを関連づけて登録することが可能になる。そして、リモコン操作モードにおいて、登録特徴量情報と機器特徴量情報を比較することで、リモコン操作対象機器を選択できるようになり、特徴量情報を利用した機器の効率的な選択処理を実現できる。

また本発明の一態様では、リモコン装置の動きを検出するモーションセンサーを含み、前記リモコン処理部は、前記形状認識処理の結果と前記モーションセンサーからのセンサー情報とに基づいて、機器をリモコン操作するためのリモコン処理を行ってもよい。

このようにすれば、形状認識処理の結果のみならず、モーションセンサーからのセンサー情報も利用して、リモコン処理を実行できるようになり、モーションセンサーを有効利用したリモコン処理を実現できる。

また本発明の一態様では、複数の機器に対応する複数のアイコン画像又は前記複数の機器の複数の機器画像を表示する表示部を含み、前記リモコン処理部は、前記複数のアイコン画像又は前記複数の機器画像の中からユーザーにより選択されたアイコン画像又は機器画像に対応する機器を、リモコン操作対象機器として選択してもよい。

このようにすれば、アイコン画像又は機器画像の選択によりリモコン操作対象機器を効率的に特定して操作可能にするリモコン装置の提供が可能になる。

また本発明の一態様では、前記認識部は、機器に取り付けられた前記識別マーカーの前記マーカー認識処理を行ってもよい。

このようにすれば、機器に取り付けられた識別マーカーのマーカー認識処理を行うだけで、機器情報等の種々の情報を取得することが可能になり、利便性を向上できる。

また本発明の一態様では、前記認識部は、機器の表示部が表示する前記識別マーカーの前記マーカー認識処理を行ってもよい。

このようにすれば、機器の表示部に表示される識別マーカーのマーカー認識処理を行うだけで、機器情報等の種々の情報を取得することが可能になり、機器の様々な情報を取得することが可能になる。

また本発明の一態様では、前記リモコン処理部は、機器の表示部が表示する前記識別マーカーの前記マーカー認識処理の結果に基づいて、機器のステータス情報及び機器の操作マニュアル情報の少なくとも一方を取得してもよい。

このようにすれば、機器の表示部が表示する識別マーカーを有効活用して、機器のステータス情報や操作マニュアル情報を取得できるようになる。

また本発明の一態様では、前記リモコン処理部は、前記リモコン処理として、リモコン操作対象機器をリモコン操作するためのリモコン信号生成用情報の生成処理を行ってもよい。

このようにすれば、識別マーカーのマーカー認識処理の結果等を利用して、リモコン操作対象機器を特定し、特定された機器に対してリモコン信号を送信できるようになる。

また本発明の一態様では、前記リモコン処理部は、前記リモコン処理として、リモコン操作対象機器をリモコン操作するためのリモコン操作画面を表示部に表示する制御を行ってもよい。

このようにすれば、識別マーカーのマーカー認識処理の結果等を利用して、リモコン操作対象機器を特定し、特定された機器を操作するためのリモコン操作画面を表示部に表示できるようになる。

また本発明の一態様では、前記リモコン処理部は、リモコン装置が、複数の機器のうちの第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍの機器をリモコン操作するための第ｍのリモコン操作画面を、前記表示部に表示する制御を行い、リモコン装置が、前記複数の機器のうちの第ｎの機器（ｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、前記第ｎの機器をリモコン操作するための第ｎのリモコン操作画面を、前記表示部に表示する制御を行ってもよい。

このようにすれば、リモコン装置が向けられた方向に対応する機器のリモコン操作画面がリモコン装置の表示部に表示されるようになり、複数の機器を１台のリモコン装置で効率的に操作可能にするリモコン装置の提供が可能になる。

また本発明の他の態様は、機器を撮像する撮像部と、機器の認識処理を行う認識部と、機器をリモコン操作するためのリモコン処理を行うリモコン処理部として、コンピューターを機能させ、前記認識部は、前記撮像画像の画像認識処理により、前記撮像画像に映る機器の識別マーカーのマーカー認識処理を行い、前記リモコン処理部は、前記マーカー認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行うプログラムに関係する。

図１（Ａ）〜図１（Ｃ）は本実施形態のリモコン装置の外観図。本実施形態のリモコン装置の構成例を示すブロック図。図３（Ａ）、図３（Ｂ）は本実施形態の手法の説明図。図４（Ａ）〜図４（Ｃ）も本実施形態の手法の説明図。図５（Ａ）〜図５（Ｄ）も本実施形態の手法の説明図。図６（Ａ）、図６（Ｂ）は機器登録モード、リモコン操作モードにおいて画像認識処理により機器を認識する手法の説明図。図７（Ａ）はリモコンデータベースのデータ構造の例であり、図７（Ｂ）はリモコンデータベースへの登録情報の登録手法の説明図。識別マーカーから機器情報を取得する手法の説明図。図９（Ａ）、図９（Ｂ）は機器選択画面により機器を選択する手法の説明図。図１０（Ａ）、図１０（Ｂ）も機器選択画面により機器を選択する手法の説明図。図１１（Ａ）、図１１（Ｂ）は機器の表示部に表示された識別マーカーのマーカー認識処理を行う手法の説明図。携帯型情報端末の表示部に表示された識別マーカーのマーカー認識処理を行う手法の説明図。リモコン装置が向けられた方向の機器のリモコン操作画面を表示する手法の説明図。図１４（Ａ）、図１４（Ｂ）はスリープモード、基準機器選択モードの説明図。図１５（Ａ）〜図１５（Ｃ）はモーションセンサーを用いた機器選択手法の説明図。図１６（Ａ）〜図１６（Ｃ）はモーションセンサーを用いた機器選択において表示部に表示される画面の例。本実施形態で使用される機器の配置情報の例。図１８（Ａ）、図１８（Ｂ）は基準機器を用いたユーザーの位置の特定手法の説明図。本実施形態の詳細な動作を説明するためのフローチャート。本実施形態の詳細な動作を説明するためのフローチャート。本実施形態の詳細な動作を説明するためのフローチャート。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．構成例
図１（Ａ）〜図１（Ｃ）に本実施形態のリモコン装置（リモートコントロール装置）の外観構成図を示す。図１（Ｂ）、図１（Ｃ）は、各々、図１（Ａ）のＡ１方向、Ａ２方向から見た側面図である。図１（Ａ）〜図１（Ｃ）に示すように本実施形態のリモコン装置には、撮像部１０（カメラ）、モーションセンサー２０、表示部３０、赤外線発光部４０が設けられている。具体的には、図１（Ｃ）に示すように撮像部１０、赤外線発光部４０は、リモコン装置の上部側面に設けられる。またモーションセンサー２０は、リモコン装置の内部に設けられる。表示部３０はリモコン装置の操作側の面に設けられる。

図２に本実施形態のリモコン装置の詳細な構成ブロック図を示す。リモコン装置は撮像部１０、モーションセンサー２０、操作部２８、表示部３０、赤外線発光部４０、記憶部５０、情報記憶媒体６０、外部Ｉ／Ｆ（インターフェース）部６２、処理部１００を含む。なお、本実施形態のリモコン装置は図２の構成には限定されず、これらの構成要素の一部を省略したり、他の構成要素を追加する等の種々の変形実施が可能である。

撮像部１０は、機器等を撮像するものであり、光学系１２や撮像素子１４を含む。光学系１２はレンズ等により実現され、撮像素子１４はＣＭＯＳセンサーやＣＣＤセンサーなどによる実現される。

モーションセンサー２０は、リモコン装置の動きを検出するデバイスであり、例えば加速度センサー２２、ジャイロセンサー２４（角速度センサー）を含む。

加速度センサー２２としては、梁構造で支えられた可動部での位置変化を静電容量の変化として検出する静電容量型のセンサーや、ダイヤフラムの位置変化をピエゾ抵抗素子によって検出するピエゾ抵抗型のセンサーや、ガス温度分布型のセンサーなどを採用できる。ジャイロセンサー２４としては、振動子が回転することによるコリオリ力から角速度を検出する振動型などの角速度センサーや、静電容量の変化や慣性力の変化から角加速度を検出する角加速度センサーなどを採用できる。

加速度センサー２２を用いることで、Ｘ軸、Ｙ軸、Ｚ軸方向でのリモコン装置の動きの加速度を検出できる。ジャイロセンサー２４を用いることで、例えばＸ軸回り、Ｙ軸回りでのリモコン装置の動きの角速度を検出できる。なおＸ軸は例えば図１（Ａ）のリモコン装置の左右方向に沿った座標軸であり、Ｚ軸は例えばリモコン装置の上下方向に沿った座標軸であり、Ｙ軸はＸ軸及びＺ軸に直交する座標軸である。なおジャイロセンサー２４はＺ軸回りでの角速度も検出できる３軸ジャイロセンサーであってもよい。

操作部２８は、ユーザーがリモコン装置の操作情報を入力するためのものであり、例えば操作ボタンや電源ボタンなどにより実現できる。

表示部３０は各種の画像を表示するためのものであり、例えばＬＣＤや有機ＥＬディスプレイなどにより実現される。例えば本実施形態では表示部３０は、機器をリモコン操作するための操作画面であるリモコン操作画面を表示する。

表示部３０は、例えばタッチパネルディスプレイにより実現することが望ましい。タッチパネルディスプレイとしては、例えば抵抗膜方式、静電容量方式、電磁誘導方式などの種々の方式のものを採用できる。なお、表示部３０としてタッチパネルディスプレイを用いた場合には、操作部２８の一部又は全部の機能はこのタッチパネルディスプレイにより実現されることになる。

赤外線発光部４０（リモコン信号出力部）は、赤外線によりリモコン信号を機器に出力するものであり、例えば赤外線発光ダイオード（ＬＥＤ）により実現される。例えば機器を操作するためのリモコン信号は、赤外線の点灯時間と消灯時間の長さの組み合わせによりビット値が表されるパルス位相変調信号（ＰＰＭ信号）等により実現できる。この場合に、自然放射されている赤外線とリモコン装置の赤外線を区別するために、赤外線発光部４０は特定のキャリア周波数（例えば３８〜４２ＫＨｚ）で変調した赤外線を発光する。

記憶部５０は、リモコン装置の動作等に必要な種々の情報を記憶するものであり、例えばＲＡＭ等の半導体メモリーにより実現される。本実施形態では記憶部５０は後述する登録情報や配置情報を記憶する。

情報記憶媒体６０は、例えばメモリーカードなどの各種のメモリーメディアにより実現されるものであり、例えばリモコン装置からの脱着や装着が自在となっている。本実施形態の各部をコンピューターとして実現するためのプログラムは、この情報記憶媒体６０に記憶される。

外部Ｉ／Ｆ部６２は、外部（外部デバイス）と情報を通信するためのインターフェース処理を行うものである。外部との情報通信は有線、無線を問わない。

処理部１００は、リモコン装置の動作に必要な各種の処理を行うものである。この処理部１００の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。例えば処理部１００は、情報記憶媒体６０に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体６０には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。

なお本実施形態のリモコン装置は専用のリモコン装置である必要はなく、例えば携帯電話機等の携帯型情報端末をリモコン装置として機能させてもよい。この場合には、本実施形態の各部を実行させるためのプログラムを携帯型情報端末において実行することで、携帯型情報端末をリモコン装置として機能させることができる。

処理部１００は、認識部１１０、センサー情報取得部１２０、リモコン処理部１３０を含む。なお、これらの構成要素の一部を省略したり、他の構成要素を追加する等の種々の変形実施が可能である。

認識部（特定部）１１０は機器の認識処理（特定処理）を行う。例えば機器の形状認識処理やマーカー認識処理などの認識処理を行う。形状認識処理は形状認識部１１２が行い、マーカー認識処理はマーカー認識部１１４が行う。これらの認識処理の詳細については後述する。

センサー情報取得部１２０は、モーションセンサー２０からのセンサー情報（加速度情報、角速度情報、角加速度情報等）を取得する。そして例えばセンサー情報の検出処理やセンサー情報に基づく演算処理などの種々の処理を行う。

リモコン処理部１３０は、機器をリモコン操作するためのリモコン処理を行う。リモコン処理部１３０は、機器選択部１３２、リモコン信号生成部１３４、表示制御部１３６、通信処理部１３８を含む。機器選択部１３２は、リモコン操作対象機器の選択処理を行う。リモコン信号生成部１３４は、リモコン操作対象機器をリモコン操作するためのリモコン信号生成用情報の生成処理を行う。そして赤外線発光部４０は、このリモコン信号生成用情報に基づいて、赤外線によるリモコン信号を生成して機器に送信する。なおリモコン信号生成用情報をネットワークを介してリモコン操作対象機器に送信してもよい。表示制御部１３６は表示部３０の表示制御を行う。具体的には、リモコン操作対象機器をリモコン操作するためのリモコン操作画面を表示部３０に表示する制御を行う。通信処理部１３８は、例えば外部Ｉ／Ｆ部６２を介して外部（外部デバイス）との間で各種の情報を通信する処理を行う。なおリモコン処理部１３０の処理の詳細については後述する。

２．本実施形態の手法
さて、様々な機器をリモコン操作するリモコン機能を一台のリモコン装置に集約させる多機能リモコン装置については、従来より知られている。このようなリモコン装置では、ハードウェア（物理層）の違いの解消や、操作対象機器ごとの操作コマンドや制御データの違いの解消や、複数の操作対象機器の制御データの保存及び呼び出し機能を設けるなどの対応が必要になる。これらの対応を行えば、家庭内で必要なリモコン機能を一台のリモコン装置にまとめることが可能になる。

しかしながら、多機能リモコン装置によりこのような対応を実現するためには、複数の操作対象機器に関してリモコン装置の物理的相性を合わせ込むことが必要になる。また１つにまとめたいリモコン機能を、多機能リモコン装置に学習させる必要がある。また、多機能リモコン装置側で操作対象機器を選択し、操作キーに機能を割り当てて、目的の操作対象機器をリモコン操作するというような煩雑な操作が必要になる。従って、リモコン操作を行う際に、多くの制約をユーザーに強いる結果となってしまう。

そこで本実施形態では、このような煩雑な操作を省き、ユーザーが直感的に使用できるように、操作対象機器をリモコン装置が選択・提示して、ユーザーの利便性を向上できるようにする。

具体的には本実施形態では、複数の機器（電子機器）を一台のリモコン装置で遠隔操作できるようにする。これにより、操作対象となる機器ごとにリモコン装置を取り替える必要が無くなり、ユーザーの利便性を向上できる。

そして本実施形態では、操作対象機器を画像認識などにより自動認識し、機器に合致したリモコンコード（リモコン信号）の自動設定を行う。このようにすれば、複雑な初期設定や機能切換の操作が不要となり、ユーザーの利便性を更に向上できる。また、操作対象機器側に新たな機能を付加をすることが不要であるため、既に発売されている既存の機器にも対応が可能となり、機器側のコストアップも抑制できる。

また本実施形態では、カメラ（撮像部）で取得した撮像画像により操作対象機器を特定し、操作対象機器のリモコン操作画面を、タッチパネルディスプレイで実現される表示部に表示する。これにより、最適な操作ボタン数と、操作機能とが関連づけされた判りやすい操作インターフェース環境をユーザーに提供できる。

具体的には、リモコン装置に対して、既存の機器のリモコン操作機能を可能な限り搭載しておく。そして新規分については、２次元バーコードなどの識別マーカーや、有線・無線の通信や、メモリーメディアなどを用いて登録・呼び出し可能にする。また、搭載されるカメラや、ジャイロセンサー、加速度センサーなどのモーションセンサーにより、リモコン装置の現在位置からユーザーが使用することを所望する操作対象機器を、リモコン装置と操作対象機器を関連づけた配置情報（マトリックス情報）により類推選択・提示し、ユーザーの選択の利便性を向上する。

また、類推選択した操作対象機器がユーザーの望むものではない場合には、例えばリモコン装置を上下左右に振るというジェスチャー動作により、目的の操作対象機器を簡単に選択できるようにする。

なお、搭載カメラは、２次元バーコードなどの識別マーカーの読み込みと、リモコン装置の位置情報を得るために使用する。また加速度センサーは、重力方向と移動方向、上下左右の振りを検出するために使用する。ジャイロセンサーは、搭載カメラで認識された位置からの上下左右の振り角度を求めるために使用する。メモリーメディアは、リモコン装置に登録された登録情報や配置情報等を、ＰＣ（パソコン）上で簡単に登録・移動・削除ができるようにするために使用する。

次に図３（Ａ）〜図１６（Ｃ）を用いて本実施形態の手法について更に詳細に説明する。

本実施形態では撮像部１０からの撮像画像に基づいて、機器をリモコン操作するためのリモコン処理を行う。具体的には本実施形態では、認識部１１０が、撮像部１０からの撮像画像に対する画像認識処理により、撮像画像に映る機器の識別マーカーのマーカー認識処理を行う。そしてリモコン処理部１３０が、マーカー認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行う。

即ち本実施形態では機器に対して識別マーカーが取り付けられる。例えば図３（Ａ）ではＴＶである機器ＥＤ１に識別マーカーＭＫが取り付けられ、図３（Ｂ）ではＤＶＤプレーヤーである機器ＥＤ２に識別マーカーＭＫが取り付けられている。

ここで識別マーカーＭＫは、各機器を識別・認識するための文字、数字又は記号などの情報を、図形又は模様等に変換して、コンピューターにより読み取り可能にした識別子である。具体的には、例えば縞模様状の線の太さによって文字、数字又は記号を表す識別子であるバーコード（２次元バーコード）などである。なお図３（Ａ）、図３（Ｂ）では、識別マーカーＭＫが接着等により各機器に取り付けられているが、後述するように、機器が有する表示部に識別マーカーＭＫを表示するようにしてもよい。

そして図４（Ａ）では、ユーザーが持つリモコン装置ＲＭは機器ＥＤ１の方を向いており、撮像部１０で撮像された撮像画像には、機器ＥＤ１の画像や、機器ＥＤ１に取り付けられた識別マーカーＭＫの画像が映っている。また図４（Ｂ）では、ユーザーが持つリモコン装置ＲＭは機器ＥＤ２の方を向いており、撮像部１０で撮像された撮像画像には、機器ＥＤ２の画像や、機器ＥＤ２に取り付けられた識別マーカーＭＫの画像が映っている。

この場合に認識部１１０は、識別マーカーＭＫのマーカー認識処理を行い、リモコン処理部１３０は、このマーカー認識処理の結果に基づいてリモコン処理を行う。例えばリモコン操作対象機器の認識処理や選択処理などを行う。

具体的には図４（Ｃ）に示すようにリモコン処理部１３０は、機器登録モードにおいて、識別マーカーＭＫのマーカー認識処理により得られた機器の機器情報を、登録情報として登録する。機器情報は例えば機器識別情報やリモコンコマンド情報などであり、識別マーカーＭＫにはこれらの情報が埋め込まれてる。例えば図２の記憶部５０（リモコンデータベース）は、機器情報を含む登録情報を記憶する。そしてリモコン処理部１３０は、リモコン操作モードにおいて、登録情報を記憶部５０から読み出すことで、リモコン操作対象機器の機器情報を取得する。そしてリモコン処理部１３０は、この取得された機器情報に基づいて、機器をリモコン操作するためのリモコン処理を行う。

例えば図５（Ａ）に示すようにリモコン処理部１３０は、リモコン処理として、リモコン操作対象機器をリモコン操作するためのリモコン信号生成用情報の生成処理を行う。即ちリモコン処理部１３０は、記憶部５０から読み出された機器ＥＤ１の機器情報に基づいて、機器ＥＤ１をリモコン操作するためのリモコン信号生成用情報の生成処理を行う。赤外線発光部４０は、このリモコン信号生成用情報に基づいて、機器ＥＤ１用のリモコン信号を赤外線により機器ＥＤ１に送信する。これによりリモコン装置ＲＭにより機器ＥＤ１をリモコン操作できるようになる。

或いは図５（Ｂ）に示すようにリモコン処理部１３０は、リモコン処理として、リモコン操作対象機器をリモコン操作するためのリモコン操作画面を表示部３０に表示する制御を行う。即ちリモコン処理部１３０は、記憶部５０から読み出された機器ＥＤ１の機器情報に基づいて、機器ＥＤ１用のリモコン操作画面の表示制御を行う。例えば図５（Ｂ）では、機器ＥＤ１用の操作アイコン（操作ボタンのアイコン）が表示された機器ＥＤ１用のリモコン操作画面が表示部３０に表示される。そして表示部３０は例えばタッチパネルディスプレイにより構成される。従って、例えばユーザーがリモコン操作画面に表示される機器ＥＤ１用の操作アイコンにタッチすると、その操作アイコンに対応するリモコン信号が生成されて機器ＥＤ１に送信されるようになり、機器ＥＤ１のリモコン操作が可能になる。

一方、図５（Ｃ）ではリモコン処理部１３０は、記憶部５０から読み出された機器ＥＤ２の機器情報に基づいて、機器ＥＤ２をリモコン操作するためのリモコン信号生成用情報の生成処理を行う。赤外線発光部４０は、このリモコン信号生成用情報に基づいて、機器ＥＤ２用のリモコン信号を赤外線により機器ＥＤ２に送信する。これによりリモコン装置ＲＭにより機器ＥＤ２をリモコン操作できるようになる。

また図５（Ｄ）では、リモコン処理部１３０は、記憶部５０から読み出された機器ＥＤ２の機器情報に基づいて、機器ＥＤ２用のリモコン操作画面の表示制御を行う。例えば図５（Ｄ）では、機器ＥＤ２用の操作アイコンが表示された機器ＥＤ２用のリモコン操作画面が表示部３０に表示される。そして、例えばユーザーがリモコン操作画面に表示される機器ＥＤ２用の操作アイコンにタッチすると、その操作アイコンに対応するリモコン信号が生成されて機器ＥＤ２に送信されるようになり、機器ＥＤ２のリモコン操作が可能になる。

以上のように本実施形態では、機器に取り付けられた識別マーカーのマーカー認識処理を行うことで、例えば機器登録モードにおいて各機器の機器情報を取得する。或いはリモコン操作モードにおいて、識別マーカーのマーカー認識処理によりリモコン操作対象機器を選択する。

このようにすれば、前述の従来技術のように赤外線ＬＥＤ等の情報伝達デバイスを機器側に設けなくても、機器情報の取得処理や機器の選択処理を実現することが可能になる。例えば図４（Ａ）、図４（Ｂ）に示すように、各機器に対してその機器情報が埋め込まれた識別マーカーを取り付ける。この識別マーカーの取り付けは、機器の製造メーカーが行ってもよいし、機器を購入したユーザーが行ってもよい。ユーザーが取り付ける場合には、取り付け対象となる機器をＰＣ等で検索し、その機器の製造メーカーのサイト等から識別マーカーの画像データ等をダウンロードする。そしてダウンロードされた画像データに基づいて識別マーカーの印刷を行い、印刷された識別マーカーを機器に貼り付ければよい。

そして本実施形態では、機器に取り付けられた識別マーカーを撮像部１０で撮像してマーカー認識処理を行うことで、その機器の機器情報を取得する。即ち識別マーカーに埋め込まれた機器情報を取得する。

従って、機器が、機器特定のための情報伝達デバイスを有しない場合にも、対応する識別マーカーを機器に取り付けることで、機器情報をリモコン装置側に伝達できるようになる。従って、機器情報の情報伝達デバイスを有しない機器に対しても対応できるようになり、ユーザーの利便性を大幅に向上できる。

図６（Ａ）、図６（Ｂ）は、画像認識処理により機器の形状認識処理を行う手法の説明図である。例えば認識部１１０は、形状認識処理により機器の特徴量情報を抽出し、この特徴量情報に基づいて機器を認識する。具体的には図６（Ａ）に示すように、撮像画像に映る機器のエッジ抽出処理を行い、機器のエッジ情報を特徴量情報として抽出する。図６（Ａ）では機器のエッジを表す矩形の縦・横の大きさ情報などが特徴量情報になる。

そして図６（Ｂ）に示すように、リモコン処理部１３０は、機器登録モードにおいて、形状認識処理により得られた機器の特徴量情報を、機器の登録特徴量情報として登録する処理を行う。

また認識部１１０は、撮像画像の画像認識処理により、機器に取り付けられた識別マーカーのマーカー認識処理も行う。そしてリモコン処理部１３０は、マーカー認識処理により得られた機器情報を、登録特徴量情報に関連づけて登録する。これにより記憶部５０は、マーカー認識処理により得られた機器情報と、形状認識処理により得られた登録特徴量情報とが関連づけられた情報を、登録情報として記憶することになる。

次に、認識部１１０は、リモコン操作モードにおいて、撮像画像の画像認識処理により、撮像画像に映る機器の形状認識処理を行う。そしてリモコン処理部１３０は、リモコン操作モードにおいて、リモコン操作モードでの形状認識処理により得られた特徴量情報である機器特徴量情報と、登録特徴量情報との比較処理を行う。そしてこの比較処理により、リモコン操作対象機器の選択処理を行う。例えばリモコン操作モードにおいて、撮像部１０からの撮像画像に機器ＥＤ１が映っており、この機器ＥＤ１の機器特徴量情報が、リモコンデータベースの登録特徴量情報に一致した場合には、ユーザーにより機器ＥＤ１が選択されたと判断する。

そして図６（Ｂ）に示すように、記憶部５０のリモコンデータベースには、マーカー認識処理により取得された機器の機器情報と、登録特徴量情報とが関連づけられ、登録情報として記憶されている。リモコン処理部１３０は、リモコン操作モードにおいて、機器特徴量情報が登録特徴量情報に一致した機器の機器情報を、記憶部５０から読み出すことで、リモコン操作対象機器の機器情報を取得する。例えば、リモコン操作モードにおいて撮像画像に映る機器ＥＤ１の機器特徴量情報が登録特徴量情報に一致した場合には、この登録特徴量情報に関連づけられた機器ＥＤ１の機器情報を取得する。即ち機器ＥＤ１に取り付けられた識別マーカーのマーカー認識処理により得られた機器ＥＤ１の機器情報を、記憶部５０から読み出すことで取得する。そしてリモコン処理部１３０は、取得された機器情報の機器識別情報やリモコンコマンド情報に基づいてリモコン処理を実行する。例えばリモコン操作対象機器をリモコン操作するためのリモコン信号生成用情報の生成処理や、リモコン操作対象機器をリモコン操作するためのリモコン操作画面を表示部３０に表示する制御などを行う。

図７（Ａ）にリモコンデータベースのデータ構造の例を示す。リモコンデータベースには、各機器の機器情報等が登録情報として登録される。このリモコンデータベースはリモコン装置の記憶部５０に記憶される。

機器情報は、例えば機器識別情報やリモコンコマンド情報である。機器識別情報は、機種名やメーカー名などの機器を識別するための情報である。リモコンコマンド情報は、リモコンコマンドのコマンド体系情報であり、コマンド名、機種別ボタンの定義情報、リモコン信号情報などである。また、各機器識別情報には、登録特徴量情報が関連づけられ、登録情報としてリモコンデータベースに登録される。

リモコン装置のリモコンデータベースへの登録情報の登録手法としては種々の手法を想定できる。例えば図７（Ｂ）において、機器情報などが埋め込まれた２次元バーコード（識別マーカー）を、ＰＣ（パソコン）や携帯型情報端末の画面に表示する。そして、表示された２次元バーコードをリモコン装置の撮像部１０で撮影することで、機器情報等の登録情報をリモコン装置のリモコンデータベースに登録する。或いは、ＰＣにおいて、ネットワークを介し機器の製造メーカー等から機器情報等をダウンロードし、メモリーメディアを介してリモコン装置のリモコンデータベースに登録してもよい。この際に、後述するマトリックス化された配置情報を、ＰＣ上で編集して作成し、作成された配置情報をメモリーメディア等を介してリモコン装置のリモコンデータベースに登録してもよい。

さて図６（Ａ）、図６（Ｂ）では、機器登録モードにおいて機器の形状認識処理を行うことで、機器の特徴量情報を抽出し、抽出された特徴量情報を登録特徴量情報として記憶部５０に登録している。

しかしながら、本実施形態はこれに限定されず、機器登録モードでの識別マーカーのマーカー認識処理により機器の特徴量情報を取得するようにしてもよい。

具体的には図８に示すようにリモコン処理部１３０は、機器登録モードにおいて、機器登録モードでのマーカー認識処理により識別マーカーから取得された機器の特徴量情報を、機器の登録特徴量情報として登録する処理を行う。例えば機器に取り付けられた識別マーカーを撮像部１０により撮像することで、識別マーカーから機器の特徴量情報を取得する。或いは、後述する図１２に示すように携帯電話機等の携帯型情報端末の表示部に識別マーカーを表示し、この表示された識別マーカーを撮像部１０により撮像することで、識別マーカーから機器の特徴量情報を取得してもよい。

そして図８に示すように記憶部５０は、マーカー認識処理により得られた機器情報と、マーカー認識処理により得られた登録特徴量情報とが関連づけられた情報を、登録情報として記憶する。そして認識部１１０は、リモコン操作モードにおいて、撮像画像の画像認識処理により、撮像画像に映る機器の形状認識処理を行う。またリモコン処理部１３０は、リモコン操作モードにおいて、リモコン操作モードでの形状認識処理により得られた特徴量情報である機器特徴量情報と、登録特徴量情報との比較処理を行う。そして機器特徴量情報が登録特徴量情報に一致した機器の機器情報を記憶部５０から読み出すことで、リモコン操作対象機器の機器情報を取得する。

このように、機器登録モードにおいて、機器の形状認識処理ではなく、識別マーカーのマーカー認識処理により機器の特徴量情報を取得するようにすれば、機器登録モードでの機器の形状認識処理を行わなくて済むようになり、処理負荷を軽減できる。また、識別マーカーに機器の特徴量情報を埋め込むことで、より正確で的確な機器の特徴量情報を、登録特徴量情報として記憶部に登録することが可能になる。

また本実施形態では図２に示すように、リモコン装置ＲＭの動きを検出するモーションセンサー２０をリモコン装置ＲＭに内蔵させている。そしてリモコン処理部１３０は、形状認識処理の結果と、モーションセンサー２０からのセンサー情報とに基づいて、機器をリモコン操作するためのリモコン処理を行う。

例えば後述するように、基準機器等が画像認識処理により選択された後、次の機器を選択する際には、モーションセンサー２０からのセンサー情報に基づき機器を選択するようにする。例えばユーザーが所望の機器を選択するためにリモコン装置を動かすと、リモコン装置が動かされた方向をモーションセンサー２０により検出し、動かされた方向に対応する方向に存在する機器を、リモコン操作対象機器として選択する。

また本実施形態では図９（Ａ）に示すようにリモコン装置ＲＭの撮像部１０が機器ＥＤ１〜ＥＤ３の画像を撮像すると、表示部３０は、撮像部１０からの撮像画像に基づいて、複数のアイコン画像を表示してもよい。即ち複数のアイコン画像が表示された機器選択画面を表示してもよい。

そしてリモコン処理部１３０は、複数のアイコン画像の中からユーザーにより選択されたアイコン画像に対応する機器を、リモコン操作対象機器として選択する。即ち、機器選択画面でのユーザーの選択操作により、機器の選択処理を行う。

例えば図１０（Ａ）では、複数の機器に対応する複数のアイコン画像が表示される。このアイコン画像は、各機器を、それを象徴する絵や記号で表した画像である。例えば図９（Ｂ）のテーブルデータに示すように、ＥＤ１〜ＥＤ３等の各機器に対してＩＣ１〜ＩＣ３等の各アイコン画像が対応づけられている。そして図９（Ａ）のようにリモコン装置ＲＭの撮像画像に機器ＥＤ１〜ＥＤ３が映ると、機器ＥＤ１〜ＥＤ３に対応するアイコン画像ＩＣ１〜ＩＣ３が選択され、図１０（Ａ）に示すようなアイコン画像ＩＣ１〜ＩＣ３を用いた機器選択画面が表示部３０に表示される。

そして図１０（Ｂ）では、ユーザーは、複数のアイコン画像の中から所望する機器のアイコン画像を、タッチ操作等により選択している。すると、リモコン処理部１３０は、複数のアイコン画像の中からユーザーにより選択されたアイコン画像に対応する機器を、リモコン操作対象機器として選択する。このようにすれば、画像認識処理などの負荷の重い処理を実行しなくても、ユーザーが所望する機器を簡素な処理で特定して選択できるようになる。

なお、図１０（Ａ）、図１０（Ｂ）では、複数のアイコン画像が表示されているが、このようなアイコン画像ではなく、複数の機器画像を表示するようにしてもよい。そしてリモコン処理部１３０は、複数の機器画像の中からユーザーにより選択された機器画像に対応する機器を、リモコン操作対象機器として選択する。この機器画像は、撮像部１０で撮像された機器の画像であり、例えば撮像部１０の撮像画像を、そのまま表示部３０に表示する。そして、この撮像画像である機器選択画面において、ユーザーが所望の機器画像をタッチ操作等で選択すると、その機器画像に対応する機器が選択されて、その機器についてのリモコン操作画面の表示制御やリモコン信号の生成処理等が行われるようになる。

また認識部１１０は、機器登録モードにおいて、撮像画像の画像認識処理により、撮像画像に映る機器の形状認識処理を行う。一方、リモコン処理部１３０は、機器登録モードにおいて、形状認識処理に基づき認識された複数の機器と、複数のアイコン画像又は複数の機器画像との対応づけを行う。例えば図９（Ｂ）に示すような機器とアイコン画像又は機器画像を対応づけるテーブルデータを作成する。そしてリモコン処理部１３０は、リモコン操作モードにおいて、図１０（Ｂ）に示すようにユーザーにより選択されたアイコン画像又は機器画像に対応づけられた機器を、リモコン操作対象機器として選択してもよい。

このようにすれば、機器登録モードにおいてアイコン画像又は機器画像と機器とを対応づけて、リモコン操作モードでは、この対応づけの情報に基づいて、ユーザーが選択したアイコン画像又は機器画像に対応する機器を特定できるようになる。これにより図１０（Ａ）、図１０（Ｂ）に示すような機器選択画面を用いた効率的な機器の選択処理を実現できるようになる。

また図３（Ａ）、図３（Ｂ）では、識別マーカーＭＫは機器ＥＤ１、ＥＤ２に対して接着等により取り付けられているが、本実施形態はこれに限定されない。例えば図１１（Ａ）に示すように、機器ＥＤ２が有する表示部４００に識別マーカーＭＫを表示するようにしてもよい。この場合には認識部１１０は、機器ＥＤ２の表示部４００が表示する識別マーカーＭＫのマーカー認識処理を行い、リモコン処理部１３０は、このマーカー認識処理の結果に基づいて、機器ＥＤ２をリモコン操作するためのリモコン処理を行う。

このようにすれば、識別マーカーＭＫを動的な識別マーカーとして使用することが可能になる。即ち、機器ＥＤ２による表示部４００の表示制御により、識別マーカーＭＫの表示態様を動的に変化させることが可能になる。これにより、識別マーカーＭＫにより伝達される情報の量を増加させたり、タイムリーで適切な情報を識別マーカーＭＫを用いてリモコン装置に伝達することが可能になる。

例えば図１１（Ａ）の機器ＥＤ２が種々の態様の識別マーカーＭＫを表示部４００に表示することで、機器のステータス情報や操作マニュアル情報などの種々の情報を、リモコン装置側に伝達することが可能になる。即ちリモコン処理部１３０は、機器ＥＤ２の表示部４００が表示する識別マーカーＭＫのマーカー認識処理の結果に基づいて、機器のステータス情報及び機器の操作マニュアル情報の少なくとも一方を取得できるようになる。そして図１１（Ｂ）に示すように、取得された機器のステータス情報や操作マニュアル情報などを、リモコン装置ＲＭの表示部３０に表示できるようになる。従って、機器認識のための識別マーカーＭＫを、機器のステータス情報や操作マニュアル情報などの各種の情報の取得にも流用することが可能になり、ユーザーの操作インターフェース環境を向上することが可能になる。

なお、前述のように識別マーカーから機器情報等を取得する場合には、機器自身の表示部に識別マーカーを表示する代わりに、図１２に示すように、ユーザーが所有する携帯型情報端末（携帯電話機、携帯型ゲーム装置等）の表示部に識別マーカーを表示してもよい。そして、このように携帯型情報端末の表示部に表示された識別マーカーのマーカー認識処理を行うことで、機器の機器情報等を取得する。このようにすれば、識別マーカーを機器に取り付ける作業や、機器の表示部に識別マーカーを表示する処理などが不要にすることができる。またユーザーは、所望の機器の機器情報を取得するための識別マーカーＭＫの情報をネットワークを介してダウンロードし、携帯型情報端末の表示部に表示するだけで、機器情報をリモコン装置のリモコンデータベースに登録することが可能になり、ユーザーの利便性を向上できる。

また図１３に示すように本実施形態では、リモコン装置ＲＭを機器に向けると、その機器のリモコン操作画面が表示部３０に表示されるようにしてもよい。

具体的にはリモコン処理部１３０（表示制御部１３６）は、リモコン装置ＲＭが、複数の機器のうちの第ｍの機器（例えば機器ＥＤ１）に対応する方向に向けられたと判断された場合には、第ｍの機器をリモコン操作するための第ｍのリモコン操作画面（機器ＥＤ１のリモコン操作画面）を、表示部３０に表示する制御を行う。一方、リモコン装置ＲＭが、複数の機器のうちの第ｎの機器（例えば機器ＥＤ２。なおｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、第ｎの機器をリモコン操作するための第ｎのリモコン操作画面（機器ＥＤ２のリモコン操作画面）を、表示部３０に表示する制御を行う。

例えば図１３において、ＴＶである機器ＥＤ１の方にリモコン装置ＲＭが向けられると、ＴＶ用の操作アイコン（操作ボタンのアイコン）が表示されたＴＶ用のリモコン操作画面が表示部３０に表示される。またＤＶＤプレーヤーである機器ＥＤ２の方にリモコン装置ＲＭが向けられると、ＤＶＤプレーヤー用の操作アイコン等が表示されたＤＶＤプレーヤー用のリモコン操作画面が表示部３０に表示される。エアコンである機器ＥＤ３や照明器具である機器ＥＤ４に対してリモコン装置ＲＭが向けられた場合も同様である。

そして表示部３０は例えばタッチパネルディスプレイにより構成される。従って、例えば図１３に示すようにユーザーがリモコン装置ＲＭを機器ＥＤ１（ＴＶ）の方に向け、リモコン操作画面に表示される機器ＥＤ１用の操作アイコンにタッチすると、その操作アイコンに対応するリモコン信号が生成されて機器ＥＤ１に送信される。同様にユーザーがリモコン装置ＲＭを機器ＥＤ２（ＤＶＤプレーヤー）の方に向け、リモコン操作画面に表示される機器ＥＤ２用の操作アイコンにタッチすると、その操作アイコンに対応するリモコン信号が生成されて機器ＥＤ２に送信される。機器ＥＤ３、ＥＤ４についても同様である。

従って、ユーザーは、一台のリモコン装置ＲＭを用いて複数の機器ＥＤ１〜ＥＤ４を効率的にリモコン操作できるようになる。また、操作対象機器の選択処理は、ユーザーが所望する機器にリモコン装置を向けるだけで自動的に行われるため、従来の多機能リモコン装置に比べてユーザーの利便性を格段に向上できる。

また本実施形態では図２に示すように、リモコン装置ＲＭにモーションセンサー２０を内蔵させている。そして図１４（Ａ）に示すようにリモコン装置ＲＭは、電池寿命を長くするために、静止状態（動かされずに配置されている状態）ではスリープモードに設定される。そして図１４（Ｂ）に示すように、例えば加速度センサー２２により、リモコン装置がユーザーの手に取られたことが感知されると、スリープモードが解除される。これにより、撮像部１０、認識部１１０、リモコン処理部１３０などが起動し、システムが通常動作モードに移行する。そして、その後、撮像部１０からの撮像画像やモーションセンサー２０からのセンサー情報に基づいて、リモコン操作対象機器の選択処理が行われる。

具体的には、リモコン装置ＲＭがスリープモードであるときに、モーションセンサー２０からのセンサー情報に基づいてリモコン装置の動きが検出された場合に、リモコン処理部１３０は、動作モードをスリープモードから基準機器選択モードに移行させて、基準機器の選択を行う。リモコン処理部１３０は、後に詳述するように、この基準機器選択モードにおいて、第ｉの機器（例えば機器ＥＤ１）を、操作対象機器の選択基準となる基準機器（配置情報における配置の基準となる機器）として選択する。

次に図１５（Ａ）〜図１５（Ｃ）に示すように、リモコン処理部１３０はモーションセンサー２０からのセンサー情報に基づいてリモコン操作対象機器の選択処理を行う。

例えば複数の機器のうちの第ｉの機器がリモコン操作対象機器として選択された後、モーションセンサー２０からのセンサー情報に基づいてリモコン装置ＲＭの動きが検出されたとする。例えば図１５（Ａ）では、第ｉの機器である機器ＥＤ１が選択された後、図１５（Ｂ）に示すようにモーションセンサー２０によりリモコン装置ＲＭの動きが検出されている。

この場合にはリモコン処理部１３０は、第ｉの機器とは異なる第ｊの機器（ｉ、ｊは自然数）を、リモコン操作対象機器として選択する。具体的には、リモコン装置ＲＭが動かされた方向に対応する方向に存在する機器を、第ｊの機器として選択する。例えば図１５（Ｂ）では、リモコン装置ＲＭが右方向に動かされたことがモーションセンサー２０により検出されたため、右方向に対応する方向に存在する機器ＥＤ２が、第ｊの機器として選択される。これにより、図１３で説明したように、第ｊの機器用の第ｊのリモコン操作画面を表示部３０に表示できるようになる。例えば第ｉの機器がＴＶであり、第ｊの機器がＤＶＤプレーヤーである場合には、図１５（Ａ）ではＴＶ用のリモコン操作画面が表示され、図１５（Ｂ）ではＤＶＤプレーヤー用のリモコン操作画面が表示される。

この場合に、図２の記憶部５０は機器の配置情報を記憶している。そしてリモコン処理部１３０は、モーションセンサー２０からのセンサー情報と、記憶部５０に記憶される配置情報に基づいて、第ｊの機器（機器ＥＤ２）をリモコン操作対象機器として選択する。

具体的には記憶部５０は、後述するマトリックス化された配置情報のように、機器の配置領域を分割した複数の区画領域の各区間領域に対して、各区画領域に配置される機器の機器情報が関連づけられた情報を、配置情報として記憶する。そしてリモコン処理部１３０は、複数の区画領域のうち、モーションセンサー２０からのセンサー情報に基づき特定された区画領域に関連づけられた機器を、第ｊの機器として選択する。

更に記憶部５０は、機器の識別情報と機器のリモコンコマンド情報を、機器情報として記憶する。ここで機器の識別情報は機種名やメーカー名などの機器を識別・特定するための情報である。またリモコンコマンド情報は、機器のリモコン操作処理のために必要なコマンド情報であり、機器に対してコマンドを送信するリモコン信号を生成するために使用される情報である。

また、第ｊの機器がリモコン操作対象機器として選択された後、モーションセンサー２０からのセンサー情報に基づいてリモコン装置の動きが検出されたとする。この場合にはリモコン処理部１３０は、第ｊの機器とは異なる第ｋの機器（ｋは自然数）を、リモコン操作対象機器として選択する。

例えば図１５（Ｃ）では、第ｊの機器である機器ＥＤ２が選択された後、モーションセンサーによりリモコン装置ＲＭの動きが検出されたため、第ｋの機器である機器ＥＤ３が選択される。そして図１３で説明したように、第ｋの機器用の第ｋのリモコン操作画面が表示部３０に表示される。例えば第ｋの機器がエアコンである場合には、図１５（Ｃ）ではエアコン用のリモコン操作画面が表示される。

図１６（Ａ）〜図１６（Ｃ）は、機器の選択状態をユーザーに知らせる機器選択画面の例である。例えば図１５（Ａ）のように機器ＥＤ１が操作対象機器（基準機器）として選択された場合には、図１６（Ａ）に示すように、機器ＥＤ１が選択状態（選択候補）であることをユーザーに知らせる機器選択画面が表示部３０に表示される。また図１５（Ｂ）のように機器ＥＤ２が操作対象機器として選択された場合には、図１６（Ｂ）に示すように、機器ＥＤ２が選択状態であることをユーザーに知らせる機器選択画面が表示される。また図１５（Ｃ）のように機器ＥＤ３が操作対象機器として選択された場合には、図１６（Ｃ）に示すように、機器ＥＤ３が選択状態であることをユーザーに知らせる機器選択画面が表示される。このようにすれば、ユーザーは、画像認識処理やリモコン装置の動き検出により、複数の機器のうちのどの機器が選択されているのかを、図１６（Ａ）〜図１６（Ｃ）の機器選択画面で確認できるようになり、ユーザーの利便性を向上できる。

以上のように本実施形態では、例えば画像認識処理により基準機器となる機器ＥＤ１（第ｉの機器）が選択された後は、ユーザーがリモコン装置ＲＭを動かすことで、機器ＥＤ２、ＥＤ３が選択されるようになる。

例えば撮像部１０の撮像画像内に複数の機器が映っている場合に、ユーザーがどの機器を選択しているのかを、画像認識処理だけで判別するのは難しい。この点、図１５（Ａ）〜図１６（Ｃ）では、ユーザーがリモコン装置ＲＭを動かすことで、動かした方向に対応する機器が順次選択されるようになる。従って、画像認識処理により基準機器が選択された後は、ユーザーの意思が反映されたリモコン装置ＲＭの動きをモーションセンサー２０により検出して、最終的な操作対象機器を選択できるようになる。従って、全ての機器選択を画像認識処理だけで実現する手法に比べて、少ない処理負荷で機器選択処理を実現することが可能になる。

３．具体的な処理例
次に本実施形態の具体的な処理例について説明する。まず、リモコン装置の操作コマンド・データなどの登録情報の登録手法と、リモコン装置の操作対象機器の選択・提示手法とジェスチャー動作対応について、順に説明する。なお、前述の物理層の差異解消については、キャリア周波数や赤外線波長が異なる場合があり得るため、必要に応じて複数の赤外ＬＥＤを準備することで、これに対応できる。或いは、これらを取り付けオプションとすることも可能である。

リモコン装置の操作コマンドやデータなどの登録情報の登録手法については、メモリーメディア経由で入手した機種名（広義には機器の識別情報）やコマンド体系情報（広義にはリモコンコマンド情報）を、マトリックス化された配置情報（マトリックス情報）として登録する。

マトリックス化された配置情報は、リモコン装置の基準点の位置に基づいて、リモコン操作対象機器の上下左右配置位置をマトリックス管理した情報である。機種名やコマンド体系情報は、リモコン装置の撮像部による２次元バーコード（識別マーカー）の読み込みなどにより入手する。

即ち本実施形態のリモコン装置は、機種名とコマンド体系情報（操作情報）とがリモコンデータベースとして登録される。リモコン装置の居室での位置を使用時に認識することにより、リモコン操作対象機器のそれぞれの機器配置情報をマトリックス化された配置情報として登録しておく。

例えば図１７にマトリックス化された配置情報の例を示す。配置情報は、居室が４角形であることを前提として、前面、右側面、背面、左側面、上面、下面が設定される。前面は、基準機器が配置される基準面である。上面及び下面に対しては、リモコン装置の上下の振りによって、前面、右側面、背面、左側面のどの４面に向いていても選択可能にする。１つの面における区画領域数は図１７では３×３になっている。但し、５×５等やそれ以上であっても構わない。

前面である基準面の中央に、基準機器を設定する。図１７では機器ＥＤ１が基準機器になる。例えば図１７では、前面には、機器ＥＤ１の他に機器ＥＤ２、ＥＤ３が配置されている。また左側面には機器ＥＤ４、ＥＤ５が配置されている。同様に右側面、背面、上面、下面にも機器ＥＤ６〜ＥＤ１０が配置されている。そして、これらのＥＤ１〜ＥＤ１０の各機器の区画領域にはその機器情報が関連づけられる。

居室のほぼ中心から１．５ｍ程度離れた位置から基準機器の選択を行うことで、リモコン装置の現在位置や向きを限定する。以降のリモコン操作対象機器の選択は、リモコン装置の上下左右の振りを、加速度センサーやジャイロセンサーから読み取り、図１７の配置情報と比較して、最近傍の機器を選択・提示するようにする。

リモコン装置のリモコン操作対象機器の選択・提示手法とユーザーのジェスチャー動作の対応については、以下の通りである。例えば撮像部となるカメラは１０万画素以上のモノクロ或いはカラーカメラにより実現される。そして撮像画像に対して画像処理を行い、基準点を検出する。例えば基準機器の形状認識等の画像認識処理を行って、基準機器が配置される基準点を検出する。

そして検出された基準点と、リモコン装置に内蔵されている３軸加速度センサーと、２軸ジャイロセンサーにより基準点からの相対位置を演算し、身近にあるリモコン操作対象機器を１個又は数個に限定する。

ユーザーによって向きを変えたリモコン装置の表示部３０に、上述のように限定されたリモコン操作対象の機器のうち、ユーザーが示していると思われる可能性の最も高いものを、図１６（Ａ）〜図１６（Ｃ）に示すように表示する。そのままユーザーがリモコン操作入力を行えば、選択された機器はユーザーが操作したい機器であると考えられる。

もし、選択された機器が、ユーザーが操作したい機器とは異なる場合には、現在選択されている機器の上下左右のいずれかにリモコン操作対象機器が存在するはずである。従って、上下左右方向にリモコン装置を振るというユーザーのジェスチャー動作を、モーションセンサーで検出することで、最終的なリモコン操作対象機器を特定する。

撮像部からの撮像画像に対して画像認識処理を行うことで、複数の機器が配置されている部屋の基準となる壁面から１．５ｍ程度離れた位置から、基準となる矩形を検出する。この矩形が操作対象機器の相対位置を決める基準点となる。そして撮像部の撮像時における基準となる矩形の変形度合いにより、部屋の中でのリモコン装置の位置を特定可能である。

例えば図１８（Ａ）においてＥＤ１〜ＥＤ８は部屋に配置される機器である。また顔マークはユーザーの位置を表している。Ｂ１に示す中央の顔マークは、基準点を設定する場合の位置を示し、基準機器を機器ＥＤ１とした場合、壁面から約１．５ｍ位置において機器ＥＤ１をほぼ中央に撮影する。

リモコン装置の操作者であるユーザーが、図１８（Ａ）に示す顔マークの位置の何処でリモコン装置を操作するかは限定できないため、ユーザーの現在位置から、基準機器ＥＤ１（基準位置）を最初に指定する。

例えば図１８（Ａ）のＢ１に示す顔マークの位置にユーザーが居た場合には、基準機器ＥＤ１は図１８（Ｂ）のＣ１に示すような矩形に見える。一方、Ｂ２に示す顔マークの位置にユーザーが居た場合には、基準機器ＥＤ１はＣ２に示すような矩形に見える。従って、基準機器ＥＤ１の矩形の形状により、ユーザーの位置を特定できる。そして、基準点が特定できれば、基準点に基づいて各操作対象機器の相対位置が特定できるので、ユーザーがリモコン装置を向けている方向等をモーションセンサーにより検出することで、操作対象機器を推定できる。

以上のように本実施形態の多機能リモコン装置では、まず最初に、使用する居室において基準点を特定する。そして、前面の上下左右方向にどのような操作対象機器が配置されているかをリモコン装置に登録する。例えば図１７では機器ＥＤ１、ＥＤ２、ＥＤ３が前面に配置される機器として登録される。登録にはリモコン装置のタッチパネルディスプレイやキーパッドを活用する。或いはメモリーメディアを使用して、ＰＣ上で編集し登録することも可能である。同様の方法で、残りの５面（右側面・背面・左側面・上面・下面）について機器の登録を行う。

このように登録情報の登録処理後は、基準面（前面）を撮像して行う基準点の特定処理を最初に行って、リモコン装置の位置を特定した後は、ユーザーの手にリモコン装置が保持されている限りリモコン操作が可能となる。

そして、一定時間以上、ユーザーがリモコン装置を平面に置いて操作を行わないと、基準点の位置情報が不確かになるので、基準面を撮像して行う基準点の特定処理が必要になる。基準点の特定処理については、ユーザーがリモコン装置を取り上げて基準面に向け、確認ボタンなどで入力することで確定可能である。或いは、リモコン装置を基準面に向けた後、一定時間の経過で確定するようにしてもよい。

以上のように本実施形態では、記憶部５０が図１７に示すような機器の配置情報を記憶する。そしてリモコン処理部１３０は、モーションセンサー２０からのセンサー情報と、記憶部５０に記憶される配置情報に基づいて、リモコン操作対象機器の選択処理を行う。ここで配置情報は、図１７に示すように、機器の配置領域を分割した複数の区画領域の各区間領域に対して、各区画領域に配置される機器の機器情報が関連づけられた情報になっている。例えば図１７の前面に対応する配置領域は、３×３の区画領域に分割されている。そして、真ん中の区画領域には、基準機器となる機器ＥＤ１の機器情報が関連づけられる。また機器ＥＤ１の区画領域の右側、右上側の区画領域には、各々、機器ＥＤ２、ＥＤ３の機器情報が関連づけられる。

そしてリモコン処理部１３０は、モーションセンサー２０からのセンサー情報に基づき特定された区画領域に関連づけられた機器を、リモコン操作対象機器として選択する。例えば図１５（Ａ）のように基準機器となる機器ＥＤ１が選択された後、図１５（Ｂ）のようにユーザーがリモコン装置を右方向に振る動作を行ったとする。すると、この時のリモコン装置の動きがモーションセンサー２０（加速度センサー）により検出され、このモーションセンサー２０からのセンサー情報と、図１７の配置情報に基づいて、機器ＥＤ１の右側の機器ＥＤ２が選択される。

その後、例えばユーザーが、リモコン装置を上方向に振る動作を行ったとする。すると、この時のリモコン装置の動きがモーションセンサー２０により検出され、このモーションセンサー２０からのセンサー情報と、図１７の配置情報に基づいて、機器ＥＤ２の上側の機器ＥＤ３が選択されることになる。そして、このように機器ＥＤ３が選択された後、ユーザーがリモコン操作画面の表示指示操作を行うと、機器ＥＤ３のリモコン操作画面がリモコン装置の表示部３０に表示されるようになる。

４．動作
次に本実施形態の詳細な動作について図１９〜図２１のフローチャートを用いて説明する。

図１９は、マーカー認識処理により得られた登録特徴量情報と機器特徴量情報を比較することで操作対象機器を特定し、リモコン処理を行う手法の動作フローチャートである。

まず機器登録モードか否かを判断し、機器登録モードである場合には、撮像部１０から機器の撮像画像を取得する（ステップＳ２１、Ｓ２２）。そして図８で説明したように、取得された撮像画像に基づき識別マーカーのマーカー認識処理を行い、機器情報及び機器の特徴量情報を取得する（ステップＳ２３）。そして、マーカー認識処理により取得された特徴量情報を、登録特徴量情報として、マーカー認識処理により取得された機器情報に対応づけて、登録情報として記憶部に記憶する（ステップＳ２４）。

一方、機器登録モードではなくリモコン操作モードである場合には、撮像部１０から機器の撮像画像を取得する（ステップＳ２５、Ｓ２６）。そして撮像画像に基づき機器の形状認識処理を行い、機器特徴量情報を抽出する（ステップＳ２７）。

次にステップＳ２４で記憶された登録特徴量情報を記憶部５０から読み出し、ステップＳ２７で抽出された機器特徴量情報と比較する（ステップＳ２８）。そして機器特徴量情報が登録特徴量情報に一致した機器の機器情報を記憶部５０から読み出す（ステップＳ２９）。即ち識別マーカーのマーカー認識処理により得られた機器情報を読み出す。そして、読み出された機器情報に基づいて、リモコン信号生成処理、リモコン操作画面表示処理などのリモコン処理を実行する（ステップＳ３０）。

図２０は、アイコン画像が表示された機器選択画面を用いて機器を選択してリモコン処理を行う手法の動作フローチャートである。

まず機器登録モードか否かを判断し、機器登録モードである場合には、撮像部１０から機器の撮像画像を取得する（ステップＳ４１、Ｓ４２）。そして撮像画像に基づきマーカー認識処理を行い、機器情報を取得する（ステップＳ４３）。そしてマーカー認識処理により取得された機器情報を登録情報として記憶部５０に記憶する（ステップＳ４４）。

一方、機器登録モードではなくリモコン操作モードである場合には、図１０（Ａ）に示すように機器のアイコン画像又は機器画像が表示された機器選択画面を表示する（ステップＳ４５、Ｓ４６）。

次に、図１０（Ｂ）に示すようにユーザーが選択したアイコン画像又は機器画像に対応する機器の機器情報を記憶部５０から読み出す（ステップＳ４７）。即ち識別マーカーのマーカー認識処理により得られた機器情報を読み出す。そして読み出された機器情報に基づいて、リモコン信号生成処理、リモコン操作画面表示処理などのリモコン処理を実行する（ステップＳ４８）。

図２１は、モーションセンサーを用いて機器を選択してリモコン処理を行う手法の動作フローチャートである。

まず、図１４（Ａ）で説明したスリープモードにおいて、モーションセンサー２０によりリモコン装置の動きが検出されたか否かを判断する（ステップＳ１、Ｓ２）。即ち加速度センサー２２によりリモコン装置の静止状態からの動きが検出されたか否かを判断する。そして、動きが検出された場合には図１４（Ｂ）で説明したように基準機器選択モードに移行する（ステップＳ３）。

次に、記憶部５０から機器の登録情報、配置情報の読み出す（ステップＳ４）。即ち図７（Ａ）で説明したような登録情報や図１７で説明したような配置情報を記憶部５０（リモコンデータベース）から読み出す。

次に、撮像部１０からの撮像画像に基づく機器の画像認識処理を行い、基準機器が画像認識されたか否かを判断する（ステップＳ５、Ｓ６）。そして基準機器が画像認識された場合には、例えばその基準機器のリモコン操作画面を表示する（ステップＳ７）。

次に、モーションセンサー２０によりリモコン装置の動きが検出されたか否かを判断し、リモコン装置の動きが検出された場合には、動かされた方向に対応する機器を選択する（ステップＳ８、Ｓ９）。例えば図１５（Ａ）で基準機器ＥＤ１が選択された後、図１５（Ｂ）のようにモーションセンサー２０によりリモコン装置の動きが検出されると、動かされた方向に対応する機器ＥＤ２を選択する。

次に、ユーザーにより表示指示操作が行われたか否かを判断する（ステップＳ１０）。即ちリモコン操作画面の表示を指示する操作が行われたか否かを判断する。そして表示指示操作が行われた場合には、選択された機器のリモコン操作画面を表示する（ステップＳ１１）。例えば図１５（Ｂ）、図１６（Ｂ）のように機器ＥＤ２が選択された状態で、ユーザーが表示指示操作を行うと、機器ＥＤ２を操作するためのリモコン操作画面が表示される。また図１５（Ｃ）、図１６（Ｃ）のように機器ＥＤ３が選択された状態で、ユーザーが表示指示操作を行うと、機器ＥＤ３を操作するためのリモコン操作画面が表示される。このようにすることで図１３に示すように、ユーザーがリモコン装置を向けた方向に対応する機器のリモコン操作画面を表示することが可能になる。

なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またリモコン装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

ＲＭリモコン装置、ＥＤ１〜ＥＤ１０機器、ＭＫ識別マーカー、
１０撮像部、１２光学系、１４撮像素子、２０モーションセンサー、
２２加速度センサー、２４ジャイロセンサー、２８操作部、３０表示部、
４０赤外線発光部、５０記憶部、６０情報記憶媒体、６２外部Ｉ／Ｆ部、
１００処理部、１１０認識部、１１２形状認識部、１１４マーカー認識部、
１２０センサー情報取得部、１３０リモコン処理部、１３２機器選択部、
１３４リモコン信号生成部、１３６表示制御部、１３８通信処理部

Claims

機器を撮像する撮像部と、
機器の認識処理を行う認識部と、
機器をリモコン操作するためのリモコン処理を行うリモコン処理部と、
を含み、
前記認識部は、
前記撮像画像の画像認識処理により、前記撮像画像に映る機器の識別マーカーのマーカー認識処理を行い、
前記リモコン処理部は、
前記マーカー認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行うことを特徴とするリモコン装置。
請求項１において、
前記リモコン処理部は、
機器登録モードにおいて、前記マーカー認識処理により得られた機器の機器情報を、登録情報として登録することを特徴とするリモコン装置。
請求項２において、
前記機器情報を含む前記登録情報を記憶する記憶部を含み、
前記リモコン処理部は、
リモコン操作モードにおいて、前記登録情報を前記記憶部から読み出すことで、リモコン操作対象機器の前記機器情報を取得することを特徴とするリモコン装置。
請求項３において、
前記認識部は、
前記機器登録モードにおいて、前記撮像画像の画像認識処理により、前記撮像画像に映る機器の形状認識処理を行い、
前記リモコン処理部は、
前記機器登録モードにおいて、前記機器登録モードでの形状認識処理により得られた機器の特徴量情報を、機器の登録特徴量情報として登録する処理を行い、
前記記憶部は、
前記マーカー認識処理により得られた前記機器情報と、前記形状認識処理により得られた前記登録特徴量情報とが関連づけられた情報を、前記登録情報として記憶し、
前記認識部は、
前記リモコン操作モードにおいて、前記撮像画像の画像認識処理により、前記撮像画像に映る機器の形状認識処理を行い、
前記リモコン処理部は、
前記リモコン操作モードにおいて、前記リモコン操作モードでの前記形状認識処理により得られた特徴量情報である機器特徴量情報と、前記登録特徴量情報との比較処理を行い、前記機器特徴量情報が前記登録特徴量情報に一致した機器の前記機器情報を前記記憶部から読み出すことで、リモコン操作対象機器の前記機器情報を取得することを特徴とするリモコン装置。
請求項３において、
前記リモコン処理部は、
前記機器登録モードにおいて、前記機器登録モードでの前記マーカー認識処理により前記識別マーカーから取得された機器の特徴量情報を、機器の登録特徴量情報として登録する処理を行い、
前記記憶部は、
前記マーカー認識処理により得られた前記機器情報と、前記マーカー認識処理により得られた前記登録特徴量情報とが関連づけられた情報を、前記登録情報として記憶し、
前記認識部は、
前記リモコン操作モードにおいて、前記撮像画像の画像認識処理により、前記撮像画像に映る機器の形状認識処理を行い、
前記リモコン処理部は、
前記リモコン操作モードにおいて、前記リモコン操作モードでの前記形状認識処理により得られた特徴量情報である機器特徴量情報と、前記登録特徴量情報との比較処理を行い、前記機器特徴量情報が前記登録特徴量情報に一致した機器の前記機器情報を前記記憶部から読み出すことで、リモコン操作対象機器の前記機器情報を取得することを特徴とするリモコン装置。
請求項４又は５において、
リモコン装置の動きを検出するモーションセンサーを含み、
前記リモコン処理部は、
前記形状認識処理の結果と前記モーションセンサーからのセンサー情報とに基づいて、機器をリモコン操作するためのリモコン処理を行うことを特徴とするリモコン装置。
請求項３において、
複数の機器に対応する複数のアイコン画像又は前記複数の機器の複数の機器画像を表示する表示部を含み、
前記リモコン処理部は、
前記複数のアイコン画像又は前記複数の機器画像の中からユーザーにより選択されたアイコン画像又は機器画像に対応する機器を、リモコン操作対象機器として選択することを特徴とするリモコン装置。
請求項１乃至７のいずれかにおいて、
前記認識部は、
機器に取り付けられた前記識別マーカーの前記マーカー認識処理を行うことを特徴とするリモコン装置。
請求項１乃至７のいずれかにおいて、
前記認識部は、
機器の表示部が表示する前記識別マーカーの前記マーカー認識処理を行うことを特徴とするリモコン装置。
請求項９において、
前記リモコン処理部は、
機器の表示部が表示する前記識別マーカーの前記マーカー認識処理の結果に基づいて、機器のステータス情報及び機器の操作マニュアル情報の少なくとも一方を取得することを特徴とするリモコン装置。
請求項１乃至１０のいずれかにおいて、
前記リモコン処理部は、
前記リモコン処理として、リモコン操作対象機器をリモコン操作するためのリモコン信号生成用情報の生成処理を行うことを特徴とするリモコン装置。
請求項１乃至１１のいずれかにおいて、
前記リモコン処理部は、
前記リモコン処理として、リモコン操作対象機器をリモコン操作するためのリモコン操作画面を表示部に表示する制御を行うことを特徴とするリモコン装置。
請求項１２において、
前記リモコン処理部は、
リモコン装置が、複数の機器のうちの第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍの機器をリモコン操作するための第ｍのリモコン操作画面を、前記表示部に表示する制御を行い、
リモコン装置が、前記複数の機器のうちの第ｎの機器（ｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、前記第ｎの機器をリモコン操作するための第ｎのリモコン操作画面を、前記表示部に表示する制御を行うことを特徴とするリモコン装置。
機器を撮像する撮像部と、
機器の認識処理を行う認識部と、
機器をリモコン操作するためのリモコン処理を行うリモコン処理部として、
コンピューターを機能させ、
前記認識部は、
前記撮像画像の画像認識処理により、前記撮像画像に映る機器の識別マーカーのマーカー認識処理を行い、
前記リモコン処理部は、
前記マーカー認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行うことを特徴とするプログラム。