JP2012156835A - リモコン装置及びプログラム - Google Patents

Abstract

【課題】リモコン操作対象機器を効率的に特定して操作可能にするリモコン装置及びプログラム等の提供。
【解決手段】リモコン装置は、機器を撮像する撮像部と、機器の認識処理を行う認識部と、機器をリモコン操作するためのリモコン処理を行うリモコン処理部を含む。認識部は、撮像画像の画像認識処理により、撮像画像に映る機器の形状認識処理を行い、リモコン処理部は、形状認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行う。
【選択図】図３

Description

本発明は、リモコン装置及びプログラム等に関する。

ＴＶ、ＤＶＤプレーヤー等の機器をリモコン操作するリモコン装置としては、機器専用のリモコン装置、マルチリモコン装置、学習型マルチリモコン装置などがある。

ここで、機器専用のリモコン装置では、機器ごとにリモコン装置を取り替える必要があり、ユーザーにとって煩雑であるという課題がある。また、家庭内にある機器１台に対してリモコン装置１台が必要となり、リモコン装置の台数が増えてしまう。

マルチリモコン装置は、一般的にＴＶ用マルチリモコン装置、エアコン用マルチリモコン装置のように、同一製品分野でメーカーごとに異なる制御信号に対応したものである。しかしながら、このマルチリモコン装置においても、やはり、家庭内にある機器ごとにリモコン装置が必要になるという問題がある。また、予め操作対象機器のメーカー名、機種情報をリモコン装置に設定する必要があり、ユーザーにとって煩雑である。

学習型マルチリモコン装置では、前述の機器専用のリモコン装置から送信される赤外線信号を記憶させることで、複数の機器を一台のリモコン装置で操作可能になる。しかしながら、この学習型マルチリモコン装置では、複数の機器の全てのリモコン操作を記憶させる設定入力が、ユーザーにとって煩雑である。また、多くのリモコン操作をリモコン装置に記憶させるためには、リモコン装置本体の操作ボタン数が膨大になってしまう。その上、リモコン装置に搭載される操作ボタンの配列は固定であるため、各操作と操作ボタンの意味づけが分かりにくく、ユーザーにとって使いにくいという問題がある。

また特許文献１には、カメラが搭載されるリモコン装置が開示されている。この特許文献１の従来技術では、機器側から発せられる光の点滅で機器を識別している。

しかしながら、この従来技術では、リモコン操作の対象となる機器側に、赤外線ＬＥＤなどの情報伝達デバイスを設け、リモコン装置が、個々の個別情報を受け取って機器のリモコン操作を行う。このため、このような情報伝達デバイスを持たない既存の機器に対しては、この従来技術の手法を適用することが難しいという課題がある。

特開２００７−２８０８７号公報

本発明の幾つかの態様によれば、リモコン操作対象機器を効率的に特定して操作可能にするリモコン装置及びプログラム等を提供できる。

本発明の一態様は、機器を撮像する撮像部と、機器の認識処理を行う認識部と、機器をリモコン操作するためのリモコン処理を行うリモコン処理部とを含み、前記認識部は、前記撮像部からの撮像画像の画像認識処理により、前記撮像画像に映る機器の形状認識処理を行い、前記リモコン処理部は、前記形状認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行うリモコン装置に関係する。

本発明の一態様によれば、撮像部により機器が撮像され、取得された撮像画像の画像認識処理により、撮像画像に映る機器の形状認識処理が行われる。そして、この形状認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理が実行される。従って、例えば形状認識処理により機器を特定して、特定された機器についての種々のリモコン処理を実行できるようになるため、リモコン操作対象機器を効率的に特定して操作可能にするリモコン装置の提供が可能になる。

また本発明の一態様では、前記リモコン処理部は、機器登録モードにおいて、前記形状認識処理により得られた機器の特徴量情報を、機器の登録特徴量情報として登録する処理を行い、リモコン操作モードにおいて、前記リモコン操作モードでの前記形状認識処理により得られた特徴量情報である機器特徴量情報と、前記登録特徴量情報との比較処理を行うことで、リモコン操作対象機器の選択処理を行ってもよい。

このようにすれば、機器登録モードにおいて、機器の登録特徴量情報を登録し、リモコン操作モードにおいて、登録された登録特徴量情報と機器特徴量情報を比較することで、リモコン操作対象機器を選択できるようになる。従って、特徴量情報を利用した機器の効率的な選択処理を実現できる。

また本発明の一態様では、前記認識部は、前記リモコン操作モードにおいて、前記撮像画像の画素間引き処理後の画像に基づいて形状認識処理を行い、前記リモコン処理部は、前記リモコン操作モードにおいて、前記画素間引き処理後の画像に基づく前記形状認識処理により得られた前記機器特徴量情報と、前記登録特徴量情報との比較処理を行うことで、リモコン操作対象機器の選択処理を行ってもよい。

このようにすれば、リモコン操作モードにおいては、画素間引き処理後の画像に基づく形状認識処理が行われるようになる。従って、リモコン操作モードでの処理負荷を軽減することができ、処理負荷の重い形状認識処理が他の処理に悪影響を及ぼす等の事態を抑止できる。

また本発明の一態様では、機器の機器情報と、前記登録特徴量情報とが関連づけられた登録情報を記憶する記憶部を含み、前記リモコン処理部は、前記リモコン操作モードにおいて、前記機器特徴量情報が前記登録特徴量情報に一致した機器の前記機器情報を前記記憶部から読み出すことで、リモコン操作対象機器の前記機器情報を取得してもよい。

このようにすれば、機器特徴量情報と登録特徴量情報との比較処理により、機器の機器情報を特定して記憶部から読み出し、読み出された機器情報を用いて、機器を操作するためのリモコン処理を実行できるようになる。

また本発明の一態様では、リモコン装置の動きを検出するモーションセンサーを含み、前記リモコン処理部は、前記形状認識処理の結果と前記モーションセンサーからのセンサー情報とに基づいて、機器をリモコン操作するためのリモコン処理を行ってもよい。

このようにすれば、形状認識処理の結果のみならず、モーションセンサーからのセンサー情報も利用して、リモコン処理を実行できるようになり、モーションセンサーを有効利用したリモコン処理を実現できる。

また本発明の一態様では、前記認識部は、前記モーションセンサーの前記センサー情報により検出されたリモコン装置の特定の動き変位量ごとに、前記形状認識処理を行い、前記リモコン処理部は、前記特定の動き変位量ごとに行われた前記形状認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行ってもよい。

このようにすれば、特定の動き変位量ごとに形状認識処理が行われるようになるため、モーションセンサーを有効活用して形状認識処理の処理負荷を軽減できるようになる。

また本発明の一態様では、前記リモコン処理部は、前記リモコン処理として、リモコン操作対象機器をリモコン操作するためのリモコン信号生成用情報の生成処理を行ってもよい。

このようにすれば、機器の形状認識処理の結果等を利用して、リモコン操作対象機器を特定し、特定された機器に対してリモコン信号を送信できるようになる。

また本発明の一態様では、前記リモコン処理部は、前記リモコン処理として、リモコン操作対象機器をリモコン操作するためのリモコン操作画面を表示部に表示する制御を行ってもよい。

このようにすれば、機器の形状認識処理の結果等を利用して、リモコン操作対象機器を特定し、特定された機器を操作するためのリモコン操作画面を表示部に表示できるようになる。

また本発明の一態様では、前記リモコン処理部は、リモコン装置が、複数の機器のうちの第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍの機器をリモコン操作するための第ｍのリモコン操作画面を、前記表示部に表示する制御を行い、リモコン装置が、前記複数の機器のうちの第ｎの機器（ｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、前記第ｎの機器をリモコン操作するための第ｎのリモコン操作画面を、前記表示部に表示する制御を行ってもよい。

このようにすれば、リモコン装置が向けられた方向に対応する機器のリモコン操作画面がリモコン装置の表示部に表示されるようになり、複数の機器を１台のリモコン装置で効率的に操作可能にするリモコン装置の提供が可能になる。

また本発明の一態様では、前記撮像部からの撮像画像に基づいて、複数の機器に対応する複数のアイコン画像又は前記複数の機器の複数の機器画像を表示する表示部を含み、前記リモコン処理部は、前記複数のアイコン画像又は前記複数の機器画像の中からユーザーにより選択されたアイコン画像又は機器画像に対応する機器を、リモコン操作対象機器として選択してもよい。

また本発明の他の態様は、機器を撮像する撮像部と、機器の認識処理を行う認識部と、機器をリモコン操作するためのリモコン処理を行うリモコン処理部と、前記撮像部からの撮像画像に基づいて、複数の機器に対応する複数のアイコン画像又は前記複数の機器の複数の機器画像を表示する表示部とを含み、前記リモコン処理部は、前記複数のアイコン画像又は前記複数の機器画像の中からユーザーにより選択されたアイコン画像又は機器画像に対応する機器を、リモコン操作対象機器として選択するリモコン装置に関係する。

本発明の他の態様によれば、撮像部からの撮像画像に基づいて、複数のアイコン画像又は複数の機器画像が表示部に表示されるようになる。そして、ユーザーがアイコン画像又は機器画像を選択すると、選択されたアイコン画像又は機器画像に対応する機器が、リモコン操作対象機器として選択されるようになる。従って、アイコン画像又は機器画像の選択によりリモコン操作対象機器を効率的に特定して操作可能にするリモコン装置の提供が可能になる。

また本発明の他の態様では、前記認識部は、機器登録モードにおいて、前記撮像画像の画像認識処理により、前記撮像画像に映る機器の形状認識処理を行い、前記リモコン処理部は、機器登録モードにおいて、前記形状認識処理に基づき認識された複数の機器と、前記複数のアイコン画像又は前記複数の機器画像との対応づけを行い、リモコン操作モードにおいて、前記ユーザーにより選択されたアイコン画像又は機器画像に対応づけられた機器を、リモコン操作対象機器として選択してもよい。

このようにすれば、機器登録モードにおいてアイコン画像又は機器画像と機器を対応づけて、リモコン操作モードでは、この対応づけの情報に基づいて、ユーザーが選択したアイコン画像又は機器画像に対応する機器を特定できるようになる。

また本発明の他の態様は、機器を撮像する撮像部と、機器の認識処理を行う認識部と、機器をリモコン操作するためのリモコン処理を行うリモコン処理部として、コンピューターを機能させ、前記認識部は、前記撮像画像の画像認識処理により、前記撮像画像に映る機器の形状認識処理を行い、前記リモコン処理部は、前記形状認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行うプログラムに関係する。

また本発明の他の態様は、機器を撮像する撮像部と、機器の認識処理を行う認識部と、機器をリモコン操作するためのリモコン処理を行うリモコン処理部と、前記撮像部からの撮像画像に基づいて、複数の機器に対応する複数のアイコン画像又は前記複数の機器の複数の機器画像を表示する表示部として、コンピューターを機能させ、前記リモコン処理部は、前記複数のアイコン画像又は前記複数の機器画像の中からユーザーにより選択されたアイコン画像又は機器画像に対応する機器を、リモコン操作対象機器として選択するプログラムに関係する。

図１（Ａ）〜図１（Ｃ）は本実施形態のリモコン装置の外観図。 本実施形態のリモコン装置の構成例を示すブロック図。 図３（Ａ）〜図３（Ｃ）は本実施形態の手法の説明図。 図４（Ａ）〜図４（Ｃ）も本実施形態の手法の説明図。 図５（Ａ）、図５（Ｂ）は機器登録モード、リモコン操作モードにおいて画像認識処理により機器を認識する手法の説明図。 図６（Ａ）はリモコンデータベースのデータ構造の例であり、図６（Ｂ）はリモコンデータベースへの登録情報の登録手法の説明図。 リモコン操作モードにおいて画素間引き処理後の画像に基づいて特徴量情報を抽出する手法の説明図。 図８（Ａ）〜図８（Ｃ）は形状認識処理の結果とモーションセンサーからのセンサー情報に基づいて機器選択処理を行う手法の説明図。 図９（Ａ）、図９（Ｂ）は機器選択画面により機器を選択する手法の説明図。 図１０（Ａ）、図１０（Ｂ）も機器選択画面により機器を選択する手法の説明図。 リモコン装置が向けられた方向の機器のリモコン操作画面を表示する手法の説明図。 図１２（Ａ）、図１２（Ｂ）はスリープモード、基準機器選択モードの説明図。 図１３（Ａ）〜図１３（Ｃ）はモーションセンサーを用いた機器選択手法の説明図。 図１４（Ａ）〜図１４（Ｃ）はモーションセンサーを用いた機器選択において表示部に表示される画面の例。 本実施形態で使用される機器の配置情報の例。 図１６（Ａ）、図１６（Ｂ）は基準機器を用いたユーザーの位置の特定手法の説明図。 本実施形態の詳細な動作を説明するためのフローチャート。 本実施形態の詳細な動作を説明するためのフローチャート。 本実施形態の詳細な動作を説明するためのフローチャート。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．構成例
図１（Ａ）〜図１（Ｃ）に本実施形態のリモコン装置（リモートコントロール装置）の外観構成図を示す。図１（Ｂ）、図１（Ｃ）は、各々、図１（Ａ）のＡ１方向、Ａ２方向から見た側面図である。図１（Ａ）〜図１（Ｃ）に示すように本実施形態のリモコン装置には、撮像部１０（カメラ）、モーションセンサー２０、表示部３０、赤外線発光部４０が設けられている。具体的には、図１（Ｃ）に示すように撮像部１０、赤外線発光部４０は、リモコン装置の上部側面に設けられる。またモーションセンサー２０は、リモコン装置の内部に設けられる。表示部３０はリモコン装置の操作側の面に設けられる。

図２に本実施形態のリモコン装置の詳細な構成ブロック図を示す。リモコン装置は撮像部１０、モーションセンサー２０、操作部２８、表示部３０、赤外線発光部４０、記憶部５０、情報記憶媒体６０、外部Ｉ／Ｆ（インターフェース）部６２、処理部１００を含む。なお、本実施形態のリモコン装置は図２の構成には限定されず、これらの構成要素の一部を省略したり、他の構成要素を追加する等の種々の変形実施が可能である。

撮像部１０は、機器等を撮像するものであり、光学系１２や撮像素子１４を含む。光学系１２はレンズ等により実現され、撮像素子１４はＣＭＯＳセンサーやＣＣＤセンサーなどによる実現される。

モーションセンサー２０は、リモコン装置の動きを検出するデバイスであり、例えば加速度センサー２２、ジャイロセンサー２４（角速度センサー）を含む。

加速度センサー２２としては、梁構造で支えられた可動部での位置変化を静電容量の変化として検出する静電容量型のセンサーや、ダイヤフラムの位置変化をピエゾ抵抗素子によって検出するピエゾ抵抗型のセンサーや、ガス温度分布型のセンサーなどを採用できる。ジャイロセンサー２４としては、振動子が回転することによるコリオリ力から角速度を検出する振動型などの角速度センサーや、静電容量の変化や慣性力の変化から角加速度を検出する角加速度センサーなどを採用できる。

加速度センサー２２を用いることで、Ｘ軸、Ｙ軸、Ｚ軸方向でのリモコン装置の動きの加速度を検出できる。ジャイロセンサー２４を用いることで、例えばＸ軸回り、Ｙ軸回りでのリモコン装置の動きの角速度を検出できる。なおＸ軸は例えば図１（Ａ）のリモコン装置の左右方向に沿った座標軸であり、Ｚ軸は例えばリモコン装置の上下方向に沿った座標軸であり、Ｙ軸はＸ軸及びＺ軸に直交する座標軸である。なおジャイロセンサー２４はＺ軸回りでの角速度も検出できる３軸ジャイロセンサーであってもよい。

操作部２８は、ユーザーがリモコン装置の操作情報を入力するためのものであり、例えば操作ボタンや電源ボタンなどにより実現できる。

表示部３０は各種の画像を表示するためのものであり、例えばＬＣＤや有機ＥＬディスプレイなどにより実現される。例えば本実施形態では表示部３０は、機器をリモコン操作するための操作画面であるリモコン操作画面を表示する。

表示部３０は、例えばタッチパネルディスプレイにより実現することが望ましい。タッチパネルディスプレイとしては、例えば抵抗膜方式、静電容量方式、電磁誘導方式などの種々の方式のものを採用できる。なお、表示部３０としてタッチパネルディスプレイを用いた場合には、操作部２８の一部又は全部の機能はこのタッチパネルディスプレイにより実現されることになる。

赤外線発光部４０（リモコン信号出力部）は、赤外線によりリモコン信号を機器に出力するものであり、例えば赤外線発光ダイオード（ＬＥＤ）により実現される。例えば機器を操作するためのリモコン信号は、赤外線の点灯時間と消灯時間の長さの組み合わせによりビット値が表されるパルス位相変調信号（ＰＰＭ信号）等により実現できる。この場合に、自然放射されている赤外線とリモコン装置の赤外線を区別するために、赤外線発光部４０は特定のキャリア周波数（例えば３８〜４２ＫＨｚ）で変調した赤外線を発光する。

記憶部５０は、リモコン装置の動作等に必要な種々の情報を記憶するものであり、例えばＲＡＭ等の半導体メモリーにより実現される。本実施形態では記憶部５０は後述する登録情報や配置情報を記憶する。

情報記憶媒体６０は、例えばメモリーカードなどの各種のメモリーメディアにより実現されるものであり、例えばリモコン装置からの脱着や装着が自在となっている。本実施形態の各部をコンピューターとして実現するためのプログラムは、この情報記憶媒体６０に記憶される。

外部Ｉ／Ｆ部６２は、外部（外部デバイス）と情報を通信するためのインターフェース処理を行うものである。外部との情報通信は有線、無線を問わない。

処理部１００は、リモコン装置の動作に必要な各種の処理を行うものである。この処理部１００の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。例えば処理部１００は、情報記憶媒体６０に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体６０には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。

なお本実施形態のリモコン装置は専用のリモコン装置である必要はなく、例えば携帯電話機等の携帯型情報端末をリモコン装置として機能させてもよい。この場合には、本実施形態の各部を実行させるためのプログラムを携帯型情報端末において実行することで、携帯型情報端末をリモコン装置として機能させることができる。

処理部１００は、認識部１１０、センサー情報取得部１２０、リモコン処理部１３０を含む。なお、これらの構成要素の一部を省略したり、他の構成要素を追加する等の種々の変形実施が可能である。

認識部（特定部）１１０は機器の認識処理（特定処理）を行う。例えば機器の形状認識処理やマーカー認識処理などの認識処理を行う。形状認識処理は形状認識部１１２が行い、マーカー認識処理はマーカー認識部１１４が行う。これらの認識処理の詳細については後述する。

センサー情報取得部１２０は、モーションセンサー２０からのセンサー情報（加速度情報、角速度情報、角加速度情報等）を取得する。そして例えばセンサー情報の検出処理やセンサー情報に基づく演算処理などの種々の処理を行う。

リモコン処理部１３０は、機器をリモコン操作するためのリモコン処理を行う。リモコン処理部１３０は、機器選択部１３２、リモコン信号生成部１３４、表示制御部１３６、通信処理部１３８を含む。機器選択部１３２は、リモコン操作対象機器の選択処理を行う。リモコン信号生成部１３４は、リモコン操作対象機器をリモコン操作するためのリモコン信号生成用情報の生成処理を行う。そして赤外線発光部４０は、このリモコン信号生成用情報に基づいて、赤外線によるリモコン信号を生成して機器に送信する。なおリモコン信号生成用情報をネットワークを介してリモコン操作対象機器に送信してもよい。表示制御部１３６は表示部３０の表示制御を行う。具体的には、リモコン操作対象機器をリモコン操作するためのリモコン操作画面を表示部３０に表示する制御を行う。通信処理部１３８は、例えば外部Ｉ／Ｆ部６２を介して外部（外部デバイス）との間で各種の情報を通信する処理を行う。なおリモコン処理部１３０の処理の詳細については後述する。

２．本実施形態の手法
さて、様々な機器をリモコン操作するリモコン機能を一台のリモコン装置に集約させる多機能リモコン装置については、従来より知られている。このようなリモコン装置では、ハードウェア（物理層）の違いの解消や、操作対象機器ごとの操作コマンドや制御データの違いの解消や、複数の操作対象機器の制御データの保存及び呼び出し機能を設けるなどの対応が必要になる。これらの対応を行えば、家庭内で必要なリモコン機能を一台のリモコン装置にまとめることが可能になる。

しかしながら、多機能リモコン装置によりこのような対応を実現するためには、複数の操作対象機器に関してリモコン装置の物理的相性を合わせ込むことが必要になる。また１つにまとめたいリモコン機能を、多機能リモコン装置に学習させる必要がある。また、多機能リモコン装置側で操作対象機器を選択し、操作キーに機能を割り当てて、目的の操作対象機器をリモコン操作するというような煩雑な操作が必要になる。従って、リモコン操作を行う際に、多くの制約をユーザーに強いる結果となってしまう。

そこで本実施形態では、このような煩雑な操作を省き、ユーザーが直感的に使用できるように、操作対象機器をリモコン装置が選択・提示して、ユーザーの利便性を向上できるようにする。

具体的には本実施形態では、複数の機器（電子機器）を一台のリモコン装置で遠隔操作できるようにする。これにより、操作対象となる機器ごとにリモコン装置を取り替える必要が無くなり、ユーザーの利便性を向上できる。

そして本実施形態では、操作対象機器を画像認識などにより自動認識し、機器に合致したリモコンコード（リモコン信号）の自動設定を行う。このようにすれば、複雑な初期設定や機能切換の操作が不要となり、ユーザーの利便性を更に向上できる。また、操作対象機器側に新たな機能を付加をすることが不要であるため、既に発売されている既存の機器にも対応が可能となり、機器側のコストアップも抑制できる。

また本実施形態では、カメラ（撮像部）で取得した撮像画像により操作対象機器を特定し、操作対象機器のリモコン操作画面を、タッチパネルディスプレイで実現される表示部に表示する。これにより、最適な操作ボタン数と、操作機能とが関連づけされた判りやすい操作インターフェース環境をユーザーに提供できる。

具体的には、リモコン装置に対して、既存の機器のリモコン操作機能を可能な限り搭載しておく。そして新規分については、２次元バーコードなどの識別マーカーや、有線・無線の通信や、メモリーメディアなどを用いて登録・呼び出し可能にする。また、搭載されるカメラや、ジャイロセンサー、加速度センサーなどのモーションセンサーにより、リモコン装置の現在位置からユーザーが使用することを所望する操作対象機器を、リモコン装置と操作対象機器を関連づけた配置情報（マトリックス情報）により類推選択・提示し、ユーザーの選択の利便性を向上する。

また、類推選択した操作対象機器がユーザーの望むものではない場合には、例えばリモコン装置を上下左右に振るというジェスチャー動作により、目的の操作対象機器を簡単に選択できるようにする。

なお、搭載カメラは、２次元バーコードなどの識別マーカーの読み込みと、リモコン装置の位置情報を得るために使用する。また加速度センサーは、重力方向と移動方向、上下左右の振りを検出するために使用する。ジャイロセンサーは、搭載カメラで認識された位置からの上下左右の振り角度を求めるために使用する。メモリーメディアは、リモコン装置に登録された登録情報や配置情報等を、ＰＣ（パソコン）上で簡単に登録・移動・削除ができるようにするために使用する。

次に図３（Ａ）〜図１４（Ｃ）を用いて本実施形態の手法について更に詳細に説明する。

本実施形態では撮像部１０からの撮像画像に基づいて、機器をリモコン操作するためのリモコン処理を行う。具体的には本実施形態では、認識部１１０が、撮像部１０からの撮像画像に対する画像認識処理により、撮像画像に映る機器の形状認識処理を行う。そしてリモコン処理部１３０が、形状認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行う。

例えば図３（Ａ）では、ユーザーが持つリモコン装置ＲＭは機器ＥＤ１の方を向いており、撮像部１０で撮像された撮像画像には機器ＥＤ１の画像が映っている。従って、認識部１１０が撮像画像に基づく形状認識処理を行うことで、機器ＥＤ１が形状認識されることになる。

そしてリモコン処理部１３０は、この形状認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行う。例えばリモコン操作対象機器の選択処理を行う。即ち、機器ＥＤ１が形状認識されたため、機器ＥＤ１がリモコン操作対象機器として選択され、機器ＥＤ１をリモコン操作するためのリモコン処理が行われるようになる。

具体的には図３（Ｂ）に示すようにリモコン処理部１３０は、リモコン処理として、リモコン操作対象機器をリモコン操作するためのリモコン信号生成用情報の生成処理を行う。赤外線発光部４０は、このリモコン信号生成用情報に基づいて、機器ＥＤ１用のリモコン信号を赤外線により機器ＥＤ１に送信する。これによりリモコン装置ＲＭにより機器ＥＤ１をリモコン操作できるようになる。

或いは図３（Ｃ）に示すようにリモコン処理部１３０は、リモコン処理として、リモコン操作対象機器をリモコン操作するためのリモコン操作画面を表示部３０に表示する制御を行う。例えば図３（Ｃ）では、機器ＥＤ１用の操作アイコン（操作ボタンのアイコン）が表示された機器ＥＤ１用のリモコン操作画面が表示部３０に表示される。そして表示部３０は例えばタッチパネルディスプレイにより構成される。従って、例えばユーザーがリモコン操作画面に表示される機器ＥＤ１用の操作アイコンにタッチすると、その操作アイコンに対応するリモコン信号が生成されて機器ＥＤ１に送信されるようになり、機器ＥＤ１のリモコン操作が可能になる。

一方、図４（Ａ）では、ユーザーが持つリモコン装置ＲＭは機器ＥＤ２の方を向いており、撮像部１０で撮像された撮像画像には機器ＥＤ２の画像が映っている。従って、認識部１１０が撮像画像に基づく形状認識処理を行うことで、機器ＥＤ２が形状認識されることになる。

そしてリモコン処理部１３０は、この形状認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行う。即ち、機器ＥＤ２が形状認識されたため、機器ＥＤ２がリモコン操作対象機器として選択され、機器ＥＤ２をリモコン操作するためのリモコン処理が行われるようになる。

具体的には図４（Ｂ）に示すようにリモコン処理部１３０は、機器ＥＤ２をリモコン操作するためのリモコン信号生成用情報の生成処理を行う。赤外線発光部４０は、このリモコン信号生成用情報に基づいて、機器ＥＤ２用のリモコン信号を赤外線により機器ＥＤ２に送信する。これによりリモコン装置ＲＭにより機器ＥＤ２をリモコン操作できるようになる。

或いは図４（Ｃ）に示すようにリモコン処理部１３０は、機器ＥＤ２をリモコン操作するためのリモコン操作画面を表示部３０に表示する制御を行う。例えば図４（Ｃ）では、機器ＥＤ２用の操作アイコンが表示された機器ＥＤ２用のリモコン操作画面が表示部３０に表示される。そしてユーザーが、リモコン操作画面に表示される機器ＥＤ２用の操作アイコンにタッチすると、その操作アイコンに対応するリモコン信号が生成されて機器ＥＤ２に送信されるようになり、機器ＥＤ２のリモコン操作が可能になる。

図５（Ａ）、図５（Ｂ）は、画像認識処理により機器を認識する手法の説明図である。例えば認識部１１０は、形状認識処理により機器の特徴量情報を抽出し、この特徴量情報に基づいて機器を認識する。具体的には図５（Ａ）に示すように、撮像画像に映る機器のエッジ抽出処理を行い、機器のエッジ情報を特徴量情報として抽出する。図５（Ａ）では機器のエッジを表す矩形の縦・横の大きさ情報などが特徴量情報になる。

そして図５（Ｂ）に示すように、リモコン処理部１３０は、機器登録モードにおいて、形状認識処理により得られた機器の特徴量情報を、機器の登録特徴量情報として登録する処理を行う。即ち各機器の登録特徴量情報にその機器情報を関連づけて、リモコンデータベースに登録する。

次に、リモコン処理部１３０は、リモコン操作モードにおいて、リモコン操作モードでの形状認識処理により得られた特徴量情報である機器特徴量情報と、登録特徴量情報との比較処理を行う。そしてこの比較処理により、リモコン操作対象機器の選択処理を行う。例えばリモコン操作モードにおいて、撮像部１０からの撮像画像に機器ＥＤ１が映っており、この機器ＥＤ１の機器特徴量情報が、リモコンデータベースの登録特徴量情報に一致した場合には、ユーザーにより機器ＥＤ１が選択されたと判断する。

そして図５（Ｂ）に示すように、記憶部５０のリモコンデータベースには、機器の機器情報と登録特徴量情報とが関連づけられ、登録情報として記憶されている。リモコン処理部１３０は、リモコン操作モードにおいて、機器特徴量情報が登録特徴量情報に一致した機器の機器情報を、記憶部５０から読み出すことで、リモコン操作対象機器の機器情報を取得する。例えば、リモコン操作モードにおいて撮像画像に映る機器ＥＤ１の機器特徴量情報が登録特徴量情報に一致した場合には、この登録特徴量情報に関連づけられた機器ＥＤ１の機器情報を取得する。そしてリモコン処理部１３０は、取得された機器情報の機器識別情報やリモコンコマンド情報に基づいてリモコン処理を実行する。例えばリモコン操作対象機器をリモコン操作するためのリモコン信号生成用情報の生成処理や、リモコン操作対象機器をリモコン操作するためのリモコン操作画面を表示部３０に表示する制御などを行う。

図６（Ａ）にリモコンデータベースのデータ構造の例を示す。リモコンデータベースには、各機器の機器情報等が登録情報として登録される。このリモコンデータベースはリモコン装置の記憶部５０に記憶される。

機器情報は、例えば機器識別情報やリモコンコマンド情報である。機器識別情報は、機種名やメーカー名などの機器を識別するための情報である。リモコンコマンド情報は、リモコンコマンドのコマンド体系情報であり、コマンド名、機種別ボタンの定義情報、リモコン信号情報などである。また、各機器識別情報には、登録特徴量情報が関連づけられ、登録情報としてリモコンデータベースに登録される。

リモコン装置のリモコンデータベースへの登録情報の登録手法としては種々の手法を想定できる。例えば図６（Ｂ）において、機器情報などが埋め込まれた２次元バーコード（識別マーカー）を、ＰＣ（パソコン）や携帯型情報端末の画面に表示する。そして、表示された２次元バーコードをリモコン装置の撮像部１０で撮影することで、機器情報等の登録情報をリモコン装置のリモコンデータベースに登録する。或いは、ＰＣにおいて、ネットワークを介し機器の製造メーカー等から機器情報等をダウンロードし、メモリーメディアを介してリモコン装置のリモコンデータベースに登録してもよい。この際に、後述するマトリックス化された配置情報を、ＰＣ上で編集して作成し、作成された配置情報をメモリーメディア等を介してリモコン装置のリモコンデータベースに登録してもよい。

さて、撮像画像の画像認識処理を行う場合に、撮像画像の画素数が多いと、処理負荷が過大になってしまう。特に頻繁に画像認識処理が行われることが想定されるリモコン操作モードにおいて、画像認識処理の処理負荷が重くなると、リモコン装置が有するＣＰＵ等では処理に支障が生じるおそれがある。

そこで本実施形態では、リモコン操作モードにおいては、撮像画像の画素間引き処理後の画像に基づいて画像認識処理を行うことが望ましい。

例えば図７において、機器登録モードにおいては、画素間引き処理が行われていない撮像画像に基づいて形状認識処理が行われて、特徴量情報が抽出され、抽出された特徴量情報が、機器の登録特徴量情報としてリモコンデータベース（記憶部）に登録される。このように機器登録モードにおいては、処理の時間的な余裕もあり、リモコン操作モードの場合に比べて、形状認識処理の正確性が要求されるため、画素間引き処理が行われていない撮像画像に基づいて形状認識処理が行われる。

一方、図７に示すように、認識部１１０は、リモコン操作モードにおいては、撮像画像の画素間引き処理後の画像に基づいて形状認識処理を行い、機器特徴量情報を抽出する。ここで画素間引き処理は、認識部１１０での画像処理により実現してもよいし、撮像部１０の撮像素子１４が画素間引きのモード（画素間引き読み出しモード）を有する場合には、この画素間引きモードを利用して画素間引き処理を実現してもよい。

そしてリモコン処理部１３０は、リモコン操作モードにおいて、画素間引き処理後の画像に基づく形状認識処理により得られた機器特徴量情報と、登録特徴量情報との比較処理を行うことで、リモコン操作対象機器の選択処理を行う。例えば機器特徴量情報と登録特徴量情報が一致した場合には、一致した機器特徴量情報に対応する機器を、リモコン操作対象機器として選択する。なお画素間引き処理が行われていない登録特徴量情報と、画素間引き処理が行われた機器特徴量情報を比較する際には、適切な一致判定が行われるように画像のサイジング処理等を行うことが望ましい。

図７のようにリモコン操作モードにおいて画素間引き処理を行うことで、例えばリモコン装置の画像認識処理の対象となる機器が頻繁に変化して、画像認識処理が頻繁に行われるような場合にも、これに対応できるようになる。即ち、処理対象となる画像の画素数が少なくなるため、処理能力の低いＣＰＵ等であっても、リモコン操作モードにおける画像認識処理を適正に実行できるようになる。

また本実施形態では図２に示すように、リモコン装置ＲＭの動きを検出するモーションセンサー２０をリモコン装置ＲＭに内蔵させている。そしてリモコン処理部１３０は、形状認識処理の結果と、モーションセンサー２０からのセンサー情報とに基づいて、機器をリモコン操作するためのリモコン処理を行う。

例えば後述するように、基準機器等が画像認識処理により選択された後、次の機器を選択する際には、モーションセンサー２０からのセンサー情報に基づき機器を選択するようにする。例えばユーザーが所望の機器を選択するためにリモコン装置を動かすと、リモコン装置が動かされた方向をモーションセンサー２０により検出し、動かされた方向に対応する方向に存在する機器を、リモコン操作対象機器として選択する。

或いはモーションセンサー２０からのセンサー情報を利用して図８（Ａ）〜図８（Ｃ）に示すような処理を行ってもよい。即ち認識部１１０は、モーションセンサー２０のセンサー情報により検出されたリモコン装置の特定の動き変位量ごとに、形状認識処理を行う。そしてリモコン処理部１３０は、特定の動き変位量ごとに行われた形状認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行う。例えば機器の選択処理やリモコン操作画面の表示制御処理やリモコン信号生成用情報の生成処理などを行う。

例えば図８（Ａ）においてリモコン装置ＲＭの認識部１１０が撮像画像に基づいて形状認識処理を行った後、図８（Ｂ）に示すように特定の動き変位量がモーションセンサー２０により検出されると、認識部１１０は次の形状認識処理を行う。別の言い方をすれば、特定の動き変位量が検出されない限り、認識部１１０は次の形状認識処理を実行しない。

また図８（Ｂ）において認識部１１０が撮像画像に基づいて形状認識処理を行った後、図８（Ｃ）に示すように特定の動き変位量がモーションセンサー２０により検出されると、認識部１１０は次の形状認識処理を行う。

このようにすれば、特定の動き変位量が検出されるごとに、認識部１１０による形状認識処理が行われ、この形状認識処理の結果に基づいて、リモコン処理部１３０によりリモコン処理が実行されるようになる。

例えば図１（Ａ）のリモコン装置ＲＭの左右方向に沿った座標軸をＸ軸とし、上下方向に沿った座標軸をＺ軸とし、Ｘ軸及びＺ軸に直交する座標軸をＹ軸としたとする。そしてモーションセンサー２０により、例えばＹ軸回りでのリモコン装置ＲＭの回転が検出されたとする。この場合には、Ｙ軸回りの回転角度をθＹとした場合に、特定の動き変位量である角度ΔθＹごとに、機器の形状認識処理が行われることになる。このようにすれば、Ｙ軸回りでの回転角度の変化がそれほど大きくない場合には、形状認識処理やそれに基づくリモコン処理が行われないようになり、形状認識処理等の処理負荷が過大になってしまう事態を抑止できる。そして動き変位量である角度ΔθＹを適切な角度（例えば５〜３０度）に設定すれば、撮像部１０により機器を適切に捉えながら形状認識処理を実行できるようになり、形状認識処理に失敗する事態等も抑止できる。

また本実施形態では図９（Ａ）に示すようにリモコン装置ＲＭの撮像部１０が機器ＥＤ１〜ＥＤ３の画像を撮像すると、表示部３０は、撮像部１０からの撮像画像に基づいて、複数のアイコン画像を表示してもよい。即ち複数のアイコン画像が表示された機器選択画面を表示してもよい。

そしてリモコン処理部１３０は、複数のアイコン画像の中からユーザーにより選択されたアイコン画像に対応する機器を、リモコン操作対象機器として選択する。即ち、機器選択画面でのユーザーの選択操作により、機器の選択処理を行う。

例えば図１０（Ａ）では、複数の機器に対応する複数のアイコン画像が表示される。このアイコン画像は、各機器を、それを象徴する絵や記号で表した画像である。例えば図９（Ｂ）のテーブルデータに示すように、ＥＤ１〜ＥＤ３等の各機器に対してＩＣ１〜ＩＣ３等の各アイコン画像が対応づけられている。そして図９（Ａ）のようにリモコン装置ＲＭの撮像画像に機器ＥＤ１〜ＥＤ３が映ると、機器ＥＤ１〜ＥＤ３に対応するアイコン画像ＩＣ１〜ＩＣ３が選択され、図１０（Ａ）に示すようなアイコン画像ＩＣ１〜ＩＣ３を用いた機器選択画面が表示部３０に表示される。

そして図１０（Ｂ）では、ユーザーは、複数のアイコン画像の中から所望する機器のアイコン画像を、タッチ操作等により選択している。すると、リモコン処理部１３０は、複数のアイコン画像の中からユーザーにより選択されたアイコン画像に対応する機器を、リモコン操作対象機器として選択する。このようにすれば、画像認識処理などの負荷の重い処理を実行しなくても、ユーザーが所望する機器を簡素な処理で特定して選択できるようになる。

なお、図１０（Ａ）、図１０（Ｂ）では、複数のアイコン画像が表示されているが、このようなアイコン画像ではなく、複数の機器画像を表示するようにしてもよい。そしてリモコン処理部１３０は、複数の機器画像の中からユーザーにより選択された機器画像に対応する機器を、リモコン操作対象機器として選択する。この機器画像は、撮像部１０で撮像された機器の画像であり、例えば撮像部１０の撮像画像を、そのまま表示部３０に表示する。そして、この撮像画像である機器選択画面において、ユーザーが所望の機器画像をタッチ操作等で選択すると、その機器画像に対応する機器が選択されて、その機器についてのリモコン操作画面の表示制御やリモコン信号の生成処理等が行われるようになる。

また認識部１１０は、機器登録モードにおいて、撮像画像の画像認識処理により、撮像画像に映る機器の形状認識処理を行う。一方、リモコン処理部１３０は、機器登録モードにおいて、形状認識処理に基づき認識された複数の機器と、複数のアイコン画像又は複数の機器画像との対応づけを行う。例えば図９（Ｂ）に示すような機器とアイコン画像又は機器画像を対応づけるテーブルデータを作成する。そしてリモコン処理部１３０は、リモコン操作モードにおいて、図１０（Ｂ）に示すようにユーザーにより選択されたアイコン画像又は機器画像に対応づけられた機器を、リモコン操作対象機器として選択してもよい。

このようにすれば、機器登録モードにおいてアイコン画像又は機器画像と機器とを対応づけて、リモコン操作モードでは、この対応づけの情報に基づいて、ユーザーが選択したアイコン画像又は機器画像に対応する機器を特定できるようになる。これにより図１０（Ａ）、図１０（Ｂ）に示すような機器選択画面を用いた効率的な機器の選択処理を実現できるようになる。

また図１１に示すように本実施形態では、リモコン装置ＲＭを機器に向けると、その機器のリモコン操作画面が表示部３０に表示されるようにしてもよい。

具体的にはリモコン処理部１３０（表示制御部１３６）は、リモコン装置ＲＭが、複数の機器のうちの第ｍの機器（例えば機器ＥＤ１）に対応する方向に向けられたと判断された場合には、第ｍの機器をリモコン操作するための第ｍのリモコン操作画面（機器ＥＤ１のリモコン操作画面）を、表示部３０に表示する制御を行う。一方、リモコン装置ＲＭが、複数の機器のうちの第ｎの機器（例えば機器ＥＤ２。なおｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、第ｎの機器をリモコン操作するための第ｎのリモコン操作画面（機器ＥＤ２のリモコン操作画面）を、表示部３０に表示する制御を行う。

例えば図１１において、ＴＶである機器ＥＤ１の方にリモコン装置ＲＭが向けられると、ＴＶ用の操作アイコン（操作ボタンのアイコン）が表示されたＴＶ用のリモコン操作画面が表示部３０に表示される。またＤＶＤプレーヤーである機器ＥＤ２の方にリモコン装置ＲＭが向けられると、ＤＶＤプレーヤー用の操作アイコン等が表示されたＤＶＤプレーヤー用のリモコン操作画面が表示部３０に表示される。エアコンである機器ＥＤ３や照明器具である機器ＥＤ４に対してリモコン装置ＲＭが向けられた場合も同様である。

そして表示部３０は例えばタッチパネルディスプレイにより構成される。従って、例えば図１１に示すようにユーザーがリモコン装置ＲＭを機器ＥＤ１（ＴＶ）の方に向け、リモコン操作画面に表示される機器ＥＤ１用の操作アイコンにタッチすると、その操作アイコンに対応するリモコン信号が生成されて機器ＥＤ１に送信される。同様にユーザーがリモコン装置ＲＭを機器ＥＤ２（ＤＶＤプレーヤー）の方に向け、リモコン操作画面に表示される機器ＥＤ２用の操作アイコンにタッチすると、その操作アイコンに対応するリモコン信号が生成されて機器ＥＤ２に送信される。機器ＥＤ３、ＥＤ４についても同様である。

従って、ユーザーは、一台のリモコン装置ＲＭを用いて複数の機器ＥＤ１〜ＥＤ４を効率的にリモコン操作できるようになる。また、操作対象機器の選択処理は、ユーザーが所望する機器にリモコン装置を向けるだけで自動的に行われるため、従来の多機能リモコン装置に比べてユーザーの利便性を格段に向上できる。

また本実施形態では図２に示すように、リモコン装置ＲＭにモーションセンサー２０を内蔵させている。そして図１２（Ａ）に示すようにリモコン装置ＲＭは、電池寿命を長くするために、静止状態（動かされずに配置されている状態）ではスリープモードに設定される。そして図１２（Ｂ）に示すように、例えば加速度センサー２２により、リモコン装置がユーザーの手に取られたことが感知されると、スリープモードが解除される。これにより、撮像部１０、認識部１１０、リモコン処理部１３０などが起動し、システムが通常動作モードに移行する。そして、その後、撮像部１０からの撮像画像やモーションセンサー２０からのセンサー情報に基づいて、リモコン操作対象機器の選択処理が行われる。

具体的には、リモコン装置ＲＭがスリープモードであるときに、モーションセンサー２０からのセンサー情報に基づいてリモコン装置の動きが検出された場合に、リモコン処理部１３０は、動作モードをスリープモードから基準機器選択モードに移行させて、基準機器の選択を行う。リモコン処理部１３０は、後に詳述するように、この基準機器選択モードにおいて、第ｉの機器（例えば機器ＥＤ１）を、操作対象機器の選択基準となる基準機器（配置情報における配置の基準となる機器）として選択する。

次に図１３（Ａ）〜図１３（Ｃ）に示すように、リモコン処理部１３０はモーションセンサー２０からのセンサー情報に基づいてリモコン操作対象機器の選択処理を行う。

例えば複数の機器のうちの第ｉの機器がリモコン操作対象機器として選択された後、モーションセンサー２０からのセンサー情報に基づいてリモコン装置ＲＭの動きが検出されたとする。例えば図１３（Ａ）では、第ｉの機器である機器ＥＤ１が選択された後、図１３（Ｂ）に示すようにモーションセンサー２０によりリモコン装置ＲＭの動きが検出されている。

この場合にはリモコン処理部１３０は、第ｉの機器とは異なる第ｊの機器（ｉ、ｊは自然数）を、リモコン操作対象機器として選択する。具体的には、リモコン装置ＲＭが動かされた方向に対応する方向に存在する機器を、第ｊの機器として選択する。例えば図１３（Ｂ）では、リモコン装置ＲＭが右方向に動かされたことがモーションセンサー２０により検出されたため、右方向に対応する方向に存在する機器ＥＤ２が、第ｊの機器として選択される。これにより、図１１で説明したように、第ｊの機器用の第ｊのリモコン操作画面を表示部３０に表示できるようになる。例えば第ｉの機器がＴＶであり、第ｊの機器がＤＶＤプレーヤーである場合には、図１３（Ａ）ではＴＶ用のリモコン操作画面が表示され、図１３（Ｂ）ではＤＶＤプレーヤー用のリモコン操作画面が表示される。

この場合に、図２の記憶部５０は機器の配置情報を記憶している。そしてリモコン処理部１３０は、モーションセンサー２０からのセンサー情報と、記憶部５０に記憶される配置情報に基づいて、第ｊの機器（機器ＥＤ２）をリモコン操作対象機器として選択する。

具体的には記憶部５０は、後述するマトリックス化された配置情報のように、機器の配置領域を分割した複数の区画領域の各区間領域に対して、各区画領域に配置される機器の機器情報が関連づけられた情報を、配置情報として記憶する。そしてリモコン処理部１３０は、複数の区画領域のうち、モーションセンサー２０からのセンサー情報に基づき特定された区画領域に関連づけられた機器を、第ｊの機器として選択する。

更に記憶部５０は、機器の識別情報と機器のリモコンコマンド情報を、機器情報として記憶する。ここで機器の識別情報は機種名やメーカー名などの機器を識別・特定するための情報である。またリモコンコマンド情報は、機器のリモコン操作処理のために必要なコマンド情報であり、機器に対してコマンドを送信するリモコン信号を生成するために使用される情報である。

また、第ｊの機器がリモコン操作対象機器として選択された後、モーションセンサー２０からのセンサー情報に基づいてリモコン装置の動きが検出されたとする。この場合にはリモコン処理部１３０は、第ｊの機器とは異なる第ｋの機器（ｋは自然数）を、リモコン操作対象機器として選択する。

例えば図１３（Ｃ）では、第ｊの機器である機器ＥＤ２が選択された後、モーションセンサーによりリモコン装置ＲＭの動きが検出されたため、第ｋの機器である機器ＥＤ３が選択される。そして図１１で説明したように、第ｋの機器用の第ｋのリモコン操作画面が表示部３０に表示される。例えば第ｋの機器がエアコンである場合には、図１３（Ｃ）ではエアコン用のリモコン操作画面が表示される。

図１４（Ａ）〜図１４（Ｃ）は、機器の選択状態をユーザーに知らせる機器選択画面の例である。例えば図１３（Ａ）のように機器ＥＤ１が操作対象機器（基準機器）として選択された場合には、図１４（Ａ）に示すように、機器ＥＤ１が選択状態（選択候補）であることをユーザーに知らせる機器選択画面が表示部３０に表示される。また図１３（Ｂ）のように機器ＥＤ２が操作対象機器として選択された場合には、図１４（Ｂ）に示すように、機器ＥＤ２が選択状態であることをユーザーに知らせる機器選択画面が表示される。また図１３（Ｃ）のように機器ＥＤ３が操作対象機器として選択された場合には、図１４（Ｃ）に示すように、機器ＥＤ３が選択状態であることをユーザーに知らせる機器選択画面が表示される。このようにすれば、ユーザーは、画像認識処理やリモコン装置の動き検出により、複数の機器のうちのどの機器が選択されているのかを、図１４（Ａ）〜図１４（Ｃ）の機器選択画面で確認できるようになり、ユーザーの利便性を向上できる。

以上のように本実施形態では、例えば画像認識処理により基準機器となる機器ＥＤ１（第ｉの機器）が選択された後は、ユーザーがリモコン装置ＲＭを動かすことで、機器ＥＤ２、ＥＤ３が選択されるようになる。

例えば撮像部１０の撮像画像内に複数の機器が映っている場合に、ユーザーがどの機器を選択しているのかを、画像認識処理だけで判別するのは難しい。この点、図１３（Ａ）〜図１４（Ｃ）では、ユーザーがリモコン装置ＲＭを動かすことで、動かした方向に対応する機器が順次選択されるようになる。従って、画像認識処理により基準機器が選択された後は、ユーザーの意思が反映されたリモコン装置ＲＭの動きをモーションセンサー２０により検出して、最終的な操作対象機器を選択できるようになる。従って、全ての機器選択を画像認識処理だけで実現する手法に比べて、少ない処理負荷で機器選択処理を実現することが可能になる。

３．具体的な処理例
次に本実施形態の具体的な処理例について説明する。まず、リモコン装置の操作コマンド・データなどの登録情報の登録手法と、リモコン装置の操作対象機器の選択・提示手法とジェスチャー動作対応について、順に説明する。なお、前述の物理層の差異解消については、キャリア周波数や赤外線波長が異なる場合があり得るため、必要に応じて複数の赤外ＬＥＤを準備することで、これに対応できる。或いは、これらを取り付けオプションとすることも可能である。

リモコン装置の操作コマンドやデータなどの登録情報の登録手法については、メモリーメディア経由で入手した機種名（広義には機器の識別情報）やコマンド体系情報（広義にはリモコンコマンド情報）を、マトリックス化された配置情報（マトリックス情報）として登録する。

マトリックス化された配置情報は、リモコン装置の基準点の位置に基づいて、リモコン操作対象機器の上下左右配置位置をマトリックス管理した情報である。機種名やコマンド体系情報は、リモコン装置の撮像部による２次元バーコード（識別マーカー）の読み込みなどにより入手する。

即ち本実施形態のリモコン装置は、機種名とコマンド体系情報（操作情報）とがリモコンデータベースとして登録される。リモコン装置の居室での位置を使用時に認識することにより、リモコン操作対象機器のそれぞれの機器配置情報をマトリックス化された配置情報として登録しておく。

例えば図１５にマトリックス化された配置情報の例を示す。配置情報は、居室が４角形であることを前提として、前面、右側面、背面、左側面、上面、下面が設定される。前面は、基準機器が配置される基準面である。上面及び下面に対しては、リモコン装置の上下の振りによって、前面、右側面、背面、左側面のどの４面に向いていても選択可能にする。１つの面における区画領域数は図１５では３×３になっている。但し、５×５等やそれ以上であっても構わない。

前面である基準面の中央に、基準機器を設定する。図１５では機器ＥＤ１が基準機器になる。例えば図１５では、前面には、機器ＥＤ１の他に機器ＥＤ２、ＥＤ３が配置されている。また左側面には機器ＥＤ４、ＥＤ５が配置されている。同様に右側面、背面、上面、下面にも機器ＥＤ６〜ＥＤ１０が配置されている。そして、これらのＥＤ１〜ＥＤ１０の各機器の区画領域にはその機器情報が関連づけられる。

居室のほぼ中心から１．５ｍ程度離れた位置から基準機器の選択を行うことで、リモコン装置の現在位置や向きを限定する。以降のリモコン操作対象機器の選択は、リモコン装置の上下左右の振りを、加速度センサーやジャイロセンサーから読み取り、図１５の配置情報と比較して、最近傍の機器を選択・提示するようにする。

リモコン装置のリモコン操作対象機器の選択・提示手法とユーザーのジェスチャー動作の対応については、以下の通りである。例えば撮像部となるカメラは１０万画素以上のモノクロ或いはカラーカメラにより実現される。そして撮像画像に対して画像処理を行い、基準点を検出する。例えば基準機器の形状認識等の画像認識処理を行って、基準機器が配置される基準点を検出する。

そして検出された基準点と、リモコン装置に内蔵されている３軸加速度センサーと、２軸ジャイロセンサーにより基準点からの相対位置を演算し、身近にあるリモコン操作対象機器を１個又は数個に限定する。

ユーザーによって向きを変えたリモコン装置の表示部３０に、上述のように限定されたリモコン操作対象の機器のうち、ユーザーが示していると思われる可能性の最も高いものを、図１４（Ａ）〜図１４（Ｃ）に示すように表示する。そのままユーザーがリモコン操作入力を行えば、選択された機器はユーザーが操作したい機器であると考えられる。

もし、選択された機器が、ユーザーが操作したい機器とは異なる場合には、現在選択されている機器の上下左右のいずれかにリモコン操作対象機器が存在するはずである。従って、上下左右方向にリモコン装置を振るというユーザーのジェスチャー動作を、モーションセンサーで検出することで、最終的なリモコン操作対象機器を特定する。

撮像部からの撮像画像に対して画像認識処理を行うことで、複数の機器が配置されている部屋の基準となる壁面から１．５ｍ程度離れた位置から、基準となる矩形を検出する。この矩形が操作対象機器の相対位置を決める基準点となる。そして撮像部の撮像時における基準となる矩形の変形度合いにより、部屋の中でのリモコン装置の位置を特定可能である。

例えば図１６（Ａ）においてＥＤ１〜ＥＤ８は部屋に配置される機器である。また顔マークはユーザーの位置を表している。Ｂ１に示す中央の顔マークは、基準点を設定する場合の位置を示し、基準機器を機器ＥＤ１とした場合、壁面から約１．５ｍ位置において機器ＥＤ１をほぼ中央に撮影する。

リモコン装置の操作者であるユーザーが、図１６（Ａ）に示す顔マークの位置の何処でリモコン装置を操作するかは限定できないため、ユーザーの現在位置から、基準機器ＥＤ１（基準位置）を最初に指定する。

例えば図１６（Ａ）のＢ１に示す顔マークの位置にユーザーが居た場合には、基準機器ＥＤ１は図１６（Ｂ）のＣ１に示すような矩形に見える。一方、Ｂ２に示す顔マークの位置にユーザーが居た場合には、基準機器ＥＤ１はＣ２に示すような矩形に見える。従って、基準機器ＥＤ１の矩形の形状により、ユーザーの位置を特定できる。そして、基準点が特定できれば、基準点に基づいて各操作対象機器の相対位置が特定できるので、ユーザーがリモコン装置を向けている方向等をモーションセンサーにより検出することで、操作対象機器を推定できる。

以上のように本実施形態の多機能リモコン装置では、まず最初に、使用する居室において基準点を特定する。そして、前面の上下左右方向にどのような操作対象機器が配置されているかをリモコン装置に登録する。例えば図１５では機器ＥＤ１、ＥＤ２、ＥＤ３が前面に配置される機器として登録される。登録にはリモコン装置のタッチパネルディスプレイやキーパッドを活用する。或いはメモリーメディアを使用して、ＰＣ上で編集し登録することも可能である。同様の方法で、残りの５面（右側面・背面・左側面・上面・下面）について機器の登録を行う。

このように登録情報の登録処理後は、基準面（前面）を撮像して行う基準点の特定処理を最初に行って、リモコン装置の位置を特定した後は、ユーザーの手にリモコン装置が保持されている限りリモコン操作が可能となる。

そして、一定時間以上、ユーザーがリモコン装置を平面に置いて操作を行わないと、基準点の位置情報が不確かになるので、基準面を撮像して行う基準点の特定処理が必要になる。基準点の特定処理については、ユーザーがリモコン装置を取り上げて基準面に向け、確認ボタンなどで入力することで確定可能である。或いは、リモコン装置を基準面に向けた後、一定時間の経過で確定するようにしてもよい。

以上のように本実施形態では、記憶部５０が図１５に示すような機器の配置情報を記憶する。そしてリモコン処理部１３０は、モーションセンサー２０からのセンサー情報と、記憶部５０に記憶される配置情報に基づいて、リモコン操作対象機器の選択処理を行う。ここで配置情報は、図１５に示すように、機器の配置領域を分割した複数の区画領域の各区間領域に対して、各区画領域に配置される機器の機器情報が関連づけられた情報になっている。例えば図１５の前面に対応する配置領域は、３×３の区画領域に分割されている。そして、真ん中の区画領域には、基準機器となる機器ＥＤ１の機器情報が関連づけられる。また機器ＥＤ１の区画領域の右側、右上側の区画領域には、各々、機器ＥＤ２、ＥＤ３の機器情報が関連づけられる。

そしてリモコン処理部１３０は、モーションセンサー２０からのセンサー情報に基づき特定された区画領域に関連づけられた機器を、リモコン操作対象機器として選択する。例えば図１３（Ａ）のように基準機器となる機器ＥＤ１が選択された後、図１３（Ｂ）のようにユーザーがリモコン装置を右方向に振る動作を行ったとする。すると、この時のリモコン装置の動きがモーションセンサー２０（加速度センサー）により検出され、このモーションセンサー２０からのセンサー情報と、図１５の配置情報に基づいて、機器ＥＤ１の右側の機器ＥＤ２が選択される。

その後、例えばユーザーが、リモコン装置を上方向に振る動作を行ったとする。すると、この時のリモコン装置の動きがモーションセンサー２０により検出され、このモーションセンサー２０からのセンサー情報と、図１５の配置情報に基づいて、機器ＥＤ２の上側の機器ＥＤ３が選択されることになる。そして、このように機器ＥＤ３が選択された後、ユーザーがリモコン操作画面の表示指示操作を行うと、機器ＥＤ３のリモコン操作画面がリモコン装置の表示部３０に表示されるようになる。

４．動作
次に本実施形態の詳細な動作について図１７〜図１９のフローチャートを用いて説明する。

図１７は、登録特徴量情報と機器特徴量情報を比較することで操作対象機器を特定し、リモコン処理を行う手法の動作フローチャートである。

まず機器登録モードか否かを判断し、機器登録モードである場合には、撮像部１０から機器の撮像画像を取得する（ステップＳ２１、Ｓ２２）。そして図５（Ａ）、図５（Ｂ）で説明したように、取得された撮像画像に基づき機器の形状認識処理を行い、特徴量情報を抽出する（ステップＳ２３）。そして抽出された特徴量情報を登録特徴量情報として、機器情報に対応づけて、登録情報として記憶部に記憶する（ステップＳ２４）。

一方、機器登録モードではなくリモコン操作モードである場合には、撮像部１０から機器の撮像画像を取得する（ステップＳ２５、Ｓ２６）。そして図７で説明したように、リモコン操作モードでは、撮像画像の画素間引き処理を行う（ステップＳ２７）。そして画素間引き処理後の撮像画像に基づき機器の形状認識処理を行い、機器特徴量情報を抽出する（ステップＳ２８）。

次にステップＳ２４で記憶された登録特徴量情報を記憶部５０から読み出し、ステップＳ２８で抽出された機器特徴量情報と比較する（ステップＳ２９）。そして機器特徴量情報が登録特徴量情報に一致した機器の機器情報を記憶部５０から読み出す（ステップＳ３０）。そして、読み出された機器情報に基づいて、リモコン信号生成処理、リモコン操作画面表示処理などのリモコン処理を実行する（ステップＳ３１）。

図１８は、アイコン画像が表示された機器選択画面を用いて機器を選択してリモコン処理を行う手法の動作フローチャートである。

まず、撮像部１０から機器の撮像画像を取得する（ステップＳ４１）。そして、取得された撮像画像に基づき、図１０（Ａ）に示すように機器のアイコン画像又は機器画像が表示された機器選択画面を表示する（ステップＳ４２）。

次に、図１０（Ｂ）に示すようにユーザーが選択したアイコン画像又は機器画像に対応する機器の機器情報を記憶部５０から読み出す（ステップＳ４３）。即ちアイコン画像又は機器画像に対応する機器に関連づけられた機器情報を記憶部５０から読み出す。そして、読み出された機器情報に基づいて、リモコン信号生成処理、リモコン操作画面表示処理などのリモコン処理を実行する（ステップＳ４４）。

図１９は、モーションセンサーを用いて機器を選択してリモコン処理を行う手法の動作フローチャートである。

まず、図１２（Ａ）で説明したスリープモードにおいて、モーションセンサー２０によりリモコン装置の動きが検出されたか否かを判断する（ステップＳ１、Ｓ２）。即ち加速度センサー２２によりリモコン装置の静止状態からの動きが検出されたか否かを判断する。そして、動きが検出された場合には図１２（Ｂ）で説明したように基準機器選択モードに移行する（ステップＳ３）。

次に、記憶部５０から機器の登録情報、配置情報の読み出す（ステップＳ４）。即ち図６（Ａ）で説明したような登録情報や図１５で説明したような配置情報を記憶部５０（リモコンデータベース）から読み出す。

次に、撮像部１０からの撮像画像に基づく機器の画像認識処理を行い、基準機器が画像認識されたか否かを判断する（ステップＳ５、Ｓ６）。そして基準機器が画像認識された場合には、例えばその基準機器のリモコン操作画面を表示する（ステップＳ７）。

次に、モーションセンサー２０によりリモコン装置の動きが検出されたか否かを判断し、リモコン装置の動きが検出された場合には、動かされた方向に対応する機器を選択する（ステップＳ８、Ｓ９）。例えば図１３（Ａ）で基準機器ＥＤ１が選択された後、図１３（Ｂ）のようにモーションセンサー２０によりリモコン装置の動きが検出されると、動かされた方向に対応する機器ＥＤ２を選択する。

次に、ユーザーにより表示指示操作が行われたか否かを判断する（ステップＳ１０）。即ちリモコン操作画面の表示を指示する操作が行われたか否かを判断する。そして表示指示操作が行われた場合には、選択された機器のリモコン操作画面を表示する（ステップＳ１１）。例えば図１３（Ｂ）、図１４（Ｂ）のように機器ＥＤ２が選択された状態で、ユーザーが表示指示操作を行うと、機器ＥＤ２を操作するためのリモコン操作画面が表示される。また図１３（Ｃ）、図１４（Ｃ）のように機器ＥＤ３が選択された状態で、ユーザーが表示指示操作を行うと、機器ＥＤ３を操作するためのリモコン操作画面が表示される。このようにすることで図１１に示すように、ユーザーがリモコン装置を向けた方向に対応する機器のリモコン操作画面を表示することが可能になる。

なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またリモコン装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

ＲＭ リモコン装置、ＥＤ１〜ＥＤ１０ 機器、
１０ 撮像部、１２ 光学系、１４ 撮像素子、２０ モーションセンサー、
２２ 加速度センサー、２４ ジャイロセンサー、２８ 操作部、３０ 表示部、
４０ 赤外線発光部、５０ 記憶部、６０ 情報記憶媒体、６２ 外部Ｉ／Ｆ部、
１００ 処理部、１１０ 認識部、１１２ 形状認識部、１１４ マーカー認識部、
１２０ センサー情報取得部、１３０ リモコン処理部、１３２ 機器選択部、
１３４ リモコン信号生成部、１３６ 表示制御部、１３８ 通信処理部

Claims (14)

1. 機器を撮像する撮像部と、
   機器の認識処理を行う認識部と、
   機器をリモコン操作するためのリモコン処理を行うリモコン処理部と、
   を含み、
   前記認識部は、
   前記撮像部からの撮像画像の画像認識処理により、前記撮像画像に映る機器の形状認識処理を行い、
   前記リモコン処理部は、
   前記形状認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行うことを特徴とするリモコン装置。
2. 請求項１において、
   前記リモコン処理部は、
   機器登録モードにおいて、前記形状認識処理により得られた機器の特徴量情報を、機器の登録特徴量情報として登録する処理を行い、
   リモコン操作モードにおいて、前記リモコン操作モードでの前記形状認識処理により得られた特徴量情報である機器特徴量情報と、前記登録特徴量情報との比較処理を行うことで、リモコン操作対象機器の選択処理を行うことを特徴とするリモコン装置。
3. 請求項２において、
   前記認識部は、
   前記リモコン操作モードにおいて、前記撮像画像の画素間引き処理後の画像に基づいて形状認識処理を行い、
   前記リモコン処理部は、
   前記リモコン操作モードにおいて、前記画素間引き処理後の画像に基づく前記形状認識処理により得られた前記機器特徴量情報と、前記登録特徴量情報との比較処理を行うことで、リモコン操作対象機器の選択処理を行うことを特徴とするリモコン装置。
4. 請求項２又は３において、
   機器の機器情報と、前記登録特徴量情報とが関連づけられた登録情報を記憶する記憶部を含み、
   前記リモコン処理部は、
   前記リモコン操作モードにおいて、前記機器特徴量情報が前記登録特徴量情報に一致した機器の前記機器情報を前記記憶部から読み出すことで、リモコン操作対象機器の前記機器情報を取得することを特徴とするリモコン装置。
5. 請求項１乃至４のいずれかにおいて、
   リモコン装置の動きを検出するモーションセンサーを含み、
   前記リモコン処理部は、
   前記形状認識処理の結果と前記モーションセンサーからのセンサー情報とに基づいて、機器をリモコン操作するためのリモコン処理を行うことを特徴とするリモコン装置。
6. 請求項５において、
   前記認識部は、
   前記モーションセンサーの前記センサー情報により検出されたリモコン装置の特定の動き変位量ごとに、前記形状認識処理を行い、
   前記リモコン処理部は、
   前記特定の動き変位量ごとに行われた前記形状認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行うことを特徴とするリモコン装置。
7. 請求項１乃至６のいずれかにおいて、
   前記リモコン処理部は、
   前記リモコン処理として、リモコン操作対象機器をリモコン操作するためのリモコン信号生成用情報の生成処理を行うことを特徴とするリモコン装置。
8. 請求項１乃至７のいずれかにおいて、
   前記リモコン処理部は、
   前記リモコン処理として、リモコン操作対象機器をリモコン操作するためのリモコン操作画面を表示部に表示する制御を行うことを特徴とするリモコン装置。
9. 請求項８において、
   前記リモコン処理部は、
   リモコン装置が、複数の機器のうちの第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍの機器をリモコン操作するための第ｍのリモコン操作画面を、前記表示部に表示する制御を行い、
   リモコン装置が、前記複数の機器のうちの第ｎの機器（ｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、前記第ｎの機器をリモコン操作するための第ｎのリモコン操作画面を、前記表示部に表示する制御を行うことを特徴とするリモコン装置。
10. 請求項１乃至９のいずれかにおいて、
    前記撮像部からの撮像画像に基づいて、複数の機器に対応する複数のアイコン画像又は前記複数の機器の複数の機器画像を表示する表示部を含み、
    前記リモコン処理部は、
    前記複数のアイコン画像又は前記複数の機器画像の中からユーザーにより選択されたアイコン画像又は機器画像に対応する機器を、リモコン操作対象機器として選択することを特徴とするリモコン装置。
11. 機器を撮像する撮像部と、
    機器の認識処理を行う認識部と、
    機器をリモコン操作するためのリモコン処理を行うリモコン処理部と、
    前記撮像部からの撮像画像に基づいて、複数の機器に対応する複数のアイコン画像又は前記複数の機器の複数の機器画像を表示する表示部と、
    を含み、
    前記リモコン処理部は、
    前記複数のアイコン画像又は前記複数の機器画像の中からユーザーにより選択されたアイコン画像又は機器画像に対応する機器を、リモコン操作対象機器として選択することを特徴とするリモコン装置。
12. 請求項１０又は１１において、
    前記認識部は、
    機器登録モードにおいて、前記撮像画像の画像認識処理により、前記撮像画像に映る機器の形状認識処理を行い、
    前記リモコン処理部は、
    機器登録モードにおいて、前記形状認識処理に基づき認識された複数の機器と、前記複数のアイコン画像又は前記複数の機器画像との対応づけを行い、
    リモコン操作モードにおいて、前記ユーザーにより選択されたアイコン画像又は機器画像に対応づけられた機器を、リモコン操作対象機器として選択することを特徴とするリモコン装置。
13. 機器を撮像する撮像部と、
    機器の認識処理を行う認識部と、
    機器をリモコン操作するためのリモコン処理を行うリモコン処理部として、
    コンピューターを機能させ、
    前記認識部は、
    前記撮像画像の画像認識処理により、前記撮像画像に映る機器の形状認識処理を行い、
    前記リモコン処理部は、
    前記形状認識処理の結果に基づいて、機器をリモコン操作するためのリモコン処理を行うことを特徴とするプログラム。
14. 機器を撮像する撮像部と、
    機器の認識処理を行う認識部と、
    機器をリモコン操作するためのリモコン処理を行うリモコン処理部と、
    前記撮像部からの撮像画像に基づいて、複数の機器に対応する複数のアイコン画像又は前記複数の機器の複数の機器画像を表示する表示部として、
    コンピューターを機能させ、
    前記リモコン処理部は、
    前記複数のアイコン画像又は前記複数の機器画像の中からユーザーにより選択されたアイコン画像又は機器画像に対応する機器を、リモコン操作対象機器として選択することを特徴とするプログラム。

Images