JP2015072582A - ポインティング装置、ポインティング方法、及び、ポインティング装置用プログラム - Google Patents

Abstract

【課題】相対的な測定量に基づいてポインティング位置を推定する相対ポインティング方式であっても、自動的に基準姿勢がキャリブレーションされて、常にユーザが指示したい点と推定されるポインティング点とが略一致し続けさせることができるポインティング装置を提供する。
【解決手段】被操作体Ｒ又はポインティング対象Ｔのいずれか一方に設けられており、所定の配置パターンを有する複数の光源を具備するマーカ機構Ｍと、前記複数の光源１を撮像可能となるように前記ポインティング対象Ｔ又は前記被操作体Ｒのいずれか一方に設けられたカメラＣと、前記カメラＣにより撮像された画像中における前記光源１の個数又は位置に基づいて、前記被操作体Ｒの撮像時の姿勢である撮像時姿勢を推定する撮像時姿勢推定部と、前記基準姿勢を、前記撮像時姿勢推定部により推定された撮像時姿勢にキャリブレーションするキャリブレーション部とを備えた。
【選択図】図１

Description

本発明は、相対ポインティング方式のポインティング装置等に関するものである。

例えばマウス等を用いずにテレビ画面上のカーソルをユーザが自由に動かせるようにするために、テレビ及びリモコンによってポインティング装置を構成したものがある。

このようなリモコンは、加速度計や角速度センサといったモーションセンサを内部に備えており、ユーザによってリモコンの指示方向が変更された場合のリモコンの姿勢変化量を測定できるよう構成されている（特許文献１等を参照）。

さらに、テレビ内に設けられた演算機構は、予め設定されたリモコンの基準姿勢と、測定される姿勢変化量とからリモコンの現在の姿勢を算出し、算出したリモコンの現在の姿勢から、リモコンの指示方向とテレビ画面の交点であると推定されるポインティング位置を算出するように構成されている。そして、前記演算機構は算出したポインティング位置にカーソルを適宜表示していく。

言い換えると、このようなモーションセンサを用いたポインティング方法は、リモコンの指示方向が実際にテレビ画面上を指している絶対的な位置を直接測定するのではなく、モーションセンサから得られる相対的な測定量である姿勢変化量からポインティング位置を算出している。

このため、テレビとリモコンの位置関係が変化すると、ユーザがリモコンの指示方向によって実際にテレビ画面に対して指示している点と、前記基準姿勢と測定される姿勢変化量に基づいて算出されたポインティング位置とが大きくずれてしまう。こうなると、ユーザはリモコンを動かすことでカーソルは移動させられるものの、リモコンによって実際に指示している点と乖離することになるので、ユーザの使用感が悪化してしまう。また、テレビとリモコンの位置関係が変化しなかったとしても、前記演算機構がモーションセンサにより測定される姿勢変化量からリモコンの姿勢を推定する際に発生する推定誤差が累積するため、リモコンが実際に指示している点と推定されるポインティング位置には乖離が発生してしまう。

そこで、従来、ユーザがリセットボタンを押したり、リモコンを激しく振ったりする等の特殊動作をキャリブレーション開始動作として前記演算機構に予め設定しておき、そのような特殊動作がユーザによって入力されるごとに基準姿勢のキャリブレーションが行われて、リモコンの指示している場所と推定されるポインティング位置のズレが解消されるようにしている。なお、このキャリブレーションを開始する際に、ユーザはリモコンの指示方向をテレビ画面の中央部に予め向けておかなくてはならない等の制約もある。

しかしながら、このようなものではユーザはリモコンで指示している点とカーソルが表示される推定されたポインティング点との誤差が大きく、不便等を感じて初めてキャリブレーションを開始させることになる。したがって、ユーザはリモコンの操作について定期的に不快になってしまうことは避けられない。また、このようなキャリブレーションを開始させるための動作を定期的にユーザが行わなくてはならないことも操作がめんどうであるといった使用感の低下につながってしまう。

特表２００７−５０９４４８号公報

そこで、本発明は上述したような問題を鑑みてなされたものであり、相対的な測定量に基づいてポインティング位置を推定する相対ポインティング方式であっても、自動的に基準姿勢がキャリブレーションされて、常にユーザが指示したい点と推定されるポインティング点とを略一致し続けさせることができるポインティング装置、ポインティング方法、及び、ポインティング装置用プログラムを提供することを目的とする。

すなわち、本発明のポインティング装置は、ユーザによって指示方向が変更される被操作体と、前記被操作体に設けられており、当該被操作体の姿勢変化量を測定する姿勢変化量測定機構と、前記被操作体の基準姿勢と、前記姿勢変化量測定機構で測定される姿勢変化量と、に基づいて前記被操作体がポインティング対象上において指し示す位置であるポインティング位置を推定するポインティング位置推定部と、前記ポインティング対象上の前記ポインティング位置にオブジェクトを表示する表示部と、を備えたポインティング装置であって、前記被操作体又は前記ポインティング対象のいずれか一方に設けられており、所定の配置パターンを有する複数の光源を具備するマーカ機構と、前記複数の光源を撮像可能となるように前記ポインティング対象又は前記被操作体のいずれか一方に設けられたカメラと、前記カメラにより撮像された画像中における前記光源の個数又は位置に基づいて、前記被操作体の撮像時の姿勢である撮像時姿勢を推定する撮像時姿勢推定部と、前記基準姿勢を、前記撮像時姿勢推定部により推定された撮像時姿勢にキャリブレーションするキャリブレーション部とを備えたことを特徴とする。

このようなものであれば、前記撮像時姿勢推定部が、前記カメラにより撮像される画像中における複数の光源の個数や位置に基づいて、前記被操作体の撮像時姿勢を推定し、前記キャリブレーション部が前記基準姿勢を推定された撮像時姿勢にキャリブレーションするので、ユーザが前記被操作体を所定の基準姿勢に保った状態でキャリブレーションを開始させるといった操作を行わずに自動で定期的にキャリブレーションを実行することができる。

より具体的には、ユーザに把持されている前記被操作体の輪郭線そのものをカメラにより撮像された画像中から抽出して、その撮像時姿勢を推定することは非常に難しく、演算負荷等も大きいものになる。一方、本発明は画像中における前記複数の光源の個数又は位置に基づいて前記被操作体の撮像時姿勢を推定するので、例えばパターン判定等により比較的簡単に撮像時姿勢を得ることができる。このことから、従来であれば被操作体の姿勢を直接取得することが難しく、ユーザに被操作体を基準姿勢に保ってもらった上でキャリブレーションを開始しなくてはならなかったところを、本発明は撮像時姿勢に基づいて基準姿勢を適宜自動的にキャリブレーションできる。

したがって、本発明であれば従来のようにユーザによるキャリブレーション開始動作を省略できる。また、自動で定期的に基準姿勢をキャリブレーションすることができるので、ユーザが使用している間に前記被操作体の指示方向が指示している点と、推定されるポインティング点とが大きく乖離するのを防ぎ、各点を常に略一致した状態に保つことができる。したがって、ユーザが指示したい点と推定されるポインティング点が大きく異なることがなくなり、ユーザの使用感を常に良いものに保つことができる。

前記カメラにより撮像された画像中の光源の個数及び位置から、前記被操作体の複数のそれぞれ異なる撮像時姿勢を判定できるようにするとともに、各撮像時姿勢を明確に区別して判定できるようにするには、前記マーカ機構が前記被操作体に設けられており、前記カメラが前記ポインティング対象に設けられており、ポインティング対象上に複数区成されたエリアと、各エリアに対して前記被操作体の指示方向が交差した状態でそれぞれ撮像された各画像中における光源の数及び位置が、それぞれ異なるように構成されていればよい。

前記カメラにより撮像された画像中の光源の個数及び位置から、前記被操作体の撮像時姿勢を簡易なパターン判定によって判定できるようにするには、前記撮像時姿勢推定部が、画像中における前記光源の個数数及び位置と、その画像が撮像された時の撮像時姿勢との対応関係を記憶する対応関係記憶部と、前記対応関係記憶部を参照し、前記カメラにより撮像された画像中における前記光源の個数及び位置と対応する撮像時姿勢を出力する撮像時姿勢出力部と、を備えたものであればよい。

各エリアと、各エリアに対して前記被操作体の指示方向が交差した状態で撮像される画像中の光源の数及び位置とが、固有の関係性を有するようにし、各エリアを指示している状態での被操作体の撮像時姿勢を一意に決定できるようにするためには、交差前記マーカ機構が、前記複数の光源と同数の開口部を有する遮光体をさらに有し、前記遮光体が前記複数の光源の光射出側に所定距離離間しているとともに、各開口部が各光源の光軸上に配置されていればよい。このようなものであれば、前記被操作体の姿勢によって前記光源から射出された光がどの開口部を通って前記カメラに入射し撮像されるかを変化させることができ、前記被操作体の姿勢によって画像中の光源の個数及び位置を変化させることができる。したがって、撮像される画像中の光源の個数及び位置と、前記被操作体の姿勢を一意に関連付けることができ、撮像される画像から被操作体の複数の撮像時姿勢をそれぞれ判定することができる。

前記被操作体が、鉛直軸回り及び水平軸回りに傾きを有する姿勢を取っていたとしても撮像時姿勢を判別できるようにするには、前記複数の光源が、それぞれの光軸が平行となるように正方形状に配置された４つのＬＥＤであり、前記遮光体が正方形状に配置された４つの前記開口部を有するものであればよい。このようなものであれば、４つの光源に対して４つの開口部が存在するので、各光源がどの開口部を通過して主に射出されるかについて９つのパターンを作ることができ、各軸回りにプラスの傾きがある、傾きがない、マイナスの傾きがある、の３×３＝９パターンの撮像時姿勢を過不足無く判定できる。

従来のようにユーザにキャリブレーション開始操作を定期的に強いることがなく、常に前記被操作体の指示方向の指示している点と推定されるポインティング点が略一致し続けるようにするには、ユーザによって指示方向が変更される被操作体と、前記被操作体に設けられており、当該被操作体の姿勢変化量を測定する姿勢変化量測定機構と、前記被操作体又は前記ポインティング対象のいずれか一方に設けられており、所定の配置パターンを有する複数の光源を具備するマーカ機構と、前記複数の光源を撮像可能となるように前記ポインティング対象又は前記被操作体のいずれか一方に設けられたカメラと、を備えたポインティング装置を用いたポインティング方法であって、前記被操作体の基準姿勢と、前記姿勢変化量測定機構で測定される姿勢変化量と、に基づいて前記被操作体がポインティング対象上において指し示す位置であるポインティング位置を推定するポインティング位置推定ステップと、前記ポインティング対象上の前記ポインティング位置にオブジェクトを表示する表示ステップと、前記カメラにより撮像された画像中における前記光源の個数又は位置に基づいて、前記被操作体の撮像時の姿勢である撮像時姿勢を推定する撮像時姿勢推定ステップと、前記基準姿勢を、前記筐体の指示方向が前記エリア推定ステップで推定されたエリアを指示する姿勢にキャリブレーションするキャリブレーションステップと、を備えたことを特徴とするポインティング方法を用いればよい。

既存の相対ポインティング方式のポインティング装置に対して、自動で定期的にポインティング位置を推定するための基礎となる基準姿勢のキャリブレーションが行われるように機能を追加するには、ユーザによって指示方向が変更される被操作体と、前記被操作体に設けられており、当該被操作体の姿勢変化量を測定する姿勢変化量測定機構と、前記被操作体又は前記ポインティング対象のいずれか一方に設けられており、所定の配置パターンを有する複数の光源を具備するマーカ機構と、前記複数の光源を撮像可能となるように前記ポインティング対象又は前記被操作体のいずれか一方に設けられたカメラと、を備えたポインティング装置に用いられるポインティング装置用プログラムであって、前記被操作体の基準姿勢と、前記姿勢変化量測定機構で測定される姿勢変化量と、に基づいて前記被操作体がポインティング対象上において指し示す位置であるポインティング位置を推定するポインティング位置推定部と、前記ポインティング対象上の前記ポインティング位置にオブジェクトを表示する表示部と、前記カメラにより撮像された画像中における前記光源の個数又は位置に基づいて、前記被操作体の撮像時の姿勢である撮像時姿勢を推定する撮像時姿勢推定部と、前記基準姿勢を、前記エリア推定部で推定されたエリアを指示する姿勢にキャリブレーションするキャリブレーション部とを備えたことを特徴とするポインティング装置用プログラムをインストールすればよい。例えばポインティング装置用プログラムは、当該ポインティング装置用プログラムが記録された記録媒体を用いてインストールされるものである。記録媒体としてはＣＤ、ＤＶＤ、ＵＳＢメモリ等様々なものが考えられる。

このように本発明のポインティング装置によれば、前記カメラで撮像される画像中の光源の数及び位置に基づいて、前記被操作体の撮像時姿勢を推定し、その撮像時姿勢に基づいてポインティング位置の推定の基礎となる基準姿勢をキャリブレーションするので、キャリブレーション動作を全て自動化する事が可能となる。すなわち、キャリブレーション前にユーザが前記被操作体を基準姿勢に保ったり、適宜、キャリブレーションの開始のためのトリガーとして特殊動作を行ったりする必要をなくすことができる。また、定期的に基準姿勢をキャリブレーションすることができるので、前記被操作体の指示方向が指示する位置と、推定されるポインティング位置とが大きく乖離する前に再び一致させられるので、相対ポインティング方式であっても実質的に各点を一致させ続けることが可能となる。

本発明の一実施形態に係るポインティング装置を示す模式的斜視図。 同実施形態におけるポインティング装置の機能ブロック図。 同実施形態における基準姿勢と操作角度の関係を示す模式図。 同実施形態におけるリモコンが各エリアを指し示した際に撮像されるＬＥＤの個数と位置の関係を示す模式図。 同実施形態におけるリモコンが各エリアを指し示した状態で実際に撮像した実験結果。 同実施形態においてテレビ画面に対してリモコンが正対している場合に撮像されるＬＥＤを示す模式的斜視図。 同実施形態においてテレビ画面に対してリモコンが水平軸回りに上側へ回転している場合に撮像されるＬＥＤを示す模式的斜視図。 同実施形態においてテレビ画面に対してリモコンが水平軸回りに上側へ回転しているとともに、鉛直軸回りに反時計回りに回転している場合に撮像されるＬＥＤを示す模式的斜視図。

本発明の一実施形態に係るポインティング装置１００について図１乃至８を参照しながら説明する。

図１の斜視図に示すように本実施形態のポインティング装置１００は、ポインティング対象であるテレビＴと、前記テレビＴに設置されたカメラＣと、被操作体である前記テレビＴを操作するためのリモコンＲとを用いて構成してあり、テレビ画面中の任意の点をユーザがリモコンＲでポインティングする目的で使用されるものである。

より具体的には、このポインティング装置１００は前記リモコンＲ内に加速度センサ３２、角速度センサ３３といったモーションセンサを備えたものであり、ユーザによるリモコンＲの指示方向ＰＬ（仮想指示直線）の変化を前記モーションセンサから測定するよう構成してある。そして、当該ポインティング装置１００は、測定値から現在リモコンＲによって指示されていると推定されるポインティング点にテレビ画面上の点にオブジェクトを表示、移動させるように構成してある。

また、本実施形態のポインティング装置１００は、いわゆる相対ポインティング方式のものであるが、ポインティング位置の推定の基礎となる前記リモコンＲの基準姿勢のキャリブレーションが自動的に行われるようにしてあり、キャリブレーション開始のためにユーザが特殊な動作を行う必要がないようにしてある。

本実施形態のポインティング装置１００を構成する各部について図２の機能ブロック図を参照しながら説明する。なお、テレビＴ及びリモコンＲ本来の機能に関する構成については説明を省略している。

前記ポインティング装置１００の物理的な構成としては、前記リモコンＲと、前記カメラＣと、前記テレビＴ内に付加された演算機構Ｅとからなる。前記演算機構Ｅは、前記リモコンＲで測定された当該リモコンＲの動き、姿勢変化に基づいてポインティング位置を推定し、テレビ画面中に表示されるオブジェクトであるカーソルの位置を移動及び表示させるものである。また、当該演算機構Ｅは、前記カメラＣで撮像される画像に基づいて、ポインティング位置の推定の基礎となる前記リモコンＲの基準姿勢をキャリブレーションする。

各部の詳細について説明する。前記リモコンＲは、内部に姿勢変化量を測定する姿勢変化量測定機構３を備え、その先端部に前記カメラＣで前記リモコンＲを撮像する際のマーカとなるマーカ機構Ｍを備えたものである。前記姿勢変化量測定機構３は、地磁気センサ３１と、モーションセンサたる加速度センサ３２及び角速度センサ３３とからなる。また、当該リモコンＲは概略細直方体形状を有しており、その一側面にチャンネル選択等にも用いられる操作ボタンが配列してあり、その先端面が向く方向を指示方向ＰＬとして各センサにより検出されるようにしてある。

前記地磁気センサ３１は、地磁気に基づいて前記リモコンＲが水平面内において指示している方向を検出するためのものである。本実施形態では、この地磁気センサ３１が示している方向を水平面内の回転を検出するための基準として取得するようにしてある。なお、ユーザが前記リモコンＲの指示方向ＰＬを変化させた際の姿勢変化についてはこの地磁気センサ３１ではなく、時間分解能の高い前記モーションセンサによって測定するようにしてある。

前記加速度センサ３２は、前記リモコンＲがユーザにより動かされた際の加速度を測定するためのものである。この加速度は前記角速度センサ３３で測定された角速度を補償するために用いられる。

前記角速度センサ３３は、前記リモコンＲの両端面を通る中心軸をロール軸、操作ボタンの配列されていない対向する二側面に垂直な軸をピッチ軸（水平軸）、操作ボタンの配列された側面に垂直な軸をヨー軸（鉛直軸）として定義した場合、ピッチ軸回りの角速度（ピッチング）と、ヨー軸回りの角速度（ヨーイング）を測定するものである。すなわち、この角速度センサ３３はピッチ軸及びヨー軸回りの角速度を検出できるように２つの検出素子を備えたものである。

前記マーカ機構Ｍは、前記リモコンＲの先端部において概略直方体状の内部空間内に収容された４つの光源であり、それぞれ発光色の異なるＬＥＤ１と、前記複数のＬＥＤ１と同数の開口部２１を有する遮光体２とからなる。

前記４つのＬＥＤ１は、リモコンＲの先端面に垂直な方向から見た場合に概略正方形をなすように配置してある。なお、本実施形態では４色のＬＥＤ１を用いているが全て同色の物を用いても構わない。

前記遮光体２は、前記複数のＬＥＤ１の光射出側に所定距離離間しているとともに、各開口部２１が各ＬＥＤ１の光軸上に配置してある。すなわち、各開口部２１もリモコンＲの先端面に垂直な方向から見た場合に概略正方形をなすように配置してある。後述するようにこのマーカ機構Ｍは、テレビ画面に対して正対している場合には４つのＬＥＤ１からの光が前記カメラＣで撮像され、リモコンＲがテレビ画面に対して所定の角度を持って傾斜した姿勢を有している場合には、その傾斜方向に応じて前記カメラＣによって撮像されるＬＥＤ１の個数及び位置が変化する。

前記カメラＣは、前記テレビＴの上部ベゼル中央部に配置してあり、テレビ画面に対して垂直な方向に向かって撮像するようにしてある。すなわち、このカメラＣは所定の撮像範囲を立体角で有しており、主にテレビ画面に対して垂直な方向に進行する光のうちカメラＣ内に入射するものだけが明るく撮像されることになる。

前記演算機構Ｅは、ＣＰＵ、メモリ、入出力機器、Ａ／Ｄ、Ｄ／Ａコンバータ等を備えたいわゆるコンピュータであって、各種機器が協業し、前記メモリに格納されているポインティング装置１００用プログラムが実行されることによって少なくとも、ポインティング位置推定部４、表示部５、撮像時姿勢推定部６、キャリブレーション部７としての機能を発揮するように構成してある。

まず、基本的なポインティング位置の算出に関連する各部について説明する。

前記ポインティング位置推定部４は、前記リモコンＲの基準姿勢と、前記地磁気センサ３１、前記加速度センサ３２、前記角速度センサ３３で測定される前記リモコンＲの姿勢変化量と、に基づいてテレビ画面上のポインティング位置を算出するものである。当該ポインティング位置推定部４は、前記リモコンＲが基準姿勢の場合の指示方向ＰＬを基準指示方向ＢＰＬとし、この基準指示方向ＢＰＬに対して現在の指示方向ＰＬがなすピッチ角及びヨー角であるポインティング角度θを算出するポインティング角度算出部４１と、前記ポインティング角度算出部４１で算出されたポインティング角度θに基づいて現在の指示方向ＰＬと前記テレビ画面とが交差する点であるポインティング点を算出する座標算出部４２とから構成してある。

前記ポインティング角度算出部４１におけるポインティング角度θの算出について詳述する。前記リモコンＲには、図３（ａ）に示すように前記基準姿勢の場合の基準指示方向ＢＰＬを中心とする立体角によって角度変化を操作入力として受け付ける操作角度範囲ＯＲが予め設定してある。例えば、リモコンＲがテレビ画面に対して正対しており、基準指示方向ＢＰＬがテレビ画面の中央を指している場合には、その基準姿勢からヨー角又はピッチ角を変化させて指示方向ＰＬの指す点がベゼルの上下左右の近傍となる角度をもとにして操作角度範囲ＯＲを設定してある。

なお、図３（ａ）に示す基準姿勢は一例であって、後述するキャリブレーション部７によって前記リモコンＲの指示方向ＰＬに応じて９種類の基準姿勢にキャリブレーションされるようにしてある。

そして、このポインティング角度算出部４１は、図３（ｂ）に示すように操作角度範囲ＯＲ内において現在の指示方向ＰＬが基準姿勢時の基準指示方向ＢＰＬに対してなす角度を算出する。具体的には、前記基準姿勢の状態から前記角度変化量測定機構３により得られる補正後の角速度を累積的に積分していくことにより逐次、現在の指示方向ＰＬと基準指示方向ＢＰＬとがなす角度であるポインティング角度θを算出する。

前記座標算出部４２は、前記基準指示方向ＢＰＬがテレビ画面上において指していると推定される基準点と、現在のポインティング角度θに基づいて、現在の指示方向ＰＬがテレビ画面上において指していると推定されるポインティング点の座標を算出するものである。

図２に示される前記表示部５は、前記座標算出部４２で算出されたポインティング位置のテレビ画面上の座標に、カーソルを移動表示させるものである。

次に前記ポインティング位置の推定の基礎となっている基準姿勢のキャリブレーションに関連する各部について図２及び図４等を参照しながら説明する。

前記撮像時姿勢推定部６は、前記カメラＣにより撮像された画像中における前記ＬＥＤ１の個数又は位置に基づいて、前記被操作体の撮像時の姿勢である撮像時姿勢を推定するものである。より具体的には、前記撮像時姿勢推定部６は、前記テレビ画面の中央部に区成された９つの正方形状のエリアＡについて何れをリモコンＲの指示方向ＰＬが指示しているかを判別し、そのエリアＡを指示するために必要な姿勢を推定する。前記９つのエリアＡは、図１等に示されるように上下方向に３個分、左右方向に３個分、正方形状に並んでいるものである。なお、図１の各エリアＡについて付した番号は以下の説明及び図において登場する番号と対応させてある。そして、各エリアＡを前記リモコンＲの指示方向ＰＬが指示している状態で前記カメラＣが撮像した画像中に表れる前記ＬＥＤ１の個数及び位置は、図４に示すようそれぞれが固有となる。このような指示されているエリアＡと、画像中のＬＥＤ１の個数及び位置との間に固有の関係が表れるのは、前記マーカ機構Ｍの構成によってもたらせるものであるが詳細については後述する。

前記撮像時姿勢推定部６の構成について詳述すると、画像中における前記ＬＥＤ１の個数数及び位置と、その画像が撮像された時の撮像時姿勢との対応関係を記憶する対応関係記憶部６１と、前記対応関係記憶部６１を参照し、前記カメラＣにより撮像された画像中における前記ＬＥＤ１の個数及び位置と対応する撮像時姿勢を出力する撮像時姿勢出力部６２と、から構成してある。

前記対応関係記憶部６１は、図４に示すようなリモコンＲが指し示しているエリアＡと、そのエリアＡを指している場合に撮像された画像をそれぞれ基準画像として記憶しているものである。さらに、各基準画像が撮像されたときにリモコンＲの姿勢についても各画像に紐づけて記憶している。例えばリモコンＲがテレビ画面中央部の５番のエリアＡを指している場合には、リモコンＲはテレビ画面と正対しているので、５番のエリアＡを指している場合の画像に紐づけて、ピッチ角及びヨー角をゼロとして記憶している。また、前記対応関係記憶部６１は、２番、８番のエリアＡをリモコンＲが指している場合の画像に紐づけて、ピッチ角が所定値、ヨー角がゼロとして記憶しており、４番、６番のエリアＡをリモコンＲが指している場合の基準画像に対しては、ピッチ角がゼロ、ヨー角が所定値として記憶している。その他、１番、３番、７番、９番の対角エリアＡの基準画像についてもそれぞれ、固有のピッチ角及びヨー角をリモコンＲの姿勢として紐づけて記憶している。

前記撮像時姿勢出力部６２は、撮像された画像中のＬＥＤ１の数及び画像中の位置とパターンが一致するものを前記対応関係記憶部６１から取得し、その画像に紐づけられている姿勢を前記撮像時姿勢として出力するようにしてある。例えば、前記対応関係記憶部６１に記憶されている基準画像と、現在撮像されている画像とが完璧にマッチングしていない場合は、最も近い基準画像に紐づけられている姿勢をそのまま撮像時姿勢として使用してもよい。基準画像中のＬＥＤ１の位置と、現在撮像されているＬＥＤ１の位置に基づいて紐づけられている姿勢を補正して撮像時画像としてもよい。

前記キャリブレーション部７は、前記基準姿勢を、前記撮像時姿勢推定部６により推定された撮像時姿勢にキャリブレーションするよう構成してある。このキャリブレーション部７によるキャリブレーションは所定時間ごとに行われるようにしてある。

次に、本実施形態の前記マーカ機構Ｍを用いることにより各エリアＡを指し示した状態で撮像される画像中のＬＥＤ１の個数及び位置が固有になる理由について説明する。なお、本実施形態のポインティング装置１００で実際に各エリアＡを指し示した状態で撮像したときの写真を図５に示してある。以降の説明では、各ＬＥＤ１について区別がつくように、テレビＴ側からリモコンＲの先端面を見た場合に左上に配置されているＬＥＤ１をＬＥＤ１（緑）、右上に配置されているＬＥＤ１をＬＥＤ（白）、左下に配置されているＬＥＤ１をＬＥＤ（赤）、右下に配置されているＬＥＤ１をＬＥＤ（青）とも呼称する。

まず、前記リモコンＲがテレビ画面に正対しており、中央の５番のエリアＡを指している場合について図６を参照しながら説明する。この場合、各色のＬＥＤ１から射出された光は、自身の光軸上にある開口部２１を通って出ていくことになるため、４色とも前記カメラＣにより撮像されることになる。

次に、前記リモコンＲが５番のエリアＡを指している状態からピッチ角が上向きに変化して２番のエリアＡを指している場合について図７を参照しながら説明する。この場合、前記リモコンＲが傾斜しているため、４つのＬＥＤ１のうち左上にあるＬＥＤ（緑）から射出された光は、左下にあるＬＥＤ（白）の光軸上にある左下の開口部２１を通って２番のエリアＡに到達し、右上にあるＬＥＤ（白）から射出された光は、右下にあるＬＥＤ（青）の光軸上にある右下の開口部２１を通って２番のエリアＡに到達する。一方、左下と右下にあるＬＥＤ（赤）、ＬＥＤ（青）はいずれの開口部２１を通っても２番のエリアＡに到達することはできず、すべて前記遮光体２により遮光されることになる。したがって、図４、図５に示されるように画像中の下側に２つのＬＥＤ１のみが撮像されることになる。この２番のエリアＡを指している場合に生じている現象は、５番のエリアＡに対して上下左右方向にある４番、６番、８番のエリアＡについても同様に成り立ち、それぞれ２個のＬＥＤ１のみが撮像される点で共通している。より具体的には、２番については画像中の下半分、４番については画像中の右半分、６番については画像中の左半分、８番については画像中の上半分の位置にＬＥＤ１が２個撮像されるので、５番のエリアＡに対して上下左右方向のエリアＡをリモコンＲで指した場合にそれぞれを個別に判別できることが分かる。

次に前記リモコンＲが５番のエリアＡを指している状態からピッチ角が上向きに変化し、さらにヨー角が反時計まわりに変化して３番のエリアＡが指示されている場合について図８を参照しながら説明する。この場合、図７に示すよう４つのＬＥＤ１のうち右上にあるＬＥＤ（白）がその対角線上にあるＬＥＤ（赤）の光軸上に開口する開口部２１を通って３番のエリアＡに到達することができる。一方、その他の３つのＬＥＤ１についてはいずれの開口部２１を通っても３番のエリアＡに到達することができず、前記遮光体２により遮光されることになる。したがって、図４、図５に示されるように画像中の左下に１個のＬＥＤ１のみが撮像されることになる。この３番のエリアＡを指している場合に生じる現象は、１番、７番、９番のエリアＡについても同様に成り立ち、それぞれ１個のＬＥＤ１のみが撮像される点で共通する。より具体的には、１番については画像中の右下部分、３番については左下部分、７番については右上部分、９番については左上部分にＬＥＤ１が１個撮像されるので、各エリアＡをリモコンＲで指した場合にそれぞれを個別に判別することができる。

これらのことから、本実施形態のマーカ機構Ｍによれば各エリアＡをリモコンＲで指した場合に撮像される画像中のＬＥＤ１の個数及び位置が固有となるため、その撮像された画像に基づいて、前記撮像時姿勢を前記撮像時姿勢推定部６において推定することができる。

つまり、画像に基づいて現在のリモコンＲの絶対的な姿勢をパターン判別から推定することができるので、ユーザが指定された姿勢にリモコンＲを動かさなくてもこの推定された撮像時画像に基づいてポインティング位置を推定する基礎となる基準姿勢をキャリブレーションすることができる。

したがって、本実施形態のポインティング装置１００であれば従来のようにユーザによるキャリブレーション開始動作を必要としないようにでき、自動で定期的に基準姿勢をキャリブレーションすることができる。このことから、ユーザが使用している間に前記リモコンＲの指示方向ＰＬが指示している点と、推定されるポインティング点とが大きく乖離するのを防ぎ、各点を常に略一致した状態に保つことができる。

また、上述したような画像中のＬＥＤ１の個数と位置によるパターンマッチングによってリモコンＲの撮像時姿勢を推定するので、演算負荷を低くしつつ、姿勢の推定精度を高めることができる。

その他の実施形態について説明する。

前記実施形態では、テレビとリモコンを用いたポインティング装置について説明したが、プロジェクターやパソコン等を利用したその他の相対ポインティング方式のポインティング装置にも本発明を同様に用いることができる。

前記実施形態では、テレビにカメラが設けられており、リモコンにマーカ機構が設けられていたが、この関係は逆であっても構わない。また、マーカ機構の光源は４つに限られるものではなく、複数であればよい。すなわち、カメラで撮像される画像中の光源の個数及び位置が、前記被操作体の指示方向によって固有の関係にあるように設定されていればよい。

前記実施形態では、現在リモコンが指示しているエリアに応じてそれぞれ異なる基準姿勢にキャリブレーションされているが、例えば、現在リモコンが指示しているエリアに応じて合わせて操作可能範囲について同様に適宜変更するようにしてもよい。

その他、本発明の趣旨に反しない限りにおいて様々な変形や実施形態の組み合わせを行っても構わない。

１００・・・ポインティング装置
Ｔ ・・・テレビ（ポインティング対象）
Ｃ ・・・カメラ
Ｒ ・・・リモコン（被操作体）
Ｍ ・・・マーカ機構
１ ・・・ＬＥＤ（光源）
２ ・・・遮光体
２１ ・・・開口部
３ ・・・姿勢変化量測定機構
３１ ・・・地磁気センサ
３２ ・・・加速度センサ
３３ ・・・角速度センサ
４ ・・・ポインティング位置推定部
４１ ・・・ポインティング角度算出部
４２ ・・・座標算出部
５ ・・・表示部
６ ・・・撮像時姿勢推定部
６１ ・・・対応関係記憶部
６２ ・・・撮像時姿勢出力部
７ ・・・キャリブレーション部
ＰＬ ・・・指示方向
ＢＰＬ・・・基準指示方向

Claims (7)

1. ユーザによって指示方向が変更される被操作体と、
   前記被操作体に設けられており、当該被操作体の姿勢変化量を測定する姿勢変化量測定機構と、
   前記被操作体の基準姿勢と、前記姿勢変化量測定機構で測定される姿勢変化量と、に基づいて前記被操作体がポインティング対象上において指し示す位置であるポインティング位置を推定するポインティング位置推定部と、
   前記ポインティング対象上の前記ポインティング位置にオブジェクトを表示する表示部と、を備えたポインティング装置であって、
   前記被操作体又は前記ポインティング対象のいずれか一方に設けられており、所定の配置パターンを有する複数の光源を具備するマーカ機構と、
   前記複数の光源を撮像可能となるように前記ポインティング対象又は前記被操作体のいずれか一方に設けられたカメラと、
   前記カメラにより撮像された画像中における前記光源の個数又は位置に基づいて、前記被操作体の撮像時の姿勢である撮像時姿勢を推定する撮像時姿勢推定部と、
   前記基準姿勢を、前記撮像時姿勢推定部により推定された撮像時姿勢にキャリブレーションするキャリブレーション部とを備えたことを特徴とするポインティング装置。
2. 前記マーカ機構が前記被操作体に設けられており、前記カメラが前記ポインティング対象に設けられており、
   ポインティング対象上に複数区成されたエリアと、各エリアに対して前記被操作体の指示方向が交差した状態でそれぞれ撮像された各画像中における光源の数及び位置が、それぞれ異なるように構成されている請求項１記載のポインティング装置。
3. 前記撮像時姿勢推定部が、
   画像中における前記光源の個数数及び位置と、その画像が撮像された時の撮像時姿勢との対応関係を記憶する対応関係記憶部と、
   前記対応関係記憶部を参照し、前記カメラにより撮像された画像中における前記光源の個数及び位置と対応する撮像時姿勢を出力する撮像時姿勢出力部と、を備えた請求項１又は２記載のポインティング装置。
4. 前記マーカ機構が、前記複数の光源と同数の開口部を有する遮光体をさらに有し、
   前記遮光体が前記複数の光源の光射出側に所定距離離間しているとともに、各開口部が各光源の光軸上に配置されている請求項１乃至３いずれかに記載のポインティング装置。
5. 前記複数の光源が、それぞれの光軸が平行となるように正方形状に配置された４つのＬＥＤであり、
   前記遮光体が正方形状に配置された４つの前記開口部を有する請求項４記載のポインティング装置。
6. ユーザによって指示方向が変更される被操作体と、前記被操作体に設けられており、当該被操作体の姿勢変化量を測定する姿勢変化量測定機構と、前記被操作体又は前記ポインティング対象のいずれか一方に設けられており、所定の配置パターンを有する複数の光源を具備するマーカ機構と、前記複数の光源を撮像可能となるように前記ポインティング対象又は前記被操作体のいずれか一方に設けられたカメラと、を備えたポインティング装置を用いたポインティング方法であって、
   前記被操作体の基準姿勢と、前記姿勢変化量測定機構で測定される姿勢変化量と、に基づいて前記被操作体がポインティング対象上において指し示す位置であるポインティング位置を推定するポインティング位置推定ステップと、
   前記ポインティング対象上の前記ポインティング位置にオブジェクトを表示する表示ステップと、
   前記カメラにより撮像された画像中における前記光源の個数又は位置に基づいて、前記被操作体の撮像時の姿勢である撮像時姿勢を推定する撮像時姿勢推定ステップと、
   前記基準姿勢を、前記筐体の指示方向が前記エリア推定ステップで推定されたエリアを指示する姿勢にキャリブレーションするキャリブレーションステップと、を備えたことを特徴とするポインティング方法。
7. ユーザによって指示方向が変更される被操作体と、前記被操作体に設けられており、当該被操作体の姿勢変化量を測定する姿勢変化量測定機構と、前記被操作体又は前記ポインティング対象のいずれか一方に設けられており、所定の配置パターンを有する複数の光源を具備するマーカ機構と、前記複数の光源を撮像可能となるように前記ポインティング対象又は前記被操作体のいずれか一方に設けられたカメラと、を備えたポインティング装置に用いられるポインティング装置用プログラムであって、
   前記被操作体の基準姿勢と、前記姿勢変化量測定機構で測定される姿勢変化量と、に基づいて前記被操作体がポインティング対象上において指し示す位置であるポインティング位置を推定するポインティング位置推定部と、
   前記ポインティング対象上の前記ポインティング位置にオブジェクトを表示する表示部と、
   前記カメラにより撮像された画像中における前記光源の個数又は位置に基づいて、前記被操作体の撮像時の姿勢である撮像時姿勢を推定する撮像時姿勢推定部と、
   前記基準姿勢を、前記エリア推定部で推定されたエリアを指示する姿勢にキャリブレーションするキャリブレーション部とを備えたことを特徴とするポインティング装置用プログラム。