JP2007086995A - ポインティング装置 - Google Patents

Abstract

【課題】隅が撮像範囲に入っていなくても座標の計算を可能にし、リモコンを回転させても誤認識が起こらないようにする。
【解決手段】カメラを搭載したリモコンで画面を撮影するポインティング装置において、複数の位置に発光部を配置し、あらかじめ決められたタイミングで発光部を点滅させ、リモコン側のカメラで撮影する。発光部の位置と点滅のタイミングにより、撮影した画像から指示座標を計算することができる。
【選択図】 図１

Description

本発明は、例えば、テレビ画面に表示されている項目、座標などを選択するために使用されるポインティング装置に関するものである。

従来、テレビ画面に表示されているメニューなどの項目を選択する手段として、リモコンの矢印ボタンが一般的に用いられている。だが、この手法は直感的でなく手間がかかるため、リモコンを画面に向けることで直接選択を行う技術が開発されている。これらの技術のうち、特許文献１には、リモコンにカメラを搭載し、その画像から指示座標を計算する技術が開示されている。

特許文献１に記載の発明では、画面の４隅に赤外線発光ダイオードを配置し、その座標を撮影画像の輝度によって検出する。カメラは光軸とリモコンの指示の方向が一致するように配置され、撮影画像の中心が指示座標となっている。発光ダイオードの４点の座標と画像の中心を、テレビ画面の長方形の頂点の座標に対応するように座標変換を行うことにより、ユーザの指示座標を得る。また、画面の正面付近から指示を行い、カメラ側での画面の長方形のゆがみが小さい状態ならば、４点のうち１点が隠れても認識が可能である。
このユーザの指示座標を画面にカーソルとして表示することで、ユーザに対して指示座標を知らせている。
特開２００３−２０８２６０号公報

従来手法では、図１０のように、画面の４隅に赤外線発光ダイオード１８を配置しており、このうち少なくとも３点がカメラの撮像範囲に入っていなければ、指示座標を計算することができない。よって、画面全体を指示可能にするためには、カメラの撮像範囲は画面の横幅よりも大きい範囲が必要となり、大画面テレビでの使用、近距離での使用が困難である。
また、画面の向きが認識できないため、リモコンを回転させると誤認識する。また、画面の周囲に熱源などの赤外線を発するものが存在した場合に誤認識が発生するといった問題点があった。

本発明のポインティング装置は、リモコンで遠隔制御可能な電子機器の前面の複数の異なる位置に発光部を配置して、これらを異なるタイミングで点滅させ、これをリモコンに搭載したカメラで撮影し、撮影画像中の複数の発光部の点滅タイミングと位置関係をもとに、電子機器の前面側の指示座標を計算することを特徴とする。

本発明では、前面に複数の発光部を配置し、それらを異なるタイミングで点滅させ、その点滅に同期してカメラで撮影し、複数の発光部の点滅タイミングと位置関係をもとに、電子機器の前面側を指示するリモコンの指示座標を計算することにより、隅が撮像範囲に入っていなくても座標の計算が可能となり、リモコンを回転させても誤認識が起こらない。

以下、図面を用いて、本発明の実施の形態について説明する。

図１には、本発明の実施例１の概要を示す。リモコンには。カメラ１３を搭載し、カメラ１３の光軸とリモコンの向きを一致させておく。テレビの周囲には、発光ダイオード１２を２つ一組として、２重に取り囲むように配置する。

まず、装置起動時の動作の流れを図８に示す。リモコン側の起動ボタン９を押すと、リモコンの送信部（赤外線通信、ＲＦ通信など）１０によって、そのことがテレビ側に伝わる。起動ボタン９の機能は必ずしも独立である必要はなく、番組表表示、メニュー表示など、選択を必要とする操作に持たせてもよい。

テレビは、これを受信部１１で受信する。次に、画面全体をいくつかの格子状のブロックに分け、予め決められた特定の順番で書き換えて選択項目を表示する。このタイミングに同期して、リモコンのカメラ１３で撮影を行い、各タイミングで撮影範囲に大きな画面変化があったかどうかを調べ、結果をテレビに送信する。これにより、画面の辺がまったく撮影範囲に入らないような近距離から選択機能を起動した場合でも、おおよその初期指示位置が認識できる。

同期の取り方は任意であり、双方向通信を用いて一回の送信ごとに同期を取る、開始のタイミングのみを合わせてクロックによって同期を取るなどの方法が考えられる。また、画面書き換えの順番は任意であり、端から順番に表示してもかまわない。目的によっては、モザイクのような演出を行うことも効果的であろう。

画面の書き換え完了後は、図９のような流れで処理を行う。画面周囲の発光ダイオード１２を予め決められた順番で周期的に点滅させる。また、指示位置にカーソルを表示し、その周囲の４点を同様に決められた順番で点滅させる。この状態で、各部の点滅のタイミングに同期して、点灯した瞬間と消灯した瞬間にカメラ１３が撮影を行い、内部のメモリに画像を蓄積する。この２枚の画像を比較して差分をとり、その輝度変化分が一定以上であった点を抽出する。差分を利用することにより、テレビ画面外の定常部分や、テレビ画面中の動きの小さな領域の情報は失われ、点滅している部分だけが残る。

これにより、各タイミングにおける光点の有無、およびカメラ画像上での座標を検出する。撮影のタイミングと光点の有無、光点の波長（赤外線か可視光か）光点のカメラ画像上での座標の情報を、送信部１０，受信部１１を用いて順次、テレビ本体に送信する。

テレビ本体では、リモコンから送信されたタイミング情報と光点の波長から、そのタイミングにおける光点がどの発光ダイオードもしくはカーソル周囲の点によるものかを特定し、光点の座標情報を蓄積する。蓄積された発光ダイオードの座標情報が４点以上になった場合、図７のように、それらを実際のテレビの画面の座標に対応させる座標変換式のパラメータを計算する。この式を撮像範囲の中心座標１６に対して適用することで、画面上における指示座標１７を計算する。カメラの光軸はリモコンの向きに一致するため、指示座標は必ず撮像範囲の中心座標に対応する。

座標変換は平面図形間の射影変換となる。その一般的な変換式は、図７に示す座標変換式となる。この式は右辺の分母分子をａ０で割ることにより、未知数を８つ持つことがわかる。よって、パラメータは最低４点の対応する座標の組（ｘ，ｙ），（Ｘ，Ｙ）があれば、８連立方程式を解くことで計算可能である。

本実施例１の場合、辺の発光ダイオードを２つ１組にしているため、図７のように辺の発光ダイオードのうち２組が撮像範囲にあれば計算が可能になる。多くの座標情報があれば、指示座標の認識精度をより高めることができる。

また、３点しか情報がない場合で、かつ、画像上の３点のなす角が、テレビ周囲の対応する３点のなす角度に近い場合、その撮影された画像はゆがみが少なく、画面の正面から撮影された状態であると考えられる。この場合、３点が平行四辺形の頂点に当たるとみなし、残りの１点の座標を推定することで、同様の座標変換を行うことが可能になる。

また、発光ダイオードの座標情報が４点未満で、かつカーソル周囲の点の座標情報が得られている場合は、辺が映らないような近距離で指示を行っていると考えられる。この場合は、カーソル周囲の４点の座標情報から、発光ダイオードと同様の方法で指示座標を計算する。カーソル周囲の４点がすべて撮像範囲に入っている必要があるが、起動時の処理でおおよその指示位置を認識しているため、その位置にカーソルを表示すれば４点とも撮像範囲に入る可能性は高いといえる。また、発光ダイオードと異なり、可視光であるためテレビに表示された画像に影響されやすく、精度が低くなることが考えられるが、メニュー表示の際にテレビの動画部分の輝度を低くするなどの工夫で精度を高めることができる。

また、カーソル表示を行いたくない用途の場合には、カーソル表示の代わりに現在選択中の選択項目の４隅を同様に点滅させることで、同様の効果を得ることができる。この方法をとった場合、認識のための点滅と、選択項目のフォーカスをユーザに示す点滅が兼ねられているため、ユーザに違和感を与えることがないというメリットがある。

ここで計算した指示座標の位置に、カーソル表示１４を移動する。これによって、ユーザに対して指示座標がフィードバックされ、ユーザはそれを参考に指示座標を修正することができる。これらの手順は、選択が終了するまで繰り返される。ユーザが望みの位置にカーソルを合わせた後、決定ボタン１５を押すと、その情報が１０，１１を通じてテレビに送信され、そのとき指示座標にある項目が選択される。

また、撮像範囲内に４点が入っているという条件を満たせば、画面外部の座標を指示している場合にも、同様の方法で座標の計算が可能である。この場合には、例えばその画面外方向への矢印を画面に表示して、画面内を指示していないことに対しユーザに注意を促すことができる。また、電子番組表の画面をスクロールさせるなどの、従来のリモコンにはない利便性の高い機能を提供することも可能である。

テレビの周囲にある周辺機器の位置をあらかじめ与えておき、その位置に指示を行った場合には対応する機器に映像入力を切り替えるなどという使い方も考えられる。

図２は、本発明の実施例１における発光ダイオードの他の配置方法を示す図である。
カメラを搭載したリモコンで画面を撮影するポインティング装置において、図２のように、画面の周囲に、すなわち、画面の隅と辺に、画面をとり囲むように多数の発光ダイオード２を配置する。そして、これらの発光ダイオード２を、それぞれ異なる予め決められたタイミングで点滅、例えば、あらかじめ決められた順番で周期的に点滅させ、これと同期したタイミングで、リモコン側のカメラで画面と発光ダイオードを撮影する。

カメラで撮影した発光ダイオードの光点がどの発光ダイオードによるものか区別できる機能を持つことにより、隅を含む最低３つの光点が撮像範囲にあれば指示座標の計算が可能となり、またリモコンを回転させても正しく計算が可能である点を特徴とする。これにより、大画面テレビや、近距離からの利用を容易にし、ユーザのさまざまな利用形態に対応することができる。

発光ダイオードの光点の座標と同時に、その光点がどの発光ダイオードによるものであるかを認識することが可能になる。なお、発光ダイオードの配置する数は任意であり、処理速度の制約が許せば数が多いほうが高精度に座標が計算できる。また点滅する順番も任意である。

上記のポインティング装置において、画面周囲の発光ダイオードの座標の判定を、直前のフレームの画像との差分処理によって行うことができる。これにより、画像の変化分のみを処理するため、点滅している発光ダイオードを容易に検出でき、また定常的に赤外線を発するものが周囲に存在しても影響を受けにくく、精度のよい認識が可能となる。

図１の実施例１において、発光ダイオードの配置は、図３のように、発光ダイオードを辺に対して垂直に２つ１組にして配置することを特徴とする。これにより、隅が撮像範囲に入っていなくても、任意の２組（発光ダイオード４つ）が撮像範囲に入っていれば、座標の計算が可能となり、装置を使用する上での制約が少なく、ユーザのさまざまな利用形態に対応できるようになる。

図４は、本発明の実施例２のポインティング装置を示す。
実施例２のポインティング装置では、発光ダイオードを用いておらず、図４に示すように、テレビ画面内の周辺部に点滅領域４を設け、これらの点滅領域４を、それぞれ異なる予め決められたタイミングで点滅させることを特徴とする。
これにより、画面の周囲に発光ダイオードを設けなくても、座標の認識が可能になり、装置を製作する上でのコストを小さくできる。

また、発光ダイオードの代わりに、テレビ画面の画像の一部を決められた周期で点滅させることでも、同様に指示座標を認識することが可能になる。赤外線発光ダイオードと異なり、点滅は可視光となるためユーザ側に見えてしまうが、座標指示に必要な画面表示や表示効果の一部とすることで、ユーザに違和感を与えることなく実現できる。また、テレビ画面の辺が撮像範囲に入らない状態においても座標の認識を実現できる。

本発明の実施例３では、カメラを搭載したリモコンで画面を撮影するポインティング装置において、画面外側周辺部の指示座標についても計算を行い、その結果を画面に表示することを特徴とする。これにより、画面内に表示されている対象物の選択だけでなく、周囲に配置されている周辺機器への指示や、方向の指示を行うことが可能となり、より利便性の高い機能を提供できる。

本発明の実施例４では、カメラを搭載したリモコンで画面を撮影するポインティング装置において、図５のように画面上の指示座標を示すカーソルの周囲を周期的に点滅させることで指示座標の認識を行うことを特徴とする。これにより、近距離で、画面の周辺部がまったく撮影範囲に入らない場合でも座標の認識が可能となり、装置を使用する上での制約が少なく、ユーザのさまざまな利用形態に対応できるようになる。

本発明の実施例５では、カメラを搭載したリモコンで画面を撮影するポインティング装置において、図６のように、テレビ画面内に表示されるメニュー項目の周囲を周期的に点滅させることで指示項目の認識を行うことを特徴とする。これにより、近距離で画面の周囲がまったく撮影範囲に入らない場合で、かつカーソルを表示する必要のない場面でも座標の認識が可能になり、装置を使用する上での制約が少なくなる。

本発明の実施例６では、カメラを搭載したリモコンで画面を撮影するポインティング装置において、装置の使用開始時に画面全体を予め決められた順番で書き換えることを特徴とする。これにより、至近距離から装置の利用を開始した場合にも初期の指示座標を正しく認識できることができ、装置を使用する上での制約が少なく、ユーザのさまざまな利用形態に対応できるようになる。

本発明では、様々な実施の形態が想定されるために、以下に、実施の形態の異なる各発明の特徴点とその効果を、以下に列挙する。

第１の発明は、カメラを搭載したリモコンで画面を撮影するポインティング装置において、画面の隅と辺に多数の発光ダイオードを配置し、これらをそれぞれ異なる予め決められたタイミングで点滅させることで、カメラに映った発光ダイオードの光点がどの発光ダイオードによるものか区別できる機能を持つことにより、隅を含む最低３つの光点が撮像範囲にあれば指示座標の計算が可能となり、またリモコンを回転させても認識が可能である点を特徴とする。これにより、大画面テレビや、近距離からの利用を容易にし、ユーザのさまざまな利用形態に対応することができる。

第２の発明は、カメラを搭載したリモコンで画面を撮影するポインティング装置において、画面周囲の発光ダイオードの座標の判定を、直前のフレームの画像との差分処理によって行うことを特徴とする。これにより、赤外線の変化分のみを処理するため、点滅している発光ダイオードを容易に検出でき、また定常的に赤外線を発するものが周囲に存在しても影響を受けにくく、精度のよい認識が可能となる。

第３の発明は、カメラを搭載したリモコンで画面を撮影するポインティング装置において、発光ダイオードを辺に対して垂直に２つ組にして配置することを特徴とする。これにより、隅が撮像範囲に入っていなくても、任意の２組（発光ダイオード４つ）が撮像範囲に入っていれば、座標の計算が可能となり、装置を使用する上での制約が少なく、ユーザのさまざまな利用形態に対応できるようになる。

第４の発明は、カメラを搭載したリモコンで画面を撮影するポインティング装置において、画面内の周辺部に点滅する領域を設け、これらをそれぞれ異なる予め決められたタイミングで点滅させることを特徴とする。これにより、画面の周囲に発光ダイオードを設けなくても座標の認識が可能になり、装置を製作する上でのコストを低減できる。

第５の発明は、カメラを搭載したリモコンで画面を撮影するポインティング装置において、画面外側周辺部の指示座標についても計算を行い、その結果を画面に表示することを特徴とする。これにより、画面内に表示されている対象物の選択だけでなく、周囲に配置されている周辺機器への指示や、方向の指示を行うことが可能となり、より利便性の高い機能を提供できる。

第６の発明は、カメラを搭載したリモコンで画面を撮影するポインティング装置において、画面上の指示座標を示すカーソルの周囲を周期的に点滅させることで指示座標の認識を行うことを特徴とする。これにより、近距離で、画面の周辺部がまったく撮影範囲に入らない場合でも座標の認識が可能となり、装置を使用する上での制約が少なく、ユーザのさまざまな利用形態に対応できるようになる。

第７の発明は、カメラを搭載したリモコンで画面を撮影するポインティング装置において、テレビ画面内に表示されるメニュー項目の周囲を周期的に点滅させることで指示項目の認識を行うことを特徴とする。これにより、近距離で画面の周囲がまったく撮影範囲に入らない場合で、かつカーソルを表示する必要のない場面でも座標の認識が可能になり、装置を使用する上での制約が少なくなる。

第８の発明は、カメラを搭載したリモコンで画面を撮影するポインティング装置において、装置の使用開始時に画面全体を予め決められた順番で書き換えることを特徴とする。これにより、至近距離から装置の利用を開始した場合にも初期の指示座標を正しく認識できることができ、装置を使用する上での制約が少なく、ユーザのさまざまな利用形態に対応できるようになる。

図１は、本発明の実施例１である発光ダイオードを配置したポインティング装置の概要を示す図である。 図２は、本発明の実施例１の発光ダイオードに配置方法を示す図である。 図２は、本発明の実施例１の発光ダイオードの配置方法を示す図である。 図４は、本発明の実施例２であるテレビ画面内を点滅させる画面表示方法を示す図である。 図５は、本発明の実施例３のカーソル表示を示す図である。 図６は、本発明の実施例４のメニュー項目表示を示す図である。 図７は、カメラ画像の座標とテレビ画面上の座標の対応を示す図である。 図８は、本発明の実施例１の装置起動時のフローチャートである。 図９は、本発明の実施例１の座標認識処理中のフローチャートである。 図１０は、従来の方式における赤外線発光ダイオードの配置方法である。

符号の説明

２ 発光ダイオード
３ 点滅する点
４ 点滅する点
５ カーソル表示
６ 点滅する点
７ メニュー項目
８ 選択を示すサイン
９ 起動ボタン（指示座標認識動作を開始するボタン）
１０ 送信機
１１ 受信機
１２ 発光ダイオード
１３ カメラ
１４ カーソル
１５ 決定ボタン
１６ カメラ撮像範囲の中心座標
１７ 指示座標
１８ 赤外線発光ダイオード

Claims (10)

1. リモコンで遠隔制御可能な電子機器の前面の複数の異なる位置に発光部を配置して、前記発光部を異なるタイミングで点滅させ、前記電子機器の前面を前記リモコンに搭載したカメラで撮影し、複数の前記発光部の点滅タイミングと位置関係とに基づいて、撮影した画像の情報から前記電子機器の前面側を指示する前記リモコンの指示座標を計算することを特徴とするポインティング装置。
2. 請求項１に記載のポインティング装置において、前記発光部の点滅の検出を、前記リモコンに搭載したカメラで撮影した直前の画像との差分処理によって行うことを特徴とするポインティング装置。
3. 請求項１に記載のポインティング装置において、前記電子機器がテレビジョン装置であり、テレビ画面の周囲に複数の赤外線発光ダイオードを配置し、前記赤外線発光ダイオードを周期的に点滅させ、前記テレビジョン装置の前面をリモコンに搭載したカメラで撮影し、撮影した画像中の赤外線発光ダイオードの点滅タイミングと位置関係とに基づいて、ユーザのテレビ画面上の指示座標を計算することを特徴とするポインティング装置。
4. 請求項３に記載のポインティング装置において、テレビ画面の周囲の赤外線発光ダイオードを、２つ１組にして二重に配置することを特徴とするポインティング装置。
5. 請求項１に記載の装置において、ポインティング装置において、前記電子機器がテレビジョン装置であり、テレビ画面の周辺部を周期的に点滅させ、その点滅タイミングと位置関係とをもとにユーザのテレビ画面上の指示座標を計算することを特徴とするポインティング装置。
6. 請求項１に記載のポインティング装置において、前記電子機器の前面に加え、前記電子機器の前面側の前面外周囲の指示座標も計算することを特徴とするポインティング装置。
7. 請求項６に記載のポインティング装置において、前記電子機器がテレビジョン装置であり、テレビ画面内に加え、テレビ画面外周囲の指示座標も計算することを特徴とするポインティング装置。
8. 請求項１に記載のポインティング装置において、
   前記電子機器が、前面に表示画面を備えた表示装置であり、前記表示画面の周囲に配置した発光部に加えて、前記表示画面上の指示座標を示すカーソルの周囲を周期的に点滅させることで指示座標の認識を行うことを特徴とするポインティング装置。
9. 請求項１に記載のポインティング装置において、
   前記電子機器が、前面に表示画面を備えた表示装置であり、前記表示画面の周囲に配置した発光部に加えて、前記表示画面内に表示されるメニュー項目の周囲を周期的に点滅させることで指示項目の認識を行うことを特徴とするポインティング装置。
10. 請求項１に記載のポインティング装置において、
    前記電子機器が、前面に表示画面を備えた表示装置であり、前記表示装置の使用開始時に表示画面全体を予め決められた順番で書き換えることで、表示装置利用開始時の指示座標を正しく認識できることを特徴とするポインティング装置。