JP2007066080A - ポインティングデバイス - Google Patents

Abstract

【課題】種々のディスプレイに対するユーザ遠隔操作に応じた指定点の座標を検出するためのポインティングデバイスであって、ポインタ側で複雑なハードウエア構成を必要とすることなく、安価で且つ操作性の非常に良好なポインティングデバイスを提供する。
【解決手段】ポインタ１４に前後配置した発光素子１５，１６をそれぞれ設定された異なる点滅パターンで駆動制御する。ディスプレイ１１の左右に設けたカメラ１２，１３によってポインタ１４の前後発光点を含む画像を撮影する。左右カメラ１２，１３の各撮影画像に含まれるポインタ前後発光点Ｐ₁，Ｐ₂をそれぞれ異なる点滅パターンに基づき認識すると共にカメラやディスプレイからの発光点Ｐ₁，Ｐ₂の方向（角度）・距離を三角法により解析演算してその空間座標Ｐ₁(x₁,y₁,z₁)，Ｐ₂(x₂,y₂,z₂)を検出し、座標Ｐ₁，Ｐ₂を結ぶ延長線とディスプレイ面の交点をポインティング座標Ｐ₀(x₀,y₀)として演算検出する。
【選択図】図１

Description

本発明は、種々のディスプレイに対するユーザ遠隔操作に応じた指定点の座標を検出するためのポインティングデバイスに関する。

近年、テレビジョン受像機の画面サイズは大型化の一途を辿っており、また双方向デジタル地上波テレビ放送やインターネットの普及により、ユーザがテレビディスプレイにて表示された画像上の所望の点（位置や場所）を指定して操作することが行われるようになっている。

そして従来、ディスプレイに表示された画像上の任意の点を指定して明示させるレーザポインタと当該レーザポインタによる明示点を含んだ表示画像を撮影するカメラを備え、この撮影画像を解析することによりディスプレイ上でのレーザポインタの指示位置（座標）を検出し、この検出された指示位置の座標情報をディスプレイ側に送信通知することにより、ポインタ指示操作に応じたデータ選択処理や画像処理などを実行可能としたポインティングデバイスが考えられている（例えば、特許文献１参照。）。
特開２００１−２３６１８１号公報

しかしながら、前記従来のポインティングデバイスは、ポインタ側にて当該ポインタに加えて、ディスプレイ画像を撮影するためのカメラと、画像解析用および指示位置座標検出用のＣＰＵなどによるコンピュータ処理部と、座標情報送信用のＲＦ送信処理部とを備える必要があるため、一般に片手で把持して操作するポインタ本体以外に前記カメラやコンピュータ処理部などを収容する装置筐体が必要になり、例えばテレビのリモコンのような手軽な感覚で取り扱いできないばかりか、このデバイス一つ一つが高価になり一般的普及の妨げになる問題がある。

本発明は、このような課題に鑑みなされたもので、ポインタ側で複雑なハードウエア構成を必要とすることなく、安価で且つ操作性の非常に良好なポインティングデバイスを提供することを目的とする。

請求項１に記載のポインティングデバイスは、ディスプレイ装置と、このディスプレイ装置のディスプレイ上の任意の位置を指定するポインタとを有してなるポインティングデバイスであって、前記ポインタは、前記ディスプレイを指定する方向に沿い相前後して配置された前発光素子と後発光素子とを備え、前記ディスプレイ装置は、ディスプレイの左右にそれぞれ固定され当該ディスプレイに面した方向を撮影する複数のカメラと、この複数のカメラによりそれぞれ撮影された画像の中から前記ポインタの前発光素子と後発光素子による各発光点を認識する前後発光点認識手段と、この前後発光点認識手段により認識された撮影画像上の２つの発光点にそれぞれ対応した前発光素子と後発光素子の当該ディスプレイ装置に対する空間座標を算出する空間座標算出手段と、この空間座標算出手段により算出された前記ポインタにおける前後発光素子それぞれの空間座標に基づきディスプレイ上の指定点の座標を算出する指定点座標算出手段とを備えたことを特徴としている。

請求項２に記載のポインティングデバイスは、前記請求項１に記載のポインティングデバイスにおいて、前記ポインタは、前記前発光素子と後発光素子をそれぞれ異なる点滅パターンによって発光駆動する発光駆動制御手段をさらに備え、前記ディスプレイ装置の前後発光点認識手段は、複数のカメラによりそれぞれ撮影された画像の中から前記異なる点滅パターンに対応した画像ドットを検出して前発光素子と後発光素子による各発光点を認識することを特徴としている。

請求項３に記載のポインティングデバイスは、前記請求項１または請求項２に記載のポインティングデバイスにおいて、前記空間座標算出手段は、前記前後発光点認識手段により認識された撮影画像上の２つの発光点にそれぞれ対応した前発光素子と後発光素子の空間座標を前記カメラおよびディスプレイの固定位置に基づいた三角法によって算出することを特徴としている。

請求項４に記載のポインティングデバイスは、前記請求項２または請求項３に記載のポインティングデバイスにおいて、前記ポインタは、ユーザによって操作され複数種類のコマンドを入力する操作入力手段をさらに備え、前記発光駆動制御手段は、前記前発光素子と後発光素子をそれぞれ異なる点滅パターンによって発光駆動すると共に、一方の発光素子の点滅パターンを前記操作入力手段により入力されたコマンドに対応した点滅パターンに制御し、前記ディスプレイ装置は、前後発光点認識手段により認識された撮影画像上の一方の発光点の点滅パターンに対応して前記ユーザ入力されたコマンドを認識するコマンド認識手段をさらに備えたことを特徴としている。

請求項５に記載のポインティングデバイスは、前記請求項１ないし請求項４の何れか１項に記載のポインティングデバイスにおいて、前記ポインタの前発光素子は、当該ポインタ筐体の先端開口部に面して配置され、後発光素子は、前記前発光素子の直後に遮光板を介在して連続配置され、当該後発光素子の発光点はポインタ筐体内のさらに後方に設けたミラーによって反射され、前記先端開口部を通して前記ディスプレイ装置のカメラに撮影されることを特徴としている。

本発明の請求項１に記載のポインティングデバイスによれば、ポインタによってディスプレイ装置のディスプレイ上の任意の位置を指定すると、ディスプレイ装置のディスプレイの左右にそれぞれ固定された複数のカメラによりそれぞれ撮影された画像の中から前記ポインタの前発光素子と後発光素子による各発光点が認識され、この認識された撮影画像上の２つの発光点にそれぞれ対応した前発光素子と後発光素子の当該ディスプレイ装置に対する空間座標が算出される。そして、この算出されたポインタにおける前後発光素子それぞれの空間座標に基づきディスプレイ上の指定点の座標が算出されるので、ポインタを非常に簡単で安価、扱いやすい構成とすることができるばかりでなく、ディスプレイ装置側でもハード的には複数のカメラを設けるだけで、ソフト的な演算処理によって指定点座標を求めることができ、安価で且つ操作性の非常に良好なポインティングデバイスを実現できる。

本発明の請求項２に記載のポインティングデバイスによれば、前記請求項１に記載のポインティングデバイスにおいて、ポインタの前発光素子と後発光素子をそれぞれ異なる点滅パターンによって発光駆動し、ディスプレイ装置では、複数のカメラによりそれぞれ撮影された画像の中から異なる点滅パターンに対応した画像ドットを検出して前発光素子と後発光素子による各発光点を認識するので、カメラにより撮影されたポインタの背景画像に関わらず当該ポインタの前後発光素子による各発光点を容易且つ確実に認識することができる。

本発明の請求項３に記載のポインティングデバイスによれば、前記請求項１または請求項２に記載のポインティングデバイスにおいて、ディスプレイ装置の前後発光点認識手段により認識された撮影画像上の２つの発光点にそれぞれ対応したポインタ前発光素子と後発光素子の空間座標を、カメラおよびディスプレイの固定位置に基づいた三角法によるソフト処理だけで容易に算出することができる。

本発明の請求項４に記載のポインティングデバイスによれば、前記請求項２または請求項３に記載のポインティングデバイスにおいて、ポインタの操作入力手段をユーザ操作して任意のコマンドを入力すると、一方の発光素子の点滅パターンが当該入力コマンドに対応した点滅パターンに制御されるので、ディスプレイ装置では、前後発光点認識手段により認識された撮影画像上の一方の発光点の点滅パターンに対応してユーザ入力されたコマンドを容易に認識することができる。

本発明の請求項５に記載のポインティングデバイスによれば、前記請求項１ないし請求項４の何れか１項に記載のポインティングデバイスにおいて、ポインタの前発光素子は、当該ポインタ筐体の先端開口部に面して配置され、後発光素子は、前発光素子の直後に遮光板を介在して連続配置され、当該後発光素子の発光点はポインタ筐体内のさらに後方に設けたミラーによって反射され、先端開口部を通してディスプレイ装置のカメラに撮影されるので、ポインタにおける発光機能部を筐体前半部に集中させることができ、小型で扱い易いポインタを実現できる。

よって、本発明によれば、ポインタ側で複雑なハードウエア構成を必要とすることなく、安価で且つ操作性の非常に良好なポインティングデバイスを提供できる。

以下図面により本発明の実施の形態について説明する。

図１は、本発明の実施形態に係るポインティングデバイスの外観構成を示す図である。

このポインティングデバイスは、テレビジョン受像機や画像モニタなどとして使用されるディスプレイ装置１０と、このディスプレイ装置１０におけるディスプレイ１１上の任意の点（位置や場所）を指定するためのポインタ１４とを有する。

ポインタ１４はユーザが片手で把持できる大きさの長方体の筒状筐体を備え、その一端は先端開口部１４ａとなり、この先端開口部１４ａの中心から筒状筐体奥への直線上に前発光素子１５と後発光素子１６が内蔵配列して設けられる。

一方、ディスプレイ装置１０におけるディスプレイ１１の下端位置に対応した左右両側には、右カメラ１２と左カメラ１３が設けられ、各々のカメラ１２，１３によって前記ポインタ１４における前発光素子１５の発光点および後発光素子１６の発光点を含む画像が撮影される。

図２は、前記ポインティングデバイスにおいてポインタ１４に設けられた前後発光素子１５，１６とディスプレイ装置１０に設けられた左右カメラ１３，１２との関係を示す図である。

ポインタ１４における前発光素子１５は、前述したようにその先端開口部１４ａ直後の中心位置に対応して設けられ、この前発光素子１５から予め設定された間隔離間したポインタ後面１４ｂ直前の中心位置に対し後発光素子１６が設けられるもので、この際、前後発光素子１５，１６間の設定離間間隔は、ポインタ１４の先端開口部１４ａをディスプレイ１１の範囲に向けたあらゆる場合に、ディスプレイ装置１０の左右カメラ１３，１２に対し、後発光素子１６が前発光素子１５の陰に隠れることのない間隔とされる。

そして、ポインタ１４の筐体側板は、例えば透明板により構成され、左右カメラ１３，１２による後発光素子１６の発光点を含む画像は、この筐体側板を介しても撮影可能である。

図３は、前記ポインティングデバイスのポインタ１４における前後発光素子１５，１６の１周期（１フレーム）分の発光パターンの構成を示す図である。

ポインタ１４における前後発光素子１５，１６は、図示しないユーザによる操作入力に応じて前発光素子１５と後発光素子１６とで異なる１フレーム８ビットの点滅パターンによって発光駆動される。

後発光素子１６は、タイミングt₁〜t₆およびt₈で消灯、タイミングt₇のみで点灯とした毎フレーム固定の点滅パターンによって発光駆動され、また前発光素子１５は、タイミングt₁，t₆で点灯、タイミングt₇，t₈で消灯、タイミングt₂〜t₅で点灯／消灯を変化させた点滅パターンによって発光駆動される。

ここで、タイミングt₁はスタートビットＳ、タイミングt₂〜t₄はデータビットＤ０〜Ｄ２、タイミングt₅はパリティビットＰ、タイミングt₆はストップビットＴ、タイミングt₇はバックビットＱ、タイミングt₈はオールクリアビットＲとして扱うもので、前発光素子１５におけるデータビットＤ０〜Ｄ２での点滅パターンを図示しないユーザによる操作入力に応じて変化させることにより、８種類のコマンド（例えば、図１５参照）を生成することができる。

なお、パリティビットＰは、フレーム全体のエラー検出に用い、エラーがあった場合にそのフレームを無効とする。

すなわち、このポインティングデバイスでは、後述にその詳細を説明するが、ディスプレイ装置１０におけるディスプレイ１１の左右に固定して設けた右カメラ１２，左カメラ１３によって、ポインタ１４における前後発光素子１５，１６の発光点を含むポインタ画像を撮影すると共に、当該撮影画像上にある各発光点をそのそれぞれの周期性のある点滅パターンの違いから認識し、このポインタ画像上の各発光点を三角法などで演算解析してディスプレイ１１の一端点を基準とするポインタ前後発光素子１５，１６それぞれの空間座標Ｐ₁(x₁,y₁,z₁)，Ｐ₂(x₂,y₂,z₂)を求める。そして、ポインタ１４における前後発光素子１５，１６それぞれの空間座標Ｐ₁(x₁,y₁,z₁)，Ｐ₂(x₂,y₂,z₂)から当該各座標Ｐ₁，Ｐ₂を結ぶ直線上のディスプレイ１１面との交点座標を算出し、ポインタ１４による指定点座標Ｐ₀(x₀,y₀)を求めその指示点を表示する。

そして、前発光素子１５によるデータビットＤ０〜Ｄ２での点滅パターンに応じたコマンドを認識し、ディスプレイ１１に表示されている画像についてそのコマンドの内容に応じたクリックやスクロールなどの処理を実行する。

図４は、前記ポインティングデバイスにおけるディスプレイ装置１０側の電子回路の要部構成を示すブロック図である。

ディスプレイ装置１０は、インターネットとの通信機能を備えた地上波デジタルテレビビジョン放送の受信機あるいは単なる画像モニタ装置などとして構成されるもので、このディスプレイ装置１０には、当該装置１０の動作を制御するためのＣＰＵ２１が備えられる。

なお、図４における電子回路のブロック図では、テレビジョン放送の受信再生に要する回路ブロックやインターネットとの通信に要する回路ブロックなどは省略して示す。

ＣＰＵ２１は、メモリ２２に記憶された装置制御プログラムに従って回路各部の動作を制御するもので、このＣＰＵ２１には、ディスプレイ１１が出力制御部２５を介して接続される他に、右カメラ１２および左カメラ１３が入力制御部２３を介して接続され、さらに、左右カメラ１３，１２による撮影画像に基づいてディスプレイ１１の一端点を基準とするポインタ前後発光素子１５，１６それぞれの空間座標Ｐ₁(x₁,y₁,z₁)，Ｐ₂(x₂,y₂,z₂)を求めると共に当該空間座標Ｐ₁，Ｐ₂を結んだ直線上にあるディスプレイ１１面の指定点座標Ｐ₀(x₀,y₀)を求めるための画像解析演算などを実行する演算回路２４が接続される。

なお、メモリ２２には、プログラムデータを格納するメモリ領域の他に、ディスプレイ１１に対する画像の表示処理に必要な画像データを格納するメモリ領域、テレビジョン放送の受信再生に必要な各種のデータを格納するメモリ領域、外部システムとの双方向通信に伴う各種のデータを格納するメモリ領域、前記演算回路２４にて実行される各種の演算処理に伴う計算データを格納するメモリ領域など、様々な作業用データを格納するためのメモリ領域が確保される。

図５は、前記ポインティングデバイスにおけるポインタ１４側の電子回路の要部構成を示すブロック図である。

ポインタ１４の電子回路は、当該ポインタ１４の例えば筐体内側の壁面に密着する形態で設けられ、この電子回路には、前発光素子１５と後発光素子１６とをそれぞれ発光駆動し点滅制御するための制御回路２６が備えられる。

制御回路２６には、前後発光素子１５，１６の発光駆動周期t_nを設定するためのタイミング回路２７が接続されると共に、前記ディスプレイ装置１０のディスプレイ１１上の任意の位置を当該ポインタ１４の先端を向けて指定する際にユーザ操作される操作入力部２８が接続される。

次に、前記構成のポインティングデバイスによるポインティング動作について説明する。

図６は、前記ポインティングデバイスのディスプレイ装置１０において実行されるポインティング座標検出処理を示すフローチャートである。

図７は、前記ポインティングデバイスのポインタ１４による前後発光素子１５，１６それぞれの１周期（１フレーム）t₁〜t₈あたりの点滅パターンを示すタイミングチャートである。

ポインタ１４によってディスプレイ装置１０におけるディスプレイ１１上の任意の点（位置・場所）の方向を、ポインタ１４の先端を向けることによって指し示し、操作入力部２８の操作によって当該ポインタ１４における前後発光素子１５，１６の発光駆動制御を指示する。すると、ディスプレイ装置１０では、以下に詳述するように、メモリ２２に記憶されているポインティング座標検出処理プログラム（図６参照）に従って前記ポインタ１４によるディスプレイ１１上の指定点の座標Ｐ₀を検出し当該指定点を明示表示する。

［ステップＳ１：左右カメラ１３，１２の撮影画像からポインタ前後発光素子１５，１６を認識］
左右カメラ１３，１２のそれぞれによる撮影画像をキャプチャするタイミングなどは一般的な非同期通信による方法を使用する。例えばボーレイトの１０倍の周期でキャプチャし、消灯（オフ）から点灯（オン）に変化した瞬間の画像フレームをt₀とし、そこから５フレーム目をt₁とすればよい。

右カメラ１２と左カメラ１３による各撮影画像の中から、スタートビットＳとストップビットＴとオールクリアビットＲに対応するタイミングt₁,t₆,t₈において点灯（オン），点灯（オン），消灯（オフ）を繰り返している画像ドットを検出し、これをポインタ前発光素子１５の発光点ドットＰ₁として認識する。

次に、バックビットＱとオールクリアビットＲに対応するタイミングt₇,t₈において点灯（オン），消灯（オフ）を繰り返している画像ドットを検出し、これをポインタ後発光素子１６の発光点ドットＰ₂として認識する。

この際、ポインタ後発光素子１６の発光点ドットが認識されない場合には、当該後発光素子１６は前記前発光素子１５の陰に位置するものと判断し、当該前発光素子１５の発光点ドットと同位置であると認識する。

［ステップＳ２：ポインタ前後発光素子１５，１６の垂直方向角度α₁，α₂検出］
図８は、前記ポインティングデバイスのディスプレイ装置１０における左カメラ１３による撮影画像範囲と発光点仰角αとの関係を示す図である。

同図においては、次式（１）の関係が成り立つ。

tanα：tanβ＝ａ：ｂ …式（１）
本ポインティングデバイスの実施形態において、左右のカメラ１２，１３は、ディスプレイ１１の下端に対応した同一目線で固定されており、カメラ像の一端とレンズの中心を結んだ中心線に対し撮像範囲の境界線をなす仰角β、およびその際のカメラ像の変位ｂは予め既知である。従って、発光点Ｐに対応する垂直方向の変位ａに応じて仰角αが算出される。

これにより前後発光点Ｐ₁，Ｐ₂それぞれの仰角α₁，α₂が得られる。

［ステップＳ３：ポインタ前後発光素子１５，１６の水平方向角度δ₁ζ₁，δ₂ζ₂検出］
図９は、前記ポインティングデバイスのディスプレイ装置１０における左右カメラ１２，１３による撮影画像範囲と発光点水平方向角度δζとの関係を示す図である。

同図においては、次式（２）（３）の関係が成り立つ。

tanδ：tanγ＝ｃ：ｄ …式（２）
tanζ：tanε＝ｅ：ｆ …式（３）
前記発光点Ｐの仰角αを算出する場合と同様に、左右の各カメラ像それぞれの一端とそのレンズの中心を結んだ中心線に対し撮像範囲の境界線をなす水平方向角度γとβ、およびその際のカメラ像の変位ｄとｆは予め既知である。従って、発光点Ｐに対応する水平方向の変位ｃとｆに応じて各カメラに対する水平方向角度δとζが算出される。

これにより前後発光点Ｐ₁，Ｐ₂それぞれの水平方向角度δ₁ζ₁，δ₂ζ₂が得られる。

［ステップＳ４：ポインタ前後発光素子１５，１６のディスプレイ１１面からの距離（水平成分）Ｌ検出］
図１０は、前記ポインティングデバイスのディスプレイ装置１０における左右カメラ１２，１３に対する発光点Ｐの水平方向角度δζとディスプレイ１１面から発光点Ｐまでの水平距離Ｌとの関係を示す図である。

左右のカメラ１２，１３間の距離Ｄ、前発光点Ｐ₁とディスプレイ１１面との水平距離Ｌ₁、前発光点Ｐ₁のディスプレイ１１面に対する左カメラ１３からの変位Ｘ₁とすると、前記ステップＳ３にて算出された発光点Ｐ₁の水平方向角度δ₁ζ₁に基づいた次の連立方程式（４Ａ）（４Ｂ）によって、前発光点Ｐ₁に対応する変位Ｘ₁と水平距離Ｌ₁（＝Ｚ₁）が算出される。

Ｌ₁＝Ｘ₁＊tan(90−δ₁) …式（４Ａ）
Ｌ₁＝(Ｄ−Ｘ₁)＊tan(90−ζ₁) …式（４Ｂ）
これによりディスプレイ１１面から前発光点Ｐ₁までの水平距離Ｌ₁（＝Ｚ₁）が得られ、同様の計算処理により後発光点Ｐ₂に対応する変位Ｘ₂と水平距離Ｌ₂（＝Ｚ₂）も得られる。

［ステップＳ５：ポインタ前後発光素子１５，１６の左カメラ１３からの距離（水平成分）Ｍ検出］
図１１は、前記ポインティングデバイスのディスプレイ装置１０における発光点Ｐまでのディスプレイ１１面からの水平距離Ｌと左カメラ１３から水平距離Ｍとの関係を示す図である。

同図に示すように、左カメラ１３から前発光点Ｐ₁までの距離（水平成分）Ｍ₁とすると、三平方の定理から次式（５）が成立する。

Ｍ₁ ²＝Ｌ₁ ²＋Ｘ₁ ² …式（５）
これと同様に、次式（６）が成立する。

Ｍ₂ ²＝Ｌ₂ ²＋Ｘ₂ ² …式（６）
これにより左カメラ１３から前発光点Ｐ₁までの距離（水平成分）Ｍ₁が算出され、また後発光点Ｐ₂までの距離（水平成分）Ｍ₂も算出される。

［ステップＳ６：ポインタ前後発光素子１５，１６の垂直方向座標y₁,y₂検出］
図１２は、前記ポインティングデバイスのディスプレイ装置１０における発光点Ｐに対応した左カメラ１３からの仰角αおよび水平距離Ｍと垂直方向座標yとの関係を示す図である。

前発光点Ｐ₁に対応した垂直方向座標y₁は、前記ステップＳ２にて算出された仰角α₁と前記ステップＳ５にて算出された左カメラ１３からの距離（水平成分）Ｍ₁とに基づき、次式（７）により算出される。

y₁＝Ｍ₁＊tanα₁ …式（７）
これと同様に、後発光点Ｐ₂に対応した垂直方向座標y₂は、前記ステップＳ２にて算出された仰角α₂と前記ステップＳ５にて算出された左カメラ１３からの距離（水平成分）Ｍ₂とに基づき、次式（８）により算出される。

y₂＝Ｍ₂＊tanα₂ …式（８）
このようなステップＳ１〜Ｓ６までの計算処理によって、ポインタ前後発光素子１５，１６の空間座標Ｐ₁(x₁,y₁,z₁)，Ｐ₂(x₂,y₂,z₂)が得られる。

［ステップＳ７：ポインタ前後発光素子１５，１６の空間座標Ｐ₁，Ｐ₂に基づきディスプレイ１１上のポインティング座標Ｐ₀検出］
図１３は、前記ポインティングデバイスのディスプレイ装置１０におけるポインタ前後発光素子１５，１６の空間座標Ｐ₁，Ｐ₂に対するディスプレイ１１面上のポインティング座標Ｐ₀との関係を示す図である。

ポインタ１４によって指示されたディスプレイ１１面上の点（ポインティング座標Ｐ₀）は、ポインタ前後発光素子１５，１６の空間座標Ｐ₁，Ｐ₂を結ぶ延長線とディスプレイ１１面との交点であるため、当該ポインティング座標Ｐ₀の座標(x₀,y₀)とすると、次式（９）（１０）の関係が成立する。

x₁−x₀：z₁＝x₂−x₀：z₂ …式（９）
y₁−y₀：z₁＝y₂−y₀：z₂ …式（１０）
これにより、ポインタ１４によって指示されたディスプレイ１１面上のポインティング座標Ｐ₀(x₀,y₀)が算出され、ポインタ指定点として明示表示される。

そして、前記撮影された前発光素子１５による発光点Ｐ₁のデータビットＤ０〜Ｄ２での点滅パターンに応じたコマンドが認識され、ディスプレイ１１に表示されている画像についてそのコマンドの内容に応じたクリックやスクロールなどの処理が実行される。

なお、ディスプレイ装置１０側において、ポインタ１４の前後発光素子１５，１６による各発光点を撮影する左右のカメラ１２，１３は、そのカメラ数が多く異なる位置からの撮影画像が多いほど正確な空間座標Ｐ₁(x₁,y₁,z₁)，Ｐ₂(x₂,y₂,z₂)を算出することができ、より高精度なポインティング座標Ｐ₀(x₀,y₀)を得ることができる。

図１４は、前記ポインティングデバイスのポインタ１４に設けられた操作入力部２８の構成を示す外観斜視図である。

ポインタ１４の操作入力部２８は、当該ポインタ筐体の上部面に設けられ、本ポインティングデバイスの実施形態の場合、ディスプレイ１１上の前記ポインタ指定点（Ｐ₀）に対応した位置・場所の画像内容について上下左右の方向へのスクロール表示を指示する際に操作されるカーソルキー３１ａ〜３１ｄ、および左右クリックボタン３１Ｌ，３１Ｒが配設される。

図１５は、前記ポインティングデバイスのポインタ１４における操作入力部２８でのボタン操作に対応した前発光素子１５の発光駆動制御によるデータビットＤ０〜Ｄ２の内容とそのそれぞれに応じたコマンドを示す図である。

すなわち、ディスプレイ装置１０のディスプレイ１１面上の所望の点（位置・場所）を指定したポインタ１４における操作入力部２８の例えば上カーソルキー「↑」３１ａが操作されると、前発光素子１５はその発光駆動制御のタイミングt2,t3,t4において点灯（オン），消灯（オフ），消灯（オフ）と駆動されるので、ディスプレイ装置１０ではポインタ前発光点Ｐ0の検出に応じた１フレーム中のデータビットＤ０〜Ｄ２が“１”“０”“０”で「上方向スクール」のコマンドと認識され、ディスプレイ１１に対する表示画像の上方向へのスクロール処理が実行される。

また、ポインタ１４における操作入力部２８の例えば右クリックボタン３１Ｒが操作されると、前発光素子１５はその発光駆動制御のタイミングt2,t3,t4において点灯（オン），消灯（オフ），点灯（オン）と駆動されるので、ディスプレイ装置１０ではポインタ前発光点Ｐ0の検出に応じた１フレーム中のデータビットＤ０〜Ｄ２が“１”“０”“１”で「右クリック」のコマンドと認識され、ディスプレイ１１上の表示画像について右クリックに応じた処理が実行される。

したがって、前記構成のポインティングデバイスによれば、ディスプレイ１１上の任意の点（位置・場所）を指定するためのポインタ１４の筐体内に相前後して配置した前発光素子１５と後発光素子１６を、それぞれ予め設定された異なる点滅パターンで発光駆動制御すると共に、ディスプレイ１１の下端左右に設けた右カメラ１２と左カメラ１３によって前記ポインタ１４による前後発光点を含む画像を撮影する。そして、左右カメラ１２，１３それぞれの撮影画像に含まれるポインタ前発光点Ｐ₁とポインタ後発光点Ｐ₂をそれぞれ異なる点滅パターンに基づいて認識すると共に、左右カメラ１２，１３位置やディスプレイ１１面からの各発光点Ｐ₁，Ｐ₂の方向（角度）・距離を三角法により解析演算してその空間座標Ｐ₁(x₁,y₁,z₁)，Ｐ₂(x₂,y₂,z₂)を検出し、この空間座標Ｐ₁，Ｐ₂を結ぶ延長線とディスプレイ１１面の交点をポインタ１４によって指示されたディスプレイ１１面上のポインティング座標Ｐ₀(x₀,y₀)として演算検出するようにした。

このため、ポインタ１４を前後発光素子１５，１６やその入力操作部２８を有するだけの非常に簡単且つ安価な構成とすることができるだけでなく、ディスプレイ装置１０においてもハード的には左右カメラ１２，１３を新たに設けるだけで前記ポインティング座標Ｐ₀(x₀,y₀)は元々のＣＰＵ２１やメモリ２２を使用してソフト的に演算解析して検出することができ、例えば双方向デジタル地上波テレビ放送の受信再生機能やインターネットとの接続通信機能を有するディスプレイ装置１０にあって、安価で且つ操作性の非常に良好なポインティングデバイスを実現できる。

また、前記構成のポインティングデバイスによれば、ポインタ１４の前発光素子１５による１周期８ビット(t₁〜t₈)の点滅パターン中にデータビットＤ０〜Ｄ２を含ませ、入力操作部２８のカーソルキー３１ａ〜３１ｄや左右クリックボタン３１Ｌ，３１Ｒの操作に応じた点滅パターンでそのデータビットＤ０〜Ｄ２を発光駆動制御することで、ディスプレイ装置１０側でのポインタ前発光点Ｐ₁およびその点滅パターンの検出によって入力操作に対応したコマンドを認識し、スクロール表示や左右クリックに応じた処理などを実行できるので、このポインティングデバイスを単なるポインタ装置としてだけでなくリモコン装置としても機能させることできる。

またさらに、このポインティングデバイスのディスプレイ装置１０がインターネットとの接続通信機能を有する場合には、左右カメラ１２，１３を監視カメラとして用い、例えばユーザの外出に伴う携帯端末からのアクセスによって留守宅内の状況を適宜把握することもできる。

なお、ポインタ１４は、次の図１６で示すような前後発光素子１５，１６の配置構成とすることで、当該ポインタ筐体内に空間の余裕を作り、制御回路２６、タイミング回路２７、操作入力部２８などの各回路部を内蔵配置し易い構成としてもよい。

図１６は、前記ポインティングデバイスにおける他の実施形態のポインタ１４′の構成を示す図である。

すなわち、図２を参照して説明した前記実施形態のポインタ１４では、前発光素子１５を先端開口部１４ａの直後の中心位置に配置し、また、後発光素子１６をポインタ後面１４ｂの直前の中心位置に配置し、その前後発光点を含む画像をディスプレイ装置１０の左右カメラ１２，１３によって撮影する構成したが、図１６に示すように、前発光素子１５の直後に遮光板１４ｓを介在して後発光素子１６を連続配置すると共に、前発光素子１５の後端からポインタ後面１４ｂまでの空間距離Ｋの２分の１の位置（Ｋ／２）に、当該空間を前後で仕切り且つその空間先端方向を反射面にしたミラー１４ｍを配置し、後発光素子１６による発光を当該ミラー１４ｍに反射させることで、前記実施形態と同様にその前後発光点を含む画像をディスプレイ装置１０の左右カメラ１２，１３によって撮影する構成としてもよい。

この場合、ポインタ１４′の前後発光素子１５，１６を配置した発光機能部を筐体前半部に集中させることで、筐体後半部に制御回路２６、タイミング回路２７、操作入力部２８などの各回路部を無理なく配置させることができたり、小型化が可能になる。

なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

本発明の実施形態に係るポインティングデバイスの外観構成を示す図。 前記ポインティングデバイスにおいてポインタ１４に設けられた前後発光素子１５，１６とディスプレイ装置１０に設けられた左右カメラ１３，１２との関係を示す図。 前記ポインティングデバイスのポインタ１４における前後発光素子１５，１６の１周期（１フレーム）分の発光パターンの構成を示す図。 前記ポインティングデバイスにおけるディスプレイ装置１０側の電子回路の要部構成を示すブロック図。 前記ポインティングデバイスにおけるポインタ１４側の電子回路の要部構成を示すブロック図。 前記ポインティングデバイスのディスプレイ装置１０において実行されるポインティング座標検出処理を示すフローチャート。 前記ポインティングデバイスのポインタ１４による前後発光素子１５，１６それぞれの１周期（１フレーム）t₁〜t₈あたりの点滅パターンを示すタイミングチャート。 前記ポインティングデバイスのディスプレイ装置１０における左カメラ１３による撮影画像範囲と発光点仰角αとの関係を示す図。 前記ポインティングデバイスのディスプレイ装置１０における左右カメラ１２，１３による撮影画像範囲と発光点水平方向角度δζとの関係を示す図。 前記ポインティングデバイスのディスプレイ装置１０における左右カメラ１２，１３に対する発光点Ｐの水平方向角度δζとディスプレイ１１面から発光点Ｐまでの水平距離Ｌとの関係を示す図。 前記ポインティングデバイスのディスプレイ装置１０における発光点Ｐまでのディスプレイ１１面からの水平距離Ｌと左カメラ１３から水平距離Ｍとの関係を示す図。 前記ポインティングデバイスのディスプレイ装置１０における発光点Ｐに対応した左カメラ１３からの仰角αおよび水平距離Ｍと垂直方向座標yとの関係を示す図。 前記ポインティングデバイスのディスプレイ装置１０におけるポインタ前後発光素子１５，１６の空間座標Ｐ₁，Ｐ₂に対するディスプレイ１１面上のポインティング座標Ｐ₀との関係を示す図。 前記ポインティングデバイスのポインタ１４に設けられた操作入力部２８の構成を示す外観斜視図。 前記ポインティングデバイスのポインタ１４における操作入力部２８でのボタン操作に対応した前発光素子１５の発光駆動制御によるデータビットＤ０〜Ｄ２の内容とそのそれぞれに応じたコマンドを示す図。 前記ポインティングデバイスにおける他の実施形態のポインタ１４′の構成を示す図。

符号の説明

１０ …ディスプレイ装置
１１ …ディスプレイ
１２ …右カメラ
１３ …左カメラ
１４ …ポインタ
１４′…ポインタ（他の実施形態）
１４ａ…先端開口部
１４ｂ…ポインタ後面
１４ｓ…遮光板
１４ｍ…ミラー
１５ …前発光素子
１６ …後発光素子
２１ …ＣＰＵ（ディスプレイ装置）
２２ …メモリ
２３ …入力制御部
２４ …演算回路
２５ …出力制御部
２６ …制御回路（ポインタ）
２７ …タイミング回路
２８ …操作入力部
３１ａ〜３１ｄ…カーソルキー
３１Ｌ…左クリックボタン
３１Ｒ…右クリックボタン
Ｐ1 …ポインタ前発光点
Ｐ2 …ポインタ後発光点
Ｐ0 …ポインティング座標

Claims (5)

1. ディスプレイ装置と、このディスプレイ装置のディスプレイ上の任意の位置を指定するポインタとを有してなるポインティングデバイスであって、
   前記ポインタは、前記ディスプレイを指定する方向に沿い相前後して配置された前発光素子と後発光素子とを備え、
   前記ディスプレイ装置は、
   ディスプレイの左右にそれぞれ固定され当該ディスプレイに面した方向を撮影する複数のカメラと、
   この複数のカメラによりそれぞれ撮影された画像の中から前記ポインタの前発光素子と後発光素子による各発光点を認識する前後発光点認識手段と、
   この前後発光点認識手段により認識された撮影画像上の２つの発光点にそれぞれ対応した前発光素子と後発光素子の当該ディスプレイ装置に対する空間座標を算出する空間座標算出手段と、
   この空間座標算出手段により算出された前記ポインタにおける前後発光素子それぞれの空間座標に基づきディスプレイ上の指定点の座標を算出する指定点座標算出手段とを備えた、
   ことを特徴とするポインティングデバイス。
2. 前記ポインタは、前記前発光素子と後発光素子をそれぞれ異なる点滅パターンによって発光駆動する発光駆動制御手段をさらに備え、
   前記ディスプレイ装置の前後発光点認識手段は、複数のカメラによりそれぞれ撮影された画像の中から前記異なる点滅パターンに対応した画像ドットを検出して前発光素子と後発光素子による各発光点を認識する、
   ことを特徴とする請求項１に記載のポインティングデバイス。
3. 前記空間座標算出手段は、前記前後発光点認識手段により認識された撮影画像上の２つの発光点にそれぞれ対応した前発光素子と後発光素子の空間座標を前記カメラおよびディスプレイの固定位置に基づいた三角法によって算出することを特徴とする請求項１または請求項２に記載のポインティングデバイス。
4. 前記ポインタは、
   ユーザによって操作され複数種類のコマンドを入力する操作入力手段をさらに備え、
   前記発光駆動制御手段は、前記前発光素子と後発光素子をそれぞれ異なる点滅パターンによって発光駆動すると共に、一方の発光素子の点滅パターンを前記操作入力手段により入力されたコマンドに対応した点滅パターンに制御し、
   前記ディスプレイ装置は、
   前後発光点認識手段により認識された撮影画像上の一方の発光点の点滅パターンに対応して前記ユーザ入力されたコマンドを認識するコマンド認識手段をさらに備えた、
   ことを特徴とする請求項２または請求項３に記載のポインティングデバイス。
5. 前記ポインタの前発光素子は、当該ポインタ筐体の先端開口部に面して配置され、後発光素子は、前記前発光素子の直後に遮光板を介在して連続配置され、当該後発光素子の発光点はポインタ筐体内のさらに後方に設けたミラーによって反射され、前記先端開口部を通して前記ディスプレイ装置のカメラに撮影されることを特徴とする請求項１ないし請求項４の何れか１項に記載のポインティングデバイス。

Images