JP2008047047A - 入力装置及び方法、並びにプログラム及び記憶媒体 - Google Patents

Abstract

【課題】２次元画像情報と３次元画像情報とが混在する表示画面に対しても、操作性良く入力が可能な入力装置及び方法、並びにプログラム及び記憶媒体を提供する。
【解決手段】入力装置１１４は、２次元画像情報に対して２次元の座標を出力する２次元座標検出部１１２と、３次元オブジェクトに対して３次元の座標を出力する３次元座標検出部１０９と、２次元座標検出部１１２の座標入力平面からの距離を検出する距離検出部１１３とを備える。更に、入力装置１１４は、距離検出部１１３が検出する距離が所定値以上の場合に３次元座標検出部１０９の座標を有効とする座標制御処理装置１１０を備える。
【選択図】図１

Description

本発明は、コンピュータ等の画面に表示されている表示内容に対して指示入力を可能とするいわゆるマウス等の入力装置及び方法、並びにプログラム及び記憶媒体に関する。特に、２次元と３次元の表示内容が混在している表示画面に対して２次元入力と３次元入力の両方が可能な入力装置及び方法、並びにプログラム及び記憶媒体に関する。

近年のコンピュータの処理能力の向上は目覚しく、容易に様々な３次元処理をこなせるところまできつつある。業務用途では、例えば、ＣＡＤ等で３次元の図形を一般的な能力レベルのコンピュータで処理することが可能である。また、個人的な用途においても、３次元オブジェクトを表示させる場面が多くなってきている。更に、今後の情報技術の展開においては、オペレーティングシステムレベルでの３次元のデスクトップ画面を構成する動きがある。

このようなコンピュータを取り巻く環境ではあるが、現在は２次元の画像に対してマウスやペンにおける２次元の座標入力による操作が圧倒的に多い。ただし、今後は上述の通り、３次元の画像情報が増えてきて、２次元画像と３次元画像が混在した画面が増え、それに対して指示入力する機会も増えていくものと考えられる。

現在、２次元座標の入力が可能な入力装置のほとんどはマウスあるいはペンである。マウスでの入力にはＬＥＤやレーザーを用いた光学式を利用したものが主流になっている。また、３次元座標の入力が可能な入力装置は、用途がまだ限定的であるため一般的ではないが、様々な方式のものが提案されている。

例えば、磁気センサ、超音波センサ、イメージセンサを用いたものがある。

磁気センサを用いたものは、磁束の変化によってコイルに起電力が生じるという原理を利用している。ただし、磁気センサは、水平に保持するのが原則で、傾けて使用すると方位に誤差が生じる。これは、地磁気の垂直成分を拾うためであり、傾斜の自動補正は、３軸の磁気センサと水平を検知する傾斜センサを組合せることで可能となる。

超音波センサを用いたものは、一般的に磁気センサよりも安価に構成できる。３次元位置を計測する原理は、１つの超音波発振器に対して３つの受信器を配置し、各々に超音波が到達するまでの時間遅れを計測する。そして、三角測量の原理により、受信器と発振器の位置関係を定めることができる。この原理であれば、更に複数の受信器を構成することにより、姿勢（角度）の測定も可能である。ただし、空気中の音速変化（雑音や反射などによる）が誤差要因となるため、高精度の検出は困難である。

イメージセンサを用いたものは、カメラ（２台以上）から取り込んだ動画像について、その画像内の特徴点（例えばＬＥＤ発光点など) の３次元位置をリアルタイムで計測するものである。

更に、複数の技術を組合わせて３次元の入力を高精度に可能とするもの（例えば、磁気センサと加速度センサの組合わせ、画像とジャイロの組合わせ等）がある。

また、２次元のマウス（ＸＹ座標を出力可能）にＺ軸の座標や回転方向（自由度方向）の情報を出力することができる座標入力装置が提案されている。例えば、特許文献１には、電磁誘導作用を利用した位置検出装置と組合わせて用い、複数の操作子を設けて３次元空間上のオブジェクトの移動と回転の動きに対応した６自由度の情報を出力する指示器の提案がなされている。

また、２次元のマウスに付加価値を付ける提案として、マウスが持ち上げられた場合にマウスのボタンスイッチが別の機能となる提案がなされている（特許文献２）。

また、光を用いた座標入力装置であり、座標を出力する以外に操作者に別の情報を与えることが可能なマウスが提案されている。このマウスは、発光手段が設けられたポインティングデバイスを動かすことにより、発光手段の位置や動きに対応させた触覚情報を操作者に与えることができるようになっている（特許文献３）。
特開２００１−１４２６３６号公報 特開２００３−１３１８０４号公報 特開２００５−７８３１０号公報

実空間において２次元で構成される表示装置の画面に対しては、２次元座標の入力装置であるマウスでの入力が一般的であり、手を置いたまま操作する使用形態は長時間使用する場合でも疲労度が少なく、使い勝手がよい。そのため、この使い方は、基本的には今後も変わらないと考えられる。

しかしながら、対象物の拡大・縮小や回転等を３次元の空間で行うことが可能な３次元オブジェクトを操作する場合には、２次元の座標を出力するマウスでは、操作が複雑になる。具体的には、拡大・縮小、回転などのコマンドに対して、画面上のボタンやスライダーを操作し、あるいはマウスボタンを押しながらマウスを移動する等の操作をしなければならない。この操作は、操作者にとっては、直感的ではないため操作性の観点で決して優れているといえるものではなかった。

また、３次元オブジェクトを操作可能な３次元座標入力装置に関しては、３次元の操作には優れているが、２次元画像情報に対する入力に対しては決して操作性がよいとはいえない。２次元の画像を操作するためには２次元の座標のみで操作が可能であるにもかかわらず、３次元座標入力装置では、３次元の座標が出力されているために操作者が意図しない動きが検出されることがあるため、思うように操作ができないという課題があった。

本発明の目的は、２次元画像情報と３次元画像情報とが混在する表示画面に対しても、操作性良く入力が可能な入力装置及び方法、並びにプログラム及び記憶媒体を提供することにある。

上記目的を達成するために、請求項１記載の入力装置は、表示装置に表示される画像情報に対して指示入力可能な入力装置において、２次元画像情報に対して２次元の座標を出力する２次元座標出力手段と、３次元オブジェクトに対して３次元の座標を出力する３次元座標出力手段と、前記２次元座標出力手段の座標入力平面からの距離を検出する距離検出手段と、前記距離検出手段が検出する距離が所定値以上の場合に前記３次元座標出力手段の座標を有効とする座標制御処理手段とを備えることを特徴とする。

請求項６記載の入力装置は、表示装置に表示される画像情報に対して指示入力可能な入力装置において、自身が所在する空間上の３次元座標を出力する３次元座標出力手段と、自身が所定の入力面に接触しているかどうかを検出する接触検出手段と、前記接触検出手段の検出結果において、接触していると判断した場合には、前記３次元座標出力手段が出力可能な３軸の座標のうち２軸の座標を出力し、接触していないと判断した場合には、前記３次元座標出力手段が出力する３軸の座標のうち前記２軸の座標を前記表示装置の画面と同一平面方向に変換して出力する座標演算手段とを備えることを特徴とする。

請求項７記載の入力方法は、表示装置に表示される画像情報に対して指示入力可能な入力方法において、２次元画像情報に対して２次元の座標を出力する２次元座標出力ステップと、３次元オブジェクトに対して３次元の座標を出力する３次元座標出力ステップと、前記２次元座標出力ステップの座標入力平面からの距離を検出する距離検出ステップと、前記距離検出ステップが検出する距離が所定値以上の場合に前記３次元座標出力ステップの座標を有効とする座標制御処理ステップとを備えることを特徴とする。

請求項１０記載の入力方法は、表示装置に表示される画像情報に対して指示入力可能な入力方法において、自身が所在する空間上の３次元座標を出力する３次元座標出力ステップと、自身が所定の入力面に接触しているかどうかを検出する接触検出ステップと、前記接触検出ステップの検出結果において、接触していると判断した場合には、前記３次元座標出力ステップが出力可能な３軸の座標のうち２軸の座標を出力し、接触していないと判断した場合には、前記３次元座標出力ステップが出力する３軸の座標のうち前記２軸の座標を前記表示装置の画面と同一平面方向に変換して出力する座標演算ステップとを備えることを特徴とする。

請求項１１記載の入力プログラムは、表示装置に表示される画像情報に対して指示入力可能な入力プログラムにおいて、２次元画像情報に対して２次元の座標を出力する２次元座標出力モジュールと、３次元オブジェクトに対して３次元の座標を出力する３次元座標出力モジュールと、前記２次元座標出力モジュールの座標入力平面からの距離を検出する距離検出モジュールと、前記距離検出モジュールが検出する距離が所定値以上の場合に前記３次元座標出力モジュールの座標を有効とする座標制御処理モジュールとをコンピュータに実行させることを特徴とする。

請求項１２記載の入力プログラムは、表示装置に表示される画像情報に対して指示入力可能な入力プログラムにおいて、自身が所在する空間上の３次元座標を出力する３次元座標出力モジュールと、自身が所定の入力面に接触しているかどうかを検出する接触検出モジュールと、前記接触検出モジュールの検出結果において、接触していると判断した場合には、前記３次元座標出力モジュールが出力可能な３軸の座標のうち２軸の座標を出力し、接触していないと判断した場合には、前記３次元座標出力モジュールが出力する３軸の座標のうち前記２軸の座標を前記表示装置の画面と同一平面方向に変換して出力する座標演算モジュールとをコンピュータに実行させることを特徴とする。

請求項１３記載のコンピュータ読み取り可能な記憶媒体は、請求項１１記載の入力プログラムを格納する。

請求項１４記載のコンピュータ読み取り可能な記憶媒体は、請求項１３記載の入力プログラムを格納する。

本発明の入力装置は、２次元画像情報に対して２次元の座標を出力する２次元座標出力手段と、３次元オブジェクトに対して３次元の座標を出力する３次元座標出力手段と、２次元座標出力手段の座標入力平面からの距離を検出する距離検出手段とを備える。更に、入力装置は、距離検出手段が検出する距離が所定値以上の場合に３次元座標出力手段の座標を有効とする座標制御処理手段を備える。このように、２次元座標出力手段の座標入力平面からの距離が所定値以上の場合に３次元座標出力手段の座標を有効とするので、２次元画像情報と３次元画像情報とが混在する表示画面に対しても、操作性良く入力することができる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

図１は、本発明の第１の実施の形態に係る入力装置と、本体とが接続されたシステムの構成を概略的に示す図である。

図１において、このシステムは、表示装置１０１と、コンピュータ本体（以下、本体）１０８と、入力装置１１４とから構成される。

表示装置１０１はＣＲＴや液晶等で構成される。本体１０８は、ビデオ装置１０２、周辺装置１０３、ＣＰＵ１０４、記憶装置１０５、カーソル制御装置１０６、座標受信部１０７を備える。

ビデオ装置１０２は表示装置１０１に画像信号を送信する。周辺装置１０３は光学ドライブ装置等で構成される。ＣＰＵ１０４はシステム全体を制御する。記憶装置１０５はメモリやハードディスク等で構成される。カーソル制御装置１０６は、表示装置１０１に出力するカーソルを制御する。座標受信部１０７は、カーソル制御装置１０６に送信するカーソルの座標を受信する。

また、操作者が操作する入力装置（指示具）１１４は、３次元座標検出部１０９、座標制御処理装置１１０、座標送信部１１１、２次元座標検出部１１２、距離検出部１１３、複数のスイッチＳＷ０〜ＳＷ３（１１５〜１８）を備える。

３次元座標検出部１０９は３次元の座標を検出する。座標制御処理装置１１０は、各検出部の制御及び出力されるデータの獲得及び座標演算を行う。座標送信部１１１は座標受信部１０７に座標データを送信する。２次元座標検出部１１２は２次元の座標を検出する。距離検出部１１３は入力装置１１４の筐体と入力面との距離を検出する、スイッチＳＷ０〜ＳＷ３（１１５〜１８）モードの変更等に用いる。

本システムは、入力装置１１４に対して操作者が入力操作を行い、得られた座標データやスイッチ情報などを例えばシリアル通信を用いて、本体１０８側に送信することによって、表示装置１０１に表示されている内容を操作することが可能な構成となっている。

特に、表示内容が２次元の画像の場合は、いわゆるマウスとして動作し所定の入力面の上を動かすことによって、２次元座標検出部１１２で相対座標を検出し、表示装置１０１に表示されているカーソル等を動かして画面を操作する。

また、表示装置１０１に仮想３次元空間の情報を保有するオブジェクトとして３次元オブジェクトが表示されている場合は、入力装置１１４を持ち上げて画面に向かって３次元オブジェクトを操作したい方向へ動かす。このことによって該オブジェクトの移動や回転等の操作が可能となっている。

図２−１は、図１における２次元座標検出部の構成を概略的に示す図である。

２次元座標検出部１１２は、所定座標平面における２次元空間の座標を出力して、本体１０８が取り扱う２次元画像に対する入力を行うことができる。この２次元座標検出部１１２は、例えば光学方式で、図２−１に示すように、発光装置２０１、受光装置２０２、２次元座標演算部２０３から構成される。

発光装置２０１は、発光ダイオード、駆動回路、レンズ等から構成され、発光ダイオードが放射する光線をレンズによって平行光束にコリメートするなどして入力面に対して発光する。

受光装置２０２は、イメージセンサ、駆動回路、レンズ等で構成されていて、発光装置２０１の放射する光に対して入力面を反射面とした像を検出する。２次元座標演算部２０３は、演算処理回路等から構成されていて、入力装置１１４をある一定方向に動かすことによってイメージセンサで結像パターンをフレーム単位で得ることができる。

特定の微小領域について直前の結像パターンと現在の結像パターンを比較することによって、入力装置１１４の移動方向と移動量を算出する。そしてこの移動方向と移動量に基づいて、２次元の座標値を演算することができる。ここで演算された２次元座標は、座標制御処理装置１１０に送信される。

図２−２は、図１における３次元座標検出部の構成を概略的に示す図である。

３次元座標検出部１０９は、入力装置１１４の３次元空間内における座標と傾きを検出することにより、本体１０８が取り扱う３次元仮想空間に対する入力を行うことができる。

図２−２に示すように、この３次元座標検出部１０９は、３個のジャイロ１〜３（２０７〜２０９）と、３個の加速度センサ１〜３（２０４〜２０６）と、３次元座標演算部２１０とを有する。

ジャイロ２０７〜２０９は、ここでは振動する物体に加わるコリオリの力を検出する圧電振動型を用いるが、光学的干渉を利用する光ジャイロでも差し支えない。また、加速度センサ２０４〜２０６は、ここでは圧電型の加速度センサで、モノリシックチップで信号調整回路を備えた小型のものを用いることで、装置の設計自由度を広げているが、他の検出方式（例えば静電容量型）でもよい。

３個のジャイロ２０７〜２０９は、それぞれ入力装置１１４を基準として設けた互いに直交する３軸からなるセンサ座標系（Ｘａ，Ｙａ，Ｚａ）のＸａ軸周り，Ｙａ軸周り及びＺａ軸周りの回転角速度を示す信号を出力する。

３個の加速度センサ２０４〜２０６は、それぞれＸａ軸方向，Ｙａ軸方向及びＺａ軸方向の加速度を示す信号を出力する。得られる加速度信号と角速度信号は、高周波のノイズ成分が含まれているので、各センサに内蔵するフィルタを通過させ、Ａ／Ｄコンバータに入力されて、３次元座標演算部２１０に入力される。

３次元座標演算部２１０は、傾き角度演算部、重力方向ベクトル演算部、加速度方向ベクトル演算部から構成される。

傾き角度演算部は、初期値に対するジャイロが出力した回転角速度を基に重力加速度方向の軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における入力装置１１４の筐体基準軸の傾き角度を算出する。尚、初期値は、加速度センサを用いて検出したＸａ軸方向、Ｙａ軸方向及びＺａ軸方向の加速度を基に求める。傾き角は、回転角ベクトルを用いて表す。

重力方向ベクトル演算部は、傾き角度演算部が算出した筐体基準軸の傾き角を正規化して重力方向ベクトルを算出する。加速度方向ベクトル演算部は、加速度センサが出力した加速度を示す信号を正規化して加速度方向ベクトルを算出する。得られた加速度データは積分して速度の座標変換を行い、移動距離を算出し、更に移動距離から座標を算出する。

このように、ジャイロと加速度センサで、入力装置１１４の位置、傾き角度を検出し、予め基準データを設定することにより、その位置からの相対位置と角度を算出することができる。そして、算出された相対位置、傾き角度は、シリアルデータとして出力される。

本発明の入力装置１０８を用いた２次元（２Ｄ）の座標入力と３次元（３Ｄ）の座標入力は、３次元座標検出部１０９、２次元座標検出部１１２、距離検出部１１３から送信されるデータを座標制御処理装置１１０で処理及び制御することによってなされる。この座標制御処理装置１１０の動作について、図３と図４を用いて説明する。

図３（ａ）に示すように、表示装置１０１に構成される画面３０３に表示されているウィンドウ３０２及びウィンドウ３０２中の３次元オブジェクト３０１（以下３Ｄオブジェクトと呼ぶ）を操作する場合を考える。

尚、ここでいう３Ｄオブジェクトとは、３次元画像情報をオブジェクトの情報として所有し、３次元の座標情報と回転情報を与えることによって、自由に移動・回転・拡大・縮小した画像情報を表示可能なオブジェクトである。

このように２次元の画像と３Ｄオブジェクトが混在して画面３０３に表示されている場合に、本発明の入力装置１１４は以下のように動作する。

まず、２次元の座標入力の場合（図３（ｂ））には、入力面３０５（例えば机など）に入力装置（指示具）１１４を接した状態で移動させ、前回の座標と今回の座標を比較して相対的な座標を出力することによって、画面表示内容に対して指示操作することができる。尚、このときの座標軸Ｘ及びＹは、座標軸３０６に示すように、入力面３０５と同一の面に形成される。

一方で、３次元の座標入力の場合（図３（ｃ））には、入力面３０５から所定距離３０７をもって浮かせた状態（入力装置１１４を持ち上げた状態）で入力の動作をさせる。３Ｄオブジェクト３０１を操作する場合は、画面３０３に向けて入力装置１１４を動かすことによって操作する。

画面３０３に向かって上下左右の方向に動かせば、３Ｄオブジェクト３０１は同様に上下左右の方向に移動する。また、画面３０３に近づける方向に入力装置１１４を動かすと、３Ｄオブジェクトは、現在の大きさよりも縮小し、画面３０３から遠ざける方向に入力装置１１４を動かすと、現在の大きさよりも拡大して表示される。

また、入力装置１１４を所定方向に傾けると、その角度に従って、３Ｄオブジェクト３０１も所定方向に回転した状態で画面３０３に表示される。このときの座標軸は、３軸の座標を出力する場合は、座標軸３０８に示すようにＸａ，Ｙａ，Ｚａで構成され、入力装置１１４の方向を予め基準として所定方向に構成する。

また、左記座標軸Ｘａ，Ｙａ，Ｚａに対する回転方向のデータを出力する場合には、座標軸３０９に示すように、それぞれの座標軸に対して、Ｘθ，Ｙθ，Ｚθを規定する。

ところで、画面に２次元の画像（例えばウィンドウ３０２）と３Ｄオブジェクト３０１が混在する形で表示されていて、その表示内容に対して入力装置１１４による操作を行う場合、その操作する場面によって様々な場合が考えられる。

例えば、（１）２次元画像も３Ｄオブジェクトも３次元の座標入力を許可する場合：この場合は、３Ｄオブジェクト３０１に対しては上記のように動作する。しかし、２次元画像に対しては、図３の座標軸３００のうちＸｄ、Ｙｄに対応する座標で動作し、Ｚｄに対応する座標は無視するように動作する。

（２）入力装置１１４が３次元の座標入力のモードになった場合で３Ｄオブジェクトにのみ入力を許可する場合：この場合は２次元画像に対する入力を無視し、３Ｄオブジェクトのみの操作を入力装置１１４の座標軸Ｘａ，Ｙａ，Ｚａに対応する座標で可能とする。

（３）（２）の場合で、３Ｄオブジェクトの操作を、回転量の座標軸Ｘθ，Ｙθ，Ｚθに対応する回転量で可能とする。

（４）（２）の場合で、３Ｄオブジェクトの操作を、座標軸Ｘａ，Ｙａ，Ｚａに対応する座標と回転量の座標軸Ｘθ，Ｙθ，Ｚθに対応する回転量で可能とする。

上記のうち、（１）の動作については、ウィンドウ情報などの表示画像の情報が必要となるので、ＣＰＵ１０４と通信できるカーソル制御装置１０６で制御される。尚、（２），（３），（４）はそれぞれ３Ｄ−１，３Ｄ−２，３Ｄ−３のモードとしてＳＷ０（１１５），ＳＷ１（１１６），ＳＷ２（１１７）で切り替えが可能である。

尚、２次元の座標入力時と３次元の座標入力時では、出力する際に座標軸の変換が行われる。即ち、２次元座標入力時の座標軸Ｘ，Ｙで構成される入力面は、表示装置１０１の画像を構成する面に対応する座標軸Ｘｄ，Ｙｄで構成する面に相当するが、３次元座標入力時には座標軸Ｘａ，Ｚａで構成する面に相当する。

従って、このまま入力装置１１４を持ち上げて３次元座標入力する場合にも、２次元座標入力時と同じ座標軸のまま座標を出力すると、操作に支障をきたす。ゆえに、３次元座標入力時には、座標軸ＹａとＺａに対応する座標を入れ替えて出力する。

図４は、図１における入力装置によって実行される座標制御処理の手順を示すフローチャートである。

本処理は、入力装置１１４の座標制御処理装置１１０によって実行される。

図４において、まず、座標制御処理装置１１０のプログラムが開始すると、ステップＳ４０１において、距離検出部１１３で入力装置１１４と入力面との距離が測定される。ステップＳ４０２で、検出された距離が所定値以上かどうか判断する。

距離が所定値以下、即ち、入力面と入力装置１１４が接している場合は、ステップＳ４０３に進み、２Ｄモードの設定をする。そして、ステップＳ４０４で、対応する座標軸を決定し、ステップＳ４０５で対応する２次元座標を計算する。そして、ステップＳ４０６で座標送信部１１１にＸ，Ｙ軸に対応する座標を出力する。

ステップＳ４０２で、距離が所定値以上、即ち、入力面から入力装置１１４が離れたと判断された場合には、ステップ４０７に進み、３Ｄモードの設定をする。そして、ステップＳ４０８で、対応する３Ｄの座標軸を設定し、ステップＳ４０９で、対応する３次元座標を計算する。

次に、ステップＳ４１０からは、スイッチＳＷ０〜ＳＷ３によってどのモードに設定するかが判断される。ステップＳ４１０で、ＳＷ情報から３Ｄ−１モードと判断された場合には、ＹＥＳとしてステップＳ４１１に進みＸ，Ｙ，Ｚ座標を出力する。

ステップＳ４１０でＮＯの場合には、ステップＳ４１２に進み、３Ｄ−２モードかどうか判断し、３Ｄ−２モードと判断された場合、ＹＥＳとしてステップＳ４１３に進み、Ｘθ，Ｙθ，Ｚθ座標を出力する。

ステップＳ４１２でＮＯの場合には、ステップＳ４１４に進み、３Ｄ−３モードかどうか判断し、３Ｄ−３モードと判断された場合、ＹＥＳとしてステップＳ４１５に進み、Ｘ，Ｙ，Ｚ座標及びＸθ，Ｙθ，Ｚθ座標を出力する。

図１における距離検出部１１３について説明する。

本発明の入力装置１１４は、２次元の座標入力と３次元の座標入力の両方が可能だが、その切り替えは、距離検出部１１３が検出する距離情報を座標制御処理装置１１０が監視することによって行われる。

この距離検出部１１３は、２次元座標検出部１１２の発光装置２０１の発光ダイオードが入力面に放射した光線の反射光を受光装置２０２のイメージセンサで受光した検出波形から、距離を判断することができる。イメージセンサで検出する輝度分布を監視すると、入力装置１１４を持ち上げた場合には、輝度分布が全体的に低下する。この輝度分布を所定の閾値で検出して、２次元の座標入力と３次元の座標入力を切り替えることができる。

尚、この距離検出部１１３は、座標検出系とは独立した距離センサ（超音波などの方式によるもの）を用いてもよい。また機械的なスイッチを用いてもよく、入力装置１１４が入力面から離れたことを検出することができれば、手段は問わない。

また、２次元の座標入力と３次元の座標入力の切り替え時は、操作者の過渡的な動作を考慮して不感帯を設け、所定の距離範囲（または所定時間）において３次元の座標入力を禁止する処理をしてもよい。

次に、本発明の入力装置１１４の座標送信部１１１で出力される通信フォーマットに関して説明する。

座標制御処理装置１１０で計算された座標データは、シリアル通信で本体１０８の座標受信部１０７へ送信される。その通信仕様は、例えば、転送速度：９６００ｂｐｓ、データ長：７ビット、パリティ：なし、ストップビット：２ビットで送信される。

データの送信は、座標が移動した場合、ボタンが押された場合、ボタンが離された場合で変化があったときだけ行われるよう、座標送信部１１１で制御する。また、本体１０８の座標受信部１０７の受信は、割込み処理で行われる。

図５は、図１における座標送信部の送信フォーマットを示す図である。

図５において、送信バイト数は、モードによって異なり、モード：２Ｄ、３Ｄ−１、３Ｄ−２では、４バイトが１組のデータブロックとして扱われ、モード：３Ｄ−３では、７バイトが１組のデータブロックとして扱われる。

バイト０は、上位２ビットは常に１０（バイナリ）となる。残り６ビットで、２Ｄか３Ｄかを示すモード切り替えの状態及び入力装置１１４の各スイッチＳＷ０〜ＳＷ３の押下の状態を示す。

各モード：２Ｄ、３Ｄ−１、３Ｄ−２、３Ｄ−３の判別は、バイト０のビット４及び５のｍｄ０、ｍｄ１の値を変更することで実行する。ｍｄ０：０、ｍｄ１：０のときモード：２Ｄ、ｍｄ０：１、ｍｄ１：０のときモード：３Ｄ−１、ｍｄ０：０、ｍｄ１：１のときモード：３Ｄ−２、ｍｄ０：１、ｍｄ１：１のときモード：３Ｄ−３として動作する。

モード：２Ｄ、３Ｄ−１、３Ｄ−２では、バイト１〜バイト３で先に説明したＸｄ，Ｙｄ，Ｚｄの各座標軸に対応したＸ座標、Ｙ座標、Ｚ座標（モード：２Ｄの場合は、バイト３の全てのビットが１）の値が前回サンプリング時からの差分データとして出力される。尚、送信データは２の補数を使用し、例えば、ｘ７が‘０’のときは表示装置１０１に向かって右方向への移動とし、ｘ７が‘１’のときは左方向への移動とする。

尚、先述の通り、各モードでは、座標軸の変換が行われるため、送信するデータもその変換に対応し、例えば、モード：２Ｄにおけるバイト２：ｙ０〜ｙ７は、モード：３Ｄ−１では、バイト３：ｙ０〜ｙ７として、送信する。

以上のようにして、２次元画像と３Ｄオブジェクトが混在する画面内容に対しても一連の指示動作を直感的にかつ連続的に行うことができる。

図６は、本発明の第２の実施の形態に係る入力装置の構成を概略的に示す図である。

図１の入力装置１１４の３次元座標検出部１０９は、３個の加速度センサと３個のジャイロによって３次元座標を検出するよう構成していた。

本実施の形態では、本体６０８に、３次元座標検出部１０９に相当する代替手段を設けることによって、本体６０８が入力装置を構成する。

尚、図１の第１の実施の形態では、入力装置１１４がそれ自体、指示具であったが、本実施の形態では、入力装置としての本体６０８と、指示具は別であり、指示具は後述する図７に示す。

図６において、符号６０２、６０４〜６０６は、図１の符号１０２、１０４〜１０６に対応している。本体６０８は、他にデータ受信部６０９、座標演算回路６１０を備える。また、表示装置６０１側（表示装置と一体または横に配置）に所定距離離して複数の撮像装置１，２（６１１，６１２）を配置する。

表示装置６０１内の画像情報に対して指示操作する指示具の動きを撮像装置１，２（６１１，６１２）によって検出し、３次元空間内の入力装の３次元座標を算出する。

図６において、撮像装置１（６１１）及び撮像装置２（６１２）で検出された映像データは、座標演算回路６１０に入力される。尚、撮像装置１，２（６１１，６１２）で捕らえた映像データのうち着目するのは、指示具から発光する光点で、該光点の複数の映像データの位置の差から、３角測量の原理を用いて指示具の３次元座標を算出することができる。

上記のように、指示具の光点を撮像装置１，２（６１１，６１２）で検出するため、指示操作に用いる指示具の構成は、図７に示すようになっている。

図７は、図６の入力装置で使用される指示具の構成を概略的に示す図である。

図７において、指示具７００は、スイッチ７０１、投光用ＬＥＤ７０２、所定方向へ光を投射するレンズ７０３、所定波長を通過するフィルタ７０４及び７０７、イメージセンサ７０５、外乱光を避けるためのフード７０６を備える。また、指示具７００は、本体６０８側に２次元座標に相当する相対データを送信する送信部７０８、動作を制御する制御回路７０９、電源７１０、筐体７１２を備える。

ＬＥＤ７０２から投光された光は、レンズ７０３及びフィルタ７０７を介して、入力面７１１に投影し、イメージンセンサ７０５は入力面７１１の結像パターンから指示具７００の移動方向及び移動量を算出する。

以上の動作は、２次元座標を算出、出力する場合で、３次元座標を算出、出力する場合は、次のように動作する。

３次元入力する場合は、指示具７００を持ち上げて、表示装置６０１に指示具７００を向けることで、表示装置６０１の画面に対して指示操作を行う。そのとき、指示具７００のＬＥＤ７０２からの投光はレンズ７０３及びフィルタ７０４を介して、撮像装置１（６１１）及び２（６１２）で検出される。

制御回路７０９では、ＬＥＤ７０２を駆動すると同時に、送信部７０８で現在の指示具７００による入力が２次元なのか３次元なのかをデータとして本体６０８に出力する。尚、２次元座標と３次元座標の切り替えは、先述したと同様に、イメージセンサ７０５で検出する輝度分布によって判断することができる。

上記以外でも例えば、カメラに内蔵した赤外線ＬＥＤを光源として、発光したパルスが物体に当たって反射して戻ってきた時間を計測して物体との距離を計測する方式であっても３次元データを測定することができるので、この方式を用いてもよい。指示具７００の３次元空間における座標が算出できるものであれば方式は問わない。

また、距離検出部１１３における距離検出の方法は、イメージセンサが検出するデータの輝度分布で判定したが、指示具と入力面とが接しているか否かを検出することが可能であればよいので、例えば抵抗膜などを指示具の底面に構成して検出してもよい。

また、２次元入力と３次元入力を切り替える際に座標軸の交換を行う内容の説明をしたが、３次元座標のデータのうち２軸のデータのみを出力する構成としてもよい。指示具と入力面の距離によって、出力する座標の形態（またはモード）が変更する構成であれば、本発明の内容に包含される。例えば、指示具を入力面から持ち上げた場合は、回転方向のデータのみの出力に変更するなども上記に該当する。

以上のように、本発明を適用すれば、表示装置の画面内容が、２次元画像と３次元オブジェクトが混在する内容であっても、指示具の入力が２次元座標入力と３次元座標入力の両方を直感的にかつ連続的に操作することができる入力装置を提供することが可能となる。

また、本発明の目的は、実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。

本発明の第１の実施の形態に係る入力装置と、本体とが接続されたシステムの構成を概略的に示す図である。 図１における２次元座標検出部及び３次元座標検出部の構成を概略的に示す図である。 図１における入力装置の動作を説明するための図である。 図１における入力装置によって実行される座標制御処理の手順を示すフローチャートである。 図１における座標送信部の送信フォーマットを示す図である。 本発明の第２の実施の形態に係る入力装置の構成を概略的に示す図である。 図６の入力装置で使用される指示具の構成を概略的に示す図である。

符号の説明

１０１ 表示装置
１０２ ビデオ装置
１０３ 周辺装置
１０４ ＣＰＵ
１０５ 記憶装置
１０６ カーソル制御装置
１０７ 座標受信部
１０８ 本体
１０９ ３次元座標検出部（３次元座標出力手段）
１１０ 座標制御処理装置（座標制御処理手段）
１１１ 座標送信部
１１２ ２次元座標検出部（２次元座標出力手段）
１１３ 距離検出部（距離検出手段；触検出手段）
１１４ 入力装置
１１５ スイッチ０
１１６ スイッチ１
１１７ スイッチ２
１１８ スイッチ３
６１０ 座標演算回路（座標演算手段）

Claims (14)

1. 表示装置に表示される画像情報に対して指示入力可能な入力装置において、
   ２次元画像情報に対して２次元の座標を出力する２次元座標出力手段と、
   ３次元オブジェクトに対して３次元の座標を出力する３次元座標出力手段と、
   前記２次元座標出力手段の座標入力平面からの距離を検出する距離検出手段と、
   前記距離検出手段が検出する距離が所定値以上の場合に前記３次元座標出力手段の座標を有効とする座標制御処理手段と、
   を備えることを特徴とする入力装置。
2. 前記座標制御処理手段は、前記３次元座標出力手段が出力する少なくとも３軸の座標のうち、前記表示装置の画面と同一平面方向となる第１の座標平面と、前記２次元座標出力手段が出力する２軸の座標軸で構成される第２の座標平面とが、同一方向の座標平面となるように、前記２軸の座標軸を制御することを特徴とする請求項１記載の入力装置。
3. 前記３次元座標出力手段は、３軸の座標と前記３軸の各回転方向情報を出力することを特徴とする請求項１記載の入力装置。
4. 前記２次元座標出力手段は、
   入力面に対して発光する発光手段と、
   前記入力面からの反射光を受光して像を検出する第１の受光手段と、
   前記検出された像に基づき、２次元座標演算を行う２次元座標演算手段と、
   前記発光手段の発光を表示装置近傍に配置した第２の受光手段によって検出し、
   前記第２の受光手段の検出結果に基づき、３次元座標演算を行う３次元座標演算手段と、
   を備えることを特徴とする請求項１記載の入力装置。
5. 前記３次元座標出力手段は、
   ３軸からなるセンサ座標系の回転角速度を示す信号を出力する複数のジャイロと、
   ３軸からなるセンサ座標系の加速度を示す信号を出力する複数の加速度センサと、
   前記回転角速度及び加速度に基づき、３次元座標演算を行う３次元座標演算手段と、
   を備えることを特徴とする請求項１記載の入力装置。
6. 表示装置に表示される画像情報に対して指示入力可能な入力装置において、
   自身が所在する空間上の３次元座標を出力する３次元座標出力手段と、
   自身が所定の入力面に接触しているかどうかを検出する接触検出手段と、
   前記接触検出手段の検出結果において、接触していると判断した場合には、前記３次元座標出力手段が出力可能な３軸の座標のうち２軸の座標を出力し、接触していないと判断した場合には、前記３次元座標出力手段が出力する３軸の座標のうち前記２軸の座標を前記表示装置の画面と同一平面方向に変換して出力する座標演算手段と、
   を備えることを特徴とする入力装置。
7. 表示装置に表示される画像情報に対して指示入力可能な入力方法において、
   ２次元画像情報に対して２次元の座標を出力する２次元座標出力ステップと、
   ３次元オブジェクトに対して３次元の座標を出力する３次元座標出力ステップと、
   前記２次元座標出力ステップの座標入力平面からの距離を検出する距離検出ステップと、
   前記距離検出ステップが検出する距離が所定値以上の場合に前記３次元座標出力ステップの座標を有効とする座標制御処理ステップと、
   を備えることを特徴とする入力方法。
8. 前記座標制御処理ステップは、前記３次元座標出力ステップが出力する少なくとも３軸の座標のうち、前記表示装置の画面と同一平面方向となる第１の座標平面と、前記２次元座標出力ステップが出力する２軸の座標軸で構成される第２の座標平面とが、同一方向の座標平面となるように、前記２軸の座標軸を制御することを特徴とする請求項７記載の入力方法。
9. 前記３次元座標出力ステップは、３軸の座標と前記３軸の各回転方向情報を出力することを特徴とする請求項７記載の入力方法。
10. 表示装置に表示される画像情報に対して指示入力可能な入力方法において、
    自身が所在する空間上の３次元座標を出力する３次元座標出力ステップと、
    自身が所定の入力面に接触しているかどうかを検出する接触検出ステップと、
    前記接触検出ステップの検出結果において、接触していると判断した場合には、前記３次元座標出力ステップが出力可能な３軸の座標のうち２軸の座標を出力し、接触していないと判断した場合には、前記３次元座標出力ステップが出力する３軸の座標のうち前記２軸の座標を前記表示装置の画面と同一平面方向に変換して出力する座標演算ステップと、
    を備えることを特徴とする入力方法。
11. 表示装置に表示される画像情報に対して指示入力可能な入力プログラムにおいて、
    ２次元画像情報に対して２次元の座標を出力する２次元座標出力モジュールと、
    ３次元オブジェクトに対して３次元の座標を出力する３次元座標出力モジュールと、
    前記２次元座標出力モジュールの座標入力平面からの距離を検出する距離検出モジュールと、
    前記距離検出モジュールが検出する距離が所定値以上の場合に前記３次元座標出力モジュールの座標を有効とする座標制御処理モジュールと、
    をコンピュータに実行させることを特徴とする入力プログラム。
12. 表示装置に表示される画像情報に対して指示入力可能な入力プログラムにおいて、
    自身が所在する空間上の３次元座標を出力する３次元座標出力モジュールと、
    自身が所定の入力面に接触しているかどうかを検出する接触検出モジュールと、
    前記接触検出モジュールの検出結果において、接触していると判断した場合には、前記３次元座標出力モジュールが出力可能な３軸の座標のうち２軸の座標を出力し、接触していないと判断した場合には、前記３次元座標出力モジュールが出力する３軸の座標のうち前記２軸の座標を前記表示装置の画面と同一平面方向に変換して出力する座標演算モジュールと、
    をコンピュータに実行させることを特徴とする入力プログラム。
13. 請求項１１記載の入力プログラムを格納するコンピュータ読み取り可能な記憶媒体。
14. 請求項１３記載の入力プログラムを格納するコンピュータ読み取り可能な記憶媒体。

Images