JP2004185488A - 座標入力装置 - Google Patents
座標入力装置 Download PDFInfo
- Publication number
- JP2004185488A JP2004185488A JP2002353889A JP2002353889A JP2004185488A JP 2004185488 A JP2004185488 A JP 2004185488A JP 2002353889 A JP2002353889 A JP 2002353889A JP 2002353889 A JP2002353889 A JP 2002353889A JP 2004185488 A JP2004185488 A JP 2004185488A
- Authority
- JP
- Japan
- Prior art keywords
- coordinate
- coordinate input
- coordinates
- operator
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
【課題】大画面に対する遠隔操作における操作性を向上することができる座標入力を提供できる。
【解決手段】所定位置に配置されている固定座標入力面102に対して座標入力指示具4により指示された座標を検出する。その検出された座標を、座標入力指示具の操作者を基準とする操作座標入力面105の座標に変換する。そして、変換された座標を出力する。
【選択図】 図1
【解決手段】所定位置に配置されている固定座標入力面102に対して座標入力指示具4により指示された座標を検出する。その検出された座標を、座標入力指示具の操作者を基準とする操作座標入力面105の座標に変換する。そして、変換された座標を出力する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、座標入力指示具の位置座標を算出する座標入力技術に関するものである。
【0002】
【従来の技術】
従来、CRTディスプレイ、液晶ディスプレイ(LCD)、あるいはプロジェクタ等の表示装置の表示面に、座標を入力することができる座標入力装置を重ねて配置し、操作者が行った指示具によるポインティングあるいは筆跡を表示装置に表示し、あたかも、紙と鉛筆のような関係を実現することができる座標入力して無が知られている。
【0003】
座標入力装置としては、抵抗膜方式をはじめ、静電方式、ガラス等の座標入力面に超音波を伝播させる超音波方式等の透明な入力板を有する方式や、光学方式、あるいは空中に音波を放射することで位置を検出する方式、さらには電磁誘導(電磁授受)方式のように表示装置の裏側に座標算出のための機構を配置し、表示装置の前面に透明な保護板を配置して、入出力一体の情報機器を構成している物もある。
【0004】
このような情報機器は、携帯性を有する小型の電子手帳に始まり、ペン入力コンピュータ等、表示装置の大型化に伴って、比較的大きなサイズのペン入力コンピュータ等の情報機器も見られるようになった。その他、フロントプロジェクタ、リアプロジェクタ、あるいはPDP等の大型表示装置と組み合わせて、例えば、プレゼンテーション装置、TV会議システム等に利用され始めている。また、大型の液晶ディスプレイやPDPディスプレイ等の表示装置は、現在も画質の改善、低コスト化が進められている他、衛星放送等のデジタル化に伴い、テレビの仕様形態も過渡期の状態に入りつつある。
【0005】
また、これらの大型の表示装置は、例えば、オフィスにおいて使われていたホワイトボード、あるいは電子黒板にとって変わり、パーソナルコンピュータ等の外部機器内にあらかじめ用意した資料用データを大型の表示装置に表示させることで、会議用途、打ち合わせ用途に使われ始めている。その場合、大型の表示装置に表示された情報は、ホワイトボードの如く、操作者、あるいは出席者により表示情報を更新するために、直接画面をタッチすることで、外部機器を制御して、例えば、表示画面の表示内容を切り替えることができるように構成されている。
【0006】
【発明が解決しようとする課題】
しかしながら、この種の大型の入出力一体型の座標入力システムを考慮した場合には、下記の課題があった。
【0007】
即ち、大勢の参加者を想定した打ち合わせ、あるいはネットワークを介した使用環境を考慮すれば、操作者が直接画面をタッチすることで外部機器を制御するばかりではなく、例えば、質問者がその場で遠隔操作により、画面を操作したり、その場で必要に応じてネットワークより情報を引き出せるような構成になるのが好ましい形態であると言える。
【0008】
従来のこの種の装置では、画面から離れて入力(遠隔操作)する場合は、操作者は、その画面に対して常に正面に相対して操作するとは限らず、画面の向きとは無関係に操作時にある操作者自身の状態・向きを中心とした座標系で画面を操作することが多い。従って、画面の持つ座標面と操作者が操作する時に形成される座標面とのなす角度を格別意識して操作しているわけではない。
【0009】
つまり、例えば、図26に示すように、操作者がこれから位置を指示しようとする大型の入出力一体型の座標入力システムに対して、正面ではなく、斜め方向から座標入力ペン4で入力する場合には、操作者は通常座標入力システムの画面102に対して平行ではなく、ある角度を持った斜め方向から入力することになる。従って、この場合、操作者の形成する操作入力面は、画面102に対して平行ではなくある角度を持つことになる。
【0010】
この場合、操作者自身は、無意識にその自分の形成する操作座標入力面に基づいた座標系で入力を行うが、従来の座標入力装置側では、座標入力システムの座標入力面を基準とした座標系に基づき座標を算出するため、斜め方向からの入力角度が大きくなるに従い、操作者の入力したと意識している座標及び描画軌跡106と実際に座標入力システムの画面102を基準として算出され表示される座標及び描画軌跡104との間にずれが生じ、操作性に問題が生じていた。
【0011】
本発明は、上記問題に鑑みてなされたものであり、大画面に対する遠隔操作における操作性を向上することができる座標入力を提供することを目的とする。
【0012】
【課題を解決するための手段】
上記の目的を達成するための本発明による座標入力装置は以下の構成を備える。即ち、
座標入力指示具の位置座標を算出する座標入力装置であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出手段と、
前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標を出力する出力手段と
を備える。
【0013】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。
【0014】
<実施形態1>
<システム構成の説明(図1)>
図1は本発明の各実施形態の座標入力装置を利用した座標入力システムの概略図である。
【0015】
図1の座標入力システムは、リアプロジェクション表示装置101(以下、表示装置101)に座標入力装置を内蔵して構成したシステムの一例である。
【0016】
この座標入力システムは、座標入出力一体型のシステムであり、座標入力装置に接続されたコンピュータが出力する各種の情報を表示装置101の画面102に表示する。加えて、指示具であるところの座標入力ペン4は、画面102を直接タッチすることで座標データを入力することができる。
【0017】
この座標データは、アイコンの操作(コンピュータの操作)に使用したり、カーソルの移動、図形の描画(カーソルの軌跡)等として使用することができる。
【0018】
座標入力装置は、座標入力ペン4の位置を計算して座標データとしてコンピュータに送出し、コンピュータは、表示装置101の画面102にフィードバックさせる。但し、本座標入力システムでは、座標入力ペン4で画面102を指示してマウスの如きにコンピュータを操作するだけではなく、画面102から離れた場所からコンピュータを遠隔操作することも可能な装置である。
【0019】
表示装置101の画面102は、コンピュータが生成するウィンドウ情報(例えば、ウインドウ103)等の画面情報を表示する。操作者は、先述したとおり、座標入力ペン4で画面102を直接タッチして入力することも可能であるが、図1に示すように画面102から離れた場所での入力も可能である。
【0020】
ここで、操作者を基準とした操作座標入力面における操作座標系(X,Y,Z)を操作者が操作する位置に構成し、概略XY平面(操作座標入力面)105に、軌跡106を仮想的に描画したとする。この場合、表示装置101の画面102には、操作者が操作した座標入力ペン4の軌跡106に対応する線104が画面102上のウインドウ103に表示されることになる。
【0021】
一方、表示装置101の画面102に於ける座標系を画面座標系(x,y,z)とする。
【0022】
ここで、操作者は、表示装置101の画面102に向かって正面にまっすぐ向かって入力しているのではなく、斜め方向から、操作座標系(X,Y,Z)と画面座標系(x,y,z)が平行ではなく、ある角度を持っている場合を考える。
【0023】
この場合、操作者にとっては、操作座標系(X,Y,Z)に於いて操作して描画をしたつもりでも、座標変換しない場合には、表示装置101の座標入力装置においては画面座標系(x,y,z)に基づいた座標が算出される。そのため、表示装置101の画面102に表示を行うと、操作者からは歪んで描画されたように見える。
【0024】
そこで、本発明においては、画面座標系(x,y,z)における操作者の複数の入力座標から操作座標系(X,Y,Z)に於ける操作者を基準とした操作座標入力面を算出し、この画面座標系(x,y,z)における操作者の入力座標を上操作座標系(X,Y,Z)の座標に変換し、これを表示装置101の画面102に表示する。
【0025】
従って、表示装置101の画面102には、操作者が操作した座標入力ペン4の軌跡106と対応する線104が、操作者にとって違和感無く表示されることになる。
【0026】
ここでいう操作座標入力面105及び操作座標系(X,Y,Z)とは、あくまで、画面102との位置関係において、操作者の入力作業、動作が形成する動作面、空間を指すものである。
【0027】
従って、例えば、入出力一体型の座標入力装置において、座標を入力する場合には、画面102と操作座標入力面105及び操作座標系(X,Y,Z)とは、例えば、回転、領域による歪みの補正等の狭義においては一致しないとの解釈もあるが、本発明の主眼とするところからすると、これは、一致しているのであり、本発明の対象ではない。
【0028】
つまり、画面102と、操作座標入力面105及び操作座標系(X,Y,Z)とがある角度を生じるような場合を本発明は対象としており、その意味では、2次元表示面に表示される2次元座標と3次元操作空間に於ける3次元座標入力との関係を本発明は対象としている。
【0029】
これにより、会議等で操作者が画面から斜め方向に離れている場合などでも、自然な感じでコンピュータを遠隔操作したり、表示されている内容に上書きをしたりすることができるので、非常に有効な装置となる。
【0030】
尚、本発明に於ける重要なポイントである操作座標系の算出及び画面座標系から操作座標系への座標変換に関しては、後で詳述する。
【0031】
<座標入力装置の構成に関する説明(図2、図3)>
座標入力装置は、先述した通り、ペン型の指示具を用いて座標入力面の任意の点を指示すると、その入力点の座標を検出して、接続されたコンピュータに座標データを出力する。実施形態1では、座標入力装置の座標検出方式として超音波方式の座標入力装置を構成する場合について説明するが、座標入力装置の座標検出方式に関しては、この超音波方式に限定されるものではない。
【0032】
図2は本発明の実施形態1の座標入力装置の座標入力ペンの基本構成を示す図である。
【0033】
座標入力ペン4は、画面102にペン先を押し当てることでペン先スイッチ41がオンになり超音波の発振が開始される。また、遠隔操作する場合は、ペンサイドスイッチ42aあるいは42bを押すことで超音波の発振が開始される。
【0034】
図3は本発明の実施形態1の座標入力装置の機能構成を示すブロック図である。
【0035】
座標入力ペン4において、302は、不図示のバッテリで動作する発振子303を駆動する駆動回路である。この駆動回路302は、発振子303を所定のタイミングで駆動するように制御している。そして、発振子303から発振された超音波信号は、座標入力装置本体304の内部回路のうち、複数の超音波センサ305で検出される。検出された超音波信号は、波形処理回路306で所定のレベルまで増幅されて、検出タイミング信号としてCPU307に入力される。
【0036】
こうして、複数の超音波センサ305で検出されたタイミング信号が揃ったらCPU307は、時間情報から距離情報に変換して、さらに三角測量の原理で座標入力ペン4の座標位置を算出する。更に、この一連の座標から操作座標系を算出し、座標入力装置304の画面座標系における操作者の入力座標を操作座標系の座標に変換する。
【0037】
尚、この座標計算及び座標変換は、ROM312に格納されている座標算出プログラム308をCPU307が呼び出すことによって実行される。そして、算出された座標データは、メモリ310に格納される。また、座標データは、逐次無線インターフェース311によって、外部のコンピュータに転送される。更に、必要に応じて、座標データから得られる軌跡を文字認識エンジン312で文字認識し、その認識結果をコマンドあるいはテキストデータとして、メモリ310に格納することができる。
【0038】
実施形態1の座標入力システムの構成は、上述した構成以外にも種々の構成を採用することができる。例えば、指示具はペン状に限定されず、いわゆる指示棒状であってもよい。また、座標入力方式は、超音波方式に限らず、3次元座標を算出することが可能な座標入力方式であれば、赤外線利用方式、抵抗膜方式、電磁誘導方式、あるいは静電結合方式等も採用することができる。
【0039】
但し、実施形態1のようなXYZ軸の3次元座標を算出することが可能な座標入力装置ではなく、2次元座標を算出する座標入力装置の場合においては、例えば、赤外線の反射光を用いることで距離を測定できる機能を付加するなどして、画面と座標入力装置の間の距離(距離に関する座標)を算出できる機能を別に有するならば、本発明に適用できることは言うまでもない。
【0040】
また、表示装置は、リアプロジェクタ表示装置101に限定されず、フロントプロジェクタ、液晶ディスプレイ、プラズマディスプレイ等、コンピュータの情報を表示することができるものであれば、どのようなものでも良い。
【0041】
更に、座標入力装置304と外部のコンピュータ間の接続は、無線インターフェース311に限定されず、有線インターフェースであっても良い。
【0042】
<座標入力装置の動作に関する説明(図4、図5)>
以下、座標入力ペン4による入力例をあげて、実施形態1における座標入力装置の入力方法について説明する。
【0043】
図4は本発明の実施形態1の画面上のカーソルが表示されているときの入力例を示す図である。
【0044】
ここでは、操作者が、点Aから点Bまで線を描画(描画は、マウスの左クリックを押しながら移動させたのと同様に、座標情報とスイッチ情報がコンピュータに送信されることによって描かれる)したい場合、座標入力ペン4のペンサイドスイッチ42aあるいは42bの動作と、座標入力ペン4の状態(超音波発振か停止かのいずれかの状態)と座標入力装置の座標出力モードに関して図4を用いて説明する。
【0045】
図4において、1の状態では、カーソル401が画面102上に表示されているのみで、座標入力ペン4の、ペン先スイッチ41、ペンサイドスイッチ42a、42bはいずれも押されていない。
【0046】
2の状態では、描画を開始したい点Aにカーソル401を移動させる。即ち、ペンサイドスイッチ42aをオンにして、超音波を発振するモードにし、カーソル401を点Aに移動させる。
【0047】
3の状態では、ペンサイドスイッチ42a及び42bをオンにして点Aから点Bまでカーソル401を移動させる動作をする。即ち、この状態は描画されている状態であり、画面102上には、カーソル401の軌跡104が表示される。
【0048】
4の状態では、点Bまで軌跡が表示されてカーソルが401移動したならば、ペンサイドスイッチ42bをオフ(指をはなす)にする。
【0049】
以上のようにして、座標情報とスイッチ情報を入力することによって、マウスの如きにコンピュータを操作することができる。
【0050】
尚、スイッチ情報は、赤外線や電波で座標入力装置本体304に送信してもよいし、発振の間隔をスイッチごとに可変させることによって、座標入力装置本体304側で検出してもよい。
【0051】
<座標入力装置の詳細な構成の説明>
上述した動作をする座標入力装置の構成をより詳細に説明する。
【0052】
図5は本発明の実施形態1の3次元(空間)座標計測可能な座標入力装置の概略構成を示す図である。
【0053】
4は指示具であるところの座標入力ペンであり、操作者による座標入力動作により空中に音波を発生するように構成されている。発生した音波は複数の検出センサ3(実施形態1の場合、4個の検出センサ3_Sa〜Sdを使用する)により検出され、後述する方法により信号波形検出回路2で処理される。その後、演算制御回路1によって、座標入力ペン4の音波発生源の位置(X,Y,Z)を算出するように構成されている。
【0054】
演算制御回路1は、座標入力装置全体を制御するとともに、得られる座標データを基に、ディスプレイ駆動回路5を介して、表示装置101に表示されているカーソルを移動したり、あるいは筆記等の手書き情報を表示装置101に表示、追記できるように構成されている。
【0055】
以上のように、座標入力装置と表示装置を組み合わせることで、あたかも『紙と鉛筆』のような関係を実現することができるマンマシンインターフェースを提供することが可能となる。
【0056】
次に、座標入力ペン4の構成について、図6を用いて説明する。
【0057】
図6は本発明の実施形態1の座標入力ペンの構成を示す図である。
【0058】
特に、図6(a)は座標入力ペン4の外観図であり、図6(b)は座標入力ペン4の機能構成図である。
【0059】
座標入力ペン4内に内蔵された音波発生源43は、ペン電源45、およびタイマと発振回路並びに座標入力ペン4に具備されている複数のスイッチ情報を検知して制御する制御回路、各種データを記憶するメモリ等で構成された駆動回路44によって駆動される。
【0060】
音波発生源43は、例えば、PVDF(ポリフッ化ビニリデン)等の圧電性素子で構成される。このPVDFは、フィルム状で、所定サイズの円環状に構成することで、所望周波数で駆動効率が最大になるようになっている。音波発生源43の駆動信号は、タイマによって発せられる所定の周期で繰り返すパルス信号であって、発振回路により所定のゲインで増幅された後、音波発生源43に印加される。この電気的な駆動信号は、音波発生源43によって機械的な振動に変換され、空中にそのエネルギーが放射されることになる。
【0061】
尚、実施形態1における座標入力ペン4は、そのペン先端部を押圧することで動作するペン先スイッチ(SW)41、並びに座標入力ペン4の筐体に設けられた複数のペンサイドスイッチ(SW)42a、42bを具備する。
【0062】
駆動回路44は、所定周期毎(例えば、10msec毎、その場合、1秒間あたりに音波を100回放射するので、本座標入力装置の座標算出サンプリングレートは、100回/秒となる)に、座標入力ペン4内の音波発生源43を駆動させる信号を出力し、空中に音波を放射することになる。
【0063】
この音波は、音波発生源43と各検出センサ3_Sa〜Sd迄の距離に各々応じて遅延し、到達、検出されることになる。この検出センサ3_Sa〜Sdは、例えば、PZT等の厚み振動を行う圧電振動子で、前面に音響整合層を設けている。この音響整合層は、シリコンゴム等を薄層化したもので、気体との音響インピーダンスの整合をとり、高感度で広帯域特性が得られ、かつパルス応答性のよい超音波信号の送受信が可能となっている。
【0064】
この種の座標入力装置は、座標入力ペン4の音波発生源43と各検出センサ3_Sa〜Sd間の距離を、音波の既知の音速と、その到達時間の積により各々算出し、各検出センサ3_Sa〜Sdの位置情報を用いて幾何学的に音波発生源43の位置情報を得ることを基本としたシステムである。そこで、この音波の到達時間を検出する到達時間検出方法について、図7及び図8を用いて説明する。
【0065】
図7は本発明の実施形態1の音波の到達時間検出方法を説明するためのタイミングチャートである。また、図8は本発明の実施形態1の音波の到達時間検出を実現する検出回路のブロック図である。
【0066】
51は駆動回路44で発生した駆動信号であり、駆動信号51を発生するとともにスタート信号を生成する。このスタート信号は、例えば、座標入力ペン4内に内蔵されている赤外LED等(不図示)を介して、そのスタート信号を演算制御回路1に送信し、演算制御回路1内のタイマ12(図9参照)をスタートさせる。
【0067】
一方、空中に放射された音波は、音波発生源43と検出センサ3_Sa〜Sd間の距離に応じて遅延し、検出センサ3_Sa〜Sdで検出されることになる。53は前置増幅回路60で所定レベルまで増幅された各検出センサ3_Sa〜Sdで検出された検出信号を示す。この検出信号53を、絶対値回路及び低域通過フィルタ等により構成されるエンベロープ検出回路61で処理を行い、検出信号のエンベロープ54のみが取り出される。
【0068】
このエンベロープ54に着目すると、その波形が伝播する音速は群速度Vgであり、このエンベロープ54の特異な点、例えば、エンベロープ54のピークや変曲点を検出すると、群速度Vgに関わる遅延時間tgが得られる。エンベロープ54のピークあるいは変曲点を検出するエンベロープ特異点検出回路62は、微分回路、ゼロクロスコンパレータを用いて容易に検出が可能である。
【0069】
実施形態1では、2階微分することによって信号55を形成し、閾値レベル52と検出信号53で比較されたゲート信号を参照してエンベロープ54の変曲点を検出する(信号56)。この信号56を用いて前述したスタート信号により動作しているタイマ12をストップさせれば、群速度Vgに関わる群遅延時間Tgを検出することが可能である。
【0070】
また、厳密に言えば、この群遅延時間Tgには、波形処理に関わる回路の遅延分が含まれるが、後述する方法により、その影響は完全に除去される。よって、ここでは説明を簡略化するために、回路遅延時間は無いものとして説明を加える。
【0071】
以上のことから、音波発生源43と検出センサ3_Sa〜Sd間の距離Lは次式で求めることができる。
【0072】
L=Vg×Tg (1)
一方、より高精度な距離Lの計算を行う場合には、検出信号波形の位相情報より、音波が到達する時間を算出する。その詳細について説明すれば、検出センサ3_Sa〜Sdの出力信号53は、帯域通過フィルタ64により余分な周波数成分を除いた後、Tp信号検出回路66に入力される。Tp信号検出回路66は、ゼロクロスコンパレータ、マルチバイブレータ等で構成される。そして、帯域通過フィルタ64によって出力された信号のゼロクロス点に関わる信号を、所定の閾値レベル52と比較するゲート信号発生回路65が生成するゲート信号57と比較し、信号58を生成する。
【0073】
その後に、前述した群遅延時間Tgを検出する信号56をゲート信号(ゲート信号発生回路63が生成)として参照し、このゲート信号56の期間内において、帯域通過フィルタ64で出力される信号波形の位相が、例えば、負側から正側にクロスする最初のゼロクロス点を出力する信号59を生成する。
【0074】
そして、この信号59を用いて、前述したスタート信号により動作しているタイマ12をストップさせれば、位相速度Vpに関わる位相遅延時間Tpを検出することが可能である
尚、厳密にいえば、この位相遅延時間Tpには、波形処理に関わる回路の遅延分が含まれるが、後述する方法により、その影響は完全に除去される。よって、ここでは説明を簡略化するために、回路遅延時間は無いものとして説明を加える。
【0075】
以上のことから、音波発生源43と検出センサ3_Sa〜Sd間の距離Lは次式で求めることができる。
【0076】
L=Vp×Tp (2)
ここで、エンベロープ特異点検出回路62に基づきゲート信号発生回路63で生成するゲート信号56を用いる効果について説明する。
【0077】
検出センサ3_Sa〜Sdによって検出される信号レベルは、次の要因によって変動する。
【0078】
1) 音波発生源43、検出センサ3_Sa〜Sdの電気−機械変換効率
2) 音波発生源43と検出センサ3_Sa〜Sd間の距離
3) 音波が伝播する空中の温度、湿度等の環境変動
4) 音波発生源43の音波放射に関する指向性、並びに検出センサ3_Sa〜Sdの感度指向性
項目1)は部品公差により発生する要因であり、装置を大量生産する場合には十分な留意が必要である。また、項目2)は音波の減衰に関する項目であり、音波発生源43と検出センサ3_Sa〜Sd間の距離が大きくなるにつれて、空気中を伝播する音波の信号レベルは指数関数的に減衰することが一般的によく知られている他、その減衰定数も項目3)による環境で変化する。
【0079】
さらには、項目4)は、本発明は座標入力装置として動作するので、筆記具であるところの座標入力ペン4は、操作者による筆記動作で常にその姿勢が変化、つまり、ペン保持角度が変動するので、その変動によっても大きくレベルが変化する。さらには、検出センサ3_Sa〜Sdの感度指向性により、座標入力ペン4と検出センサ3_Sa〜Sdの成す角度が変動しても検出レベルが変動する。
【0080】
この時、例えば、検出レベルがより小さくなったと仮定した場合には、前述した閾値レベル(例えば、信号52)が固定であるために、信号58が信号58’に変化することは十分に有り得る現象となる。つまり、たとえ同一地点での座標入力動作を行っても、例えば、座標入力ペン4の保持角度(向き)が異なれば、検出信号53のレベルが異なることになるので、ゲート信号57の発生する時間がそれに依存することになる。しかしながら、本発明はエンベロープ54の特異点に基づくゲート信号56を参照しているので、検出信号レベルに依存することなく、安定して信号59を得ることが可能となっている。
【0081】
次に、実施形態1の演算制御回路1の概略構成について、図9を用いて説明する。
【0082】
図9は本発明の実施形態1の演算制御回路の概略構成を示すブロック図である。
【0083】
11は演算制御回路1及び本座標入力装置全体を制御するマイクロコンピュータであり、内部カウンタ、操作手順を記憶したROM、そして計算等に使用するRAM、定数等を記憶する不揮発性メモリ等によって構成されている。前述した通り、駆動回路44により座標入力ペン4内の音波発生源43の駆動タイミングと同期したスタート信号が、座標入力ペン4に内蔵された赤外LED等(不図示)により光信号として放射され、その信号をスタート信号検出回路17で検波することによって、演算制御回路1内のタイマ12(例えば、カウンタなどにより構成されている)をスタートさせる。
【0084】
このように構成することで、座標入力ペン4内の音波発生源43を駆動する駆動タイミングと、演算制御回路1内のタイマ12との同期が得られるので、音波発生源43で発生した音波が各検出センサ3_Sa〜Sd各々に到達するのに要する時間を測定することが可能となる。
【0085】
信号波形検出回路2より出力される各検出センサ3_Sa〜Sdよりの振動到達タイミング信号(信号59)は、検出信号入力ポート13を介してラッチ回路15_a〜dに各々入力される。ラッチ回路15_a〜dの各々は、対応する検出センサ3_Sa〜Sdよりの振動到達タイミング信号を受信すると、その時のタイマ12の計時値をラッチする。
【0086】
このようにして座標検出に必要な全ての検出信号の受信がなされたことを判定回路14が判定すると、マイクロコンピュータ11にその旨の信号を出力する。マイクロコンピュータ11がこの判定回路14からの信号を受信すると、ラッチ回路15_a〜dから各々の検出センサ3_Sa〜Sdまでの振動到達時間をラッチ回路15_a〜dより読み取り、所定の計算を行なって、座標入力ペン4の座標位置を算出する。
【0087】
更に、マイクロコンピュータ11では、画面座標系(x,y,z)において操作者が入力した複数の座標から操作座標系(X,Y,Z)に於ける操作者を基準とした操作座標入力面を算出し、この画面座標系(x,y,z)における座標入力ペン4の座標位置を操作座標系(X,Y,Z)の座標に変換する。
【0088】
その算出結果を、I/Oポート16を介してディスプレイ駆動回路5に出力し、表示装置101の対応する位置に、例えば、ドット等を表示することができる。また、I/Oポート16を介してインターフェース回路(不図示)に、座標位置情報を出力することによって、外部機器に座標値を出力することができる。
【0089】
<座標算出方式の説明>
次に、図10に示すような画面座標系に検出センサ3_Sa〜Sdが配置された場合、音波発生源43の画面座標系の位置座標(x,y,z)を求める方法について説明する。
【0090】
上記の方法により正確に求められた振動発生源43と各検出センサ3_Sa〜Sdまでの距離を各々La〜Ld、X方向の検出センサ間距離をXs−s、Y方向の検出センサ間距離をYs−sとすれば、
【0091】
となる。同様にして、
【0092】
となる。
【0093】
以上示したように、少なくとも3個の振動発生源43と検出センサ3までの距離が測定できれば、容易に音波発生源43の位置(空間)座標を求めることが可能となる。本発明では、検出センサを4個用いており、例えば、距離が最も遠い情報を使わず(この場合、検出センサ3で出力される信号は、距離が遠いために信号レベルが最も小さくなっている)、残り3個の距離情報のみで、座標を算出することで、信頼性の高い座標算出を可能としている。
【0094】
また、この距離が遠いセンサの距離情報を活用することで、出力された座標値の信頼性が高いものか判定することも可能である。
【0095】
具体的な方法としては、例えば、距離情報La、Lb、Lcで算出された座標値と、距離情報Lb、Lc、Ldで算出された座標値は同一の値を出力するはずであり(距離情報の組み合わせを変更して演算する)、両者が一致しない場合には、いずれかの距離情報が不正、つまり、誤検出したことになるので、その場合には、座標値を出力しないといった信頼性を向上させる構成も実施可能となる。
【0096】
以上のようにして、音波発生源43の画面座標系の位置座標(x,y,z)が複数点算出されると、この位置座標(x,y,z)より、操作者の入力座標から操作座標系(X,Y,Z)に於ける操作者を基準とした操作座標入力面を算出する。ここで、空間に於いて求めるべき操作座標入力面dは、次の平面式で表される。
【0097】
aX+bY+cZ=d (7)
この平面式(7)は、音波発生源43の画面座標系の位置座標(x,y,z)上の少なくとも3点P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)が存在することにより、平面式(7)から得られるこの3点を通る平面を操作座標入力面として算出する。
【0098】
次に、画面座標系の音波発生源43の位置座標(x,y,z)を、算出した操作座標系(X,Y,Z)に座標変換を行う。そして、画面102には、座標変換後の座標(X,Y,Z)の内、画面座標系の内、実際に表示される2次元座標系(x,y)に対応する座標(X,Y)を出力表示する。
【0099】
また、操作者は、常に同一箇所、同一姿勢で座標入力ペン4で指示を継続するわけではなく、状況に応じて移動して入力するので、その都度、操作座標系(X,Y,Z)に於ける操作者を基準とした操作座標入力面の算出を行わなくてはならない。従って、一旦、操作座標入力面の平面式(7)を算出したら、それ以後、常に入力座標がその平面式(7)上に存在するか否かを判定し、もし、その平面上から外れた点が検出された時点で、新たな平面式(7)を算出する。
【0100】
但し、実際には、操作者の指示位置である音波発生源43の画面座標系の位置座標(x,y,z)は、誤差が含まれ、更に操作者は、常に正確な同一平面上の座標を指示入力するわけではく、同一操作動作に於ける一連の動線上の6点によりなる2組から上記の平面式を求めても、必ず同一の平面が求まるとは限らない。従って、本発明においては、更に、以下の様なある一定の範囲の操作上の座標範囲においては同一平面に変換されるような演算手法を採用する。
【0101】
今、空間に於いて算出すべき操作座標入力面105の平面式を原点からの距離がpで、平面に垂直な単位ベクトルが(l,m,n)のときのヘッセの標準形で表すと、
lX+mY+nZ=p (8)
となる。これにより、ある音波発生源43の画面座標系の位置座標(x,y,z)上の3点より、まず、上記平面式(8)を算出する。そして、入力座標に一定の幅を持たせるために、次の式を入力座標がその平面式上に存在するか否かを判定するために、以下の判定式に用いる。
【0102】
p−α≦lX+mY+nZ≦p+α (9)
この判定式(9)は、幾何学的には、画面座標系に於ける入力座標が、平面式(8)を基準として、原点からの距離にして±αの範囲に入っているか否かの判定を意味する(図11参照)。
【0103】
従って、多少の操作者の操作上のぶれ等は吸収して、同一の操作座標入力面の座標に変換されるので、演算面での負担が軽減される。
【0104】
もし、入力座標が上記判定式(9)を満足している場合、画面座標系の位置座標を平面式(8)で示される操作座標入力面105の座標に座標変換する。一方、満足していない場合には、新たに操作座標入力面105の平面の算出を行う。
【0105】
以下、実施形態1の座標算出演算処理について、図12を用いて説明する。
【0106】
図12は本発明の実施形態1の座標算出演算処理を示すフローチャートである。
【0107】
尚、図12のフローチャートでは、不図示だが、この場合、平面式を算出するために、同一直線上に無い3点の座標を用いる。
【0108】
そこで、まず、ステップS1201で、画面座標系の入力座標(x,y,z)を算出する。
【0109】
次に、ステップS1202で、あるi番目の単位ベクトル(li,mi,ni)に対し、入力座標(x,y,z)が上記判定式(9)(p−α≦liX+miY+niZ≦p+α)を満足しているか否かを判定する。判定式(9)を満足している場合(ステップS1202でYES)、ステップS1203に進む。一方、判定式(9)を満足していない場合(ステップS1202でNO)、ステップS1203に進む。
【0110】
次に、ステップS1203で、入力座標(x,y,z)に基づいて、平面式(8)(li+1X+mi+1Y+ni+1Z=p)を算出する。
【0111】
次に、ステップS1204で、画面座標系座標を操作座標系座標に変換する。この座標変換に於いて、具体的に行う演算処理としては、次のような行列表現となる。この際、実際の操作座標入力面の画面座標系に対する傾きは、図1及び図10で示す座標系におけるY軸に関する回転であるとみなす。
【0112】
【0113】
ここで、x,y,z:画面座標系の座標
X,Y,Z:変換後の座標
θ :操作座標入力面の画面座標系に対する傾きでY軸に関するもの(計算上は、画面座標系の画像座標入力面と操作座標入力面の方向余弦の成す角度)。
【0114】
lx、ly、lz:平行移動量(但し、後述するように、遠隔操作時には相対座標モードとするので、実際には考慮しなくても良い。)
となる。
【0115】
従って、ステップS1205で、実際に、画面102に出力表示されるのは上記座標変換後の2次元の(X,Y)座標となる。そして、ステップS1206で、iの値を1インクリメントする。
【0116】
尚、操作座標入力面の傾きはY軸に関する回転としたが、これは、実際に図1及び図10の座標系に画面102が設置された場合に、Y軸、つまり、画面102への横方向の傾きが最も問題となると考えられるからであるが、更に画面102の縦方向の傾き、つまり、図10におけるX軸に関する回転を合わせ考慮して座標変換を行っても良い。
【0117】
尚、上記座標変換を行う平面式(8)で算出される操作座標入力面105の直交座標系の軸の向きは、画面座標系のy軸の鉛直面とこの操作座標入力面105とが交差する線が、この操作座標入力面105のX軸(水平方向)となるように定義する。
【0118】
このように定義することにより、座標変換する場合の入力された座標入力ペン4の軌跡106の文字、描画等の回転方向の向きが定まる。このように操作座標入力面105の軸の向きを決定することにより、実使用上違和感無く入力操作できる。更に、用途によっては、入力された軌跡106の図形、文字情報を認識し、その認識結果により、操作座標入力面105の軸の向きを定めることにより、操作者の入力情報の操作座標入力面105に於ける回転方向にも追従した座標を変換してもよい。
【0119】
本発明の座標検出手段である検出センサ3は、表示装置101の周囲等にその表示領域との位置関係が既知の位置に配置し、上述のように、音波発生源43の位置座標(x,y,z)を検出しているので、表示装置101自体の画面座標系と座標入力装置自体の座標系との間には明確な対応関係が存在する。あるいは、検出センサ3の位置と表示装置101との位置関係が既知で無い場合でも、基準点設定、キャリブレーション等の補正等により対応関係を明確にすることができる。
【0120】
本発明は、この画面(表示)座標系と座標入力装置の座標系との間の補正を主眼とするものではない。従って、本発明においては、操作座標入力面が、表示装置101の画面の持つ座標系との間の傾き、角度に関して座標変換を行う例を示したが、これは、同時に、表示装置101の物理的画面の寸法、表示サイズ、位置と操作座標入力面の関係に於いても同様な座標系同士の傾き、角度に関して座標変換を行うこともできる。
【0121】
更に、検出センサ3の配置により形成される座標入力装置の寸法、位置と操作座標入力面の関係に於いても同様な座標系同士の傾き、角度に関して座標変換を行うこともできる。
【0122】
また、本発明は、特に、3次元的な座標検出において、操作者が形成する操作座標入力面を変換の対象としている。従って、画面座標入力面と操作座標入力面との間の角度、位置関係を対象としており、従来の座標入力装置における座標変換、座標補正に見られる、同一2次元平面内の座標変換とは異なるものである。
【0123】
このように本発明の座標変換は、表示装置101の画面102に基づいた画面座標系と操作者の位置、姿勢、画面に対する角度からくる操作座標系との間の位置関係に基づく変換である。
【0124】
以上のように、操作者が実際に操作する操作者がイメージする操作座標入力面105に基づいた座標が表示装置101の座標に於いても表示される。このため、仮に、操作者が表示装置101に対し斜め方向から入力することで、画面102と操作座標入力面105との角度が大きくなっても、操作者の入力したと意識している座標と実際に入出力一体型座標入力システムの座標入力面を基準として算出され表示される座標との間にずれが生じない。これは、特に、描画した軌跡106や文字を入力する場合にも、図形や文字が歪むことなく、自然な操作性を実現することができる。
【0125】
<空間座標算出モードの説明>
次に、本発明の空間座標を算出することが可能な座標入力装置の動作モードについて説明する。
【0126】
本発明の座標入力ペン4は、図6(a)に示したように、ペン先SW41、及び2個のペンサイドSW42a、42bを具備してなり、各SWの動作モードについて図13、図14を用いて説明を加える。また、座標入力ペン4の動作モードに対応した検出回路側(本体側)の動作モードについて図13、図15を用いて説明する。
【0127】
図6(b)の駆動回路44内のメモリには、図14に示す処理を実行する動作プログラムが記憶されていて、駆動回路44内の制御回路(CPU)は、ペン先SW41及びペンサイドSW42a、42bの操作に従って、動作プログラムを実行する。
【0128】
操作者が、座標入力ペン4を握って座標入力面(この場合、図10に示すように、表示装置101の画面にXY平面(z=0)が設定されている)を押圧することで、ペン先SW41は動作する。
【0129】
尚、以下の説明で、ペン先SW41が動作する入力を「ペン入力」と呼ぶ。また、直接、表示装置101の表面に接触はしていない、ペン先SW41が動作していない状態において、比較的その表示装置101の近傍で、座標入力動作をする場合を「近接入力」と呼ぶ。更に、表示装置101から離れたところ(表示装置101と操作者までの距離が一定距離以上の位置)で座標入力動作をする場合を遠隔入力と呼ぶ。
【0130】
図14は本発明の実施形態1の座標入力ペンの動作を説明するフローチャートである。
【0131】
まず、ステップS102で、メモリに記憶されている各種データを初期化するために、メモリクリアを実行する。ステップS103で、ペン先SW41がONであるか否かを判定する。この判定は、操作者が、座標入力ペン4を握って座標入力面(表示装置101のスクリーン面にXY平面(z=0)が設定されている)への押圧の有無で判定する。
【0132】
ステップS103において、ONでない場合(ステップS103でNO)、ステップS112に進む。一方、ONである場合(ステップS103でYES)、ステップS105に進み、駆動間隔T=T1(例えば、100回/秒)に設定する。そして、ステップS106で、設定された駆動周波数及び駆動間隔で駆動回路44により音波発生源43を動作させ、音波が空中に放射されるように動作する。即ち、この時の動作は、図13のペン入力モード(Mode=1)となる。
【0133】
ステップS107で、ペン先SW41の状態を検知する動作を実行して、ペン先SW41がONであるか否かを判定する。ONである場合(ステップS107でYES)、操作者が筆記動作を続けているとみなして、ステップS106の音波発生源43を駆動する動作を繰り返す。一方、ONでない場合(ステップS107でNO)、即ち、操作者が座標入力面から座標入力ペン4を離した場合は、ステップS108に進む。
【0134】
ステップS108で、所定時間(例えば、10秒)、タイマ(Timer)をセットする。そして、ステップS109で、駆動間隔T=T11(例えば、50回/秒)に設定する。ステップS110で、設定された駆動周波数及び駆動間隔で駆動回路4により音波発生源43を動作させる。ステップS111で、タイマがゼロ(Timer=0)であるか否かを判定する。ゼロでない場合(ステップS111でNO)、ゼロになるまで、ステップS110及びステップS111の動作を繰り返す。このとき、図13に示す動作モードは近接入力モード(Mode=2)であって、ペン先SW41がONからOFFに遷移したときに、この近接入力モードに移行する。一方、ゼロである場合(ステップS111でYES)、ステップS102に戻る。
【0135】
一方、座標入力面から離れて(例えば、画面から400mm以上)操作する遠隔入力の場合は、前回の座標値に対する今回の座標値の差分を出力する相対座標となる。従って、操作者は、まず、画面上に表示されている現在のカーソルの位置を入力したい位置まで移動させて(いわゆる、マウスのドラッグ)、アイコンをクリックしたり、描画の動作をさせる(いわゆる、マウスの左クリック)。特に、実施形態1では、図6のペンサイドSW42aを押すことによって、カーソルを移動させて、同時に、ペンサイドSW42bを押すことで、アイコンのクリックや描画の動作を実現する。
【0136】
ステップS103において、ペンサイドSW41がONでない場合(ステップS103でNO)、ステップS112に進み、ペンサイドSW42aがONであるか否かを判定する。ONでない場合(ステップS112でNO)、ステップS102に戻る。一方、ペンサイドSW42aがONである場合(ステップS112でYES)、即ち、操作者が、座標入力面から離れて操作する場合には、ステップS113に進む。
【0137】
次に、ステップS113で、ペンサイドSW42bがONであるか否かを判定する。ONである場合(ステップS113でYES)、ステップS118に進む。一方、ONでない場合(ステップS113でNO)、ステップS115に進む。このステップS112及びステップS113の判定によって、図13の遠隔入力1モード(Mode=3)であるか、あるいは遠隔入力2モード(Mode=4)であるかの判定を実行する。
【0138】
ここで、ペンサイドSW42aがONで、かつペンサイドSW42bがOFFである場合は、遠隔入力1モード(Mode=3)とみなして、ステップS115で、駆動間隔T=T2(例えば、30回/秒)に設定する。そして、ステップS116で、設定された駆動周波数及び駆動間隔で駆動回路4により音波発生源43を動作させ、ステップS112に戻る。
【0139】
一方、ペンサイドSW42aがONで、かつペンサイドSW42bがONである場合は、遠隔入力2モード(Mode=4)とみなして、ステップS118で、駆動間隔T=T21(例えば、40回/秒)に設定する。そして、ステップS119で、設定された駆動周波数及び駆動間隔で駆動回路4により音波発生源43を動作させる。
【0140】
ステップS120で、ペンサイドSW42bの状態を検知する動作を実行して、ペンサイドSW42bがONであるか否かを判定する。ONである場合(ステップS120でYES)、遠隔入力2モード(Mode=4)が継続しているとみなして、ステップS119の音波発生源43を駆動する動作を繰り返す。一方、ONでない場合(ステップS120でNO)、ステップS102に戻る。
【0141】
尚、各動作モード(Mode=1〜4)における駆動間隔Tは、駆動間隔:T1<T11<T21<T2を満足する設定を実行することで、効率の良い座標入力装置を構成することができる。
【0142】
即ち、ペン入力モード(Mode=1)、近接入力モード(Mode=2)、遠隔入力2モード(Mode=4)、遠隔入力1モード(Mode=3)の順番で操作者が高速に入力をすることを考慮すると上記駆動間隔にすることで、座標入力ペン4の消費電力を抑えることができ、電源寿命の点で有利である。
【0143】
次に、検出回路側(本体側)での動作について、図15を用いて説明する。
【0144】
図15は本発明の実施形態1の座標入力装置の動作を説明するフローチャートである。
【0145】
まず、ステップS121の待機状態から、ステップS122で、検出センサ3が座標入力ペン4からの信号を検出したか否かを判定する。信号を検出していない場合(ステップS122でNO)、ステップS121に戻る。一方、信号を検出した場合(ステップS122でYES)、ステップS123に進み、座標入力ペン4の位置座標値(X,Y,Z)を算出する。
【0146】
次に、ステップS124で、駆動間隔T=T1であるか否かを判定する。T=T1でない場合(ステップS124でNO)、ステップS128に進む。一方、T=T1である場合(ステップS124でYES)、ステップS125に進み、駆動間隔T=T11であるか否かを判定する。T=T11でない場合(ステップS125でNO)、ステップS126に進み、Mode=1に設定して、ペン入力モードの動作を実行する。一方、T=T11である場合(ステップS125でYES)、ステップS127に進み、Mode=2に設定して、近接入力モードの動作を実行する。
【0147】
そして、ステップS133で、絶対座標値(X,Y)を出力する。
【0148】
一方、ステップS124において、T=T1でない場合、前回の座標算出サンプリングに計算した座標値X,Yとの差分値(相対座標)(ΔX,ΔY)を算出する。そして、ステップS129で、ステップS123で算出したZの値から、相対座標に対する倍率knをメモリに格納されたテーブル(図13)から算出する。
【0149】
次に、ステップS130で、駆動間隔T=T2であるか否かを判定する。T=T2である場合(ステップS130でYES)、ステップS131に進み、Mode=3に設定して、遠隔入力1モードの動作を実行する。一方、T=T2でない場合(ステップS130でNO)、ステップS132に進み、Mode=4に設定して、遠隔入力2モードの動作を実行する。
【0150】
そして、ステップS134で、相対座標値(knΔX,knΔY)を出力する。
【0151】
ここで、各動作モードとその動作モードに基づく位置座標の出力形式について説明する。
【0152】
まず、ペン先SW41がON状態の場合は、ペン入力モード(Mode=1)は、算出される座標値は絶対座標値(X,Y,0)であって、その値を直接外部機器に出力することで、操作者は筆記動作が可能となる。
【0153】
一方、ペン先SW41がOFF状態の場合は、少なくとも操作者によるXY平面内(Z=0)での座標入力が行われていない状態を意味するが、その場合であっても、画面上に表示されているカーソルを移動する等の動作を行えることが好ましい。そのため、ペン先SW41がON状態からOFF状態に遷移したときには、一定時間、ペン先SW41を座標入力面に押しつけなくても(ペン先SW41がON状態でなくても)座標の入力が可能な近接入力モード(Mode=2)を有している。
【0154】
さらに、実施形態1の座標入力装置は、座標入力面(XY平面)から離れて入力する(Z>0であることを示す)ことが可能であり、ペンサイドSW42aが押されることで遠隔入力1モード(Mode=3)、また、ペンサイドSW42a,ペンサイドSW42bが同時に押されることで、遠隔入力2モード(Mode=4)に設定されて、座標入力ペン4の動きによってカーソルを移動し、その移動状態を記録(筆跡)として残すことが可能となる。
【0155】
また、このような構成において、ペン入力モードはもちろんのこと、近接入力モードの場合には、本発明に於ける画面座標系から操作座標系への変換はほとんど不要である。そのため、遠隔入力モードの場合のみ上記座標変換演算を行うことにより、演算に於ける負荷を軽減することができる。あるいは、単純に、画面からの距離が一定以上の場合に上記座標変換演算を行ってもよい。
【0156】
以上説明したように、実施形態1によれば、操作者からの座標入力情報から、画面座標系の座標を算出し、この算出された座標から操作者の操作座標系の座標に変換し、その変換座標を画面上に出力する。これにより、操作者は遠隔入力の際、現状位置するカーソルの位置から、スムーズに所望の位置にカーソルを移動することが可能となる。しかも、操作時の姿勢向きによらず常に操作時の手の動作領域に基づいた平面座標上の操作として座標が変換され画面に表示されるので、遠隔操作であっても、操作感を向上させるとともに自然に文字を入力したり、図形を描画することができる。
【0157】
<実施形態2>
実施形態1に於いては、操作者の座標入力ペン4の音波発生源43の画面座標系の複数の位置座標(x,y,z)より、操作者の入力座標から操作座標系(X,Y,Z)に於ける操作者を基準とした操作座標入力面を算出し、常に入力位置座標が一定範囲の操作上の操作座標範囲においては同一操作座標入力平面に変換し、その操作座標範囲に入らない場合には新たに操作座標入力面の平面の算出を行い、この座標に変換する例について説明した。
【0158】
これに対して、実施形態2では、一旦、操作者の座標入力ペン4の音波発生源43の画面座標系の位置座標(x,y,z)より、操作者の入力座標から操作座標系(X,Y,Z)に於ける操作者を基準とした操作座標入力面を算出したら、ある一定時間内は、常にこの同一の操作座標入力面に座標変換し、一定時間を超えた時点で、再度新たに操作座標入力面の平面の算出を行いこの座標に変換する例について説明する。
【0159】
以下、実施形態2における座標算出演算処理について、図16を用いて説明する。
【0160】
図16は本発明の実施形態2の座標算出演算処理を示すフローチャートである。
【0161】
尚、図16のフローチャートにおいて、実施形態1の図12のフローチャートと同じ処理について、同じステップ番号を付加し、その説明については省略する。
【0162】
また、図16のフローチャートにおいても、図12のフローチャートと同様、平面式を算出するために、同一直線上に無い3点の座標を用いるので、この条件を満たす3点が揃うまで新たな平面算出を行わず従来の平面式を用いて座標変換する。
【0163】
図16では、ステップS1201で、画面座標系の入力座標(x,y,z)を算出後、ステップS1501で、Timer=0であるか否かを判定する。Timer=0でない場合(ステップS1501でNO)、ステップS1204に進む。一方、Timer=0である場合(ステップS1501でYES)、ステップS1203に進み、入力座標(x,y,z)に基づいて、平面式(8)(li+1X+mi+1Y+ni+1Z=p)を算出する。
【0164】
そして、ステップS1502で、Timer=set(一定時間)を設定する。この設定後、set(一定時間)からのデクリメントが開始される。
【0165】
以上説明したように、実施形態2によれば、画面座標系の位置座標(x,y,z)算出ごとに、その座標が判定式を満足しているか否かを毎回判定する必要がなくなるので、演算上の負荷を軽減することができる。また、Timerに設定する一定時間は、人間の操作上の動きと座標算出の繰り返しサンプリング周期との兼ね合いで、操作上違和感のない範囲で設定するが、操作者の好み或いは使用条件により変更できるようにしても良い。
【0166】
<実施形態3>
上記実施形態1、2においては、操作座標入力面を平面として算出する場合について説明した。この算出方法を採用する理由は、実使用上は、限られた領域に於ける動作をある平面上の動作としても特に不都合が生じるものではないことに起因する。これに対し、実施形態3では、操作動作をより忠実にある数値計算上の領域に再現させるために、操作者の腕の付け根である肩、あるいは肘を中心とした球面を算出し、この球面座標系(θ,φ)を用いて入力位置座標を出力する構成について説明する。
【0167】
これにより、より操作者の入力意思に沿った入力が可能となる。具体的には、例えば、図17に示すように球面座標を平面に投影することにより、従来の上記2次元平面座標に対する直交展開手法を適用してもよい。投影方法にはいくつかあるが、例えば、球面上で等間隔にサンプリングしたサンプリング結果を平面に投影してもよい。
【0168】
以下、実施形態3における座標算出演算処理について、図18を用いて説明する。
【0169】
図18は本発明の実施形態3の座標算出演算処理を示すフローチャートである。
【0170】
尚、図18のフローチャートにおいて、実施形態1及び2の図12及び図16のフローチャートと同じ処理について、同じステップ番号を付加し、その説明については省略する。
【0171】
ステップS1201、ステップS1501の処理後、まず、ステップS1801で、音波発生源43の画面座標系の位置座標(x,y,z)の複数点より、その点の性質より、予め、操作者の腕の付け根である肩あるいは肘を中心とした次の球面方程式(11)を算出する。但し、この球面方程式の算出で用いる音波発生源43の画面座標系の位置座標(x,y,z)は、少なくとも4点で、かつこの4点の内1点は同一平面上に無いことが条件となる。
【0172】
(x−a)2+(y−b)2+(z−c)2=r2 (11)
ここで、中心は(a,b,c)、半径:rである。
【0173】
従って、半径rは、予め平均的な人間の手から腕の付け根である肩あるいは肘までの長さを入力しておけば、より、効率的に球面方程式(11)を算出することができる。更には、個々人の手から腕の付け根である肩あるいは肘までの長さを任意に入力できるようにしても良い。
【0174】
そして、次に、ステップS1802で、画面座標系の音波発生源43の位置座標(x,y,z)を球面方程式(11)に対応した球面座標系(θ,φ)に座標変換を行う。具体的には、簡単のために球の中心(a,b,c)を原点と考えると、以下のような変換を実行する。
【0175】
θ=tan−1((y−b)/(x−a)) (12)
φ=sin−1((z−c)/r) (13)
ここで、r2=x2+y2+z2である。
【0176】
次に、ステップS1803で、この球面座標系に変換された座標(θ,φ)を、ある間隔にサンプリングしたサンプリング領域に分割する。このサンプリング領域は、ある一定時間に座標入力される範囲で決定してもよいし、予め球表面領域の分割数を決めておいても良い。
【0177】
尚、サンプリング領域への分割数が多くなると演算負荷が大きく、また、分割数が少なくなると描画された曲線が直線に補正される効果が小さくなり歪みが大きくなるので、実際に操作する条件により最適な分割数を選択する。また、分割数を操作するサンプリング領域により変動させてもよい。
【0178】
そして、ステップS1804で、音波発生源43の位置座標が属するその球面上のサンプリング領域の中心と接するような平面105’として、l’X+m’Y+n’Z=p’を算出する。
【0179】
次に、ステップS1502の処理後、ステップS1805で、そのサンプリング領域範囲内の音波発生源43の位置座標を球面方程式(11)の中心(a,b,c)を中心にして、平面105’に投影することにより、球面座標系(θ,φ)(曲座標系)での座標を直交座標系での座標(x’,y’,z’)に座標変換する。
【0180】
この時点で、図17で示されるように、画面102に対して斜めに対する操作者、あるいは画面に対して正面に対していても、画面102に対して斜め方向に指示を行う場合、操作者の腕あるいは肘を中心に操作者による直線列の意図で入力した座標列(軌跡)106は、最初に検出される画面座標系では、図17で示すような曲面105’’上の操作者の腕あるいは肘を中心とした曲線として座標が検出されるが、直交座標系での座標(x’,y’,z’)においては直線列106’を形成する。
【0181】
従って、この座標(x’,y’,z’)を画面102に表示すれば、操作者の意図により沿った座標検出及び操作が可能となる。
【0182】
また、望ましくは、ステップS1806で、実施形態1や2と同様に、この直交座標系の座標(x’,y’,z’)を投影平面105’(l’X+m’Y+n’Z=p’)に座標変換して、ステップS1807で、その変換後の座標(X,Y,Z)を出力しても良い。
【0183】
具体的には、投影平面105’の画面座標系に対する角度に関し、x軸及びy軸に関し回転による変換を行うのは、実施形態1と同じである。画面102に表示される座標は、2次元座標としての座標(X,Y)であるが、これにより、上記曲線補正の効果に増して、実施形態1で示したように操作者が表示装置101に対し斜め方向から入力する場合の画面102と操作面105’との角度の影響を軽減することができる。
【0184】
尚、実施形態3では、球面座標に基づいて座標変換を行ったが、円筒座標に基づいて座標変換を行っても良い。
【0185】
また、以上の実施形態以外の演算に於いても、最終的に出力する表示画面がもつ座標系に基づいて算出された入力指示部の座標を最終的にその操作入力作業を行う領域に於ける座標系に座標変換手段を設けるのであれば、上述の座標変換手段に限定されるものではない。
【0186】
以上説明したように、実施形態3によれば、操作者の腕の付け根である肩、あるいは肘を中心とした球面を算出し、この球面座標系(θ,φ)を用いて入力位置座標を出力することで、操作動作をより忠実に再現できる座標入力を行うことができる。
【0187】
尚、上記実施形態1〜3では、操作座標入力面の平面の算出、及び、画面座標系に基づいて算出された入力指示部の座標からこの操作座標系への変換を座標入力装置内の演算制御回路で処理する構成としたが、これに限定されない。
【0188】
例えば、座標入力装置と、その座標及び他の情報処理装置からの画像を表示する表示装置部分が別体で構成され、座標入力装置からは画面座標系に基づいて算出された入力指示部の座標のみを出力し、表示装置が接続された情報処理装置側の演算制御回路で、その座標情報を受信し、操作座標入力面の平面の算出、及び、画面座標系に基づいて算出された入力指示部座標の操作座標系への変換を行う構成としても良い。
【0189】
以上説明したように、上記実施形態1〜3によれば、操作者は遠隔入力の際、現状位置するカーソルの位置から、スムーズに所望の位置にカーソルを移動することが可能となる。
【0190】
また、操作時の姿勢向きによらず常に操作時の手の動作領域に基づいた座標上の操作として座標が変換され画面に表示されるので、遠隔操作であっても、操作感を向上させるとともに画面に対して斜め方向で入力した場合の歪みがなく、また、人間が空中で大きな描画動作を行う場合の手の動線で、本来直線を意図した場合の曲線化を防ぐことができ、自然に文字を入力したり、図形を描画したりすることが可能となる。
【0191】
更に、座標変換に用いる面は、実際に操作者が指示する複数の座標に基づいて算出しているので、より、操作者の指示動作に忠実にしかも自然な操作性を向上させることができる。
【0192】
以上説明した実施形態1〜3における、座標入力装置は、パーソナルコンピュータ等の情報処理装置でもって実現できるし、その機能を実現する手順としての方法の発明として捉えることができる。また、コンピュータにより実現できるわけであるから、本発明はそれぞれの装置で実行されるコンピュータプログラム、更には、そのコンピュータプログラムを格納し、コンピュータが読み込めるCD−ROM等のコンピュータ可読記憶媒体にも適用できるのは明らかであろう。
【0193】
従って、上記実施形態1〜3に係る実施態様を列挙すると、次の通りである。すなわち、座標入力装置及びその制御方法、プログラム、情報処理装置及びその制御方法、プログラムは、次のようになる。
【0194】
[実施態様1]
座標入力指示具の位置座標を算出する座標入力装置であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出手段と、
前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標を出力する出力手段と
を備えることを特徴とする座標入力装置。
【0195】
[実施態様2]
前記検出手段で検出する複数の座標に基づいて、前記操作座標入力面を算出する操作座標入力面算出手段を更に備え、
前記座標変換手段は、前記検出手段で検出された座標を、前記操作座標入力面算出手段により算出された操作座標入力面の座標に変換する
ことを特徴とする実施態様1に記載の座標入力装置。
【0196】
[実施態様3]
前記操作座標入力面算出手段は、一定時間ごとに前記操作座標入力面の算出を実行して、該操作座標入力面を更新する
ことを特徴とする実施態様2に記載の座標入力装置。
【0197】
[実施態様4]
前記操作座標入力面は、前記操作者の腕の入力動作に基づく球面座標である
ことを特徴とする実施態様2に記載の座標入力装置。
【0198】
[実施態様5]
前記座標入力指示具は、超音波を発振する駆動回路を備え、
前記検出手段は、前記固定座標入力面の周辺部に設けられた複数の振動検出手段であり、前記駆動回路から発生した超音波を前記複数の振動検出手段が受信した受信タイミングに基づいて、前記座標入力指示具により指示された座標を検出する
ことを特徴とする実施態様1に記載の座標入力装置。
【0199】
[実施態様6]
前記固定座標入力面から前記操作者までの距離が一定距離以上の場合に、前記座標変換手段は、前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する
ことを特徴とする実施態様1に記載の座標入力装置。
【0200】
[実施態様7]
前記操作座標入力面は、前記出力手段によって出力される座標を表示する表示画面との位置関係により決定される
ことを特徴とする実施態様1に記載の座標入力装置。
【0201】
[実施態様8]
前記検出手段は、前記出力手段によって出力される座標を表示する表示装置を基準とする座標系に基づいて、前記固定座標入力面に対して前記座標入力指示具により指示された座標を検出する
ことを特徴とする実施態様1に記載の座標入力装置。
【0202】
[実施態様9]
座標入力装置から出力される座標情報を処理する情報処理装置であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信手段と、
前記座標情報を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標を出力する出力手段と
を備えることを特徴とする情報処理装置。
【0203】
[実施態様10]
座標入力指示具の位置座標を算出する座標入力装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程と、
前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程と、
前記座標変換工程によって変換された座標を出力する出力工程と
を備えることを特徴とする座標入力装置の制御方法。
【0204】
[実施態様11]
座標入力装置から出力される座標情報を処理する情報処理装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程と、
前記座標情報を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程と、
前記座標変換工程によって変換された座標を出力する出力工程と
を備えることを特徴とする情報処理装置の制御方法。
【0205】
[実施態様12]
座標入力指示具の位置座標を算出する座標入力装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程のプログラムコードと、
前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程のプログラムコードと、
前記座標変換工程によって変換された座標を出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【0206】
[実施態様13]
座標入力装置から出力される座標情報を処理する情報処理装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程のプログラムコードと、
前記座標情報を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程のプログラムコードと、
前記座標変換工程によって変換された座標を出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【0207】
<実施形態4>
実施形態4では、別の観点による座標算出処理について説明する。
【0208】
まず、操作者の画面に対する位置座標から、この位置に対応する操作座標系(X,Y,Z)に於ける操作者を基準とした操作座標入力面を算出する。
【0209】
実施形態4では、図19に示すように、操作者が、画面102に向かって、ある入力動作を行う場合、操作者が通常画面の中心Oに向かって操作するモデルが最も典型的な考え方である。まず、操作者の位置の検出においては、この場合、操作者が指示動作を行う座標入力ペン4の音波発生源43の画面座標系(x,y,z)の位置座標がそのまま、おおよそ操作者の画面の原点Oに対する位置を表しているので、ここでは、座標入力ペン4の音波発生源43≒操作者の位置と解することができる。
【0210】
そして、画面102の中心を原点Oとする図19に破線で示されるような球面座標系(θ,φ)を想定する。座標入力ペン4による指示点である音波発生源43の位置(≒操作者の位置)を、点P(x1,y1,z1)107とすると、典型的な操作座標入力面105は、図19に示すように、この点P107を通る球面座標系(θ,φ)における球面に点Pで接する平面であることがわかる。このようにして求められる平面は、操作者の実際の入力状態及び向きを的確に表していると言える。
【0211】
従って、実施形態4においても、音波発生源43の画面座標系(x,y,z)の位置座標から、この位置に対応する操作座標系(X,Y,Z)における操作者を基準とした操作座標入力面105を、平面式(8)で算出する。
【0212】
ここで、
l=x1/(x12+y12+x12)1/2
m=y1/(x12+y12+x12)1/2
n=z1/(x12+y12+x12)1/2
p=(x12+y12+x12)1/2 (14)
となる。
【0213】
従って、実施形態4の演算制御回路1での演算上は、概念的に球面座標系(θ,φ)における球面の算出過程を経ることなく、座標入力ペン4による指示点である音波発生源43の位置点P(x1,y1,z1)が検出されれば操作座標入力面105が算出される。つまり、式(14)の4つの式によりなる関数により、画面座標系の点P(x1,y1,z1)から操作座標入力面105の係数l、m、n、pが算出され、操作座標入力面105が算出される。
【0214】
そして、次に、画面座標系の音波発生源43の位置座標(x,y,z)を、算出した操作座標系(X,Y,Z)に座標変換を行う。そして、画面102には変換後の座標(X,Y,Z)の内、画面座標系の内実際に表示される2次元座標系(x,y)に対応する座標(X,Y)を出力表示する。
【0215】
操作者は、常に同一箇所、同一姿勢で座標入力ペン4で指示を継続するわけではなく、状況に応じて移動して入力するので、その状況の変化に追随するためにも、毎回座標検出ごとに操作座標入力面の平面式を求め、座標変換を行う。
【0216】
但し、毎回平面式を算出する際の演算の負荷の軽減、及び、座標ごと変換すべき平面が変化することによる連続性の欠落を避けるために、一旦、操作座標入力面の平面式を算出したら、それ以後常、に入力座標がその平面式上に存在するかを判定し、もし、その平面上から外れた点が検出された時点で、新たな平面式を算出してもよい。
【0217】
つまり、実際には、操作者の指示位置である音波発生源43の画面座標系の位置座標(x,y,z)は、誤差が含まれ、更に操作者は、常に正確な同一平面上の座標を指示入力するわけではなく、同一操作動作に於ける一連の動線上の6点によりなる2組から上記平面式を算出しても、必ず同一の平面が求まるとは限らない。従って、実施形態4においても、更に、以下の様なある一定の範囲の操作上の座標範囲においては同一平面に変換されるような演算手法を採用する。
【0218】
そして、入力座標に一定の幅を持たせるために、上述の判定式(9)によって、入力座標がその平面式上に存在するかどうかを判定する。
【0219】
この判定式(9)は、幾何学的には、画面座標系における入力座標が、平面式(8)を基準として、原点からの距離にして±αの範囲に入っているかどうかの判定を意味する(図20)。従って、多少の操作者の操作上のぶれ等は吸収して、同一の操作座標入力面の座標に変換されるので、演算面での負担が軽減される。
【0220】
尚、実施形態4の座標算出演算処理は、実施形態1の図12に準ずるが、実施形態4では、操作者の画面102に対する位置を球面座標系(θ,φ)における位置であるとして、操作座標入力面105を算出することになる。また、より演算上の負荷を軽減するために、y軸を中心とした円筒座標系で操作者の画面102に対する位置を想定し、操作座標入力面105を算出して、その後、座標変換を行うようにしても良い。
【0221】
特に、円筒座標系の入力位置から操作座標入力面105を算出した場合、具体的に行う演算処理としては、上述の(10)式で示す行列表現となる。
【0222】
尚、操作座標入力面の傾きはY軸に関する回転としたが、実際会議等で想定される画面102と操作者との位置関係からすると、Y軸に関する傾きに関する写像変換でほとんどの操作者の描画情報の補正はカバーされる。しかし、より厳密に補正を行う場合には、球面座標系の操作者の位置を基に操作座標平面105を算出し、X軸に関する回転を合わせ考慮して座標変換を行っても良い。
【0223】
以上説明したように、実施形態4によれば、操作者からの座標入力情報から、画面座標系の座標を算出し、この算出された座標から操作者の操作座標系の座標に変換し、その変換座標を画面上に出力する。これにより、操作者は遠隔入力の際、現状位置するカーソルの位置から、スムーズに所望の位置にカーソルを移動することが可能となる。しかも、操作時の姿勢向きによらず常に操作時の手の動作領域に基づいた平面座標上の操作として座標が変換され画面に表示されるので、遠隔操作であっても、操作感を向上させるとともに自然に文字を入力したり、図形を描画したりすることができる。
【0224】
<実施形態5>
実施形態4における座標算出演算処理に対し、実施形態2の図16を適用しても良い。これにより、実施形態2と同様、演算上の負荷を軽減することができる。
【0225】
<実施形態6>
実施形態4や5においては、操作者の座標入力ペン4による入力における音波発生源43の画面座標系の位置座標(x,y,z)より操作者の位置を特定し、この各々の位置に対応した操作座標系(X,Y,Z)における操作者を基準とした操作座標入力面を算出したが、図21に示すように、操作者の操作入力範囲を予めいくつかの操作領域として分割しておき、上記操作者位置とその位置に採用する典型的な操作座標入力面との対応関係を、操作領域ごとに定められることとしても良い。
【0226】
図21は、表示装置101の画面102の全面に立つ操作者による座標入力ペン4の操作入力範囲に於いて、画面102の中心を原点とする直交3次元座標軸をとった場合のx−z座標でのx軸と、原点Oから座標入力ペン4による入力位置である音波発生源43の線分の成す各度により領域を分割した場合を示している。
【0227】
この図21を用いて具体的に説明を行うと、画面102に対して正面方向(x軸に対して90°を中心に±∠161(=∠162))に位置する領域である領域16−1内における操作者の座標入力ペン4による入力に対してはすべて、操作座標入力面は、画面102に平行な105−16−1に割り付けられる(画面からの距離に関しては、実施形態6で検出に用いる超音波の性質上制限があり、それは、ダイナミックレンジ、S/N等の要因から自ずと決まってくるが、ここでは説明上考えないことにする)。
【0228】
更に、その隣のやや角度を持った∠163の角度範囲の領域16−2−1内の入力に対しては、X軸に対して∠161+∠163/2だけ角度を持つ平面105−16−2−1が操作座標入力面となる。
【0229】
更に、その隣の角度を持った∠165の角度範囲の領域16−3−1内の入力に対しては、X軸に対して∠161+∠163+∠165/2だけ角度を持つ平面105−16−3−1が操作座標入力面となる。
【0230】
これらの、Z軸に対し対称領域16−2−2、16−3−2も同様にその領域が存在する領域に対して中間の角度を持つ平面を操作座標入力面として割り付ける。
【0231】
以上の領域は、説明のために、画面102の正面方向を基準として角度別に5つの領域を設けたが、角度の区分は更に細かくてもよいし、もっと、大まかにしても良い。更に、図21では、XZ座標系の2次元座標上での領域分割を行ったが、3次元座標上で領域を分割しても良い。また、各領域に割り付けられる操作座標入力面は、必ずしも中間の角度ではなくとも実際に自然な操作感が得られるような代表面に設定しても良い。
【0232】
そして、これらの領域に関する領域情報は、各領域ごとに一つの操作座標入力面105が予め前記演算制御回路1のメモリ内にテーブルとして格納されており、操作者の入力位置により、音波発生源43のXZ座標によりその属する領域が判定される。次に、その領域に対応する操作座標入力面105が割り付けられ、この画面座標系の位置座標(x,y,z)は、その操作座標入力面105により形成される操作座標系(X,Y,Z)に座標変換される。そして、画面102には、変換後の座標(X,Y,Z)の内、画面座標系の内、実際に表示される2次元座標系(x,y)に対応する座標(X,Y)を出力表示する。
【0233】
以上説明したように、実施形態6によれば、各領域ごとにまとめて座標変換を行うので、操作座標入力面105の算出を各入力点ごとに行う場合に比べて、演算の負荷を軽減することができる。これにより、サンプリングスピードを低下させることなく、かつ操作者の入力場所に応じて的確な座標変換を行うので、自然な操作感を得ることができる。
【0234】
<実施形態7>
上記実施形態4〜6においては、操作者の位置の検出は、即ち、操作者が使用する座標入力ペン4の音波発生源43の位置を検出することで実現したが、実際に操作者の入力動作はその操作者の腕の動きであるから、腕の先の手の動きよりも、腕の付け根、つまり、操作者の胴体部分の位置の方が動きが少ないが位置としては安定しており、一連の操作において代表的な操作座標系の基となる座標としては適していると考えられる。
【0235】
従って、操作者自身の胴体の一部、例えば、胸のポケット、肩、首、ベルト、更には人間の視点の近くの頭部、めがね等に、図22に示すような操作者の位置を特定するための発信機171を取り付ける。一方、表示装置101には、その発信機171からの信号を検出する位置検出器172を取り付け、位置検出器172で発信機171の位置を検出し、その操作者自身の位置をもとに操作座標入力面の平面の算出を行い、この平面座標に変換してもよい。
【0236】
操作座標入力面の算出及び座標変換は、用途や目的に応じて上記実施形態の各実施形態で説明される方法を使用すれば良い。
【0237】
尚、発信機171及び位置検出器172の検出方式は、超音波方式、光学方式、無線方式等の操作者の位置を検出できるものなら、特に、その検出方式が制限されるものではなく、発信機171と位置検出器172の配置関係を逆にしてもよい。
【0238】
以上説明したように、実施形態7によれば、操作者と座標入力装置の位置関係を、それぞれに取り付けられた発信機171及び位置検出器172によって検出するので、操作座標入力面の算出に係る負荷を軽減することができる。
【0239】
尚、上記実施形態4〜7では、操作座標入力面として平面を扱ってきたが、平面に限らず、操作者の入力動作面を的確に表す曲面であってもよいことは言うまでもない。
【0240】
また、上記実施形態4〜7では、入力位置を含む操作者位置から操作座標入力面の算出あるいは対応付け、及び、画面座標系に基づいて算出された入力指示部の座標からこの操作座標系への変換を座標入力装置内の演算制御回路で処理する構成としたが、これに限定されない。
【0241】
例えば、座標入力装置とその座標及び他の情報処理装置からの画像を表示する表示装置部分が別体で構成され、座標入力装置からは画面座標系に基づいて算出された入力指示部の座標のみを出力し、表示装置が接続された情報処理装置側の演算制御回路で、その座標情報を受信し、入力位置を含む操作者位置と操作座標入力面の算出あるいは対応付け、及び、画面座標系に基づいて算出された入力指示部座標の操作座標系への変換を行う構成としても良い。
【0242】
以上説明したように、実施形態4〜7によれば、操作者は遠隔入力の際、現状位置するカーソルの位置から、スムーズに所望の位置にカーソルを移動することが可能となる。また、更には、予め操作者位置とその位置に採用する典型的な操作座標入力面との対応関係のテーブルあるいは関数を定めておくことで、操作座標入力面に係わる演算面での負荷が大きく増加しないのでサンプリングスピードを落すことなく、操作者は遠隔入力の際、現状位置するカーソルの位置から、スムーズに所望の位置にカーソルを移動することが可能となる。
【0243】
また、操作時の姿勢向きによらず常に操作時の手の動作領域に基づいた座標上の操作として座標が変換され画面に表示されるので、遠隔操作であっても、操作感を向上させるとともに画面に対して斜め方向で入力した場合の歪みがなく、また、人間が空中で大きな描画動作を行う場合の手の動線で、本来直線を意図した場合の曲線化を防ぐことができ、自然に文字を入力したり、図形を描画したりすることが可能となる。
【0244】
以上説明した実施形態4〜7における、座標入力装置は、パーソナルコンピュータ等の情報処理装置でもって実現できるし、その機能を実現する手順としての方法の発明として捉えることができる。また、コンピュータにより実現できるわけであるから、本発明はそれぞれの装置で実行されるコンピュータプログラム、更には、そのコンピュータプログラムを格納し、コンピュータが読み込めるCD−ROM等のコンピュータ可読記憶媒体にも適用できるのは明らかであろう。
【0245】
従って、上記実施形態4〜7に係る実施態様を列挙すると、次の通りである。すなわち、座標入力装置及びその制御方法、プログラム、情報処理装置及びその制御方法、プログラムは、次のようになる。
【0246】
[実施態様14]
座標入力指示具の位置座標を算出する座標入力装置であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出手段と、
前記座標入力指示具の操作者の位置を検出する位置検出手段と、
前記位置検出手段で検出された位置に基づいて、前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標を出力する出力手段と
を備えることを特徴とする座標入力装置。
【0247】
[実施態様15]
前記操作者の位置とその位置に採用する典型的な操作座標入力面との対応関係を示す対応情報を記憶する記憶手段と、
前記座標変換手段は、前記検出手段で検出された座標を、前記対応情報を参照して得られる前記位置検出手段で検出された位置に対応する操作座標入力面の座標に変換する
ことを特徴とする実施態様14に記載の座標入力装置。
【0248】
[実施態様16]
前記対応情報は、操作入力範囲を予めいくつかの操作領域として分割された操作領域毎の、前記操作者の位置とその位置に採用する典型的な操作座標入力面との対応関係を示す情報である
ことを特徴とする実施態様15に記載の座標入力装置。
【0249】
[実施態様17]
前記座標入力指示具は、超音波を発振する駆動回路を備え、
前記検出手段は、前記固定座標入力面の周辺部に設けられた複数の振動検出手段であり、前記駆動回路から発生した超音波を前記複数の振動検出手段が受信した受信タイミングに基づいて、前記座標入力指示具により指示された座標を検出する
ことを特徴とする実施態様14に記載の座標入力装置。
【0250】
[実施態様18]
前記固定座標入力面から前記操作者までの距離が一定距離以上の場合に、前記座標変換手段は、前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する
ことを特徴とする実施態様14に記載の座標入力装置。
【0251】
[実施態様19]
前記操作座標入力面は、前記出力手段によって出力される座標を表示する表示画面との位置関係により決定される
ことを特徴とする実施態様14に記載の座標入力装置。
【0252】
[実施態様20]
前記検出手段は、前記出力手段によって出力される座標を表示する表示装置を基準とする座標系に基づいて、前記固定座標入力面に対して前記座標入力指示具により指示された座標を検出する
ことを特徴とする実施態様14に記載の座標入力装置。
【0253】
[実施態様21]
座標入力装置から出力される座標情報を処理する情報処理装置であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信手段と、
前記座標情報に含まれる前記座標入力指示具の操作者の位置に基づいて、該座標情報中の座標を前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標を出力する出力手段と
を備えることを特徴とする情報処理装置。
【0254】
[実施態様22]
座標入力指示具の位置座標を算出する座標入力装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程と、
前記座標入力指示具の操作者の位置を検出する位置検出工程と、
前記位置検出工程で検出された位置に基づいて、前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程と、
前記座標変換工程によって変換された座標を出力する出力工程と
を備えることを特徴とする座標入力装置の制御方法。
【0255】
[実施態様23]
座標入力装置から出力される座標情報を処理する情報処理装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程と、
前記座標情報に含まれる前記座標入力指示具の操作者の位置に基づいて、該座標情報中の座標を前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程と、
前記座標変換工程によって変換された座標を出力する出力工程と
を備えることを特徴とする情報処理装置の制御方法。
【0256】
[実施態様24]
座標入力指示具の位置座標を算出する座標入力装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程のプログラムコードと、
前記座標入力指示具の操作者の位置を検出する位置検出工程のプログラムコードと、
前記位置検出工程で検出された位置に基づいて、前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程のプログラムコードと、
前記座標変換工程によって変換された座標を出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【0257】
[実施態様25]
座標入力装置から出力される座標情報を処理する情報処理装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程のプログラムコードと、
前記座標情報に含まれる前記座標入力指示具の操作者の位置に基づいて、該座標情報中の座標を前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程のプログラムコードと、
前記座標変換工程によって変換された座標を出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【0258】
<実施形態8>
実施形態8では、図23及び図24に示すように、操作者107を基準として、操作座標入力面105に描画された線106の投影像を表示装置101の画面102に投影像106−3として表示する構成としてもよい。
【0259】
このような座標計算は、演算制御回路1内で演算してもよいし、演算制御回路1から出力された座標を不図示の出力手段内の演算回路で計算しても良い。図23及び図24には、同時に、従来例の座標変換を行わず画面座標系で求めた座標に基づいた場合の投影像106−1、及び上記実施形態4に於いて説明した軌跡106の投影像106−2の表示描画状態もあわせて示している。
【0260】
尚、投影像の演算は、簡便にするため、実施形態の座標変換後の座標に対して、操作者107と表示装置101の画面102の位置の関係に応じた倍率を乗じて表示しても良いし、厳密に、操作者の位置を基準とした操作座標入力面105に描画された線等の軌跡(描画座標)106の画面102に対する投影像106−2となる演算を行っても良い。
【0261】
いずれの場合にも、操作者の位置の検出が必要となる。操作者の位置の検出は、倍率計算をする場合には、操作者が使用する座標入力ペン4の音波発生源43の位置の検出により、固定座標入力面である画面102を基準とした入力位置に応じて、簡便に演算を行うことができる。また、実施形態7のように、操作者と座標入力装置それぞれに発信機171及び位置検出器172を取り付けて、操作者の位置を検出しても良い。尚、実際の投影像は操作者の視点の位置が基準になることから、実施形態8の場合、発信機171は、操作者の頭部の近くの、例えば、眼鏡等に取り付けることが好ましい。
【0262】
以上説明したように、実施形態8によれば、操作座標入力面の座標を該操作者の位置を基準とした固定座標入力面への投影画像を表示装置に表示することにより、操作者から見た表示装置における入力文字、図形等の描画形状は、入力位置によらず上記固定座標入力面に常に視覚上同一に保たれて表示される。これにより、表示装置の画面と操作者との位置関係によらず操作者は自分の座標入力情報を紙に書くような感覚で、離れた位置からでも自然な感覚で確認しながら操作できる。
【0263】
尚、実施形態8に於いての投影画像表示は、操作者の入力操作性における効果を目的としたものである。そのため、場合によっては、操作者以外の会議参加者から上記画面の表示を見た場合、特に、例えば、操作者が斜めから入力操作をして、他の参加者が正面から表示を見ている場合、正面からの参加者には、逆に表示が歪んで見えるという場合も考えられる。
【0264】
従って、操作者の位置を基準とした操作座標入力面の座標系による座標を表示する第1表示モードと、表示装置102に基づく座標系による座標を表示する第2表示モードを設け、例えば、操作入力時には第1表示モード、そして、操作入力時が終了した場合には、自動的に第2モードに切り替わる構成としても良い。
【0265】
あるいは、異なる表示領域に同時に第1及び第2表示モードを表示する構成としても良いし、両モードを任意に切り替える切り替え手段を設けても良い。これにより、操作者のみならず、本発明の情報処理装置を用いた会議の参加者全員が、効率良く会議を行うことができる。
【0266】
<実施形態9>
上記実施形態によれば、操作者からの文字、描画等の入力情報は、操作者の位置から見て自然で忠実な形状、サイズでフィードバックされる。ここで、本発明の座標入力装置で用いる表示装置101は比較的大型のものを対象している。従って、実施形態9では、大型の表示領域において、操作者からの入力情報を表示する領域に対しても、操作者の操作位置に応じて制御される構成について説明する。
【0267】
具体的には、図25に示すように、操作者108が操作座標入力面105に描いた線等の描画座標106は、例えば、表示装置101の画面102に向かって右側の領域で描画座標106−4を入力した場合には、画面102の右側の領域に座標変換後に106−4’として表示される。一方、表示装置101の画面102に向かって左右側の領域で描画座標106−5を入力した場合には、画面102の左側の領域に座標変換後に106−5’として表示される。
【0268】
これは、操作者108にとって比較的近い領域に描画のフィードバック情報が表示される方が、操作者108にとって見やすいことを考慮して表示領域の制御を行った場合である。
【0269】
逆に、操作者108以外の会議参加者の表示情報の見やすさを考慮して、操作者の操作位置から遠い表示領域に表示する表示手段を設けても良い。
【0270】
実施形態9に於いても、操作者の位置検知が重要となるが、その検知方法に関しては、実施形態8と同様であるのでここでは説明を省略する。
【0271】
また、この操作者の位置と表示装置101の画面102内の表示領域の関連付けは、例えば、操作者の操作領域を画面102の中心を原点とし、操作位置と原点より成す線分と画面102との成す角度に対する関数としてもよいし、操作者の操作領域を数領域に区分し、各領域ごとの操作位置と表示領域とを予めテーブルで関連付けてもよい。
【0272】
以上説明したように、実施形態9によれば、実施形態8で説明した効果に加えて、操作入力情報がより自然で分かりやすく表示された上に、更に表示領域においても適切な領域に表示されるので、より操作性を増すことができる。
【0273】
尚、上記実施形態8、9では、操作座標入力面として平面を扱ってきたが、平面に限らず、操作者の入力動作面を的確に表す曲面であってもよいことは言うまでもない。
【0274】
また、上記実施形態8、9では、入力位置を含む操作者位置から操作座標入力面の算出あるいは対応付け、及び画面座標系に基づいて算出された入力指示部の座標からこの操作座標系への変換を座標入力装置内の演算制御回路或いは一体的に構成される表示装置に附随する表示手段で処理する構成としたが、これに限定されない。
【0275】
例えば、座標入力装置とその座標及び他の情報処理装置からの画像を表示する表示装置部分が別体で構成され、座標入力装置からは画面座標系に基づいて算出された入力指示部の座標のみを出力し、表示装置が接続された情報処理装置側の表示手段としての演算制御回路で、その座標情報を受け取り、入力位置を含む操作者位置と操作座標入力面の算出あるいは対応付け、及び画面座標系に基づいて算出された入力指示部座標の操作座標系への変換、更にその他の表示制御処理を行う構成としても良い
以上説明したように、実施形態8、9によれば、操作時の姿勢向きによらず常に操作時の手の動作領域に基づいた座標上の操作として座標が変換され画面に表示されるので、遠隔操作であっても、操作感を向上させるとともに画面に対して斜め方向で入力した場合の歪みがなく、また、人間が空中で大きな描画動作を行う手の動線で、本来直線を意図した場合の曲線化を防ぐことが出来、自然に文字を入力したり、図形を描画したりすることが可能となる。
【0276】
更に、操作座標入力面の座標を該操作者の位置を基準とした固定座標入力面への投影画像を表示装置に表示することにより、操作者から見た表示装置における入力文字、図形等の描画形状は、入力位置によらず上記固定座標入力面に常に視覚上同一に保たれ表示されるので、表示装置の画面と操作者との位置関係によらず操作者は自分の座標入力情報を紙に書くような感覚で、離れた位置からでも自然な感覚で確認しながら操することが作できる。
【0277】
以上説明した実施形態8、9における、座標入力装置は、パーソナルコンピュータ等の情報処理装置でもって実現できるし、その機能を実現する手順としての方法の発明として捉えることができる。また、コンピュータにより実現できるわけであるから、本発明はそれぞれの装置で実行されるコンピュータプログラム、更には、そのコンピュータプログラムを格納し、コンピュータが読み込めるCD−ROM等のコンピュータ可読記憶媒体にも適用できるのは明らかであろう。
【0278】
従って、上記実施形態8、9に係る実施態様を列挙すると、次の通りである。すなわち、座標入力装置及びその制御方法、プログラム、情報処理装置及びその制御方法、プログラムは、次のようになる。
【0279】
[実施態様26]
座標入力指示具の位置座標を算出する座標入力装置であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出手段と、
前記固定座標入力面に一体的に構成される表示部を有する表示手段と、
前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標に基づいて、画像情報を前記表示部に出力する表示制御手段と
を備えることを特徴とする座標入力装置。
【0280】
[実施態様27]
前記表示制御手段は、前記固定座標入力面を基準とする前記操作者の位置に基づいて、前記検出手段で検出された座標の表示寸法及び形状を変化させて前記表示部に表示する
ことを特徴とする実施態様26に記載の座標入力装置。
【0281】
[実施態様28]
前記表示制御手段は、前記操作者から見た前記表示装置における画像の描画形状を、該操作者の位置によらず前記固定座標入力面に常に視覚上同一に保たって表示する
ことを特徴とする実施態様27に記載の座標入力装置。
【0282】
[実施態様29]
前記操作者の位置を検出する位置検出手段を更に備え、
前記表示制御手段は、前記操作座標入力面の座標を前記操作者の位置を基準とした前記固定座標入力面への投影画像を前記表示部に表示する
ことを特徴とする実施態様27に記載の座標入力装置。
【0283】
[実施態様30]
前記位置検出手段が検出する前記操作者の位置は、該操作者の眼の位置である
ことを特徴とする実施態様29に記載の座標入力装置。
【0284】
[実施態様31]
前記表示部に基づく座標系による座標を表示する第1表示モードと、前記操作者の位置を基準とした操作座標入力面の座標系による座標を表示する第2表示モードの2つの表示モードを有し、
前記表示制御手段は、前記第1及び第2表示モードを選択的に使用する
ことを特徴とする実施態様26に記載の座標入力装置。
【0285】
[実施態様32]
前記座標入力指示具は、超音波を発振する駆動回路を備え、
前記検出手段は、前記固定座標入力面の周辺部に設けられた複数の振動検出手段であり、前記駆動回路から発生した超音波を前記複数の振動検出手段が受信した受信タイミングに基づいて、前記座標入力指示具により指示された座標を検出する
ことを特徴とする実施態様26に記載の座標入力装置。
【0286】
[実施態様33]
前記固定座標入力面から前記操作者までの距離が一定距離以上の場合に、前記座標変換手段は、前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する
ことを特徴とする実施態様26に記載の座標入力装置。
【0287】
[実施態様34]
前記操作座標入力面は、前記表示部との位置関係により決定される
ことを特徴とする実施態様26に記載の座標入力装置。
【0288】
[実施態様35]
前記検出手段は、前記表示部を基準とする座標系に基づいて、前記固定座標入力面に対して前記座標入力指示具により指示された座標を検出する
ことを特徴とする実施態様26に記載の座標入力装置。
【0289】
[実施態様36]
座標入力指示具の位置座標を算出する座標入力装置であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出手段と、
前記固定座標入力面に一体的に構成される表示部を有する表示手段と、
前記操作者から見た前記表示装置における画像の描画形状を、該操作者の位置によらず前記固定座標入力面に常に視覚上同一に保たって表示するように、前記固定座標入力面を基準とする前記操作者の位置に基づいて、前記検出手段で検出された座標の表示寸法及び形状を変化させて前記表示部に出力する表示制御手段と
を備えることを特徴とする座標入力装置。
【0290】
[実施態様37]
座標入力装置から出力される座標情報を処理する情報処理装置であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信手段と、
前記固定座標入力面に一体的に構成される表示部を有する表示手段と、
前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標に基づいて、画像情報を前記表示部に出力する表示制御手段と
を備えることを特徴とする情報処理装置。
【0291】
[実施態様38]
座標入力装置から出力される座標情報を処理する情報処理装置であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信手段と、
前記固定座標入力面に一体的に構成される表示部を有する表示手段と、
前記操作者から見た前記表示装置における画像の描画形状を、該操作者の位置によらず前記固定座標入力面に常に視覚上同一に保たって表示するように、前記固定座標入力面を基準とする前記操作者の位置に基づいて、前記検出手段で検出された座標の表示寸法及び形状を変化させて表示部に出力する表示制御手段と
を備えることを特徴とする情報処理装置。
【0292】
[実施態様39]
座標入力指示具の位置座標を算出する座標入力装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程と、
前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程と、
前記座標変換工程によって変換された座標に基づいて、画像情報を前記固定座標入力面に一体的に構成される表示部に出力する表示制御工程と
を備えることを特徴とする座標入力装置の制御方法。
【0293】
[実施態様40]
座標入力指示具の位置座標を算出する座標入力装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程と、
前記操作者から見た前記表示装置における画像の描画形状を、該操作者の位置によらず前記固定座標入力面に常に視覚上同一に保たって表示するように、前記固定座標入力面を基準とする前記操作者の位置に基づいて、前記検出工程で検出された座標の表示寸法及び形状を変化させて、前記固定座標入力面に一体的に構成される表示部に出力する表示制御工程と
を備えることを特徴とする座標入力装置の制御方法。
【0294】
[実施態様41]
座標入力装置から出力される座標情報を処理する情報処理装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程と、
前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程と、
前記座標変換工程によって変換された座標に基づいて、画像情報を固定座標入力面に一体的に構成される表示部に出力する表示制御工程と
を備えることを特徴とする情報処理装置の制御方法。
【0295】
[実施態様42]
座標入力装置から出力される座標情報を処理する情報処理装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程と、
前記操作者から見た前記表示装置における画像の描画形状を、該操作者の位置によらず前記固定座標入力面に常に視覚上同一に保たって表示するように、前記固定座標入力面を基準とする前記操作者の位置に基づいて、前記検出工程で検出された座標の表示寸法及び形状を変化させて、前記固定座標入力面に一体的に構成される表示部に出力する表示制御工程と
を備えることを特徴とする情報処理装置の制御方法。
【0296】
[実施態様43]
座標入力指示具の位置座標を算出する座標入力装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程のプログラムコードと、
前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程のプログラムコードと、
前記座標変換工程によって変換された座標に基づいて、画像情報を前記固定座標入力面に一体的に構成される表示部に出力する表示制御工程のプログラムコードと
を備えることを特徴とするプログラム。
【0297】
[実施態様44]
座標入力指示具の位置座標を算出する座標入力装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程のプログラムコードと、
前記操作者から見た前記表示装置における画像の描画形状を、該操作者の位置によらず前記固定座標入力面に常に視覚上同一に保たって表示するように、前記固定座標入力面を基準とする前記操作者の位置に基づいて、前記検出工程で検出された座標の表示寸法及び形状を変化させて、前記固定座標入力面に一体的に構成される表示部に出力する表示制御工程のプログラムコードと
を備えることを特徴とするプログラム。
【0298】
[実施態様45]
座標入力装置から出力される座標情報を処理する情報処理装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程のプログラムコードと、
前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程のプログラムコードと、
前記座標変換工程によって変換された座標に基づいて、画像情報を固定座標入力面に一体的に構成される表示部に出力する表示制御工程のプログラムコードと
を備えることを特徴とするプログラム。
【0299】
[実施態様46]
座標入力装置から出力される座標情報を処理する情報処理装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程のプログラムコードと、
前記操作者から見た前記表示装置における画像の描画形状を、該操作者の位置によらず前記固定座標入力面に常に視覚上同一に保たって表示するように、前記固定座標入力面を基準とする前記操作者の位置に基づいて、前記検出工程で検出された座標の表示寸法及び形状を変化させて、前記固定座標入力面に一体的に構成される表示部に出力する表示制御工程のプログラムコードと
を備えることを特徴とするプログラム。
【0300】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【0301】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【0302】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0303】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【0304】
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
【0305】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0306】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0307】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【0308】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【0309】
【発明の効果】
以上説明したように、本発明によれば、大画面に対する遠隔操作における操作性を向上することができる座標入力を提供できる。
【図面の簡単な説明】
【図1】本発明の各実施形態の座標入力装置を利用した座標入力システムの概略図である。
【図2】本発明の実施形態1の座標入力装置の座標入力ペンの基本構成を示す図である。
【図3】本発明の実施形態1の座標入力装置の機能構成を示すブロック図である。
【図4】本発明の実施形態1の画面上のカーソルが表示されているときの入力例を示す図である。
【図5】本発明の実施形態1の3次元(空間)座標計測可能な座標入力装置の概略構成を示す図である。
【図6】本発明の実施形態1の座標入力ペンの構成を示す図である。
【図7】本発明の実施形態1の音波の到達時間検出方法を説明するためのタイミングチャートである。
【図8】本発明の実施形態1の音波の到達時間検出を実現する検出回路のブロック図である。
【図9】本発明の実施形態1の演算制御回路の概略構成を示すブロック図である。
【図10】本発明の実施形態1の3次元(空間)座標計測可能な座標入力装置の概略構成を示す図である。
【図11】本発明の実施形態の座標入力ペンの動作と画面座標系及び操作座標系を説明するための図である。
【図12】本発明の実施形態1の座標算出演算処理を示すフローチャートである。
【図13】本発明の実施形態1の座標入力装置の動作モードを説明するための図である。
【図14】本発明の実施形態1の座標入力ペンの動作を説明するフローチャートである。
【図15】本発明の実施形態1の座標入力装置の動作を説明するフローチャートである。
【図16】本発明の実施形態2の座標算出演算処理を示すフローチャートである。
【図17】本発明の実施形態3の座標入力ペンの動作と画面座標系及び操作座標系を説明するための図である。
【図18】本発明の実施形態3の座標算出演算処理を示すフローチャートである。
【図19】本発明の実施形態4の座標入力ペンの動作と画面座標系及び操作座標系を説明するための図である。
【図20】本発明の実施形態4の座標入力ペンの動作と画面座標系及び操作座標系を説明するための図である。
【図21】本発明の実施形態6の座標入力ペンの動作領域区分を説明するための図である。
【図22】本発明の実施形態7の座標入力ペンの動作と画面座標系及び操作座標系を説明するための図である。
【図23】本発明の実施形態8の座標入力を説明するための図である。
【図24】本発明の実施形態8の座標入力を説明するための図である。
【図25】本発明の実施形態9の座標入力を説明するための図である。
【図26】従来例を説明するための図である。
【符号の説明】
4 座標入力ペン
302 駆動回路
303 発振子
304 座標入力装置
305 超音波センサ
306 波形処理回路
307 CPU
308 座標算出プログラム
309 文字認識エンジン
310 メモリ
311 無線インタフェース
312 ROM
【発明の属する技術分野】
本発明は、座標入力指示具の位置座標を算出する座標入力技術に関するものである。
【0002】
【従来の技術】
従来、CRTディスプレイ、液晶ディスプレイ(LCD)、あるいはプロジェクタ等の表示装置の表示面に、座標を入力することができる座標入力装置を重ねて配置し、操作者が行った指示具によるポインティングあるいは筆跡を表示装置に表示し、あたかも、紙と鉛筆のような関係を実現することができる座標入力して無が知られている。
【0003】
座標入力装置としては、抵抗膜方式をはじめ、静電方式、ガラス等の座標入力面に超音波を伝播させる超音波方式等の透明な入力板を有する方式や、光学方式、あるいは空中に音波を放射することで位置を検出する方式、さらには電磁誘導(電磁授受)方式のように表示装置の裏側に座標算出のための機構を配置し、表示装置の前面に透明な保護板を配置して、入出力一体の情報機器を構成している物もある。
【0004】
このような情報機器は、携帯性を有する小型の電子手帳に始まり、ペン入力コンピュータ等、表示装置の大型化に伴って、比較的大きなサイズのペン入力コンピュータ等の情報機器も見られるようになった。その他、フロントプロジェクタ、リアプロジェクタ、あるいはPDP等の大型表示装置と組み合わせて、例えば、プレゼンテーション装置、TV会議システム等に利用され始めている。また、大型の液晶ディスプレイやPDPディスプレイ等の表示装置は、現在も画質の改善、低コスト化が進められている他、衛星放送等のデジタル化に伴い、テレビの仕様形態も過渡期の状態に入りつつある。
【0005】
また、これらの大型の表示装置は、例えば、オフィスにおいて使われていたホワイトボード、あるいは電子黒板にとって変わり、パーソナルコンピュータ等の外部機器内にあらかじめ用意した資料用データを大型の表示装置に表示させることで、会議用途、打ち合わせ用途に使われ始めている。その場合、大型の表示装置に表示された情報は、ホワイトボードの如く、操作者、あるいは出席者により表示情報を更新するために、直接画面をタッチすることで、外部機器を制御して、例えば、表示画面の表示内容を切り替えることができるように構成されている。
【0006】
【発明が解決しようとする課題】
しかしながら、この種の大型の入出力一体型の座標入力システムを考慮した場合には、下記の課題があった。
【0007】
即ち、大勢の参加者を想定した打ち合わせ、あるいはネットワークを介した使用環境を考慮すれば、操作者が直接画面をタッチすることで外部機器を制御するばかりではなく、例えば、質問者がその場で遠隔操作により、画面を操作したり、その場で必要に応じてネットワークより情報を引き出せるような構成になるのが好ましい形態であると言える。
【0008】
従来のこの種の装置では、画面から離れて入力(遠隔操作)する場合は、操作者は、その画面に対して常に正面に相対して操作するとは限らず、画面の向きとは無関係に操作時にある操作者自身の状態・向きを中心とした座標系で画面を操作することが多い。従って、画面の持つ座標面と操作者が操作する時に形成される座標面とのなす角度を格別意識して操作しているわけではない。
【0009】
つまり、例えば、図26に示すように、操作者がこれから位置を指示しようとする大型の入出力一体型の座標入力システムに対して、正面ではなく、斜め方向から座標入力ペン4で入力する場合には、操作者は通常座標入力システムの画面102に対して平行ではなく、ある角度を持った斜め方向から入力することになる。従って、この場合、操作者の形成する操作入力面は、画面102に対して平行ではなくある角度を持つことになる。
【0010】
この場合、操作者自身は、無意識にその自分の形成する操作座標入力面に基づいた座標系で入力を行うが、従来の座標入力装置側では、座標入力システムの座標入力面を基準とした座標系に基づき座標を算出するため、斜め方向からの入力角度が大きくなるに従い、操作者の入力したと意識している座標及び描画軌跡106と実際に座標入力システムの画面102を基準として算出され表示される座標及び描画軌跡104との間にずれが生じ、操作性に問題が生じていた。
【0011】
本発明は、上記問題に鑑みてなされたものであり、大画面に対する遠隔操作における操作性を向上することができる座標入力を提供することを目的とする。
【0012】
【課題を解決するための手段】
上記の目的を達成するための本発明による座標入力装置は以下の構成を備える。即ち、
座標入力指示具の位置座標を算出する座標入力装置であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出手段と、
前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標を出力する出力手段と
を備える。
【0013】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。
【0014】
<実施形態1>
<システム構成の説明(図1)>
図1は本発明の各実施形態の座標入力装置を利用した座標入力システムの概略図である。
【0015】
図1の座標入力システムは、リアプロジェクション表示装置101(以下、表示装置101)に座標入力装置を内蔵して構成したシステムの一例である。
【0016】
この座標入力システムは、座標入出力一体型のシステムであり、座標入力装置に接続されたコンピュータが出力する各種の情報を表示装置101の画面102に表示する。加えて、指示具であるところの座標入力ペン4は、画面102を直接タッチすることで座標データを入力することができる。
【0017】
この座標データは、アイコンの操作(コンピュータの操作)に使用したり、カーソルの移動、図形の描画(カーソルの軌跡)等として使用することができる。
【0018】
座標入力装置は、座標入力ペン4の位置を計算して座標データとしてコンピュータに送出し、コンピュータは、表示装置101の画面102にフィードバックさせる。但し、本座標入力システムでは、座標入力ペン4で画面102を指示してマウスの如きにコンピュータを操作するだけではなく、画面102から離れた場所からコンピュータを遠隔操作することも可能な装置である。
【0019】
表示装置101の画面102は、コンピュータが生成するウィンドウ情報(例えば、ウインドウ103)等の画面情報を表示する。操作者は、先述したとおり、座標入力ペン4で画面102を直接タッチして入力することも可能であるが、図1に示すように画面102から離れた場所での入力も可能である。
【0020】
ここで、操作者を基準とした操作座標入力面における操作座標系(X,Y,Z)を操作者が操作する位置に構成し、概略XY平面(操作座標入力面)105に、軌跡106を仮想的に描画したとする。この場合、表示装置101の画面102には、操作者が操作した座標入力ペン4の軌跡106に対応する線104が画面102上のウインドウ103に表示されることになる。
【0021】
一方、表示装置101の画面102に於ける座標系を画面座標系(x,y,z)とする。
【0022】
ここで、操作者は、表示装置101の画面102に向かって正面にまっすぐ向かって入力しているのではなく、斜め方向から、操作座標系(X,Y,Z)と画面座標系(x,y,z)が平行ではなく、ある角度を持っている場合を考える。
【0023】
この場合、操作者にとっては、操作座標系(X,Y,Z)に於いて操作して描画をしたつもりでも、座標変換しない場合には、表示装置101の座標入力装置においては画面座標系(x,y,z)に基づいた座標が算出される。そのため、表示装置101の画面102に表示を行うと、操作者からは歪んで描画されたように見える。
【0024】
そこで、本発明においては、画面座標系(x,y,z)における操作者の複数の入力座標から操作座標系(X,Y,Z)に於ける操作者を基準とした操作座標入力面を算出し、この画面座標系(x,y,z)における操作者の入力座標を上操作座標系(X,Y,Z)の座標に変換し、これを表示装置101の画面102に表示する。
【0025】
従って、表示装置101の画面102には、操作者が操作した座標入力ペン4の軌跡106と対応する線104が、操作者にとって違和感無く表示されることになる。
【0026】
ここでいう操作座標入力面105及び操作座標系(X,Y,Z)とは、あくまで、画面102との位置関係において、操作者の入力作業、動作が形成する動作面、空間を指すものである。
【0027】
従って、例えば、入出力一体型の座標入力装置において、座標を入力する場合には、画面102と操作座標入力面105及び操作座標系(X,Y,Z)とは、例えば、回転、領域による歪みの補正等の狭義においては一致しないとの解釈もあるが、本発明の主眼とするところからすると、これは、一致しているのであり、本発明の対象ではない。
【0028】
つまり、画面102と、操作座標入力面105及び操作座標系(X,Y,Z)とがある角度を生じるような場合を本発明は対象としており、その意味では、2次元表示面に表示される2次元座標と3次元操作空間に於ける3次元座標入力との関係を本発明は対象としている。
【0029】
これにより、会議等で操作者が画面から斜め方向に離れている場合などでも、自然な感じでコンピュータを遠隔操作したり、表示されている内容に上書きをしたりすることができるので、非常に有効な装置となる。
【0030】
尚、本発明に於ける重要なポイントである操作座標系の算出及び画面座標系から操作座標系への座標変換に関しては、後で詳述する。
【0031】
<座標入力装置の構成に関する説明(図2、図3)>
座標入力装置は、先述した通り、ペン型の指示具を用いて座標入力面の任意の点を指示すると、その入力点の座標を検出して、接続されたコンピュータに座標データを出力する。実施形態1では、座標入力装置の座標検出方式として超音波方式の座標入力装置を構成する場合について説明するが、座標入力装置の座標検出方式に関しては、この超音波方式に限定されるものではない。
【0032】
図2は本発明の実施形態1の座標入力装置の座標入力ペンの基本構成を示す図である。
【0033】
座標入力ペン4は、画面102にペン先を押し当てることでペン先スイッチ41がオンになり超音波の発振が開始される。また、遠隔操作する場合は、ペンサイドスイッチ42aあるいは42bを押すことで超音波の発振が開始される。
【0034】
図3は本発明の実施形態1の座標入力装置の機能構成を示すブロック図である。
【0035】
座標入力ペン4において、302は、不図示のバッテリで動作する発振子303を駆動する駆動回路である。この駆動回路302は、発振子303を所定のタイミングで駆動するように制御している。そして、発振子303から発振された超音波信号は、座標入力装置本体304の内部回路のうち、複数の超音波センサ305で検出される。検出された超音波信号は、波形処理回路306で所定のレベルまで増幅されて、検出タイミング信号としてCPU307に入力される。
【0036】
こうして、複数の超音波センサ305で検出されたタイミング信号が揃ったらCPU307は、時間情報から距離情報に変換して、さらに三角測量の原理で座標入力ペン4の座標位置を算出する。更に、この一連の座標から操作座標系を算出し、座標入力装置304の画面座標系における操作者の入力座標を操作座標系の座標に変換する。
【0037】
尚、この座標計算及び座標変換は、ROM312に格納されている座標算出プログラム308をCPU307が呼び出すことによって実行される。そして、算出された座標データは、メモリ310に格納される。また、座標データは、逐次無線インターフェース311によって、外部のコンピュータに転送される。更に、必要に応じて、座標データから得られる軌跡を文字認識エンジン312で文字認識し、その認識結果をコマンドあるいはテキストデータとして、メモリ310に格納することができる。
【0038】
実施形態1の座標入力システムの構成は、上述した構成以外にも種々の構成を採用することができる。例えば、指示具はペン状に限定されず、いわゆる指示棒状であってもよい。また、座標入力方式は、超音波方式に限らず、3次元座標を算出することが可能な座標入力方式であれば、赤外線利用方式、抵抗膜方式、電磁誘導方式、あるいは静電結合方式等も採用することができる。
【0039】
但し、実施形態1のようなXYZ軸の3次元座標を算出することが可能な座標入力装置ではなく、2次元座標を算出する座標入力装置の場合においては、例えば、赤外線の反射光を用いることで距離を測定できる機能を付加するなどして、画面と座標入力装置の間の距離(距離に関する座標)を算出できる機能を別に有するならば、本発明に適用できることは言うまでもない。
【0040】
また、表示装置は、リアプロジェクタ表示装置101に限定されず、フロントプロジェクタ、液晶ディスプレイ、プラズマディスプレイ等、コンピュータの情報を表示することができるものであれば、どのようなものでも良い。
【0041】
更に、座標入力装置304と外部のコンピュータ間の接続は、無線インターフェース311に限定されず、有線インターフェースであっても良い。
【0042】
<座標入力装置の動作に関する説明(図4、図5)>
以下、座標入力ペン4による入力例をあげて、実施形態1における座標入力装置の入力方法について説明する。
【0043】
図4は本発明の実施形態1の画面上のカーソルが表示されているときの入力例を示す図である。
【0044】
ここでは、操作者が、点Aから点Bまで線を描画(描画は、マウスの左クリックを押しながら移動させたのと同様に、座標情報とスイッチ情報がコンピュータに送信されることによって描かれる)したい場合、座標入力ペン4のペンサイドスイッチ42aあるいは42bの動作と、座標入力ペン4の状態(超音波発振か停止かのいずれかの状態)と座標入力装置の座標出力モードに関して図4を用いて説明する。
【0045】
図4において、1の状態では、カーソル401が画面102上に表示されているのみで、座標入力ペン4の、ペン先スイッチ41、ペンサイドスイッチ42a、42bはいずれも押されていない。
【0046】
2の状態では、描画を開始したい点Aにカーソル401を移動させる。即ち、ペンサイドスイッチ42aをオンにして、超音波を発振するモードにし、カーソル401を点Aに移動させる。
【0047】
3の状態では、ペンサイドスイッチ42a及び42bをオンにして点Aから点Bまでカーソル401を移動させる動作をする。即ち、この状態は描画されている状態であり、画面102上には、カーソル401の軌跡104が表示される。
【0048】
4の状態では、点Bまで軌跡が表示されてカーソルが401移動したならば、ペンサイドスイッチ42bをオフ(指をはなす)にする。
【0049】
以上のようにして、座標情報とスイッチ情報を入力することによって、マウスの如きにコンピュータを操作することができる。
【0050】
尚、スイッチ情報は、赤外線や電波で座標入力装置本体304に送信してもよいし、発振の間隔をスイッチごとに可変させることによって、座標入力装置本体304側で検出してもよい。
【0051】
<座標入力装置の詳細な構成の説明>
上述した動作をする座標入力装置の構成をより詳細に説明する。
【0052】
図5は本発明の実施形態1の3次元(空間)座標計測可能な座標入力装置の概略構成を示す図である。
【0053】
4は指示具であるところの座標入力ペンであり、操作者による座標入力動作により空中に音波を発生するように構成されている。発生した音波は複数の検出センサ3(実施形態1の場合、4個の検出センサ3_Sa〜Sdを使用する)により検出され、後述する方法により信号波形検出回路2で処理される。その後、演算制御回路1によって、座標入力ペン4の音波発生源の位置(X,Y,Z)を算出するように構成されている。
【0054】
演算制御回路1は、座標入力装置全体を制御するとともに、得られる座標データを基に、ディスプレイ駆動回路5を介して、表示装置101に表示されているカーソルを移動したり、あるいは筆記等の手書き情報を表示装置101に表示、追記できるように構成されている。
【0055】
以上のように、座標入力装置と表示装置を組み合わせることで、あたかも『紙と鉛筆』のような関係を実現することができるマンマシンインターフェースを提供することが可能となる。
【0056】
次に、座標入力ペン4の構成について、図6を用いて説明する。
【0057】
図6は本発明の実施形態1の座標入力ペンの構成を示す図である。
【0058】
特に、図6(a)は座標入力ペン4の外観図であり、図6(b)は座標入力ペン4の機能構成図である。
【0059】
座標入力ペン4内に内蔵された音波発生源43は、ペン電源45、およびタイマと発振回路並びに座標入力ペン4に具備されている複数のスイッチ情報を検知して制御する制御回路、各種データを記憶するメモリ等で構成された駆動回路44によって駆動される。
【0060】
音波発生源43は、例えば、PVDF(ポリフッ化ビニリデン)等の圧電性素子で構成される。このPVDFは、フィルム状で、所定サイズの円環状に構成することで、所望周波数で駆動効率が最大になるようになっている。音波発生源43の駆動信号は、タイマによって発せられる所定の周期で繰り返すパルス信号であって、発振回路により所定のゲインで増幅された後、音波発生源43に印加される。この電気的な駆動信号は、音波発生源43によって機械的な振動に変換され、空中にそのエネルギーが放射されることになる。
【0061】
尚、実施形態1における座標入力ペン4は、そのペン先端部を押圧することで動作するペン先スイッチ(SW)41、並びに座標入力ペン4の筐体に設けられた複数のペンサイドスイッチ(SW)42a、42bを具備する。
【0062】
駆動回路44は、所定周期毎(例えば、10msec毎、その場合、1秒間あたりに音波を100回放射するので、本座標入力装置の座標算出サンプリングレートは、100回/秒となる)に、座標入力ペン4内の音波発生源43を駆動させる信号を出力し、空中に音波を放射することになる。
【0063】
この音波は、音波発生源43と各検出センサ3_Sa〜Sd迄の距離に各々応じて遅延し、到達、検出されることになる。この検出センサ3_Sa〜Sdは、例えば、PZT等の厚み振動を行う圧電振動子で、前面に音響整合層を設けている。この音響整合層は、シリコンゴム等を薄層化したもので、気体との音響インピーダンスの整合をとり、高感度で広帯域特性が得られ、かつパルス応答性のよい超音波信号の送受信が可能となっている。
【0064】
この種の座標入力装置は、座標入力ペン4の音波発生源43と各検出センサ3_Sa〜Sd間の距離を、音波の既知の音速と、その到達時間の積により各々算出し、各検出センサ3_Sa〜Sdの位置情報を用いて幾何学的に音波発生源43の位置情報を得ることを基本としたシステムである。そこで、この音波の到達時間を検出する到達時間検出方法について、図7及び図8を用いて説明する。
【0065】
図7は本発明の実施形態1の音波の到達時間検出方法を説明するためのタイミングチャートである。また、図8は本発明の実施形態1の音波の到達時間検出を実現する検出回路のブロック図である。
【0066】
51は駆動回路44で発生した駆動信号であり、駆動信号51を発生するとともにスタート信号を生成する。このスタート信号は、例えば、座標入力ペン4内に内蔵されている赤外LED等(不図示)を介して、そのスタート信号を演算制御回路1に送信し、演算制御回路1内のタイマ12(図9参照)をスタートさせる。
【0067】
一方、空中に放射された音波は、音波発生源43と検出センサ3_Sa〜Sd間の距離に応じて遅延し、検出センサ3_Sa〜Sdで検出されることになる。53は前置増幅回路60で所定レベルまで増幅された各検出センサ3_Sa〜Sdで検出された検出信号を示す。この検出信号53を、絶対値回路及び低域通過フィルタ等により構成されるエンベロープ検出回路61で処理を行い、検出信号のエンベロープ54のみが取り出される。
【0068】
このエンベロープ54に着目すると、その波形が伝播する音速は群速度Vgであり、このエンベロープ54の特異な点、例えば、エンベロープ54のピークや変曲点を検出すると、群速度Vgに関わる遅延時間tgが得られる。エンベロープ54のピークあるいは変曲点を検出するエンベロープ特異点検出回路62は、微分回路、ゼロクロスコンパレータを用いて容易に検出が可能である。
【0069】
実施形態1では、2階微分することによって信号55を形成し、閾値レベル52と検出信号53で比較されたゲート信号を参照してエンベロープ54の変曲点を検出する(信号56)。この信号56を用いて前述したスタート信号により動作しているタイマ12をストップさせれば、群速度Vgに関わる群遅延時間Tgを検出することが可能である。
【0070】
また、厳密に言えば、この群遅延時間Tgには、波形処理に関わる回路の遅延分が含まれるが、後述する方法により、その影響は完全に除去される。よって、ここでは説明を簡略化するために、回路遅延時間は無いものとして説明を加える。
【0071】
以上のことから、音波発生源43と検出センサ3_Sa〜Sd間の距離Lは次式で求めることができる。
【0072】
L=Vg×Tg (1)
一方、より高精度な距離Lの計算を行う場合には、検出信号波形の位相情報より、音波が到達する時間を算出する。その詳細について説明すれば、検出センサ3_Sa〜Sdの出力信号53は、帯域通過フィルタ64により余分な周波数成分を除いた後、Tp信号検出回路66に入力される。Tp信号検出回路66は、ゼロクロスコンパレータ、マルチバイブレータ等で構成される。そして、帯域通過フィルタ64によって出力された信号のゼロクロス点に関わる信号を、所定の閾値レベル52と比較するゲート信号発生回路65が生成するゲート信号57と比較し、信号58を生成する。
【0073】
その後に、前述した群遅延時間Tgを検出する信号56をゲート信号(ゲート信号発生回路63が生成)として参照し、このゲート信号56の期間内において、帯域通過フィルタ64で出力される信号波形の位相が、例えば、負側から正側にクロスする最初のゼロクロス点を出力する信号59を生成する。
【0074】
そして、この信号59を用いて、前述したスタート信号により動作しているタイマ12をストップさせれば、位相速度Vpに関わる位相遅延時間Tpを検出することが可能である
尚、厳密にいえば、この位相遅延時間Tpには、波形処理に関わる回路の遅延分が含まれるが、後述する方法により、その影響は完全に除去される。よって、ここでは説明を簡略化するために、回路遅延時間は無いものとして説明を加える。
【0075】
以上のことから、音波発生源43と検出センサ3_Sa〜Sd間の距離Lは次式で求めることができる。
【0076】
L=Vp×Tp (2)
ここで、エンベロープ特異点検出回路62に基づきゲート信号発生回路63で生成するゲート信号56を用いる効果について説明する。
【0077】
検出センサ3_Sa〜Sdによって検出される信号レベルは、次の要因によって変動する。
【0078】
1) 音波発生源43、検出センサ3_Sa〜Sdの電気−機械変換効率
2) 音波発生源43と検出センサ3_Sa〜Sd間の距離
3) 音波が伝播する空中の温度、湿度等の環境変動
4) 音波発生源43の音波放射に関する指向性、並びに検出センサ3_Sa〜Sdの感度指向性
項目1)は部品公差により発生する要因であり、装置を大量生産する場合には十分な留意が必要である。また、項目2)は音波の減衰に関する項目であり、音波発生源43と検出センサ3_Sa〜Sd間の距離が大きくなるにつれて、空気中を伝播する音波の信号レベルは指数関数的に減衰することが一般的によく知られている他、その減衰定数も項目3)による環境で変化する。
【0079】
さらには、項目4)は、本発明は座標入力装置として動作するので、筆記具であるところの座標入力ペン4は、操作者による筆記動作で常にその姿勢が変化、つまり、ペン保持角度が変動するので、その変動によっても大きくレベルが変化する。さらには、検出センサ3_Sa〜Sdの感度指向性により、座標入力ペン4と検出センサ3_Sa〜Sdの成す角度が変動しても検出レベルが変動する。
【0080】
この時、例えば、検出レベルがより小さくなったと仮定した場合には、前述した閾値レベル(例えば、信号52)が固定であるために、信号58が信号58’に変化することは十分に有り得る現象となる。つまり、たとえ同一地点での座標入力動作を行っても、例えば、座標入力ペン4の保持角度(向き)が異なれば、検出信号53のレベルが異なることになるので、ゲート信号57の発生する時間がそれに依存することになる。しかしながら、本発明はエンベロープ54の特異点に基づくゲート信号56を参照しているので、検出信号レベルに依存することなく、安定して信号59を得ることが可能となっている。
【0081】
次に、実施形態1の演算制御回路1の概略構成について、図9を用いて説明する。
【0082】
図9は本発明の実施形態1の演算制御回路の概略構成を示すブロック図である。
【0083】
11は演算制御回路1及び本座標入力装置全体を制御するマイクロコンピュータであり、内部カウンタ、操作手順を記憶したROM、そして計算等に使用するRAM、定数等を記憶する不揮発性メモリ等によって構成されている。前述した通り、駆動回路44により座標入力ペン4内の音波発生源43の駆動タイミングと同期したスタート信号が、座標入力ペン4に内蔵された赤外LED等(不図示)により光信号として放射され、その信号をスタート信号検出回路17で検波することによって、演算制御回路1内のタイマ12(例えば、カウンタなどにより構成されている)をスタートさせる。
【0084】
このように構成することで、座標入力ペン4内の音波発生源43を駆動する駆動タイミングと、演算制御回路1内のタイマ12との同期が得られるので、音波発生源43で発生した音波が各検出センサ3_Sa〜Sd各々に到達するのに要する時間を測定することが可能となる。
【0085】
信号波形検出回路2より出力される各検出センサ3_Sa〜Sdよりの振動到達タイミング信号(信号59)は、検出信号入力ポート13を介してラッチ回路15_a〜dに各々入力される。ラッチ回路15_a〜dの各々は、対応する検出センサ3_Sa〜Sdよりの振動到達タイミング信号を受信すると、その時のタイマ12の計時値をラッチする。
【0086】
このようにして座標検出に必要な全ての検出信号の受信がなされたことを判定回路14が判定すると、マイクロコンピュータ11にその旨の信号を出力する。マイクロコンピュータ11がこの判定回路14からの信号を受信すると、ラッチ回路15_a〜dから各々の検出センサ3_Sa〜Sdまでの振動到達時間をラッチ回路15_a〜dより読み取り、所定の計算を行なって、座標入力ペン4の座標位置を算出する。
【0087】
更に、マイクロコンピュータ11では、画面座標系(x,y,z)において操作者が入力した複数の座標から操作座標系(X,Y,Z)に於ける操作者を基準とした操作座標入力面を算出し、この画面座標系(x,y,z)における座標入力ペン4の座標位置を操作座標系(X,Y,Z)の座標に変換する。
【0088】
その算出結果を、I/Oポート16を介してディスプレイ駆動回路5に出力し、表示装置101の対応する位置に、例えば、ドット等を表示することができる。また、I/Oポート16を介してインターフェース回路(不図示)に、座標位置情報を出力することによって、外部機器に座標値を出力することができる。
【0089】
<座標算出方式の説明>
次に、図10に示すような画面座標系に検出センサ3_Sa〜Sdが配置された場合、音波発生源43の画面座標系の位置座標(x,y,z)を求める方法について説明する。
【0090】
上記の方法により正確に求められた振動発生源43と各検出センサ3_Sa〜Sdまでの距離を各々La〜Ld、X方向の検出センサ間距離をXs−s、Y方向の検出センサ間距離をYs−sとすれば、
【0091】
となる。同様にして、
【0092】
となる。
【0093】
以上示したように、少なくとも3個の振動発生源43と検出センサ3までの距離が測定できれば、容易に音波発生源43の位置(空間)座標を求めることが可能となる。本発明では、検出センサを4個用いており、例えば、距離が最も遠い情報を使わず(この場合、検出センサ3で出力される信号は、距離が遠いために信号レベルが最も小さくなっている)、残り3個の距離情報のみで、座標を算出することで、信頼性の高い座標算出を可能としている。
【0094】
また、この距離が遠いセンサの距離情報を活用することで、出力された座標値の信頼性が高いものか判定することも可能である。
【0095】
具体的な方法としては、例えば、距離情報La、Lb、Lcで算出された座標値と、距離情報Lb、Lc、Ldで算出された座標値は同一の値を出力するはずであり(距離情報の組み合わせを変更して演算する)、両者が一致しない場合には、いずれかの距離情報が不正、つまり、誤検出したことになるので、その場合には、座標値を出力しないといった信頼性を向上させる構成も実施可能となる。
【0096】
以上のようにして、音波発生源43の画面座標系の位置座標(x,y,z)が複数点算出されると、この位置座標(x,y,z)より、操作者の入力座標から操作座標系(X,Y,Z)に於ける操作者を基準とした操作座標入力面を算出する。ここで、空間に於いて求めるべき操作座標入力面dは、次の平面式で表される。
【0097】
aX+bY+cZ=d (7)
この平面式(7)は、音波発生源43の画面座標系の位置座標(x,y,z)上の少なくとも3点P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)が存在することにより、平面式(7)から得られるこの3点を通る平面を操作座標入力面として算出する。
【0098】
次に、画面座標系の音波発生源43の位置座標(x,y,z)を、算出した操作座標系(X,Y,Z)に座標変換を行う。そして、画面102には、座標変換後の座標(X,Y,Z)の内、画面座標系の内、実際に表示される2次元座標系(x,y)に対応する座標(X,Y)を出力表示する。
【0099】
また、操作者は、常に同一箇所、同一姿勢で座標入力ペン4で指示を継続するわけではなく、状況に応じて移動して入力するので、その都度、操作座標系(X,Y,Z)に於ける操作者を基準とした操作座標入力面の算出を行わなくてはならない。従って、一旦、操作座標入力面の平面式(7)を算出したら、それ以後、常に入力座標がその平面式(7)上に存在するか否かを判定し、もし、その平面上から外れた点が検出された時点で、新たな平面式(7)を算出する。
【0100】
但し、実際には、操作者の指示位置である音波発生源43の画面座標系の位置座標(x,y,z)は、誤差が含まれ、更に操作者は、常に正確な同一平面上の座標を指示入力するわけではく、同一操作動作に於ける一連の動線上の6点によりなる2組から上記の平面式を求めても、必ず同一の平面が求まるとは限らない。従って、本発明においては、更に、以下の様なある一定の範囲の操作上の座標範囲においては同一平面に変換されるような演算手法を採用する。
【0101】
今、空間に於いて算出すべき操作座標入力面105の平面式を原点からの距離がpで、平面に垂直な単位ベクトルが(l,m,n)のときのヘッセの標準形で表すと、
lX+mY+nZ=p (8)
となる。これにより、ある音波発生源43の画面座標系の位置座標(x,y,z)上の3点より、まず、上記平面式(8)を算出する。そして、入力座標に一定の幅を持たせるために、次の式を入力座標がその平面式上に存在するか否かを判定するために、以下の判定式に用いる。
【0102】
p−α≦lX+mY+nZ≦p+α (9)
この判定式(9)は、幾何学的には、画面座標系に於ける入力座標が、平面式(8)を基準として、原点からの距離にして±αの範囲に入っているか否かの判定を意味する(図11参照)。
【0103】
従って、多少の操作者の操作上のぶれ等は吸収して、同一の操作座標入力面の座標に変換されるので、演算面での負担が軽減される。
【0104】
もし、入力座標が上記判定式(9)を満足している場合、画面座標系の位置座標を平面式(8)で示される操作座標入力面105の座標に座標変換する。一方、満足していない場合には、新たに操作座標入力面105の平面の算出を行う。
【0105】
以下、実施形態1の座標算出演算処理について、図12を用いて説明する。
【0106】
図12は本発明の実施形態1の座標算出演算処理を示すフローチャートである。
【0107】
尚、図12のフローチャートでは、不図示だが、この場合、平面式を算出するために、同一直線上に無い3点の座標を用いる。
【0108】
そこで、まず、ステップS1201で、画面座標系の入力座標(x,y,z)を算出する。
【0109】
次に、ステップS1202で、あるi番目の単位ベクトル(li,mi,ni)に対し、入力座標(x,y,z)が上記判定式(9)(p−α≦liX+miY+niZ≦p+α)を満足しているか否かを判定する。判定式(9)を満足している場合(ステップS1202でYES)、ステップS1203に進む。一方、判定式(9)を満足していない場合(ステップS1202でNO)、ステップS1203に進む。
【0110】
次に、ステップS1203で、入力座標(x,y,z)に基づいて、平面式(8)(li+1X+mi+1Y+ni+1Z=p)を算出する。
【0111】
次に、ステップS1204で、画面座標系座標を操作座標系座標に変換する。この座標変換に於いて、具体的に行う演算処理としては、次のような行列表現となる。この際、実際の操作座標入力面の画面座標系に対する傾きは、図1及び図10で示す座標系におけるY軸に関する回転であるとみなす。
【0112】
【0113】
ここで、x,y,z:画面座標系の座標
X,Y,Z:変換後の座標
θ :操作座標入力面の画面座標系に対する傾きでY軸に関するもの(計算上は、画面座標系の画像座標入力面と操作座標入力面の方向余弦の成す角度)。
【0114】
lx、ly、lz:平行移動量(但し、後述するように、遠隔操作時には相対座標モードとするので、実際には考慮しなくても良い。)
となる。
【0115】
従って、ステップS1205で、実際に、画面102に出力表示されるのは上記座標変換後の2次元の(X,Y)座標となる。そして、ステップS1206で、iの値を1インクリメントする。
【0116】
尚、操作座標入力面の傾きはY軸に関する回転としたが、これは、実際に図1及び図10の座標系に画面102が設置された場合に、Y軸、つまり、画面102への横方向の傾きが最も問題となると考えられるからであるが、更に画面102の縦方向の傾き、つまり、図10におけるX軸に関する回転を合わせ考慮して座標変換を行っても良い。
【0117】
尚、上記座標変換を行う平面式(8)で算出される操作座標入力面105の直交座標系の軸の向きは、画面座標系のy軸の鉛直面とこの操作座標入力面105とが交差する線が、この操作座標入力面105のX軸(水平方向)となるように定義する。
【0118】
このように定義することにより、座標変換する場合の入力された座標入力ペン4の軌跡106の文字、描画等の回転方向の向きが定まる。このように操作座標入力面105の軸の向きを決定することにより、実使用上違和感無く入力操作できる。更に、用途によっては、入力された軌跡106の図形、文字情報を認識し、その認識結果により、操作座標入力面105の軸の向きを定めることにより、操作者の入力情報の操作座標入力面105に於ける回転方向にも追従した座標を変換してもよい。
【0119】
本発明の座標検出手段である検出センサ3は、表示装置101の周囲等にその表示領域との位置関係が既知の位置に配置し、上述のように、音波発生源43の位置座標(x,y,z)を検出しているので、表示装置101自体の画面座標系と座標入力装置自体の座標系との間には明確な対応関係が存在する。あるいは、検出センサ3の位置と表示装置101との位置関係が既知で無い場合でも、基準点設定、キャリブレーション等の補正等により対応関係を明確にすることができる。
【0120】
本発明は、この画面(表示)座標系と座標入力装置の座標系との間の補正を主眼とするものではない。従って、本発明においては、操作座標入力面が、表示装置101の画面の持つ座標系との間の傾き、角度に関して座標変換を行う例を示したが、これは、同時に、表示装置101の物理的画面の寸法、表示サイズ、位置と操作座標入力面の関係に於いても同様な座標系同士の傾き、角度に関して座標変換を行うこともできる。
【0121】
更に、検出センサ3の配置により形成される座標入力装置の寸法、位置と操作座標入力面の関係に於いても同様な座標系同士の傾き、角度に関して座標変換を行うこともできる。
【0122】
また、本発明は、特に、3次元的な座標検出において、操作者が形成する操作座標入力面を変換の対象としている。従って、画面座標入力面と操作座標入力面との間の角度、位置関係を対象としており、従来の座標入力装置における座標変換、座標補正に見られる、同一2次元平面内の座標変換とは異なるものである。
【0123】
このように本発明の座標変換は、表示装置101の画面102に基づいた画面座標系と操作者の位置、姿勢、画面に対する角度からくる操作座標系との間の位置関係に基づく変換である。
【0124】
以上のように、操作者が実際に操作する操作者がイメージする操作座標入力面105に基づいた座標が表示装置101の座標に於いても表示される。このため、仮に、操作者が表示装置101に対し斜め方向から入力することで、画面102と操作座標入力面105との角度が大きくなっても、操作者の入力したと意識している座標と実際に入出力一体型座標入力システムの座標入力面を基準として算出され表示される座標との間にずれが生じない。これは、特に、描画した軌跡106や文字を入力する場合にも、図形や文字が歪むことなく、自然な操作性を実現することができる。
【0125】
<空間座標算出モードの説明>
次に、本発明の空間座標を算出することが可能な座標入力装置の動作モードについて説明する。
【0126】
本発明の座標入力ペン4は、図6(a)に示したように、ペン先SW41、及び2個のペンサイドSW42a、42bを具備してなり、各SWの動作モードについて図13、図14を用いて説明を加える。また、座標入力ペン4の動作モードに対応した検出回路側(本体側)の動作モードについて図13、図15を用いて説明する。
【0127】
図6(b)の駆動回路44内のメモリには、図14に示す処理を実行する動作プログラムが記憶されていて、駆動回路44内の制御回路(CPU)は、ペン先SW41及びペンサイドSW42a、42bの操作に従って、動作プログラムを実行する。
【0128】
操作者が、座標入力ペン4を握って座標入力面(この場合、図10に示すように、表示装置101の画面にXY平面(z=0)が設定されている)を押圧することで、ペン先SW41は動作する。
【0129】
尚、以下の説明で、ペン先SW41が動作する入力を「ペン入力」と呼ぶ。また、直接、表示装置101の表面に接触はしていない、ペン先SW41が動作していない状態において、比較的その表示装置101の近傍で、座標入力動作をする場合を「近接入力」と呼ぶ。更に、表示装置101から離れたところ(表示装置101と操作者までの距離が一定距離以上の位置)で座標入力動作をする場合を遠隔入力と呼ぶ。
【0130】
図14は本発明の実施形態1の座標入力ペンの動作を説明するフローチャートである。
【0131】
まず、ステップS102で、メモリに記憶されている各種データを初期化するために、メモリクリアを実行する。ステップS103で、ペン先SW41がONであるか否かを判定する。この判定は、操作者が、座標入力ペン4を握って座標入力面(表示装置101のスクリーン面にXY平面(z=0)が設定されている)への押圧の有無で判定する。
【0132】
ステップS103において、ONでない場合(ステップS103でNO)、ステップS112に進む。一方、ONである場合(ステップS103でYES)、ステップS105に進み、駆動間隔T=T1(例えば、100回/秒)に設定する。そして、ステップS106で、設定された駆動周波数及び駆動間隔で駆動回路44により音波発生源43を動作させ、音波が空中に放射されるように動作する。即ち、この時の動作は、図13のペン入力モード(Mode=1)となる。
【0133】
ステップS107で、ペン先SW41の状態を検知する動作を実行して、ペン先SW41がONであるか否かを判定する。ONである場合(ステップS107でYES)、操作者が筆記動作を続けているとみなして、ステップS106の音波発生源43を駆動する動作を繰り返す。一方、ONでない場合(ステップS107でNO)、即ち、操作者が座標入力面から座標入力ペン4を離した場合は、ステップS108に進む。
【0134】
ステップS108で、所定時間(例えば、10秒)、タイマ(Timer)をセットする。そして、ステップS109で、駆動間隔T=T11(例えば、50回/秒)に設定する。ステップS110で、設定された駆動周波数及び駆動間隔で駆動回路4により音波発生源43を動作させる。ステップS111で、タイマがゼロ(Timer=0)であるか否かを判定する。ゼロでない場合(ステップS111でNO)、ゼロになるまで、ステップS110及びステップS111の動作を繰り返す。このとき、図13に示す動作モードは近接入力モード(Mode=2)であって、ペン先SW41がONからOFFに遷移したときに、この近接入力モードに移行する。一方、ゼロである場合(ステップS111でYES)、ステップS102に戻る。
【0135】
一方、座標入力面から離れて(例えば、画面から400mm以上)操作する遠隔入力の場合は、前回の座標値に対する今回の座標値の差分を出力する相対座標となる。従って、操作者は、まず、画面上に表示されている現在のカーソルの位置を入力したい位置まで移動させて(いわゆる、マウスのドラッグ)、アイコンをクリックしたり、描画の動作をさせる(いわゆる、マウスの左クリック)。特に、実施形態1では、図6のペンサイドSW42aを押すことによって、カーソルを移動させて、同時に、ペンサイドSW42bを押すことで、アイコンのクリックや描画の動作を実現する。
【0136】
ステップS103において、ペンサイドSW41がONでない場合(ステップS103でNO)、ステップS112に進み、ペンサイドSW42aがONであるか否かを判定する。ONでない場合(ステップS112でNO)、ステップS102に戻る。一方、ペンサイドSW42aがONである場合(ステップS112でYES)、即ち、操作者が、座標入力面から離れて操作する場合には、ステップS113に進む。
【0137】
次に、ステップS113で、ペンサイドSW42bがONであるか否かを判定する。ONである場合(ステップS113でYES)、ステップS118に進む。一方、ONでない場合(ステップS113でNO)、ステップS115に進む。このステップS112及びステップS113の判定によって、図13の遠隔入力1モード(Mode=3)であるか、あるいは遠隔入力2モード(Mode=4)であるかの判定を実行する。
【0138】
ここで、ペンサイドSW42aがONで、かつペンサイドSW42bがOFFである場合は、遠隔入力1モード(Mode=3)とみなして、ステップS115で、駆動間隔T=T2(例えば、30回/秒)に設定する。そして、ステップS116で、設定された駆動周波数及び駆動間隔で駆動回路4により音波発生源43を動作させ、ステップS112に戻る。
【0139】
一方、ペンサイドSW42aがONで、かつペンサイドSW42bがONである場合は、遠隔入力2モード(Mode=4)とみなして、ステップS118で、駆動間隔T=T21(例えば、40回/秒)に設定する。そして、ステップS119で、設定された駆動周波数及び駆動間隔で駆動回路4により音波発生源43を動作させる。
【0140】
ステップS120で、ペンサイドSW42bの状態を検知する動作を実行して、ペンサイドSW42bがONであるか否かを判定する。ONである場合(ステップS120でYES)、遠隔入力2モード(Mode=4)が継続しているとみなして、ステップS119の音波発生源43を駆動する動作を繰り返す。一方、ONでない場合(ステップS120でNO)、ステップS102に戻る。
【0141】
尚、各動作モード(Mode=1〜4)における駆動間隔Tは、駆動間隔:T1<T11<T21<T2を満足する設定を実行することで、効率の良い座標入力装置を構成することができる。
【0142】
即ち、ペン入力モード(Mode=1)、近接入力モード(Mode=2)、遠隔入力2モード(Mode=4)、遠隔入力1モード(Mode=3)の順番で操作者が高速に入力をすることを考慮すると上記駆動間隔にすることで、座標入力ペン4の消費電力を抑えることができ、電源寿命の点で有利である。
【0143】
次に、検出回路側(本体側)での動作について、図15を用いて説明する。
【0144】
図15は本発明の実施形態1の座標入力装置の動作を説明するフローチャートである。
【0145】
まず、ステップS121の待機状態から、ステップS122で、検出センサ3が座標入力ペン4からの信号を検出したか否かを判定する。信号を検出していない場合(ステップS122でNO)、ステップS121に戻る。一方、信号を検出した場合(ステップS122でYES)、ステップS123に進み、座標入力ペン4の位置座標値(X,Y,Z)を算出する。
【0146】
次に、ステップS124で、駆動間隔T=T1であるか否かを判定する。T=T1でない場合(ステップS124でNO)、ステップS128に進む。一方、T=T1である場合(ステップS124でYES)、ステップS125に進み、駆動間隔T=T11であるか否かを判定する。T=T11でない場合(ステップS125でNO)、ステップS126に進み、Mode=1に設定して、ペン入力モードの動作を実行する。一方、T=T11である場合(ステップS125でYES)、ステップS127に進み、Mode=2に設定して、近接入力モードの動作を実行する。
【0147】
そして、ステップS133で、絶対座標値(X,Y)を出力する。
【0148】
一方、ステップS124において、T=T1でない場合、前回の座標算出サンプリングに計算した座標値X,Yとの差分値(相対座標)(ΔX,ΔY)を算出する。そして、ステップS129で、ステップS123で算出したZの値から、相対座標に対する倍率knをメモリに格納されたテーブル(図13)から算出する。
【0149】
次に、ステップS130で、駆動間隔T=T2であるか否かを判定する。T=T2である場合(ステップS130でYES)、ステップS131に進み、Mode=3に設定して、遠隔入力1モードの動作を実行する。一方、T=T2でない場合(ステップS130でNO)、ステップS132に進み、Mode=4に設定して、遠隔入力2モードの動作を実行する。
【0150】
そして、ステップS134で、相対座標値(knΔX,knΔY)を出力する。
【0151】
ここで、各動作モードとその動作モードに基づく位置座標の出力形式について説明する。
【0152】
まず、ペン先SW41がON状態の場合は、ペン入力モード(Mode=1)は、算出される座標値は絶対座標値(X,Y,0)であって、その値を直接外部機器に出力することで、操作者は筆記動作が可能となる。
【0153】
一方、ペン先SW41がOFF状態の場合は、少なくとも操作者によるXY平面内(Z=0)での座標入力が行われていない状態を意味するが、その場合であっても、画面上に表示されているカーソルを移動する等の動作を行えることが好ましい。そのため、ペン先SW41がON状態からOFF状態に遷移したときには、一定時間、ペン先SW41を座標入力面に押しつけなくても(ペン先SW41がON状態でなくても)座標の入力が可能な近接入力モード(Mode=2)を有している。
【0154】
さらに、実施形態1の座標入力装置は、座標入力面(XY平面)から離れて入力する(Z>0であることを示す)ことが可能であり、ペンサイドSW42aが押されることで遠隔入力1モード(Mode=3)、また、ペンサイドSW42a,ペンサイドSW42bが同時に押されることで、遠隔入力2モード(Mode=4)に設定されて、座標入力ペン4の動きによってカーソルを移動し、その移動状態を記録(筆跡)として残すことが可能となる。
【0155】
また、このような構成において、ペン入力モードはもちろんのこと、近接入力モードの場合には、本発明に於ける画面座標系から操作座標系への変換はほとんど不要である。そのため、遠隔入力モードの場合のみ上記座標変換演算を行うことにより、演算に於ける負荷を軽減することができる。あるいは、単純に、画面からの距離が一定以上の場合に上記座標変換演算を行ってもよい。
【0156】
以上説明したように、実施形態1によれば、操作者からの座標入力情報から、画面座標系の座標を算出し、この算出された座標から操作者の操作座標系の座標に変換し、その変換座標を画面上に出力する。これにより、操作者は遠隔入力の際、現状位置するカーソルの位置から、スムーズに所望の位置にカーソルを移動することが可能となる。しかも、操作時の姿勢向きによらず常に操作時の手の動作領域に基づいた平面座標上の操作として座標が変換され画面に表示されるので、遠隔操作であっても、操作感を向上させるとともに自然に文字を入力したり、図形を描画することができる。
【0157】
<実施形態2>
実施形態1に於いては、操作者の座標入力ペン4の音波発生源43の画面座標系の複数の位置座標(x,y,z)より、操作者の入力座標から操作座標系(X,Y,Z)に於ける操作者を基準とした操作座標入力面を算出し、常に入力位置座標が一定範囲の操作上の操作座標範囲においては同一操作座標入力平面に変換し、その操作座標範囲に入らない場合には新たに操作座標入力面の平面の算出を行い、この座標に変換する例について説明した。
【0158】
これに対して、実施形態2では、一旦、操作者の座標入力ペン4の音波発生源43の画面座標系の位置座標(x,y,z)より、操作者の入力座標から操作座標系(X,Y,Z)に於ける操作者を基準とした操作座標入力面を算出したら、ある一定時間内は、常にこの同一の操作座標入力面に座標変換し、一定時間を超えた時点で、再度新たに操作座標入力面の平面の算出を行いこの座標に変換する例について説明する。
【0159】
以下、実施形態2における座標算出演算処理について、図16を用いて説明する。
【0160】
図16は本発明の実施形態2の座標算出演算処理を示すフローチャートである。
【0161】
尚、図16のフローチャートにおいて、実施形態1の図12のフローチャートと同じ処理について、同じステップ番号を付加し、その説明については省略する。
【0162】
また、図16のフローチャートにおいても、図12のフローチャートと同様、平面式を算出するために、同一直線上に無い3点の座標を用いるので、この条件を満たす3点が揃うまで新たな平面算出を行わず従来の平面式を用いて座標変換する。
【0163】
図16では、ステップS1201で、画面座標系の入力座標(x,y,z)を算出後、ステップS1501で、Timer=0であるか否かを判定する。Timer=0でない場合(ステップS1501でNO)、ステップS1204に進む。一方、Timer=0である場合(ステップS1501でYES)、ステップS1203に進み、入力座標(x,y,z)に基づいて、平面式(8)(li+1X+mi+1Y+ni+1Z=p)を算出する。
【0164】
そして、ステップS1502で、Timer=set(一定時間)を設定する。この設定後、set(一定時間)からのデクリメントが開始される。
【0165】
以上説明したように、実施形態2によれば、画面座標系の位置座標(x,y,z)算出ごとに、その座標が判定式を満足しているか否かを毎回判定する必要がなくなるので、演算上の負荷を軽減することができる。また、Timerに設定する一定時間は、人間の操作上の動きと座標算出の繰り返しサンプリング周期との兼ね合いで、操作上違和感のない範囲で設定するが、操作者の好み或いは使用条件により変更できるようにしても良い。
【0166】
<実施形態3>
上記実施形態1、2においては、操作座標入力面を平面として算出する場合について説明した。この算出方法を採用する理由は、実使用上は、限られた領域に於ける動作をある平面上の動作としても特に不都合が生じるものではないことに起因する。これに対し、実施形態3では、操作動作をより忠実にある数値計算上の領域に再現させるために、操作者の腕の付け根である肩、あるいは肘を中心とした球面を算出し、この球面座標系(θ,φ)を用いて入力位置座標を出力する構成について説明する。
【0167】
これにより、より操作者の入力意思に沿った入力が可能となる。具体的には、例えば、図17に示すように球面座標を平面に投影することにより、従来の上記2次元平面座標に対する直交展開手法を適用してもよい。投影方法にはいくつかあるが、例えば、球面上で等間隔にサンプリングしたサンプリング結果を平面に投影してもよい。
【0168】
以下、実施形態3における座標算出演算処理について、図18を用いて説明する。
【0169】
図18は本発明の実施形態3の座標算出演算処理を示すフローチャートである。
【0170】
尚、図18のフローチャートにおいて、実施形態1及び2の図12及び図16のフローチャートと同じ処理について、同じステップ番号を付加し、その説明については省略する。
【0171】
ステップS1201、ステップS1501の処理後、まず、ステップS1801で、音波発生源43の画面座標系の位置座標(x,y,z)の複数点より、その点の性質より、予め、操作者の腕の付け根である肩あるいは肘を中心とした次の球面方程式(11)を算出する。但し、この球面方程式の算出で用いる音波発生源43の画面座標系の位置座標(x,y,z)は、少なくとも4点で、かつこの4点の内1点は同一平面上に無いことが条件となる。
【0172】
(x−a)2+(y−b)2+(z−c)2=r2 (11)
ここで、中心は(a,b,c)、半径:rである。
【0173】
従って、半径rは、予め平均的な人間の手から腕の付け根である肩あるいは肘までの長さを入力しておけば、より、効率的に球面方程式(11)を算出することができる。更には、個々人の手から腕の付け根である肩あるいは肘までの長さを任意に入力できるようにしても良い。
【0174】
そして、次に、ステップS1802で、画面座標系の音波発生源43の位置座標(x,y,z)を球面方程式(11)に対応した球面座標系(θ,φ)に座標変換を行う。具体的には、簡単のために球の中心(a,b,c)を原点と考えると、以下のような変換を実行する。
【0175】
θ=tan−1((y−b)/(x−a)) (12)
φ=sin−1((z−c)/r) (13)
ここで、r2=x2+y2+z2である。
【0176】
次に、ステップS1803で、この球面座標系に変換された座標(θ,φ)を、ある間隔にサンプリングしたサンプリング領域に分割する。このサンプリング領域は、ある一定時間に座標入力される範囲で決定してもよいし、予め球表面領域の分割数を決めておいても良い。
【0177】
尚、サンプリング領域への分割数が多くなると演算負荷が大きく、また、分割数が少なくなると描画された曲線が直線に補正される効果が小さくなり歪みが大きくなるので、実際に操作する条件により最適な分割数を選択する。また、分割数を操作するサンプリング領域により変動させてもよい。
【0178】
そして、ステップS1804で、音波発生源43の位置座標が属するその球面上のサンプリング領域の中心と接するような平面105’として、l’X+m’Y+n’Z=p’を算出する。
【0179】
次に、ステップS1502の処理後、ステップS1805で、そのサンプリング領域範囲内の音波発生源43の位置座標を球面方程式(11)の中心(a,b,c)を中心にして、平面105’に投影することにより、球面座標系(θ,φ)(曲座標系)での座標を直交座標系での座標(x’,y’,z’)に座標変換する。
【0180】
この時点で、図17で示されるように、画面102に対して斜めに対する操作者、あるいは画面に対して正面に対していても、画面102に対して斜め方向に指示を行う場合、操作者の腕あるいは肘を中心に操作者による直線列の意図で入力した座標列(軌跡)106は、最初に検出される画面座標系では、図17で示すような曲面105’’上の操作者の腕あるいは肘を中心とした曲線として座標が検出されるが、直交座標系での座標(x’,y’,z’)においては直線列106’を形成する。
【0181】
従って、この座標(x’,y’,z’)を画面102に表示すれば、操作者の意図により沿った座標検出及び操作が可能となる。
【0182】
また、望ましくは、ステップS1806で、実施形態1や2と同様に、この直交座標系の座標(x’,y’,z’)を投影平面105’(l’X+m’Y+n’Z=p’)に座標変換して、ステップS1807で、その変換後の座標(X,Y,Z)を出力しても良い。
【0183】
具体的には、投影平面105’の画面座標系に対する角度に関し、x軸及びy軸に関し回転による変換を行うのは、実施形態1と同じである。画面102に表示される座標は、2次元座標としての座標(X,Y)であるが、これにより、上記曲線補正の効果に増して、実施形態1で示したように操作者が表示装置101に対し斜め方向から入力する場合の画面102と操作面105’との角度の影響を軽減することができる。
【0184】
尚、実施形態3では、球面座標に基づいて座標変換を行ったが、円筒座標に基づいて座標変換を行っても良い。
【0185】
また、以上の実施形態以外の演算に於いても、最終的に出力する表示画面がもつ座標系に基づいて算出された入力指示部の座標を最終的にその操作入力作業を行う領域に於ける座標系に座標変換手段を設けるのであれば、上述の座標変換手段に限定されるものではない。
【0186】
以上説明したように、実施形態3によれば、操作者の腕の付け根である肩、あるいは肘を中心とした球面を算出し、この球面座標系(θ,φ)を用いて入力位置座標を出力することで、操作動作をより忠実に再現できる座標入力を行うことができる。
【0187】
尚、上記実施形態1〜3では、操作座標入力面の平面の算出、及び、画面座標系に基づいて算出された入力指示部の座標からこの操作座標系への変換を座標入力装置内の演算制御回路で処理する構成としたが、これに限定されない。
【0188】
例えば、座標入力装置と、その座標及び他の情報処理装置からの画像を表示する表示装置部分が別体で構成され、座標入力装置からは画面座標系に基づいて算出された入力指示部の座標のみを出力し、表示装置が接続された情報処理装置側の演算制御回路で、その座標情報を受信し、操作座標入力面の平面の算出、及び、画面座標系に基づいて算出された入力指示部座標の操作座標系への変換を行う構成としても良い。
【0189】
以上説明したように、上記実施形態1〜3によれば、操作者は遠隔入力の際、現状位置するカーソルの位置から、スムーズに所望の位置にカーソルを移動することが可能となる。
【0190】
また、操作時の姿勢向きによらず常に操作時の手の動作領域に基づいた座標上の操作として座標が変換され画面に表示されるので、遠隔操作であっても、操作感を向上させるとともに画面に対して斜め方向で入力した場合の歪みがなく、また、人間が空中で大きな描画動作を行う場合の手の動線で、本来直線を意図した場合の曲線化を防ぐことができ、自然に文字を入力したり、図形を描画したりすることが可能となる。
【0191】
更に、座標変換に用いる面は、実際に操作者が指示する複数の座標に基づいて算出しているので、より、操作者の指示動作に忠実にしかも自然な操作性を向上させることができる。
【0192】
以上説明した実施形態1〜3における、座標入力装置は、パーソナルコンピュータ等の情報処理装置でもって実現できるし、その機能を実現する手順としての方法の発明として捉えることができる。また、コンピュータにより実現できるわけであるから、本発明はそれぞれの装置で実行されるコンピュータプログラム、更には、そのコンピュータプログラムを格納し、コンピュータが読み込めるCD−ROM等のコンピュータ可読記憶媒体にも適用できるのは明らかであろう。
【0193】
従って、上記実施形態1〜3に係る実施態様を列挙すると、次の通りである。すなわち、座標入力装置及びその制御方法、プログラム、情報処理装置及びその制御方法、プログラムは、次のようになる。
【0194】
[実施態様1]
座標入力指示具の位置座標を算出する座標入力装置であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出手段と、
前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標を出力する出力手段と
を備えることを特徴とする座標入力装置。
【0195】
[実施態様2]
前記検出手段で検出する複数の座標に基づいて、前記操作座標入力面を算出する操作座標入力面算出手段を更に備え、
前記座標変換手段は、前記検出手段で検出された座標を、前記操作座標入力面算出手段により算出された操作座標入力面の座標に変換する
ことを特徴とする実施態様1に記載の座標入力装置。
【0196】
[実施態様3]
前記操作座標入力面算出手段は、一定時間ごとに前記操作座標入力面の算出を実行して、該操作座標入力面を更新する
ことを特徴とする実施態様2に記載の座標入力装置。
【0197】
[実施態様4]
前記操作座標入力面は、前記操作者の腕の入力動作に基づく球面座標である
ことを特徴とする実施態様2に記載の座標入力装置。
【0198】
[実施態様5]
前記座標入力指示具は、超音波を発振する駆動回路を備え、
前記検出手段は、前記固定座標入力面の周辺部に設けられた複数の振動検出手段であり、前記駆動回路から発生した超音波を前記複数の振動検出手段が受信した受信タイミングに基づいて、前記座標入力指示具により指示された座標を検出する
ことを特徴とする実施態様1に記載の座標入力装置。
【0199】
[実施態様6]
前記固定座標入力面から前記操作者までの距離が一定距離以上の場合に、前記座標変換手段は、前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する
ことを特徴とする実施態様1に記載の座標入力装置。
【0200】
[実施態様7]
前記操作座標入力面は、前記出力手段によって出力される座標を表示する表示画面との位置関係により決定される
ことを特徴とする実施態様1に記載の座標入力装置。
【0201】
[実施態様8]
前記検出手段は、前記出力手段によって出力される座標を表示する表示装置を基準とする座標系に基づいて、前記固定座標入力面に対して前記座標入力指示具により指示された座標を検出する
ことを特徴とする実施態様1に記載の座標入力装置。
【0202】
[実施態様9]
座標入力装置から出力される座標情報を処理する情報処理装置であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信手段と、
前記座標情報を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標を出力する出力手段と
を備えることを特徴とする情報処理装置。
【0203】
[実施態様10]
座標入力指示具の位置座標を算出する座標入力装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程と、
前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程と、
前記座標変換工程によって変換された座標を出力する出力工程と
を備えることを特徴とする座標入力装置の制御方法。
【0204】
[実施態様11]
座標入力装置から出力される座標情報を処理する情報処理装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程と、
前記座標情報を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程と、
前記座標変換工程によって変換された座標を出力する出力工程と
を備えることを特徴とする情報処理装置の制御方法。
【0205】
[実施態様12]
座標入力指示具の位置座標を算出する座標入力装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程のプログラムコードと、
前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程のプログラムコードと、
前記座標変換工程によって変換された座標を出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【0206】
[実施態様13]
座標入力装置から出力される座標情報を処理する情報処理装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程のプログラムコードと、
前記座標情報を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程のプログラムコードと、
前記座標変換工程によって変換された座標を出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【0207】
<実施形態4>
実施形態4では、別の観点による座標算出処理について説明する。
【0208】
まず、操作者の画面に対する位置座標から、この位置に対応する操作座標系(X,Y,Z)に於ける操作者を基準とした操作座標入力面を算出する。
【0209】
実施形態4では、図19に示すように、操作者が、画面102に向かって、ある入力動作を行う場合、操作者が通常画面の中心Oに向かって操作するモデルが最も典型的な考え方である。まず、操作者の位置の検出においては、この場合、操作者が指示動作を行う座標入力ペン4の音波発生源43の画面座標系(x,y,z)の位置座標がそのまま、おおよそ操作者の画面の原点Oに対する位置を表しているので、ここでは、座標入力ペン4の音波発生源43≒操作者の位置と解することができる。
【0210】
そして、画面102の中心を原点Oとする図19に破線で示されるような球面座標系(θ,φ)を想定する。座標入力ペン4による指示点である音波発生源43の位置(≒操作者の位置)を、点P(x1,y1,z1)107とすると、典型的な操作座標入力面105は、図19に示すように、この点P107を通る球面座標系(θ,φ)における球面に点Pで接する平面であることがわかる。このようにして求められる平面は、操作者の実際の入力状態及び向きを的確に表していると言える。
【0211】
従って、実施形態4においても、音波発生源43の画面座標系(x,y,z)の位置座標から、この位置に対応する操作座標系(X,Y,Z)における操作者を基準とした操作座標入力面105を、平面式(8)で算出する。
【0212】
ここで、
l=x1/(x12+y12+x12)1/2
m=y1/(x12+y12+x12)1/2
n=z1/(x12+y12+x12)1/2
p=(x12+y12+x12)1/2 (14)
となる。
【0213】
従って、実施形態4の演算制御回路1での演算上は、概念的に球面座標系(θ,φ)における球面の算出過程を経ることなく、座標入力ペン4による指示点である音波発生源43の位置点P(x1,y1,z1)が検出されれば操作座標入力面105が算出される。つまり、式(14)の4つの式によりなる関数により、画面座標系の点P(x1,y1,z1)から操作座標入力面105の係数l、m、n、pが算出され、操作座標入力面105が算出される。
【0214】
そして、次に、画面座標系の音波発生源43の位置座標(x,y,z)を、算出した操作座標系(X,Y,Z)に座標変換を行う。そして、画面102には変換後の座標(X,Y,Z)の内、画面座標系の内実際に表示される2次元座標系(x,y)に対応する座標(X,Y)を出力表示する。
【0215】
操作者は、常に同一箇所、同一姿勢で座標入力ペン4で指示を継続するわけではなく、状況に応じて移動して入力するので、その状況の変化に追随するためにも、毎回座標検出ごとに操作座標入力面の平面式を求め、座標変換を行う。
【0216】
但し、毎回平面式を算出する際の演算の負荷の軽減、及び、座標ごと変換すべき平面が変化することによる連続性の欠落を避けるために、一旦、操作座標入力面の平面式を算出したら、それ以後常、に入力座標がその平面式上に存在するかを判定し、もし、その平面上から外れた点が検出された時点で、新たな平面式を算出してもよい。
【0217】
つまり、実際には、操作者の指示位置である音波発生源43の画面座標系の位置座標(x,y,z)は、誤差が含まれ、更に操作者は、常に正確な同一平面上の座標を指示入力するわけではなく、同一操作動作に於ける一連の動線上の6点によりなる2組から上記平面式を算出しても、必ず同一の平面が求まるとは限らない。従って、実施形態4においても、更に、以下の様なある一定の範囲の操作上の座標範囲においては同一平面に変換されるような演算手法を採用する。
【0218】
そして、入力座標に一定の幅を持たせるために、上述の判定式(9)によって、入力座標がその平面式上に存在するかどうかを判定する。
【0219】
この判定式(9)は、幾何学的には、画面座標系における入力座標が、平面式(8)を基準として、原点からの距離にして±αの範囲に入っているかどうかの判定を意味する(図20)。従って、多少の操作者の操作上のぶれ等は吸収して、同一の操作座標入力面の座標に変換されるので、演算面での負担が軽減される。
【0220】
尚、実施形態4の座標算出演算処理は、実施形態1の図12に準ずるが、実施形態4では、操作者の画面102に対する位置を球面座標系(θ,φ)における位置であるとして、操作座標入力面105を算出することになる。また、より演算上の負荷を軽減するために、y軸を中心とした円筒座標系で操作者の画面102に対する位置を想定し、操作座標入力面105を算出して、その後、座標変換を行うようにしても良い。
【0221】
特に、円筒座標系の入力位置から操作座標入力面105を算出した場合、具体的に行う演算処理としては、上述の(10)式で示す行列表現となる。
【0222】
尚、操作座標入力面の傾きはY軸に関する回転としたが、実際会議等で想定される画面102と操作者との位置関係からすると、Y軸に関する傾きに関する写像変換でほとんどの操作者の描画情報の補正はカバーされる。しかし、より厳密に補正を行う場合には、球面座標系の操作者の位置を基に操作座標平面105を算出し、X軸に関する回転を合わせ考慮して座標変換を行っても良い。
【0223】
以上説明したように、実施形態4によれば、操作者からの座標入力情報から、画面座標系の座標を算出し、この算出された座標から操作者の操作座標系の座標に変換し、その変換座標を画面上に出力する。これにより、操作者は遠隔入力の際、現状位置するカーソルの位置から、スムーズに所望の位置にカーソルを移動することが可能となる。しかも、操作時の姿勢向きによらず常に操作時の手の動作領域に基づいた平面座標上の操作として座標が変換され画面に表示されるので、遠隔操作であっても、操作感を向上させるとともに自然に文字を入力したり、図形を描画したりすることができる。
【0224】
<実施形態5>
実施形態4における座標算出演算処理に対し、実施形態2の図16を適用しても良い。これにより、実施形態2と同様、演算上の負荷を軽減することができる。
【0225】
<実施形態6>
実施形態4や5においては、操作者の座標入力ペン4による入力における音波発生源43の画面座標系の位置座標(x,y,z)より操作者の位置を特定し、この各々の位置に対応した操作座標系(X,Y,Z)における操作者を基準とした操作座標入力面を算出したが、図21に示すように、操作者の操作入力範囲を予めいくつかの操作領域として分割しておき、上記操作者位置とその位置に採用する典型的な操作座標入力面との対応関係を、操作領域ごとに定められることとしても良い。
【0226】
図21は、表示装置101の画面102の全面に立つ操作者による座標入力ペン4の操作入力範囲に於いて、画面102の中心を原点とする直交3次元座標軸をとった場合のx−z座標でのx軸と、原点Oから座標入力ペン4による入力位置である音波発生源43の線分の成す各度により領域を分割した場合を示している。
【0227】
この図21を用いて具体的に説明を行うと、画面102に対して正面方向(x軸に対して90°を中心に±∠161(=∠162))に位置する領域である領域16−1内における操作者の座標入力ペン4による入力に対してはすべて、操作座標入力面は、画面102に平行な105−16−1に割り付けられる(画面からの距離に関しては、実施形態6で検出に用いる超音波の性質上制限があり、それは、ダイナミックレンジ、S/N等の要因から自ずと決まってくるが、ここでは説明上考えないことにする)。
【0228】
更に、その隣のやや角度を持った∠163の角度範囲の領域16−2−1内の入力に対しては、X軸に対して∠161+∠163/2だけ角度を持つ平面105−16−2−1が操作座標入力面となる。
【0229】
更に、その隣の角度を持った∠165の角度範囲の領域16−3−1内の入力に対しては、X軸に対して∠161+∠163+∠165/2だけ角度を持つ平面105−16−3−1が操作座標入力面となる。
【0230】
これらの、Z軸に対し対称領域16−2−2、16−3−2も同様にその領域が存在する領域に対して中間の角度を持つ平面を操作座標入力面として割り付ける。
【0231】
以上の領域は、説明のために、画面102の正面方向を基準として角度別に5つの領域を設けたが、角度の区分は更に細かくてもよいし、もっと、大まかにしても良い。更に、図21では、XZ座標系の2次元座標上での領域分割を行ったが、3次元座標上で領域を分割しても良い。また、各領域に割り付けられる操作座標入力面は、必ずしも中間の角度ではなくとも実際に自然な操作感が得られるような代表面に設定しても良い。
【0232】
そして、これらの領域に関する領域情報は、各領域ごとに一つの操作座標入力面105が予め前記演算制御回路1のメモリ内にテーブルとして格納されており、操作者の入力位置により、音波発生源43のXZ座標によりその属する領域が判定される。次に、その領域に対応する操作座標入力面105が割り付けられ、この画面座標系の位置座標(x,y,z)は、その操作座標入力面105により形成される操作座標系(X,Y,Z)に座標変換される。そして、画面102には、変換後の座標(X,Y,Z)の内、画面座標系の内、実際に表示される2次元座標系(x,y)に対応する座標(X,Y)を出力表示する。
【0233】
以上説明したように、実施形態6によれば、各領域ごとにまとめて座標変換を行うので、操作座標入力面105の算出を各入力点ごとに行う場合に比べて、演算の負荷を軽減することができる。これにより、サンプリングスピードを低下させることなく、かつ操作者の入力場所に応じて的確な座標変換を行うので、自然な操作感を得ることができる。
【0234】
<実施形態7>
上記実施形態4〜6においては、操作者の位置の検出は、即ち、操作者が使用する座標入力ペン4の音波発生源43の位置を検出することで実現したが、実際に操作者の入力動作はその操作者の腕の動きであるから、腕の先の手の動きよりも、腕の付け根、つまり、操作者の胴体部分の位置の方が動きが少ないが位置としては安定しており、一連の操作において代表的な操作座標系の基となる座標としては適していると考えられる。
【0235】
従って、操作者自身の胴体の一部、例えば、胸のポケット、肩、首、ベルト、更には人間の視点の近くの頭部、めがね等に、図22に示すような操作者の位置を特定するための発信機171を取り付ける。一方、表示装置101には、その発信機171からの信号を検出する位置検出器172を取り付け、位置検出器172で発信機171の位置を検出し、その操作者自身の位置をもとに操作座標入力面の平面の算出を行い、この平面座標に変換してもよい。
【0236】
操作座標入力面の算出及び座標変換は、用途や目的に応じて上記実施形態の各実施形態で説明される方法を使用すれば良い。
【0237】
尚、発信機171及び位置検出器172の検出方式は、超音波方式、光学方式、無線方式等の操作者の位置を検出できるものなら、特に、その検出方式が制限されるものではなく、発信機171と位置検出器172の配置関係を逆にしてもよい。
【0238】
以上説明したように、実施形態7によれば、操作者と座標入力装置の位置関係を、それぞれに取り付けられた発信機171及び位置検出器172によって検出するので、操作座標入力面の算出に係る負荷を軽減することができる。
【0239】
尚、上記実施形態4〜7では、操作座標入力面として平面を扱ってきたが、平面に限らず、操作者の入力動作面を的確に表す曲面であってもよいことは言うまでもない。
【0240】
また、上記実施形態4〜7では、入力位置を含む操作者位置から操作座標入力面の算出あるいは対応付け、及び、画面座標系に基づいて算出された入力指示部の座標からこの操作座標系への変換を座標入力装置内の演算制御回路で処理する構成としたが、これに限定されない。
【0241】
例えば、座標入力装置とその座標及び他の情報処理装置からの画像を表示する表示装置部分が別体で構成され、座標入力装置からは画面座標系に基づいて算出された入力指示部の座標のみを出力し、表示装置が接続された情報処理装置側の演算制御回路で、その座標情報を受信し、入力位置を含む操作者位置と操作座標入力面の算出あるいは対応付け、及び、画面座標系に基づいて算出された入力指示部座標の操作座標系への変換を行う構成としても良い。
【0242】
以上説明したように、実施形態4〜7によれば、操作者は遠隔入力の際、現状位置するカーソルの位置から、スムーズに所望の位置にカーソルを移動することが可能となる。また、更には、予め操作者位置とその位置に採用する典型的な操作座標入力面との対応関係のテーブルあるいは関数を定めておくことで、操作座標入力面に係わる演算面での負荷が大きく増加しないのでサンプリングスピードを落すことなく、操作者は遠隔入力の際、現状位置するカーソルの位置から、スムーズに所望の位置にカーソルを移動することが可能となる。
【0243】
また、操作時の姿勢向きによらず常に操作時の手の動作領域に基づいた座標上の操作として座標が変換され画面に表示されるので、遠隔操作であっても、操作感を向上させるとともに画面に対して斜め方向で入力した場合の歪みがなく、また、人間が空中で大きな描画動作を行う場合の手の動線で、本来直線を意図した場合の曲線化を防ぐことができ、自然に文字を入力したり、図形を描画したりすることが可能となる。
【0244】
以上説明した実施形態4〜7における、座標入力装置は、パーソナルコンピュータ等の情報処理装置でもって実現できるし、その機能を実現する手順としての方法の発明として捉えることができる。また、コンピュータにより実現できるわけであるから、本発明はそれぞれの装置で実行されるコンピュータプログラム、更には、そのコンピュータプログラムを格納し、コンピュータが読み込めるCD−ROM等のコンピュータ可読記憶媒体にも適用できるのは明らかであろう。
【0245】
従って、上記実施形態4〜7に係る実施態様を列挙すると、次の通りである。すなわち、座標入力装置及びその制御方法、プログラム、情報処理装置及びその制御方法、プログラムは、次のようになる。
【0246】
[実施態様14]
座標入力指示具の位置座標を算出する座標入力装置であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出手段と、
前記座標入力指示具の操作者の位置を検出する位置検出手段と、
前記位置検出手段で検出された位置に基づいて、前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標を出力する出力手段と
を備えることを特徴とする座標入力装置。
【0247】
[実施態様15]
前記操作者の位置とその位置に採用する典型的な操作座標入力面との対応関係を示す対応情報を記憶する記憶手段と、
前記座標変換手段は、前記検出手段で検出された座標を、前記対応情報を参照して得られる前記位置検出手段で検出された位置に対応する操作座標入力面の座標に変換する
ことを特徴とする実施態様14に記載の座標入力装置。
【0248】
[実施態様16]
前記対応情報は、操作入力範囲を予めいくつかの操作領域として分割された操作領域毎の、前記操作者の位置とその位置に採用する典型的な操作座標入力面との対応関係を示す情報である
ことを特徴とする実施態様15に記載の座標入力装置。
【0249】
[実施態様17]
前記座標入力指示具は、超音波を発振する駆動回路を備え、
前記検出手段は、前記固定座標入力面の周辺部に設けられた複数の振動検出手段であり、前記駆動回路から発生した超音波を前記複数の振動検出手段が受信した受信タイミングに基づいて、前記座標入力指示具により指示された座標を検出する
ことを特徴とする実施態様14に記載の座標入力装置。
【0250】
[実施態様18]
前記固定座標入力面から前記操作者までの距離が一定距離以上の場合に、前記座標変換手段は、前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する
ことを特徴とする実施態様14に記載の座標入力装置。
【0251】
[実施態様19]
前記操作座標入力面は、前記出力手段によって出力される座標を表示する表示画面との位置関係により決定される
ことを特徴とする実施態様14に記載の座標入力装置。
【0252】
[実施態様20]
前記検出手段は、前記出力手段によって出力される座標を表示する表示装置を基準とする座標系に基づいて、前記固定座標入力面に対して前記座標入力指示具により指示された座標を検出する
ことを特徴とする実施態様14に記載の座標入力装置。
【0253】
[実施態様21]
座標入力装置から出力される座標情報を処理する情報処理装置であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信手段と、
前記座標情報に含まれる前記座標入力指示具の操作者の位置に基づいて、該座標情報中の座標を前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標を出力する出力手段と
を備えることを特徴とする情報処理装置。
【0254】
[実施態様22]
座標入力指示具の位置座標を算出する座標入力装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程と、
前記座標入力指示具の操作者の位置を検出する位置検出工程と、
前記位置検出工程で検出された位置に基づいて、前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程と、
前記座標変換工程によって変換された座標を出力する出力工程と
を備えることを特徴とする座標入力装置の制御方法。
【0255】
[実施態様23]
座標入力装置から出力される座標情報を処理する情報処理装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程と、
前記座標情報に含まれる前記座標入力指示具の操作者の位置に基づいて、該座標情報中の座標を前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程と、
前記座標変換工程によって変換された座標を出力する出力工程と
を備えることを特徴とする情報処理装置の制御方法。
【0256】
[実施態様24]
座標入力指示具の位置座標を算出する座標入力装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程のプログラムコードと、
前記座標入力指示具の操作者の位置を検出する位置検出工程のプログラムコードと、
前記位置検出工程で検出された位置に基づいて、前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程のプログラムコードと、
前記座標変換工程によって変換された座標を出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【0257】
[実施態様25]
座標入力装置から出力される座標情報を処理する情報処理装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程のプログラムコードと、
前記座標情報に含まれる前記座標入力指示具の操作者の位置に基づいて、該座標情報中の座標を前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程のプログラムコードと、
前記座標変換工程によって変換された座標を出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【0258】
<実施形態8>
実施形態8では、図23及び図24に示すように、操作者107を基準として、操作座標入力面105に描画された線106の投影像を表示装置101の画面102に投影像106−3として表示する構成としてもよい。
【0259】
このような座標計算は、演算制御回路1内で演算してもよいし、演算制御回路1から出力された座標を不図示の出力手段内の演算回路で計算しても良い。図23及び図24には、同時に、従来例の座標変換を行わず画面座標系で求めた座標に基づいた場合の投影像106−1、及び上記実施形態4に於いて説明した軌跡106の投影像106−2の表示描画状態もあわせて示している。
【0260】
尚、投影像の演算は、簡便にするため、実施形態の座標変換後の座標に対して、操作者107と表示装置101の画面102の位置の関係に応じた倍率を乗じて表示しても良いし、厳密に、操作者の位置を基準とした操作座標入力面105に描画された線等の軌跡(描画座標)106の画面102に対する投影像106−2となる演算を行っても良い。
【0261】
いずれの場合にも、操作者の位置の検出が必要となる。操作者の位置の検出は、倍率計算をする場合には、操作者が使用する座標入力ペン4の音波発生源43の位置の検出により、固定座標入力面である画面102を基準とした入力位置に応じて、簡便に演算を行うことができる。また、実施形態7のように、操作者と座標入力装置それぞれに発信機171及び位置検出器172を取り付けて、操作者の位置を検出しても良い。尚、実際の投影像は操作者の視点の位置が基準になることから、実施形態8の場合、発信機171は、操作者の頭部の近くの、例えば、眼鏡等に取り付けることが好ましい。
【0262】
以上説明したように、実施形態8によれば、操作座標入力面の座標を該操作者の位置を基準とした固定座標入力面への投影画像を表示装置に表示することにより、操作者から見た表示装置における入力文字、図形等の描画形状は、入力位置によらず上記固定座標入力面に常に視覚上同一に保たれて表示される。これにより、表示装置の画面と操作者との位置関係によらず操作者は自分の座標入力情報を紙に書くような感覚で、離れた位置からでも自然な感覚で確認しながら操作できる。
【0263】
尚、実施形態8に於いての投影画像表示は、操作者の入力操作性における効果を目的としたものである。そのため、場合によっては、操作者以外の会議参加者から上記画面の表示を見た場合、特に、例えば、操作者が斜めから入力操作をして、他の参加者が正面から表示を見ている場合、正面からの参加者には、逆に表示が歪んで見えるという場合も考えられる。
【0264】
従って、操作者の位置を基準とした操作座標入力面の座標系による座標を表示する第1表示モードと、表示装置102に基づく座標系による座標を表示する第2表示モードを設け、例えば、操作入力時には第1表示モード、そして、操作入力時が終了した場合には、自動的に第2モードに切り替わる構成としても良い。
【0265】
あるいは、異なる表示領域に同時に第1及び第2表示モードを表示する構成としても良いし、両モードを任意に切り替える切り替え手段を設けても良い。これにより、操作者のみならず、本発明の情報処理装置を用いた会議の参加者全員が、効率良く会議を行うことができる。
【0266】
<実施形態9>
上記実施形態によれば、操作者からの文字、描画等の入力情報は、操作者の位置から見て自然で忠実な形状、サイズでフィードバックされる。ここで、本発明の座標入力装置で用いる表示装置101は比較的大型のものを対象している。従って、実施形態9では、大型の表示領域において、操作者からの入力情報を表示する領域に対しても、操作者の操作位置に応じて制御される構成について説明する。
【0267】
具体的には、図25に示すように、操作者108が操作座標入力面105に描いた線等の描画座標106は、例えば、表示装置101の画面102に向かって右側の領域で描画座標106−4を入力した場合には、画面102の右側の領域に座標変換後に106−4’として表示される。一方、表示装置101の画面102に向かって左右側の領域で描画座標106−5を入力した場合には、画面102の左側の領域に座標変換後に106−5’として表示される。
【0268】
これは、操作者108にとって比較的近い領域に描画のフィードバック情報が表示される方が、操作者108にとって見やすいことを考慮して表示領域の制御を行った場合である。
【0269】
逆に、操作者108以外の会議参加者の表示情報の見やすさを考慮して、操作者の操作位置から遠い表示領域に表示する表示手段を設けても良い。
【0270】
実施形態9に於いても、操作者の位置検知が重要となるが、その検知方法に関しては、実施形態8と同様であるのでここでは説明を省略する。
【0271】
また、この操作者の位置と表示装置101の画面102内の表示領域の関連付けは、例えば、操作者の操作領域を画面102の中心を原点とし、操作位置と原点より成す線分と画面102との成す角度に対する関数としてもよいし、操作者の操作領域を数領域に区分し、各領域ごとの操作位置と表示領域とを予めテーブルで関連付けてもよい。
【0272】
以上説明したように、実施形態9によれば、実施形態8で説明した効果に加えて、操作入力情報がより自然で分かりやすく表示された上に、更に表示領域においても適切な領域に表示されるので、より操作性を増すことができる。
【0273】
尚、上記実施形態8、9では、操作座標入力面として平面を扱ってきたが、平面に限らず、操作者の入力動作面を的確に表す曲面であってもよいことは言うまでもない。
【0274】
また、上記実施形態8、9では、入力位置を含む操作者位置から操作座標入力面の算出あるいは対応付け、及び画面座標系に基づいて算出された入力指示部の座標からこの操作座標系への変換を座標入力装置内の演算制御回路或いは一体的に構成される表示装置に附随する表示手段で処理する構成としたが、これに限定されない。
【0275】
例えば、座標入力装置とその座標及び他の情報処理装置からの画像を表示する表示装置部分が別体で構成され、座標入力装置からは画面座標系に基づいて算出された入力指示部の座標のみを出力し、表示装置が接続された情報処理装置側の表示手段としての演算制御回路で、その座標情報を受け取り、入力位置を含む操作者位置と操作座標入力面の算出あるいは対応付け、及び画面座標系に基づいて算出された入力指示部座標の操作座標系への変換、更にその他の表示制御処理を行う構成としても良い
以上説明したように、実施形態8、9によれば、操作時の姿勢向きによらず常に操作時の手の動作領域に基づいた座標上の操作として座標が変換され画面に表示されるので、遠隔操作であっても、操作感を向上させるとともに画面に対して斜め方向で入力した場合の歪みがなく、また、人間が空中で大きな描画動作を行う手の動線で、本来直線を意図した場合の曲線化を防ぐことが出来、自然に文字を入力したり、図形を描画したりすることが可能となる。
【0276】
更に、操作座標入力面の座標を該操作者の位置を基準とした固定座標入力面への投影画像を表示装置に表示することにより、操作者から見た表示装置における入力文字、図形等の描画形状は、入力位置によらず上記固定座標入力面に常に視覚上同一に保たれ表示されるので、表示装置の画面と操作者との位置関係によらず操作者は自分の座標入力情報を紙に書くような感覚で、離れた位置からでも自然な感覚で確認しながら操することが作できる。
【0277】
以上説明した実施形態8、9における、座標入力装置は、パーソナルコンピュータ等の情報処理装置でもって実現できるし、その機能を実現する手順としての方法の発明として捉えることができる。また、コンピュータにより実現できるわけであるから、本発明はそれぞれの装置で実行されるコンピュータプログラム、更には、そのコンピュータプログラムを格納し、コンピュータが読み込めるCD−ROM等のコンピュータ可読記憶媒体にも適用できるのは明らかであろう。
【0278】
従って、上記実施形態8、9に係る実施態様を列挙すると、次の通りである。すなわち、座標入力装置及びその制御方法、プログラム、情報処理装置及びその制御方法、プログラムは、次のようになる。
【0279】
[実施態様26]
座標入力指示具の位置座標を算出する座標入力装置であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出手段と、
前記固定座標入力面に一体的に構成される表示部を有する表示手段と、
前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標に基づいて、画像情報を前記表示部に出力する表示制御手段と
を備えることを特徴とする座標入力装置。
【0280】
[実施態様27]
前記表示制御手段は、前記固定座標入力面を基準とする前記操作者の位置に基づいて、前記検出手段で検出された座標の表示寸法及び形状を変化させて前記表示部に表示する
ことを特徴とする実施態様26に記載の座標入力装置。
【0281】
[実施態様28]
前記表示制御手段は、前記操作者から見た前記表示装置における画像の描画形状を、該操作者の位置によらず前記固定座標入力面に常に視覚上同一に保たって表示する
ことを特徴とする実施態様27に記載の座標入力装置。
【0282】
[実施態様29]
前記操作者の位置を検出する位置検出手段を更に備え、
前記表示制御手段は、前記操作座標入力面の座標を前記操作者の位置を基準とした前記固定座標入力面への投影画像を前記表示部に表示する
ことを特徴とする実施態様27に記載の座標入力装置。
【0283】
[実施態様30]
前記位置検出手段が検出する前記操作者の位置は、該操作者の眼の位置である
ことを特徴とする実施態様29に記載の座標入力装置。
【0284】
[実施態様31]
前記表示部に基づく座標系による座標を表示する第1表示モードと、前記操作者の位置を基準とした操作座標入力面の座標系による座標を表示する第2表示モードの2つの表示モードを有し、
前記表示制御手段は、前記第1及び第2表示モードを選択的に使用する
ことを特徴とする実施態様26に記載の座標入力装置。
【0285】
[実施態様32]
前記座標入力指示具は、超音波を発振する駆動回路を備え、
前記検出手段は、前記固定座標入力面の周辺部に設けられた複数の振動検出手段であり、前記駆動回路から発生した超音波を前記複数の振動検出手段が受信した受信タイミングに基づいて、前記座標入力指示具により指示された座標を検出する
ことを特徴とする実施態様26に記載の座標入力装置。
【0286】
[実施態様33]
前記固定座標入力面から前記操作者までの距離が一定距離以上の場合に、前記座標変換手段は、前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する
ことを特徴とする実施態様26に記載の座標入力装置。
【0287】
[実施態様34]
前記操作座標入力面は、前記表示部との位置関係により決定される
ことを特徴とする実施態様26に記載の座標入力装置。
【0288】
[実施態様35]
前記検出手段は、前記表示部を基準とする座標系に基づいて、前記固定座標入力面に対して前記座標入力指示具により指示された座標を検出する
ことを特徴とする実施態様26に記載の座標入力装置。
【0289】
[実施態様36]
座標入力指示具の位置座標を算出する座標入力装置であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出手段と、
前記固定座標入力面に一体的に構成される表示部を有する表示手段と、
前記操作者から見た前記表示装置における画像の描画形状を、該操作者の位置によらず前記固定座標入力面に常に視覚上同一に保たって表示するように、前記固定座標入力面を基準とする前記操作者の位置に基づいて、前記検出手段で検出された座標の表示寸法及び形状を変化させて前記表示部に出力する表示制御手段と
を備えることを特徴とする座標入力装置。
【0290】
[実施態様37]
座標入力装置から出力される座標情報を処理する情報処理装置であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信手段と、
前記固定座標入力面に一体的に構成される表示部を有する表示手段と、
前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標に基づいて、画像情報を前記表示部に出力する表示制御手段と
を備えることを特徴とする情報処理装置。
【0291】
[実施態様38]
座標入力装置から出力される座標情報を処理する情報処理装置であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信手段と、
前記固定座標入力面に一体的に構成される表示部を有する表示手段と、
前記操作者から見た前記表示装置における画像の描画形状を、該操作者の位置によらず前記固定座標入力面に常に視覚上同一に保たって表示するように、前記固定座標入力面を基準とする前記操作者の位置に基づいて、前記検出手段で検出された座標の表示寸法及び形状を変化させて表示部に出力する表示制御手段と
を備えることを特徴とする情報処理装置。
【0292】
[実施態様39]
座標入力指示具の位置座標を算出する座標入力装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程と、
前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程と、
前記座標変換工程によって変換された座標に基づいて、画像情報を前記固定座標入力面に一体的に構成される表示部に出力する表示制御工程と
を備えることを特徴とする座標入力装置の制御方法。
【0293】
[実施態様40]
座標入力指示具の位置座標を算出する座標入力装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程と、
前記操作者から見た前記表示装置における画像の描画形状を、該操作者の位置によらず前記固定座標入力面に常に視覚上同一に保たって表示するように、前記固定座標入力面を基準とする前記操作者の位置に基づいて、前記検出工程で検出された座標の表示寸法及び形状を変化させて、前記固定座標入力面に一体的に構成される表示部に出力する表示制御工程と
を備えることを特徴とする座標入力装置の制御方法。
【0294】
[実施態様41]
座標入力装置から出力される座標情報を処理する情報処理装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程と、
前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程と、
前記座標変換工程によって変換された座標に基づいて、画像情報を固定座標入力面に一体的に構成される表示部に出力する表示制御工程と
を備えることを特徴とする情報処理装置の制御方法。
【0295】
[実施態様42]
座標入力装置から出力される座標情報を処理する情報処理装置の制御方法であって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程と、
前記操作者から見た前記表示装置における画像の描画形状を、該操作者の位置によらず前記固定座標入力面に常に視覚上同一に保たって表示するように、前記固定座標入力面を基準とする前記操作者の位置に基づいて、前記検出工程で検出された座標の表示寸法及び形状を変化させて、前記固定座標入力面に一体的に構成される表示部に出力する表示制御工程と
を備えることを特徴とする情報処理装置の制御方法。
【0296】
[実施態様43]
座標入力指示具の位置座標を算出する座標入力装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程のプログラムコードと、
前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程のプログラムコードと、
前記座標変換工程によって変換された座標に基づいて、画像情報を前記固定座標入力面に一体的に構成される表示部に出力する表示制御工程のプログラムコードと
を備えることを特徴とするプログラム。
【0297】
[実施態様44]
座標入力指示具の位置座標を算出する座標入力装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出工程のプログラムコードと、
前記操作者から見た前記表示装置における画像の描画形状を、該操作者の位置によらず前記固定座標入力面に常に視覚上同一に保たって表示するように、前記固定座標入力面を基準とする前記操作者の位置に基づいて、前記検出工程で検出された座標の表示寸法及び形状を変化させて、前記固定座標入力面に一体的に構成される表示部に出力する表示制御工程のプログラムコードと
を備えることを特徴とするプログラム。
【0298】
[実施態様45]
座標入力装置から出力される座標情報を処理する情報処理装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程のプログラムコードと、
前記検出工程で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換工程のプログラムコードと、
前記座標変換工程によって変換された座標に基づいて、画像情報を固定座標入力面に一体的に構成される表示部に出力する表示制御工程のプログラムコードと
を備えることを特徴とするプログラム。
【0299】
[実施態様46]
座標入力装置から出力される座標情報を処理する情報処理装置の制御を実現するプログラムであって、
所定位置に配置されている固定座標入力面に対して座標入力指示具により指示された座標情報を前記座標入力装置から受信する受信工程のプログラムコードと、
前記操作者から見た前記表示装置における画像の描画形状を、該操作者の位置によらず前記固定座標入力面に常に視覚上同一に保たって表示するように、前記固定座標入力面を基準とする前記操作者の位置に基づいて、前記検出工程で検出された座標の表示寸法及び形状を変化させて、前記固定座標入力面に一体的に構成される表示部に出力する表示制御工程のプログラムコードと
を備えることを特徴とするプログラム。
【0300】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【0301】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【0302】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0303】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【0304】
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
【0305】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0306】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0307】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【0308】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【0309】
【発明の効果】
以上説明したように、本発明によれば、大画面に対する遠隔操作における操作性を向上することができる座標入力を提供できる。
【図面の簡単な説明】
【図1】本発明の各実施形態の座標入力装置を利用した座標入力システムの概略図である。
【図2】本発明の実施形態1の座標入力装置の座標入力ペンの基本構成を示す図である。
【図3】本発明の実施形態1の座標入力装置の機能構成を示すブロック図である。
【図4】本発明の実施形態1の画面上のカーソルが表示されているときの入力例を示す図である。
【図5】本発明の実施形態1の3次元(空間)座標計測可能な座標入力装置の概略構成を示す図である。
【図6】本発明の実施形態1の座標入力ペンの構成を示す図である。
【図7】本発明の実施形態1の音波の到達時間検出方法を説明するためのタイミングチャートである。
【図8】本発明の実施形態1の音波の到達時間検出を実現する検出回路のブロック図である。
【図9】本発明の実施形態1の演算制御回路の概略構成を示すブロック図である。
【図10】本発明の実施形態1の3次元(空間)座標計測可能な座標入力装置の概略構成を示す図である。
【図11】本発明の実施形態の座標入力ペンの動作と画面座標系及び操作座標系を説明するための図である。
【図12】本発明の実施形態1の座標算出演算処理を示すフローチャートである。
【図13】本発明の実施形態1の座標入力装置の動作モードを説明するための図である。
【図14】本発明の実施形態1の座標入力ペンの動作を説明するフローチャートである。
【図15】本発明の実施形態1の座標入力装置の動作を説明するフローチャートである。
【図16】本発明の実施形態2の座標算出演算処理を示すフローチャートである。
【図17】本発明の実施形態3の座標入力ペンの動作と画面座標系及び操作座標系を説明するための図である。
【図18】本発明の実施形態3の座標算出演算処理を示すフローチャートである。
【図19】本発明の実施形態4の座標入力ペンの動作と画面座標系及び操作座標系を説明するための図である。
【図20】本発明の実施形態4の座標入力ペンの動作と画面座標系及び操作座標系を説明するための図である。
【図21】本発明の実施形態6の座標入力ペンの動作領域区分を説明するための図である。
【図22】本発明の実施形態7の座標入力ペンの動作と画面座標系及び操作座標系を説明するための図である。
【図23】本発明の実施形態8の座標入力を説明するための図である。
【図24】本発明の実施形態8の座標入力を説明するための図である。
【図25】本発明の実施形態9の座標入力を説明するための図である。
【図26】従来例を説明するための図である。
【符号の説明】
4 座標入力ペン
302 駆動回路
303 発振子
304 座標入力装置
305 超音波センサ
306 波形処理回路
307 CPU
308 座標算出プログラム
309 文字認識エンジン
310 メモリ
311 無線インタフェース
312 ROM
Claims (1)
- 座標入力指示具の位置座標を算出する座標入力装置であって、
所定位置に配置されている固定座標入力面に対して前記座標入力指示具により指示された座標を検出する検出手段と、
前記検出手段で検出された座標を、前記座標入力指示具の操作者を基準とする操作座標入力面の座標に変換する座標変換手段と、
前記座標変換手段によって変換された座標を出力する出力手段と
を備えることを特徴とする座標入力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002353889A JP2004185488A (ja) | 2002-12-05 | 2002-12-05 | 座標入力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002353889A JP2004185488A (ja) | 2002-12-05 | 2002-12-05 | 座標入力装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004185488A true JP2004185488A (ja) | 2004-07-02 |
Family
ID=32755072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002353889A Withdrawn JP2004185488A (ja) | 2002-12-05 | 2002-12-05 | 座標入力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004185488A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007114820A (ja) * | 2005-10-18 | 2007-05-10 | Sharp Corp | 携帯型ポインタ装置及び表示システム |
JP2011180867A (ja) * | 2010-03-02 | 2011-09-15 | Brother Industries Ltd | ヘッドマウントディスプレイ |
JP2011248804A (ja) * | 2010-05-31 | 2011-12-08 | Brother Ind Ltd | 電子筆記具及び電子筆記システム |
JP2012160204A (ja) * | 2012-04-24 | 2012-08-23 | Nec Corp | 携帯端末及びプログラム |
CN104423567A (zh) * | 2013-09-05 | 2015-03-18 | 由田新技股份有限公司 | 动态影像分析系统及其方法 |
CN111399673A (zh) * | 2015-06-10 | 2020-07-10 | 苹果公司 | 用于利用触笔来操纵用户界面的设备和方法 |
-
2002
- 2002-12-05 JP JP2002353889A patent/JP2004185488A/ja not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007114820A (ja) * | 2005-10-18 | 2007-05-10 | Sharp Corp | 携帯型ポインタ装置及び表示システム |
JP2011180867A (ja) * | 2010-03-02 | 2011-09-15 | Brother Industries Ltd | ヘッドマウントディスプレイ |
JP2011248804A (ja) * | 2010-05-31 | 2011-12-08 | Brother Ind Ltd | 電子筆記具及び電子筆記システム |
JP2012160204A (ja) * | 2012-04-24 | 2012-08-23 | Nec Corp | 携帯端末及びプログラム |
CN104423567A (zh) * | 2013-09-05 | 2015-03-18 | 由田新技股份有限公司 | 动态影像分析系统及其方法 |
JP2015053025A (ja) * | 2013-09-05 | 2015-03-19 | 由田新技股▲ふん▼有限公司 | 動的画像分析システム及び動的画像分析方法 |
CN111399673A (zh) * | 2015-06-10 | 2020-07-10 | 苹果公司 | 用于利用触笔来操纵用户界面的设备和方法 |
CN111399673B (zh) * | 2015-06-10 | 2023-06-27 | 苹果公司 | 用于利用触笔来操纵用户界面的设备和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4006290B2 (ja) | 座標入力装置、座標入力装置の制御方法、プログラム | |
JP3952896B2 (ja) | 座標入力装置及びその制御方法、プログラム | |
US6862019B2 (en) | Coordinate input apparatus, control method therefor, and computer-readable memory | |
US10241622B1 (en) | Method and apparatus of position tracking and detection of user input information | |
US9489048B2 (en) | Systems and methods for optical transmission of haptic display parameters | |
US6891527B1 (en) | Processing signals to determine spatial positions | |
US20090201289A1 (en) | Method and apparatus for inputting three-dimensional location | |
US7075514B2 (en) | Coordinate input apparatus, control method therefor, and computer-readable memory | |
JP2004185488A (ja) | 座標入力装置 | |
JP2004078323A (ja) | 座標入力装置及び座標演算方法 | |
KR100601001B1 (ko) | 자이로와 초음파를 이용한 컴퓨터 입력장치 | |
JPH09212288A (ja) | 情報入力システムおよび情報入力方法 | |
JP4136584B2 (ja) | 座標入力装置及び座標値出力方法とプログラム | |
JP2004070496A (ja) | 座標入力装置、座標値処理方法 | |
JP2004310351A (ja) | 座標入力装置 | |
JPH09212299A (ja) | 情報入力装置および情報入力方法 | |
JP2004192033A (ja) | 座標入力装置 | |
JPH10149252A (ja) | ペン入力装置及び該装置における位置座標補正方法 | |
JP2002351605A (ja) | 座標入力装置 | |
JP2003216335A (ja) | 座標入力装置及びその制御方法、プログラム | |
JP2004240634A (ja) | 座標入力装置 | |
JP2004192032A (ja) | 座標入力装置 | |
JP2003029917A (ja) | 座標入力装置 | |
JP2002236545A (ja) | 座標入力装置及びその制御方法、コンピュータ可読メモリ | |
JP2004240633A (ja) | 座標入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060207 |