JP2001125745A

JP2001125745A - 情報入力方法および座標入力装置

Info

Publication number: JP2001125745A
Application number: JP30941299A
Authority: JP
Inventors: Susumu Fujioka; 進藤岡
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1999-10-29
Filing date: 1999-10-29
Publication date: 2001-05-11
Anticipated expiration: 2019-10-29
Also published as: US6674424B1; US7342574B1; US20120327031A1; JP4052498B2; USRE43084E1

Abstract

(57)【要約】【課題】座標入力部材である物体の動きを見ることに
より、座標入力が行われたことを判断して、その入力座
標を求める。【解決手段】制御装置２は、電子カメラ１０で撮像し
た画像から物体を抽出し、物体と表示部１２の面との距
離が所定範囲内にあるとき、物体の動きベクトルの求
め、物体による座標入力を判定し、入力があったとき、
電子カメラ１０、１１上の物体像の位置を基に、物体の
入力座標を算出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、筆記具および筆記
面として専用の部材を必要としない電子式筆記入力装置
などの座標入力装置に関し、ＰＤＰ（ＰｌａｓｍａＤ
ｉｓｐｌａｙＰａｎｅｌ）やリアプロジェクションタイ
プの大画面ディスプレイを使用した電子黒板やプレゼン
テーションシステムなどに適用される。

【０００２】

【従来の技術】電子ペンなどを用いて入力された座標を
求める方法が種々提案されている。その一つは、座標入
力領域の周囲に取り付けられた光再帰性反射シートを利
用して、光が遮断された部分を検出することにより入力
座標を求める方法であり（特開平１１−８５３７６号公
報を参照）、他の一つは、複数のテレビカメラを用いて
可動物体の３次元空間内の座標位置を求める方法である
（特開昭６１−１９６３１７号公報を参照）。

【０００３】

【発明が解決しようとする課題】前者の方法では、指や
ペン等の座標入力物体と座標入力面であるディスプレイ
表面との間の接触、非接触を精度よく検出できるように
するために、光再帰性反射シートに照射する光ビームの
幅をできるだけ小さくして、また光ビームをディスプレ
イ表面からできるだけ近い位置に照射する必要がある。
この時、ディスプレイ表面が歪んでいる場合は、光ビー
ムがディスプレイ表面に遮られて光が遮断されたことを
検出しない程度に光ビームがディスプレイ表面から離れ
ている必要がある。この場合、歪んだディスプレイ表面
上の全ての位置で指やペン等の座標入力物体の接触を精
度よく検出することが難しくなる。

【０００４】すなわち、ディスプレイ表面に接触してい
た状態からペンアップにより非接触となったが光ビーム
は遮断されたままの状態になることが有り得る。この場
合、文字が筆記者の意図しないものとなったり、ダブル
クリックが検出されない、といった問題が発生する。

【０００５】一方、後者では、高画素で画像信号の出力
フレームレートが大きい２次元撮像素子を使用したテレ
ビカメラであるので、高価である。

【０００６】そこで、１ラインの画素数が大きく画像信
号の出力フレームレートも大きい１次元撮像素子を使用
したカメラを用いて座標入力物体とディスプレイ表面と
の接触を検出する方法が提案されている。

【０００７】この場合の座標入力装置の外観を図２４に
示す。なお、図２４では、カメラから出力される画像信
号を基に座標を求めたり、表示部に画面データを出力す
るパーソナルコンピュータ等の制御装置の図示は省略し
ている。この座標入力装置の中央はＰＤＰ等の表示部で
あり、この表示部の右上方部と左上方部にカメラがその
光軸が表示部平面と平行となるように取り付けられてい
る。なお、これらのカメラのレンズは画角が９０度以上
の広角レンズであり、表示部全体について接触する座標
入力物体を撮像できるようになっている。

【０００８】また、座標入力装置の右辺、左辺、下辺に
は光の反射率の小さい黒い枠が取り付けられている。こ
の枠の表示部平面と垂直方向の幅は、カメラの撮像範囲
の幅と等しいかそれ以上であり、表示部の近傍に座標入
力物体が無い場合は、カメラはその黒い枠を撮像するよ
うになっている。カメラの撮像領域に座標入力物体が無
く、黒い枠のみを撮像している時のカメラからの出力信
号のレベルを基準レベルと定義する。ここで表示部近傍
すなわちカメラの撮像領域に座標入力物体が存在する
と、カメラの撮像素子はこの物体表面から反射される太
陽光や照明光等の光を受光して、受光した画素は光電変
換により電荷を掃き出すため、ラインセンサの全画素分
に相当するカメラからの出力信号は、座標入力物体から
の反射光を受光した画素に相当する部分のみ信号レベル
が基準レベルに対して高くなる。

【０００９】この信号レベルが基準レベルを基に決めら
れたスレッシュレベルよりも大きい場合はそのピークに
相当する画素位置のデータを使用して表示部上の座標を
算出する。なお、この座標算出に関する詳細な説明は後
述するため、ここではその説明を省略する。

【００１０】上述したカメラからの出力信号のオシロス
コープでの波形を図２５に示す。図２５では、ラインセ
ンサの全画素分に相当する信号を１走査分示している。

【００１１】座標入力物体が白色の場合は光の反射率が
大きいため、その像部分に該当するカメラからの出力信
号レベルは大きくなり、逆に座標入力物体が黒色の場合
は光の反射率が小さいため、その像部分に該当するカメ
ラからの出力信号レベルは小さくなる。また、カメラか
らの出力信号レベルはカメラにおける座標入力物体の撮
像面積に依存する。すなわち、座標入力物体が表示部か
ら離れており、カメラの撮像領域にほんの１部分しか存
在しないような場合にはその像部分に該当するカメラか
らの出力信号レベルは小さくなり、座標入力物体が表示
部に接触している場合にはその像部分に該当するカメラ
からの出力信号レベルは大きくなる。

【００１２】したがって、カメラからの出力信号のスレ
ッシュレベルを大きくすると座標入力物体として黒っぽ
いペンが使用されると座標入力ができず、逆にこのスレ
ッシュレベルを小さくすると座標入力物体として白いペ
ンが使用されると表示部に接触しなくても、座標入力が
行われてしまうという相矛盾した不具合が発生する。後
者の場合は前述したように、文字が筆記者の意図しない
ものとなったり、ダブルクリックが検出されないという
問題がある。

【００１３】上記した例の他に、座標の読み取り方式が
電磁授受方式を採るタブレットがあるが、入力面上の空
間でペン（専用ペン）先をカーソルの位置指定として機
能できる範囲が非常に限定されている（例えば、最大で
８ｍｍ程度）。この範囲をさらに拡大しようとすると、
ペンを大型化したり、あるいはペンにバッテリを内蔵し
なければならないという問題がある。

【００１４】本発明は上記した背景を基になされたもの
で、本発明の目的は、座標入力部材である物体の動きを
見ることにより、座標入力が行われたことを判断して、
その入力座標を求める情報入力方法および座標入力装置
を提供することにある。

【００１５】

【課題を解決するための手段】本発明では、レーザ光の
ような光ビームの走査手段を不要とし、また、ディスプ
レイ表面が歪んでいる場合にも座標入力部材とディスプ
レイ表面との接触、非接触を精度よく判断できるように
する。

【００１６】また、本発明では、座標入力部材を特定し
ない。すなわち、例えば、ペン、指、棒が使用できる。
座標入力が行われる部材はディスプレイに限定されたも
のではなく、座標入力面が平面であるという条件さえ満
たしていればよい。例えば、座標入力が行われる部材と
して、黒板が使用できる。

【００１７】

【発明の実施の形態】以下、本発明の一実施例を図面を
用いて具体的に説明する。（実施例１）図１は、本発明の実施例１に係る座標入力
システムのシステム構成図を示す。この座標入力システ
ムは、座標入力装置１と制御装置２とから構成されてい
て、座標入力装置１は２個の電子カメラ１０、１１と表
示部１２を具備している。電子カメラ１０および電子カ
メラ１１は、表示部１２に高画素タイプのＸＧＡ（１０
２４×７６８画素）で表示された場合にも、メニュー選
択や筆記動作等が支障なく実行される程度に高画素でま
た画像信号の出力フレームレートが大きく、また光電変
換された信号を画素単位に独立して出力することができ
る２次元撮像素子を具備している。この２次元撮像素子
として、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ
ＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏ
ｒ）センサがある。

【００１８】これらの電子カメラは、撮像素子において
光電変換された電気信号をＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉ
ｇｉｔａｌ）変換して、デジタル画像データを出力す
る。また、各電子カメラの光軸は表示部１２平面と平行
となるように取り付けられている。なお、これらの電子
カメラのレンズは画角が９０度以上の広角レンズであ
り、表示部全体の領域について接触する座標入力物体を
撮像できるようになっている。表示部１２は大画面ディ
スプレイであり、例えばＰＤＰが使用される。

【００１９】次に、制御装置２のハードウェア構成を図
２に示す。図中、ＣＰＵ２０、メインメモリ２１、クロ
ック２２、バスコントローラ２３、ＲＯＭ（ＲｅａｄＯ
ｎｌｙＭｅｍｏｒｙ）２４、ＰＣＩ（Ｐｅｒｉｐｈｅ
ｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃ
ｔ）ブリッジ２５、キャッシュメモリ２６、ハードディ
スク２７、ＨＤ（ＨａｒｄＤｉｓｋ）コントローラ２
８、表示コントローラ２９、画像処理回路（１）３０、
画像処理回路（２）３１、ＬＡＮコントローラ３２、Ｌ
ＡＮＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３３、ＦＤ（Ｆｌ
ｏｐｐｙＤｉｓｋ）コントローラ３４、ＦＤドライブ３
５、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａ
ｄＯｎｌｙＭｅｍｏｒｙ）コントローラ３６、ＣＤ
−ＲＯＭドライブ３７、キーボードコントローラ３８、
マウスＩ／Ｆ３９、ＲＴＣ（ＲｅａｌＴｉｍｅＣｌ
ｏｃｋ）４０、ＣＰＵバス４１、ＰＣＩバス４２、Ｘバ
ス（内部バス）４３は、制御装置２に実装されている。

【００２０】ＣＰＵ２０は、ＲＯＭ２４に記憶された制
御処理プログラム、ハードディスク２７からメインメモ
リ２１に読み出されたＯＳ（ＯｐｅｒａｔｉｎｇＳｙ
ｓｔｅｍ）や各種のアプリケーションプログラムを実
行、処理する。メインメモリ２１は、ＤＲＡＭ（Ｄｙｎ
ａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒ
ｙ）で構成されていて、ＣＰＵ２０のワークエリア等で
使用される。クロック２２は、水晶発振子と分周回路か
ら構成されていて、ＣＰＵ２０やバスコントローラ２３
の動作タイミングを制御するためのクロックを生成して
いる。バスコントローラ２３は、ＣＰＵバス４１とＸバ
ス４３でのデータ転送を制御する。ＲＯＭ２４は、電源
オン時のシステム立ち上げや各種デバイスの制御を行う
ためのプログラムが予め書き込まれている。ＰＣＩブリ
ッジ２５は、キャッシュメモリ２６を使用して、ＰＣＩ
バス４２とＣＰＵ２０との間のデータ転送を行う。キャ
ッシュメモリ２６は、ＤＲＡＭで構成されていて、ＰＣ
Ｉブリッジ２５により使用される。ハードディスク２７
は、システムソフトウェア、各種のアプリケーションプ
ログラム、多数のユーザデータ等を記憶する。ＨＤコン
トローラ２８は、ハードディスク２７とのインタフェー
スとして例えばＩＤＥ（ＩｎｔｅｇｒａｔｅｄＤｅｖｉ
ｃｅＥｌｅｃｔｒｏｎｉｃｓ）インタフェースを持
ち、ハードディスク２７と高速データ転送を行う。

【００２１】表示コントローラ２９は、文字データやグ
ラフィックデータ等をＤ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａ
ｌｏｇ）変換するとともに、これらのデータを座標入力
装置１の表示部１２に表示するための制御を行う。

【００２２】画像処理回路（１）３０は、座標入力装置
１の電子カメラ１０から出力されたデジタル画像データ
をＲＳ−４２２等のデジタルＩ／Ｆ（図示を省略）を介
して入力し、その画像データから物体の抽出処理や物体
の形状の認識処理、また物体の動きベクトルを求める処
理等を行う。また、画像処理回路（１）３０は、電子カ
メラ１０に与えるクロックや画像転送パルスをＲＳ−４
２２等のデジタルＩ／Ｆ（図示を省略）を介して出力す
る。

【００２３】画像処理回路（２）３１は画像処理回路
（１）３０と同じハードウェアであり、座標入力装置１
の電子カメラ１１から出力されたデジタル画像データを
入力し、画像処理回路（１）３０と同様な動作を実行す
る。なお、画像処理回路（１）３０と画像処理回路
（２）３１からそれぞれ電子カメラ１０と電子カメラ１
１へ与えるクロックや画像転送パルスは同期するように
なっている。

【００２４】ＬＡＮコントローラ３２は例えばＩＥＥＥ
（ＩｎｓｔｉｔｕｔｅｏｆＥｌｅｃｔｒｉｃａｌａ
ｎｄＥｌｅｃｔｒｏｎｉｃｓＥｎｇｉｎｅｅｒｓ）
８０２．３規格に準拠した通信プロトコルを実行して、
ＬＡＮＩ／Ｆ３３を介してイーサネット（登録商標）
に接続された他の機器との通信を制御する。ＦＤコント
ローラ３４はＦＤドライブ３５とデータ転送を行う。Ｃ
Ｄ−ＲＯＭコントローラ３６はＣＤ−ＲＯＭドライブ３
７とのインタフェースとして例えばＩＤＥインタフェー
スを持ち、ＣＤ−ＲＯＭドライブ３７とデータ転送を行
う。キーボードコントローラ３８は、キーボード４４か
ら入力されたシリアルデータからパラレルデータへの変
換を行う。マウスＩ／Ｆ３９は、マウス用のポートを持
ち、マウスドライバ（制御プログラム）によって制御さ
れる。ＲＴＣ４０は、日付時計であり、図示していない
バッテリーによりバックアップされている。なお、座標
入力装置１が制御装置２の入力装置であるため、保守用
の作業時を除き、キーボード４４およびマウス４５は接
続する必要はない。

【００２５】次に、座標入力部材が座標入力装置１の表
示部１２に接触したときの接触位置を幾何学的に求める
方法を説明する。図３に示すように、座標入力装置１の
電子カメラ１０は広角レンズ５０、ＣＭＯＳイメージセ
ンサ５１を具備し、電子カメラ１１は広角レンズ５２、
ＣＭＯＳイメージセンサ５３を具備しており、それぞれ
の入射光の光軸が座標入力装置１の表示部１２平面に平
行であり、また、それぞれの電子カメラが表示部１２全
体の領域について接触する座標入力物体を撮像できるよ
うに配置されている。

【００２６】広角レンズ５０と広角レンズ５２との距離
をＬ、表示部１２平面における座標入力部材の接触点を
Ａ、点Ａの位置座標を（ｘ，ｙ）、広角レンズ５０と広
角レンズ５２とを結ぶ直線をＸ−Ｌｉｎｅ、広角レンズ
５０における接触点Ａの方向とＸ−Ｌｉｎｅとのなす角
度をβ１、広角レンズ５２における接触点Ａの方向とＸ
−Ｌｉｎｅとのなす角度をβ２とする。

【００２７】また、広角レンズ５０およびＣＭＯＳイメ
ージセンサ５１付近の拡大図を図４に示す。図４におい
て、ｆは広角レンズ５０とＣＭＯＳイメージセンサ５１
との間の距離、ｈはＣＭＯＳイメージセンサ５１におけ
る広角レンズ５０の光軸の結像位置と接触点Ａの結像位
置との間の距離（表示部１２平面に平行な方向における
距離）、αは広角レンズ５０の光軸とＸ−Ｌｉｎｅとの
なす角度、θは接触点Ａとその結像点とを結ぶ線と広角
レンズ５０の光軸とのなす角度である。これらを用い
て、以下の２式が成り立つ。

【００２８】 θ＝ａｒｃｔａｎ（ｈ／ｆ） …… （１） β１＝α−θ …… （２）ここで、角度αは組み付け仕様として予め判っているた
め、これら２式より角度β１を求めることができる。ま
た、電子カメラ１１についても同様にして角度β２を求
めることができる。角度β１と角度β２が求まると、接
触点Ａの位置座標（ｘ，ｙ）は、三角測量の原理によりｘ＝Ｌｔａｎβ２／（ｔａｎβ１＋ｔａｎβ２） …… （３）ｙ＝ｘｔａｎβ１ …… （４）として算出される。

【００２９】次に、ＣＭＯＳイメージセンサ５１および
ＣＭＯＳイメージセンサ５３上に結像される表示部１２
平面に該当するエッジ部の像（直線）と各ＣＭＯＳイメ
ージセンサの画素配列との関係について説明する。ＣＭ
ＯＳイメージセンサ５１およびＣＭＯＳイメージセンサ
５３は２次元の画素配列を持つが、縦方向と横方向とで
画素数が異なる場合、画素数の小さい方向をＸ軸方向、
画素数の大きい方向をＹ軸方向として、そのＹ軸方向が
表示部１２平面にできるだけ平行となるように電子カメ
ラ１０と電子カメラ１１が組み付けられる。縦方向と横
方向の画素数が同じ場合は、いずれかの方向をＹ軸方向
とする。

【００３０】ここで、ＣＭＯＳイメージセンサ上に結像
される表示部１２平面に該当するエッジ部の像（直線）
が画素配列のＹ軸方向と一致しない場合は、表示部１２
平面に該当するエッジ部の像（直線）と画素配列のＹ軸
方向との成す角度δを求める。この角度δは、エッジ部
の像（直線）上の数点の画素位置を調べることで求める
ことができる。この説明のための図を図５に示す。図５
のエッジ部の像（直線）の端点を基準画素位置として、
この直線上の任意の点、Ａ、Ｂ、ＣにおけるＸ軸方向の
画素数ｘとＹ軸方向の画素数ｙを調べる。これらの各点
において、ｔａｎδ＊＝ｘ／ｙ …… （５）によりδ＊が求まるため、これらの平均値を角度δとす
る。

【００３１】ＣＭＯＳイメージセンサで撮像した画像デ
ータから表示部１２平面と物体（座標入力部材）との距
離を求める場合、表示部１２平面に該当するエッジ部の
像（直線）をその画像データの座標系のＹ軸とした方が
便利である。そこで、画像データを用いて表示部１２平
面と物体（座標入力部材）との距離を求めたり、動きベ
クトルの大きさを求める場合、その画像データの座標値
を上記で求めた角度δだけ回転させて処理する。図５に
示すように、エッジ部の像（直線）が右に傾いている場
合は左方向へ回転させ、逆に左に傾いている場合は右方
向へ回転させる。この回転後の座標（ｘ’，ｙ’）は、
回転前の座標を（ｘ，ｙ）として次式により求められ
る。

【００３２】ｘ’＝ｘ×ｃｏｓδ＋ｙ×ｓｉｎδ …… （６）ｙ’＝ｙ×ｃｏｓδ−ｘ×ｓｉｎδ …… （７）なお、表示部１２平面に該当するエッジ部の像（直線）
がＣＭＯＳイメージセンサ５１の画素配列のＹ軸方向に
一致するように、工場出荷時あるいはユーザ先の設置時
に調整されたり、あるいは適宜保守モードで調整される
場合は上記の座標回転処理は必ずしも必要とはされな
い。

【００３３】図６は、本発明の実施例１に係る制御装置
の処理フローチャートを示す。座標入力装置１の電子カ
メラ１０は、ＣＭＯＳイメージセンサ５１の撮像領域の
中で、表示部１２平面と垂直方向については画像信号を
出力させる画素を制限する。すなわち、表示部１２平面
から所定の距離までの範囲を撮像している画素のみにつ
いて画像信号を出力するように制御する。そして、この
画像信号をＡ／Ｄ変換して、このデジタル画像データを
制御装置２の画像処理回路（１）３０へ出力する。画像
処理回路（１）３０はこの入力された１フレーム分の画
像データから物体の輪郭線を抽出する処理を行う（ステ
ップ１０１）。物体の輪郭線の抽出方法としては、例え
ば微分により画素間の濃度勾配を求め、その方向と大き
さから輪郭線を判定する方法（例えば、特公平８−１６
９３１号公報に記載の方法）等を用いる。

【００３４】輪郭線が抽出されると、画像データ中の座
標入力装置１の表示部１２平面に該当するエッジ部の像
（直線）と抽出された輪郭線上における各点との間の画
素数（つまり、距離に相当）を求める（ステップ１０
２）。そして、この画素数（距離）の中の最小値Ｎｍｉ
ｎが所定の値以下である場合には（ステップ１０３でＹ
ＥＳ）、その画素数Ｎｍｉｎとなった画素を中心とした
物体の輪郭線上における所定数の画素について、次に入
力される１フレーム分の画像データから動きベクトルを
求める（ステップ１０４）。

【００３５】この動きベクトルを求める方法として、例
えばオプティカルフローを使用する。オプティカルフロ
ーとは、画像の画素値の時間的な変化率とその周りでの
空間的な変化率を用いて求められる、画像の各点での速
度ベクトルのことである。動きベクトルは画像データ中
における表示部１２平面に該当するエッジ部の像（直
線）をＹ軸、これと垂直な方向をＸ軸として２次元で表
す。

【００３６】電子カメラ１０で撮像した上記の画像の１
例（部分）を図７に示す。なお、図７は表示部１２とそ
の周りのフレーム部分とが同一平面になるように取り付
けられている場合を示す。

【００３７】図７では、ペン先が表示部１２平面から所
定の距離以内であるため、動きベクトル（Ｖｘ，Ｖｙ）
が求められる。このようにして、入力される１フレーム
分の画像データ毎に、表示部１２平面と物体との距離が
所定の範囲内であれば輪郭線上の所定数の画素について
その物体の動きベクトルを求め、このＸ方向の成分Ｖｘ
の値を各画素毎にメインメモリ２１に逐次記憶しておく
（ステップ１０５）。そして、この逐次記憶されたデー
タ（トレースデータ）に基づいて、物体が表示部１２に
対して座標入力を行ったか否かを判断する（ステップ１
０６）。

【００３８】この判断方法として、例えば後述する実施
例３や実施例４に記載の方法を使用する。そして、座標
入力が行われたと判断した場合は（ステップ１０７でＹ
ＥＳ）、その時点における各動きベクトルの座標の中で
座標入力物体が表示部１２平面に接触している中心にあ
る点Ｐ、あるいは表示部１２平面に最も近い点ＰのＹ軸
方向の位置、すなわちＹ軸方向の端からの画素数Ｎ１を
調べる。ここで、広角レンズ５０の光軸の結像位置の中
心点ＱにおけるＹ軸方向の端からの画素数Ｎ２は既に知
られた値であるため、点Ｐと点Ｑとの間のＹ軸方向につ
いての画素数は｜Ｎ１−Ｎ２｜となり、この値とＣＭＯ
Ｓイメージセンサ５１の画素間の距離（画素ピッチ）か
ら点Ｐと点Ｑとの間のＹ軸方向についての距離ｈが求ま
る（ステップ１０８）。このｈが図４に示したｈであ
る。

【００３９】距離ｈが求まると、式（１）と式（２）よ
り既知の値を持つｆとαを用いて角度β１が求まる（ス
テップ１１０）。画像処理回路（２）３１においても電
子カメラ１１から入力される画像データを用いて上記と
同様な処理を行い、角度β２が求まる。これらのβ１、
β２および既知の値を持つＬを用いて式（３）と式
（４）より表示部１２面上における座標（ｘ，ｙ）が求
まる（ステップ１１１）。

【００４０】ステップ１０７でＮＯのときは、Ｖｘのデ
ータ列を基に、物体が表示部表面から所定の距離範囲に
あるか否かを判定し、所定の距離範囲にあるときには
（ステップ１０９でＹＥＳ）、ステップ１０４に進み、
前述したように動きベクトルを求め、ステップ１０９で
ＮＯのときはステップ１０１に戻る。

【００４１】なお、式（１）から式（４）を使用した上
述の計算はＣＰＵ２０で実行してもよいし、式（１）と
式（２）の計算を画像処理回路（１）３０および画像処
理回路（２）３１で実行し、式（３）と式（４）の計算
をＣＰＵ２０で実行するようにしてもよい。

【００４２】また、表示部１２平面と物体との距離をチ
ェックする際に、画像データ中の座標入力装置１の表示
部１２平面に該当するエッジ部の像（直線）と物体の輪
郭線上における所定の間隔でサンプリングされた各点と
の間の画素数（つまり距離に相当）を求めて、この画素
数（距離）の中の最小値Ｎｍｉｎが所定の値以下である
場合に、その画素数Ｎｍｉｎとなった画素を中心とした
物体の輪郭線上における所定数の画素について、次に入
力される１フレーム分の画像データから動きベクトルを
求めるようにしてもよい。

【００４３】ＣＰＵ２０は筆記入力（描画）モードにあ
る場合は座標入力部材による座標入力が行われている間
に得られた座標データ列から表示用の描画データを生成
して、これを表示コントローラ２９を介して座標入力装
置１の表示部１２に表示する。

【００４４】上記した実施例の説明では、表示部１２平
面に歪みが無く、また座標入力動作時にへこまない硬い
材質で構成されている場合を示している。ところが、表
示部１２平面に歪みがあったり、あるいはこの表面の材
質が柔らかいもので構成されていて座標入力動作時に表
面がへこむような場合は、座標入力物体の表示部１２へ
の接触部分の一部が画像として得ることができず、また
この部分に該当する画素の動きベクトルも得られない。
この場合の一例を図８に示す。

【００４５】図８は、表示部１２としてリアプロジェク
ションタイプの表示装置が使用され、この表示表面が柔
らかく、座標入力動作時に表面がへこんだ場合を示して
いる。この場合は、座標入力物体（ペン）の表示部１２
への接触部分の一部（ペン先）が画像として得ることが
できない。そこで、表示部１２への接触部分の両端点
（図中、点Ａと点Ｂ）の中間点を座標入力物体が表示部
１２平面に接触している中心にある点Ｐとみなして上述
した処理により表示部１２面上における座標を求める。

【００４６】（実施例２）実施例２は、座標入力部材で
あると判断された物体の動きを見ることにより、座標入
力が行われたことを判断して、その入力座標を求める実
施例である。実施例２の座標入力システムの構成、制御
装置の構成は、実施例１と同様である。

【００４７】図９は、本発明の実施例２に係る制御装置
の処理フローチャートを示す。座標入力装置１の電子カ
メラ１０は実施例１と同様にして、画像データを制御装
置２の画像処理回路（１）３０へ出力する。画像処理回
路（１）３０はこの入力された１フレーム分の画像デー
タから実施例１と同様にして、物体の輪郭線を抽出する
処理を行う（ステップ２０１）。輪郭線が抽出される
と、その輪郭線の形状よりその物体が座標入力部材であ
るか否かを判断する。

【００４８】この形状判断は、画像認識技術を用いて行
う。この形状認識の方法として、例えば、まず物体の重
心を求め、この重心と輪郭線までの距離を重心の回り
（３６０°）について順次求め、この角度と距離の関係
から輪郭線の形状を特定する方法（特開平８−３１５１
５２を参照）を用いる。この得られた輪郭線の形状に関
するデータは、座標入力部材の形状としてＲＯＭ２４ま
たはハードディスク２７に予め記憶されたデータと比較
することで（ステップ２０２）、その形状の物体が座標
入力部材であるか否かを判断する（ステップ２０３）。

【００４９】表示部１２に表示されたアイコンやメニュ
ーに対するポインティングや筆記入力等の座標入力動作
時は、座標入力部材の表示部１２平面に対する傾きが一
定でないため、物体の重心と輪郭線とを結ぶ基準線（０
°の位置）をある角度の範囲内で回転させて予め記憶さ
れたデータと比較する。この座標入力部材の画像および
基準線の回転の例を図１０に示す。なお、座標入力部材
の形状に関するデータを複数種類用意しておき、形状の
判断処理時にこれらを全て利用してもよい。また、座標
入力部材の形状に関するデータを予め記憶せずに、図１
１に示すように、輪郭線が抽出された物体が左右対称で
あるか否かをチェックして、対称と判断した場合にその
物体を座標入力部材とする方法もある。この対称性は上
述した重心と輪郭線までの距離を重心の回りについて順
次求めることで判断することができる。

【００５０】上記の判断処理により座標入力部材である
と判断した場合は（ステップ２０３でＹＥＳ）、画像デ
ータ中の座標入力装置１の表示部１２平面に該当するエ
ッジ部の像（直線）と座標入力部材であると判断された
物体の輪郭線上における各点との間の画素数を求める
（ステップ２０４）。そして、この画素数の中の最小値
Ｎｍｉｎが所定の値以下である場合には（ステップ２０
５でＹＥＳ）、その画素数Ｎｍｉｎとなった画素を中心
とした物体の輪郭線上における所定数の画素について、
次に入力される１フレーム分の画像データから、実施例
１と同様にオプティカルフローを使用して動きベクトル
（Ｖｘ，Ｖｙ）を求める（ステップ２０６）。

【００５１】以下、前述した実施例１と同様に処理し
て、表示部１２面上における座標（ｘ，ｙ）が求まる
（ステップ２１３）。

【００５２】（実施例３）本実施例は、座標入力部材と
座標入力が行われる表示部材との距離が所定の値以下の
場合に、座標入力部材である物体が接近から離れる方向
へ動きが反転したことを見ることで、座標入力が行われ
たことを判断して、その入力座標を求める実施例であ
り、主に表示部１２に表示されたアイコンやメニューに
対してポインティングする場合に適用される。実施例３
の座標入力システムの構成、制御装置の構成は、実施例
１と同様である。

【００５３】図１２は、本発明の実施例３に係る制御装
置の処理フローチャートを示す。実施例２と同様にし
て、画像処理回路（１）３０は入力された１フレーム分
の画像データから物体の輪郭線を抽出する処理を行う
（ステップ３０１）。輪郭線が抽出されると、その輪郭
線の形状を基に、その物体が座標入力部材であるか否か
を判断する（ステップ３０２）。

【００５４】座標入力部材であると判断した場合は（ス
テップ３０２でＹＥＳ）、画像データ中の座標入力装置
１の表示部１２平面に該当するエッジ部の像（直線）と
座標入力部材であると判断された物体の輪郭線上におけ
る各点との間の画素数を求める（ステップ３０３）。そ
して、この画素数の中の最小値Ｎｍｉｎが所定の値以下
である場合には（ステップ３０４でＹＥＳ）、その画素
数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上に
おける所定数の画素について、次に入力される１フレー
ム分の画像データからオプティカルフローを使用して動
きベクトル（Ｖｘ，Ｖｙ）を求める（ステップ３０
５）。なお、画像データ中における表示部１２平面に該
当するエッジ部の像（直線）をＹ軸、これと垂直な方向
をＸ軸としている。

【００５５】このようにして、入力される１フレーム分
の画像データ毎に、表示部１２平面と物体との距離が所
定の範囲内であれば輪郭線上の所定数の画素についてそ
の物体の動きベクトルを求め、このＸ方向の成分Ｖｘの
値を各画素毎にメインメモリ２１に逐次記憶しておく
（ステップ３０６）。そして、これらのＸ方向の成分Ｖ
ｘの値が表示部１２平面に近づく方向から離れる方向へ
向きが逆転した場合は（ステップ３０７でＹＥＳ）、そ
の向きが逆転したベクトルの始点の中で座標入力部材が
表示部１２平面に接触している中心にある点Ｐ、あるい
は表示部１２平面に最も近い点Ｐと広角レンズ５０の光
軸の結像位置の中心点Ｑとの間のＹ軸方向についての画
素数を求め、この値とＣＭＯＳイメージセンサ５１の画
素間の距離（画素ピッチ）から点Ｐと点Ｑとの間のＹ軸
方向についての距離ｈを求める（ステップ３０９）。

【００５６】以下、実施例１、２と同様にして、距離ｈ
が求まると、式（１）と式（２）より角度β１が求まり
（ステップ３１０）、また画像処理回路（２）３１にお
いても電子カメラ１１から入力される画像データを用い
て上記と同様な処理により角度β２が求まる。これらの
β１、β２および既知の値を持つＬを用いて式（３）と
式（４）より表示部１２面上における座標（ｘ，ｙ）が
求まる（ステップ３１１）。上記ステップ３０７でＮＯ
のときは、ステップ３０８に進み、実施例１、２と同様
に、Ｖｘのデータ列を基に、物体が表示部表面から所定
の距離範囲にあるか否かを判定する。

【００５７】（実施例４）本実施例は、座標入力部材と
座標入力が行われる表示部材との距離が所定の値以下の
場合に、座標入力部材である物体が座標入力が行われる
部材の平面部と垂直方向の動きが接近から停止へと動き
が止まったことを見ることで、座標入力が行われたこと
を判断して、座標入力状態としてその入力座標を求める
動作を開始し、その後、座標入力部材が平面部から離れ
る方向に動いたことを検出すると、座標入力状態を解除
して、その入力座標を求める動作を停止する実施例であ
り、主に表示部１２に対して筆記入力する場合に適用さ
れる。また、実施例４の座標入力システムの構成、制御
装置の構成は、実施例１と同様である。

【００５８】図１３は、実施例４に係る制御装置の処理
フローチャートを示す。実施例２と同様にして、画像処
理回路（１）３０は入力された１フレーム分の画像デー
タから物体の輪郭線を抽出する処理を行う（ステップ４
０１）。輪郭線が抽出されると、その輪郭線の形状より
その物体が座標入力部材であるか否かを判断する（ステ
ップ４０２）。

【００５９】座標入力部材であると判断した場合は、画
像データ中の座標入力装置１の表示部１２平面に該当す
るエッジ部の像（直線）と座標入力部材であると判断さ
れた物体の輪郭線上における各点との間の画素数を求め
る（ステップ４０３）。そして、この画素数の中の最小
値Ｎｍｉｎが所定の値以下である場合には（ステップ４
０４でＹＥＳ）、その画素数Ｎｍｉｎとなった画素を中
心とした物体の輪郭線上における所定数の画素につい
て、次に入力される１フレーム分の画像データからオプ
ティカルフローを使用して動きベクトル（Ｖｘ，Ｖｙ）
を求める（ステップ４０５）。なお、画像データ中にお
ける表示部１２平面に該当するエッジ部の像（直線）を
Ｙ軸、これと垂直な方向をＸ軸としている。

【００６０】このようにして、入力される１フレーム分
の画像データ毎に、表示部１２平面と物体との距離が所
定の範囲内であれば輪郭線上の所定数の画素についてそ
の物体の動きベクトルを求め、このＸ方向の成分Ｖｘの
値を各画素毎にメインメモリ２１に逐次記憶しておく
（ステップ４０６）。そして、これらのＸ方向の成分Ｖ
ｘの値がゼロとなった場合は（ステップ４０７でＹＥ
Ｓ）、座標入力が行われたと判断して座標入力状態とす
る（ステップ４０９）。

【００６１】次いで、これらのベクトルの中で座標入力
部材が表示部１２平面に接触している中心にある点Ｐ、
あるいは表示部１２平面に最も近い点Ｐと広角レンズ５
０の光軸の結像位置の中心点Ｑとの間のＹ軸方向につい
ての画素数を求め、この値とＣＭＯＳイメージセンサ５
１の画素間の距離（画素ピッチ）から点Ｐと点Ｑとの間
のＹ軸方向についての距離ｈを求める（ステップ４１
０）。

【００６２】距離ｈが求まると、式（１）と式（２）よ
り角度β１が求まり（ステップ４１１）、また画像処理
回路（２）３１においても電子カメラ１１から入力され
る画像データを用いて上記と同様な処理により角度β２
が求まる。これらのβ１、β２および既知の値を持つＬ
を用いて式（３）と式（４）より表示部１２面上におけ
る座標（ｘ，ｙ）が求まる（ステップ４１２）。

【００６３】続いて、座標入力部材が表示部１２平面に
接触している中心にある点Ｐ、あるいは表示部１２平面
に最も近い点Ｐの動きベクトルに着目し、Ｘ方向の成分
Ｖｘの値がゼロのままでＹ方向の成分Ｖｙの値が変化し
た場合（ステップ４１３でＹＥＳ）、点Ｐと点Ｑとの間
のＹ軸方向についての距離ｈを求めて上記と同様にして
表示部１２面上における座標（ｘ，ｙ）を求める（ステ
ップ４１２）。そして、ＣＰＵ２０は得られた座標デー
タ列から表示用の描画データを生成して、これを表示コ
ントローラ２９を介して座標入力装置１の表示部１２に
表示する。

【００６４】ステップ４１３でＮＯのとき、点Ｐの動き
ベクトルのＸ方向の成分Ｖｘの値がマイナスの値、すな
わち表示部１２平面から離れる方向になった場合は（ス
テップ４１４でＹＥＳ）、座標入力状態を解除して表示
部１２面上における座標を求める動作を停止する（ステ
ップ４１５）。

【００６５】なお、座標入力状態となった後に、点Ｐの
動きベクトルのＸ方向の成分Ｖｘの値が正（表示部１２
平面に近づく方向）でＹ方向の成分Ｖｙの値が変化した
場合も表示部１２面上における座標（ｘ，ｙ）を求め
る。

【００６６】（実施例５）本実施例は、座標入力部材と
座標入力が行われる表示部材との距離が所定の値以下の
場合には撮像素子から出力される画像信号のフレームレ
ート（１秒間のフレーム数）を大きくして動きを精度よ
く見るようにし、それ以外の場合には撮像素子から出力
される画像信号のフレームレートを小さくして装置の負
荷を軽減させる実施例である。また、実施例５の座標入
力システムの構成、制御装置の構成は、実施例１と同様
である。

【００６７】実施例５の座標入力装置１の電子カメラ１
０と電子カメラ１１は、それぞれＣＭＯＳイメージセン
サ５１およびＣＭＯＳイメージセンサ５３から出力され
る画像信号のフレームレートを可変に制御でき、このフ
レームレートに応じたデータ量の画像データを制御装置
２の画像処理回路（１）３０と画像処理回路（２）３１
へ出力できるようになっている。ここでは、大小２種類
のフレームレートがあり、これらを適宜切り換えられる
ようになっているものとする。また、電源投入時はデフ
ォルトとして小さい方のフレームレートが選択されてい
るものとする。

【００６８】図１４は、実施例５に係る制御装置の処理
フローチャートを示す。実施例２と同様にして、画像処
理回路（１）３０は入力された１フレーム分の画像デー
タから物体の輪郭線を抽出する処理を行う（ステップ５
０１）。輪郭線が抽出されると、その輪郭線の形状より
その物体が座標入力部材であるか否かを判断する（ステ
ップ５０２）。座標入力部材であると判断した場合は、
画像データ中の座標入力装置１の表示部１２平面に該当
するエッジ部の像（直線）と座標入力部材であると判断
された物体の輪郭線上における各点との間の画素数を求
める（ステップ５０３）。

【００６９】次いで、この画素数の中の最小値Ｎｍｉｎ
が所定の値以下である場合には（ステップ５０４でＹＥ
Ｓ）、画像処理回路（１）３０は座標入力装置１の電子
カメラ１０に対してＣＭＯＳイメージセンサ５１から出
力される画像信号のフレームレートを大きくする要求コ
マンドを出す（ステップ５０５）。電子カメラ１０はこ
のコマンドを受け取ると、ＣＭＯＳイメージセンサ５１
から出力される画像信号のフレームレートを大きくする
ように制御する。これは、例えば、ＣＭＯＳイメージセ
ンサ５１を構成する各素子の電荷蓄積時間を短くするよ
うに設定することで実現される。この時点（つまり、ス
テップ５０４で）の画素数の最小値Ｎｍｉｎを比較する
所定の値は、実施例１から実施例４に示した座標入力部
材の動きベクトルデータのトレースを開始する時の値と
は異なり、より大きな値が設定される。

【００７０】続いて、実施例２と同様にして、座標入力
部材と表示部１２平面との距離が所定の範囲内（画像信
号のフレームレートを切り替える時の範囲より小さい）
であると判断した場合は（ステップ５０６でＹＥＳ）、
座標入力部材の動きベクトルデータをトレースし（トレ
ースを行う範囲＜大きいフレームレートの範囲）、座標
入力の判断処理（つまり、実施例１から実施例４で説明
した入力座標を求める処理）を行う（ステップ５０
７）。

【００７１】一方、座標入力部材が動きベクトルデータ
のトレースを行う範囲から出て（ステップ５０６でＮ
Ｏ）、さらに表示部１２平面から所定の距離（画像信号
のフレームレートを大きくなるように切り替えた距離）
以上になったと判断した場合は（ステップ５０８でＮ
Ｏ）、画像処理回路（１）３０は座標入力装置１の電子
カメラ１０に対してＣＭＯＳイメージセンサ５１から出
力される画像信号のフレームレートを小さくする要求コ
マンドを出し（ステップ５０９）、ステップ５０１に進
む。そして、ＣＭＯＳイメージセンサ５１から出力され
る画像信号のフレームレートが小さくなるように制御さ
れる。

【００７２】なお、座標入力部材が動きベクトルデータ
のトレースを行う範囲から出た場合は、座標入力部材の
輪郭線上の各点と表示部平面に該当するエッジ部の像
（直線）との間の画素数を調べることで、所定の距離以
上になったことを判断する。

【００７３】以上、画像処理回路（１）３０と電子カメ
ラ１０との間の動作を示したが、画像処理回路（２）３
１と電子カメラ１１も同様な動作を実行する。また、画
像処理回路から出されるフレームレートの切替要求コマ
ンドは、画像データを受信するケーブルを介して電子カ
メラへ渡される。

【００７４】（実施例６）本実施例は、光電変換された
信号を画素単位に独立して出力することができる撮像素
子を使用し、座標入力部材と座標入力が行われる表示部
材との距離が所定の値以下の場合には光電変換された信
号を出力する画素を座標入力部材の像を中心とした限定
された領域に含まれるものに限定して、装置の負荷を軽
減させる実施例である。また、実施例６の座標入力シス
テムの構成、制御装置の構成は、実施例１と同様であ
る。

【００７５】実施例６の電子カメラ１０と電子カメラ１
１は、それぞれＣＭＯＳイメージセンサ５１およびＣＭ
ＯＳイメージセンサ５３から画像信号を画素単位で出力
するように制御できる。電源投入時は、表示部１２平面
全体から所定の距離までの範囲を撮像している画素につ
いて画像信号を出力するように制御している。

【００７６】図１５は、実施例６に係る制御装置の処理
フローチャートを示す。実施例２と同様にして、画像処
理回路（１）３０は入力された１フレーム分の画像デー
タから物体の輪郭線を抽出する処理を行う（ステップ６
０１）。輪郭線が抽出されると、その輪郭線の形状より
その物体が座標入力部材であるか否かを判断する（ステ
ップ６０２）。座標入力部材であると判断した場合は、
画像データ中の座標入力装置１の表示部１２平面に該当
するエッジ部の像（直線）と座標入力部材であると判断
された物体の輪郭線上における各点との間の画素数を求
める（ステップ６０３）。

【００７７】次いで、この画素数の中の最小値Ｎｍｉｎ
が所定の値Ｋ以下である場合には（ステップ６０４でＹ
ＥＳ）、その輪郭線上の点のＹ軸方向の位置ｙｍ（Ｙ軸
方向の端からの画素数）を調べる。そして、このＹ軸方
向の位置ｙｍを中心として、ＣＭＯＳイメージセンサ５
１から画像信号を出力する画素領域をＹ軸のプラスおよ
びマイナス方向についてそれぞれλ画素に制限するため
の要求コマンドを座標入力装置１の電子カメラ１０に対
して出す（ステップ６０５）。この画像例を図１６
（ａ）に示す。

【００７８】電子カメラ１０はこのコマンドを受け取る
と、ＣＭＯＳイメージセンサ５１から画像信号を出力す
る画素領域を、Ｙ軸方向の位置ｙｍを中心としてＹ軸の
プラスおよびマイナス方向についてそれぞれλ画素に制
限するように制御する。

【００７９】その後、座標入力部材がＹ軸方向に所定の
距離（画素数Ｌ）だけ移動すると（ステップ６０６でＹ
ＥＳ）、ＣＭＯＳイメージセンサ５１から画像信号を出
力する画素領域をそのＹ軸方向の位置ｙｍ’を中心とし
てＹ軸のプラスおよびマイナス方向についてそれぞれλ
画素に制限するための要求コマンドを座標入力装置１の
電子カメラ１０に対して出す（ステップ６０７）。この
画像例を図１６（ｂ）に示す。

【００８０】このようにして、表示部１２平面と座標入
力部材との距離が所定の範囲内であれば、ＣＭＯＳイメ
ージセンサ５１から画像信号を出力する画素領域をＹ軸
方向について２λ画素となるように制御する。

【００８１】続いて、実施例２と同様にして、座標入力
部材と表示部１２平面との距離が所定の範囲内（画素数
（距離）Ｋより小さな画素数（距離）に設定）であると
判断した場合は、座標入力部材の動きベクトルデータを
トレースする。そして、座標入力部材が動きベクトルデ
ータのトレースを行う範囲から出て（ステップ６０８で
ＮＯ）、さらに表示部１２平面から所定の距離（画素数
Ｋ）以上になったと判断した場合は（ステップ６１０で
ＮＯ）、画像処理回路（１）３０は座標入力装置１の電
子カメラ１０に対してＣＭＯＳイメージセンサ５１から
表示部１２平面全体の範囲について画像信号を出力する
要求コマンドを出す（ステップ６１１）。そして、ＣＭ
ＯＳイメージセンサ５１から画像信号を出力する画素領
域は電源投入時の初期値と同じになるように制御され
る。

【００８２】なお、座標入力部材が動きベクトルデータ
のトレースを行う範囲から出た場合は、座標入力部材の
輪郭線上の各点と表示部平面に該当するエッジ部の像
（直線）との間の画素数を調べることで、所定の距離以
上になったことを判断する。

【００８３】以上、画像処理回路（１）３０と電子カメ
ラ１０との間の動作を示したが、画像処理回路（２）３
１と電子カメラ１１も同様な動作を実行する。また、画
像処理回路から出される画素領域の切替要求コマンド
は、画像データを受信するケーブルを介して電子カメラ
へ渡される。

【００８４】（実施例７）現在市販されているＰＤＰや
リアプロジェクションタイプの大画面ディスプレイは画
面サイズが４０インチから７０インチである。これらの
ディスプレイに表示される内容はパーソナルコンピュー
タ等からの出力画面であり、高画素タイプのＸＧＡ（Ｅ
ｘｔｅｎｄｅｄＧｒａｐｈｉｃｓＡｒｒａｙ：１０
２４×７６８画素）で表示された場合にも、メニュー選
択や筆記動作等が支障なく実行されることが要求され
る。

【００８５】この座標の読み取り分解能の条件を満たす
ために、撮像素子をディスプレイの一つの辺を挟んだ頂
角に各１個ずつ、計２個使用した場合には、約２０００
画素のラインを含んだ撮像素子が必要となる。

【００８６】座標入力部材の動きを精度よく見るために
は撮像素子から出力される画像信号のフレームレートを
大きくする必要があるが、１辺が２０００画素程度の２
次元撮像素子で出力フレームレートの大きなものを使用
すると、このコストが非常に高価なものとなり、製品全
体のコストを押し上げてしまう。

【００８７】撮像素子以外にも、１次元画像を処理する
手段は画素数の多い２次元画像を処理する手段に比べて
非常に安価に実現できる。

【００８８】そこで、実施例７および後述する実施例８
では、ディスプレイの表示画面上の２次元座標を求める
撮像素子として２０００画素程度の１次元ラインセンサ
を２個使用し、ディスプレイの表示画面近傍の空間にお
ける座標入力部材の動きはＶＧＡ（ＶｉｄｅｏＧｒａ
ｐｈｉｃｓＡｒｒａｙ：６４０×４８０画素）程度の
画素数の２次元撮像素子を１個あるいは２個使用して見
るようにして、コストを押さえる。

【００８９】図１７は、本発明の実施例７に係る座標入
力システムのシステム構成図を示す。この座標入力シス
テムは座標入力装置６０と制御装置６１とから構成され
ていて、座標入力装置６０は１次元撮像素子を具備した
２個の電子カメラ（ラインセンサカメラ）７０、７１と
２次元撮像素子を具備した１個の電子カメラ７２、表示
部７３および枠７４を具備している。

【００９０】ラインセンサカメラ７０、７１は１次元撮
像素子としてＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤ
ｅｖｉｃｅ）を使用している。この１次元ＣＣＤ（ライ
ンセンサ）は、その画素数が表示部７３に高画素タイプ
のＸＧＡ（１０２４×７６８画素）で表示された場合に
も、メニュー選択や筆記動作等が支障なく実行される程
度に高画素でまた画像信号の出力フレームレートは高画
素タイプの２次元撮像素子に比べて非常に大きい。これ
らのラインセンサカメラ７０、７１の光学的な位置関係
は図３に示したものと同じである。

【００９１】電子カメラ７２は、図１で説明した実施例
の電子カメラ１０と同様に２次元撮像素子としてＣＭＯ
Ｓセンサを使用しており、この画素数は表示部７３平面
に対して座標入力が行われる座標入力部材の動きを認識
できる程度に高画素でまた画像信号の出力フレームレー
トも大きい。

【００９２】ラインセンサカメラ７０、７１は撮像素子
において光電変換された電気信号をアナログ信号のまま
出力し、電子カメラ７２は撮像素子において光電変換さ
れた電気信号をＡ／Ｄ変換して、デジタル画像データを
出力する。また、各電子カメラの光軸は表示部７３平面
と平行となるように取り付けられている。なお、これら
の電子カメラのレンズは画角が９０度以上の広角レンズ
であり、表示部全体の領域について接触する座標入力物
体を撮像できるようになっている。

【００９３】表示部７３は大画面ディスプレイであり、
例えばＰＤＰが使用される。枠７４は黒色で、かつ光の
反射率が小さい材質で出来ている。また、この枠７４は
座標入力装置６０の右辺、左辺、下辺に沿って取り付け
られており、この枠の表示部７３平面と垂直方向の幅
は、ラインセンサカメラ７０、７１の撮像範囲の幅と等
しいかそれ以上であり、表示部７３の近傍に座標入力物
体が無い場合は、ラインセンサカメラ７０、７１はその
黒い枠を撮像するようになっている。

【００９４】図１８は、本発明の実施例７に係る制御装
置６１のハードウェア構成を示す。図中、ＣＰＵ８０、
メインメモリ８１、クロック８２、バスコントローラ８
３、ＲＯＭ８４、ＰＣＩブリッジ８５、キャッシュメモ
リ８６、ハードディスク８７、ＨＤコントローラ８８、
表示コントローラ８９、画像処理回路（１）９０、画像
処理回路（２）９１、画像処理回路（３）９２、ＬＡＮ
コントローラ９３、ＬＡＮＩ／Ｆ９４、ＦＤコントロ
ーラ９５、ＦＤドライブ９６、ＣＤ−ＲＯＭコントロー
ラ９７、ＣＤ−ＲＯＭドライブ９８、キーボードコント
ローラ９９、マウスＩ／Ｆ１００、ＲＴＣ１０１、ＣＰ
Ｕバス１０２、ＰＣＩバス１０３、Ｘバス（内部バス）
１０４は、制御装置６１に実装されている。

【００９５】これらの構成要素の中で、画像処理回路
（１）９０、画像処理回路（２）９１、画像処理回路
（３）９２以外は、図２で説明した実施例の各構成要素
と同じであるため、それらの説明は省略する。

【００９６】画像処理回路（１）９０は、座標入力装置
６０の電子カメラ７２から出力されたデジタル画像デー
タをＲＳ−４２２等のデジタルＩ／Ｆ（図示を省略）を
介して入力し、その画像データから物体の抽出処理や物
体の形状の認識処理、また物体の動きベクトルを求める
処理等を行う。画像処理回路（２）９１はＡ／Ｄ変換回
路を含んでおり、座標入力装置６０のラインセンサカメ
ラ７０から出力されたアナログ画像信号を同軸ケーブル
を介して入力し、その画像信号から１次元上における物
体の位置を検出する。なお、画像処理回路（２）９１は
ラインセンサカメラ７０に与えるクロックやライン転送
パルスはＲＳ−４２２等のデジタルＩ／Ｆ（図示を省
略）を介して出力する。画像処理回路（３）９２は画像
処理回路（２）９１と同じハードウェアであり、座標入
力装置６０のラインセンサカメラ７１から出力されたア
ナログ画像信号を入力し、画像処理回路（２）９１と同
様な動作を実行する。なお、画像処理回路（２）９１と
画像処理回路（３）９２からそれぞれラインセンサカメ
ラ７０とラインセンサカメラ７１へ与えるクロックやラ
イン転送パルスは同期するようになっている。

【００９７】ここで、ラインセンサカメラ７０、７１お
よび画像処理回路（２）９１、画像処理回路（３）９２
の動作を詳細に説明する。ラインセンサカメラ７０、７
１の撮像領域に座標入力物体が無く、黒い枠のみを撮像
している時のこれらのカメラからの出力信号のレベルを
基準レベルと定義する。ここで表示部７３近傍すなわち
ラインセンサカメラ７０、７１の撮像領域に座標入力物
体が存在すると、ラインセンサカメラ７０、７１の撮像
素子はこの物体表面から反射される太陽光や照明光等の
光を受光して、受光した画素は光電変換により電荷を掃
き出すため、ラインセンサの全画素分に相当するライン
センサカメラ７０、７１からの出力信号は、座標入力物
体からの反射光を受光した画素に相当する部分のみ信号
レベルが基準レベルに対して高くなる。この時のライン
センサカメラ７０、７１からの出力信号波形の１例は図
２５に示した通りである。

【００９８】画像処理回路（２）９１、画像処理回路
（３）９２は、この信号レベルが基準レベルを基に予め
決められたスレッシュレベルよりも大きいことを検知し
た場合はそのピークに相当する画素位置を求める。信号
のピーク部分の画素位置がわかると、その画素とライン
センサカメラ７０の光軸の結像位置の画素との距離ｈを
ラインセンサの画素間の距離（画素ピッチ）を用いて求
めることができる。なお、このｈは図４に示したｈであ
る。距離ｈが求まると、前述した実施例と同様に、式
（１）と式（２）より既知の値を持つｆとαを用いて角
度β１が求まる（図４を参照）。

【００９９】画像処理回路（３）９２においてもライン
センサカメラ７１から入力される画像信号を用いて上記
と同様な処理を行い、角度β２が求まる。これらのβ
１、β２および既知の値を持つＬを用いて式（３）と式
（４）より表示部７３面上における座標（ｘ，ｙ）が求
まる。

【０１００】図１９は、実施例７に係る制御装置６１の
処理フローチャートを示す。座標入力装置６０の電子カ
メラ７２は、内蔵されたＣＭＯＳイメージセンサの撮像
領域の中で、表示部７３平面と垂直方向については画像
信号を出力させる画素を制限する。すなわち、表示部７
３平面から所定の距離までの範囲を撮像している画素の
みについて画像信号を出力するように制御する。そし
て、この画像信号をＡ／Ｄ変換して、このデジタル画像
データを制御装置６１の画像処理回路（１）９０へ出力
する。画像処理回路（１）９０はこの入力された１フレ
ーム分の画像データから物体の輪郭線を抽出する処理を
行う（ステップ７０１）。

【０１０１】輪郭線が抽出されると、画像データ中の座
標入力装置６０の表示部７３平面に該当するエッジ部の
像（直線）と抽出された輪郭線上における各点との間の
画素数を求める（ステップ７０２）。次いで、この画素
数の中の最小値Ｎｍｉｎが所定の値以下である場合には
（ステップ７０３でＹＥＳ）、その画素数Ｎｍｉｎとな
った画素を中心とした物体の輪郭線上における所定数の
画素について、次に入力される１フレーム分の画像デー
タから動きベクトルを求める（ステップ７０４）。な
お、画像データ中における表示部７３平面に該当するエ
ッジ部の像（直線）をＹ軸、これと垂直な方向をＸ軸と
する。

【０１０２】このようにして、１フレーム分の画像デー
タが入力される毎に動きベクトルを求め、このＸ方向の
成分Ｖｘの値を各画素毎にメインメモリ８１に逐次記憶
しておく（ステップ７０５）。続いて、この逐次記憶さ
れたデータ（トレースデータ）に基づいて、物体が表示
部７３に対して座標入力を行ったか否かを判断する（ス
テップ７０６）。この判断方法として、例えば前述した
実施例３や実施例４に記載の方法を使用する。

【０１０３】座標入力が行われたと判断した場合は（ス
テップ７０７でＹＥＳ）、画像処理回路（２）９１と画
像処理回路（３）９２がラインセンサカメラ７０、７１
からの出力信号に基づいて座標入力物体の撮像位置を検
出して、その中心画素とラインセンサカメラ７０、７１
の光軸の結像位置の画素との距離ｈをそれぞれ求める
（ステップ７０８）。

【０１０４】画像処理回路（２）９１はこのｈを用いて
式（１）と式（２）より角度β１を求める（ステップ７
０９）。画像処理回路（３）９２においても同様にして
角度β２を求める。これらのβ１、β２および既知の値
を持つＬを用いて式（３）と式（４）より表示部７３面
上における座標（ｘ，ｙ）を求める（ステップ７１
１）。

【０１０５】（実施例８）実施例８の座標入力システム
の構成、制御装置の構成は、実施例７と同様である。図
２０は、実施例８に係る制御装置６１の処理フローチャ
ートを示す。

【０１０６】座標入力装置６０の電子カメラ７２は実施
例７と同様にして、画像データを制御装置６１の画像処
理回路（１）９０へ出力する。画像処理回路（１）９０
はこの入力された１フレーム分の画像データから物体の
輪郭線を抽出する処理を行う（ステップ８０１）。

【０１０７】輪郭線が抽出されると、その輪郭線の形状
よりその物体が座標入力部材であるか否かを判断する
（ステップ８０２）。この形状判断は、例えば実施例２
で説明した方法を使用する。そして、座標入力部材であ
ると判断した場合は（ステップ８０３でＹＥＳ）、画像
データ中の座標入力装置６０の表示部７３平面に該当す
るエッジ部の像（直線）と座標入力部材であると判断さ
れた物体の輪郭線上における各点との間の画素数を求め
る（ステップ８０４）。

【０１０８】次いで、この画素数の中の最小値Ｎｍｉｎ
が所定の値以下である場合には（ステップ８０５でＹＥ
Ｓ）、その画素数Ｎｍｉｎとなった画素を中心とした物
体の輪郭線上における所定数の画素について、次に入力
される１フレーム分の画像データから動きベクトル（Ｖ
ｘ，Ｖｙ）を求める（ステップ８０６）。なお、画像デ
ータ中における表示部７３平面に該当するエッジ部の像
（直線）をＹ軸、これと垂直な方向をＸ軸としている。

【０１０９】このようにして、入力される１フレーム分
の画像データ毎に、表示部７３平面と物体との距離が所
定の範囲内であれば輪郭線上の所定数の画素についてそ
の物体の動きベクトルを求め、このＸ方向の成分Ｖｘの
値を各画素毎にメインメモリ８１に逐次記憶しておく
（ステップ８０７）。続いて、この逐次記憶されたデー
タ（トレースデータ）に基づいて、物体が表示部７３に
対して座標入力を行ったか否かを判断する（ステップ８
０８）。この判断方法として、例えば前述した実施例３
や実施例４に記載の方法を使用する。

【０１１０】座標入力が行われたと判断した場合は（ス
テップ８０９でＹＥＳ）、画像処理回路（２）９１と画
像処理回路（３）９２がラインセンサカメラ７０、７１
からの出力信号に基づいて座標入力物体の撮像位置を検
出して、その中心画素とラインセンサカメラ７０、７１
の光軸の結像位置の画素との距離ｈをそれぞれ求める
（ステップ８１１）。

【０１１１】画像処理回路（２）９１はこのｈを用いて
式（１）と式（２）より角度β１を求める（ステップ８
１２）。画像処理回路（３）９２においても同様にして
角度β２を求める。これらのβ１、β２および既知の値
を持つＬを用いて式（３）と式（４）より表示部７３面
上における座標（ｘ，ｙ）を求める（ステップ８１
３）。

【０１１２】（実施例９）本実施例は、座標入力部材と
座標入力が行われる表示部材との距離が所定の値以下の
場合のみ１次元撮像素子から画像信号を出力するように
して、装置の負荷を軽減させる実施例である。実施例９
の座標入力システムの構成、制御装置の構成は、実施例
７と同様である。

【０１１３】図２１は、実施例９に係る制御装置６１の
処理フローチャートを示す。実施例９のラインセンサカ
メラ７０、７１は、それぞれ画像処理回路（２）９１と
画像処理回路（３）９２からの制御により、動作を開始
したり停止したりすることができるようになっている。
画像処理回路（２）９１と画像処理回路（３）９２は、
この制御信号をデジタルＩ／Ｆを介して出力する。

【０１１４】実施例７、８において、座標入力物体が座
標入力装置６０の表示部７３に接近して動きベクトルの
トレースを行う範囲に入った時（ステップ９０１）、画
像処理回路（２）９１および画像処理回路（３）９２は
ラインセンサカメラ７０、７１に対して動作開始信号を
出す（ステップ９０２）。ラインセンサカメラ７０、７
１は、この信号を受けると、撮像素子の光電変換処理を
開始して、画像信号の出力を開始し、座標入力の判断処
理を行う（ステップ９０３）。

【０１１５】次いで、座標入力物体が座標入力装置６０
の表示部７３から離れて動きベクトルのトレースを行う
範囲から出た時に（ステップ９０４）、画像処理回路
（２）９１および画像処理回路（３）９２はラインセン
サカメラ７０、７１に対して動作停止信号を出す（ステ
ップ９０５）。ラインセンサカメラ７０、７１は、この
信号を受けると、撮像素子の光電変換処理を停止して、
画像信号の出力を停止する。

【０１１６】なお、上記した実施例では、画像処理回路
（２）９１および画像処理回路（３）９２は座標入力物
体が動きベクトルのトレースを行う範囲に入った時に動
作開始信号を出すとしたが、座標入力物体が座標入力装
置６０の表示部７３に対してこれよりもっと大きな所定
の距離まで接近した時に動作開始信号を出すようにして
もよい。

【０１１７】（実施例１０）本実施例は、座標入力部材
と座標入力が行われる表示部材との距離が所定の範囲に
ある場合は、座標入力部材をカーソルの位置指定として
機能できるようにする実施例である。また、本実施例で
は、上記した所定の範囲内における座標入力部材の動き
からジェスチャーコマンド入力を行う。実施例１０の座
標入力システムの構成、制御装置の構成は、実施例１と
同様である。

【０１１８】図２２は、実施例１０に係る制御装置の処
理フローチャートを示す。座標入力装置１の電子カメラ
１０および電子カメラ１１から撮像された画像データか
ら物体の輪郭線を抽出して、その物体が表示部１２平面
から所定の距離範囲に存在していると判断した場合に、
その物体の動きベクトルを１フレーム毎に記憶し、その
記憶されたデータ（トレースデータ）からその物体が表
示部１２平面に対して座標入力を行ったか否かを判断し
て、座標入力が行われたと判断した場合に表示部１２平
面上における２次元座標を求める動作は、実施例１と同
様である。

【０１１９】本実施例では、上記した動きベクトルのト
レースを行う距離範囲を第１の範囲（Ｍ１）と定義し、
この範囲外でかつより長距離側に設定された距離範囲を
第２の範囲（Ｍ２）と定義する。この第１と第２の距離
範囲の例を図２３に示す。図２３は、第２の距離範囲
（Ｍ２）に座標入力物体であるペンが存在しているとこ
ろも示している。

【０１２０】画像処理回路（１）３０は、電子カメラ１
０から入力される画像データから物体の輪郭線を抽出し
て（ステップ１００１）、画像データ中の座標入力装置
１の表示部１２平面に該当するエッジ部の像（直線）と
抽出された輪郭線上における各点との間の画素数を求め
る（ステップ１００２）。

【０１２１】次いで、この画素数の中の最小値Ｎｍｉｎ
が第１の距離範囲の最大値に該当する所定の値Ｍ１より
大きく、かつ第２の距離範囲の最大値に該当する所定の
値Ｍ２以下である場合には（ステップ１００３でＹＥ
Ｓ）、その画素数Ｎｍｉｎとなった画素（点Ｐ）と広角
レンズ５０の光軸の結像位置の中心点Ｑの画素との間の
Ｙ軸方向についての画素数を求め、この値とＣＭＯＳイ
メージセンサ５１の画素間の距離（画素ピッチ）から点
Ｐと点Ｑとの間のＹ軸方向についての距離ｈを求める
（ステップ１００４）。

【０１２２】距離ｈが求まると、式（１）と式（２）よ
り角度β１が求まり（ステップ１００５）、また画像処
理回路（２）３１においても電子カメラ１１から入力さ
れる画像データを用いて上記と同様な処理により角度β
２が求まる。これらのβ１、β２および既知の値を持つ
Ｌを用いて式（３）と式（４）より表示部１２面上にお
ける座標（ｘ，ｙ）が求まる（ステップ１００６）。な
お、画像データ中における表示部１２平面に該当するエ
ッジ部の像（直線）をＹ軸としている。

【０１２３】その後、抽出された物体と表示部１２平面
との距離が第１の距離範囲の最大値より大きく、かつ第
２の距離範囲の最大値以下であると判断された間は、電
子カメラ１０および電子カメラ１１から入力される１フ
レーム分の画像データから上記と同様の動作を実行して
（ステップ１００４、１００５）、表示部１２面上にお
ける物体の座標（ｘ，ｙ）を求める（ステップ１００
６）。

【０１２４】ＣＰＵ２０は、これらの座標位置にカーソ
ルを表すグラフィックデータを表示コントローラ２９を
介して座標入力装置１の表示部１２に表示する（ステッ
プ１００７）。

【０１２５】上記した処理で、最小値Ｎｍｉｎが第１の
距離範囲の最大値に該当する所定の値Ｍ１より小さいと
きは（ステップ１００８でＹＥＳ）、Ｖｘのトレースデ
ータを基に座標入力が行われたか否かを判断し、座標入
力があるときには、以下、実施例１と同様に処理する。

【０１２６】なお、上記した実施例では、座標入力物体
が第２の距離範囲にある場合、電子カメラ１０および電
子カメラ１１から１フレーム分の画像データを入力する
毎に表示部１２面上における物体の座標を求める場合を
示したが、所定のフレーム分の画像データを入力する毎
に表示部１２面上における物体の座標を求めるようにし
てもよい。

【０１２７】また、上記した実施例では、座標入力物体
が第２の距離範囲にある場合、表示部１２上のその物体
に対応した位置にカーソルを表示する場合を示したが、
この座標データを他の目的、例えばジェスチャーコマン
ド入力のために使用することもできる。この場合、座標
データをその座標が算出された時間情報とともに記憶
し、この記憶された座標データ列（トレースデータ）に
基づいて、その物体の動きがコマンド入力用として予め
定義された動きのパターンと一致するか否かを判断す
る。この動きのパターンからコマンドを識別するための
方法として、例えば特開平５−１９７８１０号公報に開
示された方法（撮影した画像中に検出された動きベクト
ルの空間的および時間的な組み合わせパターンから予め
用意されたパターン辞書を用いて、このパターンに対応
したコマンドを識別する）がある。

【０１２８】このコマンドの一例として、表示部１２に
表示されている画面データのスクロールがある。例え
ば、表示部１２平面に対して物体を上から下へ所定の速
度範囲で所定の距離だけ移動すると画面を下へスクロー
ルさせるコマンドとして認識する。そして、表示部１２
に表示されている画面データを所定量だけ下方へスクロ
ールして表示画面を更新する。

【０１２９】さらに、抽出された物体の形状を認識し
て、その物体が座標入力用のものか否かを判断する物体
形状認識手段を持たせて、座標入力用のものであると判
断した場合のみ、上記の動作を実施するようにしてもよ
い。

【０１３０】

【発明の効果】以上、説明したように、請求項１、７、
１６、１７記載の発明によれば、座標入力部材である物
体の動きを見ることで座標入力が行われたことを判断す
るため、被入力部材であるディスプレイ等の表面が歪ん
でいる場合にも座標入力の検出精度が劣化せず、装置の
利便性が向上する。また、座標入力装置における撮像素
子（電子カメラ）の取り付けに高い精度は要求されない
ため、装置の設置作業の負担を軽減させることができ
る。

【０１３１】請求項２、８、１６、１７記載の発明によ
れば、座標入力が行われる物体が座標入力部材であると
判断した場合のみ座標入力処理を実行するため、操作者
の意図しない座標入力を防止することができる。

【０１３２】請求項９、１６記載の発明によれば、被入
力部材の近傍の所定の領域における座標入力部材の動き
を見ているので、筆記入力する場合に確実に座標を入力
することができる。

【０１３３】請求項１０記載の発明によれば、撮像素子
から出力される画像信号のフレームレートを適応的に切
り替えるため、不必要な処理を省略でき、装置の処理負
荷を軽減させることができる。

【０１３４】請求項１１記載の発明によれば、画像信号
を出力する撮像素子の画素領域を適応的に切り替えるた
め、不必要な処理を省略でき、装置の処理負荷を軽減さ
せることができる。

【０１３５】請求項１２、１３、１６、１７記載の発明
によれば、座標入力動作を判断する処理では、座標入力
部材の動きを観察できる程度の画素数の２次元撮像素子
を使用し、被入力部材の平面上の２次元座標を求める処
理では、コストの安い１次元ラインセンサを使用してい
て、また、１次元画像を処理する手段は画素数の多い２
次元画像を処理する手段に比べて非常に安価に実現でき
るため、装置のコストを抑えることができる。

【０１３６】請求項１４記載の発明によれば、１次元撮
像素子およびそのカメラ部の動作を適応的にＯＮ、ＯＦ
Ｆできるため、装置の処理負荷を軽減させることができ
るとともに、省電力の効果ももたらすことができる。

【０１３７】請求項３〜６、１５、１６、１７記載の発
明によれば、座標入力部材である物体と被入力部材との
間の距離に応じて異なる情報を入力できるので、入力装
置の操作性が著しく向上する。また、座標入力部材であ
る物体と被入力部材であるディスプレイ等の表面までの
距離が、ポインティングや筆記入力が行われたことを判
断するために必要な距離以上の所定の範囲である場合に
は、ディスプレイ上のその物体に対応した位置にカーソ
ル等が表示されたり、あるいは物体の動きからジェスチ
ャーコマンド入力が行われるため、装置の利便性が向上
する。

【０１３８】請求項１８記載の発明によれば、被入力部
材の近傍の所定の領域において座標入力部材の動きが反
転したことを検出することにより座標入力が行われたと
判定しているので、入力の判定が確実かつ容易に行うこ
とができる。

【図面の簡単な説明】

【図１】本発明の実施例１に係る座標入力システムの構
成を示す。

【図２】本発明の実施例１に係る制御装置の構成を示
す。

【図３】座標入力部材の接触位置を求める方法を説明す
る図である。

【図４】広角レンズとイメージセンサ付近を拡大した図
である。

【図５】イメージセンサの画素配列（Ｙ軸）と表示部平
面のエッジ部の像（直線）との関係を説明する図であ
る。

【図６】本発明の実施例１に係る制御装置の処理フロー
チャートを示す。

【図７】電子カメラで撮影した画像の一部を示す。

【図８】座標入力時に表示面がへこんだ例を示す。

【図９】本発明の実施例２に係る制御装置の処理フロー
チャートを示す。

【図１０】座標入力部材の画像が基準線に対して回転し
ている例を示す。

【図１１】座標入力部材の画像が左右対称である例を示
す。

【図１２】本発明の実施例３に係る制御装置の処理フロ
ーチャートを示す。

【図１３】本発明の実施例４に係る制御装置の処理フロ
ーチャートを示す。

【図１４】本発明の実施例５に係る制御装置の処理フロ
ーチャートを示す。

【図１５】本発明の実施例６に係る制御装置の処理フロ
ーチャートを示す。

【図１６】（ａ）、（ｂ）は、センサから出力する画像
信号の画素領域を制限する例を示す。

【図１７】本発明の実施例７に係る座標入力システムの
構成を示す。

【図１８】本発明の実施例７に係る制御装置の構成を示
す。

【図１９】本発明の実施例７に係る制御装置の処理フロ
ーチャートを示す。

【図２０】本発明の実施例８に係る制御装置の処理フロ
ーチャートを示す。

【図２１】本発明の実施例９に係る制御装置の処理フロ
ーチャートを示す。

【図２２】本発明の実施例１０に係る制御装置の処理フ
ローチャートを示す。

【図２３】ペンの動きベクトルのトレースを行う第１、
第２の範囲の例を示す。

【図２４】１次元撮像素子のみを使用した座標入力装置
を示す。

【図２５】オシロスコープでのカメラ出力信号波形を示
す。

【符号の説明】

１座標入力装置２制御装置１０、１１電子カメラ１２表示部

Claims

【特許請求の範囲】

【請求項１】平面と所定物体を含む画像から前記平面
上の所定物体を抽出し、前記平面と前記物体との間の所
定距離内における前記物体の動きを検出したとき、前記
物体によって所定の情報が入力されたと判定することを
特徴とする情報入力方法。
【請求項２】平面と所定物体を含む画像から前記平面
上の所定物体を抽出し、抽出された前記物体が所定形状
であることを認識し、前記平面と前記所定形状の物体と
の間の所定距離内における前記所定形状の物体の動きを
検出したとき、前記所定形状の物体によって所定の情報
が入力されたと判定することを特徴とする情報入力方
法。
【請求項３】平面と所定物体を含む画像から前記平面
上の所定物体を抽出し、前記平面と前記物体との間の距
離が所定距離内にあって、前記物体が第１の距離にある
とき、前記物体から所定の情報を入力し、前記物体が第
１の距離を超えて第２の距離内にあるとき、前記物体に
対して所定の情報を表示することを特徴とする情報入力
方法。
【請求項４】平面と所定物体を含む画像から前記平面
上の所定物体を抽出し、前記平面と前記物体との間の距
離が所定距離内にあって、前記物体の前記平面からの距
離に応じて、前記物体から異なる情報を入力することを
特徴とする情報入力方法。
【請求項５】前記物体が第１の距離にあるとき、前記
物体が位置する情報を入力することを特徴とする請求項
４記載の情報入力方法。
【請求項６】前記物体が第１の距離を超えて第２の距
離内にあるとき、前記物体の動きに基づいた情報を入力
することを特徴とする請求項４記載の情報入力方法。
【請求項７】座標入力が行われる平面上の領域を撮像
する複数の撮像素子を配置した画像入力手段と、前記画
像入力手段により撮像した画像から所定の物体を抽出す
る物体抽出手段と、前記抽出された物体と前記平面との
距離が所定の範囲内にあるか否かを判定する距離判定手
段と、前記距離が所定の範囲内にあると判定されたと
き、前記物体の動きベクトルを求める動きベクトル検出
手段と、前記検出された動きベクトルを基に前記物体が
前記平面に対して座標入力を行ったか否かを判定する動
き認識手段と、前記動き認識手段により座標入力が行わ
れたと判定したとき、前記各撮像素子上における前記物
体の像の位置を基に、前記平面上における前記物体の２
次元座標を算出する座標算出手段とを備えたことを特徴
とする座標入力装置。
【請求項８】座標入力が行われる平面上の領域を撮像
する複数の撮像素子を配置した画像入力手段と、前記画
像入力手段により撮像した画像から所定の物体を抽出す
る物体抽出手段と、前記抽出された物体の形状を認識し
て、前記物体が座標入力用の物体であるか否かを判定す
る形状認識手段と、前記物体が座標入力用の物体である
と判定されたとき、前記座標入力用の物体と前記平面と
の距離が所定の範囲内にあるか否かを判定する距離判定
手段と、前記距離が所定の範囲内にあると判定されたと
き、前記座標入力用の物体の動きベクトルを求める動き
ベクトル検出手段と、前記検出された動きベクトルを基
に前記座標入力用の物体が前記平面に対して座標入力を
行ったか否かを判定する動き認識手段と、前記動き認識
手段により座標入力が行われたと判定したとき、前記各
撮像素子上における前記座標入力用の物体の像の位置を
基に、前記平面上における前記座標入力用の物体の２次
元座標を算出する座標算出手段とを備えたことを特徴と
する座標入力装置。
【請求項９】座標入力が行われる平面上の領域を撮像
する複数の撮像素子を配置した画像入力手段と、前記画
像入力手段により撮像した画像から所定の物体を抽出す
る物体抽出手段と、前記抽出された物体の形状を認識し
て、前記物体が座標入力用の物体であるか否かを判定す
る形状認識手段と、前記物体が座標入力用の物体である
と判定されたとき、前記座標入力用の物体と前記平面と
の距離が所定の範囲内にあるか否かを判定する距離判定
手段と、前記距離が所定の範囲内にあると判定されたと
き、前記座標入力用の物体の動きベクトルを求める動き
ベクトル検出手段と、前記検出された動きベクトルの成
分の中で前記平面と垂直方向の成分を逐次記憶し、前記
平面と垂直方向の動きベクトル成分がゼロとなったとき
に座標入力が行われたと判定して座標入力状態とし、そ
の後、前記平面と垂直方向の動きベクトル成分が前記平
面から離れる方向であることを検出したとき前記座標入
力状態を解除する動き認識手段と、前記座標入力状態と
なったとき、前記各撮像素子上における前記座標入力用
の物体の像の位置を基に、前記平面上における前記座標
入力用の物体の２次元座標を算出する座標算出手段とを
備えたことを特徴とする座標入力装置。
【請求項１０】前記距離判定手段により前記抽出され
た物体または座標入力用の物体と前記平面との距離が所
定の範囲内にあると判定されたときは、前記撮像素子か
ら出力される画像データ量を多くし、前記抽出された物
体または座標入力用の物体と前記平面との距離が所定の
範囲外にあると判定されたときは、前記撮像素子から出
力される画像データ量を少なくする切替手段を備えたこ
とを特徴とする請求項７、８または９記載の座標入力装
置。
【請求項１１】前記距離判定手段により前記抽出され
た物体または座標入力用の物体と前記平面との距離が所
定の範囲内にあると判定されたときは、前記撮像素子に
おいて光電変換された信号を出力する画素領域を、前記
抽出された物体像または座標入力用の物体像を中心とし
た所定領域に限定する撮像素子制御手段を備えたことを
特徴とする請求項７、８または９記載の座標入力装置。
【請求項１２】座標入力が行われる平面上の領域を撮
像する複数の１次元撮像素子と１または複数の２次元撮
像素子を配置した画像入力手段と、前記２次元撮像素子
により撮像した画像から所定の物体を抽出する物体抽出
手段と、前記抽出された物体と前記平面との距離が所定
の範囲内にあるか否かを判定する距離判定手段と、前記
距離が所定の範囲内にあると判定されたとき、前記物体
の動きベクトルを求める動きベクトル検出手段と、前記
検出された動きベクトルを基に前記物体が前記平面に対
して座標入力を行ったか否かを判定する動き認識手段
と、前記動き認識手段により座標入力が行われたと判定
したとき、前記各１次元撮像素子上における前記物体の
像の位置を基に、前記平面上における前記物体の２次元
座標を算出する座標算出手段とを備えたことを特徴とす
る座標入力装置。
【請求項１３】座標入力が行われる平面上の領域を撮
像する複数の１次元撮像素子と１または複数の２次元撮
像素子を配置した画像入力手段と、前記２次元撮像素子
により撮像した画像から所定の物体を抽出する物体抽出
手段と、前記抽出された物体の形状を認識して、前記物
体が座標入力用の物体であるか否かを判定する形状認識
手段と、前記物体が座標入力用の物体であると判定され
たとき、前記座標入力用の物体と前記平面との距離が所
定の範囲内にあるか否かを判定する距離判定手段と、前
記距離が所定の範囲内にあると判定されたとき、前記座
標入力用の物体の動きベクトルを求める動きベクトル検
出手段と、前記検出された動きベクトルを基に前記座標
入力用の物体が前記平面に対して座標入力を行ったか否
かを判定する動き認識手段と、前記動き認識手段により
座標入力が行われたと判定したとき、前記各１次元撮像
素子上における前記座標入力用の物体の像の位置を基
に、前記平面上における前記座標入力用の物体の２次元
座標を算出する座標算出手段とを備えたことを特徴とす
る座標入力装置。
【請求項１４】前記距離判定手段により前記抽出され
た物体または座標入力用の物体と前記平面との距離が所
定の範囲内にあると判定された場合にのみ、前記１次元
撮像素子から画像信号を出力するように制御する撮像素
子制御手段を備えたことを特徴とする請求項１２または
１３記載の座標入力装置。
【請求項１５】座標入力が行われる平面上の領域を撮
像する複数の撮像素子を配置した画像入力手段と、前記
画像入力手段により撮像した画像から所定の物体を抽出
する物体抽出手段と、前記抽出された物体と前記平面と
の距離が第１の範囲内にあるか否かを判定する第１の距
離判定手段と、前記抽出された物体と前記平面との距離
が前記第１の範囲を超えてかつ第２の範囲内にあるか否
かを判定する第２の距離判定手段と、前記距離が前記第
１の範囲内にあると判定されたとき、前記物体の動きベ
クトルを求める動きベクトル検出手段と、前記検出され
た動きベクトルを基に前記物体が前記平面に対して座標
入力を行ったか否かを判定する動き認識手段と、前記動
き認識手段により座標入力が行われたと判定したとき、
前記各撮像素子上における前記物体の像の位置を基に、
前記平面上における前記物体の２次元座標を算出する座
標算出手段と、前記距離が前記第１の範囲を超えてかつ
第２の範囲内にあると判定されたとき、前記物体に対し
て所定の情報を表示するように制御する表示制御手段と
を備えたことを特徴とする座標入力装置。
【請求項１６】前記動きベクトル検出手段は、前記物
体または座標入力用の物体の動きベクトルを前記撮像素
子から所定量の画像データが出力される毎に求めること
を特徴とする請求項７、８、９、１２、１３または１５
記載の座標入力装置。
【請求項１７】前記動き認識手段は、検出された動き
ベクトルの成分の中で前記平面と垂直方向の成分を逐次
記憶し、該記憶されたデータを基に前記物体または座標
入力用の物体が前記平面に対して座標入力を行ったか否
かを判定することを特徴とする請求項７、８、１２、１
３または１５記載の座標入力装置。
【請求項１８】前記動き認識手段は、前記逐次記憶さ
れた垂直方向の動きベクトル成分の方向が前記平面に接
近する方向から離れる方向へ反転したことを検出したと
き、座標入力が行われたと判定することを特徴とする請
求項１７記載の座標入力装置。