JP4049877B2 - Computer system using electronic pen - Google Patents

Computer system using electronic pen Download PDF

Info

Publication number
JP4049877B2
JP4049877B2 JP05592698A JP5592698A JP4049877B2 JP 4049877 B2 JP4049877 B2 JP 4049877B2 JP 05592698 A JP05592698 A JP 05592698A JP 5592698 A JP5592698 A JP 5592698A JP 4049877 B2 JP4049877 B2 JP 4049877B2
Authority
JP
Japan
Prior art keywords
electronic pen
pointer
information
computer
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05592698A
Other languages
Japanese (ja)
Other versions
JPH10333817A (en
Inventor
康弘 福崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Priority to JP05592698A priority Critical patent/JP4049877B2/en
Publication of JPH10333817A publication Critical patent/JPH10333817A/en
Application granted granted Critical
Publication of JP4049877B2 publication Critical patent/JP4049877B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、電子ペン搭載の位置検出装置をコンピュータの入力装置として用いる場合のコンピュータシステム(位置指示器、位置検出装置、インターフェース、コンピュータ本体、オペレーティングシステムと呼ばれる基本ソフト、タブレットドライバ、アプリケーションソフト、表示装置等を含むコンピュータシステム全体)に関する。ことに相対座標モードを実現するコンピュータシステム及び、相対座標モード・絶対座標モードを切り換えて使うコンピュータシステムに関する。
【0002】
【従来の技術】
コンピュータ、特にパソコンの座標入力装置として、従来はマウスが多用されていた。最近は電子ペンと呼ばれる位置指示器を使った座標入力装置(位置検出装置)も用いられるようになってきた。
【0003】
マウスは、マウスと呼ばれるパック形状の位置指示器を操作者が移動させる量に従って、コンピュータ画面上のポインター(以下、単に「ポインター」と略す。)を移動させるものである。もっと正確にいえば、マウスを机上で滑らせた距離が、ポインターの移動に反映される。つまり、マウスが空中にある(操作者が机から持ち上げている)場合の移動距離はポインターの移動には反映されない。その結果、ポインターの位置とマウスの位置とが相対的に決定される(絶対的には対応していない)ので、このような操作方法は相対座標入力と呼ばれる。
【0004】
一方、電子ペンを搭載した座標入力装置では、電子ペンの指示位置は、電子ペン先端が位置検出装置の検出面(タブレット面上の座標読取領域)内の絶対位置座標として求められ、この位置がポインターの位置に一対一に反映されることになる。電子ペンの指示位置がポインターの位置に一対一に反映されるとはいっても、対応する位置関係をアプリケーションプログラム等の機能によりダイナミックに変化させること(アプリケーション等の機能により座標系を変換し、拡大・縮小・回転・平行移動等を実行すること)は有り得る。ここでは、特に、電子ペンが空中にあっても、その移動量が最終的にポインターの指示位置に反映されることに着目し、そのような操作方法(インキングなどの手書き入力に適した操作方法)を絶対座標入力と呼ぶことにする。電子ペンは例えば電磁誘導を用いた位置検出装置の位置指示器として用いられるものであり、感圧パッドの筆記具とは異なりある一定の読みとり高さの範囲内で座標を検出し得るという性質を有しているので、感圧パッドの筆記具のように強い筆圧を加えつづけなくともインキング(手書き入力)が可能であるという特徴を有する。
【0005】
この明細書で、絶対座標入力とか、相対座標入力とか言っているのは、例えばインターフェースに関するデータのフォーマットにおける位置情報の表現方法の違いではなく、入力デバイスの操作のポインター位置への反映方法の違いのことである。言い替えれば、絶対か相対かは操作者が入力デバイスを操作する感覚とコンピュータ画面上のポインターの動きとの関係を操作者が視覚により感ずる操作感に着目した違いをいっているのであり、それを実現する機能を有する特定の部分(おそらくはタブレット内部の座標処理プログラム、コンピュータ本体側に組み込むタブレットドライバソフト、アプリケーションソフトのうちのいずれか)に着目するのではなくコンピュータシステム全体でその機能を有していると見ることとする。最終的に表示装置上のポインターの動きに反映される操作者の操作感に着目する限りにおいては、途中の処理における座標データ形式が相対座標であるか絶対座標であるかはあまり意味がない。座標データ形式の意味における相対座標を扱っていたとしても最終的にそのデータをポインターの座標に足し合わせた結果は表示画面上の絶対座標になるからである。また、座標データ形式の意味における絶対座標が継続的に検出されている状態にあっては時間的に隣合うデータ同士の引き算を実行することにより相対座標を生成することが可能である。相対座標は移動量であると捉えることができるからである。
【0006】
【発明が解決しようとする課題】
さて、従来のシステムにおいては、ウィンドウズ(米国マイクロソフト社の商標)などのシステムにおいて、その指示操作を行ういわゆるポインティングと呼ばれる処理をマウスで行い、ワープロなどの文字入力処理はキーボードで行ってきた。ポインティングの操作は、いわゆるグラフィカル・ユーザ・インタフェース(GUI)の観点から用いられるものであって、ポインターを動かして、指示対象を選び、その状態でボタンを押すなどの操作をして、指示対象に関連づけられた処理を起動するものである。ポインティング操作においては、指示位置の指定のほかには単純なオン・オフを指示できる操作スイッチのようなものがあればよい。
【0007】
ところが、近年、電子ペンの普及により、文字は電子ペンによる手書き入力(インキング入力)が可能になってきた。このような手書き文字の入力や、あるいは実際の筆記具と同じ様な筆づかいによる描画では、前述の絶対座標モードが必須である。さらにこの場合は、ペン先にかかる筆圧の強さを検出することにより、筆圧に応じた太さや濃淡を付けるといった表現も可能になってきた。つまり、単純なオン・オフではない連続量が入力可能である。
【0008】
また、電子ペンを用いた位置検出装置も価格と使い易さの点から、小型のものになりつつある。そこで、電子ペンの操作であっても、前述のマウスと同じ様な相対座標モードを取り入れることにより、ペンを持った手の手首を固定しておいてペンを動かすことにより、ポインターを移動させてマウスと同様の操作をすることを実現させるのが最近の傾向である。タブレットと呼ばれる位置検出装置は頻繁に(通常1秒間に数百回程度)絶対座標(タブレット上の座標読み取り領域内のXY直交座標を意味する形式的な意味の絶対座標)を検出しているので、隣合う(あるいは必要ならば適度に間引いて)二つの絶対座標を取得し、それらの絶対座標から引き算をする(タブレット内部の処理装置で実行するか、コンピュータ本体側のOS又はドライバソフトで実現するかを問わずに)ことにより相対座標(移動量情報)を生成できるからである。このように絶対座標検出装置を用いて相対座標入力(マウスと同様の入力)を可能にするやり方をマウスエミュレーションモード又は疑似マウスモードと呼んでいる。
【0009】
マウスであれば、その構造上(機械マウスであれば、ボールの回転を直交する2方向について検出し、光学マウスであれば直交する多数の縞模様の横切る回数を計測する構造を有する)必然的に相対座標モードになる。電子ペンにあっては、そもそも絶対座標モードであって、相対座標モードで使う場合には、特にマウスをエミュレーションする(疑似的にマウスの機能を果たすように見せかける)手法が一般にとられている。ここで、問題となるのは、マウスでポインターの移動距離を大きく取ろうとする際に通常行う往復運動の動きをタブレットを用いたマウスエミュレーションモードでどのように実現するかである。
【0010】
マウスでは、机上で操作者が動かす際にポインターを大きく動かそうとすると、机上の端から端まで動かしてそれを実現することも可能であるが、通常はそれをせずに狭い範囲内でマウスを往復運動させることで足りることをコンピュータ操作者は知らず知らずのうちに学習している。この往復運動をもしもマウスをマウスパッド(又は机上)と接した状態を保ったまま実行したのではポインターはいったり来たりするだけであって操作者の思い通りの動きはできない。この往復運動においては行きでマウスパッドと接触させたなら帰りはマウスを少し持ち上げて相対座標を検出しない状態で動かすことを操作者は無意識のうちに学んでいる。
【0011】
このことのアナロジーを電子ペンのマウスエミュレーションモードで考えてみる。従来は、位置検出装置(タブレット面)からの電子ペンの高さの違いによって、ポインターを動かすかどうか(相対座標の算出結果をポインターの動きに反映させるか否か)の判定を行っていた。また、この場合は、ポインティング操作となるので、ペン先の圧力の単純な有無で、指示位置に関連する処理の起動(例えば、選択したメニューの決定)を行うようになる。しかし、高さの正確な判定は難しくコストアップの要因となるので、判定する高さは高くなる傾向にある。そうすると電子ペンを高く持ち上げることが必要となるので使いにくくなるという課題があった。見方を変えれば、インキング入力のしやすさを優先させて判定高さを高く設定するとポインティング入力がしずらくなり、ポインティング入力のしやすさを優先させて判定高さを低くするとインキング入力がしずらくなるという課題があった。
【0012】
【発明が解決しようとする課題】
そこで、本発明では、高さを判定するのではなく、電子ペンの筆圧の連続量としての検出(例えば1グラム重から60グラム重までの筆圧の大きさを連続的に512段階にわたって識別すること)機能を利用して、ペン先がわずかに触れた時に、ペン先の移動をポインターの移動に反映させるようにした。
【0013】
また、ペン先をさらに押すことにより、指示位置に関連する処理の起動を行うようにした。これにより、ペン先をほとんど持ち上げることなく、ポインターの移動が可能になり、操作性が向上した。
【0014】
さて、このような相対モード(疑似マウスモード)はポインティング操作には便利であるが、文字を書いたり、筆のような運びで絵を描いたりすること(インキング入力)はできない。そこで、相対モードと絶対モードとを適宜切り換えながら操作できるようにした。
【0015】
モードの切り換えは、例えば、タブレットに設けたスイッチや、電子ペンに設けたスイッチ、もしくは別の入力装置(例えばキーボード)の操作によって行うことができる。
【0016】
また、さらに望むらくは、用途に応じて二つのモードを自動的に切り換えることである。例えば、手書き文字認識ソフトにおいては、表示画面上の一部に手書き文字の入力領域を有するものがある。このような手書き文字入力領域においては、絶対モードに自動的に切り替わるようにすれば、いちいちモードを切り換える操作が不要になる。
【0017】
同じく、描画ソフトにおいても、絶対(手書き)モードに自動的に切り替わるようにすることが考えられる。ただし、マウス的な操作に慣れた人であれば、相対(疑似マウス)モードでも、使用できるので、このような場合は使用する人の好みに応じて、自動的に切り替わるようにすればよい。この場合の設定は事前に行っておき、切り換えるか否かの設定をカスタマイズすることになる。
【0018】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について説明する。
【0019】
図1は、本発明の構成を示す機能ブロック図である。位置検出装置10は、いわゆるデジタイザとかタブレットとか呼ばれる絶対座標検出装置である。本発明で用いる位置検出装置は筆圧を連続値情報として検出可能なものである。例えば、日本国埼玉県大利根町に住所を有する株式会社ワコムが提供する位置検出装置の多くは筆圧を連続値として(単なる筆圧の有無のみならず連続値情報、例えば1グラム重から60グラム重までの連続的な筆圧を数百段階の大きさに識別して)検出できる電磁誘導を利用した位置検出装置であることが知られている。
【0020】
座標データ処理部20は、コンピュータ本体側に主に存在する部分であり、ハードウェア的にみれば、CPUが所定のプログラムに従って処理を実行することにより位置検出装置10からコンピュータに入力された座標情報を処理する機能部分である。ソフトウェア的にみれば、コンピュータの基本ソフトであるオペレーションシステム、周辺機器たるタブレットの駆動ソフトウェアであるタブレットドライバソフト、アプリケーションプログラム等が相互に連携してこの働きを果たす。
【0021】
「コンピュータ本体側に主に存在する」と書いたのはこの働きの一部を位置検出装置10側にもたせることとする変形実施例も可能だからである。近時の位置検出装置では、その内部にプロセッサ及び必要なプログラムを書き込んだROM等を持ち、座標データ処理を行うのが通常である。疑似マウスモードと手書きモードとの切替を位置検出装置側のスイッチ又は位置指示器のスイッチ操作(又は筆圧変化)で行おうとする場合には、座標データ処理部20の一部が位置検出装置側に存在することになる。
【0022】
図1において、位置検出装置10から座標データ処理部20への矢印は、操作者の位置指示器の動かす動作に従って位置検出装置10が検出した座標データが座標データ処理部20に送出されて、そこで処理されることを示している。
【0023】
図1における表示処理部30は、コンピュータの処理内容のうち操作者に見せるために表示する内容を処理する部分である。つまり、図示を省略した表示装置(CRTディスプレイ等)に表示させる表示データを作成する周知の機能部分である。座標データ処理部20から表示処理部30への矢印は、座標データ処理部20からポインターの座標に関する情報が表示処理部30に送出され、その結果表示装置の表示画面上に操作者の意思に基づくポインターが表示されることとなる事情を示している。
【0024】
図1におけるアプリケーションソフトウェア40は、例えば図面作成ソフト、ワープロソフト、写真編集ソフト、ドローイングソフト等のアプリケーションソフトであって、特に座標を取得して作業する部分をいう。座標データ処理部20からアプリケーションソフトウェア40に向かう矢印は、操作者がマウス等により入力した座標データをアプリケーションソフトウェア40が取得して当該アプリケーションソフトの処理に使用することを示している。逆向きの矢印、つまりアプリケーションソフト40から座標データ処理部20への矢印は、アプリケーションソフトウェアが新たなウィンドウ(作業領域)を開いた際にそのウィンドウ(領域)内では特にインキング入力(手書き入力)を必要とする場合に絶対座標モード(手書き入力モード:インキング入力モード)での座標データ処理を座標データ処理部20が実行するように指示を与えることを意味している。このようなモード選択指示をアプリケーションプログラムに行わせることはまったくアプリケーションプログラム側の設計事項となる。座標データ処理部20側は常に相対座標モード(疑似マウスモード)としておき、絶対座標モードの処理はアプリケーションプログラム側で行うこととする変形実施例も本発明の範疇に含まれるものである。
【0025】
図1において、座標モード選択指示部50は、座標データ処理部20の座標データ処理モードを絶対座標モード(インキング入力モード)および相対座標モード(疑似マウスモード)との間で切替える指示を与える機能を有する部分である。実際に操作者の操作する器具としては、位置指示器のサイドスイッチ(通常、電子ペンの脇に設けられているスイッチ)、タブレット上の押しやすい位置に設けられたスイッチ、キーボードのキー等のうちのいずれかになる。操作者がそれを操作することにより操作者の意思に基づいてモード切り替えが行なわれる。このモード切替は上述したアプリケーションプログラムによるモード切換と併用してあるいは単独で採用され得る。
【0026】
図1における文字認識エンジン60は、絶対座標モードにおいて手書き文字入力をした際にそれを認識するためのものである。本発明に必須のものではないが、これを採用することによりキーボードなしにタブレットだけでコンピュータ操作の大半をすることも可能となる。
【0027】
図2は、本発明における絶対座標モードの処理内容の一例を示すフローチャートである。座標モード選択指示部50の働きにより操作者の意思に基づくモード切り替え、又はアプリケーションソフトウェア40の働きによりアプリケーションの必要に基づくモード切り替えが実行されて絶対座標モードが選択された結果、この絶対座標モードのプログラムにはいる(ステップ100)。
【0028】
まず、電子ペンのペン先の移動距離をポインターの表示位置の座標に加算する処理を実行する(ステップ101)。この処理はタブレットが形式的な意味での絶対座標を出力するものであっても時間的に隣合う座標情報の引き算によりペン先の移動量が算出できるので、それを求めることを前提にしている。マウスエミュレーション(疑似マウス)モードでは、必須の前処理であること、及び通常のパソコンのOSがマウスを使うことを前提にしたものが大半であることに基づく。ここで、算出されたポインター座標は次の計算のために保存される。
【0029】
次に、「ペン先が空中にあるか?」の判断を実行する(ステップ102)。この判断は、従来においてはペンのタブレット面からの高さがある閾値よりも上であるか否かにより行っていたものであるが、本発明では電子ペンの筆圧データを取得し、それが閾値よりも上であるか否かによりなされる。この閾値を操作者の好みによりカスタマイズ可能とする変形実施例も可能である。
【0030】
ステップ102で「はい」の場合、即ち電子ペンの筆圧データが閾値以下例えば10グラム以下である場合、ステップ101で算出されたポインターの座標は捨てられる(ステップ104)。つまり、アプリケーションプログラム、文字認識エンジン等に採用されない。
【0031】
ステップ102で「いいえ」の場合、即ち電子ペンの筆圧データが閾値以上例えば10グラム以上である場合、ステップ101で算出されたポインターの座標はいわゆるインキング処理(ペンダウン処理)される(ステップ103)。つまり、アプリケーションプログラム、文字認識エンジン等に採用される情報として生かされ、表示装置に筆跡が表示されるなどの処理に用いられる。
【0032】
絶対座標モードでありつづける間、ステップ101からステップ104の処理を繰り返す。この手順によれば、ペン先が空中にある間のポインターの座標は次のポインタ座標の計算には用いられるが、インキングのデータとしては採用されないので、漢字やひらがなを入力する際の一つ一つのストロークがメリハリをもって入力でき、運筆途中の余分なデータが文字認識上の妨げにならずにすむという働きをする。
【0033】
図3は、本発明における相対座標モードの処理内容を示すフローチャートである。いわゆる疑似マウスモード(マウスエミュレーション)を実現する一例を示している。
【0034】
座標モード選択指示部50の働きにより操作者の意思に基づいて、又はアプリケーションソフトウェア40の働きによりアプリケーションの必要に基づいて疑似マウスモードが選択された場合、この相対座標モードの処理に入る(ステップ200)。
【0035】
まず、「ペン先が空中にあるか?」の判断がなされる(ステップ201)。この判断はステップ102の判断と同様、本発明においては筆圧データを取得し、それをあらかじめ定められた閾値と大小比較することによりなされ得る。この閾値をカスタマイズできることは上述の通りである。この閾値のカスタマイズは絶対座標モードの場合と、相対座標モードの場合とで異なる設定にすることとする実施例も可能である。一般には、字を書く場合の筆圧よりもポインティングの場合の筆圧を小さくする方が使いやすいと思われるからである。
【0036】
ステップ201で「はい」(ペン先が空中にある)、即ち筆圧が閾値より下であると判断されると、ペン先の移動距離は取得されずにステップ203へと移る。マウスでポインターを大きく動かす際の往復運動における帰る動作をエミュレートするためである。
【0037】
ステップ201で「いいえ」(ペン先がタブレット面にある)、即ち筆圧が閾値より上であると判断されると、ペン先の移動距離をポインターの表示位置の座標に加算する処理が実行される(ステップ202)。
【0038】
次にスイッチ操作処理がなされる(ステップ203)。マウスの左ボタン、右ボタンの操作をエミュレートするためである。このスイッチ操作は電子ペンのサイドスイッチ等でなされ得る。近時の電子ペンにはサイドスイッチが二つ設けられたものもあるので、マウスの左ボタン、右ボタンに対応させることが可能である。また、サイドスイッチが一つしか設けられていない電子ペンにあってはそれを左ボタンとし、タブレット側に一つスイッチを補って設けて右ボタンとすることもできる。
【0039】
スイッチ操作処理の後、終了する(ステップ204)。相対座標モードが選択されている間、ステップ201からステップ204までの処理が繰り返される。これにより疑似マウスモードが実現され、マウスの往復運動に似た動作を電子ペンを用いてタブレット上で行った際にマウスと同様に、大きくポインターを動かして自由自在にポインティング作業を実行することが可能となる。
【0040】
図4は、座標入力装置側に絶対座標モード選択スイッチと相対座標モード選択スイッチとを設けた場合にドローイングアプリケーションソフトを操作する様子を示した図である。
【0041】
図4の上半分には、表示装置の表示画面が描かれている。今、ウィンドウが二つ開かれており、下側に表示されている他のアプリケーションソフトは相対座標モードでの入力が適したものであり、上側に表示されているドローイングアプリケーションソフトは絶対座標モードでの入力が適したものであると考える。今、ポインターはドローイングアプリケーションソフトのウィンドウ上にある。コンピュータ本体及びそれと表示装置、座標入力装置とを結ぶケーブル類は便宜上描くのを省略してある。
【0042】
図4の下半分には座標入力装置(タブレット、デジタイザ)と電子ペンが描かれている。電子ペンは操作者により指示されているが、操作者は描くのを省いてある。座標入力装置の座標読み取り領域該の適当な位置に絶対座標モード選択スイッチと相対座標モード選択スイッチとが設けられている。絶対座標モード選択スイッチがいったん押されると、相対座標モード選択スイッチが押されるまでの間は絶対座標モード(ステップ100)により座標データ処理部20の処理がなされる。また、相対座標モード選択スイッチがいったん押されると、絶対座標モード選択スイッチが押されるまでの間は相対座標モード(ステップ200)により座標データ処理部20の処理がなされる。これらのスイッチ情報は、多くの場合座標入力装置からコンピュータ本体に送出され、コンピュータ本体内に存在する座標データ処理部20により処理されるものである。しかし、座標データ処理部20の機能のうちの一部を位置検出装置10の内部に設けることとし、位置検出装置10の内部でモード切替情報に基づくモード切り替えの処理を実行することとする変形実施例を本発明が排除するものではない。
【0043】
図4に示す実施例においては、望ましくは、操作者はドローイングアプリケーションのようなインキング入力が好ましい場面に遭遇した際に、それを目で見て判断し、絶対座標モード選択スイッチを押すことにより、手書き入力を実行する。ワープロソフトのような他のアプリケーションソフトに戻る際に、今度は相対座標モード選択スイッチを押して疑似マウスモードに戻してさらに入力操作を続けて行くことになる。
【0044】
図5は、相対座標モードと絶対座標モードとを自動的に(アプリケーションプログラムによりその必要に応じて)切替える実施例における表示画面の様子を示す図である。
【0045】
図5に描かれた表示画面にはワードプロセッサの作業領域が表示され、その上に重ねて手書き文字入力領域(4文字分)が示されている。今、「今日は雨が降っている。」という文をキーボードを使わずに電子ペンだけで入力することを操作者が意図していると考える。既に「今日は」という部分までの入力がなされ、ワードプロセッサの作業領域上に表示されている。手書き文字入力領域の外では相対座標モードとなっている。即ち、このワードプロセッサプログラムがその作業領域で必要としている入力モードは相対座標モード(疑似マウスモード)である。したがって、ワードプロセッサの作業領域で電子ペンを動かすことによりマウスと同様の操作感覚でポインターを移動させることができる(▲1▼)。
【0046】
手書き文字入力領域にポインターが入った時点で絶対座標モードになる(▲2▼)。図5では、今既に「雨が」の入力がなされ、文字認識結果が表示されている。次の漢字及びひらがなの入力をするために次の3文字目の升目に「降っている」の最初の文字を入力しようとして、操作者が電子ペンを持っていったときには絶対座標モードとなり、いわゆるインキング入力が可能となる。アプリケーションソフトウェア40から座標データ処理部20への指令によりこのモード変更が実行される。
【0047】
手書き文字を入力する(▲3▼)と、文字認識エンジン60が働いて文字認識が実行され、認識結果をアプリケーションプログラム40が取得できる状態になる。
【0048】
手書き文字入力領域からポインターが出た時点で相対座標モードに戻る(▲4▼)。ワードプロセッサの作業領域では、アプリケーションプログラムが相対座標モードを要求しているからである。
【0049】
図6は、電子ペンのペン先にかかるわずかな圧力で判定して相対座標モード(疑似マウスモード)を実現する例を示す図である。図6において水平に描いた線は座標検出装置の検出面を意味する。図6の▲1▼は電子ペンの往復運動でポインターを大きく動かそうとする際の行きの動きを示し、図6の▲2▼は電子ペンの往復運動でポインターを大きく動かそうとする際の帰りの動きを示している。図では誇張して示しているので、▲2▼でかなりの高さまで電子ペンがあがっているように描かれているが、実際は距離的にはタブレット面からほとんど浮いていなくても、筆圧が閾値以下であればよいので、マウスほど意識的に空中に浮かせなくても楽に往復運動させることによりポインタの大きな移動が可能となる。
【0050】
図7は、電子ペンを特定の高さ以上持ち上げて動かして相対座標モード(疑似マウスモード)を実現する従来例を示す図である。従来はこの図で示すように一定の高さ以上に電子ペンを持ち上げることにより、電子ペンを読みとり範囲外に追いやることによりマウスの持ち上げと同様の状態をエミュレートしていた。
【0051】
図8は、本発明における相対座標モードと絶対座標モードの違いを説明する図である。今、▲1▼と▲2▼のように、電子ペンを用いて往復運動を繰り返すとする。▲1▼の動作は、電子ペンを座標検出装置の検出面に接触させた状態で、しかもあらかじめ設定された閾値以上の筆圧を保ちつつ移動させる。それに対し、▲2▼の動作は、電子ペンを座標検出装置の検出面から浮かせた状態で、又は接触していても閾値以下の筆圧を保ちつつ移動させる。この動きをした場合に、相対座標モード(疑似マウスモード)と絶対座標モード(手書きモード入力)とではどのようにポインタの動きが異なるかを図9及び図10を参照して以下説明する。なお、この動きの間中電子ペンは読みとり高さ範囲内にあるもとの考える。
【0052】
図9は、相対座標モードにおける電子ペンの操作と表示画面上のポインターの動きとの関係を示す図である。相対座標モードにおいては例えば図3に示すフローチャートに従うので、電子ペンがタブレット面に接して動くときにはポインターの位置も対応して動く(ステップ202参照)。それに対して電子ペンがタブレット面から離れて帰って来るときにはペン先の移動距離がポインターの表示位置の座標に反映されないので(ステップ201参照)、ポインターの表示位置は図9の下の図に示すように一つの方向に進む一方である。
【0053】
図10は、絶対座標モードにおける電子ペンの操作と表示画面上のポインターの動きとの関係を示す図である。絶対座標モードにおいては例えば図2に示すフローチャートに従うので、電子ペンがタブレット面に接して動くときにはポインタの位置も対応して動く(ステップ103参照)。このとき手書き文字入力などであれば、同時に表示画面上には、インキング(筆跡表示)もなされることになる。それに対して、電子ペンが帰って来るときには、ペン先の移動距離がポインターの表示位置の座標に加算されるので、ポインターも電子ペンの移動に応じて戻って来ることになる(ステップ101)。行きと帰りとの違いはインキング(筆跡表示)がなされるか否かの違いとなる(ステップ103)。
【0054】
図11は、手書き文字認識アプリケーションの操作例を示す図である。電子ペンのみを用いてワードプロセッサの操作をしようとする際に手書き文字入力用ウィンドウを開いて文字認識をする様子を示している。今まさにひらがなの「ふ」の字を手書きにて入力しようとしている。
【0055】
図12は、手書き文字入力の際の運筆と入力結果との関係を絶対座標モードにおいて示す図である。ひらがなの「あ」の字を入力する際について示している。ひらがなの「あ」は三つのストロークからなる文字である。第一のストロークは上方ほぼ水平に左から右に伸びる。第二のストロークは中ほど垂直に上から下に伸びる。第三のストロークはやや複雑であって小さな円弧と大きな円弧との二つの円弧のつながりからなる。
【0056】
図12で太く描いているのは、実際にインキングされる部分を示している。図12で点線で描いているのは、電子ペンが浮いていて動くときの軌跡を示すものであって、インキングはなされない部分である。図2に示す絶対座標モードの処理によれば、点線部分に電子ペンがあるときにもポインターの表示位置の座標に移動距離を加算する処理がなされるから(ステップ101参照)、第一ストロークの書き終りの位置から第二ストロークの書きはじめの位置まで電子ペンを浮かして移動すれば、ポインターの表示位置も右端から上部中央位置まで移動する。また、同様に、第二ストロークの終わりの位置から第三ストロークの書きはじめの位置まで電子ペンを浮かして移動すれば、ポインターの表示位置も下部中央位置からそのやや上の方に移動する。その結果、図12に示すようにひらがなの「あ」の字を正常に入力することができる。
【0057】
図13は、相対座標モードで手書き文字入力の際の運筆を行った際の入力結果を示す図である。図3に示す相対座標モード(疑似マウスモード)でステップ202のポインター表示においてインキングをしたと仮定して、そのインキング結果を太い線で表示して見たものである。相対座標モードでは電子ペンが浮いている状態ではポインターの表示位置に移動距離を加算する処理をしないので(ステップ201参照)、第二ストロークの書きはじめが第一ストロークの書き終りと同じ点になり、第三ストロークの描きはじめが第二ストロークの書き終りの位置に一致する。そのため、インキングの結果物は、図13に示すようにひらがなの「あ」とはかけ離れたものになってしまう。
【0058】
【発明の効果】
小型の位置検出装置(座標検出装置、タブレット、デジタイザ)であっても、コンピュータ画面上のより広い領域を自由に指示することができる。文字認識を可能とする構成にあっては、キーボードの操作が本質的に不要となり、電子ペン1本でコンピュータの殆どの入力操作(文字等の入力、インク入力、ポインティング入力、描画作業等)ができるようになった。
【図面の簡単な説明】
【図1】 本発明の構成を示す機能ブロック図
【図2】 本発明における絶対座標モードの処理内容を示すフローチャート
【図3】 本発明における相対座標モードの処理内容を示すフローチャート
【図4】 座標入力装置側に絶対座標モード選択スイッチと相対座標モード選択スイッチとを設けた場合にドローイングアプリケーションソフトを操作する様子を示した図
【図5】 相対座標モードと絶対座標モードとを自動的に切り替える例における表示画面の様子を示す図
【図6】 電子ペンのペン先にかかるわずかな圧力で判定して相対座標モードを実現する例を示す図
【図7】 電子ペンを特定の高さ以上持ち上げて動かして相対座標モードを実現する例を示す図
【図8】 本発明における相対座標モードと絶対座標モードの違いを説明する図
【図9】 相対座標モードにおける電子ペンの操作と表示画面上のポインターの動きとの関係を示す図
【図10】 絶対座標モードにおける電子ペンの操作と表示画面上のポインターの動きとの関係を示す図
【図11】 手書文字認識アプリケーションの操作例を示す図
【図12】 手書文字入力の際の運筆と入力結果との関係を絶対座標モードにおいて示す図
【図13】 相対座標モードで手書文字入力の際の運筆を行った際の入力結果を示す図
【符号の説明】
10 位置検出装置
20 座標データ処理部
30 表示処理部
40 アプリケーションソフトウェア
50 座標モード選択指示部
60 文字認識エンジン
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a computer system (position indicator, position detection device, interface, computer main body, basic software called operating system, tablet driver, application software, display when a position detection device mounted with an electronic pen is used as an input device of a computer. The computer system as a whole including the apparatus and the like. In particular, the present invention relates to a computer system that realizes a relative coordinate mode and a computer system that switches between a relative coordinate mode and an absolute coordinate mode.
[0002]
[Prior art]
Conventionally, a mouse has been frequently used as a coordinate input device for a computer, particularly a personal computer. Recently, a coordinate input device (position detection device) using a position indicator called an electronic pen has also been used.
[0003]
The mouse moves a pointer (hereinafter simply referred to as “pointer”) on a computer screen in accordance with an amount by which an operator moves a pack-shaped position indicator called a mouse. More precisely, the distance the mouse is slid on the desk is reflected in the pointer movement. That is, the movement distance when the mouse is in the air (the operator lifts it from the desk) is not reflected in the movement of the pointer. As a result, since the position of the pointer and the position of the mouse are relatively determined (not absolutely corresponded), such an operation method is called relative coordinate input.
[0004]
On the other hand, in a coordinate input device equipped with an electronic pen, the indication position of the electronic pen is obtained as an absolute position coordinate in the detection surface (coordinate reading area on the tablet surface) of the position detection device, and this position is It is reflected one-on-one at the position of the pointer. Even if the pointing position of the electronic pen is reflected one-on-one on the position of the pointer, the corresponding positional relationship is dynamically changed by the function of the application program or the like (the coordinate system is converted and enlarged by the function of the application or the like). -Executing reduction, rotation, parallel movement, etc.) is possible. Here, we will focus on the fact that the amount of movement will eventually be reflected in the pointer's pointing position even when the electronic pen is in the air. Such an operation method (operation suitable for handwriting input such as inking) Method) is called absolute coordinate input. The electronic pen is used, for example, as a position indicator of a position detection device using electromagnetic induction, and has the property that coordinates can be detected within a certain reading height range, unlike a writing instrument of a pressure sensitive pad. Therefore, it has the feature that inking (handwriting input) is possible without applying a strong writing pressure like a writing instrument of a pressure sensitive pad.
[0005]
In this specification, absolute coordinate input or relative coordinate input refers to, for example, the difference in the method of reflecting the operation of the input device to the pointer position, not the difference in the method of expressing the position information in the data format related to the interface. That is. In other words, absolute or relative is the difference that focuses on the sense of operation that the operator feels visually through the relationship between the sense of the operator operating the input device and the movement of the pointer on the computer screen. The computer system as a whole has the function rather than focusing on a specific part (possibly one of the coordinate processing program inside the tablet, tablet driver software incorporated in the computer main body, or application software). I will see. As long as the operator's feeling of operation reflected in the movement of the pointer on the display device is focused on, it is not so meaningful whether the coordinate data format in the intermediate processing is relative coordinates or absolute coordinates. This is because even if relative coordinates in the meaning of the coordinate data format are handled, the result of adding the data to the coordinates of the pointer finally becomes the absolute coordinates on the display screen. Further, in a state where absolute coordinates in the meaning of the coordinate data format are continuously detected, it is possible to generate relative coordinates by performing subtraction between data that are temporally adjacent. This is because the relative coordinates can be regarded as a movement amount.
[0006]
[Problems to be solved by the invention]
In a conventional system, in a system such as Windows (trademark of Microsoft Corporation in the United States), a so-called pointing process for performing an instruction operation is performed with a mouse, and a character input process such as a word processor is performed with a keyboard. The pointing operation is used from the viewpoint of a so-called graphical user interface (GUI). The pointer is moved to select an instruction target, and an operation such as pressing a button in that state is performed. Starts the associated process. In the pointing operation, in addition to the designation of the designated position, there may be a kind of operation switch that can instruct simple on / off.
[0007]
However, in recent years, with the spread of electronic pens, it has become possible to input characters by handwriting (inking input) using electronic pens. The absolute coordinate mode described above is indispensable for such handwritten character input or for drawing by writing similar to an actual writing instrument. Furthermore, in this case, it has become possible to express the thickness and shade according to the writing pressure by detecting the strength of the writing pressure applied to the pen tip. That is, a continuous amount that is not simply on / off can be input.
[0008]
In addition, position detection devices using electronic pens are becoming smaller in terms of price and ease of use. Therefore, even with the operation of the electronic pen, by adopting the relative coordinate mode similar to that of the mouse described above, the pointer can be moved by fixing the wrist of the hand holding the pen and moving the pen. A recent trend is to realize the same operation as a mouse. Since a position detection device called a tablet frequently detects absolute coordinates (usually about several hundred times per second) (absolute coordinates with a formal meaning meaning XY orthogonal coordinates in the coordinate reading area on the tablet). Obtain two absolute coordinates next to each other (or thin them out if necessary) and subtract from those absolute coordinates (executed by the processing unit inside the tablet, or realized by the OS or driver software on the computer main unit side) This is because the relative coordinates (movement amount information) can be generated. A method of enabling relative coordinate input (input similar to a mouse) using an absolute coordinate detection apparatus in this way is called a mouse emulation mode or a pseudo mouse mode.
[0009]
If it is a mouse, its structure is inevitable (if it is a mechanical mouse, it has a structure that detects the rotation of the ball in two orthogonal directions, and if it is an optical mouse, it measures the number of crossings of a large number of orthogonal stripe patterns) Will be in relative coordinate mode. In the case of an electronic pen, in the first place, the absolute coordinate mode is used, and in the case of using the relative coordinate mode, a method of emulating a mouse (a pseudo-function of a mouse) is generally used. Here, the problem is how to realize the reciprocating motion normally performed when trying to increase the pointer movement distance with the mouse in the mouse emulation mode using the tablet.
[0010]
With a mouse, if the operator tries to move the pointer greatly when moving it on the desk, it can be realized by moving it from one end to the other on the desk. The computer operator learns without knowing that it is enough to reciprocate. If this reciprocating motion is executed while keeping the mouse in contact with the mouse pad (or on the desk), the pointer will only come and go, and the operator will not be able to move. In this reciprocation, the operator learns unconsciously that if the mouse pad is touched on the go, the mouse is lifted up slightly and moved without detecting the relative coordinates.
[0011]
Consider the analogy of this in the mouse emulation mode of the electronic pen. Conventionally, whether or not the pointer is moved (whether or not the calculation result of relative coordinates is reflected in the movement of the pointer) is determined based on the height difference of the electronic pen from the position detection device (tablet surface). In this case, since the pointing operation is performed, the process related to the designated position is activated (for example, determination of the selected menu) is performed based on whether or not the pen tip pressure is simple. However, since accurate determination of the height is difficult and causes an increase in cost, the determination height tends to increase. If it does so, it will be necessary to lift an electronic pen high, and there existed a subject of becoming difficult to use. In other words, if the judgment height is set high with priority given to ease of inking input, pointing input will be difficult, and if the judgment height is made low with priority given to ease of pointing input, inking input will be difficult. There was a problem that it was difficult to do.
[0012]
[Problems to be solved by the invention]
Therefore, in the present invention, instead of determining the height, detection as a continuous amount of the pen pressure of the electronic pen (for example, the magnitude of the pen pressure from 1 gram weight to 60 gram weight is continuously identified in 512 steps. Using the function, when the pen tip touches slightly, the movement of the pen tip is reflected in the movement of the pointer.
[0013]
Further, by further pressing the pen tip, the processing related to the designated position is started. As a result, the pointer can be moved with little lifting of the pen tip, and the operability is improved.
[0014]
Such a relative mode (pseudo-mouse mode) is convenient for pointing operation, but cannot write characters or draw a picture by carrying like a brush (inking input). Therefore, the operation can be performed while appropriately switching between the relative mode and the absolute mode.
[0015]
The mode can be switched, for example, by operating a switch provided on the tablet, a switch provided on the electronic pen, or another input device (for example, a keyboard).
[0016]
It would also be desirable to automatically switch between the two modes depending on the application. For example, some handwritten character recognition software has a handwritten character input area in a part of the display screen. In such a handwritten character input area, if the mode is automatically switched to the absolute mode, the operation for switching the mode every time becomes unnecessary.
[0017]
Similarly, in the drawing software, it can be considered to automatically switch to the absolute (handwriting) mode. However, since a person who is accustomed to mouse-like operation can also use the relative (pseudo-mouse) mode, in such a case, it may be switched automatically according to the preference of the user. In this case, the setting is performed in advance, and the setting of whether or not to switch is customized.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0019]
FIG. 1 is a functional block diagram showing the configuration of the present invention. The position detection device 10 is an absolute coordinate detection device called a digitizer or a tablet. The position detection device used in the present invention can detect writing pressure as continuous value information. For example, many position detection devices provided by Wacom Co., Ltd., which has an address in Otone-cho, Saitama, Japan, use writing pressure as a continuous value (not only the presence / absence of writing pressure but also continuous value information such as 1 gram weight to 60 It is known to be a position detection device using electromagnetic induction that can detect continuous writing pressures up to gram weights in several hundred steps.
[0020]
The coordinate data processing unit 20 is a part that mainly exists on the computer main body side, and in terms of hardware, coordinate information input to the computer from the position detection device 10 when the CPU executes processing according to a predetermined program. It is a functional part that processes. From a software perspective, the operation system, which is the basic software of the computer, the tablet driver software, which is the driving software for the tablet, which is a peripheral device, the application program, and the like work together to perform this function.
[0021]
The reason that “mainly on the computer main body side” is written is that a modified embodiment in which a part of this function is given to the position detecting device 10 side is also possible. A recent position detection apparatus usually has a processor and a ROM or the like in which a necessary program is written, and performs coordinate data processing. When switching between the pseudo mouse mode and the handwriting mode is performed by a switch on the position detection device side or a switch operation of the position indicator (or a change in writing pressure), a part of the coordinate data processing unit 20 is on the position detection device side. Will exist.
[0022]
In FIG. 1, the arrow from the position detection device 10 to the coordinate data processing unit 20 indicates that the coordinate data detected by the position detection device 10 is sent to the coordinate data processing unit 20 according to the movement of the operator's position indicator. Indicates that it will be processed.
[0023]
The display processing unit 30 in FIG. 1 is a part that processes the contents to be displayed to the operator among the processing contents of the computer. That is, it is a well-known functional part that creates display data to be displayed on a display device (CRT display or the like) not shown. As for the arrow from the coordinate data processing unit 20 to the display processing unit 30, information on the coordinates of the pointer is sent from the coordinate data processing unit 20 to the display processing unit 30, and as a result, based on the operator's intention on the display screen of the display device. This indicates the situation where the pointer will be displayed.
[0024]
The application software 40 in FIG. 1 is application software such as drawing creation software, word processing software, photo editing software, drawing software, and the like, and particularly refers to a part that acquires coordinates to work. An arrow heading from the coordinate data processing unit 20 to the application software 40 indicates that the application software 40 acquires coordinate data input by the operator using a mouse or the like and uses it for processing of the application software. A reverse arrow, that is, an arrow from the application software 40 to the coordinate data processing unit 20 indicates inking input (handwriting input) in the window (area) when the application software opens a new window (work area). This means that the coordinate data processing unit 20 gives an instruction to execute the coordinate data processing in the absolute coordinate mode (handwriting input mode: inking input mode). Making the application program perform such a mode selection instruction is a design matter on the application program side. A modified embodiment in which the coordinate data processing unit 20 side is always in the relative coordinate mode (pseudo mouse mode) and the processing in the absolute coordinate mode is performed on the application program side is also included in the scope of the present invention.
[0025]
In FIG. 1, a coordinate mode selection instruction unit 50 is a function that gives an instruction to switch the coordinate data processing mode of the coordinate data processing unit 20 between an absolute coordinate mode (inking input mode) and a relative coordinate mode (pseudo mouse mode). It is a part which has. The instrument that is actually operated by the operator includes a position switch side switch (usually provided on the side of the electronic pen), a switch provided at an easy-to-press position on the tablet, a keyboard key, etc. One of them. When the operator operates it, the mode is switched based on the intention of the operator. This mode switching can be employed in combination with mode switching by the application program described above or independently.
[0026]
The character recognition engine 60 in FIG. 1 is for recognizing a handwritten character input in the absolute coordinate mode. Although not essential to the present invention, the use of this makes it possible to perform most computer operations using only a tablet without a keyboard.
[0027]
FIG. 2 is a flowchart showing an example of processing contents in the absolute coordinate mode in the present invention. As a result of selecting the absolute coordinate mode by executing the mode switching based on the operator's intention by the operation of the coordinate mode selection instruction unit 50 or the mode switching based on the necessity of the application by the operation of the application software 40, the absolute coordinate mode is selected. Enter the program (step 100).
[0028]
First, processing for adding the movement distance of the pen tip of the electronic pen to the coordinates of the display position of the pointer is executed (step 101). This process is based on the premise that even if the tablet outputs absolute coordinates in a formal sense, the amount of movement of the pen tip can be calculated by subtracting coordinate information that is temporally adjacent. . The mouse emulation (pseudo-mouse) mode is based on the fact that it is essential preprocessing and that most OSs on a normal personal computer are based on the use of a mouse. Here, the calculated pointer coordinates are saved for the next calculation.
[0029]
Next, it is determined whether the pen tip is in the air (step 102). This determination is conventionally performed based on whether or not the height of the pen from the tablet surface is above a certain threshold, but in the present invention, the pen pressure data of the electronic pen is acquired, This is done depending on whether it is above the threshold. A modification in which this threshold value can be customized according to the preference of the operator is also possible.
[0030]
If “Yes” in step 102, that is, if the pen pressure data of the electronic pen is less than a threshold, for example, 10 grams or less, the coordinates of the pointer calculated in step 101 are discarded (step 104). That is, it is not employed in application programs, character recognition engines, and the like.
[0031]
If “NO” in step 102, that is, if the pen pressure data of the electronic pen is equal to or greater than a threshold, for example, 10 grams or more, the coordinates of the pointer calculated in step 101 are subjected to a so-called inking process (pen down process) (step 103). ). That is, it is used as information employed in an application program, a character recognition engine, etc., and used for processing such as displaying a handwriting on a display device.
[0032]
While the absolute coordinate mode continues, the processing from step 101 to step 104 is repeated. According to this procedure, the coordinates of the pointer while the pen tip is in the air are used for the calculation of the next pointer coordinates, but they are not used as inking data, so it is used for inputting kanji and hiragana. One stroke can be input clearly, and the extra data during the stroke does not interfere with character recognition.
[0033]
FIG. 3 is a flowchart showing the processing contents of the relative coordinate mode in the present invention. An example of realizing a so-called pseudo mouse mode (mouse emulation) is shown.
[0034]
When the pseudo mouse mode is selected based on the operator's intention by the function of the coordinate mode selection instruction unit 50 or based on the necessity of the application by the function of the application software 40, the process of the relative coordinate mode is entered (step 200). ).
[0035]
First, it is determined whether the pen tip is in the air (step 201). Similar to the determination in step 102, this determination can be made in the present invention by acquiring writing pressure data and comparing it with a predetermined threshold value. As described above, this threshold value can be customized. In this embodiment, the threshold value may be customized differently in the absolute coordinate mode and in the relative coordinate mode. This is because, in general, it is easier to use if the writing pressure for pointing is smaller than the writing pressure for writing characters.
[0036]
If it is determined in step 201 that “Yes” (the pen tip is in the air), that is, the pen pressure is below the threshold value, the moving distance of the pen tip is not acquired and the process proceeds to step 203. This is to emulate the returning motion in the reciprocating motion when the pointer is moved greatly with the mouse.
[0037]
If it is determined in step 201 that “No” (the pen tip is on the tablet surface), that is, the writing pressure is above the threshold value, a process of adding the moving distance of the pen tip to the coordinates of the display position of the pointer is executed. (Step 202).
[0038]
Next, switch operation processing is performed (step 203). This is to emulate the operation of the left and right mouse buttons. This switch operation can be performed with a side switch of an electronic pen. Some recent electronic pens are provided with two side switches, which can be used for the left and right mouse buttons. In addition, if the electronic pen has only one side switch, it can be used as a left button, and one switch can be provided on the tablet side to provide a right button.
[0039]
After the switch operation process, the process ends (step 204). While the relative coordinate mode is selected, the processing from step 201 to step 204 is repeated. As a result, a pseudo mouse mode is realized, and when the movement similar to the reciprocating movement of the mouse is performed on the tablet using the electronic pen, the pointing operation can be freely performed by moving the pointer largely like the mouse. It becomes possible.
[0040]
FIG. 4 is a diagram illustrating how the drawing application software is operated when an absolute coordinate mode selection switch and a relative coordinate mode selection switch are provided on the coordinate input device side.
[0041]
The display screen of the display device is drawn in the upper half of FIG. Now, two windows are open, and the other application software displayed on the lower side is suitable for input in relative coordinate mode, and the drawing application software displayed on the upper side is in absolute coordinate mode. I think that the input of is suitable. The pointer is now on the drawing application software window. Drawing of the computer main body and the cables connecting it with the display device and the coordinate input device is omitted for the sake of convenience.
[0042]
In the lower half of FIG. 4, a coordinate input device (tablet, digitizer) and an electronic pen are drawn. The electronic pen is instructed by the operator, but the operator omits drawing. An absolute coordinate mode selection switch and a relative coordinate mode selection switch are provided at appropriate positions in the coordinate reading area of the coordinate input device. Once the absolute coordinate mode selection switch is pressed, the coordinate data processing unit 20 performs processing in the absolute coordinate mode (step 100) until the relative coordinate mode selection switch is pressed. Further, once the relative coordinate mode selection switch is pressed, the process of the coordinate data processing unit 20 is performed in the relative coordinate mode (step 200) until the absolute coordinate mode selection switch is pressed. In many cases, the switch information is sent from the coordinate input device to the computer main body, and is processed by the coordinate data processing unit 20 existing in the computer main body. However, a modification in which a part of the functions of the coordinate data processing unit 20 is provided in the position detection device 10 and a mode switching process based on the mode switching information is executed in the position detection device 10 is performed. Examples are not excluded by the present invention.
[0043]
In the embodiment shown in FIG. 4, it is desirable for the operator to visually determine when an inking input such as a drawing application is preferred, and press an absolute coordinate mode selection switch. Execute handwriting input. When returning to other application software such as word processing software, this time, the relative coordinate mode selection switch is pressed to return to the pseudo mouse mode and the input operation is continued.
[0044]
FIG. 5 is a diagram illustrating a state of a display screen in an embodiment in which the relative coordinate mode and the absolute coordinate mode are automatically switched (as required by an application program).
[0045]
On the display screen depicted in FIG. 5, a word processor work area is displayed, and a handwritten character input area (for four characters) is displayed thereon. Now, it is assumed that the operator intends to input the sentence “It is raining today” using only the electronic pen without using the keyboard. The input up to “Today” has already been made and displayed on the work area of the word processor. The relative coordinate mode is set outside the handwritten character input area. That is, the input mode that this word processor program requires in the work area is the relative coordinate mode (pseudo mouse mode). Therefore, by moving the electronic pen in the work area of the word processor, the pointer can be moved with the same operation feeling as the mouse ((1)).
[0046]
When the pointer enters the handwritten character input area, the absolute coordinate mode is set ((2)). In FIG. 5, “rain” has already been input and the character recognition result is displayed. When the operator holds the electronic pen when trying to input the first character of “falling” in the next third character to input the next kanji and hiragana, the absolute coordinate mode is set. Inking input is possible. This mode change is executed by a command from the application software 40 to the coordinate data processing unit 20.
[0047]
When a handwritten character is input ((3)), the character recognition engine 60 is activated to execute character recognition, and the application program 40 can acquire the recognition result.
[0048]
When the pointer comes out of the handwritten character input area, the mode returns to the relative coordinate mode ((4)). This is because the application program requests the relative coordinate mode in the work area of the word processor.
[0049]
FIG. 6 is a diagram illustrating an example in which the relative coordinate mode (pseudo-mouse mode) is realized by determining with a slight pressure applied to the pen tip of the electronic pen. The line drawn horizontally in FIG. 6 means the detection surface of a coordinate detection apparatus. (1) in FIG. 6 shows the movement when the pointer is moved greatly by the reciprocating motion of the electronic pen, and (2) in FIG. 6 is when the pointer is moved greatly by the reciprocating motion of the electronic pen. It shows the return movement. Since it is exaggerated in the figure, it is drawn as if the electronic pen is raised to a considerable height in (2), but actually the pen pressure is not lifted from the tablet surface in terms of distance. As long as it is less than or equal to the threshold value, the pointer can be moved greatly by reciprocating comfortably without being consciously floated in the air.
[0050]
FIG. 7 is a diagram illustrating a conventional example that realizes a relative coordinate mode (pseudo-mouse mode) by lifting and moving the electronic pen by a specific height or more. Conventionally, as shown in this figure, by lifting the electronic pen above a certain height, the electronic pen is read out and moved out of the range to emulate the same state as lifting the mouse.
[0051]
FIG. 8 is a diagram for explaining the difference between the relative coordinate mode and the absolute coordinate mode in the present invention. Now, assume that the reciprocating motion is repeated using the electronic pen as in (1) and (2). In the operation (1), the electronic pen is moved in contact with the detection surface of the coordinate detection device while maintaining a writing pressure equal to or higher than a preset threshold value. On the other hand, in the operation {circle over (2)}, the electronic pen is moved in a state where it is lifted from the detection surface of the coordinate detection device or while maintaining the writing pressure below the threshold even if it is in contact. How the pointer moves in the relative coordinate mode (pseudo-mouse mode) and the absolute coordinate mode (handwriting mode input) when this movement is performed will be described below with reference to FIGS. It is assumed that the electronic pen is within the reading height range during this movement.
[0052]
FIG. 9 is a diagram illustrating the relationship between the operation of the electronic pen and the movement of the pointer on the display screen in the relative coordinate mode. In the relative coordinate mode, for example, according to the flowchart shown in FIG. 3, when the electronic pen moves in contact with the tablet surface, the position of the pointer moves correspondingly (see step 202). On the other hand, when the electronic pen returns away from the tablet surface, the movement distance of the pen tip is not reflected in the coordinates of the pointer display position (see step 201), and the pointer display position is shown in the lower diagram of FIG. So on the one hand going in one direction.
[0053]
FIG. 10 is a diagram illustrating the relationship between the operation of the electronic pen and the movement of the pointer on the display screen in the absolute coordinate mode. In the absolute coordinate mode, for example, according to the flowchart shown in FIG. 2, when the electronic pen moves in contact with the tablet surface, the position of the pointer moves correspondingly (see step 103). At this time, if a handwritten character is input, inking (handwriting display) is simultaneously performed on the display screen. On the other hand, when the electronic pen returns, the moving distance of the pen tip is added to the coordinates of the display position of the pointer, so the pointer also returns in accordance with the movement of the electronic pen (step 101). The difference between going and returning is whether or not inking (handwriting display) is performed (step 103).
[0054]
FIG. 11 is a diagram illustrating an operation example of the handwritten character recognition application. When a word processor is to be operated using only an electronic pen, a handwritten character input window is opened for character recognition. Right now, I am trying to input the “fu” character of hiragana by handwriting.
[0055]
FIG. 12 is a diagram illustrating the relationship between the stroke and the input result when inputting handwritten characters in the absolute coordinate mode. This shows how to input the letter “a” in hiragana. Hiragana "A" is a character consisting of three strokes. The first stroke extends from left to right approximately horizontally upward. The second stroke extends vertically from top to bottom in the middle. The third stroke is somewhat complicated and consists of a connection between two arcs, a small arc and a large arc.
[0056]
In FIG. 12, a thick portion shows a portion that is actually inked. A dotted line in FIG. 12 shows a locus when the electronic pen floats and moves, and is a portion where inking is not performed. According to the processing in the absolute coordinate mode shown in FIG. 2, since the movement distance is added to the coordinates of the display position of the pointer even when the electronic pen is on the dotted line portion (see step 101), the first stroke If the electronic pen is lifted and moved from the position at the end of writing to the position at the beginning of writing the second stroke, the display position of the pointer also moves from the right end to the upper center position. Similarly, if the electronic pen is lifted and moved from the position at the end of the second stroke to the position at the beginning of writing of the third stroke, the display position of the pointer is also moved slightly upward from the lower center position. As a result, as shown in FIG. 12, the letter “a” in hiragana can be input normally.
[0057]
FIG. 13 is a diagram illustrating an input result when a handwriting stroke is input in the relative coordinate mode. In the relative coordinate mode (pseudo-mouse mode) shown in FIG. 3, it is assumed that inking is performed in the pointer display in step 202, and the inking result is displayed with a thick line. In the relative coordinate mode, when the electronic pen is floating, there is no processing to add the movement distance to the pointer display position (see step 201), so the beginning of the second stroke is the same as the end of the first stroke. The beginning of drawing the third stroke coincides with the position at the end of writing the second stroke. Therefore, the result of inking is far from the hiragana “a” as shown in FIG.
[0058]
【The invention's effect】
Even a small position detection device (coordinate detection device, tablet, digitizer) can freely indicate a wider area on the computer screen. In a configuration that allows character recognition, keyboard operation is essentially unnecessary, and almost all computer input operations (such as input of characters, ink input, pointing input, drawing work, etc.) can be performed with a single electronic pen. I can do it now.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing the configuration of the present invention.
FIG. 2 is a flowchart showing processing contents of an absolute coordinate mode in the present invention.
FIG. 3 is a flowchart showing processing contents of a relative coordinate mode in the present invention.
FIG. 4 is a diagram showing how a drawing application software is operated when an absolute coordinate mode selection switch and a relative coordinate mode selection switch are provided on the coordinate input device side;
FIG. 5 is a diagram showing a state of a display screen in an example of automatically switching between a relative coordinate mode and an absolute coordinate mode.
FIG. 6 is a diagram illustrating an example in which the relative coordinate mode is realized by determining with a slight pressure applied to the pen tip of the electronic pen.
FIG. 7 is a diagram showing an example in which a relative coordinate mode is realized by lifting and moving the electronic pen above a specific height.
FIG. 8 is a diagram for explaining the difference between the relative coordinate mode and the absolute coordinate mode in the present invention.
FIG. 9 is a diagram showing the relationship between the operation of the electronic pen and the movement of the pointer on the display screen in the relative coordinate mode.
FIG. 10 is a diagram showing the relationship between the operation of the electronic pen and the movement of the pointer on the display screen in the absolute coordinate mode.
FIG. 11 is a diagram showing an operation example of a handwritten character recognition application
FIG. 12 is a diagram showing a relationship between a stroke and an input result when inputting a handwritten character in the absolute coordinate mode.
FIG. 13 is a diagram showing an input result when performing handwriting when inputting handwritten characters in the relative coordinate mode;
[Explanation of symbols]
10 Position detection device
20 Coordinate data processing unit
30 Display processing section
40 Application software
50 Coordinate mode selection instruction section
60 character recognition engine

Claims (7)

筆記具形状を有し操作者がコンピュータに操作情報を入力するための位置指示器である電子ペンと該電子ペンの指示し得る範囲であるタブレット面とを有し該タブレット面上の前記電子ペンの位置情報及び該タブレット面と前記電子ペンとの間の押圧力である筆圧情報を検出し得る位置検出装置と、
該位置検出装置の検出した電子ペンの位置情報及び筆圧情報をコンピュータ制御のための操作情報として取得する操作制御部を有するコンピュータと、
該コンピュータの処理内容に基づく情報を示す表示画面を有し、該表示画面上にポインターを表示する表示装置とを有し、
該表示装置に表示されるポインターの表示位置と前記位置検出装置からの情報とを前記操作制御部が対応関係をもたせることによって、操作者とコンピュータとの間でインタラクティブな操作を実現したコンピュータシステムであって、
前記操作制御部が、電子ペンの先端にわずかな筆圧がかかった時の電子ペンの移動方向及び移動量をポインターの移動に反映させ、さらに筆圧が加わった時にポインターの指示位置に関連する処理を開始させるようにした
ことを特徴とするコンピュータシステム。
An electronic pen that has a writing instrument shape and is a position indicator for an operator to input operation information to a computer, and a tablet surface that can be designated by the electronic pen. A position detection device capable of detecting position information and writing pressure information which is a pressing force between the tablet surface and the electronic pen;
A computer having an operation control unit for acquiring position information and writing pressure information of the electronic pen detected by the position detection device as operation information for computer control;
A display screen showing information based on processing contents of the computer, and a display device for displaying a pointer on the display screen,
A computer system that realizes an interactive operation between an operator and a computer by causing the operation control unit to have a correspondence relationship between a display position of a pointer displayed on the display device and information from the position detection device. There,
The operation control unit reflects the movement direction and movement amount of the electronic pen when a slight writing pressure is applied to the tip of the electronic pen on the movement of the pointer, and further relates to the indication position of the pointer when the writing pressure is applied. A computer system characterized by starting processing.
筆記具形状を有し操作者がコンピュータに操作情報を入力するための位置指示器である電子ペンと該電子ペンの指示し得る範囲であるタブレット面とを有し該タブレット面上の前記電子ペンの位置情報及び該タブレット面と前記電子ペンとの間の押圧力である筆圧情報を検出し得る位置検出装置と、
該位置検出装置の検出した電子ペンの位置情報及び筆圧情報をコンピュータ制御のための操作情報として取得する操作制御部を有するコンピュータと、
該コンピュータの処理内容に基づく情報を示す表示画面を有し、該表示画面上にポインターを表示する表示装置とを有し、
該表示装置に表示されるポインターの表示位置と前記位置検出装置からの情報とを前記操作制御部が対応関係をもたせることによって、操作者とコンピュータとの間でインタラクティブな操作を実現したコンピュータシステムであって、
前記操作制御部は二つの操作モードを有し、
その一つは、電子ペンが位置検出面にほぼ接している時の電子ペンの移動方向及び移動量をポインターの移動に反映させるようになっている疑似マウスモードであり、
もう一つは、電子ペンが位置検出装置の検出表面及び近接空間のいずれにあっても、その電子ペンによる指示位置をポインターの表示位置に反映させるようになっている手書きモードであり、
この二つのモードを適宜切り換えることのできるモード切り換え部を有する
ことを特徴とするコンピュータシステム。
An electronic pen that has a writing instrument shape and is a position indicator for an operator to input operation information to a computer, and a tablet surface that can be designated by the electronic pen. A position detection device capable of detecting position information and writing pressure information which is a pressing force between the tablet surface and the electronic pen;
A computer having an operation control unit for acquiring position information and writing pressure information of the electronic pen detected by the position detection device as operation information for computer control;
A display screen showing information based on processing contents of the computer, and a display device for displaying a pointer on the display screen,
A computer system that realizes an interactive operation between an operator and a computer by causing the operation control unit to have a correspondence relationship between a display position of a pointer displayed on the display device and information from the position detection device. There,
The operation control unit has two operation modes,
One of them is a pseudo mouse mode in which the movement direction and amount of movement of the electronic pen when the electronic pen is almost in contact with the position detection surface are reflected in the movement of the pointer.
The other is a handwriting mode in which the position indicated by the electronic pen is reflected in the display position of the pointer regardless of whether the electronic pen is on the detection surface of the position detection device or in the proximity space.
A computer system comprising a mode switching unit capable of appropriately switching between the two modes.
筆記具形状を有し操作者がコンピュータに操作情報を入力するための位置指示器である電子ペンと該電子ペンの指示し得る範囲であるタブレット面とを有し該タブレット面上の前記電子ペンの位置情報及び該タブレット面と前記電子ペンとの間の押圧力である筆圧情報を検出し得る位置検出装置と、
該位置検出装置の検出した電子ペンの位置情報及び筆圧情報をコンピュータ制御のための操作情報として取得する操作制御部を有するコンピュータと、
該コンピュータの処理内容に基づく情報を示す表示画面を有し、該表示画面上にポインターを表示する表示装置とを有し、
該表示装置に表示されるポインターの表示位置と前記位置検出装置からの情報とを前記操作制御部が対応関係をもたせることによって、操作者とコンピュータとの間でインタラクティブな操作を実現したコンピュータシステムであって、
前記操作制御部は二つの操作モードを有し、
その一つは、電子ペンの先端にわずかな筆圧がかかった時の電子ペンの移動方向及び移動量をポインターの移動に反映させ、更に、筆圧が加わった場合に、ポインターの指示位置に関連する処理を開始させるようになっている疑似マウスモードであり、
もう一つは、電子ペンが位置検出装置の検出表面及び近接空間のいずれにあっても、その電子ペンによる指示位置をポインターの表示位置に反映させると共に、電子ペン先端に所定以上の筆圧が加わった際に、ポインターの指示位置に関連する処理を開始させるようになっている手書きモードであり、
この二つのモードを適宜切り換えることのできるモード切り換え部を有する
ことを特徴とするコンピュータシステム。
An electronic pen that has a writing instrument shape and is a position indicator for an operator to input operation information to a computer, and a tablet surface that can be designated by the electronic pen. A position detection device capable of detecting position information and writing pressure information which is a pressing force between the tablet surface and the electronic pen;
A computer having an operation control unit for acquiring position information and writing pressure information of the electronic pen detected by the position detection device as operation information for computer control;
A display screen showing information based on processing contents of the computer, and a display device for displaying a pointer on the display screen,
A computer system that realizes an interactive operation between an operator and a computer by causing the operation control unit to have a correspondence relationship between a display position of a pointer displayed on the display device and information from the position detection device. There,
The operation control unit has two operation modes,
One is that the movement direction and amount of movement of the electronic pen when a slight pressure is applied to the tip of the electronic pen is reflected in the movement of the pointer. It is a pseudo mouse mode that starts related processing.
The other is to reflect the indication position of the electronic pen on the display position of the pointer regardless of whether the electronic pen is on the detection surface of the position detection device or in the proximity space, and the pen pressure on the tip of the electronic pen is more than a predetermined value. It is a handwriting mode that starts processing related to the pointer pointing position when it is added.
A computer system comprising a mode switching unit capable of appropriately switching between the two modes.
前記モード切り換え部は、位置検出装置に設けられた操作部分の操作によって、モードを変更できる
ことを特徴とする請求項2又は3のコンピュータシステム。
4. The computer system according to claim 2, wherein the mode switching unit can change the mode by operating an operation portion provided in the position detection device.
前記モード切り換え部は、ポインターの指示位置に応じて、自動的に切り替わる
ことを特徴とする請求項2又は3のコンピュータシステム。
4. The computer system according to claim 2, wherein the mode switching unit automatically switches according to a pointer indication position.
前記モード切り換え部は、ポインターが手書文字認識のための手書き記入エリアにある時に自動的に手書きモードに切り替わる
ことを特徴とする請求項2又は3のコンピュータシステム。
4. The computer system according to claim 2, wherein the mode switching unit automatically switches to the handwriting mode when the pointer is in a handwriting entry area for handwritten character recognition.
前記モード切り換え部は、ポインターの指示位置に存在する対象物に対して、事前に設定された情報に従って、自動的に切り替わる
ことを特徴とする請求項5のコンピュータシステム。
6. The computer system according to claim 5, wherein the mode switching unit automatically switches according to information set in advance with respect to an object existing at a position indicated by a pointer.
JP05592698A 1997-03-31 1998-02-20 Computer system using electronic pen Expired - Fee Related JP4049877B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05592698A JP4049877B2 (en) 1997-03-31 1998-02-20 Computer system using electronic pen

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP9646097 1997-03-31
JP9-96460 1997-03-31
JP05592698A JP4049877B2 (en) 1997-03-31 1998-02-20 Computer system using electronic pen

Publications (2)

Publication Number Publication Date
JPH10333817A JPH10333817A (en) 1998-12-18
JP4049877B2 true JP4049877B2 (en) 2008-02-20

Family

ID=26396821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05592698A Expired - Fee Related JP4049877B2 (en) 1997-03-31 1998-02-20 Computer system using electronic pen

Country Status (1)

Country Link
JP (1) JP4049877B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3952896B2 (en) 2002-07-30 2007-08-01 キヤノン株式会社 Coordinate input device, control method therefor, and program
US7656395B2 (en) * 2004-07-15 2010-02-02 Microsoft Corporation Methods and apparatuses for compound tracking systems
JP4372188B2 (en) * 2007-12-21 2009-11-25 株式会社東芝 Information processing apparatus and display control method
WO2011145330A1 (en) * 2010-05-18 2011-11-24 パナソニック株式会社 Coordinate determination device, coordinate determination method and coordinate determination program
JP6195893B2 (en) 2013-02-19 2017-09-13 ミラマ サービス インク Shape recognition device, shape recognition program, and shape recognition method
CN111033452B (en) * 2017-09-04 2024-04-09 株式会社和冠 Spatial position indication system
WO2020217336A1 (en) * 2019-04-24 2020-10-29 株式会社ワコム Touch pad system
JP7118120B2 (en) 2020-11-11 2022-08-15 レノボ・シンガポール・プライベート・リミテッド Information processing device and information processing method
CN117099072A (en) * 2021-04-30 2023-11-21 株式会社和冠 Coordinate output device, pen-shaped equipment and electronic equipment

Also Published As

Publication number Publication date
JPH10333817A (en) 1998-12-18

Similar Documents

Publication Publication Date Title
JP3886975B2 (en) How to use a graphic keyboard to create characters
US6029214A (en) Input tablet system with user programmable absolute coordinate mode and relative coordinate mode segments
US5502803A (en) Information processing apparatus having a gesture editing function
CN105159481B (en) Pen-type input device and input method using the same
US6128007A (en) Method and apparatus for multi-mode handwritten input and hand directed control of a computing device
KR100539904B1 (en) Pointing device in terminal having touch screen and method for using it
EP0557282B1 (en) Computer with tablet input to standard programs
US20060119588A1 (en) Apparatus and method of processing information input using a touchpad
EP0394614A2 (en) Advanced user interface
JP2009527041A (en) System and method for entering data into a computing system
JPH0683512A (en) Method and device for inputting command and data
GB2313993A (en) Method and system for facilitating user input into a GUI window using a stylus
WO2011142151A1 (en) Portable information terminal and method for controlling same
US20090262072A1 (en) Cursor control system and method thereof
JP4049877B2 (en) Computer system using electronic pen
WO2017112714A1 (en) Combination computer keyboard and computer pointing device
WO2014045414A1 (en) Character input device, character input method, and character input control program
JP2010257197A (en) Input processing apparatus
JP2000137571A (en) Handwriting input device and recording medium recording handwriting input processing program
US20090116745A1 (en) Input processing device
JP3138512B2 (en) Mouse input method on touch panel
KR20010096061A (en) Method For Handwriting Recognition In Termianl Using Touch Screen
US20040239645A1 (en) Information processing apparatus and method of inputting character
JP2003005902A (en) Character inputting device, information processor, method for controlling character inputting device, and storage medium
JPH06230888A (en) Mouse input system in touch panel

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071016

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20071026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071128

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121207

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees