JP2009187565A - 筆記用具の動きの追跡 - Google Patents

筆記用具の動きの追跡 Download PDF

Info

Publication number
JP2009187565A
JP2009187565A JP2009090063A JP2009090063A JP2009187565A JP 2009187565 A JP2009187565 A JP 2009187565A JP 2009090063 A JP2009090063 A JP 2009090063A JP 2009090063 A JP2009090063 A JP 2009090063A JP 2009187565 A JP2009187565 A JP 2009187565A
Authority
JP
Japan
Prior art keywords
light
writing instrument
sensor
writing
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009090063A
Other languages
English (en)
Inventor
Arkady Pittel
アーカディ ピッテル
Ilya Schiller
イリア シラー
Sergey Liberman
セルゲイ リーベルマン
Garry Shleppi
ギャリー シルピー
Ethan A Funk
イーサン エイ. ファンク
Vladimir V Subach
ウラジミール ブイ. サバッチ
Andrew M Goldman
アンドリュー エム. ゴールドマン
Leonid Reznik
レオニード レズニク
Simon Selitsky
シモン セリッキー
Mario A Stein
マリオ エイ. スタイン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CandleDragon Inc
Original Assignee
CandleDragon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CandleDragon Inc filed Critical CandleDragon Inc
Publication of JP2009187565A publication Critical patent/JP2009187565A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3259Power saving in cursor control device, e.g. mouse, joystick, trackball
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542Light pens for emitting or receiving light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

【課題】 筆記用具の動きが、近くに位置するセンサから追跡される。センサから生成された信号が様々な方法で処理され使用される。
【解決手段】二次元筆記表面上の筆記用具の位置および経路を示すものとして、移動する筆記用具からの光を伝え、2つまたはそれ以上のセンサでこの光を検知して、検知された光を表す信号のシーケンスを生成し、生成された信号に対する、第3の次元における光の強度の変動効果を低減させる技術を適用することを含む方法およびその装置。
【選択図】 図1

Description

本出願は、1999年10月27日に出願された、「Electroinc Portable Pen that Captures Handwriting and Drawing with IR Sensing PSD Beacon System」という名称の米国仮特許出願第60/161,752号、2000年4月10日に出願された、「Using Handwritten Information」という名称の米国仮特許出願第60/195,491号、および2000年9月8日に出願された、「Electronic Pen with a Keyboard Template」という名称の米国仮特許出願第 号の恩典を主張するものであり、かつ1999年8月18日に出願された、「Electronic Portable Pen Apparatus and Method」という名称の米国特許出願第09/376,837号の一部継続出願である。上記の出願は全て参照として本明細書に組み入れられる。
背景
本発明は、筆記用具の動きの追跡に関する。
たとえば、紙の上に文字を書くか、または絵を描くときのペンの動きを追跡することにより、書かれたかまたは描かれたものを電子的に取り込み再現することが可能になる。筆記表面上に印を残さないスタイラスの動きを追跡することもできる。
提案されているいくつかの手法において、ペンが移動する表面は、各画素または検知位置が、ペンがその位置にあるときに応答する、画素または他の検知位置のアレイを有することができる。
他の技術では、ペンの追跡は完全に、ペンに取り付けられた電子機器によって行われる。場合によっては、移動するペンが、ペンから離れた位置にある固定されたセンサと通信し、三角測量アルゴリズムを使用して動きが追跡される。
概要
一般に、一局面では、本発明は、二次元筆記表面上の筆記用具の位置および経路を示すものとして、移動する筆記用具からの光を伝え、2つまたはそれ以上のセンサでこの光を検知して、検知された光を表す信号のシーケンスを生成し、生成された信号に対する、第3の次元における光の強度の変動効果を低減させる技術を適用することを含む方法を特徴とする。
本発明の実施態様は、以下の特徴のうちの1つまたは複数を含むことができる。この技術は、センサの信号応答の一様性を高めるように構成された光学機器に基づく技術であってよい。レンズは、球面レンズでも、非球面レンズでもよい。センサは、鋭敏な画素素子またはアナログ・センサのアレイであってよい。この技術は、生成された信号のアルゴリズミック処理に基づく技術であってよい。このアルゴリズミック処理は、筆記用具に関連するパラメータに基づいてセンサの信号応答を線形化することを含む。この技術は、デジタル・ハードウェアで実施しても、アナログ回路で実施してもよい。このアルゴリズム技術は、次元効果以外の効果に基づいて光の強度の変動の効果を低減させることができる。信号をフレーム単位でグループ化することができ、信号処理技術は、雑音を打ち消すように複数のフレームを処理することを含んでよい。移動する筆記用具から伝えられた光を、信号がセンサによって生成される速度に対する周波数で変調することができ、センサ信号を変調周波数で断続することができる。信号に対応する、筆記用具から伝えられた光のオン状態またはオフ状態に応じて、断続された各信号に逆のゲインを加えることができる。フレーム率は変化させてよい。断続された信号は、時間の経過と共に積分することができる。筆記用具から伝えられる光は、変調周波数に課される強度の高いショート・パルスを含んでよく、センサ信号からの変調周波数をフェーズ・ロック・ループによって判定することができ、強度の高いショート・パルスの持続時間中にフェーズ・ロック・ループによってトリガされる時間にセンサ信号をサンプリングすることができる。伝えられる光の特性を筆記用具とセンサの同期に使用することができる。伝えられる光は、比較的低い周波数変調の周期と、比較的高い周波数変調のバーストとを含んでよく、比較的高い周波数バーストに関連するセンサ信号を使用して変調クロックに同期させることができる。
一般に、一局面では、本発明は、移動する筆記用具からの光を、経時的に変化するパターンの方向に伝え、筆記用具から離れた2つまたはそれ以上の異なる位置に位置する2つまたはそれ以上のセンサで光を検知し、2つまたはそれ以上のセンサによって測定された信号間の位相差を検出することによって筆記用具の位置を判定することを含むことを特徴とする。
本発明の実施態様は以下の特徴のうちの1つまたは複数を含んでよい。経時的に変化するパターンの方向には、筆記用具が移動するX-Y平面に対する回転パターンを含めてよい。正のX方向に放射される信号は、Y方向に放射される信号に対して直角の位相を有してよい。
一般に、他の局面では、本発明は、筆記表面に垂直なZ軸に沿って強度が変動する光であって、X-Y筆記表面を横切って移動する筆記用具からの光を受け取るように構成されたセンサと、筆記用具から受け取った光の光学倍率を高めるように構成された光学機器とを含む装置を特徴とする。
本発明の実施態様は以下の特徴のうちの1つまたは複数を含んでよい。光学機器はボール・レンズでも、非球面レンズでもよい。光学機器は単一の球面レンズを含んでよく、レンズと対応するセンサは、大きな角度で受け取った光または比較的遠くから受け取った光あるいは筆記用具の不都合な位置で受け取った光の光学倍率を高めるように構成してよい。光学機器は、X-Y表面上の、所定の位置を越えた位置から受け取った光の光学倍率を高めるように構成された球面レンズを含んでよい。光学機器は、一方のレンズが光を水平方向にセンサ上に投影させるためにセンサに比較的近く、他方のレンズがZ軸次元における光を収集するように位置しており、かつ第1のレンズの周りで湾曲した本体を有する、2つの円柱レンズを含んでよい。アルゴリズミック・プロセスは、筆記用具からの距離または筆記用具の傾きによって起こる受け取られる光の強度の変動に対する信号の耐性を高めることができる。このプロセスは、センサ上の信号分布全体の積分出力を求め、積分出力の位置の2分の1に基づいて画素未満の位置を算出することができる。プロセスは、信号分布に対する多項近似を使用して、画素未満の位置を近似最大値の位置として算出することができる。この較正手順により、センサからのデータと組み合わせて使用すべきパラメータを生成することができる。較正パラメータによって光学機器およびセンサの製造上の欠陥を補正することができ、このアルゴリズミック・プロセスは、簡単な三角測量技術を使用して筆記用具の位置を判定することができる。較正パラメータによって光学機器およびセンサの製造上の欠陥を補正することができ、このアルゴリズミック・プロセスは、多項級数を使用して筆記用具の位置を判定することができる。この場合、これらの多項式の係数は較正手順中に求められる。
一般に、他の局面では、本発明は、移動する筆記用具からの光をセンサの検知素子のアレイで受け取り、検知素子を順次読み取って、アレイの素子によって検知された光を示す信号のシーケンスを生成し、各素子が読み取られてからアレイ中の他の素子の少なくともいくつかが読み取られるまでの間に各素子をリセットすることを含む方法を特徴とする。
本発明の実施態様は以下の特徴のうちの1つまたは複数を含んでよい。アレイは、CMOS位置センサまたはCCD位置センサを含んでよい。すべての素子をリセットする前に読み取ることができる。
一般に、他の局面では、本発明は、移動する筆記用具の三次元位置のシーケンスを信号に基づいて判定することを含む方法を特徴とする。
一般に、他の局面では、本発明は、手持ちできるように構成された細長いハウジングと、ハウジング内の光源と、光源から光を受け取り、光を自由空気経路を通して、筆記用具から間隔を置いて配置された光学センサに伝えるように構成された、ハウジング内のレンズとを有する筆記用具の組合せを特徴とする。
一般に、本発明の他の局面では、光源は、筆記用具の軸の周りに配置され、軸に垂直な方向に発光するように構成された光源のアレイを含む。
本発明の実施態様は以下の特徴のうちの1つまたは複数を含んでよい。レンズは、光を内部で反射し集中させ、レンズの反射する外側の面からの反射によって放出するように構成してよい。レンズは、光を受け取る上面と、光を光学センサの方へ反射する環状の下面とを有する円柱状の本体を有してよい。反射する外側の面は、筆記用具の長手方向軸に対して45°の角度に配向させた円錐状の表面を含んでよい。ペン内の光源は、リング状に配置されたLEDを含んでよい。
一般に、他の局面では、本発明は、ユーザが筆記用具から筆記表面に圧力をかけたことに応答して光源のオン・オフを切り換えるように構成され、装置をトリガするのに必要な圧力の大きさが、筆記表面上での、筆記用具の筆記に伴う通常の動きを妨害しないような大きさになるように構成された装置を特徴とする。
本発明の実施態様は以下の特徴のうちの1つまたは複数を含んでよい。筆記用具は、筆記点を有するボールポイント・カートリッジを含んでよく、この器具は、筆記点からカートリッジの反対側の端部に位置してよい。この器具はスイッチまたは圧力センサでよい。
一般に、他の局面では、本発明は、筆記用具を格納できるように筆記用具の少なくとも一部を受け入れるソケットを有するホルダーを特徴とし、この場合、筆記用具とホルダーは、筆記用具の動きに関連する信号の無線送信と、この信号に基づく、筆記に伴う動きの追跡とを可能にするそれぞれの要素を含む。
本発明の実施態様では、ホルダーはペン・キャップでよく、積み重ねられたページまたはノートにホルダーを取り付けるように構成されたクリップを含んでよい。ホルダーは、少なくとも2つの光センサと、光センサからの信号を処理して、筆記用具の位置のシーケンスを判定するプロセッサとを含んでよい。ホルダーは、筆記用具を保持し、筆記用具内の電池の再充電を可能にするソケットを含んでよい。
一般に、他の局面では、本発明は、筆記用具の動きに関連する信号の無線送信と、信号に基づく、筆記に伴う動きの追跡とを可能にする要素であって、携帯電話、PDA、ウェブパッド、またはクリップボードに内蔵された要素を特徴とする。
一般に、他の局面では、本発明は、各要素を無線送信に関連して使用できるようにする向きにホルダーを筆記基板に取り付ける機構を有するホルダーを特徴とする。このクリッピング機構は、操作されたときにホルダー内のプロセッサの機能を作動させるスイッチを含んでよい。
一般に、他の局面では、本発明は、筆記用具用のソケットと、筆記用具がソケット内にあるときに電池を再充電するように接続された再充電回路とを含むホルダーを特徴とする。
一般に、他の局面では、本発明は、筆記用具の動きに関連する光を受け取り、既知の方向に対する、光を受け取った角度を示す信号を発するようになっているCMOSセンサと、受け取った光をCMOSアレイに向けるように位置合わせされたレンズとを特徴とする。
本発明の実施態様では、レンズは、筆記用具の動きが生じる領域からの光を収集するように最適化することができる。レンズは、視野レンズでもフレネル・レンズでもよい。レンズ・システムは、筆記用具の動きの平面に垂直な次元に光を収集し、光をセンサ上に、動きの平面に平行な方向に投影させるように構成してよい。
一般に、他の局面では、本発明は、筆記表面上の連続する位置に筆記用具を位置決めし、連続する位置にある筆記用具から受け取った光からセンサで信号を生成し、筆記用具の移動中の位置を判定するプロセスを較正する際に使用される、筆記用具の構成パラメータを求めることによる較正を特徴とする。
本発明の実施態様では、較正パラメータに、位置判定プロセスの一部である多項級数で使用される係数を含めてよい。
本発明の実施態様において、各位置は正矩形格子上には存在しない。
一般に、他の局面では、本発明は、(1)非電子的であり電子装置から離れている筆記表面上の、電子装置に入力すべき入力要素に対応する位置を識別する段階(2)識別された位置のうちで、入力すべき入力要素に対応する選択された位置を、筆記用具を使用して指し示す段階、および(3)筆記用具が指し示している位置を検知し、対応するデータを電子装置に入力する段階を特徴とする。
本発明の実施態様では、筆記表面は1枚の紙を含み、入力要素は、筆記表面上に印刷される言葉またはコマンドを含む。
一般に、他の局面では、本発明は、筆記用具を非電子筆記表面上を移動させて経路を示し、この経路をリモートに検知し、筆記表面から離れている電子装置に経路を入力する際に使用される信号を生成することを特徴とする。
一般に、他の局面では、本発明は、移動する筆記用具から、筆記用具から間隔を置いて配置された光センサまで伝えられた光を所定の周波数で変調し、センサに関連するフェーズ・ロック・ループを使用して、変調された光の位相に一致させることを特徴とする。
一般に、他の局面では、本発明は、筆記用具と固定要素との間で信号の無線送信を使用して筆記用具の筆記に伴う動きを追跡する回路であって、該固定要素がメイン・プロセッサとそれとは別のプリプロセッサとを含み、プリプロセッサが、少なくとも、筆記用具の動きに関するデータ取込みを行うように接続されており、メイン・プロセッサが、少なくとも、追跡に関するデータ通信を行うように接続されている回路を特徴とする。
本発明の実施態様では、プリプロセッサをユーザ・インタフェース機能および画素未満のデータの記憶を実行するように接続してもよく、メイン・プロセッサを暗騒音の打消しおよび画素未満の計算を実行するように接続してもよい。
一般に、他の局面では、本発明は、筆記用具の動きを追跡する際に使用できるように、筆記用具の外側から受け取った光をセンサに反射するように構成された反射要素を特徴とする。
本発明の実施態様では、反射要素は、筆記用具が筆記用に使用されているときに光を反射することができ、筆記用具が筆記用に使用されていないときには光をセンサに反射することができなくなる。
一般に、他の局面では、本発明は、鋭敏な画素素子のアレイを有する光センサで、移動する筆記用具からの光を受け取り、アレイ中の、筆記用具から光の最大強度を受け取った位置を画素未満の精度で判定することを特徴とする。
本発明の実施態様では、画素未満の位置は、画素未満の位置に最も近い整数画素位置を判定し、整数画素位置を中心とするサブアレイの有理数表示の重心を求めることによって判定される。
一般に、他の局面では、本発明は、非電子表面上の、電子装置への入力に対応する位置を示し、該位置を検出して電子装置に入力することを特徴とする。
一般に、他の局面では、本発明は、筆記用具をセンサまで移動させるクリッピング・ペーパー用のクリップを特徴とする。
本発明の実施態様では、該機構は、クリップボードまたはノートの一部であってよく、クリップは、ユーザがクリップに用紙を把持させるかまたは解放させることを可能にする機構を含んでよい。クリップは、作動ボタンおよびばね、ならびにボタンによって作動させられるレバーを含んでよい。レバーは、ボタンに応答して回転するように構成してよい。ボタンは、押されるかまたは引張られるように構成してよい。他の利点および特徴は、以下の説明および特許請求の範囲から明らかになると思われる。
ペンの追跡を示す図である。 ペンを示す図である。 ペン内のレンズを示す図である。 ペン内のレンズを示す図である。 ペン内の光の反射を示す図である。 ペン内の光の反射を示す図である。 追跡方法を示す図である。 ペンを示す図である。 ペンを示す図である。 ホルダーを示す図である。 センサの前方のレンズを示す図である。 ホルダーを示す図である。 ホルダーを示す図である。 ホルダーの片側を示す図である。 ホルダーの片側を示す図である。 ホルダーの別の片側を示す図である。 視野を示す図である。 ブロック回路図である。 状態図である。 タイミング図である。 タイミング図である。 追跡の形状を示す図である。 回路図である。 タイミング図である。 回転ビーム技術を示す図である。 回転ビーム技術を示す図である。 チャネル図である。 チャネル回路を示す図である。 紙のキーボードを示す図である。 球面レンズを示す図である。 非球面レンズを示す図である。 2レンズ構成を示す図である。 クリップを示す図である。 クリップを示す図である。 スライディング・ベルト・チップを示す図である。 クリップの両側を示す図である。 クリップの両側を示す図である。
筆記表面上に目に見える軌跡を残すという通常の機能だけでなく、外部IRセンサによって収集された赤外線(IR)光を放出してセンサに対するペン位置を測定する電子無線ペンについて説明する。センサはCMOSまたはCCD線形または2Dアレイ、位置検出器(PSD)、あるいはその他の感光検出器である。センサを筆記表面の縁に固定し、そのページ上の筆記を再構築することができる。ペンの位置は、センサ読取りを用紙上のペンの実際のXY位置にマップすることによって判定される。
この電子入力装置は、ホルダーを有する通常のペンに類似している。ユーザは、この装置を通常のペンと同様に使用して紙、ノート、またはその他の平らな表面上に筆記する。この装置は、手書きの文字または絵を取り込むために使用される。このペンは、センサ測定値をメモリに記録することによって使用時のすべての移動を記憶する。次いで、ペンはこれらの測定値をコンピュータ、パーソナル・デジタル・アシスタント、ハンドヘルド・コンピュータ、または携帯電話にダウンロードする。次いで、ページ上に現われている手書きの文字または絵がセンサ情報から再構築される。
図1に示すように、ペン、または文字または絵の目に見える軌跡12を通常の方法で用紙または他の筆記表面14上に残すその他の筆記用具10は、ペンの動きを自動的に追跡する際に使用される赤外線(IR)光18を放出する光源16を有してよい。光は、近傍の位置、たとえば、紙の縁23の近傍でペンに対して固定的に保持されたIRセンサ20、22によって検出される。
センサは、連続する各測定時間にペンからの光が受け取られる、筆記表面上のペンの位置(たとえば、角度24)を表す信号のシーケンスを供給する。センサに関連する回路は、アルゴリズムを使用して方向情報(およびセンサ間の既知の距離26)を処理し、筆記表面上を移動するペンの一連の位置を判定する。このアルゴリズムは、センサの画素信号を筆記表面上の位置に変換する数学モデルを使用することができる。アルゴリズムは、較正されたパラメータ(レンズからセンサまでの距離と、レンズとセンサの屈折率の中心間の水平方向のずれ)を使用する準三角測量アルゴリズムであっても、多項近似であってもよい。
ペンを使用して作成されたか、または様々な他の用途で使用された、手書きの文字の認識、またはそのような絵の取り込みに、ペンの追跡された動きを使用することができる。追跡された動きの情報は、ローカル・パーソナル・コンピュータに送信するか、またはパーソナル・デジタル・アシスタント、ハンディータイプのコンピュータ、または携帯電話を通じて中央のコンピュータに送信し、格納して処理することができる。
二次元センサまたは一次元センサによる光源の追跡
ペンのXY方位を追跡する際の問題は以下のようにまとめることができる。
ペンは、先端の近くに有限の光源を保持している。この光源は、試験点における強度が、光源が原点にある場合の試験点のXYZ位置に依存する光を放出する。
別の位置にマルチチャネル検出器が位置している。この検出器は、ペンの光源から放出された光のある部分を収集する。様々なチャネルに供給される強度は、この光源の位置に対するチャネル入力のXYZ位置に応じて異なる。強度データは、検出器に対する光源のXYZ位置を算出するのに十分なデータである。強度データは、光源の不安定さ、検出器の雑音、およびその他の種類を含む雑音も受ける。
ペンのXY方位のみを得ることに着目する。実際には、筆記表面の厚さが一様ではなく、かつ筆記中にペンの傾きが変動するため、3つの座標はすべて変動する。雑音だけでなく、チャネルの読取りに複雑な変動が起こる。
このような信号を処理する方法として、加重平均(重心)、中央値算出、しきい値算出など様々な方法がある。これらの方法は主として、雑音の打消しに対処する方法であり、光源のZ運動も雑音とみなす。
本発明の目的は、Z方向のペンの動きおよび雑音のある種の原因に対して変化しないような検出信号の特性を確立することである。
この目的のために、検出器と光源の間に開口部を導入する。この開口部は、たとえばレンズを含んでよい。したがって、空間的に制限された信号を得る。このことは、信号と雑音の両方によって励起される排他的な(closed)検出器チャネル群があることを意味する(線形アレイ検出器の場合はセグメント)。この群は、雑音のみによって励起されるチャネルに囲まれている。開口部がない場合、すべてのチャネルは信号と雑音の両方によって励起される。
このような信号を生成した後、特定の点(たとえば、最大値)を確立し、この点の周りに処理ウィンドウを、空間的に限られた信号を越えて延びるように定義する。次いで、処理ウィンドウ内のデータの累積分布関数をチャネル数に対して算出する。この関数の半分量点をチャネル数に投影させることによって、不変性が得られる。チャネル数は整数であるが、不変性値は小数であってよい。
2Dであるか、それとも1Dであるかにかかわらず、基本的に2種類の検出器がある。各検出器は、PSDのような2チャネル検出器でも、CMOS装置やCCD装置のような「マルチチャネル」検出器でもよい。PSD検出器は、信号の比によって入射光点の相対位置が定義される2つの出力信号を有する。CMOS検出器およびCCD検出器はいくつかの画素を有する。各画素は、検出器上の特定の空間を定義し、アナログ出力を有する。アナログ出力は、後でファームウェアまたはソフトウェアで処理できるようにデジタル化しても、アナログ手段によって処理してもよい。ソフトウェアで使用されるアルゴリズムをハードウェアで同様に実施することもできる。
ある較正手順
他の公知のアプローチで提案されているようにペンの動きに対する検出器の線形応答を実現する必要はない。線形応答が必要なのは、簡単な三角測量を使用して検出器の読取り値をペンのXY位置として解釈する場合である。
ペンのXY位置と左右の検出器(LおよびR)の読取り値との間には明確な依存性が存在する:
X = Fx(L, R);
Y = Fy(L, R)。 (1)
これらの関数は多項級数として表すことができる。これらの多項式中の係数は、較正手順中に求めることができる。
較正手順中に、ペンは用紙上の様々な既知のXY位置に位置決めされ、両方の検出器の読取り値が取り出され、後で処理できるように記憶される。十分な数の点が蓄積された後、一般的な線形代数方法を使用して(1)の係数が算出される。
系(1)は実質的に非線形であることが分かっている。筆記領域全体にわたって必要な分解能が実現されるように較正点を配置することが重要である。正矩形格子のノードには較正点を配置しない。その代わり、数学モデルを使用して検出器の特定の非線形特性に較正格子を整合させる。
他の較正手順
簡単な三角測量を使用して検出器のデータからペンのXY位置を算出する場合、検出器の幾何パラメータに意図的に誤差を導入して上述の非線形特性を実現する。
検出器内のレンズの屈折率と、レンズとセンサの間の距離とを、本発明者の構成によって厳密に求めた。同時に、三角測量計算でこれらの値を変化させると、検出器の非線形特性を有効に補償できることを立証した。
屈折率およびレンズとセンサとの間の距離の有効な値を得るために、他の較正手順を実施する。筆記領域全体に適切な分解能を得るには、様々なXY位置較正点が必要である。この撹乱される三角測量用の較正点の位置は数学モデルによって得られる。
ペン
図2に示すように、一例では、ペン内のIR光源は、筆記中に圧力がかかったときにペンの先端17にIR光15を放出するLED13であってよい。この例では、LED光源13は、ペンの長手方向軸21の周りに配置されたリング状のLED19で形成されている(2つのLEDしか示されていない)。
LEDからの光は、下向きにペン・ポイントの方へ投影され、光導体として動作するアクリル材料18の本体/レンズに入射する。アクリル・レンズは、ペンから放出された光が光路に沿ってペンの周りのすべての方向に送られるように、受け取った光を拡散させて伝える。
図3に示すように、光導体18は、研磨されて、反射性であり、LED19からの光502を集中させて光が横方向逃げないようにする。光導体の底部も、45度の円錐状表面504として研磨されている。反射性の円柱状シェル506は、LEDから放出された光を閉じ込め、混合させるのを助ける。円錐状本体508は、光導体を支持している。光導体内で下方に向けられた光は、円錐状表面504から反射され、大気中にペンの周りのすべての角度に送られる。
図5および図6は、光導体内の光の内部反射の側面図および平面図である。LEDからの大部分の光は、ペンの本体の長さに沿って進み、センサの方へ90度に反射される。他のいくらかの光は、ペンの外側へ90度とは異なる角度に進む。
図2に示すように、ペンから放出された光は、できるだけ多くの光が、筆記表面からわずかの距離に位置するセンサ(図示せず)に到達できるように、筆記表面13の近くの垂直な空間11に閉じ込められる。
LEDと光導体とがより適切に結合され、光がより効果的に分割され、光導体の底部の反射表面の方へ送られる、図4に示す構成を含め、異なる形状の光導体/レンズを有する他の構成を使用することができる。
この例のペン(図2)は、筆記点25で終わるボールペン・カートリッジ23を含んでいる。ユーザが筆記中に筆記点に圧力をかけると、LEDをオンにし、かつペンに取り付けられた回路28の機能をトリガするのに使用できる信号を圧力スイッチ26によって供給される。回路28およびLED19は電池30から電力を供給される。これらの構成要素はすべてハウジング15内に保持されている。
図7に示すように、筆記表面に平行なx-y座標系40内のペンの位置は、2つのセンサ20、22によって検知される2つの角度αおよびβと、センサ間の既知の距離26とから判定される。
図8に示す他の例では、ペンは、ペンの後部に保持された3つの小型AAA状NiCd再充電電池51から電力を供給される(重量をより適切に分散させるには、電池を先端の近くに移動させ、回路を後部に配置する)。これらの電池は、DC-DC変換器なしで直接電子回路28に電力を供給する。電力が供給されるのは、圧力スイッチ26が作動したときだけである。光作動スイッチは短い距離(たとえば、0.25mm)しか移動しない。このスイッチには、補充時走行量を最小限に抑えるためにばね機構が事前に装填されている。補充時走行量は0.008インチ〜0.010インチ以下であるべきである。
多くの既製のスイッチの作動圧力は、望ましいレベルの20g〜30gを超えているので、圧力スイッチは、ペン補充時の圧力をLEDの作動に効果的に整合させる方法である。
電池の後方に位置する電子ボード28は、約100Hzでデューティ・サイクルが50%の、IR LED用の変調周波数パルスを、スリープ・モード用のペン・オン信号およびペン・オフ信号を生成するための1kHzから10kHzのバーストと共に生成する。
ペンから放出される光は、ペンを任意の向きに握って使用できるようにどの方向でも見える。放出される光がペンの先端に近ければ近いほど、紙に対するペンの角度の変動による誤差は小さくなり、ペンの先端の追跡は正確になる。LED光は、太陽および照明器具からの周囲光がIR発光に過度に干渉せず、かつ人間の目に見えないように、可視光スペクトルから離れたIR領域に存在すべきである。
ペンのIR光源と、ホルダー内のセンサの向きは、通常の筆記または描画中にペンが傾斜し回転したときに、IR光線がセンサに到達するように配置される。
図9は、部分的に組み立てられたペンの詳細な斜視図である。
ペン・ホルダー
図1および図10に示すように、センサは、ペンを使用していないときに保持できる代表的なペン・キャップ70内に収容することができる。ペンを使用する際、ペンはキャップから取り外され、キャップは、筆記表面の近くで、かつペンの近くの固定位置に位置決めされる。いくつかの例では、センサは線形CMOSアレイ(たとえば、Photo Vision Systems, LLS(PVS)(P.O Box 509, Cortland, NY 13045)(部品番号LIS1024)から1024画素アレイとして市販されている)である。同じ数または異なる数の画素を有する、PVSまたは他の会社の他の線形CMOSセンサを使用してもよい。各センサのアナログ出力は、各センサ画素から1つの1024個のアナログ信号のシーケンスである。
図10に示すように、ホルダーは、紙パッドまたはノードの縁にホルダーを取り付けるクリップ62を含んでよい。
ホルダーの中央のフォトダイオード56の形の第3のセンサは(特に)、筆記が開始された(たとえば、ペンが発光し始めた)ときに、プロセッサをスリープ・モード(後述)から起こすために使用される。
第3のセンサ信号は、ペン内の回路をセンサ・システム内の回路と同期させるために使用することもできる。すべての3つのセンサは、筆記表面に面するIRフィルタリングウィンドウで覆われている。
図11に示すように、一例では、各メイン・センサの前面100の垂直方向の高さ104は125マイクロメートルであり、レンズ110の前面108からの距離106は4ミリメートルである。FOV112は10度である。ペンの先端114は、紙116の上にあるときにIR光をFOVに向ける。
図17に示すように、2つのセンサ88、90は100mm離れて位置している。各センサは、FOV軸195、197を中心とする視野(FOV)94、96を有している。FOVの軸は互いに平行ではなく、角度199だけ傾いており、FOVの重なり量が大きくなっている。各センサのFOVは水平(x-y)平面での幅が150°であり、垂直平面での高さが+/-5°である。
FOVは、筆記表面上の、紙303の縁に近いいくつかの位置101をカバーせず、不感帯98がホルダーから25mm以上延びないように配置されている。
図12に示すペン・ホルダーの他の例では、センサ117およびレンズ119が保持ブラケット121上に取り付けられ、IRフィルタ123が前方に位置している。ブラケットは、プリント回路板125上に取り付けられ、ハウジング127内に保持されている。2つのメイン・センサの中心は100mm離れている。
ペンからの光は、2つのセンサから収集され、定義済みの領域(8.5インチx11インチ)内の変調された光源の線形位置が識別される。この線形位置は、三角測量、参照テーブル、多項近似、またはこれらの組合せによって算出することができる。
センサは、平坦な線形の多画素センサである。光源が視野内の様々な位置にあるときに、各センサの様々な画素が照明される。光源が視野を横切って移動する際、センサの画素を横切る光の対応する移動が線形でない場合があるが、光学機器の数学的機能を一対のセンサからの較正データと組み合わせることによって線形位置を算出できるので、この線形性の欠如に対処することが可能である。
センサからの線形応答を求める代わりに、センサに入射する筆記領域内からの光を最大にする。筆記の正しい再現は、前の較正手順で保存されたパラメータを使用することによって行われる。システムは、いくつかの実施態様では(以下に示す多項式の例では、パラメータの数を増やしてよい)、4つのパラメータのみを各ペンからホストまたはサーバに転送してデータを処理し、線形化している。ペンの特定の較正パラメータは、本試験および較正時にペンのメモリに格納される。パラメータは、ダウンロード時にペンから転送するのではなく、サーバ、またはユーザが使用するPC上に格納することもできる。
レンズまたは1組のレンズが各センサに備えられている。光学系の目標は、光の供給効率を最大にし、視野全体をカバーし、視野全体にわたって一様な信号応答をもたらし、光学系をできるだけ小型にかつ廉価にすることである。これらの目標は、以下のステップによって部分的に満たされる。
図30に示すように、センサ755上に光を合焦させるために球面レンズ753が使用される。焦点面は半円形を有している。レンズからセンサまでの距離759は、焦点距離、直径、厚さ、および材料を含む、レンズの他の光学的特性および機械的特性と同様に最適化される。
図31に示すように、センサに供給される光源の総力が最も弱くなる視野の周辺を光源が移動するときに焦点面がセンサ上に位置決めされるように、非球面レンズ760を構成してよい。したがって、この非球面レンズは、ページの周辺にある点のみについてセンサの平面と一致する焦点面を有するように構成されている。ページ内の点は焦点がずれるが、センサに入射する光の量がずっと多くなり(センサにずっと近くなるか、または角度がずっと良好になる)、信号の強度が高まる。
図32(平面図が上部に示され、側面図が下部に示されている)に示すように、1つのレンズではなく2つの垂直な円柱状レンズ770、771を使用することができる。センサの長さによって、水平方向軸におけるレンズの焦点距離が制限される。したがって、レンズの直径は小さくなければならず、レンズはセンサの近くに位置しなければならない。垂直軸では、直径をより大きくできるようにレンズをセンサからさらに遠くに配置してよい。直径が大きければ大きいほど、光源からより多くの光を収集することができる。第1のシリンダ(レンズに近い方)は光を水平軸に合焦させる。スポット・サイズは水平軸ではそれほど重要ではなく、所与の視野内でそれほど変化しないので、このレンズは球面であってよい。第2のシリンダは、垂直軸において能力を有する。垂直次元においてできるだけ多くの光をセンサ上に合焦させることが重要である。この目的を満たすには、光が、すべての角度についてシリンダからセンサまで等しい距離だけ移動しなければならない。さらに、この目的を満たすには、第2のシリンダを非球状に湾曲させる必要がある。空間を節約するためにこの2つの円柱状レンズのどちらかがフレネル・レンズであってよい。
図13、図14、図15、および図16に示すペン・ホルダーの詳細な例では、センサ・システムは、底部80および頂部82を有するハウジング79内に保持されている。底部80はクリップ62(図示せず)を保持している。クリップ・ボタン86を押すときに、クリップ62とペン・ホルダーの底部との間に紙を挿入することができる。ボタンを放すと、クリップが紙を把持する。ペン・クリップは、7mmの厚さに積み重ねられた用紙または標準的なノートパッド83を保持する。クリップは、ペンに面する側面87が+/-1°以下の傾きで垂直になり、したがって、ペンを使用して筆記表面上に筆記する際にセンサがペンからIR光を確実に受け取るようにペン・ホルダーを紙の上に位置決めする。
ホルダーを、クリップを使用せずに紙またはノートブック上に設置することもできる。
図13から図16に示すホルダーにおいて、2つのセンサはIRフィルタリングウィンドウ89、91の後方に取り付けられており、フォトダイオード93は中央に取り付けられている。「インク容器」95は、ペン97の先端を一時的に格納するために受け入れることができ、チューブ99はペンを格納する場所を形成している。ペンはチューブ内に十分に挿入することができ、格納中にペン内の電池を再充電することができる。
1999年8月18日に出願された米国特許出願第09/376,837号に示されている例を含め、クリップを動作させる様々な機構が可能である。
ある構成では、図33に示すクリップ機構が使用される。この図は、以下のようにこの機構を動作させる段階を示している:
段階1:クリップ機構を作動させない。
段階2:プッシュ・ボタン780がばね782を押すと、ばね782がブラケット733を放し、ヒンジばね784を解放し、クリップ785が開く。
段階3:クリップとペン・ホルダーの本体787との間に紙786が挿入される。
段階4:レバー785(クリップ)が紙に接触し、ヒンジばねよりもずっと弱いばね788が収縮し始める。クリップが回転点789の周りで回転する。
段階5:クリップが紙をホルダーの底部に押し付ける。ばね788が収縮し、両方のレバーが、挿入された紙の量だけ下向きに移動する。
クリップ・ボタンを使用して、水平方向の動きを、クリップを下降させるレバーによる垂直の動きに変えることができる。あるいは、回転するレバーにボタンを押し付け、水平方向の動きを、クリップを下降させるレバーによる垂直の動きに変えることができる。
この機構を図34に示す。クリップは、水平のバー792に連結された2つの垂直なスライド・バー790、791を有している。水平のバーとホルダーの本体との間にばね793が位置している。垂直のバーが上下に移動できるように2つの垂直なガイド794および795が設けられている。
図の下部にある側面図において、ボタンが押されていないときは、ばねが伸長し、クリップがペンホルダー本体に押し付けられている(図の左側)。ボタンが押されると(図の右側)、ばねが押され、クリップ(正面図参照)は、スライド間で下向きに移動する。紙が挿入されボタンが放された後、ばねがクリップを上向きに押し、クリップ機構がクリップとペンホルダー本体との間に紙を把持する。
ボタンは、複数の軸においてレバーを移動させクリップを下降させることができる。ボタンは、回転し線形に移動してクリップを下降させるレバーを作動させることができる。
図36に示す他の構成では、オペレータがスライド・パネル(ボタン)901を下向きに押す。スライド・ボタンは、ばねレバー903、905の中心に接触し、これらの支点を下向きにボタン/パネルの同じ方向に移動させる。レバーの底部の端部は、回転ピン907、909の周りに固定されており、したがって、底部?の端部は、ボタンの距離の約2倍にわたって下向きに移動する。レバーの頂部の端部は、ガイド・スロット915、917内に収容されると共に、底部のクリップから垂直方向上向きに湾曲した2つのタブ内に収容されたピン911、913を備えている。この結果、クリップは、ボタン/パネルの移動距離の約2倍にわたって垂直方向下向きに移動する。
または、図35に示すように、スライド・パネル930を水平に配置し、剛性の可撓性ベルトにより、ボタンの垂直方向の動きに対する水平方向に押す動きによって所望の結果を実現することができる。
図37に示すように、クリップ機構内の2つのレバー953、955に作用する力がレバーの中央から底部の端部に移動し、レバーの支点が頂部?の端部から底部?の端部までの距離の3分の1に相当する点まで移動する場合に、ボタン951の引く動きによって他のアプローチを実現することができる。この場合、クリップの移動距離とボタンの移動距離との比を2:1に維持するのに必要な機械的な利点が得られる。
どちらの機構でも、旋回点からレバーに力を作用させる点までの位置を使用してクリップの機械的な変位を増大させることができる。
ペン・ホルダー回路
ホルダーの回路ブロック図が図18に示されている。ASIC205は、電池511、ACアダプタ513、またはホスト・コンピュータ211とのUSB接続から電力を供給される。2つのCMOSセンサ201、203は、演算増幅器169、171、マルチプレクサ180、および12ビットA-D変換器を通して165、167がASICに接続された出力を有している。
CMOSセンサのアナログ出力は、ずれの打消しおよび自動利得制御の形で信号処理を受ける。この処理の信号対雑音の比率要件は、CMOSセンサおよびすべてのアナログ信号処理回路に5V電力を使用することである。A/D変換器によっては2.5V基準で動作するものがあり、CMOSセンサからの信号は、抵抗分割器を使用して係数2だけ縮小される。
ASICは、マサチューセッツ州フラミンガムに所在するサウンドビジョン(Sound Vision)社から市販されているモデル、クラリティー(Clarity)2Bであってよく、ARM7コアに基づくものである。ASICファームウェアは、データの獲得、データの格納、ファイル・システムの管理、入出力(I/O)サービス(LEDおよびスイッチ)、RS232通信およびUSB通信、アイドル・モードおよびスリープ・モード用の電力管理、光学較正、ならびに試験モードを実施する。
マルチプレクサは、A-D変換器182が2つのCMOSアレイ201および203を交互に切り換えて2つのセンサの間の時間のずれ(skew)スキューを最小限に抑えることを可能にする。A-D変換器のクロック周波数は1.2MHzである。各CMOSセンサは600kHzでクロッキングされる。データ獲得では、ASICのダイレクト・メモリ・アクセス(DMA)機能が使用される。
ASICのウェークアップ入力は、フォトダイオード515からの入力信号を受け取るPLL513によって駆動される。フォトダイオードは、ペンからの変調された光によって駆動される。
ASICは48MHz結晶およびクロック分割器517によってクロッキングされる。USBポート211およびRS232/IrDAポート209に対する入出力(I/O)機構が設けられている。ファームウェアおよびデータは、SDRAM207で処理され、フラッシュ・メモリ519に格納される。任意選択のLCD172をユーザ・ディスプレイ用に設けることができる。
USBは、ホルダーからPCへの2つのデータ転送モード、すなわち、バルク転送およびリアルタイム転送を実現する。リアルタイム転送は、割込み駆動であり、キーボードおよびマウスの代替用途に使用される。
RS232通信とIrDA通信の両方を実施するために2重機能トランシーバが使用される。RS232通信は、携帯電話を介したサーバとのダイヤルアップ接続として使用される。
ホルダーは、USB、シリアル、パラレル、IrDA、ブルートゥース(Bluetooth)、ファイアーワイア(Firewire)など、あらゆる種類の通信ポートを含む、様々な種類の外部接続をサポートすることができる。ホルダーは、電力の供給が停止されたときに、何らかの外部装置に接続されている場合には、自動的にホルダー自体に電力を供給する機能を有している。ホルダーは、外部装置が切り離されたときにホルダー自体への電力の供給を停止する機能も有している。ホルダー用の接続には以下の2種類の接続がある:
1つの接続は外部記憶タイプの接続である。このような接続は、コンピュータ、またはグラフィックスを表示することができ、適切なユーザ・インタフェースを有する、ホストと呼ばれる他の装置に対して行われる。ホルダーは、ホスト装置に接続されている間、外部記憶装置として動作する。ホスト装置のユーザはホルダー・ファイル・システムを探索し、すでにホルダーによって収集されているファイルをコピーし、表示し、編集する。ホスト上に存在するソフトウェアは、ホルダー上に記憶されているか、またはホルダーからホストにコピーされるファイルを変換し、ホスト画面上に表示し、印刷し、編集することができる。ペンは、ホストに接続されている間、リアルタイム入力装置として動作することもできる。
他の種類の接続は、携帯電話のような、携帯のインタネット・イネーブル装置またはモデム・イネーブル装置に対して行われる。ペン・ホルダーは、このような接続を検出すると、eメールまたはファックスとして送信すべきすでに収集されているすべてのデータの送信を自動的に開始する。
任意選択のLCDディスプレイは、たとえば、通信が信頼できない場合の、インタネットを使用可能な携帯電話を介した接続およびダウンロードに関するペンの状態をユーザに通知する。このディスプレイはホルダー上に取り付けることができる。LCDを使用する場合、LEDは不要である。
単一の3色(緑色、黄色、赤色)LED170(図18も参照)は、筆記データが正常に得られたこと、携帯電話を介したPCへのダウンロード、電池ステータスおよびメモリステータスの監視状況を示す。
ペン、クリップ、およびインク容器のスイッチ141、143、および145はASICを制御するのに用いられ、リセット・スイッチ147はASICをリセットするのに用いられる。
図19は、本発明の動作状態の状態図である。陰影付きのブロックは学習状態を示している。陰影のないブロックは遷移状態を示している。特に、この図は、多色LEDを用いて動作状態を示す場合を示している。
電力が投入されると、メモリ内のページ数と同じ回数だけ緑色のライトが点滅する。緑色のライトは、メモリが空のときには電力投入時にオンにならず、ユーザが筆記を開始した場合30秒以内に点滅を停止する。
筆記中、データの獲得が適切に進行しているときは、LEDは淡い緑色である。緑色のライトは、たとえば、光が遮られたり、ペンが筆記表面から離れたり、電池が放電したりすることによってトリガされるデータ獲得障害の場合にオフになる。
電池切れステータスは、筆記が行われていないときには黄色いライトが点滅することによって示される。しかし、筆記中に電池が残り少ない場合、緑色のライトが淡い緑色である状態では、黄色い光が間欠的に点滅する。
メモリがほぼ満杯のステータスは、筆記が行われていないときには黄色いライトが2連で点滅することによって示され、筆記が行われているときの緑色のライトが淡い緑色である状態では、黄色いライトが間欠的に点滅することによって示される。
ダウンロード・ステータス(ペンがホルダーまたはインク容器の内部にあるか、外部にあるかにかかわらず開始することができる)は、ダウンロードが成功した後、明るい緑色のライトによって示される。緑色の点滅は、ダウンロードが進行中であることを示す。ダウンロード用のサービスが利用できないか、またはダウンロード信号が弱いときは、赤いライトが点滅する。赤いライトは、インタネットに問題があり、たとえば、サーバがダウンしたときには2連で点滅する。赤いライトが3連で点滅している場合は、ユーザIDまたはサーバ・アドレスの誤りを含む、通信セットアップの誤りを示している。この場合、ペンからのデータとデータベース上のアカウントとの整合が失敗した後、サーバからペンにコードを送り返す必要がある。
電池再充電ステータスは、再充電が成功した後の濃い緑色のライトと、ホルダーがACアダプタに挿入され充電された後の、緑色のライトの複数回の点滅とによって示される。電池監視回路からの信号と充電器からの高速充電信号(充電を行っていないときには高(high))との組合せは、充電が進行しているか、それとも細流充電が行われているかの状態を示すことができる。
再充電中にペンを使用することができる。再充電中にペンをインク容器から取り外して使用する場合、黄色いライトは、上述のすべての通常のインジケータ・ライトで置き換えられる。
筆記フラッシュ・ステータスは、黄色いライトが連続的に点灯することによって示される。
すべてのエラーは、後述の2つのペン・スイッチまたはインク容器スイッチのいずれかを作動させることによってリセットされる。例外は、ダウンロードが成功したときと、ユーザが筆記を開始したときだけである。その場合、一定の明るい緑色のライトが淡い緑色のライトに切り換わる。
スリープ・モードでは、すべての問題表示、メモリ不足の表示、電池切れ表示は、正常モードと同様に継続する。ダウンロードのすべての問題の表示もオンのままになる。
ASICが電力投入時にメモリ不足の状況または電池切れの状況を示す必要がある場合、電力投入表示が優先される。次いで、30秒のタイムアウト後に問題表示が行われる。ASICがダウンロード中にメモリ不足の状況または電池切れの状況を示す必要がある場合は、ダウンロード表示が優先される。ダウンロード・ステータスがリセットされた後、問題表示が行われる。
ホルダー上の4つのスイッチのうちで、クリップ・スイッチ141は、ユーザが新しいページの筆記を開始したことを回路に通知する方法として、クリップが開閉されていることを示す。ペン・スイッチ143は、ペンがホルダーの内部にあるか、それとも外部にあるかを示す。インク容器スイッチ145は、ペンがインク容器の内部にあるか、それとも外部にあるかを示す。リセット・スイッチ147は、隠れているが、紙クリップを使用して底部の穴を通してアクセスすることができる。
ペン・スイッチおよびインク容器スイッチは、ペンがホルダーまたはインク容器内にあることを示し、ペンがホルダーまたはインク容器内にあるときにはデータ獲得電子機器およびデータ記憶電子機器から電力を除去する。ペン・スイッチはまた、作動時に新しいファイル(またはページ)を開くが、インク容器スイッチはこれを行わない。
クリップ・スイッチは、クリップが作動した時を示すと共に、新しいページおよび新しいファイルの開始位置(各ページがファイルである)を示す。
リセット・スイッチは、ソフトウェアがフリーズした場合にASICをリセットする。各スイッチは通常、以下のようにオンになる:
ペン:ペンがホルダーの外部にあるときにオンである。
インク容器:ペンがインク容器の外部にあるときにオンである。
クリップ:クリップ・ボタンを放したときにオンになる。
リセット:スイッチが押されたときにオンになる。
ホルダーは、USBインタフェースおよびRS232インタフェース用の小型コネクタと、ブルートゥースまたはその他の無線技術と共に使用できるアンテナも含んでいる。USBコネクタおよびRS232コネクタは、この小型コネクタにケーブルが挿入されたときにペン・ホルダーがそれ自体に電力を投入できるように、ウェークアップ電源回路にも接続されている。
センサによって生成された角度信号は、ASICによって処理され、後で携帯電話、PDA、PC(図示せず)のような他の装置に送信し、そこで手書き文字の認識または絵の取込みに使用できるようにフラッシュ・メモリに格納される。この送信は、たとえばUSBプロトコル、RS232プロトコル、IrDAプロトコル、ブルートゥースプロトコルを使用して行うことができる。
ファイル・システム
フラッシュ・メモリは、各ファイルが手書きの情報の1ページを表わすFAT(ファイル・アロケーション・テーブル)互換ファイル・システムとして構成されている。各ファイルは、3文字の拡張子および区切り文字「ドット」を含む、12個の文字から成る固有の名称を有する。
データ・ファイルの作成
ユーザが、ペンをホルダーから取り出すか、あるいはペンがすでに筆記モードである場合に新ページ・クリップ・ボタンを押すことによって、ペンを筆記モードにすると、新しいファイルが作成され、その後の手書きが新しいファイルに保存される。新しいファイルが作成された後、ユーザが実際には手書きを行わなかった場合、新たに作成されたファイルは削除され、次にペンを筆記モードにしたときに、同じファイル名が再使用される。
データ獲得中には、圧縮されていないデータがSDRAM内の一時バッファに記憶され、フラッシュ・メモリ内のファイルに記憶される前にデータ・ストア・タスクによって圧縮される。各ページは別々のファイルに記憶される。古いページは、新しいページ獲得が開始される前に圧縮される。
データ・ファイル・フォーマット
立方近似を含む可変率ハフマン符号化に基づくバイナリ圧縮フォーマットを使用する。このようなフォーマットは、符号化されたデータ座標およびタイムスタンプを含む。
ファイルは圧縮される前に以下のフォーマットを有する:
ファイルは、4バイト・セグメントとして構成される。各セグメントは、1つの画素または1つのタイムスタンプに対応する。各画素は、最上位ビット(MSB)がゼロであり、対応するCMOSセンサの副座標である2つの15ビット数から成っている。タイムスタンプは、MSBの1つに識別され、次の画素の完全な日時(完全タイムスタンプと呼ばれる)、または最後の完全タイムスタンプからの増分画素カウンタ値を記憶することができる。
各ファイルは、完全タイムスタンプから始まる。増分タイムスタンプは、あらゆる筆記ストロークの終了位置に挿入される。すべての画素が均一な時間だけ走査されるので、タイムスタンプのこのような組合せにより、手書きの全履歴を、後の処理において効率的に回復することができる。
データのダウンロード
ホルダーがUSBケーブルを使用してPCに接続されると、PCは自動的にホルダーをPC互換USB装置として認識し、ホルダー・ファイル・システムの内容が、PCファイル・システム拡張子を介してPCに見えるようになる。ユーザはこのファイル・システムを探索し、手書きビューアを使用してファイルを表示することができる。
ホルダーと、たとえば携帯電話との間にRS232ケーブルが接続されると、ホルダーは自動的にホルダー自体に電力を投入し、ホルダーのメモリから携帯電話へのデータ・ファイルの送信を開始する。携帯電話へのデータのIR送信を行うこともできる。
データは、圧縮形式でサーバに送られ、受信側が要求されるまでサーバに維持される。次いで、データは圧縮解除され、eメールまたはFAXサービスに特有の.tif、.pdf、.gif、.psの各フォーマットのうちの1つに変換される。
センサ信号前処理
いくつかの例では、ASICプロセッサがすべての通信機能および入出力(I/O)機能を実行し、暗騒音の打消しおよびフラッシュ・メモリへの記憶にはプリプロセッサ(図示せず)を使用することができる。プリプロセッサは、PLD、FPGA、デジタルASICどのプログラム可能な装置乃至はDNPとして実施してよい。この例では、周波数の多重化が行われ、PLLによって回復されたペンLED変調周波数から高周波数画素クロックとプリプロセッサ用のクロックとが生成される。
第2のプロセッサは、携帯電話やPDAのような他の携帯装置のプロセッサであってよい。
データの獲得
0.5mmの分解能を得ようとして、毎秒5cmの代表的な速度筆記動作を適切に取り込むために、10ミリ秒の間隔一連のサンプルとして、位置データが収集される。ASICはマスタとして動作し、センサ用のクロックおよびすべての必要な信号を生成する。
ホルダー内のセンサはASICからの画素クロックを使用する。各センサによってフレーム信号が生成され、ASICに読み込まれる。したがって、いくつかの実施態様では、ペンからのLEDパルスとホルダー上で行われる信号獲得とが同期しない。他の例では、データの獲得がペン変調周波数と同期する。同期をとることによって角度分解能が著しく向上する。
ペンの位置座標が得られる各サンプリング・サイクルで、両方のセンサからデータが取り込まれる。暗騒音打消しアルゴリズムのあるバージョン(ペンと非同期)では、各センサで3つの連続するフレームを取り込む必要がある。センサ・リセット用のASICアーキテクチャによって追加のフレームが使用される。
2つのセンサからの座標間のずれ(skew)を最小限に抑えるために、マルチプレクサによるデータ収集は、各画素ごとに2つのセンサの間で交互に行われる。
A-D変換器を最高1.2MHzのサンプリング速度で動作させ、2つのセンサを交互に使用することによって、600kHzまでの画素サンプリング周波数が可能になる。各CMOSアレイは1024+4個の画素を有し、したがって、フレームレートは約600Hzになる。より遅い速度の300Hzを使用して、画素の露光量を増やし、したがって、信号対雑音比を高くすることができる。
各センサは、各画素がA/D変換器に読み込まれた後にリセットされるモードで動作する。
IR LEDデューティ・サイクルは3つのフレーム間隔の50%である。このデューティ・サイクルでは、LEDの周波数は200Hz以下である。
暗騒音を打消し、同期なしで周波数干渉を軽減するには、後述のように、1024個の画素から成る3つのデータ・フレームが必要である。
各CMOSは、メイン・アナログ出力だけでなく、END_FRAME信号を供給する。各CMOSから、3つの順次データ・フレームのそれぞれの収集サイクルが、フレームの最後の画素に一致するEND_FRAME信号によって開始される。各A-D変換はPIXEL_CLOCKパルスの立下りエッジで行われる。点の総数はほぼ(1024+4)*3であり、この場合、1024はCMOSアレイの長さであり、4はEND_FRAME信号と次のフレームの開始の間のクロック・パルスの数であり、3は暗騒音の補正実行するのに必要な順次フレームの数である。
ASICは、得られた波形から、各々が1024個の画素に対応する3つのアレイを抽出する。各アレイのi番目の要素がCMOSのi番目の画素に対応するようにこれらのアレイを正しく位置合わせしなければならない。
アレイをA1、A2、およびA3と呼ぶことにする。暗騒音の補正は、ペン内のLEDがフレーム率の3分の1に等しい周波数および50%のデューティ・サイクルで変調されることに基づいて行われる。暗騒音を補正するために、アレイ上の各要素ごとに以下の計算が行われる: A12 = abs(A1 - A2); A23 = abs(A2 - A3); A13 = abs(A1 - A3)。次いで、アレイA12、アレイA13、およびアレイA23が各要素ごとに加算され、Aと呼ばれる新しいアレイが形成される。このアレイAは、1024個の要素に相当する長さを有し、暗騒音が除去されたビーム情報を保持している。
END_FRAMEパルス中に画素波形に現われる大きなピークを確実になくすには、1024個の要素に相当する長さよりも短いサブアレイ、たとえば、画素3、画素1032、および画素2061から始まる(ベース0)、1020個の要素に相当する長さを持つ3つのサブアレイを抽出することができる。
2つのセンサの読取り値は同時に(または1つのA-D変換器のみを使用するときには、ほぼ同時に)デジタル化される。
画素未満の分解能によりCMOSアレイに沿ってピーク位置を見つける
各センサで光を受け取る角度の判定は、センサのアレイに沿ったピーク光強度の画素位置の判定に依存する。画素未満の分解能によってピーク位置を見つけるアルゴリズムは、ボルト単位の強度しきい値であるTと、画素単位のウィンドウの幅であるWとの2つのパラメータを使用する。これらのパラメータの代表的な値はT=0.1VおよびW=15である。
最初の段階では、アレイAにおけるピーク値およびその指数が求められ、これらがAmaxおよびMと定義される。(2つのセンサに対応する)2つのAmax値のいずれかがTよりも小さい場合、この点は破棄される。この例では、LEDがオフであり、ペンは紙に接触していないとみなされる。M<W/2またはM>(1024-W/2)である場合、この点は、視野の縁に近すぎる点として破棄される。
要素M-W/2から始まる、W個の要素に相当する長さのサブアレイをAから抽出する。このサブアレイの有理数表示した重心を以下のように求める:抽出されたサブアレイ(これをSと呼ぶ)の要素の移動和のアレイを作成する。最後の要素の値を取る。この値を2で割る。線形補間/参照を使用してSにおけるこの値の位置の有理数表示した指数を求める。この値にM-W/2を足す。これが、最初の1024要素アレイ中のビームの重心の有理数表示された指数である。この符号を反転させ、512(長さが1024個の要素に相当するAの場合は512。長さが510個の要素に相当するAの場合は510)を足す。この結果Pが、(画素単位の)センサの軸に対するビームの有理数表示した位置である。
画素未満のアルゴリズムを使用すると、画素分解能が8倍から10倍高くなる。
センサ軸に対する光源角度の算出
前の計算の結果として、(画素単位の)各センサごとのビームの角度表示の位置が得られた。これらの位置をPレフト(Pleft)およびPライト(Pright)(ペンの視点からセンサを見た場合)と呼ぶことにする。センサの形状に基づいてPをラジアン単位で再計算する。一例では、画素ピッチL=7.77ミクロンであり、レンズからCMOSまでの距離はD=4800ミクロン(代表的な値)であり、レンズ材料の屈折係数はNである(ガラスの場合は1.5、プラスチックの場合は1.4、SF6の場合は1.8)。パラメータ、すなわち距離D、屈折指数N、および水平方向オフセット、オフ(Off)は、正しい筆記マッピングを得るための較正データを使用して調整される。
この場合、角度(ラジアン単位)は F = arcsin(N*sin(arctan((P*L)/D)))として算出される。
図22に示すように、デカルト座標における光源の位置を算出するには以下のパラメータが必要である:
センサ収束角度(トウイン)C(ラジアン)、通常30/57
ベースB、センサ間の距離(mm)、通常150
左側のセンサ:Kleft = tan(C-Fleft)
右側のセンサ:Kright = tan(C-Fright)
X(mm) = B*Kright/(Kleft+Kright)
Y(mm) = Kleft*X
点を有効な点として許容する基準
点は座標対(X,Y)として記憶される。点をメモリに保存する際には、以下の場合を除いて座標が連続的に保存される:
信号が(上述のように)しきい値よりも小さいことが判明した場合、マーカ(一対の固有の値)がメモリに書き込まれる。たとえば、(NaN,NaN)はペンが持ち上げられたことを後で示す(NaNは、IEEE算術標準の定義により非数を表す)まーかーである。書き込まれた後、信号が再び検出されないかぎりファイルに新しい点が追加されることはない。このアプローチによって、ペンは、復元された軌跡線に割り込むべき場所を再生プログラムに厳密に伝えることができる。
信号が有意であるが、ペンの位置が、前の位置と比べてそれほど変化しなかった場合、メモリに新しい点が追加されることはなく、さらに信号がない場合とは異なり、メモリにマーカが書き込まれることもない。べき乗移動量は(X1-X0)2+(Y1-Y0)2として算出される。有意なべき乗移動の代表的な値は0.04mm2である。
タイムスタンプの情報がなくても、ペンの軌跡を復元することができるため、ファイルにタイムスタンプは含まれていない。
座標は、フラッシュ・メモリに格納される前にのみ、一時バッファに格納され圧縮される。各ページは別々のファイルに格納される。したがって、ページ・マークの終了位置は必要ではない。
第1の有効な画素の前に完全タイムスタンプが挿入される。ページ(ファイル)上の他のすべてのタイムスタンプは、ペンが紙から離れたときに必ず増分され挿入される。ペンが紙から離れている時間にかかわらず、1つのタイムスタンプのみが挿入される。
スリープ・モード
筆記のためにペンがホルダーまたはインク容器から取り出されると、ASICがスリープ・モードをオンにし、ペンから光学信号が検出されるまで待つ。
ホルダーは、覚醒していて、筆記が所定の期間にわたって中断していることを検出すると、電力保存スリープ・モードに戻る。ASICは、通常の48MHzクロック周波数を750kHzに低減させることによってスリープ・モードに入る。これに応じてSDRAM更新フレッシュ速度も変化しデータはそのままに保たれる。
ホルダーの電力は、ペンがホルダーの内部またはインク容器内にあるときはほぼ完全にオフになる。RS232受信器およびUSB監視回路は、待機電流をほとんど消費しない。これらの回路は、ケーブルを介して携帯電話に接続されるか、またはUSBケーブルを介してPCに接続された際、RS232またはUSBのアクティブ・レベルが検出されたときに立ち上がり、残りの電子機器に電力を供給することができる。ペン・ホルダーは、ペンがホルダーの内部にあるときには完全にオフである。
スリープ・モードでは、ホルダー電子機器の機能は、ペンがアクティブであることを示す、フォトダイオードおよび関連するPLL回路からのWAKEUP入力を監視することだけである。スリープ・モードでは、ペンは、フォトダイオードを検査する時間間隔の間には電力をほとんど消費しない。
筆記中に、ペンは、変調されたIRパルスを送信する。パルスはホルダーで検出され、それによってPLLがプロセッサを立ち上げ、ASICが48MHzシステム・クロックに切り換えた直後にプロセッサが通常の獲得モードを開始する。
フェーズ・ロック・ループ(PLL)
ペンからの変調されたIR光が検出されると、IR光の変調周波数に同調させたPLL回路132を使用して、(出力光中の1kHzバーストで表された)ペンLEDの変調クロックが抽出される。
すべての得られたデータは最初、DMAを使用してSDRAM134に格納される。獲得モードからスリープ・モードに移るときも、SDRAMの更新速度は変化しない。メモリ要件は、50ページ分の圧縮されたデータまたは10ページ分の圧縮されていないデータの場合は1Mバイトである。5:1圧縮アルゴリズムは、復号に対する制限を含まない、高速で計算が簡単な符号化を有さなければならない。
得られたデータは最初、筆記中にSDRAMに格納される。ペンがインク容器に戻されるか、または新ページ・スイッチ136が作動すると、ASICはSDRAMのすべてのデータをフラッシュ・メモリ138に書き込む。手書きのテキスト・データのページ全体をごく短い時間でフラッシュ・メモリに書き込むことができる。この転送は、ホルダー上の黄色いLED140を点灯させることによってユーザに示される。
8Mビットのフラッシュ・メモリは、最大で50ページの手書きのテキストを表す圧縮されたファイルを格納する。圧縮アルゴリズムは、テキストの観測される歪みなしに少なくとも6から1への圧縮を可能にする。
ホルダー用の電力
ホルダーは、3.0Vを供給するように直列に接続された2つのAA NiMH電池から電力を供給される。ペンがインク容器またはホルダー内にあるとき、ペンの3つのNiCd電池は細流電流によって再充電される。細流電流による充電で、電池の電荷を維持するのに十分である。ペンとペン・ホルダーが共に充電器内にあるときに、ペンの電池を含むすべての電池を完全充電電流で充電する特殊なモードが設けられている。
電池の寿命は、手書きのページ10ページ分、またはメモリへの格納時にデータを圧縮しない平均的な1週間の使用分に相当する。平均的なユーザは、毎秒2文字、すなわち、毎分120文字、すなわち、毎時7200文字書くことができる。平均的な手書きのページは約700文字である。10ページ作成する場合、電池は5時間動作しなければならない。
ホルダーは、USBポートに接続されると、USBホストから電力を得ることができる。電池上の電荷は、USB電力に切り換える前に回路を始動させるのに十分な高いレベルに維持される。USBコネクタからの電力は、ASICが、USBリンクを介した通信を確立し、接続が「高電力」であることをUSBリンクの他方の端部上のPCに通知しないかぎり供給されない。これに応答して、PCは0.5Aまでの電流を供給する。電池充電電流は、0.4Aに設定され、充電器を細流充電に切り換えるように監視される。
ホルダー回路は、ペンがホルダーまたはインク容器から取り出されたときに作動させられる。RS232ドライバおよびウェークアップ電源回路のようなある種のホルダー回路は、電池から直接電力を得る。他の回路は、搭載切換え調整器で2V〜3Vの電池電圧から生成された3.3V電源より電力を得る。USBリンクに接続されると、USB電源から3.3Vが生成される。
アナログ回路の場合は、3.3V電源から5Vが生成される。
ペンとホルダーの同期
ペンとペン受信器の同期をとることによって、信号の分解能を向上させ、それに対応して、角度分解能および筆記の分解能を向上させることができる。
図20に示すように、同期をとるために、ペンは、PLLによって容易に検出できる1kHz〜10kHzのパルスのような高周波数パルスの周期バースト401(いくつかのタイミング図が示されている)を生成する。PLLは、実際の変調クロックを検出するだけでなくその位相も検出し、したがって、データの獲得を開始しそれをペンのLEDと同期させる信号を生成することができる。
図21に示すように、制御信号LED_ONおよびLED_OFFは信号の獲得をトリガする。このような場合、暗騒音を打ち消すのに必要なフレームは、ペンのLEDがオンのときのIR信号のフレームと、このLEDがオフのときのIR信号のフレームの2つだけである。CMOSセンサの場合、すべての画素を一度にリセットするシャッタ・モードが設けられている。
サンプル当たりのフレームが2つだけである場合、サンプル・レートおよび分解能が高くなり、プロセッサはサンプル間にアイドル・モードに入り電力を節約することができる。
2-D CMOSアレイの使用
デジタル・センサの製造業者のベンダは、小型の電力節約型センサを、通常のペン製品または3-Dペン製品と一体化できる画像処理回路と共に製造している。
光点の3-D位置決めは、2つの2-Dフォトアレイを使用すれば可能である。光の点を2つの平面上に投影させることによって、3-D空間内に単一の点が形成される。3D位置の軌跡が得られる場合、IRポインタ・ペンの動きによってPC画面上の3-Dオブジェクトを制御することができる。ペンは、空間内を移動する際にオブジェクトを任意の方向に引っ張るか、または回転させる。
スレーブ・モード
他の実施態様では、ARM7ベースのASICをスレーブ・モードで使用する場合、DMAによってデータを得ることができるが、ペン光検出回路(PLL)によって垂直同期信号が生成される。
2つのアナログ・チャネルの他の使用法
2つの別々のアナログ・チャネルをアナログ信号処理とA-D変換とに使用することができる。このような実施態様では、短い整定時間、周波数帯域幅、およびスルー(slew)・レイトを必要としないより経済的な部品を使用することができる。
他のフレーム変更方法
CMOSセンサは、ダイナミック・レンジが限られている。調整可能な電子利得を、CMOSの出力後に両方のCMOSに同時に使用できるが、この構成は2つの理由で理想的なものではない。
第1に、2つのCMOSの信号は、ペンが紙の特定の領域を移動する際に大きさが異なり、したがって、両方のCMOSに対して利得を変化させると、一方の信号が固定され、同時に、他方の信号が許容できないレベルまで劣化する可能性がある。ページ全体にわたって適切な信号を得るには、各CMOSごとに別々の利得を与えると有用である。第2に、電子利得を使用しても、センサがカバーしなければならない領域については避けられない実際のCMOSの飽和をいずれにせよ防止することはできない。
CMOSの利得は、各CMOSの露光率を独立に変化させることによって変えることができる。図21に示すように、ペンの伝送速度は100MHzのままであり、それに対して、CMOSのフレーム率601は300Hzと600Hzと1200Hzの間でシフトする。300Hzでは、暗騒音を打ち消すのが簡単である。600Hzの場合、アルゴリズムはフレームを1フレームおきに使用する(フレーム1、フレーム3、およびフレーム5)。1200Hzの場合、アルゴリズムはフレームを4つおきに使用する(フレーム1、フレーム5、およびフレーム9)。画素率は300kHz、600kHz、および1.2MHzである。フレーム率の変更は、追加のハードウェアなしにASICによって行うことができる。
各CMOSをそれ自体のADCに直接接続しても、あるいは1.5メガサンプル/秒に対処することができ、4Vの基準電圧を有する1つのADCに両方のCMOSを接続してもよい。この場合、ADCは、信号を、ASICに供給できるようにデジタル・マルチプレクサに供給してよい。
PSDベースの手法
CMOSアレイではなく、2つのPSDを使用してペンからのIR光を検出することができる。各PSDは、ペンとPSDの間の視線と、ページとの間の角度を求める。2つのPSDによる2つの角度およびPSD間の距離は、ペンの先端の位置を算出するのに十分である。
IRフィルタの場合も、周囲光によって、PSDの位置測定に誤差が導入される。この誤差を低減させるために、上述のように変調周波数および50%のデューティ・サイクルを有するパルスを生成するようにペンにおけるIR光が変調される。
三角測量に使用される角度に変換されるPSD信号を、2つのアナログ技術を使用して識別することができる。
同期復調と呼ばれ、計測電子機器で使用される一方の手法では、入射した互いに同期した光パルスが光変調周波数で断続され、LEDがオンであるか、それともオフであるかに応じて、これらの信号に互いに逆の利得(それぞれ+1および-1)が加えられる。これによって暗騒音を減算することができる。次いで、信号は、一方では信号の変化に応答し、他方では雑音を平均するように、時定数を使用して積分される。一例では、変調周波数は3kHzであってよく、パルス振幅はILEDピーク=Xmaであってよい。
第2の区別手法は、サンプル・アンド・ホールド技術を使用する手法である。光学信号の形状は、前述のように、3kHz変調周波数で50%のデューティ・サイクルを有するが、変調周波数にはずっと強度が高くショート・パルスが課される。変調周波数は、PLLを使用して識別され、かつサンプル・アンド・ホールド回路をトリガするのに用いられ、それに対して実際には、強度の高い光学パルスがサンプリングされる。パルス振幅はILEDピーク=Xmaであり、パルス持続時間T=Xusecである。
PSDは、感光表面上の光の位置を検知し測定するうえで極めて精度が高い。PSDは、廉価であり、電力消費量が非常に少ない。PSDの実施態様はまた、CMOSの実施態様よりもずっと簡単である。
図23に示すように、各PSDに2つである、4つのチャネルのそれぞれに電流-電圧変換が行われる。4つのアナログ信号は、低周波数フィルタリング部605、同期検出部607、積分部609、マイクロコントローラ613(12ビットA/D変換器)によるデジタル化部611を通過する。A-D変換は100Hzサンプリング速度で行われる。プロセッサは、ペンが紙の上で軌跡を描いているときにはアクティブである。プロセッサは、信号の獲得と、フラッシュ・メモリへの周期的な格納を行う。図24は、システム・タイミング図を示している。軌跡が描かれていないとき、マイクロコントローラはアイドル・モードに入り、任意の期間の後でスリープ・モードに入る。
マイクロコントローラは、変調周波数の信号が比較器のあるしきい値を超えたときの、4つのアナログ・チャネルのうちの1つからの入力、ホストからの活動の存在が検出器されたときの、USBポートからの割込み、1つのキー・ボタンを押すことによる入力の各入力の割込みまたはポーリング(TBD)によってアイドル・モードまたはスリープ・モードから起きる。
RAMが満杯になり、または/かつフラッシュ・メモリ・ページの境界に達すると、プロセッサはRAMのデータをフラッシュ・メモリに書き込む。信号の獲得が継続し、ページが満杯になった場合、マイクロコントローラはフラッシュ・メモリへの書込みを開始する。しかし、大部分のフラッシュ動作は、筆記が行われないアイドル・サイクル中に行われるべきである。
各PSDは、2つのアナログ信号処理チャネルを有している。各チャネルは、出力が第1の利得増幅器に結合される電流-電圧変換器を有している。信号は、(ペン上の)パルスIR LEDの、現在は1kHzの変調された周波数によって断続される。
LEDが発光したとき、チョッパーの利得は+1である。光がないとき利得は-1であり、したがって、信号は同期復調される。最後の段は積分器であり、積分器の出力はDCに近い。厳密に言えば、個の出力は、増幅器のフィードバックにおける積分コンデンサの充電および放電のためにのこぎり波形である。
A/D変換器、すなわち、PCベースのDAQまたはマイクロコントローラのA/Dは、指定された時間間隔で変調周波数と同期して出力をサンプリングし、のこぎり波形による誤差を打ち消す。
A/D変換器の分解能の12ビットをすべて使用するために、変換器用の基準電圧の動的変化が使用される。マイクロコントローラは常に、最高の範囲を有するA/Dチャネルの読取りを開始し、この範囲を、信号に最適なものになるまで2分割する。
チョッパー増幅器は、各チャネル(4つのチャネルすべて)上のアナログ回路を用いて検出された変調周波数のコピーを使用する。この信号は、第2利得段の後で取り出され、信号の遷移を検出できるように処理され、次いで、復元された変調パルスが、ORゲートを通過してチョッパー増幅器アナログ・スイッチを駆動し、その利得を+1と-1の間で変化させる。
フォトダイオード、回転するペン先端を使用した移相
図25に示すように、回転する光源617をペンの先端で使用する場合、ホルダー上の3つのフォトダイオード619、620、621上の信号間の位相差を測定してペンの位置を求めることが可能である。
ペンの先端上の回転する光は、T/Nだけ間隔を置いた時間にトリガされるいくつかの(たとえば、8つの)LED623を使用して実現することができる。この場合、TはLEDサイクルの期間全体であり、N(たとえば、8)はLEDの数である。
信号源はX-Y平面上のある位置に存在する。同じ平面上の他の2つの固定位置に2つの信号検出器619、620が位置している。正のX方向に放射された信号がY方向に放射された(信号周波数で空間的に回転する)信号に対する直角位相を有するような放射パターンを信号源が有し、信号周期と比べて伝搬遅延が無視できるものである場合、検出器から信号源までの2本の交差する直線637、639によって形成される角度A1は、検出器で測定される信号間の位相差と同じである。
第3の固定位置検出器621を追加する場合、信号源で3本の直線が交差するときに第2の角度A2が形成される。この場合も、交差点での直線間の角度A2は、検出器間の測定信号の位相差と同じである。ある基本的な三角法を適用することにより、検出器の固定位置を知り、検出器での信号の位相差を測定することによって、X-Y平面内の信号源の位置を見つけることが可能になる。3つの検出器が一直線に等間隔を置いて配置されている場合、この計算は自明のものになる。
図26を参照するとわかるように、センサによって測定された角度「a」および「b」に基づくB角度およびA角度の計算は以下のとおりである。
a/A = d/R (1)
およびb/B = d/R (2)
およびB + A + b + a = 180°(3)
を有する場合、
基本三角法理論から、
B/A = b/a (4)が得られ、
したがって、B = A x b/a (5)
A = B x a/b (6)である。
次に、(5)および(6)に(3)を挿入することによって次式が得られる:
A x b/a + A + b + a = 180°(7)および
B x a/b + B + b + a = 180°(8)
これをAおよびBについて解く:
A = a x (180°- b -a)/(a + b) (9)
B = b x (180°- b -a)/(a + b) (10)
ペン先端上の回転する光は、T/Nだけ間隔を置いた時間にトリガされるいくつかの(たとえば、8つの)LED623を使用して実現することができる。この場合、TはLEDサイクルの期間全体であり、NはLEDの数である。たとえば、8つの発光ダイオード(LED)を、外側を指し示す円状に構成し、45°の間隔を置いて配置し、隣接するLED間の位相差が45°になるように信号発振器によって駆動することができる。
図27および図28に示すように、3つの検出器641は、トランスインピーダンス増幅器643と、検出された信号中の振幅変調を除去する高利得リミッタ645とから成る信号処理チェーン642を駆動する正固有領域負(PIN)ダイオード光学検出器であってよい。
位相の検出は、2つのエッジ・トリガ式1ビット・アップダウン・カウンタ型位相検出器649と、2つのバイナリ・カウンタと、信号周波数よりも数十倍高い周波数で動作するクロックとを用いて行うことができる。一方のセンサが他方のセンサの位相よりも進んでいる場合にあらゆるクロック・サイクルでカウント・アップし、位相が遅れている場合にカウント・ダウンするように各カウンタが接続されており、かつ第3のカウンタが連続的にカウント・アップするように設定されている場合、マイクロプロセッサは、すべてのカウンタを周期的に読み取ってリセットし、位相検出器に接続された2つのカウンタからの読取り値を、連続的に動作するカウンタからの読取り値で(割ることによって)スケーリングすることができる。この数が3つのセンサ間の位相差であり、したがって、センサから信号源までの、交差する直線間の角度である。この場合、センサに対する信号源の位置を算出することは自明の作業である。
他のペン光作動スイッチ
導電性ゴム、圧感材料、またはひずみゲージを含む、様々なペン光作動方法を使用することができる。
感圧材料によって、可変圧力しきい値を使用することが可能になり、切換え点とインク流量の調和を図ることができる。この場合、ペンがまだアクティブでない間にインクが軌跡を描いているときに、データの損失が防止される。大部分のボールペンの替芯は、20gf +/- 30%から30gf +/- 30%のインクを放出し、それに対して、既製のスイッチは、たとえば50gfから100gf +/- 40gfで作動し、したがって、インク流量とデータ取込みを確実に調和させることは不可能である。50gfを超えるインク流量を防止し、既製のチップ・スイッチを使用できるようにする特殊な替芯を構成することができる。
他のペン光学機器
ペンの先端から発光させる他の手法も可能である。光ファイバを使用してLEDから光を収集し、ペンの先端の周りに360°パターンで放出することができる。個々のLEDチップは、ペンの先端の周りに位置し、半反射レンズ/ウィンドウを通して発光し、それによって、50%の光を放出し、他の50%を内部に反射させて他の光と混合し、最終的に一様な360°の照明を形成することができる。光を一様になるように再分散させる特殊なリングを使用して、単一のLEDからの光を混合することができる。
他の受動ペン
ペンは、IR光源がセンサの近くに位置する場合には完全に受動的であってよい。ペンの先端の近くまたはペンの先端に反射表面が設けられる。センサは、上述のように、ペンの先端からのIR光の反射を検知し、角度を算出する。
ペンの先端が光を反射しなければならないのは、紙に押し付けられインクが軌跡を形成しているときだけである。他の場合に反射すると、紙の上に対応する軌跡が存在しない、デジタル形式の誤った軌跡が生成される。
反射機構の作動は機械的に行っても、電気的に行ってもよい。機械的な実施態様では、先端に対する圧力によって被覆物が開放され、先端の周りの反射表面が露出される。電気的な実施態様では、先端に対する圧力によって、液晶、またはこの材料に光を反射させる他の光技術が作動する。指の爪や指輪のような他の物体からの反射には、偏向させたIR光を使用することによって対処することができる。
受動ペン・ホルダー
逆に、ホルダーが2つの反射器を有し、それに対して、ペンが発光すると共に反射を受け取ってもよい。ペン上の検知素子は二次元PSDまたはCMOSアレイであってよい。平坦な2-Dにより、360°の有効範囲を有する円形のカスタム2-Dセンサを作製することが可能である。
キーボード・マウス代替アーキテクチャ
上述のペンをマウスやキーボードなどの標準PC入力装置と交換することができる。
紙、プラスチック、または他の平坦な表面をキーボードまたはマウスの代わりに使用するとき、これらの表面は、たとえばPC、ハンドヘルド・コンピュータ、携帯電話用のキーボードおよびマウス・パッドとして働く印刷されたキーボード・パターンを保持することができる。
近年、ユーザは、PC、ハンドヘルド・コンピュータ、または携帯電話にデータを入力する際にキーボード、キーパッド、または画面上のスタイラスによる入力に制限されることが多い。キーボードは、完全なサイズであるときに効率的で好都合であるが、パーム・コンピュータや携帯電話などの携帯装置には有用ではない。携帯電話のキーパッドは、電話番号をダイアルする場合には効率的であるが、ASCII文字および記号の生成を試みるときには過度のキーストロークを必要とし、どんな種類のデータ入力でも非常に退屈で時間のかかるプロセスになる。パーム装置を用いた画面上のスタイラスによる入力では、装置上で必要とされる手書き文字認識量を最小限に抑えるためにユーザが「グラフィティ」のような固有の筆記形式を使用するか、またはユーザが、画面上に表わされる小型の仮想キーボードをたたく必要がある。どちらのスタイラス手法でも、入力に誤りが生じ、これらの装置の機能が制限されることが多い。
電子ペンは、手書きの画像および線の記録だけでなくテキスト文字の入力を行う信頼性の高い方法を実現するモードで用いることができる。ユーザがペンを用いて入力するのに必要なのは紙または他の任意の表面だけである(印刷されたキーボード・パターンはあってもなくてもよい)。
電子ペンの空間転写機能は、キーボード・テンプレートと共に、マウスまたはキーボードに代わるものとして使用される。
紙のキーボードは、ユーザのニーズに基づいて複数のサイズであってよい。このサイズは、8 1/2 x 11の用紙から携帯電話のカバーのサイズまでの範囲であってよい。ユーザはまず、所望のキーボードのサイズを選択し、次いで、キーボード上の指定された文字にペンを接触させることによって較正を行う。メッセージを入力する場合、ユーザはペンの先端を適切なキーに接触させる。紙の、ある文字に対応する方形領域にペンが接触すると、ペンの先端の位置が算出され、指定された文字が判定される。この手法によって、ユーザは、電子ペンを用いて、手書き認識ソフトウェアに依存せずに、計算装置上でテキストを生成することができる。
この手法は、現在、引き続き小型化されている個人用電気機器上で現在使用されている内蔵キーパッド、ソフトウェア・キーボード、または画面上のスタイラスによる入力手法に対する改良である。紙のキーボードによって、ユーザは、他の手法を用いる場合よりも高速にかつ確実にハンドヘルド・コンピュータおよび携帯電話上でメッセージを入力することができる。この紙は、絵および手書きのメモおよび画像を記録する他のモードで使用することもできる。紙のキーボードは、使用後に破棄するか、または後で使用できるように折り畳むことができる。
キーボードは、文字だけでなく、小型装置との比較的効率的な相互作用を可能にするショートカット・キーおよびファンクション・キーを含んでもよい。ショートカット・キーは、コマンドをイネーブルするのに必要なキーストロークの数を最小限に抑えることができる。ショートカット・キーは、入力される装置の種類に基づいてカスタム化することができる。
キーボードは、紙のマウス・パッドとして働く部分を含んでもよい。ユーザは、電子ペンの空間転写機能を使用して、紙の上の指定された方形空間内でペンを移動させ、それによって装置の画面上でポインタを移動させることができる。したがって、紙のマウスは、ハンドヘルド・コンピュータまたは携帯電話の画面上を移動する手段として、キーおよび画面上のスタイラスに代わるものとして働く。
紙のキーボードは、外国の文字を入力する際にも融通が利く。日本語、韓国語、スペイン語、フランス語、ロシア語のようないくつかの言語用のキーボードを作成することができる。ユーザは、異なるアルファベットを入力することを望む場合、新しいキーボードをプリントアウトするだけでよい。
図29に示すように、メッセージを入力する場合、ユーザは、紙のキーボード705上に印刷された適切なキー703上にペン701の先端を接触させる。ペンを接触させた位置は、トラッカー707によって追跡され、テキストに変換され、次いで携帯電話711やパーム・コンピュータ709などの携帯装置に送信される。
キーボードは使用後に折り畳むか、または破棄することができる。
他の実施態様では、印刷された紙のキーボードは存在しない。その代わりに、ペンの追跡された動きを手書き認識を介して使用して、ペンを用いて任意の表面上に書かれるテキスト、コマンド、および絵を導くことができる。
この手法の一つの実施態様では、引き続きマウスおよびキーボードを使用することができ、ペンが代替品として働く。ペンは、「ポインティング・デバイス」(マウス)または「文字入力」(キーボード)モードで動作することができる。モードは、ペン・ホルダーまたはペン上の専用のハードウェア・スイッチまたはボタンを用いるか、またはPCからホルダーにコマンドを送信することによって選択することができる。
マウス・モードでは、ペンの動作は二次(USB)マウスの動作と区別できない。これは、画面上でカーソルを移動させる相対位置決めポインティング・デバイスである。キーボード・モードでは、利用可能な文字認識装置を使用してグラフィカル入力(ストローク)を文字に変換する特に構成されたアプリケーションによってペン入力を受け取ることができる。他のアプリケーションは、ペンの存在を認識せず、引き続き通常の(従来の)キーボードを使用して動作する。
他の手法では、ペンはシステムの入力装置に過ぎない。この場合、ソフトウェア・ドライバ・スタックがキーボード機能をシステム全体で実現するように修正される。マウス・モード動作は、影響を受けず、最初に説明した手法と同一である。キーボード・モードで動作する際、ペン入力は、キーボード・フィルタ・ドライバに内蔵された利用可能な手書き認識ソフトウェアによって認識され、次いで、従来のキーボード入力と同様にシステムの入力待ち行列に供給される。
この第2の手法では、プラットフォーム操作性モデルが必要であり、基本入出力システム(BIOS)のようなある種のシステム構成要素を修正する必要がある(可能性が非常に高い)。
どちらの手法でも、ヒューマン・ファクターおよび操作性の問題が起こる。特に、手書き認識には2つの基本手法、すなわち離散認識手法(1度に1文字)および連続認識手法(一度に1語、1句、または1ページ)がある。前者の場合、ユーザはフィードバック用のコンピュータ画面出力に連続的に依存する。この手法は不都合である。というのは、手書きプロセスは、フィードバック用のコンピュータ画面を見ることによって絶えず割り込まれなければならないからである。後者の場合、ユーザは画面をときどき、すなわち、筆記単位(語または句)が完成し、必要に応じてそれを訂正するときに見るだけでよい。
マウス入力モードからペン入力モードへの切換えは、引込み可能なペン替芯の動作によって行うことができる。替芯は、ペンの内部にある(ペンで筆記することができない)ときにはマウスとして使用される。筆記が可能になると、ペンはキーボードとして働く。
他の態様も特許請求の範囲内である。
ホルダーは、上述のインク容器を含む種類のホルダーでなくてもよく、センサを保持できる任意の種類の装置であってよい。ホルダーは、すでに示したように比較的単純なペン・キャップであってよく、あるいはペンにかみ合うかまたはペンを覆うかどうかにかかわらず、およびクリップを含むかどうかにかかわらず、他の任意の種類の装置であってもよい。ホルダーは、たとえばクリップボードやノートに組み込むことができる。
ペン内の光は、光を先端に送り、かつペンの周りのすべての方向に円板上のパターンとして伝えるファイバ・オプティックスであってよい。

Claims (112)

  1. 筆記用具上の移動する光源からの光を、二次元筆記表面上の筆記用具の位置および経路の表示として伝える段階、
    2つまたはそれ以上のセンサで光を検知し、検知された光を表す信号のシーケンスを生成する段階、および
    画素未満の読取りの安定性を高める技術を適用する段階
    を含む方法。
  2. 技術が光学機器に基づく請求項1記載の方法。
  3. 光学機器が、センサの信号応答の一様性を高めるように構成される、請求項1記載の方法。
  4. レンズが球面レンズを備える、請求項3記載の方法。
  5. レンズが非球面レンズを備える、請求項3記載の方法。
  6. センサが鋭敏な画素素子のアレイを備える、請求項3記載の方法。
  7. センサがアナログ・センサを備える、請求項3記載の方法。
  8. 技術が、生成された信号のアルゴリズミック処理に基づく、請求項1記載の方法。
  9. アルゴリズミック処理が、筆記用具に関連するパラメータに基づくセンサの信号応答のマッピングを含む、請求項8記載の方法。
  10. 技術が光学機器に基づく請求項8記載の方法。
  11. センサが、鋭敏な画素素子のアレイを備える、請求項8記載の方法。
  12. 技術がデジタル・ハードウェアで実施される、請求項1記載の方法。
  13. 技術がアナログ回路で実施される、請求項1記載の方法。
  14. 技術が、次元効果以外の効果に基づく光の強度の変動効果も低減させるアルゴリズミック技術を含む、請求項1記載の方法。
  15. センサが画素アレイを備え、信号がフレーム単位でグループ化され、且つ信号処理技術が、雑音を打ち消すように複数のフレームを処理することを含む、請求項1記載の方法。
  16. 移動する筆記用具から伝えられた光が、センサによって信号が生成される速度に関係する周波数で変調される、請求項1記載の方法。
  17. 筆記用具から伝えられる光がある周波数で変調され、センサ信号が変調の周波数で断続される、請求項1記載の方法。
  18. 各信号に対応する、筆記用具から伝えられた光のオン状態またはオフ状態に応じて、断続された各信号に逆の利得が加えられる、請求項17記載の方法。
  19. フレーム率が変化する、請求項17記載の方法。
  20. 断続された信号が経時的に積分される、請求項18記載の方法。
  21. 筆記用具から伝えられる光が、変調周波数に課された強度の高いショート・パルスを含み、フェーズ・ロック・ループがセンサ信号からの変調周波数を決定し、且つセンサ信号が、強度の高いショート・パルスの持続時間中にフェーズ・ロック・ループによってトリガされる時間にサンプリングされる、請求項1記載の方法。
  22. 伝えられる光の特性が、筆記用具とセンサとの間の同期に使用される、請求項1記載の方法。
  23. 伝えられる光が、低周波数変調の周期と高周波数変調のバーストとを含み、且つ高周波数バーストに関連するセンサ信号が、変調クロックに同期させるために使用される、請求項1記載の方法。
  24. 移動する筆記用具からの光を、経時的に変化するパターンの方向に伝える段階、筆記用具から離れた2つまたはそれ以上の位置に位置する2つまたはそれ以上のセンサで光を検知する段階、および2つまたはそれ以上のセンサで測定された信号間の位相差を検出することによって筆記用具の位置を判定する段階を含む方法。
  25. 経時的に変化するパターンの方向が、筆記用具が移動するX-Y平面に対する回転パターンを含む、請求項24記載の方法。
  26. 正のX方向に放射された信号が、Y方向に放射された信号に対する直角位相を有する、請求項25記載の方法。
  27. X-Y筆記表面上を移動し、且つ画素未満の読取りの安定性を特徴とする筆記用具から光を受け取るように構成されたセンサと、筆記用具から受け取った光の光学倍率を高めるように構成された光学機器とを備える装置。
  28. 光学機器がボール・レンズまたは非球面レンズを備える、請求項27記載の装置。
  29. 光学機器が単一の球面レンズを含み、且つレンズと対応するセンサとが共に、大きな角度で受け取った光、比較的遠くから受け取った光、または筆記用具の不都合な位置から受け取った光の光学倍率を高めるように構成される、請求項27記載の装置。
  30. 光学機器が、X-Y表面上の、所定の位置を越えた位置から受け取った光の光学倍率を高めるように構成される球面レンズを備える、請求項27記載の装置。
  31. 光学機器が2つの円柱状レンズを含み、一方のレンズがセンサの近くに位置し、光を水平にセンサ上に投影させ、且つ他方のレンズが光をZ方向に収集するように位置し、該他方のレンズが第1のレンズの周りで湾曲した本体を有する、請求項27記載の装置。
  32. 筆記用具からの距離または筆記用具の傾斜によって起こる受け取られる光の強度の変動に対する信号の耐性を高めるアルゴリズミック・プロセスをさらに含む、請求項27記載の装置。
  33. 前記プロセスが、センサ上の信号分布全体の積分出力を求め、積分出力の位置の2分の1に基づく画素未満の位置を算出する、請求項32記載の装置。
  34. 前記プロセスが、信号分布に対して多項近似を使用し、画素未満の位置を、近似された最大値の位置として算出する、請求項32記載の装置。
  35. センサからのデータと組み合わせて使用すべきパラメータを作成する較正手順をさらに含む、請求項34記載の装置。
  36. 較正パラメータがセンサの非線形性を補正し、且つアルゴリズミック・プロセスが準三角測量技術を使用して筆記用具の位置を判定する、請求項35記載の装置。
  37. 較正パラメータがセンサの非線形性を補正し、且つアルゴリズミック・プロセスが、多項級数を使用して筆記用具の位置を判定し、これらの多項式中の係数が較正手順中に求められる、請求項36記載の装置。
  38. 移動する筆記用具からの光をセンサの検知素子のアレイで受け取る段階、検知素子を順次読み取って、アレイの各素子によって検知された光を示す信号のシーケンスを生成する段階、および各要素を、それが読み取られた後、およびアレイ中の少なくともいくつかの他の素子が読み取られる前にリセットする段階を含む方法。
  39. アレイがCMOS位置センサまたはCCD位置センサを備える、請求項38記載の方法。
  40. 各素子がシーケンス中の次の素子が読み取られる前にリセットされる、請求項38記載の方法。
  41. すべての素子が、リセットされる前に読み取られる、請求項38記載の方法。
  42. 移動する手持ち器具からの光を伝える段階、
    各センサが検知素子の二次元アレイを備える2つまたはそれ以上のセンサで光を検知する段階、検知された光の、アレイ上の二次元位置を表す信号を生成する段階、および信号に基づいて、移動する筆記用具の三次元位置のシーケンスを判定する段階を含む方法。
  43. 筆記用具の三次元の動きを追跡できる筆記用具システムを備える装置。
  44. システムが、3つの線形アレイを有するセンサを含む、請求項43記載の装置。
  45. システムが、二次元アレイまたは一次元アレイであるセンサを含む、請求項43記載の装置。
  46. 手持ちできるように構成された細長いハウジングと、ハウジング内の光源と、光源から光を受け取り、該光を自由空気経路を通して、筆記用具から間隔を置いて位置された光学センサに伝えるように構成されたハウジング内のレンズであって、筆記表面に対する筆記用具の向きまたは位置にかかわらず光を筆記表面に平行に向けることができるように構成されたレンズとを含む、筆記用具を備える装置。
  47. 手持ちできるように構成された細長いハウジングと、筆記用具の軸の周りに配置され、且つ軸に垂直な方向に発光するように構成された光源のアレイを備える、ハウジング内の光源とを含む、筆記用具を備える装置。
  48. レンズが光を内部に反射して集中させ、且つレンズの反射性の外側の表面からの反射によって発光するように構成される、請求項46記載の装置。
  49. レンズが、光を受け取る上面と、光を光学センサの方へ反射する環状の下面とを有する円柱状の本体を備える、請求項46記載の装置。
  50. 光源が、筆記用具の筆記端部の方へ発光する、請求項46記載の装置。
  51. 反射性の外側の表面が、筆記用具の長手方向軸に対してある角度に配向した円錐状の表面を備える、請求項48記載の装置。
  52. 手持ちできるように構成された細長いハウジングと、筆記用具の長手方向軸に平行な方向に発光するように配置されたハウジング内の光源とを含む、筆記用具を備える装置。
  53. 光源が1つまたは複数のLEDを備える、請求項52記載の装置。
  54. 光源がリング状の光源を備える、請求項52記載の装置。
  55. 筆記用具と、筆記用具から間隔を置いて配置されたセンサに光を伝えるように構成された、筆記用具内の光源と、ユーザが筆記用具から筆記表面に圧力をかけたことに応答して光源のオン・オフを切り換えるように構成された器具であって、該スイッチが、スイッチをトリガするのに必要な圧力の大きさが筆記表面上の筆記用具の筆記に伴う通常の動きを妨害しない程度の大きさになるように構成される器具とを備える装置。
  56. 筆記用具が、筆記点を有するボールポイント・カートリッジを含み、且つ前記器具が、筆記点からカートリッジの反対側の端部に位置している、請求項55記載の装置。
  57. 前記器具がスイッチを備えることができる、請求項56記載の装置。
  58. 前記器具が圧力センサを備えることができる、請求項56記載の装置。
  59. 筆記用具から光を送る段階であって、該光が移動する筆記用具の位置および経路を示す段階、および筆記用具から間隔を置いて配置された1つまたは複数のセンサで、筆記用具から光を受け取る角度を直接検知する段階を含む方法。
  60. 角度が、検知装置の検知素子のアレイによって直接検知される、請求項59記載の方法。
  61. 検知装置がCMOS装置またはCCD装置を備える、請求項60記載の方法。
  62. 検知装置がPSDを備える、請求項60記載の方法。
  63. 筆記用具と、筆記用具を格納するために筆記用具の少なくとも一部を受け入れるソケットを有するホルダーとを備え、該筆記用具と該ホルダーが、筆記用具の動きに関連する信号の無線送信と、信号に基づく筆記に伴う動きの追跡とを可能にするそれぞれの要素を含む装置。
  64. ホルダーがペン・キャップを備える、請求項63記載の装置。
  65. ホルダーが、積み重ねられた紙またはノートにホルダーを取り付けるように構成されたクリップを含む、請求項63記載の装置。
  66. ホルダーが、少なくとも2つの光センサと、光センサからの信号を処理して筆記用具の位置のシーケンスを判定するプロセッサとを含む、請求項63記載の装置。
  67. ホルダーが、筆記用具を保持し、且つ筆記用具内の電池の再充電を可能にするソケットを含む、請求項63記載の装置。
  68. 筆記用具と、該筆記用具の動きに関連する信号の無線送信および信号に基づく筆記に伴う動きの追跡を可能にする要素とを備え、該要素が、携帯電話、PDA、ウェブパッド、またはクリップボードに内蔵される装置。
  69. 既知の距離だけ離して配置されており、且つ筆記用具に関連する光源から光を受け取り、既知の方向に対して、光を受け取った方向を判定し、筆記用具の位置のシーケンスを判定する際に使用できる方向を表す信号を生成するように構成される2つの光学センサであって、該2つのセンサの少なくとも一方がCMOSまたはCCDアレイを備える装置。
  70. CMOSアレイまたはCCDアレイが、センサ素子の線形アレイを備える、請求項69記載の装置。
  71. CMOSアレイまたはCCDアレイが、センサ素子の二次元アレイを備える、請求項69記載の装置。
  72. 筆記用具用のホルダーを備え、該ホルダーが、その近くでの筆記用具の動きに関連する信号を無線送信する際に使用される要素を有し、該ホルダーが、該要素を無線送信に関連して使用できるようにする向きにホルダーを筆記基板に取り付ける機構を有する装置。
  73. クリッピング機構が、操作された場合にホルダー内のプロセッサの機能を作動させるスイッチを含む、請求項72記載の装置。
  74. 1つの機能が新ページ機能を含む、請求項72記載の装置。
  75. 筆記用具用のホルダーを備え、該筆記用具が、その筆記に伴う動きの追跡に関連して使用されるように構成された電子回路を含み、かつ該電子回路に電力を供給するように接続された再充電可能な電池を含み、該ホルダーが、筆記用具用のソケットと、筆記用具がソケット内にある場合に電池を再充電するように接続された再充電回路とを含む装置。
  76. 筆記用具の動きに関連する光を受け取り、且つ既知の方向に対する光を受け取った角度を示す信号を発するようになっているCMOSセンサと、受け取った光をCMOSアレイに向けるように位置合わせされたレンズとを備える装置。
  77. レンズが半ボール・レンズを備える、請求項76記載の装置。
  78. レンズが非球面レンズを備える、請求項76記載の装置。
  79. レンズが、筆記用具の動きが生じる領域からの光を収集するように最適化される、請求項76記載の装置。
  80. レンズが平坦な視野レンズを備える、請求項76記載の装置。
  81. レンズがフレネル・レンズを備える、請求項76記載の装置。
  82. レンズ・システムが、筆記用具の動きの平面に垂直な次元で光を収集し、且つ動きの平面に平行な方向へセンサ上に光を投影させるように構成される、請求項76記載の装置。
  83. 筆記表面上の一連の位置に筆記用具を位置決めする段階、一連の位置での筆記用具から受け取った光からセンサで信号を生成する段階、移動中の筆記用具の位置を判定するプロセスを較正する際に使用される筆記用具の較正パラメータを求める段階を含む方法。
  84. 較正パラメータが、位置判定プロセスの一部である多項級数で使用される係数を含む、請求項83記載の方法。
  85. 位置が正矩形格子上には存在しない、請求項83記載の方法。
  86. 請求項83記載の方法。
  87. 非電子的であり且つ電子装置から離れた位置にある筆記表面上の、電子装置に入力すべき入力要素に対応する位置を識別する段階、識別された位置のうちで、入力すべき入力要素に対応する選択された位置を、筆記用具を使用して指し示す段階、および筆記用具が指し示している位置を検知し、且つ対応するデータを電子装置に入力する段階を含む方法。
  88. 筆記表面が1枚の紙を含む、請求項87記載の方法。
  89. 入力要素がある言語の文字を含む、請求項87記載の方法。
  90. 入力要素がコマンドを含む、請求項87記載の方法。
  91. 入力要素が筆記表面上に印刷される、請求項87記載の方法。
  92. 筆記用具を非電子筆記表面上で移動させて経路を示す段階、および該経路をリモートに検知し、且つ筆記表面から離れた位置にある電子装置に該経路を入力する際に使用される信号を生成する段階を含む方法。
  93. 移動する筆記用具から間隔を置いて配置された光センサに筆記用具から伝えられた光を所定の周波数で変調する段階、およびセンサに関連するフェーズ・ロック・ループを使用して、変調された光の位相に一致させる段階を含む方法。
  94. 筆記用具と、メイン・プロセッサおよびそれとは別のプリプロセッサを含む固定要素との間の信号の無線送信を使用して筆記用具の筆記に伴う動きを追跡する回路とを備え、該プリプロセッサが、少なくとも、筆記用具の動きに関するデータ取込みを行うように接続され、該メイン・プロセッサが、少なくとも、追跡に関するデータ通信を行うように接続される装置。
  95. プリプロセッサがさらに、ユーザ・インタフェース機能および画素未満のデータの格納を実行するように接続される、請求項94記載の装置。
  96. メイン・プロセッサがさらに、暗騒音の打消しおよび画素未満の計算を実行するように接続される、請求項94記載の装置。
  97. メイン・プロセッサがさらに、画素未満のデータを紙における座標に変換するように接続される、請求項94記載の装置。
  98. データの格納が、紙における座標の形で行われる、請求項95記載の装置。
  99. 筆記用具およびセンサを備え、該筆記用具が、筆記用具の外部から受け取った光を筆記用具の動きを追跡する際に使用できるようにセンサに反射するように構成された反射要素を含む装置。
  100. 筆記用具が筆記に使用されている場合には反射要素が光をセンサに反射できるようにし、筆記用具が筆記に使用されていない場合には反射要素が光をセンサに反射できないようにする機構をさらに含む、請求項99記載の装置。
  101. 鋭敏な画素素子のアレイを有する光センサで、移動する筆記用具からの光を受け取る段階、
    アレイ内の、筆記用具から光の最大の強度を受け取った位置を、画素未満の精度で判定する段階
    を含む方法。
  102. 画素未満の位置が、
    画素未満の位置に最も近い整数画素位置を判定する段階、および
    整数画素位置を中心とする副アレイの分数重心を求める段階
    によって判定される、請求項101記載の方法。
  103. 非電子表面上の、電子装置への入力に対応する位置を示す段階、該位置を検出して電子装置に入力する段階を含む方法。
  104. 移動する筆記用具からの光を検出するように構成されたセンサと、筆記用具が移動させられる紙をセンサに固定するクリップとを備える装置。
  105. 前記機構がクリップボードまたはノートの一部を備える、請求項104記載の装置。
  106. クリップが、ユーザがクリップに紙を把持させるかまたは解放させることを可能にする機構を含む、請求項104記載の装置。
  107. 前記機構が作動ボタンおよびばねを備える、請求項106記載の装置。
  108. 前記機構が、ボタンによって動作させられるレバーを含む、請求項107記載の装置。
  109. レバーがボタンに応答して回転するように構成される、請求項108記載の装置。
  110. ボタンが押されるように構成される、請求項107記載の装置。
  111. ボタンが引かれるように構成される、請求項107記載の装置。
  112. 光導体が、光をペンの先端に供給し、且つ外側に円板上パターンとして伝える、請求項46記載の装置。
JP2009090063A 1999-10-27 2009-04-02 筆記用具の動きの追跡 Pending JP2009187565A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16175299P 1999-10-27 1999-10-27
US19549100P 2000-04-10 2000-04-10
US23091200P 2000-09-13 2000-09-13

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001534078A Division JP2003515800A (ja) 1999-10-27 2000-10-27 筆記用具の動きの追跡

Publications (1)

Publication Number Publication Date
JP2009187565A true JP2009187565A (ja) 2009-08-20

Family

ID=27388667

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2001534078A Pending JP2003515800A (ja) 1999-10-27 2000-10-27 筆記用具の動きの追跡
JP2009090063A Pending JP2009187565A (ja) 1999-10-27 2009-04-02 筆記用具の動きの追跡

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2001534078A Pending JP2003515800A (ja) 1999-10-27 2000-10-27 筆記用具の動きの追跡

Country Status (3)

Country Link
JP (2) JP2003515800A (ja)
AU (1) AU1351001A (ja)
WO (1) WO2001031570A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140088545A (ko) * 2011-11-02 2014-07-10 마이크로소프트 코포레이션 광학 태블릿 스타일러스 및 실내 네비게이션 시스템
KR20200020827A (ko) * 2017-06-22 2020-02-26 슈테틀러 마르스 게엠베하 운트 콤파니 카게 아날로그 스트로크들을 생성하고, 아날로그 스트로크들을 디지털 방식으로 저장하기 위한 전자 디바이스, 및 아날로그 레코딩들을 디지털화하기 위한 입력 시스템 및 방법
US11175754B2 (en) 2017-03-13 2021-11-16 Keiji Tatani Electronic device and information processing method

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US6545175B1 (en) 2000-10-19 2003-04-08 Battelle Memorial Institute Ester compounds and their use in forming acrylates
US6954197B2 (en) 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
CN1293455C (zh) * 2003-05-09 2007-01-03 凌阳科技股份有限公司 可判断反射面性质的光学输入装置
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
DE102004021325A1 (de) * 2004-04-30 2005-12-08 Siemens Ag Optisches Eingabegerät
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
JP2008530590A (ja) * 2005-02-04 2008-08-07 ポリビジョン コーポレーション フラットパネルディスプレイに対話型ユニットを搭載するための装置及び方法
JP2008532139A (ja) * 2005-02-23 2008-08-14 アノト アクティエボラーク 電子ペンにおける方法、コンピュータプログラム製品、および電子ペン
US20070165007A1 (en) * 2006-01-13 2007-07-19 Gerald Morrison Interactive input system
RU2457532C2 (ru) * 2006-03-10 2012-07-27 Кенджи Йошида Система обработки ввода для устройства обработки информации
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
JP2009045175A (ja) * 2007-08-17 2009-03-05 Topcon Corp 眼科検査システム
JP5119834B2 (ja) * 2007-09-27 2013-01-16 ぺんてる株式会社 筆跡入力システム
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
JP2010257089A (ja) 2009-04-22 2010-11-11 Xiroku:Kk 光学式位置検出装置
JP2010277122A (ja) * 2009-05-26 2010-12-09 Xiroku:Kk 光学式位置検出装置
JP5530809B2 (ja) * 2010-06-01 2014-06-25 株式会社日立ソリューションズ 位置検出装置、及び画像処理システム
CN102566797A (zh) * 2011-12-07 2012-07-11 深圳易方数码科技股份有限公司 电子笔及跟踪器
US9129180B2 (en) 2012-08-17 2015-09-08 Blackberry Limited Combination pen refill cartridge and active stylus
US9096093B2 (en) 2012-10-04 2015-08-04 Blackberry Limited Camera-equipped stylus pen cap
EP2717122B1 (en) * 2012-10-04 2018-12-05 BlackBerry Limited Camera-equipped stylus pen cap
EP3004924B1 (en) * 2013-06-06 2021-10-06 Heptagon Micro Optics Pte. Ltd. Sensor system with active illumination
WO2016111084A1 (ja) * 2015-01-08 2016-07-14 シャープ株式会社 光学検知部材及びそれを備えるタッチパネル装置
CN111324217A (zh) * 2018-12-13 2020-06-23 鸿合科技股份有限公司 电子白板及板书处理方法、粉笔扩展装置、电子设备
CN111397510B (zh) * 2020-03-24 2021-05-18 青岛罗博智慧教育技术有限公司 一种数字轨迹记录装置及坐标校准方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5166668A (en) * 1991-04-10 1992-11-24 Data Stream Corporation Wireless pen-type input device for use with a computer
WO1995014286A1 (en) * 1993-11-17 1995-05-26 Microsoft Corporation Wireless pen computer input system
TW256900B (ja) * 1993-11-25 1995-09-11 Alps Electric Co Ltd
WO1998044316A1 (en) * 1997-04-02 1998-10-08 Goszyk Kurt A Adjustable area coordinate position data-capture system
US5900943A (en) * 1997-08-29 1999-05-04 Hewlett-Packard Company Page identification by detection of optical characteristics
CA2340723A1 (en) * 1998-08-18 2000-03-02 Digital Ink, Inc. Handwriting device with detection sensors for absolute and relative positioning

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140088545A (ko) * 2011-11-02 2014-07-10 마이크로소프트 코포레이션 광학 태블릿 스타일러스 및 실내 네비게이션 시스템
JP2015501499A (ja) * 2011-11-02 2015-01-15 マイクロソフト コーポレーション 光学式タブレットスタイラス及び屋内ナビゲーションシステム
KR102011163B1 (ko) * 2011-11-02 2019-08-14 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 광학 태블릿 스타일러스 및 실내 네비게이션 시스템
US11175754B2 (en) 2017-03-13 2021-11-16 Keiji Tatani Electronic device and information processing method
KR20200020827A (ko) * 2017-06-22 2020-02-26 슈테틀러 마르스 게엠베하 운트 콤파니 카게 아날로그 스트로크들을 생성하고, 아날로그 스트로크들을 디지털 방식으로 저장하기 위한 전자 디바이스, 및 아날로그 레코딩들을 디지털화하기 위한 입력 시스템 및 방법
KR102338351B1 (ko) * 2017-06-22 2021-12-10 슈테틀러 마르스 게엠베하 운트 콤파니 카게 아날로그 스트로크들을 생성하고, 아날로그 스트로크들을 디지털 방식으로 저장하기 위한 전자 디바이스, 및 아날로그 기록들을 디지털화하기 위한 입력 시스템 및 방법

Also Published As

Publication number Publication date
AU1351001A (en) 2001-05-08
JP2003515800A (ja) 2003-05-07
WO2001031570A3 (en) 2002-03-07
WO2001031570A2 (en) 2001-05-03
WO2001031570A9 (en) 2002-08-15

Similar Documents

Publication Publication Date Title
JP2009187565A (ja) 筆記用具の動きの追跡
US7268774B2 (en) Tracking motion of a writing instrument
KR100257368B1 (ko) 펜컴퓨터
KR101108266B1 (ko) 전자 스타일러스
US7126585B2 (en) One chip USB optical mouse sensor solution
CN105474128B (zh) 能量节约
US7657128B2 (en) Optical force sensor
US20110199305A1 (en) Mouse controlled by movements of fingers in the air
US8450972B2 (en) Rechargeable eraser and charging tray
RU2386161C2 (ru) Схема оптической системы для универсального вычислительного устройства
EP3420437B1 (en) Wireless positioning pen with pressure-sensitive tip
US20100021022A1 (en) Electronic Handwriting
US20090115744A1 (en) Electronic freeboard writing system
US20060212635A1 (en) Input devices and methods of operating same
US20070131031A1 (en) Wireless inertial input device
JP2000276290A (ja) 座標入力装置及びその制御方法、コンピュータ可読メモリ
CN101071351A (zh) 跟踪一书写工具位置的设备
CN110197675B (zh) 一种移动存储设备
JP2001109577A (ja) 座標入力方法及び装置
CN209803741U (zh) 一种笔迹记录传输笔
JP2000347806A (ja) 座標入力ペン
CN112783345B (zh) 接收携带有压力信息的电信号的触控处理装置与方法
CN113296620A (zh) 电子手写笔和绘图系统
JP2000231444A (ja) 座標入力装置および座標入力装置の座標値出力方法およびコンピュータが読み出し可能なプログラムを格納した記憶媒体
KR20090038718A (ko) 디지털 펜

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090507

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090507

A072 Dismissal of procedure

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20100908