JP2013529818A - 光学ペンを用いた絶対位置およびその他情報のためのドットコードパターン、ドットコード印刷方法、ドットコード読み取り方法 - Google Patents

光学ペンを用いた絶対位置およびその他情報のためのドットコードパターン、ドットコード印刷方法、ドットコード読み取り方法 Download PDF

Info

Publication number
JP2013529818A
JP2013529818A JP2013516917A JP2013516917A JP2013529818A JP 2013529818 A JP2013529818 A JP 2013529818A JP 2013516917 A JP2013516917 A JP 2013516917A JP 2013516917 A JP2013516917 A JP 2013516917A JP 2013529818 A JP2013529818 A JP 2013529818A
Authority
JP
Japan
Prior art keywords
dot
dots
dot code
pattern
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013516917A
Other languages
English (en)
Other versions
JP2013529818A5 (ja
Inventor
アマラル レゼンデ マルセロ
Original Assignee
アマラル レゼンデ マルセロ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アマラル レゼンデ マルセロ filed Critical アマラル レゼンデ マルセロ
Publication of JP2013529818A publication Critical patent/JP2013529818A/ja
Publication of JP2013529818A5 publication Critical patent/JP2013529818A5/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

光学ペンの先端位置から得られる情報をエンコードする装置が提供される。かかる装置は、支持盤を有し、前記支持盤の全表面に連続的に配置された2次元コードパターンがエンコードされた表示媒体を備え、前記パターンは平行な細帯の列によって形成されており、前記細帯は、少なくとも2本の平行ラインを有し、そのうち1本のラインはベースラインであり、残りのラインは補助ラインであり、前記平行な細帯のそれぞれはドット列を有し、当該ドットは、選択された基数による数を表すように所定位置に配置されている。
【選択図】図3

Description

[関連出願]
本出願は、2011年7月6日出願の米国仮特許出願第61/398891号の優先日の利益を請求し、そのすべての内容がここに参考文献として援用される。
[分野]
本開示は、パターン認識に関し、特に、光学ペンまたはスタイラスのポジショニング方法およびシステムに関する。
ユーザはマウスやキーボードに代えて電子ペンまたはスタイラスを用いてコンピュータを操作することを好むことがよくある。例えば、ユーザが紙またはホワイトボードに手書きの文書を書くときである。手書き文書の問題点の一つとして、編集可能なデジタル形式にアーカイブすることがある。従来、文書をスキャンすることで対応している。
ある方法および装置によると、パターンに頼ってエンコードされた表面を解析してペンの位置を特定する。このような既存のパターンにはいくつかの不利な点がある。それらは、
1.既存のパターンは単位領域当たりドット数が非常に多い(つまり、ドット密度が高すぎる)。
2.既存のドットパターンに使われるドットは小さすぎて一般的な家庭用プリンタを用いて正しく印刷しにくい傾向にある。
3.既存のドットパターンは読むことが困難であり、文書の読み取りがより困難となる傾向にある。
4.ドットパターンと同時に文書を印刷することができない。
5.既存のドットパターンは紙の上にむらなくドットを拡散している。
高ドット密度のパターンの画像解析は非常に難しく、低コストおよび低能力プロセッサによりリアルタイムにデバイス位置を返すことができない。しかも、ドットが小さい(例えば、直径が約50ミクロン)と、ドットパターンは非常にノイズの影響を受けやすくなる。したがって、紙または被着体に汚れがあると、ペンがドットパターンを読み取ることが難しくなる。
ドットパターンと文書を同時に印刷できないことは特に重要である。従来、まず紙にパターンを印刷してから、すでに印刷されているパターン上に文書を印刷している。ここで、パターンと文書との間の位置ずれという問題が起こり得る。この問題を解決するために、パターンを覆わないように特殊なインクで文書が印刷される。
従来技術の別の欠点は、ユーザがペンを文書に押し当ててパターンを認識させなくてはならないことである。これは、ペンが内部にペン先が紙に接触したことを検知する機械部分とセンサを備えることを意味するが、パターン認識に関していくつかの問題が生じる。
本発明は、印刷可能なドットコードパターン、可読性を変えることなくこの特殊なコードで任意のデジタル文書を印刷するプロセス(罫線ソフトウェア(rule-software))、およびドットコードから情報を読み取る(画像解析)する光学装置用のプロセスに関する。当該情報は少なくとも装置の空間的な絶対位置を含む。ドットコードがデジタル文書とともに印刷されると、ユーザにはあたかも罫線入り用紙に印刷されたかのように見える。この情報は、コーデックを用いるさまざまなデバイスに送信または保存される。
本発明の一局面に従った装置は、光学ペンの先端位置から得られる情報をエンコードする装置である。かかる装置は、支持盤を有し、前記支持盤の全表面に連続的に配置された2次元コードパターンがエンコードされた表示媒体を備え、前記パターンは平行な細帯の列によって形成されており、前記細帯は、少なくとも2本の平行ラインを有し、そのうち1本のラインはベースラインであり、残りのラインは補助ラインであり、前記平行な細帯のそれぞれはドット列を有し、当該ドットは、選択された基数による数を表すように所定位置に配置されている。
ある実施形態では、前記ドット列は複数の数を表し、各数が列番号である。
別の実施形態では、前記ドット列は複数の数を表し、各数が行番号である。
さらに別の実施形態では、前記ベースライン上に正射影した前記ドット間の距離が約500−650ミクロンである。
別の実施形態では、前記平行ライン間の距離が約100−150ミクロンで一定であり、また、前記ドットの直径が100−150ミクロンの間である。
あるほかの実施形態では、前記ドットのサイズが、前記表示媒体上の画面の物理ピクセルの構造体が前記光学ペンにおけるカメラによって得られたカメラ画像フレーム上のノイズとして見えるように選択されている。
本発明の別の局面に従った方法は、被着体上にドットコードパターンをエンコードする方法である。かかる方法は、画像を含むデジタル文書を開くこと、前記画像におけるテキストライン間の空間、水平ライン、および図の有無を探すこと、テキストライン間の空間に前記ドットコードパターンを挿入すること、前記文書の選択された軸に沿って延びるラインを識別すること、および前記ラインをエンコードされたラインに置き換えることを含む。
ある実施例は、光学ペンによって読み取られるべき文書の特定の情報を含む追加のドットコードを前記文書の選択された位置に挿入することを含む。
別の実施例は、選択されたドットを赤外線不可視インクのラインで囲むことを含む。
さらに別の実施例は、前記文書における東洋文字を識別し、縦軸を前記軸として選択することを含む。
本発明のさらに別の局面に従った方法は、被着体上のドットコードパターンを細帯に沿って読み取る方法である。かかる方法は、光学ペンが前記被着体の表面を移動したときに、前記光学ペンに60から100フレーム毎秒のレートで前記ドットコードパターンを撮影させること、および各フレームを、ドットの画像に適合し、文字の画像は排除するように構成されたマスクを用いて、ドットコードパターンにおけるドットの位置を特定し、少なくとも前記ドットの位置特定に基づいて前記細帯を識別し、前記ドットコードパターンによってエンコードされた座標を読み取り、少なくとも前記座標に基づいて前記表面の位置を特定することで解析することを含む。
ある実施例は、前記細帯の識別は、前記ドットの周波数が最大となる方向を前記細帯の方向として選択することを含み、前記選択は、局所的なドット群におけるすべてのドットの、候補の方向に垂直なラインへの射影を探索すること、前記ドット群から前記細帯の幅内にあるドットを識別すること、前記ドット群から前記識別された局所的なドットを除外すること、前記ドット群に残ったドットに対して、前記選択、探索、識別を繰り返すことを含む。
別の実施例は、前記細帯の識別は、ドットを頂点として頂点P1およびP2のペアでエッジが形成されるグラフを定義することを含み、前記エッジは、期待される範囲LimitInf<Dist(P1,P2)<LimitSupの距離内にあり、かつ、結合されたグラフ複合体である。
さらに別の実施例は、前記ドットコードパターンによってエンコードされた座標の読み取りは、エンコードされた表面におけるフレームの位置を特定することを含む。
さらにある実施例は、ドットの位置が第1および第2の座標で表され、前記座標の読み取りは、開始ドットの前記第1の座標を識別し、前記開始ドットの前記第2の座標が増加する方向を識別することを含む。
さらに別の実施例は、前記表面の位置特定は、少なくとも前記被着体の表面の第1および第2の点の距離に基づいて前記表面の位置を特定することを含み、前記被着体の表面の前記第1および第2の点は前記ドットコードパターンの画像における第1および第2の点に相当する。
その他の実施例は、前記表面の位置特定は、前記光学ペンが前記被着体の表面に接触しているか否かを判定することを含む。
光学ペンの構成図である。 エンコードされたパターンを含むデジタルホワイトボードを示す図である。 本発明に係る印刷媒体対象物を示す図である。 テキストとドットが記載された印刷紙を示す図である。 テキストとドットと図が記載された印刷紙を示す図である。 Aはフレームのサンプルを示す図であり、BはAのフレーム内で画像識別アルゴリズムによって選択されたライトグレーのドットを示す図である。 表面を表す図である。 表面の特定の位置でドットがあるか否かがどのようにして確認できるかを示す図である。 差p−qがNsetを超えている場合を表す図である。 別のドットコードパターンを示す図である。 IR(赤外)不可視インクで囲むことでドットコードを偽装させる方法を示す図である。 前の行のドットコードが次の行のドットコードにどのように変形するかを表す図である。 補助ラインを1本のみ用いた別の3進法構造を示す図である。
本発明の実施形態により既存技術のすべておよびその他の欠点が解消されるであろう。特に、当該実施形態は、表面のドットのパターンをエンコードし、エンコードされたパターンを持つ文書を印刷し、当該パターンをデコードするシステムおよび方法である。
パターンは光学ペンの空間位置を表す、すなわち文書管理用のコマンド、リンクまたはその他のデータを識別することがある。また、ペンに情報を送信して、エンコードされたパターンでペンの操作方法を変更することもできる。
本発明の実施形態に係るプロセスおよびシステムは、従来技術よりも、経済的および商業的に実現可能であり、容易に実施し、容易に利用することができる。
本発明の第1の実施形態によると、ユーザは罫線ソフトウェアを用いた任意の印刷可能な文書を選択することができる。印刷文書は、罫線入り用紙に印刷された文書に現れる罫線と同じように、「罫線」が追加されたように見える。もし文書にすでに「罫線」があれば、ソフトウェアは罫線を「パターンライン」に変更することができる。ユーザは「ライン」の位置を変更することができ、または「ライン」を追加/削除することができる。
罫線ソフトウェアは文書の右上部分にほかの情報、例えば、文書識別コードを追加することができる。ユーザが文書を印刷するとき、罫線にしか見えないようなものは実際にはドットコードパターンがエンコードされて罫線として偽装したものである。
印刷された文書コピー上に特殊な光学ペンを用いてユーザが手書きをする場合、画像解析技術を用いてペンがエンコードされたパターンから少なくともペンの絶対的な空間位置を読み取る。絶対座標はコンピュータにリアルタイムで保存または転送され得る。罫線ソフトウェアがペンからデータを受信し、コンピュータ上の文書を見つけ、当該文書の適当な位置にインクの動きを追加することで、ユーザが光学ペンで作成したデジタル版の印刷文書が作り出される。
別の実施形態では、事実上コンピュータをタブレットコンピュータに変えて、透明な平面上にパターンがエンコードされる。この表面はコンピュータ画面上に配置されている。光学ペンはエンコードされたパターンからその先端の空間座標を判定し、当該情報をコンピュータに送信する。そして、ドライバーソフトウェアはマウスポインターを適当な位置に動かす。ペン先が画面に接触すると、ペンは当該接触を示す情報をコンピュータに送信する。エンコードされたパターンはさらなるデータ、さらには座標を取得するのに利用することができる。例えば、罫線ソフトウェアは仮想キーボード、またはコメント記述用パレットなどのほかのソフトウェアツールをエミュレートしてもよい。この実施形態では、ペンはインク容器を使用しない。
さらに別の実施形態では、表面をデジタルホワイトボードに変えて、コンピュータ画面の画像が投影される不透明の表面にパターンがエンコードされる。光学ペンはエンコードされたパターンからその先端の空間座標を読み取り、当該情報をコンピュータに送信する。そして、ドライバーソフトウェアは当該情報を受信し、マウスポインターを対応するペン先位置に移動させる。ペン先が表面に接触すると、ペンが当該接触を示す情報をコンピュータに送信する。エンコードされたパターンはさらなるデータ、さらには座標を取得するのに利用することができる。例えば、罫線ソフトウェアは仮想キーボード、またはコメント記述用パレットなどのほかのソフトウェアツールをエミュレートしてもよい。この実施形態では、ペンはインク容器を使用しない。
エンコードされたパターンは、ドットが小さくかつドット数が限られているため、ほとんど人間の目には見えない。また、ドットは投影画像に覆われている。
ドットパターンがエンコードされた半透明の表面へ後方から投影することで同様の実施形態が可能である。
画面投影を行わない別の実施形態も可能である。この場合、ユーザはエンコードされたホワイトボード上でインクペンを用いる。上述したように、ユーザのペンの動きは接続されたコンピュータによって捕捉される。
光学ペン
図1に示したように、インク容器ありまたはなしの光学ペン1は内蔵されたカメラ4を有する。カメラ4は、エンコードされたドットコードパターンがある表面9の位置7における画像を検出および捕捉する。カメラ4はレンズ部品6および照明手段を有する。ペン本体2は、光学ペン1が検出した画像に関する情報を個人情報端末(PDA)、ほかのペン、電話機、および/または有線または無線の通信手段を有するコンピュータなどのほかのデバイスへ保存または転送できるようにするためのプロセッサまたはほかのセンサおよびハードウェアを有する。カメラ4によって捕捉された画像はペン本体2またはほかのデバイスで処理することができる。
カメラ4は、ドットコードが見つかる位置7の範囲内の表面9の画像を捕捉する赤外線カメラであってもよい。ある実施形態では、かかる画像はペン本体2で解析され、ドットコードパターン内にある情報を用いてペン本体2のプロセッサが少なくとも表面9に関するペン先8の空間座標を判定する。当該情報により、プロセッサは表面9に対するペン先8の直交位置だけではなくペン先8が表面に接触しているか否かを判定することができる。
ドットコードパターン
図3における印刷媒体は、紙、透明/半透明のプラスチック/ガラスなどの支持盤を有し、支持盤の全表面9に2次元のドットコードパターンが連続的に配置されている。ドットコードパターンは平行な細帯20の列としてフォーマットされており、各細帯20においてドット50の列がある。ドットは、ある基数による数を表すように所定位置に配置される。当該数は行および/または列を表し得る。
図3におけるAはドットコードパターンのサンプルを示す。細帯20はベースライン40および補助ライン60に沿って延びる。図3におけるドット列は、Aに示したように1本のベースライン40および1本の補助ライン60だけを用いて2進法の数0101011011010100101を表し、Bに示したように1本のベースライン40および2本の補助ライン40を用いて3進法の2011221121102011を表す。当該数はその位置における列および/または行番号を表し得る。図13に示したように、補助ライン60を1本のみ用い、さらに3進法を用いて別の設定をすることができる。
図3に示した3進法表示は補助ライン60を1本のみ用いて実現することができる。
ベースライン40と補助ライン60との距離を300ミクロン、ドットサイズを100ミクロン、青の罫線を500ミクロン幅だとする。同じラインにおけるドット間の距離が300ミクロン、かつ、3進法の9桁の数を持つXおよびYを使用する場合、A4で273934ページもの文書にドットパターンを使用することができる。
さらに、当該ドットパターンおよびそれに関連する読み取り処理により、表面ベースに対する光学ペンの先8の空間位置および光学ペンの先8が紙に接触しているかどうかを得ることができる。
平面におけるペン先位置にのみ関心があり、平面からの高さには関心がないようであれば、フレーム内の1本の細帯20のみがあればよい。しかし、精度を向上するために、いつスキャンしても2本の異なる細帯20から少なくとも2個の断片が画像に含まれるようにカメラ4が設定される。
ドットサイズおよびエンコードされたドットパターンの特徴間の距離などのその他の大きさは、ドットパターンを対象とするアプリケーションの種類に応じて変わる。
あるアプリケーションでは、20インチ画面の典型的なコンピュータをタブレットコンピュータに変える。この場合、コンピュータ画面の前面に、ドットパターンでエンコードされた透明な表面9を配置することができる。
上述のアプリケーションに関して、ベースライン(ライン40のような帯の中心)上に正射影したドット間の距離は約500−650ミクロンであり、(ライン50および60のような)平行な仮想ライン間の距離は約100−150ミクロンで一定である。概して、ドットの直径は100−150ミクロンである。当該アプリケーションは、通常、IRカメラ4とともに動作する。ドットサイズは、画面の物理ピクセルにより形成された構造体がカメラ4の画像フレーム上のノイズとして見えるように選択される。20インチよりも大きな画面では、そのようにはっきりさせるためにより大きなドットサイズを用いる必要があるかも知れない。
別のアプリケーションはドットパターンを持つ印刷紙をエンコードするものである。このアプリケーションでは、エンコードされた表面9が紙であり、エンコードされた減算ドットサイズはプリンタの解像度に合うように42ミクロンから開始することができる。このパターンを持つ印刷文書において、2本の細帯間の距離は変わり得る。当該距離は、2つの連続する「テキストライン」間にコードラインを挿入できるように選択される。この変動は、光学ペン1におけるカメラ4の画像領域群によって制限される。ペン先の位置特定を向上するには、各画像フレーム内に少なくとも2個の帯断片のパターンがある方がよい。
罫線ソフトウェア
罫線ソフトウェアは、同時に印刷される文書とドットコードを用意する。ドットコードと文書を同時に印刷することで、両者を印刷紙上に確実に整列させることができる。したがって、罫線ソフトウェアの主機能の中でも興味深いのは、文書の可読性を阻害しないコードパターンの挿入、およびすべてのユーザの光学ペン1の動きを保存するデジタルコピーの達成である。
動作中、罫線ソフトウェアは保存されたデジタル文書を開き、テキストライン間の空間、水平ライン、および図の有無を探す画像解析を実行する。
罫線ソフトウェアはテキストライン間の余白にコードパターンを挿入する。ユーザの快適性を向上するため、図11に示したように、罫線ソフトウェアはライトブルーのようなIR不可視インクでドットを囲むことができる。文書が東洋文字であれば、水平ラインは垂直ラインに置き換えることができる。
罫線ソフトウェアは、画像解析の過程で水平ラインを識別するとこれらをエンコードされたラインに置き換えることができる。罫線ソフトウェアは、図5に示した画像で動作する場合のように、図を見つけると、ユーザによるソフトウェアの設定に応じて図を避けるかまたはそれに上書きする。
文書の一番上、すなわち便利な箇所に、罫線ソフトウェアは、光学ペン1によって読み取られるべき文書識別番号などのある文書情報を持つ追加のドットコードを挿入することができる。光学ペン1がユニークな識別番号を持つ実施形態では、ソフトウェア管理者はデジタル文書コピーを修正可能なペンを設定することができる。
ドットコードの読み取り
ここでは光学ペン1がエンコードされたパターンをどのようにして読み取るかを示す。
ユーザが光学ペン1を表面9を横切って移動させると、カメラ4がパターンの撮影を開始する。これは60から100フレーム毎秒のレートで行われる。各撮影で8ビットグレースレールの320×240ピクセルフレームが生成される。
各フレームは、ドットパターンにおけるドットの位置を特定する、細帯を識別する、座標を読み取る、および必要に応じて表面を識別する、といった4つのステップで解析される。
ドットの位置特定
ドットの位置特定は、ドットの画像には適合し、ほぼすべての文字を見過ごすマスクを用いて行われる。これは高速画像識別アルゴリズムによって実行され、たとえ低コストプロセッサでもリアルタイムで完了することができる。
図6Aはフレームの例を示す。図6Bは画像識別アルゴリズムによって選択されたライトグレーのドットを示し、いくつかはテキスト文字中に見られる。
細帯の識別
上記取得したドットを結ぶラインのすべての方向の中で、細帯20の方向Vは、ドットが最も高い空間周波数で発生する方向である。Vに垂直なライン、つまりNへのすべての局所的なドットの射影を探すことで、期待される間隔(細帯20の幅に相当)内のドット群が当該細帯内のドット群となる。これらドットを局所的なドット群から除外し、上記手法を再び適用することで、2番目の細帯20のドットを識別することなどができる。
細帯20を識別する別の方法は、ドットを頂点Piとしてドットのペア群でエッジが形成されるグラフを考慮することである。頂点のペアをP1およびP2とすると、これらの距離が期待される範囲境界間にあるか否か、すなわち、
LimitInf<Dist(P1,P2)<LimitSup
を判定することができる。ただし、LimitSupおよびLimitInfは期待される範囲境界であり、結合されたグラフ複合体である。
座標の読み取り
フレームの基準座標軸(V,N)を参照してフレームにおける細帯20内のドットを調べるならば、エンコードされた表面9におけるフレームの位置を特定することができる。
例えば、エンコードされたラインが表面座標のX,Yに6ビットの2値表現を用いたドット列…(X,(Y−1)),(X,(Y)),(X,(Y+1))…によって位置を表す場合、24個の既知のドットがあれば、簡単なアルゴリズムおよびXおよびYの値を用いて、当該帯におけるどのドットがXの開始ドットであるか、また、どの方向にYが増加するかを引き出すことができる。
ほかにも表面座標を表現する効果的な方法がある。これらのいくつかは下記の「注記2」と題する節で説明する。
表面の位置特定
基準(0,x,y,z)を考える。ただし、(0,x,y)はカメラ4における画像面の基準であり、zは、dXおよびdYを画像解像度(例えば、dX=320およびdY=240)、cを任意の数として焦点が(dX/2,dY/2,c)となるような当該面の法線である。処理は、フレームにおける4つのドット画像、つまりP1,P2,P3およびP4を選択することから始まる。ただし、図7に示すように、P1およびP2はベースライン40にあり、P3およびP4はほかのベースライン40にある。
R1,R2,R3およびR4を画像P1…P4に対応する表面9の点とする。
幾何学的な考慮をし、R1およびR2間の距離を知る(例えば、P1およびP2間のドット数をカウントするなどして知る)ことで、面を基準(0,x,y,z)に設置することができる。カメラ4は表面9におけるR1の絶対位置を読み取ることができるため、画像を定義する画像面(およびその逆)からアプリケーション面を認識することができる。アプリケーションは画像からさらなる情報を読み取る必要がある。例えば、図8に示したように、ドットが2値情報として存在するか否かを表面9の特定の位置でチェックすることができる。
場合によっては、ライン間にIR可視テキストがない未利用のラインを配置して、カメラ4がこれらライン間のドットを探して文書IDなどの補助的な2値情報を読み取るようにすることもできる。
基準(0,x,y,z)に対するペン先8の位置は製造時の校正により決定することができるため、表面9に対するペン先8の位置を知ることができる。したがって、表面9に対するペン先8の位置を光学的に判定することができる。もし距離がゼロなら、ペン1はマウスダウンイベントのトリガーに利用可能な情報をコンピュータに送信する。
データ転送
光学ペン1から集められた情報はリアルタイムで転送または遅らせて保存される必要がある。このため、最小データに対応するコーデックが必要となる。ペン1から転送/保存されるデータの大半はペン先8の位置であり、1秒間に約60−100回のレートで転送される。
ペン先8の位置を毎回送信する代わりに、ペン1が新たな位置を転送することができる点で動きを止めるまで、初期値および最終位置と現在位置との差分値を送信することができる。テストにおいて、ベクトル差の絶対値は8未満であるという結果が得られたため、(0,0)の近傍、つまり「Nset」を8ビットの群(0…255)にマップすることができる。これは、新たな位置を送信または保存する代わりに、8ビット文字を送信または保存するだけでよいことを意味する。
近傍Nsetから2個の整数群{0,1,2…255}へマップする関数をFとし、一つ前の位置と現在の位置との差が(x,y)のとき、関数F(x,y)を送信または保存するだけでよい。これにより、現在のペン先8の絶対位置は、
(最終位置)+F−1(F(x,y))
となるであろう。
差p−qが近傍Nsetを超えていれば、図9に示したように、各部分が近傍Nset内に収まるように当該差を2つ以上の部分に分割することができる。
別のドットコードパターン
上述のパターンに代えて、図10に示したような2種類の平行ラインのドットによって形成されるドットパターンを用いることができる。上記のすべての技術が同様に有効である。これは、罫線入り用紙に代えて方眼紙または原稿用紙のような特殊な文書で利用することができる。そのような実施形態では、X座標はライン上のあるドットに含まれ、Y座標は直交するラインに含まれ得る。
注記:
注記2:2個の細帯断片を用いて表面位置を判定するため、サンプルとして、図12に示すように、あるラインを…Y−1,Y,Y+1…とし、その下のラインはそれと同じものを1ドットだけ(サイクリックに)左にずらし、次のラインはライン…Y−1,Y,Y+1…を繰り返し、さらにその下のラインはそれを2ドットだけ(サイクリックに)左にずらすなどして、ドットコードラインを構築することができた。
この構造はラインを方向付ける点で有利であり、それのダブルチェックが可能となる(このように「ベロ−(bellow)」はここでは意味があることである)。
個別のA4ページが大量に必要な場合、列…(Y−1)Y(Y+1)…に代えて列…F(Y−1)F(Y)F(Y+1)…を採用することもできる。ただし、関数Fは「Y」の範囲のあるサブセットを置換する。例えば、12ビット数でコードを表現する場合、サブセットは1から4093=2^12−3までの任意の整数値となり得る。4093は素数であるため、F(y)=Key0*y Mod(4093)は、当該サブセットの固定整数key0に関して当該サブセットにおける置換である。
ドットを400ミクロン離して設定すると12ビット数は4.8ミリメートルとなるため、「Yライン」は4.8×4093mm、つまり約1965センチメートル長となる。
同様に、…G(X−1)G(X)G(X+1)…によって「Xライン」を生成する。ただし、Gは1から4093までの整数サブセットにおける別の置換、つまりG(x)=key1*x Mod(4093)である。
ここで、まずXラインのコピーであるYラインを(およそ)5mm離して配置して1965×12×4093(平方センチメートル)のマップを生成する。次に、再び5mm離して同じYラインおよびXラインを繰り返すが、今度はXラインをサイクリックにMod(4093)の1ビットだけ右に動かす。再び同じXラインおよびYラインを配置し、今度はXラインをサイクリックに2ビット動かすなどする。これを12×4093回繰り返し、各回で当該マップに別の1×1965cmの領域を追加することができる。最終的に総領域が1965×12×4093=96512940cmのマップを得る。このマップの行は全部で2×12×4093であり、列は4093である。
12ビット数の最初のビットにおけるラインにいるとする。列位置は「Yライン」におけるY値となり、行位置は、Yライン上側またはYライン内またはYライン下側にいることにより、それぞれ、2×(変位−1)または2×変位または2×変位−1となる。ただし、「変位」はYラインからのXラインのずれのビット数である。このことから容易に理解できるように、24個の連続するビットがわかっていれば12ビット数の開始ビットを知ることができ、数および変位を計算することができる。
Xラインに偶数のkey0を、Yラインに基数のkey1を用いることで、(4092)/2×(4094)/2個の1965×12×4093(平方センチメートル)のマップを個別に持つことができる。列…F(Y−1)F(Y)F(Y+1)…に従ってkey0およびkey1が常にこの群にあるということはほとんどないため、key0およびkey1の値は50個未満(100フレーム毎秒で動作する場合1/2秒未満)のフレームを用いて見つける(キーを解読する)ことができる。ユーザが新たな文書で作業を始めると「キー解読」は一旦終了し、key0およびkey1が不正なキーであるときにのみ再びキー解読が行われる。
最終的に総面積は4092×4094×1965×3×4093平方センチメートルとなる。A4ページは21×29.7cmであるから、6.48×1011ページの個別のA4ページ、すなわち6480億ページの個別のA4ページが得られる。これはエンタープライズサーバに保存されるアクティブページとしては十分な数である。
本発明はその精神または基本特性から逸脱することなくほかの特別な形態で実施することができる。上記実施形態はすべての点で説明を目的としたものであり、本発明を限定するものではない。それゆえ、本発明の範囲は上記記載よりもむしろ添付の特許請求の範囲によって示される。請求項の均等の目的および範囲内のすべての変更は本発明の範囲に含まれる。

Claims (18)

  1. 光学ペンの先端から得られる情報をエンコードする装置であって、
    支持盤を有し、前記支持盤の全表面に連続的に配置された2次元コードパターンがエンコードされた表示媒体を備え、
    前記パターンは平行な細帯の列によって形成されており、前記細帯は、少なくとも2本の平行ラインを有し、そのうち1本のラインはベースラインであり、残りのラインは補助ラインであり、
    前記平行な細帯のそれぞれはドット列を有し、当該ドットは、選択された基数による数を表すように所定位置に配置されている、装置。
  2. 前記ドット列は複数の数を表し、各数が列番号である、請求項1の装置。
  3. 前記ドット列は複数の数を表し、各数が行番号である、請求項1の装置。
  4. 前記ベースライン上に正射影した前記ドット間の距離が約500−650ミクロンである、請求項1の装置。
  5. 前記平行ライン間の距離が約100−150ミクロンで一定である、請求項1の装置。
  6. 前記ドットの直径が100−150ミクロンの間である、請求項1の装置。
  7. 前記ドットのサイズが、前記表示媒体上の画面の物理ピクセルの構造体が前記光学ペンにおけるカメラによって得られたカメラ画像フレーム上のノイズとして見えるように選択されている、請求項1の装置。
  8. 被着体上にドットコードパターンをエンコードする方法であって、
    画像を含むデジタル文書を開くこと、
    前記画像におけるテキストライン間の空間、水平ライン、および図の有無を探すこと、
    テキストライン間の空間に前記ドットコードパターンを挿入すること、
    前記文書の選択された軸に沿って延びるラインを識別すること、および
    前記ラインをエンコードされたラインに置き換えることを含む、方法。
  9. 光学ペンによって読み取られるべき文書の特定の情報を含む追加のドットコードを前記文書の選択された位置に挿入することを含む、請求項8の方法。
  10. 選択されたドットを赤外線不可視インクのラインで囲むことを含む、請求項8の方法。
  11. 前記文書における東洋文字を識別し、縦軸を前記軸として選択することを含む、請求項8の方法。
  12. 被着体上のドットコードパターンを細帯に沿って読み取る方法であって、
    光学ペンが前記被着体の表面を移動したときに、前記光学ペンに60から100フレーム毎秒のレートで前記ドットコードパターンを撮影させること、および
    各フレームを、
    ドットの画像に適合し、文字の画像は排除するように構成されたマスクを用いて、ドットコードパターンにおけるドットの位置を特定し、
    少なくとも前記ドットの位置特定に基づいて前記細帯を識別し、
    前記ドットコードパターンによってエンコードされた座標を読み取り、
    少なくとも前記座標に基づいて前記表面の位置を特定することで解析することを含む、方法。
  13. 前記細帯の識別は、前記ドットの周波数が最大となる方向を前記細帯の方向として選択することを含み、
    前記選択は、
    局所的なドット群におけるすべてのドットの、候補の方向に垂直なラインへの射影を探索すること、
    前記ドット群から前記細帯の幅内にあるドットを識別すること、
    前記ドット群から前記識別された局所的なドットを除外すること、
    前記ドット群に残ったドットに対して、前記選択、探索、識別を繰り返すことを含む、請求項12の方法。
  14. 前記細帯の識別は、ドットを頂点として頂点P1およびP2のペアでエッジが形成されるグラフを定義することを含み、前記エッジは、期待される範囲LimitInf<Dist(P1,P2)<LimitSupの距離内にあり、かつ、結合されたグラフ複合体である、請求項12の方法。
  15. 前記ドットコードパターンによってエンコードされた座標の読み取りは、エンコードされた表面におけるフレームの位置を特定することを含む、請求項12の方法。
  16. ドットの位置が第1および第2の座標で表され、
    前記座標の読み取りは、開始ドットの前記第1の座標を識別し、前記開始ドットの前記第2の座標が増加する方向を識別することを含む、請求項12の方法。
  17. 前記表面の位置特定は、少なくとも前記被着体の表面の第1および第2の点の距離に基づいて前記表面の位置を特定することを含み、前記被着体の表面の前記第1および第2の点は前記ドットコードパターンの画像における第1および第2の点に相当する、請求項12の方法。
  18. 前記表面の位置特定は、前記光学ペンが前記被着体の表面に接触しているか否かを判定することを含む、請求項12の方法。
JP2013516917A 2010-07-06 2011-06-30 光学ペンを用いた絶対位置およびその他情報のためのドットコードパターン、ドットコード印刷方法、ドットコード読み取り方法 Pending JP2013529818A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US39889110P 2010-07-06 2010-07-06
US61/398,891 2010-07-06
US13/155,990 US9576230B2 (en) 2010-07-06 2011-06-08 Dot code pattern for absolute position and other information using an optical pen, process of printing the dot code, process of reading the dot code
US13/155,990 2011-06-08
PCT/BR2011/000198 WO2012003558A1 (en) 2010-07-06 2011-06-30 Dot code pattern for absolute position and other information using an optical pen, process of printing the dot code, process of reading the dot code

Publications (2)

Publication Number Publication Date
JP2013529818A true JP2013529818A (ja) 2013-07-22
JP2013529818A5 JP2013529818A5 (ja) 2014-08-14

Family

ID=45437888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013516917A Pending JP2013529818A (ja) 2010-07-06 2011-06-30 光学ペンを用いた絶対位置およびその他情報のためのドットコードパターン、ドットコード印刷方法、ドットコード読み取り方法

Country Status (11)

Country Link
US (1) US9576230B2 (ja)
EP (1) EP2591441B1 (ja)
JP (1) JP2013529818A (ja)
KR (1) KR101819076B1 (ja)
CN (1) CN103098075B (ja)
AU (1) AU2011276969B2 (ja)
BR (1) BR112013000144B1 (ja)
EA (1) EA201291451A1 (ja)
ES (1) ES2769399T3 (ja)
PT (1) PT2591441T (ja)
WO (1) WO2012003558A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101981141B1 (ko) * 2012-04-04 2019-08-28 삼성전자주식회사 펜 방식에 기반한 디스플레이의 좌표 검출 방법 및 장치
JP6064211B2 (ja) * 2012-09-04 2017-01-25 パナソニックIpマネジメント株式会社 手書き入力システム
TWI489352B (zh) * 2013-08-13 2015-06-21 Wistron Corp 光學觸控定位方法、系統及光學觸控定位器
KR101770288B1 (ko) * 2014-01-17 2017-08-22 주식회사 쏠리드에듀 전자칠판 시스템 및 그의 제어 방법
TWI608428B (zh) * 2014-03-27 2017-12-11 緯創資通股份有限公司 利用影像辨識產生相對應資訊之影像處理系統及其相關方法
KR102645176B1 (ko) * 2023-01-31 2024-03-06 주식회사 더코더 점군 인코딩 방법과 장치 및 디코딩 방법과 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05233873A (ja) * 1991-11-29 1993-09-10 Ricoh Co Ltd 領域分割方法
JP2002094768A (ja) * 2000-09-12 2002-03-29 Toshiba Corp ドキュメント管理方法
US20050053405A1 (en) * 2003-09-10 2005-03-10 Patrick Brouhon Methods and apparatus for generating images
JP2005157934A (ja) * 2003-11-28 2005-06-16 Hitachi Ltd 記載内容改ざん防止機能つき電子ペン利用書類記入システム
JP2005267257A (ja) * 2004-03-18 2005-09-29 Nara Institute Of Science & Technology 手書き情報入力システム
JP2008159055A (ja) * 2006-12-22 2008-07-10 Canon Inc バーコード復号方法及び装置
JP2009282727A (ja) * 2008-05-22 2009-12-03 Hitachi Ltd デジタルペンデータ処理装置
JP2010079711A (ja) * 2008-09-26 2010-04-08 Ricoh Co Ltd 多角形型コード、情報登録装置及び情報出力装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4416633A (en) * 1978-08-18 1983-11-22 Gulack Max A Educational and recreational mathematical device in the form of a band, ring or concentric rings
US5051736A (en) 1989-06-28 1991-09-24 International Business Machines Corporation Optical stylus and passive digitizing tablet data input system
DE69329120T2 (de) * 1992-09-28 2001-03-22 Olympus Optical Co Aufzeichnungsmedium für punktcode und informations-aufzeichnungssystem
JPH07261920A (ja) * 1994-03-17 1995-10-13 Wacom Co Ltd 光学式位置検出装置および光学式座標入力装置
JPH0981711A (ja) * 1995-09-20 1997-03-28 Olympus Optical Co Ltd 情報記録媒体、情報再生システム、及び情報記録システム
JP2856149B2 (ja) * 1996-05-15 1999-02-10 日本電気株式会社 電子写真プリンタ
JPH10326331A (ja) 1997-03-24 1998-12-08 Olympus Optical Co Ltd ドットコードを有する記録媒体及びコード読取装置
JP3462986B2 (ja) 1998-08-31 2003-11-05 株式会社日立製作所 カメラ付きペン型入力装置
SE517445C2 (sv) * 1999-10-01 2002-06-04 Anoto Ab Positionsbestämning på en yta försedd med ett positionskodningsmönster
FR2806227B1 (fr) * 2000-03-09 2003-09-05 Auteuil Participation Et Conse Procede pour le codage d'images
US6592039B1 (en) * 2000-08-23 2003-07-15 International Business Machines Corporation Digital pen using interferometry for relative and absolute pen position
JP4776832B2 (ja) 2000-10-19 2011-09-21 キヤノン株式会社 座標入力装置、および、画像入力装置の座標板
US6667695B2 (en) 2001-06-25 2003-12-23 Anoto Ab Position code
US6959866B2 (en) 2002-05-30 2005-11-01 Ricoh Company, Ltd. 2-Dimensional code pattern, 2-dimensional code pattern supporting medium, 2-dimensional code pattern generating method, and 2-dimensional code reading apparatus and method
ATE434803T1 (de) * 2002-09-26 2009-07-15 Kenji Yoshida Informationswiedergabe-i/o-verfahren mit punktmuster und informationswiedergabeeinrichtung
US7048198B2 (en) 2004-04-22 2006-05-23 Microsoft Corporation Coded pattern for an optical device and a prepared surface
AU2004326049B2 (en) * 2004-12-28 2011-08-18 Kenji Yoshida Information input/output method using dot pattern
JP3771252B1 (ja) * 2005-07-01 2006-04-26 健治 吉田 ドットパターン
JP5154292B2 (ja) * 2008-04-24 2013-02-27 株式会社日立製作所 情報管理システム、帳票定義管理サーバ及び情報管理方法
US20090309854A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Input devices with multiple operating modes
KR101548946B1 (ko) * 2008-08-12 2015-09-02 가부시키가이샤 씽크. 라보라토리 정보표시시스템 및 그에 이용되는 닷 패턴 인쇄 시트

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05233873A (ja) * 1991-11-29 1993-09-10 Ricoh Co Ltd 領域分割方法
JP2002094768A (ja) * 2000-09-12 2002-03-29 Toshiba Corp ドキュメント管理方法
US20050053405A1 (en) * 2003-09-10 2005-03-10 Patrick Brouhon Methods and apparatus for generating images
JP2005157934A (ja) * 2003-11-28 2005-06-16 Hitachi Ltd 記載内容改ざん防止機能つき電子ペン利用書類記入システム
JP2005267257A (ja) * 2004-03-18 2005-09-29 Nara Institute Of Science & Technology 手書き情報入力システム
JP2008159055A (ja) * 2006-12-22 2008-07-10 Canon Inc バーコード復号方法及び装置
JP2009282727A (ja) * 2008-05-22 2009-12-03 Hitachi Ltd デジタルペンデータ処理装置
JP2010079711A (ja) * 2008-09-26 2010-04-08 Ricoh Co Ltd 多角形型コード、情報登録装置及び情報出力装置

Also Published As

Publication number Publication date
EA201291451A1 (ru) 2013-05-30
KR20130139225A (ko) 2013-12-20
AU2011276969B2 (en) 2017-03-02
BR112013000144B1 (pt) 2020-12-15
US20120006898A1 (en) 2012-01-12
EP2591441B1 (en) 2019-11-06
US9576230B2 (en) 2017-02-21
EP2591441A1 (en) 2013-05-15
PT2591441T (pt) 2020-02-10
AU2011276969A1 (en) 2013-01-17
BR112013000144A2 (pt) 2016-05-24
CN103098075B (zh) 2018-04-20
ES2769399T3 (es) 2020-06-25
EP2591441A4 (en) 2016-11-02
KR101819076B1 (ko) 2018-01-16
WO2012003558A1 (en) 2012-01-12
CN103098075A (zh) 2013-05-08

Similar Documents

Publication Publication Date Title
JP4982486B2 (ja) 位置および情報の符号を組み合わせるための方法およびシステム
KR101251695B1 (ko) 임베딩된 상호작용 코드 지원 디스플레이
EP1866735B1 (en) Combined detection of position-coding pattern and bar codes
KR101114196B1 (ko) 고속 이미지 매칭에 의한 글로벌 국소화
JP2013529818A (ja) 光学ペンを用いた絶対位置およびその他情報のためのドットコードパターン、ドットコード印刷方法、ドットコード読み取り方法
CN101398838B (zh) 手写信息管理系统和手写信息管理方法
US7600693B2 (en) Information code including redundant information providing copy protection
EP1915724A1 (en) Embedded interaction code enabled surface type identification
CA2491579C (en) Enhanced approach of m-array decoding and error correction
JP2006525593A (ja) 位置復号のための方法、装置、コンピュータプログラム及び記憶媒体本願は、ともに参照することにより本書に含まれる2003年4月29日に出願されたスウェーデン特許出願番号第0301248−1号、及び2003年4月29日に出願された米国特許仮出願番号第60/466,036号の利益を主張する。
US20080235282A1 (en) Personal Computing Apparatus and a Method Therein
JP4934669B2 (ja) 非ペンストロークデータの転送に関する方法および装置
JP4996461B2 (ja) データのコーディングおよび復号化
JP4451075B2 (ja) 訂正処理システムにおける訂正方法
JP2002215319A (ja) 座標入力装置
TWI401607B (zh) 編碼與解碼方法及裝置
CN108664870A (zh) 用于点阵识别的介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130227

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130227

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20130227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160315

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160517

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161115