JP2020528171A - アナログストロークの生成及びアナログストロークのデジタル記録のための電子装置並びにアナログ記録のデジタル化のための入力システム及び方法 - Google Patents

アナログストロークの生成及びアナログストロークのデジタル記録のための電子装置並びにアナログ記録のデジタル化のための入力システム及び方法 Download PDF

Info

Publication number
JP2020528171A
JP2020528171A JP2019571064A JP2019571064A JP2020528171A JP 2020528171 A JP2020528171 A JP 2020528171A JP 2019571064 A JP2019571064 A JP 2019571064A JP 2019571064 A JP2019571064 A JP 2019571064A JP 2020528171 A JP2020528171 A JP 2020528171A
Authority
JP
Japan
Prior art keywords
analog
recording carrier
data
recording
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019571064A
Other languages
English (en)
Other versions
JP7086116B2 (ja
Inventor
ヴァイドラー マティアス
ヴァイドラー マティアス
フライバート アンドレアス
フライバート アンドレアス
ランプ アレクサンダー
ランプ アレクサンダー
ペータース ディアク
ペータース ディアク
フィリップ グロース ヨハネス
フィリップ グロース ヨハネス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Staedtler Mars GmbH and Co KG
Original Assignee
Staedtler Mars GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Staedtler Mars GmbH and Co KG filed Critical Staedtler Mars GmbH and Co KG
Publication of JP2020528171A publication Critical patent/JP2020528171A/ja
Application granted granted Critical
Publication of JP7086116B2 publication Critical patent/JP7086116B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542Light pens for emitting or receiving light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting

Abstract

本発明は、アナログストローク、特に手書きの生成及びアナログストロークのデジタル記録のための電子装置、特に電子ペンであって、記録担体、特に用紙上でアナログ記録を作成するための筆記装置、線画装置及び/又は描画装置のコンポーネントと、デジタル筆記装置及び/又は入力装置に対する装置拡張のための電子コンポーネント及びソフトウェアとを備える電子装置に関し、当該装置は、少なくとも1つの位置測定ユニット、特にカメラを備え、位置測定ユニットにより、装置と記録担体との間の位置測定が形成され、当該装置は、少なくとも1つの運動検出ユニットを備え、運動検出ユニットにより、装置の運動と、当該運動により生成された記録担体上のアナログ記録とが、デジタル検出され、当該運動検出ユニットは、レーザトラッカ(「Laser Speckle Motion Tracker」)として構成されていることを特徴とする。

Description

本発明は、アナログストロークの生成及びアナログストロークのデジタル記録のための電子装置に関する。さらに、本発明は、アナログ記録を処理するための入力システム及び方法に関する。
アナログストロークの生成のための装置、システム及び方法並びにそのデジタル化のためのシステム及び方法は、基本的に公知である。
そのため、アナログ記録は、用紙ベースで作成され、ユーザのストローク運動は、統合された赤外線カメラを用いて検出され記録される。次いで、記録されたデータは、コンピュータに転送することができる。しかしながら、ここでは、用紙ベースが、何らかの形態で提供されるドットパターンを備えたいわゆるドープ用紙であることは不利である。記録ベースが特殊な用紙であることとは無関係に、ドットパターンが認識可能であって記録全体の印象を損なわせることも欠点とみなされる。
さらに、記録ベースの縁部に受信機ユニットが取り付けられ、記録装置に送信機ユニットが設けられている、アナログ記録をデジタルデータに変換するためのシステムが公知である。この送信機と受信機との組合せを介すことにより、あらゆる時点において記録装置の先端は、XY座標を介して記述又は位置測定することができる。上述の実施形態においては、特殊なドープ用紙は、確かに不要になるが、マルチパート送信機及び受信機ユニットが必要となり、その場合は、少なくとも受信機ユニットが、各記録の前に用紙との一定の距離を維持する必要がある。
さらに、アナログデータとデジタルデータとを同時に記憶するために、用紙シートが載置されるいわゆるセンサボードを含むシステムが公知である。アナログ筆記装置を用いて、用紙シート上にアナログ記録が作成され、このアナログ記録は、同時にセンサボードを介してデジタルでの検出と記憶とが可能である。ただし、ここでは、特殊なセンサボードの存在が必要であって、さらに用紙の常時固定が必要であることは、欠点とみなされる。なぜなら、そうしなければ、デジタル記録はアナログテンプレートに対応しない、例えば重ならないからである。
公知の解決手段のいくつかにおけるさらなる欠点として、時間をずらして使用する場合に、先のアナログ記録の拡張又は補足部分を、記録されたデジタルデータに正しく割り当てることが一部不可能であることも欠点とみなされる。
それゆえ、本発明の課題は、冒頭に述べた欠点を有さずかつ従来の筆記装置(筆記用具)を用いて生成されたアナログ記録を任意の記録担体にデジタル化することができる電子装置及び入力システムを達成することである。さらに、本発明の課題は、アナログ記録を、後続の処理、選別、分類、分配及び/又は検索機能を介して再検出可能に記憶するためにデジタル形式に変換する入力システムを達成することである。さらに、本発明の課題は、電子装置を用いて生成されたアナログ記録又は手書きノート若しくはスケッチを、任意の記録担体上において可及的に簡単にデジタル化することができる方法を達成することである。
この課題は、請求項1,12及び13に記載の特徴によって解決される。
以下において、電子装置とは、一方では、アナログ記録を作成するための従来の筆記装置、線画装置及び/又は描画装置のコンポーネントを含む筆記装置及び/又は入力装置を意味するものと理解されたい。従来の筆記装置は、通常、筆記先端又は記録先端を有する少なくとも1つの替え芯及び/又は他の着色塗布媒体を有する。また、他方では、この電子装置は、アナログ記録を検出し、それらをデジタルデータとして検出し、処理し、記憶し、かつ、伝送するために必要な付加的電子コンポーネント及びソフトウェアモジュールを有している。
本発明に係る装置は、アナログストロークの生成及びアナログストロークのデジタル記録のための電子装置に関し、当該装置は、記録担体上でアナログ記録を作成するための筆記装置、線画装置及び/又は描画装置のコンポーネントと、デジタル筆記装置及び/又は入力装置に対する装置拡張のための電子コンポーネント及びソフトウェアとを備え、ここで、当該装置は、少なくとも1つの位置測定ユニットを備え、当該位置測定ユニットにより、装置と記録担体との間の位置測定が可能である。さらに、当該装置は、少なくとも1つの運動検出ユニットを備え、当該運動検出ユニットにより、装置の運動と、当該運動により生成された記録担体上のアナログ記録とが、デジタル検出され、当該運動検出ユニットは、「Laser Speckle Motion Tracker」としても公知のレーザトラッカとして構成されている。
電子コンポーネント及びソフトウェアとは、少なくとも1つのIMU、カメラ基準システム、マイクロコントローラ、レーザトラッカ及び評価ソフトウェアを含むものを意味する。この場合、電子コンポーネント及びソフトウェアは、プリント基板及び/又はその他の導電的接続路を介して相互に接続を形成し又は接続されている。レーザトラッカは、XYトラッカとして構成されており、この場合、XYトラッカは、デカルト座標系(X,Y)のデータ(X,Y)を時間(t)の関数として検出するための2D検出ユニットである。このレーザトラッカは、XYZトラッカとして存在することもでき、この場合、このXYZトラッカは、直交座標系(X,Y,Z)のデータ(X,Y,Z)を時間(t)の関数として検出するための3D検出ユニットとして構成されている。
位置測定ユニットは、少なくとも1つのIMU、カメラ基準システム、マイクロコントローラ及び記録担体に対する装置の絶対位置測定のための評価ソフトウェアを含む。この位置測定は、アナログ記録用の記録担体の少なくとも3つの縁部ラインの位置測定として行われる。評価ソフトウェアは、センサ/データ融合ユニットであるかセンサ/データ融合ユニットを形成し、この場合、位置測定ユニット及び運動検出ユニットのデータは、センサ/データ融合ユニットによって統合される。
さらに、装置は、電子コンポーネントとして、記録担体から当該装置までの距離(h)を検出するための距離計を備え、この場合、この距離(h)は、時間(t)の関数として存在する。距離計は、レーザベースの距離計として存在する。
本発明に係る装置は、さらなる電子コンポーネント及び/又はソフトウェアとして、少なくとも1つのプロセッサ、少なくとも1つのセンサ、少なくとも1つのデータ記憶ユニット、少なくとも1つのエネルギー源、少なくとも1つの充電制御部、少なくとも1つのミラー要素、少なくとも1つのオン/オフスイッチ、少なくとも1つの信号発生器、少なくとも1つのマイク、及び/又は、少なくとも1つのデータ伝送ユニットを備える。少なくとも1つのセンサは、記録担体との接触の際の装置の起動のための圧力センサ及び/又はひずみゲージとして形成されている接触センサとして存在する。
データ伝送ユニットは、検出されて処理されたデータをデジタル端末に伝送するための通信モジュールである。この種のユニットは、Bluetoothユニット、WLANカップリング又はケーブル接続であってよい。
場合によっては装置内に統合される信号発生器は、音響的及び/又は光学的信号発生器として構成されてよい。
本発明に係る電子装置を用いることにより、記録担体上のアナログ記録を自動的にデジタル化することができる。ここでは、入力システムを使用する場合、記録担体が、例えばドープ用紙などの特殊な媒体である必要がないことは有利であることがわかった。記録担体として、用紙は、外された形態若しくは綴じられた形態で存在し得る、又は、螺旋綴じブック若しくはメモ綴りとして存在し得る。同様に、記録担体として、フィルム又は他の材料を用いることができる。ここでは、記録担体が矩形の形態を有し、直線状に縁取られている場合に有利とみなされる。
上述の入力システムは、少なくとも1つの電子装置と、少なくとも1つの記録担体と、少なくとも1つのデジタル端末とを含む。
以下においては、上述のコンポーネントのいくつかを説明する。
レーザトラッカは、マウストラッカ、XYトラッカ、XYZトラッカ、及び/又は、「Laser-Speckle-Motion-Tracker」という用語でも公知である。XYトラッカ又はXYZトラッカは、高い時間分解能で、先行の位置に対する記録媒体上の筆記先端の運動を識別する。測定は、反射面上を移動する際のレーザスペックルパターンの変化に基づいている。レーザトラッカの記録動作の機能原理は、従来技術から公知のように、光学式コンピュータマウスに対応している。ここでは、例えばコンピュータとのデータ交換の際に、運動/微動が記録される。これらの運動は、2D及び/又は3Dで検出される。レーザトラッカを用いれば、これらの運動の他に、記録媒体の特定の位置におけるクリック及び/又は滞留持続時間も検出することができる。驚くべきことに、レーザトラッカは、課題の解決のための主要な部分を担っていることが示されている。
IMU(Inertial Measurement Unit)とは、加速度センサやジャイロスコープ/ヨーレートセンサなどの複数の慣性センサの空間的組合せを意味するものと理解されたい。IMUは、慣性航法システムのセンサ系の測定ユニットを表し、平面内での運動検出及び位置検出のみならず、空間内での運動検出及び位置検出にも使用される。従って、一般的にはIMUは、空間内での装置の配向の測定に用いられる。
圧力センサは、本願においては、装置の筆記先端が記録担体上に存在しているかどうかを検出するのに用いられる。さらに、例えば様々な線太さを圧力に依存して検出し、検出されたデータに統合するために、記録担体上の筆記先端の圧縮力を、圧力センサを用いて特定することができる。
アナログ又は手書きで生成された記録を自動的にデジタル化する方法を可能にするために、アナログ筆記装置又は線画装置には、少なくとも上述の付加的コンポーネントが装備されている。
アナログ記録をデジタル化する方法を保証するために、電子装置は、センサ及び/又は電子コンポーネントのデータを検出して処理するソフトウェアコンポーネントを含む。マイクロプロセッサ内のいわゆる組み込みソフトウェアは、データの処理や加工を担っている。組み込みソフトウェアの設計/機能規模に応じて、データ処理の規模は制御されている。即ち、これにより、データが、電子装置自体で処理される即ち直接処理されるか、又は、デジタル端末で処理されるかが確定される。
ユーザの何らかのデジタル端末にインストールされ、デジタル出力及び処理媒体として用いられるソフトウェアアプリケーションを用いることにより、電子装置から供給されたデータを継続処理することができる。
電子装置がディスプレイユニットを備えるべきならば、既に電子装置内で検出されたデータを継続処理し、それが終了した後で初めてデジタル端末に伝送するようにするために、ソフトウェアアプリケーションを装置内に直接配置してもよい。
以下においては、本発明に係る方法を、主要な8つの方法ステップにおいて説明する。
方法ステップ1:電子装置の起動
これは、電子コンポーネントに電気エネルギーを供給するために、例えば、オン/オフスイッチを介して実行することができる。
方法ステップ2:IMUセンサの較正
カメラ基準システムに対するIMUセンサの較正。
このことは、カメラ/カメラ基準システムの絶対位置測定を介して行われる。
この目的のために、アナログ記録を備えるべき記録担体の少なくとも2つの隅部、従って、少なくとも3つの縁部又は少なくとも縁部区分がカメラに認識され得ることが必要である。これらの2つの隅部(従って、3つの縁部)は、カメラ基準システムによって検出され記憶される。この位置測定/位置特定は、時間(t)に依存したシートの回転の特定に用いられる。この方法ステップの実施のために、少なくとも1つのカメラ、IMU、マイクロコントローラ及び評価ソフトウェアが必要である。
処理ステップ3:用紙上のペン
電子装置は、「用紙上のペン」の状態を認識する。
この「用紙上のペン」の状態は、圧力センサ、ひずみゲージ、及び/又は、マイクロコントローラを用いて生成することが可能である。
処理ステップ4:装置の運動の検出
装置又はその筆記先端の微動は、XYトラッカによって記録される。記録担体が絶対位置測定状態になると直ちに、アナログ筆記/線画過程中の記録担体に対する相対的な筆記先端の運動/微動が、XYトラッカを介して追跡され、データ(x、y)として、クロック制御された時間間隔(t)でタップされ、処理され、デジタル化されて記憶され得る。この場合、IMU、XYトラッカ、マイクロコントローラ及び評価ソフトウェアは、起動されている。
処理ステップ5:記録担体の座標系上/内のペン先端の位置の絶対位置測定
塗布媒体上のペン先端の絶対位置測定を行うことは必須である。なぜなら、記録担体の座標系における電子装置の位置(X,Y)は、既知とする必要があるからである。
この目的に対して装置/ペンの位置(X,Y)を検出するために、記録担体の少なくとも1つの隅部、従って、隣接する2つの縁部がカメラシステムから視認可能でなければならない。例えば、記録担体の左方の上方の隅部に対しては、隣接する左方のシート縁部と、同様に隣接する上方のシート縁部とが認識される必要がある。このシステムは、一方でIMUセンサが較正され、「用紙上のペン」の状態が認識されると使用可能になる。この目的のためには、カメラ、マイクロコントローラ、IMU及び評価ソフトウェアが必要になる。
方法ステップ6:センサデータの融合化
さらなる方法ステップにおいては、センサデータの融合化が行われる。これにより、方法ステップ5において算出されたデータを用いて、アナログ筆記過程又はアナログ線画過程の際に記録されるペン先端の微動を記録担体上で位置測定することができる。この方法ステップに関しては、XYトラッカを用いて記録担体上のペン先端の微動を正確に追跡して記録することも、記録担体上のペン先端の絶対位置測定が実施されていることも必須である。
方法ステップ7:画像データの記憶
「用紙上のペン」の状態で記録されてデジタル化された微動の融合されたセンサデータは、評価ソフトウェアによってほぼ同時に時間に依存して光学的に描写されたデータレコードとして記憶される。
方法ステップ8
これらのデータレコードは、そこにおいて再構築、さらなる処理、準備、新たに記憶するために、任意の端末に伝送される。
個々の方法ステップを有する上述の本発明に係る方法において、さらに、ここでは、以下の場合に有利であることが判明している。
−方法ステップ2、記録媒体に対する装置の位置の信頼性の高い連続的な(時間依存性の)特定を達成するために、第2のカメラが使用される。ここでは、2つのカメラを使用する際に、それぞれ1つのカメラによって少なくとも1つのシート縁部を検出することができるように、これらのカメラを上下に位置決めすると有利であることが判明している。
−方法ステップ2、第2のカメラの使用により、電子装置及び記録担体の運動は区別することができる。
−方法ステップ2、IMUでは専ら加速度センサのデータ及びジャイロセンサのデータがセンサデータ融合に含まれる。なぜなら、IMUの磁場センサは、地球の磁場、携帯電話又はスクリーンなどの外部の過度に強い影響に曝されているからである。これにより、センサ融合の際に記録担体の配向のより正確な特定を保証することができる。
−方法ステップ4、XYトラッカとレーザとが装置長手軸の可能な限り近傍に配置されている場合、このことは、レーザとXYトラッカとの間の角度、及び、ペン軸/ペン先端の間の角度の減少につながる。これにより、筆記先端を記録担体から持ち上げた際に、データの鮮鋭度がより高くかつ位置偏差もより少ない問題のない操作が可能になる。それゆえ、ペン先端からレーザ及びXYトラッカによって拡がる角度が0に近づくと有利である。
−方法ステップ4、レーザベースの距離計は、正確な計算又は高さに起因する歪み/不精度の外挿のために、記録担体とペン先端との間の距離(h)を検出するように構成されている。なぜなら、トラッカデータは、距離(h)の関数だからである。距離測定のための検出器は、三角測量を用いて距離を計算することができるようにするために、レーザ及びXYトラッカの光軸に対してわずかにオフセットされた軸を有する。
−方法ステップ5、カメラの視野が拡大されて形成されている。この目的のために、少なくとも1つのカメラに広角レンズが装備されている。さらに、カメラが装置の背面領域に配置されている場合、又は、ペン先端とカメラとの間の距離が可能な限り長く選択されている場合に有利であることが判明している。
その後、データは、ソフトウェアアプリケーション(APP)において/ソフトウェアアプリケーション(APP)を用いてユーザの任意のデジタル端末に送信され、再構築されて表示又は図示される。端末上で/端末によってデータは、場合によっては、さらなるソフトウェアアプリケーションを用いてさらに処理され、処理されたデータとして新たに変更されて記憶され得る。例示的に、光学的文字認識(OCR)及び/又は電子テキスト認識(ICR)を用いた手書き記録の変換を挙げてもよい。
アナログ記録を、汎用的な記録担体上で、デジタル筆記装置及び入力装置上で、及び/又は、デジタル端末/出力媒体上で、デジタルに視覚化する課題は、上述の方法によって達成されている。例えば、デジタル化されたデータは、アプリケーションソフトウェアを介して、PC/ノートブック/タブレット/スマートフォンに記憶することができる。電子装置に記録されたセンサデータは、電子端末の形態の出力媒体によってデジタル再構成として再現することができる。その他に、これらのアナログ入力のデジタル再構成は、出力装置/端末上でアプリケーションソフトウェアを用いてデジタルに変更すること、及び/又は、継続処理したりすることができる。
驚くべきことに、示されている方法は、ユーザに、情報を効率的に記憶、分類、使用及び処理する可能性を開き、検索機能にアクセスする可能性を開くことが示された。
本発明に係る方法は、ユーザのためのさらなる支援手段や方法ステップなしで、これらのアナログ入力を同時にデジタル形態又は出力形態に移行させる。その他に、本発明に係る方法によれば、ユーザの筆記過程、線画過程又は描画過程のメタデータが自動的に記録、処理され、出力媒体に表示される。これらのメタデータは、例えば、アナログ記録の場所と時点、並びに、筆記、線画及び/又は描画の際の個々の個人的で一義的な運動ストロークであってよい。これらのメタデータに関する例として、筆記ベース上の筆記先端の圧力、特定の状況での筆記先端の滞留持続時間、記録作成の速度、並びに、筆記、線画及び/又は描画の際の筆記先端の方向などが挙げられ得る。
以下においては、本発明を、図1及び図2に基づいてより詳細に説明する。
本発明に係る入力装置の断面図。 本発明に係る入力システムの図。
図1は、アナログ又は手書きで生成された記録202が生成可能である本発明に係る電子装置10を示している。アナログ又は手書きで生成された記録202を自動的にデジタル化する方法を可能にするために、アナログ筆記装置又は線画装置は、センサ及びさらなる電子コンポーネントを備えており、それによって、さらにデジタル筆記装置及び/又は入力装置10として機能する。この目的のために、装置10は、例えば少なくとも1つのIMU102、XYトラッカ103、カメラ108、圧力センサ113、マイクロプロセッサ/コントローラ110、記憶ユニット114、エネルギー源107、データ伝送ユニット109、音響的信号発生器115、マイク116、充電制御部106、及び、場合によっては、アナログで生成された記録202をデジタル化するためのさらなるコンポーネントなどのコンポーネント又は電子コンポーネントを備えている。さらに、記録担体までの距離の関数も表すトラッカデータを修正するためのレーザベースの距離測定ユニット105が統合されており、筆記先端111が記録担体20との接触を失った場合に、単位時間(t)毎の距離測定が圧力センサによって自動的に起動される。本発明に必要な1つのユニットは、XYトラッカ103、レーザベースの距離測定ユニット105及びミラー要素104からなる電子装置10の光学ユニットを形成する。ここでは、XYトラッカ103が運動(X,Y座標)の検出のために先端近傍に形成又は固定されていると、特に有利であることが判明している。なぜなら、このようにして、筆記の際に変化する、記録担体に対する筆記装置長手軸の角度のぶれが、ゼロに向かう/ゼロに収束するからである。さらに、ここでは、距離測定のためのユニット105及びXYトラッカ103が、共通のレーザ105を使用することができることが示されている。
小さなミラー要素104は、XYトラッカ103のCCD(Charge-Coupled Device/感光性構成素子)のセンサフィールド上に固定の角度で位置決めされている。レーザビームは、ミラー要素104の小さな開口部を介して、XYトラッカの「視野」/CCDセンサフィールドを照明することができる。ここでは、レーザ及びXYトラッカの光軸が一致している。距離測定のための検出器は、一方では、三角測量を用いて距離を測定することができるようにするために、及び/又は、他方では、位相を測定することができるようにするために、わずかにオフセットされた軸を有している。距離測定のためのユニットもXYトラッカも唯一割り当てられたレーザを使用する代替的手段は示されても説明されてもいない。エネルギー源としてバッテリ又は充電可能な蓄電池を設けてよく、その充電状態は、充電制御ランプで視覚化することができる。上述したコンポーネントは、ハウジング118内に保持されたベースプレート/プリント基板117に導電的に取り付けられる/接触させられる、又は、少なくともケーブルなどの他の導電的接続路を介して接続されている。装置を無電流の静止状態に切り換えるために、オン/オフスイッチが統合されている。同様に装置10のハウジング118内には筆記媒体112が保持されており、ここでは、それは、例えば筆記先端111を用いて記録担体20上でアナログ記録202を生成するためのボールペン替え芯として形成されている。
図2には、入力システム1が示されており、この入力システム1は、少なくとも、電子装置10と、記録担体20と、デジタル端末30とにより構成されている。ここでは、電子装置10は、図1に従って構造化されている。デジタル端末30は、例えば、タブレット301として、あるいは代替的に、スクリーン303を有するコンピュータとして構成されてよい。端末30のディスプレイ303又はスクリーン303上にはデジタル記録304が再現されており、これは、第1のステップにおいてアナログ記録202として電子装置10を用いて記録担体20の記録面201上で生成されたものである。図示の形態においては、電子装置と端末との間のデータ転送は、例えばBluetoothなどを介したワイヤレス形式で行われる。USBケーブル接続を介したデータ転送も基本的には同様に可能である。記録担体20は、縁部203及び隅部204によって画定又は一義的に確定される。
1 入力システム
10 電子装置
101 オン/オフスイッチ
102 IMU
103 XYトラッカ
104 ミラー要素
105 レーザベースの距離測定ユニット
106 充電制御部
107 エネルギー源
108 カメラ
109 データ伝送ユニット
110 マイクロプロセッサ、コントローラ
111 筆記先端
112 筆記媒体
113 圧力センサ
114 記憶ユニット
115 信号発生器
116 マイク
117 ベースプレート/プリント基板
118 ハウジング/シャフト
20 記録担体
21 記録面
202 アナログ記録
203 側方縁部
204 隅部
30 デジタル端末
301 タブレット
303 ディスプレイ
304 デジタル記録

Claims (13)

  1. アナログストロークの生成及び前記アナログストロークのデジタル記録のための電子装置であって、
    記録担体上でアナログ記録を作成するための筆記装置、線画装置及び/又は描画装置のコンポーネントと、
    デジタル筆記装置及び/又は入力装置に対する装置拡張のための電子コンポーネント及びソフトウェアと、
    を備える電子装置において、
    前記装置は、少なくとも1つの位置測定ユニットを備え、
    前記位置測定ユニットにより、前記装置と前記記録担体との間の位置測定が形成され、
    前記装置は、少なくとも1つの運動検出ユニットを備え、
    前記運動検出ユニットにより、前記装置の運動と、前記運動により生成された記録担体上のアナログ記録とが、デジタル検出され、
    前記運動検出ユニットは、レーザトラッカとして構成されている、
    ことを特徴とする、電子装置。
  2. 前記電子コンポーネント及びソフトウェアには、少なくとも1つのIMU、カメラ基準システム、マイクロコントローラ、レーザトラッカ及び評価ソフトウェアが含まれ、前記電子コンポーネント及びソフトウェアは、プリント基板及び/又はその他の導電的接続路を介して相互に接続を形成する、請求項1に記載の装置。
  3. 前記レーザトラッカは、XYトラッカとして構成されており、前記XYトラッカは、デカルト座標系(X,Y)のデータ(X,Y)を時間(t)の関数として検出するための2D検出ユニットとして構成されている、請求項1又は2に記載の装置。
  4. 前記レーザトラッカは、XYZトラッカとして構成されており、前記XYZトラッカは、直交座標系(X,Y,Z)のデータ(X,Y,Z)を時間(t)の関数として検出するための3D検出ユニットとして構成されている、請求項1又は2に記載の装置。
  5. 前記位置測定ユニットは、少なくとも1つのIMU、カメラ基準システム、マイクロコントローラ、及び、記録担体に対する/記録担体のための前記装置の絶対位置測定のための評価ソフトウェアを備え、前記位置測定は、アナログ記録用の記録担体の少なくとも2つの隅部の、従って、少なくとも3つの縁部ラインの位置測定として構成されている、請求項1に記載の装置。
  6. 前記評価ソフトウェアは、センサ/データ融合ユニットとして構成されており、前記位置測定ユニット及び前記運動検出ユニットのデータは、前記センサ/データ融合ユニットによって統合される、請求項1から5までのいずれか1項に記載の装置。
  7. 前記装置は、電子コンポーネントとして、記録担体から当該装置までの距離(h)を検出するための距離計を備え、前記距離(h)は、時間(t)の関数として存在し、前記距離計は、レーザベースの距離計として構成されている、請求項1に記載の装置。
  8. 前記装置は、さらなる電子コンポーネント及びソフトウェアとして、少なくとも1つのプロセッサ、少なくとも1つのセンサ、少なくとも1つのデータ記憶ユニット、少なくとも1つのエネルギー源、少なくとも1つの充電制御部、少なくとも1つのミラー要素、少なくとも1つのオン/オフスイッチ、少なくとも1つの信号発生器、少なくとも1つのマイク、及び/又は、少なくとも1つのデータ伝送ユニットを備える、請求項1に記載の装置。
  9. 前記少なくとも1つのセンサは、接触センサとして形成されており、前記接触センサは、記録担体との接触の際の前記装置の起動のための圧力センサ及び/又はひずみゲージとして形成されている、請求項8に記載の装置。
  10. 前記データ伝送ユニットは、検出されて処理されたデータをデジタル端末に伝送するための通信モジュールとして構成されており、前記データ伝送ユニットは、Bluetoothユニット、WLANカップリング又はケーブル接続として構成されている、請求項8に記載の装置。
  11. 前記信号発生器は、音響的及び/又は光学的信号発生器として構成されている、請求項8に記載の装置。
  12. 少なくとも請求項1に記載の電子装置と、記録担体と、デジタル端末とを含む入力システム。
  13. アナログ及びデジタルデータの同時検出のために、請求項1に記載の電子装置により記録されたアナログ記録データをデジタル化するための方法であって、
    前記電子装置を起動するステップ1と、
    カメラ基準システムに対して較正すべきIMUセンサを較正するステップであって、前記較正が、カメラ/カメラ基準システムの位置測定と、記録担体の少なくとも3つの縁部ラインの検出及び記憶とを介して行われるステップ2と、
    前記電子装置が、接触センサを介して「記録担体上の装置」の状態を認識するステップ3と、
    前記電子装置又は前記電子装置の筆記先端のアナログ記録形態の運動/微動がレーザトラッカを用いて、位置測定状態の記録担体において検出され、データとして記憶され、処理され、及び/又は、デジタル化されるステップ4と、
    前記記録担体の座標系内の前記「記録担体上の装置」の状態における前記装置の前記筆記先端の位置の絶対位置測定が、前記記録担体の少なくとも1つの視認可能/検出可能な隅部及び当該隅部に隣接する2つの視認可能/検出可能な縁部を介して、前記カメラシステムから前記装置の位置(X,Y)の検出のために検出されるステップ5と、
    前記レーザトラッカを用いて前記記録担体上の前記筆記先端の微動を正確に追跡して記録することも、前記記録担体上の前記筆記先端の絶対位置測定が実施されていることも前提条件とした上で、前記方法ステップ5において算出されたデータを用いて、アナログ筆記過程又はアナログ線画過程の際に記録される前記筆記先端の微動を前記記録担体上で位置測定するためにセンサデータを融合化するステップ6と、
    画像データを記憶するステップであって、前記「記録担体上の装置」の状態で記録されてデジタル化された前記微動の融合されたセンサデータがさらに評価ソフトウェアによってほぼ同時に時間に依存して光学的に描写されたデータレコードとして記憶されるステップ7と、
    前記データレコードを、そこにおいて、再構築、さらなる処理、準備、及び、新たに記憶するために任意の端末に伝送するステップ8と、
    を含む、方法。
JP2019571064A 2017-06-22 2018-05-08 アナログストロークの生成及びアナログストロークのデジタル記録のための電子装置並びにアナログ記録のデジタル化のための入力システム及び方法 Active JP7086116B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017006740.6A DE102017006740A1 (de) 2017-06-22 2017-06-22 Elektronisches Gerät zur Erzeugung analoger Abstriche und zur digitalen Speicherung der analogen Abstriche, sowie Eingabesystem und Verfahren zur Digitalisierung analoger Aufzeichnungen
DE102017006740.6 2017-06-22
PCT/EP2018/061805 WO2018233920A1 (de) 2017-06-22 2018-05-08 Elektronisches gerät zur erzeugung analoger abstriche und zur digitalen speicherung der analogen abstriche, sowie eingabesystem und verfahren zur digitalisierung analoger aufzeichnungen

Publications (2)

Publication Number Publication Date
JP2020528171A true JP2020528171A (ja) 2020-09-17
JP7086116B2 JP7086116B2 (ja) 2022-06-17

Family

ID=62152547

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019571064A Active JP7086116B2 (ja) 2017-06-22 2018-05-08 アナログストロークの生成及びアナログストロークのデジタル記録のための電子装置並びにアナログ記録のデジタル化のための入力システム及び方法

Country Status (7)

Country Link
US (1) US11073921B2 (ja)
EP (1) EP3642699B1 (ja)
JP (1) JP7086116B2 (ja)
KR (1) KR102338351B1 (ja)
CN (1) CN110785729B (ja)
DE (1) DE102017006740A1 (ja)
WO (1) WO2018233920A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3567597A1 (en) 2018-05-11 2019-11-13 Anoto Korea Corp. Method and apparatus of diagnostic test
IT201900022206A1 (it) * 2019-11-26 2021-05-26 Pico Ideas Srls Sistema di scrittura digitale ottimizzato
US11545047B1 (en) * 2021-06-24 2023-01-03 Knowledge Ai Inc. Using biometric data intelligence for education management
KR102625442B1 (ko) 2022-02-24 2024-01-16 주식회사 유핏 아날로그 필기를 이용한 인지 진단 수행 장치 및 방법
KR20230127017A (ko) 2022-02-24 2023-08-31 주식회사 유핏 전자펜용 패턴이 매칭된 문서를 생성하는 전자 장치 및 방법
KR20230127002A (ko) 2022-02-24 2023-08-31 주식회사 유핏 아날로그 필기를 디지털 입력 신호로 이용하는 전자 장치 및 아날로그 필기를 디지털 데이터로 전환하여 이용하는 원격 수업 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007524885A (ja) * 2003-02-24 2007-08-30 エレクトロニック・スクリプティング・プロダクツ・インコーポレイテッド 平らな筆記記入面からの情報を光学的に推定するための装置
JP2015060543A (ja) * 2013-09-20 2015-03-30 船井電機株式会社 デジタルペン及びそれを備える情報処理システム
WO2016116810A1 (en) * 2015-01-20 2016-07-28 Otm Technologies Ltd. Devices and methods for generating input

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001031570A2 (en) * 1999-10-27 2001-05-03 Digital Ink, Inc. Tracking motion of a writing instrument
AU2001298118A1 (en) 2000-11-29 2009-07-29 Oral F. Sekendur Optical position determination on any surface
US20020163511A1 (en) * 2000-11-29 2002-11-07 Sekendur Oral Faith Optical position determination on any surface
US7668375B2 (en) * 2003-09-26 2010-02-23 Khomo Malome T Method of employing a chirographic stylus
US9354725B2 (en) * 2012-06-01 2016-05-31 New York University Tracking movement of a writing instrument on a general surface
CN104076912A (zh) * 2013-03-26 2014-10-01 佛山市顺德区顺达电脑厂有限公司 智能笔型电子装置
CN103927025B (zh) * 2014-04-29 2017-02-08 南京数模微电子有限公司 一种笔迹数字化实现装置及其方法
DE102014106838B4 (de) 2014-05-15 2022-10-13 Stabilo International Gmbh Driftkompensation / optische Absolutreferenzierung
KR20160097879A (ko) * 2015-02-10 2016-08-18 박순양 복합기능 필기장치
CN106778720B (zh) * 2016-11-23 2020-05-22 武汉工程大学 一种对手写过程数字化记录和电子化重建的系统及方法
JP6903999B2 (ja) * 2017-03-29 2021-07-14 富士フイルムビジネスイノベーション株式会社 コンテンツ表示装置およびコンテンツ表示プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007524885A (ja) * 2003-02-24 2007-08-30 エレクトロニック・スクリプティング・プロダクツ・インコーポレイテッド 平らな筆記記入面からの情報を光学的に推定するための装置
JP2015060543A (ja) * 2013-09-20 2015-03-30 船井電機株式会社 デジタルペン及びそれを備える情報処理システム
WO2016116810A1 (en) * 2015-01-20 2016-07-28 Otm Technologies Ltd. Devices and methods for generating input

Also Published As

Publication number Publication date
EP3642699A1 (de) 2020-04-29
KR102338351B1 (ko) 2021-12-10
US20200142509A1 (en) 2020-05-07
EP3642699B1 (de) 2024-02-28
JP7086116B2 (ja) 2022-06-17
CN110785729B (zh) 2024-02-09
DE102017006740A1 (de) 2018-12-27
CN110785729A (zh) 2020-02-11
US11073921B2 (en) 2021-07-27
WO2018233920A1 (de) 2018-12-27
KR20200020827A (ko) 2020-02-26

Similar Documents

Publication Publication Date Title
JP7086116B2 (ja) アナログストロークの生成及びアナログストロークのデジタル記録のための電子装置並びにアナログ記録のデジタル化のための入力システム及び方法
JP4390582B2 (ja) 電子スタイラス及びスタイラスの先端の位置を判定する方法
CN103744541B (zh) 书写笔、电子终端及书写系统
TWI512548B (zh) 移動軌跡產生方法
KR101942699B1 (ko) 전자 펜
US7342575B1 (en) Electronic writing systems and methods
US20090115744A1 (en) Electronic freeboard writing system
US20010014165A1 (en) Information-inputting device inputting contact point of object on recording surface as information
JP6943988B2 (ja) 移動可能物体の制御方法、機器およびシステム
JP2004227563A (ja) 慣性センサの積分
KR20170127400A (ko) 조명 장치
EP1380006B1 (en) Handwritten character recording and recognition device
KR102242154B1 (ko) 필기 및 메모기능을 가지는 디지털 펜 시스템
JP2006268854A (ja) ハンドヘルドオブジェクトの加速度からハンドヘルドオブジェクトの位置を求める方法及びシステム
US20170371438A1 (en) Method and system for transcribing marker locations, including erasures
US9170685B2 (en) Object location determination
KR20190135921A (ko) 필기 입력 장치
KR102185942B1 (ko) 이미지 센서를 이용하여 전자펜의 기울기를 획득하는 방법, 그 장치 및 전자펜
KR20160031940A (ko) 위치 또는 위치 변화를 이용한 사용자 입력 장치
JP7275885B2 (ja) 表示装置、方向特定方法、プログラム
US20240061530A1 (en) Spurious hand signal rejection during stylus use
KR20030072988A (ko) 전자펜 및 그 동작방법
KR20020085099A (ko) 펜형 컴퓨터 입력 장치
JP2023088242A (ja) 筆記測定システム及び筆記測定方法
JP2009157665A (ja) 手書き筆跡入力システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220607

R150 Certificate of patent or registration of utility model

Ref document number: 7086116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350