JP2017516252A - センサドリフト補償を行う電子ペン - Google Patents

センサドリフト補償を行う電子ペン Download PDF

Info

Publication number
JP2017516252A
JP2017516252A JP2017512440A JP2017512440A JP2017516252A JP 2017516252 A JP2017516252 A JP 2017516252A JP 2017512440 A JP2017512440 A JP 2017512440A JP 2017512440 A JP2017512440 A JP 2017512440A JP 2017516252 A JP2017516252 A JP 2017516252A
Authority
JP
Japan
Prior art keywords
writing
pen
electronic pen
average value
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017512440A
Other languages
English (en)
Other versions
JP6345343B2 (ja
Inventor
ケンプフ カール−ペーター
ケンプフ カール−ペーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stabilo International GmbH
Original Assignee
Stabilo International GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stabilo International GmbH filed Critical Stabilo International GmbH
Publication of JP2017516252A publication Critical patent/JP2017516252A/ja
Application granted granted Critical
Publication of JP6345343B2 publication Critical patent/JP6345343B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device

Abstract

本発明は、二次元の書込み基板上に書き込む間に慣性測定センサによって電子ペンの移動パターンおよびペン位置を検出および評価するための方法であって、書込み基板上の互いに直交する2つの軸X,Yと、二次元の書込み基板に対して垂直な軸Zとの初期指定を含み、X軸は主書込み方向を規定しており、出力される電子ペンのペン位置信号における望ましくないドリフトの補償を含み、この補償は、互いに直交する2つの前記軸X,Yの双方に沿って、測定センサのセンサデータの積分により書込み中の慣性測定センサによって求められた、書込み基板上のペン移動の所定の時間インターバルおよび所定周波数の間の移動平均プロセスを含み、かつ、現時点で求められた移動平均値を初期平均値および/または予め規定された移動平均値と比較し、出力されるペン位置信号の、現時点で求められた移動平均値と初期平均値との前記比較の間に現れる偏差および/または現時点で求められた移動平均値と予め求められた移動平均値との偏差を減算することを含む方法に関する。

Description

従来技術
本発明は、請求項1の前段に示された形式の電子ペンの移動パターンおよびペン位置を検出および評価する方法、請求項14の前段に示された形式の電子ペン、および請求項15の前段に記載のシステムに関する。
電子ペンの移動を加速度センサまたは回転速度センサなどの慣性測定システムによって検出するために、前記センサのデータは、電子ペンの速度信号(第1の積分)または位置信号(第2の積分)を取得するために1回および/または2回積分されなければならない。電子ペンの慣性測定センサによる加速プロセスおよび/または角速度の測定における僅かな誤差は、1回目の積分の間に、重大な速度判定誤差につながる虞があり、これは、ひいては、速度信号の積分の後に位置信号のさらにより深刻な誤差につながる虞がある。
これにより、誤差の考えられる発生源は、なかでも特に、数値積分法の固有の不正確の他に、例えば、測定センサ信号のアナログ/デジタル変換の不正確、例えば温度ドリフトによる零点誤差、偶然の干渉またはシステム固有のノイズ成分も含む可能性がある。
例えば、電子ペンの新たな位置は、以前に求められた位置に基づいて求められるので、電子ペンの速度判定および位置決めに関する誤差は、さらに累積し、電子ペンの運動信号のいわゆる望ましくないドリフトにつながる虞がある。
課題
したがって、本発明の課題は、特に電子ペンの移動を検出するときの精度のレベルに関して電子ペンを改良することから成る。
解決手段
これは、本発明によれば、請求項1の前段に示された形式の電子ペンの移動パターンおよびペン位置を検出および評価する方法、請求項14の前段に示された形式の電子ペン、および請求項15の前段に記載のシステムによって解決される。
好適な設計変更およびアップグレードは、従属請求項の内容である。
電子ペンの先端および/または書込みロッド先端の位置を検出するために、ペンには、慣性測定センサ技術を装備することができ、移動は、前記センサ技術の測定データの積分によって再構成することができる。
したがって、二次元の書込み基板上に書き込む間に慣性測定センサによって電子ペンの移動パターンおよびペン位置を検出および評価するための本発明による方法は、以下のステップを含むことができ、すなわち、
書込み基板上の互いに直交する2つの軸X,Yと、二次元の書込み基板に対して垂直な軸Zとの初期指定のステップであって、X軸は、aおよび/または主書込み方向を規定することができる、ステップと、
出力される電子ペンのペン位置信号における望ましくないドリフトの補償のステップと、を含み、この補償のステップは、
互いに直交する前記軸X,Yの双方に沿って、センサデータの積分に基づく書込み中の慣性測定センサによって求められた、ペン移動および/またはペン位置の所定の周波数を有する、所定の時間インターバルの間の移動平均プロセスと、
さらに、現時点で求められた移動平均値を初期平均値および/または予め規定された移動平均値と周期的に比較し、出力されるペン位置信号の、現時点で求められた移動平均値と初期平均値との前記比較の間に現れる偏差および/または現時点で求められた移動平均値と予め求められた移動平均値との偏差を減算する
ことを含む。
書込み基板平面に配置された軸X,Yと、書込み基板平面に対して垂直な軸Zとは、電子ペンのための基準座標系X,Y,Zを規定することもできる。
したがって、互いに直交する前記軸X,Yの双方に沿ったペン位置信号の現時点で求められた平均値は、ペン位置信号の予め求められた平均値および/または予め求めることができる、予想される初期平均値と、連続的に比較することができる。
この文脈において、ペン位置信号の概念は、電子ペンの位置信号、ならびに移動および/または加速信号の双方を含むことができることに注意されたい。
言い換えれば、ペン位置信号の予め特定されたまたは予め求められた平均値に基づいて仮定された移動、および/または仮定された書込み移動方向からの、最近特定された書込み移動の偏差、特に特定された書込み移動方向の偏差は、有利には、これにより、ドリフトとして解釈することができ、例えばグラフィカルディスプレイユニットにおける、ペン位置信号、すなわち、例えば位置信号の出力の前に、求められたペン位置信号、すなわち、例えば求められた位置値から減算することができる。
これにより、測定センサのセンサデータは、書込み基板上のペン移動を求める前に、好適には積分の前に、書込み基板平面の最初に求められた座標系X,Yに変換することができる。
また、ペン移動を求める精度を高めるために、測定センサのセンサデータの積分の前に、例えば、センサデータ、特に加速センサデータから、重力加速度を減算することができる。
したがって、例えば、磁界および回転速度センサならびにセンサ融合プロセスによって求められる、重力の方向への測定センサの配向を、好適には考慮することができる。
積分によってセンサデータから求められたペン移動にわたる移動平均プロセスの時間インターバルは、例えば、1秒、2秒または5秒よりも長いものとすることができる。
慣性測定センサおよびポテンシャルな他のセンサ(書込み力圧力センサ、磁界センサ、回転速度センサなど)は、例えば、電子ペンの使用中に少なくとも50msごとに測定データを記録することができ、これにより、サンプリング周波数が、書き込むユーザの手の書込み移動周波数または自然周波数(例えば、3Hz〜7Hz)よりも高くなることを保証し、手および/または電子ペンの全ての移動を十分な精度で記録することができる。
言い換えれば、サンプリング周波数は、ナイキスト−シャノンの定理によって求められる最小サンプリング周波数と等しいかまたはそれよりも高い可能性がある。
電子ペンの操作モードに応じて、使用される座標系の異なる初期化を、ペン位置を評価するために行うことができる。図面のために、書込み基板上の電子ペンの絶対位置(および/または書込み基板、例えば紙における基準点に対する相対位置)を知ることは有益であり得るが、文字認識は、例えば、電子ペン自体のダイナミックな移動プロセスのみに基づいて可能であり得る。
書込み基板上の互いに直交する2つの軸、例えば前記X軸および前記Y軸の初期指定は、書込み基板に対する電子ペンの長手方向軸線の仰角または傾斜角γに関しておよび/または電子ペンの長手方向軸線または電子ペンの長手方向軸線の投影の方位角εに関して指定することができる。
例えば、方位角εは、求められる座標系のX軸と、長手方向ペン軸線と書込み基板の垂直線とによって形成された平面が書込み基板平面と交差する線と、の間の角度として、典型的な書込み姿勢について規定することができる。
次いで、第2の座標軸は、所要の直交位置を介して、書込み基板上の予め求められた第1の座標軸に基づいて書込み基板上で求めることができ、この場合、左手座標系または右手座標系を選択的に求めることができる。
ペン位置データの記録プロセスの開始時、方位角εは、例えば経験的データから引き出すことができる固定値を有すると仮定することができる。
例えば、+30°±10°の角度は、例えば、方位角εの好適な初期値として設定することができる。
主書込み方向がX方向と規定され、シート平面におけるX方向に対して垂直な方向がY方向と規定されるならば、X方向の平均した一定の移動と、XおよびY方向の小さな一時的な振動を仮定することができる。
ここでは、書込みロッド先端の速度が例えば約1.0±0.5m/sであり、この速度は、3〜7Hzの典型的な書込み移動周波数で振動すると仮定することができる。X方向での平均したまたは予測された書込み速度は、これにより、1.0±0.5m/sであってもよく、Y方向での平均した書込み速度は、0m/sであってもよい。
前記書込みロッド速度を超える場合、測定センサにおけるドリフトが原因である可能性がある。
ドリフトの修正および/または補償は、特に、書込みロッド先端位置の可能性チェックによって達成することができる。例えば、書込みロッド先端が、X軸の下方(すなわち書込み方向の下方)に位置決めされている場合、次の移動は上方であると仮定することができ、位置信号を、例えば、この結果を強制するランプによって修正することができる。
同じことが、X位置の信号にも当てはまる:X位置の信号が、長すぎるための予測された値よりも先行するまたは遅れるならば、ランプによって修正することもできる。
書き手の視線は、概して、書込みの間、書込み基板上に方向付けられており、例えば、ディスプレイユニットには方向付けられないので、書き込まれたテキストを修正するために、通常は数秒が与えられている。
したがって、例えば、書き手によって認知されることなく、(例えば二次的に増大する)ランプ(ペン位置信号の積分結果の零点シフトと同義である)によって、最後に書き込まれた文字を歪めるおよび/または修正することが可能である。
さらなる経過において、方位角εは、書込み方向の軸(例えばX軸)に対する生物測定学的傾斜角βに関して、例えば3〜7Hzの書込み運動周波数で生じる、例えば書込み移動の主軸を規定することによって、さらに監視、合成および適応することができる。
前記生物測定学的傾斜角βは、例えば、書く手の人差し指の第2/中間関節の回転軸によって求めることができる。
人差し指の中間関節の回転軸は、書く手のバイオメカニクスによって予め決定することができ、X軸との回転軸の整合は、一人の個人の筆跡によって特徴付けることができる典型的なパラメータである。
書込み方向に関する書き込まれた文字の所望の傾斜を設定することができるために、生物測定学的傾斜角βは、特に、例えば電子ペンの信号処理ソフトウェアのデフォルト値において、ユーザによって調節することができる。
書込み方向における平均した一定の移動の速度は、平均した一定の書込み移動の基準速度に関する、再現された文字の伸長または圧縮のための手段として使用することができる。
電子ペンのセンサデータに基づいて求められた、書込み方向における平均した一定の移動の速度を改良するために、ユーザは、自分の筆跡にとって典型的な初期書込み速度値、例えば0.1〜2cm/s、好適には1±0.5cm/sを設定することができる。
電子ペンの位置信号を求めるためのセンサデータの積分、および書込み方向、すなわちX方向における電子ペンの移動の抽出の前に、ユーザの典型的な書込み移動周波数(3〜7Hz)よりも高いおよび低い周波数の付近における高域フィルタおよび低域フィルタによって、センサデータをクリアにすることができる。
言い換えれば、センサデータは、センサデータの積分の前に既にフィルタリングおよび/またはスムージングすることができ、測定センサのドリフト信号は既に、少なくとも部分的に修正および補償することができる。
このスムージングおよび/またはフィルタリングプロセスは、センサデータにおけるノイズを低減することができ、これにより、センサデータのよりよい積分、および積分後の、残存し得るドリフト信号を低減することを可能にする。
センサデータのフィルタリングは、移動平均法の証明されたプロセスを含むことができる。その他に、高速フーリエ変換のような従来のフィルタリング法を使用することの他に、好適な数値的な具現化は、例えば、ウェーブレットフィルタによって確保することができ、この場合、良好な結果は既に、ハールウェーブレットなどの単純な基本パターンまたは基本ウェーブレットによって達成することができる。
ウェーブレットフィルタリングプロセスの間、センサデータ値の列が基本パターンと組み合わされ、この場合、基本パターンを適用するために、スケールを複数のステップで増大させることができる。
結果として得られるのは、基本パターンとの組合せの逆変換によるセンサデータ値の所望の時間−周波数表示を、所望のフィルタリングに依存して表示することができる、係数と平均値との列である。
したがって、高すぎる周波数、すなわち書込み移動周波数よりも高い周波数成分の係数を有する成分の係数と、低すぎる周波数、すなわち書込み移動周波数よりも低い周波数成分の平均値を有する成分の平均値とは、前記逆変換の前にゼロに設定することができる。
ウェーブレット変換が方向ごとに適用されるならば、結果は、例えば:
n=2m個の測定点、2m-1は1次の係数等々であり、これがm次の係数だけになるまで続き、または一般項で表すと、i次の2m-i個の係数と、m次の1つの係数とからなる。
nを選択する場合、2の巾を選択すると有利である。データレートに依存して、フィルタリングプロセスが行われることができる時間インターバルは、nを選択することによって制御することができる。
6Hz〜100Hzの典型的なセンサデータレートの場合、nの典型的な値は、64〜256であることができ、ひいては、例えば、60Hzのデータレートにおいてn=64または128または100Hzのデータレートにおいてn=128または256である。
前記ハールウェーブレットを使用する場合、例えば、以下の係数および平均値が存在し、この場合、Si=センサデータ点および/または測定値、Kk,i=k次の係数、Mk,i=k次の平均値、k=係数の次数および/またはレベル、i=次数の係数のカウンターおよび/またはセンサデータ点インデックスであり、また、kおよびiは0よりも大きい自然数である。
Figure 2017516252
その結果、一次係数は、直接センサデータ点および/または測定値に基づいて形成され、より高次の係数は平均値に基づいて形成される。
センサデータの再構成のために、例えば、そのハールウェーブレット周波数が書込み移動周波数の2倍よりも高い係数、およびそのハールウェーブレット周波数が書込み移動周波数の半分未満である平均値のみが、考慮される。
i=再構成されたセンサデータ、log2(n)=2を底とするnの対数とすると、再構成されたセンサデータは以下のように表すことができる。
Figure 2017516252
残りの平均値と、規定された限界周波数に依存して、書込み移動周波数よりも低い周波数成分に対して、例えば、書込み移動周波数の半分未満の限界周波数に対し、より高次の係数ともゼロに設定することができるという条件により、出力される電子ペンの移動信号の望ましくないドリフトは、例えば、積分誤差により、好適には、補償および/または修正することができる。
加えて、例えば、書込み移動周波数の2倍以上になる周波数成分のために、より低次の係数のゼロへのリセットは、特に、センサデータ信号のノズルの低減を伴う可能性がある。
説明の完全性を期するために、書込み移動が紙のシートなどの二次元の書込み基板領域において生じるとすると、シート平面に対する垂直な方向のドリフトを即座に検出し、容易に補償することができることが言及される。
加えて、シート平面に対して垂直方向の検出されたドリフトからの情報を、電子ペンの局所的位置の判定に関する誤差を修正するために使用することができる。
書込み方向に関して出力されるペン位置信号における望ましくないドリフトの判定および補償のための別のサンプリングされた値は、例えば、書込みロッドに接続された書込み圧力センサからの書込み圧力信号を使用することによって可能である。
短い(例えば0.3秒よりも短い)圧力パルスは、通常、点(完全な停止または文字iの点)の結果であり、ここで、ペンの先端はその瞬間静止し、すなわち、ペンの先端は、書込み基板平面において移動していない。
書込み基板平面に関する電子ペンの書込みロッド先端のこの静止点において、すなわち、前記句読点の結果として、XおよびY方向のドリフトを、積分された速度信号から局所的に読み取ることができ、出力されるペン位置信号をこれにより修正することができる。
さらに、求められたペン位置信号の文字傾斜/筆跡傾斜修正を行うことができ、すなわち、求められた文字傾斜の誤差および/または文字傾斜信号の望ましくないドリフトを、求められた文字傾斜を仮定された文字傾斜と比較することによって修正および補償することもできる。前記比較の結果生じた起こり得る偏差は、求められたペン位置信号、すなわち求められた位置値の適切な変換により、ペン位置信号、すなわち位置信号の送信の前に修正することができる。
仮定されたまたは望まれる文字傾斜は、これにより、例えば、ユーザによって、例えば、電子ペンのデジタル制御ユニットのための設定としてまたはデータ評価ユニットのためのパラメータとして、プリセットすることができる。仮定されたまたは望まれる文字傾斜は、これにより、ユーザの筆跡の特徴的な筆跡傾斜であると認識することができる。
前記仮定されたまたは望まれる文字傾斜は、これにより、書き込む手の固有の書込み周波数(3Hz〜7Hz)の電子ペンの書込み移動の方向の周波数分布の好適な方向に基づく分析の結果であることができ、例えば、文字軸線と、書込み方向軸、例えばX軸との間の角度のような好適な書込み方向の角度ηによって特徴付けることができる。
この確認された好適な方向と、筆跡の所望の傾斜との間の角度は、次いで、筆跡の傾斜を補償するための基礎として使用することができる。このために、例えば、書込み方向に沿った書き込まれた線の筆跡を含み、かつ次いで望まれる筆跡傾斜補償角度でせん断することができる矩形を、まず特定することができる。
加えて、スペースにおける電子ペンの傾斜、すなわち上記で紹介した傾斜角γは、低域フィルタリングされた加速センサによって測定することができ、γの短期変化は、磁界センサおよび回転速度センサによって追跡することができる。
例えば、このようにして取得された傾斜角γが正しいとすると、直交する書込み基板座標軸X,Yによって表示される、書込み基板座標x,yへの、例えば慣性測定センサによって測定された加速の座標変換後に、書込み基板座標軸X,Yの座標における電子ペンの加速に加えて、Z方向における加速の所定の予想された値として、重力加速度の値が取得される。
例えば、Z加速のこのように確認された値が、重力加速度の値から偏差するならば、例えば書込み圧力センサによって容易に検出することができるように、例えばペンの先端がシートまたは書込み基板と接触しているにもかかわらず、全ての可能性において、確認された傾斜角γの誤差が生じる。このような誤差は、例えば、電子ペンの測定センサにおける望ましくないセンサドリフトによって生じることがあるが、ペンおよび書込み基板をそれぞれ包囲する磁界の偏差によって生じることもある。
例えば、前記加速センサデータ、Z方向における加速、すなわち書込み基板座標系におけるZ信号の積分の前に、測定された加速センサデータから重力加速度が減算されると、または、例えば書込み圧力センサが、書込み基板との接触が生じていることを信号化するならば、理想的にはゼロに等しくなる。
これが当てはまらない場合、これは、書込み基板が水平に位置決めされていないことによるものである場合があり、XおよびY信号と相関させられた小さな値が残ってもよく、その値から、書込み基板の傾斜(または重力加速度の計算における誤差)を確認することができる。
予想されるZ値からの偏差、すなわちZにおける加速値は、したがって、ペンの位置の計算に関する誤差の表示である可能性があり、例えば、ペンが書込み基板と接触したときにZ値および/またはZにおける加速値をゼロに設定することによって修正することができる。
加えて、Zにおける求められた加速の修正は、以下のように達成することができる。
例えば、ペンの傾斜角γおよび方位角εの複数の値の座標変換を並行して行うことにより、求められたZ加速の誤差、すなわち予想される加速のZ値、例えばゼロに等しいまたは重力加速度と等しいと予想される加速のZ値からの偏差が、最小になるときの傾斜角および方位角γ,εの一次結合を、後続の計算ステップにおいて求めることができる。
方位角εおよび傾斜角γの値の一次結合とは、これにより、方位角εの値と、傾斜角γの値とをそれぞれが含む、一対の値であると理解することができる。
このように修正された傾斜情報および/または傾斜角γは、好適には、加速信号のX軸およびY軸における誤差を減じることもできる。
この修正により、書込み基板座標の上方の磁気偏差をマッピングし、かつこれらの偏差により絶対照合を可能にすることがさらに可能である。
この絶対照合は、(例えば、その近くに配置された永久磁石によって)例えば局所的磁界を意図的に歪めることによって実現することができる。このために、永久磁石は、例えばペンのキャップに収容されてもよく、書込みの間、十分に規定された位置において書込み基板の近く、例えば書込み基板の縁部、例えばA4判の書込み基板の縁部に配置されてもよい。永久磁石と、ここでは好適には観察されてもよい電子ペンとの間の最小距離は、磁界センサにおける過剰な負荷を防止するために、例えば1、2または3cmよりも大きい距離である。
磁界の強度または前記強度の変化は、次いで、磁石までの距離における結論を引き出すことを可能にし、磁界の方向は、電子ペンの位置における結論を引き出すことを可能にし、磁界の方向は、したがって、有利には極座標で表すことができる。
言い換えれば、自然磁界または人工磁界の強度または変化の測定と組み合わされた傾斜角γの決定判定により、書込み基板上での電子ペンの位置信号、すなわち位置の絶対的照合が可能となる。
したがって、本発明による書込み位置検出システムを備える電子ペンは、書込みロッドと、少なくとも1つの電圧源と、少なくとも1つのデジタル制御ユニットと、少なくとも1つのデータ伝送モジュールと、慣性測定センサとを有することができ、デジタル制御ユニットを、書込み基板上の互いに直交する2つの軸X,Yと、二次元の書込み基板に対して垂直な軸Zとの初期指定のために構成することができ、X軸は初期書込み方向を規定しており、さらに、出力される電子ペンの書込み位置信号における望ましくないドリフトの補償のために構成することができることを特徴とする。
これに関して、デジタル制御ユニットは、所定の時間インターバルの間、互いに直交する前記軸X,Yの双方に沿った、書込み基板上の、測定センサのセンサデータの積分によって書込みの間に慣性測定センサによって決定されたペン移動の所定の周波数を用いる、移動平均プロセスと、初期平均値および/または予め求められた移動平均値との、現時点で求められた移動平均値の周期的比較のために構成することもでき、また、現時点で求められた移動平均値と初期平均値との前記比較の間に生じる偏差および/または出力されるペン位置信号の、現時点で求められた移動平均値と、予め求められた移動平均値との偏差の減算のために構成することもできる。
本発明によるペン位置の電子検出のためのシステムは、特に、ペン位置を求め、ドリフト修正を監視および反復し、必要であれば、補足しおよび/または修正しならびに結局はデータ出力ユニットにおける電子ペンの処理されたデータの出力を可能にしおよび/またはデータメモリユニットにこのデータを記憶するために、電子ペンによって行われた計算および修正を監視するために使用することができる。
本発明によるペン位置の電子検出のためのシステムは、上述の方法を実行するように構成することができ、かつ電子ペンのデータ伝送モジュールによって発信されたデータを受け取るための少なくとも1つのデータ受信モジュールと、受信したデータを評価および処理するためのデータ評価ユニットと、データ出力ユニットと、データメモリユニットとを有し、データ評価ユニットが、受信したデータの積分および誤差修正を実行しかつ処理されたデータをデータ出力ユニットに出力するおよび/またはこのデータをデータメモリユニットに記憶することができることを特徴とすることができる、上述の電子ペンを有することもできる。
以下の図面は典型的な形式で表示している。
電子ペンの典型的な書込み基板座標系の概略的な三次元の図である。 電子ペンの典型的な書込み基板座標系の概略的な平面図である。 生物測定学的な傾斜角βを指定する概略的な例である。
図1aは、二次元の書込み基板108に文字110を書き込むことができる電子ペン100の典型的な書込み基板座標系111の三次元の図を例として示している。
書込み基板平面において延びた、上述のように指定することができる軸X(101),Y(102)は互いに直交しており、軸Z(103)は書込み基板108に対して垂直である。
電子ペン100の仰角または傾斜角γ(104)は、例えば、電子ペン100の長手方向軸線107と、書込み基板108、すなわち二次元の書込み基板平面との間の角度として規定されてもよい。
電子ペン100の方位角ε(105)は、電子ペン100の長手方向軸線107と、X軸101との間の角度、または、書込み基板108への電子ペン100の長手方向軸線107の投影106と、X軸101との間の角度として規定することができる。
既に言及したように、書込み基板108において互いに直交した軸X(101),Y(102)は、最初に、書込み基板108に関して電子ペン100の長手方向軸線107の仰角または傾斜角γ(104)に関して指定されてもよい。
例えば、典型的な書込み姿勢の場合、方位角ε(105)は、使用される/指定される座標系111のX軸101と、書込み基板108へのペンの長手方向軸線107の投影106、すなわち、ペンの長手方向軸線107と書込み基板垂線とによって規定された平面が書込み基板平面と交差する交差線と、の間の角度として規定することができる。
例えば方位角ε(105)の指定に従って指定された書込み基板108上の第1の座標軸、例えばX軸101に基づいて、次いで、要求された直交性を介して書込み基板108上に第2の座標軸、例えばY軸102を指定することが可能であり、座標系はここでは左手座標系または右手座標系として選択的に指定可能である。書込み基板108に対して垂直な第3の軸、すなわちZ軸103もまた、前記軸X(101),Y(102)に関する要求された直交性によって、指定された軸X(101),Y(102)から引き出すことができる。
図1aに示された座標系X,Y,Z(111)は、例えば右手座標系である。
90°とは異なるペン長手方向軸線107の傾斜角γ(104)のために、第1の座標軸、例えばY軸102を規定するための、書込み基板108へのペン長手方向軸線107の投影106を使用することも考えられる。
電子ペン100の書込み方向は、例えばX軸101によって規定されてもよい。
加えて、図1aは、書込み基板108に電子ペン100の書込みロッド先端109によって書かれた文字110、例えば“T”を例として示している。
図1bは、図1aの書込み基板座標系と類似または同一の、電子ペン200の書込み基板座標系207の概略的な平面図を例として示している。
電子ペン200の方位角ε(203)は、ここでは、例えば電子ペン200の長手方向軸線204とX軸201との間の角度として規定されている。言い換えれば、例えば、X軸201を指定するのは方位角ε(203)の選択であり、上述のように、書込み基板205上に指定された第1の座標軸は、次いで、それに基づいて、直交性要求によって、書込み基板205上の第2の座標軸、例えばY軸202と、書込み基板205に対して垂直な第3の座標軸、例えばZ軸(図示せず)とを指定するために使用することができる。
加えて、図1aと同様に、図1bもまた、書込み基板108上に電子ペン100によって書かれた文字110、すなわち典型的な“T”を例として示しており、この文字は、第1の文字軸線または主軸線209、例えば長手方向の線と、第2の文字軸線または副軸線206、例えば水平方向の線とを有してもよい。
ここでは、例えば、書込みの好適な方向の方向角度η(208)は、文字軸線209と、書込みの方向の軸線、例えばX軸201との間の角度として規定されてもよい。
図2は、電子ペン300のユーザの書く手302の三次元の図を例として示している。
書込みロッド先端310を備える電子ペン300は、ここでは例示的にユーザの人差し指312と親指313との間に配置されている。
加えて、図は、第1の関節(中手指節関節)307、第2の関節(近位指節間関節)308および第3の関節(遠位指節間関節)309を含む、人差し指312の第1の関節骨303、第2の関節骨304、第3の関節骨305および第4の関節骨306を例示的に示している。
上記で規定したタイプの方位角εの値は、例えば、書く手の人差し指302の第1の関節骨303と、書く手の人差し指302の第2の関節骨304との間に規定された生物測定学的傾斜角β(311)によって指定することができ、付加的に、書いている間にユーザの書く手302の人差し指312の近位指節間関節308の回転軸(図示せず)の空間的向きによって特徴付けられる。
人差し指の近位指節間関節の回転軸は、書き込む手の生体力学によって与えられ、X軸(図示せず)に対するその向きは、典型的なパラメータであり、それによって個々の筆跡を特徴付けることができる。
生物測定学的傾斜角β(311)は、例えばユーザによって、例えば、電子ペン300の信号処理ソフトウェアのデフォルト設定において設定することができる。
説明の完全性を期するために、図面に例示的に記載された特徴、定義および/または大きさは本発明に従って組み合わせることができることに言及すべきである。
以下、3つの図を含む3枚の紙面が続く。参照符号は以下の構成要素を特定している。
100 電子ペン
101 第1の座標軸、例えばX軸
102 第2の座標軸、例えばY軸
103 第3の座標軸、例えばZ軸
104 書込み基板に関する電子ペンの長手方向軸線の仰角または傾斜角γ
105 方位角ε
106 書込み基板108への電子ペン100の長手方向軸線107の投影、または、ペンの長手方向軸線107と書込み基板垂線とによって規定された平面が書込み基板平面と交差する交差線
107 電子ペンの長手方向軸線
108 書込み基板/書込み基板平面
109 書込みロッド先端
110 電子ペンによって書かれた文字
111 座標系X,Y,Z、基準座標系
200 電子ペン
201 第1の座標軸、例えばX軸
202 第2の座標軸、例えばY軸
203 方位角ε
204 電子ペンの長手方向軸線
205 書込み基板/書込み基板平面
206 第2の文字軸線または副軸線
207 座標系X,Y,Z、基準座標系
208 書込みの好適な方向の方向角η
209 第1の文字軸線または主軸線
300 電子ペン
301 電子ペンの長手方向軸線
302 電子ペン300のユーザの書く手
303 書く手の人差し指の第1の関節骨
304 書く手の人差し指の第2の関節骨
305 書く手の人差し指の第3の関節骨
306 書く手の人差し指の第4の関節骨
307 書く手の人差し指の第1の関節(中手指節関節)
308 書く手の人差し指の第2の関節(近位指節間関節)
309 書く手の人差し指の第3の関節(遠位指節間関節)
310 書込みロッド先端
311 生物測定学的傾斜角β
312 ユーザの書く手の人差し指
313 ユーザの書く手の親指

Claims (15)

  1. 二次元の書込み基板(108,205)上に書き込む間に慣性測定センサによって電子ペン(100,200,300)の移動パターンおよびペン位置を検出および評価する方法において、
    前記書込み基板上の互いに直交する2つの軸X,Y(101,102,201,202)と、前記二次元の書込み基板(108,205)に対して垂直な軸Z(103)とを最初に指定することを含み、X軸(101,201)は主書込み方向を規定し、
    出力されるペン位置信号における望ましくないドリフトの補償を含み、該補償は、
    互いに直交する前記軸X,Y(101,102,201,202)の双方に沿って、測定センサのセンサデータの積分によって、書込み中に慣性測定センサによって求められた書込み基板(108,205)上でのペン移動の所定の時間インターバルおよび所定の周波数にわたる移動平均算出プロセスと、
    現時点で求められた移動平均値を初期平均値および/または予め求められた移動平均値と周期的に比較することと、
    現時点で求められた移動平均値と初期平均値との前記比較の間に現れる偏差および/または現時点で求められた移動平均値と予め求められた移動平均値との偏差を、出力されるペン位置信号から減算することと、
    を含む、ことを特徴とする、方法。
  2. 前記移動平均の前記時間インターバルは、1秒、2秒または5秒よりも長い、請求項1記載の方法。
  3. 前記書込み基板(108,205)上の互いに直交する2つの軸X,Y(101,102,201,202)の初期指定は、前記書込み基板(108,205)に対する前記電子ペン(100,200,300)の長手方向軸線の仰角または傾斜角γ(104)に関して、および/または、前記電子ペン(100,200,300)の長手方向軸線(107,204,301)または前記電子ペンの前記長手方向軸線の投影(106)の方位角ε(105,203)に関して、行われる、請求項1または2記載の方法。
  4. 前記方位角ε(105,203)を、求められる座標系(111,207)のX軸と、長手方向ペン軸線と書込み基板垂線とによって形成された平面の、書込み基板平面との交差線(106)と、の間の角度として規定する、請求項3記載の方法。
  5. +30°±10°の値を、前記方位角ε(105,203)の初期値として指定する、請求項3または4記載の方法。
  6. 前記方位角ε(105,203)を、書込み方向軸に関して生物測定学的傾斜角β(311)に関して適応させ、書き込む手の人差し指の第2関節(308)の回転軸によって求める、請求項3から5までのいずれか1項記載の方法。
  7. ユーザは、初期書込み速度値を、自身の筆跡にとって典型的である、例えば0.1〜2cm/s、好適には1±0.5cm/sに設定する、請求項1から6までのいずれか1項記載の方法。
  8. 電子ペン(100,200,300)の位置信号を求めるためのセンサデータの積分および書込み方向での電子ペンの移動の抽出の前に、ユーザの書込み移動周波数よりも高いおよび低い周波数の付近の高域フィルタおよび低域フィルタによって、センサデータを消去する、請求項1から7までのいずれか1項記載の方法。
  9. フィルタリング処理をウェーブレットフィルタによって保証し、ハールウェーブレットを基本ウェーブレットとして適用する、請求項8記載の方法。
  10. 例えば句読点の後の、書込み基板平面に対する電子ペンの書込みロッド先端の静止点において、XおよびY方向のドリフトを、積分された速度信号から局所的に読み取り、出力されるペン位置信号を修正する、請求項1から9までのいずれか1項記載の方法。
  11. 求められた文字傾斜における誤差を、求められた文字傾斜と仮定された文字傾斜とを比較することによって修正および補償する、請求項1から10までのいずれか1項記載の方法。
  12. 書込み基板座標x,yに対する方位角ε(105,203)および傾斜角γ(104)の座標変換を、方位角ε(105,203)および傾斜角γ(104)のための複数の値について並行して行い、Z方向での求められた加速の誤差が最小に減じられるときの方位角ε(105,203)および傾斜角γ(104)の一次結合を求める、請求項1から11までのいずれか1項記載の方法。
  13. 前記書込み基板(108,205)上の前記電子ペン(100,200,300)の位置、すなわち位置信号、の絶対照合を、自然磁界または局所的人工磁界の強度および/または変化の測定と共に、傾斜角γ(104)の判定により行う、請求項1から12までのいずれか1項記載の方法。
  14. ペン位置検出システムを備える電子ペン(100,200,300)であって、書込みロッドと、少なくとも1つの電圧源と、少なくとも1つのデジタル制御ユニットと、少なくとも1つのデータ伝送モジュールと、慣性測定センサとを含む、電子ペン(100,200,300)において、
    前記デジタル制御ユニットは、書込み基板(108,205)上の互いに直交する2つの軸X,Y(101,102,201,202)と、二次元の書込み基板に対して垂直な軸Zとの初期指定のために構成されており、X軸(101,201)は、初期書込み方向を規定しており、付加的に、
    出力される電子ペン(100,200,300)の書込み位置信号における望ましくないドリフトの補償のために構成されており、
    互いに直交する2つの軸X,Y(101,102,201,202)に沿った、測定センサのセンサデータの積分による、書込み中に慣性測定センサによって求められた書込み基板(108,205)上のペン移動の所定の時間インターバルおよび所定の周波数にわたる移動平均算出プロセスのための、および
    現時点で求められた移動平均値と、初期平均値および/または予め求められた移動平均値との周期的比較のための、
    デジタル制御ユニットの構成を有し、さらに、
    現時点で求められた移動平均値と初期平均値との前記比較の間に生じる偏差、および/または、現時点で求められた移動平均値と予め求められた移動平均値との偏差を、出力されるペン位置信号から減算するように、構成されている、
    ことを特徴とする、ペン位置検出システムを備える電子ペン(100,200,300)。
  15. ペン位置を電子的に検出するシステムであって、請求項1から13までのいずれか1項記載の方法を実行するように構成された、請求項14記載の電子ペン(100,200,300)と、該電子ペン(100,200,300)のデータ伝送モジュール(111)によって送信されたデータを受け取る少なくとも1つのデータ受信モジュールと、受信したデータを評価および処理するデータ評価ユニットと、データ出力ユニットと、データメモリシステムとを含む、ペン位置を電子的に認識するシステムにおいて、
    前記データ評価ユニットは、前記受信したデータの積分および誤差修正を実行し、処理されたデータを前記データ出力ユニットへ出力し、および/または、前記処理されたデータを前記データメモリシステムに記憶することができることを特徴とする、ペン位置を電子的に検出するシステム。
JP2017512440A 2014-05-15 2015-05-15 電子ペン、当該電子ペンの移動パターンおよびペン位置を検出および評価する方法ならびにペン位置検出システム Active JP6345343B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014106839.4A DE102014106839B4 (de) 2014-05-15 2014-05-15 Driftkompensation für einen elektronischen Schreibstift
DE102014106839.4 2014-05-15
PCT/EP2015/060785 WO2015173408A1 (en) 2014-05-15 2015-05-15 Electronic pen implementing sensor drift compensation

Publications (2)

Publication Number Publication Date
JP2017516252A true JP2017516252A (ja) 2017-06-15
JP6345343B2 JP6345343B2 (ja) 2018-06-20

Family

ID=53373400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017512440A Active JP6345343B2 (ja) 2014-05-15 2015-05-15 電子ペン、当該電子ペンの移動パターンおよびペン位置を検出および評価する方法ならびにペン位置検出システム

Country Status (10)

Country Link
US (1) US10146338B2 (ja)
EP (1) EP3143480B1 (ja)
JP (1) JP6345343B2 (ja)
KR (1) KR101941762B1 (ja)
CN (1) CN106462268B (ja)
DE (1) DE102014106839B4 (ja)
DK (1) DK3143480T3 (ja)
ES (1) ES2749099T3 (ja)
PT (1) PT3143480T (ja)
WO (1) WO2015173408A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020533686A (ja) * 2017-09-07 2020-11-19 シュタビロ インターナツィオナール ゲーエムベーハーSTABILO International GmbH 慣性センサによる筆記方向の特定

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD861688S1 (en) * 2017-08-25 2019-10-01 Samsung Electronics Co., Ltd. E-board pen
DE102017215756B3 (de) 2017-09-07 2018-12-27 Stabilo International Gmbh Bestimmung der Schreibrichtung mittels Inertialsensorik
US10649551B1 (en) * 2018-12-27 2020-05-12 Pixart Imaging Inc. Pen mouse with an inclining compensation function
CN113405467B (zh) * 2021-06-21 2022-08-02 西南交通大学 一种消除加速度计绝对测量漂移的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110738A (ja) * 1993-10-13 1995-04-25 Oki Electric Ind Co Ltd 手書き入力ペン装置
JPH08114455A (ja) * 1994-08-23 1996-05-07 Clarion Co Ltd ジャイロのドリフト補正方法及び補正回路
JPH1031553A (ja) * 1996-07-15 1998-02-03 Ricoh Co Ltd ペン型入力装置
JPH10185679A (ja) * 1996-12-25 1998-07-14 Nikon Corp 振動検出装置
JP2004227563A (ja) * 2003-01-21 2004-08-12 Microsoft Corp 慣性センサの積分
JP2012205816A (ja) * 2011-03-30 2012-10-25 Omron Healthcare Co Ltd 歩行姿勢判定装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190271A (ja) 1996-01-08 1997-07-22 Ricoh Co Ltd ペン型入力装置
US5902968A (en) * 1996-02-20 1999-05-11 Ricoh Company, Ltd. Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
US6456749B1 (en) 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
KR100408518B1 (ko) 2001-04-12 2003-12-06 삼성전자주식회사 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법
KR100480793B1 (ko) 2003-06-16 2005-04-07 삼성전자주식회사 가속도 오차 보정 방법 및 장치, 및 이를 이용한 관성항법 시스템
US7508384B2 (en) 2005-06-08 2009-03-24 Daka Research Inc. Writing system
KR101623213B1 (ko) 2009-12-24 2016-05-31 삼성전자주식회사 펜 입력 장치 및 방법
JP5146845B2 (ja) 2009-12-24 2013-02-20 ブラザー工業株式会社 ヘッドマウントディスプレイ
CN101872259B (zh) 2010-06-03 2012-01-25 中国人民解放军第二炮兵工程学院 自动录入书写内容的自然交互笔及笔迹检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110738A (ja) * 1993-10-13 1995-04-25 Oki Electric Ind Co Ltd 手書き入力ペン装置
JPH08114455A (ja) * 1994-08-23 1996-05-07 Clarion Co Ltd ジャイロのドリフト補正方法及び補正回路
JPH1031553A (ja) * 1996-07-15 1998-02-03 Ricoh Co Ltd ペン型入力装置
JPH10185679A (ja) * 1996-12-25 1998-07-14 Nikon Corp 振動検出装置
JP2004227563A (ja) * 2003-01-21 2004-08-12 Microsoft Corp 慣性センサの積分
JP2012205816A (ja) * 2011-03-30 2012-10-25 Omron Healthcare Co Ltd 歩行姿勢判定装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020533686A (ja) * 2017-09-07 2020-11-19 シュタビロ インターナツィオナール ゲーエムベーハーSTABILO International GmbH 慣性センサによる筆記方向の特定
JP7053804B2 (ja) 2017-09-07 2022-04-12 シュタビロ インターナツィオナール ゲーエムベーハー 慣性センサによる筆記方向の特定
US11379053B2 (en) 2017-09-07 2022-07-05 Stabilo International Gmbh Determination of writing direction by means of inertial sensors

Also Published As

Publication number Publication date
PT3143480T (pt) 2019-11-25
ES2749099T3 (es) 2020-03-19
CN106462268A (zh) 2017-02-22
DK3143480T3 (da) 2019-11-04
CN106462268B (zh) 2019-10-18
US10146338B2 (en) 2018-12-04
KR20160146926A (ko) 2016-12-21
WO2015173408A1 (en) 2015-11-19
US20170115756A1 (en) 2017-04-27
EP3143480A1 (en) 2017-03-22
KR101941762B1 (ko) 2019-01-23
DE102014106839B4 (de) 2019-02-07
JP6345343B2 (ja) 2018-06-20
EP3143480B1 (en) 2019-08-21
DE102014106839A1 (de) 2015-11-19

Similar Documents

Publication Publication Date Title
JP6345343B2 (ja) 電子ペン、当該電子ペンの移動パターンおよびペン位置を検出および評価する方法ならびにペン位置検出システム
JP6434133B2 (ja) 電子ペンのペン位置を認識および評価する方法、ならびに、電子ペンおよびペン位置を電子的に認識するシステム
KR100643304B1 (ko) 관성 센서 보정 장치 및 방법, 그리고, 상기 방법을 기록한기록 매체
US8786549B2 (en) Gyro mouse de-drift and hand jitter reduction
KR100703698B1 (ko) 공간 필기 인식 장치 및 방법, 그리고 상기 방법을 기록한기록 매체
US10007359B2 (en) Navigation trace calibrating method and related optical navigation device
JP5857991B2 (ja) 情報表示装置、方法及びプログラム
JPH09319510A (ja) ペン型入力装置
JP2009223839A (ja) ペン型入力装置及び手書き入力方法
JP4325332B2 (ja) ペン型データ入力装置及び該プログラム
JP6821174B2 (ja) 手書き文字認識装置、検出装置および処理装置
US20160170502A1 (en) Device for adjusting and self-testing inertial sensors, and method
US20170199587A1 (en) Method for correcting motion sensor-related errors while interacting with mobile or wearable devices
JP2005177962A (ja) ロボットシステム
JP2019002749A (ja) 位置検出装置および位置検出方法
CN111027431A (zh) 一种基于惯性传感器的上肢姿态模糊定位方法及系统

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171113

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180522

R150 Certificate of patent or registration of utility model

Ref document number: 6345343

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250