JP2005092437A - ペン型データ入力装置及び該プログラム - Google Patents

Abstract

【課題】 加速度センサとカメラを設けた電子ペンであって、紙面上から電子ペンが離れた場合には加速度センサより、および紙面に筆記している場合はカメラで撮影した複数の画像より、紙面上のペンの移動情報を計算する電子ペン、及びそのプログラムを提供する。
【解決手段】 ３軸加速度センサと、３軸加速度センサより検出した加速度に基づいて電子ペンの移動した軌跡を示す軌跡情報を取得する機能と、また、筆記者の描いた内容を紙面上に印字するためのインクジェットと、印字内容を撮像するカメラと、カメラで撮影した複数の画像に基づいて印字された軌跡を示す軌跡情報を取得する機能とを備える電子ペンにより、課題の解決を図る。
【選択図】 図１

Description

本発明は、筆記者により筆記された文字又は図形をコンピュータに取り込むための装置及びプログラムに関する。

現在、個人携帯用端末機またはコンピュータ応用機器にペンの筆記内容を入力するためにＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）タブレットやデジタイザタブレットのような２次元センサ配列を含む入力装置が広く使われている。このような入力装置は、比較的大面積の２次元センサ配列を必要とするために、別の感知平面が必要である。したがって、携帯し難くて所定の空間を占め、またコスト面でも短所がある。

よって、従来においてこのような問題を解消するために、物理的タブレットなしに一般の平面上で単一電子ペンだけを利用した。このとき、この単一電子ペンが文書入力が可能であれば、従来のペン入力装置に比べて広い入力空間を提供されるために自然な筆記入力が可能なので非常に効果的である。

このような自己運動感知方式の電子ペンを利用した文書または絵の入力のためには、ある基準座標系に対する電子ペンチップの位置座標を連続的に求められなければならない。
しかし、大部分の筆記動作はペンを筆記面と接触させたダウン状態で行い、移動する場合にはペンを筆記面と接触しないアップ状態となる。ペンの連続的な座標値を求めるためには、接触または非接触状態でもその位置値を精密に測定できる手段を必要とする。

従来の電子ペン状の入力装置のタイプには、外部座標測定法、内部座標測定法、及び紙面座標印刷法の大きく３種類ある。
外部座標測定法とは、ペン外部でペンチップの座標を測定する方式のことであり、例えば、３角測量方式（特許文献１）、電磁波（特許文献２）、または超音波（特許文献３）の飛行時間差を利用する方式などがある。

しかし、前記方式はペンから発信信号を送って外部から受信する形になっているために、携帯用端末機のような装置では、端末機の本体に受信部を装着しなければならないので携帯が不便な短所がある。
内部座標測定法とは、ペン内部でペンチップの座標を測定する内蔵方式で、ペン内部でペンチップの運動を感知する方式であって、初期にはペン内部に装着された２軸または３軸加速度センサを利用して二重積分を通じて電子ペンの位置運動を求める方式（特許文献４、特許文献５、特許文献６）が提案された。

しかし、加速度センサをペンチップに装着し難い問題点があり、一定の高さに装着する場合にはペン中心軸の傾斜角に対する影響を考慮しないため大きな位置誤差を招く恐れがある。また、加速度信号を二重積分することによって累積誤差が増加するので、正確な運動を測定し難い短所がある。

このようなペンの傾斜角に対する影響を補正するためにＡ.ＴＣｒｏｓｓ社（特許文献７）で２軸以上の加速度センサ素子をペンチップに移動させ、信号処理部はペンの上部に移動させる方法を提案しているが、センサ素子及び信号処理部が分離されていて電気的な雑音の影響が大きくて、ペン先端にインクを装着できない問題点がある。

一方、Ｓｅｉｋｏ社（特許文献８）では傾斜角補正のために２軸加速度と２ジャイロを利用して加速度は二重積分でその位置を求め、ペンの角速度を単積分してペンの傾斜角を測定する方式を提案している。また、Ｒｉｃｈｏ社（特許文献９、特許文献１０）ではペン内部に３軸加速度センサと３軸ジャイロセンサを内蔵して一般的な３次元筆記運動をするペンチップの位置を求める方法を提示している。

しかし、入力する平面が常に重力方向に垂直でなければならないために使用上の制約があり、前記慣性センサ（加速度センサ、ジャイロ）を利用する方式において加速度は二重積分、角速度は単積分を通じてペンの位置及び角度を求めるが、センサ信号の雑音やドリフトにより加速度系の場合は時間の自乗累乗、ジャイロの場合には時間に比例する形に累積誤差が増加して精密なペンチップの運動を推定し難い問題点がある。

前記累積誤差を減らすために、最近インターセンス社では３軸加速度センサ及び３軸ジャイロを使用したペン装置に超音波センサを追加して、慣性センサ（加速度、角速度）から発生する位置累積誤差を減らす技術を提示している。しかし、このような外部センサの追加は携帯性に悪いという問題点がある。

また、これらの改善を行ったものとして、特許文献１１では３軸の加速度センサに加えて、電子ペンの中心軸の筆記面に対する傾斜角及び筆記面に対する高さを測定するための光学式３次元測定装置を設けて、この筆記面との高さを用いて、３軸加速度センサからの位置座標を補正することによって精度を高めたものがある。

しかし、この方法では高さ方向に関しては精度よく位置検出を行うが、筆記面に接した状態での移動量検出は加速度センサにて測定を行わざるを得ないので、細かい文字の入力などには適しない。
紙面座標印刷法とは、紙面上一面に細かい点で座標の記録を行い、この座標をペンに実装された２次元イメージセンサ（カメラ）にて読み込み、その座標にてペンの軌跡を算出する方法であって、特許文献１２などが提案されている。この方法では紙面上に書かれた座標を読み込むことで、ペンの軌跡を検出するので正確である。

しかし、この方法では予め座標を書いた紙においてのみ動作が可能であり、普通の一般紙では自由にペンの軌跡がとれない問題があった。
米国特許第５１６６６６８号明細書 米国特許第５９７７９５８号明細書 米国特許第４４７８６７４号明細書 米国特許第５２４７１３７号 国際公開ＷＯ第９４／０９４４７号パンフレット 米国特許第５５８７５５８号明細書 米国特許第５４３４３７１号明細書 特開平６−６７７９９号公報 米国特許第５９０２９６８号明細書 米国特許第５９８１８８４号明細書 特開２００３−０２９９１５号公報 国際公開第WO９２／１７８５９号パンフレット

以上より、従来の電子ペンは、様々な問題点を抱えており、必ずしも満足のいくものではなかった。
そこで、本発明では、加速度センサやイメージセンサを利用した新しいペンの軌跡取得方式を採用したペン型データ入力装置、およびそのプログラムを提供する。

上記課題は、特許請求の範囲の請求項１に記載の発明によれば、筆記対象媒体に筆記した文字又は図形を、電子データとして取得するペン型データ入力装置において、該ペン型データ入力装置を移動させた場合に生じる加速度を検出する加速度検出手段と、該加速度検出手段により検出した前記加速度に基づいて、前記ペン型データ入力装置の移動した軌跡を示す軌跡情報を取得する第１の軌跡情報取得手段と、インクを用いて前記筆記対象媒体に前記文字又は前記図形を筆記する筆記手段と、該筆記手段により筆記された前記文字又は前記図形を撮像する撮像手段と、該撮像手段により撮像された複数の前記文字又は前記図形の画像に基づいて、前記筆記手段により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を取得する第２の軌跡情報取得手段と、を備えることを特徴とするペン型データ入力装置を提供することによって達成できる。

このように構成することによって、紙面に筆記している場合及び紙面から電子ペンを離している場合ともに、ペンの軌跡を取得することができる。
また上記課題は、特許請求の範囲の請求項２に記載の発明によれば、前記ペン型データ入力装置は、さらに、前記筆記対象媒体に対する圧力変化を検出する圧力検出手段と、該圧力検出手段により検出された前記圧力変化を示す情報に基づいて、前記第１の軌跡情報取得手段と前記第２の軌跡情報取得手段とのうちいずれか１つを選択して前記軌跡情報を取得する選択手段と、を備えることを特徴とする請求項１に記載のペン型データ入力装置を提供することによって達成できる。

このように構成することによって、電子ペンが紙面から離れている場合には加速度検出手段を用いて電子ペンの軌跡を解析し、電子ペンが紙面に接している場合には撮像手段を用いて電子ペンの軌跡を解析することができる。
また上記課題は、特許請求の範囲の請求項３に記載の発明によれば、前記圧力検出手段により前記圧力変化が検出された場合、前記ペン型データ入力装置の移動する速度に関する情報を補正することを特徴とする請求項２に記載のペン型データ入力装置を提供することによって達成できる。

このように構成することによって、加速度検出手段から得た加速度に基づいて演算される速度の累積誤差を補正することができる。
また上記課題は、特許請求の範囲の請求項４に記載の発明によれば、前記第２の軌跡情報取得手段は、前記撮像手段により今回撮像された前記画像と前回撮影された前記画像との比較をして、該比較結果に基づいて前記筆記手段により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を生成することを特徴とする請求項１、又は２に記載のペン型データ入力装置を提供することによって達成できる。

このように構成することによって、連続的に撮影した画像間の差より、軌跡情報を求めることができる。
また上記課題は、特許請求の範囲の請求項５に記載の発明によれば、前記第２の軌跡情報取得手段は、前記筆記手段により筆記している場合、前記第１の軌跡情報取得手段により今回取得した軌跡情報と前回取得した軌跡情報とに基づいて、前記比較をする範囲を決定することを特徴とする請求項４に記載のペン型データ入力装置を提供することによって達成できる。

このように構成することによって、２つの画像の比較の範囲を筆記している部分付近に限定することで処理の迅速化、処理負担の軽減が図れる。
また上記課題は、特許請求の範囲の請求項６に記載の発明によれば、前記ペン型データ入力装置は、さらに、前記第１又は前記第２の軌跡情報取得手段により取得した前記軌跡情報を外部装置に送信する送信手段を備えることを特徴とする請求項１に記載のペン型データ入力装置を提供することによって達成できる。

このように構成することによって、電子ペンで筆記した内容を無線通信等を介してホストコンピュータに送信することができる。
また上記課題は、特許請求の範囲の請求項７に記載の発明によれば、前記ペン型データ入力装置は、前記外部装置と通信が接続されている場合は、前記送信手段により前記軌跡情報を送信し、前記外部装置と前記通信が切断されている場合は、前記軌跡情報を保持することを特徴とする請求項６に記載のペン型データ入力装置を提供することによって達成できる。

このように構成することによって、ホストコンピュータと通信可能な状態にある場合には、電子ペンで筆記した内容をリアルタイムで無線通信等を介してホストコンピュータに送信することができ、通信不可能な状態にある場合には電子ペンに内蔵されているメモリにその内容を記憶させておくことができる。

また上記課題は、特許請求の範囲の請求項８に記載の発明によれば、筆記対象媒体に筆記した文字又は図形を、電子データとして取得するペン型データ入力装置において、インクを用いて前記筆記対象媒体に前記文字又は前記図形を筆記する筆記手段と、該筆記手段により筆記された前記文字又は前記図形を撮像する撮像手段と、該撮像手段により撮像された複数の前記文字又は前記図形の画像に基づいて、前記筆記手段により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を取得する軌跡情報取得手段と、を備えることを特徴とするペン型データ入力装置を提供することによって達成できる。

このように構成することによって、連続的に撮影した複数の画像に基づきペンの軌跡情報を求めることができる。
また上記課題は、特許請求の範囲の請求項９に記載の発明によれば、前記軌跡情報取得手段は、前記撮像手段により今回撮像された前記画像と前回撮影された前記画像との比較をして、該比較結果に基づいて前記筆記手段により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を生成することを特徴とする請求項８に記載のペン型データ入力装置を提供することによって達成できる。

このように構成することによって、連続的に撮影した画像間の差より、軌跡情報を求めることができる。
また上記課題は、特許請求の範囲の請求項１０に記載の発明によれば、筆記対象媒体に筆記した文字又は図形を電子データとして取得するペン型データ入力装置内のコンピュータに、該電子データを取得させる処理を実行させるためのデータ入力プログラムにおいて、該ペン型データ入力装置を移動させた場合に生じる加速度を検出する加速度検出処理と、該加速度検出処理により検出した前記加速度に基づいて、前記ペン型データ入力装置の移動した軌跡を示す軌跡情報を取得する第１の軌跡情報取得処理と、インクを用いて前記筆記対象媒体に前記文字又は前記図形を筆記する筆記処理と、該筆記処理により筆記された前記文字又は前記図形を撮像する撮像処理と、該撮像処理により撮像された複数の前記文字又は前記図形の画像に基づいて、前記筆記処理により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を取得する第２の軌跡情報取得処理と、をコンピュータに実行させるためのデータ入力プログラムを提供することによって達成できる。

このように構成することによって、紙面に筆記している場合及び紙面から電子ペンを離している場合ともに、ペンの軌跡を取得することができる。
また上記課題は、特許請求の範囲の請求項１１に記載の発明によれば、前記第２の軌跡情報取得処理は、前記撮像処理により今回撮像された前記画像と前回撮影された前記画像との比較をして、該比較結果に基づいて前記筆記処理により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を生成する処理をコンピュータに実行させるための請求項１０に記載のデータ入力プログラムを提供することによって達成できる。

このように構成することによって、連続的に撮影した画像間の差より、軌跡情報を求めることができる。
また上記課題は、特許請求の範囲の請求項１２に記載の発明によれば、筆記対象媒体に筆記した文字又は図形を電子データとして取得するペン型データ入力装置内のコンピュータに、該電子データを取得させる処理を実行させるためのデータ入力プログラムにおいて、インクを用いて前記筆記対象媒体に前記文字又は前記図形を筆記する筆記処理と、該筆記処理により筆記された前記文字又は前記図形を撮像する撮像処理と、該撮像処理により撮像された複数の前記文字又は前記図形の画像に基づいて、前記筆記処理により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を取得する軌跡情報取得処理と、をコンピュータに実行させるためのデータ入力プログラムを提供することによって達成できる。

このように構成することによって、連続的に撮影した複数の画像軌跡情報を求めることができる。
また上記課題は、特許請求の範囲の請求項１３に記載の発明によれば、前記軌跡情報取得処理は、前記撮像処理により今回撮像された前記画像と前回撮影された前記画像との比較をして、該比較結果に基づいて前記筆記処理により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を生成する処理をコンピュータに実行させるための請求項１２に記載のデータ入力プログラムを提供することによって達成できる。

このように構成することによって、連続的に撮影した画像間の差より、軌跡情報を求めることができる。

本発明を用いると、カメラで撮影された画像と重力加速度センサで検出された加速度とを解析することで、精度良い電子ペンの移動検出が可能となる。また紙面に書かれたペンの軌跡を連続して撮像した複数の画像に基づきペンの軌跡情報を求めることが可能となる。

（実施形態１）
本実施形態における電子ペンの特徴は、以下の３つの機能を有していることである。
（１）筆圧に応じてインクの量を電子で制御を行い、ペン字の太さが調整できる。
（２）普通紙に書いた文字や図形のペン軌跡と筆圧を記憶することができる。
（３）無線通信にて上記ペン軌跡をパーソナルコンピュータ（以下、ＰＣという）に転送を行うことができる。それでは、本実施形態について以下に説明する。

図１は、本実施形態における電子ペン１の構成図である。筆圧に応じてペン字の太さが調整できるように、インクジェット１７とインクを紙面上に吹き付けるためのインクジェットノズル２を有している。ノズル２は直接紙面上と接しないように、ペン先３がノズル２の隣に実装されている。このペン先３からインクは出ることはなく、ペン１で図形を書いたときに違和感の無いような材料を選んで実装するものとする。

ペン先３の根元には圧力センサ４が実装されており、ペン先３にかかる圧力をこのセンサ４で検出する。これにより、圧力に応じてペン字の太さを調整できるようにしている。さらに、この電子ペン１はカラーインクカートリッジ５を装着できるようになっており、インクカートリッジ５には黒インクだけではなくフルカラーの色が作成可能なようにＣＭＹＫ（シアン、マゼンタ、イエロー、ブラック）の４種類の色を含んでいる。ペン１の色は選択制御が可能になっており、ペン１の色に応じたインクとインクの量が前述したインクジェット１７によって、ノズル２を介して筆記面に吹き付け選択された色になるように描画される。

また、ペン１の軌跡を検出するために３軸加速センサ６を有しており、加速センサの精度不足を補うために、紙面に描かれた図形を読み出すためのレンズ７、ＣＭＯＳイメージセンサ８も有している。また、読み出された画像を処理したり、ペン軌跡などを計算したりするためのプロセッサ９と計算された軌跡や筆圧などを記憶するためのメモリ１０も有する。電子回路を動作させるための電池１１も実装されている。ＲＦ通信回路１３は、ホストコンピュータへペンの軌跡等の情報を送信するための回路である。

次に、電子ペン１の描画の動作を図２、図３を用いて説明する。
図２は、本実施形態におけるインクジェットの制御ブロック図を示す。同図は、本実施形態における電子ペン１の構成図である図１の一部ブロックを信号の流れを加えて詳細な回路図にしたものである。本実施形態にかかる電子ペン１を用いて紙（筆記物）に描画を行う場合には、通常のペンと同じようにペン先３を筆記物に当てて滑らして描画を行えばよい。

ペン先３は圧力センサ４と直結しており、ペン先３にかかる圧力がそのまま圧力センサ４に到達できるよう実装されている。したがって、ユーザ（筆記者）がペン１を使用するとき、その筆圧を圧力センサ４で検出できるようになっている。本実施形態での圧力センサ４はピエゾ抵抗型圧力センサを用いており、圧力に応じて抵抗値の変わる性質の材料を用いている。

センサ４には定電流を流して、センサ４端の電圧をプロセッサ９内のＡＤ変換器９０２で圧力値に応じたデジタル値を得ている。このデジタル圧力値はＣＰＵ９０１で読み出される。ＣＰＵ９０１はこの数値に応じて、カラーインクカートリッジ５からインクジェット１７に送られるインクの量の調整を行う。インク量の調整は次のような方法で行う。

まず、黒色を描画するときに使う黒インク（Ｋ）の量を１としたときの、現在の描画を行おうとしている色（Ｃ１）を作成するためのＣＭＹＫのインク混合比をＫｃ，Ｋｍ，Ｋｙ，Ｋｋとする。
この混合比については、予め描画したい色に最も近い色になるためのインク混合比を調べておき、その混合比を導出する方法のプログラミングを行うか、またはそれぞれの色に対応するインクの混合比をメモリなどに記憶されることで容易に混合比は得ることはできる。

次に、ペン先３にかかる最大の圧力の値をＰｍａｘとし、現在のペン圧力をＰとすると、それぞれインクの混合比はＫｃ＊Ｐ／Ｐｍａｘ，Ｋｍ＊Ｐ／Ｐｍａｘ，Ｋｙ＊Ｐ／Ｐｍａｘ，Ｋｋ＊Ｐ／Ｐｍａｘとなる。これらの混合比に応じてＣＰＵ９０１はインクカートリッジ５からインクジェット１７に流れるように、各弁１０３（１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ）を制御する。小型の弁は通常流出量をアナログ的に中間値を制御できないので、弁の開いている時間（開）とＯＦＦ時間（閉）を高速に制御することで中間量を作成する。

図３は、本実施形態におけるデューティ変調によるペンの線の太さ制御を示す。同図は、３種類の開閉時間に応じて紙面上のインクの径（ペン時の太さ）を変化させるためのデューティ変調を示す。
図３（ａ）は筆圧が小さいときのデューティ変調を示し、この場合、インクの流出量が少ないので、細い線（図３（ａ）右図）を描くことができる。図３（ｂ）は筆圧が中間のときのデューティ変調を示し、この場合、インクの流出量が中程度であるので、中間の太さの線（図３（ｂ）右図）を描くことができる。図３（ｃ）は筆圧が大きいときのデューティ変調を示し、この場合、インクの流出量が多いので、太い線を描くことができる（図３（ｃ）右図）。

このようにデューティ変調により、弁１０３の開閉時間を制御することによって、ペンの圧力に応じてインクジェットノズル２からインクを噴出すことが可能になるから、所望の色のペンの太さが制御可能である。
次に、本実施形態における電子ペン１を用いて普通紙に描画を行った場合、その描画内容を記録するためにペン１の軌跡解析を行う。

図４は、本実施形態における３軸加速度センサ６を用いた位置検出回路の構成を示したものであり、ペン１の基本的な軌跡解析を行うための装置を示したブロック図である。本実施形態の電子ペン１を用いて、紙（筆記物）への描画の動作を前述したが、その描画したときのペン１の軌跡を解析し、データとして取得が可能になっている。

３軸加速度センサ６は、ペン１の動きに応じて加速度を検出する装置である。これを用いてペン１の座標を特定するには、ペン１の位置を計算するのに加速度から２重積分を行うことで求めることができる。
３軸加速度センサ６は、空間３軸方向それぞれに加速度を検出できるピエゾ抵抗などを利用した加速度センサ６０１（Ｘ軸），６０２（Ｙ軸），６０３（Ｚ軸）で構成され、それぞれの加速度センサ６０１，６０２，６０３は直角に３軸方向（図４は、それぞれの軸の方向をＸ，Ｙ，Ｚ軸とした）に配置される。

現在ＭＥＭＳ（マイクロ−エレクトロ−メカニカル−システム）で作られた低コストの２軸加速度センサが開発されているので、そのデバイスを２つ用いて３軸加速度センサとして構成しても良い。ピエゾ抵抗は加速度に応じて抵抗値が変わるので、抵抗に定電流を流すことで加速度を電圧値として読み出すことができるようにして、それぞれの電圧値を、セレクタ６０４を介して、プロセッサ９内のＡＤ変換器９０２で加速度の値を時分割に連続に読み出せるように構成される。

本実施形態ではペン１の軌跡を解析する他の手段として、イメージセンサ８も有している。図４左下に示しているものは筆記面２０である。電子ペン１ではこのような筆記面２０の画像はレンズ７にてＣＭＯＳイメージセンサ８に集光され、イメージセンサ８にて画像データに変換される。本実施形態ではこの画像データはＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓｉｎｇ）回路９０３にてメモリ１０に送られる。これによってＣＰＵ９０１から画像データを操作することが可能になる。

ちなみに、ＣＭＯＳセンサ８は秒１００枚の周期（１０ｍ秒間隔）で画像データのサンプリングを行い、順番にメモリに送り出すように構成されている。
図５は、本実施形態における３軸加速度センサ６を用いたプロセッサ９での座標位置を得るアルゴリズムを示す。プロセッサ９では、Ｔａｓｋと呼ばれる単位の処理を複数実行することが可能なようにプログラムされている。

このＴａｓｋ、すなわちＴａｓｋ１では、まず、３軸加速度センサ６からそれぞれの軸の現在の加速度を読み出す（ステップＳ１、以下ステップをＳという）。変数ａはそれぞれの軸の加速度の値を有する３次元のベクトルである。加速度ａを積分して速度ｖ（３次元ベクトル）を計算する（Ｓ２）。すなわち、加速度ａを積分するとｖ’＋ａＴが得られ（ｖ’は前回の速度であり、Ｔは時間である）、これを速度ｖとする。さらに積分して３軸絶対位置Ｐｘ（３次元ベクトル）を計算する（Ｓ３）。すなわち、前回の絶対位置Ｐｘに今回移動した距離（ｖ’＋ｖ）Ｔ／２を加算したものを、Ｐｘとする。このプログラムでは、誤差を少なくするために速度の値として前回の値の平均を用いている（Ｓ３）ため、以前の値をｖ’として保存しておく（Ｓ４）。

その後、Ｔ秒経過するまで待機する（Ｓ５）。これはこのＴａｓｋのみ処理を行うと他のＴａｓｋの処理ができないためである。その後は上記の処理Ｓ１−Ｓ５を繰り返す。Ｐｘのメモリ内容を読み出すことで、常に現在の位置Ｐｘが読み出し可能になる。このＰｘは、同時に実行可能な後述するＴａｓｋ２からアクセスすることができる。

しかしながら、この方法だけでペンの軌跡を得た場合には、通常の加速度センサの加速度検出間隔時間は数ｍ秒であるために検出時間間の加速度変化の誤差が生じる。座標を得るのに積分を行うためにこの誤差も積分されるので、かなり大きな誤差を生じることになる。現状の加速度センサでは、１００ＤＰＩ（Ｄｏｔ Ｐｅｒ Ｉｎｃｈ）の分解能の軌跡を得るのは困難である。

そのため、本実施形態ではカメラを用いてその問題を解決する。すなわち、カメラで撮影した画像を解析することにより、ペンの移動距離を算出する。前述したように筆記者が紙面上に文字図形を描画しているときは、圧力センサにて筆記しているか否かの検出が可能である。

図６は、本実施形態におけるカメラで撮影した文字の筆記例を示す。ここで、カメラとは、本実施形態において少なくともレンズ７とイメージセンサ８とからなる撮像系をいう。同図において、筆記者が電子ペン１で「あ」の文字を描画している途中の連続（１０ｍ秒間隔）で撮影された２つの画像図６（ａ），（ｂ）を示している。

電子ペン１では、このような筆記面２０の画像はレンズ７にてＣＭＯＳイメージセンサ８に集光され、イメージセンサ８にて画像データに変換される。そして、この画像データはＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓｉｎｇ）回路９０３を介して、メモリ１０に送られる。

これによってＣＰＵ９０１から画像データを操作することが可能になる。ちなみにＣＭＯＳセンサ８は秒１００枚の周期（１０ｍ秒間隔）で画像データのサンプリングを行い、順番にメモリに送り出すように構成されている。この連続する２つの画像から図７、図８のアルゴリズムによってペンの移動距離ｄｕ，ｄｖが計算できる。

図７は、本実施形態における画像データに基づくペン座標位置解析タスクのアルゴリズムを示す。前述した３軸加速センサ８で計算される座標系Ｘ，Ｙ，Ｚと区別するために、カメラの画像から計算される紙面上の２次元の座標系をＵ，Ｖ座標とする。また、本実施形態においては、このタスクはＴａｓｋ２という。

まず、電子ペン１が紙面２０と接している状態（以下、ペンダウンという）か、または紙面２０から離れた状態（以下、ペンアップという）かを判別する（Ｓ１０）。これの判断は、圧力センサ４の検出結果に基づいて行う。ペンアップの状態の場合には、Ｓ１０で「Ｎｏ」へ進み、ペンダウンされるのを待つ。ペンダウンされると、Ｓ１０で「Ｙｅｓ」へ進む。

次に、カメラより画像が入力されるのを待つ（Ｓ１１）。カメラより画像が入力されるまでは、Ｓ１１で「Ｎｏ」へ進み、カメラより画像が入力されると、Ｓ１１で「Ｙｅｓ」へ進む。次に、入力される２つの画像を照合（マッチング）する事前処理として、画像サイズの縮小を行う（Ｓ１２）。これは、入力される画像をそのままマッチングするのには画素数が多いので入力画像から縮小画像を作成する処理を行う（これについては、後述する）。

次に、マッチングの計算ルーチンの呼び出し（Ｓ１３）、周期的に撮影された画像のうち、今回入力された画像と前回のタイミングで入力された画像の２つの画像に基づいて移動ベクトルＤｕを算出する（これについては、後述する）。こうして、直前のペン座標Ｐｕに移動ベクトルＤｕを加算して現在の座標位置が更新される。

図８は、図７のＳ１３のマッチングと移動ベクトルＤｕの計算のアルゴリズムを示す。このアルゴリズムでは、マッチングは、対比する２枚の画像について、対応する画素同士の画素値の差分の総和を算出することで行う。マッチングを行う画像間の距離（２枚の画像のズレ量）の範囲は引数で渡すようにしている。同図のＲＡＮＧＥは、電子ペン１が移動可能と思われる範囲の最大値（単位は画素数）を示しており、U軸側はＤｕ＿Ｂｅｇｉｎ〜Ｄｕ＿Ｅｎｄ、Ｖ軸側はＤｖ＿Ｂｅｇｉｎ〜Ｄｖ＿Ｅｎｄによって範囲が指定できる。ここでは、画像サンプリング間で通常のペン速度において移動可能な最大の距離ＲＡＮＧＥの範囲でマッチングできるよう、Ｄｕ，Ｄｖともに−Ｒａｎｇｅから＋Ｒａｎｇｅを指定している（Ｄｕ＿Ｂｅｇｉｎ＝−ＲＡＮＧＥ、Ｄｕ＿Ｅｎｄ＝＋ＲＡＮＧＥ、Ｄｖ＿Ｂｅｇｉｎ＝−ＲＡＮＧＥ、Ｄｖ＿Ｅｎｄ＝＋ＲＡＮＧＥ）。

Ｓ２０，Ｓ２１は、この引数で指定された２枚の画像間での移動距離（縦、横方向のズレ量）ｄｕ，ｄｖの範囲を順番に設定している。
そして、Ｓ２２で、２枚の画像のマッチングを以下に示す式の計算により行っている。

ｐ（ｎ，ｕ，ｖ）は今回の画像ｎの座標ｕ，ｖの画素値であって、ｐ（ｎ−１，ｕ−ｄｕ，ｖ−ｄｖ）は、前回の画像ｎ−１において座標点（ｕ，ｖ）から（ｄｕ，ｄｖ）離れた画素の値である。画素値は８ビットで示され、黒が０で白が最大値２５５を取るものとする。ＭＵ，ＭＶはこれらの画像のＵ，Ｖ軸方向の画像サイズであり、マッチングされる画像の範囲を示す。Ｄ（ｄｕ，ｄｖ）は２枚の画像を移動距離ｄｕ，ｄｖずらした状態で、重なった画素同士の画素値の差分の合計した結果を表す。対応する画素の値が同じであるとき差は０になるので、算出されたDが大きいほど（０に近いほど）２枚の画像は類似していることになる。

Ｓ２２の計算処理は、ｄｖおよびｄｕを以下に示すｄｕ，ｄｖの範囲で１画素ずつ変化させて、前回の画像をずらしながら繰り返し実行される（Ｓ２０〜Ｓ２４）。

Ｓ２０からＳ２４で繰り返し行われた計算が終了すると、Ｓ２５で、計算されたＤの最大値（最も０に近いもの）が探し出される。このときのｄｕ，ｄｖで前回の画像を取らしたときが最もこれらの２枚の画像が類似しているといえるから、このときの値が２つの画像間でペンが移動したベクトルＤｕを表すと決定する（Ｓ２６）。このようにして得た移動ベクトルの値を前回までの座標位置データに加算することで、逐次ペンの位置の座標Ｐｕ（＝Ｐｕ＋Ｄｕ）を計算することができる。

次に、カメラの分解能について検討してみる。図８のアルゴリズムを用いて、入力される画像から移動距離が画素単位で計算できる。したがって、ペンの軌跡を記憶するのに必要とする以上にカメラの分解能があればよい。通常、ペンの軌跡を再現するのに１００ＤＰＩぐらいが望ましいといわれているので、１ｍｍあたり４本以上の走査ラインをもつようにイメージセンサと光学設計を行えばよい。

本実施形態では、画角１２ｍｍで、イメージセンサは４８０×４８０を用いた。ここで必要以上の解像度であるのは、後述する他の動作に使用する理由からである。マッチングを行うのにこの画像数はオーバスペックなので、マッチングを行う画像は、図７のＳ１２で解像度程度１２８×１２８まで画素数を落としている。

次に、移動距離の補正について検討してみる。本実施形態で使用したカメラにより撮影した画像をマッチングして軌跡を解析する方法の場合、ペンがいったん筆記面を遠く離れて、再度、紙面上に置かれた場合、その紙面を離れている間、カメラではもはや紙面上の筆記画像が入手できなくなるため、「もはや、以前の軌跡点との相対座標を求めることはできない」という問題がある。

本実施形態では、この問題を解決するために、前述した３軸加速度センサ６により検出した加速度に基づいて算出された座標位置と合わせることで、ペンが筆記面から離れて移動したときも紙面上の移動座標を推測することを可能にする。まず、３軸加速度による位置座標の計算するタスク（Ｔａｓｋ１）の改良を行う。

図９は、図５のＴａｓｋ１の改良されたアルゴリズムである。Ｓ３０〜Ｓ３３及びＳ３８はそれぞれ、図５のＳ１〜Ｓ５と同様の処理である。それ以外の処理Ｓ３４〜Ｓ３７は、筆記面（紙面）が３軸絶対座標でどこに位置しているかの計算を行うものである。それでは、本アルゴリズムについて詳述する。

まず、Ｓ３０〜Ｓ３３の処理を行う。これらはそれぞれ、図５のＳ１〜Ｓ４と同様の処理である。次に、ペン１が紙面２０にダウンしているか否かを判断する（Ｓ３４）。ペン１が紙面２０にダウンしていない場合には（Ｓ３４で「Ｎｏ」へ進む）、Ｓ３８へ進む。ペン１が紙面２０にダウンしている場合には（Ｓ３４で「Ｙｅｓ」へ進む）、３軸パラメータ補正要求があるか否かを判断する（Ｓ３５）。この３軸パラメータ補正要求があるか否かとは、後述する図１２のＳ５５で３軸絶対座標のパラメータ補正要求が行われたか否かということである。

この補正要求がない場合にはＳ３７へ進み（Ｓ３５で「Ｎｏ」へ進む）、この補正要求がある場合にはＳ３６の処理を行う（Ｓ３５で「Ｙｅｓ」へ進む）。後述する紙面上の座標計算を行うタスク（Ｔａｓｋ２）においてペンダウンが起きた際、その時のペン速度はゼロであるので、ペンの速度変数ｖを０にする（Ｓ３６）。この速度は加速度センサ６を積分して計算したものであるので、図５では誤差の累積が生じて実際の速度と合っていない可能性があったが、このＳ３６の処理によって、この誤差の累積をクリアすることができる。

次にペンダウンしているときは、紙面の基底ベクトルの作成を行う（Ｓ３７）。Ｓ３７の処理後、所定の時間経過するのを待つ（Ｓ３８）。この処理は、図５のＳ５と同様である。
図１０は、３軸絶対空間と紙面座標との関係を示す図である。すなわち、Ｘ，Ｙ，Ｚ軸での３軸加速度から計算される絶対座標の座標系を示す。紙面２０で表された四角形領域は、絶対空間上での紙面の位置を示したものである。紙面２０上のＥｕ，Ｅｖベクトルは、紙面２０の座標系を作る基底ベクトルである。

紙面２０上では点Ｐ１，Ｐ２間の線が描画されたときの例を示している。このベクトルがＸＹＺ座標系ではＰｘとし、紙面２０上の座標系ではＰｕと定義する。Ｘ，Ｙ，Ｚ軸とＵ，Ｖ軸との関係は線形であるので次式の関係が成り立つ。

いま、２点において２つの座標の対応点が（ｘ１，ｙ１，ｚ１）→（ｕ１，ｖ１），（ｘ２，ｙ２，ｚ２）→（ｕ２，ｖ２）であるとすると（Ｂ−１）式から

の関係が成り立つ。これより、

この結果、基底ベクトルＥｕ，Ｅｖは、（Ｂ−３）式で求められた係数を用いて（Ｂ−１）式の（ｕ，ｖ）にそれぞれ（１，０），（０，１）を代入して得られるので、次式のようになる。

図１１は、図９のＳ３７の紙面の基底ベクトルの作成の詳細アルゴリズムを示す。まず、現在の紙面座標のペン位置Ｐｕを入手する。これは別タスクＴａｓｋ２にて計算されているので、すでに計算済みの最新のＰｕを読み出すものとする（Ｓ４０）。
次に、２種類の座標の対応点数のサンプル数Ｎｓを調べる（Ｓ４１）。これは予めＴａｓｋ１の開始時に「０」に初期化されているものとする。初期化後、初めてこの処理が行われる場合はＮｓ＝０であるので、Ｓ４２に分岐される。ここで、今回の紙面座標系のペン位置Ｐｕを（ｕ１，ｖ１）に、３軸加速度座標系のＰｘの座標値を（ｘ１，ｙ１，ｚ１）に保存し（Ｓ４２）、対応点数Ｎｓを１に書き換え（Ｓ４３）、本フローは終了する。

その後、再度引き続きペン１が紙面にダウンした状態で再度、本処理が呼ばれた場合（図９のＳ３７）は、同様にＳ４０でＰｕを入手後、Ｎｓは「１」であるので、Ｓ４１でＳ４４に分岐される。今回の座標の対応点は、Ｐｕを（ｕ２，ｖ２）、Ｐｘを（ｘ２，ｙ２，ｚ２）に保存して（Ｓ４４）、（Ｂ−５）式のΔを計算する（Ｓ４５）。

このΔは、２点のベクトル（ｕ１，ｖ１），（ｕ２，ｖ２）の外積であって、後で求め
る基底ベクトルの計算の精度を上げるためにも、この値が大きいほうが望ましい。そのため、このΔが予め決められた所定の値より大きいか否かを判断する（Ｓ４６）。このΔが
、この所定の値に達していない場合または所定の値以下の場合は、２点目のサンプルは基底ベクトルを求めるのにふさわしくないと判断し、その後の処理をせずに終了する。

他方、このΔが所定量を超えた場合には、基底ベクトルを精度よく計算できるので、今
回のサンプルを有効として、サンプル数Ｎｓを「２」にする（Ｓ４７）。そして、（Ｂ−４）式にて基底ベクトルＥｕ，Ｅｖを計算し（Ｓ４８）、終了する。

その後、再度引き続きペン１が紙面にダウンした状態で再度、本処理が呼ばれた場合（図９のＳ２７）は、同様にＳ４０でＰｕを入手後、Ｎｓは「２」であるので、Ｓ４１でＮｓ＞１と判断され、終了する。
以上より、Ｓ３７において、現在の絶対座標ＰｘとＴａｓｋ２から計算される紙面上の座標Ｐｕの参照を行い、これらの２つの座標を対で記憶を行っておいて、過去数点の座標対からＥｕ，Ｅｖを求めることができる。本実施形態ではＥｕ，Ｅｖの計算をＴａｓｋ１で行ったが、もちろんＴａｓｋ２で行っても構わない。これによって、ペン１を用いて紙面２０上に書いている間に基底ベクトルが計算できることになる。

次に、ペンが紙面２０上を離れて再度紙面２０上にダウンしたときに、その地点の紙面上座標の求め方を図１２で説明する。
図１２は、図７のＴａｓｋ２に修正を加えたアルゴリズムである。タスクが開始されると、まだ１度もペンが紙面上にダウンしていないことを示すＦｉｒｓｔＤｏｗｎフラグをＹｅｓにし、またペンの状態を示しているＰｅｎＳｔａｔｕｓはペンアップ状態ＰＥＮ＿UPに初期化する（Ｓ５０）。

次に、ペン圧センサ４によりペン圧を検出し、ペン１が筆記している状態（ペンダウン状態）であるかどうかの判定を行う（Ｓ５１）。ペン１がダウン状態であるときは、過去のペン状態をチェックする（Ｓ５２）。初めてのペンダウンの場合のＰｅｎＳｔａｔｕｓは、ＰＥＮ＿ＵＰである。

Ｓ５２で、「ＰｅｎＳｔａｔｕｓ＝ＰＥＮ＿ＵＰ」であるときは、ＰｅｎＳｔａｔｕｓをＰＥＮ＿ＤＯＷＮの状態にして（Ｓ５３）、ペンダウンした紙面２０上の位置の３軸絶対座標を読み出す（Ｓ５４）。ここでは、Ｔａｓｋ１で求めたＰｘをＰｘｄに代入する。次に、前述したように、速度誤差のリセットを行うために、３軸絶対座標のパラメータ（速度）の補正要求を行う（Ｓ５５）。

そして、ペンがこの紙面２０において初めてのダウンであるか否かのチェックをＦｉｒｓｔＤｏｗｎフラグを参照することで行う（Ｓ５６）。初めてであるときは（Ｓ５６で「Ｙｅｓ」に進む）、ＦｉｒｓｔＤｏｗｎフラグのクリア（ＦｉｒｓｔＤｏｗｎ＝Ｎｏ（Ｓ６１））と紙面座標位置の初期化（Ｐｕ＝０（Ｓ６２））のみ行う。そして、紙面２０上にダウンしたその紙面座標位置を保存する（Ｐｕ＿ｄｏｗｎ＝Ｐｕ）（Ｓ６０）。

その後、再び処理はループされ、ペンが紙面に描画されている間はＳ５０，Ｓ５１を経由し、「ＰｅｎＳｔａｕｓ＝ＰＥＮ＿ＤＯＷＮ」（Ｓ５２）であるのでＳ６３に分岐される。
次に、画像が入力されたか否かについて判定される（Ｓ６３）。前述したように画像イメージデータは定期的（１０ｍ秒ごと）に撮影が行われており（図６参照）、画像入力がなされるまで再びループを行い待機される（Ｓ６３で「Ｎｏ」へ進む）。新しい画像が入力されると（Ｓ６３で「Ｙｅｓ」に進む）、入力される画像をそのまま画像間のマッチング計算を行うには画素数が多いので、入力画像から縮小画像を作成する（Ｓ６４）。

次に、Ｓ６５で画像マッチング処理ルーチンを呼び出し、移動ベクトルＤｕを得る（詳細の動作は図８で既に説明した）。そして、過去のペン座標Ｐｕに差分ベクトルＤｕを加算して座標位置の更新がされる（Ｓ６６）。
このように筆記者が紙面２０上に描画している間は、画像マッチングを行うことでペンの軌跡と筆圧の追跡が可能である。筆記者がペンアップを行うと、ペン圧がなくなり、その結果、Ｓ５１でペン圧の判定はアップと判断され、Ｓ６７の処理へ分岐される。

初めてのペンアップ状態であるか否かがＰｅｎＳｔａｔｕｓに基づいて判定され（Ｓ６７）、初めてである場合は、ＰｅｎＳｔａｔｕｓをＰＥＮ＿ＵＰにし（Ｓ６８）、そのときの３軸絶対座標を保存する（Ｓ６９）。ここでは、Ｔａｓｋ１で求めたＰｘをＰｘｕに代入する。その後、紙面座標のアップ位置を保存する（Ｓ７０）。ここでは、ＰｕをＰｕ＿ｕｐに代入する。ペンアップ後、ペン１の空中での移動量の計測はＴａｓｋ１によってなされる。

再度、ペンが紙面上にダウンした場合は、Ｓ５６で２回目以降と判断され、前回のペンアップした座標と現在の絶対座標の値とを用いて移動ベクトル（ｄｕ，ｄｖ）がＳ５７−Ｓ５９で計算される。まず、Ｓ５４で取得した３軸絶対座標ＰｘｄからＳ７０で取得した３軸絶対座標Ｐｘｕを差し引いたものを空中絶対移動ベクトルＤｘとする（Ｓ５７）。

次に、空中絶対移動ベクトルＤｘを紙面上の座標に変換するための処理を行う。Ｅｕ，ＥｖはＵ，Ｖ座標のＵ成分、Ｖ成分の単位ベクトルそれぞれのＸ−Ｙ−Ｚ座標系に対応するベクトルである。いま、Ｘ−Ｙ−Ｚ系の空中絶対移動Ｄｘを、Ｕ−Ｖ座標系に変換することは、ＤｘベクトルをＥｕ，Ｅｖに分解することに他ならない。したがって、Ｄｘ＝（ｘ，ｙ，ｚ），Ｅｕ＝（ｘｕ，ｙｕ，ｚｕ），Ｅｖ＝（ｘｖ，ｙｖ，ｚｖ）とすると、求めるＤｘのＵＶ座標系の成分（ｄｕ，ｄｖ）は、

で求まる。
そして、再度ペンダウンしたときの紙面座標位置Ｐｕは、Ｓ７０でペンアップしたときの座標にＳ５８で求めた（ｄｕ，ｄｖ）を加算すればよい（Ｓ５９）。このＰｕをＰｕ＿ｄｏｗｎとして保存する（Ｓ６０）。このようにして３軸の絶対座標から紙面座標の移動ベクトルが計算することができる。

次に、本実施形態におけるペンの軌跡のホスト転送について説明する。上述した方法によって、ペン１が紙面２０上で描画を行ったとき、リアルタイムにペンの軌跡と筆圧をメモリに保存を行った。このメモリ内容を無線がサービスされているときにはリアルタイムで内容を読み出し無線でＰＣ等のホストへ送り出して、また無線がサービスされていないときは、無線がサービスされるまでメモリ１０に保存したままにしておき、無線がサービスされたときに保存しておいたデータを一気に呼び出し、ＰＣ等のホストへ転送を行う。

これは無線の性格上、通信が不安定になったりするので、それを考慮した設計を施している。また、もちろん、ホスト側がなんらなの理由で動作していない場合、たとえば、出張先でホストであるＰＣを持たずにペンだけ持ち出しておいて、出張先で議事などを筆記した内容はペンの中にデータを保存しておき、帰社後オフィスのＰＣにて読み出すことが可能である。なお、本実施形態では、無線によりＰＣでデータを転送したが、これに限らずに有線でもよい。

以上より、カメラで撮影した画像と３軸加速度センサ信号を用いることで、精度のよい電子ペンの移動検出が行える。
（実施形態２）
本実施形態では、限定マッチングによる高速化について述べる。図７または図１２において入力されたカメラ画像のマッチング（Ｓ１３またはＳ６５）を行うときに、図８よりカメラの画像サンプリング間でペンが動くと思われる最大の範囲内の距離で全てのマッチングがなされていた。

本実施形態では、加速度センサ６から得られた３軸の絶対座標や速度からペン１の移動方向、移動量などを推測し、マッチングする範囲の限定を行い、専用のハードウェアなどを追加せずに高速にマッチングを計算することが可能もなる。
つまり２枚のサンプリングされた画像間で、移動した絶対座標ベクトルをＤｘとすると、図１２のＳ５７，Ｓ５８と同じ方法で、内積計算を行うことで、紙面座標系（Ｕ−Ｖ軸）の紙面軸上の移動ベクトルＤｕ＝（ｄｕ，ｄｖ）が計算できる。このｄｕ，ｄｖの近傍の範囲で画像マッチングと移動ベクトルを求めればよい。この値が２枚の画像間で移動したおよその移動ベクトルであるので、この近傍で画像マッチングを行えば、効率よく移動ベクトルが求まる。

図１３は、本実施形態における限定マッチングを用いたプロセッサ９での座標位置を得るアルゴリズムを示す。Ｓ８０〜Ｓ８４の各処理はそれぞれ、図７のＳ１０〜Ｓ１４と同様である。このとき、Ｓ８３で図８のアルゴリズムを呼び出すときにこのＤｕ＿Ｂｅｇｉｎ＝ｄｕ−δ，Ｄｕ＿Ｅｎｄ＝ｄｕ＋δ，Ｄｖ＿Ｂｅｇｉｎ＝ｄｖ−δ，Ｄｖ＿Ｅｎｄ＝ｄｖ+δ（δは近傍でＲＡＮＧＥに比較して十分小さな値）の引数を渡せばよい。これにより、マッチングする量はかなり削減される。

以上より、過去の撮影画像と今回の撮影画像とを比較し、移動マッチングを行う上で、加速度センサから得られる情報を用いることで、およそのペン移動方向を知ることにより、移動方向が予測できるので、２つの画像のマッチングする方向や移動量を限定できるのでマッチング時間を短時間で行える。

（実施形態３）
本実施形態では、ペンの傾き補正による高精度マッチングを説明する。
図１４は、本実施形態におけるペン１の動きの一例を示す。同図において、ペン１が紙面上に沿って動かされるときは、ペン軸と紙面がなす傾きを保持したまま、紙面上に沿って移動する２次元的な移動のほかに、ペン軸の指す位置はそのままでペン軸と紙の傾きが変化する動きもある。

図８に示したペンの移動推測を行うための画像マッチングは、ペンが２次元方向の移動しか想定されていない。これは、通常筆記中のペン軸の傾きは、さほど変化が無く、移動量の分解能しかが必要としない。画像マッチングする場合には無視できる。
しかし、文字の細部の軌跡を記録するには、カメラの解像度をあげるのと同時にこのペン軸の傾きも考慮したマッチングを行う必要がある。２枚の画像間で距離とペン軸の傾きを変えながら画像マッチングするには大量の計算が必要になり、リアルタイムでは非現実的である。

本実施形態では、この問題を解決するために、位置座標の検出のために設けた３軸加速度センサ６の他にもうひとつの３軸加速センサまたは３軸ジャイロの実装を行い、これら２つの加速度を用いて、ペンの角加速度を得て、その結果、ペンの傾きの変化の検出を行う。

これにより、２つの効果が得られるようになった。１つはペンの傾きが得られるので、前述のアルゴリズムではペン浮上中のペン回転が行われると、ペンの空中の軌跡が正確に得られない問題があったが、この問題を解決することができた。
また、もう１つは、ペンの描画中もペンの傾きの変化が検出でき、ペン軸の傾きの変化も推測できるようになる。よって、上記の２枚の画像マッチングにおいて、移動距離に加えて、ペンの傾きもマッチングする範囲を制限できるので、所定時間内に範囲内の画像マッチングが可能になった。

以上より、加速度センサまたは３軸ジャイロをさらにもう１つ設け、ペンの回転角度の測定を行うことで、ペンが紙面上を離れて移動を行った場合の移動ベクトルの精度を向上させ、かつ、ペンが紙面上で描画を行う際の画像マッチングでペン軸の傾きも考慮して測定を行うことで、ペンの移動ベクトルの推測を向上させることができる。

（実施形態４）
図８のＳ２２における類似度計算処理で、類似度を２枚の画像の画素の値の絶対値誤差をとっているので、２枚の画像が白（背景）から黒（線の色）の違いも、黒から白への変化も同じように扱われる。

したがって、２枚の画像の差において、新たに描画した線が多いと類似度が離れていくことになるので、Ｓ２２において単純な２枚間の類似度をとるのではなく、背景色（白）から黒（線の色）への変化は、２画像間で類似しないので、その画素値の変化を計測の対象外とした方がより正確な移動距離が抽出できる。

つまり、実施形態１では、「類似しない」として扱われて類似度が低くなるように作用していたのだか、白から黒への変化は、用紙に新たに文字が書かれた部分であり、この部分を「類似しない」とすると評価が、新たに文字を多く書かれるとマッチング得点が悪くなるという弊害が発生するので、この部分は類似度評価に考慮しないように作用させた方が、正しくマッチングできる。

よって、Ｓ１３を下記の式で計算を行う。

以上より、本実施形態では、実施形態１より正確な移動距離を抽出することができる。

実施形態１における電子ペンの構成図である。 実施形態１におけるインクジェットの制御ブロック図である。 実施形態１におけるディーティ変調によるペンの線の太さ制御を示す図である。 実施形態１における３軸加速度センサを用いた位置検出回路の構成を示す図である。 実施形態１における３軸加速度センサを用いた座標位置を得るアルゴリズムを示す図である。 実施形態１におけるカメラで撮影した文字の筆記例を示す図である。 実施形態１における画像データに基づくペン座標位置解析タスクのアルゴリズムを示す。 実施形態１における画像マッチングのアルゴリズムを示す図である。 実施形態１における図５のアルゴリズムを改良したアルゴリズムを示す図である。 実施形態１における３軸絶対空間と紙面座標との関係を示す図である。 実施形態１における基底ベクトルの作成アルゴリズムを示す図である。 実施形態１における図７のＴａｓｋ２に修正を加えたアルゴリズムを示す図である。 実施形態２における限定マッチングによる座標位置を得るアルゴリズムを示す図である。 実施形態３における電子ペンの動きの一例を示す図である。

符号の説明

１ 電子ペン
２ インクジェットノズル
３ ペン先
４ 圧力センサ
５ カラーインクカートリッジ
６ ３軸加速センサ
７ レンズ
８ ＣＭＯＳイメージセンサ
９ プロセッサ
１０ メモリ
１１ 電池
１３ ＲＦ通信回路
１７ インクジェット
２０ 紙面
１０３（１０３ａ、１０３ｂ、１０３ｃ、１０３ｃ） 弁
６０４ セレクタ
９０１ ＣＰＵ
９０２ ＡＤ変換器
９０３ ＤＭＡ

Claims (13)

1. 筆記対象媒体に筆記した文字又は図形を、電子データとして取得するペン型データ入力装置において、
   該ペン型データ入力装置を移動させた場合に生じる加速度を検出する加速度検出手段と、
   該加速度検出手段により検出した前記加速度に基づいて、前記ペン型データ入力装置の移動した軌跡を示す軌跡情報を取得する第１の軌跡情報取得手段と、
   インクを用いて前記筆記対象媒体に前記文字又は前記図形を筆記する筆記手段と、
   該筆記手段により筆記された前記文字又は前記図形を撮像する撮像手段と、
   該撮像手段により撮像された複数の前記文字又は前記図形の画像に基づいて、前記筆記手段により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を取得する第２の軌跡情報取得手段と、
   を備えることを特徴とするペン型データ入力装置。
2. 前記ペン型データ入力装置は、さらに、
   前記筆記対象媒体に対する圧力変化を検出する圧力検出手段と、
   該圧力検出手段により検出された前記圧力変化を示す情報に基づいて、前記第１の軌跡情報取得手段と前記第２の軌跡情報取得手段とのうちいずれか１つを選択して前記軌跡情報を取得する選択手段と、
   を備えることを特徴とする請求項１に記載のペン型データ入力装置。
3. 前記圧力検出手段により前記圧力変化が検出された場合、前記ペン型データ入力装置の移動する速度に関する情報を補正することを特徴とする請求項２に記載のペン型データ入力装置。
4. 前記第２の軌跡情報取得手段は、前記撮像手段により今回撮像された前記画像と前回撮影された前記画像との比較をして、該比較結果に基づいて前記筆記手段により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を生成すること
   を特徴とする請求項１、又は２に記載のペン型データ入力装置。
5. 前記第２の軌跡情報取得手段は、前記筆記手段により筆記している場合、前記第１の軌跡情報取得手段により今回取得した軌跡情報と前回取得した軌跡情報とに基づいて、前記比較をする範囲を決定すること
   を特徴とする請求項４に記載のペン型データ入力装置。
6. 前記ペン型データ入力装置は、さらに、
   前記第１又は前記第２の軌跡情報取得手段により取得した前記軌跡情報を外部装置に送信する送信手段
   を備えることを特徴とする請求項１に記載のペン型データ入力装置。
7. 前記ペン型データ入力装置は、前記外部装置と通信が接続されている場合は、前記送信手段により前記軌跡情報を送信し、前記外部装置と前記通信が切断されている場合は、前記軌跡情報を保持すること
   を特徴とする請求項６に記載のペン型データ入力装置。
8. 筆記対象媒体に筆記した文字又は図形を、電子データとして取得するペン型データ入力装置において、
   インクを用いて前記筆記対象媒体に前記文字又は前記図形を筆記する筆記手段と、
   該筆記手段により筆記された前記文字又は前記図形を撮像する撮像手段と、
   該撮像手段により撮像された複数の前記文字又は前記図形の画像に基づいて、前記筆記手段により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を取得する軌跡情報取得手段と、
   を備えることを特徴とするペン型データ入力装置。
9. 前記軌跡情報取得手段は、前記撮像手段により今回撮像された前記画像と前回撮影された前記画像との比較をして、該比較結果に基づいて前記筆記手段により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を生成すること
   を特徴とする請求項８に記載のペン型データ入力装置。
10. 筆記対象媒体に筆記した文字又は図形を電子データとして取得するペン型データ入力装置内のコンピュータに、該電子データを取得させる処理を実行させるためのデータ入力プログラムにおいて、
    該ペン型データ入力装置を移動させた場合に生じる加速度を検出する加速度検出処理と、
    該加速度検出処理により検出した前記加速度に基づいて、前記ペン型データ入力装置の移動した軌跡を示す軌跡情報を取得する第１の軌跡情報取得処理と、
    インクを用いて前記筆記対象媒体に前記文字又は前記図形を筆記する筆記処理と、
    該筆記処理により筆記された前記文字又は前記図形を撮像する撮像処理と、
    該撮像処理により撮像された複数の前記文字又は前記図形の画像に基づいて、前記筆記処理により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を取得する第２の軌跡情報取得処理と、
    をコンピュータに実行させるためのデータ入力プログラム。
11. 前記第２の軌跡情報取得処理は、前記撮像処理により今回撮像された前記画像と前回撮影された前記画像との比較をして、該比較結果に基づいて前記筆記処理により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を生成する処理
    をコンピュータに実行させるための請求項１０に記載のデータ入力プログラム。
12. 筆記対象媒体に筆記した文字又は図形を電子データとして取得するペン型データ入力装置内のコンピュータに、該電子データを取得させる処理を実行させるためのデータ入力プログラムにおいて、
    インクを用いて前記筆記対象媒体に前記文字又は前記図形を筆記する筆記処理と、
    該筆記処理により筆記された前記文字又は前記図形を撮像する撮像処理と、
    該撮像処理により撮像された複数の前記文字又は前記図形の画像に基づいて、前記筆記処理により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を取得する軌跡情報取得処理と、
    をコンピュータに実行させるためのデータ入力プログラム。
13. 前記軌跡情報取得処理は、前記撮像処理により今回撮像された前記画像と前回撮影された前記画像との比較をして、該比較結果に基づいて前記筆記処理により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を生成する処理
    をコンピュータに実行させるための請求項１２に記載のデータ入力プログラム。
    
    
    

Images