JP2005092436A - 符号情報読み出し装置、そのプログラム、及びそれを利用したペン型データ入力装置 - Google Patents

Abstract

【課題】 紙面上に付された符号をカメラを用いて紙面に対して斜め方向から撮影した場合、その符号を正確に読み取り、かつ高速で読み取ることができる符号読み取り装置を提供する。
【解決手段】 同期マークと符号マークからなる２次元符号が記録された面から２次元イメージセンサによりその２次元符号を読み出し、読み出した画像から同期マークと符号マークを分離し、同期マークおよび符号マークの重心を計算し、分類された同期マークの重心から射影効果の補正も含むマークの格子パラメータを計算し、この格子パラメータを用いて、分類された符号マークから、符号ドット位置を計算し、計算された符号位置から２次元符号のブロック番号を検出することにより、課題の解決を図る。
【選択図】 図１

Description

本発明は、筆記者により筆記された文字又は図形をコンピュータに取り込むための装置及びプログラムに関する。

現在、個人携帯用端末機またはコンピュータ応用機器にペンの筆記内容を入力するためにＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）タブレットやデジタイザタブレットのような２次元センサ配列を含む入力装置が広く使われている。このような入力装置は、比較的大面積の２次元センサ配列を必要とするために、別の感知平面が必要である。したがって、携帯し難くて所定の空間を占め、またコスト面でも短所がある。

よって、従来においてこのような問題を解消するために、物理的タブレットなしに一般の平面上で単一電子ペンだけを利用した。このとき、この単一電子ペンが文書入力が可能であれば、従来のペン入力装置に比べて広い入力空間を提供されるために自然な筆記入力が可能なので非常に効果的である。

このような自己運動感知方式の電子ペンを利用した文書または絵の入力のためには、ある基準座標系に対する電子ペンチップの位置座標を連続的に求められなければならない。
しかし、大部分の筆記動作はペンを筆記面と接触させたダウン状態で行い、移動する場合にはペンを筆記面と接触しないアップ状態となる。ペンの連続的な座標値を求めるためには、接触または非接触状態でもその位置値を精密に測定できる手段を必要とする。

従来の電子ペン状の入力装置のタイプには、外部座標測定法、内部座標測定法、及び紙面座標印刷法の大きく３種類ある。
外部座標測定法とは、ペン外部でペンチップの座標を測定する方式のことであり、例えば、３角測量方式（特許文献１）、電磁波（特許文献２）、または超音波（特許文献３）の飛行時間差を利用する方式などがある。

内部座標測定法とは、ペン内部でペンチップの座標を測定する内蔵方式で、ペン内部でペンチップの運動を感知する方式であって、初期にはペン内部に装着された２軸または３軸加速度センサを利用して二重積分を通じて電子ペンの位置運動を求める方式（特許文献４、特許文献５、特許文献６）が提案された。

紙面座標印刷法とは、紙面上一面に細かい点で座標の記録を行い、この座標をペンに実装された２次元イメージセンサ（カメラ）にて読み込み、その座標にてペンの軌跡を算出する方法が提案されている（特許文献７）。
さて、平面状の素材に記録されたシンボルを光学的に読み取り、得られた画像データを処理して座標を入力する方法がある。座標データを表すシンボルの選定と配列のやり方によって以下のようなものが考えられてきた。

（１）固定ブロック法：ブロックと座標を表す数値を異なるシンボルで表現し、所定のブロック単位で並べる。ブロックサイズ以下の分解能はブロックの基準点が撮像画面のどの位置にあるかで割り出す方法である。これには、ブロック同期を検出するために数値とは別の同期方法が必要である（例えば、特許文献８。）。また、バーコードを拡張した２次元コードを用いて座標を表す方法もある（例えば、特許文献９、特許文献１０、特許文献１１。）。

（２）巡回パターン法：ブロック同期用のシンボルは用いず、シンボルの並びとしてパターンを順次構成し、パターン自体の自己同期性を利用して座標を決める。自己同期性のあるパターンの代表的なものは１次元のＭ系列（最大長周期系列）で、周期２＾ｋ−１のＭ系列は、系列から切出した連続ｋビットのパターン（以下、ウィンドウパターンと呼ぶ）が、１周期中の他のどの位置から切出したウィンドウパターンとも異なるという性質がある。

始点から順に観測されるパターンを順番と対応付けて求めておけば、観測されたウィンドウパターンからその始点からの位置がわかる。シンボルを直線ないしは円周上に1次元に配置したものがリニアエンコーダやロータリーエンコーダとして、長さや回転角の測定に使われている（例えば、特許文献１２）。

Ｍ系列を２次元に拡張したＭ平面から面上の位置計測をすることが考えられてきた。平面上の異なる位置から切出したウィンドウパターンがいずれも他と異なるという性質を利用するものである（例えば、非特許文献１、非特許文献２、特許文献１３。）。Ｍ平面を構成するための生成多項式には制限があるので、拡張性をもたせるためにｘ，ｙそれぞれの方向に１次元のＭ系列を用いるパターン構成法が考えられた（例えば、特許文献７、特許文献１４）。

特許文献７は、縦方向の第１のＭ系列を、横方向の第２のＭ系列で巡回シフトして２次元の全面パターンを形成するものである。
特許文献１４は、Ｍ系列に類似の巡回パターンを座標軸に直交する方向に位相を変えて並べるもので、ｘ，ｙ方向に独立に復号できるシンボルを用いている。この方法では、隣接する巡回パターンの位相差に制限を加えてブロックを構成するとともに、ブロック内で観測される位相の組み合わせてブロックの基準座標値を表現する。ブロックサイズ以下の分解能は固定ブロック法と同様にして割り出すことになる。
米国特許第５１６６６６８号明細書 米国特許第５９７７９５８号明細書 米国特許第４４７８６７４号明細書 米国特許第５２４７１３７号 国際公開ＷＯ第９４／０９４４７号パンフレット 米国特許第５５８７５５８号明細書 国際公開第WO９２／１７８５９号パンフレット 米国特許第５８５２４３４号明細書 米国特許第４９２４０７８号明細書 米国特許第４９３９３５４号明細書 特開平７−２５４０３７号公報 米国特許第３５３１７９８号明細書 特開平６−３０９０８４号公報 国際公開第ＷＯ００／７３９８１号パンフレット 今井，片山「Ｍ平面を用いた２次元面の１位置検出装置」，電子通信学会論文誌（Ａ），ｖｏｌ．Ｊ５９−Ａ，ｎｏ．３，ＰＰ．２６０−２６２（１９７６−０３） ＭａｃＷｉｌｌｉａｍｓ，Ｓｌｏａｎｅ「ｐｓｅｕｄｏ−Ｒａｎｄｏｍ Ｓｅｑｕｅｎｃｅｓ ａｎｄ Ａｒｒａｙｓ」，ＰＩＥＥＥ ｖｏｌ．６４，ｎｏ．１２，ｐｐ．１７１５−１７２９（１９７６−１２）

さて、ペンを使用して紙面に文字等を筆記する場合、通常、ペン先は紙面に対して傾斜した状態となる。もし、このとき、そのペン先付近をカメラで撮影した場合には、撮影した画像は紙面の正面から撮影した画像と比べ、歪んでしまう。
したがって、紙面に座標を示す所定のシンボルを付し、そのシンボルをペンに取り付けたカメラで撮影しペン位置の座標を取得しようとすると、そのシンボルは画像内で歪んだ状態となっているので、そのシンボルを正しく読み取ることができない場合が生じる。

また、このような歪んだ画像を画像処理でこのひずみを修正するにしても、かなりの処理時間を要してしまう。
上記の問題点を解決するために、本発明では、紙面上に付された符号をカメラを用いて紙面に対して斜め方向から撮影した場合、その符号を正確に読み取り、かつ高速で読み取ることができる符号読み取り装置、それを搭載した電子ペン、およびプログラムを提供する。

上記課題は、特許請求の範囲の請求項１に記載の発明によれば、所定の情報を表す符合マークと、該符号マークの前記情報を読み出す場合に同期をとるための同期マークと、からなる格子が複数記録された面を撮像する撮像手段と、前記撮像手段により撮像された前記面の画像から前記同期マークと前記符号マークとを分類する分類手段と、前記分類手段により分類された前記同期マークと前記符号マークとのひずみを修正するひずみ修正手段と、前記修正手段により修正された前記同期マークと前記符号マークに基づいて、該符号マークの座標を算出する算出手段と、前記算出手段により算出された前記符号マークの前記座標に基づいて、該符号マークの表す情報を読み出す符号情報読み出し手段と、を備えることを特徴とする符号情報読み出し装置を提供することによって達成できる。

このように構成することによって、紙面上に付された符号をカメラを用いて紙面に対して斜め方向から撮影した場合、その符号を正確に読み取り、かつ高速で読み取ることができる。
また上記課題は、特許請求の範囲の請求項２に記載の発明によれば、前記分類手段は、２値化された前記画像内の隣接する相互の画素において、相互に所定の画素値を有する場合に該画素群から構成されるそれぞれの領域に一意の番号を付与し、該領域の大きさに基づいて、前記同期マークと前記符号マークとを分類することを特徴とする請求項１に記載の符号読み出し装置を提供することによって達成できる。

このように構成することによって、撮影した画像内の同期マークと符号マークをラベリングすることができる。
また上記課題は、特許請求の範囲の請求項３に記載の発明によれば、前記ひずみ修正手段は、前記画像の前記同期マークと前記符号マークとより求められる座標系を示す第１の座標系を、直交座標系である第２の座標系へ変換することを特徴とする請求項１に記載の符号読み出し装置を提供することによって達成できる。

このように構成することによって、画像内の歪んだ被写体情報の座標を直交座標系に換算することができる。
また上記課題は、特許請求の範囲の請求項４に記載の発明によれば、前記ひずみ修正手段は、前記分類手段により分類された前記同期マークのうち少なくとも４つの該同期マークに基づいて、前記第１の座標系から前記第２の座標系へ変換するためのアフィン変換のパラメータを算出することを特徴とする請求項３に記載の符号読み出し装置を提供することによって達成できる。

このように構成することによって、アフィン変換のパラメータを算出することで、画像内の歪んだ被写体情報の座標を直交座標系に換算することができる。
また上記課題は、特許請求の範囲の請求項５に記載の発明によれば、前記ひずみ修正手段は、前記同期マークを表す前記領域の重心を補正することを特徴とする請求項１、３又は４に記載の符号読み出し装置を提供することによって達成できる。

このように構成することによって、同期マークの重心を補正することができる。
また上記課題は、特許請求の範囲の請求項６に記載の発明によれば、前記同期マークは所定の図形によって表されるマークであり、前記ひずみ修正手段は前記図形の形状に基づいて該図形の向きを決定することを特徴とする請求項１、３、４、又は５に記載の符号読み出し装置を提供することによって達成できる。

このように構成することによって、同期マークの向きを検出することができる。
また上記課題は、特許請求の範囲の請求項７に記載の発明によれば、前記ひずみ修正手段は、前記図形で表される前記領域内の所定の点から該領域の境界までの長さに基づいて、前記図形の向きを決定することを特徴とする請求項１、３、４、５、又は６に記載の符号読み出し装置を提供することによって達成できる。

このように構成することによって、所定の点から領域の境界までの距離が最も短い箇所がＬ型の同期マークの窪んだ部分であると算出することができる。
また上記課題は、特許請求の範囲の請求項８に記載の発明によれば、所定の情報を表す符合マークと、該符号マークの前記情報を読み出す場合に同期をとるための同期マークと、からなる格子が複数記録された面を撮像する撮像処理と、前記撮像処理により撮像された前記面の画像から前記同期マークと前記符号マークとを分類する分類処理と、前記分類処理により分類された前記同期マークと前記符号マークとのひずみを修正するひずみ修正処理と、前記修正処理により修正された前記同期マークと前記符号マークに基づいて、該符号マークの座標を算出する算出処理と、前記算出処理により算出された前記符号マークの前記座標に基づいて、該符号マークの表す情報を読み出す符号情報読み出し処理と、をコンピュータに実行させるための符号読み出しプログラムを提供することによって達成できる。

このように構成することによって、紙面上に付された符号をカメラを用いて紙面に対して斜め方向から撮影した場合、その符号を正確に読み取り、かつ高速で読み取ることができる。
また上記課題は、特許請求の範囲の請求項９に記載の発明によれば、前記ひずみ修正処理は、前記画像の前記同期マークと前記符号マークとより求められる座標系を示す第１の座標系を、直交座標系である第２の座標系へ変換することをコンピュータに実行させるための請求項８に記載の符号読み出しプログラムを提供することによって達成できる。

このように構成することによって、画像内の歪んだ被写体情報の座標を直交座標系に換算することができる。
また上記課題は、特許請求の範囲の請求項１０に記載の発明によれば、前記ひずみ修正処理は、前記分類処理により分類された前記同期マークのうち少なくとも４つの該同期マークに基づいて、前記第１の座標系から前記第２の座標系へ変換するためのアフィン変換のパラメータを算出することをコンピュータに実行させるための請求項９に記載の符号読み出しプログラムを提供することによって達成できる。

このように構成することによって、アフィン変換のパラメータを算出することで、画像内の歪んだ被写体情報の座標を直交座標系に換算することができる。
また上記課題は、特許請求の範囲の請求項１１に記載の発明によれば、前記同期マークは所定の図形によって表されるマークであり、前記ひずみ修正処理は前記図形の形状に基づいて該図形の向きを決定することをコンピュータに実行させるための請求項８、９、又は１０に記載の符号読み出しプログラムを提供することによって達成できる。

このように構成することによって、同期マークの向きを検出することができる。
また上記課題は、特許請求の範囲の請求項１２に記載の発明によれば、筆記対象媒体に筆記した文字又は図形を、電子データとして取得するペン型データ入力装置において、所定の情報を表す符合マークと、該符号マークの前記情報を読み出す場合に同期をとるための同期マークと、からなる格子が複数記録された面を撮像する撮像手段と、前記撮像手段により撮像された前記面の画像から前記同期マークと前記符号マークとを分類する分類手段と、前記分類手段により分類された前記同期マークと前記符号マークとのひずみを修正するひずみ修正手段と、前記修正手段により修正された前記同期マークと前記符号マークに基づいて、前記格子における該符号マークの座標を算出する算出手段と、前記算出手段により算出された前記符号マークの前記座標に基づいて、該符号マークを読み出す符号情報読み出し手段と、前記筆記対象媒体に前記文字又は前記図形を筆記する筆記手段と、を備えることを特徴とするペン型データ入力装置を提供することによって達成できる。

このように構成することによって、カメラ付き電子ペンで紙面に筆記するとき、紙面上に付された符号を紙面に対して斜め方向からそのカメラで撮影した場合、その符号を正確に読み取り、かつ高速で読み取ることができる。
また上記課題は、特許請求の範囲の請求項１３に記載の発明によれば、前記ペン型データ入力装置は、さらに、前記符号情報読み出し手段により読み出した前記符号マークの表す前記情報を外部装置に送信する送信手段を備えることを特徴とする請求項１２に記載のペン型データ入力装置を提供することによって達成できる。

このように構成することによって、電子ペンで筆記した内容を無線通信等を介してホストコンピュータに送信することができる。

本発明を用いることにより、カメラを使用して紙面に対して斜め撮影などを行っても、紙面上に付された２次元符号を正確にかつ高速に復号化しその情報を読み取ることが可能である。また、Ｌ型の同期マークにもかかわらず、２次元符号の格子点上の位置を簡単に計算できるので、高速な２次元符号を復号が可能である。また、同期マークの方向検出を高速に正確に行うことができる。また、高速でかつ精度のよい軌跡記録が可能な電子ペンを実現することができる。

本発明では、大きさの異なる同期マークと符号マークとからなる２次元符号を２次元イメージセンサにて読み取る際に、各マークのラベリングを行い、そのラベリングのサイズに従って同期マークと符号マークの分類を行い、分類された同期マークにより、射影効果補正も含む符号のアフィンパラメータの計算を行い、そのパラメータに従って２次元符号を復号することを実現する。

また、Ｌ型同期マークの中心を得る方法に、ラベリングされた重心点を用いる手法は簡単であるが、正しい格子点上の位置からずれている。そのため、同期マークの重心データから、Ｘ，Ｙ方向の基底ベクトルを予測し、そのベクトルを用いて行い、同期マークの方向の検出を行い、その方向に従って、重心点から格子点上の位置の補正を行うようにしたので、これにより簡単に格子パラメータを得ることを実現する。

また、Ｌ型同期マークの方向を検出するのに、符号のＸ，Ｙ方向に沿って調べるより、Ｘ，Ｙ軸の合成ベクトル方向に沿って調べたほうが、精度がよい検出をすることを実現する。
また、２次元符号の復号器をもつ電子ペンで、２次元符号に書き込まれたＸ，Ｙのブロック番号だけではなく、そのブロック起点から、ペン先までのベクトルまでを、上記の格子パラメータを用いて、計算を行うことを電子ペンで実現する。

それでは、以下に本発明にかかる実施形態を示す。本実施形態における電子ペンの特徴は、以下の４つの機能を有していることである。
（１）筆圧に応じてインクの量を電子で制御を行い、ペン字の太さが調整できる。
（２）普通紙に書いた文字や図形のペン軌跡と筆圧を記憶することができる。
（３）無線通信にて上記ペン軌跡をパーソナルコンピュータ（以下、ＰＣという）に転送を行うことができる。
（４）特定符号が書き込まれた紙面からその符号を読み出し正確なペンの軌跡の検出ができる。

さらに、上記の４機能に付け加えて、特定符号の情報を読み出し、ＰＣに送り出し、様々な機能の実現を行うことができる。それでは、本実施形態について以下に説明する。
図１は、本実施形態における電子ペン１の構成図である。筆圧に応じてペン字の太さが調整できるように、インクジェット１７とインクを紙面上に吹き付けるためのインクジェットノズル２を有している。ノズル２は直接紙面上と接しないように、ペン先３がノズル２の隣に実装されている。このペン先３からインクは出ることはなく、ペン１で図形を書いたときに違和感の無いような材料を選んで実装するものとする。

ペン先３の根元には圧力センサ４が実装されており、ペン先３にかかる圧力をこのセンサ４で検出している。これにより、圧力に応じてペン字の太さを調整できるようにしている。さらに、この電子ペン１はカラーインクカートリッジ５を装着できるようになっており、インクカートリッジ５には黒インクだけではなくフルカラーの色が作成可能なようにＣＭＹＫ（シアン、マゼンタ、イエロー、ブラック）の４種類の色を含んでいる。ペン１の色は選択制御が可能になっており、ペン１の色に応じたインクとインクの量が前述したインクジェット１７によって、ノズル２を介して筆記面に吹き付け選択された色になるように描画される。

また、ペン１の軌跡を検出するために３軸加速センサ６を有しており、加速センサの精度不足を補うために、紙面に描かれた図形を読み出すためにレンズ７、ＣＭＯＳイメージセンサ８も有している。また、読み出された画像を処理したり、ペン軌跡などを計算したりするためのプロセッサ９と計算された軌跡や筆圧などを記憶するためのメモリ１０も有する。電子回路を動作させるための電池１１も実装されている。

また、イメージセンサ８を用いて、特殊紙面に書かれた座標点などを読み出すために用いる赤外ＬＥＤ１４および赤外線のみ透過させるための赤外フィルタ１５を有しており、電磁バネ１６にて赤外フィルタ１５を駆動してＣＭＯＳセンサ８に赤外線のみ透過するように切り替えられるようになっている。ＲＦ通信回路１３は、ホストコンピュータへペンの軌跡等の情報を送信するための回路である。次に、電子ペン１の描画の動作を図２、図３を用いて説明する。

図２は、本実施形態におけるインクジェットの制御ブロック図を示す。同図は、本実施形態における電子ペン１の構成図である図１の一部ブロックを信号の流れを加えて詳細な回路図にしたものである。本実施形態にかかる電子ペン１を用いて紙（筆記物）に描画を行う場合には、通常のペンと同じようにペン先３を筆記物に当てて滑らして描画を行えばよい。

ペン先３は圧力センサ４と直結しており、ペン先３にかかる圧力がそのまま圧力センサ４に到達できるよう実装されている。したがって、ユーザ（筆記者）がペン１を使用する場合、その筆圧を圧力センサ４で検出できるようになっている。本実施形態での圧力センサ４はピエゾ抵抗型圧力センサを用いており、圧力に応じて抵抗値の変わる性質の材料を用いている。

センサ４には定電流を流して、センサ４端の電圧をプロセッサ９内のＡＤ変換器９０２で圧力値に応じたデジタル値を得ている。このデジタル圧力値はＣＰＵ９０１で読み出される。ＣＰＵ９０１はこの数値に応じて、カラーインクカートリッジ５からインクジェット１７に送られるインクの量の調整を行う。インク量の調整は次のような方法で行う。

まず、黒色を描画するときに使う黒インク（Ｋ）の量を１としたときの、現在の描画を行おうとしている色（Ｃ１）を作成するためのＣＭＹＫのインク混合比をＫｃ，Ｋｍ，Ｋｙ，Ｋｋとする。
この混合比は予め描画したい色に最も近い色になるためのインク混合比を調べておき、その混合比を導出する方法のプログラミングを行うか、またはそれぞれの色に対応するインクの混合比をメモリなどに記憶されることで容易に混合比は得ることはできる。

次に、ペン先３にかかる最大の圧力の値をＰｍａｘとし、現在のペン圧力をＰとすると、それぞれインクの混合比はＫｃ＊Ｐ／Ｐｍａｘ，Ｋｍ＊Ｐ／Ｐｍａｘ，Ｋｙ＊Ｐ／Ｐｍａｘ，Ｋｋ＊Ｐ／Ｐｍａｘとなる。これらの混合比に応じてＣＰＵ９０１はインクカートリッジ５からインクジェット１７に流れるように、各弁１０３（１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ）を制御する。小型の弁は通常流出量をアナログ的に中間値を制御できないので、弁の開いている時間（開）とＯＦＦ時間（閉）を高速に制御することで中間量を作成する。

図３は、本実施形態におけるデューティ変調によるペンの線の太さ制御を示す。同図は、３種類の開閉時間に応じて紙面上のインクの径（ペン時の太さ）を変化させるためのデューティ変調を示す。
図３（ａ）は筆圧が小さいときのデューティ変調を示し、この場合、インクの流出量が少ないので、細い線（図３（ａ）右図）を描くことができる。図３（ｂ）は筆圧が中間のときのデューティ変調を示し、この場合、インクの流出量が中程度であるので、中間の太さの線（図３（ｂ）右図）を描くことができる。図３（ｃ）は筆圧が大きいときのデューティ変調を示し、この場合、インクの流出量が多いので、太い線を描くことができる（図３（ｃ）右図）。

このようにデューティ変調により、弁１０３の開閉時間を制御することによって、ペンの圧力に応じてインクジェットノズル２からインクを噴出させることが可能になるから、所望の色のペンの太さの制御が可能である。
さて、本実施形態における電子ペン１は、上述の通り、３軸加速度センサ６とイメージセンサ８を備えている。これらのセンサを用いることによりペンの軌跡を取得することができる。そして、この取得の方法には次の２種類の方法がある。

１つ目の方法が、電子ペン１を用いて普通紙に描画している画像を定期的に読み出し、以前の画像と今回の画像とをずらしながらマッチングを行い、最大の類似度を得たときの移動ベクトルから２枚の画像間で移動したペンの移動ベクトルを推定して、ペンの軌跡を得るものである。さらに、電子ペン１が紙面を離れて移動したときのおよその移動ベクトルを得るために３次元加速度センサを用いて軌跡解析も行っている（以下、マッチング法という）。

もう１つの方法は、座標位置などを含むデータを一面に記録を行った紙面からそのデータを読み出し、電子ペンの位置を特定する方法である（以下、符号法という）。本明細書では詳細は省き、簡単にその技術内容を簡単に以下に記載する。
まず、マッチング法による軌跡解析について説明する。

図４は、本実施形態における３軸加速度センサを用いた位置検出回路の構成を示したものであり、マッチング法による軌跡解析を行うための装置を示したブロック図である。本実施形態の電子ペン１を用いて、紙（筆記物）への描画の動作を前述したが、その描画したときのペン１の軌跡を解析し、データとして取得が可能になっている。

３軸加速度センサ６は、ペン１の動きに応じて加速度を検出する装置である。これを用いてペン１の座標を特定するには、ペン１の位置を計算するのに加速度から２重積分を行うことで求めることができる。
３軸加速度センサ６は、空間３軸方向それぞれに加速度を検出できるピエゾ抵抗などを利用したものなどが開発されている。これらは加速度に応じた電圧値が出力されるので、それぞれの電圧値はセレクタ９０３を経由して、プロセッサ９内のＡＤ変換器９０２で加速度の値を時分割に連続に読み出せるように構成される。

本実施形態ではペン１の軌跡を解析する他の手段として、イメージセンサ８も有している。図４左下に示しているものは筆記面２０である。電子ペン１ではこのような筆記面２０の画像はレンズ７にてＣＭＯＳイメージセンサ８に集光され、イメージセンサ８にて画像データに変換される。

本実施形態では、この画像データはＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓｉｎｇ）回路９０４にてメモリ１０に送られる。これによってＣＰＵ９０１から画像データを操作することが可能になる。ちなみに、ＣＭＯＳセンサ８は秒１００枚の周期（１０ｍ秒間隔）で画像データのサンプリングを行い、順番にメモリに送り出すように構成されている。

以後、プロセッサ９によってメモリから画像を読み出し、前回（今回の画像に対する１０ｍ秒前の画像）の画像と今回の画像とをずらしながらマッチングを行う。
このようにして得られたペンの位置と画像マッチングによって推測される移動ベクトルを用いてペンの軌跡を得るようにしている。

図５は、本実施形態におけるカメラから読み出した文字の筆記例を示す。ここで、カメラとは、本実施形態においてレンズ７とイメージセンサ８とからなる撮像系をいう。同図において、筆記者が電子ペン１で「あ」の文字を描画している途中の連続（１０ｍ秒間隔）で撮影された２つの画像図５（ａ），（ｂ）を示している。上述の例でいえば、図５（ｂ）が今回の画像に対応し、図５（ａ）が前回の画像に対応する。

次に、符号法による軌跡解析について説明する。本実施形態の電子ペン１では、座標位置などを含むデータを一面に記録を行った紙面（専用用紙）からそのデータを読み出すこともできる。このデータは少ない面積に少ない情報点で効率よく紙面上に記録されている。この方法を用いた符号化の一例を、図６，図７に示している。

図６は、本実施形態における専用用紙上に割り当てられた情報シンボルと符号の割り当てを示す。同図において、データビットに対応する一枡の領域に点を記録する（１）か、記録しない（０）かで表記を行う。４枡を１つの符号シンボルとすると、左上に点が記憶されている場合、「００」の符号を表現し、右上に点が記憶されている場合、「０１」の符号を表現し、左下に点が記憶されている場合、「１０」の符号を表現し、右下に点が記憶されている場合、「１１」の符号を表現するものとする。このように各情報シンボルは２ビットの情報を表すこと。

図７は、本実施形態におけるブロックのシンボル配置を示す。左上隅にあるかぎ形（Ｌ字型）のシンボルを同期シンボルといい、この同期シンボルを左上隅に配した９×９の単位をブロックと呼び、紙面全体をブロックで構成する。ブロックには、同期シンボル以外に図６で述べた情報シンボルが８個存在する。図７において、Ｘ軸方向の座標表現にｘ０〜ｘ５、Ｙ方向の座標表現にｙ０〜ｙ５、その他の用途にｚ０〜ｚ３（オプションデータ）の合計１６ビットを割り当てる。

かぎ形の同期シンボルは単独でもこれを検出することによってブロックの向きが分かると同時に４個の隣接するブロックの同期シンボルを頂点に対応付けた方形を検出することができる。同期シンボルの間をｘ方向、ｙ方向にそれぞれ９等分して仮想的な格子を作り、前記の２×２格子８個のそれぞれどの位置にドットが存在するかを検出することにより、ｘ，ｙ，ｚ各情報が復元できる。

実際は、撮像分解能などの制約から、被写体の傾きや明るさによって同期シンボルの検出位置（たとえば重心）には誤差が含まれる。この影響を減らすため、参照点を増やす方法として、画像の取り込み範囲を広げて参照点となる同期シンボルの数を増やしたり、情報シンボルを参照点に組み入れたり（情報シンボルと格子のずれを利用する）する等が可能である。

また、１ビットの大きさをペンの軌跡の分解能とすることが可能である。この一枡のサイズを１００ＤＰＩ（Ｄｏｔ Ｐｅｒ Ｉｎｃｈ）にすれば、ペンの軌跡（座標位置を特定すること）の分解能も同等以上に可能になる。
図８は、本実施形態における紙面一面に付されたシンボル（符号データ）の例である。この符号データは、赤外ＬＥＤ１４、スイッチ９０５を用いることにより読み出される。この符号は予めプリンターや印刷などによって予め記録しておく。また、この符号を記録するのに使うインクは、ペン１で用いる通常のインクとは違う成分の素材を用いるのが望ましい。

さて、交差するような文字を描画する場合、ペンが符号の上に筆記された後、その同じ位置に上書きする場合がある。このような場合に一度ペンのインクで符号を上書きされても、この符号を読み出せるようにしなければならない。そのため本実施形態では、ペン１のインクは赤外線を透過する素材のインクを、符号を記録するインクは赤外線を吸収する材料を用いる。

この符号を読むときは、ＣＰＵ９０１はスイッチ９０５を制御し、赤外ＬＥＤ１４を点灯させる。また、赤外透過フィルタ１５は、電磁バネ１６によって、縦向きから横向き方向へ回転軸を中心に回転し、レンズ７とイメージセンサ８の間にこのフィルタ１５が挿入された形になる。そのように得られた符号の含んだ画像をＣＰＵで解析を行い、電子ペン１の座標位置を得る。

次に、本実施形態におけるペンの軌跡情報のホストへの転送について説明する。上述した方法によって、ペン１を用いて紙面２０上に描画した場合、ペンの軌跡と筆圧をメモリに保存している。このメモリ内容を無線がサービスされているときには、リアルタイムで内容を読み出し無線でＰＣ等のホストへ送り出して、また無線がサービスされていないときは、無線がサービスされるまでメモリ１０に保存したままにしておき、無線がサービスされたときに保存しておいたデータを一気に呼び出し、ＰＣ等のホストへ転送を行う。

これは無線の性格上、通信が不安定になったりするので、それを考慮した設計を施している。また、もちろん、ホスト側がなんらなの理由で動作していない場合、たとえば、出張先でホストであるＰＣを持たずにペンだけ持ち出しておいて、出張先で議事などを筆記した内容はペンの中にデータを保存しておき、帰社後オフィスのＰＣにて読み出すことが可能である。なお、本実施形態では、無線によりＰＣでデータを転送したが、これに限らずに有線でもよい。

次に、専用用紙上に付された符号データを電子ペン１が読み出す動作について説明する。
図９は、本実施形態における電子ペン１に内蔵されている符号データの読み出し機構の概要を示す。同図は、ＣＰＵ９０１によって読み出されて実行される符号データ処理を機能ごとに示したものである。画像と圧力のデータは、イメージセンサ８および圧力センサ４から入力される。同図の動作原理については後述する。

図１０は、本実施形態における入力画像の一例を示す。実施形態では、画像は１２８×１２８のサイズで、各ドットの濃淡は８ビットのデータになっている。取り込まれた画像は、符号画像処理部２０１で画像処理されて、最終的には画像データ１ドットが符号シンボルの1ドット（１格子とも呼ぶ。図６の四角マス１つに対応するものであり、１ブロックは９×９ドットから構成される）に対応する格子行列の呼ばれるデータに変換される。

格子行列Ｌ（ｍ，ｎ） （０≦ｍ，ｎ）は、符号が配置可能な位置を配列データの１つに割り当て、その配列にマークの有無を記録したものである。つまり、格子行列Ｌ（ｍ，ｎ）は、次のような要素をもつものである。

行列のサイズは、特に入力画像とは関係ない。
これにより、予め取り込まれる可能性のあるブロックサイズに対応した最大の配列の大きさを確保することができる。ｍ＝ｎ＝０の原点も入力画像とは関係ない。また、検出された符号マークが、適切にこの配列内に収まるように決定される。

図１１は、本実施形態における格子行列データをイメージ化したものを示す。通常、格子点に符号シンボルがある場合には、画像処理で得られた符号のラベリング番号（後述する）が記録される。
格子行列データは、画像撮影における影響を受ける部分が全て取り除かれる。図９において、符号画像処理部２０１で格子データが生成されると、この格子データは符号デコード部２０２に送られ、符号の復号処理がなされ、座標データとＺデータ（オプションデータ）が抽出される。抽出された座標は、軌跡記録部２０３に送られる。他方、ペン１の圧力データは、筆圧変換部２０４で筆記者の筆圧に応じた複数の段階のうちのいずれかの段階に変換される。

本実施形態では、検出された筆圧から変換される値として、０〜２５５までの２５６段階がある。例えば、変換後の値が０の場合はペン先が紙面から離れた状態にあり、変換後の値が１以上の場合には紙面に接している、すなわち、ペンダウン状態である。この値は、筆圧に応じて大きくなり、最大２５５までの値に変換される。この変換された値も軌跡記録部２０３に送られて、前述した座標データ共にセットで軌跡データとしてメモリ２０５に記録される。

記録された軌跡データは、ホストコンピュータと通信可能状態にある場合に軌跡読み出し部２０７によってメモリ２０５から読み出され、ＲＦ通信回路１３に転送し、ホストへデータ転送される。符号デコード部２０２で抽出されたＺコードは、座標データと共にオプションデータ記録部２０６にて、座標位置でアドレスされる領域にオプションデータが格納される。

次に、符号画像処理について説明する。前述したように、符号画像処理部２０１は符号を撮影した入力画像から格子行列を作成する。入力画像は、所定時間ごとに撮影され、取り込まれる。ここで、撮影開始後ｎ枚目の画像をＰｎ（ｘ，ｙ）とする。ｘ，ｙは画素のインデックスである。１≦ｘ≦１２８，１≦ｙ≦１２８の値をとるものとする。

各画素インデックスに対応する画素値はグレースケールで表され，その値は０〜２５５の２５６段階の範囲内で表される。この画像の一例が図１０である。図１０の横方向がＸ軸で、縦方向がＹ軸で描画されている。
図１２は、本実施形態における符号画像処理部２０１の処理フローを示す。符号画像処理部２０１に読み込まれた画像は、同図に従って処理される。読み取られた画像は、まず、２値化され、符合シンボルと背景（紙面）とに分けられ、２値画像ＢＷ（ｘ，ｙ）を生成する（Ｓ１）。

次に画像へのラベリング処理が行われる。ラベリングとは、２値画像から画素連結している領域に対して番号を付加し、その領域に対応する画素の値をその番号に置き換えたラベル画像データＬＩ（ｘ，ｙ）を生成することである。背景を０とし、符号シンボルと思われる領域を順番に１から番号を割り当てられたラベリング画像が作成される（Ｓ２）。

次に、ラベリング領域の特徴パラメータが抽出され、各領域の重心とサイズの計算がされる（Ｓ３）。ここでは、次のことが行われている。まず、Ｓ２の処理で検出された領域の個数をＭ個とする。このラベリング画像からＭ個の各領域の重心ＬＭ（ｉ）とサイズ（面積）ＬＳ（ｉ）を求める。

ＬＳ（ｉ）＝ラベル領域ｉに含まれる画素数
ＬＭ（ｉ）＝ラベル領域ｉの画素ベクトルの平均
次に、領域を分割する（Ｓ４）。本実施形態で用いている符号パターンは、四角の形状の符号マーク（図６、図７参照）とＬ型の同期マーク（図７参照）であるが、符号マークの面積を１とした場合、同期マークは３になる。ここで、同期マークが正しく検出可能な大きさの最大限度は、図１３に示すように面積８である。

また、１ブロック内に１つの同期マークと３つの符号マークが生成されるので、これらのマークの平均面積は、符号マークの面積をｓとすると、３／４＊ｓ＋１／４＊ｓ＊３＝１．５ｓである。これらの条件から、次の方法により、ラベリングされた領域の大きさに従って分類する。ラべリングされた領域の面積の平均値ＭｅａｎＳを次の式より求める。

ＭｅａｎＳ＝（ΣＬＳ（ｉ））／Ｍ
これから予測符合マーク面積ｓ’＝ＭｅａｎＳ／１．５を計算する。
・ケース１： ＬＳ（ｉ） ＜ ｓ’／２ ノイズとして除去する
・ケース２： ｓ’／２ ＜ ＬＳ（ｉ） ＜ ２ｓ’ 符号マークと判断する
・ケース３： ２＊ｓ’ ＜ ＬＳ（ｉ） ＜ ８ｓ’ 同期マークと判断する
・ケース４： ８＊ｓ’ ＜ ＬＳ（ｉ） ノイズとして除去する
さて、一度分類した後に上記のケース４が多く検出される場合には、予測符号マーク面積がこれらのノイズによって違っている可能性があるので、これらのノイズを除去して再度分類し直した方が良い場合も考えられるが、正常な範囲においてはそのようなノイズが多く検出されることはない。ただし、ペン先の像などが撮影した画像の領域内に含まれているのであれば、予め除去しておくことが必要がある。

このようにして分類できた２つのグループ（符号マーク、同期マーク）をそれぞれ、符号シンボル群と同期シンボル群と呼ぶことにする。また、符号シンボルの重心ベクトルデータ群をＰｘｃ（ｉ）ｉ＝１〜Ｎｃ，同期シンボルの重心データ群をＰｘｓ（ｉ）ｉ＝１〜Ｎｓとする。ここでＮｃ，Ｎｓはそれぞれのシンボル群に属するマークのラベル数である。

次に、符号画像の判定を行う（Ｓ５）。ＮｓとＮｃの数を調べて、読みとった画像が専用紙の符号画像であるか否かを推定する。次の条件を全て充足した場合に、その画像を符号画像とする。
１．同期シンボル数Ｎｓが４以上 （少なくとも符号を読み取るために最低必要な数）
２．符号シンボルが１６以上 （少なくとも符号を読み取るために最低必要な数）
３．符号シンボル数が１２８以下 （理論的にとれる最大数）
上記より、符号画像と判断されない場合には（Ｓ５で「Ｎｏ」へ進む）、読み込んだ画像は専用用紙表面に割り振られた符号の画像ではないということになるので、本フローは失敗となる。また、符号画像と判断される場合、すなわち、専用用紙上に電子ペン１で筆記している場合（Ｓ５で「Ｙｅｓ」へ進む）にはＳ６の処理を行う。

次に、同期マークパラメータを求める（Ｓ６）。このＳ６の処理では、Ｓ６−１，Ｓ６−２，Ｓ６−３の３ステップからなっており、このＳ６−１，Ｓ６−２，Ｓ６−３の順番にしたがってパラメータを決定していく。ここでの処理の概要を説明すると、読み取った画像は、紙面に対して斜め方向から撮影される場合が多いので、概して台形ひずみが生じているので、そのひずみを修正し、位置座標を特定することである。

まず、Ｓ６−１では基底ベクトルの概算を検出する。これを、図１４を参照しながら説明する。
図１４は、本実施形態における基底ベクトルＥｕ，Ｅｖを示す。縦と横の隣接した同期マークまでのベクトルＥｕ，Ｅｖを計算し、このベクトルを基準に同期マークの位置を次の手順で求める。

（ａ１）同期マーク位置集合Ｐｓ（ｉ）から中心に最も近いマークＭｓ１を選ぶ。ここの座標をＰｓｃ＝（ｘ_c，ｙ_c）とする。（ここで、中心に近い点を選ぶのは、この点近
傍には少なくとも２点以上存在するであろうから、近傍の点は少なくとも一つは対角点でないものが選ばれるようにしているため）
（ａ２）他のマークとの差分ベクトルと距離を計算する。

（ａ３）最も近いマークを選び、差分ベクトルをＥｕベクトルＥｕ＝（ｘ_u，ｙ_u）とする。それに直行するＥｖベクトルをＥｖ＝（ｘ_v，ｙ_v）とする。
（ａ４）射影の影響が強いと、入力画像が正しく格子インデックスが求まらない場合がある。Ｐｓｃ＋Ｅｖ付近で最も近いマークを探す。見つかったマーク座標をＰｓｖとすると、Ｅｖの値をＰｓｖ−Ｐｓｃと書き換える。見つからない場合にはＰｓｃ−Ｅｖ付近のマークを捜し、ＥｖはＰｓｃ−Ｐｓｖで書き換える。

次に、Ｓ６−２の格子行列のインデックスの算出について説明する。
（ｂ１）下の式を使って、全てのマークにおいて、差分ベクトルから描く同期マークのｕ，ｖ座標系の位置座標Ｐｕｓ＝（ｕ，ｖ）を求める。ｕ，ｖベクトルを基底ベクトルと
する座標系の変換式（射影なし）は、

の関係があるから、

（ｂ２）必要であればｕ、ｖの検証を行う。たとえば、ｕ、ｖの切捨てが０．３以上の
場合は、主軸が間違っていたとして他のＥｕベクトル候補を探す。
（ｂ３）このようにして得られた各格子マークに対応する（ｕ，ｖ）座標を、
Ｐｓｕ（ｉ）＝（ｕ_i，ｖ_i）
とする。

（ｂ４）このままでは、Ｐｓｕの最大値・最小値が分からないので、調べておく。
Ｐｕｓｍｉｎ＝（ｍｉｎ（ｕ_i）−１，ｍｉｎ（ｖ_i）−１）
Ｐｕｓｍａｘ＝（ｍａｘ（ｕ_i）＋１，ｍａＸ（ｖ_i）＋１）
次に、Ｓ６−３の同期マークによる詳細格子構造パラメータ計算について説明する。同期マークのｕ，ｖ座標が得られたので、これから逆に格子構造のアフィンパラメータ（ｕｖ座標からｘｙ座標変換式）を精度よく求める方法を検討する。

アフィン変換は、

である。今回は射影パラメータも考慮する。したがって、最終的なマッピングは、

である。
上記のアフィン変換は、ロスなしで正規化できるので、ａ₃₃＝１とできる。したがって、ａ₃₃以外の８変数を求めればよいので、４点で（ｘ，ｙ）と（ｕ，ｖ）の関係が分かっ
ていれば良い。（ｕ_k，ｖ_k）と（ｘ_k，ｙ_k） （ｋ＝０，１，２，３） をこの４点とすると、上の式は

となる。したがって、この式からパラメータを求めればよい。
上記の処理によって得られた同期シンボルの座標値（ｕ，ｖ）を調べて、なるべく離れ
た４点を抽出して、アフィンパラメータを求めた方がカメラの分解能からいって望ましい。ここでは、計算を簡単にするため、４点はさらに四角形（長方形を含む）の形で最大の４点の抽出を行う。

（ｕ_c，ｖ_c），（ｕ＋ｋ_u，ｖ_c），（ｕ_c，ｖ_c＋ｋ_v），（ｕ_c＋ｋ_u，ｖ_c＋ｋ_v） ＜ｋ_u，ｋ_v＝整数＞ が非零で、なるべく大きい値のものを探す。見つかった４点でアフィン変換Ｔｆのパラメータを求める。

次に、格子パラメータを求める（Ｓ７）。Ｓ６では同期マークのアフィンパラメータを求めたが、さらに符号点のアフィンパラメータを求めていく。符号マークについても、同期マークと同様に台形ひずみが生じているので、そのひずみを修正して位置座標を特定させる。

図１５は、本実施形態における同期マークの幅から格子点幅へ座標スケールを変換した図である。同期マークは、同図のように格子点ｇ＝９個おきに存在するので、この格子点座標系（ｕ’，ｖ’）とすると、格子点のアフィン変換のパラメータＴｓｃは、

次に、同期マークがどの方向に向いているかを決定する（対角サンプリング・距離検出方法）。
図１６は、本実施形態における同期マークの方向の定義を示す。図１６（ａ）において、右方向への矢印を０度とすると、そこから時計回りに９０度、１８０度、２７０度となっている。図１６（ｂ）においては、同期マークが０度と９０度で表される場合を、ＢＲ（ボトムライト）方向という。同期マークが９０度と１８０度で表される場合を、ＢＬ（ボトムレフト）方向という。同期マークが０度と２７０度で表される場合を、ＵＲ（アッパーライト）方向という。同期マークが１８０度と２７０度で表される場合を、ＵＬ（アッパーレフト）方向という。

図１７は、本実施形態におけるｍ’−ｎ’軸を楔形の向く方向に設定したのを示す。図１８は、対角上をスキャンした図である。
格子点幅を１とする格子点幅座標系において、同期マークはそのマークのウィング（羽の伸びた）方向において２つの格子点においてマークが存在することになる。図１８のように配置された同期マークにおいて右方向をｕ軸、下方向をｖ軸としたときに、そのマーク方向を検出するのに、同期マークの重心点から、４方向（Ｅｕ，Ｅｖ，−Ｅｕ，−Ｅｖ）に対して、１格子距離だけ離れたところのマークがあるかを確認することで、そのマークの方向が検出できることが期待できる。

しかし、図１８のように重心は格子点からずれたところに位置しているので、ｕ軸、ｖ軸に沿って４方向を検査するより、図１８に示したように斜め方向で検査したほうが、検出率が向上することが期待できる。この場合、同期マークに対して右下方向（＋＋方向）が格子点幅座標系（ｕ’，ｖ’）で、重心点から（１／６，１／６）でマークの領域外になることがわかる。

さて、このような方法で検出する場合において、格子点幅座標でｕ軸方向に＋１移動すると入力画像座標系（ｘ，ｙ）での移動量をｄＰｕ，ｖ軸方向に＋１移動したきの移動量をｄＰｖとすると、（Ａ−７）式の関係から
ｄＰｕ＝（１，０，１）＊Ｔｓｃ＊Ｔｆ，
ｄＰｖ＝（０，１，１）＊Ｔｓｃ＊Ｔｆ
が成り立つ。これにより、４つの斜め方向のベクトルは、
Ｐｘ＋＋ ＝ Ｐｘ（ｉ）＋ｋ＊（ｄＰｕ＋ｄＰｖ），
Ｐｘ−− ＝ Ｐｘ（ｉ）＋ｋ＊（−ｄＰｕ−ｄＰｖ），
Ｐｘ＋− ＝ Ｐｘ（ｉ）＋ｋ＊（ｄＰｕ−ｄＰｖ），
Ｐｘ−＋ ＝ Ｐｘ（ｉ）＋ｋ＊（−ｄＰｕ＋ｄＰｖ）
で表される。ここで、ｋは重心点からどれだけ離れた距離にあるかを格子点幅座標系で示したものでｋ＝１で斜め隣の格子点の座標点になる。前述したように（＋＋方向）でｋ＝１／６で領域外、それ以外の方向はｋ＝５／６で領域外になる。本実施形態では、ｋ＝０．７で各方向にマークが存在したかで投票を行った。

Ｐ＋＋が勝者＝Ｖ（ＢＲ）、すなわち同期マークはＢＲ方向を向いている。
Ｐ−−が勝者＝Ｖ（ＵＬ）、すなわち同期マークはＵＬ方向を向いている。
Ｐ＋−が勝者＝Ｖ（ＵＲ）、すなわち同期マークはＵＲ方向を向いている。
Ｐ−＋が勝者＝Ｖ（ＢＬ）、すなわち同期マークはＢＬ方向を向いている。

それから、座標軸の回転させる。ここで後の処理を行い易くするために、（m’，ｎ’）座標において楔形がＢＲ方向に向くように変換する。ここで、m−ｎ座標系について説明する。ｕ，ｖ座標は、格子点幅座標系であって、格子点に沿って格子幅を１とした座標系を意味する。この座標系では同期マークの向きまでは指定されていない。そこで、格子点幅座標系（ｕ，ｖ座標系）であって、さらに座標系の軸（ｕ，ｖの軸）が、同期マークの長手方向に向いた座標系のものを、特に向きが指定された格子点座標系（ｍ，ｎ座標系）と呼ぶことにする。したがって、ｕ，ｖとｍ，ｎ座標との関係は単純な回転変換にある。

（ｕ，ｖ）座標において楔形の方向が回転変換させるＴｒは、
ＢＲ方向：回転なし Ｔｒ₀
ＢＬ方向：９０度回転 Ｔｒ₉₀
ＵＲ方向：２７０度回転 Ｔｒ₂₇₀
ＵＬ方向：１８０度回転 Ｔｒ₁₈₀
と表すことができ、このとき、式（Ａ−7）の変換式は、

である。このとき、Ｔｒは、以下のいずれかである。

それから、同期パターンの重心補正を行う。楔形の場合、その重心は格子点のグリッド上にないので、重心がずれている分、格子行列を補正する必要がある。図１９は、本実施形態におけるｍ−ｎ座標系とm’ −ｎ’座標系の関係を示す。同図のように、楔形型がＢＲ方向の場合、格子の中心点ｃから
（１・（０，０）＋１・（０，１）＋１・（１，０））／３＝（１／３，１／３）
ずれている。

ゆえに、本来の（ｍ，ｎ）座標は、前述の（m’，ｎ’）座標との関係でいえば、（m’，ｎ’）＝（ｍ−１／３，ｎ−１／３）である。（Ａ−８）式を修正して、

以上より、補正変換Ｔｃが求まる。
最終的に格子座標（ｍ，ｎ）から入力画像座標（ｘ，ｙ）の関係式は次式で得られる（
格子パラメータ）。

また、（ｍ，ｎ）−（ｕ，ｖ）座標の関係は、

次に、符号点の格子位置の計算を行う（Ｓ８）。前述したように、アフィン逆行列が分かっていれば、マークの重心点から格子座標への変換を行うことで、一番近い座標点を計算することができる。

ここで、Ｔａｉ（＝Ｔａ^-1）は次式から計算できる。

（参考：結局m’，ｎ’はδで割るので、Ｔａｉを求めるときにｄｅｔ（Ｔａ）で割る必要は無い）。Ｓ４で得られたＮｃ個の符号点の重心座標Ｐｘｃ（ｉ）を順番に（Ａ−１１）式に代入して、それぞれの符号点に対応するｍ，ｎ座標Ｐｍｃ（ｉ）を求める。
次に、符号行列の作成（Ｓ９）と出力（Ｓ１０）について説明する。格子行列Ｌは、同期マークの向きが右下（ｍ軸＋、ｎ軸＋）方向（ＢＲ方向）になるようになる。また、マークは、９の倍数の座標点に位置するようになる。

次に、格子行列Ｌ（ｍ，ｎ） （−ｕｍｉｎ＊ｇ＜ｍ＜ｕｍａｘ＊ｇ，ｖｍｉｎ＊ｇ＜ｎ＜ｖｍａｘ＊ｇ）を作成する。ここで、ｇ＝９であり、ｕｍｉｎ，ｕｍａｘ，ｖｍｉｎ，ｖｍａｘは検出できた格子点のｕ，ｖ座標系での最小、最大のことを意味する。本実施形態では、同期マークが縦、横で最大５×５が入るような入力画像の画角にしているので、この部分は−４５＜ｍ＜４５，−４５＜ｎ＜４５となる。このとき、Ｌ（ｍ，ｎ）のすべての要素を全てを０に初期化する（ただし、−４５＜ｍ＜４５，−４５＜ｎ＜４５）。

Ｓ６−２にて、同期マークの重心データＰｘｓを同期マークの位置を基準とした座標系に変換を行った。これによって各ＰｘｓはＰｕｓに変換された。Ｓ６−２では、直行する同期マーク差分ベクトルＥｕ，Ｅｖを探し出して変換を行った。さて、同期マーク座標系Ｐｕｓと向きが指定された格子座標系Ｐｍｓとの関係は、Ｔｒ＊Ｔｓｃの関係があるので、Ｐｕｓ＝Ｐｍｓ＊Ｔｒ＊Ｔｓｃ となる。逆に、Ｐｍｓは、
Ｐｍｓ＝Ｐｕｓ＊（Ｔｒ＊Ｔｓｃ）^-1 （Ａ−１３）
から求められる。

そして、Ｓ６−２で求めたＰｕｓ（ｉ）から、各同期マークのＰｕｓ（ｉ）を（Ａ−１３）に代入して、各同期マークの格子行列の座標点Ｐｍｓ（ｉ）を求める。求めた（ｍ，ｎ）の格子行列に対応する同期マークのラベルを代入する。同期マークのラベルはＰｍｓ（ｉ）のインデックスｉです。したがって、下記の手順で同期マークを格子行列に記録を行う。

（ｃ１）ｉ＝０
（ｃ２）Ｐｍｓ＝（ｍ，ｎ）を次式で求める。
（ｍ，ｎ）＝Ｐｍｓ（ｉ）＝Ｐｕｓ（ｉ）＊（Ｔｒ＊Ｔｓｃ）^-1
（ｃ３）格子行列に該当同期マークのインデックスを記録する。

Ｌ（ｍ，ｎ）＝ｉ；
（ｃ４）ｉ＝ｉ＋１
（ｃ５）ｉ＜Ｎｓ（同期シンボル数）ならば、（ｃ２）へ戻る。
このようにして得られた格子行列Ｌを出力する。

次に、符号復号について説明する。まず、格子行列を入力し、これから復号を行う。これは、シンボル２ブロック×２ブロックの読み出し（４個の隣接するブロックの同期シンボルを頂点に対応づけた方形）によって、読み出した画像の位置の特定化が可能である。さらに、ごみなどによるドロップアウトの影響も考慮して、３×３ブロック以上を読み取れるように、イメージセンサの画角と分解能を決定している。

読み出した符号ビットに応じて、二次元符号のどのブロック番号に該当するパターンであるかをテーブルなどで参照して検索する。これによって、どの位置（Ｘ，Ｙ方向）のブロックパターンを読み取ったかを判別できる。
次に、ペン先座標点の補正について説明する。前述の通り、画像内にある複数ブロックパターンから２×２のブロックパターンを用いて、そのブロック番号が判別され、撮影された紙面の位置が特定できた。

しかし、このブロック番号は紙面上の一領域を示すもので、ペンの軌跡の座標位置を示すには粗すぎる。そこで、検出されたブロック番号の位置と、ペン先の相対位置を精度よく特定することで、精度のよいペン先の位置を得ることにする。実装上、ペンが紙面上に接地した状態において、ペン先の位置はカメラ画像の座標系で固定である。図２０に本実施形態におけるカメラ画像とペン先の位置関係の例を示しているが、同図に画像の座標系ｘ，ｙを加えた。このとき１画素を１単位とする。

ペン先が紙面上のどの位置にあろうとも、その位置は図２０に示される位置から動かない。例ではペン先の位置を撮影画像の外ではあるが、画像領域を越えた範囲も数値拡張して扱うことができる。本実施形態ではペン先のｙ座標は負の値をとるが数学上問題はない。ここで、カメラ画像の座標系でのペン先の位置をＰｘｐｅｎ＝（ｘｐｅｎ、ｙｐｅｎ）とする。前述したように、これは予め決定している定数になる。

図２１は、図２０の画像から得られた格子行列をイメージ化したものである。同図には、格子行列の座標系（ｍ，ｎ）も記載している。格子行列では配列の中心を原点とした。点線で囲まれた部分は、ブロック番号が判別された領域の符号ブロックである。便宜上、ブロックの原点をＬ型同期マークの左下を基点としている。今回の格子行列データから検出されたブロック領域の起点座標を格子行列の座標系での位置をＰｍ_ｓ＝（ｍｓｙｎ，ｎｓｙｎ）とする。

次に、格子行列座標系におけるペン先の位置Ｐｍ_ｐｅｎの求め方を記述する。（Ａ−１１）式において、Ｔａｉ（＝Ｔａ^-1）は既知であるので、（ｘ、ｙ）に（ｘｐｅｎ，ｙ
ｐｅｎ）を代入して得られる（ｍ，ｎ）がＰｍ_ｐｅｎ＝（ｍｐｅｎ，ｎｐｅｎ）である。

最後に、いま検出されたＸおよびＹのブロック番号がＸｂｌｋ、Ｙｂｌｋであるとすると、格子行列座標系における符号ブロックの大きさは９ドット×２ブロックであるので、ペン先の紙面座標（Ｘｐｅｎ，Ｙｐｅｎ）は、
Ｘｐｅｎ ＝ Ｘｂｌｋ＊９＊２−ｍｓｙｎ＋ｍｐｅｎ
Ｙｐｅｎ ＝ Ｙｂｌｋ＊９＊２−ｎｓｙｎ＋ｎｐｅｎ
で計算できる。

以上によって、紙面上でのペン先座標が、２次元符号ドットの分解能以上で得ることができる。
また、ペン軌跡の記録と転送について説明する。前述の通り、定期的に読み込まれる画像を解析することで、ペンの座標が得られる。したがって、これをそのときのペン圧と共にメモリ２０５に保存、転送することが可能になるので、転送先のホスト装置において、ペンの軌跡を再現描画が可能になる。

また、同時に読み出したオプショナル符号（オプションデータ）もホストに送ることが可能なので、このオプショナル符号を用いて様々な制御も可能になる。
以上より、紙面上に付された符号をカメラを用いて紙面に対して斜め方向から撮影した場合、その符号を正確に読み取り、かつ高速で読み取ることができる。また、Ｌ型の同期マークにもかかわらず、２元符号の格子点上の位置を簡単に計算できるので、高速な２次元符号を復号が可能である。また、同期マークの方向検出を高速に正確に行うことができる。また、高速でかつ精度のよい軌跡記録が可能な電子ペンを実現することができる。

（実施形態２）
本実施形態は、実施形態１の変形例である。実施形態１では、同期シンボルから、同期シンボルの射影パラメータを求めるのに、最大外郭の４点を選び出したが、４点以上の点から、ＱＬ分解などの手法をもちいて最小２乗誤差をもつようにパラメータを求めても良い。

これにより、パラメータの精度が向上する。

実施形態１における電子ペン１の構成図である。 実施形態１におけるインクジェットの制御ブロック図である。 実施形態１におけるディーティ変調によるペンの線の太さ制御を示す図である。 実施形態１における３軸加速度センサを用いた位置検出回路の構成を示す図である。 実施形態１におけるカメラから読み出した文字の筆記例を示す図である。 実施形態１における専用用紙上に割り当てられた情報シンボルと符号の割り当てを示す図である。 実施形態１におけるブロックのシンボル配置を示す図である。 実施形態１における紙面一面に付されたシンボル（符号データ）の例を示す図である。 実施形態１における電子ペン１に内蔵されている符号データの読み出し機構の概要を示す図である。 実施形態１における入力画像の一例を示す図である。 実施形態１における格子行列データをイメージ化したものを示す図である。 実施形態１における符号画像処理部２０１の処理フローを示す図である。 実施形態１における検出可能な同期マークの大きさの最大限度を示す図である。 実施形態１における基底ベクトルＥｕ，Ｅｖを示す図である。 実施形態１における同期マークの幅から格子点幅へ座標スケールを変換した図である。 実施形態１における同期マークの方向の定義を示す図である。 実施形態１におけるｍ’−ｎ’軸を楔形の向く方向に設定したのを示す図である。 実施形態１における同期マークを対角上にスキャンした図である。 実施形態１におけるｍ−ｎ座標系とm’ −ｎ’座標系の関係を示す図である。 本実施形態１における格子行列とペン先及び符号ブロックの位置関係を示す図である。 図２０の画像から得られた格子行列をイメージ化した図である。

符号の説明

１ 電子ペン
２ インクジェットノズル
３ ペン先
４ 圧力センサ
５ カラーインクカートリッジ
６ ３軸加速センサ
７ レンズ
８ ＣＭＯＳイメージセンサ
９ プロセッサ
１０ メモリ
１１ 電池
１３ ＲＦ通信回路
１４ 赤外ＬＥＤ
１５ 赤外フィルタ
１６ 電磁バネ
１７ インクジェット
１０３（１０３ａ、１０３ｂ、１０３ｃ、１０３ｃ） 弁
２０１ 符号画像処理部
２０２ 符号デコード部
２０３ 軌跡記録部
２０４ 筆圧変換部
２０５ メモリ
２０６ オプションデータ記録部
２０７ 軌跡読み出し部
２０８ オプションデータ処理部
９０１ ＣＰＵ
９０２ ＡＤ変換器
９０３ セレクタ
９０４ ＤＭＡ

Claims (13)

1. 所定の情報を表す符合マークと、該符号マークの前記情報を読み出す場合に同期をとるための同期マークと、からなる格子が複数記録された面を撮像する撮像手段と、
   前記撮像手段により撮像された前記面の画像から前記同期マークと前記符号マークとを分類する分類手段と、
   前記分類手段により分類された前記同期マークと前記符号マークとのひずみを修正するひずみ修正手段と、
   前記修正手段により修正された前記同期マークと前記符号マークに基づいて、該符号マークの座標を算出する算出手段と、
   前記算出手段により算出された前記符号マークの前記座標に基づいて、該符号マークの表す情報を読み出す符号情報読み出し手段と、
   を備えることを特徴とする符号情報読み出し装置。
2. 前記分類手段は、２値化された前記画像内の隣接する相互の画素において、相互に所定の画素値を有する場合に該画素群から構成されるそれぞれの領域に一意の番号を付与し、
   該領域の大きさに基づいて、前記同期マークと前記符号マークとを分類する
   ことを特徴とする請求項１に記載の符号読み出し装置。
3. 前記ひずみ修正手段は、前記画像の前記同期マークと前記符号マークとより求められる座標系を示す第１の座標系を、直交座標系である第２の座標系へ変換する
   ことを特徴とする請求項１に記載の符号読み出し装置。
4. 前記ひずみ修正手段は、前記分類手段により分類された前記同期マークのうち少なくとも４つの該同期マークに基づいて、前記第１の座標系から前記第２の座標系へ変換するためのアフィン変換のパラメータを算出する
   ことを特徴とする請求項３に記載の符号読み出し装置。
5. 前記ひずみ修正手段は、前記同期マークを表す前記領域の重心を補正する
   ことを特徴とする請求項１、３又は４に記載の符号読み出し装置。
6. 前記同期マークは所定の図形によって表されるマークであり、前記ひずみ修正手段は前記図形の形状に基づいて該図形の向きを決定する
   ことを特徴とする請求項１、３、４、又は５に記載の符号読み出し装置。
7. 前記ひずみ修正手段は、前記図形で表される前記領域内の所定の点から該領域の境界までの長さに基づいて、前記図形の向きを決定する
   ことを特徴とする請求項１、３、４、５、又は６に記載の符号読み出し装置。
8. 所定の情報を表す符合マークと、該符号マークの前記情報を読み出す場合に同期をとるための同期マークと、からなる格子が複数記録された面を撮像する撮像処理と、
   前記撮像処理により撮像された前記面の画像から前記同期マークと前記符号マークとを分類する分類処理と、
   前記分類処理により分類された前記同期マークと前記符号マークとのひずみを修正するひずみ修正処理と、
   前記修正処理により修正された前記同期マークと前記符号マークに基づいて、該符号マークの座標を算出する算出処理と、
   前記算出処理により算出された前記符号マークの前記座標に基づいて、該符号マークの表す情報を読み出す符号情報読み出し処理と、
   をコンピュータに実行させるための符号読み出しプログラム。
9. 前記ひずみ修正処理は、前記画像の前記同期マークと前記符号マークとより求められる座標系を示す第１の座標系を、直交座標系である第２の座標系へ変換すること
   をコンピュータに実行させるための請求項８に記載の符号読み出しプログラム。
10. 前記ひずみ修正処理は、前記分類処理により分類された前記同期マークのうち少なくとも４つの該同期マークに基づいて、前記第１の座標系から前記第２の座標系へ変換するためのアフィン変換のパラメータを算出すること
    をコンピュータに実行させるための請求項９に記載の符号読み出しプログラム。
11. 前記同期マークは所定の図形によって表されるマークであり、前記ひずみ修正処理は前記図形の形状に基づいて該図形の向きを決定すること
    をコンピュータに実行させるための請求項８、９、又は１０に記載の符号読み出しプログラム。
12. 筆記対象媒体に筆記した文字又は図形を、電子データとして取得するペン型データ入力装置において、
    所定の情報を表す符合マークと、該符号マークの前記情報を読み出す場合に同期をとるための同期マークと、からなる格子が複数記録された面を撮像する撮像手段と、
    前記撮像手段により撮像された前記面の画像から前記同期マークと前記符号マークとを分類する分類手段と、
    前記分類手段により分類された前記同期マークと前記符号マークとのひずみを修正するひずみ修正手段と、
    前記修正手段により修正された前記同期マークと前記符号マークに基づいて、前記格子における該符号マークの座標を算出する算出手段と、
    前記算出手段により算出された前記符号マークの前記座標に基づいて、該符号マークを読み出す符号情報読み出し手段と、
    前記筆記対象媒体に前記文字又は前記図形を筆記する筆記手段と、
    を備えることを特徴とするペン型データ入力装置。
13. 前記ペン型データ入力装置は、さらに、
    前記符号情報読み出し手段により読み出した前記符号マークの表す前記情報を外部装置に送信する送信手段
    を備えることを特徴とする請求項１２に記載のペン型データ入力装置。
    
    
    

Images