JP2005332351A - マーク用紙およびそのプログラム - Google Patents

Abstract

【課題】 印刷物をはじめとする紙は日常的な情報伝達のために広く利用されているにもかかわらず、情報処理装置の入出力手段としてはあまり利用されていない。特に入力には簡単なマークシートとＯＣＲ以外はほとんど使われていない。
【解決手段】 紙に薄く紙上の位置を示す図のようなマークを印刷した用紙上にペン先にカメラを装着した電子ペンで書くと、カメラがマークを読み取りペンの軌跡をとらえることができる。それにより手書き文字を入力したり、コマンドを入力したりすることで紙を媒介にした情報入力を実現する。
【選択図】 図１

Description

本発明は大きくは情報処理システムに属する。従来情報処理システムの一部として扱われることの少なかった印刷物などの紙媒体を情報処理システムの一部として組み込んで扱う手段に関するものである。

具体的には印刷物の内容の大切な部分、たとえば通信販売用のカタログの商品名に重ねて本発明の一部をなすコマンドマーク行列を薄く、赤外光を吸収する物体を含むインキで印刷しておき、特殊な電子ペンでそこに触れることによってそのコマンドマーク行列を読み取る。それをパーソナルコンピュータ（パソコン）などの情報処理装置に転送することによりコマンドマーク行列の意味を解読して、その動画像情報をディスプレイに表示するなど、紙と情報処理装置を統合して利用することを可能にする。さらにコマンドマーク行列とは別に位置指定マーク行列を上記のインキで印刷した用紙に電子ペンで手書きすることにより手書きの筆跡を取得することも可能になる。このように紙媒体と情報処理装置を結びつけるマーク用紙とその作成プログラムが本発明を成している。

従来印刷物と情報処理装置を関連付ける方法として大きく２種類の方法があった。
第一は印刷用紙に磁性体を塗布または印刷インクに磁性体を混合しておき、その磁性体の該当個所を符号化しておく方法である。用紙に磁性体を塗布する方法はテレホンカードに見るごとく、折れにくい用紙をしかも片面しか印刷物として使えないことが欠点であり、しかもコストも高い。通常の印刷物には使えない方法である。
第二には印刷物に通常の印刷物以外に特殊なコードまたはパターン、文字などを印刷しておき、それらを画像として読み取り、それを認識する方法がある。
第三には世界知的財産機構（ＷＰＯ）から公開されている特許出願ＷＯ ０１／２６０３２、ＷＯ ０１／１６６９１、ＷＯ ０１／２６０３４などにあるＡＮＯＴＯ社の方法である。これはすでにＡＮＯＴＯ社から商品化され、一般に販売されている。
第一の方法は一般の印刷物や日常的に使用される用紙には適用できない。第二の方法は印刷物中認識できる個所に制限があるほか、手書き情報の入力には利用できない。
本発明は第三の方法を改良し、低コストで、ネットワーク設備などはない環境で、スタンドアロンで使用可能にしたものである。つぎにＡＮＯＴＯの技術の概要を説明する。

図１７にはＡＮＯＴＯ特許で使用する４進パターンの原理を示す。これは本発明の図１に示す４進マークに相当するものである。このパターンは値との対応など細部を除くと、特許出願ＷＯ ０１／２６０３２によってすでに公知になっている。図１７に示すパターンは垂直と水平の軸（ラスターと呼んでいる）から水平方向、垂直方向にずれて配置されたドットで構成されている。垂直軸と水平軸の交点である仮想的な原点から上にずれたものを値１、右にずれたものを値２、下にずれたものを値３、左にずれたものを値４として説明する。この４進パターンを原点間隔０．３ｍｍとし、ドット中心の原点からのずれを０．０５ｍｍ、ドットの直径を０．１ｍｍより少し小さな値にとり、ラスターを除いて紙に赤外光を吸収するカーボンブラックを含むインキで印刷したものがすでに市販されている。４進パターンの配列ルールは特許出願ＷＯ ０１／１６６９１に記載されている。この配列によれば、用紙上の位置を表すマトリクスを６ｘ６にとれば、約４００万平方キロメートルのスペースの位置が０．３ｍｍの分解能で指定できる。この従来技術では図１７のパターンに相当する４進数を図１８に示すＸ値とＹ値に対応させる。このＸ値を用いて用紙の水平方向の位置（Ｘアドレス）を、Ｙ値を用いて垂直方向の位置（Ｙアドレス）を指定する。具体的には０．３ｍｍ間隔のドットを６ｘ６マトリクスで意味をもたせ、その４進数マトリクスを図１８を用いてＸマトリクスとＹマトリクスに分け、６ｘ６のＸマトリクスでＸアドレスを、６ｘ６のＹマトリクスでＹアドレスを規定する。そのマトリクスを特殊なシーケンスを使って構成し、０．３ｍｍ間隔でアドレス指定する方法がこの特許の根幹の１つである。そのときに用いるシーケンスは５１ビットであるが、わかりやすくするため図１９に示す７ビットで説明する。このシーケンスは循環的に７つの連続する４ビットをとるとすべてが異なっている。それらに図１９に示す値を与える。この７ビットシーケンスの位相をずらせたものを並べて、同じ位置の連続する４ビットの差をとるとどの位置でとっても同じ値になる性質がある。
図２０にＸ側の配列とＹ側の配列、およびそれらを図１８によって４進数にした配列を示す。Ｘ側の配列は列方向（垂直方向）に位相が異なる７ビットシーケンスが循環的に並べられており、Ｙ側は行方向（水平方向）に７ビットシーケンスが位相を変えて並べられている。このそれぞれの並べ方によって任意の連続する４ｘ４マトリクスが一意のアドレスを表すように構成するのがＡＮＯＴＯ特許の骨子の１つである。
こうして構成した４進数マトリクスを図１７に示す４進パターンで置き換えたものを、薄く、人間の目にほとんど見えないように印刷したものが、ＡＮＯＴＯペーパーなどと呼ばれ、その上に手書きする筆跡を取得するために使われる。インキは赤外光を吸収するもので、赤外光を発行する電子ペンで書き、その反射映像を時々刻々取り込み、４進パターンの組み合わせである４進数マトリクスからペンの位置を復元する。このマトリクスから位置を割り出すときに７ビットシーケンスの連続する４ビットの差分は不変であるという性質を用いる。この性質が図２０の列方向に利用され、列間の差分でＸアドレスを構成している。こうしてＸアドレスがわかると、Ｙアドレスは４ｘ４のＹアドレスの各行の値を最左端の値に換算できるので、連続する４行の値の組み合わせからＹアドレスを復元する。
実際はこれを連続する６ビットがすべて異なる５１ビットのシーケンスで６ｘ６マトリクスを構成することで商品化している。
電子ペンが読み取る４進パターンは、図１７に示すラスタが書き込まれないまま６ｘ６で用紙上に印刷されている。電子ペンで読み取るさい、４進パターンだけの情報からまずラスタを復元し、それぞれのラスタ原点からのずれの方向で、４進パターンの値を読み取る。このため電子ペンと用紙の相対的な傾きや回転を補正する画像処理をまず施し、ついでラスタ復元処理に入る。ラスタが復元できると４進パターンの値は簡単に読み取れる。次にパターンの値の組み合わせから６ｘ６のマトリクスを構成し、そのＸマトリクスとＹマトリクスからそれが位置指定のためのＸアドレス、Ｙアドレスになっているかどうかを判断する。もしなっていなければペンと用紙の回転角度を９０度増して同じことを試みる。こうして４進パターンのマトリクスが指定するアドレスが始めて読み取ることができる。
６ｘ６マトリクスは約４００万平方Ｋｍの面積を定義する。そこからたとえばＡ４相当分のパターンを切り出し、マーク用紙として印刷する。するとそのパターンのほんの一部を読み出すだけでその用紙が特定できる。その用紙の左上隅のＸアドレスとＹアドレスをペンの現在位置から引き算すれば用紙上のペン位置を求めることができる。これが公知のＡＮＯＴＯ社の技術の原理である。ＡＮＯＴＯ技術ではコマンドを表すにも位置情報を使用する。すなわちコマンドに相当する文字やアイコンが印刷されている位置情報をペンが拾ってくるとそれはコマンドであると解釈するのである。

ＡＮＯＴＯ社の技術では用紙のＩＤはそれが含む４進パターンによって一意にきまるが、そのパターンをＡＮＯＴＯ社の全パターンを管理するウェブサイトに提示しなければそれがわからない。しかも用紙上のペン位置もネットワークを通じて左上隅のアドレスが与えられないと計算できない。このようにネットワークがなければ使えない技術であり、大きなシステムを背景に必要とする。コマンドについても用紙設計によってどの位置がアドレスで、どの位置がコマンドかが決められるので電子ペン内ではその区別ができない。これらを含めて、持ち運んで気軽に使えるためにはつぎのような課題の解決が必要である。
ａ） ネットワークやホストコンピュータがなくても用紙内の位置が特定できる４進マークとその位置指定マトリクスの構成
ｂ） 傾き補正や回転補正、さらには用紙の向きを特定する処理などを不要とする４進マーク
ｃ） ４進マークの組み合わせである４進マトリクスだけで位置指定かコマンドかがわかるマトリクス構成
ｄ） ネットワークやホストコンピュータがなくても自動的に判別できる用紙のＩＤ
ｅ） 位置指定の中に混在してコマンド配置できるマトリクス配列
などが課題である。

本発明はこれらを解決できるマーク用紙とそれを作成するソフトウェアに関わるものである。

ａ）は位置指定のマトリクスの原点をすべての用紙の左上隅に定義することで解決する。ｂ）は４進マークそのものに方向性を持たせることで解決する。ｃ）はマトリクスの予め定める特定要素を０にしたものを位置指定とし、それを１にしたものをコマンドマトリクスとして定義することで解決する。ｄ）は用紙上で手書き入力した後手書きデータをパソコンなどへ手書きの電子ペンから送信するための文字またはアイコンに組み込む送信コマンドを表すマトリクスにＩＤを包含させておき、送信の行為だけでＩＤ指定ができるようにして解決する。ｅ）はコマンドを表すマトリクスと位置指定マトリクスとの境界に明らかに無効とわかるマトリクスを挿入することで境界をわかりやすくすることで解決する。

発明の一実施例の説明

｛４進マーク｝
図１は本発明に利用する４進マークを示す。０．４ｍｍＸ０．４ｍｍの正方形を図１に示すように、５ｘ５の正方格子に分割し、図に示す格子のみを黒くしたものである。４進数との対応は、左端の列の最下部の格子を除く４つの格子を下から黒くし、その数をマークの値とする。この４つの格子を符号格子と呼ぶ。最下行の５つの格子（これを底辺格子という）をすべて黒くすることにより４進マークの方向性が判別しやすくする。このようなすべての底辺格子が黒いマークを黒底辺マークと呼ぶ。このようなマークをマトリクス（行列）状に配列することにより用紙上の位置やコマンドを表すことにするが、黒底辺マークが行方向に並ぶので、底辺格子が連続した黒い底辺になり、判別しやすくなる。さらに１つの行の底辺をたどれば５つの格子ごとに垂直方向に符号格子が存在するので４進マークの境界が見つけやすい。
なおここで符号格子を左端にとったが、これは右端にしてもかまわない。底辺格子を黒くしたが、これは上辺格子でもかまわない。この４通りの組み合わせはすべて本発明に含まれる。さらに４進マークの大きさも０．４ｍｍ正方格子とは限らない。たとえば０．３ｍｍの正方格子や０．４ｍｍｘ０．３ｍｍのような長方格子も本発明にふくまれる。

｛４進数のＸ，Ｙへの分解｝
図２に４進数のＸ，Ｙへの分解の実施例を示す。これは４進数１，２，３，４ を、Ｘ，Ｙの４つの組み合わせ ００，０１，１０，１１にいかに対応させるかであり、図２に示す以外の対応を採用してもかまわない。それらも本発明に含まれる。
図２に示す対応関係を採用したとき、３ｘ３の４進数のマトリクス（行列）は図３に示すＸマトリクスとＹマトリクスに分解される。４進数のマトリクスを４進マトリクスと呼び、これを４進マークにしたマトリクスを４進マークマトリクス（または４進マーク行列）と呼ぶ。逆にＸマトリクスとＹマトリクスが存在するときはその両者から４進マトリクスを作ることができる。

｛位置マトリクスの配列｝
図４に本発明を３ｘ３マトリクスで構成する場合のマトリクスの種類とその識別法を示す。まずＸマトリクスの第１行、第３列の要素、すなわち（１，３）要素を０にしたものを位置マトリクス、または位置指定行列と呼ぶ。さらにそのＹマトリクスの（３，１）要素を０としたものを通常位置マトリクス、１としたものを送信付き位置マトリクスと呼ぶ。その他のコマンドマトリクスについては別に詳述する。
３ｘ３の位置マトリクスの配列法を図５を用いて説明する。説明では位置マトリクスはそのＸマトリクスで用紙の水平方向の位置、Ｙマトリクスで垂直方向の位置を定めるが、これは逆でも本発明に含まれる。
Ｘマトリクスは第１列の上からの３要素（ａ，ｂ，ｃ），第２列の上からの３要素（ｄ，ｅ，ｆ）と第３列の下の２要素（ｇ，ｈ）とで、その水平方向の位置を定義する。するとこれらは
第１列（ａ，ｂ，ｃ）で値
ｃ＋ｂｘ２＋ａｘ２ｘ２＝ｉ，
第２列（ｄ，ｅ，ｆ）で値
ｆ＋ｅｘ２＋ｄｘ２ｘ２＝ｊ，
第３列の右の２要素（ｇ，ｈ）で値
ｈ＋ｇｘ２＝ｋ
を定めるものとすると、
Ｘマトリクスは
ｉ＋ｊｘ８＋ｋｘ８ｘ８＝Ｕ
なる水平位置を指定することになる。
同様にＹマトリクスが配列される。第１行（ａ，ｂ，ｃ）で値
ｃ＋ｂｘ２＋ａｘ２ｘ２＝ｍ，
第２行（ｄ，ｅ，ｆ）で値
ｆ＋ｅｘ２＋ｄｘ２ｘ２＝ｎ，
第３行の右の２要素（ｇ，ｈ）で値
ｈ＋ｇｘ２＝ｐ
を定めるものとすると、Ｙマトリクスは
ｍ＋ｎｘ８＋ｐｘ８ｘ８＝Ｖ
なる垂直位置を指定することになる。
図５のマトリクスの例ではＸマトリクスの５つ目は Ｕ＝７，７つ目は Ｕ＝６３ になる。Ｙマトリクスの６つ目は Ｖ＝８ になる。このようなＸマトリクスは用紙上では垂直方向に同一のものが並び、Ｙマトリクスは水平方向に同一のものが並ぶ。それぞれの位置でＸマトリクスとＹマトリクスから４進マトリクスを作り、それを４進マークマトリクス（位置指定マーク行列）として配列し、それを薄く印刷した用紙を作り、その上に手書きすることで手書き入力する。
４進マトリクスのそれぞれの要素を図１を用いて４進マークに置き換えたものを図６に示す。３ｘ３の４進マトリクスは図６の下段に示すとおりである。４進マークで配列すると、すでに述べたようにすべてが黒底辺マークになっているので、底辺が黒で連続することになる。このように位置マトリクスをマ−クで置き換えてできるマトリクスを４進マーク位置マトリクスまたは位置指定マーク行列という。なおこのＸマトリクス、Ｙマトリクスは図３に示したとおりである。

｛位置マトリクスの紙のうえでの配列｝
図６に示した４進マークによる３ｘ３ ４進マーク位置マトリクスは、ＸマトリクスとＹマトリクスの配列にしたがって用紙上に印刷することになる。それを後に述べる電子ペンで読み取るさい、マトリクスの境界を判別しやすくする必要がある。そのため３ｘ３の位置マトリクスをひとかたまりとしたとき、ちょうどマーク１つ分のスペースを空ける。そのためのマークを境界マークと呼び、図７に示す２種類の境界マークを使い分ける。図７の黒底辺境界マークは４進マークマトリクスの第３行に相当する位置の境界に使い、その他の境界には図７の白境界マークを使用する。黒底辺境界マークは図１の４進マークにおいて符号格子の部分をすべて白くしたものであり、白境界マークは図１のマークの全格子を白くしたものである。こうすると用紙上で、４進マークマトリクスの第３行はマーク間もその底辺が水平方向に黒で連続することになる。
図８にその様子を示す。４進マーク位置マトリクス（位置指定マーク行列）を正方形の灰色で示すが、それらの境界は第３行間が黒底辺境界マトリクスで接続されるので、底辺が連続した黒い帯状の縞になる。これを基底辺と呼ぶ。それ以外は白境界マトリクスで接続されるので、マトリクスの境界が明らかになる。
これを実際の４進マークマトリクスで示したのが図９である。図９では右上に図３で示した４進マトリクスが４進マークで配列されている。この４進マークマトリクスの第３行が左方向に黒底辺境界マトリクスで１つ左の４進マークマトリクスに接続されている。こうして基底辺が水平方向に伸びている。それ以外の境界には白境界マトリクスが配置されているので４進マークマトリクスは白いスペースで囲まれ、マトリクス境界が識別しやすくなっている。図９の左端には下段に示した４つのマトリクスの左上のマトリクスの第３列相当が、下端には左下と右下のマトリクスの第１行相当部が示されている。

｛アドレスの解読｝
紙に印刷したり、プリントアウトしたりする場合、４進マークは一例として０．４ｘ０．４ｍｍとする。すると３ｘ３の４進マークマトリクスは１．２ｘ１．２ｍｍになり、境界分を含めて１．６ｘ１．６ｍｍの正方形部分の情報があればそのマトリクスが解読できる。その方法を図１０に示す。
図５に示す配列にしたがって３ｘ３の４進マークマトリクスが図７に示す境界マークをはさんで印刷された用紙の上に、図１１に示すような電子ペンで手書きする筆跡を追跡する場合で説明する。用紙上に１１０１のボールペンで書き始めると、ボールペンの軸の上に付いている１１０２の圧力センサがペンの圧力を感じて書き始めたことを知る。するとその情報は１１０３の全体制御に入り、１１０４の光発生に光を発生させる。発生された光は１１０５のレンズを通して用紙上に印刷またはプリントアウトされたマークを照射する。光に反応したマークは１１０５のレンズを介して１１０６の光センサの上に結像し、センサで電気信号に変換される。１１０７の走査制御は１１０６の光センサを走査してその情報を内蔵する１１０８のビットマップメモリに記憶する。これらの技術はすべて公知の技術の容易な組み合わせでできる。
１１０６の光センサは６４ｘ６４の画素数とし、ペンと用紙が垂直の関係にあるとき、用紙上の２．４ｘ２．４ｍｍの正方面を撮像するよう調整しておく。すると１ｍｍあたりの解像度は６４／２．４であり、約２６．７画素／ｍｍになる。これは電子ペンと用紙の相対的傾きを４０度弱まで許容することになる。すなわち４０度弱に傾斜すると１ｍｍの長さが１．４ｍｍ程度に広がって見えるので、１．４ｍｍを２６．７画素で走査することになる。すると約７．６画素でマークの１辺を撮像することに相当する。符号格子や底辺格子の１辺を１．５画素強で撮像することになる。
こうして４進マークの１辺を１．５画素強の解像度で撮像すると図１２に示すような像が光センサ上に得られる。図１２（ａ）（最上部）と図１２（ｂ）（中段部）は用紙と電子ペンの相対的回転が４５度の場合を示す。画素と格子の相対的な関係で直線部は（ａ）のように細くなったり、（ｂ）のように太くなったりする。底辺格子に垂直な符号格子は，最上段の（ａ−１）が２を、中段の（ａ−２）と下段の（ａ−３）が１を示している。このように符号格子も（ａ−２）のように太くなったり、（ａ−３）のように細くなったりする。図１２（ｂ）では底辺が太いので１の符号は、（ｂ−１）のように底辺部に埋め込まれたようになる。図１２（ｃ）は回転角が小さい場合であり、図９のマトリクスの第２行を示している。これらの読み取りについては後述する。
こうして読み取った４進マークの例を図１０（ａ）の破線の内部に示す。マトリクスは境界マークをはさんで読み取られる。この破線内をＸとＹマトリクスに分解したものを図１０（ｂ）に示す。Ｘマトリクスの（１，３）要素が０であるので、これは位置指定行列であることがわかる。Ｘマトリクスは垂直方向に同じものが、Ｙマトリクスは水平方向に同じものが配列されているので復元は容易である。こうして図１０（ｃ）のようにＸ，Ｙマトリクスが復元できる。すると破線内の右上の要素のアドレスは図１０（ｄ）のように算出できる。このとき用紙上のアドレスは左上隅の４進マトリクスの左上の要素のアドレスを（０，０）とし、そのマトリクスの右下隣の対角線上の境界のアドレスを（３，３）と見なしている。このアドレス算出で括弧に４を掛けるのは境界を含めたマトリクスが４ｘ４であるからである。
コマンドマトリクスの場合は、一定の領域に同じマトリクスが配列されているので、図１０（ｃ）のＸマトリクス、Ｙマトリクスの復元はもっと容易である。

｛電子ペンの構造と用紙上の４進マークの読み取り｝
図１１に４進マークが印刷ないしプリントアウトされた用紙上に手書きする電子ペンの構成を示す。用紙に１１０１のボールペンで手書きするが、その開始はボールペンの芯に直結した１１０２の圧力センサで把握される。ペンダウンを検出すると、１１０２は１１０３の全体制御にその旨を通知し、制御開始を依頼する。１１０３は１１０４の光発生に赤外光をだすことを指令する。１１０４が発出した光は１１０５のレンズで絞って用紙上に照射する。それを受けたマークは黒い部分のインキが赤外光を吸収し、他の白い部分が赤外光の大半を反射する。これを１１０５のレンズで１１０６の光センサの上に結像させる。光センサは赤外光に感度が高いもので構成する。本実施例では光センサを６４ｘ６４のマトリクスとして説明しているが、本発明はこのサイズに限定されてはいない。マークの黒い部分を紫外光に反応するインキで印刷し、光に紫外光を含ませ、光センサを紫外光に感度が高いものにするのも本発明に含まれる。
１１０７の走査制御は６４ｘ６４の光センサが撮像した情報を走査し、それを対応する１１０８のビットマップメモリに一時蓄積する。１１０９の４進マーク読み取りはビットマップメモリ上の撮像データから４進マークを読み取る。読み取り方法は後述する。
１１１０のＸ，Ｙ分割は４進マークからＸ，Ｙマトリクスを作り、図１０で説明した方法で読み取った４進マークマトリクスの左上隅の要素のアドレスを求める。コマンドマトリクスではアドレスは不要であるが、その代わりＸ、Ｙマトリクスをコマンドとして解釈する。ＩＤ付き送信コマンドマトリクスの場合はＩＤを求める。１１１１はこうして読み取った４進マトリクスが送信付きかどうかを判断し、送信するときはＩＤをまず送信し、ついでそれまでに１１１２の入力バッファに記憶されているマトリクスを古い順に送信し、最後に最新のマトリクスを送信する。１１１３は送信回路で、ワイヤレス送信の場合はそのためのドライバ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）送信の場合はＵＳＢ制御回路になる。

｛３ｘ３の４進マークマトリクスの読み取り｝
図１２は１１０６の光センサで撮像したとき、４進マークマトリクスがどのように撮像されているかを示す。図１２の正方格子が１１０６の光センサの１つのセルに、またはビットマップメモリのメモリセルの１個に対応する。光センサはそのセンサセルの面積の半分以上が黒いマークで占められているとき黒として撮像されるよう調整されている。
本実施例はペンと用紙が垂直で、回転がないとき、６４ｘ６４のセルをもつ光センサが約２６．７画素／ｍｍの解像度で撮像する。これはすでに述べたように４０度弱傾いたとき格子の１辺が１．５画素強で撮像されることになる。図１２にはそのときの状況を示している。傾きがないときは１辺がもっと多くの画素で撮像されるので４進マークの撮像精度が増し、識別は図１２の場合より楽になる。図１２の説明はもっともむずかしい場合を説明することになる。

こうして４進マークの１辺を１．５画素強の解像度で撮像すると図１２に示すような像が光センサ上に得られる。図１２（ａ）（最上部）と図１２（ｂ）（中段部）は用紙と電子ペンの相対的回転が４５度の場合を示す。画素と格子の相対的な関係で直線部は（ａ）のように細くなったり、（ｂ）のように太くなったりする。底辺格子に垂直な符号格子は，最上段の（ａ−１）が２を、中段の（ａ−２）と下段の（ａ−３）が１を示している。このように符号格子も（ａ−２）のように太くなったり、（ａ−３）のように細くなったりする。図１２（ｂ）では底辺が太いので１の符号は、（ｂ−１）のように底辺部に埋め込まれたようになる。図１２（ｃ）は回転角が小さい場合であり、図９のマトリクスの第２行を示している。すなわち（ｃ−１）、（ｃ−２）、（ｃ−２）の順に値４，２，１の４進マークの符号格子の状況を示している。

このようなマークの読み取り手順を図１３，１４，１５，１６に示す。まず６４ｘ６４のビットマップメモリの左下端のセルを座標（０，０）とし、水平に１つ右のセルを座標（１，０）、垂直に１つ上のセルを座標（０，１）とする。すると右上端は座標（６３，６３）になる。この最左端の座標軸をＸ＝０軸、最下端の座標軸をＹ＝０軸、同様にＸ＝６３軸、Ｙ＝６３軸という呼び方をする。これらの軸上の連続する黒の画素を黒連と呼ぶ。１つでも黒連である。異なる軸上の黒連のあらゆるペアを作り、１つずつ直線で結ぶ。そのとき黒連のアドレスは０．５の精度でとり、中心点が整数のアドレスを表すものとする。これらの中で直線が通過するすべての画素が黒い直線（それを黒直線という）を見出す。その方法を図１３の１３０１から１３０５までに示す。そうして見つけた黒直線が基底辺に相当する。その黒直線を１３０６で下に動かし、すべての画素が白の直線（白直線という）に４画素以内でたどり着けば方向は正しく、たどり着かなければ上下が逆転していることになる。逆転しているときは１３０７で、座標（６３，６３）を座標（０，０）にするように座標系を回転させる。その変換は（ｉ，ｊ）を（６３−ｉ，６３−ｊ）にすればよい。１３０８では白直線を左右端を０．５の単位であげていき、黒直線にたどり着く。最初にたどり着いた黒直線が基底辺の最下端の黒直線になり、それを基底直線と呼ぶ。さらに見つかった基底直線の角度が４５度以上回転しているかどうかを調べる。これは直線の勾配から判断できる。４５度以上のときはＸ軸とＹ軸を入れ替えて４５度以下にして図１４以降の処理に入る。この入れ替えは、右肩上がりの４５度以上のときは（ｉ，ｊ）を（ｊ，６３−ｉ）に、左肩上がりのときは（ｉ，ｊ）を（６３−ｊ，ｉ）とすればよい。
図１４からは基底直線を上に平行移動させていき符号格子の状況を探る処理である。図１４は境界をはさまず上方向に処理できるとき、図１５は境界をはさんで上に処理するとき、図１６は基底直線が座標面の上の方にあり、処理を下方に行う場合である。
基底直線が図１３で見つかると、図１４にしたがって基底直線を０．５の精度で上に平行移動していき、黒画素が上に盛り上がっていく箇所を探す。最低で３箇所で黒画素の盛り上がりがある。値４の４進マークがないときは白直線に遭遇する。そこで符号格子は判明するが、平行移動を再び黒画素が１／２以上の直線に遭遇するまで続ける。
値４のマークがあれば１つ上の底辺に直接遭遇する。後者のときは平行移動した結果が、直線上の画素の１／２以上が黒画素になる直線になることで判明する。こうして見つけた１／２以上黒画素の直線が１つ上の底辺の一部である。そこで左端黒画素を見出すとともに直線の左右端を０．５ずつ動かして底辺直線を見つける。この底辺直線と下の基底または底辺直線との距離（これが４進マークの垂直辺の長さに相当する）を基準に、４進マークの値を読み取る。この方法は４進マークの高さを基準に、その比率で値を読み取るのでペンの傾きや回転で４進マークの大きさが変化することに影響されない。

こうした処理で底辺直線が３本見つかったとき、３本目の上は境界になるのでスペースがあり、底辺直線間の距離が変わったり（実は上は基底直線である）、直接座標面の端部に遭遇したりしてしまう。このときの処理を図１５で説明する。１５０１は上の基底直線に遭遇したときである。１５０２は直接座標面の端部に遭遇したときである。後者では、１５０３で底辺直線間の距離をそれまで見つかった２つの行の底辺直線間距離から外挿して推定し、それを超えているなら、それを基準にして４進マークの値を決める。それまでに底辺直線間距離が見つかっていないときは図１６の処理を先行させて、２ないし３の底辺直線間距離が見つかってからもう一度この処理のもどることにする。前者のときはその底辺直線と基底直線の距離を基準に、１／１０、２／１０，３／１０，４／１０に相当するかどうかで値を決めても、１５０３に説明するように下の２つから外挿する距離を基準に、１／５，２／５，３／５，４／５のいずれに相当するかで値を決めてもよい。

図１４，１５で３行分のマークが読み取れないときは図１６に示す操作に入る。これは基底直線を下に平行移動させる操作である。この場合、最初は境界をはさんで第１行相当の４進マークの底辺直線に遭遇する。そのときはこの両者の距離を基準にして、１／１０、２／１０，３／１０，４／１０に相当するかどうかで値を決める。それ以外は図１４の処理と大きな差異はない。図１５の処理の途中で、図１６の処理に入ったときは図１６のあともう一度図１５にもどる。

こうして図１３，１４，１５，１６、を用いて見つけた４進マークが境界を含んで４ｘ４を超えている場合は座標面の中心に近い４ｘ４のマークを選び、他は棄却する。

｛位置マトリクスとコマンドマトリクス｝
図４に３ｘ３の４進マトリクスの種類を示した。これらは主としてＸマトリクスで区分している。まず図５に配列を示した位置マトリクスはそのＸマトリクスの第１行第３列の要素（（１，３）要素）を０にすることで指定する。図５においてＸマトリクスの（１，３）要素を０にしたのはこのためである。したがって第３列が定義する２進数は０から３までの値しかとらない。位置マトリクスのＹマトリクスの第３行第１列（（３，１）要素）を０にしたものを通常位置マトリクスと呼び、１にしたものを送信つき位置マトリクスと呼ぶ。

通常位置マトリクスの場合、図１１の電子ペンでそれを読み取っても１１１２の入力バッファに記憶して送信はしない。つぎに送信するときにバッファに記憶されているすべてを記憶順に一挙に送信することにする。それに対して送信つき位置マトリクスを電子ペンが検出すると直ちにそれを送信する。もちろんその時点でバッファにある情報を先行させて、その後にこの送信つき位置マトリクスを送る。したがって手書きする筆跡を実時間で表示することが可能になる。

図４のＩＤ付き送信コマンドマトリクスは、そのＸマトリクスの第３列の上の２要素をそれぞれ１にしたものである。このときはＸマトリクスの残りの７ビットを用いて１２８通りの上位ＩＤとし、Ｙマトリクスの９ビットを５１２通りの個別ＩＤとして使用する。たとえば会社などでは上位ＩＤを部や課に振り向け、個別ＩＤは部内や課内の文書ＩＤとして利用する。ノートやメモ帳では上位ＩＤをそのノートやメモ帳のＩＤとし、個別ＩＤをページに割り当てる。

通常の使い方はつぎのとおりである。通常位置マトリクスが印刷された用紙に電子ペンで手書きし、一通りの手書きが終了すると、用紙上に印刷された「送信ボタン」上にペンで触る。その背景領域には多くのＩＤ付き送信コマンドマトリクスが印刷されており、電子ペンがそれを拾い上げる。電子ペン内でＩＤ付き送信コマンドマトリクスであることを認識して、まずそのＩＤを送信する。続いて１１１２の入力バッファに記憶されているデータを記憶順に送信する。こうすると送信先で先に同じＩＤの用紙から送られたデータと関連をとって処理することができる。たとえば電子カルテではどの患者さんのカルテかをこのＩＤで照合し、その電子データに付け加えることで、用紙（カルテ）と電子データを一致させることができることになる。このようなことはＩＤ入力欄をつぎに述べるコマンドマトリクスを使って設けることもできるが、そのときは利用者がＩＤ入力を意識して行う必要がある。ＩＤ付き送信コマンドマトリクスの場合、どうせ必要な「送信」という行為と「ＩＤ入力」という行為を一緒にしているので忘れる心配がない。より優れたヒューマンインタフェースであるといえよう。ＩＤが足りないときはマトリクスを４ｘ４にすること以外に、電子ペンにＩＤを付加し、電子ペンを特定することで電子ペンＩＤを上位ＩＤとし、ＩＤ付き送信コマンドマトリクスのＩＤ１６ビット分をすべて個別ＩＤとして利用することも考えられる。すると個別ＩＤ容量が５万以上に増加する。

送信付きコマンドマトリクスと非送信コマンドマトリクスは図４に示すような識別ビットを割り当てる。いずれもＸマトリクスに６ビット、Ｙマトリクスに９ビットのデータが表現できるのでこれらをコマンド定義やＩＤに使用することができる。たとえばＹマトリクスの９ビットで５１２通りのコマンドを定義し、Ｘマトリクスの６ビットで６４通りのコマンドＩＤにする。もちろんＸとＹの役割を入れ替えることもできる。ＩＤ送信付きコマンドマトリクスはそれを電子ペンが拾いあげると直ちに送信し、非送信コマンドマトリクスは通常位置コマンドマトリクスと同様、入力バッファに記憶しておき、つぎの送信機会に一緒に送信する。非送信コマンドマトリクスはいくつかのＩＤ用数字の組み合わせでＩＤを定義したり、いくつかのコマンドボタンの組み合わせに意味をもたせるようなときに便利に利用できる。非送信コマンドマトリクスをいくつか入力し、最後に送信付きコマンドマトリクスを入力することで１つのコマンドとするようなときのため用意するのである。

コマンドマトリクスの配置は、ある領域に同じコマンドマトリクスを並べ、その領域にコマンドを示す挿絵、文字、アイコンなどを印刷しておく。すると図１０（ａ）の破線の中には同じコマンドマトリクスを形成する４進マークが入ってくるので、順序入れ替えだけで、コマンドマトリクスが復元できる。

｛コマンドマトリクスの埋め込み｝
１つの用紙に位置マトリクスとコマンドマトリクスを混在させるとき、電子ペンがその境界にタッチしたときマトリクスの解読ができなくなる恐れがある。これを防ぐため混在する境界に無効であることが明らかなマトリクスを境界指定マトリクスとして配置する。

境界指定マトリクスは図７に示す黒底辺境界マークのみからなる３ｘ３のマトリクスである。こうすることで基底辺は通常のマトリクスと同様形成される。さらにそれ以外の行の底部も黒くなるので図１２で述べた３ｘ３の４進マークの読み取り方法がそのまま使える。しかも垂直方向の符号格子は黒くないので明らかに４進マークでない無効マークであることがわかる。このような境界指定マトリクスでコマンドマトリクスの長方形領域を囲めば、境界では無効マークが検出され、境界であることが明らかになる。

このような境界指定マトリクスの構成要素である黒底辺境界マークを、図１に示した４進マークの類推でその値を０と書くことにする。図１０（ａ）において、左側の２つのマトリクスが境界指定マトリクスであるとすれば破線の中の左端の列は上から ００（スペース）０ となる。電子ペンの読み取りで値０が検出されるので、これは無効であると判定する。

図７に述べたマトリクス間の境界にもこの値０の黒底辺境界マークが登場するが、これはマトリクスを形成せず、上の行の黒底辺がなく、下にもマトリクスがないことからこれは単なる黒底辺境界マークであることが判別できる。

こうして１つの用紙に位置マトリクスとコマンドマトリクスを混在させることができることになる。するとたとえばその用紙の上で文字を原稿用紙にあるような手書き用ます目とその直後に送信付きの「文字認識」コマンドのアイコンを印刷しておくようなことができる。ます目に文字を手書きし、その直後の「文字認識」アイコンをチェックすると手書き文字列が送信され、送信先で認識される。他の例では、種々の申し込みフォームなどで、名前や住所は手書きし、性別、所帯主などの欄はチェックで選択させるようなことが、電子的に可能になる。このようなときはチェックマークのコマンドマトリクスなどすべて非送信にしておけば、最後にＩＤ付き送信コマンドで一挙に送信することによりＩＤがついたファイルが一挙に入力されることになる。

本発明の他の実施例

本発明の実施例として位置マトリクス（位置指定マーク行列）とＩＤ付き送信コマンドマトリクス（ＩＤ付き送信コマンドマーク行列）が混在する場合、さらにはそれ以外のコマンドマトリクス（コマンドマーク行列）が混在する場合を説明したが、コマンドマーク行列だけで構成したマーク用紙も本発明に含まれる。たとえば現在マークシート方式を呼ばれている学校などの試験問題において、問題用紙に問題毎にマークシートの回答欄と同様のマーク欄を設け、そこにそれぞれに対応するＩＤ付き非送信コマンドマーク行列を印刷ないしプリントしておく。このＩＤは問題に対応させておく。このマーク欄にチェックマークを電子ペンで書かせることで解答する。問題用紙の上部には学生番号を入力させる番号入力欄を設ける。これは０から９までの数字を並べた行を学生番号の桁数だけ設け、各数字欄の下には数字コマンドとＹマトリクスで何桁目かを表すＩＤからなる非送信コマンドマーク行列を印刷ないしプリントしておく。問題用紙の右下隅にはＩＤ付き送信マトリクスを領域いっぱいに印刷ないしプリントしておく。このＩＤは問題を識別するＩＤである。もちろんその上には通常のインクで送信アイコン（たとえば「解答終了」と書いておく）を印刷ないしプリントしておく。学生は学生番号を入力し、ついで解答を書き、最後に「解答終了」の上にチェックマークを書く。解答は学生番号と問題識別ＩＤとともにパソコンに送信されるようにしておくと、直ちに試験の採点ができる。このようなコマンドマトリクスのみの使い方では用紙にぎっしりマークを印刷ないしプリントする必要はなく、学生番号欄、解答欄、「解答終了」欄の下（背景）だけにコマンドマトリクスを印刷ないしプリントしておけばよい。番号入力のように０から９まで並んでいるときはそれぞれの境界を境界指定マトリクスで区切っておけばコマンドマトリクスの識別が容易になる。たとえば電子ペンで境界指定マトリクスが検出されたときはペンを振動させて無効入力であることを知らせることも有用である。

本発明の実施例は３ｘ３のマトリクスで説明したが、４ｘ４マトリクスやそれより大きいマトリクスも本発明に含まれる。大きいマトリクスは大きい用紙の位置マトリクスとして利用できるほか、コマンドやＩＤの種類も多くとれる。

位置マトリクスの位置指定の方法もＸマトリクスとＹマトリクスの役割を入れ替えたもの、行の役割と列の役割を入れ替えたもの、２進数表現で最上位と最下位を入れ変えたもの、さらにはそれらの組み合わせ方をかえたものも本発明に含まれる。

本発明のマーク印刷ないしプリントに利用するインキは赤外光を吸収するカーボンを含んだもので、そに上に印刷ないしプリント、手書きするインキは逆に赤外光をほとんど吸収しないものを使う。こうして赤外光の反射の程度でマークを他の印刷から識別する。この技術はすでにＡＮＯＴＯ社などから商用化されており、すでに公知である。本発明はそのような公知のインキを用いることで実施できる。

ソフトウェアによる実施

本発明の実施例ではマーク用紙を印刷する例を中心に説明した。しかし赤外光を吸収するインキで本発明のマークが要求する精度で、本発明になる位置指定マーク行列やコマンドマーク行列をプリントできる能力を有するプリンタがヒューレットパッカード社から商品化されている。それを使えばまず位置指定マーク行列やコマンドマ−ク行列をプリントし、その上に重ねて通常の情報をプリントすることができる。このようなプリンタを使うときは本発明はソフトウェアで実施される。すなわち問題用紙を例にとると学生番号欄、問題解答欄、「解答終了」欄などの下に該当するコマンドマ−ク行列を赤外光を吸収するインキでプリントし、その上に重ねて通常のプリントをすることで本発明のマーク用紙が出来上がる。このように本発明のマークを印刷するソフトウェアも本発明の重要部分をなす。

本発明の応用

マーク付き問題用紙の例を上に説明したが、本発明はカタログ、書籍、マニュアルなどにも有効に応用できる。マニュアルを例にとる。マニュアルにはＣＤ−ＲＯＭが添付されており、まずそれをパソコンにセットするとイニシャルのソフトウェアがインストールされる。電子ペンでカタログのＩＤ欄をチェックするとマニュアルが識別される。マニュアルを読んで写真や挿絵をチェックするとその下に印刷されたＩＤ付き送信付きコマンドが読み取られ、パソコンに送られる。パソコンはそれを識別するとその写真や挿絵に関係した動画像を音声付でパソコンにディスプレイする。こうしてマニュアルの説明を動画像でわかりやすく説明される。ついでにマニュアルのユーザ登録欄をチェックするとパソコンは自動的にユーザ登録のプロセスに入る。名前や住所などはマニュアルの所定欄に手書きするとパソコンでそれを認識し、認識結果を照合するとユーザ登録がされる。

同様のやり方でカタログから注文を出すこともできる。さらにプリンタを利用するとディジタルカメラで撮った写真の電子アルバムなども作ることができる。このときは縮小した写真とその下の写真のＩＤマークをプリントしたものを物理的なアルバムとして閉じて保存しておく。写真が見たいときはそのアルバムのＩＤを電子ペンでチェックし、関連ソフトをインストールし、見たい写真を電子ペンで触るとその写真が電子アルバムから呼び出され、大きく表示される。

このように日常的に扱いなれている紙の上の印刷物やプリントされた紙と電子媒体をペンで触れるだけで関連付けることができ、電子媒体が使いやすくなる。

本発明の効果

本発明はＡＮＯＴＯ社の製品に比べてつぎの点が優れている。
ア）本発明は手書き入力をするマーク用紙において、手書きペンの用紙内の位置がその場で識別できるのでインターネットなどネットワークを必要としない。すなわちスタンドアロンで使用できる。
イ）本発明は手書き情報を電子ペンから送信するための送信マークにＩＤが付加されるので、ネットワークを利用することなく用紙のＩＤが識別できる。
ウ）マーク用紙内の位置を表す位置指定マーク行列とは独立にコマンドマーク行列が用意されているのでそのコマンドのもつ意味がその場で識別することができる。
エ）４進マークの向きが明らかであり、マークが定義する４進の値もマーク全体の大きさから相対的に判明するので、電子ペン内で用紙とペンの傾き補正や回転補正などの複雑な処理が不要であり、しかも用紙の向き（たて、横、上、下などの向き）も直ちに判定できる。すなわち低コスト化に向いている。
オ）位置指定マーク行列やコマンドマ−ク行列の大きさが小さいので読み取りにようする処理は小さい。これも低コスト化に寄与する。

このように本発明はＡＮＯＴＯ社に比べて低コストで、しかも小規模なシステムに向いている。特に一般家庭などにおける手軽な使い方に向いており、パソコンを使わず、本発明のマーク用紙専用のアプライアンスでシステムが構成できる。ＡＮＯＴＯ社のシステムが世界を結んで利用されるのに対して、本発明は一般家庭などで簡易に電子媒体と紙媒体を結びつける手段として効果がある。キーボードが苦手な利用者も本発明のマーク用紙を介してアプライアンスやパソコンに入力でき、紙ではできないマルチメディアが紙を通して利用できるなど簡易な、使いやすいヒューマンインタフェースを実現できることが本発明の大きな効果である。

本発明の１実施例である４進マークと４進数を対応させる図 ４進数をＸとＹへ分解させる１方法 ４進数のマトリクスを図２を用いてＸマトリクスとＹマトリクスに対応させる１方法 位置マトリクスとコマンドマトリクスを定義する１方法 ３ｘ３の位置マトリクスの要素の配列の１方法 ４進マークを配列した３ｘ３の位置マトリクスの例 ４進マークマトリクス間の境界マーク 位置マトリクスやコマンドマトリクスの紙の上での配列 ４進マークマトリクスと境界マークの関係 ＸアドレスとＹアドレスの読み取り法の説明 電子ペンの構成例 電子ペンで読み取るパターン例 図９に示す４進マーク配列を読み取るさいの基底直線の検出法 従来技術の４進パターン 図１７の４進パターンのＸ，Ｙとの対応 従来技術の説明のための７ビットシーケンスと４ビットの値 従来技術のＸ，Ｙ配列と４進配列

Claims (6)

1. 底辺または上辺全体に黒い部分を配し、特定の値を表わすため左辺または右辺に異なる高さの黒い部分を底辺または上辺の黒い部分から連続して配した長方形のマ−ク群と、該マーク群に属する複数のマークを組み合わせて作るマーク行列と、マーク行列のそれぞれの境界を明示する境界マークとで構成することを特徴とするマーク用紙
2. 第１項記載のマークを用紙上にプリントするソフトウェア
3. 第１項記載の構成要素の１つであるマーク行列を、１または複数の特定要素を予め定める値に固定することで、用紙上の位置を指定する位置指定マーク行列と用紙上の位置とは無関係に特定の意味を与えるコマンドマーク行列の２種類に分けて構成し、手書き筆跡にしたがって取得した位置指定マーク行列の連なりを送信するコマンドに、用紙を特定するデータを付随させたＩＤ付き送信コマンドマーク行列を利用して使用中の用紙が自動的に特定されるようにすることを特徴とするマーク用紙
4. 第３項記載のマークをプリントするソフトウェア
5. 第３項記載の構成要素である位置指定マーク行列とコマンドマーク行列を用紙上に混在させることを可能にするためコマンドマーク行列が配置された領域を取り囲む境界を明確に判別でき、しかもマーク行列の読み取りを混乱させない境界用マーク行列を構成要素に付け加えることを特徴とするマーク用紙
6. 第５項記載のマークをプリントするソフトウェア