JP2008077201A - 筆記媒体、加筆情報検出装置、加筆情報検出方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】電子文書に付加するための情報を鉛筆等の普通の筆記具を用いて容易に加筆できる筆記媒体と、この筆記媒体を読み取った画像から加筆情報を高精度に検出できる装置又は方法を提供する。
【解決手段】特定の電子文書に関連付けられた筆記媒体。この筆記媒体は、普通の筆記具を用いて筆記可能な材質の媒体に所定サイズの２次元コードパターン（２ａ〜２ｄ）がマトリクス配置で印刷され、各２次元コードパターンにはその媒体上での位置座標と電子文書の識別情報がエンコードされ、２次元コードパターンを構成するドットは電子文書の領域情報を表すように色分けされている。２次元コードパターンのドットの媒体全面積に占める面積率は５パーセント未満である。
【選択図】 図１

Description

本発明は、電子文書に情報を付加するために利用される筆記媒体と、その筆記媒体に鉛筆やボールペン等の普通の筆記具を用いて加筆された情報を高精度に検出する装置及び方法に関する。

特許文献１に、光学的に読み取り可能なコードシンボルがマトリックス配置された紙に、小型カメラを備えたペンを用いて加筆すると同時に、同カメラでコードシンボルを読み取って座標情報を取得することにより、加筆情報をリアルタイムに読み取って加筆前の紙面情報と加筆情報を関連付けるシステムが記載されている。

特許文献２に、Ｘ座標、Ｙ座標、コードの方向を表すパターンと、ホーミングパターンと呼ばれる他のパターンより大きくてコードの中心に配置されたパターンとからなり、それらが人の目にはみえないことを特徴とする２次元コードが記載されている。

特許文献３に、ドットを所定の位置からずらすことにより、１ドットで２ビット以上の情報を持たせる２次元コードが記載されている。この２次元コードは水平、垂直方向の座標情報を有し、それを読み取ることにより２次元コードの座標を検出できる。

特許文献４に、カメラ付きの特殊なペンで紙に筆記中に、その紙に印刷された、座標と文書情報がエンコードされた２次元ドットパターンを、そのカメラで読み取ることにより、どの文書のどの位置に筆記中であるかを検出する技術が開示されている。

特許文献５の図１１に、文書ＩＤがエンコードされた２次元コードが１つと、４隅にタイミングマークが印刷された紙文書に、鉛筆やボールペン等の普通の筆記具で筆記した後、この紙文書をスキャナを用いて読み取って画像として入力し、この画像から筆記の軌跡を抽出する方法が記載されている。

特開２０００−２９３３０３号公報 米国特許第５６６１５０６号明細書 国際公開第００／７３９８１号パンフレット 特開２００６−８５６７９号公報 特開２００５−１２２６８２号公報

特許文献１〜４に記載された技術は、ペンにカメラやＣＰＵなどを装着した特殊な筆記デバイスの利用が必須であるという制約がある。

特許文献３に記載された技術では、紙文書にドットパターンは黒色材、それ以外の文書内容はカラー色材を用いて印刷され、赤外光を透過する色のボールペンと赤外カメラを用いて筆記することにより、カメラの画像には筆記軌跡や文書内容が見えず容易に筆記を取得することが可能であった。しかし、このような紙に鉛筆のような普通の筆記具で筆記した後、その紙をスキャナなどで読み取っても、筆記と文書内容との区別ができず、筆記情報を抽出することができない。

特許文献５には、普通の筆記具を用いて筆記した紙文書をスキャナで読み取った画像を入力し、この画像と原本の画像とを４隅のタイミングマークを用いて位置あわせし、画像間の差分を筆記として抽出する方法が記載されている。しかし、紙文書の印刷時のプリンタにおける局所的な紙送りムラ、ドラムの回転ムラ、さらには読み取り時のスキャナの走行ムラなどの影響により、筆記情報を正確に位置精度良く抽出することが難しい。さらに、複写機などで印刷したゴルフコースのマップ上にゴルファーの打球の軌跡を鉛筆で記入し、この打球軌跡を抽出するようなアプリケーションの場合に、マップ上のフェアウェイやグリーン、ラフなどの色の濃い領域で鉛筆が滑って軌跡を記入しにくくなるといった問題もある。

本発明は、上に述べたような問題点に鑑みなされたものであり、その目的は、電子文書に付加するための情報を入力する用途に最適な筆記媒体と、この筆記媒体に加筆された情報を正確かつ高精度に検出する装置及び方法を提供するにある。

請求項１記載の発明に係る筆記媒体は、特定の電子文書に関連付けられた筆記媒体であって、普通の筆記具を用いて筆記可能な材質の媒体に、所定サイズのドットパターンである２次元コードパターンがマトリクス状に並べて印刷されており、前記各２次元コードパターンには該２次元コードパターンの前記媒体上での位置を示す座標情報がエンコードされており、前記各２次元コードパターンを構成するドットは前記電子文書の領域情報を表すように色分けされていることを特徴とする。

請求項２記載の発明に係る筆記媒体は、特定の電子文書に関連付けられた筆記媒体であって、普通の筆記具を用いて筆記可能な材質の媒体に所定サイズのドットパターンである２次元コードパターンがマトリクス状に並べて印刷されており、前記各２次元コードパターンには該２次元コードパターンの前記媒体上での位置を示す座標情報及び前記電子文書の識別情報がエンコードされており、前記各２次元コードパターンを構成するドットは前記電子文書の領域情報を表すように色分けされていることを特徴とする。

請求項３記載の発明は、請求項１又は２記載の発明に係る筆記媒体において、前記各２次元コードパターンには誤り訂正符号もエンコードされていることを特徴とする。

請求項４記載の発明は、請求項１，２又は３記載の発明に係る筆記媒体において、前記媒体全体に対する前記２次元コードパターンのドットの占める面積率が５パーセント未満であることを特徴とする。

請求項５記載の発明に係る加筆情報検出装置は、筆記媒体を読み取ったカラー画像を入力とし、前記筆記媒体に筆記具を用いて加筆された情報を検出する加筆情報検出装置であって、
前記カラー画像を２値化して背景画素を白画素、非背景画素を黒画素とした２値化画像を生成する第１の処理手段と、
前記カラー画像に基づいて、前記カラー画像の画素のうち、前記筆記媒体上にマトリクス状に並べて印刷されている２次元コードパターンのドットに対応した画素のみを黒画素で表し、それ以外の画素を白画素で表したドット画像を生成するとともに、前記２次元コードパターンのドットの前記ドット画像上での位置を表すドット座標及び前記２次元コードパターンのドットの色を表すドット色を検出して出力する第２の処理手段と、
前記第２の処理手段より出力されたドット座標を基に、前記２値化画像から前記２次元コードパターンのドットに対応した黒画素を除去することにより、前記筆記媒体の加筆された部分に対応した黒画素（以下、加筆画素と記す）を表す２値画像を生成する第３の処理手段と、
前記ドット画像より前記２次元コードパターンを検出し、検出した各２次元コードパターンをデコードすることにより、該２次元コードパターンの前記筆記媒体上での位置を表す座標（筆記媒体上座標と記す）を取得し、該筆記媒体上座標を該２次元コードパターンの前記ドット画像上の位置を表す座標（画像上座標）と対応付けて出力する第４の処理手段と、
前記各加筆画素の前記２値画像上での位置を表す座標と前記第４の処理手段より出力された前記２次元コードパターンの前記筆記媒体上座標及び前記画像上座標とに基づいて、前記各加筆画素の前記筆記媒体上での位置を示す座標を求め、それを加筆情報として出力する第５の処理手段と、
前記第２の処理手段より出力されたドット座標及びドット色に基づいて、同色のドット群で表される領域を表す領域情報を生成する第６の処理手段と、
を有することを特徴とする。

請求項６記載の発明は、請求項５記載の発明に係る加筆情報検出装置において、前記第４の処理手段は、検出した２次元コードパターンをデコードすることにより、前記筆記媒体に関連付けられた電子文書の識別情報をも取得して出力することを特徴とする。

請求項７記載の発明は、請求項５記載の発明に係る加筆情報検出装置において、前記第３の処理手段は前記２値画像に細線化処理を施し、前記第５の処理手段は前記細線化処理後の前記２値画像中の加筆画素を処理の対象とすることを特徴とする。

請求項８記載の発明は、請求項５記載の発明に係る加筆情報検出装置において、前記第２の処理手段は、前記カラー画像の各色成分毎にドットを検出し、その検出結果に基づいて、前記ドット画像を生成するとともに前記２次元コードパターンのドットの座標及び色を検出することを特徴とする。

請求項９記載の発明は、請求項５記載の発明に係る加筆情報検出装置において、前記第４の処理手段は前記ドット画像に複数の小領域を設定し、設定した各小領域において前記２次元コードパターンの検出を行うことを特徴とする。

請求項１０記載の発明に係る加筆情報検出方法は、筆記媒体を読み取ったカラー画像を入力とし、前記筆記媒体に筆記具を用いて加筆された情報を検出する加筆情報検出方法であって、
前記カラー画像を２値化して背景画素を白画素、非背景画素を黒画素とした２値化画像を生成する第１の処理工程と、
前記カラー画像に基づいて、前記カラー画像の画素のうち、前記筆記媒体上にマトリクス状に並べて印刷されている２次元コードパターンのドットに対応した画素のみを黒画素で表し、それ以外の画素を白画素で表したドット画像を生成するとともに、前記２次元コードパターンのドットの前記ドット画像上での位置を表すドット座標及び前記２次元コードパターンのドットの色を表すドット色を検出して出力する第２の処理工程と、
前記第２の処理工程より出力されたドット座標を基に、前記２値化画像から前記２次元コードパターンのドットに対応した黒画素を除去することにより、前記筆記媒体の加筆された部分に対応した黒画素（以下、加筆画素と記す）を表す２値画像を生成する第３の処理工程と、
前記ドット画像より前記２次元コードパターンを検出し、検出した各２次元コードパターンをデコードすることにより、該２次元コードパターンの前記筆記媒体上での位置を表す座標（筆記媒体上座標と記す）を取得し、該筆記媒体上座標を該２次元コードパターンの前記ドット画像上の位置を表す座標（画像上座標）と対応付けて出力する第４の処理工程と、
前記各加筆画素の前記２値画像上での位置を表す座標と前記第４の処理手段より出力された前記２次元コードパターンの前記筆記媒体上座標及び前記画像上座標とに基づいて、前記各加筆画素の前記筆記媒体上での位置を示す座標を求め、それを加筆情報として出力する第５の処理工程と、
前記第２の処理工程より出力されたドット座標及びドット色に基づいて、同色のドット群で表される領域を表す領域情報を生成する第６の処理工程と、
を有することを特徴とする。

請求項１１記載の発明は、請求項１０記載の発明に係る加筆情報検出方法において、前記第４の処理工程は、検出した２次元コードパターンをデコードすることにより、前記筆記媒体に関連付けられた電子文書の識別情報をも取得して出力することを特徴とする。

請求項１２記載の発明は、請求項１０記載の発明に係る加筆情報検出方法において、前記第３の処理工程は前記２値画像に細線化処理を施し、前記第５の処理工程は前記細線化処理後の前記２値画像中の加筆画素を処理の対象とすることを特徴とする。

請求項１３記載の発明は、請求項１０記載の発明に係る加筆情報検出方法において、前記第２の処理工程は、前記カラー画像の各色成分毎にドットを検出し、その検出結果に基づいて、前記ドット画像を生成するとともに前記２次元コードパターンのドットの座標及び色を検出することを特徴とする。

請求項１４記載の発明は、請求項１０記載の発明に係る加筆情報検出方法において、前記第４の処理工程は前記ドット画像に複数の小領域を設定し、設定した各小領域において前記２次元コードパターンの検出を行うことを特徴とする。

請求項１５記載の発明に係るプログラムは、請求項１記載の発明に係る加筆情報検出装置の各手段としてコンピュータを機能させるプログラムである。

請求項１６記載の発明に係る記録媒体は、請求項１記載の発明に係る加筆情報検出装置の各手段としてコンピュータを機能させるプログラムが記録されたコンピュータ読み取り可能な記録媒体である。

（１）請求項１乃至４に記載の発明に係る筆記媒体は、鉛筆やポールペン等の普通の筆記具を用いて線や文字等の情報を容易に加筆することができる。そして、加筆した筆記媒体をスキャナ等で読み取ってカラー画像として入力することにより、請求項５乃至１４記載の発明に係る加筆情報検出装置又は方法によって、加筆情報を正確かつ高精度に検出することができる。請求項２記載の発明に係る筆記媒体では、それに関連付けられた電子文書の識別情報も取得できため、その識別情報を基に関連付けられた電子文書を開いて、それに加筆情報を付加するような処理が容易になる。請求項３記載の発明に係る筆記媒体には誤り訂正符号もエンコードされているため、より正確な加筆情報の検出が可能となる。請求項１乃至４記載の発明に係る筆記媒体では、２次元コードパターンのドットの色分けによって関連した電子文書の領域情報が表現されているため、その電子文書自体を見なくとも、筆記媒体を見るだけで、電子文書の内容、例えばゴルフコース・マップにおけるフェアウェイ、バンカー、ラフといった領域の概略を認識することができるので、ゴルファーの打球軌跡等の加筆が容易になる。また、ドットの色分けによる領域情報を検出し、これを加筆情報とともにプリントアウトするような処理も可能となる。請求項４記載の発明に係る筆記媒体は、ドットの面積率が５パーセント未満に抑えられているため、筆記媒体は人の目には明るい色に見えるため、筆記した線や文字が２次元コードパターンによって見えにくくなることがなく、さらに、ドットの印刷に用いられた色材によって筆記具が滑りやすくなることもなく、したがって筆記をスムーズに行うことができる等の効果を得られる。
（２）請求項５乃至１４記載の発明に係る加筆情報検出装置又は方法によれば、請求項１乃至４記載の発明に係る筆記媒体に加筆された情報を正確にかつ高精度に検出し、さらに筆記媒体に関連付けられた電子文書の識別情報や領域情報を検出することができる等の効果を得られる。
（３）請求項１５記載の発明に係るプログラム、又は請求項１５記載の発明に係る記録媒体に記録されているプログラムをコンピュータにロードすることにより、コンピュータを請求項５乃至９記載の発明に係る加筆情報検出装置として動作させることができる。

まず、本発明の筆記媒体とはどのようなものであるか、概略を説明する。

本発明の筆記媒体は、単なる白紙や通常の印刷文書等ではない。本発明の筆記媒体は、電子文書の内容に情報を加筆するために利用されることを目的とするものであり、したがって、特定の電子文書に関連付けられたものである。

具体的には、本発明の筆記媒体は、鉛筆やボールペン等の普通の筆記具を用いて筆記可能な材質の媒体、例えば紙に、予め所定サイズのドットパターンである２次元コードパターンがマトリクス状に並べて印刷されている。各２次元コードパターンは、その媒体上の位置を示す座標情報がエンコードされ、好ましい態様としては、この座標情報に加えて当該筆記媒体に関連付けられた電子文書の識別情報もエンコードされている。２次元コードパターンを構成するドットは、関連付けられた電子文書の領域情報を表すように色分けされている。つまり、ある同じ色のドット群からなる領域は、関連した電子文書上のある領域を表している。

例えば、ゴルフコースの地図を内容とした電子文書に関連付けられた筆記媒体を考える。ゴルフコースにはフェアウェイ、バンカー、ラフ、グリーン、ウォーターハザード等があるが、フェアウェイの領域に対応したドットの色をイエロー、バンカーの領域に対応したドット色をマゼンタ、ウォーターハザードの領域に対応したドットの色をシアン、というように領域別にドット色を異ならせる。また、帳票を内容とした電子文書に関連付けられた筆記媒体の場合には、例えばブルーのドットで文字領域を表し、マゼンタのドットで文字や数字等の記入枠領域を表す、といったように領域別にドットが色分けされる。

このようにドット色によって電子文書の領域情報が表現されていると、加筆が容易になる。例えばゴルフコースの地図を内容とした電子文書に関連付けられた筆記媒体の場合、その電子文書のプリント等を参照することなくゴルフコースのフェアウェイ等の領域を把握することができるため、加筆媒体のみを見ながら、各プレイヤーの打球の軌跡等を容易に加筆することができる利点がある。さらに、関連付けられた電子文書を開かなくとも、筆記媒体から領域情報を検出することにより、関連付けられた電子文書の内容の概略を再現し、それに加筆情報を描画するようなことも可能となる。

以下、本発明の筆記媒体の実施形態について図面を用い詳細に説明する。

前述のように、筆記媒体には所定サイズの２次元コードパターンがマトリクス状に印刷されている。そのような２次元コードパターンの例を図１に示す。図１の２ａ，２ｂ，２ｃ，２ｄがそれぞれ２次元コードパターンである。ここでは４個の２次元コードパターンが示されているが、筆記媒体の略全面に、同様の２次元コードパターンが縦横に規則的にマトリクス配列で印刷されている。縦方向ドット列（垂直線）Ｈ１，Ｈ２，Ｈ３と、横方向ドット列（水平線）Ｖ１，Ｖ２，Ｖ３は、２次元コードパターンの枠（境界）を構成している。そして、２次元コードパターンを構成するドット（枠もくしは境界のドットも含まれる）は、前述したように、関連付けられた電子文書上の領域情報を表すように色分けされて、光学的に読み取り可能な黒又はカラーの色材を用い印刷される。なお、ドットの色分けは、２次元コードパターンの境界とは無関係に行うことができる。

前述のように、筆記媒体上の各２次元コードパターンには、該筆記媒体に関連付けられた電子文書の識別情報（文書ＩＤ情報）と、２次元コードパターンの媒体上の位置を表す水平、垂直座標がエンコードされている。文書ＩＤ情報は、電子文書に固有の識別情報、例えば電子文書が格納されているデータベースにおけるＩＤ情報である。

図１に示した２次元コードパターン２ａには「水平座標＝９５，垂直座標＝１０，文書ＩＤ＝１０」がエンコードされ、２次元コードパターン２ｂには「水平座標＝９６，垂直座標＝１０，文書ＩＤ＝１０」がエンコードされ、２次元コードパターン２ｃには「水平座標＝９５，垂直座標＝１１，文書ＩＤ＝１０」がエンコードされ、また、２次元コードパターン２ｄには「水平座標＝９６，垂直座標＝１１，文書ＩＤ＝１０」がエンコードされている。

ここで、２次元コードパターンのドットの大きさ、ドット間隔、２次元コードパターンの大きさについて図２を用い説明する。２次元コードパターン（枠含む）のドット２７０２は、筆記媒体の印刷に用いられるプリンタの最小ドット２７０１の２ｘ２単位で印刷される。例えば１２００ｄｐｉのプリンタの場合、最小ドット径は２１μｍであるので、２次元コードパターンのドットの直径は理想的には４２μｍとなる（実際にはドットゲインがあるためドットの直径はもう少し大きくなる）。このようなドットを、その直径の６倍の間隔を置いて水平・垂直方向に配置するものとする。この場合、ドット配置位置すべてにドットを印刷した場合でも、筆記媒体全体に対するドットの占める面積率は、ドットゲインが無いとすると２．８％であり、５０％程度のドットゲインを見込んでも面積率は５％に満たない。このような面積率であれば、２次元コードパターンは人の目には明るい色に見えるため、２次元コードパターンによって加筆した文字や線等が見えにくくなることはない。また、印刷に用いられた色材が筆記の妨げになることもない。

上に述べたように２次元コードパターンのドットの配置位置を決めたならば、２次元コードパターンは２ｍｍ（水平）×３ｍｍ（垂直）のサイズとなる。したがって、２次元コードパターンにエンコードされた水平座標＝９５，垂直座標＝１０という情報は、該２次元コードパターンの左上の角が媒体の左上を原点として水平方向に１９０ｍｍ（＝９５×２）、垂直方向に３０ｍｍ（＝１０×３）の位置にあることを意味する。詳しくは後述するが、２次元コードパターンの２ｍｍ（水平）×３ｍｍ（垂直）のサイズは、Ａ４版用紙と相似のサイズであり、水平・垂直座標情報を格納するデータ長を有効に使うことが可能になる。

かくして、図１に示した２次元コードパターン２ａは、その左上の角(垂直線H1と水平線V1の交点)が媒体左上から水平１９０ｍｍ、垂直３０ｍｍの位置にあり、文書ＩＤ＝１０を持つ電子文書に関連付けられている、という情報を有する。

図１中の２次元コードパターン２ａを例に、２次元コードパターン内のデータ配置について説明する。図３は、図１中の２次元コードパターン２ａの拡大図である。２次元コードパターン２ａは全体として、枠を構成するドット配列Ｈ１，Ｈ２，Ｖ１，Ｖ２に囲まれた７×１１のセルを有する。セルとは情報を表すドットを打つことのできる単位をいう。４０１は水平座標を表すデータを配置する領域であり４×２のセルを有する。ドットの有無で情報を表現し、１セルが１ビットに相当するので、領域４０１は１バイトの情報をエンコード可能な容量を有する。４０２は垂直座標を表すデータを配置する領域であり、４×２のセル、１バイトの容量を有する。Ａ４版の用紙は２１０ｍｍ（水平）×２９７ｍｍ（垂直）のサイズであり、２次元コードパターンは２ｍｍ（水平）×３ｍｍ（垂直）のサイズであるので、Ａ４版用紙に２次元コードパターンを最大で水平方向に１０５個、垂直方向に９９個並べることができるが、そのような２次元コードパターンの水平及び垂直座標は１バイトで表現可能である。Ａ３版の用紙のサイズは２９７ｍｍ（水平）×４２０ｍｍ（垂直）であるので、Ａ３版用紙に２次元コードパターンを最大で水平方向に１４８個、垂直方向に１２０個並べることができるが、そのような２次元コードパターンの水平及び垂直座標は１バイトで表現可能である。４２０ｍｍ（水平）×５９４ｍｍ（垂直）のサイズのＡ２版用紙の場合には、２次元コードパターンを最大で水平方向に２１０個、垂直方向に１９８個並べることができるが、そのような２次元コードパターンの水平及び垂直座標も１バイトで表現可能である。このように用紙の縦横比と２次元コードパターンの縦横比を等しくすると、２次元コードパターンの水平、垂直座標を表す領域４０１，４０２のデータ長を同一サイズに固定しても、幅広いサイズの用紙に対応可能である。

図３において、４０３は文書ＩＤを表すデータを配置する領域であり、４×６のセル、２４ビット（３バイト）の容量を有する。４０４〜４０７の４領域は誤り訂正符号を配置する領域であり、各領域は１バイトの容量を有し、４領域合計で４バイトの容量を有する。４０８と４０９は２次元コードパターンの上下方向を表すための領域である。領域４０８は３×１のセルを有し、全てのセルに黒ドットが打たれる。領域４０９は２×１のセルを有し、いずれのセルにもドットは打たれない。

図４は、２次元コードパターンの領域４０１〜４０７にデータのビットがどのような順番で配列されるかを示す図である。図４において、「１」はデータの最上位ビット（ＭＳＢ）を意味し、「２」は１つ下位のビットを意味し、「３」はさらに１つ下位のビットを意味し、以下同様に大きな数字ほど下位のビットを意味する。したがって、領域４０１等の「８」は最下位ビット（ＬＳＢ）を意味し、領域４０３の「２４」は最下位ビットを意味する。

図５は、本発明の実施形態に係る文書管理システムの構成を示す図である。この文書管理システムはプリンタ６０１、複写機６０２、スキャナ６０３、パーソナルコンピュータやワークステーション等の情報処理装置６０４，６０９、ハードディスク装置等の記憶装置６０５がネットワークを介して接続された構成である。ただし、このようなシステム構成はあくまで一例である。記憶装置６０５には電子文書１や文書管理データベース６０６等が格納される。

次に、図５に示した文書管理システムにおいて、前述したような筆記媒体の印刷イメージを作成し、それを印刷する手順について説明する。

図６は、筆記媒体の印刷イメージを作成する手順を説明するためのフローチャートである。筆記媒体の印刷イメージの作成処理は、例えば、情報処理装置６０９（又は６０４）で、関連付けられた電子文書１の印刷命令を実行した時に該情報処理装置内のプリンタドライバによって行われる（ただし、他のアプリケーションソフトウェアによって実行する態様も当然に可能である）。

プリンタドライバはまず、記憶装置６０５内の文書管理データベース６０６に問い合わせて電子文書１のページ毎の文書ＩＤを発行してもらう（ｓｔｅｐ１）。

以下、ｓｔｅｐ２〜７の処理ループで、２次元コードパターン単位で当該文書ページに対応した筆記媒体の印刷イメージを順次作成する処理を行う。

すなわち、プリンタドライバでは、１つの２次元コードパターンにエンコードすべき当該２次元コードパターンの筆記媒体上の位置を示す座標情報を取得する（ｓｔｅｐ２）。例えば図７に示すように、文書ＩＤ「１２３４５６」、ｍｍ単位の座標情報（２４，１２３）が得られる。

次にプリンタドライバは、取得した文書ＩＤとｍｍ単位座標情報のエンコード処理を実行する（ｓｔｅｐ３）。すなわち、図７に示すように、６桁の文書ＩＤを３バイトのバイナリ値に変換する。また、ｍｍ単位の水平、垂直座標情報（２４，１２３）を２次元コードパターンの水平サイズ２、垂直サイズ３でそれぞれ除して１バイトに収まる値（１２，４１）に変換したうえで、それぞれを各１バイトのバイナリ値に変換する。かくして、１つの２次元コードパターンに関し、座標情報の２バイト、文書ＩＤの３バイトの計５バイトのデータが得られる。

次にプリンタドライバは、この５バイトのデータに誤り訂正符号を付加する（ｓｔｅｐ４）。図７の例では、５バイトのデータに対して４バイトの誤り訂正符号を付加している。この誤り訂正符号としてリードソロモン符号を採用する。リードソロモン符号はバイト単位の誤りを訂正できる強力な誤り訂正符号であり、その符号長の半分以下の誤りを訂正することができる。この例では誤り訂正符号長が４バイトなので、２バイトの誤り訂正が可能である。なお、リードソロモン誤り訂正符号は「宮川，岩垂，今井共著、”符号理論（コンピュータ基礎講座１８）”，昭晃堂」など多数の書籍に解説されているので、これ以上の説明は省略する。

電子文書１の当該ページには、例えば、座標（x0,y0）から(x1,y1)の矩形領域はティーグラウンドの領域である、座標点列(xi,yi)で囲まれた領域はバンカーの領域である、というような領域情報があるとする。プリンタドライバは、現在処理対象となっている２次元コードパターンの位置に対応した、そのような領域情報を取得する（ｓｔｅｐ５）。

そしてプリンタドライバは、作成されたエンコードデータ及び誤り訂正符号データを２次元コードパターンの該当したセルに割り当てるとともに、それぞれのドットに取得した領域情報に基づいた色を割り付けた２次元コードパターンを作成し、メモリ上に確保された媒体印刷イメージ用ページ上に、該２次元コードパターンを、そのｍｍ単位座標情報で示される位置に配置する（ｓｔｅｐ６）。なお、２次元コードパターンのドットの色分けで文字（文字領域）を表現することもできる。印刷に使用されるプリンタでシアン、マゼンタ、イエロー、ブラックの４色の色材が用いられる場合、ドットの色はシアン、マゼンタ、イエロー、レッド、グリーン、ブルー、ブラックの７色から選ぶのが適当である。

同様の処理が繰り返されることにより、ページ全体に２次元コードパターンがマトリクス配置された筆記媒体印刷イメージが作成される。

電子文書１が複数ページからなる場合、各ページについて同様の処理により筆記媒体印刷イメージが作成される。

このようにして、電子文書１の全ページについて２次元コードパターンをマトリクス配置した筆記媒体印刷ページが作成されると、図６には示されていないが、プリンタドライバは、作成された筆記媒体印刷イメージをプリンタ６０１又は複写機６０２のプリンタ部を使用して印刷する。この印刷が正常に終了したならば、文書管理データベース６０６に当該筆記媒体の印刷イメージの各ページとその文書ＩＤの情報の登録を行う。

上記の一連の作業のフローを図８に示す。まず、作業者は、記憶装置６０５に保存されている電子文書１の各ページを必要に応じてアプリケーションソフトウェアにより編集して印刷命令を出す（ｓｔｅｐ１１）。プリンタドライバによって図６に示したような手順により電子文書１の各ページに対応した筆記媒体印刷イメージが作成され、プリンタ６０１又は複写機６０２で印刷される（ｓｔｅｐ１２）。プリンタドライバは、その印刷が正常に終了したならば（ｓｔｅｐ１３，Ｙｅｓ）、上記のような文書管理データベース６０６への登録処理を行う（ｓｔｅｐ１４）。

さて、以上のようにして印刷された筆記媒体に、鉛筆やボールペンなどの普通の筆記具を用いて加筆することができる。そして、筆記媒体の画像を読み取り、その画像より加筆情報を抽出し、それを関連付けられた電子文書に付加する処理等を行うことができる。

次に、筆記媒体に加筆された情報の抽出について説明する。

筆記媒体に加筆された情報を抽出する場合、文書管理システム（図５）のスキャナ６０３又は複写機６０２のスキャナ部を用いて、筆記媒体をカラー画像として読み取り、このカラー画像に対する処理によって加筆情報を抽出する。この処理は、スキャナ６０３又は複写機６０２の内部に設けられた本発明の加筆情報検出装置（図５には不図示）によって実行されるか、あるいは、情報処理装置６０４又は６０９においてソフトウェアにより実行される。後者のソフトウェア処理の場合には、筆記媒体を読み取ったカラー画像は記憶装置６０５に一旦保存される。

まず、スキャナ６０３又は複写機６０２の内部に設けられる加筆情報検出装置について説明する。

図９−１は、加筆情報検出装置のブロック図である。ここに示す加筆情報検出装置は、２値化部２００、ドット検出部２０２Ｒ，２０２Ｇ，２０２Ｂ、画像合成／ドット色検出部２０４、加筆抽出部２０６、２次元コード・デコード部２０８、領域情報抽出部２１０、及び、加筆座標特定部２１２から構成される。各部について順次説明する。

まず、２値化部２００は、加筆された筆記媒体を読み取ったカラー画像データ（ＲＧＢデータ）をグレースケール画像データに変換し、このグレースケール画像データを２値化閾値を用いて２値化することにより、筆記媒体上の加筆部分と濃度の高いドットに対応した画素が黒、それ以外の画素が白の２値化画像データを生成する手段である。２値化閾値として予め設定した固定値を用いることもできるが、グレースケール画像データに応じて適応的に２値化閾値を決定するようにしてもよい。２値化閾値を適応的に決定する方法としては、例えば特開２００１−８０３２号公報に記載されている方法を用いることができる。これについて簡略に説明すると、グレースケール画像データをブロックに分割し、ブロック毎に、所定のサンプリング周期で飛び飛びに画素をサンプリングし、サンプリングされた画素の中で輝度値が低輝度閾値を超える画素の平均輝度値を算出し、この平均輝度値を用い所定の計算式により当該ブロックのための２値化閾値を算出する。低輝度閾値は固定することも可能であるが、隣接ブロックについて算出された平均輝度値に基づいて計算により低輝度閾値を決定するようにしてもよい。

ドット検出部２０２Ｒ，２０２Ｇ，２０２Ｂは、筆記媒体を読み取ったカラー画像データ（ＲＧＢデータ）がＲＧＢ各平面に分けられて入力され、Ｒ，Ｇ，Ｂ平面上で２次元コードパターン（その枠を含む）を構成するドットの検出を行うものである。各ドット検出部は同一の構成である。

図１０−１は、各ドット検出部２０２の第１の実施例を示すブロック図である。ドット検出は左上からラスタースキャン順に注目画素を移動しながら行われる。ドット検出の際に参照される領域は、図１１に示すような注目画素Ｚを中心とした７×７画素の領域である。

本実施例に係るドット検出部２０２は、注目画素Ｚを中心とした７×７画素の領域を参照して、注目画素Ｚがドット候補であるか否かを判定するドット候補判定器３１０１と、ドット候補判定器３１０１でドット候補とされた注目画素Ｚの輝度が周囲の画素の輝度より低いか否かを判定する最小輝度画素判定器３１０２と、最小輝度画素判定器３１０２により最小輝度画素であると判定されたドット候補の周囲にすでにドットとして検出された画素があるか否かを調べ、周辺に検出済みのドットがなければドット候補を最終的にドットとして検出する周辺ドット探索器３１０３とから構成される。各部をより詳しく説明する。

ドット候補判定器３１０１は、下記式（１）〜式（８）の条件を全て満足するときに、注目画素Ｚをドット候補と判定する。ただし、Ｔｈは所定の閾値であり、Ａ，Ｂ，Ｃ，．．．等のアルファベットは、図１１中の対応位置の画素の値を示す。Ｒ，Ｇ，Ｂ各面の１画素は８ビットで表現され、０から２５５までの値をとるものとする。

Ｚ＜Ａ−Ｔｈ （１）
Ｚ＜Ｅ−Ｔｈ （２）
Ｚ＜Ｌ−Ｔｈ （３）
Ｚ＜Ｐ−Ｔｈ （４）
Ｚ＜Ｑ−Ｔｈ （５）
Ｚ＜Ｒ−Ｔｈ （６）
Ｚ＜Ｓ−Ｔｈ （７）
Ｚ＜Ｔ−Ｔｈ （８）。

最小輝度画素判定器３１０２は、ドット候補とされた注目画素Ｚが下記の式（９）〜式（２０）の条件を全て満足するときに最小輝度を有すると判定する。

Ｚ＜Ｂ （９）
Ｚ＜Ｃ （１０）
Ｚ＜Ｄ （１１）
Ｚ＜Ｆ （１２）
Ｚ＜Ｇ （１３）
Ｚ＜Ｈ （１４）
Ｚ＜Ｉ （１５）
Ｚ＜Ｊ （１６）
Ｚ＜Ｋ （１７）
Ｚ＜Ｍ （１８）
Ｚ＜Ｎ （１９）
Ｚ＜Ｏ （２０）。

周辺ドット探索器３１０３は、ドット候補判定器３１０１でドット候補と判定され、かつ、最小輝度画素判定器３１０２で最小輝度画素と判定された注目画素Ｚについて、その周囲のＵ，Ｖ，Ｗ，Ｘ位置にドットとして検出済みの画素が存在しなければ、注目画素Ｚを最終的にドットと判定する（注目画素Ｚはドットとして検出される）。ドット検出の処理は左上からラスタースキャン順に行われるため、周辺ドット探索器３１０３は、Ｙ位置の画素については調べる必要はない。

なお、上記式（１）〜（８）中の閾値Ｔｈは適切な値に設定する必要がある。閾値Ｔｈの値が小さいほどドットを検出しやすくなるが、同時にノイズをもドットとして検出してしまい、検出データに誤りが起きる可能性が高くなる。一方、閾値Ｔｈの値が大きければノイズの誤検出を減らすことができるが、本来のドットの検出率が下がり２次元コードの読み取り確率が下がる。

図１２−１は、ドット検出器２０２の第２の実施例を示すブロック図である。本実施例に係るドット検出器２０２は、ドット検出処理をより高速化するため、最前段にドット探索領域判定器３１００が追加された点が前記第１の実施例と異なる。

ドット探索領域判定器３１００は、筆記媒体を読み取ったカラー画像データのＲ，Ｇ又はＢ平面上で、水平、垂直各方向に１画素おきに画素を選び、該画素を図１１中の注目画素Ｚとして前記式（１）〜（８）の全ての条件が満たされたときに、該画素を中心とした３×３画素の領域をドットを探索すべき領域（ドット探索領域）と判定する。

そして、このドット探索領域内の各画素のみがドット候補判定器３１０１による処理の注目画素となる。この点を除けば、ドット候補判定器３１０１の処理内容は前記第１の実施例の場合と同じである。このようにドット探索領域を予め絞り込むため、全画素についてドット探索を行う前記第１の実施例にくらべ処理が高速化される。なお、各注目画素に対するドット候補判定器３１０１の処理内容は前記第１の実施例の場合と同様である。また、最小輝度画素判定器３１０２の処理内容も前記第１の実施例の場合と同様である。

周辺ドット探索器３４０２の処理内容も前記第１の実施例の場合と同様であるが、本実施例の場合は、注目画素Ｚの最小輝度画素と判定された注目画素Ｚの周囲のＵ，Ｖ，Ｗ，Ｘ位置に加えＹ位置についてもドットとして検出済みの画素の有無を調べ、いずれの位置にもドットとして検出済みの画素が存在しないときに注目画素Ｚを最終的にドットと判定する。このようにＹ位置についても調べるのは、本実施例においてはドット探索領域毎に処理されるので、注目画素Ｚが含まれるドット探索領域より前に処理されたドット探索領域にＹ位置の画素が含まれている場合には、Ｙ位置の画素が既にドットとして検出されている可能性があるからである。

さて、図９−１に戻る。画像合成／ドット色検出部２０４は、ＲＧＢ各画像平面についてのドット検出部２０２Ｒ，２０２Ｇ，２０２Ｂの検出結果に基づいて、ドット画像を合成するとともに、ドット画像上のドットの座標及び色を検出してドット座標リストに登録する。より具体的には、ＲＧＢ各画像平面において検出されたドットの位置は、筆記媒体の印刷時のドット位置ずれ、ドット検出時の位置ずれ等によって、ＲＧＢ平面間で１画素ずれている可能性がある。そこで、ＲＧＢ各平面で検出された各ドットを中心とした３×３画素領域に複数のドットが存在するときには、それらドットをまとめて１つのドットとしてドット画像上に表す。ドット画像において、ドットは黒画素として表され、ドット以外の画素は白画素として表される。ドット色の検出であるが、例えば、ある画素位置を中心とした３×３画素の小領域において、ＲＧＢ全平面においてドットが検出されたならばドット色を黒、Ｒ平面でのみドットが検出されたならばドット色をシアン、Ｇ平面でのみドットが検出されたならばドット色をマゼンタ、Ｂ平面でのみドットが検出されたならばドット色をイエロー、ＧＢ平面それぞれでドットが検出されたならばドット色をレッド、ＲＢ平面それぞれでドットが検出されたならばドット色をグリーン、ＲＧ平面それぞれでドットが検出されたならばドット色をブルーと判定する。画像合成／ドット色検出部２０４からは、ドット画像と、ドット座標リスト（ドット座標及びドット色のリスト）が出力される。

領域情報抽出部２１０は、画像合成／ドット色検出部２０４より出力されたドット座標リストに含まれているドット座標及びドット色を基に、同じ色を持ち一つの領域を形成するドット座標の分類を行う。すなわち、注目したドット及びその隣接ドットの色が同じならば、それらドットは１つの領域を形成すると判定する。この処理を領域がすべて確定するまで繰り返すことにより、同色のドット群で表された領域を抽出する。

加筆抽出部２０６は、２値化部２００より出力された２値化画像データと、画像合成／ドット色検出部２０４より出力されたドット座標リスト中のドット座標を基に、筆記媒体上の加筆部分を抽出する。すなわち、２値化画像データにおいて、ドット座標リスト中の各ドット座標（２次元コードパターンを構成するドットの座標）を中心とした３×３画素（あるいは５×５画素）の小領域にある黒画素を白画素に変更する。この処理後の２値化画像データ（以下、２値画像データと記す）には、加筆部分に対応した黒画素のみが残る。加筆抽出部２０６は次に、該２値画像データに細線化処理を施す。細線化処理とは線の太さを１画素幅にする処理である。ただし、加筆には線以外の塗りつぶしなどもあるので、ある程度以上の幅（例えば６００ｄｐｉの入力画像の場合に４８画素（＝２ｍｍ）以上の幅）を持った線については細線化を行わない。このような細線化処理には、公知の種々のアルゴリズムを利用すればよい。なお、細線化処理を省くことも可能であり、かかる態様も本発明に包含される。

このようにして細線化後の加筆位置は、あくまで２値化画像データ上の位置つまり筆記媒体を読み取った入力画像データ上の位置であって、筆記媒体上の位置ではない。そこで、加筆位置の筆記媒体上での座標を加筆座標特定部２１２で検出するのであるが、そのためには２次元コード・デコード部２０８でドット画像中の複数の２次元コードパターンをデコードし、２次元コードパターンにエンコードされている筆記媒体上の位置を表す座標情報を取得し、これと入力画像データ上の２次元コードパターンの位置とを関連づける必要がある。

２次元コード・デコード部２０８について説明する。図１３−１は２次元コード・デコード部２０８の一実施例を示すブロック図である。図示のように、本実施例に係る２次元コード・デコード部２０８は、小領域設定器３００、コード枠検出器３０２、データ取得器３０４、誤り訂正器３０６及びデータ復号器３０８から構成される。

入力画像データ上の全ての２次元コードパターンを検出しようとすると、処理時間が増加するのみならず無駄な情報をも得てしまうことになる。そこで、小領域設定器３００で入力画像内に小領域を設定する。そして、各小領域毎に、その中の１つの２次元コードパターンについてデコードする。その２次元コードパターンを正常にデコードできないこともあり、この場合は該小領域における２次元コードパターンにエンコードされている筆記媒体上の座標情報と、入力画像上の２次元コードパターンの位置との関連づけができないということになるが、該小領域の近傍の他の小領域によって得られる座標情報で代替できるので問題はない。具体例を挙げると、Ａ４サイズの筆記媒体を６００ｄｐｉで読み取って画像を入力した場合、入力画像に２５６×２５６画素毎に小領域を設定する。入力画像のサイズは４９６０ｘ７０１６画素であるので、小領域は短辺方向に２０個、長辺方向に２８個並ぶことになる．
次に、コード枠検出器３０２で、各小領域毎に、１つの２次元コードパターンの枠とその位置を検出し、検出した枠内の画像と位置情報を出力する。次にデータ取得器３０４において、コード枠検出器３０２より入力された枠内画像から２次元コードパターンの各セルのドットの有無を表す”１”または”０”のデータを取得し、このデータを２次元コードパターンにおけるデータ配置規則（図４）に従って並べ替えて出力する。

次に誤り訂正器３０６において、データ取得器３０４から出力されたデータに対し誤り訂正を行う。誤り訂正器３０６からは、誤り訂正が成功したか否かの判定情報と誤り訂正後のデータが出力される。この誤り訂正後のデータが、２次元コードパターンにエンコードされている文書ＩＤ及び２次元コードパターンの筆記媒体上座標情報である。

データ復号器３０８は、誤り訂正の判定情報が「誤り訂正成功」であれば、誤り訂正後のデータから文書ＩＤと筆記媒体上座標情報を復号する。ただし、誤り訂正の判定情報が「誤り訂正失敗」の場合、データ復号器３０８は、文書ＩＤとしてありえない数値例えば（−１）を出力し、また筆記媒体上座標情報としてありえない数値例えば（−１，−１）を出力する。

図１４を用いてデータ復号について説明する。２次元コードパターンにエンコードされたデータは、座標情報の２バイト（Ｘ方向１バイト，Ｙ方向１バイト）と文書ＩＤの３バイト、誤り訂正符号の４バイトであるので、２バイトまでの誤りを訂正することができる。データ取得器３０４で、図１４に示す「正しいデータ」を得られた場合には、水平座標＝２４ｍｍ（＝１２×２）、垂直座標＝１２３ｍｍ（＝４１×３）、文書ＩＤ＝２３が復号される。また、図１４に示す「観測データ１」のように網掛けした２バイトに誤りがあるようなデータがデータ取得器３０４で取得された場合も、その誤りを訂正することができため、水平座標、垂直座標及び文書ＩＤを正しく復号できる。しかし、図１４に示す「観測データ２」のように網掛けした３バイト又はそれ以上の誤りのあるデータの場合には、誤りを正しく訂正できないため、正常な復号は不可能である。

そして、データ復号器３０８によりデコードされた２次元コードパターンの筆記媒体上座標（２次元コードパターンの左上角の座標）と、コード枠検出器３０２により検出された２次元コードパターンの左上角の画像上座標とを関連付けた位置情報リスト、及び、データ復号器３０２によりデコードされた文書ＩＤ情報が、２次元コードデコード部２０８の出力データとして出力される。

次に、２次元コード・デコード部２０８の各部について詳細に説明する。

図１５はコード枠検出器３０２のブロック図である。コード枠検出はドット画像の小領域でのドットの追跡によって行われる。図１６にドット追跡の経路を示す。

コード枠検出器３０２は、２次元コードパターンの第１コーナー（Ｘ）を検出する第１コーナー検出器４０００、その第１コーナー（Ｘ）から上下左右方向に８画素分追跡して第２コーナー候補画素を検出する第１ドット追跡器４００１、第１ドット追跡器４００１で検出された第２コーナー候補画素が第２コーナー（Ｂ，Ｄ）であるか否かを判定する第２コーナー検出器４００２、第２コーナー検出器４００２で検出された第２コーナー（Ｂ，Ｄ）より、第１コーナーから第２コーナーへのドット追跡方向を時計回りに延長するように、ドットで構成されるコード枠の１２画素分を追跡して第３コーナー候補画素を検出する第２ドット追跡器４００３、第２ドット追跡器４００３により検出された第３コーナー候補画素が第３コーナー（Ｇ，Ｅ）であるか否かを判定する第３コーナー検出器４００４、第３コーナーから時計回り方向にコード枠の８画素分を追跡して第４コーナー候補画素を検出する第３ドット追跡器４００５、この第４コーナー候補画素が第４コーナー（Ｃ，Ａ）であるか否かを判定する第４コーナー検出器４００６、第４コーナー（Ｃ，Ａ）から第１コーナー（Ｘ）の間のコード枠を構成するドットを検出する第４ドット追跡器４００７とからなる。

このようなコード枠検出器３０２によれば、各小領域内において、最大２つの２次元コードパターンのコード枠（ＸＢＧＣとＥＡＸＤ）を検出するとともに、そのコード位置（２次元コードパターンの左上角つまりＸ又はＥ）のドット画像上の座標を検出することができる。

第１コーナー検出器４０００についてさらに説明する。図１７−１は第１コーナー検出器４０００のブロック図、図１７−２はその動作説明のための図である。

図１７−１に示すように、第１コーナー検出器４０００は、周囲ドット検出器４０１１と点対称ペア検出器４０１２とから構成される。

周囲ドット検出器４０１１は、図１７−２に示すように、ドットの存在する注目画素Ｎを中心とした１７×１７画素の領域内において、注目画素（ドット）Ｎの周囲に４つ以上のドットが存在するか調べる。図１７−２の例では、６個の周囲ドットＡ〜Ｆが検出される。点対称ペア検出器４０１２は、周囲ドット検出器４０１１によって検出された周囲ドットから、注目画素Ｎに対し点対称をなすドットのペア（注目画素Ｎとの距離が近く、中間点が注目画素Ｎに近いドットのペア）の検出を行う。図１７−２の例では、ドットＢ，ＤのペアとドットＣ，Ｆのペアが検出される。ＡとＥはノイズと判断され除去される。このような２組のドットのペアが検出された場合に、注目画素（ドット）Ｎは第１コーナーとして検出される。２組のドットのペアが検出されない場合、注目画素（ドット）Ｎは第１コーナーとしては検出されず、注目画素を移動させて改めて第１コーナーの検出処理を行うことになる。

このような第１コーナー検出では、通常のラスター走査でドットを追跡するのではなく、図１８に示すように内側から外側へと渦巻き状にドットを追跡する。その理由は、画像領域の中央付近では欠けのない完全な形の２次元コードパターンがすぐに見つかるため効率的な処理が可能であるからである。これに対し、画像端に近い部分では２次元コードの一部が欠落しているため、無駄な処理が増え処理時間の増加を招く。

次に、第１ドット追跡器４００１について図１９を参照しさらに説明する。図１９は２次元コードパターンの第１コーナー付近のコード枠を構成するドットを示しており、Ｘは第１コーナーにあるコーナードット、Ａ〜Ｉはコード枠を構成する他のドットである。

今、ＸからＤＥＦの方向へドットを追跡することにする。簡単のため、Ａ〜Ｉ，Ｘをそれぞれ座標ベクトルとみなす。まず
Ｙ＝２Ｄ−Ｘ
を計算する。このＹはドットＥの推定ベクトルである。Ａ〜Ｄは第１コーナー検出器４０００で検出されているので既知である。Ｙの周囲５ｘ５画素においてドットＥを跡する。Ｅが存在するならば、
Ｙ＝２Ｅ−Ｄ
を計算する。このＹはドットＦの推定ベクトルである。この追跡を７回繰り返して第２コーナー候補画素を検出する。追跡方向は４方向（図１６において、Ｘ→Ａ、Ｘ→Ｂ、Ｘ→Ｃ、Ｘ→Ｄ）存在する。検出された全ての第２コーナー候補画素の情報が、第２コーナー検出器４００２へ転送される。

第２コーナー検出器４００２の基本的な動作は第１コーナー検出器４０００と同様である。ただし、第２コーナー検出器４００２の場合には、注目画素となるドットが複数（最大４）存在する可能性があり、その中で検出される第２コーナーは最大２個（図１６のＢとＤ）である点が第１コーナー検出器４０００と異なる。

第２ドット追跡器４００３の基本的な動作は第１ドット追跡器４００１と同様である。ただし、第２ドット追跡器４００３の場合、追跡を開始するドットが２個あり、その各ドットあたり１つの方向の追跡を行うこと（図１６において、Ｂ→Ｇ、Ｄ→Ｅ）と、各追跡あたりドット追跡操作を１１回繰り返すことにより第３コーナー候補画素（図１６のＧ，Ｅ）を検出することが第１ドット追跡器４００１と異なる点である。

第３コーナー検出器４００４は第２ドット追跡器４００３で追跡できた第３コーナー候補画素（図１６において、Ｇ，Ｅ）が第３コーナーであるか否かを判定して第３コーナーを検出する。その基本的な動作は第１，第２コーナー検出器４０００，４００２と同様である。

第３コーナー検出器４００４が図１６のＧ，Ｅを第３コーナーとして検出したとすると、第３ドット追跡器４００５は２つの方向（図１６において、Ｇ→Ｃ，Ｅ→Ａ）にドット追跡を行う。その追跡回数は第１ドット追跡器４００１と同じ７回であり、第４コーナー候補画素として図１６のＣ，Ａを検出する。

第４ドット追跡器４００７は第２ドット追跡器４００３と同一構成であり、図１６のＣ→Ｘ、Ａ→Ｘの各方向に１１回追跡してＸに至る。Ｘはすでに第１コーナーのドットであることが分かっているので、図１６に示した追跡経路（１）と追跡経路（２）により２つの２次元コードパターンのコード枠が検出されたことになる。この２つの２次元コードパターンのいずれをデコードするかであるが、画像上での中心の水平座標が大きい方の２次元コードパターンを優先する。もし、この２次元コードパターンのデコードができなかったときには、もう一方の２次元コードパターンをデコードするものとする。

以上、コード枠検出器３０２（図１３）について説明した。

次に、データ取得器３０４（図１３−１）について図２０−１及び図２０−２を参照して説明する。図２０−１は１つの２次元コードパターンとその近傍のドット画像の一例を示している。また、図２０−２はデータ取得器３０４の動作を説明するためのフローチャートである。

図２０−１に示すように、２次元コードパターンの枠（コード枠）のコーナードット以外のドットａ１〜ａ７，ｂ１〜ｂ１１，ｃ１〜ｃ７，ｄ１〜ｄ１１に着目する。データ取得器３０４は、水平方向に並ぶドットａ１〜ａ７とドットｃ１〜ｃ７の対応するもの同士を結ぶ直線と、垂直方向に並ぶドットｂ１〜ｂ１１とドットｄ１〜ｄ１１の対応するもの同士を結ぶ直線との各交点（セル）の座標を検出する（ｓｔｅｐ２１）。そして、各交点について、その座標を中心とした３ｘ３画素の領域内のドットの有無を検出する（ｓｔｅｐ２２）。交点の座標を中心とした３×３画素の領域内にドットが検出されたときには、該交点についてデータ”１”が取得されたということであり、３×３画素の領域内にドットが検出されないときには、該交点についてデータ”０”が取得されたということになる。データ取得器３０４は、このようにして取得したデータを、２次元コードパターンのデータ配置規則（図４）に従いコードデータに再構成して出力する。

次に、加筆座標特定部２１２（図９−１）の動作について詳細に説明する。加筆座標特定部２１２には、加筆抽出部２０６より出力される加筆部分のみが表されている２値画像データと、２次元コード・デコード部２０８より出力される位置情報リストとが入力される。前述の通り、この位置情報リストは、各２次元コードパターンよりデコードされた、該２次元コードパターンの左上角の座標（筆記媒体上座標）と、２次元コードパターンの左上角の画像上での位置を表す座標（画像上座標）とが関連付けられたリストである。筆記媒体の画像はスキャナ入力されるので、画像のあおり歪みは無視できる。加筆座標特定部２１２は、位置情報リスト中の複数の２次元コードパターンについての筆記媒体上座標と画像上座標とを用い、線形補間によって加筆部分の筆記媒体上での位置を決定することができる。

具体的処理を説明すると、まず、加筆部分のみが表されている２値画像データを走査し、加筆部分の画素（加筆画素）の座標（画像上座標）を検出する。検出した各加筆画素毎に、その座標に近い画像上座標情報と関連付けられた３つの２次元コードパターンの筆記媒体上座標を位置情報リストから取り出す。

図２１により説明する。図２１において、Ｘは位置を特定しようとする加筆画素であり、Ａ〜Ｉは２次元コード・デコード部２０８によって各小領域内でデコードすることができた２次元コードパターンの左上角の画像上座標である。いま求めたいのは、加筆画素Ｘの筆記媒体上座標である。図２１の例では、Ａ〜Ｉのうちで加筆画素Ｘに最も近い３点はＥ，Ｆ，Ｈであるので、このＥ，Ｆ，Ｈに対応した２次元コードパターンの筆記媒体上座標を位置情報リストから取り出し、これを用いて次のようにして加筆画素Ｘの筆記媒体上座標を計算する。

Ｅ，Ｆ，Ｈの画像上座標（ｘｉ．ｙｉ）と、その筆記媒体上座標（ｘｐ，ｙｐ）との関係は
ｘｐ＝ａ１＊ｘｉ＋ａ２＊ｙｉ＋ａ３
ｙｐ＝ａ４＊ｘｉ＋ａ５＊ｙｉ＋ａ６
と表すことができる。ａ１〜ａ６は未知数である。Ｅ，Ｆ，Ｈの画像上座標と筆記媒体上座標は既知であるので、これを上式に代入することによって未知数ａ１〜ａ６を求めることにより、加筆画素Ｘの筆記媒体上座標（ｘｐ，ｙｐ）を特定することができる。

以上に説明した加筆情報検出装置と同じ処理を情報処理装置６０４又は６０９上でソフトウェアより実行してもよいことは前述した通りである。この場合、加筆情報検出処理を実現するためのプログラムは例えば情報処理装置６０９の記憶装置６０５に格納されている。そして、このプログラムが情報処理装置６０９又は６０４にロードされ、その命令が実行されることによって、加筆情報検出処理が行われる。スキャナ６０３又は複写機６０２のスキャナ部によって筆記媒体をスキャンすることにより読み取られたカラー画像データは、予め記憶装置６０５に格納されているものとする。

ソフトウェアによる加筆情報検出の処理手順を図９−２に示すフローチャートに従って説明する。

まず、記憶装置６０５より筆記媒体のカラー画像データがメモリに読み込まれる（ｓｔｅｐ１０１）。この筆記媒体のカラー画像データに対し２値化部２００（図９−１）と同様の２値化処理が行われ、加筆部分と濃度の高いドットのみが黒画素、それ以外の画素が白画素の２値化画像データが生成される（ｓｔｅｐ１０２）。また、筆記媒体のカラー画像データのＲＧＢ各平面毎に、ドット検出部２０２Ｒ，２０２Ｇ，２０２Ｂ（図９−１）と同様のドット検出処理を行って、２次元コードパターンを構成するドットを検出する（ｓｔｅｐ１０３）。そして、このドット検出結果に基づいて、画像合成／ドット色検出部２０４（図９−１）と同様のドット画像の合成とドット色検出の処理を行い、ドットの座標と色をドット座標リストに登録する（ｓｔｅｐ１０４）。

次に、ｓｔｅｐ１０２で生成された２値化画像データとｓｔｅｐ１０４で得られたドット座標リスト中のドット座標に基づいて、加筆抽出部２０６（図９−１）と同様の処理が実行され、２次元コードパターンのドットが除去された２値画像データが生成される（ｓｔｅｐ１０５）。また、ｓｔｅｐ１０４で生成されたドット位置リストに基づき、領域情報抽出部２１０（図９−１）と同様の処理が実行されて同じ色の集まりである領域が抽出され、領域情報が取得される（ｓｔｅｐ１０７）。また、ｓｔｅｐ１０４で生成されたドット画像データに基づいて、２次元コード・デコード部２０８（図９−１）と同様の処理を行い、２次元コードパターンの左上角の筆記媒体上座標と画像上座標とを対応付けた位置情報リストを生成する（ｓｔｅｐ１０６）。最後に、ｓｔｅｐ１０５で生成された加筆部分のみ残された２値画像データとｓｔｅｐ１０６で生成された位置情報リストに基づいて、加筆座標特定部２１２（図９−１）と同様の処理が行われ、加筆画素の筆記媒体上座標が求められる（ｓｔｅｐ１０８）。

図１０−２に、ｓｔｅｐ１０３における処理フローの一例を示す。図中、ｓｔｅｐ２０１，ｓｔｅｐ２０２，ｓｔｅｐ２０３は、図１０−１に示したドット候補判定器３１０１，最小輝度画素判定器３１０２、周辺ドット探索器３１０３に対応した処理を行うステップである。

図１２−２に、ｓｔｅｐ１０３における処理フローの他の一例を示す。図中、ｓｔｅｐ２００，ｓｔｅｐ２０１，ｓｔｅｐ２０２，ｓｔｅｐ２０３は、図１２−１に示したドット探索領域判定器３１００，ドット候補判定器３１０１、最小輝度画素判定器３１０２、周辺ドット探索器３１０３に対応した処理を行うステップである。

図１３−２に、ｓｔｅｐ１０６における処理フローを示す。図中、ｓｔｅｐ３０１，ｓｔｅｐ３０２，ｓｔｅｐ３０３，ｓｔｅｐ３０４は図１３−１に示した小領域設定器３００，コード枠検出器３０２，データ取得器３０４，誤り訂正器３０６に対応した処理を行うステップである。ｓｔｅｐ３０５，ｓｔｅｐ３０６は図１３−１のデータ復号器３０８に対応した処理ステップである。

以上、本発明の加筆情報検出装置又はソフトウェアによる加筆情報検出手順を説明したが、以上の説明は本発明の加筆情報検出方法の説明を兼ねることは明らかである。また、ソフトウェアによる加筆情報検出手順の説明は、加筆情報検出装置又は加筆情報検出方法をコンピュータ上でソフトウェアにより実現するためのプログラムの説明でもある。このようなプログラム、すなわち、加筆情報検出装置の各構成手段としてコンピュータを機能させるプログラム、あるいは、加筆情報検出方法の処理工程をコンピュータに実行させるプログラムも本発明に包含される。また、そのようなプログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子等のコンピュータが読み取り可能な各種記録（記憶）媒体も本発明に包含される。

ここで、特許請求の範囲の記載と前記実施形態との対応について説明する。図９−１を参照すると、二値化部２００が「第１の処理手段」に対応し、ドット検出部２０２Ｒ，２０２Ｇ，２０２Ｂと画像合成／ドット色検出部２０４の組み合わせが「第２の処理手段」に対応し、加筆抽出部２０６が「第３の処理手段」に対応し、２次元コード・デコード部２０８が「第４の処理手段」に対応し、加筆座標特定部２１２が「第５の処理手段」に対応し、領域情報抽出部２１０が「第６の処理手段」に対応する。図９−２を参照すると、ｓｔｅｐ１０２が「第１の処理工程」に対応し、ｓｔｅｐ１０３とｓｔｅｐ１０４の組み合わせが「第２の処理工程」に対応し、ｓｔｅｐ１０５が「第３の処理工程」に対応し、ｓｔｅｐ１０６が「第４の処理工程」に対応し、ｓｔｅｐ１０８が「第５の処理工程」に対応し、ｓｔｅｐ１０７が「第６の処理工程」に対応する。

以上、筆記媒体上の加筆情報等の抽出について説明した。次に、筆記媒体より抽出した加筆情報等の利用について説明する。図２２は説明のためのフローチャートである。

前述した筆記媒体に鉛筆やボールペン等の筆記具を用いて加筆される。加筆された筆記媒体がスキャナ６０３又は複写機６０２のスキャナ部によりカラー画像データとして読み取られる。そして、スキャナ６０３又は複写機６０２の内部に設けられた図９−１に示した加筆情報検出装置によって、あるいは、情報処理装置６０９又は６０４上で動作する加筆情報検出装置と同様の処理を実行するプログラムによって、筆記媒体のカラー画像データを基に、筆記媒体の加筆情報（座標情報）、領域情報、文書ＩＤ情報が取得される（ｓｔｅｐ４０１）。

情報処理装置６０９は、その文書ＩＤ情報を基に、当該筆記媒体に関連付けられた文書（のページ）を文書管理データベース６０６により特定し、当該文書（のページ）を取得する（ｓｔｅｐ４０２）。例えば図２３に示すような項目が文書管理データベース６０６に登録されており、筆記媒体より抽出された文書ＩＤが「１２３４５６」であるとすると、当該文書は文書名「golf.doc」のページ１であると特定される。

情報処理装置６０９は、特定した文書「golf.doc」を、それが関連付けられているアプリケーションで開き、不図示のディスプレイに表示して編集状態とする（ｓｔｅｐ４０３）。そして、編集状態とされた文書「golf.doc」に、筆記媒体より抽出された加筆情報を描画する。具体的には、例えば、文書のウィンドウに新たな描画オブジェクトを開き（ｓｔｅｐ４０４）、筆記媒体より抽出された加筆情報すなわち加筆部分の座標を線でつないで描画し（ｓｔｅｐ４０５）、これを終わると文書「golf.doc」の更新・保存処理を行う（ｓｔｅｐ４０６）。このようにして、文書「golf.doc」に加筆情報である一つのオブジェクトを加える。

なお、加筆情報である座標情報を別ファイル（座標列ファイル）として保存する（図２３はそのような座標列ファイルが保存された場合を示している）。このように加筆情報を別ファイルとして保存すると、ユーザが後にアプリケーションを開いて加筆された情報を確認したいときに、文書が素早く開くことができないような巨大なサイズを有するような場合でも、別ファイルとして保存されている加筆情報のみを素早く表示して確認することができる利点がある。

また、筆記媒体より加筆情報のほかに領域情報が抽出される。したがって、例えばゴルフコースのマップを内容とした電子文書に関連付けられた筆記媒体の場合、抽出した領域情報によってゴルフコースのマップをほぼ復元し、それに加筆情報を描画することができる。つまり、筆記情報に関連付けられた電子文書を開くことなく、その電子文書の内容がほぼ再現されかつ加筆情報が付加されたイメージを作成し、それをプリントするような処理を行うことも可能である。

本発明の筆記媒体に印刷される２次元コードパターンの例を示す図である。 ２次元コードパターンのドットの大きさとドット間隔の説明図である。 ２次元コードパターンの領域の説明図である。 ２次元コードパターンの各領域におけるビット配置の説明図である。 本発明の実施形態に係る文書管理システムの構成図である。 筆記媒体の印刷イメージの作成手順を説明するためのフローチャートである。 ２次元コードパターンにエンコードされるデータの説明図である。 電子文書を開き、それに関連付けられた筆記媒体を印刷する手順を説明するためのフローチャートである。 本発明の実施形態に係る加筆情報検出装置のブロック図である。 加筆情報検出処理フローを示すフローチャートである。 ドット検出部の第１の実施例を示すブロック図である。 ドット検出処理フローを示すフローチャートである ドット検出で参照される注目画素の周辺画素を示す図である。 ドット検出部の第２の実施例を示すブロック図である。 ドット検出処理フローを示すフローチャートである。 ２次元コード・デコード部の一実施例を示すブロック図である。 ２次元コード・デコード処理フローを示すフローチャートである。 ２次元コードパターンにエンコードされたデータの復号と誤り訂正の説明のための図である。 コード枠検出器のブロック図である。 コード枠検出の説明図である。 第１コーナー検出器のブロック図である。 点対称ペア検出の説明図である。 渦巻き状のドット検出の説明図である。 ドット追跡の説明図である。 ２次元コードパターンのデータドット検出の説明図である。 データ取得器の処理フローを示すフローチャートである。 加筆画素の媒体上座標を補間により求める方法の説明図である。 筆記媒体より加筆情報等を検出し、それを利用する処理を説明するためのフローチャートである。 文書管理データベースの登録項目の例を示す図である。

符号の説明

２，２ａ〜２ｄ ２次元コードパターン
２００ ２値化部
２０２Ｒ，２０２Ｇ，２０２Ｂ ドット検出部
２０４ 画像合成・ドット色検出部
２０６ 加筆抽出部
２０８ ２次元コード・デコード部
２１０ 領域情報抽出部
２１２ 加筆座標特定部
３００ 小領域設定器
３０２ コード枠検出器
３０４ データ取得器
３０６ 誤り訂正器
３０８ データ復号器
４００ 第１コーナー検出器
４０１ 第１ドット追跡器
４０２ 第２コーナー検出器
４０３ 第２ドット追跡器
４０４ 第３コーナー検出器
４０５ 第３ドット追跡器
４０６ 第４コーナー検出器
４０７ 第４ドット追跡器
４１１ 周囲ドット検出器
４１２ 点対称ペア検出器
６０１ プリンタ
６０２ 複写機
６０３ スキャナ
６０４，６０９ 情報処理装置
６０５ 記憶装置
６０６ データベース
３１００ ドット探索領域判定器
３１０１ ドット候補判定器
３１０２ 最小輝度画素判定器
３１０３ 周辺ドット探索器

Claims (16)

1. 特定の電子文書に関連付けられた筆記媒体であって、
   普通の筆記具を用いて筆記可能な材質の媒体に、所定サイズのドットパターンである２次元コードパターンがマトリクス状に並べて印刷されており、前記各２次元コードパターンには該２次元コードパターンの前記媒体上での位置を示す座標情報がエンコードされており、前記各２次元コードパターンを構成するドットは前記電子文書の領域情報を表すように色分けされていることを特徴とする筆記媒体。
2. 特定の電子文書に関連付けられた筆記媒体であって、
   普通の筆記具を用いて筆記可能な材質の媒体に所定サイズのドットパターンである２次元コードパターンがマトリクス状に並べて印刷されており、前記各２次元コードパターンには該２次元コードパターンの前記媒体上での位置を示す座標情報及び前記電子文書の識別情報がエンコードされており、前記各２次元コードパターンを構成するドットは前記電子文書の領域情報を表すように色分けされていることを特徴とする筆記媒体。
3. 前記各２次元コードパターンには誤り訂正符号もエンコードされていることを特徴とする請求項１又は２に記載の筆記媒体。
4. 前記媒体全体に対する前記２次元コードパターンのドットの占める面積率が５パーセント未満であることを特徴とする請求項１，２又は３に記載の筆記媒体。
5. 筆記媒体を読み取ったカラー画像を入力とし、前記筆記媒体に筆記具を用いて加筆された情報を検出する加筆情報検出装置であって、
   前記カラー画像を２値化して背景画素を白画素、非背景画素を黒画素とした２値化画像を生成する第１の処理手段と、
   前記カラー画像に基づいて、前記カラー画像の画素のうち、前記筆記媒体上にマトリクス状に並べて印刷されている２次元コードパターンのドットに対応した画素のみを黒画素で表し、それ以外の画素を白画素で表したドット画像を生成するとともに、前記２次元コードパターンのドットの前記ドット画像上での位置を表すドット座標及び前記２次元コードパターンのドットの色を表すドット色を検出して出力する第２の処理手段と、
   前記第２の処理手段より出力されたドット座標を基に、前記２値化画像から前記２次元コードパターンのドットに対応した黒画素を除去することにより、前記筆記媒体の加筆された部分に対応した黒画素（以下、加筆画素と記す）を表す２値画像を生成する第３の処理手段と、
   前記ドット画像より前記２次元コードパターンを検出し、検出した各２次元コードパターンをデコードすることにより、該２次元コードパターンの前記筆記媒体上での位置を表す座標（筆記媒体上座標と記す）を取得し、該筆記媒体上座標を該２次元コードパターンの前記ドット画像上の位置を表す座標（画像上座標）と対応付けて出力する第４の処理手段と、
   前記各加筆画素の前記２値画像上での位置を表す座標と前記第４の処理手段より出力された前記２次元コードパターンの前記筆記媒体上座標及び前記画像上座標とに基づいて、前記各加筆画素の前記筆記媒体上での位置を示す座標を求め、それを加筆情報として出力する第５の処理手段と、
   前記第２の処理手段より出力されたドット座標及びドット色に基づいて、同色のドット群で表される領域を表す領域情報を生成する第６の処理手段と、
   を有することを特徴とする加筆情報検出装置。
6. 前記第４の処理手段は、検出した２次元コードパターンをデコードすることにより、前記筆記媒体に関連付けられた電子文書の識別情報をも取得して出力することを特徴とする請求項５に記載の加筆情報検出装置。
7. 前記第３の処理手段は前記２値画像に細線化処理を施し、
   前記第５の処理手段は前記細線化処理後の前記２値画像中の加筆画素を処理の対象とすることを特徴とする請求項５に記載の加筆情報検出装置。
8. 前記第２の処理手段は、前記カラー画像の各色成分毎にドットを検出し、その検出結果に基づいて、前記ドット画像を生成するとともに前記２次元コードパターンのドットの座標及び色を検出することを特徴とする請求項５に記載の加筆情報検出装置。
9. 前記第４の処理手段は前記ドット画像に複数の小領域を設定し、設定した各小領域において前記２次元コードパターンの検出を行うことを特徴とする請求項５に記載の加筆情報検出装置。
10. 筆記媒体を読み取ったカラー画像を入力とし、前記筆記媒体に筆記具を用いて加筆された情報を検出する加筆情報検出方法であって、
    前記カラー画像を２値化して背景画素を白画素、非背景画素を黒画素とした２値化画像を生成する第１の処理工程と、
    前記カラー画像に基づいて、前記カラー画像の画素のうち、前記筆記媒体上にマトリクス状に並べて印刷されている２次元コードパターンのドットに対応した画素のみを黒画素で表し、それ以外の画素を白画素で表したドット画像を生成するとともに、前記２次元コードパターンのドットの前記ドット画像上での位置を表すドット座標及び前記２次元コードパターンのドットの色を表すドット色を検出して出力する第２の処理工程と、
    前記第２の処理工程より出力されたドット座標を基に、前記２値化画像から前記２次元コードパターンのドットに対応した黒画素を除去することにより、前記筆記媒体の加筆された部分に対応した黒画素（以下、加筆画素と記す）を表す２値画像を生成する第３の処理工程と、
    前記ドット画像より前記２次元コードパターンを検出し、検出した各２次元コードパターンをデコードすることにより、該２次元コードパターンの前記筆記媒体上での位置を表す座標（筆記媒体上座標と記す）を取得し、該筆記媒体上座標を該２次元コードパターンの前記ドット画像上の位置を表す座標（画像上座標）と対応付けて出力する第４の処理工程と、
    前記各加筆画素の前記２値画像上での位置を表す座標と前記第４の処理手段より出力された前記２次元コードパターンの前記筆記媒体上座標及び前記画像上座標とに基づいて、前記各加筆画素の前記筆記媒体上での位置を示す座標を求め、それを加筆情報として出力する第５の処理工程と、
    前記第２の処理工程より出力されたドット座標及びドット色に基づいて、同色のドット群で表される領域を表す領域情報を生成する第６の処理工程と、
    を有することを特徴とする加筆情報検出方法。
11. 前記第４の処理工程は、検出した２次元コードパターンをデコードすることにより、前記筆記媒体に関連付けられた電子文書の識別情報をも取得して出力することを特徴とする請求項１０に記載の加筆情報検出方法。
12. 前記第３の処理工程は前記２値画像に細線化処理を施し、
    前記第５の処理工程は前記細線化処理後の前記２値画像中の加筆画素を処理の対象とすることを特徴とする請求項１０に記載の加筆情報検出方法。
13. 前記第２の処理工程は、前記カラー画像の各色成分毎にドットを検出し、その検出結果に基づいて、前記ドット画像を生成するとともに前記２次元コードパターンのドットの座標及び色を検出することを特徴とする請求項１０に記載の加筆情報検出方法。
14. 前記第４の処理工程は前記ドット画像に複数の小領域を設定し、設定した各小領域において前記２次元コードパターンの検出を行うことを特徴とする請求項１０に記載の加筆情報検出方法。
15. 請求項１に記載の加筆情報検出装置の各手段としてコンピュータを機能させるプログラム。
16. 請求項１に記載の加筆情報検出装置の各手段としてコンピュータを機能させるプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images