JP2006277509A

JP2006277509A - ドットテクスチャ重畳表記部形状回復方法及びそのためのプログラム

Info

Publication number: JP2006277509A
Application number: JP2005097847A
Authority: JP
Inventors: Masaki Nakagawa; 正樹中川; Taro Shimamura; 太郎島村
Original assignee: Tokyo University of Agriculture and Technology NUC; Tokyo University of Agriculture
Current assignee: Tokyo University of Agriculture and Technology NUC; Tokyo University of Agriculture
Priority date: 2005-03-30
Filing date: 2005-03-30
Publication date: 2006-10-12

Abstract

【課題】ドットテクスチャに重ねて記載された表記部を分離した際に得られる表記部の画像から効果的に付着ドットを除去して、表記部の元の形状を回復する。
【解決手段】既知の手法でドットテクスチャから分離された表記部５２に対して、ドットテクスチャを構成するドットの存在する位置を推定して推定ドットエリアEdを決定し、推定ドットエリア中の画素であって、推定ドットエリアとその外部の境界に接する位置にある任意の第１画素のｘ方向又はｙ方向の隣り合う画素であって、推定ドットエリアの外部にある画素を検査対象画素とし、検査対象画素の少なくとも１つ以上について黒画素が存在するとき、第１画素を黒画素と判断し、第１画素以外の推定ドットエリア中の１つの画素であって、推定ドットエリアとその外部の境界に接する位置にある画素について順次同様の判定を行って、その画素の白、黒を決定し、推定ドットエリア内の画素のデータを最終的に決定する。
【選択図】図９

Description

本発明は、ドットテクスチャ重畳表記部形状回復方法及びそのためのプログラムに関し、特にドットテクスチャに重ね書きされた手書き文字などの表記部を背景のドットテクスチャから分離する際に表記部の元の形状を回復する手法に関する。

例えば手書き文字などを記入する帳票の用紙自体に、あらかじめ所定のビット情報をドットの大きさで表現するドットテクスチャを印刷しておき、その上に重ねて手書き文字などを記入する構成の帳票が知られている。かかる帳票は、アクティブ帳票などと呼ばれ、ビット情報として、手書きの属性、文字種類、見出し、指示情報などを記録しておき、必要に応じて読み出すことができる。本発明の発明者らは、下記の非特許文献１において、モノクロ環境下において、ドットテクスチャを構成する微細なドットの形状を変化させることでそこに情報を記録し、また、ドットテクスチャで印刷された帳票の記入枠などから、それに上書きされた手書きを分離する方式について提案している。
島村太郎、朱碧蘭、櫻田武嗣、中川正樹、"アクティブ帳票システムの設計と開発、"信学論(D-II)，Vol.J87-D-II, No.12, pp.2091-2103, Dec. 2004

しかしながら、手書きの表記部とドットテクスチャを分離した際、手書きの表記部と重なりのあるドットが手書きの表記部の画像に残り、手書きが文字の場合は文字認識に悪影響を及ぼす場合がある。すなわち、手書きの表記部の周囲に付着したドット（残存黒画素）の影響で、また処理の際に手書きに表記部の画素を余計に削除し過ぎることの影響で、例えばＯＣＲ（光学的文字読取装置）により文字を読み取る際の誤認識の原因となる。

本発明は、上記従来の問題を解決するもので、ドットテクスチャに重ねて記載された表記部をドットテクスチャから分離した際に得られる、ドットが残った表記部の画像から効果的にドットを除去して、表記部の元の形状を回復する方法及びそれを実現するコンピュータプログラムを提供することを目的とする。

上記目的を達成するために本発明では、既知の手法でドットテクスチャから分離された表記部に対して、ドットテクスチャを構成するドットの存在する位置を推定して推定ドットエリアを決定し、推定ドットエリア中の画素であって、推定ドットエリアとその外部の境界に接する位置にある任意の第１画素のｘ方向又はｙ方向の隣り合う画素であって、推定ドットエリアの外部にある画素を検査対象画素とし、検査対象画素の少なくとも１つ以上について黒画素が存在するとき、第１画素を黒画素と判断し、第１画素以外の推定ドットエリア中の１つの画素であって、推定ドットエリアとその外部の境界に接する位置にある画素について順次同様の判定を行って、その画素の白、黒を決定し、推定ドットエリア内の画素のデータを最終的に決定している。

すなわち、本発明によれば、あらかじめ所定情報を表示するビット情報を２次元のドットテクスチャとして用意しておき、その上に記載された表記部を前記ドットテクスチャから正確に分離して、前記表記部の形状を回復させるドットテクスチャ重畳表記部形状回復方法であって、
既知の手法で前記表記部と前記ドットテクスチャの２つに分離する第１ステップと、
分離された前記ドットテクスチャについて水平射影、垂直射影を求め複数のドットエリアを求める第２ステップと、
求められた前記ドットエリアのそれぞれについて、ドットの横幅を測定し、０、１に変換する第３ステップと、
前記第３ステップを水平方向又は垂直方向に１行分実行して、記録されていたデータをデコードする第４ステップと、
前記第４ステップを各行又は各列に対して実行する第５ステップと、
全ての行又は列のデコードデータの多数決をとり、最終的なデコードデータを決定する第６ステップと、
前記第３ステップ及び前記第４ステップで、１つの行又は列に欠損部分がある場合は、前記最終的なデコードデータを用いて、前記欠損部分を補完し、誤読部分があるときはエラー訂正する第７ステップと、
各ドットエリアの中に前記ドットエリアより小さい推定ドットエリアの位置の座標を決める第８ステップと
前記第８ステップで得られた前記各推定ドットエリアの座標を用いて、前記表記部について、前記各推定ドットエリアごとに前記推定ドットエリアの外部の画素の白、黒の判定結果を用いて、前記各推定ドットエリア内の画素の白、黒を判定して前記表記部の形状回復処理を行う第９ステップとを、
有するドットテクスチャ重畳表記部形状回復方法が提供される。

また、前記第９ステップが、
前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある任意の画素を第１画素とするとき、前記第１画素について、前記第１画素のｘ方向又はｙ方向の隣り合う画素であって、前記推定ドットエリアの外部にある画素を検査対象画素とする第９−１ステップと、
前記検査対象画素の少なくとも１つ以上について黒画素が存在するか否かを判断する第９−２ステップと、
前記検査対象画素のうち、１つ以上が黒画素であると判断されたときは、前記第１画素を黒画素と判断し、一方、前記検査対象画素のいずれにも黒画素が存在しないときは、前記第１画素を白画素と判断する第９−３ステップと、
前記第１画素以外の前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある画素について順次前記第９−１ステップから第９−３ステップを実行する第９−４ステップと、
前記第９−１ステップから前記第９−４ステップが実行されることにより得られた白画素か黒画素かの判断結果に基づいて、前記推定ドットエリア内の画素のデータを最終的に決定する第９−５ステップとを、
有するドットテクスチャ重畳表記部形状回復方法は、本発明の好ましい態様である。

また本発明によれば、あらかじめ所定情報を表示するビット情報を２次元のドットテクスチャとして用意しておき、その上に記載された表記部を前記ドットテクスチャから正確に分離して、前記表記部の形状を回復させるドットテクスチャ重畳表記部形状回復方法であって、
既知の手法で前記ドットテクスチャから分離された前記表記部に対して、前記ドットテクスチャを構成するドットの存在する位置を推定して推定ドットエリアを決定する第１ステップと、
前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある任意の画素を第１画素とするとき、前記第１画素について、前記第１画素のｘ方向又はｙ方向の隣り合う画素であって、前記推定ドットエリアの外部にある画素を検査対象画素とする第２ステップと、
前記検査対象画素の少なくとも１つ以上について黒画素が存在するか否かを判断する第３ステップと、
前記検査対象画素のうち、１つ以上が黒画素であると判断されたときは、前記第１画素を黒画素と判断し、一方、前記検査対象画素のいずれにも黒画素が存在しないときは、前記第１画素を白画素と判断する第４ステップと、
前記第１画素以外の前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある画素について順次前記第２ステップから前記第４ステップを実行する第５ステップと、
前記第４ステップから前記第５ステップが実行されることにより得られた白画素か黒画素かの判断結果に基づいて、前記推定ドットエリア内の画素のデータを最終的に決定する第６ステップとを、
有するドットテクスチャ重畳表記部形状回復方法が提供される。

さらに本発明によれば、あらかじめ所定情報を表示するビット情報を２次元のドットテクスチャとして用意しておき、その上に記載された表記部を前記ドットテクスチャから正確に分離して、前記表記部の形状を回復させるドットテクスチャ重畳表記部形状回復方法をコンピュータに実行させるためのプログラムであって、
既知の手法で前記表記部と前記ドットテクスチャの２つに分離する第１ステップと、
分離された前記ドットテクスチャについて水平射影、垂直射影を求め複数のドットエリアを求める第２ステップと、
求められた前記ドットエリアのそれぞれについて、ドットの横幅を測定し、０、１に変換する第３ステップと、
前記第３ステップを水平方向又は垂直方向に１行分実行して、記録されていたデータをデコードする第４ステップと、
前記第４ステップを各行又は各列に対して実行する第５ステップと、
全ての行又は列のデコードデータの多数決をとり、最終的なデコードデータを決定する第６ステップと、
前記第３ステップ及び前記第４ステップで、１つの行又は列に欠損部分がある場合は、前記最終的なデコードデータを用いて、前記欠損部分を補完し、誤読部分があるときはエラー訂正する第７ステップと、
各ドットエリアの中に前記ドットエリアより小さい推定ドットエリアの位置の座標を決める第８ステップと
前記第８ステップで得られた前記各推定ドットエリアの座標を用いて、前記表記部について、前記各推定ドットエリアごとに前記推定ドットエリアの外部の画素の白、黒の判定結果を用いて、前記各推定ドットエリア内の画素の白、黒を判定して前記表記部の形状回復処理を行う第９ステップとを、
有するドットテクスチャ重畳表記部形状回復方法をコンピュータに実行させるためのプログラムが提供される。

前記第９ステップが、
前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある任意の画素を第１画素とするとき、前記第１画素について、前記第１画素のｘ方向又はｙ方向の隣り合う画素であって、前記推定ドットエリアの外部にある画素を検査対象画素とする第９−１ステップと、
前記検査対象画素の少なくとも１つ以上について黒画素が存在するか否かを判断する第９−２ステップと、
前記検査対象画素のうち、１つ以上が黒画素であると判断されたときは、前記第１画素を黒画素と判断し、一方、前記検査対象画素のいずれにも黒画素が存在しないときは、前記第１画素を白画素と判断する第９−３ステップと、
前記第１画素以外の前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある画素について順次前記第９−１ステップから第９−３ステップを実行する第９−４ステップと、
前記第９−１ステップから前記第９−４ステップが実行されることにより得られた白画素か黒画素かの判断結果に基づいて、前記推定ドットエリア内の画素のデータを最終的に決定する第９−５ステップとを、
有するドットテクスチャ重畳表記部形状回復方法をコンピュータに実行させるためのプログラムは本発明の好ましい態様である。

また本発明によれば、あらかじめ所定情報を表示するビット情報を２次元のドットテクスチャとして用意しておき、その上に記載された表記部を前記ドットテクスチャから正確に分離して、前記表記部の形状を回復させるドットテクスチャ重畳表記部形状回復方法をコンピュータに実行させるためのプログラムであって、
既知の手法で前記ドットテクスチャから分離された前記表記部に対して、前記ドットテクスチャを構成するドットの存在する位置を推定して推定ドットエリアを決定する第１ステップと、
前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある任意の画素を第１画素とするとき、前記第１画素について、前記第１画素のｘ方向又はｙ方向の隣り合う画素であって、前記推定ドットエリアの外部にある画素を検査対象画素とする第２ステップと、
前記検査対象画素の少なくとも１つ以上について黒画素が存在するか否かを判断する第３ステップと、
前記検査対象画素のうち、１つ以上が黒画素であると判断されたときは、前記第１画素を黒画素と判断し、一方、前記検査対象画素のいずれにも黒画素が存在しないときは、前記第１画素を白画素と判断する第４ステップと、
前記第１画素以外の前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある画素について順次前記第２ステップから前記第４ステップを実行する第５ステップと、
前記第４ステップから前記第５ステップが実行されることにより得られた白画素か黒画素かの判断結果に基づいて、前記推定ドットエリア内の画素のデータを最終的に決定する第６ステップとを、
有するドットテクスチャ重畳表記部形状回復方法をコンピュータに実行させるためのプログラムが提供される。

本発明によれば、平均黒画素数差（平均残存黒画素数と平均過削除黒画素数の合計）が従来の処理手法と比較して格段に減少し、よって、文字認識率が飛躍的に向上する。

以下、本発明の実施の形態について、図１Ａから図１７を用いて詳細に説明する。図１Ａは、本発明のドットテクスチャ重畳表記部形状回復方法の前提となる既知の方法によるドットテクスチャから重畳表記部を分離する様子を示す図である。所定のビットパターンで構成されたドットテクスチャ４０の２次元平面上に、いま手書き文字の表記部５０が重ね書きされているものとする。図１Ａの上部には、ドットテクスチャ４０に重ねて手書き文字の表記部５０が印刷された状態が示されている。なお、本実施の形態では、表記部５０は、手書き文字として説明するが、これに限らず、活字の印刷やその他の表記であってもよい。ドットテクスチャ４０は、複数のビットからなる情報を水平に並んだ同数個のドットのパターンからなるｘ方向の横１行により表現し、同一内容のドットパターンが複数行縦方向（ｙ方向）に繰り返して設けられ、２次元平面を構成している。なお、各行のビットパターンは同一であるが、行ごとのドットの配列にずれをもたせるようにして、読み取りエラーを低減させるようにしている。この点は、図４と共に後述する。ラベリング処理などの既知の方法によりドットテクスチャ４０と表記部５０が分離された結果、分離後のドットテクスチャ４２と分離後の表記部５２を得ることができる。既知の手法では、表記部５０の周囲にドットが付着した状態で分離が行われるため、分離後のドットテクスチャ４２からは、本来のドットのいくつかが消失し、一方、分離後の表記部５２には、本来の表記部５０の周囲にドットが付着している。

図１Ｂは、本発明のドットテクスチャ重畳表記部形状回復方法を実行するためのドットテクスチャ重畳表記部形状回復装置１０の好ましい実施の形態を示すブロックである。手書き文字の表記部５０が重畳されているドットテクスチャ４０（又は、あらかじめ分離された後のドットテクスチャ４２及び分離後の表記部５２）を撮像してビデオ信号を送出するカメラ１２が設けられている。カメラ１２としては、汎用のイメージスキャナを用いることができる。カメラ１２の出力信号は、処理部２０に入力される。処理部２０は、図示省略のＣＰＵ（中央演算処理装置）、メモリ、インターフェイス、バスラインなどから構成され、ＣＰＵは、メモリにあらかじめ格納されているプログラムにより所定の処理を行う。入力部１４は、操作者が処理部２０に対して種々の命令を入力するためのものであり、キーボードとマウスなどからなる。処理部２０の出力信号は、表示部３０に供給され、各処理過程での画像を表示する。

図２は、本発明の原理を説明するために、ドットテクスチャから既知の方法で重畳表記部を分離した際に生じる現象を説明する図である。図２に示すように、ドットが付着している（ラベリングなどの処理で除去し残された）手書き画像において、黒画素は、ドット(Dp)、手書き(Hp)、及びドットと手書きによる共有画素(HDp)の3つに分類できる。ここで、ドットの付着した手書きからドットの画素(Dp)を除去するためには、まず、手書き画像中のドットの位置と形状を知り、かつ、共有画素(HDp)を残しドットの画素(Dp)を除去する必要がある。

ここでドットテクスチャについて説明すると、デジタル信号の１と０に対応して大きなドットと小さなドットを用いて、これらを横１列（ｘ方向）に配列してビット情報を表し、同一の情報を縦方向（ｙ方向）に繰り返して、２次元平面を構成する。図３は、本発明の実施の形態におけるドットテクスチャを構成するデジタル信号の１と０にそれぞれ対応する大きなドットと小さなドットを示し、図４は、本発明の実施の形態におけるドットテクスチャを構成する１０ドットからなるｘ方向の１行分のビット情報がｙ方向に複数行並んで配列されている様子を示している。

記録する情報をTrとし、この例ではデジタル信号の（0101010101）とする。横（ｘ）方向にドット図形を並べることで記録する情報Trを表現したドット集合Trdを作成する。図４の黒色の長方形で示すようにドット集合Trdを行方向に１ドットずつ交互にずらして重ね、ドットテクスチャＴを作成する。ドットテクスチャＴの両端においてドット集合Trdでない個所は、隣接するドット図形が“0”ならば“1”を、“1”ならば“0”を示すドット図形を使用する。

次にドットテクスチャTに手書きの表記部を記入した画像THを作成する。画像THにラベリング処理を行い微小な要素を除去することで、手書きの画像THmとドットテクスチャの画像THdに分離する。この分離の手法としては、前述の非特許文献１に記載の手法を用いることができる。図５は、図４の部分拡大図であり、図５に示すように、ドットテクスチャの画像THdの水平方向に沿った射影を求めドットの垂直方向の位置Ayを求める。また、垂直方向に沿った射影を求め、射影が存在する区間の中央を通る垂線をドット列中心線Mxとし、隣り合うMxの中央の垂線を求めドット列の区切り線Axとする。ここで「射影」とは、所定方向にスキャンした場合の黒色画素の個数をヒストグラム的に求めた結果のことである。両端のドット列の外側の区切り線Axについては、両端の中心線から外側に全ドット列中心線間隔の中央値の半分離れた垂線を設定する。区切り線Ay、 Axで囲まれた領域をドットエリアAと呼ぶ。その後、記録された情報のデコードは、ドット図形の横幅を測定して“0”、“1”に変換した後、各行のドット集合Trdの対応するドット図形の変換結果を多数決することで行う。上書きなどによりドットが欠損している個所は、デコード結果を元に補完する。また、誤読部分があるときは、デコード結果を基にエラー訂正を行う。エラー訂正は、周知のＣＲＣＣなどのエラー訂正符号を用いても行うことができる。これにより、デコードが可能であれば全ドットエリアAのドット図形の形状を知ることができる。

次に図６に示すように、ドットエリアAの中でドットエリアAより小さい推定ドットエリアEdの位置を求める。ドットエリアAの位置を隅の画素のx、 y座標Ax_i、Ay_i、（i = 1,2）（Ax₂ ＞Ax₁ , Ay₂≧Ay₁）を用いて表し、推定ドットエリアEdをDx_i，Dy_i（i = 1,2）を用いて表す。今回、Dx_i，Dy_i（i = 1,2）の初期値はそれぞれ、Dx_i ＝ Ax_i + Lx_i, Dy_i = Ay_i , （i =1,2）とした。Lx_i はAx_iからDx_iまでの距離をピクセル数で表したものであり、図６に示す部分である。なお、Lx₂は負の数値で表記する。

このようにして求めた推定ドットエリアEdの位置すなわち座標を用いて、先に分離された手書きの画像THmについて形状回復処理を行う。

図７は、本発明の実施の形態において、形状回復処理を行う分離された手書きの画像THmの含まれる２次元領域の画素位置を示す図である。図８は、図７における推定ドットエリアEdの位置を模式的に示す図である。図８に示すように、読取り後の手書きの画像THmに付着しているドットは方形であると仮定している。図９に示すように推定ドットエリアEdの位置を隅の画素のx, y座標Dx_i，Dy_i（i = 1,2），（Dx₂≧Dx₁，Dy₂≧Dy₁）を用いて表す。また、Ph ＝Dy₂−Dy₁，Pw ＝Dx₂−Dx₁ とする。

推定ドットエリアEdの外周の画素に対し、次に示す形状回復処理を行い注目画素I(x, y)の値を求める。I(x, y)の4近傍のうち、推定ドットエリアEdの外側にある画素を検査対象画素とし、検査対象画素のうち、１つ以上が“１”（黒）であれば、I(x, y)=1 （黒）、それ以外の場合はI(x, y)=0（白）とする。ここで４近傍とは、注目画素の上下、左右に隣接して位置する画素のことを言う。検査対象画素をI(x+Sx, y+Sy) とした場合、Sx, SyはPh, Pwの条件及び各注目画素位置(x, y)において表１に示す値をとる。ただし、Dx₁ ＝Dx₂の場合はDx₁，Dy₁ ＝Dy₂の場合はDy₁とする。推定ドットエリアEd内の該当するすべての画素の処理が終了したら、Dx₁＝Dx₁ ＋1_, Dx_２＝ Dx_２−1_, Dy₁＝Dy₁ + 1_, Dy₂ ＝ Dy₂−1 を行い、再び同じ処理を行う。Dx₂−Dx₁＜0 あるいはDy₂−Dy₁＜0となった場合、処理を終了する。

表１は検査対象画素のパラメータである。

表１において、記号「∩」は、アンドの意味で用いている。

図１０は、判定（後述する処理Ａ）が終了した後の推定ドットエリアEd内の画素の状態を示す図である。上記判定の手順は、図１１〜図１７のフローチャートにより更に詳細に示されている。すなわち、図１Ｂ中の処理部の構成要素であるＣＰＵの処理内容が図１１以下のフローチャートに示されている。図１１は、図８に符号０，１，２・・・ｋ・・・ＫＳ−１で示される全ての推定ドットエリアEdについて形状回復動作をするための全体の処理を示すフローチャートである。図１１中、処理Ａとは、図１２に示すフローチャートで示される処理である。図１２中、処理Ｂ、処理Ｃ、処理Ｄ、処理Ｅは、それぞれ図１３、図１４、図１５、図１６（一部は図１７に記載）に示すフローチャートで示される処理である。なお、フローチャート中、記号「∩」は、アンドの意味で、また記号「∪」は、オアの意味で用いている。

表１及び、上記図１１以降のフローチャートから明らかなように、各推定ドットエリアEd内の画素中、推定ドットエリアEdの外部に隣接する画素については、隣接する外部の画素が白か黒かによって、白か黒かを判定している。こうして、各推定ドットエリアEd内の画素中、推定ドットエリアEdの外部に隣接する全ての画素の白、黒の判定が行われ、その結果をもって形状回復状態としている。図１１のフローチャートで、ｋ＜ＫＳがNoとなると、図８中の全ての推定ドットエリアEdについて判定が終了したことになり、分離された手書きの画像である表記部５０の形状回復が完了したこととなる。

上記実施の形態では、ドットテクスチャを構成する大きなドットと小さなドットを横方向（ｘ方向）に配列してビット情報を表し、同一の情報を縦方向（ｙ方向）に繰り返して、２次元平面を構成しているが、ドットを縦方向（ｙ方向）に配列してビット情報を表し、同一の情報を横方向（ｘ方向）に繰り返して、２次元平面を構成してもよい。

本発明の効果を確認すべく、本発明者は次の実験を行った。
（１）実験方法
今回、試験対象の表記部には手書き文字を使用する。ドットテクスチャ画像T（図１Ａ中の４０に相当）と手書き文字画像H（図１Ａ中の５０に相当）のORを求め、ドットテクスチャ上に手書き文字が記入された様子を模擬した画像THを作成する。THをドットの画像THd（図１Ａ中の４２に相当）、文字の画像THｍ（図１Ａ中の５２に相当）に分離する。文字の画像THｍに対し、上記形状回復処理を行った画像THｍk、推定ドットエリアEd内の画素をすべて白画素にした場合の画像THmw、そして、輪郭の平滑化効果のあるメディアンフィルタを用いた場合の画像THmmを作成する。メディアンフィルタは注目画素及びその8近傍の値の中央値を注目画素の値とする方式のものを用いた。

（２）評価方法
残存ドット除去効果の評価方法として、THｍ、THｍk、THｍw、THｍmとHとの差を求め、 1サンプルあたりの平均残存黒画素数Rn、平均過削除黒画素数On及びそれらの合計である平均黒画素数差Snを求める。また、全サンプルにおけるTHｍ、THｍk、THmw、THmm及びHの文字認識率を求める。文字認識エンジンは２次識別関数を用いる方式のものを使用する。

（３）実験条件
手書き文字画像Hには1cmの正方形の記入領域にボールペンで記入された手書き文字の単文字を用いた。サンプル数は100文字であり、使用字種は平仮名20種、片仮名10種、漢字30種、英文字20種、数字10種、句読点及び記号が10種である。
今回、読取り解像度は100dpiとした。これは、解像度が低いほど読取り後の手書きとドットのサイズが相対的に近くなるため、影響が大きくなることが考えられ、また、実際にファクシミリなどで利用されている解像度であるためである。ドットテクスチャに手書きが記入された状態を模擬した画像THは幅76×高さ76（画素）であり、画素数は5776個である。一方、Tには図３に示すドットを用い、 100dpiでのドット図形の読取りを可能とするためwを1.5mm、hを0.8mm、ドットの直径を約0.2mm、“１”を示すドットの最長部分の長さを約0.9mmとした。ドット図形数は横方向に11個、縦方向に20個とした。TはPostScriptにて作成後1200dpiで印刷し、T、 Hともにスキャナにて100dpiで読み込んだ。なお、今回“1”を示すドット図形の場合、（Lx₁,Lx₂）＝（2，-1）、“0”を示すドット図形の場合（Lx₁,Lx₂）＝（3，-2）とした。実験に使用したPC（図１Ｂの処理部の構成要素の１つ）は、OS:Windows（登録商標）2000 Professional、CPU：Intel Xeon 2.2GHz(Dual CPU構成)、メモリ1024MByteである。

（４）実験結果
実験結果を表2、3に示す。処理過程の画像例を図１8に示す。平均黒画素数差については、上記の本発明による形状回復処理によるものが最も少なかった。また、文字認識率についても、今回提案した方法が1位決定率、10位候補含有率ともに最も高い値を示した。なお，形状回復処理部分の平均処理時間は1画像あたり0.2msであった。同一の解像度で、A4紙面だと、34ms程度の時間になる。

表2は平均黒画素数差である。

表3は文字認識率である。

認識率についても、本発明の方法が１位決定率、１０位候補含有率共に最も高い値を示した。なお、形状回復処理部分の平均処理時間は1画像あたり0.2msであった。同一の解像度で、A4紙面だと、34ms程度の時間になる。

以上本発明の実施の形態を、ドットテクスチャ重畳表記部形状回復方法として説明したが、本発明はかかる方法を実行するコンピュータのプログラムとしても成り立つものであり、またかかる方法を実現する装置やシステムとしても成り立つものである。

本発明のドットテクスチャ重畳表記部形状回復方法及びそのためのプログラムは、いわゆるアクティブ帳票などにて使用される情報をドットで記録したドットテクスチャに重ね書きした表記部をドットテクスチャから分離する際に生ずるドットの付着を効果的に除去でき、表記の元の形状を回復することができるので、本発明は商業取引や一般事務、教育、研究など様々な分野で使用される種々の帳票への重畳された表記を用いる分野に有用である。

本発明のドットテクスチャ重畳表記部形状回復方法の前提となる既知の方法によるドットテクスチャから重畳表記部を分離する様子を示す図である。本発明のドットテクスチャ重畳表記部形状回復方法を実行するためのドットテクスチャ重畳表記部形状回復装置の好ましい実施の形態を示すブロックである。本発明の原理を説明するために、ドットテクスチャから既知の方法で重畳表記部を分離した際に生じる現象を説明する図である。本発明の実施の形態におけるドットテクスチャを構成するデジタル信号の１と０にそれぞれ対応する大きなドットと小さなドットを示す図である。本発明の実施の形態におけるドットテクスチャを構成する１０ドットからなるｘ方向の１行分のビット情報がｙ方向に複数行並んで配列されている様子を示す図である。図４の部分拡大図である。本発明の実施の形態において、ドットエリアの中でドットエリアより小さい推定ドットエリアの位置を求める手法を説明する図である。本発明の実施の形態において、形状回復処理を行う分離された手書きの画像の含まれる２次元領域の画素位置を示す図である。図７における推定ドットエリアの位置を模式的に示す図である。本発明の実施の形態において、推定ドットエリアにおける画素の白、黒の判定手法を説明する図である。本発明の実施の形態において、処理Ａが終了した後の推定ドットエリア内の画素の状態を示す図である。本発明の実施の形態において、全ての推定ドットエリアについて形状回復動作をするための全体の処理を示すフローチャートである。図１１中の処理Ａの内容を示すフローチャートである。図１１中の処理Ｂの内容を示すフローチャートである。図１１中の処理Ｃの内容を示すフローチャートである。図１１中の処理Ｄの内容を示すフローチャートである。図１１中の処理Ｅの内容の前半を示すフローチャートである。図１１中の処理Ｅの内容の後半を示すフローチャートである。本発明での処理過程の画像例を示す図である。

符号の説明

１０ドットテクスチャ重畳表記部形状回復装置
１２カメラ
１４入力部
２０処理部
３０表示部
４０ドットテクスチャ
４２分離後のドットテクスチャ
５０表記部
５２分離後の表記部
A ドットエリア
Ed 推定ドットエリア
Dp ドットの画素
HDp 共有画素
Hp 手書き

Claims

あらかじめ所定情報を表示するビット情報を２次元のドットテクスチャとして用意しておき、その上に記載された表記部を前記ドットテクスチャから正確に分離して、前記表記部の形状を回復させるドットテクスチャ重畳表記部形状回復方法であって、
既知の手法で前記表記部と前記ドットテクスチャの２つに分離する第１ステップと、
分離された前記ドットテクスチャについて水平射影、垂直射影を求め複数のドットエリアを求める第２ステップと、
求められた前記ドットエリアのそれぞれについて、ドットの横幅を測定し、０、１に変換する第３ステップと、
前記第３ステップを水平方向又は垂直方向に１行分実行して、記録されていたデータをデコードする第４ステップと、
前記第４ステップを各行又は各列に対して実行する第５ステップと、
全ての行又は列のデコードデータの多数決をとり、最終的なデコードデータを決定する第６ステップと、
前記第３ステップ及び前記第４ステップで、１つの行又は列に欠損部分がある場合は、前記最終的なデコードデータを用いて、前記欠損部分を補完し、誤読部分があるときはエラー訂正する第７ステップと、
各ドットエリアの中に前記ドットエリアより小さい推定ドットエリアの位置の座標を決める第８ステップと
前記第８ステップで得られた前記各推定ドットエリアの座標を用いて、前記表記部について、前記各推定ドットエリアごとに前記推定ドットエリアの外部の画素の白、黒の判定結果を用いて、前記各推定ドットエリア内の画素の白、黒を判定して前記表記部の形状回復処理を行う第９ステップとを、
有するドットテクスチャ重畳表記部形状回復方法。
前記第９ステップが、
前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある任意の画素を第１画素とするとき、前記第１画素について、前記第１画素のｘ方向又はｙ方向の隣り合う画素であって、前記推定ドットエリアの外部にある画素を検査対象画素とする第９−１ステップと、
前記検査対象画素の少なくとも１つ以上について黒画素が存在するか否かを判断する第９−２ステップと、
前記検査対象画素のうち、１つ以上が黒画素であると判断されたときは、前記第１画素を黒画素と判断し、一方、前記検査対象画素のいずれにも黒画素が存在しないときは、前記第１画素を白画素と判断する第９−３ステップと、
前記第１画素以外の前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある画素について順次前記第９−１ステップから第９−３ステップを実行する第９−４ステップと、
前記第９−１ステップから前記第９−４ステップが実行されることにより得られた白画素か黒画素かの判断結果に基づいて、前記推定ドットエリア内の画素のデータを最終的に決定する第９−５ステップとを、
有する請求項１に記載のドットテクスチャ重畳表記部形状回復方法。
あらかじめ所定情報を表示するビット情報を２次元のドットテクスチャとして用意しておき、その上に記載された表記部を前記ドットテクスチャから正確に分離して、前記表記部の形状を回復させるドットテクスチャ重畳表記部形状回復方法であって、
既知の手法で前記ドットテクスチャから分離された前記表記部に対して、前記ドットテクスチャを構成するドットの存在する位置を推定して推定ドットエリアを決定する第１ステップと、
前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある任意の画素を第１画素とするとき、前記第１画素について、前記第１画素のｘ方向又はｙ方向の隣り合う画素であって、前記推定ドットエリアの外部にある画素を検査対象画素とする第２ステップと、
前記検査対象画素の少なくとも１つ以上について黒画素が存在するか否かを判断する第３ステップと、
前記検査対象画素のうち、１つ以上が黒画素であると判断されたときは、前記第１画素を黒画素と判断し、一方、前記検査対象画素のいずれにも黒画素が存在しないときは、前記第１画素を白画素と判断する第４ステップと、
前記第１画素以外の前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある画素について順次前記第２ステップから前記第４ステップを実行する第５ステップと、
前記第４ステップから前記第５ステップが実行されることにより得られた白画素か黒画素かの判断結果に基づいて、前記推定ドットエリア内の画素のデータを最終的に決定する第６ステップとを、
有するドットテクスチャ重畳表記部形状回復方法。
あらかじめ所定情報を表示するビット情報を２次元のドットテクスチャとして用意しておき、その上に記載された表記部を前記ドットテクスチャから正確に分離して、前記表記部の形状を回復させるドットテクスチャ重畳表記部形状回復方法をコンピュータに実行させるためのプログラムであって、
既知の手法で前記表記部と前記ドットテクスチャの２つに分離する第１ステップと、
分離された前記ドットテクスチャについて水平射影、垂直射影を求め複数のドットエリアを求める第２ステップと、
求められた前記ドットエリアのそれぞれについて、ドットの横幅を測定し、０、１に変換する第３ステップと、
前記第３ステップを水平方向又は垂直方向に１行分実行して、記録されていたデータをデコードする第４ステップと、
前記第４ステップを各行又は各列に対して実行する第５ステップと、
全ての行又は列のデコードデータの多数決をとり、最終的なデコードデータを決定する第６ステップと、
前記第３ステップ及び前記第４ステップで、１つの行又は列に欠損部分がある場合は、前記最終的なデコードデータを用いて、前記欠損部分を補完し、誤読部分があるときはエラー訂正する第７ステップと、
各ドットエリアの中に前記ドットエリアより小さい推定ドットエリアの位置の座標を決める第８ステップと
前記第８ステップで得られた前記各推定ドットエリアの座標を用いて、前記表記部について、前記各推定ドットエリアごとに前記推定ドットエリアの外部の画素の白、黒の判定結果を用いて、前記各推定ドットエリア内の画素の白、黒を判定して前記表記部の形状回復処理を行う第９ステップとを、
有するドットテクスチャ重畳表記部形状回復方法をコンピュータに実行させるためのプログラム。
前記第９ステップが、
前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある任意の画素を第１画素とするとき、前記第１画素について、前記第１画素のｘ方向又はｙ方向の隣り合う画素であって、前記推定ドットエリアの外部にある画素を検査対象画素とする第９−１ステップと、
前記検査対象画素の少なくとも１つ以上について黒画素が存在するか否かを判断する第９−２ステップと、
前記検査対象画素のうち、１つ以上が黒画素であると判断されたときは、前記第１画素を黒画素と判断し、一方、前記検査対象画素のいずれにも黒画素が存在しないときは、前記第１画素を白画素と判断する第９−３ステップと、
前記第１画素以外の前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある画素について順次前記第９−１ステップから第９−３ステップを実行する第９−４ステップと、
前記第９−１ステップから前記第９−４ステップが実行されることにより得られた白画素か黒画素かの判断結果に基づいて、前記推定ドットエリア内の画素のデータを最終的に決定する第９−５ステップとを、
有する請求項４に記載のドットテクスチャ重畳表記部形状回復方法をコンピュータに実行させるためのプログラム。
あらかじめ所定情報を表示するビット情報を２次元のドットテクスチャとして用意しておき、その上に記載された表記部を前記ドットテクスチャから正確に分離して、前記表記部の形状を回復させるドットテクスチャ重畳表記部形状回復方法をコンピュータに実行させるためのプログラムであって、
既知の手法で前記ドットテクスチャから分離された前記表記部に対して、前記ドットテクスチャを構成するドットの存在する位置を推定して推定ドットエリアを決定する第１ステップと、
前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある任意の画素を第１画素とするとき、前記第１画素について、前記第１画素のｘ方向又はｙ方向の隣り合う画素であって、前記推定ドットエリアの外部にある画素を検査対象画素とする第２ステップと、
前記検査対象画素の少なくとも１つ以上について黒画素が存在するか否かを判断する第３ステップと、
前記検査対象画素のうち、１つ以上が黒画素であると判断されたときは、前記第１画素を黒画素と判断し、一方、前記検査対象画素のいずれにも黒画素が存在しないときは、前記第１画素を白画素と判断する第４ステップと、
前記第１画素以外の前記推定ドットエリア中の１つの画素であって、前記推定ドットエリアとその外部の境界に接する位置にある画素について順次前記第２ステップから前記第４ステップを実行する第５ステップと、
前記第４ステップから前記第５ステップが実行されることにより得られた白画素か黒画素かの判断結果に基づいて、前記推定ドットエリア内の画素のデータを最終的に決定する第６ステップとを、
有するドットテクスチャ重畳表記部形状回復方法をコンピュータに実行させるためのプログラム。