JP2001229341A - 文字認識装置及び文字認識方法 - Google Patents
文字認識装置及び文字認識方法Info
- Publication number
- JP2001229341A JP2001229341A JP2000035779A JP2000035779A JP2001229341A JP 2001229341 A JP2001229341 A JP 2001229341A JP 2000035779 A JP2000035779 A JP 2000035779A JP 2000035779 A JP2000035779 A JP 2000035779A JP 2001229341 A JP2001229341 A JP 2001229341A
- Authority
- JP
- Japan
- Prior art keywords
- image
- character
- feature point
- extracted
- character recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 59
- 238000012937 correction Methods 0.000 claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 30
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 41
- 230000009466 transformation Effects 0.000 claims description 30
- 238000010586 diagram Methods 0.000 description 35
- 230000000875 corresponding effect Effects 0.000 description 29
- 230000000694 effects Effects 0.000 description 13
- 239000000284 extract Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
Landscapes
- Character Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 フィールドの抽出に必要不可欠な十字点が存
在しない帳票や、逆に膨大な数の十字点が存在する場合
は、フィールドの抽出ができなかったり、フィールド抽
出に誤差が生じて正確な文字認識を行うことができない
という課題があった。 【解決手段】 帳票の画像から文字認識の対象とする領
域を特定する特徴点を抽出し、文字を記入した帳票の画
像である文字記入画像と、この文字記入画像と同一の帳
票の画像であって文字を記入していない文字未記入画像
とから抽出した各特徴点を対応付けて、文字未記入画像
に対する文字記入画像の位置関係を補正し、位置関係の
補正の結果に基づいて文字記入画像上の文字認識の対象
とする領域を抽出しこの文字認識の対象とする領域内の
画像に対して文字認識処理を行う。
在しない帳票や、逆に膨大な数の十字点が存在する場合
は、フィールドの抽出ができなかったり、フィールド抽
出に誤差が生じて正確な文字認識を行うことができない
という課題があった。 【解決手段】 帳票の画像から文字認識の対象とする領
域を特定する特徴点を抽出し、文字を記入した帳票の画
像である文字記入画像と、この文字記入画像と同一の帳
票の画像であって文字を記入していない文字未記入画像
とから抽出した各特徴点を対応付けて、文字未記入画像
に対する文字記入画像の位置関係を補正し、位置関係の
補正の結果に基づいて文字記入画像上の文字認識の対象
とする領域を抽出しこの文字認識の対象とする領域内の
画像に対して文字認識処理を行う。
Description
【０００１】
【発明の属する技術分野】この発明は文字を記入した画
像から文字を認識する文字認識装置及び文字認識方法に
係り、特に帳票の画像から文字認識の対象とする領域を
抽出し、この領域内の文字を認識する文字認識装置及び
文字認識方法に関するものである。
像から文字を認識する文字認識装置及び文字認識方法に
係り、特に帳票の画像から文字認識の対象とする領域を
抽出し、この領域内の文字を認識する文字認識装置及び
文字認識方法に関するものである。
【０００２】
【従来の技術】入力された帳票の画像上から文字認識の
対象とする領域（以下、フィールドと称する）を抽出
し、フィールド内に記入された文字の認識を行う文字認
識装置において、入力された画像が傾いていたり拡大縮
小されていても、正しくフィールドを抽出することがで
きるものが提案されている。このような従来の文字認識
装置として特開平１０−９１７８３号公報に開示される
ものがある。
対象とする領域（以下、フィールドと称する）を抽出
し、フィールド内に記入された文字の認識を行う文字認
識装置において、入力された画像が傾いていたり拡大縮
小されていても、正しくフィールドを抽出することがで
きるものが提案されている。このような従来の文字認識
装置として特開平１０−９１７８３号公報に開示される
ものがある。
【０００３】図１８は特開平１０−９１７８３号公報に
開示された従来の文字認識装置の構成を示すブロック図
であり、図において、１８０は帳票などの文字が記入さ
れた画像を文字認識装置で処理可能な形態の入力画像と
して取り込む画像入力部で、１８１は入力画像の位置ず
れ、回転、変倍の検出に用いる十字点を抽出する十字点
抽出部である。ここで、十字点とは基本的に表などに出
現する罫線のような比較的長い線分が十字に交差した点
を指す。１８２は入力画像と参照画像との十字点の対応
付けを行って両画像の対応点を検出する対応点検出部、
１８３は画像補正部であって、入力画像と参照画像の対
応点間のずれを算出し、そのずれを補正するための補正
関数を求める。１８４は文字画像領域メモリ１８７に予
め格納された参照画像に対応するデータに基づいて補正
画像からフィールドを切り出す文字画像切り出し部、１
８５は文字画像切り出し部１８４から入力された画像デ
ータより個々の文字を切り出して文字認識し、文字コー
ドをデータ番号とともに出力する文字認識部、１８６は
参照画像における十字点の座標、十字点番号、十字線の
縦線及び横線の太さ情報を格納する参照画像パターンメ
モリ、１８７はフィールドの番号、属性、座標からなる
フィールド切り出しのためのデータを予め格納する文字
画像領域メモリである。
開示された従来の文字認識装置の構成を示すブロック図
であり、図において、１８０は帳票などの文字が記入さ
れた画像を文字認識装置で処理可能な形態の入力画像と
して取り込む画像入力部で、１８１は入力画像の位置ず
れ、回転、変倍の検出に用いる十字点を抽出する十字点
抽出部である。ここで、十字点とは基本的に表などに出
現する罫線のような比較的長い線分が十字に交差した点
を指す。１８２は入力画像と参照画像との十字点の対応
付けを行って両画像の対応点を検出する対応点検出部、
１８３は画像補正部であって、入力画像と参照画像の対
応点間のずれを算出し、そのずれを補正するための補正
関数を求める。１８４は文字画像領域メモリ１８７に予
め格納された参照画像に対応するデータに基づいて補正
画像からフィールドを切り出す文字画像切り出し部、１
８５は文字画像切り出し部１８４から入力された画像デ
ータより個々の文字を切り出して文字認識し、文字コー
ドをデータ番号とともに出力する文字認識部、１８６は
参照画像における十字点の座標、十字点番号、十字線の
縦線及び横線の太さ情報を格納する参照画像パターンメ
モリ、１８７はフィールドの番号、属性、座標からなる
フィールド切り出しのためのデータを予め格納する文字
画像領域メモリである。
【０００４】図１９は十字点の対応付けを説明する図で
あり、１９０は入力画像１９２と同一の入力形式を有
し、文字が記入されていない帳票の画像である参照画
像、１９１は参照画像１９０から抽出した十字点、１９
２は参照画像１９０と同一の入力形式を有し、文字が記
入された帳票の画像である入力画像、１９３は入力画像
１９２から抽出した十字点である。
あり、１９０は入力画像１９２と同一の入力形式を有
し、文字が記入されていない帳票の画像である参照画
像、１９１は参照画像１９０から抽出した十字点、１９
２は参照画像１９０と同一の入力形式を有し、文字が記
入された帳票の画像である入力画像、１９３は入力画像
１９２から抽出した十字点である。
【０００５】次に動作について説明する。先ず、画像入
力部１８０は文字の記入された帳票をスキャナ等で読み
取ることで入力画像１９２を作成する。
力部１８０は文字の記入された帳票をスキャナ等で読み
取ることで入力画像１９２を作成する。
【０００６】次に、十字点抽出部１８１はマスク処理に
より入力画像１９２から罫線が十字型に交差する交差点
である十字点１９３を求める。例えば、図１９では入力
画像１９２上から８個の十字点１９３が得られる。な
お、同じ処理を用いて文字が記入されていない帳票の画
像である参照画像１９０から抽出した十字点１９１の位
置を、予め参照画像パターンメモリ１８６に格納してお
く。
より入力画像１９２から罫線が十字型に交差する交差点
である十字点１９３を求める。例えば、図１９では入力
画像１９２上から８個の十字点１９３が得られる。な
お、同じ処理を用いて文字が記入されていない帳票の画
像である参照画像１９０から抽出した十字点１９１の位
置を、予め参照画像パターンメモリ１８６に格納してお
く。
【０００７】対応点検出部１８２は、入力画像１９２か
ら抽出した十字点１９３と参照画像１９０から抽出した
十字点１９１を対応付ける。ここでは、参照画像１９０
から抽出した十字点１９１に対して、その位置から所定
の範囲内に存在する入力画像１９２から抽出した十字点
１９３を対応付ける。
ら抽出した十字点１９３と参照画像１９０から抽出した
十字点１９１を対応付ける。ここでは、参照画像１９０
から抽出した十字点１９１に対して、その位置から所定
の範囲内に存在する入力画像１９２から抽出した十字点
１９３を対応付ける。
【０００８】画像補正部１８３は、対応点検出部１８２
で得た十字点１９１と十字点１９３との間の対応付け結
果を基に、対応点間のずれ（平行移動、回転、変倍）を
算出し、そのずれを補正するための補正関数を求める。
具体的には、補正関数として式（１）に示すアフィン変
換を用い、最小二乗法等の既存の方法によって十字点１
９１と十字点１９３との間の対応付け結果からアフィン
変換係数ａ11，ａ12，ａ21，ａ22，ｂ1 ，ｂ2 を得る。
で得た十字点１９１と十字点１９３との間の対応付け結
果を基に、対応点間のずれ（平行移動、回転、変倍）を
算出し、そのずれを補正するための補正関数を求める。
具体的には、補正関数として式（１）に示すアフィン変
換を用い、最小二乗法等の既存の方法によって十字点１
９１と十字点１９３との間の対応付け結果からアフィン
変換係数ａ11，ａ12，ａ21，ａ22，ｂ1 ，ｂ2 を得る。
【数１】 ここで、（Ｘｔ，Ｙｔ）は入力画像１９２上の座標点、
（Ｘｉ，Ｙｉ）は補正後の座標点を示す。画像補正部１
８３では上記補正関数を入力画像１９２における全ての
画素に適用することでずれを補正した補正画像を作成す
る。
（Ｘｉ，Ｙｉ）は補正後の座標点を示す。画像補正部１
８３では上記補正関数を入力画像１９２における全ての
画素に適用することでずれを補正した補正画像を作成す
る。
【０００９】文字画像切り出し部１８４は補正画像から
文字認識の対象とするフィールドを抽出する。フィール
ドを抽出するためのデータは文字画像領域メモリ１８７
に格納されている。このデータは、上述したように例え
ばフィールドの座標（フィールドを表わす矩形の左上点
と右下点座標値）からなる。
文字認識の対象とするフィールドを抽出する。フィール
ドを抽出するためのデータは文字画像領域メモリ１８７
に格納されている。このデータは、上述したように例え
ばフィールドの座標（フィールドを表わす矩形の左上点
と右下点座標値）からなる。
【００１０】最後に、文字認識部１８５は文字画像切り
出し部１８４で抽出したフィールド内に記入された文字
を認識して外部に出力する。これにより帳票などの画像
のフィールド内に記入された文字の読み取り処理が終了
する。
出し部１８４で抽出したフィールド内に記入された文字
を認識して外部に出力する。これにより帳票などの画像
のフィールド内に記入された文字の読み取り処理が終了
する。
【００１１】
【発明が解決しようとする課題】従来の文字認識装置及
び文字認識方法は以上のような構成を有しているので、
フィールドの抽出に必要不可欠な十字点が存在しない帳
票や、逆に膨大な数の十字点が存在する場合は、フィー
ルドの抽出ができなかったり、フィールド抽出に誤差が
生じて正確な文字認識を行うことができないという課題
があった。
び文字認識方法は以上のような構成を有しているので、
フィールドの抽出に必要不可欠な十字点が存在しない帳
票や、逆に膨大な数の十字点が存在する場合は、フィー
ルドの抽出ができなかったり、フィールド抽出に誤差が
生じて正確な文字認識を行うことができないという課題
があった。
【００１２】具体的に説明すると、一般に使用されてい
る既存の帳票にはダイレクトメールから伝票まで様々な
形式のものがあるが、その多くは文字認識処理を意識せ
ず、記入の容易さや美しさ等を考慮してデザインされて
いる。このため、十字点が存在しない場合、従来の文字
認識装置では参照画像１９０と入力画像１９２の十字点
間の対応付けが実施できないことから、入力画像１９２
の補正関数を求めることができず、フィールド抽出をす
ることができない。また、逆に膨大な数の十字点が存在
する場合では、誤った十字点間の対応付けが生じて補正
関数に誤差が含まれ、これにより、誤った（位置のずれ
た）フィールドが抽出されて正確な文字認識を行うこと
ができない可能性がある。
る既存の帳票にはダイレクトメールから伝票まで様々な
形式のものがあるが、その多くは文字認識処理を意識せ
ず、記入の容易さや美しさ等を考慮してデザインされて
いる。このため、十字点が存在しない場合、従来の文字
認識装置では参照画像１９０と入力画像１９２の十字点
間の対応付けが実施できないことから、入力画像１９２
の補正関数を求めることができず、フィールド抽出をす
ることができない。また、逆に膨大な数の十字点が存在
する場合では、誤った十字点間の対応付けが生じて補正
関数に誤差が含まれ、これにより、誤った（位置のずれ
た）フィールドが抽出されて正確な文字認識を行うこと
ができない可能性がある。
【００１３】この発明は上記のような課題を解決するた
めになされたもので、文字認識処理を意識せずに作成さ
れた帳票（対応付けに適当な数の十字点を持たないもの
や特徴点として抽出することのできる図形や記号のない
もの）に対しても、正しくフィールドを抽出することが
できる文字認識装置及び文字認識方法を得ることを目的
とする。
めになされたもので、文字認識処理を意識せずに作成さ
れた帳票（対応付けに適当な数の十字点を持たないもの
や特徴点として抽出することのできる図形や記号のない
もの）に対しても、正しくフィールドを抽出することが
できる文字認識装置及び文字認識方法を得ることを目的
とする。
【００１４】
【課題を解決するための手段】この発明に係る文字認識
装置は、帳票の画像を読み取る画像入力手段と、この画
像入力手段が読み取った帳票の画像から文字認識の対象
とする領域を特定する特徴点を抽出する特徴点抽出手段
と、画像入力手段が読み取った帳票の画像のうち、文字
を記入した帳票の画像である文字記入画像と、この文字
記入画像と同一の帳票の画像であって文字を記入してい
ない文字未記入画像とから特徴点抽出手段が抽出した各
特徴点を対応付けて、文字未記入画像に対する文字記入
画像の位置関係を補正する位置補正手段と、この位置補
正手段による位置関係の補正の結果に基づいて、文字記
入画像上の文字認識の対象とする領域を抽出するフィー
ルド抽出手段と、このフィールド抽出手段が抽出した文
字認識の対象とする領域内の画像に対して文字認識処理
を行う文字認識手段とを備えるものである。
装置は、帳票の画像を読み取る画像入力手段と、この画
像入力手段が読み取った帳票の画像から文字認識の対象
とする領域を特定する特徴点を抽出する特徴点抽出手段
と、画像入力手段が読み取った帳票の画像のうち、文字
を記入した帳票の画像である文字記入画像と、この文字
記入画像と同一の帳票の画像であって文字を記入してい
ない文字未記入画像とから特徴点抽出手段が抽出した各
特徴点を対応付けて、文字未記入画像に対する文字記入
画像の位置関係を補正する位置補正手段と、この位置補
正手段による位置関係の補正の結果に基づいて、文字記
入画像上の文字認識の対象とする領域を抽出するフィー
ルド抽出手段と、このフィールド抽出手段が抽出した文
字認識の対象とする領域内の画像に対して文字認識処理
を行う文字認識手段とを備えるものである。
【００１５】この発明に係る文字認識装置は、任意の文
字、図形、記号若しくはこれらの組み合わせに係る特徴
点フィルタを特徴点抽出手段が備え、この特徴点フィル
タと所定の整合性を示す文字記入画像及び文字未記入画
像上の部位、及び／若しくは、文字記入画像及び文字未
記入画像上の罫線の端点及び交点を特徴点として抽出す
るものである。
字、図形、記号若しくはこれらの組み合わせに係る特徴
点フィルタを特徴点抽出手段が備え、この特徴点フィル
タと所定の整合性を示す文字記入画像及び文字未記入画
像上の部位、及び／若しくは、文字記入画像及び文字未
記入画像上の罫線の端点及び交点を特徴点として抽出す
るものである。
【００１６】この発明に係る文字認識装置は、特徴点抽
出手段が罫線の端点の位置、交点を構成する各罫線がな
す形状、及び／若しくは、特徴点を抽出するのに使用し
た特徴点フィルタを特定する情報を、特徴点の種類とし
て規定するものである。
出手段が罫線の端点の位置、交点を構成する各罫線がな
す形状、及び／若しくは、特徴点を抽出するのに使用し
た特徴点フィルタを特定する情報を、特徴点の種類とし
て規定するものである。
【００１７】この発明に係る文字認識装置は、位置補正
手段が文字記入画像と文字未記入画像とから抽出した各
特徴点から対応確率を算出し、この対応確率を基にし
て、文字記入画像と文字未記入画像とから抽出した各特
徴点の対応付けを行い、この対応付けの結果から文字未
記入画像に対する文字記入画像の位置関係を補正するた
めのアフィン変換係数を推定し、このアフィン変換係数
を基にして文字未記入画像から抽出した特徴点の位置座
標値を補正するものである。
手段が文字記入画像と文字未記入画像とから抽出した各
特徴点から対応確率を算出し、この対応確率を基にし
て、文字記入画像と文字未記入画像とから抽出した各特
徴点の対応付けを行い、この対応付けの結果から文字未
記入画像に対する文字記入画像の位置関係を補正するた
めのアフィン変換係数を推定し、このアフィン変換係数
を基にして文字未記入画像から抽出した特徴点の位置座
標値を補正するものである。
【００１８】この発明に係る文字認識装置は、位置補正
手段が特徴点の位置座標値及び種類を基にして対応確率
を算出するものである。
手段が特徴点の位置座標値及び種類を基にして対応確率
を算出するものである。
【００１９】この発明に係る文字認識装置は、位置補正
手段がアフィン変換係数の推定誤差が所定値以下になる
まで補正した文字未記入画像から抽出した特徴点の位置
座標値を用いて、対応確率算出手段が対応確率を算出
し、この対応確率を基にして、対応付け、アフィン係数
推定、及び特徴点の座標値補正を繰り返すものである。
手段がアフィン変換係数の推定誤差が所定値以下になる
まで補正した文字未記入画像から抽出した特徴点の位置
座標値を用いて、対応確率算出手段が対応確率を算出
し、この対応確率を基にして、対応付け、アフィン係数
推定、及び特徴点の座標値補正を繰り返すものである。
【００２０】この発明に係る文字認識装置は、文字未記
入画像から抽出した特徴点と文字未記入画像とを重ねて
ユーザに表示し、ユーザが文字未記入画像上で指定した
領域を文字認識の対象とする領域として抽出するフィー
ルド指定手段と、特徴点のうちユーザが不要と判断した
特徴点を除去する特徴点選択手段とを備え、フィールド
指定手段が抽出した文字認識の対象とする領域、及び／
若しくは、特徴点選択手段が除去しなかった特徴点を有
する文字未記入画像である帳票フォーマットを作成する
ものである。
入画像から抽出した特徴点と文字未記入画像とを重ねて
ユーザに表示し、ユーザが文字未記入画像上で指定した
領域を文字認識の対象とする領域として抽出するフィー
ルド指定手段と、特徴点のうちユーザが不要と判断した
特徴点を除去する特徴点選択手段とを備え、フィールド
指定手段が抽出した文字認識の対象とする領域、及び／
若しくは、特徴点選択手段が除去しなかった特徴点を有
する文字未記入画像である帳票フォーマットを作成する
ものである。
【００２１】この発明に係る文字認識装置は、位置補正
手段が文字未記入画像と文字記入画像とから抽出した各
特徴点を対応付ける際、対応確率が所定値より小さい対
応付け、及び／若しくは、文字記入画像から抽出した一
個の特徴点が文字未記入画像から抽出した複数個の特徴
点と対応付く場合、この対応付け結果を除外するもので
ある。
手段が文字未記入画像と文字記入画像とから抽出した各
特徴点を対応付ける際、対応確率が所定値より小さい対
応付け、及び／若しくは、文字記入画像から抽出した一
個の特徴点が文字未記入画像から抽出した複数個の特徴
点と対応付く場合、この対応付け結果を除外するもので
ある。
【００２２】この発明に係る文字認識装置は、ユーザが
指定した文字未記入画像上の領域内の画像から、特徴抽
出手段が使用する特徴点フィルタを作成する特徴点フィ
ルタ生成手段を備えるものである。
指定した文字未記入画像上の領域内の画像から、特徴抽
出手段が使用する特徴点フィルタを作成する特徴点フィ
ルタ生成手段を備えるものである。
【００２３】この発明に係る文字認識装置は、特徴点抽
出手段が文字未記入画像から抽出した特徴点の数が所定
値以下となると、特徴点フィルタ生成手段がユーザに対
して警告を行うものである。
出手段が文字未記入画像から抽出した特徴点の数が所定
値以下となると、特徴点フィルタ生成手段がユーザに対
して警告を行うものである。
【００２４】この発明に係る文字認識方法は、帳票の画
像を読み取る画像入力ステップと、この画像入力ステッ
プで読み取った帳票の画像から文字認識の対象とする領
域を特定する特徴点を抽出する特徴点抽出ステップと、
画像入力ステップにて読み取った帳票の画像のうち、文
字を記入した帳票の画像である文字記入画像から抽出し
た特徴点と、文字記入画像と同一の帳票の画像であって
文字を記入していない文字未記入画像から予め抽出して
おいた特徴点とを対応付けて、文字未記入画像に対する
文字記入画像の位置関係を補正する位置補正ステップ
と、この位置補正ステップにおける位置関係の補正の結
果に基づいて、文字記入画像上の文字認識の対象とする
領域を抽出するフィールド抽出ステップと、このフィー
ルド抽出ステップが抽出した文字認識の対象とする領域
内の画像に対して文字認識処理を行う文字認識ステップ
とを備えるものである。
像を読み取る画像入力ステップと、この画像入力ステッ
プで読み取った帳票の画像から文字認識の対象とする領
域を特定する特徴点を抽出する特徴点抽出ステップと、
画像入力ステップにて読み取った帳票の画像のうち、文
字を記入した帳票の画像である文字記入画像から抽出し
た特徴点と、文字記入画像と同一の帳票の画像であって
文字を記入していない文字未記入画像から予め抽出して
おいた特徴点とを対応付けて、文字未記入画像に対する
文字記入画像の位置関係を補正する位置補正ステップ
と、この位置補正ステップにおける位置関係の補正の結
果に基づいて、文字記入画像上の文字認識の対象とする
領域を抽出するフィールド抽出ステップと、このフィー
ルド抽出ステップが抽出した文字認識の対象とする領域
内の画像に対して文字認識処理を行う文字認識ステップ
とを備えるものである。
【００２５】この発明に係る文字認識方法は、特徴点抽
出ステップにて、任意の文字、図形、記号若しくはこれ
らの組み合わせに係る特徴点フィルタと所定の整合性を
示す文字記入画像及び文字未記入画像上の部位、及び／
若しくは、文字記入画像及び文字未記入画像上の罫線の
端点及び交点を特徴点として抽出するものである。
出ステップにて、任意の文字、図形、記号若しくはこれ
らの組み合わせに係る特徴点フィルタと所定の整合性を
示す文字記入画像及び文字未記入画像上の部位、及び／
若しくは、文字記入画像及び文字未記入画像上の罫線の
端点及び交点を特徴点として抽出するものである。
【００２６】この発明に係る文字認識方法は、特徴点抽
出ステップにて、罫線の端点の位置、交点を構成する各
罫線がなす形状、及び／若しくは、特徴点を抽出するの
に使用した特徴点フィルタを特定する情報を、特徴点の
種類として規定するものである。
出ステップにて、罫線の端点の位置、交点を構成する各
罫線がなす形状、及び／若しくは、特徴点を抽出するの
に使用した特徴点フィルタを特定する情報を、特徴点の
種類として規定するものである。
【００２７】この発明に係る文字認識方法は、文字記入
画像と文字未記入画像とから抽出した各特徴点から対応
確率を算出する対応確率算出ステップと、対応確率を基
にして、文字記入画像と文字未記入画像とから抽出した
各特徴点の対応付けを行う対応付けステップと、この対
応付けの結果から文字未記入画像に対する文字記入画像
の位置関係を補正するためのアフィン変換係数を推定す
るアフィン係数推定ステップと、このアフィン係数推定
ステップで推定したアフィン変換係数を基にして、文字
未記入画像から抽出した特徴点の位置座標値を補正する
座標値更新ステップとから位置補正ステップが構成され
るものである。
画像と文字未記入画像とから抽出した各特徴点から対応
確率を算出する対応確率算出ステップと、対応確率を基
にして、文字記入画像と文字未記入画像とから抽出した
各特徴点の対応付けを行う対応付けステップと、この対
応付けの結果から文字未記入画像に対する文字記入画像
の位置関係を補正するためのアフィン変換係数を推定す
るアフィン係数推定ステップと、このアフィン係数推定
ステップで推定したアフィン変換係数を基にして、文字
未記入画像から抽出した特徴点の位置座標値を補正する
座標値更新ステップとから位置補正ステップが構成され
るものである。
【００２８】この発明に係る文字認識方法は、対応確率
算出ステップにて特徴点の位置座標値及び種類を基にし
て対応確率を算出するものである。
算出ステップにて特徴点の位置座標値及び種類を基にし
て対応確率を算出するものである。
【００２９】この発明に係る文字認識方法は、アフィン
変換係数値の推定誤差が所定値以下になるまで、座標値
更新ステップにて補正した文字未記入画像から抽出した
特徴点の位置座標値を用いて、対応確率算出ステップか
らの処理を繰り返すものである。
変換係数値の推定誤差が所定値以下になるまで、座標値
更新ステップにて補正した文字未記入画像から抽出した
特徴点の位置座標値を用いて、対応確率算出ステップか
らの処理を繰り返すものである。
【００３０】この発明に係る文字認識方法は、文字未記
入画像から抽出した特徴点と文字未記入画像とを重ねて
ユーザに表示し、ユーザが文字未記入画像上で指定した
領域を文字認識の対象とする領域として抽出するフィー
ルド指定ステップと、特徴点のうちユーザが不要と判断
した特徴点を除去する特徴点選択ステップとを備え、フ
ィールド指定ステップにてユーザが指定した文字認識の
対象とする領域、及び／若しくは、特徴点選択ステップ
にてユーザが除去しなかった特徴点の情報を有する文字
未記入画像である帳票フォーマットを作成するものであ
る。
入画像から抽出した特徴点と文字未記入画像とを重ねて
ユーザに表示し、ユーザが文字未記入画像上で指定した
領域を文字認識の対象とする領域として抽出するフィー
ルド指定ステップと、特徴点のうちユーザが不要と判断
した特徴点を除去する特徴点選択ステップとを備え、フ
ィールド指定ステップにてユーザが指定した文字認識の
対象とする領域、及び／若しくは、特徴点選択ステップ
にてユーザが除去しなかった特徴点の情報を有する文字
未記入画像である帳票フォーマットを作成するものであ
る。
【００３１】この発明に係る文字認識方法は、対応付け
ステップにて文字未記入画像と文字記入画像とから抽出
した各特徴点とを対応付ける際、対応確率が所定値より
小さい対応付け、及び／若しくは、文字記入画像から抽
出した一個の特徴点が文字未記入画像から抽出した複数
個の特徴点と対応付く場合、この対応付け結果を除外す
るものである。
ステップにて文字未記入画像と文字記入画像とから抽出
した各特徴点とを対応付ける際、対応確率が所定値より
小さい対応付け、及び／若しくは、文字記入画像から抽
出した一個の特徴点が文字未記入画像から抽出した複数
個の特徴点と対応付く場合、この対応付け結果を除外す
るものである。
【００３２】この発明に係る文字認識方法は、ユーザが
指定した文字未記入画像上の領域内の画像から、特徴点
抽出ステップにて使用する特徴点フィルタを作成する特
徴点フィルタ生成ステップを備えるものである。
指定した文字未記入画像上の領域内の画像から、特徴点
抽出ステップにて使用する特徴点フィルタを作成する特
徴点フィルタ生成ステップを備えるものである。
【００３３】この発明に係る文字認識方法は、特徴点フ
ィルタ生成ステップにて、特徴点抽出ステップで文字未
記入画像から抽出した特徴点の数が所定値以下となる
と、ユーザに対して警告を行うものである。
ィルタ生成ステップにて、特徴点抽出ステップで文字未
記入画像から抽出した特徴点の数が所定値以下となる
と、ユーザに対して警告を行うものである。
【００３４】
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による文
字認識装置を示す構成図である。図において、１は画像
入力部（画像入力手段）で、文字を記入した帳票の画像
（文字記入画像）を本発明の文字認識装置で処理可能な
形態の入力画像として入力する。この画像入力部１とし
ては画像を光学的に読み取るイメージリーダであるスキ
ャナ、ファクシミリ、及びこのファクシミリと本発明の
文字認識装置とを接続する通信回線、モデムなどの通信
装置なども含んでいる。また、画像入力部１が読み取っ
た帳票の画像のうち、文字を記入した帳票の画像を入力
画像（文字記入画像）とし、この入力画像と同一の帳票
の画像であって文字を記入していない帳票の画像を参照
画像（文字未記入画像）とする。２は画像入力部１が入
力した入力画像から文字認識の対象とする領域（フィー
ルド）を特定する特徴点の情報を抽出する特徴点抽出部
（特徴点抽出手段）、３は位置補正部（位置補正手段）
であって、画像入力部１が入力した入力画像と、画像入
力部１が予め入力しておいた参照画像とから、特徴点抽
出部２が抽出した各特徴点を対応付けて、読み取り時の
傾きや平行移動などの参照画像に対する入力画像の位置
関係を補正する。４は位置補正部３による読み取り時の
傾きや平行移動などの参照画像に対する入力画像の位置
関係の補正結果に基づいて、入力画像のフィールドを抽
出するフィールド抽出部（フィールド抽出手段）、５は
フィールド抽出部４が抽出したフィールド内の画像に対
して文字認識処理を行う文字認識部（文字認識手段）で
ある。６は入力画像及び参照画像における任意の文字、
図形、記号若しくはこれらの組み合わせに係るフィルタ
（特徴点フィルタ）を予め記憶しておくフィルタ情報メ
モリ、７は帳票フォーマットメモリであって、フィール
ドや特徴点を有する参照画像である帳票フォーマットが
予め記憶されている。
説明する。 実施の形態１．図１はこの発明の実施の形態１による文
字認識装置を示す構成図である。図において、１は画像
入力部（画像入力手段）で、文字を記入した帳票の画像
（文字記入画像）を本発明の文字認識装置で処理可能な
形態の入力画像として入力する。この画像入力部１とし
ては画像を光学的に読み取るイメージリーダであるスキ
ャナ、ファクシミリ、及びこのファクシミリと本発明の
文字認識装置とを接続する通信回線、モデムなどの通信
装置なども含んでいる。また、画像入力部１が読み取っ
た帳票の画像のうち、文字を記入した帳票の画像を入力
画像（文字記入画像）とし、この入力画像と同一の帳票
の画像であって文字を記入していない帳票の画像を参照
画像（文字未記入画像）とする。２は画像入力部１が入
力した入力画像から文字認識の対象とする領域（フィー
ルド）を特定する特徴点の情報を抽出する特徴点抽出部
（特徴点抽出手段）、３は位置補正部（位置補正手段）
であって、画像入力部１が入力した入力画像と、画像入
力部１が予め入力しておいた参照画像とから、特徴点抽
出部２が抽出した各特徴点を対応付けて、読み取り時の
傾きや平行移動などの参照画像に対する入力画像の位置
関係を補正する。４は位置補正部３による読み取り時の
傾きや平行移動などの参照画像に対する入力画像の位置
関係の補正結果に基づいて、入力画像のフィールドを抽
出するフィールド抽出部（フィールド抽出手段）、５は
フィールド抽出部４が抽出したフィールド内の画像に対
して文字認識処理を行う文字認識部（文字認識手段）で
ある。６は入力画像及び参照画像における任意の文字、
図形、記号若しくはこれらの組み合わせに係るフィルタ
（特徴点フィルタ）を予め記憶しておくフィルタ情報メ
モリ、７は帳票フォーマットメモリであって、フィール
ドや特徴点を有する参照画像である帳票フォーマットが
予め記憶されている。
【００３５】図２は実施の形態１による文字認識装置に
使用する参照画像を示す図で、図３は実施の形態１によ
る文字認識装置に使用する入力画像を示す図である。図
において、８は参照画像（文字未記入画像）であり、例
として応募はがきの帳票画像を示している。９は入力画
像（文字記入画像）、１０，１１は入力画像９上の部分
領域である。
使用する参照画像を示す図で、図３は実施の形態１によ
る文字認識装置に使用する入力画像を示す図である。図
において、８は参照画像（文字未記入画像）であり、例
として応募はがきの帳票画像を示している。９は入力画
像（文字記入画像）、１０，１１は入力画像９上の部分
領域である。
【００３６】次に動作について説明する。画像入力部１
は文字を記入した帳票をスキャナなどのイメージリーダ
又はファクシミリで通信回線を介して読み取り、本発明
の文字認識装置で処理可能な形態の入力画像９を作成す
る（画像入力ステップ）。具体的には、図２に示す参照
画像８のような未記入の帳票に文字を記入して、画像入
力部１であるスキャナやファクシミリ等で読み取り、図
３に示すような入力画像９を得る。図３の例では、画像
入力部１による読み取り時に、読み取るべき帳票がスキ
ャナやファクシミリ等の読み取り面に対して傾いていた
り、ずれがあったために、入力画像９に傾きや平行移動
が加わっている。
は文字を記入した帳票をスキャナなどのイメージリーダ
又はファクシミリで通信回線を介して読み取り、本発明
の文字認識装置で処理可能な形態の入力画像９を作成す
る（画像入力ステップ）。具体的には、図２に示す参照
画像８のような未記入の帳票に文字を記入して、画像入
力部１であるスキャナやファクシミリ等で読み取り、図
３に示すような入力画像９を得る。図３の例では、画像
入力部１による読み取り時に、読み取るべき帳票がスキ
ャナやファクシミリ等の読み取り面に対して傾いていた
り、ずれがあったために、入力画像９に傾きや平行移動
が加わっている。
【００３７】次に特徴点抽出部２は、入力画像９内の文
字認識の対象とする領域であるフィールドを特定する特
徴点の情報を抽出する（特徴点抽出ステップ）。この特
徴点の抽出は下記の二種類の処理で行う。一つは帳票に
記載された罫線から特徴点を抽出する処理、もう一つは
フィルタで特徴点を抽出する処理である。
字認識の対象とする領域であるフィールドを特定する特
徴点の情報を抽出する（特徴点抽出ステップ）。この特
徴点の抽出は下記の二種類の処理で行う。一つは帳票に
記載された罫線から特徴点を抽出する処理、もう一つは
フィルタで特徴点を抽出する処理である。
【００３８】先ず、帳票に記載された罫線から特徴点を
抽出する処理について説明する。図４は図３における部
分領域１１の拡大図である。図において、１２は入力画
像９上で黒画素が横方向に一定長以上連続する領域であ
る横ラスタ、１３は入力画像９上で黒画素が縦方向に一
定長以上連続する領域である縦ラスタ、１４は横ラスタ
１２と縦ラスタ１３との重なり部分、１５は図３におけ
る入力画像９の部分領域１１を拡大したイメージ画像で
ある。この処理では入力画像９から縦罫線と横罫線とを
抽出し、その交点及び端点を特徴点とする。罫線の抽出
は、例えば特開平７−２８２１９３号公報に開示される
従来技術で実現する。
抽出する処理について説明する。図４は図３における部
分領域１１の拡大図である。図において、１２は入力画
像９上で黒画素が横方向に一定長以上連続する領域であ
る横ラスタ、１３は入力画像９上で黒画素が縦方向に一
定長以上連続する領域である縦ラスタ、１４は横ラスタ
１２と縦ラスタ１３との重なり部分、１５は図３におけ
る入力画像９の部分領域１１を拡大したイメージ画像で
ある。この処理では入力画像９から縦罫線と横罫線とを
抽出し、その交点及び端点を特徴点とする。罫線の抽出
は、例えば特開平７−２８２１９３号公報に開示される
従来技術で実現する。
【００３９】具体的には、入力画像９上で黒画素が横方
向に一定長以上連続する領域を横ラスタ１２として抽出
し、隣接した横ラスタ１２の集合を一本の横罫線と認識
する。また、縦罫線も同様にして隣接した縦ラスタ１３
の集合を一本の縦罫線とする。縦横罫線の交点は横ラス
タ１２と縦ラスタ１３との重なり部分１４として求め
る。図４の例では、３本の横ラスタ１２と２本の縦ラス
タ１３が検出されている。このとき、横ラスタ１２の集
合が横罫線、縦ラスタ１３の集合が縦罫線と認識され、
横ラスタ１２と縦ラスタ１３とが重なる重なり部分１４
が縦横罫線の交点として求まる。なお、ラスタとみなす
画素数や罫線とみなすラスタ数は、ユーザが適宜設定を
変更することができるようにしてもよい。このようにす
ることで、罫線と誤認されるような線が誤って記入され
ていてもユーザが適宜対応することができる。
向に一定長以上連続する領域を横ラスタ１２として抽出
し、隣接した横ラスタ１２の集合を一本の横罫線と認識
する。また、縦罫線も同様にして隣接した縦ラスタ１３
の集合を一本の縦罫線とする。縦横罫線の交点は横ラス
タ１２と縦ラスタ１３との重なり部分１４として求め
る。図４の例では、３本の横ラスタ１２と２本の縦ラス
タ１３が検出されている。このとき、横ラスタ１２の集
合が横罫線、縦ラスタ１３の集合が縦罫線と認識され、
横ラスタ１２と縦ラスタ１３とが重なる重なり部分１４
が縦横罫線の交点として求まる。なお、ラスタとみなす
画素数や罫線とみなすラスタ数は、ユーザが適宜設定を
変更することができるようにしてもよい。このようにす
ることで、罫線と誤認されるような線が誤って記入され
ていてもユーザが適宜対応することができる。
【００４０】これとは別に、罫線の端点は罫線を構成す
るラスタの端点位置から求める。例えば、横罫線の場合
は横ラスタ１２の最も右の位置を右端点とし、最も左の
位置を左端点として抽出し、これらを横罫線の端点とす
る。縦罫線の端点も同様にして縦ラスタ１３の最も上の
位置を上端点とし、最も下の位置を下端点として抽出
し、これらを縦罫線の端点とする。
るラスタの端点位置から求める。例えば、横罫線の場合
は横ラスタ１２の最も右の位置を右端点とし、最も左の
位置を左端点として抽出し、これらを横罫線の端点とす
る。縦罫線の端点も同様にして縦ラスタ１３の最も上の
位置を上端点とし、最も下の位置を下端点として抽出
し、これらを縦罫線の端点とする。
【００４１】以上の処理で得た罫線の交点と端点を特徴
点として抽出する。ここで、特徴点は、各特徴点の位置
座標値と種類にて表現される。罫線の交点や端点からな
る特徴点の種類には、例えば交点を構成する各罫線がな
す形状（９個；┌、┐、┘、└、├、┬、┤、┴、
┼）、端点の位置（４個；横罫線の左端点、右端点、縦
罫線の上端点、下端点）がある。
点として抽出する。ここで、特徴点は、各特徴点の位置
座標値と種類にて表現される。罫線の交点や端点からな
る特徴点の種類には、例えば交点を構成する各罫線がな
す形状（９個；┌、┐、┘、└、├、┬、┤、┴、
┼）、端点の位置（４個；横罫線の左端点、右端点、縦
罫線の上端点、下端点）がある。
【００４２】次にフィルタで特徴点を抽出する処理につ
いて説明する。図５はフィルタによる特徴点の抽出を説
明する図である。図において、１６〜１９は７×７画素
の大きさを持つフィルタ（特徴点フィルタ）で、それぞ
れ異なる位置における４×４画素の大きさの矩形を抽出
する。２０は図３中の部分領域１０を拡大したイメー
ジ、２１ａ，２１ｂは抽出された特徴点である。ここ
で、フィルタによる特徴点の抽出処理にはフィルタ情報
メモリ６に予め記憶しておいたフィルタを用い、このフ
ィルタを入力画像９に重畳させてフィルタからの出力値
が閾値以上となる画素を特徴点とする。
いて説明する。図５はフィルタによる特徴点の抽出を説
明する図である。図において、１６〜１９は７×７画素
の大きさを持つフィルタ（特徴点フィルタ）で、それぞ
れ異なる位置における４×４画素の大きさの矩形を抽出
する。２０は図３中の部分領域１０を拡大したイメー
ジ、２１ａ，２１ｂは抽出された特徴点である。ここ
で、フィルタによる特徴点の抽出処理にはフィルタ情報
メモリ６に予め記憶しておいたフィルタを用い、このフ
ィルタを入力画像９に重畳させてフィルタからの出力値
が閾値以上となる画素を特徴点とする。
【００４３】具体的に説明すると、図５に示した７×７
画素の大きさを持つフィルタ１６〜１９において、４×
４画素の大きさの矩形を構成する黒い小矩形を値＋１の
画素とし、それ以外の白い小矩形を値−１の画素とす
る。フィルタ１６〜１９の中心点を入力画像９上の位置
座標値（Ｉｘ，Ｉｙ）の画素に合わせて、フィルタ１６
〜１９と入力画像９とを重畳した際、フィルタ１６〜１
９からの出力値Ｖ（Ｉｘ，Ｉｙ）を下記の式（２）を用
いて求める。
画素の大きさを持つフィルタ１６〜１９において、４×
４画素の大きさの矩形を構成する黒い小矩形を値＋１の
画素とし、それ以外の白い小矩形を値−１の画素とす
る。フィルタ１６〜１９の中心点を入力画像９上の位置
座標値（Ｉｘ，Ｉｙ）の画素に合わせて、フィルタ１６
〜１９と入力画像９とを重畳した際、フィルタ１６〜１
９からの出力値Ｖ（Ｉｘ，Ｉｙ）を下記の式（２）を用
いて求める。
【数２】 但し、式（２）において、Ｆ（ｉ，ｊ）はフィルタ１６
〜１９上の画素（ｉ，ｊ）が持つ値（つまり、黒い小矩
形であるならば＋１、白い小矩形であるならば−１）、
Ｑ（Ｉｘ，Ｉｙ）は入力画像９上の画素（Ｉｘ，Ｉｙ）
が持つ値を示す。ここで、Ｑ（Ｉｘ，Ｉｙ）は入力画像
９上の画素（Ｉｘ，Ｉｙ）が黒画素の場合は値＋１を、
白画素の場合は値−１を持つ。
〜１９上の画素（ｉ，ｊ）が持つ値（つまり、黒い小矩
形であるならば＋１、白い小矩形であるならば−１）、
Ｑ（Ｉｘ，Ｉｙ）は入力画像９上の画素（Ｉｘ，Ｉｙ）
が持つ値を示す。ここで、Ｑ（Ｉｘ，Ｉｙ）は入力画像
９上の画素（Ｉｘ，Ｉｙ）が黒画素の場合は値＋１を、
白画素の場合は値−１を持つ。
【００４４】上記処理を入力画像９上の全画素に対して
行い、Ｖ（Ｉｘ，Ｉｙ）の値が閾値以上の画素（Ｉｘ，
Ｉｙ）を特徴点とする。例えば、イメージ２０は図３に
示す入力画像９の部分領域１０を拡大したものであり、
式（２）から分かるようにフィルタ１６〜１９に係る４
×４画素の大きさの矩形と最も良く整合する入力画像９
上の部位が、出力値Ｖ（Ｉｘ，Ｉｙ）が大きくなる。こ
れより、イメージ２０からは、フィルタ１７により特徴
点２１ａが、フィルタ１９により特徴点２１ｂが抽出さ
れる。各特徴点２１ａ，２１ｂは位置座標値と種類で表
現し、種類として抽出に使用したフィルタを特定する情
報（例えば、フィルタ１６を特定する番号としてフィル
タＮＯ．１、フィルタ１７を特定する番号としてフィル
タＮＯ．２等）を持つ。
行い、Ｖ（Ｉｘ，Ｉｙ）の値が閾値以上の画素（Ｉｘ，
Ｉｙ）を特徴点とする。例えば、イメージ２０は図３に
示す入力画像９の部分領域１０を拡大したものであり、
式（２）から分かるようにフィルタ１６〜１９に係る４
×４画素の大きさの矩形と最も良く整合する入力画像９
上の部位が、出力値Ｖ（Ｉｘ，Ｉｙ）が大きくなる。こ
れより、イメージ２０からは、フィルタ１７により特徴
点２１ａが、フィルタ１９により特徴点２１ｂが抽出さ
れる。各特徴点２１ａ，２１ｂは位置座標値と種類で表
現し、種類として抽出に使用したフィルタを特定する情
報（例えば、フィルタ１６を特定する番号としてフィル
タＮＯ．１、フィルタ１７を特定する番号としてフィル
タＮＯ．２等）を持つ。
【００４５】図６は特徴点を抽出した入力画像９を示す
図であり、図７は入力画像９から抽出した特徴点の情報
を示す図である。図において、２１は入力画像９から抽
出された特徴点、２１ｃは罫線の交点及び端点以外に入
力画像９上の文字に関連して抽出された特徴点である。
上述した特徴点抽出処理により特徴点抽出部２では、例
えば入力画像９に対して図６に示す特徴点２１を得る。
ここで各特徴点２１は、図７に示すような特徴点の位置
座標値と種類で表現される。
図であり、図７は入力画像９から抽出した特徴点の情報
を示す図である。図において、２１は入力画像９から抽
出された特徴点、２１ｃは罫線の交点及び端点以外に入
力画像９上の文字に関連して抽出された特徴点である。
上述した特徴点抽出処理により特徴点抽出部２では、例
えば入力画像９に対して図６に示す特徴点２１を得る。
ここで各特徴点２１は、図７に示すような特徴点の位置
座標値と種類で表現される。
【００４６】また、図６に示す特徴点２１ｃは、罫線の
交点及び端点以外に入力画像９上の文字に係るフィルタ
から抽出している。このように本発明の文字認識装置
は、文字に係るフィルタを用意することによっても特徴
点を抽出することができ、文字認識処理を意識せずに作
成された帳票（対応付けに適当な数の十字点を持たない
ものや特徴点として抽出することのできる図形や記号の
ないもの）に対しても、正しくフィールドを抽出するこ
とができる。
交点及び端点以外に入力画像９上の文字に係るフィルタ
から抽出している。このように本発明の文字認識装置
は、文字に係るフィルタを用意することによっても特徴
点を抽出することができ、文字認識処理を意識せずに作
成された帳票（対応付けに適当な数の十字点を持たない
ものや特徴点として抽出することのできる図形や記号の
ないもの）に対しても、正しくフィールドを抽出するこ
とができる。
【００４７】特徴点抽出部２によって入力画像９から特
徴点が抽出されると、位置補正部３は上記と同様な処理
により特徴点抽出部２が参照画像８から抽出した特徴点
と、入力画像９から抽出された特徴点とを対応付け、入
力画像９の読み取り時におけるずれ（回転、傾き、平行
移動、変倍）を補正する（位置補正ステップ）。ここ
で、参照画像８から抽出した特徴点について説明する
と、特徴点抽出部２が予め参照画像８から抽出しておい
た特徴点は、参照画像８とともに帳票フォーマットとし
て帳票フォーマットメモリ７に格納してある。これによ
り、位置補正部３は、特徴点抽出部２によって入力画像
９から特徴点が抽出されると、帳票フォーマットメモリ
７から帳票フォーマットを適宜読み出して使用すること
ができる。図８は帳票フォーマットを示す図であり、２
２は参照画像８から抽出した特徴点である。図９は図８
の帳票フォーマットにおける特徴点の情報を示す図であ
る。例えば、図８に示すように、特徴点抽出部２によっ
て参照画像８から抽出した特徴点２２の情報（図９に示
すような各特徴点の位置座標値と種類）が帳票フォーマ
ットメモリ７に格納されている。
徴点が抽出されると、位置補正部３は上記と同様な処理
により特徴点抽出部２が参照画像８から抽出した特徴点
と、入力画像９から抽出された特徴点とを対応付け、入
力画像９の読み取り時におけるずれ（回転、傾き、平行
移動、変倍）を補正する（位置補正ステップ）。ここ
で、参照画像８から抽出した特徴点について説明する
と、特徴点抽出部２が予め参照画像８から抽出しておい
た特徴点は、参照画像８とともに帳票フォーマットとし
て帳票フォーマットメモリ７に格納してある。これによ
り、位置補正部３は、特徴点抽出部２によって入力画像
９から特徴点が抽出されると、帳票フォーマットメモリ
７から帳票フォーマットを適宜読み出して使用すること
ができる。図８は帳票フォーマットを示す図であり、２
２は参照画像８から抽出した特徴点である。図９は図８
の帳票フォーマットにおける特徴点の情報を示す図であ
る。例えば、図８に示すように、特徴点抽出部２によっ
て参照画像８から抽出した特徴点２２の情報（図９に示
すような各特徴点の位置座標値と種類）が帳票フォーマ
ットメモリ７に格納されている。
【００４８】図１０は位置補正処理を示すフロー図であ
り、図１０に従って位置補正処理を説明する。先ず、位
置補正部３は参照画像８と入力画像９とから抽出された
各特徴点を対応付けるために対応確率を算出する（ステ
ップＳＴ１、対応確率算出ステップ）。具体的には、参
照画像８から抽出したＮ個の特徴点Ｒｉ（ｉ＝１〜Ｎ）
と、入力画像９から抽出したＭ個の特徴点Ｉｊ（ｊ＝１
〜Ｍ）との対応関係から対応確率Ｐｉｊを求める。ここ
では、特徴点ＲｉとＩｊとの対応関係として類似度Ｓｉ
ｊを求め、その後で下記の式（３）により対応確率Ｐｉ
ｊを計算する。
り、図１０に従って位置補正処理を説明する。先ず、位
置補正部３は参照画像８と入力画像９とから抽出された
各特徴点を対応付けるために対応確率を算出する（ステ
ップＳＴ１、対応確率算出ステップ）。具体的には、参
照画像８から抽出したＮ個の特徴点Ｒｉ（ｉ＝１〜Ｎ）
と、入力画像９から抽出したＭ個の特徴点Ｉｊ（ｊ＝１
〜Ｍ）との対応関係から対応確率Ｐｉｊを求める。ここ
では、特徴点ＲｉとＩｊとの対応関係として類似度Ｓｉ
ｊを求め、その後で下記の式（３）により対応確率Ｐｉ
ｊを計算する。
【数３】 類似度Ｓｉｊの算出は、互いの特徴点Ｒｉ，Ｉｊが有す
る位置座標が近く、且つ、上述した特徴点の種類が同じ
である場合に高い値を与え、逆に位置座標が離れてお
り、特徴点の種類が異なる場合には小さな値を与えるよ
うにする。このようにして各特徴点Ｒｉ，Ｉｊに対して
類似度Ｓｉｊを求め、上記式（３）によって各特徴点Ｒ
ｉ，Ｉｊに対する対応確率を算出する。
る位置座標が近く、且つ、上述した特徴点の種類が同じ
である場合に高い値を与え、逆に位置座標が離れてお
り、特徴点の種類が異なる場合には小さな値を与えるよ
うにする。このようにして各特徴点Ｒｉ，Ｉｊに対して
類似度Ｓｉｊを求め、上記式（３）によって各特徴点Ｒ
ｉ，Ｉｊに対する対応確率を算出する。
【００４９】式（３）によれば、類似度Ｓｉｊの値が高
い特徴点の対応付けに対しては、高い対応確率Ｐｉｊの
値が得られる。また、式（３）の括弧内の演算により、
例えば参照画像８から抽出した特徴点Ｒｉが、入力画像
９から抽出した特徴点Ｉｊに対してのみ高い類似度Ｓｉ
ｊを示す場合、つまり、一つの特徴点Ｒｉに対して一つ
の特徴点Ｉｊが高い類似度Ｓｉｊを示す場合に対応確率
Ｐｉｊの値が高くなり、逆に特徴点Ｒｉが入力画像９か
ら抽出された複数の特徴点Ｉｊに対して高い類似度Ｓｉ
ｊを示して正しい対応付けが判断できない場合は対応確
率Ｐｉｊの値が低くなる（複数の特徴点Ｉｊに対して高
い類似度を示すと、式（３）の括弧内における分母の値
が大きくなる）。
い特徴点の対応付けに対しては、高い対応確率Ｐｉｊの
値が得られる。また、式（３）の括弧内の演算により、
例えば参照画像８から抽出した特徴点Ｒｉが、入力画像
９から抽出した特徴点Ｉｊに対してのみ高い類似度Ｓｉ
ｊを示す場合、つまり、一つの特徴点Ｒｉに対して一つ
の特徴点Ｉｊが高い類似度Ｓｉｊを示す場合に対応確率
Ｐｉｊの値が高くなり、逆に特徴点Ｒｉが入力画像９か
ら抽出された複数の特徴点Ｉｊに対して高い類似度Ｓｉ
ｊを示して正しい対応付けが判断できない場合は対応確
率Ｐｉｊの値が低くなる（複数の特徴点Ｉｊに対して高
い類似度を示すと、式（３）の括弧内における分母の値
が大きくなる）。
【００５０】次に位置補正部３はステップＳＴ１で算出
した対応確率Ｐｉｊの値を基にして、特徴点Ｒｉと特徴
点Ｉｊとの対応付け処理を行う（ステップＳＴ２、対応
付けステップ）。ここでは、参照画像８から抽出した特
徴点Ｒｉに対して、対応確率Ｐｉｊの値が最大となる特
徴点Ｉｊを対応付ける。
した対応確率Ｐｉｊの値を基にして、特徴点Ｒｉと特徴
点Ｉｊとの対応付け処理を行う（ステップＳＴ２、対応
付けステップ）。ここでは、参照画像８から抽出した特
徴点Ｒｉに対して、対応確率Ｐｉｊの値が最大となる特
徴点Ｉｊを対応付ける。
【００５１】しかしながら、上記のようにして求めた各
特徴点Ｒｉ，Ｉｊの対応付けには、入力画像９の読み取
り時において読み取るべき帳票がかすれた状態で入力さ
れていたり、機械的な振動や電気的なノイズが重畳した
り、読み取り時における位置ずれ、特徴点と誤認される
ように記入された文字等の影響により、誤った対応付け
が含まれている可能性が高い。図１１は特徴点の対応付
け誤りを説明する図であり、図１１の例では特徴点Ｒ１
とＩ１、Ｒ２とＩ２は正しく対応付いているが、特徴点
Ｒ３は近くにある特徴点Ｉ４と誤って対応付いている。
このような誤った対応付けは、後にずれの補正式を算出
する際の誤差要因となるため除去する必要がある。
特徴点Ｒｉ，Ｉｊの対応付けには、入力画像９の読み取
り時において読み取るべき帳票がかすれた状態で入力さ
れていたり、機械的な振動や電気的なノイズが重畳した
り、読み取り時における位置ずれ、特徴点と誤認される
ように記入された文字等の影響により、誤った対応付け
が含まれている可能性が高い。図１１は特徴点の対応付
け誤りを説明する図であり、図１１の例では特徴点Ｒ１
とＩ１、Ｒ２とＩ２は正しく対応付いているが、特徴点
Ｒ３は近くにある特徴点Ｉ４と誤って対応付いている。
このような誤った対応付けは、後にずれの補正式を算出
する際の誤差要因となるため除去する必要がある。
【００５２】そこで、信頼性の低い対応付け結果を取り
除く。具体的には、対応確率Ｐｉｊに閾値を設け、対応
確率Ｐｉｊの値がある閾値以下となる場合に対応付け結
果を除去する。また、対応付けの結果が一対多（入力画
像９から得た一個の特徴点Ｉｊが、参照画像８から得た
複数個の特徴点Ｒｉと対応付く）となる場合も、その対
応付け結果を除外する。なお、上記閾値はユーザが適宜
設定できるようにしてもよく、後述するアフィン変換係
数を推定する繰り返し処理にて最終的に得られた対応確
率を閾値の決定の基準としてもよい。
除く。具体的には、対応確率Ｐｉｊに閾値を設け、対応
確率Ｐｉｊの値がある閾値以下となる場合に対応付け結
果を除去する。また、対応付けの結果が一対多（入力画
像９から得た一個の特徴点Ｉｊが、参照画像８から得た
複数個の特徴点Ｒｉと対応付く）となる場合も、その対
応付け結果を除外する。なお、上記閾値はユーザが適宜
設定できるようにしてもよく、後述するアフィン変換係
数を推定する繰り返し処理にて最終的に得られた対応確
率を閾値の決定の基準としてもよい。
【００５３】次にステップＳＴ２で得た対応付け結果を
基にして、位置補正部３は対応付いた特徴点Ｒｉ，Ｉｊ
間の位置ずれ（平行移動、回転、変倍）を算出し、その
ずれを補正するための補正式を求める（ステップＳＴ
３、アフィン係数推定ステップ）。具体的には、補正式
としてアフィン変換（式（４））を用い、ずれを補正す
るためのアフィン変換係数ａ11，ａ12，ａ21，ａ22，ｂ
1 ，ｂ2 を最小二乗法等の既存の手法により求める。式
（４）は参照画像８から抽出した特徴点の位置座標（Ｘ
０，Ｙ０）が入力画像９上の位置座標（Ｘ１，Ｙ１）に
対応することを示す。
基にして、位置補正部３は対応付いた特徴点Ｒｉ，Ｉｊ
間の位置ずれ（平行移動、回転、変倍）を算出し、その
ずれを補正するための補正式を求める（ステップＳＴ
３、アフィン係数推定ステップ）。具体的には、補正式
としてアフィン変換（式（４））を用い、ずれを補正す
るためのアフィン変換係数ａ11，ａ12，ａ21，ａ22，ｂ
1 ，ｂ2 を最小二乗法等の既存の手法により求める。式
（４）は参照画像８から抽出した特徴点の位置座標（Ｘ
０，Ｙ０）が入力画像９上の位置座標（Ｘ１，Ｙ１）に
対応することを示す。
【数４】 従来の文字認識装置（例えば、特開平１０−９１７８３
号公報に開示されるもの）では、アフィン変換係数を求
めた後、直ちに式（４）を用いて特徴点の位置ずれを補
正してフィールドを抽出していたが、文字認識処理を意
識しないで作成した帳票（対応付けに適当な数の十字点
を持たないものや特徴点として抽出することのできる図
形や記号のないもの）を読み取る場合、ステップＳＴ２
において誤った対応付け結果が除去しきれず、アフィン
変換係数の推定誤差が残る可能性がある。そこで、本発
明の文字認識装置では、以降で説明する繰り返し演算で
アフィン変換係数の推定精度を高める処理を行ってい
る。
号公報に開示されるもの）では、アフィン変換係数を求
めた後、直ちに式（４）を用いて特徴点の位置ずれを補
正してフィールドを抽出していたが、文字認識処理を意
識しないで作成した帳票（対応付けに適当な数の十字点
を持たないものや特徴点として抽出することのできる図
形や記号のないもの）を読み取る場合、ステップＳＴ２
において誤った対応付け結果が除去しきれず、アフィン
変換係数の推定誤差が残る可能性がある。そこで、本発
明の文字認識装置では、以降で説明する繰り返し演算で
アフィン変換係数の推定精度を高める処理を行ってい
る。
【００５４】先ず、ステップＳＴ３にて求めたアフィン
変換による補正式（式（４））に基づいて、位置補正部
３は参照画像８から抽出した全ての特徴点の位置座標値
を更新する（ステップＳＴ５、座標値更新ステップ）。
具体的には、参照画像８から抽出した特徴点Ｒｉの位置
座標値を式（４）のＸ０，Ｙ０に代入し、補正後の位置
座標値Ｘ１，Ｙ１を得る。ここで、以降、再びステップ
ＳＴ１からステップＳＴ４までの処理を繰り返すが、こ
のとき、ステップＳＴ１では、上記補正後の位置座標値
Ｘ１，Ｙ１の値を、参照画像８から抽出した特徴点Ｒｉ
の位置座標値として対応確率Ｐｉｊを計算する。このよ
うに繰り返して演算を行うことで、徐々に正確な対応付
けが得られるようになり、推定誤差の少ないアフィン変
換係数が求まってゆく。
変換による補正式（式（４））に基づいて、位置補正部
３は参照画像８から抽出した全ての特徴点の位置座標値
を更新する（ステップＳＴ５、座標値更新ステップ）。
具体的には、参照画像８から抽出した特徴点Ｒｉの位置
座標値を式（４）のＸ０，Ｙ０に代入し、補正後の位置
座標値Ｘ１，Ｙ１を得る。ここで、以降、再びステップ
ＳＴ１からステップＳＴ４までの処理を繰り返すが、こ
のとき、ステップＳＴ１では、上記補正後の位置座標値
Ｘ１，Ｙ１の値を、参照画像８から抽出した特徴点Ｒｉ
の位置座標値として対応確率Ｐｉｊを計算する。このよ
うに繰り返して演算を行うことで、徐々に正確な対応付
けが得られるようになり、推定誤差の少ないアフィン変
換係数が求まってゆく。
【００５５】図１２は繰り返し処理によって特徴点の対
応付けが変化する過程を説明する図である。図におい
て、２３は参照画像８を入力画像９上に重畳したときの
参照画像８から抽出した特徴点を示している。このよう
に上記演算を繰り返すことで、図１２中の左図から右図
に示すように補正後の特徴点２３の位置座標値が入力画
像９上の正しい位置（フィールドを特定する位置）へ移
動する。
応付けが変化する過程を説明する図である。図におい
て、２３は参照画像８を入力画像９上に重畳したときの
参照画像８から抽出した特徴点を示している。このよう
に上記演算を繰り返すことで、図１２中の左図から右図
に示すように補正後の特徴点２３の位置座標値が入力画
像９上の正しい位置（フィールドを特定する位置）へ移
動する。
【００５６】上記繰り返し処理は、前回の繰り返し処理
で求めたアフィン変換係数値と現段階で求めたアフィン
変換係数値との差が閾値より小さくなった場合、つま
り、アフィン変換係数値の推定誤差が閾値以下になる
と、アフィン変換係数の推定が終了したと判定し、繰り
返し処理を終える（ステップＳＴ４）。以上が位置補正
部３による位置補正処理である。なお、上記閾値はユー
ザが文字を認識すべき帳票の種類などを考慮して適宜設
定できるようにしてもよい。
で求めたアフィン変換係数値と現段階で求めたアフィン
変換係数値との差が閾値より小さくなった場合、つま
り、アフィン変換係数値の推定誤差が閾値以下になる
と、アフィン変換係数の推定が終了したと判定し、繰り
返し処理を終える（ステップＳＴ４）。以上が位置補正
部３による位置補正処理である。なお、上記閾値はユー
ザが文字を認識すべき帳票の種類などを考慮して適宜設
定できるようにしてもよい。
【００５７】位置補正部３による位置補正処理が終了す
ると、フィールド抽出部４は位置補正部３で得られたア
フィン変換係数を用いて入力画像９上にあるフィールド
の位置を求める。具体的には、帳票フォーマットメモリ
７に格納されている参照画像８上のフィールドの位置
（例えば、フィールドを囲う矩形の角の位置座標値）を
読み込む。次に、読み込んだフィールドを囲う矩形の角
の位置座標値を式（４）のＸ０，Ｙ０に代入し、補正し
た位置座標値Ｘ１，Ｙ１を求める。この処理を上記矩形
の四隅の位置座標値に対して行い、補正した位置座標値
を有する４点を線で結んだ矩形を入力画像９から抽出
し、これをフィールド（文字認識の対象とする領域）と
する（フィールド抽出ステップ）。
ると、フィールド抽出部４は位置補正部３で得られたア
フィン変換係数を用いて入力画像９上にあるフィールド
の位置を求める。具体的には、帳票フォーマットメモリ
７に格納されている参照画像８上のフィールドの位置
（例えば、フィールドを囲う矩形の角の位置座標値）を
読み込む。次に、読み込んだフィールドを囲う矩形の角
の位置座標値を式（４）のＸ０，Ｙ０に代入し、補正し
た位置座標値Ｘ１，Ｙ１を求める。この処理を上記矩形
の四隅の位置座標値に対して行い、補正した位置座標値
を有する４点を線で結んだ矩形を入力画像９から抽出
し、これをフィールド（文字認識の対象とする領域）と
する（フィールド抽出ステップ）。
【００５８】図１３はフィールド抽出の結果を説明する
図である。図において、８は参照画像、２４ａは予め参
照画像８上で指定したフィールド、９は入力画像、２４
ｂは入力画像９から抽出したフィールドである。上述の
処理を施すことで、例えば図１３に示すように参照画像
８上でフィールド２４ａが指定されている場合、フィー
ルド２４ａの位置座標値が補正されて入力画像９からフ
ィールド２４ｂが抽出される。
図である。図において、８は参照画像、２４ａは予め参
照画像８上で指定したフィールド、９は入力画像、２４
ｂは入力画像９から抽出したフィールドである。上述の
処理を施すことで、例えば図１３に示すように参照画像
８上でフィールド２４ａが指定されている場合、フィー
ルド２４ａの位置座標値が補正されて入力画像９からフ
ィールド２４ｂが抽出される。
【００５９】上記のようにしてフィールド２４ｂが抽出
されると、文字認識部５はフィールド２４ｂ内に記入さ
れた文字を認識して外部に出力する（文字認識ステッ
プ）。これにより、入力された帳票上に対する文字の読
み取り処理を終了する。
されると、文字認識部５はフィールド２４ｂ内に記入さ
れた文字を認識して外部に出力する（文字認識ステッ
プ）。これにより、入力された帳票上に対する文字の読
み取り処理を終了する。
【００６０】以上のように、この実施の形態１によれ
ば、読み取った帳票の画像からフィールドを特定する特
徴点を抽出し、帳票の画像のうち、文字を記入した帳票
の画像である入力画像９と、入力画像９と同一の帳票の
画像であって文字を記入していない参照画像８とから抽
出した各特徴点を対応付けて、参照画像８に対する入力
画像９の位置関係を補正し、この位置関係の補正の結果
に基づいて、入力画像９上のフィールド２４ｂを抽出
し、このフィールド２４ｂに対して文字認識を行うの
で、入力した帳票などに十字点が存在しなくてもフィー
ルドを抽出することができることにより、文字認識処理
を意識せずに作成された既存の帳票（対応付けに適当な
十字点を持たない帳票）に対しても正しくフィールドを
抽出することが可能となる。
ば、読み取った帳票の画像からフィールドを特定する特
徴点を抽出し、帳票の画像のうち、文字を記入した帳票
の画像である入力画像９と、入力画像９と同一の帳票の
画像であって文字を記入していない参照画像８とから抽
出した各特徴点を対応付けて、参照画像８に対する入力
画像９の位置関係を補正し、この位置関係の補正の結果
に基づいて、入力画像９上のフィールド２４ｂを抽出
し、このフィールド２４ｂに対して文字認識を行うの
で、入力した帳票などに十字点が存在しなくてもフィー
ルドを抽出することができることにより、文字認識処理
を意識せずに作成された既存の帳票（対応付けに適当な
十字点を持たない帳票）に対しても正しくフィールドを
抽出することが可能となる。
【００６１】また、この実施の形態１によれば、任意の
文字、図形、記号若しくはこれらの組み合わせに係るフ
ィルタと所定の整合性を示す入力画像９及び参照画像８
上の部位、及び／若しくは、入力画像９及び参照画像８
上の罫線の端点及び交点を特徴点として抽出するので、
対応付けに適当な十字点や特徴点として抽出できる図形
や記号がない帳票に対しても、適当なフィルタを用意す
ることで正しくフィールドを抽出することができる。
文字、図形、記号若しくはこれらの組み合わせに係るフ
ィルタと所定の整合性を示す入力画像９及び参照画像８
上の部位、及び／若しくは、入力画像９及び参照画像８
上の罫線の端点及び交点を特徴点として抽出するので、
対応付けに適当な十字点や特徴点として抽出できる図形
や記号がない帳票に対しても、適当なフィルタを用意す
ることで正しくフィールドを抽出することができる。
【００６２】さらに、この実施の形態１によれば、罫線
の端点の位置、交点を構成する各罫線がなす形状、及び
／若しくは、特徴点を抽出するのに使用したフィルタを
特定する情報を特徴点の種類として規定するので、上記
段落００６１と同様の効果を奏する。
の端点の位置、交点を構成する各罫線がなす形状、及び
／若しくは、特徴点を抽出するのに使用したフィルタを
特定する情報を特徴点の種類として規定するので、上記
段落００６１と同様の効果を奏する。
【００６３】さらに、この実施の形態１によれば、入力
画像９と参照画像８とから抽出した各特徴点から対応確
率を算出し、この対応確率を基にして入力画像９と参照
画像８とから抽出した各特徴点の対応付けを行い、この
対応付けの結果から参照画像８に対する入力画像９の位
置関係を補正するためのアフィン変換係数を推定し、こ
のアフィン変換係数を基にして、参照画像８から抽出し
た特徴点の位置座標値を補正するので、参照画像８に対
して入力画像９の位置ずれが生じている場合でも、参照
画像８の特徴点に対応する特徴点を正確に入力画像９か
ら抽出することができる。
画像９と参照画像８とから抽出した各特徴点から対応確
率を算出し、この対応確率を基にして入力画像９と参照
画像８とから抽出した各特徴点の対応付けを行い、この
対応付けの結果から参照画像８に対する入力画像９の位
置関係を補正するためのアフィン変換係数を推定し、こ
のアフィン変換係数を基にして、参照画像８から抽出し
た特徴点の位置座標値を補正するので、参照画像８に対
して入力画像９の位置ずれが生じている場合でも、参照
画像８の特徴点に対応する特徴点を正確に入力画像９か
ら抽出することができる。
【００６４】さらに、この実施の形態１によれば、特徴
点の位置座標値及び種類を基にして対応確率を算出する
ので、上記段落００６３と同様の効果を奏する。
点の位置座標値及び種類を基にして対応確率を算出する
ので、上記段落００６３と同様の効果を奏する。
【００６５】さらに、この実施の形態１によれば、参照
画像８と入力画像９とから抽出した各特徴点とを対応付
ける際、対応確率が所定値より小さい対応付け、及び／
若しくは、入力画像９から抽出した一個の特徴点が参照
画像８から抽出した複数個の特徴点と対応付く場合、こ
の対応付け結果を除外するので、読み取るべき帳票がか
すれた状態で入力されていたり、機械的な振動や電気的
なノイズが重畳したり、読み取り時における位置ずれ、
特徴点と誤認されるように記入された文字等の影響によ
り、誤って対応付けられた結果が除外され、参照画像８
の特徴点に対応する特徴点を正確に入力画像９から抽出
することができる。
画像８と入力画像９とから抽出した各特徴点とを対応付
ける際、対応確率が所定値より小さい対応付け、及び／
若しくは、入力画像９から抽出した一個の特徴点が参照
画像８から抽出した複数個の特徴点と対応付く場合、こ
の対応付け結果を除外するので、読み取るべき帳票がか
すれた状態で入力されていたり、機械的な振動や電気的
なノイズが重畳したり、読み取り時における位置ずれ、
特徴点と誤認されるように記入された文字等の影響によ
り、誤って対応付けられた結果が除外され、参照画像８
の特徴点に対応する特徴点を正確に入力画像９から抽出
することができる。
【００６６】さらに、この実施の形態１によれば、アフ
ィン変換係数値の推定誤差が所定値以下になるまで、補
正した参照画像８から抽出した特徴点の位置座標値を用
いて、対応確率を算出し、この対応確率を基にして、対
応付け、アフィン係数推定、及び特徴点の座標値補正を
繰り返すので、文字を認識すべき帳票上に膨大な数の十
字点（特徴点）が存在して、参照画像８と入力画像９と
から抽出した各特徴点の対応付けを誤った場合でも、繰
り返し演算により徐々にアフィン変換係数の推定精度を
高めることができ、正しくフィールドを抽出することが
できる。
ィン変換係数値の推定誤差が所定値以下になるまで、補
正した参照画像８から抽出した特徴点の位置座標値を用
いて、対応確率を算出し、この対応確率を基にして、対
応付け、アフィン係数推定、及び特徴点の座標値補正を
繰り返すので、文字を認識すべき帳票上に膨大な数の十
字点（特徴点）が存在して、参照画像８と入力画像９と
から抽出した各特徴点の対応付けを誤った場合でも、繰
り返し演算により徐々にアフィン変換係数の推定精度を
高めることができ、正しくフィールドを抽出することが
できる。
【００６７】実施の形態２．上記実施の形態１では、入
力された帳票画像上の文字を認識する処理について説明
したが、この実施の形態２はユーザが帳票フォーマット
を作成することができるようにし、この際、抽出された
特徴点が所望のものでなかった場合はユーザが除去でき
るようにしたものである。
力された帳票画像上の文字を認識する処理について説明
したが、この実施の形態２はユーザが帳票フォーマット
を作成することができるようにし、この際、抽出された
特徴点が所望のものでなかった場合はユーザが除去でき
るようにしたものである。
【００６８】図１４はこの発明の実施の形態２による文
字認識装置を示す構成図、図１５は帳票フォーマットの
作成を説明する図である。図において、２２はフィール
ド２４を特定する特徴点、２４はフィールド指定部２５
によって抽出されたフィールド、２５はユーザが参照画
像９上で指定したフィールドを抽出するフィールド指定
部（フィールド指定手段）、２６は特徴点２１のうちユ
ーザが不要と判断した特徴点２２を除去する特徴選択部
（特徴点選択手段）、２７は特徴選択部２６によってユ
ーザが不要と判断して特徴点を除去すべき領域である。
なお、図１と同一構成要素には同一符号を付して重複す
る説明を省略する。
字認識装置を示す構成図、図１５は帳票フォーマットの
作成を説明する図である。図において、２２はフィール
ド２４を特定する特徴点、２４はフィールド指定部２５
によって抽出されたフィールド、２５はユーザが参照画
像９上で指定したフィールドを抽出するフィールド指定
部（フィールド指定手段）、２６は特徴点２１のうちユ
ーザが不要と判断した特徴点２２を除去する特徴選択部
（特徴点選択手段）、２７は特徴選択部２６によってユ
ーザが不要と判断して特徴点を除去すべき領域である。
なお、図１と同一構成要素には同一符号を付して重複す
る説明を省略する。
【００６９】次に動作について説明する。先ず、上記実
施の形態１と同様にして、画像入力部１が未記入の帳票
を読み取り参照画像８を作成する。参照画像８が作成さ
れると特徴抽出部２は上記実施の形態１と同様にして参
照画像８から特徴点２２を抽出する。
施の形態１と同様にして、画像入力部１が未記入の帳票
を読み取り参照画像８を作成する。参照画像８が作成さ
れると特徴抽出部２は上記実施の形態１と同様にして参
照画像８から特徴点２２を抽出する。
【００７０】次に、フィールド指定部２５は参照画像８
と特徴点抽出部２で参照画像８から抽出した特徴点２２
とを重ねてユーザに表示し、参照画像８上で文字認識の
対象とするフィールドの位置をユーザに指定させる（フ
ィールド指定ステップ）。具体的には、ユーザがマウス
操作で参照画像８上に矩形を描かせ、この矩形で囲まれ
た領域をフィールドの位置とする。これにより、例えば
図１５に示すような住所と氏名を読み取るフィールド２
４を作成する。
と特徴点抽出部２で参照画像８から抽出した特徴点２２
とを重ねてユーザに表示し、参照画像８上で文字認識の
対象とするフィールドの位置をユーザに指定させる（フ
ィールド指定ステップ）。具体的には、ユーザがマウス
操作で参照画像８上に矩形を描かせ、この矩形で囲まれ
た領域をフィールドの位置とする。これにより、例えば
図１５に示すような住所と氏名を読み取るフィールド２
４を作成する。
【００７１】次に、特徴点選択部２６は参照画像８と特
徴点抽出部２で参照画像８から抽出した特徴点２２とを
重ねてユーザに表示し、必要な特徴点を選択（不必要な
特徴点を除去）させる（特徴点選択ステップ）。例え
ば、図１５において参照画像８から抽出された多くの特
徴点２２の中で、切手を貼り付ける領域内で検出された
特徴点は、実際に入力画像９を処理する際に特徴点が検
出されないことが考えられる。そこで、特徴選択部２６
は、切手を貼り付ける領域のような特徴点を除去すべき
領域２７からユーザがマウス等で選択して不必要な特徴
点を除去する。なお、ユーザが誤って選択すべき特徴点
を除去してしまった場合は、該特徴点を適宜復元できる
ようにしてもよい。
徴点抽出部２で参照画像８から抽出した特徴点２２とを
重ねてユーザに表示し、必要な特徴点を選択（不必要な
特徴点を除去）させる（特徴点選択ステップ）。例え
ば、図１５において参照画像８から抽出された多くの特
徴点２２の中で、切手を貼り付ける領域内で検出された
特徴点は、実際に入力画像９を処理する際に特徴点が検
出されないことが考えられる。そこで、特徴選択部２６
は、切手を貼り付ける領域のような特徴点を除去すべき
領域２７からユーザがマウス等で選択して不必要な特徴
点を除去する。なお、ユーザが誤って選択すべき特徴点
を除去してしまった場合は、該特徴点を適宜復元できる
ようにしてもよい。
【００７２】最後に、フィールド指定部２５でユーザが
指定したフィールド２４と、特徴選択部２６で除去され
ずに残った特徴点２２の情報を有する参照画像８を、帳
票フォーマットとして帳票フォーマットメモリ７に保存
する。
指定したフィールド２４と、特徴選択部２６で除去され
ずに残った特徴点２２の情報を有する参照画像８を、帳
票フォーマットとして帳票フォーマットメモリ７に保存
する。
【００７３】以上のように、この実施の形態２によれ
ば、参照画像８から抽出した特徴点２２と参照画像８と
を重ねてユーザに表示し、ユーザが参照画像８上で指定
した領域をフィールド２４として抽出し、特徴点２２の
うちユーザが不要と判断した特徴点２２を除去して、ユ
ーザが指定したフィールド２４、及び／若しくは、ユー
ザが除去しなかった特徴点２２の情報を有する参照画像
８である帳票フォーマットを作成するので、対応付けを
誤る要因となる余計な特徴点を排除した帳票フォーマッ
トを作成することができる。その結果、特徴点の対応付
け誤りが減少して正確なフィールド抽出が可能となる。
ば、参照画像８から抽出した特徴点２２と参照画像８と
を重ねてユーザに表示し、ユーザが参照画像８上で指定
した領域をフィールド２４として抽出し、特徴点２２の
うちユーザが不要と判断した特徴点２２を除去して、ユ
ーザが指定したフィールド２４、及び／若しくは、ユー
ザが除去しなかった特徴点２２の情報を有する参照画像
８である帳票フォーマットを作成するので、対応付けを
誤る要因となる余計な特徴点を排除した帳票フォーマッ
トを作成することができる。その結果、特徴点の対応付
け誤りが減少して正確なフィールド抽出が可能となる。
【００７４】実施の形態３．上記実施の形態２では、文
字未記入画像から帳票フォーマットを作成する処理を述
べたが、この実施の形態３は文字未記入画像から新たな
特徴点フィルタを作成することができるものである。
字未記入画像から帳票フォーマットを作成する処理を述
べたが、この実施の形態３は文字未記入画像から新たな
特徴点フィルタを作成することができるものである。
【００７５】図１６はこの発明の実施の形態３による文
字認識装置を示す構成図、図１７はフィルタ生成部の動
作を説明する図である。図において、２８はユーザが指
定した参照画像８上の領域内の画像から、特徴点の抽出
に使用するフィルタを作成するフィルタ生成部（特徴点
フィルタ生成手段）、２９は新たなフィルタに用いる画
像を有する領域、３０は生成したフィルタである。な
お、図１と同一構成要素には同一符号を付して重複する
説明を省略する。
字認識装置を示す構成図、図１７はフィルタ生成部の動
作を説明する図である。図において、２８はユーザが指
定した参照画像８上の領域内の画像から、特徴点の抽出
に使用するフィルタを作成するフィルタ生成部（特徴点
フィルタ生成手段）、２９は新たなフィルタに用いる画
像を有する領域、３０は生成したフィルタである。な
お、図１と同一構成要素には同一符号を付して重複する
説明を省略する。
【００７６】次に動作について説明する。先ず、画像入
力部１による参照画像８の作成、特徴点抽出部２による
参照画像８からの特徴点の抽出動作は上記実施の形態１
と同様であるので重複する説明を省略する。
力部１による参照画像８の作成、特徴点抽出部２による
参照画像８からの特徴点の抽出動作は上記実施の形態１
と同様であるので重複する説明を省略する。
【００７７】フィルタ生成部２８は、特徴抽出部２が検
出した特徴点の数が所定値以下であった場合、ユーザに
警告を発生して新たなフィルタの生成を促す。このフィ
ルタ生成部２８によるフィルタの生成は、参照画像８を
ユーザに表示し、フィルタとして使用したい形状をユー
ザに指定させる。ユーザがマウスなどでフィルタとして
使用したい形状を囲む矩形を指定すると、矩形内の画像
を調べて黒画素が値＋１、白画素が値−１を有するフィ
ルタを生成する（特徴点フィルタ生成ステップ）。例え
ば、図１７に示すように参照画像８上にある記号◆を囲
む領域を、新たなフィルタに用いる画像を有する領域２
９として指定すると、記号◆の形状を抽出するためのフ
ィルタ３０が作成される。このフィルタ３０において黒
い矩形は値＋１、白い矩形は値−１を有する画素を示
す。
出した特徴点の数が所定値以下であった場合、ユーザに
警告を発生して新たなフィルタの生成を促す。このフィ
ルタ生成部２８によるフィルタの生成は、参照画像８を
ユーザに表示し、フィルタとして使用したい形状をユー
ザに指定させる。ユーザがマウスなどでフィルタとして
使用したい形状を囲む矩形を指定すると、矩形内の画像
を調べて黒画素が値＋１、白画素が値−１を有するフィ
ルタを生成する（特徴点フィルタ生成ステップ）。例え
ば、図１７に示すように参照画像８上にある記号◆を囲
む領域を、新たなフィルタに用いる画像を有する領域２
９として指定すると、記号◆の形状を抽出するためのフ
ィルタ３０が作成される。このフィルタ３０において黒
い矩形は値＋１、白い矩形は値−１を有する画素を示
す。
【００７８】最後に、フィルタ生成部２８で作成した新
たなフィルタ３０のデータをフィルタ情報メモリ６に格
納する。以上の処理により作成した新たなフィルタ３０
は特徴点抽出部２が適宜読み出して使用することができ
る。
たなフィルタ３０のデータをフィルタ情報メモリ６に格
納する。以上の処理により作成した新たなフィルタ３０
は特徴点抽出部２が適宜読み出して使用することができ
る。
【００７９】以上のように、この実施の形態３によれ
ば、ユーザが指定した参照画像８上の領域内の画像か
ら、特徴点の抽出に使用するフィルタを作成することが
できるので、特徴点が全く抽出されない帳票において、
その帳票に含まれる図形からフィルタを作成して特徴点
の抽出が可能となり、フィールドの抽出を行うことがで
きる。
ば、ユーザが指定した参照画像８上の領域内の画像か
ら、特徴点の抽出に使用するフィルタを作成することが
できるので、特徴点が全く抽出されない帳票において、
その帳票に含まれる図形からフィルタを作成して特徴点
の抽出が可能となり、フィールドの抽出を行うことがで
きる。
【００８０】また、特徴点を抽出するのに適当な図形や
記号がない帳票に対しても、文字の記載があればこれを
用いて新たなフィルタを作成することで、文字認識処理
を全く意識していない帳票に対してもフィールドの抽出
を行うことができる。
記号がない帳票に対しても、文字の記載があればこれを
用いて新たなフィルタを作成することで、文字認識処理
を全く意識していない帳票に対してもフィールドの抽出
を行うことができる。
【００８１】さらに、この実施の形態３によれば、参照
画像８から抽出した特徴点２２の数が所定値以下となる
と、ユーザに対して警告を行うので、文字認識すべき帳
票における特徴点の状態を容易に知ることができ、上記
帳票に対する柔軟なフィールドの抽出を行うことができ
る。
画像８から抽出した特徴点２２の数が所定値以下となる
と、ユーザに対して警告を行うので、文字認識すべき帳
票における特徴点の状態を容易に知ることができ、上記
帳票に対する柔軟なフィールドの抽出を行うことができ
る。
【００８２】なお、上記実施の形態３を上記実施の形態
２の構成に適用してもよく、これにより、上記実施の形
態２及び３における効果を得ることができる。
２の構成に適用してもよく、これにより、上記実施の形
態２及び３における効果を得ることができる。
【００８３】
【発明の効果】以上のように、この発明によれば、帳票
の画像から文字認識の対象とする領域を特定する特徴点
を抽出し、文字を記入した帳票の画像である文字記入画
像と、この文字記入画像と同一の帳票の画像であって文
字を記入していない文字未記入画像とから抽出した各特
徴点を対応付けて、文字未記入画像に対する文字記入画
像の位置関係を補正し、位置関係の補正の結果に基づい
て、文字記入画像上の文字認識の対象とする領域を抽出
し、この文字認識の対象とする領域内の画像に対して文
字認識処理を行うので、入力した帳票などに十字点が存
在しなくても文字認識の対象とする領域を抽出すること
ができることから、文字認識処理を意識せずに作成され
た既存の帳票（対応付けに適当な十字点を持たない帳
票）に対しても正しく文字認識の対象とする領域を抽出
することができる効果がある。
の画像から文字認識の対象とする領域を特定する特徴点
を抽出し、文字を記入した帳票の画像である文字記入画
像と、この文字記入画像と同一の帳票の画像であって文
字を記入していない文字未記入画像とから抽出した各特
徴点を対応付けて、文字未記入画像に対する文字記入画
像の位置関係を補正し、位置関係の補正の結果に基づい
て、文字記入画像上の文字認識の対象とする領域を抽出
し、この文字認識の対象とする領域内の画像に対して文
字認識処理を行うので、入力した帳票などに十字点が存
在しなくても文字認識の対象とする領域を抽出すること
ができることから、文字認識処理を意識せずに作成され
た既存の帳票（対応付けに適当な十字点を持たない帳
票）に対しても正しく文字認識の対象とする領域を抽出
することができる効果がある。
【００８４】この発明によれば、任意の文字、図形、記
号若しくはこれらの組み合わせに係る特徴点フィルタを
備え、この特徴点フィルタと所定の整合性を示す文字記
入画像及び文字未記入画像上の部位、及び／若しくは、
文字記入画像及び文字未記入画像上の罫線の端点及び交
点を特徴点として抽出するので、対応付けに適当な十字
点や特徴点として抽出できる図形や記号がない帳票に対
しても、適当な特徴点フィルタを用意することで正しく
文字認識の対象とする領域を抽出することができる効果
がある。
号若しくはこれらの組み合わせに係る特徴点フィルタを
備え、この特徴点フィルタと所定の整合性を示す文字記
入画像及び文字未記入画像上の部位、及び／若しくは、
文字記入画像及び文字未記入画像上の罫線の端点及び交
点を特徴点として抽出するので、対応付けに適当な十字
点や特徴点として抽出できる図形や記号がない帳票に対
しても、適当な特徴点フィルタを用意することで正しく
文字認識の対象とする領域を抽出することができる効果
がある。
【００８５】この発明によれば、罫線の端点の位置、交
点を構成する各罫線がなす形状、及び／若しくは、特徴
点を抽出するのに使用した特徴点フィルタを特定する情
報を、特徴点の種類として規定するので、上記段落００
８４と同様の効果を奏する。
点を構成する各罫線がなす形状、及び／若しくは、特徴
点を抽出するのに使用した特徴点フィルタを特定する情
報を、特徴点の種類として規定するので、上記段落００
８４と同様の効果を奏する。
【００８６】この発明によれば、文字記入画像と文字未
記入画像とから抽出した各特徴点から対応確率を算出
し、この対応確率を基にして文字記入画像と文字未記入
画像とから抽出した各特徴点の対応付けを行い、対応付
けた結果から文字未記入画像に対する文字記入画像の位
置関係を補正するためのアフィン変換係数を推定し、こ
のアフィン変換係数を基にして文字未記入画像から抽出
した特徴点の位置座標値を補正するので、文字未記入画
像に対して文字記入画像の位置ずれが生じている場合で
も、文字未記入画像の特徴点に対応する特徴点を正確に
文字記入画像から抽出することができる効果がある。
記入画像とから抽出した各特徴点から対応確率を算出
し、この対応確率を基にして文字記入画像と文字未記入
画像とから抽出した各特徴点の対応付けを行い、対応付
けた結果から文字未記入画像に対する文字記入画像の位
置関係を補正するためのアフィン変換係数を推定し、こ
のアフィン変換係数を基にして文字未記入画像から抽出
した特徴点の位置座標値を補正するので、文字未記入画
像に対して文字記入画像の位置ずれが生じている場合で
も、文字未記入画像の特徴点に対応する特徴点を正確に
文字記入画像から抽出することができる効果がある。
【００８７】この発明によれば、特徴点の位置座標値及
び種類を基にして対応確率を算出するので、上記段落０
０８６と同様の効果を奏する。
び種類を基にして対応確率を算出するので、上記段落０
０８６と同様の効果を奏する。
【００８８】この発明によれば、アフィン変換係数値の
推定誤差が所定値以下になるまで、補正した特徴点の位
置座標値を用いて対応確率を算出し、この対応確率を基
にして対応付け処理、アフィン係数推定処理、及び座標
値更新処理を繰り返すので、入力すべき帳票上に膨大な
数の十字点（特徴点）が存在して、文字未記入画像と文
字記入画像とから抽出した各特徴点の対応付けを誤った
場合でも、繰り返し演算により徐々にアフィン変換係数
の推定精度を高めることができ、正しく文字認識の対象
とする領域を抽出することができる効果がある。
推定誤差が所定値以下になるまで、補正した特徴点の位
置座標値を用いて対応確率を算出し、この対応確率を基
にして対応付け処理、アフィン係数推定処理、及び座標
値更新処理を繰り返すので、入力すべき帳票上に膨大な
数の十字点（特徴点）が存在して、文字未記入画像と文
字記入画像とから抽出した各特徴点の対応付けを誤った
場合でも、繰り返し演算により徐々にアフィン変換係数
の推定精度を高めることができ、正しく文字認識の対象
とする領域を抽出することができる効果がある。
【００８９】この発明によれば、文字未記入画像から抽
出した特徴点と文字未記入画像とを重ねてユーザに表示
し、ユーザが文字未記入画像上で指定した領域を文字認
識の対象とする領域として抽出するフィールド指定や、
特徴点のうちユーザが不要と判断した特徴点を除去する
特徴点選択を行い、ユーザが指定した文字認識の対象と
する領域、及び／若しくは、ユーザが除去しなかった特
徴点を有する文字未記入画像である帳票フォーマットを
作成するので、対応付けを誤る要因となる余計な特徴点
を排除した帳票フォーマットを作成することができる。
その結果、特徴点の対応付け誤りが減少して、正確な文
字認識の対象とする領域の抽出を行うことができる効果
がある。
出した特徴点と文字未記入画像とを重ねてユーザに表示
し、ユーザが文字未記入画像上で指定した領域を文字認
識の対象とする領域として抽出するフィールド指定や、
特徴点のうちユーザが不要と判断した特徴点を除去する
特徴点選択を行い、ユーザが指定した文字認識の対象と
する領域、及び／若しくは、ユーザが除去しなかった特
徴点を有する文字未記入画像である帳票フォーマットを
作成するので、対応付けを誤る要因となる余計な特徴点
を排除した帳票フォーマットを作成することができる。
その結果、特徴点の対応付け誤りが減少して、正確な文
字認識の対象とする領域の抽出を行うことができる効果
がある。
【００９０】この発明によれば、文字未記入画像と文字
記入画像とから抽出した各特徴点を対応付ける際、対応
確率が所定の値より小さい対応付け、及び／若しくは、
文字記入画像から抽出した一個の特徴点が文字未記入画
像から抽出した複数個の特徴点と対応付く場合、この対
応付け結果を除外するので、読み取るべき帳票がかすれ
た状態で入力されていたり、機械的な振動や電気的なノ
イズが重畳したり、読み取り時における位置ずれ、特徴
点と誤認されるように記入された文字等の影響により、
誤って対応付けられた結果が除外され、文字未記入画像
の特徴点に対応する特徴点を正確に文字記入画像から抽
出することができる効果がある。
記入画像とから抽出した各特徴点を対応付ける際、対応
確率が所定の値より小さい対応付け、及び／若しくは、
文字記入画像から抽出した一個の特徴点が文字未記入画
像から抽出した複数個の特徴点と対応付く場合、この対
応付け結果を除外するので、読み取るべき帳票がかすれ
た状態で入力されていたり、機械的な振動や電気的なノ
イズが重畳したり、読み取り時における位置ずれ、特徴
点と誤認されるように記入された文字等の影響により、
誤って対応付けられた結果が除外され、文字未記入画像
の特徴点に対応する特徴点を正確に文字記入画像から抽
出することができる効果がある。
【００９１】この発明によれば、ユーザが指定した文字
未記入画像上の領域内の画像から、特徴抽出手段で使用
する特徴点フィルタを作成するので、特徴点が全く抽出
されない帳票において、その帳票に含まれる任意の文
字、図形、記号若しくはこれらの組み合わせから特徴点
フィルタを作成して特徴点の抽出が可能となり、文字認
識の対象とする領域の抽出を行うことができる効果があ
る。
未記入画像上の領域内の画像から、特徴抽出手段で使用
する特徴点フィルタを作成するので、特徴点が全く抽出
されない帳票において、その帳票に含まれる任意の文
字、図形、記号若しくはこれらの組み合わせから特徴点
フィルタを作成して特徴点の抽出が可能となり、文字認
識の対象とする領域の抽出を行うことができる効果があ
る。
【００９２】また、特徴点を抽出するのに適当な図形や
記号がない帳票に対しても、文字の記載があればこれを
用いて新たな特徴点フィルタを作成することで、文字認
識処理を全く意識していない帳票に対しても文字認識の
対象とする領域の抽出を行うことができる効果がある。
記号がない帳票に対しても、文字の記載があればこれを
用いて新たな特徴点フィルタを作成することで、文字認
識処理を全く意識していない帳票に対しても文字認識の
対象とする領域の抽出を行うことができる効果がある。
【００９３】この発明によれば、文字未記入画像から抽
出した特徴点の数が所定の値以下となると、ユーザに対
して警告を行うので、文字認識すべき帳票における特徴
点の状態を容易に知ることができ、上記帳票に対して柔
軟に文字認識の対象とする領域の抽出を行うことができ
る効果がある。
出した特徴点の数が所定の値以下となると、ユーザに対
して警告を行うので、文字認識すべき帳票における特徴
点の状態を容易に知ることができ、上記帳票に対して柔
軟に文字認識の対象とする領域の抽出を行うことができ
る効果がある。
【図１】 この発明の実施の形態１による文字認識装置
を示す構成図である。
を示す構成図である。
【図２】 実施の形態１による文字認識装置に使用する
参照画像を示す図である。
参照画像を示す図である。
【図３】 実施の形態１による文字認識装置に使用する
入力画像を示す図である。
入力画像を示す図である。
【図４】 図３における部分領域の拡大図である。
【図５】 フィルタによる特徴点の抽出を説明する図で
ある。
ある。
【図６】 特徴点を抽出した入力画像を示す図である。
【図７】 入力画像から抽出した特徴点の情報を示す図
である。
である。
【図８】 帳票フォーマットを示す図である。
【図９】 図８の帳票フォーマットにおける特徴点の情
報を示す図である。
報を示す図である。
【図１０】 位置補正処理を示すフロー図である。
【図１１】 特徴点の対応付け誤りを説明する図であ
る。
る。
【図１２】 繰り返し処理によって特徴点の対応付けが
変化する過程を説明する図である。
変化する過程を説明する図である。
【図１３】 フィールド抽出の結果を説明する図であ
る。
る。
【図１４】 この発明の実施の形態２による文字認識装
置を示す構成図である。
置を示す構成図である。
【図１５】 帳票フォーマットの作成を説明する図であ
る。
る。
【図１６】 この発明の実施の形態３による文字認識装
置を示す構成図である。
置を示す構成図である。
【図１７】 フィルタ生成部の動作を説明する図であ
る。
る。
【図１８】 特開平１０−９１７８３号公報に開示され
た従来の文字認識装置の構成を示すブロック図である。
た従来の文字認識装置の構成を示すブロック図である。
【図１９】 十字点の対応付けを説明する図である。
１ 画像入力部（画像入力手段）、２ 特徴点抽出部
（特徴点抽出手段）、３位置補正部（位置補正手段）、
４ フィールド抽出部（フィールド抽出手段）、５ 文
字認識部（文字認識手段）、６ フィルタ情報メモリ、
７ 帳票フォーマットメモリ、８ 参照画像（文字未記
入画像）、９ 入力画像（文字記入画像）、１０，１１
部分領域、１２ 横ラスタ、１３ 縦ラスタ、１４
重なり部分、１５ イメージ画像、１６〜１９ フィル
タ（特徴点フィルタ）、２０ イメージ、２１，２１
ａ，２１ｂ，２１ｃ，２２，２３ 特徴点、２４，２４
ａ，２４ｂ フィールド、２５ フィールド指定部（フ
ィールド指定手段）、２６特徴選択部（特徴点選択手
段）、２７ 特徴点を除去すべき領域、２８ フィルタ
生成部（特徴点フィルタ生成手段）、２９ 新たなフィ
ルタに用いる画像を有する領域、３０ フィルタ。
（特徴点抽出手段）、３位置補正部（位置補正手段）、
４ フィールド抽出部（フィールド抽出手段）、５ 文
字認識部（文字認識手段）、６ フィルタ情報メモリ、
７ 帳票フォーマットメモリ、８ 参照画像（文字未記
入画像）、９ 入力画像（文字記入画像）、１０，１１
部分領域、１２ 横ラスタ、１３ 縦ラスタ、１４
重なり部分、１５ イメージ画像、１６〜１９ フィル
タ（特徴点フィルタ）、２０ イメージ、２１，２１
ａ，２１ｂ，２１ｃ，２２，２３ 特徴点、２４，２４
ａ，２４ｂ フィールド、２５ フィールド指定部（フ
ィールド指定手段）、２６特徴選択部（特徴点選択手
段）、２７ 特徴点を除去すべき領域、２８ フィルタ
生成部（特徴点フィルタ生成手段）、２９ 新たなフィ
ルタに用いる画像を有する領域、３０ フィルタ。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｋ 9/32 Ｇ０６Ｆ 15/70 ３６５ Ｆターム(参考） 5B029 AA01 BB02 CC26 CC27 EE04 EE06 5B057 AA11 CD02 CD03 CE09 DA07 DA08 DB05 DC05 5L096 BA17 EA14 EA35 FA10 FA12 FA69 FA76 GA55 9A001 HH22
Claims (20)
- 【請求項１】 帳票の画像を読み取る画像入力手段と、 この画像入力手段が読み取った上記帳票の画像から文字
認識の対象とする領域を特定する特徴点を抽出する特徴
点抽出手段と、 上記画像入力手段が読み取った上記帳票の画像のうち、
文字を記入した帳票の画像である文字記入画像と、この
文字記入画像と同一の帳票の画像であって文字を記入し
ていない文字未記入画像とから上記特徴点抽出手段が抽
出した各特徴点を対応付けて、上記文字未記入画像に対
する上記文字記入画像の位置関係を補正する位置補正手
段と、 この位置補正手段による位置関係の補正の結果に基づい
て、上記文字記入画像上の上記文字認識の対象とする領
域を抽出するフィールド抽出手段と、 このフィールド抽出手段が抽出した上記文字認識の対象
とする領域内の画像に対して文字認識処理を行う文字認
識手段とを備えた文字認識装置。 - 【請求項２】 特徴点抽出手段は、任意の文字、図形、
記号若しくはこれらの組み合わせに係る特徴点フィルタ
を備え、この特徴点フィルタと所定の整合性を示す文字
記入画像及び文字未記入画像上の部位、及び／若しく
は、上記文字記入画像及び上記文字未記入画像上の罫線
の端点及び交点を特徴点として抽出することを特徴とす
る請求項１記載の文字認識装置。 - 【請求項３】 特徴点抽出手段は、罫線の端点の位置、
交点を構成する各罫線がなす形状、及び／若しくは、特
徴点を抽出するのに使用した特徴点フィルタを特定する
情報を、上記特徴点の種類として規定することを特徴と
する請求項１又は請求項２記載の文字認識装置。 - 【請求項４】 位置補正手段は、文字記入画像と文字未
記入画像とから抽出した各特徴点から対応確率を算出
し、この対応確率を基にして、上記文字記入画像と上記
文字未記入画像とから抽出した上記各特徴点の対応付け
を行い、この対応付けの結果から上記文字未記入画像に
対する上記文字記入画像の位置関係を補正するためのア
フィン変換係数を推定し、このアフィン変換係数を基に
して上記文字未記入画像から抽出した特徴点の位置座標
値を補正することを特徴とする請求項１から請求項３の
うちのいずれか１項記載の文字認識装置。 - 【請求項５】 位置補正手段は、特徴点の位置座標値及
び種類を基にして対応確率を算出することを特徴とする
請求項４記載の文字認識装置。 - 【請求項６】 位置補正手段は、アフィン変換係数値の
推定誤差が所定値以下になるまで、補正した文字未記入
画像から抽出した特徴点の位置座標値を用いて、対応確
率算出手段が対応確率を算出し、この対応確率を基にし
て、対応付け、アフィン係数推定、及び特徴点の座標値
補正を繰り返すことを特徴とする請求項４又は請求項５
記載の文字認識装置。 - 【請求項７】 文字未記入画像から抽出した特徴点と文
字未記入画像とを重ねて表示し、ユーザが上記文字未記
入画像上で指定した領域を文字認識の対象とする領域と
して抽出するフィールド指定手段と、上記特徴点のうち
ユーザが不要と判断した特徴点を除去する特徴点選択手
段とを備え、 上記フィールド指定手段が抽出した上記文字認識の対象
とする領域、及び／若しくは、特徴点選択手段が除去し
なかった特徴点を有する文字未記入画像である帳票フォ
ーマットを作成することを特徴とする請求項1から請求
項６のうちのいずれか１項記載の文字認識装置。 - 【請求項８】 位置補正手段は、文字未記入画像と文字
記入画像とから抽出した各特徴点を対応付ける際、対応
確率が所定値より小さい対応付け、及び／若しくは、上
記文字記入画像から抽出した一個の特徴点が上記文字未
記入画像から抽出した複数個の特徴点と対応付く場合、
この対応付け結果を除外することを特徴とする請求項１
から請求項７のうちのいずれか１項記載の文字認識装
置。 - 【請求項９】 ユーザが指定した文字未記入画像上の領
域内の画像から、特徴抽出手段が使用する特徴点フィル
タを作成する特徴点フィルタ生成手段を備えたことを特
徴とする請求項１から請求項８のうちのいずれか１項記
載の文字認識装置。 - 【請求項１０】 特徴点フィルタ生成手段は、特徴点抽
出手段が文字未記入画像から抽出した特徴点の数が所定
値以下となると、ユーザに対して警告を行うことを特徴
とする請求項１から請求項９のうちのいずれか１項記載
の文字認識装置。 - 【請求項１１】 帳票の画像を読み取る画像入力ステッ
プと、 この画像入力ステップで読み取った上記帳票の画像から
文字認識の対象とする領域を特定する特徴点を抽出する
特徴点抽出ステップと、 上記画像入力ステップにて読み取った上記帳票の画像の
うち、文字を記入した帳票の画像である文字記入画像か
ら抽出した特徴点と、上記文字記入画像と同一の帳票の
画像であって文字を記入していない文字未記入画像から
予め抽出しておいた特徴点とを対応付けて、上記文字未
記入画像に対する上記文字記入画像の位置関係を補正す
る位置補正ステップと、 この位置補正ステップにおける位置関係の補正の結果に
基づいて、上記文字記入画像上の文字認識の対象とする
領域を抽出するフィールド抽出ステップと、 このフィールド抽出ステップが抽出した文字認識の対象
とする領域内の画像に対して文字認識処理を行う文字認
識ステップとを備えた文字認識方法。 - 【請求項１２】 特徴点抽出ステップにて、任意の文
字、図形、記号若しくはこれらの組み合わせに係る特徴
点フィルタと所定の整合性を示す文字記入画像及び文字
未記入画像上の部位、及び／若しくは、上記文字記入画
像及び上記文字未記入画像上の罫線の端点及び交点を特
徴点として抽出することを特徴とする請求項１１記載の
文字認識方法。 - 【請求項１３】 特徴点抽出ステップにて、罫線の端点
の位置、交点を構成する各罫線がなす形状、及び／若し
くは、特徴点を抽出するのに使用した特徴点フィルタを
特定する情報を、上記特徴点の種類として規定すること
を特徴とする請求項１１又は請求項１２記載の文字認識
方法。 - 【請求項１４】 位置補正ステップは、文字記入画像と
文字未記入画像とから抽出した各特徴点から対応確率を
算出する対応確率算出ステップと、上記対応確率を基に
して、上記文字記入画像と上記文字未記入画像とから抽
出した上記各特徴点の対応付けを行う対応付けステップ
と、この対応付けの結果から上記文字未記入画像に対す
る上記文字記入画像の位置関係を補正するためのアフィ
ン変換係数を推定するアフィン係数推定ステップと、こ
のアフィン係数推定ステップで推定したアフィン変換係
数を基にして、上記文字未記入画像から抽出した上記特
徴点の位置座標値を補正する座標値更新ステップとから
なることを特徴とする請求項１１から請求項１３のうち
のいずれか１項記載の文字認識方法。 - 【請求項１５】 対応確率算出ステップにて特徴点の位
置座標値及び種類を基にして対応確率を算出することを
特徴とする請求項１４記載の文字認識方法。 - 【請求項１６】 位置補正ステップは、アフィン変換係
数値の推定誤差が所定値以下になるまで、座標値更新ス
テップにて補正した文字未記入画像から抽出した特徴点
の位置座標値を用いて、対応確率算出ステップからの処
理を繰り返すことを特徴とする請求項１４又は請求項１
５記載の文字認識方法。 - 【請求項１７】 文字未記入画像から抽出した特徴点と
文字未記入画像とを重ねて表示し、ユーザが上記文字未
記入画像上で指定した領域を文字認識の対象とする領域
として抽出するフィールド指定ステップと、上記特徴点
のうちユーザが不要と判断した特徴点を除去する特徴点
選択ステップとを備え、 上記フィールド指定ステップにてユーザが指定した上記
文字認識の対象とする領域、及び／若しくは、上記特徴
点選択ステップにてユーザが除去しなかった特徴点を有
する文字未記入画像である帳票フォーマットを作成する
ことを特徴とする請求項１１から請求項１６のうちのい
ずれか１項記載の文字認識方法。 - 【請求項１８】 位置補正ステップは、対応付けステッ
プにて文字未記入画像と文字記入画像とから抽出した各
特徴点とを対応付ける際、対応確率が所定値より小さい
対応付け、及び／若しくは、上記文字記入画像から抽出
した一個の特徴点が上記文字未記入画像から抽出した複
数個の特徴点と対応付く場合、この対応付け結果を除外
することを特徴とする請求項１１から請求項１７のうち
のいずれか１項記載の文字認識方法。 - 【請求項１９】 ユーザが指定した文字未記入画像上の
領域内の画像から、特徴点抽出ステップにて使用する特
徴点フィルタを作成する特徴点フィルタ生成ステップを
備えたことを特徴とする請求項１１から請求項１８のう
ちのいずれか１項記載の文字認識方法。 - 【請求項２０】 特徴点フィルタ生成ステップにて、特
徴点抽出ステップで文字未記入画像から抽出した特徴点
の数が所定値以下となると、ユーザに対して警告を行う
ことを特徴とする請求項１１から請求項１９のうちのい
ずれか１項記載の文字認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000035779A JP2001229341A (ja) | 2000-02-14 | 2000-02-14 | 文字認識装置及び文字認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000035779A JP2001229341A (ja) | 2000-02-14 | 2000-02-14 | 文字認識装置及び文字認識方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001229341A true JP2001229341A (ja) | 2001-08-24 |
Family
ID=18559932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000035779A Pending JP2001229341A (ja) | 2000-02-14 | 2000-02-14 | 文字認識装置及び文字認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001229341A (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007010807A (ja) * | 2005-06-28 | 2007-01-18 | Fuji Xerox Co Ltd | 情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム |
| JP2007164770A (ja) * | 2005-11-17 | 2007-06-28 | Ricoh Co Ltd | 入力支援スキャンソリューションシステム |
| JP2007265389A (ja) * | 2006-03-03 | 2007-10-11 | Fuji Xerox Co Ltd | 画像処理装置および画像処理プログラム |
| JP2009053080A (ja) * | 2007-08-28 | 2009-03-12 | Mitsubishi Precision Co Ltd | ３次元位置情報復元装置およびその方法 |
| US8390862B2 (en) | 2005-11-17 | 2013-03-05 | Ricoh Company, Ltd. | Scan solution system |
| JP2013150270A (ja) * | 2012-01-23 | 2013-08-01 | Ricoh Co Ltd | 画像処理装置、プログラム及び画像処理方法 |
| JP2014119908A (ja) * | 2012-12-14 | 2014-06-30 | Fuji Xerox Co Ltd | 文字認識データ処理装置、文字認識データ処理システム及びプログラム |
| JP2015169978A (ja) * | 2014-03-05 | 2015-09-28 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| JP2020181290A (ja) * | 2019-04-24 | 2020-11-05 | 株式会社日立製作所 | 物品認識システムおよび物品認識方法 |
| JP2020190816A (ja) * | 2019-05-20 | 2020-11-26 | 京都電子計算株式会社 | 文字読取装置及び文字読取装置用プログラム |
| EP3786844A4 (en) * | 2018-07-06 | 2021-05-05 | Rakuten, Inc. | IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD AND PROGRAM |
| US11430241B2 (en) | 2018-01-30 | 2022-08-30 | Mitsubishi Electric Corporation | Entry field extraction device and computer readable medium |
| US11881043B2 (en) | 2018-07-06 | 2024-01-23 | Rakuten Group, Inc. | Image processing system, image processing method, and program |
-
2000
- 2000-02-14 JP JP2000035779A patent/JP2001229341A/ja active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007010807A (ja) * | 2005-06-28 | 2007-01-18 | Fuji Xerox Co Ltd | 情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム |
| JP4729999B2 (ja) * | 2005-06-28 | 2011-07-20 | 富士ゼロックス株式会社 | 情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム |
| JP2007164770A (ja) * | 2005-11-17 | 2007-06-28 | Ricoh Co Ltd | 入力支援スキャンソリューションシステム |
| US8390862B2 (en) | 2005-11-17 | 2013-03-05 | Ricoh Company, Ltd. | Scan solution system |
| JP2007265389A (ja) * | 2006-03-03 | 2007-10-11 | Fuji Xerox Co Ltd | 画像処理装置および画像処理プログラム |
| JP2009053080A (ja) * | 2007-08-28 | 2009-03-12 | Mitsubishi Precision Co Ltd | ３次元位置情報復元装置およびその方法 |
| JP2013150270A (ja) * | 2012-01-23 | 2013-08-01 | Ricoh Co Ltd | 画像処理装置、プログラム及び画像処理方法 |
| JP2014119908A (ja) * | 2012-12-14 | 2014-06-30 | Fuji Xerox Co Ltd | 文字認識データ処理装置、文字認識データ処理システム及びプログラム |
| JP2015169978A (ja) * | 2014-03-05 | 2015-09-28 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| US9626738B2 (en) | 2014-03-05 | 2017-04-18 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, and storage medium |
| US11430241B2 (en) | 2018-01-30 | 2022-08-30 | Mitsubishi Electric Corporation | Entry field extraction device and computer readable medium |
| EP3786844A4 (en) * | 2018-07-06 | 2021-05-05 | Rakuten, Inc. | IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD AND PROGRAM |
| US11881043B2 (en) | 2018-07-06 | 2024-01-23 | Rakuten Group, Inc. | Image processing system, image processing method, and program |
| JP2020181290A (ja) * | 2019-04-24 | 2020-11-05 | 株式会社日立製作所 | 物品認識システムおよび物品認識方法 |
| JP7186128B2 (ja) | 2019-04-24 | 2022-12-08 | 株式会社日立製作所 | 物品認識システムおよび物品認識方法 |
| JP2020190816A (ja) * | 2019-05-20 | 2020-11-26 | 京都電子計算株式会社 | 文字読取装置及び文字読取装置用プログラム |
| JP7209161B2 (ja) | 2019-05-20 | 2023-01-20 | 京都電子計算株式会社 | 文字読取装置及び文字読取装置用プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001229341A (ja) | 文字認識装置及び文字認識方法 | |
| JP3996579B2 (ja) | 機械可読フォームのアクティブ領域を識別するためのフォーム処理システム | |
| JP7197971B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
| US9020214B2 (en) | Striped pattern image examination support device, striped pattern image examination support method and program | |
| JP6000992B2 (ja) | 文書ファイル生成装置及び文書ファイル生成方法 | |
| JP2017151916A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2002203207A (ja) | 文字認識方法，プログラム及び記録媒体 | |
| EP1921582B1 (en) | Image processing apparatus, image registering method, program causing computer to execute image registering method, and recording medium on which a program is recorded | |
| JP2000067164A (ja) | パターン認識方法及び装置並びにテンプレート作成プログラムを記録した記録媒体 | |
| JP3600380B2 (ja) | 画像処理方法及びファクス文字認識装置 | |
| CN111079749A (zh) | 一种带姿态校正的端到端商品价签文字识别方法和系统 | |
| JP2006227824A (ja) | 図面認識方法および装置 | |
| JP2016009395A (ja) | 文書ファイル生成装置及び文書ファイル生成方法 | |
| JP7356063B2 (ja) | 身長推定方法、身長推定装置及びプログラム | |
| CN113537216A (zh) | 一种点阵字体文本行倾斜校正方法及装置 | |
| JP3348224B2 (ja) | 表枠線の交点補正装置および表認識装置および光学文字読取装置 | |
| JP2003296726A (ja) | 図面変換方法、図面変換装置、図面変換プログラム及び記録媒体 | |
| JP3625245B2 (ja) | 画像処理方法及び画像処理装置 | |
| WO2023017723A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
| JP5146199B2 (ja) | 差分抽出装置及び差分抽出プログラム | |
| JP2009193145A (ja) | 手書きデータ生成装置、方法およびプログラム | |
| JPH11232382A (ja) | 罫線抽出方法及び罫線除去方法 | |
| US20240265720A1 (en) | Work assistance system and work assistance method | |
| CN113449764A (zh) | 信息处理装置、信息处理方法和计算机可读介质 | |
| JP2005173940A (ja) | 画像処理方法、画像処理装置、及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071114 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080410 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080507 |