JP2002123794A - フォーマットパラメータ作成装置及び文字認識装置 - Google Patents

フォーマットパラメータ作成装置及び文字認識装置

Info

Publication number
JP2002123794A
JP2002123794A JP2000312352A JP2000312352A JP2002123794A JP 2002123794 A JP2002123794 A JP 2002123794A JP 2000312352 A JP2000312352 A JP 2000312352A JP 2000312352 A JP2000312352 A JP 2000312352A JP 2002123794 A JP2002123794 A JP 2002123794A
Authority
JP
Japan
Prior art keywords
area
image
printed
format
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000312352A
Other languages
English (en)
Inventor
Masaharu Nagata
政晴 永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2000312352A priority Critical patent/JP2002123794A/ja
Publication of JP2002123794A publication Critical patent/JP2002123794A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

(57)【要約】 【課題】 帳票に記入された文字を認識する文字認識装
置における入力帳票のフォーマットパラメータ作成の作
業効率を向上させる。 【解決手段】 記入枠等が予め印刷されている無記入の
帳票と、該帳票と同じフォーマットの帳票上に読取領域
を自由曲線でマークした帳票から、前記無記入の帳票の
記入枠等を減算処理し消去した画像を作成し、前記無記
入の帳票の読取領域候補を抽出し、前記減算処理により
残された画素の座標が前記読取領域候補内に存在した場
合、該読取領域候補を読取領域としてフォーマットパラ
メータを作成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、OCR入力用帳票
のフォーマットパラメータを自動的に生成するフォーマ
ットパラメータ作成装置及び、生成したフォーマットパ
ラメータを基に帳票上の文字を認識する文字認識装置に
関する。
【0002】
【従来の技術】一般的に、文字認識装置で帳票上の文字
図形パタンを認識処理する場合、あらかじめ、帳票上の
記入枠(フォーマット)をパラメータ化し、そのフォー
マットパラメータに基づいて認識領域内部の文字図形パ
タンについて認識処理することにより誤認識低減や、処
理速度向上を実現している。フォーマットパタメータの
作成方法の1例が、特開平9−34989に「OCR用フォ
ーマットパラメータ作成方法」として記載されている。
この方式によれば、OCR用帳票を画像データとして取り
込み、画面上に表示された帳票画像データの文字記入領
域をポインティングデバイスを用いて指定することによ
りフォーマットパラメータを作成している。
【0003】
【発明が解決しようとする課題】一般に、ポインティン
グデバイスとしてはマウスやタブレットを使用する。し
かしながら、マウスを使用した場合、オペレータがマウ
スの使用に慣れていないと画面上で細かい作業が困難で
あり、作業効率が低下する。また、タブレットを使用す
る場合、キーボード、マウスといった標準的な入力装置
とは別に装置を用意する必要がありシステムの大規模
化、コストアップなどにつながる。このため、操作が単
純で、低コストのフォーマットパラメータ作成方法の実
現が望まれていた。また、フォーマットパラメータは文
字認識装置で使用されることが多いことから、文字認識
装置内部でフォーマットパラメータを簡単に作成、登録
可能な文字認識装置の実現が望まれていた。
【0004】
【課題を解決するための手段】本発明に係るフォーマッ
トパラメータ作成装置、文字認識装置は、前述の課題を
解決するために次の構成を採用する。
【0005】<構成1>記入枠等が予め印刷されている
無記入の帳票と、該帳票と同じフォーマットの帳票上に
読取領域を自由曲線でマークした帳票から、前記無記入
の帳票の記入枠等を減算処理し消去した画像を作成する
手段と、前記無記入の帳票の読取領域候補を抽出する手
段と、前記減算処理により残された画素の座標が前記読
取領域候補内に存在した場合、該読取領域候補を読取領
域としてフォーマットパラメータを作成する手段とを備
えることを特徴とするフォーマットパラメータ作成装
置。
【0006】<構成2>記入枠等が予め印刷されている
無記入の帳票と、該帳票と同じフォーマットの帳票上に
読取領域を自由曲線でマークした帳票から、前記無記入
の帳票の記入枠等を減算処理し消去した画像を作成する
手段と、前記無記入の帳票の読取領域候補を抽出する手
段と、前記減算処理により残された画素の座標が前記読
取領域候補内に存在した場合、該読取領域候補を読取領
域としてフォーマットパラメータを作成する手段と、前
記作成されたフォーマットパラメータに基づき、切り出
された文字を認識する手段とを備えることを特徴とする
文字認識装置。
【0007】<構成3>記入枠等が予め印刷されている
無記入の帳票と、該帳票と同じフォーマットの帳票の読
取対象となる領域内部に文字が記入または印刷されてい
る帳票から、前記無記入の帳票の記入枠等を減算処理し
消去した画像を作成する手段と、前記無記入の帳票の読
取領域候補を抽出する手段と、前記減算処理により残さ
れた画素の座標が前記読取領域候補内に存在した場合、
該読取領域候補を読取領域としてフォーマットパラメー
タを作成する手段とを備えることを特徴とするフォーマ
ットパラメータ作成装置。
【0008】<構成4>記入枠等が予め印刷されている
無記入の帳票と、該帳票と同じフォーマットの帳票の読
取対象となる領域内部に文字が記入または印刷されてい
る帳票から、前記無記入の帳票の記入枠等を減算処理し
消去した画像を作成する手段と、前記無記入の帳票の読
取領域候補を抽出する手段と、前記減算処理により残さ
れた画素の座標が前記読取領域候補内に存在した場合、
該読取領域候補を読取領域としてフォーマットパラメー
タを作成する手段と前記作成されたフォーマットパラメ
ータに基づき、切り出された文字を認識する手段とを備
えることを特徴とする文字認識装置。
【0009】<構成5>構成1記載のフォーマットパラ
メータ作成装置において、2以上の色でマークされた自
由曲線の色を判別する手段を備え、あらかじめ登録され
ている領域種類と色の対応から読取領域に該当する領域
種類を判別して、該読取領域と該領域種類を基にフォー
マットパラメータを作成する手段を備えることを特徴と
するフォーマットパラメータ作成装置。
【0010】<構成6>構成2記載の文字認識装置にお
いて、2以上の色でマークされた自由曲線の色を判別す
る手段を備え、あらかじめ登録されている領域種類と色
の対応から読取領域に該当する領域種類を判別して、該
読取領域と該領域種類を基にフォーマットパラメータを
作成する手段を備えることを特徴とする文字認識装置。
【0011】<構成7>構成3記載のフォーマットパラ
メータ作成装置において、2以上の色で記入され又は印
刷された文字の色を判別する手段を備え、あらかじめ登
録されている領域種類と色の対応から、読取領域に該当
する領域種類を判別して該読取領域と該領域種類を基に
フォーマットパラメータを作成する手段を備えることを
特徴とするフォーマットパラメータ作成装置。
【0012】<構成8>構成4記載の文字認識装置にお
いて、2以上の色で記入され又は印刷された文字の色を
判別する手段を備え、あらかじめ登録されている領域種
類と色の対応から、読取領域に該当する領域種類を判別
して該読取領域と該領域種類を基にフォーマットパラメ
ータを作成する手段を備えることを特徴とする文字認識
装置。
【0013】<構成9>記入枠等が予め印刷されている
無記入の帳票と、該帳票と同じフォーマットの帳票の読
取対象となる領域内部に図形が記入又は印刷されている
帳票から、前記無記入の帳票の記入枠等を減算処理し消
去した画像を作成する手段と、前記無記入の帳票の読取
領域候補を抽出する手段と、前記減算処理により残され
た画素の座標が前記読取領域候補内に存在した場合に該
読取領域候補内に記入または印刷されている図形形状を
認識する手段と、予め登録されている領域種類と図形形
状の対応から、読取領域に該当する領域種類を判別する
手段と、該読取領域と該領域種類を基にフォーマットパ
ラメータを作成する手段とを備えることを特徴とするフ
ォーマットパラメータ作成装置。
【0014】<構成10>記入枠等が予め印刷されてい
る無記入の帳票と、該帳票と同じフォーマットの帳票の
読取対象となる領域内部に図形が記入又は印刷されてい
る帳票から、前記無記入の帳票の記入枠等を減算処理し
消去した画像を作成する手段と、前記無記入の帳票の読
取領域候補を抽出する手段と、前記減算処理により残さ
れた画素の座標が前記読取領域候補内に存在した場合に
該読取領域候補内に記入または印刷されている図形形状
を認識する手段と、予め登録されている領域種類と図形
形状の対応から、読取領域に該当する領域種類を判別す
る手段と、該読取領域と該領域種類を基にフォーマット
パラメータを作成する手段と、前記作成されたフォーマ
ットパラメータに基づき、切り出された文字を認識する
手段とを備えることを特徴とする文字認識装置。
【0015】<構成11>記入枠等が予め印刷されてい
る無記入の帳票と、該帳票と同じフォーマットの帳票の
読取対象となる領域内部に文字が記入または印刷されて
いる帳票から、前記無記入の帳票の記入枠等を減算処理
し消去した画像を作成する手段と、前記無記入の帳票の
読取領域候補を抽出する手段と、前記減算処理により残
された画素の座標が前記領域情報内に存在した場合、該
領域情報内について、記入または印刷されている文字を
認識する手段と、予め登録されている領域種類と文字の
対応から、読取領域に該当する領域種類を判別する手段
と、該読取領域と該領域種類を基にフォーマットパラメ
ータを作成する手段と、を備えたことを特徴とするフォ
ーマットパラメータ作成装置。
【0016】<構成12>記入枠等が予め印刷されてい
る無記入の帳票と、該帳票と同じフォーマットの帳票の
読取対象となる領域内部に文字が記入または印刷されて
いる帳票から、前記無記入の帳票の記入枠等を減算処理
し消去した画像を作成する手段と、前記無記入の帳票の
読取領域候補を抽出する手段と、前記減算処理により残
された画素の座標が前記領域情報内に存在した場合、該
領域情報内について、記入または印刷されている文字を
認識する手段と、予め登録されている領域種類と文字の
対応から、読取領域に該当する領域種類を判別する手段
と、該読取領域と該領域種類を基にフォーマットパラメ
ータを作成する手段と、前記作成されたフォーマットパ
ラメータに基づき、切り出された文字を認識する手段と
を備えることを特徴とする文字認識装置。
【0017】<構成13>記入枠等が予め印刷されてい
る無記入の帳票と、該帳票と同じフォーマットの帳票の
文字認識対象となる領域内部には文字が記入または印刷
され、認識処理方法を変えたい領域には領域内部に前記
記入または印刷された文字と別の色で自由曲線が加筆さ
れている帳票から、前記無記入の帳票の記入枠や枠の説
明を減算処理し消去した画像を作成する手段と、前記無
記入の帳票の読取領域候補を抽出する手段と、前記減算
処理により残された画素の座標が前記読取領域候補内に
存在した場合、該読取領域候補内に残された画素の色を
判別する手段と、判別された色が所定の色であった場合
には文字認識を行い、記入または印刷されている文字を
認識し、予め登録されている領域種類と文字の対応か
ら、読取領域に該当する領域種類を判別する手段と、判
別された色が前記所定の色とは別の色であった場合に
は、予め登録されている領域種類と色の対応から、読取
領域に該当する領域種類を判別する手段と、該読取領域
と該領域種類を基にフォーマットパラメータを作成する
ことを特徴とするフォーマットパラメータ作成装置。
【0018】<構成14>記入枠等が予め印刷されてい
る無記入の帳票と、該帳票と同じフォーマットの帳票の
文字認識対象となる領域内部には文字が記入または印刷
され、認識処理方法を変えたい領域には領域内部に前記
記入または印刷された文字と別の色で自由曲線が加筆さ
れている帳票から、前記無記入の帳票の記入枠等を減算
処理し消去した画像を作成する手段と、前記無記入の帳
票の読取領域候補を抽出する手段と、前記減算処理によ
り残された画素の座標が前記読取領域候補内に存在した
場合、該読取領域候補内に残された画素の色を判別する
手段と、判別された色が所定の色であった場合には文字
認識を行い、記入または印刷されている文字を認識し、
予め登録されている領域種類と文字の対応から、読取領
域に該当する領域種類を判別する手段と、判別された色
が前記所定の色とは別の色であった場合には、予め登録
されている領域種類と色の対応から、読取領域に該当す
る領域種類を判別する手段と、該読取領域と該領域種類
を基にフォーマットパラメータを作成する手段と、前記
作成されたフォーマットパラメータに基づき、切り出さ
れた文字を認識する手段とを備えることを特徴とする文
字認識装置。
【0019】
【発明の実施の形態】≪第1の実施形態≫ <構成>図1は、本発明の第1の実施形態の文字認識装
置の構成を示すブロック図である。本実施形態の文字認
識装置は、帳票画像を取り込む走査部10と、走査部1
0からの出力先を切り換える制御部11と、走査部10
で取り込まれた無記入の帳票画像を記憶するフォーム画
像記憶部12と、走査部10で取り込まれた帳票上に領
域指定のための自由曲線が書き加えられた帳票画像を記
憶する領域指定画像記憶部13と、フォーム画像記憶部
12に格納されている画像から閉じたループ状になって
いる部分のみを検出する閉ループ検出部14と、閉ルー
プ検出部14で検出された閉ループの大きさ、位置を記
憶する領域座標記憶部15と、フォーム画像記憶部12
に格納されている画像と領域指定画像記憶部13に格納
されている画像を演算処理し、領域画像からフォーム画
像を取り除く処理を行うフォーム除去部16と、フォー
ム除去部16で得られた画像を格納するフォーム除去画
像記憶部17と、領域座標記憶部15に格納されている
情報とフォーム除去画像記憶部17に格納されている画
像を基に、フォーマットパラメータを生成するフォーマ
ットパラメータ検出部18と、フォーマットパラメータ
検出部18で作成されたフォーマットパラメータを基に
帳票上の文字を認識する文字認識部19を具えている。
【0020】なお、本実施形態は、文字認識部19を備
える文字認識装置として構成しているが、フォーマット
パラメータの作成及び作成されたフォーマットパラメー
タに基づく文字の切り出しを行うファーマットパラメー
タ作成装置と、切り出された文字の認識を行う文字認識
装置とが分離した構成とすることも可能である。また、
この点については、以降で説明する第2から第6の実施
形態についても同様である。
【0021】<動作>以下、図1〜図9を用いて本実施
形態の動作を説明する。先ず、制御部11は、フォーム
画像を取り込むために、走査部10の出力をフォーム画
像記憶部12に接続する。次に、走査部10において、
無記入の帳票のイメージを取り込み、フォーム記憶部1
2に格納する。ここで入力する帳票は、図4に示すよう
に、記入枠内部、外部問わず、何も加筆されていない帳
票である。次に、制御部11は、領域指定画像を取り込
むために、走査部10の出力を領域指定画像記憶部13
に接続する。
【0022】次に、走査部10において、読取領域を指
定した帳票のイメージを取り込み、領域指定画像記憶部
13に格納する。ここで入力する帳票は、図5に示すよ
うに、読取領域として指定したい領域内部にかかるよう
に、記入枠内部、外部問わずに自由曲線を加筆した帳票
である。次に、閉ループ検出部14で、フォーム画像記
憶部12に格納されているイメージから閉じた線分で構
成されている部分(以降、閉ループ)を検出する。閉ル
ープの検出方法としては、任意好適な方法を選択できる
が、例えばフォーム画像について輪郭追跡を行うことに
より検出することが可能である。
【0023】図6に検出された閉ループ検出結果を示
す。次に、閉ループ検出部14で検出された閉ループの
領域情報を領域座標記憶部15に格納する。領域情報
は、例えば、図7に示すように、検出された閉ループの
内部について、上下左右に接する線分の交点の座標A,
B,C,Dを求め、これらの座標値を領域座標記憶部1
5に格納する。領域情報は、閉ループの数だけ領域座標
記憶部15に存在することになる。次に、フォーム除去
部16は、フォーム画像記憶部12に格納されているフ
ォーム画像と、領域指定画像記憶部13に格納されてい
る領域指定画像を参照し、領域指定画像からフォーム画
像を除去し、フォーム除去画像記憶部17にフォーム除
去画像を格納する。フォーム除去部16によりフォーム
画像が除去されたフォーム除去画像を図8に示す。
【0024】フォーム画像を除去する手段は、任意好適
な方法を選択できるが、例えば、フォーム画像上にある
黒点の座標に対応する、領域指定画像上の点を白にする
ことにより除去できる。次に、フォーマットパラメータ
検出部18は、領域座標記憶部15に格納されている領
域情報と、フォーム除去画像記憶部17に格納されてい
るフォーム除去画像からフォーマットパラメータを検出
する。フォーマットパラメータを検出する方法として、
例えば、領域座標記憶部15に格納されている複数(閉
ループの数分)の領域情報をそれぞれ取り出し、取り出
した領域情報で示される座標領域に対応する領域につい
て、フォーム除去画像上を走査する。走査した結果、黒
画素がある一定の値以上あった場合、その領域に自由曲
線が存在する(読取領域として指定されている)と判定
し、該当する領域情報をフォーマットパラメータとして
出力する。黒画素がある一定の値より少なかった場合
は、その領域については自由曲線が無い(読取領域とし
て指定されてない)と判定し、該当する領域情報は破棄
する。本実施例では、図9に示す領域については、領域
内に自由曲線が存在したため、該当する領域の領域情報
をフォーマットパラメータとして出力される。
【0025】次に、文字認識部19について説明する。
制御部11は走査部10の出力が文字認識部19に入力
されるように切り換える。図2は文字認識部19の内部
を示すブロック図である。走査部10により光電変換さ
れた認識対象となる帳票画像はイメージ記憶部20に入
力される。次に、イメージ記憶部20へ格納されたイメ
ージを読み出し、前述処理で生成されたフォーマットパ
ラメータにある領域情報に基づいて、文字切出し部21
において、イメージから一文字単位に文字パタンを切出
す。次に、特徴抽出部22において、切出された文字パ
タンの特徴を抽出する。ここでは、文字パタンの特徴抽
出方法の一例として、サブパタンを作成して得た特徴マ
トリクスを用いる方法について図3を用いて説明する。
【0026】特徴抽出部22へ入力された文字パタン
は、先ず、パタンレジスタ30および線幅計算部31へ
入力される。線幅計算部31では、文字パタンの線幅
(W)を計算する。線幅(W)の計算にあたっては、先
ず、文字パタンの各画素を2×2の4画素の窓で走査し
たときに、4画素全てが黒画素となる窓の個数Qと、そ
の文字パタンを構成する全黒画素Aとを計数する。そし
て、窓の個数Qと全黒画素数Aとから、線幅(W)を下
記の(1)式で計算する。
【数1】
【0027】次に、サブパタン抽出部32において、パ
タンレジスタ30について垂直スキャンを全面行って、
黒ビット連続長さと線幅計算部31で得られた線幅
(W)との関係より垂直サブパタン(VSP)を抽出す
る。同様に、VSPと同様にして、水平スキャンを行っ
て水平サブパタン(HSP)を抽出し、右斜め45°ス
キャンを行って右斜めサブパタン(RSP)を抽出し、
左斜め45°スキャンを行って左斜めサブパタン(LS
P)を抽出する。また、文字枠検出部33において、パ
タンレジスタ30から入力された文字パタンについて、
文字パタンに外接する文字枠を検出し、その結果を文字
枠分割決定部34へ送る。
【0028】次に、文字枠分割決定部34において、文
字枠検出部33で検出された文字枠内をN×Mの領域
(NおよびMは定数)に分割するためのX軸(文字枠の
水平方向をX軸とする)およびY軸(文字枠の垂直方向
をY軸とする)上の分割点座標を決定する。分割点座標
を求める方法として、例えば、各領域内部に存在する黒
画素数が均一になるように分割点を決定すればよい。
【0029】次に、特徴マトリクス抽出部35におい
て、文字枠分割決定部34で決定された分割座標により
VSP、HSP、RSPおよびLSPの4つの各サブパ
タンの文字枠領域をN×Mの領域に分割する。次に、分
割された各領域の黒ビット数(Bij)を計数する。次
に、この黒ビット数(Bij)と線幅(W)とから、下記
の(2)式を用いて各領域の文字線長(Lij)を計算す
る。
【数2】
【0030】次に、文字線長(Lij)を入力パタンの大
きさで正規化する。例えば、VSPの特徴マトリクスに
おいては、文字枠のY方向の長さΔYで正規化を行い、
また、HSPの特徴マトリクスにおいては、文字枠のX
方向の長さΔXで正規化を行う。また、RSPおよびL
SPの特徴マトリクスにおいてはΔX2+ΔY2の平方根
で正規化する。そして、文字線長を正規化した値を、各
領域の値とした(N×M)×4次元の特徴マトリクスを
作成する。このようにして、サブパタンを作成して得た
特徴マトリクスを用いて文字パタンの特徴を抽出する。
【0031】次に、辞書部24について説明する。辞書
部24には、標準文字パタンから作成された特徴マトリ
クスと共に、文字コードがカテゴリ分格納されている。
次に距離計算部23について説明する。距離計算部23
は、特徴抽出部22により作成された特徴マトリクス
と、辞書部24に格納されている標準マトリクスを距離
計算部23に転送する。距離計算部23において、文字
パタンの標準マトリクス(fm)との距離Dを周知の下
記の(3)式を用いて求める。
【数3】 上記の(3)式で求めた距離Dが小さいものから順に、
文字パタンの認識文字候補を順位付けして設定し、認識
結果として出力する。
【0032】<効果>以上のように本実施形態によれ
ば、無記入の帳票と、読取領域に自由曲線で加筆した帳
票があれば、自動的にフォーマットパラメータを作成す
ることが可能となり、フォーマットパラメータの作成を
高速化できる。また、文字認識装置の走査部を共有する
ことができるため装置の小型化、低価格化が実現でき
る。また、フォーマットパラメータを作成する走査部
と、文字認識処理で使用する走査部が同じであるため、
機器間による量子化誤差やノイズの影響による誤差が少
なく、精度の高い処理が可能となる。
【0033】≪第2の実施形態≫ <構成>本実施形態の構成は、第1の実施形態と同様で
ある。
【0034】<動作>図1〜図10を用いて本実施形態
の動作を説明する。先ず、制御部11は、フォーム画像
を取り込むために、走査部10の出力をフォーム画像記
憶部12に接続する。次に、走査部10において、無記
入の帳票のイメージを取り込み、フォーム記憶部12に
格納する。ここで入力する帳票は、図4に示すように、
記入枠内部、外部問わず、何も加筆されていない帳票で
ある。
【0035】次に、制御部11は、領域指定画像を取り
込むために、走査部10の出力を領域指定画像記憶部1
3に接続する。次に、走査部10において、読取領域を
指定した帳票のイメージを取り込み、領域指定画像記憶
部13に格納する。ここで入力する帳票は、図10に示
すように、読取領域として指定したい領域内部に既に文
字が記入或いは印刷されている帳票である。
【0036】以降、閉ループ14で閉ループを検出し、
領域座標記憶部15に領域情報を格納し、フォーム除去
部16で領域指定画像記憶部13上の画像のフォームを
除去し、フォーム除去画像記憶部17にフォーム除去画
像を格納するまでの動作は第1の実施例と同様である。
フォーム除去部16によりフォーム画像が除去されたフ
ォーム除去画像を図11に示す。
【0037】次に、フォーマットパラメータ検出部18
は、領域座標記憶部15に格納されている領域情報と、
フォーム除去画像記憶部17に格納されているフォーム
除去画像からフォーマットパラメータを検出する。フォ
ーマットパラメータを検出する方法として、例えば、領
域座標記憶部15に格納されている複数(閉ループの数
分)の領域情報をそれぞれ取り出し、取り出した領域情
報で示される座標領域に対応する領域について、フォー
ム除去画像上を走査する。走査した結果、黒画素がある
一定の値以上あった場合、その領域に文字図形が存在す
る(読取領域として指定されている)と判定し、該当す
る領域情報をフォーマットパラメータとして出力する。
黒画素がある一定の値より少なかった場合は、その領域
については文字図形が無い(読取領域として指定されて
ない)と判定し、該当する領域情報は破棄する。本実施
例では、図9に示す領域については、領域内に文字図形
が存在したため、該当する領域の領域情報をフォーマッ
トパラメータとして出力される。文字認識部19以降の
処理は第1の実施例と同様である。
【0038】<効果>以上のように本実施例によれば、
無記入の帳票と、読取対象となる領域内部に、既に文字
図形が記入或いは印刷された帳票があれば、改めて領域
指定用の帳票を作成することなく自動的にフォーマット
パラメータを作成することが可能となり、フォーマット
パラメータの作成を高速化できる。また、文字認識装置
の走査部を共有することができるため装置の小型化、低
価格化が実現できる。また、フォーマットパラメータを
作成する走査部と、文字認識処理で使用する走査部が同
じであるため、機器間による量子化誤差やノイズの影響
による誤差が少なく、精度の高い処理が可能となる。
【0039】≪第3の実施形態≫ <構成>図12は、第3の実施の形態の文字認識装置の
説明に供するブロック図である。この実施の形態の文字
認識装置は、帳票画像をカラーで取り込むカラー走査部
100と、カラー走査部100からの出力先を切り換え
る制御部101と、カラー走査部100で取り込まれた
無記入の帳票画像を記憶するフォーム画像記憶部102
と、カラー走査部100で取り込まれた帳票上に領域指
定のための自由曲線が書き加えられた帳票画像を記憶す
る領域指定画像記憶部103と、フォーム画像記憶部1
02に格納されている画像から閉じたループ状になって
いる部分のみを検出する閉ループ検出部104と、閉ル
ープ検出部104で検出された閉ループの大きさ、位置
を記憶する領域座標記憶部105と、フォーム画像記憶
部102に格納されている画像と領域指定画像記憶部1
03に格納されている画像を演算処理し、領域画像から
フォーム画像を取り除く処理を行うフォーム除去部10
6と、フォーム除去部106で得られた画像を格納する
フォーム除去画像記憶部107と、あらかじめ、領域の
種類(漢字読取領域やひらがな読取領域など)と色を対
応させ記憶してある領域種類記憶部108と領域座標記
憶部105に格納されている情報とフォーム除去画像記
憶部107に格納されている画像と領域種類記憶部10
8に格納されているデータを基に、フォーマットパラメ
ータを生成するフォーマットパラメータ検出部109
と、カラー走査部100により得られたカラー画像を2
値化する2値化部110と、フォーマットパラメータ1
09により生成されたフォーマットパラメータと2値化
部110により2値化された帳票画像を基に帳票画像上
の文字図形パタンの認識処理を行う文字認識部111と
を具えている。
【0040】<動作>図2、3、4、6、7及び12〜
16を用いて本実施例の動作を説明する。先ず、制御部
101は、フォーム画像を取り込むために、カラー走査
部100の出力をフォーム画像記憶部102に接続す
る。次に、カラー走査部100において、無記入の帳票
のイメージをカラーで取り込み、フォーム記憶部102
に格納する。ここで入力する帳票は、図4に示すよう
に、記入枠内部、外部問わず、何も加筆されていない帳
票であり、また、帳票の色、記入枠の色は問わない。な
お、本実施例ではカラー走査部100は入力画像を光電
変換する時に、R(赤)、G(緑)、B(青)の3色に分類し、
それぞれについて0〜255階調の数値で画素を表現するも
のとする。
【0041】次に、制御部101は、領域指定画像を取
り込むために、カラー走査部100の出力を領域指定画
像記憶部103に接続する。次に、カラー走査部100
において、読取領域を指定した帳票のイメージをカラー
で取り込み、領域指定画像記憶部103に格納する。こ
こで入力する帳票は、図4に示した無記入の帳票と同じ
フォーマットの帳票上に、図14に示すように、読取領
域として指定したい領域内部にかかるように、記入枠内
部、外部問わずに自由曲線を加筆した帳票である。ここ
で、加筆する自由曲線は、読取対象文字種により色を変
えてある。例えば、図14に示す例では、氏名読取領域
については赤色で自由曲線を加筆し、フリガナ読取領域
については青色で自由曲線を加筆する。
【0042】次に、閉ループ検出部104で、フォーム
画像記憶部102に格納されているイメージから閉じた
線分で構成されている部分(以降、閉ループ)を検出す
る。閉ループの検出方法としては、任意好適な方法を選
択できるが、例えばフォーム画像について輪郭追跡を行
うことにより検出することが可能である。図6に検出さ
れた閉ループ検出結果を示す。次に、閉ループ検出部1
04で検出された閉ループの領域情報を領域座標記憶部
105に格納する。領域情報は、例えば、図7に示すよ
うに、検出された閉ループの内部について、上下左右に
接する線分の交点の座標A,B,C,Dを求め、これら
の座標値を領域座標記憶部105に格納する。
【0043】領域情報は、閉ループの数だけ領域座標記
憶部105に存在することになる。次に、フォーム除去
部106は、フォーム画像記憶部12に格納されている
フォーム画像と、領域指定画像記憶部103に格納され
ている領域指定画像を参照し、領域指定画像からフォー
ム画像を除去し、フォーム除去画像記憶部107にフォ
ーム除去画像を格納する。フォーム除去部106により
フォーム画像が除去されたフォーム除去画像を図15に
示す。フォーム画像を除去する手段は、任意好適な方法
を選択できるが、例えば、フォーム画像上にある点の座
標に対応する、領域指定画像上の点を白にすることによ
り除去できる。
【0044】次に、フォーマットパラメータ検出部10
9は、領域座標記憶部105に格納されている領域情報
と、フォーム除去画像記憶部107に格納されているフ
ォーム除去画像と、領域種類記憶部108に記憶せれて
いる領域種類情報からフォーマットパラメータを検出す
る。フォーマットパラメータを検出する方法として、例
えば、領域座標記憶部105に格納されている複数(閉
ループの数分)の領域情報をそれぞれ取り出し、取り出
した領域情報で示される座標領域に対応する領域につい
て、フォーム除去画像上を走査する。走査した結果、画
素がある一定の値以上あった場合、その領域に自由曲線
が存在する(読取領域として指定されている)と判定
し、該当する自由曲線の色を判別し、判別された色に該
当する領域種類を領域種類記憶部108から検索し、該
当する領域情報と領域種類をフォーマットパラメータと
して出力する。画素がある一定の値より少なかった場合
は、その領域については自由曲線が無い(読取領域とし
て指定されてない)と判定し、該当する領域情報は破棄
する。
【0045】ここで、色の判別方法の一例を示す。領域
種類記憶部108に格納されているデータは、領域種類
に対応した、RGB各256階調での各色の許容範囲であり、
例えば、本実施例では、領域種類の一つである氏名につ
いて(4)式が指定されている。
【数4】
【0046】また、フリガナについては(5)式が指定
されている。
【数5】 また、前述処理によって得られた、読取領域内の自由曲
線のR,G,Bの各画素の平均値を算出し、その平均値と領
域種類記憶部108に格納されているRGB各色の許容範
囲を比較し色を判別する。
【0047】本実施例では図14に示すように、氏名を
記入する読取領域については赤色の自由曲線、フリガナ
読取領域については青色の自由曲線で領域指定したた
め、赤色の自由曲線についてはRGB各色の値が(4)式
を満足し、青色の自由曲線についてはRGB各色の値が
(5)式を満足する。従って、領域情報としては図11
に示す領域情報と領域種類がフォーマットパラメータと
して出力される。
【0048】次に、文字認識部111について説明す
る。制御部101は走査部100の出力が2値化部11
0に入力されるように切り換える。2値化部110は走
査部100により得られたカラー画像を2値化処理す
る。2値化処理方法として、例えば、各画素のRGBの濃度
を平均した値が予め決められている閾値よりも大きい場
合のみ画素を残すようにすればよい。図13は文字認識
部111の内部を示すブロック図である。2値化部11
0により2値化された帳票画像はイメージ記憶部120
に入力される。
【0049】以降、イメージ切り出し部で1文字単位に
文字を切り出し、特徴抽出部122で文字の特徴を抽出
するまでの動作は第1の実施例と同様である。次に、辞
書制御部123はフォーマットパラメータ検出部109
により生成されたフォーマットパラメータの領域種類に
基づき、距離計算部126に入力すべき辞書を選択す
る。なお、本実施例ではカタカナを認識するために最適
化された辞書としてカタカナ辞書部124と、漢字を認
識するために最適化された辞書として漢字辞書部125
を具える。
【0050】ここで、例えば図16では、フリガナ領域
と氏名領域があり、これに従ってフォーマットパラメー
タが作成されているため、フリガナ領域を認識処理する
場合、辞書制御部123はフリガナ辞書部124を選択
し、距離計算部126に入力する。また、氏名領域を認
識処理する場合、辞書制御部123は漢字辞書部125
を選択し、距離計算部126に入力する。距離計算部1
26の動作は第1の実施例と同様である。
【0051】<効果>以上のように本実施例によれば、
無記入の帳票と、読取領域に自由曲線で加筆した帳票が
あれば、自動的にフォーマットパラメータを作成するこ
とが可能となり、フォーマットパラメータの作成を高速
化できる。また、マウスやタブレットといった特殊な装
置を使用すること無くOCR読取帳票のフォーマットパラ
メータを作成できる。また、自由曲線の色を変えること
により、領域種類を明示的に指定することが可能とな
り、その結果、より精密なフォーマットパラメータを作
成できる。また、文字認識装置の走査部を共有すること
ができるため装置の小型化、低価格化が実現できる。ま
た、フォーマットパラメータを作成する走査部と、文字
認識処理で使用する走査部が同じであるため、機器間に
よる量子化誤差やノイズの影響による誤差が少なく、精
度の高い処理が可能となる。
【0052】また、本実施例により作成されたフォーマ
ットパラメータを使用すれば、領域毎に、辞書の種類を
変更し、領域に最適な辞書を使用することが可能となり
認識精度の向上が可能となる。また、領域ごとに辞書を
選択することにより読取対象文字を限定することが可能
となり、文字認識速度の向上につながる。その結果、装
置の小型化、高速化、高性能化が可能となる。
【0053】≪第4の実施形態≫ <構成>図17は、第4の実施の形態の文字認識装置の
説明に供するブロック図である。この実施の形態の文字
認識装置は、帳票画像を取り込む走査部150と、走査
部150からの出力先を切り換える制御部151と、走
査部150で取り込まれた無記入の帳票画像を記憶する
フォーム画像記憶部152と、走査部150で取り込ま
れた帳票上に領域指定のための図形が書き加えられた帳
票画像を記憶する領域指定画像記憶部153と、フォー
ム画像記憶部152に格納されている画像から閉じたル
ープ状になっている部分のみを検出する閉ループ検出部
154と、閉ループ検出部154で検出された閉ループ
の大きさ、位置を記憶する領域座標記憶部155と、フ
ォーム画像記憶部152に格納されている画像と領域指
定画像記憶部153に格納されている画像を演算処理
し、領域画像からフォーム画像を取り除く処理を行うフ
ォーム除去部156と、フォーム除去部156で得られ
た画像を格納するフォーム除去画像記憶部157と、あ
らかじめ、領域の種類(漢字読取領域やひらがな読取領
域など)と図形形状を対応させ記憶してある領域種類記
憶部158と領域座標記憶部155に格納されている情
報とフォーム除去画像記憶部157に格納されている画
像と領域種類記憶部158に格納されているデータを基
に、フォーマットパラメータを生成するフォーマットパ
ラメータ検出部159と、フォーマットパラメータ15
9により生成されたフォーマットパラメータと帳票画像
を基に帳票画像上の文字図形パタンの認識処理を行う文
字認識部160とを具えている。
【0054】<動作>図4,6,7及び16〜21を用
いて本実施例の動作を説明する。先ず、制御部151
は、フォーム画像を取り込むために、走査部150の出
力をフォーム画像記憶部152に接続する。次に、走査
部150において、無記入の帳票のイメージを取り込
み、フォーム記憶部152に格納する。ここで入力する
帳票は、図4に示すように、記入枠内部、外部問わず、
何も加筆されていない帳票である。次に、制御部151
は、領域指定画像を取り込むために、走査部150の出
力を領域指定画像記憶部153に接続する。
【0055】次に、走査部150において、読取領域を
指定した帳票のイメージを取り込み、領域指定画像記憶
部153に格納する。ここで入力する帳票は、図4に示
した無記入の帳票と同じフォーマットの帳票上に、図1
8に示すように、読取領域として指定したい領域内部に
図形を加筆した帳票である。ここで、加筆する図形は、
読取対象文字種により形状を変えてある。例えば、図1
8に示す例では、氏名読取領域については「○」を加筆
し、フリガナ読取領域については「×」を加筆する。次
に、閉ループ検出部154で、フォーム画像記憶部15
2に格納されているイメージから閉じた線分で構成され
ている部分(以降、閉ループ)を検出する。閉ループの
検出方法としては、任意好適な方法を選択できるが、例
えばフォーム画像について輪郭追跡を行うことにより検
出することが可能である。
【0056】図6に検出された閉ループ検出結果を示
す。次に、閉ループ検出部154で検出された閉ループ
の領域情報を領域座標記憶部155に格納する。領域情
報は、例えば、図7に示すように、検出された閉ループ
の内部について、上下左右に接する線分の交点の座標
A,B,C,Dを求め、これらの座標値を領域座標記憶
部155に格納する。領域情報は、閉ループの数だけ領
域座標記憶部155に存在することになる。
【0057】次に、フォーム除去部156は、フォーム
画像記憶部152に格納されているフォーム画像と、領
域指定画像記憶部153に格納されている領域指定画像
を参照し、領域指定画像からフォーム画像を除去し、フ
ォーム除去画像記憶部157にフォーム除去画像を格納
する。フォーム除去部156によりフォーム画像が除去
されたフォーム除去画像を図19に示す。フォーム画像
を除去する手段は、任意好適な方法を選択できるが、例
えば、フォーム画像上にある点の座標に対応する、領域
指定画像上の点を白にすることにより除去できる。
【0058】次に、フォーマットパラメータ検出部15
9は、領域座標記憶部155に格納されている領域情報
と、フォーム除去画像記憶部157に格納されているフ
ォーム除去画像と、領域種類記憶部158に記憶せれて
いる領域種類情報からフォーマットパラメータを検出す
る。フォーマットパラメータを検出する方法として、領
域座標記憶部155に格納されている複数(閉ループの
数分)の領域情報をそれぞれ取り出し、取り出した領域
情報で示される座標領域に対応する領域について、フォ
ーム除去画像上を走査する。走査した結果、画素がある
一定の値以上あった場合、その領域に領域指定図形が存
在する(読取領域として指定されている)と判定し、該
当する領域内部にある画像を文字認識部160に入力す
る。
【0059】ここで、文字認識部160は第2の実施例
で説明した動作と同様にして、入力画像の認識を行う。
本実施例では、領域指定図形として「○」と「×」を使
用しているため、予め、文字認識部160で使用する辞
書部に「○」と「×」の辞書を格納しておき、フォーマ
ットパラメータ検出部159から入力された画像につい
て認識を行い、結果をフォーマットパラメータ検出部1
59に返す。文字認識部160により領域指定図形を認
識した結果を受け取ったフォーマットパラメータ検出部
159は、認識結果に該当する領域種類を領域種類記憶
部158から検索し、該当する領域情報と領域種類をフ
ォーマットパラメータとして出力する。画素がある一定
の値より少なかった場合は、その領域については自由曲
線が無(読取領域として指定されてない)と判定し、該
当する領域情報は破棄する。本実施例では図18に示す
ように、氏名を記入する読取領域については「○」、フ
リガナ読取領域については「×」の領域指定図形で領域
指定したため、領域情報としては図16に示す領域情報
と領域種類がフォーマットパラメータとして出力され
る。
【0060】次に、文字認識部160について説明す
る。制御部151は走査部150の出力が文字認識部1
60に入力されるように切り換える。次に、走査部15
0は認識対象となる帳票を読取り、文字認識部160へ
入力する。以降の処理は第2の実施例と同様なので省略
する。
【0061】<効果>以上のように本実施例によれば、
無記入の帳票と、読取領域に領域指定図形で加筆した帳
票があれば、自動的にフォーマットパラメータを作成す
ることが可能となり、フォーマットパラメータの作成を
高速化できる。また、マウスやタブレットといった特殊
な装置を使用すること無くOCR読取帳票のフォーマット
パラメータを作成できる。また、領域指定図形の形状を
変えることにより、領域種類を明示的に指定することが
可能となり、その結果、より精密なフォーマットパラメ
ータ作成できる。また、文字認識装置の走査部を共有す
ることができるため装置の小型化、低価格化が実現でき
る。また、フォーマットパラメータを作成する走査部
と、文字認識処理で使用する走査部が同じであるため、
機器間による量子化誤差やノイズの影響による誤差が少
なく、精度の高い処理が可能となる。また、本実施例に
より作成されたフォーマットパラメータを使用すれば、
領域毎に、辞書の種類を変更し、領域に最適な辞書を使
用することが可能となり認識精度の向上が可能となる。
また、領域ごとに辞書を選択することにより読取対象文
字を限定することが可能となり、文字認識速度の向上に
つながる。その結果、装置の小型化、高速化、高性能化
が可能となる。
【0062】≪第5の実施形態≫ <構成>図17は、第5の実施の形態の文字認識装置の
説明に供するブロック図である。この実施の形態の文字
認識装置は、帳票画像を取り込む走査部150と、走査
部150からの出力先を切り換える制御部151と、走
査部150で取り込まれた無記入の帳票画像を記憶する
フォーム画像記憶部152と、走査部150で取り込ま
れた帳票上に領域指定のための文字が書き加えられた帳
票画像を記憶する領域指定画像記憶部153と、フォー
ム画像記憶部152に格納されている画像から閉じたル
ープ状になっている部分のみを検出する閉ループ検出部
154と、閉ループ検出部154で検出された閉ループ
の大きさ、位置を記憶する領域座標記憶部155と、フ
ォーム画像記憶部152に格納されている画像と領域指
定画像記憶部153に格納されている画像を演算処理
し、領域画像からフォーム画像を取り除く処理を行うフ
ォーム除去部156と、フォーム除去部156で得られ
た画像を格納するフォーム除去画像記憶部157と、あ
らかじめ、領域の種類(漢字読取領域やひらがな読取領
域など)と文字種類を対応させ記憶してある領域種類記
憶部158と領域座標記憶部155に格納されている情
報とフォーム除去画像記憶部157に格納されている画
像と領域種類記憶部158に格納されているデータを基
に、フォーマットパラメータを生成するフォーマットパ
ラメータ検出部159と、フォーマットパラメータ15
9により生成されたフォーマットパラメータと帳票画像
を基に帳票画像上の文字図形パタンの認識処理を行う文
字認識部160とを具えている。
【0063】<動作>図4、6、7、16、17、2
0、21を用いて本実施例の動作を説明する。先ず、制
御部151は、フォーム画像を取り込むために、走査部
150の出力をフォーム画像記憶部152に接続する。
次に、走査部150において、無記入の帳票のイメージ
を取り込み、フォーム記憶部152に格納する。ここで
入力する帳票は、図4に示すように、記入枠内部、外部
問わず、何も加筆されていない帳票である。次に、制御
部151は、領域指定画像を取り込むために、走査部1
50の出力を領域指定画像記憶部153に接続する。
【0064】次に、走査部150において、読取領域を
指定した帳票のイメージを取り込み、領域指定画像記憶
部153に格納する。ここで入力する帳票は、図4に示
した無記入の帳票と同じフォーマットの帳票上に、図2
0に示すように、読取領域として指定したい領域内部に
文字を加筆した帳票である。ここで、加筆する文字は、
読取対象文字種により字種を変えてある。例えば、図2
0に示す例では、氏名読取領域については漢字を加筆
し、フリガナ読取領域についてはカタカナを加筆する。
【0065】次に、閉ループ検出部154で、フォーム
画像記憶部152に格納されているイメージから閉じた
線分で構成されている部分(以降、閉ループ)を検出す
る。閉ループの検出方法としては、任意好適な方法を選
択できるが、例えばフォーム画像について輪郭追跡を行
うことにより検出することが可能である。図6に検出さ
れた閉ループ検出結果を示す。次に、閉ループ検出部1
54で検出された閉ループの領域情報を領域座標記憶部
155に格納する。領域情報は、例えば、図7に示すよ
うに、検出された閉ループの内部について、上下左右に
接する線分の交点の座標A,B,C,Dを求め、これら
の座標値を領域座標記憶部155に格納する。領域情報
は、閉ループの数だけ領域座標記憶部155に存在する
ことになる。
【0066】次に、フォーム除去部156は、フォーム
画像記憶部152に格納されているフォーム画像と、領
域指定画像記憶部153に格納されている領域指定画像
を参照し、領域指定画像からフォーム画像を除去し、フ
ォーム除去画像記憶部157にフォーム除去画像を格納
する。フォーム除去部156によりフォーム画像が除去
されたフォーム除去画像を図19に示す。フォーム画像
を除去する手段は、任意好適な方法を選択できるが、例
えば、フォーム画像上にある点の座標に対応する、領域
指定画像上の点を白にすることにより除去できる。
【0067】次に、フォーマットパラメータ検出部15
9は、領域座標記憶部155に格納されている領域情報
と、フォーム除去画像記憶部157に格納されているフ
ォーム除去画像と、領域種類記憶部158に記憶せれて
いる領域種類情報からフォーマットパラメータを検出す
る。フォーマットパラメータを検出する方法として、領
域座標記憶部155に格納されている複数(閉ループの
数分)の領域情報をそれぞれ取り出し、取り出した領域
情報で示される座標領域に対応する領域について、フォ
ーム除去画像上を走査する。走査した結果、画素がある
一定の値以上あった場合、その領域に領域指定文字が存
在する(読取領域として指定されている)と判定し、該
当する領域情報内部の画像を文字認識部160に入力す
る。
【0068】ここで、文字認識部160は第3の実施例
で説明した動作と同様にして、入力画像の認識を行う。
本実施例では、領域指定文字として漢字とカタカナを使
用しているため、予め、文字認識部160で使用する辞
書部に漢字とカタカナの辞書を格納しておき、フォーマ
ットパラメータ検出部159から入力された画像につい
て認識を行い、結果をフォーマットパラメータ検出部1
59に返す。この際、領域指定用帳票に領域自邸文字を
記入するオペレータの文字を標準字形として辞書部に登
録しておけば、より高精度に漢字、カタカナの判定をす
ることが可能となる。文字認識部160により領域指定
文字を認識した結果を受け取ったフォーマットパラメー
タ検出部159は、認識結果に該当する領域種類を領域
種類記憶部158から検索し、該当する領域情報と領域
種類をフォーマットパラメータとして出力する。画素が
ある一定の値より少なかった場合は、その領域について
は自由曲線が無い(読取領域として指定されてない)と
判定し、該当する領域情報は破棄する。本実施例では図
20に示すように、氏名を記入する読取領域については
漢字、フリガナ読取領域についてはカタカナで領域指定
したため、領域情報としては図16に示す領域情報と領
域種類がフォーマットパラメータとして出力される。
【0069】次に、文字認識部160について説明す
る。制御部151は走査部150の出力が文字認識部1
60に入力されるように切り換える。次に、走査部15
0は認識対象となる帳票を読取り、文字認識部160へ
入力する。以降の処理は第2の実施例と同様である。
【0070】<効果>以上のように本実施例によれば、
無記入の帳票と、読取領域に領域指定文字種で加筆した
帳票があれば、自動的にフォーマットパラメータを作成
することが可能となり、フォーマットパラメータの作成
を高速化できる。また、マウスやタブレットといった特
殊な装置を使用すること無くOCR読取帳票のフォーマッ
トパラメータを作成できる。また、領域指定文字の字種
を変えることにより、領域種類を文字で明示的に指定す
ることが可能となり、その結果、精密なフォーマットパ
ラメータを作製することができる。また、文字認識装置
の走査部を共有することができるため装置の小型化、低
価格化が実現できる。また、フォーマットパラメータを
作成する走査部と、文字認識処理で使用する走査部が同
じであるため、機器間による量子化誤差やノイズの影響
による誤差が少なく、精度の高い処理が可能となる。
【0071】また、本実施例により作成されたフォーマ
ットパラメータを使用すれば、領域毎に、辞書の種類を
変更し、領域に最適な辞書を使用することが可能となり
認識精度の向上が可能となる。また、領域ごとに辞書を
選択することにより読取対象文字を限定することが可能
となり、文字認識速度の向上につながる。その結果、装
置の小型化、高速化、高性能化が可能となる。
【0072】≪第6の実施形態≫ <構成>図22は、第6の実施の形態の文字認識装置の
説明に供するブロック図である。この実施の形態の文字
認識装置は、帳票画像をカラーで取り込むカラー走査部
220と、カラー走査部220からの出力先を切り換え
る制御部221と、カラー走査部220で取り込まれた
無記入の帳票画像を記憶するフォーム画像記憶部222
と、カラー走査部220で取り込まれた帳票上に領域指
定のための文字が書き加えられた帳票画像を記憶する領
域指定画像記憶部223と、フォーム画像記憶部222
に格納されている画像から閉じたループ状になっている
部分のみを検出する閉ループ検出部224と、閉ループ
検出部224で検出された閉ループの大きさ、位置を記
憶する領域座標記憶部225と、フォーム画像記憶部2
22に格納されている画像と領域指定画像記憶部223
に格納されている画像を演算処理し、領域画像からフォ
ーム画像を取り除く処理を行うフォーム除去部226
と、フォーム除去部226で得られた画像を格納するフ
ォーム除去画像記憶部227と、あらかじめ、領域の種
類(漢字読取領域やひらがな読取領域など)と文字種類
を対応させ記憶してある領域種類記憶部228と領域座
標記憶部225に格納されている情報とフォーム除去画
像記憶部227に格納されている画像と領域種類記憶部
228に格納されているデータを基に、フォーマットパ
ラメータを生成するフォーマットパラメータ検出部22
9と、フォーマットパラメータ229により生成された
フォーマットパラメータと帳票画像を基に帳票画像上の
文字図形パタンの認識処理を行う文字認識部230とを
具えている。
【0073】<動作>図7及び図22〜27を用いて本
実施例の動作を説明する。先ず、制御部221は、フォ
ーム画像を取り込むために、カラー走査部220の出力
をフォーム画像記憶部222に接続する。ここで、カラ
ー走査部220は第3の実施例で説明したカラー走査部
と同様にして、RGB各色について256階調で光電変換
するものである。次に、カラー走査部220において、
無記入の帳票のイメージを取り込み、フォーム記憶部2
22に格納する。ここで入力する帳票は、図23に示す
ように、記入枠内部、外部問わず、何も加筆されていな
い帳票である。
【0074】次に、制御部221は、領域指定画像を取
り込むために、カラー走査部220の出力を領域指定画
像記憶部223に接続する。次に、カラー走査部220
において、読取領域を指定した帳票のイメージを取り込
み、領域指定画像記憶部223に格納する。ここで入力
する帳票は、図23に示した無記入の帳票と同じフォー
マットの帳票上に、図24に示すように、読取領域とし
て指定したい領域内部に文字を加筆した帳票である。こ
こで、加筆する文字は、読取対象文字種により字種を変
えてある。例えば、図24に示す例では、氏名読取領
域、フリガナ読取領域については黒色で漢字、カタカナ
を加筆を加筆する。さらに、印鑑を捺印する印鑑捺印領
域内にかかるように、赤色の自由曲線を加筆してある。
【0075】次に、閉ループ検出部224で、フォーム
画像記憶部222に格納されているイメージから閉じた
線分で構成されている部分(以降、閉ループ)を検出す
る。閉ループの検出方法としては、任意好適な方法を選
択できるが、例えばフォーム画像について輪郭追跡を行
うことにより検出することが可能である。図25に検出
された閉ループ検出結果を示す。次に、閉ループ検出部
224で検出された閉ループの領域情報を領域座標記憶
部225に格納する。領域情報は、例えば、図7に示す
ように、検出された閉ループの内部について、上下左右
に接する線分の交点の座標A,B,C,Dを求め、これ
らの座標値を領域座標記憶部225に格納する。
【0076】領域情報は、閉ループの数だけ領域座標記
憶部225に存在することになる。次に、フォーム除去
部226は、フォーム画像記憶部222に格納されてい
るフォーム画像と、領域指定画像記憶部223に格納さ
れている領域指定画像を参照し、領域指定画像からフォ
ーム画像を除去し、フォーム除去画像記憶部227にフ
ォーム除去画像を格納する。フォーム除去部226によ
りフォーム画像が除去されたフォーム除去画像を図26
に示す。フォーム画像を除去する手段は、任意好適な方
法を選択できるが、例えば、フォーム画像上にある点の
座標に対応する、領域指定画像上の点を白にすることに
より除去できる。
【0077】次に、フォーマットパラメータ検出部22
9は、領域座標記憶部225に格納されている領域情報
と、フォーム除去画像記憶部227に格納されているフ
ォーム除去画像と、領域種類記憶部228に記憶せれて
いる領域種類情報からフォーマットパラメータを検出す
る。フォーマットパラメータを検出する方法として、領
域座標記憶部225に格納されている複数(閉ループの
数分)の領域情報をそれぞれ取り出し、取り出した領域
情報で示される座標領域に対応する領域について、フォ
ーム除去画像上を走査する。走査した結果、画素がある
一定の値以上あった場合、その領域に領域指定文字が存
在する(読取領域として指定されている)と判定し、そ
の領域内の画素の色を判別する。色の判別方法は第3の
実施例で説明した方法と同様である。
【0078】本実施例では、黒色については文字記入領
域、赤色については印鑑捺印領域として予め登録されて
いるものとする。ここで、画素が黒色だった場合、該当
する領域情報内部の画像を文字認識部230に入力す
る。ここで、文字認識部230は第3の実施例で説明し
た動作と同様にして、入力画像の認識を行う。本実施例
では、領域指定文字として漢字とカタカナを使用してい
るため、予め、文字認識部230で使用する辞書部に漢
字とカタカナの辞書を格納しておき、フォーマットパラ
メータ検出部229から入力された画像について認識を
行い、結果をフォーマットパラメータ検出部229に返
す。この際、領域指定用帳票に領域指定文字を記入する
オペレータの文字を標準字形として辞書部に登録してお
けば、より高精度に漢字、カタカナの判定をすることが
可能となる。文字認識部230により領域指定文字を認
識した結果を受け取ったフォーマットパラメータ検出部
229は、認識結果に該当する領域種類を領域種類記憶
部228から検索し、該当する領域情報と領域種類をフ
ォーマットパラメータとして出力する。
【0079】また、領域内の画素が赤色だった場合、そ
の領域は印鑑捺印領域として、該当する領域情報と領域
種類をフォーマットパラメータとして出力する。画素が
ある一定の値より少なかった場合は、その領域について
は自由曲線が無い(読取領域として指定されてない)と
判定し、該当する領域情報は破棄する。本実施例では図
24に示すように、氏名を記入する読取領域については
漢字、フリガナ読取領域についてはカタカナ、印鑑捺印
領域については赤色の自由曲線で領域指定したため、領
域情報としては図27に示す領域情報と領域種類がフォ
ーマットパラメータとして出力される。ここで出力され
たフォーマットパラメータを基に、漢字領域、カタカナ
領域それぞれについて文字認識部230にて文字認識を
行う。文字認識部230の動作については第3の実施例
と同様である。また、印鑑捺印領域については文字認識
部230で処理せずに、例えば外部に用意された印鑑照
合装置に画像を送り処理するなどが考えられる。
【0080】<効果>以上のように本実施例によれば、
無記入の帳票と、読取領域には領域指定文字種で加筆、
印鑑捺印領域には赤色の自由曲線を加筆した帳票があれ
ば、自動的にフォーマットパラメータを作成することが
可能となり、フォーマットパラメータの作成を高速化で
きる。また、マウスやタブレットといった特殊な装置を
使用すること無くOCR読取帳票のフォーマットパラメー
タを作成できる。
【0081】また、領域指定文字の字種を変えることに
より、領域種類を文字で明示的に指定することが可能と
なり、さらに加筆する色を変えることにより、文字や図
形では表現することが困難なフォーマット情報を指定す
ることが可能となり、その結果、精密なフォーマットパ
ラメータを作製することができる。また、文字認識装置
の走査部を共有することができるため装置の小型化、低
価格化が実現できる。また、フォーマットパラメータを
作成する走査部と、文字認識処理で使用する走査部が同
じであるため、機器間による量子化誤差やノイズの影響
による誤差が少なく、精度の高い処理が可能となる。
【0082】また、本実施例により作成されたフォーマ
ットパラメータを使用すれば、領域毎に、辞書の種類を
変更し、領域に最適な辞書を使用することが可能となり
認識精度の向上が可能となる。また、領域ごとに辞書を
選択することにより読取対象文字を限定することが可能
となり、文字認識速度の向上につながる。その結果、装
置の小型化、高速化、高性能化が可能となる。
【0083】第3及び第6の実施形態では、色の判別方
法としてRGB各色の濃度を利用したが、本発明はこれに
限定されるものではなく、任意好適な手法を選択可能で
ある。第3及び第6の実施形態では、領域種類と色の対
応をあらかじめ登録して使用しているが、本発明はこれ
に限定されるものではなく、色毎に領域を分類し、例え
ばCRTなどに分類結果を表示し、オペレータはキーボー
ドなどの入力手段を用いて分類された領域について領域
種類を夫々指定することも可能である。第6の実施例で
は、印鑑捺印領域として赤色の自由曲線で指定していた
が、本発明はこれに限定されるものではなく、例えば朱
肉を使用して印鑑捺印領域内に印鑑が捺印されている帳
票を領域指定用帳票として使用することも可能である。
第3、第4、第5及び第6の実施例では、フォーマット
パラメータ内の領域種類により辞書を切り換え使用して
いるが、本発明はこれに限定されるものではなく、特徴
抽出方法を変える、あるいは双方を組み合わせるなどと
しても実現可能である。
【0084】また、前述のように、以上の第1〜第6の
各実施形態は、それぞれ文字認識部を備えた文字認識装
置として構成した例について説明してきたが、本発明
は、これに限定されるものではなく、フォーマットパラ
メータの作成及び作成されたフォーマットパラメータに
基づく文字の切り出しを行うフォーマットパラメータ作
成装置と、切り出された文字の認識を行う文字認識装置
とが分離した構成とすることも可能である。
【図面の簡単な説明】
【図1】本発明の第1及び第2の実施例のブロック図で
ある。
【図2】本発明の第1及び第2の実施例における文字認
識部のブロック図である。
【図3】本発明の第1及び第2の実施例における文字認
識部における特徴抽出部のブロック図である。
【図4】本発明の第1、第2の実施例における無記入帳
票の例である。
【図5】本発明の第1の実施例における領域指定帳票の
例である。
【図6】本発明の第1、第2の実施例における閉ループ
検出結果の例である。
【図7】本発明の第1、第2の実施例における領域情報
の例である。
【図8】本発明の第1の実施例におけるフォーム除去画
像の例である。
【図9】本発明の第1、第2の実施例におけるフォーマ
ットパラメータ出力対象領域の例である。
【図10】本発明の第2の実施例における読取領域指定
帳票の例である。
【図11】本発明の第2の実施例におけるフォーム除去
画像の例である。
【図12】本発明の第3の実施例ブロック図である。
【図13】本発明の第3の実施例における文字認識部の
ブロック図である。
【図14】本発明の第3の実施例における領域指定帳票
の例である。
【図15】本発明の第3の実施例におけるフォーム除去
画像の例である。
【図16】本発明の第3の実施例におけるフォーマット
パラメータ出力対象領域の例である。
【図17】本発明の第4及び第5の実施例のブロック図
である。
【図18】本発明の第4の実施例における領域指定帳票
の例である。
【図19】本発明の第4の実施例におけるフォーム除去
画像の例である。
【図20】本発明の第5の実施例における領域指定帳票
の例である。
【図21】本発明の第5の実施例におけるフォーム除去
画像の例である。
【図22】本発明の第6の実施例のブロック図である。
【図23】本発明の第6の実施例における無記入帳票の
例である。
【図24】本発明の第6の実施例における領域指定帳票
の例である。
【図25】本発明の第6の実施例における閉ループ検出
結果の例である。
【図26】本発明の第6の実施例におけるフォーム除去
画像の例である。
【図27】本発明の第6の実施例におけるフォーマット
パラメータ出力例である。

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 記入枠等が予め印刷されている無記入の
    帳票と、該帳票と同じフォーマットの帳票上に読取領域
    を自由曲線でマークした帳票から、前記無記入の帳票の
    記入枠等を減算処理し消去した画像を作成する手段と、 前記無記入の帳票の読取領域候補を抽出する手段と、 前記減算処理により残された画素の座標が前記読取領域
    候補内に存在した場合、該読取領域候補を読取領域とし
    てフォーマットパラメータを作成する手段とを備えるこ
    とを特徴とするフォーマットパラメータ作成装置。
  2. 【請求項2】 記入枠等が予め印刷されている無記入の
    帳票と、該帳票と同じフォーマットの帳票上に読取領域
    を自由曲線でマークした帳票から、前記無記入の帳票の
    記入枠等を減算処理し消去した画像を作成する手段と、 前記無記入の帳票の読取領域候補を抽出する手段と、 前記減算処理により残された画素の座標が前記読取領域
    候補内に存在した場合、該読取領域候補を読取領域とし
    てフォーマットパラメータを作成する手段と、 前記作成されたフォーマットパラメータに基づき、切り
    出された文字を認識する手段とを備えることを特徴とす
    る文字認識装置。
  3. 【請求項3】 記入枠等が予め印刷されている無記入の
    帳票と、該帳票と同じフォーマットの帳票の読取対象と
    なる領域内部に文字が記入または印刷されている帳票か
    ら、前記無記入の帳票の記入枠等を減算処理し消去した
    画像を作成する手段と、 前記無記入の帳票の読取領域候補を抽出する手段と、 前記減算処理により残された画素の座標が前記読取領域
    候補内に存在した場合、該読取領域候補を読取領域とし
    てフォーマットパラメータを作成する手段とを備えるこ
    とを特徴とするフォーマットパラメータ作成装置。
  4. 【請求項4】 記入枠等が予め印刷されている無記入の
    帳票と、該帳票と同じフォーマットの帳票の読取対象と
    なる領域内部に文字が記入または印刷されている帳票か
    ら、前記無記入の帳票の記入枠等を減算処理し消去した
    画像を作成する手段と、 前記無記入の帳票の読取領域候補を抽出する手段と、 前記減算処理により残された画素の座標が前記読取領域
    候補内に存在した場合、該読取領域候補を読取領域とし
    てフォーマットパラメータを作成する手段と前記作成さ
    れたフォーマットパラメータに基づき、切り出された文
    字を認識する手段とを備えることを特徴とする文字認識
    装置。
  5. 【請求項5】 請求項1記載のフォーマットパラメータ
    作成装置において、2以上の色でマークされた自由曲線
    の色を判別する手段を備え、 あらかじめ登録されている領域種類と色の対応から読取
    領域に該当する領域種類を判別して、該読取領域と該領
    域種類を基にフォーマットパラメータを作成する手段を
    備えることを特徴とするフォーマットパラメータ作成装
    置。
  6. 【請求項6】 請求項2記載の文字認識装置において、
    2以上の色でマークされた自由曲線の色を判別する手段
    を備え、 あらかじめ登録されている領域種類と色の対応から読取
    領域に該当する領域種類を判別して、該読取領域と該領
    域種類を基にフォーマットパラメータを作成する手段
    と、 前記作成されたフォーマットパラメータに基づき、切り
    出された文字を認識する手段とを備えることを特徴とす
    る文字認識装置。
  7. 【請求項7】 請求項3記載のフォーマットパラメータ
    作成装置において、2以上の色で記入され又は印刷され
    た文字の色を判別する手段を備え、 あらかじめ登録されている領域種類と色の対応から、読
    取領域に該当する領域種類を判別して該読取領域と該領
    域種類を基にフォーマットパラメータを作成する手段を
    備えることを特徴とするフォーマットパラメータ作成装
    置。
  8. 【請求項8】 請求項4記載の文字認識装置において、
    2以上の色で記入され又は印刷された文字の色を判別す
    る手段を備え、 あらかじめ登録されている領域種類と色の対応から、読
    取領域に該当する領域種類を判別して該読取領域と該領
    域種類を基にフォーマットパラメータを作成する手段
    と、 前記作成されたフォーマットパラメータに基づき、切り
    出された文字を認識する手段とを備えることを特徴とす
    る文字認識装置。
  9. 【請求項9】 記入枠等が予め印刷されている無記入の
    帳票と、該帳票と同じフォーマットの帳票の読取対象と
    なる領域内部に図形が記入又は印刷されている帳票か
    ら、前記無記入の帳票の記入枠等を減算処理し消去した
    画像を作成する手段と、 前記無記入の帳票の読取領域候補を抽出する手段と、 前記減算処理により残された画素の座標が前記読取領域
    候補内に存在した場合に該読取領域候補内に記入または
    印刷されている図形形状を認識する手段と、 予め登録されている領域種類と図形形状の対応から、読
    取領域に該当する領域種類を判別する手段と、 該読取領域と該領域種類を基にフォーマットパラメータ
    を作成する手段とを備えることを特徴とするフォーマッ
    トパラメータ作成装置。
  10. 【請求項10】 記入枠等が予め印刷されている無記入
    の帳票と、該帳票と同じフォーマットの帳票の読取対象
    となる領域内部に図形が記入又は印刷されている帳票か
    ら、前記無記入の帳票の記入枠等を減算処理し消去した
    画像を作成する手段と、 前記無記入の帳票の読取領域候補を抽出する手段と、 前記減算処理により残された画素の座標が前記読取領域
    候補内に存在した場合に該読取領域候補内に記入または
    印刷されている図形形状を認識する手段と、 予め登録されている領域種類と図形形状の対応から、読
    取領域に該当する領域種類を判別する手段と、 該読取領域と該領域種類を基にフォーマットパラメータ
    を作成する手段と、 前記作成されたフォーマットパラメータに基づき、切り
    出された文字を認識する手段とを備えることを特徴とす
    る文字認識装置。
  11. 【請求項11】 記入枠等が予め印刷されている無記入
    の帳票と、該帳票と同じフォーマットの帳票の読取対象
    となる領域内部に文字が記入または印刷されている帳票
    から、前記無記入の帳票の記入枠等を減算処理し消去し
    た画像を作成する手段と、 前記無記入の帳票の読取領域候補を抽出する手段と、 前記減算処理により残された画素の座標が前記領域情報
    内に存在した場合、該領域情報内について、記入または
    印刷されている文字を認識する手段と、 予め登録されている領域種類と文字の対応から、読取領
    域に該当する領域種類を判別する手段と、 該読取領域と該領域種類を基にフォーマットパラメータ
    を作成する手段と、を備えたことを特徴とするフォーマ
    ットパラメータ作成装置。
  12. 【請求項12】 記入枠等が予め印刷されている無記入
    の帳票と、該帳票と同じフォーマットの帳票の読取対象
    となる領域内部に文字が記入または印刷されている帳票
    から、前記無記入の帳票の記入枠等を減算処理し消去し
    た画像を作成する手段と、 前記無記入の帳票の読取領域候補を抽出する手段と、 前記減算処理により残された画素の座標が前記領域情報
    内に存在した場合、該領域情報内について、記入または
    印刷されている文字を認識する手段と、 予め登録されている領域種類と文字の対応から、読取領
    域に該当する領域種類を判別する手段と、 該読取領域と該領域種類を基にフォーマットパラメータ
    を作成する手段と、 前記作成されたフォーマットパラメータに基づき、切り
    出された文字を認識する手段とを備えることを特徴とす
    る文字認識装置。
  13. 【請求項13】 記入枠等が予め印刷されている無記入
    の帳票と、該帳票と同じフォーマットの帳票の文字認識
    対象となる領域内部には文字が記入または印刷され、認
    識処理方法を変えたい領域には領域内部に前記記入また
    は印刷された文字と別の色で自由曲線が加筆されている
    帳票から、前記無記入の帳票の記入枠や枠の説明を減算
    処理し消去した画像を作成する手段と、 前記無記入の帳票の読取領域候補を抽出する手段と、 前記減算処理により残された画素の座標が前記読取領域
    候補内に存在した場合、該読取領域候補内に残された画
    素の色を判別する手段と、 判別された色が所定の色であった場合には文字認識を行
    い、記入または印刷されている文字を認識し、予め登録
    されている領域種類と文字の対応から、読取領域に該当
    する領域種類を判別する手段と、 判別された色が前記所定の色とは別の色であった場合に
    は、予め登録されている領域種類と色の対応から、読取
    領域に該当する領域種類を判別する手段と、 該読取領域と該領域種類を基にフォーマットパラメータ
    を作成することを特徴とするフォーマットパラメータ作
    成装置。
  14. 【請求項14】 記入枠等が予め印刷されている無記入
    の帳票と、該帳票と同じフォーマットの帳票の文字認識
    対象となる領域内部には文字が記入または印刷され、認
    識処理方法を変えたい領域には領域内部に前記記入また
    は印刷された文字と別の色で自由曲線が加筆されている
    帳票から、前記無記入の帳票の記入枠等を減算処理し消
    去した画像を作成する手段と、 前記無記入の帳票の読取領域候補を抽出する手段と、 前記減算処理により残された画素の座標が前記読取領域
    候補内に存在した場合、該読取領域候補内に残された画
    素の色を判別する手段と、 判別された色が所定の色であった場合には文字認識を行
    い、記入または印刷されている文字を認識し、予め登録
    されている領域種類と文字の対応から、読取領域に該当
    する領域種類を判別する手段と、 判別された色が前記所定の色とは別の色であった場合に
    は、予め登録されている領域種類と色の対応から、読取
    領域に該当する領域種類を判別する手段と、 該読取領域と該領域種類を基にフォーマットパラメータ
    を作成する手段と、 前記作成されたフォーマットパラメータに基づき、切り
    出された文字を認識する手段とを備えることを特徴とす
    る文字認識装置。
JP2000312352A 2000-10-12 2000-10-12 フォーマットパラメータ作成装置及び文字認識装置 Pending JP2002123794A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000312352A JP2002123794A (ja) 2000-10-12 2000-10-12 フォーマットパラメータ作成装置及び文字認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000312352A JP2002123794A (ja) 2000-10-12 2000-10-12 フォーマットパラメータ作成装置及び文字認識装置

Publications (1)

Publication Number Publication Date
JP2002123794A true JP2002123794A (ja) 2002-04-26

Family

ID=18791962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000312352A Pending JP2002123794A (ja) 2000-10-12 2000-10-12 フォーマットパラメータ作成装置及び文字認識装置

Country Status (1)

Country Link
JP (1) JP2002123794A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010122911A (ja) * 2008-11-19 2010-06-03 Fuji Xerox Co Ltd 画像処理装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010122911A (ja) * 2008-11-19 2010-06-03 Fuji Xerox Co Ltd 画像処理装置及びプログラム

Similar Documents

Publication Publication Date Title
JP2940936B2 (ja) 表領域識別方法
US6411733B1 (en) Method and apparatus for separating document image object types
JP2930612B2 (ja) 画像形成装置
EP0543599A2 (en) Method and apparatus for image hand markup detection
EP1091320A2 (en) Processing multiple digital images
JPH07107694B2 (ja) 文書処理装置
EP1081648A2 (en) Method for processing a digital image
JP3206579B2 (ja) 宛名領域検出装置
JPH08287184A (ja) 画像切り出し装置及び文字認識装置
US5467410A (en) Identification of a blank page in an image processing system
CN111126266A (zh) 文本处理方法、文本处理系统、设备及介质
JPH09311905A (ja) 行検出方法および文字認識装置
JPH07105312A (ja) 光学式文字読取装置における文字イメージのごみ除去方法及び装置
JP3268552B2 (ja) 領域抽出方法、宛名領域抽出方法、宛名領域抽出装置、及び画像処理装置
JP2002123794A (ja) フォーマットパラメータ作成装置及び文字認識装置
JPS58197581A (ja) 文字図形認識方法とその装置
JPH09134404A (ja) 棒グラフ認識装置
JP2708604B2 (ja) 文字認識方法
JPH02138674A (ja) 文書処理方法及び装置
JPH07160810A (ja) 文字認識装置
JPH08212292A (ja) 枠線認識装置
JP2954218B2 (ja) 画像処理方法及び装置
JP2878327B2 (ja) 文字切り出し装置
JP2922992B2 (ja) 光学的文字読取装置
JPH05174185A (ja) 日本語文字認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060825

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060923

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091215