JP2011150466A - 文字列認識装置、文字列認識プログラムおよび文字列認識方法 - Google Patents
文字列認識装置、文字列認識プログラムおよび文字列認識方法 Download PDFInfo
- Publication number
- JP2011150466A JP2011150466A JP2010009965A JP2010009965A JP2011150466A JP 2011150466 A JP2011150466 A JP 2011150466A JP 2010009965 A JP2010009965 A JP 2010009965A JP 2010009965 A JP2010009965 A JP 2010009965A JP 2011150466 A JP2011150466 A JP 2011150466A
- Authority
- JP
- Japan
- Prior art keywords
- item name
- character string
- character
- content
- character block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Character Discrimination (AREA)
- Document Processing Apparatus (AREA)
Abstract
【解決手段】文字ブロック位置取得部1aは、項目名文字列と項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、項目名文字列を示す項目名文字ブロックと、内容文字列の一部または全部を示す内容文字ブロックとを抽出し、項目名文字ブロックと内容文字ブロックとの位置を示す位置情報を取得する。対応関係設定部1bは、文字ブロック位置取得部1aにより取得した位置情報に基づいて内容文字ブロックの位置から所定の方向に存在する項目名文字ブロックを抽出し、内容文字ブロックと抽出した項目名文字ブロックの項目名とを関連付け、文字ブロック統合部1eにより設定された関連付けの結果を対応関係記憶部1dに記憶させる。
【選択図】図1
Description
〔第1の実施の形態〕
図1は、第1の実施の形態の機能を示すブロック図である。文字列認識装置1は、帳票画像等の文字列を有する画像について文字認識を行い、項目名と内容(例えば、項目値)とを取得することにより、画像に含まれる文字列を認識する文字列認識を行う。文字列認識装置1は、文字ブロック位置取得部1a、対応関係設定部1b、画像記憶部1c、対応関係記憶部1d、文字ブロック統合部1eを有する。
次に、第2の形態の詳細を説明する。第2の実施の形態は、項目名および項目値を有する帳票を取り込んだ帳票画像等の文書を示す画像について、項目名文字列を抽出し、文字認識の結果得られた文字列を項目名文字列に関連付け、帳票等の文書において項目名に対応する内容を示す項目値文字列とすることにより、項目値文字列の誤認識および項目値文字列と項目名文字列との関連付けの誤認識を抑制したものである。
図3は、第2の実施の形態の機能を示すブロック図である。本実施の形態の文字列認識装置100は、手書き文字、活字、プリンタ等による印字等、文字認識可能である任意の字体の文字に適用可能であるものとする。文字列認識装置100は、画像取得部111、項目名文字列抽出部112、関連付け部113、関連付け検証部114、文字領域統合部115、非項目名文字列文字認識部116、画像記憶部120、項目名情報記憶部151、文字列候補記憶部152、対応関係記憶部153、ルール記憶部154を有する。
項目名文字列抽出部112は、項目名情報を項目名情報記憶部151から読み出し、画像記憶部120に記憶されている画像から、項目名文字列情報に基づいて画像中に存在する項目名文字列を抽出する。そして、また、項目名文字列抽出部112は、項目名文字列を示す項目名文字列領域(項目名文字ブロック)を抽出する。ここで、文字列認識装置100で文字列認識を行う画像は、例えば、項目名を示す項目名文字列、項目名に対応する項目値を示す項目値文字列を有する帳票画像等の画像である。この画像は、例えば、帳票等の文書をスキャナ等で読み取るか、直接電子ファイルで作成された帳票等の文書を画像に変換することにより作成される。また、画像中の項目名文字列領域以外の領域を非項目名文字列領域とする。また、項目値は、帳票等の文書において項目名に対応する内容である。また、項目値文字列は、項目名に対応する内容を示す文字を有する文字列であり、第1の実施の形態の内容文字列と対応する。
対応関係記憶部153は、文字領域統合部115の関連付けにより項目名と認識結果文字列とを関連付けた結果を示す対応関係情報を記憶する。この対応関係情報により、画像に含まれている項目名および項目値ならびに項目名と項目値との対応関係が示される。
図4は、第2の実施の形態の文字列認識処理の手順を示すフローチャートである。文字列認識処理は、帳票の画像読み取りやユーザの文字列認識処理を実行する操作に基づいて、文字列認識装置100により実行が開始される。以下、図4に示す処理をステップ番号に沿って説明する。
〔ステップS12〕項目名文字列抽出部112は、帳票画像等から項目名文字列を抽出する項目名文字列抽出処理(図24から図26において後述)を実行する。
〔ステップS16〕文字領域統合部115は、ステップS14およびステップS15による関連付けによって、同一の項目名文字列に関連付けた認識結果文字列を統合して項目値文字列とする。次に、統合した項目値文字列を、項目名文字列が示す項目名に対応する項目値として設定する。
図5から図8は、第2の実施の形態における第1の例の帳票画像の処理の様子を示す図である。
例1:認識結果文字列の左方向、若しくは、上方向に項目名文字列領域が存在した場合、左上方向にある項目名文字列領域は無視する。
例3:認識結果文字列と項目名文字列領域との距離は、所定の値以下でなければならない。
これらのルールは、帳票や、項目名によって任意に設定される。このルールを増やし、柔軟に組み合わせることで、様々な形式の帳票に対応することが可能になる。
項目名文字列領域212aへの関連付け:認識結果文字列216a(『神』)、認識結果文字列216b(『奈川』)、認識結果文字列216c(『県』)、認識結果文字列216d(『川崎市』)、認識結果文字列216e(『小山』)、認識結果文字列216f(『1−23−4』)
項目名文字列領域212bへの関連付け:認識結果文字列216q(『東』)、認識結果文字列216r(『京』)、認識結果文字列216s(『太』)、認識結果文字列216t(『郎』)
次にステップS16により、同一の項目名文字列に関連付けられた認識結果文字列が統合され、項目値文字列とされる。
図5から図9において前述した帳票画像210は、項目名と項目値が1対1の対応関係を有していたが、本実施の形態は、例えば、2次元表のように1つの項目値に2の項目名が属するような、項目値と項目名とが1対多の対応関係を有する場合についても適用可能である。例えば、図10に示す2次元の無罫線表の帳票画像220を例に挙げて説明する。
図14から図16は、第2の実施の形態における第3の例の帳票画像の処理の様子を示す図である。
図18および図19は、第2の実施の形態における第3の例の帳票画像における関連付けの様子を示す図である。本実施の形態の文字列認識装置100は、上記のように帳票画像から項目名と項目値とを抽出し、上記の関連付けにより、抽出した項目名と認識結果文字列との対応関係を設定する。この関連付けは、ステップS14においてルール記憶部154に記憶されているルールに従って行われる。
・認識結果文字の上方または左方に項目名文字列領域が存在する場合は、その認識結果文字と項目名を関連付ける。ここで、上方または左方とは、その認識結果文字列の中心座標の上方向または左方向に項目名文字列の外接矩形が存在するかどうかで判定する。
・項目名文字列が表のセルに入っている場合は、そのセル枠を項目名文字列の外接矩形と見なす。
図18に示すように、上記ルールに従って認識結果文字列232b1の中心234b1から、左方および上方を探索すると、左方に項目名文字列231bの外接矩形233が存在するので、帳票画像230の項目名文字列231bと認識結果文字列232b1との関連付けが行われる。認識結果文字列232a1〜232a11,232b2〜232b4についても同様に、上記のルールに従って関連付けが行われる。
図19に示すように、帳票画像230の項目名文字列231c(『銀行名』)は、セル枠236に囲まれているものとする。この場合、上記ルールに従って認識結果文字列232c1(『A銀行』)の中心237c1から、左方および上方を探索すると、左方に項目名文字列231cのセル枠236が存在する。ここで、上記ルールに従い、セル枠236を項目名文字列231の外接矩形と見なす。これに基づいて、認識結果文字列の中心座標の上方向または左方向に項目名文字列の外接矩形が存在すると判定されることにより、帳票画像230の項目名文字列231cと認識結果文字列232c1との関連付けが行われる。また、認識結果文字列232c2,232c3,232d1〜232d3,232e1〜232e3,232f1〜232f3,232g1〜232g3についても同様に、上記のルールに従って関連付けが行われる。
図20は、第2の実施の形態における第4の例の帳票画像における関連付けの様子を示す図である。図20は、帳票画像の第4の例であり、項目値と項目名とが多対多で対応するものを含む帳票画像240を示す。図20では、上記のルールに従って1対1で対応する項目名文字列241aと認識結果文字列242aの各文字、項目名文字列241bと認識結果文字列242bの各文字が関連付けられる。
・認識結果文字列の左方、上方、左上方のうちの異なる2方向に項目名文字列領域が存在することによりそれぞれの項目名文字列領域と関連付けられた場合であって、関連付けられた項目名が連記表に用いられる項目名であるときには、認識結果文字列と2つの項目名との関連付けは共に維持される。
・認識結果文字列の左方、上方、左上方のうちの異なる2方向に項目名文字列領域が存在することによりそれぞれの項目名文字列領域と関連付けられた場合であって、関連付けられた項目名が連記表に用いられない項目名であるときには、関連付けられた2つの項目名のうち、項目名と項目値との位置が近い関連付けのみを維持し、他方の関連付けを削除する。
図21は、第2の実施の形態の項目名情報テーブルの例を示す図である。図21に示す項目名情報テーブル151aは、本実施の形態の文字列認識装置100による文字列認識処理を実行する際に適用される項目名情報を記憶するテーブルである。項目名情報テーブル151aは、項目名情報記憶部151に記憶されている。項目名情報テーブル151aには、“項目名番号”フィールド、“項目名文字列”フィールド、“連記表”フィールドが設けられている。各項目の横方向に並べられた情報同士が項目名情報として互いに関連付けられている。
[関連付けルール1]認識結果文字列の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、認識結果文字列と項目名とを関連付ける。
[関連付けルール3]関連付けられた項目名が2個以上存在し、項目名の中に連記表に適用されないものが存在する場合、認識結果文字列に最も近い項目名文字列の関連付けのみ残す。
図23に示すルールテーブル154bには、“適用範囲”フィールド、“ルール”フィールド、“ルール内容”フィールドが設けられている。“適用範囲”フィールドには、ルールが適用される項目名の範囲を示す情報が設定される。説明の便宜上、“ルール”フィールドと同様に“適用範囲”フィールドの適用範囲は日本語により記述するが、これに限らず、コンピュータ言語やフラグ、データ、論理式等、文字列認識装置100においてルールが適用される項目値の範囲の選択に必要な処理を実行可能な形式で定義された情報を設定することができる。
[ルール1]認識結果文字列の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、認識結果文字列と項目名文字列とを関連付ける。
[ルール3]関連付けられた項目名が2個以上存在し、項目名の中に連記表に適用されないものが存在する場合、認識結果文字列に最も近い項目名文字列の関連付けのみ残す。
[ルール1]認識結果文字列の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、認識結果文字列と項目名文字列とを関連付ける。
なお、本実施の形態では、関連付けにおいて帳票のフォーマットに応じた任意のルールを設定することができる。
図24から図26は、第2の実施の形態の項目名文字列抽出処理の手順を示すフローチャートである。項目名文字列抽出処理は、本実施の形態の文字列認識処理による呼び出しに基づいて文字列認識装置100により実行される。以下、図24から図26に示す処理をステップ番号に沿って説明する。
〔ステップS24〕項目名文字列抽出部112は、ステップS23で作成した統合矩形のうち、未選択の統合矩形を1つ選択する。
〔ステップS26〕項目名文字列抽出部112は、ステップS25で生成した周辺統合矩形のうち、未選択の周辺統合矩形を1つ選択する。
〔ステップS28〕項目名文字列抽出部112は、ステップS27で取得した認識結果文字がステップS21で読み出した項目名文字列に含まれるか否かを判定する。認識結果文字が項目名文字列に含まれていれば、処理はステップS29に進められる。一方、認識結果文字が項目名文字列に含まれていなければ、処理はステップS31(図25)に進められる。
〔ステップS34〕項目名文字列抽出部112は、認識結果文字からステップS33で選択された項目名文字列が有する文字を候補文字として抽出し、抽出した候補文字を行および列の項目とした文字列候補テーブルを作成する。このとき、文字列候補テーブルの各値には、初期値として“0”を設定する。
〔ステップS36〕項目名文字列抽出部112は、文字列候補テーブルに基づいて、ステップS33で抽出した候補文字同士を結んだ文字列候補対応関係グラフの最大クリークを探索する。
図27(A)は、帳票画像の第5の例である帳票画像250を示す。帳票画像250に基づいて本実施の形態における項目名文字列の処理について説明する。
次に、文字列認識装置100は、ステップS28で文字認識の結果得られた認識結果文字が、探索している項目名文字列の中に存在するか否かを判定する。判定の結果、認識結果文字が探索している項目名文字列に存在する場合は、文字列認識装置100は、ステップS29でその認識結果文字と座標とを記憶する。例えば、探索中の項目名が「商品番号」「貴社受付番号」「日付」の場合であって、認識結果文字が“株”であった場合、“株”は、いずれの項目名文字列にも含まれていないので、記憶されない。
図34に示す文字列候補対応関係グラフ152b1は、説明の便宜上、本実施の形態の項目名文字列抽出処理によって文字列候補テーブル152bに定義された文字列候補の対応関係を表したグラフである。文字列候補対応関係グラフ152b1では、文字列候補である、認識結果文字(a)〜(g)がノード(node)に設定されている。また、文字列候補テーブル152bにおいて“1”が設定されている値に対応するノード間は、パス(path)が設定されている。
次に、文字列認識装置100は、ステップS37で最大クリークの文字数および項目名文字列の文字数から、項目名文字列のマッチング率Mを算出する。マッチング率Mは、最大クリークの文字数を、選択した項目名情報に示されている項目名文字列の文字数で割って算出される比率である。例えば、上記の例では、最大クリークの文字数が“5”であって項目名情報の項目名文字列が“貴社受付番号”であり文字数が“6”であるため、マッチング率M=5/6≒0.83となる。
次に第3の実施の形態について説明する。上記の第2の実施の形態との相違点を中心に説明し、同様の事項については同一の符号を用いると共に説明を省略する。第3の実施の形態は、文字列認識処理において項目値の文字列認識に連結要素を用いた例である。
項目名文字列抽出部312は、項目名情報を項目名情報記憶部351から読み出し、画像記憶部120に記憶されている画像から、項目名文字列情報に基づいて画像中に存在する項目名文字列を抽出する。そして、また、項目名文字列抽出部312は、項目名文字列を示す項目名文字列領域(項目名文字ブロック)を抽出する。ここで、文字列認識装置300で文字列認識を行う画像は、例えば、項目名を示す項目名文字列、項目名に対応する項目値を示す項目値文字列を有する帳票画像等の画像である。この画像は、例えば、帳票等の文書をスキャナ等で読み取るか、直接電子ファイルで作成された帳票等の文書を画像に変換することにより作成される。また、画像中の項目名文字列領域以外の領域を非項目名文字列領域とする。また、項目値は、帳票等の文書において項目名に対応する内容である。また、項目値文字列は、項目名に対応する内容を示す文字を有する文字列であり、第1の実施の形態の内容文字列と対応する。
関連付け部313は、ルール記憶部354に記憶されているルールに従って、非項目名文字列領域に存在する連結要素抽出部318で取得された各連結要素に対し、項目名文字列抽出部312により取得した位置情報に基づいて各連結要素の位置から左方向または上方向に項目名文字列抽出部312で取得された項目名文字列を探索し、探索の結果により抽出された項目名文字列が示す項目名と連結要素とを関連付ける。なお、これに限らず、関連付け部313は、ルール記憶部354に記憶されているルールに従って、項目名文字列抽出部312により取得された位置情報に基づいて項目名文字列抽出部312で取得された項目名文字列の位置から右方向または下方向に非項目名文字列領域に存在する連結要素抽出部318で取得された各連結要素を探索し、項目名文字列領域の項目名文字列が示す項目名と探索の結果得られた連結要素とを関連付けてもよい。
連結要素抽出部318は、非項目名文字列領域に対して連結要素解析を行い、項目値文字列の一部を示す特定の画素が連結している領域である連結要素を抽出する。ここで、連結要素は、特定の画素が連結している領域である。また、特定の画素は、例えば、予め設定された画素値以上の画素等の基準で抽出される画素であり、認識対象の文字列の一部を示す画素である。
“2009年 1月 5日”
という年月日の表記があった場合、文字認識結果は、以下のように誤認識された場合について考える。
つまり、“0”(ゼロ)は“O”(オー)、“1”(イチ)は、“l”(エル)、“5”(ゴ)は“S”(エス)のように文字認識誤りが発生する場合がある。ここで、文字認識時点で、文字カテゴリを数字に限定し、アルファベットは認識対象外としていれば、上記のような文字の誤認識を防止することが可能である。
対応関係記憶部153は、項目名と統合認識結果文字列とを関連付けて示す対応関係情報を記憶する。この統合認識結果文字列は、統合連結要素文字認識部316によって文字認識した結果得られる。この対応関係情報により、画像に含まれている項目名および項目値ならびに項目名と項目値との対応関係が示される。
〔ステップS52〕項目名文字列抽出部312は、帳票画像等から項目名文字列を抽出する項目名文字列抽出処理を実行する。
〔ステップS56〕連結要素統合部315は、ステップS54およびステップS55による関連付けによって、同一の項目名文字列に関連付けた連結要素を統合して項目名文字列に対応する項目値文字列領域に設定する。
〔ステップS62〕統合連結要素文字認識部316は、ステップS61で取得した文字カテゴリによって、ステップS56(図36)で設定した項目値文字列領域に文字認識を行い、認識結果である統合認識結果文字列を項目名文字列が示す項目名に対応する項目値として設定する。
図38および図39は、第3の実施の形態における第1の例の帳票画像の処理の様子を示す図である。図38(A)および図38(B)に従って、帳票画像410の項目名文字列領域412a,412bおよび連結要素416a1,・・・、連結要素416b1,・・・に基づいてステップS54およびステップS55の処理を説明する。本実施の形態の文字列認識装置300は、ステップS53で抽出した連結要素について、ステップS54により、項目名文字列との関連付けを行う。このステップS54の関連付けでは、項目名文字列が位置する項目名文字列領域と連結要素の位置とが、ルール記憶部354に記憶されているルールが示す所定の位置関係にある場合、項目名文字列が示す項目名と連結要素とが関連付けられる。
[関連付けルール2]項目名文字列が、表のセル内に存在する場合、セルの枠の矩形を、項目名文字列領域の外接矩形とみなす。
図42に示すルールテーブル354bには、“適用範囲”フィールド、“ルール”フィールド、“ルール内容”フィールドが設けられている。図42に示す以下のルールは、連記表である項目を含む可能性があると共に、罫線を有する可能性があり、さらに2次元表である可能性がある帳票に対する文字列認識処理の関連付けに適用されるルールの一例である。
[ルール1]連結要素の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、連結要素と項目名とを関連付ける。
[ルール3]関連付けられた項目名が2個以上存在し、項目名の中に連記表に適用されないものが存在する場合、連結要素に最も近い項目名文字列の関連付けのみ残す。
[ルール1]連結要素の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、連結要素と項目名文字列とを関連付ける。
なお、本実施の形態では、関連付けにおいて帳票のフォーマットに応じた任意のルールを設定することができる。
(付記1) 項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像を記憶する画像記憶部と、
前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得部と、
前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定部と、
を有することを特徴とする文字列認識装置。
前記文字ブロック位置取得部は、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域について文字認識を行って認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記認識結果文字列を同一の前記項目名文字ブロックが抽出されたもの同士について統合して前記内容文字列とし、前記項目名文字ブロックの前記項目名と統合した前記内容文字列とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記1記載の文字列認識装置。
前記文字ブロック位置取得部は、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域から前記連結要素に基づいて前記内容文字列の一部または全部を示す前記内容文字ブロックを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について、前記連結要素が前記画像中の他の連結要素と外接する矩形である外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記1記載の文字列認識装置。
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について前記外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について前記項目名文字ブロックの前記項目名に対応する前記文字カテゴリ情報が示す文字カテゴリにおいて文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記3記載の文字列認識装置。
前記文字ブロック位置取得部は、前記項目名情報記憶部に記憶されている前記項目名文字列情報に基づいて前記項目名文字列を示す前記項目名文字ブロックと、前記内容文字列の一部または全部を示す前記内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする付記1記載の文字列認識装置。
前記対応関係設定部は、前記ルール記憶部に記憶されている前記ルールに従って、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記1記載の文字列認識装置。
画像記憶部に記憶されている項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得ステップと、
前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定ステップと、
を有する処理を実行させることを特徴とする文字列認識プログラム。
前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域について文字認識を行って認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得し、
前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記認識結果文字列を同一の前記項目名文字ブロックが抽出されたもの同士について統合して前記内容文字列とし、前記項目名文字ブロックの前記項目名と統合した前記内容文字列とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記13記載の文字列認識プログラム。
前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域から前記連結要素に基づいて前記内容文字列の一部または全部を示す前記内容文字ブロックを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得し、
前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について、前記連結要素が前記画像中の他の連結要素と外接する矩形である外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記13記載の文字列認識プログラム。
画像記憶部に記憶されている項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得ステップと、
前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定ステップと、
を有することを特徴とする文字列認識方法。
前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域について文字認識を行って認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得し、
前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記認識結果文字列を同一の前記項目名文字ブロックが抽出されたもの同士について統合して前記内容文字列とし、前記項目名文字ブロックの前記項目名と統合した前記内容文字列とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記25記載の文字列認識方法。
前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域から前記連結要素に基づいて前記内容文字列の一部または全部を示す前記内容文字ブロックを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得し、
前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について、前記連結要素が前記画像中の他の連結要素と外接する矩形である外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記25記載の文字列認識方法。
1a 文字ブロック位置取得部
1b 対応関係設定部
1c 画像記憶部
1d 対応関係記憶部
1e 文字ブロック統合部
Claims (7)
- 項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像を記憶する画像記憶部と、
前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得部と、
前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定部と、
を有することを特徴とする文字列認識装置。 - 前記内容文字ブロックは、前記内容文字列の一部または全部の文字列を有し、
前記文字ブロック位置取得部は、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域について文字認識を行って認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記認識結果文字列を同一の前記項目名文字ブロックが抽出されたもの同士について統合して前記内容文字列とし、前記項目名文字ブロックの前記項目名と統合した前記内容文字列とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする請求項1記載の文字列認識装置。 - 前記内容文字ブロックは、前記内容文字列の一部を示す特定の画素が連結している領域である連結要素を有し、
前記文字ブロック位置取得部は、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域から前記連結要素に基づいて前記内容文字列の一部または全部を示す前記内容文字ブロックを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について、前記連結要素が前記画像中の他の連結要素と外接する矩形である外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする請求項1記載の文字列認識装置。 - 前記項目名に対応する前記内容文字列の文字カテゴリを示す文字カテゴリ情報を有する項目名情報を記憶する項目名情報記憶部を有し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について前記外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について前記項目名文字ブロックの前記項目名に対応する前記文字カテゴリ情報が示す文字カテゴリにおいて文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする請求項3記載の文字列認識装置。 - 前記項目名の前記内容文字列を示す項目名文字列情報を有する項目名情報を記憶する項目名情報記憶部を有し、
前記文字ブロック位置取得部は、前記項目名情報記憶部に記憶されている前記項目名文字列情報に基づいて前記項目名文字列を示す前記項目名文字ブロックと、前記内容文字列の一部または全部を示す前記内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする請求項1記載の文字列認識装置。 - コンピュータに、
画像記憶部に記憶されている項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得ステップと、
前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定ステップと、
を有する処理を実行させることを特徴とする文字列認識プログラム。 - コンピュータが、
画像記憶部に記憶されている項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得ステップと、
前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定ステップと、
を有することを特徴とする文字列認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010009965A JP2011150466A (ja) | 2010-01-20 | 2010-01-20 | 文字列認識装置、文字列認識プログラムおよび文字列認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010009965A JP2011150466A (ja) | 2010-01-20 | 2010-01-20 | 文字列認識装置、文字列認識プログラムおよび文字列認識方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011150466A true JP2011150466A (ja) | 2011-08-04 |
Family
ID=44537394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010009965A Pending JP2011150466A (ja) | 2010-01-20 | 2010-01-20 | 文字列認識装置、文字列認識プログラムおよび文字列認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011150466A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014041442A (ja) * | 2012-08-22 | 2014-03-06 | Fujitsu Marketing Ltd | レシート定義データ作成装置およびプログラム |
JP2015118488A (ja) * | 2013-12-17 | 2015-06-25 | 株式会社日本デジタル研究所 | 会計データ入力システム、方法、およびプログラム |
JP6283442B1 (ja) * | 2017-06-01 | 2018-02-21 | フューチャー株式会社 | 解析装置、解析方法、および解析プログラム |
JP2018036998A (ja) * | 2016-09-02 | 2018-03-08 | 株式会社アイリックコーポレーション | 保険証券画像解析システム、記載内容解析装置、携帯端末および携帯端末用のプログラム |
CN110785773A (zh) * | 2018-05-25 | 2020-02-11 | 福冈金融集团株式会社 | 票据识别系统 |
KR20200062806A (ko) * | 2018-11-27 | 2020-06-04 | 삼성생명보험주식회사 | 문서 이미지 상에서 글자를 인식하기 위한 방법 |
JP2021504781A (ja) * | 2017-12-01 | 2021-02-15 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | ブロックに基づく文書メタデータの抽出のための方法、コンピュータ・プログラム及びシステム |
JP2021504787A (ja) * | 2017-12-01 | 2021-02-15 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | コグニティブな文書イメージのデジタル化のための方法、コンピュータ・プログラム及びシステム |
WO2021215589A1 (ko) * | 2020-04-24 | 2021-10-28 | 주식회사 애자일소다 | Ocr 기반 문서 분석 시스템 및 방법 |
JP2021193610A (ja) * | 2020-09-29 | 2021-12-23 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 情報処理方法、情報処理装置、電子機器及び記憶媒体 |
JP7447472B2 (ja) | 2019-12-19 | 2024-03-12 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及び画像処理プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06139406A (ja) * | 1992-10-23 | 1994-05-20 | Matsushita Electric Ind Co Ltd | 文字切り出し方法 |
JPH08221510A (ja) * | 1995-02-16 | 1996-08-30 | Toshiba Corp | 帳票文書処理装置および帳票文書処理方法 |
JP2000113100A (ja) * | 1995-07-31 | 2000-04-21 | Fujitsu Ltd | 媒体処理方法及び媒体処理装置 |
JP2001331764A (ja) * | 2000-03-13 | 2001-11-30 | Fujitsu Ltd | 文字認識方法 |
-
2010
- 2010-01-20 JP JP2010009965A patent/JP2011150466A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06139406A (ja) * | 1992-10-23 | 1994-05-20 | Matsushita Electric Ind Co Ltd | 文字切り出し方法 |
JPH08221510A (ja) * | 1995-02-16 | 1996-08-30 | Toshiba Corp | 帳票文書処理装置および帳票文書処理方法 |
JP2000113100A (ja) * | 1995-07-31 | 2000-04-21 | Fujitsu Ltd | 媒体処理方法及び媒体処理装置 |
JP2001331764A (ja) * | 2000-03-13 | 2001-11-30 | Fujitsu Ltd | 文字認識方法 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014041442A (ja) * | 2012-08-22 | 2014-03-06 | Fujitsu Marketing Ltd | レシート定義データ作成装置およびプログラム |
JP2015118488A (ja) * | 2013-12-17 | 2015-06-25 | 株式会社日本デジタル研究所 | 会計データ入力システム、方法、およびプログラム |
JP2018036998A (ja) * | 2016-09-02 | 2018-03-08 | 株式会社アイリックコーポレーション | 保険証券画像解析システム、記載内容解析装置、携帯端末および携帯端末用のプログラム |
JP6283442B1 (ja) * | 2017-06-01 | 2018-02-21 | フューチャー株式会社 | 解析装置、解析方法、および解析プログラム |
JP2018205955A (ja) * | 2017-06-01 | 2018-12-27 | フューチャー株式会社 | 解析装置、解析方法、および解析プログラム |
JP2021504781A (ja) * | 2017-12-01 | 2021-02-15 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | ブロックに基づく文書メタデータの抽出のための方法、コンピュータ・プログラム及びシステム |
JP2021504787A (ja) * | 2017-12-01 | 2021-02-15 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | コグニティブな文書イメージのデジタル化のための方法、コンピュータ・プログラム及びシステム |
JP7201299B2 (ja) | 2017-12-01 | 2023-01-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | コグニティブな文書イメージのデジタル化のための方法、コンピュータ・プログラム及びシステム |
JP7289047B2 (ja) | 2017-12-01 | 2023-06-09 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ブロックに基づく文書メタデータの抽出のための方法、コンピュータ・プログラム及びシステム |
CN110785773A (zh) * | 2018-05-25 | 2020-02-11 | 福冈金融集团株式会社 | 票据识别系统 |
CN110785773B (zh) * | 2018-05-25 | 2023-09-05 | 福冈金融集团株式会社 | 票据识别系统 |
KR20200062806A (ko) * | 2018-11-27 | 2020-06-04 | 삼성생명보험주식회사 | 문서 이미지 상에서 글자를 인식하기 위한 방법 |
KR102122561B1 (ko) * | 2018-11-27 | 2020-06-12 | 삼성생명보험주식회사 | 문서 이미지 상에서 글자를 인식하기 위한 방법 |
JP7447472B2 (ja) | 2019-12-19 | 2024-03-12 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及び画像処理プログラム |
WO2021215589A1 (ko) * | 2020-04-24 | 2021-10-28 | 주식회사 애자일소다 | Ocr 기반 문서 분석 시스템 및 방법 |
JP2021193610A (ja) * | 2020-09-29 | 2021-12-23 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 情報処理方法、情報処理装置、電子機器及び記憶媒体 |
JP7270013B2 (ja) | 2020-09-29 | 2023-05-09 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 情報処理方法、情報処理装置、電子機器及び記憶媒体 |
US11908219B2 (en) | 2020-09-29 | 2024-02-20 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and device for processing information, electronic device, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011150466A (ja) | 文字列認識装置、文字列認識プログラムおよび文字列認識方法 | |
CN101236609B (zh) | 用于分析并确定文档中信息的相关性的装置和方法 | |
JP4676225B2 (ja) | スキャン・ドキュメントから電子フォームに取り込むための方法および装置 | |
US8468167B2 (en) | Automatic data validation and correction | |
JP3425408B2 (ja) | 文書読取装置 | |
JP4973063B2 (ja) | 表データ処理方法及び装置 | |
CN111512315B (zh) | 文档元数据的按块提取 | |
US20090226090A1 (en) | Information processing system, information processing apparatus, information processing method, and storage medium | |
JP2021504787A (ja) | コグニティブな文書イメージのデジタル化のための方法、コンピュータ・プログラム及びシステム | |
US20220222292A1 (en) | Method and system for ideogram character analysis | |
US11436192B2 (en) | System and method for integrating message content into a target data processing device | |
JP6459231B2 (ja) | テンプレート管理装置及びプログラム | |
US8386943B2 (en) | Method for query based on layout information | |
JP2021043478A (ja) | 情報処理装置、その制御方法及びプログラム | |
US20180217973A1 (en) | Systems and methods for creating multi-layered optical character recognition (ocr) documents | |
JP2013047887A (ja) | 画像処理装置及び画像処理プログラム | |
US20200311059A1 (en) | Multi-layer word search option | |
US20210182477A1 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
JP7268389B2 (ja) | 情報処理装置及びプログラム | |
JP7383882B2 (ja) | 情報処理装置、及び情報処理プログラム | |
US20200342249A1 (en) | Optical character recognition support system | |
JP6682827B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP2021028770A (ja) | 情報処理装置及び表認識方法 | |
JP7504674B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11763582B2 (en) | Information processing apparatus, control method of information processing apparatus, and non-transitory storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140114 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140408 |