JP2012146147A - 文書処理装置、及び文書処理プログラム - Google Patents
文書処理装置、及び文書処理プログラム Download PDFInfo
- Publication number
- JP2012146147A JP2012146147A JP2011004360A JP2011004360A JP2012146147A JP 2012146147 A JP2012146147 A JP 2012146147A JP 2011004360 A JP2011004360 A JP 2011004360A JP 2011004360 A JP2011004360 A JP 2011004360A JP 2012146147 A JP2012146147 A JP 2012146147A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- document
- processing
- ocr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】OCR認識結果の文字列が同じ画像の分類を行い、文字列に対応する画像の領域を重ね合わせて合成を行い、分類軸の文字列と合成画像の文字列の比較を行い、合成した画像すべてに対して一括で修正処理を行う。
【選択図】図23
Description
図1は、本発明の実施形態による文書処理装置の概略構成を示す機能ブロック図である。この文書処理装置は、確認と修正の処理を行う対象データが保存された記憶装置100と、データの入出力を行うための入出力装置104と、必要な演算処理及び制御処理等を行う中央処理装置(CPU)108と、中央処理装置108での処理に必要なプログラムを格納するプログラムメモリ109と、中央処理装置108での処理に必要なデータを格納するデータメモリ105と、を備えている。
図2は、記憶装置100に含まれる画像データ101の構成例を示す図である。画像データ101は、画像識別ID200と、帳票画像201と、を構成項目として有している。帳票画像201の欄には、図3に示されるような、ファイル形式のデータである画像(例えば、ビットマップ形式)が保持されている。
図3は、帳票画像201に格納された画像データの例を示す図である。この帳票は、顧客名・担当者名等が記載された表が含まれており、タイトル300と、発行元301と、顧客名302と、表303等で構成されている。図3の例では、業務帳票の一つである検収通知書である。タイトルが「検収通知書」、発行元が「情報ソリューション株式会社」、顧客名が「OCRソフト株式会社」等、各メンバの値となっている。
図4は、記憶装置100に含まれるメタデータ102の構成例を示す図である。図4Aに示すメタデータは、画像データ101に保存された画像のOCR認識結果の一部である。メタデータは、画像ID400と、認識文字列401と、文字切り分け条件402と、を構成項目として含んでいる。画像ID400は、OCR処理を行った画像の識別IDを保持する。認識文字列401は、OCRの文字認識結果を保持する。文字切り分け条件402は、403〜406に示す文字データを配列で保持する。図4Aの例では、画像識別IDが「1」の画像のOCRによる文字認識結果の一つが「OCRソフト株式会社」であり、各文字の情報が文字データで保持されている関係を示す。
図5は、記憶装置100に含まれる帳票形式データ103の構成例を示す図である。帳票形式データは、項目名500と、座標501と、幅502と、高さ503と、を構成項目として有している。また、帳票形式データは、情報500乃至503を1セットとして帳票項目数分の情報を有している。この帳票形式データは、記憶装置100に保持されている帳票画像201の帳票形式を定義している。
図6は、データメモリ105に含まれる二値化画像データ106の構成例を示す図である。図6Aは二値化画像データを示しており、画像ID600と、検索対象用画像601と、テンプレート用画像602と、を構成項目として含んでいる。
図7は、データメモリ105に含まれる合成座標データ107の構成例を示す図である。合成座標データは、どの画像とどの画像を比較したかを示しており、検索対象画像ID700と、テンプレート画像ID701と、文字702と、X座標703と、Y座標704と、を構成項目として含んでいる。
次に、上述の構成を有する文書処理装置において行われる処理について説明する。図8乃至図10は文書処理装置において行われる処理の概要を示すフローチャートである。これらのフローチャートにおける処理の主体は中央処理装置108とする。また、文書処理装置において実現する確認と修正の対象は、帳票の項目に対応した入力欄に入力された文字であり、帳票形式データ103で定義された領域のOCR認識結果の文字列となる。
図8は、文書処理の全体概要を説明するためのフローチャートである。まず、中央処理装置108は、画像データ分類部111を用いて、記憶装置100の画像データ101の分類を行う(ステップ800)。この分類によって生成されたクラスタをクラスタWとする。1度の処理で扱う画像の帳票形式は、すべて同一であるとする。この処理により、同じ文字列かつ同じ位置(帳票の同じ項目欄)にある認識文字列に対して、まとめて確認と修正の処理をステップ804の処理において行うことが可能となる。なお、画像データの分類処理は、メタデータを使ってどの画像のどの文字列を重ね合わせるかを判断するために行われる。例えば、貴社名が「OCRソフト株式会社」の帳票画像を集めてクラスタとする。そして、同じような文字列を有する帳票を振り分ける。当該実施形態では、固定帳票を用いており、フォーマットが決まっているが、図3における302の貴社名と304の貴社名のフォントサイズが異なる可能性がある。フォントサイズが異なると文字を重ねることができない。そこで、これらを正確に分類できるようにするために、各文字列の座標値も分類のための判断指標としている。この画像データ分類処理の詳細については、図11を用いて後述する。
図9は、ステップ804で行われる処理の詳細を説明するためのフローチャートである。この処理の対象とするデータは、図8におけるステップ801で表示した画面からユーザが選択したクラスタWとする。
図10は、ステップ906で行われる処理の詳細を説明するためのフローチャートである。
図11は、画像データ分類部処理の詳細を説明するための示すフローチャートである。この処理は、中央処理装置108と画像データ分類部111が協働して実行する処理であり、記憶装置100の画像データ101の分類を行う処理である。以下では、画像データ分類部111を動作主体として説明するが、中央処理装置108と読み替えることも可能である。
図12は、画像データ分類処理(図11)によって得られたクラスタWのデータ構造例を示す図である。クラスタWは、入力欄分類条件1200と、認識文字列分類条件1201と、クラスタ1202と、を構成項目として有している。 図12では、1つの表データが1つのクラスタに対応している。
図13は、確認修正文字列選択画面の構成例を示す図である。図13においては、画像データ分類処理(図11)で生成されたクラスタWの認識文字列分類条件の値が、リスト1300として表示される。
図15は、画像切出し処理の詳細を説明するためのフローチャートである。処理の対象は、図13の画面において、ユーザによって選択されたクラスタW内の画像データとする。この処理は、照合部113のテンプレートマッチングで使用するための2種類の画像の切出しを行う。画像から切出す領域は、クラスタWの分類軸である認識文字列の領域とする。以下では、画像切出し部112を動作主体として説明するが、中央処理装置108と読み替えることも可能である。
図17は、照合処理の詳細を説明するためのフローチャートである。処理対象は、画像切出し処理において生成された検索対象用画像とテンプレート用画像の2つとする。この処理は、クラスタWの分類軸である認識文字列の画像領域の類似度(各画像間のピクセルパターンの相関の強さ)の算出を行う。以下では、照合部113を動作主体として説明するが、中央処理装置108と読み替えることも可能である。
照合結果分類処理は、照合結果分類部114によって実行される処理であり、これによって、クラスタW内の画像データが、照合処理で求めた類似度を参照して分類される。当該照合結果分類処理によって、クラスタ内において文字の形状が異なる画像を分類することが可能である。
図20は、分類結果選択画面の構成例を示す図であり、上述の照合結果分類処理によって生成されたクラスタRをリスト2000で表示している。図20では、照合結果分類処理で生成されたクラスタRを、図13のリスト1300の更新を行い、文字列2001〜2003で表示している例が示されている。文字列2001〜2003をクラスタR1〜R3とすると、例えば、分類の閾値を0.8(上述の照合結果分類処理におけるクラスタW内において、各画像間の類似度(ピクセルパターンの相関係数)が0.8)とした場合、クラスタR1が各画像の類似度が閾値以上の関係をもつグループ、クラスタR2とクラスタR3も同様に前記相関関係(類似度が閾値以上の関係)をもつグループとすることができる。つまり各クラスタは、閾値以上の相関の強さの関係をもつ文字列を含むグループとすることができる。このように同じ内容の文字列であるにも拘わらず異なるクラスタに分類されるのは、例えば、各文字列において、フォント、サイズや文字飾りの有無等が異なる場合には類似度が異なってくるからである。
図21は、画像合成処理の詳細を説明するためのフローチャートである。以下では、画像合成部115を動作主体として説明するが、中央処理装置108と読み替えることも可能である。
図23は、確認修正画面の構成例を示す図である。確認修正画面は、合成画像2300と、バウンディングボックス2301、AND合成画像2302と、OR合成画像2303と、確認文字列2304と、修正文字列入力フォーム2305と、確認ボタン2306と、修正ボタン2307と、戻るボタン2308と、を構成項目として有する画面である。
次に、図23の確認修正画面上で文字列を修正する場合、ユーザは、修正文字列入力2305の入力フォームに修正文字列を入力する。
図26は、メタデータ修正処理の詳細を説明するためのフローチャートである。以下では、メタデータ修正部116を動作主体として説明するが、中央処理装置108と読み替えることも可能である。
図27は、画素値分類処理の詳細を説明するためのフローチャートである。以下では、画素値分類部117を動作主体として説明するが、中央処理装置108と読み替えることも可能である。
分類結果選択画面更新処理では、図20で示す分類結果選択画面において表示されているリスト2000の更新処理が行われる。この処理の動作主体は中央処理装置108であるとして以下説明する。
本発明の実施形態による文書処理装置では、例えば、各帳票から「ご担当者名」の欄の画像(図3では「大田太郎」)を分類し、同じグループに分類された画像を重ね合わせて合成処理を行い(図22参照)、AND画像とOR画像を生成する。このAND画像とOR画像及びOCR認識結果からの文字列を比較することで誤認識したものが含まれているかユーザが判断できるようにするものである。このようにすることにより、取り込んだ帳票のOCR認識結果を目視確認する作業の効率化と、対象とする画像の増加から影響を受ける確認工数の削減を利用者に提供することができる。なお、処理対象の文書は帳票形式の文書に限らず、いかなる種類の文書であっても良い。ただし、帳票出力の場合には座標情報によって各項目の画像データは特定できるため、他の種類の文書の場合にも、比較対象の少なくとも文書の部分画像を特定できるようにする必要がある。
101・・・画像データ
102・・・メタデータ
103・・・帳票形式データ
104・・・入出力装置
105・・・データメモリ
106・・・二値化画像データ
107・・・合成座標データ
108・・・中央処理装置
109・・・プログラムメモリ
110・・・画面表示部
111・・・画像データ分類部
112・・・画像切出し部
113・・・照合部
114・・・照合結果分類部
115・・・画像合成部
116・・・メタデータ修正部
117・・・画素値分類部
Claims (10)
- 複数の文書画像を取り込んで、OCR処理の認識結果の確認を可能にする文書処理装置であって、
前記複数の文書画像を格納する記憶装置と、
前記文書画像に対する前記OCR処理の認識結果を表示装置の画面上に表示するプロセッサと、を有し、
前記プロセッサは、前記複数の文書画像に対して重ね合わせ処理を実行して重ね合わせ画像を生成し、前記重ね合わせ処理の対象に対応する前記OCR処理の認識結果と、前記重ね合わせ画像を前記画面上に表示することを特徴とする文書処理装置。 - 請求項1において、
前記記憶装置は、前記複数の文書画像として、それぞれの文書画像が複数の項目を含む所定フォーマットで構成される複数の文書画像を格納し、
前記プロセッサは、前記複数の文書画像に含まれる同一項目の画像に対して重ね合わせ処理を実行して重ね合わせ画像を生成し、前記重ね合わせ処理の対象の項目に対応する前記OCR処理の認識結果と、前記重ね合わせ画像を前記画面上に表示することを特徴とする文書処理装置。 - 請求項2において、
前記プロセッサは、前記重ね合わせ処理によって、前記同一項目のAND画像とOR画像を生成し、前記OCR処理の認識結果と、前記AND画像及び前記OR画像を前記画面上に表示することを特徴とする文書処理装置。 - 請求項2において、
前記プロセッサは、前記重ね合わせ処理の対象の項目を有する前記文書画像全体の合成画像と、前記重ね合わせ処理の対象となっている項目が何であるかを示す情報を併せて前記画面上に表示することを特徴とする文書処理装置。 - 請求項2において、
前記記憶装置は、さらに、前記複数の文書画像に対応する文書における各項目の位置を示す座標情報と、当該各項目におけるOCR認識文字列情報を格納し、
前記プロセッサは、前記複数の文書画像を、前記座標情報と前記OCR認識文字列情報を基準にして複数のクラスタに分類し、同一クラスタに含まれる項目の画像に対して前記重ね合わせ処理を実行することを特徴とする文書処理装置。 - 請求項3において、
前記AND画像と前記OR画像に相違点が存在する場合、前記プロセッサは、ユーザによる前記相違点に対応する画素の選択を検知すると、当該選択された画素の値を分類軸として前記重ね合わせ処理に用いた項目の画像をさらにクラスタ分類し、同一クラスタに含まれる画像に対して前記重ね合わせ処理を再実行してAND画像とOR画像を生成し、前記OCR処理の認識結果と、前記重ね合わせ処理の再実行結果である前記AND画像及び前記OR画像を前記画面上に表示することを特徴とする文書処理装置。 - 請求項5において、
前記プロセッサは、ユーザの修正要求に応答して前記画面上に表示された前記OCR処理の認識結果を一括して修正し、或いは、前記ユーザの確認入力に応答して前記OCR処理の認識結果を一括して確定することを特徴とする文書処理装置。 - 請求項7において、
前記プロセッサは、さらに、前記複数のクラスタの情報を前記画面上に一覧表示すると共に、各クラスタにおける前記OCR処理の認識結果が確認済、修正済、或いは未処理であることを示す処理種別情報を表示することを特徴とする文書処理装置。 - 請求項2において、
前記プロセッサは、前記重ね合わせ処理によって、対象の文書画像を重ね合わせ、当該文書画像の各座標において画素値が同じである画素数をカウントし、当該画素数に従って前記重ね合わせ画像の各画素の表示態様を変化させて、前記重ね合わせ画像を前記画面上に表示することを特徴とする文書処理装置。 - 取り込んだ複数の文書画像に対するOCR処理の認識結果の正誤確認を可能にする文書処理プログラムであって、
前記記憶装置は、前記複数の文書画像のそれぞれが複数の項目を含む所定フォーマットで構成される複数の文書画像を格納する記憶装置から、処理対象の複数の文書画像を読み出させる機能と、
前記読み出した複数の文書画像に含まれる同一項目の画像に対して重ね合わせ処理を実行して重ね合わせ画像を生成させる機能と、
前記重ね合わせ処理の対象の項目に対応する前記OCR処理の認識結果と、前記重ね合わせ画像を表示装置の画面上に表示させる機能と、
を実現させる文書処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011004360A JP5657401B2 (ja) | 2011-01-12 | 2011-01-12 | 文書処理装置、及び文書処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011004360A JP5657401B2 (ja) | 2011-01-12 | 2011-01-12 | 文書処理装置、及び文書処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012146147A true JP2012146147A (ja) | 2012-08-02 |
JP5657401B2 JP5657401B2 (ja) | 2015-01-21 |
Family
ID=46789647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011004360A Expired - Fee Related JP5657401B2 (ja) | 2011-01-12 | 2011-01-12 | 文書処理装置、及び文書処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5657401B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020052502A (ja) * | 2018-09-25 | 2020-04-02 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
CN114489406A (zh) * | 2022-01-30 | 2022-05-13 | 广州宏途数字科技有限公司 | 用于教学服务的信息录入方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63204487A (ja) * | 1987-02-20 | 1988-08-24 | Nippon Telegr & Teleph Corp <Ntt> | 文字読取方法 |
JPH06180768A (ja) * | 1992-12-14 | 1994-06-28 | Toshiba Corp | 補正処理におけるコード/イメージ表示方式 |
JPH08221558A (ja) * | 1995-02-17 | 1996-08-30 | Mitsubishi Electric Corp | 文書ファイリング方法及び装置 |
JP2005309608A (ja) * | 2004-04-19 | 2005-11-04 | Internatl Business Mach Corp <Ibm> | 文字認識結果出力装置、文字認識装置、その方法及びプログラム |
JP2006126942A (ja) * | 2004-10-26 | 2006-05-18 | Canon Inc | 文書処理システム、情報処理装置、文書処理方法、及び制御プログラム |
JP2009025856A (ja) * | 2007-07-17 | 2009-02-05 | Hitachi Computer Peripherals Co Ltd | 帳票識別プログラム及び帳票識別装置 |
-
2011
- 2011-01-12 JP JP2011004360A patent/JP5657401B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63204487A (ja) * | 1987-02-20 | 1988-08-24 | Nippon Telegr & Teleph Corp <Ntt> | 文字読取方法 |
JPH06180768A (ja) * | 1992-12-14 | 1994-06-28 | Toshiba Corp | 補正処理におけるコード/イメージ表示方式 |
JPH08221558A (ja) * | 1995-02-17 | 1996-08-30 | Mitsubishi Electric Corp | 文書ファイリング方法及び装置 |
JP2005309608A (ja) * | 2004-04-19 | 2005-11-04 | Internatl Business Mach Corp <Ibm> | 文字認識結果出力装置、文字認識装置、その方法及びプログラム |
JP2006126942A (ja) * | 2004-10-26 | 2006-05-18 | Canon Inc | 文書処理システム、情報処理装置、文書処理方法、及び制御プログラム |
JP2009025856A (ja) * | 2007-07-17 | 2009-02-05 | Hitachi Computer Peripherals Co Ltd | 帳票識別プログラム及び帳票識別装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020052502A (ja) * | 2018-09-25 | 2020-04-02 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP7271889B2 (ja) | 2018-09-25 | 2023-05-12 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
CN114489406A (zh) * | 2022-01-30 | 2022-05-13 | 广州宏途数字科技有限公司 | 用于教学服务的信息录入方法及系统 |
CN114489406B (zh) * | 2022-01-30 | 2023-03-10 | 广州宏途数字科技有限公司 | 用于教学服务的信息录入方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP5657401B2 (ja) | 2015-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9613267B2 (en) | Method and system of extracting label:value data from a document | |
US20120083294A1 (en) | Integrated image detection and contextual commands | |
JP4347677B2 (ja) | 帳票ocrプログラム、方法及び装置 | |
US9349046B2 (en) | Smart optical input/output (I/O) extension for context-dependent workflows | |
JP4661921B2 (ja) | 文書処理装置およびプログラム | |
US20090226090A1 (en) | Information processing system, information processing apparatus, information processing method, and storage medium | |
CN111310426A (zh) | 基于ocr的表格版式恢复方法、装置及存储介质 | |
US11727701B2 (en) | Techniques to determine document recognition errors | |
CN112487859A (zh) | 信息处理装置、信息处理方法和计算机可读介质 | |
JP6579456B1 (ja) | 検索対象情報絞込システム | |
US20210279460A1 (en) | Information processing system, information processing method, and non-transitory recording medium | |
JP5657401B2 (ja) | 文書処理装置、及び文書処理プログラム | |
KR20180126352A (ko) | 이미지로부터 텍스트 추출을 위한 딥러닝 기반 인식장치 | |
JP5353325B2 (ja) | 文書データ生成装置と文書データ生成方法 | |
JP2013073608A (ja) | 文書処理装置、及び文書処理方法、並びにプログラム | |
JP4935459B2 (ja) | 文字認識方法、文字認識プログラムおよび文字認識装置 | |
JP2017111500A (ja) | 文字認識装置及びプログラム | |
JP2020087112A (ja) | 帳票処理装置および帳票処理方法 | |
US11335108B2 (en) | System and method to recognise characters from an image | |
JP2021140831A (ja) | 帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラム | |
CN114529933A (zh) | 一种合同数据差异性的比对方法、装置、设备和介质 | |
JP4347675B2 (ja) | 帳票ocrプログラム、方法及び装置 | |
US11256760B1 (en) | Region adjacent subgraph isomorphism for layout clustering in document images | |
CN113806472A (zh) | 一种对文字图片和图像型扫描件实现全文检索的方法及设备 | |
JP2009181225A (ja) | Ocr装置、証跡管理装置及び証跡管理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130724 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140623 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5657401 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |