JP2006011746A - 文書画像処理装置、文書画像処理プログラム、文書画像処理方法 - Google Patents
文書画像処理装置、文書画像処理プログラム、文書画像処理方法 Download PDFInfo
- Publication number
- JP2006011746A JP2006011746A JP2004186865A JP2004186865A JP2006011746A JP 2006011746 A JP2006011746 A JP 2006011746A JP 2004186865 A JP2004186865 A JP 2004186865A JP 2004186865 A JP2004186865 A JP 2004186865A JP 2006011746 A JP2006011746 A JP 2006011746A
- Authority
- JP
- Japan
- Prior art keywords
- document
- text data
- image
- character string
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【解決手段】 複数の図表と、それら図表と関連する文章とが混在する文書群をスキャンして文書画像データ化する。そして、文書画像データに含まれる文章をテキストデータ化する一方で、図表はイメージデータとしてそのまま切り出す。更に、同じ図番を内包しているテキストデータと図表のイメージデータとを対応付け、対応付けられたテキストデータが示す文字列と図表とが同時に表示されるようにレイアウトし直された文書画面を表示する。
【選択図】 図1
Description
例えば、特許文献1には、文書画像から得たテキストデータが示す文字列のレイアウト変更を好適に支援する文書画像処理装置が開示されている。同文献によると、この文書画像処理装置は、入力された文書画像のレイアウト構造を解析し、レイアウト構成要素とその位置サイズ情報とを取得する。レイアウト構成要素とは各段落毎に纏められたテキストデータ等を意味し、位置サイズ情報とは各レイアウト構成要素の配置位置と大きさを表すデータを意味する。同装置は、このレイアウト構成要素と位置サイズ情報を基に再現した元の文書を表示したあと、オペレータからのレイアウト変更指示を受け付ける。そして、画面サイズと位置サイズ情報を基に、オペレータの指示内容に合致する新たなレイアウトを求め、この新たなレイアウトに従って加工された文書を再表示する。
本発明はこのような問題を解決すべく案出されたものであり、テキストデータ化されるべき文章の他に図や表などが記された文書をスキャンし、図や表とそれらに関連する文章の対応関係が容易に把握されるようなレイアウトの文書画面を提示する装置を提供することを目的とする。
この態様において、前記テキストデータへの変換を要しない情報を、図、表又は写真としてもよい。
上述した態様において、前記割付制御手段は、前記切り出された画像を割り付けると共に、文書画面において前記画像が割り付けられていない描画領域を特定し、前記割り付けた画像に含まれるものと同じ識別子が検出された前記文字列を、その文字列のすべてが前記特定した描画領域に収まる文字サイズで割り付けるようにしてもよい。
以下、図面を参照しつつ、本願発明の第1実施形態に係る文書画像処理装置について説明する。以降の説明において、「図表」なる用語は、図及び表を総称する意味で用い、「文書」なる用語は、図表又は文章の一方又は両方が記された一枚の原稿の意味で用いる。「段組構成要素」なる用語は、原稿の紙面の一画を占める領域の内部に記された一纏まりの文章又は図表の意味で用いる。また、「図番」なる用語は、図又は表を一意に識別する番号を含んだ文字列を意味し、例えば「図1」や「図2」などが該当する。
ここで、本実施形態に係る文書画像処理装置は、図番が一部に記された複数の図表と、それら各図表の図番を含んだ文章とが混在する一組の文書群をその処理対象として想定する。
ハードディスク40には、図示しないOS(operating system)の他、文書画像処理プログラムを予め記憶している。このプログラムをOS上で実行することにより、CPU10には、本実施形態に特有の機能が付与される。
a レイアウト解析部
このモジュールは、画像インターフェースから入力される画像から、各段組構成要素の描画領域を夫々特定する。
b OCR処理部
このモジュールは、レイアウト解析部11が特定した各描画領域からテキストデータへの変換を要する情報である文章が記された描画領域を抽出し、抽出した描画領域内の画像に対して文字認識処理を施すことで、各描画領域毎のテキストデータを取得する。
c 図表切出部
このモジュールは、レイアウト解析部11が特定した各描画領域から、テキストデータへの変換を要しない情報である図表が記された描画領域を抽出し、抽出した描画領域内の画像を切り出す。そして、切り出した画像から図番を検出する。
d 図番文字列探索部
このモジュールは、OCR処理部12によって取得された各テキストデータから、図番を含むテキストデータを探索する。
e 図表/番号対応付け部
このモジュールは、同じ図番を内包している図表の画像とテキストデータとを対応付ける。
f レイアウト再構成部
このモジュールは、図表/番号対応付け部15が同じ図番を内包するものとして対応付けた画像と文字列のセットを同時に表示させるべく、コンピュータディスプレイ50に順次出力される一連の文書画面の割り付け態様を制御する。
図3は、レイアウト解析処理を示すフローチャートである。この処理は、レイアウト解析部11、OCR処理部12、図表切出部13の各機能モジュールが作用することで実行される。
この処理は、一組の文書群を各文書毎に走査して得られた一連の文書画像データが図示しないスキャナ装置から供給されたことをトリガーとして開始される。
CPU10は、ステップ110で読み出した文書画像データから、各段組構成要素の描画領域を夫々特定する(S120)。具体的には、文書画像における黒画素群の外接矩形を抽出し、抽出した各矩形に囲まれた領域を段組構成要素の描画領域として特定する。
CPU10は、ステップ130にて文章が記された領域に区分された描画領域内の画像を解析してテキストデータを取得する(S140)。取得されたテキストデータの各々は、テキストデータであることを示す「tex」の拡張子を関連付けたファイルとしてハードディスク40に記憶される。なお、これらのテキストデータの各ファイルは、文字サイズを示すサイズ情報を夫々内包する。また、各テキストデータのファイルには、割付順序を示す文字列がファイル名として付与される。例えば、最初に取得された文書画像データの一番上段にある段組構成要素から取得されたテキストデータのファイルであれば、最初に割り付けられるべきことを示す「1.tex」というファイル名が付与され、その下の段にある段組構成要素から取得されたテキストデータのファイルであれば、「2.tex」というファイル名が付与される。
CPU10は、ステップ110乃至ステップ150の処理を施していない他の文書画像データがハードディスク40に記憶されている場合、別の文書画像データを処理対象としてステップ110以降の処理を実行する。一方、処理を施していない文書画像データが無い場合、レイアウト解析処理が終了し、続いて対応付け処理が開始される。
この処理において、CPU10は、ハードディスク40に記憶された各図表画像データから処理対象となる図表画像データを特定し、特定した図表画像データをRAM20へ読み出す(S200)。処理対象となる図表画像データの特定は、ハードディスク40に記憶された順序に従って行なわれる。CPU10は、ステップ200で読み出した図表画像データから図番を検出する(S210)。次に、CPU10は、ステップ210で検出した図番を含んでいるテキストデータをハードディスク40からRAM20へ読み出す(S220)。即ち、「tex」の拡張子と関連付けてハードディスク40に記憶されている各ファイルを参照し、図表画像データから検出された図番を一部に含んだ文章のテキストデータを一意に特定してそのファイルをRAM20へ読み出す。
本処理が実行される間、RAM20の一部には、文字列や図表を割り付けて得られる文書画面の画面番号を一時的に記憶する記憶領域と、文書画面の残余面積を一時的に記憶する記憶領域とが確保される。残余面積とは、1ページに相当する文書画面の全画素面積のうち、文字列又は図表を割り付けることができる残りの画素面積を意味する。本処理では、テキストデータが示す文字列や図面画像データが示す図表の割付位置を決定する毎に、割り付けた文字列や図表が画面内において占めるであろう領域の面積を残余面積から減じて行く。そして、割付位置を決定すべき文字列や図表の面積よりも残余面積が小さくなると、画面番号を1つ増加させると共に残余面積を最大値に初期化する。つまり、本処理では、ある文書画面の残余面積に文字や図表を割り付けるスペースがなくなる毎に、その次の1ページとして表示されるべき別の文書画面に割付対象を順次移行していく。
ステップ320の判断結果が「YES」となった場合、文字列と図表とをセットとして割り付け位置を決定するため、ステップ330以降の処理が実行される。一方で、ステップ320の判断結果が「NO」となった場合、文字列単独で割付位置を決定するため、ステップ400以降の処理が実行される。
CPU10は、求めた合計面積がRAM20に記憶されている残余面積よりも小さいか否か判断する(S350)。
ステップ350の判断結果が「YES」となったとき、CPU10は、文字列と図表の割付位置を決定する(S380)。このステップでは、図表と文字列とが隣り合うように各々の割付位置を決定し、その際、文字列の行数を、文字列の横幅が図表の隣の空き領域に収まるように適宜調節する。そして、RAM20に記憶されている残余面積からステップ340で求めた合計面積を減じる(S390)。
ステップ400にて、CPU10は、ステップ310で特定したテキストデータが示す全文字列が画面内において占めるであろう領域の面積を求める。そして、求めた面積がRAM20に記憶されている残余面積よりも小さいか否か判断する(S410)。
ステップ410の判断結果が「YES」となったとき、CPU10は、文字列の割付位置を決定する(S420)。そして、RAM20に記憶されている残余面積からステップ400で求めた面積を減じる(S430)。
また、ステップ410の判断結果が「NO」となったときは、上述したステップ360及びステップ370の処理が実行された後、ステップ420の処理へ進む。
続いて、図4に示した対応付け処理を実行すると、段組構成要素eの描画領域から得られたテキストデータと段組構成要素hの描画領域から得られた図表画像データとが対応付けられ、また、段組構成要素gの描画領域から得られたテキストデータと段組構成要素iの描画領域から得られた図表画像データとが対応付けられる。
図7は、図6の文書群について生成された文書画面レイアウト情報を基に生成した文書画面の一例を示す図である。この図は、図6(a)と(b)に示した2枚の文書を、2ページ分に相当する文書画面として表示した状態を示すものである。最初に表示される文書画面である図7(a)の1番下の段には、「図1」を含む文字列と図表とが隣り合わせて表示されている。また、その次に表示される文書画面である図7(b)の上から2つ目の段には、「図2」を含む文字列と図表とが隣り合わせて表示されている。つまり、レイアウト再構成処理により得られた文書画面レイアウト情報に基づいて生成される一連の文書画面では、同じ図番を含む文字列と図表とが、常に同時に表示されることになる。
上記実施形態では、文字列と図表のセットの割付位置を決定する際、文字列と図表の合計面積を求め、求めた合計面積が残余面積よりも大きい場合、つまり空き領域に収まりきらない場合には、その文字列と図表のセットを新たな別の文書画面に割り付けるような取扱となっていた。これに対し、本実施形態では、文字列と図表の合計面積が残余面積よりも大きい場合は、図面と文字列の合計面積を残余面積と一致させるべく、図表を縮小化する。
本実施形態に係る文書画像処理装置のハードウェア構成は第1実施形態と同様なので、ここでは再度の説明を割愛する。
図8は、本実施形態におけるレイアウト再構成処理の内容を示すフローチャートである。第1実施形態では、図5に示した350の判断結果が「NO」となった場合、つまり、図表と文字列のセットが残余面積に収まりきらないと判断された場合、ステップ360乃至ステップ390の一連の処理が行われるが、本実施形態では、これらの処理がステップ361乃至ステップ371の処理に置き換わっている。
本願に係る発明は、種々の変形実施が可能である。
上記実施形態では、対応付けが成された文字列と図表とが隣り合うように割り付け位置が決定されるようになっていたが、図表と、その図表と関連する文章の文字列とが同時に参照されるようになっていれば、必ずしも隣に配される必要はない。例えば、図9(a)に示す文書は、「図1」を含む文章と「図2」を含む文章が記されると共に、「図1」を含む図表が記されている。一方で、図9(b)は「図2」を含む図表のみが記されている。このような両文書からなる文書群を処理対象とし、図10に示すような一枚の文書画面を生成してもよい。この図に示す文書画面では、上記実施形態のように同じ図番を含む文字列を図表とを隣り合わせて割り付けるのではなく、「図1」を含む図表の右隣に「図2」を含む図表を割り付け、更に、両図表の上には「図1」を含む文章の文字列を、両図表の下には「図2」を含む文章の文字列をそれぞれ割り付けてなる。このように割付態様を制御することで、本来であれば2ページに渡って表示されるべき文書群の内容を1ページに収めることができる。
また、図表だけでなく、「注1」、「注2」などの文字列を冒頭に含む注釈や写真などを文章と対応付けてもよい。注釈の場合はこれをイメージデータとして切出したものを文章のテキストデータと対応付けてもよいし、注釈そのものをテキストデータに変換して対応付けを行ってもよい。
Claims (7)
- 一又は複数の段組で情報が記された文書の文書画像を入力する入力手段と、
前記入力された文書画像から、各段組構成要素の描画領域を夫々特定する特定手段と、
前記各段組構成要素の描画領域の画調を基に、それらの各描画領域を、テキストデータへの変換を要する情報が記された第1の領域とテキストデータへの変換を要しない情報が記された第2の領域とに区分する区分手段と、
前記第1の領域に区分された各描画領域内の画像を解析してテキストデータを夫々取得するテキストデータ取得手段と、
前記第2の領域に区分された各描画領域内の画像を前記文書画像から夫々切り出す切出手段と、
前記テキストデータが示す文字列と前記切り出した画像とを割り付けて得られる一連の文書画面を順次表示する表示手段と、
第1の領域に記された情報と第2の領域に記された情報との対応付けを示す所定の識別子を前記取得されたテキストデータが示す文字列及び前記切り出された画像から検出し、同じ識別子を含む文字列と画像とを同時に表示させるべく前記各文書画面における割り付けの態様を制御する割付制御手段と
を備えた文書画像処理装置。 - 請求項1記載の文書画像処理装置において、
前記テキストデータへの変換を要しない情報は、図、表又は写真である
文書画像処理装置。 - 請求項2記載の文書画像処理装置において、
前記割付制御手段は、
前記図、表又は写真を識別する番号を前記取得されたテキストデータが示す文字列及び前記切り出された画像から検出し、同じ番号を含む文字列と画像とを同時に表示させるべく前記各文書画面における割り付けの態様を制御する
文書画像処理装置。 - 請求項1記載の文書画像処理装置において、
前記テキストデータ取得手段は、
文字サイズを示すサイズ情報を前記テキストデータと併せて取得し、
前記割付制御手段は、
前記テキストデータが示す文字列を、当該テキストデータと併せて取得したサイズ情報が示す文字サイズで割り付けると共に、文書画面において前記文字列が割り付けられていない描画領域を特定し、前記割り付けた文字列に含まれるものと同じ識別子が検出された前記画像を前記特定した描画領域に収まる画像サイズに縮小又は拡大して割り付ける
文書画像処理装置。 - 請求項1記載の文書画像処理装置において、
前記割付制御手段は、
前記切り出された画像を割り付けると共に、文書画面において前記画像が割り付けられていない描画領域を特定し、前記割り付けた画像に含まれるものと同じ識別子が検出された前記文字列を、その文字列のすべてが前記特定した描画領域に収まる文字サイズで割り付ける
文書画像処理装置。 - 一又は複数の段組で情報が記された文書の文書画像を入力する入力手段と、
情報の表示手段と
を備えたコンピュータ装置に、
前記入力手段を介して入力された文書画像から、各段組構成要素の描画領域を夫々特定する特定機能と、
前記各段組構成要素の描画領域の画調を基に、それらの各描画領域を、テキストデータへの変換を要する情報が記された第1の領域とテキストデータへの変換を要しない情報が記された第2の領域とに区分する区分機能と、
前記第1の領域に区分された各描画領域内の画像を解析してテキストデータを夫々取得するテキストデータ取得機能と、
前記第2の領域に区分された各描画領域内の画像を前記文書画像から夫々切り出す切出機能と、
前記テキストデータが示す文字列と前記切り出した画像とを割り付けて得られた一連の文書画面を前記表示手段へ順次出力する出力機能と、
第1の領域に記された情報と第2の領域に記された情報との対応付けを示す所定の識別子を前記取得されたテキストデータが示す文字列及び前記切り出された画像から検出し、同じ識別子を含む文字列と画像とを同時に表示させるべく前記各文書画面における割り付けの態様を制御する割付制御機能と
を実現させるプログラム。 - 一又は複数の段組で情報が記された文書の文書画像を入力する入力手段と、
情報の表示手段と
を備えた装置による文書画像処理方法であって、
前記入力手段を介して入力された文書画像から、各段組構成要素の描画領域を夫々特定する特定工程と、
前記各段組構成要素の描画領域の画調を基に、それらの各描画領域を、テキストデータへの変換を要する情報が記された第1の領域とテキストデータへの変換を要しない情報が記された第2の領域とに区分する区分工程と、
前記第1の領域に区分された各描画領域内の画像を解析してテキストデータを夫々取得するテキストデータ取得工程と、
前記第2の領域に区分された各描画領域内の画像を前記文書画像から夫々切り出す切出工程と、
前記テキストデータが示す文字列と前記切り出した画像とを割り付けて得られた一連の文書画面を前記表示手段へ順次出力する出力工程と、
第1の領域に記された情報と第2の領域に記された情報との対応付けを示す所定の識別子を前記取得されたテキストデータが示す文字列及び前記切り出された画像から検出し、同じ識別子を含む文字列と画像とを同時に表示させるべく前記各文書画面における割り付けの態様を制御する割付制御工程と
を有する文書画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004186865A JP2006011746A (ja) | 2004-06-24 | 2004-06-24 | 文書画像処理装置、文書画像処理プログラム、文書画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004186865A JP2006011746A (ja) | 2004-06-24 | 2004-06-24 | 文書画像処理装置、文書画像処理プログラム、文書画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006011746A true JP2006011746A (ja) | 2006-01-12 |
Family
ID=35778955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004186865A Pending JP2006011746A (ja) | 2004-06-24 | 2004-06-24 | 文書画像処理装置、文書画像処理プログラム、文書画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006011746A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010157085A (ja) * | 2008-12-26 | 2010-07-15 | Fujitsu Ltd | 文書表示装置、携帯端末装置、文書表示方法及び文書表示プログラム |
JP2016167148A (ja) * | 2015-03-09 | 2016-09-15 | コニカミノルタ株式会社 | 情報処理装置、情報処理プログラムおよび記録媒体 |
-
2004
- 2004-06-24 JP JP2004186865A patent/JP2006011746A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010157085A (ja) * | 2008-12-26 | 2010-07-15 | Fujitsu Ltd | 文書表示装置、携帯端末装置、文書表示方法及び文書表示プログラム |
JP2016167148A (ja) * | 2015-03-09 | 2016-09-15 | コニカミノルタ株式会社 | 情報処理装置、情報処理プログラムおよび記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8726178B2 (en) | Device, method, and computer program product for information retrieval | |
JP5111268B2 (ja) | 画像処理装置、画像処理方法、そのプログラムおよび記憶媒体 | |
CN101558425B (zh) | 图像处理设备和图像处理方法 | |
US7528986B2 (en) | Image forming apparatus, image forming method, program therefor, and storage medium | |
US20040218838A1 (en) | Image processing apparatus and method therefor | |
US6351559B1 (en) | User-enclosed region extraction from scanned document images | |
JPH09120460A (ja) | 書類から記事を抽出する装置および方法 | |
US20060285748A1 (en) | Document processing device | |
JP4574313B2 (ja) | 画像処理装置および方法 | |
JP2008140377A (ja) | 情報検索装置、方法およびプログラム | |
JP2010123002A (ja) | 文書画像レイアウト装置 | |
JP4747780B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2004363786A (ja) | 画像処理装置 | |
US20060023235A1 (en) | Image processing apparatus, image forming apparatus, method for searching processed document, program for searching processed document, and recording medium | |
JP2008108114A (ja) | 文書処理装置および文書処理方法 | |
JP5098614B2 (ja) | 文章処理装置の制御方法および文章処理装置 | |
EP1061460B1 (en) | Partial image forming method and apparatus for filing documents | |
JP2006011746A (ja) | 文書画像処理装置、文書画像処理プログラム、文書画像処理方法 | |
JP2006333248A (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
JP4952079B2 (ja) | 画像処理装置、方法及びプログラム | |
JP4501731B2 (ja) | 画像処理装置 | |
JP2006252455A (ja) | ファイル管理装置、ファイル管理方法及びファイル管理プログラム | |
JP2007011683A (ja) | 文書管理支援装置 | |
CN112446373A (zh) | 识别转换图像文件的方法、系统、计算机设备及存储介质 | |
JP2005149323A (ja) | 画像処理システム及び画像処理装置並びに画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090901 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091015 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100119 |