JP2013239187A - 編集装置、編集方法、及びプログラム - Google Patents

Abstract

【課題】文書画像を構造化して文書要素の場所情報を取得し、場所情報を参照して文書要素を配置することで文書画像を表示し、利用者による文書要素の選択指示と削除指示を受け付けた文書画像に対して、その後の文書要素の再配置を行う。
【解決手段】文書画像を、文書を構成する文書要素に分解して構造化データとして構造化する構造化部１０２と、構造化データを格納する構造化データ格納部１０３と、文書要素を文書画像と同じレイアウトに配置し、レイアウトされた文書要素をプレビュー表示するプレビュー表示部１０４と、プレビュー表示された文書要素の中から利用者による文書要素の選択及び、選択された文書要素の利用者による編集を受け付ける編集部１０５と、文書要素の編集を受け付けた場合に、文書要素を再配置する文書要素再配置部１０６と、を備える。
【選択図】図１

Description

本発明は、文書画像の内容を編集する文書画像編集装置、文書画像編集方法、文書画像編集プログラム、及びその方法をコンピュータに実行させるプログラムを記憶したコンピュータ読み取り可能な記録媒体に関わる。

従来、電子文書にある文書要素の削除や移動の編集作業を実行すると、アプリケーションが自動的に各文書要素の位置を整形する機能を提供する。これは、電子文書の文書要素の場所情報と、その場所に存在する文書内容と、が分離されて管理されているためである。

しかし、文書画像の場合、電子文書と異なり、文書要素の場所情報と文書内容とに分離されていない。よって、文書要素の削除や移動を行う場合は、画像編集ソフトを使用することにより、利用者による文書要素の領域の削除作業や移動作業を実行することができる。しかし、文書要素の領域を削除すると、削除した領域が空白領域となるため、空白領域に移動可能な文書要素を、他の領域にある文書要素から探索し移動する作業が発生する。また、空白領域に文書要素を移動させることで、更に文書要素の空白が生成されるため、文書要素を空白領域に移動する作業を利用者により繰り返し行わせるため、編集作業の利便性が悪い。文書要素の領域を移動する場合も同様である。

上記の問題を解決するため、例えば、文書要素を配置して文書を作成する際に、空の文書要素が生成された場合、自動的に削除するという技術が知られている（特許文献１参照）。

また、文書要素を配置して文書作成する場合に、利用者による任意の位置への文書要素の移動を受け付け、自動的に各文書要素の位置を整形するという技術が知られている（特許文献２参照）。

しかしながら、特許文献１に開示された発明では、文書要素を自動的に削除することができるのは、構造化文書の作成時に限られるという問題がある。

また、特許文献２に開示された発明では、移動を受け付ける文書要素の単位がページ単位であり、各ページに存在する図や表や文字等の各文書要素の移動処理を行うことができないという問題がある。

本発明は、上記に鑑みてなされたものであって、構造化文書の文書要素の削除や移動による再配置を常時可能として、利用者の利便性を向上させることができる文書画像編集装置、文書画像編集方法、および文書画像編集プログラムを提供することを目的とする。

文書画像を、文書を構成する文書要素に分解して構造化文書として構造化する構造化手段と、前記構造化文書を格納する構造化文書格納手段と、前記文書要素を前記文書画像と同じレイアウトに配置し、レイアウトされた前記文書要素をプレビュー表示するプレビュー表示手段と、プレビュー表示された前記文書要素の中から利用者による前記文書要素の選択及び、選択された前記文書要素の利用者による編集を受け付ける文書編集手段と、前記文書要素の編集を受け付けた場合に、前記文書要素を再配置する文書要素再配置手段と、を備えることを特徴とする。

本発明によれば、文書画像を構造化して構造化文書にすることで、この構造化文書の利用者による文書要素の選択を受け付け、選択した文書要素に対して編集を行うことにより、生成された空白領域に、文書要素の削除や移動による再配置の処理を行うことにより、構造化文書の文書要素の削除や移動による再配置を常時可能として、利用者の利便性を向上させることができるという効果を奏する。

図１は、本発明の第１の実施の形態にかかる文書画像編集装置の構成を示すブロック図である。 図２は、構造化を行う前の文書画像の一例を示す説明図である。 図３は、構造化を行った文書画像の一例を示す説明図である。 図４は、文書要素の属性により文書画像を構造化した一例を示す説明図である。 図５は、各文書要素の構造的な階層関係により、文書画像を構造化した一例を示す説明図である。 図６は、ディスプレイに表示されるプレビュー画像表示の一例を示した図である。 図７は、文書要素を再配置した文書画像の一例を示す説明図である。 図８は、第１の実施の形態にかかる文書画像編集装置１００における選択文書の構造化から文書要素の削除と文書要素の再配置までの処理手順を示すフローチャートである。 図９は、構造化部１０２が行う、選択された文書画像を構造化する処理手順を示すフローチャートである。 図１０は、文書要素再配置部１０６が行う文書要素を再配置する処理手順を示すフローチャートである。 図１１は、本発明の第２の実施の形態にかかる文書画像編集装置の構成を示すブロック図である。 図１２は、文字要素分割の処理前の一例を示す説明図である。 図１３は、文字要素分割の処理後の一例を示す説明図である。 図１４は、空白領域の次の読み順に移動不可能な文書要素が存在する場合の、文字要素分割の処理前の一例を示す説明図である。 図１５は、文書要素再配置部１０６が行う文書要素を再配置する処理手順を示すフローチャートである。 図１６は、文書要素を移動するために文書要素を再配置した結果の一例を示す説明図である。 図１７は、文書要素再配置部１０６が行う文書要素を再配置する処理手順を示すフローチャートである。 図１８は、第１〜第４の実施形態の文書画像編集装置のハードウェア構成を示した図である。 図１９は、本発明の第５の実施の形態にかかる文書画像編集装置１９００の機能的構成を示すブロック図である。 図２０は、スキャンする原稿の一例を示す図である。 図２１は、不要な文書要素を削除して印刷枚数を削減した出力紙の一例を示す図である。 図２２は、第１の実施の形態の形態にかかる文書画像編集装置１９００における選択文書の構造化から文書要素の削除と文書要素の再配置までの処理手順を示すフローチャートである。 図２３は、複合機のハードウェア構成を示すブロック図である。

以下に添付図面を参照して、この発明にかかる文書画像編集装置、文書画像編集方法の最良な実施の形態を詳細に説明する。

（第１の実施の形態）
本発明の第１の実施の形態として、本発明の文書画像編集装置をＰＣアプリケーションとして実装した例について説明する。

図１は、本発明の第１の実施の形態にかかる文書画像編集装置の構成を示すブロック図である。文書画像編集装置１００は、文書選択部１０１と構造化部１０２と構造化データ格納部１０３とプレビュー表示部１０４と編集部１０５と文書要素再配置部１０６を備える。

文書選択部１０１は、利用者による文書画像の表示と選択を受け付ける部分であり、文書画像選択部１０７と構造化有無検知部１０８を備える。文書画像選択部１０７は、表示と編集を行う文書画像を選択する。構造化有無検知部１０８は、選択した文書画像が構造化されているか否かを判断する。選択した文書画像が構造化されていない場合、文書画像を構造化するために、文書画像が構造化部１０２に送出される。

構造化部１０２は、文書選択部１０１で選択した文書画像を構造化する。つまり、文書画像から構造化データを生成する。ここで、構造化データとは、構造化された文書要素とレイアウト情報とメタ情報と読み順情報を含む。

文書要素とは、文書を構成する要素である。具体的には、文書要素は、図や表や写真などを示す。

レイアウト情報とは、文書要素の領域情報である。具体的には、文書画像にある各文書要素の位置や大きさに関わる情報である。

メタ情報とは、文書要素である情報に付加される情報である。具体的には、文書要素が文字である場合、メタ情報は、章や節や項やタイトルやサブタイトルや本文などの文書構造上の情報である。また、文書要素が文字でない場合、メタ情報は、図や写真や表などの属性の情報である。

読み順情報とは、文書要素が繋がる順序を示す順列情報である。具体的には、文書要素がディスプレイに表示される順番の情報である。

図２は、構造化を行う前の文書画像の一例を示す説明図である。未構造化文書画像２００は画像であるため、不要な文書要素が存在する場合、文書要素を削除することは不可能である。

図３は、構造化を行った文書画像の一例を示す説明図である。構造化済文書画像３００は、文書要素３０１〜３０８を含む。このように、構造化を行うことで文書画像を文書要素に分解することにより、文書要素を個別に扱うことができることが可能となる。

構造化部１０２は、領域識別部１０９とレイアウト抽出部１１０とメタ情報抽出部１１１と読み順抽出部１１２と文書要素構造化部１１３とを備える。

領域識別部１０９は、文書画像に対して領域識別を行い、それぞれの文書要素に分解する。

レイアウト抽出部１１０は、領域識別部１０９により領域識別が実行された文書要素のレイアウト情報を抽出する。

メタ情報抽出部１１１は、領域識別部１０９により領域識別が実行された文書要素のメタ情報の抽出が実行される。

読み順抽出部１１２は、領域識別部１０９により領域識別が実行された文書要素がディスプレイに表示される順番を、読み順情報として抽出する。

文書要素構造化部１１３は、各文書要素と、レイアウト抽出部１１０により抽出されたレイアウト情報と、メタ情報抽出部１１１により抽出されたメタ情報と、読み順抽出部１１２により抽出された読み順情報と、を構造化する。

ここで、図４は、文書要素の属性により文書画像を構造化した一例を示す説明図である。文書要素が文字である場合は、文字要素として構造化データにする。つまり、文字要素に対して文字認識の処理を行い、その結果取得されるデータを構造化データとして登録するものとする。

また、文書要素が文字でない場合は、図要素や写真要素として、該当の文書要素を別の画像ファイルとして保存する。また、表要素として、表の構造を解析した結果をテーブル形式のファイルとして保存する。

図４は、文書全体を表すＤｏｃｕｍｅｎｔタグの直下に、文字要素を表すＴｅｘｔタグと、図要素と写真要素を併せたＦｉｇｕｒｅタグと、表要素を表すＴａｂｌｅタグを配置し、各属性に分類して配置している。さらに、Ｔｅｘｔタグの下位に、文字要素を表すＴｉｔｌｅタグと、Ｓｕｂｔｉｔｌｅタグと、Ｐａｒａｇｒａｐｈタグと、Ｃａｐｔｉｏｎタグを、文書の役割に応じて分類し、文書の先頭から読み順に従って並べている。

また、図５は、各文書要素の構造的な階層関係により、文書画像を構造化した一例を示す説明図である。ここで、文書全体を表すＤｏｃｕｍｅｎｔタグの直下に、標題を表すＴｉｔｌｅタグと内容を表すＳｅｃｔｉｏｎタグが並ぶ。そして、Ｓｅｃｔｉｏｎタグの下位に、各文書要素を文書の役割に応じて分類し、文書の先頭から読み順に従って並べている。ここで、ＰｉｃｔｕｒｅタグやＴａｂｌｅタグは、図要素・写真要素と表要素を格納したファイル名と関連するキャプションを示していることからも、構造化の有効性が示されている。

なお、文書要素の属性による構造化の方法や、文書要素の構造的な階層関係による構造化の方法は、構造化の一例を示すものであり、それ以外の構造化の方法により文書画像を構造化しても良い。

また、本実施の形態の構造化部１０２では、領域識別部１０９により文書要素の領域識別を行い、レイアウト抽出部１１０により領域識別された文書要素の領域情報としてレイアウト情報を抽出したが、文書要素の領域識別を行うタイミングでレイアウト情報を抽出してもよい。

構造化データ格納部１０３は、構造化部１０２により構造化された構造化データを記憶部に格納する。

プレビュー表示部１０４は、構造化データ格納部１０３に格納されている構造化データを読み込み、プレビュー画像を構築してディスプレイに表示する。そして、プレビュー表示部１０４は、文書要素配置部１１４とディスプレイ表示部１１５とを備える。文書要素配置部１１４は、レイアウト情報を用いて各文書要素を配置し、元の文書画像を再現する。ディスプレイ表示部１１５は、文書要素配置部１１４によって配置された各文書要素により、元の文書画像を再現し、プレビュー画像を作成する。そしてディスプレイにプレビュー画像を表示する。

図６は、ディスプレイに表示されるプレビュー画像表示の一例を示した図である。表示画面６００は、Ｏｐｅｎボタン６０１とＤｅｌｅｔｅボタン６０２とプレビュー表示領域６０３とページ数表示領域６０４を含む。Ｏｐｅｎボタン６０１は、文書を開くためのボタンであり、Ｄｅｌｅｔｅボタン６０２は、文書要素を削除するためのボタンである。プレビュー表示領域６０３は、プレビュー画像を表示する領域であり、ページ数表示領域６０４は、文書のページ数を表示する領域である。プレビュー表示領域６０３は、文字６０５と文字６０６と文字６０７と画像６０８とキャプション６０９とキャプション６１０とテーブル６１１と文字６１２を含む。文字６０５と文字６０６と文字６０７と画像６０８とキャプション６０９とキャプション６１０とテーブル６１１と文字６１２は文書要素である。

また、プレビュー表示部１０４は、後述する文書要素際配置部１０６により文書要素が再配置されたあとで、プレビュー画像を更新する。

編集部１０５は、利用者による任意の文書要素の選択と削除を受け付けることができる。選択された文書要素は、選択されたことが容易に把握できるように背景色を変えるなどしてディスプレイに表示される。図６では、画像６０８とキャプション６０９が選択されている。画像６０８とキャプション６０９は、周囲に影をつけて表示されている。例えば文書要素の利用者による選択を受け付け、削除ボタン６０２の押下を受け付けることで、文書要素は削除される。

文書要素再配置部１０６は、編集部１０５により任意の文書要素が削除された文書画像に対して、文書要素を再配置する。

具体的には、文書要素再配置部１０６は、空白領域のある文書画像に対して、空白領域に移動可能な文書要素を探索して決定する。そして、決定した文書要素を移動するための文書要素移動処理を行う。この文書要素移動処理により、新たに空白領域が生成された場合は、さらに空白領域に移動可能な文書要素を検索する。最終的に、空白領域に移動可能な文書要素が検索されない状態になるまで、文書要素の検索を繰り返すことにより、文書要素再配置部１０６は文書要素を再配置する。そして、再配置された前記文書要素のレイアウト情報を記憶部に格納する。そして、プレビュー表示部１０４はレイアウト情報からプレビュー画像を更新する。

文書要素再配置部１０６は、空白領域検知部１１６と移動要素決定部１１７と文書要素移動部１１８とを備える。

空白領域検知部１１６は、文書要素の削除により生じる空白を検知する。

移動要素決定部１１７は、空白領域検知部１１６により検知された空白領域に移動可能な文書要素を探索して決定する。

なお、空白領域の次の読み順の文書要素が空白領域の縦幅もしくは横幅よりも大きい場合は、等倍の文書要素を空白領域に移動することが不可能である。この場合は、文書要素を予め変倍して縮小させることにより、空白領域に移動できる大きさにすることができる。ただし、極端な変倍は、文書要素の可読性低下を招くため、ある一定以上の変倍率Ｍを設定する必要がある。そして、変倍率Ｍで文書要素を変倍させた文書要素が空白領域に移動できない場合は、次の読み順の文書要素が空白領域の移動候補の文書要素となる。なお、この変倍率Ｍは、実験により求められる値を用いても良い。

文書要素移動部１１８は、移動要素決定部１１７により移動する文書要素が決定した場合、その文書要素を空白領域に移動する。なお、その文書要素に変倍が必要な場合、その文書要素を変倍してから、空白領域に移動する。

この文書要素再配置部１０６により、文書要素を削除したことで空白領域が存在している文書画像に対して、空白領域に移動可能な文書要素を移動し、文書要素を再配置する。また、文書要素を再配置することにより、最終ページが文書要素を含まない空のページになる場合は、空ページを削除することでページ数を減少させることができる。

図７は、文書要素を再配置した文書画像の一例を示す説明図である。再配置済文書画像７００は、文書要素７０１〜７０９を含む。具体的には、再配置済文書画像７００は、図３の文書要素３０４と文書要素３０５を削除した結果を表している。つまり、文書要素３０４と文書要素３０５を削除することにより生成された空白領域に、文書要素７０４と文書要素７０５が移動される。また、文書要素７０４と文書要素７０５が移動することにより生成された空白領域に、文書要素７０６が移動される。

また、文書要素７０４は表要素を表すが、例えばこの表要素が縦長か横長である場合、空白領域に配置できない可能性がある。この場合は、表要素を分割して配置する方法がある。また、表要素を変倍して配置する方法がある。また、読み順を参照し、表要素の次以降に位置する文書要素の中から、分割および変倍を行わずに配置可能な文書要素を検索し配置する方法がある。上述した方法から最適な方法を決定して、文書要素を再配置することで、文書編集作業の利便性を向上させることができる。

次に、以上のように構成された本実施の形態にかかる文書画像編集装置１００における選択文書の構造化を行い文書要素の削除による他の文書要素の再配置の処理について説明する。図８は、第１の実施の形態にかかる文書画像編集装置１００における上述した処理の手順を示すフローチャートである。

まず、文書選択部１０１は、編集を行う文書画像を選択する（ステップＳ８０１）。

次に、文書選択部１０１は、選択された文書画像が構造化されているか否かを判断する（ステップＳ８０２）。ここで、文書選択部１０１が、選択された文書画像が構造化されていないと判断した場合（ステップＳ８０２：Ｎｏ）、構造化部１０２が、選択された文書を構造化する（ステップ８０３）。選択された文書画像を構造化する処理の詳細は、後述する。

そして、構造化データ格納部１０３は、構造化部１０２によって構造化された構造化データを記憶装置に格納する（ステップＳ８０４）。

また、文書選択部１０１が、選択された文書画像が構造化されていると判断した場合も、ステップＳ８０４に移る。

次に、プレビュー表示部１０４は、構造化データ格納部に格納された構造化データを読み込み、プレビュー表示する（ステップＳ８０５）。つまり、構造化データ格納部１０３に格納されているレイアウト情報を取得し、各文書要素を配置して元の文書画像を再現する。そして、プレビュー画像を作成し、ディスプレイにプレビュー画像を表示する。

そして、編集部１０５は、利用者により選択された文書要素を削除する（ステップＳ８０６）。

次に、文書要素再配置部１０６は、編集部１０５により編集された文書画像の文書要素を再配置する（ステップＳ８０７）。文書要素を再配置する処理の詳細は、後述する。

これにより、選択された文書画像を構造化し、利用者による文書要素の削除を受け付け、文書要素の再配置の処理を行うことにより、文書要素のレイアウトが常に整形された文書を提供できる。

次に、選択された文書画像を構造化する処理の詳細について説明する。図９は、構造化部１０２が行う、選択された文書画像を構造化する処理手順を示すフローチャートである。

まず、領域識別部１０９が文書画像の文書要素の領域識別を行う（ステップＳ９０１）。

次に、レイアウト抽出部１１０が、領域識別部１０９により領域識別された文書要素のレイアウト情報を抽出する（ステップＳ９０２）。

そして、メタ情報抽出部１１１が、領域識別部１０９により領域識別された文書要素のメタ情報を抽出する（ステップＳ９０３）。

次に、読み順情報抽出部１１２が、領域識別部１０９により領域識別された文書要素の読み順情報を抽出する（ステップＳ９０４）。

そして、文書要素構造化部１１３が、抽出された情報の構造的な階層関係による構造化を行うことで、文書要素を構造化する（ステップＳ９０５）。具体的には、文書要素と、レイアウト抽出部１１０から抽出された文書要素のレイアウト情報と、メタ情報抽出部１１１から抽出された文書要素に付加される情報と、読み順抽出部１１２により抽出された文書要素が繋がる順序を示す順列情報とを、構造的な階層関係に着目し、構造化データを生成する。なお、構造化の方法は、他の例として、文書要素の属性による構造化などの方法もある。

これにより、選択された文書画像の構造化を行うことができるため、文書要素単位での編集を行うことのできる構造化データを取得することができる。

次に、文書要素を再配置する処理の詳細について説明する。図１０は、文書要素再配置部１０６が行う文書要素を再配置する処理手順を示すフローチャートである。

まず、移動要素決定部１１７が、文書画像の空白領域に移動可能な文書要素の探索を行う（ステップＳ１００１）。

次に、移動要素決定部１１７が、空白領域に移動可能な文書要素があるか否か判断する（ステップＳ１００２）。ここで、移動要素決定部１１７が、空白領域に移動可能な文書要素がないと判断した場合（ステップＳ１００２：Ｎｏ）、文書要素再配置部１０６が行う文書要素を再配置する処理手順を終了する。

また、移動要素決定部１１７が、空白領域に移動可能な文書要素があると判断した場合（ステップＳ１００２：Ｙｅｓ）、文書要素移動部１１８が、移動可能な文書要素を空白領域に移動する（ステップＳ１００３）。

そして、空白検知部１１６が、文書要素移動部１１８が文書要素を空白領域に移動したことにより、新たに生成される空白領域があるか否かを判断する（ステップＳ１００４）。

ここで、空白検知部１１６が、新たに生成される空白領域がないと判断した場合（ステップＳ１００４：Ｎｏ）、文書要素再配置部１０６が行う文書要素を再配置する処理手順を終了する。

また、ここで、空白検知部１１６が、新たに生成される空白領域があると判断した場合（ステップＳ１００４：Ｙｅｓ）、ステップＳ１００１の処理を行う。この文書要素を再配置する処理は、空白領域検知部１１６が空白領域を検知しなくなるか、移動要素決定部１１７が空白領域に移動可能な文書要素を見つけることができなくなる（ステップＳ１００２）まで繰り返される。

このように本実施の形態では、文書画像の文書要素を削除して、文書画像の文書要素を再配置する処理を行うことができるので、構造化文書の文書要素の削除や移動による再配置を常時可能として、利用者の利便性を向上させることができる。

（第２の実施の形態）
本発明の第２の実施の形態においては、上述した第１の実施の形態と同様、本発明の文書画像編集装置をＰＣアプリケーションとして実装した例について説明する。

上述した第１の実施の形態においては、利用者による文書要素の削除により生成される空白領域に移動可能な文書要素を検知して移動したが、第２の実施の形態においては、空白領域に移動可能な文書要素がない場合、文字要素を分割することで移動可能な文書要素を生成して、分割された文字要素を空白領域に移動することで、文書画像を整形する場合について説明する。

図１１は、本発明の第２の実施の形態にかかる文書画像編集装置の構成を示すブロック図である。

図１１に示すように、第２の実施の形態にかかる文書画像編集装置１１００は、文書選択部１０１と構造化部１０２と構造化データ格納部１０３とプレビュー表示部１０４と編集部１０５と文書要素再配置部１０６とを主に備えている。ここで、文書選択部１０１と構造化部１０２と構造化データ格納部１０３とプレビュー表示部１０４と編集部１０５の機能および構成は、第１の実施の形態と同様であるため、説明を省略する。

文書要素再配置部１０６は、空白領域検知部１１６と移動要素決定部１１７と文書要素移動部１１８と文字要素分割部１１９を主に備えている。ここで、空白領域検知部１１６と移動要素決定部１１７と文書要素移動部１１８の機能および構成は、第１の実施の形態と同様であるため、説明を省略する。

文字要素分割部１１９は、文書画像の文書要素である文字要素を分割する。なお、文書要素である図要素や、写真要素や、表要素は、構造化部１０２で領域識別された単位で図要素、写真要素、表要素の意味をなすものであるので、分割した場合、図や写真や表を認識できない可能性が高い。しかし、文字要素の一部を分割した場合は、文字自体を分割しない限り、分割した文字要素は文字の集合として認識されるため、分割することが可能である。

分割の方法としては、まず、一つの文字要素を複数の画像として行単位で分割する分割処理方法がある。この処理方法は、空白領域の幅が文字要素の領域の幅と一致している場合に有効である。つまり、分割されて移動される文字要素の高さは、最長でも空白領域の高さであり、分割される際に、文字自体を分割しないような高さで分割の境界線が決定される。

また、文字認識により文字要素を文字コードとして分割する分割処理方法がある。この処理方法は、文字が文字コードとして存在するため、空白領域の幅が文字要素の領域の幅と一致していない場合でも、文字要素の移動が可能である。また、移動しない文字要素についても、新たに生成した空白領域への移動が容易に行うことができる。

また、一文字または複数の文字を一つの画像として文字要素を分割する分割処理方法がある。この処理方法は、前述の文字認識により文字と認識された領域に、文字コードの代わりに画像として分割する処理である。つまり、文字認識された領域を文字コードの代わりに画像として扱うことで、文字認識の認識率に関わることなく、確実に文字認識された領域の文字を再現できる。

ここで、図１２は、文字要素分割の処理前の一例を示す説明図である。文書画像１２００は、文書要素１２０１〜１２０６を含む。また、図１３は、文字要素分割の処理後の一例を示す説明図である。文書画像１３００は、文書要素１３０１〜１３０７を含む。具体的には、文書画像１３００は文書画像１２００の文書要素１２０４と文書要素１２０５を削除した結果を表している。

この場合、文書画像１２００の文書要素１２０４と文書要素１２０５を削除すると、文書要素１２０４と文書要素１２０５の領域が空白領域になる。そして、読み順の情報を参照すると、次の文書情報である文書要素１２０６が移動候補の文書要素であるが、この場合、文書要素１２０６は空白領域よりも領域が大きいため移動させることは不可能である。

そこで、文書要素移動部１１８は、文書要素１２０６を文書要素１３０４と文書要素１３０５に分割することで、文書要素１３０４を空白領域に移動させることを可能とした。

なお、文書要素１３０４が移動したことによる空白領域に、文書要素１３０５が移動される。さらに文書要素１３０５の移動により生成された空白に次ページの文字要素１３０６と文字要素１３０７が移動されていることがわかる。

なお、削除された文書要素の次の読み順である文書要素が、図要素や写真要素や表要素であり、かつ図要素や写真要素や表要素が空白領域に移動不可能である場合、更にその次の読み順に文字要素があれば、その文字要素を分割することで、空白領域に文字要素を移動することができる。

しかし、例えば、文字要素であるキャプション要素と表要素等の複数の文書要素が意味的にまとめて扱うことが適切な場合、文字要素のみを移動することは文書画像にとって不適切であるため、適宜、領域識別部１０９で識別された文字要素を結合させることが必要である。

また、ここで、空白領域と、空白領域に移動する文字要素との距離について説明する。空白領域と、空白領域に移動する文字要素との位置が遠い場合、文書画像の可読性低下を招くため、可読性低下を招かずに文字要素を移動できる最大の距離を距離Ｄとする。ここで各文字要素間の距離Ｄは、一例として、各文字要素の領域の重心点から計測された直線距離とする。すると、空白領域から計測される距離Ｄよりも近い距離にある文字要素のみ、探索の対象とする必要がある。この距離Ｄは、実験により求められる値を用いても良い。

また、削除された文書要素の次の読み順である文書要素が、図要素や写真要素や表要素であり、かつ次の読み順の文書要素が空白領域に移動不可能である場合について説明する。この場合、更に更に次の読み順に文字要素がある場合、文字要素を分割して空白領域に文字要素を移動することができる。

図１４は、空白領域の次の読み順に移動不可能な文書要素が存在する場合の、文字要素分割の処理前の一例を示す説明図である。文書画像１４００は、文書要素１４０１〜１４０８を含む。例えば、文書要素１４０４と文書要素１４０５を削除した場合、文書要素１４０６は文字要素ではあるが、表である文書要素１４０７と共に意味を成すものであるため、文書要素１４０６と文書要素１４０７を結合して１つの文書要素として扱う。すると、文書要素１４０４と文書要素１４０５を削除することで生成される空白領域に、文書要素１４０６と文書要素１４０７が移動されることは不可能であるため、この場合は、空白領域に、文字要素である文書要素１４０８を移動する。

次に、以上のように構成された本実施の形態にかかる文書画像編集装置１００における選択文書の構造化を行い文書要素の削除による他の文書要素の再配置の処理について説明する。本実施の形態にかかる文書画像編集装置１１００における上述した処理の手順を示すフローチャートは、第１の実施の形態と同様であるため、説明を省略する。

また、文書要素を再配置する処理の詳細について説明する。図１５は、文書要素再配置部１０６が行う文書要素を再配置する処理手順を示すフローチャートである。

まず、第１の実施の形態の図１０のステップＳ１００１〜Ｓ１００２と同様にして、移動要素決定部１１７が移動可能な文書要素があるか否かを判断するまでの処理を行う（ステップＳ１５０１〜Ｓ１５０２）。

ここで、移動要素決定部１１７が、移動可能な文書要素があると判断した場合（ステップＳ１５０２：Ｙｅｓ）、ステップ１００３〜Ｓ１００４と同様にして、移動可能な文書要素を移動し、新たに生成される空白領域があるか否かを判断するまでの処理を行う（ステップＳ１５０５〜Ｓ１５０６）。

また、移動要素決定部１１７が、移動可能な文書要素がないと判断した場合（ステップＳ１５０２：Ｎｏ）、文書要素分割部１１９が、分割して移動可能な文字要素があるか否かを判断する（ステップＳ１５０３）。ここで、文書要素分割部１１９が、分割して移動可能な文字要素がない場合、文書要素再配置部１０６が行う文書要素を再配置する処理手順を終了する。

また、文書要素分割部１１９が、分割して移動可能な文字要素がある場合、文書要素分割部１１９が、文書要素の分割を行う（ステップＳ１５０４）。

そして、ステップＳ１００３と同様にして、移動可能な文書要素を移動する処理を行う（ステップＳ１５０５）。以降は、第１の実施の形態と同じ処理手順である。

このように本実施の形態によれば、利用者による文書画像の文書要素の削除を受け付けた場合、文書画像の文書要素である文字要素を分割して、文字要素を再配置する処理を行うことができるため、第一の実施の形態における文書画像編集装置に比べて、より空白領域の少ない文書画像を得ることができる。

第２の実施の形態にかかる文書画像編集装置の応用例としては、例えば、利用者による文書要素の指定を受け付け、文書要素を複数の要素に分割し、その分割して生成された要素を削除することが考えられる。具体的には、複数の画像が一つの図要素や写真要素を構成する場合、一枚の画像のみ削除することができる。また、文字要素から一部の文字列を削除することもできる。

（第３の実施の形態）
本発明の第３の実施の形態においては、上述した第２の実施の形態と同様、本発明の文書画像編集装置をＰＣアプリケーションとして実装した例について説明する。

上述した第１の実施の形態と第２の実施の形態においては、利用者による一つまたは複数の文書要素の削除を受け付けていたが、第３の実施の形態では、任意のページに存在する全ての文書要素の選択と削除を受け付ける場合について説明する。

第３の実施の形態にかかる文書画像編集装置の構成を示すブロック図は、第２の実施の形態と同様に、文書画像編集装置１１００は、文書選択部１０１と構造化部１０２と構造化データ格納部１０３とプレビュー表示部１０４と編集部１０５と文書要素再配置部１０６とを主に備えている。ここで、文書選択部１０１と構造化部１０２と構造化データ格納部１０３とプレビュー表示部１０４の機能および構成は、第２の実施の形態と同様であるため、説明を省略する。

第３の実施の形態にかかる編集部１０５は、第２の実施の形態と同様の機能を有する他、任意のページを選択し、そのページに存在する文書要素を削除することができる。また、任意ページを選択する代わりに、任意ページに存在する全ての文書要素を選択した状態にしても良い。

第３の実施の形態にかかる文書要素再配置部１０６は、第２の実施の形態と同様の機能を有する他、編集部１０５によるページ削除により生成された空白ページに、次ページの文書要素を移動する。

また、第３の実施の形態にかかる文書画像編集装置における上述した処理の手順を示すフローチャートは、第２の実施の形態と同様であるため、説明を省略する。

なお、編集部１０５が利用者による任意のページの選択を受け付ける際に、選択されたページに配置された文書要素が、前後のページにも存在している場合は、これらの文書要素を削除対象とするか否かを判断させる必要があるため、第２の実施の形態にかかる文書画像編集装置を使用することとする。

なお、編集部１０５が利用者による任意のページの削除を受け付ける場合に、ページに存在する文書要素を削除するのではなく、ページ自体を削除し、以降のページのページ番号を繰り上げる処理に代えても良い。この場合、文書要素再配置部１０６における処理は特に行われない。

このように本実施の形態によれば、ページ単位での文書要素の削除を受け付ける場合、ページ内の全ての文書要素を削除する際に文書要素を一つずつ選択する必要がなくなるため、利用者による文書要素の削除処理の手間を省くことができる。

（第４の実施の形態）
本発明の第４の実施の形態においては、上述した第１〜３の実施の形態と同様、本発明の文書画像編集装置をＰＣアプリケーションとして実装した例について説明する。

上述した第１の実施の形態と、第２の実施の形態においては、利用者による一つまたは複数の文書要素の削除を受け付けていた。第４の実施の形態では、利用者による一つまたは複数の文書要素の移動を受け付ける場合について説明する。

第４の実施の形態にかかる文書画像編集装置の構成を示すブロック図は、第２の実施の形態と同様に、文書選択部１０１と構造化部１０２と構造化データ格納部１０３とプレビュー表示部１０４と編集部１０５と文書要素再配置部１０６とを主に備えている。ここで、文書選択部１０１と構造化部１０２と構造化データ格納部１０３とプレビュー表示部１０４の機能および構成は、第１の実施の形態と同様であるため、説明を省略する。

編集部１０５は、利用者による移動する文書要素の選択を受け付け、記憶部に格納し、文書画像から選択された文書要素を削除する。

第４の実施の形態にかかる文書要素再配置部１０６は、第２の実施の形態と同様の機能を有する他、文書要素を移動するための、文書要素の再配置処理を行う。

具体的に、まず移動される文書要素の領域を確保するために、移動先に空白領域を生成する。次に、空白領域より読み順が後になる文書要素を全て再配置する。そして、空白領域に移動される文書要素を移動する。

ここで、前述した図６の画像６０８とキャプション６０９を文書の最後に移動した場合を説明する。画像６０８とキャプション６０９の移動領域を確保するために、表６１１とそのキャプション６１０と、文字要素６１２が移動される。図１６は、文書要素を移動するために文書要素を再配置した結果の一例を示す説明図である。再配置済文書画像１６００は、文書要素１６０１〜１６０８を含む。文書要素１６０７と文書要素１６０８が利用者による移動を受け付けた文書要素である。

また、第４の実施の形態にかかる文書画像編集装置における上述した処理の手順を示すフローチャートは、第２の実施の形態と同様であるため、説明を省略する。

また、文書要素を再配置する処理の詳細について説明する。図１７は、文書要素再配置部１０６が行う文書要素を再配置する処理手順を示すフローチャートである。

まず、第２の実施の形態の図１５のステップＳ１５０１〜Ｓ１５０６と同様にして、空白領域に文書要素を移動する処理を行う（ステップ１７０１〜Ｓ１７０６）。

次に、利用者により指定された文書要素を移動するための空白領域を生成する（ステップＳ１７０７）。

そして、生成された空白領域に、利用者により指定された文書要素を移動する（ステップＳ１７０８）。

このように本実施の形態によれば、利用者により選択された文書要素の移動を受け付ける場合に、まず文書要素を削除して、その空白領域のある文書画像の文書要素の再配置を行う。そして、その文書画像に、選択された文書領域を移動するための領域を空白領域として確保し、そして空白領域に選択された文書要素を移動させることにより、文書要素の移動をすることができる。このように、選択された文書要素を自由に移動することができるため、使用者による文書要素の移動処理の手間を減らし利便性を向上することができる。

図１８は、第１〜第４の実施形態の文書画像編集装置のハードウェア構成を示した図である。第１〜第４の実施形態の文書画像編集装置は、図１８に示すように、ＣＰＵ（Central Processing Unit）１、ＲＯＭ（Read Only Memory）２、ＲＡＭ（Random Access Memory）３、上述した構造化データ格納部１０３としてのＨＤＤ（Hard Disk Drive）４と、モニタ等の表示装置５、キーボードやマウス等の入力デバイス６、通信Ｉ／Ｆ７を備えるとともに、これら各部を接続するバス８を備えており、通常のコンピュータを利用したハードウェア構成となっている。

第１〜第４の実施形態の文書画像編集装置で実行される各種プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、第１〜第４の実施形態の各文書画像編集装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、第１〜第４の実施形態の各文書表示装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、第１〜第４の実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１〜第４の実施形態の各文書画像編集装置で実行されるプログラムは、上述した各部（文書選択部１０１、構造化部１０２、構造化データ格納部１０３、プレビュー表示部１０４、編集部１０５、文書要素再配置部１０６、文書画像選択部１０７、構造化有無検知部１０８、領域識別部１０９、レイアウト抽出部１１０、メタ情報抽出部１１１、読み順抽出部１１２、文書要素構造化部１１３、文書要素配置部１１４、ディスプレイ表示部１１５、空白領域検知部１１６、移動要素決定部１１７文書要素移動部１１８など）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１が上記記憶媒体（ＲＯＭ２又はＨＤＤ４）からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、文書選択部１０１、構造化部１０２、構造化データ格納部１０３、プレビュー表示部１０４、編集部１０５、文書要素再配置部１０６、文書画像選択部１０７、構造化有無検知部１０８、領域識別部１０９、レイアウト抽出部１１０、メタ情報抽出部１１１、読み順抽出部１１２、文書要素構造化部１１３、文書要素配置部１１４、ディスプレイ表示部１１５、空白領域検知部１１６、移動要素決定部１１７、文書要素移動部１１８などが主記憶装置上に生成されるようになっている。

（第５の実施の形態）
本発明の第５の実施の形態においては、本発明を複合機の機能として実現した例について説明する。

図１９は、本発明の第５の実施の形態にかかる文書画像編集装置１９００の機能的構成を示すブロック図である。

図１９に示すように、第５の実施の形態にかかる文書画像編集装置１９００は、構造化部１０２と構造化データ格納部１０３とプレビュー表示部１０４と編集部１０５と文書要素再配置部１０６とスキャナ１９０１と操作表示部１９０２とプリンタエンジン１９０３を主に備えている。ここで、構造化部１０２と構造化データ格納部１０３と編集部１０５と文書要素再配置部１０６の機能および構成は、第１の実施の形態と同様であるため、説明を省略する。

スキャナ１９０１は、原稿などの画像を読み取る装置である。操作表示部１９０２は、文書要素の配置結果をプレビュー画面にプレビュー表示し、利用者による移動や削除を行う文書要素の選択を受け付けるためのものである。プリンタエンジン１９０３は、印刷を実行する部分である。

また、図２０はスキャンする原稿の一例を示す図である。原稿２００１と原稿２００２は、共に元原稿の２ページを１枚に集約した原稿である。原稿２００１は、文書領域２００３と文書領域２００４を含む。文書領域２００３は、元原稿の１ページ目の文書領域である。文書領域２００４は、元原稿の２ページ目の文書領域である。また、原稿２００２は、文書要素２００５と文書要素２００６を含む。文書領域２００５は、元原稿の３ページ目の文章領域である。文書領域２００６は、元原稿の４ページ目の文章領域である。

原稿２００１と原稿２００２の２ページの原稿をスキャンして印刷する場合、２枚の出力紙が排紙される。ここで、例えば、元原稿の１ページ目である文書領域２００３と、元原稿の４ページ目である文書領域２００６とが不要である場合、まず、２ページの原稿をスキャンして、２ページの構造化データを生成する。次に、編集部１０５が、文書領域２００３と文書領域２００６に存在する全ての文書要素を削除する。そして、文書要素再配置部１０６により、１ページの文書画像にすることができる。よって、印刷枚数を減らすことができる。

図２１は、不要な文書要素を削除して印刷枚数を削減した出力紙の一例を示す図である。出力紙２１０１は、文書領域２１０２と文書領域２１０３を含む。

なお、上述した例では、文書領域を選択することで文書領域にある全ての文書要素を選択したが、任意の文書要素を選択し削除することも可能である。また、文書領域や文書要素を移動することも、同様に可能である。

第５の実施の形態にかかるプレビュー表示部１０４は、第３の実施の形態と同様の機能を有する他、ディスプレイ表示領域に合わせて文書画像の拡大縮小処理を行い、プレビュー表示を行う。また、文書画像のページ数が複数である場合、予め定められたページ数を同時に表示する。

また、プレビュー表示部１０４は複写機からスキャンして生成された文書画像をプレビュー表示する。

次に、以上のように構成された本実施の形態にかかる文書画像編集装置１９００におけるスキャンして生成された画像文書の構造化を行い文書要素の削除による他の文書要素の再配置の処理について説明する。図２２は、本実施の形態にかかる文書画像編集装置１９００における上述した処理の手順を示すフローチャートである。

まず、構造化部１０２は、スキャンして生成された文書画像を構造化する（ステップＳ２２０１）。選択された文書画像を構造化する処理の詳細は、第１の実施の形態の図９と同様のため、省略する。

そして、第１の実施の形態の図８のＳ８０４〜Ｓ８０５と同様にして、構造化データ格納部により構造化データを格納し、プレビュー表示１０４が構造化データを読み込み、プレビュー表示する（ステップＳ２２０２〜Ｓ２２０３）。

次に、編集部１０５は、利用者により選択された文書領域の全ての文書要素を削除する（ステップＳ２２０４）。

そして、第１の実施の形態の図８のＳ８０７と同様にして、文書要素再配置部が、編集部１０５により編集された文書画像の文書要素を再配置する（ステップＳ２２０５）。

これにより、複写機から文書画像を印刷する場合、印刷不要な文書領域を削除し、必要な文書領域のみを適切なレイアウトに再配置して印刷することにより、利用者による文書要素のレイアウトの作業の手間を軽減することができる。

なお、スキャンされた文書画像は構造化されていないため、構造化部１０２による構造化が必要となるが、あらかじめ構造化データとＩＤをデータベースに登録することで、構造化の処理を軽減することもできる。具体的には、スキャンされる原稿にＩＤを印字し、そのＩＤを検知して、あらかじめデータベースに登録されているＩＤと照合する。登録されているＩＤと一致した場合、そのＩＤに対応する構造化データを取得することで、構造化の処理が不要となる。

図２３は、複合機のハードウェア構成を示すブロック図である。本図に示すように、この複合機は、コントローラ１０とエンジン部（Ｅｎｇｉｎｅ）６０とをＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｆａｃｅ）バスで接続した構成となる。コントローラ１０は、複合機全体の制御と描画、通信、図示しない操作部からの入力を制御するコントローラである。エンジン部６０は、ＰＣＩバスに接続可能なプリンタエンジンなどであり、たとえば白黒プロッタ、１ドラムカラープロッタ、４ドラムカラープロッタ、スキャナまたはファックスユニットなどである。なお、このエンジン部６０には、プロッタなどのいわゆるエンジン部分に加えて、誤差拡散やガンマ変換などの画像処理部分が含まれる。

コントローラ１０は、ＣＰＵ１１と、ノースブリッジ（ＮＢ）１３と、システムメモリ（ＭＥＭ−Ｐ）１２と、サウスブリッジ（ＳＢ）１４と、ローカルメモリ（ＭＥＭ−Ｃ）１７と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１６と、ハードディスクドライブ（ＨＤＤ）１８とを有し、ノースブリッジ（ＮＢ）１３とＡＳＩＣ１６との間をＡＧＰ（Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）バス１５で接続した構成となる。また、ＭＥＭ−Ｐ１２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２ａと、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)１２ｂと、をさらに有する。

ＣＰＵ１１は、複合機の全体制御をおこなうものであり、ＮＢ１３、ＭＥＭ−Ｐ１２およびＳＢ１４からなるチップセットを有し、このチップセットを介して他の機器と接続される。

ＮＢ１３は、ＣＰＵ１１とＭＥＭ−Ｐ１２、ＳＢ１４、ＡＧＰ１５とを接続するためのブリッジであり、ＭＥＭ−Ｐ１２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩマスタおよびＡＧＰターゲットとを有する。

ＭＥＭ−Ｐ１２は、プログラムやデータの格納用メモリ、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いるシステムメモリであり、ＲＯＭ１２ａとＲＡＭ１２ｂとからなる。ＲＯＭ１２ａは、プログラムやデータの格納用メモリとして用いる読み出し専用のメモリであり、ＲＡＭ１２ｂは、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いる書き込みおよび読み出し可能なメモリである。

ＳＢ１４は、ＮＢ１３とＰＣＩデバイス、周辺デバイスとを接続するためのブリッジである。このＳＢ１４は、ＰＣＩバスを介してＮＢ１３と接続されており、このＰＣＩバスには、ネットワークインターフェース（Ｉ／Ｆ）部なども接続される。

ＡＳＩＣ１６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であり、ＡＧＰ１５、ＰＣＩバス、ＨＤＤ１８およびＭＥＭ−Ｃ１７をそれぞれ接続するブリッジの役割を有する。このＡＳＩＣ１６は、ＰＣＩターゲットおよびＡＧＰマスタと、ＡＳＩＣ１６の中核をなすアービタ（ＡＲＢ）と、ＭＥＭ−Ｃ１７を制御するメモリコントローラと、ハードウェアロジックなどにより画像データの回転などをおこなう複数のＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）と、エンジン部６０との間でＰＣＩバスを介したデータ転送をおこなうＰＣＩユニットとからなる。このＡＳＩＣ１６には、ＰＣＩバスを介してＦＣＵ（Ｆａｃｓｉｍｉｌｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３０、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）４０、ＩＥＥＥ１３９４（ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ １３９４）インターフェース５０が接続される。操作表示部２０はＡＳＩＣ１６に直接接続されている。

ＭＥＭ−Ｃ１７は、コピー用画像バッファ、符号バッファとして用いるローカルメモリであり、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１８は、画像データの蓄積、プログラムの蓄積、フォントデータの蓄積、フォームの蓄積を行うためのストレージである。

ＡＧＰ１５は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレーターカード用のバスインターフェースであり、ＭＥＭ−Ｐ１２に高スループットで直接アクセスすることにより、グラフィックスアクセラレーターカードを高速にするものである。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。本発明の実施態様は、以上に説明したような特定の実施形態に限定されるものではない。

１ ＣＰＵ（Central Processing Unit）
２ ＲＯＭ（Read Only Memory）
３ ＲＡＭ（Random Access Memory）
４ ＨＤＤ（Hard Disk Drive）
５ 表示装置
６ 入力デバイス
７ 通信Ｉ／Ｆ
８ バス
１０ コントローラ
１１ ＣＰＵ
１２ システムメモリ（ＭＥＭ−Ｐ）
１２ａ ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）
１２ｂ ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)
１３ ノースブリッジ（ＮＢ）
１４ サウスブリッジ（ＳＢ）
１５ ＡＧＰ（Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）バス
１６ ＡＳＩＣ
１７ ローカルメモリ（ＭＥＭ−Ｃ）
１８ ハードディスクドライブ（ＨＤＤ）
２０ 操作表示部
３０ ＦＣＵ（Ｆａｃｓｉｍｉｌｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）
４０ ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）
５０ ＩＥＥＥ１３９４インターフェース
６０ エンジン部（Ｅｎｇｉｎｅ）
１００ 文書画像編集装置
１０１ 文書選択部
１０２ 構造化部
１０３ 構造化データ格納部
１０４ プレビュー表示部
１０５ 編集部
１０６ 文書要素再配置部
１０７ 文書画像選択部
１０８ 構造化有無検知部
１０９ 領域識別部
１１０ レイアウト抽出部
１１１ メタ情報抽出部
１１２ 読み順抽出部
１１３ 文書要素構造化部
１１４ 文書要素配置部
１１５ ディスプレイ表示部
１１６ 空白領域検知部
１１７ 移動要素決定部
１１８ 文書要素移動部
２００ 未構造化文書画像
３００ 構造化済文書画像
３０１ 文書要素
３０２ 文書要素
３０３ 文書要素
３０４ 文書要素
３０５ 文書要素
３０６ 文書要素
３０７ 文書要素
３０８ 文書要素
６００ 表示画面
６０１ Ｏｐｅｎボタン
６０２ Ｄｅｌｅｔｅボタン
６０３ プレビュー表示領域
６０４ ページ数表示領域
６０５ 文字
６０６ 画像
６０７ キャプション
６０８ キャプション
６０９ テーブル
６１０ 文字
７００ 再配置済文書画像
７０１ 文書要素
７０２ 文書要素
７０３ 文書要素
７０４ 文書要素
７０５ 文書要素
７０６ 文書要素
７０７ 文書要素
７０８ 文書要素
７０９ 文書要素
１１００ 文書画像編集装置
１２００ 文書画像
１２０１ 文書要素
１２０２ 文書要素
１２０３ 文書要素
１２０４ 文書要素
１２０５ 文書要素
１２０６ 文書要素
１３００ 文書画像
１３０１ 文書要素
１３０２ 文書要素
１３０３ 文書要素
１３０４ 文書要素
１３０５ 文書要素
１３０６ 文書要素
１３０７ 文書要素
１４００ 文書画像
１４０１ 文書要素
１４０２ 文書要素
１４０３ 文書要素
１４０４ 文書要素
１４０５ 文書要素
１４０６ 文書要素
１４０７ 文書要素
１４０８ 文書要素
１９００ 文書画像編集装置
１９０１ スキャナ
１９０２ 操作表示部
１９０３ プリンタエンジン
２００１ 原稿
２００２ 原稿
２００３ 文書領域
２００４ 文書領域
２００５ 文書要素
２００６ 文書要素
２１０１ 出力紙
２１０２ 文書領域
２１０３ 文書領域

特開平９−４４４９３号公報 特開平１０−２８９２２５号公報

文書画像を、文書を構成する１以上の文書要素に分解し、分解された該１以上の文書要素それぞれの領域に関する領域情報と該１以上の文書要素の順序に関する順列情報とを抽出して前記１以上の文書要素と関連付けて記憶部に記憶させる構造化手段と、前記構造化手段で分解された１以上の文書要素を、該１以上の文書要素と関連付けて前記記憶部に記憶された領域情報に基づいて配置して表示手段に表示させる表示制御手段と、前記表示制御手段で表示手段に表示された１以上の文書要素のうち、第１の文書要素の削除を受け付ける受付手段と、前記受付手段で受け付けた第１の文書要素の削除によって生じる空白領域に、前記１以上の文書要素と関連付けて前記記憶部に記憶された順序情報に基づいて特定される該第１の文書要素の次の順序の第２の文書要素が配置できるかを判断する判断手段と、前記判断手段で配置できると判断したとき、前記第２の文書要素を前記空白領域に配置する領域情報を前記記憶部に記憶させる再配置手段と、を有し、前記表示制御手段は、前記再配置手段で記憶部に記憶された領域情報に基づいて、前記表示手段に表示された配置を更新することを特徴とする。

Claims (13)

1. 文書画像を、文書を構成する文書要素に分解して構造化文書として構造化する構造化手段と、
   前記構造化文書を格納する構造化文書格納手段と、
   前記文書要素を前記文書画像と同じレイアウトに配置し、レイアウトされた前記文書要素をプレビュー表示するプレビュー表示手段と、
   プレビュー表示された前記文書要素の中から利用者による前記文書要素の選択及び、選択された前記文書要素の利用者による編集を受け付ける文書編集手段と、
   前記文書要素の編集を受け付けた場合に、前記文書要素を再配置する文書要素再配置手段と、
   を備えることを特徴とする文書画像編集装置。
2. 前記構造化手段は、
   前記文書画像を領域識別することにより複数の前記文書要素の領域を識別する領域識別手段と、
   前記文書要素の配置場所の情報であるレイアウト情報を抽出するレイアウト抽出手段と、
   前記文書要素に付加される意味情報であるメタ情報を抽出するメタ情報抽出手段と、
   前記文書要素の読み順の順列情報である読み順情報を抽出する読み順抽出手段と、
   前記文書要素と、前記レイアウト抽出手段により抽出されるレイアウト情報と、前記メタ情報抽出手段により抽出されるメタ情報と、前記読み順抽出手段により抽出される読み順情報とを取得し分類することにより、前記文書画像を構造化する文書要素構造化手段と、
   を備えることを特徴とする請求項１に記載の文書画像編集装置。
3. 前記文書編集手段は、
   プレビュー表示された前記文書要素の中から利用者による前記文書要素の選択を受け付け、選択された前記文書要素の削除を行うこと、
   を特徴とする請求項１および請求項２に記載の文書画像編集装置。
4. 前記文書編集手段は、
   プレビュー表示された前記文書要素の中から利用者による前記文書要素の選択を受け付け、選択された前記文書要素の移動を行うこと、
   を特徴とする請求項１および請求項２に記載の文書画像編集装置。
5. 前記文書要素再配置手段は、
   前記文書編集手段により前記文書画像に生成される空白領域に移動可能な前記文書要素を決定する再配置文書要素決定手段と、
   決定された前記文書要素を移動する再配置文書要素移動手段と、
   を備え、
   前記プレビュー表示手段は、
   前記文書要素再配置手段による前記文書要素の再配置により、プレビュー画像を更新すること
   を特徴とする請求項１ないし請求項４に記載の文書画像編集装置。
6. 前記再配置文書要素移動手段は、
   移動候補となる前記文書要素の変倍率を算出し、算出された前記変倍率に応じて、移動候補となる前記文書要素を変倍すること、
   を特徴とする請求項５に記載の文書画像編集装置。
7. 前記文書要素再配置手段は、
   前記文書要素である文字要素を再配置する場合に、一つの前記文字要素を複数の画像として行単位で分割する分割処理、文字認識により前記文字要素を文字コードとして分割する分割処理、一文字または複数の文字を一つの画像として前記文字要素を分割する分割処理、のいずれか少なくとも一つの分割処理により分割された前記文字要素を再配置し、
   前記再配置文書要素移動手段は、分割された前記文字要素を再配置すること
   を特徴とする請求項６に記載の文書画像編集装置。
8. 前記文書要素再配置手段は、
   再配置された前記文書要素のレイアウト情報を、構造化文書格納手段により格納すること、
   を特徴とする請求項１ないし請求項７に記載の文書画像編集装置。
9. 前記プレビュー表示手段は、
   ディスプレイ表示領域に合わせて前記文書画像の拡大縮小処理を行いプレビュー表示すること、
   を特徴とする請求項１ないし請求項８に記載の文書画像編集装置。
10. 前記プレビュー表示手段は、
    前記文書画像のページ数が複数である場合、予め定められたページ数を同時に表示すること、
    を特徴とする請求項１ないし請求項９に記載の文書画像編集装置。
11. 文書画像を、文書を構成する文書要素に分解して構造化文書として構造化する構造化ステップと、
    前記構造化文書を格納する構造化文書格納ステップと、
    前記文書要素を前記文書画像と同じレイアウトに配置し、レイアウトされた前記文書要素をプレビュー表示するプレビュー表示ステップと、
    プレビュー表示された前記文書要素の中から利用者による前記文書要素の選択及び、選択された前記文書要素の利用者による編集を受け付ける文書編集ステップと、
    前記文書要素の編集を受け付けた場合に、前記文書要素を再配置する文書要素再配置ステップと、
    を備えることを特徴とする文書画像編集方法。
12. 請求項１１の文書画像編集方法をコンピュータに実行させるための文書画像編集プログラム。
13. 請求項１２のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images