JP2007221293A - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】原本情報、更新情報、追記情報を重なりなく、かつ情報間の関連性把握を容易にした出力情報の生成を可能とした装置、および方法を提供する。
【解決手段】原本ドキュメントに対する追記情報や更新情報を含む出力情報の生成に際して、追記情報と原本情報との関連性や、情報相互の関連性などを解析し、各情報の配置を更新するレイアウト処理を実行する。原本情報と追記情報の重なりを解消するとともに、情報（オブジェクト）の移動に際して、関連性の高いと判定される複数の情報を近接させて配置する。本構成により、すべての情報を明瞭に確認することができ、また各情報間の関連性についても、ほぼ誤り無く把握することを可能とした出力情報の生成が可能となる。
【選択図】図４

Description

本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、テキストやイメージデータなどから構成されるドキュメント、例えばプリント出力されたドキュメントに対して行なわれたメモ書きなどの追記情報を抽出するとともに、追記情報と原本情報との関連性や、追記情報相互の関連性などを解析し、原本情報および追記情報の配置を更新するレイアウト処理を実行してユーザに提示可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。

画像処理の分野において、例えばプリンタやＦＡＸなどから出力したドキュメントに、ユーザが記入したメモ書きなどの追記情報を抽出する処理について、様々な研究、開発が行なわれている。一般的に、このような追記抽出処理は、オリジナルのドキュメントデータと、追記等の可能性がある出力ドキュメントとの比較を行う処理が行なわれる。

例えば、特許文献１には、原本ドキュメントと、追記可能性のある新原稿ドキュメントを電子文書データとして保存して、これらの電子文書相互の差分抽出を実行して追記情報抽出を実行する構成が開示されている。

この他、追記情報の抽出処理についての構成を開示した従来技術として、例えば特許文献２〜１１がある。しかし、上述の特許文献１も含め、従来、開示されたシステムでは、追記情報の特定、抽出を実行するのみであり、例えば、追記情報が原本情報のどの文に対応する関連情報として追記されたものであるのかといった、追記情報と原本情報との関連性を解析する構成を開示したものはない。また、原本が更新された場合などにおける追記情報の再配置処理などについて開示したものはなかった。

一般に、何らかの原本ドキュメントに対して、メモ書きなどの追記を行なう場合、追記を行なうユーザは、原本ドキュメントに記載済みの原本情報に含まれるいずれかの特定部分に関連する情報を追記情報として記録することが多い。また、紙原稿には複数回の追記がなされる場合があり、また、原本となる電子文書も更新される場合がある。これらのケースにおいて、原本情報と追記情報が重なり合ってしまったり、情報の位置関係が崩れてしまったりし、原本情報と追記情報との関連性が不明確になるなど、最適なレイアウトが維持できなくなるという課題がある。

例えば、原本の更新処理は、追記情報の存在を認識することなく行なわれることが多く、この場合、追記情報が記録された位置に、原本の更新情報が記録される場合がある。結果として、原本情報と追記情報とが同一領域に記録され、原本と追記情報を併せて表示する処理やプリント出力を行なう場合には、追記情報と更新原本情報とが重なって出力されてしまい記録情報が読みづらくなってしまうという問題が発生する。また、各種の記録情報を移動して重なりを解除する処理を行なうと、原本情報と追記情報との関連性の把握が困難となるという問題が発生する。
特開平１０−２５５０２７号公報 特開平１１−２７２６５４号公報 特開２０００−１１２６４６号公報 特開２００２−３５２２１７号公報 特開２００３−６７３６３号公報 特開２００４−８０６０１号公報 特開２００４−３０２６１７号公報 特開２００５−７４７２４号公報 特開２００５−１２２６８２号公報 特開２００５−１４９０９７号公報 特開２００５−１７５５６５号公報

本発明は、上述の問題点に鑑みてなされたものであり、テキストやイメージデータなどから構成されるドキュメント、例えばプリント出力された原本ドキュメントに対して行なわれたメモ書きなどの追記情報を抽出するとともに、追記情報と原本情報との関連性や、追記情報相互の関連性などを解析し、原本情報および追記情報の配置を更新するレイアウト処理を実行してユーザに提示可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

さらに、具体的には、原本情報と追記情報の重なりが無く、また、情報の位置関係を維持し、最適なレイアウト割り付けを実行するとともに、ユーザへの推奨指定や、ユーザの指示を反映して、原本情報と追記情報を最適に表示して、見やすく、且つ、文書構造と配置がマッチした文書を生成することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
ドキュメント画像に基づいて、追記情報として判別される変更オブジェクト領域の判定処理を実行する変更オブジェクト領域判定手段と、
前記変更オブジェクト領域判定手段の判定結果情報を入力し、原本ドキュメントに対して加えられた追記情報の追記履歴を判定する変更オブジェクト履歴判定手段と、
ドキュメント画像に基づいて、ドキュメントに含まれる情報としてのオブジェクト相互の関連性を判定するオブジェクト関連性判定手段と、
ドキュメント画像に基づいて、ドキュメントのレイアウト解析を実行するレイアウト解析手段と、
原本ドキュメントおよび該原本ドキュメントに対して加えられた追記情報と更新情報を含む出力情報を生成するレイアウト割り付け手段であり、前記レイアウト解析手段によるレイアウト解析情報と、前記オブジェクト関連性判定手段の判定情報に従って、選択オブジェクトを関連情報の近傍に移動させてオブジェクト重なりを解消した出力情報を生成するレイアウト割り付け手段と、
を有することを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記レイアウト割り付け手段は、前記出力情報に含まれる情報としてのオブジェクトの各々に優先度を設定し、優先度の高いオブジェクトを固定し、優先度の低いオブジェクトを移動させてオブジェクト重なりを解消した出力ドキュメントを生成する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記レイアウト割り付け手段は、原本ドキュメントに対して加えられた更新情報の優先度を、原本ドキュメントに対して加えられた追記情報の優先度より高く設定し、更新情報と追記情報の重なりがあると判定された領域の追記情報を移動させてオブジェクト重なりを解消した出力ドキュメントを生成する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記オブジェクト関連性判定手段は、追記情報または更新情報の生成されたドキュメントの記録済み情報であり、追記情報または更新情報の近傍にある記録済み情報を、追記情報または更新情報に対応する関連情報として選択する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記レイアウト割り付け手段は、移動対象として選択した選択オブジェクトを、前記オブジェクト関連性判定手段によって、関連情報として選択された前記記録済み情報の近傍に移動させてオブジェクト重なりを解消した出力ドキュメントを生成する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、移動対象オブジェクトの指定情報を入力する入力手段を有し、前記レイアウト割り付け手段は、前記入力手段から入力される移動対象オブジェクトの指定情報に基づいて、移動対象オブジェクトの選択を行なう構成であることを特徴とする。

さらに、本発明の第２の側面は、
画像処理装置において、ドキュメントのレイアウト変更を実行して出力情報を生成する画像処理方法であり、
変更オブジェクト領域判定手段において、入力ドキュメント画像に基づいて、追記情報として判別される変更オブジェクト領域の判定処理を実行する変更オブジェクト領域判定ステップと、
オブジェクト関連性判定手段において、前記変更オブジェクト領域判定手段の判定結果情報を入力し、原本ドキュメントに対して加えられた追記情報の追記履歴を判定する変更オブジェクト履歴判定ステップと、
オブジェクト関連性判定手段において、ドキュメント画像に基づいてドキュメントに含まれる情報としてのオブジェクト相互の関連性を判定するオブジェクト関連性判定ステップと、
レイアウト解析手段において、ドキュメント画像に基づいてドキュメントのレイアウト解析を実行するレイアウト解析ステップと、
原本ドキュメントおよび該原本ドキュメントに対して加えられた追記情報と更新情報を含む出力情報を生成するレイアウト割り付け手段において、前記レイアウト解析手段によるレイアウト解析情報と、前記オブジェクト関連性判定手段の判定情報に従って、選択オブジェクトを関連情報の近傍に移動させてオブジェクト重なりを解消した出力情報を生成するレイアウト割り付けステップと、
を有することを特徴とする画像処理方法にある。

さらに、本発明の画像処理方法の一実施態様において、前記レイアウト割り付けステップは、前記出力情報に含まれる情報としてのオブジェクトの各々に優先度を設定し、優先度の高いオブジェクトを固定し、優先度の低いオブジェクトを移動させてオブジェクト重なりを解消した出力ドキュメントを生成する処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記レイアウト割り付けステップは、原本ドキュメントに対して加えられた更新情報の優先度を、原本ドキュメントに対して加えられた追記情報の優先度より高く設定し、更新情報と追記情報の重なりがあると判定された領域の追記情報を移動させてオブジェクト重なりを解消した出力ドキュメントを生成する処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記オブジェクト関連性判定ステップは、追記情報または更新情報の生成されたドキュメントの記録済み情報であり、追記情報または更新情報の近傍にある記録済み情報を、追記情報または更新情報に対応する関連情報として選択する処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記レイアウト割り付けステップは、移動対象として選択した選択オブジェクトを、前記オブジェクト関連性判定手段によって、関連情報として選択された前記記録済み情報の近傍に移動させてオブジェクト重なりを解消した出力ドキュメントを生成する処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記情報処理装置は、さらに、移動対象オブジェクトの指定情報を入力する入力手段を有し、前記レイアウト割り付けステップは、前記入力手段から入力される移動対象オブジェクトの指定情報に基づいて、移動対象オブジェクトの選択を行なうステップであることを特徴とする。

さらに、本発明の第３の側面は、
画像処理装置において、ドキュメントのレイアウト変更を実行して出力情報を生成させるコンピュータ・プログラムであり、
変更オブジェクト領域判定手段において、入力ドキュメント画像に基づいて、追記情報として判別される変更オブジェクト領域の判定処理を実行させる変更オブジェクト領域判定ステップと、
オブジェクト関連性判定手段において、前記変更オブジェクト領域判定手段の判定結果情報を入力し、原本ドキュメントに対して加えられた追記情報の追記履歴を判定させる変更オブジェクト履歴判定ステップと、
オブジェクト関連性判定手段において、ドキュメント画像に基づいてドキュメントに含まれる情報としてのオブジェクト相互の関連性を判定させるオブジェクト関連性判定ステップと、
レイアウト解析手段において、ドキュメント画像に基づいてドキュメントのレイアウト解析を実行させるレイアウト解析ステップと、
原本ドキュメントおよび該原本ドキュメントに対して加えられた追記情報と更新情報を含む出力情報を生成するレイアウト割り付け手段において、前記レイアウト解析手段によるレイアウト解析情報と、前記オブジェクト関連性判定手段の判定情報に従って、選択オブジェクトを関連情報の近傍に移動させてオブジェクト重なりを解消した出力情報を生成させるレイアウト割り付けステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、原本ドキュメントに対して加えられた様々な情報、すなわち、追記情報や更新情報を含む出力情報の生成に際して、追記情報と原本情報との関連性や、追記情報相互の関連性などを解析し、原本情報および追記情報の配置を更新するレイアウト処理を実行してユーザに提示する出力情報を生成する。具体的には、原本情報と追記情報の重なりを解消するとともに、情報（オブジェクト）の移動に際して関連性の高いと判定される複数の情報を近接させて配置する移動処理を実行する。このような最適なレイアウト割り付けを実行して出力情報を生成する構成としたので、ユーザは出力情報に従って、すべての情報を明瞭に確認することができ、また各情報間の関連性についても、ほぼ誤り無く把握することができる。

以下、図面を参照しながら本発明の実施形態に係る画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。

まず、図１を参照して、本発明の画像処理装置を適用した処理の概要について説明する。図１に示す原本ドキュメント１１はＰＣなどの情報処理装置１０１に格納された電子データをプリンタ１０２を介して出力した例えば紙媒体としてのドキュメントである。原本ドキュメント１１は、例えばスキャナなどのデータ読み取り処理装置によって読み取られ情報処理装置１０１の記憶部に電子データとして格納されたドキュメントでありイメージデータ、テキストデータ等いずれでもよく、例えばＯＣＲなどによってテキスト解析済みのデータとして取り込まれる場合もある。本発明において処理対象とするドキュメントは、イメージデータ、テキストデータのいずれでもよい。

なお、原本ドキュメントは、スキャナなどのデータ読み取り装置に読み取られるドキュメントのみならず、ＰＣなどの情報処理装置１０１において生成し、ハードディスクなどのデータベースに格納された電子データとしてのドキュメントであってもよい。例えばレイアウト情報などの様々な属性データが付与されている文書作成アプリケーションで生成した文書などであってもよい。

情報処理装置１０１のハードディスク等のデータベースに格納されたドキュメントデータは、原本ドキュメント１１として、プリンタ１０２を介して出力され、ユーザに配布される。プリンタの出力する出力ドキュメントは、図に示す原本ドキュメント１１である。

原本ドキュメント１１に対して、ユーザは、メモ書きなどを行なう。いわゆる追記を行なう。この結果、図に示す追記ドキュメント１２が生成される。追記ドキュメント１２は、例えばスキャナ１０３を利用して読み取られ、読み取りデータが画像処理装置２００に格納される。さらに、原本ドキュメント１１に対する更新処理が実行されて更新ドキュメント１３が生成される。

画像処理装置２００では、例えばスキャナ１０３を介して取得した追記ドキュメント１２のデータと、更新原本ドキュメント１３のデータを例えばネットワークを介して情報処理装置１０１から取得して、更新原本ドキュメント１３および追記ドキュメント１２の両データに含まれるデータを重なりなく、かつ関連性のある情報を近接させて配置するレイアウト変更を実行して出力データ２０を生成し、ディスプレイ等を介して提示したり、あるいは図示しないプリンタを介して出力する。

本発明の画像処理装置２００では、原本ドキュメント１１と、追記ドキュメント１２の差分解析による追記情報の抽出を行なうのみでなく、例えば追記情報と原本情報との関連性や、追記情報相互の関連性などを解析し、更新された原本情報および追記情報の配置を更新するレイアウト処理を実行してユーザに提示する。具体的には、更新原本情報に含まれる情報と追記情報との重なりを解消し、また関連情報を近接して配置する最適なレイアウト割り付けを実行するとともに、ユーザへの推奨指定や、ユーザの指示を反映して、原本情報と追記情報を最適に表示して、見やすく、且つ、文書構造と配置がマッチした文書を生成する。

図２を参照して、本発明の画像処理装置２００の実行する具体的な処理例について説明する。

図２は、時間軸（ｔ）に沿ったドキュメントの遷移を示している。図２に示す左端の原本ドキュメント（原本１）２０１は、例えば、画像処理装置にデータ保存がされた原本ドキュメントデータをプリント出力した紙ドキュメントである。この原本ドキュメント２０１に対して、ユーザは、例えばメモ書きなどの追記を行なう。この結果のドキュメントが追記ドキュメント２０２である。なお、原本ドキュメント２０１の用紙に示されている［原本１］の文字列は、原本ドキュメント２０１に記録された情報を示し、追記ドキュメント２０２の用紙に示されている［追記１］の文字列は、追記情報を示している。

追記ドキュメント２０２中の追記情報２２１は、原本ドキュメント２０１に記録された情報を参照して行なわれた追記である。追記情報２２１は、追記ドキュメント２０２中に示される点線枠で示す原本情報２２２の近傍に記載され、追記情報２２１は、原本情報２２２に対応する関連情報として追記された情報であることが推定される。

時間（ｔ１）において、この追記ドキュメント２０２はスキャナによってスキャン処理がなされ、画像処理装置内の記憶部に追記ドキュメント画像データとしてデータ保存がなされる。

一方、原本ドキュメント（原本１）２０１は、その後、データ更新が行なわれ、図に示す更新原本ドキュメント２０３として生成される。このデータは、原本ドキュメント２０１に対応して実行され、追記情報を含む追記ドキュメントに対して実行されるものではない。

例えば、更新処理によって新たに追加された記述データは、図２に示す更新原本ドキュメント２０３の更新情報２３１［図の更新原本ドキュメント２０３上に示された原本２の文字列］となる。この更新原本ドキュメント２０３は、原本ドキュメント２０１を参照して生成される。図２に示す更新原本ドキュメント２０３の更新情報２３１は、更新原本ドキュメント２０３中に示される点線枠で示す原本情報２３２の近傍に記載され、更新情報２３１は、原本情報２３２に基づいて新たに追加更新された情報である。

この更新原本ドキュメント２０３は、画像処理装置内に格納されている原本ドキュメント２０１を読み出して、画像処理装置上の表示部に提示してデータの入力を行なって生成してもよいし、あるいは、画像処理装置内に格納されている原本ドキュメント２０１をプリント出力して、その出力用紙上に対して更新情報を書き込む形式で行なってもよい。このような形式で行った場合は、更新情報はスキャナで読み取られて画像処理装置内の記憶部に記憶される。画像処理装置上の表示部に提示してデータの入力を行なって更新原本ドキュメント２０３を生成した場合は、そのデータが画像処理装置内の記憶部に記憶される。

結果として、例えば時間（ｔ２）においては、原本ドキュメント２０１をベースとして作成された更新原本ドキュメント２０３と、追記ドキュメント２０２の２つの異なる画像データが画像処理装置の記憶部に記録されていることになる。

画像処理装置は、原本ドキュメント２０１をベースとして作成された全ての情報を包含する画像データを生成して、プリント出力、または表示部に対する表示出力を行なう。すなわち、図に示す出力情報２０４を生成する。画像処理装置は、出力情報２０４の生成に際して、更新原本ドキュメント２０３と、追記ドキュメント２０２の画像データのレイアウト解析を実行し、レイアウト解析結果に基づいて、出力情報２０４を生成するためのレイアウト割り付け処理を実行する。すなわち、原本情報と追記情報の重なりが無く、また、各情報の位置関係を維持し、最適なレイアウト割り付けを実行する。

この結果、図に示すような出力情報２０４が生成される。図に示すように、出力情報２０４においては、更新原本ドキュメント２０３に記録された情報の配置をそのままとして、追記ドキュメント２０２に記録された追記情報の位置を変更したレイアウト設定となっている。すなわち、出力情報２０４中の追記情報２４３の位置は、追記ドキュメント２０２における追記情報２２１の位置と異なる位置に設定されている。これは、更新原本ドキュメント２０３における更新情報２３１の位置と、追記ドキュメント２０２における追記情報２２１の位置に重なりがあり、いずれかの情報の配置を変更する必要があるとの判断に基づく。

本発明の画像処理装置におけるレイアウト変更処理では、移動する必要のある情報について、原本情報や追記情報などの情報（オブジェクト）の各々に優先度を設定し、優先度の高い情報（オブジェクト）については、なるべく移動を行なわない設定とし、優先度の低い情報（オブジェクト）について移動する処理を行う。また、移動オブジェクトについての移動先は、関連する情報（オブジェクト）の近傍とする設定に基づいて移動処理を実行する。

図２に示す出力情報２０４の例では、原本情報（原本２）２４１が、追記情報（追記１）２４３より優先度が高い設定とされた例である。この場合、原本情報（原本２）２４１を移動オブジェクトとせず、追記情報（追記１）２４３を移動オブジェクトとして選択する。

さらに、移動オブジェクトとされた追記情報２４３の移動先は、追記情報２４３と関連性の高い情報（オブジェクト）の位置の近傍とする。この場合、追記情報２４３は、追記ドキュメント２０２の追記情報２２１に相当する。追記ドキュメント２０２の追記情報２２１は、先に説明したように、原本ドキュメント２０１に記録された情報を参照して行なわれた追記であり、追記ドキュメント２０２中に示される点線枠で示す原本情報２２２の近傍に記載され、原本情報２２２に対応する関連情報として追記された情報であることが推定される。この推定に基づいて、レイアウト変更時における追記情報の移動先は、図に示す出力情報２０４に示される点線枠２４２、すなわち、追記ドキュメント２０２中に示される点線枠で示す原本情報２２２の相当する位置の近傍に設定される。

このようなレイアウト変更によって、原本情報と追記情報の重なりが無く、また、各情報の位置関係を維持した最適なレイアウト割り付けが実行され、出力情報２０４が生成されて、プリント出力、あるいは表示出力がなされる。ユーザはこの情報によって、すべての情報を明瞭に確認することができ、また各情報間の関連性についてもほぼ誤り無く把握することが可能となる。

図２に示す例は、追記処理が１回のみの処理例であるが、追記処理は異なるタイミングで複数回、実行される場合もある。このような場合の処理例について、図３を参照して説明する。

図３においても、図２と同様、時間軸（ｔ）に沿ったドキュメントの遷移を示している。図３に示す左端の原本ドキュメント（原本１）３０１は、例えば、画像処理装置にデータ保存がされた原本ドキュメントデータをプリント出力した紙ドキュメントである。この原本ドキュメント３０１に対して、ユーザは、例えばメモ書きなどの追記を、異なるタイミングにおいて複数回実行する。

まず、第１回目の追記処理結果のドキュメントが追記ドキュメントａ３０２である。追記ドキュメントａ３０２中の追記情報（追記１）３２１は、原本ドキュメント３０１に記録された情報を参照して行なわれた追記である。追記情報３２１は、追記ドキュメントａ３０２中に示される点線枠で示す原本情報３２２の近傍に記載され、追記情報３２１は、原本情報３２２に対応する関連情報として追記された情報であることが推定される。

時間（ｔ１）において、この追記ドキュメントａ３０２はスキャナによってスキャン処理がなされ、画像処理装置内の記憶部に追記ドキュメント画像データとしてデータ保存がなされる。

さらに、時間（ｔ１）の後、第２回目の追記処理が実行される。この第２回目の追記結果のドキュメントが追記ドキュメントｂ３０３である。追記ドキュメントｂ３０３中の追記情報（追記２）３３１は、追記ドキュメントａ３０２に記録された情報を参照して行なわれた追記である。追記情報３３１は、追記ドキュメントｂ３０３中に示される一点鎖線枠で示す既存情報３３２［原本（原本１）および追記（追記１）情報］の近傍に記載され、追記情報３３１は、既存情報３３２に対応する関連情報として追記された情報であることが推定される。

時間（ｔ２）において、この追記ドキュメントｂ３０３はスキャナによってスキャン処理がなされ、画像処理装置内の記憶部に追記ドキュメント画像データとしてデータ保存がなされる。なお、追記ドキュメントｂ３０３の保存処理は、追記ドキュメントａ３０２に対する上書き処理として実行してもよい。あるいは追記ドキュメントａ３０２と、追記ドキュメントｂ３０３を別データファイルとして記録しておいてもよい。追記ドキュメントａ３０２を消去する場合には、追記ドキュメントａ３０２に記録された情報（オブジェクト）の履歴と、オブジェクト間の関連性を解析し、その情報を画像処理装置内の記憶部に履歴、関連性情報として記録しておくことが必要である。この情報は、レイアウト変更処理に際して利用される。

原本ドキュメント（原本１）３０１は、その後、データ更新が行なわれ、図に示す更新原本ドキュメント３０４として生成される。このデータは、原本ドキュメント３０１に対応して実行され、追記情報を含む追記ドキュメントに対して実行されるものではない。

例えば、更新処理によって新たに追加された記述データは、図３に示す更新原本ドキュメント３０４の更新情報３４１［図の更新原本ドキュメント３０４上に示された原本２の文字列］となる。この更新原本ドキュメント３０４は、原本ドキュメント３０１を参照して生成される。図３に示す更新原本ドキュメント３０４の更新情報３４１は、更新原本ドキュメント３０４中に示される点線枠で示す原本情報３４２の近傍に記載され、更新情報３４１は、原本情報３４２に基づいて新たに追加更新された情報である。

この更新原本ドキュメント３０４は、画像処理装置内に格納されている原本ドキュメント３０１を読み出して、画像処理装置上の表示部に提示してデータの入力を行なって生成してもよいし、あるいは、画像処理装置内に格納されている原本ドキュメント３０１をプリント出力して、その出力用紙上に対して更新情報を書き込む形式で行なってもよい。このような形式で行った場合は、更新情報はスキャナで読み取られて画像処理装置内の記憶部に記憶される。画像処理装置上の表示部に提示してデータの入力を行なって更新原本ドキュメント３０４を生成した場合は、そのデータが画像処理装置内の記憶部に記憶される。

画像処理装置は、原本ドキュメント３０１をベースとして作成された全ての情報を包含する画像データを生成して、プリント出力、または表示部に対する表示出力を行なう。すなわち、図に示す出力情報３０５を生成する。画像処理装置は、出力情報３０５の生成に際して、更新原本ドキュメント３０４と、追記ドキュメントｂ３０３の画像データのレイアウト解析を実行し、レイアウト解析結果に基づいて、出力情報３０５を生成するためのレイアウト割り付け処理を実行する。すなわち、原本情報と追記情報の重なりが無く、また、各情報の位置関係を維持し、最適なレイアウト割り付けを実行する。なお、この処理の際には、追記ドキュメントａ３０２に基づいて取得された情報（オブジェクト）間の関連情報も適用する。なお、追記ドキュメントａ３０２の画像データが画像処理装置の記憶部に格納されている場合は、この追記ドキュメントａ３０２に基づいて情報（オブジェクト）間の関連情報を取得してもよい。

これらの結果、図に示すような出力情報３０５が生成される。図に示すように、出力情報３０５においては、更新原本ドキュメント３０４に記録された情報の配置をそのままとして、追記ドキュメントｂ３０３に記録された追記情報の位置を変更したレイアウト設定となっている。すなわち、出力情報３０５中の追記情報（追記１）３５２と、追記情報（追記２）３５３の位置は、追記ドキュメントｂ３０３における各追記情報の位置と異なる位置に設定されている。これは、更新原本ドキュメント３０４における更新情報３４１の位置と、追記ドキュメントｂ３０３における各追記情報（追記１）（追記２）の位置に重なりがあり、いずれかの情報の配置を変更する必要があるとの判断に基づく。

本発明の画像処理装置におけるレイアウト変更処理では、前述したように、移動する必要のある情報について、原本情報や追記情報などの情報（オブジェクト）の各々に優先度を設定し、優先度の高い情報（オブジェクト）については、なるべく移動を行なわない設定とし、優先度の低い情報（オブジェクト）について移動する処理を行う。また、移動オブジェクトについての移動先は、関連する情報（オブジェクト）の近傍とする設定に基づいて移動処理を実行する。

図３に示す出力情報３０５の例では、原本情報（原本２）３５１が、追記情報（追記１）３５２、追記情報（追記２）３５３より優先度が高い設定とされた例である。この場合、原本情報（原本２）３５１を移動オブジェクトとせず、追記情報（追記１）３５２、追記情報（追記２）３５３を移動オブジェクトとして選択する。

さらに、移動オブジェクトとされた追記情報（追記１）３５２、追記情報（追記２）３５３の移動先は、各追記情報と関連性の高い情報（オブジェクト）の位置の近傍とする。この場合、追記情報（追記１）３５２は、追記ドキュメントａ３０２の追記情報３２１に相当する。追記ドキュメントａ３０２の追記情報３２１は、先に説明したように、原本ドキュメント３０１に記録された情報を参照して行なわれた追記であり、追記ドキュメントａ３０２中に示される点線枠で示す原本情報３２２の近傍に記載され、原本情報３２２に対応する関連情報として追記された情報であることが推定される。この推定に基づいて、レイアウト変更時における追記情報（追記１）３５２の移動先は、図に示す出力情報３０５に示される点線枠３６２、すなわち、追記ドキュメントａ３０２中に示される点線枠で示す原本情報３２２（出力情報３０５中の点線枠３６２）の相当する位置の近傍に設定される。

また、追記情報（追記２）３５３は、追記ドキュメントｂ３０３の追記情報３３１に相当する。追記ドキュメントｂ３０３の追記情報３３１は、先に説明したように、追記ドキュメントａ３０２に記録された既存情報を参照して行なわれた追記であり、追記ドキュメントｂ３０３中に示される一点鎖線枠で示す既存情報３３２の近傍に記載され、既存情報３３２に対応する関連情報として追記された情報であることが推定される。この推定に基づいて、レイアウト変更時における追記情報（追記２）３５３の移動先は、図に示す出力情報３０５に示される一点鎖線枠３６３、すなわち、追記ドキュメントｂ３０３中に示される一点鎖線枠で示す既存情報３３２（出力情報３０５中の一点鎖線枠３６３）の相当する位置の近傍に設定される。

このようなレイアウト変更によって、原本情報と追記情報の重なりが無く、また、各情報の位置関係を維持した最適なレイアウト割り付けが実行され、出力情報３０５が生成されて、プリント出力、あるいは表示出力がなされる。ユーザはこの情報によって、すべての情報を明瞭に確認することができ、また各情報間の関連性についてもほぼ誤り無く把握することが可能となる。

次に、図４以下を参照して本発明の画像処理装置の構成および処理について説明する。図４は、本発明の画像処理装置４００の構成を示すブロック図である。画像処理装置４００は、画像入力手段４１０、変更オブジェクト判定手段４２０、変更オブジェクト履歴判定手段４３０、変更オブジェクト関連性判定手段４４０、レイアウト解析手段４５０、レイアウト割り付け手段４６０、画像出力手段４７０を有する。

画像入力手段４１０は、解析対象となる画像データ、例えば、
（ａ）少なくとも１つの追記ドキュメントを入力する。
（ｂ）あるいは追記ドキュメントに加えてオリジナルの原本ドキュメントがある場合は、その原本ドキュメントを入力する。
これらのデータは、例えばスキャナ、あるいはハードディスクなどのデータベースから入力する。なお、入力ドキュメントは、イメージデータ、テキストデータ、さらにレイアウト情報などの属性データを含むドキュメントなど様々なデータが含まれる。

画像入力手段４１０に入力された各ドキュメントデータは、変更オブジェクト判定手段４２０に入力される。変更オブジェクト判定手段４２０は、追記情報を抽出するために必要な画像データを選択して、追記情報を取得する処理を実行する。

変更オブジェクト判定手段４２０の詳細構成について、図５を参照して説明する。図５に示すように、変更オブジェクト判定手段４２０の処理構成は、
（ａ）原本文書（ドキュメント）または画像が存在する場合、
（ｂ）原本文書（ドキュメント）または画像が存在しない場合、
これら（ａ），（ｂ）の場合において、異なる処理構成となる。

まず、（ａ）原本文書または画像が存在する場合について説明する。原本文書または画像が存在する場合は、原本ドキュメント画像と、追記ドキュメント画像の２画像の差分抽出によって、追記情報抽出を実行する。

まず、画像情報位置合わせ手段４２１において、原本ドキュメント画像と、追記ドキュメント画像の２画像の位置合わせ処理を実行する。２つの画像の位置合わせ手法としては、既存の様々な手法が適用可能である。基本的には、画像各々から類似する特徴領域を抽出し、類似する特徴領域の対応付け処理によって行われる。対応特徴領域に基づいて、２つの画像間のずれ量を算出し、ずれ量に基づいて、画像データを補正しながら位置合わせを行なう。

画像情報差分算出手段４２２は、位置合わせの行われた原本ドキュメント画像データと追記ドキュメント画像データとの差分を抽出する処理である。この処理は、従来の処理と同様であり、たとえば、原本ドキュメント画像データの座標位置（ｘ，ｙ）と、追記ドキュメント画像データの対応座標位置（ｘ，ｙ）の差分の有無を検出し、差分が存在する場合にのみ、これを追記情報としてデータ抽出を実行する。

変更領域出力手段４２３は、画像情報差分算出手段４２２の抽出した追記情報の含まれる領域を選択して出力する。この領域抽出は、差分情報の存在する画素抽出、あるいは、差分画素を含む矩形領域など、予め定めた領域選択アルゴリズムに従った領域抽出を行なう。抽出された差分画像を含む領域データは、変更オブジェクト履歴判定手段４３０に出力される。

次に、（ｂ）原本文書または画像が存在しない場合の変更オブジェクト判定手段４２０の処理について説明する。原本文書または画像が存在しない場合は、原本ドキュメント画像と、追記ドキュメント画像の２画像の差分抽出ができない。従って、追記ドキュメントのみから追記情報であると判定されるデータを抽出する処理を実行する。ここでは、追記情報が、原本ドキュメントの記録色と異なる色によって記録されているものとして、色彩判定によって追記情報抽出を行なう。具体的には、例えば原本ドキュメントはモノクロのプリントデータであり、追記ドキュメントに含まれる追記情報は赤色である場合、追記ドキュメントから赤色データを抽出することで追記情報抽出を実行する。

まず、使用色抽出手段４２５は、追記ドキュメントの画像分析（色分析）を実行して、追記ドキュメントに使用されている色を抽出する。例えば、黒と赤などの分析結果が得られる。

次に、変更色情報入力手段４２６は、追記情報として識別すべき色情報を入力する。たとえばオペレータによって色情報（赤など）を入力する。なお、オペレータによる色情報の入力を行なうことなく、例えば、黒以外の色情報を追記情報として判定する設定としてもよい。この構成の場合には、外部からの色情報の入力は不要である。

変更領域出力手段４２７は、使用色抽出手段４２５の追記ドキュメントの画像分析（色分析）結果と、変更色情報入力手段４２６において入力された色情報、あるいは予め設定済みの色情報に基づいて、追記ドキュメントから指定色を持つ画素を抽出する。あるいは、指定色を持つ画素を含む矩形領域などを抽出する。変更領域出力手段４２７は、予め定めた領域選択アルゴリズムに従った変更領域抽出を行なう。抽出された領域データは、変更オブジェクト履歴判定手段４３０に出力される。

次に、変更オブジェクト履歴判定手段４３０は、オリジナルの原本ドキュメントに対して加えられた追記情報の履歴を判定する。変更オブジェクト判定手段４２０において、抽出された追記情報は、少なくともオリジナルの原本情報の後に生成された情報（オブジェクト）であると判定される。また、複数の異なるタイミングで実行された追記がある場合、すなわち、先に、図３を参照して説明したように、複数の異なるタイミングでの追記情報（追記１）（追記２）・・・等がある場合は、追記ドキュメントの情報処理装置に対する格納タイミング（図３に示す（ｔ１），（ｔ２））に基づいて、追記情報の履歴を判定する。各追記ドキュメントをスキャナによって画像処理装置に取り込む場合、格納タイミング情報を取り込み画像データに対応付けて記憶部に格納する。

後発の追記ドキュメントを画像処理装置に取り込む場合に、先行する追記ドキュメントをそのまま画像処理装置に残しておく場合は、各追記ドキュメントの格納タイミングに基づいて、各追記情報（オブジェクト）の履歴を判定することができる。また、前述したように、後発の追記ドキュメント（例えば図３を参照して説明した処理例における追記ドキュメントｂ３０３）のデータ保存処理を、先行する追記ドキュメント（図３における追記ドキュメントａ３０２）に対する上書き処理として実行し、先行する追記ドキュメントが蔵データを削除する場合には、先行する追記ドキュメント（図３における追記ドキュメントａ３０２）に記録された情報（オブジェクト）の履歴と、オブジェクト間の関連性を、予め解析し、その解析情報を画像処理装置内の記憶部に履歴、関連性情報として記録しておく。

変更オブジェクト履歴判定手段４３０は、これらの情報を適用して、各追記情報の実行履歴を判定する。変更オブジェクト履歴判定手段４３０は、上述の情報を適用することで、複数の異なるタイミングで追記がなされた場合においても、各追記情報の実行履歴を判定することができる。

次に、変更オブジェクト関連性判定手段４３０は、各追記情報が、どの情報に関連する追記情報であるかの判定を実行する。すなわち、例えば、図２に示す処理例では、追記ドキュメント２０２の追記情報２２１は、追記ドキュメント２０２中に示される点線枠で示す原本情報２２２の近傍に記載され、追記情報２２１は、原本情報２２２に対応する関連情報として追記された情報であることが推定される。

変更オブジェクト関連性判定手段４３０は、追記ドキュメントのスキャナによる取り込みデータに基づいて、これらのオブジェクト間の関連性を判定する。なお、例えば、後発の追記ドキュメントの格納時に、先行の追記ドキュメントを消去する場合は、これらの関連性判定処理は、消去前に実行し、関連性情報を画像処理装置の記憶部に記録しておく。

図３を参照して説明した処理例の場合は、変更オブジェクト関連性判定手段４３０は、複数の異なるタイミングでの追記情報（追記１）、（追記２）のそれぞれについて、どのオブジェクトとの関連性がある追記であるかを個別に判定する。

図３に示す処理例において、追記ドキュメントａ３０２である。追記ドキュメントａ３０２中の追記情報（追記１）３２１は、原本ドキュメント３０１に記録された情報を参照して行なわれた追記である。追記情報３２１は、追記ドキュメントａ３０２中に示される点線枠で示す原本情報３２２の近傍に記載され、追記情報３２１は、原本情報３２２に対応する関連情報として追記された情報であると判定する。

追記ドキュメントｂ３０３中の追記情報（追記２）３３１は、追記ドキュメントａ３０２に記録された情報を参照して行なわれた追記である。追記情報３３１は、追記ドキュメントｂ３０３中に示される一点鎖線枠で示す既存情報３３２［原本（原本１）および追記（追記１）情報］の近傍に記載され、追記情報３３１は、既存情報３３２に対応する関連情報として追記された情報であると判定する。

さらに、変更オブジェクト関連性判定手段４３０は、原本ドキュメントが更新され、更新ドキュメントが存在する場合、その更新ドキュメントに含まれる更新情報が、どの情報と関連する更新情報であるかについての判定を行なう構成としてもよい。なお、図２、図３を参照して説明した処理例のように、更新原本情報を、レイアウト変更時に移動させないオブジェクトとして設定する場合は、更新情報は移動処理がなされないので、元々の記録位置に出力されることになるので、このような更新情報の関連性判定は省略してもよい。何らかの要因で、更新原本情報の移動を行なう場合には、各更新情報がどの情報（オブジェクト）に基づいて実行されたか、すなわち更新情報との関連性の高い情報（オブジェクト）を判定し、この情報を画像処理装置の記憶部に格納し、レイアウト変更時には、この関連性情報に基づいて、更新情報の移動先を関連性の高いオブジェクトの近傍に設定する。

次に、レイアウト解析手段４５０の処理について説明する。レイアウト解析手段４５０は、（更新）原本ドキュメントや追記ドキュメントの画像データを入力し、ドキュメントのレイアウト解析を実行する。なお、ドキュメントに属性情報としてレイアウト情報が含まれる場合は、その情報を適用してもよい。レイアウト情報が含まれない場合は、（更新）原本ドキュメントまたは追記ドキュメントの画像データに基づいてレイアウト解析を実行する。

なお、レイアウト解析手段４５０におけるレイアウト解析は、レイアウト変更を行い出力対象とするドキュメントについて行なわれる。例えば更新原本ドキュメントと追記ドキュメントが存在し、これらの全てのドキュメントの記載情報の出力を行なう場合は、これらのドキュメントのレイアウト解析を行なう。レイアウト解析手段４５０におけるレイアウト解析は、文字領域、写真領域などの領域解析であり、具体的には、例えば情報（オブジェクト）の記録されていない余白領域と情報（オブジェクト）の記録されている非余白領域の各位置の判別などが行なわれる。

例えば、図６に示すドキュメントデータ４５１は、図３を参照して説明した処理例における更新原本ドキュメント３０４に対応する。レイアウト解析手段４５０は、ドキュメントに含まれる文字領域、写真領域などの領域の解析を実行し、例えば図６に示すドキュメントデータ４５１において、文字領域、写真領域などからなるレイアウト単位Ａ〜Ｂを解析、抽出する。レイアウト単位Ａは、図３に示す更新原本ドキュメント３０４における（原本１）の記録領域、レイアウト単位Ｂは、図３に示す更新原本ドキュメント３０４における（原本２）の記録領域に相当する。

また、図６に示すドキュメントデータ４５２は、図３を参照して説明した処理例における追記ドキュメントｂ３０３に対応する。レイアウト解析手段４５０は、ドキュメントに含まれる文字領域、写真領域などの領域の解析を実行し、例えば図６に示すドキュメントデータ４５２に示すように、文字領域、写真領域などからなるレイアウト単位Ｃ〜Ｅを解析、抽出する。レイアウト単位Ｃは、図３に示す追記ドキュメントｂ３０３における（原本１）の記録領域、レイアウト単位Ｄは、図３に示す追記ドキュメントｂ３０３おける（追記１）の記録領域、レイアウト単位Ｅは、図３に示す追記ドキュメントｂ３０３おける（追記２）の記録領域に相当する。

次に、レイアウト割り付け手段４６０の処理について説明する。レイアウト割り付け手段４６０は、レイアウト解析手段４５０から、レイアウト解析情報を入力し、原本情報と追記情報の重なりが無く、また、各情報の位置関係を維持した最適なレイアウト割り付け処理を実行する。

レイアウト割り付け手段４６０は、レイアウト解析手段４５０から入力するレイアウト解析情報に基づいて、移動する必要のある情報（オブジェクト）を判別し、移動オブジェクトを選択して移動させる。この際、先に、説明したように、原本情報や追記情報などの情報（オブジェクト）の各々に優先度を設定し、優先度の高い情報（オブジェクト）については、なるべく移動を行なわない設定とし、優先度の低い情報（オブジェクト）について移動する処理を行う。また、移動オブジェクトについての移動先は、関連する情報（オブジェクト）の近傍とする。

例えば、図２に示す例では、レイアウト割り付け手段４６０は、レイアウト解析手段４５０から、追記ドキュメント２０２と、更新原本ドキュメント２０３に関するレイアウト解析結果を入力して、レイアウト割り付けを実行して、出力情報２０４を生成する。

図２に示す処理例では、図２に示す出力情報２０４中の原本情報（原本２）２４１が、追記情報（追記１）２４３より優先度が高い設定とされ、レイアウト割り付け手段４６０は、原本情報（原本２）２４１を移動オブジェクトとせず、追記情報（追記１）２４３を移動オブジェクトとして選択する。さらに、レイアウト割り付け手段４６０は、移動オブジェクトとした追記情報２４３の移動先を、追記情報２４３と関連性の高い情報（オブジェクト）の位置の近傍に設定するレイアウト割り付けを実行する。

図２に示す例において、追記情報２４３は、追記ドキュメント２０２の追記情報２２１に相当する。追記ドキュメント２０２の追記情報２２１は、原本ドキュメント２０１に記録された情報を参照して行なわれた追記であり、追記ドキュメント２０２中に示される点線枠で示す原本情報２２２の近傍に記載され、原本情報２２２に対応する関連情報として追記された情報であることが推定される。レイアウト割り付け手段４６０は、この推定に基づいて、レイアウト変更時における追記情報の移動先を、図２に示す出力情報２０４に示される点線枠２４２、すなわち、追記ドキュメント２０２中に示される点線枠で示す原本情報２２２の相当する位置の近傍に設定する。

一方、図３を参照して説明した処理例においては、レイアウト割り付け手段４６０は、レイアウト解析手段４５０から、追記ドキュメント３０３と、更新原本ドキュメント３０４に関するレイアウト解析結果を入力して、レイアウト割り付けを実行して、出力情報３０５を生成する。

図３に示す処理例では、図３に示す出力情報３０５中の原本情報（原本２）３５１が、追記情報（追記１）３５２、追記情報（追記２）３５３より優先度が高い設定とされ、レイアウト割り付け手段４６０は、原本情報（原本２）３５１を移動オブジェクトとせず、追記情報（追記１）３５２、追記情報（追記２）３５３を移動オブジェクトとして選択する。さらに、レイアウト割り付け手段４６０は、移動オブジェクトとされた追記情報（追記１）３５２、追記情報（追記２）３５３の移動先を、各追記情報と関連性の高い情報（オブジェクト）の位置の近傍とするレイアウト割り付けを実行する。

図３に示す例において、追記情報（追記１）３５２は、追記ドキュメントａ３０２の追記情報３２１に相当する。追記ドキュメントａ３０２の追記情報３２１は、原本ドキュメント３０１に記録された情報を参照して行なわれた追記であり、追記ドキュメントａ３０２中に示される点線枠で示す原本情報３２２の近傍に記載され、原本情報３２２に対応する関連情報として追記された情報であることが推定される。レイアウト割り付け手段４６０は、この推定に基づいて、レイアウト変更時における追記情報（追記１）３５２の移動先を、図３に示す出力情報３０５に示される点線枠３６２、すなわち、追記ドキュメントａ３０２中に示される点線枠で示す原本情報３２２（出力情報３０５中の点線枠３６２）の相当する位置の近傍に設定する。

また、追記情報（追記２）３５３は、追記ドキュメントｂ３０３の追記情報３３１に相当する。追記ドキュメントｂ３０３の追記情報３３１は、追記ドキュメントａ３０２に記録された既存情報を参照して行なわれた追記であり、追記ドキュメントｂ３０３中に示される一点鎖線枠で示す既存情報３３２の近傍に記載され、既存情報３３２に対応する関連情報として追記された情報であることが推定される。レイアウト割り付け手段４６０は、この推定に基づいて、レイアウト変更時における追記情報（追記２）３５３の移動先を、図３に示す出力情報３０５に示される一点鎖線枠３６３、すなわち、追記ドキュメントｂ３０３中に示される一点鎖線枠で示す既存情報３３２（出力情報３０５中の一点鎖線枠３６３）の相当する位置の近傍に設定する。

レイアウト割り付け手段４６０は、このようなレイアウト変更によって、原本情報と追記情報の重なりが無く、また、各情報の位置関係を維持した最適なレイアウト割り付けを実行する。画像出力手段４７０は、レイアウト割り付け手段４６０の生成したレイアウトに従ったドキュメントデータを表示装置に出力、あるいはプリント出力する処理を実行する。ユーザはこの出力情報によって、すべての情報を明瞭に確認することができ、また各情報間の関連性についても、ほぼ誤り無く把握することが可能となる。

また、画像処理装置に移動対象オブジェクトの指定情報を入力する入力手段を設け、レイアウト割り付け手段４６０は、入力手段から入力される移動対象オブジェクトの指定情報に基づいて、移動対象オブジェクトの選択を行なう構成としてもよい。

なお、レイアウト割付手段４６０は、レイアウト割り付け処理において、重なり領域を解消するため、オブジェクトの優先度に従って、優先度の低いオブジェクトを移動させる処理を実行するが、この際、移動処理対象として選定する優先度の低いオブジェクトは、上記の例では、追記情報としたが、その他の設定も可能である。追記情報を優先度を高くし、更新情報の優先度を低くして、更新情報を移動オブジェクトとしてもよい。

また、単純に履歴情報のみを考慮して、先に記録された追記情報、あるいは更新情報の優先度を後から追記された追記情報あるいは更新情報の優先度より高い設定として、後から記録された情報を移動オブジェクトとする設定など、様々な設定が可能である。また、例えば、手書き文字などを優先度の低いオブジェクトとして判定し、手書き文字を移動オブジェクトとするといった設定も可能である。なお、いずれの場合も、移動オブジェクトの移動先は、その移動対象のオブジェクトとの関連性の高いオブジェクトの近傍に設定する。

次に、図７に示すフローチャートを参照して本発明の画像処理装置の実行する処理シーケンスについて説明する。ステップＳ１０１において、画像処理装置内部の記憶部に格納された画像データ、あるいはスキャン画像を入力する。これは、図４に示す画像入力手段４１０における処理である。解析対象となる画像データ、例えば追記ドキュメント、あるいは原本ドキュメントまたは更新原本ドキュメントと追記ドキュメントを入力する。

ステップＳ１０２は、変更オブジェクト判定手段４２０の処理である。変更オブジェクト判定手段４２０は、図５を参照して説明した（ａ）原本文書または画像が存在する場合の処理、または（ｂ）原本文書または画像が存在しない場合の処理、これらの処理のいずれかを実行する。

例えば、（ａ）原本文書または画像が存在する場合の処理としては、追記ドキュメント画像データと原本ドキュメント画像データの位置合わせを実行し、これらの画像データの差分を算出し、差分情報の存在する画素または画素を含む領域を変更領域、すなわち追記情報の記録領域と判定する。

原本文書または画像が存在しない場合は、原本ドキュメント画像と、追記ドキュメント画像の２画像の差分抽出ができない。従って、追記ドキュメントのみから追記情報であると判定されるデータを抽出する処理を実行する。すなわち、追記ドキュメントの画像分析（色分析）を実行して、追記ドキュメントに使用されている色を抽出する。例えば、黒と赤などの分析結果を得る。

さらに、先に図５を参照して説明したように、追記情報として識別すべき色情報を入力し、追記ドキュメントの画像分析（色分析）結果と、入力色情報、あるいは予め設定済みの色情報に基づいて、追記ドキュメントから指定色を持つ画素を抽出する。あるいは、指定色を持つ画素を含む矩形領域などを抽出して追記情報の記録領域を判定する。

ステップＳ１０３は、変更オブジェクト履歴判定手段４３０の処理である。変更オブジェクト履歴判定手段４３０は、オリジナルの原本ドキュメントに対して加えられた追記情報の履歴を判定する。複数の異なるタイミングでの追記情報（追記１）（追記２）・・・等がある場合は、追記ドキュメントの情報処理装置に対する格納タイミング（図３に示す（ｔ１），（ｔ２））に基づいて、追記情報の履歴を判定する。

ステップＳ１０４は、オブジェクト関連性判定手段４４０の処理である。オブジェクト関連性判定手段４４０は、例えば追記情報が、どの情報に関連する追記情報であるかの判定を実行する。すなわち、例えば、図２に示す処理例では、追記ドキュメント２０２の追記情報２２１は、追記ドキュメント２０２中に示される点線枠で示す原本情報２２２の近傍に記載され、追記情報２２１は、原本情報２２２に対応する関連情報として追記された情報であると判定する。

ステップＳ１０５は、レイアウト解析手段４５０の処理である。レイアウト解析手段４５０は、原本ドキュメントまたは更新ドキュメントと、追記ドキュメントの画像データを入力し、ドキュメントのレイアウト解析を実行する。この処理は、先に、図６を参照して説明したように、ドキュメントに含まれる各情報（オブジェクト）の領域を、各ドキュメント毎に判定する処理である。

ステップＳ１０６は、レイアウト割り付け手段４６０の処理である。レイアウト割り付け手段４６０は、レイアウト解析手段４５０から入力するレイアウト解析情報に基づいて、移動する必要のある情報（オブジェクト）を判別し、移動オブジェクトを選択して移動させる。この際、先に、説明したように、原本情報や追記情報などの情報（オブジェクト）の各々に優先度を設定し、優先度の高い情報（オブジェクト）については、なるべく移動を行なわない設定とし、優先度の低い情報（オブジェクト）について移動する処理を行う。また、移動オブジェクトについての移動先は、関連する情報（オブジェクト）の近傍とする。

なお、前述したように、画像処理装置に移動対象オブジェクトの指定情報を入力する入力手段を設け、レイアウト割り付け手段が、入力手段から入力される移動対象オブジェクトの指定情報に基づいて、移動対象オブジェクトの選択を行なう構成としてもよい。

ステップＳ１０７の処理は、画像出力手段４７０の処理である。画像出力手段４７０は、レイアウト割り付け手段４６０の生成したレイアウトに従ったドキュメントデータを表示装置に出力、あるいはプリント出力する処理を実行する。

最後に、図８を参照して、本発明の画像処理装置のハードウェア構成例について説明する。図８に示す構成は、例えばＰＣなどによって構成される画像処理装置であり、スキャナ等のデータ読み取り部５３１と、プリンタなどのデータ出力部５３２を備えたハード構成例を示している。

ＣＰＵ（Central Processing Unit）５０１は、上述の実施例において説明した各種のデータ処理、すなわち変更オブジェクト判定処理、変更オブジェクト履歴判定処理、オブジェクト関連性判定処理、レイアウト解析処理、レイアウト割り付け処理等の各処理の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。

ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。

ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。

キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、入力された原本ドキュメントや追記ドキュメントデータ、さらに、関連性履歴情報などを格納する。さらに、各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。リムーバブル記録媒体５２１も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部５３１は、ドキュメントの読み取り処理を実行し、データ出力部５３２は、ドキュメントデータの出力処理を実行する。

なお、図８に示す画像処理装置のハードウェア構成例は、１つの装置例を示すものであり、本発明の画像処理装置は、図８に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、原本ドキュメントに対して加えられた様々な情報、すなわち、追記情報や更新情報を含む出力情報の生成に際して、追記情報と原本情報との関連性や、追記情報相互の関連性などを解析し、原本情報および追記情報の配置を更新するレイアウト処理を実行してユーザに提示する出力情報を生成する。具体的には、原本情報と追記情報の重なりを解消するとともに、情報（オブジェクト）の移動に際して関連性の高いと判定される複数の情報を近接させて配置する移動処理を実行する。このような最適なレイアウト割り付けを実行して出力情報を生成する構成としたので、ユーザは出力情報に従って、すべての情報を明瞭に確認することができ、また各情報間の関連性についても、ほぼ誤り無く把握することができる。

本発明の画像処理装置を適用した処理の概要について説明する図である。 本発明の画像処理装置を適用した処理の概要およびドキュメントについて説明する図である。 本発明の画像処理装置を適用した処理の概要およびドキュメントについて説明する図である。 本発明の画像処理装置の構成について説明する図である。 本発明の画像処理装置の変更オブジェクト判定手段の詳細構成について説明する図である。 本発明の画像処理装置のレイアウト解析手段の実行する処理について説明する図である。 本発明の画像処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。 本発明の画像処理装置のハードウェア構成例について説明する図である。

符号の説明

１１ 原本ドキュメント
１２ 追記ドキュメント
１３ 更新原本ドキュメント
２０ 出力データ
１０１ 情報処理装置
１０２ プリンタ
１０３ スキャナ
２０１ 原本ドキュメント
２０２ 追記ドキュメント
２２１ 追記情報
２２２ 原本情報
２０３ 更新原本ドキュメント
２３１ 更新情報
２３２ 原本情報
２０４ 出力情報
２４１ 原本情報
２４３ 追記情報
３０１ 原本ドキュメント
３０２ 追記ドキュメント
３２１ 追記情報
３２２ 原本情報
３０３ 追記ドキュメント
３３１ 追記情報
３３２ 原本情報
３０４ 更新原本ドキュメント
３４１ 更新情報
３４２ 原本情報
３０５ 出力情報
３５１ 原本情報
３５２ 追記情報
３５３ 追記情報
４００ 画像処理装置
４１０ 画像入力手段
４２０ 変更オブジェクト判定手段
４２１ 画像情報位置合わせ手段
４２２ 画像情報差分算出手段
４２３ 変更領域出力手段
４２５ 使用色抽出手段
４２６ 変更領域出力手段
４２７ 変更領域出力手段
４３０ 変更オブジェクト履歴判定手段
４４０ オブジェクト関連性判定手段
４５０ レイアウト解析手段
４６０ レイアウト割り付け手段
４７０ 画像／データ出力手段
５０１ ＣＰＵ(Central Processing Unit)
５０２ ＲＯＭ（Read-Only-Memory）
５０３ ＲＡＭ（Random Access Memory）
５０４ ホストバス
５０５ ブリッジ
５０６ 外部バス
５０７ インタフェース
５０８ キーボード
５０９ ポインティングデバイス
５１０ ディスプレイ
５１１ ＨＤＤ（Hard Disk Drive）
５１２ ドライブ
５１４ 接続ポート
５１５ 通信部
５２１ リムーバブル記録媒体
５２２ 外部接続機器
５３１ データ読み取り部
５３２ データ出力部

Claims (13)

1. ドキュメント画像に基づいて、追記情報として判別される変更オブジェクト領域の判定処理を実行する変更オブジェクト領域判定手段と、
   前記変更オブジェクト領域判定手段の判定結果情報を入力し、原本ドキュメントに対して加えられた追記情報の追記履歴を判定する変更オブジェクト履歴判定手段と、
   ドキュメント画像に基づいて、ドキュメントに含まれる情報としてのオブジェクト相互の関連性を判定するオブジェクト関連性判定手段と、
   ドキュメント画像に基づいて、ドキュメントのレイアウト解析を実行するレイアウト解析手段と、
   原本ドキュメントおよび該原本ドキュメントに対して加えられた追記情報と更新情報を含む出力情報を生成するレイアウト割り付け手段であり、前記レイアウト解析手段によるレイアウト解析情報と、前記オブジェクト関連性判定手段の判定情報に従って、選択オブジェクトを関連情報の近傍に移動させてオブジェクト重なりを解消した出力情報を生成するレイアウト割り付け手段と、
   を有することを特徴とする画像処理装置。
2. 前記レイアウト割り付け手段は、
   前記出力情報に含まれる情報としてのオブジェクトの各々に優先度を設定し、優先度の高いオブジェクトを固定し、優先度の低いオブジェクトを移動させてオブジェクト重なりを解消した出力ドキュメントを生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
3. 前記レイアウト割り付け手段は、
   原本ドキュメントに対して加えられた更新情報の優先度を、原本ドキュメントに対して加えられた追記情報の優先度より高く設定し、更新情報と追記情報の重なりがあると判定された領域の追記情報を移動させてオブジェクト重なりを解消した出力ドキュメントを生成する処理を実行する構成であることを特徴とする請求項２に記載の画像処理装置。
4. 前記オブジェクト関連性判定手段は、
   追記情報または更新情報の生成されたドキュメントの記録済み情報であり、追記情報または更新情報の近傍にある記録済み情報を、追記情報または更新情報に対応する関連情報として選択する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
5. 前記レイアウト割り付け手段は、
   移動対象として選択した選択オブジェクトを、前記オブジェクト関連性判定手段によって、関連情報として選択された前記記録済み情報の近傍に移動させてオブジェクト重なりを解消した出力ドキュメントを生成する処理を実行する構成であることを特徴とする請求項４に記載の画像処理装置。
6. 前記画像処理装置は、さらに、
   移動対象オブジェクトの指定情報を入力する入力手段を有し、
   前記レイアウト割り付け手段は、
   前記入力手段から入力される移動対象オブジェクトの指定情報に基づいて、移動対象オブジェクトの選択を行なう構成であることを特徴とする請求項１に記載の情報処理装置。
7. 画像処理装置において、ドキュメントのレイアウト変更を実行して出力情報を生成する画像処理方法であり、
   変更オブジェクト領域判定手段において、入力ドキュメント画像に基づいて、追記情報として判別される変更オブジェクト領域の判定処理を実行する変更オブジェクト領域判定ステップと、
   オブジェクト関連性判定手段において、前記変更オブジェクト領域判定手段の判定結果情報を入力し、原本ドキュメントに対して加えられた追記情報の追記履歴を判定する変更オブジェクト履歴判定ステップと、
   オブジェクト関連性判定手段において、ドキュメント画像に基づいてドキュメントに含まれる情報としてのオブジェクト相互の関連性を判定するオブジェクト関連性判定ステップと、
   レイアウト解析手段において、ドキュメント画像に基づいてドキュメントのレイアウト解析を実行するレイアウト解析ステップと、
   原本ドキュメントおよび該原本ドキュメントに対して加えられた追記情報と更新情報を含む出力情報を生成するレイアウト割り付け手段において、前記レイアウト解析手段によるレイアウト解析情報と、前記オブジェクト関連性判定手段の判定情報に従って、選択オブジェクトを関連情報の近傍に移動させてオブジェクト重なりを解消した出力情報を生成するレイアウト割り付けステップと、
   を有することを特徴とする画像処理方法。
8. 前記レイアウト割り付けステップは、
   前記出力情報に含まれる情報としてのオブジェクトの各々に優先度を設定し、優先度の高いオブジェクトを固定し、優先度の低いオブジェクトを移動させてオブジェクト重なりを解消した出力ドキュメントを生成する処理を実行するステップであることを特徴とする請求項７に記載の画像処理方法。
9. 前記レイアウト割り付けステップは、
   原本ドキュメントに対して加えられた更新情報の優先度を、原本ドキュメントに対して加えられた追記情報の優先度より高く設定し、更新情報と追記情報の重なりがあると判定された領域の追記情報を移動させてオブジェクト重なりを解消した出力ドキュメントを生成する処理を実行するステップであることを特徴とする請求項８に記載の画像処理方法。
10. 前記オブジェクト関連性判定ステップは、
    追記情報または更新情報の生成されたドキュメントの記録済み情報であり、追記情報または更新情報の近傍にある記録済み情報を、追記情報または更新情報に対応する関連情報として選択する処理を実行するステップであることを特徴とする請求項７に記載の画像処理方法。
11. 前記レイアウト割り付けステップは、
    移動対象として選択した選択オブジェクトを、前記オブジェクト関連性判定手段によって、関連情報として選択された前記記録済み情報の近傍に移動させてオブジェクト重なりを解消した出力ドキュメントを生成する処理を実行するステップであることを特徴とする請求項１０に記載の画像処理方法。
12. 前記情報処理装置は、さらに、
    移動対象オブジェクトの指定情報を入力する入力手段を有し、
    前記レイアウト割り付けステップは、
    前記入力手段から入力される移動対象オブジェクトの指定情報に基づいて、移動対象オブジェクトの選択を行なうステップであることを特徴とする請求項７に記載の画像処理方法。
13. 画像処理装置において、ドキュメントのレイアウト変更を実行して出力情報を生成させるコンピュータ・プログラムであり、
    変更オブジェクト領域判定手段において、入力ドキュメント画像に基づいて、追記情報として判別される変更オブジェクト領域の判定処理を実行させる変更オブジェクト領域判定ステップと、
    オブジェクト関連性判定手段において、前記変更オブジェクト領域判定手段の判定結果情報を入力し、原本ドキュメントに対して加えられた追記情報の追記履歴を判定させる変更オブジェクト履歴判定ステップと、
    オブジェクト関連性判定手段において、ドキュメント画像に基づいてドキュメントに含まれる情報としてのオブジェクト相互の関連性を判定させるオブジェクト関連性判定ステップと、
    レイアウト解析手段において、ドキュメント画像に基づいてドキュメントのレイアウト解析を実行させるレイアウト解析ステップと、
    原本ドキュメントおよび該原本ドキュメントに対して加えられた追記情報と更新情報を含む出力情報を生成するレイアウト割り付け手段において、前記レイアウト解析手段によるレイアウト解析情報と、前記オブジェクト関連性判定手段の判定情報に従って、選択オブジェクトを関連情報の近傍に移動させてオブジェクト重なりを解消した出力情報を生成させるレイアウト割り付けステップと、
    を実行させることを特徴とするコンピュータ・プログラム。