JP2007242021A - 自動文書レイアウトデザイン - Google Patents

Abstract

【課題】文書にオブジェクトをレイアウトすることである。
【解決手段】自動文書レイアウト生成の方法と装置を開示する。一実施形態において、本方法は、文書イメージオブジェクトの第１のレイアウトを受け取る段階と、文書イメージオブジェクトの配置に対応する配置制約の下で文書イメージオブジェクトの第２のレイアウトを生成する段階であって、少なくとも１つの配置制約は１つ以上の文書イメージオブジェクトのオブジェクトコンテンツに基づく段階とを有する。
【選択図】図１

Description

本発明は画像処理の技術分野に関し、より具体的には凸最適化フレームワークとオブジェクト内容依存制約を用いる自動文書レイアウトデザインに関する。

文書にオブジェクトをレイアウトすることは周知の問題である。スマートネイルと呼ばれるレイアウト方法により、元々１頁にレイアウトされた文書イメージオブジェクトをスケーリング（scaling）、クロッピング（cropping）及びリポジショニング（repositioning）することができようになった。ディスプレイサイズが制約されているので、欲張りアルゴリズム（greedy algorithm）を用いて最適化を実行して文書イメージオブジェクトを再配置する。詳しい情報は特許文献１、２に記載されている。

遺伝的アルゴリズムが文書レイアウト問題に適用されてきた。１つのケースでは、ページに配置された四角形と、ユーザまたはアプリケーションが生成した特性とを所与として、組み合わせ的最適化フレームワークを用いてレイアウトの美的基準を最適化する。この場合、美的基準にはアライメント（alignment）、バランス、一様性、余白フラクション（white-space fraction）、余白フリーフロー（white-space fee-flow）、規則性、ページセキュリティ及びアスペクト比（aspect ratio）が含まれる。これらの各基準に対してコストを定義する。個別のコストの重みづけ合計として組み合わせコストを定義する。しかし、イメージオブジェクトの内容は美的尺度（aesthetic measures）には影響しない。ユーザまたはアプリケーションプログラムは最初、重ならない１セットの四角形を配置する。そして、最適化すると美的尺度にしたがってその四角形の配置が調整される。詳細な情報は、特許文献３と特許文献４を参照。

他のアプローチでは、既存のフォーマットされた文書ページ（すでにレイアウトされている）を取り、ユーザが、テキストオブジェクトにテキストを追加するか、または異なるサイズの用紙にページをフォーマットし直せるようにする。このように、元のレイアウトはあまり変化せず、単に「調整」されるだけである。最適化問題は線形の制約条件を伴う線形コスト関数として定式化して、ワシントン大学の制約解法（constraint solving）ソフトウェアを用いて解くことができる詳しい情報は、Ｌｉｎ，Ｘ（ＨＰ Ｌａｂｓ）著「Active Document Layout Synthesis」、Proc. ICDAR 2005, Seoul, South Korea, pg. 86-90を参照。

さらに他のアプローチでは、システムはコンテンツを入れる四角形（入れ物containers）のセットを取りるが、その四角形（入れ物）の位置は最初に選択して、後で変更することはできない。コンテンツをフィットさせる。コンテンツは画像、グラフィックス、テキスト、またはこれらの組み合わせであると記載されている。詳細は特許文献６を参照。

特許文献７は、上記の入れ物（containers）と同様の所定のレイアウト（layout representation）で始まる方法を開示している。そして、最適化アルゴリズムにより、データベースからその入れ物に文書オブジェクトを入れる。各オブジェクト（object selection）についてコストを計算する。最終的にコストが最低になるようにオブジェクトのセットを配置する。入れ物（containers）に入れるときの最適化には、生物学的なプログラミングモデル（進化アルゴリズムまたは遺伝的アルゴリズム）を使用する。配置されるべきオブジェクトは最適化ステップで使用する特性（attributes）を担っている。その特性を、レイアウトの指定されていない特性（unspecified attributes）と比較する。
米国特許出願第１０／３５４，８１１号（出願日２００３年１月２９日、発明の名称“Reformatting Documents Using Document Analysis Information”） 米国特許出願第１０／４３５，３００号（出願日２００３年５月９日、発明の名称“Resolution Sensitive Layout of Document Regions”） 米国特許出願第２００５００２８０７４Ａ１号（公開日２００５年２月３日、発明の名称「System and method for measuring and quantizing document quality」） 米国特許出願第２００４００２５１０９Ａ１号（公開日２００４年２月５日、「System and method for fitness evaluation for optimization in document assembly」） 米国特許出願第２００４００１９８５１Ａ１号（公開日２００４年１月２９日、「Constraint-optimization system and method for document component layout generation」） 米国特許出願第２００５００７６２９０Ａ１号（発明の名称「Document Composition」、公開日２００５年４月７日） 米国特許第６，１７３，２８６号（発明の名称「Computer-implemented optimization of publication layouts」、出願日２００１年１月９日）

自動文書レイアウト生成の方法と装置を開示する。一実施形態において、本方法は、文書イメージオブジェクトの第１のレイアウトを受け取る段階と、文書イメージオブジェクトの配置に対応する配置制約の下で文書イメージオブジェクトの第２のレイアウトを生成する段階であって、少なくとも１つの配置制約は１つ以上の文書イメージオブジェクトのオブジェクトコンテンツに基づく段階とを有する。

本発明は、以下の詳細な説明と本発明のいろいろな実施形態を示した添付図面から、よりよく理解できるであろう。しかし、これらの実施形態は、本発明を限定されるものと解してはならず、説明と理解を目的としたものと解すべきである。

自動レイアウトデザインの方法と装置を開示する。一実施形態では、自動レイアウトデザインは凸最適化（convex optimization）のフレームワークを用いて達成される。本方法は、１つの配置を形成する文書イメージオブジェクトのコレクションをシード（seeded）として始まり、この配置から、最適化フレームワークに美的尺度を組み込んだ最終的レイアウトを計算する。

一実施形態では、所定の美的尺度に関して最適な初期配置された１組の文書イメージオブジェクトからレイアウト表示を自動的に計算する。レイアウト表示の計算には凸最適化フレームワーク（convex optimization framework）を用いる。フレームワークに適合させるために、制約条件と目的関数を定義する。制約条件は初期配置位置と個々のオブジェクトから得られた属性に依存する。例えばアライメント（alignment）やセンタリング（centering）等の美的レイアウト尺度は目的関数に含まれる。一実施形態では、定式化した最適化問題の解を求めるために、オープンソースソフトウェアを使用する。例えば、「CVXOPT: A Python Package for Convex Optimization」（Joachin Dahl, Lieven Vandenbeube, www.er.ucla.edu/vandeube/cvxpt/cvxopt.html）、または「CVX, Matlab Software for Disciplined Convex Progamming」（Michael Grant, Stephen Boyd, Yinyu Ye, www.stanford.edu/nboyd/cvx,２００５年１０月）などである。

一実施形態では、自動レイアウト設計の一部として、ユーザ及びアプリケーション入力を含む相対ポジショニング制約条件の定義方法を用いる。また、別の実施形態では、凸最適化フレームワークでの使用に適した幾何学的美的文書レイアウト基準（geometric aesthetic document layout measures）を使用してもよい。凸最適化フレームワークは文書オブジェクトに限定的範囲のスケーリング（limited-range-scaling）、アスペクト比変更、及びトリミング（cropping）も行い、文書オブジェクトのコンテンツを凸最適化フレームワークの制約条件とコストに含める。

最初にシード（seeded）されたオブジェクトからレイアウト表示を計算するシステムも開示する。一実施形態では、このシステムは、相対的ポジショニング制約計算を実行し、制約条件をオブジェクトコンテンツに適合させ、コスト関数を決め、最適化（optimization solver）を制御する。

以下の説明では、詳細に記載して本発明をより詳しく説明する。しかし、言うまでもなく、本発明はこれらの詳細がなくても実施することができる。他の場合では、詳細事項ではなくブロック図に周知の構造と機器を示すが、これは本発発明が不明瞭になることを避けるためである。

以下の詳細な説明の一部は、コンピュータメモリ中のデータビットに対する操作のアルゴリズムと記号による表現により表されている。これらのアルゴリズムによる説明と表現は、データ処理技術の当業者が、自分の仕事内容を他の分野の人に最も効果的に伝える手段である。ここで、また一般的に、アルゴリズムとは、所望の結果に導く自己矛盾のないステップのシーケンスである。このステップは、物理量の物理的操作を要するステップである。通常、必ずしも必要ではないが、この物理量には、記憶し、伝達し、結合し、比較し、操作できる電気的または磁気的信号の形をとる。主に一般的な使用のために、これらの信号をビット、値、要素、記号、文字、式、数字等で表すと便利な時がある。

しかし、これらの用語や類似の用語は適当な物理量と関連しているべきであり、これらの物理量に付された便利なラベルに過ぎないことに留意すべきである。特に断らなければ、以下の説明から明らかなように、言うまでもなく、この明細書全体において、「処理」、「算出」、「計算」、「判断」、「表示」等の用語を用いた説明は、コンピュータシステム、類似の電子的計算機器の動作やプロセスであって、コンピュータシステムのレジスタやメモリ内の物理的（電子的）量として表されたデータを操作し、コンピュータシステムメモリやレジスタ、その他の情報記憶装置、伝送機器、表示機器内の物理量として同様に表された他のデータに変換するものの動作や処理を指す。

本発明は、また、これらの動作を実行する装置にも関する。この装置は、必要な目的のために特に構成されたものでもよく、コンピュータ中に記憶されたコンピュータプログラムにより選択的に起動または再構成された汎用コンピュータを有していてもよい。かかるコンピュータプログラムは、コンピュータによる読み取りが可能な記憶媒体に記憶することができる。このような記憶媒体には、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク等のいかなるタイプのディスクも含まれ、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光カード、電子的命令を格納するのに好適な、コンピュータシステムバスに結合されたいかなるタイプの媒体も含まれるが、これらに限定されるわけではない。

ここで説明するアルゴリズムとディスプレイは、特定のコンピュータその他の装置に本質的に関係するものではない。いろいろな汎用システムをここでの教示に従ったプログラムで用いることができるし、必要な方法ステップを実行することに特化した装置を構成しても便利である。これらのシステムに必要な構成を以下に示す。また、本発明は特定のプログラミング言語により記述されるものではない。言うまでもなく、いろいろなプログラミング言語を用いてここに説明する本発明の教示を実施できる。

機械読み取り可能媒体には、機械による読み取りが可能な形式で情報を記憶または伝送するいかなるメカニズムも含まれる。例えば、機械読み取り可能媒体には、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）；磁気ディスク記憶媒体；光記憶媒体；フラッシュメモリデバイス；電子的、光学的、音響的その他の形式の伝送信号（例えば搬送波、赤外線信号、デジタル信号等）などが含まれる。

概要
ここで説明する自動レイアウト設計法は曖昧な（underspecified）シードレイアウトから始まる。一実施形態では、このシードレイアウトはキャンバスに配置した四角形のボックスのセットであり、各ボックスは文書イメージオブジェクトと関係している。シードレイアウトは入力された文書イメージまたは複数の文書イメージの集まりから求められるか、両者の組み合わせから求められる。文書イメージ入力からシードレイアウトはいくつかの方法で求めることができる。一実施形態では、文書レイアウト分析を実行して求める。かかる分析は２つの部分、すなわち幾何学的レイアウト分析（geometric layout analysis）と論理的文書レイアウト分析（logical document layout analysis）を有する。両部分とも当業者には周知である。Robert M. Haralickによる論文「Document Image Understanding: Geometric and Logical Layout」（IEEE Computer Vision and Pattern Recognition 1994 (CVPR94), pp.385-390）は幾何学的分析と論理的文書分析の様々な方法のレビューである。この論文では、文書イメージページの幾何学的ページレイアウトを最大の同質領域の配置とこれらの領域の空間的関係の仕様と定義して、ページのタイプ（ページ分類）を決定し、ページの各ブロックに機能ラベルを割り当て、テキストブロックを読む順序に応じて順序付けることにより、論理ページ構造（Logical Page Structure）を生成する。

一実施形態では、美的レイアウト生成に関して、（初期の相対的ポジショニングを維持しつつ）ボックスを重ならないように配置することを目的とする。かかる基準は、アライメント（alignment）やセンタリング（centering）等の幾何学的基準を含み、オブジェクトのコンテンツによる影響を受ける。一実施形態では、自動文書レイアウトが凸最適化（convex optimization）フレームワークを用いて達成される。

定義及び画像処理
文書イメージオブジェクトのコレクション（collection）を考える。このコレクションは以下のものの１つである。文書イメージオブジェクトはオブジェクトのセットを含む文書イメージから得られる（例えば、スキャンされた文書を手作業または自動的にオブジェクトに分割する）。あるいは、文書イメージオブジェクトは（例えばマイクロソフト社のワードやアドビ社のインデザイン等で作られた）電子文書ページのオブジェクトであってもよい。この場合、オブジェクトの位置は分かっている。また、文書イメージオブジェクトはユーザまたは何らかの自動的手続（例えばパッキングアルゴリズム）によりページに配置されたオブジェクトである。かかるコレクションはここでは文書イメージオブジェクトの構成と呼ぶ。文書イメージオブジェクトには、例えば画像、図形、表、テキスト領域、コラム、パラグラフ、フレーム、ルール、ロゴが含まれるが、これらに限定はされない。

構成には完全なレイアウトに必要な情報の一部を明示的または暗示的に含まれてもよい。オブジェクト間の相互関係に関する情報も含まれる。

ここでの目的において、構成を「満たす（populate）」とは、オブジェクトまたはそのオブジェクトの（適当な）一部と、オブジェクトのサイズ及び／または位置に関する情報の一部（全部ではない）を指定することにより、構成を生成することを意味する。あるいは、これは構成を「シード（seeding）」するとも呼ぶ。

構成を満たすことは、レイアウトの完全な情報よりも少ない情報を指定することである。構成を生成するには多数の方法がある。構成はユーザが生成してもよい。一実施形態では、これはグラフィカルユーザインターフェイス（ＧＵＩ）を用いて為される。構成は、１つのレイアウトを例として用いて情報の一部を削除する（また、実施形態によっては一部のオブジェクトも削除する）ことにより生成してもよい。１つ以上のレイアウトを例として用いて、情報を削除、平均、または結合することにより構成を生成してもよい。自己組織化、データ可視化、その他の分析方法を用いて非レイアウト情報（例えば、読み順、時間的情報、類似性、高次元データ）から構成を生成することもできる。

文書ページはコンテンツとレイアウトを有する。コンテンツは画像または単語、センテンス、パラグラフ等を形成する文字のシーケンスであり、レイアウトはコンテンツの全体的にフォーマット化されたデザインの記述である。

ここでの目的において、レイアウトは、次の特性を備えた文書イメージオブジェクト（document image objects）のコレクションの記述であれば、完全レイアウトである。各オブジェクトについて、幾何学形状とその形状に関するアンカーポイント（anchor point）を定義する（例えば、形状は四角形であり、アンカーポイントは左上角である等）。オブジェクトの包含関係（inclusion）は含まれているか含まれていないかを指定するものである。含まれている全てのオブジェクトについて、各オブジェクトのアンカーポイントのページ上の１つの位置へのマッピング（mapping）を与える。オブジェクトのコンテンツの形状は、レイアウト中のそのオブジェクトの形状と同じでなくてもよいし、完全に指定されていなくてもよい（例えば、コンテンツは改行位置が固定されてなく、様々な四角形に入れられるテキストであってもよい）。オブジェクトコンテンツのオブジェクト形状への完全なマッピング（mapping）が与えられる。かかるマッピング（map）は、スケーリング（scaling）、トリミング（cropping）、強度変更（例えばコントラスト低減、αブレンディング等）、または形状を合わせるためのオブジェクト（単語等）のパーツのリフロー（reflowing parts）を含む。幾何学的特性またはコンテンツ特性に基づくオブジェクト間の関係から、オブジェクトのグループを特徴づける特徴（features）を定義する（例えば、オブジェクトまたはコラムのアライメントまたはテーブルレイアウト等）。

完全なレイアウトは完全に指定されたもの（完全に決定されたもの）である。オブジェクトのコレクション、空間的配置命令（配置、形状）、及び形状へのオブジェクトコンテンツのマッピングが与えられ、配置とマッピング命令を実行するフォーマット段階がある。フォーマットされたページはレイアウト記述に関して一意的である。すなわち、同一の完全レイアウトからフォーマットされるイメージ強度が異なる２つのページイメージは存在しない。

シードレイアウトは、ページイメージが異なるが同一のレイアウト命令からフォーマットされた２つのページイメージがあるとの特性を有する。かかるレイアウトは、不完全で曖昧（underspecified）で未決定（underdetermined）であるとみなせる。一実施形態では、シードレイアウトには次の情報があることが必要である：
・オブジェクトのアンカーポイントの位置の範囲を含む形状の範囲；
・ページ上のアンカーポイントの位置の範囲（絶対的または相対的）；
各オブジェクトを含めることが必要か、任意的か、または他の１つ以上のオブジェクトに対して排他的であるか；
・オブジェクトコンテンツの形状へのマッピングの範囲；
・これらの特徴（features）を有するオブジェクトグループの、アライメントやコラムレイアウト等のオブジェクト間の特徴（features）。

構成のシードレイアウト記述には多数の方法がある。例えば、オブジェクトを含めることは完全に指定されなくてもよい。構成中の一部のオブジェクトは、十分なスペースがある場合にのみ、レイアウトに含めてもよい。レイアウトにはオブジェクトのセットであって、その一部（おそらく１つのオブジェクトのみ）がそのレイアウトに含まれるものがあってもよい。オブジェクトについて、構成中のそのサイズは近似的であってもよく、幅、高さ、またはアスペクト比のみが分かっていてもよく、他のオブジェクトに対して相対的に指定されてもよく、それらが分かっていなくてもよい。テキストのパラグラフを含むオブジェクトであって、そのテキストがまだ指定されていないオブジェクトを有する構成は、そのオブジェクトのサイズの幅が分かっていて高さは分かっていなくてもよい。画像を含むオブジェクトを有する構成のサイズは、その画像のある限度内のスケーリングが可能であれば、そのオブジェクトの大体のサイズである。サイズが完全には指定されていないオブジェクトは、ボックス、四角形、円、点等により表すことができる。構成中のオブジェクトの位置は近似的であり、１次元においてのみ分かっていたり、他のオブジェクトに対して相対的にのみ分かっていたり、読み順で制約されていたり、分からなくてもよい。１つの構成において、１つのオブジェクトを第２のオブジェクトの下にあり、第３のオブジェクトの右にあると指定することもできる。構成がいかにレイアウト中の情報の一部となるかの他の例は、当業者には明らかである。

文書イメージオブジェクトの構成からその構成を記述するシードレイアウトを抽出し、すべてのフォーマットマッピングのスペースを１つにする最適化段階を実行する。この段階は完全レイアウトを形成（rendering）する段階である。

図１は、自動文書レイアウト実行プロセスの一実施形態を示すフロー図である。このプロセスは、ハードウェア（例えば回路、専用ロジック等）、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む処理ロジックにより実行される。

図１を参照して、このプロセスは、最初に、文書イメージオブジェクトの１つ以上の構成からシードレイアウトを抽出する。図１は、２つの構成が抽出シードレイアウト処理ブロック１１０１と１１０２により処理される実施形態を示している。抽出結果を用いて、シードレイアウトを最適化して完全レイアウトに変換する（処理ブロック１１０３）。一実施形態では、個の変換はオブジェクト間の特徴の指定に応答して行われる。変換結果は完全レイアウトである。

その後、その完全レイアウトを用いて、フォーマットを実行し、位置決め（positioning）とマッピング命令を実行してフォーマットされたページイメージを作成する（処理ブロック１１０４）。

図２は、より詳細な自動文書オブジェクトレイアウトプロセスの一実施形態を示すフロー図である。このプロセスは、ハードウェア（例えば回路、専用ロジック等）、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む処理ロジックにより実行される。

図２を参照して、このプロセスは、最初に、文書イメージオブジェクトの第１の構成を受け取る（処理ブロック２０１）。次に、文書イメージオブジェクトのシードレイアウトからレイアウト表示であって選ばれた美的基準に関して最適であるレイアウトを、凸最適化フレームワークを用いて自動的に計算する。このフレームワークは、制約条件と目的関数を用いて動作する。制約条件は初期配置位置と個々のオブジェクトから求めた属性とに応じて決まり、目的関数は美的レイアウト基準を含んでいる（処理ブロック２０２）。

一実施形態では、制約条件は個々のイメージオブジェクトのコンテンツから求められる。換言すると、オブジェクトはそのオブジェクトコンテンツ自体から求めた属性を担い、必ずしもユーザにより与えられたものではない。これらの属性は制約条件とコストを定式化するのに使用される。

自動文書レイアウトは、ここでは文書の一部に適用することもできる。一部とはコラム、表、表のセル、グラフィックス、キャプション付きの図形／グラフィックスの表、関連オブジェクトのグループ等である。自動文書レイアウトは、１つのアプリケーションのオブジェクトが他のアプリケーションではページ全体として機能するように、階層的に適用してもよい。階層的適用はトップダウン、ボトムアップ、またはこれらの組み合わせであってもよい。

凸最適化フレームワーク
一実施形態では、凸最適化フレームワークをレイアウト最適化問題に使用する。凸最適化問題は次式で表される：

ここで、ｆ_０、ｆ_１、．．．ｆ_ｍは凸関数であり、ｘは決定変数である。関数ｆ_０は目的関数またはコスト関数と呼ばれ、不等式ｆ_ｉ（ｘ）≦０（ｉ＝１、．．．、ｍ）は不等式制約条件と呼ばれる。ｆ_０、ｆ_１、．．．ｆ_ｍがアフィン関数である場合、この問題は線形計画（ＬＰ）問題と呼ばれる。一実施形態では、凸最適化問題の最適開の計算は、内部点アルゴリズム（interior point algorithms）を用いて実行される。このアルゴリズムは、Boyd, S.、Vandenberghe, Lの「Convex Optimization」（Cambridge University Press, Cambridge, UK, 2004）に説明されている。これらのアルゴリズムはグローバルな最適解を非常に効率的に求め、変数の数についてスケーラブル（scalable）である。一実施形態では、最適化問題を解く他のアルゴリズムを使用してもよい。例えば、ＬＰ問題にはシンプレックスアルゴリズムを使用することができる。これらのアルゴリズムは一般的に遺伝的アルゴリズムやシミュレーテッドアニーリング法（simulated annealing methods）よりも高速である。遺伝的アルゴリズムやシミュレーテッドアニーリング法は別の実施形態で使用できる。しかし、後者の方法は必ずしもグローバルな最適解を求められないことに留意する。

図３は、完全レイアウト生成プロセスの一実施形態を示すフロー図である。このプロセスは、ハードウェア（例えば回路、専用ロジック等）、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む処理ロジックにより実行される。

図３を参照して、このプロセスは最初に、文書イメージオブジェクトの構成に幾何学的文書レイアウト分析を実行する（処理ブロック１００１）。文書イメージオブジェクトの構成に論理的文書レイアウト分析も実行する（処理ブロック１００２）。幾何学的文書レイアウト分析と論理的文書レイアウト分析とを実行した後、これらのレイアウト分析の結果を制約条件に変換する（処理ブロック１００３）。この結果、シードレイアウトが得られる。

シードレイアウトを用いて、美的基準を含むコスト関数を定義する（処理ブロック１００４）。その後、最適化を実行して完全な出力を生成する（処理ブロック１００５）。

図４は、レイアウト分析結果の制約への変換プロセスの一実施形態を示すフロー図である。このプロセスは、ハードウェア（例えば回路、専用ロジック等）、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む処理ロジックにより実行される。図４のプロセスは図３の処理ブロック１００３の一部として使用できる。

図４を参照して、本プロセスは、最初に（幾何学的及び／または論理的）文書レイアウト分析の結果を用いて、相対的位置決め制約条件を決定する（処理ブロック１５０１）。相対的位置制約条件を決定した後、オブジェクトコンテンツ依存のパラメータを制約条件に含める（処理ブロック１５０２）。処理結果はシードレイアウトである。

図５は、オブジェクトコンテンツ依存パラメータの制約条件への組み入れプロセスの一実施形態を示すフロー図である。このプロセスは、ハードウェア（例えば回路、専用ロジック等）、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む処理ロジックにより実行される。図５のプロセスは図４の処理ブロック１５０２の一部として使用できる。

図５を参照して、（幾何学的及び／または論理的分析）文書レイアウト分析の結果を用いて、各オブジェクトについて形状の範囲を決定する（処理ブロック１６０１）。次に、各オブジェクトについてパラメータをスケーリングする範囲を決定する（処理ブロック１６０２）。別の実施形態では、各オブジェクトに対してパラメータのスケーリング範囲を決定する必要はない。

各オブジェクトについてパラメータスケーリングの範囲内で各オブジェクトの形状範囲を決定した後、指定されたオブジェクト間特徴のセット（a specified set of inter object features）を有する候補を決定する（処理ブロック１６０３）。そのオブジェクト間特徴のセットはユーザまたはアプリケーションにより指定されたものである。この決定の結果、シードレイアウトが得られる。

図６は、レイアウト表示計算の最適化フレームワークの使用プロセスの具体的な実施形態を示すフロー図である。このプロセスは、ハードウェア（例えば回路、専用ロジック等）、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む処理ロジックにより実行される。

図６を参照して、このプロセスは最初に最適化フレームワークを設定する（処理ブロック３０１）。一実施形態では、最適化フレームワークの設定は、相対的位置決め制約条件の生成（処理ブロック３０１Ａ）と、その制約条件のオブジェクトコンテンツへの適合（処理ブロック３０１Ｂ）を含む。次に、コスト関数を定義する（処理ブロック３０１Ｃ）。

最適化フレームワークを設定した後、最適化フレームワークからの入力に基づき最適化アルゴリズムを実行して（処理ブロック３０２）、完全なレイアウト表示３０３を生成する。

図7は、レイアウト表示計算の制約とコスト関数を含む最適化問題の設定プロセスの一実施形態を示すフロー図である。このプロセスは、ハードウェア（例えば回路、専用ロジック等）、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む処理ロジックにより実行される。

図７を参照して、文書オブジェクトをキャンバス上に配置する（処理ブロック４０１）かかる配置はシステムが実行してもよいし、システムに入力される前に実行してもよい。システムは配置制約条件を生成する。より具体的に、オブジェクトのグループ分けとグループ及びグループ内の要素の相対的位置決め制約条件を決定し（処理ブロック４０２）、スケーリングの候補とスケーリングパラメータを決定する（処理ブロック４０３）。スケーリングの候補を決定するため、一実施形態では、テキストとフォントサイズをチェックして、ＪＰＥＧ２０００分析を実行する。米国特許第１１／０２３，１４２号（出願日２００４年１２月２２日、発明の名称「Semantic Document Smartnails」及び米国特許第１０／３５４，８１１号（出願日２００３年１月２９日、発明の名称「Reformatting Documents Using Document Analysis Information」を参照せよ。

次に、オブジェクトコンテンツに基づき制約条件を適合させる。一実施形態では、これはコンテンツ依存パラメータを制約条件に含め（処理ブロック４０４）、スケーリングパラメータを制約条件に含める（処理ブロック４０５）ことにより実行される。

次に、システムは適合された制約条件を取ってアライメントの候補（alignment candidates）を決定する（処理ブロック４０６）。アライメント候補を決定した後、美的基準、スケーリング、センタリング及び／または空白削減のコストを含むコスト関数を定義する（処理ブロック４０７）。

他の実施形態では、結果として得られる文書レイアウトは、最終的なレイアウトでは文書オブジェクトが重ならないように条件付けされる。重ならないとの制約条件を上記式１の最適化問題に組み込むため、文書オブジェクトの相対的位置決めをする。換言すると、文書オブジェクトＯ_ｉ、Ｏ_ｊの各ペアについて、Ｏ_ｉがＯ_ｊの左側にあるか、Ｏ_ｊがＯ_ｉの左側にあるか、Ｏ_ｉがＯ_ｊの上側にあるか、Ｏ_ｊがＯ_ｉの上側にあるか判断する。

相対的位置決めグラフペアの定義と生成
一実施形態では、相対的位置決め制約条件をグラフモデルで表す。文書レイアウト問題の場合２つのグラフ、すなわち水平オブジェクト位置決めグラフと垂直オブジェクト位置決めグラフを使用する。水平及び垂直のオブジェクト位置決めグラフは、文書オブジェクトをグラフの頂点としてモデル化し、Ｏ_ｊがＯ_ｉの右側にあるとき水平グラフにおいてＯ_ｉからＯ_ｊに有向辺を構成し、Ｏ_ｊがＯ_ｉより下側にあるとき垂直グラフにおいてＯ_ｉからＯ_ｊに有向辺を引くことにより構成する。別の実施形態では、有向辺が「左へ」と示すグラフ等の他の相対的位置決めグラフを使用してもよい。この結果、１つの文書に対して２つの有向非環式グラフ（directed acyclic graphs）であって相対的位置決めが得られる。凸最適化フレームワークの相対的位置決め制約条件を満たすために、２つのグラフの条件は、水平グラフまたは垂直グラフのいずれかにおいて、頂点（ｉ，ｊ）の各ペアの間にｉからｊへの経路か、またはｊからｉへの経路がなければならないことである。Boyd, S.とVandenberghe, L著の「Convex Optimization」（Cambridge University Press, Cambridge, UK, 2004）を参照されたい。

有向グラフＧを所与として、グラフの頂点の各ペア間の経路を含み辺の数が最小であるグラフをここではＧの最小等化グラフと呼ぶ。Ｇが非環式有向グラフである場合、Ｇの最小等化グラフはＧの推移閉包と等価である。最小等化グラフを作るアルゴリズムは、例えばHsu, H. T著「An Algorithm for Finding a Minimal Equivalent Graph of a Digraph」（Journal of the ACM (JACM), v.22 n.1, p.11-16, Jan. 1975）等の文献に記載されている。水平グラフと垂直グラフの最小等化グラフＧＶ＿ｍｉｎとＧＨ＿ｍｉｎの計算は、相対的位置決めグラフのペアの条件を満たす。四角形がオブジェクトに対応しその大体の位置を示すだけの構成（すなわちシードとされた四角形）とそれに関連するグラフのペアの例を図１１Ａ、１１Ｂに示す。

グラフＧＶ＿ｍｉｎとＧＨ＿ｍｉｎには冗長な辺があってもよい。すなわち、ＧＶ＿ｍｉｎとＧＨ＿ｍｉｎには、削除できる辺があり、その辺を削除した新しいグラフが相対的位置決めグラフペアの条件をまだ満足する。冗長な辺の削除はいろいろな方法で可能である。例えば、冗長な辺は水平または垂直グラフの一方のみから削除でき、これにより行タイプレイアウトまたは列タイプレイアウトが優先されるレイアウトとなる。あるいは、冗長な辺は、多くの辺を有するグラフから削除してもよい。また、ユーザ入力またはアプリケーション入力を用いて冗長な辺の削除を制御できる。例えば、ユーザはいずれの辺を最終的な相対的位置決めグラフに残すべきかに関する情報を提供する。

相対的位置決め制約条件とＸ／Ｙツリー
相対的位置決め制約条件は、幾何学的特性かレイアウト分析の結果のみから求めてもよい。レイアウト分析の出力の１つは文書の論理的分割を示す構造であってもよい。その構造はツリーにより表される（Georgy Nagy, Sharad Seth著「Hierarchical Representation of Optically Scanned Documents」（Proc. Seventh Int'l Conf. Pattern Recognition, pp. 347-349, Montreal, 1984）によるＸ−Ｙツリー、及び Henry S. Baird, Horst Bunke, and Kazuhiko Yamamoto編、「Structured Document Image Analysis」（Springer-Verlag, pp. 70-98, 1992）中のDengel, A.著「ANASTASIL: A System for Low-Level and High-Level Geometric Analysis of Printed Documents」)のＧツリー）。これらのツリーはオブジェクトの半順序階層を課す。階層の高いレベルにおいて、オブジェクトのグループの相対的位置決めを考える。それらのグループに半順序を割り当てた後、個々のグループの内部のオブジェクトの半順序を割り当てる。その半順序は親グループのオブジェクトに関するものであり、他のグループの要素には関係ない。

Ｘ−Ｙツリーに関して、一実施形態では、Ｘ−Ｙツリーの各ノードは四角形に対応する。１つのノードの後継ノードは、親の四角形の水平分割（Ｘカット）により得られる四角形のセットか、垂直分割（Ｙカット）により得られる四角形のセットのいずれかに対応する。水平と垂直の分割（ＸカットセットとＹカットセット）は、正確にレベルごとに入れ替わる。第１の分割は水平または垂直のいずれかに任意的に設定できる。Ｘ−Ｙツリーのルートはページ全体に対応する四角形である。

図８は、階層パーティションが得られる文書のＸカット及びＹカットのシーケンスを示す図である。図９は、図８のパーティショニングのＸ−Ｙツリーを示す図である。図１０は、Ｘ−Ｙツリーから抽出される水平及び垂直ポジショニンググラフを示す図である。かかるグラフペアは最小ではないかも知れない。他の処理動作を適用してグラフペア中の冗長な辺を削除できる。

この例では、分割の各段階で可能なＸカットまたはＹカットがある。両方のカットが可能な場合、異なるツリーのセットを生成して、各ツリーについて最適化を実行し、その結果を評価し、最良のもの（コストが最低のもの）を選択する。他の可能性として、ユーザに全ての可能性のあるツリーから１つを選択させる。

以下にこのプロセスを実行する擬似コードの例を示す：

Ｘ−Ｙツリーの分割に異なる種類の自動レイアウト（例えば、スマートネイル（SmartNails）の生成に使用するレイアウト）を実行することも可能である。この場合、オブジェクトにランキングが行われ、欲張りアルゴリズム（greedy algorithm）が一部のオブジェクトを選択している。グループ化情報は初期構成にも含まれている（例えばユーザにより与えられる）。

いくつかの方法を組み合わせて使用してもよい。例えば、一部の冗長な辺を削除するためにユーザ入力を用いて、その他の冗長な辺を自動的方法を用いて削除することができる。冗長辺の削除は一般的には有用であるが、一部の実施形態では一部の上長辺のみが削除され、他の実施形態では冗長辺は削除しない。

グラフが決まると、２つのオブジェクトが重ならないという制約条件は次の線形不等式で表せる：

これは水平グラフにｉからｊへの有向辺がある場合である。同様に：

これは垂直グラフにｉからｊへの有向辺がある場合である。ここで、（ｘ_ｋ，ｙ_ｋ）はオブジェクトＯ_ｋの左上角の位置決め座標であり、ｗ_ｋとｈ_ｋはそのオブジェクトの幅と高さである。

図１１Ｂは、図１１Ａの構成に対する垂直（左）及び水平（右）の相対ポジショニンググラフの例を示す図である。

すべての可能な相対的位置決めグラフペアの組から１つを選択するには、すべての可能な相対的位置決めグラフペアの一部を最適化アルゴリズムに入れて、レイアウトとそれに伴うコストを計算し、そのレイアウトコストの評価に応じて最終的な相対的位置決めグラフペアを選択してもよく、例えば、コストが最も小さいものやユーザ選好に合うものを選択してもよい。異なる相対ポジショニンググラフのペアに基づくレイアウト例を図１２に示した。

図１２を参照して、相対的位置決めグラフペアの組を使用して、コスト関数の評価によりレイアウトを選択する例を示した。最上段は１つの構成とそれに伴う完全な水平及び垂直グラフを示す。行（ａ）、（ｂ）、（ｃ）はスケーリング制約条件が異なるオブジェクトのグラフペア（水平及び垂直、水平のみ、垂直のみ）の解を示す。コスト関数の例として、同順位の場合に両方のグラフを優先して、両方のオブジェクトを含む四角形の包囲ボックスのサイズを最小化する。点線で囲んだレイアウトは、コストの評価に基づいて各レイアウトから選択されるものを示す。

文書レイアウトの美的幾何学的尺度の別の実施形態
文書レイアウト品質の評価に別の美的尺度を用いてもよい。例えば、アライメント、バランス、一様性（uniformity）、空白フリーフロー（white-space free flow）、その他である。この尺度（measure）では、レイアウトの幾何学的特性、すなわちページ上の四角形の位置とその寸法のみを考慮する。併せて、文書レイアウトをよくするためにこの基準を凸最適化フレームワークに組み込むこともでき、以下に詳しく説明する。

アライメント
ここで説明する方法は、１つの構成があるときに、そのオブジェクトを自動的に整列（align）する方法である。ボックスは垂直または水平に整列することができる。ボックスは左辺または右辺のいずれかに沿って垂直に整列することができ、上辺または下辺のいずれかに沿って水平に整列することができる。以下にボックスを水平に整列する方法であって、対称的アプローチを適用してボックスを垂直に整列する方法の一実施形態を説明する。

ボックスを（水平に）整列させる１つの方法は２つの動作から構成されている。第１に、アライメントの候補を選択する。最初に、水平グラフにおいて間に辺を有するボックスのペアが水平位置合わせ（horizontal alignment）の候補である。第２に、初期高さがｈ_ｉ０とｈ_ｊ０で初期ｙ座標がｙ_ｉ０とｙ_ｊ０である２つのボックスｉとｊを考える。もし、

である場合、そのボックスは上辺に沿った位置合わせ（alignment）の候補であり、そうでない場合は、下辺に沿った位置合わせ（alignment）の候補である。最後に、もし

である場合、ボックスを位置合わせし、そうでない場合には位置合わせしない。一実施形態では、εは０．５に設定される。

次に、位置合わせしないコスト（重み係数）を決定する。２つのボックスを例えば上辺に沿って位置合わせするとき、次のコストを目的関数に加える、

ここで、ｙ_ｉとｙ_ｊはそれぞれボックスｉとｊのｙ座標であり、Ｗ_ｉｊは位置合わせしないコストの重みであり、次の通りである

ここで、Ａ_ｉ０はボックスｉの初期領域である（Ａ_ｉ０＝ｗ_ｉ０ｈ_ｉ０）。２つのボックスを例えば上辺に沿って整列（align）するとき、次のコストを目的関数に加える、

ここで、ｈ_ｉ０とｈ_ｊ０はそれぞれボックスｉとｊの高さの変数である。
中心の位置合わせは、ｙ_ｉ０＋ｈ_ｉ０／２とｙ_ｊ０＋ｈ_ｊ０／２を用いて同様に処理することができる。

センタリングと空白低減
一実施形態では、オブジェクトの完全なセットのグローバルな位置決めを調整する。構成を左上角にシフトするには、目的関数に次のコストを加える

ここで、αは式（４）のＷ_ｉｊよりも小さい。一実施形態では、αは１に設定される。αがＷ_ｉｊよりも大きい場合、ボックスは比較的強い力で左上に押される。位置合わせされなくなる可能性があるので、これは望ましくない。上記のコストを用いずに構成を中心に持ってくるには、次のコストを含める

ここで（ｘ_ｃ，ｙ_ｃ）はページの中心である。かかる小さなコストを加えるとボックスは一緒に動き、ボックス間の空白が低減される。

図１３は、アライメント及び空白削除基準を含む、初期配置（左）から計算されたレイアウト表示（右）の例を示す図である。

左上や中心以外のより複雑な基準に対するグローバルな位置決め（positioning）を実行することができる。例えば、オブジェクトを、適当なコスト関数で、「３番目の法則（rule of thirds）」写真合成ルール中の好きな位置に向けて動かせる。

手書きしやすいように手書きノートをページの中央に位置決めること
一実施形態では、自動文書レイアウトではどのオブジェクトをページの中央に配置するか考慮に入れる。かかる場合、どのオブジェクトをページの中央に配置すべきか決定する。そして、Ｘカットの位置が一定の範囲に入るように半順序を計算する。結果として得られる半順序が他の順序ルールとぶつからない場合、論理ラベルの解釈のルール（例えば、タイトルが上端にあり、（サインではない）手書きフィールドがページの中央にある）を使用する。構成を記述したシードレイアウトには、ペンで手書きするフォームオブジェクト等の指定されたオブジェクトの一部の領域として、ページのどの領域が望ましいかという情報が含まれる。

他の実施形態では、システムがすでに記入された手書きフィールドを分析して、どこが手書きフィールドか学習する。

一実施形態では、手書きで記入すべきイメージオブジェクトの位置はユーザによって異なり、例えば、左利きの人の場合は左寄りで、右利きの人の場合は右よりである。図１４−１６では、シードレイアウトによると、「指示」フィールドは文書の上端にあり、「経過」オブジェクトは読み順（reading order）になっている。「経過」オブジェクトが最初で、「フォーム」オブジェクトが後である読み順は、コスト関数では重みが小さい。「フォーム」オブジェクトが文書の下２０％にある場合、コスト関数における重みペナルティ（weight penalty）が大きい。図１４は「経過（history）」オブジェクトがない場合の結果を示す。図１５は、「経過の次にフォーム」という読み順と、「フォームは下端には来ない」という条件が両方とも満たされる場合の結果を示している。図１６は、「フォームは下端には来ない」という条件のみが満たされた場合を示している。図１４−１６の結果はすべて単一のコスト関数による最適化を用いて生成されたものである。

オブジェクトのスケーリングに関する制約条件
ボックスのスケーリング特性はそのボックスの制約条件によって異なる。例えば、あるテキストボックスを考える。このボックスでは、（ボックス内でのテキストのリフロー（reflow）はここでは考えないので）最初のアスペクト比（ａ_ｉ０＝ｗ_ｉ０／ｈ_ｉ０）を維持しつつ、±５％のスケーリングが許される。１つのイメージに対してアスペクトレシオを厳密に維持することなくより大きなスケーリングを許すこともできる。一実施形態では、これを実施するため、全てのボックスは次の属性を有する：
・幅スケール（ｗｓ）因子の下限ｗｓｌ_ｉと上限ｗｓｕ_ｉ、
・高さスケール（ｈｓ）因子の下限ｈｓｌ_ｉと上限ｈｓｕ_ｉ、
・アスペクトレシオスケール（ａｓ）因子の下限ａｓｌ_ｉと上限ａｓｕ_ｉ。
すべての属性のデフォルト値は１である。
スケーリングにより各ボックスｉの次の制約条件が生成される。

ここで、変数はｗ_ｉとｈ_ｉである。スケーリングのコストは問題の定式化に追加することができる。例えば、

ここで、βはこのコストの相対的高さである。一実施形態では、βは１に設定される。スケーリングの制約条件を考慮したレイアウト表示の例を図１７Ａと１７Ｂに示した。図１７Ａと１７Ｂを参照して、初期配置（１７Ａ）から計算されたレイアウト表示（１７Ｂ）は、オブジェクト１７０４の最小スケーリング属性を制約条件に含み、アライメントと空白コストを目的関数に含む。より具体的に、図１７Ａは初期配置のオブジェクト１７０１−１７０４を含む。図１７Ｂのレイアウト表示において、オブジェクト１７０１と１７０２は初期配置のままのサイズであるが、相互に近づけられており、上端がそろっている。また、図１７Ｂでは、オブジェクト１７０３と１７０４はスケーリング（縮小）され、オブジェクト１７０１と１７０２の近くに配置されている。

制約条件とコストのオブジェクトコンテンツに対する依存性
以下に、オブジェクトコンテンツが最適化問題の制約条件とコストにどのように影響を与える様々な方法を説明する。

スケーリング、アスペクトレシオの変更、及びトリミング（cropping）制約条件のオブジェクトに依存した選択
スケーリング、アスペクトレシオの変更、及びトリミング（cropping）の制約条件にオブジェクトコンテンツを含めることができる。オブジェクトのタイプによって、これらの制約条件の一部を選択して、レイアウト問題の定式化に含めてもよい。以下の例はこのコンセプトを例示するものである。

バーコードに関して、トリミングはしてはならない。水平方向のバーコードについて、垂直方向のスケーリングはかまわない。

ロゴについてはスケーリングは許されるであろう。アスペクトレシオの変更やトリミングによる歪みは許されない場合がある。

特定のアスペクトレシオを有すると人間が認識する対象を含まない、抽象的、テクスチャ、パターン、背景、風景である写真に関しては、すべての操作が許容される。

特定のアスペクトレシオを有すると人間が認識する人物、動物、その他の対象に関しては、アスペクトレシオを変更しないスケーリングが許されうる。アスペクトレシオの変更は一切許容されない。

テキストボックスに関しては、スケーリングは許されるであろう。（リフロー（reflow）を考慮しなければ）アスペクトレシオの変更やトリミングによる歪みは許されない場合がある。

オブジェクト分離の空白のオブジェクトコンテンツに対する依存性
オブジェクト分離の空白に影響する可能性があるオブジェクトコンテンツは、フォント情報（例えば、サイズ、タイプ、スタイル、大文字化）、パターン情報（例えば、テキスト、イメージ、グラフィックス、テーブル）、及び色である。

確実に分離して見えるように、ボックス間には最低距離Ｄ_ｍｉｎが必要であると仮定する。これは、水平グラフにおいて頂点ｉからｊへの有向辺がある場合、ｘ_ｊ−ｘ_ｉ−ｗ_ｉ≧Ｄ_ｍｉｎであることを意味する。オブジェクトコンテンツを最小距離に含める次の一般化が提案されている：

ここで、Ω＝｛Ｏ_ｉ｝は文書オブジェクトの集まりであり、Ｃ（Ｏ）はオブジェクトＯのコンテンツ特性である。

フォントサイズ
Ｃ（Ｏ）の例はＯ_ｊのフォントサイズである。この時Ｄ_ｍｉｎは次の通り定義することができる

ここで、δ＞０である。一実施形態では、δは１０であり、εは３である。一実施形態では、フォントサイズはポイントで測られる。

パターン距離基準
Ｃ（Ｏ）はＯのパターン構造に関する情報を含むと仮定する。パターン構造は、テキスト対グラフィックス対イメージ対テーブルでも、オブジェクト強度の強度分布の特徴等の統計的基準であってもよい。これらの特徴は確率分布のモーメントにより与えられる。他のパターン特徴で使用できるものには、テキストの密度（ボールド（bold）対プレーン（plain））がある。パターン構造のこの表示は特徴ベクトルに含めることができる。特徴ベクトル間の距離を次の方法で最小距離の制約条件に含めることができる。

一般的に、オブジェクトOの特徴ベクトルをｆとし、特徴ベクトルの距離基準をｄとすると（Duda, R., Hart, P., Stork, D.著「Pattern Classification」（John Wiley & Sons, Inc., New York, 2001）を参照）、一般化した最小距離Ｄ_ｍｉｎ（Ｃ（Ω），Ｃ（Ｏ_ｉ），Ｃ（Ｏ_ｊ））は次のように表せる

一実施形態では、εは３である。

上記のフォントサイズ基準はこの一般化した距離基準に含まれる。

カラー距離基準
オブジェクト間の色の違いを距離基準に含めることができる。２つのオブジェクト間の色の違いはΔ（Ｏ_ｉ，Ｏ_ｊ）で測られると仮定する。この測定基準は、ＣＩＥＬＡＢ ΔＥ測定基準で測られたオブジェクトのバックグラウンドまたは平均色間の距離であってもよい。オブジェクトＯ_ｉとＯ_ｊの間の最小距離は、Δ（Ｏ_ｉ，Ｏ_ｊ）距離に反比例する。すなわち、色が似ているオブジェクトは違っているオブジェクトよりも間隔を広く取って配置される。一実施形態では、次の距離基準が使用される：

別の実施形態では、一部の色の背景色で分離された２つのカラーパッチ（color patches）のコントラストを計算し、コントラスト値をルックアップテーブルに格納する。２つのオブジェクトをＯ_ｉとＯ_ｊとすると、最小距離Ｄ_ｍｉｎはＯ_ｉ、Ｏ_ｊの背景色と必要なコントラスト値を与える分離背景色を見つけることにより選択できる。この必要なコントラスト値はユーザのテストにより決定できる。

アプリケーション
ここに説明した自動文書レイアウト設計のアプリケーション領域には、文書の再利用の領域が含まれる。レイアウトはオブジェクトの初期構成から計算されるので、目標とする再利用のアプリケーションには元の共通レイアウトがない場合が含まれる。例えば、イメージオブジェクトの元の文書は異なる。それでもなお、一部のオブジェクトが同じ文書のものである場合を扱うこともできる。

一つのアプリケーションにおいて、サマリーシートを作成するために、さまざまな文書ソースの文書イメージオブジェクトをキャンバス上に配置し、テキストが読め、レイアウトが美的になるようにレイアウトする必要がある。

図１８は、本発明の自動文書レイアウトプロセスの一実施形態を示すフロー図である。このプロセスは、ハードウェア（例えば回路、専用ロジック等）、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む処理ロジックにより実行される。かかる処理は、自動レイアウト設計システムの一部であって、各処理ブロックはそのシステムのモジュールまたはユニットを表していてもよい。

図１８を参照して、最初に文書イメージオブジェクト１８１０の集まりの文書イメージオブジェクトをキャンバスに入れる（処理ブロック１８０１）。キャンバスに入れるのは、ユーザがキャンバスの大体の位置にボックスを配置することにより可能である。キャンバスにいれるのは、文書のレイアウト情報を拡張する自動化方法により実行することもできる。次に、新しく合成された文書のレイアウト表示を計算し（処理ブロック１８０２）、合成された文書イメージをオブジェクトベースのイメージファイルフォーマットに格納する（処理ブロック１８０３）。

この方法は、エリアワンツーワンマーケティングと可変データ印刷にも適用可能である。他のアプリケーションにおいて、共通入力のさまざまなアウトプット（outputs）は具体的な命令（例えば承認制約条件（authorization constraints））に依存して生成される。結果として、オブジェクトはページから削除される。残ったオブジェクトのレイアウトは調整が必要である。

コンピュータシステムの実施例
図１９は、ここに記載した１つ以上の動作を実行するコンピュータシステムの例を示すブロック図である。図１９を参照して、コンピュータシステム１９００は、クライアントまたはサーバのコンピュータシステムを含む。コンピュータシステム１９００は、情報をやりとりする通信メカニズムすなわちバス１９１１と、情報を処理する、バス１９１１に結合したプロセッサ１９１２とを有する。プロセッサ１９１２は、例えばペンティアム（登録商標）プロセッサ、パワーＰＣ（商標）等のマイクロプロセッサを含むが、マイクロプロセッサに限定されない。

システム１９００は、さらに、プロセッサ１９１２により実行される情報及び命令を格納する、バス１９１１に結合したランダムアクセスメモリ（ＲＡＭ）またはその他のダイナミック記憶装置１９０４（ここではメインメモリと呼ぶ）を有する。メインメモリ１９０４は、プロセッサ１９１２による命令の実行中に、一時的変数やその他の中間情報を記憶するために使用される。

コンピュータシステム１９００は、プロセッサ１９１２の静的情報や命令を記憶する、バス１９１１に結合した読み出し専用メモリ（ＲＯＭ）及び／またはその他の静的記憶装置１９０６と、磁気ディスク、光ディスクとその対応するディスクドライブ等であるデータ記憶装置１９０７とを有する。データ記憶装置１９０７は、情報と命令を記憶し、バス１９１１に結合している。

コンピュータシステム１９００は、コンピュータのユーザに情報を表示するための、バス１９１１に結合した、陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）等のディスプレイ装置１９２１に結合している。英数字入力装置１９２２は、英数字その他のキーを含み、バス１９１１に結合され、プロセッサ１９１２に情報とコマンド選択を送る。追加的なユーザ入力装置として、マウス、トラックボール、トラックパッド、スタイラス、またはカーソル、方向キー等のカーソル制御１９２３があり、バス１９１１に結合し、プロセッサ１９１２に方向情報とコマンド選択を送り、ディスプレイ１９２１上のカーソルの動きを制御する。

バス１９１１に結合した他の装置としてハードコピー装置１９２４がある。このハードコピー装置１９２４は、紙、フィルム、その他のメディア上に、命令、データ、その他の情報を印刷するために使用される。バス１９１１に結合する他の装置として、電話やハンドヘルドパームトップ装置と通信する、有線または無線の通信機能１９２５がある。

システム１９００のどの構成要素もそれに関連するハードウェアも、本発明で使用してもよい。しかし、言うまでもなく、他の構成のコンピュータシステムでは、これらの構成要素の一部または全部を含んでもよい。

上記の説明を読んだ当業者には本発明の変形例や修正例が明らかになったことは間違いなく、言うまでもなく、上記のどの実施形態も本発明を限定することを目的としたものではない。それゆえ、いろいろな実施形態の詳細の説明は、本発明に本質的であると考えられる特徴のみを記載した請求項の範囲を限定するものではない。

なお、本開示にあたり、本願発明には以下の発明も含まれうる。
（付記２０）
システムにより実行された時、システムに文書レイアウトの自動生成方法を実行させる命令を格納した１つ以上のコンピュータ読み取り可能媒体を有する製品であって、前記方法は、
文書イメージオブジェクトの第１のレイアウトを受け取る段階と、
文書イメージオブジェクトの配置に対応する配置制約の下で文書イメージオブジェクトの第２のレイアウトを生成する段階であって、少なくとも１つの配置制約は１つ以上の文書イメージオブジェクトのオブジェクトコンテンツに基づく段階とを有する、製品。
（付記２２）
文書イメージオブジェクトの第１のレイアウトを受け取る段階と、
文書イメージオブジェクトの第１のレイアウトから、選ばれた美的基準に関して最適であるレイアウト表示を、制約条件と目的関数を用いて動作する凸最適化フレームワークを用いて自動的に計算する段階であって、前記制約条件は初期配置位置と個々のオブジェクトから求めた属性とに依存し、前記目的関数は美的レイアウト基準を含無段階とを有する、方法。
（付記２３）
文書イメージオブジェクトの構成からシードレイアウトを抽出する段階と、
前記シードレイアウトを最適化アルゴリズムを解して完全なレイアウトに変換する段階とを有する、方法。
（付記２４）
文書イメージオブジェクトの構成からシードレイアウトを抽出する抽出部と、
前記シードレイアウトを最適化アルゴリズムを介して完全なレイアウトに変換する画像処理部とを有する、装置。

自動文書レイアウト実行プロセスの一実施形態を示すフロー図である。 自動文書オブジェクトレイアウトプロセスの一実施形態を示すフロー図である。 完全レイアウト生成プロセスの一実施形態を示すフロー図である。 レイアウト分析結果の制約への変換プロセスの一実施形態を示すフロー図である。 オブジェクトコンテンツ依存パラメータの制約への組み入れプロセスの一実施形態を示すフロー図である。 レイアウト表示計算の最適化フレームワークの使用プロセスの具体的な実施形態を示すフロー図である。 レイアウト表示計算の制約とコスト関数を含む最適化問題の設定プロセスの一実施形態を示すフロー図である。 階層パーティションが得られる文書のＸカット及びＹカットのシーケンスを示す図である。 図１２のパーティショニングのＸ−Ｙツリーを示す図である。 Ｘ−Ｙツリーから抽出される水平及び垂直ポジショニンググラフを示す図である。 シードレイアウトを入れら四角形の例を示す図である。 図１１Ａの初期配置に対する垂直（左）及び水平（右）の相対ポジショニンググラフの例を示す図である。 異なる相対ポジショニンググラフのペアに基づくレイアウト例を示す図である。 アライメント及び空白削除基準を含む、初期配置（左）から計算されたレイアウト表示（右）の例を示す図である。 印刷後にデータ入力装置（例えば筆記具）で手書きで記入される必要があるオブジェクトの所望の領域として、ページの上部を指定するシードレイアウトを示す図である。 印刷後にデータ入力装置（例えば筆記具）で手書きで記入される必要があるオブジェクトの所望の領域として、ページの上部を指定するシードレイアウトの次のレイアウトを示す図である。 印刷後にデータ入力装置（例えば筆記具）で手書きで記入される必要があるオブジェクトの所望の領域として、ページの上部を指定するシードレイアウトの次のレイアウトを示す図である。 スケーリング制約条件を考慮したレイアウト表示の例を示す図である。 スケーリング制約条件を考慮したレイアウト表示の例を示す図である。 自動文書レイアウトプロセスの一実施形態を示すフロー図である。 コンピュータシステム例を示すブロック図である。

符号の説明

１９００ コンピュータシステム
１９０４ メインメモリ
１９０６ 静的メモリ
１９０７ 大容量記憶メモリ
１９１１ バス
１９１２ プロセッサ
１９２０ 外部ネットワークインターフェイス
１９２１ ディスプレイ
１９２２ キーボード
１９２３ カーソル制御装置
１９２４ ハードコピー装置

Claims (39)

1. 文書イメージオブジェクトの第１のレイアウトを受け取る段階と、
   文書イメージオブジェクトの配置に対応する配置制約の下で文書イメージオブジェクトの第２のレイアウトを生成する段階であって、少なくとも１つの配置制約は１つ以上の文書イメージオブジェクトのオブジェクトコンテンツに基づく段階とを有する、文書レイアウト自動生成方法。
2. 第２のレイアウトを生成する段階は、少なくとも１つのコスト関数の解を探す凸最適化アルゴリズムを用いて実行される、請求項１に記載の方法。
3. 前記配置制約条件は、前記文書イメージオブジェクトの相対的位置決めに対応する相対的位置決め制約条件を相対的位置決め制約条件を含む、請求項１に記載の方法。
4. 文書イメージオブジェクトの第１のレイアウトに基づき前記相対的位置決め制約条件を生成する段階をさらに有する、請求項３に記載の方法。
5. 前記相対的位置決め制約条件は、論理的文書分析結果から得られた相対的位置決めグラフから生成される、請求項４に記載の方法。
6. 前記相対的位置決め制約条件は前記オブジェクトに関連する目的に基づきオブジェクトの位置を制約する、請求項４に記載の方法。
7. 前記相対的位置決め制約条件を生成する段階は、オブジェクトに順序階層を課すオブジェクトグループの論理的位置決めを取り込む構造を生成する段階を有する、請求項４に記載の方法。
8. 前記相対的位置決め制約条件をグラフモデルで表す、請求項４に記載の方法。
9. 前記配置制約条件はユーザ入力とアプリケーション入力を含む、請求項１に記載の方法。
10. １つ以上の文書イメージオブジェクト中のオブジェクトコンテンツに基づき制約条件を適応させる段階をさらに有する、請求項１に記載の方法。
11. 前記文書イメージオブジェクトのコンテンツと論理レイアウト分析のメタデータ結果とから制約条件を求める段階をさらに有する、請求項１に記載の方法。
12. 前記コスト関数を定義する段階をさらに有する、請求項１に記載の方法。
13. スケーリングする１つ以上の文書オブジェクトの組を決定し１つ以上のスケーリングパラメータを決定する段階をさらに有する、請求項１に記載の方法。
14. スケーリングする１つ以上の文書オブジェクトの組の決定は、テキスト、テキストのフォントサイズ、画像コンテンツ分析の結果のうちの１つ以上のあるなしに基づく、請求項１３に記載の方法。
15. 前記第２のレイアウトは、美的レイアウト基準に関して文書イメージオブジェクトの相対的位置決めを維持しつつ、文書イメージオブジェクトの重ならない配置を含む、請求項１に記載の方法。
16. 前記第２のレイアウトの設計を凸最適化問題として定式化する最適化フレームワークを設定する段階をさらに有する、請求項１に記載の方法。
17. 前記最適化フレームワークは、オブジェクトコンテンツに依存し美的尺度に基づく１対上の制約条件と１つ以上のコストを含む、請求項１６に記載の方法。
18. 前記最適化フレームワークは１つ以上の制約条件と１つ以上のコストを含み、前記制約条件の少なくとも１つは前記第１のレイアウト中の文書イメージオブジェクトの配置位置と個々の文書イメージオブジェクトから求めた属性とに依存する、請求項１６に記載の方法。
19. 前記最適化フレームワークは幾何学的美的レイアウト基準を用いる、請求項１６に記載の方法。
20. 文書イメージオブジェクトの第１のレイアウトを受け取る手段と、
    文書イメージオブジェクトの配置に対応する配置制約の下で文書イメージオブジェクトの第２のレイアウトを生成する手段であって、少なくとも１つの配置制約は１つ以上の文書イメージオブジェクトのオブジェクトコンテンツに基づく手段とを有する、文書レイアウト自動生成のための情報処理装置。
21. 第２のレイアウトを生成する手段は、少なくとも１つのコスト関数の解を探す凸最適化アルゴリズムを用いて実行される、請求項２０に記載の情報処理装置。
22. 前記配置制約条件は、前記文書イメージオブジェクトの相対的位置決めに対応する相対的位置決め制約条件を相対的位置決め制約条件を含む、請求項２０に記載の情報処理装置。
23. 文書イメージオブジェクトの第１のレイアウトに基づき前記相対的位置決め制約条件を生成する手段をさらに有する、請求項２２に記載の情報処理装置。
24. 前記相対的位置決め制約条件は、論理的文書分析結果から得られた相対的位置決めグラフから生成される、請求項２３に記載の情報処理装置。
25. 前記相対的位置決め制約条件は前記オブジェクトに関連する目的に基づきオブジェクトの位置を制約する、請求項２３に記載の情報処理装置。
26. 前記相対的位置決め制約条件を生成する手段は、オブジェクトに順序階層を課すオブジェクトグループの論理的位置決めを取り込む構造を生成する手段を有する、請求項２３に記載の情報処理装置。
27. 前記相対的位置決め制約条件をグラフモデルで表す、請求項２３に記載の情報処理装置。
28. 前記配置制約条件はユーザ入力とアプリケーション入力を含む、請求項２０に記載の情報処理装置。
29. １つ以上の文書イメージオブジェクト中のオブジェクトコンテンツに基づき制約条件を適応させる手段をさらに有する、請求項２０に記載の情報処理装置。
30. 前記文書イメージオブジェクトのコンテンツと論理レイアウト分析のメタデータ結果とから制約条件を求める手段をさらに有する、請求項２０に記載の情報処理装置。
31. 前記コスト関数を定義する手段をさらに有する、請求項２０に記載の情報処理装置。
32. スケーリングする１つ以上の文書オブジェクトの組を決定し１つ以上のスケーリングパラメータを決定する手段をさらに有する、請求項２０に記載の情報処理装置。
33. スケーリングする１つ以上の文書オブジェクトの組の決定は、テキスト、テキストのフォントサイズ、画像コンテンツ分析の結果のうちの１つ以上のあるなしに基づく、請求項３２に記載の情報処理装置。
34. 前記第２のレイアウトは、美的レイアウト基準に関して文書イメージオブジェクトの相対的位置決めを維持しつつ、文書イメージオブジェクトの重ならない配置を含む、請求項２０に記載の情報処理装置。
35. 前記第２のレイアウトの設計を凸最適化問題として定式化する最適化フレームワークを設定する手段をさらに有する、請求項２０に記載の情報処理装置。
36. 前記最適化フレームワークは、オブジェクトコンテンツに依存し美的尺度に基づく１対上の制約条件と１つ以上のコストを含む、請求項３５に記載の情報処理装置。
37. 前記最適化フレームワークは１つ以上の制約条件と１つ以上のコストを含み、前記制約条件の少なくとも１つは前記第１のレイアウト中の文書イメージオブジェクトの配置位置と個々の文書イメージオブジェクトから求めた属性とに依存する、請求項３５に記載の情報処理装置。
38. 前記最適化フレームワークは幾何学的美的レイアウト基準を用いる、請求項３５に記載の情報処理装置。
39. コンピュータに請求項１乃至１９いずれか一項記載の方法を実行させる、コンピュータプログラム。

Images