JP2004288182A - レイアウト作成方法、サマリレイアウト作成方法、画像サマリレイアウト決定システム、及びこれらの方法及びシステムをプロセッサに実行させるためのプログラム - Google Patents

Abstract

【課題】 画像の集合から、美的に好ましい視覚画像サマリを作成する方法及びシステムを提供する。
【解決手段】 最小の矩形状形を入力し、レイアウトの全体領域を最小の矩形状形の幅と高さの整数倍として入力し、受容可能な最大の矩形状形を最小の矩形状形の幅と高さの整数倍として入力する方法であって、複数の矩形状形の少なくとも一つが存在した場合、複数の矩形状形が互いに重ならずに入力された全体領域を覆うように入力された矩形状形のいくつかのサイズを最小の矩形状形に相対的であり且つ入力された受容可能な最大の矩形状形より小さいサイズに変更することによって、複数の入力された矩形状形から成るレイアウトを生成し、このような複数の矩形状形が全く存在しない場合、このような組み合わせが存在する入力された全体領域に類似する全体領域を見つけ、その領域にレイアウト方法を適用するレイアウト作成方法。
【選択図】 なし

Description

本発明は、一般に、画像の集合から、美的に好ましい視覚画像サマリ（要約）を作成する方法及びシステムに関する。即ち、本発明は、レイアウト作成方法、サマリレイアウト作成方法、画像サマリレイアウト決定システム、及びこれらの方法及びシステムをプロセッサに実行させるためのプログラムに関する。

マンガ技術は、ビデオをセグメント化し、セグメント毎に重要度を求め、ビデオの重要度の高いセグメント毎にキーフレームを選択することによって、視覚ビデオサマリを作成する。これらのキーフレームは、表示されるセグメントの重要度に対応する三つのサイズの一つに割当てられる。マンガ技術は、各列を他の列とは別個に考慮して、適用可能な列の高さが適用可能なキーフレームのサイズに対応するようにキーフレームを異なる高さの列に配置する。マンガ技術は、サイズ変更される画像ができるだけ少ないように列毎にレイアウトを決定する。

例えば、特許文献１は、ブラウジング目的のための複合ビデオセレクションの階層的分解抽出のための技術を開示している。この技術では、視覚的情報と時相情報を結合することによって、一つのシーンにおいて、及びビデオ内のシーン間において、重要な関係をキャプチャし、これにより、コンテンツの先行知識がない状態でも、基底となる階ストラクチャの解析を可能とする。階層的シーン遷移グラフの一般的なモデルは、ブラウジング実行に適用される。ビデオショットは最初に識別され、キーフレームの集合は各ビデオセグメントを表すために使用される。これらの集合は、次に、総合視覚情報に応じて分類される。ノードによって表されたビデオショットの各カテゴリとカテゴリ間の時間的な関係を表す各エッジで、ビデオをユーザへの指向グラフとして提示する、プラットフォームが組み立てられる。ビデオの解析及び処理は、圧縮されたビデオ上で直接実行される。予備テストによると、ビデオ選択の談話的ストラクチャは、この技術を用いることによってキャプチャされることが判る。
米国特許第５，７０８，７６７号 Ｓ．ウチハシ、Ｊ．フート、Ｌ．ウィルコクス 著「対話ペーパーとウェブベース・ブラウジングの応用による自動ビデオ要約のためのシステム」、ＦＸ パロ アルト発明提案 ＩＰ−９８−０１８ Ｂ．Ｂ．ベダーソン 著「ズーム可能画像ブラウザのための量子的ツリーマップ及びバブルマップ」、ＨＣＩＬ 技術リポート Ｎｏ．２００１−１０、メリーランド大学、カレッジパーク、２００１年 インターネット＜ HYPERLINK ftp://ftp.cs.umd.ed/pub/hcil/Reports-Abstracts^Bibliog ftp://ftp.cs.umd.edu/pub/hcil/Reports-Abstracts-Bibliog raphy/2001-10htm I/2001-10. Pdf＞ Ｋ．Ａ．ドゥズランド、Ｗ．Ｂ．ドゥズランド 著「パッキング問題」、オペレーショナルリサーチ ヨーロピアンジャーナル、１９９２年、第５６巻、ｐ．２−１４ Ｍ．Ｋ．コールマン、Ｄ．Ｓ．パーカー 著「人間消費型ソフトウェア実践及び経験のための美学ベースグラフレイアウト」、１９９６年、第２６（１）巻、ｐ．１−２５ Ｊ．フォガーティ、Ｊ．フォールリッツィ、Ｓ．Ｅ．ハドサン 著「美学的情報コラージュ 情報を含む装飾ディスプレイ生成」、ＵＩＳＴ０１、２００１年、ｐ．１４１−１５０ Ｙ．タニグチ、Ａ．アクツ、Ｙ．トノムラ 著「パノラマエキサープト（ＰａｎｏｒａｍａＥｘｃｅｒｐｔｓ） ビデオブラウジングのためのパノラマの抽出とパッキング」、ＡＣＭマルチメディア９７ 議事録より、１９９７年、ｐ．４２７−４３６ Ｂ．−Ｌ．イェオ、Ｍ．Ｍ．ユング 著「ビデオブラウジングのための場面遷移グラフの分類、簡単化、及びダイナミック視覚化」、ＩＳ＆Ｔ／ＳＰＩＥ電子画像９８ 画像とビデオデータベースの記録及び探索ＶＩ 議事録より、１９９８年 Ｍ．Ｍ．ユング、Ｂ．−Ｌ．イェオ 著「絵画的コンテンツのコンパクトなプレゼンテーションと迅速なブラウジングのビデオ視覚化」、ビデオ技術のための回路及びシステムにおけるアイトリプルイー（ＩＥＥＥ）トランザクション、１９９７年、第７（５）巻、ｐ．７７１−７８５

マンガ技術よって得られるサマリは視覚的に好ましくない場合が多い。マンガ技術は、異なるサイズの組み合わせを生成するというよりむしろ、同一サイズの複数の画像を使用する傾向がある。さらに、マンガ技術は、画像を必要とされる領域にぴったり収めることができない。マンガ技術によって決定されるレイアウトの幅は指定し得るが、レイアウトの高さは要約されたビデオの特徴に左右される。結局、マンガ技術では異なる入力サイズを三つしか使用しないため、画像をレイアウトに収めるために２サイズで頻繁に画像のサイズ変更をしなければならない。

本発明のシステム及び方法の種々の例示的な実施の形態は、本来のマンガ技術の欠点を克服する視覚サマリを作成する。本発明のシステム及び方法の種々の例示的な実施の形態によれば、必要とされる領域に収める画像レイアウトを作成し、一種類のみのサイズの画像を含む列を少なくし、最下列で空きスペースの少ない画像レイアウトを作成し、及び／又は三つ以上の異なるサイズの画像を使用する。種々の例示的な実施の形態において、本発明のシステム及び方法は、サイズ変更された画像の数、互いに隣接する同一サイズの画像によって埋め込まれた列の比率、及び／又は最下列内の空きスペースの量などの、情報の質やサマリ画像レイアウトの美的な品質に対する多数の評価基準を組み合わせる。

本発明の種々の例示的な実施の形態によるシステム及び方法は、各々が画像の重要度及びレイアウトサマリの最終的なサイズに関連する以前に割当てられた相対的なサイズを有する、複数の画像を入力する。次に、種々の例示的な実施の形態において、本発明のシステム及び方法は、最下列の部分レイアウトから始まる種々の部分レイアウトを解析し、ペナルティスコアを各部分レイアウトに割当てる。種々の例示的な実施の形態において、部分レイアウトを、レイアウトの好ましい品質及び／又は入力された画像の以前に割当てられたサイズと、比較することによって、ぺナルティスコアが決定される。本発明のシステム及び方法の種々の例示的な実施の形態は、次に、最低のぺナルティスコアによって部分レイアウトを構成し、初期の最終レイアウトに到達する。残りの部分レイアウトのぺナルティスコアを現在の最終レイアウトと比較し、最終レイアウトのスコアより大きいスコアを有する任意の部分レイアウトが廃棄される。残っている部分レイアウトは、それぞれ、それが現在の最終レイアウトに置き替えられるか又はより高いぺナルティスコアを有するものとして廃棄されるまで、列毎に、構成される。

本発明の種々の例示的な実施の形態によるシステム及び方法は、少なくとも相対的に最低のぺナルティスコアを有することにより、より望ましい品質を有するとともに、多種多様なインタラクティブ・アプリケーションに迅速に対応できる、最終レイアウトを提供する。

本発明の様々な特徴及び利点は、本発明のの種々の例示的な実施の形態によるシステム及び方法についての以下の詳細な記述において説明され、それによって、本発明がより明確となるであろう。

本発明の第１の態様は、レイアウトを作成する方法であって、（ａ）最小の矩形状形を入力するステップと、（ｂ）レイアウトの全体領域を、最小の矩形状形の幅と高さの整数倍の幅と高さを有する領域として、入力するステップと、（ｃ）受容可能な最大の矩形状形を、最小の矩形状形の幅と高さの整数倍の幅と高さを有する矩形状形として、入力するステップと、（ｄ）各々が最小の矩形状形に相対的なサイズによって特徴付けられる、複数の矩形状形を入力するステップと、（ｅ）入力された複数の矩形状形の基数（カーディナリティ（cardinality））を有するように、且つ、入力された複数の矩形状形が、互いに重ならず又は全体領域にいかなる非被覆部分をも残さずに、入力された全体領域を覆うように、最小の矩形状形に相対的であり且つ入力された受容可能な最大の矩形状形より小さいサイズの複数の矩形状形が存在するかを判断するステップと、を有し、（１）そのような複数の矩形状形の少なくとも一つが存在した場合、複数の矩形状形が、互いに重ならずに、入力された全体領域を覆うように、入力された矩形状形のいくつかのサイズを最小の矩形状形に相対的であり且つ入力された受容可能な最大の矩形状形より小さいサイズに変更することによって、入力された複数の矩形状形から成るレイアウトを生成し、（２）そのような複数の矩形状形が全く存在しない場合、そのような組み合わせが存在する入力された全体領域に類似する全体領域を見つけて、レイアウト作成方法を適用するレイアウト作成方法である。

本発明の第２の態様は、第１の態様において、一つの列内の複数の矩形状形の少なくとも一つが列と同じ高さになるように、全体領域を異なる高さの列に編成し、複数の矩形状形を列へ配置するステップを更に有するレイアウト作成方法である。

本発明の第３の態様は、第２の態様において、全ての配置された矩形状形の幅と高さが最小の矩形状形の幅と高さの整数倍であるレイアウト作成方法である。

本発明の第４の態様は、第３の態様において、（ａ）入力された矩形状形のサイズを変更するためのペナルティスコアを決定するステップと、（ｂ）サイズ変更された矩形状形のペナルティスコアを組み合わせるステップと、（ｃ）最低の組み合わされたペナルティスコアを有するレイアウトを決定するステップと、を更に有する、レイアウト作成方法である。

本発明の第５の態様は、第４の態様において、（ａ）最下列の少なくとも一部を空き領域とするステップと、（ｂ）空き領域のペナルティスコアを決定するステップと、（ｃ）空き領域に対するペナルティスコアを、サイズ変更された矩形状形のペナルティスコアに、組み合わせるステップと、を更に有する、レイアウト作成方法である。

本発明の第６の態様は、第５の態様において、（ａ）互いに隣接する同一サイズの矩形状形の数特性に対するぺナルティスコアを決定するステップと、（ｂ）得られたぺナルティスコアを、サイズ変更された矩形状形と空き領域に対するぺナルティスコアに、組み合わせるステップと、を更に有する、レイアウト作成方法である。

本発明の第７の態様は、第６の態様において、矩形状形の少なくとも一つが画像である、請求項６に記載のレイアウト作成方法である。

本発明の第８の態様は、第７の態様において、入力された画像サイズが画像の重要度に基づく、レイアウト作成方法である。

本発明の第９の態様は、第８の態様において、全ての入力された画像の幅と高さが同じアスペクト比を有する、レイアウト作成方法である。

本発明の第１０の態様は、第９の態様において、配置された画像の少なくとも一つがアスペクト比を維持する、レイアウト作成方法である。

本発明の第１１の態様は、第１０の態様において、配置された画像の少なくとも一つの一部を表示するステップを更に有し、配置された画像の少なくとも一つがアスペクト比を維持しない、レイアウト作成方法である。

本発明の第１２の態様は、第６の態様において、矩形状形の少なくとも一つがユーザインタフェースコンポーネントである、レイアウト作成方法である。

本発明の第１３の態様は、サマリレイアウトを作成する方法であって、（ａ）複数の矩形状形を入力するステップと、（ｂ）サマリレイアウトに対して全体領域を入力するステップと、（ｃ）サマリレイアウトの最初の列に対して矩形状形のプレースホルダから成る少なくとも一つのレイアウトの各々を新しい部分レイアウトとして決定するステップと、（ｄ）最初の列に対する少なくとも一つのレイアウトの各々のペナルティスコアを決定し、新しい部分レイアウトのペナルティスコアとするステップと、を有するサマリレイアウト作成方法である。

本発明の第１４の態様は、第１３の態様において、（ａ）最低ペナルティスコアを有する未選択の部分レイアウトを現在の部分レイアウトとして選択するステップと、（ｂ）複数の入力された矩形状形の各々が現在の部分レイアウト内の矩形状形のプレースホルダによって表されるかを判断するステップと、を更に有し、入力された矩形状形の各々が矩形状形のプレースホルダによって表されない場合、（Ｉ） 現在の部分レイアウトに基づいて、現在の部分レイアウトの次の列に対して、少なくとも一つのレイアウトを決定し、（ＩＩ） 次の列に対する記少なくとも一つのレイアウトの各々に対して、ペナルティスコアを決定し、（ＩＩＩ） 次の列に対する各レイアウトを現在の部分レイアウトと組み合わせて、新しい部分レイアウトを作成し、（ＩＶ） 現在の部分レイアウトのペナルティスコアを次の列に対する各レイアウトのペナルティスコアと組み合わせて、新しい部分レイアウトのペナルティスコアとする、サマリレイアウト作成方法である。

本発明の第１５の態様は、第１４の態様において、未選択の部分レイアウトの残りがなくなるまで、第１４の態様を反復し、次に、記憶されている最終レイアウトを出力するステップを更に有する、サマリレイアウト作成方法である。

本発明の第１６の態様は、第１５の態様において、入力された矩形状形の各々が矩形状形のプレースホルダによって表される場合、列が全体領域を完全に埋めるかをテストするステップを更に有する、サマリレイアウト作成方法である。

本発明の第１７の態様は、第１６の態様において、（ａ）選択された部分レイアウトを最終レイアウトに変換するステップと、（ｂ）選択された部分レイアウトのぺナルティスコアを最終レイアウトのぺナルティスコアに変換するステップと、を更に有する、サマリレイアウト作成方法である。

本発明の第１８の態様は、第１７の態様において、（ａ）残っている未選択の部分レイアウトの少なくとも一つから、最低ペナルティスコアを有する次の未選択の部分レイアウトを選択するステップと、（ｂ）選択された部分レイアウトのペナルティスコアを最終レイアウトのペナルティスコアと比較するステップと、を更に有し、（１）最終レイアウトのペナルティスコアが選択された部分レイアウトのペナルティスコア未満である場合、（Ｉ） 最終レイアウトをサマリレイアウトに変換し、（ＩＩ） 最終レイアウトを出力してサマリレイアウト作成方法を終了し、（２）最終レイアウトのペナルティスコアが選択された部分レイアウトのペナルティスコアより大きい場合、（Ｉ） 選択された部分レイアウトに基づいて、選択された部分レイアウトの次の列に対して、少なくとも一つのレイアウトを決定し、（ＩＩ） 選択された部分レイアウトの次の列に対する少なくとも一つのレイアウトの各々に対して、ペナルティスコアを決定し、（ＩＩＩ） 選択された部分レイアウトと選択された部分レイアウトに対する次の列に対する各レイアウトとを組み合わせて、新しい部分レイアウトとし、（ＩＶ） 選択された部分レイアウトのペナルティスコアを選択された部分レイアウトに対する次の列に対する各レイアウトのペナルティスコアと組み合わせて、新しい部分レイアウトに対するペナルティスコアを決定する、サマリレイアウト作成方法である。

本発明の第１９の態様は、第１８の態様において、入力された矩形状形の各々が矩形状形のプレースホルダによって表される場合、（ａ）現在の部分レイアウトを新しい最終レイアウトに変換するステップと、（ｂ）現在の部分レイアウトのペナルティスコアを新しい最終レイアウトのペナルティスコアに変換するステップと、（ｃ）新しい最終レイアウトのペナルティスコアを記憶されている最終レイアウトのペナルティスコアと比較するステップと、を更に有し、（１）記憶されている最終レイアウトのペナルティスコアが新しい最終レイアウトのペナルティスコア未満である場合、新しい最終レイアウトを廃棄し、（２）記憶されている最終レイアウトのペナルティスコアが新しい最終レイアウトのペナルティスコアより大きい場合、（Ｉ） 記憶されている最終レイアウトを廃棄し、（ＩＩ） 新しい最終レイアウトを記憶する、サマリレイアウト作成方法である。

本発明の第２０の態様は、第１９の態様において、矩形状形の少なくとも一つが画像である、サマリレイアウト作成方法である。

本発明の第２１の態様は、第２０の態様において、入力された画像のサイズが画像の重要度に基づく、サマリレイアウト作成方法である。

本発明の第２２の態様は、第２１の態様において、全ての入力された画像の幅と高さが同一アスペクト比を有する、サマリレイアウト作成方法である。

本発明の第２３の態様は、第２２の態様において、配置された画像の少なくとも一つがアスペクト比を維持する、サマリレイアウト作成方法である。

本発明の第２４の態様は、第２２の態様において、配置された画像の少なくとも一つの一部をディスプレイするステップを更に有し、配置された画像の少なくとも一つがアスペクト比を維持しない、サマリレイアウト作成方法である。

本発明の第２５の態様は、第１９の態様において、矩形状形の少なくとも一つがユーザインタフェースコンポーネントである、サマリレイアウト作成方法である。

本発明の第２６の態様は、第１３の態様において、ペナルティ係数を入力するステップを更に有する、サマリレイアウト作成方法である。

本発明の第２７の態様は、第２６の態様において、（ａ）最低ペナルティスコアを有する未選択の部分レイアウトを現在の部分レイアウトとして選択するステップと、（ｂ）入力された複数の矩形矩形状形の各々が現在の部分レイアウト内の矩形状形のプレースホルダによって表されるかを判断するステップと、を更に有し、入力された矩形状形の各々が矩形状形のプレースホルダによって表されない場合、（Ｉ） 現在の部分レイアウトに基づいて、現在の部分レイアウトの次の列に対して少なくとも一つのレイアウトを決定し、（ＩＩ） 次の列に対する少なくとも一つのレイアウトの各々に対して、ペナルティスコアを決定し、（ＩＩＩ） 次の列に対する各レイアウトを現在の部分レイアウトと組み合わせて、新しい部分レイアウトを作成し、（ＩＶ） 現在の部分レイアウトのペナルティスコアを次の列に対する各レイアウトのペナルティスコアと組み合わせて、新しい部分レイアウトのペナルティスコアとする、サマリレイアウト作成方法である。

本発明の第２８の態様は、第２７の態様において、未選択の部分レイアウトの残りがなくなるまで、第２７の態様のステップを反復し、次に、記憶されている最終レイアウトを出力するステップを更に有する、サマリレイアウト作成方法である。

本発明の第２９の態様は、第２８の態様において、矩形状形の各々が矩形状形プレースホルダによって表される場合、列が全体領域を完全に埋めるかをテストするステップを更に有する、サマリレイアウト作成方法である。

本発明の第３０の態様は、第２９の態様において、（ａ）選択された部分レイアウトを最終レイアウトへ変換するステップと、（ｂ）選択された部分レイアウトのペナルティスコアを最終レイアウトのペナルティスコアへ変換するステップと、を更に有する、を更に有する、サマリレイアウト作成方法である。

本発明の第３１の態様は、第３０の態様において、（ａ）残っている未選択の部分レイアウトの少なくとも一つから、最低ペナルティスコアを有する次の未選択の部分レイアウトを選択するステップと、（ｂ）選択された部分レイアウトのペナルティスコアを最終レイアウトのペナルティスコアと比較するステップと、を更に有し、（１）ペナルティ係数によって乗算された最終レイアウトのペナルティスコアが選択された部分レイアウトのペナルティスコア未満である場合、（Ｉ） 最終レイアウトをサマリレイアウトに変換し、（ＩＩ） 最終レイアウトを出力してサマリレイアウト作成方法を終了し、（２）ペナルティ係数によって乗算された最終レイアウトのペナルティスコアが選択された部分レイアウトのペナルティスコアより大きい場合、（Ｉ） 選択された部分レイアウトに基づいて、選択された部分レイアウトの次の列に対して、少なくとも一つのレイアウトを決定し、（ＩＩ） 選択された部分レイアウトの次の列に対する少なくとも一つのレイアウトの各々に対して、ペナルティスコアを決定し、（ＩＩＩ） 選択された部分レイアウトスコアと選択された部分レイアウトに対する次の列に対する各レイアウトとを組み合わせて、新しい部分レイアウトを作成し、（ＩＶ） 選択された部分レイアウトのペナルティスコアと各次の列のペナルティスコアとを組み合わせて、新しい部分レイアウトに対するペナルティスコアとする、サマリレイアウト作成方法である。

本発明の第３２の態様は、第３１の態様において、入力された矩形状形の各々が矩形状形のプレースホルダによって表される場合、（ａ）現在の部分レイアウトを新しい最終レイアウトに変換するステップと、（ｂ）現在の部分レイアウトのペナルティスコアを新しい最終レイアウトのペナルティスコアに変換するステップと、（ｃ）新しい最終レイアウトのペナルティスコアを記憶されている最終レイアウトのペナルティスコアと比較するステップと、を更に有し、（１）記憶されている最終レイアウトのペナルティスコアが新しい最終レイアウトのペナルティスコア未満である場合、新しい最終レイアウトを廃棄し、（２）記憶されている最終レイアウトのペナルティスコアが新しい最終レイアウトのペナルティスコアより大きい場合、（Ｉ） 記憶されている最終レイアウトを廃棄し、（ＩＩ） 新しい最終レイアウトを記憶する、サマリレイアウト作成方法である。

本発明の第３３の態様は、第３２の態様において、矩形状形の少なくとも一つが画像である、サマリレイアウト作成方法である。

本発明の第３４の態様は、第３３の態様において、入力された画像のサイズが画像の重要度に基づく、サマリレイアウト作成方法である。

本発明の第３５の態様は、第３４の態様において、全ての入力された画像の幅と高さが同一アスペクト比を有する、サマリレイアウト作成方法である。

本発明の第３６の態様は、第３５の態様において、配置された画像の少なくとも一つがアスペクト比を維持する、サマリレイアウト作成方法である。

本発明の第３７の態様は、第３５の態様において、少なくとも一つの画像の一部をディスプレイするステップを更に有し、配置された画像の少なくとも一つがアスペクト比を維持しない、サマリレイアウト作成方法である。

本発明の第３８の態様は、第３２の態様において、矩形状形の少なくとも一つがユーザインタフェースコンポーネントである、サマリレイアウト作成方法である。

本発明の第３９の態様は、複数の画像に対して画像サマリレイアウトを生成する画像サマリレイアウト決定システムであって、（ａ）画像、各画像の重要度、及び画像の順序の少なくともいくつかを含むデータに基づいて、画像カウント及びブロックカウントの少なくとも一つを決定する、画像／ブロックカウント決定回路、ルーチン、又はアプリケーションと、（ｂ）画像カウント及びブロックカウントの少なくとも一つを表すデータと画像を表すデータとを入力し、入力された画像カウント又はブロックカウントに対するペナルティスコアを表すデータを生成する、ペナルティスコア決定回路、ルーチン、又はアプリケーションと、（ｃ）画像カウント及びブロックカウント、部分レイアウト又は部分解、最終部分レイアウト、及び最終レイアウトの、ペナルティスコアを表すデータに基づいて、画像カウント及びブロックカウントの値、部分レイアウト又は部分解の値、最終部分レイアウト、及び最終レイアウトの少なくとも二つを表すデータの順序を決定する、ペナルティスコア比較回路、ルーチン、又はアプリケーションと、（ｄ）部分レイアウト又は部分解を生成するデータと、部分レイアウト又は部分解のペナルティスコアを表すデータと、を生成する、部分レイアウト／部分解作成回路、ルーチン、又はアプリケーションと、（ｅ）最終部分レイアウトを表すデータと画像を表すデータとを入力し、画像サマリレイアウトに再構成された画像を表すデータを生成する、画像配置回路、ルーチン、又はアプリケーションと、を備える、画像サマリレイアウト決定システムである。
本発明の第４０の態様は、レイアウト作成をプロセッサに実行させるためのプログラムであって、（ａ）最小の矩形状形を入力し、（ｂ）前記レイアウトの全体領域を、前記最小の矩形状形の幅と高さの整数倍の幅と高さを有する領域として、入力し、（ｃ）受容可能な最大の矩形状形を、前記最小の矩形状形の幅と高さの整数倍の幅と高さを有する矩形状形として、入力するステップと、（ｄ）各々が前記最小の矩形状形に相対的なサイズによって特徴付けられる、複数の矩形状形を入力し、（ｅ）入力された複数の矩形状形の基数を有するように、且つ、入力された複数の矩形状形が互いに重ならず又は全体領域にいかなる非被覆部分をも残さずに、前記入力された全体領域を覆うように、前記最小の矩形状形に相対的であり且つ前記入力された受容可能な最大の矩形状形より小さいサイズの複数の矩形状形が存在するかを判断し、（１）上記複数の矩形状形の少なくとも一つが存在した場合、複数の矩形状形が、互いに重ならずに入力された全体領域を覆うように、入力された矩形状形のいくつかのサイズを前記最小の矩形状形に相対的であり且つ前記入力された受容可能な最大の矩形状形より小さいサイズに変更することによって、入力された複数の矩形状形から成るレイアウトを生成し、（２）上記複数の矩形状形が全く存在しない場合、上記組み合わせが存在する前記入力された全体領域に類似する全体領域を見つけ、レイアウトを生成する、プログラムである。

本発明の第４１の態様は、サマリレイアウト作成をプロセッサに実行させるためのプログラムであって、（ａ）複数の矩形状形を入力し、（ｂ）前記サマリレイアウトの全体領域を入力し、（ｃ）前記サマリレイアウトの最初の列に対して矩形状形のプレースホルダから成る少なくとも一つのレイアウトの各々を新しい部分レイアウトとして決定し、（ｄ）前記最初の列に対する少なくとも一つのレイアウトの各々に対してペナルティスコアを決定し、新しい部分レイアウトのペナルティスコアとする、プログラムである。

本発明の種々の例示的な実施の形態によるシステム及び方法は、図面を参照して詳細に説明されるであろう。

図１は、本来のマンガ技術を用いて生成された９×７の画像サマリに対する代表的レイアウト１００を示す。本来のマンガ技術は、各サイズが画像の相対的な重要度を表す三つ以内の異なるサイズの入力画像に基づいてレイアウトを作成する。本来のマンガ技術は、画像の元の順序を維持しながら、高さが異なる列を作成するように画像を並べ、その際、各列の高さはその列の最も大きな画像によって決定される。本来のマンガ技術は、各サイズ変更された画像と最下列の任意の空きスペースとの両方にぺナルティスコアを割り当てることによって、列のレイアウトを決定する。画像の相対的な重要度に応じて決まるが、画像は、その最初のサイズからサイズが変更される場合、画像サイズを拡大又は縮小するすることによって、サイズ変更される。本来のマンガ技術において、２サイズ増減させて画像をサイズ変更することは、１サイズ増減して画像をサイズ変更するより、損失するペナルティポイントが大きい。

本来のマンガ技術において、代表的レイアウト１００は、ランダムに生成された入力画像サイズを用いて生成されるレイアウトから選択される。選択された代表的レイアウト１００は、サイズ変更された画像、同じサイズの画像で埋め込まれた各列の比率、及び元のレイアウトの高さについての平均的な結果を表す。

代表的レイアウト１００は、画像のサイズが他の画像の重要度に対するその画像の重要度を示す、大画像１２３、中画像１２２、及び小画像１２１を含む。サイズ１２１、１２２、及び１２３が、互いに対して画定され、特定の寸法を表すものではないことが理解されよう。図１に示される例示的な実施の形態において、本来のマンガ技術によってサイズ変更された各画像内に数字が置かれている。各数字は、画像の元のサイズに対してこの画像に対応する画像がどの程度サイズ変更されたかを示す。（＋１）は、画像が入力された時、その画像のサイズに対して画像が１サイズだけ拡大されたことを示す。（−１）は、画像が入力された時、その画像のサイズに対して画像が１サイズだけ縮小されたことを示す。図１では、どの画像も、２画像サイズ、即ち、最大の画像サイズ１２３から最小の画像サイズ１２１に、又はその逆に、サイズ変更されなかった。さらに、（＋１）及び（−１）は、画像がサイズ変更されたときに、増えたサイズ又は減ったサイズがいくつあるかを表すに過ぎず、代表的レイアウト１００に対応付けられたペナルティスコアを示すものではない。

図２は、本来のマンガ技術を用いて生成された１０×１２の画像サマリに対する代表的レイアウト２００を示す。代表的レイアウト２００は、ここでもまた、画像のサイズが他の画像の重要度に対するその画像の重要度を示す、大画像１２３、中画像１２２、及び小画像１２１を含む。サイズ１２１、１２２、及び１２３が、互いに対して画定され、特定の寸法を表すものではないことが、ここでもまた、理解されよう。画像の任意のサイズ変更は、各画像の中心の数字によって示される。（＋１）は、画像が入力された時、その画像のサイズに対して画像が１サイズだけ拡大されたことを示す一方、（−１）は、画像が入力された時、その画像のサイズに対して画像が１サイズだけ縮小されたことを示す。本来のマンガ技術が、２サイズで画像をサイズ変更することが可能であることが理解されよう。しかしながら、２サイズで画像をサイズ変更することによって、かなり高いぺナルティスコアが生じる。レイアウト１００及び２００におけるサイズ変更された画像は、それぞれ、１サイズ増減されてサイズ変更されるにすぎないが、マンガ技術によって生成される代表的レイアウトにおいても２サイズでサイズ変更された画像に出会うことも珍しくはない。

図３は、三つの入力画像サイズが使用された、本発明の種々の例示的な実施の形態による画像レイアウトシステム及び方法を用いて生成される、９×７の画像サマリに対する代表的レイアウト３００を示す。代表的レイアウト３００は、画像のサイズが他の画像の重要度に対するその画像の重要度を示す、大画像１２３、中画像１２２、及び小画像１２１を含む。サイズ１２１、１２２、及び１２３が、互いに対して画定され、特定の寸法を表すものではないことが、またここで、理解されよう。ここでもまた、各サイズ変更された画像にはその画像がサイズ変更された程度を表す数が含まれている。（＋１）は、画像が入力された時、その画像のサイズに対して画像が１サイズだけ拡大されたことを示す。（−１）は、画像が入力された時、その画像のサイズに対して画像が１サイズだけ縮小されたことを示す。代表的レイアウト３００と代表的レイアウト１００の両方の最下列において等しい量の空きが残っているが、代表的レイアウト３００には、サイズ変更された画像はより少なく、互いに隣接する画像のサイズが同一の列の比率が低いことに注目されたい。

図４は、三つの入力画像サイズが使用された、本発明の種々の例示的な実施の形態による画像レイアウトシステム及び方法を用いて生成された１０×１２の画像サマリに対する代表的レイアウト４００を示す。代表的レイアウト４００は、画像のサイズが他の画像の重要度に対するその画像の重要度を示す、大画像１２３、中画像１２２、及び小画像１２１を含む。サイズ１２１、１２２、及び１２３が互いに対して画定され、特定の寸法を表すものではないことが、ここでもまた、理解されよう。ここでもまた、各サイズ変更された画像が、その画像がどの程度サイズ変更されたかを表す数を含む。（＋１）は、画像が入力された時、その画像のサイズに対して１サイズだけ画像が拡大されたことを示す一方、（−１）は、画像が入力された時、その画像のサイズに対して１サイズだけ画像が縮小されたことを示す。

代表的レイアウト４００を代表的レイアウト２００と比較すると、合計１２個の画像が代表的レイアウト４００においてサイズ変更される一方、合計１１個だけの画像が代表的レイアウト２００においてサイズ変更されることが明らかである。しかしながら、レイアウト２００における相対的に大きな空きスペースと比較して、代表的レイアウト４００には、最下列に全く空きスペースがなく、互いに隣接する同じサイズの画像が埋め込まれる列の比率が低い。本発明の種々の例示的な実施の形態によるシステム及び方法によれば、最下列に空きスペースがなく互いに隣接する同じサイズの画像が埋め込まれる列を低比率で含むレイアウトが、サイズ変更された画像をあまり含まずに最下列に空きスペースを有するレイアウトよりも、美的に望ましいと判断されたからである。従って、サイズ変更された画像がより少ないレイアウトより、最下列がフルに埋まったレイアウトが、最終レイアウトの品質としてより望ましいと判断されたとき、それに応じてこれらの品質に対するペナルティスコアの値が調整され得る。これによって、他の部分よりも多くのサイズ変更された画像を含む最下列のみが部分的にフルとなったレイアウトが生じる。

図５は、四つの入力画像サイズが使用された、本発明の種々の例示的な実施の形態による画像レイアウトシステム及び方法によって生成される９×７の画像サマリに対する代表的レイアウト５００を示す。代表的レイアウト５００は、他の画像の重要度に対するその画像の重要度を示す、サイズ１２４、１２５、１２６、及び１２７の画像を含む。特に、図５に示される例示的な実施の形態において、画像サイズ１２４は最も小さく、最も重要でない（最下位の）画像サイズである。画像サイズ１２５は、次に大きく、三番目に重要な画像サイズである。画像サイズ１２６は、その次に大きく、ニ番目に重要な画像サイズであり、画像サイズ１２７は、最も大きく、最も重要な（最上位の）画像サイズである。サイズ１２４、１２５、１２６、及び１２７が互いに対して画定されるだけで、特定の寸法を表すものではないことが理解されよう。ここでまた、各サイズ変更された画像はその画像がどの程度サイズ変更されたかを表す数を含む。（＋１）は、画像が入力された時、その画像のサイズに対して画像が１サイズだけ拡大されたことを示し、（−１）は、画像が入力された時、その画像のサイズに対して画像が１サイズだけ縮小されたことを示す。

図６は、四つの入力画像サイズが使用された、本発明の種々の例示的な実施の形態による画像レイアウトシステム及び方法によって生成される１０×１２の画像サマリに対する代表的レイアウト６００を示す。代表的レイアウト６００は、四つの画像サイズ１２４、１２５、１２６、及び１２７の画像を含む。代表的レイアウト５００及び６００は、四つの異なるサイズの画像を含み、より大きな画像でより大きな領域を占めることから、三つの画像サイズを有する代表的レイアウト１００乃至４００より、使用する画像の数が少ない。ここでまた、各サイズ変更された画像は、その画像がサイズ変更された程度を表す数を含む。

本発明の種々の例示的な実施の形態によるシステム及び方法において、画像サマリのためのレイアウトを決定する際、レイアウトの特定の列に収まる画像サイズのカウントの組み合わせが考慮される。例えば、小画像１２１が３個分の高さと小画像１２１が６個分の幅のサイズを有する列には、画像サイズのカウントの三つの異なる組み合わせ（０、０、２）、（５、１、１）、（９、０、１）を埋め込むことができる。これらの三つの画像カウントの各々において、１番目の数字は小画像１２１の数を表し、２番目の数字は中画像１２２の数を表し、３番目の数字は大画像１２３の数字を表す。本発明の種々の例示的な実施の形態によるシステム及び方法によれば、列の高さはその列内に含まれる最大の画像サイズによって画定されることから、これらは、小画像１２１が３個分の高さと小画像１２１が６個分の幅の列を埋め込むだけの画像のカウントにすぎない。したがって、各画像カウントは少なくとも一つの大画像１２３を含む必要がある。

図７は、現在の列が二つの大画像１２３だけを含む時、即ち、列が画像カウント（０、０、２）を有する時のレイアウトに対する唯一の順列を示す。二つの大画像を配列し画像が入力された順番を維持する他の方法はなく、レイアウト順列は一つだけである。図８は、列が五つの小画像１２１、一つの中画像１２２、及び一つの大画像１２３を含む時、即ち、列が画像カウント（５、１、１）を有する時に結果的に生じ得る、１２個の異なるレイアウト順列８００乃至８１１を示す。即ち、レイアウト順列８００乃至８１１は、それぞれ、本発明の種々の例示的な実施の形態によるシステム及び方法によって考慮される異なるレイアウトを表し、五つの小画像１２１、一つの中画像１２２、一つの大画像１２３で小画像１２１を３個分の高さと小画像１２１を６個分の幅の現在の列を埋め込む。同様に、図９には、列が９個の小画像１２１と１個の大画像１２３を含む時、即ち、列が画像カウント（９、０、１）を有する時に結果的に生じるレイアウトの四つのレイアウト順列９００乃至９０３が示される。

オリジナル画像が入力される順序が各レイアウト順列内で維持されることが本発明の種々の例示的な実施の形態によるシステム及び方法によって得られる望ましい品質であることが理解されよう。レイアウトは、入力された画像に含まれる情報を表すように意図されているので、画像順序を維持することは望ましい品質である。画像の重要性が画像のサイズによって反映されるので、画像間の時間的な関係は、画像の順序によって反映される。例えば、７つの画像Ａ乃至Ｇが入力された場合、これらの順序が、レイアウトの順列８００乃至８１１内に、左右、上下方向の文字で示されれるように各順列内で維持されることが望ましい。

本発明の種々の例示的な実施の形態によるシステム及び方法において、最終レイアウトにおいて望ましくないとされる品質に対するレイアウトにポイントが割当てられる。このような品質には、画像のサイズ変更、最下列の空きスペース、互いに隣接する同じサイズの画像を有する高い比率の列、又は最終レイアウトの美感に影響し得る他の品質が含まれる。従って、「最低」スコアのレイアウトが含む望ましくない品質は「最少」量である。本明細書中に使用されているように、第１のレイアウトのぺナルティスコアが他のレイアウトのぺナルティスコアよりも低いので、「最低」及び「最少量の望ましくない品質」は、その一つのレイアウトがその他のレイアウトより良好であると認められる条件を示唆する。

十分な時間及び／又は演算リソースが付与されれば、最低可能性ペナルティスコアを有するレイアウトを画定することは常に可能であることが理解されよう。段落番号「０１１０」に記載される第２の変形を例外として、ここに記載されているすべての実施の形態及び変形では、最低可能性ペナルティスコアを有するレイアウトを見つける。記載されている実施の形態及び変形の幾つかは、このようなレイアウトを見つけるために必要とされる時間及び／又は演算リソースが大きく節約されるように設計される。

図１０乃至図１３は、本発明の一つの例示的な実施の形態による「最低」ぺナルティスコアを有するレイアウトを決定する方法を概略的に示すフローチャートである。図１０に示されるように、この方法のオペレーションは、ステップ１００で開始され、ステップ１０２に進み、各々が以前に割当てられた重要度を有する複数の画像ｎ個が入力される。次に、ステップ１０４において、例えば、幅９インチ（２２．９ｃｍ）×高さ７インチ（１７．８ｃｍ）のビデオサマリの全体領域が入力される。次に、ステップ１０６において、入力画像の重要度に応じて画像サイズが割当てられ、これによって、入力画像の全画像領域が入力された全体領域にほぼ整合する。次に、オペレーションは、ステップ１０８に進む。

任意数の相対的な画像サイズ、即ち、三つの異なる画像サイズに対して１２１乃至１２３又は四つの異なる画像サイズに対して１２４乃至１２７が入力されてもよい。一般に、さほど厳密に必要なものではないが、全ての画像が最小画像の幅と高さの整数倍である幅と高さを有するべきであることが理解されよう。最小画像のサイズが入力されてもよいし、次に、ビデオサマリの全体領域が最小画像サイズに関して表現されてもよいことが理解されよう。従って、領域をインチやセンチメートル単位で表現する代わりに、この領域を、例えば、最小画像１２１又は１２４の幅の９倍×最小画像１２１又は１２４の高さの７倍などというように表現することもできる。

ステップ１０８において、最下列の高さが最小画像サイズにセットされる。次に、ステップ１１０において、最下列に対する最初の特定の画像カウント又は次の特定の画像カウントが決定される。次に、ステップ１１２において、最下列に対して決定された最初の又は次の特定の画像カウントの各レイアウト順列に対するぺナルティスコアが決定される。次にオペレーションはステップ１１４へ進む。決定された画像カウントに対する各レイアウト順列に対するぺナルティスコアは、レイアウト順列の品質を、入力画像の対応するサブセットの以前に割当てられた画像サイズなどの品質と比較することによって決定される。

ステップ１１４において、順序リストに画像カウントとその画像カウントに対応するぺナルティスコアが部分レイアウトとして記憶される。次に、ステップ１１６において、全ての最下列の画像カウントが現在の列の高さに対して考慮されたかが判断される。そうでない場合、オペレーションはステップ１１０へ戻る。そうである場合、オペレーションはステップ１１８へ進む。

種々の例示的な実施の形態において、ステップ１１４において決定される部分レイアウトの対応するぺナルティスコアは、下限、即ち、現在の画像カウントに対して得られた最低スコアのレイアウト順列のぺナルティスコアである。例えば、６×３列で７つの画像の場合、図８に示される構成が可能である。割当てられる画像サイズが（１、２、２、２、１、３、３）であるから、割当てられる画像カウントは（２、３、２）であり、二つの小画像、三つの中画像、及び二つの大画像に対応し、列に使用できる画像カウントは、（５、１、１）である。このスコアの下限を決定するために画像サイズのカウントを見てみると、三つのサイズ２画像をサイズ１に縮小し、１サイズ３画像をサイズ２に縮小する必要があるであろう。しかしながら、この例において、最低の実際のスコアは、２サイズ２画像をサイズ１に縮小し、１サイズ３画像をサイズ１に縮小する、順列８０３と順列８０７によって達成されるが、２サイズ分の縮小は望ましくない。しかしながら、割当てられた画像サイズの多くの順列に対して、スコアの下限と実際のスコアとが同じであることが理解されよう。

ステップ１１８において、現在の列の高さが最大の画像サイズの高さに等しいかが判断される。最下列の高さが最大の画像サイズに等しくない場合、全ての適用可能な最下列の画像カウントは考慮されなかったことになる。現在の列の列高さが最大画像の高さに等しくない場合、オペレーションはステップ１２０へ進む。そうでない場合、オペレーションはステップ１２２へ進む。ステップ１２０において、最小画像の高さ分だけ最下列の現在高さが大きくされる。次にオペレーションは再びステップ１１０へ戻る。

これに対して、ステップ１２２において、最低スコアを有する部分レイアウトが順序リストから選択される。次に、ステップ１２４において、最終レイアウトスコアが決定されたかが判断される。部分レイアウトとは対照的に、ステップ１２４が遭遇した最初に決定された全てであるフルレイアウトに対して、最終スコアが決定されなかった場合、ステップ１２４において最初の判断が行われる場合、オペレーションはステップ１３２へ直接進む。そうでない場合、オペレーションはステップ１２６へ進む。

ステップ１２６において、選択された部分レイアウトが現在の、前に決定された最終レイアウトのぺナルティスコアより低いぺナルティスコアを有しているかが判断される。そうである場合、選択された部分レイアウトはより低いスコアの最終レイアウトを生じ得る。これによって、オペレーションは再びステップ１３２へ進む。そうでない場合、選択された部分レイアウトは、現在の最終レイアウトに等しいか又はそれより悪いぺナルティスコアを既に有している。従って、オペレーションはステップ１２８へ進む。

ステップ１２８において、最終レイアウトが出力される。次に、この方法のオペレーションは、ステップ１３０へ進み、この方法のオペレーションが終了する。本発明の種々の例示的な実施の形態による最低のぺナルティスコアを有するレイアウトを決定する方法は、最低のスコアを有する部分レイアウトを最初に評価するので、現在の部分レイアウトのぺナルティスコアよりも低いぺナルティスコアを有する最終レイアウトが、最低スコアの最終レイアウトになるはずである。

ステップ１３２において、現在の選択された部分レイアウトに対して次に高さが高い列の高さが、最小の画像サイズの高さにセットされる。次に、ステップ１３４において、選択された部分レイアウトに基づいて、次に高さが高い列に対する最初の又は次の特定の画像カウントが決定される。次に、ステップ１３６において、できるだけ少ない数の画像を用いて、適用可能な最大のサイズの画像のみで残っている列を埋め込む場合でも、決定された最初の又は次の特定の画像カウントに基づいて、レイアウトの残っている列を埋め込むのに十分な未使用の画像が残っているかが判断される。現在の部分レイアウトや決定された画像カウントのいずれにも使用されたことのない、レイアウトの残っているスペースを埋め込むのに十分なオリジナルの（未使用の）画像が残っていない場合、決定された画像カウントは最終レイアウトを生じることができない。従って、オペレーションはステップ１４０へ進む。そうでない場合、オペレーションはステップ１３８へ進む。

ステップ１３８において、決定された最初の又は次の特定の画像カウントに基づいて、レイアウトの残っている列を最小の画像サイズの画像のみで埋め込む場合でも、これらの画像が残っているレイアウト領域をはみ出すかが判断される。レイアウト領域をはみ出した場合、残っている画像の全てが最終レイアウト内に収まらないので、決定された画像カウントが最終レイアウトを生じることは不可能である。従って、オペレーションは、やはり、ステップ１４０へ進む。そうでない場合、オペレーションはステップ１４２へ進む。

ステップ１４０において、決定された最初の又は次の特定の画像カウントは廃棄される。次にオペレーションはステップ１３４へ戻る。これに対して、ステップ１４２において、最初の又は次の特定の画像カウントのぺナルティスコアが、決定された画像カウントの最低スコアのレイアウト順列の下限として決定される。次に、オペレーションはステップ１４４へ進む。

ステップ１３４で作成された新しい部分レイアウトが現在の選択された部分レイアウトにならないことが理解されよう。即ち、決定された画像カウントとその画像カウントのスコアは、現在の選択された部分レイアウトに対応付けられ、新しい部分レイアウトを作成する。例えば、選択された部分レイアウトが最下列内に９個の画像を含む場合、最下列の部分レイアウトの中で使用される９個の画像のすぐに続く画像の品質を比較することによって、現在の列の次に高さが高い列の各レイアウト順列に対するぺナルティスコアが決定される。なぜなら、考慮される決定された画像カウントに基づいて現在の列の次に高さが高い列内にこれらの画像が発生するからである。その画像カウントの種々の順列の最低スコアは、次に高さが高い列の画像カウントに対するぺナルティスコアとなる。

ステップ１４４において、新しい部分レイアウトの入力された画像の全てがビデオサマリの全体領域を完全に埋めるかが判断される。そうでない場合、オペレーションはステップ１４６へ進む。そうである場合、オペレーションはステップ１４８へ進む。ステップ１４６において、部分レイアウトの順序リストに、新しい部分レイアウトとこの新しい部分レイアウトに対するぺナルティスコアとが記憶される。新しい部分レイアウトに対するぺナルティスコアがこの新しい部分レイアウトの列毎に組み合わされたぺナルティスコアにすぎないことが理解されよう。次に、オペレーションはステップ１６０へ進む。

これに対して、ステップ１４８において、新しい部分レイアウトスコアを決定するために使用された列画像カウントに応じて、列内に入力画像が配置され、候補最終レイアウトが作成される。次に、ステップ１５０において、この候補最終レイアウト内の各画像を各入力画像と比較することによって、候補最終レイアウトに対して、候補最終レイアウトスコアが決定される。次に、ステップ１５２において、最終レイアウトスコアが以前に決定されたかが判断される。そうである場合、オペレーションはステップ１５４へ進む。そうでない場合、オペレーションはステップ１５８へ直接進む。

ステップ１５４において、前に決定された最終レイアウトのスコアが選択された候補最終レイアウトのスコア以下であるかが判断される。そうである場合、オペレーションはステップ１５６へ進む。そうでない場合、オペレーションはまたステップ１５８へ進む。

ステップ１５６において、候補最終レイアウトが廃棄される。次にオペレーションはステップ１６０へ進む。これに対して、ステップ１５８において、候補最終レイアウトが現在の最終レイアウトとして選択され、前の最終レイアウトと差替えられる。従って、候補最終レイアウトスコアが現在の最終レイアウトスコアとなる。次にオペレーションはステップ１６０へ進む。

ステップ１６０において、現在の選択された部分レイアウトに対して最初の又は次の特定の画像カウントが全て決定されたかが判断される。そうでない場合、オペレーションはステップ１３４へ戻る。そうである場合、オペレーションはステップ１６２へ進み、次に高さが高い列の高さが最大の画像サイズに等しいかが判断される。そうでない場合、オペレーションはステップ１６４へ進む。そうである場合、オペレーションはステップ１６６へ進む。ステップ１６４において、最小画像の高さ分だけ、現在の次に高さが高い列の高さが大きくされる。次にオペレーションはまたステップ１３４へ戻る。これに対して、ステップ１６６においては、現在の選択された部分レイアウトが再び廃棄される。次にオペレーションはステップ１２２へ戻る。

即ち、現在の次に高さが高い列の列の高さが最大の画像サイズに等しい場合、現在の選択された部分レイアウトの次に列高さが高い列の全ての最初の又は次の画像カウントが考慮され、部分レイアウトのリストに記憶される新しい部分レイアウトの一部になるか又は廃棄される。列高さが最も大きい画像の高さに等しいと判断された場合、現在の選択された部分レイアウトの次に列高さが高い列に対して、全ての画像カウントが考慮されたことになる。従って、このレイアウトの全ての拡大した適用可能性が考慮されたことになる。

図１０乃至図１２に示された本発明の第１の例示的な実施の形態による最終レイアウトを決定する方法は、少数の入力画像を有するレイアウトを決定するためには合理的且つ迅速であるが、多数の入力画像を有するレイアウトを決定するには遅遅として望ましくない。この時間的必要条件は、画像サイズのカウントが付与された際、図１０乃至図１３に示される第１の例示的な実施の形態による最終レイアウトを決定する方法によってレイアウト順列がどのように列挙されるかによって生じる結果である。ステップ１１２及びステップ１４２において、最終レイアウトを決定する方法の第１の例示的な実施の形態は、画像毎に適用可能なサイズを並べ換え、レイアウト順列毎にそのレイアウト順列が入力画像の品質にどの程度整合するかを決定する。

この時間的必要条件を満たすには、本発明の第１の例示的な実施の形態の第１の変形を用いて最終レイアウトを決定する方法は、ステップ１０４において入力された画像の画像サイズに合う画像カウントのみを列挙する。第１の例示的な実施の形態による最終レイアウトを決定する方法のステップ１１２及びステップ１４２において示されるように、適用可能な列の構成を決定する場合はこの第１の変形を適用する。第１の変形は、最終レイアウトに到達するために必要とされる時間をかなり短縮することができる。しかしながら、多数の入力画像を有するレイアウトを第１の実施の形態による最終レイアウトを決定する方法に適用した場合、第１の変形はあまり望ましくはない。

本発明の第２の例示的な実施の形態による最終レイアウトを決定するシステム及び方法は、適用可能な画像サイズを組み立てブロック状に並べることによって最終レイアウトに到達するまでに必要な時間を短縮する。図１４は、本発明の第２の例示的な実施の形態によるシステム及び方法において、三つの相対的な画像サイズ１２１、１２２、及び１２３が入力された画像に対する最終レイアウトを決定するときに使用できる組み立てブロックの種々の例示的な実施の形態を示す。第１の列１０００は、サイズ１２１の画像のみを含む列に対して考慮される組み立てブロックを示す。第２の列１００１は、少なくとも一つのサイズ１２２の画像を含む列に対して考慮される組み立てブロックのセットを示す。第３の列１００２は、少なくとも一つのサイズ１２３の画像を含む列に対して考慮される組み立てブロックのセットを示す。

同様に、図１５は、四つの相対的な画像サイズ１２４、１２５、１２６、及び１２７が入力された画像に対する最終レイアウトを決定する時に、本発明の第２の例示的な実施の形態による方法とシステムが使用する組み立てブロックの種々の例示的な実施の形態を示す。第１の列１１００は、サイズ１２４の画像のみを含む列に対して考慮される組み立てブロックを示す。第２の列１１０１は、少なくとも一つのサイズ１２５の画像を含む列に対して考慮される組み立てブロックのセットを示す。第３の列１１０２は、少なくとも一つのサイズ１２６の画像を含む列に対して考慮される組み立てブロックのセットを示す。最後に、第４の列１１０３は、少なくとも一つのサイズ１２７の画像を含む列に対して考慮される組み立てブロックのセットを示す。

本発明の第１の例示的な実施の形態による最終レイアウトを決定する方法のステップ１１２とステップ１４２におけるように、列を収めることができる画像サイズのレイアウト順列を決定する代わりに、本発明の第２の例示的な実施の形態による最終レイアウトを決定する方法は、組み立てブロックの組み合わせを決定する。考慮されるコンポーネントの数が少ないので、レイアウト順列を決定することと最終部分レイアウトに対するレイアウトを完了することの両方が本発明の第１の例示的な実施の形態による最終レイアウトを決定する方法よりも迅速に行われる。

図１６乃至図１９は、本発明の第２の例示的な実施の形態による「最低」ペナルティスコアを有するレイアウトを決定する方法を概略的に示すフローチャートである。図１６に示されるように、この方法のオペレーションは、ステップ２００で開始され、ステップ２０２へ進み、各々が以前に割当てられた重要度スコアを有する画像数ｎ個が入力される。次に、ステップ２０４において、例えば、幅９インチ（２２．９ｃｍ）×高さ７インチ（１７．８ｃｍ）のビデオサマリの全体領域が入力される。次に、ステップ２０６において、入力画像の重要度に応じて画像サイズが割当てられ、これによって、入力画像の全画像領域が入力された全体領域にほぼ整合する。次にオペレーションはステップ２０８へ進む。

任意数の相対的な画像サイズ、即ち、三つの異なる画像サイズに対して１２１乃至１２３又は四つの異なる画像サイズに対して１２４乃至１２７が入力されてもよい。一般に、さほど厳密に必要なものではないが、全ての画像が最小画像の幅と高さの整数倍である幅と高さを有するべきであることが理解されよう。ここでまた、最小画像のサイズが入力されてもよいし、ビデオサマリに対する全体領域が最小画像サイズに関して表現されてもよいことが理解されよう。従って、領域をインチやセンチメートル単位で表現する代わりに、この領域を、例えば、最小画像１２１又は１２４の幅の９倍×最小画像１２１又は１２４の高さの７倍などというように表現することもできる。

ステップ２０８において、最下列の高さが最小画像サイズにセットされる。次に、ステップ２１０において、最下列に対する最初の特定のブロックカウント又は次の特定のブロックカウントが現在のブロックカウントとして決定される。次に、ステップ２１２において、最下列に対して決定された最初の又は次の特定のブロックカウントの各レイアウト順列に対するぺナルティスコアが決定される。次にオペレーションはステップ２１４へ進む。決定されたブロックカウントに対する各レイアウト順列に対するぺナルティスコアは、レイアウト順列の品質を、入力画像の対応するサブセットの以前に割当てられた画像サイズなどの品質と、比較することによって決定される。

ステップ２１４において、ブロックカウントとそのブロックカウントに対応するぺナルティスコアが順序リストに部分レイアウトとして記憶される。次に、ステップ２１６において、全ての最下列のブロックカウントが現在の列の高さに対して考慮されたかが判断される。そうでない場合、オペレーションはステップ２１０へ戻る。そうである場合、オペレーションはステップ２１８へ進む。

ステップ２１８において、現在の列の高さが最大の画像サイズの高さに等しいかが判断される。最下列の高さが最大の画像サイズに等しくない場合、全ての適用可能な最下列のブロックカウントは考慮されなかったことになる。現在の列の列高さがレイアウト画像の高さに等しくない場合、オペレーションはステップ２２０へ進む。そうでない場合、オペレーションはステップ２２２へ進む。ステップ２２０において、最小画像の高さ分だけ、最下列の高さが大きくされる。次にオペレーションは再びステップ２１０へ戻る。

図２９は、３個又は４個の画像サイズを用いて、小画像１２１、１２４が６個分の幅を有する画像レイアウトに対して考慮される種々の列高さを示す。まず、列２８００が最小の画像サイズ１２１を使って考慮される。次に、高さが最小画像１２１の２倍である、複数の列２８０１、２８０２及び／又は２８０３（及びこれらの列のレイアウトの種々の順列）が、サイズ１２１及び１２２をそれぞれ有する画像を用いて考慮される。次に、高さが最小画像１２１の３倍である、複数の列２８０４、２８０５、及び／又は２８０６（及びこれらの列のレイアウトの種々の順列）が、サイズ１２１、１２２、及び１２３をそれぞれ有する画像を用いて考慮される。最後に、レイアウトが四つの画像サイズを使用する場合、高さが最小画像１２４の４倍である、複数の列２８０７、２８０８、及び／又は２８０９（及びこれらの列のレイアウトの種々の順列）が、サイズ１２４、１２５、及び１２７のそれぞれを有する画像を用いて考慮される（少なくとも小画像１２１、１２４が７個分の幅の列を必要とするので、サイズ１２６は使用されないことに注意されたい）。

これに対して、ステップ２２２において、最低スコアを有する部分レイアウトが順序リストから選択される。次に、ステップ２２４において、最終レイアウトスコアが決定されたかが判断される。部分レイアウトとは対照的に、ステップ２２４が遭遇した最初に決定された全てのフルレイアウトに対して、最終スコアが決定されなかった場合、ステップ２２４において、最初の判断が行われる場合、オペレーションは、ステップ２３２へ直接進む。そうでない場合、オペレーションはステップ２２６へ進む。

ステップ２２６において、選択された部分レイアウトが現在の、前に以前に決定された最終レイアウトのぺナルティスコアより低いぺナルティスコアを有しているかが判断される。そうである場合、選択された部分レイアウトはより低いスコアの最終レイアウトを生じ得る。これによって、オペレーションは再びステップ２３２へ進む。そうでない場合、選択された部分レイアウトは、現在の最終レイアウトに等しいか又はそれより悪いぺナルティスコアを既に有している。従って、オペレーションはステップ２２８へ進む。

ステップ２２８において、最終レイアウトが出力される。次に、この方法のオペレーションは、ステップ２３０へ進み、この方法のオペレーションが終了する。本発明の種々の例示的な実施の形態による最低のぺナルティスコアを有するレイアウトを決定する方法は、最低スコアを有する部分レイアウトを最初に評価するので、現在の部分レイアウトのぺナルティスコアよりも低いぺナルティスコアを有する最終レイアウトが、最低スコアの最終レイアウトになるはずである。

ステップ２３２において、現在の選択された部分レイアウトに対して次に高さが高い列の高さが最小の画像サイズの高さにセットされる。次に、ステップ２３４において、選択された部分レイアウトに基づいて、次に高さが高い列に対する最初の又は次の特定のブロックカウントが決定される。次に、ステップ２３６において、決定された最初の又は次の特定のブロックカウントに基づいて、できるだけ最大のサイズの画像のみでレイアウトの残りの列を埋め込む場合でも、レイアウトの残りの列を埋め込む十分な未使用の画像が残っているかが判断される。現在の部分レイアウトや決定されたブロックカウントのいずれにもレイアウトの残りのスペースをオリジナル（未使用）のレイアウトで埋め込む十分なオリジナル画像が残っていない場合、決定されたブロックカウントは最終レイアウトを生じることができない。従って、オペレーションはステップ２４０へ進む。そうでない場合、オペレーションはステップ２３８へ進む。

ステップ２３８において、決定された最初の又は次の特定のブロックカウントに基づいて、レイアウトの残っている列を最小画像サイズの画像のみで埋め込む場合でも、残っているレイアウト領域をはみ出すかが判断される。レイアウト領域をはみ出した場合、残っている画像の全てを最終レイアウト内に収めることができないので、決定されたブロックカウントが最終レイアウトを生じることは不可能である。従って、オペレーションはステップ２４０へ進む。そうでない場合、オペレーションはステップ２４２へ進む。

ステップ２４０において、決定された最初の又は次の特定のブロックカウントは廃棄される。次にオペレーションはステップ２３４へ戻る。これに対して、ステップ２４２において、最初の又は次の特定の画像カウントのぺナルティスコアが決定された画像カウントの最低スコアのレイアウト順列の下限として決定される。次に、オペレーションはステップ２４４へ進む。

ステップ２４２で作成された新しい部分レイアウトが現在の選択された部分レイアウトにならないことが理解されよう。即ち、決定されたブロックカウントとそのブロックカウントのスコアは、現在の選択された部分レイアウトに対応付けられ、新しい部分レイアウトを作成する。例えば、選択された部分レイアウトが最下列内に合計９個の画像を有する三つのブロックを含む場合、最下列の部分レイアウトを構成するブロック内で使用される９個の画像に続くの画像の品質を比較することによって、現在の列の次に高さが高い列の各レイアウト順列に対するぺナルティスコアが決定される。これらの画像は、考慮される決定されたブロックカウントに基づいて、現在の列の次に高さが高い列内にブロックを構成するであろう。そのブロックカウントの種々の順列の最低スコアは、次に高さが高い列のブロックカウントに対するぺナルティスコアとなる。

ステップ２４４において、新しい部分レイアウトの入力された画像の全てがビデオサマリの全体領域に収まるかが判断される。そうでない場合、オペレーションはステップ２４６へ進む。そうである場合、オペレーションはステップ２４８へ進む。ステップ２４６において、新しい部分レイアウトとこの新しい部分レイアウトに対するぺナルティスコアが、部分レイアウトの順序リストに記憶される。新しい部分レイアウトに対するぺナルティスコアが新しい部分レイアウトの列毎に組み合わされたぺナルティスコアにすぎないことが理解されよう。次にオペレーションはステップ２６０へ進む。

これに対して、ステップ２４８において、新しい部分レイアウトスコアを決定するために使用される列ブロックカウントに応じて、列内に入力画像が配置され、候補最終レイアウトを作成する。次に、ステップ２５０において、この候補最終レイアウト内の各画像を各入力画像と比較することによって候補最終レイアウトに対する候補最終レイアウトスコアが決定される。次に、ステップ２５２において、最終レイアウトスコアが以前に決定されたかが判断される。そうである場合、オペレーションはステップ２５４へ進む。そうでない場合、オペレーションはステップ２５８へ直接進む。

ステップ２５４において、前に決定された最終レイアウトのスコアが選択された候補最終レイアウトのスコア以下であるかが判断される。そうである場合、オペレーションはステップ２５６へ進む。そうでない場合、オペレーションはまたステップ２５８へ直接進む。

ステップ２５６において、候補最終レイアウトが廃棄される。次にオペレーションはステップ２６０へ進む。これに対して、ステップ２５８において、候補最終レイアウトが現在の最終レイアウトとして選択され、前の最終レイアウトと差替えられる。従って、候補最終レイアウトスコアが現在の最終レイアウトスコアとなる。次にオペレーションはステップ２６０へ進む。

ステップ２６０において、現在の選択された部分レイアウトに対する最初の又は次の特定のブロックカウントが全て決定されたかが判断される。そうでない場合、オペレーションはステップ２３４へ戻る。そうでない場合、オペレーションはステップ２６２へ進み、次に高さが高い列の高さが最大の画像サイズに等しいかが判断される。そうでない場合、オペレーションはステップ２６４へ進む。そうである場合、オペレーションはステップ２６６へ進む。ステップ２６４において、最小画像の高さ分だけ、現在の次に高さが高い列の高さが大きくされる。次にオペレーションはまたステップ２３４へ戻る。これに対して、ステップ２６６においては、現在の選択された部分レイアウトが再び廃棄される。次にオペレーションはステップ２２２へ戻る。

即ち、ステップ２６２において、現在の次に高さが高い列の列の高さが最大の画像サイズに等しい場合、現在の選択された部分レイアウトの次に列高さが高い列の全ての最初の又は次のブロックカウントが考慮され、部分レイアウトのリストに記憶される新しい部分レイアウトの一部になるか又は廃棄される。列高さが最も大きい画像の高さに等しいと判断された場合、現在の選択された部分レイアウトの次に列高さが高い列に対して、全てのブロックカウントが考慮されたことになる。従って、このレイアウトの全ての拡大した適用可能性が考慮されたわけである。

本発明の第３の例示的な実施の形態による最終レイアウトを決定する方法は、前述の例示的な実施の形態において保持された情報に対して、保持されるべき情報の量を減らすことによって、最終レイアウトを決定するために必要とされる時間を短縮する。図２０乃至図２３は、本発明の第３の例示的な実施の形態による「最低」ペナルティスコアを有するレイアウトを決定する方法を概略的に示すフローチャートである。図２０に示されるように、この方法のオペレーションは、ステップ３００で開始され、ステップ３０２へ進み、各々が以前に割当てられた重要度スコアを有する画像数ｎ個が入力される。次に、ステップ３０４において、例えば、幅９インチ（２２．９ｃｍ）×高さ７インチ（１７．８ｃｍ）のビデオサマリの全体領域が入力される。次に、ステップ３０６において、入力画像の重要度に応じて画像サイズが割当てられ、これによって、入力画像の全画像領域が入力された全体領域にほぼ整合する。次にオペレーションはステップ３０８に進む。

任意数の相対的な画像サイズ、即ち、三つの異なる画像サイズに対して１２１乃至１２３又は四つの異なる画像サイズに対して１２４乃至１２７が入力されてもよい。一般に、さほど厳密に必要なものではないが、全ての画像が最小画像の幅と高さの整数倍である幅と高さを有するべきであることが理解されよう。ここでまた、最小画像のサイズが入力されてもよいし、ビデオサマリの全体領域が最小画像サイズに関して表現されてもよいことが理解されよう。従って、領域をインチやセンチメートル単位で表現する代わりに、この領域を、例えば、最小画像１２１又は１２４の幅の９倍×最小画像１２１又は１２４の高さの７倍などというように表現することもできる。

ステップ３０８において、最下列の高さが最小画像サイズにセットされる。次に、ステップ３１０において、最下列にする最初の特定のブロックカウント又は次の特定のブロックカウントが現在のブロックカウントとして決定される。次に、ステップ３１２において、最下列に対して決定された最初の又は次の特定のブロックカウントの各レイアウト順列に対するぺナルティスコアが決定される。次にオペレーションはステップ３１４へ進む。決定されたブロックカウントに対する各レイアウト順列に対するぺナルティスコアは、レイアウト順列の品質を、入力画像の対応するサブセットの以前に割当てられた画像サイズなどの品質と、比較することによって決定される。

ステップ３１４において、ブロックカウントとそのブロックカウントに対応するぺナルティスコアが、そのブロックカウントの最低スコアの順列のペナルティスコアに対応するバケット内に部分レイアウトとして記憶される。次に、ステップ３１６において、全ての最下列のブロックカウントが現在の列の高さに対して考慮されたかが判断される。そうでない場合、オペレーションはステップ３１０へ戻る。そうである場合、オペレーションはステップ３１８へ進む。

本明細書中に使用されている「バケット」は、それが記憶される順序に関わらず、情報が置かれてもよい場所である。部分レイアウトの対応するペナルティスコアは、下限であるか、又はこのブロックカウントに対して得られた最低スコアのレイアウト順列のペナルティスコアである。時折、図２０乃至図２３において概略的に示される方法のオペレーションがステップ３１４に達すると、部分レイアウトのペナルティスコアに対応するバケットが作成され、この部分レイアウトがこのバケットに記憶される。しかしながら、部分レイアウトのペナルティスコアがステップ３１４の前のオペレーションによって既に作成されているバケットに対応する場合は、部分レイアウトは既存のバケット内に記憶される。順序リストではなく、これらのバケットを使用することによって、第３の実施の形態は、個々のレイアウトの順序ではなく、バケットの順序を追うだけで済む。

ステップ３１８において、現在の列の高さが最大の画像サイズの高さに等しいかが判断される。最下列の高さが最大の画像サイズに等しくない場合、全ての適用可能な最下列のブロックカウントは考慮されなかったことになる。現在の列の列高さがレイアウト画像の高さに等しくない場合、オペレーションはステップ３２０へ進む。そうでない場合、オペレーションはステップ３２２へ進む。ステップ３２０において、最小画像の高さ分だけ、最下列の高さが大きくされる。次にオペレーションは再びステップ３１０へ戻る。

これに対して、ステップ３２２において、最低ペナルティスコアに対応するバケットから、任意の部分レイアウトが、選択される。次に、ステップ３２４において、最終レイアウトスコアが決定されたかが判断される。部分レイアウトとは対照的に、ステップ３２４が遭遇した最初に決定された全てのフルレイアウトに対して最終スコアが決定されなかった場合、ステップ３２４において、最初の判断が行われる場合、オペレーションはステップ３３２へ直接進む。そうでない場合、オペレーションはステップ３２６へ進む。

ステップ３２６において、選択された部分レイアウトが現在の、前に決定された最終レイアウトのぺナルティスコアより低いぺナルティスコアを有しているかが判断される。そうである場合、選択された部分レイアウトはより低いスコアの最終レイアウトを生じ得る。これによって、オペレーションは再びステップ３３２へ進む。そうでない場合、選択された部分レイアウトは、現在の最終レイアウトに等しいか又はそれより悪いぺナルティスコアを既に有している。従って、オペレーションはステップ３２８へ進む。

ステップ３２８において、最終レイアウトが出力される。次に、この方法のオペレーションはステップ３３０へ進み、この方法のオペレーションが終了する。本発明の種々の例示的な実施の形態による最低のぺナルティスコアを有するレイアウトを決定する方法は、最低スコアを有する部分レイアウトを最初に評価するので、現在の部分レイアウトのぺナルティスコアよりも低いぺナルティスコアを有する最終レイアウトが、最低スコアの最終レイアウトになるはずである。

ステップ３３２において、現在の選択された部分レイアウトに対して次に高さが高い列の高さが、最小の画像サイズの高さにセットされる。次に、ステップ３３４において、選択された部分レイアウトに基づいて、次に高さが高い列に対する最初の又は次の特定のブロックカウントが決定される。次に、ステップ３３６において、決定された最初の又は次の特定のブロックカウントに基づいて、レイアウトの残っている列を適用可能な最大のサイズの画像のみで埋め込む場合でも、レイアウトの残りの列を埋め込むだけの十分な未使用画像が残っているかが判断される。現在の部分レイアウトや決定されたブロックカウントのいずれにも使用されたことのない、レイアウトの残っているスペースを埋め込む十分なオリジナル画像が残っていない場合、決定されたブロックカウントは最終レイアウトを生じることができない。従って、オペレーションはステップ３４０へ進む。そうでない場合、オペレーションはステップ３３８へ進む。

ステップ３３８において、決定された最初の又は次の特定のブロックカウントに基づいて、レイアウトの残りの列を最小画像サイズの画像のみで埋め込む場合でも、残っているレイアウト領域をはみ出すかが判断される。レイアウト領域をはみ出した場合、残っている画像の全てを最終レイアウト内に収めることができないので、決定されたブロックカウントが最終レイアウトを生じることは不可能である。従って、オペレーションはステップ３４０へ進む。しかしながら、残っている画像がレイアウト内に収まる場合は、オペレーションはステップ３４２へ進む。

ステップ３４０において、決定された最初の又は次の特定のブロックカウントが廃棄される。次にオペレーションはステップ３３４へ戻る。これに対して、ステップ３４２において、最初の又は次の特定の画像カウントのぺナルティスコアが決定された画像カウントの最低スコアのレイアウト順列の下限として決定される。次に、オペレーションはステップ３４４へ進む。ステップ３３８で作成された新しい部分レイアウトが現在の選択された部分レイアウトにならないことが理解されよう。決定されたブロックカウントとそのブロックカウントのスコアは、現在の選択された部分レイアウトに対応付けられ、新しい部分レイアウトを作成する。

ステップ３４４において、新しい部分レイアウトが入力された画像の全てがビデオサマリの全体領域に収まるかが判断される。そうでない場合、オペレーションはステップ３４６へ進む。そうである場合、オペレーションはステップ３４８へ進む。ステップ３４６において、新しい部分レイアウトとこの新しい部分レイアウトに対するぺナルティスコアが、その新しい部分レイアウトのペナルティスコアに対応するバケット内に記憶される。新しい部分レイアウトに対するぺナルティスコアが新しい部分レイアウトの列毎に組み合わされたぺナルティスコアにすぎないことが理解されよう。ステップ３１４で作成された同じバケットが使用されることが更に理解されよう。しかしながら、ステップ３１４で作成されたバケットでこの新しい部分レイアウトに対するぺナルティスコアに対応するものがない場合、その新しい部分レイアウトのペナルティスコアに対応するバケットが作成される。次にオペレーションはステップ３６０へ進む。

これに対して、ステップ３４８において、新しい部分レイアウトスコアを決定するために使用される列ブロックカウントに応じて、列内に入力画像が配置され、候補最終レイアウトを作成する。次に、ステップ３５０において、この候補最終レイアウト内の各画像を各入力画像と比較することによって候補最終レイアウトに対する候補最終レイアウトスコアが決定される。次に、ステップ３５２において、最終レイアウトスコアが以前に決定されたかが判断される。そうである場合、オペレーションはステップ３５４へ進む。そうでない場合、オペレーションはステップ３５８へ直接進む。

ステップ３５４において、前に決定された最終レイアウトのスコアが、選択された候補最終レイアウトのスコア以下であるかが判断される。そうである場合、オペレーションはステップ３５６へ進む。そうでない場合、オペレーションはまたステップ３５８へ直接進む。

ステップ３５６において、候補最終レイアウトが廃棄される。次にオペレーションはステップ３６０へ進む。これに対して、ステップ３５８において、候補最終レイアウトが現在の最終レイアウトとして選択され、これによって、前の最終レイアウトと差替えられる。従って、候補最終レイアウトスコアが現在の最終レイアウトスコアとなる。次にオペレーションはステップ３６０へ進む。

ステップ３６０において、現在の選択された部分レイアウトに対する最初の又は次の特定のブロックカウントが全て決定されたかが判断される。そうでない場合、オペレーションはステップ３３４へ戻る。そうである場合、オペレーションはステップ３６２へ進み、次に高さが高い列の高さが最大の画像サイズに等しいかが判断される。そうでない場合、オペレーションはステップ３６４へ進む。そうである場合、オペレーションはステップ３６６へ進む。ステップ３６４において、最小画像の高さ分だけ、現在の次に高さが高い列の高さが大きくされる。次にオペレーションはまたステップ３３４へ戻る。これに対して、ステップ３６６においては、現在の選択された部分レイアウトが再び廃棄される。次にオペレーションはステップ３２２へ戻る。

即ち、ステップ３６２において、現在の次に高さが高い列の列の高さが最大の画像サイズに等しい場合、現在の選択された部分レイアウトの次に列高さが高い列の全ての最初の又は次のブロックカウントが考慮され、部分レイアウトのリストに記憶される新しい部分レイアウトの一部になるか又は廃棄される。列高さが最も大きい画像の高さに等しいと判断された場合、現在の選択された部分レイアウトの次に列高さが高い列に対して、全てのブロックカウントが考慮されたことになる。従って、このレイアウトの全ての拡大した適用可能性が考慮されたわけである。

本発明の第１、第２及び第３の実施の形態による最終レイアウトを決定する方法において、特定の画像で開始される画像又はブロックカウントによって埋め込まれた列は、最初の画像が、どのレイアウト順列が最低のスコアを生成するかを決定する傾向があるため、常に同じペナルティスコアが付与される。本発明の第４の例示的な実施の形態による最終レイアウトを決定する方法において、カウントが考慮される度にスコアを決定するというより、寧ろ、スコアが、特定の画像又はブロックカウントとスタート画像とに対応付けられる。次に、このスコアは、画像又はブロックカウントとスタート画像のペアが考慮される度毎に、想起される。

図２４乃至図２７は、本発明の第２の例示的な実施の形態による「最低」ペナルティスコアを有するレイアウトを決定する方法を概略的に示すフローチャートである。図２４に示されるように、この方法のオペレーションは、ステップ４００で開始され、ステップ４０２へ進み、各々が以前に割当てられた重要度スコアを有する画像数ｎ個が入力される。次に、ステップ４０４において、例えば、幅９インチ（２２．９ｃｍ）×高さ７インチ（１７．８ｃｍ）のビデオサマリに対する全体領域が入力される。次に、ステップ４０６において、入力画像の重要度に応じて画像サイズが割当てられ、これによって、入力画像の全画像領域が入力された全体領域にほぼ整合する。次にオペレーションはステップ４０８へ進む。

任意数の相対的な画像サイズ、即ち、三つの異なる画像サイズに対して１２１乃至１２３又は四つの異なる画像サイズに対して１２４乃至１２７が入力されてもよい。一般に、さほど厳密に必要なものではないが、全ての画像が最小画像の幅と高さの整数倍である幅と高さを有するべきであることが理解されよう。ここでまた、最小画像のサイズが入力されてもよいし、ビデオサマリに対する全体領域が最小画像サイズに関して表現されてもよいことが理解されよう。従って、領域をインチやセンチメートル単位で表現する代わりに、この領域を、例えば、最小画像１２１又は１２４の幅の９倍×最小画像１２１又は１２４の高さの７倍などというように表現することもできる。

ステップ４０８において、最下列の高さが最小画像サイズにセットされる。次に、ステップ４１０において、最下列に対する最初の特定のブロックカウント又は次の特定のブロックカウントが現在のブロックカウントとして決定される。次に、ステップ４１２において、最下列の最初の画像と決定されたブロックカウントが最初の画像及びブロックカウントによって配列されたぺナルティスコアのテーブルへのキーとして使用される。次に、オペレーションは、ステップ４１４へ進む。

ステップ４１４において、現在の最初の画像とブロックカウントとの組み合わせリストにぺナルティスコアが存在しているか否かが判断される。そうでない場合、オペレーションはステップ４１６へ進む。そうである場合、スコアの計算が省かれてもよいので、これによって、スコアを計算するために必要とされる時間とリソースが節約される。従って、オペレーションは直接ステップ４２０へ進む。

ステップ４１６において、最下列に対して決定された最初の又は次のブロックカウントのレイアウト順列毎にペナルティスコアが決定される。決定されたブロックカウントに対するレイアウト順列毎のペナルティスコアは、このレイアウト順列の品質を、入力画像の対応するサブセットの以前に割当てられた画像サイズなどの品質と、比較することによって、決定される。次に、ステップ４１８において、部分レイアウトのペナルティスコアがペナルティスコアのテーブル内に記憶される。次に、ステップ４２０において、ブロックカウントとこのブロックカウントに対して対応するペナルティスコアが、このブロックカウントの最低スコア順列のペナルティスコアに対応するバケット内に、部分レイアウトとして、記憶される。次に、オペレーションはステップ４２２へ進む。

ステップ４２２において、全ての最下列ブロックカウントが現在の列高さに対して考慮されたかが判断される。そうでない場合、オペレーションはステップ４１０へ戻る。そうである場合、オペレーションはステップ４２４へ進む。ステップ４２４において、現在の最下列の高さが最大の画像サイズの高さに等しいかが判断される。最下列の高さが最大の画像サイズに等しくない場合、すべての適用可能な最下列のブロックカウントが考慮されなかったことになる。従って、オペレーションステップ４２６へ進む。そうでない場合、オペレーションはステップ４２８へ進む。ステップ４２６において、最小画像の高さ分だけ最下列の高さが大きくされる。次にオペレーションは再びステップ４１０へ戻る。

これに対して、ステップ４２８において、最低ペナルティスコアに対応するバケットから、任意の部分レイアウトが、選択される。次に、ステップ４３０において、最終レイアウトスコアが決定されたかが判断される。部分レイアウトとは対照的に、ステップ４３０が遭遇した最初に決定された全てのフルレイアウトに対して、最終スコアが決定されなかった場合、ステップ４３０において、最初の判断が行われる場合、オペレーションはステップ４３２へ直接進む。そうでない場合、オペレーションはステップ４３８へ進む。

ステップ４３２において、選択された部分レイアウトが現在の、前に決定された最終レイアウトのぺナルティスコアより低いぺナルティスコアを有しているかが判断される。そうである場合、選択された部分レイアウトはより低いスコアの最終レイアウトを生じ得る。これによって、オペレーションは再びステップ４３８へ進む。そうでない場合、選択された部分レイアウトは、現在の最終レイアウトに等しいか又はそれより悪いぺナルティスコアを既に有していて、オペレーションはステップ４３４へ進む。

ステップ４３４において、最終レイアウトが出力される。次にオペレーションはステップ４３６へ進み、この方法が終了する。ここでまた、本発明の種々の例示的な実施の形態による最低のぺナルティスコアを有するレイアウトを決定する方法は、最低スコアを有する部分レイアウトを最初に評価するので、現在の部分レイアウトのぺナルティスコアよりも低いぺナルティスコアを有する最終レイアウトが、最低スコアの最終レイアウトになるはずである。

ステップ４３８において、現在の選択された部分レイアウトに対して次に高さが高い列の高さが最小の画像サイズの高さにセットされる。次に、ステップ４４０において、選択された部分レイアウトに基づいて、次に高さが高い列に対する最初の又は次の特定のブロックカウントが決定される。次に、ステップ４４２において、決定された最初の又は次の特定のブロックカウントに基づいて、レイアウトの残っている列を適用可能な最大のサイズの画像のみで埋め込む場合でも、レイアウトの残っている列を埋め込む十分な未使用画像が残っているかが判断される。現在の部分レイアウトや決定されたブロックカウントのいずれにも使用されていないレイアウトの残っているスペースを埋め込むのに十分なだけのオリジナル画像が残っていない場合、決定されたブロックカウントは最終レイアウトを生じることができない。従って、オペレーションはステップ４４６へ進む。そうでない場合、オペレーションはステップ４４４へ進む。

ステップ４４４において、決定された最初の又は次の特定のブロックカウントに基づいて、レイアウトの残っている列を最小画像サイズの画像のみで埋め込む場合でも、残っているレイアウト領域をはみ出すかが判断される。レイアウト領域をはみ出した場合、残っている画像の全てを最終レイアウト内に埋め込むことができないので、決定されたブロックカウントが最終レイアウトを生じることは不可能である。従って、オペレーションはステップ４４６へ進む。そうでない場合、オペレーションは、ステップ４４８へ進む。ステップ４４６において、決定されたブロックカウントが廃棄される。次に、オペレーションは、ステップ４４０へ戻る。

ステップ４４８において、次に高さが高い列における最初の画像と、次に高さが高い列の決定されたブロックカウントとが、最初の画像と最初のブロックカウントによって配列されたペナルティスコアのテーブルへのキーとして、使用される。次に、ステップ４５０において、現在の最初の画像と最初のブロックカウントの組み合わせに対するリストにペナルティスコアが存在しているかが判断される。そうである場合、オペレーションはステップ４５２へ進む。そうでない場合、オペレーションは直接ステップ４５４へ進む。ステップ４５２において、最初の又は次の特定の画像カウントのぺナルティスコアが決定されたブロックカウントの最低スコアのレイアウト順列の下限として決定され、ブロックカウントとこのブロックカウントのスコアとが現在の選択された部分レイアウトに対応付けられ、新しい部分レイアウトが作成される。次に、ステップ４５４において、決定されたブロックカウントのペナルティスコアがペナルティスコアのテーブルに記憶される。次にステップ４５６において、次に高さが高い列に対して決定されたブロックカウントと次に高さが高い列に対して決定されたブロックカウントに対するペナルティスコアが現在の選択された部分レイアウトと対応付けられ、新しいレイアウトを作成する。次に、オペレーションはステップ４５８へ進む。ステップ４５６で作成された新しい部分レイアウトが現在の選択された部分レイアウトにならないことが理解されよう。決定されたブロックカウントとそのブロックカウントのスコアは、現在の選択された部分レイアウトに対応付けられ、新しい部分レイアウトを作成する。

ステップ４５８において、新しい部分レイアウトの入力された画像の全てがビデオサマリの全体領域に収まるかが判断される。そうでない場合、オペレーションはステップ４６０へ進む。そうである場合、オペレーションはステップ４６２へ進む。ステップ４６０において、新しい部分レイアウトとこの新しい部分レイアウトに対するぺナルティスコアが、その新しい部分レイアウトのペナルティスコアに対応するバケット内に記憶される。新しい部分レイアウトに対するぺナルティスコアが新しい部分レイアウトの列毎に組み合わされたぺナルティスコアにすぎないことが理解されよう。ステップ４１８で作成された同じバケットが使用されることが、ここでもまた、理解されよう。しかしながら、ステップ４１８で作成されたバケットでこの新しい部分レイアウトに対するぺナルティスコアに対応するものがない場合、その新しい部分レイアウトのペナルティスコアに対応するバケットが作成される。次にオペレーションは直接ステップ４７４へ進む。

これに対して、ステップ４６２において、新しい部分レイアウトスコアを決定するために使用される列ブロックカウントに応じて、列内に入力画像が配置され、候補最終レイアウトを作成する。次に、ステップ４６４において、この候補最終レイアウト内の各画像を各入力画像と比較することによって候補最終レイアウトに対する候補最終レイアウトスコアが決定される。次に、ステップ４６６において、最終レイアウトスコアが以前に決定されたかが判断される。そうである場合、オペレーションはステップ３５４へ進む。そうでない場合、オペレーションはステップ４７２へ直接進む。

ステップ４６８において、前に決定された最終レイアウトのスコアが、選択された候補最終レイアウトのスコア以下であるかが判断される。そうである場合、オペレーションはステップ４７０へ進む。そうでない場合、オペレーションはまたステップ４７２へ進む。 ステップ４７０において、候補最終レイアウトが再び廃棄される。次にオペレーションはステップ４７４へ進む。これに対して、ステップ４７２において、候補最終レイアウトが現在の最終レイアウトとして選択され、これによって、前の最終レイアウトと差替えられる。従って、候補最終レイアウトスコアが現在の最終レイアウトスコアとなる。次にオペレーションはステップ４７４へ進む。

ステップ４７４において、現在の選択された部分レイアウトに対する最初の又は次の特定のブロックカウントが全て決定されたかが判断される。そうでない場合、オペレーションはステップ４４０へ戻る。そうである場合、オペレーションはステップ４７６へ進み、次に高さが高い列の高さが最大の画像サイズに等しいかが判断される。そうでない場合、オペレーションはステップ４７８へ進む。そうである場合、オペレーションはステップ４８０へ進む。ステップ４７８において、最小画像の高さ分だけ、現在の次に高さが高い列の高さが大きくされる。次に、オペレーションは、ステップ４４０へ戻る。

しかしながら、ステップ４７６において、現在の次に高さが高い列の列の高さが最大の画像サイズに等しい場合、現在の選択された部分レイアウトの次に列高さが高い列の全ての最初の又は次のブロックカウントが考慮され、部分レイアウトのリストに記憶される新しい部分レイアウトの一部になるか又は廃棄される。列高さが、最も大きい画像の高さに等しいと判断された場合、現在の選択された部分レイアウトの次に列高さが高い列に対して、全てのブロックカウントが考慮され、従って、このレイアウトの全ての拡大した適用可能性が考慮されたわけである。これによって、この場合、オペレーションはステップ４８０へ進み、現在の選択された部分レイアウトが廃棄される。次にオペレーションはステップ４２８へ戻る。

本明細書中に記載されているように本発明の種々の例示的な実施の形態による最終レイアウトを決定する方法を、個別に、集合的に、又は互いに組み合わせて、使用し得ることが理解されよう。

上記に概略的に示された本発明の種々の例示的な実施の形態の第２の変形による最終レイアウトを決定する方法によって、これ以上良好な結果が生まれる可能性のない部分レイアウトが残った時、上記の実施の形態のどれを用いても最終レイアウトを出力することを可能とする品質係数を求めることによって、好ましい最終レイアウトに到達するために必要とされる時間が短縮される。図１０乃至図１３及び図１６乃至図２７において概略的に示される方法のステップ１２６、２２６、３２６、及び４３６において例示されているように、部分レイアウト又は部分解のペナルティスコアを最終解のペナルティスコアと直接比較するよりも、第２の変形は、品質係数に照らして、部分レイアウト又は部分解のペナルティスコアを最終解のペナルティスコアと比較する。以上のように記述された本発明の種々の例示的な実施の形態による最終レイアウトを決定する方法によれば、記憶された最終レイアウトが出力されるのは、より低いペナルティスコアを有する部分レイアウトが存在しなくなった時である。

第２の変形は、品質係数が入力されることを必要とする。例えば、品質係数が２の係数であった場合、最低のペナルティスコアを有する部分レイアウトのペナルティスコアが最終レイアウトのペナルティスコアの１／２以下である時、記憶された最終レイアウトが出力される。他の方法においては、最終レイアウトのペナルティスコアが現在部分レイアウト又は部分解のペナルティスコアの２倍以下であった時は、現在の部分レイアウト又は部分レイアウト又は部分解は廃棄される。

第２の変形は、最低スコアを有する部分レイアウトのスコアが最終レイアウトのスコアを超過する前に完成される部分レイアウトが少ない方がいいので、好ましい最終レイアウトに到達するために必要とされる時間を大幅に短縮する。即ち、所与の部分レイアウトのスコアが相対的に早めにレイアウト又は部分解の解析に入った場合、この所与の部分レイアウトのスコアが最終レイアウトのスコアを超過する。結果的に、本発明の種々の例示的な実施の形態による最終レイアウトを決定する方法は、部分レイアウト又は部分解毎に多数の列を決定する必要がない。しかしながら、第２の変形が、本発明の種々の例示的な実施の形態による最終レイアウトを決定する方法に適用される場合、適用可能な最低ペナルティスコアを有する最終レイアウトは出力されないので、最も望ましい品質を有するレイアウトも出力されない。従って、第２の変形を適用した場合、最終レイアウトが出力される前に、最低スコアの最終レイアウトを結果的に生じたかもしれない部分レイアウト又は部分解が完成されない可能性がある。

第２の変形においては、品質係数よりも寧ろ、時間制限が用いられることが理解されよう。時間制限が用いられる場合、何れが先でも、時間制限を経過するか又は最初の最終レイアウトが見つかるとすぐ、記憶された最終レイアウトが出力される。

上記に概略的に説明された本発明の種々の例示的な実施の形態の第３の変形による最終レイアウトを決定する方法は、部分レイアウトの作成を遅らせることによって、最終レイアウトを決定するために必要とされる時間を更に短縮する。第３の変形において、現在の選択された部分レイアウトが次の列に拡大される時に新しい部分レイアウトを作成するより、一対の部分レイアウト及び列の構成を部分解のバケットに記憶してもよい。これによって、部分解が更に処理される時にのみ、それを表す対象が実際に作成される。

上記に概略的に説明された本発明の種々の例示的な実施の形態の第４の変形による最終レイアウトを決定する方法は、画像又はブロックカウント毎に考慮されるべき傾向にあるレイアウトの数を削減することによって、最終レイアウトを決定するために必要とされる時間を短縮する。所与の画像又はブロックカウント、或いはスタート画像の各順列の解析を回避するために、各画像カウント又はブロックカウントが適用可能なスタート画像毎にコスト別にランク付けられる。上記に概略的に述べられた種々の例示的な実施の形態による最終レイアウトを決定する方法では、次に高さが高い列に対する特定の画像又はブロックカウントが決定される時、最低のコストを有する画像又はブロックカウントが最初に考慮され、残っている画像又はブロックカウントが次の最低コストの順序になると考慮される。最も高価なブロックカウントが最初に考慮されるので、コストが以前に考慮されたレイアウト順列のペナルティスコアを超過する全ての画像又はブロックカウントは考慮される必要がない。

例示的な実施の形態の第４の変形にのみ適用される第５の変形において、ブロックカウントを割当てられた画像サイズのカウントと比較することによって決定された下限の代わりに、画像を実際に列に配置するスコアが使用される。というのは、第４の例示的な実施の形態では、各レイアウト順列に対するペナルティスコアが考慮される度に再決定するのではなくルックアップするだけでよいからである。

本発明の種々の例示的な実施の形態の第６の変形による最終レイアウトを決定する方法は、重要な画像を縮小する尤度を削減する。重要度スコアは、重要な画像内の分数の画像サイズにマッピングされる。これによって、重要な画像を小さなサイズに縮小する経費が高くなる傾向がある。この変形は、重要な画像を縮小しないようにするだけでなく、サイズが縮小された重要な画像を含む部分レイアウトが非常に大きなペナルティスコアを有し早期に廃棄されるので、最終レイアウトに到達するために必要な時間を短縮する。

最後に、第７の変形は、全ての画像のアスペクト比を維持しないが、それらをグリッドの任意の矩形領域に配置してその画像の中心部分を示すサマリを生成する。例えば、最大サイズ１２７の画像は縮小されないか、又は、アスペクト比に対して、より小さく、相対的に幅が広く、高さが低い領域に当て嵌まるようにアスペクト比を変更したりする。或いは、第７の変形によるレイアウト生成方法は、画像を所望される領域に当て嵌まるように画像をクロップする。この第７の変形は、画像内の最も重要な情報が、通常、画像の中心近傍に配置されることを前提とする。

このようなサマリは、より多くの多様性を提供するので、視覚的にはより興味深い。また、より多くの形状の組み合わせが使用可能であることから、それらの重要度に対応しないサイズを有する画像が減少する。第７の変形は、組み立てブロックの数を増加することからレイアウトを生成するために必要とされる時間を短縮するが、レイアウト生成方法を実質的には変更しない。

第７の変形は、ユーザインタフェースエレメントの所望されるサイズとアスペクト比を特定するだけで、ユーザインタフェースエレメントをグリッド内にレイアウトするために使用することもできる。第７の変形によるレイアウト生成方法は、ユーザインタフェースエレメントを順番に並べて、所望のサイズとアスペクト比をできるだけ多く保つことによって、ユーザインタフェースエレメントの領域を埋め込むことができる。グリッド内にユーザインタフェースエレメントをレイアウトすることは、エレメントが同一サイズであることを必要とせずに、ユーザインタフェースエレメントを縦横に位置合わせするフレキシブルなレイアウトマネジャーである、ジャバグリッドバッグレイアウト（ｊａｖａ Ｇｒｉｄ Ｂａｇ Ｌａｙｏｕｔ）技術に類似している。

上記の例示的な実施の形態のいずれもが、最上部の列から始めて、上から下へのレイアウトを組み立てることによって最終レイアウトを構成することが可能であることが理解されよう。しかしながら、この方法は、最下列ではなく最上列に空きスペースが発生するので、あまり美しくない。

図２８は、本発明の一つの例示的な実施の形態によるビデオ画像サマリのために美的に好ましいレイアウトを決定するレイアウト生成システム１２００を示す。図２８に示されるように、レイアウト生成システム１２００は、各々が、一つ以上のコントロール及び／又はデータバス及び／又はアプリケーションプログラミングインタフェース１２９０によって相互接続された、入力／出力インタフェース１２１０、コントローラ１２２０、メモリ１２３０、画像／ブロックカウント決定回路、ルーチン、又はアプリケーション１２４０、ペナルティスコア決定回路、ルーチン、又はアプリケーション１２５０、ペナルティスコア比較回路、ルーチン、又はアプリケーション１２６０、及び画像配置回路、ルーチン、又はアプリケーション１２８０を有する。

入力／出力インタフェース１２１０は、リンク１２１４、１３１０、及び１４１０を介して、レイアウト生成システム１２００を一つ以上のユーザ入力デバイス１２１２、データソース１３００、及びデータシンク１４００のそれぞれに接続する。一つ以上のユーザ入力デバイス１２１２は、レイアウトの全体領域や品質係数などの以前に記憶されたり変更されていない情報が、ユーザによってレイアウト生成システム１２００に入力されるのを可能とする。データソース１３００は、ビデオ画像サマリに対するレイアウトを生成する時にレイアウト生成システム１２００によって使用される、オリジナル画像などの以前に記憶又は変更されたデータを供給する。レイアウト生成システム１２００によって生成又は変更された最終レイアウトがデータシンク１４００へ出力される。

データソース１３００が、ディジタルカメラ、ディジタルビデオカメラ、スキャナ、又は局所又は遠隔位置コンピュータ、ネットワークのクライアント又はサーバ又は画像データを生成、記憶又は操作することが可能な任意の他の知られている又は後から開発されたデバイスであってもよいことが理解されよう。同様に、画像データシンク１４００が、レイアウトを決定するレイアウト生成システム１２００によって出力されるデータを受け取り、或いは、このデータを記憶、転送、ディスプレイ、又は更に変更することが可能な任意の知られている又は後から開発されたデバイス又はシステムであってもよいことが理解されよう。

リンク１２１４、１３１０、及び１４１０はそれぞれ、一つ以上の入力デバイス１２１２、データソース１３００及びデータシンク１４００のそれぞれを、直接ケーブル接続、広域ネットワーク又はローカルエリアネットワークを介した接続、イントラネット接続、インターネット接続、任意の他の分散型処理ネットワーク又はシステムを含む、レイアウトを決定するレイアウト生成システム１２００に接続する任意の知られている又は後から開発されたデバイス又はシステムであってもよい。ネットワークは、ローカルエリアネットワーク、広域ネットワーク、イントラネット、インターネット、任意の他の分散型処理及び／又は記憶ネットワークであってもよい。一般に、リンク１２１４、１３１０、及び１４１０はそれぞれ、一つ以上の入力デバイス１２１２、データソース１３００、及びデータシンク１４００のそれぞれをレイアウト決定レイアウト生成システム１２００に接続するために利用可能な、任意の知られている又は後から開発されたデバイス又はシステムであってもよい。また、リンク１２１４、１３１０、及び１４１０の各々回線及び／又は非回線部分を有し得ることも理解されよう。

コントローラ１２２０は、１つ以上のコントロール及び／又はデータバス及び／又はアプリケーションプログラミングインタフェース１２９０及び／又はリンク１２１４、１３１０、及び１４１０を介して、レイアウト生成システムへ入出力されるデータ及びレイアウト生成システム内でのデータのフローを指示する。

メモリ１２３０は、順序リスト部分１２３１、最終レイアウト部分１２３２、バケット部分１２３３、オリジナル画像部分１２３４、及び品質係数部分１２３５、及び／又は、全体領域部分１２３６の一つ以上を含む。順序リスト部分１２３１は、部分レイアウト、部分解、画像カウント及び／又はブロックカウントを表すデータを記憶する。順序リスト部分１２３１はまた、順序リスト部分１２３１内に記憶された部分レイアウト、部分解、画像カウント及び／又はブロックカウントの各々に対するペナルティスコアを表すデータも記憶する。同様に、バケット部分１２３３が使用又は実行される際には、部分レイアウト、部分解、画像カウント及び／又はブロックカウントを表すデータを記憶するとともに、バケット部分１２３３内に記憶された部分レイアウト、部分解、画像カウント及び／又はブロックカウントの各々に対するペナルティスコアを表すデータも記憶する。

最終レイアウト部分１２３２は、レイアウト生成システム１２００によって生成された最終レイアウトを表すデータを記憶する。オリジナル画像部分１２３４は、データソース１３００からのオリジナル画像を表すデータを入力としてレイアウト生成システム１２００へ記憶する。一つ以上のユーザ入力デバイス１２１２又はデータソース１３００のいずれかから、入力／出力インターフェース１２１０へ、入力される品質係数だけでなく、画像の順序を定義付ける画像及びデータの各々に割当てられる重要度も表すデータを記憶する。最後に、全体領域部分１２３６は、一つ以上のユーザ入力デバイス１２１２又はデータソース１３００のいずれかから、入力／出力インターフェース１２１０へ、入力される最終レイアウトの全体領域を表すデータを記憶する。

図２８に示されるように、メモリ１２３０は、メモリ１２３０は、変更可能な揮発性又は非揮発性メモリ、或いは、変更不可能又は固定メモリの任意の適当な組み合わせを用いて実行され得る。揮発性であろうと非揮発性であろうと、変更可能なメモリは、スタティック又はダイナミックＲＡＭ、フロッピディスク及びディスクドライブ、書き込み可能又は再書き込み可能な光学ディスク及びディスクドライブ、ハードドライブ、フラッシュメモリその他のいずれか一つ以上を用いて実行され得る。同様に、変更不可能又は固定メモリは、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭディスクなどの光学ＲＯＭディスク、及びディスクドライブその他のいずれか一つ以上を用いて実行され得る。

画像／ブロックカウント決定回路、ルーチン又は、アプリケーション１２４０は、オリジナル画像、画像の重要度及び／又は画像の順序からなるオリジナル画像部分１２３４に記憶されたデータに基づいて、画像カウント又はブロックカウントを決定する。ペナルティスコア決定回路、ルーチン又は、アプリケーション１２５０は、画像又はブロックカウントを表すデータ及びオリジナル画像部分に記憶されたデータを記憶し、このデータに基づいて、画像又はブロックカウントに対するペナルティスコアを表すデータを生成する。

部分レイアウト／部分解決定回路、ルーチン又はアプリケーション１２７０は、画像又はブロックカウントデータを部分レイアウト又は部分解データへ変換し、この画像又はブロックカウントを表すペナルティスコアデータを作成された部分レイアウト又は部分解に対するペナルティスコアデータへ変換するか、又は、先行する部分レイアウト又は部分解を表すデータを画像又はブロックカウントを表すデータと組み合わせて新しい部分レイアウト又は部分解を生じ、又ははこの先行する部分レイアウト又は部分解のペナルティスコアを表すデータを画像又はブロックカウントのペナルティスコアを表すデータと組み合わせて新しい部分レイアウト又は部分解に対するペナルティスコアを生じるかのいずれかによって、部分レイアウト又は部分解を表すデータ及びこの部分レイアウト又は部分解のペナルティスコアを表すデータを生成する。

ペナルティスコア比較回路、ルーチン、又はアプリケーション１２６０は、画像又はブロックカウント、部分レイアウト又は部分解、最終部分レイアウト、及び／又は最終レイアウトの少なくとも二つを表すデータと、画像又はブロックカウント、部分レイアウト又は部分解、最終部分レイアウト、及び／又は最終レイアウトのペナルティスコアを表すデータと、を入力する。ペナルティスコア比較回路、ルーチン、又はアプリケーション１２６０は、これらの画像又はブロックカウント、部分レイアウト又は部分解、最終部分レイアウト、及び／又は最終レイアウトのペナルティスコアを表すデータに基づいて、これらの画像又はブロックカウント、部分レイアウト又は部分解、最終部分レイアウト、及び／又は最終レイアウトの少なくとも二つを表すデータの順序を決定する。

画像配置回路、ルーチン、又はアプリケーション１２８０は、最終部分レイアウトを表すデータとオリジナル画像を表すデータとを入力し、最終部分レイアウトによって記述されるビデオ画像サマリレイアウトへ再構成されるオリジナル画像を表すデータを生成し、望ましいビデオ画像サマリを生成する。画像／ブロックカウントテスト回路、ルーチン、又はアプリケーション１２９５は、部分レイアウト又は部分解、画像又はブロックカウント、オリジナル画像、及び全体領域を入力し、画像又はブロックカウントに基づいて、残っているレイアウト領域をはみ出さずにレイアウトの全体領域に収める十分な画像が、未使用のまま残っているかを判断する。

複数のオリジナル画像と、オリジナル画像の順序、それらの相対的な重要性、及び／又は使用される異なるサイズの画像数などの他の関連情報と、を有する画像データが、データソース１３００から、リンク１３１０を介して、レイアウト生成システム１２００の入力／出力インターフェース１２１０へ、送られる。コントローラ１２２０の制御下で、入力／出力インターフェース１２１０によって受け取られた情報がオリジナル画像部分１２３４に記憶される。

レイアウト全体領域を定義付けるデータが、リンク１２１４を介して、一つ以上のユーザ入力デバイス１２１２から、入力／出力インターフェース１２１０へ、入力される。コントローラ１２２０の制御下において、レイアウト全体領域のデータがメモリ１２３０の全体領域部分１２３６に記憶される。同様に、品質係数を定義付けるデータが、リンク１２１４を介して、一つ以上のユーザ入力デバイス１２１２から、入力／出力インターフェース１２１０へ、入力される。コントローラ１２２０による制御下で、品質係数データが品質係数部分１２３５に記憶される。画像データソース１３００から、レイアウト全体領域データ及び／又は品質係数データのいずれか又は両方が、受け取られてもよいことが理解されよう。

画像／ブロックカウント決定回路、ルーチン又はアプリケーション１２４０は、コントローラ１２２０による制御下で、オリジナル画像部分１２３４から、オリジナル画像、画像の重要度、及び画像の順序を有する画像データを、入力する。このデータに基づいて、画像／ブロックカウント決定回路、ルーチン又はアプリケーション１２４０は、画像又はブロックカウントを生成する。生成された画像又はブロックカウントは、コントローラ１２２０の制御により、画像／ブロックカウント決定回路、ルーチン又はアプリケーション１２４０から出力され、順序リスト部分１２３１に記憶されるか、又はペナルティスコア決定回路、ルーチン又はアプリケーション１２５０へ直接送られる。

ペナルティスコア決定回路、ルーチン又はアプリケーション１２５０は、コントローラ１２２０の制御により、画像／ブロックカウント決定回路、ルーチン又はアプリケーション１２４０又は順序リスト部分１２３１から、直接、生成された画像又はブロックカウントを入力して、オリジナル画像部分１２３４から、画像データを入力する。次に、この入力されたデータに基づいて、ペナルティスコア決定回路、ルーチン又はアプリケーション１２５０は、受け取られた画像又はブロックカウントに対するペナルティスコアを表すデータを生成する。画像又はブロックカウント及び生成されたペナルティスコアは、次に、ペナルティスコア決定回路、ルーチン又はアプリケーション１２５０によって出力され、コントローラ１２２０の制御により、順序リスト部分１２３１へ記憶されるか、又は、部分レイアウト及び／又は部分解生成回路、ルーチン、又はアプリケーション１２７０へ送られる。

部分レイアウト及び／又は部分解生成回路、ルーチン、又はアプリケーション１２７０は、画像又はブロックカウント及び生成されたペナルティスコアのみを受け取る時、部分レイアウト及び／又は部分解生成回路、ルーチン、又はアプリケーション１２７０は画像又はブロックカウントを部分レイアウト又は部分解に変換し、この画像又はブロックカウントのペナルティスコアを新しく変換された部分レイアウト又は部分解のペナルティスコアへ変換する。コントローラの制御により、部分レイアウト及び／又は部分解生成回路、ルーチン、又はアプリケーション１２７０は、部分レイアウト又は部分解データと、この部分レイアウト又は部分解データのペナルティスコアとを、順序リスト部分１２３１へ、出力する。

部分レイアウト又は部分解データとこの部分レイアウト又は部分解データのペナルティスコアとが順序リスト部分１２３１へ記憶された後、メモリ１２３０のオリジナル画像部分１２３４に記憶された画像データに基づいて、コントローラ１２２０は、画像／ブロックカウント決定回路、ルーチン又はアプリケーション１２４０が全ての適用可能な画像又はブロックカウントを生成したかを判断する。コントローラ１２２０が、画像／ブロックカウント決定回路、ルーチン又はアプリケーション１２４０が全ての適用可能な画像又はブロックカウントを生成したと判断した場合、コントローラ１２２０の制御により、ペナルティスコア比較回路、ルーチン、又はアプリケーション１２６０は、生成された部分レイアウトと、生成された部分レイアウトに対するペナルティスコアと、を入力する。

ペナルティスコア比較回路、ルーチン、又はアプリケーション１２６０は、各部分レイアウト又は部分解のペナルティスコアデータに基づいて、生成された部分レイアウト又は部分解の順序を決定する。コントローラ１２２０の制御により、順序付けられた部分レイアウト又は部分解、及びこれらの順序付けられた部分レイアウト又は部分解のペナルティスコアがペナルティスコア比較回路、ルーチン、又はアプリケーション１２６０によって出力され、順序リスト部分１２３１内に記憶される。次に、コントローラ１２２０は、メモリ１２３０の最終レイアウト部分１２３２内に記憶された最終レイアウトを表す任意のデータがあるかを判断する。

最終レイアウト部分１２３２内に最終レイアウトを表すデータがある場合、ペナルティスコア比較回路、ルーチン、又はアプリケーション１２６０は、最終レイアウトデータとこの最終レイアウトのペナルティスコアデータとを入力する。次に、コントローラ１２２０は、品質係数部分１２３５内に品質係数を表すデータがあるかを判断する。品質係数部分１２３５内に品質係数を表すデータがある場合、ペナルティスコア比較回路、ルーチン、又はアプリケーション１２６０は、品質係数データを入力する。次に、コントローラ１２２０の制御下で、ペナルティスコア比較回路、ルーチン、又はアプリケーション１２６０が、順序リストの最初に来る部分レイアウト又は部分解データを入力し、順序リスト部分１２３１から、この部分レイアウト又は部分解のペナルティスコアデータが出力される。

ペナルティスコア比較回路、ルーチン、又はアプリケーション１２６０は、最終レイアウトのペナルティスコアデータを、品質係数に基づいて順序リストから入力される部分レイアウト又は部分解のペナルティスコアデータと比較する。この比較に基づいて、ペナルティスコア比較回路、ルーチン、又はアプリケーション１２６０は、コントローラ１２２０の制御下で、順序リスト部分１２３１へ、部分レイアウト又は部分解データとこれらに対応するペナルティスコアデータを出力するか、又は、入力／出力インターフェース１２１０へ最終レイアウトを出力し、次に、リンク１４１０を介して、データシンク１４００へ出力するかのいずれかである。

上記のオペレーションに応じて、或いは、コントローラ１２２０が最終レイアウト部分１２３２にデータがないと判断した場合、コントローラ１２２０の制御下で、画像又はブロックカウント決定回路、ルーチン、又はアプリケーション１２４０は、順序リストの最初に来る（即ち、最も低いペナルティスコアを有する）部分レイアウト又は部分解データと、オリジナル画像部分１２３４にある画像データと、を入力する。入力された部分レイアウト又は部分解データと画像データに基づいて、画像又はブロックカウント決定回路、ルーチン、又はアプリケーション１２４０は、画像又はブロックカウントを生成する。次に、画像又はブロックカウント決定回路、ルーチン、又はアプリケーション１２４０は、コントローラ１２２０の制御下で、画像又はブロックカウントを、画像／ブロックカウントテスト回路、ルーチン、又はアプリケーション１２９５へ、出力する。

画像／ブロックカウントテスト回路、ルーチン、又はアプリケーション１２９５は、オリジナル画像を入力し、画像又はブロックカウントに基づいて、レイアウトの領域をはみ出さずに残っているレイアウト領域に収まる十分な画像が、未使用のまま残っているかを判断する。レイアウトの領域をはみ出さずに残っているレイアウト領域に収まる十分な画像が、未使用のまま残っている場合、画像又はブロックカウントはペナルティスコア比較回路、ルーチン、又はアプリケーション１２６０へ出力される。そうでない場合、画像又はブロックカウントは廃棄され、コントローラ１２２０の制御下で、画像／ブロックカウント決定回路、ルーチン、又はアプリケーションによって他の画像又はブロックカウントが作成される。

ペナルティスコア決定回路、ルーチン又はアプリケーション１２５０は、コントローラ１２２０の制御により、画像／ブロックカウント決定回路、ルーチン又はアプリケーション１２４０又は順序リスト部分１２３１から、直接、生成された画像又はブロックカウントを入力して、オリジナル画像部分１２３４から、画像データを入力する。次に、この入力されたデータに基づいて、ペナルティスコア決定回路、ルーチン又はアプリケーション１２５０は、ペナルティスコアを生成し、このペナルティスコアデータを、画像又はブロックカウントデータに、対応付ける。ペナルティスコア決定回路、ルーチン又はアプリケーション１２５０は、コントローラ１２２０の制御により、画像又はブロックカウントデータとこの画像又はブロックカウントのペナルティスコアデータとを、部分レイアウト及び／又は部分解生成回路、ルーチン、又はアプリケーション１２７０へ、送る。

部分レイアウト及び／又は部分解生成回路、ルーチン、又はアプリケーション１２７０は、画像又はブロックカウントを、現在の部分レイアウト又は部分解データに、対応付けて、新しい部分レイアウトを作成する。次に、コントローラ１２２０の制御により、新しい部分レイアウトが、画像配置回路、ルーチン、又はアプリケーション１２８０へ、入力される。画像配置回路、ルーチン、又はアプリケーション１２８０は、全体領域部分１２３６から、全体領域を入力し、新しい部分レイアウトが全体領域に収まるかを判断する。

新しい部分レイアウトが全体領域に収まる場合、コントローラ１２２０の制御により、新しい部分レイアウトは、ペナルティスコア比較回路、ルーチン、又はアプリケーション１２６０へ出力される。ペナルティスコア比較回路、ルーチン、又はアプリケーション１２６０は、最終レイアウト部分１２３２から、最終レイアウトを入力し、品質係数部分１２３５から、品質係数を入力し、品質係数に照らして、新しい部分レイアウトと最終レイアウトのスコアを比較する。この比較に従って、最終レイアウトが最終レイアウト部分１２３２へ戻され新しい部分レイアウトが廃棄されるか、又は、部分的最終レイアウトが最終レイアウト部分１２３２へ出力され、新しい最終レイアウトとなって、最終レイアウトが廃棄される。

しかしながら、画像配置回路、ルーチン、又はアプリケーション１２８０が、新しい部分レイアウトが全体領域にぴったり収まらないと判断した場合、新しい部分レイアウトは、順序リスト部分１２３１へ出力される。

新しい部分レイアウトが順序リスト部分１２３１へ出力された後、画像／ブロックカウント決定回路、ルーチン、又はアプリケケーションン１２４０が、順序リスト部分１２３１内に記憶された選択された最低スコアの部分レイアウト又は部分解に基づいて、他の画像又はブロックカウントを生成する。

コントローラ１２２０が、順序リスト部分１２３１に記憶された選択された最低のスコア部分レイアウト又は部分解に対して全ての適用可能な画像又はブロックカウントを決定したと判断するまで、コントローラ１２２０の制御により、レイアウト生成システムは、選択された最低スコアの部分レイアウト又は部分解に基づいて、新しい部分レイアウトの生成、記憶、又は廃棄を連続して行う。次に、コントローラ１２２０の制御により、最低スコアの部分レイアウト又は部分解が廃棄され、コントローラ１２２０の制御により、レイアウト生成システムが、順序リスト部分１２３１に記憶された次に最低のスコアを有する部分レイアウト又は部分解のテストを開始する。

図２８に示された回路、ルーチン又はアプリケーションの各々が好適にプログラムされた汎用コンンピュータの部分として実施され得ることが理解されよう。或いは、図２８に示された回路、ルーチン又はアプリケーションの各々が、ＡＳＩＣ（特定用途向け集積回路）内の物理的離散型ハードウェア回路として、又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＰＬＤ（Ｐｈａｓｅ−ｌｏｃｋ Ｄｅｍｏｄｕｌａｔｏｒ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）、又はＰＡＬ（Ｐｒｏｇｒａｍｍａｂｌｅ Ａｒｒａｙ Ｌｏｇｉｃ）を用いて、或いは、個別論理要素又は個別回路要素を用いて、実施され得る。図２８に示された回路の各々がとる特別な形態は設計上の選択であり、当業者に明確であり予測可能なのもである。

図２８に示された本発明の例示的な実施の形態による最終レイアウトを決定するシステムが、部分レイアウト、及び画像又はブロックカウントを記憶するメモリ１２３０の順序リスト部１２３１を用いるとして上述されているが、本明細書中に記載されているように、第３及び第４の例示的な実施の形態による最終レイアウトを決定する方法において共通して用いられるメモリ１２３０のバケット部分１２３３を用いることもできる。

本明細書中において、本発明の特定の例示的な実施の形態によるシステム及び方法が説明されてきたが、現在は予測されないが、将来予測され得る、本発明の代替、変更、変形、及び改良、並びに、本発明と略同等ものが、出願人又は当業者によって考慮され得るは明確であり、従って、ここに出願され、補正され得る添付クレームは、このような代替、変更、変形、及び改良、並びに、略同等のものを全て網羅すべく意図された上で作成されている。

マンガ技術を用いて生成された９×７の画像サマリに対する代表的レイアウトを示す図である。 マンガ技術を用いて生成された１０×１２の画像サマリに対する代表的レイアウトを示す図である。 本発明の種々の例示的な実施の形態による画像レイアウトシステム及び方法を用いて生成された三つの画像サイズが入力された９×７の画像サマリに対する代表的レイアウトを示す図である。 本発明の種々の例示的な実施の形態による画像レイアウトシステム及び方法を用いて生成された三つの画像サイズが入力された１０×１２の画像サマリに対する代表的レイアウトを示す図である。 本発明の種々の例示的な実施の形態による画像レイアウトシステム及び方法を用いて生成された四つの画像サイズが入力された９×７の画像サマリに対する代表的レイアウトを示す図である。 本発明の種々の例示的な実施の形態による画像レイアウトシステム及び方法を用いて生成された四つの画像サイズが入力された１０×１２の画像サマリに対する代表的レイアウトを示す図である。 列が二つの大画像のみを含む時、即ち、（０、０、２）の画像カウントを有する列に対して、唯一の順列を示す図である。 列が五つの小画像、一つの中画像、及び一つの大画像を含む時、即ち、（５、１、１）の画像カウントを有する列に対して、結果的に生じ得る１２個の異なるレイアウト順列を示す図である。 列が九つの小画像と一つの大画像を含む時、即ち、（９、０、１）の画像カウントを有する列に対して、結果的に生じ得る四個の異なるレイアウト順列を示す図である。 本発明の第１の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の第１の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の第１の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の第１の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 三つの相対的サイズが入力された画像に対して最終レイアウトを決定する時に本発明の種々の例示的な実施の形態によるシステム及び方法が使用する組立てブロックを示す図である。 四つの相対的サイズが入力された画像に対して最終レイアウトを決定する時に本発明の種々の例示的な実施の形態によるシステム及び方法が使用する組立てブロックを示す図である。 本発明の第２の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の第２の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の第２の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の第２の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の第３の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の第３の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の第３の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の第３の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の第４の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の第４の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の第４の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の第４の例示的な実施の形態による最終レイアウトを決定する方法を概略的に示すフローチャートである。 本発明の一つの例示的な実施の形態によるレイアウト生成システムを概略的に示すブロック図である。 三つ又は四つの画像サイズを用いて、小画像１２１及び１２４が６個分の幅に相当する画像レイアウトに対して考慮される種々の列高さを示す図である。

Claims (41)

1. レイアウトを作成する方法であって、
   （ａ）最小の矩形状形を入力するステップと、
   （ｂ）前記レイアウトの全体領域を、前記最小の矩形状形の幅と高さの整数倍の幅と高さを有する領域として、入力するステップと、
   （ｃ）受容可能な最大の矩形状形を、前記最小の矩形状形の幅と高さの整数倍の幅と高さを有する矩形状形として、入力するステップと、
   （ｄ）各々が前記最小の矩形状形に相対的なサイズによって特徴付けられる、複数の矩形状形を入力するステップと、
   （ｅ）入力された複数の矩形状形の基数を有するように、且つ、入力された複数の矩形状形が互いに重ならず又は全体領域にいかなる非被覆部分をも残さずに、前記入力された全体領域を覆うように、前記最小の矩形状形に相対的であり且つ前記入力された受容可能な最大の矩形状形より小さいサイズの複数の矩形状形が存在するかを判断するステップと、
   を有し、
   （１）ステップ（ｅ）の複数の矩形状形の少なくとも一つが存在した場合、複数の矩形状形が、互いに重ならずに入力された全体領域を覆うように、入力された矩形状形のいくつかのサイズを前記最小の矩形状形に相対的であり且つ前記入力された受容可能な最大の矩形状形より小さいサイズに変更することによって、入力された複数の矩形状形から成るレイアウトを生成し、
   （２）ステップ（ｅ）の複数の矩形状形が全く存在しない場合、ステップ（ｅ）の複数の矩形状形が存在する前記入力された全体領域に類似する全体領域を見つけ、該レイアウト作成方法を適用する、
   レイアウト作成方法。
2. 一つの列内の複数の矩形状形の少なくとも一つが該列と同じ高さになるように、前記全体領域を異なる高さの列に編成し、複数の矩形状形を該列へ配置するステップを更に有する、請求項１に記載のレイアウト作成方法。
3. 全ての配置された矩形状形の幅と高さが前記最小の矩形状形の幅と高さの整数倍である、請求項２に記載のレイアウト作成方法。
4. （ａ）入力された矩形状形のサイズを変更するためのペナルティスコアを決定するステップと、
   （ｂ）サイズ変更された矩形状形のペナルティスコアを組み合わせるステップと、
   （ｃ）最低の組み合わされたペナルティスコアを有するレイアウトを決定するステップと、
   を更に有する、請求項３に記載のレイアウト作成方法。
5. （ａ）最下列の少なくとも一部を空き領域とするステップと、
   （ｂ）前記空き領域に対するペナルティスコアを決定するステップと、
   （ｃ）前記空き領域のペナルティスコアを、サイズ変更された矩形状形のペナルティスコアに、組み合わせるステップと、
   を更に有する、請求項４に記載のレイアウト作成方法。
6. （ａ）互いに隣接する同一サイズの矩形状形の数の特性に対するペナルティスコアを決定するステップと、
   （ｂ）得られたペナルティスコアを、サイズ変更された矩形状形と前記空き領域に対するペナルティスコアに、組み合わせるステップと、
   を更に有する、請求項５に記載のレイアウト作成方法。
7. 矩形状形の少なくとも一つが画像である、請求項６に記載のレイアウト作成方法。
8. 入力された画像サイズが画像の重要度に基づく、請求項７に記載のレイアウト作成方法。
9. 全ての入力された画像の幅と高さが同じアスペクト比を有する、請求項８に記載のレイアウト作成方法。
10. 配置された画像の少なくとも一つが前記アスペクト比を維持する、請求項９に記載のレイアウト作成方法。
11. 配置された画像の少なくとも一つの一部を表示するステップを更に有し、前記配置された画像の少なくとも一つが前記アスペクト比を維持しない、請求項１０に記載のレイアウト作成方法。
12. 矩形状形の少なくとも一つがユーザインタフェースコンポーネントである、請求項６に記載のレイアウト作成方法。
13. サマリレイアウトを作成する方法であって、
    （ａ）複数の矩形状形を入力するステップと、
    （ｂ）前記サマリレイアウトの全体領域を入力するステップと、
    （ｃ）前記サマリレイアウトの最初の列に対して矩形状形のプレースホルダから成る少なくとも一つのレイアウトの各々を新しい部分レイアウトとして決定するステップと、
    （ｄ）前記最初の列に対する少なくとも一つのレイアウトの各々に対してペナルティスコアを決定し、新しい部分レイアウトのペナルティスコアとするステップと、
    を有する、
    サマリレイアウト作成方法。
14. （ａ）最低ペナルティスコアを有する未選択の部分レイアウトを現在の部分レイアウトとして選択するステップと、
    （ｂ）複数の入力された矩形状形の各々が現在の部分レイアウト内の矩形状形のプレースホルダによって表されるかを判断するステップと、
    を更に有し、
    入力された矩形状形の各々が矩形状形のプレースホルダによって表されない場合、
    （Ｉ） 現在の部分レイアウトに基づいて、現在の部分レイアウトの次の列に対して、少なくとも一つのレイアウトを決定し、
    （ＩＩ） 次の列に対する前記記少なくとも一つのレイアウトの各々に対して、ペナルティスコアを決定し、
    （ＩＩＩ） 次の列に対する各レイアウトを現在の部分レイアウトと組み合わせて、新しい部分レイアウトを作成し、
    （ＩＶ） 現在の部分レイアウトのペナルティスコアを次の列に対する各レイアウトのペナルティスコアと組み合わせて、新しい部分レイアウトのペナルティスコアとする、
    請求項１３に記載のサマリレイアウト作成方法。
15. 未選択の部分レイアウトの残りがなくなるまで、請求項１４のステップを反復し、次に、記憶されている最終レイアウトを出力するステップを更に有する、請求項１４に記載のサマリレイアウト作成方法。
16. 入力された矩形状形の各々が矩形状形のプレースホルダによって表される場合、列が前記全体領域を完全に埋めるかをテストするステップを更に有する、請求項１５に記載のサマリレイアウト作成方法。
17. （ａ）選択された部分レイアウトを最終レイアウトに変換するステップと、
    （ｂ）選択された部分レイアウトのペナルティスコアを最終レイアウトのペナルティスコアに変換するステップと、
    を更に有する、請求項１６に記載のサマリレイアウト作成方法。
18. （ａ）残っている未選択の部分レイアウトの少なくとも一つから、最低ペナルティスコアを有する次の未選択の部分レイアウトを選択するステップと、
    （ｂ）選択された部分レイアウトのペナルティスコアを最終レイアウトのペナルティスコアと比較するステップと、
    を更に有し、
    （１）最終レイアウトのペナルティスコアが選択された部分レイアウトのペナルティスコア未満である場合、
    （Ｉ） 最終レイアウトをサマリレイアウトに変換し、
    （ＩＩ） 最終レイアウトを出力してサマリレイアウト作成を終了し、
    （２）最終レイアウトのペナルティスコアが選択された部分レイアウトのペナルティスコアより大きい場合、
    （Ｉ） 選択された部分レイアウトに基づいて、選択された部分レイアウトの次の列に対して、少なくとも一つのレイアウトを決定し、
    （ＩＩ） 選択された部分レイアウトの次の列に対する前記少なくとも一つのレイアウトの各々に対して、ペナルティスコアを決定し、
    （ＩＩＩ） 選択された部分レイアウトと選択された部分レイアウトに対する次の列に対する各レイアウトとを組み合わせて、新しい部分レイアウトとし、
    （ＩＶ） 選択された部分レイアウトのペナルティスコアを選択された部分レイアウトに対する次の列に対する各レイアウトのペナルティスコアと組み合わせて、新しい部分レイアウトに対するペナルティスコアを決定する、
    請求項１７に記載のサマリレイアウト作成方法。
19. 入力された矩形状形の各々が矩形状形のプレースホルダによって表される場合、
    （ａ）現在の部分レイアウトを新しい最終レイアウトに変換するステップと、
    （ｂ）現在の部分レイアウトのペナルティスコアを新しい最終レイアウトのペナルティスコアに変換するステップと、
    （ｃ）新しい最終レイアウトのペナルティスコアを記憶されている最終レイアウトのペナルティスコアと比較するステップと、
    を更に有し、
    （１）記憶されている最終レイアウトのペナルティスコアが新しい最終レイアウトのペナルティスコア未満である場合、新しい最終レイアウトを廃棄し、
    （２）記憶されている最終レイアウトのペナルティスコアが新しい最終レイアウトのペナルティスコアより大きい場合、
    （Ｉ） 記憶されている最終レイアウトを廃棄し、
    （ＩＩ） 新しい最終レイアウトを記憶する、
    請求項１８に記載のサマリレイアウト作成方法。
20. 矩形状形の少なくとも一つが画像である、請求項１９に記載のサマリレイアウト作成方法。
21. 入力された画像のサイズが画像の重要度に基づく、請求項２０に記載のサマリレイアウト作成方法。
22. 全ての入力された画像の幅と高さが同一アスペクト比を有する、請求項２１に記載のサマリレイアウト作成方法。
23. 配置された画像の少なくとも一つが前記アスペクト比を維持する、請求項２２に記載のサマリレイアウト作成方法。
24. 少なくとも一つの画像の一部を表示するステップを更に有し、配置された画像の少なくとも一つがアスペクト比を維持しない、請求項２２に記載のサマリレイアウト作成方法。
25. 矩形状形の少なくとも一つがユーザインタフェースコンポーネントである、請求項１９に記載のサマリレイアウト作成方法。
26. ペナルティ係数を入力するステップを更に有する、請求項１３に記載のサマリレイアウト作成方法。
27. （ａ）最低ペナルティスコアを有する未選択の部分レイアウトを現在の部分レイアウトとして選択するステップと、
    （ｂ）入力された複数の矩形状形の各々が現在の部分レイアウト内の矩形状形のプレースホルダによって表されるかを判断するステップと、
    を更に有し、
    （１） 入力された矩形状形の各々が矩形状形のプレースホルダによって表されない場合、
    （Ｉ） 現在の部分レイアウトに基づいて、現在の部分レイアウトの次の列に対して、少なくとも一つのレイアウトを決定し、
    （ＩＩ） 次の列に対する少なくとも一つのレイアウトの各々に対してペナルティスコアを決定し、
    （ＩＩＩ） 次の列に対する各レイアウトを現在の部分レイアウトと組み合わせて、新しい部分レイアウトを作成し、
    （ＩＶ） 現在の部分レイアウトのペナルティスコアを次の列に対する各レイアウトのペナルティスコアと組み合わせて、新しい部分レイアウトのペナルティスコアとする、
    請求項２６に記載のサマリレイアウト作成方法。
28. 未選択の部分レイアウトの残りがなくなるまで、請求項２７のステップを反復し、次に、記憶されている最終レイアウトを出力するステップを更に有する、請求項２７に記載のサマリレイアウト作成方法。
29. 矩形状形の各々が矩形状形プレースホルダによって表される場合、列が前記全体領域を完全に埋めるかをテストするステップを更に有する、請求項２８に記載のサマリレイアウト作成方法。
30. （ａ）選択された部分レイアウトを最終レイアウトへ変換するステップと、
    （ｂ）選択された部分レイアウトのペナルティスコアを最終レイアウトのペナルティスコアへ変換するステップと、
    を更に有する、請求項２９に記載のサマリレイアウト作成方法。
31. （ａ）残っている未選択の部分レイアウトの少なくとも一つから、最低ペナルティスコアを有する次の未選択の部分レイアウトを選択するステップと、
    （ｂ）選択された部分レイアウトのペナルティスコアを最終レイアウトのペナルティスコアと比較するステップと、
    を更に有し、
    （１）ペナルティ係数によって乗算された最終レイアウトのペナルティスコアが前記選択された部分レイアウトのペナルティスコア未満である場合、
    （Ｉ） 最終レイアウトをサマリレイアウトに変換し、
    （ＩＩ） 最終レイアウトを出力してサマリレイアウト作成を終了し、
    （２）ペナルティ係数によって乗算された最終レイアウトのペナルティスコアが選択された部分レイアウトのペナルティスコアより大きい場合、
    （Ｉ） 選択された部分レイアウトに基づいて、選択された部分レイアウトの次の列に対して少なくとも一つのレイアウトを決定し、
    （ＩＩ） 選択された部分レイアウトの次の列に対する少なくとも一つのレイアウトの各々に対して、ペナルティスコアを決定し、
    （ＩＩＩ） 選択された部分レイアウトスコアと選択された部分レイアウトに対する次の列に対する各レイアウトとを組み合わせて、新しい部分レイアウトを作成し、
    （ＩＶ） 選択された部分レイアウトのペナルティスコアと選択された部分レイアウトに対する次の列に対する各レイアウトのペナルティスコアとを組み合わせて、新しい部分レイアウトに対するペナルティスコアとする、
    請求項３０に記載のサマリレイアウト作成方法。
32. 前記入力された矩形状形の各々が矩形状形のプレースホルダによって表される場合、
    （ａ）現在の部分レイアウトを新しい最終レイアウトに変換するステップと、
    （ｂ）現在の部分レイアウトのペナルティスコアを新しい最終レイアウトのペナルティスコアに変換するステップと、
    （ｃ）新しい最終レイアウトのペナルティスコアを記憶されている最終レイアウトのペナルティスコアと比較するステップと、
    を更に有し、
    （１）記憶されている最終レイアウトのペナルティスコアが新しい最終レイアウトのペナルティスコア未満である場合、新しい最終レイアウトを廃棄し、
    （２）記憶されている最終レイアウトのペナルティスコアが新しい最終レイアウトのペナルティスコアより大きい場合、
    （Ｉ） 記憶されている最終レイアウトを廃棄し、
    （ＩＩ） 新しい最終レイアウトを記憶する、
    請求項３１に記載のサマリレイアウト作成方法。
33. 矩形状形の少なくとも一つが画像である、請求項３２に記載のサマリレイアウト作成方法。
34. 入力された画像のサイズが画像の重要度に基づく、請求項３３に記載のサマリレイアウト作成方法。
35. 全ての入力された画像の幅と高さが同一アスペクト比を有する、請求項３４に記載のサマリレイアウト作成方法。
36. 配置された画像の少なくとも一つが前記アスペクト比を維持する、請求項３５に記載のサマリレイアウト作成方法。
37. 少なくとも一つの画像の一部を表示するステップを更に有し、配置された画像の少なくとも一つが前記アスペクト比を維持しない、請求項３５に記載のサマリレイアウト作成方法。
38. 矩形状形の少なくとも一つがユーザインタフェースコンポーネントである、請求項３２に記載のサマリレイアウト作成方法。
39. 複数の画像に対して画像サマリレイアウトを生成する画像サマリレイアウト決定システムであって、
    （ａ）画像、各画像の重要度、及び画像の順序の少なくともいくつかを含むデータに基づいて、画像カウント及びブロックカウントの少なくとも一つを決定する、画像／ブロックカウント決定回路、ルーチン、又はアプリケーションと、
    （ｂ）画像カウント及びブロックカウントの少なくとも一つを表すデータと前記画像を表すデータとを入力し、前記入力された画像又はブロックカウントに対するペナルティスコアを表すデータを生成する、ペナルティスコア決定回路、ルーチン、又はアプリケーションと、
    （ｃ）画像カウント及びブロックカウント、部分レイアウト又は部分解、最終部分レイアウト、及び最終レイアウトの、ペナルティスコアを表すデータに基づいて、画像カウント及びブロックカウントの数、部分レイアウト又は部分解の数、最終部分レイアウト、及び最終レイアウトの少なくとも二つを表すデータの順序を決定する、ペナルティスコア比較回路、ルーチン、又はアプリケーションと、
    （ｄ）部分レイアウト又は部分解を生成するデータと、該部分レイアウト又は該部分解のペナルティスコアを表すデータと、を生成する、部分レイアウト／部分解作成回路、ルーチン、又はアプリケーションと、
    （ｅ）最終部分レイアウトを表すデータと画像を表すデータとを入力し、前記画像サマリレイアウトに再構成された画像を表すデータを生成する、画像配置回路、ルーチン、又はアプリケーションと、
    を備える、
    画像サマリレイアウト決定システム。
40. レイアウト作成をプロセッサに実行させるためのプログラムであって、
    （ａ）最小の矩形状形を入力し、
    （ｂ）前記レイアウトの全体領域を、前記最小の矩形状形の幅と高さの整数倍の幅と高さを有する領域として、入力し、
    （ｃ）受容可能な最大の矩形状形を、前記最小の矩形状形の幅と高さの整数倍の幅と高さを有する矩形状形として、入力するステップと、
    （ｄ）各々が前記最小の矩形状形に相対的なサイズによって特徴付けられる、複数の矩形状形を入力し、
    （ｅ）入力された複数の矩形状形の重要度を有するように、且つ、入力された複数の矩形状形が互いに重ならず又は全体領域にいかなる非被覆部分をも残さずに、前記入力された全体領域を覆うように、前記最小の矩形状形に相対的であり且つ前記入力された受容可能な最大の矩形状形より小さいサイズの複数の矩形状形が存在するかを判断し、
    （１）上記複数の矩形状形の少なくとも一つが存在した場合、複数の矩形状形が、互いに重ならずに入力された全体領域を覆うように、入力された矩形状形のいくつかのサイズを前記最小の矩形状形に相対的であり且つ前記入力された受容可能な最大の矩形状形より小さいサイズに変更することによって、入力された複数の矩形状形から成るレイアウトを生成し、
    （２）上記複数の矩形状形が全く存在しない場合、上記組み合わせが存在する前記入力された全体領域に類似する全体領域を見つけ、レイアウトを生成する、
    プログラム。
41. サマリレイアウト作成をプロセッサに実行させるためのプログラムであって、
    （ａ）複数の矩形状形を入力し、
    （ｂ）前記サマリレイアウトの全体領域を入力し、
    （ｃ）前記サマリレイアウトの最初の列に対して矩形状形のプレースホルダから成る少なくとも一つのレイアウトの各々を新しい部分レイアウトとして決定し、
    （ｄ）前記最初の列に対する少なくとも一つのレイアウトの各々に対してペナルティスコアを決定し、新しい部分レイアウトのペナルティスコアとする、
    プログラム。

Images