JP2008510243A - モンタージュ方法 - Google Patents

Abstract

フォトモンタージュのレイアウトまたは構成に関係する一連のアルゴリズムまたはアルゴリズムの集合からなるコンピュータシステムが複数の画像に応用される。このシステムは、人間のユーザーが画像集合と呼ばれる複数のデジタル画像の指定された出力サイズへの配置および位置を指定することによって運用されることができる。あるいは、システム自身が、一連の配置および構成ステップを通じて、モンタージュを指定された出力サイズに生成するよう動作する。システムは運用を通じていかなる時点でも、ユーザーによって指定されるいずれのモードでも運用されることができる。全自動システムでは、画像解析アルゴリズムおよび結果として得られる情報がシステムのデータ配列中の適切なベクトル内に入れられ、ひとたびモンタージュの生成が完成したら、その後、モンタージュスコアの評価のために本発明のシステムにとって利用可能となる。同じ画像解析アルゴリズムによる全体的な結果として得られる複数画像モンタージュの評価を使って、最終モンタージュの適合度が決定され、次いでその適合度が所望のモンタージュについての目的または目標関数と比較される。

Description

本発明は、画像のモンタージュの生成の分野に関する。

近年、デジタル取り込み技術の消費者市場内での受容に著しい上昇があった。デジタル取り込みの受容のこの上昇は、写真を撮ることおよび消費者間での使用行動において二つの根本的な変化をもたらした。いずれの変化も従来式の銀塩フィルムのメーカーに膨大な金銭上の衝撃を与えた。

まず、デジタル取り込みはフィルムを余計なものとし、装置の費用を除けば画像取り込みの費用を実質的に0にまで軽減する。費用の制約のこの軽減により個々のデジタルカメラは、撮られる個人的な写真の量の増大および購入されるフィルム本数の減少をもたらした。第二に、これらのデジタル写真のごくわずかな割合のみが印画紙に印刷される。印刷されるもののうち、大半は印画紙よりもインクジェット用紙に印刷される。

これらの行動変化ならびにその写真フィルムおよび印画紙メーカーへの影響は、これらの変化に合った異なるハードコピー製品を提供することが必要だということを意味している。たとえば、6×4のプリントはもともとは１年あたりほんの数本のフィルムを撮影する家庭のためのハードコピー写真を与えるために考案された。今やデジタル取り込み製品により、これらの同じ家庭が文字通り何千ものデジタル写真を非常に短い時間の間に取り込んでいる。従来式の銀塩フィルムのメーカーは、写真出力ビジネスをこれまで常に提供されてきたのと同じ古い伝統的なフォーマットをベースとし続けており、この行動変化に対する考察や適応もない。

デジタル取り込みおよびソフト表示の到来とともに、今では、消費者が表示や保存の他の諸形態よりもハードコピーの写真プリントを選ぶ説得力のある理由を与えるような、ハードコピーまたは出力プリントの新たなフォーマットを作成することが可能である。出力製品の新しい自動化された形は消費者がデジタル取り込みされた画像を経験する新規な方法を提供するとともに、消費者がそうした経験をかつてないほど長く、便利な方法で保持することを許容するであろう。

複数画像の集合は、モンタージュとして定義される一つの出力形態に組み合わされると、ある場面または出来事についてのストーリーを語ることができる。多くの機会において、複数の写真を使ったフォトモンタージュは、同じ写真が個別に見せられる場合よりもより大きな応答を見る者から引き出すことができ、そのためより高い感情的性質を有する。出来事のフォトモンタージュは、一連の単独画像よりも、その出来事の性質および経験についてのより真実な表現を提供することも提唱される。さらに、より低品質の画像のモンタージュでも、注意を複数画像集合の全体的なテーマに集中させ、個々の画像それぞれの細かな細部から逸らさせることによって、この知覚されるより低い品質を隠蔽することができる。したがって、たとえば携帯電話からのより低解像度の画像の集合をまとめてモンタージュを形成したものは、それらの写真のどの一つよりも、感情および意味の点でより高い「品質」の単一の写真を生成することができる。

本発明は、複数のデジタル画像からフォトモンタージュの簡単な生成を許容する。

本発明によれば、画像のモンタージュの自動生成のための方法であって、
モンタージュ生成に使われるべき複数の画像を入力し、
生成されるべきモンタージュのサイズを決定し、
前記複数の画像のそれぞれについてベクトル情報のメモリデータ配列を構築し、
モンタージュ生成に関係するオプションおよびパラメータを設定し、
各画像を画像解析アルゴリズムを通じて評価することにより本質的なメタデータを見きわめ、結果として得られるデータを前記配列に入力し、
モンタージュが制限される制約条件を判別し、
最初の画像が置かれる出発点をランダムに選び、
前記制約条件に従ってすべての後続画像のための位置をリザーブし、
そのモンタージュが受け容れ可能かどうかを判定する検証試験を実行し、
受け容れ可能ならば、前記画像をそれらのためにリザーブされた位置に置き、結果として得られるモンタージュを表示し、受け容れ可能でないならば、ランダムな開始位置を選ぶステップに戻る、
ステップを有する方法が提供される。

本発明はさらに、画像のモンタージュの自動生成のためのシステムであって、
モンタージュ生成に使われるべき複数の画像を入力する手段と、
生成されるべきモンタージュのサイズを決定する手段と、
前記複数の画像のそれぞれについてベクトル情報のメモリデータ配列を構築する手段と、
モンタージュ生成に関係するオプションおよびパラメータを設定する手段と、
各画像を画像解析アルゴリズムを通じて評価することにより本質的なメタデータを見きわめる解析手段および結果として得られるデータを前記配列に入力する手段と、
モンタージュが制限される制約条件を判別する手段と、
最初の画像が置かれる出発点をランダムに選び、その最初の画像をその点に置く手段と、
前記制約条件に従ってすべての後続画像を位置させる手段と、
そのモンタージュが受け容れ可能かどうかを判定する検証試験を実行する検証手段と、
結果として得られるモンタージュを表示する手段、
とを有するシステムを提供する。

本発明は使用が非常に簡単である。この使用の簡単さは、ソフトウェアを、一つの最適化されたタスク、すなわちフォトモンタージュのみを実行するよう設計することによって達成されたものである。本方法によって創り出される単一の複合写真は、いかなる単一の撮影よりも高い感情的品質、よって消費者価値をもつ。

フォトモンタージュを作成する自動化されたプロセスは、顧客にとって好ましい形を導出するのに、諸パラメータと、以前に取得された情報を使っての逐次処理とに依拠する。自動化されたプロセスはモンタージュ生成のレイアウト作業の大半をユーザーから肩代わりし、ユーザーが個別の嗜好に合わせて複数画像生成物を仕立て上げられるもとになる一連の最適なモンタージュレイアウトをユーザーに提供する。本発明のために開発された最適化技術を使うことにより、モンタージュ生成の間に使われるデータはずっと少なくなり、よって計算エネルギーもずっと少なくなる。

ステップＳ１では、ユーザーがここに記載される本発明のシステムに、インターフェースを通じていくつかのデジタル画像、集合Ａを提供し、生成されるべきフォトモンタージュの出力サイズを、所定の出力サイズオプションの集合のうちから設定する。

ステップＳ２では、全体的なモンタージュ生成プロセスのためにメモリ中にデータ配列構造が設定され、集合Ａ内の各画像について諸要素のベクトルが割り当てられる。このベクトルは、画像のオリジナルサイズなど、本プロセスを通じた情報の蓄積のために意図されている。この配列構造には画像データは保存されないが、各ベクトルはオリジナル画像データへのポインタまたはURIを維持している。ポインタに基づくこのシステムは、この段階でメモリ利用を最小に保つ。

ステップＳ３では、システムは、最終的なモンタージュにおけるユーザーにとっての好ましい画像間の重なりを、システムと一緒に使うユーザープロファイル中に維持されている履歴データの集合から選ぶことができる。あるいは、以前の使用履歴が存在していない場合には、ユーザーが入力してもよい。これは、正でも負でもよい。正の間隔は画像間の空白を増し、負の間隔は画像間の重なりポテンシャルを増す。

ステップＳ４では、コンピュータが、モンタージュ編纂実行のために、当該ユーザーにとってのその他の好ましいパラメータの履歴があるかどうかを確認する。以前のモンタージュ生成完成プロセスから、当該データ、時間およびユーザーならびにその他のそのような情報を含む履歴レコードが書かれる。履歴レコードはまた、システムのユーザーによる保存および再使用する選択次第で、好ましい重なりの度合い、色分布スコアおよびその他任意のそのような情報を含むこともできる。

ひとたびコンピュータがすべての必要とされるパラメータデータを取得したら、システムは今度は各入力画像を処理してそのオリジナルデータを見きわめる。ステップＳ５では、画像メタデータがステップＳ２で生成された配列に入力される。データは拡張可能なベクトルリストであり、オリジナル画像のｘおよびｙ方向のサイズ、画像の向きおよびチャネルごとの色分布などといったものを含む。諸画像解析アルゴリズムを使ってその画像についての追加的情報が見きわめられ、解析の結果が次いで前記ベクトルの別の成分として供給される。

ステップＳ６では、各画像の主たる主題が判別される。主たる主題の判別は既知の諸アルゴリズムによってでき、ここではこれ以上述べることはしない。画像の向き、すなわちランドスケープかポートレートかも判別される。各画像の色分布も判別されうる。これは本発明の方法にとって本質的な特徴ではないが、好ましい実施形態には含められうる。

次に、ステップＳ７で、各画像について、その画像のステップ６で判別された主たる主題のまわりの境界ボックスs(x,y)が計算される。境界ボックスは主たる主題の領域よりやや大きめになるよう構築される。境界ボックスは、最終的なモンタージュにおいて主たる画像領域が見えないほど画像どうしが重なり合わないことを保証する。

これらのパラメータのすべてがメタデータとして保存され、モンタージュの生成において使用される特定の画像集合に固有のファイルに保存されることができる。

ステップＳ８では、重なりのための最小境界が構築される。この最小境界は、各画像について計算された前記境界ボックスに等しい。

この点までのすべてのステップは、コンピュータがモンタージュのレイアウトを開始する前に実行される。

モンタージュの生成はステップＳ９で始まる。ステップＳ９ではランダムな出発点が選ばれ、ステップＳ１０で最初の画像のためのデータの集合がここに置かれる。ステップＳ１１では、集合内に別の画像があるかどうかが判定される。もしあれば、その次の画像に関するデータが、システムに課されたすべての制約条件を満たそうとする位置に置かれる。配列からの後続のデータの集合のそれぞれは、システムに課されたすべての制約条件を満たそうとする位置に置かれる。これらの制約条件は、主たる主題領域の重なりがない、画像が正しい向きである、画像間の前記の好ましい重なりが維持される、というものである。これらは、上記したようにシステムに課される制約条件である。システムに対してさらなる制約条件が課されうることは当業者には理解されるであろう。たとえば、モンタージュの色分布が一様（uniform）でなければならない、形状分布が均一で（even）なければならない、ランドスケープ（landscapes）の均一な（even）分布が好まれるなどである。これらは本発明の全体的なシステムに課されることのできるさらなるアルゴリズム上の制約条件のほんのいくつかの例に過ぎない。システムの制約条件は、結果として得られるモンタージュの評価に含められうる関連する画像解析アルゴリズムに基づいている。

前記生成ステップの間のいかなる時点においても、高解像度の画像そのものは操作されない。モンタージュにおける配置の決定のためには、より低解像度の透明な画像が使用される。ユーザーがフォトモンタージュの一般的なレイアウトおよび見かけに満足してはじめて、高解像度画像がサーバーに要求されてレイアウト中に位置される。

画像を位置させるこのプロセスは、集合中のすべての画像がモンタージュ中にリザーブされた位置をもつようになるまで続けられる。すべての画像のための余地がない場合には、プロセスは再びステップＳ９、すなわちランダムな出発点を選ぶところから始まる。

ひとたび集合中の各画像がリザーブ位置をもつようになったら、すなわち、仮想モンタージュが準備できたとき、ステップＳ１２で検証試験が実行される。あらゆるオプション／制約条件にスコアが与えられる。スコアが高いほどよい。重なりが受け容れ可能であればスコアが与えられる。平均重なりが前記の好ましい指定された重なりに近いほど、スコアが高くなる。全体的なモンタージュの諸構成要素についてもスコアが与えられる。色分布（colour distribution）は、結果として得られるモンタージュの所定の各空間領域にわたっての、RGBチャネルごとの平均色分布の和として計算できる。和は、当該モンタージュの諸領域の色分布が均一に（evenly）分布しているときに最も１に近くなる。たとえば、最終モンタージュにおける高密度の赤の領域は、色分布解析アルゴリズムを使って評価される際に、それらの領域における色分布のスコアを低くし、生成されるモンタージュのその構成要素のついての全体的な色分布スコアを下げる。

ステップＳ１３はモンタージュの適合度を評価する。モンタージュの適合度は、そのモンタージュの種々のパラメータに関係するすべてのスコア、すなわちステップＳ１２で決定されたようなレイアウトスコアおよび構成スコアの和である。自動化されたモンタージュ生成のためには、モンタージュアルゴリズムはレイアウトおよび構成の各範疇についてならびに組み合わされた全体的なスコアについて、目的または目標スコアをもつ。このスコアは、提供されるパラメータ化された値に基づいて、最適の自動化されたモンタージュ選択の数学的等価物を表す。

スコアが目的よりも大きければ、ステップＳ１４で画像がモンタージュ中に配置され、フォトモンタージュがユーザーに対して表示される。ユーザーがそのモンタージュを気に入れば、すべてのパラメータが保存され、画像の異なる集合から別のモンタージュを生成する際ののちの使用のために嗜好履歴において使用されることができる。フォトモンタージュのハードコピーがプリントされてもよい。スコアが目的より大きくない場合には、システムはステップＳ９に戻って、さらなるランダム出発点が選ばれる。

本発明の方法およびシステムは、二つの動作モードを許容する。ユーザー駆動式と全自動式である。全自動モードでは、システムは、ステップＳ９ないしＳ１２で定義されるような反復的なレイアウトおよび構成ステップのプロセスを通じて目的または目標スコアに最も近いスコアを上げるモンタージュを達成しようと努める。ユーザー駆動モードでは、ユーザーが、望まれるモンタージュレイアウトおよび構成を選択するよう行動し、この場合には自動化されたスコア付けシステムは使われないし、必要でもない。システムはこれら二つのモードの間で、ユーザーによっていつでも切り換えられることができる。

ユーザーは、完成されたモンタージュ内に含まれるある画像を選択してその画像を動かそうとすることができる。その場合、システムはこの新たな位置を出発点として使い、ユーザーに自動モンタージュとユーザー駆動モンタージュのどちらを望むかを尋ねる。ユーザーからの応答に基づいて、システムはモンタージュの自由形の生成を許容するか、あるいは新たに位置された画像を出発点として使って全自動モンタージュレイアウトおよび構成プロセスを行うかする。

本方法は、幅広い範囲のプラットフォーム、すなわちウェブ、ホームコンピューティング、キオスク、携帯電話などで展開可能である。

本発明は、好ましい実施形態を参照しつつ詳細に記載されてきた。当業者には、本発明の範囲内でさまざまな変形および修正が実施されうることは理解されるであろう。

本発明のステップを図解するフローチャートである。

符号の説明

Ｓ１ ユーザーがデジタル画像を供給
Ｓ２ データ配列構造を構築
Ｓ３ システムがユーザープロファイル履歴から重なりを選択、あるいは履歴がなければユーザーが嗜好を入力するも可
Ｓ４ コンピュータが他の嗜好パラメータの履歴を確認
Ｓ５ Ｓ２の配列に画像メタデータを入力
Ｓ６ 各画像の主たる主題を判別
Ｓ７ 各画像について主たる主題のまわりの境界ボックスを計算
Ｓ８ 重なりのための最小境界を構築
Ｓ９ ランダムな出発点を選択
Ｓ１０ 最初の画像のためのデータの集合を配置
Ｓ１１ 集合中に別の画像があるかどうかを判定
Ｓ１２ 検証試験を実行
Ｓ１３ モンタージュの適合度を評価
Ｓ１４ フォトモンタージュをユーザーに表示

Claims (8)

1. 画像のモンタージュの自動生成のための方法であって、
   モンタージュ生成に使われるべき複数の画像を入力し、
   生成されるべきモンタージュのサイズを決定し、
   前記複数の画像のそれぞれについてベクトル情報のメモリデータ配列を構築し、
   モンタージュ生成に関係するオプションおよびパラメータを設定し、
   各画像を画像解析アルゴリズムを通じて評価することにより本質的なメタデータを見きわめ、結果として得られるデータを前記配列に入力し、
   モンタージュが制限される制約条件を決定し、
   最初の画像が置かれる出発点をランダムに選び、
   前記制約条件に従ってすべての後続画像のための位置をリザーブし、
   そのモンタージュが受け容れ可能どうかを判定する検証試験を実行し、
   受け容れ可能ならば、前記画像をそれらのためにリザーブされた位置に置き、結果として得られるモンタージュを表示し、受け容れ可能でないならば、ランダムな開始位置を選ぶ前記ステップに戻る、
   ステップを有する方法。
2. 前記オプションがモンタージュにおける画像間の重なりの量を含む、請求項１記載の方法。
3. モンタージュが制限される前記制約条件が、各画像の主たる主題領域の重なりがないこと、各画像の向きが正しいこと、画像の好ましい重なりが維持されること、のうちの少なくとも一つを含む、請求項１記載の方法。
4. 各画像の主たる主題の重なりがないことを保証するために、各画像の主たる主題が判別され、各主たる主題を囲む境界ボックスが構築される、請求項３記載の方法。
5. 前記検証試験が、すべての制約条件にスコアを付与し、スコアの大きさがモンタージュが受け容れ可能かどうかを決定する、請求項１ないし４のうちいずれか一項記載の方法。
6. 完全なモンタージュがスコア付けされ、該スコアが目的スコアと比較され、該スコアが目的スコアより大きければモンタージュが受け容れ可能であると見出される、請求項５記載音方法。
7. ユーザー駆動の活動を通じて、あるいは全自動のモンタージュ生成を通じて生成された何らかの受け容れ可能なモンタージュに関する情報がその後保存され、将来のモンタージュの準備におけるその後の使用のために利用可能となる、請求項６記載の方法。
8. 画像のモンタージュの自動生成のためのシステムであって、
   モンタージュ生成に使われるべき複数の画像を入力する手段と、
   生成されるべきモンタージュのサイズを決定する手段と、
   前記複数の画像のそれぞれについてベクトル情報のメモリデータ配列を構築する手段と、
   モンタージュ生成に関係するオプションおよびパラメータを設定する手段と、
   各画像を画像解析アルゴリズムを通じて評価することにより本質的なメタデータを見きわめる解析手段および結果として得られるデータを前記配列に入力する手段と、
   モンタージュが制限される制約条件を判別する手段と、
   最初の画像が置かれる出発点をランダムに選び、その最初の画像をその点に置く手段と、
   前記制約条件に従ってすべての後続画像を位置させる手段と、
   モンタージュが受け容れ可能かどうかを判定する検証試験を実行する検証手段と、
   結果として得られるモンタージュを表示する手段、
   とを有するシステム。

Images