JP2012234577A - 複数の出力生成物の自動化された生成 - Google Patents

Abstract

【課題】マルチメディア・スライドショー、コラージュ、ムービーおよびその他のイメージング生成物の制作プロセスを単純化するシステムおよび方法を提供する。
【解決手段】ユーザーは自分のストーリーをイメージング・サービスを使って共有できる。イメージング・サービスが受信者のためのコンテンツのフォーマット整形および送達を扱う。すると受信者は簡単に、プリント、DVD、コラージュ、ポスター、ピクチャー・ブックまたはカスタム出力の形での、要求されたストーリーからの出力を要求できる。
【選択図】図２

Description

本発明は、ストーリー共有生成物を自動生成するためのアーキテクチャ、方法およびソフトウェアに関する。具体的には、本発明は、マルチメディア・スライドショー、コラージュ、ムービー、フォトブックおよび他の画像生成物のための生成プロセスを単純化することに関する。

資産〔アセット〕（asset）とは、映像、静止画像、テキスト、グラフィック、音楽、ムービー、ビデオ、オーディオ、マルチメディア呈示（multimedia presentation）または記述子ファイルからなるデジタル・ファイルである。

米国特許第6,606,411号、「画像をイベントに自動的に分類する方法」、2003年8月12日発行 米国特許第6,351,556号、「イベントへの分類のために画像内容を自動的に比較する方法」、2002年2月26日発行 米国特許第6,480,840号、「主観的な画像内容類似性に基づく検索のための方法およびコンピュータ・プログラム・プロダクト」、2002年11月12日発行 米国特許第6,282,317号、「写真画像における主要な被写体の自動判定方法」 米国特許第6,697,502号、「デジタル画像資産における人物像を検出するための画像処理方法」 米国特許第6,504,951号、「画像中の空を検出する方法」 米国特許出願公開第2005/0105776A1号、「カメラ・メタデータおよびコンテンツ・ベースの手がかりを使った意味論的シーン分類方法」 米国特許出願公開第2005/0105775A1号、「画像分類のために時間的コンテキストを使用する方法」 米国特許出願公開第2004/003746A1号、「デジタル画像資産においてオブジェクトを検出する方法」 米国特許第7,110,575号、「デジタル・カラー画像において顔を位置特定する方法」、2006年9月19日発行 米国特許第6,940,545号、「顔検出カメラおよび方法」、2005年9月6日発行 米国特許出願公開第2004/0179719A1号、「デジタル画像資産における顔検出のための方法およびシステム」（2003年3月12日に出願された米国特許出願） 米国特許出願第11/559,544、「顔認識のためのユーザー・インターフェース」、2006年11月14日出願 米国特許出願第11/342,053、「複数の人またはオブジェクトを含む画像の発見」、2006年1月27日出願 米国特許出願第11/263,156、「コレクションからの特定の人物の判別」、2005年10月31日出願 米国特許出願公開第2006/0126944A1号、「分散ベースのイベント・クラスタリング」、2004年11月17日出願の米国特許出願 米国特許出願公開第2007/0008321A1号、「特別なイベントを含むコレクション画像の識別」、2005年7月11日出願の米国特許出願 米国特許出願第11/403,686号、2006年4月13日出願、「不完全なデータからの価値インデックス」 米国特許出願第11/403,583号、2006年4月13日出願、「カメラ・ユーザーの入力に基づく画像価値インデックス」

マルチメディア・スライドショー、コラージュ、ムービー、フォトブックおよび他の画像生成物のための生成プロセスを単純化するシステムおよび方法を提供する。

本発明のある好ましい実施形態は、デジタル・メディア資産および該資産に選択されたデジタル・テーマ的処置を自動的に適用するプログラムのための記憶装置を含むコンピュータ・システムを含む。例示的なテーマ的処置（thematic treatment）は、誕生日、記念日、休暇、休日、家族またはスポーツのテーマである。随伴プログラム（companion program）が資産およびそれらの資産に適用されるべきテーマを自動的に選択し、その結果、訴える力のある視覚的なストーリーが得られ、それが記述子ファイル（descriptor file）として記憶される。記述子ファイルは他のコンピュータ・システムまたはイメージング・デバイスに表示のために送信または転送されることができる。このコンテキストでの「表示」の用語は、たとえば、表示のためのハードコピーを出力するプリンタおよびたとえば表示画面を含む他の任意の出力装置をも含む。上記のプログラムと相互運用されるもう一つの随伴プログラムは、記述子ファイルの特定の出力イメージング・デバイスとの互換性を判定し、記述子ファイルを特定のあらかじめ選択された出力装置のための出力ファイルにフォーマット整形するためのレンダリング・アプリケーションを含む。例示的な出力フォーマットは、プリント、アルバム、ポスター、ビデオ、DVD、デジタル・スライドショー、ダウンロード可能ムービーまたはウェブサイトを含む。

本発明のもう一つの好ましい実施形態は、出力ファイルおよび選択された出力装置に基づいて出力画像生成物の表現を表示するためのプレビュー・プログラムを含む。

本発明のもう一つの好ましい実施形態は、テーマ的処置と一緒にデジタル資産に自動的に適用されることのできる複数のデジタル効果を含む。この実施形態は、特定のテーマまたは効果が特定の資産にデジタル的に適用できるかどうかを判定するための規則データベースが提供されることを要求する。いずれかのテーマまたは効果がある資産に適用できない場合、規則データベースの効果は、それらのテーマまたは効果のその特定の資産に対する適用を制約する。規則データベース内の規則は、テーマに関係した規則、ズーム規則、資産メタデータに基づくアルゴリズム適用可能性、複数資産動作規則（multiple asset operations rules）、動作順序規則、動作代替規則、価格制約規則、ユーザー特権規則およびレンダリング規則の任意の組み合わせを含む規則を含むことができる。レンダリング・プログラムは、規則データベースから課される制約に従って資産を修正することができる。

本発明のもう一つの好ましい実施形態は、コンピュータによってアクセス可能な上記のデジタル資産のいくつかを選択する、前記コンピュータによって実行される方法を含む。このコンテキストで、「コンピュータによってアクセス可能」という用語は、コンピュータのハード・ドライブまたは他のメモリに、あるいはコンピュータに接続されたリムーバブル記憶装置または磁気媒体に、あるいはネットワークに有線または無線通信を含む接続により接続したときにそのコンピュータが通信できるネットワーク・サーバーまたはネットワーク記憶装置上に記憶されていてもよいデータのことをいう。本発明の方法は、コンピュータによってアクセス可能なテーマを選択し、テーマ的要素（thematic elements）を選択された資産に適用してストーリー記述子ファイルを形成することを含む。ストーリー記述子ファイルは資産およびテーマ的要素を含む。テーマ的要素と一緒に前記資産に効果も加えられることができる。出力フォーマットまたは好ましい出力装置が選択されることができ、その結果、コンピュータはストーリー記述子ファイルに基づいて一つまたは複数の出力記述子ファイルを生成する。任意的に、規則データベースが参照されてもよい。規則データベースは、上記のように、ある種の効果またはテーマ的要素が、たとえば技術的な非互換性のために、資産に適用できないと判定しうる。その場合、本発明の方法は、テーマまたは効果のそのような適用を制約することを含む。本方法は、規則データベースを参照することに応答して資産の少なくとも一つを修正することをも含む。任意的に、本方法は、そのストーリーのために選択されている出力装置または出力フォーマットに依存してストーリー記述子ファイルの出力生成物の表現をプレビューすることを提供する。本方法はまた、上記のように記述子ファイルを画像生成物として、やはり上記のように出力記述子ファイルとその装置との互換性に依存して一つのデバイスまたはいくつかの出力装置上で出力することをも提供する。

本発明によって考えられている他の実施形態は、機械もしくはプロセッサによって可読な命令のプログラムを具体的に実現もしくは担持し、機械またはコンピュータ・プロセッサにそこに記憶されている命令またはデータ構造を実行させるための、コンピュータ可読媒体およびプログラム記憶デバイスを含む。そのようなコンピュータ可読媒体は、汎用または特殊目的コンピュータによってアクセスできるいかなる利用可能な媒体であることもできる。そのようなコンピュータ可読媒体は、たとえばRAM、ROM、EEPROM、CD-ROM、DVDもしくは他の光学的ディスク記憶、磁気ディスク記憶または他の磁気記憶デバイスといった物理的なコンピュータ可読媒体であることができる。汎用または特殊目的コンピュータによってアクセスできるソフトウェア・プログラムを担持または記憶するために使用できる他のいかなる媒体も本発明の範囲内と考えられる。

本発明のこれらおよびその他の側面および目的は、以下の記述および付属の図面との関連で考えられるときによりよく認識され、理解されるであろう。しかしながら、以下の記述は、本発明の好ましい実施形態およびその多数の個別的詳細を示すものながら、限定ではなく例示として挙げられていることを理解しておくべきである。本発明の範囲内で、その精神から外れることなく、多くの変化および修正がなされてもよく、本発明はそのようなすべての修正を含む。図面は大きさ、角度関係または相対位置に関していかなる厳密なスケールに合わせて描くことも意図されていない。

本発明のさまざまな実施形態を実施することのできるコンピュータ・システムのブロック図である。 ストーリーを作成するための本発明に基づいて作られるシステムのアーキテクチャの図的な表現である。 本発明に基づいて作られた作成器モジュールの動作のフローチャートである。 本発明に基づいて作られたプレビュー・モジュールの動作のフローチャートである。 本発明に基づいて作られたレンダリング・モジュールの動作のフローチャートである。 本発明に基づく、取得および利用システムから得られた抽出されたメタデータ・タグのリストである。 本発明に基づく、資産コンテンツの解析から得られる導出されたメタデータ・タグおよび既存の抽出されたメタデータ・タグのリストである。 本発明に基づく二つの異なる出力に影響する資産継続期間の間の関係を示す見本のストーリー共有記述子ファイルのリストである。 本発明に基づく二つの異なる出力に影響する資産継続期間の間の関係を示す見本のストーリー共有記述子ファイルのリストである。 本発明に基づく二つの異なる出力に影響する資産継続期間の間の関係を示す見本のストーリー共有記述子ファイルのリストである。 本発明に基づく二つの異なる出力に影響する資産継続期間の間の関係を示す見本のストーリー共有記述子ファイルのリストである。 本発明に基づく二つの異なる出力に影響する資産継続期間の間の関係を示す見本のストーリー共有記述子ファイルのリストである。 本発明に基づく二つの異なる出力に影響する資産継続期間の間の関係を示す見本のストーリー共有記述子ファイルのリストである。 本発明に基づいて作られた例示的なスライドショー表現を示す図である。 本発明に基づいて作られた例示的なコラージュ表現を示す図である。

資産〔アセット〕（asset）とは、映像、静止画像、テキスト、グラフィック、音楽、ムービー、ビデオ、オーディオ、マルチメディア呈示（multimedia presentation）または記述子ファイルからなるデジタル・ファイルである。資産の各種別について、いくつかの標準フォーマットが存在する。本稿で記載されるストーリー共有システムは、簡単に、共有可能なフォーマットにおいて、知的で、訴える力のあるストーリーを生成し、数多くのイメージング・システムを通じて一貫して最適な再生経験を届けることに関する。ストーリー共有（storyshare）は、ユーザーが簡単にストーリーを生成し、再生し、共有することを許容する。ストーリーは映像、ビデオおよび／またはオーディオを含むことができる。ユーザーはそのストーリーを、受信者のためのコンテンツのフォーマット整形および送達を扱うイメージング・サービスを使って共有できる。すると、受信者はプリント、DVD、あるいはコラージュ、ポスター、ピクチャー・ブックなどのカスタム出力の形の共有されたストーリーから、簡単に出力を要求できる。

図１に示されるように、本発明を実施するためのシステムは、コンピュータ・システム１０を含む。コンピュータ・システム１０は、バス１２を通じて他のデバイスと通信するCPU１４を含む。CPU１４は、たとえばハードディスク・ドライブ２０上に記憶されているソフトウェアを実行する。ビデオ・ディスプレイ装置５２はディスプレイ・インターフェース・デバイス２４を介してCPU１４に結合されている。マウス４４およびキーボード４６はデスクトップ・インターフェース・デバイス２８を介してCPU１４に結合されている。コンピュータ・システム１０はまた、さまざまなCD媒体を読み、CD-RまたはCD-RW書き込み可能媒体４２に書き込むためのCD-R/Wドライブ３０をも含む。DVDディスク４０からの読み出しおよびDVDディスク４０への書き込みのためにDVDドライブ３２も含まれている。バス１２に結合されたオーディオ・インターフェース・デバイス２６は、たとえばハードディスク・ドライブ２０上に記憶されたデジタル音声ファイルからのオーディオ・データが、スピーカー５０に好適なアナログ・オーディオ信号に変換されることを許可する。オーディオ・インターフェース・デバイス２６は、マイクロホン４８からのアナログ・オーディオ信号を、たとえばハードディスク・ドライブ２０での記憶に好適なデジタル・データに変換もする。さらに、コンピュータ・システム１０は、ネットワーク接続デバイス１８を介して外部ネットワーク６０に接続されている。デジタル・カメラ６が、たとえばUSBインターフェース・デバイス３４を通じて、家庭用コンピュータ１０に接続されることができ、カメラからハードディスク・ドライブ２０へ、またはその逆方向に静止画像、オーディオ／ビデオおよび音声ファイルを転送することができる。USBインターフェースは、USB互換のリムーバブル記憶装置をコンピュータ・システムに接続するために使用できる。デジタル・マルチメディアまたは単一メディアのオブジェクト（デジタル画像）のコレクションが、ハードディスク・ドライブ２０、コンパクト・ディスク４２上に排他的に、あるいはネットワーク６０を介してアクセス可能なウェブ・サーバーのようなリモート記憶装置に存在することができる。コレクションは、これらの任意のものまたは全部を通じて分配されることもできる。

これらのデジタル・マルチメディア・オブジェクトが、デジタル・カメラによって生成されるようなデジタル静止画像、「WAV」または「MP3」オーディオ・ファイル・フォーマットのようなさまざまなフォーマットのいずれかのデジタル化された音楽または音声ファイルのようなオーディオ・データであることができ、あるいはMPEG-1またはMPEG-4ビデオのような音声付きまたは音声なしのデジタル・ビデオ・セグメントであることができることは理解されるであろう。デジタル・マルチメディア・オブジェクトはまた、グラフィック・ソフトウェアによって生成されたファイルをも含む。デジタル・マルチメディア・オブジェクトのデータベースは、一つの型のオブジェクトのみを含むことも、任意の組み合わせを含むこともできる。

最小限のユーザー入力で、ストーリー共有システムは、自動的にストーリーを知的に生成できる。本発明に基づいて作られたシステムのストーリー共有アーキテクチャおよび作業フローが図２に簡潔に示されており、以下の要素を含んでいる。
・資産１１０がコンピュータ、コンピュータ・アクセス可能記憶装置上に、あるいはネットワークを通じて記憶されることができる。
・ストーリー共有記述子ファイル１１２。
・作成されたストーリー共有記述子ファイル１１５。
・テーマ記述子ファイル１１１。
・出力記述子ファイル１１３。
・ストーリー作成器／編集器１１４。
・ストーリー・レンダラー／ビューアー１１６。
・ストーリー・オーサリング・コンポーネント１１７。

上記に加えて、テーマ・スタイル・シートがある。テーマ・スタイル・シートは、テーマのための背景および前景資産である。前景資産は他の画像上にスーパーインポーズされることのできる画像である。背景画像は、デジタル写真の主題に、罫線またはロケーションといった背景パターンを与える画像である。独特の生成物を生成するために、前景資産および背景資産の複数のレイヤーが画像に追加されることができる。

初期ストーリー記述子ファイル１１２は、デフォルトXMLファイルであることができる。デフォルトXMLファイルは、任意的に何らかのデフォルト情報を提供するためにいかなるシステムによって使用されることもできる。ひとたびこのファイルが作成器１１４によって完全に埋められたら、次いでこのファイルは作成されたストーリー記述子ファイル１１５となる。そのデフォルト・バージョンでは、このファイルはストーリーを作成するための基礎的情報を含んでいる。たとえば、一行のテキストを表示する単純なスライドショー・フォーマットが定義されることができ、いくつかの画像のために空白領域がリザーブされていてもよく、それぞれについての表示期間が定義され、背景音楽が選択できる。

作成されたストーリー記述子ファイルは、訴える力のあるストーリーを記述するために要求される必要な情報を与える。作成されたストーリー記述子ファイルは、のちに述べるように、資産情報、テーマ情報、効果、遷移、メタデータおよび完全かつ訴える力のあるストーリーを構築するための他のすべての要求される情報を含むことになる。いくつかの面で、これはストーリー・ボード（story board）と似ており、上記したように選択された資産を最小限に入れられたデフォルト記述子であることができる。あるいは、たとえば、複数の効果および遷移を含む多数のユーザーまたはサードパーティー資産を含んでもよい。

したがって、ひとたび（ストーリーを表す）この作成された記述子ファイル１１５が生成されると、このファイルが、当該ストーリーに関係する資産とともに、ポータブル記憶装置に記憶されたり、あるいはストーリー共有出力生成物を生成するためのレンダリング・コンポーネント１１６をもつ任意のイメージング・システムに送信されるか該イメージング・システムで使用されたりすることができる。これは、システムがストーリーを作成し、この作成されたストーリー記述子ファイルを介して情報を維持し、後刻異なるコンピュータ上でもしくは異なる出力に対してレンダリングされたストーリー共有出力ファイル（スライドショー、ムービーなど）を生成することを許容する。

テーマ記述子ファイル１１１は別のXMLファイルである。このXMLはたとえば、芸術的表現のような必要なテーマ情報を与える。これは次のものを含むことになる：
・コンピュータ・システム内またはインターネットのようなネットワーク上などのテーマの位置。
・背景／前景情報。
・休暇テーマなどのテーマに特有の、あるいは個人的に重要な特殊効果、遷移。
・テーマに関係する音楽ファイル。

テーマ記述子ファイルは、たとえば、XMLファイル・フォーマットであり、JPGファイルのような画像テンプレート・ファイルをポイントする。該テンプレート・ファイルは、資産コレクションから選択された資産１１０を表示するために指定された一つまたは複数のスペースを提供する。そのようなテンプレートは、たとえば誕生日テンプレートにおいて「誕生日おめでとう」と言うテキスト・メッセージを示しうる。

ストーリーを開発するために使用される作成器（composer）１１４は、上記の情報を含むテーマ記述子ファイル１１１を使う。作成器１１４は、三つの先のコンポーネントから入力を受け取り、ストーリー記述子ファイル１１５を作成するために自動画像選択アルゴリズムを任意的に適用できるモジュールである。ユーザーがテーマを選択でき、あるいは与えられた資産の内容によってアルゴリズム的にテーマが選択されることができる。作成器１１４は、作成されたストーリー共有記述子ファイル１１５を構築するときに、テーマ記述子ファイル１１１を利用する。

ストーリー作成器１１４は、作成されたストーリー記述子ファイルを知的に生成するソフトウェア・コンポーネントであって、次の入力を与えられる。
・資産位置および資産関係情報（メタデータ）。ユーザーが資産１１０を選択する、あるいは資産１１０は関連付けられたメタデータの解析から自動的に選択されてもよい。
・テーマ記述子ファイル１１１。
・効果、遷移および画像組織化に関係したユーザー入力。一般に、テーマ記述子ファイルがこの情報の大半を含むことになるが、ユーザーはこの情報の一部を編集するオプションをもつことになる。

この入力情報を用いて、作成器コンポーネント１１４は、必要な情報をレイアウトして、作成されたストーリー記述子ファイルにおいて完全なストーリーを作成する。作成されたストーリー記述子ファイルは、レンダラーによって必要とされるすべての要求される情報を含む。作成器を通じてユーザーによってなされるいかなる編集も、ストーリー記述子ファイル１１５に反映されることになる。

上記の入力を与えられて、作成器は以下のことをする：
・グループ化するまたは時間順序を確立するといった資産の知的な組織化。
・選択されたテーマに基づいて適切な効果、遷移などを適用する。
・資産を解析し、訴える力のあるストーリーを生成するために要求される必要な情報を読む。これは、特定の資産に対して効果が実現可能であるかどうかを判定するために使用できる資産に関する明細情報（specification information）を要求する。

出力記述子ファイル１１３はXMLファイルであり、たとえばどのような出力が生成されるかについての情報および該出力を生成するために要求される情報を含む。このファイルは、以下のことに基づく制約を含む：
・出力装置の装置機能。
・ハードコピー出力フォーマット。
・出力ファイル・フォーマット（MPEG、フラッシュ、MOV、MPV）。
・後述するような使用されるレンダリング規則。これは、出力モダリティがストーリー記述子ファイルに含まれていない情報を要求する（出力装置が未知であるため―該記述子は別の装置上で再利用できる）ときにストーリーのレンダリングを容易にするためのものである。
・スケーラブル情報を含まずその出力モダリティに固有な情報のみを含むよう、ストーリー記述子ファイルを修正するために使われるXSL変換言語（XSL Transformation language）（XSLT）プログラムのような記述子翻訳情報。

出力記述子ファイル１１３は、利用可能な出力フォーマットを決定するために、レンダラー１１６によって使用される。

ストーリー・レンダラー１１６は、レンダリング・システムによってサポートされる異なる出力フォーマットに対応する任意的なプラグインからなる構成設定可能なコンポーネントである。レンダラーは、ストーリー共有生成物のための選択された出力フォーマットに依存して、ストーリー共有記述子ファイル１１５をフォーマット整形する。フォーマットは、出力が小型携帯電話、大画面装置またはたとえばフォトブックのようなプリント・フォーマットで見られることを意図されている場合に、修正されてもよい。次いで、レンダラーは、出力フォーマット制約等に基づいて資産のために必要とされる要求される解像度等を決定する。動作では、このコンポーネントは、作成器１１４によって生成された、作成されたストーリー共有記述子ファイル１１５を読み、そのストーリーを処理し、DVDまたは他のハードコピー・フォーマット（スライドショー、ムービー、カスタム出力など）におけるような要求される出力１８を生成することによって該ストーリー共有記述子ファイル１１５に作用する。レンダラー１１６はストーリー記述子ファイル１１５の要素を解釈し、選択された出力種別に依存して、レンダラーは出力システムによって要求されるフォーマットでストーリーを生成する。たとえば、レンダラーは作成されたストーリー共有記述子ファイル１１５を読み、作成されたストーリー記述子ファイル１１５に記述されている全情報に基づいてMPEG-2スライドショーを生成することができる。レンダラー１１６は以下の機能を実行する：
・作成されたストーリー記述子ファイル１１５を読み、それを正しく解釈する。
・前記解釈を翻訳し、適切なプラグインを呼び出して実際のエンコード／トランスコードを行う。
・要求されたレンダリングされた出力フォーマットを生成する。

このコンポーネントは、生成されたストーリーを受け取り、メニュー、タイトル、クレジットおよびチャプターを要求される出力に依存して適切に生成することによってそれをオーサリングする。

オーサリング・コンポーネント１１７は、さまざまなイメージング・システムを横断して一貫した再生メニュー経験を生成する。任意的に、このコンポーネントは記録機能を含む。このコンポーネントはまた、スライドショーのような特定の出力を生成するための任意的なプラグイン・モジュールを含み、たとえば、MPEG-2を実装するソフトウェア、フォトブックを生成するためのフォトブック・ソフトウェアまたはカレンダーを生成するためのカレンダー・プラグインを使用する。XMLフォーマットでの特定の出力は、XMLを解釈する装置に直接供給されることができてもよく、よって特殊なプラグインを要求しないことになる。

作成されたストーリー記述子ファイル１１５において特定のストーリーが記述されたのち、このファイルは、その特定のストーリーのさまざまな出力フォーマットを生成するために再利用されることができる。これは、そのストーリーが一つのコンピュータ・システムによってまたは一つのコンピュータ・システム上で作成され、記述子ファイルを介して存続することを許容する。作成されたストーリー記述子ファイルはいかなるシステムまたはポータブル記憶装置上に記憶されることもでき、次いで異なるイメージング・システム上でさまざまな出力を生成するために再利用されることができる。

本発明の他の実施形態では、ストーリー記述子ファイル１１５は呈示情報を含まず、むしろテンプレートの形で記憶された特定の呈示のための識別子を参照する。これらの実施形態では、テンプレート記述子ファイル１１１を参照して記述されるようなテンプレート・ライブラリが作成器１１４内に、そしてレンダラー１１６にも埋め込まれることになる。その際、ストーリー記述子ファイルはテンプレート・ファイルをポイントするが、テンプレート・ファイルを記述子ファイル自身の一部として含みはしない。これにより、ストーリー記述子ファイルの意図されない受信者でありうる第三者に完全なストーリーが暴露されることはない。

ある好ましい実施形態において述べられるように、ストーリー共有アーキテクチャ内の三つの主要なモジュール、すなわち作成器モジュール１１４、プレビュー・モジュール（図２には示さず）およびレンダリング・モジュール１１６が、それぞれ図３、図４および図５により詳細に示されており、以下でより詳細に説明される。図３を参照すると、本発明の作成器モジュールの動作的なフローチャートが示されている。ステップ６００において、ユーザーは、自らをシステムに対して識別することによってプロセスを開始する。これは、ユーザー名およびパスワード、バイオメトリックIDの形を取ることができ、あるいは既存のアカウントを選択することによってでもよい。IDを与えることによって、システムは任意のユーザーの選好およびプロファイル情報、以前の使用パターン、既存の個人的および家族関係といった個人情報ならびに大切な日付および出来事を組み込むことができる。これはまた、ユーザーのアドレス帳、電話および／または電子メール・リストへのアクセスを提供するために使われることもできる。これは、完成された生成物の意図された受信者への共有を容易にするために要求されることがありうる。ユーザーIDは、ステップ６１０に示されるように、ユーザーの資産コレクションへのアクセスを提供するためにも使用されることができる。ユーザーの資産コレクションは、個人的および商業的に生成されたサードパーティーのコンテンツを含むことができ、デジタル静止画像、テキスト、グラフィック、ビデオ・クリップ、音声、音楽、ポエムなどが含まれうる。ステップ６２０において、システムは既存のメタデータを読み、記録する。メタデータはここでは入力メタデータと称され、資産ファイルのそれぞれに関連付けられており、時刻／日付スタンプ、露出情報（exposure information）、ビデオ・クリップ継続時間、GPS位置、画像配向およびファイル名といったものである。ステップ６３０では、目／顔の識別／認識、オブジェクトの識別／認識、テキスト認識、声からテキストへの変換、屋内／戸外判定／シーン照明（scene illuminant）および主題分類アルゴリズムといった一連の資産解析技術が使用され、追加的な資産派生メタデータ〔導出されたメタデータ〕が与えられる。

さまざまな画像解析および分類アルゴリズムのいくつかが、本願と共通に所有されているいくつかの特許および特許出願において記載されている。たとえば、本願と共通に譲渡された特許文献１および本願と共通に譲渡された特許文献２に詳細に記載されるように、メディア資産のまだ組織化されていないセットを自動的にソートし、セグメント化し、別個の時間的イベントおよびサブイベントにクラスタリングすることによって画像資産の時間的なイベント・クラスタリングが生成される。本願と共通に譲渡された特許文献３に詳細に記載されるように、内容ベース画像検索（CBIR: Content-Based Image Retrieval）は見本（または問い合わせ）画像と似ている、データベースからの画像を取得する。画像は、多くの異なる計量〔メトリック〕に基づいて似ていると判断されうる。たとえば、色、テクスチャーまたは顔などの他の認識可能な内容による類似性がある。この概念は、画像の部分または関心領域（ROI: Regions Of Interest）に拡張できる。問い合わせは、画像全体または画像の一部分（ROI）であってもよい。取得される諸画像は、諸画像全体として照合されることができ、あるいは各画像が問い合わせと似た対応領域を求めて検索されることができる。本発明のコンテキストでは、CBIRは、他の資産またはあるテーマに類似する資産を自動的に選択またはランク付けするために使用されうる。たとえば、「バレンタイン・デー」の諸テーマは、赤い色が優勢な画像を見出す必要があるかもしれない。あるいは「ハロウィーン」のテーマなら秋色である。シーン分類器はシーンを識別し、一つまたは複数のシーン種別（たとえば、ビーチ、屋内など）または一つまたは複数の活動（たとえば走っているなど）に分類する。例示的なシーン分類種別およびその動作の詳細は、特許文献４、５、６、７、８および９に記載されている。特許文献１０、１１、１２に記載されるように、資産コレクションにおいてできるだけ多くの顔を見出すために顔検出アルゴリズムが使用できる。顔認識は、特許文献１３、１４、１５に記載されるように、顔を、顔特徴に基づいて、ある人物の見本またはある人物に関連付けられたラベルに対して識別または分類することである。顔クラスタリングは、同じように見える顔をグループ化するために検出および特徴抽出アルゴリズムから生成されるデータを使う。下記で詳細に説明されるように、この選択は、数値的な信頼値に基づいてトリガーされてもよい。特許文献１６に記載されるような位置ベースのデータは、セル・タワー位置、GPS座標およびネットワーク・ルータ位置を含むことができる。取り込み装置は、画像またはビデオ・ファイルと一緒にメタデータをアーカイブ化することを含んでも含まなくてもよいが、これらは典型的には、画像、ビデオまたは音声を取り込む記録装置によって、当該資産と一緒にメタデータとして記憶される。位置ベースのメタデータは、メディア・クラスタリングのために、他の属性と一緒に使用されるとき、非常に強力となりうる。たとえば、米国地質調査局の地理的名称に関する委員会は、地理的名称情報システムを維持しているが、これは、緯度および経度の座標を、一般に認識される、特徴名および教会、公園または学校といった特徴種別にマッピングする手段を提供する。検出されたイベントの、誕生日、結婚式などといった意味論的なカテゴリーへの識別または分類は、特許文献１７に詳細に記載されている。あるイベントとして分類されるメディア資産がそのように関連付けできるのは、同じ位置、場面または単位時間当たりの活動のためである。それらのメディア資産は、ユーザーまたはユーザー群の主観的な意図に関係していると意図される。各イベント内において、メディア資産はサブイベントと呼ばれる関連するコンテンツの別個の諸グループにクラスタリングされることもできる。あるイベント内のメディアは同じ場面または活動に関連付けられる一方、あるサブイベント内のメディアはあるイベント内での似たような内容をもつ。画像価値インデックス（Image Value Index）（「IVI」）は、個々のユーザーがある特定の資産と関連付けうる（そしてユーザーによってメタデータとして入力された記憶されているレーティングであることができる）重要さ（意義、魅力、有用性または有益性）の程度の尺度として定義され、特許文献１８および１９に詳細に記載されている。自動IVIアルゴリズムは、鮮鋭さ、照明およびその他の品質指標といった画像特徴を利用できる。カメラに関係するメタデータ（露出、時間、日付）、画像理解（皮膚または顔検出および皮膚／顔領域の大きさ）または行動尺度（閲覧時間、拡大、編集、印刷または共有）も、何らかの特定のメディア資産についてIVIを計算するために使用できる。本段落に挙げた従来技術の文献は、ここにその全体において組み込まれる。

ステップ６４０において、新しい導出されたメタデータが、既存のメタデータを増強するために、対応する資産と関連付けて、既存のメタデータと一緒に記憶される。新しいメタデータ・セットは、ステップ６５０においてユーザーの資産を組織化し、ランク順序付けするために使用される。ランキングは、関連性に基づく、あるいは任意的に、上記のように定量的な結果を与える画像価値インデックスに基づく解析および分類アルゴリズムの出力に基づく。

判断ステップ６６０では、ユーザーの資産のサブセットは、組み合わされたメタデータおよびユーザー選好に基づいて自動的に選択されることができる。この選択は、画像価値インデックスのようなランク順序付けおよび品質決定技術を使って資産の編集されたセットを表す。ステップ６７０では、ユーザーは任意的に、自動資産選択をオーバーライドすることを選び、手動で資産を選択および編集することを選んでもよい。判断６８０では、組み合わされたメタデータ・セットおよび選択された資産の解析が実行されて、適切なテーマが提案できるかどうかが判定される。このコンテキストでのテーマとは、スポーツ、バケーション、家族、休日、誕生日、記念日などといった資産記述子であり、ユーザー・プロファイルから得られた親戚の誕生日と一致する時刻／日付スタンプのようなメタデータによって自動的に提案されることができる。これは、今日では消費者生成された資産のために利用可能なほとんど無際限のテーマ的な処置があるため、有益である。ユーザーにとって、この無数のオプションをかき分けて適切な感情的気持ちを伝達し、ユーザーの資産のフォーマットおよびコンテンツ特性に合うテーマをみつけることは、気の遠くなる課題である。関係および画像内容を解析することによって、より個別的なテーマが提案できる。たとえば、顔認識アルゴリズムが「モリー」を識別し、ユーザーのプロファイルが「モリー」がユーザーの娘であることを示しているような場合である。ユーザー・プロファイルはまた、去年この時期にユーザーが「モリーの４歳の誕生日パーティー」の記念DVDを生成したという情報をも含んでいることができる。「誕生日」のような一般的テーマを追加的な詳細で自動的にカスタマイズするよう動的テーマが提供されることができる。自動的な「空欄を埋めてください」式のテキストおよびグラフィックをもって修正できる画像テンプレートが使用される場合、これはユーザーの介入なしに「誕生日おめでとう」を「モリー、５歳の誕生日おめでとう」に変えることを可能にする。ボックス６９０はステップ６８０に含まれており、利用可能なテーマのリストを含んでいる。このリストは、メモリ・カードまたはDVDのようなリムーバブル・メモリ・デバイスを介してローカルに、あるいはサービス・プロバイダーへのネットワーク接続を介して提供されることができる。サードパーティー参加者および著作権のあるコンテンツの所有者も、使用ごとの支払い〔ペイ・パー・ユース〕の取り決めに基づいてテーマを提供することができる。組み合わされた入力および導出されたメタデータ、解析および分類アルゴリズム出力ならびに組織化された資産コレクションは、資産の内容にとって適切であり、資産の種別に合うテーマに対するユーザーの選択を制限するために使用される。ステップ２００では、ユーザーは、提案されるテーマを受け容れるまたは拒否するオプションをもつ。ステップ６８０でテーマが提案されないまたはユーザーが提案されたテーマをステップ２００で拒否することに決める場合には、ステップ２１０で、ユーザーは限られたテーマのリストから、あるいは利用可能なテーマの利用可能なライブラリ全体から、手動でテーマを選択するオプションを与えられる。

選択されたテーマは、テーマ固有のサードパーティー資産および効果を取得するために、メタデータとの関連で使用される。ステップ２２０において、この追加的なコンテンツおよび処置は、リムーバブル・メモリ・デバイスによって提供されることができるか、通信ネットワークを介してサービス・プロバイダーから、あるいはサードパーティー・プロバイダーへのポインタを介してアクセスされることができる。収入の分配およびこれらの財産の使用条件に関するさまざまな参加者の間の取り決めが自動的にモニタリングされ、使用および人気に基づいてシステムによって文書化されることができる。これらの記録は、ユーザー嗜好を判別して、人気のある、テーマ固有のサードパーティー資産および効果が、より高くランク付けされたり、より高い優先度を与えられたりすることができるようにして顧客満足の可能性を高めるために使うこともできる。これらのサードパーティー資産および効果は、動的な自動スケーリング画像テンプレート、自動画像レイアウト・アルゴリズム、ビデオ・シーン遷移、スクロールするタイトル、グラフィック、テキスト、ポエム、音楽、歌ならびに有名人、人気のある人物および漫画のキャラクターのデジタル動画および静止画像を含み、みなユーザーによって生成および／または取得された資産との関連で使用されるよう設計されている。テーマ固有のサードパーティー資産および効果は全体として、グリーティング・カード、コラージュ、ポスター、マウス・パッド、マグカップ、アルバム、カレンダーのようなハードコピーならびに映画、ビデオ、デジタル・スライドショー、対話式ゲーム、ウェブサイト、DVDおよびデジタル漫画のようなソフトコピーの両方のために好適である。選択された資産および効果は、ユーザーの承認を得るために、グラフィック画像、ストーリーボード、記述リストのセットとして、あるいはマルチメディア呈示として、ユーザーに呈示されることができる。判断ステップ２３０で、ユーザーは、それらのテーマ固有の資産および効果を受け容れるか拒否するオプションを与えられ、ユーザーが拒否することを選ぶ場合、システムは、ステップ２５０において、承認または拒否すべき資産および効果の代替的なセットを呈示する。ひとたびステップ２３０でユーザーがテーマ固有のサードパーティー資産および効果を受け容れたら、ステップ２４０でそれらの資産は組織化されたユーザー資産と組み合わされ、ステップ２６０でプレビュー・モジュールが開始される。

ここで図４を参照すると、プレビュー・モジュールの動作フローチャートが示されている。ステップ２７０において、配列されたユーザー資産とテーマ固有資産および効果とが、プレビュー・モジュールに利用可能にされる。ステップ２８０において、ユーザーは意図される出力種別を選択する。出力種別は、プリント、アルバム、ポスター、ビデオ、DVD、デジタル・スライドショー、ダウンロード可能ムービーおよびウェブサイトといったさまざまなハードコピーおよびソフトコピー・モダリティを含む。出力種別は、プリントおよびアルバムのように静的であることができ、DVDおよびビデオ・ゲームでのように対話的な呈示であることもできる。種別は、ルックアップ・テーブル（LUT）２９０から入手可能である。ルックアップ・テーブル２９０は、リムーバブル・メディア上でプレビュー・モジュールに提供されることができ、あるいは通信ネットワークを介してアクセスされることができる。新しい出力種別が利用可能になるにつれて提供されることができ、サードパーティー・ベンダーによって提供されることができる。ある出力種別は、ユーザー資産ならびにテーマ固有資産および効果を選択された出力モダリティに合う形で提示するために要求される規則および手順のすべてを含む。出力種別規則は、ユーザー資産ならびにテーマ固有の資産および効果から、出力モダリティのために適切な項目を選択するために使用される。たとえば、「ハッピー・バースデー」の歌がテーマ固有資産に指定されている場合、それは楽譜として呈示され、あるいはフォトアルバムのようなハードコピー出力からは完全に省略される。ビデオ、デジタル・スライドショーまたはDVDが選択された場合、その歌のオーディオ・コンテンツが選択される。同様に、コンテンツ導出されたメタデータを生成するために顔検出アルゴリズムが使われる場合、この同じ情報が、ハードコピー出力アプリケーションのための自動的にクロッピングされた画像を提供するために、あるいはソフトコピー・アプリケーションのためには動的な、顔中心の、ズームおよびパンを提供するために使われることができる。

ステップ３００では、テーマ固有の効果が、意図された出力種別のための配列されたユーザー資産およびテーマ固有資産に適用される。ステップ３１０において、仮想出力種別ドラフト〔草案〕がユーザーに、LUT３２０において与えられるような資産および出力パラメータとともに呈示される。LUT３２０は、画像計数、ビデオ・クリップ計数、クリップ継続時間、プリント・サイズ、フォトアルバム・ページ・レイアウト、音楽選択および再生継続時間といった出力固有のパラメータを含む。これらの詳細が、仮想出力種別ドラフトとともにステップ３１０でユーザーに呈示される。判断ステップ３３０において、ユーザーは、仮想出力種別ドラフトを受け容れるか資産および出力パラメータを修正するオプションを与えられる。ユーザーが資産／出力パラメータを修正したい場合、ユーザーはステップ３４０に進む。これがどのように使用できるかの一例は、ダウンロード可能なビデオを６分の総継続時間から５分の継続時間のビデオに短縮することである。ユーザーは、ビデオの長さを短くするために、手動で資産を編集すること、あるいはシステムに自動で資産の呈示時間を除去および／または短縮すること、遷移を速くすることなどを許容することを選択できる。ひとたびステップ３３０でユーザーが仮想出力種別ドラフトに満足したら、そのドラフトはステップ３５０でレンダリング・モジュールに送られる。

ここで図５を参照すると、レンダリング・モジュール１１６の動作の動作フローチャートが示されている。ここでステップ３６０に目を転じると、配列されたユーザー資産ならびに意図される出力種別によって適用されるテーマ固有の資産および効果がレンダリング・モジュールに利用可能にされる。ステップ３７０において、ユーザーは、ステップ３９０において示された利用可能なルックアップ・テーブルから出力フォーマットを選択する。このLUTは、リムーバブル・メモリ・デバイスまたはネットワーク接続を介して提供されることができる。これらの出力フォーマットは、パーソナル・コンピュータ、携帯電話、サーバー・ベースのウェブサイトまたはHDTVのようなマルチメディア・デバイスによってサポートされるさまざまなデジタル・フォーマットを含む。これらの出力フォーマットはまた、ばらの4インチ×6インチのプリント、綴じたアルバムおよびポスターといったハードコピー出力プリント・フォーマットを生成するために要求されるJPGおよびTIFFのようなデジタル・フォーマットをもサポートする。ステップ３８０では、ユーザー選択された出力フォーマット固有処理は、配列されたユーザー資産およびテーマ固有の資産およびテーマ固有の効果に適用される。ステップ４００で、仮想出力ドラフトがユーザーに呈示され、判断ステップ４１０において、そのドラフトがユーザーによって承認または拒否されることができる。仮想出力ドラフトが拒否される場合、ユーザーは代替的な出力フォーマットを選択でき、ユーザーが承認する場合、ステップ４２０で出力生成物が生成される。出力生成物は、家庭用PCおよび／またはプリンタを用いてローカルに生成されることができ、あるいはコダック・イージー・シェア・ギャラリー（Kodak Easy Share Gallery（商標））でのようにリモートに生成されることもできる。リモートに生成されたソフトコピー種別の出力生成物では、それらの出力生成物はネットワーク接続を介してユーザーに届けられ、あるいはステップ４３０でユーザーまたは指定された受取人に物理的に発送される。

ここで図６を参照すると、カメラ、携帯電話カメラ、パーソナル・コンピュータ、デジタル・ピクチャー・フレーム、カメラ・ドッキング・システム、イメージング機器、ネットワーク接続されたディスプレイおよびプリンタを含む資産取得および利用システム（asset acquisition and utilization systems）から得られる抽出されたメタデータ・タグのリストが示されている。抽出されたメタデータは、入力メタデータと同義であり、イメージング・デバイスによって自動的に、あるいはユーザーの当該デバイスとの対話から記録された情報を含む。抽出されたメタデータの標準的な形は：時刻／日付スタンプ、全地球測位システム（GPS）によって与えられる位置情報、最近接セル・タワーまたはセル・タワー三角形分割（triangulation）、カメラ設定、画像およびオーディオ・ヒストグラム、ファイル・フォーマット情報ならびにトーン・スケール調節および赤目除去といった任意の画像補正を含む。この自動のデバイス中心の情報記録に加えて、ユーザー対話もメタデータとして記録されることができ：「共有」「お気に入り」または「消去禁止」指定、「デジタル・プリント注文フォーマット（DPOF: Digital Print Order Format）」、ユーザー選択された「壁紙指定」または携帯電話カメラのための「写真付きメッセージ通信（Picture Messaging）」、携帯電話番号または電子メール・アドレスによるユーザー選択された「写真付きメッセージ通信」受信者ならびに「スポーツ」「マクロ／クローズアップ」「花火」および「ポートレート」のようなユーザー選択された撮影モードを含む。コダック・イージー・シェア（Kodak Easy Share（商標））ソフトウェアまたは他の画像管理システムを走らせているパーソナル・コンピュータおよびスタンドアローンまたは接続されたイメージ・プリンタのような画像利用デバイスも、抽出されたメタデータのソースを提供する。この型の情報は、ある画像が何度プリントされたかを示すプリント履歴、ある画像がいつどこで記憶またはバックアップされたかを示す記憶履歴および行われたデジタル操作の型および量を示す編集履歴を含む。抽出されたメタデータは、導出されたメタデータを取得する際に支援するコンテキストを提供するために使用される。

ここで図７を参照すると、資産コンテンツおよび既存の抽出されたメタデータ・タグの解析から得られる導出されたメタデータ・タグのリストが示されている。導出されたメタデータ・タグは、カメラ、携帯電話カメラ、パーソナル・コンピュータ、デジタル・ピクチャー・フレーム、カメラ・ドッキング・システム、イメージング機器、ネットワーク接続されたディスプレイおよびプリンタを含む資産取得および利用システムによって生成されることができる。導出されたメタデータ・タグは、ある種の所定の条件が満たされたときに自動的に、あるいは直接のユーザー対話から生成されることができる。抽出されたメタデータと導出されたメタデータとの間の対話の例は、ユーザーのデジタル・カレンダーと連携してカメラで生成された画像取り込み時刻／日付スタンプを使うことである。いずれのシステムも、携帯電話カメラのような同じデバイス上に一緒に位置することができ、あるいはカメラのようなイメージング・デバイスとパーソナル・コンピュータ・カメラ・ドッキング・システムとの間で分散されることもできる。デジタル・カレンダーは、五月五日のメキシコ戦勝記念日、独立記念日、ハロウィーン、クリスマスなどといった、一般的な関心のある重要な日付ならびに「両親の記念日」「ベティおばさんの誕生日」「トミーのリトルリーグ宴会」といった個人的な関心のある重要な日付を含むことができる。カメラで生成された時刻／日付スタンプは、何らかの画像または他の資産が一般的または個人的に関心のある日付に撮影されたかどうかを判定するための、デジタル・カレンダーと突き合わせる問い合わせとして使用できる。一致が出れば、そのメタデータは、この新しい導出された情報を含めるよう更新されることができる。さらなるコンテキスト設定が、位置情報および位置認識のような他の抽出されたおよび導出されたメタデータを含めることによって、確立されることができる。たとえば、数週間の不活動ののち、９月５日に一連の画像およびビデオが「両親の家」と認識された位置で記録される場合がある。さらに、ユーザーのデジタル・カレンダーが９月５日が「両親の結婚記念日」であることを示しており、画像のいくつかがケーキの写真を含んでいて「お父さん、お母さん、結婚記念日おめでとう」というテキストが付いている。今や組み合わされた抽出されたおよび導出されたメタデータは、自動的に、このイベントについての非常に正確なコンテキスト「両親の結婚記念日」を提供できる。このコンテキストが確立されると、関連するテーマ選択のみがユーザーに対して利用可能にされることになり、適切なテーマを見出すのに要求される作業負荷が著しく軽減される。また、イベント種別および主要参加者が今やシステムにわかっているので、ラベル付け、キャプション付けまたはブログ活動が、補助または自動化されることができる。

コンテキスト設定のもう一つの手段は、上記したように「イベント・セグメント化」と称される。これは、使用パターンを記録するために時刻／日付スタンプを使用し、画像ヒストグラムと一緒に使われるときに、自動的に画像、ビデオおよび関係する資産を「イベント」にグループ化する手段を提供する。これは、ユーザーが大きな資産コレクションをイベントによって組織化し、ナビゲートすることを可能にする。

画像、ビデオおよびオーディオ資産の内容が、顔、オブジェクト、発話およびテキストの識別およびアルゴリズムを使って解析できる。顔の数およびあるシーンまたは一連のシーン内での相対位置は、資産についてのコンテキストを与えるのに重要な詳細を明らかにすることができる。たとえば、縦横の列に整列した多数の顔は、家族の集まり、チーム・スポーツ、卒業などに適用可能な、正式なポーズを取ったコンテキストを示す。識別されたロゴおよびテキストをもつチーム・ユニフォームといった追加的な情報は、「スポーツ・イベント」を示すであろうし、揃いの帽子とガウンは「卒業」を示すであろう。多彩な服装は「家族の集まり」を示すかもしれず、一つの白いドレスと揃いの複数のカラーのドレスおよび正装の人々は「結婚パーティー」を示すであろう。これらの指示は、追加的な抽出されたおよび導出されたメタデータと組み合わされて、正確なコンテキストを提供する。そのような正確なコンテキストは、システムが、選択された資産についての関連するテーマが与えられれば適切な資産を選択し、もとの資産コレクションに関連する追加的な資産を提供するのを可能にする。

ストーリー共有―テーマ内での規則：
テーマは、ユーザー資産の呈示を向上させるストーリー共有のコンポーネントである。特定のストーリーは、ユーザー提供のコンテンツ、サードパーティー・コンテンツおよびそのコンテンツがどのように呈示されるかに基づいて構築される。呈示はハードコピーまたはソフトコピー、スチール、ビデオまたはオーディオまたはこれらの組み合わせまたは全部でありうる。テーマは、ストーリーが利用するサードパーティー・コンテンツおよび呈示オプションの種別の選択に影響する。呈示オプションは、背景、視覚的資産どうしの間の遷移、視覚的資産に適用される効果および補足的なオーディオ、ビデオまたはスチール・コンテンツを含む。呈示がソフトコピーである場合、テーマは時間ベース、すなわちコンテンツが呈示される速度にも影響する。

ストーリーにおいて、呈示は、コンテンツおよびそのコンテンツに対する操作に関わる。操作は、操作が作用するコンテンツの種別によって影響されることを注意しておくことが重要である。特定のテーマに含まれるすべての操作が、特定のストーリーが含むすべてのコンテンツに適切とは限らない。

ストーリー作成器がストーリーの呈示を決定するとき、ストーリー作成器は、コンテンツの所与のセットに対する一連の操作の記述を開発する。テーマは、ストーリー中のその一連の操作についての枠組みのはたらきをする情報を含みうる。包括的な枠組みは「一ボタン」ストーリー作成において使用される。それほど包括的でない枠組みは、ユーザーが作成プロセスの対話的制御をもつときに使用される。前記一連の操作はテンプレートとして一般に知られている。テンプレートは、中身を入れられていないストーリー、すなわち、明細指定されていない資産であると考えることができる。あらゆる場合において、資産がテンプレートに割り当てられるとき、テンプレートにおいて記述される操作は、コンテンツに適用されるときの規則に従う。

一般に、テーマに関連する規則は、資産を入力引数として取る。規則は、ストーリーの作成の間に、どのコンテンツに対してどの操作が実行可能であるかを制約する。さらに、あるテーマに関連する規則は、一連の操作またはテンプレートを修正または向上させることができ、それにより資産が特定のメタデータを含む場合にストーリーはより複雑になりうる。

規則の例：
１）すべての画像ファイルが同じ解像度をもつわけではない。したがって、すべての画像ファイルがズーム操作に対して同じ範囲をサポートできるわけではない。特定の資産に対するズーム操作を制限する規則は、たとえば解像度、被写体距離、被写体サイズまたは焦点距離といった、資産に関連付けられたメタデータの何らかの組み合わせに基づくことになる。

２）ストーリーの作成において使用される操作は、あるメタデータ属性をもつ資産の存在あるいはその資産に特定のアルゴリズムを適用できることに基づくことになる。存在または適用可能性条件が満たせなければ、その操作はその資産については含めることはできない。たとえば、作成検索属性（composition search property）が「木」を求めていて、コレクション内に木を含む写真がない場合、写真は選択されない。よって、「クリスマス・ツリーの飾り」の写真を求めるいかなるアルゴリズムも適用できない。

３）いくつかの操作は二つの（または可能性としてはより多くの）資産を要求する。遷移は二つの資産が要求される例である。一連の操作の記述は、ある特定の操作が要求する正しい数の資産を参照しなければならない。さらに、参照される操作は、適切な型のものでなければならない。つまり、遷移はオーディオ資産とスチール画像の間では生起できない。オーディオ資産に対してズームインができないように、一般に、操作は型に特異的である。

４）使用される操作およびテーマによって課される制約に依存して、資産に対して実行される操作の順序が制約されることがありうる。すなわち、作成プロセスは、パン操作がズーム操作に先行することを要求してもよい。

５）ある種のテーマは、ある種の操作が実行されることを禁止することがある。たとえば、ストーリーはビデオ・コンテンツを含まず、スチール画像およびオーディオのみを含むのでなければならないことがありうる。

６）ある種のテーマは、ストーリー中で任意の特定の資産または資産型がもちうる呈示時間を制約することがある。この場合、表示、呈示または再生操作は制限される。オーディオまたはビデオの場合、そのような規則は、一連の操作の記述に資産を含める前に、作成器が時間的な前処理を実行することを要求することになる。

７）包括的な枠組みをもつテーマが作成器の特定のバージョンには存在しない操作への参照を含むことがありうる。したがって、テーマが操作代替規則を含むことが必要である。代替は特に遷移に当てはまる。「ワイプ」は、二つの資産の間で遷移するときにいくつかのブレンディング効果をもちうる。単純な鮮鋭なエッジ・ワイプは、より高度な遷移が作成器によって記述できない場合の代替遷移でありうる。レンダリング・デバイスも、ストーリー記述子によって記述される遷移をレンダリングできない場合のための代替規則をもつことになることを注意しておくべきである。多くの場合、サポートされていない操作に対してはヌル操作を代用することが可能でありうる。

８）特定のテーマの規則は、資産が特定のメタデータを含むかどうかを検査してもよい。ある特定の資産が特定のメタデータを含む場合、テーマ中に存在するテンプレートによって制約されたその資産に対する追加的な操作が実行できる。したがって、特定のテーマは、コンテンツに対する操作の条件付きの実行を許容しうる。これは、どの資産がストーリーに関連付けられるかに応じて、あるいはより特定的にはどのメタデータがそのストーリーに関連付けられる資産に関連付けられているかに応じて、動的にストーリーを変更する様相を与える。

ビジネス制約についての規則：
個別の実施形態に依存して、テーマは、作成器の洗練度もしくは価格またはユーザーの特権に依存して操作に対する制約をかけることがある。異なる作成器に異なるテーマのセットを割り当てるのではなく、単一のテーマが、作成器の識別子またはユーザー・クラスに基づいて、作成プロセスにおいて許可される操作を制約することになる。

ストーリー共有、さらなる適用可能な規則：
呈示規則は、テーマのコンポーネントであってもよい。テーマが選択されるとき、テーマ記述子内の規則がストーリー記述子に埋め込まれる。呈示規則は作成器にも埋め込まれてもよい。ストーリー記述子は、特定の一次資産から導出されうる多数のレンダリング表現（rendition）を参照できる。より多くのレンダリング表現を含めることは、ストーリーを作成するのに必要とされる時間を長くすることになる。それらのレンダリング表現は、ストーリー記述子内で参照できるようになる前に、システム内のどこかで生成され保存されなければならないからである。しかしながら、レンダリング表現の生成は、特にマルチメディア再生についてストーリーのレンダリングをより効率的にする。テーマ選択において記述された規則と同様、作成プロセスの間に一次資産から導出されたレンダリング表現の数およびフォーマットが、ユーザーのプロファイルにおいて要求されログ記録されるレンダリングによって、最も大きな重みをかけられる。一般人口によって選択されたテーマがそれに続く。

レンダリング規則は出力記述子のコンポーネントである。ユーザーが出力記述子を選択するとき、それらの規則がレンダリング・プロセスを方向付けるのを助ける。特定のストーリー記述子は、デジタル資産の一次エンコードを参照する。スチール画像の場合、これはオリジナル・デジタル陰画（ODN: Original Digital Negative）であろう。ストーリー記述子は、この一次資産の他のレンダリング表現を参照する可能性が高い。出力記述子は、特定の出力装置に関連付けられる可能性が高く、よって、出力記述子においてレンダリングのために特定のレンダリング表現を選択する規則が存在する。

テーマ選択規則は作成器に埋め込まれる。作成器へのユーザー入力およびユーザー・コンテンツに存在しているメタデータが、テーマ選択プロセスをガイドする。ユーザー・コンテンツの特定のコレクションに関連付けられているメタデータは、いくつかのテーマの提案につながりうる。作成器は、メタデータに基づいて提案されたテーマのどれがユーザーによって選択される最も高い確率をもつかを示すデータベースにアクセスすることになる。この規則は、ユーザーのプロファイルにフィットするテーマに最も大きな重みをかける。一般人口によって選択されたテーマがそれに続く。

図８を参照すると、ストーリー共有記述子ファイルの例示的なセグメントが示されている。ストーリー共有記述子ファイルはこの例では「スライドショー」出力フォーマットを定義している。XMLコードは、標準的なヘッダ情報８０１で始まり、この出力生成物において含められる資産は資産リスト（Asset List）という行８０２で始まる。先行する作成器モジュールによって埋められる可変情報はボールド体で示されている。この記述子ファイルに含められている資産は、AASID0001 ８０３からASID0005 ８０４を含む。これらは、局所的な資産ディレクトリ内に位置されるMP3オーディオ・ファイルおよびJPG画像ファイルを含む。資産は、さまざまなローカル・システムに接続された記憶装置の任意のものに、あるいはインターネット・ウェブサイトのようなネットワーク・サーバー上に位置されることができる。この例示的なスライドショーは、資産アーチスト名（artist name）８０５をも表示する。背景画像資産８０６およびオーディオ・ファイル８０３のような共有される資産もこのスライドショーに含められる。ストーリー共有情報は、ストーリー共有セクション（Storyshare Section）の行８０７で始まる。オーディオの継続時間（duration）は45秒として定義される（８０８）。資産ASID001.jpg ８０９の表示は、5秒の表示継続時間についてプログラムされる（８０９）。次の資産ASID0002.jpg ８１２は15秒の表示継続時間についてプログラムされる（８１１）。このスライドショーにおける資産の呈示のためのさまざまな他の明細指定も記述子ファイルのこの例示的セグメントに含められており、当業者にはよく知られており、これ以上述べはしない。

図９は、上記の二つの資産ASID0001.jpg ９１０およびASID0002.jpg ９２０のスライドショー出力セグメント９００を表す。資産ASID0003.jpg ９３０はこのスライドショー・セグメントにおいて5秒の表示継続時間をもつ。図１０は、図９のスライドショーを生成したのと同じ記述子ファイルの、図８に示された同じストーリー共有記述子ファイルからのコラージュ出力フォーマット１０００での再利用を表している。コラージュ出力フォーマットは、スライドショー・フォーマットにおいて資産ASID0002.jpg １０２０が他の資産ASID0001.jpg １０１０およびASID0003.jpg １０３０より長い継続時間をもつためにこの資産に与えられる、時間的な強調の非時間的な表現、たとえば増大したサイズを示している。これは、二つの異なる出力、スライドショーとコラージュにおける資産継続時間の影響を例示する。

本願の原出願の出願当初の特許請求の範囲を開示しておく。
〔請求項１〕
デジタル・メディア資産を記憶する記憶装置と；
前記資産のうち選択されたものに選択されたテーマ的処置を自動的に適用するテーマ記述子アプリケーションと；
前記テーマ的処置および前記資産の両方を、選択された資産および選択されたテーマを含むストーリー共有記述子ファイルを作成するために自動的に選択する作成器アプリケーションと；
前記ストーリー共有記述子ファイル中の情報を解釈し、前記ストーリー共有記述子ファイルに対応する少なくとも一つの出力記述子ファイルであって該少なくとも一つの出力記述子ファイルによって指示される少なくとも一つの選択された出力装置に対応する出力情報を含む出力記述子を生成する、レンダリング・アプリケーションと；
前記少なくとも一つの出力記述子ファイルに基づいて出力生成物の少なくとも一つの表現を表示するプレビュー・アプリケーションとを有するシステムであって、前記少なくとも一つの選択された出力装置は前記少なくとも一つの出力記述子ファイルに基づいて対応する出力生成物を表示する、
システム。
〔請求項２〕
前記テーマ記述子アプリケーションは、前記テーマ的処置とともに前記資産のうち前記選択されたものに自動適用するための効果を含み、当該システムがさらに：
テーマおよび効果の適用が前記選択された資産について実現可能であるかどうかを検査する、前記作成器アプリケーションによってアクセス可能な規則を有する規則データベースを有しており、前記資産のうち少なくとも一つが前記レンダリング・アプリケーションによって、前記規則データベースおよび前記少なくとも一つの出力記述子ファイルに従って修正される、
請求項１記載のシステム。
〔請求項３〕
前記デジタル・メディア資産がテキスト、グラフィック、画像、ビデオ、オーディオまたはマルチメディア呈示から選択される、請求項１記載のシステム。
〔請求項４〕
前記出力生成物が、プリント、アルバム、ポスター、ビデオ、DVD、デジタル・スライドショー、ダウンロード可能ムービーまたはウェブサイトから選択される、請求項１記載のシステム。
〔請求項５〕
前記ストーリー共有記述子ファイルおよび前記出力記述子ファイルがXMLフォーマットである、請求項１記載のシステム。
〔請求項６〕
前記規則が、テーマに関係した規則、ズーム規則、資産メタデータに基づくアルゴリズム適用可能性、複数資産動作、動作順序、動作代替規則、価格制約、ユーザー特権およびレンダリング規則のうちの一つまたは複数を含む、請求項２記載のシステム。
〔請求項７〕
前記テーマ的処置が、誕生日、記念日、休暇、休日、家族、ユーモア、特別な機会、友人またはスポーツのテーマのうちの少なくとも一つを含む、請求項１記載のシステム。
〔請求項８〕
前記出力装置が、HDTV、デジタル・ピクチャー・フレーム、プリンタ、ビデオ・モニター、携帯電話またはPDAから選択される、請求項１記載のシステム。
〔請求項９〕
コンピュータ実装される方法であって：
前記コンピュータによってアクセス可能なデジタル資産のサブセットを選択する段階と；
前記コンピュータによってアクセス可能なストーリー・テーマを選択する段階と；
デジタル資産の前記サブセットおよび前記デジタル・ストーリー・テーマを含むストーリー記述子ファイルを組み立てる段階と；
それぞれが前記ストーリー記述子ファイルに基づく複数の出力記述子ファイルを生成する段階と；
規則データベースにアクセスする段階であって、デジタル資産の前記サブセット中のデジタル資産の少なくとも一つを前記規則に応じて修正することを含む段階と；
それぞれが前記出力記述子ファイルの一つに対応する複数の画像生成物を、出力装置上で出力する段階とを有する、
方法。
〔請求項１０〕
複数の出力記述子ファイルを生成する前記段階が、それぞれが複数の異なる出力装置のうちの一つに対応する複数の出力記述子ファイルを生成する段階を含み、前記出力する段階が、前記複数の異なる出力装置のそれぞれの上で、前記出力記述子ファイルの一つに基づくその対応する画像生成物を出力する段階を含む、請求項９記載の方法。
〔請求項１１〕
前記デジタル資産が、画像、ビデオ、オーディオおよびマルチメディア呈示を含む、請求項９記載の方法。
〔請求項１２〕
前記出力生成物が、プリント、アルバム、ポスター、ビデオ、DVD、HDTV、デジタル・ピクチャー・フレーム、デジタル・スライドショー、ダウンロード可能ムービーまたはウェブサイトから選択される、請求項９記載の方法。
〔請求項１３〕
前記ストーリー記述子ファイルおよび前記出力記述子ファイルがXMLフォーマットである、請求項９記載の方法。
〔請求項１４〕
規則データベースが、テーマに関係した規則、ズーム規則、資産メタデータに基づくアルゴリズム適用可能性、複数資産動作規則、動作順序規則、動作代替規則、価格制約規則、ユーザー特権規則およびレンダリング規則を含む、請求項９記載の方法。
〔請求項１５〕
前記出力する段階の前に、前記画像生成物の少なくとも一つのプレビュー表現を表示する段階をさらに有する、請求項９記載の方法。
〔請求項１６〕
前記出力装置が、HDTV、デジタル・ピクチャー・フレーム、プリンタ、ビデオ・モニター、携帯電話またはPDAから選択される、請求項９記載の方法。
〔請求項１７〕
請求項９記載の方法段階を実行するよう、コンピュータによって実行可能な命令のプログラムを具体的に実現している、コンピュータによって読み取り可能なプログラム記憶デバイス。
〔請求項１８〕
前記方法段階がさらに、前記画像生成物の一つまたは複数のプレビュー表現を表示する段階をさらに有する、請求項１７記載のプログラム記憶デバイス。
〔請求項１９〕
前記デジタル資産が画像、ビデオ、オーディオおよびマルチメディア呈示を含む、請求項１７記載のプログラム記憶デバイス。
〔請求項２０〕
前記画像生成物が、プリント、アルバム、ポスター、ビデオ、DVD、デジタル・スライドショー、ダウンロード可能ムービーおよびウェブサイトから選択される、請求項１７記載のプログラム記憶デバイス。
〔請求項２１〕
前記ストーリー記述子ファイルおよび出力記述子ファイルがXMLフォーマットである、請求項１７記載のプログラム記憶デバイス。
〔請求項２２〕
規則データベースが、テーマに関係した規則、ズーム規則、資産メタデータに基づくアルゴリズム適用可能性、複数資産動作規則、動作順序規則、動作代替規則、価格制約規則、ユーザー特権規則およびレンダリング規則を含む、請求項１７記載のプログラム記憶デバイス。

６ デジタル・カメラ
１０ コンピュータ・システム
１２ データ・バス
１４ CPU
１６ 読み出し専用メモリ
１８ ネットワーク接続デバイス
２０ ハードディスク・ドライブ
２２ ランダム・アクセス・メモリ
２４ ディスプレイ・インターフェース・デバイス
２６ オーディオ・インターフェース・デバイス
２８ デスクトップ・インターフェース・デバイス
３０ CD-R/Wドライブ
３２ DVDドライブ
３４ USBインターフェース・ドライブ
４０ DVD R-またはDVD R+のようなDVDベースのリムーバブル・メディア
４２ CD-ROMまたはCD-R/WのようなCDベースのリムーバブル・メディア
４４ マウス
４６ キーパッド
４８ マイクロホン
５０ スピーカー
５２ ビデオ・ディスプレイ
６０ ネットワーク
１１０ 資産（アセット）
１１１ テーマ記述子＆テンプレート・ファイル（Theme Descriptor & Template File）
１１２ デフォルト・ストーリー共有記述子ファイル（Default Storyshare Descriptor File）
１１３ 出力記述子ファイル（Output Descriptor File）
１１４ ストーリー作成器／編集器モジュール
１１５ 作成されたストーリー共有記述子ファイル（Composed Storyshare Descriptor File）
１１６ ストーリー・レンダラー／ビューアー・モジュール
１１７ ストーリー・オーサリング・モジュール
１１８ さまざまな出力を生成
２００ ユーザーが提案されたテーマを受け容れ
２１０ ユーザーがテーマを選択
２２０ メタデータを使ってテーマ固有のサードパーティー資産および効果を取得
２３０ ユーザーがテーマ固有の資産および効果を受け容れ？
２４０ 配列されたユーザー資産＋テーマ固有の資産および効果
２５０ 代替的なテーマ固有のサードパーティー資産および効果を取得
２６０ プレビュー・モジュールへ
２７０ 配列されたユーザー資産＋テーマ固有の資産および効果
２８０ユーザーが意図される出力種別を選択
２９０ 出力種別ルックアップ・テーブル
３００ テーマ固有の効果を、意図された出力種別のための配列されたユーザーおよびテーマ固有資産に適用
３１０ ユーザーに、資産／出力パラメータを含む仮想出力種別ドラフトを呈示
３２０ 資産／出力ルックアップ・パラメータ・テーブル
３９０ 出力フォーマット・ルックアップ・テーブル
４００ 仮想出力ドラフト
４１０ ユーザーが承認するか？
４２０ 出力生成物を生成
４３０ 出力生成物を送達
６００ ユーザーID／プロファイル
６１０ ユーザー資産コレクション
６２０ 既存のメタデータを取得
６３０ 新しいメタデータを抽出
６４０ メタデータを処理
６５０ メタデータを使って資産を組織化し、ランク順序付ける
６６０ 自動資産選択？
６７０ ユーザー資産選択
６８０ メタデータがテーマを提案できるか？
６９０ テーマ・ルックアップ・テーブル
７００ XMLコード
７１０ 資産（Asset）
７２０ 秒数
７３０ 資産（Asset）
８００ スライドショー表現
８０１ 標準的なヘッダ情報
８０２ 資産リスト（Asset List）
８０３ “AASID0001”
８０４ “ASID0005”
８０５ 資産アーチスト名（Asset Artist Name）
８０６ 背景画像資産（Background Image Assets）
８０７ ストーリー共有セクション（Storyshare Section）
８０８ オーディオの継続時間
８０９ 資産ASID000.jpgの表示
８１０ 資産（Asset）
８１１ 15秒の表示継続時間
８１２ 資産ASID0002.jpg
８２０ 資産（Asset）
８３０ 資産（Asset）
９００ コラージュ表現
９１０ 資産（Asset）
９２０ 資産（Asset）
９３０ 資産（Asset）
１０００ コラージュ出力フォーマット
１０１０ ASID0001.jpg
１０２０ ASID0002.jpg
１０３０ ASID0003.jpg

Claims (3)

1. デジタル・メディア資産を記憶する記憶装置と；
   前記資産のうち選択されたものに選択されたテーマ的処置を自動的に適用するテーマ記述子アプリケーションと；
   前記テーマ的処置および前記資産の両方を、選択された資産および選択されたテーマを含む一つのストーリー共有記述子ファイルを作成および記憶するために自動的に選択する作成器アプリケーションと；
   前記一つのストーリー共有記述子ファイルを開いて該ストーリー共有記述子ファイル中の情報を解釈し、前記一つのストーリー共有記述子ファイルに対応する少なくとも二つの出力記述子ファイルを生成するレンダリング・アプリケーションであって、前記二つの出力記述子ファイルのうちの一つはハードコピー・プリント・フォーマットにおける前記選択された資産および前記選択されたテーマを含み、前記二つの出力記述子ファイルのうちの別の一つは電子表示フォーマットにおける前記選択された資産および前記選択されたテーマを含み、前記二つの出力記述子ファイルは該少なくとも二つの出力記述子ファイルによって指示されるプリンタおよび電子ディスプレイに対応する出力情報を含む、レンダリング・アプリケーションと；
   前記少なくとも二つの出力記述子ファイルに基づいて出力生成物の表現を表示するプレビュー・アプリケーションと；
   テーマおよび効果の適用が前記選択された資産について実現可能であるかどうかを検査する、前記作成器アプリケーションによってアクセス可能な規則を有する規則データベースとを有するシステムであって、
   前記テーマ記述子アプリケーションは、前記テーマ的処置とともに前記資産のうち前記選択されたものに自動適用するための効果を含み、
   前記プリンタおよび前記電子ディスプレイはそれぞれ前記少なくとも二つの出力記述子ファイルに基づいて対応する出力生成物を表示し、
   前記資産のうち少なくとも一つが前記レンダリング・アプリケーションによって、前記規則データベースおよび前記少なくとも二つの出力記述子ファイルに従って修正される、
   システム。
2. 前記規則が、テーマに関係した規則、ズーム規則、資産メタデータに基づくアルゴリズム適用可能性、複数資産動作、動作順序、動作代替規則、価格制約、ユーザー特権およびレンダリング規則のうちの一つまたは複数を含む、請求項１記載のシステム。
3. 前記ハードコピー・プリント・フォーマットが写真コラージュ・フォーマットであり、前記電子表示フォーマットがオーディオ部分を含むスライドショー・フォーマットである、請求項１記載のシステム。