JP2004289598A - 電子アルバム作成装置、電子アルバム作成方法及びプログラム - Google Patents
電子アルバム作成装置、電子アルバム作成方法及びプログラム Download PDFInfo
- Publication number
- JP2004289598A JP2004289598A JP2003080364A JP2003080364A JP2004289598A JP 2004289598 A JP2004289598 A JP 2004289598A JP 2003080364 A JP2003080364 A JP 2003080364A JP 2003080364 A JP2003080364 A JP 2003080364A JP 2004289598 A JP2004289598 A JP 2004289598A
- Authority
- JP
- Japan
- Prior art keywords
- data
- scene description
- format
- electronic album
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Television Signal Processing For Recording (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】電子アルバムを、作成する側にとっての負担が少なく、配布しやすい形式で作成することが可能なマルチメディア電子アルバム作成装置およびその制御方法および記憶媒体を提供する。
【解決手段】データ処理部１１６はシーンを構成するオブジェクトの空間的配置と時間的配置とを記述したシーン記述テンプレートを保持し、オブジェクトの１つである画像データをＡＶデータ入力部１０３より入力し、シーン記述テンプレートのプレースホルダーに画像データの位置情報を設定することによりシーン記述データを生成し、シーン記述データと前記画像データとを多重化する。
【選択図】 図１
【解決手段】データ処理部１１６はシーンを構成するオブジェクトの空間的配置と時間的配置とを記述したシーン記述テンプレートを保持し、オブジェクトの１つである画像データをＡＶデータ入力部１０３より入力し、シーン記述テンプレートのプレースホルダーに画像データの位置情報を設定することによりシーン記述データを生成し、シーン記述データと前記画像データとを多重化する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データを用いた電子アルバム作成装置、電子アルバム作成方法及びプログラムに関するものである。
【０００２】
【従来の技術】
写真やビデオ映像、音声などを、デジタル形式のデータとして記録し、再生するための機器が広く流通するようになってきた。そうした背景から、利用者がデジタルカメラなどの機器で撮影したデジタル画像を、電子メールやインターネット上のサーバを介して交換するといったことが日常的に行われるようになった。
【０００３】
その背景には、情報符号化技術、圧縮技術等の情報処理技術の発達に加えて、デジタルデータをあまねく機器間で交換出来るようデータの記録形式を汎用的な標準規格として定めるといった標準化活動が行われてきたことが大きな功績を果たしていると言えるだろう。
【０００４】
例えば、静止画像の領域では、ＪＰＥＧ（ＩＳＯ／ＩＥＣ １０９１８，“Ｄｉｇｉｔａｌ Ｃｏｍｐｒｅｓｓｉｏｎ ａｎｄ Ｃｏｄｉｎｇ ｏｆ Ｃｏｎｔｉｎｕｏｕｓ−ｔｏｎｅ Ｓｔｉｌｌ Ｉｍａｇｅｓ”）、ＰＮＧ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ， Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）、動画形式ではＭＰＥＧ−１ Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ １１１７２−２，“Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ− Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｆｏｒ ｄｉｇｉｔａｌ ｓｔｏｒａｇｅｍｅｄｉａ ａｔ ｕｐ ｔｏ ａｂｏｕｔ １．５ Ｍｂｉｔ／ｓ−Ｐａｒｔ２：Ｖｉｄｅｏ”）、ＭＰＥＧ−２ Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ １３８１８−２，ＩＴＵ−Ｔ Ｈ．２６２，“Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｉｎｆｏｒｍａｔｉｏｎ−Ｐａｒｔ２：Ｖｉｄｅｏ”）、ＭＰＥＧ−４ Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ １４４９６−２，“Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ−Ｐａｒｔ２：Ｖｉｓｕａｌ”）、上述のＪＰＥＧを動画表現に応用したＭｏｔｉｏｎ ＪＰＥＧなどがある。
【０００５】
音声形式では、ＭＰＥＧ−１ Ａｕｄｉｏ（ＩＳＯ／ＩＥＣ １１１７２−３，“Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｆｏｒ ｄｉｇｉｔａｌ ｓｔｏｒａｇｅｍｅｄｉａ ａｔ ｕｐ ｔｏ ａｂｏｕｔ １．５ Ｍｂｉｔ／ｓ−Ｐａｒｔ３：Ａｕｄｉｏ”）の一種であるＭＰ３（ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ ３）、ＡＡＣ（ＩＳＯ／ＩＥＣ １１１７２−７，Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｉｎｆｏｒｍａｔｉｏｎ−Ｐａｒｔ ７：Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ（ＡＡＣ））などがある。
【０００６】
上記をはじめとする様々な規格に対応する多くの機器が流通することによって、利用者の間で映像・音声がデジタル化されたＡＶデータを容易に交換出来るようになった。
【０００７】
通常、これらのＡＶデータを入出力する機器では、それぞれの機器で記録単位とするデータは何らかのファイルシステム上のファイルとして作成される。その記録単位は、例えばデジタルスチルカメラであれば一枚の画像となるし、動画、音声の場合は記録開始時から終了時までの内容となる。
【０００８】
これらのＡＶデータを記録したファイルは、単独で利用されることもあるが、異なる種類の複数のデータファイルが一覧出来るように作成されたデータと併用することで、あたかも銀塩写真をアルバムに整理して見るような利用方法もごく普通に行われている。以下、このように複数のＡＶデータが集約されたいわゆる電子形式のデータを、銀塩写真のアルバムにならって、電子アルバムと記述する。
【０００９】
電子アルバムの典型的な例が、良く知られるＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などのマークアップ言語で記述される文書である。ＨＴＭＬでは、アルバムに含めるＡＶデータファイルのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）のようなアドレスを示す「アドレス情報」と、そのＡＶデータが画面上に表示される位置等のような「空間的配置」情報を記述することが出来る。ＨＴＭＬを用いて記述された文書は、ＨＴＭＬを解釈可能なブラウザで閲覧することで、記述されている空間的配置どおりにＡＶデータがレイアウトされた電子アルバムとして観賞することが出来る。
【００１０】
ＨＴＭＬは、テキスト形式で記述されているため編集作業が容易であるという点や、事実上の標準規格であり、インターネットにアクセスすることが出来るほとんどの機器にＨＴＭＬを解釈できるブラウザ・ソフトウェアが標準搭載されているため、特定のアルバム再生アプリケーションを使用しなくても閲覧が可能であるといった点から、広く一般的に利用されている。
【００１１】
こういった電子アルバムの作成・編集を簡単に行うための方法については、これまでに多くの公知の提案がなされている。その代表的なものが、表示位置などの空間的情報をあらかじめ定義したテンプレートを用いてデジタル画像を配置するといったものである（例えば、特許文献１参照）。
【００１２】
また、入力画像に応じて適切なテンプレートを自動選択するもの（例えば、特許文献２参照）や、テンプレートの記述内容に応じて入力画像の配置を自動的に調節するもの（例えば、特許文献３参照）などの提案もなされている。アルバムに取り込まれるデータの形式も、静止画像に加えて、動画などを用いるようにする提案もされている（例えば、特許文献４参照）。また、デジタルカメラから直接ＨＴＭＬ形式のアルバムを生成するといった提案もされている（例えば、特許文献５参照）。
【００１３】
現在までに、上記のようなテンプレートを用いた方法によって、電子アルバムを簡単な操作で作成することが出来る多くのアプリケーション・ソフトウェアが発売・公開されてきた。これらのソフトウェアのいくつかは、アルバムをそのアプリケーション固有のデータ形式で出力する機能に加え、より一般的な環境で閲覧出来るようアルバムをＨＴＭＬなどの標準形式で出力する機能もサポートされている。
【００１４】
【特許文献１】
特開平０９−１９０５４６号公報
【特許文献２】
特開平１０−２９３８５６号公報
【特許文献３】
特開平１１−３５３４６６号公報
【特許文献４】
特開２０００−１７２６７３号公報
【特許文献５】
特開２０００−３５７１６９号公報
【００１５】
【発明が解決しようとする課題】
しかしながら、このような電子・アルバムを作成する際には、不便な点もある。
【００１６】
第一に、複雑な表現が可能になったことによって、アルバムを記述する側にも記述方法に関する多くの知識と、記述作業に関するより多くの手間が必要となり、作成する側に負担が強いられる。ＨＴＭＬにおける空間表現に加えて、時間的表現やインタラクティブな表現に関しても記述しなければならないため、アルバムの作成者が鑑賞に堪えうるアルバムを完成させるまでにはより多くの時間が必要になってしまうこともある。
【００１７】
例えば、表現内容を確認しながら試行錯誤でアルバムを記述していく場合、ＨＴＭＬの場合は、ＡＶデータが正しい位置に配置されているかどうかという空間的要素のみに着目して作業を行えばよいのに対して、時間的要素やインタラクティブな要素が加わると、それだけ試行錯誤の回数が増加してしまい、作成にかかる時間も増大してしまうであろう。それは、手作業で記述するにしても、何らかの編集ツールを用いて作成するにしても同じである。
【００１８】
また、記述すべき情報の種類も多くなるため、作成者が記述内容を直接書き換える場合には、その内容に関する知識を習得するまでにはより多くの時間が必要となる。何らかの編集ツールを用いる場合でも、同様にツールで提供される編集操作を習得する時間が要求されるし、加えて、ツール自体も複雑で大きなものになってしまい、入力や表示のためのインターフェースや使用可能な記憶装置などのリソースが限られている機器では実現不可能なものとなってしまう恐れがあるため、別途ＰＣ等の機器を併用して作業を行なうコストを作成者に強いることになりかねない。
【００１９】
第二に、ＨＴＭＬなどの記述フォーマットを用いる場合、ＡＶデータの実体は別ファイルとして存在し、ＵＲＬなどのアドレス情報によって外部データを参照するという特性ゆえに、アルバム自体が取り扱いにくいものとなってしまうという問題がある。
【００２０】
周知の通り、ＵＲＬを用いて外部ファイルを参照する場合は、ＵＲＬが示す位置に参照されるファイルが存在しなければ正しく参照することは出来ない。したがって、作成されたアルバムを配布するような場合には、参照される全てのファイルが欠落することなく、かつ、ファイル群の構造が正しく保たれていることが保証された状態で配布されなければならない。
【００２１】
ＵＲＬを利用した外部参照は、参照されるデータの内容を変更するような場合でも参照する側の内容を変更する必要がないという点では優れているが、現実に多くのＷｅｂページで、ハイパーリンクの参照先が存在しないケースが見受けられることからも、取り扱いにはそれ相当の注意を要することは想像に難くない。
【００２２】
また、配布手段によっては、ファイル構造が正しく保たれないか、あるいは注意を必要とするケースも存在する。例えば、アルバムを構成するファイル群を電子メールの添付ファイルとして配布する場合、受信側で添付ファイルが格納される位置はアルバムに記述されたＵＲＬとは必ずしも一致しないため、配布されたアルバムは正しく表現されるとは限らない。また、アルバムをインターネット上のサーバに配置して公開する場合は、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などの転送手段を用いてファイル群をサーバ上に転送する際に、転送先のサーバ上で正しいファイル構造が再現されるよう注意深く転送しなければならない。
【００２３】
このように、ネットワークを介してアルバムデータを伝送、配布するケースでは、正しく再生できることが保証されないか、あるいは、正しく再生できるようにするために配布する側に負担をかけてしまうという問題がある。
【００２４】
以上述べたような問題が存在することにより、従来の手法によれば、表現力が高く配布しやすい電子アルバムを作成することは、作成者にとって負担が大きいものであった。
【００２５】
本発明は、上記の課題に鑑みてなされたものであり、電子アルバムを、作成する側にとっての負担が少なく、配布しやすい形式で作成することが可能な電子アルバム作成装置、電子アルバム作成方法及びプログラムを提供するものである。
【００２６】
【課題を解決するための手段】
上記の目的を達成するために、本発明における電子アルバム作成装置は、シーンを構成するオブジェクトの空間的配置と時間的配置とを記述したシーン記述テンプレートを保持する保持手段と、前記オブジェクトの１つである画像データを入力する入力手段と、前記シーン記述テンプレートのプレースホルダーに前記画像データの位置情報を設定することによりシーン記述データを生成する生成手段と、前記シーン記述データと前記画像データとを多重化する多重化手段とを有することを特徴とする。
【００２７】
また、上記の目的を達成するために、本発明における電子アルバム作成方法は、シーンを構成するオブジェクトの空間的配置と時間的配置とを記述したシーン記述テンプレートを保持する保持工程と、前記オブジェクトの１つである画像データを入力する入力工程と、前記シーン記述テンプレートのプレースホルダーに前記画像データの位置情報を設定することによりシーン記述データを生成する生成工程と、前記シーン記述データと前記画像データとを多重化する多重化工程とを有することを特徴とする。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００２９】
図１は、本発明の電子アルバム作成装置の実施形態のシステム構成を示すブロック図である。なお、このシステム構成は本発明を実現するために取りえるひとつの構成例に過ぎない。本発明の意義を充足する限りにおいては、システムの各構成部は任意に再編、統合、分離、再配置出来るものとする。さらに、各構成部の制御方法は、ソフトウェア、ハードウェアの何れの手段によって実現されても良いものとする。
【００３０】
図１における実施形態において、電子アルバム作成装置の利用者による各種操作はユーザ操作１０１として、ユーザ操作入力部１０２を介することによって入力される。ＡＶデータ入力部１０３は、静止画像や動画像、音声などを入力し、デジタル形式のＡＶデータとして装置内部に取り込むためのものである。
【００３１】
シーン記述テンプレート１０４は、電子アルバムを構成するシーンに含まれるＡＶデータの空間的、時間的配置およびその挙動のみが記述されているデータである。シーン記述テンプレート１０４にはＡＶデータ１０６の実際の位置を示すアドレス情報は一切含まず、のちに作成されるシーン記述データのテンプレートとして用いられる。
【００３２】
シーンエディタ１０５は、上述のシーン記述テンプレート１０４とＡＶデータ１０６とを合成し、合成された結果を編集してシーン記述データ１０７として出力する。シーン記述テンプレート１０４で記述される内容は、ＡＶデータのアドレス情報が欠落しているため、最終的に作成されるシーンの内容とは必ずしも一致するものではない。シーンエディタ１０５はシーン記述テンプレート１０４で欠落しているＡＶデータ１０６のアドレス情報を補完し、完全なシーンの内容が記述されたデータを作成するためのモジュールである。また、シーンエディタ１０５は、ＡＶデータ１０６をシーン記述テンプレート１０４にどのように配置するかを指定するため、あるいはシーンに対するその他編集処理を行うため、ユーザ操作入力部１０２から入力されるユーザ操作１０１を受け取る場合もある。
【００３３】
シーン記述エンコーダ１０８は、シーン記述データ１０７の内容をいわゆる「オブジェクトベース符号化」形式におけるシーン記述に対応する形式に符号化し、結果としてシーン記述ストリーム１１０を出力する。同様に、ＡＶエンコーダ１０９は、シーン記述エンコーダ１０８と同様にＡＶデータ１０６の内容をオブジェクトベース符号化形式におけるＡＶデータに対応する形式に符号化し、ＡＶストリーム１１１を出力する。
【００３４】
なお、シーン記述エンコーダ１０８およびＡＶエンコーダ１０９では、符号化処理に加えて、データ形式の変換、あるいは付加情報の符号化処理なども並行して行われる場合がある。一例を挙げれば、前者は入力されたデータが出力されるオブジェクトベース符号化形式ではサポートされない形式であるような場合や、圧縮が不十分あるいは圧縮されていないような場合、もしくは入力データの品質がよくないような場合に、適切な再符号化や再圧縮、品質改善のためのデータ処理などを行うといった処理に相当する。後者は、複数のＡＶデータが同期して再生するための同期情報を付与するといった処理が典型例であろう。
【００３５】
マルチプレクサ１１２は、オブジェクトベース符号化形式で符号化されたシーン記述ストリーム１１０およびＡＶストリーム１１１を多重化し、両者が統合された単一のアルバムデータ１１３を出力する。このアルバムデータ１１３は、最終的に配布対象となる電子アルバムを示すものである。
【００３６】
表示部１１４は、上述の各構成部によって行われた操作や処理の内容、データの内容を利用者に対して表示するためのものである。通信部１１５は、何らかの通信手段を介して、装置の外部からユーザ操作１０１を入力したり、図中の各種データを入力あるいは外部に出力するために用いられる。データ処理部１１６は、少なくとも、ＣＰＵ、テンプレートを保持しておくメモリ、ソフトウェアを保持しておくＲＯＭ、アルバムデータを保持しておく大容量記憶媒体、例えばハードディスクを有しているものである。
【００３７】
なお、図１において、データ処理部１１６が、本発明で示される電子アルバムを構成するために最低限必要な構成部となっている。言い換えれば、ユーザ操作１０１、ユーザ操作入力部１０２、ＡＶデータ入力部１０３、表示部１１４、通信部１１５は、全ての実施形態において必ずしも存在するとは限らない。
【００３８】
続いて、本発明の特徴について簡単に述べる。
【００３９】
本発明では、本来のシーン記述のデータから、参照されるＡＶデータの実体を示すアドレス情報を除いたデータをシーン記述テンプレート１０４としてあらかじめ用意しておく。
【００４０】
そして、そのシーン記述テンプレート１０４中のＡＶデータの情報を示す部分に、実際のＡＶデータのアドレス情報を補完したシーン記述データ１０７を生成し、ＡＶデータ１０６とともに多重化して、単一のアルバムデータ１１３を生成することを特徴としている。
【００４１】
このように、シーン記述データおよびＡＶデータを、最終的に単一の多重化ファイルにアーカイブすることにより、シーン記述のフォーマットがＵＲＬなどによる外部参照を行うようなフォーマットであっても、データ同士の参照関係が損なわれることなく安全・確実に伝送・配布することが出来る電子アルバムを生成することが可能になる。
【００４２】
以下、本発明の実施の形態について、いくつか具体例を挙げて説明する。
【００４３】
（実施の形態１）
図１のシステム構成をよりわかりやすく示すため、現実の装置への適用例として、図１のシステム構成を適用して実装されたデジタルカメラの実施例を図２に示す。
【００４４】
図２のレンズ２０１、マイクロフォン２０２は、それぞれ映像、音声を入力するための部分で、ＡＶデータ入力部１０３に相当する。レンズ２０１およびマイクロフォン２０２からの入力は内部的にデジタルデータに変換され保存されると仮定する。
【００４５】
シャッターボタン２０３、メニューボタン２０４、キーパッド２０５はユーザ操作入力部１０２に相当する。各ボタンが押された時の動作として、メニューボタン２０４には利用者が行うことが出来る操作内容を列記するメニュー画面の出力、キーパッド２０５には画面上で利用者が行うことが出来る操作を選択する領域の移動、シャッターボタン２０３には、映像および音声の記録操作に加え、画面上で選択された操作の決定といった動作が割り当てられていると仮定する。
【００４６】
ディスプレイ２０６は表示部１１４に相当し、撮影された映像等の内容やメニュー画面、電子アルバムを編集するための操作画面などが表示されるものとする。
【００４７】
カードスロット２０７は、外部とデジタルデータの交換を行うため、データが記録された揮発性メモリーカード等の装置の着脱を行うためのものである。通信ポート２０８も同じく外部とのデータ入出力を行うための通信手段を提供するインターフェースである。通信ポート２０８で提供される通信方式は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のような有線通信であっても、Ｂｌｕｅｔｏｏｔｈのような無線通信であっても良い。また、カードスロット２０７には、ＰＨＳカードのような通信装置を装着してデータ通信を行う形態もありえる。ゆえに、広義ではカードスロット２０７、通信ポート２０８のいずれも通信部１１５に相当すると言える。
【００４８】
図２記載のカメラは、撮影した映像、音声を電子アルバムとして編集するための簡易アプリケーションが搭載されており、作成されるアルバムデータ１１３はファイルとしてカードスロット２０７、通信ポート２０８等を介して取得可能であると仮定する。
【００４９】
なお、本実施の形態で用いられるオブジェクトベース符号化形式は、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）により標準規格化されているＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６）を用いるものとして説明を行う。
【００５０】
すなわち、シーン記述ストリーム１１０は、ＭＰＥＧ−４ Ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ １４４９６−１）によって規格化されたＭＰＥＧ−４におけるシーン記述形式であるＢＩＦＳ（Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ Ｓｃｅｎｅ）形式のストリームデータとなる。このＢＩＦＳは、三次元空間の記述形式として知られるＶＲＭＬ （ＩＳＯ／ＩＥＣ ＣＤ １４７７２−Ｔｈｅ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｉｌｉｎｇ Ｌａｎｇｕａｇｅ）を拡張したものとして規定されており、伝送や記録が効率的に行えるようにバイナリ形式で符号化されるといった特徴を持つフォーマットである。
【００５１】
ＶＲＭＬおよびＢＩＦＳでは、ＨＴＭＬで記述されるような「空間的配置」情報の記述に加えて、ＡＶデータが表示あるいは消去されるタイミングを記述したり、時間の経過に応じて表示位置などの属性を変化させたりといった時間的な情報の記述が可能になっている。以下、このような時間的な情報を、前述の空間的配置という表現に対応させ、「時間的配置」と表す。
【００５２】
また、ＶＲＭＬおよびＢＩＦＳでは、画面上に配置されているＡＶデータが、マウスなどのポインティング・デバイスで選択された時にどのような動作を行うかといった「挙動」を記述することも仕様の一部としてサポートされている。
【００５３】
その他、ＶＲＭＬが提供する三次元空間表現やベクターグラフィックによる図形表現などのより高度な空間表現も提供されている。
【００５４】
これらの機能を用いて、ＡＶデータの「空間的配置」、「時間的配置」、および「挙動」が定義されたシーンの情報を電子アルバムに記述することで、ＡＶデータがアルバム上で表示位置を変えながら動いたり、閲覧者がアルバム上のＡＶデータを選択するとそのＡＶデータが動き出すといったような、より豊かでインタラクティブなアルバムを表現することが出来る。
【００５５】
本実施の形態では、上記の機能を活用して、多彩な表現を持ったアルバムを作成する場合を例にとって説明していく。
【００５６】
また、出力されるアルバムデータ１１３は、ＭＰＥＧ−４ Ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ １４４９６−１）におけるファイル形式として規格化されているＭＰ４フォーマットであるものとしている。このＭＰ４フォーマットでは、シーン記述データと参照されるＡＶデータとを多重化してひとつのファイルとして記録するための方法についても規格化されており、本実施の形態ではこの多重化方法にしたがってアルバムデータ１１３を生成するものとする。
【００５７】
このアルバムデータ１１３は、最終的に他の機器に伝送・配布されるものであるため、多くの機器で正しく表示出来るよう、標準フォーマットやそれに準ずる一般的なフォーマットで出力されることが望ましい。本実施の形態で用いられているＭＰ４フォーマットは、国際標準規格として定められたフォーマットである。本明細書の作成時点では、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ社のＱｕｉｃｋＴｉｍｅ Ｐｌａｙｅｒ（登録商標）やＮＴＴドコモ社の移動体通信サービスであるＦＯＭＡ（登録商標）に対応した動画再生機能付きの機器でサポートされており、今後さらに普及することが見込まれている。
【００５８】
続いて、本実施の形態の電子アルバム作成装置で作成することが出来るアルバムの一例を図３に示す。
【００５９】
図３の３０１で示される領域全体が電子アルバムである。その内部には静止画像を表示する領域３０２、３０３、３０４が配置されており、それぞれの領域には静止画ファイルｐｈｏｔｏ１．ｊｐｇ、ｐｈｏｔｏ２．ｊｐｇ、ｐｈｏｔｏ３．ｊｐｇの内容が表示される。その背後には、アルバムの台紙を表現した静止画ファイルｂｏｏｋ．ｊｐｇの内容が領域３０１全体に背景画像として表示されている。このような形で、それぞれの静止画の「空間的配置」情報がアルバムに記述されているものとする。
【００６０】
さらに、このアルバムには、領域３０２、３０３、３０４を何らかのポインティングデバイスを用いて画面上で選択すると、「それぞれの領域に表示されている内容が、現在表示されている位置から、領域３０５の位置に移動して拡大表示され、のちに、元の位置に縮小しながら移動する」といった「挙動」が記述されているものとする。
【００６１】
また、選択された内容は、０．５秒間で大きさ、位置を変化させながら領域３０５に移動し、領域３０５に４秒間表示された後、再び０．５秒間で縮小しながら元の位置に戻るといった時間軸をともなうアニメーション表示を行うよう、拡大・縮小時の動作の「時間的配置」が記述されている。
【００６２】
このように、アルバムには表示されるデータの「挙動」および「時間的配置」も定義されているものとする。
【００６３】
図３のアルバムの内容は、図４〜図６に示されるシーン記述で表現することが出来る。図４〜図６は、図３で示されるシーンの内容をＢＩＦＳに相当する形式で記述したものであり、図４の次に図５が続き、図５の次に図６が続く。ＢＩＦＳはバイナリ形式のデータであるため実際の符号化データはこういったテキスト形式では記録されないが、ＢＩＦＳはＶＲＭＬを元にした形式であるため、図４〜図６ではＶＲＭＬの記法を元にしたテキスト形式で表現している。
【００６４】
ＶＲＭＬのようなテキスト形式のフォーマットは、人間が解釈することを前提として、英単語や恣意的な記号などを用いて表現内容を言語として記述するようになっているため、これらのフォーマットを用いて記述された内容は、テキストエディタなどの一般的なツールを用いて容易に編集することが可能である。それに対し、ＢＩＦＳのようなバイナリ形式のフォーマットは、テキスト形式と比較して小さなサイズとなるので、効率的に伝送や記録が行える。
【００６５】
したがって、本実施の形態では、シーン記述テンプレート１０４およびシーン記述データ１０７はデザイナーがテンプレートを容易に作成、編集できるようにＶＲＭＬに基づくテキスト形式の表現で記述し、シーン記述ストリーム１１０は最終的なアルバムのフォーマットであるＭＰ４で規定される仕様に基づき、バイナリ形式のＢＩＦＳデータとして記録するものとしている。
【００６６】
以下、このシーン記述の要点についてのみ簡単に説明する。なお、記述内容を詳細に渡って説明することは本発明を説明するためには不要と思われるため省略する。
【００６７】
図４〜図６のシーン記述では、それぞれの画像はＵＲＬを用いて参照されている。その内容をＳｈａｐｅと呼ばれるオブジェクトの形状を記述するノード内で、ＩｍａｇｅＴｅｘｔｕｒｅと呼ばれるノードを用いて、Ｂｉｔｍａｐと呼ばれる図形オブジェクトに貼り付けることを指示している。さらに、貼り付けられたオブジェクトを拡大、縮小するための倍率ｓｃａｌｅ、所定の座標位置に配置するためのｔｒａｎｓｌａｔｉｏｎと呼ばれる属性値によって表示時のサイズ、位置が指定されている。
【００６８】
なお、ＶＲＭＬでは画面の中心を原点とするいわゆる三次元ワールド座標が用いられているため、座標系は通常の二次元座標とは異なっている。その上で、各画像ファイルの大きさが６４０×４８０ピクセルの場合、表示結果は図３のレイアウトと一致する。
【００６９】
加えて、ポインティングデバイスによる選択操作を検出し、イベントを発生させるセンサーオブジェクトＴｏｕｃｈＳｅｎｓｏｒ、拡大・縮小が行われる間の計５秒間のオブジェクトの位置および表示倍率の変化を定義するＰｏｓｉｔｉｏｎＩｎｔｅｒｐｏｌａｔｏｒ２Ｄ、５秒間の間に周期的にタイマーイベントを発生させるタイマーオブジェクトＴｉｍｅＳｅｎｓｏｒ、そして、ＴｉｍｅＳｅｎｓｏｒやＴｏｕｃｈＳｅｎｓｏｒから発生したイベントを、ＰｏｓｉｔｉｏｎＩｎｔｅｒｐｏｌａｔｏｒ２ＤおよびＢｉｔｍａｐオブジェクトなどのオブジェクトへ受け渡すルートを定義するＲＯＵＴＥノードによって、図３で示されるシーンが表現されることになる。
【００７０】
このＲＯＵＴＥによるオブジェクトの連携動作を簡単に説明する。例えばこのシーン記述では、”ｐｈｏｔｏ１．ｊｐｇ”の静止画を選択すると、その静止画オブジェクトＰＩＣＴ１に対して設定されているセンサーオブジェクトＳＥＮＳＯＲ１が「オブジェクトを選択された」というイベントを検知すると、そのタイミングで、ＰＩＣＴ１の大きさ、位置のアニメーション表示を管理するためのタイマーオブジェクトＴＩＭＥＲ１のタイマーを開始させるという連携動作が定義されているが、この両者の関連は、図６の”ＲＯＵＴＥ ＳＥＮＳＯＲ１．ｔｏｕｃｈＴｉｍｅ ＴＯ ＴＩＭＥＲ１．ｓｔａｒｔＴｉｍｅ”という形で記述される。
【００７１】
同様にして、ＴＩＭＥＲ１のタイマーが開始されたら、一定間隔毎に位置、大きさを示す数値を変化させるオブジェクトであるＩＮＴ１、ＳＣＡＬＥ１オブジェクトにイベントが通知される。
【００７２】
このＩＮＴ１、ＳＣＡＬＥ１オブジェクトには、時間に応じた数値の変化量が定義されており、タイマーからイベントが通知されたら、通知された時間に対応する数値をそれぞれＰＩＣＴ１の位置、表示倍率に設定する。
【００７３】
以上のように、オブジェクト間の関連を記述しておき、実行時にオブジェクト間が連携動作を行うことによって、図３のように動きのあるアルバムを表現することができる。
【００７４】
図４〜図６で示されるように、電子アルバムを作成するためには、多くの属性や時間軸に伴う動き情報、オブジェクトを連携動作させるための情報が記述されなければならない。アルバムを作成する側にとっては、編集時にこれらの情報を逐一設定していくのは、人間であれツールであれ非常に負担が大きなものである。
【００７５】
そこで、本発明では、参照されるＡＶデータの実体を示すアドレス情報を除いたシーン記述のデータをテンプレートとして用意しておき、アドレス情報の部分のみを編集するといったきわめて単純化された編集機能を提供することによって、作成する側の負荷を軽減するようにしている。
【００７６】
図７は、本発明の根幹をなすシーン記述の編集処理の内容を図説するものである。
【００７７】
シーン記述テンプレート１０４は、外部参照されるべきＡＶデータのアドレス情報、すなわちＵＲＬが記述されていない状態で作成され、作成装置にあらかじめ供給される。そして、シーンエディタ１０５は入力されたシーン記述テンプレート１０４の内容に対して、参照されるＡＶデータ１０６（図７の場合、”ｐｈｏｔｏ１．ｊｐｇ”）のＵＲＬを埋め込む処理を行って、結果をシーン記述データ１０７として出力している。
【００７８】
上記の処理が、図３のアルバムを扱う場合にシーンエディタ１０５において行われる際に表示される画面の例を図８に示す。なお、この例では、図３のアルバムの領域３０２、３０３、３０４に記述されるべきＵＲＬを含まないシーン記述テンプレート１０４が、あらかじめ供給されているものと仮定する。
【００７９】
シーンエディタ１０５は、入力されたシーン記述テンプレート１０４を解析し、外部データを参照するよう記述されているにも関わらずＵＲＬが定義されていない部分を検出すると、そのノードは、シーンエディタ１０５での編集処理時にＡＶデータが指定される場所である「プレースホルダー」であると解釈し、未定義のＡＶデータの代わりに何らかの内容を代替表示する。
【００８０】
図８の例では、編集操作を行う利用者に対してプレースホルダーの位置にＡＶデータの指定するよう促す内容を示す画像ファイル８０１を表示している。そして、利用者の操作によってプレースホルダーの位置にＡＶデータが指定されたら、指定されたＡＶデータの内容を表示し、同時に、内部的にプレースホルダーに該当するノードに、指定されたＵＲＬ情報を設定するといった処理が行われる。
【００８１】
引き続き、シーンエディタ１０５の処理の流れを図９を用いて順を追って説明し、さらに、その他の図を用いて、図９の各ステップの実行時にどのような画面表示が行われるかを例示していく。
【００８２】
なお、本発明は画面およびインターフェースに関するものではないので、どのようなインターフェースが用いられても良いものとする。
【００８３】
まず、図９は、シーンエディタ１０５で行われるシーン記述データ作成処理の手順を示すフローチャートである。
【００８４】
ステップＳ９０１は、シーンエディタ１０５が処理するシーン記述テンプレート１０４を選択する。
【００８５】
本実施の形態では、メニューボタン２０３が押下された時に、図１０に示されるようなメニュー画面を表示することで、どのような機能を実行するかを利用者に選択させるようにしている。図１０は、処理選択メニュー画面のイメージである。図１０では、利用者が次に実行するアクションを画面上の選択領域１００１で示しているが、選択領域１００１を「テンプレートを選択」の位置にあわせて決定すると、図１１に示されるようなテンプレートの選択画面が表示される。図１１は、テンプレート選択画面のイメージである。図１１では、領域１１０１に使用可能なテンプレートが縮小表示され、領域１１０２には、選択領域１１０３によって選択されたテンプレートが拡大表示される。そして、利用者によって選択内容が決定されると、次のステップに進む。
【００８６】
ステップＳ９０２は、ステップＳ９０１で選択されたシーン記述テンプレート１０４を読み込んで、内容を解析し、シーン記述に含まれるプレースホルダーの位置を検出する。
【００８７】
本実施の形態では、図７のシーン記述テンプレート１０４で示されるような「ＵＲＬの部分が空のＳｈａｐｅノード」をプレースホルダーとみなすものとしている。プレースホルダーが検出されたら、その位置等の情報を取得し、図８ような初期レイアウトのアルバムを表示する。その際、シーン記述中に含まれるＵＲＬは有効ではないため、無効なＵＲＬに対しては図８で示されるような代替表示を行うなどの手段で、有効でないＵＲＬが使用されていることによる異常な表示や動作が行われることを回避する処理が行われることが望まれる。
【００８８】
ステップＳ９０３は、ステップＳ９０２で検出されたプレースホルダーの位置に配置するＡＶデータを選択する。
【００８９】
本実施の形態では、図１２が示すような編集画面を用いて、利用者にＡＶデータを選択させるものとする。図１２は、アルバム編集画面のイメージである。図１２の領域１２０１には、作成装置から参照することの出来るＡＶデータやその属性情報が表示され、領域１２０２にはステップＳ９０１で選択されたシーン記述テンプレートで表されるレイアウトが表示される。また、ステップＳ９０２で検出されたプレースホルダーは、領域１２０２上の選択領域１００３で選択することが可能であるとする。
【００９０】
利用者はまず、領域１２０２上でＡＶデータを指定するプレースホルダーを選択すると、利用者が操作可能なアクティブな選択領域は、選択領域１２０３から選択領域１２０４に変わる。そして、利用者は領域１２０１上で選択領域１２０４を操作することで、ＡＶデータを選択する。この選択領域１２０３および選択領域１２０４によって、どのＡＶデータをどのプレースホルダーに配置するかを設定する。
【００９１】
ＡＶデータが決定されると、選択領域１２０３が示すプレースホルダーの位置に選択領域１２０４で示されるＡＶデータが貼り付けられて表示される。
【００９２】
ステップＳ９０４は、ステップＳ９０３で指定されたプレースホルダーが、シーン記述テンプレート１０４のどの位置に対応するかを特定する。
【００９３】
ステップＳ９０５は、選択されたプレースホルダーに対応するシーン記述の内容をチェックし、選択されたＡＶデータとシーン記述で指定されているデータ形式が一致しているかチェックを行う。
【００９４】
本実施の形態では、プレースホルダーの位置のオブジェクトはいずれも静止画の内容をオブジェクトに貼り付けることを指示するＩｍａｇｅＴｅｘｔｕｒｅノードを用いてＵＲＬを指定している。すなわち、プレースホルダーに貼り付けられるＡＶデータは静止画でなければならず、動画、音声を指定することは出来ない。したがって、ステップＳ９０５では指定されたＡＶデータのデータ形式とシーン記述が指定するデータ形式との比較を行い、データ形式が正しいかどうかチェックを行っている。
【００９５】
なお、ＡＶデータ形式をチェックするには、データの内容を解析してフォーマットを特定する方法と、ファイル名の拡張子などからフォーマットを推定する方法の二通りが考えられるが、いずれの方法が用いられても良い。
【００９６】
ステップＳ９０６は、ステップＳ９０５においてデータ形式が一致しなかった場合は、ＡＶデータを貼り付けることが出来ない旨を利用者に通知するエラー処理を実行し、ステップＳ９０３に戻る。
【００９７】
エラー処理がどのように行われるかはシステムの仕様によって異なるためここでは規定しないが、画面表示を行う場合は何らかのエラーメッセージを表示するか、あるいは何も行わないといった処理が一般的であると考えられる。
【００９８】
ステップＳ９０７は、ステップＳ９０５においてデータ形式が一致した場合は、選択されたＡＶデータのＵＲＬをシーン記述テンプレートのプレースホルダーの位置に設定する。
【００９９】
また、本実施の形態では、ＡＶデータが設定されたことを示すため、プレースホルダーの位置に選択されたＡＶデータの内容を表示する処理も行っている。
【０１００】
ステップＳ９０８は、編集処理を継続するかどうかをチェックする。継続する場合はステップＳ９０３に戻り、編集処理を終了する場合はステップＳ９０９に移る。
【０１０１】
本実施の形態では、図１０のメニュー画面で「アルバムを保存」を選択することで、ステップＳ９０９の処理に移行する。
【０１０２】
ステップＳ９０９は、ステップＳ９０７でＵＲＬ情報が書き換えられたシーン記述データの内容を、シーン記述データ１０７として出力する。
【０１０３】
本実施の形態では、図７のシーン記述データ１０７で示されるように、シーン記述テンプレートには設定されていなかったＵＲＬが埋められた形のシーン記述データが出力されるものとする。また、プレースホルダーにＡＶデータが指定されずにシーン記述データ１０７の出力を行う場合には、ＵＲＬが設定されていない状態のままとなり後続の処理が正しく動作しない恐れがあるため、本実施の形態ではそのようなＡＶデータが設定されていないプレースホルダーの位置には、図８の８０１で示すような代替ファイルのＵＲＬを設定するものとしている。
【０１０４】
以上ステップＳ９０１〜ステップＳ９０９の処理によって、シーンエディタ１０５によってシーン記述テンプレート１０４とＡＶデータ１０６が合成され、シーン記述データ１０７が作成される。
【０１０５】
なお、本発明を用いて映像データと同様に音声データを扱う必要がある際には、注意しなければならない点がある。音声データは、その性質によりデータの内容を画面上に表示することが出来ないため、上述の静止画ファイルの場合と同じようにプレースホルダーの位置にデータが貼り付けられたことをＡＶデータの内容を表示することで表現することが出来ない。また、映像が貼り付けられたオブジェクトは画面上で選択することが可能だが、音声が貼り付けられたオブジェクトは、何らかの可視形態を伴うオブジェクトと併用されなければ選択することは出来ない。
【０１０６】
図１３は、電子アルバムに音声データを用いる際の対処法を示すものである。
【０１０７】
図１３の領域１３０１、１３０２、１３０３は、音声データのプレースホルダーを示す領域であり、音声データが未設定の場合は、代替表示として画像ファイル１３０５の内容が表示される。そして、音声データ１３０６がプレースホルダーの位置に設定されたら、音声データが設定されていることを示す画像を表示するようにすることが望ましい。そのためには、実際には音声データが貼り付けられたオブジェクトは、編集画面上では可視オブジェクトとして表示するといった例外的な処理が実装されている必要がある。図１３の例では、領域１３０１に音声データが設定されたら、画像ファイル１３０７を表示している。
【０１０８】
また、音声が貼り付けられたオブジェクトを選択させる場合には、何らかの選択可能な可視オブジェクトを併用し、可視オブジェクトが選択されたら音声オブジェクトも選択されるように記述されたシーン記述テンプレートが必要になる。図１３は、領域１３０４に静止画のプレースホルダーを配置し、領域１３０４の静止画が選択されたら、それと連動して領域１３０１に設定された音声データが再生されるように関連を定義することを示している。こういった関連の定義は、ＢＩＦＳの場合は上述のＲＯＵＴＥノードによって記述することが可能である。
【０１０９】
以上、具体的な実施の形態を例にとって、本発明の基本的な原理について説明してきた。
【０１１０】
（実施の形態２）
実施の形態２として、実施の形態１で説明を行ったものとは別のシーン記述テンプレートを用いてアルバムを作成する場合を例にとって説明を行う。
【０１１１】
図１４は、本実施の形態の説明に用いる電子アルバムを示すものである。このアルバムのシーン記述は、図１７〜図２０に示し、図１７の次に図１８、図１９、図２０の順に続く。
【０１１２】
この電子アルバムのシーン記述では、領域１４０１の内部に、ファイルｐｈｏｔｏ１．ｊｐｇ、ｐｈｏｔｏ２．ｊｐｇ、ｐｈｏｔｏ３．ｊｐｇが表示される領域１４０２、１４０３、１４０４、および、背景画像として表示される静止画ファイルｂｇ．ｊｐｇが配置されている。また、領域１４０２、１４０３、１４０４を画面上で選択すると、「それぞれの領域の表示内容が、領域１４０５の位置に移動して拡大表示される」といった挙動が記述されている。
【０１１３】
さらに、領域１４０２、１４０３、１４０４にはそれぞれ、「画面上から下に移動し、表示位置がアルバムの領域外になったら表示位置を画面の上端に戻す」といった挙動も記述されている。
【０１１４】
この移動動作について、領域１４０２の場合を例にとって、図１５を用いて簡単に説明しておく。図１５は、アルバム中のオブジェクトが自律的に動き回る電子アルバムの表示イメージを示す図である。
【０１１５】
領域１４０２は、初期状態では座標（２１０，３００）の位置に表示されているが、時間の経過に応じて位置を少しずつ変化していく。そして、２０秒後に元の位置に戻り、再度同じ動作を繰り返すという動きが記述されている。その動き方の詳細は、下記の通りである、
【０１１６】
（１）動作開始の直後から１９秒後までの間に、（２１０，３００）から（２１０，−３６０）の位置に移動。
（２）１９秒後から１９．０２秒後までの間に、（２１０，−３６０）から（６００，−３６０）の位置に移動。
（３）１９．０２秒後から１９．２秒後までの間に、（６００，−３６０）から（６００，３６０）の位置に移動。
（４）１９．２秒後から１９．２２秒後までの間に、（６００，３６０）から（２１０，３６０）の位置に移動。
（５）１９．２２秒後から２０秒後までの間に、（２１０，３６０）から（２１０，３００）の位置に移動。
【０１１７】
上記（１）〜（５）の動作が、２０秒間隔で繰り返し実行されるよう定義されている。定義の詳細に関しては、図１７〜図２０のシーン記述の内容を参照されたい。
【０１１８】
図１６は、図１４の電子アルバム中の再生時のイメージを示す図である。図１６（ａ）、図１６（ｂ）、図１６（ｃ）の順で再生中の時間経過を表し、表示部１１４には、領域１４０１内が表示されるので、図１６（ｂ）のときは、１４０４は表示されていないこととなる。時間的配置の遷移が領域１４０２、１４０３、１４０４に上述したように定義されていることによって、このアルバムが再生されると、図１６で示されるように、３枚の静止画が上から下にスクロールしているように動き、それによって、フィルムが流れているような表示が行われる。
【０１１９】
以上のように、図１４の電子アルバムは、図３のものと空間的配置はほぼ同じであるが、アルバム上のオブジェクトがそれぞれ自律的に動き回るという点で、図３のものとは内容は大きく異なっている。しかし、図１４の電子アルバムを作成する時の利用者の編集操作は、図３のアルバムを作成する場合に行われる操作とまったく同じものとなる。
【０１２０】
すなわち、本発明の電子アルバム作成方法を適用すれば、定義されている挙動や時間的配置が異なっている複数のシーン記述テンプレートに対しても、利用者はプレースホルダーにＡＶデータを指定するといった統一された操作のみでアルバム作成が可能になる。
【０１２１】
（実施の形態３）
シーン記述テンプレート１０４のプレースホルダーの位置は、図７で示されるような「空のＵＲＬを設定する」以外の方法で記述することが可能である。
【０１２２】
図２１は、シーン記述テンプレート１０７の記述例である。図２１（ａ）では、シーン記述中に「ＰＬＡＣＥＨＯＬＤＥＲ」で始まるキーワードを設定することによって、そのキーワードが存在するノードがプレースホルダーであることを示す例である。
【０１２３】
記述中のＤＥＦは、あるノードに対して利用者が任意に定義した名前を設定するためのＶＲＭＬの予約語であり、この例はＳｈａｐｅノードに対して「ＰＬＡＣＥＨＯＬＤＥＲ＿１」という名前を設定していることを表している。なお、ＶＲＭＬでは、ＤＥＦで設定される名前はファイル内で一意でなければならないため、この例では名前の一意性を確保するために「＿１」という接尾句を付与している。
【０１２４】
図２１（ｂ）では、図２１（ａ）と同様の手法を用いて、さらに貼り付けることが可能なデータ形式を特定するために「ＩＭＡＧＥ」というキーワードを設定している。実装形態によっては、このようなキーワードを設定することによって、図９のステップＳ９０５で行われるデータ形式のチェックが簡単に行える場合があるかもしれない。その他、システムの仕様によって任意の情報を示すデータがキーワードとして追加されても良い。また、キーワードの表現もどのようなものが用いられても良い。
【０１２５】
このように、シーン記述中に「プレースホルダーであることを示す何らかの情報」を許容される文法の範囲で記述することによってプレースホルダーの位置を指定しても良い。
【０１２６】
（実施の形態４）
シーン記述データ１０７に埋め込まれるアドレス情報は、図７で示されるようにＵＲＬでなくとも、ＡＶデータの位置を特定することが可能な情報である限りは、どのようなものでも利用可能である。
【０１２７】
図２２では、シーン記述データ１０７にＡＶデータの位置を示す情報としてＵＲＬの代わりに一意な番号を指定する例を示した。この例では、外部参照されるＡＶデータ１０６を特定する情報として、ファイル名”ｐｈｏｔｏ１．ｊｐｇ”ではなく、番号”１”がシーン記述データ１０７に設定されている。
【０１２８】
この番号”１”は、ファイル”ｐｈｏｔｏ１．ｊｐｇ”に関連付けられて発番された番号で、関連テーブル２２０１によって両者の関連が記述されている。この関連テーブル２２０１はシーン記述データ１０７からＡＶデータ１０６を特定する際に、シーン記述中の番号に対応するファイル名を参照することによって可能である。なお、この関連テーブル２２０１は、シーン記述データ１０７の一部として作成されても、シーン記述データとは別のデータとして作成されても良い。
【０１２９】
このように、ＡＶデータのアドレス情報はデータの位置を特定するという目的が満たせるものであれば、任意の形式で設定することが可能である。
【０１３０】
（実施の形態５）
図９のステップＳ９０１におけるテンプレートの選択処理では、利用者にテンプレートを選択させるのではなく、テンプレートが自動的に選択されるような形態も考えられる。
【０１３１】
例えば、ステップＳ９０１には、記録されているＡＶデータのファイル数あるいはデータ形式に応じて、適切なプレースホルダーの数あるいはデータ形式が定義されたテンプレートを選択するといった機能を持たせることによって、選択を自動化させることも可能である。
【０１３２】
あるいは、常に同じテンプレートを使用するようにするといった形態も、広義の自動選択を行う形態として考えられる。
【０１３３】
（実施の形態６）
テンプレート選択と同様に、図９のステップＳ９０３におけるＡＶデータの選択処理も、利用者に選択させるのではなく、ＡＶデータを自動選択する形態もありえる。
【０１３４】
例えば、ステップＳ９０３の選択処理として、ＡＶデータの作成日付順にシーン記述中のプレースホルダーに無条件に配置するといった方法によってＡＶデータを自動的にテンプレートに割り当てるといった処理を行うことも可能である。この形態によれば、いわゆるインデックスプリントのような表現形態を実現するアルバムを利用者の操作を用いずとも作成することが出来る。
【０１３５】
または、プレースホルダーが一つのみ記述されたテンプレートを用いて、ＡＶデータが入力されたら常に唯一のプレースホルダーにＡＶデータを割り当てるといった形態も、広義の自動選択を行う形態として考えられる。この形態を実施する場合は、実施の形態５のテンプレート自動選択機能を併用して、ＡＶデータのデータ形式と一致するテンプレートを自動選択する機能を提供することが好ましい。
【０１３６】
（実施の形態７）
図９のステップＳ９０８における編集操作の続行を選択する処理も、利用者の選択に基づいて行うのではなく、自動的に行う形態も考えられる。
【０１３７】
例えば、実施の形態６で示したような、常に唯一のプレースホルダーにＡＶデータが自動的に割り当てられる形態においては、ＡＶデータが割り当てられた時点で編集処理は終了したと解釈出来るため、ステップＳ９０８では無条件にステップＳ９０９のシーン記述データ作成処理に進むものとして処理できる。
【０１３８】
なお、以上述べた実施の形態５〜７のいずれにも該当する形態の場合は、シーン編集のためのユーザ操作は一切必要なくなるため、ユーザ操作１０１およびユーザ操作入力部１０２は不要となる。
【０１３９】
なお、アルバムのデータ形式にＭＰ４フォーマットを用いる場合は、データ交換の際の相互運用性を高めるために、ＭＰ４フォーマットの基礎となる仕様を策定したＡｐｐｌｅ Ｃｏｍｐｕｔｅｒ社をなどの多くの企業からなる業界団体であるＩＳＭＡ（Ｉｎｔｅｒｎｅｔ Ｓｔｒｅａｍｉｎｇ Ｍｅｄｉａ Ａｌｌｉａｎｃｅ）によって定められた、ネットワーク上でいわゆるストリーミングを行うことを前提に最適化されたフォーマットを基本としてデータを作成すると効果的であると思われる。しかし、本明細書の執筆時点でＩＳＭＡによって標準として定められているＭＰ４のフォーマット仕様 ＩＳＭＡ Ｖ１．０（“Ｉｎｔｅｒｎｅｔ Ｓｔｒｅａｍｉｎｇ Ｍｅｄｉａ Ａｌｌｉａｎｃｅ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｖｅｒｓｉｏｎ １．０”）では、シーン記述として、ＭＰＥＧ−４ Ｖｉｄｅｏ形式の動画データ、およびＭＰＥＧ−４ Ａｕｄｉｏ形式の音声データがそれぞれ一つのみがシーン領域全体に配置されているだけの極めて単純なＢＩＦＳデータのみを許可している。
【０１４０】
そのため、本発明の構成は、撮像と同時にＩＳＭＡ Ｖ１．０に準拠したＭＰ４形式ファイルを自動的に作成するといった目的にも適用可能である。
【０１４１】
なお、ＩＳＭＡの将来の仕様では、より複雑なシーン記述がサポートされると思われる。しかしその場合でも、本発明のシステム構成に従えば、シーン編集部分に限っては、複雑なシーン記述がサポートされた場合であっても基本構成を大幅に変更することなく対応可能である。
【０１４２】
（実施の形態８）
電子アルバム作成装置に供給されるシーン記述テンプレート１０４のデータ形式は、図４〜図６および図７で示されるようなＶＲＭＬに基づく形式以外のものも考えられる。
【０１４３】
ひとつの有力な形態として、シーン記述テンプレートをＸＭＬ形式で記述するといった形態が考えられる。特に、ＭＰＥＧ−４においては、ＸＭＴ（ｅＸｔｅｎｓｉｂｌｅ ＭＰＥＧ−４ Ｔｅｘｔｕａｌ Ｆｏｒｍａｔ）と呼ばれる、ＢＩＦＳをＸＭＬ形式で記述するためのデータ形式がＩＳＯ／ＩＥＣ １４４９６−１の拡張規格として定められている。このＸＭＴをシーン記述テンプレートとして用いることにより、ＢＩＦＳと完全に一致する表現を、標準規格として定められたテキスト形式によって記述、編集することが可能になる。
【０１４４】
（実施の形態１０）
アルバムデータ１１３のデータ形式および符号化形式は、ＭＰＥＧ−４に限らず、ＡＶデータおよびその配置・挙動を記述し、多重化することが可能な形態であれば、どのような形式であっても良い。
【０１４５】
具体例を挙げれば、Ｍａｃｒｏｍｅｄｉａ社によって仕様が定められ、現在パーソナル・コンピュータを中心に多くの処理系でサポートされているマルチメディアデータ形式である”Ｆｌａｓｈ”（登録商標）を用いるといった形態が考えられる。
【０１４６】
Ｆｌａｓｈは、国際標準規格ではないものの、ＢＩＦＳと同様に、イベント処理などのインタラクティブな表現を記述することが可能であり、ＢＩＦＳに類似するシーン記述機能を持ったフォーマットとしては、現状ではむしろＭＰＥＧ−４よりも普及している。また、Ｆｌａｓｈのデータの内容は、拡張子”．ｓｗｆ”のファイルとしてＭＰ４フォーマットと同様に多重化することが可能である。このｓｗｆファイルフォーマットも、ＩＳＭＡで定められるようにストリーミング配信に最適化されている。以上の特性から、Ｆｌａｓｈは本発明に適用するには好適なフォーマットであると言えよう。
【０１４７】
ただし、Ｆｌａｓｈの場合は、シーン記述テンプレート１０４の記述に用いることができるような標準的なテキスト形式のフォーマットは定義されていない。したがって、Ｆｌａｓｈ形式でサポートされる表現をテキスト形式で記述することが可能なデータ形式を何らかの形で定義し、その形式でテンプレートを記述しなければならない。
【０１４８】
（実施の形態１１）
シーン記述テンプレート１０４は、テンプレートの一部を構成するＡＶデータ１０６がある場合は、シーン記述テンプレート１０４の一部として同時に供給されても良い。例えば、図３における背景画像ｂｏｏｋ．ｊｐｇなどは、テンプレートの一部として供給されるのが適切であろう。
【０１４９】
また、シーン記述テンプレート１０４とＡＶデータ１０６といった複数のファイルを一度に供給する際には、容易に供給できるようにするため、シーン記述テンプレート１０４および構成ファイル群をＺＩＰ、ＬＺＨといったアーカイブファイル形式の単一ファイルとして、まとめて供給するといった形態も考えられる。
【０１５０】
ただし、この場合アーカイブファイル中に含まれるファイルを参照、更新するためには、シーンエディタ１０５はアーカイブファイルを解凍し、個々のファイルにアクセスするための手段を備えていなければならない。
【０１５１】
（実施の形態１２）
図１に示される各構成部は、必ずしも同一の装置内に存在するとは限らない。本発明は、図２３のように、構成部が複数の装置に配置され、各装置が通信手段を用いて連携することによって実現されても良い。図２３は、本発明を複数の装置によって実施される場合の構成例である。
【０１５２】
図２３において、２３０１はデジタルカメラ、２３０２はパーソナルコンピュータ、２３０３はインターネット上のサーバを示している。このような機器構成で、例えばデジタルカメラ２３０１ではＡＶデータ入力部１０２に相当する機能のみを提供し、その他の機能はすべてパーソナルコンピュータ２３０２で提供されるといった形態も考えられる。
【０１５３】
この形態によれば、デジタルカメラ２３０１には撮像手段およびパーソナルコンピュータ２３０２との通信手段のみを備えたごく一般的なデジタルカメラの機能を備えたもので充分であること、また、編集処理や符号化処理などの負荷が大きい処理は、概して処理速度や使用できる資源の制約が少ないパーソナルコンピュータ２３０２上で行えることから、最も現実的な形態のひとつであると言えよう。
【０１５４】
また、デジタルカメラ２３０１およびパーソナルコンピュータ２３０２は、通信手段を介してサーバ２３０３からシーン記述テンプレート１０４をダウンロードしたり、アルバムデータ１１３をアップロードするといった形態も考えられる。一般的には、サーバ２３０３との通信はパーソナルコンピュータ２３０２によって行う形態がより現実的であると考えられる。
【０１５５】
しかし、デジタルカメラ２３０１がインターネット・プロトコルを用いてサーバ２３０３と通信を行うという形態も非現実的というわけではない。本明細の執筆時点でも、ＣＣＤカメラで撮影した画像を電子メールで送付することが可能な携帯電話端末も広く流通していることから、現実のシステムに充分適用可能な形態であると言えるだろう。
【０１５６】
（その他の実施形態）
ＡＶデータ入力部１０３は、デジタルカメラ、スキャナ等を構成する撮像装置、あるいはマイクロフォンなどの集音装置の形態をとる場合が一般的であるが、ＡＶデータがデジタルデータの形式で入力する形態も考えられる。その場合は、ＡＶデータ入力部１０３は単純に入力されたデータを保持するための機能のみが提供される。
【０１５７】
ＡＶデータ１０６は静止画や動画、音声等の他に、ベクター・グラフィックなどが含まれる形態も考えられる。また、別のアルバムがＡＶデータとして入力される形態もありえる。
【０１５８】
なお、ＢＩＦＳを用いてシーン記述を行う場合、別のアルバムはｉｎｌｉｎｅと呼ばれるノードを用いてＵＲＬによって参照可能であるため、他のＡＶデータ形式同様にシーン記述テンプレートで使用することが可能である。また、上記実施の形態では、拡大表示や縮小表示などオブジェクトの大きさを変える挙動について説明したが、ほかに、例えば、オブジェクトの色や形を変える形態もあり得る。
【０１５９】
また、上記の各種処理を行うソフトウェアは、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスクなどの記録媒体を介して提供される形態となっていても、ネットワーク等の通信媒体を介して提供される形態となっていても、必要に応じてメモリー、ハードディスク等の記憶装置上にコピーして利用できるような形態となっていても良い。
【０１６０】
また、上記実施形態では、ネットワークを構成するハードウェア等が含まれるものの、各処理部は実際はソフトウェアで実現できるものである。即ち、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または、記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（または、ＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
【０１６１】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１６２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１６３】
また、従来の方法ではシーン記述データからＡＶデータが正しく参照されるよう、アルバム作成者は注意深くアルバムの配布を行わなければならなかったが、この上記実施の形態で提供されるような電子作成方法を用いることで、シーン記述データ１０７およびＡＶデータ１０６は、多重化され、最終的にアルバムデータ１１３として単一のファイルとして出力される。それによって、アルバムを安全かつ容易に伝送・配布するとことが可能となる。
【０１６４】
また、上記実施の形態の電子作成方法を用いることで、アルバム作成者はオブジェクトの動きなどの複雑な記述を一切行うことなく、ＡＶデータを選択し、プレースホルダーを指定するといった、きわめてシンプルな２つの操作の繰り返しのみで、表現豊かな電子アルバムを簡単に作成することが可能となる。
【０１６５】
オブジェクトの動き、とりわけ時間に応じた属性の変化をともなう動きを指定することは、図４〜図６が示す通り複雑でわかりにくいものである。仮に、アルバム作成アプリケーションで、動きの詳細を設定することが可能な設定画面などの手段が提供されていたとしても、使いこなすことは簡単ではないと思われる。しかし、上記実施の形態の方法では、オブジェクトの動きに関する編集操作はまったく必要としないため、編集作業の習得や編集作業自体にかかる負荷を軽減することが出来る。
【０１６６】
また、オブジェクトの挙動や時間的配置情報もあらかじめテンプレートに組み込んでおくことによって、それらの情報を設定、変更するための機能を編集モジュールで提供する必要がなくなるため、編集モジュールの実装を簡素なものにすることが出来る。上記実施の形態の編集モジュールは、ＡＶデータのアドレス情報に対してのみデータの編集処理を組みこめば済むため、サイズが小さく、少ない資源で動作させることが可能な編集モジュールが実現できる。この点は、携帯端末やデジタルカメラ等のように、メモリ容量や入力インターフェース、表示デバイスなど使用出来る資源に制約のある環境に対して編集モジュールを実装する場合には、とりわけ有効であろう。
【０１６７】
無論、パーソナル・コンピュータのように資源に余裕のある環境では、必ずしも上記実施の形態で述べているような形態に固執する必要はなく、環境に応じた実装を行っても良い。例えば、マウスを利用できる場合は、プレースホルダーの位置にＡＶデータを指定する操作などは、ＡＶデータを示すアイコンをプレースホルダーにドラッグ・アンド・ドロップするといった方法で実現する方が適切であろう。
【０１６８】
また、シーン記述テンプレートが図４〜図６などで示されるＶＲＭＬ形式のようにテキスト形式で表現されていれば、利用者にテンプレートを提供するデザイナーは、テキストエディタなどの一般的なツールを用いてテンプレートを作成することが出来るため、特殊なデザインツールを準備し、提供する必要がなくなる。
【０１６９】
上記実施の形態ではＶＲＭＬのような既存の記述言語を用いてテンプレートを記述しているため、一般的に流通しているＶＲＭＬビューアを用いれば、特別な符号化処理を行わなくても表示内容を確認することが可能である。
【０１７０】
また、電子アルバムは標準規格であるＭＰ４フォーマットとして出力されるため、特定のアルバム再生用アプリケーションによらずとも広範囲の機器で閲覧、再生することが出来るようになっている。この点は、インターネットを介して不特定の閲覧者にアルバムを配布するようなケースでは特に有効である。
【０１７１】
【発明の効果】
以上のように、本発明によれば、電子アルバムを、作成する側にとっての負担が少なく、かつ、配布しやすい形式で作成することが可能となる。
【図面の簡単な説明】
【図１】本発明による電子アルバム作成装置の構成例を示す図である。
【図２】本発明の一実施形態であるデジタルカメラの構成例を示す図である。
【図３】電子アルバムの表示イメージを示す図である。
【図４】図３の電子アルバムをＢＩＦＳのテキスト表現形式で記述した例を示す図である。
【図５】図３の電子アルバムをＢＩＦＳのテキスト表現形式で記述した例を示す図である。
【図６】図３の電子アルバムをＢＩＦＳのテキスト表現形式で記述した例を示す図である。
【図７】本発明のシーンエディタ１０５で行われる、シーン記述テンプレート１０４とＡＶデータ１０６のアドレス情報を元にしたシーン記述データ作成処理の概略を示す図である。
【図８】図３の電子アルバムにＡＶデータが指定される前後の表示イメージを示す図である。
【図９】シーンエディタ１０５で行われるシーン記述データ作成処理の手順を示すフローチャートである。
【図１０】処理選択メニュー画面のイメージを示す図である。
【図１１】テンプレート選択画面のイメージを示す図である。
【図１２】アルバム編集画面のイメージを示す図である。
【図１３】電子アルバムに音声データが用いられる際の注意点を説明するための図である。
【図１４】アルバム中のオブジェクトが自律的に動き回る電子アルバムの表示イメージを示す図である。
【図１５】図１４の電子アルバム中のオブジェクトの動きを説明するための図である。
【図１６】図１４の電子アルバム中の再生時のイメージを示す図である。
【図１７】図１４の電子アルバムをＢＩＦＳのテキスト表現形式で記述した例を示す図である。
【図１８】図１４の電子アルバムをＢＩＦＳのテキスト表現形式で記述した例を示す図である。
【図１９】図１４の電子アルバムをＢＩＦＳのテキスト表現形式で記述した例を示す図である。
【図２０】図１４の電子アルバムをＢＩＦＳのテキスト表現形式で記述した例を示す図である。
【図２１】シーン記述テンプレート１０７の記述例を示す図である。
【図２２】ＵＲＬに対応する値をアドレス情報として用いた場合の、シーン記述テンプレート１０７の記述例を示す図である。
【図２３】本発明を複数の装置によって実施される場合の構成例を示す図である。
【発明の属する技術分野】
本発明は、画像データを用いた電子アルバム作成装置、電子アルバム作成方法及びプログラムに関するものである。
【０００２】
【従来の技術】
写真やビデオ映像、音声などを、デジタル形式のデータとして記録し、再生するための機器が広く流通するようになってきた。そうした背景から、利用者がデジタルカメラなどの機器で撮影したデジタル画像を、電子メールやインターネット上のサーバを介して交換するといったことが日常的に行われるようになった。
【０００３】
その背景には、情報符号化技術、圧縮技術等の情報処理技術の発達に加えて、デジタルデータをあまねく機器間で交換出来るようデータの記録形式を汎用的な標準規格として定めるといった標準化活動が行われてきたことが大きな功績を果たしていると言えるだろう。
【０００４】
例えば、静止画像の領域では、ＪＰＥＧ（ＩＳＯ／ＩＥＣ １０９１８，“Ｄｉｇｉｔａｌ Ｃｏｍｐｒｅｓｓｉｏｎ ａｎｄ Ｃｏｄｉｎｇ ｏｆ Ｃｏｎｔｉｎｕｏｕｓ−ｔｏｎｅ Ｓｔｉｌｌ Ｉｍａｇｅｓ”）、ＰＮＧ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ， Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）、動画形式ではＭＰＥＧ−１ Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ １１１７２−２，“Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ− Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｆｏｒ ｄｉｇｉｔａｌ ｓｔｏｒａｇｅｍｅｄｉａ ａｔ ｕｐ ｔｏ ａｂｏｕｔ １．５ Ｍｂｉｔ／ｓ−Ｐａｒｔ２：Ｖｉｄｅｏ”）、ＭＰＥＧ−２ Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ １３８１８−２，ＩＴＵ−Ｔ Ｈ．２６２，“Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｉｎｆｏｒｍａｔｉｏｎ−Ｐａｒｔ２：Ｖｉｄｅｏ”）、ＭＰＥＧ−４ Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ １４４９６−２，“Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ−Ｐａｒｔ２：Ｖｉｓｕａｌ”）、上述のＪＰＥＧを動画表現に応用したＭｏｔｉｏｎ ＪＰＥＧなどがある。
【０００５】
音声形式では、ＭＰＥＧ−１ Ａｕｄｉｏ（ＩＳＯ／ＩＥＣ １１１７２−３，“Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｆｏｒ ｄｉｇｉｔａｌ ｓｔｏｒａｇｅｍｅｄｉａ ａｔ ｕｐ ｔｏ ａｂｏｕｔ １．５ Ｍｂｉｔ／ｓ−Ｐａｒｔ３：Ａｕｄｉｏ”）の一種であるＭＰ３（ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ ３）、ＡＡＣ（ＩＳＯ／ＩＥＣ １１１７２−７，Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｉｎｆｏｒｍａｔｉｏｎ−Ｐａｒｔ ７：Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ（ＡＡＣ））などがある。
【０００６】
上記をはじめとする様々な規格に対応する多くの機器が流通することによって、利用者の間で映像・音声がデジタル化されたＡＶデータを容易に交換出来るようになった。
【０００７】
通常、これらのＡＶデータを入出力する機器では、それぞれの機器で記録単位とするデータは何らかのファイルシステム上のファイルとして作成される。その記録単位は、例えばデジタルスチルカメラであれば一枚の画像となるし、動画、音声の場合は記録開始時から終了時までの内容となる。
【０００８】
これらのＡＶデータを記録したファイルは、単独で利用されることもあるが、異なる種類の複数のデータファイルが一覧出来るように作成されたデータと併用することで、あたかも銀塩写真をアルバムに整理して見るような利用方法もごく普通に行われている。以下、このように複数のＡＶデータが集約されたいわゆる電子形式のデータを、銀塩写真のアルバムにならって、電子アルバムと記述する。
【０００９】
電子アルバムの典型的な例が、良く知られるＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などのマークアップ言語で記述される文書である。ＨＴＭＬでは、アルバムに含めるＡＶデータファイルのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）のようなアドレスを示す「アドレス情報」と、そのＡＶデータが画面上に表示される位置等のような「空間的配置」情報を記述することが出来る。ＨＴＭＬを用いて記述された文書は、ＨＴＭＬを解釈可能なブラウザで閲覧することで、記述されている空間的配置どおりにＡＶデータがレイアウトされた電子アルバムとして観賞することが出来る。
【００１０】
ＨＴＭＬは、テキスト形式で記述されているため編集作業が容易であるという点や、事実上の標準規格であり、インターネットにアクセスすることが出来るほとんどの機器にＨＴＭＬを解釈できるブラウザ・ソフトウェアが標準搭載されているため、特定のアルバム再生アプリケーションを使用しなくても閲覧が可能であるといった点から、広く一般的に利用されている。
【００１１】
こういった電子アルバムの作成・編集を簡単に行うための方法については、これまでに多くの公知の提案がなされている。その代表的なものが、表示位置などの空間的情報をあらかじめ定義したテンプレートを用いてデジタル画像を配置するといったものである（例えば、特許文献１参照）。
【００１２】
また、入力画像に応じて適切なテンプレートを自動選択するもの（例えば、特許文献２参照）や、テンプレートの記述内容に応じて入力画像の配置を自動的に調節するもの（例えば、特許文献３参照）などの提案もなされている。アルバムに取り込まれるデータの形式も、静止画像に加えて、動画などを用いるようにする提案もされている（例えば、特許文献４参照）。また、デジタルカメラから直接ＨＴＭＬ形式のアルバムを生成するといった提案もされている（例えば、特許文献５参照）。
【００１３】
現在までに、上記のようなテンプレートを用いた方法によって、電子アルバムを簡単な操作で作成することが出来る多くのアプリケーション・ソフトウェアが発売・公開されてきた。これらのソフトウェアのいくつかは、アルバムをそのアプリケーション固有のデータ形式で出力する機能に加え、より一般的な環境で閲覧出来るようアルバムをＨＴＭＬなどの標準形式で出力する機能もサポートされている。
【００１４】
【特許文献１】
特開平０９−１９０５４６号公報
【特許文献２】
特開平１０−２９３８５６号公報
【特許文献３】
特開平１１−３５３４６６号公報
【特許文献４】
特開２０００−１７２６７３号公報
【特許文献５】
特開２０００−３５７１６９号公報
【００１５】
【発明が解決しようとする課題】
しかしながら、このような電子・アルバムを作成する際には、不便な点もある。
【００１６】
第一に、複雑な表現が可能になったことによって、アルバムを記述する側にも記述方法に関する多くの知識と、記述作業に関するより多くの手間が必要となり、作成する側に負担が強いられる。ＨＴＭＬにおける空間表現に加えて、時間的表現やインタラクティブな表現に関しても記述しなければならないため、アルバムの作成者が鑑賞に堪えうるアルバムを完成させるまでにはより多くの時間が必要になってしまうこともある。
【００１７】
例えば、表現内容を確認しながら試行錯誤でアルバムを記述していく場合、ＨＴＭＬの場合は、ＡＶデータが正しい位置に配置されているかどうかという空間的要素のみに着目して作業を行えばよいのに対して、時間的要素やインタラクティブな要素が加わると、それだけ試行錯誤の回数が増加してしまい、作成にかかる時間も増大してしまうであろう。それは、手作業で記述するにしても、何らかの編集ツールを用いて作成するにしても同じである。
【００１８】
また、記述すべき情報の種類も多くなるため、作成者が記述内容を直接書き換える場合には、その内容に関する知識を習得するまでにはより多くの時間が必要となる。何らかの編集ツールを用いる場合でも、同様にツールで提供される編集操作を習得する時間が要求されるし、加えて、ツール自体も複雑で大きなものになってしまい、入力や表示のためのインターフェースや使用可能な記憶装置などのリソースが限られている機器では実現不可能なものとなってしまう恐れがあるため、別途ＰＣ等の機器を併用して作業を行なうコストを作成者に強いることになりかねない。
【００１９】
第二に、ＨＴＭＬなどの記述フォーマットを用いる場合、ＡＶデータの実体は別ファイルとして存在し、ＵＲＬなどのアドレス情報によって外部データを参照するという特性ゆえに、アルバム自体が取り扱いにくいものとなってしまうという問題がある。
【００２０】
周知の通り、ＵＲＬを用いて外部ファイルを参照する場合は、ＵＲＬが示す位置に参照されるファイルが存在しなければ正しく参照することは出来ない。したがって、作成されたアルバムを配布するような場合には、参照される全てのファイルが欠落することなく、かつ、ファイル群の構造が正しく保たれていることが保証された状態で配布されなければならない。
【００２１】
ＵＲＬを利用した外部参照は、参照されるデータの内容を変更するような場合でも参照する側の内容を変更する必要がないという点では優れているが、現実に多くのＷｅｂページで、ハイパーリンクの参照先が存在しないケースが見受けられることからも、取り扱いにはそれ相当の注意を要することは想像に難くない。
【００２２】
また、配布手段によっては、ファイル構造が正しく保たれないか、あるいは注意を必要とするケースも存在する。例えば、アルバムを構成するファイル群を電子メールの添付ファイルとして配布する場合、受信側で添付ファイルが格納される位置はアルバムに記述されたＵＲＬとは必ずしも一致しないため、配布されたアルバムは正しく表現されるとは限らない。また、アルバムをインターネット上のサーバに配置して公開する場合は、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などの転送手段を用いてファイル群をサーバ上に転送する際に、転送先のサーバ上で正しいファイル構造が再現されるよう注意深く転送しなければならない。
【００２３】
このように、ネットワークを介してアルバムデータを伝送、配布するケースでは、正しく再生できることが保証されないか、あるいは、正しく再生できるようにするために配布する側に負担をかけてしまうという問題がある。
【００２４】
以上述べたような問題が存在することにより、従来の手法によれば、表現力が高く配布しやすい電子アルバムを作成することは、作成者にとって負担が大きいものであった。
【００２５】
本発明は、上記の課題に鑑みてなされたものであり、電子アルバムを、作成する側にとっての負担が少なく、配布しやすい形式で作成することが可能な電子アルバム作成装置、電子アルバム作成方法及びプログラムを提供するものである。
【００２６】
【課題を解決するための手段】
上記の目的を達成するために、本発明における電子アルバム作成装置は、シーンを構成するオブジェクトの空間的配置と時間的配置とを記述したシーン記述テンプレートを保持する保持手段と、前記オブジェクトの１つである画像データを入力する入力手段と、前記シーン記述テンプレートのプレースホルダーに前記画像データの位置情報を設定することによりシーン記述データを生成する生成手段と、前記シーン記述データと前記画像データとを多重化する多重化手段とを有することを特徴とする。
【００２７】
また、上記の目的を達成するために、本発明における電子アルバム作成方法は、シーンを構成するオブジェクトの空間的配置と時間的配置とを記述したシーン記述テンプレートを保持する保持工程と、前記オブジェクトの１つである画像データを入力する入力工程と、前記シーン記述テンプレートのプレースホルダーに前記画像データの位置情報を設定することによりシーン記述データを生成する生成工程と、前記シーン記述データと前記画像データとを多重化する多重化工程とを有することを特徴とする。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００２９】
図１は、本発明の電子アルバム作成装置の実施形態のシステム構成を示すブロック図である。なお、このシステム構成は本発明を実現するために取りえるひとつの構成例に過ぎない。本発明の意義を充足する限りにおいては、システムの各構成部は任意に再編、統合、分離、再配置出来るものとする。さらに、各構成部の制御方法は、ソフトウェア、ハードウェアの何れの手段によって実現されても良いものとする。
【００３０】
図１における実施形態において、電子アルバム作成装置の利用者による各種操作はユーザ操作１０１として、ユーザ操作入力部１０２を介することによって入力される。ＡＶデータ入力部１０３は、静止画像や動画像、音声などを入力し、デジタル形式のＡＶデータとして装置内部に取り込むためのものである。
【００３１】
シーン記述テンプレート１０４は、電子アルバムを構成するシーンに含まれるＡＶデータの空間的、時間的配置およびその挙動のみが記述されているデータである。シーン記述テンプレート１０４にはＡＶデータ１０６の実際の位置を示すアドレス情報は一切含まず、のちに作成されるシーン記述データのテンプレートとして用いられる。
【００３２】
シーンエディタ１０５は、上述のシーン記述テンプレート１０４とＡＶデータ１０６とを合成し、合成された結果を編集してシーン記述データ１０７として出力する。シーン記述テンプレート１０４で記述される内容は、ＡＶデータのアドレス情報が欠落しているため、最終的に作成されるシーンの内容とは必ずしも一致するものではない。シーンエディタ１０５はシーン記述テンプレート１０４で欠落しているＡＶデータ１０６のアドレス情報を補完し、完全なシーンの内容が記述されたデータを作成するためのモジュールである。また、シーンエディタ１０５は、ＡＶデータ１０６をシーン記述テンプレート１０４にどのように配置するかを指定するため、あるいはシーンに対するその他編集処理を行うため、ユーザ操作入力部１０２から入力されるユーザ操作１０１を受け取る場合もある。
【００３３】
シーン記述エンコーダ１０８は、シーン記述データ１０７の内容をいわゆる「オブジェクトベース符号化」形式におけるシーン記述に対応する形式に符号化し、結果としてシーン記述ストリーム１１０を出力する。同様に、ＡＶエンコーダ１０９は、シーン記述エンコーダ１０８と同様にＡＶデータ１０６の内容をオブジェクトベース符号化形式におけるＡＶデータに対応する形式に符号化し、ＡＶストリーム１１１を出力する。
【００３４】
なお、シーン記述エンコーダ１０８およびＡＶエンコーダ１０９では、符号化処理に加えて、データ形式の変換、あるいは付加情報の符号化処理なども並行して行われる場合がある。一例を挙げれば、前者は入力されたデータが出力されるオブジェクトベース符号化形式ではサポートされない形式であるような場合や、圧縮が不十分あるいは圧縮されていないような場合、もしくは入力データの品質がよくないような場合に、適切な再符号化や再圧縮、品質改善のためのデータ処理などを行うといった処理に相当する。後者は、複数のＡＶデータが同期して再生するための同期情報を付与するといった処理が典型例であろう。
【００３５】
マルチプレクサ１１２は、オブジェクトベース符号化形式で符号化されたシーン記述ストリーム１１０およびＡＶストリーム１１１を多重化し、両者が統合された単一のアルバムデータ１１３を出力する。このアルバムデータ１１３は、最終的に配布対象となる電子アルバムを示すものである。
【００３６】
表示部１１４は、上述の各構成部によって行われた操作や処理の内容、データの内容を利用者に対して表示するためのものである。通信部１１５は、何らかの通信手段を介して、装置の外部からユーザ操作１０１を入力したり、図中の各種データを入力あるいは外部に出力するために用いられる。データ処理部１１６は、少なくとも、ＣＰＵ、テンプレートを保持しておくメモリ、ソフトウェアを保持しておくＲＯＭ、アルバムデータを保持しておく大容量記憶媒体、例えばハードディスクを有しているものである。
【００３７】
なお、図１において、データ処理部１１６が、本発明で示される電子アルバムを構成するために最低限必要な構成部となっている。言い換えれば、ユーザ操作１０１、ユーザ操作入力部１０２、ＡＶデータ入力部１０３、表示部１１４、通信部１１５は、全ての実施形態において必ずしも存在するとは限らない。
【００３８】
続いて、本発明の特徴について簡単に述べる。
【００３９】
本発明では、本来のシーン記述のデータから、参照されるＡＶデータの実体を示すアドレス情報を除いたデータをシーン記述テンプレート１０４としてあらかじめ用意しておく。
【００４０】
そして、そのシーン記述テンプレート１０４中のＡＶデータの情報を示す部分に、実際のＡＶデータのアドレス情報を補完したシーン記述データ１０７を生成し、ＡＶデータ１０６とともに多重化して、単一のアルバムデータ１１３を生成することを特徴としている。
【００４１】
このように、シーン記述データおよびＡＶデータを、最終的に単一の多重化ファイルにアーカイブすることにより、シーン記述のフォーマットがＵＲＬなどによる外部参照を行うようなフォーマットであっても、データ同士の参照関係が損なわれることなく安全・確実に伝送・配布することが出来る電子アルバムを生成することが可能になる。
【００４２】
以下、本発明の実施の形態について、いくつか具体例を挙げて説明する。
【００４３】
（実施の形態１）
図１のシステム構成をよりわかりやすく示すため、現実の装置への適用例として、図１のシステム構成を適用して実装されたデジタルカメラの実施例を図２に示す。
【００４４】
図２のレンズ２０１、マイクロフォン２０２は、それぞれ映像、音声を入力するための部分で、ＡＶデータ入力部１０３に相当する。レンズ２０１およびマイクロフォン２０２からの入力は内部的にデジタルデータに変換され保存されると仮定する。
【００４５】
シャッターボタン２０３、メニューボタン２０４、キーパッド２０５はユーザ操作入力部１０２に相当する。各ボタンが押された時の動作として、メニューボタン２０４には利用者が行うことが出来る操作内容を列記するメニュー画面の出力、キーパッド２０５には画面上で利用者が行うことが出来る操作を選択する領域の移動、シャッターボタン２０３には、映像および音声の記録操作に加え、画面上で選択された操作の決定といった動作が割り当てられていると仮定する。
【００４６】
ディスプレイ２０６は表示部１１４に相当し、撮影された映像等の内容やメニュー画面、電子アルバムを編集するための操作画面などが表示されるものとする。
【００４７】
カードスロット２０７は、外部とデジタルデータの交換を行うため、データが記録された揮発性メモリーカード等の装置の着脱を行うためのものである。通信ポート２０８も同じく外部とのデータ入出力を行うための通信手段を提供するインターフェースである。通信ポート２０８で提供される通信方式は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のような有線通信であっても、Ｂｌｕｅｔｏｏｔｈのような無線通信であっても良い。また、カードスロット２０７には、ＰＨＳカードのような通信装置を装着してデータ通信を行う形態もありえる。ゆえに、広義ではカードスロット２０７、通信ポート２０８のいずれも通信部１１５に相当すると言える。
【００４８】
図２記載のカメラは、撮影した映像、音声を電子アルバムとして編集するための簡易アプリケーションが搭載されており、作成されるアルバムデータ１１３はファイルとしてカードスロット２０７、通信ポート２０８等を介して取得可能であると仮定する。
【００４９】
なお、本実施の形態で用いられるオブジェクトベース符号化形式は、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）により標準規格化されているＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６）を用いるものとして説明を行う。
【００５０】
すなわち、シーン記述ストリーム１１０は、ＭＰＥＧ−４ Ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ １４４９６−１）によって規格化されたＭＰＥＧ−４におけるシーン記述形式であるＢＩＦＳ（Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ Ｓｃｅｎｅ）形式のストリームデータとなる。このＢＩＦＳは、三次元空間の記述形式として知られるＶＲＭＬ （ＩＳＯ／ＩＥＣ ＣＤ １４７７２−Ｔｈｅ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｉｌｉｎｇ Ｌａｎｇｕａｇｅ）を拡張したものとして規定されており、伝送や記録が効率的に行えるようにバイナリ形式で符号化されるといった特徴を持つフォーマットである。
【００５１】
ＶＲＭＬおよびＢＩＦＳでは、ＨＴＭＬで記述されるような「空間的配置」情報の記述に加えて、ＡＶデータが表示あるいは消去されるタイミングを記述したり、時間の経過に応じて表示位置などの属性を変化させたりといった時間的な情報の記述が可能になっている。以下、このような時間的な情報を、前述の空間的配置という表現に対応させ、「時間的配置」と表す。
【００５２】
また、ＶＲＭＬおよびＢＩＦＳでは、画面上に配置されているＡＶデータが、マウスなどのポインティング・デバイスで選択された時にどのような動作を行うかといった「挙動」を記述することも仕様の一部としてサポートされている。
【００５３】
その他、ＶＲＭＬが提供する三次元空間表現やベクターグラフィックによる図形表現などのより高度な空間表現も提供されている。
【００５４】
これらの機能を用いて、ＡＶデータの「空間的配置」、「時間的配置」、および「挙動」が定義されたシーンの情報を電子アルバムに記述することで、ＡＶデータがアルバム上で表示位置を変えながら動いたり、閲覧者がアルバム上のＡＶデータを選択するとそのＡＶデータが動き出すといったような、より豊かでインタラクティブなアルバムを表現することが出来る。
【００５５】
本実施の形態では、上記の機能を活用して、多彩な表現を持ったアルバムを作成する場合を例にとって説明していく。
【００５６】
また、出力されるアルバムデータ１１３は、ＭＰＥＧ−４ Ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ １４４９６−１）におけるファイル形式として規格化されているＭＰ４フォーマットであるものとしている。このＭＰ４フォーマットでは、シーン記述データと参照されるＡＶデータとを多重化してひとつのファイルとして記録するための方法についても規格化されており、本実施の形態ではこの多重化方法にしたがってアルバムデータ１１３を生成するものとする。
【００５７】
このアルバムデータ１１３は、最終的に他の機器に伝送・配布されるものであるため、多くの機器で正しく表示出来るよう、標準フォーマットやそれに準ずる一般的なフォーマットで出力されることが望ましい。本実施の形態で用いられているＭＰ４フォーマットは、国際標準規格として定められたフォーマットである。本明細書の作成時点では、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ社のＱｕｉｃｋＴｉｍｅ Ｐｌａｙｅｒ（登録商標）やＮＴＴドコモ社の移動体通信サービスであるＦＯＭＡ（登録商標）に対応した動画再生機能付きの機器でサポートされており、今後さらに普及することが見込まれている。
【００５８】
続いて、本実施の形態の電子アルバム作成装置で作成することが出来るアルバムの一例を図３に示す。
【００５９】
図３の３０１で示される領域全体が電子アルバムである。その内部には静止画像を表示する領域３０２、３０３、３０４が配置されており、それぞれの領域には静止画ファイルｐｈｏｔｏ１．ｊｐｇ、ｐｈｏｔｏ２．ｊｐｇ、ｐｈｏｔｏ３．ｊｐｇの内容が表示される。その背後には、アルバムの台紙を表現した静止画ファイルｂｏｏｋ．ｊｐｇの内容が領域３０１全体に背景画像として表示されている。このような形で、それぞれの静止画の「空間的配置」情報がアルバムに記述されているものとする。
【００６０】
さらに、このアルバムには、領域３０２、３０３、３０４を何らかのポインティングデバイスを用いて画面上で選択すると、「それぞれの領域に表示されている内容が、現在表示されている位置から、領域３０５の位置に移動して拡大表示され、のちに、元の位置に縮小しながら移動する」といった「挙動」が記述されているものとする。
【００６１】
また、選択された内容は、０．５秒間で大きさ、位置を変化させながら領域３０５に移動し、領域３０５に４秒間表示された後、再び０．５秒間で縮小しながら元の位置に戻るといった時間軸をともなうアニメーション表示を行うよう、拡大・縮小時の動作の「時間的配置」が記述されている。
【００６２】
このように、アルバムには表示されるデータの「挙動」および「時間的配置」も定義されているものとする。
【００６３】
図３のアルバムの内容は、図４〜図６に示されるシーン記述で表現することが出来る。図４〜図６は、図３で示されるシーンの内容をＢＩＦＳに相当する形式で記述したものであり、図４の次に図５が続き、図５の次に図６が続く。ＢＩＦＳはバイナリ形式のデータであるため実際の符号化データはこういったテキスト形式では記録されないが、ＢＩＦＳはＶＲＭＬを元にした形式であるため、図４〜図６ではＶＲＭＬの記法を元にしたテキスト形式で表現している。
【００６４】
ＶＲＭＬのようなテキスト形式のフォーマットは、人間が解釈することを前提として、英単語や恣意的な記号などを用いて表現内容を言語として記述するようになっているため、これらのフォーマットを用いて記述された内容は、テキストエディタなどの一般的なツールを用いて容易に編集することが可能である。それに対し、ＢＩＦＳのようなバイナリ形式のフォーマットは、テキスト形式と比較して小さなサイズとなるので、効率的に伝送や記録が行える。
【００６５】
したがって、本実施の形態では、シーン記述テンプレート１０４およびシーン記述データ１０７はデザイナーがテンプレートを容易に作成、編集できるようにＶＲＭＬに基づくテキスト形式の表現で記述し、シーン記述ストリーム１１０は最終的なアルバムのフォーマットであるＭＰ４で規定される仕様に基づき、バイナリ形式のＢＩＦＳデータとして記録するものとしている。
【００６６】
以下、このシーン記述の要点についてのみ簡単に説明する。なお、記述内容を詳細に渡って説明することは本発明を説明するためには不要と思われるため省略する。
【００６７】
図４〜図６のシーン記述では、それぞれの画像はＵＲＬを用いて参照されている。その内容をＳｈａｐｅと呼ばれるオブジェクトの形状を記述するノード内で、ＩｍａｇｅＴｅｘｔｕｒｅと呼ばれるノードを用いて、Ｂｉｔｍａｐと呼ばれる図形オブジェクトに貼り付けることを指示している。さらに、貼り付けられたオブジェクトを拡大、縮小するための倍率ｓｃａｌｅ、所定の座標位置に配置するためのｔｒａｎｓｌａｔｉｏｎと呼ばれる属性値によって表示時のサイズ、位置が指定されている。
【００６８】
なお、ＶＲＭＬでは画面の中心を原点とするいわゆる三次元ワールド座標が用いられているため、座標系は通常の二次元座標とは異なっている。その上で、各画像ファイルの大きさが６４０×４８０ピクセルの場合、表示結果は図３のレイアウトと一致する。
【００６９】
加えて、ポインティングデバイスによる選択操作を検出し、イベントを発生させるセンサーオブジェクトＴｏｕｃｈＳｅｎｓｏｒ、拡大・縮小が行われる間の計５秒間のオブジェクトの位置および表示倍率の変化を定義するＰｏｓｉｔｉｏｎＩｎｔｅｒｐｏｌａｔｏｒ２Ｄ、５秒間の間に周期的にタイマーイベントを発生させるタイマーオブジェクトＴｉｍｅＳｅｎｓｏｒ、そして、ＴｉｍｅＳｅｎｓｏｒやＴｏｕｃｈＳｅｎｓｏｒから発生したイベントを、ＰｏｓｉｔｉｏｎＩｎｔｅｒｐｏｌａｔｏｒ２ＤおよびＢｉｔｍａｐオブジェクトなどのオブジェクトへ受け渡すルートを定義するＲＯＵＴＥノードによって、図３で示されるシーンが表現されることになる。
【００７０】
このＲＯＵＴＥによるオブジェクトの連携動作を簡単に説明する。例えばこのシーン記述では、”ｐｈｏｔｏ１．ｊｐｇ”の静止画を選択すると、その静止画オブジェクトＰＩＣＴ１に対して設定されているセンサーオブジェクトＳＥＮＳＯＲ１が「オブジェクトを選択された」というイベントを検知すると、そのタイミングで、ＰＩＣＴ１の大きさ、位置のアニメーション表示を管理するためのタイマーオブジェクトＴＩＭＥＲ１のタイマーを開始させるという連携動作が定義されているが、この両者の関連は、図６の”ＲＯＵＴＥ ＳＥＮＳＯＲ１．ｔｏｕｃｈＴｉｍｅ ＴＯ ＴＩＭＥＲ１．ｓｔａｒｔＴｉｍｅ”という形で記述される。
【００７１】
同様にして、ＴＩＭＥＲ１のタイマーが開始されたら、一定間隔毎に位置、大きさを示す数値を変化させるオブジェクトであるＩＮＴ１、ＳＣＡＬＥ１オブジェクトにイベントが通知される。
【００７２】
このＩＮＴ１、ＳＣＡＬＥ１オブジェクトには、時間に応じた数値の変化量が定義されており、タイマーからイベントが通知されたら、通知された時間に対応する数値をそれぞれＰＩＣＴ１の位置、表示倍率に設定する。
【００７３】
以上のように、オブジェクト間の関連を記述しておき、実行時にオブジェクト間が連携動作を行うことによって、図３のように動きのあるアルバムを表現することができる。
【００７４】
図４〜図６で示されるように、電子アルバムを作成するためには、多くの属性や時間軸に伴う動き情報、オブジェクトを連携動作させるための情報が記述されなければならない。アルバムを作成する側にとっては、編集時にこれらの情報を逐一設定していくのは、人間であれツールであれ非常に負担が大きなものである。
【００７５】
そこで、本発明では、参照されるＡＶデータの実体を示すアドレス情報を除いたシーン記述のデータをテンプレートとして用意しておき、アドレス情報の部分のみを編集するといったきわめて単純化された編集機能を提供することによって、作成する側の負荷を軽減するようにしている。
【００７６】
図７は、本発明の根幹をなすシーン記述の編集処理の内容を図説するものである。
【００７７】
シーン記述テンプレート１０４は、外部参照されるべきＡＶデータのアドレス情報、すなわちＵＲＬが記述されていない状態で作成され、作成装置にあらかじめ供給される。そして、シーンエディタ１０５は入力されたシーン記述テンプレート１０４の内容に対して、参照されるＡＶデータ１０６（図７の場合、”ｐｈｏｔｏ１．ｊｐｇ”）のＵＲＬを埋め込む処理を行って、結果をシーン記述データ１０７として出力している。
【００７８】
上記の処理が、図３のアルバムを扱う場合にシーンエディタ１０５において行われる際に表示される画面の例を図８に示す。なお、この例では、図３のアルバムの領域３０２、３０３、３０４に記述されるべきＵＲＬを含まないシーン記述テンプレート１０４が、あらかじめ供給されているものと仮定する。
【００７９】
シーンエディタ１０５は、入力されたシーン記述テンプレート１０４を解析し、外部データを参照するよう記述されているにも関わらずＵＲＬが定義されていない部分を検出すると、そのノードは、シーンエディタ１０５での編集処理時にＡＶデータが指定される場所である「プレースホルダー」であると解釈し、未定義のＡＶデータの代わりに何らかの内容を代替表示する。
【００８０】
図８の例では、編集操作を行う利用者に対してプレースホルダーの位置にＡＶデータの指定するよう促す内容を示す画像ファイル８０１を表示している。そして、利用者の操作によってプレースホルダーの位置にＡＶデータが指定されたら、指定されたＡＶデータの内容を表示し、同時に、内部的にプレースホルダーに該当するノードに、指定されたＵＲＬ情報を設定するといった処理が行われる。
【００８１】
引き続き、シーンエディタ１０５の処理の流れを図９を用いて順を追って説明し、さらに、その他の図を用いて、図９の各ステップの実行時にどのような画面表示が行われるかを例示していく。
【００８２】
なお、本発明は画面およびインターフェースに関するものではないので、どのようなインターフェースが用いられても良いものとする。
【００８３】
まず、図９は、シーンエディタ１０５で行われるシーン記述データ作成処理の手順を示すフローチャートである。
【００８４】
ステップＳ９０１は、シーンエディタ１０５が処理するシーン記述テンプレート１０４を選択する。
【００８５】
本実施の形態では、メニューボタン２０３が押下された時に、図１０に示されるようなメニュー画面を表示することで、どのような機能を実行するかを利用者に選択させるようにしている。図１０は、処理選択メニュー画面のイメージである。図１０では、利用者が次に実行するアクションを画面上の選択領域１００１で示しているが、選択領域１００１を「テンプレートを選択」の位置にあわせて決定すると、図１１に示されるようなテンプレートの選択画面が表示される。図１１は、テンプレート選択画面のイメージである。図１１では、領域１１０１に使用可能なテンプレートが縮小表示され、領域１１０２には、選択領域１１０３によって選択されたテンプレートが拡大表示される。そして、利用者によって選択内容が決定されると、次のステップに進む。
【００８６】
ステップＳ９０２は、ステップＳ９０１で選択されたシーン記述テンプレート１０４を読み込んで、内容を解析し、シーン記述に含まれるプレースホルダーの位置を検出する。
【００８７】
本実施の形態では、図７のシーン記述テンプレート１０４で示されるような「ＵＲＬの部分が空のＳｈａｐｅノード」をプレースホルダーとみなすものとしている。プレースホルダーが検出されたら、その位置等の情報を取得し、図８ような初期レイアウトのアルバムを表示する。その際、シーン記述中に含まれるＵＲＬは有効ではないため、無効なＵＲＬに対しては図８で示されるような代替表示を行うなどの手段で、有効でないＵＲＬが使用されていることによる異常な表示や動作が行われることを回避する処理が行われることが望まれる。
【００８８】
ステップＳ９０３は、ステップＳ９０２で検出されたプレースホルダーの位置に配置するＡＶデータを選択する。
【００８９】
本実施の形態では、図１２が示すような編集画面を用いて、利用者にＡＶデータを選択させるものとする。図１２は、アルバム編集画面のイメージである。図１２の領域１２０１には、作成装置から参照することの出来るＡＶデータやその属性情報が表示され、領域１２０２にはステップＳ９０１で選択されたシーン記述テンプレートで表されるレイアウトが表示される。また、ステップＳ９０２で検出されたプレースホルダーは、領域１２０２上の選択領域１００３で選択することが可能であるとする。
【００９０】
利用者はまず、領域１２０２上でＡＶデータを指定するプレースホルダーを選択すると、利用者が操作可能なアクティブな選択領域は、選択領域１２０３から選択領域１２０４に変わる。そして、利用者は領域１２０１上で選択領域１２０４を操作することで、ＡＶデータを選択する。この選択領域１２０３および選択領域１２０４によって、どのＡＶデータをどのプレースホルダーに配置するかを設定する。
【００９１】
ＡＶデータが決定されると、選択領域１２０３が示すプレースホルダーの位置に選択領域１２０４で示されるＡＶデータが貼り付けられて表示される。
【００９２】
ステップＳ９０４は、ステップＳ９０３で指定されたプレースホルダーが、シーン記述テンプレート１０４のどの位置に対応するかを特定する。
【００９３】
ステップＳ９０５は、選択されたプレースホルダーに対応するシーン記述の内容をチェックし、選択されたＡＶデータとシーン記述で指定されているデータ形式が一致しているかチェックを行う。
【００９４】
本実施の形態では、プレースホルダーの位置のオブジェクトはいずれも静止画の内容をオブジェクトに貼り付けることを指示するＩｍａｇｅＴｅｘｔｕｒｅノードを用いてＵＲＬを指定している。すなわち、プレースホルダーに貼り付けられるＡＶデータは静止画でなければならず、動画、音声を指定することは出来ない。したがって、ステップＳ９０５では指定されたＡＶデータのデータ形式とシーン記述が指定するデータ形式との比較を行い、データ形式が正しいかどうかチェックを行っている。
【００９５】
なお、ＡＶデータ形式をチェックするには、データの内容を解析してフォーマットを特定する方法と、ファイル名の拡張子などからフォーマットを推定する方法の二通りが考えられるが、いずれの方法が用いられても良い。
【００９６】
ステップＳ９０６は、ステップＳ９０５においてデータ形式が一致しなかった場合は、ＡＶデータを貼り付けることが出来ない旨を利用者に通知するエラー処理を実行し、ステップＳ９０３に戻る。
【００９７】
エラー処理がどのように行われるかはシステムの仕様によって異なるためここでは規定しないが、画面表示を行う場合は何らかのエラーメッセージを表示するか、あるいは何も行わないといった処理が一般的であると考えられる。
【００９８】
ステップＳ９０７は、ステップＳ９０５においてデータ形式が一致した場合は、選択されたＡＶデータのＵＲＬをシーン記述テンプレートのプレースホルダーの位置に設定する。
【００９９】
また、本実施の形態では、ＡＶデータが設定されたことを示すため、プレースホルダーの位置に選択されたＡＶデータの内容を表示する処理も行っている。
【０１００】
ステップＳ９０８は、編集処理を継続するかどうかをチェックする。継続する場合はステップＳ９０３に戻り、編集処理を終了する場合はステップＳ９０９に移る。
【０１０１】
本実施の形態では、図１０のメニュー画面で「アルバムを保存」を選択することで、ステップＳ９０９の処理に移行する。
【０１０２】
ステップＳ９０９は、ステップＳ９０７でＵＲＬ情報が書き換えられたシーン記述データの内容を、シーン記述データ１０７として出力する。
【０１０３】
本実施の形態では、図７のシーン記述データ１０７で示されるように、シーン記述テンプレートには設定されていなかったＵＲＬが埋められた形のシーン記述データが出力されるものとする。また、プレースホルダーにＡＶデータが指定されずにシーン記述データ１０７の出力を行う場合には、ＵＲＬが設定されていない状態のままとなり後続の処理が正しく動作しない恐れがあるため、本実施の形態ではそのようなＡＶデータが設定されていないプレースホルダーの位置には、図８の８０１で示すような代替ファイルのＵＲＬを設定するものとしている。
【０１０４】
以上ステップＳ９０１〜ステップＳ９０９の処理によって、シーンエディタ１０５によってシーン記述テンプレート１０４とＡＶデータ１０６が合成され、シーン記述データ１０７が作成される。
【０１０５】
なお、本発明を用いて映像データと同様に音声データを扱う必要がある際には、注意しなければならない点がある。音声データは、その性質によりデータの内容を画面上に表示することが出来ないため、上述の静止画ファイルの場合と同じようにプレースホルダーの位置にデータが貼り付けられたことをＡＶデータの内容を表示することで表現することが出来ない。また、映像が貼り付けられたオブジェクトは画面上で選択することが可能だが、音声が貼り付けられたオブジェクトは、何らかの可視形態を伴うオブジェクトと併用されなければ選択することは出来ない。
【０１０６】
図１３は、電子アルバムに音声データを用いる際の対処法を示すものである。
【０１０７】
図１３の領域１３０１、１３０２、１３０３は、音声データのプレースホルダーを示す領域であり、音声データが未設定の場合は、代替表示として画像ファイル１３０５の内容が表示される。そして、音声データ１３０６がプレースホルダーの位置に設定されたら、音声データが設定されていることを示す画像を表示するようにすることが望ましい。そのためには、実際には音声データが貼り付けられたオブジェクトは、編集画面上では可視オブジェクトとして表示するといった例外的な処理が実装されている必要がある。図１３の例では、領域１３０１に音声データが設定されたら、画像ファイル１３０７を表示している。
【０１０８】
また、音声が貼り付けられたオブジェクトを選択させる場合には、何らかの選択可能な可視オブジェクトを併用し、可視オブジェクトが選択されたら音声オブジェクトも選択されるように記述されたシーン記述テンプレートが必要になる。図１３は、領域１３０４に静止画のプレースホルダーを配置し、領域１３０４の静止画が選択されたら、それと連動して領域１３０１に設定された音声データが再生されるように関連を定義することを示している。こういった関連の定義は、ＢＩＦＳの場合は上述のＲＯＵＴＥノードによって記述することが可能である。
【０１０９】
以上、具体的な実施の形態を例にとって、本発明の基本的な原理について説明してきた。
【０１１０】
（実施の形態２）
実施の形態２として、実施の形態１で説明を行ったものとは別のシーン記述テンプレートを用いてアルバムを作成する場合を例にとって説明を行う。
【０１１１】
図１４は、本実施の形態の説明に用いる電子アルバムを示すものである。このアルバムのシーン記述は、図１７〜図２０に示し、図１７の次に図１８、図１９、図２０の順に続く。
【０１１２】
この電子アルバムのシーン記述では、領域１４０１の内部に、ファイルｐｈｏｔｏ１．ｊｐｇ、ｐｈｏｔｏ２．ｊｐｇ、ｐｈｏｔｏ３．ｊｐｇが表示される領域１４０２、１４０３、１４０４、および、背景画像として表示される静止画ファイルｂｇ．ｊｐｇが配置されている。また、領域１４０２、１４０３、１４０４を画面上で選択すると、「それぞれの領域の表示内容が、領域１４０５の位置に移動して拡大表示される」といった挙動が記述されている。
【０１１３】
さらに、領域１４０２、１４０３、１４０４にはそれぞれ、「画面上から下に移動し、表示位置がアルバムの領域外になったら表示位置を画面の上端に戻す」といった挙動も記述されている。
【０１１４】
この移動動作について、領域１４０２の場合を例にとって、図１５を用いて簡単に説明しておく。図１５は、アルバム中のオブジェクトが自律的に動き回る電子アルバムの表示イメージを示す図である。
【０１１５】
領域１４０２は、初期状態では座標（２１０，３００）の位置に表示されているが、時間の経過に応じて位置を少しずつ変化していく。そして、２０秒後に元の位置に戻り、再度同じ動作を繰り返すという動きが記述されている。その動き方の詳細は、下記の通りである、
【０１１６】
（１）動作開始の直後から１９秒後までの間に、（２１０，３００）から（２１０，−３６０）の位置に移動。
（２）１９秒後から１９．０２秒後までの間に、（２１０，−３６０）から（６００，−３６０）の位置に移動。
（３）１９．０２秒後から１９．２秒後までの間に、（６００，−３６０）から（６００，３６０）の位置に移動。
（４）１９．２秒後から１９．２２秒後までの間に、（６００，３６０）から（２１０，３６０）の位置に移動。
（５）１９．２２秒後から２０秒後までの間に、（２１０，３６０）から（２１０，３００）の位置に移動。
【０１１７】
上記（１）〜（５）の動作が、２０秒間隔で繰り返し実行されるよう定義されている。定義の詳細に関しては、図１７〜図２０のシーン記述の内容を参照されたい。
【０１１８】
図１６は、図１４の電子アルバム中の再生時のイメージを示す図である。図１６（ａ）、図１６（ｂ）、図１６（ｃ）の順で再生中の時間経過を表し、表示部１１４には、領域１４０１内が表示されるので、図１６（ｂ）のときは、１４０４は表示されていないこととなる。時間的配置の遷移が領域１４０２、１４０３、１４０４に上述したように定義されていることによって、このアルバムが再生されると、図１６で示されるように、３枚の静止画が上から下にスクロールしているように動き、それによって、フィルムが流れているような表示が行われる。
【０１１９】
以上のように、図１４の電子アルバムは、図３のものと空間的配置はほぼ同じであるが、アルバム上のオブジェクトがそれぞれ自律的に動き回るという点で、図３のものとは内容は大きく異なっている。しかし、図１４の電子アルバムを作成する時の利用者の編集操作は、図３のアルバムを作成する場合に行われる操作とまったく同じものとなる。
【０１２０】
すなわち、本発明の電子アルバム作成方法を適用すれば、定義されている挙動や時間的配置が異なっている複数のシーン記述テンプレートに対しても、利用者はプレースホルダーにＡＶデータを指定するといった統一された操作のみでアルバム作成が可能になる。
【０１２１】
（実施の形態３）
シーン記述テンプレート１０４のプレースホルダーの位置は、図７で示されるような「空のＵＲＬを設定する」以外の方法で記述することが可能である。
【０１２２】
図２１は、シーン記述テンプレート１０７の記述例である。図２１（ａ）では、シーン記述中に「ＰＬＡＣＥＨＯＬＤＥＲ」で始まるキーワードを設定することによって、そのキーワードが存在するノードがプレースホルダーであることを示す例である。
【０１２３】
記述中のＤＥＦは、あるノードに対して利用者が任意に定義した名前を設定するためのＶＲＭＬの予約語であり、この例はＳｈａｐｅノードに対して「ＰＬＡＣＥＨＯＬＤＥＲ＿１」という名前を設定していることを表している。なお、ＶＲＭＬでは、ＤＥＦで設定される名前はファイル内で一意でなければならないため、この例では名前の一意性を確保するために「＿１」という接尾句を付与している。
【０１２４】
図２１（ｂ）では、図２１（ａ）と同様の手法を用いて、さらに貼り付けることが可能なデータ形式を特定するために「ＩＭＡＧＥ」というキーワードを設定している。実装形態によっては、このようなキーワードを設定することによって、図９のステップＳ９０５で行われるデータ形式のチェックが簡単に行える場合があるかもしれない。その他、システムの仕様によって任意の情報を示すデータがキーワードとして追加されても良い。また、キーワードの表現もどのようなものが用いられても良い。
【０１２５】
このように、シーン記述中に「プレースホルダーであることを示す何らかの情報」を許容される文法の範囲で記述することによってプレースホルダーの位置を指定しても良い。
【０１２６】
（実施の形態４）
シーン記述データ１０７に埋め込まれるアドレス情報は、図７で示されるようにＵＲＬでなくとも、ＡＶデータの位置を特定することが可能な情報である限りは、どのようなものでも利用可能である。
【０１２７】
図２２では、シーン記述データ１０７にＡＶデータの位置を示す情報としてＵＲＬの代わりに一意な番号を指定する例を示した。この例では、外部参照されるＡＶデータ１０６を特定する情報として、ファイル名”ｐｈｏｔｏ１．ｊｐｇ”ではなく、番号”１”がシーン記述データ１０７に設定されている。
【０１２８】
この番号”１”は、ファイル”ｐｈｏｔｏ１．ｊｐｇ”に関連付けられて発番された番号で、関連テーブル２２０１によって両者の関連が記述されている。この関連テーブル２２０１はシーン記述データ１０７からＡＶデータ１０６を特定する際に、シーン記述中の番号に対応するファイル名を参照することによって可能である。なお、この関連テーブル２２０１は、シーン記述データ１０７の一部として作成されても、シーン記述データとは別のデータとして作成されても良い。
【０１２９】
このように、ＡＶデータのアドレス情報はデータの位置を特定するという目的が満たせるものであれば、任意の形式で設定することが可能である。
【０１３０】
（実施の形態５）
図９のステップＳ９０１におけるテンプレートの選択処理では、利用者にテンプレートを選択させるのではなく、テンプレートが自動的に選択されるような形態も考えられる。
【０１３１】
例えば、ステップＳ９０１には、記録されているＡＶデータのファイル数あるいはデータ形式に応じて、適切なプレースホルダーの数あるいはデータ形式が定義されたテンプレートを選択するといった機能を持たせることによって、選択を自動化させることも可能である。
【０１３２】
あるいは、常に同じテンプレートを使用するようにするといった形態も、広義の自動選択を行う形態として考えられる。
【０１３３】
（実施の形態６）
テンプレート選択と同様に、図９のステップＳ９０３におけるＡＶデータの選択処理も、利用者に選択させるのではなく、ＡＶデータを自動選択する形態もありえる。
【０１３４】
例えば、ステップＳ９０３の選択処理として、ＡＶデータの作成日付順にシーン記述中のプレースホルダーに無条件に配置するといった方法によってＡＶデータを自動的にテンプレートに割り当てるといった処理を行うことも可能である。この形態によれば、いわゆるインデックスプリントのような表現形態を実現するアルバムを利用者の操作を用いずとも作成することが出来る。
【０１３５】
または、プレースホルダーが一つのみ記述されたテンプレートを用いて、ＡＶデータが入力されたら常に唯一のプレースホルダーにＡＶデータを割り当てるといった形態も、広義の自動選択を行う形態として考えられる。この形態を実施する場合は、実施の形態５のテンプレート自動選択機能を併用して、ＡＶデータのデータ形式と一致するテンプレートを自動選択する機能を提供することが好ましい。
【０１３６】
（実施の形態７）
図９のステップＳ９０８における編集操作の続行を選択する処理も、利用者の選択に基づいて行うのではなく、自動的に行う形態も考えられる。
【０１３７】
例えば、実施の形態６で示したような、常に唯一のプレースホルダーにＡＶデータが自動的に割り当てられる形態においては、ＡＶデータが割り当てられた時点で編集処理は終了したと解釈出来るため、ステップＳ９０８では無条件にステップＳ９０９のシーン記述データ作成処理に進むものとして処理できる。
【０１３８】
なお、以上述べた実施の形態５〜７のいずれにも該当する形態の場合は、シーン編集のためのユーザ操作は一切必要なくなるため、ユーザ操作１０１およびユーザ操作入力部１０２は不要となる。
【０１３９】
なお、アルバムのデータ形式にＭＰ４フォーマットを用いる場合は、データ交換の際の相互運用性を高めるために、ＭＰ４フォーマットの基礎となる仕様を策定したＡｐｐｌｅ Ｃｏｍｐｕｔｅｒ社をなどの多くの企業からなる業界団体であるＩＳＭＡ（Ｉｎｔｅｒｎｅｔ Ｓｔｒｅａｍｉｎｇ Ｍｅｄｉａ Ａｌｌｉａｎｃｅ）によって定められた、ネットワーク上でいわゆるストリーミングを行うことを前提に最適化されたフォーマットを基本としてデータを作成すると効果的であると思われる。しかし、本明細書の執筆時点でＩＳＭＡによって標準として定められているＭＰ４のフォーマット仕様 ＩＳＭＡ Ｖ１．０（“Ｉｎｔｅｒｎｅｔ Ｓｔｒｅａｍｉｎｇ Ｍｅｄｉａ Ａｌｌｉａｎｃｅ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｖｅｒｓｉｏｎ １．０”）では、シーン記述として、ＭＰＥＧ−４ Ｖｉｄｅｏ形式の動画データ、およびＭＰＥＧ−４ Ａｕｄｉｏ形式の音声データがそれぞれ一つのみがシーン領域全体に配置されているだけの極めて単純なＢＩＦＳデータのみを許可している。
【０１４０】
そのため、本発明の構成は、撮像と同時にＩＳＭＡ Ｖ１．０に準拠したＭＰ４形式ファイルを自動的に作成するといった目的にも適用可能である。
【０１４１】
なお、ＩＳＭＡの将来の仕様では、より複雑なシーン記述がサポートされると思われる。しかしその場合でも、本発明のシステム構成に従えば、シーン編集部分に限っては、複雑なシーン記述がサポートされた場合であっても基本構成を大幅に変更することなく対応可能である。
【０１４２】
（実施の形態８）
電子アルバム作成装置に供給されるシーン記述テンプレート１０４のデータ形式は、図４〜図６および図７で示されるようなＶＲＭＬに基づく形式以外のものも考えられる。
【０１４３】
ひとつの有力な形態として、シーン記述テンプレートをＸＭＬ形式で記述するといった形態が考えられる。特に、ＭＰＥＧ−４においては、ＸＭＴ（ｅＸｔｅｎｓｉｂｌｅ ＭＰＥＧ−４ Ｔｅｘｔｕａｌ Ｆｏｒｍａｔ）と呼ばれる、ＢＩＦＳをＸＭＬ形式で記述するためのデータ形式がＩＳＯ／ＩＥＣ １４４９６−１の拡張規格として定められている。このＸＭＴをシーン記述テンプレートとして用いることにより、ＢＩＦＳと完全に一致する表現を、標準規格として定められたテキスト形式によって記述、編集することが可能になる。
【０１４４】
（実施の形態１０）
アルバムデータ１１３のデータ形式および符号化形式は、ＭＰＥＧ−４に限らず、ＡＶデータおよびその配置・挙動を記述し、多重化することが可能な形態であれば、どのような形式であっても良い。
【０１４５】
具体例を挙げれば、Ｍａｃｒｏｍｅｄｉａ社によって仕様が定められ、現在パーソナル・コンピュータを中心に多くの処理系でサポートされているマルチメディアデータ形式である”Ｆｌａｓｈ”（登録商標）を用いるといった形態が考えられる。
【０１４６】
Ｆｌａｓｈは、国際標準規格ではないものの、ＢＩＦＳと同様に、イベント処理などのインタラクティブな表現を記述することが可能であり、ＢＩＦＳに類似するシーン記述機能を持ったフォーマットとしては、現状ではむしろＭＰＥＧ−４よりも普及している。また、Ｆｌａｓｈのデータの内容は、拡張子”．ｓｗｆ”のファイルとしてＭＰ４フォーマットと同様に多重化することが可能である。このｓｗｆファイルフォーマットも、ＩＳＭＡで定められるようにストリーミング配信に最適化されている。以上の特性から、Ｆｌａｓｈは本発明に適用するには好適なフォーマットであると言えよう。
【０１４７】
ただし、Ｆｌａｓｈの場合は、シーン記述テンプレート１０４の記述に用いることができるような標準的なテキスト形式のフォーマットは定義されていない。したがって、Ｆｌａｓｈ形式でサポートされる表現をテキスト形式で記述することが可能なデータ形式を何らかの形で定義し、その形式でテンプレートを記述しなければならない。
【０１４８】
（実施の形態１１）
シーン記述テンプレート１０４は、テンプレートの一部を構成するＡＶデータ１０６がある場合は、シーン記述テンプレート１０４の一部として同時に供給されても良い。例えば、図３における背景画像ｂｏｏｋ．ｊｐｇなどは、テンプレートの一部として供給されるのが適切であろう。
【０１４９】
また、シーン記述テンプレート１０４とＡＶデータ１０６といった複数のファイルを一度に供給する際には、容易に供給できるようにするため、シーン記述テンプレート１０４および構成ファイル群をＺＩＰ、ＬＺＨといったアーカイブファイル形式の単一ファイルとして、まとめて供給するといった形態も考えられる。
【０１５０】
ただし、この場合アーカイブファイル中に含まれるファイルを参照、更新するためには、シーンエディタ１０５はアーカイブファイルを解凍し、個々のファイルにアクセスするための手段を備えていなければならない。
【０１５１】
（実施の形態１２）
図１に示される各構成部は、必ずしも同一の装置内に存在するとは限らない。本発明は、図２３のように、構成部が複数の装置に配置され、各装置が通信手段を用いて連携することによって実現されても良い。図２３は、本発明を複数の装置によって実施される場合の構成例である。
【０１５２】
図２３において、２３０１はデジタルカメラ、２３０２はパーソナルコンピュータ、２３０３はインターネット上のサーバを示している。このような機器構成で、例えばデジタルカメラ２３０１ではＡＶデータ入力部１０２に相当する機能のみを提供し、その他の機能はすべてパーソナルコンピュータ２３０２で提供されるといった形態も考えられる。
【０１５３】
この形態によれば、デジタルカメラ２３０１には撮像手段およびパーソナルコンピュータ２３０２との通信手段のみを備えたごく一般的なデジタルカメラの機能を備えたもので充分であること、また、編集処理や符号化処理などの負荷が大きい処理は、概して処理速度や使用できる資源の制約が少ないパーソナルコンピュータ２３０２上で行えることから、最も現実的な形態のひとつであると言えよう。
【０１５４】
また、デジタルカメラ２３０１およびパーソナルコンピュータ２３０２は、通信手段を介してサーバ２３０３からシーン記述テンプレート１０４をダウンロードしたり、アルバムデータ１１３をアップロードするといった形態も考えられる。一般的には、サーバ２３０３との通信はパーソナルコンピュータ２３０２によって行う形態がより現実的であると考えられる。
【０１５５】
しかし、デジタルカメラ２３０１がインターネット・プロトコルを用いてサーバ２３０３と通信を行うという形態も非現実的というわけではない。本明細の執筆時点でも、ＣＣＤカメラで撮影した画像を電子メールで送付することが可能な携帯電話端末も広く流通していることから、現実のシステムに充分適用可能な形態であると言えるだろう。
【０１５６】
（その他の実施形態）
ＡＶデータ入力部１０３は、デジタルカメラ、スキャナ等を構成する撮像装置、あるいはマイクロフォンなどの集音装置の形態をとる場合が一般的であるが、ＡＶデータがデジタルデータの形式で入力する形態も考えられる。その場合は、ＡＶデータ入力部１０３は単純に入力されたデータを保持するための機能のみが提供される。
【０１５７】
ＡＶデータ１０６は静止画や動画、音声等の他に、ベクター・グラフィックなどが含まれる形態も考えられる。また、別のアルバムがＡＶデータとして入力される形態もありえる。
【０１５８】
なお、ＢＩＦＳを用いてシーン記述を行う場合、別のアルバムはｉｎｌｉｎｅと呼ばれるノードを用いてＵＲＬによって参照可能であるため、他のＡＶデータ形式同様にシーン記述テンプレートで使用することが可能である。また、上記実施の形態では、拡大表示や縮小表示などオブジェクトの大きさを変える挙動について説明したが、ほかに、例えば、オブジェクトの色や形を変える形態もあり得る。
【０１５９】
また、上記の各種処理を行うソフトウェアは、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスクなどの記録媒体を介して提供される形態となっていても、ネットワーク等の通信媒体を介して提供される形態となっていても、必要に応じてメモリー、ハードディスク等の記憶装置上にコピーして利用できるような形態となっていても良い。
【０１６０】
また、上記実施形態では、ネットワークを構成するハードウェア等が含まれるものの、各処理部は実際はソフトウェアで実現できるものである。即ち、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または、記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（または、ＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
【０１６１】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１６２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１６３】
また、従来の方法ではシーン記述データからＡＶデータが正しく参照されるよう、アルバム作成者は注意深くアルバムの配布を行わなければならなかったが、この上記実施の形態で提供されるような電子作成方法を用いることで、シーン記述データ１０７およびＡＶデータ１０６は、多重化され、最終的にアルバムデータ１１３として単一のファイルとして出力される。それによって、アルバムを安全かつ容易に伝送・配布するとことが可能となる。
【０１６４】
また、上記実施の形態の電子作成方法を用いることで、アルバム作成者はオブジェクトの動きなどの複雑な記述を一切行うことなく、ＡＶデータを選択し、プレースホルダーを指定するといった、きわめてシンプルな２つの操作の繰り返しのみで、表現豊かな電子アルバムを簡単に作成することが可能となる。
【０１６５】
オブジェクトの動き、とりわけ時間に応じた属性の変化をともなう動きを指定することは、図４〜図６が示す通り複雑でわかりにくいものである。仮に、アルバム作成アプリケーションで、動きの詳細を設定することが可能な設定画面などの手段が提供されていたとしても、使いこなすことは簡単ではないと思われる。しかし、上記実施の形態の方法では、オブジェクトの動きに関する編集操作はまったく必要としないため、編集作業の習得や編集作業自体にかかる負荷を軽減することが出来る。
【０１６６】
また、オブジェクトの挙動や時間的配置情報もあらかじめテンプレートに組み込んでおくことによって、それらの情報を設定、変更するための機能を編集モジュールで提供する必要がなくなるため、編集モジュールの実装を簡素なものにすることが出来る。上記実施の形態の編集モジュールは、ＡＶデータのアドレス情報に対してのみデータの編集処理を組みこめば済むため、サイズが小さく、少ない資源で動作させることが可能な編集モジュールが実現できる。この点は、携帯端末やデジタルカメラ等のように、メモリ容量や入力インターフェース、表示デバイスなど使用出来る資源に制約のある環境に対して編集モジュールを実装する場合には、とりわけ有効であろう。
【０１６７】
無論、パーソナル・コンピュータのように資源に余裕のある環境では、必ずしも上記実施の形態で述べているような形態に固執する必要はなく、環境に応じた実装を行っても良い。例えば、マウスを利用できる場合は、プレースホルダーの位置にＡＶデータを指定する操作などは、ＡＶデータを示すアイコンをプレースホルダーにドラッグ・アンド・ドロップするといった方法で実現する方が適切であろう。
【０１６８】
また、シーン記述テンプレートが図４〜図６などで示されるＶＲＭＬ形式のようにテキスト形式で表現されていれば、利用者にテンプレートを提供するデザイナーは、テキストエディタなどの一般的なツールを用いてテンプレートを作成することが出来るため、特殊なデザインツールを準備し、提供する必要がなくなる。
【０１６９】
上記実施の形態ではＶＲＭＬのような既存の記述言語を用いてテンプレートを記述しているため、一般的に流通しているＶＲＭＬビューアを用いれば、特別な符号化処理を行わなくても表示内容を確認することが可能である。
【０１７０】
また、電子アルバムは標準規格であるＭＰ４フォーマットとして出力されるため、特定のアルバム再生用アプリケーションによらずとも広範囲の機器で閲覧、再生することが出来るようになっている。この点は、インターネットを介して不特定の閲覧者にアルバムを配布するようなケースでは特に有効である。
【０１７１】
【発明の効果】
以上のように、本発明によれば、電子アルバムを、作成する側にとっての負担が少なく、かつ、配布しやすい形式で作成することが可能となる。
【図面の簡単な説明】
【図１】本発明による電子アルバム作成装置の構成例を示す図である。
【図２】本発明の一実施形態であるデジタルカメラの構成例を示す図である。
【図３】電子アルバムの表示イメージを示す図である。
【図４】図３の電子アルバムをＢＩＦＳのテキスト表現形式で記述した例を示す図である。
【図５】図３の電子アルバムをＢＩＦＳのテキスト表現形式で記述した例を示す図である。
【図６】図３の電子アルバムをＢＩＦＳのテキスト表現形式で記述した例を示す図である。
【図７】本発明のシーンエディタ１０５で行われる、シーン記述テンプレート１０４とＡＶデータ１０６のアドレス情報を元にしたシーン記述データ作成処理の概略を示す図である。
【図８】図３の電子アルバムにＡＶデータが指定される前後の表示イメージを示す図である。
【図９】シーンエディタ１０５で行われるシーン記述データ作成処理の手順を示すフローチャートである。
【図１０】処理選択メニュー画面のイメージを示す図である。
【図１１】テンプレート選択画面のイメージを示す図である。
【図１２】アルバム編集画面のイメージを示す図である。
【図１３】電子アルバムに音声データが用いられる際の注意点を説明するための図である。
【図１４】アルバム中のオブジェクトが自律的に動き回る電子アルバムの表示イメージを示す図である。
【図１５】図１４の電子アルバム中のオブジェクトの動きを説明するための図である。
【図１６】図１４の電子アルバム中の再生時のイメージを示す図である。
【図１７】図１４の電子アルバムをＢＩＦＳのテキスト表現形式で記述した例を示す図である。
【図１８】図１４の電子アルバムをＢＩＦＳのテキスト表現形式で記述した例を示す図である。
【図１９】図１４の電子アルバムをＢＩＦＳのテキスト表現形式で記述した例を示す図である。
【図２０】図１４の電子アルバムをＢＩＦＳのテキスト表現形式で記述した例を示す図である。
【図２１】シーン記述テンプレート１０７の記述例を示す図である。
【図２２】ＵＲＬに対応する値をアドレス情報として用いた場合の、シーン記述テンプレート１０７の記述例を示す図である。
【図２３】本発明を複数の装置によって実施される場合の構成例を示す図である。
Claims (10)
- シーンを構成するオブジェクトの空間的配置と時間的配置とを記述したシーン記述テンプレートを保持する保持手段と、
前記オブジェクトの１つである画像データを入力する入力手段と、
前記シーン記述テンプレートのプレースホルダーに前記画像データの位置情報を設定することによりシーン記述データを生成する生成手段と、
前記シーン記述データと前記画像データとを多重化する多重化手段とを有することを特徴とする電子アルバム作成装置。 - 前記シーン記述テンプレートは、オブジェクトの大きさ、色、形の少なくともいずれか１つを変えることが記述されていることを特徴とする請求項１に記載の電子アルバム作成装置。
- 前記シーン記述は、ＶＲＭＬ、ＢＩＦＳのテキスト表現、ＸＭＴ（ｅＸｔｅｎｓｉｂｌｅ ＭＰＥＧ−４ Ｔｅｘｔｕａｌ Ｆｏｒｍａｔ）のいずれかの形式であって、前記多重化手段は、ＭＰ４ファイル形式で多重化することを特徴とする請求項１又は請求項２に記載の電子アルバム作成装置。
- 前記シーン記述は、Ｍａｃｒｏｍｅｄｉａ Ｆｌａｓｈ（登録商標）で表現可能なシーン構成を記述するテキスト形式データであって、前記多重化手段は、Ｍａｃｒｏｍｅｄｉａ Ｆｌａｓｈファイル形式で多重化することを特徴とする請求項１又は請求項２に電子アルバム作成装置。
- 前記生成手段は、前記プレースホルダーを検出する検出手段を備え、前記検出手段によって検出された個所に前記画像データの位置情報を設定することを特徴とする請求項１〜４のいずれか１項に記載の電子アルバム作成装置。
- 前記入力手段は、前記オブジェクトの１つとして音声データを入力し、前記生成手段は、前記シーン記述テンプレートのプレースホルダーに前記音声データの位置情報を設定することによりシーン記述データを生成し、前記プレースホルダーに前記音声データの位置情報を設定されたことを示すための画像データを表示することを特徴とする請求項１〜５のいずれか１項に記載の電子アルバム作成装置。
- シーンを構成するオブジェクトの空間的配置と時間的配置とを記述したシーン記述テンプレートを保持する保持工程と、
前記オブジェクトの１つである画像データを入力する入力工程と、
前記シーン記述テンプレートのプレースホルダーに前記画像データの位置情報を設定することによりシーン記述データを生成する生成工程と、
前記シーン記述データと前記画像データとを多重化する多重化工程とを有することを特徴とする電子アルバム作成方法。 - 前記シーン記述テンプレートは、オブジェクトの大きさ、色、形の少なくともいずれか１つを変えることが記述されていることを特徴とする請求項７に記載の電子アルバム作成方法。
- 前記シーン記述は、ＶＲＭＬ、ＢＩＦＳのテキスト表現、ＸＭＴ（ｅＸｔｅｎｓｉｂｌｅ ＭＰＥＧ−４ Ｔｅｘｔｕａｌ Ｆｏｒｍａｔ）のいずれかの形式であって、前記多重化工程は、ＭＰ４ファイル形式で多重化することを特徴とする請求項８又は請求項９に記載の電子アルバム作成方法。
- 請求項７〜９のいずれか１項に記載の電子アルバム作成方法を実行するコンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003080364A JP2004289598A (ja) | 2003-03-24 | 2003-03-24 | 電子アルバム作成装置、電子アルバム作成方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003080364A JP2004289598A (ja) | 2003-03-24 | 2003-03-24 | 電子アルバム作成装置、電子アルバム作成方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004289598A true JP2004289598A (ja) | 2004-10-14 |
Family
ID=33294242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003080364A Withdrawn JP2004289598A (ja) | 2003-03-24 | 2003-03-24 | 電子アルバム作成装置、電子アルバム作成方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004289598A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007011452A (ja) * | 2005-06-28 | 2007-01-18 | Sony Corp | プログラム、データ処理方法、データ処理装置、オーディオ再生装置 |
| US9361714B2 (en) | 2013-08-05 | 2016-06-07 | Globalfoundries Inc. | Enhanced video description |
-
2003
- 2003-03-24 JP JP2003080364A patent/JP2004289598A/ja not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007011452A (ja) * | 2005-06-28 | 2007-01-18 | Sony Corp | プログラム、データ処理方法、データ処理装置、オーディオ再生装置 |
| US9361714B2 (en) | 2013-08-05 | 2016-06-07 | Globalfoundries Inc. | Enhanced video description |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4159248B2 (ja) | 階層的データ構造管理システム及び階層的データ構造管理方法 | |
| JP4430882B2 (ja) | 複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム | |
| JP2007025959A (ja) | マルチメディアデータ処理装置、マルチメディアデータ処理方法及びマルチメディアデータ処理プログラム | |
| US20140006921A1 (en) | Annotating digital documents using temporal and positional modes | |
| KR100803580B1 (ko) | 동기 멀티미디어 통합언어 포맷을 이용한 전자 음악 배급서비스 시스템 및 그 방법 | |
| CN104216691A (zh) | 一种创建应用的方法及装置 | |
| CN114450966A (zh) | 用于异构沉浸式媒体的表示和流式传输的数据模型 | |
| TWI571757B (zh) | 網頁編輯系統及方法與內儲網頁編輯程式之電腦程式產品 | |
| US9721321B1 (en) | Automated interactive dynamic audio/visual performance with integrated data assembly system and methods | |
| KR20170040148A (ko) | 네트워크를 통한 컨텐츠 제공 방법 및 장치, 컨텐츠 수신 방법 및 장치 | |
| JP4142382B2 (ja) | コンテンツ作成システム及びコンテンツ作成方法 | |
| JP4514671B2 (ja) | コンテンツ編集装置、コンピュータ読み取り可能なプログラム及びそれを記録した記録媒体 | |
| KR20120000595A (ko) | 멀티플랫폼에서 구동되는 온라인 멀티미디어 콘텐츠 제작툴 제공 방법 및 시스템 | |
| JP4129162B2 (ja) | コンテンツ作成実演システム及びコンテンツ作成実演方法 | |
| JP2004289598A (ja) | 電子アルバム作成装置、電子アルバム作成方法及びプログラム | |
| US20080281859A1 (en) | Data Generating Device, Data Generation Method, and System | |
| JP2006048465A (ja) | コンテンツ生成システム、プログラム及び記録媒体 | |
| KR20130065866A (ko) | 기록 편찬시스템 및 이를 이용한 공정 방법 | |
| KR101056753B1 (ko) | 고해상도 이미지의 딥인딥 편집을 이용한 콘텐츠 저작 서비스 제공시스템 | |
| JP4608627B2 (ja) | 統合的製品設計支援システム | |
| JP2005196613A (ja) | 情報処理装置および情報処理方法、情報処理システム、記録媒体、並びに、プログラム | |
| KR102711306B1 (ko) | 콘텐츠 공유 서비스 장치 및 그 장치의 구동방법 | |
| JP6746238B2 (ja) | Ｖｒコンテンツ生成装置及びｖｒコンテンツ生成方法 | |
| US8649666B2 (en) | Apparatus and method for generating moving image and apparatus and method for reproducing moving image | |
| KR20130123306A (ko) | 디지털 교과서의 개별 편집이 가능한 서비스 시스템과 사용자 단말 및 이의 편집 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060606 |