JP2021082955A - 画像処理装置、画像処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】画像ファイルのファイルサイズの増大を抑制しつつ、画像ファイルに格納された複数の画像を合成して効果的な派生画像を生成させる。【解決手段】画像処理装置は、複数の画像を取得する取得手段と、取得手段により取得された複数の画像を解析する解析手段と、解析手段による解析結果に基づいて、複数の画像の中から、合成すべき複数の合成元画像を選択する選択手段と、選択手段により選択された複数の合成元画像のそれぞれの透過度を決定する決定手段と、取得手段により取得された複数の画像を格納し、かつ決定手段により決定された透過度がそれぞれ適用された複数の合成元画像を格納した画像ファイルを生成する生成手段を備える。【選択図】図３

Description

本発明は、画像ファイルを生成する画像処理装置に関する。

ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ ＥｘｐｅｒｔｓＧｒｏｕｐ）では、単一の静止画像や複数の静止画像、および静止画像のバースト等のシーケンスを１つのファイルに格納するための標準フォーマットを開発している。具体的には、この標準は、ＨＥＩＦ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）と呼ばれ、画像や画像シーケンスの交換、編集、表示を可能としている。ＨＥＩＦファイルは、ＨＥＩＦのフォーマットで１つまたは複数の画像を格納する画像ファイルである。
ＨＥＩＦは、ＩＳＯベースメディアファイルフォーマット（ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ：ＩＳＯＢＭＦＦ）で定められるツールを基に拡張された、画像を格納するためのファイルフォーマットを提供する。ＩＳＯ／ＩＥＣ２３００８パート１２で「ＩｍａｇｅＦｉｌｅ Ｆｏｒｍａｔ」としてその規格化が進行している。

ＨＥＩＦではまた、格納された複数の画像を１つの派生画像に合成するための表現方法を記述することができる。具体的には、例えば、ＨＥＩＦファイルに格納された複数の画像をタイル整列させる表現や、透過および重畳させるための表現を許容している。ＨＥＩＦのリーダ側機器は、ＨＥＩＦに記述された表現に応じて派生画像を出力する。
特許文献１は、ＨＥＩＦファイルに、入力画像から出力画像を得るための画像操作を定義する派生画像アイテムを動的に定義し、ＨＥＩＦファイルを解析して入力画像から派生する出力画像を生成する方法を開示する。

米国特許出願公開第２０１６／０３７１２６５号明細書

ところで、映像センサおよび符号化装置の多画素対応と処理速度向上により、近年、高速で動くオブジェクトを高画質で高速連写（バースト撮影）することが可能となり、印刷に耐え得る画質でバースト画像が得られるようになった。ＨＥＩＦファイル化された複数のバースト画像をダイレクト印刷しようとする場合、各画像をサムネイル化しタイル整列させて全体を印刷する方法があるが、大幅な画質劣化が避けられない。

一方、ＨＥＩＦでは、代表画像をプライマリアイテム参照としてＨＥＩＦのヘッダ部に指定することができ、このプライマリアイテム参照には、単一画像だけでなく複数の画像を透過および重畳させて合成した派生画像を指定することもできる。単一画像の印刷では単純に時間切り出しされた印刷画像が得られるのみであるのに対し、透過重畳効果を用いることで、高速連写された複数のバースト画像を合成して、動きのある表現を持つ印刷画像を得ることができる。

しかしながら、ＨＥＩＦファイルに、複数のバースト画像を上記のような透過重畳させる派生画像として格納するには、当該画像の符号化データに加えて、画像の透過度を表現するαチャネルデータも格納しなければならない。このため、複数のバースト画像のすべてに対応するαチャネルデータをＨＥＩＦに格納したのでは、ＨＥＩＦファイルのサイズを増大させてしまう。逆に、αチャネルデータの無い画像を印刷対象とすると、１つの画像が印刷されるだけとなり、印刷画像で動きのある表現を再現できない。

本発明は上記課題に鑑みてなされたものであり、その目的は、画像ファイルのファイルサイズの増大を抑制しつつ、画像ファイルに格納された複数の画像を合成して効果的な派生画像を生成させることが可能な画像処理装置を提供することにある。

上記課題を解決するため、本発明に係る画像処理装置は、複数の画像を取得する取得手段と、前記取得手段により取得された前記複数の画像を解析する解析手段と、前記解析手段による解析結果に基づいて、前記複数の画像の中から合成すべき複数の合成元画像を選択する選択手段と、前記選択手段により選択された前記複数の合成元画像のそれぞれの透過度を決定する決定手段と、前記取得手段により取得された前記複数の画像を格納し、かつ前記決定手段により決定された前記透過度がそれぞれ適用された前記複数の合成元画像を格納した画像ファイルを生成する生成手段とを備える。

本発明によれば、画像ファイルのファイルサイズの増大を抑制しつつ、画像ファイルに格納された複数の画像を合成して効果的な派生画像を生成させることができる。

本実施形態に係る画像処理システムのネットワーク構成の一例を示す図。 本実施形態に係る画像ファイル生成装置のハードウエアおよび機能構成の一例を示すブロック図。 本実施形態に係る画像ファイル生成装置が実行する透過重畳効果を施したバースト画像を格納するＨＥＩＦファイルの生成処理の処理手順の一例を示すフローチャート。 本実施形態に係るバースト撮影で撮像されるバースト画像の一例を示す模式図。 図４のバースト画像から透過重畳効果を施して合成される印刷画像の一例を示す模式図。 本実施形態に係るＨＥＩＦファイルのフォーマットの一例を示す図。 本実施形態に係る画像ファイル読み出し装置のハードウエアおよび機能構成の一例を示すブロック図。 本実施形態に係る画像ファイル読み取り装置が実行するＨＥＩＦファイル読み出しおよび印刷画像生成処理の処理手順の一例を示すフローチャート。

以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

以下、画像処理装置としての画像ファイル生成装置が画像データを、ＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）の標準フォーマットに基づく画像ファイル（画像コンテナファイル）に格納する例を説明する。しかしながら、本実施形態はこれに限定されず、例えば、画像ファイル生成装置は、ＨＥＩＦの標準フォーマットに替えて、画像格納のための他のファイルフォーマットを使用して画像データを格納してもよい。
また、以下では、ＨＥＩＦフォーマットで格納された複数のバースト画像を合成して印刷用の派生画像を生成する例を説明するが、本実施形態はこれに限定されず、任意の複数の画像を合成してあらゆる派生画像を生成する処理に適用可能である。例えば、ＨＥＩＦフォーマットで格納された派生画像は、プリンタから印刷するだけでなく、スマートフォン等の画像表示機器でも同様に描画可能である。また、動きのある表現を持たせたダイレクト印刷画像を、スマートフォン等の画像表示機器上での確認用に表示出力させてもよい。

以下、本実施形態では、デジタルカメラでバースト撮影して生成されたＨＥＩＦファイルを、ネットワークまたはメモリカードを介して、プリンタで取得しダイレクト印刷する例を説明する。
図１は、本実施形態に係る画像処理システムのネットワーク構成の一例を示す図である。図１を参照して、画像処理システムは、デジタルカメラ１およびプリンタ２を備える。
デジタルカメラ１は、画像ファイル生成装置であり、被写体を高速連写するバースト撮影で撮像して、バースト撮影されたバースト画像をＨＥＩＦフォーマットで格納する。また、デジタルカメラ１は、例えば、Ｗｉ−Ｆｉ（登録商標）やインターネット等のネットワーク３を介して、プリンタ２と相互通信可能に接続され、ＨＥＩＦファイルをプリンタ２に送信して、プリンタ２にダイレクト印刷を指示することができる。

あるいは、デジタルカメラ１は、バースト画像をメモリカード４等の着脱可能な外部記憶装置に格納してよい。ＨＥＩＦファイルを格納するメモリカード４を、ユーザがプリンタ２に挿入することにより、オフラインでダイレクト印刷を行わせることが可能である。
プリンタ２は、画像ファイル読み取り装置であり、デジタルカメラ１で生成されたＨＥＩＦファイルをネットワーク３から受信し、またはメモリカード４等の着脱可能な外部記憶装置から読み出す。プリンタ２は、取得したＨＥＩＦファイルに格納されたバースト画像を合成した派生画像を印刷画像としてダイレクト印刷する。
なお、本実施形態に係る画像ファイル生成装置は、デジタルカメラに限定されず、取得された複数の画像を解析して、１つの派生画像に合成してＨＥＩＦファイルに格納可能な装置であれば、あらゆる装置であってよく、例えば、スマートフォン、ＰＣ等を含む。また本実施形態に係る画像ファイル読み取り装置は、プリンタに限定されず、取得したＨＥＩＦファイルに基づく画像の出力方法も印刷に限定されず表示等の出力であってもよい。従って画像ファイル読み取り装置は、ＰＣ、スマートフォン、ＴＶ等のディスプレイを備える装置であってもよいし、プロジェクタ等であってもよい。本実施形態に係る画像ファイル生成装置と画像ファイル読み取り装置は、何れも画像処理装置の一例である。

＜画像ファイル生成装置のハードウエアおよび機能構成＞
図２は、本実施形態に係る画像ファイル生成装置のハードウエアおよび機能構成の一例を示す図である。
図２に示す画像ファイル生成装置１は、撮像部１１、メモリ１２、メモリカード操作部１３、通信部１４、符号化部１５、画像解析部１６、ＨＥＩＦ構成部１７、および制御部１８を備える。なお、画像ファイル生成装置１は、上記の構成のうちの一部の構成を備えていなくともよく、図２の構成に加えて追加の構成を備えてもよい。

システムバス１９は、図２に示す各部を相互に接続し、各種データの転送経路として動作する。
撮像部１１は、被写体を撮像するレンズ、およびＣＣＤ、ＣＭＯＳ等の撮像素子から構成され、例えばユーザ操作により被写体の撮像を開始し、撮像された画像をビットマップデータとして、メモリ１２に一時的に格納する。

メモリ１２は、制御部１８により実行される制御プログラム等を格納する一つ又は複数のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。ＲＡＭは、制御部１８の主メモリ、ワークエリア等として機能し、後述する各種動作を実行するためのプログラム、各種データ、通信パラメータ等の情報を一時記憶する。メモリ１２はまた、画像データ等を記憶する、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ装置を含んでよい。
メモリ１２は、撮像部１１により撮像された画像を格納してもよく、走査機能を持ったスキャナ等でスキャンされた画像を格納してもよく、あるいは外部のカメラやスキャナ等の機器で取得された画像を入力して格納してもよい。

メモリカード操作部１３は、撮像され、符号化部１５により圧縮符号化された画像をＨＥＩＦフォーマットでメモリカード４に書き出して保存する。なお、画像ファイル生成装置１は、メモリカード４に替えて、光ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性メモリカード、ＤＶＤ等の記憶媒体を用いて符号化画像を保存してもよい。
通信部１４は、ネットワークを介して通信パケットの送受信を行うインタフェースであり、メモリ１２やメモリカード４に格納されたＨＥＩＦファイルを通信部１４を介してプリンタ２等の外部機器へ送信する。通信部１４は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、公衆移動体通信であるＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）や５Ｇへのインタフェースを提供してよい。ＬＡＮは、例えばＥｔｈｅｒｎｅｔ（登録商標）に準拠する有線ＬＡＮや、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．１１シリーズに準拠する無線ＬＡＮ等であってよい。ＷＡＮは、例えばインターネット等であってよい。ただし、通信部１４がインタフェースを提供するネットワークはこれらに限定されない。

符号化部１５は、メモリ１２から読み出したビットマップデータの画像を圧縮符号化し、符号化画像として、メモリ１２に一時的に格納する。符号化部１５は、ビットマップ画像を、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式で高圧縮率で圧縮符号化してよい。ただし、符号化部１５が使用する圧縮符号化方式は特に限定されず、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式を用いてもよい。
画像解析部１６は、メモリ１２から読み出した符号化画像を解析して、オブジェクトを検出および認識し、また符号化画像で撮影しようと意図されたシーンを解析する。画像解析部１６はさらに、符号化部１５から取得される画像中の動きデータを取得して、バースト画像中の動きを解析する。

ＨＥＩＦ構成部１７は、符号化部１５により圧縮符号化された符号化画像から、ＨＥＩＦフォーマットの画像ファイルを生成して、ＨＥＩＦフォーマットの画像ファイルをメモリ１２またはメモリカード４に保存する。ＨＥＩＦファイルは、符号化された画像データと、ＨＥＩＦファイルの画像データを管理するためのメタデータとを格納するファイルであるが、そのフォーマット詳細は図６を参照して後述する。
制御部１８は、１つまたは複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサにより構成され、ＯＳ、ドライバ、アプリケーションプログラムを実行することにより、画像ファイル生成装置１の各構成部の動作を統括的に制御する。

なお、図２に示す機能構成１５〜１７は、ハードウエアまたはソフトウエアによって提供され、ソフトウエアによって提供される場合は、各機能構成に対応するプログラムがＣＰＵによって実行されることにより、上述の機能が実現される。ハードウエアによって提供される場合には、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｔｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の回路によって上述の機能が実現される。

＜ＨＥＩＦファイル生成処理＞
図３は、画像ファイル生成装置１が実行するＨＥＩＦファイル生成処理の詳細処理手順の一例を示すフローチャートである。
なお、図３の各ステップは、画像ファイル生成装置１のメモリ１２に記憶されたプログラムを制御部１８のＣＰＵが読み出し、実行することで実現される。また、図３に示すフローチャートの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣにより実現するようにしてもよい。

Ｓ１で、画像ファイル生成装置１の制御部１８は、撮像部１１でバースト撮影を開始して、撮像された画像をメモリ１２に一時的に格納し、符号化部１５は、撮像された画像に対して例えばＨＥＶＣ方式で圧縮符号化して、符号化画像を取得する。
Ｓ２で、画像ファイル生成装置１の画像解析部１６は、メモリ１２に一時的に格納された符号化画像を解析する。具体的には、画像解析部１６は、バースト撮影された複数の符号化画像を解析して、画像中のオブジェクトを検出および認識するとともに、画像中から撮影しようと意図しているシーン（人物、車両、風景等）を解析する。Ｓ２では、画像解析部１６はさらに、符号化部１５により実行された符号化処理により得られる動きのデータに基づいて画像解析を実行する。
Ｓ３で、画像ファイル生成装置１の制御部１８は、バースト撮影が終了したか否かを判定する。バースト撮影が終了した場合（Ｓ３：Ｙ）、Ｓ４に進み、一方、バースト撮影が終了していない場合（Ｓ３：Ｎ）、Ｓ１に戻って、Ｓ１およびＳ２の処理を繰り返す。

図４は、バースト撮影により撮像されるバースト画像の一例を示す模式図である。
図４に示すバースト画像は、走行する自動車を高速連写した場合に撮像される一連の画像群である。図４の左上の画像４０１から矢印に示されるように右方向に時系列に画像が並び、さらに２段目、および３段目と同様に右方向に時系列に画像が並んで、１２枚目の画像４１２でバースト撮影が終了したものとする。

図３に戻り、Ｓ４で、画像ファイル生成装置１の制御部１８は、バースト撮影が終了すると、Ｓ２の画像解析で得られた解析データに基づいて、バースト画像４０１〜４１２から、代表画像を選択する。Ｓ４で選択される代表画像は、解析データに基づいて選択される、例えば、ダイレクト印刷で印刷すべき主要なオブジェクトを全体的にかつ十分な大きさで含む画像であってよく、図４を参照して、画像４０５が代表画像として選択されたものとする。

Ｓ５で、画像ファイル生成装置１の制御部１８は、選択された代表画像に時系列上先行する画像中で、透過画像として代表画像４０５に重畳させて印刷対象とすべき画像の数Ｎを決定する。図４を参照して、Ｎ＝２とし、代表画像４０５に時系列上先行する画像４０３および画像４０４が透過画像として選択されたものとする。
Ｓ６で、画像ファイル生成装置１の制御部１８は、Ｓ５で透過画像として選択された各画像に対して、過去方向の時系列に沿って、透過率を決定する。具体的には、過去方向にｉ番目の画像の透過率は、例えば、下記の式のように算出できる。
（Ｎ−ｉ）／（Ｎ＋１）
なお、上記式は、透過率を画像の不透過性の値として算出している。したがって、画像の透過の程度を示す透過度は、代表画像から過去方向に遡る程、高く算出されることになる。

図５は、図４のバースト画像から透過重畳効果を施して合成される印刷画像の一例を示す模式図である。
図５を参照して、複数のバースト画像が合成された派生画像を印刷した印刷画像５中には、代表画像４０５中のオブジェクト５１、透過画像４０４中のオブジェクト５２、および透過画像４０３中のオブジェクト５１が重畳して描画されている。具体的には、印刷画像５中には、時系列上先行する透過画像４０３中のオブジェクト５３が最も高い透過度で描画されている。次に、透過画像４０４中のオブジェクト５２がオブジェクト５３に重畳して、オブジェクト５３の透過度より低くかつオブジェクト５１の透過度より高い透過度で描画されている。これら透過画像のオブジェクト５１および５２に重畳して、代表画像４０５中のオブジェクト５１が、最も低い透過度で描画されている。

図３に戻り、Ｓ７で、画像ファイル生成装置１のＨＥＩＦ構成部１７は、Ｓ６で決定された透過率（透過度）で、代表画像に重畳すべき透過画像のαチャネルデータ（アルファチャネルデータ）を生成する。
ＨＥＩＦファイルに透過画像として格納されるαチャネルデータは、付加情報ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）として、ＨＥＩＦファイルのトラック（ｔｒａｋ）ボックスに格納される。なお、付加情報ＳＥＩは、ＩＳＯ／ＩＥＣ２３００８−２で規定される。
ＨＥＩＦ構成部１７は、透過画像のαチャネルデータをＳＥＩのサンプルデータとして、ＨＥＩＦファイル中でサンプルデータを格納するメディアデータ（ＭｅｄｉａＤａｔａ：ｍｄａｔ）ボックスに書き込む。
なお、ＨＥＩＦ構成部１７は、透過画像のαチャネルデータをｍｄａｔボックスに書き込むことに替えてまたはこれに加えて、Ｓ６で決定された透過率（透過度）の情報をＨＥＩＦファイルに書き込んでもよい。

Ｓ８で、画像ファイル生成装置１のＨＥＩＦ構成部１７は、Ｓ５で決定された透過画像の数であるＮ個分のＳＥＩサンプルデータのＨＥＩＦファイルへの書き込みが終了したか否かを判定する。
ＨＥＩＦファイルへのＮ個分のＳＥＩサンプルデータの書き込みが終了しない場合（Ｓ８：Ｎ）、Ｓ６に戻って、Ｓ６およびＳ７の処理を繰り返す。一方、ＨＥＩＦファイルへのＮ個分のＳＥＩサンプルデータの書き込みが終了した場合（Ｓ８：Ｙ）、Ｓ９に進む。

Ｓ９で、画像ファイル生成装置１のＨＥＩＦ構成部１７は、ＨＥＩＦファイルのメタ（ｍｅｔａ）ボックスに、代表画像に透過画像を重畳させて１つの派生画像を生成するために必要となる画像の属性情報および画像間を関連付ける関連情報を格納する。
具体的には、ＨＥＩＦ構成部１７は、ｍｅｔａボックス中のアイテム情報（ｉｉｎｆ）ボックスに、重畳画像アイテムおよび透過画像アイテムとして登録し、ｉｐｍａボックスに画像間の関連情報を登録する。

Ｓ１０で、画像ファイル生成装置１のＨＥＩＦ構成部１７は、プライマリアイテム（ＰｒｉｍａｒｙＩｔｅｍ：ｐｉｔｍ）ボックスに、ｉｉｎｆボックスに登録した重畳アイテムを指定して、ＨＥＩＦファイル生成処理を終了する。

ＨＥＩＦでは、イメージシーケンスを印刷する場合に、プライマリアイテムをどのように指定するかは特に規定されていない。本実施形態では、画像ファイル生成装置１は、ＨＥＩＦファイルのプライマリアイテムとして、重畳アイテムを指定する。すなわち、バースト画像から選択された代表画像と、当該代表画像に重畳すべき透過画像とを合成することにより透過重畳効果が施された派生画像を生成するための重畳アイテムを、プライマリアイテムとして指定して、ＨＥＩＦファイルを生成する。これにより、ＨＥＩＦファイルのリーダ側機器では、ＨＥＩＦファイルのプライマリアイテムを参照することで、透過重畳効果が施された派生画像をダイレクト印刷の対象として判別することが可能となる。

図６は、本実施形態に係るＨＥＩＦファイルフォーマットの一例を示す図である。
図６を参照して、ＨＥＩＦファイルは、ファイルタイプ（ｆｔｙｐ）、メタデータ（ｍｅｔａ）６１、ムービーボックス（ｍｏｏｖ）６２、およびメディアデータ（ｍｄａｔ）６３の各ボックスに区分されている。
ＨＥＩＦファイルの各ボックス６１、６２、および６３は、各ボックス内に入れ子で複数のボックスをさらに定義することができるツリー構造を有する。それぞれのボックスは、ｔｙｐｅ識別子で識別される。

符号化されたメディアデータを格納するｍｄａｔボックス６３には、サンプルデータとして、バースト画像４０１〜４１２をＨＥＶＣ方式で符号化したＨＥＶＣサンプルデータが格納される。本実施形態では、さらに、ｍｄａｔボックスに、バースト画像から画像解析により選択され、決定された透過率で透過処理された透過画像４０３、４０４のＳＥＩサンプルデータ６３ａ、６３ｂが格納される。

ｍｏｏｖボックス６２中のｔｒａｋボックス下には、ｍｄａｔボックス６３に格納されたサンプルデータの参照情報として、当該トラックに属するＨＥＶＣサンプルデータおよびＳＥＩサンプルデータ６３ａ、６３ｂの属性および参照情報が格納される。

ｍｄａｔボックス６３に格納される画像データを管理するためのメタデータを格納するｍｅｔａボックス６１は、画像アイテムを管理するための管理情報や、画像アイテム間を関連付けるための関連情報をメタデータとして格納する。
本実施形態では、ｍｅｔａボックス６１中で、アイテム情報（ｉｉｎｆ）ボックス６１ｂに、画像サンプルおよび合成画像を含めた画像アイテムの属性情報として、重畳アイテム（ＩｍａｇｅＯｖｅｒｌａｙ：ｉｖｏｌ）および透過アイテムを格納する。

また、ｍｅｔａボックス６１中で、アイテムプロパティ（ｉｐｒｐ）ボックス下のＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏｎ（ｉｐｍａ）ボックス６１ｃに、画像アイテム間を関連付ける関連情報を格納する。
さらに、本実施形態では、プライマリアイテムを指定するプライマリアイテム（ｐｉｔｍ）ボックス６１ａに、重畳アイテム（ｉｖｏｌ）のアイテムＩＤを格納する。

＜画像ファイル読み出し装置のハードウエアおよび機能構成＞
図７は、本実施形態に係る画像ファイル読み出し装置のハードウエアおよび機能構成の一例を示す図である。
図７に示す画像ファイル読み出し装置２は、例えば、プリンタ２であり、印刷部２１、メモリ２２、メモリカード操作部２３、通信部２４、復号化部２５、描画部２６、ＨＥＩＦ解析部２７、および制御部２８を備え、システムバス２９で相互に接続される。なお、画像ファイル読み取り装置２は、上記の構成のうちの一部の構成を備えていなくともよく、図７の構成に加えて追加の構成を備えてもよい。

メモリ２２、メモリカード操作部２３、通信部２４、および制御部２８は、図２に示す画像ファイル生成装置（デジタルカメラ）１と同様である。
印刷部２１は、ダイレクト印刷が可能であり、プリンタのハードウエアおよびソフトウエアを備えて駆動し、描画部２６から供給される派生画像の描画データを印刷出力する。
復号化部２５は、ＨＥＩＦファイルに格納される符号化された画像を復号化し、復号化画像として、メモリ２２に一時的に格納する。
描画部２６は、メモリ２２に一時的に格納された復号化画像を読み出して、復号化された派生画像から、プリンタに供給する描画データを生成する。
ＨＥＩＦ解析部２７は、画像ファイル生成装置１からＨＥＩＦファイルを解析して、印刷部２１を介してプリンタにダイレクト印刷すべき派生画像を生成する。

なお、図７に示す機能構成２５〜２７は、ハードウエアまたはソフトウエアによって提供され、ソフトウエアによって提供される場合は、各機能構成に対応するプログラムがＣＰＵによって実行されることにより、上述の機能が実現される。ハードウエアによって提供される場合には、ＡＳＩＣ等の回路によって上述の機能が実現される。

＜ＨＥＩＦファイル解析処理＞
図８は、画像ファイル読み出し装置２が実行するＨＥＩＦファイル解析処理およびダイレクト印刷処理の詳細処理手順の一例を示すフローチャートである。
なお、図８の各ステップは、画像ファイル読み出し装置２のメモリ２２に記憶されたプログラムを制御部２８のＣＰＵが読み出し、実行することで実現される。また、図８に示すフローチャートの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣにより実現するようにしてもよい。

Ｓ２１で、画像ファイル読み出し装置２のＨＥＩＦ解析部２７は、プリンタ２がダイレクト印刷を開始すると、ＨＥＩＦファイルを読み出して解析する。ＨＥＩＦファイルは、画像ファイル生成装置１からネットワーク３を介して送信されてよく、あるいは目盛カード４から読み出されてもよい。
Ｓ２２で、画像ファイル読み出し装置２の制御部２８は、ＨＥＩＦファイルのプライマリアイテム（ｐｉｔｍ）ボックスでプライマリアイテムとして指定されたＩＤの画像アイテムを判定する。

Ｓ２３で、プライマリアイテムとして指定された画像アイテムが、重畳アイテムかＨＥＶＣアイテムかを判定する。プライマリアイテムとして指定された画像アイテムが、重畳アイテムでなくＨＥＶＣアイテムであった場合（Ｓ２３：Ｎ）、Ｓ２４に進む。
Ｓ２４で、画像ファイル読み出し装置２の制御部２８は、単一のＨＥＶＣ画像がＨＥＩＦファイルに格納されていると判定し、復号化部２５は、単一のＨＥＶＣ画像を復号化し、印刷部２１は、プリンタに単一のＨＥＶＣ画像を出力させる。

一方、プライマリイメージとして指定された画像アイテムが、重畳アイテムであった場合（Ｓ２３：Ｙ）、Ｓ２５に進む。
Ｓ２５で、画像ファイル読み出し装置２の制御部２８は、ＨＥＩＦファイルのｉｉｎｆボックスに格納された、ダイレクト印刷される派生画像に合成されるべき画像アイテムの属性情報を取得する。制御部２８はまた、ｉｐｍａボックスに格納された画像アイテム間を関連付ける関連情報とを取得する。
Ｓ２６で、画像ファイル読み出し装置２の復号化部２５は、Ｓ２５で取得された画像アイテムの属性情報および関連情報に基づいて、ｍｄａｔボックスに格納されたＨＥＶＣサンプルデータおよびＳＥＩサンプルデータを復号化する。

Ｓ２７で、画像ファイル読み出し装置２の制御部２８は、ｔｒａｋボックスに格納される各サンプルの属性情報およびデータ参照情報に基づいて、透過処理の施された透過画像のＳＥＩサンプルデータを取得する。制御部２８は、プライマリアイテムで指定される重畳アイテムから、代表画像のＨＥＶＣサンプルデータに、代表画像に重畳させるべき透過画像のＳＥＩサンプルデータを合成して、派生画像を生成する。
Ｓ２８で、画像ファイル読み出し装置２の印刷部２１は、Ｓ２７で合成された派生画像の印刷データを、プリンタにダイレクト印刷させる。

以上説明したように、本実施形態に係る画像ファイル生成装置は、バースト撮影された複数の画像を解析し、解析結果に基づいて、複数の画像から、派生画像に合成すべき複数の合成元画像を選択する。画像ファイル生成装置はさらに、複数の合成元画像のそれぞれの透過度を決定し、バースト撮像された複数の画像を格納し、かつ決定された透過度がそれぞれ適用された複数の合成元画像を格納したＨＥＩＦファイルを生成する。
高速連写されたバースト画像をＨＥＩＦファイルに格納する際、撮像機器で実行される映像符号化、オブジェクト認識やシーン認識等の画像解析で得られた解析情報を利用することで、動きのある表現を印刷するのに効果的な画像を選択することが可能となる。
したがって、ＨＥＩＦファイルのファイルサイズの増大を抑制しつつ、ＨＥＩＦファイルに格納された複数の画像を透過および重畳処理により合成して、ダイレクト印刷に効果的な派生画像を生成させることができる。

（他の実施形態）
本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、Ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
また、本発明は、上述の実施形態の一部または１以上の機能を実現するプログラムによっても実現可能である。すなわち、そのプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）における１つ以上のプロセッサがプログラムを読出し実行する処理により実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
また、コンピュータが読みだしたプログラムを実行することにより、実施形態の機能が実現されるものに限定されない。例えば、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。

１…画像ファイル生成装置（デジタルカメラ）、２…画像ファイル読み出し装置（プリンタ）、３…ネットワーク、４…メモリカード、１１…撮像部、１２…メモリ、１３…メモリカード操作部、１４…通信部、１５…符号化部、１６…画像解析部、１７…ＨＥＩＦ構成部、１８…制御部、２１…印刷部、２２…メモリ、２３…メモリカード操作部、２４…通信部、２５…復号化部、２６…描画部、２７…ＨＥＩＦ解析部、２８…制御部

Claims (15)

1. 複数の画像を取得する取得手段と、
   前記取得手段により取得された前記複数の画像を解析する解析手段と、
   前記解析手段による解析結果に基づいて、前記複数の画像の中から合成すべき複数の合成元画像を選択する選択手段と、
   前記選択手段により選択された前記複数の合成元画像のそれぞれの透過度を決定する決定手段と、
   前記取得手段により取得された前記複数の画像を格納し、かつ前記決定手段により決定された前記透過度がそれぞれ適用された前記複数の合成元画像を格納した画像ファイルを生成する生成手段と
   を備えることを特徴とする画像処理装置。
2. 前記選択手段は、前記解析結果に基づいて、前記複数の画像から、代表画像と、該代表画像に重畳すべき画像とを、前記合成元画像として選択する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、前記代表画像に時系列上先行する画像を、前記代表画像に重畳すべき画像として選択する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記代表画像から時系列上、より過去の画像に対して、より高い透過度を決定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、前記複数の合成元画像を重畳するための関連付け情報を、前記画像ファイルに格納する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記解析手段は、前記複数の画像から検出されるオブジェクトの情報、および撮像すべきシーンの情報の少なくとも１つを解析することにより、前記合成元画像を選択する
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記取得手段により取得された前記複数の画像を符号化する符号化手段をさらに備え、
   前記解析手段は、前記符号化手段により前記複数の画像を符号化する際に得られる動きの情報を解析し、前記選択手段は前記解析手段による解析結果に基づいて、前記合成元画像を選択する
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記生成手段は、前記画像ファイルを、ＩＳＯ／ＩＥＣ２３００８パート１２で定義されるＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｆｉｌｅ Ｆｏｒｍａｔ）に準拠して生成する
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、前記複数の合成元画像を重畳させるＩｍａｇｅＯｖｅｒｌａｙ（ｉｖｏｌ）アイテムの識別子を、前記画像ファイルのメタデータのＰｒｉｍａｒｙＩｔｅｍ（ｐｉｔｍ）ボックスに格納する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記生成手段は、前記透過度がそれぞれ適用された前記複数の合成元画像を、アルファチャネルデータとして、前記画像ファイルのＭｅｄｉａＤａｔａ（ｍｄａｔ）ボックスに格納する
    ことを特徴とする請求項８または９に記載の画像処理装置。
11. 複数の画像と、当該複数の画像の中から選択された複数の合成元画像を出力する際の透過度が適用された前記複数の合成元画像とが格納された画像ファイルを受信する受信手段と、
    前記受信手段によって受信された前記画像ファイルを解析する解析手段と、
    前記解析手段による解析結果に基づいて、前記複数の合成元画像を合成した画像を出力する出力手段と、
    を有することを特徴とする画像処理装置。
12. 前記画像ファイルは、符号化された前記複数の画像及び前記複数の合成元画像が格納される画像データと、当該画像データを管理するための情報が格納されるメタデータとを含む画像ファイルであることを特徴とする請求項１１に記載の画像処理装置。
13. 画像処理装置の制御方法であって、
    複数の画像を取得するステップと、
    取得された前記複数の画像を解析するステップと、
    前記複数の画像の解析結果に基づいて、前記複数の画像の中から合成すべき複数の合成元画像を選択するステップと、
    選択された前記複数の合成元画像のそれぞれの透過度を決定するステップと、
    取得された前記複数の画像を格納し、かつ決定された前記透過度がそれぞれ適用された前記複数の合成元画像を格納した画像ファイルを生成するステップと
    を含むことを特徴とする画像処理装置の制御方法。
14. 画像処理装置の制御方法であって、
    複数の画像と、当該複数の画像の中から選択された複数の合成元画像を出力する際の透過度が適用された前記複数の合成元画像とが格納された画像ファイルを受信するステップと、
    受信された前記画像ファイルを解析するステップと、
    前記解析するステップにおける解析結果に基づいて、前記複数の合成元画像を合成した画像を出力するステップと
    を含むことを特徴とする画像処理装置の制御方法。
15. コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images