JP2021119446A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】関連付けのある複数の画像データを対応付けて管理する。【解決手段】情報処理装置は、複数の画像データ間の関連付けの有無を判定する判定手段と、前記判定手段の判定結果に基づいて複数の画像データ間の関連付け情報を作成する作成手段と、前記判定手段の判定結果に応じて前記関連付け情報が作成された前記複数のデータに対応付ける画像ファイルを選択する選択手段と、を備える。【選択図】 図１

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、主にＨ．２６５で符号化した静止画像を格納するＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）と呼ばれる、ＩＳＯ／ＩＥＣ２３００８−１２で国際標準化されているファイルフォーマットが存在する。ＨＥＩＦでは、単一の静止画像のみならず、複数の静止画像又は画像シーケンス（バースト撮影された連続撮影画像、等）を１つのファイルに格納することが可能である。また、ＨＥＩＦでは、メタデータを含む規範的な構造を定めており、メタデータと画像を関連付けする方法、特定の形式のメタデータの構成について定めている。これにより、派生画像（ｄｅｒｉｖｅｄ ｉｍａｇｅ）と呼ばれるような、複数の静止画像で構成される１つのイメージ表現を、メタデータに記述することも可能になっている。特許文献１には、ＨＥＩＦにおいて動的に派生イメージを格納、生成する技術が記載されている。

また、従来、デジタルカメラやスマートフォン等の撮影機能を持つ機器において、バースト撮影、ブラケット撮影、ライブフォト撮影（静止画＋動画）等の１回の撮影操作により生成される複数の撮影画像データを、１つのファイルに保存することが可能であった。この際のファイル形式として、ＨＥＩＦ等が用いられている。そして、複数の撮影画像ファイルに対して、撮影日や位置情報等の所定の条件でフィルタリングして抽出した画像だけを閲覧することや、まとめて処理することが可能であった。また、フォトストレージサービス等において、アップロードされた多数のファイルの画像を自動的に解析して、何らかの相関がある画像を含むファイル同士をグループ化して提示することも行われている。

米国特許出願公開第２０１６／０３７１２６５号明細書

しかしながら、特許文献１に開示された技術では、撮影画像データを扱う情報処理装置において、複数の撮影画像データの中で、機器を所有するユーザにとって有意な関連付けがある画像データを１つの画像ファイルに保存することが出来なかった。

本発明は上述の課題に鑑みて成されたものであり、関連付けのある複数の画像データを対応付けて管理することを目的とする。

上記の課題を解決するため、本発明に係る情報処理装置のある態様によれば、複数の画像データ間の関連付けの有無を判定する判定手段と、前記判定手段の判定結果に基づいて複数の画像データ間の関連付け情報を作成する作成手段と、前記判定手段の判定結果に基づいて前記関連付け情報が作成された前記複数の画像データに対応付ける画像ファイルを選択する選択手段と、を備える情報処理装置が提供される。

本発明によれば、関連付けのある複数の画像データを対応付けて管理することができる。

画像ファイル作成装置の構成例を示すブロック図。 従来の画像ファイルを生成する処理の例を示す図。 図１の画像ファイル作成装置による画像ファイルを作成する処理を示す図。 関連付け情報の例を示す図。 撮影画像データと既存画像ファイルとの関連付けの有無を判定する処理の例を示すフローチャート。 撮影画像データを格納する画像ファイルを作成する処理の例を示すフローチャート。 ＨＥＩＦファイル内のｃｅｇｒのデータフォーマットの例を示す図。 ｃｏｒｒｅｌａｔｅ＿ｇｒｏｕｐ＿ｔｙｐｅフィールドに設定するコード値の例を示す図。 ＨＥＩＦファイルの内部構造の例を示す図。 ｃｅｇｒの具体例を示す図。

以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する各実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は、以下の各実施形態に必ずしも限定されるものではない。また、各実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

（実施形態１）
以下、本発明の実施形態として、複数の画像データを関連付けて画像ファイルとして格納する画像ファイル作成装置を例として説明する。なお、この画像ファイル作成装置は、画像ファイルの作成及び編集を行うことができるようになっている。

図１は、実施形態１の画像ファイル作成装置１の構成例を示すブロック図である。画像ファイル作成装置１は、撮像装置の一例であり、例えば、カメラ、スマートフォン、タブレット端末などである。
この画像ファイル作成装置１は、システムバス１１に接続されたＣＰＵ１２、システムプログラム実行時の一時記憶装置であるＲＡＭ１３、システムプログラムが格納される不揮発性記憶装置であるＲＯＭ１４を備えている。なお、ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略であり、ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略であり、ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。システムプログラムやアプリケーションプログラムは、ＲＯＭ１４からＲＡＭ１３に読み込まれ、ＣＰＵ１２によって実行される。また、この画像ファイル作成装置１は、符号化処理部１５、撮像処理部１６、表示部１７、位置測定部１８、通信制御部１９、画像解析処理部１０を備えている。システムバス１１は、図１の各ブロック間でデータを伝達する。ＣＰＵ１２は、例えばＲＯＭ１４に格納されているプログラムを実行することにより、画像ファイル作成装置１全体の動作を制御する。また、ＲＡＭ１３は、撮影画像データの出力バッファ、画像ファイルの作成処理の入出力データバッファとしても使用される。ＲＯＭ１４は、画像ファイル作成装置１のユーザ設定データ、画像ファイル等の保存にも使用される。符号化処理部１５は、Ｈ．２６５（ＨＥＶＣ）、Ｈ．２６４（ＡＶＣ）、ＪＰＥＧ等の動画や静止画のビデオコーデックである。符号化処理部１５は、画像ファイル作成装置１が扱う静止画や動画のデータの符号化および復号化の処理を実行する。

撮像処理部１６は、レンズ群１６ａ、ＣＣＤ制御部１６ｂ、画像処理部１６ｃを備えている。レンズ群１６ａは、例えば被写体像を光学的にＣＣＤ（光電変換素子）等の撮像素子に結像させるための複数枚のレンズで構成されている。ＣＣＤ制御部１６ｂは、ＣＣＤに転送クロック信号やシャッター信号を供給するためのタイミングジェネレータ、ＣＣＤの出力信号のノイズ除去やゲイン処理を行うための回路、さらに、アナログ信号をデジタル信号に変換するためのＡ／Ｄ変換回路等を備えている。また、画像処理部１６ｃは、ＣＣＤ制御部１６ｂより出力されたデジタル信号に、ガンマ変換、色空間変換、また、ホワイトバランス、露出補正等の画像処理を行い、符号化処理部１５による符号化が可能なデジタル画像信号データとしてＲＡＭ１３へ出力する。

表示部１７は、画像ファイル作成装置１のアプリケーションの画面等を表示するものであり、例えば液晶ディスプレイ装置である。また、表示部１７が画面タッチセンサを備え、ユーザがＧＵＩによるアプリケーションの操作を行うことが可能な構成としてもよい。また、表示部１７は、画像ファイル作成装置１を操作するためのボタンやスイッチ等の物理的なインタフェースを備えていてもよい。位置測定部１８は、画像ファイル作成装置１の地理的な位置情報を生成する処理を実行する。この位置測定部１８は、少なくとも測位衛星の送信信号を受信して地球上の位置を計測するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の機能を備えており、地球上の緯度・経度の情報を得ることが可能である。通信制御部１９は、ネットワークに接続して伝送フレームの送受信を行うネットワークインタフェースである。通信制御部１９には、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）の物理インタフェース（ＰＨＹ）および伝送メディア制御処理（ＭＡＣ）部等が含まれる。あるいは、画像ファイル作成装置１が無線ＬＡＮに接続可能な場合、通信制御部１９には、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃ等の無線ＬＡＮ制御を実行するコントローラ、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）回路、アンテナ等が含まれる。

画像解析処理部１０は、撮像処理部１６が出力する撮影画像データや、符号化処理部１５が画像ファイルに含まれる符号化データを復号して生成される画像データ等を解析する。画像解析処理部１０は、画像フレーム内に写っている人物や物体を検出する。人物を検出した場合はその人物を特定する人物識別情報を生成する。物体の場合はその物体の種類を示す物体識別情報を生成する。画像データの解析により生成された人物識別情報や物体認識情報は、画像データと一緒にＣＰＵ１２で実行するアプリケーションが利用可能である。

本実施形態の画像ファイル作成装置１は、撮像処理部１６と符号化処理部１５から出力される撮影画像の符号化データ（画像データ）のファイル（画像ファイル）を作成する。具体的には、例えば複数の画像データ間の関連付けの有無を判定し、判定結果に基づいて複数の画像データ間の関連付け情報を作成し、判定結果に基づいて関連付け情報が作成された複数の画像データに対応付ける画像ファイルを選択する。
以下、本実施形態の説明のために、画像ファイルの例として複数の撮影画像データを含むＨＥＩＦファイルを作成する例について説明する。
図２は、従来のスマートフォン等の写真撮影において、Ｈ．２６５で符号化された画像データを格納するＨＥＩＦ形式の画像ファイルを生成する処理の例を示している。
図２では、撮影操作の時刻ｔ１、ｔ２、ｔ３、ｔ４、ｔ５において、それぞれＨＥＩＦファイル２１、２２、２３、２４、２５を作成することを示している。つまり、ｔ５の撮影までで合計５個のＨＥＩＦファイルが作られる。各ＨＥＩＦファイルは、複数の画像を含んでもよく、例えば図２のＨＥＩＦファイル２３は、Ｐ３からＰ５の３個の撮影画像データを含んでいる。また、ＨＥＩＦファイル２５は、Ｐ７とＰ８の２個の撮影画像データを含んでいる。これらのＨＥＩＦファイル２３、２５は、例えばバースト撮影を行った場合等、１回の撮影操作において複数の撮影画像データを含むＨＥＩＦファイルを作成する場合を示している。

図３は、本実施形態の画像ファイル作成装置１における画像ファイルを作成する処理の例を示している。
本実施形態では、図２のｔ１からｔ５と同様の撮影操作を実行すると、１つの画像ファイルだけが作成され得ることを示している。最初のｔ１の撮影では１個の撮影画像データＰ１を含むＨＥＩＦファイル３１が新規に作成される。次のｔ２では、ＨＥＩＦファイル３１は、ＨＥＩＦファイル３１にＰ２の撮影画像データを追加したＨＥＩＦファイル３２に更新される。次のｔ３では、ＨＥＩＦファイル３２は、ＨＥＩＦファイル３２にＰ３からＰ５の撮影画像データを追加したＨＥＩＦファイル３３に更新される。ｔ４とｔ５における撮影でも同様であり、ｔ４ではＨＥＩＦファイル３４に更新され、ｔ５ではＨＥＩＦファイル３５に更新される。つまり、この例では、ｔ１からｔ５の撮影操作の度に、１つのＨＥＩＦファイルに撮影画像データを追加している。

本実施形態では、図３のｔ１からｔ５の撮影操作により、各回の撮影画像データが最終的に１つのＨＥＩＦファイルに含まれる結果となり得ることは、撮影画像間に関連付けがあったことに起因する。本実施形態では、撮影画像データ間に関連付けがあることが判定される。図３は、１個の撮影画像データが他の１個以上の画像データに関連付けがあり、直接あるいは間接的に他の全ての撮影画像データと関連付けが生じる結果となったため、１つのＨＥＩＦファイルに格納される結果となったことを示している。本実施形態における関連付けの判定とは、各撮影画像の解析結果や撮影条件等を関連付け情報として導出して且つ識別可能に管理しておくことにより、画像間で同じ関連付け情報を持つかどうかを調べる（判定する）ことである。

以下、図３におけるＰ１からＰ８までの撮影画像データの関連付け情報について図４を用いて説明する。
図４は、Ｐ１からＰ８までの撮影画像データ（４１）と、各撮影データから導出される関連付け情報について表形式で表した関連付け情報４０の例を示している。
この関連付け情報４０は、日付（４２）、場所（４３）、撮影シーン（４４）、人物認識（４５）、物体認識（４６）の関連付け情報のタイプ（項目）を含んでいる。ここで、日付（４２）は撮影時刻を「新規の画像ファイルを作成」示し、場所（４３）は撮影を行った場所を示している。シーン（４４）は、撮影時に設定した撮影シーンの情報であってもよいし、画像解析処理部１０が画像を解析した撮影シーンを検出した結果であってもよい。人物認識（４５）は、画像解析処理部１０による撮影画像の解析結果であり、画像内に写っている人物（個人）が誰であるか示す識別情報を含んでいる。また、人物認識（４５）は、画像内で複数の人物を検出して識別された場合には、各人に対応した関連付け情報を含んでいる。物体認識（４６）は、画像解析処理部１０による撮影画像の解析結果であり、画像内に写っているオブジェクトの種類が何であるかを示す関連付け情報を含んでいる。また、物体認識（４６）は、画像内から複数の物体が認識された場合、それぞれの物体に対応する関連付け情報を含んでいる。

この関連付け情報４０では、例えば、Ｐ１の撮影画像データは、日付タイプのｔ１、場所タイプの東京、シーンタイプの風景、物体認識タイプの電車の４つの関連付け情報を持つことを示している。また、Ｐ６の撮影画像データは、日付タイプのｔ４、場所タイプの北海道、人物認識タイプのＣ、物体認識タイプの牛、物体認識タイプの馬、物体認識タイプの風車の６個の関連付け情報を持つことを示している。
なお、画像データが持つ関連付け情報のタイプは、図４で示すタイプに限定されない。また、画像データが物体識別情報として持つオブジェクトの種類や詳細レベルは、図４の例に限定されない。また、１つのオブジェクトから抽出する関連付け情報の種類の数についても、図４の例に限定されない。例えば１つのオブジェクトが同時に複数の物体として認識されてもよい。また、１つの画像データから検出して識別する人物や物体の数も特に限定されない。

図２のｔ１からｔ５の撮影操作で撮影されたＰ１からＰ８の撮影画像データは、図４の関連付け情報の例に基づき、図３のように１つのＨＥＩＦファイル３５に纏められて保存される。例えばｔ２の撮影画像データのＰ２は、Ｐ１と同じ物体識別情報である“電車”を持つため、Ｐ１が格納されたＨＥＩＦファイル３１に格納されてＨＥＩＦファイル３２となる。ｔ３の撮影画像データであるＰ３、Ｐ４、Ｐ５は、Ｐ２と同じ人物識別情報である“Ｂ”を持つ。このためＰ３、Ｐ４、Ｐ５は、Ｐ２が含まれるＨＥＩＦファイル３２に格納されてＨＥＩＦファイル３３となる。この結果、Ｐ１からＰ５は同じＨＥＩＦファイル３３に格納される。また、ｔ４の撮影画像Ｐ６は、Ｐ３、Ｐ４、Ｐ５と同じ人物識別情報である“Ｃ”を持つため、同じＨＥＩＦファイル３３に格納されてＨＥＩＦファイル３４となる。最後のｔ５の撮影画像Ｐ７、Ｐ８はＰ６と同じ場所である関連付け情報”北海道”を持つため、同じＨＥＩＦファイル３４に格納されてＨＥＩＦファイル３５となる。このように、本実施形態では、関連付け情報のいずれかのタイプで同じ情報を持つ画像データを同じファイルに格納される。
以上、本実施形態における複数の撮影画像データを含むＨＥＩＦファイル（画像ファイル）を作成する処理の例を説明した。

図５は、本実施形態における撮影画像データと既存画像ファイルとの関連付けの有無を判定する処理の例を示している。図５の判定処理は、主にＣＰＵ１２と画像解析処理部１０が実行する。なお、画像ファイルはＨＥＩＦファイルを例にして説明する。
画像ファイル作成装置１の撮影操作により、撮像処理部１６がデジタル画像信号の撮影画像データを出力すると、ＣＰＵ１２は、判定処理を開始する（Ｓ１）。
ＣＰＵ１２は、まず、Ｓ２において、撮影画像データを解析して関連付け情報を導出する。Ｓ２では、ＣＰＵ１２は、撮影時刻、撮影時のシーン設定、および位置測定部１８で計測された測位情報から、撮影時の日付、場所、撮影シーンの関連付け情報を生成する。さらに、画像解析処理部１０が撮影画像データを解析して、人物や物体を検出して人物認識情報や物体認識情報を生成する。これにより、図４のＰ２を撮影画像データの例にすると、日付、場所、人物認識、物体認識の関連付け情報が導出され、シーンの関連付け情報が導出されなかったことになる。なお、Ｓ２において導出する関連付け情報のタイプを予め選択可能にしておいてもよい。

続くＳ３では、ＣＰＵ１２は、Ｓ２において１つ以上の関連付け情報を導出できたかどうかを判定する。もし関連付け情報が少なくとも１つ導出できたならばＳ４に進み、そうでなければＳ６に進む。
次のＳ４では、画像ファイル作成装置１で既に保存しているＨＥＩＦファイルの中に、Ｓ２で導出した関連付け情報と同じ関連付け情報を持つファイルがあるかどうかを検索（判定）する。ＨＥＩＦファイルが同じ関連付け情報を持つという意味は、ＨＥＩＦファイルに同じタイプと同じ識別情報を含む関連付け情報が格納されているということである。図４のＰ２の撮影画像データを例にすると、Ｓ２の処理で日付、場所、人物認識、物体認識の関連付け情報が導出される。さらに、Ｓ４の処理で、同じ日付や同じ場所の関連付け情報として持つ画像ファイルや、人物識別情報に“Ｂ”を含む画像ファイルや、物体識別情報に“電車”が含まれる画像ファイルが検索される。なお、この検索の結果として、複数のＨＥＩＦファイルが検索されてもよい。Ｓ４の検索の結果、同じ関連付け情報を持つ既存画像ファイルが検索された場合はＳ５に進み、そうでなければＳ６に進む。

Ｓ５では、ＣＰＵ１２は、判定結果を撮影画像データが既存の画像ファイルとの関連付けがあるとし、Ｓ７に進んで処理を終了する。一方、Ｓ６では、ＣＰＵ１２は、判定結果を撮影画像データが既存の画像ファイルとの関連付けが無いとし、Ｓ７に進んで処理を終了する。なお、画像ファイル作成装置１内に既存の画像ファイルが無かった場合は、ＣＰＵ１２は、Ｓ４からＳ６に進み、既存画像ファイルの画像との関連付けなしという判定結果とする。
以上の処理により、本実施形態では、有意な関連付けがある画像データを１つの画像ファイルに対応付けて管理することができる。

図６は、本実施形態における撮影画像データを格納する画像ファイルを作成する処理の例を示している。図５の判定処理は、主にＣＰＵ１２が実行する。なお、画像ファイルはＨＥＩＦファイルを例にして説明する。
撮像処理部１６が新たな撮影画像データを生成すると、ＣＰＵ１２は、処理を開始する（Ｓ１１）。
ＣＰＵ１２は、まず、Ｓ１２において、撮影画像データと既存の画像ファイル（既存画像ファイル）との関連付けの有無を判定する処理を実行する。Ｓ１２の処理は図５を用いて説明した上述の判定処理である。Ｓ１２の判定処理の後、ＣＰＵ１２は、Ｓ１３において、既存の画像ファイルとの関連付けの有無を判定する。ＣＰＵ１２は、既存の画像ファイルとの関連付けがあると判定した場合はＳ１４に進み、そうでなければＳ１９に進む。

Ｓ１４からＳ１８までの処理は、同じ関連付け情報があったすべての既存ファイルを対象として実行するループ処理である。ＣＰＵ１２は、まず、Ｓ１４において、撮影画像データを同じ関係付け情報がある既存の画像ファイルに追加して格納する。なお、このとき、撮影画像データを符号化処理部１５で符号化してから符号化データを画像ファイルに格納する。
次のＳ１５で、ＣＰＵ１２は、この画像ファイルが持つ同じ関連付け情報のグループに、格納した撮影画像データを登録する。この関連付け情報のグループについては後述する。続くＳ１６で、ＣＰＵ１２は、撮影画像データから導出した関連付け情報の中で、この画像ファイルには含まれていない他の関連付け情報があるかを判定する。他の関連付け情報があれば、ＣＰＵ１２は、Ｓ１７に進み、なければＳ１８に進む。Ｓ１７では、ＣＰＵ１２は、Ｓ１６で確認した他の関連付け情報をこの画像ファイルに追加して格納する。そして、ＣＰＵ１２は、追加格納した関連付け情報のグループに現在の撮影画像データを登録し、Ｓ１８へ進む。Ｓ１８では、ＣＰＵ１２は、現在の撮影画像データから導出された同じ関連付け情報を持つ他の画像ファイルがあるかを調べる（判定する）。他の画像ファイルにも同じ関連付け情報があるときは、ＣＰＵ１２は、Ｓ１４に戻り、Ｓ１４からＳ１７の処理を他の画像ファイルに対しても実行する。Ｓ１８において、同じ関連付け情報を持つ他の画像ファイルがなければ、ＣＰＵ１２は、Ｓ２２に進んで処理を終了する。

上述のＳ１３の分岐処理においてＳ１９に進んだ場合には、撮影画像データと同じ関連付け情報を持つ画像ファイルがなかったことになる。このため、ＣＰＵ１２は、Ｓ１９において、新規の画像ファイルを作成し、現在の撮影画像データを符号化したデータを格納する。続くＳ２０において、ＣＰＵ１２は、現在の撮影画像データからＳ１２の判定処理で１以上の関連付け情報が導出されたかどうかを判定し、導出していた場合にはＳ２１に進む。導出されていなければ、ＣＰＵ１２は、Ｓ２２に進んで処理を終了する。Ｓ２１では、ＣＰＵ１２は、現在の撮影画像データから導出したすべての関連付け情報を新規画像ファイルに格納し、そのグループに撮影画像データを登録する。この後、ＣＰＵ１２は、Ｓ２２に進んで処理を終了する。
以上の処理により、本実施形態では、有意な関連付けがある画像データを１つの画像ファイルとして管理することができる。これにより、複数の撮影画像データの中から互いに関連付けされる画像を１つの画像ファイルとして保存することができるようになる。例えば撮影時に、自動的に、撮影した画像を、関連付けがある他の画像と同じ画像ファイルに保存することで、撮影画像ファイルの整理や、所望の条件の画像を検索して表示する等の操作や処理を効率化することができる。

なお、画像ファイル作成装置１のユーザが、撮影操作の事前に、Ｓ１７でファイルに追加格納する他の関連付け情報やＳ２１で新規作成した画像ファイルに格納する関連付け情報を個別に指定可能にしたり、格納する条件を設定可能にしてもよい。例えば、格納する関連付け情報のタイプを選択可能にしたり、格納する人物認識の関連付け情報を指定したりすることが考えられる。これにより、例えば日付タイプの関連付け情報を格納するように設定すれば、同じ日付の撮影画像を必ず１つのＨＥＦＩファイルにすることが可能になる。また、ある人物を識別する関連付け情報のみ指定することにより、同じ人物が写っている撮影画像データを１つのＨＥＩＦファイルに格納することが可能になる。

以下、撮影画像データの符号化データを格納する画像ファイルのファイル形式について、図７から図１０を参照して説明する。
まず、図９を参照する。図９は、本実施形態のＨＥＩＦファイルの内部構造の例を示す図である。
ＨＥＩＦでは、ファイルに格納する画像を画像アイテム（ｉｍａｇｅ ｉｔｅｍ）として区別する。画像アイテムにはファイル内で重複しないＩＤを付与し、ＩＤで識別や参照が可能になっている。

このＨＥＩＦファイル７０は、ＦｉｌｅＴｙｐｅＢｏｘ（ｆｔｙｐ）７１、格納された画像アイテムおよびその符号化データに関するメタデータの格納領域に相当するＭｅｔａＤａｔａＢｏｘ（ｍｅｔａ）７２を含んでいる。また、このＨＥＩＦファイル７０は、符号化データを格納領域に相当するＭｅｄｉａＤａｔａＢｏｘ（ｍｄａｔ）８０を含んでいる。
ｍｅｔａ７２には、メタデータを解釈するためのハンドラを指定するＨａｎｄｌｅｒＢｏｘ（ｈｄｌｒ）７３と、ＨＥＩＦファイルが格納する画像アイテムの中から代表画像のアイテムＩＤを指定するＰｒｉｍａｒｙＩｔｅｍＢｏｘ（ｐｉｔｍ）７４が含まれる。また、ｍｅｔａ７２には、格納された画像アイテムの符号化データのファイル内の格納位置を指定するＩｔｅｍＬｏｃａｔｉｏｎＢｏｘ（ｉｌｏｃ）７５が含まれる。また、ｍｅｔａ７２には、格納する画像およびその符号化データをファイル内で識別するためのアイテムＩＤ及びＨＥＶＣ符号化画像であることを示すアイテムタイプの情報を格納するＩｔｅｍＩｎｆｏｒｍａｔｉｏｎＢｏｘ（ｉｉｎｆ）７６が含まれる。また、ｍｅｔａ７２には、格納する画像の属性情報を格納するＩｔｅｍＰｒｏｐｅｒｔｅｉｓＢｏｘ（ｉｐｒｐ）７７が含まれる。このｉｐｒｐ７７には、ＨＥＶＣ符号化データの復号化に必要なパラメータセットのエントリや、画像の幅や高さを示すエントリが含まれており、さらにファイルに格納された各画像アイテムがどのエントリを参照するか指定する情報も含まれる。

また、ｍｄａｔ８０には、各画像のＨＥＶＣ符号化データ８１、８２、８３が格納されるが、各画像アイテムがどの符号化データに対応するのかをｉｌｏｃ７５で参照することが可能である。これらのＢｏｘ７１、７２、８０は、ＨＥＩＦ標準仕様、およびＩＳＯベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ：ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）標準仕様のＩＳＯ／ＩＥＣ１４４９６−１２に準拠している。本実施形態では、さらにＨＥＩＦファイルに画像データの関連付け情報を格納するために、ｍｅｔａ７２に、ＣｏｒｒｅｌａｔｅＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ（ｃｅｇｒ）７８を含んでいる。

図７は、本実施形態におけるＨＥＩＦファイル内のｃｅｇｒのデータフォーマットの例を示す図である。
本実施形態のｃｅｇｒ５１は、ＨＥＩＦで定義されるＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ５５を拡張した形式である。
ｃｅｇｒ５１のデータフォーマットにおいて、ｃｏｒｒｅｌａｔｅ＿ｇｒｏｕｐ＿ｔｙｐｅフィールド５２は、関連付け情報のタイプを示す３２ビットのコード値である。また、ｃｏｒｒｅｌａｔｅ＿ｇｒｏｕｐ＿ｉｄフィールド５３は、関連付け情報のタイプにおいて重複しない３２ビットの識別子である。図８は、ｃｏｒｒｅｌａｔｅ＿ｇｒｏｕｐ＿ｔｙｐｅフィールド５２に設定するコード値の一例６１を示している。例えば、コード値３はＰｌａｃｅ（場所）、コード値５はＰｅｒｓｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ（人物認識）の関連付け情報であることを示している。なお、関連付け情報のタイプ毎に必ず異なるコード値が定義されるようにする。

また、ｃｅｇｒ５１は、ＵＴＦ−８でエンコードされた可読文字列で関連付け情報の名前および説明を付与するｃｏｒｒｅｌａｔｅ＿ｇｒｏｕｐ＿ｎａｍｅフィールド５４ａとｃｏｒｒｅｌａｔｅ＿ｇｒｏｕｐ＿ｄｅｓｃｒｉｐｔｉｏｎのフィールド５４ｂを含む。ただし、この２つのフィールド５４ａ、５４ｂの使用は任意とし、各々付与しない場合には空文字列になるように１バイトのＮＵＬＬ（０ｘ００）をセットする。また、上述したように、ｃｅｇｒ５１は、ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ５５の形式を拡張したものである。このため、ｃｅｇｒ５１は、図７のＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ５５の各フィールド５６、５７、５８も含むものである。ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ５５は、ＨＥＩＦファイル内の各アイテムおよびアイテムグループ等を一意に識別するためのＩＤである３２ビットのｇｒｏｕｐ＿ｉｄフィールド５６を含んでいる。また、ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ５５は、当該グループに含まれるアイテムの数を示すｎｕｍ＿ｅｎｔｉｔｉｅｓ＿ｉｎ＿ｇｒｏｕｐフィールド５７を含んでいる。また、ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ５５は、当該グループに含まれるアイテムのＩＤ（３２ビット値）が列挙されるｅｎｔｉｔｙ＿ｉｄリスト５８を含んでいる。

図１０は、ｃｅｇｒの具体例を示す図である。
ｃｅｇｒ９１は、図４の物体認識（４６）タイプの“電車”の関連付け情報を記述した例である。このｃｅｇｒ９１では、関連付け情報のタイプを図８のコード値６１に従い、ｃｏｒｒｅｌａｔｅ＿ｇｒｏｕｐ＿ｔｙｐｅが６となっている。図４では“電車”を関連付け情報として持つ撮影画像データがＰ１、Ｐ２であるのでｎｕｍ＿ｅｎｔｉｔｉｅｓ＿ｉｎ＿ｇｒｏｕｐが２、ｅｎｔｉｔｙ＿ｉｄリストにＰ１、Ｐ２を示すアイテムＩＤが記述される。また、ｃｅｇｒ９２は、図４の人物認識（４５）タイプの“Ａ”の関連付け情報をｃｅｇｒに記述した例である。ｃｅｇｒ９２のｃｏｒｒｅｌａｔｅ＿ｇｒｏｕｐ＿ｔｙｐｅは、図８のコード値６１に従って５である。図４では“Ａ”を関連付け情報として持つ撮影画像データがＰ３、Ｐ４、Ｐ５であるのでｎｕｍ＿ｅｎｔｉｔｉｅｓ＿ｉｎ＿ｇｒｏｕｐが３、ｅｎｔｉｔｙ＿ｉｄリストにＰ３、Ｐ４、Ｐ５を示すアイテムＩＤが記述される。同様に、ｃｅｇｒ９３は、図４の人物認識（４５）タイプの“Ｃ”の関連付け情報をｃｅｇｒに記述した例である。ｃｅｇｒ９３のｃｏｒｒｅｌａｔｅ＿ｇｒｏｕｐ＿ｔｙｐｅは５である。図４では“Ｃ”を関連付け情報として持つ撮影画像データがＰ３、Ｐ４、Ｐ５、Ｐ６であるのでｎｕｍ＿ｅｎｔｉｔｉｅｓ＿ｉｎ＿ｇｒｏｕｐは４、ｅｎｔｉｔｙ＿ｉｄリストにＰ３、Ｐ４、Ｐ５、Ｐ６を示すアイテムＩＤが記述される。

以上、撮影画像の符号化データを格納する画像ファイルのファイル形式について説明した。前述した図６のＳ１７やＳ２１の撮影画像データから導出した関連付け情報に画像ファイルに格納する処理は、ＨＥＩＦファイルに関連付け情報をｃｅｇｒの形式でデータを格納する。また、Ｓ１５、Ｓ１７、Ｓ２１において関連付け情報のグループに撮影画像データを登録する処理は、ｅｎｔｉｔｙ＿ｉｄ５８に画像アイテムＩＤを追加することである。図３や図４のＰ１からＰ８の撮影画像データは、その符号化データをＨＥＩＦファイルに格納するときに、ファイル内で重複しない３２ビットの画像アイテムＩＤを割り当てることになる。

また、図５のＳ４の処理について説明したように、同じ関連付け情報を持つ既存の画像ファイルの検索は、撮影画像データから導出した関連付け情報と同じタイプの関連付け情報があり、その関連付け情報に同じ識別情報が含まれるファイルを検索することであった。これは、撮影画像データからｃｏｒｒｅｌａｔｅ＿ｇｒｏｕｐ＿ｔｙｐｅとｃｏｒｒｅｌａｔｅ＿ｇｒｏｕｐ＿ｉｄのフィールドの組を導出し、一致するフィールド値の組を持つｃｅｇｒが含まれる既存のＨＥＩＦファイルを検索することである。

（変形例）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。例えば図１では、画像ファイル生成装置１に撮像処理部１６が含まれる構成としているが、撮像処理部１６を別の装置（撮像部）として構成してもよい。この場合、撮像部が撮像した画像データを、例えばパーソナルコンピュータ等で構成される画像ファイル生成装置１に送信（提供）し、画像ファイル生成装置１が画像データを処理する情報処理装置として機能する。

上述の実施形態では、画像ファイル作成装置１が、撮影画像データから関連付け情報を導出し、同じ関連付け情報を含む画像ファイルに、撮影画像の符号化データを格納するという画像ファイル作成方法について説明した。当然であるが、図２のように従来通りの画像ファイル作成装置撮影操作毎に画像ファイルを作成する処理と同時に実行することも可能である。また、ＨＥＩＦファイル（画像ファイル）に関連付け情報と画像データのファイル名等の参照情報（図９のｆｔｙｐ７１、ｍｅｔａ７２に相当）を格納しておき、画像データ自体（図９のｍｄａｔ８０に相当）は別のファイルとしてもよい。この場合でも、有意な関連付けがある画像データを１つの画像ファイル（管理情報）に対応付けて管理することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。

１…画像ファイル作成装置、１０…画像解析処理部、１１…システムバス、１２…ＣＰＵ、１３…ＲＡＭ、１４…ＲＯＭ、１５…符号化処理部、１６…撮像処理部、１７…表示部、１８…位置測定処理部、１９…通信制御部

Claims (12)

1. 複数の画像データ間の関連付けの有無を判定する判定手段と、
   前記判定手段の判定結果に基づいて複数の画像データ間の関連付け情報を作成する作成手段と、
   前記判定手段の判定結果に基づいて前記関連付け情報が作成された前記複数の画像データに対応付ける画像ファイルを選択する選択手段と、
   を備えることを特徴とする情報処理装置。
2. 前記作成手段は、前記複数の画像データから１以上の関連付け情報を作成する、
   ことを特徴とする請求項１記載の情報処理装置。
3. 前記選択手段により選択された画像ファイルに、前記関連付け情報が作成された前記複数の画像データを格納する格納手段を、さらに備えることを特徴とする請求項１または請求項２に記載の情報処理装置。
4. 新たな画像データを取得する取得手段を、さらに備え、
   前記判定手段は、前記取得手段が取得した新たな画像データと前記複数の画像データとの関連付けの有無を判定する、
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の情報処理装置。
5. 前記作成手段は、
   前記取得手段が新たに取得した画像データについて１以上の関連付け情報を作成し、
   前記判定手段は、
   前記作成手段が、前記新たに取得した画像データについて作成した前記１以上の関連付け情報の少なくとも１つが、既存の前記画像ファイルに含まれる関連付け情報と一致するか否かに基づいて前記複数の画像データ間の関連付けの有無を判定する、
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の情報処理装置。
6. 前記選択手段は、
   前記作成手段が、前記新たに取得した画像データについて作成した関連付け情報のうち、前記選択した前記画像ファイルに含まれていない関連付け情報を、当該画像ファイルに対応付ける、
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記選択手段は、
   前記作成手段が、前記新たに取得した画像データについて作成した関連付け情報と一致する関連付け情報が、前記既存の画像ファイルに無かった場合、前記新たに取得した画像データに新たな画像ファイルを対応付ける、
   ことを特徴とする請求項５または請求項６に記載の情報処理装置。
8. 前記関連付け情報に、関連付けの種類および識別子の情報を含む、ことを特徴とする請求項１から請求項７のいずれか１項に記載の情報処理装置。
9. 前記画像ファイルの作成および編集を行う作成手段を、さらに備えることを特徴とする請求項１から請求項８のいずれか１項に記載の情報処理装置。
10. 被写体を撮像して前記画像データを出力する撮像手段をさらに備えることを特徴とする請求項１から請求項９のいずれか１項に記載の情報処理装置。
11. 複数の画像データ間の関連付けの有無を判定するステップと、
    前記判定結果に基づいて複数の画像データ間の関連付け情報を作成するステップと、
    前記判定結果に基づいて前記関連付け情報が作成された前記複数の画像データに対応付ける画像ファイルを選択するステップと、
    を有することを特徴とする情報処理方法。
12. コンピュータを、請求項１から請求項９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images