JP2023173960A - 画像処理装置、画像処理装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】変換前の画像ファイルに記録された全てのアノテーション情報を利用可能な変換後の画像ファイルを提供することができる画像処理装置を提供する。【解決手段】ユーザによる画像変換指示に従って、ＨＥＩＦの画像ファイルをＪＰＥＧの画像ファイルに変換するデジタルカメラ１００は、ＨＥＩＦの画像ファイルに含まれるアノテーション情報が関連画像データでない場合、このアノテーション情報をＪＰＥＧの画像ファイルにおけるアプリケーションマーカーに記録する。また、デジタルカメラ１００は、ＨＥＩＦの画像ファイルに含まれるアノテーション情報が関連画像データである場合、このアノテーション情報のリンク情報をＪＰＥＧの画像ファイルにおけるアプリケーションマーカーに記録する。【選択図】図１

Description

本発明は、画像処理装置、画像処理装置の制御方法、及びプログラムに関する。

近年、深層学習などのＡ．Ｉ．技術が様々な技術分野で活用されている。例えば、撮影して得られた画像データから人の顔を検出する機能を備えるデジタルカメラにおいて、動物、植物、建物、物体などといった人以外の対象物を、推論モデルを用いて精度よく検出する技術が提案されている（例えば、特許文献１参照）。また、検出された対象物に関する情報をアノテーション情報として画像データに関連付けて記録する技術が提案されている。具体的には、アノテーション情報と画像データとが記録された画像ファイルが生成される。アノテーション情報として、例えば、検出された対象物の領域を点、矩形、円などで示す情報を記録することが検討されている。また、検出された対象物の画像データを元の画像データの関連画像データとして切り出し、切り出した画像データを元の画像データに関連付けて記録することも検討されている。さらに、切り出した画像データの色、形、種別などのプロパティを元の画像データに関連付けて記録することも検討されている。

一方、デジタルカメラには、ＲＡＷの画像ファイルやＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）の画像ファイルを、より再生互換の高いＪＰＥＧの画像ファイルに変換する機能が搭載されている。

特開２０２０－９１７０２号公報

ＪＰＥＧの画像ファイルは、ＨＥＩＦ等の他の形式の画像ファイルと比べて、アノテーション情報を記録する領域の記録可能容量が小さい。このため、ＲＡＷの画像ファイルやＨＥＩＦの画像ファイルをＪＰＥＧの画像ファイルに変換する場合、変換前の画像ファイルに記録された全てのアノテーション情報をＪＰＥＧの画像ファイルに記録することができない。その結果、変換後の画像ファイルにおいて、変換前の画像ファイルに記録された一部のアノテーション情報を利用することができない。

本発明の目的は、変換前の画像ファイルに記録された全てのアノテーション情報を利用可能な変換後の画像ファイルを提供することができる画像処理装置、画像処理装置の制御方法、及びプログラムを提供することにある。

上記課題を解決するため、本発明の画像処理装置は、画像データ及び当該画像データのアノテーション情報を含む第１の形式の画像ファイルを、アノテーション情報を記録する所定の領域の記録可能容量が前記第１の形式の画像ファイルより小さい第２の形式の画像ファイルに変換する変換手段を備え、前記変換手段は、前記第１の形式の画像ファイルに含まれるアノテーション情報が所定値以上のデータ量となる所定のアノテーション情報でない場合、当該アノテーション情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録し、前記第１の形式の画像ファイルに含まれるアノテーション情報が前記所定のアノテーション情報である場合、当該アノテーション情報のリンク情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録することを特徴とする。

本発明によれば、変換前の画像ファイルに記録された全てのアノテーション情報を利用可能な変換後の画像ファイルを提供することができる。

本実施の形態に係る画像処理装置としてのデジタルカメラの構成例を示すブロック図である。 本実施の形態において用いられるＨＥＩＦの画像ファイルの構成を説明するための図である。 図１のデジタルカメラにおいて実行される撮影制御処理の手順を示すフローチャートである。 本実施の形態において用いられるＪＰＥＧの画像ファイルの構成を説明するための図である。 図１のデジタルカメラにおいて実行されるフォーマット変換処理の手順を示すフローチャートである。 図５ＡのステップＳ５０６のヘッダー作成処理の手順を示すフローチャートである。 図５ＡのステップＳ５０７のＪＰＥＧの画像ファイル保存処理の手順を示すフローチャートである。 本実施の形態においてＨＥＩＦの画像ファイルを変換して生成された画像ファイルの構成を説明するための図ある。 図５Ｂのヘッダー作成処理の別の手順を示すフローチャートである。 図５ＣのＪＰＥＧの画像ファイル保存処理の別の手順を示すフローチャートである。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられても良い。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下では、本実施の形態における画像処理装置の一例として、推論モデルを使用して被写体の分類を行うデジタルカメラについて説明するが、画像処理装置はデジタルカメラに限られない。例えば、画像処理装置は、スマートフォン、タブレットＰＣなどといった、記憶部に格納されたＨＥＩＦ等の画像ファイルを他の形式の画像ファイルに変換する装置であれば良い。

また、本実施の形態では、第１の形式の画像ファイルとしてのＨＥＩＦの画像ファイルから、第２の形式の画像ファイルとしてのＪＰＥＧの画像ファイルへ変換する構成について説明するが、この構成に限られない。第１の形式の画像ファイルは、画像データと当該画像データのアノテーション情報を含み且つアノテーション情報を記録する所定の領域の記録可能容量が第２の形式の画像ファイルより大きい構成であれば、ＨＥＩＦ以外の他の形式の画像ファイルであっても良い。また、第２の形式の画像ファイルは、アノテーション情報を記録する所定の領域の記録可能容量が第１の形式の画像ファイルより小さい構成であれば、ＪＰＥＧ以外の他の形式の画像ファイルであっても良い。

図１は、本実施の形態に係る画像処理装置としてのデジタルカメラ１００の構成例を示すブロック図である。

バリア１０は、デジタルカメラ１００の撮影レンズ１１を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する保護部材である。撮影レンズ１１は、光学像を撮像素子１３の撮像面に結像させる。シャッター１２は絞り機能を備える。撮像素子１３は、撮像面上に結像された光学像を電気信号に変換する。撮像素子１３は、例えば、ＣＣＤやＣＭＯＳ素子等で構成される。Ａ／Ｄ変換器１５は、撮像素子１３から出力されたアナログ信号をディジタル信号に変換する。なお、図１では、Ａ／Ｄ変換器１５をＡ／Ｄ１５と表記している。Ａ／Ｄ変換器１５で変換されたディジタル信号は、所謂、ＲＡＷの画像データとして、メモリ２５に書き込まれる。併せて、撮影時の情報を基に各ＲＡＷの画像データに対応する現像パラメータが生成され、現像パラメータもメモリ２５に書き込まれる。現像パラメータは、露光制御で使用されるパラメータや、ホワイトバランス、色空間、コントラストなどの画像処理で使用されるパラメータを含む。

タイミング発生部１４は、撮像素子１３、Ａ／Ｄ変換器１５、Ｄ／Ａ変換器２１にクロック信号や制御信号を供給する。なお、図１では、Ｄ／Ａ変換器２１をＤ／Ａ２１と表記している。タイミング発生部１４は、メモリ制御部２２及びシステム制御部５０Ａにより制御される。画像処理部２０は、Ａ／Ｄ変換器１５からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理、色変換処理、補正処理、リサイズ処理などの各種画像処理を行う。また、画像処理部２０は、撮像した画像データを用いて所定の画像処理や演算処理を行い、得られた演算結果をシステム制御部５０Ａに提供する。システム制御部５０Ａは、提供された演算結果に基づいて露光制御部４０及び測距制御部４１を制御することにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を実現する。

なお、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理を行う。また、画像処理部２０は、メモリ２５に格納された画像データをＪＰＥＧ、ＭＰＥＧ－４ ＡＶＣ、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等の方式で圧縮処理を行う。さらに、画像処理部２０は、これらの方式で圧縮処理が施されたデータの伸長処理を行う。画像処理部２０は、処理済みのデータをメモリ２５に書き込む。

また、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、各種画像データの編集処理を行う。具体的に、画像処理部２０は、画像データの周囲にある不要な部分を非表示にすることで画像の表示範囲やサイズを調整するトリミング処理や、画像データや画面の表示要素などを拡大や縮小して大きさを変更するリサイズ処理を行う。さらに、画像処理部２０は、圧縮処理又は伸長処理が施されたデータに対して色変換などの画像処理を施した後にＪＰＥＧの画像データに変換するＲＡＷ現像を行う。また、画像処理部２０は、ＭＰＥＧ－４などの動画フォーマットの指定フレームを切り出してＪＰＥＧのデータに変換する処理を行う。

また、画像処理部２０は、表示用画像データとともに表示部２３に表示するメニューや任意の文字等のＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）を重畳させる処理等も行う。

また、画像処理部２０は、入力された画像データや撮影時に撮像素子１３などから得られる被写体との距離情報などを利用して、画像データにおける被写体領域を検出する処理を行う。この処理により、画像データにおける被写体の位置や大きさなどの情報が得られる。

メモリ制御部２２は、Ａ／Ｄ変換器１５、タイミング発生部１４、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２１、メモリ２５を制御する。Ａ／Ｄ変換器１５を通して生成されたＲＡＷの画像データは、画像処理部２０、メモリ制御部２２を介して、或いは画像処理部２０を介すことなくメモリ制御部２２を介して、画像表示メモリ２４やメモリ２５に書き込まれる。

画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１を介して表示部２３に表示される。撮像した画像データを表示部２３に逐次表示することで、ライブ映像を表示する電子ファインダ機能を実現することが可能となる。メモリ２５は、撮影した静止画データや動画データを格納する。メモリ２５は、所定枚数の静止画データや所定時間の動画データを格納するのに十分な記憶容量を備えている。また、メモリ２５はシステム制御部５０Ａの作業領域としても使用される。

露光制御部４０は、絞り機能を備えるシャッター１２を制御する。また、露光制御部４０は、フラッシュ４４と連動することによりフラッシュ調光機能を実現する。測距制御部４１は、撮影レンズ１１のフォーカシングを制御する。ズーム制御部４２は、撮影レンズ１１のズーミングを制御する。バリア制御部４３は、保護部材であるバリア１０の動作を制御する。フラッシュ４４は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。

システム制御部５０Ａは、デジタルカメラ１００全体を制御する。不揮発性メモリ５１は、電気的にデータを消去・記録可能な不揮発性メモリである。不揮発性メモリ５１には、例えばＥＥＰＲＯＭ等が用いられる。なお、不揮発性メモリ５１には、プログラムだけでなく、地図情報等も記録されている。

シャッタースイッチ６１（ＳＷ１）は、シャッターボタン６０の操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。シャッタースイッチ６２（ＳＷ２）は、シャッターボタン６０の操作完了でＯＮとなり、露光処理、現像処理、記録処理を含む一連の撮影動作の開始を指示する。露光処理では、撮像素子１３から読み出された信号が、Ａ／Ｄ変換器１５、メモリ制御部２２を介して、ＲＡＷデータとしてメモリ２５に書き込まれる。現像処理では、画像処理部２０やメモリ制御部２２による演算結果を用いて、メモリ２５に書き込まれたＲＡＷデータが現像され、画像データとしてメモリ２５に書き込まれる。記録処理では、メモリ２５から画像データが読み出され、画像処理部２０による圧縮処理済みの画像データがメモリ２５に格納され、その後、圧縮処理済みの画像データがカードコントローラ９０を介して外部記録媒体９１に書き込まれる。

操作部６３は、各種ボタンやタッチパネル等を備える。例えば、操作部６３は、電源ボタン、メニューボタン、撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替えスイッチ、十字キー、セットボタン、マクロボタン、マルチ画面再生改ページボタンを含む。また、操作部６３は、例えば、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動－（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等を含む。

メタデータ生成・解析部７０は、外部記録媒体９１に画像データを記録する際に撮影時の情報を基に画像データにＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）などの規格のメタデータを生成する。メタデータは、例えば、撮影時の設定情報、画像データに関する情報、画像データに含まれる被写体の特徴情報を含む。また、メタデータ生成・解析部７０は、外部記録媒体９１から読み込んだ画像データに付与されているメタデータの解析を行う。さらに、メタデータ生成・解析部７０は、動画データを記録する際には、各フレームについてメタデータを生成し、全てのフレームのメタデータを動画データに付与することもできる。

電源８０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。電源制御部８１は、電源８０から供給される電力をデジタルカメラ１００の各部に供給する。カードコントローラ９０は、メモリカード等の外部記録媒体９１とデータの送受信を行う。外部記録媒体９１は、例えばメモリカードで構成され、デジタルカメラ１００が撮影した画像データ（静止画データ、動画データ）を記録する。

推論モデル記録部７２Ａは、通信部７１Ａが外部装置１０１などから取得した推論モデルを記憶する。推論エンジン７３Ａは、推論モデル記録部７２Ａに記憶された推論モデルに、システム制御部５０Ａから取得した画像データと当該画像データのアノテーション情報とを含む画像ファイルを入力して推論を行う。なお、本実施の形態では、推論エンジン７３Ａは、通信部７１Ａが外部装置１０１などから取得して推論モデル記録部７２Ａに記録された推論モデルを使用してもよく、学習部７４Ａが再学習を行った推論モデルを使用しても良い。

推論モデルは、入力層、中間層（ニューロン）、出力層で構成されている。入力層にはシステム制御部５０Ａから出力された画像ファイルが入力される。中間層は、複数の層で構成されている。中間層における層の数は設計上適宜決められ、また各層におけるニューロンの数も設計上適宜決められる。出力層は、入力層に入力された画像ファイルに対応するアノテーション情報を出力する。

本実施の形態において、推論エンジン７３Ａが用いる推論モデルは、画像データから検出された被写体領域の分類を推論する推論モデルを想定している。この推論モデルは、様々な被写体の画像データと、その分類（例えば、犬、猫などの動物の分類や、人、動物、植物、建物などの被写体分類）の結果とを教師データとして、深層学習により外部装置１０１などで生成されたものである。なお、デジタルカメラ１００は、これ以外の他の推論モデルを外部装置１０１などから取得し、取得した他の推論モデルを用いても良い。

学習部７４Ａは、システム制御部５０Ａから受けた指示に従って、推論モデル記録部７２Ａに記憶された推論モデルの再学習を行う。学習部７４Ａは、教師データ記録部７４ａを有する。教師データ記録部７４ａは、推論モデルの再学習に用いる教師データに関する情報を記録する。学習部７４Ａは、教師データ記録部７４ａに記録されている教師データを用いて、推論モデルの再学習を行い、再学習済みの推論モデルを推論モデル記録部７２Ａに記憶させる。これにより、推論エンジン７３Ａは、再学習済みの推論モデルを用いて、推論を行うことができる。なお、本実施の形態では、推論モデルの更新状況を管理するための管理バージョンを推論モデル記録部７２Ａに保持させ、この管理バージョンに基づいて推論モデルの更新状況を把握可能である。

通信部７１Ａは、送信及び受信を行うための通信回路を有する。通信部７１Ａによる通信は、Ｗｉ－ＦｉやＢｌｕｅＴｏｏｔｈなどの無線通信でも良く、イーサネットやＵＳＢなどの有線通信でも良い。例えば、通信部７１Ａは、外部装置１０１の通信部７１Ｂと通信を行うことができる。通信部７１Ａは、推論エンジン７３Ａにおいて作成されたアノテーション情報が付与された画像ファイルだけでなく、推論モデルや教師データなどの様々な情報を送受信する通信部として機能する。なお、デジタルカメラ１００は、外部装置１０１がカメラと関連しているか否かで、送信する情報に制限をかけることができる。

外部装置１０１は、学習部７４Ｂ、推論エンジン７３Ｂ、推論モデル記録部７２Ｂ、システム記録部５０Ｂ、通信部７１Ｂを有する。学習部７４Ｂは、システム記録部５０Ｂ等から受けた指示に従って、推論モデルを作成する。推論モデル記録部７２Ｂは、デジタルカメラ１００から送信された推論モデルや、学習部７４Ｂが作成した推論モデルを記録する。

本実施の形態において、デジタルカメラ１００は、撮影して得られた画像データから、人、動物、植物、建物、物体などの対象物を検出する。そして、デジタルカメラ１００は、撮影して得られた画像データと当該画像データのアノテーション情報とを含む画像ファイルを生成する。デジタルカメラ１００は、アノテーション情報として、例えば、検出された対象物の領域を点、矩形、円などで示す情報を画像ファイルに記録する。また、デジタルカメラ１００は、検出された対象物の画像データを元の画像データの関連画像データとして切り出し、切り出した画像データ（関連画像データ）を画像ファイルに記録する。さらに、デジタルカメラ１００は、切り出した画像データの色、形、種別などのプロパティを画像ファイルに記録する。本実施の形態では、例えば、ユーザからＨＥＩＦの画像データの撮影指示を受けた場合、デジタルカメラ１００は、図２に示すＨＥＩＦの画像ファイル２００を生成する。

図２は、本実施の形態において用いられるＨＥＩＦの画像ファイル２００の構成を説明するための図である。図２（ａ）に示すように、ＨＥＩＦの画像ファイル２００は、ＢＯＸと呼ばれる複数の領域で構成され、データを木構造で記録する。ＢＯＸには、データが直接記録されてもよく、別のＢＯＸが子要素として記録されても良い。ＨＥＩＦの画像ファイル２００は、画像ファイルの種別を記録する‘ｆｔｙｐｅ’ＢＯＸ２０１、アノテーション情報等を含むメタデータを記録する‘ｍｅｔａ’ＢＯＸ２０２、及び画像データを記録する’ｍｄａｔ’ＢＯＸ２１８を備える。なお、図２（ａ）には、本発明の説明に必要最小限のＢＯＸが記載されているが、ＨＥＩＦの画像ファイル２００は、上述した以外のＢＯＸを備えていても良い。

’ｍｅｔａ’ＢＯＸ２０２は、子要素として、’アイテム定義’ＢＯＸ２０３、‘アイテム関連付け’ＢＯＸ２０７、’アイテム属性定義’ＢＯＸ２１１、及び’アイテムの位置情報’ＢＯＸ２１５を備える。

’アイテム定義’ＢＯＸ２０３には、アノテーション情報として定義したいアイテムが子要素として記録されている。図２（ａ）では、’アイテム定義’ＢＯＸ２０３に、主画像のアイテム定義２０４、関連画像のアイテム定義２０５、領域のアイテム定義２０６が記録されている。なお、これら以外のアノテーション情報を定義する場合には、’アイテム定義’ＢＯＸ２０３に、定義したいアイテムが追記される。主画像のアイテム定義２０４には、ＨＥＩＦの画像ファイル２００の主画像データとなる図２（ｂ）の画像データ２５０のアイテム番号の定義や、アイテムの種別が「画像」であることの定義などが記録される。関連画像のアイテム定義２０５には、画像データ２５０から切り出された図２（ｃ）の関連画像データ２５１のアイテム番号の定義や、アイテムの種別が「画像」であることの定義などが記録される。領域のアイテム定義２０６には、画像データ２５０において関連画像データ２５１に対応する領域、例えば、図２（ｄ）の領域２５３のアイテム番号の定義やアイテムの種別が「領域」であることの定義が記録される。

‘アイテム関連付け’ＢＯＸ２０７には、アイテムの参照情報が子要素として記録されている。図２（ａ）では、‘アイテム関連付け’ＢＯＸ２０７に、主画像と関連画像の関係２０８、主画像と主画像の属性情報の関係２０９、関連画像と関連画像の属性情報の関係２１０が記録されている。なお、これら以外のアノテーション情報を定義する場合には、‘アイテム関連付け’ＢＯＸ２０７に、定義したいアイテムが追記される。主画像と関連画像の関係２０８には、主画像データのアイテム番号と関連画像データのアイテム番号とが対応付けて記録される。主画像と主画像の属性情報の関係２０９には、主画像データのアイテム番号と後述する主画像の属性情報２１２とが対応付けて記録される。関連画像と関連画像の属性情報の関係２１０には、関連画像データのアイテム番号と後述する関連画像の属性情報２１３とが対応付けて記録される。

’アイテム属性定義’ＢＯＸ２１１には、アイテムの属性情報などのプロパティが子要素として記録される。図２（ａ）では、‘アイテム属性定義’ＢＯＸ２１１に、主画像の属性情報２１２、関連画像の属性情報２１３、及び領域の属性情報２１４が記録されている。なお、これら以外のアノテーション情報を定義する場合には、‘アイテム属性定義’ＢＯＸ２１１に、定義したいアイテムが追記される。主画像の属性情報２１２には、主画像データのサイズ、色空間情報、ピクセル情報、回転情報などが記録される。関連画像の属性情報２１３には、関連画像データのサイズ、色空間情報、ピクセル情報、回転情報などが記録され、更に検出された対象物の属性も記録される。検出された対象物の属性を関連画像の属性情報２１３に記録することで、例えば、図２（ｄ）に示すように、関連画像データに対応する領域２５３に当該属性を示す「Ｆｌｏｗｅｒ」という文字列２５４を表示することができる。領域の属性情報２１４には、検出された対象物の領域の形状や座標が記録される。

’アイテムの位置情報’ＢＯＸ２１５には、’ｍｄａｔ’ＢＯＸ２１８における画像データの位置情報が子要素として記録される。図２（ａ）では、主画像の位置情報２１６及び関連画像の位置情報２１７が記録されている。主画像の位置情報２１６には、’ｍｄａｔ’ＢＯＸ２１８における主画像データの位置情報が記録される。関連画像の位置情報２１７には、’ｍｄａｔ’ＢＯＸ２１８における関連画像データの位置情報が記録される。’ｍｄａｔ’ＢＯＸ２１８には、主画像データ２１９や、当該主画像データ２１９の関連画像データ２２０が記録される。なお、ｍｄａｔ’ＢＯＸ２１７には、ＨＥＩＦ以外の他の形式の画像データも記録可能である。

次に、デジタルカメラ１００による撮影について説明する。図３は、図１のデジタルカメラ１００において実行される撮影制御処理の手順を示すフローチャートである。図３の撮影制御処理は、システム制御部５０Ａが不揮発性メモリ５１等に格納されたプログラムを実行することによって実現される。図３の撮影制御処理は、ユーザが操作部６３に含まれるモード切替えスイッチで撮影モードを設定した際に実行される。

図３において、まず、システム制御部５０Ａは、ユーザがシャッタースイッチ６１（ＳＷ１）、シャッタースイッチ６２（ＳＷ２）を押下してＨＥＩＦの画像データの撮影を指示したか否かを判別する（ステップＳ３０１）。ステップＳ３０１において、ユーザがＨＥＩＦの画像データの撮影を指示したと判別された場合、処理はステップＳ３０２へ進む。ステップＳ３０１において、ユーザがＨＥＩＦの画像データの撮影を指示しないと判別された場合、処理は後述するステップＳ３０８へ進む。

ステップＳ３０２では、システム制御部５０Ａは、撮影処理を行う。撮影処理では、システム制御部５０Ａは、測距制御部４１や露光制御部４０を制御してＡＦ処理、ＡＥ処理を行い、撮像素子１３から出力される映像データをメモリ２５に保存する。また、システム制御部５０Ａは、画像処理部２０を制御して、メモリ２５に保存された映像データをＨＥＩＦで圧縮したＨＥＩＦの画像データを生成する。

次いで、ステップＳ３０３において、システム制御部５０Ａは、画像処理部２０を制御して、メモリ２５に保存された映像データに対して被写体検出処理を施す。これにより、映像データにおける被写体領域が検出される。

次いで、ステップＳ３０４において、システム制御部５０Ａは、ステップＳ３０２にて生成された画像データとステップＳ３０３にて検出された被写体領域の情報とを含むＨＥＩＦの画像ファイル２００を外部記録媒体９１に保存する。被写体領域の情報は、メタデータ生成・解析部７０により、後述する推論処理にて用いられる情報としてＨＥＩＦの画像ファイル２００の‘ｍｅｔａ’ＢＯＸ２０２に記録される。

次いで、ステップＳ３０５において、システム制御部５０Ａは、推論エンジン７３Ａによる推論処理を実行可能であるか否かを判別する。例えば、推論エンジン７３Ａが他の画像ファイルに対する処理を実行中である場合、シャッタースイッチ６２がユーザに押下され続けて連写撮影が指示されている場合、推論エンジン７３Ａを用いた推論処理を実行可能でないと判別される。この場合、処理は後述するステップＳ３０８へ進む。一方、上述した何れにも該当しない場合には、推論エンジン７３Ａを用いた推論処理を実行可能であると判別される。この場合、処理はステップＳ３０６へ進む。

ステップＳ３０６において、システム制御部５０Ａは、ＨＥＩＦの画像ファイル２００に対して、推論エンジン７３Ａによる推論処理を行う。推論エンジン７３Ａは、ＨＥＩＦの画像ファイル２００を入力として、推論モデル記録部７２Ａに記録された推論モデルを用いた推論処理を行う。この推論処理では、ＨＥＩＦの画像ファイル２００に含まれる画像データとアノテーション情報から、画像データにおける被写体領域が特定され、被写体領域毎に、被写体領域に対応する被写体の分類結果が推論結果として出力される。なお、推論結果以外に、推論処理の途中の動作上のデバッグ情報やログなどといった推論処理に関連する情報が出力されても良い。

次いで、ステップＳ３０７において、システム制御部５０Ａは、ステップＳ３０６にて得られた被写体の分類結果をアノテーション情報としてＨＥＩＦの画像ファイル２００に記録する。なお、ＨＥＩＦの画像ファイル２００には、推論モデルの推論結果として出力された被写体の分類結果がアノテーション情報として記録されれば良い。このため、被写体の分類結果がそのままＨＥＩＦの画像ファイル２００に記録されても良く、テキスト形式、バイナリ型式などその記録フォーマットや形式は問わないこととする。このように、ＨＥＩＦの画像ファイル２００に画像データと被写体の分類結果とを記録することで、これらのデータを個別で管理するより、容易に管理することができる。また、システム制御部５０Ａは、推論モデル記録部７２Ａに保持されている推論モデルの管理バージョンやデバッグ情報などを推論モデル管理情報としてＨＥＩＦの画像ファイル２００に記録する。

次いで、ステップＳ３０８において、システム制御部５０Ａは、ユーザによる撮影完了の指示を受け付けたか否かを判別する。例えば、ユーザは、操作部６３におけるモード切り替えスイッチで撮影モード以外のモードを設定する、若しくは電源ボタンで電源ＯＦＦに設定することで、撮影完了を指示可能である。ステップＳ３０８において、ユーザによる撮影完了の指示を受け付けないと判別された場合、処理はステップＳ３０１へ戻る。ステップＳ３０８において、ユーザによる撮影完了の指示を受け付けたと判別された場合、本処理は終了する。

このようにして、本実施の形態では、デジタルカメラ１００が被写体を撮影して生成した画像データと被写体の分類結果等のアノテーション情報とを含むＨＥＩＦの画像ファイル２００が生成される。

また、本実施の形態におけるデジタルカメラ１００は、ＪＰＥＧの画像ファイルを生成することも可能であり、例えば、上述したＨＥＩＦの画像ファイル２００をＪＰＥＧの画像ファイルに変換することもできる。

ここで、ＪＰＥＧの画像ファイルは、ＨＥＩＦ等の他の形式の画像ファイルと比べて、アノテーション情報の記録領域の記録可能容量が小さい。このため、ＨＥＩＦの画像ファイル等をＪＰＥＧの画像ファイルに変換する場合、変換前の画像ファイルに記録された全てのアノテーション情報をＪＰＥＧの画像ファイルに記録することができない。その結果、変換後の画像ファイルにおいて、変換前の画像ファイルに記録された一部のアノテーション情報を利用することができない。

これに対し、本実施の形態では、ＨＥＩＦの画像ファイルに含まれるアノテーション情報が所定値以上のデータ量となる所定のアノテーション情報である場合、当該アノテーション情報は後述するアプリケーションマーカーに記録される。ＨＥＩＦの画像ファイルに含まれるアノテーション情報が上記所定のアノテーション情報である場合、当該アノテーション情報のリンク情報が後述するアプリケーションマーカーに記録される。

図４は、本実施の形態において用いられるＪＰＥＧの画像ファイル４００の構成を説明するための図である。ＪＰＥＧの画像ファイル４００には、図４に示すように、その先頭に画像ファイルの開始を示すマーカーＳＯＩ４０１が記録され、マーカーＳＯＩ４０１の次の行に、アプリケーションマーカー（図４では、「ＡＰＰ１」と表記。）４０２が記録される。

アプリケーションマーカー４０２は、アノテーション情報等を記録する領域であり、その記録可能容量は、ＨＥＩＦの画像ファイル２００における‘ｍｅｔａ’ＢＯＸ２０２の記録可能容量より小さい。アプリケーションマーカー４０２には、ＡＰＰ１の識別コード４０３が記録される。代表的なＡＰＰ１の識別コード４０３として、例えば、’Ｅｘｉｆ’が挙げられる。アプリケーションマーカー４０２には、各種メタデータが記録される。具体的に、アプリケーションマーカー４０２には、主画像のアイテム定義４０４、関連画像のアイテム定義４０５、領域のアイテム定義４０６、主画像と関連画像の関係４０７、主画像と主画像の属性情報の関係４０８が記録される。更に、アプリケーションマーカー４０２には、関連画像と関連画像の属性情報の関係４０９、主画像の属性情報４１０、関連画像の属性情報４１１、領域の属性情報４１２が記録される。

主画像のアイテム定義４０４には、上述した主画像のアイテム定義２０４と同様の情報が記録される。関連画像のアイテム定義４０５には、上述した関連画像のアイテム定義２０５と同様の情報が記録される。領域のアイテム定義４０６には、上述した領域のアイテム定義２０６と同様の情報が記録される。主画像と関連画像の関係４０７には、上述した主画像と関連画像の関係２０８と同様の情報が記録される。主画像と主画像の属性情報の関係４０８には、上述した主画像と主画像の属性情報の関係２０９と同様の情報が記録される。関連画像と関連画像の属性情報の関係４０９には、上述した関連画像と関連画像の属性情報の関係２１０と同様の情報が記録される。主画像の属性情報４１０には、上述した主画像の属性情報２１２と同様の情報が記録される。関連画像の属性情報４１１には、上述した関連画像の属性情報２１３と同様の情報が記録される。領域の属性情報４１２には、上述した領域の属性情報２１４と同様の情報が記録される。

領域の属性情報４１２の次の行には、アプリケーションマーカー（図４では、「ＡＰＰ２」と表記。）４１３が記録される。アプリケーションマーカー４１３も、アプリケーションマーカー４０２と同様に、アノテーション情報等を記録する領域であり、その記録可能容量は、ＨＥＩＦの画像ファイル２００における‘ｍｅｔａ’ＢＯＸ２０２の記録可能容量より小さい。アプリケーションマーカー４１３には、ＡＰＰ２の識別コード４１４が記録される。アプリケーションマーカー４１３には、関連画像データのリンク情報がメタデータとして記録される。具体的に、アプリケーションマーカー４１３には、関連画像の位置情報４１５が記録される。関連画像の位置情報４１５には、後述する関連画像データ４１９のサイズ及び関連画像データ４１９の画像開始を示すマーカーＳＯＩ４１８の場所が記録される。

関連画像の位置情報４１５の次の行には、主画像データ４１６が記録される。主画像データ４１６は、ＪＰＥＧの画像ファイル４００の主画像データである。主画像データ４１６の次の行には、主画像データの最後を示すマーカーＥＯＩ４１７が記録される。マーカーＥＯＩ４１７の次の行には、関連画像データの開始を示すマーカーＳＯＩ４１８、関連画像データ４１９、がこの順に記録される。関連画像データ４１９の次の行には、関連画像データの最後を示すマーカーＥＯＩ４２０が記録される。

図５Ａは、図１のデジタルカメラ１００において実行されるフォーマット変換処理の手順を示すフローチャートである。図５Ａのフォーマット変換処理は、システム制御部５０Ａが不揮発性メモリ５１等に格納されたプログラムを実行することによって実現される。図５Ａのフォーマット変換処理は、デジタルカメラ１００がユーザによる画像変換指示を操作部６３にて受け付けた際に実行される。なお、ユーザは、外部記録媒体９１に保存された複数の画像ファイルの中から、処理対象となる少なくとも１つの画像ファイルを選択して画像変換指示を行う。図５Ａでは、一例として、ユーザが１つのＨＥＩＦの画像ファイルを選択し、このＨＥＩＦの画像ファイルをＪＰＥＧの画像ファイルに変換させる画像変換指示を行った場合について説明する。

図５Ａにおいて、まず、ステップＳ５００では、システム制御部５０Ａは、ユーザが選択したＨＥＩＦの画像ファイルにおけるメタデータの読み込み処理を行う。具体的に、システム制御部５０Ａは、ＨＥＩＦの画像ファイルにおける’ｆｔｙｐｅ’ＢＯＸ２０１及び’ｍｅｔａ’ＢＯＸ２０２にそれぞれ記録された情報をメモリ２５に読み込む。

次いで、ステップＳ５０１において、システム制御部５０Ａは、上記ＨＥＩＦの画像ファイルのメタデータ解析処理を行う。このメタデータ解析処理では、システム制御部５０Ａは、ステップＳ５００にてメモリ２５に読み込んだ’ｆｔｙｐｅ’ＢＯＸ２０１の情報及び’ｍｅｔａ’ＢＯＸ２０２の情報を解析して、上記ＨＥＩＦの画像ファイルに記録されたメタデータを抽出する。このメタデータ解析処理により、上記ＨＥＩＦの画像ファイルに記録された主画像の位置情報２１６及び関連画像の位置情報２１７が得られる。

次いで、ステップＳ５０２において、システム制御部５０Ａは、上記ＨＥＩＦの画像ファイルに記録された主画像データの読み込み処理を行う。具体的に、システム制御部５０Ａは、上記メタデータ解析処理によって得られた主画像の位置情報２１６を用いて、上記ＨＥＩＦの画像ファイルから主画像データ２１９を読み取って、当該主画像データ２１９をメモリ２５に書き込む。

次いで、ステップＳ５０３において、システム制御部５０Ａは、主画像データ２１９のフォーマット変換処理を行う。具体的に、システム制御部５０Ａは、ステップＳ５０２にてメモリ２５に書き込んだ主画像データ２１９を復号化する。更に、システム制御部５０Ａは、不図示の変換エンジンを用いて、復号化済みの主画像データ２１９をＪＰＥＧの画像ファイルに記録する主画像データ４１６として符号化する。

次いで、ステップＳ５０４において、システム制御部５０Ａは、上記ＨＥＩＦの画像ファイルに記録された関連画像データの読み込み処理を行う。具体的に、システム制御部５０Ａは、上記メタデータ解析処理によって得られた関連画像の位置情報２１７を用いて、上記ＨＥＩＦの画像ファイルから関連画像データ２２０を読み取って、当該関連画像データ２２０をメモリ２５に書き込む。

次いで、ステップＳ５０５において、システム制御部５０Ａは、関連画像データ２２０のフォーマット変換処理を行う。具体的に、システム制御部５０Ａは、ステップＳ５０４にてメモリ２５に書き込んだ関連画像データ２２０を復号化する。更に、システム制御部５０Ａは、不図示の変換エンジンを用いて、復号化済みの関連画像データ２２０をＪＰＥＧの画像ファイルに記録する関連画像データ４１９として符号化する。

次いで、ステップＳ５０６において、システム制御部５０Ａは、後述する図５Ｂのヘッダー作成処理を行って、変換後の画像ファイルとなるＪＰＥＧの画像ファイルのヘッダーを作成する。次いで、ステップＳ５０７において、システム制御部５０Ａは、後述する図５ＣのＪＰＥＧの画像ファイル保存処理を行い、上記ＨＥＩＦの画像ファイルから変換したＪＰＥＧの画像ファイルを外部記録媒体９１に保存して、本処理を終了する。

図５Ｂは、図５ＡのステップＳ５０６のヘッダー作成処理の手順を示すフローチャートである。

図５Ｂにおいて、ステップＳ５２０では、システム制御部５０Ａは、第１の記憶領域確保処理を行う。第１の記憶領域確保処理により、変換後の画像ファイルとなるＪＰＥＧの画像ファイルのヘッダーの作成に用いられる第１の記憶領域がメモリ２５に確保される。

次いで、ステップＳ５２１において、システム制御部５０Ａは、上記ＨＥＩＦの画像ファイルのメタデータ取得処理を行う。具体的に、システム制御部５０Ａは、ステップＳ５００にてメモリ２５に書き込まれた’ｆｔｙｐｅ’ＢＯＸ２０１の情報及び’ｍｅｔａ’ＢＯＸ２０２の情報をメモリ２５から読み出す。

次いで、ステップＳ５２２において、システム制御部５０Ａは、第１のアプリケーションマーカー作成処理を行う。第１のアプリケーションマーカー作成処理により、ＪＰＥＧの画像ファイルにおけるアプリケーションマーカー４０２が作成される。ここでは、アプリケーションマーカー４０２の一例として、ＡＰＰ１が作成されることとする。なお、ステップＳ５２２において作成されるアプリケーションマーカー４０２は、ＡＰＰ１に限られず、後述するステップＳ５２３において作成される識別コードに対応する別のアプリケーションマーカーが作成されても良い。

次いで、ステップＳ５２３において、システム制御部５０Ａは、第１の識別コード作成処理を行う。第１の識別コード作成処理により、ＪＰＥＧの画像ファイルにおけるＡＰＰ１の識別コード４０３が作成される。ここでは、ＡＰＰ１の識別コード４０３の一例として、’Ｅｘｉｆ’が作成されることとする。なお、ステップＳ５２３において作成されるＡＰＰ１の識別コード４０３は、’Ｅｘｉｆ’に限られず、他の識別コードが作成されても良い。

次いで、ステップＳ５２４において、システム制御部５０Ａは、ステップＳ５２１にて取得したメタデータがアノテーション情報を含むか否かを判別する。ステップＳ５２４において、ステップＳ５２１にて取得したメタデータがアノテーション情報を含むと判別された場合、処理はステップＳ５２５へ進む。ステップＳ５２４において、ステップＳ５２１にて取得したメタデータがアノテーション情報を含まないと判別された場合、処理は後述するステップＳ５３５へ進む。

ステップＳ５２５では、システム制御部５０Ａは、ＪＰＥＧの画像ファイルに記録するアノテーション情報を生成するアノテーション情報生成処理を開始する。アノテーション情報生成処理では、ステップＳ５２６～Ｓ５３３の処理が行われる。アノテーション情報生成処理は、ＨＥＩＦの画像ファイルに記録される全てのアノテーション情報に対して実行される。

ステップＳ５２６では、システム制御部５０Ａは、ステップＳ５２１にて取得したメタデータからアノテーション情報を取得する。次いで、システム制御部５０Ａは、取得したアノテーション情報が所定値以上のデータ量となる所定のアノテーション情報であるか否かを判別する。具体的に、ステップＳ５２７において、システム制御部５０Ａは、取得したアノテーション情報が関連画像データであるか否かを判別する。ステップＳ５２７では、例えば、ステップＳ５２１にて取得したメタデータにおける’アイテム定義’ＢＯＸ２０３の情報に基づいて、取得したアノテーション情報が関連画像データであるか否かが判別される。

ステップＳ５２７において、取得したアノテーション情報が関連画像データでないと判別された場合、処理はステップＳ５２８へ進む。ステップＳ５２８では、システム制御部５０Ａは、第１の生成処理を行う。第１の生成処理では、取得したアノテーション情報、つまり、関連画像データ以外のアノテーション情報が、そのままの状態で、ＪＰＥＧの画像ファイル４００に記録されるアノテーション情報として生成される。例えば、取得したアノテーション情報が領域の属性情報２１４である場合、システム制御部５０Ａは、領域の属性情報２１４をそのままの状態で第１の記憶領域に保存する。このアノテーション情報は、後述する図５ＣのＪＰＥＧの画像ファイル保存処理により、領域の属性情報４１２として、ＪＰＥＧの画像ファイル４００におけるアプリケーションマーカー４０２に記録される。このように本実施の形態では、ＨＥＩＦの画像ファイルにおけるアノテーション情報のうち所定値以上のデータ量となる所定のアノテーション情報以外のアノテーション情報は、ＪＰＥＧの画像ファイルのアプリケーションマーカーにそのままの状態で記録される。次いで、処理は後述するステップＳ５３４へ進む。

ステップＳ５２７において、取得したアノテーション情報が関連画像データであると判別された場合、処理は後述するステップＳ５２９へ進む。ステップＳ５２９では、システム制御部５０Ａは、第２の生成処理を行う。第２の生成処理では、ＪＰＥＧの画像ファイルのアプリケーションマーカー４０２に記録されるアノテーション情報であって関連画像データに関連するアノテーション情報が生成される。例えば、関連画像と関連画像の属性情報の関係４０９に対応するアノテーション情報や、関連画像の属性情報４１１に対応するアノテーション情報が生成される。生成されたアノテーション情報は、ステップＳ５２０にて確保された第１の記憶領域に保存される。

次いで、ステップＳ５３０において、システム制御部５０Ａは、第２の記憶領域確保処理を行う。第２の記憶領域確保処理により、第１の記憶領域と異なる第２の記憶領域がメモリ２５に確保される。第２の記憶領域は、ＪＰＥＧの画像ファイルにおけるアプリケーションマーカー４１３に記録されるアノテーション情報の作成に用いられる記憶領域である。

次いで、ステップＳ５３１において、システム制御部５０Ａは、第２のアプリケーションマーカー作成処理を行う。第２のアプリケーションマーカー作成処理により、ＪＰＥＧの画像ファイルにおけるアプリケーションマーカー４１３が作成される。ここでは、アプリケーションマーカー４１３の一例として、ＡＰＰ２が作成されることとする。なお、ステップＳ５３１において作成されるアプリケーションマーカー４１３は、ＡＰＰ２に限られず、後述するステップＳ５３２において作成される識別コードに対応する別のアプリケーションマーカーが作成されても良い。

次いで、ステップＳ５３２において、システム制御部５０Ａは、第２の識別コード作成処理を行う。第２の識別コード作成処理により、ＪＰＥＧの画像ファイルにおけるＡＰＰ２の識別コード４１４が作成される。

次いで、ステップＳ５３３において、システム制御部５０Ａは、第３の生成処理を行う。第３の生成処理では、ＪＰＥＧの画像ファイルにおけるアプリケーションマーカー４１３に記録される関連画像データのリンク情報が生成される。例えば、関連画像の位置情報４１５に対応するリンク情報が生成される。生成されたリンク情報は、ステップＳ５３０にて確保された第２の記憶領域に保存される。ステップＳ５２９，Ｓ５３３にて生成された各種情報は、後述する図５ＣのＪＰＥＧの画像ファイル保存処理により、ＪＰＥＧの画像ファイルにおけるアプリケーションマーカー４０２，４１３に記録される。このように本実施の形態では、ＨＥＩＦの画像ファイルにおけるアノテーション情報のうち、所定値以上のデータ量となる所定のアノテーション情報は、ＪＰＥＧの画像ファイルのアプリケーションマーカーに記録されず、そのリンク情報が記録される。なお、後述する図５ＣのＪＰＥＧの画像ファイル保存処理にて関連画像データの位置情報が確定する場合には、位置情報が確定したタイミングで関連画像の位置情報４１５に対応するリンク情報が更新されても良い。その後、処理はステップＳ５３４へ進む。

上記ＨＥＩＦの画像ファイルに記録された全てのアノテーション情報に対する処理を完了すると、システム制御部５０Ａは、ステップＳ５３４において、アノテーション情報生成処理を終了する。

次いで、ステップＳ５３５において、システム制御部５０Ａは、アノテーション情報以外のメタデータを生成する。例えば、ＡＰＰ１の識別コード４０３が’Ｅｘｉｆ’である場合、ステップＳ５３５では、撮影日時や撮影条件等のメタデータが生成される。その後、本処理は終了する。

図５Ｃは、図５ＡのステップＳ５０７のＪＰＥＧの画像ファイル保存処理の手順を示すフローチャートである。

図５Ｃにおいて、ステップＳ５４０では、システム制御部５０Ａは、上述したヘッダー作成処理によって生成されたＪＰＥＧの画像ファイルのヘッダーに関する情報、例えば、第１の記録領域に保存された情報を外部記録媒体９１に書き込む。次いで、ステップＳ５４１において、システム制御部５０Ａは、上述したヘッダー作成処理によって生成されたアプリケーションマーカー４１３（ＡＰＰ２）に記録される情報、例えば、第２の記録領域に保存された情報を外部記録媒体９１に書き込む。次いで、ステップＳ５４２において、システム制御部５０Ａは、ＪＰＥＧの画像ファイル４００の主画像データ４１６を外部記録媒体９１に書き込む。次いで、ステップＳ５４３において、システム制御部５０Ａは、ＪＰＥＧの画像ファイル４００の関連画像データ４１９を外部記録媒体９１に書き込む。次いで、ステップＳ５４４において、システム制御部５０Ａは、その他のデータを外部記録媒体９１に書き込む。その後、本処理は終了する。

上述した実施の形態によれば、ＨＥＩＦの画像ファイルに含まれるアノテーション情報が所定値以上のデータ量となる所定のアノテーション情報でない場合、このアノテーション情報がＪＰＥＧの画像ファイルにおけるアプリケーションマーカーに記録される。ＨＥＩＦの画像ファイルに含まれるアノテーション情報が上記所定のアノテーション情報である場合、このアノテーション情報のリンク情報がＪＰＥＧの画像ファイルにおけるアプリケーションマーカーに記録される。これにより、変換前の画像ファイルに記録された全てのアノテーション情報を利用可能な変換後の画像ファイルを提供することができる。

また、上述した実施の形態では、所定のアノテーション情報は関連画像データであるので、データ量が比較的大きい関連画像データを利用可能な変換後の画像ファイルを提供することができる。

更に、上述した実施の形態では、関連画像データ４１９は、ＪＰＥＧの画像ファイル４００における領域であってアプリケーションマーカー４０２，４１３と異なる領域に記録される。これにより、変換後の画像ファイルから関連画像データ４１９を読み出すことができる。

以上、本発明について、上述した実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。例えば、図６に示すように、変換後のＪＰＥＧの画像ファイル６００と異なる別の画像ファイル６１８に関連画像データ６２０を記録しても良い。この場合、関連画像データ６２０のリンク情報として、例えば、関連画像のファイル名６１５が、変換後のＪＰＥＧの画像ファイル６００におけるアプリケーションマーカー６１３に記録される。関連画像のファイル名６１５は、関連画像データ６２０が記録された画像ファイル６１８のファイル名である。ＪＰＥＧの画像ファイル６００の構成について、関連画像の位置情報４１５の代わりに関連画像のファイル名６１５が記録されていること、及び関連画像データ４１９が記録されていないことが、上述した図４のＪＰＥＧの画像ファイル４００と異なる。それ以外について、上述した図４のＪＰＥＧの画像ファイル４００と基本的に同じ構成である。

図７は、図５Ｂのヘッダー作成処理の別の手順を示すフローチャートである。なお、図７のヘッダー作成処理は、図５Ｂのヘッダー作成処理に類似する処理であり、以下では、特に、図５Ｂのヘッダー作成処理と異なる内容について説明する。

図７において、上述したステップＳ５２０～Ｓ５２７と同様の処理であるステップＳ７０１～Ｓ７０７の処理が行われる。

ステップＳ７０７において、取得したアノテーション情報が関連画像データでないと判別された場合、処理は上述したステップＳ５２８と同様の処理であるステップＳ７０８へ進む。その後、上述したステップＳ５３４，Ｓ５３５と同様の処理であるステップＳ７１４，Ｓ７１５の処理が行われ、本処理は終了する。

ステップＳ７０７において、取得したアノテーション情報が関連画像データであると判別された場合、処理は上述したステップＳ５２９と同様の処理であるステップＳ７０９へ進む。その後、上述したステップＳ５３０～Ｓ５３２と同様の処理であるステップＳ７１０～Ｓ７１２の処理が行われる。次いで、ステップＳ７１３において、システム制御部５０Ａは、第４の生成処理を行う。第４の生成処理では、上述した第３の生成処理とは異なり、関連画像データのリンク情報として、関連画像の位置情報４１５に対応するリンク情報ではなく、関連画像のファイル名６１５に対応するリンク情報が生成される。なお、本実施の形態では、ステップＳ７１３にて生成されるリンク情報は、関連画像データを特定可能な情報であれば、関連画像データが記録された画像ファイルのファイル名に限られない。例えば、関連画像データを特定するためのＩＤ等であっても良い。生成されたリンク情報は、ステップＳ７１０にて確保された第２の記憶領域に保存される。その後、上述したステップＳ５３４，Ｓ５３５と同様の処理であるステップＳ７１４，Ｓ７１５の処理が行われ、本処理は終了する。

図８は、図５ＣのＪＰＥＧの画像ファイル保存処理の別の手順を示すフローチャートである。なお、図８のＪＰＥＧの画像ファイル保存処理は、図５ＣのＪＰＥＧの画像ファイル保存処理に類似する処理であり、以下では、特に、図５ＣのＪＰＥＧの画像ファイル保存処理と異なる内容について説明する。

図８において、上述したステップＳ５４０～Ｓ５４２と同様の処理であるステップＳ８００～Ｓ８０２が行われる。次いで、上述したステップＳ５４４と同様の処理であるステップＳ８０３が行われる。次いで、ステップＳ８０４において、システム制御部５０Ａは、関連画像データ６２０をＪＰＥＧの画像ファイル６００とは異なる別の画像ファイル６１８として外部記録媒体９１に書き込む。その後、本処理は終了する。

このように変換後の画像ファイルと異なる別の画像ファイルに関連画像データが記録される構成においても、変換後の画像ファイルにおいて、変換前の画像ファイルに記録されていた関連画像データを利用することができる。

なお、上述した実施の形態では、所定値以上のデータ量となる所定のアノテーション情報が関連画像データである場合について説明したが、所定のアノテーション情報は関連画像データに限られない。例えば、所定のアノテーション情報は、ＪＰＥＧ規格上、画像ファイルへの記録が認められていない動画データや音声データであっても良い。

所定のアノテーション情報が動画データや音声データである場合、所定のアノテーション情報は、変換後の画像ファイルではなく、変換後の画像ファイルと異なる別の画像ファイルに記録される。また、変換後の画像ファイルにおけるアプリケーションマーカーには、所定のアノテーション情報のリンク情報が記録される。所定のアノテーション情報のリンク情報は、所定のアノテーション情報が記録された画像ファイルのファイル名や、所定のアノテーション情報を特定するためのＩＤ等である。このように所定のアノテーション情報が動画データや音声データであっても、上述した実施の形態と同様の効果を奏することができる。

本発明は、上述の実施の形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、本実施の形態の開示は、以下の構成及び方法を含む。
（構成１）画像データ及び当該画像データのアノテーション情報を含む第１の形式の画像ファイルを、アノテーション情報を記録する所定の領域の記録可能容量が前記第１の形式の画像ファイルより小さい第２の形式の画像ファイルに変換する変換手段を備え、前記変換手段は、前記第１の形式の画像ファイルに含まれるアノテーション情報が所定値以上のデータ量となる所定のアノテーション情報でない場合、当該アノテーション情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録し、前記第１の形式の画像ファイルに含まれるアノテーション情報が前記所定のアノテーション情報である場合、当該アノテーション情報のリンク情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録することを特徴とする画像処理装置。
（構成２）前記所定のアノテーション情報は、前記画像データの関連画像データであることを特徴とする構成１に記載の画像処理装置。
（構成３）前記変換手段は、前記所定のアノテーション情報を前記第２の形式の画像ファイルにおける領域であって前記所定の領域と異なる領域に記録することを特徴とする構成２に記載の画像処理装置。
（構成４）前記変換手段は、前記所定のアノテーション情報を前記第２の形式の画像ファイルと異なる別の画像ファイルに記録することを特徴とする構成２に記載の画像処理装置。
（構成５）前記所定のアノテーション情報は、動画データ又は音声データであることを特徴とする構成１に記載の画像処理装置。
（構成６）前記変換手段は、前記所定のアノテーション情報を前記第２の形式の画像ファイルと異なる別の画像ファイルに記録することを特徴とする構成５に記載の画像処理装置。

５０Ａ システム制御部
１００ デジタルカメラ
４００ ＪＰＥＧの画像ファイル
４０２ アプリケーションマーカー
４１３ アプリケーションマーカー
４１５ 関連画像の位置情報
６００ ＪＰＥＧの画像ファイル
６０２ アプリケーションマーカー
６１３ アプリケーションマーカー
６１５ 関連画像のファイル名
６１８ 画像ファイル
６２０ 関連画像データ

Claims (8)

1. 画像データ及び当該画像データのアノテーション情報を含む第１の形式の画像ファイルを、アノテーション情報を記録する所定の領域の記録可能容量が前記第１の形式の画像ファイルより小さい第２の形式の画像ファイルに変換する変換手段を備え、
   前記変換手段は、前記第１の形式の画像ファイルに含まれるアノテーション情報が所定値以上のデータ量となる所定のアノテーション情報でない場合、当該アノテーション情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録し、前記第１の形式の画像ファイルに含まれるアノテーション情報が前記所定のアノテーション情報である場合、当該アノテーション情報のリンク情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録することを特徴とする画像処理装置。
2. 前記所定のアノテーション情報は、前記画像データの関連画像データであることを特徴とする請求項１に記載の画像処理装置。
3. 前記変換手段は、前記所定のアノテーション情報を前記第２の形式の画像ファイルにおける領域であって前記所定の領域と異なる領域に記録することを特徴とする請求項２に記載の画像処理装置。
4. 前記変換手段は、前記所定のアノテーション情報を前記第２の形式の画像ファイルと異なる別の画像ファイルに記録することを特徴とする請求項２に記載の画像処理装置。
5. 前記所定のアノテーション情報は、動画データ又は音声データであることを特徴とする請求項１に記載の画像処理装置。
6. 前記変換手段は、前記所定のアノテーション情報を前記第２の形式の画像ファイルと異なる別の画像ファイルに記録することを特徴とする請求項５に記載の画像処理装置。
7. 画像データ及び当該画像データのアノテーション情報を含む第１の形式の画像ファイルを、アノテーション情報を記録する所定の領域の記録可能容量が前記第１の形式の画像ファイルより小さい第２の形式の画像ファイルに変換する変換工程を有し、
   前記変換工程は、前記第１の形式の画像ファイルに含まれるアノテーション情報が所定値以上のデータ量となる所定のアノテーション情報でない場合、当該アノテーション情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録し、前記第１の形式の画像ファイルに含まれるアノテーション情報が前記所定のアノテーション情報である場合、当該アノテーション情報のリンク情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録することを特徴とする画像処理装置の制御方法。
8. 画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
   前記画像処理装置の制御方法は、
   画像データ及び当該画像データのアノテーション情報を含む第１の形式の画像ファイルを、アノテーション情報を記録する所定の領域の記録可能容量が前記第１の形式の画像ファイルより小さい第２の形式の画像ファイルに変換する変換工程を有し、
   前記変換工程は、前記第１の形式の画像ファイルに含まれるアノテーション情報が所定値以上のデータ量となる所定のアノテーション情報でない場合、当該アノテーション情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録し、前記第１の形式の画像ファイルに含まれるアノテーション情報が前記所定のアノテーション情報である場合、当該アノテーション情報のリンク情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録することを特徴とするプログラム。