JP2023174104A - 画像処理装置、画像処理装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】画像ファイルの変換を効率的に行うことができる画像処理装置を提供する。【解決手段】ユーザによる画像変換指示に従って、ＨＥＩＦの画像ファイルをＪＰＥＧの画像ファイルに変換するデジタルカメラ１００は、画像変換指示を受ける前に、ＪＰＥＧ向けのアノテーション情報６２１をＨＥＩＦの画像ファイル６００に記録する。デジタルカメラ１００は、ＨＥＩＦの画像ファイル６００からＪＰＥＧの画像ファイル４００への変換において、ＨＥＩＦの画像ファイル６００に記録されたＪＰＥＧ向けのアノテーション情報６２１をＪＰＥＧの画像ファイル４００におけるアプリケーションマーカー４０２に記録する。【選択図】図１

Description

本発明は、画像処理装置、画像処理装置の制御方法、及びプログラムに関する。

近年、深層学習などのＡ．Ｉ．技術が様々な技術分野で活用されている。例えば、撮影して得られた画像データから人の顔を検出する機能を備えるデジタルカメラにおいて、動物、植物、建物、物体などといった人以外の対象物を、推論モデルを用いて精度よく検出する技術が提案されている（例えば、特許文献１参照）。また、検出された対象物に関する情報をアノテーション情報として画像データに関連付けて記録する技術が提案されている。具体的には、アノテーション情報と画像データとが記録された画像ファイルが生成される。アノテーション情報として、例えば、検出された対象物の領域を点、矩形、円などで示す情報を記録することが検討されている。また、検出された対象物の画像データを元の画像データの関連画像データとして切り出し、切り出した画像データを元の画像データに関連付けて記録することも検討されている。さらに、切り出した画像データの色、形、種別などのプロパティを元の画像データに関連付けて記録することも検討されている。

一方、デジタルカメラには、ＲＡＷの画像ファイルやＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）の画像ファイルを、より再生互換の高いＪＰＥＧの画像ファイルに変換する機能が搭載されている。

特開２０２０－９１７０２号公報

ＪＰＥＧの画像ファイルは、ＨＥＩＦ等の他の形式の画像ファイルと比べて、アノテーション情報を記録する領域の記録可能容量が小さい。このため、ＲＡＷの画像ファイルやＨＥＩＦの画像ファイルをＪＰＥＧの画像ファイルに変換する場合、変換前の画像ファイルに記録されたアノテーション情報をＪＰＥＧの画像ファイルにそのまま記録することができない。すなわち、従来では、画像ファイルの変換を効率的に行うことができない。

本発明の目的は、画像ファイルの変換を効率的に行うことができる画像処理装置、画像処理装置の制御方法、及びプログラムを提供することにある。

上記課題を解決するため、本発明の画像処理装置は、ユーザによる画像変換指示に従って、画像データ及び当該画像データのアノテーション情報を含む第１の形式の画像ファイルを、アノテーション情報を記録する所定の領域の記録可能なサイズが前記第１の形式の画像ファイルより小さい第２の形式の画像ファイルに変換する変換手段と、前記第１の形式の画像ファイルを記録する際に、前記第１の形式の画像ファイルにアノテーション情報を記録するとともに、当該アノテーション情報に基づいて前記所定の領域に記録可能なサイズに収まる第２の形式の画像ファイル向けのアノテーション情報を生成し、当該第２の形式の画像ファイル向けのアノテーション情報を前記第１の形式の画像ファイルに記録する制御を行う制御手段とを備え、前記制御手段は、前記画像変換指示を受ける前に、前記第２の形式の画像ファイル向けのアノテーション情報を前記第１の形式の画像ファイルに記録し、前記変換手段は、前記第１の形式の画像ファイルに記録された前記第２の形式の画像ファイル向けのアノテーション情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録することを特徴とする。

本発明によれば、画像ファイルの変換を効率的に行うことができる。

本実施の形態に係る画像処理装置としてのデジタルカメラの構成例を示すブロック図である。 本実施の形態において用いられるＨＥＩＦの画像ファイルの構成を説明するための図である。 図１のデジタルカメラにおいて実行される撮影制御処理の手順を示すフローチャートである。 本実施の形態において用いられるＪＰＥＧの画像ファイルの構成を説明するための図である。 図１のデジタルカメラにおいて実行されるＪＰＥＧ向けのアノテーション情報記録処理の手順を示すフローチャートである。 図１のデジタルカメラによって生成されるＨＥＩＦの画像ファイルの一例を示す図である。 図１のデジタルカメラにおいて実行される画像変換処理の手順を示すフローチャートである。 図５のＪＰＥＧ向けのアノテーション情報記録処理の別の手順を示すフローチャートである。 図１のデジタルカメラによって生成されるＨＥＩＦの画像ファイルの一例を示す図である。 図７の画像変換処理の別の手順を示すフローチャートである。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられても良い。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下では、本実施の形態における画像処理装置の一例として、推論モデルを使用して被写体の分類を行うデジタルカメラについて説明するが、画像処理装置はデジタルカメラに限られない。例えば、画像処理装置は、スマートフォン、タブレットＰＣなどといった、記憶部に格納されたＨＥＩＦ等の画像ファイルを他の形式の画像ファイルに変換する装置であれば良い。

また、本実施の形態では、第１の形式の画像ファイルとしてのＨＥＩＦの画像ファイルから、第２の形式の画像ファイルとしてのＪＰＥＧの画像ファイルへ変換する構成について説明するが、この構成に限られない。第１の形式の画像ファイルは、画像データ及び当該画像データのアノテーション情報を含み且つアノテーション情報を記録する所定の領域の記録可能容量が第２の形式の画像ファイルより大きい構成であれば、ＨＥＩＦ以外の他の形式の画像ファイルであっても良い。また、第２の形式の画像ファイルは、アノテーション情報を記録する所定の領域の記録可能容量が第１の形式の画像ファイルより小さい構成であれば、ＪＰＥＧ以外の他の形式の画像ファイルであっても良い。

図１は、本実施の形態に係る画像処理装置としてのデジタルカメラ１００の構成例を示すブロック図である。

バリア１０は、デジタルカメラ１００の撮影レンズ１１を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する保護部材である。撮影レンズ１１は、光学像を撮像素子１３の撮像面に結像させる。シャッター１２は絞り機能を備える。撮像素子１３は、撮像面上に結像された光学像を電気信号に変換する。撮像素子１３は、例えば、ＣＣＤやＣＭＯＳ素子等で構成される。Ａ／Ｄ変換器１５は、撮像素子１３から出力されたアナログ信号をディジタル信号に変換する。なお、図１では、Ａ／Ｄ変換器１５をＡ／Ｄ１５と表記している。Ａ／Ｄ変換器１５で変換されたディジタル信号は、所謂、ＲＡＷの画像データとして、メモリ２５に書き込まれる。併せて、撮影時の情報を基に各ＲＡＷの画像データに対応する現像パラメータが生成され、現像パラメータもメモリ２５に書き込まれる。現像パラメータは、露光制御で使用されるパラメータや、ホワイトバランス、色空間、コントラストなどの画像処理で使用されるパラメータを含む。

タイミング発生部１４は、撮像素子１３、Ａ／Ｄ変換器１５、Ｄ／Ａ変換器２１にクロック信号や制御信号を供給する。なお、図１では、Ｄ／Ａ変換器２１をＤ／Ａ２１と表記している。タイミング発生部１４は、メモリ制御部２２及びシステム制御部５０Ａにより制御される。画像処理部２０は、Ａ／Ｄ変換器１５からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理、色変換処理、補正処理、リサイズ処理などの各種画像処理を行う。また、画像処理部２０は、撮像した画像データを用いて所定の画像処理や演算処理を行い、得られた演算結果をシステム制御部５０Ａに提供する。システム制御部５０Ａは、提供された演算結果に基づいて露光制御部４０及び測距制御部４１を制御することにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を実現する。

なお、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理を行う。また、画像処理部２０は、メモリ２５に格納された画像データをＪＰＥＧ、ＭＰＥＧ－４ ＡＶＣ、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等の方式で圧縮処理を行う。さらに、画像処理部２０は、これらの方式で圧縮処理が施されたデータの伸長処理を行う。画像処理部２０は、処理済みのデータをメモリ２５に書き込む。

また、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、各種画像データの編集処理を行う。具体的に、画像処理部２０は、画像データの周囲にある不要な部分を非表示にすることで画像の表示範囲やサイズを調整するトリミング処理や、画像データや画面の表示要素などを拡大や縮小して大きさを変更するリサイズ処理を行う。さらに、画像処理部２０は、圧縮処理又は伸長処理が施されたデータに対して色変換などの画像処理を施した後にＪＰＥＧの画像データに変換するＲＡＷ現像を行う。また、画像処理部２０は、ＭＰＥＧ－４などの動画フォーマットの指定フレームを切り出してＪＰＥＧのデータに変換する処理を行う。

また、画像処理部２０は、表示用画像データとともに表示部２３に表示するメニューや任意の文字等のＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）を重畳させる処理等も行う。

また、画像処理部２０は、入力された画像データや撮影時に撮像素子１３などから得られる被写体との距離情報などを利用して、画像データにおける被写体領域を検出する処理を行う。この処理により、画像データにおける被写体の位置や大きさなどの情報が得られる。

メモリ制御部２２は、Ａ／Ｄ変換器１５、タイミング発生部１４、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２１、メモリ２５を制御する。Ａ／Ｄ変換器１５を通して生成されたＲＡＷの画像データは、画像処理部２０、メモリ制御部２２を介して、或いは画像処理部２０を介すことなくメモリ制御部２２を介して、画像表示メモリ２４やメモリ２５に書き込まれる。

画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１を介して表示部２３に表示される。撮像した画像データを表示部２３に逐次表示することで、ライブ映像を表示する電子ファインダ機能を実現することが可能となる。メモリ２５は、撮影した静止画データや動画データを格納する。メモリ２５は、所定枚数の静止画データや所定時間の動画データを格納するのに十分な記憶容量を備えている。また、メモリ２５はシステム制御部５０Ａの作業領域としても使用される。

露光制御部４０は、絞り機能を備えるシャッター１２を制御する。また、露光制御部４０は、フラッシュ４４と連動することによりフラッシュ調光機能を実現する。測距制御部４１は、撮影レンズ１１のフォーカシングを制御する。ズーム制御部４２は、撮影レンズ１１のズーミングを制御する。バリア制御部４３は、保護部材であるバリア１０の動作を制御する。フラッシュ４４は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。

システム制御部５０Ａは、デジタルカメラ１００全体を制御する。不揮発性メモリ５１は、電気的にデータを消去・記録可能な不揮発性メモリである。不揮発性メモリ５１には、例えばＥＥＰＲＯＭ等が用いられる。なお、不揮発性メモリ５１には、プログラムだけでなく、地図情報等も記録されている。

シャッタースイッチ６１（ＳＷ１）は、シャッターボタン６０の操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。シャッタースイッチ６２（ＳＷ２）は、シャッターボタン６０の操作完了でＯＮとなり、露光処理、現像処理、記録処理を含む一連の撮影動作の開始を指示する。露光処理では、撮像素子１３から読み出された信号が、Ａ／Ｄ変換器１５、メモリ制御部２２を介して、ＲＡＷデータとしてメモリ２５に書き込まれる。現像処理では、画像処理部２０やメモリ制御部２２による演算結果を用いて、メモリ２５に書き込まれたＲＡＷデータが現像され、画像データとしてメモリ２５に書き込まれる。記録処理では、メモリ２５から画像データが読み出され、画像処理部２０による圧縮処理済みの画像データがメモリ２５に格納され、その後、圧縮処理済みの画像データがカードコントローラ９０を介して外部記録媒体９１に書き込まれる。

操作部６３は、各種ボタンやタッチパネル等を備える。例えば、操作部６３は、電源ボタン、メニューボタン、撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替えスイッチ、十字キー、セットボタン、マクロボタン、マルチ画面再生改ページボタンを含む。また、操作部６３は、例えば、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動－（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等を含む。

メタデータ生成・解析部７０は、外部記録媒体９１に画像データを記録する際に撮影時の情報を基に画像データにＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）などの規格のメタデータを生成する。メタデータは、例えば、撮影時の設定情報、画像データに関する情報、画像データに含まれる被写体の特徴情報を含む。また、メタデータ生成・解析部７０は、外部記録媒体９１から読み込んだ画像データに付与されているメタデータの解析を行う。さらに、メタデータ生成・解析部７０は、動画データを記録する際には、各フレームについてメタデータを生成し、全てのフレームのメタデータを動画データに付与することもできる。

電源８０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。電源制御部８１は、電源８０から供給される電力をデジタルカメラ１００の各部に供給する。カードコントローラ９０は、メモリカード等の外部記録媒体９１とデータの送受信を行う。外部記録媒体９１は、例えばメモリカードで構成され、デジタルカメラ１００が撮影した画像データ（静止画データ、動画データ）を記録する。

推論モデル記録部７２Ａは、通信部７１Ａが外部装置１０１などから取得した推論モデルを記憶する。推論エンジン７３Ａは、推論モデル記録部７２Ａに記憶された推論モデルに、システム制御部５０Ａから取得した画像データと当該画像データのアノテーション情報とを含む画像ファイルを入力して推論を行う。なお、本実施の形態では、推論エンジン７３Ａは、通信部７１Ａが外部装置１０１などから取得して推論モデル記録部７２Ａに記録された推論モデルを使用してもよく、学習部７４Ａが再学習を行った推論モデルを使用しても良い。

推論モデルは、入力層、中間層（ニューロン）、出力層で構成されている。入力層にはシステム制御部５０Ａから出力された画像ファイルが入力される。中間層は、複数の層で構成されている。中間層における層の数は設計上適宜決められ、また各層におけるニューロンの数も設計上適宜決められる。出力層は、入力層に入力された画像ファイルに対応するアノテーション情報を出力する。

本実施の形態において、推論エンジン７３Ａが用いる推論モデルは、画像データから検出された被写体領域の分類を推論する推論モデルを想定している。この推論モデルは、様々な被写体の画像データと、その分類（例えば、犬、猫などの動物の分類や、人、動物、植物、建物などの被写体分類）の結果とを教師データとして、深層学習により外部装置１０１などで生成されたものである。なお、デジタルカメラ１００は、これ以外の他の推論モデルを外部装置１０１などから取得し、取得した他の推論モデルを用いても良い。

学習部７４Ａは、システム制御部５０Ａから受けた指示に従って、推論モデル記録部７２Ａに記憶された推論モデルの再学習を行う。学習部７４Ａは、教師データ記録部７４ａを有する。教師データ記録部７４ａは、推論モデルの再学習に用いる教師データに関する情報を記録する。学習部７４Ａは、教師データ記録部７４ａに記録されている教師データを用いて、推論モデルの再学習を行い、再学習済みの推論モデルを推論モデル記録部７２Ａに記憶させる。これにより、推論エンジン７３Ａは、再学習済みの推論モデルを用いて、推論を行うことができる。なお、本実施の形態では、推論モデルの更新状況を管理するための管理バージョンを推論モデル記録部７２Ａに保持させ、この管理バージョンに基づいて推論モデルの更新状況を把握可能である。

通信部７１Ａは、送信及び受信を行うための通信回路を有する。通信部７１Ａによる通信は、Ｗｉ－ＦｉやＢｌｕｅＴｏｏｔｈなどの無線通信でもよく、イーサネットやＵＳＢなどの有線通信でも良い。例えば、通信部７１Ａは、外部装置１０１の通信部７１Ｂと通信を行うことができる。通信部７１Ａは、推論エンジン７３Ａにおいて作成されたアノテーション情報が付与された画像ファイルだけでなく、推論モデルや教師データなどの様々な情報を送受信する通信部として機能する。なお、デジタルカメラ１００は、外部装置１０１がカメラと関連しているか否かで、送信する情報に制限をかけることができる。

外部装置１０１は、学習部７４Ｂ、推論エンジン７３Ｂ、推論モデル記録部７２Ｂ、システム記録部５０Ｂ、通信部７１Ｂを有する。学習部７４Ｂは、システム記録部５０Ｂ等から受けた指示に従って、推論モデルを作成する。推論モデル記録部７２Ｂは、デジタルカメラ１００から送信された推論モデルや、学習部７４Ｂが作成した推論モデルを記録する。

本実施の形態において、デジタルカメラ１００は、撮影して得られた画像データから、人、動物、植物、建物、物体などの対象物を検出する。そして、デジタルカメラ１００は、撮影して得られた画像データと当該画像データのアノテーション情報とを含む画像ファイルを生成する。デジタルカメラ１００は、アノテーション情報として、例えば、検出された対象物の領域を点、矩形、円などで示す情報を画像ファイルに記録する。また、デジタルカメラ１００は、検出された対象物の画像データを元の画像データの関連画像データとして切り出し、切り出した画像データ（関連画像データ）を画像ファイルに記録する。さらに、デジタルカメラ１００は、切り出した画像データの色、形、種別などのプロパティを画像ファイルに記録する。本実施の形態では、例えば、ユーザからＨＥＩＦの画像データの撮影指示を受けた場合、デジタルカメラ１００は、図２に示すＨＥＩＦの画像ファイル２００を生成する。

図２は、本実施の形態において用いられるＨＥＩＦの画像ファイル２００の構成を説明するための図である。図２（ａ）に示すように、ＨＥＩＦの画像ファイル２００は、ＢＯＸと呼ばれる複数の領域で構成され、データを木構造で記録する。ＢＯＸには、データが直接記録されてもよく、別のＢＯＸが子要素として記録されても良い。ＨＥＩＦの画像ファイル２００は、画像ファイルの種別を記録する‘ｆｔｙｐｅ’ＢＯＸ２０１、アノテーション情報等を含むメタデータを記録する‘ｍｅｔａ’ＢＯＸ２０２、及び画像データを記録する’ｍｄａｔ’ＢＯＸ２１７を備える。なお、図２（ａ）には、本発明の説明に必要最小限のＢＯＸが記載されているが、ＨＥＩＦの画像ファイル２００は、上述した以外のＢＯＸを備えていても良い。

’ｍｅｔａ’ＢＯＸ２０２は、子要素として、’アイテム定義’ＢＯＸ２０３、‘アイテム関連付け’ＢＯＸ２０７、’アイテム属性定義’ＢＯＸ２１１、及び’アイテムの位置情報’ＢＯＸ２１４を備える。

’アイテム定義’ＢＯＸ２０３には、アノテーション情報として定義したいアイテムが子要素として記録されている。図２（ａ）では、’アイテム定義’ＢＯＸ２０３に、主画像のアイテム定義２０４、関連画像のアイテム定義２０５、領域のアイテム定義２０６が記録されている。なお、これら以外のアノテーション情報を定義する場合には、’アイテム定義’ＢＯＸ２０３に、定義したいアイテムが追記される。主画像のアイテム定義２０４には、ＨＥＩＦの画像ファイル２００の主画像データとなる図２（ｂ）の画像データ２５０のアイテム番号の定義や、アイテムの種別が「画像」であることの定義などが記録される。関連画像のアイテム定義２０５には、画像データ２５０から切り出された図２（ｃ）の関連画像データ２５１のアイテム番号の定義や、アイテムの種別が「画像」であることの定義などが記録される。領域のアイテム定義２０６には、画像データ２５０において関連画像データ２５１に対応する領域、例えば、図２（ｄ）の領域２５３のアイテム番号の定義やアイテムの種別が「領域」であることの定義が記録される。

‘アイテム関連付け’ＢＯＸ２０７には、アイテムの参照情報が子要素として記録されている。図２（ａ）では、‘アイテム関連付け’ＢＯＸ２０７に、主画像と関連画像の関係２０８、主画像と主画像の属性情報の関係２０９、関連画像と関連画像の属性情報の関係２１０が記録されている。なお、これら以外のアノテーション情報を定義する場合には、‘アイテム関連付け’ＢＯＸ２０７に、定義したいアイテムが追記される。主画像と関連画像の関係２０８には、主画像データのアイテム番号と関連画像データのアイテム番号とが対応付けて記録される。主画像と主画像の属性情報の関係２０９には、主画像データのアイテム番号と後述する主画像の属性情報２１２とが対応付けて記録される。関連画像と関連画像の属性情報の関係２１０には、関連画像データのアイテム番号と後述する関連画像の属性情報２１３とが対応付けて記録される。

’アイテム属性定義’ＢＯＸ２１１には、アイテムの属性情報などのプロパティが子要素として記録される。図２（ａ）では、‘アイテム属性定義’ＢＯＸ２１１に、主画像の属性情報２１２及び関連画像の属性情報２１３が記録されている。なお、これら以外のアノテーション情報を定義する場合には、‘アイテム属性定義’ＢＯＸ２１１に、定義したいアイテムが追記される。主画像の属性情報２１２には、主画像データのサイズ、色空間情報、ピクセル情報、回転情報などが記録される。関連画像の属性情報２１３には、関連画像データのサイズ、色空間情報、ピクセル情報、回転情報などが記録され、更に検出された対象物の属性も記録される。検出された対象物の属性を関連画像の属性情報２１３に記録することで、例えば、図２（ｄ）に示すように、関連画像データに対応する領域２５３に当該属性を示す「Ｆｌｏｗｅｒ」という文字列２５４を表示することができる。

’アイテムの位置情報’ＢＯＸ２１４には、’ｍｄａｔ’ＢＯＸ２１７における画像データの位置情報が子要素として記録される。図２（ａ）では、主画像の位置情報２１５及び関連画像の位置情報２１６が記録されている。主画像の位置情報２１５には、’ｍｄａｔ’ＢＯＸ２１７における主画像データの位置情報が記録される。関連画像の位置情報２１６には、’ｍｄａｔ’ＢＯＸ２１７における関連画像データの位置情報が記録される。’ｍｄａｔ’ＢＯＸ２１７には、主画像データ２１８や、当該主画像データ２１８の関連画像データ２１９が記録される。なお、ｍｄａｔ’ＢＯＸ２１７には、ＨＥＩＦ以外の他の形式の画像データも記録可能である。

次に、デジタルカメラ１００による撮影について説明する。図３は、図１のデジタルカメラ１００において実行される撮影制御処理の手順を示すフローチャートである。図３の撮影制御処理は、システム制御部５０Ａが不揮発性メモリ５１等に格納されたプログラムを実行することによって実現される。図３の撮影制御処理は、ユーザが操作部６３に含まれるモード切替えスイッチで撮影モードを設定した際に実行される。

図３において、まず、システム制御部５０Ａは、ユーザがシャッタースイッチ６１（ＳＷ１）、シャッタースイッチ６２（ＳＷ２）を押下してＨＥＩＦの画像データの撮影を指示したか否かを判別する（ステップＳ３０１）。ステップＳ３０１において、ユーザがＨＥＩＦの画像データの撮影を指示したと判別された場合、処理はステップＳ３０２へ進む。ステップＳ３０１において、ユーザがＨＥＩＦの画像データの撮影を指示しないと判別された場合、処理は後述するステップＳ３０８へ進む。

ステップＳ３０２では、システム制御部５０Ａは、撮影処理を行う。撮影処理では、システム制御部５０Ａは、測距制御部４１や露光制御部４０を制御してＡＦ処理、ＡＥ処理を行い、撮像素子１３から出力される映像データをメモリ２５に保存する。また、システム制御部５０Ａは、画像処理部２０を制御して、メモリ２５に保存された映像データをＨＥＩＦで圧縮した画像データを生成する。

次いで、ステップＳ３０３において、システム制御部５０Ａは、画像処理部２０を制御して、メモリ２５に保存された映像データに対して被写体検出処理を施す。これにより、映像データにおける被写体領域が検出される。

次いで、ステップＳ３０４において、システム制御部５０Ａは、ステップＳ３０２にて生成された画像データとステップＳ３０３にて検出された被写体領域の情報とを含むＨＥＩＦの画像ファイル２００を外部記録媒体９１に保存する。被写体領域の情報は、メタデータ生成・解析部７０により、後述する推論処理にて用いられる情報としてＨＥＩＦの画像ファイル２００の‘ｍｅｔａ’ＢＯＸ２０２に記録される。

次いで、ステップＳ３０５において、システム制御部５０Ａは、推論エンジン７３Ａによる推論処理を実行可能であるか否かを判別する。例えば、推論エンジン７３Ａが他の画像ファイルに対する処理を実行中である場合、シャッタースイッチ６２がユーザに押下され続けて連写撮影が指示されている場合、推論エンジン７３Ａを用いた推論処理を実行可能でないと判別される。この場合、処理は後述するステップＳ３０８へ進む。一方、上述した何れにも該当しない場合には、推論エンジン７３Ａを用いた推論処理を実行可能であると判別される。この場合、処理はステップＳ３０６へ進む。

ステップＳ３０６において、システム制御部５０Ａは、ＨＥＩＦの画像ファイル２００に対して、推論エンジン７３Ａによる推論処理を行う。推論エンジン７３Ａは、ＨＥＩＦの画像ファイル２００を入力として、推論モデル記録部７２Ａに記録された推論モデルを用いた推論処理を行う。この推論処理では、ＨＥＩＦの画像ファイル２００に含まれる画像データとアノテーション情報から、画像データにおける被写体領域が特定され、被写体領域毎に、被写体領域に対応する被写体の分類結果が推論結果として出力される。なお、推論結果以外に、推論処理の途中の動作上のデバッグ情報やログなどといった推論処理に関連する情報が出力されても良い。

次いで、ステップＳ３０７において、システム制御部５０Ａは、ステップＳ３０６にて得られた被写体の分類結果をアノテーション情報としてＨＥＩＦの画像ファイル２００に記録する。なお、ＨＥＩＦの画像ファイル２００には、推論モデルの推論結果として出力された被写体の分類結果がアノテーション情報として記録されれば良い。このため、被写体の分類結果がそのままＨＥＩＦの画像ファイル２００に記録されても良く、テキスト形式、バイナリ型式などその記録フォーマットや形式は問わないこととする。このように、ＨＥＩＦの画像ファイル２００に画像データと被写体の分類結果とを記録することで、これらのデータを個別で管理するより、容易に管理することができる。また、システム制御部５０Ａは、推論モデル記録部７２Ａに保持されている推論モデルの管理バージョンやデバッグ情報などを推論モデル管理情報としてＨＥＩＦの画像ファイル２００に記録する。

次いで、ステップＳ３０８において、システム制御部５０Ａは、ユーザによる撮影完了の指示を受け付けたか否かを判別する。例えば、ユーザは、操作部６３におけるモード切り替えスイッチで撮影モード以外のモードを設定する、若しくは電源ボタンで電源ＯＦＦに設定することで、撮影完了を指示可能である。ステップＳ３０８において、ユーザによる撮影完了の指示を受け付けないと判別された場合、処理はステップＳ３０１へ戻る。ステップＳ３０８において、ユーザによる撮影完了の指示を受け付けたと判別された場合、本処理は終了する。

このようにして、本実施の形態では、デジタルカメラ１００が被写体を撮影して生成した画像データと被写体の分類結果等のアノテーション情報とを含むＨＥＩＦの画像ファイル２００が生成される。

また、本実施の形態におけるデジタルカメラ１００は、ＪＰＥＧの画像ファイルを生成することも可能であり、例えば、上述したＨＥＩＦの画像ファイル２００をＪＰＥＧの画像ファイルに変換することもできる。

図４は、本実施の形態において用いられるＪＰＥＧの画像ファイル４００の構成を説明するための図である。ＪＰＥＧの画像ファイル４００には、図４に示すように、その先頭に画像ファイルの開始を示すマーカーＳＯＩ４０１が記録され、マーカーＳＯＩ４０１の次の行に、アプリケーションマーカー（図４では、「ＡＰＰ１」と表記。）４０２が記録される。

アプリケーションマーカー４０２には、ＡＰＰ１の識別コード４０３が記録される。代表的なＡＰＰ１の識別コード４０３として、例えば、’Ｅｘｉｆ’が挙げられる。アプリケーションマーカー４０２の記録可能容量は、ＨＥＩＦの画像ファイル２００における‘ｍｅｔａ’ＢＯＸ２０２の記録可能容量より小さい。アプリケーションマーカー４０２には、主画像のアイテム定義４０４、関連画像のアイテム定義４０５、領域のアイテム定義４０６、主画像と関連画像の関係４０７、主画像と主画像の属性情報の関係４０８が記録される。更に、アプリケーションマーカー４０２には、関連画像と関連画像の属性情報の関係４０９、主画像の属性情報４１０、関連画像の属性情報４１１、関連画像の位置情報４１２が記録される。

主画像のアイテム定義４０４には、上述した主画像のアイテム定義２０４と同様の情報が記録される。関連画像のアイテム定義４０５には、上述した関連画像のアイテム定義２０５と同様の情報が記録される。領域のアイテム定義４０６には、上述した領域のアイテム定義２０６と同様の情報が記録される。主画像と関連画像の関係４０７には、上述した主画像と関連画像の関係２０８と同様の情報が記録される。主画像と主画像の属性情報の関係４０８には、上述した主画像と主画像の属性情報の関係２０９と同様の情報が記録される。関連画像と関連画像の属性情報の関係４０９には、上述した関連画像と関連画像の属性情報の関係２１０と同様の情報が記録される。主画像の属性情報４１０には、上述した主画像の属性情報２１２と同様の情報が記録される。関連画像の属性情報４１１には、上述した関連画像の属性情報２１３と同様の情報が記録される。関連画像の位置情報４１２には、後述する関連画像データ４１６のサイズ及び関連画像データ４１６の画像開始を示すマーカーＳＯＩ４１５の場所が記録される。

関連画像の位置情報４１２の次の行には、主画像データ４１３が記録される。主画像データ４１３は、ＪＰＥＧの画像ファイル４００の主画像データである。主画像データ４１３の次の行には、主画像データの最後を示すマーカーＥＯＩ４１４が記録される。マーカーＥＯＩ４１４の次の行には、関連画像データの開始を示すマーカーＳＯＩ４１５、関連画像データ４１６、がこの順に記録される。関連画像データ４１６の次の行には、関連画像データの最後を示すマーカーＥＯＩ４１７が記録される。

ここで、ＪＰＥＧの画像ファイル４００は、ＨＥＩＦ等の他の形式の画像ファイルと比べて、アノテーション情報を記録する領域（アプリケーションマーカー４０２）の記録可能容量が小さい。このため、ＨＥＩＦの画像ファイル等をＪＰＥＧの画像ファイルに変換する場合、変換前の画像ファイルに記録されたアノテーション情報をＪＰＥＧの画像ファイルにそのまま記録することができず、画像ファイルの変換を効率的に行うことができない。

これに対し、本実施の形態では、ＪＰＥＧの画像ファイル４００におけるアプリケーションマーカー４０２に記録可能なサイズに収まるＪＰＥＧ向けのアノテーション情報がＨＥＩＦの画像ファイルに予め記録される。

図５は、図１のデジタルカメラ１００において実行されるＪＰＥＧ向けのアノテーション情報記録処理の手順を示すフローチャートである。図５のＪＰＥＧ向けのアノテーション情報記録処理は、システム制御部５０Ａが不揮発性メモリ５１等に格納されたプログラムを実行することによって実現される。例えば、図５のＪＰＥＧ向けのアノテーション情報記録処理は、撮影時にＪＰＥＧ向けのアノテーション情報を生成させるための撮影時自動生成機能が有効に設定されている場合、上述した図３の撮影制御処理に続けて実行される。又は図５のＪＰＥＧ向けのアノテーション情報記録処理は、外部記録媒体９１に保存された複数の画像ファイルの中からユーザに選択された少なくとも１つの画像ファイルのＪＰＥＧ向けのアノテーション情報の生成指示を操作部６３で受け付けた際に実行される。なお、処理対象となる画像ファイルが複数存在する場合、処理対象となる全ての画像ファイルに対し、ＪＰＥＧ向けのアノテーション情報記録処理が実行される。図５では、一例として、ユーザが１つの画像ファイルを選択して当該画像ファイルのＪＰＥＧ向けのアノテーション情報の生成指示を行った場合について説明する。

図５において、まず、ステップＳ５０１では、システム制御部５０Ａは、処理対象となる画像ファイルを外部記録媒体９１から取得する。次いで、ステップＳ５０２において、システム制御部５０Ａは、ステップＳ５０１で取得した画像ファイルがＨＥＩＦの画像ファイルであるか否かを判別する。ステップＳ５０２において、ステップＳ５０１で取得した画像ファイルがＨＥＩＦの画像ファイルでないと判別された場合、本処理は終了する。ステップＳ５０２において、ステップＳ５０１で取得した画像ファイルがＨＥＩＦの画像ファイルであると判別された場合、処理はステップＳ５０３へ進む。

ステップＳ５０３では、システム制御部５０Ａは、ステップＳ５０１で取得した画像ファイルにＪＰＥＧの画像データが記録されているか否かを判別する。ステップＳ５０３において、ステップＳ５０１で取得した画像ファイルにＪＰＥＧの画像データが記録されていると判別された場合、処理はステップＳ５０４へ進む。ステップＳ５０３において、ステップＳ５０１で取得した画像ファイルにＪＰＥＧの画像データが記録されていないと判別された場合、本処理は終了する。

ステップＳ５０４では、システム制御部５０Ａは、ステップＳ５０１で取得した画像ファイルからアノテーション情報を取得する。具体的に、システム制御部５０Ａは、ステップＳ５０１で取得した画像ファイルから‘ｍｅｔａ’ＢＯＸ２０２に記録された情報、関連画像データ２１９を取得する。

次いで、ステップＳ５０５では、システム制御部５０Ａは、ＪＰＥＧの画像ファイルに記録不可能なアノテーション情報がステップＳ５０１にて取得した画像ファイルに記録されているか否かを判別する。ＪＰＥＧの画像ファイルに記録不可能なアノテーション情報は、例えば、ＪＰＥＧの規格で画像ファイルへの記録が認められていない音声データや動画データである。ステップＳ５０５において、ＪＰＥＧの画像ファイルに記録不可能なアノテーション情報がステップＳ５０１にて取得した画像ファイルに記録されていると判別された場合、処理はステップＳ５０６へ進む。ステップＳ５０５において、ＪＰＥＧの画像ファイルに記録不可能なアノテーション情報がステップＳ５０１にて取得した画像ファイルに記録されていないと判別された場合、処理はステップＳ５０７へ進む。

ステップＳ５０６では、システム制御部５０Ａは、第１の選別アノテーション情報を生成する。第１の選別アノテーション情報は、ステップＳ５０４にて取得したアノテーション情報から、ＪＰＥＧの画像ファイルに記録不可能なアノテーション情報を除外したアノテーション情報である。

次いで、ステップＳ５０７では、システム制御部５０Ａは、ＪＰＥＧの画像ファイルにおけるアプリケーションマーカー４０２の記録可能容量を超えるデータ量のアノテーション情報がステップＳ５０１にて取得した画像ファイルに記録されているか否かを判別する。アプリケーションマーカー４０２の記録可能容量を超えるデータ量のアノテーション情報は、例えば、関連画像データ２１９である。

ステップＳ５０７において、アプリケーションマーカー４０２の記録可能容量を超えるデータ量のアノテーション情報がステップＳ５０１にて取得した画像ファイルに記録されていると判別された場合、処理はステップＳ５０８へ進む。ステップＳ５０７において、アプリケーションマーカー４０２の記録可能容量を超えるデータ量のアノテーション情報がステップＳ５０１にて取得した画像ファイルに記録されていないと判別された場合、処理はステップＳ５０９へ進む。

ステップＳ５０８において、システム制御部５０Ａは、第２の選別アノテーション情報を生成する。第２の選別アノテーション情報は、処理対象となるアノテーション情報からアプリケーションマーカー４０２の記録可能容量を超えるデータ量のアノテーション情報を除外したアノテーション情報である。処理対象となるアノテーション情報は、ステップＳ５０４にて取得したアノテーション情報又は第１の選別アノテーション情報である。

次いで、ステップＳ５０９において、システム制御部５０Ａは、ステップＳ５０１で取得した画像ファイルに上記ＪＰＥＧの画像データのＥｘｉｆデータとしてＪＰＥＧ向けのアノテーション情報を記録する。具体的に、システム制御部５０Ａは、ステップＳ５０１で取得した画像ファイルに、上記ＪＰＥＧの画像データを含む画像ファイルを生成し、当該画像ファイルのアプリケーションマーカーにＪＰＥＧ向けのアノテーション情報を記録する。例えば、ステップＳ５０１で取得した画像ファイルに含まれる関連画像データがＪＰＥＧの画像データである場合、図６のＨＥＩＦの画像ファイル６００のように、関連画像データ６１９を含む画像ファイル６２０が生成される。画像ファイル６２０のアプリケーションマーカーにＪＰＥＧ向けのアノテーション情報６２１が記録される。なお、図６のＨＥＩＦの画像ファイル６００について、画像ファイル６２０以外の構成は、上述した図２のＨＥＩＦの画像ファイル２００と同様である。

ここで、例えば、ステップＳ５０１にて取得した画像ファイルに、ＪＰＥＧの画像ファイルに記録不可能なアノテーション情報及びアプリケーションマーカー４０２の記録可能容量を超えるデータ量のアノテーション情報の何れも記録されていない場合（ステップＳ５０５，Ｓ５０７の何れもＮＯ）、ステップＳ５０４にて取得したアノテーション情報がＪＰＥＧ向けのアノテーション情報として記録される。

ステップＳ５０１にて取得した画像ファイルに、ＪＰＥＧの画像ファイルに記録不可能なアノテーション情報が記録され且つアプリケーションマーカー４０２の記録可能容量を超えるデータ量のアノテーション情報が記録されていない場合（ステップＳ５０５でＹＥＳ，Ｓ５０７でＮＯ）、第１の選別アノテーション情報がＪＰＥＧ向けのアノテーション情報として記録される。

ステップＳ５０１にて取得した画像ファイルに、少なくともアプリケーションマーカー４０２の記録可能容量を超えるデータ量のアノテーション情報が記録されている場合（ステップＳ５０７でＹＥＳ）、第２の選別アノテーション情報がＪＰＥＧ向けのアノテーション情報として記録される。ステップＳ５０９の処理を完了すると、本処理は終了する。

次に、デジタルカメラ１００による画像ファイルの変換について説明する。図７は、図１のデジタルカメラ１００において実行される画像変換処理の手順を示すフローチャートである。図７の画像変換処理は、システム制御部５０Ａが不揮発性メモリ５１等に格納されたプログラムを実行することによって実現される。図７の画像変換処理は、デジタルカメラ１００がユーザによる画像変換指示を操作部６３にて受け付けた際に実行される。なお、ユーザは、外部記録媒体９１に保存された複数の画像ファイルの中から、処理対象となる少なくとも１つの画像ファイルを選択して画像変換指示を行う。図７では、一例として、ユーザが１つの画像ファイルを選択して画像変換指示を行った場合について説明する。

図７において、まず、ステップＳ７０１では、システム制御部５０Ａは、デジタルカメラ１００の外部記録媒体９１に保存された複数の画像ファイルの中からユーザが選択した画像ファイルを取得する。

次いで、ステップＳ７０２において、システム制御部５０Ａは、ステップＳ７０１で取得した画像ファイルがアノテーション情報を含むか否かを判別する。ステップＳ７０２において、ステップＳ７０１で取得した画像ファイルがアノテーション情報を含むと判別された場合、処理はステップＳ７０３へ進む。ステップＳ７０２において、ステップＳ７０１で取得した画像ファイルがアノテーション情報を含まないと判別された場合、処理は後述するステップＳ７０５へ進む。

ステップＳ７０３において、システム制御部５０Ａは、ステップＳ７０１で取得した画像ファイルがＨＥＩＦの画像ファイルに記録された画像データのＥｘｉｆデータとしてアノテーション情報を含む画像ファイルであるか否かを判別する。ステップＳ７０３において、ステップＳ７０１で取得した画像ファイルがＨＥＩＦの画像ファイルに記録された画像データのＥｘｉｆデータとしてアノテーション情報を含む画像ファイルでないと判別された場合、処理はステップＳ７０４へ進む。ステップＳ７０３において、ステップＳ７０１で取得した画像ファイルがＨＥＩＦの画像ファイルに記録された画像データのＥｘｉｆデータとしてアノテーション情報を含む画像ファイルであると判別された場合、処理はステップＳ７０５へ進む。

ステップＳ７０４では、システム制御部５０Ａは、ステップＳ７０１で取得した画像ファイルに対し、第１の画像変換処理を行う。第１の画像変換処理では、システム制御部５０Ａは、ステップＳ７０１で取得した画像ファイルに含まれるアノテーション情報に基づいて、ＪＰＥＧの画像ファイル４００に記録するアノテーション情報を生成する処理を行う。例えば、システム制御部５０Ａは、ステップＳ７０１で取得したＨＥＩＦの画像ファイル２００における主画像データ２１８及び関連画像データ２１９をＪＰＥＧの画像ファイル４００におけるアプリケーションマーカー４０２以外の領域に記録する。また、システム制御部５０Ａは、生成したアノテーション情報を、ＪＰＥＧの画像ファイル４００におけるアプリケーションマーカー４０２に記録する。その後、本処理は終了する。

ステップＳ７０５では、システム制御部５０Ａは、ステップＳ７０１で取得した画像ファイルに対し、第２の画像変換処理を行う。第２の画像変換処理では、システム制御部５０Ａは、ＪＰＥＧの画像ファイル４００に記録するアノテーション情報を生成する処理を行わない。例えば、システム制御部５０Ａは、ステップＳ７０１で取得したＨＥＩＦの画像ファイル６００における主画像データ６１８及び関連画像データ６１９をＪＰＥＧの画像ファイル４００におけるアプリケーションマーカー４０２以外の領域に記録する。これにより、ＪＰＥＧ向けのアノテーション情報に含まれていない関連画像データ６１９をＪＰＥＧの画像ファイル４００に記録することができる。また、システム制御部５０Ａは、ＨＥＩＦの画像ファイル６００にＥｘｉｆデータとして記録されたＪＰＥＧ向けのアノテーション情報６２１を、ＪＰＥＧの画像ファイル４００におけるアプリケーションマーカー４０２にそのまま記録する。その後、本処理は終了する。

上述した実施の形態によれば、ユーザの画像変換指示に従ってＨＥＩＦの画像ファイルをＪＰＥＧの画像ファイルに変換する画像処理装置では、画像変換指示を受ける前にＪＰＥＧ向けのアノテーション情報６２１がＨＥＩＦの画像ファイル６００に記録される。ＨＥＩＦの画像ファイル６００からＪＰＥＧの画像ファイル４００への変換において、ＨＥＩＦの画像ファイル６００に記録されたＪＰＥＧ向けのアノテーション情報６２１がＪＰＥＧの画像ファイル４００におけるアプリケーションマーカー４０２に記録される。これにより、ＨＥＩＦの画像ファイル６００からＪＰＥＧの画像ファイル４００への変換において、変換前の画像ファイルに記録されたＪＰＥＧ向けのアノテーション情報６２１をＪＰＥＧの画像ファイル４００にそのまま記録することができる。その結果、画像ファイルの変換を効率的に行うことができる。

また、上述した実施の形態では、ＨＥＩＦの画像ファイル６００にＪＰＥＧの画像データが含まれる場合、ＨＥＩＦの画像ファイル６００に上記ＪＰＥＧの画像データである関連画像データ６１９を含む画像ファイル６２０が生成される。画像ファイル６２０におけるアプリケーションマーカーにＪＰＥＧ向けのアノテーション情報６２１が記録される。これにより、ＨＥＩＦの画像ファイル６００からＪＰＥＧの画像ファイル４００へ変換する際に、画像ファイル６２０から、ＪＰＥＧの画像ファイル４００にそのまま記録可能なＪＰＥＧ向けのアノテーション情報６２１を容易に取得することができる。

上述した実施の形態では、ＪＰＥＧ向けのアノテーション情報６２１は、ＨＥＩＦの画像ファイル６００に含まれるアノテーション情報のうち、ＪＰＥＧの画像ファイル４００に記録不可能な種別のアノテーション情報を含まない。これにより、変換エラーの要因となる、記録不可能な種別のアノテーション情報をＪＰＥＧの画像ファイル４００に記録する処理が実行されるのを防止することができる。

上述した実施の形態では、ＪＰＥＧ向けのアノテーション情報６２１は、ＨＥＩＦの画像ファイル６００に含まれるアノテーション情報のうち、アプリケーションマーカー４０２の記録可能容量を超えるデータ量のアノテーション情報を含まない。これにより、変換エラーの要因となる、アプリケーションマーカー４０２の記録可能容量を超えるデータ量のアノテーション情報をＪＰＥＧの画像ファイルに記録する処理が実行されるのを防止することができる。

上述した実施の形態では、画像処理装置は、被写体を撮影してＨＥＩＦの画像ファイル６００に含まれる主画像データ６１８を生成する撮像装置である。これにより、撮影して得られた主画像データ６１８を含むＨＥＩＦの画像ファイル６００をＪＰＥＧの画像ファイル４００に変換する撮像装置において、画像ファイルの変換を効率的に行うことができる。

以上、本発明について、上述した実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。例えば、ＪＰＥＧ向けのアノテーション情報を、ＨＥＩＦの画像ファイルにおける‘ｍｅｔａ’ＢＯＸ２０２に記録しても良い。

図８は、図５のＪＰＥＧ向けのアノテーション情報記録処理の別の手順を示すフローチャートである。図８のＪＰＥＧ向けのアノテーション情報記録処理は、図５のＪＰＥＧ向けのアノテーション情報記録処理に類似する処理であり、以下では、特に、図５のＪＰＥＧ向けのアノテーション情報記録処理と異なる内容について説明する。図８のＪＰＥＧ向けのアノテーション情報記録処理も、図５のＪＰＥＧ向けのアノテーション情報記録処理と同様に、システム制御部５０Ａが不揮発性メモリ５１等に格納されたプログラムを実行することによって実現される。図８のＪＰＥＧ向けのアノテーション情報記録処理も、例えば、撮影時にＪＰＥＧ向けのアノテーション情報を生成させるための撮影時自動生成機能が有効に設定されている場合、上述した図３の撮影制御処理に続けて実行される。若しくは、図８のＪＰＥＧ向けのアノテーション情報記録処理は、外部記録媒体９１に保存された複数の画像ファイルの中からユーザに選択された１つ以上の画像ファイルのＪＰＥＧ向けのアノテーション情報の生成指示を操作部６３で受け付けた際に実行される。図８では、一例として、ユーザが１つの画像ファイルを選択して当該画像ファイルのＪＰＥＧ向けのアノテーション情報の生成指示を行った場合について説明する。

図８において、上述したステップＳ５０１、Ｓ５０２と同様の処理であるステップＳ８０１、Ｓ８０２が行われる。ステップＳ８０２において、ステップＳ８０１で取得した画像ファイルがＨＥＩＦの画像ファイルでないと判別された場合、本処理は終了する。ステップＳ８０２において、ステップＳ８０１で取得した画像ファイルがＨＥＩＦの画像ファイルであると判別された場合、処理は上述したステップＳ５０４と同様の処理であるステップＳ８０３へ進む。次いで、上述したステップＳ５０５～Ｓ５０８と同様の処理であるステップＳ８０４～Ｓ８０７が行われる。

次いで、ステップＳ８０８において、システム制御部５０Ａは、ステップＳ８０１で取得した画像ファイルにおけるアノテーション情報の記録領域に、ＪＰＥＧ向けのアノテーション情報を記録する。例えば、システム制御部５０Ａは、ステップＳ８０１で取得した図９のＨＥＩＦの画像ファイル９００の‘ｍｅｔａ’ＢＯＸ９０２に、ＢＯＸ９１７を記録する。ＢＯＸ９１７には、ＪＰＥＧ向けのアノテーション情報９１８が記録される。なお、図９のＨＥＩＦの画像ファイル９００について、ＢＯＸ９１７以外の構成は、上述した図２のＨＥＩＦの画像ファイル２００と同様である。その後、本処理は終了する。

図１０は、図７の画像変換処理の別の手順を示すフローチャートである。図１０の画像変換処理は、図７の画像変換処理に類似する処理であり、以下では、特に、図７の画像変換処理と異なる内容について説明する。図１０の画像変換処理も、図７の画像変換処理と同様に、システム制御部５０Ａが不揮発性メモリ５１等に格納されたプログラムを実行することによって実現される。図１０の画像変換処理も、図７の画像変換処理と同様に、デジタルカメラ１００がユーザによる画像変換指示を操作部６３にて受け付けた際に実行される。なお、ユーザは、外部記録媒体９１に保存された複数の画像ファイルの中から、処理対象となる少なくとも１つの画像ファイルを選択して画像変換指示を行う。図１０でも、一例として、ユーザが１つの画像ファイルを選択して画像変換指示を行った場合について説明する。

図１０において、上述したステップＳ７０１、Ｓ７０２と同様の処理であるステップＳ１００１、Ｓ１００２が行われる。ステップＳ１００２において、ステップＳ１００１で取得した画像ファイルがアノテーション情報を含むと判別された場合、処理はステップＳ１００３へ進む。ステップＳ１００２において、ステップＳ１００１で取得した画像ファイルがアノテーション情報を含まないと判別された場合、処理は後述するステップＳ１００５へ進む。

ステップＳ１００３では、システム制御部５０Ａは、ステップＳ１００１で取得した画像ファイルがＨＥＩＦの画像ファイルにおける‘ｍｅｔａ’ＢＯＸにＪＰＥＧ向けのアノテーション情報を含む画像ファイルであるか否かを判別する。ステップＳ１００３において、ステップＳ１００１で取得した画像ファイルがＨＥＩＦの画像ファイルにおける‘ｍｅｔａ’ＢＯＸにＪＰＥＧ向けのアノテーション情報を含む画像ファイルでないと判別された場合、処理はステップＳ１００４へ進む。なお、ステップＳ１００４は上述したステップＳ７０４と同様の処理である。ステップＳ１００３において、ステップＳ１００１で取得した画像ファイルがＨＥＩＦの画像ファイルにおける‘ｍｅｔａ’ＢＯＸにＪＰＥＧ向けのアノテーション情報を含む画像ファイルであると判別された場合、処理はステップＳ１００５へ進む。

ステップＳ１００５では、システム制御部５０Ａは、ステップＳ１００１で取得した画像ファイルに対し、第３の画像変換処理を行う。第３の画像変換処理でも、第２の画像変換処理と同様に、システム制御部５０Ａは、ＪＰＥＧの画像ファイル４００に記録するアノテーション情報を生成する処理を行わない。例えば、システム制御部５０Ａは、ステップＳ１００１で取得したＨＥＩＦの画像ファイル９００における主画像データ９２０及び関連画像データ９２１をＪＰＥＧの画像ファイル４００におけるアプリケーションマーカー４０２以外の領域に記録する。また、システム制御部５０Ａは、ＨＥＩＦの画像ファイル９００の‘ｍｅｔａ’ＢＯＸ９０２に記録されたＪＰＥＧ向けのアノテーション情報９１８をＪＰＥＧの画像ファイル４００におけるアプリケーションマーカー４０２にそのまま記録する。その後、本処理は終了する。

上述した実施の形態では、ＪＰＥＧ向けのアノテーション情報９１８が、ＨＥＩＦの画像ファイル９００における‘ｍｅｔａ’ＢＯＸ９０２に記録される。これにより、ＨＥＩＦの画像ファイル９００からＪＰＥＧの画像ファイル４００へ変換する際に、‘ｍｅｔａ’ＢＯＸ９０２から、ＪＰＥＧの画像ファイル４００にそのまま記録可能なＪＰＥＧ向けのアノテーション情報９１８を容易に取得することができる。

本発明は、上述の実施の形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、本実施の形態の開示は、以下の構成及び方法を含む。
（構成１）ユーザによる画像変換指示に従って、画像データ及び当該画像データのアノテーション情報を含む第１の形式の画像ファイルを、アノテーション情報を記録する所定の領域の記録可能なサイズが前記第１の形式の画像ファイルより小さい第２の形式の画像ファイルに変換する変換手段と、前記第１の形式の画像ファイルを記録する際に、前記第１の形式の画像ファイルにアノテーション情報を記録するとともに、当該アノテーション情報に基づいて前記所定の領域に記録可能なサイズに収まる第２の形式の画像ファイル向けのアノテーション情報を生成し、当該第２の形式の画像ファイル向けのアノテーション情報を前記第１の形式の画像ファイルに記録する制御を行う制御手段とを備え、前記制御手段は、前記画像変換指示を受ける前に、前記第２の形式の画像ファイル向けのアノテーション情報を前記第１の形式の画像ファイルに記録し、前記変換手段は、前記第１の形式の画像ファイルに記録された前記第２の形式の画像ファイル向けのアノテーション情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録することを特徴とする画像処理装置。
（構成２）前記制御手段は、前記第１の形式の画像ファイルに第２の形式の画像データが含まれる場合、前記第２の形式の画像データを含む画像ファイルを前記第１の形式の画像ファイルに生成し、当該画像ファイルにおける前記所定の領域に前記第２の形式の画像ファイル向けのアノテーション情報を記録することを特徴とする構成１に記載の画像処理装置。
（構成３）前記制御手段は、前記第２の形式の画像ファイル向けのアノテーション情報を前記第１の形式の画像ファイルにおける前記所定の領域に記録することを特徴とする構成１に記載の画像処理装置。
（構成４）前記第２の形式の画像ファイル向けのアノテーション情報は、前記第１の形式の画像ファイルに含まれるアノテーション情報のうち、前記第２の形式の画像ファイルに記録不可能な種別のアノテーション情報を含まないことを特徴とする構成１乃至３の何れか１つに記載の画像処理装置。
（構成５）前記第２の形式の画像ファイル向けのアノテーション情報は、前記第１の形式の画像ファイルに含まれるアノテーション情報のうち、前記第２の形式の画像ファイルにおける前記所定の領域の記録可能容量を超えるデータ量のアノテーション情報を含まないことを特徴とする構成１乃至４の何れか１つに記載の画像処理装置。
（構成６）前記画像処理装置は、被写体を撮影して前記第１の形式の画像ファイルに含まれる画像データを生成する撮像装置であることを特徴とする構成１乃至５の何れか１つに記載の画像処理装置。
（構成７）前記第１の形式はＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）であり、前記第２の形式はＪＰＥＧであることを特徴とする構成１乃至６の何れか１つに記載の画像処理装置。
（構成８）前記変換手段は、前記第１の形式の画像ファイルに記録されたアノテーション情報のうち、前記画像データの関連画像データを前記第２の形式の画像ファイルにおける他の領域であって前記所定の領域と異なる他の領域に記録することを特徴とする構成１乃至７の何れか１つに記載の画像処理装置。

５０Ａ システム制御部
１００ デジタルカメラ
４０２ アプリケーションマーカー
４００ ＪＰＥＧの画像ファイル
６００ ＨＥＩＦの画像ファイル
６１８ 主画像データ
６１９ 関連画像データ
６２０ 画像ファイル
６２１ ＪＰＥＧ向けのアノテーション情報
９００ ＨＥＩＦの画像ファイル
９０２ ‘ｍｅｔａ’ＢＯＸ
９１８ ＪＰＥＧ向けのアノテーション情報

Claims (10)

1. ユーザによる画像変換指示に従って、画像データ及び当該画像データのアノテーション情報を含む第１の形式の画像ファイルを、アノテーション情報を記録する所定の領域の記録可能なサイズが前記第１の形式の画像ファイルより小さい第２の形式の画像ファイルに変換する変換手段と、
   前記第１の形式の画像ファイルを記録する際に、前記第１の形式の画像ファイルにアノテーション情報を記録するとともに、当該アノテーション情報に基づいて前記所定の領域に記録可能なサイズに収まる第２の形式の画像ファイル向けのアノテーション情報を生成し、当該第２の形式の画像ファイル向けのアノテーション情報を前記第１の形式の画像ファイルに記録する制御を行う制御手段とを備え、
   前記制御手段は、前記画像変換指示を受ける前に、前記第２の形式の画像ファイル向けのアノテーション情報を前記第１の形式の画像ファイルに記録し、
   前記変換手段は、前記第１の形式の画像ファイルに記録された前記第２の形式の画像ファイル向けのアノテーション情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録することを特徴とする画像処理装置。
2. 前記制御手段は、前記第１の形式の画像ファイルに第２の形式の画像データが含まれる場合、前記第２の形式の画像データを含む画像ファイルを前記第１の形式の画像ファイルに生成し、当該画像ファイルにおける前記所定の領域に前記第２の形式の画像ファイル向けのアノテーション情報を記録することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記第２の形式の画像ファイル向けのアノテーション情報を前記第１の形式の画像ファイルにおける前記所定の領域に記録することを特徴とする請求項１に記載の画像処理装置。
4. 前記第２の形式の画像ファイル向けのアノテーション情報は、前記第１の形式の画像ファイルに含まれるアノテーション情報のうち、前記第２の形式の画像ファイルに記録不可能な種別のアノテーション情報を含まないことを特徴とする請求項１に記載の画像処理装置。
5. 前記第２の形式の画像ファイル向けのアノテーション情報は、前記第１の形式の画像ファイルに含まれるアノテーション情報のうち、前記第２の形式の画像ファイルにおける前記所定の領域の記録可能容量を超えるデータ量のアノテーション情報を含まないことを特徴とする請求項１に記載の画像処理装置。
6. 前記画像処理装置は、被写体を撮影して前記第１の形式の画像ファイルに含まれる画像データを生成する撮像装置であることを特徴とする請求項１に記載の画像処理装置。
7. 前記第１の形式はＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）であり、前記第２の形式はＪＰＥＧであることを特徴とする請求項１に記載の画像処理装置。
8. 前記変換手段は、前記第１の形式の画像ファイルに記録されたアノテーション情報のうち、前記画像データの関連画像データを前記第２の形式の画像ファイルにおける他の領域であって前記所定の領域と異なる他の領域に記録することを特徴とする請求項１に記載の画像処理装置。
9. ユーザによる画像変換指示に従って、画像データ及び当該画像データのアノテーション情報を含む第１の形式の画像ファイルを、アノテーション情報を記録する所定の領域の記録可能なサイズが前記第１の形式の画像ファイルより小さい第２の形式の画像ファイルに変換する変換工程と、
   前記第１の形式の画像ファイルを記録する際に、前記第１の形式の画像ファイルにアノテーション情報を記録するとともに、当該アノテーション情報に基づいて前記所定の領域に記録可能なサイズに収まる第２の形式の画像ファイル向けのアノテーション情報を生成し、当該第２の形式の画像ファイル向けのアノテーション情報を前記第１の形式の画像ファイルに記録する制御を行う制御工程とを有し、
   前記制御工程は、前記画像変換指示を受ける前に、前記第２の形式の画像ファイル向けのアノテーション情報を前記第１の形式の画像ファイルに記録し、
   前記変換工程は、前記第１の形式の画像ファイルに記録された前記第２の形式の画像ファイル向けのアノテーション情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録することを特徴とする画像処理装置の制御方法。
10. 画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
    前記画像処理装置の制御方法は、
    ユーザによる画像変換指示に従って、画像データ及び当該画像データのアノテーション情報を含む第１の形式の画像ファイルを、アノテーション情報を記録する所定の領域の記録可能なサイズが前記第１の形式の画像ファイルより小さい第２の形式の画像ファイルに変換する変換工程と、
    前記第１の形式の画像ファイルを記録する際に、前記第１の形式の画像ファイルにアノテーション情報を記録するとともに、当該アノテーション情報に基づいて前記所定の領域に記録可能なサイズに収まる第２の形式の画像ファイル向けのアノテーション情報を生成し、当該第２の形式の画像ファイル向けのアノテーション情報を前記第１の形式の画像ファイルに記録する制御を行う制御工程とを有し、
    前記制御工程は、前記画像変換指示を受ける前に、前記第２の形式の画像ファイル向けのアノテーション情報を前記第１の形式の画像ファイルに記録し、
    前記変換工程は、前記第１の形式の画像ファイルに記録された前記第２の形式の画像ファイル向けのアノテーション情報を前記第２の形式の画像ファイルにおける前記所定の領域に記録することを特徴とするプログラム。
    

Images