JP2023089743A - 画像処置装置とその制御方法、撮像装置、及び、プログラム - Google Patents

Abstract

【課題】 画像における被写体の推定結果を管理する。【解決手段】画像処理装置は、画像から、被写体を検出する検出手段と、検出された前記被写体を推論処理により分類する処理手段と、前記画像の画像データと、前記推論処理の第１の推論結果と、を含む画像ファイルを生成して記録媒体に記録する生成手段と、前記画像ファイルを特定するための情報と、前記推論処理の第２の推論結果とを含む管理情報を、前記画像ファイルとは異なる管理ファイルであって、前記記録媒体に記録される管理ファイルに保存する保存手段とを有する。【選択図】 図１Ａ

Description

本発明は、デジタルカメラなどで撮像された画像を処理する画像処置装置とその制御方法、撮像装置、及び、プログラムに関する。

近年、深層学習などといった人工知能（Artificial Intelligence：ＡＩ）技術が様々な技術分野で活用されつつある。例えば、従来、デジタルスチルカメラなどにおいて、撮像された画像から人の顔を検出する機能が搭載されていたが、特許文献１には、検出対象を人に限らず、犬や猫といった動物などを精度よく検出し、被写体を認識する技術が開示されている。

一方、被写体検出技術が進化し、検出できる情報の重要性が増えるにつれ、検出対象として入力された画像と検出された結果は、その後のワークフローで様々に利活用できる重要な情報となっている。例えば、画像からＡＩ技術などを用いて推定される多様な情報は、ロボットの自動化、自動車の自動運転など、様々な分野で非常に重要な入力データとなっている。

特開２０１５－９９５５９号公報

しかしながら、特許文献１では入力画像から検出した情報の管理方法については触れられていない。

そこで、本発明は入力画像から検出した情報、特には画像における被写体の推定結果の管理方法を提供する。

上記目的を達成するために、本発明の画像処理装置は、
画像から、被写体を検出する検出手段と、
検出された前記被写体を推論処理により分類する処理手段と、
前記画像の画像データと、前記推論処理の第１の推論結果と、を含む画像ファイルを生成して記録媒体に記録する生成手段と、
前記画像ファイルを特定するための情報と、前記推論処理の第２の推論結果とを含む管理情報を、前記画像ファイルとは異なる管理ファイルであって、前記記録媒体に記録される管理ファイルに保存する保存手段とを有する。

本発明によれば、画像における被写体の推定結果の管理方法を提供することができる。

実施形態におけるシステムの概略構成を示すブロック図。 実施形態に対応する外部表示装置１０２の概略構成を示すブロック図。 実施形態に対応する撮像処理の一例を示すフローチャート。 実施形態に対応する再生処理の一例を示すフローチャート。 実施形態に対応する画像ファイル及び管理ファイルのデータ構成の一例を示す図。 実施形態に対応する画像送信処理の一例を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

また、以下の説明では、推論モデルを使用し、被写体分類を行う画像処理装置として、デジタルカメラを例示するが、画像処理装置の実施形態はデジタルカメラに限られない。本実施形態において、画像処理装置は記録媒体に記録されている画像を読み出して表示装置に表示する画像処理装置であればいかなる機器であってもよく、例えば、携帯電話、スマートフォン、タブレットＰＣ、パーソナルコンピュータなどであってもよい。また、画像処理装置は、実施形態に対応するデジタルカメラ等の呼称の一例であって、情報処理装置、画像出力装置、画像表示装置、画像記録装置等と呼ぶこともできる。

図１Aは、実施形態にかかるデジタルカメラ１００を含むシステム構成例を示すブロック図である。本実施形態においてシステムは、デジタルカメラ１００が、外部装置１０１及び外部表示装置１０２とそれぞれ通信可能に接続されて構成される。デジタルカメラ１００は、上述の通り画像処理装置であり、外部装置１０１は、本実施形態に対応する推論モデルを管理する装置である。外部表示装置１０２は、デジタルカメラ１００が管理する画像ファイルを表示するための外部装置であり、例えば、パーソナルコンピュータ、タブレット端末、スマートフォン等として実現することができる。

デジタルカメラ１００の構成を以下に説明する。まず、バリア１０は、デジタルカメラ１００の撮像レンズ１１を含む撮像部を覆う事により、撮像部の汚れや破損を防止する保護部材であり、バリア制御部４３により動作が制御される。撮像レンズ１１は、光学像を撮像素子１３の撮像面に結像させる。シャッター１２は、絞り機能を備える。撮像素子１３は、例えば、ＣＣＤやＣＭＯＳセンサ等で構成され、シャッター１２を介して撮像レンズ１１により撮像面上に結像された光学像を電気信号に変換する。

Ａ／Ｄ変換器１５は、撮像素子１３から出力されたアナログの画像信号をデジタルの画像信号に変換する。Ａ／Ｄ変換器１５で変換されたデジタルの画像信号は、所謂ＲＡＷ画像データとして、メモリ２５に書き込まれる。併せて、撮像時の情報を基に各ＲＡＷ画像データに対応する現像パラメータが生成され、メモリ２５に書き込まれる。現像パラメータは、露光設定、ホワイトバランス、色空間、コントラストなど、ＪＰＥＧ方式などを記録するための画像処理で使用する各種パラメータから構成される。タイミング発生器１４は、メモリ制御部２２及びシステム制御部５０Ａにより制御され、撮像素子１３、Ａ／Ｄ変換器１５、Ｄ／Ａ変換器２１にクロック信号や制御信号を供給する。

画像処理部２０は、Ａ／Ｄ変換器１５からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理、色変換処理、補正処理、リサイズ処理などの各種画像処理を行う。また、画像処理部２０は、撮像して得られた画像データを用いて所定の画像処理や演算処理を行い、得られた演算結果をシステム制御部５０Ａに提供する。システム制御部５０Ａは、提供された演算結果に基づいて露光制御部４０および焦点制御部４１を制御することにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を実現する。

また、画像処理部２０は、撮像して得られた画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行う。さらに、画像処理部２０は、メモリ２５に格納された画像データを読み込んでＪＰＥＧ方式やＭＰＥＧ－４ ＡＶＣまたはＨＥＶＣ（High Efficiency Video Coding）、非圧縮のＲＡＷデータに対する可逆圧縮など、圧縮処理或いは伸長処理を行う。そして、画像処理部２０は、処理を終えた画像データをメモリ２５に書き込む。

また、画像処理部２０は、撮像して得られた画像データを用いて所定の演算処理を行い、各種画像データの編集処理を行う。具体的には、画像データの周囲にある不要な部分を非表示にすることで画像の表示範囲やサイズを調整するトリミング処理、画像データや画面の表示要素などを拡大や縮小して大きさを変更するリサイズ処理を行うことができる。更に、非圧縮のＲＡＷデータに対する可逆圧縮など、圧縮処理或いは伸長処理を行ったデータに対して色変換などの画像処理を加え、ＪＰＥＧ方式に変換して画像データを作成するＲＡＷ現像を行うことができる。また、ＭＰＥＧ－４などの動画フォーマットの指定フレームを切り出してＪＰＥＧ方式に変換して保存する動画切り出し処理を行うことができる。

また、画像処理部２０は、表示用の画像データと共に、表示部２３に表示するメニューや任意の文字等のＯＳＤ（On-Screen Display）を重畳させる処理等も行う。さらに、画像処理部２０では、入力された画像データや撮像時の撮像素子１３などから得られる被写体との距離情報などを利用して、画像データ内に存在する被写体を検出して、その被写体領域を検出する被写体検出処理を行う。検出できる情報として、画像内における位置、大きさといった領域や傾き、確からしさなどの検出情報を得ることができる。

メモリ制御部２２は、Ａ／Ｄ変換器１５、タイミング発生器１４、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２１、メモリ２５を制御する。Ａ／Ｄ変換器１５により生成されたＲＡＷ画像データは、画像処理部２０、メモリ制御部２２を介して、或いは、直接メモリ制御部２２を介して、画像表示メモリ２４或いはメモリ２５に書き込まれる。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１を介してＴＦＴ ＬＣＤなどにより構成される表示部２３に表示される。表示部２３を用いて撮像して得られた画像データを逐次表示すれば、ライブ画像を表示する電子ファインダ機能を実現することが可能である。メモリ２５は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備え、撮像した静止画像や動画像を格納する。また、メモリ２５はシステム制御部５０Ａの作業領域としても使用することが可能である。

露光制御部４０は、絞り機能を備えるシャッター１２を制御する。また、露光制御部４０は、フラッシュ４４と連動することによりフラッシュ調光機能も有する。焦点制御部４１は、システム制御部５０Ａからの指示に基づいて撮像レンズ１１に含まれる不図示のフォーカスレンズを駆動することで、焦点調節を行う。ズーム制御部４２は、撮像レンズ１１に含まれる不図示のズームレンズを駆動することで、ズーミングを制御する。フラッシュ４４は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。

システム制御部５０Ａは、デジタルカメラ１００全体を制御する。不揮発性メモリ５１は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。なお、不揮発性メモリ５１には、本実施形態に対応する処理を実行するためのプログラムだけでなく、地図情報等も記録されている。

シャッタースイッチ６１（ＳＷ１）は、シャッターボタン６０の操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理などの動作開始を指示する。シャッタースイッチ６２（ＳＷ２）は、シャッターボタン６０の操作完了でＯＮとなり、露光処理、現像処理、記録処理を含む一連の撮像動作の開始を指示する。露光処理では、撮像素子１３から読み出された信号を、Ａ／Ｄ変換器１５、メモリ制御部２２を介して、ＲＡＷ画像データとしてメモリ２５に書き込む。現像処理では、画像処理部２０やメモリ制御部２２での演算を用いて、メモリ２５に書き込まれたＲＡＷ画像データを現像し、画像データとしてメモリ２５に書き込む。記録処理では、メモリ２５から画像データを読み出し、画像処理部２０により圧縮を行い、圧縮した画像データをメモリ２５に格納した後にカードコントローラ９０を介して外部記録媒体９１に書き込む。

操作部６３は、各種ボタンやタッチパネルなどの操作部材を備える。例えば、電源ボタン、メニューボタン、撮像モード／再生モード／その他特殊撮像モードの切替えを行うモード切替えスイッチ、十字キー、セットボタン、マクロボタン、マルチ画面再生改ページボタンを含む。また、例えば、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動－（マイナス）ボタン、撮像画質選択ボタン、露出補正ボタン、日付／時間設定ボタンなどを含む。

メタデータ生成・解析部７０は、外部記録媒体９１に画像データを記録する際に、撮像時の情報を基に、画像データに添付する、Exif(Exchangeable image file format)規格などの様々なメタデータを生成する。Exif規格は、画像ファイルのデータ形式を定めた規格であり、より具体的には、デジタルカメラ１００で生成した画像データに、撮像時の状況や設定などを表す様々な情報（メタデータ）を添付して一緒にファイルとして保存するためのデータ形式を定めた規格である。また、メタデータ生成・解析部７０は、外部記録媒体９１に記録されている画像データを読み込んだ際に、画像データに付与されているメタデータの解析を行う。メタデータとしては、例えば、撮像時の撮像時設定情報、画像データに関する画像データ情報、画像データに含まれる被写体の特徴情報などが挙げられる。また、動画像データを記録する際には、メタデータ生成・解析部７０は、各フレームについてメタデータを生成し、付与することもできる。

電源８０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。電源制御部８１は、電源８０から供給される電力をデジタルカメラ１００の各部に供給する。カードコントローラ９０は、メモリカード等の外部記録媒体９１とデータの送受信を行う。外部記録媒体９１は、例えばメモリカードで構成され、デジタルカメラ１００が撮像した画像（静止画、動画）を記録する。

推論エンジン７３Ａは、推論モデル記録部７２Ａに記録された推論モデルを用いて、システム制御部５０Ａを介して入力された画像データに対して推論を行う。推論モデルには、外部装置１０１などの外部から通信部７１Ａを通じて入力し、推論モデル記録部７２Ａに記録されたものや、学習部７４Ａによって再学習を行って得られた推論モデルを使用することができる。なお、推論モデルは、外部からの更新や学習部７４Ａによって再学習を行って更新された場合に、それぞれの推論モデルが識別できるように、推論モデル記録部７２Ａなどで管理バージョンを保持していることとする。また、推論エンジン７３Ａは、ニューラルネットワーク・デザイン７３ａを有する。

ニューラルネットワーク・デザイン７３ａは、入力層と出力層の間に中間層（ニューロン）が配置されている。入力層にはシステム制御部５０Ａから画像データが入力される。中間層としては、何層かのニューロンが配置されている。ニューロンの層の数は設計上適宜決められ、また各層におけるニューロンの数も設計上適宜決められる。中間層は、推論モデル記録部７２Ａに記録された推論モデルに基づいて、重み付けがなされる。出力層には、入力層に入力された画像データに応じたアノテーション情報が出力される。

本実施形態では、画像に含まれる被写体の分類を推論する推論モデルを想定する。様々な被写体の画像データと、その分類（例えば、犬、猫などの動物の分類や、人、動物、植物、建物など被写体分類など）結果を教師データとして、深層学習により生成された推論モデルを外部装置１０１などで生成したものを利用する。ただし、推論エンジン７３Ａは外部装置１０１などから更新可能なため、その他の様々な推論モデルを扱っても構わない。

学習部７４Ａは、システム制御部５０Ａ等から依頼を受けて、推論モデルの再学習を行う。学習部７４Ａは、教師データ記録部７４ａを有し、教師データ記録部７４ａは、推論エンジン７３Ａへの教師データに関する情報を記録する。学習部７４Ａは教師データ記録部７４ａに記録されている教師データを用いて、推論エンジン７３Ａを再学習させ、推論モデル記録部７２Ａを用いて、推論エンジン７３Ａを更新することができる。

通信部７１Ａは、送信および受信を行うための通信回路を有する。通信回路は、具体的にはＷｉ－ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信でも良いし、イーサネットやＵＳＢなどの有線通信でも良い。通信部７１Ａは、外部装置１０１の通信部７１Ｂや、外部表示装置１０２の通信部７１Ｃと通信を行うことができる。通信部７１Ａは、推論エンジン７３Ａにおいて作成されたアノテーション情報が付与された画像ファイルだけでなく、推論モデルや教師データなどの様々な情報をシステム制御部５０Ａ、システム制御部５０Ｂ、システム制御部５０Ｃに送受信する通信部として機能する。また、外部装置１０１や外部表示装置１０２がデジタルカメラ１００と関連しているかどうかにより、送信する情報に制限をかけることができる。

外部装置１０１は、学習部７４Ｂ、推論エンジン７３Ｂ、推論モデル記録部７２Ｂ、システム制御部５０Ｂ、通信部７１Ｂを有する。または、これらの構成を持たない装置であってもよい。学習部７４Ｂは、推論エンジン７３Ｂ、システム制御部５０Ｂなど、外部からの依頼を受けて推論モデルを作成する。推論モデル記録部７２Ｂは、デジタルカメラ１００から送信された推論モデルや学習部７４Ｂで作成された推論モデルを記録する。

図１Ｂは、外部表示装置１０３のより詳細な構成の一例を示す。外部表示装置１０３は、画像処理部２０Ｃ、メモリ制御部２２Ｃ、表示部２３Ｃ、画像表示メモリ２４Ｃ、メモリ２５Ｃ、不揮発性メモリ５１Ｃ、操作部６２Ｃ、通信部７１Ｃ、メタデータ解析部７５、電源８０Ｃ、電源制御部８１Ｃを有する。外部表示装置１０３は通信部７１Ｃを通じて、デジタルカメラ１００から画像ファイル等を受信し、システム制御部５０Ｃで受信した画像ファイル等を表示部２３Ｃに表示することができる。

次に、図２を用いて、本実施形態におけるデジタルカメラ１００の撮像処理について説明する。該フローチャートに対応する処理は、例えば、システム制御部５０Ａが対応するプログラム（不揮発性メモリ５１等に格納）を実行して、デジタルカメラ１００の各機能ブロックを制御することにより実現できる。

操作部６３に含まれるモード切替スイッチにより撮像モードが指示されると処理が開始される。Ｓ２０１において、ユーザがシャッターボタン６０の押下により、シャッタースイッチ６１（ＳＷ１）及び６２（ＳＷ２）がＯＮとなって静止画撮像が指示されたかを確認し、静止画撮像が指示された場合、Ｓ２０２に進む。

Ｓ２０２では、撮像処理を行う。撮像処理では、焦点制御部４１や露光制御部４０を用いて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理を行ったうえで、撮像素子１３からＡ／Ｄ変換器１５を介して出力される画像信号をメモリ２５に保存する。更に、メモリ２５に保存した画像信号に対して、ユーザの設定に合わせて、画像処理部２０に含まれる圧縮処理でＪＰＥＧ形式やＭＰＥＧ－４ ＨＥＶＣ形式で圧縮した画像データを作成する。

Ｓ２０３において、メモリ２５に保存された画像信号に対して、画像処理部２０により被写体検出処理を行い、画像に含まれる被写体の検出情報を取得する。

Ｓ２０４において、Ｓ２０２で作成された画像データとＳ２０３で取得した被写体検出情報を画像ファイルとして外部記録媒体９１に記録する。ここで記録される画像ファイルは、図４（A）に示すような形式で記録される。本実施形態で記録される画像ファイル４００は、少なくともＥｘｉｆ規格に従ったメタデータを記憶する領域と、圧縮された画像データ４０６を記録する画像データ領域とから構成されている。画像ファイル４００は、例えば、ユーザからＪＰＥＧ形式での記録が指示されていれば、ＪＰＥＧ形式で記録され、Ｅｘｉｆデータ４０１はＡＰＰ１マーカーなどに記録されている。また、ユーザからＨＥＩＦ（High Efficiency Image File Format）形式での記録が指示された場合、ＨＥＩＦファイル形式で記録され、Ｅｘｉｆデータ４０１は、ＭｅｔａデータＢｏｘなどに記録される。また、ＲＡＷ形式での記録が指示された場合も同様に、Ｅｘｉｆデータ４０１は、ＭｅｔａデータＢｏｘなどの所定の領域に記録される。

Ｓ２０３で取得した被写体検出情報は、メタデータ生成・解析部７０を用いて、Ｅｘｉｆデータ４０１に含まれるＭａｋｅｒＮｏｔｅ４０４内に記憶される。ＭａｋｅｒＮｏｔｅ４０４は、デジタルカメラ１００の製造メーカ（或いはベンダー、以下同じ）独自の記録フォーマットで記録することができ、その内部の仕様・形式はExif規格等で非公開のため、製造メーカ自身しかその内容を理解することができない。また、ＭａｋｅｒＮｏｔｅ４０４はベンダー純正のソフトウェア（例えば、パーソナルコンピュータやタブレット端末、スマートフォンにインストールされるアプリケーションや、当該端末等でアクセス可能なウェブサービス）でのみ利用可能な領域となる。更に、被写体検出情報は、アノテーションリンク情報格納タグ４０２に含まれるアノテーション情報オフセットで指し示す位置に記録されているアノテーション情報４０３に記録される。アノテーション情報４０３に記録された被写体検出情報は、後述する推論処理において推論エンジン７３Ａへの入力データとなるアノテーション情報として用いられる。図５（Ａ）に示す例では、アノテーション情報４０３には被写体の画面内の座標領域だけが記録されているが、それ以外の情報が含まれていても構わない。

Ｓ２０５において、推論エンジン７３Ａを用いた推論処理が実施可能か確認する。例えば、推論エンジン７３Ａが他の画像に対する処理を実行中であったり、シャッターボタン６０の操作によりシャッタースイッチ６２（ＳＷ２）が引き続きＯＮであって、連写撮像が指示されて撮像処理を優先すべき場合などは、推論処理を実行できない。推論処理が実行できない場合は、Ｓ２０８に進み、推論処理が実行可能であれば、Ｓ２０６に進む。

Ｓ２０６において、画像ファイル４００に対して、推論エンジン７３Ａを用いた推論処理を行う。本実施形態では、推論エンジン７３Ａへの入力として、画像ファイル４００を入力する。画像ファイル４００内の画像データ４０６とアノテーション情報４０３から画像データ内に含まれる被写体領域を特定し、被写体領域ごとに推論エンジン７３Ａを用いて推論した結果として、被写体領域に含まれる被写体の分類結果を出力する。推論時に、推論結果以外に推論途中の動作上のデバッグ情報、ログなど推論処理に関連する情報を出力しても構わない。

Ｓ２０７において、Ｓ２０６で取得した推論結果である被写体の分類結果を、所定の基準に従い第１の推論結果と、第１の推論結果以外の第２の推論結果とに分類し、第１の推論結果を画像ファイルに記録して、Ｓ２０８に進む。図４（B）は、図４（A）の画像ファイル４００に、第１の推論結果として、被写体毎の代表的な推論結果を記録した後の画像ファイル４１０を示す。画像ファイル４１０では、メタデータ生成・解析部７０を用いて、アノテーション情報４１１に代表的な被写体の代表的な推論結果を記録すると共に、ＭａｋｅｒＮｏｔｅ４０４内のアノテーション情報４１２に、主被写体を含む被写体毎の代表的な推論結果を記録する。

ここで上記所定の基準は、例えば、信頼度が最も高い推論結果であるかどうか、或いは、主被写体に対する推論結果であるかどうかとすることができる。以下、具体的に所定の基準の内容を説明する。

まず、信頼度について、画像処理部２０は、被写体領域の大きさ、被写体領域のブレ、被写体領域が他の被写体領域により隠されていたり、見切れていたりしないかどうか、被写体撮像時の露出、明るさ等を含む、複数の撮像条件の少なくともいずれかに、少なくとも部分的に基づき推論結果の信頼度を判定できる。信頼度は、例えば最高値を１００、最低値を０とすることができる。具体的に、被写体領域がブレることなく、また、他の被写体により隠されたり見切れたりすることなく、適切な露出、明るさにおいて撮像されるといった、被写体を分類するのに適した撮像条件で撮像された場合、推論結果の信頼度は高いものとなる。その一方で、被写体領域がブレていたり、他の被写体により隠されるか見切れていたり、逆光条件であったり、或いは、非常に暗い環境下で撮像されていたりといった、被写体を分類するのに適さない撮像条件で撮像された場合には、推論結果の信頼度は低いものとなる。

次に、主被写体について、例えば画像データにおける、被写体領域の大きさ、被写体の特定部位の大きさ、及び、画像の中心位置からのずれ量のうち、少なくともいずれかに基づいて、画像データから検出された被写体のうちから、主被写体と主被写体以外の被写体を決定することができる。より具体的には、画像データにおける被写体領域が最も大きい被写体、画像データにおいて顔などの特定の部位が最も大きい被写体、或いは、画像データの中心位置からのずれ量が最も小さい、即ち、中心位置に最も近い被写体を、主被写体とすることができる。更には、デジタルカメラ１００のユーザが指定した領域内で検出された被写体を主被写体としてもよい。

図４（Ｂ）に示す例では、画像データ４０６から、少なくとも被写体Ａ、被写体Ｂを含む複数の被写体が検出され、このうち被写体Ａが主被写体と判定されて、アノテーション情報４１１にその代表推論結果が記録されている。また、ＭａｋｅｒＮｏｔｅ４０４には、画像データ４０６から検出された複数の被写体のそれぞれについて、各被写体を代表する推論結果が記録されている。このようにノウハウや資産に該当する推論処理の結果について、一部の情報をExif規格等で記述形式が公開済みの製造メーカ間で共有可能な領域に保持しつつ、大部分の情報をExif規格等で記述形式を公開していない製造メーカ固有の領域に保持して保護することができる。

次にＳ２０８において、第１の推論結果に分類されなかった第２の推論結果は、外部記録媒体９１における、画像ファイルとは異なるファイルである管理ファイルに記録する。推論モデル記録部７２Ａで保持している現在の推論モデルの管理バージョンやデバッグ情報などがあれば、それらを推論モデル管理情報として管理ファイルに記録する。画像ファイルは画像毎にそれぞれ独立したファイルとして構成されているのに対し、管理ファイルは一つのファイルに複数の画像ファイルの情報を含めるように構成することができる。

管理ファイルは、画像データ４０６が生成される度に作成される種類のファイルではないので、予め外部記録媒体９１に作成しておき、画像ファイルが作成される度に対応する情報を追記していくことができる。その際、デジタルカメラ１００を使用するユーザ毎に独立した管理ファイルとして作成することもできる。

また、管理ファイルは、製造メーカ独自の記録フォーマットで記録することができ、その内部の仕様・形式はDCF規格、Exif規格等で公開されていないため、製造メーカ自身しかその内容を理解することができないように作成することができる。また、管理ファイルは製造メーカ純正の所定のソフトウェア（例えば、パーソナルコンピュータやタブレット端末、スマートフォンにインストールされるアプリケーションや、当該端末等でアクセス可能なウェブサービス）でのみ利用可能（参照可能）とすることができる。

続くＳ２０９において、ユーザから操作部６３に含まれるモード切り替えスイッチや電源ボタンで電源ＯＦＦなどにより撮像完了が指示されると、撮像処理を終了する。

図４は、本実施形態に対応する画像ファイルと管理ファイルとのデータ構成の一例を示す図である。図４（Ａ）は、Ｓ２０４において、Ｓ２０２で作成された画像データとＳ２０３で取得した被写体検出情報を画像ファイルとして外部記録媒体９１に記録する場合の画像ファイルの構成の一例を示す。図４（Ｂ）は、図４（Ａ）の画像ファイル４００に、推論結果の一部を記録した後の画像ファイル４１０の構成の一例を示す。図４（Ｃ）は、推論結果と推論モデル管理情報等を記録した管理ファイル４２０の構成の一例を示す。

図４（Ｂ）において、画像ファイル４１０は、メタデータ生成・解析部７０を用いて、主被写体の代表的な推論結果を被写体の位置座標と関連付けてアノテーション情報４１１に記録している。当該アノテーション情報４１１はExif規格で規定された形式で記録されているため、デジタルカメラ１００の製造メーカに関係なく利用することができる。また、主被写体および他の被写体の代表的な推論結果を、被写体の位置座標ごとにＭａｋｅｒＮｏｔｅ４０４内にアノテーション情報４１２として記録している。画像ファイル４１０に記録される推論結果を、本実施形態では第１の推論結果と総称する。

図４（Ｃ）に示す管理ファイル４２０は、ｎ（ｎは１又は２以上の自然数）個の画像ファイルについて個別に管理情報４２１Ａから４２１Ｎを記憶している。ここで、管理ファイル４２１Ａは、図４（Ｂ）に示す画像ファイル４１０に対応する管理ファイルを示している。他の管理ファイル４２１Ｂ等に対応する画像ファイルも同様の形式で存在するが、図４では省略している。管理情報４２１Ａから４２１Ｎは、対応する画像ファイル４１０を特定するための画像情報４２２Ａから４２２Ｎを記録している。画像情報４２２には、例えば、画像ファイル番号、撮像日時、画像フォーマットなどを含めることができ、このうち画像ファイル番号によれば、対応する画像ファイル４１０を特定することができる。また、図４（Ｃ）では、画像ファイル４１０に記録された第１の推論結果を含む全推論結果をアノテーション情報４２３Ａから４２３Ｎに被写体毎に、その位置座標と関連付けて記録した場合を一例として示している。また、各管理情報４２１には、推論モデル管理情報４２４も記録される。

本実施形態では、アノテーション情報４１１、４１２、４２３を、位置座標と推論結果の組み合わせとした例を示しているが、アノテーション情報には推論モデルの推論結果として出力されたものを記録できれば良い。例えば、出力結果をそのまま記録してもいいし、テキスト形式、バイナリ型式などその記録フォーマットや形式は問わない。

このように画像ファイル４１０には、画像データ４０６と、複数の推論結果のうち一部の推論結果（例えば、複数の推論結果を代表する推論結果）とが記録されるので、以後、画像データ４０６と推論結果を各々管理することなく、効率的に対応付けて容易に管理することができる。さらに、代表的な推論結果のみを記録することで、画像ファイル４００の生成処理を簡易化することができ、ファイルサイズも削減することができる。また、推論モデル管理情報４２４は、推論モデルを管理する製造メーカが利用する特有のデータのため、広く一般に公開せず、非公開の管理ファイル４２０に記録することで、推論結果とともに対応付けて安全に管理することができる。

上述の説明では、代表的な推論結果を画像ファイルに記録し、全推論結果を管理ファイルに記録すものとした。しかし、所定の基準を、主被写体に対する推論結果であるかどうかとする場合は、画像ファイルに主被写体についての全推論結果を記録し、全被写体の全推論結果を管理ファイルに記録しるようにしてもよい。
この場合、画像ファイルには、主被写体の代表的な推論結果をアノテーション情報４１１に記録し、主被写体の全推論結果をアノテーション情報４１２に記録するようにするとよい。この場合の代表的な推論結果については、信頼度が最も高い推論結果であるかどうかによって判断するとよい。

また、画像ファイル内のアノテーション情報４１２や、管理ファイル内のアノテーション情報４１３には、全推論結果を記録せずに、アノテーション情報４１１やアノテーション情報４１２との差分のみを記録するようにしてもよい。また、信頼度や主被写体であるか等で判断せずに、推論結果のうちの予め決められた項目を代表的な推論結果としてもよい。例えば、代表的な推論結果を、被写体が人物であるか、動物であるかなどを示す情報とし、その他の推論結果は、被写体の個人名、性別、年齢等の情報として、予め決めておいてもよい。

次に、図３を参照して、実施形態に対応するデジタルカメラ１００の再生処理について説明する。該フローチャートに対応する処理は、例えば、システム制御部５０Ａが対応するプログラム（不揮発性メモリ５１等に格納）を実行、デジタルカメラ１００の各機能ブロックを制御することにより実現できる。

デジタルカメラ１００では、操作部６３に含まれるモード切替スイッチで再生モードが指示されると、外部記録媒体９１に記録されている画像データを閲覧する再生処理が開始される。再生処理が開始されると、Ｓ３０１において、再生すべき１つの画像ファイルを特定し、カードコントローラ９０を介して外部記録媒体９１からメモリ２５に読み込む。

Ｓ３０２において、画像処理部２０により、メモリ２５に読み出した画像ファイルに対して、記録方式に応じて伸長処理やリサイズ処理などを行い、表示用画像データに変換して画像表示メモリ２４に記録し、表示部２３で再生する。

Ｓ３０３において、メタデータ生成・解析部７０は、現在再生中の画像ファイルの推論結果が管理ファイル４２０に記録済みかを確認する。記録済みであれば、Ｓ３０４に進み、記録済みでなければＳ３１２に進む。Ｓ３０４において、ユーザから操作部６３に含まれる操作部材を用いて、画像ファイルに記録済みの推論結果を表示するよう指示があれば、Ｓ３０５に進み、指示が無ければＳ３１０に進む。

Ｓ３０５において、メタデータ生成・解析部７０は、管理ファイル４２０を解析し、管理情報４２１のうちから現在再生中の画像ファイルの管理情報を特定し、アノテーション情報４２３を取得してＳ３０６に進む。Ｓ３０６において、メタデータ生成・解析部７０は、アノテーション情報４２３から推論結果に関する情報を抽出し、画像処理部２０を用いて抽出した情報を再生中の画像データに重畳し、表示する。例えば、アノテーション情報４２３に記載されている被写体毎の座標領域を示す枠とともに、その座標領域内の被写体を分類した推論結果を文字列で併せて表示することで、画像データに関連づけられた推論結果をユーザが目視できるように表示する。その後、処理はＳ３１０に進む。

Ｓ３０７では、Ｓ２０６と同様の処理を行ってS３０８に進む。S３０８では、S２０７と同様に、Ｓ３０７で取得した推論結果である被写体の分類結果を、第１の推論結果と、第１の推論結果以外の第２の推論結果とに分類し、第１の推論結果を画像ファイル４１０に記録した後、Ｓ３０９に進む。Ｓ３０９では、Ｓ２０８と同様に、第１の推論結果に分類されなかった第２の推論結果、画像情報、推論モデル管理情報等を、画像ファイル４１０とは異なるファイルである管理ファイル４２０に記録する。このとき、第１の推論結果も含めて管理ファイルに記録する。その後、処理はＳ３１０に移行する。

Ｓ３１０において、操作部６３に含まれる操作部材を用いて、他の画像の再生指示がされた場合は、Ｓ３０１に戻って、指示された再生画像について上述した処理を繰り返す。一方、他の画像の再生指示がされなかった場合は、Ｓ３１１において再生処理の終了が指示されたかどうかを判断し、再生処理の終了が指示されなければＳ３０３に戻って上述した処理を繰り返し、再生処理の終了が指示されると再生処理を終了する。

本実施形態では、画像ファイル４１０に代表的な推論結果である第１の推論結果のみを記録することで、推論結果を表示する際のメタデータ生成・解析部７０の処理が少なくなり、処理の高速化が可能となる。より詳細な推論結果が必要な場合、管理ファイル４２０を使用することができる。管理ファイル４２０には複数の画像ファイルの管理情報４２１が記録されているため、メタデータ生成・解析部７０は一つの管理ファイル４２０の解析で、複数の画像ファイルの推論結果を一度に取得し、使用することができる。

次に、図５を参照して、本実施形態におけるデジタルカメラ１００の送信処理について説明する。ここでは、送信前の画像ファイルは、上述した画像ファイル４１０の形式で記録されており、管理ファイル４２０も記録されている場合を例にとって説明する。

操作部６３に含まれる操作部材を用いて送信が指示されると、図５のフローチャートに示す送信処理が開始される。送信の指示は、一つまたは複数の画像ファイルを対象として選択して送信を開始しても良いし、予め撮像時に自動送信する設定を行っておき、画像ファイルが生成されたことをトリガーに送信を開始しても良い。ここでは、送信前の画像ファイルとして、上述した図４（Ｂ）の画像ファイル４１０、図４（Ｃ）の管理ファイル４２０のような形式で記録されている場合を例にとって説明する。図５のフローチャートに対応する処理は、例えば、システム制御部５０Ａが対応するプログラム（不揮発性メモリ５１等に格納）を実行、デジタルカメラ１００の各機能ブロックを制御することにより実現できる。

図５において、Ｓ５０１では、デジタルカメラ１００の通信部７１Ａを通じて外部表示装置１０２にシステム情報を要求し、外部表示装置１０２はシステム制御部５０Ｃから通信部７１Ｃを介してデジタルカメラ１００にシステム情報を送信する。これによりデジタルカメラ１００は外部表示装置１０２のシステム情報を取得することができる。その後、処理はＳ５０２に進む。

Ｓ５０２において、システム制御部５０Ａは、外部表示装置１０２への送信方法を決定する。送信方法の具体的な例としては、Ｗｉ－ＦｉやＢｌｕｅＴｏｏｔｈ（登録商標）などの無線送信、イーサネットケーブルやＵＳＢケーブルによる有線送信、ＳＤカードなどのリムーバブルメディアによる送信などがある。送信方法の決定方法としては、複数の送信方法を利用可能である場合は、操作部６３に含まれる操作部材によりユーザが設定したものを送信方法としても良いし、外部装置１０１とデジタルカメラ１００との接続状態から判断しても良い。単独の送信方法のみを利用可能である場合は、その送信方法を決定しても良い。

続くＳ５０３では、システム制御部５０Ａは、Ｓ５０１で取得した外部表示装置１０２のシステム情報から、外部表示装置１０２が管理ファイル４２０を利用可能であるかを判定する。管理ファイル４２０は、上述のようにExif規格等で公開されていない製造メーカ独自の記述形式で記録されるため、特定のアプリケーション或いはウェブサービスでしか参照することができない。ここで外部表示装置１０２がタブレット端末であり、かつ、当該タブレット端末にデジタルカメラ１００の製造メーカが提供するアプリケーション、或いは、それと互換性のあるアプリケーションがインストールされている場合を想定する。この場合、当該アプリケーションを利用してデジタルカメラ１００と外部表示装置１０２が接続され、外部表示装置１０２から提供されるシステム情報には当該アプリケーションがインストール済みであることを示す情報が含まれる。管理ファイル４２０は、当該アプリケーションを用いることで参照が可能となるため、アプリケーションがインストール済みであれば、管理ファイル４２０を利用可能（参照可能）と判定することができる。

上記に追加して、管理ファイル４２０を利用可能であるかの判定は、デジタルカメラ１００から所定の通信コマンド（例えば、製造メーカ固有の通信コマンド）を外部表示装置１０２に送信した際に応答が返されるかどうかに基づいて判定してもよい。更には、受信したシステム情報に基づき、ユーザ登録がされているかどうか、或いは、課金済みであるかの情報などに基づいて判断してもよい。ユーザ登録に関しては、デジタルカメラ１００のユーザ情報と比較し、ユーザ情報と一致する場合にのみ管理ファイル４２０を利用可能と判定してもよい。これは、第三者がデジタルカメラ１００を不正利用するために製造メーカ提供のアプリケーション等を利用してアクセスするような場合に、管理ファイル４２０を保護するのに役立つ。

管理ファイル４２０を利用可能であると判定した場合、処理はＳ５０４に進み管理ファイル４２０の送信処理を実行する。一方、利用可能でない場合は、当該送信処理をスキップしてＳ５０５に進む。

続くＳ５０４において、システム制御部５０Ａは通信部７１Ａを介して、Ｓ５０２で決定された外部表示装置１０２への送信方法により対象の管理ファイルの送信処理を行い、その後処理はＳ５０５に進む。外部表示装置１０２は通信部７１Ｃから受信した管理ファイルをメタデータ解析部７５でＳ５０２と同様に解析することで、推論結果を表示部２３Ｃに表示することができる。Ｓ５０５において、Ｓ５０２で決定された送信方法により、対象の画像ファイルの送信処理を行い、処理を終了する。

このように上述の送信処理では、特定の送信先のみに管理ファイルを送信することで、不特定な送信先へのノウハウや資産（コストをかけて作成したデータ）の流出を防ぐことができる。
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

デジタルカメラ：１００、外部装置：１０１、外部表示装置１０２

Claims (21)

1. 画像から、被写体を検出する検出手段と、
   検出された前記被写体を推論処理により分類する処理手段と、
   前記画像の画像データと、前記推論処理の第１の推論結果と、を含む画像ファイルを生成して記録媒体に記録する生成手段と、
   前記画像ファイルを特定するための情報と、前記推論処理の第２の推論結果とを含む管理情報を、前記画像ファイルとは異なる管理ファイルであって、前記記録媒体に記録される管理ファイルに保存する保存手段と、
   を有する、画像処理装置。
2. 前記第１の推論結果は前記推論処理による推論結果のうちの所定の推論結果であり、前記第２の推論結果は前記推論処理による推論結果のうち、前記第１の推論結果以外の推論結果である、請求項１に記載の画像処理装置。
3. 前記第１の推論結果は前記推論処理による推論結果から所定の基準に従って選択された推論結果であり、前記第２の推論結果は前記推論処理による推論結果のうち、前記第１の推論結果以外の推論結果である、請求項２に記載の画像処理装置。
4. 前記第１の推論結果は、前記画像ファイル内に所定の規格の形式で記録され、
   前記管理ファイルは、前記画像処理装置の製造メーカ独自の記録フォーマットのファイルである、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記管理情報は、前記処理手段が前記推論処理のために用いる推論モデルの情報を更に含む、請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記所定の基準は、前記推論結果の信頼度が最も高いことである、請求項３に記載の画像処理装置。
7. 前記信頼度は、前記推論処理の対象となった画像における被写体の撮像条件に少なくとも部分的に基づいて判定され、
   前記被写体の分類に適した撮像条件において撮像された被写体ほど、信頼度が高いと判定される、請求項６に記載の画像処理装置。
8. 前記撮像条件は、前記被写体の被写体領域の大きさ、前記被写体のブレ、前記被写体が他の被写体により隠されているかどうか、前記被写体が見切れていないかどうか、撮像時の露出、明るさのうち、少なくともいずれかを含む、請求項７に記載の画像処理装置。
9. 前記所定の基準は、前記検出された被写体のうち主被写体に対する前記推論処理の推論結果であることである、請求項３、６から８のいずれか１項に記載の画像処理装置。
10. 前記主被写体は前記検出された被写体のうちから、前記画像における、被写体領域の大きさ、前記被写体の特定部位の大きさ、及び、前記被写体の前記画像の中心位置からのずれ量のうち、少なくともいずれかに基づいて決定される、請求項９に記載の画像処理装置。
11. 前記主被写体は、前記画像において指定された範囲で検出された被写体である、請求項９に記載の画像処理装置。
12. 前記画像ファイルは、
    前記主被写体の前記第１の推論結果を、所定の規格の形式に従うデータ領域に保持し、
    前記検出された被写体のうち前記主被写体以外の他の被写体の前記第１の推論結果を、前記画像処理装置の製造メーカ独自の形式に従うデータ領域に保持する、請求項９から１１のいずれか１項に記載の画像処理装置。
13. 前記管理情報は、前記第１の推論結果を更に含む、請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記管理ファイルは、複数の画像ファイルのそれぞれと関連付けられた前記管理情報を含む、請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記画像処理装置と接続された外部表示装置が前記管理ファイルを利用可能であるかを判定する判定手段と、
    前記画像ファイルを前記外部表示装置に送信する送信手段と
    を更に有し、
    前記判定手段により前記外部表示装置が前記管理ファイルを利用可能であると判定された場合に、前記送信手段は、前記画像ファイルと、前記管理ファイルとを前記外部表示装置に送信し、
    前記判定手段により前記外部表示装置が前記管理ファイルを利用可能でないと判定された場合に、前記送信手段は、前記画像ファイルのみを前記外部表示装置に送信する、
    請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記判定手段は、前記外部表示装置が、前記管理ファイルを参照可能な所定のソフトウェアを利用する場合に、前記管理ファイルを利用可能と判定する、請求項１５に記載の画像処理装置。
17. 前記判定手段は、前記外部表示装置が所定のコマンドに対する応答を返した場合に、前記管理ファイルを利用可能と判定する、請求項１５に記載の画像処理装置。
18. 前記判定手段は、前記外部表示装置において所定のユーザ登録がなされている場合に、前記管理ファイルを利用可能と判定する、請求項１５に記載の画像処理装置。
19. 前記画像を撮像する撮像手段と、
    請求項１乃至１８のいずれか１項に記載の画像処理装置と
    を有することを特徴とする撮像装置。
20. 検出手段が、画像から被写体を検出する検出工程と、
    処理手段が、検出された前記被写体を推論処理により分類する処理工程と、
    生成手段が、前記画像の画像データと、前記推論処理の第１の推論結果と、を含む画像ファイルを生成して記録媒体に記録する生成工程と、
    保存手段が、前記画像ファイルを特定するための情報と、前記推論処理の第２の推論結果とを含む管理情報を、前記画像ファイルとは異なる管理ファイルであって、前記記録媒体に記録される管理ファイルに保存する保存工程と、
    を含む、画像処理装置の制御方法。
21. コンピュータを、請求項１乃至１８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images