JP2010028199A - 撮像装置、画像編集装置及び画像編集プログラム - Google Patents

Abstract

【課題】 数多くの画像を用いた画像検索や加工・編集処理を実行する場合の作業を効率的に行う。
【解決手段】 取得された画像データを用いて被写体及び該被写体の領域を示す被写体情報を取得する情報取得手段と、少なくとも被写体の領域における特性情報を検出する特性検出手段と、被写体情報と特性情報とを関連付けて画像データに付帯する付帯手段と、被写体情報と特性情報とが付帯された画像データを記憶する記憶手段と、を備えたことを特徴とする。
【選択図】 図１

Description

本発明は、撮像により得られた画像データを記録する撮像装置や、この撮像装置によって得られた画像データを用いて加工、編集等を行う画像編集装置及び画像編集プログラムに関する。

従来、デジタルカメラ等においては、取得された複数の画像の縮小画像（サムネイル画像）をデジタルカメラに設けられたＬＣＤモニタに表示し、ユーザの意図する原画像を表示することが一般的である。この表示により、ユーザは意図する画像を保存或いは消去するなど、画像を選択することができる。

最近では、取得された画像データに対して、加工・編集処理を実行可能な画像編集装置が提案されている（例えば特許文献１参照）。この画像編集装置においては、例えば複数の画像データを１画像データ毎に加工・編集処理を実行し、処理後の画像データを表示するようにしている。
特開２０００−１５１９７４号公報

しかしながら、ユーザが意図する画像の検索（以下、画像検索）や、画像検索によって得られた画像に対して加工・編集処理を行う場合には、全ての画像から、ユーザの意図する画像であるか否かを確認する必要があることから、数多くの画像を用いた画像検索や加工・編集処理を実行する場合の作業を効率的に行うことは困難である。

本発明は、上述した課題を解決するために発明されたものであり、被写体に関する情報を画像データの付帯情報として記憶できる撮像装置を提供することを目的とする。また、撮像装置において取得された画像データの付帯情報を利用して容易に画像検索や画像編集を行うことができるようにした画像編集装置及び画像編集プログラムを提供することを目的とする。

第１の発明の撮像装置は、取得された画像データを用いて被写体及び該被写体の領域を示す被写体情報を取得する情報取得手段と、少なくとも前記被写体の領域における特性情報を検出する特性検出手段と、前記被写体情報と前記特性情報とを関連付けて前記画像データに付帯する付帯手段と、前記被写体情報と前記特性情報とが付帯された画像データを記憶する記憶手段と、を備えたことを特徴とする。

第２の発明は、第１の発明において、前記特性検出手段は、撮像時の画面範囲を格子状に分割することで得られる複数の領域のうち、前記被写体の領域に合致する領域のデフォーカス情報を前記特性情報として検出することを特徴とする。

第３の発明は、第２の発明において、前記特性検出手段は、前記デフォーカス情報の他に、前記被写体の領域におけるノイズ情報を前記特性情報として検出することを特徴とする。

第４の発明の画像編集装置は、画像データを取得するデータ取得手段と、前記画像データを用いて被写体及び該被写体の領域を示す被写体情報を取得する情報取得手段と、前記被写体の領域における特性情報を検出する特性検出手段と、前記被写体情報と前記特性情報とを関連付けて前記画像データに付帯する付帯手段と、前記被写体情報と前記特性情報とが付帯された画像データを記憶する記憶手段と、を備えたことを特徴とする。

第５の発明は、第４の発明において、前記画像データは、撮像時の画面範囲を格子状に分割した複数の領域のそれぞれにおけるデフォーカス情報を付帯しており、前記特性検出手段は、複数の領域に対するデフォーカス情報から、前記被写体の領域に該当するデフォーカス情報を前記特性情報として検出することを特徴とする。

第６の発明は、第５の発明において、前記特性検出手段は、前記デフォーカス情報の他に、前記被写体の領域におけるノイズ量を前記特性情報として検出することを特徴とする。

第７の発明は、第４〜６の発明のいずれかにおいて、被写体を指定する際に操作される入力操作手段と、前記記憶手段に記憶された画像データから、前記指定された被写体が存在する画像データを抽出するデータ抽出手段と、を備えていることを特徴とする。

第８の発明は、第７の発明において、前記データ抽出手段によって抽出された画像データに付帯された特性情報から、画像補正時のパラメータを設定するパラメータ設定手段と、前記処理パラメータを用いて前記画像データに対する画像補正を行う画像補正手段と、を備えていることを特徴とする。

第９の発明は、第８の発明において、前記パラメータ設定手段は、前記入力操作手段によって指定された被写体以外の被写体の領域に対する画像補正時のパラメータを、該当する被写体に対する特性情報と、前記指定された被写体の特性情報とを用いて設定することを特徴とする。

第１０の発明は、第８又は第９の発明において、前記画像補正手段により補正された画像データに基づく画像において、画質破綻が生じている領域があるか否かを判定する判定手段と、前記画質破綻が生じている領域があると判定された場合に、前記画像におけるクロップ領域を設定する領域設定手段と、を備えていることを特徴とする。

第１１の発明の画像編集プログラムは、取得された画像データから、被写体及び該被写体の領域を示す被写体情報を取得するステップと、前記被写体の領域における特性情報を検出するステップと、前記被写体情報と前記特性情報とを関連付けて前記画像データに付帯するステップと、前記被写体情報と前記特性情報とが付帯された画像データを記憶するステップと、をコンピュータで実現させることを特徴とする。

本発明の記憶装置によれば、画像の取得時に被写体情報及び特性情報を取得するので、これら情報から容易に画像補正時のパラメータを自動的に算出することができ、従来では画像補正時に画像を見ながら適正な画像補正を行う作業を省略することで効率的な加工・編集作業を行うことができる。

また、本発明の画像編集装置や画像編集プログラムによれば、画像の取得時に得られる被写体情報及び特性情報から画像補正時のパラメータを容易に算出することができるので、画像を見ながら適正な画像補正をユーザが指定しなくとも、自動的に効率的な編集作業を行うことができる。

図１はデジタルカメラ１０の構成の一例を示す概略図である。デジタルカメラ１０はカメラ本体１１とレンズ鏡胴１２とから構成され、レンズ鏡胴１２がカメラ本体１１に対して着脱可能となっている。レンズ鏡胴１２の内部には撮像光学系１３が配置される。この撮像光学系１３を構成するズームレンズやフォーカスレンズは、レンズ鏡胴１２をカメラ本体１１に取り付けたときに、カメラ本体１１に設けられたレンズ駆動部１５によって、光軸Ｌに沿って移動制御される。

カメラ本体１１の内部には、撮影機構として、ミラーボックス２０、フォーカルプレーンシャッタ２１、例えばＣＣＤ等の撮像素子２２が光軸Ｌに沿って配置される。

ミラーボックス２０の内部には、クイックリターンミラー２５と、このクイックリターンミラー２５の背面に付設されたサブミラー２６とが配置される。クイックリターンミラー２５は、その中央部が光を透過するハーフミラーになっている。このクイックリターンミラー２５は図中実線で示す観察位置と、図中点線で示す退避位置との間で切り替え可能である。なお、符号２７はミラー駆動部であり、ミラー駆動部２７によって、クイックリターンミラー２５が観察位置と退避位置との間で切り替えられる。

例えば、クイックリターンミラー２５が観察位置にあるときには、クイックリターンミラー２５がフォーカルプレーンシャッタ２１及び撮像素子２２の前方で傾斜しており、撮像光学系１２から撮像素子２２までの撮像光路に対して交差した状態にある。この状態では、撮像光学系１２を通過した光束のうち、クイックリターンミラー２５の中央部に到達する光束のみがクイックリターンミラー２５を透過し、サブミラー２６に導かれる。サブミラー２６へと導かれた光束は、サブミラー２６にて下方に反射され、後述するＡＦセンサ３０に導かれる。一方、クイックリターンミラー２５を透過しない残りの光束は、クイックリターンミラー２５により上方に反射される。

また、クイックリターンミラー２５が退避位置にあるときには、クイックリターンミラー２５は観察位置から上方に跳ね上げられることから、撮像光路から外れる。クイックリターンミラー２５が退避位置にある場合には、撮像光学系１３を通過した光束はフォーカルプレーンシャッタ２１及び撮像素子２２に導かれる。

カメラ本体１１には、ＡＦ（オートフォーカス）センサ３０、ＡＦ用補助光源３１がさらに配置される。ＡＦセンサ３０は、撮像光学系１３における焦点状態を検出するものである。図２に示すように、ＡＦセンサ３０は、撮像素子２２の撮像範囲と同一の大きさからなる受光面３０ａを備えている。このＡＦセンサ３０の受光面３０ａを例えば縦５個×横５個の計２５個の領域（図２中符号３５〜５９）に分割し、それら分割された領域のそれぞれを、焦点状態の測定（フォーカス測定）を行う領域（ＡＦエリア）としている。図２においては、各ＡＦエリアの中心を＋印で示してある。例えばフォーカス制御時の焦点評価領域を指定せずにオートフォーカス制御（自動合焦動作）を行う場合、レリーズボタンが半押し操作されると、焦点評価領域として中央のＡＦエリア４７が指定される。一方、ユーザが焦点評価領域を指定してオートフォーカス制御を行う場合には、焦点評価領域として、ユーザによる操作部７１の操作時に選択されたＡＦエリアが指定される。

また、レリーズボタンが全押し操作されたときには、上述した２５個のＡＦエリア３５〜５９の全てでフォーカス測定される。なお、フォーカス測定の結果は、メモリ７７に記憶される。

図１に戻って、ミラーボックス２０の上方には、焦点光学系として、焦点板６５と、コンデンサレンズ６６と、ペンタプリズム６７と、接眼レンズ６８とが配置される。焦点板６５は、観察位置にあるクイックリターンミラー２５で反射された光束を一旦結像させる。焦点板６５上で結像した光束はコンデンサレンズ６６およびペンタプリズム６７を通過し、ペンタプリズム６７の入射面に対して９０°偏向した射出面からカメラ本体１１の後方に導かれ、接眼レンズ６８を介してファインダを覗くユーザの眼に投影される。上述した焦点板６５上で結像した光束の一部は、コンデンサレンズ６６およびペンタプリズム６７を通過した後、ペンタプリズム６７の近傍に設けられたＡＥセンサ６９に導かれ、被写体の輝度値の測定を行う。

液晶モニタ７０はカメラ本体１１の背面に設けられ、画像表示の他に、操作メニューや設定内容などが表示される。操作部７１は、撮像時の設定や、画像表示などの際に操作される。なお、この操作部７１は、上述したレリーズボタンを含んで構成される。メモリカードには、後述する画像処理部７６において記憶保存用の画像データに画像処理された画像データＩＤが記憶される。このメモリカード８０に記憶される画像データＩＤは、後述する被写体情報や特性情報を付帯情報とした画像データＩＤである。

このデジタルカメラ１０は、制御部７５によって統括的に制御される。制御部７５は、予め記憶されたプログラムに基づいて、カメラ本体１１の各部の動作を制御する。カメラ本体１１の各部の動作としては、例えば、使用するフォーカスモードやＡＦエリアの設定、ＡＦ演算やＡＥ演算、液晶モニタ７０の表示制御、レンズ駆動部１５の制御、ミラー駆動部２７の制御などが挙げられる。

画像処理部７６は、撮像素子２２の出力に基づいた画像データＩＤに対して、輪郭補償、ガンマ補正、ホワイトバランス調整等の処理を行う。この画像処理部７６によって画像処理された画像データＩＤは、メモリ７７に記憶される。

被写体情報取得部７８は、画像データＩＤから被写体を検出する。被写体を検出する方法としては、例えば被写体が人物である場合には、画像データＩＤから目、口などの特徴量を求めることで顔検出を行い、被写体を検出することが挙げられる。被写体を検出する方法としては、人物、動物、植物の他に、ランドマーク等の基準パターンを予め記録させておき、この基準パターンを用いたパターンマッチングにより被写体を検出する方法が挙げられる。

被写体情報取得部７８は、画像データＩＤから被写体が検出されたときに、検出された被写体の領域（以下、被写体領域）を特定する。図３に示すように、例えば画像範囲９０を、ＡＦエリアに対応した縦５個×横５個の計２５個の領域Ａ１〜Ａ２５に分割し、画像Ｐ１から検出された被写体が該当する領域を被写体領域として特定する。なお、図３においては、図の煩雑さを解消するために、撮像された画像Ｐ１と、複数の領域に分割される画像範囲９０とを別個に示している。なお、本実施形態では、画像範囲９０を分割して得られる複数の領域のそれぞれの領域は、ＡＦエリアの各エリアと対応している。

例えば撮像された画像Ｐ１から被写体として人物Ｘ、人物Ｙが検出された場合には、人物Ｘの被写体領域は、領域Ａ１２，Ａ１７，Ａ２２となり、人物Ｙの被写体領域は領域Ａ１３，Ａ１８，Ａ２３となる。この被写体情報取得部７８において、被写体（特徴量を含む）が検出され、被写体領域が特定されると、制御部７５は、これらを被写体情報として画像データＩＤに付帯する。これと同時に、制御部７５は、特定された被写体領域に対応するＡＦエリアのデフォーカス量を特性情報の一つとして画像データＩＤに付帯する。なお、画像データに付帯されるデフォーカス量は、被写体領域に対応するＡＦエリアのデフォーカス量としているが、全ＡＦエリアのそれぞれのエリアにおけるデフォーカス量を特性情報として付帯してもよい。

ノイズ量算出部７９は、被写体領域検出部７８において検出された被写体領域におけるノイズ量を算出する。図３に示すように、人物Ｘの被写体領域が領域Ａ１２，Ａ１７，Ａ２２となる場合には、領域Ａ１２，Ａ１７，Ａ２２におけるノイズ量をそれぞれ算出する。なお、ノイズ量の算出方法としては、以下の方法が挙げられる。

自動露出（ＡＥ）制御時の動作は、測光データに基づいて、絞り、シャッタ速度、画像データの増幅率を適応的に変化させることで実現される。また、個別領域毎の自動露出制御を行う場合には、個別領域の画像データを適応的に増幅することもできる。本実施形態では、例えば画像データの増幅率を用いてノイズ量を算出する。つまり、画像データの増幅率が大きければ大きいほど、ノイズ量が多いと判断する。この場合、予め増幅率とノイズ量とを対応付けたテーブルデータを予め用意しておけばよい。この他に、例えば撮像素子の温度が高いとノイズ量が大きくなることがわかっていることから、撮像時における撮像素子の温度を検出して、検出された温度からノイズ量を求めることも可能である。

なお、このノイズ量算出部７９にて算出された各被写体領域のノイズ量は、それぞれ特性情報の一つとして画像データＩＤに付帯される。

次に、撮像時の操作の流れを図４のフローチャートに基づいて説明する。デジタルカメラ１０における撮像処理は以下の手順で実行される。

ステップＳ３０１：ユーザは、デジタルカメラ１０の撮像光学系１３を被写体に向け、操作部７１のレリーズボタンを半押しする。

ステップＳ３０２：レリーズボタンの半押し時に得られるＡＥセンサ６９の輝度値情報を用いて、制御部７５は、被写体の明るさを判断する。この判断において、被写体が暗い（輝度値が所定値より低い）場合、ＡＦ用補助光源３１を投光させる。一方、被写体が十分に明るい（輝度値が所定値より高い）と判断した場合は、ＡＦ用補助光源３１を投光させる処理は省略される。

ステップＳ３０３：レリーズボタンを半押しした状態で、制御部７５は、前述のようにＡＦセンサ３０の予め指定したＡＦエリアからデフォーカス量を取り込んで、撮像光学系１３のフォーカスレンズにおける合焦位置を求める。例えば、焦点評価領域を指定せずにオートフォーカス制御を行う場合には、例えば図２に示すＡＦエリア４７におけるデフォーカス量が取り込まれる。一方、マニュアルでフォーカス制御を行う場合には、ユーザが選択したＡＦエリアにおけるデフォーカス量を取り込んで、撮像光学系１３における合焦位置を求める。

ステップＳ３０４：制御部７５は、ステップＳ３０３で求めた合焦位置に撮像光学系１３を合わせるように、レンズ駆動部１５に指令する。

ステップＳ３０５：レンズ駆動部１５により、撮像光学系１３のフォーカスレンズを合焦位置に移動させ、フォーカスを固定する。すなわち、レリーズボタンの半押し状態が維持されている間は撮像光学系１３のフォーカスレンズの位置が固定され焦点状態が維持されている（フォーカスロック）。なお、フォーカスロック後は、レリーズボタンの半押状態が解除され、再度レリーズボタンが半押しされるまで撮像光学系１３のフォーカスレンズにおける焦点調節動作は行われない。

ステップＳ３０６：ユーザは、レリーズボタンを半押ししたままデジタルカメラ１０を左右上下に動かして構図を修正する。なお、構図を修正しない場合には、このステップＳ３０６は省略される。

ステップＳ３０７：ユーザは、半押ししていたレリーズボタンをそのまま全押しして撮像動作を行う。レリーズボタンが全押し操作されると、制御部７５は、操作部７１のレリーズボタンが全押しされたことを認識する。

ステップＳ３０８：レリーズボタンの全押し操作が認識されると、ステップＳ３０２と同様に、被写体が暗い（輝度値が所定値より低い）と判断した場合、ＡＦ用補助光源３１を投光させる。

ステップＳ３０９：制御部７５は、ＡＦセンサ３０の全ＡＦエリアからデフォーカス量を取り込んで、メモリ７７に記憶する。ＡＦ補助光源３１が投光されている場合は、ＡＦセンサ３０によるデフォーカス量の取得が終了した後にＡＦ補助光源３１を消灯する。

ステップＳ３１０：制御部７５は、ミラー駆動部２７に指令して、ミラーボックス２０のクイックリターンミラー２５およびサブミラー２６を退避位置に移動させる。

ステップＳ３１１：制御部７５は、フォーカルプレーンシャッタ２１を所定のシャッタ速度で開く。このフォーカルプレーンシャッタ２１が開いたときに、撮像素子２２にて光電変換された画像信号を、メモリ７７に記憶する。その後、メモリ７７に記憶された画像データＩＤは画像処理部７６によって画像処理され、画像処理された後の画像データＩＤがメモリ７７に記憶される。

ステップＳ３１２：制御部７５は、フォーカルプレーンシャッタ２１を閉じると共に、ミラー駆動部２７に指令して、ミラーボックス２０のクイックリターンミラー２５およびサブミラー２６を待避位置から観察位置に復帰させる。

ステップＳ３１３：被写体情報取得部７８を制御して、記憶された画像データＩＤから被写体を検出する。被写体を検出した後、被写体領域が特定される。図３に示すように、画像Ｐ１から検出された被写体が人物Ｘ，人物Ｙとすると、これら人物Ｘ、人物Ｙの被写体領域を特定する。画像範囲９０をＡＦエリアのそれぞれに対応するように、複数の領域Ａ１〜Ａ２５に分割した場合、人物Ｘの被写体領域は領域Ａ１２，Ａ１７，Ａ２２、人物Ｙの被写体領域は、領域Ａ１３，Ａ１８，Ａ２３となる。

ステップＳ３１４：ステップＳ３１３において特定された被写体領域のそれぞれについてノイズ量を算出する。このステップＳ３１４の処理は、例えば予め増幅率とノイズ量とを対応付けたテーブルデータを用いて、画像データの増幅率に対応するノイズ量を求める。

ステップＳ３１５：制御部７５は、ステップＳ３０９にて求めたそれぞれのＡＦエリアのデフォーカス量と、ステップＳ３１４にて算出したノイズ量とを、特性情報として画像データＩＤに付帯する。これと同時に、制御部７５は、ステップＳ３１３にて検出された被写体の特徴量や被写体領域を被写体情報として画像データＩＤに付帯する。

以上の撮像動作を終了して、再び、撮像待機状態に戻る。このようにして、撮像される毎に、被写体の検出、被写体領域の特定、ノイズ量の算出が行われ、これら情報が画像データＩＤに付帯されていく。なお、上述した特性情報や被写体情報が付帯された画像データＩＤは、メモリカード８０に記憶される。

尚、上記のフローチャートでは、ステップＳ３０７でレリーズボタンを全押し操作してから撮影動作が終了するまでの処理を細かく分けて説明したが、実際には、ステップＳ３０７からＳ３１５までの動作は、非常に短い時間内に行われる。

次に、上述した撮像処理が行われることで得られた画像データＩＤを編集する場合について説明する。図５は、画像編集装置１００の構成を示す概略図である。なお、図５においては、メモリカード８０をメモリスロット１１５に挿入することで画像データＩＤを読み出すことができる画像編集装置１００としているが、上述したデジタルカメラ１０と画像編集装置１００とをＵＳＢケーブル等の接続手段を用いて電気的に接続し、メモリカード８０に記憶された画像データＩＤを画像編集装置１００にて読み出すようにしてもよい。

画像編集装置１００は、ＣＰＵ１０１、データ処理部１０２、データベース１０３、ＬＣＤモニタ１０４等を備えており、これらがバス１０５によって接続されている。ＣＰＵ１０１は、予め記憶されたプログラムに基づいて画像編集装置１００の各部を制御する。このＣＰＵ１０１はプログラムを実行することで、被写体情報取得部１１０、ノイズ量算出部１１１、被写体特定部１１２及び画像抽出部１１３として機能する。なお、被写体情報取得部１１０、ノイズ量検出部１１１については、図１に示す被写体情報取得部７８及びノイズ量検出部７９と同一の機能を有していることから、ここでは詳細については省略する。

被写体特定部１１２は、メモリスロット１１５に差し込まれたメモリカード８０から画像データＩＤを読み出し、画像データＩＤに付帯された被写体情報から、画像内に含まれる被写体を特定する。この被写体の特定は、データベース１０３に格納された基本データ１１６を用いて実行される。基本データ１１６は、名称（氏名や通称など）と、名称を示す画像データや特徴量を示すデータが対応付けられたデータである。なお、データベース１０３には、人物、人物を除く動物、植物、昆虫、ランドマークなどが、それぞれ分類されている。つまり、基本データが人物を示す場合には、画像データとして顔画像データが挙げられ、特徴量としては、目、口、顔の輪郭などが挙げられる。また、対象が人物を除く動物、植物、昆虫及びランドマークとなる場合には、顔画像データの代わりに、これら対象を特定できる画像データが用いられる。被写体特定部１１２は、被写体情報から被写体の特徴量を読み出し、基本データの特徴量と比較することで、該当する被写体の特定、つまり、被写体の名称（氏名や正式名称など）が特定される。なお、特定された被写体の名称は、画像データＩＤに付帯された被写体情報に書き加えられる。

画像抽出部１１３は、データベース１０３に記憶された画像データＩＤに付帯された被写体情報を参照しながら、指定された被写体（例えば人物の氏名など）が含まれる画像データＩＤを検索する。なお、被写体の指定は、例えばユーザが操作部１１６を操作することで実行可能となる。入力された被写体の種類に該当する画像データＩＤがある場合には、その画像データＩＤのデータ名をメモリ１２５に記憶する。

データ処理部１０２は、データベース１０３に記憶された画像データＩＤから指定された画像データＩＤが検索された場合に、検索された画像データＩＤに対して画像補正を行う。このデータ処理部１０２は、ハイパスフィルタ１２０、コアリング回路１２１、調整回路１２２及び加算回路１２３を備えている。

ハイパスフィルタ１２０は、画像データＩＤにおける空間周波数のうち、予め設定された遮断周波数よりも低い周波数の帯域を遮断することで、遮断周波数よりも高い周波数を抽出する。コアリング回路１２１は、ハイパスフィルタ１２０によって高周波成分が抽出された画像データＩＤにおけるノイズ成分を除去する。調整回路１２２は、ハイパスフィルタ１２０における遮断周波数を調整する他に、コアリング回路１２１において除去対象となるノイズ成分の波長域を調整する。

加算回路１２３は、データ処理部１０２に入力された画像データＩＤに対して、ハイパスフィルタ１２０及びコアリング回路１２１によって高周波成分のみが抽出された画像データＩＤを加算する処理を行う。この加算回路１２３によって、遮断周波数以上の周波数成分が強調された画像データＩＤが生成される。なお、このデータ処理部１０２によって画像補正された画像データＩＤはメモリ１２５に記憶される。

ＬＣＤモニタ１０４は、入力画面を表示する、又は画像補正された画像データＩＤを用いた画像表示を行う。なお、符号１２６は表示制御部であり、この表示制御部１２６によってＬＣＤモニタ１０４の表示制御が実行される。データベース１０３は、画像データＩＤから検出された被写体の名称を特定するための基本データ１１６や、デジタルカメラ１０にて取得された画像データＩＤが格納される。操作部１２７は、意図する画像データＩＤを検索する際や、検出された画像データＩＤを選択する等の入力操作を行う。

次に、データベース１０３に画像データＩＤを記憶する際の手順について図６に示すフローチャートに基づいて説明する。メモリスロット１１５にメモリカード８０が差し込まれると、ステップＳ４０１の処理が開始される。

ステップＳ４０１：ＣＰＵ１０１は、メモリスロット１１５に差し込まれたメモリカード８０から画像データＩＤを取り込む。

ステップＳ４０２：ＣＰＵ１０１は、ステップＳ４０１の処理を行うことで取り込まれた画像データＩＤから付帯情報の読み取りを行う。

ステップＳ４０３：ＣＰＵ１０１は、ステップＳ４０２の処理で読み取られた画像データＩＤの付帯情報として被写体情報があるか否かを判定する。このステップＳ４０３において、付帯情報として被写体情報がないと判定された場合には、ステップＳ４０４に進む。一方、付帯情報として被写体情報があると判定された場合には、ステップＳ４０７に進む。

ステップＳ４０４：ステップＳ４０３において被写体情報が付帯情報にないと判定された場合の処理である。このステップＳ４０４においては、被写体情報取得部１１０により画像データＩＤから被写体が検出される。このステップＳ４０４の処理は、図４に示すフローチャートのステップＳ１１３の被写体を検出する処理と同様であるので、ここでは省略する。

ステップＳ４０５：ステップＳ４０４において被写体が検出された場合に、被写体領域を特定する処理である。このステップＳ４０５の処理は、ステップＳ４０４の処理と同様に被写体情報取得部１１０で実行される。図４に示すフローチャートのステップＳ１１３の被写体領域を特定する処理と同様であるので、ここでは省略する。

ステップＳ４０６：ステップＳ４０４の処理を実行したときに検出された被写体の特徴量、及びステップＳ４０５の処理を実行したときに得られる被写体領域を被写体情報として画像データＩＤに付帯する処理である。なお、被写体が検出されない場合には、ステップＳ４０５及びステップＳ４０６の処理は省略される。

ステップＳ４０７：ＣＰＵ１０１は、画像データＩＤの付帯情報に、特性情報があるか否かを判定する処理である。このステップＳ４０７において、付帯情報として特性情報がない場合にはステップＳ４０８に進む。一方、付帯情報として特性情報がある場合にはステップＳ４１０に進む。

ステップＳ４０８：ノイズ量算出部１１１は、被写体領域におけるノイズ量を算出する。この処理については、図４に示すフローチャートのステップＳ１１４の処理と同一であることから、その詳細を省略する。

ステップＳ４０９：ＣＰＵ１０１は、算出されたノイズ量を特性情報とする付帯情報を画像データＩＤに付帯する処理である。つまり、ステップＳ４０９の処理が実行されることで、画像データＩＤの付帯情報が更新される。

ステップＳ４１０：被写体特定部１１２は、画像データＩＤの被写体情報を用いて、被写体の特定を行う処理である。このステップＳ４１０を行うことで、画像から検出された被写体の名称が特定される。被写体の名称が特定されると、特定された名称が被写体情報に書き加えられ、画像データＩＤが更新される。

ステップＳ４１１：ＣＰＵ１０１は、ステップＳ４１０において更新された画像データＩＤをデータベース１０３に格納する。なお、この格納方法としては、例えば特定された名称と同一の名称の画像データが格納されている場合には、それら画像データと、新たに格納する画像データとを関連付けて格納される。これにより、データベース１０３が更新される。

次に、画像編集装置１００を用いて画像検索を行う手順について図７のフローチャートを用いて説明する。

ステップＳ５０１：ユーザが取得したい被写体の名称、つまり検索対象となる名称を入力する処理である。

ステップＳ５０２：画像抽出部１１３は、データベース１０３に格納された画像データＩＤから該当する画像データＩＤを抽出する。詳細には、画像抽出部１１３は、画像データＩＤに付帯された被写体情報を読み出し、ステップＳ５０１において入力された名称と合致するか否かによって対象となる画像データＩＤを抽出する。なお、入力された名称と合致する被写体を有する画像データＩＤがある場合には、その画像データＩＤのデータ名をメモリ１２５に記憶していく。

図８に示すように、例えば画像Ｐ１、Ｐ２、Ｐ３の３つの画像から対象となる画像を検索する際に人物Ｘの名称を入力した場合について説明すると、例えば、画像Ｐ１には、人物Ｘ、人物Ｙ及び花Ｚが被写体として検出されていることから、画像Ｐ１の画像データＩＤにおける被写体情報として、これら被写体の名称が記憶されている。同様にして、画像Ｐ２の場合は、被写体情報として人物Ｙ及び花Ｚの名称が、画像Ｐ３の場合には、被写体情報として花Ｚの名称が、それぞれ記憶されている。つまり、ステップＳ５０１において、人物Ｘの名称が入力されている場合には、対象となる画像として画像Ｐ１、Ｐ２が抽出される。

ステップＳ５０３：ステップＳ５０２における画像検索の結果を参照して、対象となる画像データＩＤがあるか否かを判定する処理である。この処理において、対象となる画像データＩＤがない場合には、ＬＣＤモニタ１０４に、対象となる画像データＩＤがない旨を示す表示を行い、画像検索を終了する。一方、対象となる画像データＩＤがある場合には、ステップＳ５０４に進む。

ステップＳ５０４：ＣＰＵ１０１は、対象となる画像データＩＤの付帯情報から、焦点情報を読み出す。なお、この焦点情報は、被写体領域におけるデフォーカス量である。図９に示すように、対象となる画像として画像Ｐ１が抽出された場合、画像Ｐ１は、被写体として人物Ｘ、人物Ｙ及び花Ｚとなるが、人物Ｘの画像データＩＤを検索している場合には、画像Ｐ１においては、人物Ｘの被写体領域がＡ１２、Ａ１７、Ａ２２となることから、デフォーカス量として、Ａ１２、Ａ１７、Ａ２２のデフォーカス量、つまり０．１、０．３、０．３が読み出される。

ステップＳ５０５：ＣＰＵ１０１は、ステップＳ５０４において読み出された被写体領域におけるデフォーカス量と、予め設定された閾値とを比較する。なお、ステップＳ５０１において入力された名称に対する画像データＩＤを検索することから、この比較においては、入力された名称に該当する被写体領域のデフォーカス量の平均値を閾値と比較することが挙げられる。

ステップＳ５０６：ステップＳ５０５における比較結果が被写体領域におけるデフォーカス量が閾値未満となる場合には、ステップＳ５０７に進む。一方、ステップＳ５０５における比較結果が被写体領域におけるデフォーカス量が閾値以上となる場合には、ステップＳ５１２に進む。つまり、デフォーカス量は、その値が大きくなるにしたがい、画像修復の効果が小さくなることから、デフォーカス量を閾値と比較することで、画像修復の効果が有益なものであるか否かの判断を行うことができる。なお、上述した閾値は、予め設定された閾値であってもよいし、検索時にユーザが設定できるようにしてもよい。

ステップＳ５０７：ＣＰＵ１０１は、画像データＩＤの付帯情報から特性情報を読み出す。なお、この特性情報とは、被写体領域におけるノイズ量である。例えば、図９において、人物Ｘの被写体領域がＡ１２，Ａ１７，Ａ２２となる場合には、各領域におけるノイズ量は、０．２、０．３、０．４となる。

ステップＳ５０８：ＣＰＵ１０１は、被写体領域におけるデフォーカス量とノイズ量とに基づいて、画像補正を行う際のパラメータを設定する。ステップＳ５０５においてデフォーカス量の平均値を求めていることから、デフォーカス量の平均値と、被写体領域におけるノイズ量の平均値を算出して、これら平均値に基づいてパラメータを設定する。つまり、このパラメータは、例えば人物Ｘの被写体領域のデフォーカス量が擬似的に０となるように設定される。なお、パラメータとは、ハイパスフィルタ１２０における遮断周波数、及びコアリング回路１２１において除去対象となるノイズ成分の波長域を示すパラメータである。

ステップＳ５０９：ＣＰＵ１０１は、ステップＳ５０８において、設定されたパラメータが予め設定された範囲（以下、許容範囲）内であるか否かを判定する。なお、このステップＳ５０９の処理は、ステップＳ５０６の処理を行う場合には実行しなくともよい。また、このステップＳ５０９の処理を実行する場合には、上述したステップＳ５０６の処理を実行しなくてもよい。

ステップＳ５１０：ステップＳ５０９による判定結果に基づいて以降の処理を決定する。ステップＳ５０９においてパラメータが許容範囲内である場合には、ステップＳ５１１に進む。一方、パラメータが許容範囲外となる場合には、ステップＳ５１２に進む。

ステップＳ５１１：ＣＰＵ１０１は、ステップＳ５０８において設定されたパラメータをデータ処理部１０２に出力する。この出力を受けて、調整回路１２２はハイパスフィルタ１２０の遮断周波数及びコアリング回路１２１において除去対象となるノイズ成分の波長域を調整する。これら調整の後、画像データＩＤの画像補正（画像修復）が実行される。例えば、画像が画像Ｐ１となる場合には、画像Ｐ１全体に対して画像補正が行われる。この画像補正処理は、ハイパスフィルタ１２０及びコアリング回路１２１によってノイズ成分が除去された高周波成分のみのデータを作成し、作成されたデータと、元になる画像データＩＤとを重ね合わせる処理である。この処理を行うことで、例えば人物Ｘに対して擬似的に焦点が合った画像が取得される。この場合、人物Ｘに対する人物Ｙの焦点状態の相対関係や、人物Ｘと花Ｚとの焦点状態の相対関係が維持された状態の画像補正が実行される。

ステップＳ５１２：ＣＰＵ１０１は、抽出された全画像データＩＤに対して、ステップＳ５０４〜ステップＳ５１１の処理を行ったか否かを判定する。抽出された全画像データＩＤに対してステップＳ５０４〜ステップＳ５１１の処理を行った場合には、ステップＳ５１３に進む。一方、抽出された全画像データＩＤに対してステップＳ５０４〜ステップＳ５１１の処理を実行していない場合には、ステップＳ５０４に戻る。

ステップＳ５１３：ＣＰＵ１０１は、画像補正された画像データＩＤがあるか否かを判定する。画像補正された画像データＩＤがある場合には、ステップＳ５１４に進む。画像補正された画像データＩＤがない場合には、ステップＳ５１５に進む。

ステップＳ５１４：画像補正された画像データＩＤがある場合に、画像補正された画像データＩＤをＬＣＤモニタ１０４に表示する。画像補正された画像データＩＤをＬＣＤモニタ１０４に表示する方法としては、例えば、検索対象となる被写体の大きさに基づいて表示する、画像補正におけるパラメータの値が小さい順番で表示する、或いは、撮影日時の新しい順番で表示するなど、適宜の方法で表示することが可能である。また、ＬＣＤモニタ１０４に画像補正後の画像データＩＤを用いた表示としては、画像データ毎に表示する、或いは、画像補正した画像データからサムネイル画像データを作成し、ＬＣＤモニタにサムネイル画像を表示することが挙げられる。

ステップＳ５１５：ステップＳ５１３の処理において、画像補正された画像データＩＤがない場合に実行される。このステップＳ５１５においては、画像補正された画像データＩＤがない旨をＬＣＤモニタ１０４に表示する。これにより、データベース１０３に格納された画像データを参照しなくとも、容易に画像データＩＤの検索を行うことができる。

本実施形態では、図６に示すステップＳ４１０の処理を画像編集装置１００において実行しているが、これに限定する必要はなく、図６に示すＳ４１０の処理を例えばデジタルカメラ１０において実行することも可能である。また、同様にして、図７に示す画像検索の処理を画像編集装置１００にて実行せずに、デジタルカメラ１０で実行できるようにすることも可能である。

本実施形態では、デフォーカス量とノイズ量とから、ハイパスフィルタ１２０における遮断周波数、及びコアリング回路１２１において除去対象となるノイズ成分の波長域を設定しているが、これに限定する必要はなく、デフォーカス量のみを用いてハイパスフィルタ１２０やコアリング回路１２１におけるパラメータを設定することも可能である。

本実施形態では、対象となる被写体領域が複数の領域に跨っている場合、それぞれの領域におけるデフォーカス量の平均値、ノイズ量の平均値をそれぞれ求め、これら求めた平均値に基づいてパラメータを設定しているが、これに限定される必要はなく、複数の領域のそれぞれにおけるデフォーカス量とノイズ量とから領域毎のパラメータを求め、これらパラメータを用いて、対象となる被写体領域を構成する各領域に対して画像修復を行うことも可能である。

本実施形態では、画像全体に対して画像修復を行っているが、画像全体に対して画像修復を行うことで画質の破綻を生じる場合には、その画質の破綻が生じる領域に対しては画質の修復処理を行わない、或いは、画質の破綻が生じない範囲で画像修復を行うようにする。つまり、デフォーカス量に対して画像修復が可能となるパラメータの範囲を予め設定しておき、画像全体に対して設定されたパラメータが、上記範囲外となる場合には、その範囲の上限値を用いて画像修復を実行する。

また、この画像修復を行うことで画質の破綻を生じた場合には、画質の破綻が生じた領域を除いた領域をクロップ領域として設定することも可能である。この場合、画質の破綻が生じた場合には、ＣＰＵ１０１は、画質の破綻が生じた領域を除く領域をクロップ領域とした画像を作成し、ＬＣＤモニタ１０４に表示する。この場合、大きさの異なる複数のクロップ領域とした複数の画像を作成してユーザに選択させることも可能である。

本実施形態では、対象となる被写体領域（図８の人物Ｘ）が擬似的に合焦状態となるようにパラメータを設定しているが、例えば、対象となる被写領域が図８の人物Ｘとなり、撮像時に合焦状態となる被写体が人物Ｙとなる画像において、人物Ｘが擬似的に合焦状態となるように画像補正を行う場合に、補正前の画像データにおいて合焦状態となる人物Ｙに対しては画像補正を行わないようにする、或いは、人物Ｘと人物Ｙとの相対関係を維持するために、人物Ｙに対する領域に対してぼかし処理を行うことも可能である。このぼかし処理として、周知の畳み込み演算や、デジタルフィルタ処理を行えばよい。

本実施形態では、画像検索を行った後、抽出された画像をＬＣＤモニタ１０４に表示するしているが、この他に、例えば抽出された画像に対して、画像補正以外の画像処理を実行することも可能である。

本実施形態では、画像編集装置について述べているが、図５に示す信号処理部、被写体情報取得部、ノイズ量算出部、被写体特定部及び画像抽出部の機能や、図６及び図７に示す処理手順をコンピュータに実行させるためのプログラムであってもよい。

デジタルカメラの構成を示す機能ブロック図である。 ＡＦセンサのＡＦエリアを示す説明図である。 画像から被写体領域の特定時の処理の流れを示す図である。 デジタルカメラにおける撮像時の流れを示すフローチャートである。 画像編集装置の構成を示す機能ブロックである。 被写体の特定時の処理の流れを示すフローチャートである。 画像検索時の処理の流れを示すフローチャートである。 複数の画像から、対象となる画像を抽出する流れを示す図である。 画像、画像範囲における領域及び、それぞれの領域におけるデフォーカス量及びノイズ量の一例を示す図である。

符号の説明

１０…デジタルカメラ、３０…ＡＦセンサ、７５…制御部、７８，１１０…被写体情報取得部、７９，１１１…ノイズ量算出部、８０…メモリカード、１００…画像編集装置、１０１…ＣＰＵ、１０３…データベース、１１２…被写体特定部、１１３…画像抽出部

Claims (11)

1. 取得された画像データを用いて被写体及び該被写体の領域を示す被写体情報を取得する情報取得手段と、
   少なくとも前記被写体の領域における特性情報を検出する特性検出手段と、
   前記被写体情報と前記特性情報とを関連付けて前記画像データに付帯する付帯手段と、
   前記被写体情報と前記特性情報とが付帯された画像データを記憶する記憶手段と、
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記特性検出手段は、撮像時の画面範囲を格子状に分割することで得られる複数の領域のうち、前記被写体の領域に合致する領域のデフォーカス情報を前記特性情報として検出することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記特性検出手段は、前記デフォーカス情報の他に、前記被写体の領域におけるノイズ情報を前記特性情報として検出することを特徴とする撮像装置。
4. 画像データを取得するデータ取得手段と、
   前記画像データを用いて被写体及び該被写体の領域を示す被写体情報を取得する情報取得手段と、
   前記被写体の領域における特性情報を検出する特性検出手段と、
   前記被写体情報と前記特性情報とを関連付けて前記画像データに付帯する付帯手段と、
   前記被写体情報と前記特性情報とが付帯された画像データを記憶する記憶手段と、
   を備えたことを特徴とする画像編集装置。
5. 請求項４に記載の画像編集装置において、
   前記画像データは、撮像時の画面範囲を格子状に分割した複数の領域のそれぞれにおけるデフォーカス情報を付帯しており、
   前記特性検出手段は、複数の領域に対するデフォーカス情報から、前記被写体の領域に該当するデフォーカス情報を前記特性情報として検出することを特徴とする画像編集装置。
6. 請求項５に記載の画像編集装置において、
   前記特性検出手段は、前記デフォーカス情報の他に、前記被写体の領域におけるノイズ量を前記特性情報として検出することを特徴とする画像編集装置。
7. 請求項４〜６のいずれか１項に記載の画像編集装置において、
   被写体を指定する際に操作される入力操作手段と、
   前記記憶手段に記憶された画像データから、前記指定された被写体が存在する画像データを抽出するデータ抽出手段と、
   を備えていることを特徴とする画像編集装置。
8. 請求項７に記載の画像編集装置において、
   前記データ抽出手段によって抽出された画像データに付帯された特性情報から、画像補正時のパラメータを設定するパラメータ設定手段と、
   前記処理パラメータを用いて前記画像データに対する画像補正を行う画像補正手段と、
   を備えていることを特徴とする画像編集装置。
9. 請求項８に記載の画像編集装置において、
   前記パラメータ設定手段は、前記入力操作手段によって指定された被写体以外の被写体の領域に対する画像補正時のパラメータを、該当する被写体に対する特性情報と、前記指定された被写体の特性情報とを用いて設定することを特徴とする画像編集装置。
10. 請求項８又は９に記載の画像編集装置において、
    前記画像補正手段により補正された画像データに基づく画像において、画質破綻が生じている領域があるか否かを判定する判定手段と、
    前記画質破綻が生じている領域があると判定された場合に、前記画像におけるクロップ領域を設定する領域設定手段と、
    を備えていることを特徴とする画像編集装置。
11. 取得された画像データから、被写体及び該被写体の領域を示す被写体情報を取得するステップと、
    前記被写体の領域における特性情報を検出するステップと、
    前記被写体情報と前記特性情報とを関連付けて前記画像データに付帯するステップと、
    前記被写体情報と前記特性情報とが付帯された画像データを記憶するステップと、
    をコンピュータで実現させることを特徴とする画像編集プログラム。

Images