<第1実施形態の説明>
図1は、本件開示の撮像装置の一例である第1実施形態の電子カメラの構成例を示す図である。
電子カメラ100は、撮影光学系101と、光学系駆動部102と、撮像部103と、焦点調節部104と、カメラマイコン105と、第1メモリ106と、第2メモリ107と、各種の画像を表示する表示デバイスを含む表示部108と、メディアI/F109と、ユーザからの操作を受け付ける操作部110とを有する。ここで、光学系駆動部102、撮像部103、焦点調節部104、第1メモリ106および第2メモリ107、表示部108、メディアI/F109、操作部110は、それぞれカメラマイコン105に接続されている。
撮影光学系101は、例えばズームレンズやフォーカスレンズを含む複数のレンズを有している。簡単のため、図1では、撮影光学系101を1枚のレンズで示す。撮影光学系101に含まれるズームレンズやフォーカスレンズの各レンズ位置は、光学系駆動部102によってそれぞれ光軸方向に調整される。
撮像部103は、撮影光学系101を介して入射された光束による被写体の結像を撮像(撮影)するモジュールである。例えば、撮像部103は、光電変換を行う撮像素子と、撮像素子の出力にアナログ信号処理やA/D変換処理などを施す信号処理回路とを含んでいる。なお、上記の撮像素子の画素には、例えば公知のベイヤ配列に従ってRGBのカラーフィルタが配置されており、カラーフィルタでの色分解によって各色に対応する画像信号を出力する。これにより、撮像部103は、撮影時に例えばRGBのカラー画像を取得できる。
ここで、撮像部103は、操作部110からの撮像指示に応じて、不揮発性の記憶媒体(113)への記録を伴う記録用の静止画像を撮影する。このとき、撮像部103は、記録用の静止画像を連写撮影することもできる。また、撮像部103は、撮影待機時において所定の時間間隔ごとに観測用の画像(スルー画像)を撮影する。スルー画像は、記録用の静止画像と比べて間引きにより解像度(画像サイズ)が低くなっている。時系列に取得されたスルー画像のデータは、カメラマイコン105による各種の演算処理や、表示部108での動画表示(ライブビュー表示)に使用される。なお、撮像部103で取得される画像を、撮像画像と称することもある。
焦点調節部104は、撮像部103の撮像範囲内に設定された焦点検出エリアの情報を用いて、フォーカスレンズの自動焦点調節(Auto Focus)を実行する。
例えば、焦点調節部104は、スルー画像を用いて公知のコントラスト検出によりAFを実行するものであってもよい。あるいは、焦点調節部104は、公知の位相差検出方式により、瞳分割された被写体像の像ズレ量からAFを実行するものであってもよい。位相差検出方式による場合、焦点調節部104は撮影光学系101から入射する光束の一部を用いて、撮像部103から独立して焦点検出を行うモジュール(例えば、一眼レフ形式のカメラに実装される焦点検出モジュール)であってもよい。あるいは、撮像部103の受光面に焦点検出用の受光素子を配置し、焦点調節部104が撮像面で位相差検出AFを行うようにしてもよい。
カメラマイコン105は、電子カメラ100の動作を統括的に制御するプロセッサである。例えば、カメラマイコン105は、撮像部103での撮像画像の撮影制御、自動露出(Auto Exposure)制御、表示部108での画像の表示制御、第1メモリ106およびメディアI/F109での画像の記録制御を行う。また、第1実施形態でのカメラマイコン105は、画像処理部111、被写体特定部112を有している。
画像処理部111は、撮像画像のデータに対して、色補間、階調変換、ホワイトバランス補正、輪郭強調、ノイズ除去などの画像処理を施す。
被写体特定部112は、本件開示の被写体特定装置の一例であって、撮像部103で撮像された画像を用いて、画像に含まれる被写体の位置、形状および大きさを特定する。例えば、被写体特定部112は、カラーのスルー画像を用いて、画像に含まれる被写体の位置、形状および大きさを特定する。
被写体特定部112は、前処理部200と、第1生成部201と、第2生成部202と、2値化処理部203と、算出部204と、特定部205とを有する。なお、前処理部200と、第1生成部201、第2生成部202、2値化処理部203、算出部204、特定部205の動作については後述する。
ここで、図1に示すカメラマイコン105の各機能ブロックは、ハードウェア的には任意のプロセッサ、メモリ、その他の電子回路で実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現される。第1実施形態では、画像処理部111、被写体特定部112は、カメラマイコン105によって処理されるプログラムモジュールである。しかし、画像処理部111、被写体特定部112の少なくとも一方は、ASIC(Application Specific Integrated Circuit)等であってもよい。同様に、被写体特定部112の各機能ブロックは、例えばプログラムモジュールであるが、ASIC等であってもよい。
第1メモリ106は、画像処理の前工程や後工程で撮像画像のデータを一時的に記憶するバッファメモリである。例えば、第1メモリ106は、SDRAM等の揮発性メモリである。第2メモリ107は、カメラマイコン105で処理されるプログラムや、プログラムで使用される各種データを記憶するメモリである。例えば、第2メモリ107は、フラッシュメモリ等の不揮発性メモリである。
メディアI/F109は、不揮発性の記憶媒体113を接続するためのコネクタを有している。そして、メディアI/F109は、コネクタに接続された記憶媒体113に対してデータ(記録用画像)の書き込み/読み込みを実行する。記憶媒体113は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。
次に、図2を参照しつつ、第1実施形態での電子カメラの動作例を説明する。図2の例では、電子カメラ100は、画像解析により主要被写体の領域を特定し、主要被写体にピントを合わせるAF制御を実行する。なお、図2の処理は、例えば、撮影モードの起動時にカメラマイコン105がプログラムを実行することで開始される。
ステップS11において、カメラマイコン105は、撮像部103を駆動させてスルー画像の撮像を開始する。これにより、カメラマイコン105は、カラーのスルー画像を撮像部13から取得する。なお、撮影待機時において、カメラマイコン105は、逐次生成されるスルー画像を表示部108に動画表示させてもよい。
ステップS12において、被写体特定部112は、スルー画像を入力画像として被写体特定処理を実行する。これにより、撮像部103の撮像範囲内での主要被写体の位置が特定される。
ステップS13において、焦点調節部104は、被写体特定処理(S12)で特定された主要被写体の領域を焦点検出エリアとしてAF制御を実行する。また、S13でのカメラマイコン105は、被写体特定処理(S12)で特定された主要被写体の領域を基準としてスポット測光によるAE演算を実行してもよい。
ステップS14において、カメラマイコン105は、記録用の静止画像の撮像指示を操作部110が受け付けたか否かを判定する。撮像指示を操作部110が受け付けた場合(S14の肯定判定)、S15に処理が移行する。一方、撮像指示を操作部110が受け付けていない場合(S14の否定判定)、S16に処理が移行する。
ステップS15において、カメラマイコン105は、撮像部103を駆動させて記録用の静止画像の撮像処理を実行する。記録用の静止画像のデータは、画像処理部111で所定の処理が施された後に、メディアI/F109を介して記憶媒体113に記録される。その後、図2の流れ図の処理は終了する。
ステップS16において、カメラマイコン105は、撮影終了の指示を操作部110が受け付けたか否かを判定する。撮影終了の指示を操作部110が受け付けた場合(S16の肯定判定)、図2の流れ図の処理は終了する。一方、撮影終了の指示を操作部110が受け付けていない場合(S16の否定判定)、S12に処理が戻って上記の動作が繰り返される。S16の否定判定からS12のループにより被写体特定処理が継続的に実行されるので、電子カメラ100は、主要被写体を追尾してAFを行うことができる。以上で、図2の説明を終了する。
また、図3は、被写体特定処理(図2のS12)における被写体特定部112の動作例を示す流れ図である。なお、図3に示す流れ図は、本件開示のプログラムの一例である。
ステップS21において、前処理部200は、入力画像であるスルー画像を所定の色空間に変換する。
例えば、第1実施形態の前処理部200は、RGB色空間のスルー画像をYCbCr色空間に変換する。スルー画像がYCbCr色空間のデータである場合、S21の処理は省略してもよい。なお、前処理部200は、必要に応じて画像の解像度変換を行い、入力画像の解像度を所望の解像度まで低下させてもよい。
なお、図4は、入力画像に対応する元画像の一例を示している。図4の元画像は、例えば、記録用の静止画像と同じ解像度であって、草原を背景に蝶と花を撮影した絵柄である。ここで、入力画像であるスルー画像は、元画像の撮像範囲を間引きして読み出される画像であり、元画像よりも解像度が低い。
ステップS22において、第1生成部201は、YCbCr色空間の各チャネルで入力画像の画素値の平均値をそれぞれ求める。そして、第1生成部201は、YCbCrの各チャネルでの平均値を用いて、YCbCrのチャネル別に3つの基準濃度画像を生成する。
各基準濃度画像は、入力画像(スルー画像)と同じ解像度であって、各画素の画素値がいずれも共通する一様の画像である。Yチャネルの基準濃度画像は、各画素の画素値がいずれもYチャネルでの平均値を示す。Cbチャネルの基準濃度画像は、各画素の画素値がいずれもCbチャネルでの平均値を示す。Crチャネルの基準濃度画像は、各画素の画素値がいずれもCrチャネルでの平均値を示す。
ステップS23において、第2生成部202は、YCbCrのチャネル別に、入力画像と基準濃度画像との正負の差分を用いて、第1画像および第2画像を生成する。すなわち、S23での第2生成部202は、YCbCrの各チャネルで第1画像および第2画像を1組ずつ、計3組生成する。
まず、第1画像の生成手順につき説明する。第2生成部202は、YCbCrのチャネル別に、入力画像から基準濃度画像を減じた正の差分画像(入力画像−基準濃度画像)をそれぞれ生成する。正の差分画像では、入力画像の画素値が基準濃度画像の値を上回る箇所で画素値が正の値を示し、入力画像の画素値が基準濃度画像の値を下回る箇所で画素値が負の値を示す。そして、第2生成部202は、各々の正の差分画像において負の値を示す画素をゼロ値に置換することで、YCbCrの各チャネルの第1画像を生成する。
第1画像では、入力画像の画素値が基準濃度画像の値を下回る箇所や入力画像の画素値が基準濃度画像の値と一致する箇所では画素値がゼロになる。よって、第1画像では、入力画像の画素値が基準濃度画像の値を上回る箇所で正の差分画像の階調が保持される。また、第1画像の画素値の大きさは、入力画像の画素値が基準濃度画像の値を上回る箇所において、基準濃度画像の値からの乖離度合いを示している。
次に、第2画像の生成手順につき説明する。第2生成部202は、YCbCrのチャネル別に、基準濃度画像から入力画像を減じた負の差分画像(基準濃度画像−入力画像)をそれぞれ生成する。負の差分画像では、入力画像の画素値が基準濃度画像の値を下回る箇所で画素値が正の値を示し、入力画像の画素値が基準濃度画像の値を上回る箇所で画素値が負の値を示す。そして、第2生成部202は、各々の負の差分画像において負の値を示す画素をゼロ値に置換することで、YCbCrの各チャネルの第2画像を生成する。
第2画像では、入力画像の画素値が基準濃度画像の値を上回る箇所や入力画像の画素値が基準濃度画像の値と一致する箇所では画素値がゼロになる。よって、第2画像では、入力画像の画素値が基準濃度画像の値を下回る箇所で負の差分画像の階調が保持される。また、第2画像の画素値の大きさは、入力画像の画素値が基準濃度画像の値を下回る箇所において、基準濃度画像の値からの乖離度合いを示している。
一例として、或るチャネルにおいて、基準濃度画像の画素値が118、入力画像の画素Aの画素値が150、入力画像の画素Bの画素値が90の場合を考える。上記の場合、正の差分画像では、画素Aの画素値は32であり、画素Bの画素値は−28である。そして、第1画像では、画素Aの画素値は32であるが、画素Bの画素値は負の値のためゼロに置換される。また、上記の場合、負の差分画像では、画素Aの画素値は−32であり、画素Bの画素値は28である。そして、第2画像では、画素Bの画素値は28であるが、画素Aの画素値は負の値のためゼロに置換される。
図5(a)〜(c)は、図4に対応する各チャネルの第1画像の例を示している。図5(a)はYチャネルの第1画像であり、図5(b)はCbチャネルの第1画像であり、図5(c)はCrチャネルの第1画像である。図5の例では、第1画像での画素値が大きい部分が白色となる。
また、図6(a)〜(c)は、図4に対応する各チャネルの第2画像の例を示している。図6(a)はYチャネルの第2画像であり、図6(b)はCbチャネルの第2画像であり、図6(c)はCrチャネルの第2画像である。図6の例では、第2画像での画素値が大きい部分が白色となる。
ステップS24において、2値化処理部203は、色空間のチャネルごとに生成された第1画像および第2画像を所定の閾値で2値化する2値化処理を行う。以下の説明では、各々の2値化画像において、閾値以上の画素を白画素で示し、閾値以上の画素を黒画素で示す。
ここで、2値化処理部203は、第1画像を2値化するときの閾値を第1画像の画素値の標準偏差により決定する。例えば、2値化処理部203は、2値化する第1画像の画素値の標準偏差σを求め、標準偏差の2σ、3σに対応する画素値を閾値として第1画像から2値化画像を生成する。以下の説明では、第1画像から生成される2値化画像を正の2値化画像と称することもある。
また、2値化処理部203は、第2画像を2値化するときの閾値を第2画像の画素値の標準偏差により決定する。例えば、2値化処理部203は、2値化する第2画像の画素値の標準偏差σを求め、標準偏差の2σに対応する画素値を閾値として第2画像から2値化画像を生成する。以下の説明では、第2画像から生成される2値化画像を負の2値化画像と称することもある。
S24の2値化処理部203は、YCbCrのチャネル別にそれぞれ上記の2値化処理を実行する。すなわち、S24の2値化処理では、各チャネルで正の2値化画像2枚(閾値2σ、3σ)、負の2値化画像1枚(閾値2σ)がそれぞれ生成され、1枚の入力画像につき合計9枚の2値化画像が生成される(図7参照)。
ステップS25において、2値化処理部203は、S24で生成された各々の2値化画像に対して、領域のまとまりを求めるラベリング処理を行う。そして、2値化処理部203は、各々の2値化画像について白画素のかたまりを被写体候補の島領域として抽出する。
図7(a)〜(i)は、S25のラベリング処理後の各2値化画像の例を示している。図7(a)はYチャネルの正の2値化画像(閾値2σ)であり、図7(b)はCbチャネルの正の2値化画像(閾値2σ)であり、図7(c)はCrチャネルの正の2値化画像(閾値2σ)である。また、図7(d)はYチャネルの正の2値化画像(閾値3σ)であり、図7(e)はCbチャネルの正の2値化画像(閾値3σ)であり、図7(f)はCrチャネルの正の2値化画像(閾値3σ)である。また、図7(g)はYチャネルの負の2値化画像(閾値2σ)であり、図7(h)はCbチャネルの負の2値化画像(閾値2σ)であり、図7(i)はCrチャネルの負の2値化画像(閾値2σ)である。図7において、被写体候補の島領域は白色で示し、後述の処理により被写体候補から除外される島領域はグレーで示している。
ステップS26において、算出部204は、ラベリング処理(S25)された各々の2値化画像で、被写体候補の島領域の被写体らしさを示す評価値を算出する。例えば、算出部204は、被写体候補の島領域の面積と、島領域の慣性モーメントと、第1画像または第2画像での島領域の画素値とを用いて、被写体らしさの評価値を算出する。
まず、算出部204は、2値化画像での島領域の重心点を求め、求めた重心点を基準として島領域の慣性モーメントを算出する。慣性モーメントは、島領域が重心点から離れるほど値が大きくなる。なお、図7(a)〜(f),(i)および後述する図8(a)〜(f),(i)では、島領域の重心点をそれぞれ「×」印で示している。
ここで、重心点の算出方法および慣性モーメントの算出方法は公知のため詳細な説明は省略するが、例えば、慣性モーメントは、重心点からの画素距離の2乗×(0または1)の和により算出すればよい。そして、算出部204は、島領域の面積を、島領域の慣性モーメントで除算することで第1の値を求める。
次に、算出部204は、第1画像または第2画像と、対応する2値化画像との論理積をとることで、第1画像または第2画像での島領域の画素値を抽出する。また、算出部204は、第1画像または第2画像での島領域の画素平均値から第2の値を求める。
そして、算出部204は、上記の第1の値および第2の値を合計して、被写体らしさを示す評価値を算出する。
一例として、S26の算出部204は、以下の式(1)を用いて被写体らしさを示す評価値Evを算出してもよい。
Ev=Ar^α/MOI+Av/β ・・・(1)
式(1)において、「Ar」は島領域の面積を示し、「MOI」は島領域の慣性モーメントを示し、「Av」は島領域の画素平均値を示す。また、式(1)において、「α」,「β」はチューニングパラメータとしての係数である。例えば、α=1.5〜2,β=100程度に設定されるが、α,βの値は上記の例に限定されるものではない。
上記の評価値Evは、島領域の面積Arが大きくなるほど大きな値となり、島領域の慣性モーメントMOIが大きくなるほど小さな値となる。また、上記の評価値Evは、島領域の画素平均値が大きくなるほど大きな値となる。
ここで、S26で評価値を算出する前に、算出部204は、被写体の可能性が低い領域を被写体候補から除外してもよい。例えば、算出部204は、2値化画像の総面積に対して60%以上の面積となる島領域や、2値化画像の総面積に対して1%以下となる島領域を被写体候補からそれぞれ除外してもよい。また、算出部204は、画像の左端又は右端にかかる島領域を被写体候補から除外してもよい。
また、S26で評価値を算出する前に、算出部204は、被写体候補の島領域を囲む矩形領域を設定するとともに、矩形領域内で白画素が占める面積比や矩形領域の縦横比を用いて被写体候補となる島領域を絞り込んでもよい。例えば、算出部204は、矩形領域内で白画素が占める面積比を示す値が所定の閾値(例えば0.2)以下である島領域を被写体候補から除外する。これにより、被写体として通常ありえない凹凸や空洞部分のある島領域がそれぞれ被写体候補から除外される。また、例えば、算出部204は、矩形領域の縦横比を示す値が所定の範囲(例えば0.2以上5未満)に含まれる島領域を被写体候補から除外する。これにより、被写体としてありえない細長い島領域が被写体候補から除外される。
ステップS27において、特定部205は、YCbCrの各チャネルで生成された複数の2値化画像のうちから、主要被写体の位置を特定するための対象画像を抽出する。特定部205は、S26で算出された評価値を用いて、評価値が高い順に所定数(例えば3枚)の2値化画像を対象画像として抽出する。そして、特定部205は、対象画像に含まれる被写体候補の島領域を主要被写体の位置として特定する。その後、特定部205は、被写体特定処理のサブルーチンを終了し、図2の処理に復帰する。
図8(a)〜(i)は、対象画像を抽出するときの各2値化画像の例を示している。図8(a)〜(i)は、図7(a)〜(i)の2値化画像にそれぞれ対応している。
図8の例では、被写体候補として残された島領域のうち、被写体らしさを示す評価値の高さが上から2番目までの島領域を示すようにしている。以下、或る2値化画像で評価値が1番目に高い島領域を第1位の島領域とも称し、或る2値化画像で評価値が2番目に高い島領域を第2位の島領域とも称する。図8の(a)、(c)の例では、被写体候補として残された島領域が1つのため、2値化画像には第1位の島領域のみが示されている。図8の(d)〜(h)の例では、被写体候補として残された島領域がないため、図8の(d)〜(h)の2値化画像には島領域が示されていない。なお、図8の例では、被写体候補の島領域に対する評価値の記載は省略している。
図8の例では、図8(b)に示したCbチャネルの正の2値化画像(閾値2σ)が1番目に評価値が高く、図8(a)に示したYチャネルの正の2値化画像(閾値2σ)が2番目に評価値が高く、図8(c)に示したCrチャネルの正の2値化画像(閾値2σ)が3番目に評価値が高い。上記の場合、特定部205は、図8(b)、図8(a)、図8(c)を対象画像として抽出し、各対象画像の被写体候補の領域を用いて主要被写体の位置を特定する。
図9は、図4の元画像に主要被写体の位置を重畳して示した図である。図9において、各対象画像の被写体候補の位置は矩形の枠で示している。図9において、1番目の対象画像(図8(b))で第1位の島領域の形状は蝶の形状によく一致する。また、図9において、2番目の対象画像(図8(a))および3番目の対象画像(図8(c))でそれぞれ第1位の島領域の形状は一方の花の形状によく一致していることが分かる。以上で、図3の説明を終了する。
以下、第1実施形態の被写体特定部112による作用効果を述べる。第1実施形態の第1生成部201は、入力画像の平均画素値から基準濃度画像を生成する(S22)。第2生成部202は、基準濃度画像と入力画像との正負の差分を用いて、第1画像および第2画像を生成する(S23)。そして、2値化処理部203は、第1画像および第2画像をそれぞれ2値化して2値化画像を生成する(S24)。上記の処理によると、従来技術のように、平均濃度画像と入力画像またはボケ画像との差分の絶対値に基づいて被写体を抽出する場合と比べて、被写体の形状をより精度よく抽出できる。
例えば、グレーの背景に白い被写体が影とともに写っている輝度画像の例を考える。上記の輝度画像では、平均濃度画像は背景色のグレーに近似する色となる。そして、平均濃度画像とボケ画像との差分の絶対値をとると、背景色のグレーからかけ離れた色は明暗に拘わらずに同様に抽出される。すなわち、上記の輝度画像の例では、従来技術によると、被写体の白色と影の黒色がまとまって抽出されるので白色の被写体の形状を抽出することが困難である。
一方、第1実施形態の被写体特定部112によると、上記の輝度画像の場合では、白色の被写体は第1画像のみで抽出され、影の部分は第2画像のみで抽出される。よって、第1実施形態の被写体特定部112では、基準濃度画像に対して正の値をとる部分と負の値をとる部分とを異なる画像で別々に抽出できるので、従来に比べて画像内の被写体の位置を精度よく特定できる。
また、第1実施形態の被写体特定部112は、入力画像の情報だけで被写体の位置を特定できるので、汎用性の高い被写体特定処理を実現できる。
また、第1実施形態の被写体特定部112は、基準濃度画像と入力画像との正負の差分を用いて第1画像および第2画像を生成し(S23)、第1画像および第2画像の2値化画像から被写体を特定する(S27)。よって、第1実施形態の被写体特定部112は、例えばガボールフィルタ等によりエッジ成分を参照する処理をしなくても、画像内の被写体の位置を精度よく特定できる。
また、第1実施形態の被写体特定部112は、元画像よりも解像度の低いスルー画像を入力画像として、基準濃度画像、第1画像および第2画像を生成する。元画像よりも解像度が低いスルー画像は、元画像にローパスフィルタをかけた画像とみなすことができる。そのため、元画像をぼかした画像の一例であるスルー画像を用いることで従来技術の手法にある元画像をぼかす工程を省略することができる。
<第2実施形態の説明>
図10は、第2実施形態の画像処理装置の構成例を示す図である。第2実施形態の画像処理装置は、本件開示の被写体特定装置として機能するコンピュータである。
図10に示すコンピュータ301は、データ読込部302、記憶装置303、CPU304、メモリ305および入出力I/F306、バス307を有している。データ読込部302、記憶装置303、CPU304、メモリ305および入出力I/F306は、バス307を介して相互に接続されている。さらに、コンピュータ301には、入出力I/F306を介して、入力デバイス308(キーボード、ポインティングデバイスなど)とモニタ309とがそれぞれ接続されている。なお、入出力I/F306は、入力デバイス308からの各種入力を受け付けるとともに、モニタ309に対して表示用のデータを出力する。
データ読込部302は、画像のデータや、プログラムを外部から読み込むときに用いられる。データ読込部302は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス(光ディスク、磁気ディスク、光磁気ディスクの読込装置など)や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス(USBインターフェース、LANモジュール、無線LANモジュールなど)である。
記憶装置303は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体である。記憶装置303には、上記のプログラムや、プログラムの実行に必要となる各種データが記憶されている。なお、記憶装置303には、データ読込部302から読み込んだ画像のデータなどを記憶しておくこともできる。
CPU304は、コンピュータ301の各部を統括的に制御するプロセッサである。このCPU304は、プログラムの実行によって、第1実施形態の画像処理部111、被写体特定部112(前処理部200、第1生成部201、第2生成部202、2値化処理部203、算出部204、特定部205)として機能する。
メモリ305は、プログラムでの各種演算結果を一時的に記憶する。メモリ305は、例えば揮発性のSDRAMである。
ここで、第2実施形態の画像処理装置は、データ読込部302または記憶装置303から入力画像となる画像のデータを取得し、図3に示す被写体特定処理をCPU304が実行する。かかる第2実施形態の画像処理装置においても、第1実施形態の被写体特定処理と同様の効果を得ることができる。
<実施形態の補足事項>
(1)上記の実施形態では入力画像の色空間がYCbCrの例を説明したが、入力画像の色空間は実施形態の例に限定されるものではない。例えば、入力画像の色空間はL*a*b*やL*u*v*であってもよい。また、G成分を輝度成分、R成分およびB成分を色差成分とみなして、RGB色空間の画像を入力画像に用いてもよい。
(2)上記の実施形態ではカラー画像を入力画像とする例を説明したが、入力画像は輝度成分のみのモノクロ画像であってもよい。
(3)上記の第1実施形態では、元画像をぼかした画像(スルー画像)を入力画像とする例を説明したが、例えば、元画像が入力画像であってもよい。
(4)上記の実施形態の2値化処理(図3のS24)において、第1画像および第2画像から生成する1チャネル当たりの2値化画像の枚数の組み合わせは適宜変更できる。また、上記実施形態の2値化処理(図3のS24)において、2値化の閾値は、標準偏差の2σや3σに限定されることなく適宜変更できる。
(5)上記の実施形態では、入力画像の画素値の平均値を用いて基準濃度画像を生成する例を説明したが、本発明の基準濃度画像は上記の実施形態の例に限定されるものではない。例えば、例えば入力画像の画素値の中央値を用いて基準濃度画像を生成するようにしてもよい。
(6)上記の実施形態では、特定部205が3枚の対象画像を抽出する例を説明したが、S27の処理で抽出される対象画像の数は適宜変更できる。
(7)上記の第1実施形態ではレンズ一体型の電子カメラでの構成例を説明した。しかし、本発明の撮像装置は、レンズ交換式の電子カメラであってもよい。また、本発明の撮像装置は、例えば、携帯電子機器(スマートフォン、携帯電話、タブレットコンピュータ等)に組み込まれるカメラモジュールにも適用できる。
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。