JP2018125041A - 被写体特定装置およびプログラム - Google Patents

Abstract

【課題】 従来に比べて画像内の被写体の位置を精度よく特定する。【解決手段】 被写体特定装置は、入力画像の画素値に基づいて第１画像を生成する第１生成部と、第１画像の画素値と入力画像の画素値とに基づいて生成される差分の画像であって、所定の値未満となる差分値を差分値よりも大きい値とした第２画像を生成する第２生成部と、第２画像を２値化して、複数の２値化画像を生成する２値化処理部と、複数の２値化画像から対象画像を抽出し、対象画像に基づいて画像に含まれる被写体の位置を特定する特定部と、を備える。【選択図】 図１

Description

本発明は、被写体特定装置およびプログラムに関する。

従来から、画像に含まれる被写体位置を特定するために、元画像をぼかした画像と元画像の平均濃度画像との差分を求め、かかる差分の絶対値から被写体の顕著性を求める手法が提案されている（例えば、非特許文献１参照）。

R. Achanta, et al. "Frequency-turned Salient Region Detection", IEEE 2009

従来の技術では、画像によっては被写体の位置を精度よく特定できない点でなお改善の余地があった。

一つの観点による被写体特定装置は、入力画像の画素値に基づいて第１画像を生成する第１生成部と、第１画像の画素値と入力画像の画素値とに基づいて生成される差分の画像であって、所定の値未満となる差分値を差分値よりも大きい値とした第２画像を生成する第２生成部と、第２画像を２値化して、複数の２値化画像を生成する２値化処理部と、複数の２値化画像から対象画像を抽出し、対象画像に基づいて画像に含まれる被写体の位置を特定する特定部と、を備える。

一つの観点によるプログラムは、入力画像の画素値に基づいて第１画像を生成する手順と、第１画像の画素値と入力画像の画素値とに基づいて生成される差分の画像であって、所定の値未満となる差分値を差分値よりも大きい値とした第２画像を生成する手順と、第２画像を２値化して、複数の２値化画像を生成する手順と、複数の２値化画像から対象画像を抽出し、対象画像に基づいて画像に含まれる被写体の位置を特定する手順と、をコンピュータに実行させる。

本件開示の被写体特定装置およびプログラムは、従来に比べて画像内の被写体の位置を精度よく特定できる。

第１実施形態の電子カメラの構成例を示す図 第１実施形態での電子カメラの動作例を示す流れ図 被写体特定処理における被写体特定部の動作例を示す流れ図 入力画像に対応する元画像の一例を示す図 （ａ）〜（ｃ）：図４に対応する各チャネルの第１画像の例を示す図 （ａ）〜（ｃ）：図４に対応する各チャネルの第２画像の例を示す図 （ａ）〜（ｉ）：ラベリング処理後の各２値化画像の例を示す図 （ａ）〜（ｉ）：対象画像を抽出するときの各２値化画像の例を示す図 図４の元画像に主要被写体の位置を重畳して示した図 第２実施形態の画像処理装置の構成例を示す図

＜第１実施形態の説明＞
図１は、本件開示の撮像装置の一例である第１実施形態の電子カメラの構成例を示す図である。

電子カメラ１００は、撮影光学系１０１と、光学系駆動部１０２と、撮像部１０３と、焦点調節部１０４と、カメラマイコン１０５と、第１メモリ１０６と、第２メモリ１０７と、各種の画像を表示する表示デバイスを含む表示部１０８と、メディアＩ／Ｆ１０９と、ユーザからの操作を受け付ける操作部１１０とを有する。ここで、光学系駆動部１０２、撮像部１０３、焦点調節部１０４、第１メモリ１０６および第２メモリ１０７、表示部１０８、メディアＩ／Ｆ１０９、操作部１１０は、それぞれカメラマイコン１０５に接続されている。

撮影光学系１０１は、例えばズームレンズやフォーカスレンズを含む複数のレンズを有している。簡単のため、図１では、撮影光学系１０１を１枚のレンズで示す。撮影光学系１０１に含まれるズームレンズやフォーカスレンズの各レンズ位置は、光学系駆動部１０２によってそれぞれ光軸方向に調整される。

撮像部１０３は、撮影光学系１０１を介して入射された光束による被写体の結像を撮像（撮影）するモジュールである。例えば、撮像部１０３は、光電変換を行う撮像素子と、撮像素子の出力にアナログ信号処理やＡ／Ｄ変換処理などを施す信号処理回路とを含んでいる。なお、上記の撮像素子の画素には、例えば公知のベイヤ配列に従ってＲＧＢのカラーフィルタが配置されており、カラーフィルタでの色分解によって各色に対応する画像信号を出力する。これにより、撮像部１０３は、撮影時に例えばＲＧＢのカラー画像を取得できる。

ここで、撮像部１０３は、操作部１１０からの撮像指示に応じて、不揮発性の記憶媒体（１１３）への記録を伴う記録用の静止画像を撮影する。このとき、撮像部１０３は、記録用の静止画像を連写撮影することもできる。また、撮像部１０３は、撮影待機時において所定の時間間隔ごとに観測用の画像（スルー画像）を撮影する。スルー画像は、記録用の静止画像と比べて間引きにより解像度（画像サイズ）が低くなっている。時系列に取得されたスルー画像のデータは、カメラマイコン１０５による各種の演算処理や、表示部１０８での動画表示（ライブビュー表示）に使用される。なお、撮像部１０３で取得される画像を、撮像画像と称することもある。

焦点調節部１０４は、撮像部１０３の撮像範囲内に設定された焦点検出エリアの情報を用いて、フォーカスレンズの自動焦点調節（Auto Focus）を実行する。

例えば、焦点調節部１０４は、スルー画像を用いて公知のコントラスト検出によりＡＦを実行するものであってもよい。あるいは、焦点調節部１０４は、公知の位相差検出方式により、瞳分割された被写体像の像ズレ量からＡＦを実行するものであってもよい。位相差検出方式による場合、焦点調節部１０４は撮影光学系１０１から入射する光束の一部を用いて、撮像部１０３から独立して焦点検出を行うモジュール（例えば、一眼レフ形式のカメラに実装される焦点検出モジュール）であってもよい。あるいは、撮像部１０３の受光面に焦点検出用の受光素子を配置し、焦点調節部１０４が撮像面で位相差検出ＡＦを行うようにしてもよい。

カメラマイコン１０５は、電子カメラ１００の動作を統括的に制御するプロセッサである。例えば、カメラマイコン１０５は、撮像部１０３での撮像画像の撮影制御、自動露出（Auto Exposure）制御、表示部１０８での画像の表示制御、第１メモリ１０６およびメディアＩ／Ｆ１０９での画像の記録制御を行う。また、第１実施形態でのカメラマイコン１０５は、画像処理部１１１、被写体特定部１１２を有している。

画像処理部１１１は、撮像画像のデータに対して、色補間、階調変換、ホワイトバランス補正、輪郭強調、ノイズ除去などの画像処理を施す。

被写体特定部１１２は、本件開示の被写体特定装置の一例であって、撮像部１０３で撮像された画像を用いて、画像に含まれる被写体の位置、形状および大きさを特定する。例えば、被写体特定部１１２は、カラーのスルー画像を用いて、画像に含まれる被写体の位置、形状および大きさを特定する。

被写体特定部１１２は、前処理部２００と、第１生成部２０１と、第２生成部２０２と、２値化処理部２０３と、算出部２０４と、特定部２０５とを有する。なお、前処理部２００と、第１生成部２０１、第２生成部２０２、２値化処理部２０３、算出部２０４、特定部２０５の動作については後述する。

ここで、図１に示すカメラマイコン１０５の各機能ブロックは、ハードウェア的には任意のプロセッサ、メモリ、その他の電子回路で実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現される。第１実施形態では、画像処理部１１１、被写体特定部１１２は、カメラマイコン１０５によって処理されるプログラムモジュールである。しかし、画像処理部１１１、被写体特定部１１２の少なくとも一方は、ＡＳＩＣ（Application Specific Integrated Circuit）等であってもよい。同様に、被写体特定部１１２の各機能ブロックは、例えばプログラムモジュールであるが、ＡＳＩＣ等であってもよい。

第１メモリ１０６は、画像処理の前工程や後工程で撮像画像のデータを一時的に記憶するバッファメモリである。例えば、第１メモリ１０６は、ＳＤＲＡＭ等の揮発性メモリである。第２メモリ１０７は、カメラマイコン１０５で処理されるプログラムや、プログラムで使用される各種データを記憶するメモリである。例えば、第２メモリ１０７は、フラッシュメモリ等の不揮発性メモリである。

メディアＩ／Ｆ１０９は、不揮発性の記憶媒体１１３を接続するためのコネクタを有している。そして、メディアＩ／Ｆ１０９は、コネクタに接続された記憶媒体１１３に対してデータ（記録用画像）の書き込み／読み込みを実行する。記憶媒体１１３は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。

次に、図２を参照しつつ、第１実施形態での電子カメラの動作例を説明する。図２の例では、電子カメラ１００は、画像解析により主要被写体の領域を特定し、主要被写体にピントを合わせるＡＦ制御を実行する。なお、図２の処理は、例えば、撮影モードの起動時にカメラマイコン１０５がプログラムを実行することで開始される。

ステップＳ１１において、カメラマイコン１０５は、撮像部１０３を駆動させてスルー画像の撮像を開始する。これにより、カメラマイコン１０５は、カラーのスルー画像を撮像部１３から取得する。なお、撮影待機時において、カメラマイコン１０５は、逐次生成されるスルー画像を表示部１０８に動画表示させてもよい。

ステップＳ１２において、被写体特定部１１２は、スルー画像を入力画像として被写体特定処理を実行する。これにより、撮像部１０３の撮像範囲内での主要被写体の位置が特定される。

ステップＳ１３において、焦点調節部１０４は、被写体特定処理（Ｓ１２）で特定された主要被写体の領域を焦点検出エリアとしてＡＦ制御を実行する。また、Ｓ１３でのカメラマイコン１０５は、被写体特定処理（Ｓ１２）で特定された主要被写体の領域を基準としてスポット測光によるＡＥ演算を実行してもよい。

ステップＳ１４において、カメラマイコン１０５は、記録用の静止画像の撮像指示を操作部１１０が受け付けたか否かを判定する。撮像指示を操作部１１０が受け付けた場合（Ｓ１４の肯定判定）、Ｓ１５に処理が移行する。一方、撮像指示を操作部１１０が受け付けていない場合（Ｓ１４の否定判定）、Ｓ１６に処理が移行する。

ステップＳ１５において、カメラマイコン１０５は、撮像部１０３を駆動させて記録用の静止画像の撮像処理を実行する。記録用の静止画像のデータは、画像処理部１１１で所定の処理が施された後に、メディアＩ／Ｆ１０９を介して記憶媒体１１３に記録される。その後、図２の流れ図の処理は終了する。

ステップＳ１６において、カメラマイコン１０５は、撮影終了の指示を操作部１１０が受け付けたか否かを判定する。撮影終了の指示を操作部１１０が受け付けた場合（Ｓ１６の肯定判定）、図２の流れ図の処理は終了する。一方、撮影終了の指示を操作部１１０が受け付けていない場合（Ｓ１６の否定判定）、Ｓ１２に処理が戻って上記の動作が繰り返される。Ｓ１６の否定判定からＳ１２のループにより被写体特定処理が継続的に実行されるので、電子カメラ１００は、主要被写体を追尾してＡＦを行うことができる。以上で、図２の説明を終了する。

また、図３は、被写体特定処理（図２のＳ１２）における被写体特定部１１２の動作例を示す流れ図である。なお、図３に示す流れ図は、本件開示のプログラムの一例である。

ステップＳ２１において、前処理部２００は、入力画像であるスルー画像を所定の色空間に変換する。

例えば、第１実施形態の前処理部２００は、ＲＧＢ色空間のスルー画像をＹＣｂＣｒ色空間に変換する。スルー画像がＹＣｂＣｒ色空間のデータである場合、Ｓ２１の処理は省略してもよい。なお、前処理部２００は、必要に応じて画像の解像度変換を行い、入力画像の解像度を所望の解像度まで低下させてもよい。

なお、図４は、入力画像に対応する元画像の一例を示している。図４の元画像は、例えば、記録用の静止画像と同じ解像度であって、草原を背景に蝶と花を撮影した絵柄である。ここで、入力画像であるスルー画像は、元画像の撮像範囲を間引きして読み出される画像であり、元画像よりも解像度が低い。

ステップＳ２２において、第１生成部２０１は、ＹＣｂＣｒ色空間の各チャネルで入力画像の画素値の平均値をそれぞれ求める。そして、第１生成部２０１は、ＹＣｂＣｒの各チャネルでの平均値を用いて、ＹＣｂＣｒのチャネル別に３つの基準濃度画像を生成する。

各基準濃度画像は、入力画像（スルー画像）と同じ解像度であって、各画素の画素値がいずれも共通する一様の画像である。Ｙチャネルの基準濃度画像は、各画素の画素値がいずれもＹチャネルでの平均値を示す。Ｃｂチャネルの基準濃度画像は、各画素の画素値がいずれもＣｂチャネルでの平均値を示す。Ｃｒチャネルの基準濃度画像は、各画素の画素値がいずれもＣｒチャネルでの平均値を示す。

ステップＳ２３において、第２生成部２０２は、ＹＣｂＣｒのチャネル別に、入力画像と基準濃度画像との正負の差分を用いて、第１画像および第２画像を生成する。すなわち、Ｓ２３での第２生成部２０２は、ＹＣｂＣｒの各チャネルで第１画像および第２画像を１組ずつ、計３組生成する。

まず、第１画像の生成手順につき説明する。第２生成部２０２は、ＹＣｂＣｒのチャネル別に、入力画像から基準濃度画像を減じた正の差分画像（入力画像−基準濃度画像）をそれぞれ生成する。正の差分画像では、入力画像の画素値が基準濃度画像の値を上回る箇所で画素値が正の値を示し、入力画像の画素値が基準濃度画像の値を下回る箇所で画素値が負の値を示す。そして、第２生成部２０２は、各々の正の差分画像において負の値を示す画素をゼロ値に置換することで、ＹＣｂＣｒの各チャネルの第１画像を生成する。

第１画像では、入力画像の画素値が基準濃度画像の値を下回る箇所や入力画像の画素値が基準濃度画像の値と一致する箇所では画素値がゼロになる。よって、第１画像では、入力画像の画素値が基準濃度画像の値を上回る箇所で正の差分画像の階調が保持される。また、第１画像の画素値の大きさは、入力画像の画素値が基準濃度画像の値を上回る箇所において、基準濃度画像の値からの乖離度合いを示している。

次に、第２画像の生成手順につき説明する。第２生成部２０２は、ＹＣｂＣｒのチャネル別に、基準濃度画像から入力画像を減じた負の差分画像（基準濃度画像−入力画像）をそれぞれ生成する。負の差分画像では、入力画像の画素値が基準濃度画像の値を下回る箇所で画素値が正の値を示し、入力画像の画素値が基準濃度画像の値を上回る箇所で画素値が負の値を示す。そして、第２生成部２０２は、各々の負の差分画像において負の値を示す画素をゼロ値に置換することで、ＹＣｂＣｒの各チャネルの第２画像を生成する。

第２画像では、入力画像の画素値が基準濃度画像の値を上回る箇所や入力画像の画素値が基準濃度画像の値と一致する箇所では画素値がゼロになる。よって、第２画像では、入力画像の画素値が基準濃度画像の値を下回る箇所で負の差分画像の階調が保持される。また、第２画像の画素値の大きさは、入力画像の画素値が基準濃度画像の値を下回る箇所において、基準濃度画像の値からの乖離度合いを示している。

一例として、或るチャネルにおいて、基準濃度画像の画素値が１１８、入力画像の画素Ａの画素値が１５０、入力画像の画素Ｂの画素値が９０の場合を考える。上記の場合、正の差分画像では、画素Ａの画素値は３２であり、画素Ｂの画素値は−２８である。そして、第１画像では、画素Ａの画素値は３２であるが、画素Ｂの画素値は負の値のためゼロに置換される。また、上記の場合、負の差分画像では、画素Ａの画素値は−３２であり、画素Ｂの画素値は２８である。そして、第２画像では、画素Ｂの画素値は２８であるが、画素Ａの画素値は負の値のためゼロに置換される。

図５（ａ）〜（ｃ）は、図４に対応する各チャネルの第１画像の例を示している。図５（ａ）はＹチャネルの第１画像であり、図５（ｂ）はＣｂチャネルの第１画像であり、図５（ｃ）はＣｒチャネルの第１画像である。図５の例では、第１画像での画素値が大きい部分が白色となる。

また、図６（ａ）〜（ｃ）は、図４に対応する各チャネルの第２画像の例を示している。図６（ａ）はＹチャネルの第２画像であり、図６（ｂ）はＣｂチャネルの第２画像であり、図６（ｃ）はＣｒチャネルの第２画像である。図６の例では、第２画像での画素値が大きい部分が白色となる。

ステップＳ２４において、２値化処理部２０３は、色空間のチャネルごとに生成された第１画像および第２画像を所定の閾値で２値化する２値化処理を行う。以下の説明では、各々の２値化画像において、閾値以上の画素を白画素で示し、閾値以上の画素を黒画素で示す。

ここで、２値化処理部２０３は、第１画像を２値化するときの閾値を第１画像の画素値の標準偏差により決定する。例えば、２値化処理部２０３は、２値化する第１画像の画素値の標準偏差σを求め、標準偏差の２σ、３σに対応する画素値を閾値として第１画像から２値化画像を生成する。以下の説明では、第１画像から生成される２値化画像を正の２値化画像と称することもある。

また、２値化処理部２０３は、第２画像を２値化するときの閾値を第２画像の画素値の標準偏差により決定する。例えば、２値化処理部２０３は、２値化する第２画像の画素値の標準偏差σを求め、標準偏差の２σに対応する画素値を閾値として第２画像から２値化画像を生成する。以下の説明では、第２画像から生成される２値化画像を負の２値化画像と称することもある。

Ｓ２４の２値化処理部２０３は、ＹＣｂＣｒのチャネル別にそれぞれ上記の２値化処理を実行する。すなわち、Ｓ２４の２値化処理では、各チャネルで正の２値化画像２枚（閾値２σ、３σ）、負の２値化画像１枚（閾値２σ）がそれぞれ生成され、１枚の入力画像につき合計９枚の２値化画像が生成される（図７参照）。

ステップＳ２５において、２値化処理部２０３は、Ｓ２４で生成された各々の２値化画像に対して、領域のまとまりを求めるラベリング処理を行う。そして、２値化処理部２０３は、各々の２値化画像について白画素のかたまりを被写体候補の島領域として抽出する。

図７（ａ）〜（ｉ）は、Ｓ２５のラベリング処理後の各２値化画像の例を示している。図７（ａ）はＹチャネルの正の２値化画像（閾値２σ）であり、図７（ｂ）はＣｂチャネルの正の２値化画像（閾値２σ）であり、図７（ｃ）はＣｒチャネルの正の２値化画像（閾値２σ）である。また、図７（ｄ）はＹチャネルの正の２値化画像（閾値３σ）であり、図７（ｅ）はＣｂチャネルの正の２値化画像（閾値３σ）であり、図７（ｆ）はＣｒチャネルの正の２値化画像（閾値３σ）である。また、図７（ｇ）はＹチャネルの負の２値化画像（閾値２σ）であり、図７（ｈ）はＣｂチャネルの負の２値化画像（閾値２σ）であり、図７（ｉ）はＣｒチャネルの負の２値化画像（閾値２σ）である。図７において、被写体候補の島領域は白色で示し、後述の処理により被写体候補から除外される島領域はグレーで示している。

ステップＳ２６において、算出部２０４は、ラベリング処理（Ｓ２５）された各々の２値化画像で、被写体候補の島領域の被写体らしさを示す評価値を算出する。例えば、算出部２０４は、被写体候補の島領域の面積と、島領域の慣性モーメントと、第１画像または第２画像での島領域の画素値とを用いて、被写体らしさの評価値を算出する。

まず、算出部２０４は、２値化画像での島領域の重心点を求め、求めた重心点を基準として島領域の慣性モーメントを算出する。慣性モーメントは、島領域が重心点から離れるほど値が大きくなる。なお、図７（ａ）〜（ｆ），（ｉ）および後述する図８（ａ）〜（ｆ），（ｉ）では、島領域の重心点をそれぞれ「×」印で示している。

ここで、重心点の算出方法および慣性モーメントの算出方法は公知のため詳細な説明は省略するが、例えば、慣性モーメントは、重心点からの画素距離の２乗×（０または１）の和により算出すればよい。そして、算出部２０４は、島領域の面積を、島領域の慣性モーメントで除算することで第１の値を求める。

次に、算出部２０４は、第１画像または第２画像と、対応する２値化画像との論理積をとることで、第１画像または第２画像での島領域の画素値を抽出する。また、算出部２０４は、第１画像または第２画像での島領域の画素平均値から第２の値を求める。

そして、算出部２０４は、上記の第１の値および第２の値を合計して、被写体らしさを示す評価値を算出する。

一例として、Ｓ２６の算出部２０４は、以下の式（１）を用いて被写体らしさを示す評価値Ｅｖを算出してもよい。
Ｅｖ＝Ａｒ＾α／ＭＯＩ＋Ａｖ／β ・・・（１）
式（１）において、「Ａｒ」は島領域の面積を示し、「ＭＯＩ」は島領域の慣性モーメントを示し、「Ａｖ」は島領域の画素平均値を示す。また、式（１）において、「α」，「β」はチューニングパラメータとしての係数である。例えば、α＝１．５〜２，β＝１００程度に設定されるが、α，βの値は上記の例に限定されるものではない。

上記の評価値Ｅｖは、島領域の面積Ａｒが大きくなるほど大きな値となり、島領域の慣性モーメントＭＯＩが大きくなるほど小さな値となる。また、上記の評価値Ｅｖは、島領域の画素平均値が大きくなるほど大きな値となる。

ここで、Ｓ２６で評価値を算出する前に、算出部２０４は、被写体の可能性が低い領域を被写体候補から除外してもよい。例えば、算出部２０４は、２値化画像の総面積に対して６０％以上の面積となる島領域や、２値化画像の総面積に対して１％以下となる島領域を被写体候補からそれぞれ除外してもよい。また、算出部２０４は、画像の左端又は右端にかかる島領域を被写体候補から除外してもよい。

また、Ｓ２６で評価値を算出する前に、算出部２０４は、被写体候補の島領域を囲む矩形領域を設定するとともに、矩形領域内で白画素が占める面積比や矩形領域の縦横比を用いて被写体候補となる島領域を絞り込んでもよい。例えば、算出部２０４は、矩形領域内で白画素が占める面積比を示す値が所定の閾値（例えば０．２）以下である島領域を被写体候補から除外する。これにより、被写体として通常ありえない凹凸や空洞部分のある島領域がそれぞれ被写体候補から除外される。また、例えば、算出部２０４は、矩形領域の縦横比を示す値が所定の範囲（例えば０．２以上５未満）に含まれる島領域を被写体候補から除外する。これにより、被写体としてありえない細長い島領域が被写体候補から除外される。

ステップＳ２７において、特定部２０５は、ＹＣｂＣｒの各チャネルで生成された複数の２値化画像のうちから、主要被写体の位置を特定するための対象画像を抽出する。特定部２０５は、Ｓ２６で算出された評価値を用いて、評価値が高い順に所定数（例えば３枚）の２値化画像を対象画像として抽出する。そして、特定部２０５は、対象画像に含まれる被写体候補の島領域を主要被写体の位置として特定する。その後、特定部２０５は、被写体特定処理のサブルーチンを終了し、図２の処理に復帰する。

図８（ａ）〜（ｉ）は、対象画像を抽出するときの各２値化画像の例を示している。図８（ａ）〜（ｉ）は、図７（ａ）〜（ｉ）の２値化画像にそれぞれ対応している。

図８の例では、被写体候補として残された島領域のうち、被写体らしさを示す評価値の高さが上から２番目までの島領域を示すようにしている。以下、或る２値化画像で評価値が１番目に高い島領域を第１位の島領域とも称し、或る２値化画像で評価値が２番目に高い島領域を第２位の島領域とも称する。図８の（ａ）、（ｃ）の例では、被写体候補として残された島領域が１つのため、２値化画像には第１位の島領域のみが示されている。図８の（ｄ）〜（ｈ）の例では、被写体候補として残された島領域がないため、図８の（ｄ）〜（ｈ）の２値化画像には島領域が示されていない。なお、図８の例では、被写体候補の島領域に対する評価値の記載は省略している。

図８の例では、図８（ｂ）に示したＣｂチャネルの正の２値化画像（閾値２σ）が１番目に評価値が高く、図８（ａ）に示したＹチャネルの正の２値化画像（閾値２σ）が２番目に評価値が高く、図８（ｃ）に示したＣｒチャネルの正の２値化画像（閾値２σ）が３番目に評価値が高い。上記の場合、特定部２０５は、図８（ｂ）、図８（ａ）、図８（ｃ）を対象画像として抽出し、各対象画像の被写体候補の領域を用いて主要被写体の位置を特定する。

図９は、図４の元画像に主要被写体の位置を重畳して示した図である。図９において、各対象画像の被写体候補の位置は矩形の枠で示している。図９において、１番目の対象画像（図８（ｂ））で第１位の島領域の形状は蝶の形状によく一致する。また、図９において、２番目の対象画像（図８（ａ））および３番目の対象画像（図８（ｃ））でそれぞれ第１位の島領域の形状は一方の花の形状によく一致していることが分かる。以上で、図３の説明を終了する。

以下、第１実施形態の被写体特定部１１２による作用効果を述べる。第１実施形態の第１生成部２０１は、入力画像の平均画素値から基準濃度画像を生成する（Ｓ２２）。第２生成部２０２は、基準濃度画像と入力画像との正負の差分を用いて、第１画像および第２画像を生成する（Ｓ２３）。そして、２値化処理部２０３は、第１画像および第２画像をそれぞれ２値化して２値化画像を生成する（Ｓ２４）。上記の処理によると、従来技術のように、平均濃度画像と入力画像またはボケ画像との差分の絶対値に基づいて被写体を抽出する場合と比べて、被写体の形状をより精度よく抽出できる。

例えば、グレーの背景に白い被写体が影とともに写っている輝度画像の例を考える。上記の輝度画像では、平均濃度画像は背景色のグレーに近似する色となる。そして、平均濃度画像とボケ画像との差分の絶対値をとると、背景色のグレーからかけ離れた色は明暗に拘わらずに同様に抽出される。すなわち、上記の輝度画像の例では、従来技術によると、被写体の白色と影の黒色がまとまって抽出されるので白色の被写体の形状を抽出することが困難である。

一方、第１実施形態の被写体特定部１１２によると、上記の輝度画像の場合では、白色の被写体は第１画像のみで抽出され、影の部分は第２画像のみで抽出される。よって、第１実施形態の被写体特定部１１２では、基準濃度画像に対して正の値をとる部分と負の値をとる部分とを異なる画像で別々に抽出できるので、従来に比べて画像内の被写体の位置を精度よく特定できる。

また、第１実施形態の被写体特定部１１２は、入力画像の情報だけで被写体の位置を特定できるので、汎用性の高い被写体特定処理を実現できる。

また、第１実施形態の被写体特定部１１２は、基準濃度画像と入力画像との正負の差分を用いて第１画像および第２画像を生成し（Ｓ２３）、第１画像および第２画像の２値化画像から被写体を特定する（Ｓ２７）。よって、第１実施形態の被写体特定部１１２は、例えばガボールフィルタ等によりエッジ成分を参照する処理をしなくても、画像内の被写体の位置を精度よく特定できる。

また、第１実施形態の被写体特定部１１２は、元画像よりも解像度の低いスルー画像を入力画像として、基準濃度画像、第１画像および第２画像を生成する。元画像よりも解像度が低いスルー画像は、元画像にローパスフィルタをかけた画像とみなすことができる。そのため、元画像をぼかした画像の一例であるスルー画像を用いることで従来技術の手法にある元画像をぼかす工程を省略することができる。

＜第２実施形態の説明＞
図１０は、第２実施形態の画像処理装置の構成例を示す図である。第２実施形態の画像処理装置は、本件開示の被写体特定装置として機能するコンピュータである。

図１０に示すコンピュータ３０１は、データ読込部３０２、記憶装置３０３、ＣＰＵ３０４、メモリ３０５および入出力Ｉ／Ｆ３０６、バス３０７を有している。データ読込部３０２、記憶装置３０３、ＣＰＵ３０４、メモリ３０５および入出力Ｉ／Ｆ３０６は、バス３０７を介して相互に接続されている。さらに、コンピュータ３０１には、入出力Ｉ／Ｆ３０６を介して、入力デバイス３０８（キーボード、ポインティングデバイスなど）とモニタ３０９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３０６は、入力デバイス３０８からの各種入力を受け付けるとともに、モニタ３０９に対して表示用のデータを出力する。

データ読込部３０２は、画像のデータや、プログラムを外部から読み込むときに用いられる。データ読込部３０２は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。

記憶装置３０３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体である。記憶装置３０３には、上記のプログラムや、プログラムの実行に必要となる各種データが記憶されている。なお、記憶装置３０３には、データ読込部３０２から読み込んだ画像のデータなどを記憶しておくこともできる。

ＣＰＵ３０４は、コンピュータ３０１の各部を統括的に制御するプロセッサである。このＣＰＵ３０４は、プログラムの実行によって、第１実施形態の画像処理部１１１、被写体特定部１１２（前処理部２００、第１生成部２０１、第２生成部２０２、２値化処理部２０３、算出部２０４、特定部２０５）として機能する。

メモリ３０５は、プログラムでの各種演算結果を一時的に記憶する。メモリ３０５は、例えば揮発性のＳＤＲＡＭである。

ここで、第２実施形態の画像処理装置は、データ読込部３０２または記憶装置３０３から入力画像となる画像のデータを取得し、図３に示す被写体特定処理をＣＰＵ３０４が実行する。かかる第２実施形態の画像処理装置においても、第１実施形態の被写体特定処理と同様の効果を得ることができる。

＜実施形態の補足事項＞
（１）上記の実施形態では入力画像の色空間がＹＣｂＣｒの例を説明したが、入力画像の色空間は実施形態の例に限定されるものではない。例えば、入力画像の色空間はＬ＊ａ＊ｂ＊やＬ＊ｕ＊ｖ＊であってもよい。また、Ｇ成分を輝度成分、Ｒ成分およびＢ成分を色差成分とみなして、ＲＧＢ色空間の画像を入力画像に用いてもよい。

（２）上記の実施形態ではカラー画像を入力画像とする例を説明したが、入力画像は輝度成分のみのモノクロ画像であってもよい。

（３）上記の第１実施形態では、元画像をぼかした画像（スルー画像）を入力画像とする例を説明したが、例えば、元画像が入力画像であってもよい。

（４）上記の実施形態の２値化処理（図３のＳ２４）において、第１画像および第２画像から生成する１チャネル当たりの２値化画像の枚数の組み合わせは適宜変更できる。また、上記実施形態の２値化処理（図３のＳ２４）において、２値化の閾値は、標準偏差の２σや３σに限定されることなく適宜変更できる。

（５）上記の実施形態では、入力画像の画素値の平均値を用いて基準濃度画像を生成する例を説明したが、本発明の基準濃度画像は上記の実施形態の例に限定されるものではない。例えば、例えば入力画像の画素値の中央値を用いて基準濃度画像を生成するようにしてもよい。

（６）上記の実施形態では、特定部２０５が３枚の対象画像を抽出する例を説明したが、Ｓ２７の処理で抽出される対象画像の数は適宜変更できる。

（７）上記の第１実施形態ではレンズ一体型の電子カメラでの構成例を説明した。しかし、本発明の撮像装置は、レンズ交換式の電子カメラであってもよい。また、本発明の撮像装置は、例えば、携帯電子機器（スマートフォン、携帯電話、タブレットコンピュータ等）に組み込まれるカメラモジュールにも適用できる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１００…電子カメラ、１０１…撮影光学系、１０２…光学系駆動部、１０３…撮像部、１０４…焦点調節部、１０５…カメラマイコン、１０６…第１メモリ、１０７…第２メモリ、１０８…表示部、１０９…メディアＩ／Ｆ、１１０…操作部、１１１…画像処理部、１１２…被写体特定部、１１３…記憶媒体、２００…前処理部２００、２０１…第１生成部、２０２…第２生成部、２０３…２値化処理部、２０４…算出部、２０５…特定部、３０１…コンピュータ、３０２…データ読込部、３０３…記憶装置、３０４…ＣＰＵ、３０５…メモリ、３０６…入出力Ｉ／Ｆ、３０７…バス、３０８…入力デバイス、３０９…モニタ

Claims (9)

1. 入力画像の画素値に基づいて第１画像を生成する第１生成部と、
   前記第１画像の画素値と前記入力画像の画素値とに基づいて生成される差分の画像であって、所定の値未満となる差分値を前記差分値よりも大きい値とした第２画像を生成する第２生成部と、
   前記第２画像を２値化して、複数の２値化画像を生成する２値化処理部と、
   前記複数の２値化画像から対象画像を抽出し、前記対象画像に基づいて画像に含まれる被写体の位置を特定する特定部と、
   を備える被写体特定装置。
2. 請求項１に記載の被写体特定装置において、
   前記複数の２値化画像に対して被写体に関する評価を行う評価部を備え、
   前記特定部は、前記評価部の評価結果に基づいて被写体の位置を特定する被写体特定装置。
3. 請求項２に記載の被写体特定装置において、
   前記第２生成部は、前記第１画像の画素値から前記入力画像の画素値を引いた画像であって、所定の値未満となる第１差分値を前記第１差分値よりも大きい値とした第１差分画像と、前記入力画像の画素値から前記第１画像の画素値を引いた画像であって、前記所定の値未満となる第２差分値を前記第２差分値よりも大きい値とした第２差分画像と、を生成する被写体特定装置。
4. 請求項３に記載の被写体特定装置において、
   前記２値化処理部は、前記第１差分画像および前記第２差分画像を２値化して、複数の２値化画像を生成する被写体特定装置。
5. 請求項４に記載の被写体特定装置において、
   前記第１生成部は、前記入力画像の色空間のチャネルごとに前記第１画像を生成し、
   前記第２生成部は、前記色空間のチャネルごとに前記第１差分画像および前記第２差分画像を生成し、
   前記２値化処理部は、前記色空間のチャネルごとに複数の２値化画像を生成し、
   前記特定部は、前記色空間の各チャネルで生成された前記複数の２値化画像から対象画像を抽出する被写体特定装置。
6. 請求項５に記載の被写体特定装置において、
   前記２値化処理部は、前記第１差分画像を２値化するときの閾値を前記第１差分画像の画素値の標準偏差により決定し、前記第２差分画像を２値化するときの閾値を前記第２差分画像の画素値の標準偏差により決定する被写体特定装置。
7. 請求項２から請求項６のいずれか１項に記載の被写体特定装置において、
   前記評価部は、前記２値化画像の一方の画素のまとまりを示す島領域の面積と、前記島領域の慣性モーメントとを用いて評価を行う被写体特定装置。
8. 請求項７に記載の被写体特定装置において、
   前記評価部は、前記島領域での前記入力画像と前記第１画像との差分を用いて評価を行う被写体特定装置。
9. 入力画像の画素値に基づいて第１画像を生成する手順と、
   前記第１画像の画素値と前記入力画像の画素値とに基づいて生成される差分の画像であって、所定の値未満となる差分値を前記差分値よりも大きい値とした第２画像を生成する手順と、
   前記第２画像を２値化して、複数の２値化画像を生成する手順と、
   前記複数の２値化画像から対象画像を抽出し、前記対象画像に基づいて画像に含まれる被写体の位置を特定する手順と、
   をコンピュータに実行させるプログラム。