JP2012235333A - 撮像装置、画像処理装置および画像処理プログラム - Google Patents
撮像装置、画像処理装置および画像処理プログラム Download PDFInfo
- Publication number
- JP2012235333A JP2012235333A JP2011102931A JP2011102931A JP2012235333A JP 2012235333 A JP2012235333 A JP 2012235333A JP 2011102931 A JP2011102931 A JP 2011102931A JP 2011102931 A JP2011102931 A JP 2011102931A JP 2012235333 A JP2012235333 A JP 2012235333A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- imaging
- area
- locations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】 撮像時の露光条件などによらず、所望する被写体の画像領域を正確に分離するためのシード設定することができる技術を提供することを目的とする。
【解決手段】 画像を取得する撮像部と、複数の箇所を測距することにより、複数の箇所の合焦状態を検出する合焦検出部と、画像において処理対象の対象被写体の第1画像領域とそれ以外の第2画像領域とに分離するために、第1画像領域および第2画像領域それぞれの参照箇所を、複数の箇所の合焦状態に基づいて設定する設定部と、を備える。
【選択図】 図1
【解決手段】 画像を取得する撮像部と、複数の箇所を測距することにより、複数の箇所の合焦状態を検出する合焦検出部と、画像において処理対象の対象被写体の第1画像領域とそれ以外の第2画像領域とに分離するために、第1画像領域および第2画像領域それぞれの参照箇所を、複数の箇所の合焦状態に基づいて設定する設定部と、を備える。
【選択図】 図1
Description
本発明は、撮像装置、画像処理装置および画像処理プログラムに関する。
従来、画像のうち、所望する被写体に対してのみ画像処理を施すために、その被写体の画像領域を抽出し分離する様々な技術が開発されている。
例えば、所望する被写体およびそれ以外の背景の画像領域それぞれの画素や一部分をサンプル(シード)として設定し、それらのシードをグラフの最小切断(グラフカット)に適用してエネルギーを最小にすることにより、画像から所望する被写体の画像領域を分離する技術がある(特許文献1など参照)。
しかしながら、従来技術では、例えば、撮像時の露光条件に応じてコントラストが変化するなど、画像における被写体の露光状態が変化することから、所望する被写体の画像領域を正確に分離できないという問題がある。
また、ユーザによる所望する被写体および背景の画像領域のシードの設定の仕方によっても処理結果が異なってしまう場合がある。
上記従来技術が有する問題を鑑み、本発明の目的は、撮像時の露光条件などによらず、所望する被写体の画像領域を正確に分離するためのシード設定することができる技術を提供することにある。
上記課題を解決するために、本発明の撮像装置は、画像を取得する撮像部と、複数の箇所を測距することにより、複数の箇所の合焦状態を検出する合焦検出部と、画像において処理対象の対象被写体の第1画像領域とそれ以外の第2画像領域とに分離するために、第1画像領域および第2画像領域それぞれの参照箇所を、複数の箇所の合焦状態に基づいて設定する設定部と、を備える。
また、画像から対象被写体を検出する被写体検出部を備え、設定部は、第1画像領域および第2画像領域それぞれの参照箇所を、複数の箇所の合焦状態と検出された対象被写体の大きさとに基づいて設定してもよい。
また、設定部は、複数の箇所のうち合焦された箇所に位置する被写体を対象被写体と設定してもよい。
また、撮像部の撮像レンズの焦点距離を検出する距離検出部を備え、設定部は、合焦検出部によって測距された対象被写体までの距離と焦点距離とに基づいて、第1画像領域および第2画像領域それぞれの参照箇所の設定が可能か否かを判定してもよい。
また、第1画像領域および第2画像領域それぞれの参照箇所の情報を、画像に付加する情報付加部を備えてもよい。
本発明の画像処理装置は、撮像時における複数の箇所の合焦状態の情報が付加された画像において、処理対象の対象被写体の第1画像領域とそれ以外の第2画像領域とに分離するために、第1画像領域および第2画像領域それぞれの参照箇所を、複数の箇所の合焦状態に基づいて設定する設定部を備える。
本発明の画像処理プログラムは、撮像時における複数の箇所の合焦状態の情報が付加された画像を読み込む手順、画像において処理対象の対象被写体の第1画像領域とそれ以外の第2画像領域とに分離するために、第1画像領域および第2像領域それぞれの参照箇所を、複数の箇所の合焦状態に基づいて設定する手順、をコンピュータに実行させる。
本発明によれば、撮像時の露光条件などによらず、所望する被写体の画像領域を正確に分離するためのシード設定することができる。
《一の実施形態》
図1は、本発明の一の実施形態に係るカメラ100の構成を示すブロック図である。本実施形態のカメラ100は、一眼レフデジタルカメラであるとし、図1に示すように、カメラ100は、レンズ部と本体部とからなる。また、カメラ100は、レンズ部と本体部とを電気的に接続する電気接点7を備える。なお、本実施形態のカメラ100は、一眼レフカメラとしたが、コンパクトカメラなどの撮像装置であってもよい。
図1は、本発明の一の実施形態に係るカメラ100の構成を示すブロック図である。本実施形態のカメラ100は、一眼レフデジタルカメラであるとし、図1に示すように、カメラ100は、レンズ部と本体部とからなる。また、カメラ100は、レンズ部と本体部とを電気的に接続する電気接点7を備える。なお、本実施形態のカメラ100は、一眼レフカメラとしたが、コンパクトカメラなどの撮像装置であってもよい。
レンズ部は、繰り出し可能な撮像レンズ1、絞り2、撮像レンズ1を駆動するレンズ駆動部3、撮像レンズ1の焦点距離を検出する距離検出部4、絞り2を制御する絞り制御部5、レンズ部の各部を制御するレンズ側マイコン6を備える。
レンズ駆動部3は、焦点調節のために撮像レンズ1を繰り出し、距離検出部4は、撮像レンズ1のレンズ繰出し量を検出し、撮像レンズ1が像を結ぶ距離を検出する。以上説明した各機能は、レンズ側マイコン6によって制御される。
一方、本体部は、撮像レンズ1からの光束を分岐するクイックリターンミラー10、焦点板11、ペンタプリズム12を備える。さらに、ペンタプリズム12からの光束を構図確認に用いるための接眼レンズ13、被写体の情報の取得するための再結像レンズ14、測光センサ15を備える。なお、測光センサ15には、例えば、CCDイメージセンサやCMOSイメージセンサなどのイメージセンサを適宜選択して用いることができる。
また、本体部は、撮像素子16、シャッタ17、焦点検出に用いる光束を導くサブミラー18を備える。さらに、本体部は、測光センサ15によって撮像された構図確認用の低解像度画像(スルー画)や、撮像素子16によって取得した撮像画像などを表示する表示部19を備える。また、本体部は、各部を制御するボディ側マイコン20、焦点検出部21、シャッタ17を制御するシャッタ制御部22、撮像素子16を駆動する撮像素子駆動部23、測光センサ15や撮像素子16からの画像に画像処理を施す画像処理部24を備える。
カメラ100は、被写体からの光束を撮像レンズ1および絞り2を通過して、クイックリターンミラー10に導く。カメラ100は、撮像時にクイックリターンミラー10を跳ね上げるとともに、シャッタ17を開放し、被写体からの光束を撮像素子16の撮像面上に結像する。そして、撮像素子16によって撮像された画像信号は、不図示のA/D変換器によってデジタル信号化され、画像処理部24によって画像処理が施される。処理された画像信号は、不図示のRAMに記憶される。なお、撮像素子16は、測光センサ15と同様に、CCDイメージセンサやCMOSイメージセンサなどのイメージセンサを適宜選択して用いることができる。また、撮像素子16の画素には、赤、緑、青などのオンチップカラーフィルタが、例えば、ベイヤ配列の配列で設けられる。
一方、カメラ100は、撮像以外の構図確認時などでは、クイックリターンミラー10を下げ、被写体からの光束の一部を、クイックリターンミラー10に反射させ、焦点板11上に結像させる。この像の一部の光束は、ペンタプリズム12を介して、接眼レンズ13に導かれる。ユーザは、接眼レンズ13を介して、この像を観察することにより構図を確認することができる。一方、残りの光束は、再結像レンズ14を介して、測光センサ15の撮像面上に結像される。
また、下がった状態のクイックリターンミラー10を透過した、被写体からの光束の一部は、サブミラー18によって焦点検出部21に導かれる。焦点検出部21は、例えば、撮像レンズ1を通過する光束を用いて、視差を有する被写体の2像を1対のイメージセンサアレー上に導き、イメージセンサアレーの画像出力から像の相対的ずれ量を算出して合焦状態を判別する、いわゆる位相差方式の焦点検出を行う。焦点検出部21は、後述するように、複数の箇所である複数のオートフォーカス(AF)領域を測距して、複数のAF領域における合焦状態であるデフォーカス量を算出する合焦検出部として動作する。なお、焦点検出部21は、コントラスト方式の焦点検出を行ってもよい。
ボディ側マイコン20は、カメラ100の各部を統括的に制御するプロセッサである。例えば、ボディ側マイコン20は、不図示のROMなどに記憶されている制御プログラムを読み込んで実行し、測光センサ15や焦点検出部21からの出力に応じたAF制御や公知の自動露出(AE)演算などをそれぞれ行う。また、本実施形態のボディ側マイコン20は、後述するように、画像処理部24に所望する被写体(対象被写体)の画像領域(第1画像領域)とそれ以外の背景の画像領域(第2画像領域)とを分離させるために、それぞれの画像領域の参照箇所であるシードを、焦点検出部21によって検出されたデフォーカス量に基づいて設定する設定部として動作する。
画像処理部24は、不図示のROMなどに記憶されている画像処理プログラムに基づいて、撮像された画像データの補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理などのデジタル処理などを施す。また、画像処理部24は、画像処理プログラムに基づいて、公知の手法による人物の顔などの被写体を検出する被写体検出部として動作する。さらに、画像処理部24は、ボディ側マイコン20によって設定されたシードに基づいて、対象被写体の画像領域とそれ以外の背景の画像領域との分離処理も行う。
次に、カメラ100の動作処理について、図2のフローチャートを参照しつつ説明する。
例えば、ユーザにより、操作部材(不図示)のレリーズ釦が半押しされると、カメラ100のボディ側マイコン20は、ステップS100からの処理を開始する。
なお、本実施形態では、カメラ100は、図3に示すような構図の被写体を撮像するものとする。また、カメラ100の焦点検出部21は、例えば、図4(a)に示すAF領域A1〜A30の30ヶ所における合焦状態を検出するものとする。ただし、AF領域の数や配置は、撮像する被写体などに応じて適宜決定されることが好ましい。また、以下の説明では、対象被写体を人物とする。
ステップS100:ボディ側マイコン20は、測光センサ15に対し、撮像面上に結像された被写体の撮像指示を出力する。測光センサ15は、図3に示すような被写体を撮像しスルー画30を生成する。測光センサ15は、スルー画30を画像処理部24に出力する。
ステップS101:画像処理部24は、スルー画30に対する被写体検出を行う。なお、本実施形態における被写体検出の手法は、例えば、目、鼻、口などの形に基づいて行われるパターンマッチングによる公知の手法を用いるものとする。画像処理部24は、被写体検出の結果をボディ側マイコン20に送信する。ボディ側マイコン20は、検出された人物を対象被写体として設定する。
ステップS102:ボディ側マイコン20は、検出された対象被写体に配置されたAF領域、例えば、図4(b)に示すAF領域A15(実線の四角)を、後述する対象被写体のシードの設定において基準となるAF領域として選定し設定する。同時に、ボディ側マイコン20は、焦点検出部21に、AF領域A15で合焦させる。ここで、図4(b)は、図3の被写体の構図と、図4(a)のAF領域A1〜A30との相対的な位置関係の一例を示す。
ステップS103:焦点検出部21は、AF領域A15で合焦させるとともに、AF領域A1〜A30を測距しデフォーカス量を検出する。ボディ側マイコン20は、検出されたAF領域A1〜A30の測距結果およびデフォーカス量を、内部メモリ(不図示)に一時的に記録する。なお、AF領域A15に合焦させることから、AF領域A15でのデフォーカス量は0となる。
ステップS104:ボディ側マイコン20は、操作部材(不図示)のレリーズ釦が全押しされ、ユーザにより撮像指令を受けたか否かを判定する。ボディ側マイコン20は、撮像指令を受けたと判定した場合、撮像素子16に図3の構図の被写体を撮像させて撮像画像40を生成させ、ステップS105(YES側)へ移行する。一方、ボディ側マイコン20は、撮像指令を受けていないと判定した場合、ステップS100(NO側)へ移行し、撮像指令を受けるまでステップS100〜ステップS103の処理を行う。
ステップS105:ボディ側マイコン20は、AF領域A15における対象被写体までの距離および距離検出部4による撮像レンズ1の焦点距離に基づいて、撮像画像40において、対象被写体の画像領域を分離するためのシードの設定が可能か否かを判定する。
ここで、図5は、公知のデフォーカス量の算出方法により、レンズ部の焦点距離と被写体距離とに応じて、背景のデフォーカス量が背景の距離とともにどのように変化するかを算出した結果の一例を示す。図5に示すように、たとえ被写体距離が同じでも、背景の距離が遠くなるに従い、デフォーカス量が大きくなる。また、たとえ被写体距離および背景距離が同じでも、レンズ部の焦点距離が大きくなるに従い、デフォーカス量が大きくなることも示す。さらに、被写体距離が遠くなるに従い、たとえ背景距離が同じでも、デフォーカス量は急激に小さくなることを示す。
ところで、図5において、例えば、被写体距離が2mおよび焦点処理が35mmなどのようにデフォーカス量が全体的に小さい場合、対象被写体と背景との画像領域の判別が困難となり、その後の画像処理部24による分離処理の精度が低下する。そこで、本実施形態では、例えば、図5において、黒色の棒グラフで示めされる被写体距離と焦点距離との場合のみ、デフォーカス量に基づいて、撮像画像40から対象被写体および背景の画像領域のシードの設定を行う。そして、本実施形態のカメラ100は、本体部の不図示のROMに、図5に示すような、デフォーカス量に基づいてシードの設定可能な被写体距離および焦点距離を一覧にしたデータを記憶させて有するものとする。
したがって、ボディ側マイコン20は、上記データに基づいて、シードの設定が可能と判定した場合、ステップS106(YES側)へ移行し、シードの設定が不可能と判定した場合、ステップS109(NO側)へ移行する。
ステップS106:ボディ側マイコン20は、次式(1)に基づいて、各AF領域A1〜A30の画像領域が、対象被写体または背景のいずれかであるかを判定する。
対象被写体: デフォーカス量 < ThO
背景: デフォーカス量 > ThB …(1)
不明: ThO ≦ デフォーカス量 ≦ ThB
ここで、しきい値ThOおよびThBは、図5に示すように、被写体距離および焦点距離に応じてそれぞれ決定される。図5は、一例として、被写体距離が1m、かつ焦点距離が35mmまたは70mmの場合における、しきい値ThOおよびThBの設定例を点線で示す。そして、このようなしきい値ThOおよびThBは、上記シードの設定可能な被写体距離および焦点距離の一覧と対応付けて、不図示のROMに予め記憶されているものとする。
対象被写体: デフォーカス量 < ThO
背景: デフォーカス量 > ThB …(1)
不明: ThO ≦ デフォーカス量 ≦ ThB
ここで、しきい値ThOおよびThBは、図5に示すように、被写体距離および焦点距離に応じてそれぞれ決定される。図5は、一例として、被写体距離が1m、かつ焦点距離が35mmまたは70mmの場合における、しきい値ThOおよびThBの設定例を点線で示す。そして、このようなしきい値ThOおよびThBは、上記シードの設定可能な被写体距離および焦点距離の一覧と対応付けて、不図示のROMに予め記憶されているものとする。
ボディ側マイコン20は、しきい値ThOより小さいデフォーカス量を有する、すなわちAF領域A15と同一距離の範囲にあるAF領域を、対象被写体の人物に配置された他のAF領域とする。一方、ボディ側マイコン20は、しきい値ThBより大きいデフォーカス量を有するAF領域を、背景に配置されたAF領域とする。また、ボディ側マイコン20は、しきい値ThO以上かつしきい値ThB以下のデフォーカス量を有するAF領域を、どちらにも属さない「不明」のAF領域とする。なお、本実施形態における「不明」とは、対象被写体と同一距離になく、背景ほど距離が離れていないAF領域であるとともに、後述するように、空などコントラストが低いデフォーカス量が求め辛いAF領域も含む。
ところで、式(1)の判別式のみでは、ボディ側マイコン20は、対象被写体に配置されていないにも関わらず、デフォーカス量がしきい値ThOより小さいAF領域を、対象被写体に配置されたAF領域と判別してしまう場合がある。例えば、図4(b)において、左側に位置する木が人物と同一距離にあった場合、ボディ側マイコン20は、AF領域A1、A7、A13、A19、A25も人物に配置されたAF領域と判定してしまう。そこで、本実施形態のボディ側マイコン20は、図6に示すように、ステップS101で画像処理部24が検出した顔の大きさに基づいて、人物が存在し得る被写体範囲50を演算する。ボディ側マイコン20は、その被写体範囲50の範囲内にあるか否かの判定も併せて行うことにより、各AF領域が対象被写体に配置されているか否かを判定する。これにより、図4(b)の場合、ボディ側マイコン20は、AF領域A1、A7、A13、A19、A25を背景のAF領域と判定する。
なお、図6に示す被写体範囲50の大きさは、顔の長さFhおよび顔の幅Fwそれぞれの3倍および2倍としたが、人物の撮像状態(全身や上半身など)に応じて適宜決定されることが好ましい。
図7は、式(1)と被写体範囲50とに基づいて、ボディ側マイコン20により各AF領域A1〜A30がいずれの画像領域に属するかを判定した結果の一例を示す。ここで、白色のAF領域は、対象被写体に配置されたAF領域を示し、黒色のAF領域は、背景に配置されたAF領域を示し、グレーのAF領域は、「不明」の領域を示す。なお、図7に示すように、AF領域A9、A10、A14、A16、A20、A22、A26、A28は、対象被写体と同一距離でないが、背景ほど距離が離れていない「不明」の領域である。一方、空に配置されたAF領域A3、A4、A6は、コントラストが低いためにデフォーカス量が求められなかった「不明」の領域である。
ステップS107:ボディ側マイコン20は、人物に配置されたAF領域A15、A21、A27における画像領域を対象被写体のシードとして設定する。同時に、ボディ側マイコン20は、図7において黒色のAF領域の画像領域を背景のシードとして設定する。ボディ側マイコン20は、設定した対象被写体および背景のシード情報を内部メモリ(不図示)に記憶する。
なお、本実施形態では、シードとして設定される画像領域の大きさをAF領域の大きさとしたが、対象被写体の大きさ、或いは要求される分離処理の精度や処理速度などに応じて、シードとして設定される画像領域の大きさを適宜調節するのが好ましい。例えば、AF領域に対象被写体以外の画像成分が含まれている場合、処理精度を上げるために、AF領域の大きさよりも小さい画像領域をシードとして設定するのが好ましい。また、AF領域の大きさよりも対象被写体の方が十分大きい場合、処理速度を上げるために、AF領域の大きさよりも大きい画像領域をシードとして設定するのが好ましい。このように、シードとして設定される画像領域の大きさを、各AF領域における画像の状態に応じて決めることで、対象被写体の画像領域をより確度高く分離することができる。
ステップS108:ボディ側マイコン20は、撮像画像40とともに、対象被写体および背景のシード情報を、画像処理部24へ転送する。画像処理部24は、それらのシードをグラフカットなどの公知の画像領域分離方法に適用して、撮像画像40から人物の画像領域を抽出し分離する。画像処理部24は、分離した人物の画像領域に対して、例えば、人物が逆光により暗く写っていた場合、明るくする補正処理などの画像処理を行う。画像処理部24は、処理した撮像画像40を不図示のROMなどに記録する。
ステップS109:ボディ側マイコン20は、処理した撮像画像40に、対象被写体および背景のシード情報を、撮像時の露光情報、AF領域A1〜A30の測距およびデフォーカス量、およびレンズ部の焦点距離などとともに付加して画像ファイルを生成する。例えば、画像ファイルは、Exif(Exchangeable image file format for digital still cameras)規格やTIFF/EP規格などに準拠した形式で生成される。ボディ側マイコン20は、生成した画像ファイルを、着脱可能な不揮発性の半導体メモリである不図示のメモリカードなどに記録し、一連の処理を終了する。なお、ステップS106において、シードの設定が不可能と判定された撮像画像40には、シード情報は付加されない。
このように、本実施形態では、デフォーカス量に基づいて、対象被写体に配置されたAF領域における画像領域をシードとして設定することから、ユーザ毎のシードの設定の仕方や撮像時の露光条件などに左右されず、対象被写体の画像領域を正確に分離することができる。
また、対象被写体の被写体距離およびレンズ部の焦点距離に応じて、対象被写体の画像領域が確実に分離できるか否かを予め判断してシードを設定することから、対象被写体の画像領域を確度高く分離することができる。
《他の実施形態》
図8は、本発明の他の実施形態に係るコンピュータ200の構成を示す図である。
《他の実施形態》
図8は、本発明の他の実施形態に係るコンピュータ200の構成を示す図である。
図8に示すコンピュータ200は、CPU110、記憶部120、メディアインタフェース(メディアI/F)130、入出力I/F140およびバス150から構成され、CPU110、記憶部120、メディアI/F130および入出力I/F140は、バス150を介して情報伝達可能に接続される。また、コンピュータ200には、入出力I/F140を介して、画像処理の途中経過や処理結果を表示する出力装置210、ユーザからの入力を受け付ける入力装置220がそれぞれ接続される。出力装置210には、一般的な液晶モニタやプリンタなどを、入力装置220には、キーボードやマウスなどをそれぞれ適宜選択して使用できる。
CPU110は、入力装置220を介して受け付けたユーザからの指示に基づいて、記憶部120に記憶されている画像処理プログラムを実行し、記憶部120や記憶媒体135に記憶された画像の画像処理を行う。CPU110は、その画像処理の結果を、出力装置210に表示する。CPU110には、一般的な中央演算装置を用いることができる。
記憶部120は、被写体が撮像された画像のデータだけでなく、画像処理プログラムなどを記憶する。また、本実施形態の記憶部120は、図5に示すような、デフォーカス量に基づいてシードの設定可能な被写体距離および焦点距離の一覧と、それらに対応付けられたしきい値ThOおよびThBとのデータを記憶する。さらに、記憶部120は、図6に示すような、検出された対象被写体の大きさに応じて、その対象被写体が存在し得る被写体範囲50を与える係数も予め記憶する。記憶部120に記憶される画像などのデータやプログラムなどは、バス150を介して、CPU110から適宜参照することができる。記憶部120には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。
メディアI/F130には、上述したように不揮発性の記憶媒体135を着脱可能に接続できる。そして、メディアI/F130は、記憶媒体135に対してデータの書き込み/読み込みを実行する。記憶媒体135は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図8では記憶媒体135の一例としてメモリカードを図示する。
次に、コンピュータ200による動作処理について、図9のフローチャートを参照しつつ説明する。
なお、以下の説明において、コンピュータ200が画像処理する画像は、一の実施形態に係るカメラ100などによって撮像された撮像画像40’であるとする。ただし、撮像画像40’には、撮像時の露光情報、レンズ部の焦点距離、図4(a)に示すように配置された各AF領域A1〜A30の測距情報およびデフォーカス量の情報が付加されているが、対象被写体および背景のシード情報は付加されていないものとする。さらに、本実施形態の撮像画像40’は、一の実施形態と同様に、図3に示す構図の被写体を撮像したものとし、記憶媒体135に予め記憶されている。また、対象被写体は人物であるとする。
例えば、ユーザが、入力装置220を用いて、画像処理プログラムのコマンドを入力、または、そのプログラムのアイコンをダブルクリックすることにより、プログラムの起動命令を出す。CPU110は、その命令を入出力I/F140を通じて受け付け、記憶部120に記憶されている画像処理プログラムを実行する。その結果、図9のステップS200からの処理が行われる。
ステップS200:CPU110は、メディアI/F130を介して、記憶媒体135に記憶されている撮像画像40’を読み込む。CPU110は、読み込んだ撮像画像40’に付加された撮像時の露光情報、レンズ部の焦点距離などの情報、およびAF領域A1〜A30の測距情報とデフォーカス量とを読み込む。
ステップS201:CPU110は、一の実施形態のステップS101と同様に、読み込んだ撮像画像40’に対する被写体検出を行う。CPU110は、検出された人物を対象被写体として設定する。
ステップS202:CPU110は、検出された対象被写体に配置されたAF領域、例えば、図4(b)に示すAF領域A15(実線の四角)を、対象被写体のシードの設定において基準となるAF領域として選定し設定する。
ステップS203:CPU110は、AF領域A15における測距情報を被写体距離とし、一の実施形態のステップS105と同様に、その被写体距離と焦点距離とに基づいて、撮像画像40’において、対象被写体の画像領域を分離するためのシードの設定が可能か否かを判定する。CPU110は、シードの設定が可能と判定した場合、ステップS204(YES側)へ移行し、シードの設定が不可能と判定した場合、ステップS207(NO側)へ移行する。
ステップS204:CPU110は、一の実施形態のステップS106と同様に、式(1)の判別式、デフォーカス量および被写体範囲50に基づいて、各AF領域A1〜A30における画像領域が、対象被写体または背景の画像領域のいずれに属するかを判定する。
ステップS205:CPU110は、例えば、図7に示すように、人物に配置されたAF領域A15、A21、A27における画像領域を対象被写体のシードとして設定する。同時に、CPU110は、図7において黒色のAF領域における画像領域を背景のシードとして設定する。CPU110は、設定した対象被写体および背景のシード情報を不図示の内部メモリに記憶する。
ステップS206:CPU110は、対象被写体および背景のシードを、グラフカットなどの公知の画像領域分離方法に適用して、撮像画像40’から人物の画像領域を抽出し分離する。CPU110は、分離した人物の画像領域に対して、例えば、人物が逆光により暗く写っていた場合、明るくする補正処理などの画像処理を行う。CPU110は、処理した撮像画像40’を出力装置210に表示する。
ステップS207:CPU110は、撮像画像40’に、対象被写体および背景のシードの情報を、撮像時の露光条件、AF領域A1〜A30の測距およびデフォーカス量、およびレンズ部の焦点距離などとともに付加して画像ファイルを生成する。CPU110は、生成した画像ファイルを記憶部120や記憶媒体135に記録し、一連の処理を終了する。なお、ステップS203において、シード設定が不可能だった撮像画像40’には、シード情報は付加されない。
このように、本実施形態では、デフォーカス量に基づいて、対象被写体に配置されたAF領域における画像領域をシードとして設定することから、ユーザ毎のシードの設定の仕方や撮像時の露光条件などに左右されず、対象被写体の画像領域を正確に分離することができる。
また、対象被写体の被写体距離およびレンズ部の焦点距離に応じて、対象被写体の画像領域が確実に分離できるか否かを予め判断してシードを設定することから、対象被写体の画像領域を確度高く分離することができる。
《実施形態の補足事項》
(1)上記実施形態では、対象被写体を人物としたが、本発明はこれに限定されない。例えば、画像処理部24およびCPU110は、ステップS101またはステップS201において、自動車などの被写体を検出してもよい。また、被写体範囲50の大きさは、検出される対象被写体に応じて決定されることが好ましい。
《実施形態の補足事項》
(1)上記実施形態では、対象被写体を人物としたが、本発明はこれに限定されない。例えば、画像処理部24およびCPU110は、ステップS101またはステップS201において、自動車などの被写体を検出してもよい。また、被写体範囲50の大きさは、検出される対象被写体に応じて決定されることが好ましい。
(2)上記実施形態では、一枚の撮像画像に対する画像処理を行ったが、本発明はこれに限定されず、動画や連写などの撮像モードで撮像された画像に対しても適用できる。そして、撮像モードに応じて、シードとして設定される画像領域の大きさを調整することが好ましい。例えば、一枚の撮像画像の場合には、分離処理を正確に行うために、AF領域よりも小さめの画像領域をシードと設定することが好ましく、動画や連写の場合には、分離処理を高速に行うために、AF領域よりも大きめの画像領域をシードと設定することが好ましい。
(3)上記実施形態では、AF領域の数を30としたが、本発明はこれに限定されず、被写体や要求される処理精度などに応じて、適宜決定されることが好ましい。
また、図3に示すようにAF領域を格子状に配置したが、撮像モードや撮像する被写体などに応じてAF領域を配置させることが好ましい。
(4)上記一の実施形態では、顔検出された人物を対象被写体とし、その対象被写体に配置されたAF領域に合焦させたが、本発明はこれに限定されない。例えば、不図示の操作部材を介して、ユーザが対象被写体を指定し、その指定された対象被写体に配置されたAF領域に合焦させてもよい。
(5)上記一の実施形態では、カメラ100が対象被写体および背景のシードの設定とともに、それらのシード情報に基づいて、対象被写体の画像領域を分離したが、本発明はこれに限定されない。例えば、カメラ100は、対象被写体および背景のシードを設定して、それらのシード情報を、撮像時の露光情報、レンズ部の焦点距離、および各AF領域A1〜A30の測距情報とデフォーカス量とともに撮像画像に付加するだけでもよい。すなわち、その後の他の実施形態に係るコンピュータ200が、撮像画像に付加されたシード情報に基づいて、対象被写体を分離してもよい。これにより、ステップS201〜ステップS205の処理を省略することができ、処理の高速化を図ることができる。
(6)上記他の実施形態では、コンピュータ200は、ステップS201において、顔検出された被写体を対象被写体としたが、本発明これに限定されず、撮像画像40’の撮像時に、合焦させたAF領域の位置の被写体を対象被写体に設定したり、入力装置220を介して、ユーザが指定した被写体を対象被写体に設定したりしてもよい。
以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神及び権利範囲を逸脱しない範囲で前述のような実施形態の特徴点及び利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良及び変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物及び均等物によることも可能である。
1 撮像レンズ、2 絞り、3 レンズ駆動部、4 距離検出部、5 絞り制御部、6 レンズ側マイコン、7 電気接点、10 クイックターンミラー、11 焦点板、13 ペンタプリズム、13 接眼レンズ、14 再結像レンズ、15 測光センサ、16 撮像素子、17 シャッタ、18 サブミラー、19 表示部、20 ボディ側マイコン、21 焦点検出部、22 シャッタ制御部、23 撮像素子駆動部、24 画像処理部、100 カメラ
Claims (7)
- 画像を取得する撮像部と、
複数の箇所を測距することにより、前記複数の箇所の合焦状態を検出する合焦検出部と、
前記画像において処理対象の対象被写体の第1画像領域とそれ以外の第2画像領域とに分離するために、前記第1画像領域および前記第2画像領域それぞれの参照箇所を、前記複数の箇所の合焦状態に基づいて設定する設定部と、
を備えることを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記画像から前記対象被写体を検出する被写体検出部を備え、
前記設定部は、
前記第1画像領域および第2画像領域それぞれの参照箇所を、前記複数の箇所の合焦状態と検出された前記対象被写体の大きさとに基づいて設定する
ことを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記設定部は、前記複数の箇所のうち合焦された箇所に位置する被写体を前記対象被写体と設定することを特徴とする撮像装置。 - 請求項1ないし請求項3のいずれか1項に記載の撮像装置において、
前記撮像部の撮像レンズの焦点距離を検出する距離検出部を備え、
前記設定部は、前記合焦検出部によって測距された前記対象被写体までの距離と前記焦点距離とに基づいて、前記第1画像領域および第2画像領域それぞれの参照箇所の設定が可能か否かを判定する
ことを特徴とする撮像装置。 - 請求項1ないし請求項4のいずれか1項に記載の撮像装置において、
前記第1画像領域および前記第2画像領域それぞれの参照箇所の情報を、前記画像に付加する情報付加部を備える
ことを特徴とする撮像装置。 - 撮像時における複数の箇所の合焦状態の情報が付加された画像において、処理対象の対象被写体の第1画像領域とそれ以外の第2画像領域とに分離するために、前記第1画像領域および前記第2画像領域それぞれの参照箇所を、前記複数の箇所の合焦状態に基づいて設定する設定部を備える
ことを特徴とする画像処理装置。 - 撮像時における複数の箇所の合焦状態の情報が付加された画像を読み込む手順、
前記画像において処理対象の対象被写体の第1画像領域とそれ以外の第2画像領域とに分離するために、前記第1画像領域および前記第2像領域それぞれの参照箇所を、前記複数の箇所の合焦状態に基づいて設定する手順、
をコンピュータに実行させることを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011102931A JP2012235333A (ja) | 2011-05-02 | 2011-05-02 | 撮像装置、画像処理装置および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011102931A JP2012235333A (ja) | 2011-05-02 | 2011-05-02 | 撮像装置、画像処理装置および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012235333A true JP2012235333A (ja) | 2012-11-29 |
Family
ID=47435224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011102931A Withdrawn JP2012235333A (ja) | 2011-05-02 | 2011-05-02 | 撮像装置、画像処理装置および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012235333A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016012094A (ja) * | 2014-06-30 | 2016-01-21 | リコーイメージング株式会社 | コントラストaf機能を備えたカメラ |
-
2011
- 2011-05-02 JP JP2011102931A patent/JP2012235333A/ja not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016012094A (ja) * | 2014-06-30 | 2016-01-21 | リコーイメージング株式会社 | コントラストaf機能を備えたカメラ |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11822211B2 (en) | Imaging optical system storing information on its aberration, imaging apparatus, and control method thereof | |
JP5183715B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5173954B2 (ja) | 画像処理装置及び画像処理方法 | |
US7978253B2 (en) | Image pickup device using blur processing and control method thereof | |
JP5843486B2 (ja) | 撮像装置およびその制御方法 | |
JP6116277B2 (ja) | 撮像装置及びその制御方法 | |
JP2008199486A (ja) | 一眼レフレックス型の電子撮像装置 | |
JP2010008443A (ja) | 撮像装置及び撮像方法 | |
US9602716B2 (en) | Focus-detection device, method for controlling the same, and image capture apparatus | |
JP4923587B2 (ja) | 焦点検出装置、方法およびカメラ | |
US9591203B2 (en) | Image processing apparatus, image processing method, recording medium, and image pickup apparatus | |
JP2006208443A (ja) | オートフォーカス装置 | |
JP4329694B2 (ja) | 撮像装置 | |
JP2013168723A (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
JP2017118342A (ja) | 撮影装置 | |
JP2012235333A (ja) | 撮像装置、画像処理装置および画像処理プログラム | |
JP2009258451A (ja) | 焦点検出装置 | |
JP2023034160A (ja) | 精度推定装置、撮像装置、精度推定方法、制御方法、及びプログラム | |
JP7387265B2 (ja) | 撮像素子、撮像装置、及び制御方法、並びにプログラム | |
JP2008299048A (ja) | 蓄積制御装置、焦点検出装置および撮像装置 | |
JP5773659B2 (ja) | 撮像装置および制御方法 | |
JP5352003B2 (ja) | 画像処理装置及び画像処理方法 | |
EP4346223A2 (en) | Display control apparatus and display control method therefor | |
WO2022201782A1 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP2011175172A (ja) | デジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140805 |