JP2009081786A - 撮像装置、被写体分離方法、およびプログラム - Google Patents

Abstract

【課題】 奥行きのある空間を確保した被写体を背景から分離可能な撮像装置、被写体分離方法、およびプログラムの提供
【解決手段】 撮影者が、被写体５１のクラブヘッドのアドレス位置をＡ点（最も手前のフォーカス位置）として指定し、以下、図２（ｂ）に示すように、手前から順に、Ｂ点、Ｃ点というようにフォーカス位置を指定すると、デジタルカメラはＡ−Ｃ間の空間５２を切り出し、フォーカス位置Ａ、Ｂ、Ｃで囲まれた被写体５１を分離するためのエッジ部分を抽出して背景と被写体５１を分離する。
【選択図】 図２

Description

本発明は、デジタルカメラ等の撮像装置におけるフォーカス領域の自動調整及び被写体分離技術に関する。

従来のデジタルカメラで撮影した画像をパソコンに送信若しくは入力し、パソコン側で撮影画像を取り込んだ後、その画像を加工する技術や画像全体を変形する技術が知られている。また、パソコン上で、取り込んだ撮影画像の背景から主要被写体を分離する技術や画像に絵や文字を追記できるという技術も知られている。

また、デジタルカメラで画像を撮影し、その撮影画像の背景から主要被写体を切り出す技術として、ＣＣＤとＣＣＤの出力信号を処理する信号処理部の間に低周波フィルタを設けることにより、画像の背景からの主要被写体の分離を可能としたものがある（例えば、特許文献１参照）。

同特許文献１には、 絞りを開放にし、適正露出になるようにシャッタスピードを設定し、所望の被写体に合焦させ撮影し、得られた画像信号を低周波遮断フィルタに通し、所望の被写体の画像（信号）を得るように構成したデジタルカメラが開示されており、このデジタルカメラを構成する撮像手段は、レンズ、絞り、シャッターなどを含み、入力された光を撮像部上に投射する。撮像部は、ＣＣＤであり、光信号を電気信号へ変換する。低周波遮断フィルタは、両者の間にあって、光信号の低周波成分を遮断する。これにより、ボケた領域の画像情報を低周波遮断フィルタを使ってカットし、主要被写体（合焦した被写体）を背景から切り出す技術が開示されている。

しかし、同特許文献１の技術では、デジタルカメラに新たにハードウエア（低周波遮断フィルタ）を設けなければならない点と、切り出した画像が主要被写体だけを含んでいるとは限らないという不具合があった。

これに対し、低周波遮断フィルタ等のハードウェアを設けることなくデジタルカメラで画像を撮影し、その撮影画像の背景から主要被写体を切り出す技術として、抽出手段が被写体抽出を実施する際には、撮影条件制御手段によって撮像条件を制御して、被写体抽出に適した画像を撮像手段から取得する（抽出手段は、注目領域抽出、輪郭抽出を経て、画像中で合焦した被写体だけを抽出する）。この時、抽出手段の抽出結果によっては、さらにフィードバックをかけ、撮像条件を変更する。抽出した被写体像を第２の画像を背景として合成することによって、新たな合成写真を得る技術が開示されている。

上記特許文献２に記載の発明のポイントは、同特許文献２の段落「００４９」に記載のように、「撮像条件制御手段１０２によって、被写体抽出に最適な画像を得るために、撮像条件を制御できることに有り、さらに、抽出結果によってはそのフィードバックによって撮像条件を再度変更可能な点である。撮像条件を変更することによって、被写体抽出に容易な画像を取得することができる」点にあり、更に、同特許文献２の段落「００５０」、「００５１」に記載のように、「一般に、望遠側で絞りを開放して撮影すると、被写界深度が浅くなり、ピントが合う奥行きの距離が短くなる。被写界深度の深い画像において、絞りを開放して被写界深度を浅くすると、ピントが合っている奥行きが小さくなり、被写体だけにピントが合い、背景はボケた画像となる。」、「このような画像であれば、比較的少ない計算量で、背景から被写体を抽出することが容易となり、すなわち、デジタルカメラなどの乏しいハードウェアであっても実装可能である。」という点にある。
特開平１０−２６０４６２号公報 特開平２００６−１２８７５４号公報

しかしながら、上記特許文献２に記載の技術では、上述した、同特許文献２の段落「００５０」、「００５１」の記載および同文献２の請求項３の「請求項１記載の撮像装置であって、前記撮像条件は、絞り、シャッター速度、感度を含み、これら３つのパラメータを撮影して得られる画像の被写界深度が浅くなるよう制御することを特徴とする撮像装置」とあることから明らかなように、抽出する被写体の被写界深度は浅くなるように制御されているので抽出される被写体には奥行きのある空間が確保されないといった不具合があった。

本発明は、撮影時に、フォーカス位置を複数指定することで被写界深度を調整し、奥行きのある空間を確保した被写体像を背景から分離可能な撮像装置、フォーカス領域の自動調整による被写体分離方法、およびプログラムの提供を目的とする。

上記課題を解決するために、請求項１に記載の発明の撮像装置は、被写体像を取り込んで画像データに変換し、撮影時に被写体像をスルー表示する撮像系を備えた撮像装置において、スルー表示されている画像の中から所望の被写体の一部分をフォーカス位置として指定するフォーカス位置指定手段と、前記フォーカス位置指定手段によって指定された複数のフォーカス位置のうち最前面のフォーカス位置から順に奥に向かって絞り値を調節する絞り調整手段と、前記絞り調整手段による調整に応じて出力される高周波成分であるエッジを検出し、前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジを検出できる被写界深度を取得する被写界深度取得手段と、前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジ部分を抽出して背景と被写体像を分離する被写体分離手段と、を備えたことを特徴とする。

また、請求項２に記載の発明は請求項１に記載の撮像装置において、被写体分離手段によって境界により被写体像と分離されている背景を消去する背景消去手段と、撮影指示があると、前記撮像系から取り込んだ画像と前記背景消去手段によって背景が消去された被写体像を関連付けてメモリに記録する記録手段と、を備えたことを特徴とする。

また、請求項３に記載の発明は請求項２に記載の撮像装置において、スルー表示されている画像をフィルタリングにより走査してエッジを取得するフィルタリング手段と、取得したエッジが前記被写体分離手段によって検出されたエッジより外側の領域を低周波成分領域として、背景と被写体像の境界を画定して表示する境界表示手段と、を備えたことを特徴とする。

請求項４に記載の発明の撮像装置は、被写体像を取り込んで画像データに変換し、撮影時に被写体像をスルー表示する撮像系を備えた撮像装置において、スルー表示されている画像の中から所望の被写体の一部分をフォーカス位置として指定するフォーカス位置指定手段と、前記フォーカス位置指定手段によって指定された複数のフォーカス位置のうち最前面のフォーカス位置から順に絞り値を調節する絞り調整手段と、前記絞り調整手段による調整に応じて出力される高周波成分であるエッジを検出し、前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジを検出できる被写界深度を取得する被写界深度取得手段と、撮影指示を検出すると、前記撮像系から取り込んだ画像を撮影し、その撮影画像と前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジとを関連付けてメモリに記録する画像記録手段と、再生指示を検出すると、前記メモリに記録されていた画像を再生して表示すると共にその画像に関連付けられているエッジを取り出す画像再生手段と、画像再生手段によって表示された画像をフィルタリングにより走査してエッジを取得するフィルタリング手段と、取得したエッジが前記被写体分離手段によって検出されたエッジより外側の領域を低周波成分領域として、背景と被写体像の境界を画定して表示する境界表示手段と、を備えたことを特徴とする。

また、請求項５に記載の発明は請求項４に記載の撮像装置において、前記被写体分離手段によって境界により被写体像と分離されている背景を消去する背景消去手段と、撮影指示があると、前記撮像系から取り込んだ画像と前記背景消去手段によって背景が消去された被写体像を関連付けてメモリに記録する記録手段と、を備えたことを特徴とする。

請求項６に記載の発明の被写体分離方法は、被写体像を取り込んで画像データに変換し、撮影時に被写体像をスルー表示する撮像系を備えた撮像装置において、スルー表示されている画像の中から所望の被写体の一部分をフォーカス位置として指定するフォーカス指定ステップと、前記フォーカス位置指定ステップによって指定された複数のフォーカス位置のうち最前面のフォーカス位置から順に奥に向かって絞り値を調節する調整ステップと、
前記調整ステップによる調整に応じて出力される高周波成分であるエッジを検出し、前記フォーカス位置ステップによって指定された全てのフォーカス位置のエッジを検出できる被写界深度を取得する被写界深度取得ステップと、前記フォーカス位置指定ステップによって指定された全てのフォーカス位置のエッジ部分を抽出して背景と被写体像を分離する分離ステップと、スルー表示されている画像をフィルタリングにより走査してエッジを取得するフィルタリングステップとからなり、前記フィルタリングステップによって取得したエッジが前記分離ステップによって検出されたエッジより外側の領域を低周波成分領域として、背景と被写体像の境界を画定して表示することを特徴とする。

請求項７に記載の発明の被写体分離方法は、被写体像を取り込んで画像データに変換し、撮影時に被写体像をスルー表示する撮像系を備えた撮像装置において、スルー表示されている画像の中から所望の被写体の一部分をフォーカス位置として指定するフォーカス指定ステップと、前記フォーカス位置指定ステップによって指定された複数のフォーカス位置のうち最前面のフォーカス位置から順に奥に向かって絞り値を調節する調整ステップと、前記調整ステップによる調整に応じて出力される高周波成分であるエッジを検出し、前記フォーカス位置指定ステップによって指定された全てのフォーカス位置のエッジを検出できる被写界深度を取得する被写界深度取得ステップと、撮影指示を検出すると、前記撮像系から取り込んだ画像を撮影し、その撮影画像と前記フォーカス位置指定ステップによって指定された全てのフォーカス位置のエッジとを関連付けてメモリに記録する画像記録ステップと、再生指示を検出すると、前記メモリに記録されていた画像を再生して表示すると共にその画像に関連付けられているエッジを取り出す画像再生ステップと、前記画像再生ステップによって表示された画像をフィルタリングにより走査してエッジを取得するフィルタリングステップと、からなり、前記フィルタリングステップによって取得したエッジが前記被写体分離ステップによって検出されたエッジより外側の領域を低周波成分領域として、背景と被写体像の境界を画定して表示することを特徴とする。

請求項８に記載の発明のプログラムは、被写体像を取り込んで画像データに変換し、撮影時に被写体像をスルー表示する撮像系を備えた撮像装置のコンピュータを制御するためのプログラムであって、前記コンピュータを、スルー表示されている画像の中から所望の被写体の一部分をフォーカス位置として指定するフォーカス指定手段、前記フォーカス位置指定手段によって指定された複数のフォーカス位置のうち最前面のフォーカス位置から順に奥に向かって絞り値を調節する絞り調整手段、前記絞り調整手段による調整に応じて出力される高周波成分であるエッジを検出し、前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジを検出できる被写界深度を取得する被写界深度取得手段、前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジ部分を抽出して背景と被写体像を分離する分離手段、スルー表示されている画像をフィルタリングにより走査してエッジを取得するフィルタリング手段、前記フィルタリング手段によって取得したエッジが前記分離手段によって検出されたエッジより外側の領域を低周波成分領域として、背景と被写体像の境界を画定して表示する表示手段、として機能させる。

請求項９に記載の発明のプログラムは、被写体像を取り込んで画像データに変換し、撮影時に被写体像をスルー表示する撮像系を備えた撮像装置のコンピュータを制御するためのプログラムであって、前記コンピュータを、スルー表示されている画像の中から所望の被写体の一部分をフォーカス位置として指定するフォーカス指定手段、前記フォーカス位置指定手段によって指定された複数のフォーカス位置のうち最前面のフォーカス位置から順に奥に向かって絞り値を調節する絞り調整手段、前記絞り調整手段による調整に応じて出力される高周波成分であるエッジを検出し、前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジを検出できる被写界深度を取得する被写界深度取得手段、撮影指示を検出すると、前記撮像系から取り込んだ画像を撮影し、その撮影画像と前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジとを関連付けてメモリに記録する画像記録手段と、再生指示を検出すると、前記メモリに記録されていた画像を再生して表示すると共にその画像に関連付けられているエッジを取り出す画像再生手段、前記画像再生手段によって表示された画像をフィルタリングにより走査してエッジを取得するフィルタリング手段、前記フィルタリング手段によって取得したエッジが前記被写体分離手段によって検出されたエッジより外側の領域を低周波成分領域として、背景と被写体像の境界を画定して表示する表示手段、として機能させる。

本発明によれば、撮影時に、フォーカスエリアを複数指定し、被写体の距離がカメラに
最も近い側から最も遠い位置の範囲で絞りなどを自動で調整し被写体の被写界深度を確保するので、被写体を奥行きを持った空間として認識でき、被写体と背景のエッジを検出し、被写体像を背景から分離することができる。また、動画や連写時にも応用が可能である。
一例を挙げれば、図２に示すようなゴルフスイングを撮影する場合、背景や周囲の人などにより被写体全体が認識しにくいが、本発明を適用すると、被写体の被写界深度が確保されるので、奥行きのある空間を確保した被写体像を分離することができることから、背景から分離（切り出す）ことで被写体像を浮き立たせることができる。

本発明の実施形態に係わる撮像装置の一実施例として用いるデジタルカメラの電子回路の構成例を示すブロック図である。図１で、デジタルカメラ１００は、基本モードである撮影モードにおいて、ズームレンズ１２−１を移動させて光学ズーム動作を行わせるズーム駆動部１１−１、フォーカスレンズ１２−２を移動させて合焦動作を行わせるＡＦ駆動部１１−２、ズームレンズ１２−１及びフォーカスレンズ１２−２を含む撮像レンズを構成するレンズ光学系１２、撮像素子であるＣＣＤ１３、タイミング発生器（ＴＧ）１４、垂直ドライバ１５、サンプルホールド回路（Ｓ／Ｈ）１６、Ａ／Ｄ変換器１７、カラープロセス回路１８、ＤＭＡ（Direct Memory Access）コントローラ１９、ＤＲＡＭインターフェイス（Ｉ／Ｆ）２０、ＤＲＡＭ２１、制御部２２、ＶＲＡＭコントローラ２３、ＶＲＡＭ２４、デジタルビデオエンコーダ２５、表示部２６、ＪＰＥＧ回路２７、保存メモリ２８、被写体分離部２９、およびキー入力部３０を備えている。

撮影モードでのモニタリング状態においては、ズーム駆動部１１−１は、光学ズーム指示があると制御部２２からの制御信号に基づいて図示しないズームレンズ駆動モータを駆動してズームレンズ１２−１を光軸に沿って前後に移動させることによりＣＣＤ１３に結像させる画像の倍率そのものを変化させる。

ＡＦ駆動部１１−２は図示しないフォーカスレンズ駆動モータを駆動してフォーカスレンズ１２−２を移動させる。

そして、上記撮像レンズを構成する光学系１２の撮影光軸後方に配置された撮像素子であるＣＣＤ１３が、タイミング発生器（ＴＧ）１４、垂直ドライバ１５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１フレーム分出力する。

ＣＣＤ１３は被写体の二次元画像を撮像する固体撮像デバイスであり、典型的には毎秒数十フレームの画像を撮像する。なお、撮像素子はＣＣＤに限定されずＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像デバイスでもよい。

この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路（Ｓ／Ｈ）１６でサンプルホールドされ、Ａ／Ｄ変換器１７でデジタルデータ（画素）に変換され、カラープロセス回路１８で画像補間処理及びγ補正処理を含むカラープロセス処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ１９に出力される。

ＤＭＡコントローラ１９は、カラープロセス回路１８の出力する輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、同じくカラープロセス回路１８からの複合（composite）同期信号、メモリ書き込みイネーブル信号、及びクロック信号を用いてＤＲＡＭインターフェイス（Ｉ／Ｆ）２０を介してバッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送する。

制御部２２は、このデジタルカメラ１００全体の制御動作を司るものであり、ＣＰＵ若しくはＭＰＵ（以下、ＣＰＵ）と、後述するような複数合焦点指定による被写体分離プログラムを含む該ＣＰＵで実行される動作プログラム等を格納したプログラム格納メモリ、及びワークメモリとして使用されるＲＡＭ等により構成され、上記輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインターフェイス２０を介してＤＲＡＭ２１から読出し、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に書込む。

制御部２２は、また、キー入力部３０からの状態信号に対応してフラッシュメモリ等のプログラム格納用メモリに格納されている各モードに対応の処理プログラムやメニューデータを取り出して、デジタルカメラ１００の各機能の実行制御、例えば、本発明に基づく複数合焦点指定による被写体分離動作や、光学ズーム時のズームレンズの動作制御や、電子ズームや、スルー表示、自動合焦、撮影、記録、及び記録した画像の再生・表示等の実行制御等や機能選択時の機能選択メニューの表示制御、設定画面の表示制御等を行う。

例えば、制御部２２は、ユーザによって指定されたフォーカスエリア（合焦領域）のうち、もっとも手前のフォーカスエリアから最も奥のフォーカスエリア間の空間を切り出し、手前のフォーカスエリアに合焦させながら、指定された全てのフォーカスエリアにエッジが検出できる被写界深度を確保する。

デジタルビデオエンコーダ２５は、上記輝度及び色差信号をＶＲＡＭコントローラ２３を介してＶＲＡＭ２４から定期的に読み出し、これらのデータを基にビデオ信号を生成して上記表示部２６に出力する。

表示部２６は、上述したように撮影モード時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ２５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ２３から取込んでいる画像情報に基づく画像をリアルタイムに液晶モニタ画面に表示することになる。

制御部２２は合焦指示に応じてその時点でＣＣＤ１３から取込んでいる１フレーム分の輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送の終了後、直ちにＣＣＤ１３からのＤＲＡＭ２１への経路を停止し、記録保存の状態に遷移する。

この保存記録の状態では、制御部２２がＤＲＡＭ２１に書込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインターフェイス２０を介してＹ、Ｃｂ、Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出してＪＰＥＧ（Joint Photograph cording Experts Group）回路２７に書込み、このＪＰＥＧ回路２７でＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）、エントロピー符号化方式であるハフマン符号化等の処理によりデータ圧縮する。そして得た符号データを１画像のデータファイルとしてＪＰＥＧ回路２７から読出し、保存メモリ２８に記録保存する。また、１フレーム分の輝度及び色差信号の圧縮処理及び保存メモリ２８への全圧縮データの書込み終了に伴って、制御部２２はＣＣＤ１３からＤＲＡＭ２１への経路を再び起動する。

また、基本モードである再生モード時には、制御部２２が保存メモリ２８に記録されている画像データを選択的に読出し、ＪＰＥＧ回路２７で画像撮影モード時にデータ圧縮した手順とまったく逆の手順で圧縮されている画像データを伸張し、伸張した画像データをＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に展開して記憶させた上で、このＶＲＡＭ２４から定期的に読出し、これらの画像データを元にビデオ信号を生成して表示部２６で再生出力させる。

上記ＪＰＥＧ回路２７は複数の圧縮率に対応しており、圧縮率に対応させて記憶するモードには圧縮率の低い高解像度（一般に、高精細、ファイン、ノーマルなどと呼ばれる）に対応するモードと圧縮率の高い低解像度（一般にエコノミーなどと呼ばれる）モードがある。また、高画素数から低画素数にも対応している。

保存メモリ２８は、内蔵メモリ（フラッシュメモリ）やハードディスク、あるいは着脱可能なメモリカード等の記録媒体からなり画像データや撮影情報等を保存記録する。

被写体分離部２９は、撮像レンズにより結像された被写体像の画像データ、つまり、カラープロセス回路１８の出力からハイパスフィルタを用いてエッジ（高周波成分）を取り出す。そして、制御部２２が、ユーザによって指定された全てのフォーカスエリアにエッジが検出できる被写界深度を確保すると、背景と被写体像とを分離するためのエッジ部分を抽出し、境界エリアをライン（線分）化して表示する。例えば画面の端から中央に向かってエッジを探し検出エッジより外側のエリアは低周波成分として、消去又は編集対象とする。被写体分離部２９は、ハイパスフィルタの閾値を予め登録したフィルタテーブルを変更することにより、被写体に合わせエッジ（高周波成分）が検出可能なように調整する。フィルタテーブルとしては例えば特開２００１−２１５４０４号公報に記載されているようなものを採用することができる。

キー入力部３０は、モードダイアル２、カーソルキー５、ＳＥＴキー６、ズームボタン、シャッターキー８、および電源ボタン９と、キーが操作されると操作されたキーの操作信号を生成して制御部２２に送出するキー処理部（図示せず）等から構成されている。

シャッターキー８は、撮影時にレリーズ操作を行うもので、２段階のストロークを有しており、１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための合焦指示信号を発生し、２段目の操作（全押し状態）で撮影処理を行うための撮影指示信号を発生する。なお、「被写体分離モード」が選択された場合は１段目の操作（半押し状態）を行っても合焦指示信号は発生されない。

＜実施形態１＞
（撮影時にリアルタイムで被写体像を分離する場合）
本実施形態で、デジタルカメラ１００はプログラム格納メモリまたは保存メモリ１００に被写体分離部２９でフィルタリングの際に用いるフィルタテーブルを複数格納しているものとする。フィルタテーブルには絞り値に応じたハイパスフィルタの値が設定されている。なお、設定値は各フィルタテーブル毎に異なっている。

本実施形態では、撮影時、つまり、スルー画像表示時にユーザが複数のフォーカスポイントを指定すると、デジタルカメラ１００は、指定したフォーカスポイントの全てでエッジが検出できる被写界深度を確保し、被写体分離部２９は背景と分離するためのエッジ部分を抽出し、境界エリアをリアルタイムでライン化して表示する。例えば画面の端から中央に向かってエッジを探し検出エッジより外側のエリアは低周波成分として、消去又は編集対象とする。

図２は、本発明に基づく複数合焦点指定による被写体分離方法の説明図であり、ゴルフスイングを例としている。
図２（ａ）で、撮影者が、被写体５１のクラブヘッドのアドレス位置をＡ点（最も手前のフォーカス位置（合焦点））として指定し、以下、図２（ｂ）に示すように、手前から順に、Ｂ点（クラブを振り上げたときのグリップ位置）、Ｃ点（クラブを振り上げたときのクラブヘッド位置）とフォーカス位置を指定する。図示の例では、Ｃ点が予想される最も奥の点となるが、指定するフォーカス位置は３点に限定されない。つまり、少なくとも、奥行きを確保するために最も手前の部分と最も後ろの部分の２点の指定は必須であるが、２点以上の複数の点を指定できる。

図２の例ではＡ点が最も手前のフォーカス位置、Ｃ点が最も奥のフォーカス位置であり、撮影者がフォーカス位置指定終了操作（例えば、ＳＥＴキー６の押し下げ）を行うと、デジタルカメラ１００はＡ−Ｃ間の空間５２を切り出す。Ａ−Ｃ間の切り出し空間５２は被写界深度を示す。

フォーカス位置は、被写体分離モードにおいて、スルー画像が表示されているときに、撮影者がスルー画像中でフォーカス位置として指定したい部分がカメラの中心に表示される合焦枠内に収まるようにしてからシャッターキー８を半押し操作することにより指定できる。また、ＳＥＴキー６の押し下げをフォーカス位置指定終了操作とすることができる。フォーカス位置の指定は、背景から分離したい被写体像の一番手前と思われる部分（図２の例ではＡ点）から順に指定し、最も奥と思われる部分（（図２の例ではＣ点）の指定を終えるとフォーカス位置指定終了操作を行うようにする。この場合、シャッターキー８の半押し操作を行っても合焦指示信号は発生されない。合焦指示信号はフォーカス位置指定終了操作を行った後になされるシャッターキー８の半押し操作によって発生する。

なお、フォーカス位置の指定方法は上述した方法（つまり、背景から分離したい被写体の一番手前と思われる部分から順に指定し、最も奥と思われる部分までを指定する方法）に限定されない。
例えば、被写体がカメラ中央に位置することを前提にして、周辺部の低周波数エリアから順にフォーカスエリアを指定するようにしてもよい。

実施例では上述したようにフォーカス位置の指定をシャッターキー８を半押し操作でおこない、ＳＥＴ６キーの押し下げをフォーカス位置指定終了操作でおこなうとしたがこれに限定されない。例えば、フォーカス位置の指定をカーソルキー５の操作、指定確認をＳＥＴキー６の押し下げ操作、フォーカス位置指定終了操作をシャッターキー８の半押し操作（同時に合焦指示信号が発生する）としてもよい。

また、上記フォーカス位置の指定の際、指定された部分を枠で囲んだり、強調表示して、撮影者に指定済みフォーカス位置がわかり易いようにすることが望ましい。
更に、フォーカス位置が指定されると、フォーカスレンズ１２−２を移動させると共に通常のＡＦ動作を行なう場合と同様に評価値を取得し、液晶モニタ画面４に表示されている指定済みフォーカス位置のうち合焦ポイントが近似しているフォーカス位置毎に略同一色の合焦枠を表示するようにして被写界深度が同じ範囲内であるか否かを示すようにしてもよい。

なお、背景とフォーカス位置を囲む枠の色が略同じ場合は枠が見えないので枠の色を背景の色とは異なるようにしてもよい。背景によって色を変える方法として公知の方法、例えば、設計上、予め設定されている合焦枠の色と背景との色の近似度を求めて、近い場合は色を変えるようにする方法を用いることができる。色はデータの色成分で決まるので、色の識別は可能であり、例えば枠線の周囲の画素の色の平均値と枠線の色を比較し、所定値より近かったら第２の色に変更することができる。

図３は、撮影時（スルー画像表示中）に被写体像を分離する場合の、複数合焦点指定による被写体分離プログラムの制御による制御部２２および被写体分離部２９の動作例を示すフローチャートである。以下、図１〜図３を基に説明する。なお、ステップＳ５で用いるフィルタテーブルは最初のループでは標準値を設定した標準テーブルが用いられ、次のループからは制御部２２によって指定されたテーブルが用いられる。

図３で、撮影者が電源ボタン９を操作して主電源をオンにし、モードダイアル１を操作して撮影モードに設定すると、制御部２２はスルー画像の表示を開始するようにデジタルカメラ１００の各構成部分を制御してスルー画像を表示させると共に、撮影モードの種類選択用のメニュー（図示せず）を表示して撮影モードの選択を促し、撮影者が「被写体分離モード」を選択するとステップＳ２に進み、「被写体分離モード」以外の撮影モードが選択されると選択された撮影モードの処理に進む（ステップＳ１）。

撮影者はスルー画像中で背景から分離（切り取り）したい空間の範囲を上述したようにシャッターキー８の半押し操作により、複数のフォーカス位置を指定することにより指定し（図２参照）、指定が終わるとフォーカス位置指定終了操作を行うので、制御部２２は、指定されたフォーカス位置（例えば、画面上の座標値）をＤＲＡＭ２０に順次記憶し、フォーカス位置指定終了操作を検出するとステップＳ３に進む。なお、この際、制御部２２は指定されたフォーカス位置を枠で囲んで明示するように表示部２６を制御する（ステップＳ２）。

フォーカス位置指定終了操作を検出すると、制御部２２は一次記憶メモリに記憶した最も手前のフォーカス位置を基に、ＡＦ駆動部１１−２を制御してフォーカスレンズ１２−２を駆動し、最も手前のフォーカス位置に合焦させ、絞り値を取得する（ステップＳ３）。

次に、取得した絞り値を基に、ステップＳ３で取得した各フォーカス位置について、手前から奥に、絞り値を自動調整しながらエッジ（高周波成分）を検出する動作を繰り返し、ステップＳ２で指定した全てのフォーカス位置のエッジ検出を終了した場合は全てのフォーカス位置のエッジ検出を検出できる被写界深度を確保してステップＳ５に進み、そうでない場合はこのステップの動作を繰り返す（ステップＳ４）。

制御部２２は被写体分離部２９を制御してスルー画像表示状態で背景と指定したフォーカス位置で囲まれた被写体を分離するためのエッジ部分を抽出して背景と被写体を分離する。被写体分離部２９は、フィルタテーブルの値を基にフィルタリングにより、画面の端から、中央に向かってエッジを探し検出エッジより外側のエリアは低周波成分として背景と被写体の境界部分を取得し（ステップＳ５）、背景と被写体像の境界エリアをリアルタイムでライン化（線で被写体の輪郭をなぞるように）して表示する（ステップＳ６）。

撮影者は、表示された境界を見て被写体像を背景から分離する場合は背景消去指示操作（例えば、ＳＥＴキー６の押し下げ）を行うので、制御部２２は、キー入力部３０からの信号を調べ、背景消去指示操作があった場合はステップＳ８に進み、そうでない場合はステップＳ９に進む（ステップＳ７）。

背景消去指示操作があった場合は、制御部２２は被写体分離部２９を制御して、取り込んだ画像から境界外のエリアを低周波成分領域として消去した画像をＤＲＡＭ２０の所定領域に保持（一時記憶）してからステップＳ９に進む。これにより、背景から所望の被写体像を分離することができる（ステップＳ８）。

制御部２２は、分離する被写体像が境界エリア内に示されている画像でよいか否かを問うメッセージ、つまり、境界エリア変更の要否を問うメッセージを表示し、撮影者に指示を促し、撮影者が境界エリア変更指示操作（例えば、ＳＥＴキー６の押し下げ）を行うとステップＳ１０に進み、シャッターキー８を全押しするとステップＳ１１に進む（ステップＳ９）。

撮影者が境界エリア変更指示操作を行うと、制御部２２は被写体分離部２９が用いるフィルタテーブルを変更してステップＳ５に戻る（ステップＳ１０）。

シャッターキー８が全押し操作されると撮影処理を実行し、撮影された画像とステップＳ８でＤＲＡＭ２０の所定領域に保持した画像（背景から分離した被写体像）を関連付けて保存メモリ２８に記録させ、１枚分の画像の撮影を終了する（ステップＳ１１）。

上記図３のフローチャートに示した動作により、デジタルカメラ１００は、被写体をリアルタイムに奥行きを持った空間として認識でき、被写体像と背景画像のエッジを検出し、被写体像を分離することができる。また、本実施形態で述べた複数合焦点指定による被写体分離方法は、動画や連写時にも応用が可能である。

＜実施形態２＞
（撮影後に被写体像を分離する場合）
上記実施形態１では撮影時（スルー画像表示時）に背景から被写体像を分離するようにしたが、撮影後、撮影画像の背景から被写体像を分離することもできる。この場合は、図３のフローチャートのステップＳ５以降が異なるのみであり、その他については、実施形態１の場合と同様である。以下、図４のフローチャートに基づいて説明する

図４は、撮影後に撮影画像から被写体像を分離する場合の、複数合焦点指定による被写体分離プログラムの制御による制御部２２および被写体分離部２９の動作例を示すフローチャートである。以下、図１〜図３を基に説明する。なお、ステップＴ７で用いるフィルタテーブルは最初のループでは標準値を設定した標準テーブルが用いられ、次のループからは制御部２２によって指定されたテーブルが用いられる。

図４で、撮影者が電源ボタン９を操作して主電源をオンにし、モードダイアル１を操作して撮影モードに設定すると、制御部２２はスルー画像の表示を開始するようにデジタルカメラ１００の各構成部分を制御してスルー画像を表示させると共に、撮影モードの種類選択用のメニュー（図示せず）を表示して撮影モードの選択を促し、撮影者が「被写体分離モード」を選択するとステップＴ２に進み、「被写体分離モード」以外の撮影モードが選択されると選択された撮影モードの処理に進む（ステップＴ１）。

撮影者はスルー画像中で背景から分離（切り取り）したい空間の範囲を上述したようにシャッターキー８の半押し操作により、複数のフォーカス位置を指定することにより指定し（図２参照）、指定が終わるとフォーカス位置指定終了操作を行うので、制御部２２は、指定されたフォーカス位置（例えば、画面上の座標値）をＤＲＡＭ２０に順次記憶し、フォーカス位置指定終了操作を検出するとステップＴ３に進む。なお、この際、制御部２２は指定されたフォーカス位置を枠で囲んで明示するように表示部２６を制御する（ステップＴ２）。

フォーカス位置指定終了操作を検出すると、制御部２２は一次記憶メモリに記憶した最も手前のフォーカス位置を基に、ＡＦ駆動部１１−２を制御してフォーカスレンズ１２−２を駆動し、最も手前のフォーカス位置に合焦させ、絞り値を取得する（ステップＴ３）。

次に、取得した絞り値を基に、ステップＴ３で取得した各フォーカス位置について、手前から奥に、絞り値を自動調整しながらエッジ（高周波成分）を検出する動作を繰り返し、ステップＴ２で指定した全てのフォーカス位置のエッジ検出を終了した場合は全てのフォーカス位置のエッジ検出を検出できる被写界深度を確保してステップＴ５に進み、そうでない場合はこのステップの動作を繰り返す（ステップＴ４）。

シャッターキー６５が全押し操作されると撮影処理を実行し、制御部２２は撮影画像とＤＲＡＭ２０に保持されているフォーカス位置を関連付けて保存メモリ２８に記録させて１枚分の画像の撮影を終了する（ステップＴ５）。

次に、撮影者がモードダイアル１を操作さして再生モードに設定すると、制御部２２はステップＴ４で保存メモリ２８に記録した撮影画像を読み出し、再生処理を施した画像データを表示部３０に送って表示させる。また、画像に関連付けて記録されていたフォーカス位置を被写体分離部２９に送る（ステップＴ６）。

また、制御部２２は被写体分離部２９を制御し、記録されていたフォーカス位置で囲まれた被写体を分離するためのエッジ部分を抽出して背景と被写体を分離する。被写体分離部２９は、フィルタテーブルの値を基にフィルタリングにより、画面の端から、中央に向かってエッジを探し検出エッジより外側のエリアは低周波成分として背景と被写体の境界部分を取得し（ステップＴ７）、背景と被写体像の境界エリアをリアルタイムでライン化（線で被写体の輪郭をなぞるように）して表示する（ステップＴ８）。

撮影者は、表示された境界を見て被写体像を背景から分離する場合は背景消去指示操作（例えば、ＳＥＴキー６の押し下げ）を行うので、制御部２２は、キー入力部３０からの信号を調べ、背景消去指示操作があった場合はステップＴ１０に進み、そうでない場合はステップＴ１１に進む（ステップＴ９）。

背景消去指示操作があった場合は、制御部２２は被写体分離部２９を制御して、取り込んだ画像から境界外のエリアを低周波成分領域として消去した画像をＤＲＡＭ２０の所定領域に保持（一時記憶）してからステップＴ１３に進む。これにより、背景から所望の被写体像を分離することができる（ステップＴ１０）。

制御部２２は、分離する被写体像が境界エリア内に示されている画像でよいか否かを問うメッセージ、つまり、境界エリア変更の要否を問うメッセージを表示し、撮影者に指示を促し、撮影者が境界エリア変更指示操作（例えば、ＳＥＴキー６の押し下げ）を行うとステップＴ１２に進み、そうでない場合はステップＴ１３に進む（ステップＴ１１）。

撮影者が境界エリア変更指示操作を行うと、制御部２２は被写体分離部２９が用いるフィルタテーブルを変更してステップＴ７に戻る（ステップＴ１２）。

保存メモリ２８に記録されている再生画像の元画像撮影された画像とステップＴ１０でＤＲＡＭ２０の所定領域に保持した画像（背景から分離した被写体像）を関連付けて保存メモリ２８に記憶させる（ステップＴ１３）。

次の画像を再生する場合はユーザは次画像再生指示操作（例えば、カーソルキー５を右方（→）操作若しくは下方（↓）操作してからＳＥＴキー６を押す）を行うので、制御部はキー入力部３０からの信号を調べ、次画像再生指示操作があった場合は分離したステップＴ７に戻り、１枚分の画像の撮影を終了する（ステップＴ１４）。

上記図４のフローチャートに示した動作により、デジタルカメラ１００は、撮影画像（静止画）においても、撮影画像を再生して、被写体を奥行きを持った空間として認識でき、被写体像と背景のエッジを検出し、被写体像を分離することができる。

上記図３のステップＳ８および図４のステップＴ１０では、取り込んだ画像から境界外のエリアを低周波成分領域として消去するようにしたが、低周波成分領域を消去するのではなく、高周波成分領域を被写体像領域として特定し、抽出するようにしてもよい。

本発明の実施形態に係わる撮像装置の一実施例として用いるデジタルカメラの電子回路の構成例を示すブロック図である。 本発明に基づく複数合焦点指定による被写体分離方法の説明図である。 実施形態１に係わるデジタルカメラの撮影時の動作例を示すフローチャートである。 実施形態２に係わるデジタルカメラの撮影時の動作例を示すフローチャートである。

符号の説明

６ ＳＥＴキー
８ シャッターキー
２２ 制御部
２９ 被写体分離部
１００ デジタルカメラ（電子カメラ）

Claims (9)

1. 被写体像を取り込んで画像データに変換し、撮影時に被写体像をスルー表示する撮像系を備えた撮像装置において、
   スルー表示されている画像の中から所望の被写体の一部分をフォーカス位置として指定するフォーカス位置指定手段と、
   前記フォーカス位置指定手段によって指定された複数のフォーカス位置のうち最前面のフォーカス位置から順に奥に向かって絞り値を調節する絞り調整手段と、
   前記絞り調整手段による調整に応じて出力される高周波成分であるエッジを検出し、前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジを検出できる被写界深度を取得する被写界深度取得手段と、
   前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジ部分を抽出して背景と被写体像を分離する被写体分離手段と、
   を備えたことを特徴とする撮像装置。
2. 前記被写体分離手段によって境界により被写体像と分離されている背景を消去する背景消去手段と、撮影指示があると、前記撮像系から取り込んだ画像と前記背景消去手段によって背景が消去された被写体像を関連付けてメモリに記録する記録手段と、を備えたことを特徴とする請求項１に記載の撮像装置。
3. スルー表示されている画像をフィルタリングにより走査してエッジを取得するフィルタリング手段と、取得したエッジが前記被写体分離手段によって検出されたエッジより外側の領域を低周波成分領域として、背景と被写体像の境界を画定して表示する境界表示手段と、を備えたことを特徴とする請求項２に記載の撮像装置。
4. 被写体像を取り込んで画像データに変換し、撮影時に被写体像をスルー表示する撮像系を備えた撮像装置において、
   スルー表示されている画像の中から所望の被写体の一部分をフォーカス位置として指定するフォーカス位置指定手段と、
   前記フォーカス位置指定手段によって指定された複数のフォーカス位置のうち最前面のフォーカス位置から順に絞り値を調節する絞り調整手段と、
   前記絞り調整手段による調整に応じて出力される高周波成分であるエッジを検出し、前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジを検出できる被写界深度を取得する被写界深度取得手段と、
   撮影指示を検出すると、前記撮像系から取り込んだ画像を撮影し、その撮影画像と前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジとを関連付けてメモリに記録する画像記録手段と、
   再生指示を検出すると、前記メモリに記録されていた画像を再生して表示すると共にその画像に関連付けられているエッジを取り出す画像再生手段と、
   画像再生手段によって表示された画像をフィルタリングにより走査してエッジを取得するフィルタリング手段と、
   取得したエッジが前記被写体分離手段によって検出されたエッジより外側の領域を低周波成分領域として、背景と被写体像の境界を画定して表示する境界表示手段と、を備えたことを特徴とする撮像装置。
5. 前記被写体分離手段によって境界により被写体像と分離されている背景を消去する背景消去手段と、撮影指示があると、前記撮像系から取り込んだ画像と前記背景消去手段によって背景が消去された被写体像を関連付けてメモリに記録する記録手段と、を備えたことを特徴とする請求項４に記載の撮像装置。
6. 被写体像を取り込んで画像データに変換し、撮影時に被写体像をスルー表示する撮像系を備えた撮像装置において、
   スルー表示されている画像の中から所望の被写体の一部分をフォーカス位置として指定するフォーカス指定ステップと、
   前記フォーカス位置指定ステップによって指定された複数のフォーカス位置のうち最前面のフォーカス位置から順に奥に向かって絞り値を調節する調整ステップと、
   前記調整ステップによる調整に応じて出力される高周波成分であるエッジを検出し、前記フォーカス位置ステップによって指定された全てのフォーカス位置のエッジを検出できる被写界深度を取得する被写界深度取得ステップと、
   前記フォーカス位置指定ステップによって指定された全てのフォーカス位置のエッジ部分を抽出して背景と被写体像を分離する分離ステップと、
   スルー表示されている画像をフィルタリングにより走査してエッジを取得するフィルタリングステップとからなり、
   前記フィルタリングステップによって取得したエッジが前記分離ステップによって検出されたエッジより外側の領域を低周波成分領域として、背景と被写体像の境界を画定して表示することを特徴とする被写体分離方法。
7. 被写体像を取り込んで画像データに変換し、撮影時に被写体像をスルー表示する撮像系を備えた撮像装置において、
   スルー表示されている画像の中から所望の被写体の一部分をフォーカス位置として指定するフォーカス指定ステップと、
   前記フォーカス位置指定ステップによって指定された複数のフォーカス位置のうち最前面のフォーカス位置から順に奥に向かって絞り値を調節する調整ステップと、
   前記調整ステップによる調整に応じて出力される高周波成分であるエッジを検出し、前記フォーカス位置指定ステップによって指定された全てのフォーカス位置のエッジを検出できる被写界深度を取得する被写界深度取得ステップと、
   撮影指示を検出すると、前記撮像系から取り込んだ画像を撮影し、その撮影画像と前記フォーカス位置指定ステップによって指定された全てのフォーカス位置のエッジとを関連付けてメモリに記録する画像記録ステップと、
   再生指示を検出すると、前記メモリに記録されていた画像を再生して表示すると共にその画像に関連付けられているエッジを取り出す画像再生ステップと、
   前記画像再生ステップによって表示された画像をフィルタリングにより走査してエッジを取得するフィルタリングステップと、
   からなり、前記フィルタリングステップによって取得したエッジが前記被写体分離ステップによって検出されたエッジより外側の領域を低周波成分領域として、背景と被写体像の境界を画定して表示することを特徴とする被写体分離方法。
8. 被写体像を取り込んで画像データに変換し、撮影時に被写体像をスルー表示する撮像系を備えた撮像装置のコンピュータを制御するためのプログラムであって、
   前記コンピュータを、
   スルー表示されている画像の中から所望の被写体の一部分をフォーカス位置として指定するフォーカス指定手段、
   前記フォーカス位置指定手段によって指定された複数のフォーカス位置のうち最前面のフォーカス位置から順に奥に向かって絞り値を調節する絞り調整手段、
   前記絞り調整手段による調整に応じて出力される高周波成分であるエッジを検出し、前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジを検出できる被写界深度を取得する被写界深度取得手段、
   前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジ部分を抽出して背景と被写体像を分離する分離手段、
   スルー表示されている画像をフィルタリングにより走査してエッジを取得するフィルタリング手段、
   前記フィルタリング手段によって取得したエッジが前記分離手段によって検出されたエッジより外側の領域を低周波成分領域として、背景と被写体像の境界を画定して表示する表示手段、
   として機能させるためのプログラム。
9. 被写体像を取り込んで画像データに変換し、撮影時に被写体像をスルー表示する撮像系を備えた撮像装置のコンピュータを制御するためのプログラムであって、
   前記コンピュータを、
   スルー表示されている画像の中から所望の被写体の一部分をフォーカス位置として指定するフォーカス指定手段、
   前記フォーカス位置指定手段によって指定された複数のフォーカス位置のうち最前面のフォーカス位置から順に奥に向かって絞り値を調節する絞り調整手段、
   前記絞り調整手段による調整に応じて出力される高周波成分であるエッジを検出し、前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジを検出できる被写界深度を取得する被写界深度取得手段、
   撮影指示を検出すると、前記撮像系から取り込んだ画像を撮影し、その撮影画像と前記フォーカス位置指定手段によって指定された全てのフォーカス位置のエッジとを関連付けてメモリに記録する画像記録手段と、
   再生指示を検出すると、前記メモリに記録されていた画像を再生して表示すると共にその画像に関連付けられているエッジを取り出す画像再生手段、
   前記画像再生手段によって表示された画像をフィルタリングにより走査してエッジを取得するフィルタリング手段、
   前記フィルタリング手段によって取得したエッジが前記被写体分離手段によって検出されたエッジより外側の領域を低周波成分領域として、背景と被写体像の境界を画定して表示する表示手段、
   として機能させるためのプログラム。

Images