JP2006166212A - 画像処理方法、システム、装置及びプログラム並びにディジタルカメラ - Google Patents

Abstract

【課題】 ディジタル画像から特定の被写体を抽出する作業を容易にする画像処理方法、システム、装置及びプログラム並びにディジタルカメラを提供する。
【解決手段】 本発明に係る画像処理方法は、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と注目領域から焦点が外れている第二ディジタル画像とを生成する撮像段階と、第一ディジタル画像のエッジを表す第一エッジ画像を生成する第一エッジ画像生成段階と、第二ディジタル画像のエッジを表す第二エッジ画像を生成する第二エッジ画像生成段階と、第一エッジ画像と第二エッジ画像とを比較して位置及び形状が互いに似ているエッジを検出する検出段階と、検出段階で互いに似ているとして検出された第一エッジ画像のエッジと第二エッジ画像のエッジとの高さの差に基づいて第一ディジタル画像の注目領域に対応する領域を特定する領域特定段階と、を含む。
【選択図】 図１

Description

本発明は、画像処理方法、システム、装置及びプログラム並びにディジタルカメラに関する。

ディジタルカメラは、フィルムカメラのフィルムの感光部に比べてイメージセンサの感光部の面積が小さいため、フィルムカメラに比べて焦点距離が短いレンズを用いて被写体を撮像する。焦点距離が短いレンズを用いたディジタルカメラでは、奥行きのあるシーンを撮像して生成したディジタル画像でも、焦点の合っていない領域と焦点の合っている領域との鮮鋭度の差が小さくなる。

特許文献１には、ディジタルカメラによって奥行きを強調したディジタル画像を生成する方法が開示されている。特許文献１に開示された方法では、画角内を複数の領域に分割し、各領域毎に被写体までの距離を測定してディジタル画像を生成し、その後、注目領域までの距離と各領域までの距離との差に応じてディジタル画像の各領域をぼかすことにより、奥行きを強調する。

しかし、あるシーンを表すディジタル画像に基づいてそのディジタル画像を領域分割するのではなく、被写体までの距離を個別に測定される小領域に対応してディジタル画像を規則的に分割し、そのように分割された領域毎にぼけの程度を設定すると、規則的な形状の各領域の境界で鮮鋭度が不自然に変化するため、ぼけ方がブロック状になるという問題がある。

また、ディジタル画像から特定の被写体を抽出する処理は、画像の合成処理などの前処理として頻繁に行われる。従来の画像処理アプリケーションプログラムでは、複数のパラメータをディジタル画像の特性に応じて試行錯誤をくり返しながらきめ細かく設定する必要があったため、ディジタル画像から特定の被写体を抽出する処理をコンピュータに行わせる作業は難易度の高い作業であった。

特開平１１−２６６３８８号公報

本発明は、かかる事情に鑑みて創作されたものであって、ディジタル画像から特定の被写体を抽出する作業を容易にする画像処理方法、システム、装置及びプログラム並びにディジタルカメラを提供することを目的とする。

上記目的を達成するため、本発明に係る画像処理方法は、シーンを撮像してディジタル画像を生成する段階であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像段階と、前記第一ディジタル画像のエッジを表す第一エッジ画像を生成する第一エッジ画像生成段階と、前記第二ディジタル画像のエッジを表す第二エッジ画像を生成する第二エッジ画像生成段階と、前記第一エッジ画像と前記第二エッジ画像とを比較して位置及び形状が互いに似ているエッジを検出する検出段階と、前記検出段階で互いに似ているとして検出された前記第一エッジ画像のエッジと前記第二エッジ画像のエッジとの高さの差に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定段階と、を含む。

注目領域に焦点を合わせて撮像すると、その結果生成されるディジタル画像では、注目領域に対応する領域で鮮鋭度が高くなり、それ以外の領域で鮮鋭度が低くなる。また、ディジタルカメラで被写体までの距離とは無関係な特定の距離に焦点を合わせて撮像すると、偶然焦点が合った領域を除いてディジタル画像は全体に鮮鋭度が低くなる。このため、第一エッジ画像と第二エッジ画像とを比較すると、注目領域のエッジではエッジの高さの差が大きく、非注目領域のエッジでは高さの差が小さくなる傾向がある。この特性は撮像するシーンによらず単純で普遍的であるため、この特性をアルゴリズムに利用すると、ディジタル画像から特定の対象物を抽出する処理に用いるパラメータの設定を簡素化できる。従って、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易になる。ただし、注目領域から焦点が外れた第二ディジタル画像を生成すると、注目領域から焦点を外すためにレンズを移動することにより、第一ディジタル画像と第二ディジタル画像とで画角がずれてしまう。画角がずれると、非注目領域のエッジが注目領域のエッジとして誤って抽出されてしまう場合がある。第一エッジ画像と第二エッジ画像とで位置及び形状が互いに似ているエッジを検出してエッジの高さの差を求め、求めた差に基づいて注目領域に対応する領域を特定すると、第一ディジタル画像と第二ディジタル画像とで画角がずれても、非注目領域のエッジが注目領域のエッジとして抽出され難くなる。このため、注目領域に対応する領域をより確実に特定できる。

さらに本発明に係る画像処理方法では、前記第一エッジ画像生成段階において、前記第一ディジタル画像の縮小画像に基づいて前記第一エッジ画像を生成する。縮小画像に基づいて第一エッジ画像を生成すると処理量を低減でき、注目領域の特定に要する時間を短縮できる。
さらに本発明に係る画像処理方法では、前記第二エッジ画像生成段階において、前記第二ディジタル画像の縮小画像に基づいて前記第二エッジ画像を生成する。縮小画像に基づいて第二エッジ画像を生成すると処理量を低減でき、注目領域の特定に要する時間を短縮できる。

さらに本発明に係る画像処理方法では、前記第一エッジ画像生成段階において、前記第一ディジタル画像の注目画素及び当該注目画素を基準に所定範囲内にある画素の画素値のばらつきを求め、求めたばらつきに基づいて前記第一エッジ画像の当該注目画素に対応する画素の画素値を設定する。ばらつきに基づいて第一エッジ画像を生成すると、エッジ検出オペレータを用いて第一エッジ画像を生成する場合に比べ、ＣＣＤ（Charge Coupled Device）などのランダムなノイズによるエッジが表れ難い。このため、注目領域に対応する領域をより確実に特定できる。
さらに本発明に係る画像処理方法では、前記第二エッジ画像生成段階において、前記第二ディジタル画像の注目画素及び当該注目画素を基準に所定範囲内にある画素の画素値のばらつきを求め、求めたばらつきに基づいて前記第二エッジ画像の当該注目画素に対応する画素の画素値を設定する。ばらつきに基づいて第二エッジ画像を生成すると、注目領域に対応する領域をより確実に特定できる。

さらに本発明に係る画像処理方法では、前記第二ディジタル画像を調整範囲の限界近傍に焦点を設定して撮像することにより生成する。調整範囲の限界近傍に焦点を設定して注目領域に焦点が合う可能性は低いため、画一的な処理によって高い確率で注目領域に焦点が合っていない第二ディジタル画像を生成することができる。

さらに本発明に係る画像処理方法では、前記第一ディジタル画像の前記注目領域に対応する領域以外の領域の画素値を均一にする段階を含む。注目領域に対応する領域以外の領域の画素値を均一にすることにより、事後的に、第一ディジタル画像の注目領域に対応する領域を他のディジタル画像に合成することが容易になる。

さらに本発明に係る画像処理方法では、前記第一ディジタル画像の前記注目領域に対応する領域以外の領域を透明にする段階を含む。注目領域に対応する領域以外の領域を透明にすると、注目領域だけを他のディジタル画像の上に重畳合成することができる。
さらに本発明に係る画像処理方法では、前記注目領域に対応する領域以外の領域を透明にした前記第一ディジタル画像を前記第二ディジタル画像又は他のディジタル画像の上に重畳合成する段階をさらに含む。このため、注目領域だけを重畳合成した第二ディジタル画像、又は注目領域だけを重畳合成した他のディジタル画像を得ることができる。

上記目的を達成するため、本発明に係る画像処理システムは、シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、前記第一ディジタル画像のエッジを表す第一エッジ画像を生成する第一エッジ画像生成手段と、前記第二ディジタル画像のエッジを表す第二エッジ画像を生成する第二エッジ画像生成手段と、前記第一エッジ画像と前記第二エッジ画像とを比較して位置及び形状が互いに似ているエッジを検出する検出手段と、前記検出手段で互いに似ているとして検出された前記第一エッジ画像のエッジと前記第二エッジ画像のエッジとの高さの差に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定手段と、を備える。この画像処理システムによると、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易な上、注目領域に対応する領域をより確実に特定できる。

上記目的を達成するため、本発明に係る画像処理装置は、注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを同一シーンについて取得する取得手段と、前記第一ディジタル画像のエッジを表す第一エッジ画像を生成する第一エッジ画像生成手段と、前記第二ディジタル画像のエッジを表す第二エッジ画像を生成する第二エッジ画像生成手段と、前記第一エッジ画像と前記第二エッジ画像とを比較して位置及び形状が互いに似ているエッジを検出する検出手段と、前記検出手段で互いに似ているとして検出された前記第一エッジ画像のエッジと前記第二エッジ画像のエッジとの高さの差に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定手段と、を備える。この画像処理装置によると、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易な上、注目領域に対応する領域をより確実に特定できる。

上記目的を達成するため、本発明に係る画像処理プログラムは、注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを同一シーンについて取得する取得手段と、前記第一ディジタル画像のエッジを表す第一エッジ画像を生成する第一エッジ画像生成手段と、前記第二ディジタル画像のエッジを表す第二エッジ画像を生成する第二エッジ画像生成手段と、前記第一エッジ画像と前記第二エッジ画像とを比較して位置及び形状が互いに似ているエッジを検出する検出手段と、前記検出手段で互いに似ているとして検出された前記第一エッジ画像のエッジと前記第二エッジ画像のエッジとの高さの差に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定手段としてコンピュータを機能させる。この画像処理プログラムによると、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易な上、注目領域に対応する領域をより確実に特定できる。

上記目的を達成するため、本発明に係るディジタルカメラは、シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、前記第一ディジタル画像と前記第二ディジタル画像とを互いに関連付けて出力する出力手段と、を備える。

尚、請求項に記載された方法の各動作の順序は、技術上の阻害要因がない限り、記載順に限定されるものではなく、どのような順番で実行されてもよく、また同時に実行されてもよい。
また、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。

以下、本発明を実施するための最良の形態を実施例に基づいて説明する。
（画像処理システムの構成）
図２は、本発明の一実施例に係る画像処理方法を実行するために用いる画像処理システム１の構成を示す模式図である。本発明の一実施例に係る画像処理方法は、画像処理装置とディジタルスチルカメラ（ＤＳＣ）２を用いて実行する。画像処理装置としては、パーソナルコンピュータ（以下、ＰＣという。）３、ディジタル画像（以下、画像という。）を入力するためのインタフェースを備え画像を単独で印刷可能なプリンタ４などを用いる。

１．ＤＳＣ
図３は、本発明の一実施例によるＤＳＣ２を示すブロック図である。
レンズ１１は、所定距離離れた被写体の鮮鋭な画像がイメージセンサ１２の受光面に結像するように電動アクチュエータを駆動源とするレンズ駆動部１３によって駆動される。

シャッタ１４は、電動アクチュエータを駆動源とするシャッタ駆動部１５によって駆動される。
イメージセンサ１２は、２次元空間に離散的に配置された受光セルとＣＣＤ（Charge Coupled Device）等の電荷転送素子とを備えたエリアイメージセンサである。イメージセンサ１２は、センサ駆動部１６によって駆動される。イメージセンサ１２は、光電変換により得られる電荷を受光セル毎に蓄積し、受光セル毎の受光量に応じた電気信号を出力する。受光面にＣ（Cyan）、Ｍ（Magenta）、Ｙ（Yellow）及びＧ（Green）の４色の補色フィルタ、又はＲ（Red）、Ｇ（Green）及びＢ（Blue）の原色フィルタを設けることによりカラー画像を形成することが可能になる。

アナログディジタル変換器（ＡＤＣ）１７は、イメージセンサ１２から出力されるアナログ電気信号を量子化してディジタル信号に変換する。具体的には例えば、ＡＤＣ１７は、電気信号に含まれる雑音の低減処理、ゲイン及びオフセットの調整による電気信号のレベル調整処理、量子化処理等を行う。
ディジタル画像処理部１８は、ＡＤＣ１７から出力されたディジタル信号に対し、画像形成処理、ホワイトバランス補正、ガンマ補正、色空間変換等を施し、各画素についてＲ、Ｇ、Ｂの階調値や、Ｙ、Ｃｂ、Ｃｒの階調値などを表すディジタル画像を出力する。尚、ここでいう画像形成処理とは、受光セルから出力された一色分の階調値を近傍の受光セルの異なる色の階調値で補間することにより画素毎にＲＧＢ又はＹＣｂＣｒの３つの階調値を持つディジタル画像を出力する処理である。

圧縮・伸張部１９は、ディジタル画像を圧縮又は伸張する。具体的には、ディジタル画像の系列変換及びエントロピー符号化を行うことによりディジタル画像を圧縮し、それらの逆変換を施すことによりディジタル画像を伸張する。具体的には例えば離散コサイン変換、量子化、ランレングス符号化及びハフマン符号化を用いてディジタル画像を圧縮する。量子化に用いる量子化テーブルを変更することによって量子化ステップ幅を変更すると、圧縮率を変更することができる。

リムーバブルメモリインタフェース２０は、リムーバブルメモリ２１を脱着自在に接続可能であって、圧縮・伸張部１９によって圧縮されたディジタル画像をリムーバブルメモリ２１に格納する。また、圧縮・伸張部１９によって伸張されるディジタル画像は、リムーバブルメモリインタフェース２０によってリムーバブルメモリ２１から読み出される。ＤＳＣ２から画像処理装置に画像を伝送する媒体としては、リムーバブルメモリ２１の他に各種の電気通信回線を用いてもよい。

ワークメモリ２２は、ディジタル画像処理部１８及び圧縮・伸張部１９で処理されるデータを一時的に格納するためのメモリである。
制御部２３は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及びインタフェース回路を備える。制御部２３はＲＯＭに記憶されているコンピュータプログラムを実行することにより、ＤＳＣ２の全体を制御する。ＲＯＭに記憶する各種のプログラムやデータは所定のサーバからネットワークを介してダウンロードして記憶してもよいし、リムーバブルメモリ２１等のコンピュータ読み取り可能な記憶媒体から読み出して記憶してもよい。

２．ＰＣ
図４は、本発明の一実施例に係る画像処理装置としてのＰＣ３のハードウェア構成を示すブロック図である。
ＰＣ３は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、入力装置３４、表示装置３５、及び外部記憶装置３６を備え、これらはバスで相互に接続されている。ＣＰＵ３１はＲＯＭ３２や外部記憶装置３６に記憶されたプログラムを実行してＰＣ３の全体を制御する。ＲＯＭ３２は各種のプログラムやデータを予め記憶しているメモリである。外部記憶装置３６はハードディスクなどで構成され、オペレーティングシステム（ＯＳ）、画像処理プログラムなどを記憶する。画像処理プログラムは、所定のサーバからネットワークを介してダウンロードして入力してもよいし、リムーバブルメモリ２１等のコンピュータ読み取り可能な記憶媒体から読み出して入力してもよい。ＲＡＭ３３は各種のプログラムやデータを一時的に記憶するメモリである。入力装置３４はマウス、キーボード、リムーバブルメモリインタフェース２０、通信インタフェースなどで構成され、ＤＳＣ２で生成された画像を入力するために用いられる。表示装置３５はＣＲＴやＬＣＤなどで構成されている。

（画像処理方法）
１．処理全体の流れ
図１は、本発明の一実施例に係る画像処理方法の処理全体の流れを示すフローチャートである。
撮像段階としてのＳ１０では、ＤＳＣ２により、注目領域に焦点を合わせた状態と注目領域から故意に焦点を外した状態で同一シーンを連続撮像し、それぞれの状態に対応した２つの画像を生成する。注目領域に焦点を合わせた状態で撮像して生成する画像が第一ディジタル画像であり、注目領域から焦点を外した状態で撮像して生成する画像が第二ディジタル画像である。本実施例では、レンズ１１の位置を移動することによって注目領域から焦点を外す。レンズ１１の位置を移動するため、第二ディジタル画像は第一ディジタル画像とは画角がずれた画像となる。尚、いずれの画像を先に生成してもよい。

Ｓ２０では、第一ディジタル画像と第二ディジタル画像を互いに関連付けてＰＣ３に入力するため、ＤＳＣ２で第一ディジタル画像と第二ディジタル画像とを互いに関連付けてリムーバブルメモリ２１、通信回線等に出力する。
Ｓ３０では、互いに関連付けられた第一ディジタル画像及び第二ディジタル画像をリムーバブルメモリ２１、通信回線等を介してＰＣ３に入力する。尚、ＤＳＣ２とＰＣ３とを直接接続し、第一ディジタル画像と第二ディジタル画像を互いに関連付けてＤＳＣ２からＰＣ３に直接入力してもよい。

Ｓ４０では、ＰＣ３で実行する画像処理プログラムにより、第一ディジタル画像のエッジを表す第一エッジ画像と、第二ディジタル画像のエッジを表す第二エッジ画像とを生成し、第一エッジ画像と第二エッジ画像とに基づいて第一ディジタル画像の注目領域に対応する領域（第一領域）を特定する。
Ｓ５０では、ＰＣ３で実行する画像処理プログラムにより、重畳合成処理の前処理として、第一ディジタル画像の注目領域に対応しない領域（第二領域）を透明にする。具体的には例えば、第一ディジタル画像の第二領域の画素値を０にした画像を生成する。

Ｓ６０では、第二領域が透明化された第一ディジタル画像と他のディジタル画像とを重畳合成する。具体的には例えば、第二ディジタル画像の上に第一ディジタル画像を重畳合成すると、注目領域に対応した領域が鮮鋭で、注目領域に対応しない領域がぼけた画像を生成することができる。このような合成画像では、注目領域に対応しない領域の鮮鋭度が第一ディジタル画像より低くなるため、画像の奥行きを強調することができる。尚、第一ディジタル画像をそれと無関係な他のディジタル画像の上に重畳合成してもよい。また、第一ディジタル画像、第二ディジタル画像のいずれか一方又は両方を加工した後に２つの画像を合成してもよい。例えば、第一ディジタル画像と、平滑化フィルタを施してさらにぼかした（鮮鋭度を小さくした）第二ディジタル画像とを合成することにより、より一層画像の奥行きを強調することができる。

２．ＤＳＣ２による処理の詳細
ＤＳＣ２により第一ディジタル画像及び第二ディジタル画像を出力する処理（図１のＳ１０）の詳細について図３に基づいて説明する。
シャッタボタン２４が押されると、制御部２３は、シャッタ駆動部１５、レンズ駆動部１３、センサ駆動部１６、ディジタル画像処理部１８、ワークメモリ２２等を例えば次のように制御して第一ディジタル画像及び第二ディジタル画像を生成する。すなわち、シャッタボタン２４が押されると、焦点を調整範囲の限界またはその近傍に設定した状態でシャッタ１４を所定時間開放し、シャッタ１４の開放中にイメージセンサ１２に蓄積された電荷を読み出してＡＤＣ１７に入力し、ＡＤＣ１７から出力されるディジタル信号をディジタル画像処理部１８で処理して第二ディジタル画像を生成する。次に、被写体の注目領域に焦点を合わせた状態で再度シャッタ１４を所定時間開放し、シャッタ１４の開放中にイメージセンサ１２に蓄積された電荷を読み出してＡＤＣ１７に入力し、ＡＤＣ１７から出力されるディジタル信号をディジタル画像処理部１８で処理して第一ディジタル画像を生成する。第一ディジタル画像と第二ディジタル画像を撮像する間隔は短ければ短い程良い。被写体の注目領域に焦点を合わせる処理は、例えば画像の注目領域に対応する領域の高周波成分が最大になるようにレンズ駆動部１３をフィードバック制御することによって行う。尚、本実施例では、シャッタ１４を所定時間開放することによりイメージセンサ１２に電荷を蓄積し、イメージセンサ１２に蓄積された電荷から画像を生成することを撮像というものとする。

第二ディジタル画像を先に生成する場合、予め調整範囲の限界またはその近傍に焦点を合わせておくことにより、シャッタボタン２４が押された直後に第二ディジタル画像を生成することができ、さらに、その後に一方向に向かって焦点を調整することができるため、シャッタボタン２４が押されてから第一ディジタル画像及び第二ディジタル画像を撮像するまでの期間を短縮することができる。レンズ１１から最短距離に焦点を合わせた場合も、レンズ１１から最長距離に焦点を合わせた場合も、そのような操作によって人物等の注目領域に焦点が合う確率は低い。したがって、焦点を調整範囲の限界またはその近傍に設定した状態で撮像して第二ディジタル画像を生成することにより、注目領域に対応する第一領域とそれ以外の第二領域とに第一ディジタル画像を分割する精度の低下を抑制しつつ、第二ディジタル画像を生成する処理を簡素化することができる。尚、第二ディジタル画像を撮像するとき、レンズ１１から最短距離に焦点を合わせてもよいし、レンズ１１から最長距離に焦点を合わせてもよい。

尚、被写体の注目領域に焦点を合わせた状態で撮像することにより第一ディジタル画像を生成した後に、レンズ１１を所定量移動させることにより被写体の注目領域から焦点を外し、その状態で被写体を撮像することにより第二ディジタル画像を生成してもよい。第一ディジタル画像を先に生成する場合、注目領域から焦点を確実に外した状態で第二ディジタル画像を生成することができる。また、第一ディジタル画像を先に生成する場合、手動で注目領域に焦点を合わせてから、第一ディジタル画像と第二ディジタル画像を連続的に生成することが可能になる。

また、第一ディジタル画像と第二ディジタル画像の同一領域の鮮鋭度の差が、注目領域で大きく、注目していない領域（注目外領域）で小さくなるように、撮像するシーンに応じて調整範囲の近距離側限界又は遠距離側限界のいずれかに焦点を合わせて第二ディジタル画像を生成してもよい。また、調整範囲の近距離側限界に焦点を合わせたものと遠距離側限界に焦点を合わせたものとの両方を第二ディジタル画像としてもよい。

制御部２３は、圧縮・伸張部１９を制御して第一ディジタル画像及び第二ディジタル画像をそれぞれ圧縮し、圧縮された状態の第一ディジタル画像及び第二ディジタル画像を互いに関連付けてリムーバブルメモリ２１に格納する。第一ディジタル画像及び第二ディジタル画像をそれぞれ別個独立のファイルとしてリムーバブルメモリ２１に格納し、いずれか一方のファイルに他方のファイルへのパスを記録してもよいし、第一ディジタル画像及び第二ディジタル画像を１つのファイルにまとめてリムーバブルメモリ２１に格納してもよい。

尚、第一ディジタル画像及び第二ディジタル画像は、例えばモデムを介してインターネット等の電気通信回線に送出してもよいし、例えばＵＳＢケーブル、ブルートゥース等を介して直接ＰＣ３に入力してもよい。
３．ＰＣ３による処理の詳細
図５は、ＰＣ３による処理（図１のＳ４０）の詳細を示すフローチャートである。

第一エッジ画像生成段階及び第二エッジ画像生成段階としてのＳ２０５では、第一ディジタル画像の画素を例えば１つおきに間引いて縦横２分の１の縮小画像を生成し、同様に第二ディジタル画像の縮小画像を生成する。以降の説明において第一ディジタル画像とは第一ディジタル画像の縮小画像のことをいい、第二ディジタル画像とは第二ディジタル画像の縮小画像のことをいう。
第一エッジ画像生成段階及び第二エッジ画像生成段階としてのＳ２１０では、第一ディジタル画像のエッジを表す第一エッジ画像と、第二ディジタル画像のエッジを表す第二エッジ画像とを生成する。

検出段階としてのＳ２１５では、第一エッジ画像と第二エッジ画像とを比較して位置及び形状が互いに似ているエッジを検出する。
領域特定段階としてのＳ２２０では、Ｓ２１５で互いに似ているとして検出された第一エッジ画像のエッジと第二エッジ画像のエッジとの高さの差を求める。
領域特定段階としてのＳ２２５では、求めた差に基づいて第一ディジタル画像の注目領域に対応する領域を特定する。

次に、図５に示すＳ２１０の処理の詳細について説明する。
本実施例では、ディジタル画像の注目画素及びその近傍画素の画素値の平均偏差を求め、求めた平均偏差に基づいてエッジ画像の当該注目画素に対応する画素の画素値を設定することによりエッジ画像を生成する。平均偏差はばらつきを表すものである。なお、ばらつきは標準偏差や分散などであってもよい。ディジタル画像においてエッジ周辺の画素は、エッジを挟んで逆側の領域にある近傍画素との画素値の差が大きい。すなわちエッジ周辺では画素値のばらつきが大きい。このため、エッジ周辺では平均偏差は大きくなる。平均偏差はエッジが明瞭であればあるほど大きくなる。逆にエッジ周辺以外の画素は、近傍画素との画素値の差が小さい。このため平均偏差は小さくなる。以上のことから明らかなように、平均偏差によってディジタル画像のエッジを表すことができる。

一般にエッジ画像はエッジ検出オペレータを用いて生成されることが多い。しかしながら、エッジ検出オペレータを用いて生成されたエッジ画像では、ＣＣＤのランダムなノイズによって本来エッジではない部分にエッジが生じてしまうことがある。ＣＣＤにランダムなノイズがあると、ディジタル画像上に画素値が唐突に高い画素あるいは唐突に低い画素が散らばったように表れてしまう。エッジ検出オペレータを用いて生成されたエッジ画像では、唐突に高い画素あるいは唐突に低い画素とそれに隣接する通常の画素との差がエッジとして表れてしまう。この結果、本来存在しないエッジがノイズとして混ざってしまう。平均偏差では近傍画素の画素値が加味されるため、こうしたノイズが表れ難いという利点がある。尚、ノイズが問題にならないのであればエッジ検出オペレータを用いて生成されたエッジ画像を以降の処理に用いてもよい。

図６は、Ｓ２１０における処理の流れを示すフローチャートである。
Ｓ３０５では、第一ディジタル画像の各画素について平均偏差を求め、求めた平均偏差を各画素に対応させて記憶する。具体的には例えば、ディジタル画像がＹＣｂＣｒ色空間で表されているとすると、ディジタル画像に対して注目画素を中心とする例えば５×５（＝２５）画素の平均偏差を求めるフィルタを適用することにより、各画素についてＹ成分の値（輝度値）の平均偏差を求める。

Ｓ３１０では、求めた平均偏差の最大値を特定する。
Ｓ３１５では、第一エッジ画像の各画素に、平均偏差の最大値と各画素の平均偏差とに応じたＲＧＢ値を設定する。例えば平均偏差の最大値がＭ_maxであり、第一ディジタル画像のある画素の平均偏差がＭ_iであったとすると、第一エッジ画像の画素であって当該ある画素に対応する画素の画素値を以下の数１により求める。

２５５×（１−Ｍ_i／Ｍ_max） ・・・ 数１
ここで第一エッジ画像の画素値の範囲は０（黒）〜２５５（白）までであるとする。画素値は平均偏差が大きいほど小さくなる。例えば平均偏差が最大の画素に対応する画素の画素値は（０，０，０）になる。次に、求めた画素値を当該ある画素に対応する画素のＲ、Ｇ、Ｂの値とする。Ｒ、Ｇ、Ｂの各チャンネルには全て同じ値が設定される。これを第一ディジタル画像の全画素について行うことにより、第一エッジ画像の全画素の画素値を設定する。これにより第一エッジ画像が生成される。

図７（Ａ）は第一ディジタル画像の一例であり、図７（Ｂ）はその第一エッジ画像である。なお、第一エッジ画像は一部を省略して示している。第一ディジタル画像は熊のぬいぐるみに焦点を合わせて撮像したものである。従って図７（Ａ）に示す第一ディジタル画像の注目領域は熊のぬいぐるみが写っている領域である。
Ｓ３２０では、同様にして第二ディジタル画像のエッジを表す第二エッジ画像を生成する。

図８（Ａ）は第二ディジタル画像の一例であり、図８（Ｂ）はその第二エッジ画像である。なお、第二エッジ画像は一部を省略して示している。
図９（Ａ）は第一エッジ画像と第二エッジ画像との差分画像であり、図９（Ｂ）は図９（Ａ）に示す矩形領域５０を拡大して示す図である。差分画像は、第一エッジ画像をＦ１（Ｆ１＝｛ｆ１ ｉｊ｝）、第二エッジ画像をＦ２（Ｆ２＝｛ｆ２ ｉｊ｝）、それらの差を表す差分画像をＧ（Ｇ＝｛ｇ ｉｊ｝）としたとき、｛ｇ ｉｊ｝＝｛ｆ１ ｉｊ｝−｛ｆ２ ｉｊ｝によって求めたものである。画角がずれていると図９（Ｂ）に矢印で示すように差分画像にエッジが二重に表れる。このずれは画面の隅に斜めに走る電線などで顕著に表れる傾向がある。

図１０（Ａ）は、第一エッジ画像において図９（Ａ）に示す線分５１と同じ線分上にある画素の画素値を示すグラフである。ただしここでは画素値を反転させて示している。例えば画素値が０であれば２５５、画素値が１であれば２５４に反転させている。エッジの高さとは、本実施例ではエッジ画像においてエッジを表している画素の画素値を反転させた値のことをいうものとする。グラフでいうと、２５５に近いほど高いエッジであることになる。図９（Ａ）において線分５１は注目領域のエッジと交差するように設定されている。第一ディジタル画像では注目領域に焦点が合っているためエッジが明瞭である。従ってエッジ周辺の画素は平均偏差が大きくなり、第一エッジ画像において当該エッジを表す画素の画素値は小さい値となる。グラフではそれを反転させているため高い山となって表れている。

図１０（Ｂ）は第二エッジ画像において図９（Ａ）に示す線分５１と同じ線分上にある画素の画素値を示すグラフである。第二ディジタル画像では注目領域に焦点が合っていないため、エッジ周辺の画素であっても平均偏差は図１０（Ａ）に比べて小さくなり、第二エッジ画像において当該エッジを表す画素の画素値は大きな値となる。グラフではそれを反転させているため低い山となって表れている。第一ディジタル画像と第二ディジタル画像とは画角がずれているため、エッジを示す山の位置は図１０（Ａ）と図１０（Ｂ）とでずれている。

図１０（Ｃ）は差分画像の図９（Ａ）に示す線分５１上にある画素の画素値を示すグラフである。ここでは理解を容易にするため画素値はマイナスの値を取り得るものとする。注目領域のエッジを示す山の位置は第一エッジ画像と第二エッジ画像とでずれているため、第一エッジ画像においてエッジを示す山は図９（Ｃ）においても同じ高さの山として表れ、第二エッジ画像においてエッジを示す山は図９（Ｃ）では谷として表れる。

図１０（Ｄ）は第一エッジ画像において図９（Ｂ）に示す線分５２と同じ線分上にある画素の画素値を示すグラフである。図９（Ｂ）において線分５２は非注目領域にある被写体のエッジと交差するように設定されている。非注目領域は焦点が合っていない領域であるため、第一ディジタル画像であってもエッジ周辺の画素の平均偏差は小さくなり、エッジを表す画素の画素値は大きな値となる。すなわち小さな山となる。

図１０（Ｅ）は第二エッジ画像において図９（Ｂ）に示す線分５２と同じ線分上にある画素の画素値を示すグラフである。この場合は後ろ側に合焦点があるためにグラフの形状は図１０（Ｄ）よりやや大きな山となっている。画角がずれているためエッジを示す山の位置は図１０（Ｄ）と図１０（Ｅ）とでずれている。
図１０（Ｆ）は差分画像の図９（Ｂ）に示す線分５２上にある画素の画素値を示すグラフである。山の位置は第一エッジ画像と第二エッジ画像とでずれているため、図１０（Ｄ）においてエッジを示す山は図１０（Ｆ）においても同じ高さの山として表れ、図１０（Ｅ）においてエッジを示す山は図１０（Ｆ）では谷として表れる。

前述した図１０（Ｃ）のグラフは注目領域のエッジを示すグラフであるため、山や谷が表れることに問題はない。問題は図１０（Ｆ）に示すグラフである。もし画角がずれていなければ、山と谷とが打ち消し合って図１０（Ｆ）には山も谷も表れないはずである。山も谷も表れなければそこにはエッジはないと判定できる。しかしながら、山や谷があるとそれがエッジと誤認識されてしまう。具体的には、山や谷は本来同じ被写体のエッジを表すものであるため近くに表れる。山と谷とが近くに表れると、谷の底から山の頂上までの高さがエッジの高さであると判定され、高さの高いエッジであると認識されてしまう。このため、しきい値を設定して注目領域のエッジを抽出する際に、エッジの高さが高いため、非注目領域のエッジであるにもかかわらず注目領域のエッジであると誤判定されてしまう。これが疑似エッジである。

次に、図５に示すＳ２２０における処理の詳細について説明する。
Ｓ２２０では、互いに似ているとして検出された第一エッジ画像のエッジと第二エッジ画像のエッジとを位置合わせしてエッジの高さの差を求める。位置合わせとは、互いに似ている両エッジが重なり合うよう、第二エッジ画像のエッジを論理的に移動させることをいう。具体的には例えば、第二エッジ画像のエッジをＸ方向に＋５画素、Ｙ方向に＋３画素づつ移動すると両エッジがほぼ重なるとする。この場合、第一エッジ画像のエッジを表す各画素の画素値から、第二エッジ画像においてＸ方向に−５画素、Ｙ方向に−３画素ずれた位置にある画素の画素値を引く。これにより、互いに似ているエッジが論理的に位置合わせされ、両者の高さの差が求められる。これを似ているとして検出された全てのエッジについて行うことにより、図９（Ａ）とは異なる差分画像を生成する。尚、第一エッジ画像のエッジの大きさと第二エッジ画像のエッジの大きさとが一致しない場合は、第二エッジ画像のエッジを拡大／縮小し、拡大／縮小した後に位置合わせして高さの差を求めてもよい。但し、その場合は拡大／縮小に時間がかかる。拡大／縮小せずに位置合わせすると、短時間に差分画像を生成することができる。

図１１（Ａ）はＳ２２０で生成された差分画像の画素値を示すグラフであって、図１０（Ｆ）に相当するグラフである。図１１（Ｂ）はＳ２２０で生成された差分画像の画素値を示すグラフであって、図１０（Ｃ）に相当するグラフである。第一エッジ画像のエッジから第二エッジ画像のエッジを引くと、非注目領域に写し込まれている被写体のエッジの場合は両者の高さの差が小さいため図１１（Ａ）に示すようにエッジとして残らなくなるか又は低いエッジとなる。一方、注目領域のエッジの場合は図１１（Ｂ）に示すように依然としてエッジの高さは高いままである。このため、所定のしきい値以上となる。従って、しきい値を調整することにより、注目領域のエッジのみを抽出することができる。

図１２は、位置合わせして差を求めた差分画像の一例を示す模式図である。例えば矩形領域５０に２重に表れていたエッジは、位置合わせされて引かれることによってほとんど残らなくなっている。このため、電線のエッジが注目領域のエッジとして誤判定されることがなくなる。
次に、図５に示すＳ２２５における処理の詳細について説明する。

図１３は、Ｓ２２５における処理の流れを示すフローチャートである。
Ｓ４０５では、差分画像を所定のしきい値で二値化する。これにより注目領域のエッジが抽出される。本実施例では、画素値が大きい画素を黒（０）、画素値が小さい画素を白（１）に変換するものとする。しきい値Ａは、例えば画面からユーザが入力する値でもよいし、予め設定された固定値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。

図１４は、注目領域である女性に焦点を合わせた状態で撮像された第一ディジタル画像を表している。図１５は、注目領域である女性から焦点を外した状態で撮像された第二ディジタル画像を表している。以降の説明では図１４及び図１５に示すディジタル画像を例に説明する。図１６はそれらの差分画像の二値画像を表している。二値画像では注目領域である女性に対応する領域に黒画素が集中する。

一般に、人物などの注目領域に対応する被写体とその背後にある被写体とでは、ＤＳＣ２までの距離に相当の差があるため、注目領域に対応する領域は、図１７の実線で示すように、まとまりのある閉じた領域として二値画像に表れる傾向が強い。二値画像は、注目領域でない領域にノイズを含むため、以後の処理では、この傾向に着目してノイズを除去する。尚、注目領域に対応する領域を特定するための以後の全ての処理は、モノクローム画像に対する処理であり、特に二値画像に対する処理であるため、カラー画像に対する処理に比べて単純である。したがって、注目領域を特定する処理の全体を通じて、画像の特性に応じて調整する必要があるパラメータは、種類が少なく、調整範囲が狭い。本実施例で画像の特性に応じて調整する必要があるパラメータは、差分画像を二値化するためのしきい値Ａと、後述する最小値フィルタの適用回数Ｂと、後述する最大値フィルタの適用回数Ｃとだけである。このように、画像の特性に応じて調整する必要があるパラメータの種類が少なく、また調整範囲が狭いため、ユーザは容易に適切なパラメータを設定することができる。また、画像の特性に応じて調整する必要があるパラメータの種類が少なく、また調整範囲が狭いため、適切なパラメータを自動検出することも可能である。パラメータをユーザが設定する場合も、適切なパラメータを自動検出する場合も、パラメータの設定操作が簡素化されるため、本実施例の画像処理方法によると、ディジタル画像の領域分割が容易になる。

Ｓ４１０では、最小値フィルタを繰り返し適用して二値画像の黒領域を膨張させることによって、近傍の黒領域同士を結合させ、外輪郭が１つの閉曲線で構成されたある程度広い領域を出現させる。最小値フィルタは、注目画素を取り巻く近傍画素中で画素値が最小のものを選択し、選択された画素の画素値を処理後の全ての近傍画素の画素値として採用するフィルタである。最小値フィルタの適用回数Ｂは、ユーザが入力する値（領域判定あまさ）でもよいし、予め設定された値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。図１８及び図１９は図１６に示す画像に最小値フィルタを適用した結果を示す画像である。図１９に示す画像は図１８に示す画像よりも最小値フィルタを多く適用した結果を示している。図１９に示すように、最小値フィルタの適用回数を多くすると注目領域外のノイズが強調されるが、強調されたノイズは後続の処理で消去することができる。

Ｓ４１５では、最大値フィルタを繰り返し適用して黒領域を収縮させる。図２０は図１９に示す画像に最大値フィルタを適用した結果を示す画像である。最大値フィルタは、注目画素を取り巻く近傍画素中で、画素値が最大のものを選択して処理後の画素の画素値として採用するフィルタである。最大値フィルタを適用する処理では、図２５に示すように、最小値フィルタの適用によって結合した黒領域を結合したまま収縮させることができる。図２５は、ウィンドウサイズが９画素の最小値フィルタを２回適用した後にウィンドウサイズが９画素の最大値フィルタを２回適用する処理の経過を示している。最大値フィルタの適用回数Ｃは、例えば画面からユーザが入力する値（領域の痩身度）でもよいし、予め設定された固定値でもよいし、最小値フィルタの適用回数Ｂと等しい値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。

Ｓ４２０では、以上の処理によって生成された複数の黒領域のうち、最大面積の領域以外のものを反転させる。この処理は、注目領域に対応する黒領域がノイズに相当する黒領域よりも常に広くなることを前提としている。この処理の結果、注目領域に対応する領域のみが黒領域として残り、ノイズに相当する黒領域は消滅する。図２１は図２０に示す画像に対するこの処理の結果を示している。

尚、複数の黒領域のうち、いずれの領域が注目領域に対応しているかをより正確に判定するために、各領域の面積を単純に比較するだけではなく、例えば中心に近い領域は周縁に近い領域よりも注目領域である可能性が高いことを勘案し、各領域の面積を位置に応じて重み付けしたものを比較してもよい。また、差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの少なくともいずれか１つを変更して上述の処理を繰り返すときに各黒領域の面積の全体の面積に占める割合がどのように増減するかを勘案することにより、いずれの黒領域が注目領域に対応しているかを判定してもよい。

Ｓ４２５では、黒領域に囲まれた白領域を反転させることにより黒領域を拡張する。この処理の結果、人肌や無地の衣類のように注目領域の中で被写体自体の濃淡変化が平滑な領域（すなわち焦点が合っていても外れていてもエッジが抽出されない領域）に対応する領域（白領域）が周辺の黒領域によって侵食されて消滅する。図２２は図２１に示す画像に対するこの処理の結果を示している。

以上の処理によって、二値画像の黒領域が注目領域に対応する領域として二値画像上で大まかに特定され、二値画像の白領域が注目領域以外に対応する領域として二値画像上で大まかに特定される。二値画像上で注目領域に対応する領域を特定することは、第一ディジタル画像上で注目領域に対応する領域を特定することに等しい。すなわち、二値画像上で注目領域に対応する領域を特定することによって、第一ディジタル画像上で注目領域に対応する領域が特定されたことになる。尚、以上の処理に加えて、最適なパラメータを自動検出する処理、黒領域のノイズ成分である「ひげ」を除去する処理等を実施してもよい。

Ｓ４３０では、上述の処理の結果として二値画像に残存している黒領域が内接する最小矩形（図２３参照）の面積が二値画像全体に占める割合と、黒領域の面積がその最小矩形の面積に占める割合とが所定の範囲内にあるか否かを判定する。いずれの値も所定の範囲内にあれば処理を終了し、第一ディジタル画像において黒領域に対応する領域を注目領域に対応する領域とする。

Ｓ４３５では、差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの少なくともいずれか１つを変更して上述の処理を繰り返す。このようなパラメータの判定条件を設定することにより、例えば図２４に示すように蛇行した細長い領域が注目領域に対応する領域として特定された場合には、再度パラメータを設定し直し、注目領域に対応する領域を特定する処理をやり直しすることができる。図２４に示すように蛇行した細長い領域が注目領域に対応する確率は相当低いからである。

Ｓ４３０とＳ４３５の処理は、差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの３つのパラメータの最適値を自動検出する処理に対応している。
以上説明した本発明の一実施例に係る画像処理システム１によると、ディジタル画像から特定の対象物を抽出する処理に用いるパラメータの設定を簡素化できる。従って、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易になる。ただし、注目領域から焦点が外れた第二ディジタル画像を生成すると、注目領域から焦点を外すためにレンズを移動することにより、第一ディジタル画像と第二ディジタル画像とで画角がずれてしまう。画角がずれると、非注目領域のエッジが注目領域のエッジとして誤って抽出されてしまう場合がある。画像処理システム１によると、第一エッジ画像と第二エッジ画像とで位置及び形状が互いに似ているエッジを検出してエッジの高さの差を求め、求めた差に基づいて注目領域に対応する領域を特定する。このため、第一ディジタル画像と第二ディジタル画像とで画角がずれても、非注目領域のエッジが注目領域のエッジとして抽出され難くなる。このため、注目領域に対応する領域をより確実に特定できる。

尚、上述の実施例では、最小値フィルタや最大値フィルタを用いて注目領域に対応する領域を特定しているが、注目領域の特定はこれに限られない。例えば、二値画像において黒画素が集中している領域を注目領域に対応する領域としてもよいし、集中している黒画素の周囲をベクトルラインで滑らかにつなげた領域を注目領域に対応する領域としてもよい。

また、上述の実施例では、重畳合成処理の前処理として、第一ディジタル画像の注目領域に対応しない領域を透明化しているが、第一ディジタル画像の注目領域に対応しない領域の画素値を均一にしてもよい。具体的には例えば第一ディジタル画像の注目領域に対応しない領域が白、黒、青などの単一色を表すように第一ディジタル画像を編集してもよい。第一ディジタル画像の注目領域に対応しない領域の画素値が均一であれば、第一ディジタル画像の注目領域に対応する領域を抽出して他の画像に合成することは容易である。

また、上述の実施例では、第一ディジタル画像の注目領域に対応する領域を特定する処理をＰＣ３で行っているが、例えば、ＤＳＣ２でその処理を行い、さらに第一ディジタル画像の注目領域に対応しない領域の画素値を透明又は均一にし、それをリムーバブルメモリ２１に格納してもよい。これにより、リムーバブルメモリ２１から第一ディジタル画像を入力した他の装置において第一ディジタル画像の注目領域に対応する領域を他の画像に合成することが容易になる。
また、本実施例ではディジタルカメラとしてディジタルスチルカメラを例に説明したが、ディジタルカメラ付き携帯電話やディジタルビデオカメラに本発明を適用してもよい。

本発明の一実施例に係る画像処理方法のフローチャート。 本発明の一実施例に係る画像処理システムの模式図。 本発明の一実施例に係るディジタルカメラのブロック図。 本発明の一実施例に係る画像処理装置のブロック図。 本発明の一実施例に係る画像処理装置の処理のフローチャート。 図５のＳ２１０における処理の流れを示すフローチャート。 （Ａ）及び（Ｂ）は本発明の一実施例に係る見本画像を示す図。 （Ａ）及び（Ｂ）は本発明の一実施例に係る見本画像を示す図。 （Ａ）は本発明の一実施例に係る差分画像、（Ｂ）は（Ａ）に示す矩形領域を拡大して示す図。 （Ａ）〜（Ｆ）は本発明の一実施例に係るエッジの濃淡を示すグラフ。 （Ａ）及び（Ｂ）は本発明の一実施例に係るエッジの濃淡を示すグラフ。 本発明の一実施例に係る見本画像を示す図。 図５のＳ２２５における処理の流れを示すフローチャートである。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る模式図。

符号の説明

１ 画像処理システム、２ ディジタルスチルカメラ（ディジタルカメラ）、３ パーソナルコンピュータ（画像処理装置）
エッジ＝濃淡が急に変化している箇所。 エッジ＝濃淡が急に変化している箇所。 エッジ＝濃淡が急に変化している箇所。 エッジ＝濃淡が急に変化している箇所。

Claims (13)

1. シーンを撮像してディジタル画像を生成する段階であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像段階と、
   前記第一ディジタル画像のエッジを表す第一エッジ画像を生成する第一エッジ画像生成段階と、
   前記第二ディジタル画像のエッジを表す第二エッジ画像を生成する第二エッジ画像生成段階と、
   前記第一エッジ画像と前記第二エッジ画像とを比較して位置及び形状が互いに似ているエッジを検出する検出段階と、
   前記検出段階で互いに似ているとして検出された前記第一エッジ画像のエッジと前記第二エッジ画像のエッジとの高さの差に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定段階と、
   を含むことを特徴とする画像処理方法。
2. 前記第一エッジ画像生成段階において、前記第一ディジタル画像の縮小画像に基づいて前記第一エッジ画像を生成することを特徴とする請求項１に記載の画像処理方法。
3. 前記第二エッジ画像生成段階において、前記第二ディジタル画像の縮小画像に基づいて前記第二エッジ画像を生成することを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記第一エッジ画像生成段階において、前記第一ディジタル画像の注目画素及び当該注目画素を基準に所定範囲内にある画素の画素値のばらつきを求め、求めたばらつきに基づいて前記第一エッジ画像の当該注目画素に対応する画素の画素値を設定することを特徴とする請求項１、２又は３に記載の画像処理方法。
5. 前記第二エッジ画像生成段階において、前記第二ディジタル画像の注目画素及び当該注目画素を基準に所定範囲内にある画素の画素値のばらつきを求め、求めたばらつきに基づいて前記第二エッジ画像の当該注目画素に対応する画素の画素値を設定することを特徴とする請求項１〜４のいずれか一項に記載の画像処理方法。
6. 前記第二ディジタル画像を調整範囲の限界近傍に焦点を設定して撮像することにより生成することを特徴とする請求項１〜５のいずれか一項に記載の画像処理方法。
7. 前記第一ディジタル画像の前記注目領域に対応する領域以外の領域の画素値を均一にする段階を含むことを特徴とする請求項１〜６のいずれか一項に記載の画像処理方法。
8. 前記第一ディジタル画像の前記注目領域に対応する領域以外の領域を透明にする段階を含むことを特徴とする請求項１〜６のいずれか一項に記載の画像処理方法。
9. 前記注目領域に対応する領域以外の領域を透明にした前記第一ディジタル画像を前記第二ディジタル画像又は他のディジタル画像の上に重畳合成する段階をさらに含むことを特徴とする請求項８に記載の画像処理方法。
10. シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、
    前記第一ディジタル画像のエッジを表す第一エッジ画像を生成する第一エッジ画像生成手段と、
    前記第二ディジタル画像のエッジを表す第二エッジ画像を生成する第二エッジ画像生成手段と、
    前記第一エッジ画像と前記第二エッジ画像とを比較して位置及び形状が互いに似ているエッジを検出する検出手段と、
    前記検出手段で互いに似ているとして検出された前記第一エッジ画像のエッジと前記第二エッジ画像のエッジとの高さの差に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定手段と、
    を備えることを特徴とする画像処理システム。
11. 注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを同一シーンについて取得する取得手段と、
    前記第一ディジタル画像のエッジを表す第一エッジ画像を生成する第一エッジ画像生成手段と、
    前記第二ディジタル画像のエッジを表す第二エッジ画像を生成する第二エッジ画像生成手段と、
    前記第一エッジ画像と前記第二エッジ画像とを比較して位置及び形状が互いに似ているエッジを検出する検出手段と、
    前記検出手段で互いに似ているとして検出された前記第一エッジ画像のエッジと前記第二エッジ画像のエッジとの高さの差に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定手段と、
    を備えることを特徴とする画像処理装置。
12. 注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを同一シーンについて取得する取得手段と、
    前記第一ディジタル画像のエッジを表す第一エッジ画像を生成する第一エッジ画像生成手段と、
    前記第二ディジタル画像のエッジを表す第二エッジ画像を生成する第二エッジ画像生成手段と、
    前記第一エッジ画像と前記第二エッジ画像とを比較して位置及び形状が互いに似ているエッジを検出する検出手段と、
    前記検出手段で互いに似ているとして検出された前記第一エッジ画像のエッジと前記第二エッジ画像のエッジとの高さの差に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
13. シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、
    前記第一ディジタル画像と前記第二ディジタル画像とを互いに関連付けて出力する出力手段と、
    を備えることを特徴とするディジタルカメラ。

Images