JP2006166227A - 画像処理方法、システム、装置及びプログラム - Google Patents

Abstract

【課題】 ディジタル画像から特定の被写体を抽出する作業を容易にする画像処理方法、システム、装置及びプログラムを提供する。
【解決手段】 本発明に係る画像処理方法は、シーンを撮像してディジタル画像を生成する段階であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像段階と、前記第一ディジタル画像のエッジを表す第一エッジ画像と前記第二ディジタル画像のエッジを表す第二エッジ画像との差分画像に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する特定段階と、前記特定段階で特定した領域の輪郭を滑らかに補正する補正段階と、を含む。
【選択図】 図１

Description

本発明は、画像処理方法、システム、装置及びプログラムに関する。

ディジタルカメラは、フィルムカメラのフィルムの感光部に比べてイメージセンサの感光部の面積が小さいため、フィルムカメラに比べて焦点距離が短いレンズを用いて被写体を撮像する。焦点距離が短いレンズを用いたディジタルカメラでは、奥行きのあるシーンを撮像して生成したディジタル画像でも、焦点の合っていない領域と焦点の合っている領域との鮮鋭度の差が小さくなる。

特許文献１には、ディジタルカメラによって奥行きを強調したディジタル画像を生成する方法が開示されている。特許文献１に開示された方法では、画角内を複数の領域に分割し、各領域毎に被写体までの距離を測定してディジタル画像を生成し、その後、注目領域までの距離と各領域までの距離との差に応じてディジタル画像の各領域をぼかすことにより、奥行きを強調する。

しかし、あるシーンを表すディジタル画像に基づいてそのディジタル画像を領域分割するのではなく、被写体までの距離を個別に測定される小領域に対応してディジタル画像を規則的に分割し、そのように分割された領域毎にぼけの程度を設定すると、規則的な形状の各領域の境界で鮮鋭度が不自然に変化するため、ぼけ方がブロック状になるという問題がある。

また、ディジタル画像から特定の被写体を抽出する処理は、画像の合成処理などの前処理として頻繁に行われる。従来の画像処理アプリケーションプログラムでは、複数のパラメータをディジタル画像の特性に応じて試行錯誤をくり返しながらきめ細かく設定する必要があったため、ディジタル画像から特定の被写体を抽出する処理をコンピュータに行わせる作業は難易度の高い作業であった。

特開平１１−２６６３８８号公報

本発明は、かかる事情に鑑みて創作されたものであって、ディジタル画像から特定の被写体を抽出する作業を容易にする画像処理方法、システム、装置及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る画像処理方法は、シーンを撮像してディジタル画像を生成する段階であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像段階と、前記第一ディジタル画像のエッジを表す第一エッジ画像と前記第二ディジタル画像のエッジを表す第二エッジ画像との差分画像に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する特定段階と、前記特定段階で特定した領域の輪郭を滑らかに補正する補正段階と、を含む。

注目領域に焦点を合わせて撮像すると、その結果生成されるディジタル画像では、注目領域に対応する領域で鮮鋭度が高くなり、それ以外の領域で鮮鋭度が低くなる。また、ディジタルカメラで被写体までの距離とは無関係な特定の距離に焦点を合わせて撮像すると、偶然焦点が合った領域を除いてディジタル画像は全体に鮮鋭度が低くなる。このため、第一エッジ画像と第二エッジ画像とを比較すると、注目領域のエッジではエッジの高さの差が大きく、非注目領域のエッジでは高さの差が小さくなる傾向がある。この特性は撮像するシーンによらず単純で普遍的であるため、この特性をアルゴリズムに利用すると、ディジタル画像から特定の対象物を抽出する処理に用いるパラメータの設定を簡素化できる。従って、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易になる。ただし、抽出した対象物の輪郭は必ずしも滑らかであるとは限らない。抽出した対象物の輪郭が滑らかでないと、抽出した対象物を他のディジタル画像に重畳合成した場合に境界が不自然に変化してしまい、見た目に汚く映る。この画像処理方法によると、特定した領域の輪郭を滑らかにするので境界が自然になり、合成画像を綺麗に見せることが可能になる。

さらに本発明に係る画像処理方法では、前記補正段階は、前記特定段階で特定した領域の輪郭に沿って所定の間隔をおいて複数の制御点を設定する制御点設定段階と、前記制御点間を滑らかに補間する補間段階と、を含む。この画像処理方法によると、所定の間隔をおいて設定した制御点間を滑らかに補間するので、特定した領域の輪郭を滑らかにすることができる。
さらに本発明に係る画像処理方法では、前記制御点設定段階で設定した各制御点について、前記差分画像においてエッジ差が所定値以上である画素のうち当該制御点からの距離が最も近い画素に対応する第一ディジタル画像上の画素を特定し、特定した画素に当該制御点を移動する制御点移動段階を更に含み、前記補間段階において、前記制御点移動段階で移動した制御点間を滑らかに補間する。この画像処理方法によると、注目領域に対応する領域として特定した領域と、第一ディジタル画像において実際に注目領域が映っている領域とのズレを補正することができる。

さらに本発明に係る画像処理方法では、前記補間段階において、設定した全制御点に基づいてパラメトリック曲線を生成し、生成したパラメトリック曲線によって制御点間を滑らかに補間する。パラメトリック曲線で補間すると、制御点間の直線補間に比べ輪郭をより自然に見せることができる。
さらに本発明に係る画像処理方法では、前記パラメトリック曲線はスプライン曲線である。

さらに本発明に係る画像処理方法では、前記パラメトリック曲線はベジェ曲線である。
さらに本発明に係る画像処理方法では、前記撮像段階において、前記第二ディジタル画像を調整範囲の限界近傍に焦点を設定して撮像することにより生成する。調整範囲の限界近傍に焦点を設定して注目領域に焦点が合う可能性は低いため、画一的な処理によって高い確率で注目領域に焦点が合っていない第二ディジタル画像を生成することができる。

さらに本発明に係る画像処理方法では、前記特定段階において、前記第一ディジタル画像の縮小画像に基づいて前記第一エッジ画像を生成し、前記第二ディジタル画像の縮小画像に基づいて前記第二エッジ画像を生成する。縮小画像に基づいてエッジ画像を生成すると処理量を低減でき、注目領域の特定に要する時間を短縮できる。
さらに本発明に係る画像処理方法では、前記第一ディジタル画像の前記注目領域に対応する領域以外の領域の画素値を均一にする段階を含む。注目領域に対応する領域以外の領域の画素値を均一にすることにより、事後的に、第一ディジタル画像の注目領域に対応する領域を他のディジタル画像に合成することが容易になる。

さらに本発明に係る画像処理方法では、前記第一ディジタル画像の前記注目領域に対応する領域以外の領域を透明にする段階を含む。注目領域に対応する領域以外の領域を透明にすると、注目領域だけを他のディジタル画像の上に重畳合成することができる。
さらに本発明に係る画像処理方法では、前記注目領域に対応する領域以外の領域を透明にした前記第一ディジタル画像を前記第二ディジタル画像又は他のディジタル画像の上に重畳合成する段階をさらに含む。このため、注目領域だけを重畳合成した第二ディジタル画像、又は注目領域だけを重畳合成した他のディジタル画像を得ることができる。

上記目的を達成するため、本発明に係る画像処理システムは、シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、前記第一ディジタル画像のエッジを表す第一エッジ画像と前記第二ディジタル画像のエッジを表す第二エッジ画像との差分画像に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する特定手段と、前記特定手段で特定した領域の輪郭を滑らかに補正する補正手段と、を備える。この画像処理システムによると、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易な上、注目領域に対応する領域の輪郭を滑らかにすることが可能になる。

上記目的を達成するため、本発明に係る画像処理装置は、注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを同一シーンについて取得する取得手段と、前記第一ディジタル画像のエッジを表す第一エッジ画像と前記第二ディジタル画像のエッジを表す第二エッジ画像との差分画像に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する特定手段と、前記特定手段で特定した領域の輪郭を滑らかに補正する補正手段と、を備える。この画像処理装置によると、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易な上、注目領域に対応する領域の輪郭を滑らかにすることが可能になる。

上記目的を達成するため、本発明に係る画像処理プログラムは、注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを同一シーンについて取得する取得手段と、前記第一ディジタル画像のエッジを表す第一エッジ画像と前記第二ディジタル画像のエッジを表す第二エッジ画像との差分画像に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する特定手段と、前記特定手段で特定した領域の輪郭を滑らかに補正する補正手段としてコンピュータを機能させる。この画像処理プログラムによると、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易な上、注目領域に対応する領域の輪郭を滑らかにすることが可能になる。

尚、請求項に記載された方法の各動作の順序は、技術上の阻害要因がない限り、記載順に限定されるものではなく、どのような順番で実行されてもよく、また同時に実行されてもよい。
また、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。

以下、本発明を実施するための最良の形態を実施例に基づいて説明する。
（画像処理システムの構成）
図２は、本発明の一実施例に係る画像処理方法を実行するために用いる画像処理システム１の構成を示す模式図である。本発明の一実施例に係る画像処理方法は、ディジタルスチルカメラ（ＤＳＣ）２と画像処理装置としてのパーソナルコンピュータ（ＰＣ）３とを用いて実行する。なお、画像処理装置はディジタル画像を入力するためのインタフェースを備えディジタル画像を単独で印刷可能なプリンタ４などであってもよい。また、ディジタルカメラのみで画像処理システムを構成するようにしてもよい。

１．ＤＳＣ
図３は、ＤＳＣ２を示すブロック図である。
レンズ１１は、所定距離離れた被写体の鮮鋭な画像がイメージセンサ１２の受光面に結像するように電動アクチュエータを駆動源とするレンズ駆動部１３によって駆動される。

シャッタ１４は、電動アクチュエータを駆動源とするシャッタ駆動部１５によって駆動される。
イメージセンサ１２は、２次元空間に離散的に配置された受光セルとＣＣＤ（Charge Coupled Device）等の電荷転送素子とを備えたエリアイメージセンサである。イメージセンサ１２は、センサ駆動部１６によって駆動される。イメージセンサ１２は、光電変換により得られる電荷を受光セル毎に蓄積し、受光セル毎の受光量に応じた電気信号を出力する。受光面にＣ（Cyan）、Ｍ（Magenta）、Ｙ（Yellow）及びＧ（Green）の４色の補色フィルタ、又はＲ（Red）、Ｇ（Green）及びＢ（Blue）の原色フィルタを設けることによりカラー画像を形成することが可能になる。

アナログディジタル変換器（ＡＤＣ）１７は、イメージセンサ１２から出力されるアナログ電気信号を量子化してディジタル信号に変換する。具体的には例えば、ＡＤＣ１７は、電気信号に含まれる雑音の低減処理、ゲイン及びオフセットの調整による電気信号のレベル調整処理、量子化処理等を行う。
ディジタル画像処理部１８は、ＡＤＣ１７から出力されたディジタル信号に対し、画像形成処理、ホワイトバランス補正、ガンマ補正、色空間変換等を施し、各画素についてＲ、Ｇ、Ｂの階調値や、Ｙ、Ｃｂ、Ｃｒの階調値などを表すディジタル画像を出力する。尚、ここでいう画像形成処理とは、受光セルから出力された一色分の階調値を近傍の受光セルの異なる色の階調値で補間することにより画素毎にＲＧＢ又はＹＣｂＣｒの３つの階調値を持つディジタル画像を出力する処理である。

圧縮・伸張部１９は、ディジタル画像を圧縮又は伸張する。具体的には、ディジタル画像の系列変換及びエントロピー符号化を行うことによりディジタル画像を圧縮し、それらの逆変換を施すことによりディジタル画像を伸張する。具体的には例えば離散コサイン変換、量子化、ランレングス符号化及びハフマン符号化を用いてディジタル画像を圧縮する。量子化に用いる量子化テーブルを変更することによって量子化ステップ幅を変更すると、圧縮率を変更することができる。

リムーバブルメモリインタフェース２０は、リムーバブルメモリ２１を脱着自在に接続可能であって、圧縮・伸張部１９によって圧縮されたディジタル画像をリムーバブルメモリ２１に格納する。また、圧縮・伸張部１９によって伸張されるディジタル画像は、リムーバブルメモリインタフェース２０によってリムーバブルメモリ２１から読み出される。ＤＳＣ２から画像処理装置に画像を伝送する媒体としては、リムーバブルメモリ２１の他に各種の電気通信回線を用いてもよい。

ワークメモリ２２は、ディジタル画像処理部１８及び圧縮・伸張部１９で処理されるデータを一時的に格納するためのメモリである。
制御部２３は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及びインタフェース回路を備える。制御部２３はＲＯＭに記憶されているコンピュータプログラムを実行することにより、ＤＳＣ２の全体を制御する。ＲＯＭに記憶する各種のプログラムやデータは所定のサーバからネットワークを介してダウンロードして記憶してもよいし、リムーバブルメモリ２１等のコンピュータ読み取り可能な記憶媒体から読み出して記憶してもよい。

２．画像処理装置
図４は、本発明の一実施例に係る画像処理装置としてのＰＣ３のハードウェア構成を示すブロック図である。
ＰＣ３は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、入力装置３４、表示装置３５、及び外部記憶装置３６を備え、これらはバスで相互に接続されている。ＣＰＵ３１はＲＯＭ３２や外部記憶装置３６に記憶されたプログラムを実行してＰＣ３の全体を制御する。ＲＯＭ３２は各種のプログラムやデータを予め記憶しているメモリである。外部記憶装置３６はハードディスクなどで構成され、オペレーティングシステム（ＯＳ）、画像処理プログラムなどを記憶する。画像処理プログラムは、所定のサーバからネットワークを介してダウンロードして入力してもよいし、リムーバブルメモリ２１等のコンピュータ読み取り可能な記憶媒体から読み出して入力してもよい。ＲＡＭ３３は各種のプログラムやデータを一時的に記憶するメモリである。入力装置３４はマウス、キーボード、リムーバブルメモリインタフェース２０、通信インタフェースなどで構成され、ＤＳＣ２で生成された画像を入力するために用いられる。表示装置３５はＣＲＴやＬＣＤなどで構成されている。

（画像処理方法）
１．処理全体の流れ
図１は、本発明の一実施例に係る画像処理方法の処理全体の流れを示すフローチャートである。
撮像段階としてのＳ１０では、ＤＳＣ２により、注目領域に焦点を合わせた状態と注目領域から故意に焦点を外した状態で同一シーンを連続撮像し、それぞれの状態に対応した２つの画像を生成する。注目領域に焦点を合わせた状態で撮像して生成する画像が第一ディジタル画像であり、注目領域から焦点を外した状態で撮像して生成する画像が第二ディジタル画像である。尚、いずれの画像を先に生成してもよい。

Ｓ２０では、第一ディジタル画像と第二ディジタル画像を互いに関連付けてＰＣ３に入力するため、ＤＳＣ２で第一ディジタル画像と第二ディジタル画像を互いに関連付けてリムーバブルメモリ２１、通信回線等に出力する。
Ｓ３０では、互いに関連付けられた第一ディジタル画像及び第二ディジタル画像をリムーバブルメモリ２１、通信回線等を介してＰＣ３に入力する。尚、ＤＳＣ２とＰＣ３とを直接接続し、第一ディジタル画像と第二ディジタル画像を互いに関連付けてＤＳＣ２からＰＣ３に直接入力してもよい。

特定段階としてのＳ４０では、ＰＣ３で実行する画像処理プログラムにより、第一ディジタル画像のエッジを表す第一エッジ画像と、第二ディジタル画像のエッジを表す第二エッジ画像との差分画像に基づいて第一ディジタル画像の注目領域に対応する領域（第一領域）を特定する。
補正段階としてのＳ５０では、第一領域の輪郭を滑らかに補正する。

Ｓ６０では、ＰＣ３で実行する画像処理プログラムにより、重畳合成処理の前処理として、補正後の第一領域以外の領域（第二領域）を透明にする。具体的には例えば、第一ディジタル画像の第二領域の画素値を０にした画像を生成する。
Ｓ７０では、第二領域が透明化された第一ディジタル画像と他のディジタル画像とを重畳合成する。具体的には例えば、第二ディジタル画像の上に第一ディジタル画像を重畳合成すると、注目領域に対応した領域が鮮鋭で、注目領域に対応しない領域がぼけた画像を生成することができる。このような合成画像では、注目領域に対応しない領域の鮮鋭度が第一ディジタル画像より低くなるため、画像の奥行きを強調することができる。尚、第一ディジタル画像をそれと無関係な画像の上に重畳合成してもよい。また、第一ディジタル画像、第二ディジタル画像のいずれか一方又は両方を加工した後に２つの画像を合成してもよい。例えば、第一ディジタル画像と、平滑化フィルタを施してさらにぼかした（鮮鋭度を小さくした）第二ディジタル画像とを合成することにより、より一層画像の奥行きを強調することができる。

２．ＤＳＣによる処理の詳細
ＤＳＣ２により第一ディジタル画像及び第二ディジタル画像を生成する処理（図１のＳ１０）の詳細について図３に基づいて説明する。
シャッタボタン２４が押されると、制御部２３は、シャッタ駆動部１５、レンズ駆動部１３、センサ駆動部１６、ディジタル画像処理部１８、ワークメモリ２２等を例えば次のように制御して第一ディジタル画像及び第二ディジタル画像を生成する。すなわち、シャッタボタン２４が押されると、焦点を調整範囲の限界またはその近傍に設定した状態でシャッタ１４を所定時間開放し、シャッタ１４の開放中にイメージセンサ１２に蓄積された電荷を読み出してＡＤＣ１７に入力し、ＡＤＣ１７から出力されるディジタル信号をディジタル画像処理部１８で処理して第二ディジタル画像を生成する。次に、被写体の注目領域に焦点を合わせた状態で再度シャッタ１４を所定時間開放し、シャッタ１４の開放中にイメージセンサ１２に蓄積された電荷を読み出してＡＤＣ１７に入力し、ＡＤＣ１７から出力されるディジタル信号をディジタル画像処理部１８で処理して第一ディジタル画像を生成する。第一ディジタル画像と第二ディジタル画像を撮像する間隔は短ければ短い程良い。被写体の注目領域に焦点を合わせる処理は、例えば画像の注目領域に対応する領域の高周波成分が最大になるようにレンズ駆動部１３をフィードバック制御することによって行う。尚、本実施例では、シャッタ１４を所定時間開放することによりイメージセンサ１２に電荷を蓄積し、イメージセンサ１２に蓄積された電荷から画像を生成することを撮像というものとする。

第二ディジタル画像を先に生成する場合、予め調整範囲の限界またはその近傍に焦点を合わせておくことにより、シャッタボタン２４が押された直後に第二ディジタル画像を生成することができ、さらに、その後に一方向に向かって焦点を調整することができるため、シャッタボタン２４が押されてから第一ディジタル画像及び第二ディジタル画像を撮像するまでの期間を短縮することができる。レンズ１１から最短距離に焦点を合わせた場合も、レンズ１１から最長距離に焦点を合わせた場合も、そのような操作によって人物等の注目領域に焦点が合う確率は低い。したがって、焦点を調整範囲の限界またはその近傍に設定した状態で撮像して第二ディジタル画像を生成することにより、注目領域に対応する第一領域とそれ以外の第二領域とに第一ディジタル画像を分割する精度の低下を抑制しつつ、第二ディジタル画像を生成する処理を簡素化することができる。尚、第二ディジタル画像を撮像するとき、レンズ１１から最短距離に焦点を合わせてもよいし、レンズ１１から最長距離に焦点を合わせてもよい。

尚、被写体の注目領域に焦点を合わせた状態で撮像することにより第一ディジタル画像を生成した後に、レンズ１１を所定量移動させることにより被写体の注目領域から焦点を外し、その状態で被写体を撮像することにより第二ディジタル画像を生成してもよい。第一ディジタル画像を先に生成する場合、注目領域から焦点を確実に外した状態で第二ディジタル画像を生成することができる。また、第一ディジタル画像を先に生成する場合、手動で注目領域に焦点を合わせてから、第一ディジタル画像と第二ディジタル画像を連続的に生成することが可能になる。

また、第一ディジタル画像と第二ディジタル画像の同一領域の鮮鋭度の差が、注目領域で大きく、注目していない領域（注目外領域）で小さくなるように、撮像するシーンに応じて調整範囲の近距離側限界又は遠距離側限界のいずれかに焦点を合わせて第二ディジタル画像を生成してもよい。また、調整範囲の近距離側限界に焦点を合わせたものと遠距離側限界に焦点を合わせたものとの両方を第二ディジタル画像としてもよい。

制御部２３は、圧縮・伸張部１９を制御して第一ディジタル画像及び第二ディジタル画像をそれぞれ圧縮し、圧縮された状態の第一ディジタル画像及び第二ディジタル画像を互いに関連付けてリムーバブルメモリ２１に格納する。第一ディジタル画像及び第二ディジタル画像をそれぞれ別個独立のファイルとしてリムーバブルメモリ２１に格納し、いずれか一方のファイルに他方のファイルへのパスを記録してもよいし、第一ディジタル画像及び第二ディジタル画像を１つのファイルにまとめてリムーバブルメモリ２１に格納してもよい。

尚、第一ディジタル画像及び第二ディジタル画像は、例えばモデムを介してインターネット等の電気通信回線に送出してもよいし、例えばＵＳＢケーブル、ブルートゥース等を介して直接ＰＣ３に入力してもよい。

３．ＰＣによる処理の詳細
ＰＣ３による処理のうち、図１に示すＳ４０及びＳ５０の処理の詳細について説明する。
始めに、Ｓ４０の処理の詳細につい説明する。
図５は、Ｓ４０の処理の詳細を示すフローチャートである。
Ｓ２０５では、第一ディジタル画像の画素を例えば１つおきに間引いて縦横２分の１の縮小画像を生成する。以降の説明において第一ディジタル画像とは第一ディジタル画像の縮小画像のことをいう。

Ｓ２１０では、第二ディジタル画像の画素を例えば１つおきに間引いて縦横２分の１の縮小画像を生成する。以降の説明において第二ディジタル画像とは第二ディジタル画像の縮小画像のことをいう。第一ディジタル画像や第二ディジタル画像を縮小すると以降の処理の処理量を低減でき、注目領域に対応する領域の特定に要する時間を短縮できる。

Ｓ２１５では、第一ディジタル画像の輝度のエッジを表す第一エッジ画像を生成する。ここで輝度とは、第一ディジタル画像がＹＣｂＣｒ色空間で表されているとすると、Ｙ（輝度）成分の値のことをいう。第一ディジタル画像がＲＧＢ色空間で表されている場合は、ＲＧＢ値から公知の変換式を用いて輝度値を求めることができる。第一エッジ画像の生成は例えばエッジ検出オペレータを用いて行う。第一ディジタル画像は注目領域に焦点が合っているため、第一エッジ画像では注目領域のエッジは濃淡差の大きいエッジ、すなわち高いエッジとなる。尚、第一ディジタル画像の注目画素及びその近傍画素の画素値の平均偏差を求め、求めた平均偏差に基づいて第一エッジ画像の当該注目画素に対応する画素の画素値を設定することによって第一エッジ画像を生成してもよい。平均偏差はばらつきを表すものである。なお、ばらつきは標準偏差や分散などであってもよい。第一ディジタル画像においてエッジ周辺の画素は、エッジを挟んで逆側の領域にある近傍画素との画素値の差が大きい。すなわちエッジ周辺では画素値のばらつきが大きい。このため、エッジ周辺では平均偏差は大きくなる。平均偏差はエッジが明瞭であればあるほど大きくなる。逆にエッジ周辺以外の画素は、近傍画素との画素値の差が小さい。このため平均偏差は小さくなる。以上のことから明らかなように、平均偏差によって第一ディジタル画像のエッジを表すことができる。

Ｓ２２０では、同様にして第二ディジタル画像のエッジを表す第二エッジ画像を生成する。
Ｓ２２５では、第一エッジ画像と第二エッジ画像との差分を表す差分画像を生成する。差分画像は、第一エッジ画像をＦ１（Ｆ１＝｛ｆ１ ｉｊ｝）、第二エッジ画像をＦ２（Ｆ２＝｛ｆ２ ｉｊ｝）、それらの差分を表す差分画像をＧ（Ｇ＝｛ｇ ｉｊ｝）としたとき、｛ｇ ｉｊ｝＝｛ｆ１ ｉｊ｝−｛ｆ２ ｉｊ｝によって求める。

なお、第二ディジタル画像を撮像するためにレンズ１１を移動すると、第一ディジタル画像と第二ディジタル画像とで画角がずれ、差分画像にエッジが二重に表れてしまう場合がある。注目領域のエッジが二重に表れても問題はないが、非注目領域のエッジが二重に表れると、二重に表れた２つのエッジが一つの高いエッジとして認識されてしまい、それが注目領域のエッジとして誤認識されてしまうことがある。このため、第一エッジ画像と第二エッジ画像とを比較して位置及び形状が互いに似ているエッジを検出し、似ているとして検出された第一エッジ画像のエッジの画素値から第二エッジ画像の似ているエッジの画素値を引くことにより、画角ズレを補正した差分画像を生成するようにするとよい。

Ｓ２３０では、差分画像を所定のしきい値で二値化して二値画像を生成する。これによりエッジ差がしきい値以上である画素が特定され、注目領域のエッジが抽出される。本実施例では、差分画像の画素値（エッジ差）が大きい画素を黒（０）、画素値が小さい画素を白（１）に変換するものとする。二値画像上の黒画素は、差分画像においてエッジ差が所定値以上である画素に相当する。しきい値Ａは、例えば画面からユーザが入力する値でもよいし、予め設定された固定値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。

図６（Ａ）は注目領域である人物に焦点を合わせた状態で撮像された第一ディジタル画像を表しており、図６（Ｂ）は注目領域である人物から焦点を外した状態で撮像された第二ディジタル画像を表している。図６（Ｃ）はそれらの差分画像の二値画像を表している。二値画像では注目領域である人物に対応する領域に黒画素が集中する。

Ｓ２３５では、二値画像に基づいて第一領域を特定する。Ｓ２３５の処理の説明は長くなるので最後に説明する。
図７は、Ｓ２３５の処理により特定された第一領域を示す模式図である。図中の黒領域は二値画像の第一領域を示している。二値画像の第一領域を特定することは、第一ディジタル画像の第一領域を特定することに等しい。図中に示す複数の白丸５０は後述する処理によって設定される制御点の一例を示している。

以上、Ｓ４０の処理の詳細につい説明した。次に、Ｓ５０の処理の詳細について説明する。
図８は、Ｓ５０の処理の詳細を示すフローチャートである。
制御点設定段階としてのＳ３０５では、図７に示すように二値画像の第一領域の輪郭に沿って所定の間隔をおいて複数の制御点を設定する。制御点は、黒領域の外側に設定する。具体的には、第一領域に隣接する白画素に設定する。制御点をどの白画素に設定するかは適宜選択可能である。例えば、狭い間隔で多くの制御点を設定すれば、補正後の第一領域の輪郭を補正前の第一領域の形状に近いものにすることができる。逆に、広い間隔で少ない制御点を設定すれば、補正後の第一領域の輪郭は補正前の第一領域の形状を簡略化したものとなる。補正後の第一領域を補正前の第一領域の形状にどの程度近づけたいかによって設定する制御点の数を任意に調整すればよい。

制御点移動段階としてのＳ３１０では、設定した各制御点について、Ｓ２３５の処理を実行する前の二値画像の黒画素のうち当該制御点からの距離が最も近い黒画素を特定し、特定した黒画素に当該制御点を移動する。前述したようにＳ２３５の処理を実行する前の二値画像上の黒画素は、差分画像においてエッジ差が所定値以上である画素に相当する。制御点を移動する理由は、図１に示すＳ４０の処理によって特定された第一領域が実際の注目領域と完全に一致するとは限らず、図９に示すように大きさや輪郭がズレてしまう場合があるからである。図９において破線４１は第一領域の輪郭を示しており、実線４２は注目領域の実際の輪郭を示している。このため、Ｓ３１０の処理によって制御点を移動することにより、このズレを補正する。なお、このズレを許容するのであればＳ３１０の処理を省略してもよい。

図１０は、制御点の移動を説明するための模式図である。図中の網掛けした画素４５は制御点を示しており、黒い画素はＳ２３５の処理を実行する前の二値画像の黒画素を示している。図１０では、例えば制御点４５からの距離が最も近い黒画素は黒画素４６である。従って制御点４５を黒画素４６に移動する。これを各制御点について実行する。
制御点移動段階としてのＳ３１５では、Ｓ３１０で移動した各制御点について、第一ディジタル画像上の対応する画素を特定する。具体的には、二値画像のサイズは第一ディジタル画像より縦横１／２のサイズであるため、二値画像上の画素の座標が（ｘ，ｙ）であるとすると、第一ディジタル画像の４つの画素（ｘ×２、ｙ×２）、（ｘ×２＋１、ｙ×２）、（ｘ×２、ｙ×２＋１）（ｘ×２＋１、ｙ×２＋１）の中で一番大きいエッジ成分を持つ画素を対応する画素とする。なお、図５に示すＳ２０５及びＳ２１０を実行しないことによりディジタル画像を縮小せずにエッジ画像を生成している場合は、Ｘ座標及びＹ座標が一致する画素を対応する画素とすればよい。

補間段階としてのＳ３２０では、Ｓ３１５で特定された第一ディジタル画像の画素の座標、すなわち第一ディジタル画像上の制御点の座標を引数として２次元Ｂ−スプライン曲線を生成する。第一ディジタル画像において生成したスプライン曲線で囲まれる領域が、輪郭を滑らかに補正された後の第一領域となる。
ここで「スプライン曲線を生成する」とは、スプライン曲線を描画する関数を生成することをいう。スプライン曲線はパラメトリック曲線の一種である。パラメトリック曲線は曲線を表現するための手法の１つである。輪郭を特定する場合、その輪郭を構成する全ての点を列挙していたのでは計算や記憶のための手間がかかり過ぎる上、輪郭がギザギザになってしまう。輪郭を代表するいくつかの点（「制御点」）間をなめらかに補間することによって輪郭を得るようにすれば、扱いが簡単になる上、ギザギザのないスムーズな輪郭を得ることができる。パラメトリック曲線にはいくつかの曲線があるが、代表的なものとしてスプライン曲線やベジェ曲線が挙げられる。なお、ベジェ曲線は、開始点及び終了点以外の制御点についてはその近くを通るものの制御点そのものを通らない。スプライン曲線は全ての制御点を通るのでスプライン曲線が望ましい。なお、ベジェ曲線、１次元Ｂ−スプライン曲線、３次元Ｂ−スプライン曲線、直線補間などによって制御点間を滑らかに補間してもよい。

スプライン曲線を描画する関数の生成は、画像処理プログラムにリンクされた公知のスプライン曲線生成ライブラリに制御点の座標を引数として渡すことによって行う。制御点を引数にして関数を生成すると、生成した関数によって描画されるスプライン曲線は、輪郭が滑らかに補正された第一領域を表すものとなる。
図１１は、生成した関数によって描画されたスプライン曲線によって囲まれる領域の一例を示す図である。やや判り難いが、注目領域をスプライン曲線によって特定しているため、図７に比べてエッジがなめらかになっている。また、やや判り難いが、図９に示したような第一領域と注目領域との輪郭のズレが補正され、より注目領域の輪郭に近づいている。

次に、上述したＳ２３５の処理の詳細について説明する。
図１２は、注目領域である女性に焦点を合わせた状態で撮像された第一ディジタル画像を表している。図１３は、注目領域である女性から焦点を外した状態で撮像された第二ディジタル画像を表している。以降の説明では図１２及び図１３に示すディジタル画像を例に説明する。図１４はそれらの輝度差分画像の二値画像を表している。二値画像では注目領域である女性に対応する領域に黒画素が集中する。

一般に、人物などの注目領域に対応する被写体とその背後にある被写体とでは、ＤＳＣ２までの距離に相当の差があるため、注目領域に対応する領域は、図１５の実線で示すように、まとまりのある閉じた領域として二値画像に表れる傾向が強い。二値画像は、注目領域でない領域にノイズを含むため、以後の処理では、この傾向に着目してノイズを除去する。尚、注目領域に対応する領域を特定するための以後の全ての処理は、モノクローム画像に対する処理であり、特に二値画像に対する処理であるため、カラー画像に対する処理に比べて単純である。したがって、注目領域を特定する処理の全体を通じて、画像の特性に応じて調整する必要があるパラメータは、種類が少なく、調整範囲が狭い。本実施例で画像の特性に応じて調整する必要があるパラメータは、差分画像を二値化するためのしきい値Ａと、後述する最小値フィルタの適用回数Ｂと、後述する最大値フィルタの適用回数Ｃとだけである。このように、画像の特性に応じて調整する必要があるパラメータの種類が少なく、また調整範囲が狭いため、ユーザは容易に適切なパラメータを設定することができる。また、画像の特性に応じて調整する必要があるパラメータの種類が少なく、また調整範囲が狭いため、適切なパラメータを自動検出することも可能である。パラメータをユーザが設定する場合も、適切なパラメータを自動検出する場合も、パラメータの設定操作が簡素化されるため、本実施例の画像処理方法によると、ディジタル画像の領域分割が容易になる。

図１６は、Ｓ２３５の処理の詳細を示すフローチャートである。
Ｓ４０５では、最小値フィルタを繰り返し適用して二値画像の黒領域を膨張させることによって、近傍の黒領域同士を結合させ、外輪郭が１つの閉曲線で構成されたある程度広い領域を出現させる。最小値フィルタは、注目画素を取り巻く近傍画素中で画素値が最小のものを選択し、選択された画素の画素値を処理後の全ての近傍画素の画素値として採用するフィルタである。最小値フィルタの適用回数Ｂは、ユーザが入力する値（領域判定あまさ）でもよいし、予め設定された値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。図１７及び図１８は図１４に示す画像に最小値フィルタを適用した結果を示す画像である。図１８に示す画像は図１７に示す画像よりも最小値フィルタを多く適用した結果を示している。図１８に示すように、最小値フィルタの適用回数を多くすると注目領域外のノイズが強調されるが、強調されたノイズは後続の処理で消去することができる。

Ｓ４１０では、最大値フィルタを繰り返し適用して黒領域を収縮させる。図１９は図１８に示す画像に最大値フィルタを適用した結果を示す画像である。最大値フィルタは、注目画素を取り巻く近傍画素中で、画素値が最大のものを選択して処理後の画素の画素値として採用するフィルタである。最大値フィルタを適用する処理では、図２４に示すように、最小値フィルタの適用によって結合した黒領域を結合したまま収縮させることができる。図２４は、ウィンドウサイズが９画素の最小値フィルタを２回適用した後にウィンドウサイズが９画素の最大値フィルタを２回適用する処理の経過を示している。最大値フィルタの適用回数Ｃは、例えば画面からユーザが入力する値（領域の痩身度）でもよいし、予め設定された固定値でもよいし、最小値フィルタの適用回数Ｂと等しい値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。

Ｓ４１５では、以上の処理によって生成された複数の黒領域のうち、最大面積の領域以外のものを反転させる。この処理は、注目領域に対応する黒領域がノイズに相当する黒領域よりも常に広くなることを前提としている。この処理の結果、注目領域に対応する領域のみが黒領域として残り、ノイズに相当する黒領域は消滅する。図２０は図１９に示す画像に対するこの処理の結果を示している。

尚、複数の黒領域のうち、いずれの領域が注目領域に対応しているかをより正確に判定するために、各領域の面積を単純に比較するだけではなく、例えば中心に近い領域は周縁に近い領域よりも注目領域である可能性が高いことを勘案し、各領域の面積を位置に応じて重み付けしたものを比較してもよい。また、差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの少なくともいずれか１つを変更して上述の処理を繰り返すときに各黒領域の面積の全体の面積に占める割合がどのように増減するかを勘案することにより、いずれの黒領域が注目領域に対応しているかを判定してもよい。

Ｓ４２０では、黒領域に囲まれた白領域を反転させることにより黒領域を拡張する。この処理の結果、人肌や無地の衣類のように注目領域の中で被写体自体の濃淡変化が平滑な領域（すなわち焦点が合っていても外れていてもエッジが抽出されない領域）に対応する領域（白領域）が周辺の黒領域によって侵食されて消滅する。図２１は図２０に示す画像に対するこの処理の結果を示している。

以上の処理によって、二値画像の黒領域が注目領域に対応する領域（第一領域）として二値画像上で特定され、二値画像の白領域が注目領域以外に対応する領域（第二領域）として二値画像上で特定される。二値画像上で第一領域を特定することは、第一ディジタル画像上で第一領域を特定することに等しい。すなわち、二値画像上で第一領域を特定することによって、第一ディジタル画像上で第一領域が特定されたことになる。尚、以上の処理に加えて、最適なパラメータを自動検出する処理、黒領域のノイズ成分である「ひげ」を除去する処理等を実施してもよい。

Ｓ４２５では、上述の処理の結果として二値画像に残存している黒領域が内接する最小矩形（図２２参照）の面積が二値画像全体に占める割合と、黒領域の面積がその最小矩形の面積に占める割合とが所定の範囲内にあるか否かを判定する。いずれの値も所定の範囲内にあれば処理を終了し、第一ディジタル画像において黒領域に対応する領域を第一領域とする。

Ｓ４３０では、差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの少なくともいずれか１つを変更して上述の処理を繰り返す。このようなパラメータの判定条件を設定することにより、例えば図２３に示すように蛇行した細長い領域が注目領域に対応する領域として特定された場合には、再度パラメータを設定し直し、注目領域に対応する領域を特定する処理をやり直しすることができる。図２３に示すように蛇行した細長い領域が注目領域に対応する確率は相当低いからである。

Ｓ４２５とＳ４３０の処理は、差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの３つのパラメータの最適値を自動検出する処理に対応している。
以上説明した本発明の一実施例に係る画像処理システム１によると、ディジタル画像から特定の対象物を抽出する処理に用いるパラメータの設定を簡素化できる。従って、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易になる。また、第一領域の輪郭を滑らかにするので第一領域を他のディジタル画像に重畳合成したとき境界が自然になり、合成画像を綺麗に見せることができる。

尚、上述の実施例では、最小値フィルタや最大値フィルタを用いて第一領域を特定しているが、第一領域の特定はこれに限られない。例えば、二値画像において黒画素が集中している領域を第一領域としてもよい。
また、上述の実施例では、重畳合成処理の前処理として、第一ディジタル画像の第一領域以外の領域（第二領域）を透明化しているが、第二領域の画素値を均一にしてもよい。具体的には例えば第二領域が白、黒、青などの単一色を表すように第一ディジタル画像を編集してもよい。第二領域の画素値が均一であれば、第一ディジタル画像の第一領域を抽出して他の画像に合成することは容易である。

また、上述の実施例では、第一ディジタル画像の第一領域を特定する処理をＰＣ３で行っているが、例えば、ＤＳＣ２でその処理を行い、さらに第一ディジタル画像の第二領域の画素値を透明又は均一にし、それをリムーバブルメモリ２１に格納してもよい。これにより、リムーバブルメモリ２１から第一ディジタル画像を入力した他の装置において第一領域を他の画像に合成することが容易になる。

本発明の一実施例に係る画像処理方法のフローチャート。 本発明の一実施例に係る画像処理システムの構成を示す模式図。 本発明の一実施例に係るディジタルカメラのブロック図。 本発明の一実施例に係る画像処理装置のブロック図。 図１のＳ４０の処理の詳細を示すフローチャート。 （Ａ）、（Ｂ）及び（Ｃ）は本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る第一領域を示す模式図。 図１のＳ５０の処理の詳細を示すフローチャート。 本発明の一実施例に係る第一領域と注目領域とのズレを示す模式図。 本発明の一実施例に係る制御点の移動を説明するための模式図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 図５のＳ２３５の処理の詳細を示すフローチャート。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る見本画像を示す図。 本発明の一実施例に係る模式図。

符号の説明

１ 画像処理システム、２ ディジタルスチルカメラ、３ パーソナルコンピュータ（画像処理装置）

Claims (14)

1. シーンを撮像してディジタル画像を生成する段階であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像段階と、
   前記第一ディジタル画像のエッジを表す第一エッジ画像と前記第二ディジタル画像のエッジを表す第二エッジ画像との差分画像に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する特定段階と、
   前記特定段階で特定した領域の輪郭を滑らかに補正する補正段階と、
   を含むことを特徴とする画像処理方法。
2. 前記補正段階は、
   前記特定段階で特定した領域の輪郭に沿って所定の間隔をおいて複数の制御点を設定する制御点設定段階と、
   前記制御点間を滑らかに補間する補間段階と、
   を含むことを特徴とする請求項１に記載の画像処理方法。
3. 前記制御点設定段階で設定した各制御点について、前記差分画像においてエッジ差が所定値以上である画素のうち当該制御点からの距離が最も近い画素に対応する第一ディジタル画像上の画素を特定し、特定した画素に当該制御点を移動する制御点移動段階を更に含み、
   前記補間段階において、前記制御点移動段階で移動した制御点間を滑らかに補間することを特徴とする請求項２に記載の画像処理方法。
4. 前記補間段階において、設定した全制御点に基づいてパラメトリック曲線を生成し、生成したパラメトリック曲線によって制御点間を滑らかに補間することを特徴とする請求項２又は３に記載の画像処理方法。
5. 前記パラメトリック曲線はスプライン曲線であることを特徴とする請求項４に記載の画像処理方法。
6. 前記パラメトリック曲線はベジェ曲線であることを特徴とする請求項４に記載の画像処理方法。
7. 前記撮像段階において、前記第二ディジタル画像を調整範囲の限界近傍に焦点を設定して撮像することにより生成することを特徴とする請求項１〜６のいずれか一項に記載の画像処理方法。
8. 前記特定段階において、前記第一ディジタル画像の縮小画像に基づいて前記第一エッジ画像を生成し、前記第二ディジタル画像の縮小画像に基づいて前記第二エッジ画像を生成することを特徴とする請求項１〜７のいずれか一項に記載の画像処理方法。
9. 前記第一ディジタル画像の前記注目領域に対応する領域以外の領域の画素値を均一にする段階を含むことを特徴とする請求項１〜８のいずれか一項に記載の画像処理方法。
10. 前記第一ディジタル画像の前記注目領域に対応する領域以外の領域を透明にする段階を含むことを特徴とする請求項１〜８のいずれか一項に記載の画像処理方法。
11. 前記注目領域に対応する領域以外の領域を透明にした前記第一ディジタル画像を前記第二ディジタル画像又は他のディジタル画像の上に重畳合成する段階をさらに含むことを特徴とする請求項１０に記載の画像処理方法。
12. シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、
    前記第一ディジタル画像のエッジを表す第一エッジ画像と前記第二ディジタル画像のエッジを表す第二エッジ画像との差分画像に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する特定手段と、
    前記特定手段で特定した領域の輪郭を滑らかに補正する補正手段と、
    を備えることを特徴とする画像処理システム。
13. 注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを同一シーンについて取得する取得手段と、
    前記第一ディジタル画像のエッジを表す第一エッジ画像と前記第二ディジタル画像のエッジを表す第二エッジ画像との差分画像に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する特定手段と、
    前記特定手段で特定した領域の輪郭を滑らかに補正する補正手段と、
    を備えることを特徴とする画像処理装置。
14. 注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを同一シーンについて取得する取得手段と、
    前記第一ディジタル画像のエッジを表す第一エッジ画像と前記第二ディジタル画像のエッジを表す第二エッジ画像との差分画像に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する特定手段と、
    前記特定手段で特定した領域の輪郭を滑らかに補正する補正手段としてコンピュータを機能させることを特徴とする画像処理プログラム。

Images