JP2005038083A - 画像処理方法、システム、装置及びプログラム並びにディジタルカメラ - Google Patents
画像処理方法、システム、装置及びプログラム並びにディジタルカメラ Download PDFInfo
- Publication number
- JP2005038083A JP2005038083A JP2003198379A JP2003198379A JP2005038083A JP 2005038083 A JP2005038083 A JP 2005038083A JP 2003198379 A JP2003198379 A JP 2003198379A JP 2003198379 A JP2003198379 A JP 2003198379A JP 2005038083 A JP2005038083 A JP 2005038083A
- Authority
- JP
- Japan
- Prior art keywords
- digital image
- image
- region
- digital
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】ディジタル画像から特定の対象物を抽出する作業を容易にする画像処理方法、画像処理装置及びディジタルカメラを提供する。
【解決手段】同一シーンについて、注目領域に焦点を合わせて撮像することにより第一ディジタル画像を生成し前記注目領域から焦点を外して撮像することにより第二ディジタル画像を生成する段階と、前記第一ディジタル画像と前記第二ディジタル画像の同一領域の鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域とそれ以外の第二領域を特定する段階と、を含むことを特徴とする画像処理方法。
【選択図】 図１
【解決手段】同一シーンについて、注目領域に焦点を合わせて撮像することにより第一ディジタル画像を生成し前記注目領域から焦点を外して撮像することにより第二ディジタル画像を生成する段階と、前記第一ディジタル画像と前記第二ディジタル画像の同一領域の鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域とそれ以外の第二領域を特定する段階と、を含むことを特徴とする画像処理方法。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法、システム、装置及びプログラム並びにディジタルカメラに関する。
【０００２】
【従来の技術】
ディジタルカメラは、フィルムカメラのフィルムの感光部に比べてイメージセンサの感光部の面積が小さいため、フィルムカメラに比べて焦点距離が短いレンズを用いて被写体を撮像する。焦点距離が短いレンズを用いたディジタルカメラでは、奥行きのあるシーンを撮像して生成したディジタル画像でも、焦点の合っていない領域と焦点の合っている領域との鮮鋭度の差が小さくなる。
【０００３】
特許文献１には、ディジタルカメラによって奥行きを強調したディジタル画像を生成する方法が開示されている。特許文献１に開示された方法では、画角内を複数の領域に分割し、各領域毎に被写体までの距離を測定してディジタル画像を生成し、その後、注目領域までの距離と各領域までの距離との差に応じてディジタル画像の各領域をぼかすことにより、奥行きを強調する。
【０００４】
しかし、あるシーンを表すディジタル画像に基づいてそのディジタル画像を領域分割するのではなく、被写体までの距離を個別に測定される小領域に対応してディジタル画像を規則的に分割し、そのように分割された領域毎にぼけの程度を設定すると、規則的な形状の各領域の境界で鮮鋭度が不自然に変化するため、ぼけ方がブロック状になるという問題がある。
【０００５】
また、ディジタル画像から特定の対象物を抽出する処理は、画像の合成処理などの前処理として頻繁に行われる。従来の画像処理アプリケーションプログラムでは、複数のパラメータをディジタル画像の特性に応じて試行錯誤をくり返しながらきめ細かく設定する必要があったため、ディジタル画像から特定の対象物を抽出する処理をコンピュータに行わせる作業は難易度の高い作業であった。
【０００６】
【特許文献１】
特開平１１−２６６３８８
【０００７】
【発明が解決しようとする課題】
本発明は、かかる事情に鑑みて創作されたものであって、ディジタル画像から特定の対象物を抽出する作業を容易にする画像処理方法、システム、装置及びプログラム並びにディジタルカメラを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る画像処理方法は、同一シーンについて、注目領域に焦点を合わせて撮像することにより第一ディジタル画像を生成し前記注目領域から焦点を外して撮像することにより第二ディジタル画像を生成する段階と、前記第一ディジタル画像と前記第二ディジタル画像の同一領域の鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域とそれ以外の第二領域を特定する段階と、を含むことを特徴とする。注目領域に焦点を合わせて撮像すると、その結果生成されるディジタル画像では、注目領域に対応する領域（第一領域）で鮮鋭度が高くなり、それ以外の領域（第二領域）で鮮鋭度が低くなる。また、ディジタルカメラで被写体までの距離とは無関係な特定の距離に焦点を合わせて撮像すると、偶然焦点が合った領域を除いてディジタル画像は全体に鮮鋭度が低くなる。したがって、注目領域に焦点を合わせて撮像することにより生成した第一ディジタル画像と、注目領域から焦点を外して撮像することにより生成した第二ディジタル画像とを比較すると、注目領域に対応する第一領域では鮮鋭度の差が大きく、注目領域でない領域に対応する第二領域では鮮鋭度の差が小さくなる傾向がある。この特性は撮像するシーンによらず単純で普遍的であるため、この特性をアルゴリズムに利用すると、ディジタル画像から特定の対象物を抽出する処理に用いるパラメータの設定を簡素化できる。すなわち、第一ディジタル画像と第二ディジタル画像の同一領域の鮮鋭度の差に基づいて第一ディジタル画像の注目領域に対応する第一領域とそれ以外の第二領域を特定すると、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易になる。
【０００９】
さらに本発明に係る画像処理方法は、前記第二ディジタル画像を、調整範囲の限界近傍に焦点を設定して撮像することにより生成することを特徴とする。調整範囲の限界近傍に焦点を設定して注目領域に焦点が合う可能性は低いため、画一的な処理によって高い確率で全体的に鮮鋭度が低い第二ディジタル画像を生成することができる。したがって、調整範囲の限界近傍に焦点を設定して撮像することにより第二ディジタル画像を生成すると、第一ディジタル画像の注目領域に対応する第一領域とそれ以外の第二領域を特定する処理の精度の低下を抑制しつつ、第二ディジタル画像を生成する処理を簡素化することができる。
【００１０】
さらに本発明に係る画像処理方法は、前記第一ディジタル画像の第二領域の画素値を均一にする段階を含むことを特徴とする。第二領域の画素値を均一にすることにより、事後的に、第一ディジタル画像の注目領域に対応する第一領域を他のディジタル画像に合成することが容易になる。
【００１１】
さらに本発明に係る画像処理方法は、前記第一ディジタル画像の第二領域を透明にする段階と、前記第二ディジタル画像の上に前記第一ディジタル画像を重畳合成する段階と、をさらに含むことを特徴とする。第二ディジタル画像の上に第二領域を透明化された第一ディジタル画像を重畳合成すると、注目領域に対応する領域とそれ以外の領域との鮮鋭度の差が合成結果において大きくなるため、ディジタル画像の奥行きを強調することができる。
【００１２】
上記目的を達成するため、本発明に係る画像処理システムは、同一シーンについて、注目領域に焦点を合わせて撮像することにより第一ディジタル画像を生成し前記注目領域から焦点を外して撮像することにより第二ディジタル画像を生成する手段と、前記第一ディジタル画像と前記第二ディジタル画像の同一領域の鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域とそれ以外の第二領域を特定する手段と、を備えることを特徴とする。
【００１３】
上記目的を達成するため、本発明に係る画像処理装置は、注目領域に焦点を合わせて撮像することにより生成された第一ディジタル画像と前記注目領域から焦点を外して撮像することにより生成された第二ディジタル画像とを同一シーンについて取得する手段と、前記第一ディジタル画像と前記第二ディジタル画像の同一領域の鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域とそれ以外の第二領域を特定する手段と、を備えることを特徴とする。
【００１４】
さらに本発明に係る画像処理装置は、前記第一ディジタル画像の第二領域の画素値を均一にする手段を備えることを特徴とする。
【００１５】
さらに本発明に係る画像処理装置は、前記第一ディジタル画像の第二領域を透明にする手段と、前記第二ディジタル画像の上に前記第一ディジタル画像を重畳合成する手段と、をさらに備えることを特徴とする。
【００１６】
上記目的を達成するため、本発明に係る画像処理プログラムは、注目領域に焦点を合わせて撮像することにより生成された第一ディジタル画像と前記注目領域から焦点を外して撮像することにより生成された第二ディジタル画像とを同一シーンについて取得する手段と、前記第一ディジタル画像と前記第二ディジタル画像の同一領域の鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域とそれ以外の第二領域を特定する手段としてコンピュータを機能させることを特徴とする。
【００１７】
上記目的を達成するため、本発明に係るディジタルカメラは、同一シーンについて、注目領域に焦点を合わせて撮像することにより第一ディジタル画像を生成し前記注目領域から焦点を外して撮像することにより第二ディジタル画像を生成する手段と、前記第一ディジタル画像と前記第二ディジタル画像とを互いに関連付けて出力する手段と、を備えることを特徴とする。
【００１８】
さらに本発明に係るディジタルカメラは、前記第二ディジタル画像を、調整範囲の限界近傍に焦点を設定して撮像することにより生成することを特徴とする。
【００１９】
尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
【００２０】
【発明の実施の形態】
以下、実施例に基づいて本発明の実施の形態を説明する。
（画像処理システムの構成）
図２は、本発明の実施例による画像処理方法を実行するために用いる画像処理システムの構成を示す模式図である。本発明の実施例による画像処理方法は、画像処理装置とディジタルカメラ１２を用いて実行する。画像処理装置としては、パーソナルコンピュータ（以下、ＰＣという。）１６、ディジタル画像（以下、画像という。）を入力するためのインタフェースを備え画像を単独で印刷可能なプリンタ１４等を用いる。
【００２１】
１．ディジタルカメラ
図３は、本発明の一実施例によるディジタルカメラ１２を示すブロック図である。
レンズ１８は、所定距離離れた被写体の鮮鋭な画像がイメージセンサ２２の受光面に結像するように電動アクチュエータを駆動源とするレンズ駆動部４０によって駆動される。
シャッタ２０は、電動アクチュエータを駆動源とするシャッタ駆動部３８によって駆動される。
【００２２】
イメージセンサ２２は、２次元空間に離散的に配置された受光セルとＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の電荷転送素子とを備えたエリアイメージセンサである。イメージセンサ２２は、センサ駆動部３６によって駆動される。イメージセンサ２２は、光電変換により得られる電荷を受光セル毎に蓄積し、受光セル毎の受光量に応じた電気信号を出力する。受光面にＣ（Ｃｙａｎ）、Ｍ（Ｍａｇｅｎｔａ）、Ｙ（Ｙｅｌｌｏｗ）及びＧ（Ｇｒｅｅｎ）の４色の補色フィルタ、又はＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）及びＢ（Ｂｌｕｅ）の原色フィルタを設けることによりカラー画像を形成することが可能になる。
【００２３】
アナログディジタル変換器（ＡＤＣ）２４は、イメージセンサ２２から出力されるアナログ電気信号を量子化してディジタル信号に変換する。具体的には例えば、ＡＤＣ２４は、電気信号に含まれる雑音の低減処理、ゲイン及びオフセットの調整による電気信号のレベル調整処理、量子化処理等を行う。
【００２４】
ディジタル画像処理部２６は、ＡＤＣ２４から出力されたディジタル信号に対し、画像形成処理、ホワイトバランス補正、ガンマ補正、色空間変換等を施し、各画素についてＲ、Ｇ、Ｂの階調値や、Ｙ、Ｃｂ、Ｃｒの階調値などを表すディジタル画像を出力する。尚、ここでいう画像形成処理とは、受光セルから出力された一色分の階調値を近傍の受光セルの異なる色の階調値で補間することにより画素毎にＲＧＢ又はＹＣｂＣｒの３つの階調値を持つディジタル画像を出力する処理である。
【００２５】
圧縮・伸張部３４は、ディジタル画像を圧縮又は伸張する。具体的には、ディジタル画像の系列変換及びエントロピー符号化を行うことによりディジタル画像を圧縮し、それらの逆変換を施すことによりディジタル画像を伸張する。具体的には例えば離散コサイン変換、量子化、ランレングス符号化及びハフマン符号化を用いてディジタル画像を圧縮する。量子化に用いる量子化テーブルを変更することによって量子化ステップ幅を変更すると、圧縮率を変更することができる。
【００２６】
リムーバブルメモリインタフェース３０は、リムーバブルメモリ３２を脱着自在に接続可能であって、圧縮・伸張部３４によって圧縮されたディジタル画像をリムーバブルメモリ３２に格納する。また、圧縮・伸張部３４によって伸張されるディジタル画像は、リムーバブルメモリインタフェース３０によってリムーバブルメモリ３２から読み出される。ディジタルカメラ１２から画像処理装置に画像を伝送する媒体としては、リムーバブルメモリ３２の他に各種の電気通信回線を用いてもよい。
【００２７】
ワークメモリ２８は、ディジタル画像処理部２６及び圧縮・伸張部３４で処理されるデータを一時的に格納するためのメモリである。
制御部４２は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及びインタフェース回路を備える。制御部４２はＲＯＭに記憶されているコンピュータプログラムを実行することにより、ディジタルカメラ１２の全体を制御する。ＲＯＭに記憶する各種のプログラムやデータは所定のサーバからネットワークを介してダウンロードして記憶してもよいし、リムーバブルメモリ３２等のコンピュータ読み取り可能な記憶媒体から読み出して記憶してもよい。
【００２８】
２．画像処理装置
図４は、本発明の一実施例による画像処理装置としてのＰＣ１６のハードウェア構成を示すブロック図である。
ＰＣ１６は、ＣＰＵ４６、ＲＯＭ４８、ＲＡＭ５０、入力装置５８、表示装置５６、及び外部記憶装置５４を備え、これらはバス５２で相互に接続されている。ＣＰＵ４６はＲＯＭ４８や外部記憶装置５４に記憶されたプログラムを実行してＰＣ１６の全体を制御する。ＲＯＭ４８は各種のプログラムやデータを予め記憶しているメモリである。外部記憶装置５４はハードディスクなどで構成され、オペレーティングシステム（ＯＳ）、画像処理プログラムなどを記憶する。画像処理プログラムは、所定のサーバからネットワークを介してダウンロードして入力してもよいし、リムーバブルメモリ等のコンピュータ読み取り可能な記憶媒体から読み出して入力してもよい。ＲＡＭ５０は各種のプログラムやデータを一時的に記憶するメモリである。入力装置５８はマウス、キーボード、リムーバブルメモリインタフェース、通信インタフェースなどで構成され、ディジタルカメラ１２で生成された画像を入力するために用いられる。表示装置５６はＣＲＴやＬＣＤなどで構成されている。
【００２９】
（画像処理方法）
１．処理全体の流れ
図１は本発明の一実施例による画像処理方法の処理全体の流れを示すフローチャートである。
はじめに、ディジタルカメラ１２により、注目領域に焦点を合わせた状態と注目領域から故意に焦点を外した状態で同一シーンを連続撮像し、それぞれの状態に対応した２つの画像を生成する（Ｓ１００）。注目領域に焦点を合わせた状態で撮像して生成する画像が第一ディジタル画像であり、注目領域から焦点を外した状態で撮像して生成する画像が第二ディジタル画像である。尚、いずれの画像を先に生成してもよい。
【００３０】
次に、第一ディジタル画像と第二ディジタル画像を互いに関連付けてＰＣ１６に入力するため、ディジタルカメラ１２で第一ディジタル画像と第二ディジタル画像を互いに関連付けてリムーバブルメモリ３２、通信回線等に出力する（Ｓ２００）。
次に、互いに関連付けられた第一ディジタル画像及び第二ディジタル画像をリムーバブルメモリ３２、通信回線等を介してＰＣ１６に入力する（Ｓ３００）。尚、ディジタルカメラ１２とＰＣ１６とを直接接続し、第一ディジタル画像と第二ディジタル画像を互いに関連付けてディジタルカメラ１２からＰＣ１６に直接入力してもよい。
【００３１】
次に、ＰＣ１６で実行する画像処理プログラムにより、第一ディジタル画像と第二ディジタル画像の同一領域の鮮鋭度の差に基づいて第一ディジタル画像の注目領域に対応する領域（第一領域）を特定する（Ｓ４００）。
次に、ＰＣ１６で実行する画像処理プログラムにより、重畳合成処理の前処理として、第一ディジタル画像の注目領域に対応しない領域（第二領域）を透明にする（Ｓ５００）。
【００３２】
次に、ＰＣ１６で実行する画像処理プログラムにより、第一ディジタル画像と他の画像とを重畳合成する（Ｓ６００）。第一ディジタル画像に重畳合成する画像は任意であるが、第一ディジタル画像と同一シーンについて生成された第二ディジタル画像の上に第一ディジタル画像を重畳合成することにより、第一ディジタル画像に対応するシーンを表し第一ディジタル画像より奥行きが強調された画像を生成することができる。
【００３３】
２．ディジタルカメラによる処理の詳細
ディジタルカメラにより第一ディジタル画像及び第二ディジタル画像を出力する処理の詳細について図３に基づいて説明する。
シャッタボタン４４が押されると、制御部４２は、シャッタ駆動部３８、レンズ駆動部４０、センサ駆動部３６、ディジタル画像処理部２６、ワークメモリ２８等を例えば次のように制御して第一ディジタル画像及び第二ディジタル画像を生成する。すなわち、シャッタボタン４４が押されると、焦点を調整範囲の限界またはその近傍に設定した状態でシャッタ２０を所定時間開放し、シャッタ２０の開放中にイメージセンサ２２に蓄積された電荷を読み出してＡＤＣ２４に入力し、ＡＤＣ２４から出力されるディジタル信号をディジタル画像処理部２６で処理して第二ディジタル画像を生成する。次に、被写体の注目領域に焦点を合わせた状態で再度シャッタ２０を所定時間開放し、シャッタ２０の開放中にイメージセンサ２２に蓄積された電荷を読み出してＡＤＣ２４に入力し、ＡＤＣ２４から出力されるディジタル信号をディジタル画像処理部２６で処理して第一ディジタル画像を生成する。第一ディジタル画像と第二ディジタル画像を撮像する間隔は短ければ短い程良い。被写体の注目領域に焦点を合わせる処理は、例えば画像の注目領域に対応する領域の高周波成分が最大になるようにレンズ駆動部４０をフィードバック制御することによって行う。尚、本実施例では、シャッタ２０を所定時間開放することによりイメージセンサ２２に電荷を蓄積し、イメージセンサ２２に蓄積された電荷から画像を生成することを撮像というものとする。
【００３４】
第二ディジタル画像を先に生成する場合、予め調整範囲の限界またはその近傍に焦点を合わせておくことにより、シャッタボタン４４が押された直後に第二ディジタル画像を生成することができ、さらに、その後に一方向に向かって焦点を調整することができるため、シャッタボタン４４が押されてから第一ディジタル画像及び第二ディジタル画像を撮像するまでの期間を短縮することができる。レンズから最短距離に焦点を合わせた場合も、レンズから最長距離に焦点を合わせた場合も、そのような操作によって人物等の注目領域に焦点が合う確率は低い。したがって、焦点を調整範囲の限界またはその近傍に設定した状態で撮像して第二ディジタル画像を生成することにより、注目領域に対応する第一領域とそれ以外の第二領域とに第一ディジタル画像を分割する精度の低下を抑制しつつ、第二ディジタル画像を生成する処理を簡素化することができる。尚、第二ディジタル画像を撮像するとき、レンズから最短距離に焦点を合わせてもよいし、レンズから最長距離に焦点を合わせてもよい。
【００３５】
尚、被写体の注目領域に焦点を合わせた状態で撮像することにより第一ディジタル画像を生成した後に、レンズ１８を所定量移動させることにより被写体の注目領域から焦点を外し、その状態で被写体を撮像することにより第二ディジタル画像を生成してもよい。第一ディジタル画像を先に生成する場合、注目領域から焦点を確実に外した状態で第二ディジタル画像を生成することができる。また、第一ディジタル画像を先に生成する場合、手動で注目領域に焦点を合わせてから、第一ディジタル画像と第二ディジタル画像を連続的に生成することが可能になる。
【００３６】
また、第一ディジタル画像と第二ディジタル画像の同一領域の鮮鋭度の差が、注目領域で大きく、注目していない領域（注目外領域）で小さくなるように、撮像するシーンに応じて調整範囲の近距離側限界又は遠距離側限界のいずれかに焦点を合わせて第二ディジタル画像を生成してもよい。また、調整範囲の近距離側限界に焦点を合わせたものと遠距離側限界に焦点を合わせたものとの両方を第二ディジタル画像としてもよい。第一ディジタル画像と第二ディジタル画像の注目領域でない領域の鮮鋭度の差は、撮像するシーンによって、前者（調整範囲の近距離側限界に焦点を合わせた第二ディジタル画像）の方が後者（調整範囲の遠距離側限界に焦点を合わせた第二ディジタル画像）より小さくなる場合もあれば、後者の方が前者より小さくなる場合もあるからである（次表１参照）。尚、次表１では、最大鮮鋭度が１００、最小鮮鋭度が０になるように鮮鋭度を換算している。
【表１】
【００３７】
制御部４２は、圧縮・伸張部３４を制御して第一ディジタル画像及び第二ディジタル画像をそれぞれ圧縮し、圧縮された状態の第一ディジタル画像及び第二ディジタル画像を互いに関連付けてリムーバブルメモリ３２に格納する。第一ディジタル画像及び第二ディジタル画像をそれぞれ別個独立のファイルとしてリムーバブルメモリ３２に格納し、いずれか一方のファイルに他方のファイルへのパスを記録してもよいし、第一ディジタル画像及び第二ディジタル画像を１つのファイルにまとめてリムーバブルメモリ３２に格納してもよい。
尚、第一ディジタル画像及び第二ディジタル画像は、例えばモデムを介してインターネット等の電気通信回線に送出してもよいし、例えばＵＳＢケーブル、ブルートゥース等を介して直接ＰＣ１６に入力してもよい。
【００３８】
３．ＰＣによる処理の詳細
図５は、同一シーンについて連続して生成された第一ディジタル画像及び第二ディジタル画像の同一領域の鮮鋭度の差に基づいて、第一ディジタル画像の注目領域に対応する領域を特定する処理の流れを示すフローチャートである。
はじめに、第一ディジタル画像と第二ディジタル画像のエッジ差分を表す二値画像を生成する（Ｓ２１０）。図６は、この処理の詳細を示すフローチャートである。まず、注目領域に焦点が合った状態で撮像されて生成された第一ディジタル画像のエッジを表す第一エッジ画像と、注目領域から焦点が外れた状態で撮像されて生成された第二ディジタル画像のエッジを表す第二エッジ画像とを生成する（Ｓ２１２）。具体的には例えば、差分型エッジ検出オペレータを第一画像及び第二画像のそれぞれに適用して第一エッジ画像及び第二エッジ画像を生成する。
【００３９】
次に、第一エッジ画像と第二エッジ画像の同一領域の差分を表すエッジ差分画像を生成する（Ｓ２１４）。具体的には第一エッジ画像をＦ１（Ｆ１＝｛ｆ１ ｉｊ｝）、第二エッジ画像をＦ２（Ｆ２＝｛ｆ２ ｉｊ｝）、それらの差分を表す画像をＧ（Ｇ＝｛ｇ ｉｊ｝）とすると、ｇ ｉｊ＝ｆ１ ｉｊ−ｆ２ ｉｊによってＧを求める。エッジ差分画像Ｇは、第一ディジタル画像と第二ディジタル画像の同一領域の鮮鋭度の差を表している。
【００４０】
次に、エッジ差分画像をしきい値Ａで二値化する（Ｓ２１６）。本実施例では、エッジ差が大きい画素を黒（０）、エッジ差が小さい画素を白（１）に変換するものとする。しきい値Ａは、例えば図７に示す画面からユーザが入力する値（エッジ差分しきい値）でもよいし、予め設定された固定値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。
【００４１】
以上の処理によって第一ディジタル画像と第二ディジタル画像のエッジ差分を表す二値画像の生成が終了する。図８は注目領域である女性に焦点を合わせた状態で撮像された第一ディジタル画像を表している。図９は、注目領域である女性から焦点を外した状態で撮像された第二ディジタル画像を表している。図１０はそれらのエッジ差分を表す二値画像を表している。第一ディジタル画像では、注目領域である女性に焦点が合っているため、女性に対応する領域で鮮鋭度が高くなり、それ以外の領域で鮮鋭度が低くなる。したがって、第一ディジタル画像のエッジを抽出すると、女性に対応する領域でエッジが多くなり、それ以外の領域でエッジが少なくなる。一方、第二ディジタル画像では、女性から焦点が外れているものの、それ以外の被写体に焦点が合っているわけではないため、全領域で鮮鋭度が低くなる。したがって、第二ディジタル画像のエッジを抽出すると、全領域でエッジが少なくなる。このため、エッジ差分を表す二値画像では、女性に対応する領域に黒画素が集中する。
【００４２】
一般に、注目領域に焦点を合わせて撮像することにより生成したディジタル画像と、注目領域から焦点を外して撮像することにより生成したディジタル画像とを同一シーンについて比較すると、注目領域に対応する領域では鮮鋭度の差が大きく、注目領域でない領域に対応する領域では鮮鋭度の差が小さくなる傾向がある。この特性は撮像するシーンによらず単純で普遍的である。この特性は単純であるため、二値画像で表すことができる。またこの特性は普遍的であるため、エッジ差分を表す二値画像では、常に、注目領域に対応する領域に黒画素が集中する。
【００４３】
尚、上述の説明では、第一ディジタル画像及び第二ディジタル画像の鮮鋭度を表すパラメータとして、画像のエッジを用いたが、近傍画素の画素値の注目画素に対する散らばりの度合い等をパラメータとして用いてもよい。より具体的には例えば、８近傍画素の画素値の注目画素に対する散らばりを求めるフィルタを第一ディジタル画像及び第二ディジタル画像のそれぞれに適用し、その結果得られる２つの画像の差分によって、第一ディジタル画像及び第二ディジタル画像の同一領域の鮮鋭度の差を求めてもよい。
【００４４】
一般に、人物などの注目領域に対応する被写体とその背後にある被写体とでは、ディジタルカメラまでの距離に相当の差があるため、注目領域に対応する領域は、図１１の実線で示すように、まとまりのある閉じた領域として二値画像に表れる傾向が強い。第一ディジタル画像と第二ディジタル画像のエッジ差分を表す二値画像は、注目領域でない領域にノイズを含むため、以後の処理では、この傾向に着目してノイズを除去する。尚、注目領域に対応する領域を特定するための以後の全ての処理は、モノクローム画像に対する処理であり、特に二値画像に対する処理であるため、カラー画像に対する処理に比べて単純である。したがって、注目領域を特定する処理の全体を通じて、画像の特性に応じて調整する必要があるパラメータは、種類が少なく、調整範囲が狭い。本実施例で画像の特性に応じて調整する必要があるパラメータは、エッジ差分画像を二値化するためのしきい値Ａと、後述する最小値フィルタの適用回数Ｂと、後述する最大値フィルタの適用回数Ｃとだけである。このように、画像の特性に応じて調整する必要があるパラメータの種類が少なく、また調整範囲が狭いため、ユーザは容易に適切なパラメータを設定することができる。また、画像の特性に応じて調整する必要があるパラメータの種類が少なく、また調整範囲が狭いため、適切なパラメータを自動検出することも可能である。パラメータをユーザが設定する場合も、適切なパラメータを自動検出する場合も、パラメータの設定操作が簡素化されるため、本実施例の画像処理方法によると、ディジタル画像の領域分割が容易になる。
【００４５】
まず、最小値フィルタをくり返し適用して二値画像の黒領域を膨張させることによって、近傍の黒領域同士を結合させ、外輪郭が１つの閉曲線で構成されたある程度広い領域を出現させる（Ｓ２２０）。最小値フィルタは、注目画素を取り巻く近傍画素中で画素値が最小のものを選択し、選択された画素の画素値を処理後の全ての近傍画素の画素値として採用するフィルタである。最小値フィルタの適用回数Ｂは、例えば図７に示す画面からユーザが入力する値（領域判定あまさ）でもよいし、予め設定された値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。図１２及び図１３は図１０に示す画像に最小値フィルタを適用した結果を示す画像である。図１３に示す画像は図１２に示す画像よりも最小値フィルタを多く適用した結果を示している。図１３に示すように、最小値フィルタの適用回数を多くすると注目領域外のノイズが強調されるが、強調されたノイズは後続の処理で消去することができる。
【００４６】
次に最大値フィルタをくり返し適用して黒領域を収縮させる（Ｓ２３０）。図１４は図１３に示す画像に最大値フィルタを適用した結果を示す画像である。最大値フィルタは、注目画素を取り巻く近傍画素中で、画素値が最大のものを選択して処理後の画素の画素値として採用するフィルタである。最大値フィルタを適用する処理では、図２０に示すように、最小値フィルタの適用によって結合した黒領域を結合したまま収縮させることができる。図２０は、ウィンドウサイズが９画素の最小値フィルタを２回適用した後にウィンドウサイズが９画素の最大値フィルタを２回適用する処理の経過を示している。最大値フィルタの適用回数Ｃは、例えば図７に示す画面からユーザが入力する値（領域の痩身度）でもよいし、予め設定された固定値でもよいし、最小値フィルタの適用回数Ｂと等しい値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。
【００４７】
次に、以上の処理によって生成された複数の黒領域のうち、最大面積の領域以外のものを反転させる（Ｓ２４０）。この処理は、注目領域に対応する黒領域がノイズに相当する黒領域よりも常に広くなることを前提としている。この処理の結果、注目領域に対応する領域のみが黒領域として残り、ノイズに相当する黒領域は消滅する。図１５は図１４に示す画像に対するこの処理の結果を示している。
【００４８】
尚、複数の黒領域のうち、いずれの領域が注目領域に対応しているかをより正確に判定するために、各領域の面積を単純に比較するだけではなく、例えば中心に近い領域は周縁に近い領域よりも注目領域である可能性が高いことを勘案し、各領域の面積を位置に応じて重み付けしたものを比較してもよい。また、エッジ差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの少なくともいずれか１つを変更して上述の処理を繰り返すときに各黒領域の面積の全体の面積に占める割合がどのように増減するかを勘案することにより、いずれの黒領域が注目領域に対応しているかを判定してもよい。
【００４９】
次に、黒領域に囲まれた白領域を反転させることにより黒領域を拡張する。この処理の結果、人肌や無地の衣類のように注目領域の中で被写体自体の濃淡変化が平滑な領域（すなわち焦点が合っていても外れていてもエッジが抽出されない領域）に対応する領域（白領域）が周辺の黒領域によって侵食されて消滅する。図１６は図１５に示す画像に対するこの処理の結果を示している。
【００５０】
以上の処理によって、二値画像の黒領域が注目領域に対応する領域として二値画像上で大まかに特定され、二値画像の白領域が注目領域以外に対応する領域として二値画像上で大まかに特定される。二値画像上で注目領域に対応する領域を特定することは、第一ディジタル画像上で注目領域に対応する領域を特定することに等しい。すなわち、二値画像上で注目領域に対応する領域を特定することによって、第一ディジタル画像上で注目領域に対応する領域が特定されたことになる。尚、以上の処理に加えて、最適なパラメータを自動検出する処理、黒領域のノイズ成分である「ひげ」を除去する処理等を実施してもよい。
【００５１】
図５に示すＳ２６０とＳ２７０の処理は、エッジ差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの３つのパラメータの最適値を自動検出する処理に対応している。すなわち、上述の処理の結果として二値画像に残存している黒領域が内接する最小矩形（図１７参照）の面積が二値画像全体に占める割合と、黒領域の面積がその最小矩形の面積に占める割合とが所定の範囲内にあるか否かを判定し（Ｓ２６０）、いずれの値も所定の範囲内にあれば処理を終了し、なければエッジ差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの少なくともいずれか１つを変更して上述の処理を繰り返す（Ｓ２７０）。このようなパラメータの判定条件を設定することにより、例えば図１８に示すように蛇行した細長い領域が注目領域に対応する領域として特定された場合には、再度パラメータを設定し直し、注目領域に対応する領域を特定する処理をやり直しすることができる。図１８に示すように蛇行した細長い領域が注目領域に対応する確率は相当低いからである。
【００５２】
次に、第一ディジタル画像の注目領域に対応しない領域を透明にする（Ｓ５００）。具体的には例えば、第一ディジタル画像と上述の処理によって得られた二値画像の反転画像（注目領域に対応する領域の画素値が１の画像）との画素毎の積を表す画像を生成することにより、第一ディジタル画像の注目領域に対応しない領域の画素値を０にした画像を生成する。また例えば、上述の処理によって得られた二値画像を、第一ディジタル画像の二階調のアルファチャンネルに設定することにより、合成処理時に注目領域に対応しない領域が透明な領域として扱われる画像を生成する。
【００５３】
次に、注目領域に対応しない領域が透明化された第一ディジタル画像と他のディジタル画像とを重畳合成する（Ｓ６００）。具体的には例えば、第二ディジタル画像の上に第一ディジタル画像を重畳合成すると、注目領域に対応した領域が鮮鋭で、注目領域に対応しない領域がぼけた画像を生成することができる。このような合成画像では、注目領域に対応しない領域の鮮鋭度が第一ディジタル画像より低くなるため、画像の奥行きを強調することができる。尚、図１９に示すように、第一ディジタル画像をそれと無関係な画像の上に重畳合成してもよい。また、第一ディジタル画像、第二ディジタル画像のいずれか一方又は両方を加工した後に２つの画像を合成してもよい。例えば、平滑化フィルタを施してさらにぼかした（鮮鋭度を小さくした）第二ディジタル画像と、第一ディジタル画像を合成することにより、より一層画像の奥行きを強調することができる。
【００５４】
尚、上述の実施例では、重畳合成処理の前処理として、第一ディジタル画像の注目領域に対応しない領域を透明化しているが、第一ディジタル画像の注目領域に対応しない領域の画素値を均一にしてもよい。具体的には例えば第一ディジタル画像の注目領域に対応しない領域が白、黒、青などの単一色を表すように第一ディジタル画像を編集してもよい。第一ディジタル画像の注目領域に対応しない領域の画素値が均一であれば、第一ディジタル画像の注目領域に対応する領域を抽出して他の画像に合成することは容易である。
【００５５】
また、上述の実施例では、第一ディジタル画像の注目領域に対応する領域を特定する処理をＰＣ１６で行っているが、例えば、ディジタルカメラ１２でその処理を行い、さらに第一ディジタル画像の注目領域に対応しない領域の画素値を透明又は均一にし、それをリムーバブルメモリ３２に格納してもよい。これにより、リムーバブルメモリ３２から第一ディジタル画像を入力した他の装置において第一ディジタル画像の注目領域に対応する領域を他の画像に合成することが容易になる。
【図面の簡単な説明】
【図１】本発明の実施例に係るフローチャート。
【図２】本発明の実施例に係る模式図。
【図３】本発明の実施例に係るブロック図。
【図４】本発明の実施例に係るブロック図。
【図５】本発明の実施例に係るフローチャート。
【図６】本発明の実施例に係るフローチャート。
【図７】本発明の実施例に係るプログラムの実行画面を示す図。
【図８】本発明の実施例に係る見本画像を示す図。
【図９】本発明の実施例に係る見本画像を示す図。
【図１０】本発明の実施例に係る見本画像を示す図。
【図１１】本発明の実施例に係る見本画像を示す図。
【図１２】本発明の実施例に係る見本画像を示す図。
【図１３】本発明の実施例に係る見本画像を示す図。
【図１４】本発明の実施例に係る見本画像を示す図。
【図１５】本発明の実施例に係る見本画像を示す図。
【図１６】本発明の実施例に係る見本画像を示す図。
【図１７】本発明の実施例に係る見本画像を示す図。
【図１８】本発明の実施例に係る見本画像を示す図。
【図１９】本発明の実施例に係る見本画像を示す図。
【図２０】本発明の実施例に係る模式図。
【符号の説明】
１２ ディジタルカメラ、１４ プリンタ（画像処理装置）、１６ ＰＣ（画像処理装置）
【発明の属する技術分野】
本発明は、画像処理方法、システム、装置及びプログラム並びにディジタルカメラに関する。
【０００２】
【従来の技術】
ディジタルカメラは、フィルムカメラのフィルムの感光部に比べてイメージセンサの感光部の面積が小さいため、フィルムカメラに比べて焦点距離が短いレンズを用いて被写体を撮像する。焦点距離が短いレンズを用いたディジタルカメラでは、奥行きのあるシーンを撮像して生成したディジタル画像でも、焦点の合っていない領域と焦点の合っている領域との鮮鋭度の差が小さくなる。
【０００３】
特許文献１には、ディジタルカメラによって奥行きを強調したディジタル画像を生成する方法が開示されている。特許文献１に開示された方法では、画角内を複数の領域に分割し、各領域毎に被写体までの距離を測定してディジタル画像を生成し、その後、注目領域までの距離と各領域までの距離との差に応じてディジタル画像の各領域をぼかすことにより、奥行きを強調する。
【０００４】
しかし、あるシーンを表すディジタル画像に基づいてそのディジタル画像を領域分割するのではなく、被写体までの距離を個別に測定される小領域に対応してディジタル画像を規則的に分割し、そのように分割された領域毎にぼけの程度を設定すると、規則的な形状の各領域の境界で鮮鋭度が不自然に変化するため、ぼけ方がブロック状になるという問題がある。
【０００５】
また、ディジタル画像から特定の対象物を抽出する処理は、画像の合成処理などの前処理として頻繁に行われる。従来の画像処理アプリケーションプログラムでは、複数のパラメータをディジタル画像の特性に応じて試行錯誤をくり返しながらきめ細かく設定する必要があったため、ディジタル画像から特定の対象物を抽出する処理をコンピュータに行わせる作業は難易度の高い作業であった。
【０００６】
【特許文献１】
特開平１１−２６６３８８
【０００７】
【発明が解決しようとする課題】
本発明は、かかる事情に鑑みて創作されたものであって、ディジタル画像から特定の対象物を抽出する作業を容易にする画像処理方法、システム、装置及びプログラム並びにディジタルカメラを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る画像処理方法は、同一シーンについて、注目領域に焦点を合わせて撮像することにより第一ディジタル画像を生成し前記注目領域から焦点を外して撮像することにより第二ディジタル画像を生成する段階と、前記第一ディジタル画像と前記第二ディジタル画像の同一領域の鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域とそれ以外の第二領域を特定する段階と、を含むことを特徴とする。注目領域に焦点を合わせて撮像すると、その結果生成されるディジタル画像では、注目領域に対応する領域（第一領域）で鮮鋭度が高くなり、それ以外の領域（第二領域）で鮮鋭度が低くなる。また、ディジタルカメラで被写体までの距離とは無関係な特定の距離に焦点を合わせて撮像すると、偶然焦点が合った領域を除いてディジタル画像は全体に鮮鋭度が低くなる。したがって、注目領域に焦点を合わせて撮像することにより生成した第一ディジタル画像と、注目領域から焦点を外して撮像することにより生成した第二ディジタル画像とを比較すると、注目領域に対応する第一領域では鮮鋭度の差が大きく、注目領域でない領域に対応する第二領域では鮮鋭度の差が小さくなる傾向がある。この特性は撮像するシーンによらず単純で普遍的であるため、この特性をアルゴリズムに利用すると、ディジタル画像から特定の対象物を抽出する処理に用いるパラメータの設定を簡素化できる。すなわち、第一ディジタル画像と第二ディジタル画像の同一領域の鮮鋭度の差に基づいて第一ディジタル画像の注目領域に対応する第一領域とそれ以外の第二領域を特定すると、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易になる。
【０００９】
さらに本発明に係る画像処理方法は、前記第二ディジタル画像を、調整範囲の限界近傍に焦点を設定して撮像することにより生成することを特徴とする。調整範囲の限界近傍に焦点を設定して注目領域に焦点が合う可能性は低いため、画一的な処理によって高い確率で全体的に鮮鋭度が低い第二ディジタル画像を生成することができる。したがって、調整範囲の限界近傍に焦点を設定して撮像することにより第二ディジタル画像を生成すると、第一ディジタル画像の注目領域に対応する第一領域とそれ以外の第二領域を特定する処理の精度の低下を抑制しつつ、第二ディジタル画像を生成する処理を簡素化することができる。
【００１０】
さらに本発明に係る画像処理方法は、前記第一ディジタル画像の第二領域の画素値を均一にする段階を含むことを特徴とする。第二領域の画素値を均一にすることにより、事後的に、第一ディジタル画像の注目領域に対応する第一領域を他のディジタル画像に合成することが容易になる。
【００１１】
さらに本発明に係る画像処理方法は、前記第一ディジタル画像の第二領域を透明にする段階と、前記第二ディジタル画像の上に前記第一ディジタル画像を重畳合成する段階と、をさらに含むことを特徴とする。第二ディジタル画像の上に第二領域を透明化された第一ディジタル画像を重畳合成すると、注目領域に対応する領域とそれ以外の領域との鮮鋭度の差が合成結果において大きくなるため、ディジタル画像の奥行きを強調することができる。
【００１２】
上記目的を達成するため、本発明に係る画像処理システムは、同一シーンについて、注目領域に焦点を合わせて撮像することにより第一ディジタル画像を生成し前記注目領域から焦点を外して撮像することにより第二ディジタル画像を生成する手段と、前記第一ディジタル画像と前記第二ディジタル画像の同一領域の鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域とそれ以外の第二領域を特定する手段と、を備えることを特徴とする。
【００１３】
上記目的を達成するため、本発明に係る画像処理装置は、注目領域に焦点を合わせて撮像することにより生成された第一ディジタル画像と前記注目領域から焦点を外して撮像することにより生成された第二ディジタル画像とを同一シーンについて取得する手段と、前記第一ディジタル画像と前記第二ディジタル画像の同一領域の鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域とそれ以外の第二領域を特定する手段と、を備えることを特徴とする。
【００１４】
さらに本発明に係る画像処理装置は、前記第一ディジタル画像の第二領域の画素値を均一にする手段を備えることを特徴とする。
【００１５】
さらに本発明に係る画像処理装置は、前記第一ディジタル画像の第二領域を透明にする手段と、前記第二ディジタル画像の上に前記第一ディジタル画像を重畳合成する手段と、をさらに備えることを特徴とする。
【００１６】
上記目的を達成するため、本発明に係る画像処理プログラムは、注目領域に焦点を合わせて撮像することにより生成された第一ディジタル画像と前記注目領域から焦点を外して撮像することにより生成された第二ディジタル画像とを同一シーンについて取得する手段と、前記第一ディジタル画像と前記第二ディジタル画像の同一領域の鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域とそれ以外の第二領域を特定する手段としてコンピュータを機能させることを特徴とする。
【００１７】
上記目的を達成するため、本発明に係るディジタルカメラは、同一シーンについて、注目領域に焦点を合わせて撮像することにより第一ディジタル画像を生成し前記注目領域から焦点を外して撮像することにより第二ディジタル画像を生成する手段と、前記第一ディジタル画像と前記第二ディジタル画像とを互いに関連付けて出力する手段と、を備えることを特徴とする。
【００１８】
さらに本発明に係るディジタルカメラは、前記第二ディジタル画像を、調整範囲の限界近傍に焦点を設定して撮像することにより生成することを特徴とする。
【００１９】
尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
【００２０】
【発明の実施の形態】
以下、実施例に基づいて本発明の実施の形態を説明する。
（画像処理システムの構成）
図２は、本発明の実施例による画像処理方法を実行するために用いる画像処理システムの構成を示す模式図である。本発明の実施例による画像処理方法は、画像処理装置とディジタルカメラ１２を用いて実行する。画像処理装置としては、パーソナルコンピュータ（以下、ＰＣという。）１６、ディジタル画像（以下、画像という。）を入力するためのインタフェースを備え画像を単独で印刷可能なプリンタ１４等を用いる。
【００２１】
１．ディジタルカメラ
図３は、本発明の一実施例によるディジタルカメラ１２を示すブロック図である。
レンズ１８は、所定距離離れた被写体の鮮鋭な画像がイメージセンサ２２の受光面に結像するように電動アクチュエータを駆動源とするレンズ駆動部４０によって駆動される。
シャッタ２０は、電動アクチュエータを駆動源とするシャッタ駆動部３８によって駆動される。
【００２２】
イメージセンサ２２は、２次元空間に離散的に配置された受光セルとＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の電荷転送素子とを備えたエリアイメージセンサである。イメージセンサ２２は、センサ駆動部３６によって駆動される。イメージセンサ２２は、光電変換により得られる電荷を受光セル毎に蓄積し、受光セル毎の受光量に応じた電気信号を出力する。受光面にＣ（Ｃｙａｎ）、Ｍ（Ｍａｇｅｎｔａ）、Ｙ（Ｙｅｌｌｏｗ）及びＧ（Ｇｒｅｅｎ）の４色の補色フィルタ、又はＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）及びＢ（Ｂｌｕｅ）の原色フィルタを設けることによりカラー画像を形成することが可能になる。
【００２３】
アナログディジタル変換器（ＡＤＣ）２４は、イメージセンサ２２から出力されるアナログ電気信号を量子化してディジタル信号に変換する。具体的には例えば、ＡＤＣ２４は、電気信号に含まれる雑音の低減処理、ゲイン及びオフセットの調整による電気信号のレベル調整処理、量子化処理等を行う。
【００２４】
ディジタル画像処理部２６は、ＡＤＣ２４から出力されたディジタル信号に対し、画像形成処理、ホワイトバランス補正、ガンマ補正、色空間変換等を施し、各画素についてＲ、Ｇ、Ｂの階調値や、Ｙ、Ｃｂ、Ｃｒの階調値などを表すディジタル画像を出力する。尚、ここでいう画像形成処理とは、受光セルから出力された一色分の階調値を近傍の受光セルの異なる色の階調値で補間することにより画素毎にＲＧＢ又はＹＣｂＣｒの３つの階調値を持つディジタル画像を出力する処理である。
【００２５】
圧縮・伸張部３４は、ディジタル画像を圧縮又は伸張する。具体的には、ディジタル画像の系列変換及びエントロピー符号化を行うことによりディジタル画像を圧縮し、それらの逆変換を施すことによりディジタル画像を伸張する。具体的には例えば離散コサイン変換、量子化、ランレングス符号化及びハフマン符号化を用いてディジタル画像を圧縮する。量子化に用いる量子化テーブルを変更することによって量子化ステップ幅を変更すると、圧縮率を変更することができる。
【００２６】
リムーバブルメモリインタフェース３０は、リムーバブルメモリ３２を脱着自在に接続可能であって、圧縮・伸張部３４によって圧縮されたディジタル画像をリムーバブルメモリ３２に格納する。また、圧縮・伸張部３４によって伸張されるディジタル画像は、リムーバブルメモリインタフェース３０によってリムーバブルメモリ３２から読み出される。ディジタルカメラ１２から画像処理装置に画像を伝送する媒体としては、リムーバブルメモリ３２の他に各種の電気通信回線を用いてもよい。
【００２７】
ワークメモリ２８は、ディジタル画像処理部２６及び圧縮・伸張部３４で処理されるデータを一時的に格納するためのメモリである。
制御部４２は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及びインタフェース回路を備える。制御部４２はＲＯＭに記憶されているコンピュータプログラムを実行することにより、ディジタルカメラ１２の全体を制御する。ＲＯＭに記憶する各種のプログラムやデータは所定のサーバからネットワークを介してダウンロードして記憶してもよいし、リムーバブルメモリ３２等のコンピュータ読み取り可能な記憶媒体から読み出して記憶してもよい。
【００２８】
２．画像処理装置
図４は、本発明の一実施例による画像処理装置としてのＰＣ１６のハードウェア構成を示すブロック図である。
ＰＣ１６は、ＣＰＵ４６、ＲＯＭ４８、ＲＡＭ５０、入力装置５８、表示装置５６、及び外部記憶装置５４を備え、これらはバス５２で相互に接続されている。ＣＰＵ４６はＲＯＭ４８や外部記憶装置５４に記憶されたプログラムを実行してＰＣ１６の全体を制御する。ＲＯＭ４８は各種のプログラムやデータを予め記憶しているメモリである。外部記憶装置５４はハードディスクなどで構成され、オペレーティングシステム（ＯＳ）、画像処理プログラムなどを記憶する。画像処理プログラムは、所定のサーバからネットワークを介してダウンロードして入力してもよいし、リムーバブルメモリ等のコンピュータ読み取り可能な記憶媒体から読み出して入力してもよい。ＲＡＭ５０は各種のプログラムやデータを一時的に記憶するメモリである。入力装置５８はマウス、キーボード、リムーバブルメモリインタフェース、通信インタフェースなどで構成され、ディジタルカメラ１２で生成された画像を入力するために用いられる。表示装置５６はＣＲＴやＬＣＤなどで構成されている。
【００２９】
（画像処理方法）
１．処理全体の流れ
図１は本発明の一実施例による画像処理方法の処理全体の流れを示すフローチャートである。
はじめに、ディジタルカメラ１２により、注目領域に焦点を合わせた状態と注目領域から故意に焦点を外した状態で同一シーンを連続撮像し、それぞれの状態に対応した２つの画像を生成する（Ｓ１００）。注目領域に焦点を合わせた状態で撮像して生成する画像が第一ディジタル画像であり、注目領域から焦点を外した状態で撮像して生成する画像が第二ディジタル画像である。尚、いずれの画像を先に生成してもよい。
【００３０】
次に、第一ディジタル画像と第二ディジタル画像を互いに関連付けてＰＣ１６に入力するため、ディジタルカメラ１２で第一ディジタル画像と第二ディジタル画像を互いに関連付けてリムーバブルメモリ３２、通信回線等に出力する（Ｓ２００）。
次に、互いに関連付けられた第一ディジタル画像及び第二ディジタル画像をリムーバブルメモリ３２、通信回線等を介してＰＣ１６に入力する（Ｓ３００）。尚、ディジタルカメラ１２とＰＣ１６とを直接接続し、第一ディジタル画像と第二ディジタル画像を互いに関連付けてディジタルカメラ１２からＰＣ１６に直接入力してもよい。
【００３１】
次に、ＰＣ１６で実行する画像処理プログラムにより、第一ディジタル画像と第二ディジタル画像の同一領域の鮮鋭度の差に基づいて第一ディジタル画像の注目領域に対応する領域（第一領域）を特定する（Ｓ４００）。
次に、ＰＣ１６で実行する画像処理プログラムにより、重畳合成処理の前処理として、第一ディジタル画像の注目領域に対応しない領域（第二領域）を透明にする（Ｓ５００）。
【００３２】
次に、ＰＣ１６で実行する画像処理プログラムにより、第一ディジタル画像と他の画像とを重畳合成する（Ｓ６００）。第一ディジタル画像に重畳合成する画像は任意であるが、第一ディジタル画像と同一シーンについて生成された第二ディジタル画像の上に第一ディジタル画像を重畳合成することにより、第一ディジタル画像に対応するシーンを表し第一ディジタル画像より奥行きが強調された画像を生成することができる。
【００３３】
２．ディジタルカメラによる処理の詳細
ディジタルカメラにより第一ディジタル画像及び第二ディジタル画像を出力する処理の詳細について図３に基づいて説明する。
シャッタボタン４４が押されると、制御部４２は、シャッタ駆動部３８、レンズ駆動部４０、センサ駆動部３６、ディジタル画像処理部２６、ワークメモリ２８等を例えば次のように制御して第一ディジタル画像及び第二ディジタル画像を生成する。すなわち、シャッタボタン４４が押されると、焦点を調整範囲の限界またはその近傍に設定した状態でシャッタ２０を所定時間開放し、シャッタ２０の開放中にイメージセンサ２２に蓄積された電荷を読み出してＡＤＣ２４に入力し、ＡＤＣ２４から出力されるディジタル信号をディジタル画像処理部２６で処理して第二ディジタル画像を生成する。次に、被写体の注目領域に焦点を合わせた状態で再度シャッタ２０を所定時間開放し、シャッタ２０の開放中にイメージセンサ２２に蓄積された電荷を読み出してＡＤＣ２４に入力し、ＡＤＣ２４から出力されるディジタル信号をディジタル画像処理部２６で処理して第一ディジタル画像を生成する。第一ディジタル画像と第二ディジタル画像を撮像する間隔は短ければ短い程良い。被写体の注目領域に焦点を合わせる処理は、例えば画像の注目領域に対応する領域の高周波成分が最大になるようにレンズ駆動部４０をフィードバック制御することによって行う。尚、本実施例では、シャッタ２０を所定時間開放することによりイメージセンサ２２に電荷を蓄積し、イメージセンサ２２に蓄積された電荷から画像を生成することを撮像というものとする。
【００３４】
第二ディジタル画像を先に生成する場合、予め調整範囲の限界またはその近傍に焦点を合わせておくことにより、シャッタボタン４４が押された直後に第二ディジタル画像を生成することができ、さらに、その後に一方向に向かって焦点を調整することができるため、シャッタボタン４４が押されてから第一ディジタル画像及び第二ディジタル画像を撮像するまでの期間を短縮することができる。レンズから最短距離に焦点を合わせた場合も、レンズから最長距離に焦点を合わせた場合も、そのような操作によって人物等の注目領域に焦点が合う確率は低い。したがって、焦点を調整範囲の限界またはその近傍に設定した状態で撮像して第二ディジタル画像を生成することにより、注目領域に対応する第一領域とそれ以外の第二領域とに第一ディジタル画像を分割する精度の低下を抑制しつつ、第二ディジタル画像を生成する処理を簡素化することができる。尚、第二ディジタル画像を撮像するとき、レンズから最短距離に焦点を合わせてもよいし、レンズから最長距離に焦点を合わせてもよい。
【００３５】
尚、被写体の注目領域に焦点を合わせた状態で撮像することにより第一ディジタル画像を生成した後に、レンズ１８を所定量移動させることにより被写体の注目領域から焦点を外し、その状態で被写体を撮像することにより第二ディジタル画像を生成してもよい。第一ディジタル画像を先に生成する場合、注目領域から焦点を確実に外した状態で第二ディジタル画像を生成することができる。また、第一ディジタル画像を先に生成する場合、手動で注目領域に焦点を合わせてから、第一ディジタル画像と第二ディジタル画像を連続的に生成することが可能になる。
【００３６】
また、第一ディジタル画像と第二ディジタル画像の同一領域の鮮鋭度の差が、注目領域で大きく、注目していない領域（注目外領域）で小さくなるように、撮像するシーンに応じて調整範囲の近距離側限界又は遠距離側限界のいずれかに焦点を合わせて第二ディジタル画像を生成してもよい。また、調整範囲の近距離側限界に焦点を合わせたものと遠距離側限界に焦点を合わせたものとの両方を第二ディジタル画像としてもよい。第一ディジタル画像と第二ディジタル画像の注目領域でない領域の鮮鋭度の差は、撮像するシーンによって、前者（調整範囲の近距離側限界に焦点を合わせた第二ディジタル画像）の方が後者（調整範囲の遠距離側限界に焦点を合わせた第二ディジタル画像）より小さくなる場合もあれば、後者の方が前者より小さくなる場合もあるからである（次表１参照）。尚、次表１では、最大鮮鋭度が１００、最小鮮鋭度が０になるように鮮鋭度を換算している。
【表１】
制御部４２は、圧縮・伸張部３４を制御して第一ディジタル画像及び第二ディジタル画像をそれぞれ圧縮し、圧縮された状態の第一ディジタル画像及び第二ディジタル画像を互いに関連付けてリムーバブルメモリ３２に格納する。第一ディジタル画像及び第二ディジタル画像をそれぞれ別個独立のファイルとしてリムーバブルメモリ３２に格納し、いずれか一方のファイルに他方のファイルへのパスを記録してもよいし、第一ディジタル画像及び第二ディジタル画像を１つのファイルにまとめてリムーバブルメモリ３２に格納してもよい。
尚、第一ディジタル画像及び第二ディジタル画像は、例えばモデムを介してインターネット等の電気通信回線に送出してもよいし、例えばＵＳＢケーブル、ブルートゥース等を介して直接ＰＣ１６に入力してもよい。
【００３８】
３．ＰＣによる処理の詳細
図５は、同一シーンについて連続して生成された第一ディジタル画像及び第二ディジタル画像の同一領域の鮮鋭度の差に基づいて、第一ディジタル画像の注目領域に対応する領域を特定する処理の流れを示すフローチャートである。
はじめに、第一ディジタル画像と第二ディジタル画像のエッジ差分を表す二値画像を生成する（Ｓ２１０）。図６は、この処理の詳細を示すフローチャートである。まず、注目領域に焦点が合った状態で撮像されて生成された第一ディジタル画像のエッジを表す第一エッジ画像と、注目領域から焦点が外れた状態で撮像されて生成された第二ディジタル画像のエッジを表す第二エッジ画像とを生成する（Ｓ２１２）。具体的には例えば、差分型エッジ検出オペレータを第一画像及び第二画像のそれぞれに適用して第一エッジ画像及び第二エッジ画像を生成する。
【００３９】
次に、第一エッジ画像と第二エッジ画像の同一領域の差分を表すエッジ差分画像を生成する（Ｓ２１４）。具体的には第一エッジ画像をＦ１（Ｆ１＝｛ｆ１ ｉｊ｝）、第二エッジ画像をＦ２（Ｆ２＝｛ｆ２ ｉｊ｝）、それらの差分を表す画像をＧ（Ｇ＝｛ｇ ｉｊ｝）とすると、ｇ ｉｊ＝ｆ１ ｉｊ−ｆ２ ｉｊによってＧを求める。エッジ差分画像Ｇは、第一ディジタル画像と第二ディジタル画像の同一領域の鮮鋭度の差を表している。
【００４０】
次に、エッジ差分画像をしきい値Ａで二値化する（Ｓ２１６）。本実施例では、エッジ差が大きい画素を黒（０）、エッジ差が小さい画素を白（１）に変換するものとする。しきい値Ａは、例えば図７に示す画面からユーザが入力する値（エッジ差分しきい値）でもよいし、予め設定された固定値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。
【００４１】
以上の処理によって第一ディジタル画像と第二ディジタル画像のエッジ差分を表す二値画像の生成が終了する。図８は注目領域である女性に焦点を合わせた状態で撮像された第一ディジタル画像を表している。図９は、注目領域である女性から焦点を外した状態で撮像された第二ディジタル画像を表している。図１０はそれらのエッジ差分を表す二値画像を表している。第一ディジタル画像では、注目領域である女性に焦点が合っているため、女性に対応する領域で鮮鋭度が高くなり、それ以外の領域で鮮鋭度が低くなる。したがって、第一ディジタル画像のエッジを抽出すると、女性に対応する領域でエッジが多くなり、それ以外の領域でエッジが少なくなる。一方、第二ディジタル画像では、女性から焦点が外れているものの、それ以外の被写体に焦点が合っているわけではないため、全領域で鮮鋭度が低くなる。したがって、第二ディジタル画像のエッジを抽出すると、全領域でエッジが少なくなる。このため、エッジ差分を表す二値画像では、女性に対応する領域に黒画素が集中する。
【００４２】
一般に、注目領域に焦点を合わせて撮像することにより生成したディジタル画像と、注目領域から焦点を外して撮像することにより生成したディジタル画像とを同一シーンについて比較すると、注目領域に対応する領域では鮮鋭度の差が大きく、注目領域でない領域に対応する領域では鮮鋭度の差が小さくなる傾向がある。この特性は撮像するシーンによらず単純で普遍的である。この特性は単純であるため、二値画像で表すことができる。またこの特性は普遍的であるため、エッジ差分を表す二値画像では、常に、注目領域に対応する領域に黒画素が集中する。
【００４３】
尚、上述の説明では、第一ディジタル画像及び第二ディジタル画像の鮮鋭度を表すパラメータとして、画像のエッジを用いたが、近傍画素の画素値の注目画素に対する散らばりの度合い等をパラメータとして用いてもよい。より具体的には例えば、８近傍画素の画素値の注目画素に対する散らばりを求めるフィルタを第一ディジタル画像及び第二ディジタル画像のそれぞれに適用し、その結果得られる２つの画像の差分によって、第一ディジタル画像及び第二ディジタル画像の同一領域の鮮鋭度の差を求めてもよい。
【００４４】
一般に、人物などの注目領域に対応する被写体とその背後にある被写体とでは、ディジタルカメラまでの距離に相当の差があるため、注目領域に対応する領域は、図１１の実線で示すように、まとまりのある閉じた領域として二値画像に表れる傾向が強い。第一ディジタル画像と第二ディジタル画像のエッジ差分を表す二値画像は、注目領域でない領域にノイズを含むため、以後の処理では、この傾向に着目してノイズを除去する。尚、注目領域に対応する領域を特定するための以後の全ての処理は、モノクローム画像に対する処理であり、特に二値画像に対する処理であるため、カラー画像に対する処理に比べて単純である。したがって、注目領域を特定する処理の全体を通じて、画像の特性に応じて調整する必要があるパラメータは、種類が少なく、調整範囲が狭い。本実施例で画像の特性に応じて調整する必要があるパラメータは、エッジ差分画像を二値化するためのしきい値Ａと、後述する最小値フィルタの適用回数Ｂと、後述する最大値フィルタの適用回数Ｃとだけである。このように、画像の特性に応じて調整する必要があるパラメータの種類が少なく、また調整範囲が狭いため、ユーザは容易に適切なパラメータを設定することができる。また、画像の特性に応じて調整する必要があるパラメータの種類が少なく、また調整範囲が狭いため、適切なパラメータを自動検出することも可能である。パラメータをユーザが設定する場合も、適切なパラメータを自動検出する場合も、パラメータの設定操作が簡素化されるため、本実施例の画像処理方法によると、ディジタル画像の領域分割が容易になる。
【００４５】
まず、最小値フィルタをくり返し適用して二値画像の黒領域を膨張させることによって、近傍の黒領域同士を結合させ、外輪郭が１つの閉曲線で構成されたある程度広い領域を出現させる（Ｓ２２０）。最小値フィルタは、注目画素を取り巻く近傍画素中で画素値が最小のものを選択し、選択された画素の画素値を処理後の全ての近傍画素の画素値として採用するフィルタである。最小値フィルタの適用回数Ｂは、例えば図７に示す画面からユーザが入力する値（領域判定あまさ）でもよいし、予め設定された値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。図１２及び図１３は図１０に示す画像に最小値フィルタを適用した結果を示す画像である。図１３に示す画像は図１２に示す画像よりも最小値フィルタを多く適用した結果を示している。図１３に示すように、最小値フィルタの適用回数を多くすると注目領域外のノイズが強調されるが、強調されたノイズは後続の処理で消去することができる。
【００４６】
次に最大値フィルタをくり返し適用して黒領域を収縮させる（Ｓ２３０）。図１４は図１３に示す画像に最大値フィルタを適用した結果を示す画像である。最大値フィルタは、注目画素を取り巻く近傍画素中で、画素値が最大のものを選択して処理後の画素の画素値として採用するフィルタである。最大値フィルタを適用する処理では、図２０に示すように、最小値フィルタの適用によって結合した黒領域を結合したまま収縮させることができる。図２０は、ウィンドウサイズが９画素の最小値フィルタを２回適用した後にウィンドウサイズが９画素の最大値フィルタを２回適用する処理の経過を示している。最大値フィルタの適用回数Ｃは、例えば図７に示す画面からユーザが入力する値（領域の痩身度）でもよいし、予め設定された固定値でもよいし、最小値フィルタの適用回数Ｂと等しい値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。
【００４７】
次に、以上の処理によって生成された複数の黒領域のうち、最大面積の領域以外のものを反転させる（Ｓ２４０）。この処理は、注目領域に対応する黒領域がノイズに相当する黒領域よりも常に広くなることを前提としている。この処理の結果、注目領域に対応する領域のみが黒領域として残り、ノイズに相当する黒領域は消滅する。図１５は図１４に示す画像に対するこの処理の結果を示している。
【００４８】
尚、複数の黒領域のうち、いずれの領域が注目領域に対応しているかをより正確に判定するために、各領域の面積を単純に比較するだけではなく、例えば中心に近い領域は周縁に近い領域よりも注目領域である可能性が高いことを勘案し、各領域の面積を位置に応じて重み付けしたものを比較してもよい。また、エッジ差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの少なくともいずれか１つを変更して上述の処理を繰り返すときに各黒領域の面積の全体の面積に占める割合がどのように増減するかを勘案することにより、いずれの黒領域が注目領域に対応しているかを判定してもよい。
【００４９】
次に、黒領域に囲まれた白領域を反転させることにより黒領域を拡張する。この処理の結果、人肌や無地の衣類のように注目領域の中で被写体自体の濃淡変化が平滑な領域（すなわち焦点が合っていても外れていてもエッジが抽出されない領域）に対応する領域（白領域）が周辺の黒領域によって侵食されて消滅する。図１６は図１５に示す画像に対するこの処理の結果を示している。
【００５０】
以上の処理によって、二値画像の黒領域が注目領域に対応する領域として二値画像上で大まかに特定され、二値画像の白領域が注目領域以外に対応する領域として二値画像上で大まかに特定される。二値画像上で注目領域に対応する領域を特定することは、第一ディジタル画像上で注目領域に対応する領域を特定することに等しい。すなわち、二値画像上で注目領域に対応する領域を特定することによって、第一ディジタル画像上で注目領域に対応する領域が特定されたことになる。尚、以上の処理に加えて、最適なパラメータを自動検出する処理、黒領域のノイズ成分である「ひげ」を除去する処理等を実施してもよい。
【００５１】
図５に示すＳ２６０とＳ２７０の処理は、エッジ差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの３つのパラメータの最適値を自動検出する処理に対応している。すなわち、上述の処理の結果として二値画像に残存している黒領域が内接する最小矩形（図１７参照）の面積が二値画像全体に占める割合と、黒領域の面積がその最小矩形の面積に占める割合とが所定の範囲内にあるか否かを判定し（Ｓ２６０）、いずれの値も所定の範囲内にあれば処理を終了し、なければエッジ差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの少なくともいずれか１つを変更して上述の処理を繰り返す（Ｓ２７０）。このようなパラメータの判定条件を設定することにより、例えば図１８に示すように蛇行した細長い領域が注目領域に対応する領域として特定された場合には、再度パラメータを設定し直し、注目領域に対応する領域を特定する処理をやり直しすることができる。図１８に示すように蛇行した細長い領域が注目領域に対応する確率は相当低いからである。
【００５２】
次に、第一ディジタル画像の注目領域に対応しない領域を透明にする（Ｓ５００）。具体的には例えば、第一ディジタル画像と上述の処理によって得られた二値画像の反転画像（注目領域に対応する領域の画素値が１の画像）との画素毎の積を表す画像を生成することにより、第一ディジタル画像の注目領域に対応しない領域の画素値を０にした画像を生成する。また例えば、上述の処理によって得られた二値画像を、第一ディジタル画像の二階調のアルファチャンネルに設定することにより、合成処理時に注目領域に対応しない領域が透明な領域として扱われる画像を生成する。
【００５３】
次に、注目領域に対応しない領域が透明化された第一ディジタル画像と他のディジタル画像とを重畳合成する（Ｓ６００）。具体的には例えば、第二ディジタル画像の上に第一ディジタル画像を重畳合成すると、注目領域に対応した領域が鮮鋭で、注目領域に対応しない領域がぼけた画像を生成することができる。このような合成画像では、注目領域に対応しない領域の鮮鋭度が第一ディジタル画像より低くなるため、画像の奥行きを強調することができる。尚、図１９に示すように、第一ディジタル画像をそれと無関係な画像の上に重畳合成してもよい。また、第一ディジタル画像、第二ディジタル画像のいずれか一方又は両方を加工した後に２つの画像を合成してもよい。例えば、平滑化フィルタを施してさらにぼかした（鮮鋭度を小さくした）第二ディジタル画像と、第一ディジタル画像を合成することにより、より一層画像の奥行きを強調することができる。
【００５４】
尚、上述の実施例では、重畳合成処理の前処理として、第一ディジタル画像の注目領域に対応しない領域を透明化しているが、第一ディジタル画像の注目領域に対応しない領域の画素値を均一にしてもよい。具体的には例えば第一ディジタル画像の注目領域に対応しない領域が白、黒、青などの単一色を表すように第一ディジタル画像を編集してもよい。第一ディジタル画像の注目領域に対応しない領域の画素値が均一であれば、第一ディジタル画像の注目領域に対応する領域を抽出して他の画像に合成することは容易である。
【００５５】
また、上述の実施例では、第一ディジタル画像の注目領域に対応する領域を特定する処理をＰＣ１６で行っているが、例えば、ディジタルカメラ１２でその処理を行い、さらに第一ディジタル画像の注目領域に対応しない領域の画素値を透明又は均一にし、それをリムーバブルメモリ３２に格納してもよい。これにより、リムーバブルメモリ３２から第一ディジタル画像を入力した他の装置において第一ディジタル画像の注目領域に対応する領域を他の画像に合成することが容易になる。
【図面の簡単な説明】
【図１】本発明の実施例に係るフローチャート。
【図２】本発明の実施例に係る模式図。
【図３】本発明の実施例に係るブロック図。
【図４】本発明の実施例に係るブロック図。
【図５】本発明の実施例に係るフローチャート。
【図６】本発明の実施例に係るフローチャート。
【図７】本発明の実施例に係るプログラムの実行画面を示す図。
【図８】本発明の実施例に係る見本画像を示す図。
【図９】本発明の実施例に係る見本画像を示す図。
【図１０】本発明の実施例に係る見本画像を示す図。
【図１１】本発明の実施例に係る見本画像を示す図。
【図１２】本発明の実施例に係る見本画像を示す図。
【図１３】本発明の実施例に係る見本画像を示す図。
【図１４】本発明の実施例に係る見本画像を示す図。
【図１５】本発明の実施例に係る見本画像を示す図。
【図１６】本発明の実施例に係る見本画像を示す図。
【図１７】本発明の実施例に係る見本画像を示す図。
【図１８】本発明の実施例に係る見本画像を示す図。
【図１９】本発明の実施例に係る見本画像を示す図。
【図２０】本発明の実施例に係る模式図。
【符号の説明】
１２ ディジタルカメラ、１４ プリンタ（画像処理装置）、１６ ＰＣ（画像処理装置）
Claims (11)
- 同一シーンについて、注目領域に焦点を合わせて撮像することにより第一ディジタル画像を生成し前記注目領域から焦点を外して撮像することにより第二ディジタル画像を生成する段階と、
前記第一ディジタル画像と前記第二ディジタル画像の同一領域の鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域とそれ以外の第二領域を特定する段階と、
を含むことを特徴とする画像処理方法。 - 前記第二ディジタル画像を、調整範囲の限界近傍に焦点を設定して撮像することにより生成することを特徴とする請求項１に記載の画像処理方法。
- 前記第一ディジタル画像の第二領域の画素値を均一にする段階を含むことを特徴とする請求項１又は２に記載の画像処理方法。
- 前記第一ディジタル画像の第二領域を透明にする段階と、
前記第二ディジタル画像の上に前記第一ディジタル画像を重畳合成する段階と、
をさらに含むことを特徴とする請求項１又は２に記載の画像処理方法。 - 同一シーンについて、注目領域に焦点を合わせて撮像することにより第一ディジタル画像を生成し前記注目領域から焦点を外して撮像することにより第二ディジタル画像を生成する手段と、
前記第一ディジタル画像と前記第二ディジタル画像の同一領域の鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域とそれ以外の第二領域を特定する手段と、
を備えることを特徴とする画像処理システム。 - 注目領域に焦点を合わせて撮像することにより生成された第一ディジタル画像と前記注目領域から焦点を外して撮像することにより生成された第二ディジタル画像とを同一シーンについて取得する手段と、
前記第一ディジタル画像と前記第二ディジタル画像の同一領域の鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域とそれ以外の第二領域を特定する手段と、
を備えることを特徴とする画像処理装置。 - 前記第一ディジタル画像の第二領域の画素値を均一にする手段を備えることを特徴とする請求項６に記載の画像処理装置。
- 前記第一ディジタル画像の第二領域を透明にする手段と、
前記第二ディジタル画像の上に前記第一ディジタル画像を重畳合成する手段と、
をさらに備えることを特徴とする請求項６に記載の画像処理装置。 - 注目領域に焦点を合わせて撮像することにより生成された第一ディジタル画像と前記注目領域から焦点を外して撮像することにより生成された第二ディジタル画像とを同一シーンについて取得する手段と、
前記第一ディジタル画像と前記第二ディジタル画像の同一領域の鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域とそれ以外の第二領域を特定する手段としてコンピュータを機能させることを特徴とする画像処理プログラム。 - 同一シーンについて、注目領域に焦点を合わせて撮像することにより第一ディジタル画像を生成し前記注目領域から焦点を外して撮像することにより第二ディジタル画像を生成する手段と、
前記第一ディジタル画像と前記第二ディジタル画像とを互いに関連付けて出力する手段と、
を備えることを特徴とするディジタルカメラ。 - 前記第二ディジタル画像を、調整範囲の限界近傍に焦点を設定して撮像することにより生成することを特徴とする請求項１０に記載のディジタルカメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003198379A JP2005038083A (ja) | 2003-07-17 | 2003-07-17 | 画像処理方法、システム、装置及びプログラム並びにディジタルカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003198379A JP2005038083A (ja) | 2003-07-17 | 2003-07-17 | 画像処理方法、システム、装置及びプログラム並びにディジタルカメラ |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005038083A true JP2005038083A (ja) | 2005-02-10 |
Family
ID=34208178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003198379A Pending JP2005038083A (ja) | 2003-07-17 | 2003-07-17 | 画像処理方法、システム、装置及びプログラム並びにディジタルカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005038083A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010020758A (ja) * | 2008-06-13 | 2010-01-28 | Fujifilm Corp | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| WO2012147560A1 (ja) * | 2011-04-23 | 2012-11-01 | オリンパスイメージング株式会社 | 撮像装置および撮像方法 |
| JP2013182330A (ja) * | 2012-02-29 | 2013-09-12 | Canon Inc | 画像処理装置および画像処理方法 |
| JP2014216788A (ja) * | 2013-04-24 | 2014-11-17 | 株式会社メイクソフトウェア | 画像出力装置 |
-
2003
- 2003-07-17 JP JP2003198379A patent/JP2005038083A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010020758A (ja) * | 2008-06-13 | 2010-01-28 | Fujifilm Corp | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| JP4524717B2 (ja) * | 2008-06-13 | 2010-08-18 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| WO2012147560A1 (ja) * | 2011-04-23 | 2012-11-01 | オリンパスイメージング株式会社 | 撮像装置および撮像方法 |
| JP2012231200A (ja) * | 2011-04-23 | 2012-11-22 | Olympus Imaging Corp | 撮像装置および撮像方法 |
| US9210318B2 (en) | 2011-04-23 | 2015-12-08 | Olympus Corporation | Imaging device and imaging method |
| JP2013182330A (ja) * | 2012-02-29 | 2013-09-12 | Canon Inc | 画像処理装置および画像処理方法 |
| JP2014216788A (ja) * | 2013-04-24 | 2014-11-17 | 株式会社メイクソフトウェア | 画像出力装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9898807B2 (en) | Image processing device, imaging device, image processing method, and program | |
| JP5113171B2 (ja) | イメージ情報にフィルタをかけるための適応空間イメージフィルタ | |
| US8385680B2 (en) | Image processing apparatus and image processing method | |
| TW200541311A (en) | Segmentation method and system for scanned documents | |
| JP2000228747A (ja) | 画像処理装置 | |
| JP2004088149A (ja) | 撮像システムおよび画像処理プログラム | |
| JP2010011441A (ja) | 撮像装置及び画像再生装置 | |
| CN103973977A (zh) | 一种预览界面的虚化处理方法、装置及电子设备 | |
| JP2011044825A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
| KR20070078463A (ko) | 이미지 센서 노이즈 저감 장치 및 방법 | |
| JP2004310475A (ja) | 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム | |
| JP2004096506A (ja) | 画像形成方法、画像処理装置及び画像記録装置 | |
| JP4079814B2 (ja) | 画像処理方法、画像処理装置、画像形成装置、撮像装置、及びコンピュータプログラム | |
| JP3438719B2 (ja) | 画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ | |
| JP2006295582A (ja) | 画像処理装置と撮像装置、および画像処理プログラム | |
| JP6624785B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
| JP2004246644A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US11503215B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium that notify a user of a region in which tone characteristics can be restored | |
| JP2005038083A (ja) | 画像処理方法、システム、装置及びプログラム並びにディジタルカメラ | |
| JP5509621B2 (ja) | 画像処理装置、カメラおよびプログラム | |
| JP2005064650A (ja) | 撮影場面の判定および撮影場面に応じた画像処理 | |
| JP2006166226A (ja) | ディジタルカメラ、画像処理方法及びプログラム、並びに画像処理システム | |
| JP4006590B2 (ja) | 画像処理装置、シーン判定装置、画像処理方法、シーン判定方法、およびプログラム | |
| JP2006166212A (ja) | 画像処理方法、システム、装置及びプログラム並びにディジタルカメラ | |
| JP4779883B2 (ja) | 電子カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060718 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060811 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061222 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20061226 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070410 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090512 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091020 |