JP2006140594A - デジタルカメラ - Google Patents

Abstract

【課題】 取得した画像データにおいて非合焦領域を検出し、非合焦領域を更にぼやかす画像処理を行う。
【解決手段】 デジタルカメラは、デジタル信号処理回路と画像メモリを備える。画像メモリは画像データを格納する。デジタル信号処理回路は、画像データを構成する画素データ毎の光強度、及び光強度変化度を算出する（ステップＳ１０４）。デジタル信号処理回路は、画素データの光強度変化度と近傍の画素データの光強度変化度とを平滑化する（ステップＳ１０５）。デジタル信号処理回路は、平滑化した光強度変化度に基づいて非合焦領域を判別するマスク画像データを作成する（ステップＳ１０６）。デジタル信号処理回路は、画像メモリに格納された画像データをマスク画像データに基づいて、部分ぼかし処理を行う（ステップＳ１０７）。
【選択図】 図９

Description

本発明は、画像の一部にぼかし処理を行う画像処理装置に関する。

従来のカメラにおいて、例えば人等の主被写体に合焦させ、その周囲の背景被写体の写像をぼやかした写真を撮ることが可能である。主被写体に合焦する撮影光学系と撮像面との距離における被写界深度から、背景被写体が外れることにより前述のような効果のある写真を得ることができる。

ところで、背景被写体のボケ量は、図１０に示すようにカメラ１００_a、１００_bの撮影光学系１１０と撮像面Ｓとの距離、或いは撮像面Ｓの大きさに依存する。図１０（ａ）、（ｂ）は、カメラ１００_a、１００_bにより主被写体５０に合焦した状態で、主被写体５０及び背景被写体５１を撮影した場合の背景被写体５１のボケ量を概念的に示す図である。カメラ１００_bはカメラ１００_aに比べて、撮影光学系１１０と撮像面Ｓの距離調整範囲、及び撮像面Ｓの面積が小さい。

撮影光学系１１０からの距離が同じ主被写体５０と背景被写体５１を撮影した場合、カメラ１００_bにおける背景被写体のボケ量ＢＲ_bが、カメラ１００_aにおけるボケ量ＢＲ_aより小さくなる。従って、撮影光学系１１０と撮像面Ｓの距離、及び撮像面Ｓの大きさに制約があるコンパクトカメラは、一眼レフカメラ等に比べて、背景被写体のボケ量を大きくすることが難しかった。

一方、ゲーム等の画像の一部をぼやかして表示することが提案されている（特許文献１）。そこで、コンパクトカメラで撮影した写真の画像もデジタルデータとして、パソコン等に出力し、画像の加工をすることは可能である。しかし、近年はデジタルカメラをプリンタに直接接続して、撮影した画像をプリント可能になっており、このような画像処理も簡易的に行うことが求められる。
特許第３４０４３４７号公報

従って、本発明では、直接撮影した画像、或いはメモリに記憶した画像において合焦していない領域の検出処理が可能な画像処理装置またはカメラ、及び検出された領域を更にぼやかす画像処理を行う画像処理装置またはカメラの提供を目的とする。

本発明の画像処理装置は、画像に相当する画像データを読込む画像データ読込み手段と、画像データに基づいて画像を構成する領域毎の合焦度を検出する合焦度検出手段と、合焦度が許容できる合焦度として予め定められる範囲である合焦範囲から外れる領域を非合焦領域として検出するボケ領域検出手段と、非合焦領域に相当する非合焦領域データにぼかし処理を行うぼかし手段とを備えることを特徴としている。

また、合焦度検出手段が領域毎の光学像の空間周波数を合焦度として検出し、ボケ領域検出手段がぼかし処理を行うか否かを切替えるために設定される合焦周波数を下回る空間周波数となる領域を非合焦領域として検出することが好ましい。さらには、合焦度検出手段が空間周波数の検出後に単一の領域の空間周波数と単一の領域に対して近隣の領域の空間周波数とを平滑化して、平滑化された空間周波数を単一の領域の空間周波数に置換えることが好ましい。

また、合焦度検出手段が複数の領域の中の1の領域である注目領域の光学像の光強度と注目領域の近隣の領域である近隣領域の光学像の光強度とに基づく注目領域の光強度変化度の算出を複数の領域に対して行い、ボケ領域検出手段が予め定められる第１閾値を下回る光強度変化度である注目領域を非合焦領域として検出することが好ましく、更に、合焦度検出手段が光強度変化度の算出後に単一の注目画素の光強度変化度と単一の注目画素に対して近隣の注目画素の光強度変化度とを平滑化して、平滑化された光強度変化度を単一の注目領域の光強度変化度に置換えることが好ましい。

また、合焦度検出手段が領域に相当する領域データ毎の自己相関係数を合焦度として算出し、ボケ領域検出手段は予め定められる第２閾値を上回る前記自己相関係数である領域を非合焦領域として検出することが好ましい。

また、ぼかし手段が非合焦領域データにガウシアンフィルタ処理を行うか、或いは非合焦領域データに平滑化処理を行うことが好ましい。

本発明のデジタルカメラは、画像に相当する画像信号を生成する撮像手段と、画像信号に基づいて画像を構成する画素毎の合焦度を検出する合焦度検出手段と、合焦度が許容できる合焦度として予め定められる範囲である合焦範囲から外れる領域を非合焦画素として検出するボケ領域検出手段と、非合焦画素に相当する画素データにぼかし処理を行うぼかし手段とを備えることを特徴としている。また、画像に相当する画像データを格納するメモリから画像データを検出する画像データ読込み手段を備えることが好ましい。

本発明によれば、撮影した画像において背景被写体等の自動的な検出が可能であり、検出された背景被写体を更にぼやかした画像をデジタルカメラ単体において得ることが可能となる。

以下、本発明の実施形態について図面を参照して説明する。
図１は本発明の一実施形態を適用した画像処理装置を備えたデジタルカメラの内部構成を示すブロック図である。

デジタルカメラ１０は、撮影光学系１１、絞り１２、撮像素子１３、デジタル信号処理回路１４、システムコントロール回路１５によって構成される。なお、撮影光学系１１は複数のレンズ群（図示せず）によって構成され、絞り１２は撮影光学系１１を構成するレンズに挟まれて固定される。なお、絞り１２は、シャッタとして兼用される。

撮像素子１３は撮影光学系１１と光学的に接続される。撮像素子１３は例えばＣＣＤである。撮像素子１３はＡ／Ｄコンバータ１６を介してデジタル信号処理回路１４に電気的に接続される。被写体像を含む画像は撮影光学系１１を介して撮像素子１３により受光され、画像信号が生成される。撮像素子１３の撮像面上には、複数の画素（領域）が２次元状に配置されており、画素での受光量に相当する画素情報が各画素において生成する。画像信号は、全画素の画素情報によって構成される。

画像信号はＡ／Ｄコンバータ１６でデジタルデータである画像データに変換され、デジタル信号処理回路１４に送られる。

デジタル信号処理回路１４は、画像メモリ１７、ＬＣＤモニタ１８、メモリカードコネクタ１９、及びＵＳＢ２０に電気的に接続される。撮像素子１３から送られた画像データは、作業用のメモリである画像メモリ１７に格納される。画像メモリ１７に格納された画像データは、デジタル信号処理回路１４によって色補完処理やホワイトバランス処理等の所定の処理が行われる。また必要に応じて、後述する画像処理が可能である。所定の処理が行われた画像データはＬＣＤモニタ１８に送られ、被写体像がＬＣＤモニタ上に表示される。

また、後述する撮像動作を実行して、得られた画像データは、メモリカードコネクタ１９と着脱自在に接続されるカード型メモリ２１に格納可能である。或いは、得られた画像データはＵＳＢ２０を介して接続されるパーソナルコンピュータ（図示せず）やプリンタ（図示せず）に出力される。

また、デジタル信号処理回路１４は、システムコントロール回路１５に接続される。システムコントロール回路１５において、デジタル信号処理回路１４の制御を含む、デジタルカメラ１０全体の動作の制御が行われる。

システムコントロール回路１５には、電源ボタン（図示せず）、及び操作ボタン２２が電気的に接続される。電源ボタンを押すことによりデジタルカメラ全体の動作のオン／オフが切替えられる。操作ボタン２２により、デジタルカメラの所定の動作のための操作、及び通常の撮影を行う通常モードと後述する部分ぼかし画像を得るためのポートレートモードとの切替のための操作が可能である。

また、システムコントロール回路１５には、レリーズボタン（図示せず）、タイミングジェネレータ２３、及びレンズ絞り駆動回路２４が電気的に接続される。レリーズボタンを押す時に、システムコントロール回路１５はタイミングジェネレータ２３、及びレンズ絞り駆動回路２４を制御して撮影動作を実行させる。

タイミングジェネレータ２３は、撮像素子１３、及びＡ／Ｄコンバータ１６に電気的に接続される。撮像素子１３、及びＡ／Ｄコンバータ１６はタイミングジェネレータ２３によって駆動される。レンズ絞り駆動回路２４が、絞り１２を駆動することによって、開口の調整及び、シャッタ開閉が行われる。

次に、本実施形態の画像処理装置によって実行される非合焦画素検出処理、及び部分ぼかし処理について説明する。

画像メモリ１７には、前述のように撮影時に撮像素子１３から取得する画像データ、カード型メモリ２１から取得する画像データ、或いはＵＳＢ２０を介して外部装置（図示せず）から取得する画像データを格納可能である。デジタル信号処理回路１４では、画像メモリ１７に格納された画像データに対して非合焦画素検出処理、及び部分ぼかし処理を行うことが可能である。

図２は主目標物４１に合焦し、それ以外の被写体は、許容する被写界深度から外れた画像４０を示す図である。図３は、画像４０の第１画像データＰＤ１を示す図であって、９行９列に配置された画素３０毎に受光した光の光強度を示す図である。なお、光強度は１〜５の５段階とする。

背景等の、主目標物４１以外の被写体である周辺被写体を受光する画素（符号ＮＦＡ参照）は、近隣の画素で受けるべき光が混ざり込み、互いに均質化するため、周囲の画素の光強度と実質的に同一、或いはその変化が小さい。従って、周辺被写体を受光する各画素の空間周波数は低い。

一方、主目標物４１を受光する各画素（符号ＦＡ参照）は、近隣の画素で受ける光の混入は低く、各画素における光強度は通常明確に異なる。従って、主目標物４１を受光する画素の空間周波数は高い。

本実施形態では、各画素で受光した光学像の合焦度として、空間周波数を間接的に求めて、空間周波数の低い画素が非合焦画素として検出される。なお、空間周波数は光強度変化度を求めることにより間接的に求められる。なお、合焦度とは画像撮影時の撮影光学系と撮像面との距離における、各画素の光学像の合焦の度合いを示すものとする。

図４に示すように、任意の単一の画素である注目画素３０_nhの光強度変化度は、注目画素３０_nhの光強度に８を乗じた値と、その近傍の８つの画素３０の光強度に−１を乗じた値とを合計して、その合計値の絶対値を取ることにより算出される。この変加度検出処理が第１画像データＰＤ１におけるすべての画素３０に対して行われる。

なお、1行1列の画素３０₍₁、₁₎（図３参照）のように近隣の画素が３つの画素３０を注目画素３０_nhとする場合は、注目画素３０_nhの光強度に３を乗じた値と、その近傍の３つの画素３０の光強度に−１を乗じた値とを合計し、２行１列の画素３０₍₂、₁₎のように近隣の画素が５つの画素３０を注目画素３０_nhとする場合は、注目画素３０_nhの光強度に５を乗じた値と、その近傍の５つの画素３０の光強度に−１を乗じた値とを合計することにより、光強度変化度が算出される。

図５は各画素３０における光強度変化度を示す第２画像データＰＤ２である。主目標物４１を受光する画素ＦＡの光強度変化度は大きく、周辺被写体を受光する画素ＮＦＡの光強度変化度は小さい。従って、光強度変化度の小さい画素３０を、空間周波数の低い画素３０として検出することが可能である。

更に、この画像毎の光強度変化度に対して平滑化処理を行い、平滑化変化度が求められる。図６に示すように、注目画素３０_nLの平滑変化度が、注目画素３０_nLの光強度変化度と注目画素３０_nLの周囲の２４画素の光強度変化度とを平均をとることによって求められる。

図７は、第１画像データＰＤ１に変化度検出処理、及び平滑化処理を行った画素３０の平滑化変化度を示す第３画像データＰＤ３である。第１画像データＰＤ１として各画素の光強度を生成する時に、ノイズが混入することがあり、実際の光強度は近傍の画素と変わらない画素の光強度が小さく、或いは大きくなることがある（図３における７行７列画素３１₍₇、₇₎参照）。しかし、平滑化処理をすることによりこのようなノイズの影響が除去される（図７における７行７列画素３１₍₇、₇₎参照）。

算出された平滑化変化度が、デジタル信号処理回路１４に接続されるＲＯＭ（図示せず）に記憶される第１閾値を下回る画素は、背景被写体像を受光する非合焦画素として検出される。第１閾値は、予め設定される値（合焦範囲）であって、例えば９に設定される。第１閾値の値は光強度の範囲や合焦被写体像を受光する合焦画素と非合焦画素における平滑化変化度を実測して最適な値が設定される。

次にぼかし処理用のマスク画像が作成される。検出された非合焦画素には合焦判別データとして１が与えられ、それ以外の画素は、合焦被写体像を受光する合焦画素と判定され、合焦判別データとして０が与えられる。すべての画素に合焦判別データが与えられた後、図８に示すようなマスク画像に相当するマスク画像データＭＤが画像メモリ１７上に作成される。以上のような構成の処理を行うことにより非合焦画素の検出が行われる。

なお、マスク画像データは、画像メモリ１７に格納される主目標物４１とは別に作成される。なお、図３、図５、図７、及び図８において、光強度、光強度変化度、平滑化変化度、及び合焦判別データを表示する各画素３０の位置はそれぞれ一致している。

マスク画像において合焦判別情報が１である画素に対応する第１画像データＰＤ１の画素に対してぼかし処理が行われる（部分ぼかし処理）。ぼかし処理としては、ガウシアンフィルタ処理や平滑化処理等の従来公知のぼかし処理が適用される。

画像メモリ１７に格納した第１画像データＰＤ１の非合焦画素に部分ぼかし処理が行われる。部分ぼかし処理により得られた第４画像データが、ＵＳＢ２０を介して接続されるプリンタに出力される。或いは、第４画像データはカード型メモリ２１に格納される。更に第４画像データはＬＣＤモニタ１８に送られ、背景被写体を更にぼやかした画像のＬＣＤモニタにおける表示も可能である。

次に、本実施形態を適用した画像処理装置によって実行される非合焦画素検出処理、及び部分ぼかし処理を図９のフローチャートを用いて説明する。ステップＳ１００において、レリーズボタンが押されるか否かを確認する。レリーズボタンが押されない場合はステップＳ１００に戻り、レリーズボタンが押されるまでステップＳ１００の処理を行う。

ステップＳ１００において、レリーズボタンが押されると、ステップＳ１０１に進み、絞り１２を開閉駆動してレリーズ動作を実行させる。次にステップＳ１０２に進み、撮像素子１３において生成した画像信号をＡ／Ｄコンバータ１６によりデジタルデータに変換した画像データとして取得する。取得した画像データに色補完処理、ホワイトバランス処理等の所定の処理を行い、ステップＳ１０３に進む。

ステップＳ１０３では、所定の処理が行われた画像データを画像メモリ１７に格納する。次にステップＳ１０４に進み、画像データから空間周波数に応じた光強度変化度を算出する。次のステップＳ１０５においては、算出された光強度変化度にＬＰＦ処理を行い、平滑化させる。

次のステップＳ１０６において、マスク画像を作成する。マスク画像に相当するマスク画像データを画像メモリ１７に作成する。マスク画像データは、画像データに含まれるすべての画素に対して、平滑化した光強度変化度が９未満である画素に合焦判別データとして１を与え、９以上である画素に０を与えることにより作成する。マスク画像作成後、ステップＳ１０７に進む。

ステップＳ１０７では、部分ぼかし処理を行う。部分ぼかし処理は、画像メモリ１７に格納された画像データとマスク画像データに基づいて行われる。マスク画像データにおいて、合焦判別データが１である画素と同じ座標である画像データにおける画素に対してぼかし処理を行う。ぼかし処理を行った画像データを画像メモリ１７に格納する。ステップＳ１０７の終了後、非合焦画素検出処理、及び部分ぼかし処理を終了する。

以上のように、本実施形態を適用した画像処理装置を備えるデジタルカメラによれば、所望の被写体に合焦させて、被写界深度から外れる背景等が写る画素を自動で検出することが可能であって、また検出した画素を更にぼやかした画像にすることが可能となる。

なお、本実施形態においては平滑化変化度を求めて、第１閾値を下回る平滑化変化度である画素を非合焦画素として検出したが、単に光強度変化度のみによって非合焦画素の検出を行うことも可能である。平滑化処理は、光強度変化度を平滑化変化度に置換えてノイズの除去を行うための処理であり、既に従来公知の他の方法によりノイズを除去した光強度変化度を求めれば、平滑化処理は不要である。ただし、平滑化処理をしない場合における第１閾値として、光強度の範囲や合焦被写体像を受光する合焦画素と非合焦画素における平滑化変化度を実測して最適な値が設定される。

なお、本実施形態においては光強度変化度を求めたが、空間周波数を求めて、ぼかし処理を行うか否かを切替えるために予め設定される合焦周波数を下回る空間周波数となる画素を非合焦画素として検出してもよいし、空間周波数に応じて変化する他の変数を検出して非合焦画素を検出してもよい。また、被写体の合焦の度合いに応じて変化する従来公知の変数を検出して非合焦画素を検出することによっても本実施形態と同様の効果を生ずる。

例えば、画素毎の自己相関係数は被写体の合焦の度合いに応じて変化する。合焦画素は近傍の画素との相関性が低く、非合焦画素は近傍の画素との相関性が高い。即ち、自己相関係数が高い程、合焦度は低い。そこで画素毎に自己相関係数を算出して、予め設定する第２閾値より自己相関係数が高い画素を非合焦画素として検出することが可能である。本実施形態における光強度変化度の検出に比べて、自己相関係数算出のためにデジタル信号処理回路にかかる負荷が高くなるが、より正確に非合焦画素の検出が可能となる。

また、本実施形態において撮像素子の画素毎に光強度を求めているが、コンピュータグラフィックスにより作成された画像の場合は、画像を構成する最小単位の領域毎に光強度を求める構成であればよい。

本発明の一実施形態を適用した画像処理装置を備えたデジタルカメラの内部構成を示すブロック図である。 主目標物に合焦し、それ以外の被写体は、許容する被写界深度から外れた画像を示す図である。 画像の第１画像データを示す図である。 注目画素の光強度変化度を算出するためのフィルタを概念的に示す図である。 各画素における光強度変化度を示す第２画像データを示す図である。 注目画素を平滑化させるためのフィルタを概念的に示す図である。 各画素における平滑化変化度を示す第３画像データを示す図である。 マスク画像データを示す図である。 非合焦画素検出処理、及び部分ぼかし処理を説明するためのフローチャートである。 背景技術を説明するための図であって、背景被写体のボケ量を概念的に示す図である。

符号の説明

１０ デジタルカメラ
１１、１１０ 撮影光学系
１３ 撮像素子
１４ デジタル信号処理回路
１７ 画像メモリ
３０ 画素
３０_nh、３０_nL 注目画素
４０ 画像
４１ 主目標物
５０ 主被写体
５１ 背景被写体
１００_a、１００_b カメラ
ＦＡ 主目標物を受光する画素
ＮＦＡ 周辺被写体を受光する画素
ＰＤ１〜３ 第１〜３画像データ
ＭＤ マスク画像データ
Ｓ 撮像面
ＢＲ_a、ＢＲ_b ボケ量

Claims (10)

1. 画像に相当する画像データを読込む画像データ読込み手段と、
   前記画像データに基づいて、前記画像を構成する領域毎の合焦度を検出する合焦度検出手段と、
   前記合焦度が、許容できる合焦度として予め定められる範囲である合焦範囲から外れる領域を非合焦領域として検出するボケ領域検出手段と、
   前記非合焦領域に相当する非合焦領域データにぼかし処理を行うぼかし手段とを備える
   ことを特徴とする画像処理装置。
2. 前記合焦度検出手段が、前記領域毎の光学像の空間周波数を前記合焦度として検出し、
   前記ボケ領域検出手段が、ぼかし処理を行うか否かを切替えるために設定される合焦周波数を下回る空間周波数となる領域を前記非合焦領域として検出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記合焦度検出手段が、空間周波数の検出後に、単一の前記領域の空間周波数と、前記単一の領域に対して近隣の前記領域の空間周波数とを平滑化して、平滑化された空間周波数を前記単一の領域の空間周波数に置換えることを特徴とする請求項２に記載の画像処理装置。
4. 前記合焦度検出手段が、複数の前記領域の中の1の領域である注目領域の光学像の光強度と、前記注目領域の近隣の領域である近隣領域の光学像の光強度とに基づく、前記注目領域の光強度変化度の算出を、複数の前記領域に対して行い、
   前記ボケ領域検出手段が、予め定められる第１閾値を下回る光強度変化度である前記注目領域を非合焦領域として検出する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記合焦度検出手段が、前記光強度変化度の算出後に、単一の前記注目画素の前記光強度変化度と、前記単一の注目画素に対して近隣の前記注目画素の前記光強度変化度とを平滑化して、平滑化された前記光強度変化度を前記単一の注目領域の光強度変化度に置換えることを特徴とする請求項４に記載の画像処理装置。
6. 前記合焦度検出手段が、前記領域に相当する領域データ毎の自己相関係数を前記合焦度として算出し、
   前記ボケ領域検出手段は、予め定められる第２閾値を上回る前記自己相関係数である領域を非合焦領域として検出する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記ぼかし手段が、前記非合焦領域データにガウシアンフィルタ処理を行うことを特徴とする請求項１に記載の画像処理装置。
8. 前記ぼかし手段が、前記非合焦領域データに平滑化処理を行うことを特徴とする請求項１に記載の画像処理装置。
9. 画像に相当する画像信号を生成する撮像手段と、
   前記画像信号に基づいて、前記画像を構成する画素毎の合焦度を検出する合焦度検出手段と、
   前記合焦度が、許容できる合焦度として予め定められる範囲である合焦範囲から外れる領域を非合焦画素として検出するボケ領域検出手段と、
   前記非合焦画素に相当する画素データにぼかし処理を行うぼかし手段とを備える
   ことを特徴とするデジタルカメラ。
10. 前記画像に相当する画像データを格納するメモリから、画像データを検出する画像データ読込み手段を備えることを特徴とする請求項９に記載のデジタルカメラ。
    

Images