JP2009284056A - 画像処理装置および方法並びにプログラム - Google Patents

Abstract

【課題】画像処理により画像の被写界深度を変更するに際し、ユーザが経験的に被写界深度を指定できるようにする。
【解決手段】イメージャサイズ選択画面３０をモニタ１１に表示する。ユーザはイメージャサイズにより所望とする被写界深度を指定する。ボケ強調処理部１３が、選択されたイメージャサイズに応じた被写界深度となるように、撮影により取得した画像にボケ強調処理を行う。
【選択図】図１

Description

本発明は、同一シーンについて合焦位置が異なる複数の画像から被写界深度が異なる画像を取得する画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラ等の撮影装置において、同一シーンについて前景および背景にそれぞれ合焦させた複数の画像を取得し、画像処理によりこれらの複数の画像からそのシーンに含まれる複数の被写体に合焦した全焦点画像や、前景や背景等の被写体のボケの程度が異なる、すなわち被写界深度が異なる画像を作成する被写界深度補正機能を有するものが知られている。

このような被写界深度補正機能を用いることにより、撮像素子のサイズが小さいコンパクトカメラにおいても、撮像素子のサイズが大きい一眼レフカメラのように、被写界深度が浅い画像を取得することができる。

また、このような被写界深度補正機能を有する撮影装置において、合焦位置およびボケの大きさの指定を受け付けることにより、指定された合焦位置およびボケの大きさを有する画像を取得する手法が提案されている（特許文献１参照）。特許文献１に記載された手法によれば、ユーザが所望とするボケの程度、すなわち所望とする被写界深度を有する画像を取得することができる。
特開２００２−１５８９７９号公報

ところで、銀塩カメラにおいて人物等の撮影を行う場合、フイルムのサイズが大きいほどほど人物に合焦させた際に、被写界深度が浅く、背景のボケが大きい画像を撮影することができる。このため、撮影者は、自分が使用するフイルムのサイズに応じて、撮影により取得される画像の被写界深度が経験的に分かることとなる。また、デジタルカメラにおいても撮像素子のサイズが大きいほど、被写界深度が浅く、背景のボケが大きい画像を撮影することができる。

ここで、特許文献１に記載されたような被写界深度補正機能を有する撮影装置においては、合焦位置およびボケの程度を直接指定できるものの、取得される画像のボケがどのフイルムあるいは撮像素子（以下イメージャとする）のサイズに相当するものであるかが分かりにくいため、被写界深度がイメージャサイズ相当でどの程度のものとなるか分かりにくいという問題がある。

本発明は上記事情に鑑みなされたものであり、画像処理により画像の被写界深度を変更するに際し、ユーザが経験的に被写界深度を指定できるようにすることを目的とする。

本発明による画像処理装置は、画像を取得する画像取得手段と、
イメージャのサイズにより被写界深度の指定を受け付ける被写界深度指定手段と、
前記指定された被写界深度に応じて、前記画像に含まれる被写体のボケが強調された処理済み画像を生成するボケ強調処理手段とを備えたことを特徴とするものである。

なお、本発明による画像処理装置においては、前記画像取得手段を、同一シーンについて合焦位置を異ならせて複数回の撮影を行うことにより複数の前記画像を取得する撮影手段を備えるものとし、
前記ボケ強調処理手段を、前記複数の画像から前記処理済み画像を生成する手段としてもよい。

また、本発明による画像処理装置においては、前記被写界深度指定手段を、各種イメージャのサイズの一覧からのイメージャサイズの選択を受け付けることにより、前記被写界深度の指定を受け付ける手段としてもよい。

また、本発明による画像処理装置においては、前記ボケ強調処理手段を、前記イメージャのサイズにより指定された被写界深度が浅いほど、よりボケが強調された処理済み画像を生成する手段としてもよい。

本発明による画像処理方法は、画像を取得し、
イメージャのサイズにより被写界深度の指定を受け付け、
前記指定された被写界深度に応じて、前記画像に含まれる被写体のボケが強調された処理済み画像を生成することを特徴とするものである。

なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、イメージャのサイズにより被写界深度の指定を受け付け、指定された被写界深度に応じて、画像に含まれる被写体のボケが強調された処理済み画像を生成するようにしたものである。このため、ユーザは経験的に分かるイメージャのサイズにより被写界深度を指定でき、よってイメージャサイズから経験的に分かる所望とする被写界深度を有する画像を取得できることとなる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図である。図１に示すように本実施形態によるデジタルカメラ１は、撮像部２、撮像制御部３、信号処理部４、圧縮／伸長処理部５、フレームメモリ６、メディア制御部７、内部メモリ８、および表示制御部９を備える。

図２は撮像部２の構成を示す図である。図２に示すように、撮像部２は、レンズ２０、絞り２１、シャッタ２２、ＣＣＤ２３、アナログフロントエンド（ＡＦＥ）２４およびＡ／Ｄ変換部２５をそれぞれ備える。

レンズ２０は、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。例えば、フォーカスレンズは、レンズ駆動部によりその焦点位置が調整される。

絞り２１は、不図示の絞り駆動部により、ＡＥ処理により得られる絞り値データに基づいて絞り径の調整が行われる。

シャッタ２２はメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。

ＣＣＤ２３は、多数の受光素子を２次元的に配列した所定サイズの光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ２３の前面には、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ２４は、ＣＣＤ２３から出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部２５は、ＡＦＥ２４によりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部２のＣＣＤ２３において取得され、デジタル信号に変換されることにより得られる画像データは、画素ごとにＲ，Ｇ，Ｂの濃度値を持つＲＡＷデータである。

撮像制御部３は、レリーズボタン押下後に撮像の制御を行う。また、レリーズボタンの半押し操作により、ＡＦ処理およびＡＥ処理を行って、フォーカスレンズの焦点位置、絞り値データおよびシャッタスピードを設定する。なお、撮像制御部３は、レリーズボタンが押下されていない状態においては、スルー画像の撮影を行うよう撮像部２を制御する。また、本実施形態においては、撮像制御部３は、レリーズボタンの押下後に、フォーカスレンズの焦点位置を変更して、合焦位置が異なる複数の画像を撮影するフォーカスブラケット撮影を行うよう、撮像部２を制御する。

図３はフォーカスブラケット撮影を説明するための図である。なお、ここでは合焦位置が異なる５つの画像を撮影する場合について説明する。撮像制御部３はレリーズボタンが半押しされるとＡＦ処理を行い、撮影しようとするシーンにおける合焦位置を決定する。具体的には、レリーズボタンの半押し操作により取得されるプレ画像からＡＦ評価値（例えばバンドパスフィルタの出力値）を算出し、ＡＦ評価値が最も高くなるフォーカスレンズの焦点位置を合焦位置に決定する。

そして、ＡＦ処理により決定された合焦位置の焦点位置を基準として所定間隔離れた前後それぞれ２箇所の位置を、フォーカスブラケット撮影を行う際のフォーカスレンズの焦点位置に決定する。ここで、ＡＦ処理により決定された合焦位置を図３に示す位置Ｚ２とした場合、位置Ｚ２および位置Ｚ２の前２箇所の位置Ｚ０，Ｚ１および後２箇所の位置Ｚ３，Ｚ４が、フォーカスブラケット撮影の合焦位置となる。ここで、デジカメ1のレンズ中心から各合焦位置Ｚ０〜Ｚ５までの距離である被写体距離はｄ０〜ｄ４となる。

なお、複数の焦点位置は、上記のようにＡＦ処理により決定された合焦位置の焦点位置を基準とした前後それぞれ所定間隔離れた位置であってもよいが、撮影時の絞りおよびレンズの焦点距離等に応じて焦点位置を変化させるようにしてもよい。なお、各焦点位置の情報は後述する内部メモリ８に記憶される。各焦点位置の情報を撮影により取得される各画像のタグに記述してもよい。

また、このようにフォーカスブラケット撮影を行うことにより取得される複数の画像における同一位置の画素は、撮影したシーンに含まれる同一の被写体の情報を表すものとなる。

信号処理部４は、撮像部２が取得したデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の信号処理を施す。

圧縮／伸長処理部５は、信号処理部４によって処理が施された画像データ対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を施して画像ファイルを生成する。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が記述されたヘッダが付与される。

フレームメモリ６は、撮像部２が取得した画像を表す画像データに対して、前述の信号処理部４が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部７は、記録メディア１０にアクセスして画像ファイルの書き込みと読み出しの制御を行う。

内部メモリ８は、デジタルカメラ１において設定される各種定数、およびＣＰＵ１５が実行するプログラム等を記憶する。

表示制御部９は、フレームメモリ６に格納された画像データをモニタ１１に表示させたり、記録メディア１０に記録されている画像をモニタ１１に表示させたりするためのものである。

また、デジタルカメラ１は、距離画像生成部１２およびボケ強調処理部１３を備える。なお、距離画像生成部１２およびボケ強調処理部１３が行う処理の詳細については後述する。

ＣＰＵ１５は、十字キー、各種操作ボタンおよびレリーズボタンを含む入力部１６からの信号に応じてデジタルカメラ１の各部を制御する。

データバス１７は、デジタルカメラ１を構成する各部およびＣＰＵ１５に接続されており、デジタルカメラ１における各種データおよび各種情報のやり取りを行う。

次いで、本実施形態において行われる処理について説明する。図４は本実施形態において行われる処理を示すフローチャートである。なお、ここでは、レリーズボタンが半押しされた以降の処理について説明する。

レリーズボタンが押下されると、撮像制御部３がＡＦ処理およびＡＥ処理を行う（ステップＳＴ１）。なお、このＡＦ処理により、フォーカスブラケット撮影を行う場合におけるフォーカスレンズの複数の焦点位置が決定される。そして、レリーズボタンが全押しされると（ステップＳＴ２肯定）、ＣＰＵ１５はまず焦点位置を初期値に設定し（ｉ＝０、ステップＳＴ３）、撮影を行う（ステップＳＴ４）。この場合、レンズ２０に含まれるフォーカスレンズは、設定された焦点位置となるようにレンズ駆動部により駆動される。これにより、設定された焦点位置に対応する被写体距離に合焦した画像Ｇｉが取得される。

そして、ＣＰＵ１５はすべての焦点位置について撮影を行ったか否かを判定し（ｉ＝ｎ、ステップＳＴ５）、ステップＳＴ５が否定されると焦点位置を次の焦点位置に変更し（ｉ＝ｉ＋１，ステップＳＴ６）、ステップＳＴ４に戻る。なお、撮影により取得される画像Ｇｉは、逐次信号処理部４が信号処理を施し、内部メモリ８に記録する。なお、ＡＦ処理により決定された合焦位置において撮影された画像Ｇｉを、基準画像と称するものとする。例えば、図３に示すようにフォーカスブラケット撮影を行った場合、基準画像は画像Ｇ２となる。

ステップＳＴ５が肯定されると、距離画像生成部１２が、各画素が距離情報からなる距離画像Ｄ０を画像Ｇｉから生成する（ステップＳＴ７）。

図５は距離画像生成処理のフローチャートである。距離画像生成部１２は、まず距離を決定する注目画素Ｐｊを最初の画素に設定する（ｊ＝１、ステップＳＴ２１）。なお、画像Ｇｉの画素位置は２次元座標により表されるが、ここでは簡単のため画素位置を１次元で表すものとする。そして、距離画像生成部１２は、処理の対象を最初の画像に設定し（ｉ＝０、ステップＳＴ２２）、画像Ｇｉを記録メディア１０から読み出して、画像Ｇｉの注目画素Ｐｊに対して、例えばラプラシアンフィルタのようなハイパスフィルタによるフィルタリング処理を行い、フィルタリング処理の出力の絶対値を注目画素Ｐｊの鮮鋭度として算出する（ステップＳＴ２３）。なお、鮮鋭度の算出は、ハイパスフィルタによるフィルタリング処理に限定されるものではない。

そして、すべての画像Ｇｉについて鮮鋭度を算出したか否かを判定し（ステップＳＴ２４）、ステップＳＴ２４が否定されると、処理の対象を次の画像に変更し（ｉ＝ｉ＋１、ステップＳＴ２５）、ステップＳＴ２３に戻る。ステップＳＴ２４が肯定されると、画像Ｇｉのうち、鮮鋭度が最大となる画像Ｇｉの参照符号（０〜４）を、注目画素Ｐｊの距離情報ｄｘに決定する（ステップＳＴ２６）。すなわち、注目画素Ｐｊの距離情報ｄｘは、注目画素Ｐｊにおいて最もピントが合っている画像Ｇｉを選択する処理となる。

そして、距離画像生成部１２は、すべての画素について距離情報ｄｘを決定したかを判定し（ステップＳＴ２７）、ステップＳＴ２７が否定されると、注目画素を次の画素に変更し（ｊ＝ｊ＋１、ステップＳＴ２８）、ステップＳＴ２２に戻り、ステップＳＴ２２以降の処理を繰り返す。

ステップＳＴ２７が肯定されると、距離画像生成部１２は各画素が距離情報ｄｘからなる距離画像Ｄ０を出力し（ステップＳＴ２９）、距離画像生成処理を終了する。

図６は距離画像を示す図である。図６に示すように距離画像Ｄ０の各画素は、決定された画像Ｇｉの参照符号を距離情報として有するものとなる。

図４に戻り、ＣＰＵ１５はイメージャサイズ選択画面をモニタ１１に表示する（ステップＳＴ８）。図７はイメージャサイズ選択画面を示す図である。図７に示すようにイメージャサイズ選択画面３０は、「被写界深度を浅くします。希望のイメージャサイズを指定して下さい」のテキスト３１、および指定可能なイメージャサイズの一覧３２を含む。なお、図７には、イメージャサイズとして「ＡＰＳ相当」、「３５ｍｍ相当」、「６×４．５相当」、「４×５相当」および「８×１０相当」が選択できるようになっている。

ここで、イメージャサイズが大きいほど被写界深度が浅くなり、合焦した被写体以外の他の被写体のボケの程度が大きくなるものである。本実施形態において、ユーザは、イメージャサイズ選択画面３０の一覧３２から、後述するように取得される処理済み画像の被写界深度を選択することができる。

そして、イメージャサイズが選択されると（ステップＳＴ９肯定）、ボケ強調処理部１３が基準画像に対してイメージャサイズに応じたボケ強調処理を行う（ステップＳＴ１０）。

図８はボケ強調処理のフローチャートである。ボケ強調処理部１３は、まず基準画像の各画素に対するボケ強調処理を行うためのローパスフィルタのパラメータを算出する（ステップＳＴ３１）。以下、パラメータの算出について説明する。なお、本実施形態においては、ローパスフィルタとしてガウシアンフィルタを用いるものとする。

ボケ強調処理部１３は、複数の画像Ｇｉの焦点位置の情報を取得し、下記の式（１）により基準画像の各画素に対するガウシアンフィルタのパラメータσを算出する。なお、基準画像の画素位置は２次元座標により表されるが、ここでは簡単のため画素位置を１次元で表すものとする。図９はガウシアンフィルタを２次元的に示す図である。図９に示すようにガウシアンフィルタは、パラメータσが大きくなるほど処理済み画像のボケの程度を大きくできるようなフィルタ係数を有するものとなる。

σｊ＝α／Ｆ・｜ｐｊ−ｐｂ｜ （１）
ここで、σｊはパラメータ算出の対象となる注目画素Ｐｊのパラメータ、Ｆは撮影時のＦ値、ｐｊは注目画素Ｐｊにおける距離情報ｄｘに対応する画像の焦点位置、ｐｂはＡＦ処理により決定された合焦時の焦点位置、すなわち基準画像の焦点位置である。またαはイメージャサイズに応じて決定される係数であり、内部メモリ８に記憶されたテーブルを参照して決定される。図１０はイメージャサイズＩに対するαの関係を示すテーブルである。図１０に示すようにイメージャサイズＩが大きくなるほど係数αの値が大きくなるようにテーブルが設定されている。なお、このテーブルは撮影時の焦点距離に応じて複数用意しておいてもよい。

このようにガウシアンフィルタのパラメータσｊを算出することにより、距離情報ｄｘが基準画像の距離情報に相当する画素においてはパラメータσｊは０となり、距離情報ｄｘが基準画像の距離情報から離れた画素ほどパラメータσｊは大きくなる。

次いでボケ強調処理部１３は、基準画像においてボケ強調処理を行う注目画素Ｐｊを最初の画素に設定する（ｊ＝１、ステップＳＴ３２）。そして、ボケ強調処理部１３は、注目画素Ｐｊに対して、算出したパラメータσｊを有するガウシアンフィルタによるフィルタリング処理を行う（ステップＳＴ３３）。なお、距離情報ｄｘが基準画像に対応する画素については、パラメータσｊが０となることから、実際にはフィルタリング処理は行われないこととなる。そしてボケ強調処理部１３は、すべての画素に対してフィルタリング処理を行ったかを判定し（ステップＳＴ３４）、ステップＳ３４が否定されると注目画素を次の画素に変更し（ｊ＝ｊ＋１、ステップＳＴ３５）、ステップＳＴ３３に戻り、ステップＳＴ３３以降の処理を繰り返す。

ステップＳＴ３４が肯定されると、基準画像について各画素がフィルタリング処理後の画素値からなるボケ強調処理済み画像を出力し（ステップＳＴ３６）、ボケ強調処理を終了する。なお、ボケ強調処理済み画像は、基準画像の被写体距離に含まれる被写体に合焦し、それ以外の被写体については、基準画像の被写体距離から離れるほどボケの程度が大きいものとなる。

図４に戻り、圧縮／伸長処理部５がボケ強調処理済み画像の画像ファイルを生成し（ステップＳＴ１１）、メディア制御部７が記録メディア１０に画像ファイルを記録し（ステップＳＴ１２）、処理を終了する。

このように、本実施形態においては、画像を撮影するイメージャのサイズにより被写界深度の指定を受け付けるようにしたものである。このため、ユーザは経験的に分かるイメージャのサイズにより被写界深度を指定でき、よってイメージャサイズから経験的に分かる所望とする被写界深度を有する画像を取得できることとなる。

なお、上記実施形態においては、係数αを図１０に示すテーブルを参照して決定しているが、これに限定されるものではなく、指定されたイメージャサイズを有するイメージャの対角長等を用いて、演算により算出するようにしてもよい。

また、上記実施形態においては、フォーカスブラケット撮影を行って距離画像を生成した後に、イメージャサイズ選択画面を表示してイメージャサイズを選択しているが、撮影前にイメージャサイズをあらかじめ選択しておき、距離画像を生成した後に直ちにボケ強調処理を行うようにしてもよい。

また、上記実施形態においては、イメージャサイズ選択画面を表示し、ユーザが所望とするイメージャサイズを選択させることにより被写界深度を指定しているが、イメージャサイズを入力部１６を用いて直接デジタルカメラ１に入力することにより、被写界深度を指定するようにしてもよい。

また、上記実施形態においては、フォーカスブラケット撮影を行うことより複数の画像Ｇｉを取得し、複数の画像Ｇｉを用いて距離画像を生成しているが、複数の撮像部を有するステレオカメラを用いて被写体を撮影し、これにより取得された複数の画像の間でステレオマッチングの手法により対応する画素を探索し、複数の画像において互いに対応する画素に対して三角測量の原理を適用して、ステレオカメラから当該画素に対応する被写体上の点までの距離を計測することにより、距離画像を生成するようにしてもよい。また、被写体に向けて出射した近赤外線等の測距光が被写体により反射して戻ってくるまでの時間を計測することにより、カメラから被写体までの距離を測定して、距離画像を生成するようにしてもよい。これらの場合、ボケ強調処理を行う画像は１つのみ取得すればよいこととなる。

また、上記実施形態においては、撮影により取得された画像を対象として、イメージャサイズに応じたボケ強調処理を行っているが、ボケ強調処理の対象はこれに限定されるものではなく、コンピュータグラフィックスにより作成された画像に対しても、上記実施形態と同様に、イメージャサイズに応じたボケ強調処理を行うことが可能である。

以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の距離画像生成部１２およびボケ強調処理部１３に対応する手段として機能させ、図４，５，８に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図 撮像部の構成を示す図 フォーカスブラケット撮影を説明するための図 本実施形態において行われる処理を示すフローチャート 距離画像生成処理のフローチャート 距離画像を示す図 イメージャサイズ選択画面を示す図 ボケ強調処理のフローチャート ガウシアンフィルタを示す図 イメージャサイズＩと係数αとの関係を示す図

符号の説明

１ デジタルカメラ
２ 撮像部
１２ 距離画像算出部
１３ ボケ強調処理部
１５ ＣＰＵ
３０ イメージャサイズ選択画面

Claims (6)

1. 画像を取得する画像取得手段と、
   イメージャのサイズにより被写界深度の指定を受け付ける被写界深度指定手段と、
   前記指定された被写界深度に応じて、前記画像に含まれる被写体のボケが強調された処理済み画像を生成するボケ強調処理手段とを備えたことを特徴とする画像処理装置。
2. 前記画像取得手段が、同一シーンについて合焦位置を異ならせて複数回の撮影を行うことにより複数の前記画像を取得する撮影手段を備え、
   前記ボケ強調処理手段は、前記複数の画像から前記処理済み画像を生成する手段であることを特徴とする請求項１記載の画像処理装置。
3. 前記被写界深度指定手段は、各種イメージャのサイズの一覧からのイメージャサイズの選択を受け付けることにより、前記被写界深度の指定を受け付ける手段であることを特徴とする請求項１または２記載の画像処理装置。
4. 前記ボケ強調処理手段は、前記イメージャのサイズにより指定された被写界深度が浅いほど、よりボケが強調された処理済み画像を生成する手段であることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
5. 画像を取得し、
   イメージャのサイズにより被写界深度の指定を受け付け、
   前記指定された被写界深度に応じて、前記画像に含まれる被写体のボケが強調された処理済み画像を生成することを特徴とする画像処理方法。
6. 画像を取得する手順と、
   イメージャのサイズにより被写界深度の指定を受け付ける手順と、
   前記指定された被写界深度に応じて、前記画像に含まれる被写体のボケが強調された処理済み画像を生成する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。

Images