JP2011176487A

JP2011176487A - 信号処理装置及び撮像装置

Info

Publication number: JP2011176487A
Application number: JP2010037860A
Authority: JP
Inventors: Hiroshi Yoshioka; 容吉岡; Toshihiko Kaneshige; 敏彦兼重
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-02-23
Filing date: 2010-02-23
Publication date: 2011-09-08
Anticipated expiration: 2030-02-23
Also published as: US20110205390A1; US8804025B2; JP5330291B2

Abstract

【課題】適切なボカシ処理を行うことが可能な信号処理装置を提供する。
【解決手段】撮像素子１０で撮像された画像について撮像素子の撮像面を複数の領域に分割した分割領域２６毎に複数の基本色それぞれの高域空間周波数成分を評価する高域空間周波数成分評価部３４と、高域空間周波数成分評価部で評価された高域空間周波数成分に基づいて分割領域毎に被写体距離を推定する被写体距離推定部３６と、被写体距離推定部で推定された被写体距離に基づいて分割領域毎にフィルタ係数を発生するフィルタ係数発生部４４と、フィルタ係数発生部で発生したフィルタ係数を用いて高域空間周波数成分に対するフィルタ演算を行うフィルタ演算部３８とを備える。
【選択図】図１

Description

本発明は、信号処理装置及び撮像装置に関する。

固体撮像素子を用いた撮影では、被写界深度が深くなるため、目的とする被写体以外の被写体も鮮明に撮影されてしまう。このような問題を回避するため、目的とする被写体以外をボカシ処理する方法が提案されている（例えば、特許文献１参照）。しかしながら、従来は必ずしも適切なボカシ処理が提案されているとは言えなかった。

特開２００８−２０５５６９号公報

本発明は、適切なボカシ処理を行うことが可能な信号処理装置及び撮像装置を提供することを目的としている。

本発明の第１の視点に係る信号処理装置は、撮像素子で撮像された画像について撮像素子の撮像面を複数の領域に分割した分割領域毎に複数の基本色それぞれの高域空間周波数成分を評価する高域空間周波数成分評価部と、前記高域空間周波数成分評価部で評価された高域空間周波数成分に基づいて前記分割領域毎に被写体距離を推定する被写体距離推定部と、前記被写体距離推定部で推定された被写体距離に基づいて前記分割領域毎にフィルタ係数を発生するフィルタ係数発生部と、前記フィルタ係数発生部で発生したフィルタ係数を用いて前記高域空間周波数成分に対するフィルタ演算を行うフィルタ演算部と、を備える。

本発明の第２の視点に係る撮像装置は、光の波長に応じて焦点距離が変化する光学系と、前記光学系を介した画像が結像する撮像面を有する撮像素子と、前記撮像素子で撮像された画像について撮像素子の撮像面を複数の領域に分割した分割領域毎に複数の基本色それぞれの高域空間周波数成分を評価する高域空間周波数成分評価部と、前記高域空間周波数成分評価部で評価された高域空間周波数成分に基づいて前記分割領域毎に被写体距離を推定する被写体距離推定部と、前記被写体距離推定部で推定された被写体距離に基づいて前記分割領域毎にフィルタ係数を発生するフィルタ係数発生部と、前記フィルタ係数発生部で発生したフィルタ係数を用いて前記高域空間周波数成分に対するフィルタ演算を行うフィルタ演算部と、を備える。

本発明によれば、適切なボカシ処理を行うことが可能な信号処理装置及び撮像装置を提供することができる。

本発明の実施形態に係る信号処理装置及び撮像装置の構成を示したブロック図である。本発明の実施形態に係り、光学系の色収差について示した図である。本発明の実施形態に係り、分割領域の構成を示した図である。本発明の実施形態に係り、被写体距離と高域評価値との関係を示した図である。本発明の実施形態に係り、被写体の輪郭近傍の分割領域について示した図である。

以下、本発明の実施形態を図面を参照して説明する。

図１は、本発明の実施形態に係る信号処理装置及び撮像装置の構成を示したブロック図である。以下、図１等を参照して、本実施形態に係る信号処理装置及び撮像装置の構成及び動作を説明する。

光学系１０は、被写体像を撮像素子２０のセンサコア部２２の撮像面に結像させるものである。この光学系１０は、高分散レンズによって構成されており、光の波長に応じて焦点距離が変化する。すなわち、図２に示すように、色収差が生じるように設計されており、赤（Ｒ）光、緑（Ｇ）光、及び青（Ｂ）光の焦点距離が互いに異なっている。撮像素子２０には、例えばＣＭＯＳ型イメージセンサが用いられる。

撮像素子２０のセンサコア部２２は、縦方向にｍ分割、横方向にｎ分割されたｍ×ｎ個の分割領域２６に分割されている。図３は、分割領域２６の構成を示した図である。図３に示すように、赤（Ｒ）、緑（Ｇｒ、Ｇｂ）及び青（Ｂ）の４画素を１単位とした縦方向ｊ組、横方向ｋ組の、いわゆるベイヤー配置となっている。

オートフォーカス調整をＧｒ画素及びＧｂ画素を用いて行った後、Ｒ、Ｇｒ、Ｇｂ及びＢの各画素の電荷値は１ライン毎にＡ／Ｄコンバータ２４でＡ／Ｄ変換される。

ラインメモリ３０はＡ／Ｄ変換されたデータを１ライン毎に記憶するものであり、ラインメモリ３０全体によってセンサコア部２２の撮像面全体（１画面分）の画像データが記憶される。

画像切り出し部３２は、ラインメモリ３０に蓄えられた画像データから所望の分割領域２６の画像データを切り出すための仮想的なデータ切り出し機能を有するものである。なお、ラインメモリ３０上で画像データの展開（データ切り出し）を行うようにしてもよい。

画像切り出し部３２には高域空間周波数成分評価部３４が接続されている。高域空間周波数成分評価部３４は、撮像素子２０で撮像された画像について、分割領域２６毎に複数の基本色（Ｒ、Ｇ、Ｂ）それぞれの高域空間周波数成分を評価するものである。以下、高域空間周波数成分評価部３４の動作について詳細に説明する。

まず、Ｒ色について、分割領域２６の横方向１ライン分の画素（R00、R01、R02、……、R0k）の画像データを並べる。さらに、差分数列(R01-R00),(R02-R01),(R03-R02)……を作成する。この差分数列は空間的微分を表すものであり、振幅は横方向での空間周波数の高域パワーを示している。なお、本実施形態では１次微分を用いているが、より高次の関数を用いてもよい。このようにして得られた数列を絶対値変換した後、横方向１ライン分の積分を行う。これにより、分割領域２６の横方向１ライン分の高域成分の合計値が得られる。

次に、ＤＣ成分の値を算出する。具体的には、分割領域２６の横方向１ライン分の画素（R00、R01、R02、……、R0k）の画像データを全て積分することで、ＤＣ成分値を算出する。

次に、高域評価値（高域空間周波数成分評価値）を算出する。具体的には、高域成分の合計値をＤＣ成分値で割った値（高域成分の合計値／ＤＣ成分値）を、Ｒについての分割領域２６の横方向１ライン分の高域評価値として算出する。画像の明るさによって高域パワーが変わるため、ＤＣ成分値で割ることで適切な高域評価値を得るようにしている。ただし、ＤＣ成分値が低すぎる（暗すぎる）場合には、ノイズやオフセットの影響で高域評価値が不安定になるおそれがある。このような場合には、閾値を設定しておき、ＤＣ成分値が閾値よりも低い場合には高域評価値をゼロにする。

このようにして、Ｒについての分割領域２６の横方向１ライン分の高域評価値を算出した後、Ｒの場合と同様にして、Ｇｒの横方向１ライン分の画素（Gr00、Gr01、Gr02、……、Gr0k）について高域評価値を算出する。同様にして、Ｇｂの横方向１ライン分の画素（Gb00、Gb01、Gb02、……、Gb0k）について高域評価値を算出し、さらにＢの横方向１ライン分の画素（B00、B01、B02、……、B0k）について高域評価値を算出する。

このようにして、R00〜R0k、Gr00〜Gr0k、Gb00〜Gb0k及びB00〜B0kについての高域評価値を算出した後、同様にしてR10〜R1k、Gr10〜Gr1k、Gb10〜Gb1k及びB10〜B1kについての高域評価値を算出する。以後、同様にして、Rj0〜Rjk、Grj0〜Grjk、Gbj0〜Gbjk及びBj0〜Bjkまでの全てのラインについて高域評価値を算出する。

以上のようにして、分割領域２６について各色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の横方向の高域評価値を算出した後、同様にして、分割領域２６について各色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の縦方向の高域評価値を算出する。すなわち、Ｒの縦方向１ライン分の画素（R00、R10、R20、……、Rj0）について高域評価値を算出する。同様にして、Ｇｒの縦方向１ライン分の画素（Gr00、Gr10、Gr20、……、Grj0）についての高域評価値、Ｇbの縦方向１ライン分の画素（Gb00、Gb10、Gb20、……、Gbj0）についての高域評価値、Ｂの縦方向１ライン分の画素（B00、B10、B20、……、Bj0）についての高域評価値を算出する。以後、同様にして、R0k〜Rjk、Gr0k〜Grjk、Gb0k〜Gbjk及びB0k〜Bjkまでの全てのラインについて高域評価値を算出する。

このようにして、横方向及び縦方向の全てのラインについて高域評価値を算出した後、Ｒについて横方向ｊ個及び縦方向ｋ個の全て（（ｊ＋ｋ）個）の高域評価値を合計する。同様にして、Ｇｒ、Ｇｂ及びＢそれぞれについて、横方向ｊ個及び縦方向ｋ個の全て（（ｊ＋ｋ）個）の高域評価値を合計する。Ｇ色については、Ｇｒ及びＧｂの２つがあるので、Ｇｒの合計値及びＧｂの合計値を足し合わせた後、足し合わせた値を１／２にする。このようにして得られたＲ、Ｇ及びＢそれぞれの合計値を、分割領域２６についての高域評価値とする。

以上のようにして、分割領域２６毎にＲ、Ｇ及びＢそれぞれについての高域評価値を算出する。

被写体距離推定部３６では、高域空間周波数成分評価部３４で得られたＲ、Ｇ及びＢそれぞれの高域評価値に基づき、分割領域２６毎に被写体距離を推定する。以下、被写体距離推定部３６の動作について詳細に説明する。

すでに述べたように、光学系１０は、高分散レンズによって構成されており、光の波長に応じて焦点距離が変化する。すなわち、Ｒ光、Ｇ光及びＢ光の焦点距離が互いに異なっている。そのため、Ｒ光、Ｇ光及びＢ光間で、被写体距離と高域評価値との関係は互いに異なったものとなる。図４は、Ｒ、Ｇ及びＢ毎の被写体距離と高域評価値との関係を示した図である。図４に示すように、同じ被写体距離でも、Ｒ、Ｇ及びＢ間で高域評価値は互いに異なっている。そこで、図４に示すような関係を予め参照テーブルに設定しておく。具体的には、Ｒ、Ｇ及びＢの高域評価値をそれぞれｒ、ｇ及びｂとすると、Ｒ、Ｇ及びＢの高域評価値の比率（ｒ：ｇ：ｂ）と被写体距離との関係を予め参照テーブルに設定しておく。このような参照テーブルを用意しておけば、高域空間周波数成分評価部３４で得られた高域評価値から被写体距離を求めることができる。例えば、高域空間周波数成分評価部３４で得られた高域評価値からＲ、Ｇ及びＢの高域評価値の比率（ｒ：ｇ：ｂ）を求め、参照テーブルに設定された比率に最も近い比率に対応する被写体距離を最小二乗法によって求める。このようにして、分割領域２６毎に被写体距離を求める。

フィルタ演算部３８は、分割領域２６毎に高域空間周波数成分に対するフィルタ演算（空間周波数フィルタ演算）を行うものである。具体的には、ロウパスフィルタ（ＬＰＦ）処理によって原画像をボケさせる処理や、ハイパスフィルタ（ＨＰＦ）処理によって原画像のボケを低減する高域強調処理を行うために、畳み込みマトリクス演算を行う。

フィルタ演算部３８には傷補正／ノイズ低減部４０も接続されており、撮像素子２０の傷補正処理やノイズ低減処理等の処理結果がフィルタ演算部３８に入力される。

フィルタ係数テーブル４２には、フィルタ演算部３８で用いるフィルタ係数が記憶されている。

フィルタ係数テーブル４２に記憶されたフィルタ係数は、フィルタ係数選択部（フィルタ係数発生部）４４によって選択される。フィルタ係数選択部（フィルタ係数発生部）４４では、被写体距離推定部３６で推定された被写体距離に基づいて分割領域２６毎にフィルタ係数を発生する。すなわち、フィルタ係数選択部４４では、フィルタ演算部３８で用いるフィルタ係数をフィルタ係数テーブル４２から選択する。具体的には、先に行われたオートフォーカス処理結果から得られた所望の被写体以外の被写体をボカすように、分割領域２６毎にフィルタ係数を選択する。どの程度ボカすかの度合いは、コントローラ４６からの指示で調整できるようになっている。また、被写体への焦点調整は中間波長のＧ色をもって行うが、Ｒ色及びＢ色では色収差によってＧ色とボケ方が異なるので、Ｇ色と同じボケ感となるようにフィルタ係数を修正調整する。この調整量は、推定距離とレンズの色収差から一義的に算出できるものである。

なお、被写体距離は誤検出される可能性があるため、不自然なボケ感にならないように、以下のようにしてフィルタ係数を選択するようにしてもよい。すなわち、全ての分割領域２６について推定距離を算出した後、互いに隣接した分割領域２６間でのフィルタ係数の連続性を調べる。そして、フィルタ係数が急激に変化しないようにスムージングを行う。このようにすることで、自然なボケ感を表現することができる。

また、互いに隣接する分割領域２６間で輝度の差、色相の差及び彩度の差がいずれも所定範囲内である場合には、同一の被写体であると判断し、それらの分割領域２６に対して同一のフィルタ係数を発生させるようにしてもよい。このような方法によっても、自然なボケ感を表現することができる。

また、所定の方法で被写体の輪郭を抽出した後、図５に示すように、被写体の輪郭近傍では分割領域２６のサイズを小さくするようにしてもよい。このようにすることで、輪郭をはっきり表すことができる。

メインプロセッサ４８では、フィルタ演算された画像データに対して、混色補正、ホワイトバランス、ＲＧＢマトリクス、ガンマ補正及びＹＵＶ変換マトリクス等の各種演算処理が行われる。なお、混色補正は、隣接画素との光干渉や信号干渉によって分離が悪くなった信号を演算によって補正するものである。ホワイトバランスは、照明光源の色温度によって色合いが傾くことを補正するものである。ＲＧＢマトリクスは、画像の色域を出力フォーマットに合わせて調整するものである。ガンマ補正は、輝度階調カーブを出力フォーマットの規定のカーブに合わせるものである。ＹＵＶ変換マトリクスは、ＲＧＢ信号から色差信号を出力するためのものである。

このようにして、所望の被写体以外の被写体をボカした最終的な画像データがメインプロセッサ４８から出力される。

以上のように、本実施形態では、光学系１０として光の波長に応じて焦点距離が変化する色収差を有するものを用い、高域空間周波数成分評価部３４によって分割領域２６毎に複数の基本色（Ｒ、Ｇ、Ｂ）それぞれの高域空間周波数成分を評価する。そして、被写体距離推定部３６により、評価された高域空間周波数成分に基づいて分割領域２６毎に被写体距離を推定する。さらに、推定された被写体距離に基づいて分割領域２６毎にフィルタ係数を発生し、発生したフィルタ係数を用いて高域空間周波数成分に対するフィルタ演算を行う。これにより、所望の被写体以外の被写体をボカす処理を簡単に行うことができ、被写界深度の浅い撮影を行うことが可能となる。

なお、上述した実施形態では、基本色をＲ、Ｇ及びＢの３色としたが、４色以上であってもよい。

以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない範囲内において種々変形して実施することが可能である。さらに、上記実施形態には種々の段階の発明が含まれており、開示された構成要件を適宜組み合わせることによって種々の発明が抽出され得る。例えば、開示された構成要件からいくつかの構成要件が削除されても、所定の効果が得られるものであれば発明として抽出され得る。

１０…光学系２０…撮像素子
２２…センサコア部２４…Ａ／Ｄコンバータ２６…分割領域
３０…ラインメモリ３２…画像切り出し部
３４…高域空間周波数成分評価部３６…被写体距離推定部
３８…フィルタ演算部４０…傷補正／ノイズ低減部
４２…フィルタ係数テーブル４４…フィルタ係数選択部（フィルタ係数発生部）
４６…コントローラ４８…メインプロセッサ

Claims

撮像素子で撮像された画像について撮像素子の撮像面を複数の領域に分割した分割領域毎に複数の基本色それぞれの高域空間周波数成分を評価する高域空間周波数成分評価部と、
前記高域空間周波数成分評価部で評価された高域空間周波数成分に基づいて前記分割領域毎に被写体距離を推定する被写体距離推定部と、
前記被写体距離推定部で推定された被写体距離に基づいて前記分割領域毎にフィルタ係数を発生するフィルタ係数発生部と、
前記フィルタ係数発生部で発生したフィルタ係数を用いて前記高域空間周波数成分に対するフィルタ演算を行うフィルタ演算部と、
を備えたことを特徴とする信号処理装置。
前記高域空間周波数成分評価部は、前記分割領域毎に前記複数の基本色の高域空間周波数成分どうしの比率を評価する
ことを特徴とする請求項１に記載の信号処理装置。
前記被写体距離推定部は、予め用意された前記複数の基本色の高域空間周波数成分と被写体距離との関係に基づいて被写体距離を推定する
ことを特徴とする請求項１に記載の信号処理装置。
前記フィルタ係数発生部は、互いに隣接する前記分割領域間で輝度の差、色相の差及び彩度の差がいずれも所定範囲内である場合に、前記互いに隣接する分割領域に対して同一のフィルタ係数を発生する
ことを特徴とする請求項１に記載の信号処理装置。
被写体の輪郭近傍の分割領域のサイズは、他の分割領域のサイズよりも小さい
ことを特徴とする請求項１に記載の信号処理装置。
光の波長に応じて焦点距離が変化する光学系と、
前記光学系を介した画像が結像する撮像面を有する撮像素子と、
前記撮像素子で撮像された画像について撮像素子の撮像面を複数の領域に分割した分割領域毎に複数の基本色それぞれの高域空間周波数成分を評価する高域空間周波数成分評価部と、
前記高域空間周波数成分評価部で評価された高域空間周波数成分に基づいて前記分割領域毎に被写体距離を推定する被写体距離推定部と、
前記被写体距離推定部で推定された被写体距離に基づいて前記分割領域毎にフィルタ係数を発生するフィルタ係数発生部と、
前記フィルタ係数発生部で発生したフィルタ係数を用いて前記高域空間周波数成分に対するフィルタ演算を行うフィルタ演算部と、
を備えたことを特徴とする撮像装置。