JP2010098663A

JP2010098663A - 撮像装置

Info

Publication number: JP2010098663A
Application number: JP2008269771A
Authority: JP
Inventors: Mineki Taoka; 峰樹田岡
Original assignee: Samsung Digital Imaging Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2008-10-20
Filing date: 2008-10-20
Publication date: 2010-04-30
Also published as: US20100097499A1; KR20100044073A

Abstract

【課題】被写界深度が浅くなることを極力抑え、鮮明な画像を撮影することが可能な撮像装置を提供すること。
【解決手段】撮像素子から読み出された画像信号が入力され、画像信号に含まれる高周波を除去する水平ＬＰＦ１３４，垂直ＬＰＦ１３８と、画像信号から取得される撮像画像の合焦情報に基づいて、水平ＬＰＦ１３４，垂直ＬＰＦ１３８によるフィルタ処理を制御するタップ係数演算部１３２と、を備える。
【選択図】図１

Description

本発明は、撮像装置に関する。

近時では、デジタルカメラ等の撮像装置において、より高画質の画像を撮影するため、撮像素子の大型化が進んでいる。例えば、一眼レフタイプのデジタルカメラ等では、３５ｍｍ版のフルサイズ（２４ｍｍ×３６ｍｍ）の撮像素子を使用しているため、画質の良好な画像を撮影することが可能である。また、大型の撮像素子を備えたデジタルカメラは、大口径の明るいレンズを装着できるため、特に暗所での撮影に適している。

また、デジタルカメラ等の撮像装置に関し、例えば下記の特許文献１には、合焦していない部分の画像データを、コンボリューションフィルタを用いて復元する技術が記載されている。

特開２００７−１８１１９３号公報

しかしながら、大型の撮像素子を備える撮像装置は、小型の撮像素子を備える撮像装置の画像と同一の拡大率を得ようとすると、レンズの焦点距離を長くする必要がある。換言すれば、大型の撮像素子を備える撮像装置は、小型の撮像素子を備える撮像装置とレンズの画角を同じにすると、レンズの焦点距離が長くなる。このため、大型の撮像素子を備える撮像装置では、撮影した画像の被写界深度が浅くなるという問題がある。

また、大型の撮像素子を備える撮像装置は、大口径の明るいレンズを装着することができるが、明るいレンズを使用した場合、絞りを開放にした状態でのｆナンバーが小さくなるため、やはり被写界深度が浅くなるという問題が生じる。この際、絞りを絞ることで被写界深度を深くすることはできるが、暗所での撮影等において、大口径の明るいレンズのメリットを生かすことができなくなる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、被写界深度が浅くなることを極力抑え、鮮明な画像を撮影することが可能な、新規かつ改良された撮像装置を提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像素子から読み出された画像信号から合焦情報を得る検波部と、画像信号に含まれる高周波を除去する低域通過フィルタと、前記画像信号から取得される撮像画像の合焦情報に基づいて、前記低域通過フィルタによるフィルタ処理を前記撮像画像の領域内で制御するフィルタ制御部と、を備える、撮像装置が提供される。かかる構成により、合焦情報に基づいて撮像画像の領域内で画像のコントラストが制御されることとなり、被写界深度が浅くなることを抑えることができるため、鮮明な画像を撮影することが可能となる。

また、前記フィルタ制御部は、前記合焦情報に基づいて、前記撮像画像中で合焦している領域では、合焦していない領域に比べて前記低域通過フィルタによる高周波除去特性を低下させる。かかる構成により、合焦していない領域の画像のコントラストが向上し、画像中の解像感の高い領域が広がるため、被写界深度を深くすることができる。

また、前記フィルタ制御部は、前記合焦情報に基づいて前記撮像画像中で合焦していない領域の画像信号については、前記低域通過フィルタによる高周波除去を行わない。かかる構成により、合焦していない領域の画像のコントラストが向上し、画像中の解像感の高い領域が広がるため、被写界深度を深くすることができる。

また、前記画像信号が入力され、前記画像信号を間引き処理又は補間処理する処理部を備え、前記処理部は、前記撮像画像中で合焦していない領域の画像信号を間引き処理又は補間処理する。かかる構成により、低域通過フィルタによる高周波除去を行なうことなく、補間処理、間引き処理のみが行われることで、画像がより鮮明となり、被写界深度をより深くすることができる。

また、前記画像信号が入力され、前記画像信号を間引き処理又は補間処理する処理部と、前記低域通過フィルタから出力された第１の画像信号と前記処理部から出力された第２の画像信号とを加算する加算部と、を備え、前記フィルタ制御部は、前記合焦情報に基づいて、前記加算部に入力される前記第１の画像信号と前記第２の画像信号との比率を変化させる。かかる構成により、合焦情報に基づいて第１の画像信号と第２の画像信号との比率が変化するため、合焦していない領域では、第２の画像信号の比率を増加させることで、画像をより鮮明にすることが可能となり、被写界深度をより深くすることができる。

本発明によれば、被写界深度が浅くなることを抑えることができ、鮮明な画像を撮影することが可能な撮像装置を提供することが可能となる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本発明の一実施形態に係る撮像装置１００の構成を示す模式図である。撮像装置１００は、カメラ部１０２、カメラ処理部１０４、ベイヤーリサイズ（ＢａｙｅｒＲｅｓｉｚｅ）部１３０、ベイヤー補間部１０８、ＪＰＥＧエンコーダ１１０、ＭＰＥＧエンコーダ１１２、メモリカード・インターフェース１１４、ディスプレイ・インターフェース１１６、ＬＣＤ１１８、ホストＣＰＵ１２０、ＳＤＲＡＭインターフェース１２２、ＳＤＲＡＭ１２４、を備える。

カメラ部１０２は、レンズ光学系、撮像素子を含むものである。本実施形態において、レンズ光学系は、レンズ群の移動により焦点距離を可変できる光学ズーム機能を備えている。また、撮像素子は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等のセンサから構成される。

カメラ部１０２では、レンズ光学系により被写体像が撮像素子の撮像面に結像され、撮像素子により画像信号が取得される。撮像素子で取得された画像信号は、ベイヤーパターン（ＢａｙｅｒＰａｔｔｅｒｎ）で出力される。カメラ処理部１０４では、ベイヤーデータのまま処理を行い、合焦情報の検出、ＡＥの情報取得、欠落したデータの補正、光学レンズのシェーディング等の補正等が行われる。合焦情報は、例えばＨＰＦ（ＨｉｇｈＰａｓｓＦｉｌｔｅｒ）によって画像信号中の高周波成分を求めることで得ることができ、このため、カメラ処理部１０２はＨＰＦを含んでいる。なお、合焦情報は、位相差センサ等から求めても良い。

図２は、カメラ処理部１０４の構成例を示す模式図である。カメラ処理部１０４は、補正部１０４ａ、ＡＦ検波部１０４ｂ、バスインターフェース（ＢｕｓＩ／Ｆ）１０４ｃを備える。補正部１０４ａは、入力されたベイヤーデータの画像信号に対して上述した欠落データの補正など各種補正を行う。ＡＦ検波部１０４ｂは、補正された画像信号から合焦情報を検出する。また、バスインターフェース（ＢｕｓＩ／Ｆ）１０４ｃは、ＳＤＲＡＭインターフェース１２２と接続されるインターフェースであり、ベイヤーデータの画像信号はバスインターフェース１０４ｃを介してＳＤＲＡＭインターフェース１２２へ送られる。

撮像画像が動画の場合、カメラ処理部１０２で処理された画像データは、図２及び図３に示すＢの経路によりベイヤーリサイズ部１３０へ送られる。ベイヤーリサイズ部１３０は、ベイヤーデータの状態でＬＰＦ（ＬｏｗＰａｓｓＦｉｌｔｅｒ）による妨害波除去処理を行う。また、カメラ処理部１０２で取得された合焦情報は、図２及び図３に示すＡの経路によりベイヤーリサイズ部１３０へ送られる。ベイヤーリサイズ部１３０は、カメラ処理部１０２で取得された合焦情報と、ＬＰＦ処理された画像データを使用して補間処理、間引き処理を行い、例えばハイビジョン（ＦＨＤ、ＨＤ）サイズ（１９２０×１０８０ピクセル、１２８０×７２０ピクセル）に解像度変換を行う。ベイヤーリサイズ部１３０から出力された画像データは、ベイヤー補間部１０８へ入力される。ベイヤー補間部１０８では、ベイヤーデータをＹＣｂＣｒ形式のデータに変換し、ＳＤＲＡＭ１２４に蓄積する。ＹＣｂＣｒ形式のデータは、ＭＰＥＧエンコーダ１１２でＭＰＥＧ圧縮符号化が行われ、その結果がメモリカード・インターフェース１１４に送られ、メモリカード・インターフェース１１４に接続されたメモリカードに記録される。

撮像画像が静止画の場合、カメラ処理部１０２で処理された画像データは、ベイヤーデータの状態でＳＤＲＡＭインターフェース１２２を介してＳＤＲＡＭ１２４に送られ、ＳＤＲＡＭ１２４に蓄積される。ＳＤＲＡＭ１２６に格納されたベイヤーデータは、ベイヤー補間部１０８によってＹＣｂＣｒ形式の信号に変換され、ＳＤＲＡＭ１２４に格納される。ＹＣｂＣｒ形式のデータは、ＪＰＥＧエンコーダ１１０でＪＰＥＧ符号化データへ符号化され、その結果がメモリカード・インターフェース１１４に送られ、メモリカード・インターフェース１１４に接続されたメモリカードに記録される。なお、ベイヤー補間部１０８では、入力されたデータに対して、ＹＣｂＣｒ形式の信号に変換するベイヤー補間処理の他、ホワイトバランス処理、ノイズ除去、輝度及び色補正等を含む一連の現像処理が行われる。

ホストＣＰＵ１２０は、図１に示す各構成要素の動作を制御する。また、ＬＣＤ１１８は、ＬＣＤインターフェース１１６に接続され、ＳＤＲＡＭ１２６に格納された撮像画像等を表示する。

ベイヤーリサイズ部１３０は、ＬＰＦを備えている。ベイヤーリサイズ部１３０のＬＰＦは、主として解像度変換の際に生じる高周波の妨害波を抑えるために設けられるが、本実施形態では、更に、カメラ処理部１０４で取得された合焦情報に基づいてベイヤーリサイズ部１３０のＬＰＦの特性を可変するようにしている。

図３は、ベイヤーリサイズ部１３０の構成を示す模式図である。ベイヤーリサイズ部１３０は、タップ係数演算部（フィルタ制御部）１３２、水平ＬＰＦ１３４、水平補間・サブサンプリング部１３６、垂直ＬＰＦ１３８、垂直補間・サブサンプリング部１４０、を備える。

ベイヤーリサイズ部１３０には、カメラ処理部１０４で取得されたオートフォーカスの合焦情報と、カメラ処理部１０４によりベイヤーデータの状態で信号処理が行われた画像データが入力される。合焦情報はタップ係数演算部１３２に入力され、画像データは水平ＬＰＦに入力される。

タップ係数演算部１３２は、合焦情報に応じたタップ係数を演算して出力する。ここで、合焦情報の信号が大きい振幅を有する場合は、画像のコントラストが高く、フォーカスが合焦している部分であるため、タップ係数演算部１３２は、ＬＰＦの高域除去特性を高めるタップ係数を出力する。一方、合焦情報の信号の振幅が小さい場合は、画像のコントラストが低く、合焦していない領域であるため、タップ係数演算部１３２は、ＬＰＦの高域除去特性の低いタップ係数を出力する。このように、合焦情報に応じてＬＰＦによる帯域の低下を可変する。これにより、ＬＰＦにより低周波信号のみを通過させて低い解像度に落とした際に、画像中の解像感の高い領域を広く取ることができ、見かけ上の被写界深度を深くすることができる。なお、合焦していない領域は、元々高周波成分が少ないため、ＬＰＦの高域除去特性を低くしたとしても、ＬＰＦによる妨害波除去に与える影響は少ない。

図３に示すように、水平ＬＰＦ１３４は、複数のフリップフロップ１３４ａ、複数の乗算器１３４ｂ、及び加算器１３４ｃを備える。タップ係数演算部１３２で演算されたタップ係数は、水平ＬＰＦ１３４の各乗算器１３４ｃに送られ、各フリップフロップ１３４ａの出力に乗算される。水平ＬＰＦ１３４で水平方向の高域成分が除去された画像データは、水平補間・サブサンプリング部１３６で間引き処理、補間処理が行われる。水平補間・サンプリング部１３６の出力は垂直ＬＰＦ１３８に入力される。

垂直ＬＰＦ１３８は、複数のラインメモリ（ＬＭ）１３８ａ、複数の乗算器１３８ｂ、及び加算器１３８ｃを備える。タップ係数演算部１３２で演算されたタップ係数は、垂直ＬＰＦ１３８の各乗算器１３８ｃに送られ、各ＬＭ１３８ａの出力に乗算される。垂直ＬＰＦ１３８で垂直方向の高域成分が除去された画像データは、垂直補間・サブサンプリング部１４０で間引き処理、補間処理が行われる。これにより、ベイヤーリサイズ部１３０による解像度変換処理が完了し、垂直補間・サンプリング部１４０の出力はベイヤー補間部１０８に送られる。

図４は、水平ＬＰＦ１３４、垂直ＬＰＦ１３８での帯域制限の処理を説明するための特性図であって、横軸は画像データの周波数帯域を、縦軸はＬＰＦのゲインを示している。ここで、図４（Ａ）に示す特性は、カメラ処理部１０４から出力されたベイヤーデータ中に含まれる画像データの帯域を示しており、実線で示す領域はフォーカスが合っている領域を、破線で示す領域はフォーカスが合っていない領域をそれぞれ示している。フォーカスが合っている領域では、撮像素子の分解能限界（Ｆｓ／２）の近傍まで帯域があるが、フォーカスが外れると帯域が低下し、解像度は低下する。

図４（Ｂ）中に一点鎖線で示す特性は、図４（Ａ）の特性に乗算するフィルタ係数を示している。図４（Ｂ）に実線及び破線で示す特性は、図４（Ａ）の特性に対して、図４（Ｂ）中の一点鎖線の特性でフィルタリング処理を行い、解像度変換を行った特性を示している。ここでは、フィルタリング処理により図４（Ａ）中の周波数Ｆｓを図４（Ｂ）中のＦｓ’に相当する解像度に解像度変換するものとする。

図４（Ｂ）中に実線で示す特性は、図４（Ａ）中の実線の特性に対して図４（Ｂ）中に一点鎖線で示すフィルタ特性を乗算した特性を示している。また、図４（Ｂ）中に破線で示す特性は、図４（Ａ）中の破線の特性に対して図４（Ｂ）中に一点鎖線で示すフィルタ特性を乗算した特性を示している。

図４（Ｂ）に示すように、フォーカスが合っている領域はフィルタ特性の通りに解像度が落ちる。一方、フォーカスが合っていない領域についても同様に解像度の低下が起こり、全体的に被写界深度の印象は変わらないことになる。

このため、ベイヤーリサイズ部１３０は、合焦情報に基づいて、フォーカスが合っている領域と、フォーカスが合っていない領域とで異なるフィルタ特性で処理を行う。フォーカスが合っている領域（図４（Ａ）中の実線の特性の領域）では、図４（Ｂ）に一点鎖線で示すフィルタ特性でフィルタ処理を行う。

一方、フォーカスが合っていない領域（図４（Ａ）中に破線で示す領域）では、ＬＰＦによるフィルタ処理を行わないか、もしくは帯域をあまり落とさないように解像度変換を行う。これにより、フォーカスの合っていない領域においても、画像のコントラストが上がり、フォーカスの合っている領域に近いシャープな画像を得ることができる。従って、画像全体として被写界深度が深い鮮明な画像を得ることができる。このようにフィルタ係数をオートフォーカスの合焦情報に合わせて領域毎に調整することにより、被写界深度の深い画像を得ることが可能となる。

図５及び図６は、タップ係数演算部１３２で演算されたタップ係数とＬＰＦの振幅特性を示す模式図である。ここで、図５は、フォーカスが合っている領域のタップ係数の例と、振幅特性を示す特性図である。また、図６は、フォーカスが合っていない領域のタップ係数の例と、振幅特性を示す特性図である。ここで、図５又は図６に示す７つのタップ係数は、図３に示す水平ＬＰＦ１３４、垂直ＬＰＦ１３８の各乗算器１３４ｂ，１３８ｂに入力される。

これにより、フォーカスが合っている領域では、図５の振幅特性に示すように、ＬＰＦの高域除去特性を高めることができる。一方、フォーカスが合っていない領域では、図６の振幅特性に示すように、ＬＰＦの高域除去特性が低くなる。従って、画像中の解像感の高い領域を広げることができ、被写界深度を深くすることができる。

また、フォーカスが合っていない領域については、エッジ強調フィルタをかけることで、更に画像のエッジを強調するようにしても良い。

図７は、本実施形態のベイヤーリサイズ部１３０の他の構成を示す模式図である。図３に示すベイヤーリサイズ部１３０では、フォーカスが合っていない領域についてもＬＰＦによる処理を行った。これに対し、図７に示すベイヤーリサイズ部１３０は、フォーカスが合っていない領域の画像データについては、ＬＰＦを通過させることなく、補間処理、間引き処理のみを行うことで、画像をより鮮明にし、被写界深度をより深くするものである。

図７に示すベイヤーリサイズ部１３０は、ＬＰＦ１４２、補間・サブサンプリング部１４４，１４６、ウェイト演算部（フィルタ制御部）１４７，１４８、乗算部１５０，１５２、加算部１５４を備える。

図７において、ＬＰＦ１４２は、水平方向、垂直方向の双方を１つにまとめて示している。ＬＰＦ１４２は、ベイヤーリサイズ部１３０に入力された画像データに対して、例えば図４（Ｂ）に一点鎖線で示すフィルタ特性を乗算して解像度変換を行う。ＬＰＦ１４２の出力は補間・サブサンプリング部１４４に入力され、補間処理、間引き処理が行われた後、第１の画像データとして乗算部１５０に入力される。

また、ベイヤーリサイズ部１３０に入力された画像データは、ＬＰＦ１４２へ入力されることなく補間・サブサンプリング部１４６へ入力され、補間処理、間引き処理が行われた後、第２の画像データとして乗算部１５２に入力される。

ウェイト演算部１４７には、カメラ処理部１０４から出力された合焦情報が入力される。ウェイト演算部１４７は、合焦情報に基づいて重み付け係数Ｗ（１＞Ｗ＞０）を演算し出力する。ここで、重み付け係数Ｗは、フォーカスが合っている場合は、１に近い値とされ、フォーカスが合っていない場合ほど０に近い値とされる。重み付け係数Ｗは乗算部１５０に入力される。また、重み付け係数Ｗは、ウェイト演算部１４８に入力される。ウェイト演算部１４８は、１−Ｗの演算を行い、その値は乗算部１５２に入力される。

乗算部１５０は、ＬＰＦ１４２から出力され、補間処理、間引き処理が行われた第１の画像データに対してウェイト演算部１４７から入力された重み付け係数Ｗを乗算する。また、乗算部１５２は、ＬＰＦ１４２に入力されることなく、補間処理、間引き処理が行われた第２の画像データに対してウェイト演算部１４８から入力された係数（１−Ｗ）を乗算する。そして、乗算部１５０、乗算部１５２のそれぞれの出力は、加算部１５４へ入力されて加算される。

図７に示すベイヤーリサイズ部１３０の構成では、合焦情報に応じた重み付け係数ＷがＬＰＦ１４２を通過した第１の画像データに乗算され、係数（１−Ｗ）がＬＰＦ１４２を通過することなく補間処理、間引き処理が行われた第２の画像データに乗算される。そして、第１のデータ及び第２のデータの比率は、合焦情報に応じた重み付け係数Ｗによって制御され、画像データの高周波成分の振幅が大きく、フォーカスが合っている場合ほど、第１のデータの比率がより高くなる。また、画像データの高周波成分の振幅が小さく、フォーカスが合っていない場合は、第２のデータの比率が高くなる。従って、フォーカスが合っていない領域の画像データについては、ＬＰＦを通過させることなく、補間処理、間引き処理のみが行われるため、フォーカスが合っていない領域の画像をより鮮明にすることが可能となり、被写界深度をより深くすることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明の一実施形態に係る撮像装置の構成を示す模式図である。カメラ処理部の構成例を示す模式図である。ベイヤーリサイズ部の構成を示す模式図である。水平ＬＰＦ、垂直ＬＰＦでの処理を説明するための特性図である。タップ係数演算部で演算されたタップ係数とＬＰＦの振幅特性を示す模式図である。タップ係数演算部で演算されたタップ係数とＬＰＦの振幅特性を示す模式図である。ベイヤーリサイズ部の他の構成を示す模式図である。

符号の説明

１００撮像装置
１３０ベイヤーリサイズ部
１３２タップ係数演算部
１３４水平ＬＰＦ
１３８垂直ＬＰＦ

Claims

撮像素子から読み出された画像信号から合焦情報を得る検波部と、
前記画像信号に含まれる高周波を除去する低域通過フィルタと、
前記画像信号から取得される撮像画像の合焦情報に基づいて、前記低域通過フィルタによるフィルタ処理を前記撮像画像の領域内で制御するフィルタ制御部と、
を備える、撮像装置。
前記フィルタ制御部は、前記合焦情報に基づいて、前記撮像画像中で合焦している領域では、合焦していない領域に比べて前記低域通過フィルタによる高周波除去特性を低下させる、請求項１に記載の撮像装置。
前記フィルタ制御部は、前記合焦情報に基づいて前記撮像画像中で合焦していない領域の画像信号については、前記低域通過フィルタによる高周波除去を行わない、請求項１に記載の撮像装置。
前記画像信号が入力され、前記画像信号を間引き処理又は補間処理する処理部を備え、
前記処理部は、前記撮像画像中で合焦していない領域の画像信号を間引き処理又は補間処理する、請求項３に記載の撮像装置。
前記画像信号が入力され、前記画像信号を間引き処理又は補間処理する処理部と、
前記低域通過フィルタから出力された第１の画像信号と前記処理部から出力された第２の画像信号とを加算する加算部と、を備え、
前記フィルタ制御部は、前記合焦情報に基づいて、前記加算部に入力される前記第１の画像信号と前記第２の画像信号との比率を変化させる、請求項１に記載の撮像装置。