JP2005175886A - 撮像装置 - Google Patents

Abstract

【課題】デジタルカメラ装置に関し、特に、光量が不足する場合において撮影する場合、補助光なしで最適な焦点状態を検出することができる機能を備えた撮像装置を提供する。
【解決手段】イメージセンサーからの画像信号をフィールド又はフレーム画像毎にメモリに蓄積し、これら画像間の動きベクトルを検出し被写体位置を合わせた後、合算処理することによりＳ／Ｎが高い画像信号が得られるように構成する。その結果、光量が不足するような場合においても、対象画像の高周波成分を検出することができるようになり、補助光なしでも最適な焦点状態を検出することが可能となる。
【選択図】図１

Description

本発明は、デジタルカメラ装置に関し、特に、光量が不足する場合において撮影する場合、補助光なしで最適な焦点状態を検出することができる機能を備えた撮像装置に関する。

ＣＣＤ（Charge-Coupled Devices）等の撮像素子を備えた電子カメラ装置において焦点検出をおこなうには、撮像素子から得られた信号の高周波成分がコントラストに相関することを利用し、レンズを前後に駆動させて高周波成分が最大になるように焦点位置をあわせるコントラスト法が知られている。

コントラスト法による焦点検出では、被写体への光量が不足した場合、高周波成分が最大となる点の検出が困難になる。そのため、十分な光量が得られない場合、測光時に補助光を用いるのが一般的であった。
一方、補助光を用いずに行う方法としては、ゲインアップにより増幅して高周波成分を検出する方法がある。ただこの場合、目的の信号成分と共にノイズ成分も増幅されたるためにノイズを被写体と検出する可能性がある。そこで特開２００３−１４００３２号公報で示されたように、時間軸方向に複数の画像を合算してランダムノイズ成分を平均化することで、Ｓ／Ｎを向上させるというものが提案されている。
特開２００３−１４００３２号公報

しかしながら、複数の画像を用いた時間軸方向への画素加算によるランダムノイズの平均化は、被写体に動きがある場合や手ぶれ等により被写体の取り込み位置がずれた場合、本来の被写体もノイズとして処理される可能性があり、焦点検出がうまくおこなえないという課題があった。

上記課題を解決するために、請求項１記載の撮像装置は、撮像レンズから入力された被写体像を光電変換して画像信号として出力する撮像手段と、前記撮像レンズを駆動させて焦点をあわせる駆動手段と、出力された画像信号をフィールド又はフレーム画像毎にメモリに蓄積するメモリ手段と、前記メモリ手段上に蓄積された異なるフィールド又はフレーム画像から動き情報を検出し被写体位置を合わせたあと合算処理する動き補償合算手段と、前記動き補償合算手段から得られた画像信号から高周波成分を検出して画焦点評価をおこなう焦点評価手段と、を有することを特徴とする。

請求項２記載の撮像装置は、撮像レンズから入力された被写体像を光電変換して画像信号として出力する撮像手段と、前記撮像レンズを駆動させて焦点をあわせる駆動手段と、出力された画像信号をフィールド又はフレーム画像毎にメモリに蓄積するメモリ手段と、前記メモリ手段上に蓄積された同一のフィールド又はフレーム画像内の複数の異なる画素成分を合算して画像信号を生成する合算手段と、前記合算手段から得られた画像信号から高周波成分を検出して画焦点評価をおこなう焦点評価手段と、を有することを特徴する。

請求項３記載の撮像装置は、撮像レンズから入力された被写体像を光電変換して画像信号として出力する撮像手段と、前記撮像レンズを駆動させて焦点をあわせる駆動手段と、出力された画像信号をフィールド又はフレーム画像毎にメモリに蓄積するメモリ手段と、前記メモリ手段上に蓄積された異なるフィールド又はフレーム画像から動き情報を検出し被写体位置を合わせたあと合算処理する動き補償合算手段と、前記メモリ手段上に蓄積された同一のフィールド又はフレーム画像内の複数の異なる画素成分を合算して画像信号を生成する合算手段と、前記動き補償合算手段と前記合算手段から得られた画像信号を選択して高周波成分を検出する画焦点評価をおこなう焦点評価手段と、を有することを特徴とする。

複数の画像を用いて時間軸方向に画素を合算する場合に、動き補償合算手段により被写体の位置あわせをおこなうことによりノイズ成分のみを正確に低減することができる。また、単一の画像から空間軸方向に画素を合算することにより、合算処理に必要となるメモリ容量を削減し、少ない処理量でおこなうことができる。また、時間軸方向、空間軸方向に対して処理を組みあせて高周波成分を取り出すことにより焦点評価の信頼性が向上する。本発明ではこれらの利点が期待できる。

以下、本発明の好適な実施形態について、図面を参照しながら説明する。なお、以下の実施の形態では、デジタルカメラ装置としてＪＰＥＧ（Joint Photographic Experts Group）規格に準拠した静止画データ（以下、ＪＰＥＧと略称する。）の出力および記録が可能なデジタルスチルカメラ（以下、ＤＳＣと略称する。）を例に挙げて説明するが、本発明はこれに限定されず、例えばＭＰＥＧ（Moving Picture Experts Group）規格に準拠した動画データ（以下、ＭＰＥＧと略称する。）の出力および記録機能を有していてもよい。

図１は、本発明の実施の形態１に係る撮像装置を用いたデジタルスチルカメラ１００の一構成例を示す機能ブロック図である。

図１において、撮像素子であるＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサー１０１により、撮影対象からの光信号を変換して得られた電気信号（画素信号）は、ＣＤＳ／ＡＤＣブロック１０３において、相関二重サンプリング（ＣＤＳ）処理により暗電流やリセットノイズの影響が除去され、自動ゲイン制御（ＡＧＣ）処理により所定の振幅レベルまで増幅された後、ＡＤ変換されて例えば８〜１４ビットのデジタル信号に変換される。

ＡＤ変換された画素データは、データの基準となる黒レベルを固定するためにクランプ処理され、センサーモジュールに存在する欠陥画素部分の補正をおこなう傷補正処理、γ特性を補正するγ補正処理、およびＲＧＢの出力感度を補正することにより白レベルの色合いを補正するホワイトバランス処理を経て、メモリ制御部１０５を経由してメモリ１０４に一旦蓄えられる。

レンズユニット１０２は、レンズ駆動制御１１４からの制御結果に従い、イメージセンサー１０１への焦点距離を調節する。

ＴＧ（Timing Generator）１１５は、イメージセンサー１０１に対する駆動タイミングを生成し、使用されるイメージセンサー１０１に応じてＣＰＵ１１３から設定調整される。

メモリ制御部１０５は、ＣＰＵ１１３からメモリ１０４にアドレスを指定して、アクセスできるように調停することができ、また入出力するデータの開始アドレスを指定するだけで、自動でリード及びライトアクセスできるように構成されている。また特定の領域をリングバッファとして使用できるよう構成されている。

動き補償合算手段１１６は、動き補償手段１０８と合算手段１０７から構成され、異なる画像間についてその動きベクトルを算出し、その動き分を補正して合算出力する。
図２は動き補償手段１０８を構成するブロック構成図である。入力セレクタ２０１及び絶対値差分和演算器２００から構成され、入力セレクタ２０１は、動画記録の際にＭＰＥＧエンコード処理時の動き検出と、焦点検出処理時のための動き検出を時分割で切り替えるようになっており、ＣＰＵ１１３から切り替えて制御できるように構成されている。絶対値差分和演算器２００では、入力した対応する画素の絶対値差分和を演算でき、入力画像の相対位置を変化させこの値が最小になる値を求める。最小になる２つの画像の相対位置を算出後、ＣＰＵ１１３はその位置関係をメモリ制御部１０５に通知する。

合算手段１０７は加算器から構成され、メモリ制御部１０５によってメモリ１０４から読み出された画像を、画素毎に加算して再びメモリ１０４に戻す。その際、メモリ制御部１０５は動き補償手段１０８で得られた加算対象の２つの画像の相対位置に対応する画素を読み出す。

焦点評価手段１０６は、合算手段１０７で処理された画像を、メモリ１０４から読みだし、その画像をフィルター処理して高周波成分を検出するバンドパスフィルタと、その結果を格納するバッファメモリと、バッファリングされた高周波成分データを比較する比較器から構成されている。焦点評価は、バッファメモリに蓄積された高域成分データのピーク値を検出することによっておこなう。

信号処理手段１１１は、イメージセンサー１０１から入力したＣＣＤのＲＡＷデータから演算処理によって輝度・色差信号を生成し、メモリ１０４に格納する。

圧縮手段１１０は、動き補償手段１０８と共に信号処理手段１１１で処理した画像データを、メモリ１０４から読み出しＪＰＥＧ又はＭＰＥＧに圧縮処理するブロックで、ＤＣＴ処理、符号化処理から構成されている。

出力手段１１２は、メモリカードインタフェース、液晶出力インタフェース、テレビ出力インタフェースから構成され、イメージセンサー１０１で取り込んだ画像を液晶に出力したり、メモリカードから読み込んだＪＰＥＧデータをデコードして表示したりする。

レンズ駆動制御１１４は、焦点評価手段１０６で得られた評価値を、ＣＰＵ１１３によってモータの駆動量に変換する。

次に静止画撮影をおこなうシーケンスについて説明する。

デジタルスチルカメラ１００を撮影モードにすると、ＣＰＵ１１３はＴＧ１１５に対してプレビュー動作を指示する。イメージセンサー１０１は、ＴＧ１１５からの制御タイミングによって、高速に画像出力するプレビュー表示出力動作となる。イメージセンサー１０１から出力される信号は、ＣＤＳ／ＡＤＣブロック１０３において、デジタル信号に変換された後メモリ１０４に格納される。

図３は、プレビュー表示においてデータをメモリに格納した際のメモリマップのイメージ図で、３フレームのデータを格納した場合の例である。イメージセンサー１０１から入力したデータは、時間順にそれぞれメモリの別領域に格納され、それぞれの先頭アドレスはメモリ制御１０５及びＣＰＵ１１３によって管理される。
ユーザーによって焦点検出要求がかかると、ＣＰＵ１１３はイメージセンサー１０１から入力している画像の光量を測光する。ＣＰＵ１１３は、あらかじめ設定した以上の光量を確認した場合には、十分に光量があると判定しメモリ１０４に格納した画像データを直接焦点評価手段１０６に直接転送する。逆に光量が不足すると判定した場合には、時間方向に連続する２つの画像を、動き補償手段１０８に転送し画像の動きベクトルを検出する。
例えば、図４に示すような時間軸に連続する二つの異なるフレーム画像、フレーム＃１（４００）とフレーム＃２（４０１）がメモリ１０４に格納された場合、ＣＰＵ１１３は、この二つのフレーム画像を、動き補償合算手段１１６である動き補償手段１０８に与え絶対値差分和を演算する。これらフレーム画像間の相対位置関係を変えて複数回演算させ、値が最小になる点を探すことにより、これらのフレーム画像間の動きベクトルを検出する。続いてＣＰＵ１１３は、合算手段１０７にこの二つのフレーム画像を与えて合算処理させるが、その際、検出された動きベクトル分だけずらしてフレーム＃２（４０２）を読み出し、フレーム＃１（４００）と合算させる。（合算後のフレームがフレーム４０３）
このように、動き補償手段１０８を使用することにより、二つのフレーム画像間のずれがなくなり、従来のように合算処理で被写体の信号成分がランダムノイズとして処理され平均化されていくことを防止することができる。
合算処理が終了した結果は、メモリ１０４に格納された後、焦点評価手段１０６に送られる。焦点評価手段１０６では、入力画像に対してハイパスフィルタによって入力画像の高周波成分を検出する。検出された結果は評価値としてバッファメモリに蓄積される。焦点をあわせるために、ＣＰＵ１１３は、高周波成分の評価値が最大になるように、バッファメモリに蓄積された評価値を比較しながらレンズを駆動する。なお、評価値はレンズ駆動制御１１４での制御値と対応されて記録されおり、レンズ駆動がどちらの方向に移動すると高周波成分が増加するかを、ＣＰＵ１１３が把握できるように構成されている。ＣＰＵ１１３は、高周波成分が最大になるような評価値が得られる位置にレンズ駆動をおこなうと合焦点となり処理を終了する。
以上のように、動き補償合算処理手段により、光量が不足する場合においても、より正確にランダムノイズを平均化することが可能となり、焦点検出に必要となる高周波成分検出が正しくおこなえるようになる。
なお、ここではフレーム画像単位で処理したが、フィールド画像単位で処理しても同様な効果が得られる。また、合算処理は対象画像の全領域でおこなう必要はなく、焦点を合わせたい領域部分のみに限定しておこなうことにより、演算量を削減することができる。

次に、本発明の実施の形態２に係る撮像装置について説明する。実施形態２と実施形態１との構成上の差は、図１における動き補償合算手段１１６おいて、動き補償手段１０８を必要としない点、時間軸方向に合算処理したものを空間軸方向に処理した点、つまり複数のフレーム画像或いはフィールド画像間で合算処理をおこなっていたものを同一フレーム内でおこなうようにした点である。
図５を用いて具体的に説明する。図５は、イメージセンサー１０１に使用されているカラーフィルタの配列を示したものである（R：赤、G：緑、B：青）。この配列構造は一般にベイヤー配列として知られている。イメージセンサー１０１から取り込まれた画像データは、メモリ制御部１０５を経由してメモリ１０４に蓄積される。ここでユーザーによって焦点検出要求がかかると、ＣＰＵ１１３はイメージセンサー１０１から入力している画像の光量を測光する。ＣＰＵ１１３は、あらかじめ設定した以上の光量を確認した場合には、十分に光量があると判定しメモリ１０４に格納した画像データを直接焦点評価手段１０６に直接転送する。逆に光量が不足すると判定した場合には、縦5画素、横5画素からなる領域において同一色成分を持つ画素成分を合算するようにする。例えば、図５においてR（赤）成分において、縦5画素、横5画素からなる全25画素から中心のR成分に対して周辺のR成分8画素分を合算する。ＣＰＵ１１３はメモリ制御部１０５に対して、メモリ１０４から9画素分のＲ成分を読み出すように指示する。メモリ制御部１０５はメモリ１０４から画素成分を読み出すと、合算手段１０７に対してそれらの画素を合算するために転送する。同様にG、B成分についても処理する。
このようにフレーム画像或いはフィールド画像内で画素を合算することにより、1画素単位でのランダムノイズを平均化することができ、かつＳ／Ｎを向上させることができる。合算したデータは、メモリ制御部１０５によって再びメモリ１０４に戻され、続いて焦点評価手段１０６に転送され、実施例１で示した高周波成分の検出処理がおこなわれる。
なお本実施例では、縦5画素及び横5画素の単位で画素を合算したが、本発明はこのサイズに限定されるものでなく、必要に応じて演算単位の領域、合算単位の画素数を変えても同様な効果が得られる。

次に、本発明の実施の形態３に係る撮像装置について説明する。実施形態１と実施形態３との構成上の差はないが、合算処理を空間軸方向に処理した後、時間軸方向でもおこなうようにした点、つまり実施形態１の処理を実施形態２で示した処理後におこなう点が大きく異なる点である。

以下に具体的に説明する。実施形態２においては、イメージセンサー１０１から入力した画像データをメモリ１０４に蓄積した後、同一フレーム画像或いはフィールド画像内の縦5画素、横5画素からなる領域において同一色成分を持つ画素成分を合算し焦点評価手段１０６に転送した。一方、実施形態１においては、複数のフレーム画像或いはフィールド画像をメモリ１０４に蓄積し、その画像間の動きを補正した後合算した。

実施形態３においては、同一フレーム画像或いはフィールド画像内の縦5画素、横5画素からなる領域において同一色成分を持つ画素成分を合算し、その画像をメモリ１０４内に格納し、そのまま焦点評価手段１０６に転送するのではなく、複数フレーム或いはフィールド分蓄積する。次に蓄積したフレーム或いはフィールド画像間について、動き補償手段１０８で動きベクトルを検出し、動きベクトル分補正して合算する。合算した結果をメモリ１０４に再び格納し、以下は実施形態１及び２と同様に焦点評価手段１０６に転送され処理される。
以上のように、合算処理を空間軸方向に処理した後、時間軸方向でもおこなうことにより、より暗い場所においても高周波成分が検出できるようになる。

デジタルスチルカメラやビデオムービー等の撮像処理だけでなく、防犯カメラ、産業用検査カメラ装置等への用途においても適用可能である。

デジタルカメラ装置のブロック構成図 動き補償手段のブロック図 メモリマップイメージ図 動き補償合算手段を説明する説明図 画素単位で合算処理を説明する説明図

符号の説明

１００ デジタルカメラ装置
２００ 絶対値差分和演算器（ＳＡＤ）
３００ メモリ

Claims (3)

1. 撮像レンズから入力された被写体像を光電変換して画像信号として出力する撮像手段と、
   前記撮像レンズを駆動させて焦点をあわせる駆動手段と、
   出力された画像信号をフィールド又はフレーム画像毎にメモリに蓄積するメモリ手段と、前記メモリ手段上に蓄積された異なるフィールド又はフレーム画像から動き情報を検出し被写体位置を合わせたあと合算処理する動き補償合算手段と、
   前記動き補償合算手段から得られた画像信号から高周波成分を検出して画焦点評価をおこなう焦点評価手段と、
   を有することを特徴とする撮像装置。
2. 撮像レンズから入力された被写体像を光電変換して画像信号として出力する撮像手段と、
   前記撮像レンズを駆動させて焦点をあわせる駆動手段と、
   出力された画像信号をフィールド又はフレーム画像毎にメモリに蓄積するメモリ手段と、前記メモリ手段上に蓄積された同一のフィールド又はフレーム画像内の複数の異なる画素成分を合算して画像信号を生成する合算手段と、
   前記合算手段から得られた画像信号から高周波成分を検出して画焦点評価をおこなう焦点評価手段と、
   を有することを特徴とする撮像装置。
3. 撮像レンズから入力された被写体像を光電変換して画像信号として出力する撮像手段と、
   前記撮像レンズを駆動させて焦点をあわせる駆動手段と、
   出力された画像信号をフィールド又はフレーム画像毎にメモリに蓄積するメモリ手段と、前記メモリ手段上に蓄積された異なるフィールド又はフレーム画像から動き情報を検出し被写体位置を合わせたあと合算処理する動き補償合算手段と、
   前記メモリ手段上に蓄積された同一のフィールド又はフレーム画像内の複数の異なる画素成分を合算して画像信号を生成する合算手段と、
   前記動き補償合算手段と前記合算手段から得られた画像信号を選択して高周波成分を検出する画焦点評価をおこなう焦点評価手段と、
   を有することを特徴とする撮像装置。

Images