JP2005295422A - デジタルカメラ装置 - Google Patents

Abstract

【課題】ＣＣＤ（Charge Coupled Device）センサー等を用いて撮像を連続的におこなう連写撮影をおこなう場合、その撮影間隔を短くしたいという要求がある。特に、ＣＣＤセンサーの高画素化に伴い、撮影画像１枚あたりのデータの読み出しにかかる時間が長くなってきており、連写撮影の高速化に対する要望はますます求められてきている。
【解決手段】連写撮影の高速化のために、露光処理とＣＣＤセンサーからの読み出し処理を同時に処理させることにより、次フレームの読み込みにかかるまでの時間を短縮させる。その際、スミアの発生が問題となるが、画素補正手段により前後の画素データを用いて補正することにより画質を落とさずに高速連写を実現する。
【選択図】図１

Description

本発明は、デジタルカメラ装置に関し、特に、連続撮影時の時間間隔を短くするためのデジタルカメラ装置に関する。

ＣＣＤ（Charge Coupled Device）センサー等を用いて撮像を連続的におこなう連写撮影をおこなう場合、その撮影間隔を短くしたいという要求がある。特に、ＣＣＤセンサーの高画素化に伴い、撮影画像１枚あたりのデータの読み出しにかかる時間が長くなってきており、連写撮影の高速化に対する要望はますます求められてきている。連写撮影の高速化にはいくつかの方法が考えられる。一つは、センサー自体の動作周波数を高くしてデータの読み出し時間を高速にする方法である。この場合、半導体製造プロセスの技術進化に依存して可能となる。また、センサーからの画素を間引いて読み出すことにより高速に読み出すという方法である。ただしこの場合は当然読み出す画素数が少なくなるため、解像度低下に伴う画質劣化はさけられない。もう一つは、ＣＣＤセンサーから撮像処理をおこなうまでのデータの流れを高速化する方法であり、その一例として、ＣＣＤセンサーからの読み出しを並列化して高速に引き出すというものがある。並列化にともないＣＣＤセンサーからのデータ読み出しは高速になるが、読み出したデータを並列で処理するため、一部重複して回路を備える必要がある。
さらに、特開２００１−２１１３９１号公報に示されたように、ＣＣＤセンサー制御を工夫することにより、露光処理とセンサーからの読み出し処理間の無駄な時間を削減して連写性能読み出しを高速化しようとする試みも提案されている。
特開２００１−２１１３９１号公報

ところで、露光処理とＣＣＤセンサーからの読み出し処理の期間は、動画撮影時には、例えば秒３０コマというように高速に読み出す必要があるため、別々の期間におこなうのではなく同時におこなっている。このように露光処理とＣＣＤセンサーからの読み出し処理を同時におこなうと、露光処理とＣＣＤセンサーからの読み出しが同時に処理されるため、その期間分だけ高速に次の処理がおこなえることになり、連写動作時においてはその間隔を短縮することができる。一方、ＣＣＤセンサーにおいては、フォトダイオードにおいて光電変換が行われた信号電荷は、隣接する垂直ＣＣＤ及び水平ＣＣＤに対して転送されていく。その際、垂直ＣＣＤは遮光されているが、フォトダイオードに対して強い光が入ると、そこからの漏れた光が垂直ＣＣＤに対して流れ込みノイズとなって現れる。このノイズはスミアといわれており大きく画質を落とす原因となる。そのため、静止画撮影のように１コマごとに高画質の撮影が必要となる場合、スミアの発生を抑えるために垂直ＣＣＤの転送時においては、メカシャッター等を用いてフォトダイオードを遮光するのが一般的であった。このように連写撮影を高速化するために、露光処理とＣＣＤセンサーからの読み出し処理を同時に処理させると、スミアが発生して画質を落としてしまうという課題を有していた。

上記課題を解決するために、撮像レンズから入力した被写体像を光電変換する露光状態と、該露光状態中にすでに露光した信号電荷を出力することが同時におこなえる撮像センサーを備える本発明のデジタルカメラ装置において、該デジタルカメラ装置は、
前記撮像センサーからの出力をデジタル化して画素データとして複数のフィールド毎にメモリバッファに格納するメモリ制御手段と、メモリバッファ上に格納された前記画素データの一部を補正する画素補正手段と、補正した画素データから表示用及び圧縮用の画素データを生成する信号処理手段と、露光タイミングと信号電荷の出力制御をおこなう撮像タイミング制御手段と、を有することを特徴する。
画素補正手段は３フィールド以上に分けて入力した画素データに対し、補正対象画素の周辺画素を用いて補正することができることを特徴とする。
画素補正手段はまた、一つ前のフレームの画素データを用いて画素を補正することを特徴とするデジタルカメラ装置。
本発明の撮像レンズから入力した被写体像を光電変換する露光状態と、該露光状態中にすでに露光した信号電荷を出力することが同時におこなえる撮像センサーを備えるデジタルカメラ装置において、該デジタルカメラ装置は、
前記撮像センサーからの出力をデジタル化して画素データとして１からNフィールドに分割された画素データのうち、１から（N−１）フィールドのデータのみをメモリバッファに格納するメモリ制御手段と、前記メモリバッファ上に格納された前記１から（N−１）フィールドのデータからNフィールドの画素データを生成する画素補正手段と、画素データから表示用及び圧縮用の画素データを生成する信号処理手段と、露光タイミングと信号電荷の出力制御をおこなう撮像タイミング制御手段と、を有することを特徴とする。
また撮像タイミング制御手段は、撮像センサーにおいてNフィールド期間のデータを破棄して、次の露光動作として制御することを特徴とする。
さらに画素補正手段は、一つ前のフレームの画素データを用いて画素を補正することを特徴とする。

本発明の撮像装置（デジタルカメラ装置）は、露光処理とＣＣＤセンサーからの読み出し処理を同時におこなった際に発生しやすいスミアを抑えて撮影が可能となるため、高速連写撮影時の場合に適用すると、画質劣化をおさえた高速撮影が可能となる。

以下、本発明の好適な実施形態について、図面を参照しながら説明する。なお、以下の実施の形態では、デジタルカメラ装置としてＪＰＥＧ（Joint Photographic Experts Group）規格に準拠した静止画データ（以下、ＪＰＥＧと略称する。）の出力および記録が可能なデジタルスチルカメラ（以下、ＤＳＣと略称する。）を例に挙げて説明するが、本発明はこれに限定されず、例えばＭＰＥＧ（Moving Picture Experts Group）規格に準拠した動画データ（以下、ＭＰＥＧと略称する。）の出力および記録機能を有していてもよい。

図１は、本発明の実施の形態１に係るデジタルスチルカメラ１００の一構成例を示す機能ブロック図である。

図１において、レンズユニット１０２は、レンズ駆動制御１１１からの制御結果に従い、撮像素子であるＣＣＤ（Charge Coupled Device）１０１に対して焦点調整をおこなう。ＣＣＤ１０１において光信号を変換して得られた信号電荷は、ＣＤＳ／ＡＤＣブロック１０３において、相関二重サンプリング（ＣＤＳ）処理により暗電流やリセットノイズの影響が除去され、自動ゲイン制御（ＡＧＣ）処理により所定の振幅レベルまで増幅された後、アナログデジタル変換（以下、ＡＤ変換と称す）されて例えば８〜１４ビットのデジタル信号に変換される。

ＡＤ変換された画素データは、データの基準となる黒レベルを固定するためにクランプ処理され、センサーモジュールに存在する欠陥画素部分の補正をおこなう傷補正処理、γ特性を補正するγ補正処理、およびＲＧＢの出力感度を補正することにより白レベルの色合いを補正するホワイトバランス処理を経て、メモリ制御部１０５を経由してメモリ１０４に一旦蓄えられる。

この際、メモリ制御部１０５に対して送られる画素データは、ＣＣＤ１０１から３フィールド以上に分けて送られてメモリ１０４上に格納される。画素補正手段１０６は、メモリ１０４上に格納された画素データを必要に応じて読み出し、演算処理を施した後、再びメモリ１０４上に画素データを書き戻す。信号処理手段１０７は、はじめにメモリ１０４上に格納されたデータと、書き戻された画素データとを演算処理することにより輝度・色差データ（以下、ＹＣデータと称す）を生成し再びメモリ１０４に格納する。

圧縮手段１０８では、メモリ１０４上に格納されたＹＣデータを呼び出し、あらかじめ設定されたパラメータに基づき、例えばＪＰＥＧデータに圧縮処理をおこなう。圧縮後のデータは再びメモリ１０４上のＹＣデータが格納されている領域とは別の領域に戻される。
出力手段１０９では、メモリ１０４上にあるＹＣデータやＪＰＥＧデータを、半導体メモリカードや、テレビ出力、液晶出力等への入出力制御の管理をおこなう。ＣＰＵ１１０は、画素補正手段１０６、信号処理手段１０７、圧縮手段１０８、出力手段１０９でおこなう処理のパラメータ及び動作タイミング制御をおこなう。また、ＣＣＤ１０１やレンズユニット１０２を制御するためのレンズ駆動制御１１１及びＴＧ（タイミング制御）１１２に対しての設定、制御もおこなう。

次に、本発明の特徴である画素補正手段１０６について詳細に説明する。図２は１から３フィールドまでのフィールドに分けて出力するＣＣＤセンサーのカラーフィルタ配列と、各フィールドデータとの関係を示す概念図である。横方向はＣＣＤセンサーの水平ライン方向を示し、縦方向が垂直ライン方向を示す。これらの画素データは、フィールド毎にメモリ１０４にそれぞれ格納され、画素補正手段１０６においては、補正をおこなうフィールドの画素データの垂直方向の前後にある１フィールド目の画素データと、２フィールド目のラインデータを読み出せるように構成されており、これらを使って３フィールド目の画素データの補正をおこなう。例えば、図２においては１フィールド目２００のデータと、２フィールド目２０２のデータから、その間にある３フィールド目２０１のデータを補正することになる。図３はその処理を実現する具体的な構成を示した図である。メモリ１０４であるＳＤＲＡＭ３００と、補正するフィールドの前後フィールドのラインデータを一時的に保持するラインバッファと演算器３０１から構成され、直接ＳＤＲＡＭから読み込まれるデータとラインバッファの画素データを演算し、その結果は一定のオフセットを加えたあと、再びＳＤＲＡＭに戻されるように構成されている。

図４は演算器３０１でおこなう処理を説明するための説明図である。図４においは、例えば３フィールド目４０１のあるＲ（赤）の画素に着目して補正をおこなう場合、1フィールド目４００及び２フィールド目４０２にある上下及び斜め方向に位置する画素から補正する画素データＲを生成する。例えば、
Ｒ＝（t1×Ｒ_１＋t2×Ｒ_２＋t3×Ｒ_３＋t4×Ｒ_４＋t5×Ｒ_５＋t6×Ｒ_６ ）／６
（ただし、t1 + t2 + t3 + t4 + t5 + t6 + t7 = 1）
という演算によって補正画素を算出する。同様な考え方で補正するフィールドの画素データを順次演算していうことにより、補正画素データを生成することが可能になる。なお本実施例では、周辺６画素の同色データを用いたが、画素の数や同色データに依存されるものではない。また、例で示した補正画素を求める演算方法においては、補正するフィールドの画素データを演算に使用しないため、あえてメモリ１０４に対して書き込む必要はなく、メモリ制御部１０５において３フィールド目のデータを破棄することも可能となる。その場合、メモリアクセス量の低減による消費電力の削減が可能となる。

一方、補正するフィールドの画素データを使用して演算することも可能である。例えば、1フィールド目４００及び２フィールド目４０２にある上下及び斜め方向に位置する画素データの平均値を求め、３フィールド目の４０１のデータとの差分値を算出する。この算出した差分値を、補正を必要とするフィールドの画素データから差し引くことによりスミアによる画質を改善することが可能となる。

連写データの読み出しシーケンスについて説明する。ＣＣＤ１０１から出力される３フィールド目のデータは、ＣＰＵ１１０によって設定されたタイミング生成回路であるＴＧ１１２によって出力制御される。
図５はＣＣＤ１０１からの信号読み出しタイミングと露光期間との関係を示す説明図である。図５の（１）に従来タイミングを示しているが、従来の露光ではＣＣＤセンサーに対するＶＤ（垂直同期信号）が３フィールド分後に開始される。

一方、図５の（２）で示した同時読み出しでは、最終フィールドの読み出しにおいて、画素データを読み出している間に露光をおこなうように制御する。これはＴＧ１１２によってＣＣＤ１０１に対して露光パルスが送られて制御される。つまり、３フィールド目は転送途中に露光されるためスミアの発生が高くなる。よって、３フィールドの画素データについては前述の画素補正手段１０６によって、スミアの発生が低い１〜２フィールド目の画素データによって補正をおこなう。

また、次のように動作させることにより、さらに高速化が実現できる。図５（３）は、３フィールド入力において、最終フィールドを破棄した場合のタイミングを示した図である。画素補正手段１０６において補正をおこなう場合、露光をおこなったフィールドの画素データを使わずに補正処理する場合は、別のフィールドでの画素データから新たに生成するため、フィールドデータをメモリに取り込む必要がない。そこで最終フィールドのデータ読み出し期間に露光をおこない、終了次第、次のフレームの処理に移行するようにＴＧ１１２を制御してもよい。つまり、最終フィールドのデータを破棄することにより、連写間隔を高速化することができる。

以上のように構成すると、最終フィールドのデータ読み出し期間と露光期間を並列化することができるため、図５（２）のタイミング動作時の場合は、毎回の露光間隔分の短縮が可能になる。また図５（３）のタイミング動作時においては、最終フィールドの取り込み時間が露光期間分ですむことになり、
短縮時間 ＝ 最終フィールドの読み出し時間 − 露光期間
分の時間が短縮される。

以上のように、露光期間とＣＣＤセンサーからの読み出し期間を並列化、または最終フィールドの読み出し期間を削減することで連写間隔を短縮する。またさらに、短縮の際に生じるスミアの影響を最小限に抑えるため、スミアの影響がないフィールドの画素データから補正処理することにより、画質を保ったままの短縮を可能とする。
画素補正手段１０６は、本実施の形態１においては、回路実装での構成によって説明したが、ＣＰＵ１１０がメモリ１０４をアクセスして画素データを読み出し、ＣＰＵ１１０において演算しても同様な効果が得られる。
また画素補正手段１０６は、メモリ１０４にある画素データを常に補正する状態で説明したが、ＣＰＵ１１０によりメモリ１０４の画素データのレベルを検出し、あらかじめ設定されたレベル以下であれば、画素補正手段１０６による補正処理をおこなわないようにすることも可能である。
補正する画素を算出する演算は、本実施例においては、重み付きの平均値演算で算出したが、撮影する状態、画像サイズ等に応じてその算出方法を変えてもよく、本発明は補正方法に限定されるものではない。
また、ＣＣＤセンサーからの入力は３フィールド入力で説明したが、３フィールド入力以上であれば、本発明は適用可能で3フィールド入力に限定されるものではない。

次に、本発明の実施の形態２に係るデジタルカメラ装置について説明する。実施形態２と実施形態１との構成上の差は、図１におけるメモリ制御部１０５、及び画素補正手段１０６である。メモリ制御部１０５では、ＣＣＤ１０１からメモリ１０４に入力する際、一つ前に取り込んだフレームの画素データが格納されている領域とは別の領域に格納する。図７は実施の形態２における画像補正手段１０６の処理を実現する具体的な構成を示す説明図である。バッファメモリ７０２には、SDRAM７００から読み出された前フレームの画素データが格納されており、この前フレームの画素データと、露光期間に読み込んだ３フィールド目の画素データとは、並列に演算器７０１に接続されている。図６は演算器７０１で処理される画素データの関係を説明する説明図である。図６（２）は、連写時の現フレームのデータの例で、画素データ６０１は露光期間とＣＣＤセンサーからの取り組み期間が並列に行われた画素データである。一方、図６（１）は、連写撮影時の一つ前のフレームデータで画素データ６００は、図６（２）における画素データ６０２とほぼ同位置付近の画素データである。つまり、図６（１）の画素データ６００を用いて、画素データ６０１を補正することも可能になる。この場合、時間軸方向の画素データで補正していることになる。
時間軸方向でのデータ補正をさらに高精度におこなうために、連写毎にＣＣＤセンサーからのデータ出力の開始画素位置を変化させる。つまり、第１フレームと第２フレームでは、ＣＣＤセンサーの出力開始画素を垂直1ラインずらすと、補正したい１フレーム前の画素データが、露光期間とかさなっていない画素データにすることができる。その結果、より確実に補正データとして使用することが可能となる。
またここでの補正は、実施例１で示した重み付きの平均値演算等でもよく、撮影する状態、画像サイズ等に応じてその算出方法を変えてもよく、本発明は補正方法に限定されるものではない。
また、連写時に被写体に動きがある場合、現フレームの画素データと前フレームの画素データの位置が一致しない。そのためＭＰＥＧ等の使用される動きベクトル検出回路等を用いて一致する画素データを検出して、検出した画素データに基づいて補正処理をおこなってもよい。
以上のように、メモリ１０４を用いて時間軸方向に補正処理することにより、連写時に発生するスミア低減化が可能となり、高画質で高速連写を実現することが可能となる。

デジタルスチルカメラにおける静止画の連写撮影の高速化を実現するだけでなく、ビデオムービーにおいても適用可能であり、その場合、スミアの発生を削減したビデオカメラを実現することができる。

本発明の実施の形態１に係るデジタルスチルカメラのブロック構成図 カラーフィルタ配列と各フィールドデータの関係を示す説明図 画素補正手段の構成図 演算器の説明図 信号読み出しタイミングと露光期間との関係を示す説明図 演算器７０１で処理される画素データの関係を説明する説明図 実施の形態２における画像補正手段１０６の処理を実現する具体的な構成を示す説明図

符号の説明

１００ デジタルカメラ装置
１０１ ＣＣＤ
１０２ レンズユニット
１０３ ＣＤＳ／ＡＤＣブロック
１０４ メモリ
１０５ メモリ制御部
１０６ 画素補正手段
１０７ 信号処理手段
１０８ 圧縮手段
１０９ 出力手段
１１０ ＣＰＵ
１１１ レンズ駆動制御
３００ シンクロナスＤＲＡＭ

Claims (6)

1. 撮像レンズから入力した被写体像を光電変換する露光状態と、該露光状態中にすでに露光した信号電荷を出力することが同時におこなえる撮像センサーを備えるデジタルカメラ装置であって、
   前記撮像センサーからの出力をデジタル化して画素データとして複数のフィールド毎にメモリバッファに格納するメモリ制御手段と、
   メモリバッファ上に格納された前記画素データの一部を補正する画素補正手段と、
   前記メモリバッファ上の画素データから表示用及び圧縮用の画素データを生成する信号処理手段と、
   露光タイミングと信号電荷の出力制御をおこなう撮像タイミング制御手段とを有することを特徴するデジタルカメラ装置。
2. 前記画素補正手段は、3フィールド以上に分けて入力した画素データに対し、補正対象画素の周辺画素を用いて補正することを特徴とする請求項１に記載のデジタルカメラ装置。
3. 前記画素補正手段は、一つ前のフレームの画素データを用いて画素を補正することを特徴とする請求項１に記載のデジタルカメラ装置。
4. 撮像レンズから入力した被写体像を光電変換する露光状態と、該露光状態中にすでに露光した信号電荷を出力することが同時におこなえる撮像センサーを備えるデジタルカメラ装置であって、
   前記撮像センサーからの出力をデジタル化して画素データとして１からNフィールドに分割された画素データのうち、１から（N−１）フィールドのデータのみをメモリバッファに格納するメモリ制御手段と、
   前記メモリバッファ上に格納された前記１から（N−１）フィールドのデータからNフィールドの画素データを生成する画素補正手段と、
   前記メモリバッファ上の画素データから表示用及び圧縮用の画素データを生成する信号処理手段と、
   露光タイミングと信号電荷の出力制御をおこなう撮像タイミング制御手段とを有することを特徴するデジタルカメラ装置。
5. 前記撮像タイミング制御手段は、撮像センサーにおいてNフィールド期間のデータを破棄して、次の露光動作として制御することを特徴とする請求項４に記載のデジタルカメラ装置。
6. 前記画素補正手段は、一つ前に撮影したフレームの画素データを用いて画素を補正することを特徴とする請求項４に記載のデジタルカメラ装置。

Images