JP2007295292A - 撮像装置及び撮像装置の制御方法 - Google Patents

Abstract

【課題】撮像素子から出力される撮像信号のスミアライン信号をスミアラインメモリに記録し、リミット回路によりスミアライン信号を制限して補正する際に、その補正量をカラーフィルタの配列に応じてスミア補正を行なう。
【解決手段】固体撮像素子３を用いて撮像する撮像措置において、前記固体撮像素子３から出力される撮像信号のスミアライン信号を検出してメモリに記憶する記憶手段と、前記記憶手段に記憶されているスミア信号をカラーフィルタの配列ごとに制限し、前記スミアライン信号の値を制御する信号値制御手段と、それにより得られた出力データを基に前記カラーフィルタの配列に応じてスミア補正を行う補正手段とを設け、画質劣化を生じさせないようなスミア補正を行なうことができるようにする。
【選択図】図１

Description

本発明は撮像装置及び撮像装置の制御方法に関し、特に、撮像した画像をスミア補正して出力するために用いて好適な技術に関する。

近年、デジタルカメラやデジタルビデオカメラが急速に発展してきており、画像をデジタル化することにより、高速処理、補正処理、高画素化などといった多機能、高品質なものが普及している。

このような環境中では、かつて低減されていた問題が急速な発展に伴い、再び浮上してくるケースもある。その問題の一つとしてスミア現象による画質劣化がある。この現象は、本来は捕捉されなかった電荷がポテンシャル障壁を乗り越えて垂直転送路に漏れこむ現象であり、スミア現象が発生すると画像領域に縦線を生じさせ、画質を劣化するものである。

例えば、太陽のような強いスポット光がある場合は、その上下に伸びる縦筋となることがある。また、空を含むようなごくありふれた風景においても暗部がフレアがかり白けた画像になり、場合によっては赤っぽくなり画像が著しく低下する。従来、このようなスミア対策として、センサの構造による対策を施してきた。

インターライントランスファー（IT）CCDがスミアに強いということで、撮像素子の主流になりえたのは、フレームトランスファー（FT）CCDが信号蓄積機能と転送機能を画素が併せ持つ。それに対し、IT−CCDは信号蓄積機能のみのフォトダイオード（PD）と転送機能のみの垂直転送CCD（V−CCD）の機能別構造をもつことに起因する。

しかしながら、IT−CCDにおいても、フォトダイオードから入射する光が、垂直転送CCDに入り込むことでスミアが発生したため、光漏れが少なくなるような構造の改善が続けられ現在に至っている。しかし、従来は実用上においてスミアを抑制できていた問題が、近年の急速な多画素化により抑制することが困難になってきており、画素数の多い撮像装置においてはスミアが顕著に表れてきている。それは、多画素化によりセルサイズが著しく小さくなってきたことで、フォトダイオードから垂直転送CCDへの光漏れに関する防御性が低下していることが一要因として挙げられる。

特開平７−６７０３８号公報 特開２００１−２４９４３号公報

このスミア現象を補正する手段としては、スミアが垂直方向に均一レベルで現れるので、有効画素領域外の遮光された蓄積領域であるダミーラインにはスミア成分のみの出力が得られることを利用している。つまり、この出力信号を有効画素出力信号から減じる方法が、例えば、特許文献１に開示されている。ここでの補正は、以下に示すような式になる。
Ｓｏｕｔ（ｉ,ｊ）＝Ｓｃｃｄ（ｉ,ｊ）−Ｓｍ（ｉ）
Ｓｏｕｔ：スミア補正後のデータ
Ｓｃｃｄ：スミア補正前のデータ
Ｓｍ：スミアデータ
ｉ：水平アドレス
ｊ：垂直アドレス

しかし、この補正方法ではスミアの補正分だけ飽和が低下することになる。例えば、CCD出力を１０bitでＡ／Ｄ変換した場合、スミア減算分が５０であると１０２４−５０、つまり９７４で飽和することになる。

この問題は、特許文献２においても指摘されており、ここではスミア補正量が高いラインでは飽和輝度の高い部分がグレーとなり、違和感がある画像となってしまうと述べられている。そこで、特許文献２においては、その対策として、以下の補正方法が述べられている。
Sout（I,j）=Sccd（I,j）−Sm(i)×Sat/（ステップSat−Sm(i)）
Sat：飽和量

これは、スミア量が大きくなるとオフセットをつけ、さらに大きくなると補正しないなどの工夫をして、飽和低下をなくし、補正が線形になるようにしている。しかし、この補正方法では、各カラムでのゲインが異なり、画像に縦線が生じて、極めて劣悪な画像になってしまうことがある。

また、スミア補正後の信号処理では、ガンマ補正がかけられると、特に、低輝度でゲインが高くなるので、本画像の暗部の縦縞はより強調されることになる問題点があった。

このような画質劣化を防ぐには、同提案の実施例で好ましくないとされる、最大スミア値でのクリップが有効になってくるのだが、カラーフィルタの配列によってスミア値が異なることに注目すると、そのことにより色バランスが崩れてしまう場合がある。例えばRGラインではクリップされないが、GBラインでクリップされた場合、色バランスが崩れてしまい、画質の劣化を引き起こしてしまう。

本発明は前述の問題点にかんがみ、カラーフィルタの配列に応じた適正なスミア補正を、画質劣化を起こすことなく実行できるようにすることを目的とする。

本発明の撮像装置は、固体撮像素子を用いて撮像する撮像装置において、前記固体撮像素子から出力される撮像信号のスミアライン信号を検出して記憶する記憶手段と、前記記憶手段に記憶されているスミアライン信号をカラーフィルタの配列ごとに制限し、前記スミアライン信号の値を制御する信号値制御手段と、前記信号値制御手段から出力される出力データを基に前記カラーフィルタの配列に応じてスミア補正を行う補正手段とを有することを特徴とする。

本発明の撮像装置の制御方法は、固体撮像素子を用いて撮像する撮像装置の制御方法において、前記固体撮像素子から出力される撮像信号のスミアライン信号を検出してメモリに記憶する記憶工程と、前記メモリに記憶されているスミアライン信号をカラーフィルタの配列ごとに制限し、前記スミアライン信号の値を制御する信号値制御工程と、前記信号値制御工程において制御された出力データを基に前記カラーフィルタの配列に応じてスミア補正を行う補正工程とを有することを特徴とする。

本発明によれば、撮像素子から出力される撮像信号のスミアライン信号をスミアラインメモリに記録し、リミット回路によりスミアライン信号を制限して補正する際に、その補正量をカラーフィルタの配列に応じてスミア補正を行なうようにしたので、画質劣化をもたらさないようなスミア補正を行なうことが可能となり、良好な画像信号を得ることができる。

（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態を説明する。
図１において、１は被写体の光学像を結像するためのレンズ、３はレンズ１により結像された光学像を電気信号に変換する固体撮像素子（ＣＣＤ）である。

２はメカニカル絞りであり、レンズ１を通して固体撮像素子３に入力結像される光学像の光量をコントロールするためのものである。４はメカニカル絞り２を制御する駆動回路である。駆動回路４は、固体撮像素子３を駆動するための回路である。通常、固体撮像素子３を駆動するためのタイミングを作るタイミングジェネレータ（ＴＧ）回路と、ＴＧ回路で作られたタイミングパルスを、固体撮像素子３をドライブするのに必要な電圧のパルスに変換するドライブ回路とにより構成される。

５は、固体撮像素子３の出力をデジタル化するまでの前処理を行うアナログフロント（回路）であり、通常、ＣＤＳ回路、ゲイン回路、ＡＤ変換回路により構成される。６は固体撮像素子３の垂直転送数を垂直の光に感応する有効画素分よりも多くすることで得られるダミーラインの信号を記憶するためのスミアラインメモリである。

本実施形態においては、ダミーラインが複数ラインの場合、ダミーラインを水平の同アドレスのデータを加算して、加算したライン分で割り算する処理による平均化を行なうことにより、ランダムノイズ分を除去したうえで記憶するようにしている。以下の説明では、ダミーラインの信号を１ライン、もしくはダミーラインの複数の平均化処理により１ライン化されてスミアラインメモリ６に記憶された信号をスミアライン信号、あるいはスミアラインデータと呼ぶ。８はスミアライン信号を任意の値でクリップするリミット回路である。

７は、アナログフロントエンド５より出力される信号の各々のライン信号からリミット回路を経て出力されるスミアライン信号を減算するスミア減算器である。このスミア減算器７を通すことで、アナログフロントエンド５から出力されるスミア成分を含む信号からスミア成分を除去した撮像信号を信号処理回路１１に入力することが可能となる。

１１はスミア成分のみを除去したスミア減算器７の出力信号を輝度と色（Ｒ−Ｙ、Ｂ−Ｙの色差信号かＲ、Ｇ、Ｂの原色信号）の信号に処理する画像信号処理回路である。１２はカメラ全体の制御を行なうＣＰＵである。本実施形態で説明しているスミア補正に係る機能として、固体撮像素子３の電荷蓄積時間をコントロールする電子シャッター制御機能、メカニカル絞り２の絞り値を制御することで固体撮像素子３に入射する光量を制御する絞り制御機能を含んでいる。

さらに、本実施形態においては、ＣＰＵ１２は固体撮像素子３の出力レベルを観測し、電子シャッター制御と絞り制御とを用いて、固体撮像素子３への入射光量を適正値に保つＡＥ制御機能９を有している。また、スミアラインの最大値の情報あるいはアナログフロントエンド５の信号レベル、あるいはその双方を観測してリミット回路８のリミットレベルを制御するスミアライン信号のリミット値制御機能１０が含まれる。

前にも述べた空を含むようなごくありふれた風景で、暗部がフレアがかり白けた画像になり、場合によっては赤っぽくなるといった通常領域のスミアを補正する場合のスミアレベルは、それほど高くない。このような通常域のスミアのみを補正するのであるならば、固体撮像素子３からの出力の全階調の一部を予めスミア補正領域として確保するだけでよい。

例えば、１０bit出力（１０２４LSB、以下の説明では便宜上１０００LSBとして扱う）であれば、そのうちの１／４の２５０LSBをスミア補正領域とし、画像信号処理回路１１では、７５０LSBまでの信号を使用して処理するものとする。つまり、７５０LSBで信号は飽和することになり、スミア補正量とダイナミックレンジ低下分は同量となる。７５０LSBで階調が不足しているならば、１１bit、１２bit出力のＡ／Ｄ変換器を使用すればよい。

画像信号処理が７５０LSBを飽和レベルとして処理するように構成しておけば、リミット回路８のリミット値は２５０LSBに設定でき、２５０LSBまでのスミアを補正することができる。２５０LSBまでのスミアを補正すれば実用上問題のなるシーンはほとんど網羅できる。以上の様子を図２に示す。

図２は画像信号処理回路１１の入出力関係を示すものであり、実線はスミア補正なしの場合を示し、一点鎖線はスミア補正ありの場合を示す。
ここで、２５０LSB以上のスミア量の発生しているカラムは、カラム中の各画素出力は一律２５０LSB減算される。例えば、スミア量が２７０LSBの場合、２０LSBのスミアを残す画像となる。もともと、このような高いレベルのスミア値が発生しているところには超高輝度被写体の存在があるようなところであり、まれなシーンである。明るい白い筋が薄い白い筋になるという補正効果は得られ、多少我慢できるものである。

図３に、この関係を図示する。図３から明らかなように、スミア補正前のスミア量と補正後のスミア量の関係は、補正後のスミア量は補正前のスミア量がリミット値を超えるところから増加し、リミット値以下ではスミア量はゼロとなる。このように、スミアを補正し、スミア補正量を任意の値とすることで、実用上、スミアによる画質劣化のないといえる撮像装置を構成することができる。

ここで、リミット値を設けてクリップ処理を施す際に、RGラインとGBラインとでスミア値が異なる点に注目すると、図４に示すような関係になる。RGラインとGBラインでスミア量が異なる。このため、例えばリミッタ処理によりGBラインのスミアがクリップされRGラインのスミアがクリップされない時に色バランスが崩れ、色が変わってしまう問題点があった。

本実施形態では、この問題も鑑みたものであり、RGラインとGBラインとで補正量を変化させ、色変化を生じさせないようなスミア補正を行なうことである。補正量を決定する要素として、クリップ量の比によって補正量を変化させることが考えられる。例えば図４において垂直ラインであるRGライン、GBラインのスミア量が各々２４０LSB、３００LSBであり、リミッタ値が２５０LSBである場合、GBラインは５０LSBクリップされ、RGラインはクリップされない。このように、カラー配列によってスミア量が異なることにより色バランスが崩れ、色が変わってしまうことになる。

そこで、本実施形態において、GBラインのスミア量が２４０LSBの場合は、「２４０×（２５０÷３００）＝２００」のような処理を行い、RGラインのリミッタ値を２００LSBに変化させるようにする処理を施す。このような処理を施すことにより、色バランスを崩さないようなスミア補正を実現することができる。

また、先に従来例で述べた特許文献２でのスミア最大値でのクリップで問題とされた、撮像レンジが小さくなってしまい、スポット的なスミアを取り除くために画像全体が暗くなるという弊害は、本実施形態では問題とならない（図２に示される）。

スミアが多い場合には、従来例の最大スミアレベルでのクリップ方法では最大信号レベルでクリップするので、最終画像の出力レベルが最大スミア量で決まることとなり、最大出力レベルが高いほど低い値で飽和する。このために、このことも高いスミア時に画像が低いレベルで飽和して、あたかも暗くなることとなる。本実施形態では、前階調の一部を予めスミア補正領域として設定してそのスミア補正領域を無効階調とすることで、従来例にみられた最終画像での飽和の低減による最終画質の暗化は起こらない。

本実施形態に係る撮像装置では、スミア補正のための階調幅とそれに応じたスミア信号のリミット値を設定するようにしている。これにより、従来の問題である最終画像の階調劣化、暗化、高スミア高輝度領域の出力レベルの沈み込みによる異常画像の対策がなされるわけであるが、それでもダイナミックレンジは有効に使いたいという要望はある。

一方で、多少の階調性の劣化があっても、よりスミアに強いことが求められる使用条件もある。本実施形態では、外部にスミア補正の強さを設定する手段を持っており、カメラの使用者は撮りたいシーンによりスミア補正の強度を選択することができる。このスミア補正の強弱は、スミアライン信号のリミット値を、スミア補正強ではスミアライン信号のリミットレベルは高くされ、スミア補正弱ではスミアライン信号のリミットレベルは低くされる。

次に、本実施形態の撮像装置におけるスミア補正の処理手順を、図５を用いて説明する。なお、本処理は、図示しないメモリに記憶された補正処理プログラムをＣＰＵ１２が実行することにより行われる。

まず、固体撮像素子３から読み出された撮像信号がアナログフロントエンド５から入力され（ステップＳ１０１）その後、画像信号中のスミア成分のみが抜き出され、抜き出されたスミアライン信号が、スミアラインメモリ６に記憶される（ステップＳ１０２）。

次に、スミアラインメモリ６より出力されるスミアライン信号がリミット回路８において任意の値でリミットされる。すなわち、前述したように、リミット値制御機能１０や外部設定手段によりリミット回路８のリミット値がコントロールされる。そして、リミットされた信号はスミア減算器７に入力される（ステップＳ１０３）。

そして、スミア減算器７において、アナログフロントエンド５から入力されたスミア成分を含む各画像信号の各ラインの出力信号値から、リミットされたスミアラインメモリ６の値が減算され、処理が終了する（ステップＳ１０４）。

以上のように、スミア補正のためのスミアライン信号にリミットを目的に応じて加えるようにした。これにより、従来のスミア補正で指摘されたとおり撮像レンジが小さくなってしまい、スポット的なスミアを取り除くために画像全体が暗くなるという弊害を生じるということは無くなり、良好な画像信号が得られる。

そして、目的によっては、階調性、ノイズが多少悪化してもスミアに対する防御能力を高めるようにする使い方を選択することもできる。また、事実上、スミアリミット値で決まる補正階調分のゲインをかけることになるが、全カラム一律の値のゲインを加えることで、縦筋などの画質劣化を生じることはない。

（本発明に係る他の実施形態）
前述した本発明の実施形態における撮像装置を構成する各手段、並びに撮像方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図５に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の実施の形態による撮像処理ブロック図である。 実施形態における信号処理回路の入出力関係図である。 実施形態におけるスミア補正前と補正後のスミア量の関係図である。 実施形態のクリップを説明するための図である。 実施形態におけるスミア補正の処理の流れを説明するためのフローチャートである。

符号の説明

１ レンズ
２ 絞り
３ 固体撮像素子
４ 駆動回路
５ アナログフロントエンド回路
６ スミアラインメモリ
７ リミット回路
８ スミア減算器
９ AE制御
１０ リミット制御
１１ 画像信号処理回路
１２ ＣＰＵ

Claims (11)

1. 固体撮像素子を用いて撮像する撮像装置において、
   前記固体撮像素子から出力される撮像信号のスミアライン信号を検出して記憶する記憶手段と、
   前記記憶手段に記憶されているスミアライン信号をカラーフィルタの配列ごとに制限し、前記スミアライン信号の値を制御する信号値制御手段と、
   前記信号値制御手段から出力される出力データを基に前記カラーフィルタの配列に応じてスミア補正を行う補正手段とを有することを特徴とする撮像装置。
2. 前記撮像信号の階調の一部をスミア補正領域として予め確保しており、
   前記記憶手段は、前記スミア補正領域の撮像信号をスミアライン信号として記憶することを特徴とする請求項１に記載の撮像装置。
3. 前記スミア補正手段により行われるスミア補正の強さを設定する設定手段をさらに有し、
   前記信号値制御手段は、前記設定手段による設定に応じて前記スミアライン信号の値を制限することを特徴とする請求項１または２に記載の撮像装置。
4. 前記制限手段は、前記スミアライン信号の最大値に応じて、前記スミアライン信号の値を制限することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 前記補正手段は、前記制限手段によって得られた値に応じて、ラインごとの補正値をクリップ値で求めることを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
6. 固体撮像素子を用いて撮像する撮像装置の制御方法において、
   前記固体撮像素子から出力される撮像信号のスミアライン信号を検出してメモリに記憶する記憶工程と、
   前記メモリに記憶されているスミアライン信号をカラーフィルタの配列ごとに制限し、前記スミアライン信号の値を制御する信号値制御工程と、
   前記信号値制御工程において制御された出力データを基に前記カラーフィルタの配列に応じてスミア補正を行う補正工程とを有することを特徴とする撮像装置の制御方法。
7. 前記撮像信号の階調の一部をスミア補正領域として予め確保しており、
   前記記憶工程においては、前記スミア補正領域の撮像信号をスミアライン信号として前記メモリに記憶することを特徴とする請求項６に記載の撮像装置の制御方法。
8. 前記スミア補正工程は、スミア補正の強さを設定する設定工程をさらに有し、
   前記信号値制御工程は、前記設定工程において設定されたスミア補正の強さに応じて前記スミアライン信号の値を制限することを特徴とする請求項６または７に記載の撮像装置の制御方法。
9. 前記制限工程は、前記スミアライン信号の最大値に応じて、前記スミアライン信号の値を制限することを特徴とする請求項６〜８の何れか１項に記載の撮像装置の制御方法。
10. 前記補正工程は、前記制限工程によって得られた値に応じて、ラインごとの補正値をクリップ値で求めることを特徴とする請求項６〜９の何れか１項に記載の撮像装置の制御方法。
11. 前記補正工程により補正された撮像信号に基づいて露出制御を行う露出制御工程をさらに有することを特徴とする請求項６〜１０の何れか１項に記載の撮像装置の制御方法。

Images