JP2004260699A - 撮像装置、撮像方法、及びプログラム - Google Patents

Abstract

【課題】撮像の目的や条件に応じた適正なスミア補正を、画質の劣化を起こすことなく実行する。
【解決手段】固体撮像素子４から出力される撮像信号のスミアライン信号をスミアラインメモリ７に記憶し、リミット回路８でスミアライン信号の値を制限し、制限された値に基づき、撮像信号のスミア補正を行う。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子を用いて撮像する撮像装置、撮像方法、及びプログラムに関するものである。
【０００２】
【従来の技術】
近年、デジタルビデオムービーカメラ（ＤＶＣ）や、デジタルスチールカメラ（ＤＳＣ）が普及し出している。デジタル化による高画素処理が可能になったことから、ＤＳＣでは数百万画素サイズのものが普及している。また、ＤＶＣでは静止画もとれる機能を有した１００万画素を超える撮像素子搭載機が製品化されている。また、デジタル化されたことで、従来難しかった各種の補正が行われるようになっている。例えば、撮像素子のキズ、ノイズ補正などといった補正も、当たり前に行うことができるようになっている。
【０００３】
また、デジタル化、撮像素子の多画素化により、ＤＶＣが静止画撮影機能を持ち、一方でＤＳＣがムービー機能を持つようになり、両者の機能が近づいてきている。また、近年の携帯電話には、静止画、ムービー画像取り込み機能も附加されており、これら画像入力手段の発展はすさまじいものがある。
【０００４】
このような中で、かつて低減されてきた問題が、再び大きな問題となっているケースもある。そのような問題の一つとして、スミアがある。スミアは、固体撮像素子が世に出た頃より存在する問題である。スミアは、よく知られているように、信号電荷転送中に入り込む光が偽信号となり縦の線生じさせ、画質を劣化させるものである。スミア量が多い場合には、強い光源がなくても、例えば、輝度が高めの所の上下方向に隣接する暗部（例えば、上部は空、下部は山や建物といった、ごくありふれた風景）でも、暗部がフレアがかり、場合によっては赤っぽくなり、画質が著しく低下する。これは、暗部が転送される時に、高輝度部を転送するときに入射した光が漏れこみ、暗部に偽信号が附加されることにより生じるのである。
【０００５】
このようなスミアの対策として、センサの構造は、歴史的には、フレームトランスファー（ＦＴ）ＣＣＤの誕生、インターライントランスファー（ＩＴ）ＣＣＤの誕生、と移行した。そして、その後、ＩＴ−ＣＣＤが、スミアに強いことで、撮像素子の主流となるのである。これは、ＦＴ−ＣＣＤでは画素が信号蓄積機能と転送機能を併せ持つのに対して、ＩＴ−ＣＣＤでは信号蓄積機能のみのホトダイオード（ＰＤ）と転送機能のみの垂直転送ＣＣＤ（Ｖ−ＣＣＤ）の機能別構造を持つことによる。それでも、当初は、ＩＴ−ＣＣＤとＦＴ−ＣＣＤが互角に戦ったのは、ＩＴ−ＣＣＤにおいても、ＰＤから入射する光が、Ｖ−ＣＣＤに入り込むことでのスミアが存在したためである。これを減らすために、ＰＤからＶ−ＣＣＤへの光漏れが少なくなるようセンサの画素構造の絶え間ない改善が行われ、現在に至っている。
【０００６】
だが、改善を続けることで実用上問題のないレベルに抑えられていたスミアが、最近大きくなってきている。これは、特に、多画素のＤＳＣのＥＶＦ動画、ムービー動画で著しい。この現象の大きな要因としては、多画素化でセンサのセルサイズが著しく小さくなってきたことで、ＰＤ領域からＶ−ＣＣＤ領域への光漏れの防御性が低下したこと、また、ＤＣＳの場合、ＥＶＦ動画、ムービー動画の場合、画素間引きが行われることから読出し時間中の入射光量分がＤＶＣ用センサなどに比し、著しく増加していること等が挙げられる。ただし、セルサイズの小型化はＤＶＣにおいても、静止画取り込み機能を附加した製品では、画素数が百万画素を超える撮像素子が必要となる。したがって、ＤＳＣ同様に画素の小型化が必要になることでのスミア防御性の低下の問題があり、こちらでもスミア対策の必要性が高まっている。
【０００７】
このような状況（撮像素子のスミア増加とデジタル化による各種の欠点の補正能力の向上）から、従来より知られているスミア補正の実現化の希望が高くなっている。例えば、特開２００１−２４９４３号公報では、従来知られるスミア補正とその問題点の対策が提案されている。
【０００８】
従来のスミア補正は、縦方向のＰＤより多い段数の転送段数でＶ−ＣＣＤを動かして、ＰＤ信号の出てこないダミーラインに乗るスミアのみの情報（スミアラインデータ）で各信号ラインのスミア補正を行うというものである。この場合、ダミーラインが数ライン分できるように転送段数を数段多くし、複数のダミーラインを加算してライン数で割り算することでの平均化をすることで、スミアラインデータに含まれるノイズの軽減が図られる。ただし、ダミーライン分だけ読出し時間が増加するので、あまり多くすることはできない。また、ダミーラインは転送段数を増やす方法以外に撮像素子のＰＤ上部を遮光することで作られる場合もある。
【０００９】
以下の説明では、ダミーラインの作り方による種別分けはしない。また、スミアラインデータ、またはスミアライン信号といった場合には、平均化により１ライン分の情報化されたスミア補正用のデータをいうこととする。
【００１０】
【発明が解決しようとする課題】
上記する従来のスミア補正を整理して述べる。カラムでのスミア量は全ライン均一に現れるので、光の入らないダミーラインではスミア成分のみの出力が得られる。そこで、得られたスミアライン情報を各信号ラインの信号データから、同カラムのスミアデータを、それぞれ減算することでスミアのない画像に補正される。ここでの補正は、以下に示す式（１）のような減算になる。
Ｓｏｕｔ（ｉ，ｊ）＝Ｓｃｃｄ（ｉ，ｊ）−Ｓｍ（ｉ）・・・（１）
Ｓｏｕｔ：スミア補正後のデータ
Ｓｃｃｄ：スミア補正前のデータ
Ｓｍ ：スミアデータ
ｉ ：水平アドレス
ｊ ：垂直アドレス
しかしながら、この補正方法では、スミアの減算分だけ、飽和が低下することとなる。例えば、１０ｂｉｔＡＤでＣＣＤ出力をＡＤしたとする。このとき、スミアデータの値が５０であれば、１０２４−５０＝９７４で、信号は飽和することとなる。
【００１１】
この様子を、図７に図示する。図中の実線はスミアがない場合の入出力の関係を示し、点線はスミアがあるカラムの入出力、一点鎖線がスミア補正をした場合の入出力の関係である。ここで、スミア量とその補正でのダイナミックレンジ低下分は、同量となる。
【００１２】
この問題は、先ほど上げた特開２００１−２４９４３号公報においても指摘されている。これによって、スミア補正量が高いラインでは飽和輝度の高い部分がグレーとなり、違和感を抱く画像となると述べられているが、そのとおりである。だが、この提案では、その対策として、以下の式（２）に従う補正方法が述べられている。
Ｓｏｕｔ（ｉ，ｊ）＝（Ｓｃｃｄ（ｉ，ｊ）−Ｓｍ（ｉ））×Ｓａｔ／（Ｓａｔ−Ｓｍ（ｉ））
Ｓａｔ ：飽和値
そして、スミア量が大きくなるとオフセットをつけ、さらに大きくなると補正しないなどの工夫をして、飽和低下をなくし、補正が線形になるとしている。
【００１３】
しかしながら、この補正では、各カラムでのゲインが異なり、画像に縦線が生じて、極めて劣悪な画像になってしまうのである。さらに、スミア補正後の信号処理では、ガンマ補正がかけられること、特に、低輝度でゲインが高くなるので、本画像の暗部の縦縞はより強調されることとなる。
【００１４】
また、同提案では、スミアレベルによりゲインを変える方法、さらに高くなると補正をしない方法が提案されているが、同様にカラム毎の情報に基づき補正することから、カラム間のずれをより大きくするだけであり、新たな画質劣化を生じることとなる。
【００１５】
このような新たな画質劣化を防ぐには、同提案の実施例で好ましくないとする最大スミア値でのクリップが有効手段となってくるのであるが、そのままであれば、同提案での問題指摘である“当然撮像レンジが小さくなってしまい、スポット的なスミアを取り除くために画像全体が暗くなるという弊害を生じる”という問題が生じるのである。
【００１６】
本発明は上述した問題点を解決するためのものであり、撮像の目的や条件に応じた適正なスミア補正を、画質の劣化を起こすことなく実行できる撮像装置、撮像方法、及びプログラムを提供することを目的とする。
【００１７】
また、適正な露出制御を行った上でのスミア補正を、画質の劣化を起こすことなく実行できる撮像装置、撮像方法、及びプログラムを提供することを目的とする。
【００１８】
【課題を解決するための手段】
上記目的を達成するために、本発明の撮像装置は、固体撮像素子を用いて撮像する撮像装置であって、前記固体撮像素子から出力される撮像信号のスミアライン信号を記憶する記憶手段と、前記スミアライン信号の値を制限する制限手段と、前記制限手段により制限された値に基づき、前記撮像信号のスミア補正を行う補正手段と、を有することを特徴とする。
【００１９】
また、本発明の撮像装置は、固体撮像素子を用いて撮像する撮像装置であって、前記固体撮像素子から出力される撮像信号のスミアライン信号に基づき、前記撮像信号のスミア補正を行う補正手段と、前記補正手段により補正された撮像信号に基づき露出制御を行う制御手段と、を有することを特徴とする。
【００２０】
また、本発明の撮像方法は、固体撮像素子を用いて撮像する撮像方法であって、前記固体撮像素子から出力される撮像信号のスミアライン信号の値を制限する制限工程と、前記制限工程において制限された値に基づき、前記撮像信号のスミア補正を行う補正工程と、を有することを特徴とする。
【００２１】
また、本発明の撮像方法は、固体撮像素子を用いて撮像する撮像方法であって、前記固体撮像素子から出力される撮像信号のスミアライン信号に基づき、前記撮像信号のスミア補正を行う補正工程と、前記補正工程において補正された撮像信号に基づき露出制御を行う制御工程と、を有することを特徴とする。
【００２２】
また、本発明のプログラムは、固体撮像素子を用いて撮像する撮像方法を実行するためのプログラムであって、前記撮像方法は、前記固体撮像素子から出力される撮像信号のスミアライン信号の値を制限する制限工程と、前記制限工程において制限された値に基づき、前記撮像信号のスミア補正を行う補正工程と、を有することを特徴とする。
【００２３】
また、本発明のプログラムは、固体撮像素子を用いて撮像する撮像方法を実行するためのプログラムであって、前記撮像方法は、前記固体撮像素子から出力される撮像信号のスミアライン信号に基づき、前記撮像信号のスミア補正を行う補正工程と、前記補正工程において補正された撮像信号に基づき露出制御を行う制御工程と、を有することを特徴とする。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００２５】
１は被写体の光学像を結像するためのレンズ、４はレンズにより結像された光学像を電気信号に変換する固体撮像素子である。ここで、固体撮像素子４は、図示はされていないが、２次元的に配列された複数の光電変換回路と、複数の光電変換回路のそれぞれの信号電荷を列方向に転送する垂直転送回路と、垂直転送回路より転送された行方向のそれぞれの電荷を転送する水平転送回路と、水平転送回路により転送された電荷を出力するための出力アンプとにより構成されている。
【００２６】
２はレンズを通して固体撮像素子に入力結像される光学像の光量をコントロールするためのメカニカル絞り、３はメカニカル絞りを動かすための絞り駆動回路である。５は固体撮像素子の駆動のための固体撮像素子駆動回路で、通常、ＣＣＤを駆動するためのタイミングを作るタイミングジェネレータ（ＴＧ）回路と、ＴＧ回路で作られたタイミングパルスを、固体撮像素子をドライブするのに必要な電圧のパルスに変換する固体撮像素子ドライブ回路により構成される。６は固体撮像素子の出力をデジタル化するまでの前処理を行うアナログフロントエンド回路であり、通常、ＣＤＳ回路（相関二重サンプル：ＣＣＤのリセットノイズや１／ｆノイズをキャンセルするための回路）、ゲイン回路、ＡＤ変換回路により構成される。
【００２７】
７は固体撮像素子の垂直転送数を垂直の光に感応する有効画素分よりも多くすることで得られるダミーラインの信号を記憶するためのスミアラインメモリで、ダミーラインが複数ラインの場合、ダミーラインを水平の同アドレスのデータを加算して加算したライン分で割り算することでの平均化により、ランダムノイズ分を除去したうえで記憶されることとなる。以下では、ダミーラインの信号の１ライン、もしくはダミーラインの複数の平均化処理により１ライン化されてスミアラインメモリに記憶された信号をスミアライン信号、あるいはスミアラインデータと呼ぶ。なお、ダミーラインは、上記した固体撮像素子の感応画素分以上に転送することで作る以外に感応画素上部を遮光することで設ける遮光ラインであることもある（混乱を避けるために前者を空読み出しライン、後者を遮光ラインと呼ぶこととするが、どちらも含めて、ダミーラインと呼ぶ）。
【００２８】
８はスミアライン信号を任意の値でクリップするスミアライン信号リミット回路８であり、リミット値は外部より設定される。９はアナログフロントエンド６より出力される信号の各々のライン信号からリミット回路を経て出力されるスミアライン信号を減算するスミア減算器である。この回路を通すことで、スミア成分を含むアナログフロントエンド６の信号からスミア分を除去した信号を信号処理回路１０に入力することが可能となる。
【００２９】
１０はスミア成分のみを除去したスミア減算器９の出力信号を輝度と色（Ｒ−Ｙ、Ｂ−Ｙの色差信号か、Ｒ、Ｇ、Ｂ信号）の映像信号に処理する画像信号処理回路である。１１はカメラの制御をするＣＰＵで、ここでの機能として、固体撮像素子の電荷蓄積時間をコントロールする電子シャッター制御機能１２、メカニカル絞り値を制御することで固体撮像素子に入射する光量を制御する絞り制御機能１３、固体撮像素子の出力レベルを観測し、電子シャッター制御と絞り制御とを用いて、固体撮像装置への入射光量を適正値に保つＡＥ制御機能１４、スミアラインのなかの最大値の情報、あるいはアナログフロントエンド（ＡＦＥ）６の信号レベル、あるいはその双方を観測してスミアライン信号リミット回路８のリミットレベルを制御するスミアライン信号リミット値制御機能１５が含まれる。
【００３０】
このような構成の撮像装置で行われるスミア補正の基本は、従来例でも述べたが、（１）式である。すなわちスミア成分を撮像素子からの信号から減算するのである。さて、その場合の問題は、図７に示したように、ダイナミックレンジ（飽和）のスミアレベル分の低下である。
【００３１】
現在、市場に出ているＤＳＣのスミアによる劣化で問題とされるのは、ＤＶＣなどでは、部分的な超高輝度被写体（例えば、太陽、夜間の車のライトや飛行機のライトなど）で、上下に高いレベルの白い筋がでることであるといった程度であるのに比較して、空などの明部の下の暗部（たてものや通常の被写体部）が、例えば、フレアっぽくなり、赤っぽくなったりするように、通常輝度領域とも言える範疇で現れてフレア感のある、色バランス（黒バランス）のくずれた画像になることである。このような通常領域を劣化させるスミア分を補正するだけでも、ＥＶＦ、動画の画質はビデオ並になる。そして、通常域のスミア分だけを補正する場合のスミアのレベルはそれほど高くない。
【００３２】
このような通常域のスミアのみを補正することを目的にするのであれば、ＡＦＥの出力の全階調のうちの一部を予めスミア補正領域として確保するだけでよい。例えば、ＡＦＥが１０ｂｉｔ出力（１０２４ＬＳＢ、ただし、以下では説明の便宜上１０００ＬＳＢとして説明する）であれば、そのうちの１／４の２５０ＬＳＢをスミア補正領域として、画像信号処理回路１０では、７５０ＬＳＢまでの信号を使用して処理するものとする。もし７５０ＬＳＢで階調が不足であれば１１ｂｉｔＡＤ、あるいは１２ｂｉｔＡＤを用いればよい。画像信号処理が７５０ＬＳＢを飽和レベルとして処理をするように構成しておけば、スミアリミット回路８のリミット値は２５０ＬＳＢに設定でき、２５０ＬＳＢまでのスミアを補正することができる。２５０ＬＳＢまでスミア補正すれば、実使用上問題のなるシーンはかなり少なくなる。以上を図２に図示する。図２は画像信号処理回路１０の入出力関係を示すもので、実線はスミア補正無しの場合を示し、一点鎖線はスミア補正ありの場合を示す。
【００３３】
ここで２５０ＬＳＢ以上のスミア量の発生しているカラムは、カラム中の各画素出力は一律−２５０ＬＳＢされるが、例えば、もともとのスミア量が２７０ＬＳＢだとすれば、２０ＬＳＢのスミア量を残す画像となる。明るい白い筋が薄い白い筋になるという補正効果は残ることになる。もともとこのような、高いレベルのスミア値が発生しているところには、超高輝度被写体の存在があるようなところであり、これは、ＤＶＣや放送用カメラでも見るシーンではあるし、また、まれなシーンでもあり、多少我慢できるものである。図３に、この関係を説明する図を示す。スミア補正前のスミア量と補正後のスミア量の関係であり、補正後のスミア量は補正前のスミア量がリミット値を超えるところから増加し、リミット値以下ではスミア量はゼロとされる。
【００３４】
このように、スミア補正をし、スミア補正量を任意の値とすることで、実用上、スミアによる画質劣化のないといえる撮像装置を構成することができる。
【００３５】
そして、先に従来例で述べた特開２００１−２４９４３号公報でのスミア最大値でのクリップで問題とされた“当然撮像レンジが小さくなってしまい、スポット的なスミアを取り除くために画像全体が暗くなるという弊害を生じる”は、本発明に係る撮像装置では問題とはならない（それは図２に示される）。
【００３６】
なお、特開２００１−２４９４３号の上指摘の画面全体が暗くなることについては、スミア補正におけるダイナミックレンジの低下による画像のピーク値の低下以外の別の問題を含んでいると思われる。それは、自動露出制御（ＡＥ）が、スミア成分が含まれた信号で行われているであろうという推測に基づく。スミア信号を含む画像信号に基づきＡＥを行うと、スミア分込みでの画像信号の適正レベル化が行われる。スミア補正をしない画像が、フレアっぽくて、さらに諧調性が低くあるのは、ここにも起因するのである。そして、そのままスミア補正しない画像信号でＡＥすることでとれた画像信号をスミア補正するとスミア分が減じることで、全体的にスミア分だけの信号量の低下がみられ、適正露出レベルの画像よりも暗い画像となるのである（これは図７から読み取れる）。
【００３７】
さらに、スミアが多い場合には、従来例の最大スミアレベルでのクリップ方法では最大信号レベルでクリップするので最終画像の出力レベルが最大スミア量で決まることとなり、最大出力レベルが高いほど低い値で飽和するために、このことも高いスミア時に画像が低いレベルで飽和して、あたかも暗くなることとなる。本実施形態では、全諧調の一部を、予めスミア補正領域として設定して画像の無効諧調とすることで、従来例にみられた最終画像での飽和の低減による最終画質の暗化は起こらない。また、ＡＥはスミア補正した信号に基づきなされるので、スミア補正することでの露出制御のずれは起こらないようになる。したがって、スミア補正された画像は適正露出画像となる。このＡＥに関しての実施形態は、後に説明することとする。
【００３８】
さて、本発明に係る撮像装置では、スミア補正のための諧調幅とそれに応じたスミア信号のリミット値を設定することで、従来の問題である最終画像の諧調劣化、暗化、高スミア高輝度域の出力レベルの沈みこみによる異常画像の対策がなされるわけであるが、それでも、ダイナミックレンジは有効に使いたいという要望はある。一方で、多少の階調性の劣化があっても、よりスミアに対して強いことが求められる使用条件もある。
【００３９】
本実施形態では、外部にスミア補正の強さを設定する手段（図示せず。例えば撮像装置の筐体の背面に設定ボタン等を設ける。）を持つ。これにより、カメラの使用者は、撮りたいシーンによりスミア補正の強度を選択することができる。このスミア補正の強弱は、スミアライン信号のリミットレベルを変えることでなされ、スミア補正強ではスミアライン信号のリミットレベルは高くされ、スミア補正弱ではスミアライン信号のリミットレベルは低くされる。図４はこれを図示したもので、リミット値を変えることでのスミア抑圧の差が理解できる。実線がスミア補正通常（中）モード、点線がスミア補正弱モード、一点鎖線がスミア補正強モードの場合のスミア補正前後のスミア量の関係を図示したものである。
【００４０】
ここで、スミアライン信号のリミットレベルを変える場合、最終画像の補正部の飽和レンジを下げることのないように、信号処理回路の有効階調範囲をスミアライン信号のリミット値分減らすこととなるが、これは、実質カメラのゲインを変えることとなる（図２と以下説明から理解できる）。
【００４１】
先ほどの１０ｂｉｔＡ／Ｄの場合で、スミアライン信号リミット回路８の上限が２５０ＬＳＢ、画像処理の有効階調が７５０ＬＳＢをノーマルスミア補正モードとする。
【００４２】
強スミア補正モードは、例えば、スミアライン信号リミット回路８のリミット値が３５０ＬＳＢ、画像処理の有効階調が６５０ＬＳＢ、とするとカメラの感度は１．１５倍となる。上記のノーマルをＩＳＯ１００とすれば、強補正時にはＩＳＯ１１５にカメラは自動設定されることとなる。感度が上がると露出の適正量は異なることから、補正強モードでは、固体撮像素子への入射光量を感度増加分抑える方向の制御がなされる。ここで、この露出制御は絞り制御によりなされる。それは、電子シャッターで制御すると、固体撮像素子への単位時間あたりの入射光量が増加することから、スミアが増加することとなるためである。
【００４３】
弱スミア補正モードは、例えば、スミアライン信号リミット回路８のリミット値が１５０ＬＳＢ、画像処理の有効階調が８５０ＬＳＢ、とするとカメラの感度は０．８８倍となる。ノーマルでＩＳＯ１００であればＩＳＯ８８にカメラは自動設定されることとなる。感度がさがると露出の適正量は異なることから、弱スミア補正モードでは、固体撮像素子への入射光量を感度増加分上げる方向の制御がなされる。ここで、この露出制御は電子シャッター制御によりなされる。なぜなら、電子シャッターで制御すると、固体撮像素子への単位時間あたりの入射光量が低減することから、スミアが減少することの効果を得られることによる。
【００４４】
ここでの感度差程度であれば、実使用上、その差異はわからないレベルといえる。感度差分での露出・シャッター秒時の変化は少なく、ゲイン変化分でのノイズの差もこの程度であれば気にならないレベルといえるだろう。
【００４５】
このように感度差、諧調性の差が目立たない範囲を超えてもスミア補正効果を求めるモードとしてのスミア補正強強モードも設けられる。
【００４６】
例えば、スミアライン信号リミット回路のリミット値が５００ＬＳＢ、画像処理の有効階調が５００ＬＳＢ、とするとカメラの感度は１．５倍となる。ここまでくるとノイズの増加はそれなりに認識され、諧調性の劣化も認識されるレベルに近づく。さらにリミット値を高くして、ノイズの増加や諧調性の劣化が認識できるが、よりスミア補正の強度を高めたモードを提供することもできる。ノイズ、諧調性、スミアに対する強度のうちのどれを選ぶかの選択権を使用者に提供するのである。
【００４７】
このように外部設定モードを設ける一方で、本実施形態では、カメラの感度（ＩＳＯ感度）設定に応じてスミアライン信号リミット回路８のリミット値を変えることもなされる。
【００４８】
例えば、上記のＩＳＯ１００設定の場合に対してＩＳＯ２００の設定では、スミアライン信号リミット回路８のリミット値が６２５ＬＳＢ、画像処理の有効階調が３７５ＬＳＢ。画像信号処理は３７５ＬＳＢを最大レベルとして画像処理を行う。これは、画像処理信号回路１０の初段でスミア減算後のデータを×２のゲインとすることでなされる。通常のＩＳＯ感度設定では、ＡＦＥでアナログ状態で×２にするシステムとされることが多いが、デジタルでのゲインアップをするシステムもある。本実施形態の場合はデジタルゲインをかけると同等となる。そして、同時にスミア補正の強さも倍増するのである。
【００４９】
従来のようにＡＦＥでゲインアップすることでの高感度設定であれば、高い感度の場合、シャッター速度が速くなるようにされる頻度が増え、スミア量も上ることとなるが、本実施形態では、全諧調中のスミア補正領域を増やすことを同時に行うこととなるので、感度が上げられることでスミア量が増えるところを、同時にスミア補正強度があがることでＩＳＯ１００と同じ程度にスミアが低減されることになる。なお、階調性を落としすぎないように、ＡＦＥとデジタルゲインのトータルで感度をＩＳＯ２００とすることもなされる。特にＩＳＯ感度が高くなっていくと階調性の低下が目立つことになるので、デジタルゲインとアナログゲインの併用は高感度側でなされ、より高い高感ほどアナログゲインの比率が多くされる。
【００５０】
次に、本実施形態の撮像装置におけるスミア補正の処理手順を、図５を用いて説明する。なお、本処理手順は、ＣＰＵ１１が図示しないメモリに記憶された補正処理プログラムを実行することにより管理、制御されている。
【００５１】
まず、固体撮像素子から読み出された撮像信号がアナログフロントエンド６から入力され（Ｓ１０１）、その後、画像信号中のスミア成分のみが抜き出され、抜き出されたスミスミアライン信号が、スミアラインメモリ７に記憶される（Ｓ１０２）。
【００５２】
次に、リミット回路８において、スミアラインメモリ７より出力されるスミアライン信号を任意の値でリミットされる。すなわち、上述したように、リミット値制御機能１５や外部設定手段によりリミッタ回路８のリミット値をコントロールされる。そして、リミットされた信号はスミア減算器９に入力される（Ｓ１０３）。
【００５３】
そして、リミッタ回路９において、アナログフロントエンド６から入力されたスミア成分を含む各画像信号の各ラインの出力信号の値から、リミットされたスミアライン信号６の値が減算され、処理が終了する（Ｓ１０４）。
【００５４】
以上のように、スミア補正のためのスミアライン信号にリミットを目的に応じて加えることとで、従来のスミア補正で指摘された当然撮像レンジが小さくなってしまい、スポット的なスミアを取り除くために画像全体が暗くなるという弊害を生じるということは無くなり、良好な入力画像信号が得られる。
【００５５】
そして、目的によっては、諧調性、ノイズが多少悪化してもスミアに対する防御能力を高めての使い方も選択できる。また、事実上、スミアリミット値で決まる補正諧調分のゲインをかけることになるが、全カラム一律の値のゲインが加えることで、縦筋などの画質劣化も生じることはない。
【００５６】
（第２の実施形態）
第１の実施形態では、スミア抑圧の強弱のモード選択により、あるいはＩＳＯ設定による自動切り換えによりスミアライン信号のリミット値を変更する例を述べた。本実施形態では、スミアレベルを検知してスミアリミット値をそれに合わせて変える場合について述べる。
【００５７】
通常のカメラでは、ＥＶＦ時、動画時においては、被写体の条件を検知しながら、適正露出に保つＡＥ動作が行われる。そして、暗被写体になると自動的に感度アップがされる。このような感度のオートモードの動作同様に、スミアライン信号のスミアＭａｘ値を検知しながらスミアライン信号のリミット値を可変するものである。
【００５８】
ノーマル感度設定での撮影中には、スミアライン信号のＭａｘ値を検知して、スミアライン信号のリミット値を可変する。例えば、Ｍａｘスミア量が２５０ＬＳＢだとすればリミット値は２５０ＬＳＢ、Ｍａｘスミア値が２００であればリミット値は２００ＬＳＢとする。これに合わせて、画像信号処理回路１０では、リミット値が２５０ＬＳＢの場合は飽和値を７５０ＬＳＢ、リミット値が２００ＬＳＢの場合は飽和値を８００ＬＳＢとする。
【００５９】
これは実質、リミット値による飽和減少分のデジタルゲインを、画像信号処理回路１０の初段で行うことで実現される。
【００６０】
すなわち、
Ｓｉｉｎ（ｉ，ｊ）＝（Ｓｃｃｄ（ｉ，ｊ）−Ｓｍ（ｉ））×Ｓａｔ／（Ｓａｔ−Ｓｍ（Ｍａｘ））
Ｓｍ（Ｍａｘ） ：スミアラインデータの最大値
Ｓｉｉｎ（ｉ，ｊ）：画像信号処理回路初段出力
とされるわけである。
【００６１】
ここで、注意しなければならないのは、上記のようにゲインを可変することとなるので、ゲインの増減によりノイズ量が変化することである。また、階調性も変化することとなる。そこで、ノイズの増減や、階調性の変化が目立たないようなコントロールが必要とされる。
【００６２】
例としては、リミット可変巾＝ゲインの変動巾をノイズや階調の変化の目立たない範疇とする。例えば、先のスミア補正の強弱程度に抑えれば実害はないであろう。ただし、先の強弱で採用した巾では、高輝度被写体も想定した、割合大きな値になっている。実使用上高輝度被写体の入るシーンはかなり少ないことから、リミット値可変の上限をノーマルのリミット値か補正弱のリミット値くらいにしておいて、下限は制限無しとしてもよい。通常の撮影ではスミア量は少ないので、階調性を重視する。
【００６３】
スミア検知の敏感性をゆるやかにする。画面１コマ毎、あるいは数コマ程度の短い間のスミア値に対応させるのではなく、ある期間のスミアライン信号Ｍａｘの平均値に基づき制御する。平均をとる期間は適度な応答性となるような期間とされる。
【００６４】
このように、最大スミアレベルを検知しながらリミット値を可変することは、実使用時のスミアレベルに基づき、諧調性を有効に生かすことになる。すなわち、通常の撮影でのスミアレベルが固定リミット値よりも少ないのであれば、そのような条件で無駄になる諧調性を有効に最終画像に生かすことになるのである。スミアは高輝度部が入って多くなるのであるが、そのような高輝度が入る条件は、高い輝度になるほど頻度が少なくなる。固定のリミット値であれば、やや高めの高輝度部が入った場合にスミアが十分補正できるような値にリミット値が設定されることになり、実際にはそこまでのリミット値が必要な被写体の頻度は少ないというのが実情となる。可変リミット値の最大値を固定リミット値の場合の設定値としていけば、通常の撮影時は固定リミット値より低いリミット値、つまり固定リミット値の場合より高い諧調性の画質撮影ができ、かつ、固定リミット値なみのスミア補正強度を持つカメラとなるのである。
【００６５】
以上では、スミア補正信号であるスミアライン信号の最大値、すなわちスミア最大値を検知してのリミット値コントロールであったが、画像信号のレベルをみてリミット値を可変する方法もとられる。画像信号の最大値、あるいは信号レベルの分布から判断した任意のレベルをもってリミット値とするのである。これは、実画像の信号レベルからどの程度までの諧調領域をスミア補正にあてることが可能かを求めて、許される範囲のすべてをスミア補正に使おうというものである。
【００６６】
また、スミアの最大値と信号レベルの双方をみて、もっとも有効性のあるリミット値にされる方法もとられる。
【００６７】
（第３の実施形態）
本実施形態では、本発明に係る撮像装置でのＡＥ制御について詳細に述べる。上記第１の実施形態で少し述べたが、スミア分を含んだ画像信号からのＡＥでは、実被写体の本来の照度情報にスミア量が加算されることで、適正露光に対してアンダーとなる制御をしてしまい、暗い画像になってしまう。そして、スミア補正するとスミアによるフレア感がなくなり、より画像の暗いことが目立つこととなってしまう。
【００６８】
そこで、本発明に係る撮像装置のＡＥでは、スミア補正後の画像信号に基づきなされる。ＡＥのモードとしては、通常、画面全体の平均レベルに基づき行う平均測光、あるいは画面中央部（実際には中心部よりやや下にされる）の平均レベル、あるいは任意の特定領域の平均レベルに基づき行う部分測光などがある。これらのＡＥのための画像データとしては、本来スミア分を含まない方が好ましい。スミア分が含まれると、本来の被写体に対してスミア分だけ明るいと判断されることとなり、スミア分だけアンダー露光とされる。
【００６９】
このような弊害を除くために、本発明に係る撮像装置のＡＥは、スミア補正後で画像信号処理（ガンマ処理など）が行われる前の減算器９の出力が用いられる。こうすることで、スミアをほとんど含まない情報に基づきＡＥがされるので、スミア分によるアンダー露光が避けられる。
【００７０】
なお、上の方法と同等の方法ではあるが、リミット回路８の出力から、平均測光ならば全画面領域分のスミア量を、部分測光ならば部分測光のための領域分のスミア量の積分値を計算し（全画面の平均測光ならば、スミアライン信号の積分値に全ライン数を掛け算、部分測光であれば、スミアライン信号の該当する部分の信号の積分値に該当する部分のライン数を掛け算）、アナログフロントエンド６の出力の測光範囲データの積分値からこれを減算したデータに基づきなされるようにすることもできる。
【００７１】
しかしながら、減算器の出力で通常は、ほとんど問題にはならないが、スミアのリミット値を越える成分が減算器９では残ることとなるので、超高輝度物が被写体に入ると、リミット以上のスミア分による過制御が起こり暗い画像がとれることとなる。
【００７２】
そこで、ＡＥのために、リミットのかけられる前のスミアライン信号から平均測光ならば全画面領域分のスミア量を、部分測光ならば部分測光のための領域分のスミア量の積分値を計算し（全画面の平均測光ならば、スミアライン信号の積分値に全ライン数を掛け算、部分測光であれば、スミアライン信号の該当する部分の信号の積分値に該当する部分のライン数を掛け算）、アナログフロントエンド６の出力の測光範囲データの積分値からこれを減算したデータに基づきなされる。
【００７３】
次に、本実施形態の撮像装置におけるスミア補正の処理手順を、図６を用いて説明する。なお、本処理手順は、ＣＰＵ１１が図示しないメモリに記憶された補正処理プログラムを実行することにより管理、制御されている。
【００７４】
ステップＳ２０１〜Ｓ２０４であるが、これらステップは、第１の実施系形態のステップＳ１０１〜Ｓ１０４と同様の処理を行うステップであるので、ここでは説明を省略する。
【００７５】
ステップＳ２０５では、減算回路９から出力される補正された撮像信号に基づき露出制御が行われる。すなわち、スミア補正されない信号の任意の範囲の信号レベルの積分値から、スミアライン信号に基づいて計算される任意の範囲のスミアの積分値を減算した、スミアを含まない測光値に基づき、固体撮像素子の電子シャッターと該絞りとが制御される。
【００７６】
このようにスミア分を除去した画像の明るさ情報に基づくことで、スミア補正でスミアが無い、あるいは低減し、かつ適正露出である画像を得ることができる。
【００７７】
さらに、スミアライン信号の最大値を検知しながら、これに基づきＡＥ制御の仕方をコントロールすることで、よりスミアに対する防御性を有効ならしめる方法がある。これは、主に固定リミット値での場合に用いられる。
【００７８】
ＡＥ制御は、絞りか電子シャッターを動かすことでなされる。このとき、絞りを動かすか、電子シャッターの秒時を変えるのかを、スミアライン信号の最大値に基づき決定するのである。
【００７９】
いま、露出がオーバーである場合に、スミアライン信号の最大値がリミット値より十分に低いのであれば、スミア補正は十分な効果を得ることができる。すなわち、補正残りがない完全な補正ができるのである。したがって、スミアに対しては十分な余力があるということになるので、電子シャッターを短くすることでの制御を可能とする。
【００８０】
逆にスミアライン信号がリミット値より高い場合はスミア補正が完全でない、すなわち、補正残りが生じるので、これ以上のスミア増加は望ましくない。この場合は絞りによる光量制御を行うのである。なぜなら、電子シャッターを短くするとスミア量が増えるからである。絞り制御であれば、スミア量が増加することはない。実際には、露光量の変化量分のスミア低下が期待できるが、絞り制御の場合、露光量変化でのスミア低減分はそのまま加算されるが、電子シャッター制御の場合露光量減少以上にスミア分が増加することになる。この増加率は短秒時側ほど大きくなる。
【００８１】
以上のように、スミア最大値がリミット値以上なら絞り優先制御、リミット値以下なら電子シャッター優先とすることで、より有効に耐スミア能力を高めることができる。この場合、制御後にスミア最大値がリミット値を越えないようにスミア最大値がリミット値よりやや低いところを電子シャッター優先と絞り優先を切り替える閾値とするほうが安全な使い方にはなる。いずれにしろリミット値がひとつの基準とすることには違いない。
【００８２】
以上のように、スミア補正のためのスミアライン信号にリミットを目的に応じて加えることと、スミア分を除去した画像信号レベルをＡＥのための情報とすることで、従来のスミア補正で指摘された“当然撮像レンジが小さくなってしまい、スポット的なスミアを取り除くために画像全体が暗くなるという弊害を生じる”ということは無くなり、かつ適正露出である画像を得ることができる。
【００８３】
（他の実施形態）
上記各実施形態においては、デジタルカメラを例に本発明を説明したが、デジタルビデオムービーカメラやカメラ付き携帯端末等、他の装置やシステムにおいても本発明を適用可能であることは言うまでもない。
【００８４】
また、本発明に係る処理を、パーソナルコンピュータ等、情報処理装置において実行するソフトウェア処理として実現してもよいことは言うまでもない。
【００８５】
すなわち、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、完成されることは言うまでもない。
【００８６】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（Ｒ）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きもまれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵなどが処理を行って実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８８】
また、このような記憶媒体を含む装置をネットワーク上に配置させておき、記憶媒体に記憶されたプログラムをネットワークを介して所定の装置へダウンロードし、ダウンロードしたプログラムを実行することによっても、本発明の上記実施形態の機能が実現されることは言うまでもない。
【００８９】
【発明の効果】
以上説明してきたように、本発明によれば、撮像の目的や条件に応じた適正なスミア補正を、画質の劣化を起こすことなく実行できるという効果がある。
【００９０】
また、本発明によれば、適正な露出制御を行った上でのスミア補正を、画質の劣化を起こすことなく実行できるという効果がある。
【図面の簡単な説明】
【図１】本発明に係る撮像装置を説明するためのブロック図である。
【図２】第１の実施形態のスミア補正を説明するための図である。
【図３】第１の実施形態のスミア補正を説明するための図である。
【図４】第１の実施形態のスミア補正を説明するための図である。
【図５】第１の実施形態におけるスミア補正の処理の流れを説明するためのフローチャートである。
【図６】第３の実施形態におけるスミア補正の処理の流れを説明するためのフローチャートである。
【図７】従来のスミア補正を説明するための図である。
【符号の説明】
１ レンズ
２ メカニカル絞り
３ 絞り駆動回路
４ 固体撮像素子
５ 固体撮像素子駆動回路
６ アナログフロントエンド回路
７ スミアラインメモリ
８ スミアライン信号リミット回路
９ スミア減算器
１０ 画像信号処理回路
１１ ＣＰＵ
１２ 電子シャッター制御機能
１３ 絞り制御機能
１４ ＡＥ制御機能
１５ スミアライン信号リミット値制御機能

Claims (17)

1. 固体撮像素子を用いて撮像する撮像装置であって、
   前記固体撮像素子から出力される撮像信号のスミアライン信号を記憶する記憶手段と、
   前記スミアライン信号の値を制限する制限手段と、
   前記制限手段により制限された値に基づき、前記撮像信号のスミア補正を行う補正手段と、
   を有することを特徴とする撮像装置。
2. 前記撮像信号の階調の一部が、予めスミア補正領域として確保されており、前記記憶手段は前記スミア補正領域の撮像信号をスミアライン信号として記憶することを特徴とする請求項１に記載の撮像装置。
3. スミア補正の強さを設定する設定手段をさらに有し、
   前記制限手段は、前記設定手段による設定に応じて前記スミアライン信号の値を制限することを特徴とする請求項１または２に記載の撮像装置。
4. 前記制限手段は、撮像の感度設定に応じて前記スミアライン信号の値を制限することを特徴とする請求項１〜３のいずれかに記載の撮像装置。
5. 前記制限手段は、スミアライン信号の最大値に応じて、前記スミアライン信号の値を制限することを特徴とする請求項１に記載の撮像装置。
6. 前記制限手段は、前記撮像信号の値に応じて、前記スミアライン信号の値を制限することを特徴とする請求項１に記載の撮像装置。
7. 前記制限手段は、スミアライン信号の最大値と前記撮像信号の値の両方に応じて、前記スミアライン信号の値を制限することを特徴とする請求項１に記載の撮像装置。
8. 前記補正手段により補正された撮像信号に基づき露出制御を行う制御手段をさらに有することを特徴とする請求項１〜７のいずれかに記載の撮像装置。
9. 固体撮像素子を用いて撮像する撮像装置であって、
   前記固体撮像素子から出力される撮像信号のスミアライン信号に基づき、前記撮像信号のスミア補正を行う補正手段と、
   前記補正手段により補正された撮像信号に基づき露出制御を行う制御手段と、を有することを特徴とする撮像装置。
10. 前記露出制御手段は、前記固体撮像素子による撮像の際の電子シャッター制御、または絞り制御のいずれか少なくとも１つの制御を行うことを特徴とする請求項９に記載の撮像装置。
11. 前記露出制御手段は、前記入力された撮像信号の所定の測光範囲における撮像信号の積分値から、前記測光範囲のスミアレベル信号の積分値を減算した値に基づいて、露光制御を行うことを特徴とする請求項９または１０に記載の撮像装置。
12. 前記スミアライン信号の値を制限する制限手段をさらに有し、
    前記補正手段は、前記制限手段により制限された値に基づき、前記撮像信号のスミア補正を行うことを特徴とする請求項９に記載の撮像装置。
13. 前記露出制御手段は、スミアライン信号の最大値に基づき露出を制御するものであり、前記最大値が前記制限手段による制限値よりも小さい場合は電子シャッターによる露出制御を行い、前記最大値が前記制限値よりも大きい場合は絞りによる露出制御を行うことを特徴とする請求項１２に記載の撮像装置。
14. 固体撮像素子を用いて撮像する撮像方法であって、
    前記固体撮像素子から出力される撮像信号のスミアライン信号の値を制限する制限工程と、
    前記制限工程において制限された値に基づき、前記撮像信号のスミア補正を行う補正工程と、
    を有することを特徴とする撮像方法。
15. 固体撮像素子を用いて撮像する撮像方法であって、
    前記固体撮像素子から出力される撮像信号のスミアライン信号に基づき、前記撮像信号のスミア補正を行う補正工程と、
    前記補正工程において補正された撮像信号に基づき露出制御を行う制御工程と、
    を有することを特徴とする撮像方法。
16. 固体撮像素子を用いて撮像する撮像方法を実行するためのプログラムであって、
    前記撮像方法は、
    前記固体撮像素子から出力される撮像信号のスミアライン信号の値を制限する制限工程と、
    前記制限工程において制限された値に基づき、前記撮像信号のスミア補正を行う補正工程と、
    を有することを特徴とするプログラム。
17. 固体撮像素子を用いて撮像する撮像方法を実行するためのプログラムであって、
    前記撮像方法は、
    前記固体撮像素子から出力される撮像信号のスミアライン信号に基づき、前記撮像信号のスミア補正を行う補正工程と、
    前記補正工程において補正された撮像信号に基づき露出制御を行う制御工程と、
    を有することを特徴とするプログラム。

Images