JP2007067701A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】ＯＢ部の信号を用いて画像有効部の画像信号を補正する場合に、その補正をローコストに且つ適切に行なえるようにする。
【解決手段】被写体像を光電変換する有効画素領域と遮光画素領域を有する撮像素子と、遮光画素領域の少なくとも２つの領域の出力信号の差分情報に基づいて、有効画素領域の出力信号に一定のオフセットを加算又は減算する演算部とを具備する。
【選択図】 図４

Description

本発明は、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子を用いた撮像装置における画質を向上させる技術に関するものである。

デジタルカメラやビデオカメラ等の撮像装置においては、撮像素子としてＣＣＤやＣＭＯＳイメージセンサを使用するのが一般的である。

このような撮像装置に用いられる撮像素子では、長時間の電荷蓄積を行なう撮影で、画像信号に対する暗電流の影響が無視できなくなることがよく知られている。信号中の暗電流成分は蓄積時間に比例するとともに、高温になるほど増大する。

一方、撮像素子の画素領域の周囲には撮像素子を駆動して信号を出力するための周辺回路が存在する。これら周辺回路は動作することによって発熱するため、撮像素子の温度には周辺ほど高くなる勾配が生じる。そのため、撮像素子の周辺の画素ほど温度が高くなり暗電流が大きくなる。

このような周辺回路発熱による暗電流の問題を解決する方法として、種々の提案がなされている（例えば、特許文献１）。
特開２００４−２２２０２１号公報

例えば、上記の特許文献１では、画像信号から暗電流成分を取り除く方法として、次のような方法をとっている。すなわち、画像有効部の各画素の暗電流値と遮光画素領域（オプティカルブラック部：以下ＯＢ部と呼ぶ）の暗電流値の関係をあらかじめ記憶しておく。そして、実際の撮影を行なったときのＯＢ部の暗電流値から画像有効部の各画素の暗電流値を予測し、その暗電流値を画像有効部の画素信号から差し引く。このようにすれば、暗電流成分を含んだ画像信号から暗電流成分のみが差し引かれるので、暗電流成分のない画像信号を得ることができる。

しかしながら、撮像装置として考えた場合、上記の特許文献１のようにＯＢ部の暗電流値と画像有効部の各画素の暗電流値の関係をあらかじめ記憶していては、記憶メモリを多く消費してしまい装置としてコストが増大するという問題がある。

また、既に述べたように周辺回路の発熱による温度勾配によって、撮像素子の暗電流特性には画面内の位置に依存したムラが生じることになる。周辺回路の熱の影響により、画素領域は周辺部ほど温度が高く暗電流も発生し易いため、画面中央部に比べて周辺部の画素の信号レベルが高くなってしまう。

図５（ａ）、（ｂ）はこの様子を示した図である。図５（ａ）は周辺回路の発熱がなく暗電流の画面周辺部での増加がほとんどない状態を示している。この状態では画面中央部の画素の信号レベルと画面周辺部の画素の信号レベルは略同じである。一方、図５（ｂ）は周辺回路の発熱により撮像素子の周辺画素で暗電流が増加した状態を示している。この状態では画面周辺部の画素の信号レベルが暗電流成分の増加のために高くなっている。

図５において、撮像素子の画面上部および左部には、それぞれ遮光画素部（ＯＢ部）である垂直ＯＢ部（以下ＶＯＢ部)と水平ＯＢ部（以下ＨＯＢ部)が設けられている。なお、遮光画素部とは、光が入射しないように遮光部材で覆った画素部である。

ここで、撮像素子の暗電流成分が、出力アンプのオフセット分などにより、撮影毎に変動することが知られている。この対策として、撮像素子内に設けられている遮光画素部であるＯＢ部の出力信号が画像有効部の暗電流成分に一致するとみなして、画像有効部の画素信号からＯＢ部の出力信号を差し引いて、画素信号を補正する（暗電流成分を除去する）ことが行なわれている。

この様子を示したのが図６（ａ）、（ｂ）である。図６（ａ）は、撮像素子を露光していない状態での撮像素子出力のＨ射影データ（垂直方向に延びる画素列の１列毎の画素信号の積分値または平均値）である。この分布は、撮像素子を露光していない状態での画素信号の分布であるので、暗電流成分の分布と考えることができる。図６（ｂ）は、撮像素子を露光した場合の撮像素子出力のＨ射影データ（垂直方向に延びる画素列の１列毎の画素信号の積分値または平均値）である。

図６（ａ）では、ＨＯＢ部は周辺回路の発熱により暗電流レベルが高くなっているが、従来ではこの高くなった暗電流値ＳＤ１をそのまま画像有効部の暗電流値とみなしていた。そして、画像信号から暗電流成分を除去する場合には、図６（ｂ）に示すように、撮像素子を露光して得られた画素信号から暗電流値ＳＤ１を差し引いていた。すなわち、本来であれば、撮像素子を露光して得られた画素信号からは、図６（ａ）の暗電流値ＳＤ２を差し引くべきところを、過剰な暗電流値ＳＤ１を差し引いていた。このようにすると、暗電流成分が除去された画像信号である図６（ｂ）のＡで表わされる信号は、過剰な信号の差し引きが行なわれているために、画像有効部のほとんどの領域の出力レベルが沈み込んで（低下して）いることがわかる。この状態のカラー画像は一般的には緑色が被った色合いになり、部分的に色被りした画像よりも遥かに見劣りする状態である。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、ＯＢ部の信号を用いて画像有効部の画像信号を補正する場合に、その補正をローコストに且つ適切に行なえるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を光電変換する有効画素領域と遮光画素領域を有する撮像素子と、前記遮光画素領域の少なくとも２つの領域の出力信号の差分情報に基づいて、前記有効画素領域の出力信号に一定のオフセットを加算又は減算する演算手段と、を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、被写体像を光電変換する有効画素領域と遮光画素領域を有する撮像素子を備える撮像装置を制御する方法であって、前記遮光画素領域の少なくとも２つの領域の出力信号の差分情報に基づいて、前記有効画素領域の出力信号に一定のオフセットを加算又は減算する演算工程を具備することを特徴とする。

本発明によれば、ＯＢ部の信号を用いて画像有効部の画像信号を補正する場合に、その補正をローコストに且つ適切に行なうことが可能となる。

以下、本発明の好適な一実施形態について、添付図面を参照して詳細に説明する。

まず、本実施形態の概要について説明する。

図７は、本発明の一実施形態に係わる撮像装置における画像の補正方法を説明する図である。

同図は、図５（ａ）のＨＯＢ部（水平オプティカルブラック部）付近を拡大した暗電流成分のＨ射影データ（垂直方向に延びる画素列の１列毎の画素信号の積分値または平均値）である。ＨＯＢ部の異なる一部領域をａ部とｂ部とすると、前述のようにａ部とｂ部には傾斜がある。

また、画像有効部には温度勾配のない暗電流の安定した領域があるはずで、Ｈ射影データで水平になる領域ＨＳが存在する。このＨ射影データの水平領域ＨＳの延長線ＨＡとＨＯＢ部の傾斜領域の延長線ＨＢの交わる点（変曲点であり、画像有効領域の特定の座標）をｃ部とする。

ここで、暗電流の発生量によってｃ部の水平方向の座標が変化することがあるが、撮像装置の一般的な使用状態においてはｃ部の水平方向の座標はほとんど変わらないことが実験的にわかっている。

そこで、ｃ部の水平方向の座標が変化しないものとして、ａ部、ｂ部、ｃ部の水平方向の座標をあらかじめ所定のメモリに記憶しておく。そして、それらの座標から、画像有効部に対するＨＯＢ部の暗電流成分の平均増加量ｙを、次の式で求める。

ｙ＝｛（ave_a−ave_b）／（h_b−h_a）｝×h_c …（１）
ここで、
ave_a：Ｈ射影データのａ部の値
ave_b：Ｈ射影データのｂ部の値
h_a：Ｈ射影データのａ部の水平方向の座標
h_b：Ｈ射影データのｂ部の水平方向の座標
h_c：Ｈ射影データのｃ部の水平方向の座標−ＨＯＢ部のほぼ中央部の座標
ただし、ＨＯＢ部のほぼ中央部の座標を、（h_a+h_b）／２とする。

つまり、画像データの中でもＨＯＢ部のデータのみを使って、画像有効部に対するＨＯＢ部の暗電流成分の平均増加量をもとめることができる。また、この量は、実際に撮影された画像の画像有効部の信号レベルの沈み込んだ量（低下した量）とほぼ同じになるはずである。そのため、画像有効部の出力信号からＨＯＢ部の信号を減算して、暗電流成分を除去する場合に、減算に用いるＨＯＢ部の信号ＳＤ１から、画像有効部に対するＨＯＢ部の信号の平均増加量ｙを減算しておくことで、画像信号の過剰補正を防止できる。言い換えれば、画像有効部の信号から、補正されたＨＯＢ部の信号（ＳＤ１−ｙ）を差し引くことにより、画像信号から適正に暗電流成分を除去することができる。あるいは、画像有効部の信号からＨＯＢ部の信号ＳＤ１を差し引いた後に、その減算結果に一律にｙを加算するようにしてもよい。なお、上記のような処理を以下では暗電流ムラ補正と呼ぶことにする。

次に、本実施形態について具体的に説明する。

図１乃至図４は、本発明の一実施形態に係わる撮像装置の構成と動作を示した図である。

図１は、本実施形態の撮像装置（カメラ）の構成を示す図である。

図１において、１０１は被写体像を光電変換する撮像素子でありＣＣＤまたはＣＭＯＳセンサが使用される。１０２は撮像素子１０１からの信号をアナログ−デジタル変換するＡ／Ｄ変換器である。１０３はＤＳＰ（Digital Signal Proseccer）であり、Ａ／Ｄ変換器１０２からのデータに対して各種補正処理及び現像処理を行なう。またＤＳＰ１０３は、ＲＯＭ１０６、ＲＡＭ１０７等各種メモリの制御、記録媒体１０８への画像データの書き込み処理を行なう。

１０４は、撮像素子１０１、Ａ／Ｄ変換器１０２、ＤＳＰ１０３にクロック信号や制御信号を供給するタイミング発生回路であり、ＣＰＵ１０５により制御される。

１０５はＤＳＰ１０３、タイミング発生回路１０４の制御、及び測光・測距など不図示の各部を使ったカメラ機能の制御を行なうＣＰＵである。ＣＰＵ１０５には、各スイッチ１０９〜１１１、モードダイアル１１２が接続され、ＣＰＵ１０５はそれぞれの状態に応じた処理を実行する。

１０６はカメラの制御プログラムや前述のａ部、ｂ部、ｃ部の水平方向の座標を含む各種補正データを記憶するＲＯＭ、１０７はＤＳＰ１０３で処理される画像データや補正データを一時的に記憶するＲＡＭである。ＲＡＭ１０７はＲＯＭ１０６より高速のアクセスが可能である。

１０８は撮影された画像を保存するコンパクトフラッシュ（登録商標）カード等の記録媒体であり、不図示のコネクタを介してカメラと接続される。

１０９はカメラを起動させるための電源スイッチである。１１０は測光処理、測距処理等の動作開始を指示するシャッタースイッチＳＷ１である。１１１は不図示のクイックリターンミラー及びシャッターを駆動し、撮像素子１０１から読み出した信号をＡ／Ｄ変換器１０２、ＤＳＰ１０３を介して記録媒体１０８に書き込む一連の撮像動作の開始を指示するシャッタースイッチＳＷ２である。

図２は、図１に示すカメラの動作を示したフローチャートである。

まず、ステップＳ２０１でカメラを起動する電源ＳＷ１０９がＯＮされているか否か判定し、ＯＦＦならＳ２０１を繰り返す。ここで電源ＳＷ１０９がＯＮされていれば、ステップＳ２０２でモードダイアル１１２が撮影モードに設定されているか否かを判別する。撮影モードに設定されていれば続いてステップＳ２０４へ進み、その他のモードに設定されていればステップＳ２０３で選択されているモードに応じた処理を行ないＳ２０１へ戻る。

ステップＳ２０４では、シャッタースイッチ（ＳＷ１） １１０がＯＮしているか否かを判定する。ＳＷ１がＯＦＦしている場合、Ｓ２０４の処理を繰り返す。ＳＷ１がＯＮしている場合には、ステップＳ２０５に進む。

ステップＳ２０５では、不図示の測光制御部及び測距制御部を用いて、絞り値およびシャッター速度を決定する測光処理、撮影レンズの焦点を被写体に合わせる測距処理が行なわれる。

測光・測距処理が終了すると、続くステップＳ２０６でシャッタースイッチ（ＳＷ２）１１１の状態が判定される。ＳＷ２がＯＦＦしている場合にはＳ２０６を繰り返し、ＯＮしている場合にはステップＳ２０７で後述する撮影処理が実行される。

撮影処理が終了すると、ステップＳ２０８で後述する暗電流ムラ補正を行ない、ステップＳ２０９へ進み、撮影した画像データに対しＤＳＰ１０３で現像処理が行なわれる。続いてステップＳ２１０で、現像処理の終了した画像データに対し圧縮処理が行なわれ、ＲＡＭ１０７の空き領域に格納される。

ステップＳ２１１では、ＲＡＭ１０７に格納されている画像データが読み出され、記録媒体１０８への記録処理が実行される。記録処理終了後、ステップＳ２０１へ戻り次の撮影に備える。

次に、ステップＳ２０７の撮影処理の詳細について図３を用いて説明する。

まずステップＳ３０１で不図示のクイックリターンミラーをミラーアップ位置に移動させる。ステップＳ３０２では、前述の測光処理（ステップＳ２０５）で得られた測光データに基づいて、所定の絞り値まで絞りを駆動する。

ステップＳ３０３で撮像素子１０１の電荷クリア動作を行い、ステップＳ３０４で電荷蓄積を開始する。電荷蓄積開始後、ステップＳ３０５でシャッターを開き、撮像素子１０１の露光を開始する（ステップＳ３０６）。

その後、ステップＳ３０７で測光データに従って露光終了まで待ち、ステップＳ３０８でシャッターを閉じる。

ステップＳ３０９で開放の絞り値まで絞りを駆動し、ステップＳ３１０ではミラーダウン位置までミラーを駆動する。

ステップＳ３１１では設定した電荷蓄積時間が経過するまで待ち、撮像素子１０１の電荷蓄積を終了する（ステップ３１２）。

最後にステップＳ３１３で撮像素子１０１の信号が読み出され、一連の処理を終了してメインの処理へ復帰する。

次に、ステップＳ２０８の暗電流ムラ補正の詳細について図４を用いて説明する。

まずステップＳ４０１で、読み出された撮像信号のうちＨＯＢ部に相当する領域の水平射像データ（垂直方向に延びる画素列の１列毎の画素信号の積分値または平均値）を作成し、ステップＳ４０２でave_a、ave_bを算出する。

ステップ４０３では、式（１）で説明したように、補正量を算出するためにあらかじめ記憶しておいたａ部、ｂ部、ｃ部の水平方向の座標を用いて、次のようにｙの値を算出する。

ｙ＝｛（ave_a−ave_b）／（h_b−h_a）｝×h_c
ステップＳ４０４では、算出された補正値ｙが所定のレベルｍより大きいかどうかを判定する。補正値ｙの値がｍより小さければ暗電流の傾斜がほとんどなく、前述した水平ＯＢ部（ＨＯＢ部）の信号レベルであるＳＤ１の値を補正する必要がないものとして、補正を行わずに終了する。補正値ｙが所定のレベルｍより大きければ、ステップＳ４０５で、前述した水平ＯＢ部の信号レベルであるＳＤ１からｙを減算し、画像有効部の信号から、（ＳＤ１−ｙ）を差し引くことにより、暗電流ムラ補正を行い、終了する。

ステップＳ４０４で行っている判定について更に詳しく説明すると、ステップＳ４０２で求めたave_a、ave_bはＨＯＢ部のわずかな傾斜を求めているので、多少誤差が大きくなる。そのため、ある程度信頼性のある大きな値になったときのみ補正するようにしている。

その後、画像有効部の信号から、ＳＤ１（ステップＳ４０４でｙ≦ｍの場合）又はＳＤ１−ｙ（ステップＳ４０４でｙ＞ｍの場合）の値を差し引いて、画像信号からの暗電流成分の除去を行なう。

（他の実施形態）
上記のステップＳ４０４では、補正値ｙについて判定しているが、（ave_a−ave_b）の値が所定の値よりも大きいか小さいかを判定しても良い。

また、ステップＳ４０５では、補正値ｙをそのまま水平ＯＢ部の信号レベルであるＳＤ１の値から減算しているが、補正値ｙに所定の係数ｋを掛けた値を減算するようにしても良い。

また、ステップＳ４０１〜Ｓ４０２では、水平ＯＢ部のＨ射影データからave_a、ave_bを求めているが、図８のように２つの一定領域の平均値から求めるようにすると、精度良く補正値を算出することができる。

また、更に図９のように、２つの一定領域の平均値であってその一部がオーバーラップした領域からave_a、ave_bを求めれば、更に精度の良い補正値を算出できる。

また、上記の実施形態では、横方向に配置された一部領域ａ部及びｂ部を左部のＨＯＢ部に設けるように説明したが、上下方向に配置された一部領域ａ部及びｂ部を上部のＶＯＢ部に設けるようにしてもよい。また、ａ部、ｂ部、ｃ部が斜めに配置されていてもよい。

以上説明したように、上記の実施形態によれば、水平ＯＢ部の信号レベルから画像有効部の暗電流レベルを精度よく求めることが可能となる。

また、画像有効部の暗電流レベルを簡単な演算により求められるので、大きなメモリ容量を必要とすることもなく、装置のローコスト化を図ることができる。

本発明の一実施形態に係わる撮像装置（カメラ）の構成を示す図である。 図１に示す撮像装置の動作を示したフローチャートである。 本発明の一実施形態における撮像処理を示すフローチャートである。 本発明の一実施形態における暗電流ムラ補正を示すフローチャートである。 暗電流ムラを説明する図である。 暗電流ムラによる画像劣化を説明する図である。 本発明の一実施形態における暗電流ムラ補正を説明する図である。 暗電流ムラ補正の変形例を示す図である。 暗電流ムラ補正の他の変形例を示す図である。

符号の説明

１０１ 撮像素子
１０２ Ａ／Ｄ変換器
１０３ ＤＳＰ
１０４ タイミング発生回路
１０５ ＣＰＵ
１０６ ＲＯＭ
１０７ ＲＡＭ
１０８ 記録媒体
１０９，１１０，１１１ スイッチ
１１２ モードダイアル

Claims (12)

1. 被写体像を光電変換する有効画素領域と遮光画素領域を有する撮像素子と、
   前記遮光画素領域の少なくとも２つの領域の出力信号の差分情報に基づいて、前記有効画素領域の出力信号に一定のオフセットを加算又は減算する演算手段と、
   を具備することを特徴とする撮像装置。
2. 前記遮光画素領域の少なくとも２つの領域の座標情報を記憶する記憶手段をさらに具備し、前記演算手段は、前記２つの領域の出力信号の差分情報と前記座標情報とから得られる前記遮光画素領域の出力信号の傾斜量に基づいて、前記有効画素領域の出力信号に前記一定のオフセットを加算又は減算することを特徴とする請求項１に記載の撮像装置。
3. 前記記憶手段は、前記有効画素領域の特定の座標をさらに記憶し、前記演算手段は、前記２つの領域の出力信号の差分情報と、前記２つの領域の座標情報と、前記有効画素領域の特定の座標情報とに基づいて、前記有効画素領域の出力信号に対するオフセット量を算出することを特徴とする請求項２に記載の撮像装置。
4. 前記演算手段は、算出された前記オフセット量に所定の係数を掛けた値に基づいて、前記有効画素領域の出力信号に前記一定のオフセットを加算又は減算することを特徴とする請求項３に記載の撮像装置。
5. 前記演算手段は、算出された前記オフセット量が所定値よりも大きい場合に、前記有効画素領域の出力信号に前記一定のオフセットを加算又は減算することを特徴とする請求項３に記載の撮像装置。
6. 前記遮光画素領域の少なくとも２つの領域は、前記有効画素領域の方向に並ぶように配置されるとともに、前記有効画素領域の方向に所定の幅を持つ領域であることを特徴とする請求項１に記載の撮像装置。
7. 前記遮光画素領域の少なくとも２つの領域は、一部の領域がオーバーラップしていることを特徴とする請求項６に記載の撮像装置。
8. 被写体像を光電変換する有効画素領域と遮光画素領域を有する撮像素子を備える撮像装置を制御する方法であって、
   前記遮光画素領域の少なくとも２つの領域の出力信号の差分情報に基づいて、前記有効画素領域の出力信号に一定のオフセットを加算又は減算する演算工程を具備することを特徴とする撮像装置の制御方法。
9. 前記遮光画素領域の少なくとも２つの領域の座標情報を記憶する記憶工程をさらに具備し、前記演算工程では、前記２つの領域の出力信号の差分情報と前記座標情報とから得られる前記遮光画素領域の出力信号の傾斜量に基づいて、前記有効画素領域の出力信号に前記一定のオフセットを加算又は減算することを特徴とする請求項８に記載の撮像装置の制御方法。
10. 前記記憶工程では、前記有効画素領域の特定の座標をさらに記憶し、前記演算工程では、前記２つの領域の出力信号の差分情報と、前記２つの領域の座標情報と、前記有効画素領域の特定の座標情報とに基づいて、前記有効画素領域の出力信号に対するオフセット量を算出することを特徴とする請求項９に記載の撮像装置の制御方法。
11. 前記演算工程では、演算された前記遮光画素領域と前記有効画素領域の出力信号の差に所定の係数を掛けた値に基づいて、前記有効画素領域の出力信号に前記一定のオフセットを加算又は減算することを特徴とする請求項１０に記載の撮像装置の制御方法。
12. 前記演算工程では、演算された前記遮光画素領域と前記有効画素領域の出力信号の差が所定値よりも大きい場合に、前記有効画素領域の出力信号に前記一定のオフセットを加算又は減算することを特徴とする請求項１０に記載の撮像装置の制御方法。

Images