JP2006229443A - 画像処理装置、デジタルカメラおよびオプティカルブラック補正方法。 - Google Patents

Abstract

【課題】
ラインメモリを使用せずにライン単位でＣＣＤのオプティカルブラック補正を行う画像処理装置、デジタルカメラおよびオプティカルブラック補正方法を提供する。
【解決手段】
ＣＣＤ１１の領域は実行領域Ｒ０と、水平前ＯＰＢ領域ＲＬ、水平後ＯＰＢ領域ＲＲからなる。一旦ＯＰＢ補正部１６を経由すると水平前ＯＰＢ領域ＲＬで補正された実効画素Ｒ１が得られ、画像メモリ１９を介して左右反転することにより水平後ＯＰＢ領域ＲＲが先行する画素配置となって、２回目にＯＰＢ補正部１６を経由することにより水平後ＯＰＢ領域で補正された実効画素Ｒ２が得られる。すなわち、画像信号は水平前ＯＰＢを使用して１回ＯＰＢ補正がなされ、次に左右反転して水平後ＯＰＢを使用した２回目のＯＰＢ補正がなされる。
【選択図】図２

Description

本発明はＣＣＤなどのオプティカルブラック領域を備えた撮像素子のオプティカルブラック補正を行う画像処理装置およびそれを用いたデジタルカメラ並びにオプティカルブラック補正方法に関する。

ＣＣＤでは、光が入射しない状態でも暗電流といわれる熱的に発生するＣＣＤ出力電圧（ノイズ）が存在する。暗電流は８°上昇時に約２倍になると言われている。そこで一般的にＣＣＤには暗電流補正用の画素（光学的黒画素＝オプティカルブラック）が有効画素の外に設けてあり、暗電流を除去するためのオプティカルブラック補正回路により有効画素の信号と差分をとることで暗電流の直流分を除去するようにしている。

ＣＣＤのオプティカルブラック補正方法については例えば特開平９−３２６９６２号（特許文献１参照）に示されている。

すなわち、特許文献１記載の技術では、映像の黒レベルを一定値にクランプするためにＣＣＤ受光領域外に設けられたオプティカルブラックの信号値を積算して平均値を求め、その平均値とその平均値と黒レベルの所定値との差を求めて補正量とし、受光領域の出力からこの補正量を減算する補正処理を行っている。
特開平１１−３２６９６２号

特許文献１記載の技術は、Ｄ−ＲＡＭ、オプティカルブラック（ＯＢ）検出部、補正部から構成されており、デジタル信号に変換したＣＣＤの出力信号をＤ−ＲＡＭに記憶させるとともに、これと平行してオプティカルブラックの検出と平均値演算を行い、この平均値と黒レベルの所定値との差値を使用してＤ−ＲＡＭに記憶された１フィールド分の信号を読み出し補正していた。従ってフィールド毎の補正であるので、ライン単位で補正斑が発生するという課題があった。また、ＣＣＤから送られてきた信号を１フィールド分蓄積し、それを補正時に再度読み出さなければならない為、処理に時間がかかり、動画撮影時のように高速な処理を必要とする場合は、オプティカルブラックの補正自体ができなくなる可能性があるという課題があった。

この発明は上記事情に鑑みてなされたもので、ラインメモリを使用せずに、画像メモリの再帰読み出し（再帰＝使い回し、自分自身を読み出すという意味）を利用して、水平前オプティカルブラック領域と水平後オプティカルブラック領域の値を用いてライン単位でオプティカルブラック補正できるようにすることを目的とする。

上記目的を達成するため、請求項１記載の発明では、水平方向の両側にオプティカルブラック領域を有し、撮像画像の画像信号を出力する撮像素子と、画像メモリとを備え、該撮像素子のオプティカルブラック補正を行う画像処理装置において、ライン単位で水平方向のオプティカルブラック領域を用いて実効画素のオプティカルブラックを補正するオプティカルブラック補正手段と、このオプティカルブラック補正手段により補正された画像データを前記画像メモリに書き込む書き込み手段と、前記画像メモリから左右反転読み出しを行う読み出し手段と、前記撮像素子からの画像信号および前記読み出し手段により前記画像メモリから読み出された画像信号とを切り替えて前記オプティカルブラック補正手段に供給するセレクタと、を備えたことを特徴とする画像処理装置を提供するものである。

これにより、ラインメモリを使用せずに、ライン単位でオプティカルブラック補正をすることができるとともに、１つの補正回路で水平方向左側と右側のオプティカルブラック補正を行うことができる。

また、請求項２記載の発明では、水平方向の両側にオプティカルブラック領域を有し、撮像画像の画像信号を出力する撮像素子と、画像メモリと、ライン単位で水平方向のオプティカルブラック領域を用いて実効画素のオプティカルブラック補正を行うオプティカルブラック補正手段と、このオプティカルブラック補正手段により補正された画像データを前記画像メモリに書き込む書き込み手段と、前記画像メモリから左右反転読み出しを行う読み出し手段と、前記撮像素子からの画像信号および前記読み出し手段により前記画像メモリから読み出された画像信号とを切り替えて前記オプティカルブラック補正手段に供給するセレクタと、を備えたことを特徴とするデジタルカメラを提供するものである。

これにより、ライン単位でオプティカルブラック補正ができるので補正斑が発生を抑えたデジタルカメラを提供することができる。

また、請求項３記載の発明では、実効画素の水平方向左側と右側にそれぞれオプティカルブラック領域を有する撮像素子のオプティカルブラック補正方法において、前記水平方向左側のオプティカルブラックで実効画素のオプティカルブラック補正処理を行う第１の補正工程と、前記第１の補正工程で得られた画像データをメモリに記憶し、左右反転して読み出す工程と、前記左右反転して読み出された画像データを前記水平方向右側のオプティカルブラックで実効画素のオプティカルブラック補正処理を行う第２の補正工程と、
を有することを特徴とするオプティカルブラック補正方法を提供するものである。

これにより、ラインメモリを使用せずに、水平方向左側のオプティカルブラック領域と水平方向右側のオプティカルブラック領域の値を用いてライン単位でオプティカルブラック補正を行うことができる。

また、請求項４記載の発明では、前記第１の補正工程では前記水平方向左側のオプティカルブラックの平均値を算出し、その１／２の値を用いて続いて入力される実効画素のオプティカルブラック補正処理を行うことを特徴とする請求項３記載のオプティカルブラック補正方法を提供するものである。

これにより、ラインメモリを使用せずに、同一ライン上に存在する水平前オプティカルブラックをそのラインの実効画素の補正値として扱えるという利点がある。

また、請求項５記載の発明では、前記第２の補正工程では前記水平方向右側のオプティカルブラックの平均値を算出し、その１／２の値を用いて続いて入力される実効画素のオプティカルブラック補正処理を行うことを特徴とする請求項３記載のオプティカルブラック補正方法を提供するものである。

これにより、ラインメモリを使用せずに、同一ライン上に存在する水平後オプティカルブラックをそのラインの実効画素の補正値として扱えるという利点がある。

また、請求項６記載の発明では、実効画素の水平方向前と水平方向後にそれぞれオプティカルブラック領域を有する撮像素子のオプティカルブラック補正方法において、前記水平方向前のオプティカルブラックで実効画素のオプティカルブラック補正処理を行う第１の補正工程と、前記第１の補正工程で得られた画像データをメモリに記憶し、左右反転して読み出す工程と、前記左右反転して読み出された画像データを前記水平方向後のオプティカルブラックで実効画素のオプティカルブラック補正処理を行う第２の補正工程と、を有し、前記第１の補正工程では前記水平方向前のオプティカルブラックの平均値を算出し、その値を用いて続いて入力される実効画素のオプティカルブラック補正処理を行い、前記第２の補正工程では前記水平方向後のオプティカルブラックの平均値を算出し、その値を用いて続いて入力される実効画素のオプティカルブラック補正処理を行うことを特徴とするオプティカルブラック補正方法を提供するものである。

これにより、ラインメモリを使用せずに、同一ライン上に存在する水平前オプティカルブラック、水平後オプティカルブラックの平均値をそのラインの実効画素の補正値として扱えるという利点がある。

また、請求項７記載の発明では、前記第１の補正工程の平均値と前記第２の補正工程の平均値は、それぞれその１／２ずつの値を用いて続いて入力される実効画素のオプティカルブラック補正処理を行うことを特徴とする請求項６記載のオプティカルブラック補正方法を提供するものである。

これにより、ラインメモリを使用せずに、同一ライン上に存在する水平前オプティカルブラック、水平後オプティカルブラックの平均値をそのラインの実効画素の補正値として扱えるという利点がある。

また、請求項８記載の発明では、前記第１の補正工程と第２の補正工程でオプティカルブラックの平均値の割合を変えたことを特徴とする６記載のオプティカルブラック補正方法を提供するものである。

これにより、ＣＣＤなど撮像素子の特性に合わせたオプティカルブラック補正を行うことができる。

また、請求項９記載の発明では、前記第２の補正工程を省略したことを特徴とする請求項３または６記載のオプティカルブラック補正方法を提供するものである。

これにより、画像メモリからの読み出しがないので動画像のような高速な処理を必要とする場合においてもライン単位のオプティカルブラック補正処理が可能である。

また、請求項１０記載の発明では、ライン単位で先行するオプティカルブラック領域を用いて実効画素のオプティカルブラック補正を行うオプティカルブラック補正手段と、このオプティカルブラック補正手段に撮像素子からの画像信号と、画像メモリに記憶されている画像信号とを切り替えて供給するセレクタと、を備えたことを特徴とする画像処理装置を提供するものである。

これにより、ラインメモリを使用せずに、同一ライン上に存在する水平前オプティカルブラック、水平後オプティカルブラックの平均値をそのラインの実効画素の補正値として扱えるという利点がある。

また、請求項１１記載の発明では、前記オプティカルブラック補正手段は、オプティカルブラック補正に採用するオプティカルブラック領域の位置を選択できることを特徴とする請求項１または１０いずれかに記載の画像処理装置を提供するものである。

これにより、オプティカルブラック領域の配置が異なるＣＣＤを採用することができる。

本発明によれば、ラインメモリを特別に設けなくてもフィールド単位やフレーム単位でライン毎のオプティカルブラック補正を行うことができる。

図１に本発明を適用した画像処理装置の概略ブロック図を示す。１１はＣＣＤ、１２は撮像信号を増幅するためのアンプ、１３は増幅された撮像信号をサンプルホールドしてデジタル信号に変換するＣＤＳ／ＡＤＣ（Correlatest Double Sampler）/(Analog Digital Converter)（以下、単にＡＤ変換器という）、１４はセレクタ、１５はオプティカルブラック（ＯＰＢ）検出部、１６はＯＰＢ補正部、１７はデータ転送部、１８はデジタル信号処理回路、１９は画像メモリである。２０は全体を制御するＣＰＵである。ＣＣＤ１１で撮像された画像はデジタル信号処理回路１８でＪＰＥＧなどの画像処理がなされ、画像メモリ１９に記録される。そして図示しないがメモリーカード等に保存される。

ＣＣＤ１１で撮影された画像信号は、アンプ１２で増幅され、ＡＤ変換器１３でデジタル信号に変換される。ここでは２重相関サンプリング方式（ＣＤＳ）を採用しているが特にＡＤ変換方式には係わらない。デジタルに変換された画像信号Ｓ１１はセレクタ１４、ＯＰＢ検出部１５、ＯＰＢ補正部１６、データ転送部１７、デジタル信号処理回路１８を介して画像メモリ１９に記憶される。セレクタ１４はＣＰＵ２０の制御に基づいて１回目の補正時にはＡＤ変換器１３からの画像信号Ｓ１１を選択し、２回目の補正時には画像メモリ１９から読み出した画像信号Ｓ１４を選択する。ＯＰＢ検出部１５はＣＣＤ１１の画素領域がＯＰＢ領域であるか実効画素領域であるかを識別する回路である。ＯＰＢ補正部１６では、後述するようにＯＰＢの平均値を算出し、その１／２を用いて、続いて入力される実効画素を補正する演算を行う。

一旦画像メモリ１９に記憶された画像信号（Ｓ１２）はＣＰＵ２０の制御により左右反転して読み出され（Ｓ１３）、前記データ転送部１７，セレクタ１４を介して前記ＯＰＢ検出部１５に入力され（Ｓ１４）、同様にＯＰＢ補正部１６、データ転送部１７、デジタル信号処理回路１８を介して画像メモリ１９に再記憶される。図２にオプティカルブラック処理の様子を模式的に示す。ＣＣＤ１１の領域は実効領域Ｒ０と、水平前ＯＰＢ領域ＲＬ、水平後ＯＰＢ領域ＲＲからなる。一旦ＯＰＢ補正部１６を経由すると水平前ＯＰＢ領域ＲＬで補正された実効画素Ｒ１が得られ、画像メモリ１９を介して左右反転することにより水平後ＯＰＢ領域ＲＲが先行する画素配置となって、２回目にＯＰＢ補正部１６を経由することにより水平後ＯＰＢ領域で補正された実効画素Ｒ２が得られる。

すなわち、画像信号は水平前ＯＰＢを使用して１回ＯＰＢ補正がなされ、次に左右反転して水平後ＯＰＢを使用した２回目のＯＰＢ補正がなされるわけである。

図３に水平前ＯＰＢを使用した１回目のＯＰＢ補正のタイミングチャートの概要を、図４に水平後ＯＰＢを使用した２回目のＯＰＢ補正のタイミングチャートの概要をそれぞれ示す。

図３に示すように、まず、水平前ＯＰＢの平均値を算出し、その１／２を用いて、続いて入力される実効画素を補正する。この補正演算方法は前述した特許文献１の方法など公知の手法を採用することができる。画像メモリ１９には、この補正された実効画素と水平後ＯＰＢが展開される。

２回目の補正は、図４に示すように、水平後ＯＰＢの平均値を算出し、その１／２を用いて続いて入力される実効画素を再度補正する。

このようにして補正された実効画素Ｒ２について、デジタル信号処理回路１８によりＪＰＥＧなどの信号処理を行って最終的な画像データの保存若しくは表示を行う。

以上説明したように、この実施の形態によれば、ライン毎のＯＰＢ補正をフィールド単位やフレーム単位で再帰的に行えるようにしたことにより、ラインメモリがなくても同一ライン上にある水平前ＯＰＢ、水平後ＯＰＢの平均値をそのラインの実効画素の補正値として扱えるという利点がある。

なお、上記実施の形態では、水平前ＯＰＢ、水平後ＯＰＢの各平均値を１／２にして２回の補正を行うとしたが、補正に使用する平均値の割合はそれぞれ任意でも良く、更には、水平前ＯＰＢによる補正の割合対水平後ＯＰＢによる補正の割合を１：０にして、２回目の補正を行わなくてもよい。この場合、画像メモリからの読み出しがないので動画像のような高速な処理を必要とする場合においてもライン単位のＯＰＢ補正処理が可能である。
（変形例）

図５は、本発明の画像処理装置をデジタルカメラに搭載したブロック図で、ＣＣＤ１１，アンプ１２，ＡＤ変換器１３は図１に示したものと同様で、１００が本発明の画像処理装置をＬＳＩとしてデジタルカメラに組み込んだものである。すなわち、ＡＤ変換器１３からオプティカルブラック補正されていない画像信号Ｓ１１が入力され、画像処理装置１００で他の画像処理とともにオプティカルブラック補正がなされ、ＣＰＵ２０の制御の下、表示部１０１に表示を行い、インターフェース１０２を介してメモリカード１０３に画像を記録する構成となっている。

なお、ＣＣＤ１１のオプティカルブラック領域は水平方向左側、右側だけでなく上側若しくは下側にも設けられている場合もあり、どの領域を用いてオプティカルブラック補正を行うかは画像処理装置１００によって適宜選択できる。水平方向左側、右側についても、全ラインについてオプティカルブラック補正を行ってもよいし、１ラインおきや一部分について行ってもよい。オプティカルブラック補正に使用する領域の選択は、ＯＰＢ検出部１５で識別しても良いし、モード切換などで選択できるようにしてもよいし、ＣＰＵ２０で設定できるようにしても良い。

本発明を適用した画像処理装置の概略ブロック図 オプティカルブラック補正処理の様子を模式的に示す状態図 水平前ＯＰＢを使用した１回目のＯＰＢ補正のタイミングチャート 水平後ＯＰＢを使用した２回目のＯＰＢ補正のタイミングチャート 本発明を適用したデジタルカメラのブロック図

符号の説明

１１ ＣＣＤ
１２ アンプ
１３ ＡＤ変換器
１４ セレクタ
１５ ＯＰＢ検出部
１６ ＯＰＢ補正部
１７ データ転送部
１８ デジタル信号処理回路
１９ 画像メモリ
２０ ＣＰＵ
Ｒ０ ＣＣＤの実効画素領域
ＲＬ ＣＣＤの水平前ＯＰＢ領域
ＲＲ ＣＣＤの水平後ＯＰＢ領域
Ｒ１ ＣＣＤの水平前ＯＰＢにより補正された実効画素領域
Ｒ２ ＣＣＤの水平後ＯＰＢにより補正された実効画素領域
１００ 画像処理装置
１０１ 表示部
１０２ インターフェース
１０３ メモリカード

Claims (11)

1. 水平方向の両側にオプティカルブラック領域を有し、撮像画像の画像信号を出力する撮像素子と、画像メモリとを備え、該撮像素子のオプティカルブラック補正を行う画像処理装置において、
   ライン単位で水平方向のオプティカルブラック領域を用いて実効画素のオプティカルブラックを補正するオプティカルブラック補正手段と、
   このオプティカルブラック補正手段により補正された画像データを前記画像メモリに書き込む書き込み手段と、
   前記画像メモリから左右反転読み出しを行う読み出し手段と、
   前記撮像素子からの画像信号および前記読み出し手段により前記画像メモリから読み出された画像信号とを切り替えて前記オプティカルブラック補正手段に供給するセレクタと、
   を備えたことを特徴とする画像処理装置。
2. 水平方向の両側にオプティカルブラック領域を有し、撮像画像の画像信号を出力する撮像素子と、
   画像メモリと、
   ライン単位で水平方向のオプティカルブラック領域を用いて実効画素のオプティカルブラック補正を行うオプティカルブラック補正手段と、
   このオプティカルブラック補正手段により補正された画像データを前記画像メモリに書き込む書き込み手段と、
   前記画像メモリから左右反転読み出しを行う読み出し手段と、
   前記撮像素子からの画像信号および前記読み出し手段により前記画像メモリから読み出された画像信号とを切り替えて前記オプティカルブラック補正手段に供給するセレクタと、
   を備えたことを特徴とするデジタルカメラ。
3. 実効画素の水平方向左側と右側にそれぞれオプティカルブラック領域を有する撮像素子のオプティカルブラック補正方法において、
   前記水平方向左側のオプティカルブラックで実効画素のオプティカルブラック補正処理を行う第１の補正工程と、
   前記第１の補正工程で得られた画像データをメモリに記憶し、左右反転して読み出す工程と、
   前記左右反転して読み出された画像データを前記水平方向右側のオプティカルブラックで実効画素のオプティカルブラック補正処理を行う第２の補正工程と、
   を有することを特徴とするオプティカルブラック補正方法。
4. 前記第１の補正工程では前記水平方向左側のオプティカルブラックの平均値を算出し、その１／２の値を用いて続いて入力される実効画素のオプティカルブラック補正処理を行うことを特徴とする請求項３記載のオプティカルブラック補正方法。
5. 前記第２の補正工程では前記水平方向右側のオプティカルブラックの平均値を算出し、その１／２の値を用いて続いて入力される実効画素のオプティカルブラック補正処理を行うことを特徴とする請求項３記載のオプティカルブラック補正方法。
6. 実効画素の水平方向前と水平方向後にそれぞれオプティカルブラック領域を有する撮像素子のオプティカルブラック補正方法において、
   前記水平方向前のオプティカルブラックで実効画素のオプティカルブラック補正処理を行う第１の補正工程と、
   前記第１の補正工程で得られた画像データをメモリに記憶し、左右反転して読み出す工程と、
   前記左右反転して読み出された画像データを前記水平方向後のオプティカルブラックで実効画素のオプティカルブラック補正処理を行う第２の補正工程と、
   を有し、
   前記第１の補正工程では前記水平方向前のオプティカルブラックの平均値を算出し、その値を用いて続いて入力される実効画素のオプティカルブラック補正処理を行い、
   前記第２の補正工程では前記水平方向後のオプティカルブラックの平均値を算出し、その値を用いて続いて入力される実効画素のオプティカルブラック補正処理を行うことを特徴とするオプティカルブラック補正方法。
7. 前記第１の補正工程の平均値と前記第２の補正工程の平均値は、それぞれその１／２ずつの値を用いて続いて入力される実効画素のオプティカルブラック補正処理を行うことを特徴とする請求項６記載のオプティカルブラック補正方法。
8. 前記第１の補正工程と第２の補正工程でオプティカルブラックの平均値の割合を変えたことを特徴とする請求項６記載のオプティカルブラック補正方法。
9. 前記第２の補正工程を省略したことを特徴とする請求項３または６記載のオプティカルブラック補正方法。
10. ライン単位で先行するオプティカルブラック領域を用いて実効画素のオプティカルブラック補正を行うオプティカルブラック補正手段と、
    このオプティカルブラック補正手段に撮像素子からの画像信号と、画像メモリに記憶されている画像信号とを切り替えて供給するセレクタと、
    を備えたことを特徴とする画像処理装置。
11. 前記オプティカルブラック補正手段は、オプティカルブラック補正に採用するオプティカルブラック領域の位置を選択できることを特徴とする請求項１または１０いずれかに記載の画像処理装置。

Images