JP2006165899A

JP2006165899A - 映像信号処理装置及び方法

Info

Publication number: JP2006165899A
Application number: JP2004353211A
Authority: JP
Inventors: Manabu Hara; 学原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-12-06
Filing date: 2004-12-06
Publication date: 2006-06-22
Anticipated expiration: 2024-12-06
Also published as: JP4457874B2

Abstract

【課題】撮像素子の欠陥画素を高精度に補正する。
【解決手段】欠陥画素補正回路１０は、複数の補正部１３，１４と、撮像素子の受光面上における欠陥画素の位置に応じて、第１の補正部１３又は第２の補正部１４のいずれか一方を選択するセレクタ１５とを備える。欠陥画素補正回路１０は、撮像素子の受光面を中心側領域と周縁側領域との２つの領域に分割し、欠陥画素の位置が中心側領域に位置する場合には、欠陥画素の各色のうち欠陥のある色とは異なる色の画素の値を参照した処理による欠陥画素の補正を行い、欠陥画素の位置が周縁側領域に位置する場合には、他の処理により欠陥画素の補正を行う。
【選択図】図２

Description

本発明は、撮像素子の欠陥画素に対応する位置の信号値を補正する画像信号処理装置及び欠陥画素補正方法に関するものである。

ＣＣＤ（Charge Coupled Device）を始めとする固体撮像素子には、その製造や実際の運用プロセスにおいて、一部の画素が正常に動作しなくなる場合がある。例えば、本来得られるべき信号レベルより大きな又は小さな信号レベルを出力する画素が発生したり、場合によっては常に一定のレベルを出力するといった画素が発生することがある。これら正常に動作をしない画素は欠陥画素と呼ばれる。欠陥画素の有無又はその数量は、画質の劣化に大きく起因している。

そのため、従来より、欠陥画素を目立たなくさせるための信号処理による欠陥補正方法が開発されてきた。

例えば、特許文献１には、欠陥画素の色とは異なる色信号を用いて、当該欠陥画素を補正する欠陥補正方法が提案されている。この方法は、多くの情報を用いて補間ができるとともに、欠陥画素と同位置の画素を利用して補間をするので、非常に効果的な方法である。

特開２００４−２２８９３１号公報

ところが、特許文献１に記載されている欠陥補正方法では、光学系の倍率色収差が無視できないような撮像装置では、撮像素子上の各色の像の空間位相が合致しないため、補正精度が低下してしまう。

図９は、レンズ１００の倍率色収差を示す概略図である。この図９に示すように、撮像面１０２上の光軸１０１から離れた位置では、長波長光線１０３と短波長光線１０４の結像位置がずれてしまう。このことから、光軸１０１から離れた撮像面１０２の欠陥画素に対して、他の色情報を参照して補間処理を行うと、誤差が大きくなってしまう。

本発明は、かかる問題を解決するものであり、撮像素子の欠陥画素に対応する位置の信号値を、高精度に補正することができる画像信号処理装置及び欠陥画素補正方法を提供することを目的とする。

本発明に係る画像信号処理装置は、撮像素子から出力された撮像信号が入力され、当該撮像素子の欠陥画素に対応する位置の値を補正する複数の欠陥補正手段と、撮像素子の受光面上における欠陥画素の位置に応じて、上記複数の欠陥補正手段のうちの一つを選択し、当該欠陥画素の補正を行わせる選択手段とを備え、上記選択手段は、撮像素子の受光面を中心側領域と周縁側領域との２つの領域に分割し、欠陥画素が中心側領域に位置する場合と、欠陥画素が周縁側領域に位置する場合とで欠陥補正手段を切り換えて、異なる処理で当該撮像素子の欠陥画素に対応する位置の値を補正させることを特徴とする。

本発明に係る欠陥画素補正方法は、撮像素子から出力された撮像信号に対して、当該撮像素子の欠陥画素に対応する位置の値を補正する欠陥画素補正方法において、撮像素子の受光面を中心側領域と周縁側領域との２つの領域に分割し、欠陥画素の位置が中心側領域に位置する場合には、欠陥画素の各色のうち欠陥のある色とは異なる色の画素の値を参照した補正処理アルゴリズムにより、撮像素子から出力された撮像信号に対して欠陥画素に対応する位置の値の補正をし、欠陥画素の位置が周縁側領域に位置する場合には、欠陥画素の位置が中心側領域に位置する場合とは異なる補正アルゴリズムにより、撮像素子から出力された撮像信号に対して欠陥画素に対応する位置の値の補正をすることを特徴とする。

本発明に係る画像信号処理装置及び欠陥画素補正方法では、撮像素子の受光面を中心側領域と周縁側領域との２つの領域に分割し、欠陥画素の位置が中心側領域に位置する場合には、欠陥画素の各色のうち欠陥のある色とは異なる色の画素の値を参照した処理による欠陥画素の補正を行い、欠陥画素の位置が周縁側領域に位置する場合には、他の処理により欠陥画素の補正を行う。

本発明に係る画像信号処理装置及び欠陥画素補正方法では、高精度に、撮像素子の欠陥画素に対応する位置の信号値を補正することができる。

以下、本発明が適用された電子式のビデオカメラ（以下、単にビデオカメラという。）について説明する。

ビデオカメラの構成
図１に、本発明が適用されたビデオカメラ１のブロック構成図を示す。

ビデオカメラ１は、図１に示すように、被写体からの反射光が入射されるレンズ光学系（以下レンズと略す）２と、レンズ２から入射された光を波長分離して赤色光、緑色光、青色光に分離する色分離光学系（以下プリズムと呼ぶ）３と、プリズム３により分離された赤色光の結像位置に対応して設けられた赤用イメージセンサ４Ｒと、プリズム３により分離された緑色光の結像位置に対応して設けられた緑用イメージセンサ４Ｇと、プリズム３により分離された青色光の結像位置に対応して設けられた青用イメージセンサ４Ｂとを備えている。

各色用のイメージセンサ４（４Ｒ，４Ｇ，４Ｂ）は、Ｃ−ＭＯＳイメージセンサやＣＣＤイメージセンサ等の固体撮像素子である。イメージセンサ４（４Ｒ，４Ｇ，４Ｂ）は、それぞれ、受光面にマトリクス状に配置された単位画素を有しており、各単位画素が照射された光を光電変換する。イメージセンサ４（４Ｒ，４Ｇ，４Ｂ）は、マトリクス状に配置された単位画素をスキャンして電気信号を読み出すことにより、画像信号を出力する。

また、ビデオカメラ１は、イメージセンサ４（４Ｒ，４Ｇ，４Ｂ）から出力された画像信号からノイズを除去するＣＤＳ（Correlated Double Sampling）回路５と、ＣＤＳ回路５から出力された画像信号のレベル調整を行うＡＧＣ（Automatic Gain Control）回路６と、ＡＧＣ回路６から出力された画像信号に対して高域ノイズを除去するＬＰＦ（Low Path Filter）回路７と、ＬＰＦ回路７から出力された画像信号に対してホワイトバランスを調整するホワイトバランス（ＷＢ）回路８と、ＷＢ回路８から出力された画像信号をデジタル信号に変換するＡＤ変換回路９とを備えている。

さらに、ビデオカメラ１は、ＡＤ変換回路９から出力されたデジタル化されている画像信号に対して、各色用のイメージセンサ４（４Ｒ，４Ｇ，４Ｂ）の欠陥画素に対応する位置の信号値を補正する欠陥画素補正回路１０を備えている。

ビデオカメラ１では、この欠陥画素補正回路１０が設けられていることにより、例えば、本来得られるべき信号レベルより大きな又は小さな信号レベルを出力していたり、常に一定のレベルを出力しているような欠陥画素がイメージセンサ４（４Ｒ，４Ｇ，４Ｂ）に存在していたりしても、その画素部分のノイズを目立たなくするようにし、画質の良い画像信号を生成することができる。

以下、さらに、この欠陥画素補正回路１０について、さらに詳細に説明をする。

欠陥画素補正回路
図２に、欠陥画素補正回路１０のブロック構成図を示す。

欠陥画素補正回路１０は、図２に示すように、アドレスカウンタ１１と、欠陥アドレス格納部１２と、第１の補正部１３と、第２の補正部１４と、セレクタ１５と、制御部１６とを備えている。

アドレスカウンタ１１には、映像信号の同期信号が入力される。アドレスカウンタ１１は、同期信号をカウントすることによって、入力された映像信号の画面内のおける画素アドレスを発生する。

欠陥アドレス格納部１２には、各イメージセンサ４（４Ｒ，４Ｇ，４Ｂ）の欠陥画素の位置を示すアドレス情報が格納されている。欠陥画素の位置を示すアドレス情報は、例えば、ビデオカメラ１の工場出荷時等に欠陥画素の検査を行い、そこで格納される。欠陥アドレス格納部１２は、ビデオカメラ１の動作時には、アドレスカウンタ１１から画素アドレスの情報が入力される。欠陥アドレス格納部１２は、アドレスカウンタ１１から発生された画素アドレスと、内部に格納している欠陥画素のアドレスとが一致したか否かを判断し、一致したタイミングで欠陥画素の位置である旨を示すフラグ（欠陥画素特定フラグ）を発生する。

第１の補正部１３及び第２の補正部１４は、ともに、イメージセンサ４から出力された映像信号が入力され、入力された映像信号に対して、イメージセンサ４の欠陥画素に対応する位置の値を補正する処理を行う回路である。第１の補正部１３及び第２の補正部１４には、ともに、映像信号、及び、欠陥画素の位置である旨を示す欠陥画素特定フラグが入力される。第１の補正部１３及び第２の補正部１４には、ともに、欠陥画素特定フラグの発生タイミングで、映像信号に対して欠陥補正処理を行う。

第１の補正部１３の欠陥画素の補正アルゴリズムは、次の通りである。

まず、第１の補正部１３は、欠陥画素と、欠陥画素に隣接する複数の隣接画素のＲ，Ｇ，Ｂの各色の値を保持する。続いて、第１の補正部１３は、欠陥画素の各色の値のうち欠陥のない無欠陥色の値と、各隣接画素の無欠陥色に対応した色の値との差分を算出する。例えば、Ｒに欠陥があるとすれば、欠陥画素のＧ（又はＢ）の値と、各隣接画素のＧ（又はＢ）の値との差を算出する。そして、第１の補正部１３は、各隣接画素との上記差分に基づき、欠陥画素と最も類似した１つの隣接画素を参照画素として特定し、特定した参照画素の値に基づき欠陥画素の欠陥のある欠陥色を補正する。

このように第１の補正部１３では、欠陥画素の各色のうち欠陥のある色とは異なる色の画素の値を参照して、欠陥の補正処理を行っている。

これに対して、第２の補正部１４は、第１の補正部１３による欠陥画素の補正アルゴリズムとは異なるアルゴリズムにより補正を行っている。例えば、第２の補正部１４は、欠陥画素の直前（左隣）の値を保持して欠陥画素の値として採用する方法（サンプリングホールド法）、欠陥前後の画素の値の平均値を採用する方法（前後平均法）、欠陥画素の色情報と、欠陥画素に隣接する隣接画素の色情報の差分を取ってエッジを検出し、その影響が少ないと思われる画素から補正を行う方法（エッジ検出法）を用いて、欠陥画素の補正を行う。

セレクタ１５には、第１の補正部１３から出力された映像信号、第２の補正部１４から出力された映像信号、及び、当該欠陥画素補正回路１０に入力されたそのままの映像信号の３つの信号が入力される。セレクタ１５は、制御部１６の制御に従って、３つの映像信号のうち１つ映像信号を選択して出力する。

制御部１６は、セレクタ１５の切換制御を行う。

制御部１６は、欠陥アドレス格納部１２から欠陥画素の位置である旨を示すフラグ（欠陥画素特定フラグ）が発生されたタイミングでは、欠陥補正を行っていない映像信号を選択する。反対に、制御部１６は、欠陥アドレス格納部１２から欠陥画素の位置である旨を示すフラグ（欠陥画素特定フラグ）が発生されたタイミングでは、第１の補正部１３又は第２の補正部１４のいずれか一方から出力された映像信号を選択する。

さらに、制御部１６は、欠陥画素特定フラグが発生されたタイミングでは、アドレスカウンタ１１の画素アドレスを参照してその欠陥画素の画面内の位置を判断し、その画面内の位置に応じて、第１の補正部１３又は第２の補正部１４のいずれか一方を選択している。

具体的には、図３に示すように、画面の中心部分の領域（中心領域）３１と、それ以外の画面の周縁部分の領域（周縁領域）３２とに分割し、欠陥画素が中心領域３１に位置した場合には第１の補正部１３を選択し、欠陥画素が周縁領域３２に位置した場合には第２の補正部１４を選択するようにしている。

以上の処理内容をフローチャートに示すと、図４のようになる。すなわち、制御部１６は、図４に示すように、入力された映像信号が欠陥画素であるか否かを判断し（ステップＳ１）、欠陥画素でなければ、補正をせずにそのまま入力された映像信号を出力する（ステップＳ１１）。欠陥画素であれば、続いて、その欠陥画素が中心領域３１内に位置しているか否かを判断する（ステップＳ２）。欠陥画素が中心領域３１に位置していれば、第１の補正部１３により補正された映像信号を出力する（ステップＳ１２）。欠陥画素が中心領域３１に位置していなければ、すなわち、欠陥画素が周縁領域３２に位置していれば、第２の補正部１４により補正された映像信号を出力する。

ここで、画面の中心領域３１の意味するところは、イメージセンサ４の受光面上における撮像光の光軸中心に近い部分に対応し、色収差が非常に小さい領域ということである。反対に、画面の周縁領域３２の意味するところは、イメージセンサ４の受光面上における撮像光の光軸中心から遠い部分に対応し、色収差が大きい領域ということである。

すなわち、第１の補正部１３の補正アルゴリズムでは、欠陥画素の各色のうち欠陥のある色とは異なる色の画素の値を参照して補正処理を行うことから、色収差が大きい場合、補正の精度が低くなる。そのため、欠陥画素補正回路１０では、高精度に補正することができる第１の補正部１３により原則的に欠陥画素の補正を行うが、第１の補正部１３では精度が低くなる画面周縁部分では、例外的に第２の補正部１４により補正を行うようにして、総合的に欠陥画素の補正精度を高くしている。

なお、画面の中心領域３１の形状は、図３に示したような矩形状であってもよいし、図５に示すように円状であってもよい。

また、第１の補正部１３と第２の補正部１４との２つの補正処理を切り替える構成としているが、本発明では、２つのアルゴリズムに限らず、３つや４つの補正部を切り替えるといったように複数の補正アルゴリズムを切り替えるようにしてもよい。

第１の補正部
つぎに、第１の補正部１３による処理内容について、更に詳細に説明をする。

図６は、第１の補正回路１３の機能ブロック図である。

第１の補正部１３は、色情報保持部２１と、差分算出部２２と、参照画素決定部２３と、補正演算部２４とから構成される。

色情報保持部２１は、欠陥アドレス格納部１２に保持された欠陥画素の位置や、欠陥が存在する色などの欠陥情報を参照して、欠陥画素と、それに隣接する欠陥のない隣接画素の、複数の種類の色情報を保持する。具体的には、図６のように、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）などの複数の色ごとに設けられたイメージセンサ４Ｒ、４Ｇ、４Ｂからの映像信号の値を、画素ごとに複数の種類の色情報として保持する。

図７は、保持された色情報の例を示す図である。

ここでは、簡単のため、色Ｇ０に欠陥のある欠陥画素０の左右（前後）・上方に隣接する隣接画素のみ示した。欠陥画素０と、欠陥画素に隣接する画素１、２、３、４、５の色情報であるＲＧＢの値を保持する。例えば、欠陥画素０については、色Ｒ０の値は“５９”、色Ｇ０は“２５０”、色Ｂ０は“４８”という値を、色ごとに保持する。他の画素１〜５についても同様に、色Ｒ１〜Ｒ５、色Ｇ１〜Ｇ５、色Ｂ１〜Ｂ５の値を色情報として保持する。

差分算出部２２は、欠陥画素の色情報のうち欠陥のない色情報と、隣接画素の色情報との差分を算出する。例えば図７のような場合、欠陥画素０のうち欠陥がない色Ｒ０、Ｂ０の値と、隣接画素の色Ｒ１〜５、Ｂ１〜５の値との差分をそれぞれの色ごとに算出する。

参照画素決定部２３は、隣接画素のうち、差分算出部２２で算出した差分の絶対値の和が最小となる隣接画素を、補正のために参照する画素（参照画素）として決定する。

補正演算部２４は、参照画素の差分の平均値を算出し、平均値をもとに欠陥画素の欠陥色情報を補正する。

以下、図６、図７を参照して第１の補正部１３の動作を説明する。

外部のイメージセンサ４Ｒ、４Ｇ、４Ｂを介して色情報が入力されると、色情報保持部２１により、図７で示したように、欠陥アドレス格納部１２から発生された欠陥画素特定フラグを参照して、欠陥画素０と、欠陥画素０に隣接する欠陥のない画素１〜５ごとにＲＧＢの値が保持される。

次に、差分算出部２２で、欠陥画素０のうち欠陥のない色Ｒ０、Ｂ０の値と、画素１〜５の色Ｒ１〜Ｒ５、Ｂ１〜Ｂ５の値との差分を算出する。さらに、参照画素決定部２３で、差分の絶対値の和が最小となる画素を選択する。

図８は、差分の絶対値の和を算出する様子を示す図である。

ここで、ｄｒは隣接する画素１〜５の色Ｒ１〜Ｒ５の値と、欠陥画素０の色Ｒ０の値との差であり、ｄｂは隣接する画素１〜５の色Ｂ１〜Ｂ５の値と、欠陥画素０の色Ｂ０の値との差である。また、差分の絶対値の和は｜ｄｒ｜＋｜ｄｂ｜で示した。図８から分かるように、画素１の差分の絶対値の和が“３４”となり、他の画素２〜５の中で最小になっている。このことより、画素１が欠陥画素０に最も類似した色情報を持つ画素であると判断して、画素１を補正のための参照画素として決定する。

次に、補正部２４で、参照画素と欠陥画素０について、色Ｒ、Ｂについての差分の平均値と、色Ｇの差分を一致させるように、画素１の色Ｇ１の値から、色Ｒ、Ｂについての差分の平均値を差し引く。具体的には、図８のように、画素１の差分の絶対値の和は“３４”であるので、差分の平均値は“１７”となる。これを画素１の色Ｇ１の値である“６３”より差し引くことで、“４６”という欠陥画素０の欠陥色Ｇ０の補正値が得られる。

このように、欠陥画素０のうち欠陥が存在しない色情報（色Ｒ０、Ｂ０またはどちらか一方でもよい）を用いて、隣接画素の色情報との差分の絶対値の和より、欠陥画素０に最も類似する参照画素を決定し、その差分の平均値と一致するように、欠陥色（色Ｇ０）を補正することで、１つの色に着目して補正する場合に比べ、欠陥画素０を効果的に補正することができる。

なお、上記では省略したが、差分算出部２２と、参照画素決定部２３との間に、欠陥画素０と着目した隣接画素との距離に応じて、差分に係数をかける重み付け部を有するようにしてもよい。

本発明が適用されたビデオカメラのブロック図である。本発明が適用された欠陥画素補正回路のブロック図である。画面内を中心側の領域と周縁側の領域とに分割した例を示す図である。欠陥画素補正回路の処理内容を示すフローチャートである。画面内を中心側の領域と周縁側の領域とに分割した他の例を示す図である。第１の補正回路のブロック図である。保持された色情報の例を示す図である。差分の絶対値の和を算出する様子を示す図である。色収差を説明するための図である。

符号の説明

１ビデオカメラ、１０欠陥画素補正回路、１１アドレスカウンタ、１２欠陥アドレス格納部、１３第１の補正部、１４第２の補正部、１５セレクタ、１６制御部

Claims

撮像素子から出力された撮像信号が入力され、当該撮像素子の欠陥画素に対応する位置の値を補正する複数の欠陥補正手段と、
撮像素子の受光面上における欠陥画素の位置に応じて、上記複数の欠陥補正手段のうちの一つを選択し、当該欠陥画素の補正を行わせる選択手段とを備え、
上記選択手段は、撮像素子の受光面を中心側領域と周縁側領域との２つの領域に分割し、欠陥画素が中心側領域に位置する場合と、欠陥画素が周縁側領域に位置する場合とで欠陥補正手段を切り換えて、異なる処理で当該撮像素子の欠陥画素に対応する位置の値を補正させること
を特徴とする画像信号処理装置。
上記複数の欠陥補正手段には、欠陥画素の各色のうち欠陥のある色とは異なる色の画素の値を参照して補正をする第１の欠陥補正手段と、上記第１の欠陥補正手段による補正処理とは異なる処理により当該撮像素子の欠陥画素に対応する位置の値を補正する第２の欠陥補正手段とが含まれており、
上記選択手段は、欠陥画素が中心側領域に位置する場合には上記第１の欠陥補正手段を選択し、欠陥画素が周縁側領域に位置する場合には上記第２の欠陥補正手段を選択すること
を特徴とする請求項１記載の画像信号処理装置。
上記第１の欠陥補正手段は、
上記欠陥画素と上記欠陥画素に隣接する隣接画素の、複数の種類の色情報を保持し、
上記欠陥画素の上記色情報のうち欠陥のない無欠陥色情報と、上記無欠陥色情報に対応した上記隣接画素の上記色情報との差分を算出し、
上記差分に基づき上記無欠陥色情報に最も類似した上記色情報を特定し、上記隣接画素のうちの特定した色情報を有する画素を参照画素を決定し、
決定した参照画素の値に基づき、欠陥画素の欠陥のある欠陥色情報を補正すること
を特徴とする請求項２記載の画像信号処理装置。
撮像素子から出力された撮像信号に対して、当該撮像素子の欠陥画素に対応する位置の値を補正する欠陥画素補正方法において、
撮像素子の受光面を中心側領域と周縁側領域との２つの領域に分割し、
欠陥画素の位置が中心側領域に位置する場合には、欠陥画素の各色のうち欠陥のある色とは異なる色の画素の値を参照した補正処理アルゴリズムにより、撮像素子から出力された撮像信号に対して欠陥画素に対応する位置の値の補正をし、
欠陥画素の位置が周縁側領域に位置する場合には、欠陥画素の位置が中心側領域に位置する場合とは異なる補正アルゴリズムにより、撮像素子から出力された撮像信号に対して欠陥画素に対応する位置の値の補正をすること
を特徴とする欠陥画素補正方法。