JP2003023570A - 画像データの修正方法及び画像信号処理装置 - Google Patents
画像データの修正方法及び画像信号処理装置Info
- Publication number
- JP2003023570A JP2003023570A JP2001205664A JP2001205664A JP2003023570A JP 2003023570 A JP2003023570 A JP 2003023570A JP 2001205664 A JP2001205664 A JP 2001205664A JP 2001205664 A JP2001205664 A JP 2001205664A JP 2003023570 A JP2003023570 A JP 2003023570A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image data
- data
- level
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 29
- 238000000034 method Methods 0.000 title claims description 23
- 238000012937 correction Methods 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 230000002093 peripheral effect Effects 0.000 claims abstract description 39
- 230000004044 response Effects 0.000 claims abstract description 9
- 230000007547 defect Effects 0.000 claims description 54
- 230000015654 memory Effects 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000002950 deficient Effects 0.000 abstract 2
- 230000000977 initiatory effect Effects 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 102100037156 Gap junction beta-2 protein Human genes 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Image Input (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
(57)【要約】
【課題】 画像データに含まれる画素欠陥データを修正
する。 【解決手段】 判定基準値設定回路１３は、注目画素の
周辺に配列される周辺画素の最大レベルＨmax及び最小
レベルＨminを検出し、検出した最大レベルＨmaxにオフ
セット値ＯＳを加算して第１の判定基準値Ｈwを設定す
ると共に、最小レベルＨminからオフセット値ＯＳを減
算して第２の判定基準値Ｈbを設定する。検出回路１４
は、注目画素に対応する画像データＹ(P0)のレベルと第
１及び第２の判定基準値Ｈw、Ｈbとを比較し、注目画素
の画像データＹ(P0)のレベルが第１の判定基準値Ｈwよ
り大きかったとき、または、第２の判定基準値Ｈbより
小さかったとき、注目画素が画素欠陥であると判定して
検出出力Ｄw、Ｄbを立ち上げる。補正回路１６は、検出
出力Ｄw、Ｄbの立ち上がりに応答して、画像データＹ(P
0)を補正データＹ'(P0)に置き換えて出力する。
する。 【解決手段】 判定基準値設定回路１３は、注目画素の
周辺に配列される周辺画素の最大レベルＨmax及び最小
レベルＨminを検出し、検出した最大レベルＨmaxにオフ
セット値ＯＳを加算して第１の判定基準値Ｈwを設定す
ると共に、最小レベルＨminからオフセット値ＯＳを減
算して第２の判定基準値Ｈbを設定する。検出回路１４
は、注目画素に対応する画像データＹ(P0)のレベルと第
１及び第２の判定基準値Ｈw、Ｈbとを比較し、注目画素
の画像データＹ(P0)のレベルが第１の判定基準値Ｈwよ
り大きかったとき、または、第２の判定基準値Ｈbより
小さかったとき、注目画素が画素欠陥であると判定して
検出出力Ｄw、Ｄbを立ち上げる。補正回路１６は、検出
出力Ｄw、Ｄbの立ち上がりに応答して、画像データＹ(P
0)を補正データＹ'(P0)に置き換えて出力する。
Description
【０００１】
【発明の属する技術分野】本願発明は、画像データに含
まれる画素欠陥データを検出して修正する画像データの
修正方法及びその修正方法を採用する画像信号処理装置
に関する。
まれる画素欠陥データを検出して修正する画像データの
修正方法及びその修正方法を採用する画像信号処理装置
に関する。
【０００２】
【従来の技術】図１０は、従来の撮像装置の構成を示す
ブロック図であり、固体撮像素子１、駆動回路２、タイ
ミング制御回路３、アナログ信号処理回路４、Ａ／Ｄ変
換回路５及びデジタル信号処理回路６で構成される。
ブロック図であり、固体撮像素子１、駆動回路２、タイ
ミング制御回路３、アナログ信号処理回路４、Ａ／Ｄ変
換回路５及びデジタル信号処理回路６で構成される。
【０００３】固体撮像素子１は、行列配置された複数の
受光画素に対応付けられた複数のシフトレジスタを有
し、被写体画像に応答して発生した情報電荷を複数の受
光画素に蓄積する。そして、垂直転送クロックφｖ及び
水平転送クロックφｈに応答して動作し、蓄積した情報
電荷を複数のシフトレジスタを介して所定の順序で転送
する。
受光画素に対応付けられた複数のシフトレジスタを有
し、被写体画像に応答して発生した情報電荷を複数の受
光画素に蓄積する。そして、垂直転送クロックφｖ及び
水平転送クロックφｈに応答して動作し、蓄積した情報
電荷を複数のシフトレジスタを介して所定の順序で転送
する。
【０００４】駆動回路２は、垂直同期信号ＶＤ及び水平
同期信号ＨＤを受けて、垂直転送クロックφｖ及び水平
転送クロックφｈを固体撮像素子１に出力する。これに
より、複数の受光画素で蓄積された情報電荷が１ライン
単位で垂直方向に転送され、この１ライン分の情報電荷
が水平方向に順次１画素単位で順次転送される。そし
て、１画素単位で出力された情報電荷がその電荷量に対
応する電圧値に逐次変換されて、画像信号Ｙ(t )として
出力される。
同期信号ＨＤを受けて、垂直転送クロックφｖ及び水平
転送クロックφｈを固体撮像素子１に出力する。これに
より、複数の受光画素で蓄積された情報電荷が１ライン
単位で垂直方向に転送され、この１ライン分の情報電荷
が水平方向に順次１画素単位で順次転送される。そし
て、１画素単位で出力された情報電荷がその電荷量に対
応する電圧値に逐次変換されて、画像信号Ｙ(t )として
出力される。
【０００５】タイミング制御回路３は、一定周期の基準
クロックＣＫをカウントする複数のカウンタから構成さ
れ、基準クロックＣＫをカウントして、固体撮像素子１
の動作タイミングを決定する垂直同期信号ＶＤ及び水平
同期信号ＨＤを生成する。また、タイミング制御回路３
は、後述するアナログ信号処理回路４、Ａ／Ｄ変換回路
５及びデジタル信号処理回路６に対して、それぞれの回
路動作を固体撮像素子１の動作タイミングに同期させる
ために、タイミング信号を供給する。
クロックＣＫをカウントする複数のカウンタから構成さ
れ、基準クロックＣＫをカウントして、固体撮像素子１
の動作タイミングを決定する垂直同期信号ＶＤ及び水平
同期信号ＨＤを生成する。また、タイミング制御回路３
は、後述するアナログ信号処理回路４、Ａ／Ｄ変換回路
５及びデジタル信号処理回路６に対して、それぞれの回
路動作を固体撮像素子１の動作タイミングに同期させる
ために、タイミング信号を供給する。
【０００６】アナログ信号処理回路４は、固体撮像素子
１から出力される画像信号Ｙ(t)を取り込んで、固体撮
像素子１の出力動作に同期してサンプリング、ゲイン制
御等の信号処理を施し、画像信号Ｙ'(t)として出力す
る。例えば、リセットレベルと信号レベルとを繰り返す
画像信号Ｙ(t)に対し、リセットレベルをクランプした
後に信号レベルを取り出すようにして、信号レベルの連
続する画像信号を生成する所謂ＣＤＳ(Correlated Doub
le Sampling：相関二重サンプリング)を行う。そして、
生成した画像信号を１画面或いは、１垂直走査期間単位
で積分して、その積分データを所定の範囲内に収めるよ
うにゲインのフィードバック制御を施す所謂ＡＧＣ（Au
tomatic Gain Control：自動利得制御）を行う。Ａ／Ｄ
変換回路５は、アナログ信号処理回路４から出力される
画像信号を固体撮像素子１の出力動作に従うタイミング
で規格化し、デジタル信号の画像データＹ(n)を出力す
る。
１から出力される画像信号Ｙ(t)を取り込んで、固体撮
像素子１の出力動作に同期してサンプリング、ゲイン制
御等の信号処理を施し、画像信号Ｙ'(t)として出力す
る。例えば、リセットレベルと信号レベルとを繰り返す
画像信号Ｙ(t)に対し、リセットレベルをクランプした
後に信号レベルを取り出すようにして、信号レベルの連
続する画像信号を生成する所謂ＣＤＳ(Correlated Doub
le Sampling：相関二重サンプリング)を行う。そして、
生成した画像信号を１画面或いは、１垂直走査期間単位
で積分して、その積分データを所定の範囲内に収めるよ
うにゲインのフィードバック制御を施す所謂ＡＧＣ（Au
tomatic Gain Control：自動利得制御）を行う。Ａ／Ｄ
変換回路５は、アナログ信号処理回路４から出力される
画像信号を固体撮像素子１の出力動作に従うタイミング
で規格化し、デジタル信号の画像データＹ(n)を出力す
る。
【０００７】デジタル信号処理回路６は、Ａ／Ｄ変換回
路５から出力される画像データＹ(n)に対して、色分
離、マトリクス演算等の処理を施し、輝度情報及び色差
情報を含む画像データＹ'(n)を生成する。例えば、色分
離処理においては、固体撮像素子の受光面に装着される
カラーフィルタの色配列に従って画像データＹ(n)を振
り分け、複数の色成分情報を生成する。また、マトリク
ス演算処理においては、振り分けた各色成分を合成して
輝度情報を生成すると共に、各色成分から輝度成分を差
し引いて色差情報を生成する。このデジタル信号処理回
路６から出力される画像データＹ'(n)は、半導体メモリ
や磁気ディスク等の記憶媒体に格納されると共に、ＬＣ
Ｄパネル等の表示デバイスを駆動する駆動回路に供給さ
れる。
路５から出力される画像データＹ(n)に対して、色分
離、マトリクス演算等の処理を施し、輝度情報及び色差
情報を含む画像データＹ'(n)を生成する。例えば、色分
離処理においては、固体撮像素子の受光面に装着される
カラーフィルタの色配列に従って画像データＹ(n)を振
り分け、複数の色成分情報を生成する。また、マトリク
ス演算処理においては、振り分けた各色成分を合成して
輝度情報を生成すると共に、各色成分から輝度成分を差
し引いて色差情報を生成する。このデジタル信号処理回
路６から出力される画像データＹ'(n)は、半導体メモリ
や磁気ディスク等の記憶媒体に格納されると共に、ＬＣ
Ｄパネル等の表示デバイスを駆動する駆動回路に供給さ
れる。
【０００８】
【発明が解決しようとする課題】上述した撮像装置にお
いては、固体撮像素子から画像信号が出力されてから再
生画面上に映像として表示されるまでの過程に、様々な
要因によりノイズ成分が混入する。これらのノイズ成分
は、再生画面上に現れるざらざらとしたノイズの要因と
なり、再生画面に表示される被写体画像の視認性を著し
く悪化させる。このノイズの要因の１つとして、画素欠
陥によるものがある。この画素欠陥によるノイズは、再
生画面内で常に一定の位置に固定して現れてしまう。特
に、夜間の撮影においては、固体撮像素子からの出力に
対してゲインを与えて、画像信号のレベルを増幅させる
ような処理を行うため、これと同時に画素欠陥によるノ
イズのレベルも増幅させてしまい、再生画面で視覚的に
認識されるノイズ感を増大させてしまう。このような再
生画面上に現れるノイズへの対策として、画面全体の画
像信号のレベルを平均化して、視覚的に認識させるノイ
ズ感を和らげるような処理を行う方法がある。しかしな
がら、この方法においては、画素欠陥以外の画像信号の
レベルも平均化するため、表示画像の解像度を悪化させ
てしまうという問題があった。
いては、固体撮像素子から画像信号が出力されてから再
生画面上に映像として表示されるまでの過程に、様々な
要因によりノイズ成分が混入する。これらのノイズ成分
は、再生画面上に現れるざらざらとしたノイズの要因と
なり、再生画面に表示される被写体画像の視認性を著し
く悪化させる。このノイズの要因の１つとして、画素欠
陥によるものがある。この画素欠陥によるノイズは、再
生画面内で常に一定の位置に固定して現れてしまう。特
に、夜間の撮影においては、固体撮像素子からの出力に
対してゲインを与えて、画像信号のレベルを増幅させる
ような処理を行うため、これと同時に画素欠陥によるノ
イズのレベルも増幅させてしまい、再生画面で視覚的に
認識されるノイズ感を増大させてしまう。このような再
生画面上に現れるノイズへの対策として、画面全体の画
像信号のレベルを平均化して、視覚的に認識させるノイ
ズ感を和らげるような処理を行う方法がある。しかしな
がら、この方法においては、画素欠陥以外の画像信号の
レベルも平均化するため、表示画像の解像度を悪化させ
てしまうという問題があった。
【０００９】そこで、本願発明は、表示画像の解像度を
悪化させることなく、画素欠陥によるノイズに対応でき
るようにすることを目的とする。
悪化させることなく、画素欠陥によるノイズに対応でき
るようにすることを目的とする。
【００１０】
【課題を解決するための手段】本願発明は、上述の課題
に鑑み、なされたもので、その特徴とするところは、固
体撮像素子から出力される画像データに含まれる画素欠
陥データを検出し、順次修正する画像データの修正方法
であって、注目画素の周辺に配列される複数の周辺画素
の最大レベル及び最小レベルを検出する第１のステップ
と、前記最大レベルに所定のオフセット値を加算して第
１の判定基準値を設定し、前記最小レベルから所定のオ
フセット値を減算して第２の判定基準値を設定する第２
のステップと、前記注目画素のレベルと前記第１及び第
２の判定基準値とを比較して、前記注目画素のレベルが
前記第１の判定基準値より大きいとき、或いは、前記第
２の判定基準値より小さいとき、その注目画素を画素欠
陥と判定する第３のステップと、画素欠陥と判定された
注目画素に対応する画像データを前記複数の周辺画素の
少なくとも１画素の画像データから生成される補正デー
タと置き換える第４のステップと、を備えたことにあ
る。
に鑑み、なされたもので、その特徴とするところは、固
体撮像素子から出力される画像データに含まれる画素欠
陥データを検出し、順次修正する画像データの修正方法
であって、注目画素の周辺に配列される複数の周辺画素
の最大レベル及び最小レベルを検出する第１のステップ
と、前記最大レベルに所定のオフセット値を加算して第
１の判定基準値を設定し、前記最小レベルから所定のオ
フセット値を減算して第２の判定基準値を設定する第２
のステップと、前記注目画素のレベルと前記第１及び第
２の判定基準値とを比較して、前記注目画素のレベルが
前記第１の判定基準値より大きいとき、或いは、前記第
２の判定基準値より小さいとき、その注目画素を画素欠
陥と判定する第３のステップと、画素欠陥と判定された
注目画素に対応する画像データを前記複数の周辺画素の
少なくとも１画素の画像データから生成される補正デー
タと置き換える第４のステップと、を備えたことにあ
る。
【００１１】そして、固体撮像素子から出力される画像
データに含まれる画素欠陥データを検出し、順次修正す
る画像信号処理装置において、連続する適数行の画像デ
ータを保持し、注目画素に対応する画像データと共に、
前記注目画素の周辺に配列される複数の周辺画素に対応
する画像データを供給するメモリ回路と、所定のオフセ
ット値を記憶するレジスタと、前記複数の周辺画素の最
大レベル及び最小レベルを検出し、前記最大レベルに前
記オフセット値を加算して第１の判定基準値を設定する
と共に、前記最小レベルから前記オフセット値を減算し
て第２の判定基準値を設定する判定基準値設定回路と、
前記注目画素と前記第１及び第２の判定基準値とを比較
して画素欠陥を検出し、検出出力を立ち上げる検出回路
と、前記検出出力の立ち上がりに応答して前記注目画素
に対応する画像データを前記複数の周辺画素の少なくと
も１画素から生成される補正データに置き換える補正回
路と、を備えたことを特徴とする。
データに含まれる画素欠陥データを検出し、順次修正す
る画像信号処理装置において、連続する適数行の画像デ
ータを保持し、注目画素に対応する画像データと共に、
前記注目画素の周辺に配列される複数の周辺画素に対応
する画像データを供給するメモリ回路と、所定のオフセ
ット値を記憶するレジスタと、前記複数の周辺画素の最
大レベル及び最小レベルを検出し、前記最大レベルに前
記オフセット値を加算して第１の判定基準値を設定する
と共に、前記最小レベルから前記オフセット値を減算し
て第２の判定基準値を設定する判定基準値設定回路と、
前記注目画素と前記第１及び第２の判定基準値とを比較
して画素欠陥を検出し、検出出力を立ち上げる検出回路
と、前記検出出力の立ち上がりに応答して前記注目画素
に対応する画像データを前記複数の周辺画素の少なくと
も１画素から生成される補正データに置き換える補正回
路と、を備えたことを特徴とする。
【００１２】本願発明によれば、注目画素の周辺に配列
される周辺画素の最大レベルにオフセット値を加算、或
いは、最小レベルからオフセット値を減算して判定基準
値を設定する。そして、判定基準値と注目画素に対応す
る画像データとを比較して画素欠陥データを検出し、補
正データに置き換えて、再生画面上で一定位置に現れる
画素欠陥によるノイズを修正する。更に、画素欠陥デー
タの検出に応じて逐次補正データに置き換えることで、
再生画面上に一定位置に現れる画素欠陥によるノイズだ
けでなく、画素欠陥データと同等のレベルを有するもの
であれば、再生画面上に不規則的に現れるノイズの要因
となるデータをも補正する。
される周辺画素の最大レベルにオフセット値を加算、或
いは、最小レベルからオフセット値を減算して判定基準
値を設定する。そして、判定基準値と注目画素に対応す
る画像データとを比較して画素欠陥データを検出し、補
正データに置き換えて、再生画面上で一定位置に現れる
画素欠陥によるノイズを修正する。更に、画素欠陥デー
タの検出に応じて逐次補正データに置き換えることで、
再生画面上に一定位置に現れる画素欠陥によるノイズだ
けでなく、画素欠陥データと同等のレベルを有するもの
であれば、再生画面上に不規則的に現れるノイズの要因
となるデータをも補正する。
【００１３】
【発明の実施の形態】図１は、本願発明の画像データの
修正方法を説明するフローチャートであり、注目画素に
対応する画像データが画素欠陥データであるか否かを判
定し、画素欠陥データを修正するための動作を説明する
ものである。尚、この図においては、図２に示すよう
に、注目画素Ｐ0に対して、その周辺に配列される周辺
画素Ｐ1〜Ｐ8を参照する場合を示している。
修正方法を説明するフローチャートであり、注目画素に
対応する画像データが画素欠陥データであるか否かを判
定し、画素欠陥データを修正するための動作を説明する
ものである。尚、この図においては、図２に示すよう
に、注目画素Ｐ0に対して、その周辺に配列される周辺
画素Ｐ1〜Ｐ8を参照する場合を示している。
【００１４】先ず、ステップＳ１において、周辺画素Ｐ
1〜Ｐ8に対応する８画素分の画像情報Ｙ(P0)〜Ｙ(P8)の
最大レベルＨmax及び最小レベルＨminを検出する。続く
ステップＳ２において、検出した最大レベルＨmaxに対
し、予め適当値に設定される所定のオフセット値ＯＳを
加算して第１の判定基準値Ｈwを設定する。同時にステ
ップＳ２では、最小レベルＨminからオフセット値ＯＳ
を減算して第２の判定基準値Ｈbを設定する。このステ
ップＳ２で設定された第１及び第２の判定基準値Ｈw、
Ｈbは、周辺画素の最大レベル及び最小レベルに応じて
変化し、常時最適な値に保持される。尚、オフセット値
ＯＳは、第１及び第２の判定基準値Ｈw、Ｈbが画素欠陥
データを検出するのに適当な値となるように予め設定さ
れているデフォルト値である。また、このオフセット値
ＯＳは、信号処理の過程で行われるレベル補正等の調整
に対応して、随時可変されるようにしても良い。例え
ば、設定されているデフォルト値に対して、レベル調整
で用いられるゲイン値に対応する係数を付加するように
行えば良い。これにより、画素欠陥データの検出レベル
を輝度の変化に対応付けることができ、撮像条件の違い
による検出ばらつきを抑制することができる。
1〜Ｐ8に対応する８画素分の画像情報Ｙ(P0)〜Ｙ(P8)の
最大レベルＨmax及び最小レベルＨminを検出する。続く
ステップＳ２において、検出した最大レベルＨmaxに対
し、予め適当値に設定される所定のオフセット値ＯＳを
加算して第１の判定基準値Ｈwを設定する。同時にステ
ップＳ２では、最小レベルＨminからオフセット値ＯＳ
を減算して第２の判定基準値Ｈbを設定する。このステ
ップＳ２で設定された第１及び第２の判定基準値Ｈw、
Ｈbは、周辺画素の最大レベル及び最小レベルに応じて
変化し、常時最適な値に保持される。尚、オフセット値
ＯＳは、第１及び第２の判定基準値Ｈw、Ｈbが画素欠陥
データを検出するのに適当な値となるように予め設定さ
れているデフォルト値である。また、このオフセット値
ＯＳは、信号処理の過程で行われるレベル補正等の調整
に対応して、随時可変されるようにしても良い。例え
ば、設定されているデフォルト値に対して、レベル調整
で用いられるゲイン値に対応する係数を付加するように
行えば良い。これにより、画素欠陥データの検出レベル
を輝度の変化に対応付けることができ、撮像条件の違い
による検出ばらつきを抑制することができる。
【００１５】続くステップＳ３において、注目画素Ｐ0
の画像データＹ(P0)と第１及び第２の判定基準値Ｈw、
Ｈbとを比較する。画像データＹ(P0)が第１及び第２の
判定基準値Ｈw、Ｈbで決定される範囲に含まれる場合
（Ｈb≦Ｙ(P0)≦Ｈw）、正常なデータであると判定し、
ステップＳ４に進む。一方、画像データＹ(P0)が第１の
判定基準値Ｈwを越える場合（Ｙ(P0)＞Ｈw）、または、
画像データＹ(P0)が第２の判定基準値Ｈbを下回る場合
（Ｙ(P0)＜Ｈb）には、画像データＹ(P0)が画素欠陥デ
ータであると判定し、ステップＳ５に進む。このような
判定動作は、連続的に出力される画像データに対して、
逐次１画素単位で行われる。
の画像データＹ(P0)と第１及び第２の判定基準値Ｈw、
Ｈbとを比較する。画像データＹ(P0)が第１及び第２の
判定基準値Ｈw、Ｈbで決定される範囲に含まれる場合
（Ｈb≦Ｙ(P0)≦Ｈw）、正常なデータであると判定し、
ステップＳ４に進む。一方、画像データＹ(P0)が第１の
判定基準値Ｈwを越える場合（Ｙ(P0)＞Ｈw）、または、
画像データＹ(P0)が第２の判定基準値Ｈbを下回る場合
（Ｙ(P0)＜Ｈb）には、画像データＹ(P0)が画素欠陥デ
ータであると判定し、ステップＳ５に進む。このような
判定動作は、連続的に出力される画像データに対して、
逐次１画素単位で行われる。
【００１６】ステップＳ４において、ステップＳ３で正
常なデータと判定された画像データＹ(P0)は、そのまま
次段に出力される。ステップＳ５において、ステップＳ
３で画素欠陥データと判定された画像データＹ(P0)は、
補正データＹ'(P0)に置き換えられて、画素欠陥が修正
される。ここで、補正データＹ'(P0)は、周辺画素の画
像データＹ(P1)〜Ｙ(P8)のうち、例えば、２画素の画像
データを平均化して生成される。また、ステップＳ５で
は、ステップＳ３の判定動作で画素欠陥を検出した時点
で逐次画素欠陥が修正され、修正処理が、固体撮像素子
１からの画像信号の出力タイミングに同期して行われ
る。これにより、再生画面の一定位置に現れる画素欠陥
によるノイズだけでなく、画素欠陥と同等のレベルを有
するものであれば、再生画面上に不規則的に現れるノイ
ズの要因となるデータをも修正することができる。
常なデータと判定された画像データＹ(P0)は、そのまま
次段に出力される。ステップＳ５において、ステップＳ
３で画素欠陥データと判定された画像データＹ(P0)は、
補正データＹ'(P0)に置き換えられて、画素欠陥が修正
される。ここで、補正データＹ'(P0)は、周辺画素の画
像データＹ(P1)〜Ｙ(P8)のうち、例えば、２画素の画像
データを平均化して生成される。また、ステップＳ５で
は、ステップＳ３の判定動作で画素欠陥を検出した時点
で逐次画素欠陥が修正され、修正処理が、固体撮像素子
１からの画像信号の出力タイミングに同期して行われ
る。これにより、再生画面の一定位置に現れる画素欠陥
によるノイズだけでなく、画素欠陥と同等のレベルを有
するものであれば、再生画面上に不規則的に現れるノイ
ズの要因となるデータをも修正することができる。
【００１７】ところで、固体撮像素子にカラーフィルタ
を装着してカラー撮像を行う場合、注目画素とその注目
画素に隣接して配列される複数の周辺画素は、注目画素
と同一の色成分に対応するとは限らない。例えば、複数
の色成分がベイヤー方式で配列されるモザイク型のカラ
ーフィルタは、隣接する画素が互いに異なる色成分に対
応付けられている。カラーフィルタは、色成分によって
互いに分光透過特性が異なっているため、図２に示すよ
うな隣接する周辺画素から判定基準値を生成することが
できない。そこで、カラー撮像においては、注目画素の
周辺に配列される複数の画素のうち、注目画素と同一の
色成分に対応するものに基づいて判定基準値を生成す
る。そして、補正データにおいても、注目画素と同一の
色成分に対応する複数の周辺画素に基づいて生成する。
図３は、カラー撮像における画像データの修正方法の一
例を説明する図である。尚、この図においては、３つの
色成分Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）
が、例えば、ベイヤー方式で配列されたモザイク型のカ
ラーフィルタが固体撮像素子に装着された場合を示して
おり、画像データを記憶するラインメモリには、注目画
素を含むラインを含めて４ライン分の画像データが記憶
されている。
を装着してカラー撮像を行う場合、注目画素とその注目
画素に隣接して配列される複数の周辺画素は、注目画素
と同一の色成分に対応するとは限らない。例えば、複数
の色成分がベイヤー方式で配列されるモザイク型のカラ
ーフィルタは、隣接する画素が互いに異なる色成分に対
応付けられている。カラーフィルタは、色成分によって
互いに分光透過特性が異なっているため、図２に示すよ
うな隣接する周辺画素から判定基準値を生成することが
できない。そこで、カラー撮像においては、注目画素の
周辺に配列される複数の画素のうち、注目画素と同一の
色成分に対応するものに基づいて判定基準値を生成す
る。そして、補正データにおいても、注目画素と同一の
色成分に対応する複数の周辺画素に基づいて生成する。
図３は、カラー撮像における画像データの修正方法の一
例を説明する図である。尚、この図においては、３つの
色成分Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）
が、例えば、ベイヤー方式で配列されたモザイク型のカ
ラーフィルタが固体撮像素子に装着された場合を示して
おり、画像データを記憶するラインメモリには、注目画
素を含むラインを含めて４ライン分の画像データが記憶
されている。
【００１８】例えば、Ｇ1cを注目画素とするとき、色成
分Ｇに対応する周辺画素の画像データの最大レベル及び
最小レベルを検出して、それらに基づいて判定基準値を
生成する。即ち、図３(a)に示すように、周辺画素Ｇ1
a、Ｇ1e、Ｇ2b、Ｇ2d、Ｇ3cの最大レベルＨmax及び最小
レベルＨminを検出し、最大レベルＨmaxに所定のオフセ
ット値を加算して第１の判定基準値Ｈwとすると共に、
最小レベルＨbからオフセット値ＯＳを減算して第２の
判定基準値Ｈbとする。そして、注目画素Ｇ1cが第１の
判定基準値Ｈwを越える場合、または、注目画素Ｇ1cが
第２の判定基準値Ｈbを下回る場合には、注目画素Ｇ1c
が画素欠陥であると判定し、周辺画素Ｇ1a、Ｇ1e、Ｇ2
b、Ｇ2d、Ｇ3cのうちの、例えば、２画素を平均化して
生成した補正データと置き換える。
分Ｇに対応する周辺画素の画像データの最大レベル及び
最小レベルを検出して、それらに基づいて判定基準値を
生成する。即ち、図３(a)に示すように、周辺画素Ｇ1
a、Ｇ1e、Ｇ2b、Ｇ2d、Ｇ3cの最大レベルＨmax及び最小
レベルＨminを検出し、最大レベルＨmaxに所定のオフセ
ット値を加算して第１の判定基準値Ｈwとすると共に、
最小レベルＨbからオフセット値ＯＳを減算して第２の
判定基準値Ｈbとする。そして、注目画素Ｇ1cが第１の
判定基準値Ｈwを越える場合、または、注目画素Ｇ1cが
第２の判定基準値Ｈbを下回る場合には、注目画素Ｇ1c
が画素欠陥であると判定し、周辺画素Ｇ1a、Ｇ1e、Ｇ2
b、Ｇ2d、Ｇ3cのうちの、例えば、２画素を平均化して
生成した補正データと置き換える。
【００１９】色成分Ｇ以外の色成分Ｒ、色成分Ｂに対応
する画素の画像データについても同様であり、注目画素
と同一の色成分に対応する周辺画素に基づいて判定基準
値を生成する。例えば、Ｒ1dを注目画素とするとき、図
３(b)に示すように、周辺画素Ｒ1b、Ｒ1f、Ｒ3b、Ｒ3
d、Ｒ3fの最大レベル及び最小レベルを参照し、Ｂ2cを
注目画素とするとき、図３(c)に示すように、周辺画素
Ｂ2a、Ｂ2e、Ｂ4a、Ｂ4c、Ｂ4eの最大レベル及び最小レ
ベルと参照して判定基準値を生成する。そして、生成し
た判定基準値と注目画素とを比較して画素欠陥を検出
し、検出結果に従って、同一の色成分に対応する複数の
周辺画素を平均化して生成した補正データに置き換え
る。
する画素の画像データについても同様であり、注目画素
と同一の色成分に対応する周辺画素に基づいて判定基準
値を生成する。例えば、Ｒ1dを注目画素とするとき、図
３(b)に示すように、周辺画素Ｒ1b、Ｒ1f、Ｒ3b、Ｒ3
d、Ｒ3fの最大レベル及び最小レベルを参照し、Ｂ2cを
注目画素とするとき、図３(c)に示すように、周辺画素
Ｂ2a、Ｂ2e、Ｂ4a、Ｂ4c、Ｂ4eの最大レベル及び最小レ
ベルと参照して判定基準値を生成する。そして、生成し
た判定基準値と注目画素とを比較して画素欠陥を検出
し、検出結果に従って、同一の色成分に対応する複数の
周辺画素を平均化して生成した補正データに置き換え
る。
【００２０】図４は、上述の画像データの修正方法を採
用した画像信号処理装置の構成を示すブロック図であ
る。本願発明の画像信号処理装置は、メモリ回路１１、
レジスタ１２、判定基準値設定回路１３、検出回路１
４、遅延回路１５及び補正回路１６で構成され、固体撮
像素子から出力された画像信号Ｙ(t)がデジタル信号に
変換された画像データＹ(n)に含まれる画素欠陥データ
を修正する。尚、この図においては、図２に示すよう
に、注目画素Ｐ0に対して、その周辺画素Ｐ1〜Ｐ8を参
照する場合を説明する。
用した画像信号処理装置の構成を示すブロック図であ
る。本願発明の画像信号処理装置は、メモリ回路１１、
レジスタ１２、判定基準値設定回路１３、検出回路１
４、遅延回路１５及び補正回路１６で構成され、固体撮
像素子から出力された画像信号Ｙ(t)がデジタル信号に
変換された画像データＹ(n)に含まれる画素欠陥データ
を修正する。尚、この図においては、図２に示すよう
に、注目画素Ｐ0に対して、その周辺画素Ｐ1〜Ｐ8を参
照する場合を説明する。
【００２１】メモリ回路１１は、複数のラインメモリと
複数のラッチより構成され、１行単位で連続して入力さ
れる画像データＹ(n)を取り込み、注目画素Ｐ0に対応す
る画像データＹ(P0)と、その周辺画素Ｐ1〜Ｐ8に対応す
る画像データＹ(P1)〜Ｙ(P8)とを並列に出力する。レジ
スタ１２は、所定のオフセット値ＯＳを保持しており、
メモリ回路１１から画像データＹ(P0)〜Ｙ(P8)を出力す
るタイミングに同期してオフセット値ＯＳを出力する。
複数のラッチより構成され、１行単位で連続して入力さ
れる画像データＹ(n)を取り込み、注目画素Ｐ0に対応す
る画像データＹ(P0)と、その周辺画素Ｐ1〜Ｐ8に対応す
る画像データＹ(P1)〜Ｙ(P8)とを並列に出力する。レジ
スタ１２は、所定のオフセット値ＯＳを保持しており、
メモリ回路１１から画像データＹ(P0)〜Ｙ(P8)を出力す
るタイミングに同期してオフセット値ＯＳを出力する。
【００２２】判定基準値設定回路１３は、メモリ回路１
１から出力される周辺画素の画像データＹ(P1)〜Ｙ(P8)
に基づいて、これらの最大レベルＨmax及び最小レベル
Ｈminを検出し、最大レベルＨmax及び最小レベルＨmin
にレジスタ１２から与えられるオフセット値ＯＳを加算
または減算して、第１及び第２の判定基準値Ｈw、Ｈbを
設定する。検出回路１４は、注目画素Ｐ0の画像データ
Ｙ(P0)のレベルと第１及び第２の判定基準値Ｈw、Ｈbの
レベルとを逐次比較して、注目画素Ｐ0の画像データＹ
(P0)のレベルが第１の判定基準値Ｈwを越えるか、また
は、画像データＹ(P0)のレベルが第２の判定基準値Ｈb
を下回る場合、画素欠陥データの検出を示す検出出力Ｄ
w、Ｄbを立ち上げる。
１から出力される周辺画素の画像データＹ(P1)〜Ｙ(P8)
に基づいて、これらの最大レベルＨmax及び最小レベル
Ｈminを検出し、最大レベルＨmax及び最小レベルＨmin
にレジスタ１２から与えられるオフセット値ＯＳを加算
または減算して、第１及び第２の判定基準値Ｈw、Ｈbを
設定する。検出回路１４は、注目画素Ｐ0の画像データ
Ｙ(P0)のレベルと第１及び第２の判定基準値Ｈw、Ｈbの
レベルとを逐次比較して、注目画素Ｐ0の画像データＹ
(P0)のレベルが第１の判定基準値Ｈwを越えるか、また
は、画像データＹ(P0)のレベルが第２の判定基準値Ｈb
を下回る場合、画素欠陥データの検出を示す検出出力Ｄ
w、Ｄbを立ち上げる。
【００２３】遅延回路１５は、メモリ回路１１から出力
される画像データＹ(P0)を取り込み、検出回路１４の検
出動作に要する期間だけ遅延した後に保持していた画像
データＹ(P0)を出力する。これにより、検出回路１４の
検出動作のタイミングに同期して、画像データＹ(P0)が
補正回路１６に出力される。
される画像データＹ(P0)を取り込み、検出回路１４の検
出動作に要する期間だけ遅延した後に保持していた画像
データＹ(P0)を出力する。これにより、検出回路１４の
検出動作のタイミングに同期して、画像データＹ(P0)が
補正回路１６に出力される。
【００２４】補正回路１６は、遅延回路１５から出力さ
れる画像データＹ(P0)と検出回路１４から出力される検
出出力Ｄw、Ｄbとを取り込み、検出出力Ｄw、Ｄbの立ち
上がりに応答して、画像データＹ(P0)を補正データＹ'
(P0)に置き換える。この補正データＹ'(P0)の生成は、
例えば、注目画素P0の左右に隣接する２画素Ｐ4、Ｐ5に
対応する画像データＹ(P4)、Ｙ(P5)のレベルを１／２に
し、それらを加算して行われる。これにより、検出回路
１４で画素欠陥データと判定された画像データは、補正
回路１６で逐次補正データＹ'(P0)に置き換えられて出
力される。
れる画像データＹ(P0)と検出回路１４から出力される検
出出力Ｄw、Ｄbとを取り込み、検出出力Ｄw、Ｄbの立ち
上がりに応答して、画像データＹ(P0)を補正データＹ'
(P0)に置き換える。この補正データＹ'(P0)の生成は、
例えば、注目画素P0の左右に隣接する２画素Ｐ4、Ｐ5に
対応する画像データＹ(P4)、Ｙ(P5)のレベルを１／２に
し、それらを加算して行われる。これにより、検出回路
１４で画素欠陥データと判定された画像データは、補正
回路１６で逐次補正データＹ'(P0)に置き換えられて出
力される。
【００２５】図５は、メモリ回路１１の一例を示すブロ
ック図である。メモリ回路１１は、第１及び第２のライ
ンメモリ２１、２２及び第１〜６のラッチ２３〜２８よ
り構成される。第１及び第２のラインメモリ２１、２２
は、互いに直列に接続され、順次入力される画像データ
Ｙ(n)が第１のラインメモリ２１に書き込まれると共
に、第１のラインメモリ２１から順次読み出される画像
データＹ(n)が第２のラインメモリ２２に書き込まれ
る。これにより、順次入力されてくる画像データＹ(n)
に対して、第１のラインメモリ２１からは１行前の画像
データＹ(n)が読み出され、第２のラインメモリ２２か
らは２行前の画像データＹ(n)が読み出される。
ック図である。メモリ回路１１は、第１及び第２のライ
ンメモリ２１、２２及び第１〜６のラッチ２３〜２８よ
り構成される。第１及び第２のラインメモリ２１、２２
は、互いに直列に接続され、順次入力される画像データ
Ｙ(n)が第１のラインメモリ２１に書き込まれると共
に、第１のラインメモリ２１から順次読み出される画像
データＹ(n)が第２のラインメモリ２２に書き込まれ
る。これにより、順次入力されてくる画像データＹ(n)
に対して、第１のラインメモリ２１からは１行前の画像
データＹ(n)が読み出され、第２のラインメモリ２２か
らは２行前の画像データＹ(n)が読み出される。
【００２６】第１及び第２のラッチ２３、２４は、画像
データＹ(n)の入力に対して順次直列に接続され、１画
素前の画像データＹ(n)が第１のラッチ２３に保持さ
れ、２画素前の画像データＹ(n)が第２のラッチ２４に
保持される。これにより、周辺画素Ｐ8に対応する画像
データＹ(P8)がそのまま出力され、第１及び第２のラッ
チ２３、２４に保持された画像データＹ(n)が、周辺画
素Ｐ6、Ｐ7に対応する画像データＹ(P6)、Ｙ(P7)とし
て、それぞれ出力される。
データＹ(n)の入力に対して順次直列に接続され、１画
素前の画像データＹ(n)が第１のラッチ２３に保持さ
れ、２画素前の画像データＹ(n)が第２のラッチ２４に
保持される。これにより、周辺画素Ｐ8に対応する画像
データＹ(P8)がそのまま出力され、第１及び第２のラッ
チ２３、２４に保持された画像データＹ(n)が、周辺画
素Ｐ6、Ｐ7に対応する画像データＹ(P6)、Ｙ(P7)とし
て、それぞれ出力される。
【００２７】第３及び第４のラッチ２５、２６は、第１
のラインメモリ２１からの入力に対して順次直列に接続
され、１行前で且つ１画素前の画像データＹ(n)が第３
のラッチに保持され、２画素前の画像データＹ(n)が第
４のラッチに保持される。これにより、第１のラインメ
モリ２１から読み出される画像データＹ(n)が、周辺画
素Ｐ5に対応する画像データＹ(P5)として出力され、第
３及び第４のラッチに保持された画像データＹ(n)が、
注目画素Ｐ0に対応する画像データＹ(P0)及び周辺画素
Ｐ4に対応する画像データＹ(P4)として、それぞれ出力
される。
のラインメモリ２１からの入力に対して順次直列に接続
され、１行前で且つ１画素前の画像データＹ(n)が第３
のラッチに保持され、２画素前の画像データＹ(n)が第
４のラッチに保持される。これにより、第１のラインメ
モリ２１から読み出される画像データＹ(n)が、周辺画
素Ｐ5に対応する画像データＹ(P5)として出力され、第
３及び第４のラッチに保持された画像データＹ(n)が、
注目画素Ｐ0に対応する画像データＹ(P0)及び周辺画素
Ｐ4に対応する画像データＹ(P4)として、それぞれ出力
される。
【００２８】第５及び第６のラッチ２７、２８は、第２
のラインメモリ２２からの入力に対して順次直列に接続
され、２行前で且つ１画素前の画像データＹ(n)が第５
のラッチ２７に保持され、２画素前の画像データＹ(n)
が第６のラッチ２８に保持される。これにより、第２の
ラインメモリ２２から読み出される画像データＹ(n)
が、周辺画素Ｐ3に対応する第３の画像データＹ(P3)と
して出力され、第５及び第６のラッチに保持された画像
データＹ(n)が、周辺画素Ｐ1、Ｐ2に対応する画像デー
タＹ(P1)、Ｙ(P2)として出力される。
のラインメモリ２２からの入力に対して順次直列に接続
され、２行前で且つ１画素前の画像データＹ(n)が第５
のラッチ２７に保持され、２画素前の画像データＹ(n)
が第６のラッチ２８に保持される。これにより、第２の
ラインメモリ２２から読み出される画像データＹ(n)
が、周辺画素Ｐ3に対応する第３の画像データＹ(P3)と
して出力され、第５及び第６のラッチに保持された画像
データＹ(n)が、周辺画素Ｐ1、Ｐ2に対応する画像デー
タＹ(P1)、Ｙ(P2)として出力される。
【００２９】以上のメモリ回路１１においては、画像デ
ータＹ(n)を順次取り込みながら、注目画素P0に対応す
る画像データＹ(P0)と、その周辺に配列される周辺画素
Ｐ1〜Ｐ8に対応する画像データＹ(P1)〜Ｙ(P8)とを並列
に出力する。
ータＹ(n)を順次取り込みながら、注目画素P0に対応す
る画像データＹ(P0)と、その周辺に配列される周辺画素
Ｐ1〜Ｐ8に対応する画像データＹ(P1)〜Ｙ(P8)とを並列
に出力する。
【００３０】図６は、判定基準値設定回路１３の一例を
示すブロック図である。判定基準値設定回路１３は、最
大値検出部３１、最小値検出部３２、加算器３３及び減
算器３４で構成される。
示すブロック図である。判定基準値設定回路１３は、最
大値検出部３１、最小値検出部３２、加算器３３及び減
算器３４で構成される。
【００３１】最大値検出部３１は、並列に出力される画
像データＹ(P0)〜Ｙ(P8)の内、画像データＹ(P1)〜Ｙ(P
8)を取り込み、それらの最大値レベルＨmaxを検出して
出力する。最小値検出部３２は、最大値検出部３１と同
様に画像データＹ(P1)〜Ｙ(P8)を取り込み、それらの最
小値レベルＨminを検出して出力する。
像データＹ(P0)〜Ｙ(P8)の内、画像データＹ(P1)〜Ｙ(P
8)を取り込み、それらの最大値レベルＨmaxを検出して
出力する。最小値検出部３２は、最大値検出部３１と同
様に画像データＹ(P1)〜Ｙ(P8)を取り込み、それらの最
小値レベルＨminを検出して出力する。
【００３２】加算器３３は、レジスタ１２で保持される
オフセット値ＯＳを取り込むと共に、最大値検出部３１
から出力される最大レベルＨmaxを取り込み、これらを
加算して第１の判定基準値Ｈwを設定する。減算器３４
は、レジスタ１２からオフセット値ＯＳを取り込むと共
に、最小値検出部３１から出力される最小値レベルＨmi
nを取り込み、最小値レベルＨminからオフセット値ＯＳ
を減算して第２の判定基準値Ｈbを設定する。
オフセット値ＯＳを取り込むと共に、最大値検出部３１
から出力される最大レベルＨmaxを取り込み、これらを
加算して第１の判定基準値Ｈwを設定する。減算器３４
は、レジスタ１２からオフセット値ＯＳを取り込むと共
に、最小値検出部３１から出力される最小値レベルＨmi
nを取り込み、最小値レベルＨminからオフセット値ＯＳ
を減算して第２の判定基準値Ｈbを設定する。
【００３３】尚、この判定基準値設定回路１３において
は、レジスタ１２から与えられるオフセット値ＯＳを信
号処理の過程で設定されるゲイン値に応じて変更する構
成を加えても良い。即ち、ゲイン値を取り込む構成を、
判定基準値設定回路１３の入力側に備え、ゲイン値に基
づく係数をオフセット値ＯＳに付加するようにして行
う。図７は、ゲイン調整に従ってオフセット値の変更を
行う構成を、判定基準値設定回路１３に加えたものの一
例を示す図である。尚、この図において、図６と同一の
回路においては、同じ符号が付してある。
は、レジスタ１２から与えられるオフセット値ＯＳを信
号処理の過程で設定されるゲイン値に応じて変更する構
成を加えても良い。即ち、ゲイン値を取り込む構成を、
判定基準値設定回路１３の入力側に備え、ゲイン値に基
づく係数をオフセット値ＯＳに付加するようにして行
う。図７は、ゲイン調整に従ってオフセット値の変更を
行う構成を、判定基準値設定回路１３に加えたものの一
例を示す図である。尚、この図において、図６と同一の
回路においては、同じ符号が付してある。
【００３４】信号処理回路３８は、撮像素子から出力さ
れた画像データＹ(n)を取り込み、例えば、１画面、或
いは、１垂直走査期間単位で積分して、その積分データ
に基づいて、レベル補正、ホワイトバランス補正等の信
号処理のための制御データＬを生成するように構成され
る。この信号処理回路３８は、生成された制御データに
基づいて、画像データＹ(n)の積分データが所定の範囲
内に収まるようにゲイン値を算出し、その算出したゲイ
ン値Ｇを係数付加回路３９に出力する。
れた画像データＹ(n)を取り込み、例えば、１画面、或
いは、１垂直走査期間単位で積分して、その積分データ
に基づいて、レベル補正、ホワイトバランス補正等の信
号処理のための制御データＬを生成するように構成され
る。この信号処理回路３８は、生成された制御データに
基づいて、画像データＹ(n)の積分データが所定の範囲
内に収まるようにゲイン値を算出し、その算出したゲイ
ン値Ｇを係数付加回路３９に出力する。
【００３５】係数付加回路３９は、ゲイン値Ｇを取り込
むと共に、メモリ回路１１から出力される画像データＹ
(P0)を取り込み、画像データＹ(P0)に対してゲイン値Ｇ
に基づく係数を付加する。例えば、係数をゲイン値Ｇの
逆数１／Ｇとすれば、係数付加回路３９から出力される
データはＯＳ／Ｇとなり、データＯＳ／Ｇと最大値レベ
ルＨmaxが加算されて第１の判定基準値Ｈwが生成される
と共に、最小値レベルＨbからデータＯＳ／Ｇが減算さ
れて第２の判定基準値Ｈbが生成される。このようにゲ
イン値Ｇの調整に応答してオフセット値ＯＳを変更設定
することで、画素欠陥データの検出レベルを撮像条件の
変化に対応付けることができる。
むと共に、メモリ回路１１から出力される画像データＹ
(P0)を取り込み、画像データＹ(P0)に対してゲイン値Ｇ
に基づく係数を付加する。例えば、係数をゲイン値Ｇの
逆数１／Ｇとすれば、係数付加回路３９から出力される
データはＯＳ／Ｇとなり、データＯＳ／Ｇと最大値レベ
ルＨmaxが加算されて第１の判定基準値Ｈwが生成される
と共に、最小値レベルＨbからデータＯＳ／Ｇが減算さ
れて第２の判定基準値Ｈbが生成される。このようにゲ
イン値Ｇの調整に応答してオフセット値ＯＳを変更設定
することで、画素欠陥データの検出レベルを撮像条件の
変化に対応付けることができる。
【００３６】図８は、検出回路１４の一例を示すブロッ
ク図である。検出回路１４は、第１の比較器４１、第２
の比較器４２で構成される。第１の比較器４１は、加算
器３３から出力される第１の判定基準値Ｈwと注目画素
Ｐ0の画像データＹ(P0)とを比較し、画像データＹ(P0)
が第１の判定基準値Ｈwを越えるとき、画素欠陥データ
の検出を示す検出出力Ｄwを立ち上げる。第２の比較器
４２は、減算器３４から出力される第２の判定基準値Ｈ
bと画像データＹ(P0)とを比較し、画像データＹ(P0)が
第２の判定基準値Ｈbを下回るとき、画素欠陥データの
検出を示す検出出力Ｄbを立ち上げる。
ク図である。検出回路１４は、第１の比較器４１、第２
の比較器４２で構成される。第１の比較器４１は、加算
器３３から出力される第１の判定基準値Ｈwと注目画素
Ｐ0の画像データＹ(P0)とを比較し、画像データＹ(P0)
が第１の判定基準値Ｈwを越えるとき、画素欠陥データ
の検出を示す検出出力Ｄwを立ち上げる。第２の比較器
４２は、減算器３４から出力される第２の判定基準値Ｈ
bと画像データＹ(P0)とを比較し、画像データＹ(P0)が
第２の判定基準値Ｈbを下回るとき、画素欠陥データの
検出を示す検出出力Ｄbを立ち上げる。
【００３７】図９は、補正回路１６の一例を示すブロッ
ク図である。補正回路１６は、第１及び第２の除算器５
１、５２、加算器５３及びセレクタ５４より構成され
る。第１及び第２の除算器５１、５２は、メモリ回路１
１から出力される周辺画素Ｐ4、Ｐ5に対応する画像デー
タＹ(d4)、Ｙ(d5)をそれぞれ取り込んで、画像データＹ
(P4)、Ｙ(P5)を１／２にする。加算器５３は、第１及び
第２の除算器５１、５２のそれぞれの除算結果を加算し
て補正データＹ'(P0)を生成する。セレクタ５４は、検
出回路１４から出力される検出出力Ｄw、Ｄbに応答し
て、画像データＹ(P0)と補正データＹ'(P0)との何れか
一方を選択的に出力する。即ち、セレクタ５４は、画素
欠陥データが検出されて検出出力Ｄw、Ｄbが立ち上げら
れたとき、補正データＹ'(P0)を選択し、検出出力Ｄw、
Ｄbの何れも立ち上げられないときは、画像データＹ(P
0)を選択して出力する。これにより、画素欠陥データが
検出されたのに応じて、補正データＹ'(P0)に置き換え
られ、画像データＹ(P0)が補正されて出力される。尚、
ここでは、検出出力Ｄw、Ｄbの何れかが立ち上がった時
点で、逐次補正データＹ'(P0)に置き換えられる。これ
により、再生画面上の一定位置に現れる画素欠陥による
ノイズだけでなく、画素欠陥と同等のレベル有するもの
であれば、再生画面上に不規則的に現れるノイズの要因
となるデータをも修正することができる。
ク図である。補正回路１６は、第１及び第２の除算器５
１、５２、加算器５３及びセレクタ５４より構成され
る。第１及び第２の除算器５１、５２は、メモリ回路１
１から出力される周辺画素Ｐ4、Ｐ5に対応する画像デー
タＹ(d4)、Ｙ(d5)をそれぞれ取り込んで、画像データＹ
(P4)、Ｙ(P5)を１／２にする。加算器５３は、第１及び
第２の除算器５１、５２のそれぞれの除算結果を加算し
て補正データＹ'(P0)を生成する。セレクタ５４は、検
出回路１４から出力される検出出力Ｄw、Ｄbに応答し
て、画像データＹ(P0)と補正データＹ'(P0)との何れか
一方を選択的に出力する。即ち、セレクタ５４は、画素
欠陥データが検出されて検出出力Ｄw、Ｄbが立ち上げら
れたとき、補正データＹ'(P0)を選択し、検出出力Ｄw、
Ｄbの何れも立ち上げられないときは、画像データＹ(P
0)を選択して出力する。これにより、画素欠陥データが
検出されたのに応じて、補正データＹ'(P0)に置き換え
られ、画像データＹ(P0)が補正されて出力される。尚、
ここでは、検出出力Ｄw、Ｄbの何れかが立ち上がった時
点で、逐次補正データＹ'(P0)に置き換えられる。これ
により、再生画面上の一定位置に現れる画素欠陥による
ノイズだけでなく、画素欠陥と同等のレベル有するもの
であれば、再生画面上に不規則的に現れるノイズの要因
となるデータをも修正することができる。
【００３８】以上のように、注目画素の周辺に配列され
る周辺画素の最大レベルにオフセット値を加算、或い
は、最小レベルからオフセット値を減算して生成した判
定基準値を注目画素に対応する画像データと比較して、
画素欠陥データを検出する。そして、画素欠陥データの
検出に応答して立ち上げられる検出出力に応じて、補正
データに置き換え、逐次画像データの補正を行う。尚、
本実施形態においては、補正データの生成を注目画素の
周辺に配列される２画素に基づいて行っているが、これ
に限られるものではなく、例えば、注目画素の周辺の１
画素を補正データとしても良いし、注目画素の周辺の２
画素以上の画素を対象にして行っても良い。例えば、４
画素を対象にして行う場合は、それぞれの画素のレベル
を１／４にしてそれらを加算して生成するか、或いは、
２画素のレベルを１／８、その他の２画素のレベルを３
／８というように各画素の割合を適当に割り振ったもの
を加算して生成する。
る周辺画素の最大レベルにオフセット値を加算、或い
は、最小レベルからオフセット値を減算して生成した判
定基準値を注目画素に対応する画像データと比較して、
画素欠陥データを検出する。そして、画素欠陥データの
検出に応答して立ち上げられる検出出力に応じて、補正
データに置き換え、逐次画像データの補正を行う。尚、
本実施形態においては、補正データの生成を注目画素の
周辺に配列される２画素に基づいて行っているが、これ
に限られるものではなく、例えば、注目画素の周辺の１
画素を補正データとしても良いし、注目画素の周辺の２
画素以上の画素を対象にして行っても良い。例えば、４
画素を対象にして行う場合は、それぞれの画素のレベル
を１／４にしてそれらを加算して生成するか、或いは、
２画素のレベルを１／８、その他の２画素のレベルを３
／８というように各画素の割合を適当に割り振ったもの
を加算して生成する。
【００３９】また、カラー撮像の場合は、注目画素と同
一の色成分に対応する複数の画素に基づいて判定基準値
を設定し、その判定基準値と注目画素に対応する画像デ
ータを比較して画素欠陥データを検出する。そして、画
素欠陥データを検出したとき、その画素欠陥データと注
目画素の同一の色成分に対応する複数の画素の少なくと
も１画素から生成された補正データに置き換えて、画素
欠陥を修正する。
一の色成分に対応する複数の画素に基づいて判定基準値
を設定し、その判定基準値と注目画素に対応する画像デ
ータを比較して画素欠陥データを検出する。そして、画
素欠陥データを検出したとき、その画素欠陥データと注
目画素の同一の色成分に対応する複数の画素の少なくと
も１画素から生成された補正データに置き換えて、画素
欠陥を修正する。
【００４０】
【発明の効果】本願発明によれば、画素欠陥以外の画像
信号に影響を与えることなく、画素欠陥の画像信号のみ
を修正することができる。これにより、良好な解像度を
維持したままで、画素欠陥によるノイズを除去すること
ができる。
信号に影響を与えることなく、画素欠陥の画像信号のみ
を修正することができる。これにより、良好な解像度を
維持したままで、画素欠陥によるノイズを除去すること
ができる。
【図１】本願発明の画像データの修正方法を説明するフ
ローチャートである。
ローチャートである。
【図２】注目画素と周辺画素との位置関係を示す平面図
である。
である。
【図３】カラー撮像における注目画素と周辺画素との位
置関係を示す平面図である。
置関係を示す平面図である。
【図４】本願発明の画像信号処理装置の構成を示すブロ
ック図である。
ック図である。
【図５】メモリ回路の構成を示すブロック図である。
【図６】判定基準値設定回路の構成を示すブロック図で
ある。
ある。
【図７】図６の構成にゲイン値に基づく係数を付加する
構成を示すブロック図である。
構成を示すブロック図である。
【図８】検出回路の構成を示すブロック図である。
【図９】補正回路の構成を示すブロック図である。
【図１０】従来の撮像装置の構成を示すブロック図であ
る。
る。
１：固体撮像素子
２：駆動回路
３：タイミング制御回路
４：アナログ信号処理回路
５：Ａ／Ｄ変換回路
６：デジタル信号処理回路
１１：メモリ回路
１２：レジスタ
１３：判定基準値設定回路
１４：検出回路
１５：遅延回路
１６：補正回路
２１、２２：第１、第２のラインメモリ
２３〜２８：第１〜第６のラッチ
３１：最大値検出部
３２：最小値検出部
３３、５３：加算器
３４：減算器
３９：付加回路
４１：第１の比較器
４２：第２の比較器
５１、５２：除算器
５４：セレクタ
フロントページの続き
Ｆターム(参考） 5B047 AB04 BB04 CB05 DA06 DC02
5C024 CX21 CX26 HX14 HX20 HX29
HX55
5C077 LL02 MM03 PP12 PP32 PP43
RR15 SS04
5C079 HB01 JA02 JA14 JA23 LA02
Claims (4)
- 【請求項１】 固体撮像素子から出力される画像データ
に含まれる画素欠陥データを検出し、順次修正する画像
データの修正方法であって、 注目画素の周辺に配列される複数の周辺画素の最大レベ
ル及び最小レベルを検出する第１のステップと、 前記最大レベルに所定のオフセット値を加算して第１の
判定基準値を設定し、前記最小レベルから所定のオフセ
ット値を減算して第２の判定基準値を設定する第２のス
テップと、 前記注目画素のレベルと前記第１及び第２の判定基準値
とを比較して、前記注目画素のレベルが前記第１の判定
基準値より大きいとき、或いは、前記第２の判定基準値
より小さいとき、その注目画素を画素欠陥と判定する第
３のステップと、 画素欠陥と判定された注目画素に対応する画像データを
前記複数の周辺画素の少なくとも１画素の画像データか
ら生成される補正データと置き換える第４のステップ
と、を備えたことを特徴とする画像データの修正方法。 - 【請求項２】 請求項１記載の画像データの修正方法に
おいて、 前記固体撮像素子は、複数の色成分が所定の順序で配列
されるカラーフィルタが装着され、１画素単位で各色成
分に対応する画像データを出力し、 前記第１及び第２の判定基準値は、前記複数の色成分毎
に設定され、 前記補正データは、前記注目画素と同一の色成分に対応
する複数の画素の少なくとも１画素から生成されること
を特徴とする画像データの修正方法。 - 【請求項３】 固体撮像素子から出力される画像データ
に含まれる画素欠陥データを検出し、順次修正する画像
信号処理装置において、 連続する適数行の画像データを保持し、注目画素に対応
する画像データと共に、前記注目画素の周辺に配列され
る複数の周辺画素に対応する画像データを供給するメモ
リ回路と、 所定のオフセット値を記憶するレジスタと、 前記複数の周辺画素の最大レベル及び最小レベルを検出
し、前記最大レベルに前記オフセット値を加算して第１
の判定基準値を設定すると共に、前記最小レベルから前
記オフセット値を減算して第２の判定基準値を設定する
判定基準値設定回路と、 前記注目画素と前記第１及び第２の判定基準値とを比較
して画素欠陥を検出し、検出出力を立ち上げる検出回路
と、 前記検出出力の立ち上がりに応答して前記注目画素に対
応する画像データを前記複数の周辺画素の少なくとも１
画素から生成される補正データに置き換える補正回路
と、を備えたことを特徴とする画像信号処理装置。 - 【請求項４】 請求項３記載の画像信号処理装置におい
て、 前記固体撮像素子は、複数の色成分が所定の順序で配列
されるカラーフィルタが装着され、１画素単位で各色成
分に対応する画像データを出力し、 前記判定基準値設定回路は、前記複数の色成分毎に前記
第１及び第２の判定基準値を設定し、 前記補正回路は、前記注目画素と同一の色成分に対応す
る複数の画素の少なくとも１画素から前記補正データを
生成することを特徴とする画像信号処理装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001205664A JP2003023570A (ja) | 2001-07-06 | 2001-07-06 | 画像データの修正方法及び画像信号処理装置 |
| TW091109756A TW571585B (en) | 2001-07-06 | 2002-05-10 | The correction method of image data and the image signal processing apparatus |
| CN02124712A CN1396764A (zh) | 2001-07-06 | 2002-06-21 | 图像数据的修正方法及图像信号处理装置 |
| US10/190,241 US20040012696A1 (en) | 2001-07-06 | 2002-07-03 | Method for correcting image signal and image signal processor |
| KR1020020038147A KR20030005009A (ko) | 2001-07-06 | 2002-07-03 | 화상 데이터의 수정 방법 및 화상 신호 처리 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001205664A JP2003023570A (ja) | 2001-07-06 | 2001-07-06 | 画像データの修正方法及び画像信号処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003023570A true JP2003023570A (ja) | 2003-01-24 |
Family
ID=19041932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001205664A Pending JP2003023570A (ja) | 2001-07-06 | 2001-07-06 | 画像データの修正方法及び画像信号処理装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20040012696A1 (ja) |
| JP (1) | JP2003023570A (ja) |
| KR (1) | KR20030005009A (ja) |
| CN (1) | CN1396764A (ja) |
| TW (1) | TW571585B (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007174104A (ja) * | 2005-12-20 | 2007-07-05 | Fujitsu Ltd | 画像処理回路及び画像処理方法 |
| JP2008160586A (ja) * | 2006-12-25 | 2008-07-10 | Samsung Techwin Co Ltd | 画像処理装置、画像処理方法、および撮像装置 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6803958B1 (en) * | 1999-03-09 | 2004-10-12 | Micron Technology, Inc. | Apparatus and method for eliminating artifacts in active pixel sensor (APS) imagers |
| US7301571B2 (en) | 2003-01-17 | 2007-11-27 | Fujifilm Corporation | Method and imaging apparatus for correcting defective pixel of solid-state image sensor, and method for creating pixel information |
| JP3914216B2 (ja) * | 2003-05-15 | 2007-05-16 | 松下電器産業株式会社 | 画像欠陥補正装置、及び、画像欠陥補正方法 |
| US7355639B2 (en) * | 2003-11-06 | 2008-04-08 | Omnivision Technologies, Inc. | Lens correction using processed YUV data |
| JP2005165209A (ja) * | 2003-12-05 | 2005-06-23 | Seiko Instruments Inc | 液晶表示装置 |
| CN1300744C (zh) * | 2003-12-09 | 2007-02-14 | 香港中文大学 | 对数字图像曝光不足的缺陷进行自动修正的方法和系统 |
| JP4255819B2 (ja) * | 2003-12-11 | 2009-04-15 | パナソニック株式会社 | 信号処理方法および画像取得装置 |
| US7477298B2 (en) * | 2004-08-30 | 2009-01-13 | Micron Technology, Inc. | Anti-eclipsing circuit for image sensors |
| US7643088B2 (en) * | 2004-12-01 | 2010-01-05 | Hewlett-Packard Development Company, L.P. | Artifact reduction in a digital video |
| US7573519B2 (en) * | 2005-10-26 | 2009-08-11 | Eastman Kodak Company | Method for correcting eclipse or darkle |
| CN101212703B (zh) * | 2006-12-29 | 2010-05-19 | 华晶科技股份有限公司 | 影像坏点像素实时检测方法 |
| JP4325703B2 (ja) * | 2007-05-24 | 2009-09-02 | ソニー株式会社 | 固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置 |
| JP5056501B2 (ja) * | 2008-03-12 | 2012-10-24 | 株式会社Ｊｖｃケンウッド | 撮像装置及びこれに用いる欠陥画素補正方法 |
| CN101262621B (zh) * | 2008-04-10 | 2010-11-10 | 北京中星微电子有限公司 | 一种故障像素检测的方法和装置 |
| TWI402793B (zh) * | 2008-10-01 | 2013-07-21 | Quanta Comp Inc | 影像處理裝置之校正裝置及校正方法 |
| JP5306081B2 (ja) * | 2009-07-01 | 2013-10-02 | 株式会社東芝 | 信号処理回路 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0638113A (ja) * | 1992-07-17 | 1994-02-10 | Sony Corp | 撮像装置 |
| JPH06197244A (ja) * | 1992-12-25 | 1994-07-15 | Mitsubishi Plastics Ind Ltd | 画像ノイズ補正方法 |
| JP3257131B2 (ja) * | 1993-03-30 | 2002-02-18 | ソニー株式会社 | 固体撮像装置の自動欠陥検出装置及び固体撮像装置 |
| JPH077675A (ja) * | 1993-06-21 | 1995-01-10 | Matsushita Electric Ind Co Ltd | 画素欠陥補正装置 |
| JP3785520B2 (ja) * | 1997-03-19 | 2006-06-14 | コニカミノルタホールディングス株式会社 | 電子カメラ |
| US6529238B1 (en) * | 1997-09-05 | 2003-03-04 | Texas Instruments Incorporated | Method and apparatus for compensation of point noise in CMOS imagers |
| US6618084B1 (en) * | 1997-11-05 | 2003-09-09 | Stmicroelectronics, Inc. | Pixel correction system and method for CMOS imagers |
| JP3544304B2 (ja) * | 1998-08-04 | 2004-07-21 | 日本ビクター株式会社 | 画素欠陥補正装置及び画素欠陥補正方法 |
| JP2000101924A (ja) * | 1998-09-21 | 2000-04-07 | Olympus Optical Co Ltd | 画像入力装置における欠陥検出補正装置 |
| US6806902B1 (en) * | 1999-06-08 | 2004-10-19 | Chrontel, Inc. | System and method for correcting bad pixel data in a digital camera |
| JP3717725B2 (ja) * | 1999-10-07 | 2005-11-16 | 三洋電機株式会社 | 画素欠陥検出方法及び画像処理装置 |
-
2001
- 2001-07-06 JP JP2001205664A patent/JP2003023570A/ja active Pending
-
2002
- 2002-05-10 TW TW091109756A patent/TW571585B/zh not_active IP Right Cessation
- 2002-06-21 CN CN02124712A patent/CN1396764A/zh active Pending
- 2002-07-03 KR KR1020020038147A patent/KR20030005009A/ko not_active Application Discontinuation
- 2002-07-03 US US10/190,241 patent/US20040012696A1/en not_active Abandoned
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007174104A (ja) * | 2005-12-20 | 2007-07-05 | Fujitsu Ltd | 画像処理回路及び画像処理方法 |
| US7978383B2 (en) | 2005-12-20 | 2011-07-12 | Fujitsu Semiconductor Limited | Image processing circuit and image processing method |
| JP2008160586A (ja) * | 2006-12-25 | 2008-07-10 | Samsung Techwin Co Ltd | 画像処理装置、画像処理方法、および撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1396764A (zh) | 2003-02-12 |
| TW571585B (en) | 2004-01-11 |
| US20040012696A1 (en) | 2004-01-22 |
| KR20030005009A (ko) | 2003-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7133073B1 (en) | Method and apparatus for color interpolation | |
| JP2003023570A (ja) | 画像データの修正方法及び画像信号処理装置 | |
| US8310577B1 (en) | Method and apparatus for color compensation | |
| US8634003B2 (en) | Image sensing apparatus that estimates dark current and control method therefor | |
| JP3717725B2 (ja) | 画素欠陥検出方法及び画像処理装置 | |
| KR100986203B1 (ko) | 촬상 장치 및 이에 이용하는 결함 화소 보정 방법 | |
| CN101505368A (zh) | 逐行到隔行转换方法、图像处理装置、成像装置 | |
| JPH11191892A (ja) | 画像信号処理装置 | |
| US20140307130A1 (en) | Imaging device | |
| JP4616794B2 (ja) | 画像データのノイズ低減装置およびその制御方法 | |
| JP3630149B2 (ja) | 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム | |
| JP5446955B2 (ja) | 撮像装置 | |
| JP2007318630A (ja) | 画像入力装置、撮像モジュール、及び固体撮像装置 | |
| JP3864021B2 (ja) | ビデオカメラ | |
| JP4252045B2 (ja) | 画素欠陥補正方法 | |
| JP2007214674A (ja) | 撮像装置 | |
| US20110298959A1 (en) | Image sensing apparatus and control method therefor | |
| JP4732795B2 (ja) | 固体撮像装置および画像補正方法 | |
| JPH07123421A (ja) | 撮像装置 | |
| JP2007228152A (ja) | 固体撮像装置および撮像方法 | |
| JP4859223B2 (ja) | 画像欠陥補正装置、画像欠陥補正方法、及びプログラム | |
| KR100738180B1 (ko) | 이미지 센서 및 이미지 센서의 칼라 보간 방법 | |
| JP5008122B2 (ja) | 固体撮像素子の欠陥画素補正方法および欠陥画素補正装置 | |
| KR20150107563A (ko) | 화상 처리 장치 및 고체 촬상 장치 | |
| JP3490748B2 (ja) | 測光装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051227 |