JP2011041039A - 撮像装置およびプログラム - Google Patents

撮像装置およびプログラム Download PDF

Info

Publication number
JP2011041039A
JP2011041039A JP2009187063A JP2009187063A JP2011041039A JP 2011041039 A JP2011041039 A JP 2011041039A JP 2009187063 A JP2009187063 A JP 2009187063A JP 2009187063 A JP2009187063 A JP 2009187063A JP 2011041039 A JP2011041039 A JP 2011041039A
Authority
JP
Japan
Prior art keywords
defective pixel
correction
defective
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009187063A
Other languages
English (en)
Other versions
JP5299159B2 (ja
Inventor
Wataru Sugawara
渉 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2009187063A priority Critical patent/JP5299159B2/ja
Publication of JP2011041039A publication Critical patent/JP2011041039A/ja
Application granted granted Critical
Publication of JP5299159B2 publication Critical patent/JP5299159B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】記憶部での登録限度数に拘らず、補正対象とするすべての欠陥画素を補正することを可能とする撮像装置およびその欠陥画素補正のためのプログラムを提供する。
【解決手段】複数の画素を有する撮像素子(20)から出力された複数の電気信号に基づいて画像データを生成する画像生成手段(28)を備え、画像生成手段が、欠陥画素補正動作により画像生成データの欠陥画素補正を行う欠陥画素補正部42を有する撮像装置であって、画像生成手段は、欠陥画素の影響の変化の判断基準に対応付けた欠陥画素レベルに基づいて補正対象とする補正画素数を設定し、補正画素数が、記憶部43に登録可能な欠陥画素データの数である登録限度数を超えた場合、補正対象とする画素データを重複させることなく補正画素数の欠陥画素補正を行うべく、記憶部43における欠陥画素データの登録内容を変更しつつ欠陥画素補正部42での欠陥画素補正動作を繰り返す。
【選択図】図4

Description

本発明は、撮像装置およびプログラムに関し、特に、欠陥画素補正機能を有するデジタルスチルカメラ等の撮像装置およびその欠陥画素補正のためのプログラムに関する。
デジタルスチルカメラに使用される撮像素子、例えばCCDでは、半導体の製造工程において、全ての画素が完全に同一性能で形成されるわけではなく、欠陥画素もできてしまう。しかし、製品の歩留まり上、所定の数以下の個数の欠陥画素があっても、良品のCCDとしてデジタルスチルカメラ等の商品に使用されるのが一般的である。このため、当該商品では、その欠陥画素のCCD上の縦横座標(アドレス)等(以下、欠陥画素データ)を予め商品に設けられた欠陥画素補正部の記憶部に格納しておき、撮影時に欠陥画素補正部において、撮像データにおける記憶部に格納された欠陥画素のアドレスに相当する画素データを、隣接する同じカラーフィルタの画素データで補間し、その後、静止画画像処理をする等の欠陥画素補正処理を実施することが考えられている。
また、CCDでは、上述した欠陥画素とは別に、暗電流特性の悪い画素(温度キズ)である欠陥画素も存在する。この暗電流による欠陥画素は、動的な欠陥要因であるので、上述したように欠陥画素補正処理を実施する際、露光秒時等の撮影パラメータによって、CCDにおいて補正対象とする欠陥画素(およびその数)を変更し、それに応じて欠陥画素補正することが考えられている(例えば、特許文献1参照)。
ところで、このような撮像装置では、装置全体としての大きさ寸法を出来る限り小さくすることが要求されているとともに内部には種々の機能のための機構が収容されることから、欠陥画素補正処理のための欠陥画素補正部およびその記憶部の回路等の構成を大規模なものとすることができず、記憶部に格納することができる欠陥画素データの数(欠陥画素数)には限りがある。
このため、撮像素子において補正対象とする欠陥画素の数が、欠陥画素補正部の記憶部に登録可能な欠陥画素数(登録限度数)を超えてしまうと、補正対象とするすべての欠陥画素を補正することができなくなってしまう。
本発明は、上記の問題に鑑みて為されたもので、記憶部での登録限度数に拘らず、補正対象とするすべての欠陥画素を補正することを可能とする撮像装置およびその欠陥画素補正のためのプログラムを提供することを目的としている。
上記課題を解決するため、請求項1に係る発明は、複数の画素を有する撮像素子から出力された複数の電気信号に基づいて画像データを生成する画像生成手段を備え、該画像生成手段が、前記画像データの生成過程における画像生成データが入力されると、該画像生成データにおいて、記憶部に登録された前記撮像素子における各欠陥画素データに相当する画素データを補正する欠陥画素補正動作により、前記画像生成データの欠陥画素補正を行う欠陥画素補正部を有する撮像装置であって、前記画像生成手段は、欠陥画素の影響の変化の判断基準に対応付けた欠陥画素レベルに基づいて補正対象とする補正画素数を設定し、該補正画素数が、前記記憶部に登録可能な前記欠陥画素データの数である登録限度数を超えた場合、補正対象とする画素データを重複させることなく前記補正画素数の欠陥画素補正を行うべく、前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返すことを特徴とする。
請求項2に係る発明は、請求項1に記載の撮像装置であって、さらに、前記画像生成手段が適宜格納および読出することのできるメモリを備え、前記欠陥画素データは、前記撮像素子から出力される電気信号に基づいて前記欠陥画素レベルを判断し、該欠陥画素レベルが前記判断基準における設定条件に対応付けた補正判断値を超えた前記画素の前記撮像素子上の縦横座標に、対応する前記設定条件および前記欠陥画素レベルを関連付けて生成されて前記メモリに格納され、前記画像生成手段は、前記設定条件に適合する前記欠陥画素データを前記メモリから読み出して前記記憶部に登録することを特徴とする。
請求項3に係る発明は、請求項1または請求項2に記載の撮像装置であって、前記画像生成手段は、設定した前記補正画素数が前記登録限度数を超えた場合、前記画像生成データを、前記補正画素数を前記登録限度数で除算して得られた商の少数以下を切り上げた値で等分して複数の分割画像データに区分けし、各該分割画像データ毎に前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返すことを特徴とする。
請求項4に係る発明は、請求項1または請求項2に記載の撮像装置であって、前記画像生成手段は、設定した前記補正画素数が前記登録限度数を超えた場合、前記画像生成データに対して、前記登録限度数の前記欠陥画素データを前記記憶部に登録して前記欠陥画素補正部での前記欠陥画素補正動作を行い、その後、前記画像生成データを、前記補正画素数が前記登録限度数を減算した差分を該登録限度数で除算して得られた商の少数以下を切り上げた値で等分して複数の分割画像データに区分けし、最初の前記欠陥画素補正動作での欠陥画素補正とは補正対象とする画素データが重複しないように各該分割画像データ毎に前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返すことを特徴とする。
請求項5に係る発明は、請求項1または請求項2に記載の撮像装置であって、前記画像生成手段は、設定した前記補正画素数が前記登録限度数を超えた場合、前記画像生成データに対して、前記欠陥画素レベルが高い方から順に前記登録限度数の前記欠陥画素データを前記記憶部に登録して前記欠陥画素補正部での前記欠陥画素補正動作を行い、その後、前記画像生成データを、前記補正画素数が前記登録限度数を減算した差分を該登録限度数で除算して得られた商の少数以下を切り上げた値で等分して複数の分割画像データに区分けし、最初の前記欠陥画素補正動作での欠陥画素補正とは補正対象とする画素データが重複しないように各該分割画像データ毎に前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返すことを特徴とする。
請求項6に係る発明は、請求項3ないし請求項5のいずれか1項に記載の撮像装置であって、前記欠陥画素データは、等分された前記分割画像データに対応する前記撮像素子上での区画毎に、前記撮像素子から出力される電気信号に基づいて前記欠陥画素レベルを判断し、該欠陥画素レベルが前記判断基準における設定条件に対応付けた補正判断値を超えた前記画素の前記撮像素子上の縦横座標に、対応する前記設定条件および前記欠陥画素レベルを関連付けて生成されて前記メモリに格納されていることを特徴とする。
請求項7に係る発明は、請求項2ないし請求項6のいずれか1項に記載の撮像装置であって、前記判断基準は露光時間であり、前記設定条件は露光時間として設定された数値であることを特徴とする。
請求項8に係る発明は、請求項2ないし請求項6のいずれか1項に記載の撮像装置であって、前記判断基準はISO感度であり、前記設定条件はISO感度として設定された数値であることを特徴とする。
請求項9に係る発明は、複数の画素を有する撮像素子から出力された複数の電気信号に基づいて画像データを生成する画像生成手段を備え、該画像生成手段が、前記画像データの生成過程における画像生成データが入力されると、該画像生成データにおいて、記憶部に登録された前記撮像素子における各欠陥画素データに相当する画素データを補正する欠陥画素補正動作により、前記画像生成データの欠陥画素補正を行う欠陥画素補正部を有する撮像装置の制御部に、前記欠陥画素補正部による欠陥画素を補正する機能を実現させるためのプログラムであって、前記画像生成手段に、欠陥画素の影響の変化の判断基準に対応付けた欠陥画素レベルに基づいて補正対象とする補正画素数を設定させる機能と、該補正画素数が、前記記憶部に登録可能な前記欠陥画素データの数である登録限度数を超えた場合、補正対象とする画素データを重複させることなく前記補正画素数の欠陥画素補正を行うべく、前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返させる機能と、を実現させることを特徴とする。
請求項10に係る発明は、請求項9に記載のプログラムであって、前記画像生成手段に、前記撮像素子から出力される電気信号に基づいて前記欠陥画素レベルを判断し、該欠陥画素レベルが前記判断基準における設定条件に対応付けた補正判断値を超えた前記画素の前記撮像素子上の縦横座標に、対応する前記設定条件および前記欠陥画素レベルを関連付けて生成されて前記メモリに格納された前記欠陥画素データのうち、前記設定条件に適合する前記欠陥画素データを前記メモリから読み出して前記記憶部に登録する機能を、実現させることを特徴とする。
請求項11に係る発明は、請求項9または請求項10に記載のプログラムであって、前記画像生成手段に、設定した前記補正画素数が前記登録限度数を超えた場合、前記画像生成データを、前記補正画素数を前記登録限度数で除算して得られた商の少数以下を切り上げた値で等分して複数の分割画像データに区分けし、各該分割画像データ毎に前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返させる機能を、実現させることを特徴とする。
請求項12に係る発明は、請求項9または請求項10に記載のプログラムであって、前記画像生成手段に、設定した前記補正画素数が前記登録限度数を超えた場合、前記画像生成データに対して、前記登録限度数の前記欠陥画素データを前記記憶部に登録して前記欠陥画素補正部での前記欠陥画素補正動作を行わせ、かつ、その後、前記画像生成データを、前記補正画素数が前記登録限度数を減算した差分を該登録限度数で除算して得られた商の少数以下を切り上げた値で等分して複数の分割画像データに区分けし、最初の前記欠陥画素補正動作での欠陥画素補正とは補正対象とする画素データが重複しないように各該分割画像データ毎に前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返させる機能を、実現させることを特徴とする。
請求項13に係る発明は、請求項11または請求項12に記載のプログラムであって、前記欠陥画素データとして、等分された前記分割画像データに対応する前記撮像素子上での区画毎に、前記撮像素子から出力される電気信号に基づいて前記欠陥画素レベルを判断し、該欠陥画素レベルが前記判断基準における設定条件に対応付けた補正判断値を超えた前記画素の前記撮像素子上の縦横座標に、対応する前記設定条件および前記欠陥画素レベルを関連付けて生成されて前記メモリに格納する機能を、実現させることを特徴とする。
本発明に係る撮像装置によれば、設定した補正対象とする補正画素数が登録限度数を超える場合であっても、欠陥画素補正部での欠陥画素補正動作を繰り返すことにより、その超えた数の画素を2回目以降(設定条件によっては2回)の欠陥画素補正部での欠陥画素補正動作により補正するので、補正が必要とされる補正画素数と記憶部の登録限度数との関係に拘らず、撮像素子の全ての欠陥画素を補正することができる。
また、欠陥画素補正部での欠陥画素補正動作の繰り返しの際、補正対象とする画素データを重複させることなく補正画素数の欠陥画素補正を行うように、記憶部における欠陥画素データの登録内容を変更させるので、設定した補正画素数だけ補正すること、換言すると過不足なく適切に補正することができ、欠陥画素の補正不足や過補正に基因する画質の低下を防止することができる。
上記した構成に加えて、さらに、前記画像生成手段が適宜格納および読出することのできるメモリを備え、前記欠陥画素データは、前記撮像素子から出力される電気信号に基づいて前記欠陥画素レベルを判断し、該欠陥画素レベルが前記判断基準における設定条件に対応付けた補正判断値を超えた前記画素の前記撮像素子上の縦横座標に、対応する前記設定条件および前記欠陥画素レベルを関連付けて生成されて前記メモリに格納され、前記画像生成手段は、前記設定条件に適合する前記欠陥画素データを前記メモリから読み出して前記記憶部に登録することとすると、欠陥画素補正部が、欠陥画素補正動作を繰り返す際、記憶部にはメモリから読み出された設定条件に適合する欠陥画素データが登録されているので、設定条件に適合する適切な欠陥画素補正を行うことができる。
上記した構成に加えて、前記画像生成手段は、設定した前記補正画素数が前記登録限度数を超えた場合、前記画像生成データを、前記補正画素数を前記登録限度数で除算して得られた商の少数以下を切り上げた値で等分して複数の分割画像データに区分けし、各該分割画像データ毎に前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返すこととすると、欠陥画素補正部での欠陥画素補正に要する処理時間が入力されるデータ量に略比例することから、撮像素子の全ての欠陥画素を補正する際の処理時間を、欠陥画素補正部での欠陥画素補正動作の回数に拘らず、分割される前の画像生成データを欠陥画素補正部で欠陥画素補正処理させる場合と略等しいものとすることができる。
上記した構成に加えて、前記画像生成手段は、設定した前記補正画素数が前記登録限度数を超えた場合、前記画像生成データに対して、前記登録限度数の前記欠陥画素データを前記記憶部に登録して前記欠陥画素補正部での前記欠陥画素補正動作を行い、その後、前記画像生成データを、前記補正画素数が前記登録限度数を減算した差分を該登録限度数で除算して得られた商の少数以下を切り上げた値で等分して複数の分割画像データに区分けし、最初の前記欠陥画素補正動作での欠陥画素補正とは補正対象とする画素データが重複しないように各該分割画像データ毎に前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返すこととすると、初めに撮像素子の全領域に対して登録限度数の欠陥画素の補正を行うことにより、より適切に欠陥画素補正をすることができ、その後の残りの補正画素数分の欠陥画素補正を各分割画像データに対して行うことにより、残りの補正画素数分の欠陥画素補正に要する処理時間の増大を抑制することができる。
上記した構成に加えて、前記画像生成手段は、設定した前記補正画素数が前記登録限度数を超えた場合、前記画像生成データに対して、前記欠陥画素レベルが高い方から順に前記登録限度数の前記欠陥画素データを前記記憶部に登録して前記欠陥画素補正部での前記欠陥画素補正動作を行い、その後、前記画像生成データを、前記補正画素数が前記登録限度数を減算した差分を該登録限度数で除算して得られた商の少数以下を切り上げた値で等分して複数の分割画像データに区分けし、最初の前記欠陥画素補正動作での欠陥画素補正とは補正対象とする画素データが重複しないように各該分割画像データ毎に前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返すこととすると、初めに欠陥画素レベルが高い方から順に登録限度数だけ撮像素子の全領域に対して欠陥画素の補正を行うことにより、さらに適切に欠陥画素補正をすることができ、その後の残りの補正画素数分の欠陥画素補正を各分割画像データに対して行うことにより、残りの補正画素数分の欠陥画素補正に要する処理時間の増大を抑制することができる。
上記した構成に加えて、前記欠陥画素データは、等分された前記分割画像データに対応する前記撮像素子上での区画毎に、前記撮像素子から出力される電気信号に基づいて前記欠陥画素レベルを判断し、該欠陥画素レベルが前記判断基準における設定条件に対応付けた補正判断値を超えた前記画素の前記撮像素子上の縦横座標に、対応する前記設定条件および前記欠陥画素レベルを関連付けて生成されて前記メモリに格納されていることとすると、設定条件に応じた各分割画像データでの欠陥画素データを適切に欠陥画素補正部の記憶部に登録することができ、かつ欠陥画素補正処理のための各欠陥画素データを効率よくメモリに格納することができる。
上記した構成に加えて、前記判断基準は露光時間であり、前記設定条件は露光時間として設定された数値であることとすると、撮影時の露光時間に応じて適切に欠陥画素を補正することができる。
上記した構成に加えて、前記判断基準はISO感度であり、前記設定条件はISO感度として設定された数値であることとすると、撮影時のISO感度に応じて適切に欠陥画素を補正することができる。
本発明の実施例1に係る撮像装置の一例としてのデジタルスチルカメラ(以下、「デジタルカメラ1」という)を示す説明図であり、(a)は正面図であり、(b)は上面図であり、(c)は背面図である。 図1のデジタルカメラ1のシステム構成の概要を示すブロック図である。 デジタルカメラ1に用いられるRGBフィルタを模式的に示す説明図である。 各優先補正画素群PにおけるRAM44に格納された欠陥画素のアドレス(CCD20上の縦横座標)のデータの個数(欠陥画素のデータ数)等を表で示す説明図である。 制御部28にて実行される実施例1の欠陥画素補正処理内容を示すフローチャートである。 図5のフローチャートにおけるステップS4の処理内容を示すフローチャートである。 各優先補正画素群PNMにおけるRAM44に格納された欠陥画素のアドレス(CCD20上の縦横座標)のデータの個数(欠陥画素のデータ数)等を表で示す図4と同様の説明図である。 取得した画像(画像データ)をS等分した様子を説明するための説明図であり、(a)は4分割した様子を示し、(b)は2分割した様子を示している。 制御部28にて実行される実施例2の欠陥画素補正処理内容を示すフローチャートである。 図9のフローチャートにおけるステップS24の処理内容を示すフローチャートである。 各優先補正画素群P´もしくは各優先補正画素群PNM´におけるRAM44に格納された欠陥画素のアドレス(CCD20上の縦横座標)のデータの個数(欠陥画素のデータ数)等を表で示す図4および図7と同様の説明図である。 制御部28にて実行される実施例3の欠陥画素補正処理内容を示すフローチャートである。 図12のフローチャートにおけるステップS56の処理内容を示すフローチャートである。
以下に、本発明に係る撮像装置およびその撮像装置で実行される欠陥画素補正処理のためのプログラムの実施の形態を図面を参照しつつ説明する。
図1は、本発明の実施例1に係る撮像装置の一例としてのデジタルスチルカメラ(以下、「デジタルカメラ1」という)を示す説明図であり、(a)は正面図であり、(b)は上面図であり、(c)は背面図である。図2は、図1のデジタルカメラ1のシステム構成の概要を示すブロック図である。図3は、デジタルカメラ1に用いられるRGBフィルタを模式的に示す説明図である。図4は、各優先補正画素群PにおけるRAM44に格納された欠陥画素のアドレス(CCD20上の縦横座標)のデータの個数(欠陥画素のデータ数)等を表で示す説明図である。
(デジタルカメラの外観構成)
実施例1のデジタルカメラ1では、図1に示すように、上面側に、レリーズボタン(シャッタボタン)2、電源ボタン3、撮影・再生切替ダイアル4が設けられ、正面(前面)側に、撮影レンズ系5を有する鏡胴ユニット6、ストロボ発光部(フラッシュ)7、光学ファインダ8が設けられている。
また、デジタルカメラ1では、背面側に、液晶モニタ(LCD)9、前記光学ファインダ8の接眼レンズ部8a、広角側ズーム(W)スイッチ10、望遠側ズーム(T)スイッチ11、メニュー(MENU)ボタン12、確定ボタン(OKボタン)13等が設けられている。このデジタルカメラ1の側面内部には、撮影した画像データを保存するためのメモリカード14(図2参照)を収納するメモリカード収納部15が設けられている。なお、本発明に係る撮像装置の外観は、必ずしも実施例1に限定されるものではなく、他の外観を備えていてもよい。
(デジタルカメラのシステム構成)
デジタルカメラ1は、図2に示すように、鏡胴ユニット6の撮影レンズ系5を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのCCD20、CCD20から出力される電気信号(アナログRGB画像信号)をデジタル信号に処理するアナログフロントエンド部21(以下、「AFE部21」という)、AFE部21から出力されるデジタル信号を処理する信号処理部22、データを一時的に格納するSDRAM23、制御プログラム等が記憶されたROM24、鏡胴ユニット6を駆動するモータドライバ25、後述する制御部28が適宜データを格納および読み出すことが可能とされたメモリとしてのRAM44等を備えている。
撮影レンズ系5は、ズームレンズやフォーカスレンズ等を有する。鏡胴ユニット6は、撮影レンズ系5、絞りユニット26、メカシャッタユニット27を有し、その撮影レンズ系5、絞りユニット26、メカシャッタユニット27の各駆動ユニットは、モータドライバ25によって駆動される。モータドライバ25は、信号処理部22の制御部(CPU)28からの駆動信号により駆動制御される。
CCD20は、結像された被写体像を電気信号(画像データ)に変換して出力する固体撮像素子である。このCCD20は、受光面全体が画素(ピクセル)と呼ばれる格子状の領域(以下、画素20a(図3参照)ともいう)に分割されており、デジタルデータである画素データの集合で構成される画像データを、電気信号として出力する。CCD20では、分割された各領域(画素)にベイヤー配列を構成するように色フィルタ(RGB、CYM等)が設けられており、実施例1では、図3に示すように、ベイヤー配列のRGB原色フィルタ(以下、「RGBフィルタ」という)が配置されている。このため、CCD20は、各画素20aからRGB3原色に対応した電気信号(アナログRGB画像信号)を出力する。なお、CCD20は、固体撮像素子としてのCMOS型イメージセンサ等で構成することもできる。
AFE部21は、CCD20を駆動するTG(タイミング信号発生部)30、CCD20から出力される電気信号(アナログRGB画像信号)をサンプリングするCDS(相関2重サンプリング部)31、CDS31にてサンプリングされた信号のゲインを調整するAGC(アナログ利得制御部)32、AGC32でゲイン調整された信号をデジタル信号(以下、「RAW−RGBデータ」という)に変換するA/D変換部33を有する。
信号処理部22は、CCDインターフェース(以下、「CCDI/F」という)34と、メモリコントローラ35と、YUV変換部36と、リサイズ処理部37と、表示出力制御部38と、データ圧縮部39と、メディアインターフェース(以下、「メディアI/F」という)40と、欠陥画素補正部42と、制御部(CPU)28と、を有する。
CCDI/F34は、AFE部21のTG30へ画面水平同期信号(HD)と画面垂直同期信号(VD)の出力を行い、これらの同期信号に合わせて、AFE部21のA/D変換部33から出力されるRAW−RGBデータを取り込む。メモリコントローラ35は、SDRAM23を制御する。YUV変換部36は、CCDI/F34にて取り込んだRAW−RGBデータを、表示や記録が可能なYUV形式の画像データに変換する。リサイズ処理部37は、表示や記録される画像データのサイズに合わせて画像サイズを変更する。表示出力制御部38は、画像データの表示出力を制御する。データ圧縮部39は、画像データをJPEG形式等で記録させるべくデータの変換を行う。メディアI/F40は、画像データをメモリカード14へ書き込み、またはメモリカード14に書き込まれた画像データを読み出す。欠陥画素補正部42は、CCD20にて取得された画像データが、信号処理部22内を伝播する過程において、欠陥画素の補正を行うものである。この欠陥画素の補正については、後に詳述する。制御部28は、操作部41からの操作入力情報等に応じて、ROM24に記憶された制御プログラムに基づいてデジタルカメラ1全体のシステム制御等を行う。
操作部41は、デジタルカメラ1の外観表面に設けられているレリーズボタン2、電源ボタン3、撮影・再生切替ダイアル4、広角側ズームスイッチ10、望遠側ズームスイッチ11、メニューボタン12、確定ボタン13等(図1参照)であり、撮影者の操作に応じた所定の動作指示信号が制御部28に入力される。
SDRAM23には、CCDI/F34に取り込まれたRAW−RGBデータが保存されるとともに、YUV変換部36で変換処理されたYUVデータ(YUV形式の画像データ)が保存され、加えて、データ圧縮部39で圧縮処理されたJPEG形成などの画像データが保存される。なお、このYUVデータとは、輝度データ(Y)と、輝度データと青色(B)成分データの差分である色差(U)と、輝度データと赤色(R)成分データの差分である色差(V)の情報で色を表現する形式である。
(デジタルカメラのモニタリング動作、静止画撮影動作)
次に、前記したデジタルカメラ1のモニタリング動作と静止画撮影動作について説明する。このデジタルカメラ1は、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
先ず、撮影者が電源ボタン3をONし、撮影・再生切替ダイアル4を撮影モードに設定することで、デジタルカメラ1が記録モードで起動する。制御部28は、電源ボタン3がONされて、撮影・再生切替ダイアル4が撮影モードに設定されたことを検知すると、モータドライバ25に制御信号を出力して、鏡胴ユニット6を撮影可能位置に移動させ、かつ、CCD20、AFE部21、信号処理部22、SDRAM23、ROM24、液晶モニタ9等を起動させる。
そして、鏡胴ユニット6の撮影レンズ系5が被写体に向けられることにより、撮影レンズ系5を通して入射される被写体画像がCCD20の各画素の受光面上に結像する。そして、CCD20から出力される被写体画像に応じた電気信号(アナログRGB画像信号)は、CDS31、AGC32を介してA/D変換部33に入力され、A/D変換部33により12ビット(bit)のRAW−RGBデータに変換される。
このRAW−RGBデータは、信号処理部22のCCDI/F34に取り込まれてメモリコントローラ35を介してSDRAM23に保存される。そして、SDRAM23から読み出されたRAW−RGBデータは、YUV変換部36でYUVデータ(YUV信号)に変換された後に、メモリコントローラ35を介してSDRAM23にYUVデータとして保存される。
そして、SDRAM23からメモリコントローラ35を介して読み出されるYUVデータは、表示出力制御部38を介して液晶モニタ(LCD)9へ送られ、液晶モニタ(LCD)9において撮影画像が表示される。その液晶モニタ(LCD)9に撮影画像を表示しているモニタリング時においては、CCDI/F34による画素数の間引き処理により1/30秒の時間で1フレームが読み出されている。このため、AFE部21および信号処理部22は、制御部28の制御下で画像生成手段として機能する。
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ(LCD)9に撮影画像が表示されているだけで、まだレリーズボタン2が押圧(半押も含む)操作されていない状態である。
この撮影画像の液晶モニタ(LCD)9への表示によって、撮影者は、静止画を撮影するための構図の確認等を行うことができる。なお、デジタルカメラ1では、表示出力制御部38からTVビデオ信号として出力して、ビデオケーブルを介して外部のTV(テレビ)(図示せず)に撮影画像を表示することもできる。
(欠陥画素とその検出方法)
デジタルスチルカメラに使用される撮像素子(上記したCCD20等)では、半導体の製造工程において、全ての受光素子が完全に同一性能で形成されるわけではなく、一部の受光素子に欠陥が生じてしまうことがある。この欠陥が生じてしまった受光素子に相当する画素を、以下では欠陥画素という。しかし、製品の歩留まり上、所定の数以下の個数の欠陥画素があっても、良品の撮像素子としてデジタルスチルカメラ等の商品に使用されるのが一般的である。このため、デジタルカメラ1では、その欠陥画素のCCD20上における縦横座標(アドレス)等(以下、欠陥画素データ)を予めRAM44等に格納しておき、撮影時に、撮像データにおけるRAM44等に格納された欠陥画素のアドレスに相当する画素データに対して欠陥画素補正処理を実施する。この欠陥画素は、例えば、画像全体の輝度値の平均値であるAE評価値が128程度の真白な画像を取得させ、当該画像データの各画素データにおいて、輝度値の128からの差異が所定の値よりも大きいか否かを判断することにより、検出することができる。ここで、輝度値が128よりも低いものを黒キズといい、輝度値が128よりも高いものを白キズという。
また、上述の欠陥画素とは別に、暗電流特性の悪い画素(温度キズ)である欠陥画素も存在する。この温度キズは、暗電流が増えたり蓄積されたりする条件、すなわち撮像素子の温度が上昇したり露光時間が長くなったりするほど影響が大きくなるという動的な欠陥要因である。このため、この温度キズの欠陥画素では、通常1秒程度の露光では問題とならないが、露光時間が長くなるに従って暗電流の増加が大きくなり、それが画像データに重畳され、画像上において輝点となって見える。夜景撮影等の長時間露光撮影による画像において、点々の星状のノイズとして現れるものがこれである。この温度キズの欠陥画素は、300万画素の撮像素子に対して60個程度であり、個々の欠陥画素のアドレスをRAM44等に格納しておくことができる。しかし、温度キズの欠陥画素は、上述したように動的な欠陥要因であることから、露光秒時などの撮影パラメータによって補正しなければならない。この温度キズの欠陥画素は、例えば、遮光して真暗な画像を取得させ、当該画像データの各画素データにおいて、輝度値が所定の値よりも大きいか否かを判断することにより、検出することができる。
(欠陥画素の基本的な補正方法)
欠陥画素の補正は基本的に以下の方法で行われる。
先ず、デジタルカメラ1では、上記したように検出してRAM44等に格納した欠陥画素のアドレス(CCD20上の縦横座標)のデータを、信号処理部22の欠陥画素補正部42の記憶部43に登録(格納)する。その後、レリーズ2(図1参照)が押し下げられて、上述したようにCCD20により取得された画像データが信号処理部22内を伝播される過程において、当該画像データ(生成過程の画像データである画像生成データ)が欠陥画素補正部42へと送られる。欠陥画素補正部42では、当該画像データ(その各画素データ)において、記憶部43に登録された欠陥画素のアドレスに相当する画素データを読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間する。
ここでいう周辺の画素とは、緑色(G)の場合、水平方向に隣接する両隣の画素または垂直方向に隣接する両隣の画素あるいは斜め方向に隣接する両隣の画素をいい、青色(B)や赤色(R)の場合、水平方向に隣接する両隣の画素または垂直方向に隣接する両隣の画素をいう。
実施例1では、基本的には、注目した欠陥画素(補正対象としての欠陥画素)の水平方向に隣接する両隣の画素データの平均値を、当該注目した欠陥画素の画素データとすることにより補間する。ここで、注目した欠陥画素が、画像データにおける左端または右端に位置していた場合は、水平方向に隣接する画素データを、当該注目した欠陥画素の画素データとすることにより補正する。
また、実施例1では、RGBフィルタで見て同色の欠陥画素が、水平方向に2つ並んでいる場合(以下では、連続2画素の欠陥画素ともいう)であっても、補正することができる。この注目した連続2画素の欠陥画素を補正する場合、一方の欠陥画素が他方の欠陥画素とは逆側で隣接する画素データを、当該一方の欠陥画素の画素データとし、他方の欠陥画素が一方の欠陥画素とは逆側で隣接する画素データを、当該他方の欠陥画素の画素データとすることにより、補間する。ここで、注目した連続2画素の欠陥画素が、画像データにおける左端または右端に位置していた場合は、水平方向に隣接する画素データとそれに隣接する画素データとの2画素分の画素データを、当該注目した連続2画素の欠陥画素の画素データとすることにより補正する。
ここで、欠陥画素補正部42の記憶部43では、登録可能な欠陥画素(その欠陥画素のアドレスデータ等)の個数(欠陥画素データの量)は有限であり、例えば、実施例1のデジタルカメラ1では512個である。これは、デジタルカメラ1では、一般の撮像装置と同様に、装置全体としての大きさ寸法を出来る限り小さくすることが要求されているとともに内部には種々の機能のための機構が収容されること等から、欠陥画素補正部42およびその記憶部43の回路等の構成を大規模なものとすることができず、記憶部43に登録(格納)することができる欠陥画素データの量(欠陥画素数)には限りがあることによる。このため、従来のデジタルスチルカメラ等では、撮像素子において、欠陥画素補正部の記憶部に登録(格納)可能な欠陥画素数を超える欠陥画素が存在する場合、その全てを欠陥画素補正することができなかった。
本願発明は、欠陥画素補正部42の記憶部43に登録(格納)可能な欠陥画素数を超える欠陥画素が存在する場合であっても、その全てを欠陥画素補正することを可能とするものであって、欠陥画素補正部42により実行される欠陥画素補正処理内容が従来のものとは異なるものとされている。以下では、このことについて詳細に説明する。
(欠陥画素補正処理)
以下の説明では、理解容易のために、欠陥画素補正部42の記憶部43に登録(格納)可能な欠陥画素数(登録限度数)を500としている。また、欠陥画素の影響の変化の判断基準を露光時間としかつその判断基準の設定条件を露光時間として設定された秒数とすべく、CCD20における欠陥画素の検出の際、遮光して真暗な画像(ダーク画像)を取得(撮影)させ、取得した当該画像(画像データ)における画素(画素データ)の輝度値を欠陥画素レベルとし、取得した当該画像(画像データ)において輝点として現れる輝度値(欠陥画素レベル)を補正判断値としている。実施例1では、欠陥画素レベル(輝度値)が240以上であると露光時間が2秒の場合に画像(画像データ)において輝点として現れることからその補正判断値を240〜255とし、欠陥画素レベル(輝度値)が220以上であると露光時間が4秒の場合に画像(画像データ)において輝点として現れることからその補正判断値を220〜239とし、欠陥画素レベル(輝度値)が200以上であると露光時間が8秒の場合に画像(画像データ)において輝点として現れることからその補正判断値を200〜219とし、欠陥画素レベル(輝度値)が180以上であると露光時間が16秒の場合に画像(画像データ)において輝点として現れることからその補正判断値を180〜199としている。実施例1では、当該欠陥画素レベル(輝度値)が高いものほど、補正優先度の高い欠陥画素(温度キズ)であるものとしている。なお、欠陥画素レベルとしての輝度値は、出力のフルスケールを255とした出力値を示しており、数値が大きくなるほど大きな(高い)出力であることを示している。
実施例1のデジタルカメラ1では、ROM24に記憶されたプログラムを、制御部28が実行して欠陥画素補正部42等を適宜制御することにより、本願発明に係る欠陥画素補正処理を行う。この欠陥画素補正処理は、基本的には、欠陥画素補正部42において一度の欠陥画素補正の動作により補正可能な欠陥画素数が、記憶部43に登録(格納)された欠陥画素数となることから、記憶部43に登録可能な欠陥画素数(登録限度数)を超える場合、記憶部43への登録内容を書き換えつつ欠陥画素補正部42での欠陥画素補正の動作を繰り返すことにより、撮像素子(CCD20)の全ての欠陥画素の補正を可能とするものである。この欠陥画素補正処理のために、露光時間に応じた補正する欠陥画素数が設定されている。この露光時間に応じた補正画素数の決定は以下のように行う。
欠陥画素の数は撮像素子(センサ)の特性に依存する。例えば、CMOSでは、同条件下であってもCCDより10倍も多い欠陥画素が出現すると言われている。このため、実際にデジタルスチルカメラ(実施例1ではデジタルカメラ1)にセンサ(実施例1ではCCD20)を搭載した状態において、露光2秒で出現する欠陥画素の数、露光4秒で出現する欠陥画素の数、・・・・というように、設定された各露光時間で出現する欠陥画素の数を統計的に把握し、露光時間に応じて出現する欠陥画素の全てを補正するために充分だと判断できる数を、露光時間に応じた補正画素数として設定する。このため、上記した露光時間に対する補正判断値すなわち欠陥画素レベル(輝度値)の各数値は、露光時間に応じた補正画素数の設定のための目安であるということができる。この欠陥画素補正処理においては、欠陥画素レベルが高い画素から順に、露光時間に応じた補正画素数だけ、欠陥画素補正を行う。
この実施例1では、露光時間が2秒の場合の補正画素数を200とし、露光時間が4秒の場合の補正画素数を500とし、露光時間が8秒の場合の補正画素数を700とし、露光時間が16秒の場合の補正画素数を1000としている(図4参照)。すなわち、統計的に、欠陥画素レベル(輝度値)が240〜255となる画素数が200以下であり、欠陥画素レベル(輝度値)が220〜239となる画素数が500以下であり、欠陥画素レベル(輝度値)が200〜219となる画素数が700以下であり、欠陥画素レベル(輝度値)が180〜199となる画素数が1000以下であることを意味している。
制御部28は、設定された露光時間に応じた補正画素数での欠陥画素補正処理のために、実施例1では、欠陥画素データとして、検出した欠陥画素のアドレス(CCD20上の縦横座標)のデータを、それぞれの欠陥画素レベルおよび設定された露光時間に関連付けて、以下のようにRAM44に格納する。なお、実施例1では、後述するように記憶部43に適宜登録するための欠陥画素データをRAM44に格納しているが、制御部28が適宜データを格納および読み出すことが可能とされたメモリであればよく、実施例1に限定されるものではない。
先ず、図4に示すように、CCD20の全ての画素の中から、欠陥画素レベルが高い画素から順に200個の画素を欠陥画素として検出し、第1優先補正画素群Pの欠陥画素のアドレスデータとして、RAM44に格納する。この第1優先補正画素群Pとして検出された200個の欠陥画素は、そのまま露光時間が2秒の場合に補正する200個の欠陥画素となる。
次に、CCD20の全ての画素の中から、欠陥画素レベルが高い画素から順に500個の画素を欠陥画素として検出し、その検出した500個の画素から、第1優先補正画素群Pの200個の欠陥画素を除いたものを欠陥画素として選出し、第2優先補正画素群Pの欠陥画素のアドレスデータとして、RAM44に格納する。これは、例えば、CCD20の全ての画素の中から、欠陥画素レベルが高い画素から順に500個の画素を検出する過程において、それらのうち第1優先補正画素群Pの200個の欠陥画素において最も低い欠陥画素レベルよりも低い欠陥画素レベルのものを選出することにより行う。このため、第2優先補正画素群Pの欠陥画素として、CCD20の全ての画素の中における欠陥画素レベルが高い500個の画素から、第1優先補正画素群Pの200個の欠陥画素を減算した、残りの300個の画素を検出することとなる。この第2優先補正画素群Pとして検出された300個の欠陥画素は、第1優先補正画素群Pの200個の欠陥画素を加算することにより、露光時間が4秒の場合に補正する500個の欠陥画素となる。また、本願発明に係る欠陥画素補正処理では、欠陥画素補正部42の記憶部43に登録(格納)可能な欠陥画素数を、後述するように、欠陥画素レベルが高い方から順に補正優先度の高い欠陥画素として設定することから、実施例1では、欠陥画素補正部42の記憶部43に登録(格納)可能な欠陥画素数が500であるので、露光時間が4秒の場合に補正する500個の欠陥画素が、そのまま補正優先度の高い欠陥画素となる。
次に、CCD20の全ての画素の中から、欠陥画素レベルが高い画素から順に700個の画素を欠陥画素として検出し、その検出した700個の画素から、第1優先補正画素群Pの200個の欠陥画素および第2優先補正画素群Pの300個の欠陥画素を除いたものを欠陥画素として選出し、第3優先補正画素群Pの欠陥画素のアドレスデータとして、RAM44に格納する。これは、例えば、CCD20の全ての画素の中から、欠陥画素レベルが高い画素から順に700個の画素を検出する過程において、それらのうち第2優先補正画素群Pの300個の欠陥画素において最も低い欠陥画素レベルよりも低い欠陥画素レベルのものを選出することにより行う。このため、第3優先補正画素群Pの欠陥画素として、CCD20の全ての画素の中における欠陥画素レベルが高い700個の画素から、第1優先補正画素群Pの200個の欠陥画素および第2優先補正画素群Pの300個の欠陥画素を減算した、残りの200個の画素を検出することとなる。この第3優先補正画素群Pとして検出された200個の欠陥画素は、第1優先補正画素群Pの200個の欠陥画素および第2優先補正画素群Pの300個の欠陥画素を加算することにより、露光時間が8秒の場合に補正する700個の欠陥画素となる。
次に、CCD20の全ての画素の中から、欠陥画素レベルが高い画素から順に1000個の画素を欠陥画素として検出し、その検出した1000個の画素から、第1優先補正画素群Pの200個の欠陥画素、第2優先補正画素群Pの300個の欠陥画素および第3優先補正画素群Pの200個の欠陥画素を除いたものを欠陥画素として選出し、第4優先補正画素群Pの欠陥画素のアドレスデータとして、RAM44に格納する。これは、例えば、CCD20の全ての画素の中から、欠陥画素レベルが高い画素から順に1000個の画素を検出する過程において、それらのうち第3優先補正画素群Pの200個の欠陥画素において最も低い欠陥画素レベルよりも低い欠陥画素レベルのものを選出することにより行う。このため、第4優先補正画素群Pの欠陥画素として、CCD20の全ての画素の中における欠陥画素レベルが高い1000個の画素から、第1優先補正画素群Pの200個の欠陥画素、第2優先補正画素群Pの300個の欠陥画素および第3優先補正画素群Pの200個の欠陥画素を減算した、残りの300個の画素を検出することとなる。この第4優先補正画素群Pとして検出された300個の欠陥画素は、第1優先補正画素群Pの200個の欠陥画素、第2優先補正画素群Pの300個の欠陥画素および第3優先補正画素群Pの200個の欠陥画素を加算することにより、露光時間が16秒の場合に補正する1000個の欠陥画素となる。
なお、上記したように補正画素数を設定していることから、各優先補正画素群P(N=1〜4)の各欠陥画素では、CCD20の全ての画素の中において、補正判断値すなわち設定の目安としての欠陥画素レベル(輝度値)の範囲にある欠陥画素レベルの画素の全てを漏らすことなく含むものではあるが、設定の目安としての欠陥画素レベル(輝度値)よりも小さな欠陥画素レベルの画素が含まれている場合はあり得る。
実施例1の制御部28では、上述したようにRAM44に格納した各優先補正画素群P(N=1〜4)のアドレスデータ(図4参照)すなわち各欠陥画素データを利用して、欠陥画素補正処理を行う。図5は、この制御部28にて実行される実施例1の欠陥画素補正処理内容を示すフローチャートであり、図6は、図5のフローチャートにおけるステップS4の処理内容を示すフローチャートである。以下、図5のフローチャートの各ステップ(図6のフローチャートの各ステップも含む)について図4を用いて説明する。
ステップS1では、設定された露光時間を取得して、ステップS2へ進む。このステップS1では、レリーズ2が押し下げられて撮影動作が開始されると、それにより得ることが可能となる当該撮影時の露光時間の情報を取得する。この露光時間は、撮影モードや撮影現場の雰囲気等に応じて制御部28が設定する場合もあれば、操作部41(図2参照)への操作により設定される場合もあるが、撮影動作が開始されると当該撮影時の露光時間が決まることから、撮影動作の開始に伴って露光時間の情報を取得する。
ステップS2では、ステップS1での設定された露光時間の取得に続き、取得した露光時間が8秒以上であるか否かを判定し、Yesの場合はステップS3へ進み、Noの場合はステップS4へ進む。このステップS2では、欠陥画素補正処理の内容の切り換え、すなわち欠陥画素補正部42による欠陥画素補正動作の回数の切り換えのために、ステップS1で取得した露光時間の長さ(数値)を判断している。これは、上述したように、露光時間に応じた補正画素数が予め設定されていることと、欠陥画素補正部42の記憶部43に登録(格納)可能な欠陥画素数(登録限度数)には限度があることと、による。実施例1では、記憶部43に登録可能な欠陥画素数(登録限度数)が500であるのに対し、露光時間が4秒の場合の補正画素数が500に設定されかつ露光時間が8秒の場合の補正画素数が700に設定されていることから、露光時間が8秒以上であると設定された補正画素数が登録限度数を越えるので、欠陥画素補正部42による欠陥画素補正動作を2回とすべくステップS3へ進み、露光時間が4秒以下であると設定された補正画素数が登録限度数以下であるので、欠陥画素補正部42による欠陥画素補正動作を1回とすべくステップS4へ進む。
ステップS3では、ステップS2での露光時間が8秒以上であるとの判断に続き、補正優先度の高い欠陥画素の補正を実行して、ステップS4へ進む。このステップS3では、ステップS2にて露光時間が8秒以上であると判断したことから、欠陥画素補正部42の記憶部43に登録可能な欠陥画素数(登録限度数)よりも多くの欠陥画素を補正する必要があるので、補正優先度の高い順すなわち欠陥画素レベル(輝度値)の大きい順から、記憶部43の登録限度数の欠陥画素を補正する。実施例1では、記憶部43の登録限度数が500であることから、第1優先補正画素群Pの200個の欠陥画素のアドレスデータと、第2優先補正画素群Pの300個の欠陥画素のアドレスデータと、を、RAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。その後、欠陥画素補正部42は、送られてきた画像データ(その各画素データ)において、記憶部43に登録された欠陥画素のアドレスに相当する画素データを読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間することにより、第1優先補正画素群Pの200個の欠陥画素と、第2優先補正画素群Pの300個の欠陥画素と、の合計500個の欠陥画素の補正を行う。ここで、当該500個の欠陥画素のアドレスデータは、その全てが記憶部43に登録可能であることから、欠陥画素補正部42では一度の欠陥画素補正動作で、補正優先度の高い500個の欠陥画素の全てを補正することができる。なお、各優先補正画素群P(N=1〜4)の欠陥画素の個数の区切りが、記憶部43の登録限度数に対応していない場合、補正優先度の高い方から順に登録可能な登録限度数の欠陥画素のアドレスデータを、記憶部43への登録を可能とする状態で予めRAM44に格納しておくことが望ましい。
ステップS4では、ステップS2での露光時間が8秒以上ではないとの判断、あるいは、ステップS3での補正優先度の高い欠陥画素の補正の実行に続き、露光時間に応じた欠陥画素補正の準備を行って、ステップS5へ進む。このステップS4では、ステップS1で取得した露光時間に応じた補正画素数の欠陥画素を補正するために、各優先補正画素群P(N=1〜4)のアドレスデータをRAM44から適宜読み出して、欠陥画素補正部42の記憶部43に登録(格納)することにより、露光時間に応じた欠陥画素補正の準備を行う(これを処理Aとする)。すなわち、実質的な補正画素数の設定を行う。以下では、この露光時間に応じた欠陥画素補正の準備(ステップS4)における処理内容を示す図6のフローチャートの各ステップについて説明する。
ステップS11では、ステップS1で取得した露光時間が2秒であるか否かを判定し、Yesの場合はステップS12へ進み、Noの場合はステップS13へ進む。
ステップS12では、ステップS11での露光時間が2秒であるとの判断に続き、2秒の露光時間に応じた欠陥画素補正の準備を行って、処理A(ステップS4)を終了し、ステップS5(図5参照)へと進む。ここで、露光時間が2秒である場合、図5のフローチャートにおいて、ステップS1→ステップS2→ステップS4へと進んできている場面である。このステップS12では、2秒の露光時間に応じた欠陥画素補正の準備として、第1優先補正画素群Pの200個の欠陥画素のアドレスデータ(図4参照)をRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。
ステップS13では、ステップS11での露光時間が2秒ではないとの判断に続き、ステップS1で取得した露光時間が4秒であるか否かを判定し、Yesの場合はステップS14へ進み、Noの場合はステップS15へ進む。
ステップS14では、ステップS13での露光時間が4秒であるとの判断に続き、4秒の露光時間に応じた欠陥画素補正の準備を行って、処理A(ステップS4)を終了し、ステップS5(図5参照)へと進む。ここで、露光時間が4秒である場合、図5のフローチャートにおいて、ステップS1→ステップS2→ステップS4へと進んできている場面である。このステップS14では、4秒の露光時間に応じた欠陥画素補正の準備として、第1優先補正画素群Pの200個の欠陥画素のアドレスデータおよび第2優先補正画素群Pの300個の欠陥画素のアドレスデータ(図4参照)をRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。
ステップS15では、ステップS13での露光時間が4秒ではないとの判断に続き、ステップS1で取得した露光時間が8秒であるか否かを判定し、Yesの場合はステップS16へ進み、Noの場合はステップS17へ進む。
ステップS16では、ステップS15での露光時間が8秒であるとの判断に続き、8秒の露光時間に応じた欠陥画素補正の準備を行って、処理A(ステップS4)を終了し、ステップS5(図5参照)へと進む。ここで、露光時間が8秒である場合、図5のフローチャートにおいて、ステップS1→ステップS2→ステップS3→ステップS4へと進んできている場面であることから、補正優先度の高い500個の欠陥画素(第1優先補正画素群Pの200個の欠陥画素と、第2優先補正画素群Pの300個の欠陥画素と、の合計500個の欠陥画素)の補正が既に完了している。このため、ステップS16では、8秒の露光時間に応じた欠陥画素補正の準備として、第3優先補正画素群Pの200個の欠陥画素のアドレスデータ(図4参照)をRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。
ステップS17では、ステップS15での露光時間が8秒ではないとの判断に続き、16秒の露光時間に応じた欠陥画素補正の準備を行って、処理A(ステップS4)を終了し、ステップS5(図5参照)へと進む。ここで、ステップS15において露光時間が8秒ではない場合、設定されている露光時間の上限である16秒に設定されていることとなる。この場合、図5のフローチャートにおいて、ステップS1→ステップS2→ステップS3→ステップS4へと進んできている場面であることから、補正優先度の高い500個の欠陥画素(第1優先補正画素群Pの200個の欠陥画素と、第2優先補正画素群Pの300個の欠陥画素と、の合計500個の欠陥画素)の補正が既に完了している。このため、ステップS17では、16秒の露光時間に応じた欠陥画素補正の準備として、第3優先補正画素群Pの200個の欠陥画素のアドレスデータおよび第4優先補正画素群Pの300個の欠陥画素のアドレスデータ(図4参照)をRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。
ステップS5では、ステップS4での露光時間に応じた欠陥画素補正の準備に続き、露光時間に応じた欠陥画素補正を実行して、図5のフローチャートを終了する。このステップS5では、欠陥画素補正部42は、送られてきた画像データ(その各画素データ)において、記憶部43に登録された欠陥画素のアドレスに相当する画素データを読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間することにより、ステップS4での露光時間に応じた欠陥画素補正の準備に応じた補正画素数の補正を行う。詳細には、露光時間が2秒の場合、第1優先補正画素群Pの200個の欠陥画素の補正を行い、露光時間が4秒の場合、第1優先補正画素群Pの200個の欠陥画素と第2優先補正画素群Pの300個の欠陥画素との合計500個の欠陥画素の補正を行い、露光時間が8秒の場合、第3優先補正画素群Pの200個の欠陥画素の補正を行い、露光時間が16秒の場合、第3優先補正画素群Pの200個と第4優先補正画素群Pの300個の欠陥画素との合計500個の欠陥画素の補正を行う。このとき、何れの場面であっても、欠陥画素のアドレスデータの全てを記憶部43に登録可能であることから、欠陥画素補正部42では一度の欠陥画素補正動作で、露光時間に応じた補正画素数の欠陥画素の全てを補正することができる。このため、ステップS5では、露光時間が2秒もしくは4秒の場合、1回目の欠陥画素補正部42での欠陥画素補正動作として、ステップS1で取得した露光時間に応じた補正画素数の補正を実行することとなり、露光時間が8秒もしくは16秒の場合、ステップS3に続く2回目の欠陥画素補正部42での欠陥画素補正動作として、ステップS1で取得した露光時間に応じた補正画素数から、ステップS3で実行した欠陥画素補正の補正画素数500を減算した残りの補正画素数の補正を、補正対象となる画素データを重複させることなく実行することとなる。
(高速な撮影処理での欠陥画素補正処理)
ここで、撮影モードや撮影現場の雰囲気等により、高速な撮影処理が必要な場合(例えば、連写等)、上記した欠陥画素補正処理の実行により欠陥画素補正部42で繰り返し(上記した実施例1では2回)欠陥画素補正動作を行うと、その欠陥画素補正の処理時間が問題となる。このため、本願発明に係る欠陥画素補正処理では、連写等の高速な撮影処理が必要な場合、欠陥画素レベルが高い画素(補正優先度の高い欠陥画素)を優先的に補正することを前提として、欠陥画素補正部42での欠陥画素補正動作を1回だけ行う。これは、欠陥画素レベルが高い画素は、欠陥画素として画像(画像データ)に表れやすい画素であることによる。この場合、例えば、図5のフローチャートにおいてステップS3で欠陥画素補正動作を実行した場合はステップS4へと進むことなく、欠陥画素補正処理を終了する。これにより、連写等の高速な撮影処理が必要な場合、欠陥画素補正に要する処理時間を短縮しつつ画像(画像データ)に出現し易い欠陥画素を補正することができる。
(本願発明の欠陥画素補正処理の作用)
本願発明の欠陥画素補正処理では、上述したように、撮像素子(CCD20)において補正対象とすべき欠陥画素の数が、欠陥画素補正部42の記憶部43に登録可能な欠陥画素数を超える場合、当該記憶部43への登録内容を書き換えつつ、すなわち記憶部43における欠陥画素データの登録内容を変更しつつ、欠陥画素補正部42での欠陥画素補正の動作を繰り返すことから、撮像素子(CCD20)の全ての欠陥画素を補正することができる。詳細には、実施例1では、記憶部43に登録(格納)可能な登録限度数が500であるのに対し、露光時間に応じて必要な補正画素数を、露光時間が2秒の場合の補正画素数を200とし、露光時間が4秒の場合の補正画素数を500とし、露光時間が8秒の場合の補正画素数を700とし、露光時間が16秒の場合の補正画素数を1000としている(図4参照)ことから、露光時間が2秒もしくは4秒の場合、欠陥画素補正部42での欠陥画素補正動作として、ステップS1で取得した露光時間に応じた補正画素数の補正を実行し、露光時間が8秒もしくは16秒の場合、1回目の欠陥画素補正部42での欠陥画素補正動作としてステップS3にて500個の補正優先度の高い欠陥画素の補正を実行し、ステップS3に続く2回目の欠陥画素補正部42での欠陥画素補正動作として、ステップS1で取得した露光時間に応じた補正画素数から、ステップS3で実行した欠陥画素補正の補正画素数500を減算した残りの補正画素数の補正をステップS5にて実行する。このように、欠陥画素補正部42の記憶部43に登録可能な欠陥画素数を超える場合(実施例1では露光時間が8秒もしくは16秒の場合)であっても、その超えた画素数を2回目(設定条件によっては複数回)の欠陥画素補正部42での欠陥画素補正動作により補正するので、補正が必要とされる欠陥画素数と記憶部43の登録限度数との関係に拘らず、撮像素子(CCD20)の全ての欠陥画素を補正することができる。
また、露光時間に応じて補正対象とする画素数を変更していることから、露光時間に応じた必要な補正画素数だけ補正すること、換言すると過不足のなく適切に補正することができ、欠陥画素の補正不足や過補正に基因する画質の低下を防止することができる。これは、補正不足により、画像(画像データ)において出現する欠陥画素が補正されていないと、画像上にて当該欠陥画素が認識されてしまう虞があり、過補正により、画像(画像データ)において出現しない画素を欠陥画素として補正してしまうと、補正前の画像において問題とはならない画素(およびその周辺)であったにも拘らず当該画素の周辺を実質的に平滑化することによる空間解像度の劣化等を招いてしまう虞があることによる。
さらに、欠陥画素レベルが高い画素を優先的に補正することから、画像(画像データ)上において欠陥画素と認識され易い画素を優先的に補正することができるので、より効率的に画質を向上させることができる。
このため、本願発明に係る撮像装置のデジタルカメラ1では、記憶部43での登録限度数に拘らず、補正対象とするすべての欠陥画素を適切に補正することができる。これにより、暗電流が増えたり蓄積されたりする条件、例えば、撮像素子(CCD20)の温度が上昇したり露光時間が長い状況で撮影された画像(画像データ)であっても、その品質を向上させることができる。
なお、上記した実施例1では、欠陥画素の影響の変化の判断基準を露光時間とし、露光時間に応じた補正画素数が設定されている例を示したが、動的な欠陥要因である温度キズの影響が変化する要因を判断基準として補正画素数を設定するものであればよく、実施例1に限定されるものではない。例えば、ISO感度に応じた補正画素数の設定に基づいて欠陥画素補正処理を行うものとすることができる。この場合、露光時間と同様に、実際にデジタルスチルカメラ(実施例1ではデジタルカメラ1)にセンサ(実施例1ではCCD20)を搭載した状態において、ISO感度100で出現する欠陥画素の数、ISO感度200で出現する欠陥画素の数、・・・・というように、設定された各ISO感度で出現する欠陥画素の数を統計的に把握し、ISO感度に応じて出現する欠陥画素の全てを補正するために充分だと判断できる数を、ISO感度に応じた補正画素数として設定すればよい。この一例として、露光時間がISO100の補正画素数を200とし、ISO200の場合の補正画素数を500とし、ISO400の場合の補正画素数を700とし、ISO800の場合の補正画素数を1000とすることにより、上記した露光時間に対応して補正画素数が設定されている場合と同様に欠陥画素補正処理を行うことができる。この場合であっても、制御部28は、設定されたISO感度に応じた補正画素数での欠陥画素補正処理のために、検出した欠陥画素のアドレス(CCD20上の縦横座標)のデータを、RAM44に格納する。
また、実施例1では、欠陥画素補正部42の記憶部43に登録可能な欠陥画素数が500であり、かつ露光時間に応じた補正画素数の設定が露光時間16秒の場合の補正画素数1000を最大としていたが、各数値は例示であってこれらに限定されるものではない。すなわち、さらに多くの露光時間の設定がある場合には、それらに応じた欠陥画素数を適宜設定すればよく、記憶部43に登録可能な欠陥画素数や露光時間に対する補正画素数も撮像装置の各設定に応じて変化するものである。ここで、記憶部43に登録可能な欠陥画素数(登録限度数)に対して、露光時間に応じた補正画素数の設定の最大値が2倍を超える場合、ステップS3での1回目の欠陥画素補正部42での欠陥画素補正動作として登録限度数の補正を実行し、ステップS3に続く2回目の欠陥画素補正部42での欠陥画素補正動作として、ステップS1で取得した露光時間に応じた補正画素数に対応する各画素から、ステップS3で実行した欠陥画素補正の補正画素数に対応する各画素の補正の対象外となった各画素のうち登録限度数分の補正優先度の高い欠陥画素の補正を実行し、それに続く3回目の欠陥画素補正部42での欠陥画素補正動作として、ステップS1で取得した露光時間に応じた補正画素数から、上記した2回で実行した欠陥画素補正の補正画素数(登録限度数×2)を減算した残りの補正画素数の補正を実行する等のように、欠陥画素補正部42での登録限度数の画素の欠陥画素補正動作を((設定された補正画素数)/登録限度数)だけ繰り返した後に、残りの補正画素数の補正を実行すればよい。
次に、本発明の実施例2に係る撮像装置およびそこで行われる欠陥画素補正処理について説明する。この実施例2は、欠陥画素補正処理における処理内容の一部が実施例1とは異なる例である。この実施例2の撮像装置は、基本的な構成は上記した実施例1の撮像装置であるデジタルカメラ1と同様であることから、等しい構成の個所には同じ符号を付し、その詳細な説明は省略する。図7は、各優先補正画素群PNMにおけるRAM44に格納された欠陥画素のアドレス(CCD20上の縦横座標)のデータの個数(欠陥画素のデータ数)等を表で示す図4と同様の説明図である。図8は、取得した画像(画像データ)をS等分した様子を説明するための説明図であり、(a)は4分割した様子を示し、(b)は2分割した様子を示している。
この実施例2の欠陥画素補正処理は、補正する必要のある欠陥画素の個数が記憶部43に登録可能な欠陥画素数(登録限度数)を超える場合であってもすべての当該欠陥画素の補正を可能としつつ、欠陥画素補正部42で欠陥画素補正動作を繰り返すことに伴って処理時間が増大することを抑制するものである。例えば、実施例1のデジタルカメラ1において、ハードウェアでの欠陥画素補正処理を行うブロックとしての欠陥画素補正部42へ10MBの画像データを入力した場合、当該画像データの欠陥画素補正に約80msの処理時間が必要になるものとし、欠陥画素補正部42の記憶部43に登録可能な欠陥画素数500に対して、1500個の欠陥画素を補正するものとする。すると、欠陥画素補正部42では、先ず、10MBの画像データに対して、欠陥画素レベルが高い画素から順に500個の欠陥画素の補正を実行し、次に、10MBの画像データに対して、既に補正した500個を除いた中で欠陥画素レベルが高い画素から順に500個の欠陥画素の補正を実行し、最後に、10MBの画像データに対して、残りの500個の欠陥画素の補正を実行する。このことから、補正する必要のある欠陥画素のすべてを欠陥画素補正するために、欠陥画素補正部42での10MBの画像データに対する欠陥画素補正動作の3回分の処理時間(約80ms×3=約240ms)を要することとなる。
実施例2の欠陥画素補正処理では、撮像素子(CCD20)において、欠陥画素補正部の記憶部に登録(格納)可能な欠陥画素数を超える欠陥画素が存在する場合(設定した補正画素数が登録限度数を超える場合)であっても、その全てを欠陥画素補正することを可能としつつ、その欠陥画素補正に要する処理時間の増大を抑制するものである。
先ず、実施例2の欠陥画素補正処理のために、実施例1と同様に、設定された各露光時間で出現する欠陥画素の数を統計的に把握し、露光時間に応じて出現する欠陥画素の全てを補正するために充分だと判断できる数を、露光時間に応じた補正画素数として設定する。この実施例2では、露光時間が2秒の場合の補正画素数を200とし、露光時間が4秒の場合の補正画素数を500とし、露光時間が8秒の場合の補正画素数を800とし、露光時間が16秒の場合の補正画素数を1200とし、露光時間が32秒の場合の補正画素数を2000としている(図7参照)。この露光時間に応じた補正画素数は、RAM44に格納されている。
ここで、制御部28は、露光時間に応じた補正画素数の最大値が2000に設定されていることから、この2000個の欠陥画素のすべてを、記憶部43に登録可能な欠陥画素数が500である欠陥画素補正部42で補正するには、4回(2000/500)の欠陥画素補正動作を行う必要があることに基づいて、分割数Sの最大値を4に設定する。この分割数Sとは、図8に示すように、CCD20により取得された1つの画像データにおいて、欠陥画素補正部42での1回の欠陥画素補正動作における対象となる領域すなわちデータ量を設定するために当該画像データを等分する数であり、実施例2では1、2、4のいずれかに設定される。この分割は、欠陥画素補正部42による欠陥画素補正を可能とすべく画像データ(データ量)を等分する。この実施例2では、欠陥画素補正部42での欠陥画素補正動作が、基本的に注目した欠陥画素の水平方向に隣接する両隣の画素データの平均値を当該注目した欠陥画素の画素データとすることにより補間するものであることから、図8に示すように、画像データにおける等分線が水平方向となるように当該画像データを垂直方向に等分する。
制御部28は、設定された露光時間に応じた補正画素数での欠陥画素補正処理のために、実施例2では、検出した欠陥画素のアドレス(CCD20上の縦横座標)のデータを、それぞれの欠陥画素レベルおよび設定された露光時間に関連付けて、以下のようにRAM44に格納する。
実施例2での基本的な欠陥画素の検出方法は、実施例1と同様であるが、上述したように、分割数Sの最大値を4に設定したことから、4つの領域に分割した画像データ毎(以下、後述する分割画像データI41(分割画像A)、分割画像データI42(分割画像B)、分割画像データI43(分割画像C)、分割画像データI44(分割画像D)とする(図8(a)参照))に各優先補正画素群PNMを取得する。ここで、Nは、欠陥画素レベルが高い順からの優先番号を表すもの、すなわち各画像データにおいて補正対象となる各群の優先度を表すものであり、実施例1の第N優先補正画素群PでのNに相当するものである。実施例2では、露光時間の設定が2、4、8、16、32秒の5つであることから、順に、1、2、3、4、5を当て嵌めている。また、Mは、各N番目の群において4分割されたいずれの分割画像A、B、C、Dに該当するものであるかを表すものであり、A、B、C、Dの順に1、2、3、4を当て嵌めている。
先ず、図7に示すように、CCD20の全ての画素が4つの領域に分割された各分割画像A、B、C、D(図8(a)参照)において、それらの各画素の中から、欠陥画素レベルが高い画素から順に50個の画素を欠陥画素として検出し、分割画像Aでの第1優先補正画素群P11の欠陥画素のアドレスデータと、分割画像Bでの第1優先補正画素群P12の欠陥画素のアドレスデータと、分割画像Cでの第1優先補正画素群P13の欠陥画素のアドレスデータと、分割画像Dでの第1優先補正画素群P14の欠陥画素のアドレスデータとして、RAM44に格納する。ここで、第1優先補正画素群P11として検出された50個の欠陥画素と、第1優先補正画素群P12として検出された50個の欠陥画素と、第1優先補正画素群P13として検出された50個の欠陥画素と、第1優先補正画素群P14として検出された50個の欠陥画素とを合わせたものが、露光時間が2秒の場合に補正する200個の欠陥画素となる(第1優先補正画素群Pとする)。
次に、各分割画像A、B、C、Dの各画素の中から、欠陥画素レベルが高い画素から順に125個の画素を欠陥画素として検出し、その検出した125個の画素から、対応する各第1優先補正画素群P1M(M=1〜4)の50個の欠陥画素を除いたものを欠陥画素として選出し、第2優先補正画素群P2M(M=1〜4)の欠陥画素のアドレスデータとして、RAM44に格納する。これらの、第2優先補正画素群P21として検出された75個の欠陥画素と、第2優先補正画素群P22として検出された75個の欠陥画素と、第2優先補正画素群P23として検出された75個の欠陥画素と、第2優先補正画素群P24として検出された75個の欠陥画素とを合わせたもの(第2優先補正画素群Pとする)は、上記した第1優先補正画素群Pの200個の欠陥画素を加算することにより、露光時間が4秒の場合に補正する500個の欠陥画素となる。また、本願発明に係る欠陥画素補正処理では、欠陥画素補正部42の記憶部43に登録(格納)可能な欠陥画素数を、欠陥画素レベルが高い方から順に補正優先度の高い欠陥画素として設定することから、実施例2では、欠陥画素補正部42の記憶部43に登録(格納)可能な欠陥画素数が500であるので、露光時間が4秒の場合に補正する500個の欠陥画素が、そのまま補正優先度の高い欠陥画素となる。この補正優先度の高い欠陥画素は、実施例1と同様に、連写等の高速な撮影処理が必要な場合に欠陥画素補正部42で欠陥画素補正動作を1回だけ行う際に用いられる。
次に、各分割画像A、B、C、Dの各画素の中から、欠陥画素レベルが高い画素から順に200個の画素を欠陥画素として検出し、その検出した200個の画素から、対応する各第1優先補正画素群P1M(M=1〜4)の50個の欠陥画素および各第2優先補正画素群P2M(M=1〜4)の75個の欠陥画素を除いたものを欠陥画素として選出し、第3優先補正画素群P3M(M=1〜4)の欠陥画素のアドレスデータとして、RAM44に格納する。これらの、第3優先補正画素群P31として検出された75個の欠陥画素と、第3優先補正画素群P32として検出された75個の欠陥画素と、第3優先補正画素群P33として検出された75個の欠陥画素と、第3優先補正画素群P34として検出された75個の欠陥画素とを合わせたもの(第3優先補正画素群Pとする)は、上記した第1優先補正画素群Pの200個の欠陥画素および第2優先補正画素群Pの300個の欠陥画素を加算することにより、露光時間が8秒の場合に補正する800個の欠陥画素となる。
次に、各分割画像A、B、C、Dの各画素の中から、欠陥画素レベルが高い画素から順に300個の画素を欠陥画素として検出し、その検出した300個の画素から、対応する各第1優先補正画素群P1M(M=1〜4)の50個の欠陥画素、各第2優先補正画素群P2M(M=1〜4)の75個の欠陥画素および各第3優先補正画素群P3M(M=1〜4)の75個の欠陥画素を除いたものを欠陥画素として選出し、第4優先補正画素群P4M(M=1〜4)の欠陥画素のアドレスデータとして、RAM44に格納する。これらの、第4優先補正画素群P41として検出された100個の欠陥画素と、第4優先補正画素群P42として検出された100個の欠陥画素と、第4優先補正画素群P43として検出された100個の欠陥画素と、第4優先補正画素群P44として検出された100個の欠陥画素とを合わせたもの(第4優先補正画素群Pとする)は、上記した第1優先補正画素群Pの200個の欠陥画素、第2優先補正画素群Pの300個の欠陥画素および第3優先補正画素群Pの300個の欠陥画素を加算することにより、露光時間が16秒の場合に補正する1200個の欠陥画素となる。
次に、各分割画像A、B、C、Dの各画素の中から、欠陥画素レベルが高い画素から順に500個の画素を欠陥画素として検出し、その検出した500個の画素から、対応する各第1優先補正画素群P1M(M=1〜4)の50個の欠陥画素、各第2優先補正画素群P2M(M=1〜4)の75個の欠陥画素、各第3優先補正画素群P3M(M=1〜4)の75個の欠陥画素および各第4優先補正画素群P4M(M=1〜4)の100個の欠陥画素を除いたものを欠陥画素として選出し、第5優先補正画素群P5M(M=1〜4)の欠陥画素のアドレスデータとして、RAM44に格納する。これらの、第5優先補正画素群P51として検出された200個の欠陥画素と、第5優先補正画素群P52として検出された200個の欠陥画素と、第5優先補正画素群P53として検出された200個の欠陥画素と、第5優先補正画素群P54として検出された200個の欠陥画素とを合わせたもの(第5優先補正画素群Pとする)は、上記した第1優先補正画素群Pの200個の欠陥画素、第2優先補正画素群Pの300個の欠陥画素、第3優先補正画素群Pの300個の欠陥画素および第4優先補正画素群Pの400個の欠陥画素を加算することにより、露光時間が32秒の場合に補正する2000個の欠陥画素となる。
実施例2の制御部28では、上述したようにRAM44に格納した各優先補正画素群PNM(N=1〜5、M=1〜4)のアドレスデータ(図7参照)すなわち各欠陥画素データを利用して、欠陥画素補正処理を行う。図9は、この制御部28にて実行される実施例2の欠陥画素補正処理内容を示すフローチャートであり、図10は、図9のフローチャートにおけるステップS24の処理内容を示すフローチャートである。以下、図9のフローチャートの各ステップ(図10のフローチャートの各ステップも含む)について図7を用いて説明する。
ステップS21では、設定された露光時間を取得して、ステップS22へ進む。このステップS21では、図5のフローチャートのステップS1と同様に、レリーズ2が押し下げられて撮影動作が開始されると、それにより得ることが可能となる当該撮影時の露光時間の情報を取得する。
ステップS22では、ステップS21での露光時間の取得に続き、取得した露光時間に応じた補正画素数を読み出して、ステップS23へ進む。このステップS22では、RAM44に格納された露光時間に応じた補正画素数を読み出す。
ステップS23では、ステップS22での露光時間に応じた補正画素数の読み出しに続き、取得した露光時間に対応する分割数Sを設定して、ステップS24へ進む。このステップS23では、読み出した露光時間に応じた補正画素数を、記憶部43に登録可能な欠陥画素数(500)で除算し、その商が1以下であれば分割数Sを1に、商が1よりも大きく2以下であれば分割数Sを2に、商が2よりも大きければ分割数Sを4に設定する。すなわち、露光時間に応じた補正画素数のすべてを欠陥画素補正部42で補正するために必要となる欠陥画素補正動作の回数を、分割数S(S=1、2、4)として設定する。なお、基本的には、読み出した露光時間に応じた補正画素数を、記憶部43の登録限度数(実施例2では500)で除算し、その商の小数点以下を切り上げた値を分割数Sとするものであるが、実施例2では分割数Sの設定が1、2、4のいずれかとされていることから、切り上げた数値が3である場合であっても分割数Sは4に設定する。具体的には、露光時間が2秒の場合の分割数Sを1とし、露光時間が4秒の場合の分割数Sを1とし、露光時間が8秒の場合の分割数Sを2とし(図8(b)参照)、露光時間が16秒の場合の分割数Sを4とし、露光時間が32秒の場合の分割数Sを4としている(図8(a)参照)。また、このステップS23では、カウンタ数Cを1に設定する。このカウンタ数Cは、分割数Sで等分された各分割画像(分割数4の場合A、B、C、D(図8(a)参照)、分割数2の場合E、F(図8(b)参照))の画像データ(分割画像データISC(S:分割数、C:カウンタ数))の何れに該当するものであるかを表すものであり、A、B、C、D(もしくはE、F)の順に1、2、3、4(もしくは1、2)を当て嵌めている。このため、分割数Sが2の場合、画像データは、分割画像Eの分割画像データI21と分割画像Fの分割画像データI22とに分割され(図8(b)参照)、分割数Sが4の場合、画像データは、分割画像Aの分割画像データI41と、分割画像Bの分割画像データI42と、分割画像Cの分割画像データI43と、分割画像Dの分割画像データI44とに分割される(図8(a)参照)。
ステップS24では、ステップS23での分割数Sの設定、あるいは、ステップS27でのカウンタ数Cのインクリメントに続き、その分割数Sおよび露光時間に応じた欠陥画素補正の準備を行って、ステップS25へ進む。このステップS24では、ステップS21で取得した露光時間に応じた補正画素数の画素を補正する(実質的に補正画素数を設定する)ために、各優先補正画素群PNM(N=1〜5、M=1〜4)のアドレスデータをRAM44から適宜読み出して、欠陥画素補正部42の記憶部43に登録(格納)することにより、露光時間に応じた欠陥画素補正の準備を行う(これを処理Bとする)。以下では、この露光時間に応じた欠陥画素補正の準備(ステップS24)における処理内容を示す図10のフローチャートの各ステップについて説明する。
ステップS31では、ステップS21で取得した露光時間が2秒であるか否かを判定し、Yesの場合はステップS32へ進み、Noの場合はステップS33へ進む。
ステップS32では、ステップS31での露光時間が2秒であるとの判断に続き、2秒の露光時間に応じた欠陥画素補正の準備を行って、処理B(ステップS24)を終了し、ステップS25(図9参照)へと進む。ここで、露光時間が2秒である場合、図9のフローチャートのステップS23において、分割数Sが1に設定されている場面である。このステップS32では、2秒の露光時間に応じた欠陥画素補正の準備として、分割数1であることからそのまま画像データとなる分割画像データI11におけるすべての欠陥画素の補正のために、第1優先補正画素群P1M(M=1〜4)の各50個の欠陥画素のアドレスデータ(図7参照)の計200個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。
ステップS33では、ステップS31での露光時間が2秒ではないとの判断に続き、ステップS21で取得した露光時間が4秒であるか否かを判定し、Yesの場合はステップS34へ進み、Noの場合はステップS35へ進む。
ステップS34では、ステップS33での露光時間が4秒であるとの判断に続き、4秒の露光時間に応じた欠陥画素補正の準備を行って、処理B(ステップS24)を終了し、ステップS25(図9参照)へと進む。ここで、露光時間が4秒である場合、図9のフローチャートのステップS23において、分割数Sが1に設定されている場面である。このステップS34では、4秒の露光時間に応じた欠陥画素補正の準備として、分割数1であることからそのまま画像データとなる分割画像データI11におけるすべての欠陥画素の補正のために、第1優先補正画素群P1M(M=1〜4)の各50個の欠陥画素のアドレスデータおよび第2優先補正画素群P2M(M=1〜4)の各75個の欠陥画素のアドレスデータ(図7参照)、の計500個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。
ステップS35では、ステップS33での露光時間が4秒ではないとの判断に続き、ステップS21で取得した露光時間が8秒であるか否かを判定し、Yesの場合はステップS36へ進み、Noの場合はステップS39へ進む。
ステップS36では、ステップS35での露光時間が8秒であるとの判断に続き、カウンタ数Cが1であるか否かを判定し、Yesの場合はステップS37へ進み、Noの場合はステップS38へ進む。これは、露光時間が8秒である場合、図9のフローチャートのステップS23において、分割数Sが2に設定されている場面であることから、後述するように、図9のフローチャートのステップS24からステップS27を経てステップS24へと戻る流れにおいてカウンタ数Cが1から2へと増加されて(ステップS27)分割画像Eおよび分割画像F(図8(b)参照)のそれぞれについて欠陥画素補正部42で欠陥画素補正動作を実行することとなるので、カウンタ数Cによって8秒の露光時間に応じた欠陥画素補正の準備が異なることによる。
ステップS37では、ステップS36でのカウンタ数Cが1であるとの判断に続き、8秒の露光時間に応じた分割画像E(図8(b)参照)の欠陥画素補正の準備を行って、処理B(ステップS24)を終了し、ステップS25(図9参照)へと進む。このステップS37では、8秒の露光時間に応じた分割画像E(図8(b)参照)の欠陥画素補正の準備として、画像データの半分となる分割画像データI21におけるすべての欠陥画素の補正のために、8秒の露光時間に対応する優先番号(N=1〜3)であって画像データが2分割された分割画像E(分割画像Aおよび分割画像B)に対応する番号(M=1、2)である第N優先補正画素群PNM(N=1〜3、M=1〜2)の各欠陥画素のアドレスデータ(図7参照)をRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。すなわち、第1優先補正画素群P1M(1〜2)の両50個の欠陥画素のアドレスデータ、第2優先補正画素群P2M(1〜2)の両75個の欠陥画素のアドレスデータおよび第3優先補正画素群P3M(1〜2)の両75個の欠陥画素のアドレスデータ(図7参照)、の計400個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。
ステップS38では、ステップS36でのカウンタ数Cが1ではないとの判断に続き、8秒の露光時間に応じた分割画像F(図8(b)参照)の欠陥画素補正の準備を行って、処理B(ステップS24)を終了し、ステップS25(図9参照)へと進む。このステップS38では、8秒の露光時間に応じた分割画像F(図8(b)参照)の欠陥画素補正の準備として、画像データの半分となる分割画像データI22におけるすべての欠陥画素の補正のために、8秒の露光時間に対応する優先番号(N=1〜3)であって画像データが2分割された分割画像F(分割画像Cと分割画像D)に対応する番号(M=3、4)である第N優先補正画素群PNM(N=1〜3、M=3〜4)の各欠陥画素のアドレスデータ(図7参照)をRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。すなわち、第1優先補正画素群P1M(3〜4)の両50個の欠陥画素のアドレスデータ、第2優先補正画素群P2M(3〜4)の両75個の欠陥画素のアドレスデータおよび第3優先補正画素群P3M(3〜4)の両75個の欠陥画素のアドレスデータ(図7参照)、の計400個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。
ステップS39では、ステップS35での露光時間が8秒ではないとの判断に続き、ステップS21で取得した露光時間が16秒であるか否かを判定し、Yesの場合はステップS40へ進み、Noの場合はステップS41へ進む。
ステップS40では、ステップS39での露光時間が16秒であるとの判断に続き、16秒の露光時間に応じた各分割画像A、B、C、D(図8(a)参照)のいずれかの欠陥画素補正の準備を行って、処理B(ステップS24)を終了し、ステップS25(図9参照)へと進む。これは、露光時間が16秒である場合、図9のフローチャートのステップS23において、分割数Sが4に設定されている場面であることから、後述するように、図9のフローチャートのステップS24からステップS27を経てステップS24へと戻る流れにおいてカウンタ数Cが1から4へと順次増加されて(ステップS27)分割画像A、B、C、D(図8(a)参照)のそれぞれについて欠陥画素補正部42で欠陥画素補正動作を実行することとなるので、カウンタ数Cによって16秒の露光時間に応じた欠陥画素補正の準備が異なることによる。このステップS40では、16秒の露光時間に応じた各分割画像A、B、C、D(図8(a)参照)のいずれかの欠陥画素補正の準備として、画像データの1/4となる分割画像データI4C(C=1〜4)におけるすべての欠陥画素の補正のために、16秒の露光時間に対応する優先番号(N=1〜4)であって画像データが4分割された各分割画像A、B、C、Dに対応する番号(順に、M=1、2、3、4)である第N優先補正画素群PNM(N=1〜4、M=1〜4)の各欠陥画素のアドレスデータ(図7参照)をRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。すなわち、カウンタ数Cが1のとき、分割画像データI41(分割画像A)の欠陥画素補正のために、第1優先補正画素群P11の50個の欠陥画素のアドレスデータ、第2優先補正画素群P21の75個の欠陥画素のアドレスデータ、第3優先補正画素群P31の75個の欠陥画素のアドレスデータおよび第4優先補正画素群P41の100個の欠陥画素のアドレスデータ、の計300個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録する。また、カウンタ数Cが2のとき、分割画像データI42(分割画像B)の欠陥画素補正のために、第1優先補正画素群P12の50個の欠陥画素のアドレスデータ、第2優先補正画素群P22の75個の欠陥画素のアドレスデータ、第3優先補正画素群P32の75個の欠陥画素のアドレスデータおよび第4優先補正画素群P42の100個の欠陥画素のアドレスデータ、の計300個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録する。さらに、カウンタ数Cが3のとき、分割画像データI43(分割画像C)の欠陥画素補正のために、第1優先補正画素群P13の50個の欠陥画素のアドレスデータ、第2優先補正画素群P23の75個の欠陥画素のアドレスデータ、第3優先補正画素群P33の75個の欠陥画素のアドレスデータおよび第4優先補正画素群P43の100個の欠陥画素のアドレスデータ、の計300個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録する。ついで、カウンタ数Cが4のとき、分割画像データI44(分割画像D)の欠陥画素補正のために、第1優先補正画素群P14の50個の欠陥画素のアドレスデータ、第2優先補正画素群P24の75個の欠陥画素のアドレスデータ、第3優先補正画素群P34の75個の欠陥画素のアドレスデータおよび第4優先補正画素群P44の100個の欠陥画素のアドレスデータ、の計300個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録する。
ステップS41では、ステップS39での露光時間が16秒ではないとの判断に続き、32秒の露光時間に応じた各分割画像A、B、C、D(図8(a)参照)のいずれかの欠陥画素補正の準備を行って、処理B(ステップS24)を終了し、ステップS25(図9参照)へと進む。これは、ステップS39において露光時間が16秒ではない場合、設定されている露光時間の上限である32秒に設定されていることとなり、図9のフローチャートのステップS23において、分割数Sが4に設定されている場面であることから、後述するように、図9のフローチャートのステップS24からステップS27を経てステップS24へと戻る流れにおいてカウンタ数Cが1から4へと順次増加されて(ステップS27)分割画像A、B、C、D(図8(a)参照)のそれぞれについて欠陥画素補正部42で欠陥画素補正動作を実行することとなるので、カウンタ数Cによって32秒の露光時間に応じた欠陥画素補正の準備が異なることによる。このステップS41では、32秒の露光時間に応じた各分割画像A、B、C、D(図8(a)参照)のいずれかの欠陥画素補正の準備として、画像データの1/4となる分割画像データI4C(C=1〜4)におけるすべての欠陥画素の補正のために、32秒の露光時間に対応する優先番号(N=1〜5)であって画像データが4分割された各分割画像A、B、C、Dに対応する番号(順に、M=1、2、3、4)である第N優先補正画素群PNM(N=1〜5、M=1〜4)の各欠陥画素のアドレスデータ(図7参照)をRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。すなわち、カウンタ数Cが1のとき、分割画像データI41(分割画像A)の欠陥画素補正のために、第1優先補正画素群P11の50個の欠陥画素のアドレスデータ、第2優先補正画素群P21の75個の欠陥画素のアドレスデータ、第3優先補正画素群P31の75個の欠陥画素のアドレスデータ、第4優先補正画素群P41の100個の欠陥画素のアドレスデータおよび第5優先補正画素群P51の200個の欠陥画素のアドレスデータ、の計500個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録する。また、カウンタ数Cが2のとき、分割画像データI42(分割画像B)の欠陥画素補正のために、第1優先補正画素群P12の50個の欠陥画素のアドレスデータ、第2優先補正画素群P22の75個の欠陥画素のアドレスデータ、第3優先補正画素群P32の75個の欠陥画素のアドレスデータ、第4優先補正画素群P42の100個の欠陥画素のアドレスデータ、および第5優先補正画素群P52の200個の欠陥画素のアドレスデータ、の計500個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録する。さらに、カウンタ数Cが3のとき、分割画像データI43(分割画像C)の欠陥画素補正のために、第1優先補正画素群P13の50個の欠陥画素のアドレスデータ、第2優先補正画素群P23の75個の欠陥画素のアドレスデータ、第3優先補正画素群P33の75個の欠陥画素のアドレスデータ、第4優先補正画素群P43の100個の欠陥画素のアドレスデータおよび第5優先補正画素群P53の200個の欠陥画素のアドレスデータ、の計500個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録する。ついで、カウンタ数Cが4のとき、分割画像データI44(分割画像D)の欠陥画素補正のために、第1優先補正画素群P14の50個の欠陥画素のアドレスデータ、第2優先補正画素群P24の75個の欠陥画素のアドレスデータ、第3優先補正画素群P34の75個の欠陥画素のアドレスデータ、第4優先補正画素群P44の100個の欠陥画素のアドレスデータおよび第5優先補正画素群P54の200個の欠陥画素のアドレスデータ、の計500個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録する。
ステップS25では、ステップS24での分割数Sおよび露光時間に応じた欠陥画素補正の準備に続き、露光時間に応じた分割数Sでのカウンタ数Cに対応する分割画像の分割画像データISCに対して欠陥画素補正を実行して、ステップS26へ進む。このステップS25では、欠陥画素補正部42が、送られてきた画像データ(その各画素データ)のうちのカウンタ数Cに対応する分割画像データISCにおいて、記憶部43に登録された欠陥画素のアドレスに相当する画素データを読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間することにより、ステップS24での露光時間に応じた欠陥画素補正の準備に応じた補正画素数の補正を行う。
ステップS26では、ステップS25での露光時間に応じた分割数Sでのカウンタ数Cに対応する分割画像の分割画像データISCに対する欠陥画素補正の実行に続き、カウンタ数Cが分割数Sと等しいか否かを判定し、Yesの場合は図9のフローチャートを終了し、Noの場合はステップS27へ進む。このステップS26では、カウンタ数Cが露光時間に応じた分割数Sに等しいか否かを判断することにより、分割画像データISCに対して欠陥画素補正を実行するステップS25が繰り返されることにより、全ての分割画像すなわち分割される前の画像データのすべてに対して欠陥画素補正を行ったか否かを判断するものである。
ステップS27では、ステップS26でのカウンタ数Cが分割数Sと等しくないとの判断に続き、カウンタ数Cをインクリメント(C=C+1)して、ステップS24へと戻る。このステップS27では、分割される前の画像データのすべてに対して欠陥画素補正を行うために、ステップS25における分割画像データISCに対する欠陥画素補正の実行の回数(カウンタ数C)を1ずつ加算する。
このように、実施例2の欠陥画素補正処理では、取得した露光時間に応じた補正画素数に対応して分割数Sを設定し(ステップS23)、画像(画像データ)を分割数Sで等分して、それぞれの分割画像データISCに対する欠陥画素補正部42での欠陥画素補正動作の繰り返しにより、補正対象となる画素データを重複させることなく画像データのすべてに対して欠陥画素補正を行う(ステップS25)。このとき、ステップS24において、ステップS25での欠陥画素補正の実行の回数(カウンタ数C)に応じた分割画像データISCにおける各欠陥画素のアドレスデータをRAM44に登録していることから、ステップS24→ステップS25→ステップS26→ステップS27へと進んでステップS24へと戻る流れが繰り返されることにより、分割される前の画像データのすべてに対して欠陥画素補正を行うことができる。これは、例えば、露光時間が32秒に設定されて(補正画素数は2000個)いる場合、ステップS21→ステップS22→ステップS23へと進むことにより、分割数Sが4とされて画像データを分割画像A、B、C、Dに等分する。その後、ステップS24で露光時間32秒に応じた分割画像Aの分割画像データI41の欠陥画素補正のための準備を行ってステップS25へと進むことにより、欠陥画素補正部42が、送られてきた画像データのうちの分割画像データI41において、記憶部43に登録された欠陥画素のアドレスに相当する画素データ(第1優先補正画素群P11の50個の欠陥画素、第2優先補正画素群P21の75個の欠陥画素、第3優先補正画素群P31の75個の欠陥画素、第4優先補正画素群P41の100個の欠陥画素および第5優先補正画素群P51の200個の欠陥画素、の計500個の欠陥画素)を読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間することにより、分割画像Aの露光時間32秒に応じた欠陥画素補正が終了する。その後、ステップS26へと進むがカウンタ数Cが1であって分割数S=4に等しくないことから、ステップS27へと進んでステップS24へと戻ることにより、露光時間32秒に応じた分割画像Bの分割画像データI42の欠陥画素補正のための準備を行う。その後、ステップS25へと進むことにより、欠陥画素補正部42が、送られてきた画像データのうちの分割画像データI42において、記憶部43に登録された欠陥画素のアドレスに相当する画素データ(第1優先補正画素群P12の50個の欠陥画素、第2優先補正画素群P22の75個の欠陥画素、第3優先補正画素群P32の75個の欠陥画素、第4優先補正画素群P42の100個の欠陥画素および第5優先補正画素群P52の200個の欠陥画素、の計500個の欠陥画素)を読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間することにより、分割画像Bの欠陥画素補正が終了する。上記した処理(テップS24→ステップS25→ステップS26→ステップS27へと進んでステップS24へと戻る流れ)を分割数Sである4回繰り返すと、その4回目のステップS26において、カウンタ数Cが4となっていることからステップS27へと進むことはなく図9のフローチャートを終了することにより、上記した分割画像Aおよび分割画像Bに加えて、分割画像Cおよび分割画像Dの欠陥画素補正が終了して分割される前の画像データのすべてに対して欠陥画素補正を行うことができる。このとき、何れの場面であっても、欠陥画素のアドレスデータの全てが記憶部43に登録可能であることから、欠陥画素補正部42では一度の欠陥画素補正動作で、露光時間に応じた分割数Sでのカウンタ数Cに対応する分割画像の分割画像データISCの欠陥画素の全てを補正することができる。
実施例2の欠陥画素補正処理では、撮像素子(CCD20)において補正対象とすべき欠陥画素の数が、欠陥画素補正部42の記憶部43に登録可能な欠陥画素数(登録限度数)を超える場合(実施例2では露光時間が8秒、16秒あるいは32秒の場合)であっても、当該記憶部43への登録内容を書き換えつつ、すなわち記憶部43における欠陥画素データの登録内容を変更しつつ、欠陥画素補正部42での欠陥画素補正の動作を繰り返すことから、補正が必要とされる欠陥画素数と記憶部43の登録限度数との関係に拘らず、撮像素子(CCD20)の全ての欠陥画素を補正することができる。
また、実施例2の欠陥画素補正処理では、欠陥画素補正部42での欠陥画素補正動作の回数に拘らず、元の画像データを欠陥画素補正部42で欠陥画素補正処理させる場合と略等しいものとすることができる。これは、欠陥画素補正部42では、元の画像データを分割数Sで等分したそれぞれの分割画像データISCに対して欠陥画素補正動作を行う(ステップS25)ことから、各欠陥画素補正動作(ステップS25)において元の画像データの1/Sのデータ量を処理すればよいため、各欠陥画素補正動作(ステップS25)における処理時間を、元の画像データに対する処理時間の略1/Sに近いものとすることができるので、元の画像データに対する欠陥画素補正動作での処理時間を1とすると、分割数Sに拘らず元の画像データの全ての欠陥画素補正に要する処理時間は、各分割画像データISCでの処理時間に分割数Sを乗算したもの((1/S)×分割数S=1)で表すことができ、双方を略等しいものとすることができることによる。このため、補正が必要とされる欠陥画素数と記憶部43の登録限度数との関係に拘らず、撮像素子(CCD20)の全ての欠陥画素を補正することができるとともに、欠陥画素補正部42で欠陥画素補正動作を繰り返すことに伴って処理時間が増大すること、すなわちその全ての欠陥画素補正に要する処理時間の増大を抑制することができる。
さらに、実施例2の欠陥画素補正処理では、露光時間に応じて補正する画素数を変更していることから、露光時間に応じた必要な補正画素数だけ補正することができ、欠陥画素の補正不足や過補正に基因する画質の低下を防止することができる。
実施例2の欠陥画素補正処理では、欠陥画素レベルが高い画素を優先的に補正することから、画像(画像データ)上において欠陥画素と認識され易い画素を優先的に補正することができるので、より効率的に画質を向上させることができる。
実施例2の欠陥画素補正処理では、分割数Sの最大値を4に設定し、それに伴って4つの領域に分割した画像データ毎(分割画像A、B、C、D(図8(a)参照))に各優先補正画素群PNMを取得してRAM44に格納するとともに、分割数Sを1、2、4に設定している(分割数Sの取り得る値を、その最大値の約数に設定している)ことから、露光時間に応じた補正画素数に適合する各欠陥画素のアドレスデータを適切に欠陥画素補正部42の記憶部43に登録することを可能としつつ、欠陥画素補正処理のためのデータ(各優先補正画素群PNM)を効率よくRAM44に格納することができる。
このため、本発明に係る撮像装置のデジタルカメラ1では、記憶部43での登録限度数に拘らず、補正対象とするすべての欠陥画素を適切に補正することができる。これにより、暗電流が増えたり蓄積されたりする条件、例えば、撮像素子(CCD20)の温度が上昇したり露光時間が長い状況で撮影された画像(画像データ)であっても、その品質を向上させることができる。
特に、実施例2の欠陥画素補正処理では、補正が必要とされる欠陥画素数と記憶部43の登録限度数との関係に拘らず、撮像素子(CCD20)の全ての欠陥画素を補正することができるとともに、欠陥画素補正部42で欠陥画素補正動作を繰り返すことに伴って処理時間が増大することを抑制することができる。
なお、上記した実施例2では、欠陥画素の影響の変化の判断基準を露光時間とし、露光時間に応じた補正画素数が設定されている例を示したが、動的な欠陥要因である温度キズの影響が変化する要因を基準として補正画素数を設定するものであれば、例えば、ISO感度に応じた補正画素数の設定に基づいて補正画素数を設定するものであってもよく、実施例2に限定されるものではない。
また、実施例2では、欠陥画素補正部42の記憶部43に登録可能な欠陥画素数が500であり、かつ露光時間に応じた補正画素数の設定が露光時間32秒の場合の補正画素数2000を最大としていたが、各数値は例示であってこれらに限定されるものではない。
さらに、実施例2では、分割数Sが取り得る値を、その最大値の約数に設定していたが、補正する必要のある欠陥画素のすべてを欠陥画素補正部42による欠陥画素補正動作で補正するために、その記憶部43に登録可能な欠陥画素数(登録限度数)に応じて分割数Sを設定するもの、すなわち少なくとも補正画素数を登録限度数で除算して得られた商の少数以下を切り上げた値を分割数Sとして設定するものであればよく、実施例2に限定されるものではない。例えば、実施例2では、露光時間が16秒である場合、補正画素数が1200に設定されており、かつ記憶部43の登録限度数が500であることから、欠陥画素補正部42による欠陥画素補正動作を3回行えば、1200個の欠陥画素のすべてを補正することができることとなるので、分割数Sを3に設定してもよい。この場合、予めRAM44に各欠陥画素のアドレスデータを格納する際、分割数Sが3、すなわち画像(画像データ)を3分割した状態での各欠陥画素のアドレスデータを格納しておく必要がある。
実施例2では、露光時間に応じた補正画素数に対応して分割数Sを設定して、その分割数Sおよび露光時間に応じた欠陥画素補正の準備を行うものとしていたが、分割数Sの最大値で等分(実施例2では4)された領域の画像データ毎に各優先補正画素群PNMを取得してRAM44に格納していることから、分割数Sが最大値の約数(実施例2では、1または2)である場合(露光時間が2、4、8秒)、最大値で等分された画像データ毎の各優先補正画素群PNMを合わせることとなる(ステップS32、ステップS34、ステップS37およびステップS38参照)ので、分割数Sを常に最大値として欠陥画素補正の準備を行うものとしてもよい。
実施例2では、分割数Sの最大値(実施例2では4)で等分された領域の画像データ毎に各優先補正画素群PNMを取得してRAM44に格納していたが、露光時間に応じた欠陥画素補正の準備を可能とする、すなわち各欠陥画素のアドレスデータを欠陥画素補正部42の記憶部43に適宜登録することができるものであればよく、実施例2に限定されるものではない。
次に、本発明の実施例3に係る撮像装置およびそこで行われる欠陥画素補正処理について説明する。この実施例3は、欠陥画素補正処理における処理内容の一部が実施例1および実施例2とは異なる例である。この実施例3の撮像装置は、基本的な構成は上記した実施例1の撮像装置であるデジタルカメラ1と同様であることから、等しい構成の個所には同じ符号を付し、その詳細な説明は省略する。図11は、各優先補正画素群P´もしくは各優先補正画素群PNM´におけるRAM44に格納された欠陥画素のアドレス(CCD20上の縦横座標)のデータの個数(欠陥画素のデータ数)等を表で示す図4および図7と同様の説明図である。
先ず、実施例3の欠陥画素補正処理のために、実施例1と同様に、設定された各露光時間で出現する欠陥画素の数を統計的に把握し、露光時間に応じて出現する欠陥画素の全てを補正するために充分だと判断できる数を、露光時間に応じた補正画素数として設定する。この実施例3では、露光時間が2秒の場合の補正画素数を200とし、露光時間が4秒の場合の補正画素数を500とし、露光時間が8秒の場合の補正画素数を700とし、露光時間が16秒の場合の補正画素数を1000とし、露光時間が32秒の場合の補正画素数を1500としている(図11参照)。この露光時間に応じた補正画素数は、RAM44に格納されている。
ここで、制御部28は、露光時間に応じた補正画素数の最大値を1500に設定しているとともに、記憶部43に登録可能な欠陥画素数が500であることから、この1500から500を減算した欠陥画素(1000)のすべてを欠陥画素補正部42で補正するには、2回の欠陥画素補正動作を行う必要があることに基づいて、分割数S´の最大値を2に設定する。この実施例3では、後述するように、記憶部43に登録可能な欠陥画素数(登録限度数)を超える数の画素を補正する場合、先ず欠陥画素補正部42において登録限度数の欠陥画素補正を行い、その後、残りの欠陥画素のすべてを欠陥画素補正するものであることから、実施例3での分割数S´とは、その残りの欠陥画素のすべてを処理時間の増大を抑制しつつ補正するために、CCD20により取得された1つの画像データにおいて、欠陥画素補正部42での1回の欠陥画素補正動作における対象となる領域すなわちデータ量を設定するために当該画像データを等分する数である。
制御部28は、設定された露光時間に応じた補正画素数での欠陥画素補正処理のために、実施例3では、検出した欠陥画素のアドレス(CCD20上の縦横座標)のデータを、それぞれの欠陥画素レベルおよび設定された露光時間に関連付けて、以下のようにRAM44に格納する。
実施例3での基本的な欠陥画素の検出方法は、実施例1と同様であるが、上述したように、先ず欠陥画素補正部42において登録限度数の欠陥画素補正を行うため、最初に、CCD20の全ての画素の中から、欠陥画素レベルが高い順から登録限度数すなわち500個までの画素を検出し、上から200個を第1優先補正画素群P´の欠陥画素のアドレスデータとして、RAM44に格納し、残りの300個を第2優先補正画素群P´の欠陥画素のアドレスデータとして、RAM44に格納する。この第1優先補正画素群P´として検出された200個の欠陥画素は、そのまま露光時間が2秒の場合に補正する200個の欠陥画素となり、第2優先補正画素群P´として検出された300個の欠陥画素は、第1優先補正画素群P´の200個の欠陥画素を加算することにより、露光時間が4秒の場合に補正する500個の欠陥画素となる。また、実施例3では、この露光時間が4秒の場合に補正する500個の欠陥画素が、そのまま補正優先度の高い欠陥画素となる。
次に、上述したように、分割数S´の最大値を2に設定したことから、2つの領域に分割した画像データ毎(以下、分割画像E、Fとする(図8(b)参照))に各優先補正画素群PNM´を取得する。ここで、Nは、実施例2と同様であるが(但し、既に第1優先補正画素群P´と第2優先補正画素群P´とが取得されていることから、取り得る値は3〜5)、Mは、実施例3では、各N番目の群においてどの分割画像E、Fのいずれに該当するものであるかを表すものであるので、E、Fの順に1、2を当て嵌めている。
両分割画像E、Fの各画素の中から、それぞれにおける第2優先補正画素群P´の中の最も欠陥画素レベルが低いものよりも欠陥画素レベルが低いことを前提として、欠陥画素レベルが高い画素から順に100個の画素を欠陥画素として検出し、第3優先補正画素群P3M´(M=1、2)の欠陥画素のアドレスデータとして、RAM44に格納する。これらの、第3優先補正画素群P31´として検出された100個の欠陥画素と、第3優先補正画素群P32´として検出された100個の欠陥画素とを合わせたもの(第3優先補正画素群P´とする)は、上記した第1優先補正画素群P´の200個の欠陥画素および第2優先補正画素群P´の300個の欠陥画素を加算することにより、露光時間が8秒の場合に補正する700個の欠陥画素となる。
次に、両分割画像E、Fの各画素の中から、それぞれにおける第3優先補正画素群P´(第3優先補正画素群P31´または第3優先補正画素群P32´)の中の最も欠陥画素レベルが低いものよりも欠陥画素レベルが低いことを前提として、欠陥画素レベルが高い画素から順に150個の画素を欠陥画素として検出し、第4優先補正画素群P4M´(M=1、2)の欠陥画素のアドレスデータとして、RAM44に格納する。これらの、第4優先補正画素群P41´として検出された150個の欠陥画素と、第4優先補正画素群P42´として検出された150個の欠陥画素とを合わせたもの(第4優先補正画素群P´とする)は、上記した第1優先補正画素群P´の200個の欠陥画素、第2優先補正画素群P´の300個の欠陥画素および第3優先補正画素群P´の200個の欠陥画素を加算することにより、露光時間が16秒の場合に補正する1000個の欠陥画素となる。
次に、両分割画像E、Fの各画素の中から、それぞれにおける第3優先補正画素群P´(第4優先補正画素群P41´または第4優先補正画素群P42´)の中の最も欠陥画素レベルが低いものよりも欠陥画素レベルが低いことを前提として、欠陥画素レベルが高い画素から順に250個の画素を欠陥画素として検出し、第5優先補正画素群P5M´(M=1、2)の欠陥画素のアドレスデータとして、RAM44に格納する。これらの、第5優先補正画素群P51´として検出された250個の欠陥画素と、第5優先補正画素群P52´として検出された250個の欠陥画素とを合わせたもの(第5優先補正画素群P´とする)は、上記した第1優先補正画素群P´の200個の欠陥画素、第2優先補正画素群P´の300個の欠陥画素、第3優先補正画素群P´の200個の欠陥画素および第4優先補正画素群P´の200個の欠陥画素を加算することにより、露光時間が32秒の場合に補正する1500個の欠陥画素となる。
実施例3の制御部28では、上述したようにRAM44に格納した各優先補正画素群PNM´(N=1〜5、M=1、2)のアドレスデータ(図11参照)すなわち各欠陥画素データを利用して、欠陥画素補正処理を行う。図12は、この制御部28にて実行される実施例3の欠陥画素補正処理内容を示すフローチャートであり、図13は、図12のフローチャートにおけるステップS56の処理内容を示すフローチャートである。以下、図12のフローチャートの各ステップ(図13のフローチャートの各ステップも含む)について図11を用いて説明する。
ステップS51では、設定された露光時間を取得して、ステップS52へ進む。このステップS51では、図5のフローチャートのステップS1と同様に、レリーズ2が押し下げられて撮影動作が開始されると、それにより得ることが可能となる当該撮影時の露光時間の情報を取得する。
ステップS52では、ステップS51での設定された露光時間の取得に続き、取得した露光時間が8秒以上であるか否かを判定し、Yesの場合はステップS53へ進み、Noの場合はステップS60へ進む。このステップS52では、欠陥画素補正処理の内容の切り換え、すなわち欠陥画素補正部42による欠陥画素補正動作の回数の切り換えのために、ステップS51で取得した露光時間の長さを判断している。実施例3では、記憶部43に登録(格納)可能な欠陥画素数が500であるのに対し、露光時間が4秒の場合の補正画素数が500に設定され、かつ露光時間が8秒の場合の補正画素数が700に設定されていることから、露光時間が8秒以上である場合の補正画素数が登録限度数を越えているので、欠陥画素補正部42による欠陥画素補正動作を2回とすべくステップS53へ進み、露光時間が4秒以下である場合の補正画素数が登録限度数以下であるので、欠陥画素補正部42による欠陥画素補正動作を1回とすべくステップS60へ進む。
ステップS53では、ステップS52での露光時間が8秒以上であるとの判断に続き、補正優先度の高い欠陥画素の補正を実行して、ステップS54へ進む。このステップS53では、ステップS52にて露光時間が8秒以上であると判断したことから、欠陥画素補正部42の記憶部43に登録可能な欠陥画素数よりも多くの欠陥画素を補正する必要があるので、補正優先度の高い順すなわち欠陥画素レベル(輝度値)の大きい順から、記憶部43の登録限度数の欠陥画素を補正する。実施例3では、記憶部43の登録限度数が500であることから、第1優先補正画素群P´の200個の欠陥画素のアドレスデータと、第2優先補正画素群P´の300個の欠陥画素のアドレスデータと、を、RAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。その後、欠陥画素補正部42が、送られてきた画像データ(その各画素データ)において、記憶部43に登録された欠陥画素のアドレスに相当する画素データを読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間することにより、第1優先補正画素群P´の200個の欠陥画素と、第2優先補正画素群P´の300個の欠陥画素と、の合計500個の欠陥画素の補正を行う。
ステップS54では、ステップS53での補正優先度の高い欠陥画素の補正の実行に続き、ステップS51で取得した露光時間に応じた補正画素数を読み出して、ステップS55へ進む。このステップS54では、RAM44に格納された露光時間に応じた補正画素数を読み出す。
ステップS55では、ステップS54での露光時間に応じた補正画素数の読み出しに続き、取得した露光時間に対応する分割数S´を設定して、ステップS56へ進む。このステップS55では、読み出した露光時間に応じた補正画素数から、記憶部43に登録可能な欠陥画素数(500)を減算した値を、当該欠陥画素数(500)で除算し、その商が1以下であれば分割数S´を1に、商が1よりも大きく2以下であれば分割数S´を2に設定する。すなわち、露光時間に応じた補正画素数のうち、ステップS53にて既に欠陥画素補正を行った補正優先度の高い欠陥画素の数を減算した残りの補正画素数のすべてを欠陥画素補正部42で補正するために必要となる欠陥画素補正動作の回数を、分割数S´(S=1、2)として設定する。具体的には、露光時間が8秒の場合の分割数S´を1とし、露光時間が16秒の場合の分割数S´を1とし、露光時間が32秒の場合の分割数S´を2としている(図8(b)参照)。なお、基本的には、読み出した露光時間に応じた補正画素数から、記憶部43の欠陥画素数(500)を減算した値を、当該欠陥画素数で除算し、その商の小数点以下を切り上げた値を分割数Sとするものである。また、このステップS55では、カウンタ数Cを1に設定する。このカウンタ数Cは、分割数S´で等分された各分割画像(E、F(図8(b)参照))の画像データ(分割画像データISC´(S:分割数、C:カウンタ数))の何れに該当するものであるかを表すものであり、E、Fの順に1、2を当て嵌めている。このため、分割数S´が2の場合、画像データは、分割画像Eの分割画像データI21´と分割画像Fの分割画像データI22´とに分割される(図8(b)参照)。
ステップS56では、ステップS55での分割数S´の設定、あるいはステップS59でのカウンタ数Cのインクリメントに続き、その分割数S´および露光時間に応じた欠陥画素補正の準備を行って、ステップS57へ進む。このステップS56では、ステップS51で取得した露光時間に応じた補正画素数の画素を補正する(実質的に補正画素数を設定する)ために、各優先補正画素群PNM´(N=3〜5、M=1、2)のアドレスデータをRAM44から適宜読み出して、欠陥画素補正部42の記憶部43に登録(格納)することにより、露光時間に応じた欠陥画素補正の準備を行う(これを処理Cとする)。以下では、この露光時間に応じた欠陥画素補正の準備(ステップS56)における処理内容を示す図13のフローチャートの各ステップについて説明する。なお、上述したように、この図13のフローチャートに進んでくる場合、図12のフローチャートにおいて、ステップS51→ステップS52→ステップS53→ステップS54→ステップS55へと進んできている場面であることから、補正優先度の高い500個の欠陥画素(第1優先補正画素群P´の200個の欠陥画素と、第2優先補正画素群P´の300個の欠陥画素と、の合計500個の欠陥画素)の補正が既に完了している。
ステップS71では、ステップS51で取得した露光時間が8秒であるか否かを判定し、Yesの場合はステップS72へ進み、Noの場合はステップS73へ進む。
ステップS72では、ステップS71での露光時間が8秒であるとの判断に続き、8秒の露光時間に応じた欠陥画素補正の準備を行って、処理C(ステップS56)を終了し、ステップS57(図12参照)へと進む。ここで、露光時間が8秒である場合、図12のフローチャートのステップS55において、分割数S´が1に設定されている場面である。このステップS72では、8秒の露光時間に応じた欠陥画素補正の準備として、分割数1であることからそのまま画像データとなる分割画像データI11´におけるすべての欠陥画素の補正のために、第3優先補正画素群P3M´(M=1、2)の各100個の欠陥画素のアドレスデータ(図11参照)の計200個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。
ステップS73では、ステップS71での露光時間が8秒ではないとの判断に続き、ステップS51で取得した露光時間が16秒であるか否かを判定し、Yesの場合はステップS74へ進み、Noの場合はステップS75へ進む。
ステップS74では、ステップS73での露光時間が16秒であるとの判断に続き、16秒の露光時間に応じた欠陥画素補正の準備を行って、処理C(ステップS56)を終了し、ステップS57(図9参照)へと進む。ここで、露光時間が16秒である場合、図12のフローチャートのステップS55において、分割数S´が1に設定されている場面である。このステップS74では、16秒の露光時間に応じた欠陥画素補正の準備として、分割数1であることからそのまま画像データとなる分割画像データI11´におけるすべての欠陥画素の補正のために、第3優先補正画素群P3M´(M=1、2)の各100個の欠陥画素のアドレスデータおよび第4優先補正画素群P4M´(M=1、2)の各150個の欠陥画素のアドレスデータ(図4参照)、の計500個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。
ステップS75では、ステップS73での露光時間が16秒ではないとの判断に続き、カウンタ数Cが1であるか否かを判定し、Yesの場合はステップS76へ進み、Noの場合はステップS77へ進む。これは、ステップS73において露光時間が16秒ではない場合、設定されている露光時間の上限である32秒に設定されていることとなり、図12のフローチャートのステップS55において、分割数S´が2に設定されている場面であることから、後述するように、図12のフローチャートのステップS56からステップS59を経てステップS56へと戻る流れにおいてカウンタ数Cが1から2へと増加されて(ステップS59)分割画像Eおよび分割画像F(図8(b)参照)のそれぞれについて欠陥画素補正部42で欠陥画素補正動作を実行することとなるので、カウンタ数Cによって32秒の露光時間に応じた欠陥画素補正の準備が異なることによる。
ステップS76では、ステップS75でのカウンタ数Cが1であるとの判断に続き、32秒の露光時間に応じた分割画像E(図8(b)参照)の欠陥画素補正の準備を行って、処理C(ステップS56)を終了し、ステップS57(図12参照)へと進む。このステップS76では、32秒の露光時間に応じた分割画像E(図8(b)参照)の欠陥画素補正の準備として、画像データの半分となる分割画像データI21´におけるすべての欠陥画素の補正のために、32秒の露光時間に対応する優先番号(N=3〜5)であって画像データが2分割された分割画像Eに対応する番号(M=1)である第N優先補正画素群PNM´(N=3〜5、M=1)の各欠陥画素のアドレスデータ(図11参照)をRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。すなわち、第3優先補正画素群P31´の100個の欠陥画素のアドレスデータ、第4優先補正画素群P41´の150個の欠陥画素のアドレスデータおよび第5優先補正画素群P51´の250個の欠陥画素のアドレスデータ(図11参照)、の計500個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。
ステップS77では、ステップS75でのカウンタ数Cが1ではないとの判断に続き、32秒の露光時間に応じた分割画像F(図8(b)参照)の欠陥画素補正の準備を行って、処理C(ステップS56)を終了し、ステップS57(図12参照)へと進む。このステップS77では、32秒の露光時間に応じた分割画像F(図8(b)参照)の欠陥画素補正の準備として、画像データの半分となる分割画像データI22´におけるすべての欠陥画素の補正のために、32秒の露光時間に対応する優先番号(N=3〜5)であって画像データが2分割された分割画像Fに対応する番号(M=2)である第N優先補正画素群PNM´(N=3〜5、M=2)の各欠陥画素のアドレスデータ(図11参照)をRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。すなわち、第3優先補正画素群P32´の100個の欠陥画素のアドレスデータ、第4優先補正画素群P42´の150個の欠陥画素のアドレスデータおよび第5優先補正画素群P52´の250個の欠陥画素のアドレスデータ(図11参照)、の計500個の欠陥画素のアドレスデータをRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。
ステップS57では、ステップS56での分割数S´および露光時間に応じた欠陥画素補正の準備に続き、露光時間に応じた分割数S´でのカウンタ数Cに対応する分割画像の分割画像データISC´に対して欠陥画素補正を実行して、ステップS58へ進む。このステップS57では、欠陥画素補正部42が、送られてきた画像データ(その各画素データ)のうちのカウンタ数Cに対応する分割画像データISC´において、記憶部43に登録された欠陥画素のアドレスに相当する画素データを読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間することにより、ステップS56での露光時間に応じた欠陥画素補正の準備に応じた補正画素数の補正を行う。
ステップS58では、ステップS57での露光時間に応じた分割数S´でのカウンタ数Cに対応する分割画像の分割画像データISCに対する欠陥画素補正の実行に続き、カウンタ数Cが分割数S´と等しいか否かを判定し、Yesの場合は図12のフローチャートを終了し、Noの場合はステップS59へ進む。このステップS58では、カウンタ数Cが露光時間に応じた分割数S´に等しいか否かを判断することにより、分割画像データISC´に対して欠陥画素補正を実行するステップS57が繰り返されることで、全ての分割画像すなわち分割される前の画像データのすべてに対して欠陥画素補正を行ったか否かを判断するものである。
ステップS59では、ステップS58でのカウンタ数Cが分割数S´と等しくないとの判断に続き、カウンタ数Cをインクリメント(C=C+1)して、ステップS56へと戻る。このステップS59は、分割される前の画像データのすべてに対して欠陥画素補正を行うために、ステップS57における分割画像データISC´に対する欠陥画素補正の実行の回数(カウンタ数C)を1ずつ加算する。
ステップS60では、ステップS52での露光時間が8秒以上ではないとの判断に続き、露光時間に応じた欠陥画素補正の準備を行って、ステップS61へ進む。このステップS60では、図5のフローチャートのステップS4と同様に、ステップS51で取得した露光時間に応じた補正画素数の画素を補正するために、各優先補正画素群P´のアドレスデータをRAM44から適宜読み出して、欠陥画素補正部42の記憶部43に登録(格納)することにより、露光時間に応じた欠陥画素補正の準備を行う。このステップS60では、露光時間が2秒の場合、露光時間に応じた欠陥画素補正の準備として、第1優先補正画素群P´の200個の欠陥画素のアドレスデータ(図4参照)をRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。また、露光時間が4秒の場合、露光時間に応じた欠陥画素補正の準備として、第1優先補正画素群P´の200個の欠陥画素のアドレスデータおよび第2優先補正画素群P´の300個の欠陥画素のアドレスデータ(図4参照)をRAM44から読み出して、欠陥画素補正部42の記憶部43に登録(格納)する。
ステップS61では、ステップS60での露光時間に応じた欠陥画素補正の準備に続き、露光時間に応じた欠陥画素補正を実行して、図12のフローチャートを終了する。このステップS61では、欠陥画素補正部42が、送られてきた画像データ(その各画素データ)において、記憶部43に登録された欠陥画素のアドレスに相当する画素データを読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間することにより、ステップS60での露光時間に応じた欠陥画素補正の準備に応じた補正画素数の補正を行う。詳細には、露光時間が2秒の場合、第1優先補正画素群P´の200個の欠陥画素の補正を行い、露光時間が4秒の場合、第1優先補正画素群P´の200個の欠陥画素と第2優先補正画素群P´の300個の欠陥画素との合計500個の欠陥画素の補正を行う。このとき、何れの場面であっても、欠陥画素のアドレスデータの全てが記憶部43に登録可能であることから、欠陥画素補正部42では一度の欠陥画素補正動作で、露光時間に応じた補正画素数の欠陥画素の全てを補正することができる。このため、ステップS61では、露光時間が2秒もしくは4秒の場合であって、1回目の欠陥画素補正部42での欠陥画素補正動作として、ステップS51で取得した露光時間に応じた補正画素数の補正を実行することとなる。
このように、実施例3の欠陥画素補正処理では、撮像素子(CCD20)において補正対象とする欠陥画素の数が、欠陥画素補正部42の記憶部43に登録可能な欠陥画素数以内である場合(実施例3では露光時間が2秒あるいは4秒の場合)、ステップS51→ステップS52→ステップS60→ステップS61へと進んで、等分されていないそのままの画像(画像データ)に対して、欠陥画素補正部42で取得した露光時間に応じた補正画素数の欠陥画素補正動作を行う。このため、全体としての処理内容をより簡易なものとしつつ、露光時間に応じた補正画素数の欠陥画素補正を行うことができる。
また、撮像素子(CCD20)において補正対象とする欠陥画素の数が、欠陥画素補正部42の記憶部43に登録可能な欠陥画素数を超える場合(実施例3では露光時間が8秒、16秒あるいは32秒の場合)、ステップS51→ステップS52→ステップS53へと進んで、先ず、補正優先度の高い500個の欠陥画素(第1優先補正画素群P´の200個の欠陥画素および第2優先補正画素群P´の300個の欠陥画素)の補正を行い、その後、ステップS54→ステップS55→ステップS56→ステップS57へと進んで、取得した露光時間に応じた補正画素数のうちの補正をしていない残りの欠陥画素数に対応して分割数S´を設定し(ステップS55)、画像(画像データ)を分割数S´で等分して、それぞれの分割画像データISC´に対する欠陥画素補正部42での欠陥画素補正動作の繰り返しにより、補正対象となる画素データを重複させることなく画像データのすべてに対して欠陥画素補正を行う(ステップS57)。このとき、ステップS56において、ステップS57での欠陥画素補正の実行の回数(カウンタ数C)に応じた分割画像データISC´における各欠陥画素のアドレスデータをRAM44に格納していることから、ステップS56→ステップS57→ステップS58→ステップS59へと進んでステップS56へと戻る流れが繰り返されることにより、分割される前の画像データのすべてに対して欠陥画素補正を行うことができる。これは、例えば、露光時間が32秒に設定されて(補正画素数は1500個)いる場合、ステップS51→ステップS52→ステップS53→ステップS54→ステップS55へと進むことにより、分割数S´が2とされて画像データを分割画像E、Fに等分する。その後、ステップS56で露光時間32秒に応じた分割画像Eの分割画像データI21´の欠陥画素補正のための準備を行ってステップS57へと進むことにより、欠陥画素補正部42が、送られてきた画像データのうちの分割画像データI21´において、記憶部43に登録された欠陥画素のアドレスに相当する画素データ(第3優先補正画素群P31´の100個の欠陥画素、第4優先補正画素群P41´の150個の欠陥画素および第5優先補正画素群P51´の250個、の計500個の欠陥画素)を読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間して、分割画像Eの露光時間32秒に応じた欠陥画素補正が終了する。その後、ステップS58へと進むがカウンタ数Cが1であって分割数S´=2に等しくないことから、ステップS59へと進んでステップS56へと戻ることにより、露光時間32秒に応じた分割画像Fの分割画像データI22´の欠陥画素補正のための準備を行う。その後、ステップS57へと進むことにより、欠陥画素補正部42に、送られてきた画像データのうちの分割画像データI22´において、記憶部43に登録された欠陥画素のアドレスに相当する画素データ(第3優先補正画素群P32´の100個の欠陥画素、第4優先補正画素群P42´の150個の欠陥画素および第5優先補正画素群P52´の250個の欠陥画素、の計500個の欠陥画素)を読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間して、分割画像Fの欠陥画素補正が終了する。その後、ステップS58へと進むと、カウンタ数Cが2となっていることからステップS59へと進むことはなく図12のフローチャートを終了することにより、上記した分割画像Eおよび分割画像Fの欠陥画素補正が終了し、分割される前の画像データのすべてに対して欠陥画素補正を行うことができる。このとき、何れの場面であっても、欠陥画素のアドレスデータの全てが記憶部43に登録可能であることから、欠陥画素補正部42では一度の欠陥画素補正動作で、露光時間に応じた分割数S´でのカウンタ数Cに対応する分割画像の分割画像データISC´の欠陥画素の全てを補正することができる。
実施例3の欠陥画素補正処理では、撮像素子(CCD20)において補正対象とする欠陥画素の数が、欠陥画素補正部42の記憶部43に登録可能な欠陥画素数を超える場合(実施例3では露光時間が8秒、16秒あるいは32秒の場合)であっても、当該記憶部43への登録内容を書き換えつつ、すなわち記憶部43における欠陥画素データの登録内容を変更しつつ、欠陥画素補正部42での欠陥画素補正の動作を繰り返すことから、補正が必要とされる欠陥画素数と記憶部43の登録限度数との関係に拘らず、撮像素子(CCD20)の全ての欠陥画素を補正することができる。
また、実施例3の欠陥画素補正処理では、撮像素子(CCD20)において補正対象とする欠陥画素の数が、欠陥画素補正部42の記憶部43に登録可能な欠陥画素数を超えない場合は、画像(画像データ)全体に対する欠陥画素補正部42での1回分の欠陥画素補正動作の処理時間で、より適切に欠陥画素補正をすることができる。これは、画像(画像データ)全体に対して欠陥画素補正部42が欠陥画素補正動作を行うことから、注目した欠陥画素の両隣の画素が存在する確率が高まることと、画像(画像データ)全体における各欠陥画素の分散具合に偏りがあった場合であっても当該偏りに拘らず確実に欠陥画素レベルの高い画素を優先的に補正することができることと、による。
さらに、実施例3の欠陥画素補正処理では、撮像素子(CCD20)において補正対象とする欠陥画素の数が、欠陥画素補正部42の記憶部43に登録可能な欠陥画素数を超える場合であっても、画像(画像データ)全体に対する欠陥画素補正部42での略2回分の欠陥画素補正動作の処理時間で、より適切に欠陥画素補正をすることができる。すなわち、画像(画像データ)全体に対して、先ず、補正優先度の高い500個の欠陥画素の補正を行い、その後に、残りの各欠陥画素に対して分割数S´を設定し、元の画像データを分割数S´で等分したそれぞれの分割画像データISC´に対して欠陥画素補正動作を行う(ステップS57)ことから、画像(画像データ)全体に対して欠陥画素補正をすることによるより適切な補正が可能であるという効果と、元の画像データを分割数S´で等分して欠陥画素補正をすることによる処理時間の増大を抑制する効果と、の双方を調和させつつ得ることができる。
実施例3の欠陥画素補正処理では、露光時間に応じて補正する画素数を変更していることから、露光時間に応じた必要な補正画素数だけ補正することができ、欠陥画素の補正不足や過補正に基因する画質の低下を防止することができる。
実施例3の欠陥画素補正処理では、欠陥画素レベルが高い画素を優先的に補正することから、画像(画像データ)上において欠陥画素と認識され易い画素を優先的に補正することができるので、より効率的に画質を向上させることができる。
このため、本発明に係る撮像装置のデジタルカメラ1では、記憶部43での登録限度数に拘らず、補正対象とするすべての欠陥画素を適切に補正することができる。これにより、暗電流が増えたり蓄積されたりする条件、例えば、撮像素子(CCD20)の温度が上昇したり露光時間が長い状況で撮影された画像(画像データ)であっても、その品質を向上させることができる。
特に、実施例3の欠陥画素補正処理では、補正が必要とされる欠陥画素数と記憶部43の登録限度数との関係に拘らず、撮像素子(CCD20)の全ての欠陥画素をより適切に補正することができるとともに、欠陥画素補正部42で欠陥画素補正動作を繰り返すことに伴って処理時間が増大することを抑制することができる。
なお、上記した実施例3では、欠陥画素の影響の変化の判断基準を露光時間として露光時間に応じた補正画素数が設定されている例を示したが、動的な欠陥要因である温度キズの影響が変化する要因を基準として補正画素数を設定するものであれば、例えば、ISO感度に応じた補正画素数の設定に基づいて補正画素数を設定するものであってもよく、実施例3に限定されるものではない。
また、実施例3では、欠陥画素補正部42の記憶部43に登録可能な欠陥画素数が500であり、かつ露光時間に応じた補正画素数の設定が露光時間32秒の場合の補正画素数1500を最大としていたが、各数値は例示であってこれらに限定されるものではない。ここで、設定した補正画素数が登録限度数の3倍以上である場合、少なくとも、当該補正画素数から登録限度数を減算した値(差分)を、登録限度数で除算して得られた商の少数以下を切り上げた値を分割数S´として設定すればよい。
さらに、実施例3では、露光時間に応じた補正画素数に対応して分割数S´を設定して、その分割数S´および露光時間に応じた欠陥画素補正の準備を行うものとしていたが、分割数S´の最大値で等分(実施例3では2)された領域の画像データ毎に各優先補正画素群PNM´を取得してRAM44に格納していることから、分割数S´が最大値の約数(実施例3では、1)である場合(露光時間が8、16秒)、最大値で等分された画像データ毎の各優先補正画素群PNM´を合わせることとなる(ステップS72およびステップS74参照)ので、分割数S´を常に最大値として欠陥画素補正の準備を行うものとしてもよい。
実施例3では、分割数S´の最大値(実施例3では2)で等分された領域の画像データ毎に各優先補正画素群PNM´を取得してRAM44に格納していたが、露光時間に応じた欠陥画素補正の準備を可能とする、すなわち各欠陥画素のアドレスデータを欠陥画素補正部42の記憶部43に適宜登録することができるものであればよく、実施例3に限定されるものではない。
以上、本発明を各実施例に基づき詳述してきたが、これらの具体的な構成に限らず、本発明の趣旨を逸脱しない程度の設計的変更は、本発明の技術的範囲に含まれる。
なお、上記した各実施例では、各露光時間に応じた補正画素数を設定し、それを判断基準として各露光時間での欠陥画素を検出していたが、実際にデジタルスチルカメラ(デジタルカメラ1)にセンサ(CCD20)を搭載した状態において、設定された各露光時間における取得したダーク画像(画像データ)で輝点として現れる画素(画素データ)の輝度値を把握して、露光時間に応じて出現する輝点(画素)の全てを補正するために充分だと判断できる輝度値を、露光時間に応じた欠陥画素レベルの閾値(補正判断値)として設定し、その露光時間に応じた欠陥画素レベルを判断基準として各露光時間での欠陥画素を検出するものであってもよい。このことは、欠陥画素(温度キズ)の影響の変化の判断基準をISO感度とした場合であっても同様である。
また、上記した各実施例では、撮像素子(CCD20)にRGBフィルタが設けられていたが、当該フィルタを設けずに構成されていてもよい。この場合、欠陥画素補正部42における欠陥画素補正では、色の区分けを考慮することなく、注目した欠陥画素に隣接する両隣の画素データの平均値を、当該注目した欠陥画素の画素データとすることにより補間すればよい。
1 (撮像装置として)デジタルカメラ
21 (画像生成手段としての)アナログフロントエンド部
22 (画像生成手段としての)信号処理部
23 (画像生成手段としての)SDRAM
24 (画像生成手段としての)ROM
28 (画像生成手段としての)制御部
42 欠陥画素補正部
43 記憶部
44 (メモリとしての)RAM
SC 分割画像データ
、PNM (欠陥画素データとしての)優先補正画素群
S、S´ 分割数
特開2002−94884号公報

Claims (13)

  1. 複数の画素を有する撮像素子から出力された複数の電気信号に基づいて画像データを生成する画像生成手段を備え、
    該画像生成手段が、前記画像データの生成過程における画像生成データが入力されると、該画像生成データにおいて、記憶部に登録された前記撮像素子における各欠陥画素データに相当する画素データを補正する欠陥画素補正動作により、前記画像生成データの欠陥画素補正を行う欠陥画素補正部を有する撮像装置であって、
    前記画像生成手段は、欠陥画素の影響の変化の判断基準に対応付けた欠陥画素レベルに基づいて補正対象とする補正画素数を設定し、該補正画素数が、前記記憶部に登録可能な前記欠陥画素データの数である登録限度数を超えた場合、補正対象とする画素データを重複させることなく前記補正画素数の欠陥画素補正を行うべく、前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返すことを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置であって、
    さらに、前記画像生成手段が適宜格納および読出することのできるメモリを備え、
    前記欠陥画素データは、前記撮像素子から出力される電気信号に基づいて前記欠陥画素レベルを判断し、該欠陥画素レベルが前記判断基準における設定条件に対応付けた補正判断値を超えた前記画素の前記撮像素子上の縦横座標に、対応する前記設定条件および前記欠陥画素レベルを関連付けて生成されて前記メモリに格納され、
    前記画像生成手段は、前記設定条件に適合する前記欠陥画素データを前記メモリから読み出して前記記憶部に登録することを特徴とする撮像装置。
  3. 前記画像生成手段は、設定した前記補正画素数が前記登録限度数を超えた場合、前記画像生成データを、前記補正画素数を前記登録限度数で除算して得られた商の少数以下を切り上げた値で等分して複数の分割画像データに区分けし、各該分割画像データ毎に前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返すことを特徴とする請求項1または請求項2に記載の撮像装置。
  4. 前記画像生成手段は、設定した前記補正画素数が前記登録限度数を超えた場合、前記画像生成データに対して、前記登録限度数の前記欠陥画素データを前記記憶部に登録して前記欠陥画素補正部での前記欠陥画素補正動作を行い、その後、前記画像生成データを、前記補正画素数が前記登録限度数を減算した差分を該登録限度数で除算して得られた商の少数以下を切り上げた値で等分して複数の分割画像データに区分けし、最初の前記欠陥画素補正動作での欠陥画素補正とは補正対象とする画素データが重複しないように各該分割画像データ毎に前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返すことを特徴とする請求項1または請求項2に記載の撮像装置。
  5. 前記画像生成手段は、設定した前記補正画素数が前記登録限度数を超えた場合、前記画像生成データに対して、前記欠陥画素レベルが高い方から順に前記登録限度数の前記欠陥画素データを前記記憶部に登録して前記欠陥画素補正部での前記欠陥画素補正動作を行い、その後、前記画像生成データを、前記補正画素数が前記登録限度数を減算した差分を該登録限度数で除算して得られた商の少数以下を切り上げた値で等分して複数の分割画像データに区分けし、最初の前記欠陥画素補正動作での欠陥画素補正とは補正対象とする画素データが重複しないように各該分割画像データ毎に前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返すことを特徴とする請求項1または請求項2に記載の撮像装置。
  6. 前記欠陥画素データは、等分された前記分割画像データに対応する前記撮像素子上での区画毎に、前記撮像素子から出力される電気信号に基づいて前記欠陥画素レベルを判断し、該欠陥画素レベルが前記判断基準における設定条件に対応付けた補正判断値を超えた前記画素の前記撮像素子上の縦横座標に、対応する前記設定条件および前記欠陥画素レベルを関連付けて生成されて前記メモリに格納されていることを特徴とする請求項3ないし請求項5のいずれか1項に記載の撮像装置。
  7. 前記判断基準は露光時間であり、前記設定条件は露光時間として設定された数値であることを特徴とする請求項2ないし請求項6のいずれか1項に記載の撮像装置。
  8. 前記判断基準はISO感度であり、前記設定条件はISO感度として設定された数値であることを特徴とする請求項2ないし請求項6のいずれか1項に記載の撮像装置。
  9. 複数の画素を有する撮像素子から出力された複数の電気信号に基づいて画像データを生成する画像生成手段を備え、
    該画像生成手段が、前記画像データの生成過程における画像生成データが入力されると、該画像生成データにおいて、記憶部に登録された前記撮像素子における各欠陥画素データに相当する画素データを補正する欠陥画素補正動作により、前記画像生成データの欠陥画素補正を行う欠陥画素補正部を有する撮像装置の制御部に、前記欠陥画素補正部による欠陥画素を補正する機能を実現させるためのプログラムであって、
    前記画像生成手段に、欠陥画素の影響の変化の判断基準に対応付けた欠陥画素レベルに基づいて補正対象とする補正画素数を設定させる機能と、
    該補正画素数が、前記記憶部に登録可能な前記欠陥画素データの数である登録限度数を超えた場合、補正対象とする画素データを重複させることなく前記補正画素数の欠陥画素補正を行うべく、前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返させる機能と、
    を実現させることを特徴とするプログラム。
  10. 前記画像生成手段に、前記撮像素子から出力される電気信号に基づいて前記欠陥画素レベルを判断し、該欠陥画素レベルが前記判断基準における設定条件に対応付けた補正判断値を超えた前記画素の前記撮像素子上の縦横座標に、対応する前記設定条件および前記欠陥画素レベルを関連付けて生成されて前記メモリに格納された前記欠陥画素データのうち、前記設定条件に適合する前記欠陥画素データを前記メモリから読み出して前記記憶部に登録する機能を、実現させることを特徴とする請求項9に記載のプログラム。
  11. 前記画像生成手段に、設定した前記補正画素数が前記登録限度数を超えた場合、前記画像生成データを、前記補正画素数を前記登録限度数で除算して得られた商の少数以下を切り上げた値で等分して複数の分割画像データに区分けし、各該分割画像データ毎に前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返させる機能を、実現させることを特徴とする請求項9または請求項10に記載のプログラム。
  12. 前記画像生成手段に、設定した前記補正画素数が前記登録限度数を超えた場合、前記画像生成データに対して、前記登録限度数の前記欠陥画素データを前記記憶部に登録して前記欠陥画素補正部での前記欠陥画素補正動作を行わせ、かつ、その後、前記画像生成データを、前記補正画素数が前記登録限度数を減算した差分を該登録限度数で除算して得られた商の少数以下を切り上げた値で等分して複数の分割画像データに区分けし、最初の前記欠陥画素補正動作での欠陥画素補正とは補正対象とする画素データが重複しないように各該分割画像データ毎に前記記憶部における前記欠陥画素データの登録内容を変更しつつ前記欠陥画素補正部での前記欠陥画素補正動作を繰り返させる機能を、実現させることを特徴とする請求項9または請求項10に記載のプログラム。
  13. 前記欠陥画素データとして、等分された前記分割画像データに対応する前記撮像素子上での区画毎に、前記撮像素子から出力される電気信号に基づいて前記欠陥画素レベルを判断し、該欠陥画素レベルが前記判断基準における設定条件に対応付けた補正判断値を超えた前記画素の前記撮像素子上の縦横座標に、対応する前記設定条件および前記欠陥画素レベルを関連付けて生成されて前記メモリに格納する機能を、実現させることを特徴とする請求項11または請求項12に記載のプログラム。
JP2009187063A 2009-08-12 2009-08-12 撮像装置およびプログラム Expired - Fee Related JP5299159B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009187063A JP5299159B2 (ja) 2009-08-12 2009-08-12 撮像装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009187063A JP5299159B2 (ja) 2009-08-12 2009-08-12 撮像装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2011041039A true JP2011041039A (ja) 2011-02-24
JP5299159B2 JP5299159B2 (ja) 2013-09-25

Family

ID=43768343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009187063A Expired - Fee Related JP5299159B2 (ja) 2009-08-12 2009-08-12 撮像装置およびプログラム

Country Status (1)

Country Link
JP (1) JP5299159B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021443A (ja) * 2011-07-08 2013-01-31 Nikon Corp 撮像装置
GB2522347A (en) * 2012-07-24 2015-07-22 Canon Kk Imaging apparatus, radiation imaging apparatus, and method for controlling the same
US9279893B2 (en) 2012-07-24 2016-03-08 Canon Kabushiki Kaisha Radiation imaging control apparatus, radiation imaging system and radiation imaging apparatus, and method for controlling the same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023051A (ja) * 1998-07-01 2000-01-21 Canon Inc 欠陥画素補正装置及びコンピュータ読み取り可能な記憶媒体
JP2000196966A (ja) * 1998-12-28 2000-07-14 Matsushita Electric Ind Co Ltd 高感度撮像装置
JP2002204396A (ja) * 2000-12-28 2002-07-19 Matsushita Electric Ind Co Ltd 画素補正装置
JP2003333435A (ja) * 2002-03-08 2003-11-21 Canon Inc 補正処理装置、撮像装置、補正処理方法、補正処理コンピュータプログラム
JP2005026794A (ja) * 2003-06-30 2005-01-27 Canon Inc データ処理方法、画像処理装置、及びプログラム
JP2006324874A (ja) * 2005-05-18 2006-11-30 Pentax Corp 画素欠陥補正装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023051A (ja) * 1998-07-01 2000-01-21 Canon Inc 欠陥画素補正装置及びコンピュータ読み取り可能な記憶媒体
JP2000196966A (ja) * 1998-12-28 2000-07-14 Matsushita Electric Ind Co Ltd 高感度撮像装置
JP2002204396A (ja) * 2000-12-28 2002-07-19 Matsushita Electric Ind Co Ltd 画素補正装置
JP2003333435A (ja) * 2002-03-08 2003-11-21 Canon Inc 補正処理装置、撮像装置、補正処理方法、補正処理コンピュータプログラム
JP2005026794A (ja) * 2003-06-30 2005-01-27 Canon Inc データ処理方法、画像処理装置、及びプログラム
JP2006324874A (ja) * 2005-05-18 2006-11-30 Pentax Corp 画素欠陥補正装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021443A (ja) * 2011-07-08 2013-01-31 Nikon Corp 撮像装置
GB2522347A (en) * 2012-07-24 2015-07-22 Canon Kk Imaging apparatus, radiation imaging apparatus, and method for controlling the same
US9279893B2 (en) 2012-07-24 2016-03-08 Canon Kabushiki Kaisha Radiation imaging control apparatus, radiation imaging system and radiation imaging apparatus, and method for controlling the same
GB2522347B (en) * 2012-07-24 2016-03-09 Canon Kk Imaging apparatus, radiation imaging apparatus, and method for controlling the same
GB2506728B (en) * 2012-07-24 2016-05-25 Canon Kk Radiation imaging control apparatus, radiation imaging system and radiation imaging apparatus, and method for controlling the same

Also Published As

Publication number Publication date
JP5299159B2 (ja) 2013-09-25

Similar Documents

Publication Publication Date Title
JP5123137B2 (ja) 撮像装置および撮像方法
JP5523065B2 (ja) 撮像装置及びその制御方法
JPWO2011155297A1 (ja) 撮像装置及び画像処理方法
JP2010074813A (ja) 撮像装置および撮像方法
JP2015136087A (ja) 撮像装置および撮像方法
JP2005269373A (ja) 映像信号処理システムおよび電子映像機器
JP6351271B2 (ja) 画像合成装置、画像合成方法、およびプログラム
JP3854754B2 (ja) 撮像装置、画像処理装置及びその方法、並びにメモリ媒体
JP5223686B2 (ja) 撮像装置および撮像方法
US20060197854A1 (en) Image capturing apparatus and computer software product
JP4167200B2 (ja) 信号処理装置、信号処理方法及びデジタルカメラ
JP2004282686A (ja) 撮像装置
JP5299159B2 (ja) 撮像装置およびプログラム
JP5277863B2 (ja) 撮像装置および撮像方法
JP5446955B2 (ja) 撮像装置
JP2014230121A (ja) 撮像装置および画素欠陥検出方法
JP2009055415A (ja) カメラ
JP4335648B2 (ja) デジタルカメラ及びデジタルカメラの撮像方法
JP2006121165A (ja) 撮像装置、画像形成方法
JP5950552B2 (ja) 撮像装置、及び撮像装置の制御方法
JP2008124793A (ja) 撮像装置、撮像方法
JP2013074368A (ja) 撮像装置及び撮像方法
KR101298638B1 (ko) 디지털 영상 처리 방법
JP5145876B2 (ja) 撮像装置および撮像方法
JP5241596B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130603

R151 Written notification of patent or utility model registration

Ref document number: 5299159

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees