JP2008263521A - 撮像装置及び画像処理方法 - Google Patents
撮像装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2008263521A JP2008263521A JP2007106120A JP2007106120A JP2008263521A JP 2008263521 A JP2008263521 A JP 2008263521A JP 2007106120 A JP2007106120 A JP 2007106120A JP 2007106120 A JP2007106120 A JP 2007106120A JP 2008263521 A JP2008263521 A JP 2008263521A
- Authority
- JP
- Japan
- Prior art keywords
- output ratio
- pixels
- output
- average value
- defective pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【解決手段】固体撮像素子における欠陥画素を挟むようにして、左右、上下、及び斜め方向について同方向に配置されている画素の少なくとも2画素を1組として、各組の画素からの出力信号に基づいて出力比を算出する出力比算出手段と、算出された各組の出力比に基づいて、左右、上下、又は斜め方向の何れかの方向に欠陥画素を挟むようにして近傍に配置されている欠陥画素と同色の少なくとも2画素を選択して出力信号の平均値を算出する平均値算出手段と、平均値算出手段により算出された平均値で欠陥画素からの信号を置換する補正手段とを備え、より適合性の高い補正処理を行えるようにする。
【選択図】図3
Description
例えば、図4に示すように画素が2次元配列された固体撮像素子において、欠陥画素A(2,2)が存在するとする。また、撮影画像は、図5に示すような欠陥画素A(2,2)を含むA(0,2)〜A(5,2)までの左右方向の一ラインが出力レベルの高い明部で、他が出力レベルの低い暗部であるとする。
また、特許文献2に記載の技術においても、置換処理するための値を欠陥画素と同色の組から選択するだけであるため、同様に適合性が損なわれた補正となってしまう。
本発明の撮像装置は、光学像を電気信号に変換する固体撮像素子を有する撮像装置であって、前記固体撮像素子における欠陥画素近傍に配置され、当該欠陥画素を挟む形で、左右、上下、斜め方向となる同色画素の少なくとも2画素を1組として、各組の画素からの出力信号をもとに出力比を算出する出力比算出手段と、前記出力比算出手段から得られた出力比が最小または出力比が1に最も近くなる組を抽出する抽出手段と、前記抽出手段により抽出された出力比が最小または出力比が1に最も近くなる組の画素の出力信号の平均値を算出する平均値算出手段と、前記平均値算出手段により算出された平均値で前記欠陥画素からの信号を置換する補正手段とを備えることを特徴とする。
本発明の撮像装置は、光学像を電気信号に変換する固体撮像素子を有する撮像装置であって、前記固体撮像素子における欠陥画素に隣接して配置され、当該欠陥画素を挟む形で、左右、上下、斜め方向となる画素の少なくとも2画素を1組として、各組の画素からの出力信号をもとに出力比を算出する出力比算出手段と、前記出力比算出手段から得られた出力比が最小または出力比が1に最も近くなる組を抽出する抽出手段と、前記抽出手段により抽出された出力比が最小または出力比が1に最も近くなる組と同方向となる少なくとも2画素を1組として、前記欠陥画素を挟む形で近傍に位置する同色画素の組の出力信号の平均値を算出する平均値算出手段と、前記平均値算出手段により算出された平均値で前記欠陥画素部からの信号を置換する補正手段とを備えることを特徴とする。
本発明の画像処理方法は、固体撮像素子を有する撮像装置により撮像された画像の画像処理方法であって、前記固体撮像素子における欠陥画素を挟むようにして、左右、上下、及び斜め方向について同方向に配置されている画素の少なくとも2画素を1組として、各組の画素からの出力信号に基づいて出力比を算出する出力比算出工程と、前記出力比算出工程で算出された各組の出力比に基づいて、左右、上下、又は斜め方向の何れかの方向に前記欠陥画素を挟むようにして近傍に配置されている前記欠陥画素と同色の少なくとも2画素を選択して出力信号の平均値を算出する平均値算出工程と、前記平均値算出工程で算出された平均値で前記欠陥画素からの信号を置換する補正工程とを有することを特徴とする。
図1は、本発明の第1の実施形態による撮像装置の構成例を示すブロック図である。
図1において、1はレンズ及び絞りからなる光学系であり、2はメカニカルシャッタ(メカシャッタと図示している)である。
撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部14の動作開始時に、不揮発性メモリ15から必要なプログラム、制御データ及び欠陥画素データを含む補正データが揮発性メモリ16に転送され記憶されるものとする。また、プログラムやデータは、システム制御部14が撮像装置を制御する際に使用するとともに、必要に応じて、追加のプログラムやデータを不揮発性メモリ15から揮発性メモリ16に転送したりする。また、システム制御部14が直接不揮発性メモリ15内のデータを読み出して使用しても良い。
システム制御部14からの制御信号により記録回路11は、画像記録媒体10から画像データを読み出し、同じくシステム制御部14からの制御信号により信号処理回路8は、画像データが圧縮画像であった場合に、画像伸長処理を行い画像メモリ9に記憶する。画像メモリ9に記憶されている画像データは、信号処理回路8で解像度変換処理を実施された後、表示回路13において画像表示装置12に適した信号に変換されて画像表示装置12に表示される。
欠陥画素の補正処理は、信号処理回路8にて行われる。なお、以下の説明では、図2に示したように撮像素子上のR(2、2)が欠陥画素であるとする。
左右方向での出力比をαx、上下方向での出力比をαy、斜め方向での出力比をそれぞれαa、αbとすると、下式で求められる。
出力比αyはαy=|R(2,0)-R(2,4)|/((R(2,0)+R(2,4))/2))である。
出力比αaはαa=|R(0,0)-R(4,4)|/((R(0,0)+R(4,4))/2))である。
出力比αbはαb=|R(4,0)-R(0,4)|/((R(4,0)+R(0,4))/2))である。
この一連の補正処理に係る動作が、欠陥画素すべてに行われることで欠陥画素からの出力信号の補正処理は完了する。
また、その出力比の値の大小関係がβx>βy>βa>βbであったとすると、出力比βxの組であるR(0、2)とR(4、2)の平均値(R(0、2)+R(4、2))/2により置換処理され、欠陥画素の出力への補正処理が行われることとなる。
次に、本発明の第2の実施形態について説明する。
第2の実施形態における撮像装置の構成及び撮影動作は、上述した第1の実施形態と同様であるのでその説明は省略し、欠陥画素の補正処理についてのみ説明する。第1の実施形態と同様に、図2中のR(2、2)が欠陥画素であるとする。
第2の実施形態では、欠陥画素に隣接する画素の出力信号を用いて、置換処理させるための欠陥画素と近傍する同色となる組を決定する。
信号処理回路8は、揮発性メモリ16に記憶された欠陥画素データから、欠陥画素のアドレスとして欠陥画素であるR(2、2)の座標データを読み出す。そして、信号処理回路8は、読み出した欠陥画素の座標データをもとに、欠陥画素に隣接する画素の座標データとして画素G(2、1)、G(2、3)、G(1、2)、G(3、2)、B(1、1)、B(3、3)、B(3、1)、B(1、3)を特定する。
次に、信号処理回路8は、撮影された画像データであるデジタル画像信号から、特定された座標データに照らし合わされて欠陥画素に隣接する画素データ(出力信号)を読み出す。
続いて、信号処理回路8は、欠陥画素を挟んで隣接する左右方向にあるG(1、2)とG(3、2)の組、上下方向に同方向となるG(2、1)とG(2、3)の組により、各組の画素間の平均値に対する画素間での差の絶対値を出力比として求められる。また、信号処理回路8は、斜め方向で同方向となるB(1、1)とB(3、3)の組、斜め方向でのB(3、1)とR(1、3)の組により、各組の画素間の平均値に対する画素間での差の絶対値を出力比として求める。
なお、出力比の演算としては第1の実施形態と同様の演算がされる。すなわち、左右方向x、上下方向y、斜め方向a,bの出力比をそれぞれαx’、αy’、αa’、αb’、とすると、下式で求められる。
出力比αx’はαx’=|G(1,2)-G(3,2)|/((G(1,2)+G(3,2))/2))である。
出力比αy’はαy’=|G(2,1)-G(2,3)|/((G(2,1)+G(2,3))/2))である。
出力比αa’はαa’=|B(1,1)-B(3,3)|/((B(1,1)+B(3,3))/2))である。
出力比αb’はαb’=|B(3,1)-B(1,3)|/((B(3,1)+B(1,3))/2))である。
次に、信号処理回路8は、各組の出力比のうち、最も出力比として値が小さい組、つまり画素間の平均値に対する画素間の差が小さい組のものを選択し(抽出し)、その方向と同方向となる欠陥画素の近傍の同色の組から平均値を算出する。そして、その平均値で欠陥画素からの出力信号を置換し補正処理がなされる。
例えば、各出力比の値がαx’<αy’<αa’<αb’であった場合、最も画素間の平均値に対する画素間の差が小さい組であるαx’と同方向となるR(0、2)とR(4、2)の平均値(R(0、2)+R(4、2))/2により置換処理されることとなる。
また、出力比の演算については、単純に各組間での画素出力レベルの大きいものに対する小さいレベルの比を求めるようにし、その比の値が最も大ききな組(より1に近い値となる組)を選出し、その選出された組の平均値により置換処理を行うようにしても良い。
この場合、左右方向での出力比をβx’、上下方向での出力比をβy’、斜め方向での出力比をそれぞれβa’、βb’とする。また、各組での出力値の大小関係が、G(1、2)<G(3、2)、G(2、1)<G(2、3)、B(1、1)<B(3、3)、B(3、1)<B(1、3)であるとする。
この場合、出力比βx’=G(1、2)/G(3、2)、出力比βy’=G(2、1)/G(2、3)、出力比βa’=B(1、1)/B(3、3)、出力比βb’=B(3、1)/B(1、3)により求められる。
また、その出力比の値の大小関係がβx’>βy’>βa’>βb’であったとすると、出力比βx’の組と同方向で、欠陥画素と同色となるR(0、2)とR(4、2)の平均値(R(0、2)+R(4、2))/2により置換処理される。
なお、欠陥画素の場合では全て隣接する画素は欠陥画素とは異なる色であり、また上下、左右の組と、斜め方向の組でも異なった色となっているが、各組内においては同色の組み合わせであり、その出力の比により画素間の差を比較している。したがって、組による出力差があったとしても画素間の比をとっているため、置換処理とする同色の画素の組み合わせの方向を決定する上では問題はない。
なお、上述した実施形態では全てCMOS型エリアセンサを例にとって説明しているが、CCD型エリアセンサ等どのようなエリアセンサであってもかまわない。
以上、欠陥画素を挟んで近接する欠陥画素と同色となる画素の組での出力比から、画素間の差が最も小さい組による平均値による置換処理や、又は欠陥画素を挟んで隣接する同色画素の組での出力比から画素間の差が最も小さい組を選出する。その選出された組と同方向となる欠陥画素と近接する同色画素の平均値で欠陥画素からの出力信号を置換する。これにより、出力の大きさよらず、より適合性の高い補正処理を行うことができ、良好な画像を得ることが可能となる。
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置又はシステム内のコンピュータ(CPU又はMPU)に対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給する。そして、そのシステム又は装置のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
この場合、前記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体は本発明を構成する。また、そのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
供給されたプログラムコードがコンピュータにおいて稼働しているオペレーティングシステム又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムコードがコンピュータに係る機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボード等に備わるCPU等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
8 信号処理回路
14 システム制御部
15 不揮発性メモリ
16 揮発性メモリ
Claims (12)
- 光学像を電気信号に変換する固体撮像素子を有する撮像装置であって、
前記固体撮像素子における欠陥画素を挟むようにして、左右、上下、及び斜め方向について同方向に配置されている画素の少なくとも2画素を1組として、各組の画素からの出力信号に基づいて出力比を算出する出力比算出手段と、
前記出力比算出手段により算出された各組の出力比に基づいて、左右、上下、又は斜め方向の何れかの方向に前記欠陥画素を挟むようにして近傍に配置されている前記欠陥画素と同色の少なくとも2画素を選択して出力信号の平均値を算出する平均値算出手段と、
前記平均値算出手段により算出された平均値で前記欠陥画素からの信号を置換する補正手段とを備えることを特徴とする撮像装置。 - 前記出力比算出手段は、前記欠陥画素の近傍に当該欠陥画素を挟むようにして、左右、上下、及び斜め方向について同方向に配置されている同色画素の少なくとも2画素を1組として、各組の出力比を算出することを特徴とする請求項1記載の撮像装置。
- 前記出力比算出手段は、欠陥画素を挟むようにして、左右、上下、及び斜め方向について同方向に前記欠陥画素に隣接して配置されている画素の少なくとも2画素を1組として、各組の出力比を算出することを特徴とする請求項1記載の撮像装置。
- 前記出力比算出手段は、各組による画素の出力信号の絶対値の差と平均値との比を前記出力比として算出することを特徴とする請求項1〜3の何れか1項に記載の撮像装置。
- 前記平均値算出手段は、前記出力比算出手段により算出された前記出力比が最小となる組と同方向の画素を選択することを特徴とする請求項4記載の撮像装置。
- 前記出力比算出手段は、各組による画素の出力信号の比を前記出力比として算出することを特徴とする請求項1〜3の何れか1項に記載の撮像装置。
- 前記平均値算出手段は、前記出力比算出手段により算出された前記出力比が1に最も近い組と同方向の画素を選択することを特徴とする請求項6記載の撮像装置。
- 光学像を電気信号に変換する固体撮像素子を有する撮像装置であって、
前記固体撮像素子における欠陥画素の近傍に配置され、当該欠陥画素を挟む形で、左右、上下、斜め方向となる同色画素の少なくとも2画素を1組として、各組の画素からの出力信号をもとに出力比を算出する出力比算出手段と、
前記出力比算出手段から得られた出力比が最小または出力比が1に最も近くなる組を抽出する抽出手段と、
前記抽出手段により抽出された出力比が最小または出力比が1に最も近くなる組の画素の出力信号の平均値を算出する平均値算出手段と、
前記平均値算出手段により算出された平均値で前記欠陥画素からの信号を置換する補正手段とを備えることを特徴とする撮像装置。 - 光学像を電気信号に変換する固体撮像素子を有する撮像装置であって、
前記固体撮像素子における欠陥画素に隣接して配置され、当該欠陥画素を挟む形で、左右、上下、斜め方向となる画素の少なくとも2画素を1組として、各組の画素からの出力信号をもとに出力比を算出する出力比算出手段と、
前記出力比算出手段から得られた出力比が最小または出力比が1に最も近くなる組を抽出する抽出手段と、
前記抽出手段により抽出された出力比が最小または出力比が1に最も近くなる組と同方向となる少なくとも2画素を1組として、前記欠陥画素を挟む形で近傍に配置された同色画素の組の出力信号の平均値を算出する平均値算出手段と、
前記平均値算出手段により算出された平均値で前記欠陥画素からの信号を置換する補正手段とを備えることを特徴とする撮像装置。 - 前記出力比算出手段は、各組による画素の出力信号の絶対値の差と平均値との比を算出して出力比とすることを特徴とする請求項8又は9記載の撮像装置。
- 前記出力比算出手段は、各組による画素の出力信号の比を算出して出力比とすることを特徴とする請求項8又は9記載の撮像装置。
- 固体撮像素子を有する撮像装置により撮像された画像の画像処理方法であって、
前記固体撮像素子における欠陥画素を挟むようにして、左右、上下、及び斜め方向について同方向に配置されている画素の少なくとも2画素を1組として、各組の画素からの出力信号に基づいて出力比を算出する出力比算出工程と、
前記出力比算出工程で算出された各組の出力比に基づいて、左右、上下、又は斜め方向の何れかの方向に前記欠陥画素を挟むようにして近傍に配置されている前記欠陥画素と同色の少なくとも2画素を選択して出力信号の平均値を算出する平均値算出工程と、
前記平均値算出工程で算出された平均値で前記欠陥画素からの信号を置換する補正工程とを有することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007106120A JP5038005B2 (ja) | 2007-04-13 | 2007-04-13 | 撮像装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007106120A JP5038005B2 (ja) | 2007-04-13 | 2007-04-13 | 撮像装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008263521A true JP2008263521A (ja) | 2008-10-30 |
JP5038005B2 JP5038005B2 (ja) | 2012-10-03 |
Family
ID=39985664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007106120A Expired - Fee Related JP5038005B2 (ja) | 2007-04-13 | 2007-04-13 | 撮像装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5038005B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013022113A1 (en) | 2011-08-09 | 2013-02-14 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003116060A (ja) * | 2001-10-03 | 2003-04-18 | Olympus Optical Co Ltd | 欠陥画素補正装置 |
-
2007
- 2007-04-13 JP JP2007106120A patent/JP5038005B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003116060A (ja) * | 2001-10-03 | 2003-04-18 | Olympus Optical Co Ltd | 欠陥画素補正装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013022113A1 (en) | 2011-08-09 | 2013-02-14 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
US9030579B2 (en) | 2011-08-09 | 2015-05-12 | Canon Kabushiki Kaisha | Image processing apparatus and control method that corrects a signal level of a defective pixel |
Also Published As
Publication number | Publication date |
---|---|
JP5038005B2 (ja) | 2012-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3980782B2 (ja) | 撮像制御装置および撮像制御方法 | |
JP6555863B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
KR101303410B1 (ko) | 촬상장치 및 촬상방법 | |
JP5195660B2 (ja) | 撮像装置、合焦方法及びプログラム | |
JP6137792B2 (ja) | 撮像装置、該撮像装置の制御方法、プログラム、記憶媒体 | |
JP5084366B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2017022610A (ja) | 画像処理装置、画像処理方法 | |
JP5090302B2 (ja) | 撮影装置および方法 | |
JP2009219096A (ja) | 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム | |
JP2007274504A (ja) | デジタルカメラ | |
JP4817529B2 (ja) | 撮像装置及び画像処理方法 | |
JP6929711B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP4616794B2 (ja) | 画像データのノイズ低減装置およびその制御方法 | |
JP5446955B2 (ja) | 撮像装置 | |
US20190349513A1 (en) | Image capture apparatus and control method thereof | |
JP6108854B2 (ja) | 撮像装置及びその制御方法 | |
JP6210772B2 (ja) | 情報処理装置、撮像装置、制御方法、及びプログラム | |
JP5038005B2 (ja) | 撮像装置及び画像処理方法 | |
JP5822606B2 (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP5900278B2 (ja) | 画像処理装置及び方法 | |
JP2008283477A (ja) | 画像処理装置及び画像処理方法 | |
JP5022802B2 (ja) | 撮像装置及びその制御方法 | |
JP6360409B2 (ja) | 撮像装置、撮像方法 | |
KR20070119221A (ko) | 디지털 영상 처리 방법 | |
JP2003143491A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120605 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120705 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5038005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |