JP2007028042A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2007028042A JP2007028042A JP2005205356A JP2005205356A JP2007028042A JP 2007028042 A JP2007028042 A JP 2007028042A JP 2005205356 A JP2005205356 A JP 2005205356A JP 2005205356 A JP2005205356 A JP 2005205356A JP 2007028042 A JP2007028042 A JP 2007028042A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- component
- mtf
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 79
- 238000012937 correction Methods 0.000 claims abstract description 45
- 230000003287 optical effect Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 98
- 230000008569 process Effects 0.000 claims description 81
- 238000009499 grossing Methods 0.000 claims description 53
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 5
- 230000004075 alteration Effects 0.000 abstract description 101
- 230000014509 gene expression Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 9
- 201000005569 Gout Diseases 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【解決手段】 制御装置111は、光軸方向の色成分間の焦点ずれによって発生した色成分間のMTF特性が不整合な状態の画像を、MTF特性の高い色成分の色情報を用いてMTF特性の低い色成分の色情報を補正することによって、各色成分間のMTF特性を整合させる。
【選択図】 図1
Description
請求項2の発明は、請求項1に記載の画像処理装置において、MTF特性の高い色成分の信号を平滑化し、MTF特性が高い色成分の平滑化していない信号と、平滑化したMTF特性の高い色成分の信号との差分から得られる補正情報に基づいて、MTF特性の低い色成分のMTF特性を補正して、各色成分間のMTF特性を整合させることを特徴とする。
請求項3の発明は、光学系を通して撮像され、複数の色成分からなり、撮像面において少なくとも2つの色成分の間でMTF特性が異なる第1の画像を第2の画像へ変換する画像処理装置であって、第1の画像の少なくとも2つの色成分の内の1つの色成分のMTF特性を他の色成分のMTF特性に近づけるよう、1つの色成分を有する画素において平滑化処理を行う平滑化手段と、平滑化手段によって平滑化処理された1つの色成分を用いて、第2の画像の色差成分を生成する色差成分生成手段と、第1の画像の平滑化処理されない色成分を用いて、第2の画像の輝度成分を生成する輝度成分生成手段とを備えることを特徴とする。
請求項4の発明は、請求項3に記載の画像処理装置において、第2の画像の色差成分と輝度成分とを使用して、第1の画像と同じ複数の色成分からなる表色系の画像に逆変換する逆変換手段をさらに備えることを特徴とする。
請求項5の発明は、請求項3または4に記載の画像処理装置において、平滑化手段は、複数種類の色差成分を生成するとき、各々の色差成分ごとに、平滑化処理の平滑化の度合いを決定することを特徴とする。
請求項6の発明は、請求項3〜5のいずれか一項に記載の画像処理装置において、平滑化手段は、画素ごとにそれぞれの平滑化の度合いで平滑化処理を行うことを特徴とする。
請求項7の発明は、請求項3〜5のいずれか一項に記載の画像処理装置において、平滑化手段は、複数の画素にまたがって共通の平滑化の度合いで平滑化処理を行うことを特徴とする。
請求項8の発明は、請求項3〜7のいずれか一項に記載の画像処理装置において、第1の画像は、各画素に全ての色成分を有することを特徴とする。
さらに、第2の発明によれば、色差成分のみに対してMTF整合のための平滑化を経た色信号を用いて軸上色収差補正を行い、軸上色収差の影響が目立たない輝度成分は、元の平滑化のなされていない色信号を用いて生成するので、鮮鋭感を維持した画像構造非破壊性の高い補正が可能となる。
第1の実施の形態では、軸上色収差に関する光学系情報は全く持たずに画像自身の中から自己検出して補正する方式を示す。横方向の収差である倍率色収差の自己検出法は、空間方向のRGB面間の類似性を測ることで比較的行いやすいが、縦方向の収差である軸上色収差の自己検出法として、何を指標とすればよいのか自明ではないので、その手法を示す。それにより同一レンズ状態でも被写体距離によって変化する軸上色収差にも対応することができる。すなわち、無限遠焦点の風景写真で手前の被写体が赤かぶり、遠方の被写体が青かぶりになるような状況や、至近撮影でレンズピント位置に対して被写体位置のセンチメートルオーダーの前後配置関係による急激な軸上色収差の応答変化が起きるような状況にも対応することができる。
R´=R+(G−<G>強) ・・・(1)
B´=B+(G―<G>弱) ・・・(2)
まず、撮像素子102で撮像されたBayer画像を画像メモリ112から読み込んで、画像処理の対象とする。なお、Bayer画像の各画素[i,j]には、図5に示すように、R、G、Bのいずれかの色成分の色情報、すなわち色成分値(CCDの信号値に対応する値)が存在する。また、[i,j]は画素位置を示す座標である。
従来の補間処理と同様にBayer画像を用いてR/B画素位置に於ける類似性の方向判定を行う。なお、第1の実施の形態では、次に説明するように、一般的な公知の手法により方向判定を行う。
次式(3)および(4)により、R,B位置についてそれぞれ縦方向の類似度Cv[i,j]、横方向の類似度Ch[i,j]を算出する。
Cv[i,j]={(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2+|G[i,j-1]-G[i,j+1]|}/2 ・・・(3)
Ch[i,j]={(|G[i-1,j]-Z[i, j]|+|G[i+1,j]-Z[i,j]|)/2+|G[i-1,j]-G[i+1,j]|}/2 ・・・(4)
なお、式(3)および(4)において、ZはRまたはBを表す。
次に、次の条件式(5)に基づいて、類似度を比較して方向指標に変換する。
If |Cv[i,j]-Ch[i,j]|=<Th1 THEN HV[i,j]=0 → 縦横類似性不明
else if Cv[i,j]<Ch[i, j] THEN HV[i,j]=1 → 縦類似
else HV[i,j]= -1 THEN 横類似 ・・・(5)
なお、閾値Th1は256階調のときは10前後の値をとり、画像のノイズが多いときはさらに高めに設定する。
RGB色成分間のMTF整合を行うため、各色成分に対して複数通りのぼかし画像を生成する。ただし、この実施形態ではBayer配列で輝度を表すG成分の配置密度が高いので、R,B成分のMTFは元々Bayerサンプリングに伴って劣っていると考えられ、可能性としてG成分について複数通りのぼかし(平滑化)を行えばよい。したがって、図6に示すような代表的な弱い平滑化フィルタ(図6(a))と強い平滑化フィルタ(図6(b))を用いてG成分について2通りのぼかし画像を生成する。なお、もっと細かくたくさんのぼかし方を用意してもよいし、原画像とこれらによるぼかし画像の線形結合で中間状態を考えてもよい。
(1−3)で得た各ぼかし画像における3通りのG面を使用して、各画素に3通りの色差面であるCr面とCb面を作成する。すなわち、BayerのR信号とG、G'、G柏M号に基づいて作ったCr面をそれぞれCr0,Cr1,Cr2とし、BayerのB信号とG、G'、G柏M号に基づいて作ったCb面をそれぞれCb0、Cb1、Cb2として、3通りのCr面、および3通りのCb面を作成する。次式(6)〜(11)は、これらのCr0,Cb0、Cr1,Cb1、Cr2、Cb2を模式的に表したものである。
Cb0=B-<G> ・・・(7)
Cr1=R-<G'> ・・・(8)
Cb1=B-<G'> ・・・(9)
Cr2=R-<G"> ・・・(10)
Cb2=B-<G"> ・・・(11)
If HV[i,j]=1 THEN Cr0[i,j]=R[i,j]-(G[i,j-1]+G[i,j+1])/2
else if HV[i,j]=-1 THEN Cr0[i,j]=R[i,j]-(G[i-1,j]+G[i+1,j])/2
else Cr0[i,j]=R[i,j]-(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4 ・・・(12)
Cr0[i,j]=(Cr0[i-1,j-1]+Cr0[i-1,j+1]+Cr0[i+1,j-1]+Cr0[i+1,j+1])/4・・・(13)
G位置にCr0面を補間 (same lines as R rows)
Cr0[i,j]=(Cr0[i-1,j]+Cr0[i+1,j])/2 ・・・(14)
G位置にCr0面を補間(same lines as B rows)
Cr0[i,j]=(Cr0[i,j-1]+Cr0[i,j+1])/2 ・・・(15)
なお、色差面の生成方法については、上述した方法に限定されず、その他の公知の方法により生成してもよい。
次に、上述した(1−3)でぼかした各画像から生成され得る仮想的カラー画像の色の変化を相互に比較するための色指標、すなわち彩度の指標を作成する。上述したように、軸上色収差によるMTF不整合が合わせられると、軸上色収差に伴うエッジ部での色付き・色滲みは減る方向に作用する。したがって、正確なその減り方を測るため、2種類の色差面CrおよびCbの各ぼかし方を組み合わせた場合も考慮して色指標を作成する。
Cdiff[i,j]=|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]-Cb[i,j]| ・・・(16)
Cdiff_r0b0[i,j]=|Cr0*[i,j]|+|Cb0*[i,j]|+|Cr0*[i,j]-Cb0*[i,j]| ・・・(17)
Cdiff_r1b0[i,j]=|Cr1[i,j]|+|Cb0[i,j]|+|Cr1[i,j]-Cb0[i,j]| ・・・(18)
Cdiff_r0b1[i,j]=|Cr0[i,j]|+|Cb1[i,j]|+|Cr0[i,j]-Cb1[i,j]| ・・・(19)
Cdiff_r1b1[i,j]=|Cr1[i,j]|+|Cb1[i,j]|+|Cr1[i,j]-Cb1[i,j]| ・・・(20)
Cdiff_r2b0[i,j]=|Cr2[i,j]|+|Cb0[i,j]|+|Cr2[i,j]-Cb0[i,j]| ・・・(21)
Cdiff_r0b2[i,j]=|Cr0[i,j]|+|Cb2[i,j]|+|Cr0[i,j]-Cb2[i,j]| ・・・(22)
Cdiff_r2b1[i,j]=|Cr2[i,j]|+|Cb1[i,j]|+|Cr2[i,j]-Cb1[i,j]| ・・・(23)
Cdiff_r1b2[i,j]=|Cr1[i,j]|+|Cb2[i,j]|+|Cr1[i,j]-Cb2[i,j]| ・・・(24)
Cdiff_r2b2[i,j]=|Cr2[i,j]|+|Cb2[i,j]|+|Cr2[i,j]-Cb2[i,j]| ・・・(25)
Cr*[i,j]
={36×Cr[i,j]
+24×(Cr[i-2,j]+ Cr[i+2,j]+Cr[i,j-2]+ Cr[i,j+2])
+16×(Cr[i-2,j-2]+Cr[i+2,j-2]+Cr[i-2,j+2]+Cr[i+2,j+2])
+6×(Cr[i-4,j]+ Cr[i+4,j]+Cr[i,j-4]+ Cr[i,j+4])
+4×(Cr[i-2,j-4]+Cr[i+2,j-4]+Cr[i-2,j+4]+Cr[i+2,j+4]
Cr[i-4,j-2]+Cr[i+4,j-2]+Cr[i-4,j+2]+Cr[i+4,j+2])
+(Cr[i-4,j-4]+Cr[i+4,j-4]+Cr[i-4,j+4]+Cr[i+4,j+4])}/256 ・・・(26)
軸上色収差に伴うMTF不整合をなくして生成された色差面は、色滲みによる色発生が減り低彩度側に変化すると考えられる。上述したぼかし処理では、画像構造に伴って発生する補間偽色の要因を低彩度側にシフトする対策も事前に施された色指標を生成しているので、相互に色指標を比較して最も低い彩度レベルとなるようなぼかし量のCrとCbの組み合せを、最終的に画像生成のために利用するぼかし量とすることができる。すなわち、次式(27)に示す条件式により、Cdiff_r0b0 からCdiff_r2b2の中で値が最小になるものを画素ごとに抽出し、そのときのCr,およびCbを生成するのに用いたぼかし量がそれぞれG、G'、およびG"のいずれであるかを画素ごとに判定することによって、最終的に画像生成のために利用する離散的なぼかし量、すなわち平滑化の度合いを決定することができる。
= arg min (Cdiff_r0b0, Cdiff_r1b0, ... , Cdiff_r2b2)
(G,G',G" for Cr),
(G,G',G" for Cb) ・・・(27)
これによって、生成した色指標のそれぞれを画素単位で評価して、画素毎にどの色差面を生成するときにどの色成分をどれだけぼかすかを決定することができる。これは、被写体距離によって軸上色収差の状態が変化している場合にも対応が可能となる。
上述した処理で画素毎に決められた離散的なぼかし量のG成分をMTF特性の違いに関する情報として用いて、最終出力画像に用いる色差成分Cr[i,j]、Cb[i,j]を次のように求める。まず、次式(28)によってR画素位置へのCr値の設定を行い、次式(29)によってB画素位置へのCb値の設定を行う。
Cr[i,j]=one of {Cr0, Cr1, Cr2} R位置 ・・・(28)
Cb[i,j]=one of {Cb0, Cb1, Cb2} B位置 ・・・(29)
そして、上述した式(13)〜(15)によって、Cr面とCb面とを補間する。その後、公知の種々の色差面補正の手法を使用して、色差面補正を行う。例えば、条件によって補正をしたり、しなかったりを選択する適応的色差補正の手法などを使用する。これは通常のBayer補間で発生する偽色抑制処理を組み込むためである。こうして、軸上色収差の除去されたCr面、およびCb面、すなわち実際の色差面が生成される。
ぼかし処理のない元のBayer信号を用いて実際の輝度面を生成する。これは、軸上色収差の影響をあまり受けない輝度面は、元のBayer信号を使うことにより鮮鋭な解像が保たれた状態で復元することができるためである。なお、本実施の形態では、次式(30)に示すように、輝度をG面として処理を行うが、Y面を輝度として処理を行ってもよい。輝度面の生成は、公知の種々の方法により生成することができる。また、国際公開番号:WO2002/071761号公報に開示されているように、Bayer面から直接生成するものであってもよい。
if HV[i,j]=1 THEN Gout[i,j]=(G[i,j-1]+G[i,j+1])/2
+(2×Z[i,j]-Z[i,j-2]-Z[i,j+2])/4
else if HV[i,j]=-1 THEN Gout[i,j]=(G[i-1,j]+G[i+1,j])/2
+(2×Z[i,j]-Z[i-2,j]-Z[i+2,j])/4
else Gout[i,j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4
+(4×Z[i,j]-Z[i,j-2]-Z[i,j+2]-Z[i-2,j]-Z[i+2,j])/8 ・・・(30)
なお、式(30)において、ZはR位置ではZ=Rとなり、B位置ではZ=Bとなる。また、Bayer面上のG位置Gout[i,j]は、Bayer信号をそのまま代入することにより求められる。
上述した処理で、軸上色収差の除去されたCr面、およびCb面と、鮮鋭感を保持したG面の3つの色情報から、次式(31)および(32)によってRGB表色系への変換を行う。
Rout[i,j]=Cr[i,j]+Gout[i,j] ・・・(31)
Bout[i,j]=Cb[i,j]+Gout[i,j] ・・・(32)
(1)軸上色収差に起因した色成分間のMTF特性の不整合を、MTFの高い側の色成分をぼかし処理によって低い側の色成分と整合させてから色差成分を生成するようにした。これによって、軸上色収差に起因したMTF差の違いに伴って発生する色の滲みを抑制することができる。
(2)撮像画像に対して軸上色収差補正を行うための補正量を撮像画像自身に基づいて決定するようにした。これによって、被写体までの距離によって特性が変化する軸上色収差であっても、画素ごとに適切な補正量を決定して、軸上色収差補正を行うことができる。
(3)さらに、このように撮像画像自身を用いて適切な補正量を決定して、軸上色収差補正を行うことができることから、撮像光学系に関する情報が不明な場合であっても、適切に軸上色収差補正を行うことができる。
(4)色指標を作成するに当たって、R、BともにG成分のぼかしのないCdiff_r0b0だけは、単にCrおよびCb成分を生成しただけの値を用いずに、更にそれに対して色差面補正処理を行ったCr0*、Cb0*を用いるようにした。これによって、Bayerサンプリングと画像構造に起因する偽色の発生に伴って受ける色指標の変動要因に対して、危険性の多いぼかし処理側よりも安全な解を出しやすいぼかしなし側を安定的に色評価されるようにすることができる。また、反対色ペアのような画像構造があっても意図的にCdiff_r0b0の彩度を下げておくことによって、軸上色収差のMTF整合とは異なり画像構造が要因となって彩度が下がってしまう可能性のあるぼかし側のCdiffに対抗しておいて、画像構造破壊を防ぐように色指標評価値に変えることができる。
上述した第1の実施の形態では、(1−7)実際の色差面生成において、式(28)および(29)で色差成分Cr[i,j]、Cb[i,j]を求め、式(13)〜(15)によって、Cr面とCb面とを補間した後に、(1−8)実際の輝度面生成、および(1−9)表色系変換に示した各処理を行う場合について説明した。
第1および2の実施の形態では、単板式カラー撮像素子によって撮像されたBayer画像のように補間を行う前の画像データに対する軸上色収差補正について説明したが、第3の実施の形態では、3板式カラー撮像素子で撮影されたカラー画像の軸上色収差や補間済のカラー画像の軸上色収差を補正する。すなわち、各画素にR、G、Bの色成分の情報が全て存在するカラー画像のデータの軸上色収差補正について説明する。
第3の実施の形態では、画像メモリ112に、3板式カラー撮像素子で撮影されたカラー画像やあらかじめ補間処理を行ったカラー画像を各画素にR[i,j]、G[i,j]、B[i,j]が揃っている状態で保存しておき、これらのカラー画像を読み込んで、画像処理の対象とする。
読み込んだカラー画像を、次式(33)により表色系変換して、輝度成分を退避しておく。すなわち、後述する処理でぼかしを入れる前の状態の画像の輝度成分を制御装置111が有するメモリ空間に退避しておく。
Y[i,j]=(R[i,j]+2×G[i,j]+B[i,j])/4 ・・・(33)
第3の実施の形態では、図11に示す平滑化フィルタを使用して、RGBの各成分についてぼかし画像(R、G、B面画像)を作成する。なお、本実施の形態では、説明の簡略化のため、図11に示す1つの平滑化フィルタのみを使用する例について説明するが、第1の実施の形態と同様に、弱い平滑化フィルタと強い平滑化フィルタの2種類を使用してR、G、B面画像を作成してもよい。
上記6通りのRGB面、すなわち図12(a)〜(c)のぼかしなし画像と、図12(d)〜(f)のぼかしあり画像とを使って、次式(34)〜(39)により各画素に3通りのCr面と3通りのCb面とを作成する。
Cr00=R-G ・・・(34)
Cb00=B-G ・・・(35)
Cr01=R-G' ・・・(36)
Cb01=B-G' ・・・(37)
Cr10=R'-G ・・・(38)
Cb10=B'-G ・・・(39)
式(34)〜(39)により作成したCrおよびCbの各ぼかし方に対して、評価すべき色指標、すなわち彩度に関する指標の組み合せは次式(40)〜(48)で表されるように全部で9通りある。
Cdiff_r00b00[i,j]=|Cr00[i,j]|+|Cb00[i,j]|+|Cr00[i,j]-Cb00[i,j]|・・・(40)
Cdiff_r01b00[i,j]=|Cr01[i,j]|+|Cb00[i,j]|+|Cr01[i,j]-Cb00[i,j]|・・・(41)
Cdiff_r00b01[i,j]=|Cr00[i,j]|+|Cb01[i,j]|+|Cr00[i,j]-Cb01[i,j]|・・・(42)
Cdiff_r01b01[i,j]=|Cr01[i,j]|+|Cb01[i,j]|+|Cr01[i,j]-Cb01[i,j]|・・・(43)
Cdiff_r10b00[i,j]=|Cr10[i,j]|+|Cb00[i,j]|+|Cr10[i,j]-Cb00[i,j]|・・・(44)
Cdiff_r10b01[i,j]=|Cr10[i,j]|+|Cb01[i,j]|+|Cr10[i,j]-Cb01[i,j]|・・・(45)
Cdiff_r01b10[i,j]=|Cr01[i,j]|+|Cb10[i,j]|+|Cr01[i,j]-Cb10[i,j]|・・・(46)
Cdiff_r00b10[i,j]=|Cr00[i,j]|+|Cb10[i,j]|+|Cr00[i,j]-Cb10[i,j]|・・・(47)
Cdiff_r10b10[i,j]=|Cr10[i,j]|+|Cb10[i,j]|+|Cr10[i,j]-Cb10[i,j]|・・・(48)
第1の実施の形態における(1−6)と同様に、式(40)〜(48)で算出した色指標をそれぞれ比較して、最小値を与えるぼかし量のCrとCbの組み合せを、最終的に画像生成のために利用するぼかし量として決定する。すなわち、次式(49)によって、Cdiff_r00b00 からCdiff_r10b10の中で値が最小になるものを画素ごとに抽出し、そのときのCr,およびCbを生成するために、RGBの各成分を図11に示す平滑化フィルタでぼかす必要があるか否かを決定する。
= arg min (Cdiff_r00b00, Cdiff_r01b00, ... , Cdiff_r10b10)
(R,R' for Cr)
(G,G' for Cr)
(G,G' for Cb)
(B,B' for Cb) ・・・(49)
上述した(2−6)の結果に基づいて、次式(50)および(51)により、最終出力画像に用いる色差成分の置き換え値Cr[i,j]、およびCb[i,j]を設定する。
Cr[i,j]=one of {Cr00, Cr01, Cr10} ・・・(50)
Cb[i,j]=one of {Cb00, Cb01, Cb10} ・・・(51)
次に、次式(52)〜(54)により、上述した(2−2)で退避させた輝度成分と、(2−7)の処理で軸上色収差の補正された色差成分を統合して最終出力画像を生成する。
R[i,j]=Y[i,j]+(3/4)×Cr[i,j]-(1/4)×Cb[i,j] ・・・(52)
G[i,j]=Y[i,j]-(1/4)×Cr[i,j]-(1/4)×Cb[i,j] ・・・(53)
B[i,j]=Y[i,j]-(1/4)×Cr[i,j]+(3/4)×Cb[i,j] ・・・(54)
第4の実施の形態では、デジタルカメラ100で所定距離だけ離れた被写体にピントを合わせ、レンズ101のピント位置における被写体像がかぶる軸上色収差の一般的傾向を補正する。なお、図1に示した画像処理装置110を搭載したデジタルカメラ100のブロック図と、図2および図3に示した軸上色収差による色滲みが発生する原理を示す図、および図4に示したMTF特性を整合させて軸上色収差を補正する原理を示す図については、第1の実施の形態と同様のため、説明を省略する。
(1)画像データに含まれるフォーカス位置情報に基づいて主要被写体を抽出し、抽出した主要被写体までの距離を判定して図15に示す表を参照することによって、その主要被写体まで距離に対応付けられた一様LPFを選択して、主要被写体が存在する範囲の画像をぼかすようにした。これによって、主要被写体までの距離に基づいて、あらかじめ設定された一様LPFを選択して画像をぼかせばよいため、ぼかし量を決定するための種々の処理が不要となり、処理を高速化できる。
(2)主要被写体までの距離を判定するにあたっては、画像データに含まれるフォーカス位置の周囲の所定範囲内を対象範囲として、その範囲内でエッジ検出を行って、検出したエッジをグループ化することによりオブジェクト抽出して、そのオブジェクトを主要被写体とみなすようにした。これによって、一般的に主要被写体はフォーカス位置、またはその近傍に存在していることが多いことを加味して、正確に主要被写体を抽出することができる。
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
(1)上述した第1および2の実施の形態では、撮像素子102においては、例えば、単板式カラー撮像素子の最も代表的なR(赤)、G(緑)、B(青)のカラーフィルタがBayer配列されており、この撮像素子102で撮像される画像データはRGB表色系で示されるものとし、画像データを構成する各々の画素には、RGBの何れか1つの色成分の色情報が存在しているものとする例ついて説明した。しかしこれに限定されず、撮像素子102に2板式カラー撮像素子を用い、画像データを構成する各々の画素には、RGBの何れか2つの色成分の色情報が存在しているものとしてもよい。すなわち、撮像素子102は、撮像面におけるMTF特性が異なる複数の色成分を有する各画素において少なくとも1つの色成分が欠落した画像を撮像するものであればよい。
Cr_blur = R-{s*<G">+(1-s)*<G>}・・・(55)
Cb_blur = B-{t*<G">+(1-t)*<G>}・・・(56)
ただし、0=<(s,t)=<1とする。
Cdiff_blur = |Cr_blur[i,j]|+|Cb_blur[i,j]|+|Cr_blur[i,j]-Cb_blur[i,j]| ・・・(57)
そして、Cdiff_blurの最小値を与える(s,t)の組み合せを、図17に示すように2次元探索する。次にCdiff_blurの最小値と、ぼかしなし側色指標Cdiff_r0b0とを比較して、ぼかし量(s,t)を採用するか、ぼかしなしにするかを決定する。この比較はCdiff_r0b0だけを特別に扱っている場合にのみ行うものとする。
Cr[i,j]=one of {Cr0, Cr_blur(s; 0=<s=<1)} R位置 ・・・(58)
Cb[i,j]=one of {Cb0, Cb_blur(t; 0=<t=<1)} B位置 ・・・(59)
101 レンズ
102 撮像素子
110 画像処理装置
111 制御装置
112 画像メモリ
113 モニタ
Claims (8)
- 光軸方向の色成分間の焦点ずれによって発生した色成分間のMTF特性が不整合な状態の画像を、MTF特性の高い色成分の色情報を用いてMTF特性の低い色成分の色情報を補正することによって、各色成分間のMTF特性を整合させることを特徴とする画像処理装置。
- 請求項1に記載の画像処理装置において、
前記MTF特性の高い色成分の信号を平滑化し、前記MTF特性が高い色成分の平滑化していない信号と、平滑化した前記MTF特性の高い色成分の信号との差分から得られる補正情報に基づいて、前記MTF特性の低い色成分のMTF特性を補正して、各色成分間のMTF特性を整合させることを特徴とする画像処理装置。 - 光学系を通して撮像され、複数の色成分からなり、撮像面において少なくとも2つの色成分の間でMTF特性が異なる第1の画像を第2の画像へ変換する画像処理装置であって、
前記第1の画像の前記少なくとも2つの色成分の内の1つの色成分のMTF特性を他の色成分のMTF特性に近づけるよう、前記1つの色成分を有する画素において平滑化処理を行う平滑化手段と、
前記平滑化手段によって平滑化処理された1つの色成分を用いて、前記第2の画像の色差成分を生成する色差成分生成手段と、
前記第1の画像の平滑化処理されない色成分を用いて、前記第2の画像の輝度成分を生成する輝度成分生成手段とを備えることを特徴とする画像処理装置。 - 請求項3に記載の画像処理装置において、
前記第2の画像の色差成分と輝度成分とを使用して、前記第1の画像と同じ複数の色成分からなる表色系の画像に逆変換する逆変換手段をさらに備えることを特徴とする画像処理装置。 - 請求項3または4に記載の画像処理装置において、
前記平滑化手段は、複数種類の色差成分を生成するとき、各々の色差成分ごとに、前記平滑化処理の平滑化の度合いを決定することを特徴とする画像処理装置。 - 請求項3〜5のいずれか一項に記載の画像処理装置において、
前記平滑化手段は、画素ごとにそれぞれの平滑化の度合いで平滑化処理を行うことを特徴とする画像処理装置。 - 請求項3〜5のいずれか一項に記載の画像処理装置において、
前記平滑化手段は、複数の画素にまたがって共通の平滑化の度合いで平滑化処理を行うことを特徴とする画像処理装置。 - 請求項3〜7のいずれか一項に記載の画像処理装置において、
前記第1の画像は、各画素に全ての色成分を有することを特徴とする画像処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005205356A JP4945943B2 (ja) | 2005-07-14 | 2005-07-14 | 画像処理装置 |
PCT/JP2006/314073 WO2007007878A1 (ja) | 2005-07-14 | 2006-07-14 | 画像処理装置および画像処理方法 |
US11/988,443 US8233710B2 (en) | 2005-07-14 | 2006-07-14 | Image processing device and image processing method |
US13/303,934 US8509533B2 (en) | 2005-07-14 | 2011-11-23 | Image processing device and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005205356A JP4945943B2 (ja) | 2005-07-14 | 2005-07-14 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007028042A true JP2007028042A (ja) | 2007-02-01 |
JP4945943B2 JP4945943B2 (ja) | 2012-06-06 |
Family
ID=37788234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005205356A Active JP4945943B2 (ja) | 2005-07-14 | 2005-07-14 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4945943B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009070384A (ja) * | 2007-09-12 | 2009-04-02 | Samsung Electronics Co Ltd | 映像復元装置および方法 |
JP2009140496A (ja) * | 2007-12-03 | 2009-06-25 | Ricoh Co Ltd | 電光カラー画像処理システム及びレンズシステム |
KR100911378B1 (ko) | 2007-02-23 | 2009-08-10 | 삼성전자주식회사 | 렌즈 교정 방법 및 렌즈 교정 장치 |
WO2011121761A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
WO2011122283A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
JP2011254376A (ja) * | 2010-06-03 | 2011-12-15 | Nikon Corp | 画像処理装置、撮像装置及び画像処理プログラム |
US8139127B2 (en) | 2008-04-07 | 2012-03-20 | Hitachi, Ltd. | Imaging apparatus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001103358A (ja) * | 1999-09-30 | 2001-04-13 | Mitsubishi Electric Corp | 色収差補正装置 |
JP2003050990A (ja) * | 2001-08-07 | 2003-02-21 | Minolta Co Ltd | 画像処理装置及びコンピュータを画像処理装置として機能させるためのプログラム |
JP2004241991A (ja) * | 2003-02-05 | 2004-08-26 | Minolta Co Ltd | 撮像装置、画像処理装置及び画像処理プログラム |
-
2005
- 2005-07-14 JP JP2005205356A patent/JP4945943B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001103358A (ja) * | 1999-09-30 | 2001-04-13 | Mitsubishi Electric Corp | 色収差補正装置 |
JP2003050990A (ja) * | 2001-08-07 | 2003-02-21 | Minolta Co Ltd | 画像処理装置及びコンピュータを画像処理装置として機能させるためのプログラム |
JP2004241991A (ja) * | 2003-02-05 | 2004-08-26 | Minolta Co Ltd | 撮像装置、画像処理装置及び画像処理プログラム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100911378B1 (ko) | 2007-02-23 | 2009-08-10 | 삼성전자주식회사 | 렌즈 교정 방법 및 렌즈 교정 장치 |
JP2009070384A (ja) * | 2007-09-12 | 2009-04-02 | Samsung Electronics Co Ltd | 映像復元装置および方法 |
JP2009140496A (ja) * | 2007-12-03 | 2009-06-25 | Ricoh Co Ltd | 電光カラー画像処理システム及びレンズシステム |
US8139127B2 (en) | 2008-04-07 | 2012-03-20 | Hitachi, Ltd. | Imaging apparatus |
WO2011121761A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
WO2011122283A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
JP5284537B2 (ja) * | 2010-03-31 | 2013-09-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 |
US8941762B2 (en) | 2010-03-31 | 2015-01-27 | Canon Kabushiki Kaisha | Image processing apparatus and image pickup apparatus using the same |
JP2011254376A (ja) * | 2010-06-03 | 2011-12-15 | Nikon Corp | 画像処理装置、撮像装置及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4945943B2 (ja) | 2012-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8233710B2 (en) | Image processing device and image processing method | |
JP5040655B2 (ja) | 画像処理装置および画像処理方法 | |
JP5047048B2 (ja) | 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体 | |
JP4706635B2 (ja) | 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ | |
JP5546229B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP6327922B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6525718B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP5045421B2 (ja) | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム | |
JP4700445B2 (ja) | 画像処理装置および画像処理プログラム | |
JP4979595B2 (ja) | 撮像システム、画像処理方法、画像処理プログラム | |
US7945091B2 (en) | Image processor correcting color misregistration, image processing program, image processing method, and electronic camera | |
JP4945943B2 (ja) | 画像処理装置 | |
JP4945942B2 (ja) | 画像処理装置 | |
JP2011123589A5 (ja) | ||
JP2006101006A (ja) | 撮像システム、ノイズ低減処理装置及び撮像処理プログラム | |
JP5165300B2 (ja) | 映像処理装置および映像処理プログラム | |
JP4986820B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2006023959A (ja) | 信号処理システム及び信号処理プログラム | |
KR101257946B1 (ko) | 영상의 색수차를 제거하는 장치 및 그 방법 | |
JP5528139B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP4797478B2 (ja) | 画像処理装置 | |
JP2011160255A5 (ja) | ||
JP5274697B2 (ja) | 画像処理装置及び画像処理方法 | |
US9071803B2 (en) | Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program | |
JP5178421B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080602 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110427 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120220 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4945943 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |