JP2013051598A5 - - Google Patents

Download PDF

Info

Publication number
JP2013051598A5
JP2013051598A5 JP2011189325A JP2011189325A JP2013051598A5 JP 2013051598 A5 JP2013051598 A5 JP 2013051598A5 JP 2011189325 A JP2011189325 A JP 2011189325A JP 2011189325 A JP2011189325 A JP 2011189325A JP 2013051598 A5 JP2013051598 A5 JP 2013051598A5
Authority
JP
Japan
Prior art keywords
image
processing apparatus
image processing
color
chromatic aberration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011189325A
Other languages
English (en)
Other versions
JP5868076B2 (ja
JP2013051598A (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from JP2011189325A external-priority patent/JP5868076B2/ja
Priority to JP2011189325A priority Critical patent/JP5868076B2/ja
Priority to US13/591,467 priority patent/US9167216B2/en
Priority to RU2012137082/07A priority patent/RU2523028C2/ru
Priority to EP12182462.7A priority patent/EP2566162B1/en
Priority to CN201210320880.1A priority patent/CN102970547B/zh
Publication of JP2013051598A publication Critical patent/JP2013051598A/ja
Publication of JP2013051598A5 publication Critical patent/JP2013051598A5/ja
Publication of JP5868076B2 publication Critical patent/JP5868076B2/ja
Application granted granted Critical
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

撮像装置で被写体を撮像して得られた画像には、特に撮像光学系の収差の影響による画質劣化が生じている。例えば、画像のぼけは、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等による画質劣化である。光の波としての性質である回折の影響を無視すれば、被写体の一点から出た光束は収差のない撮像光学系によって撮像面上で同じ大きさの一点(集光)に結像される。しかしながら実際には、回折の影響に加え、撮像光学系の収差により、集光点から広がりをもって結像される。
この現象は以下の式で表すことができる。なお、Nはノイズ成分を表している。
G(u,v)=H(u,v)・F(u,v)+N(u,v) ・・・(式6)
G(u,v)/H(u,v)=F(u,v)+N(u,v)/H(u,v)
・・・(式7)
そのため、例えば詳細を後述するウィナーフィルタのように、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する画像回復フィルタを用いることで、回復画像におけるノイズを抑制する方法が知られている。
特許文献1では、撮像画像の非合焦範囲に対して画像回復処理を行うことで、撮像光学系の浅い被写界深度を補おうとするものである。特許文献1記載の画像回復処理では、非合焦範囲における先鋭度の向上は実現できたとしても、RAW画像に適用した画像回復処理で発生する色付きを十分抑制することはできない。
上述の目的は、撮像装置によって撮像された画像における、撮像装置の撮像光学系の収差による画質の劣化を回復するための画像処理装置であって、画像に対して撮像光学系の倍率色収差の補正を行う第1の倍率色収差補正手段と、倍率色収差が補正された画像について、色に関する特徴量を取得する第1の取得手段と、撮像光学系の収差に基づいた画像回復フィルタを倍率色収差が補正された画像に適用する画像回復処理手段と、画像回復フィルタが適用された画像に対し、色に関する特徴量を取得する第2の取得手段と、第1の取得手段と第2の取得手段が取得した色に関する特徴量の変化に応じて、画像回復フィルタが適用された画像の画素値を補正する画素値補正手段とを有ることを特徴とする画像処理装置によって達成される。
画像回復処理部111は、RGBの画素のうちR画素とB画素(又は、各画素におけるR成分とB成分)に対してそれぞれ以下の判定を行い、いずれかを満たす場合はその色成分の画素に対し、色付き抑制のための画素値調整が必要と決定する。
・Rに対する判定
判定条件1:
C1r(x,y)とC2r(x,y)が同符号、且つ|C1r(x,y)| < |C2r(x,y)|
判定条件2:
C1r(x,y)とC2r(x,y)が異符号
・Bに対する判定
判定条件1:
C1b(x,y)とC2b(x,y)が同符号、且つ|C1(x,y)| < |C2(x,y)|
判定条件2:
C1b(x,y)とC2b(x,y)が異符号
この判定結果により、画素値調整が必要と決定された画素について、画素値補正手段としての画像回復処理部111はS308において色付き抑制のための画素値調整を適用する。画素値調整は例えば以下に示すように、色差が増大した場合は画像回復前の色差を使用し、色差の符号が反転した場合は色差を0とするものであってよい。
・Rに対する画素値調整
判定条件1を満たす場合(色差増大);
R2(x,y)= G2(x,y)+ C1r(x,y) ・・・(式18)
判定条件2を満たす場合(色差反転):
R2(x,y)= G2(x,y) ・・・(式19)
・Bに対する画素値調整
判定条件1を満たす場合(色差増大):
B2(x,y)= G2(x,y)+ C1(x,y) ・・・(式20)
判定条件2を満たす場合(色差反転):
B2(x,y)= G2(x,y) ・・・(式21)
S407において画像回復処理部111は、S406での倍率色収差補正処理後の画像の色に関する特徴量の一例として、各画素についてS306と同様に色差情報を取得する。
次に行なわれるS40からS409の処理は、第1の実施形態で説明した図7のS30からS308の処理と同様であるため、説明は割愛する。

Claims (13)

  1. 撮像装置によって撮像された画像における、前記撮像装置の撮像光学系の収差による画質の劣化を回復するための画像処理装置であって、
    前記画像に対して前記撮像光学系の倍率色収差の補正を行う第1の倍率色収差補正手段と、
    前記倍率色収差が補正された画像について、色に関する特徴量を取得する第1の取得手段と、
    前記撮像光学系の収差に基づいた画像回復フィルタを前記倍率色収差が補正された画像に適用する画像回復処理手段と、
    前記画像回復フィルタが適用された画像に対し、前記色に関する特徴量を取得する第2の取得手段と、
    前記第1の取得手段と前記第2の取得手段が取得した前記色に関する特徴量の変化に応じて、前記画像回復フィルタが適用された画像の画素値を補正する画素値補正手段とを有ることを特徴とする画像処理装置。
  2. 前記画像回復フィルタは、倍率色収差の補正を行わないフィルタであることを特徴とする請求項1に記載の画像処理装置。
  3. 前記画像がRGB成分から構成され、前記色に関する特徴量が、G成分もしくはRGB成分から生成した輝度成分の値に対するR成分の値の差分であり、前記画素値補正手段は画素のR成分の値を補正することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記画像がRGB成分から構成され、前記色に関する特徴量が、G成分もしくはRGB成分から生成した輝度成分の値に対するB成分の値の差分であり、前記画素値補正手段は画素のB成分の値を補正することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. さらに、前記画像回復フィルタが適用された画像から倍率色収差を検出して補正する第2の倍率色収差補正手段を有し、
    前記第2の取得手段が、前記第2の倍率色収差補正手段によって倍率色収差が補正された画像に対して前記色に関する特徴量を取得することを特徴とする請求項1乃至請求項のいずれか1項に記載の画像処理装置。
  6. 前記画像回復フィルタは、前記撮像光学系の点像分布関数に基づいて生成されることを特徴とする請求項1乃至請求項5のいずれかに記載の画像処理装置。
  7. 前記撮像光学系の点像分布関数は非対称な広がりを有することを特徴とする請求項6に記載の画像処理装置。
  8. 前記画像回復フィルタは、色成分ごとの非対称な収差を補正することを特徴とする請求項1乃至請求項7のいずれか1項に記載の画像処理装置。
  9. 前記画像回復フィルタは、前記撮像光学系の点像分布関数の色成分間の差異を、ある色成分の点像分布関数の位置に他の色成分の点像分布関数を平行移動させることによって低減した点像分布関数に基づいて生成されたものであることを特徴とする請求項1乃至請求項のいずれか1項に記載の画像処理装置。
  10. 前記画像回復フィルタは、前記撮像光学系の光学伝達関数の位相の周波数特性から直線成分を除去した前記光学伝達関数に基づいて生成されたものであることを特徴とする請求項1乃至請求項のいずれか1項に記載の画像処理装置。
  11. 被写体の光学像を結像する撮像光学系と、
    前記光学像を撮像する撮像素子と、
    請求項1乃至請求項10のいずれか1項に記載の画像処理装置とを有することを特徴とする撮像装置。
  12. 撮像装置によって撮像された画像における、前記撮像装置の撮像光学系の収差による画質の劣化を回復するための、画像処理装置によって実行される画像処理方法であって、
    前記画像処理装置の倍率色収差補正手段が、前記画像に対して前記撮像光学系の倍率色収差の補正を行う工程と、
    前記画像処理装置の第1の取得手段が、前記倍率色収差が補正された画像について、色に関する特徴量を取得する第1の取得工程と、
    前記画像処理装置の画像回復処理手段が、前記撮像光学系の収差に基づいた画像回復フィルタを前記倍率色収差が補正された画像に適用する工程と、
    前記画像処理装置の第2の取得手段が、前記画像回復フィルタが適用された画像に対し、前記色に関する特徴量を取得する第2の取得工程と、
    前記画像処理装置の前記第1の取得工程と前記第2の取得工程で取得された前記色に関する特徴量の変化に応じて、画素値補正手段が、前記画像回復フィルタが適用された画像の画素値を補正する工程とを有ることを特徴とする画像処理方法。
  13. コンピュータを、請求項1乃至請求項10のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2011189325A 2011-08-31 2011-08-31 画像処理装置及び画像処理方法 Active JP5868076B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011189325A JP5868076B2 (ja) 2011-08-31 2011-08-31 画像処理装置及び画像処理方法
US13/591,467 US9167216B2 (en) 2011-08-31 2012-08-22 Image processing apparatus, image capture apparatus and image processing method
RU2012137082/07A RU2523028C2 (ru) 2011-08-31 2012-08-30 Устройство обработки изображения, устройство захвата изображения и способ обработки изображения
EP12182462.7A EP2566162B1 (en) 2011-08-31 2012-08-30 Image processing apparatus and method
CN201210320880.1A CN102970547B (zh) 2011-08-31 2012-08-31 图像处理设备、摄像设备和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011189325A JP5868076B2 (ja) 2011-08-31 2011-08-31 画像処理装置及び画像処理方法

Publications (3)

Publication Number Publication Date
JP2013051598A JP2013051598A (ja) 2013-03-14
JP2013051598A5 true JP2013051598A5 (ja) 2014-10-16
JP5868076B2 JP5868076B2 (ja) 2016-02-24

Family

ID=46754341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011189325A Active JP5868076B2 (ja) 2011-08-31 2011-08-31 画像処理装置及び画像処理方法

Country Status (5)

Country Link
US (1) US9167216B2 (ja)
EP (1) EP2566162B1 (ja)
JP (1) JP5868076B2 (ja)
CN (1) CN102970547B (ja)
RU (1) RU2523028C2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3169053B1 (en) * 2013-02-01 2018-09-19 Canon Kabushiki Kaisha Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US9674431B2 (en) 2013-02-01 2017-06-06 Canon Kabushiki Kaisha Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN104969545B (zh) * 2013-02-05 2018-03-20 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及程序
JP6083897B2 (ja) * 2013-02-28 2017-02-22 株式会社 日立産業制御ソリューションズ 撮像装置及び画像信号処理装置
US9443322B2 (en) * 2013-09-09 2016-09-13 Mediatek Singapore Pte. Ltd. Method and associated apparatus for correcting color artifact of image
JP2015070529A (ja) * 2013-09-30 2015-04-13 株式会社リコー 画像処理装置、撮像装置および画像処理方法
JP6415108B2 (ja) * 2014-05-22 2018-10-31 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP5950949B2 (ja) * 2014-02-06 2016-07-13 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6272112B2 (ja) * 2014-03-31 2018-01-31 キヤノン株式会社 距離検出装置、撮像装置、距離検出方法及び視差量検出装置
CN106134177B (zh) * 2014-03-31 2019-05-28 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法及图像处理程序
JP6042031B2 (ja) * 2014-03-31 2016-12-14 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP6452389B2 (ja) * 2014-11-10 2019-01-16 キヤノン株式会社 画像処理装置および画像処理方法
JP6486076B2 (ja) * 2014-11-10 2019-03-20 キヤノン株式会社 画像処理装置および画像処理方法
CN104601971B (zh) * 2014-12-31 2019-06-14 小米科技有限责任公司 色彩调整方法及装置
JP6587402B2 (ja) * 2015-03-23 2019-10-09 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP6512893B2 (ja) * 2015-03-26 2019-05-15 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム
JP6525718B2 (ja) * 2015-05-11 2019-06-05 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
US10467728B2 (en) * 2015-05-20 2019-11-05 Sony Corporation Image processing apparatus and image processing method, and image pickup element and image pickup apparatus
EP3184990B1 (de) * 2015-12-22 2019-11-06 X-Rite Switzerland GmbH Sparkle-messung
JP6578960B2 (ja) * 2016-01-21 2019-09-25 オムロン株式会社 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体
KR102406215B1 (ko) 2016-02-17 2022-06-08 삼성전자주식회사 컬러 프린지 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법
CN107786858B (zh) * 2016-08-25 2019-07-26 北京展讯高科通信技术有限公司 一种基于空间频率抑制伪色的方法、装置及电子设备
US10726814B2 (en) * 2017-01-27 2020-07-28 Canon Kabushiki Kaisha Image display apparatus, image processing apparatus, image display method, image processing method, and storage medium
CN110915204B (zh) * 2017-07-21 2022-07-26 索尼公司 图像处理装置、图像处理方法、存储介质和成像装置
CN109151281A (zh) * 2018-09-26 2019-01-04 中国计量大学 一种获得深度信息的像素孔径偏移相机

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4663655A (en) * 1985-08-05 1987-05-05 Polaroid Corporation Method and apparatus for reconstructing missing color samples
US4774565A (en) * 1987-08-24 1988-09-27 Polaroid Corporation Method and apparatus for reconstructing missing color samples
JP4076242B2 (ja) * 1995-12-26 2008-04-16 オリンパス株式会社 電子撮像装置
JPH09222560A (ja) * 1996-02-19 1997-08-26 Olympus Optical Co Ltd 結像レンズ
JP3532368B2 (ja) 1996-12-10 2004-05-31 富士写真フイルム株式会社 内視鏡
US7053908B2 (en) * 2001-04-12 2006-05-30 Polaroid Corporation Method and apparatus for sensing and interpolating color image data
JP3947969B2 (ja) 2002-05-15 2007-07-25 ソニー株式会社 画像処理装置、および画像処理方法、記録媒体、並びにプログラム
JP4010254B2 (ja) * 2003-02-06 2007-11-21 ソニー株式会社 画像記録再生装置、画像撮影装置及び色収差補正方法
US8339462B2 (en) 2008-01-28 2012-12-25 DigitalOptics Corporation Europe Limited Methods and apparatuses for addressing chromatic abberations and purple fringing
WO2006093266A1 (ja) 2005-03-04 2006-09-08 Nikon Corporation 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP5222472B2 (ja) 2006-07-14 2013-06-26 イーストマン コダック カンパニー 画像処理装置、画像復元方法およびプログラム
WO2008039802A2 (en) * 2006-09-25 2008-04-03 Ophthonix, Incorporated Method for correction of chromatic aberration and achromatic lens
JP5045421B2 (ja) 2007-12-21 2012-10-10 ソニー株式会社 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
JP4911628B2 (ja) 2008-01-28 2012-04-04 株式会社リコー 画像処理方法、画像処理装置及び画像撮像装置
JP5078147B2 (ja) 2008-03-04 2012-11-21 株式会社リコー 画像処理装置及び画像撮像装置
JP4891301B2 (ja) * 2008-09-30 2012-03-07 キヤノン株式会社 画像処理方法、画像処理装置及び撮像装置
JP4986965B2 (ja) 2008-09-30 2012-07-25 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置
JP4942216B2 (ja) * 2008-09-30 2012-05-30 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置及びプログラム
JP5248980B2 (ja) 2008-10-27 2013-07-31 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP5523017B2 (ja) * 2009-08-20 2014-06-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP5441652B2 (ja) * 2009-12-09 2014-03-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
WO2011074104A1 (ja) * 2009-12-17 2011-06-23 キヤノン株式会社 画像処理装置およびそれを用いた撮像装置
JP2011215707A (ja) * 2010-03-31 2011-10-27 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム

Similar Documents

Publication Publication Date Title
JP2013051598A5 (ja)
JP5868076B2 (ja) 画像処理装置及び画像処理方法
JP2013051599A5 (ja)
JP5409829B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP5818586B2 (ja) 画像処理装置及び画像処理方法
RU2716843C1 (ru) Цифровая коррекция аберраций оптической системы
JP6327922B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US10247933B2 (en) Image capturing device and method for image capturing
JP5528173B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
US20130050546A1 (en) Image processing apparatus and method
WO2011122284A1 (ja) 画像処理装置、およびそれを用いた撮像装置
JP2009260620A (ja) 画像処理装置及び画像処理方法
JP2014027570A5 (ja)
JP2011078097A (ja) 二重モードの拡張された被写界深度の結像システム
JP5653464B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
CN112073603B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP5425135B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP2018088587A5 (ja)
JP6559011B2 (ja) 画像処理装置、および画像処理方法
Lluis-Gomez et al. Chromatic aberration correction in RAW domain for image quality enhancement in image sensor processors
JP7005162B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP6486076B2 (ja) 画像処理装置および画像処理方法
JP7101539B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7207893B2 (ja) 撮像装置、レンズ装置
JP6605009B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体