JP2012234484A - 画像処理方法、画像処理装置、撮像装置および画像処理プログラム - Google Patents
画像処理方法、画像処理装置、撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JP2012234484A JP2012234484A JP2011104396A JP2011104396A JP2012234484A JP 2012234484 A JP2012234484 A JP 2012234484A JP 2011104396 A JP2011104396 A JP 2011104396A JP 2011104396 A JP2011104396 A JP 2011104396A JP 2012234484 A JP2012234484 A JP 2012234484A
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical
- imaging
- filter
- correction information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 90
- 238000003672 processing method Methods 0.000 title claims description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 177
- 238000012937 correction Methods 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 77
- 238000011084 recovery Methods 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 38
- 238000012546 transfer Methods 0.000 description 27
- 238000004519 manufacturing process Methods 0.000 description 16
- 230000004075 alteration Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 5
- 230000000717 retained effect Effects 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 206010010071 Coma Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】互いに光学特性が異なる複数の光学機器21〜23に対して共通の画像回復フィルタを用意するとともに、該光学特性の相異に応じて光学機器ごとに異なる補正情報A,B,Cを用意し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行う。
【選択図】図1
Description
PTF=tan−1(Im(OTF)/Re(OTF))
このように、光学系の光学伝達関数(OTF)は画像の振幅成分と位相成分を劣化させ、劣化した画像における被写体の各点はコマ収差のように非対称にぼけた状態になる。
入力画像は、撮像により生成された画像である。具体的には、入力画像は、撮影光学系(以下、単に光学系ともいう)により形成された光学像としての被写体像をCCDセンサやCMOSセンサ等の撮像素子により光電変換して得られた撮像信号から生成されたデジタル画像である。該入力画像は、レンズや各種光学フィルタを含む光学系の収差、つまりは光学伝達関数(OTF)に応じて劣化している。光学系は、レンズの他に、曲率を有するミラー等の反射面を用いて構成してもよい。
画像回復処理の概要は以下の通りである。劣化した画像(入力画像)をg(x,y)とし、劣化していない元の画像をf(x,y)とする。また、光学伝達関数のフーリエペアである点像分布関数(PSF)をh(x,y)とする。このとき、以下の式が成り立つ。ただし、*はコンボリューション(畳み込み積分)を示し、(x,y)は画像上の座標を示す。
また、上記式をフーリエ変換により2次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Hは点像分布関数(PSF)をフーリエ変換したものであり、光学伝達関数(OTF)である。G,Fはそれぞれ、g,fをフーリエ変換したものである。(u,v)は2次元周波数面での座標、すなわち周波数を示す。
劣化画像から元の画像を得るためには、以下のように、両辺をHで除算すればよい。
このF(u,v)を逆フーリエ変換して実面に戻すことで、元の画像f(x,y)に相当する回復画像が得られる。
このR(x,y)を、画像回復フィルタという。画像が2次元画像であるとき、一般に、画像回復フィルタも画像の各画素に対応したタップ(セル)を有する2次元フィルタとなる。また、一般に、画像回復フィルタのタップ数(セルの数)は多いほど回復精度が向上するため、要求画質、画像処理能力および収差の特性等に応じて実現可能なタップ数を設定する。画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平および垂直方向に3ずつ程度のタップ数を有するエッジ強調フィルタ(ハイパスフィルタ)等とは異なる。画像回復フィルタは、光学伝達関数(OTF)に基づいて作成されるため、振幅成分および位相成分の劣化をともに高精度に補正することができる。
G(u,v)/H(u,v)=F(u,v)+N(u,v)/H(u,v)
この点については、例えば、下記の式1に示すウィナーフィルタ(Wiener filter)のように画像信号とノイズ信号の強度比(SNR)に応じて画像の高周波側の回復率を抑制する方法が知られている。
個別補正情報は、例えば、製造誤差による個体差を有する光学機器ごとの片ぼけを示す情報である。片ぼけとは、製造誤差により、光学系を構成する複数のレンズ等の光学素子が互いに偏心することで、該光学系の像面での設計上の光学特性(結像特性)の回転対称性が崩れ、該像面上での位置(又は領域)ごとに結像状態が異なることをいう。製造誤差がなければ、光学系の結像特性は回転対称性を有する。なお、光学系の像面は、撮像素子の受光面又は画像と読み替えることもできる。また、像面上での位置は、像高と読み替えることもできる。
11 内部メモリ
21〜23 光学機器
Claims (10)
- 互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するとともに、前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を用意し、
前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行うことを特徴とする画像処理方法。 - 1つの前記画像における位置ごとに前記画像回復フィルタを用意し、
該位置ごとに用意された前記画像回復フィルタと、該位置ごとに異なる前記補正情報とを用いて前記画像回復処理を行うことを特徴とする請求項1に記載の画像処理方法。 - 前記補正情報は、前記画像を構成する色成分ごとに異なることを特徴とする請求項1または2に記載の画像処理方法。
- 前記光学特性は、前記各光学機器の像面における位置ごとの結像特性であることを特徴とする請求項1から3のいずれか1項に記載の画像処理方法。
- 前記画像における画素の特徴量に応じて前記補正情報を変更することを特徴とする請求項1から4のいずれか1項に記載の画像処理方法。
- 前記補正情報を、前記各光学機器から取得することを特徴とする請求項1から5のいずれか1項に記載の画像処理方法。
- 前記補正情報を、前記画像の付帯情報とすることを特徴とする請求項1から5のいずれか1項に記載の画像処理方法。
- 互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを保持する記憶手段と、
前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を取得し、前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行う画像回復手段とを有することを特徴とする画像処理装置。 - 撮像を行って画像を生成する撮像系と、
請求項8に記載の画像処理装置とを有することを特徴とする撮像装置。 - コンピュータに、
互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するステップと、
前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を用意するステップと、
前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行うステップとを含む処理を実行させるコンピュータプログラムであることを特徴とする画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011104396A JP5425135B2 (ja) | 2011-05-09 | 2011-05-09 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
US13/467,098 US8861852B2 (en) | 2011-05-09 | 2012-05-09 | Image processing method for image restoration, image processing apparatus and image pickup apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011104396A JP5425135B2 (ja) | 2011-05-09 | 2011-05-09 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012234484A true JP2012234484A (ja) | 2012-11-29 |
JP5425135B2 JP5425135B2 (ja) | 2014-02-26 |
Family
ID=47434719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011104396A Expired - Fee Related JP5425135B2 (ja) | 2011-05-09 | 2011-05-09 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5425135B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014202922A (ja) * | 2013-04-05 | 2014-10-27 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2015005918A (ja) * | 2013-06-21 | 2015-01-08 | 株式会社リコー | 撮像システムおよび結像光学系および画像処理部および撮像システムの製造方法 |
JP2015102945A (ja) * | 2013-11-22 | 2015-06-04 | キヤノン株式会社 | 画像回復フィルタの生成方法、画像処理方法、撮像装置、画像処理装置 |
JP2020150489A (ja) * | 2019-03-15 | 2020-09-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006129236A (ja) * | 2004-10-29 | 2006-05-18 | Sanyo Electric Co Ltd | リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2010045588A (ja) * | 2008-08-12 | 2010-02-25 | Sony Corp | 画像処理装置及び画像処理方法 |
JP2010086139A (ja) * | 2008-09-30 | 2010-04-15 | Canon Inc | 画像処理方法、画像処理装置及び撮像装置 |
JP2010177919A (ja) * | 2009-01-28 | 2010-08-12 | Toshiba Corp | 画像記録装置及び画像記録装置の製造装置 |
-
2011
- 2011-05-09 JP JP2011104396A patent/JP5425135B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006129236A (ja) * | 2004-10-29 | 2006-05-18 | Sanyo Electric Co Ltd | リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2010045588A (ja) * | 2008-08-12 | 2010-02-25 | Sony Corp | 画像処理装置及び画像処理方法 |
JP2010086139A (ja) * | 2008-09-30 | 2010-04-15 | Canon Inc | 画像処理方法、画像処理装置及び撮像装置 |
JP2010177919A (ja) * | 2009-01-28 | 2010-08-12 | Toshiba Corp | 画像記録装置及び画像記録装置の製造装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014202922A (ja) * | 2013-04-05 | 2014-10-27 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2015005918A (ja) * | 2013-06-21 | 2015-01-08 | 株式会社リコー | 撮像システムおよび結像光学系および画像処理部および撮像システムの製造方法 |
JP2015102945A (ja) * | 2013-11-22 | 2015-06-04 | キヤノン株式会社 | 画像回復フィルタの生成方法、画像処理方法、撮像装置、画像処理装置 |
JP2020150489A (ja) * | 2019-03-15 | 2020-09-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7224980B2 (ja) | 2019-03-15 | 2023-02-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5425135B2 (ja) | 2014-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5409589B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
US9007482B2 (en) | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium | |
JP5959976B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
JP5284537B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 | |
JP5441652B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5188651B2 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP5546229B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP6525718B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP5264968B2 (ja) | 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム | |
JP5791437B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP2011123589A5 (ja) | ||
JP2011124692A5 (ja) | ||
US20160065924A1 (en) | Image pickup apparatus, camera system, and image processing apparatus | |
JP2011215707A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP5344648B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
WO2011121763A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP5425135B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5653464B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
US8861852B2 (en) | Image processing method for image restoration, image processing apparatus and image pickup apparatus | |
JP6821526B2 (ja) | 画像処理方法、画像処理装置、撮像装置、および、プログラム | |
JP5425136B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5645981B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP5611439B2 (ja) | 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム | |
WO2011121761A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP2016092676A (ja) | 画像処理装置、撮像装置、カメラシステムおよび画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130618 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20130618 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20130705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130716 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130911 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131126 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5425135 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |