JP2011124692A - 画像処理方法、画像処理装置、撮像装置および画像処理プログラム - Google Patents
画像処理方法、画像処理装置、撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JP2011124692A JP2011124692A JP2009279325A JP2009279325A JP2011124692A JP 2011124692 A JP2011124692 A JP 2011124692A JP 2009279325 A JP2009279325 A JP 2009279325A JP 2009279325 A JP2009279325 A JP 2009279325A JP 2011124692 A JP2011124692 A JP 2011124692A
- Authority
- JP
- Japan
- Prior art keywords
- image
- recovery
- component
- color
- restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 146
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims abstract description 135
- 238000011084 recovery Methods 0.000 claims description 198
- 238000000034 method Methods 0.000 claims description 81
- 230000003287 optical effect Effects 0.000 claims description 81
- 230000008569 process Effects 0.000 claims description 52
- 239000000203 mixture Substances 0.000 claims description 28
- 230000003321 amplification Effects 0.000 abstract description 10
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 10
- 230000004075 alteration Effects 0.000 description 74
- 230000006870 function Effects 0.000 description 68
- 238000012937 correction Methods 0.000 description 50
- 238000012546 transfer Methods 0.000 description 38
- 230000006866 deterioration Effects 0.000 description 20
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000003860 storage Methods 0.000 description 15
- 238000003786 synthesis reaction Methods 0.000 description 13
- 206010010071 Coma Diseases 0.000 description 12
- 239000003086 colorant Substances 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 238000006731 degradation reaction Methods 0.000 description 11
- 230000015556 catabolic process Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000002411 adverse Effects 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000010363 phase shift Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 206010073261 Ovarian theca cell tumour Diseases 0.000 description 3
- 201000009310 astigmatism Diseases 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000009931 harmful effect Effects 0.000 description 3
- 208000001644 thecoma Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】画像処理方法は、撮像系により生成された入力画像gmを取得するステップと、入力画像の振幅成分および位相成分を回復処理することで第1の画像fd1mを生成するステップと、入力画像の振幅成分を回復処理せずに位相成分を回復処理することで、第1の画像と位相成分の状態が等しく、かつ振幅成分の状態が異なる第2の画像fd2mを生成するステップと、第1および第2の画像の差分情報Smを取得するステップと、回復処理における回復度合を調整するための回復強度調整係数μを設定するステップと、第2の画像に対して、差分情報を、回復強度調整係数に応じて合成することで回復調整画像fmを生成するステップとを有する。
【選択図】図10
Description
ここにいうぼけ成分は、光学的には、点像分布関数(PSF:Point Spread Function)により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、撮像光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。また、横方向の色ずれも、撮像光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。
点像分布関数をフーリエ変換して得られる光学伝達関数(OTF:Optical Transfer Function)は、収差の周波数成分情報であり、複素数で表される。光学伝達関数の絶対値、すなわち振幅成分をMTF(Modulation Transfer Function)といい、位相成分をPTF(Phase Transfer Function)という。MTFおよびPTFはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Re(OTF)、Im(OTF)はそれぞれ、OTFの実部と虚部である。
PTF=tan−1(Im(OTF)/Re(OTF))
このように、撮像光学系の光学伝達関数は画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばRGBの色成分として取得することで発生する。したがって、RGB間で結像位置がずれることで像の広がりが発生するだけでなく、各色成分内で波長ごとの結像位置のずれ、すなわち位相ずれによっても像の広がりが発生する。このため、点像分布関数を主光線(撮像光学系の瞳の中心を通る光線)と直交する各方向(アジムス方向)の1次元断面で見たときに、収差の位相劣化成分は点像分布関数に非対称性を発生させる。また、振幅劣化成分はアジムス方向ごとのPSFの広がりの大きさに影響する。
したがって、撮像光学系による画像劣化を画像処理にて高精度に補正するためには、収差の位相劣化成分と振幅劣化成分を補正することが必要である。
振幅劣化成分を補正する方法として、特許文献1にて開示されているように、画像中のエッジ部分を検出してエッジを強調するエッジ強調処理が知られている。
また、位相劣化成分を補正する方法として、特許文献2にて開示されているように、画像の色成分ごとに像倍率を変更する幾何補正が知られている。
さらに、振幅劣化成分と位相劣化成分を補正する方法として、撮像光学系の光学伝達関数(OTF)の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学伝達関数の情報を用いて画像の劣化成分を補正(低減)する処理を画像回復処理と称する。
画像回復処理の概要は以下の通りである。劣化画像(入力画像)をg(x,y)とし、劣化していない元の画像をf(x,y)とする。また、光学伝達関数のフーリエペアである点像分布関数(PSF)をh(x,y)とする。このとき、以下の式が成り立つ。ただし、*はコンボリューションを示し、(x,y)は画像上の座標を示す。
g(x,y)=h(x,y)*f(x,y)
また、上記式をフーリエ変換により2次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Hは点像分布関数(PSF)をフーリエ変換したものであり、光学伝達関数(OTF)である。(u,v)は2次元周波数面での座標、すなわち周波数を示す。
G(u,v)=H(u,v)・F(u,v)
劣化画像から元の画像を得るためには、以下のように、両辺をHで除算すればよい。
G(u,v)/H(u,v)=F(u,v)
このF(u,v)を逆フーリエ変換して実面に戻すことで、元の画像f(x,y)に相当する回復画像が得られる。
ここで、H−1を逆フーリエ変換したものをRとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
g(x,y)*R(x,y)=f(x,y)
このR(x,y)を、画像回復フィルタという。画像が2次元のとき、通常は画像回復フィルタも画像の各画素に対応したタップ(セル)を有する2次元フィルタとなる。また、一般に、画像回復フィルタのタップ数が多いほど回復精度が向上する。画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平/垂直方向においてそれぞれ3タップ程度のエッジ強調フィルタ(ハイパスフィルタ)とは一線を隔する。画像回復フィルタは光学伝達関数に基づいて作成されるため、振幅成分および位相成分の劣化をともに高精度に補正することができる。
ただし、実際の画像にはノイズ成分があるため、光学伝達関数の完全な逆数をとって作成された画像回復フィルタを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。したがって、ノイズがある場合には、一般に鑑賞用画像として良好な画像は得られない。
このことは以下のように式で表せる。Nはノイズ成分である。
G(u,v)=H(u,v)・F(u,v)+N(u,v)
G(u,v)/H(u,v)=F(u,v)+N(u,v)/H(u,v)
この点については、例えば式(1)に示すウィナーフィルタ(Wiener filter)のように画像信号とノイズ信号の強度比(SNR)に応じて回復度合(回復強度)を制御する方法が知られている。
しかし、実際のSN比をパラメータに設定して回復処理を行っても、所望の画質に対してノイズが許容できない場合には、SNRパラメータを調整して回復ゲインを下げながらノイズの増幅をより抑制する必要がある。これは、式(1)のSNRの値をより大きな値に設定することである。また、実際に撮影された状態で発生している収差特性と画像回復フィルタが想定している収差特性とに相違がある場合にも、回復画像にアーティファクトとしてリンギング等の弊害が発生することがある。さらに、RGBの色成分ごとに回復度合が想定しているものと異なると、回復画像に色づき、すなわち偽色が発生してしまうことがある。この偽色も、ノイズやリンギング等のアーティファクトの1つである。
図15には、回復画像に発生した偽色の例を示している。図中の破線部に偽色が発生している。偽色Aは、製造誤差によりエッジ部が回復処理前の画像よりも色づいた状態になることで発生している。偽色Bは、太陽の反射光が強いために発生した輝度飽和により、輝度飽和部の周辺が回復処理前の画像よりも色づいた状態になることで発生している。偽色Cは、ピントずれによりエッジ部が回復処理前の画像よりも色づいた状態になることで発生している。
ウィナーフィルタでは、式(1)のSNRの値を大きく設定することで回復度合が低下するが、高周波から低下がはじまり、回復度合を低下させても回復前の周波数特性を再現できない。これは、式(1)1でSNRが周波数特性を持たない限り、M=1、すなわち画像回復フィルタが画像に影響を与えない状態にならないことから明らかである。
特許文献3では、回復度合を調整するために、画像回復フィルタを設計する際のパラメータを式(2)のようにしている。
また、回復度合を低下させていくに従って、元の画像に近づいていくため、倍率色収差やコマ収差といった非対称なぼけを有する収差成分が再発する。収差の非対称性は、点像分布関数(PSF)を形成する周波数ごとの位相ずれに起因している。画像上で、コマ収差は像の流れとして画質を低下させるものであり、倍率色収差は色ずれとして画質を低下させている。特に、倍率色収差は目立ちやすいため、従来から特許文献2にて開示された方法のように補正が行われているが、特許文献3にて開示された方法で倍率色収差が補正されるのは高回復度合の状態のみで、低回復度合になるに従って倍率色収差量は大きくなる。
すなわち、回復度合を調整可能にすることで、弊害を抑制できる一方で、倍率色収差等の非対称収差を大きくしてしまう。また、倍率色収差量が変動するので、画像回復処理とは別に倍率色収差補正処理を導入しても、回復度合の設定に応じて倍率色収差の補正量を変更しなければならないため、処理負荷が大きくなってしまう。
また、撮像系と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
さらに、本発明の他の一側面としての画像処理プログラムは、撮像系により生成された入力画像を取得する処理と、入力画像の振幅成分および位相成分を回復処理することで第1の画像を生成する処理と、入力画像の振幅成分を回復処理せずに位相成分を回復処理することで、第1の画像と位相成分の状態が等しく、かつ振幅成分の状態が異なる第2の画像を生成する処理と、第1および第2の画像の差分情報を取得する処理と、回復処理における回復度合を調整するための回復強度調整係数を設定する処理と、第2の画像に対して、差分情報を、回復強度調整係数に応じて合成することで回復調整画像を生成する処理とをコンピュータに実行させることを特徴とする。
まず、本発明の実施例において基本となる画像処理方法について説明する。本実施例では、入力画像の収差成分を抽出し、この収差成分の除去量を制御することで回復度合(回復強度)を調整する。回復度合の調整によって、収差成分のうち収差の非対称性の変動が無く、ぼけ量のみが変化する。
RGBの色成分を有する入力画像gmに対して色成分ごとに選択又は生成された画像回復フィルタを用いて、光学伝達関数(OTF)に応じて劣化した入力画像の位相成分および振幅成分の回復処理を行い、第1の画像fd1mを得る。ここでの回復処理は、位相成分と振幅成分をともに補正するため、画像回復フィルタとしては、例えばウィナーフィルタを用いることができる。
第1の画像fd1mは、収差の振幅成分および位相成分が補正されているため、収差の非対称性が除去され、かつぼけが低減されて鮮鋭度が向上している。ただし、この画像には、上述したように、ノイズ増幅や偽色が含まれている。
一方、入力画像gmに対して色成分ごとに画像回復フィルタを用いて光学伝達関数(OTF)に応じて劣化した入力画像の振幅成分の回復処理を行わずに位相成分の回復処理を行い、第2の画像fd2mを得る。第2の画像fd2mは、収差の位相成分のみが補正されているため、収差の非対称性は除去されているが、ぼけは補正されていない。言い替えれば、第2の画像fd2mは、光学伝達関数(OTF)の位相成分(PTF)は補正されているが、その絶対値成分であるMTFは変化していない。
第1の画像fd1mから第2の画像fd2mを、式(3)のように対応する画素ごとに信号値を減算することで、第1の画像fd1mと第2の画像fd2mの色成分ごとの差分情報としての回復成分情報Smを生成する。
ここで、第2の画像fd2mと回復成分情報Smとはともに位相成分が補正され、振幅成分(ぼけ量)のみが異なる状態であるので、回復度合の調整量に応じて位相成分が変動することは無く、常に位相成分が補正された状態を維持できる。すなわち、従来の方法では、回復度合に応じて、鮮鋭度の変化と共に倍率色収差やコマ収差の変動が発生してしまうが、本実施例の方法では、対称性を維持したまま鮮鋭度のみを変化させることができる。
次に、上記フローの順に、各工程の具体的な処理について説明する。実施例1にて説明した処理と同じ処理については説明を省略する。
「入力画像gm」
入力画像gmは、基本的には、撮像光学系により形成された物体像(被写体像)を撮像素子により光電変換して得られたデジタル画像であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数(OTF)により劣化している。撮像光学系は、レンズの他にも曲率を有するミラー(反射面)を用いることもできる。また、撮像光学系と撮像素子とにより撮像系が構成される。
また、入力画像gmは、例えば、RGBの色成分の情報を有している。色成分としては、これ以外にもLCHで表現される明度、色相、彩度や、YCbCrで表現される輝度、色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間として、XYZ、Lab、Yuv、JChを用いることも可能である。さらに、色温度を用いることも可能である。
色成分情報は、モザイク画像の各画素が有する1つの色成分の信号値でもよいし、モザイク画像を色補間処理(デモザイキング処理)して得られるデモザイク画像の各画素が有する複数の色成分の信号値でもよい。モザイク画像は、色補間処理、ガンマ変換、JPEG等の画像圧縮といった種々の画像処理を行う前の画像として、RAW画像とも称される。
特に、単板の撮像素子で複数の色成分情報を得る場合には、各画素に分光透過率の異なるカラーフィルタを配置して各画素が1つの色成分の信号値を有するモザイク画像を取得することになる。この場合、色補間処理を行うことで各画素に複数の色成分の信号値を有したデモザイク画像を生成することができる。また、多板(例えば、3板)の撮像素子を用いる場合には、撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の信号値を得ることができる。この場合、撮像素子間で対応する画素に対してそれぞれの色成分の信号値を有しているので、特に色補間処理を行わずに各画素に複数の色成分の信号値を有した画像を生成することができる。
また、入力画像gmや出力画像には、レンズの焦点距離、絞り値、被写体距離等の撮像条件や該画像を補正するための各種の補正情報を付帯することができる。特に本実施例では、補正情報に、回復強度調整係数μを含む。
撮像から出力までの一連の処理を1つの閉じた撮像装置で行う場合には、画像に撮像条件情報や補正情報を付帯しなくとも装置内で取得することもできる。撮像装置からRAW画像を取得し、別の画像処理装置で補正処理や現像処理を行う場合には、上記のように画像に撮像条件情報や補正情報を付帯することが好ましい。
ただし、画像処理装置側に予め補正情報が記憶されており、撮像条件情報から補正係数を選択可能なシステムを構成すれば、必ずしも画像に補正情報を付帯する必要はない。
補正情報は初期値として上記のように補正係数を得ることができるが、ユーザーが補正係数値を変更することもできる。撮像装置に装備されたモニタや、画像処理装置が撮像装置とは別の装置である場合に画像処理システムの一部として装備されたモニタを用いてユーザーが出力画像を評価しながら補正係数を変更することで、好みの出力画像を得ることができる。
「画像回復処理」
図2には、画像回復フィルタを模式的に示す。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてタップ数(セル数)を決めることができる。図2では、例として、11×11タップの2次元フィルタを示している。図2では、各タップが有する値(係数値)を省略している。
画像回復フィルタの各タップは画像回復処理を行う入力画像の各画素に対応し、画像回復処理の工程でコンボリューション処理される。コンボリューション処理では、入力画像のある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに画像の信号値と画像回復フィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。
画像回復フィルタのある断面での各タップが有する係数値(以下、タップ値ともいう)を図3に示す。画像回復フィルタのタップ値の分布が、収差によって空間的に広がった信号値を理想的には元の1点に戻す役割を果たしている。
画像回復フィルタは、撮像系(撮像光学系)の光学伝達関数(OTF)を計算又は計測し、その逆関数に基づいた関数を逆フーリエ変換して得ることができる。一般的にはノイズの影響を考慮する必要があるため、ウィナーフィルタや関連する種々の画像回復フィルタの作成方法を選択して用いることができる。
さらに、光学伝達関数(OTF)は撮像光学系のみならず、撮像の過程で光学伝達関数(OTF)を劣化させる要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタは光学伝達関数(OTF)の周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義の光学伝達関数(OTF)に基づいて、画像回復フィルタを作成することが望ましい。
また、入力画像がRGB形式のカラー画像である場合は、R、G、Bの各色成分に対応した3つの画像回復フィルタを作成すればよい。撮像光学系には色収差があり、色成分ごとにぼけ方が異なるため、色成分ごとの画像回復フィルタは特性が色収差に基づいて異なる。すなわち、図3の断面図が色成分ごとに異なることに対応する。
画像回復フィルタの縦横のタップ数に関しては、正方配列である必要はなく、任意に変更することができる。
ここで、第1の画像fd1mを得るための画像回復処理における画像回復フィルタの収差補正の特性についてコマ収差を例に説明する。コマ収差の点像分布関数(PSF)のメリジオナル方向の断面図を表現すると、図4(a)のように非対称なぼけを有している。これは、点像分布関数(PSF)の周波数特性である光学伝達関数(OTF)の絶対値成分(MTF)が、図5(M)の(a)のように劣化し、位相成分(PTF)が図5(P)の(a)のように位相ずれを生じているためである。この位相ずれによって、点像分布関数(PSF)の断面内での非対称性が発生する。
画像回復フィルタの作用を式(5)を用いて説明する。
しかし、上記したようにノイズ増幅などの弊害を考慮すると、このような完全回復を行わずに、式(5)の[ ]内のMTF2/(MTF2+SNR2)の部分で回復度合を抑制する。この状態の点像分布関数(PSF)は図4(c)に示す状態であり、MTFが図5(M)の(c)に示すように適度に回復し、PTFが図5(P)の(c)に示すように全周波数において0に回復している。
式(5)より回復後のOTFはMTF2/(MTF2+SNR2)となるため、回復度合に関わらず、位相成分(PTF)は補正された状態になる。すなわち、PSFとしては、回復度合に応じて点像の広がりは変化するものの、図4(c)に示す状態のように断面内で対象性を持ったぼけの状態になる。
次に、第2の画像fd2mを得るための画像回復処理における画像回復フィルタの収差補正の特性についてコマ収差を例に説明する。画像回復フィルタの作用を式(6)を用いて説明する。
このような実空間での画像回復フィルタを用いて入力画像gmに対するコンボリューション処理を行うことで、画像回復処理において、画像のフーリエ変換や逆フーリエ変換を行うことなく画像を回復することができる。
ここで、画像回復処理は、画像の劣化過程が線形である方が劣化前の元画像に回復するための逆過程を高精度に処理できるため、入力画像は種々の適応的な非線形処理を施されていないことが好ましい。したがって、例えば、デモザイキング処理に非線形処理が含まれる場合には、画像回復処理はモザイク画像(RAW画像)に対して行うことが好ましい。
ただし、デモザイク画像でも、色補間処理による劣化過程が線形であれば、画像回復フィルタの生成において、この劣化関数を考慮することで同様に回復処理を行うことができる。また、回復の要求精度が低い場合や種々の画像処理を施された画像しか入手できない場合には、デモザイク画像に対して回復処理を行っても構わない。
本発明の実施例としての画像処理方法は、入力画像がモザイク画像であってもデモザイク画像であっても適用することができる。
「第1の画像fd1m」
振幅成分および位相成分を回復する画像回復フィルタを用いた画像回復処理により、第1の画像fd1mが得られる。従来における画像回復では、この第1の画像fd1mを回復画像(補正画像)として出力している。第1の画像fd1mが必要な画質を満たしていれば、補正画像fmとして用いることができるが、実際には上記のようにノイズ増幅や偽色が含まれている。ノイズ増幅に関しては、予め画像回復フィルタの回復度合を適正に設定することで抑制できるが、リンギングや偽色に関しては、その発生量の予測が困難であるため、回復画像を評価して再度、回復度合を調整する必要がある。
「第2の画像fd2m」
位相成分のみを回復する画像回復フィルタを用いた画像回復処理により第2の画像fd2mが得られる。この第2の画像fd2mは、画像の画素値の絶対値成分(MTF)の増幅を行っていないため、ノイズ増幅が生じない。また、位相劣化成分が補正されるため、例えばメリジオナル方向の色成分間の結像位置に対する非対称性が原因となる倍率色収差は除去される。また、コマ収差はメリジオナル方向、サジタル方向を含む全アジムス方向においてそれぞれ対称性を持つようになるため、非点収差のような点対称な収差形状に補正される。ここで、コマ収差が補正後に回転対称性を持たないのは、位相が全アジムス方向で揃っていてもMTFがアジムス方向依存を持っているので、アジムス方向によってぼけ量が異なるためである。
「回復成分情報Sm」
第1の画像fd1mから第2の画像fd2mを、式(3)のように減算する(色成分および画素ごとの減算処理を行う)ことで、色成分ごとの回復成分情報Smを生成することができる。第1の画像fd1mおよび第2の画像fd2mは、撮像光学系で劣化した位相成分(位相劣化成分)が同等に補正され、位相成分の状態が等しく、振幅成分の状態が異なっている。したがって、回復成分情報Smは、第1の画像fd1mと第2の画像fd2mの振幅成分の差分情報ということができる。
ここで、位相成分の状態は、第1の画像fd1mおよび第2の画像fd2mともに、撮像光学系による位相劣化成分が十分に除去された状態として揃っていることが望ましい。一方、振幅成分の状態は、後述する回復強度調整係数により回復度合を調整するために、異なった状態である必要がある。
このため、回復成分情報Smは、第2の画像fd2mの位相ずれ以外の収差成分と画像回復処理により発生したノイズの増加成分やリンギング成分、さらには偽色成分も含んでいる。
「回復強度調整係数μおよび補正画像fm」
式(4)に示すように、色成分ごとに回復成分情報Smを回復強度調整係数μmに応じて第2の画像fd2mに合成することで、補正画像fmを得る。補正画像fmは、回復強度調整係数μmが0のときに第2の画像fd2mとして得られ、回復強度調整係数μmが1のときに第1の画像fd1mとして得られる。また、回復強度調整係数μmが0から1の間においては、第2の画像fd2mから第1の画像fd1mの間で連続的に回復度合を調整することができる。
第2の画像fd2mと回復成分情報Smは共に位相成分が補正され、振幅成分のみが異なる状態である。このため、回復度合の調整量に応じて位相成分が変動することは無く、常に位相が補正された状態を維持できる。回復強度調整係数μの基本範囲は、0≦μ≦1であるが、μ>1とすることで強調補正した画像を得ることもできる。
また、撮像光学系に製造誤差がある場合の影響の1つに、例えば、画像の左右対称な位置で劣化度合が異なることがあり、この劣化度合の差異は、画像上でのぼけ成分やその相対的な色にじみ成分の差異として現れる。ぼけ成分については、回復強度調整係数μを画像の位置によるぼけ量の変動に応じて設定することで、製造誤差を吸収することができる。
色にじみ成分については、画像の位置による色にじみ量の変動に応じて回復強度調整係数μを色成分ごとに設定することで、製造誤差を吸収することができる。
出力画像の画質の評価は目的に応じて異なる。例えば、ポートレートの場合、ノイズやリンギングは非常に邪魔な存在である。一方、監視カメラなどで、車のナンバープレートから数字を読み取りたい場合にはノイズやリンギングがあっても、数字を特定することが最重要となる。また、何らかの要因でノイズやリンギングや偽色等の弊害が画像に大きく現れた場合、出力画像として回復度合が低くても十分に弊害の無い画像を出力できることは出力画像の保障として重要である。これらの場合に対して、回復強度調整係数μを調整することで対応を行うことができる。
また、一般の写真撮影においても、収差が残っていることでフレアが存在する柔らか味のある画像から収差を除去した鮮鋭な画像まで出力画像として要求される画質はユーザーや被写体によって様々である。この場合に対しても回復強度調整係数μを調整することで対応を行うことができる。
また、式(3)を変形して、第2の画像fd2mから第1の画像fd1mを減算して回復成分情報を抽出してもよい。この場合、式(4)を変形して、第2の画像fd2mからこの回復成分情報を回復強度調整係数に応じて減算(これも「合成」に含む)しても、数式上は等価であり、同じ効果が得られる。
しかし、本実施例の画像処理方法では、回復度合を調整する場合にも、画像の合成比を変化させるだけであるので、画像回復フィルタを再計算する必要がない。さらに、調整パラメータの変更の度に入力画像に対してコンボリューション処理を行う必要もない。また、回復度合を下げても収差の非対称性が少なくとも点対称な状態に補正されているため、倍率色収差が除去された状態で変動が無く、コマ収差の特徴である像の流れも補正されている。
従来の画像処理方法と本実施例の画像処理方法とを、図6および図7を用いて比較する。図6は従来の画像処理方法(画像回復処理)のフローである。撮影画像を入力画像とし、初期値としての回復パラメータを用いて画像回復フィルタを生成するか、初期値として予め用意された画像回復フィルタを用いて入力画像に対して画像回復処理を行う。この回復画像を評価して、そのまま出力画像とするか再度、回復度合を変更するかを判定する。回復度合を変更する場合には、回復パラメータを変更し、画像回復フィルタを再計算し、再度、入力画像に対して画像回復処理を行う。これを繰り返して所望の画像が得られたら回復画像(出力画像)として出力する。
一方、図7は本実施例の画像処理方法(画像回復処理)のフローである。撮影画像を入力画像とし、初期値としての回復パラメータを用いて画像回復フィルタを生成するか、初期値として予め用意された画像回復フィルタを用いて入力画像に対して画像回復処理を行う。この回復画像に対して予め用意された調整パラメータか、ユーザーが設定した調整パラメータか、画像情報から自動的に決定された調整パラメータを用いて画像合成処理を行い、回復調整画像とする。この回復調整画像を評価して、そのまま補正画像(出力画像)とするか再度、回復度合を変更するかを判定する。回復度合を変更する場合には、調整パラメータを変更し、再度、画像合成処理を行う。ここにいう調整パラメータが、上述した回復強度調整係数μである。
このように、従来の画像回復処理と本実施例の画像回復処理では、調整時の画像回復フィルタの再計算の必要の有無および画像回復処理である入力画像と画像回復フィルタのコンボリューション処理の必要の有無の点で大きく異なる。
また、出力画像としての採用の可否の判定や、回復度合の変更に伴う調整パラメータの変更は、ユーザーが主観的な評価に基づいて行ってもよいし、予め画像の評価関数を設定しておいて自動的に行ってもよい。
さらに、入力画像の画素の特徴量に応じて自動的に調整パラメータを変更することもできる。「画素の特徴量」とは、入力画像の部分的なコントラストや輝度レベル等である。画像の部分的なコントラストの高低を検出する方法として、例えば微分フィルタを用いる方法が知られている。これを用いることで、画像中のエッジ部とそうでない部分を分離することができる。エッジ部の鮮鋭度は画像全体の鮮鋭度に影響するので、エッジ部については回復度合が高くなるように調整パラメータを設定する。一方、エッジ部でない比較的濃淡の少ない部分は回復度合を高くしても画像全体の鮮鋭度には影響せず、むしろこの部分のノイズを増強してしまうと弊害となるので、回復度合が低くなるように調整パラメータを設定する。
また、輝度レベルが低い部分は、本来の画像信号とノイズ信号のSN比が悪いため、回復度合を高くするとノイズが目立ち易いので、回復度合が低くなるように調整パラメータを設定する。一方、輝度飽和をしている部分は、本来の画像信号が撮像素子のレンジの上限でクリップされており、ここでは収差の状態も想定している状態とは大きく異なるので、画像回復による弊害が発生し易い。そこで、回復度合が低くなるように調整パラメータを設定することで弊害を回避することができる。
その他にも、被写体を認識して被写体の種別に応じた回復度合の調整を行うことができる。例として、近年のデジタルカメラには顔認識機能が搭載されている。しかし、画像回復により人物の顔にノイズや偽色などのアーティファクトが発生すると、非常に不自然な画像になってしまうため、回復度合を適度に調整することが好ましい。
また、画素の特徴量に応じて調整パラメータを変更することは、画像の位置によって調整パラメータを変更することを意味している。本実施例では、画像合成処理において画像を画素単位で合成するので、その際の混合比を変更するだけで比較的容易に調整することができる。このように画素単位で回復度合を調整できることも本実施例の特徴の1つである。
調整パラメータの設定値は、他にもISO感度、焦点距離、被写体距離、絞り値等の撮像条件に応じて変更することもできる。
また、本発明の画像処理方法の基本的なフローを説明したが、ここで説明した工程のうちいくつかの工程を一括して同時に行ってもよい。また、各工程の前後に適宜必要な処理工程を追加することも可能である。さらに、説明に用いた式や等号記号は本発明の画像処理方法の具体的なアルゴリズムをこれに限定するものではなく、必要に応じて変形が可能である。
撮像光学系101は、不図示の被写体からの光に、撮像素子102上に被写体像を形成させる。撮像素子102は、被写体像を電気信号に変換する。撮像素子102から出力された電気信号(アナログ信号)は、A/Dコンバータ103によりデジタル画像データに変換され、画像処理部104に入力される。
画像処理部104は、入力されたデジタル画像データ(入力画像)に対して、各種の画像処理と、画像回復処理とを行う。画像処理部104は、処理手段、係数設定手段および画像回復手段として機能する。
まず、画像処理部104は、状態検知部107から撮像光学系101の状態(例えば、焦点距離、絞り値、被写体距離(撮像距離))を示す情報である撮像状態(光学系状態)情報を得る。状態検知部107は、システムコントローラ110から直接、撮像状態情報を得てもよいし、撮像光学系101の動作を制御する撮像光学系制御部106から得てもよい。
次に、画像処理部104は、撮像状態情報から得られる撮像光学系101の状態に応じた画像回復フィルタを記憶部108から選択する。そして、選択した画像回復フィルタ又は該選択した画像回復フィルタを撮像状態情報に応じて補正することで新たに生成した画像回復フィルタを用いて、入力画像に対して画像回復処理および調整パラメータに応じた回復度合の調整を行う。
図9を用いて、画像回復フィルタの選択と補正について説明する。図9には、記憶部108に格納された複数の画像回復フィルタ(黒丸)を模式的に示す。記憶部108に記憶された画像回復フィルタは、焦点距離(状態A)、絞り値(状態B)および被写体距離(状態C)の3つの撮像状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点(黒丸)の座標が、記憶部108に記憶されている画像回復フィルタを示す。
なお、図9では、画像回復フィルタを各撮像状態に対して直交した線上の格子点に配置しているが、画像回復フィルタを格子点から外して配置しても構わない。また、撮像状態の種類は、焦点距離、絞り値および被写体距離に限らず、その数も3つでなくてもよく、4つ以上の撮像状態による4次元以上の撮像状態空間を構成してその中に画像回復フィルタを離散的に配置してもよい。
このように離散的に配置された画像回復フィルタから、実際に使用する画像回復フィルタを選択する方法について説明する。
図9において、大きな白丸で示した撮像状態が、検知された実際の撮像状態であるとする。実際の撮像状態に対応する位置またはその近傍に、予め格納された画像回復フィルタが存在する場合には、その画像回復フィルタを選択して画像回復処理に用いることができる。実際の撮像状態に対応する位置の近傍の画像回復フィルタを選択する際の1つの方法は、実際の撮像状態と画像回復フィルタが格納された複数の撮像状態との間の撮像状態空間で距離(状態相違量)を算出し、最も距離の短い位置の画像回復フィルタを選択する。この方法により、図9に小さな白丸で示した位置の画像回復フィルタが選択される。
また、他の方法として、画像回復フィルタの選択に、撮像状態空間中の方向による重み付けをする方法がある。すなわち、撮像状態空間中の距離と重み付けした方向との積を評価関数として、該評価関数の値が最も高い画像回復フィルタを選択する。
また、別の方法として、実際の撮像状態の近傍に位置する複数の画像回復フィルタを選択し、該複数の画像回復フィルタを状態相違量に応じて補間処理することで、撮像状態に適した画像回復フィルタを生成することができる。ここでの補間処理は、2次元フィルタ同士の対応タップの係数値を線形補間、多項式補間およびスプライン補間等を用いて補間すればよい。
また、画像回復フィルタの生成に用いる光学伝達関数(OTF)は、光学設計ツールや光学解析ツールを用いて計算により求めることができる。さらに、撮像光学系単体や撮像装置の実際の状態にて光学伝達関数(OTF)を計測して求めることもできる。
そして、画像処理部104で処理した出力画像を画像記録媒体109に所定のフォーマットで保存する。この出力画像は、画像回復処理により偽色の発生度合と回復度合のバランスがとれた鮮鋭化された画像である。また、表示部105には、補正処理後の画像に表示のための所定の処理を行った画像を表示してもよいし、高速表示のために補正処理を行わない、又は簡易的な補正処理を行った画像を表示してもよい。
以上の画像処理部104での一連の処理は、システムコントローラ110によって制御される。また、撮像光学系101の駆動は、システムコントローラ110の指示を受けた撮像光学系制御部106が制御する。
絞り101aの開口径が制御されることで、絞り値が変化する。フォーカスレンズ101bは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス(AF)機構や手動のマニュアルフォーカス機構によりその位置が制御される。撮像光学系101内に、ローパスフィルタや赤外線カットフィルタ等の光学素子を挿入してもよいが、該光学素子が撮像光学系101の光学伝達関数(OTF)に影響を与える場合には、該光学素子を考慮して画像回復フィルタを作成する必要がある。赤外カットフィルタを挿入する場合には、分光波長の点像分布関数(PSF)の積分値であるRGBチャンネルの各PSF、特にRチャンネルのPSFに影響するため、画像回復フィルタを作成する時点で考慮が必要になる。
撮像光学系101は、撮像装置本体に対して一体に設けられたものでもよいし、交換可能に設けられたものであってもよい。
本実施例の画像回復処理(画像処理方法)は、図1に示した画像処理部104で実行される。図10に、画像処理部104で実行される本実施例の画像回復処理に関わる具体的なフローを示す。図中の●印は画像等の画素データであることを表し、それ以外は処理を表している。
画像処理部104は、画像取得工程(画像取得ステップ)で入力画像を取得する。次に、画像処理部104は、状態検知部107から撮像状態情報を得て、記憶部108から撮像状態に応じた画像回復フィルタを選択する。そして、画像回復工程(画像回復ステップ)で、画像処理部104は、画像回復フィルタを用いて入力画像に対して回復処理を行う。画像回復工程では、振幅成分および位相成分を補正(回復)した第1の画像と、位相成分のみを補正(回復)した第2の画像とを生成する。
回復成分情報生成工程(回復成分情報生成ステップ)では、画像処理部104は、第1の画像と第2の画像の各画素の信号値の差分から回復成分情報を生成する。回復成分情報は、第1の画像と第2の画像との差分情報であるため、値としては正の値や負の値を持っている。
そして、この回復成分情報生成工程では、画像処理部104は、回復強度調整係数μとしての調整パラメータの設定値を取得する。調整パラメータの設定方法としては、撮像条件や像高に応じて予め用意された設定値から自動的に選択して用いることができる。また、画像から画素の特徴量を判別して自動的に調整パラメータを変更して設定することができる。または、ユーザーが任意に設定することもできる。
次に、回復画像生成工程(回復画像生成ステップ)で、画像処理部104は、調整パラメータに応じて回復成分情報を第2の画像に合成して補正画像を生成する。具体的には、回復成分情報の各画素値に回復強度調整係数μを乗じた画素値を画素ごとに第2の画像に加えることで補正画像を得る。
次に、画像処理部104は、画像形成に必要なその他の処理を行い、回復された画像(補正画像)を出力する。ここでの「その他の処理」としては、補正処理を受けた画像がモザイク画像であれば、色補間処理(デモザイキング処理)を行う。その他、エッジ強調処理、シェーディング補正(周辺光量補正)、歪曲収差補正等がある。また、ここで説明したその他の処理を含めた種々の画像処理は、上記フローの前後や中間に必要に応じて挿入することもできる。
以上、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序はこれに限るものではなく、処理上の制約条件や要求画質に応じて変更しても構わない。また、本実施例では、補正処理において位相成分のみを回復する処理を行っているが、前述したように、ノイズ増幅が許容範囲である場合には振幅成分に多少の変化を与えてもよい。
また、画像処理部104は、少なくとも演算部と一時記憶部(バッファー)とを有する。上記の画像処理の工程ごとに必要に応じて一時記憶部に対して画像の書き込み(記憶)および読み出しを行う。一時的記憶部として、記憶部108を用いてもよい。
1つ目は、回復強度調整係数μを1とした場合に、補正画像として第1の画像fd1mと同じ画像を得るための色合成比調整係数ωである。式(8)の色合成比調整係数ωの対角成分を1として残りの成分を0として単位行列をとすると、色合成回復成分情報Sdmは、それ自身の色成分の回復成分情報Smと等しくなる。これは、補正画像fmを第1の画像fd1mと同じ画像として出力する場合の係数設定である。この場合、前述した通り、補正画像としては収差成分を最大限に補正しようとするものであるが、同時に偽色の発生リスクも大きい。
2つ目は、偽色を完全に発生させないための色合成比調整係数ωである。式(8)の色合成比調整係数ωの全要素を1/3とおくと、色合成回復成分情報Sdmは全ての色成分の回復成分情報Smを平均化したものになり、色合成回復成分情報SdR,SdG,SdBともに完全に同じものになる。色合成回復成分情報Sdmが全ての色成分で等しいということは、この後の工程で第2の画像fd2mに色合成回復成分情報Sdmを合成する際に、色成分に関する付加情報の相違が全く無いことになるので、偽色が絶対に発生しない。
ただし、各色成分の収差情報を平均化しているので、1つ目の第1の画像fd1mを出力画像とする場合に比べて回復度合、すなわち鮮鋭度は低下することになる。しかし、回復成分情報Smを平均化しても、各色成分の回復成分情報SR,SG,SBの間には少なからず正の相関(類似性)があるので、入力画像gmに対して補正画像の鮮鋭度は向上している。したがって、これが偽色の発生リスクを完全に除去した回復条件となる。
式(8)の色合成比調整係数ωを単位行列とした場合と全て1/3とした場合以外の中間的な色合成比調整係数ωの決定方法の例を以下に説明する。色合成比調整係数ωは、9つの設定自由度を有しているため、各要素値の設定が難しい場合がある。例えば、撮像装置や画像処理システム上で一般ユーザーがこの色合成比調整係数ωを可変に設定する場合がその一つの例である。
この困難性を解決するために、色合成比調整係数ωの各要素間に従属関係を持たせて、制御する自由度を低減する。ただし、この従属関係は、回復度合と偽色の発生リスクとのバランスを調整できる関係である必要がある。また、撮像装置や画像処理システムを提供する側としても好適な調整パラメータを少ない自由度で制御できることは、装置の開発工程や生産工程での作業効率を向上することができる。
色合成比調整係数ωの決定方法の例として、はじめに2つの制約条件を設ける。1つ目の制約条件は、式(9)のように、式(8)の行列ωの行ごとの和をそれぞれ1とするものである。これは、例えばR成分の色合成回復成分情報SdRを生成するための回復成分情報SR,SG,SBの混合比を正規化していることを意味している。このように混合比を正規化することで、異なる色合成回復成分情報Sdm間でそれぞれ如何なる比率で重み付けされているかが容易に比較できるようになる。
これに基づいて、式(11)の各列の分散を最小化すると、式(12)のように記すことができる。式(12)は、設定パラメータがωの1つになっているので、回復度合と偽色の発生リスクのバランスの調整を容易に制御することができる。
また、色合成比調整係数ωの範囲についても、上記した補正画像fmとして入力画像や強調画像を得る場合のように、1/3≦ω≦1に限定せず設定することもできる。すなわち、式(12)は、回復度合と偽色の発生リスクを1つの設定パラメータωで容易に決定するための例にすぎない。本実施例の本質は、回復成分情報Smを色成分間で合成し、色合成回復成分情報Sdmの色成分間の類似性を制御することで、偽色の発生リスクを抑制することである。
撮像装置202は、カメラ、顕微鏡、内視鏡、スキャナ等を含む。記憶媒体203は、半導体メモリ、ハードディスク、ネットワーク上のサーバ等、撮像により生成された画像(撮影画像データ)を記憶する。
画像処理装置201は、撮像装置202又は記憶媒体203から撮影画像データを取得し、所定の画像処理を行った出力画像(補正画像)データを出力機器205、撮像装置202および記憶媒体203のうち少なくとも1つに出力する。また、出力先を画像処理装置201に内蔵された記憶部とし、該記憶部に出力画像データを保存しておくこともできる。出力機器205としては、プリンタ等が挙げられる。画像処理装置201には、モニタである表示機器204が接続されており、ユーザーはこの表示機器204を通して画像処理作業を行うとともに、補正画像を評価することができる。画像処理ソフトウェア206は、画像回復処理機能(位相劣化成分および振幅劣化成分の補正機能)および回復度合調整機能の他に、必要に応じて現像機能やその他の画像処理機能を有している。
また、図13には、別の画像処理システムの構成を示している。実施例1のように撮像装置202単体で実施例1〜3の画像処理を行う場合は、撮像装置202から直接、出力機器205に補正画像を出力することができる。
また、出力機器205に、実施例1,2の画像処理方法を実行する画像処理装置を搭載することで、出力機器205にて画像回復処理および回復度合調整を行うことも可能である。さらに、出力機器205の出力時の画像劣化特性を考慮して回復度合調整を行うことで、より高画質な画像を提供することができる。
「補正制御情報」
補正制御情報は、撮像装置202、画像処理装置201および出力機器205のどれで補正処理を行うかを示す設定情報と、該設定情報に応じて他の機器に伝送するデータを選択するための選択情報である。例えば、撮像機器202で画像回復処理のみ行い、画像処理装置201で回復度合の調整を行う場合、画像回復フィルタを画像処理装置201に伝送する必要は無いが、少なくとも第2の画像と第1の画像又は回復成分情報とを伝送する必要がある。
「撮像装置情報」
撮像装置情報は、製品名称に相当する撮像装置202の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。
「撮像状態情報」
撮像状態情報は、撮影時の撮像装置202の状態に関する情報である。例えば、焦点距離、絞り値、被写体距離、ISO感度、ホワイトバランス設定等である。
「撮像装置個別情報」
撮像装置個別情報は、上記の撮像装置情報に対して、個々の撮像装置の識別情報である。製造誤差のばらつきにより撮像装置の光学伝達関数(OTF)は個体ばらつきがあるため、撮像装置個別情報は個々に最適な回復度合調整パラメータを設定するために有効な情報である。回復度合調整パラメータとは、回復強度調整係数μや色合成比調整係数ωである。
「画像回復フィルタ群」
画像回復フィルタ群は、画像回復処理に用いる画像回復フィルタのセットである。画像回復処理を行う装置が画像回復フィルタを有していない場合は、別の装置(機器)から画像回復フィルタを伝送する必要がある。
「回復成分情報」
すでに画像回復処理が行われ、回復成分情報が生成されている場合、位相が補正された第2の画像と回復成分情報を別の機器に伝送すれば、該別の機器で回復度合調整処理を行うことができる。
「調整パラメータ群」
調整パラメータ群は、色合成比調整係数ωおよび回復強度調整係数μのセットである。色合成比調整係数ωおよび回復強度調整係数μは、前述したように、画像上の位置に応じて変更可能である。また、撮影状態に応じて変更することも可能である。調整パラメータ群のデータとしては、調整係数そのもののテーブルデータでもよいし、調整係数を決定するための関数でもよい。
「ユーザー設定情報」
ユーザー設定情報は、ユーザーの好みに応じた回復度合に調整するための調整パラメータまたは調整パラメータの補正関数である。ユーザーは調整パラメータを可変に設定可能であるが、ユーザー設定情報を用いれば、常に初期値として好みの出力画像を得ることができる。また、ユーザー設定情報は、ユーザーが調整パラメータを決定した履歴から最も好む鮮鋭度を学習機能により更新することが好ましい。
さらに、撮像装置の提供者(メーカー)がいくつかの鮮鋭度パターンに応じたプリセット値をネットワークを介して提供することもできる。
102 撮像素子
104 画像処理部
105 表示部
107 状態検知部
108 記憶部
110 システムコントローラ
Claims (5)
- 撮像系により生成された入力画像を取得するステップと、
前記入力画像の振幅成分および位相成分を回復処理することで第1の画像を生成するステップと、
前記入力画像の前記振幅成分を回復処理せずに前記位相成分を回復処理することで、前記第1の画像と前記位相成分の状態が等しく、かつ前記振幅成分の状態が異なる第2の画像を生成するステップと、
前記第1および第2の画像の差分情報を取得するステップと、
前記回復処理における回復度合を調整するための回復強度調整係数を設定するステップと、
前記第2の画像に対して、前記差分情報を、前記回復強度調整係数に応じて合成することで回復調整画像を生成するステップとを有することを特徴とする画像処理方法。 - 前記入力画像は複数の色成分を含み、
前記差分情報を、前記第1および第2の画像の前記色成分ごとの差分量を前記色成分の混合比を示す色合成比調整係数に応じて合成することで取得し、
前記回復強度調整係数を、前記色成分ごとに設定することを特徴とする請求項1に記載の画像処理方法。 - 撮像系により生成された入力画像を処理する画像処理装置であって、
前記入力画像の振幅成分および位相成分を回復処理することで第1の画像を生成し、前記入力画像の前記振幅成分を回復処理せずに前記位相成分を回復処理することで、前記第1の画像と前記位相成分の状態が等しく、かつ前記振幅成分の状態が異なる第2の画像を生成する処理手段と、
前記回復処理における回復度合を調整するための回復強度調整係数を設定する係数設定手段と、
前記第2の画像に対して、前記差分情報を、前記回復強度調整係数に応じて合成することで回復調整画像を生成する画像回復手段とを有することを特徴とする画像処理装置。 - 撮像光学系により形成された被写体像を光電変換して撮影画像を生成する撮像系と、
前記撮影画像を入力画像として処理する請求項3に記載の画像処理装置とを有することを特徴とする撮像装置。 - 撮像系により生成された入力画像を取得する処理と、
前記入力画像の振幅成分および位相成分を回復処理することで第1の画像を生成する処理と、
前記入力画像の前記振幅成分を回復処理せずに前記位相成分を回復処理することで、前記第1の画像と前記位相成分の状態が等しく、かつ前記振幅成分の状態が異なる第2の画像を生成する処理と、
前記第1および第2の画像の差分情報を取得する処理と、
前記回復処理における回復度合を調整するための回復強度調整係数を設定する処理と、
前記第2の画像に対して、前記差分情報を、前記回復強度調整係数に応じて合成することで回復調整画像を生成する処理とをコンピュータに実行させることを特徴とする画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009279325A JP5441652B2 (ja) | 2009-12-09 | 2009-12-09 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
US12/964,367 US8737757B2 (en) | 2009-12-09 | 2010-12-09 | Image processing method, image processing apparatus, and image pickup apparatus for correcting degradation component of image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009279325A JP5441652B2 (ja) | 2009-12-09 | 2009-12-09 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011124692A true JP2011124692A (ja) | 2011-06-23 |
JP2011124692A5 JP2011124692A5 (ja) | 2013-01-31 |
JP5441652B2 JP5441652B2 (ja) | 2014-03-12 |
Family
ID=44082080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009279325A Expired - Fee Related JP5441652B2 (ja) | 2009-12-09 | 2009-12-09 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8737757B2 (ja) |
JP (1) | JP5441652B2 (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013038562A (ja) * | 2011-08-08 | 2013-02-21 | Canon Inc | 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム |
JP2013045404A (ja) * | 2011-08-26 | 2013-03-04 | Canon Inc | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
JP2013051598A (ja) * | 2011-08-31 | 2013-03-14 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2013084247A (ja) * | 2011-09-26 | 2013-05-09 | Canon Inc | 画像処理装置及び方法 |
JP2013250946A (ja) * | 2012-06-04 | 2013-12-12 | Canon Inc | 画像処理装置、画像処理方法、および、プログラム |
JP2014126903A (ja) * | 2012-12-25 | 2014-07-07 | Toshiba Corp | 画像処理装置および画像処理方法、ならびに、プログラム |
WO2014136323A1 (ja) * | 2013-03-04 | 2014-09-12 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 |
JP2015005918A (ja) * | 2013-06-21 | 2015-01-08 | 株式会社リコー | 撮像システムおよび結像光学系および画像処理部および撮像システムの製造方法 |
CN104969545A (zh) * | 2013-02-05 | 2015-10-07 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法以及程序 |
JP2017163282A (ja) * | 2016-03-08 | 2017-09-14 | キヤノン株式会社 | 画像処理装置、光学機器、画像処理方法、画像処理プログラム、および記録媒体 |
US9799104B2 (en) | 2014-09-30 | 2017-10-24 | Fujifilm Corporation | Image processing apparatus, image processing method, program, and recording medium |
US9866750B2 (en) | 2014-03-31 | 2018-01-09 | Fujifilm Corporation | Image processing device, imaging device, image processing method, and image processing program |
US9892495B2 (en) | 2014-03-31 | 2018-02-13 | Fujifilm Corporation | Image processing device, imaging device, image processing method, and image processing program |
US10049438B2 (en) | 2014-09-30 | 2018-08-14 | Fujifilm Corporation | Image processing apparatus, filter acquisition apparatus, image processing method, filter acquisition method, program, and recording medium |
US10171803B2 (en) | 2013-03-27 | 2019-01-01 | Fujifilm Corporation | Image capturing apparatus, calibration method, and non-transitory computer-readable medium for calculating parameter for a point image restoration process |
JP2020501262A (ja) * | 2016-12-01 | 2020-01-16 | アルマレンス,インコーポレイティド | 光学系収差のデジタル補正 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011010359A1 (ja) * | 2009-07-21 | 2011-01-27 | キヤノン株式会社 | 色収差を補正する画像処理装置、画像処理方法、プログラム、および、記憶媒体 |
US9030594B1 (en) * | 2012-04-19 | 2015-05-12 | Southern Methodist University | Applying phase transfer function |
JP5779724B2 (ja) * | 2012-09-26 | 2015-09-16 | 富士フイルム株式会社 | 画像処理装置、撮像装置、コンピュータ及びプログラム |
JP5864037B2 (ja) * | 2013-08-02 | 2016-02-17 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP5992633B2 (ja) * | 2013-10-31 | 2016-09-14 | 富士フイルム株式会社 | 画像処理装置及び撮像装置 |
JP6614843B2 (ja) * | 2015-07-30 | 2019-12-04 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP7337555B2 (ja) * | 2019-06-10 | 2023-09-04 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05130440A (ja) * | 1991-07-04 | 1993-05-25 | Toshiba Corp | カラー画像読取り補正装置 |
JP2002300461A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 画像復元装置、画像復元方法、プログラム及び記録媒体 |
JP2005175584A (ja) * | 2003-12-08 | 2005-06-30 | Canon Inc | 画像処理システム |
WO2005069216A1 (ja) * | 2004-01-15 | 2005-07-28 | Matsushita Electric Industrial Co., Ltd. | 光学的伝達関数の測定方法、画像復元方法、およびデジタル撮像装置 |
JP2006129236A (ja) * | 2004-10-29 | 2006-05-18 | Sanyo Electric Co Ltd | リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2007183842A (ja) * | 2006-01-10 | 2007-07-19 | Tokyo Institute Of Technology | 画像復元フィルタ及びそれを用いた画像復元方法 |
JP2009182570A (ja) * | 2008-01-30 | 2009-08-13 | Nittoh Kogaku Kk | 画像処理装置、画像処理方法および画像処理プログラム |
JP2010049610A (ja) * | 2008-08-25 | 2010-03-04 | Sony Corp | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP2011123589A (ja) * | 2009-12-09 | 2011-06-23 | Canon Inc | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06113309A (ja) | 1992-09-28 | 1994-04-22 | Sony Corp | ディジタルビデオカメラ |
JP4281929B2 (ja) | 1998-11-18 | 2009-06-17 | カシオ計算機株式会社 | エッジ強調装置及びエッジ強調方法 |
US7176962B2 (en) * | 2001-03-01 | 2007-02-13 | Nikon Corporation | Digital camera and digital processing system for correcting motion blur using spatial frequency |
JP4717561B2 (ja) | 2005-09-02 | 2011-07-06 | 株式会社トプコン | 眼科検査プログラム、眼科検査装置及び眼科検査システム |
JP4749985B2 (ja) * | 2006-09-28 | 2011-08-17 | 京セラ株式会社 | 撮像装置、並びにその製造装置および製造方法 |
US7885323B2 (en) * | 2007-02-02 | 2011-02-08 | Broadcom Corporation | Asymmetric multi-channel adaptive equalizer |
-
2009
- 2009-12-09 JP JP2009279325A patent/JP5441652B2/ja not_active Expired - Fee Related
-
2010
- 2010-12-09 US US12/964,367 patent/US8737757B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05130440A (ja) * | 1991-07-04 | 1993-05-25 | Toshiba Corp | カラー画像読取り補正装置 |
JP2002300461A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 画像復元装置、画像復元方法、プログラム及び記録媒体 |
JP2005175584A (ja) * | 2003-12-08 | 2005-06-30 | Canon Inc | 画像処理システム |
WO2005069216A1 (ja) * | 2004-01-15 | 2005-07-28 | Matsushita Electric Industrial Co., Ltd. | 光学的伝達関数の測定方法、画像復元方法、およびデジタル撮像装置 |
JP2006129236A (ja) * | 2004-10-29 | 2006-05-18 | Sanyo Electric Co Ltd | リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2007183842A (ja) * | 2006-01-10 | 2007-07-19 | Tokyo Institute Of Technology | 画像復元フィルタ及びそれを用いた画像復元方法 |
JP2009182570A (ja) * | 2008-01-30 | 2009-08-13 | Nittoh Kogaku Kk | 画像処理装置、画像処理方法および画像処理プログラム |
JP2010049610A (ja) * | 2008-08-25 | 2010-03-04 | Sony Corp | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP2011123589A (ja) * | 2009-12-09 | 2011-06-23 | Canon Inc | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013038562A (ja) * | 2011-08-08 | 2013-02-21 | Canon Inc | 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム |
JP2013045404A (ja) * | 2011-08-26 | 2013-03-04 | Canon Inc | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
JP2013051598A (ja) * | 2011-08-31 | 2013-03-14 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2013084247A (ja) * | 2011-09-26 | 2013-05-09 | Canon Inc | 画像処理装置及び方法 |
JP2013250946A (ja) * | 2012-06-04 | 2013-12-12 | Canon Inc | 画像処理装置、画像処理方法、および、プログラム |
JP2014126903A (ja) * | 2012-12-25 | 2014-07-07 | Toshiba Corp | 画像処理装置および画像処理方法、ならびに、プログラム |
US9432643B2 (en) | 2013-02-05 | 2016-08-30 | Fujifilm Corporation | Image processing device, image capture device, image processing method, and non-transitory computer-readable medium |
CN104969545A (zh) * | 2013-02-05 | 2015-10-07 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法以及程序 |
DE112013006596B4 (de) | 2013-02-05 | 2019-10-02 | Fujifilm Corporation | Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren und Programm |
JP5851650B2 (ja) * | 2013-03-04 | 2016-02-03 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 |
WO2014136323A1 (ja) * | 2013-03-04 | 2014-09-12 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 |
US9536289B2 (en) | 2013-03-04 | 2017-01-03 | Fujifilm Corporation | Restoration filter generation device and method, image processing device, imaging device, and non-transitory computer-readable medium |
JPWO2014136323A1 (ja) * | 2013-03-04 | 2017-02-09 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 |
US10171803B2 (en) | 2013-03-27 | 2019-01-01 | Fujifilm Corporation | Image capturing apparatus, calibration method, and non-transitory computer-readable medium for calculating parameter for a point image restoration process |
JP2015005918A (ja) * | 2013-06-21 | 2015-01-08 | 株式会社リコー | 撮像システムおよび結像光学系および画像処理部および撮像システムの製造方法 |
US9892495B2 (en) | 2014-03-31 | 2018-02-13 | Fujifilm Corporation | Image processing device, imaging device, image processing method, and image processing program |
US9866750B2 (en) | 2014-03-31 | 2018-01-09 | Fujifilm Corporation | Image processing device, imaging device, image processing method, and image processing program |
US10049438B2 (en) | 2014-09-30 | 2018-08-14 | Fujifilm Corporation | Image processing apparatus, filter acquisition apparatus, image processing method, filter acquisition method, program, and recording medium |
US9799104B2 (en) | 2014-09-30 | 2017-10-24 | Fujifilm Corporation | Image processing apparatus, image processing method, program, and recording medium |
JP2017163282A (ja) * | 2016-03-08 | 2017-09-14 | キヤノン株式会社 | 画像処理装置、光学機器、画像処理方法、画像処理プログラム、および記録媒体 |
JP2020501262A (ja) * | 2016-12-01 | 2020-01-16 | アルマレンス,インコーポレイティド | 光学系収差のデジタル補正 |
Also Published As
Publication number | Publication date |
---|---|
JP5441652B2 (ja) | 2014-03-12 |
US8737757B2 (en) | 2014-05-27 |
US20110135213A1 (en) | 2011-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5441652B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5546229B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5284537B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 | |
JP5188651B2 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP2011124692A5 (ja) | ||
JP2011123589A5 (ja) | ||
JP6525718B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
US8754957B2 (en) | Image processing apparatus and method | |
JP5147994B2 (ja) | 画像処理装置およびそれを用いた撮像装置 | |
JP5054248B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置 | |
US8849055B2 (en) | Image processing apparatus and method | |
WO2011121763A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP5479187B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
JP2013045404A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP2012234484A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5425136B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
WO2011121761A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP2017126952A (ja) | 画像処理装置、撮像装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121207 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131217 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5441652 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |