JP2017117076A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP2017117076A
JP2017117076A JP2015249786A JP2015249786A JP2017117076A JP 2017117076 A JP2017117076 A JP 2017117076A JP 2015249786 A JP2015249786 A JP 2015249786A JP 2015249786 A JP2015249786 A JP 2015249786A JP 2017117076 A JP2017117076 A JP 2017117076A
Authority
JP
Japan
Prior art keywords
psf
model
input
unit
theoretical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015249786A
Other languages
English (en)
Inventor
肇 保坂
Hajime Hosaka
肇 保坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015249786A priority Critical patent/JP2017117076A/ja
Publication of JP2017117076A publication Critical patent/JP2017117076A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】適切にPSFを求められるようにする。【解決手段】テストパターンの元画像データに基づいて、複数のテストパターンを印刷してテストチャートを生成する。テストチャートを、光学系を含む撮像部により撮像し、撮像データを生成する。テストパターンの位置を併せて、元画像データと、撮像画像データとを周波数ドメインで除算し、除算結果を逆フーリエ変換して光学系のPSFを入力PSFとして求める。光学系の結像モデルに基づいて、結像モデルのパラメータを変化させながら理論PSFを算出する。この入力PSFと理論PSFとの二乗誤差が最小となるパラメータの理論PSFを、入力PSFに含まれたノイズが除去されたPSFとして出力する。本開示は、撮像装置に適用することができる。【選択図】図３

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に、PSF（Point Spread Function：点像分布関数または点拡がり関数）を正確に推定できるようにし、推定したPSFを用いて高精度に元画像を復元できるようにした画像処理装置、および画像処理方法、並びにプログラムに関する。
画像を撮像する装置における光学系のPSF（Point Spread Function：点像分布関数または点拡がり関数）を用いた画像の焦点ボケによる劣化を補正して復元する技術がある（特許文献１参照）。
この場合、PSFに基づいて画像が補正されるため、光学系のPSFを正確に測定する必要がある。
PSFを求める方法としては、多数の点像を用いて画面依存のPSFを推定し、位置合わせを行って、黒点像の白黒反転したものをPSFとし、このPSFにより撮像画像を補正することで元画像を復元させるためのパラメータを生成する。
また、PSFを求める他の方法としては、テストパターンを撮像してノイズを含むPSFを測定すると共に、収差モデルに基づいてPSFを求め、これらの二乗誤差を最小にするモデルを推定PSFとする方法が提案されている（特許文献２参照）。
米国特許６２８５７９９号 特許４４６７９８２号
しかしながら、特許文献１の技術においては、画面周辺部の場所に依存する結像特性、特に画面周辺部において明るさが低減することによる結像特性の劣化を適切に定量化できるが、点像依存してしまう恐れがある。
また、白チャートに黒点を使うと、白画素平均値から、白背景の中にぼやけた黒点を写した信号を減算する必要がある。
さらに、白背景には大きな光ショットノイズが含まれている一方、ぼやけた黒点の信号強度は小さいため、両者の比率であるＳＮ比が非常に低く、得られたPSFに強いノイズが重畳される恐れがあると共に、被写体のゴミなどがPSFに影響を及ぼす恐れがある。
また、特許文献２の技術においては、フォトリソグラフィ装置の結像特性のモデル化に適用していたため、レンズの基本パラメータである絞り値と、撮像に使用する光の波長とがいずれも既知であることが前提であった。
さらに、撮像用レンズ等の光学系は、一般に、実質的な絞り値が画面周辺部で暗くなるので、光学シミュレーションによって暗くなった絞り値を計算することは可能だが、組み立て後に個体ごとのばらつきを定量化することができない。
また、撮像用レンズ等の光学系は、画面の中心から離れた場所において絞りによる明るさの低減が非等方であり、特にカメラモジュール向けの撮像用レンズは非等方性の影響により画面周辺部で放射状に像が流れやすい。このため、画面の中心から離れた場所における像の流れの方向と強さが適切にモデル化されないことがあった。
本開示は、このような状況に鑑みてなされたものであり、特に、撮像に係る光学系のPSFの推定精度を向上させ、結果として、推定されたPSFに基づいて、撮像画像を補正するパラメータを高精度に設定することで、撮像画像より元画像を高精度に復元できるようにするものである。
本開示の一側面の画像処理装置は、光学系を有し、画像を撮像する撮像部と、元画像データと、前記元画像データに基づく元画像を撮像した撮像画像のデータである撮像画像データとに基づいて、前記光学系のPSF（Point Spread Function）を入力PSFとして算出する入力PSF算出部と、前記光学系の結像特性を表す結像モデルに基づいて、理論的な前記光学系のPSFを理論PSFとして算出する理論PSF算出部と、前記理論PSF算出部により前記結像モデルを変化させて算出される前記理論PSFのうち、前記入力PSFと近似するものを、前記入力PSFに含まれたノイズが除去されたPSFとして出力する入力PSFノイズ除去部とを含む画像処理装置である。
前記結像モデルには、前記光学系の結像特性である、前記光学系の絞り開口モデル、および収差モデルを含ませるようにすることができ、少なくとも１以上のモデル変数を有するようにさせることができる。
前記絞り開口モデルには、前記絞り開口モデルの形状、および開度を変化させるモデル変数を含ませるようにすることができる。
前記絞り開口モデルの形状には、円形、楕円形、および多角形を含ませるようにすることができる。
前記収差モデルには、ゼルニケ多項式によるレンズ収差モデルを変化させるモデル変数を含ませるようにすることができる。
前記入力PSFノイズ除去部には、前記理論PSF算出部により前記結像モデルの前記モデル変数を変化させて算出される前記理論PSFのうち、前記入力PSFとの二乗誤差が所定の閾値よりも小さくなるときの前記モデル変数により特定される前記理論PSFを、前記入力PSFと近似するものとして、前記入力PSFに含まれたノイズが除去されたPSFとして出力させるようにすることができる。
前記入力PSFノイズ除去部には、前記理論PSF算出部により前記結像モデルの前記モデル変数を変化させて算出される前記理論PSFのうち、前記入力PSFとの二乗誤差が最小になるときの前記モデル変数により特定される前記理論PSFを、前記入力PSFと近似するものとして、前記入力PSFに含まれたノイズが除去されたPSFとして出力させるようにすることができる。
前記入力PSFノイズ除去部には、前記理論PSF算出部により前記結像モデルの前記モデル変数を、最急降下法、準ニュートン法、またはレーベンバーグ・マーカート法により、変化させて算出される前記理論PSFのうち、前記入力PSFとの二乗誤差が最小になるときの前記モデル変数により特定される前記理論PSFを、前記入力PSFと近似するものとして、前記入力PSFに含まれたノイズが除去されたPSFとして出力させるようにすることができる。
前記入力PSFノイズ除去部には、前記理論PSF算出部により前記結像モデルの前記モデル変数を変化させて前記理論PSFを算出するにあたって、前記光学系を構成する推定対象レンズの公称Ｆ値の概略値、または、その定数倍と、前記撮像部を構成するセンサの感度の概略中央付近の波長と、前記波長における無収差レンズモデルに基づいて設定する初期値から前記モデル変数を変化させて、前記入力PSFとの二乗誤差が最小になるときの前記モデル変数により特定される前記理論PSFを、前記入力PSFと近似するものとして、前記入力PSFに含まれたノイズが除去されたPSFとして出力させるようにすることができる。
前記定数倍の倍率は、前記入力PSFが求められる前記光学系を構成するレンズの像高に応じて設定されるようにすることができる。
前記元画像は、少なくとも１個以上のテストパターンを含むテストチャートであり、前記撮像画像は、前記撮像部により前記テストチャートが撮像された画像とすることができる。
前記テストパターンには、位置合わせをするための複数のマーカ画像を含ませるようにすることができる。
前記マーカ画像は、市松画像とすることができる。
前記複数のマーカ画像のうち、所定の位置に配置される一部の前記マーカ画像は、前記一部以外のマーカ画像とは市松画像における配色が反転しているものとすることができる。
前記一部のマーカ画像は、前記テストパターンにおける所定の象限に配設されるようにすることができる。
前記一部のマーカ画像は、前記テストパターンにおける所定の象限の対角線上に配設されるようにすることができる。
前記入力PSFは、前記マーカ画像により位置合わせされた前記元画像および前記撮像画像における、前記撮像画像データの前記テストパターンの周波数ドメインが、前記元画像データの前記テストパターンの周波数ドメインにより除算された除算結果に対して、逆フーリエ変換が掛けられた変換結果の実数部とすることができる。
前記入力PSFノイズ除去部によりノイズが除去された入力PSFに基づいて、フィルタ係数を算出するフィルタ係数生成部と、前記フィルタ係数生成部により生成された前記フィルタ係数に基づいて、前記撮像部により撮像された画像を信号処理する信号処理部とをさらに含ませるようにすることができる。
本開示の一側面の画像処理方法は、光学系を有し、画像を撮像する撮像部を備えた画像処理装置の画像処理方法であって、元画像データと、前記元画像データに基づく元画像を撮像した撮像画像のデータである撮像画像データとに基づいて、前記光学系のPSF（Point Spread Function）を入力PSFとして算出し、前記光学系の結像特性を表す結像モデルに基づいて、理論的な前記光学系のPSFを理論PSFとして算出し、前記結像モデルを変化させて算出される前記理論PSFのうち、前記入力PSFと近似するものを、前記入力PSFに含まれたノイズが除去されたPSFとして出力するステップとを含む画像処理方法である。
本開示の一側面のプログラムは、光学系を有し、画像を撮像する撮像部を含む画像処理装置を制御するコンピュータであって、元画像データと、前記元画像データに基づく元画像を撮像した撮像画像のデータである撮像画像データとに基づいて、前記光学系のPSF（Point Spread Function）を入力PSFとして算出する入力PSF算出部と、前記光学系の結像特性を表す結像モデルに基づいて、理論的な前記光学系のPSFを理論PSFとして算出する理論PSF算出部と、前記理論PSF算出部により前記結像モデルを変化させて算出される前記理論PSFのうち、前記入力PSFと近似するものを、前記入力PSFに含まれたノイズが除去されたPSFとして出力する入力PSFノイズ除去部として機能させるプログラムである。
本開示の一側面においては、光学系を有する撮像部により、画像が撮像され、元画像データと、前記元画像データに基づく元画像を撮像した撮像画像のデータである撮像画像データとに基づいて、前記光学系のPSF（Point Spread Function）が入力PSFとして算出され、前記光学系の結像特性を表す結像モデルに基づいて、理論的な前記光学系のPSFが理論PSFとして算出され、前記結像モデルを変化させて算出される前記理論PSFのうち、前記入力PSFと近似するものが、前記入力PSFに含まれたノイズが除去されたPSFとして出力される。
本開示の一側面によれば、PSFを正確に推定することが可能となり、推定したPSFを用いて高精度に元画像を復元することが可能となる。
従来のPSFの求め方を説明する図である。 本開示のPSFの求め方の概略を説明する図である。 本開示の撮像装置の構成例を説明する図である。 PSFを求めるために使用するテストパターンを説明する図である。 複数のテストパターンが貼り付けられることにより生成されるテストチャートを説明する図である。 テストチャートのその他の例を説明する図である。 フィルタ係数算出処理を説明するフローチャートである。 シェーディング補正・色別ゲイン補正処理を説明するフローチャートである。 マーカ検出処理を説明するフローチャートである。 歪曲モデル作成処理を説明するフローチャートである。 撮像画像データ解像度変換・フーリエ変換処理を説明するフローチャートである。 元画像データ解像度変換・フーリエ変換処理を説明するフローチャートである。 帯域制限・逆フーリエ変換処理を説明するフローチャートである。 ノイズ除去部の構成例を説明する図である。 ノイズ除去処理を説明するフローチャートである。 撮像処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜従来のPSF推定技術＞
本開示の画像処理装置（撮像装置）の構成を説明にするにあたって、まず、従来のPSF（Point Spread Function：点像分布関数または点拡がり関数）推定技術について説明する。
PSFとは、光学系の点光源に対する応答を表す関数である。すなわち、点光源を起点とする光が、撮像装置を構成する光学系に入射する際、光学系により拡散し、撮像素子上に結像されるときに生じるボケとして生じる光の拡散分布を示す関数である。
PSFを求めるにあたっては、まず、テストパターンの元画像の元画像データを生成して、これを印刷し、撮像する。このとき撮像されたテストパターンの撮像画像と、元画像とが用いられることにより、元画像と撮像画像との対応関係として、PSFが求められる。
このような処理により、図１の左上部で示されるようなテストパターンの元画像が元画像Ｐ１であるような場合、撮像画像は、図１の右上部で示されるような画像Ｐ２となる。
図１のテストパターンである元画像は、方形状の画像であり、その中心位置と、４隅に微小点（図中の小さい黒丸）が設けられた画像とされている。この元画像が撮像されると、図１の右上部で示されるように、中心の微小点には大きな変化は生じないが、４隅の微小点には、光学系の構成に応じた収差による歪が生じている。
また、図１の左下部で示されるように、テストパターンとして擬似乱数パターンなどのランダムドット画像からなる元画像Ｐ１１を用いるようにした場合、図１の右下部で示されるような撮像画像Ｐ１２で示されるような構成となる。
撮像画像Ｐ２，Ｐ１２は、いずれにおいても、撮像装置における光学系の収差に起因するノイズが生じるので、PSFに対してもノイズが生じてしまう。
このため、このノイズが付されたPSFに基づいてフィルタ係数を求めるようにしても適切なフィルタ係数が求められず、結果として、適切に撮像した画像を復元することができない恐れがあった。
＜本開示の撮像装置におけるPSF推定方法の概略＞
以上のようなことから、本開示における撮像装置においては、ノイズを低減したPSFを推定するようにすることで、フィルタ係数を適切に設定し、結果として、撮像画像より元画像を復元できるようにする。
ここで、図２を参照して、本開示の撮像装置によるPSFの推定方法と、推定したPSFによるフィルタ係数の設定方法について概略を説明する。
ステップＳ１において、図２で示されるように、テストパターンからなる元画像データＰ１０１が、印刷されて、テストチャートＰ１０２に貼り付けられるかまたは、透明なフィルム等に印画されて透過光源の上に配置される。尚、テストパターンからなる元画像データＰ１０１は、例えば、図２の左上部で示されるように、複数の元画像データＰ１０１が画像の中心位置２２からの距離（像高）に応じた位置に配置される。
ステップＳ２において、テストチャートＰ１０２が、撮像画像Ｐ１１１として撮像される。
ステップＳ３において、テストパターンからなる撮像画像Ｐ１１１が、像高毎に切り出される。
ステップＳ４において、切り出されたテストパターンからなる撮像画像Ｐ１１１の位置を特定するためのマーカ（マーカ画像）が検出され、シェーディングが補正された後、フーリエ変換されて、周波数ドメインとされる。
一方、ステップＳ５において、元画像データが切り出されて、解像度変換され、撮像画像における歪モデルに対応した形状に歪曲させた後、フーリエ変換されて、周波数ドメインとされる。
ステップＳ６において、撮像画像Ｐ１１１の周波数ドメインの信号を、元画像の周波数ドメインの信号で除算する。この処理により、撮像により生じる光学系の特性が周波数ドメインの形式で抽出される。
ステップＳ７において、除算結果である光学系の特性が、逆フーリエ変換される。この処理により、光学系の特性が、ノイズを含むノイズ有推定PSFとして求められる。このように求められたノイズ有推定PSFによりノイズ有のMTF（Modulation Transfer Function）を求めることが可能となる。
ステップＳ８において、レンズ収差モデルを特定するパラメータと、絞り開口モデルを特定するパラメータとを変化させて、誤差が最小となるようにパラメータを設定することで、ノイズを除去し、ノイズ除去推定PSFとして求められる。このノイズ除去推定PSFによりノイズ除去MTFを求めることが可能となる。
ステップＳ９において、ノイズ除去推定PSFに基づいて、フィルタ係数が計算されて、フィルタが生成される。
ステップＳ１０において、計算されたフィルタ係数を用いて、撮像された画像が信号処理されることにより、撮像に際して設けられている光学系により生じる収差等が補正された高品位画像が生成される。
以上の一連の処理により、テストチャート撮影画像に基づき、レンズ収差モデルと絞り開口モデルとを用いて、高精度でノイズ除去されたPSFを求めることが可能となるので、結果として、PSFに基づいたフィルタ係数を用いて、テストチャートを撮影したものと収差等が同一または製造ばらつきを考慮した場合に収差等がほぼ同一の光学系を使用して撮影した、任意の撮像画像から適切に高品位画像を生成することが可能となる。
尚、以降においては、以上の処理を実現するための構成および具体的な処理について説明するものとする。
＜本開示の技術を適用した撮像装置の構成例＞
次に、図３のブロック図を参照して、本開示の技術を適用した撮像装置の構成例について説明する。
図３の撮像装置１１は、撮像部３１、シェーディング補正部３２、色別ゲイン補正部３３、切り出し部３４、マーカ検出部３５、解像度変換部３６、フーリエ変換部３７、歪曲モデル作成部３８を備えている。さらに、撮像装置１１は、切り出し部３９、解像度・歪曲変換部４０、フーリエ変換部４１、除算部４２、帯域制限部４３、逆フーリエ変換部４４、実数部取り出し部４５、ノイズ除去部４６、フィルタ係数生成部４７、および信号処理部４８を備えている。
撮像部３１は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなり、さらに、図示せぬ光学系を有しており、光学系を介して入射される画像を撮像し、撮像した撮像画像データＰ１１１を出力する。撮像部３１は、例えば、スマートフォンなどで使用される光学系の構成と、イメージセンサとが一体となった撮像モジュールなどである。撮像部３１は、一般的に、被写体となる画像を撮像すると共に、フィルタ係数を求めるためのテストパターンである元画像データＰ１０１を含むテストチャートからなる印刷画像Ｐ１０２を撮像する。より詳細には、撮像部３１は、テストパターンＰ１０１を含むテストチャートからなる印刷画像Ｐ１０２を撮像する場合、撮像画像Ｐ１１１をシェーディング補正部３２に出力し、一般の被写体を撮像する場合、撮像画像データＰ１１１を信号処理部４８に出力する。
シェーディング補正部３２は、撮像画像データＰ１１１をバイリニア関数に代表される、レンズシェーディングの性質に応じた関数を用いて、シェーディングを補正する。
色別ゲイン補正部３３は、カラーフィルタに設定される、例えば、撮像画像データＰ１１１のRGB（赤、緑、青）のそれぞれについて色別にゲインを補正する。
切り出し部３４は、撮像画像データＰ１１１であるテストチャートに含まれるテストパターンＰ１０１を像高毎に切り出して、マーカ検出部３５に供給する。
マーカ検出部３５は、テストパターンＰ１０１内に設けられた位置決めに用いられるマーカ（マーカ画像）を検索し、テストパターンＰ１０１と共に、検索したマーカの位置情報を解像度変換部３６、および歪曲モデル作成部３８に供給する。
解像度変換部３６は、撮像画像より切り出され、シェーディング補正および色別ゲイン補正がなされたテストパターンＰ１０１の画像の解像度を、所定の解像度に変換し、フーリエ変換部３７に出力する。
フーリエ変換部３７は、解像度変換された撮像画像より切り出されたテストパターンＰ１０１にフーリエ変換を掛けて、周波数ドメインの信号に変換し、除算部４２に出力する。
歪曲モデル作成部３８は、撮像画像より切り出されたテストパターンＰ１０１における、元画像となるテストパターンＰ１０１の領域に対する歪曲を平行移動およびアフィン変換等でモデル化し、解像度・歪曲変換部４０に供給する。
切り出し部３９は、元画像のテストパターンＰ１０１を切り出して、解像度・歪曲変換部４０に供給する。
解像度・歪曲変換部４０は、切り出された元画像のテストパターンＰ１０１の解像度を所定の解像度に変換すると共に、歪曲モデルに基づいて、歪曲変換してフーリエ変換部４１に供給する。
フーリエ変換部４１は、解像度と歪曲とが変換された元画像にフーリエ変換を掛けて、周波数ドメインの信号に変換して、除算部４２に供給する。
除算部４２は、元画像データからなるテストパターンＰ１０１の周波数ドメインの信号で、撮像画像データから切り出されたテストパターンＰ１０１の周波数ドメインの信号を除算し、帯域制限部４３に供給する。
帯域制限部４３は、除算結果のうち、不要な帯域をカットして所定の帯域のみを使用するよう制限を施して逆フーリエ変換部４４に供給する。
逆フーリエ変換部４４は、帯域制限が施された除算結果を逆フーリエ変換して実数部取り出し部４５に供給する。
実数部取り出し部４５は、逆フーリエ変換された結果から取り出された実数部の情報を、撮像部３１における光学系のノイズ有推定PSFとしてノイズ除去部４６に供給する。
ノイズ除去部４６は、レンズ収差モデルと、絞り開口モデルとの少なくとも１個以上のモデル変数を変化させながら、モデルの上で特定される様々な理論上のPSFを算出し、ノイズ有推定PSFと近似する理論上のPSF、すなわち、ノイズ有推定PSFとの二乗誤差が最小となる理論上のPSFを、ノイズ除去推定PSFとして算出し、フィルタ係数生成部４７に出力する。
フィルタ係数生成部４７は、ノイズ除去推定PSFを利用して、撮像された画像よりノイズを除去するためのフィルタ係数を算出して、信号処理部４８に出力する。
信号処理部４８は、撮像部３１により撮像された画像を、供給されたフィルタ係数を用いたフィルタ処理による信号処理を施すことで、高品位画像として出力する。
＜テストパターンの構成例＞
次に、図４を参照して、テストパターンの構成例について説明する。図４のテストパターンＰｔ（Ｐ１０１）は、ランダムドット画像からなり、例えば、1250画素×1250画素のサイズでの0または1の２値の擬似乱数画像である。図４のテストパターンには、位置決め用の市松画像のマーカＭ１乃至Ｍ８が配置されている。
ランダムドット画像からなるテストパターンは、例えば、適切なランダムシードを与えて１次元のＭ系列乱数を発生させ、これを決められた画像サイズの中にスキャンラインオーダで配置することで作成される。
市松画像からなるマーカ（マーカ画像）Ｍ１乃至Ｍ８は、たとえば、長方形の頂点と各辺の中央に疑似乱数の値により設定されたドットを上書きするように配置されている。このうち、第４象限の対角線上のマーカＭ１のみが白黒反転されている。
このマーカＭ１は、必要に応じて、テストパターンの配置を検出して誤りをユーザに警告したり、または画像処理アルゴリズムで使用する元画像を自動的に回転・反転できるようにするものである。
図４のテストパターンＰｔ（Ｐ１０１）は、このような構成により、位置関係を容易に検出することが可能で、かつローパスフィルタを掛けた画像の平均値を変化させないようにすることができる。
また、テストパターンは、ランダムドット画像に加えてスラントエッジ画像を含むものとするようにしてもよいし、同様に、テストパターンは、ランダムドット画像に加えて、くさび画像を含むものにするようにしてもよい。
テストチャートＰ１０２は、例えば、図５で示されるように、テストパターンＰｔ１乃至Ｐｔ１３で示されるように全画像上に画像中心からの像高に応じて配置されている。
より詳細には、テストパターンＰｔ１乃至Ｐｔ１３が配置されている位置は、例えば、軸上（画面中心）、第１乃至第４象限のそれぞれに関して像高５０％、像高８０％、水平方向に関して左右端の像高６６％、垂直方向に関して上下端の像高４４％の合計１３か所である。
テストパターンＰｔ１乃至Ｐｔ１３のそれぞれについて、上下左右表裏を同一にしてテストチャートＰ１０２を設定する必要があるので、マーカＭ１乃至Ｍ８が同一の配置となるように確認しながら貼り付けることで、テストパターンＰｔ１乃至Ｐｔ８の上下左右裏表の間違いを防止することが可能となる。
尚、テストチャートＰ１０２は、図５で示されるような配置のみならず、像高に応じてテストパターンＰｔが配置される限り、これ以外の配置であってもよく、テストパターンＰｔの数は、１３個以外の数であってもよい。
さらに、テストチャートＰ１０２は、図６で示されるように、全面にランダムドットパターンが形成されている１枚のテストパターンから構成されるようにしてもよい。図６においては、図中左上部の領域ＭＧ内の３個のマーカのみが白黒の領域が反転した構成とされており、上述したように、上下左右表裏を目視するだけで確認することが可能となる。
＜フィルタ係数算出処理＞
次に、図７のフローチャートを参照して、図３の撮像装置１１によるフィルタ係数算出処理について説明する。
ステップＳ１１において、元画像データからなるテストパターンＰ１０１が読み出されて、印刷され、さらに、像高毎に、所定の配置で貼り付けるなどされて、テストチャートＰ１０２が生成される。
ステップＳ１２において、撮像部３１は、テストチャートＰ１０２を撮像し、撮像画像データをシェーディング補正部３２に供給する。
ステップＳ１３において、シェーディング補正部３２、および色別ゲイン補正部３３は、シェーディング補正・色別ゲイン補正処理を実行し、供給されてくるテストチャートＰ１０２からなる撮像画像データにシェーディング補正、および、色別ゲイン補正を施し、擬似白黒画像を出力する。尚、シェーディング補正・色別ゲイン補正処理については、図８のフローチャートを参照して、詳細を後述する。
ステップＳ１４において、切り出し部３４は、シェーディング補正・色別ゲイン補正処理されたテストチャートＰ１０２の撮像画像データより、像高毎にテストパターンＰ１０１を切り出しマーカ検出部３５に供給する。マーカ検出部３５は、マーカ検出処理を実行し、テストパターンＰ１０１毎にテストパターン内に設けられたマーカを検出し、検出したマーカの位置情報と共に、切り出したテストパターンＰ１０１の撮像画像データを歪曲モデル作成部３８、および解像度変換部３６に供給する。尚、マーカ検出処理については、図９のフローチャートを参照して詳細を後述する。
ステップＳ１５において、歪曲モデル作成部３８は、切り出されたテストパターンの撮像画像データおよびマーカの情報に基づいて、歪曲モデル作成処理を実行し、歪曲モデルを作成して、解像度・歪曲変換部４０に供給する。尚、歪曲モデル作成処理については、図１０のフローチャートを参照して、詳細を後述する。
ステップＳ１６において、解像度変換部３６およびフーリエ変換部３７は、撮像画像データ解像度変換・フーリエ変換処理を実行して、切り出されたテストパターンのそれぞれの撮像画像データを所定の解像度に変換すると共に、フーリエ変換を掛けることにより、周波数ドメインの信号に変換して除算部４２に供給する。尚、撮像画像データ解像度変換・フーリエ変換処理については、図１１のフローチャートを参照して、詳細を後述する。
ステップＳ１７において、切り出し部３９は、元画像データからなるテストパターンＰ１０１を切り出し、解像度・歪曲変換部４０に供給する。解像度・歪曲変換部４０およびフーリエ変換部４１は、元画像データ解像度変換・フーリエ変換処理を実行して、切り出されたテストパターンの元画像データを所定の解像度に変換すると共に、フーリエ変換を掛けることで、周波数ドメインの信号に変換して除算部４２に供給する。尚、元画像データ解像度変換・フーリエ変換処理については、図１２のフローチャートを参照して、詳細を後述する。
ステップＳ１８において、除算部４２、帯域制限部４３、逆フーリエ変換部４４、および実数部取り出し部４５は、帯域制限・逆フーリエ変換処理を実行し、撮像画像データの周波数ドメインの信号を、元画像データの周波数ドメインの信号で除算し、除算結果に対して不要な帯域を制限し、逆フーリエ変換を掛けて、ノイズ有推定PSFを求め、ノイズ除去部４６に供給する。尚、帯域制限・逆フーリエ変換処理については、図１３のフローチャートを参照して、詳細を後述する。
ステップＳ１９において、ノイズ除去部４６は、レンズ収差モデルと絞り開口モデルとを変化させながら、光学系のモデルに応じた理論上のPSFを理論PSFとして算出し、ノイズ有推定PSFとの、二乗誤差が最小となる理論PSFを、ノイズ有推定PSFからノイズが除去されたノイズ除去推定PSFとして、フィルタ係数生成部４７に出力する。尚、ノイズ除去処理については、図１５のフローチャートを参照して、詳細を後述する。
ステップＳ２０において、フィルタ係数生成部４７は、供給されてきたノイズ除去推定PSFに基づいて、フィルタ係数を算出して、信号処理部４８に出力する。
以上の処理により、レンズ収差モデルと絞り開口モデルとを様々に変化させることにより、様々なモデルの理論PSFを算出し、このうちノイズ有推定PSFとの二乗誤差が最小となる理論PSFを、ノイズ有推定PSFよりノイズが除去された、ノイズ除去PSFとして求めることが可能となる。結果として、ノイズが除去されたノイズ除去PSFに基づいて、信号処理に必要とされるフィルタ係数を求めることが可能となるので、撮像した画像にフィルタ処理を施すことで、撮像画像を高品位画像とすることが可能となる。
＜シェーディング補正・色別ゲイン補正処理＞
次に、図８のフローチャートを参照して、シェーディング補正・色別ゲイン補正処理について説明する。
ステップＳ３１において、シェーディング補正部３２は、撮像画像データからなるテストチャートの画像を読み込む。
ステップＳ３２において、シェーディング補正部３２は、補正対象であるテストパターンＰ１０１の概略座標を取得する。
ステップＳ３３において、シェーディング補正部３２は、テストパターンＰ１０１の４隅の外側で白被写体が写った微小領域を計算する。
ステップＳ３４において、シェーディング補正部３２は、白被写体が写った微小領域の画素値の平均を、RGB３チャンネル、それぞれについて計算する。
ステップＳ３５において、シェーディング補正部３２は、白被写体のRGB画素値の平均値からの変動を最小二乗近似するｘ，ｙ座標の関数を作成する。
ステップＳ３６において、色別ゲイン補正部３３は、処理対象となるｙ座標の値をカウントするカウンタｙを最小値に設定する。
ステップＳ３７において、色別ゲイン補正部３３は、処理対象となるｘ座標の値をカウントするカウンタｘを最小値に設定する。
ステップＳ３８において、色別ゲイン補正部３３は、処理対象画素となる座標（ｘ，ｙ）の画素のオンチップカラーフィルタの色に基づいて、その色画素の白被写体画素値の近似値を関数により計算する。
ステップＳ３９において、色別ゲイン補正部３３は、処理対象画素である座標（ｘ，ｙ）の画素値を、白被写体画素値の近似値で除算する。
ステップＳ４０において、色別ゲイン補正部３３は、処理対象画素である座標（ｘ，ｙ）の画素値を、除算結果を定数倍した結果を補正済み画素として格納する。
ステップＳ４１において、色別ゲイン補正部３３は、ｘ座標を表すカウンタｘが最大値以下であるか否かを判定し、最大値以下である場合、処理は、ステップＳ４２に進む。
ステップＳ４２において、色別ゲイン補正部３３は、カウンタｘを１インクリメントし、処理は、ステップＳ３８に戻る。すなわち、ｘ座標を表すカウンタｘが最大値以下ではなくなるまで、ステップＳ３８乃至Ｓ４２の処理が繰り返される。そして、ステップＳ４２において、カウンタｘが最大値以下ではなくなったとみなされた場合、処理は、ステップＳ４３に進む。
ステップＳ４３において、色別ゲイン補正部３３は、ｙ座標を表すカウンタｙが最大値以下であるか否かを判定し、最大値以下である場合、処理は、ステップＳ４４に進む。
ステップＳ４４において、色別ゲイン補正部３３は、カウンタｙを１インクリメントし、処理は、ステップＳ３７に戻る。すなわち、ｙ座標を表すカウンタｙが最大値以下ではなくなるまで、ステップＳ３７乃至Ｓ４４の処理が繰り返される。そして、ステップＳ４４において、カウンタｙが最大値以下ではなくなったとみなされた場合、処理は、ステップＳ４５に進む。
ステップＳ４５において、色別ゲイン補正部３３は、シェーディング補正、および色別ゲイン補正がなされた結果となる、擬似白黒画像が、切り出し部３４に出力される。
以上の処理により、テストパターンの撮像画像データにシェーディング補正と、色別ゲイン補正とを施すことが可能となる。
＜マーカ検出処理＞
次に、図９のフローチャートを参照して、マーカ検出処理について説明する。
ステップＳ６１において、切り出し部３４は、シェーディング補正と色別ゲイン補正とが施された擬似白黒画像からなる撮像画像より、テストパターンＰ１０１を含む領域を、像高に応じて切り出してマーカ検出部３５に供給する。これにより、マーカ検出部３５は、像高毎に擬似白黒画像からなるテストパターンＰ１０１の撮像画像の入力を受け付ける。
ステップＳ６２において、マーカ検出部３５は、補正対象となるテストパターンＰ１０１の概略座標の入力を受け付ける。
ステップＳ６３において、マーカ検出部３５は、概略座標に基づいて、各マーカについて探索領域の中心座標と探索領域の半径を決定する。
ステップＳ６４において、マーカ検出部３５は、擬似白黒画像にマーカ検出フィルタを畳み込み、畳み込み画像を生成させる。ここで、マーカ検出フィルタｆ（ｘ，ｙ）は、例えば、以下の式（１）で定義される。
Figure 2017117076
 ・・・（１）
ここで、σ2は分散であり、ωは周波数帯域である。マーカ検出部３５は、入力画像である擬似白黒画像Ｉ（ｘ，ｙ）に対して、式（１）のマーカ検出フィルタを畳み込む。このとき、市松画像からなるマーカ（マーカ画像）の概略サイズ（方形領域の水平方向および垂直方向のサイズ）がＷである場合、Ｗ≒２π／ωとし、同様に、Ｗ＝σとするようにする。
ステップＳ６５において、マーカ検出部３５は、各マーカの探索領域内で、畳み込み結果の絶対値が最大になる座標を探索する。
ステップＳ６６において、マーカ検出部３５は、絶対値が最大となる座標において畳み込み画像の画素値の符号を読み出す。
ステップＳ６７において、マーカ検出部３５は、全てのマーカの符号が元画像データにおけるマーカの符号と同一であるか否かを判定する。ステップＳ６７において、例えば、全てのマーカの符号が元画像データにおけるマーカの符号と同一であるとみなされた場合、処理は、ステップＳ６８に進む。
ステップＳ６８において、マーカ検出部３５は、畳み込み結果の絶対値が最大となる座標を、撮像画像におけるマーカの中心座標として、解像度変換部３６、および歪曲モデル作成部３８出力する。マーカ検出部３５は、このとき、撮像画像であるテストパターンＰ１０１を併せて出力する。
一方、ステップＳ６７において、全てのマーカの符号が元画像データにおけるマーカの符号と同一ではないとみなされた場合、処理は、ステップＳ６９に進む。
ステップＳ６９において、マーカ検出部３５は、画像撮像時のテストチャートＰ１０２のうちのテストパターンＰ１０１の上下左右、または、表裏の誤りがあることを指摘する情報を提示して、処理を終了する。尚、この場合、これ以降の処理を継続することができず、フィルタ係数算出処理そのものが終了する。
すなわち、以上の処理を全てのマーカに対して適用することにより、適切に全マーカを検出することが可能になると共に、テストチャートＰ１０２に貼り付けられたテストパターンＰ１０１の上下左右や表裏に間違いがあれば、適切に指摘することが可能となる。
＜歪曲モデル作成処理＞
次に、図１０のフローチャートを参照して、歪曲モデル作成処理について説明する。
ステップＳ９１において、歪曲モデル作成部３８は、全てのマーカについて撮像画像であるテストパターン上のマーカ中心座標を取得する。
ステップＳ９２において、歪曲モデル作成部３８は、元画像データにおける小ランダムパッチであるテストパターンＰ１０１の各マーカ中心座標を取得する。
ステップＳ９３において、歪曲モデル作成部３８は、元画像を切り出した領域における歪曲について、平行移動とアフィン変換により座標変換モデルを構成する。
ステップＳ９４において、歪曲モデル作成部３８は、撮像画像におけるテストパターンＰ１０１上のマーカ座標を、座標変換モデルを用いて元画像におけるテストパターンＰ１０１上におけるマーカの中心位置として推定する（推定マーカ中心座標を計算する）計算式を構成する。この計算式は、例えば、以下の式（２）のように表される。
Figure 2017117076
 ・・・（２）
ここで、ｘ，ｙは、変換元となる撮像画像上のテストパターンＰ１０１におけるマーカの中心位置の座標であり、Ｘ，Ｙは、変換先となる元画像上のテストパターンＰ１０１におけるマーカの中心位置の座標であり、ａ，ｂ，ｃ，ｄ，ｅ，ｆは、それぞれモデル変数である。
ステップＳ９５において、歪曲モデル作成部３８は、式（２）で示される座標変換モデルとなるモデル変数を、例えば、線形最小二乗問題として解き、変換元である撮像画像上のテストパターンＰ１０１におけるマーカの中心位置の座標（ｘ，ｙ）と、変換先となる元画像上のテストパターンＰ１０１におけるマーカの中心位置の座標（Ｘ，Ｙ）との二乗誤差が最小となる係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを算出する。
ステップＳ９６において、歪曲モデル作成部３８は、最小二乗誤差となる係数ａ，ｂ，ｃ，ｄ，ｅ，ｆからなる座標変換モデルを、小ランダムパッチであるテストパターンにおけるマーカ付近の歪曲モデルとして解像度・歪曲変換部４０に出力する。このとき、歪曲モデル作成部３８は、撮像画像のスケーリング倍率の情報も解像度・歪曲変換部４０に出力する。
以上の処理により、撮像画像としてのテストパターンに生じる光学系の特性に応じて生じる形状の歪曲を歪曲モデルとして定義して、算出することが可能となるので、PSFを求めるにあたって、元画像におけるテストパターンと、撮像画像におけるテストパターンとを適切に対応付けて処理することが（適切に重ね合わせて処理することが）可能となり、結果として、より高精度にPSFを求めることが可能となる。
尚、マーカの数は、上述した個数以外の個数でもよいが、最低３点以上でないとモデル変数となる係数を求めることができない。また、マーカの数が多い場合は、アフィン変換に限定せず、多項式に基づく座標変換パラメータで推定するようにしてもよい。
すなわち、４×４行列（MとN）を2個、合計32個のモデル変数を用いた、多項式により、ｘ，ｙ座標をＸ，Ｙ座標に変換するような場合、例えば、以下の式（３），式（４）を用いて算出するようにしてもよい。
Figure 2017117076
 ・・・（３）
Figure 2017117076
 ・・・（４）
さらに、図６を参照して説明したテストチャートＰ１０２を使用するような、位置合わせ用マーカを多数埋め込んだ構成であって、特に、切り出した対象領域の中に１６個以上のマーカが検出できるような場合は、このようなｘとｙの双３次関数にて表される座標変換モデルに基づいて歪曲パラメータを検出するようにしてもよい。
＜撮像画像データ解像度変換・フーリエ変換処理＞
次に、図１１のフローチャートを参照して、撮像画像データ解像度変換・フーリエ変換処理について説明する。
ステップＳ１１１において、解像度変換部３６は、擬似白黒画像を取得する。
ステップＳ１１２において、解像度変換部３６は、推定PSFのスケーリング倍率を取得する。
ステップＳ１１３において、解像度変換部３６は、スケーリング倍率に相当するサイズになるように、擬似白黒画像を拡大して、拡大擬似白黒画像を生成し、拡大によって生成された隙間にゼロを埋め込み、フーリエ変換部３７に出力する。
ステップＳ１１４において、フーリエ変換部３７は、拡大擬似白黒画像に対してFFT（Fast Fourier Transform）を掛ける。
ステップＳ１１５において、フーリエ変換部３７は、拡大擬似白黒画像の周波数ドメインの信号における実数部および虚数部を除算部４２に出力する。
以上の処理により、撮像画像データにおけるテストパターンが、所定の解像度に設定されて、周波数ドメインの信号に変換されて除算部４２に出力される。
＜元画像データ解像度変換・フーリエ変換処理＞
次に、図１２のフローチャートを参照して、元画像データ解像度変換・フーリエ変換処理について説明する。
ステップＳ１３１において、切り出し部３９は、元画像データからなるテストパターンＰ１０１の画像を読み込み、解像度・歪曲変換部４０に出力する。
ステップＳ１３２において、解像度・歪曲変換部４０は、撮像画像のスケーリング倍率を取得する。
ステップＳ１３３において、解像度・歪曲変換部４０は、歪曲モデル作成部３８より供給されてくる歪曲モデルの情報を取得する。
ステップＳ１３４において、解像度・歪曲変換部４０は、撮像画像のスケーリング倍率に対応する元画像データが歪曲した歪曲元画像データを格納する画像領域を確保する。
ステップＳ１３５において、解像度・歪曲変換部４０は、処理対象となるｙ座標の値をカウントするカウンタｙを最小値に設定する。
ステップＳ１３６において、解像度・歪曲変換部４０は、処理対象となるｘ座標の値をカウントするカウンタｘを最小値に設定する。
ステップＳ１３７において、解像度・歪曲変換部４０は、処理対象画素となる座標（ｘ，ｙ）の画素を、歪曲モデルを用いて変換し、対応する元画像座標を算出する。
ステップＳ１３８において、解像度・歪曲変換部４０は、元画像データにおける処理対象画素の周辺の整数座標について、ガウス関数によるローパスフィルタを計算し、係数合計を正規化する。
ステップＳ１３９において、解像度・歪曲変換部４０は、元画像にローパスフィルタを畳み込む。
ステップＳ１４０において、解像度・歪曲変換部４０は、ローパスフィルタを畳み込んだ結果を、歪曲元画像データとして対応する画素位置の画素値として格納する。
ステップＳ１４１において、解像度・歪曲変換部４０は、ｘ座標を表すカウンタｘが最大値以下であるか否かを判定し、最大値以下である場合、処理は、ステップＳ１４２に進む。
ステップＳ１４２において、解像度・歪曲変換部４０は、カウンタｘを１／倍率（スケーリング倍率）でインクリメントし、処理は、ステップＳ１３７に戻る。すなわち、ｘ座標を表すカウンタｘが最大値以下ではなくなるまで、ステップＳ１３７乃至Ｓ１４２の処理が繰り返される。そして、ステップＳ１４１において、カウンタｘが最大値以下ではないとみなされた場合、処理は、ステップＳ１４３に進む。
ステップＳ１４３において、解像度・歪曲変換部４０は、ｙ座標を表すカウンタｙが最大値以下であるか否かを判定し、最大値以下である場合、処理は、ステップＳ１４４に進む。
ステップＳ１４４において、解像度・歪曲変換部４０は、カウンタｙを１／倍率（スケーリング倍率）でインクリメントし、処理は、ステップＳ１３６に戻る。すなわち、ｙ座標を表すカウンタｙが最大値以下ではなくなるまで、ステップＳ１３６乃至Ｓ１４４の処理が繰り返される。そして、ステップＳ１４４において、カウンタｙが最大値以下ではなくなったとみなされた場合、処理は、ステップＳ１４５に進む。
ステップＳ１４５において、フーリエ変換部４１は、拡大擬似白黒画像のスケーリング倍率と同等のサイズの歪曲元画像データに対してFFT（Fast Fourier transform）を掛ける。
ステップＳ１４６において、フーリエ変換部４１は、歪曲元画像データの周波数ドメインにおける実数部および虚数部を除算部４２に出力する。
以上の処理により、元画像データにおけるテストパターンが、所定の解像度に設定されて、さらに、撮像画像における歪に対応して歪曲した状態で周波数ドメインに変換されて除算部４２に出力される。
＜帯域制限・逆フーリエ変換処理＞
次に、図１３のフローチャートを参照して、帯域制限・逆フーリエ変換処理について説明する。
ステップＳ１６１において、除算部４２は、元画像のフーリエ変換結果である歪曲変換された歪曲元画像データであるテストパターンの実数部および虚数部の情報を取得する。
ステップＳ１６２において、除算部４２は、撮像画像の擬似白黒画像のフーリエ変換結果である擬似白黒画像データであるテストパターンの実数部および虚数部の情報を取得する。
ステップＳ１６３において、除算部４２は、サンプリング周波数の半分以下の周波数比信号には、擬似白黒画像の周波数ドメインの信号を、歪曲元画像データの周波数ドメインの信号で除算し、帯域制限部４３に出力する。
ステップＳ１６４において、帯域制限部４３は、サンプリング周波数の半分以上の周波数比信号には、０を格納し、帯域を制限し、結果を逆フーリエ変換部４４に出力する。
ステップＳ１６５において、逆フーリエ変換部４４は、周波数比信号に逆フーリエ変換を掛け、変換結果を実数部取り出し部４５に出力する。
ステップＳ１６６において、実数部取り出し部４５は、逆フーリエ変換の変換結果のうちの実数部をノイズ有推定PSFとして、ノイズ除去部４６に出力する。
以上の処理により、元画像データにおけるテストパターンと、撮像画像データにおける歪に対応した歪曲モデルに応じて変換された歪曲元画像データにおけるテストパターンと、撮像画像データにおけるテストパターンとにより、適切にノイズ有推定PSFを求めることが可能となる。
＜ノイズ除去部の詳細な構成例＞
次に、ノイズ除去部４６によるノイズ除去処理を説明するにあたって、図１４のブロック図を参照して、ノイズ除去部４６の詳細な構成例について説明する。
ノイズ除去部４６は、収差モデル修正部７１、絞り開口モデル修正部７２、PSF計算部７３、および二乗誤差判定部７４を備えている。
収差モデル修正部７１は、二乗誤差判定部７４の判定結果に応じて、例えば、ゼルニケ多項式を利用した収差モデルのモデル変数を順次変化させて（修正させて）PSF計算部７３に供給する。
絞り開口モデル修正部７２は、二乗誤差判定部７４の判定結果に応じて、絞り開口部の形状と大きさ（開度）とを特定する絞り開口モデルのモデル変数を順次変化させて（修正させて）PSF計算部７３に供給する。
PSF計算部７３は、収差モデルのパラメータと、絞り開口モデルのモデル変数に基づいて、モデルにより理論的に算出されるPSFを理論PSFとして計算し、二乗誤差判定部７４に出力する。
二乗誤差判定部７４は、PSF計算部７３より供給されてくる収差モデルのモデル変数と、絞り開口モデルの変数に基づいて計算された理論PSFと、ノイズ有推定PSFとの二乗誤差を算出し、所定の閾値より小さくなるまで、収差モデル修正部７１、および絞り開口モデル修正部７２に対して、モデル変数を変化させて出力させるように指示する。この指示に基づいて、順次モデル変数を変化させて、供給される収差モデルのモデル変数と、絞り開口モデルのモデル変数とに基づいて、PSF計算部７３においては、繰り返し理論PSFが計算され続ける。そして、二乗誤差の減少度合いが所定の閾値以下になったとき、二乗誤差判定部７４は、そのときのPSF計算部７３により計算された理論PSFを、ノイズ除去推定PSFとして出力する。
＜ノイズ除去処理＞
次に、図１５のフローチャートを参照して、ノイズ除去処理について説明する。
ステップＳ１９１において、収差モデル修正部７１は、収差モデルのモデル変数におけるモデル初期値を取得する。また、絞り開口モデル修正部７２は、絞り開口モデルのモデル変数の初期値を取得する。
ステップＳ１９２において、二乗誤差判定部７４は、ノイズ有推定PSFを取得する。
ステップＳ１９３において、収差モデル修正部７１、および、絞り開口モデル修正部７２は、例えば、レーベンバーグ・マーカート法の１ステップを実行して、収差モデル、および絞り開口モデルのモデル変数の現在値を修正し、それぞれPSF計算部７３に供給する。
ステップＳ１９４において、PSF計算部７３は、収差モデル、および絞り開口モデルにおける現在のモデル変数の値に基づいて、理論PSFを計算する。
収差モデルは、例えば、ゼルニケ多項式により表現されるものであり、例えば、以下の式（５）で表される複素数からなる複素PSFのうちの、式（６）で表される実数部の実数PSFである。
Figure 2017117076
 ・・・（５）
Figure 2017117076
 ・・・（６）
ここでいう収差モデルは、無限小の点光源が撮像部３１の光学系を構成するレンズを通って結像したときの分布を示すものである。式（６）におけるｎ，ｍは、ゼルニケ多項式で表されるレンズ収差の種類を示すものであり、βｎ ｍは、複素数であり、ゼルニケ多項式でモデル化された収差の強度を示すものである。
また、ｉは虚数単位であり、ｊ＿（ｎ＋１）（）は第１種ベッセル関数であり、ｒ（＝√（ｘ２＋ｙ２））は正規化された像高であり、φ（＝atan2（ｙ，ｘ））は方位角である。
さらに、ゼルニケ多項式における収差との関係は、以下の式（７）の通りとなる。
Figure 2017117076
 ・・・（７）
また、絞り開口モデルは、開口形が円形の場合、PSFの座標系（Ｘ，Ｙ）とモデルの座標系（ｘ，ｙ）の変換を定数倍により対応付けて、モデル座標におけるPSF中心からの距離をｒとしたとき、以下の式（８）乃至式（１０）で表される。
Figure 2017117076
 ・・・（８）
Figure 2017117076
 ・・・（９）
Figure 2017117076
 ・・・（１０）
ここで、NAは光学系を構成するレンズの開口数であり、λは波長である。
開口数と波長が未知数の場合、以下の式（１１）で示されるように、NA2/λ2を係数Kとした未知数とすることで、実物の値と設計上の公称値のずれが未知数に含まれるので、両者のずれを考慮してモデルを設定することが可能となる。
Figure 2017117076
 ・・・（１１）
さらに、絞り開口モデルは、開口形の形状を変化させるようにしてもよく、上述した円形の他、楕円形や多角形などのモデルを利用するようにしてもよい。
例えば、開口形が楕円形である場合、PSFの座標系（Ｘ，Ｙ）とモデルの座標系（ｘ，ｙ）の変換を定数倍により対応付けて、モデル座標におけるPSF中心からの距離をｒとしたとき、以下の式（１２）乃至式（１４）で表される。
Figure 2017117076
 ・・・（１２）
Figure 2017117076
 ・・・（１３）
Figure 2017117076
 ・・・（１４）
この場合、収差に加えて、式（１４）におけるＡ，Ｂ，Ｃがそれぞれ未知数として算出される。これは楕円の方程式であり、解はレンズ開口の楕円近似に対応したものとなる。
また、この場合もNAとλは未知数に含まれるので実物の値が設計上の公称値と異なっていても解が得られる。さらに、楕円の方程式によって円を表すことができるので、上記のモデルにより大きさが未知の円形開口形にも適用することが可能となる。
図１５のフローチャートの説明に戻る。
ステップＳ１９５において、二乗誤差判定部７４は、PSF計算部７３により計算された理論PSFと、ノイズ有推定PSFとの二乗誤差を算出する。
ステップＳ１９６において、二乗誤差判定部７４は、算出した二乗誤差の減少度合いが所定の閾値よりも小さく、PSF計算部７３により計算された理論PSFと、ノイズ有推定PSFとの二乗誤差の減少度合いが所定の閾値よりも小さく、最小になったとみなしてもよい程度に十分に近似した理論PSFが計算されたか否かを判定する。
ステップＳ１９６において、二乗誤差の減少度合いが所定の閾値よりも小さくない場合、処理は、ステップＳ１９３に戻る。すなわち、二乗誤差の減少度合いが所定の閾値よりも小さくなるまで、ステップＳ１９３乃至Ｓ１９６の処理を繰り返し、モデル変数を、例えば、レーベンバーグ・マーカート法における１ステップずつ変化させながら、繰り返し理論PSFを算出し、ノイズ有推定PSFとの二乗誤差を算出して、その減少度合いが所定の閾値よりも小さくなったか否かを判定する処理を繰り返す。
そして、ステップＳ１９６において、二乗誤差の減少度合いが所定の閾値よりも小さくなったとみなされた場合、すなわち、PSF計算部７３により計算された理論PSFと、ノイズ有推定PSFとの二乗誤差そのものが所定の閾値よりも十分に小さく、最小になったとみなしてもよい程度に十分に近似した理論PSFが計算されたとみなされた場合、処理は、ステップＳ１９７に進む。
ステップＳ１９７において、二乗誤差判定部７４は、二乗誤差の減少度合いが所定の閾値よりも小さくなった理論PSFを、ノイズ有推定PSFからノイズを除去したときの理論値に基づいたノイズ除去推定PSFであるものとして出力する。
以上の処理により、収差モデル、および絞り開口モデルに基づいた、理論的に特定される理論PSFと、入力PSFとみなせるノイズ有推定PSFとの二乗誤差を最小化するモデルが探索され、探索結果となるモデルにより求められる理論PSFがノイズ除去推定PSFとして求められることになる。
尚、初期値は、撮像部３１に含まれるレンズ等の光学系を構成する推定対象レンズの公称Ｆ値の概略値、または、その定数倍と、撮像部３１を構成するセンサの感度の概略中央付近の波長と、その波長における無収差レンズモデルとに基づいて設定するようにしてもよい。ここで、定数倍の倍率は、ノイズ有推定PSFが求められる撮像部３１に含まれる光学系を構成するレンズの像高に応じて設定されるようにしてもよい。
また、初期値は、撮像部３１における光学系であるレンズの公称設計値または公差を考慮した設計値に基づいた光学シミュレーションによって設定するようにしてもよい。また初期値は、撮像部３１における光学系であるレンズの１個以上の代表サンプルの測定値に基づいて設定するようにしてもよい。すなわち、例えば、レンズの設計値と代表的な緑波長おける無収差レンズのモデルを初期値として与えるようにしてもよい。
さらに、同じレンズの異なる座標における推定を続けて行う場合、直前の推定結果によって得られたモデルを次の推定の初期値として与えるようにしてもよい。
また、楕円形の形状を表す３個の未知数（式（１４）のＡ，Ｂ，Ｃ）を追加した絞り開口モデルの例を示したが、未知数の数を増やして任意の関数で表せる、より自由度の高いモデルを用いるようにしてもよい。
さらに、以上の処理においては、非線形最小二乗解を求めるレーベンバーグ・マーカート法を用いたが、同様な任意の問題解法アルゴリズムに基づいて、任意個の未知数の解を求めるようにしてもよく、例えば、最急降下法や、準ニュートン法を用いるようにしてもよい。
以上のように、ノイズ有推定PSFに対して、十分に近似した理論的な理論PSFを求め、ノイズ除去推定PSFとして出力するようにしたので、ノイズが除去された適切なPSFを求めることが可能となる。
また、このようにして高精度に求められたPSF（ノイズ除去推定PSF）を用いて適切にフィルタ係数を算出することが可能となり、撮像部３１により撮像された撮像画像データを、フィルタ係数を用いてフィルタ処理することで、高品位の画像を生成することが可能となる。
＜撮像処理＞
次に、図１６のフローチャートを参照して、以上の処理により求められたフィルタ係数を用いたフィルタ処理を施す撮像処理について説明する。
ステップＳ２１１において、撮像部３１は、画像を撮像し、画像データとして信号処理部４８に出力する。この際、撮像される画像はテストチャートＰ１０２に限られたものではなく、一般的な被写体を撮像したものである。
ステップＳ２１２において、信号処理部４８は、供給されてくる撮像画像データにおける画素毎に、上述した一連の処理により生成されたフィルタ係数を用いたフィルタ処理を施し、高品位画像として出力する。
以上の処理により、適切な処理により高精度に求められるPSFにより、高精度にフィルタ係数が設定されることになるので、このフィルタ係数により撮像された画像がフィルタ処理されることで、高品位の撮像画像を生成することが可能となる。
また、座標変換の係数をモデル変数に含める構成により、正確な波長や絞りのＦ値が分からなくてもモデルを設定することが可能となり、対応するPSFを適切に求めることが可能となる。
さらに、回転非対称な小絞りボケの大きさが事前に分からなくても、また小絞りボケを含む収差に基づくボケ形状が回転非対称であっても、非線形最小二乗アルゴリズムを使用してモデルを設定することが可能となり、やはり、対応するPSFを適切に求めることが可能となる。
また、公称絞り値に基づいて初期値を設定することが可能となるため、簡易な初期値で、ノイズ有推定PSFに近似する理論PSFを求めるまでの計算時間を短縮することが可能となり、結果として、適切なPSFを算出するまでの処理速度を向上させることが可能となる。
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 光学系を有し、画像を撮像する撮像部と、
元画像データと、前記元画像データに基づく元画像を撮像した撮像画像のデータである撮像画像データとに基づいて、前記光学系のPSF（Point Spread Function）を入力PSFとして算出する入力PSF算出部と、
前記光学系の結像特性を表す結像モデルに基づいて、理論的な前記光学系のPSFを理論PSFとして算出する理論PSF算出部と、
前記理論PSF算出部により前記結像モデルを変化させて算出される前記理論PSFのうち、前記入力PSFと近似するものを、前記入力PSFに含まれたノイズが除去されたPSFとして出力する入力PSFノイズ除去部とを含む
画像処理装置。
＜２＞ 前記結像モデルは、前記光学系の結像特性である、前記光学系の絞り開口モデル、および収差モデルを含み、少なくとも１以上のモデル変数を有する
＜１＞に記載の画像処理装置。
＜３＞ 前記絞り開口モデルは、前記絞り開口モデルの形状、および開度を変化させるモデル変数を含む
＜２＞に記載の画像処理装置。
＜４＞ 前記絞り開口モデルの形状は、円形、楕円形、および方形を含む
＜３＞に記載の画像処理装置。
＜５＞ 前記収差モデルは、ゼルニケ多項式によるレンズ収差モデルを変化させるモデル変数を含む
＜２＞に記載の画像処理装置。
＜６＞ 前記入力PSFノイズ除去部は、前記理論PSF算出部により前記結像モデルの前記モデル変数を変化させて算出される前記理論PSFのうち、前記入力PSFとの二乗誤差が所定の閾値よりも小さくなるときの前記モデル変数により特定される前記理論PSFを、前記入力PSFと近似するものとして、前記入力PSFに含まれたノイズが除去されたPSFとして出力する
＜２＞に記載の画像処理装置。
＜７＞ 前記入力PSFノイズ除去部は、前記理論PSF算出部により前記結像モデルの前記モデル変数を変化させて算出される前記理論PSFのうち、前記入力PSFとの二乗誤差が最小になるときの前記モデル変数により特定される前記理論PSFを、前記入力PSFと近似するものとして、前記入力PSFに含まれたノイズが除去されたPSFとして出力する
＜６＞に記載の画像処理装置。
＜８＞ 前記入力PSFノイズ除去部は、前記理論PSF算出部により前記結像モデルの前記モデル変数を、最急降下法、準ニュートン法、またはレーベンバーグ・マーカート法により、変化させて算出される前記理論PSFのうち、前記入力PSFとの二乗誤差が最小になるときの前記モデル変数により特定される前記理論PSFを、前記入力PSFと近似するものとして、前記入力PSFに含まれたノイズが除去されたPSFとして出力する
＜７＞に記載の画像処理装置。
＜９＞ 前記入力PSFノイズ除去部は、前記理論PSF算出部により前記結像モデルの前記モデル変数を変化させて前記理論PSFを算出するにあたって、前記光学系を構成する推定対象レンズの公称Ｆ値の概略値、または、その定数倍と、前記撮像部を構成するセンサの感度の概略中央付近の波長と、前記波長における無収差レンズモデルに基づいて設定する初期値から前記モデル変数を変化させて、前記入力PSFとの二乗誤差が最小になるときの前記モデル変数により特定される前記理論PSFを、前記入力PSFと近似するものとして、前記入力PSFに含まれたノイズが除去されたPSFとして出力する
＜６＞に記載の画像処理装置。
＜１０＞ 前記定数倍の倍率は、前記入力PSFが求められる前記光学系を構成するレンズの像高に応じて設定される
＜９＞に記載の画像処理装置。
＜１１＞ 前記元画像は、少なくとも１個以上のテストパターンを含むテストチャートであり、前記撮像画像は、前記撮像部により前記テストチャートが撮像された画像である
＜１＞乃至＜１０＞のいずれかに記載の画像処理装置。
＜１２＞ 前記テストパターンは、位置合わせをするための複数のマーカ画像を含む
＜１１＞に記載の画像処理装置。
＜１３＞ 前記マーカ画像は、市松画像である
＜１２＞に記載の画像処理装置。
＜１４＞ 前記複数のマーカ画像のうち、所定の位置に配置される一部の前記マーカ画像は、前記一部以外のマーカ画像とは市松画像における配色が反転している
＜１２＞に記載の画像処理装置。
＜１５＞ 前記一部のマーカ画像は、前記テストパターンにおける所定の象限に配設される
＜１４＞に記載の画像処理装置。
＜１６＞ 前記一部のマーカ画像は、前記テストパターンにおける所定の象限の対角線上に配設される
＜１５＞に記載の画像処理装置。
＜１７＞ 前記入力PSFは、前記マーカ画像により位置合わせされた前記元画像および前記撮像画像における、前記撮像画像データの前記テストパターンの周波数ドメインが、前記元画像データの前記テストパターンの周波数ドメインにより除算された除算結果に対して、逆フーリエ変換が掛けられた変換結果の実数部である
＜１１＞に記載の画像処理装置。
＜１８＞ 前記入力PSFノイズ除去部によりノイズが除去された入力PSFに基づいて、フィルタ係数を算出するフィルタ係数生成部と、
前記フィルタ係数生成部により生成された前記フィルタ係数に基づいて、前記撮像部により撮像された画像を信号処理する信号処理部とをさらに含む
＜１＞乃至＜１７＞のいずれかに記載の画像処理装置。
＜１９＞ 光学系を有し、画像を撮像する撮像部を備えた画像処理装置の画像処理方法であって、
元画像データと、前記元画像データに基づく元画像を撮像した撮像画像のデータである撮像画像データとに基づいて、前記光学系のPSF（Point Spread Function）を入力PSFとして算出し、
前記光学系の結像特性を表す結像モデルに基づいて、理論的な前記光学系のPSFを理論PSFとして算出し、
前記結像モデルを変化させて算出される前記理論PSFのうち、前記入力PSFと近似するものを、前記入力PSFに含まれたノイズが除去されたPSFとして出力する
ステップとを含む画像処理方法。
＜２０＞ 光学系を有し、画像を撮像する撮像部を含む画像処理装置を制御するコンピュータを、
元画像データと、前記元画像データに基づく元画像を撮像した撮像画像のデータである撮像画像データとに基づいて、前記光学系のPSF（Point Spread Function）を入力PSFとして算出する入力PSF算出部と、
前記光学系の結像特性を表す結像モデルに基づいて、理論的な前記光学系のPSFを理論PSFとして算出する理論PSF算出部と、
前記理論PSF算出部により前記結像モデルを変化させて算出される前記理論PSFのうち、前記入力PSFと近似するものを、前記入力PSFに含まれたノイズが除去されたPSFとして出力する入力PSFノイズ除去部として機能させるプログラム。
１１ 撮像装置， ３１ 撮像部， ３２ シェーディング補正部， ３３ 色別ゲイン補正部， ３４ 切り出し部， ３５ マーカ検出部， ３６ 解像度変換部， ３７ フーリエ変換部， ３８ 歪曲モデル作成部， ３９ 切り出し部， ４０ 解像度・歪曲変換部， ４１ フーリエ変換部， ４２ 除算部， ４３ 帯域制限部， ４４ 逆フーリエ変換部， ４５ 実数部取り出し部， ４６ ノイズ除去部， ４７ フィルタ係数生成部， ４８ 信号処理部

Claims (20)

  1. 光学系を有し、画像を撮像する撮像部と、
    元画像データと、前記元画像データに基づく元画像を撮像した撮像画像のデータである撮像画像データとに基づいて、前記光学系のPSF（Point Spread Function）を入力PSFとして算出する入力PSF算出部と、
    前記光学系の結像特性を表す結像モデルに基づいて、理論的な前記光学系のPSFを理論PSFとして算出する理論PSF算出部と、
    前記理論PSF算出部により前記結像モデルを変化させて算出される前記理論PSFのうち、前記入力PSFと近似するものを、前記入力PSFに含まれたノイズが除去されたPSFとして出力する入力PSFノイズ除去部とを含む
    画像処理装置。
  2. 前記結像モデルは、前記光学系の結像特性である、前記光学系の絞り開口モデル、および収差モデルを含み、少なくとも１以上のモデル変数を有する
    請求項１に記載の画像処理装置。
  3. 前記絞り開口モデルは、前記絞り開口モデルの形状、および開度を変化させるモデル変数を含む
    請求項２に記載の画像処理装置。
  4. 前記絞り開口モデルの形状は、円形、楕円形、および方形を含む
    請求項３に記載の画像処理装置。
  5. 前記収差モデルは、ゼルニケ多項式によるレンズ収差モデルを変化させるモデル変数を含む
    請求項２に記載の画像処理装置。
  6. 前記入力PSFノイズ除去部は、前記理論PSF算出部により前記結像モデルの前記モデル変数を変化させて算出される前記理論PSFのうち、前記入力PSFとの二乗誤差が所定の閾値よりも小さくなるときの前記モデル変数により特定される前記理論PSFを、前記入力PSFと近似するものとして、前記入力PSFに含まれたノイズが除去されたPSFとして出力する
    請求項２に記載の画像処理装置。
  7. 前記入力PSFノイズ除去部は、前記理論PSF算出部により前記結像モデルの前記モデル変数を変化させて算出される前記理論PSFのうち、前記入力PSFとの二乗誤差が最小になるときの前記モデル変数により特定される前記理論PSFを、前記入力PSFと近似するものとして、前記入力PSFに含まれたノイズが除去されたPSFとして出力する
    請求項６に記載の画像処理装置。
  8. 前記入力PSFノイズ除去部は、前記理論PSF算出部により前記結像モデルの前記モデル変数を、最急降下法、準ニュートン法、またはレーベンバーグ・マーカート法により、変化させて算出される前記理論PSFのうち、前記入力PSFとの二乗誤差が最小になるときの前記モデル変数により特定される前記理論PSFを、前記入力PSFと近似するものとして、前記入力PSFに含まれたノイズが除去されたPSFとして出力する
    請求項７に記載の画像処理装置。
  9. 前記入力PSFノイズ除去部は、前記理論PSF算出部により前記結像モデルの前記モデル変数を変化させて前記理論PSFを算出するにあたって、前記光学系を構成する推定対象レンズの公称Ｆ値の概略値、または、その定数倍と、前記撮像部を構成するセンサの感度の概略中央付近の波長と、前記波長における無収差レンズモデルに基づいて設定する初期値から前記モデル変数を変化させて、前記入力PSFとの二乗誤差が最小になるときの前記モデル変数により特定される前記理論PSFを、前記入力PSFと近似するものとして、前記入力PSFに含まれたノイズが除去されたPSFとして出力する
    請求項６に記載の画像処理装置。
  10. 前記定数倍の倍率は、前記入力PSFが求められる前記光学系を構成するレンズの像高に応じて設定される
    請求項９に記載の画像処理装置。
  11. 前記元画像は、少なくとも１個以上のテストパターンを含むテストチャートであり、前記撮像画像は、前記撮像部により前記テストチャートが撮像された画像である
    請求項１に記載の画像処理装置。
  12. 前記テストパターンは、位置合わせをするための複数のマーカ画像を含む
    請求項１１に記載の画像処理装置。
  13. 前記マーカ画像は、市松画像である
    請求項１２に記載の画像処理装置。
  14. 前記複数のマーカ画像のうち、所定の位置に配置される一部の前記マーカ画像は、前記一部以外のマーカ画像とは市松画像における配色が反転している
    請求項１２に記載の画像処理装置。
  15. 前記一部のマーカ画像は、前記テストパターンにおける所定の象限に配設される
    請求項１４に記載の画像処理装置。
  16. 前記一部のマーカ画像は、前記テストパターンにおける所定の象限の対角線上に配設される
    請求項１５に記載の画像処理装置。
  17. 前記入力PSFは、前記マーカ画像により位置合わせされた前記元画像および前記撮像画像における、前記撮像画像データの前記テストパターンの周波数ドメインが、前記元画像データの前記テストパターンの周波数ドメインにより除算された除算結果に対して、逆フーリエ変換が掛けられた変換結果の実数部である
    請求項１１に記載の画像処理装置。
  18. 前記入力PSFノイズ除去部によりノイズが除去された入力PSFに基づいて、フィルタ係数を算出するフィルタ係数生成部と、
    前記フィルタ係数生成部により生成された前記フィルタ係数に基づいて、前記撮像部により撮像された画像を信号処理する信号処理部とをさらに含む
    請求項１に記載の画像処理装置。
  19. 光学系を有し、画像を撮像する撮像部を備えた画像処理装置の画像処理方法であって、
    元画像データと、前記元画像データに基づく元画像を撮像した撮像画像のデータである撮像画像データとに基づいて、前記光学系のPSF（Point Spread Function）を入力PSFとして算出し、
    前記光学系の結像特性を表す結像モデルに基づいて、理論的な前記光学系のPSFを理論PSFとして算出し、
    前記結像モデルを変化させて算出される前記理論PSFのうち、前記入力PSFと近似するものを、前記入力PSFに含まれたノイズが除去されたPSFとして出力する
    ステップとを含む画像処理方法。
  20. 光学系を有し、画像を撮像する撮像部を含む画像処理装置を制御するコンピュータを、
    元画像データと、前記元画像データに基づく元画像を撮像した撮像画像のデータである撮像画像データとに基づいて、前記光学系のPSF（Point Spread Function）を入力PSFとして算出する入力PSF算出部と、
    前記光学系の結像特性を表す結像モデルに基づいて、理論的な前記光学系のPSFを理論PSFとして算出する理論PSF算出部と、
    前記理論PSF算出部により前記結像モデルを変化させて算出される前記理論PSFのうち、前記入力PSFと近似するものを、前記入力PSFに含まれたノイズが除去されたPSFとして出力する入力PSFノイズ除去部として機能させるプログラム。
JP2015249786A 2015-12-22 2015-12-22 画像処理装置、および画像処理方法、並びにプログラム Pending JP2017117076A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015249786A JP2017117076A (ja) 2015-12-22 2015-12-22 画像処理装置、および画像処理方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015249786A JP2017117076A (ja) 2015-12-22 2015-12-22 画像処理装置、および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2017117076A true JP2017117076A (ja) 2017-06-29

Family

ID=59231793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015249786A Pending JP2017117076A (ja) 2015-12-22 2015-12-22 画像処理装置、および画像処理方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP2017117076A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11333927B2 (en) 2018-11-28 2022-05-17 Kabushiki Kaisha Toshiba Image processing device, image capturing device, and image processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11333927B2 (en) 2018-11-28 2022-05-17 Kabushiki Kaisha Toshiba Image processing device, image capturing device, and image processing method

Similar Documents

Publication Publication Date Title
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
CN111667416B (zh) 图像处理方法、装置、学习模型制造方法和图像处理系统
US6285799B1 (en) Apparatus and method for measuring a two-dimensional point spread function of a digital image acquisition system
Jeon et al. Accurate depth map estimation from a lenslet light field camera
Joshi et al. PSF estimation using sharp edge prediction
US10282822B2 (en) Digital correction of optical system aberrations
JP4792109B2 (ja) 画像特徴を意識した画像欠陥除去
EP2372647B1 (en) Image Blur Identification by Image Template Matching
US11037037B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable storage medium
JP5436566B2 (ja) 画像を編集する方法及び装置
US20200265595A1 (en) Image noise reduction
CN110717942A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN102369722B (zh) 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法
US10628925B2 (en) Method for determining a point spread function of an imaging system
KR20140109439A (ko) 잡음에 강한 영상 정합 방법 및 시스템
CN109064504A (zh) 图像处理方法、装置和计算机存储介质
JP2017010095A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
CN111028170A (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
US20220405892A1 (en) Image processing method, image processing apparatus, image processing system, and memory medium
Delbracio et al. Non-parametric sub-pixel local point spread function estimation
CN110060208B (zh) 一种提高超分辨率算法重构性能的方法
JP5949201B2 (ja) 画像処理装置及びプログラム
JP6821526B2 (ja) 画像処理方法、画像処理装置、撮像装置、および、プログラム
JP4583670B2 (ja) 画像歪み補正装置及び方法
JP2022083913A (ja) 画像処理装置、画像処理方法及びプログラム