JP2006238032A

JP2006238032A - Method and device for restoring image

Info

Publication number: JP2006238032A
Application number: JP2005049384A
Authority: JP
Inventors: Katsunori Waratani; 克則藁谷; Nobuhiro Araki; 信博荒木
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-02-24
Filing date: 2005-02-24
Publication date: 2006-09-07

Abstract

<P>PROBLEM TO BE SOLVED: To suppress disturbance of an image due to excessive restoration of a high frequency component when restoring a high resolution image from a deteriorated image. <P>SOLUTION: A value obtained by dividing Fourier transform of a point spread function after restoration by Fourier transform of a point spread function during photographing an image being an object of restoration is set to be a restoration filter. The restoration filter is multiplied by Fourier transform of the image being the object of restoration in a frequency space. The image obtained by performing inverse Fourier transform on a multiplied result is set to be a restoration image. Since the restoration filter where very small widening is expected even after restoration is used, disturbance and roughness of the image due to the high frequency component are suppressed in the restoration image by attenuating the high frequency component. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、カメラで撮像した画像から高解像度の画像を復元する画像復元方法及びその装置に関する。 The present invention relates to an image restoration method and apparatus for restoring a high-resolution image from an image captured by a camera.

カメラで被写体を撮像すると、劣化した画像として撮像されてしまう。画像復元装置は、劣化した画像を、本来の高解像度の画像に復元する装置である。 When a subject is imaged with a camera, the image is captured as a deteriorated image. The image restoration device is a device that restores a deteriorated image to an original high-resolution image.

図２０は、従来の画像復元装置のブロック構成図である。この画像復元装置１０は、カメラで撮像した画像（劣化画像）を復元対象画像として取り込む画像入力部１１と、画像入力部１１から入力された劣化画像をフーリエ変換するフーリエ変換装置１２と、点広がり関数入力部１３と、点広がり関数入力部１３から入力された点広がり関数をフーリエ変換するフーリエ変換装置１４と、フーリエ変換装置１２の出力をフーリエ変換装置１４の出力で除算する除算回路１５と、除算回路１５による除算結果を逆フーリエ変換する逆フーリエ変換装置１６と、逆フーリエ変換結果を復元画像として出力する画像出力部１７とを備える。 FIG. 20 is a block diagram of a conventional image restoration apparatus. The image restoration device 10 includes an image input unit 11 that captures an image (degraded image) captured by a camera as a restoration target image, a Fourier transform device 12 that Fourier transforms the degraded image input from the image input unit 11, and a point spread. A function input unit 13, a Fourier transform device 14 for Fourier transforming the point spread function input from the point spread function input unit 13, a division circuit 15 for dividing the output of the Fourier transform device 12 by the output of the Fourier transform device 14, An inverse Fourier transform device 16 that performs inverse Fourier transform on the result of division by the division circuit 15 and an image output unit 17 that outputs the inverse Fourier transform result as a restored image are provided.

図２１は、上述した従来の画像復元装置１０の動作手順を示すフローチャートである。先ず、カメラで撮影する時の点広がり関数を点広がり関数入力部１３から入力し（ステップＳ１１）、次に、この点広がり関数をフーリエ変換装置１４でフーリエ変換し（ステップＳ１２）、次に、このフーリエ変換結果の逆数を求めてこれを復元用のフィルタ特性とする（ステップＳ１３）。 FIG. 21 is a flowchart showing an operation procedure of the conventional image restoration apparatus 10 described above. First, a point spread function when photographing with the camera is input from the point spread function input unit 13 (step S11), and then this point spread function is Fourier transformed by the Fourier transform device 14 (step S12). The reciprocal of the Fourier transform result is obtained and used as a restoration filter characteristic (step S13).

次に、カメラで撮像した画像（劣化画像）を画像入力部１１から取り込み（ステップＳ１４）、次にこの画像をフーリエ変換装置１２でフーリエ変換し（ステップＳ１５）、次に復元用のフィルタ特性を画像のフーリエ変換結果に乗算する（ステップＳ１６）。即ち、フーリエ変換装置１２の出力を、フーリエ変換装置１４の出力で除算する。そして、除算結果すなわち除算回路１５の出力に対して逆フーリエ変換装置１６で逆フーリエ変換し（ステップＳ１７）、逆フーリエ変換結果を復元画像として画像出力部１７から出力する（例えば、非特許文献１参照）。 Next, an image captured by the camera (degraded image) is captured from the image input unit 11 (step S14), and then this image is Fourier transformed by the Fourier transform device 12 (step S15), and then the filter characteristics for restoration are obtained. The Fourier transform result of the image is multiplied (step S16). That is, the output of the Fourier transform device 12 is divided by the output of the Fourier transform device 14. Then, the division result, that is, the output of the division circuit 15 is subjected to inverse Fourier transform by the inverse Fourier transform device 16 (step S17), and the inverse Fourier transform result is output as a restored image from the image output unit 17 (for example, Non-Patent Document 1). reference).

この従来の画像復元装置では、モデルは点広がり関数が位置不変の特性をもち、劣化前の画像ｆ（ｘ，ｙ）に対し、点広がり関数ｈ（ｘ，ｙ）によって劣化した画像ｇ（ｘ，ｙ）は、次のように表されると仮定している。 In this conventional image restoration apparatus, the model has a characteristic that the point spread function is position-invariant, and the image g (x, y) degraded by the point spread function h (x, y) with respect to the image f (x, y) before degradation. , Y) is assumed to be expressed as:

ｇ（ｘ，ｙ）＝∬f(x₀, y₀)＊h(x-x₀, y-y₀) dx₀ dy₀ ＋ n(x,y)
ここで、
ｆ（ｘ，ｙ）：劣化前の画像
ｇ（ｘ，ｙ）：劣化画像
ｈ（ｘ，ｙ）：点広がり関数
ｎ（ｘ，ｙ）：雑音
ｘ、ｙ：空間座標
である。 g (x, y) = ∬f (x ₀ , y ₀ ) * h (xx ₀ , yy ₀ ) dx ₀ dy ₀ + n (x, y)
here,
f (x, y): Image before degradation g (x, y): Degraded image h (x, y): Point spread function n (x, y): Noise x, y: Spatial coordinates.

これをフーリエ変換によって周波数空間での表示に変えると、畳み込み演算は積に置き換えられるので
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
となる。 If this is changed to a display in the frequency space by Fourier transform, the convolution operation is replaced with a product, so that G (u, v) = F (u, v) * H (u, v) + N (u, v)
It becomes.

ここで
Ｆ（ｕ，ｖ）：劣化前の画像の２次元フーリエ変換
Ｇ（ｕ，ｖ）：劣化画像の２次元フーリエ変換
Ｈ（ｕ，ｖ）：点広がり関数の２次元フーリエ変換
Ｎ（ｕ，ｖ）：雑音の２次元フーリエ変換
ｕ，ｖ：空間周波数
である。 Where F (u, v): two-dimensional Fourier transform of the image before degradation G (u, v): two-dimensional Fourier transform of the degraded image H (u, v): two-dimensional Fourier transform of the point spread function N (u , V): Two-dimensional Fourier transform of noise u, v: Spatial frequency.

従って、
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） − Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
となる。このＦ（ｕ，ｖ）を逆フーリエ変換することにより、高解像度の復元画像を得ることができる。 Therefore,
F (u, v) = G (u, v) / H (u, v) −N (u, v) / H (u, v)
It becomes. A high-resolution restored image can be obtained by performing an inverse Fourier transform on F (u, v).

この画像復元の手法は、点広がり関数による劣化画像の復元において基本となる手法であり、点広がり関数に誤差がなく、画像に線形性がある限りにおいて、良好な復元画像を得ることができる。 This image restoration technique is a basic technique for restoration of a deteriorated image using a point spread function, and a good restored image can be obtained as long as there is no error in the point spread function and the image has linearity.

斎藤恒雄著「画像処理アルゴリズム」近代科学社、１９９３年３月１０日発行、ｐ．６８〜ｐ．８４）Saito Tsuneo, "Image Processing Algorithm", Modern Science, published March 10, 1993, p. 68-p. 84)

しかしながら、従来の画像復元装置は、以下の様な問題があった。すなわち、高周波で復元倍率が極めて増大するため、復元画像が不安定になるという問題である。その程度は、復元処理後の画像にざらつきを生じるという程度のものから、劣化画像の中に見えていた画像さえノイズの中に埋もれてしまうまで激しく不安定になる程度のものまである。 However, the conventional image restoration apparatus has the following problems. That is, there is a problem that the restored image becomes unstable because the restoration magnification is extremely increased at high frequencies. The degree of roughness ranges from the level of roughness in the restored image to the level of extreme instability until even the image that was visible in the degraded image is buried in the noise.

復元画像の不安定性は次のようにして起こる。現実の系で像復元を行う場合、点広がり関数には誤差がつきものである。とりわけ、点広がり関数の２次元フーリエ変換を表すＨ（ｕ，ｖ）（＝光学的伝達関数ＯＴＦ）が、高周波でその絶対値が小さくなり、Ｈ（ｕ，ｖ）の測定値の相対誤差が増大する。高周波では、周波数成分の復元率に相当する１／Ｈ（ｕ，ｖ）の値自体が大きいところで、Ｈ（ｕ，ｖ）の相対誤差が増大するため、高周波成分を極めて過大に復元してしまうことが時として生じる。その過大に評価されてしまった高周波成分により、画像は乱れる。この効果が小さいときには、画像が高周波成分によりざらついて見える程度であるが、この効果が極めて大きいときは、高周波成分だけが画像の中で支配的になることで、画像がまったくのランダム画像に見えてしまうまで、画像が乱れてしまうこともある。 The instability of the restored image occurs as follows. When image restoration is performed in an actual system, the point spread function has an error. In particular, H (u, v) (= optical transfer function OTF) representing the two-dimensional Fourier transform of the point spread function has a small absolute value at high frequencies, and the relative error of the measured value of H (u, v) is small. Increase. At a high frequency, the relative error of H (u, v) increases when the value of 1 / H (u, v) corresponding to the restoration rate of the frequency component is large, so that the high frequency component is restored extremely excessively. Sometimes it happens. The image is disturbed by the high-frequency component that has been overestimated. When this effect is small, the image appears to be grainy due to the high-frequency component, but when this effect is extremely large, only the high-frequency component becomes dominant in the image, so that the image appears to be a completely random image. The image may be confused until

本発明は、このような従来の問題を解決するためになされたもので、復元画像を安定にすることができる画像復元方法及びその装置を提供することを目的とする。 The present invention has been made to solve such a conventional problem, and an object thereof is to provide an image restoration method and apparatus capable of stabilizing a restored image.

本発明の画像復元方法及びその装置は、復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算した値を復元フィルタとし、前記復元対象画像のフーリエ変換に前記復元フィルタを周波数空間で乗算し、前記乗算した結果を逆フーリエ変換して得られた画像を復元画像とすることを特徴とする。 The image restoration method and apparatus according to the present invention use a value obtained by dividing the Fourier transform of the restored point spread function by the Fourier transform of the point spread function at the time of shooting the restoration target image as a restoration filter, and the Fourier transformation of the restoration target image The restoration filter is multiplied by a frequency space, and an image obtained by performing inverse Fourier transform on the multiplication result is used as a restoration image.

この構成により、即ち、従来の画像復元技術では、復元後に理想的な１点になることを期待した復元フィルタを用いるのに対し、本発明では、復元後においても微少な広がりを持つことを期待した復元フィルタになっているため、高周波成分を減衰させることで復元後の画像で高周波成分による画像の乱れやざらつきを抑えることが可能となる。 With this configuration, that is, in the conventional image restoration technique, a restoration filter that is expected to be an ideal point after restoration is used, whereas in the present invention, it is expected to have a slight spread even after restoration. Since the restoration filter has been used, it is possible to suppress disturbance and roughness of the image due to the high frequency component in the restored image by attenuating the high frequency component.

本発明の画像復元方法及びその装置は、復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算し、前記除算した値を逆フーリエ変換して得られた結果の実数部を取り出して前記実数部を実空間での復元フィルタとし、前記復元対象画像を前記復元フィルタで畳み込んで得られる画像を復元画像とすることを特徴とする。 The image restoration method and apparatus of the present invention can be obtained by dividing the Fourier transform of the restored point spread function by the Fourier transform of the point spread function at the time of photographing the restoration target image, and performing the inverse Fourier transform on the divided value. The real part of the result is taken out, the real part is used as a restoration filter in real space, and an image obtained by convolving the restoration target image with the restoration filter is used as a restored image.

この構成により、復元後の点広がり関数と、撮影時の点広がり関数とが、あらかじめ用意されていれば、実空間でのフィルタをあらかじめ計算しておくことができ、画像の復元は実空間でのフィルタを利用して畳み込むことだけで達成できる。また、復元に必要な範囲の画像の行データがそろった時点で、それぞれの画像の復元画像を計算することが可能となる。 With this configuration, if the restored point spread function and the point spread function at the time of shooting are prepared in advance, the filter in the real space can be calculated in advance, and the image restoration can be performed in the real space. This can be achieved simply by convolution using the filter. In addition, when the row data of the image in the range necessary for restoration is complete, it is possible to calculate the restored image of each image.

このとき、畳み込むべき実空間でのフィルタの大きさを小さくする必要があるが、それは、例えば次のような手順で計算すればよい。最小限の行列の大きさにした撮影時の点広がり関数のフーリエ変換を分母とし、同じ行列の大きさの復元画像に期待する点広がり関数のフーリエ変換を分子として複素数として割り算を実行する。その結果を逆フーリエ変換し実数部を取り出すことで、畳み込みのためのフィルタが得られる。 At this time, it is necessary to reduce the size of the filter in the real space to be convolved. For example, this may be calculated by the following procedure. Division is performed as a complex number using the Fourier transform of the point spread function at the time of imaging with the minimum matrix size as the denominator and the Fourier transform of the point spread function expected for the restored image of the same matrix size as the numerator. A filter for convolution can be obtained by inverse Fourier transforming the result and extracting the real part.

これにより、上記実空間のフィルタの大きさの範囲の画素だけで復元画像上の１点を計算できるようになる。そのため、必要な行データがそろった行から順次復元の計算ができ、１画面全体の画像を取得するのを待たずに復元処理を開始できる。 As a result, it is possible to calculate one point on the restored image using only pixels within the range of the filter size of the real space. Therefore, the restoration can be calculated sequentially from the line having the necessary line data, and the restoration process can be started without waiting for obtaining the image of the entire screen.

位置不変な特性を持つ場合には、この畳み込み演算のためのフィルタとして、画面全体にわたって共通の値を用いればよい。畳み込み演算に対して専用のハードウエアを用いた場合には、並列性の向上のために、画面全体にわたるＦＦＴ（高速フーリエ変換）を使う場合よりも計算が速くなる。 In the case of having a position-invariant characteristic, a common value may be used for the entire screen as a filter for the convolution calculation. When dedicated hardware is used for the convolution operation, the calculation is faster than using FFT (Fast Fourier Transform) over the entire screen to improve parallelism.

本発明の画像復元方法及びその装置は、前記撮影時の点広がり関数から計算される実空間での前記復元フィルタを単一のＦＩＲフィルタ（＝Finite Impulse Response Filter）とし、復元対象画像１方向へのスイープした時系列に対する前記ＦＩＲフィルタによる畳み込みを行うことで前記復元画像を求めると共に、画角に応じて前記点広がり関数と前記復元フィルタとを切り替えることを特徴とする。 In the image restoration method and apparatus according to the present invention, the restoration filter in the real space calculated from the point spread function at the time of shooting is a single FIR filter (= Finite Impulse Response Filter), and the image is restored in the direction of the restoration target image 1. The restored image is obtained by performing convolution with the FIR filter on the swept time series, and the point spread function and the restoration filter are switched according to the angle of view.

この構成により、画面全体に対するデコンボリューション処理が、時系列データに対して単一のＦＩＲを施すことで表現できる。そのため、復元処理を、画像全体がそろうのを待たずに開始でき、リアルタイム性が向上する。また点広がり関数が画角によって異なることから、復元画像に生じるリンギングが低下し、良好な復元画像を得ることができる。 With this configuration, the deconvolution process for the entire screen can be expressed by applying a single FIR to the time series data. Therefore, the restoration process can be started without waiting for the entire image to be aligned, and the real-time property is improved. Further, since the point spread function varies depending on the angle of view, ringing generated in the restored image is reduced, and a good restored image can be obtained.

本発明の画像復元方法及びその装置は、前記復元対象画像の上端及び下端の各々に前記撮影時の点広がり関数の行数分の画像領域を追加し、前記復元対象画像の左端及び右端の各々に前記撮影時の点広がり関数の列数分の画像領域を追加し、前記画像領域を追加した前記復元対象画像から前記復元画像を求めると共にこの復元画像から前記追加した画像領域を除去した範囲の画像を真の復元画像とすることを特徴とする。 The image restoration method and apparatus of the present invention add image areas corresponding to the number of rows of the point spread function at the time of shooting to the top and bottom of the restoration target image, respectively, and each of the left end and right end of the restoration target image Image areas corresponding to the number of columns of the point spread function at the time of shooting are added, the restored image is obtained from the restoration target image to which the image area has been added, and the added image area is removed from the restored image. The image is a true restored image.

この構成により、画像復元の際に、周期的境界条件を仮定することに由来する復元画像の縁付近に生じるノイズを、復元画像から取り除くことができる。 With this configuration, it is possible to remove, from the restored image, noise that occurs in the vicinity of the edge of the restored image resulting from assuming a periodic boundary condition during image restoration.

本発明によれば、画像の復元後に対しても点像に微少な広がりを設定することで、即ち、復元後の点像の点広がり関数のフーリエ変換を撮影時の点広がり関数のフーリエ変換で割った値を画像復元用のフィルタ特性とすることで、復元画像に生じやすい高周波成分による画像の乱れやざらつきを抑えることが可能となる。 According to the present invention, by setting a slight spread in the point image even after image restoration, that is, the Fourier transformation of the point spread function of the restored point image is performed by the Fourier transformation of the point spread function at the time of photographing. By using the divided value as the filter characteristics for image restoration, it is possible to suppress image disturbance and roughness due to high-frequency components that are likely to occur in the restored image.

以下、本発明の一実施の形態を、図面を参照して説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像復元装置のブロック構成図である。本実施形態に係る画像復元装置１００は、復元対象の画像を入力する画像入力部１０１と、復元後の点広がり関数を入力する入力部１０２と、撮影時の点広がり関数を入力する入力部１０３と、画像入力部１０１が取り込んだ復元対象画像をフーリエ変換するフーリエ変換装置１０４と、入力部１０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置１０５と、入力部１０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置１０６と、フーリエ変換装置１０５の出力をフーリエ変換装置１０６の出力で除算する除算回路１０７と、フーリエ変換装置１０４の出力に除算回路１０７の出力を乗算する乗算回路１０８と、乗算回路１０８の乗算結果に対して逆フーリエ変換を施す逆フーリエ変換装置１０９と、逆フーリエ変換結果の実数部を復元画像として出力する画像出力部１１０とを備える。 (First embodiment)
FIG. 1 is a block configuration diagram of an image restoration apparatus according to the first embodiment of the present invention. An image restoration apparatus 100 according to the present embodiment includes an image input unit 101 that inputs an image to be restored, an input unit 102 that inputs a point spread function after restoration, and an input unit 103 that inputs a point spread function at the time of shooting. The Fourier transform device 104 that Fourier transforms the restoration target image captured by the image input unit 101, the Fourier transform device 105 that Fourier transforms the restored point spread function captured by the input unit 102, and the input unit 103 A Fourier transform device 106 that Fourier-transforms the point spread function at the time of shooting, a division circuit 107 that divides the output of the Fourier transform device 105 by the output of the Fourier transform device 106, and the output of the division circuit 107 to the output of the Fourier transform device 104 Multiplication circuit 108 for multiplying, and inverse Fourier transform device for performing inverse Fourier transform on the multiplication result of multiplication circuit 108 It includes a 109, an image output unit 110 for outputting the real part of the inverse Fourier transform result as the recovered image.

フーリエ変換装置１０２、１０３は、夫々、復元後と撮影時の点広がり関数をフーリエ変換するが、フーリエ変換の際に予め配列の大きさが画像の大きさと同じになるようにゼロでパディングする。 The Fourier transform apparatuses 102 and 103 respectively perform Fourier transform on the point spread function after restoration and at the time of photographing, and padding with zero so that the size of the array becomes the same as the size of the image in advance at the time of Fourier transform.

図２は、図１に示す画像復元装置の動作手順を示すフローチャートである。まず、復元後の点広がり関数と撮影時の点広がり関数とを夫々入力部１０２、１０３から読み取り（ステップＳ１０１）、次に、入力部１０２、１０３で読み取った復元後と撮影時の点広がり関数を夫々フーリエ変換装置１０５、１０６でフーリエ変換する（ステップＳ１０２）。 FIG. 2 is a flowchart showing an operation procedure of the image restoration apparatus shown in FIG. First, the restored point spread function and the point spread function at the time of shooting are read from the input units 102 and 103 (step S101), and then the restored and read point spread function at the time of shooting at the input units 102 and 103. Are Fourier transformed by the Fourier transform devices 105 and 106, respectively (step S102).

その後、除算回路１０７により、フーリエ変換装置１０５の出力を、フーリエ変換装置１０６の出力で除算する。これにより、
〔復元後の点広がり関数のフーリエ変換〕＝Ａ
〔撮影時の点広がり関数のフーリエ変換〕＝Ｂ
としたとき、
復元用のフィルタ特性＝Ａ／Ｂ
として算出される（ステップＳ１０３）。 Thereafter, the division circuit 107 divides the output of the Fourier transform device 105 by the output of the Fourier transform device 106. This
[Fourier transform of point spread function after restoration] = A
[Fourier transform of point spread function during shooting] = B
When
Filter characteristics for restoration = A / B
(Step S103).

次に、画像入力部１０１から復元対象の画像を取り込み（ステップＳ１０４）、フーリエ変換装置１０４でこの復元対象画像をフーリエ変換する（ステップＳ１０５）。そして、乗算回路１０８により、復元用のフィルタ特性と、復元対象画像をフーリエ変換したものとを周波数空間で乗算し（ステップＳ１０６）、最後に、乗算回路１０８の出力を、逆フーリエ変換装置１０９で逆フーリエ変換する（ステップＳ１０７）。逆フーリエ変換された結果が復元画像として画像出力部１１０から出力される。 Next, an image to be restored is captured from the image input unit 101 (step S104), and the Fourier transform device 104 performs Fourier transform on the image to be restored (step S105). Then, the multiplication circuit 108 multiplies the restoration filter characteristic by the Fourier transform of the restoration target image in the frequency space (step S106). Finally, the output of the multiplication circuit 108 is output by the inverse Fourier transform device 109. Inverse Fourier transform is performed (step S107). The result of the inverse Fourier transform is output from the image output unit 110 as a restored image.

尚、図１に示すブロック構成図では、計算手順をわかりやすくするために、フーリエ変換装置１０４、１０５、１０６を３つ別々に記載しているが、実際の装置では、１つのフーリエ変換装置で兼用する構成としてもよいことはいうまでもない。また、図２において、同じ撮影時の点広がり関数での画像の復元を繰り返す場合には、ステップＳ１０１からステップＳ１０３までを省略し、一旦計算された復元用フィルタ特性を繰り返し使用することでもよい。 In the block configuration diagram shown in FIG. 1, three Fourier transform devices 104, 105, and 106 are separately shown for easy understanding of the calculation procedure, but in an actual device, one Fourier transform device is used. Needless to say, the configuration may also be combined. In FIG. 2, when the image restoration with the point spread function at the same photographing is repeated, the steps S101 to S103 may be omitted and the once calculated restoration filter characteristic may be used repeatedly.

本実施形態に係る画像復元装置によれば、復元用のフィルタ特性として、撮影時の点広がり関数のフーリエ変換を分母とし、復元後の点広がり関数のフーリエ変換を分子としたときの商を用いることにより、高周波成分を減衰させ、復元後の画像における高周波成分による画像の乱れやざらつきを抑えることが可能となる。 According to the image restoration apparatus according to the present embodiment, the quotient when the Fourier transform of the point spread function at the time of photographing is used as the denominator and the Fourier transform of the point spread function after restoration is used as the numerator is used as the filter characteristics for restoration. As a result, it is possible to attenuate the high-frequency component and suppress image disturbance and roughness due to the high-frequency component in the restored image.

図３は、図１の入力部１０３に入力するデータすなわち撮影時に用いた点広がり関数の２次元強度分布の一例を示す図である。縦軸、横軸は、それぞれ画素の位置である。図の中央で点広がり関数の最大値がくるようにとってある。点広がり関数は、左側にやや裾野を引いている。 FIG. 3 is a diagram illustrating an example of data input to the input unit 103 in FIG. 1, that is, a two-dimensional intensity distribution of a point spread function used at the time of photographing. The vertical axis and the horizontal axis are pixel positions, respectively. The maximum value of the point spread function is at the center of the figure. The point spread function has a slight tail on the left side.

図４は、図３に示す関数の水平方向の断面図である。左側に裾野を引いているのがはっきりと見て取れる。 4 is a horizontal cross-sectional view of the function shown in FIG. It can be clearly seen that the tail is pulled on the left side.

図５は、図３に示す撮影時に用いた点広がり関数に対応する水平方向のＭＴＦの一例を示す図である。横軸はナイキスト周波数を「０．５」としたときの空間周波数であり、縦軸はＭＴＦである。空間周波数が大きくなるにつれてＭＴＦの値が著しく減少している。 FIG. 5 is a diagram showing an example of the horizontal MTF corresponding to the point spread function used at the time of imaging shown in FIG. The horizontal axis is the spatial frequency when the Nyquist frequency is “0.5”, and the vertical axis is the MTF. As the spatial frequency increases, the value of MTF decreases significantly.

図１に示す第１の実施形態の画像復元装置１００では、図２０に示す従来例に比較して、復元後の点広がり関数の周波数特性を復元用のフィルタ特性の分子として追加しており、その追加した周波数特性はローパスフィルタになる。仮定する復元後の広がりを大きくすると、それに対応して高周波側から周波数特性の大きさが減少していく。このローパスフィルタにより、高周波でＭＴＦの相対誤差が増大しても、劣化前の画像よりも高周波成分を過大に評価する可能性が減少する。このローパスフィルタは、周波数に対してなめらかに変化することが、自然な復元画像を得るうえで重要である。 In the image restoration apparatus 100 according to the first embodiment shown in FIG. 1, compared with the conventional example shown in FIG. 20, the frequency characteristic of the point spread function after restoration is added as a numerator of the filter characteristic for restoration, The added frequency characteristic becomes a low-pass filter. When the assumed post-restoration spread is increased, the magnitude of the frequency characteristic decreases correspondingly from the high frequency side. With this low-pass filter, even if the relative error of the MTF increases at a high frequency, the possibility that the high-frequency component is overestimated than the image before deterioration is reduced. In order to obtain a natural restored image, it is important that the low-pass filter changes smoothly with respect to frequency.

復元後に微少な広がりを持つ復元後の点広がり関数としては、たとえば、微少な広がりを持つ、次式（１）の２次元のガウス関数を想定することができる。復元後の点広がり関数が連続的に滑らかに推移すると同時に、その周波数特性も連続的に滑らかに推移するので、復元画像に不自然な不連続な挙動を引き起こすことがない。 As a point spread function after restoration having a slight spread after restoration, for example, a two-dimensional Gaussian function of the following equation (1) having a slight spread can be assumed. Since the restored point spread function continuously and smoothly changes, the frequency characteristics thereof also continuously change smoothly, so that an unnatural discontinuous behavior is not caused in the restored image.

ｚ＝ｅｘｐ（−（ｘ^２＋ｙ^２）／σ^２） …（１）式
ここで、
ｘ、ｙ：空間座標
ｚ：ガウス関数で定義される復元後の点広がり関数
である。 z = exp (− (x ² + y ² ) / σ ² ) (1) where:
x, y: spatial coordinates z: a point spread function after restoration defined by a Gaussian function.

上記の式（１）のσはガウス関数の広がりを与えるパラメータであり、その値として「０．６」画素といった連続値をとることができる。σ=０．２、σ＝０．４といった微少な値を用いている範囲では、復元後の点広がり関数はほとんど１点に近い。そのような状況においても、高周波成分の振幅をわずかに抑えることが、画像の平滑化につながり、復元後の画像における高周波成分のあばれを小さくする。 In the above equation (1), σ is a parameter that gives the spread of the Gaussian function, and can be a continuous value such as “0.6” pixels. In a range where minute values such as σ = 0.2 and σ = 0.4 are used, the point spread function after restoration is almost one point. Even in such a situation, suppressing the amplitude of the high frequency component slightly leads to smoothing of the image, and reduces the exposure of the high frequency component in the restored image.

図６は、図１に示す入力部１０２に入力される復元後の点広がり関数の一例を示す図である。復元後の点広がり関数として２次元のガウス関数を用いた例であり、種々のσに対する点広がり関数の断面を示している。横軸は画素、縦軸は点広がり関数の強度である。 FIG. 6 is a diagram illustrating an example of the point spread function after restoration input to the input unit 102 illustrated in FIG. 1. This is an example in which a two-dimensional Gaussian function is used as a point spread function after restoration, and shows a cross section of the point spread function for various σ. The horizontal axis is the pixel, and the vertical axis is the intensity of the point spread function.

図７は、図６に示す関数に対応するＭＴＦの一例を示す図である。横軸はナイキスト周波数を「０．５」としたときの空間周波数であり、縦軸はＭＴＦの値である。種々のσによって、ＭＴＦの減衰の仕方が異なっている。元々の点広がり関数の広がりσが「０．２」と小さい場合には、ＭＴＦはナイキスト周波数でも「１」に近い値を持つが、σの値が大きくなるにつれて、高周波でのＭＴＦの値が小さくなっているのがわかる。 FIG. 7 is a diagram illustrating an example of the MTF corresponding to the function illustrated in FIG. The horizontal axis is the spatial frequency when the Nyquist frequency is “0.5”, and the vertical axis is the MTF value. The way of attenuation of the MTF differs depending on various σ. When the original point spread function spread σ is as small as “0.2”, the MTF has a value close to “1” even at the Nyquist frequency. However, as the value of σ increases, the MTF value at a high frequency increases. You can see that it is getting smaller.

図８は、第１の実施形態に係る画像復元装置で用いる復元用のフィルタ特性の一例を示す図である。横軸は、ナイキスト周波数を「０．５」としたときの空間周波数であり、縦軸は復元用のフィルタの振幅、復元倍率である。 FIG. 8 is a diagram illustrating an example of restoration filter characteristics used in the image restoration apparatus according to the first embodiment. The horizontal axis represents the spatial frequency when the Nyquist frequency is set to “0.5”, and the vertical axis represents the amplitude and the restoration magnification of the restoration filter.

この復元用のフィルタは、前述した様に、
〔復元後の点広がり関数のフーリエ変換〕＝Ａ
〔撮影時の点広がり関数のフーリエ変換〕＝Ｂ
と表したとき、
〔復元用のフィルタ〕＝Ａ／Ｂ
で定義される。 As described above, this restoration filter is
[Fourier transform of point spread function after restoration] = A
[Fourier transform of point spread function during shooting] = B
When
[Filter for restoration] = A / B
Defined by

このため、空間周波数「０」では、元々のＭＴＦ＝１であるため、復元用のフィルタの倍率は「１」である。しかし、図８に示す様に、空間周波数が大きくなりＭＴＦの値が小さくなるにつれて、復元用フィルタの振幅（＝復元倍率）は大きくなる。 For this reason, since the original MTF = 1 at the spatial frequency “0”, the magnification of the restoration filter is “1”. However, as shown in FIG. 8, the amplitude (= restoration magnification) of the restoration filter increases as the spatial frequency increases and the MTF value decreases.

図３、図４に示す撮影時の点広がり関数の場合には、その水平方向のＭＴＦは、図５に示すように、空間周波数「０．１７」でＭＴＦ＝０．１にまで減少しており、対応して、空間周波数０．１７で復元倍率は図８に示す様に１０倍に達している。空間周波数がさらに大きくなると、ＭＴＦは図５に示すように更に小さくなっており、図８に示す復元倍率は更に大きくなる。 In the case of the point spread function at the time of photographing shown in FIGS. 3 and 4, the horizontal MTF decreases to MTF = 0.1 at the spatial frequency “0.17” as shown in FIG. Correspondingly, at a spatial frequency of 0.17, the restoration magnification reaches 10 times as shown in FIG. When the spatial frequency is further increased, the MTF is further reduced as shown in FIG. 5, and the restoration magnification shown in FIG. 8 is further increased.

図８中の黒丸点は第１の実施形態に係る復元倍率を示し、四角点は従来の手法における復元倍率である。この図８に示す様に、第１の実施形態においては、復元倍率が大きくなる高周波領域において、従来の手法よりも低い復元倍率を与えている。ＭＴＦの値が小さくなる領域では、ＭＴＦの相対誤差が大きくなるので、高周波成分を過大に復元しがちであった従来手法にくらべ、本実施形態では、高周波成分を過大に評価する可能性を減らしている。 Black dots in FIG. 8 indicate the restoration magnification according to the first embodiment, and square points are the restoration magnification in the conventional method. As shown in FIG. 8, in the first embodiment, a restoration magnification lower than that of the conventional method is given in a high frequency region where the restoration magnification becomes large. In the region where the MTF value is small, the relative error of the MTF is large. Therefore, in this embodiment, the possibility of overestimating the high-frequency component is reduced compared to the conventional method that tends to restore the high-frequency component excessively. ing.

復元後の画像に対して微少な広がりを仮定することは、次のようにして正当化される。第１に、一般に画像のスペクトルはナイキスト周波数近くの高周波で減衰しているものであり、ナイキスト周波数付近の周波数成分は、画像のそれが極めて過大に評価されない限り、人間の視覚に与える影響は大きくない。 Assuming a slight spread for the restored image is justified as follows. First, the spectrum of an image is generally attenuated at high frequencies near the Nyquist frequency, and frequency components near the Nyquist frequency have a large effect on human vision unless that of the image is extremely overestimated. Absent.

第２に、像復元による画像のスペクトルの変化が、人間の視覚に与える影響が大きいのは、元々の画像のスペクトルが強い低周波領域での周波数成分の復元である。このため低周波でのスペクトル成分の減少を像復元で復元することで、画像の見栄えが著しく改善する。また、低周波でのＭＴＦはＭＴＦの値も大きいために少ない相対誤差でＭＴＦの値を決定できることも大きい。 Second, the change in the spectrum of the image due to the image restoration has a great influence on human vision in restoring the frequency component in the low frequency region where the spectrum of the original image is strong. For this reason, the appearance of the image is remarkably improved by restoring the reduction of the spectral component at the low frequency by image restoration. Further, since the MTF at a low frequency has a large MTF value, the MTF value can be determined with a small relative error.

第３に、ナイキスト周波数近くのＭＴＦは小さくＭＴＦの相対誤差は大きくなるので、その周波数成分を〔１／ＭＴＦ〕倍することは、ナイキスト周波数付近の空間周波数成分を過大評価する危険が高く、誤差のあるＭＴＦを使用したときにおいても復元率を過大評価しないように、ナイキスト周波数付近の周波数成分を減衰させる必要がある。 Third, since the MTF near the Nyquist frequency is small and the relative error of the MTF is large, multiplying the frequency component by [1 / MTF] has a high risk of overestimating the spatial frequency component near the Nyquist frequency. It is necessary to attenuate the frequency component near the Nyquist frequency so that the restoration rate is not overestimated even when an MTF with a certain value is used.

実際、光学的伝達関数（その絶対値をＭＴＦと呼ぶ）であるＨ（ｕ，ｖ）は、高周波においては、たとえカメラが無収差光学系であっても減衰するものである。しかも、収差のある通常の光学系では、高周波成分の減衰がさらに大きい。その上、カメラの検出器では、画像の折り返しひずみを抑制するために、ナイキスト周波数以上の成分をカットするための光学ローパスフィルタを用いている。このためナイキスト周波数近傍では取得画像のＭＴＦの値自体がさらに小さくなっており、ＭＴＦは高周波で値が小さくなり、その相対誤差は不可避的に大きくなる。 Actually, H (u, v), which is an optical transfer function (the absolute value thereof is called MTF), attenuates at high frequencies even if the camera is an aberration-free optical system. In addition, in a normal optical system with aberration, the attenuation of the high frequency component is even greater. In addition, the camera detector uses an optical low-pass filter for cutting components higher than the Nyquist frequency in order to suppress aliasing distortion of the image. For this reason, the MTF value of the acquired image itself is further reduced in the vicinity of the Nyquist frequency, and the MTF value decreases at high frequencies, and the relative error inevitably increases.

これが、従来の手法では、時として高周波成分を過大評価させてしまう原因であり、軽微な状況では画像のざらつきを生じさせ、重度の場合には、画像をすべてノイズによって埋もれさせてしまう。 This is a cause of overestimating the high-frequency component in the conventional method. In a slight situation, the image is rough, and in a severe case, the image is completely buried by noise.

これに対し、本実施形態の画像復元装置では、復元後に微少な広がりを持つ点広がり関数を持たせることで、ナイキスト周波数近傍を減少させる効果を持っている。即ち、本実施形態では、復元後の画像に対して微少な広がりを仮定して画像を復元することとしている。 In contrast, the image restoration apparatus of the present embodiment has an effect of reducing the vicinity of the Nyquist frequency by providing a point spread function having a slight spread after restoration. That is, in the present embodiment, the image is restored on the assumption that the restored image is slightly spread.

ここで、復元後の点広がり関数を想定することは、従来の手法に対し単にローパスフィルタを加えたものではない。復元後の分布が、滑らかな特性を持つ点広がり関数を仮定しているので、ローパスフィルタの周波数特性も滑らかに単調に減衰し、復元後の画像に対して自然な微少なボケを残すことができる。 Here, assuming a point spread function after restoration is not simply a low-pass filter added to the conventional method. Since the distribution after restoration assumes a point spread function with a smooth characteristic, the frequency characteristic of the low-pass filter also attenuates smoothly and monotonously, leaving a natural fine blur on the restored image. it can.

単純にローパスフィルタをかけたときには、ローパスフィルタによっては、あまりに急峻に高周波側をカットすることになり、カットした限界の周波数成分が画像の中で強調されてしまうことがある。このため、不自然な画像になってしまう。 When a low-pass filter is simply applied, depending on the low-pass filter, the high frequency side is cut too steeply, and the cut limit frequency component may be emphasized in the image. This results in an unnatural image.

これに対し、復元後の画像に対して微少な広がりをもつ点広がり関数を仮定して高周波成分の復元を抑制すると、復元後の点広がり関数による自然なボケ方で高周波成分による画像の乱れやざらつきを抑えることができる。 In contrast, if the restoration of high-frequency components is suppressed assuming a point spread function that has a slight spread with respect to the restored image, the image blur due to the high-frequency components may occur due to natural blurring due to the restored point-spread function. Roughness can be suppressed.

なお、本実施形態の画像復元装置では、復元後に期待する点広がり関数を、入力部１０２から取り込む構成としているが、復元後に想定する点広がり関数は、条件による差はなく、あらかじめ一定の値を装置の中に組み込んでおくことも可能である。その場合、そのフーリエ変換まではあらかじめ計算しておき装置に組み込んでおくことができる。 In the image restoration apparatus of the present embodiment, the point spread function expected after restoration is captured from the input unit 102. However, the point spread function assumed after restoration is not different depending on conditions, and has a predetermined value in advance. It can also be incorporated into the device. In that case, the Fourier transform can be calculated in advance and incorporated in the apparatus.

（第２の実施の形態）
図９は、本発明の第２の実施の形態に係る画像復元装置のブロック構成図である。本実施形態の画像復元装置２００は、復元対象の画像を入力する画像入力部２０１と、復元後の点広がり関数を入力する入力部２０２と、撮影時の点広がり関数を入力する入力部２０３と、入力部２０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置２０５と、入力部２０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置２０６と、フーリエ変換装置２０５の出力をフーリエ変換装置２０６の出力で除算する除算回路２０７と、除算回路２０７の出力を逆フーリエ変換する逆フーリエ変換装置２０９と、画像入力部２０１によって取り込まれた復元対象画像に対して逆フーリエ変換装置２０９の出力を畳み込み演算する畳み込み回路２１１と、畳み込み回路２１１の出力を復元画像として出力する画像出力部２１０とを備える。 (Second Embodiment)
FIG. 9 is a block diagram of an image restoration apparatus according to the second embodiment of the present invention. The image restoration apparatus 200 according to the present embodiment includes an image input unit 201 that inputs an image to be restored, an input unit 202 that inputs a point spread function after restoration, and an input unit 203 that inputs a point spread function at the time of shooting. The Fourier transform device 205 that Fourier transforms the restored point spread function captured by the input unit 202, the Fourier transform device 206 that Fourier transforms the point spread function at the time of shooting captured by the input unit 203, and the Fourier transform device 205 A division circuit 207 that divides the output by the output of the Fourier transform device 206, an inverse Fourier transform device 209 that performs an inverse Fourier transform on the output of the division circuit 207, and an inverse Fourier transform for the restoration target image captured by the image input unit 201 A convolution circuit 211 that performs a convolution operation on the output of the device 209, and an output of the convolution circuit 211 as a restored image And an image output unit 210 to force.

図１０は、第２の実施形態に係る画像復元装置の動作手順を示すフローチャートである。 FIG. 10 is a flowchart illustrating an operation procedure of the image restoration apparatus according to the second embodiment.

まず、撮影時の点広がり関数を入力部２０３で読み取ると共に復元後の点広がり関数を入力部２０２で読み取る（ステップＳ２０１）。次に、撮影時の点広がり関数と復元後の点広がり関数とを夫々フーリエ変換装置２０６、２０５でフーリエ変換する（ステップＳ２０２）。 First, the point spread function at the time of photographing is read by the input unit 203 and the restored point spread function is read by the input unit 202 (step S201). Next, the point spread function at the time of photographing and the restored point spread function are Fourier transformed by the Fourier transform devices 206 and 205, respectively (step S202).

次に、除算回路２０７により、フーリエ変換装置２０５の出力をフーリエ変換装置２０６の出力で除算する。除算回路２０７の出力が復元用のフィルタ特性となり、この除算回路２０７の出力を逆フーリエ変換装置２０９で逆フーリエ変換することで、実空間の復元用フィルタが得られる（ステップＳ２０３）。 Next, the division circuit 207 divides the output of the Fourier transform device 205 by the output of the Fourier transform device 206. The output of the division circuit 207 becomes a restoration filter characteristic, and the output of the division circuit 207 is inverse Fourier transformed by the inverse Fourier transform unit 209, thereby obtaining a restoration filter for the real space (step S203).

次に、画像入力部２０１から復元対象となる画像を取り込み（ステップＳ２０４）、最後に、復元対象の画像に対して実空間の復元用フィルタすなわち逆フーリエ変換装置２０９の出力を畳み込み演算する（ステップＳ２０５）。これにより、復元画像が画像出力部２１０から出力される。 Next, an image to be restored is fetched from the image input unit 201 (step S204). Finally, a convolution operation is performed on the restoration target image, that is, the output of the inverse Fourier transform device 209 (step S204). S205). As a result, the restored image is output from the image output unit 210.

尚、この第２の実施形態における復元用のフィルタ特性と、実空間の復元用フィルタは、点広がり関数を考慮した、できるだけ小さな大きさの配列としており、第１の実施形態の場合とは異なる。第１の実施形態の場合には、画像の大きさの分だけのフーリエ変換装置を用意し、画像、復元後の点広がり関数、撮影時の点広がり関数に対してフーリエ変換を実施するため、フーリエ変換装置が大規模なものになる。これに対し、第２の実施形態の場合、フーリエ変換装置としては、点広がり関数の実空間の逆フィルタを計算するのに十分な大きさであればよく、例えば、縦横共に２０画素程度を処理できれば済む。 Note that the restoration filter characteristics and the real-space restoration filter in the second embodiment are arranged as small as possible in consideration of the point spread function, and are different from those in the first embodiment. . In the case of the first embodiment, a Fourier transform device corresponding to the size of the image is prepared, and Fourier transform is performed on the image, the point spread function after restoration, and the point spread function at the time of photographing. The Fourier transform device becomes large-scale. On the other hand, in the case of the second embodiment, the Fourier transform device only needs to be large enough to calculate a real space inverse filter of the point spread function. For example, it processes about 20 pixels both vertically and horizontally. I can do it.

図１１は、第２の実施形態における実空間での復元用フィルタの一例を示す図である。縦軸と横軸は夫々実空間における画素位置を示す。濃淡は各画素位置におけるフィルタの数値を表す。復元用のフィルタは中央で値が高いが、そのすぐ近傍の画素で負の値を持つ画素が存在する場合もある。このため、一種の微分フィルタとなっており、高周波成分を強調するフィルタになっていて、このフィルタで画像を畳み込むと画像の分解能が向上する。 FIG. 11 is a diagram illustrating an example of a restoration filter in real space according to the second embodiment. The vertical axis and the horizontal axis indicate pixel positions in the real space, respectively. The shading represents the numerical value of the filter at each pixel position. The restoration filter has a high value in the center, but there may be a pixel having a negative value in the immediate vicinity. For this reason, it is a kind of differential filter, which is a filter that emphasizes high frequency components, and when the image is convolved with this filter, the resolution of the image is improved.

図１２は、第２の実施形態における実空間での復元用フィルタと撮影時に用いた点広がり関数との畳み込み演算の結果を示す図である。縦軸と横軸はそれぞれ実空間における画素位置を表す。畳み込み演算の結果は、図３の撮影時の点広がり関数よりも点像の広がりが小さくなっている。このように、実空間での復元用フィルタで復元対象画像を畳み込むことで、画像のボケを減少させることができる。 FIG. 12 is a diagram illustrating a result of the convolution operation between the restoration filter in the real space and the point spread function used at the time of photographing in the second embodiment. The vertical axis and the horizontal axis represent pixel positions in real space, respectively. As a result of the convolution calculation, the spread of the point image is smaller than the point spread function at the time of photographing shown in FIG. As described above, the image to be blurred can be reduced by convolving the restoration target image with the restoration filter in the real space.

以上のように、本発明の第２の実施形態に係る画像復元装置によれば、復元用のフィルタ特性として、撮影時の点広がり関数のフーリエ変換結果で復元後の点広がり関数のフーリエ変換結果を割った値を用い、それを実空間でのフィルタに変換し、そのフィルタで畳み込み演算するため、復元画像の高周波成分による画像の乱れやざらつきを抑えることが可能となる。 As described above, according to the image restoration apparatus according to the second embodiment of the present invention, as the restoration filter characteristics, the Fourier transform result of the point spread function after restoration using the Fourier transform result of the point spread function at the time of shooting is used. Since the value obtained by dividing is converted into a filter in the real space and the convolution operation is performed by the filter, it is possible to suppress image disturbance and roughness due to high frequency components of the restored image.

尚、本実施形態の画像復元装置では、畳み込み演算を行うフィルタ特性を画像復元装置の内部で計算する構成としたが、畳み込み演算を行うフィルタ特性を、あらかじめ外部の装置で計算しておき、その結果を画像復元装置の中に保存しておきそれを用いる構成としても良い。 In the image restoration apparatus of the present embodiment, the filter characteristic for performing the convolution operation is calculated inside the image restoration apparatus. However, the filter characteristic for performing the convolution operation is calculated in advance by an external device, The result may be stored in the image restoration apparatus and used.

この第２の実施形態の画像復元装置で画像を復元する場合には、高周波成分を減衰させておくことが極めて重要な意味を持っている。逆フーリエ変換を施したフィルタ（逆フィルタ）を作る際に、高周波成分を完全に再現し、点広がり関数と実空間の逆フィルタのとの積が理想的な１点、デルタ関数になるように意図すると、高い次数までフィルタの特性を与えることが必要になる。 When the image is restored by the image restoration apparatus of the second embodiment, it is very important to attenuate the high frequency component. When creating a filter (inverse filter) that has been subjected to inverse Fourier transform, the high-frequency component is completely reproduced so that the product of the point spread function and the inverse filter in real space is an ideal single point, delta function. Intentionally, it is necessary to provide filter characteristics up to higher orders.

しかし、点広がり関数と実空間逆フィルタとの積が微少な広がりを持った点になるようにすると、必要な空間周波数が限られ、高い次数でのフィルタ特性は不要になる。そのため、高周波特性を抑制して微少な広がりを許容することで、実空間での畳み込み行列の大きさが点広がり関数行列の大きさ程度に抑えられる。 However, if the product of the point spread function and the real space inverse filter is a point having a slight spread, the necessary spatial frequency is limited, and the filter characteristic at a high order becomes unnecessary. Therefore, the size of the convolution matrix in the real space can be suppressed to about the size of the point spread function matrix by suppressing the high frequency characteristics and allowing a slight spread.

（第３の実施の形態）
図１３は、本発明の第３の実施の形態に係る画像復元装置のブロック構成図である。本実施形態の画像復元装置３００は、復元対象の画像を入力する画像入力部３０１と、復元後の点広がり関数を入力する入力部３０２と、撮影時の点広がり関数を入力する入力部３０３と、画像入力部３０１が取り込んだ復元対象画像に対して後述の領域拡張処理を施す領域拡張回路３１２と、領域拡張処理後の復元対象画像をフーリエ変換するフーリエ変換装置３０４と、入力部３０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置３０５と、入力部３０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置３０６と、フーリエ変換装置３０５の出力をフーリエ変換装置３０６の出力で除算する除算回路３０７と、フーリエ変換装置３０４の出力に除算回路３０７の出力を乗算する乗算回路３０８と、乗算回路３０８の乗算結果に対して逆フーリエ変換を施す逆フーリエ変換装置３０９と、逆フーリエ変換装置３０９の出力に対して後述の拡張領域除去処理を施す拡張領域除去回路３１３と、拡張領域除去回路３１３の出力を復元画像として出力する画像出力部３１０とを備える。 (Third embodiment)
FIG. 13 is a block diagram of an image restoration apparatus according to the third embodiment of the present invention. The image restoration apparatus 300 according to the present embodiment includes an image input unit 301 that inputs an image to be restored, an input unit 302 that inputs a point spread function after restoration, and an input unit 303 that inputs a point spread function at the time of shooting. The area expansion circuit 312 that performs area expansion processing, which will be described later, on the restoration target image captured by the image input unit 301, the Fourier transform device 304 that Fourier-transforms the restoration target image after the area expansion processing, and the input unit 302 capture A Fourier transform device 305 that Fourier-transforms the restored point spread function, a Fourier transform device 306 that Fourier-transforms the point spread function at the time of photographing captured by the input unit 303, and an output of the Fourier transform device 305 as a Fourier transform device 306. Division circuit 307 that divides by the output of, and a multiplication circuit that multiplies the output of Fourier transform unit 304 by the output of division circuit 307 08, an inverse Fourier transform device 309 that performs an inverse Fourier transform on the multiplication result of the multiplication circuit 308, an extended region removal circuit 313 that performs an expanded region removal process described later on the output of the inverse Fourier transform device 309, and an extension And an image output unit 310 that outputs the output of the region removal circuit 313 as a restored image.

領域拡張回路３１２は、撮影時の点広がり関数の行数の画像領域を、復元対象画像の上端と下端の各々に追加し、撮影時の点広がり関数の列数の画像領域を復元対象画像の右端と左端の各々に追加し、復元対象画像の最外周の画素値を追加領域に代入する処理を行う。領域拡張除去回路３１３は、領域拡張回路３１２とは逆に、復元画像から上記の追加した画像範囲を削除する処理を行う。 The area expansion circuit 312 adds an image area with the number of rows of the point spread function at the time of shooting to each of the upper end and the lower end of the image to be restored, and adds an image area with the number of columns of the point spread function at the time of shooting to the restoration target image. A process of adding the pixel values at the outermost circumference of the restoration target image to the additional region is performed at each of the right end and the left end. In contrast to the area expansion circuit 312, the area expansion removal circuit 313 performs a process of deleting the added image range from the restored image.

図１４は、本発明の第３の実施の形態に係る画像復元装置の動作手順を示すフローチャートである。先ず、復元後の点広がり関数を入力部３０２で読み取る共に撮影時の点広がり関数を入力部３０３で読み取る（ステップＳ３０１）。次に、撮影時の点広がり関数と復元後の点広がり関数とを夫々フーリエ変換装置３０６、３０５でフーリエ変換し（ステップＳ３０２）、除算回路３０７により、フーリエ変換装置３０５の出力をフーリエ変換装置３０６の出力で除算することで復元用のフィルタ特性を算出する（ステップＳ３０３）。フーリエ変換装置３０５、３０６では、画素配列の大きさを、領域拡張回路３１２で拡張した後の画像の大きさと同じにしておく。 FIG. 14 is a flowchart showing an operation procedure of the image restoration apparatus according to the third embodiment of the present invention. First, the restored point spread function is read by the input unit 302 and the point spread function at the time of photographing is read by the input unit 303 (step S301). Next, the point spread function at the time of shooting and the restored point spread function are Fourier transformed by the Fourier transform devices 306 and 305 (step S302), and the output of the Fourier transform device 305 is obtained by the division circuit 307 from the Fourier transform device 306. The restoration filter characteristic is calculated by dividing by the output (step S303). In the Fourier transform devices 305 and 306, the size of the pixel array is set to be the same as the size of the image after being expanded by the region expansion circuit 312.

次に、画像入力部３０１から復元対象画像を読み込み（ステップＳ３０４）、領域拡張回路３１２で復元対象画像に対し画像周辺の画像領域を拡張する（ステップＳ３０５）。例えば、図１５に示す様に、撮影時の点広がり関数の行数の画像領域を、画像の上端と下端の各々に追加し、撮影時の点広がり関数の列数の画像領域を画像の右端と左端の各々に追加する。そして、追加した拡張領域の部分の値として、画像の最外周の画素値を代入しておく。 Next, the restoration target image is read from the image input unit 301 (step S304), and the area expansion circuit 312 expands the image area around the restoration target image (step S305). For example, as shown in FIG. 15, an image area having the number of rows of the point spread function at the time of shooting is added to each of the upper end and the lower end of the image, and an image area having the number of columns of the point spread function at the time of shooting is added to the right end of the image. And to the left end of each. Then, the pixel value at the outermost periphery of the image is substituted as the value of the added extended area portion.

次に、画像の最外周が領域拡張された復元対象画像をフーリエ変換装置３０４でフーリエ変換し（ステップＳ３０６）、フーリエ変換結果に対して乗算回路３０８で復元用のフィルタ特性を乗算する（ステップＳ３０７）。次に、乗算回路３０８の乗算結果に対して逆フーリエ変換装置３０９が逆フーリエ変換を行い（ステップＳ３０８）、最後に、拡張領域除去回路３１３が逆フーリエ変換結果から拡張領域を除去して元々の復元画像範囲を切り出し（ステップＳ３０９）、画像出力部３１０から復元画像として出力する。 Next, the restoration target image in which the outermost periphery of the image is expanded is subjected to Fourier transformation by the Fourier transform device 304 (Step S306), and the Fourier transformation result is multiplied by the restoration filter characteristic by the multiplication circuit 308 (Step S307). ). Next, the inverse Fourier transform unit 309 performs inverse Fourier transform on the multiplication result of the multiplication circuit 308 (step S308). Finally, the extension region removal circuit 313 removes the extension region from the inverse Fourier transform result, and the original result is obtained. The restored image range is cut out (step S309), and is output from the image output unit 310 as a restored image.

以上のように、本発明の第３の実施の形態に係る画像復元装置によれば、画像範囲を拡大する前処理回路（領域拡張回路３１２）を追加し、追加した領域を除去する後処理回路（拡張領域除去回路３１３）を付加したため、画像復元で周期的な境界条件を仮定することにより生じるノイズすなわち復元画像の縁部分に生じるノイズを防ぐことができる。 As described above, according to the image restoration apparatus according to the third embodiment of the present invention, the pre-processing circuit (region expansion circuit 312) for expanding the image range is added, and the post-processing circuit for removing the added region Since the (extended region removal circuit 313) is added, it is possible to prevent noise generated by assuming periodic boundary conditions in image restoration, that is, noise generated in the edge portion of the restored image.

（第４の実施の形態）
図１６は、本発明の第４の実施の形態に係る画像復元装置のブロック構成図である。本実施形態に係る画像復元装置４００は、復元対象の画像を入力する画像入力部４０１と、復元後の点広がり関数を入力する入力部４０２と、撮影時の点広がり関数を入力する入力部４０３と、画像入力部４０１が取り込んだ復元対象画像に対して第３の実施形態と同様に領域拡張処理を施す領域拡張回路４１２と、入力部４０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置４０５と、入力部４０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置４０６と、フーリエ変換装置４０５の出力をフーリエ変換装置４０６の出力で除算する除算回路４０７と、除算回路４０７の出力を逆フーリエ変換する逆フーリエ変換装置４０９と、領域拡張回路４１２の出力に対して逆フーリエ変換装置４０９の変換結果を畳み込み演算する畳み込み回路４１１と、畳み込み回路４１１の出力結果から第３の実施形態と同様に拡張領域を除去する拡張領域除去回路４１３と、拡張領域除去回路４１３の出力を復元画像として出力する画像出力部４１０とを備える。 (Fourth embodiment)
FIG. 16 is a block configuration diagram of an image restoration apparatus according to the fourth embodiment of the present invention. An image restoration apparatus 400 according to the present embodiment includes an image input unit 401 that inputs an image to be restored, an input unit 402 that inputs a point spread function after restoration, and an input unit 403 that inputs a point spread function at the time of shooting. Then, a region expansion circuit 412 that performs region expansion processing on the restoration target image captured by the image input unit 401 in the same manner as in the third embodiment, and the restored point spread function captured by the input unit 402 are Fourier-transformed. A Fourier transform device 405; a Fourier transform device 406 that Fourier-transforms the point spread function at the time of photographing captured by the input unit 403; a division circuit 407 that divides the output of the Fourier transform device 405 by the output of the Fourier transform device 406; An inverse Fourier transform device 409 that performs inverse Fourier transform on the output of the circuit 407, and an inverse Fourier transform device 4 for the output of the region expansion circuit 412. 9, a convolution circuit 411 that performs a convolution operation on the conversion result, an extension region removal circuit 413 that removes an extension region from the output result of the convolution circuit 411, and an output of the extension region removal circuit 413, which are restored images. And an image output unit 410 that outputs as

図１７は、第４の実施形態に係る画像復元装置の動作手順を示すフローチャートである。まず、復元後の点広がり関数を入力部４０２から取り込むと共に撮影時の点広がり関数を入力部４０３から取り込む（ステップＳ４０１）。次に、撮影時の点広がり関数と復元時の点広がり関数とをフーリエ変換装置４０６、４０５で夫々フーリエ変換し（ステップＳ４０２）、両フーリエ変換結果に基づいて除算回路４０７で復元用のフィルタ特性を算出した後に逆フーリエ変換装置４０９で逆フーリエ変換し、逆フーリエ変換結果の実部を、復元のための実空間の復元用フィルタとする（ステップＳ４０３）。 FIG. 17 is a flowchart illustrating an operation procedure of the image restoration apparatus according to the fourth embodiment. First, the restored point spread function is taken in from the input unit 402 and the point spread function at the time of shooting is taken in from the input unit 403 (step S401). Next, the point spread function at the time of photographing and the point spread function at the time of restoration are Fourier transformed by the Fourier transform devices 406 and 405, respectively (step S402), and the filter characteristics for restoration are obtained by the division circuit 407 based on the results of both Fourier transformations. Is calculated, and the inverse Fourier transform is performed by the inverse Fourier transform device 409, and the real part of the inverse Fourier transform result is used as a restoration filter for restoring the real space (step S403).

次に、画像入力部４０１で復元対象画像を読み込み（ステップＳ４０４）、領域拡張回路４１２で、復元対象画像に対し画像周辺の画像領域を拡張する（ステップＳ４０５）。拡張は、第３の実施形態と同様に行う。 Next, the image to be restored is read by the image input unit 401 (step S404), and the image area around the image is expanded by the area expanding circuit 412 (step S405). Expansion is performed in the same manner as in the third embodiment.

次に、畳み込み回路４１１で、領域拡張を行った画像に対し、復元のための実空間のフィルタを用いて畳み込み演算を実施し、拡張領域を含む復元画像を得る（ステップＳ４０６）。最後に、拡張領域除去回路４１３で、その画像から元々の画像に対応する範囲を切り出し（ステップＳ４０７）、その結果を画像出力回路４１０から復元画像として出力する。 Next, the convolution circuit 411 performs a convolution operation on the image that has undergone region expansion using a real-space filter for restoration, and obtains a restored image that includes the expanded region (step S406). Finally, the extended area removal circuit 413 cuts out a range corresponding to the original image from the image (step S407), and outputs the result from the image output circuit 410 as a restored image.

以上のように、本発明の第４の実施の形態に係る画像復元装置によれば、画像範囲を拡大する前処理回路（領域拡張回路４１２）を追加し、追加した領域を除去する後処理回路（拡張領域除去回路４１３）を付加したため、画像復元で周期的な境界条件を仮定することにより生じるノイズを防ぐことができる。 As described above, according to the image restoration apparatus according to the fourth embodiment of the present invention, the pre-processing circuit (region expansion circuit 412) for expanding the image range is added, and the post-processing circuit for removing the added region Since the (extended area removal circuit 413) is added, it is possible to prevent noise caused by assuming periodic boundary conditions in image restoration.

（第５の実施の形態）
図１８は、動画を構成する各画像をリアルタイムに復元処理する本発明の第５の実施形態に係る画像復元装置５００のブロック構成図である。本実施形態に係る画像復元装置５００は、復元対象の画像を入力する画像入力部５０１と、復元後の点広がり関数を入力する入力部５０２と、撮影時の点広がり関数を入力する入力部５０３と、画像入力部５０１が取り込んだ復元対象画像に対して第３の実施形態と同様に領域拡張処理を施す領域拡張回路５１２と、入力部５０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置５０５と、入力部５０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置５０６と、フーリエ変換装置５０５の出力をフーリエ変換装置５０６の出力で除算する除算回路５０７と、除算回路５０７の出力を逆フーリエ変換する逆フーリエ変換装置５０９と、領域拡張回路５１２の出力に対して逆フーリエ変換装置５０９の変換結果を後述する様にして畳み込み演算する単一のＦＩＲフィルタで実装される畳み込み回路５１１と、畳み込み回路５１１の出力結果から第３の実施形態と同様に拡張領域を除去する拡張領域除去回路５１３と、拡張領域除去回路５１３の出力を復元画像として出力する画像出力部５１０とを備える。 (Fifth embodiment)
FIG. 18 is a block configuration diagram of an image restoration apparatus 500 according to the fifth embodiment of the present invention, which restores each image constituting a moving image in real time. An image restoration apparatus 500 according to the present embodiment includes an image input unit 501 that inputs an image to be restored, an input unit 502 that inputs a point spread function after restoration, and an input unit 503 that inputs a point spread function at the time of shooting. Then, a region expansion circuit 512 that performs region expansion processing on the restoration target image captured by the image input unit 501 as in the third embodiment, and Fourier transform of the restored point spread function captured by the input unit 502 A Fourier transform unit 505; a Fourier transform unit 506 that performs Fourier transform on the point spread function at the time of capture captured by the input unit 503; a division circuit 507 that divides the output of the Fourier transform unit 505 by the output of the Fourier transform unit 506; An inverse Fourier transform device 509 that performs inverse Fourier transform on the output of the circuit 507, and an inverse Fourier transform device 5 for the output of the region expansion circuit 512. A convolution circuit 511 implemented by a single FIR filter that performs a convolution operation as will be described later, and an extension region removal that removes an extension region from the output result of the convolution circuit 511 as in the third embodiment. A circuit 513 and an image output unit 510 that outputs the output of the extended region removal circuit 513 as a restored image are provided.

上記実施形態において、領域拡張回路５１２からの出力は、画像データを１方向にスイープした時系列データであり、それを単一のＦＩＲフィルタで実装される畳み込み回路の入力とすることで、各画素に対する畳み込み演算を共通の電気回路で実装できる。画像データの入力サイズを増大させた場合においても、単に時系列データが長くなっただけである。単一のＦＩＲフィルタの構成としては、実空間での復元フィルタの２次元配列を、画像データと同一方向にスイープして、各行に対応する部分ＦＩＲフィルタを作成する。それぞれの行に対応する部分ＦＩＲフィルタは、行の長さの調整分だけの遅延回路を伴って数珠繋ぎに接続する。各ＦＩＲ部分フィルタの出力を加算回路で和をとって出力する。そうすると、これらのＦＩＲフィルタの組み合わせは、行の長さの調整分だけの遅延回路を含んだＦＩＲフィルタとみなせる。画像は全体のＦＩＲフィルタに対し１箇所から、時系列データとしてスイープして与え、その出力は加算回路からの出力としてスイープされた画像として与えられる点で、構成が極めて単純化される。 In the above embodiment, the output from the region expansion circuit 512 is time-series data obtained by sweeping image data in one direction, and is used as an input of a convolution circuit implemented by a single FIR filter. Can be implemented with a common electrical circuit. Even when the input size of the image data is increased, the time-series data is simply increased. As a configuration of a single FIR filter, a two-dimensional array of restoration filters in real space is swept in the same direction as image data to create a partial FIR filter corresponding to each row. The partial FIR filters corresponding to the respective rows are connected in a daisy chain with a delay circuit corresponding to the adjustment of the row length. The output of each FIR partial filter is summed by an adder circuit and output. Then, the combination of these FIR filters can be regarded as an FIR filter including a delay circuit corresponding to the adjustment of the row length. The configuration is extremely simplified in that the image is swept and given as time series data from one place to the entire FIR filter, and the output is given as a swept image as the output from the adder circuit.

カメラ光学系に収差の影響がある場合には、点広がり関数は画面上の位置（画角）によって異なってくる。画角に応じた撮影時の点広がり関数は、１つの画像データに対し、画角により異なる撮影時の点広がり関数となる。このため、逆フーリエ変換装置５０９から出力される実空間でのフィルタ特性も、画角に応じて異なることになる。そこで、本実施形態の画像復元装置５００では、撮影時の点広がり関数を入力する入力部５０２から、単一のＦＩＲフィルタで実装される畳み込み回路５１１までは、画角に応じた複数の点広がり関数とそれに応じた実空間の復元用フィルタを利用できる構成になっている。 When the camera optical system is affected by aberrations, the point spread function varies depending on the position (view angle) on the screen. The point spread function at the time of shooting according to the angle of view is a point spread function at the time of shooting that differs depending on the angle of view for one image data. For this reason, the filter characteristics in the real space output from the inverse Fourier transform device 509 also differ depending on the angle of view. Therefore, in the image restoration apparatus 500 of the present embodiment, a plurality of point spreads corresponding to the angle of view are provided from the input unit 502 for inputting a point spread function at the time of shooting to the convolution circuit 511 implemented by a single FIR filter. The function and a real-space restoration filter corresponding to the function can be used.

図１９は、第５の実施形態に係る画像復元装置の動作手順を示すフローチャートである。まず、画角に応じた撮影時の点広がり関数を入力部５０３から取り込む（ステップＳ５０１）。次に、復元後の点広がり関数と、画角に応じた撮影時の点広がり関数とを、夫々、フーリエ変換装置５０５、５０６でフーリエ変換する（ステップＳ５０２）。 FIG. 19 is a flowchart illustrating an operation procedure of the image restoration apparatus according to the fifth embodiment. First, a point spread function at the time of shooting corresponding to the angle of view is taken from the input unit 503 (step S501). Next, the point spread function after restoration and the point spread function at the time of shooting corresponding to the angle of view are Fourier transformed by the Fourier transform devices 505 and 506, respectively (step S502).

次に、除算回路５０７により、フーリエ変換装置５０５の出力をフーリエ変換装置５０６の出力で除算し、その結果を逆フーリエ変換装置５０９で逆フーリエ変換し、その実数部を取り出して実空間での復元用のフィルタとする（ステップＳ５０３）。上述したステップＳ５０１からステップＳ５０３まで処理において、画角に応じた点広がり関数を使うことにより、ステップＳ５０３で得られる実空間での復元用のフィルタも、画角に応じて異なるものとなる。 Next, the division circuit 507 divides the output of the Fourier transform unit 505 by the output of the Fourier transform unit 506, the result is inverse Fourier transformed by the inverse Fourier transform unit 509, and the real part is extracted and restored in real space. Filter (step S503). In the processing from step S501 to step S503 described above, by using a point spread function corresponding to the angle of view, the restoration filter in the real space obtained in step S503 also differs depending on the angle of view.

次に、画像入力部５０１から復元対象の画像を入力する（ステップＳ５０４）。そして、領域拡張回路５１２で、復元対象の画像に対し、画像の周辺に画像領域を拡張する（ステップＳ５０５）。拡張は、第３の実施形態と同様に行う。 Next, an image to be restored is input from the image input unit 501 (step S504). Then, the region expansion circuit 512 expands the image region around the image with respect to the restoration target image (step S505). Expansion is performed in the same manner as in the third embodiment.

次に、単一のＦＩＲフィルタで実装される畳み込み回路５１１により、画像の時系列データを畳み込んで、時系列として畳み込み後の画像を出力する。単一のＦＩＲフィルタで実装される畳み込み回路５１１は、画像復元のための実空間のフィルタを用いたものである。入力が拡張領域を含む画像データであるため、単一のＦＩＲフィルタで実装される畳み込み回路５１１の出力も拡張領域を含む画像データである。元々２次元の画像データを１次元の時系列として単一のフィルタで畳み込む際に生じる不連続の影響は、画像の拡張領域にだけ現れ、本来の画像領域には現れない。このため、本構成を用いて、２次元の画像に対する実空間での畳み込みを単一のＦＩＲフィルタで行うことができる。 Next, the convolution circuit 511 implemented by a single FIR filter convolves the time-series data of the image and outputs the image after convolution as a time-series. The convolution circuit 511 implemented by a single FIR filter uses a real space filter for image restoration. Since the input is image data including an extension region, the output of the convolution circuit 511 implemented by a single FIR filter is also image data including the extension region. The discontinuous influence that originally occurs when two-dimensional image data is convolved with a single filter as a one-dimensional time series appears only in the extended region of the image and does not appear in the original image region. For this reason, using this configuration, it is possible to perform convolution of a two-dimensional image in real space with a single FIR filter.

画角による点広がり関数の違いを取り入れる場合は、画角によって復元用フィルタすなわち上記ＦＩＲフィルタでの係数が異なることとなるため、画角の領域に応じて、実空間での復元用フィルタを切り替えつつ畳み込み演算を実施し、拡張領域を含む復元画像を得る（ステップＳ５０６）。 When the difference in the point spread function depending on the angle of view is taken into account, the coefficients in the restoration filter, that is, the FIR filter differ depending on the angle of view, so the restoration filter in the real space is switched depending on the area of the angle of view. While performing the convolution operation, a restored image including the extended region is obtained (step S506).

そして、拡張領域除去回路５１３により、拡張領域を含む復元画像から元々の画像に対応する範囲を切り出し（ステップＳ５０７）、その結果を画像出力回路５１０から復元画像として出力する。 Then, the extended area removing circuit 513 cuts out a range corresponding to the original image from the restored image including the extended area (step S507), and the result is output from the image output circuit 510 as a restored image.

以上のように、本発明の第５の実施の形態に係る画像復元装置によれば、画角により異なる撮影時の点広がり関数から、画角に応じた復元用の実空間のフィルタを切り替えつつ単一のＦＩＲフィルタで画像データを畳み込む仕組みを設けたため、復元画像に生じるリンギングを低下させ、良好な復元画像の得ることが可能になると共に、復元処理を、画像全体がそろうのを待たずに開始でき、リアルタイム性が向上するという利点を持つ。 As described above, according to the image restoration device according to the fifth embodiment of the present invention, while switching the real space filter for restoration according to the angle of view from the point spread function at the time of shooting that varies depending on the angle of view. Since a mechanism that convolves image data with a single FIR filter is provided, it is possible to reduce ringing that occurs in the restored image, obtain a good restored image, and to perform restoration processing without waiting for the entire image to be aligned. It has the advantage of being able to start and improving real time.

なお、以上の説明では、画像領域の拡張と画像領域の切り出しを行う構成としたが、それらを有しない構成、つまり、領域拡張回路５１２と拡張領域除去回路５１３を有しない画像復元装置とすることも可能である。 In the above description, the configuration is such that the image region is expanded and the image region is cut out. However, the configuration does not include them, that is, the image restoration device does not include the region expansion circuit 512 and the expansion region removal circuit 513. Is also possible.

以上述べた第１から第５の実施形態に係る画像復元装置では、撮影時の点広がり関数を、各カメラ条件（ズーム、焦点距離、Ｆナンバーなどの条件）であらかじめ測定しておき、撮影時には、撮影時のカメラの条件だけを転送することで、対応する撮影時の点広がり関数を選び出し、その結果対応する実空間でのフィルタを選択することで置き換えてもよい。この場合、対応する実空間でのフィルタの計算をあらかじめ別の装置で実施しておけば、画像復元装置の中にはフーリエ変換装置、逆フーリエ変換装置、除算回路、乗算回路が不要になり、実空間でのフィルタを選択する回路と画像を畳み込む回路だけで、画像復元が可能になる。 In the image restoration apparatuses according to the first to fifth embodiments described above, the point spread function at the time of shooting is measured in advance under each camera condition (conditions such as zoom, focal length, and F number), and at the time of shooting. Alternatively, by transferring only the camera conditions at the time of shooting, the corresponding point spread function at the time of shooting may be selected, and as a result, the corresponding filter in the real space may be selected and replaced. In this case, if the calculation of the filter in the corresponding real space is performed in advance by another device, a Fourier transform device, an inverse Fourier transform device, a division circuit, and a multiplication circuit become unnecessary in the image restoration device, Image restoration is possible only with a circuit for selecting a filter in real space and a circuit for convolving an image.

本発明の画像復元方法およびその装置は、高周波成分を減衰させることで復元後の画像で高周波成分による画像の乱れやざらつきを抑えることができるという効果を有し、特にカメラ（デジタルスチルカメラや動画のカメラ）で取得した画像（劣化画像）から高解像度の画像を復元することができ、画像復元装置等として有用である。また、デジタルカメラや動画カメラの分野で、撮影画像の解像度を向上させる画像復元方法として有用であり、更に、ラインセンサによるスキャン画像の解像度を向上させる画像復元方法としても有効である。 The image restoration method and apparatus according to the present invention have the effect of suppressing image disturbance and roughness due to high-frequency components in the restored image by attenuating high-frequency components, and in particular, cameras (digital still cameras and moving images). It is possible to restore a high-resolution image from an image (degraded image) acquired by a camera), which is useful as an image restoration device or the like. Further, in the field of digital cameras and video cameras, it is useful as an image restoration method for improving the resolution of a captured image, and is also effective as an image restoration method for improving the resolution of a scanned image by a line sensor.

本発明の第１の実施の形態における画像復元装置のブロック構成図The block block diagram of the image restoration apparatus in the 1st Embodiment of this invention 本発明の第１の実施の形態における画像復元装置の動作手順を示すフローチャートThe flowchart which shows the operation | movement procedure of the image restoration apparatus in the 1st Embodiment of this invention. 本発明の第１の実施形態における撮影時に用いた点広がり関数の一例を示す図The figure which shows an example of the point spread function used at the time of imaging | photography in the 1st Embodiment of this invention. 本発明の第１の実施形態における撮影時に用いた点広がり関数の水平方向の断面の一例を示す図The figure which shows an example of the cross section of the horizontal direction of the point spread function used at the time of imaging | photography in the 1st Embodiment of this invention. 本発明の第１の実施形態における撮影時に用いた点広がり関数に対応する水平方向のＭＴＦの一例を示す図The figure which shows an example of horizontal MTF corresponding to the point spread function used at the time of imaging | photography in the 1st Embodiment of this invention. 本発明の第１の実施形態における復元時の点広がり関数の一例を示す図The figure which shows an example of the point spread function at the time of decompression | restoration in the 1st Embodiment of this invention 本発明の第１の実施形態における復元時の点広がり関数に対応するＭＴＦの一例を示す図The figure which shows an example of MTF corresponding to the point spread function at the time of restoration in the 1st embodiment of the present invention. 本発明の第１の実施形態における復元用のフィルタ特性の一例を示す図The figure which shows an example of the filter characteristic for a restoration in the 1st Embodiment of this invention 本発明の第２の実施の形態における画像復元装置のブロック構成図The block block diagram of the image decompression | restoration apparatus in the 2nd Embodiment of this invention 本発明の第２の実施の形態における画像復元装置の動作手順を示すフローチャートThe flowchart which shows the operation | movement procedure of the image restoration apparatus in the 2nd Embodiment of this invention. 本発明の第２の実施形態における実空間での復元フィルタの一例を示す図The figure which shows an example of the decompression | restoration filter in the real space in the 2nd Embodiment of this invention. 本発明の第２の実施形態における実空間での復元フィルタと撮影時に用いた点広がり関数との畳み込み結果を示す図The figure which shows the convolution result of the restoration filter in the real space and the point spread function used at the time of imaging | photography in the 2nd Embodiment of this invention. 本発明の第３の実施の形態における画像復元装置のブロック構成図The block block diagram of the image restoration apparatus in the 3rd Embodiment of this invention 本発明の第３の実施の形態における画像復元装置の動作手順を示すフローチャートThe flowchart which shows the operation | movement procedure of the image restoration apparatus in the 3rd Embodiment of this invention. 本発明の第３の実施の形態における領域拡張回路による画像範囲の拡張例を示す図The figure which shows the example of expansion of the image range by the area | region expansion circuit in the 3rd Embodiment of this invention 本発明の第４の実施の形態における画像復元装置のブロック構成図The block block diagram of the image restoration apparatus in the 4th Embodiment of this invention 本発明の第４の実施の形態における画像復元装置の動作手順を示すフローチャートThe flowchart which shows the operation | movement procedure of the image restoration apparatus in the 4th Embodiment of this invention. 本発明の第５の実施形態における画像復元装置のブロック構成図The block block diagram of the image restoration apparatus in the 5th Embodiment of this invention 本発明の第５の実施形態における画像復元装置の動作手順を示すフローチャートThe flowchart which shows the operation | movement procedure of the image restoration apparatus in the 5th Embodiment of this invention. 従来の画像復元装置のブロック構成図Block diagram of a conventional image restoration device 従来の画像復元装置の動作手順を示すフローチャートThe flowchart which shows the operation | movement procedure of the conventional image restoration apparatus.

Explanation of symbols

１００、２００、３００、４００、５００画像復元装置
１０１、２０１、３０１、４０１、５０１画像入力部
１０２、２０２、３０２、４０２、５０２、復元後の点広がり関数の入力部
１０３、２０３、３０３、４０３、５０３、撮影時の点広がり関数の入力部
１０４、１０５、１０６、２０５、２０６、３０４、３０５、３０６、４０５、４０６、５０５、５０６フーリエ変換装置
１０７、２０７、３０７、４０７、５０７除算回路
１０８、３０８乗算回路
１０９、２０９、３０９、４０９、５０９逆フーリエ変換装置
１１０、２１０、３１０、４１０、５１０画像出力部
２１１、４１１畳み込み回路
３１２、４１２、５１２領域拡張回路
３１３、４１３、５１３拡張領域除去回路
５１１単一のＦＩＲフィルタで実装される畳み込み演算部 100, 200, 300, 400, 500 Image restoration apparatus 101, 201, 301, 401, 501 Image input unit 102, 202, 302, 402, 502, Point spread function input unit 103, 203, 303, 403 after restoration , 503, point spread function input unit 104, 105, 106, 205, 206, 304, 305, 306, 405, 406, 505, 506 Fourier transform device 107, 207, 307, 407, 507 Division circuit 108 , 308 Multiplier circuits 109, 209, 309, 409, 509 Inverse Fourier transform devices 110, 210, 310, 410, 510 Image output units 211, 411 Convolution circuits 312, 412, 512 Region expansion circuits 313, 413, 513 Expansion region removal Circuit 511 Convolution implemented with a single FIR filter Arithmetic unit

Claims

A value obtained by dividing the Fourier transform of the point spread function after restoration by the Fourier transform of the point spread function at the time of shooting the restoration target image is used as a restoration filter, and the Fourier transformation of the restoration target image is multiplied by the restoration filter in a frequency space, An image restoration method, wherein an image obtained by performing inverse Fourier transform on the multiplication result is used as a restored image.

Dividing the Fourier transform of the restored point spread function by the Fourier transform of the point spread function at the time of shooting the image to be restored, taking out the real part of the result obtained by inverse Fourier transform of the divided value, and taking the real part A restoration filter in real space, and an image obtained by convolving the restoration target image with the restoration filter is a restoration image.

The restoration filter in the real space calculated from the point spread function at the time of shooting is a single FIR filter, and the restoration image is obtained by performing convolution with the FIR filter on the time series swept in the direction of the restoration target image 1. The image restoration method according to claim 2, wherein the point spread function and the restoration filter are switched according to an angle of view.

An image area corresponding to the number of rows of the point spread function at the time of shooting is added to each of the upper end and the lower end of the restoration target image, and the number of columns of the point spread function at the time of shooting is added to each of the left end and the right end of the restoration target image. Image areas are added, the restored image is obtained from the restoration target image to which the image area is added, and an image in a range obtained by removing the added image area from the restored image is set as a true restored image. The image restoration method according to any one of claims 1 to 3.

An input means for inputting the restoration target image, and a value obtained by dividing the Fourier transform of the restored point spread function by the Fourier transform of the point spread function at the time of shooting the restoration target image is used as a restoration filter, and the restoration filter is used for the restoration target image. An image restoration apparatus comprising: processing means for multiplying Fourier transform and then inverse Fourier transform; and output means for outputting an image obtained by the inverse Fourier transform as a restored image.

An input means for inputting an image to be restored, and a real part of a result obtained by performing an inverse Fourier transform on a value obtained by dividing the Fourier transform of the restored point spread function by the Fourier transform of the point spread function at the time of capturing the image to be restored An image restoration apparatus comprising: processing means for performing a convolution operation on the restoration target image as a restoration filter; and output means for outputting an image obtained as a result of the convolution operation as a restoration image.

The restoration filter in the real space calculated from the point spread function at the time of shooting is a single FIR filter, and the restoration image is obtained by performing convolution with the FIR filter on the time series swept in the direction of the restoration target image 1. The image restoration apparatus according to claim 6, further comprising: means for switching the point spread function and the restoration filter according to an angle of view.

An image area corresponding to the number of rows of the point spread function at the time of shooting is added to each of the upper end and the lower end of the restoration target image, and the number of columns of the point spread function at the time of shooting is added to each of the left end and the right end of the restoration target image. Area expansion means for adding image areas, and the processing means removes the added image area from the image obtained by processing the restoration target image to which the image area has been added to obtain a restored image and output the image The image restoration apparatus according to claim 5, further comprising an extended area removing unit that outputs the image from the unit.