JP2016115318A - Blurring correction device, super-resolution device, and program - Google Patents
Blurring correction device, super-resolution device, and program Download PDFInfo
- Publication number
- JP2016115318A JP2016115318A JP2014256132A JP2014256132A JP2016115318A JP 2016115318 A JP2016115318 A JP 2016115318A JP 2014256132 A JP2014256132 A JP 2014256132A JP 2014256132 A JP2014256132 A JP 2014256132A JP 2016115318 A JP2016115318 A JP 2016115318A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- correction
- resolution
- correction pattern
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 120
- 238000004364 calculation method Methods 0.000 description 45
- 238000000034 method Methods 0.000 description 22
- 230000002787 reinforcement Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 16
- 230000003014 reinforcing effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Abstract
Description
本発明は、ぼやけ補正装置、超解像装置およびプログラムに関する。 The present invention relates to a blur correction device, a super-resolution device, and a program.
ぼやけた画像などの信号を補正する技術として、ぼやけの点拡がり関数を逆補正する技術がある。逆補正の方法として、ウィーナフィルタを用いる手法や、仮の補正結果をぼやけさせたものが入力信号に一致するよう反復演算を行うことで補正結果を鮮鋭な画像に収束させる手法がある。 As a technique for correcting a signal such as a blurred image, there is a technique that reversely corrects a blurred point spread function. As a method of inverse correction, there are a method using a Wiener filter and a method of converging the correction result into a sharp image by performing iterative calculation so that the blurred result of the temporary correction result matches the input signal.
一方、画像の解像度を変換する場合、入力画像に補間関数を畳み込み、入力画像とは異なる標本化周期で標本化を行うことが行われる。特に、出力画像の解像度の方が入力画像の解像度よりも高い場合には、入力画像のナイキスト周波数を超える信号成分を補うことで精細感のある出力画像を得る超解像技術が用いられることもある。
超解像技術には、画像が時系列で与えられる場合に、注目する画像と、時刻の近い他の画像とを、画像領域ごとにサブピクセル精度で動き補償（位置合わせ）し、当該位置合わせのされた画像同士を重畳することでナイキスト周波数を超える信号成分を再生する複数フレーム超解像技術がある。
On the other hand, when converting the resolution of an image, an interpolation function is convolved with the input image, and sampling is performed at a sampling period different from that of the input image. In particular, when the resolution of the output image is higher than the resolution of the input image, a super-resolution technique that obtains a fine output image by supplementing the signal component exceeding the Nyquist frequency of the input image may be used. is there.
In super-resolution technology, when images are given in chronological order, motion compensation (alignment) is performed for each image area with subpixel accuracy for the image of interest and other images that are close in time. There is a multi-frame super-resolution technique for reproducing signal components exceeding the Nyquist frequency by superimposing the processed images.
また、１枚の画像からナイキスト周波数を超える信号成分を人工的に合成することで見た目の精細感を向上する手法もあり、単一フレーム超解像技術と呼ばれる。
例えば、単一フレーム超解像技術の一つである非線形法では、入力画像の高域成分に非線形関数を適用することで高調波を生成する。この手法では、空間方向のぼやけを補償する目的で振幅方向に高調波を重畳することで信号の勾配を高めることが行われる（例えば、特許文献１参照）。
There is also a technique for improving the fineness of the appearance by artificially synthesizing a signal component exceeding the Nyquist frequency from one image, which is called a single frame super-resolution technique.
For example, in the nonlinear method that is one of the single-frame super-resolution techniques, harmonics are generated by applying a nonlinear function to the high-frequency component of the input image. In this method, for the purpose of compensating for blur in the spatial direction, the signal gradient is increased by superimposing harmonics in the amplitude direction (see, for example, Patent Document 1).
また、別の単一フレーム超解像技術として学習型超解像がある。学習型超解像では、予め画像の小領域について低解像度のパッチと高解像度のパッチの対をデータベース化しておき、入力された低解像画像の部分ごとにデータベースを参照しつつ高解像度のパッチに変換していく。このようにすることで、データベースに妥当なテクスチャが登録されていれば自然な高精細化が可能となる（例えば、特許文献２参照）。 Another single frame super-resolution technique is a learning type super-resolution. In learning-type super-resolution, a pair of low-resolution patches and high-resolution patches is stored in a database for a small area of the image in advance, and high-resolution patches are referenced while referring to the database for each portion of the input low-resolution image. It will be converted to. By doing in this way, if the appropriate texture is registered in the database, natural high definition can be achieved (for example, see Patent Document 2).
しかし、ぼやけの点拡がり関数を逆補正する手法では、当該点拡がり関数が既知である必要があり、もし想定した点拡がり関数と実際の点拡がり関数とに齟齬があれば復元結果にはアーチファクトを生じる。
また、ぼやけの点拡がり関数の周波数伝達特性に零点（ヌル）がある場合、該零点の成分については逆伝達特性が特異となるため復元ができない。同様に、ぼやけが理想低域通過型フィルタに近い周波数伝達特性を有する場合には、高域成分がほぼ零となるため、これを逆補正することは困難である。とくに画像に雑音が含まれる場合には、信号成分の補正効果よりも雑音成分の増幅効果が目立つようになり、かえって画質の低下を招くことがある。
However, in the method of inversely correcting the blurred point spread function, the point spread function needs to be known, and if there is a discrepancy between the assumed point spread function and the actual point spread function, artifacts will be added to the restoration result. Arise.
Further, when there is a zero point (null) in the frequency transfer characteristic of the blurred point spread function, the zero point component cannot be restored because the reverse transfer characteristic is singular. Similarly, when the blur has a frequency transfer characteristic close to that of an ideal low-pass filter, it is difficult to reversely correct this because the high-frequency component becomes almost zero. In particular, when noise is included in an image, the amplification effect of the noise component becomes more conspicuous than the correction effect of the signal component, and the image quality may be deteriorated.
複数フレーム超解像による場合であっても、入力される画像に該画像のナイキスト周波数を超える成分が折り返し歪として含まれていなければ原理的に高域復元が不可能である。また、複数の画像対から得た動きベクトルの集合について、水平成分の小数部および垂直成分の小数部からなるベクトルの集合が開領域（０，１）×（０，１）（但し、演算子×は直積）内において均一に分布していなければバランスのよい（水平および垂直方向の精細感の差異の少ない）高域復元ができないという問題もある。
単一フレーム超解像の非線形法による場合、空間方向のぼやけを補償する目的で振幅方向に高調波を重畳する。このため、信号波形にオーバシュートやアンダシュート、リンギングなどのアーチファクトを生じやすいという問題がある。
Even in the case of multi-frame super-resolution, if the input image does not include a component exceeding the Nyquist frequency of the image as aliasing distortion, high-frequency restoration is impossible in principle. Also, for a set of motion vectors obtained from a plurality of image pairs, a set of vectors consisting of a fractional part of the horizontal component and a fractional part of the vertical component is an open region (0,1) × (0,1) (provided that the operator There is also a problem that high-frequency restoration with a good balance (small difference in fineness in the horizontal and vertical directions) cannot be achieved unless X is a uniform product.
In the case of the single frame super-resolution nonlinear method, harmonics are superimposed in the amplitude direction for the purpose of compensating for blur in the spatial direction. Therefore, there is a problem that artifacts such as overshoot, undershoot and ringing are likely to occur in the signal waveform.
学習型超解像の効果は、データベースの質と量に左右される。データベースに予め登録されていないテクスチャに対して本手法は無力である。学習型超解像においては、予め、学習用の低解像画像と高解像画像の対を用い、機械学習によってデータベース構築が行われる。このときの学習用画像内のテクスチャに偏りがある場合や、学習用画像の量が十分でない場合には、学習の汎化がなされない。このような汎化がなされていないデータベースを用いた場合、学習型超解像の出力する画像は不自然な画像となってしまう。 The effectiveness of learning super-resolution depends on the quality and quantity of the database. This method is ineffective for textures not previously registered in the database. In learning-type super-resolution, a database is constructed in advance by machine learning using a pair of a low-resolution image and a high-resolution image for learning. If the texture in the learning image at this time is biased or the amount of the learning image is not sufficient, generalization of learning is not performed. When such a database that has not been generalized is used, the image output by the learning type super-resolution becomes an unnatural image.
本発明は、このような事情に鑑みてなされたもので、より自然にぼやけを補正することができるぼやけ補正装置、超解像装置およびプログラムを提供する。 The present invention has been made in view of such circumstances, and provides a blur correction device, a super-resolution device, and a program that can correct blur more naturally.
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、入力信号の複数の信号位置各々について、当該信号位置において所定の走査方向に走査したときの信号値列の２階差分値の符号変化と、前記信号値列の１階差分値の符号とに基づいて、当該信号位置の周辺の信号値に関する補正パターンを決定する補正パターン決定部と、前記複数の信号位置各々について、前記補正パターン決定部が決定した前記補正パターンを、前記入力信号に加算する補正部とを具備することを特徴とするぼやけ補正装置である。 (1) The present invention has been made to solve the above-described problems, and one aspect of the present invention is a signal obtained by scanning each of a plurality of signal positions of an input signal in a predetermined scanning direction at the signal position. A correction pattern determining unit that determines a correction pattern related to signal values around the signal position based on a sign change of the second-order difference value of the value sequence and a sign of the first-order difference value of the signal value sequence; And a correction unit that adds the correction pattern determined by the correction pattern determination unit to the input signal for each of the signal positions.
（２）また、本発明の他の態様は、（１）に記載のぼやけ補正装置であって、前記補正パターン決定部が決定する前記補正パターンには、前記走査方向に沿って正の値、負の値の順に値が並ぶ補正パターンと、前記走査方向の逆方向に沿って正の値、負の値の順に値が並ぶ補正パターンとが含まれることを特徴とする。 (2) According to another aspect of the present invention, there is provided the blur correction device according to (1), wherein the correction pattern determined by the correction pattern determination unit includes a positive value along the scanning direction, A correction pattern in which values are arranged in the order of negative values and a correction pattern in which values are arranged in the order of positive values and negative values along the reverse direction of the scanning direction are included.
（３）また、本発明の他の態様は、（１）または（２）に記載のぼやけ補正装置であって、前記補正パターン決定部は、前記補正パターンの振幅を、前記１階差分値の大きさに応じた値とすることを特徴とする。 (3) According to another aspect of the present invention, there is provided the blur correction device according to (1) or (2), in which the correction pattern determination unit determines the amplitude of the correction pattern as the first-order difference value. It is characterized by a value corresponding to the size.
（４）また、本発明の他の態様は、入力された信号に対して内挿を行い、前記入力された信号の解像度を高くする内挿部と、前記内挿部が解像度を高くした信号を、前記入力信号とする、（１）から（３）のいずれかの項に記載のぼやけ補正装置とを具備することを特徴とする超解像装置である。 (4) Further, according to another aspect of the present invention, an interpolation unit that interpolates an input signal to increase the resolution of the input signal, and a signal that has the resolution increased by the interpolation unit. Is a blur correction device according to any one of (1) to (3), wherein the input signal is a super-resolution device.
（５）また、本発明の他の態様は、コンピュータを、入力信号の複数の信号位置各々について、当該信号位置において所定の走査方向に走査したときの信号値列の２階差分値の符号変化と、前記信号値列の１階差分値の符号とに基づいて、当該信号位置の周辺の信号値に関する補正パターンを決定する補正パターン決定部、前記複数の信号位置各々について、前記補正パターン決定部が決定した前記補正パターンを、前記入力信号に加算する補正部として機能させるためのプログラムである。 (5) According to another aspect of the present invention, the sign change of the second-order difference value of the signal value sequence when the computer is scanned in a predetermined scanning direction at each signal position of the plurality of signal positions of the input signal. And a correction pattern determination unit that determines a correction pattern related to signal values around the signal position based on the sign of the first-order difference value of the signal value sequence, and the correction pattern determination unit for each of the plurality of signal positions Is a program for causing the correction pattern determined by the function to function as a correction unit that adds the correction pattern to the input signal.
（６）また、本発明の他の態様は、コンピュータを、入力された信号に対して内挿を行い、前記入力された信号の解像度を高くする内挿部、前記内挿部が解像度を高くした信号を、前記入力信号とする請求項１から請求項３のいずれかの項に記載のぼやけ補正装置として機能させるためのプログラムである。 (6) According to another aspect of the present invention, an interpolation unit that interpolates the input signal to the computer and increases the resolution of the input signal, and the interpolation unit increases the resolution. The program for functioning as a blurring correction apparatus according to any one of claims 1 to 3, wherein the processed signal is used as the input signal.
この発明によれば、より自然にぼやけを補正することができる。 According to the present invention, blurring can be corrected more naturally.
［第１の実施形態］
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の第１の実施形態によるぼやけ補正装置の構成を示す概略ブロック図である。ぼやけ補正装置１は、入力画像Ｍ（入力信号）に対して、ぼやけを補正する処理を行い、その処理の結果である補正画像Ｈを出力する。ぼやけ補正装置１は、水平差分演算部１１と、補正値演算部１２と、垂直差分演算部１３と、補正値演算部１４と、補正部１５とを含む。
[First Embodiment]
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic block diagram showing the configuration of a blur correction apparatus according to the first embodiment of the present invention. The blur correction apparatus 1 performs a blur correction process on the input image M (input signal), and outputs a corrected image H that is a result of the process. The blur correction device 1 includes a horizontal difference calculation unit 11, a correction value calculation unit 12, a vertical difference calculation unit 13, a correction value calculation unit 14, and a correction unit 15.
入力画像Ｍにおける画像座標（ｘ，ｙ）の画素値を、Ｍ（ｘ，ｙ）と表記する。他の画像の画素値についても同様に表記する。なお、入力画像Ｍおよび補正画像Ｈの解像度（画素数）は、水平方向がＸ画素、垂直方向がＹ画素であり、ｉ∈｛０，１，…，Ｘ−１｝かつｊ∈｛０，１，…，Ｙ−１｝なる画像座標（ｉ，ｊ）上に画素値が定義されている。
以下では、入力画像Ｍがモノクロ画像である場合の処理の説明をする。なお、入力画像Ｍがカラー画像やマルチバンド画像である場合には、色（またはバンド）ごとに独立に同様の処理を行えばよい。
The pixel value of the image coordinates (x, y) in the input image M is denoted as M (x, y). The same applies to the pixel values of other images. Note that the resolution (number of pixels) of the input image M and the corrected image H is X pixels in the horizontal direction and Y pixels in the vertical direction, i∈ {0, 1,..., X−1} and j∈ {0, Pixel values are defined on image coordinates (i, j) of 1,..., Y−1}.
Hereinafter, processing when the input image M is a monochrome image will be described. When the input image M is a color image or a multiband image, the same processing may be performed independently for each color (or band).
ぼやけ補正装置１は、入力画像Ｍの各画素位置（ｉ，ｊ）について補正処理を行い、その結果を補正画像Ｈの当該画素位置（ｉ，ｊ）における画素値Ｈ（ｉ，ｊ）とする操作を、全ての画素位置（ｉ，ｊ）について実行することで、補正画像Ｈを生成する。水平差分演算部１１は、入力画像Ｍの各画素位置（ｉ，ｊ）における水平方向（ｘ軸方向）について２階差分値と、１階差分値を算出する。補正値演算部１２は、入力画像Ｍの各画素位置（ｉ，ｊ）について、補強値Ｖ（ｋ）（ｉ，ｊ）を算出し、これらの補強値Ｖ（ｋ）（ｉ，ｊ）を画素値とする補強画像Ｖ（ｋ）を生成する。 The blur correction device 1 performs correction processing on each pixel position (i, j) of the input image M, and the result is set as a pixel value H (i, j) at the pixel position (i, j) of the corrected image H. The corrected image H is generated by executing the operation for all the pixel positions (i, j). The horizontal difference calculation unit 11 calculates a second-order difference value and a first-order difference value in the horizontal direction (x-axis direction) at each pixel position (i, j) of the input image M. The correction value calculation unit 12 calculates the reinforcement value V (k) (i, j) for each pixel position (i, j) of the input image M, and uses these reinforcement values V (k) (i, j). A reinforcement image V (k) is generated as a pixel value.
補正値演算部１２による補強値Ｖ（ｋ）（ｉ，ｊ）の算出方法を説明する。補正値演算部１２は、補強値Ｖ（ｋ）（ｉ，ｊ）を算出する際に、水平差分演算部１１が算出した２階差分値および１階差分値のうち、（式１）に示す２つの２階差分値ＰおよびＱ、ならびに１つの１階差分値Ｒを用いる。 A method of calculating the reinforcement value V (k) (i, j) by the correction value calculation unit 12 will be described. When the correction value calculation unit 12 calculates the reinforcement value V (k) (i, j), the second-order difference value and the first-order difference value calculated by the horizontal difference calculation unit 11 are expressed by (Expression 1). Two second-order difference values P and Q and one first-order difference value R are used.
なお、これら２つの２階差分値ＰおよびＱ、ならびに１つの１階差分値Ｒの算出には、画像座標（ｉ，ｊ）を基準として、その２画素左隣より１画素右隣の画素に至る４画素Ａ、Ｂ、Ｃ、およびＤの画素値が用いられる。図２（ａ）は、これらの４画素を示す図である。なお、（式１）におけるＭ（ｉ−２，ｊ）は、画素Ａの画素値であり、Ｍ（ｉ−１，ｊ）は、画素Ｂの画素値であり、Ｍ（ｉ，ｊ）は、画素Ｃの画素値であり、Ｍ（ｉ＋１，ｊ）は、画素Ｄの画素値である。 The calculation of these two second-order difference values P and Q and one first-order difference value R is based on the image coordinates (i, j), and the pixel adjacent to the right one pixel from the left adjacent to the two pixels. The pixel values of up to four pixels A, B, C, and D are used. FIG. 2A shows these four pixels. Note that M (i−2, j) in (Equation 1) is the pixel value of the pixel A, M (i−1, j) is the pixel value of the pixel B, and M (i, j) is , The pixel value of the pixel C, and M (i + 1, j) is the pixel value of the pixel D.
補正値演算部１２は、上述した２つの２階差分値ＰおよびＱ、ならびに１つの１階差分値Ｒに基づき、補強値Ｖ（ｋ）（ｉ，ｊ）を（式２）の漸化式を用いて算出する。補正値演算部１２は、この補強値Ｖ（ｋ）（ｉ，ｊ）の算出を、全ての画素位置（ｉ，ｊ）について行うことで、入力画像Ｍのぼやけを補正するための画像Ｖ（ｋ）（補強画像）を生成する。なお、上付きの（ｋ）は、補強画像を反復演算により導出する際の繰り返し回数を示すインデックスである。なお、ｉ∈｛０，１，…，Ｘ−１｝かつｊ∈｛０，１，…，Ｙ−１｝なる全ての画素位置（ｉ，ｊ）に対して、Ｖ（−１）（ｉ，ｊ）＝０とする。 The correction value calculation unit 12 uses the above-described two second-order difference values P and Q and one first-order difference value R to obtain the reinforcement value V (k) (i, j) as a recurrence formula of (Expression 2). Calculate using. Correction value calculation unit 12, the calculation of the reinforcement value V (k) (i, j ), by performing for every pixel position (i, j), the image V for correcting the blur of the input image M ( k) (Reinforcing image) is generated. The superscript (k) is an index indicating the number of repetitions when the reinforcement image is derived by iterative calculation. Note that V (−1) (i) for all pixel positions (i, j) where i∈ {0, 1,..., X−1} and j∈ {0, 1,. , J) = 0.
なお、αは、予め決められた正の定数である。図３（ａ）に（式２）による更新量（補正パターン）の例を図示する。図３（ａ）の例では、（式２）の（１）のとき、すなわち、Ｐ（ｉ，ｊ）＞０、Ｑ（ｉ，ｊ）＜０、かつＲ（ｉ，ｊ）＞０のときの例である。このように、補正値演算部１２（補正パターン決定部）は、画素位置（ｉ，ｊ）に対して、左隣の画素と、当該画素とに加算する、正負のパルス（補正パターン）を決定する。なお、（式２）の（２）のときは、図３（ａ）におけるαが−αとなり、−αがαとなる。すなわち、（１）のときは、走査方向に沿って正の値、負の値の順に値が並ぶ補正パターンであり、（２）のときは、走査方向の逆方向に沿って正の値、負の値の順に値が並ぶ補正パターンである。 Α is a positive constant determined in advance. FIG. 3A shows an example of the update amount (correction pattern) according to (Equation 2). In the example of FIG. 3A, when (1) in (Expression 2), that is, P (i, j)> 0, Q (i, j) <0, and R (i, j)> 0. An example of when. As described above, the correction value calculation unit 12 (correction pattern determination unit) determines the positive / negative pulse (correction pattern) to be added to the pixel adjacent to the left and the pixel with respect to the pixel position (i, j). To do. In the case of (2) in (Expression 2), α in FIG. 3A is −α, and −α is α. That is, (1) is a correction pattern in which values are arranged in the order of positive values and negative values along the scanning direction, and (2) is a positive value along the reverse direction of the scanning direction. This is a correction pattern in which values are arranged in the order of negative values.
なお、補正値演算部１２は、加算する正負のパルスの大きさ（振幅）を、１階差分値Ｒに比例するようにしてもよい。例えば、補正値演算部１２は、（式３）の漸化式を用いて、補強値Ｖ（ｋ）（ｉ，ｊ）を算出してもよい。 The correction value calculation unit 12 may make the magnitude (amplitude) of the positive and negative pulses to be added proportional to the first-order difference value R. For example, the correction value calculation unit 12 may calculate the reinforcement value V (k) (i, j) using the recurrence formula of (Expression 3).
垂直差分演算部１３は、入力画像Ｍの各画素位置（ｉ，ｊ）における垂直方向（ｙ軸方向）について２階差分値と、１階差分値を算出する。補正値演算部１４は、入力画像Ｍの各画素位置（ｉ，ｊ）について、補強値Ｖ（ｋ）（ｉ，ｊ）を算出し、これらの補強値Ｖ（ｋ）（ｉ，ｊ）を画素値とする補強画像Ｖ（ｋ）を生成する。 The vertical difference calculation unit 13 calculates a second-order difference value and a first-order difference value in the vertical direction (y-axis direction) at each pixel position (i, j) of the input image M. The correction value calculation unit 14 calculates the reinforcement value V (k) (i, j) for each pixel position (i, j) of the input image M, and uses these reinforcement values V (k) (i, j). A reinforcement image V (k) is generated as a pixel value.
補正値演算部１４による補強値Ｖ（ｋ）（ｉ，ｊ）の算出方法を説明する。補正値演算部１４は、補強値Ｖ（ｋ）（ｉ，ｊ）を算出する際に、垂直差分演算部１３が算出した２階差分値および１階差分値のうち、（式４）に示す２つの２階差分値ＳおよびＴ、ならびに１つの１階差分値Ｕを用いる。 A method of calculating the reinforcement value V (k) (i, j) by the correction value calculation unit 14 will be described. When the correction value calculation unit 14 calculates the reinforcement value V (k) (i, j), the second-order difference value and the first-order difference value calculated by the vertical difference calculation unit 13 are expressed by (Expression 4). Two second-order difference values S and T and one first-order difference value U are used.
なお、これら２つの２階差分値ＳおよびＴ、ならびに１つの１階差分値Ｕの算出には、画像座標（ｉ，ｊ）を基準として、その２画素上隣より１画素下隣の画素に至る４画素Ｅ、Ｆ、Ｃ、およびＧの画素値が用いられる。図２（ｂ）は、これらの４画素を示す図である。なお、（式４）におけるＭ（ｉ，ｊ−２）は、画素Ｅの画素値であり、Ｍ（ｉ，ｊ−１）は、画素Ｆの画素値であり、Ｍ（ｉ，ｊ）は、画素Ｃの画素値であり、Ｍ（ｉ，ｊ＋１）は、画素Ｇの画素値である。 The calculation of these two second-order difference values S and T and one first-order difference value U is based on the image coordinates (i, j), and the pixel adjacent to the pixel one pixel lower than the pixel adjacent to the second pixel is used. The pixel values of up to four pixels E, F, C, and G are used. FIG. 2B is a diagram showing these four pixels. Note that M (i, j-2) in (Expression 4) is the pixel value of the pixel E, M (i, j-1) is the pixel value of the pixel F, and M (i, j) is , The pixel value of the pixel C, and M (i, j + 1) is the pixel value of the pixel G.
補正値演算部１４は、上述した２つの２階差分値ＳおよびＴ、ならびに１つの１階差分値Ｕに基づき、補強値Ｖ（ｋ）（ｉ，ｊ）を（式５）の漸化式を用いて算出する。補正値演算部１４は、この補強値Ｖ（ｋ）（ｉ，ｊ）の算出を、全ての画素位置（ｉ，ｊ）について行うことで、入力画像Ｍのぼやけを補正するための画像Ｖ（ｋ）（補強画像）を生成する。なお、Ｖ（ＸＹ−１）（ｉ，ｊ）は、補正値演算部１２により算出された補強値である。 The correction value calculation unit 14 uses the above-described two second-order difference values S and T and one first-order difference value U to obtain the reinforcement value V (k) (i, j) as a recurrence formula of (Expression 5). Calculate using. Correction value calculation unit 14, the calculation of the reinforcement value V (k) (i, j ), all the pixel position (i, j) by performing the image V for correcting the blur of the input image M ( k) (Reinforcing image) is generated. V (XY-1) (i, j) is a reinforcement value calculated by the correction value calculation unit 12.
なお、αは、予め決められた正の定数である。図３（ｂ）に（式５）による更新量の例を図示する。図３（ｂ）の例では、（式５）の（１）のとき、すなわち、Ｓ（ｉ，ｊ）＞０、Ｔ（ｉ，ｊ）＜０、かつＵ（ｉ，ｊ）＞０のときの例である。このように、補正値演算部１４（補正パターン決定部）は、画素位置（ｉ，ｊ）に対して、上隣の画素と、当該画素とに加算する、正負のパルス（補正パターン）を決定する。なお、（式５）の（２）のときは、図３（ｂ）におけるαが−αとなり、−αがαとなる。 Α is a positive constant determined in advance. FIG. 3B illustrates an example of the update amount according to (Equation 5). In the example of FIG. 3B, when (1) in (Expression 5), that is, S (i, j)> 0, T (i, j) <0, and U (i, j)> 0. An example of when. As described above, the correction value calculation unit 14 (correction pattern determination unit) determines the positive and negative pulses (correction pattern) to be added to the upper adjacent pixel and the pixel with respect to the pixel position (i, j). To do. In the case of (2) in (Expression 5), α in FIG. 3B is −α, and −α is α.
なお、補正値演算部１４は、加算する正負のパルスの大きさを、１階差分値Ｕに比例するようにしてもよい。例えば、補正値演算部１４は、（式６）の漸化式を用いて、補強値Ｖ（ｋ）（ｉ，ｊ）を算出してもよい。 Note that the correction value calculation unit 14 may make the magnitude of the positive and negative pulses to be added proportional to the first-order difference value U. For example, the correction value calculation unit 14 may calculate the reinforcement value V (k) (i, j) using the recurrence formula of (Expression 6).
補正値演算部１４は、（式７）に示すように、最終的には補強画像の最終値（入力画像Ｍの全画素について走査を行った後の値）であるＶ（２ＸＹ−１）を補強画像Ｖとして出力する。 As shown in (Expression 7), the correction value calculation unit 14 finally uses V (2XY−1) which is the final value of the reinforcing image (the value after scanning all the pixels of the input image M ) . Output as a reinforcing image V.
なお、水平差分演算部１１と垂直差分演算部１３を入れ替え、また補正値演算部１２と補正値演算部１４とを入れ替えて構成しても構わない。
さらに、水平差分演算部１１と補正値演算部１２のみによる補強画像と、垂直差分演算部１３と補正値演算部１４のみによる補強画像とを独立に演算してもよい。この場合、これら２補強画像を後述の補正部１５において順次適用してもよいし、あるいは２補強画像の和の画像を以て最終的な補強画像とし、この最終的な補強画像を後述の補正部１５において適用してもよい。
Note that the horizontal difference calculation unit 11 and the vertical difference calculation unit 13 may be interchanged, and the correction value calculation unit 12 and the correction value calculation unit 14 may be interchanged.
Furthermore, the reinforcement image by only the horizontal difference calculation unit 11 and the correction value calculation unit 12 and the reinforcement image by only the vertical difference calculation unit 13 and the correction value calculation unit 14 may be calculated independently. In this case, these two reinforcing images may be sequentially applied in the correcting unit 15 described later, or a final reinforcing image is obtained by using the sum of the two reinforcing images, and this final reinforcing image is used as the correcting unit 15 described later. May be applied.
補正部１５は、入力画像Ｍと補強画像Ｖとの画素毎の画素値の和を求め、その結果を補正画像Ｈの当該画素位置の画素値として設定する。すなわち、補正部１５は、（式８）に示す演算を行う。 The correction unit 15 calculates the sum of pixel values for each pixel of the input image M and the reinforcement image V, and sets the result as the pixel value of the pixel position of the correction image H. That is, the correction unit 15 performs the calculation shown in (Expression 8).
画素値Ｈ（ｉ，ｊ）の決定を、画面内全画素位置について実行して画像化することにより、補正部１５は、補正画像Ｈを生成し、出力する。 The correction unit 15 generates and outputs the corrected image H by executing the determination of the pixel value H (i, j) for all the pixel positions in the screen to form an image.
例えば、（式２）において、（１）となる画素位置は、画素値が増加しており、画素値をプロットした曲線が、下に凸から上に凸に変化している点である。このような画素位置は、被写体などの輪郭であるとみなし、ぼやけ補正装置１は、左隣の画素値に負のパルスを加算し、当該画素値に正のパルスを加算している。すなわち、画素値をプロットした曲線が急峻になるようにしている。また、（２）となる画素位置は、画素値が減少しており、画素値をプロットした曲線が、上に凸から下に凸に変化している点である。このような画素位置は、被写体などの輪郭であるとみなし、ぼやけ補正装置１は、左隣の画素値に正のパルスを加算し、当該画素値に負のパルスを加算している。すなわち、画素値をプロットした曲線が急峻になるようにしている。
このように、ぼやけ補正装置１は、被写体の輪郭などがぼやけているようなときでも、輪郭などにおける画素値変化を急峻にし、より自然にぼやけを補正することができる。
For example, in (Expression 2), the pixel position corresponding to (1) is that the pixel value increases, and the curve plotting the pixel value changes from a downward convex to a convex upward. Such a pixel position is regarded as a contour of a subject or the like, and the blur correction device 1 adds a negative pulse to the pixel value on the left and adds a positive pulse to the pixel value. That is, the curve in which the pixel values are plotted is steep. Further, the pixel position indicated by (2) is that the pixel value decreases, and the curve in which the pixel value is plotted changes from convex upward to convex downward. Such a pixel position is regarded as a contour of a subject or the like, and the blur correction apparatus 1 adds a positive pulse to the pixel value on the left and adds a negative pulse to the pixel value. That is, the curve in which the pixel values are plotted is steep.
As described above, the blur correction device 1 can correct the blur more naturally by making the change in the pixel value in the contour or the like steep even when the contour or the like of the subject is blurred.
［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。図５は、本実施形態における超解像装置２の構成を説明する概略ブロック図である。超解像装置２は、補間内挿部２０と、ぼやけ補正装置１とを含む。超解像装置２は、ぼやけ補正装置１の前段に補間内挿部２０を設けた構成となっている。
[Second Embodiment]
The second embodiment of the present invention will be described below with reference to the drawings. FIG. 5 is a schematic block diagram illustrating the configuration of the super-resolution device 2 in the present embodiment. The super resolution device 2 includes an interpolation unit 20 and a blur correction device 1. The super-resolution device 2 has a configuration in which an interpolation unit 20 is provided in the preceding stage of the blur correction device 1.
補間内挿部２０は、入力された低解像画像Ｌに対して補間内挿を行うことにより画素数を増加させた補間画像を生成し、生成した補間画像をぼやけ補正装置１に対する入力画像Ｍとして出力する。補間内挿部２０による補間内挿に用いる補間関数は、画像信号の滑らかさを損なわないものが好ましい。例えば、０次補間（最近傍補間）よりも、双一次補間、双三次補間、スプライン補間、Ｌａｎｃｚｏｓフィルタによる補間などの方が好ましい。
例えば、補間内挿部２０は、（式９）を用いて、双一次補間により水平、垂直いずれも２倍に、低解像画像Ｌを補間内挿する。
The interpolation interpolation unit 20 generates an interpolation image with an increased number of pixels by performing interpolation on the input low-resolution image L, and uses the generated interpolation image as an input image M to the blur correction device 1. Output as. The interpolation function used for interpolation by the interpolation interpolation unit 20 is preferably one that does not impair the smoothness of the image signal. For example, bilinear interpolation, bicubic interpolation, spline interpolation, and interpolation using a Lanczos filter are preferable to zero-order interpolation (nearest neighbor interpolation).
For example, the interpolation unit 20 uses (Equation 9) to interpolate the low resolution image L by double bilateral interpolation both horizontally and vertically.
また、例えば、補間内挿部２０は、（式１０）を用いて、Ｌａｎｃｚｏｓ−３関数により水平、垂直いずれも２倍に補間内挿する。 In addition, for example, the interpolation unit 20 interpolates both horizontally and vertically twice using (Equation 10) using the Lanczos-3 function.
但し、（式１０）では標本位置を水平および垂直いずれも（低解像画像の画素間隔で）１／４画素ずつずらすことですべての標本点に同様のフィルタ係数がかかるようにしている。
補間内挿部２０は、こうして得られた補間画像を入力画像Ｍとして、ぼやけ補正装置１へ入力する。その結果、ぼやけ補正装置１からは、低解像画像Ｌよりも画素数が多く、かつ補間内挿部２０で生じるぼやけを補正した鮮鋭な補正画像（高解像画像）Ｈを得ることができる。
However, in (Equation 10), the same filter coefficient is applied to all the sample points by shifting the sample position by ¼ pixel both horizontally and vertically (at the pixel interval of the low resolution image).
The interpolation interpolation unit 20 inputs the interpolation image obtained in this way as the input image M to the blur correction device 1. As a result, the blur correction device 1 can obtain a sharp corrected image (high resolution image) H having a larger number of pixels than the low resolution image L and correcting the blur generated by the interpolation interpolation unit 20. .
図５は、超解像装置２に入力される低解像画像Ｌの例Ｌ１である。図６は、低解像画像Ｌの例Ｌ１を超解像装置２に入力したときに、補間内挿部２０により解像度が高められた画像の例Ｍ１である。図７は、低解像画像Ｌの例Ｌ１を超解像装置２に入力したときの超解像装置２による補正画像（高解像画像）Ｈの例Ｈ１である。図６ではエッジ部分にぼやけが見られるが、図７では鮮鋭な結果が得られている。なお、図７の補正画像Ｈの例Ｈ１は、補正値演算部１２においては（式３）を、補正値演算部１４においては（式６）をそれぞれ用い、定数βはβ＝０．７５とした場合の例である。 FIG. 5 is an example L1 of the low-resolution image L input to the super-resolution device 2. FIG. 6 is an example M1 of an image whose resolution is increased by the interpolation interpolation unit 20 when the example L1 of the low-resolution image L is input to the super-resolution device 2. FIG. 7 is an example H1 of a corrected image (high-resolution image) H by the super-resolution device 2 when the example L1 of the low-resolution image L is input to the super-resolution device 2. In FIG. 6, the edge portion is blurred, but in FIG. 7, a sharp result is obtained. In the example H1 of the corrected image H in FIG. 7, (Equation 3) is used in the correction value calculation unit 12, (Equation 6) is used in the correction value calculation unit 14, and the constant β is β = 0.75. This is an example.
なお、上述の各実施形態では、補正値演算部１２、１４における走査方向が、ｘ軸方向およびy軸方向の場合を説明したが、この他の方向であってもよい。例えば、走査方向が、ｘ軸の負の方向と、ｙ軸の負の方向であってもよい。 In each of the above-described embodiments, the case where the scanning directions in the correction value calculation units 12 and 14 are the x-axis direction and the y-axis direction has been described, but other directions may be used. For example, the scanning direction may be a negative x-axis direction and a negative y-axis direction.
また、上述の各実施形態では、画像を表す信号を処理するぼやけ補正装置１、超解像装置２を例に挙げたが、ぼやけ補正装置１、超解像装置２は、音声、３次元モデルなど、画像以外のものを表す信号を処理してもよい。また、その信号は、１次元の信号であってもよいし、２以上の次元数の信号であってもよい。 In each of the above-described embodiments, the blur correction device 1 and the super-resolution device 2 that process a signal representing an image are taken as an example. However, the blur correction device 1 and the super-resolution device 2 are voice, three-dimensional models. For example, a signal representing something other than an image may be processed. Further, the signal may be a one-dimensional signal or a signal having two or more dimensions.
また、図１におけるぼやけ補正装置１、図４における超解像装置２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりぼやけ補正装置１、超解像装置２を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。 Also, a program for realizing the functions of the blur correction device 1 in FIG. 1 and the super-resolution device 2 in FIG. 4 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is stored in a computer system. The blur correction device 1 and the super-resolution device 2 may be realized by reading and executing. Here, the “computer system” includes an OS and hardware such as peripheral devices.
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
また、上述した図１におけるぼやけ補正装置１、図４における超解像装置２の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず、専用回路、または汎用プロセッサで実現しても良い。ハイブリッド、モノリシックのいずれでも良い。一部は、ハードウェアにより、一部はソフトウェアにより機能を実現させても良い。
また、半導体技術の進歩により、ＬＳＩに代替する集積回路化等の技術が出現した場合、当該技術による集積回路を用いることも可能である。
Each functional block of the blur correction device 1 in FIG. 1 and the super-resolution device 2 in FIG. 4 may be individually chipped, or a part or all of them may be integrated into a chip. Further, the method of circuit integration is not limited to LSI, and implementation using a dedicated circuit or a general-purpose processor is also possible. Either hybrid or monolithic may be used. Some of the functions may be realized by hardware and some by software.
In addition, when a technology such as an integrated circuit that replaces an LSI appears due to progress in semiconductor technology, an integrated circuit based on the technology can be used.
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like within a scope not departing from the gist of the present invention.
１…ぼやけ補正装置
２…超解像装置
１１…水平差分演算部
１２…補正値演算部
１３…垂直差分演算部
１４…補正値演算部
１５…補正部
２０…補間内挿部
DESCRIPTION OF SYMBOLS 1 ... Blurring correction apparatus 2 ... Super-resolution apparatus 11 ... Horizontal difference calculating part 12 ... Correction value calculating part 13 ... Vertical difference calculating part 14 ... Correction value calculating part 15 ... Correction part 20 ... Interpolation interpolation part
Claims (6)
前記複数の信号位置各々について、前記補正パターン決定部が決定した前記補正パターンを、前記入力信号に加算する補正部と
を具備することを特徴とするぼやけ補正装置。 For each of a plurality of signal positions of the input signal, based on the sign change of the second-order difference value of the signal value sequence when scanning in the predetermined scanning direction at the signal position and the sign of the first-order difference value of the signal value sequence A correction pattern determination unit that determines a correction pattern related to signal values around the signal position;
A blur correction apparatus comprising: a correction unit that adds the correction pattern determined by the correction pattern determination unit to the input signal for each of the plurality of signal positions.
を特徴とする請求項１に記載のぼやけ補正装置。 The correction pattern determined by the correction pattern determination unit includes a correction pattern in which values are arranged in the order of positive values and negative values along the scanning direction, and positive values and negative values along the reverse direction of the scanning direction. The blur correction device according to claim 1, further comprising: a correction pattern in which values are arranged in the order of the values.
前記内挿部が解像度を高くした信号を、前記入力信号とする請求項１から請求項３のいずれかの項に記載のぼやけ補正装置と
を具備することを特徴とする超解像装置。 An interpolation unit that interpolates the input signal and increases the resolution of the input signal;
4. The super-resolution device comprising: the blur correction device according to claim 1, wherein a signal whose resolution is increased by the interpolation unit is used as the input signal. 5.
入力信号の複数の信号位置各々について、当該信号位置において所定の走査方向に走査したときの信号値列の２階差分値の符号変化と、前記信号値列の１階差分値の符号とに基づいて、当該信号位置の周辺の信号値に関する補正パターンを決定する補正パターン決定部、
前記複数の信号位置各々について、前記補正パターン決定部が決定した前記補正パターンを、前記入力信号に加算する補正部
として機能させるためのプログラム。 Computer
For each of a plurality of signal positions of the input signal, based on the sign change of the second-order difference value of the signal value sequence when scanning in the predetermined scanning direction at the signal position and the sign of the first-order difference value of the signal value sequence A correction pattern determination unit for determining a correction pattern related to signal values around the signal position,
A program for causing each of the plurality of signal positions to function as a correction unit that adds the correction pattern determined by the correction pattern determination unit to the input signal.
入力された信号に対して内挿を行い、前記入力された信号の解像度を高くする内挿部、
前記内挿部が解像度を高くした信号を、前記入力信号とする請求項１から請求項３のいずれかの項に記載のぼやけ補正装置
として機能させるためのプログラム。 Computer
An interpolation unit that interpolates the input signal and increases the resolution of the input signal;
The program for functioning as a blurring correction apparatus according to any one of claims 1 to 3, wherein a signal whose resolution is increased by the interpolation unit is used as the input signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014256132A JP6532151B2 (en) | 2014-12-18 | 2014-12-18 | Super-resolution device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014256132A JP6532151B2 (en) | 2014-12-18 | 2014-12-18 | Super-resolution device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016115318A true JP2016115318A (en) | 2016-06-23 |
| JP6532151B2 JP6532151B2 (en) | 2019-06-19 |
Family
ID=56140084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014256132A Active JP6532151B2 (en) | 2014-12-18 | 2014-12-18 | Super-resolution device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6532151B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018005841A (en) * | 2016-07-08 | 2018-01-11 | 株式会社トプコン | Medical image processing method and medical image processing device |
| JP2021007017A (en) * | 2020-09-15 | 2021-01-21 | 株式会社トプコン | Medical image processing method and medical image processing device |
| CN113034481A (en) * | 2021-04-02 | 2021-06-25 | 广州绿怡信息科技有限公司 | Equipment image blur detection method and device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010073582A1 (en) * | 2008-12-22 | 2010-07-01 | パナソニック株式会社 | Image enlarging device, method, integrated circuit, and program |
-
2014
- 2014-12-18 JP JP2014256132A patent/JP6532151B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010073582A1 (en) * | 2008-12-22 | 2010-07-01 | パナソニック株式会社 | Image enlarging device, method, integrated circuit, and program |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018005841A (en) * | 2016-07-08 | 2018-01-11 | 株式会社トプコン | Medical image processing method and medical image processing device |
| JP2021007017A (en) * | 2020-09-15 | 2021-01-21 | 株式会社トプコン | Medical image processing method and medical image processing device |
| CN113034481A (en) * | 2021-04-02 | 2021-06-25 | 广州绿怡信息科技有限公司 | Equipment image blur detection method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6532151B2 (en) | 2019-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5242540B2 (en) | Image processing method | |
| JP5342068B2 (en) | Multiple frame approach and image upscaling system | |
| JP2011504682A (en) | Resize image sequence | |
| KR100860968B1 (en) | Image-resolution-improvement apparatus and method | |
| JP2012191465A (en) | Image processing apparatus, image processing method, and program | |
| JP2008146643A (en) | Method and device for reducing blur caused by movement in image blurred by movement, and computer-readable medium executing computer program for reducing blur caused by movement in image blurred by movement | |
| JP2012060517A (en) | Image processing apparatus and image processing method | |
| JP4582666B2 (en) | Method and apparatus for interpolating and correcting an image and scanner having the apparatus | |
| Jeong et al. | Multi-frame example-based super-resolution using locally directional self-similarity | |
| CN108257108A (en) | A kind of super-resolution image reconstruction method and system | |
| JP6532151B2 (en) | Super-resolution device and program | |
| Jindal et al. | A novel image zooming technique using wavelet coefficients | |
| JP5968088B2 (en) | Image processing apparatus, image processing method, and program | |
| US8811774B1 (en) | Super resolution using an interpretive scaler | |
| KR20130104410A (en) | Apparatus and method for super-resolution based on error model of single image | |
| Bose et al. | A second‐generation wavelet framework for super‐resolution with noise filtering | |
| WO2011004427A1 (en) | Image processing apparatus | |
| TWI406187B (en) | Fast and high quality image/video interpolation method and apparatus | |
| JP6532148B2 (en) | Super-resolution device and program | |
| JP6059899B2 (en) | Frame interpolation apparatus and program | |
| JP6661434B2 (en) | Image processing device | |
| JP5085589B2 (en) | Image processing apparatus and method | |
| Georgis et al. | Single-image super-resolution using low complexity adaptive iterative back-projection | |
| JP2016019554A (en) | Ultrasonic diagnostic device | |
| JP6326914B2 (en) | Interpolation apparatus and interpolation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171030 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181016 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181023 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190423 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190520 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6532151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |