JP2013021623A - Image resolution conversion method, and image resolution conversion device - Google Patents
Image resolution conversion method, and image resolution conversion device Download PDFInfo
- Publication number
- JP2013021623A JP2013021623A JP2011155324A JP2011155324A JP2013021623A JP 2013021623 A JP2013021623 A JP 2013021623A JP 2011155324 A JP2011155324 A JP 2011155324A JP 2011155324 A JP2011155324 A JP 2011155324A JP 2013021623 A JP2013021623 A JP 2013021623A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- template
- pattern
- pixel group
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は画像解像度変換方法及び画像解像度変換装置に係り、特に入力画像をその画像よりも画素数の多い拡大画像に変換する画像解像度変換方法及び画像解像度変換装置に関する。 The present invention relates to an image resolution conversion method and an image resolution conversion device, and more particularly to an image resolution conversion method and an image resolution conversion device for converting an input image into an enlarged image having a larger number of pixels than the image.
一般的に、自然画では近傍の画素間には強い相関性を持つことが知られている。画像を拡大する解像度変換の場合、その相関性を利用し、近傍の画素をフィルタ処理することで拡大した場合の補間画素を生成する。また、同じフレーム内の似た変化を有する画像の性質である画像の自己合同、あるいは画像の相似性を利用した場合は、補間対象位置の近傍の画素で、画面内をパターンマッチングしながら探索し、最も自己合同、相似性の高い画素パターンを、補間画素値として用いる。 In general, it is known that a natural image has a strong correlation between neighboring pixels. In the case of resolution conversion for enlarging an image, an interpolated pixel in the case of enlarging is generated by filtering the neighboring pixels using the correlation. In addition, when image self-congruity, which is a property of images with similar changes in the same frame, or image similarity is used, search is performed while pattern matching is performed in the screen with pixels near the interpolation target position. The most self-congruent and similar pixel pattern is used as the interpolated pixel value.
ところで、一般的に、補間拡大方式による画像解像度拡大の場合、バイリニア方式やバイキュービック方式等が用いられる（例えば、特許文献１参照）。これらのアルゴリズムは、図７（Ａ）に示す画素のインパルス応答として、同図（Ｂ）に示すようなシンク関数を用いた画素の理想インパルス応答を想定し、その理想インパルス応答の同図（Ｃ）に示す波形の近似を用いて、同図（Ｄ）に示すように拡大画像を得るものである。 By the way, generally, in the case of image resolution enlargement by the interpolation enlargement method, a bilinear method, a bicubic method, or the like is used (for example, see Patent Document 1). These algorithms assume an ideal impulse response of a pixel using a sync function as shown in FIG. 7B as the impulse response of the pixel shown in FIG. ) Is used to obtain an enlarged image as shown in FIG.
しかしながら、上記の補間拡大方式による画像解像度拡大では、画像内のエッジが滑らかに再現されるものの、画素のピークが保存されず、ボケ等の画像劣化が生じ易い。特に、低解像度撮像センサの撮像画像から上記の補間拡大方式により図７（Ｄ）に示すような解像度拡大画像を得た場合、図７（Ｅ）に示す高解像度撮像センサの撮像画像の近傍画素ａ0'とａ1'の平均画素値が、低解像度撮像センサの画素値ａになるという前提と不一致になり、正確な画像拡大結果を得ることができないという問題がある。 However, in the image resolution enlargement by the interpolation enlargement method described above, the edges in the image are reproduced smoothly, but the pixel peaks are not preserved, and image degradation such as blurring is likely to occur. In particular, when the resolution-enlarged image as shown in FIG. 7D is obtained from the captured image of the low-resolution image sensor by the above-described interpolation enlargement method, the neighboring pixels of the image captured by the high-resolution image sensor shown in FIG. There is a problem that the average pixel value of a0 ′ and a1 ′ is inconsistent with the premise that the pixel value a of the low-resolution image sensor becomes the pixel value a, and an accurate image enlargement result cannot be obtained.
本発明は上記の点に鑑みなされたもので、ボケ等の画像劣化の無い良好な高解像度の拡大画像を得ることができる画像解像度変換方法及び画像解像度変換装置を提供することを目的とする。 The present invention has been made in view of the above points, and an object thereof is to provide an image resolution conversion method and an image resolution conversion apparatus capable of obtaining a good high-resolution enlarged image without image deterioration such as blurring.
上記目的を達成するため、本発明の画像解像度変換方法は、原画像内の解像度変換対象の画素から拡大フィルタ処理により、画素の周辺位置のｍ個（ｍは自然数）の候補補間画素群を求め、その候補補間画素群に画素を加えたテンプレートを生成するテンプレート生成ステップと、原画像内の自己相似性を利用した比較対象パターンを含む所定画素数の画素群を取得する画素群取得ステップと、所定画素数の画素群内の比較対象パターンのうち、テンプレートと比較対象パターンとの間の、低解像度撮像センサ画素値は高解像度撮像センサ画素値の平均値であるという撮像センサの動作モデルを考慮した所定の評価関数が最小となる比較対象パターンをテンプレートとのパターンマッチングにより探索し、その探索された比較対象パターンの画素群を拡大画素群として出力するパターンマッチングステップと、を含むことを特徴とする。 In order to achieve the above object, the image resolution conversion method of the present invention obtains m (m is a natural number) candidate interpolated pixel groups at the peripheral positions of pixels by enlargement filtering from the resolution conversion target pixels in the original image. A template generation step for generating a template obtained by adding pixels to the candidate interpolation pixel group; a pixel group acquisition step for acquiring a pixel group having a predetermined number of pixels including a comparison target pattern using self-similarity in the original image; Consider the image sensor operation model in which the low-resolution image sensor pixel value between the template and the comparison object pattern is the average value of the high-resolution image sensor pixel values among the comparison target patterns in the pixel group of the predetermined number of pixels. The comparison target pattern that minimizes the predetermined evaluation function is searched by pattern matching with the template, and the searched comparison target pattern Characterized in that it comprises a pattern matching step of outputting the pixel group as an enlarged pixel group, the.
ここで、上記のパターンマッチングステップにおける所定の評価関数は、テンプレートの画素群の第１の平均値と比較対象パターンの画素群の第２の平均値との差分の絶対値と、テンプレート内の解像度変換対象の画素の値と比較対象パターンの画素群内の解像度変換対象の画素に対応する画素の値との誤差の絶対値と、テンプレートの画素群の各画素とその画素に対応する比較対象パターンの画素群の各画素との間の画素差分値の絶対値の積算値との和であることを特徴とする。 Here, the predetermined evaluation function in the pattern matching step is that the absolute value of the difference between the first average value of the pixel group of the template and the second average value of the pixel group of the comparison target pattern, and the resolution in the template The absolute value of the error between the value of the pixel to be converted and the value of the pixel corresponding to the resolution conversion target pixel in the pixel group of the comparison target pattern, and each pixel of the template pixel group and the comparison target pattern corresponding to that pixel The sum of the absolute values of the pixel difference values with respect to each pixel in the pixel group is the sum.
また、上記の目的を達成するため、本発明の画像解像度変換装置は、原画像内の解像度変換対象の画素からフィルタ処理により、画素の周辺位置のｍ個（ｍは自然数）の候補補間画素群を求め、その候補補間画素群に画素を加えたテンプレートを生成する拡大フィルタ手段と、原画像内の自己相似性を利用した比較対象パターンを含む所定画素数の画素群を取得する画素群取得手段と、所定画素数の画素群内の比較対象パターンのうち、テンプレートと比較対象パターンとの間の、低解像度撮像センサ画素値は高解像度撮像センサ画素値の平均値であるという撮像センサの動作モデルを考慮した所定の評価関数が最小となる比較対象パターンをテンプレートとのパターンマッチングにより探索し、その探索された比較対象パターンの画素群を拡大画素群として出力するパターンマッチング手段と、を備えることを特徴とする。 In order to achieve the above object, the image resolution conversion apparatus according to the present invention performs m filtering (m is a natural number) candidate interpolated pixel groups at the peripheral positions of the pixels by filtering the resolution conversion target pixels in the original image. Filter unit for generating a template obtained by adding a pixel to the candidate interpolation pixel group, and a pixel group acquisition unit for acquiring a pixel group having a predetermined number of pixels including a comparison target pattern using self-similarity in the original image And an operation model of the image sensor in which the low-resolution image sensor pixel value between the template and the comparison object pattern is an average value of the high-resolution image sensor pixel values among the comparison target patterns in the pixel group of the predetermined number of pixels. The comparison target pattern that minimizes the predetermined evaluation function in consideration of the above is searched by pattern matching with the template, and the pixel group of the searched comparison target pattern is determined. Characterized in that it comprises a pattern matching means for outputting as a large group of pixels, a.
ここで、上記のパターンマッチング手段における所定の評価関数は、テンプレートの画素群の第１の平均値と比較対象パターンの画素群の第２の平均値との差分の絶対値と、テンプレート内の解像度変換対象の画素の値と比較対象パターンの画素群内の解像度変換対象の画素に対応する画素の値との誤差の絶対値と、テンプレートの画素群の各画素とその画素に対応する比較対象パターンの画素群の各画素との間の画素差分値の絶対値の積算値との和であることを特徴とする。 Here, the predetermined evaluation function in the pattern matching means is the absolute value of the difference between the first average value of the template pixel group and the second average value of the pixel group of the comparison target pattern, and the resolution in the template. The absolute value of the error between the value of the pixel to be converted and the value of the pixel corresponding to the resolution conversion target pixel in the pixel group of the comparison target pattern, and each pixel of the template pixel group and the comparison target pattern corresponding to that pixel The sum of the absolute values of the pixel difference values with respect to each pixel in the pixel group is the sum.
本発明によれば、ボケ等の画像劣化が無い良好な高解像度拡大画像を得ることができる。 According to the present invention, it is possible to obtain a good high-resolution enlarged image without image deterioration such as blurring.
次に、本発明の実施の形態について図面を参照して説明する。 Next, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明になる画像解像度変換装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の画像解像度変換装置１０は、原画像１１を１フレーム単位で記憶するフレームメモリ１２と、フレームメモリ１２から読み出された画素Ａ及びその周辺の各画素データが供給される拡大フィルタ１３と、パターンマッチングを行って拡大画像１５を出力するパターンマッチング部１４とを有する構成であり、拡大倍率ｍが「２」の例である。
FIG. 1 shows a block diagram of an embodiment of an image resolution conversion apparatus according to the present invention. As shown in the figure, an image
ところで、ある解像度の撮像センサで撮影した画像をｍ倍に拡大し、解像度のｍ倍の撮像センサで撮影した画像を推定することは所謂逆問題であり、通常、解は不定となる。拡大対象画像をＦとし、拡大対象画像Ｆをｍ倍（画素数としてはｍ2倍）に拡大する場合、ある座標の画素Ａはｍ2個の画素群
Ｄ＝{A'p0,A'p1,・・・,A'pn,・・・,A'pm2-1}
に拡大される。ここで、拡大後の画像Ｆ’は解像度がｍ倍の撮像センサで撮影されたものだと考えると、以下の関係となる。
By the way, enlarging an image captured by an image sensor having a certain resolution m times and estimating an image captured by an image sensor having a resolution m times is a so-called inverse problem, and the solution is usually indefinite. Enlarge target image as F, expansion (as the number of pixels m 2 fold) the target image F m times when expanding, the pixel A is coordinate m 2 groups of pixels D = {A'p0, A'p1 , ..., A'pn, ..., A'pm 2 -1}
Expanded to Here, when it is considered that the enlarged image F ′ is taken by an imaging sensor having a resolution of m times, the following relationship is established.
Ａ＝（ΣA'pn）/ｍ2 (0≦ｎ≦ｍ2-１) (1)
上記（１）式のみを拡大の拘束条件とした場合、図２に示した画素群のどれもが、画素Ａの拡大の解として成り立つことになる。図２はｍ＝２の例で、画素Ａの画素値を「３」とした場合、図２（Ａ）に示すA'p0＝A'p1＝A'p2＝A'p3＝３の場合、同図（Ｂ）に示すA'p0＝２、A'p1＝１０、A'p2＝A'p3＝０の場合、同図（Ｃ）に示すA'p0＝１２、A'p1＝A'p2＝A'p3＝０の場合、同図（Ｄ）に示すA'p0＝２、A'p1＝A'p2＝３、A'p3＝４の場合のいずれも（１）式で表わされる画素Ａの値が「３」となり正解となる。図２（Ａ）〜（Ｄ）に示す場合以外にも（１）式を満たす画素Ａの周辺画素A'p0、A'p1、A'p2、A'p3の値の組み合わせは多数ある。
A = (ΣA'pn) / m 2 (0 ≦ n ≦ m 2 −1) (1)
When only the above expression (1) is used as the enlargement constraint condition, any of the pixel groups shown in FIG. FIG. 2 shows an example of m = 2. When the pixel value of the pixel A is “3”, when A′p0 = A′p1 = A′p2 = A′p3 = 3 shown in FIG. In the case of A′p0 = 2, A′p1 = 10, and A′p2 = A′p3 = 0 shown in FIG. 5B, A′p0 = 12, A′p1 = A ′ shown in FIG. In the case of p2 = A′p3 = 0, all of the cases of A′p0 = 2, A′p1 = A′p2 = 3, and A′p3 = 4 shown in FIG. The value of the pixel A is “3” and is correct. In addition to the cases shown in FIGS. 2A to 2D, there are many combinations of the values of the peripheral pixels A′p0, A′p1, A′p2, and A′p3 of the pixel A satisfying the expression (1).
そこで、本発明ではまず画像Ｆを、既存の拡大手法でｍ倍に拡大し、拡大対象画像内の画素Ａに対して候補補間画素群Ｄのｍ2個の画素{A'p0,A'p1,・・・,A'pn,・・・,A'pm2-1}を得る。候補値を得るための拡大手法は任意であるが、最終的に修正を行うので、ボケ等の劣化要因があっても処理量の少ないアルゴリズムが望ましい。従って、通常のフィルタ処理で候補補間画素群を求めてもよい。 Therefore, in the present invention, first, the image F is enlarged m times by an existing enlargement method, and m 2 pixels {A'p0, A'p1] of the candidate interpolation pixel group D with respect to the pixel A in the enlargement target image. , ..., A'pn, ..., A'pm 2 -1}. The enlargement method for obtaining the candidate value is arbitrary, but since correction is finally performed, an algorithm with a small amount of processing is desirable even if there is a deterioration factor such as blurring. Therefore, the candidate interpolation pixel group may be obtained by normal filter processing.
前述したように、拡大画像の推定は逆問題であり、解は不定となる。通常のフィルタ処理によりこの逆問題の解を求めた場合は、実際に解像度のｍ倍の撮像センサで撮影した画像よりボケたものになるのが一般的である。そこで、本発明では画像の自己合同性を利用してフィルタによる拡大画像を修正する。 As described above, the estimation of the enlarged image is an inverse problem, and the solution is indefinite. When a solution to this inverse problem is obtained by a normal filter process, the image is generally more out of focus than an image actually captured by an image sensor having m times the resolution. Therefore, in the present invention, the enlarged image by the filter is corrected using the self-congruity of the image.
この場合、図３に示すように、画素Ａをフィルタ処理することで得られた拡大画素群
Ｄ＝{A'p0,A'p1,・・・,A'pn,・・・,A'pm2-1}
をテンプレートとして、画像Ｆ内をパターンマッチングし、最も類似度が高いパターン
Ｄ'＝{A"p0,A"p1,・・・,A"pn,・・・,A"pm2-1}
を見つける。その後、図３に示すように、画素Ａの最終拡大画素群として、拡大画素群Ｄをパターンマッチング後の画素群Ｄ’で置き換える。パターンマッチング後の画素群Ｄ’はパターンマッチング前の拡大画素群Ｄに較べてフィルタ処理がかけられていないため、ボケがなく良好な拡大画像となる。なお、図３はｍ＝２の例を示しているので、
Ｄ＝{A'p0,A'p1,A'p2,A'p3}， Ｄ'＝{A"p0,A"p1,A"p2,A"p3}
である。
In this case, as shown in FIG. 3, the enlarged pixel group D = {A′p0, A′p1,..., A′pn,. 2 -1}
Using the template as a template, pattern matching is performed in the image F, and the pattern with the highest similarity is D '= {A "p0, A" p1, ..., A "pn, ..., A" pm 2 -1}
Find out. Thereafter, as shown in FIG. 3, as the final enlarged pixel group of the pixel A, the enlarged pixel group D is replaced with a pixel group D ′ after pattern matching. Since the pixel group D ′ after pattern matching is not subjected to filter processing as compared with the enlarged pixel group D before pattern matching, the pixel group D ′ has no blur and becomes a good enlarged image. Since FIG. 3 shows an example of m = 2,
D = {A'p0, A'p1, A'p2, A'p3}, D '= {A "p0, A" p1, A "p2, A" p3}
It is.
しかし、テンプレートとして用いる拡大画素群Ｄは逆問題の性格上、拡大前の画素Ａの情報を完全には保存できていないため、パターンマッチングの結果である画素群Ｄ’が画素Ａの正確な拡大画像としては誤差が大きいという問題がある。そこで、本発明ではテンプレートとして用いる拡大画素群Ｄに元画素Ａを加えた図４に示すパターンＥをテンプレートとする。 However, since the enlarged pixel group D used as a template cannot completely store the information of the pixel A before enlargement due to the nature of the inverse problem, the pixel group D ′ that is the result of pattern matching is an accurate enlargement of the pixel A. There is a problem that an error is large as an image. Therefore, in the present invention, a pattern E shown in FIG. 4 in which the original pixel A is added to the enlarged pixel group D used as a template is used as a template.
Ｅ＝{A,A'}＝{A,A'p0,A'p1,・・・,A'pn,・・・,A'pm2-1} (2)
ただし、図４に示すように、パターンＥをテンプレートとして、画像Ｆ内をパターンマッチングしても画像Ｆ内にはパターンＥと合同なパターンが存在しないため、パターンマッチングできない。そこで、自己合同性の利用を、自己相似性の利用に拡大し、図４のパターンＥ’をパターンマッチングの探索対象とする。画像の自己相似性はフラクタル画像圧縮にも利用される良く知られた性質であるため、この拡張は妥当なものと考えられる。
E = {A, A '} = {A, A'p0, A'p1, ..., A'pn, ..., A'pm 2 -1} (2)
However, as shown in FIG. 4, even if pattern matching is performed in the image F using the pattern E as a template, the pattern matching cannot be performed because a pattern congruent with the pattern E does not exist in the image F. Therefore, the use of self-congruity is expanded to the use of self-similarity, and the pattern E ′ in FIG. Since the self-similarity of images is a well-known property that is also used for fractal image compression, this extension is considered reasonable.
そして、パターンＥとパターンＥ’とを評価関数に基づいて、パターンマッチングを行う。このパターンマッチングの評価関数は、一般的には二乗誤差、若しくは絶対値誤差の総和が用いられる。しかし、これらの評価関数では、前述した“低解像度撮像センサ画素値は、高解像度撮像センサ画素値の平均値である”という性質が考慮されないため、正確なパターンマッチングができない。 Then, pattern matching is performed on the pattern E and the pattern E ′ based on the evaluation function. The evaluation function for pattern matching is generally a square error or a sum of absolute value errors. However, these evaluation functions do not take into account the above-mentioned property that “the low-resolution image sensor pixel value is an average value of the high-resolution image sensor pixel value”, and therefore cannot perform accurate pattern matching.
例えば、図５（Ａ）に示すようなA'p0＝A'p1＝A'p2＝A'p3＝３のパターンの拡大画素群Ｄを、同図（Ｂ）に示すA'p0＝A'p1＝A'p2＝３、A'p3＝４のパターンＢと、同図（Ｃ）に示すA'p0＝２、A'p1＝A'p2＝３、A'p3＝４のパターンＣとを、二乗誤差を評価関数に用いてパターンマッチングした場合、同図（Ｃ）のパターンＣが平均値は「３」であるので、本来なら解の一つであるが、平均値の異なるパターンＢが二乗誤差により選択されてしまう。 For example, an enlarged pixel group D having a pattern of A′p0 = A′p1 = A′p2 = A′p3 = 3 as shown in FIG. 5A is converted into A′p0 = A ′ shown in FIG. A pattern B of p1 = A′p2 = 3 and A′p3 = 4 and a pattern C of A′p0 = 2, A′p1 = A′p2 = 3 and A′p3 = 4 shown in FIG. When pattern matching is performed using the square error as an evaluation function, the average value of pattern C in FIG. 10C is “3”, so that it is originally one of the solutions, but pattern B having a different average value is used. Is selected due to the square error.
そこで、本発明では二乗誤差、若しくは絶対値誤差の総和を評価関数として用いず、以下の評価関数を用いてパターンマッチングする。 Therefore, in the present invention, pattern matching is performed using the following evaluation function without using the sum of the square error or absolute value error as the evaluation function.
argMin{a*|A"−A|＋b*|ΣA"pn−ΣA'pn|
＋c*Σ|A"pn−A'pn|} (０≦ｎ≦ｍ2−1) (3)
なお、（３）式のargMin{}は、{}を最小にする変数を求めるという意味を示す。すなわち、（３）式の{}内の値を最小とする{A"p0,A"p1,・・・,A"pn,・・・,A"pm2-1}を求めるパターンマッチングを行うことになる。
argMin {a * | A "-A | + b * | ΣA"pn-ΣA'pn |
+ C * Σ | A "pn−A'pn |} (0 ≦ n ≦ m 2 −1) (3)
Note that argMin {} in equation (3) indicates that a variable that minimizes {} is obtained. That is, pattern matching for obtaining {A "p0, A" p1,..., A "pn,..., A" pm 2 -1} that minimizes the value in {} in the expression (3) is performed. It will be.
ここで、（３）式には、図６に示すように、絶対値誤差の積算項（Σ|A"pn−A'pn|）以外に、平均値同士の差分項（ΣA"pn−ΣA'pn）と、拡大前の画素相当の誤差項（|A"−A|）が加わっているので、前述した拡大前画素情報の欠落、センサモデルにおける平均値処理の欠如が解消され、より推定の精度が上がった拡大画像相当のパターンが選択される。 Here, in equation (3), as shown in FIG. 6, in addition to the absolute value error integration term (Σ | A "pn-A'pn |), the difference term (ΣA" pn-ΣA) between the average values. 'pn) and the error term (| A "-A |) corresponding to the pixel before enlargement are added, so the above-mentioned lack of pixel information before enlargement and the lack of average value processing in the sensor model are resolved and more estimation is possible. A pattern corresponding to an enlarged image with improved accuracy is selected.
なお、（３）式中、a,b,cは任意の定数であり、どの要素を重視するかで変更可能であるし、これをノイズ状況などの情報で動的に変化させてもよい。 In the expression (3), a, b, and c are arbitrary constants, which can be changed depending on which element is important, and may be dynamically changed by information such as a noise situation.
図１に戻って説明する。図１に示す本実施の形態の画像解像度変換装置１０は、上記のアルゴリズムに従った装置で、フレームメモリ１２は蓄積した原画像１１の画素Ａのデータと、ｍ倍（ここではｍ＝２）の拡大のフィルタ処理に必要な画素Ａの近傍の画素のデータとを同時に拡大フィルタ１３に供給する。
Returning to FIG. An image
拡大フィルタ１３はフィルタアルゴリズムに応じて、画素Ａの拡大画素群Ｄを生成し、更にその拡大画素群Ｄに元画素Ａを加えた（２）式に示したパターンＥを生成し、このパターンＥをパターンマッチング部１４にテンプレートとして出力する。
The
パターンマッチング部１４はフレームメモリ１２に対し、原画像１１（画像Ｆ）内の自己合同性の利用を自己相似性の利用に拡大した比較対象パターンＥ’を含んだ所定画素数の画素群の読出しアドレスを順次送信することで、フレームメモリ１２から読み出した比較対象パターンＥ’を含んだ画素群を取得する。続いて、パターンマッチング部１４は、フレームメモリ１２から取得した比較対象パターンＥ’を含んだ画素群と、拡大フィルタ１３から供給されるテンプレートＥとの評価関数を計算するパターンマッチングを行う。このときの評価関数は前述の（３）式であり、撮像センサの動作モデルを考慮した評価関数である。
The
そして、パターンマッチング部１４は、取得した画素群内の比較対象パターンＥ’の中で、上記の評価関数が最小となる比較対象パターンを、パターンマッチングで探索した画素Ａの最終的な拡大画素群として出力する。最終的な拡大画素群を順に出力することで原画像１１の２倍（ｍ＝２）の拡大画像１５がパターンマッチング部１４から得られる。
Then, the
このように、本実施の形態によれば、通常の拡大フィルタ処理で生成した候補補間画素群に元画素を加えたパターンであるテンプレートＥと、原画像１１内の自己相似性を利用した所定画素数の比較対象パターンＥ’とを、撮像センサの動作モデルを考慮した評価関数に基づいてパターンマッチングを行い、評価関数が最小となる比較対象パターンを最終的な拡大画素群としたため、フィルタ型画素補間のような低域フィルタ処理を行わないため、低域フィルタ処理に起因するボケの無い良好な解像度拡大画像を得ることができる。 As described above, according to the present embodiment, template E, which is a pattern obtained by adding original pixels to a candidate interpolation pixel group generated by normal enlargement filter processing, and predetermined pixels using self-similarity in original image 11 Since the number of comparison target patterns E ′ is subjected to pattern matching based on an evaluation function considering an operation model of the image sensor, and the comparison target pattern having the smallest evaluation function is set as a final enlarged pixel group, filter-type pixels Since low-pass filter processing such as interpolation is not performed, a good resolution-enlarged image free from blur caused by the low-pass filter processing can be obtained.
１０ 画像解像度変換装置
１２ フレームメモリ
１３ 拡大フィルタ
１４ パターンマッチング部
DESCRIPTION OF
Claims (4)
前記原画像内の自己相似性を利用した比較対象パターンを含む所定画素数の画素群を取得する画素群取得ステップと、
前記所定画素数の画素群内の比較対象パターンのうち、前記テンプレートと比較対象パターンとの間の、低解像度撮像センサ画素値は高解像度撮像センサ画素値の平均値であるという撮像センサの動作モデルを考慮した所定の評価関数が最小となる比較対象パターンを前記テンプレートとのパターンマッチングにより探索し、その探索された比較対象パターンの画素群を拡大画素群として出力するパターンマッチングステップと、
を含むことを特徴とする画像解像度変換方法。 Obtains m (m is a natural number) candidate interpolation pixel groups at the peripheral positions of the pixels from the resolution conversion target pixels in the original image, and generates a template obtained by adding the pixels to the candidate interpolation pixel groups A template generation step,
A pixel group acquisition step of acquiring a pixel group of a predetermined number of pixels including a comparison target pattern using self-similarity in the original image;
The image sensor operation model in which the low resolution image sensor pixel value between the template and the comparison object pattern is an average value of the high resolution image sensor pixel values among the comparison target patterns in the pixel group of the predetermined number of pixels. A pattern matching step for searching for a comparison target pattern that minimizes a predetermined evaluation function taking into account by pattern matching with the template and outputting a pixel group of the searched comparison target pattern as an enlarged pixel group;
An image resolution conversion method comprising:
前記テンプレートの画素群の第１の平均値と比較対象パターンの画素群の第２の平均値との差分の絶対値と、前記テンプレート内の前記解像度変換対象の画素の値と比較対象パターンの画素群内の前記解像度変換対象の画素に対応する画素の値との誤差の絶対値と、前記テンプレートの画素群の各画素とその画素に対応する比較対象パターンの画素群の各画素との間の画素差分値の絶対値の積算値との和であることを特徴とする請求項１記載の画像解像度変換方法。 The predetermined evaluation function in the pattern matching step is:
The absolute value of the difference between the first average value of the pixel group of the template and the second average value of the pixel group of the comparison target pattern, the value of the resolution conversion target pixel in the template, and the pixel of the comparison target pattern An absolute value of an error between a pixel value corresponding to the resolution conversion target pixel in the group and each pixel of the pixel group of the comparison target pattern corresponding to the pixel of the template pixel group 2. The image resolution conversion method according to claim 1, which is a sum of absolute values of pixel difference values and an integrated value.
前記原画像内の自己相似性を利用した比較対象パターンを含む所定画素数の画素群を取得する画素群取得手段と、
前記所定画素数の画素群内の比較対象パターンのうち、前記テンプレートと比較対象パターンとの間の、低解像度撮像センサ画素値は高解像度撮像センサ画素値の平均値であるという撮像センサの動作モデルを考慮した所定の評価関数が最小となる比較対象パターンを前記テンプレートとのパターンマッチングにより探索し、その探索された比較対象パターンの画素群を拡大画素群として出力するパターンマッチング手段と、
を備えることを特徴とする画像解像度変換装置。 By filtering from the resolution conversion target pixels in the original image, m candidate interpolation pixel groups (m is a natural number) at the peripheral positions of the pixels are obtained, and a template in which the pixels are added to the candidate interpolation pixel group is generated. An enlargement filter means;
Pixel group acquisition means for acquiring a pixel group of a predetermined number of pixels including a comparison target pattern using self-similarity in the original image;
The image sensor operation model in which the low resolution image sensor pixel value between the template and the comparison object pattern is an average value of the high resolution image sensor pixel values among the comparison target patterns in the pixel group of the predetermined number of pixels. A pattern matching means for searching for a comparison target pattern that minimizes a predetermined evaluation function taking into account by pattern matching with the template, and outputting a pixel group of the searched comparison target pattern as an enlarged pixel group;
An image resolution conversion apparatus comprising:
前記テンプレートの画素群の第１の平均値と比較対象パターンの画素群の第２の平均値との差分の絶対値と、前記テンプレート内の前記解像度変換対象の画素の値と比較対象パターンの画素群内の前記解像度変換対象の画素に対応する画素の値との誤差の絶対値と、前記テンプレートの画素群の各画素とその画素に対応する比較対象パターンの画素群の各画素との間の画素差分値の絶対値の積算値との和であることを特徴とする請求項３記載の画像解像度変換装置。 The predetermined evaluation function in the pattern matching means is
The absolute value of the difference between the first average value of the pixel group of the template and the second average value of the pixel group of the comparison target pattern, the value of the resolution conversion target pixel in the template, and the pixel of the comparison target pattern An absolute value of an error between a pixel value corresponding to the resolution conversion target pixel in the group and each pixel of the pixel group of the comparison target pattern corresponding to the pixel of the template pixel group 4. The image resolution conversion apparatus according to claim 3, wherein the image resolution conversion device is a sum of absolute values of pixel difference values and an integrated value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011155324A JP2013021623A (en) | 2011-07-14 | 2011-07-14 | Image resolution conversion method, and image resolution conversion device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011155324A JP2013021623A (en) | 2011-07-14 | 2011-07-14 | Image resolution conversion method, and image resolution conversion device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013021623A true JP2013021623A (en) | 2013-01-31 |
Family
ID=47692587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011155324A Withdrawn JP2013021623A (en) | 2011-07-14 | 2011-07-14 | Image resolution conversion method, and image resolution conversion device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013021623A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017107378A (en) * | 2015-12-09 | 2017-06-15 | 国立大学法人横浜国立大学 | Super-resolution device, super-resolution method, and program |
-
2011
- 2011-07-14 JP JP2011155324A patent/JP2013021623A/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017107378A (en) * | 2015-12-09 | 2017-06-15 | 国立大学法人横浜国立大学 | Super-resolution device, super-resolution method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rukundo et al. | Nearest neighbor value interpolation | |
| JP6324155B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4869049B2 (en) | Interpolated frame image creation method and interpolated frame image creation apparatus | |
| CN111447359B (en) | Digital zoom method, system, electronic device, medium, and digital imaging device | |
| JP6236259B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2012185808A (en) | Image processing device, image processing method, computer program and imaging apparatus | |
| JP2010218271A (en) | Parameter control processing apparatus and image processing apparatus | |
| WO2018225133A1 (en) | Image processing device, image processing method and image processing program | |
| CN110889809A (en) | Image processing method and device, electronic device and storage medium | |
| JP4385077B1 (en) | Motion vector detection device and image processing device | |
| JP6494402B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| Koo et al. | An image resolution enhancing technique using adaptive sub-pixel interpolation for digital still camera system | |
| US20130120802A1 (en) | Image processing apparatus and image processing method | |
| JP2005326977A (en) | Image magnification device and program | |
| JP6532328B2 (en) | Image processing apparatus, control method therefor, and control program | |
| JP2013021623A (en) | Image resolution conversion method, and image resolution conversion device | |
| JP2010066865A (en) | Difference extraction device and difference extraction program | |
| Zhang et al. | Video Superresolution Reconstruction Using Iterative Back Projection with Critical‐Point Filters Based Image Matching | |
| JP5498970B2 (en) | Image reduction device, image enlargement device, and program thereof | |
| JP6604783B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| JP6955386B2 (en) | Super-resolution device and program | |
| JP2013120951A (en) | Image processor | |
| JP6059899B2 (en) | Frame interpolation apparatus and program | |
| JP2011081477A (en) | Image restoring device, program therefor, and multi-dimensional image restoring device | |
| JP4541213B2 (en) | Digital watermark insertion method, digital watermark detection method, digital watermark insertion device, and digital watermark detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141007 |