JP2011248475A - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP2011248475A JP2011248475A JP2010118768A JP2010118768A JP2011248475A JP 2011248475 A JP2011248475 A JP 2011248475A JP 2010118768 A JP2010118768 A JP 2010118768A JP 2010118768 A JP2010118768 A JP 2010118768A JP 2011248475 A JP2011248475 A JP 2011248475A
- Authority
- JP
- Japan
- Prior art keywords
- image
- stored
- update
- edge
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、画質向上に係る技術に関するものである。 The present invention relates to a technique related to image quality improvement.
コンピュータ、デジタルカメラ、ディスプレイなどの画像データを取り扱う機器において、画像の拡大は頻繁に行われる操作である。画像の拡大においては、拡大方法が問題となり、方法によって拡大後の画像の画質は異なったものになる。代表的なものとしては、nearest neighbor法、bi-linear法、bi-cubic法などがあげられる。 In devices that handle image data such as computers, digital cameras, and displays, image enlargement is a frequently performed operation. In enlarging an image, the enlarging method becomes a problem, and the image quality of the image after enlarging differs depending on the method. Typical examples include the nearest neighbor method, bi-linear method, and bi-cubic method.
このような方法で拡大した画像は、画素数こそ増えるが、空間解像度は変化しないため、ボケた印象の画像になってしまう。これに対し、画像データ取得時の過程に関する情報を活用して画像推定を行うことで、空間解像度を向上させることができる。 An image enlarged by such a method increases the number of pixels, but the spatial resolution does not change, and thus the image becomes blurred. On the other hand, the spatial resolution can be improved by performing image estimation using information on the process at the time of image data acquisition.
非特許文献1では、MAP(Maximum A Posterior)推定に基づく方法により高解像度画像を生成している。MAP法とは、与えられた低解像度画像に対して、事後確率を最大化する、すなわち最も確率的に確からしい高解像度画像を求める方法である。事後確率は、条件付け確率(高解像度画像に画像データ取得時の過程を作用させた時に、与えられた低解像度画像が得られる確率)と、事前確率(この高解像度画像が出現する確率)を乗算したものに比例したものである。これを最大化する最適化問題を解くことで高解像度画像の推定を行う。非特許文献1では、画像が滑らかであるという想定で事前確率を設定する方法が記載されている。
In
一方、非特許文献2では、画像データ取得時の過程に関する情報を活用しながら、高解像度画像の画素値変動の総和が小さくなるように、高解像度画像を推定する方法が提案されている。この方法は、MAP法において、画像がステップ状であるという想定で事前確率を設定した場合と等価な働きをする。また、同じく非特許文献2において、画像を骨格とテクスチャに分解し、骨格画像に対しては上述の方法を適用し、テクスチャに対してはフィルタによる解像度変換を適用し、それぞれの処理後に合成するという方法が提案されている。 On the other hand, Non-Patent Document 2 proposes a method for estimating a high-resolution image so that the sum of pixel value fluctuations of the high-resolution image is reduced while utilizing information regarding the process at the time of image data acquisition. This method is equivalent to the case where the prior probability is set on the assumption that the image is stepped in the MAP method. Similarly, in Non-Patent Document 2, the image is decomposed into a skeleton and a texture, the above-described method is applied to the skeleton image, and resolution conversion using a filter is applied to the texture, and the image is synthesized after each processing. This method has been proposed.
非特許文献1で提案されている方法では、エッジ部にリンギングを生じさせ、正しくエッジを再現できないという問題がある。これに対して、非特許文献2で提案されている画像をステップ状であると想定して画像推定を行う方法は、エッジは正しく再現できるが、エッジでない部分までエッジ状にしてしまい、画像が不自然になるという問題がある。また、非特許文献2で提案される画像分解を用いる方法は、画像が不自然になるのを回避しながらエッジを正しく再現することができるが、テクスチャに対しては空間解像度の向上ができないという問題がある。
In the method proposed in
本発明は以上の問題に鑑みてなされたものであり、拡大後の画像の空間解像度を向上させるための技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide a technique for improving the spatial resolution of an enlarged image.
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、第1の画像から、該第1の画像の解像度よりも高い解像度を有し且つ該第1の画像よりも画像サイズが大きい第2の画像を生成する画像処理装置であって、
前記第1の画像を前記第2の画像と同サイズに拡大した画像を生成し、該生成した画像を前記画像処理装置のメモリに格納する格納手段と、
前記拡大した画像におけるエッジを強調したエッジ強調画像を生成する生成手段と、
前記メモリに格納されている画像を更新する更新手段と、
前記更新手段が更新した画像を前記第2の画像として出力する手段と
を備え、
前記更新手段は、
前記メモリに格納されている格納画像における画素間の画素値の変化を表す値に対して前記エッジ強調画像を構成している各画素の画素値を用いて重み付けして計算した第1の評価値と、規定のフィルタを用いて前記格納画像を前記第1の画像と同じ画像サイズに縮小して画質を劣化させた画像と前記第1の画像との差異を示す第2の評価値と、の合計を極小化するような、前記格納画像に対する更新量を求める計算手段と、
前記更新量を用いて前記格納画像を更新する手段と
を備えることを特徴とする。
In order to achieve the object of the present invention, for example, an image processing apparatus of the present invention comprises the following arrangement. That is, an image processing apparatus that generates, from a first image, a second image having a resolution higher than that of the first image and having a larger image size than the first image,
Storage means for generating an image obtained by enlarging the first image to the same size as the second image, and storing the generated image in a memory of the image processing device;
Generating means for generating an edge-enhanced image in which edges in the enlarged image are enhanced;
Updating means for updating an image stored in the memory;
Means for outputting the image updated by the updating means as the second image,
The updating means includes
A first evaluation value calculated by weighting a value representing a change in pixel value between pixels in the stored image stored in the memory using a pixel value of each pixel constituting the edge enhanced image. And a second evaluation value indicating a difference between the first image and the image obtained by reducing the stored image to the same image size as the first image using a specified filter, and Calculation means for obtaining an update amount for the stored image so as to minimize the total;
Means for updating the stored image using the update amount.
本発明の構成によれば、拡大後の画像の空間解像度を向上させることができる。 According to the configuration of the present invention, the spatial resolution of an enlarged image can be improved.
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の1つである。 Preferred embodiments of the present invention will be described below with reference to the accompanying drawings. The embodiment described below shows an example when the present invention is specifically implemented, and is one of the specific examples of the configurations described in the claims.
[第1の実施形態]
<画像処理装置の機能構成例について>
先ず、本実施形態に係る画像処理装置の機能構成例について、図1のブロック図を用いて説明する。画像入力部101には入力画像(第1の画像)が入力されるので、画像入力部101はこの入力画像を後段の画像推定部102に出力する。
[First Embodiment]
<Functional configuration example of image processing apparatus>
First, a functional configuration example of the image processing apparatus according to the present embodiment will be described with reference to the block diagram of FIG. Since the input image (first image) is input to the
画像推定部102は、この入力画像から、入力画像の解像度よりも高い解像度を有し且つ入力画像よりも画像サイズが大きい画像(第2の画像)を生成する。第2の画像を生成するためには画像推定処理を行うのであるが、この画像推定処理については以下に詳しく説明する。
The
画像推定部102は画像推定処理によって生成した画像を後段の画像出力部103に送出するので、画像出力部103はこの画像を送出する。送出先は特に限定するものではなく、ネットワークを介して外部の装置に送信しても良いし、CRTや液晶画面などにより構成されている画像表示装置に対して出力しても良い。
Since the
<画像推定部102の機能構成例について>
画像推定部102の機能構成例について、図2のブロック図を用いて説明する。本実施形態では、画像入力部101を介して画像推定部102に入力される画像をLR画像(Low Resolution画像)と呼称する。また、画像推定部102がこのLR画像から生成し、画像出力部103に対して送出する画像を、HR画像(High Resolution画像)と呼称する。また、LR画像の画像サイズをW(横画素数)×H(縦画素数)とする。また、上記の通り、HR画像はLR画像を拡大した画像であり、横方向の拡大倍率をs_x、縦方向の拡大倍率をs_yとするので、HR画像の画像サイズはs_x×W(横画素数)×s_y×H(縦画素数)となる。
<Example of Functional Configuration of Image Estimating
A functional configuration example of the
画像推定部102に入力されたLR画像はバッファ204に格納されると共に、初期画像生成部202及び重み計算部203に入力される。初期画像生成部202は、bi-cubicやキュービック補間等の補間方法を用いて、LR画像をHR画像と同サイズに拡大した画像を生成する。そして初期画像生成部202は、この生成した画像を中間HR画像(格納画像)としてバッファ206に格納する。
The LR image input to the
重み計算部203は、bi-cubicやキュービック補間等の補間方法を用いて、LR画像をHR画像と同サイズに拡大した画像を生成する。そして重み計算部203は、この生成した画像を構成する各画素がエッジを構成しているか非エッジを構成しているかを示す値を画素値とする画像を生成し、この画像に対してローパスフィルタ処理等の処理を行うことで、エッジ強調画像を生成する。このエッジ強調画像について詳しくは後述するが、以下では、このエッジ強調画像を構成する各画素の画素値は0〜1に正規化されているものとして説明する。そして重み計算部203は、この生成したエッジ強調画像から算出される後述の重み値(αm、n、βm、n)をバッファ205に格納する。
The
劣化モデルメモリ201には、LR画像を撮像等により得る過程でこのLR画像に対して生じた画質劣化を再現するための規定のフィルタとしてのマトリクスのデータが「劣化モデル」として格納されている。この劣化モデルについて詳しくは後述する。
The
更新量計算部207は、劣化モデルメモリ201から読み出した劣化モデル、バッファ205から読み出した重み値、バッファ204から読み出したLR画像、バッファ206から読み出した中間HR画像、を用いて、この中間HR画像の更新量を計算する。この更新量は、バッファ206に格納されている中間HR画像の縦横の画素数と同じ縦横の要素数を有するマトリクスとして表現され、マトリクス中の位置Pに格納されている更新量は、中間HR画像中の位置Pに対して加えられる更新量である。
The update
加算器208は、更新量計算部207が求めた更新量が示すマトリクスに登録されているそれぞれの更新量を、バッファ206に格納されている中間HR画像の対応する画素位置における画素の画素値に対して加算することで、新たな中間HR画像を生成する。
The
セレクタ209は、更新量計算部207、加算器208による中間HR画像の更新処理を完了させるか否かを判断する。そして、完了させると判断した場合には、加算器208が生成した新たな中間HR画像を、HR画像として画像出力部103に送出する。一方、完了させないと判断した場合には、加算器208が生成した新たな中間HR画像を、既にバッファ206に格納されている中間HR画像に上書きして格納する。即ち、バッファ206に格納されている中間HR画像を更新する。
The
<劣化モデルについて>
次に、劣化モデルメモリ201に格納されている劣化モデルについて説明する。デジタルカメラなどの撮像装置を用いて1枚の画像を撮像する過程で生じる画質劣化を、撮像装置の点広がり関数(PSF)と、センサ画素数の制限による劣化過程であるダウンサンプリングと、で表現する。これによれば、LR画像をy、HR画像をx、とすると、xとyとの関係は以下の式(1)で表すことができる。
<About deterioration model>
Next, the deterioration model stored in the
この式(1)においてBはPSFによる劣化を表す正方行列である。Dはダウンサンプリングによる画像縮小の倍率を反映した行列である。以下では、行列Dと行列Bの積DBを劣化モデルとして扱う。即ち、劣化モデルとは、行列B、Dでモデル化された劣化過程を示すものである。然るに、本実施形態では、LR画像を撮像した撮像装置の撮像特性の光学特性やセンサ特性などを考慮して行列Bを設定する。 In this equation (1), B is a square matrix representing degradation due to PSF. D is a matrix reflecting the magnification of image reduction by downsampling. In the following, the product DB of the matrix D and the matrix B is treated as a deterioration model. That is, the degradation model indicates a degradation process modeled by the matrices B and D. However, in the present embodiment, the matrix B is set in consideration of the optical characteristics and sensor characteristics of the imaging characteristics of the imaging apparatus that captured the LR image.
行列B、DのサイズはLR画像の画像サイズ、HR画像の画像サイズ、に依存している。LR画像の画像サイズを上記の通りW×H、HR画像の画像サイズを上記の通り(s_x×W)×(s_y×H)、ダウンサンプリングによる画像縮小率を横方向1/s_x、縦方向1/s_yとすると、行列B、Dは図3に示す如くのサイズとなる。 The sizes of the matrices B and D depend on the image size of the LR image and the image size of the HR image. The image size of the LR image is W × H as described above, the image size of the HR image is as described above (s_x × W) × (s_y × H), the image reduction ratio by downsampling is 1 / s_x in the horizontal direction, and 1 in the vertical direction. Assuming / s_y, the matrices B and D have the sizes shown in FIG.
LR画像を表すyはベクトル記述として扱うため、その行列サイズは(H×W)×1となる。HR画像を表すxはベクトル記述として扱うため、その行列サイズは{(s_x×W)×(s_y×H)}×1となる。然るに、行列Dの行列サイズは(H×W)×{(s_x×W)×(s_y×H)}となり、行列Bの行列サイズは{(s_x×W)×(s_y×H)}×{(s_x×W)×(s_y×H)}となる。 Since y representing the LR image is handled as a vector description, the matrix size is (H × W) × 1. Since x representing the HR image is handled as a vector description, the matrix size is {(s_x × W) × (s_y × H)} × 1. However, the matrix size of the matrix D is (H × W) × {(s_x × W) × (s_y × H)}, and the matrix size of the matrix B is {(s_x × W) × (s_y × H)} × { (S_x × W) × (s_y × H)}.
<画像推定部102による画像推定処理について>
次に、画像推定部102による画像推定処理について説明する。本実施形態では、非特許文献1に開示されているMAP推定法をベースにして画像推定処理を行う。より詳しくは、以下の式(2)を用いて画像推定処理を行う。
<Image Estimation Processing by
Next, image estimation processing by the
ここで、xは中間HR画像、yはLR画像、x’はこの中間HR画像を複数回更新して得られるHR画像を示しており、x、y、x’の何れも列ベクトルである。式(3)に、中間HR画像を表す列ベクトルを示す。 Here, x is an intermediate HR image, y is an LR image, x ′ is an HR image obtained by updating the intermediate HR image a plurality of times, and all of x, y, and x ′ are column vectors. Equation (3) shows a column vector representing the intermediate HR image.
この列ベクトルは、中間HR画像中の各画素位置(m、n)における画素の画素値xm、nを、(m,n)が次のような順になるよう並べることで構成したベクトルである。即ち、(0,1),(0,2),(0.3)…(1,1),(1,2),(1.3)…(2,1),(2,2),(2.3)…である。このように、以下ではvec(s)は、画像sを列ベクトル化したものを示しているものとする。 This column vector is a vector configured by arranging pixel values xm , n of pixels at each pixel position (m, n) in the intermediate HR image so that (m, n) is in the following order. . That is, (0,1), (0,2), (0.3) ... (1,1), (1,2), (1.3) ... (2,1), (2,2), (2.3). Thus, in the following, it is assumed that vec (s) indicates a column vector of the image s.
式(2)においてargmin[]内の第1項は、中間HR画像xに劣化モデル(D・B)を適用させて生成した画像とLR画像yとの差分(差異)が小さいほどより小さい値を取る評価値であり、条件付け確率に対応する。σはLR画像yのノイズ量の標準偏差である。 In Expression (2), the first term in argmin [] is a smaller value as the difference (difference) between the image generated by applying the deterioration model (D · B) to the intermediate HR image x and the LR image y is smaller. Is an evaluation value that corresponds to the conditioning probability. σ is a standard deviation of the noise amount of the LR image y.
式(2)においてargmin[]内の第2項は、「中間HR画像x内の画素間の画素値の変化の勾配が滑らか」であるほどより小さい値を取る評価値であり、非エッジの事前確率に対応する。∇2xm、nは中間HR画像xの二次微分に相当し、以下の式(4)によって計算することができる。 In Equation (2), the second term in argmin [] is an evaluation value that takes a smaller value as the “gradient of the change in pixel value between pixels in the intermediate HR image x” is smoother. Corresponds to prior probabilities. ∇ 2 x m, n corresponds to the second derivative of the intermediate HR image x and can be calculated by the following equation (4).
この二次微分∇2xm、nに対する重み値としてのαm、nは、∇2xm、nの寄与を画素位置ごとに重みづけするための係数である。 Α m, n as a weight value for the second derivative ∇ 2 x m, n is a coefficient for weighting the contribution of ∇ 2 x m, n for each pixel position.
式(2)においてargmin[]内の第3項は、「中間HR画像x内の画素間の画素値の変化が小さい」ほどより小さい値を取る評価値であり、エッジの事前確率に対応する。|∇xm、n|は中間HR画像xにおける画素値の勾配の絶対値に相当し、式(5)によって計算することができる。 In Expression (2), the third term in argmin [] is an evaluation value that takes a smaller value as the “change in the pixel value between pixels in the intermediate HR image x is smaller”, and corresponds to the prior probability of the edge. . | ∇x m, n | corresponds to the absolute value of the gradient of the pixel value in the intermediate HR image x, and can be calculated by Equation (5).
この|∇xm、n|に対する重み値としてのβm、nは、|∇xm、n|の寄与を画素位置ごとに重みづけするための係数である。αm、n、βm、nは何れも、中間HR画像xにおける領域の特性に応じた処理を実現するための重み値であり、後述する方法を用いて重み計算部203によりLR画像から計算される。
The | ∇x m, n | β m , n of the weight values for the, | a coefficient for weighting the contributions for each pixel position | ∇x m, n. α m, n , β m, n are weight values for realizing processing according to the characteristics of the region in the intermediate HR image x, and are calculated from the LR image by the
即ち、argmin[]内の第1項は、規定のフィルタを用いて中間HR画像をLR画像と同じ画像サイズに縮小して画質を劣化させた画像とLR画像との差異を示す評価値(第2の評価値)と言える。 In other words, the first term in argmin [] is an evaluation value (first value) indicating the difference between an LR image and an image obtained by reducing the image quality by reducing the intermediate HR image to the same image size as the LR image using a specified filter. 2).
また、argmin[]内の第2項及び第3項は、中間HR画像における画素間の画素値の変化を表す値に対してエッジ強調画像を構成している各画素の画素値を用いて重み付けして計算した評価値(第1の評価値)と言える。以下の式(6)は、式(2)の右辺を抽出し、評価関数として用いる数式である。 The second and third terms in argmin [] are weighted using the pixel value of each pixel constituting the edge-enhanced image with respect to the value representing the change in pixel value between pixels in the intermediate HR image. Thus, it can be said that the evaluation value (first evaluation value) is calculated. Expression (6) below is an expression that extracts the right side of Expression (2) and uses it as an evaluation function.
本実施形態では、この評価関数を極小化するように中間HR画像xを更新していくことで、HR画像を推定する。本実施形態では、この評価関数を極小化するように、最急降下法を用いて中間HR画像xの更新量を決定し、決定した更新量でもって中間HR画像xを更新する。なお、この極小化には最急降下法以外の方法を用いても良い。 In the present embodiment, the HR image is estimated by updating the intermediate HR image x so as to minimize the evaluation function. In the present embodiment, the update amount of the intermediate HR image x is determined using the steepest descent method so as to minimize the evaluation function, and the intermediate HR image x is updated with the determined update amount. For minimization, a method other than the steepest descent method may be used.
<画像推定部102が行う処理について>
次に、画像推定部102が行う処理について、同処理のフローチャートを示す図4を用いて説明する。先ず、ステップS401では、画像推定部102は、画像入力部101からLR画像を取得する。上記の通り、このLR画像は、初期画像生成部202、バッファ204、重み計算部203に入力される。
<Processing performed by the
Next, processing performed by the
ステップS402では初期画像生成部202は、このLR画像を縦方向にs_y倍、横方向にs_x倍だけ拡大した画像(HR画像と同サイズの画像)を生成し、生成した画像(初期HR画像)を中間HR画像としてバッファ206に格納する。上記の通り、この拡大処理は、bi-cubicやキュービック補間等の補間方法を用いて行う。
In step S402, the initial
ステップS403では重み計算部203は、LR画像から上記重み値αm、n、βm、nを計算し、計算した重み値αm、n、βm、nをバッファ205に格納する。それぞれの重み値の計算方法について詳しくは後述する。
In step S < b > 403, the
ステップS404では更新量計算部207は、バッファ206に格納されている中間HR画像に対する更新量を求める。この更新量は上記の通り、劣化モデルメモリ201から読み出した劣化モデル、バッファ205から読み出した重み値、バッファ204から読み出したLR画像、バッファ206から読み出した中間HR画像、を用いて、評価関数を極小化するように求める。より具体的には、以下の式(7)で計算される画像と、式(8)によって画素位置(m、n)の画素値が定義される画像と、式(9)によって画素位置(m、n)の画素値が定義される画像と、を合成した画像(合成画像)を、求めるべき更新量とする。
In step S404, the update
式(7)は、中間HR画像xに劣化モデル(D・B)を適用させて生成した画像とLR画像yとの差分と、LR画像yのノイズ量の標準偏差σと、劣化モデル(D・B)とを用いて求めることができる。式(8)は、重み値αm、nと、中間HR画像xの二次微分に相当する∇2xm、nと、を用いて求めることができる。式(9)は、中間HR画像xと、重み値βm、nと、を用いて求めることができる。このようにして求める合成画像中の各画素位置における画素値は、中間HR画像x中の対応する画素位置における更新量となる。 Equation (7) is the difference between the image generated by applying the deterioration model (D · B) to the intermediate HR image x and the LR image y, the standard deviation σ of the noise amount of the LR image y, and the deterioration model (D -It can be determined using B). Equation (8) can be obtained using the weight values α m, n and ∇ 2 x m, n corresponding to the second derivative of the intermediate HR image x. Equation (9) can be obtained using the intermediate HR image x and the weight values β m, n . The pixel value at each pixel position in the composite image obtained in this way is an update amount at the corresponding pixel position in the intermediate HR image x.
ステップS405では加算器208は、以下の式(10)を計算することで、バッファ206に格納されている中間HR画像xを更新する。
In step S405, the
即ち、式(7)で計算される画像中の画素位置(m、n)の画素値、式(8)で計算される画素位置(m、n)の画素値、式(9)で計算される画素位置(m、n)の画素値、の合計値に係数εを乗じた値を、中間HR画像x中の画素位置(m、n)に加える。係数εは更新の幅であり、値が大きいと収束に早く近づくが、大き過ぎると誤差が大きくなったり、発散したりしてしまう。これを全ての画素位置について行うことで、中間HR画像xを更新し、更新後の画像x’を得る。式(10)では、更新前の中間HR画像xをx(t)(t回目に更新した中間HR画像x)、更新後の中間HR画像xをx(t+1)と表記している。 That is, the pixel value of the pixel position (m, n) in the image calculated by Expression (7), the pixel value of the pixel position (m, n) calculated by Expression (8), and the expression (9) A value obtained by multiplying the total value of the pixel values at the pixel position (m, n) by the coefficient ε is added to the pixel position (m, n) in the intermediate HR image x. The coefficient ε is the width of the update. If the value is large, the convergence approaches quickly, but if it is too large, the error becomes large or diverges. By performing this for all pixel positions, the intermediate HR image x is updated, and an updated image x ′ is obtained. In Expression (10), the intermediate HR image x before update is expressed as x (t) (intermediate HR image x updated at the t-th time), and the updated intermediate HR image x is expressed as x (t + 1) .
ステップS406ではセレクタ209は、更新量計算部207、加算器208による中間HR画像の更新処理を完了させるか否かを判断する。そして、完了させると判断した場合には、処理はステップS407に進む。ステップS407ではセレクタ209は、加算器208がステップS405で生成した中間HR画像を、HR画像として画像出力部103に送出する。
In step S406, the
一方、完了させないと判断した場合、セレクタ209は、加算器208がステップS405で生成した中間HR画像を、バッファ206に格納されている中間HR画像に上書きして格納する。そして処理はステップS404に戻る。
On the other hand, if it is determined not to be completed, the
本実施形態では、更新量計算部207、加算器208による中間HR画像の更新処理の回数を予め規定しておき、この規定の回数だけ更新処理を行えば、この更新処理を完了すると判断する。しかし、この判断基準については、更新処理に要する時間が規定時間を超えたか否かなど様々なものが考えられ、何れかに限定するものではない。
In the present embodiment, the number of intermediate HR image update processes by the update
<重み値αm、n、βm、nの計算について>
次に、重み計算部203が重み値αm、n、βm、nを求めるために行う処理(ステップS403)について、同処理のフローチャートを示す図5を用いて説明する。
<Calculation of Weight Values α m, n , β m, n >
Next, a process (step S403) performed by the
ステップS501では重み計算部203は、bi-cubicやキュービック補間等の補間方法を用いて、LR画像をHR画像と同サイズに拡大した画像(拡大画像)を生成する。ステップS502では重み計算部203は、この拡大画像のエッジを強調したエッジ強調画像を生成する。このエッジ強調画像は周知の通り、拡大画像中の画素位置Pにおける画素がエッジを構成しているか非エッジを構成しているかを示す値を、エッジ強調画像における画素位置Pの画素値とする画像である。
In step S501, the
このエッジ強調画像には拡大画像の微分画像を用いても良いし、Sobel法、Prewitt法、Robert法、ゼロクロス法、Canny法等の方法を用いて拡大画像から生成した画像を用いても良い。 As the edge-enhanced image, a differential image of the enlarged image may be used, or an image generated from the enlarged image using a method such as Sobel method, Prewitt method, Robert method, zero-cross method, Canny method, or the like may be used.
ステップS503では重み計算部203は、エッジ強調画像に対して、ガウシアンフィルタなどのLPF(Low Pass Filter)を用いたローパスフィルタ処理を行うことで、フィルタ処理済みエッジ強調画像を生成する。
In step S503, the
ステップS504では重み計算部203は、フィルタ処理済みエッジ強調画像中の各画素の画素値を参照し、閾値1以上の画素値、閾値2(<閾値1)以下の画素値をクロップする等、エッジ領域を明確にするための強度調整を行う。
In step S504, the
ステップS505では重み計算部203は、ステップS504で強度調整済みのフィルタ処理済みエッジ強調画像を構成する各画素の画素値を0〜1に正規化する。正規化範囲については特に限定するものではない。
In step S505, the
そして、ステップS505で正規化された強度調整済みのフィルタ処理済みエッジ強調画像中の画素位置(m、n)における画素値を重み値βm、nとする。また、重み値αm、n=1−βm、nとする。そして重み計算部203は、このようにして計算した重み値αm、n、βm、nをバッファ205に格納する。
Then, the pixel value at the pixel position (m, n) in the filtered edge enhanced image after the intensity adjustment normalized in step S505 is set as the weight value β m, n . Further, the weight values α m, n = 1−β m, n are set. The
以上の説明により、本実施形態によれば、エッジ領域と非エッジ領域に適応的に事前確率を設定し、MAP法により画像推定を行うことで、エッジが先鋭かつテクスチャが自然なHR画像(高解像度画像)を生成することができる。 As described above, according to the present embodiment, the prior probabilities are adaptively set in the edge region and the non-edge region, and image estimation is performed by the MAP method, so that an HR image with a sharp edge and natural texture (high image) Resolution image) can be generated.
なお、本実施形態では、バッファ204〜206を設け、それぞれのバッファは異なる情報の保存用に用いた。しかし、バッファ204〜206の代わりに1つのバッファを設け、この1つバッファ内に、バッファ204〜206のそれぞれに格納するものとして説明した情報を格納するようにしても良い。即ち、バッファの数は3に限定するものではない。
In the present embodiment, buffers 204 to 206 are provided, and each buffer is used for storing different information. However, one buffer may be provided instead of the
[第2の実施形態]
第1の実施形態では、1枚のLR画像から1枚のHR画像を生成した。本実施形態では、複数枚のLR画像から1枚のHR画像を生成する。なお、以下では、第1の実施形態と異なる部分について説明を行う。
[Second Embodiment]
In the first embodiment, one HR image is generated from one LR image. In the present embodiment, one HR image is generated from a plurality of LR images. In the following description, parts different from those of the first embodiment will be described.
<画像処理装置の機能構成例について>
本実施形態に係る画像処理装置の機能構成例について、図6のブロック図を用いて説明する。図6において、図1と同じ構成用件には同じ参照番号を付けており、その説明は省略する。
<Functional configuration example of image processing apparatus>
A functional configuration example of the image processing apparatus according to the present embodiment will be described with reference to the block diagram of FIG. In FIG. 6, the same components as those in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted.
図6の構成は、図1の構成に対して、画像入力部101からの入力画像を格納するためのバッファ601と、バッファ601内の複数枚の入力画像を用いて、画像間の位置ずれ量(移動量)を算出するための移動量算出部603と、を加えた構成となっている。更に、図6の構成では、画像推定部102を、複数枚の入力画像を用いて1枚のHR画像を生成する画像推定部602に置き換えている。
The configuration of FIG. 6 uses the
このような構成により、複数枚の入力画像に対して位置ずれ量を考慮した画像推定を行うことができる。すなわち、1枚の入力画像からでは再現できない高周波成分を、複数枚の入力画像の位置ずれ画素から補うことで、生成画像の解像感を向上させることができる。 With such a configuration, it is possible to perform image estimation in consideration of the amount of positional deviation for a plurality of input images. That is, the resolution of the generated image can be improved by supplementing the high frequency components that cannot be reproduced from one input image with the misaligned pixels of the plurality of input images.
<画像推定部602の機能構成例について>
画像推定部602の機能構成例について、図7のブロック図を用いて説明する。図7において図2と同じ構成用件については同じ参照番号を付けており、その説明は省略する。
<Regarding Example Functional Configuration of
A functional configuration example of the
本実施形態では、画像入力部101を介して入力されたLR画像はバッファ601に格納されるのであるが、画像推定部602は、バッファ601に格納されているN(N>1)枚のLR画像を読み出し、バッファ703に格納する。もちろん、このN枚のLR画像の何れも同じ画像サイズを有するものとする。
In this embodiment, the LR image input via the
初期画像生成部202は、バッファ703に最初に格納されたLR画像を読み出し、読み出したLR画像から第1の実施形態と同様にして初期HR画像を生成し、生成した初期HR画像を中間HR画像としてバッファ206に格納する。
The initial
重み計算部203は、バッファ703に最初に格納されたLR画像を読み出し、読み出したLR画像から第1の実施形態と同様にして重み値αm、n、βm、nを計算する。そして重み計算部203は、計算した重み値αm、n、βm、nをバッファ205に格納する。
The
なお、初期画像生成部202、重み計算部203に入力されるLR画像は、バッファ703に最初に格納されたLR画像でなくても良く、他の基準で選択されたLR画像であっても良い。更に、複数枚のLR画像を位置合わせして合成した合成画像をLR画像として初期画像生成部202、重み計算部203に入力しても良い。
Note that the LR image input to the initial
劣化モデル生成部701は、移動量算出部603によって算出された移動量を用いて、第1の実施形態で説明したような劣化モデルを生成する。移動量算出部603は、LR画像毎に画像間の移動量を算出するため、LR画像がN枚であれば、移動量もN個求まることになり、その結果、劣化モデルもN個生成されることになる。そして劣化モデル生成部701は、生成したN個の劣化モデルをバッファ702に格納する。移動量算出部603、劣化モデル生成部701の動作について、詳しくは後述する。
The degradation
更新量計算部704は、バッファ702内の劣化モデル、バッファ205内の重み値、バッファ703内のLR画像、バッファ206内の中間HR画像を用いて、この中間HR画像に対する更新量を求める。更新量計算部704の動作について、詳しくは後述する。
The update
<劣化モデルについて>
次に、劣化モデル生成部701が生成する劣化モデルについて説明する。デジタルカメラなどの撮像装置を用いて1枚の画像を撮像する過程で生じる画質劣化を、撮像装置の点広がり関数(PSF)と、センサ画素数の制限による劣化過程であるダウンサンプリングと、画像間の位置ずれと、で表現する。これによれば、LR画像をy、HR画像をx、とすると、xとyとの関係は以下の式(11)で表すことができる。
<About deterioration model>
Next, the deterioration model generated by the deterioration
この式(11)においてMは画像間の位置ずれを表す行列である。式(11)に登場する列ベクトル、行列のサイズを図8に示す。y、D、B、xについては第1の実施形態と同じである。行列Mは、(H×s_y)×(W×s_x)行(H×s_y)×(W×s_x)列の行列である。以下では、行列D、行列B、秒列Mの積であるDBMのデータを劣化モデルとして扱う。即ち、本実施形態では劣化モデルとは、行列DBMでモデル化された劣化過程を示すものである。 In this equation (11), M is a matrix representing the positional deviation between images. FIG. 8 shows the size of the column vector and matrix appearing in Equation (11). y, D, B, and x are the same as those in the first embodiment. The matrix M is a matrix of (H × s_y) × (W × s_x) rows (H × s_y) × (W × s_x) columns. In the following, DBM data, which is the product of matrix D, matrix B, and second sequence M, is treated as a deterioration model. That is, in this embodiment, the deterioration model indicates a deterioration process modeled by the matrix DBM.
移動量算出部603は、バッファ601に格納されているN枚のLR画像を読み出し、そのうちの1枚を基準LR画像とする。そして移動量算出部603は、N枚のLR画像のうちk(k=1,…,N)番目のLR画像と基準LR画像との相対移動量を求める。相対移動量は、輝度差の総和や輝度差の2乗和を、k番目のLR画像と基準LR画像との相対位置を変えながら計算し、2次関数でフィッティングして値が最小になる位置を求めることで算出する。なお、画像間における移動量の求め方については様々な方法があり、何れの方法を用いても良い。
The movement
行列Mのn行m列目の要素は、HR画像を表す列ベクトルxのm番目の要素(画素値)が、位置ずれを作用させたHR画像を表す列ベクトルxsのn番目の要素にどの程度寄与するかを表している。すなわち、相対移動量が整数画素ならその値は1になり、非整数画素ならbi-linearやbi-cubicなど適当な方法で補間した値となる。劣化モデル生成部701はこのようにして行列Mを構成する。k=1〜Nについて行列Mを求めると、行列MはLR画像の枚数分、即ちN個求まることになる。
N row m-th column element of the matrix M, column vector x m-th element representing the HR image (pixel values), the n th element of the column vector x s representing an HR image by applying a positional deviation It shows how much it contributes. That is, if the relative movement amount is an integer pixel, the value is 1, and if it is a non-integer pixel, the value is interpolated by an appropriate method such as bi-linear or bi-cubic. The degradation
<画像推定部602による画像推定処理について>
第1の実施形態では、1枚のHR画像を生成するために用いるLR画像は1枚であり、劣化モデルの数も1であった。本実施形態では、1枚のHR画像を生成するために用いるLR画像はN枚であり、劣化モデルの数もN個である。第1の実施形態では、式(2)に従って画像推定処理を行うことでHR画像を生成したが、本実施形態では、式(2)の第1項をN枚のLR画像に対応させて変形した以下の式(12)に従って画像推定処理を行う。
<Image Estimation Processing by
In the first embodiment, one LR image is used to generate one HR image, and the number of degradation models is one. In the present embodiment, the number of LR images used for generating one HR image is N, and the number of degradation models is N. In the first embodiment, the HR image is generated by performing the image estimation process according to the equation (2). However, in the present embodiment, the first term of the equation (2) is modified to correspond to the N LR images. The image estimation process is performed according to the following equation (12).
ykはN枚のLR画像のうちのk番目のLR画像であり、DBMkは、k番目のLR画像に対して求めた行列Mを行列D、Bに掛け合わせたもので、k番目の劣化モデルである。然るに、本実施形態では、以下の式(13)に示す評価関数を極小化するように、最急降下法を用いてHR画像を生成する。 y k is the k-th LR image of the N LR images, and DBM k is a matrix M obtained by multiplying the k-th LR image by the matrices D and B. It is a deterioration model. However, in this embodiment, the HR image is generated using the steepest descent method so as to minimize the evaluation function shown in the following formula (13).
<移動量算出部603及び画像推定部602が行う処理について>
次に、移動量算出部603及び画像推定部602が行う処理について、同処理のフローチャートを示す図9を用いて説明する。先ず、ステップS901では画像推定部602は、画像入力部101からN枚のLR画像を取得し、このN枚のLR画像をバッファ703に格納する。
<About the processing performed by the movement
Next, processing performed by the movement
ステップS902では移動量算出部603は、バッファ601に格納されているN枚のLR画像のそれぞれについて移動量を求める。求めたN個の移動量は、劣化モデル生成部701に入力される。ステップS903では劣化モデル生成部701は、N個の移動量を用いてN個の行列Mを求める。そして劣化モデル生成部701は、k=1〜NについてDBMkを求め、求めたDBMkをバッファ702に格納する。
In step S902, the movement
ステップS904では初期画像生成部202は、バッファ703に格納されているN枚のLR画像のうち1つを選択する。そして初期画像生成部202は、この選択したLR画像を縦方向にs_y倍、横方向にs_x倍だけ拡大した画像(HR画像と同サイズの画像)を生成し、生成した画像(初期HR画像)を中間HR画像としてバッファ206に格納する。上記の通り、この拡大処理は、bi-cubicやキュービック補間等の補間方法を用いて行う。
In step S <b> 904, the initial
ステップS905では重み計算部203は、バッファ703に格納されているN枚のLR画像のうち1つを選択する。そして重み計算部203は、この選択したLR画像から、第1の実施形態と同様にして上記重み値αm、n、βm、nを計算し、計算した重み値αm、n、βm、nをバッファ205に格納する。
In step S <b> 905, the
ステップS906では更新量計算部704は、バッファ702内のN個の劣化モデル、バッファ205内の重み値、バッファ703内のN枚のLR画像、バッファ206内の中間HR画像、を用いてこの中間HR画像に対する更新量を求める。この更新量の求めた方は、上記式(7)の代わりに以下の式(14)を用いること以外は、第1の実施形態と同じである。
In step S <b> 906, the update
ステップS907では加算器208は、第1の実施形態と同様にして、バッファ206に格納されている中間HR画像xを更新する。ステップS908ではセレクタ209は、更新量計算部704、加算器208による中間HR画像の更新処理を完了させるか否かを判断する。そして、完了させると判断した場合には、処理はステップS909に進む。ステップS909ではセレクタ209は、加算器208がステップS907で生成した中間HR画像を、HR画像として画像出力部103に送出する。
In step S907, the
一方、完了させないと判断した場合、セレクタ209は、加算器208がステップS907で生成した中間HR画像を、バッファ206に格納されている中間HR画像に上書きして格納する。そして処理はステップS906に戻る。
On the other hand, if it is determined not to be completed, the
以上の説明により、本実施形態によれば、複数枚の入力画像を用いることで、より解像感の高い高解像度画像を得ることができる。なお、本実施形態では、バッファ205,206,702,703を設け、それぞれのバッファは異なる情報の保存用に用いた。しかし、バッファ205,206,702,703の代わりに1つのバッファを設け、この1つのバッファ内に、バッファ205,206,702,703のそれぞれに格納するものとして説明した情報を格納するようにしても良い。即ち、バッファの数は4に限定するものではない。
As described above, according to the present embodiment, a high-resolution image with a higher resolution can be obtained by using a plurality of input images. In this embodiment, buffers 205, 206, 702, and 703 are provided, and each buffer is used for storing different information. However, one buffer is provided instead of the
[第3の実施形態]
第1,2の実施形態では、それぞれ図1,6に示した画像処理装置内の各部は何れもハードウェアで構成されているものとして説明した。しかし、バッファを除く各部をソフトウェア(コンピュータプログラム)で実装しても良い。この場合、図1や図6に示したバッファをメモリとして有するPC(パーソナルコンピュータ)やデジタルカメラ等のコンピュータに、このソフトウェアをインストールし、このコンピュータが有するCPUがこのソフトウェアを実行することになる。もちろん、このメモリは、このコンピュータが読み取り可能な記憶媒体であれば、如何なる種類のメモリであっても良い。これにより、このコンピュータは、第1,2の実施形態に係る画像処理装置として機能することになる。
[Third Embodiment]
In the first and second embodiments, each part in the image processing apparatus shown in FIGS. 1 and 6 has been described as being configured by hardware. However, each unit excluding the buffer may be implemented by software (computer program). In this case, this software is installed in a computer such as a PC (personal computer) or a digital camera having the buffer shown in FIGS. 1 and 6 as a memory, and a CPU included in the computer executes the software. Of course, this memory may be any type of memory as long as it is a computer-readable storage medium. Thereby, this computer functions as an image processing apparatus according to the first and second embodiments.
[第4の実施形態]
上記の実施形態では、エッジ強調画像の画素値をβm、n、αm、nを(1−βm、n)としている。しかし、エッジ強調画像の画素値が大きいほどβm、nの値が大きく、エッジ強調画像の画素値が大きいほどαm、nの値が小さくなるのであれば、他の方法を用いてαm、n、βm、nを決定しても良い。
[Fourth Embodiment]
In the above embodiment, the pixel values of the edge enhanced image are β m, n , α m, and n are (1−β m, n ). However, as the pixel value of the edge enhanced image is greater beta m, the value of n is large, if the value of the larger pixel value of the edge enhanced image alpha m, n becomes smaller, alpha using other methods m , N , β m, n may be determined.
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other examples)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (10)
前記第1の画像を前記第2の画像と同サイズに拡大した画像を生成し、該生成した画像を前記画像処理装置のメモリに格納する格納手段と、
前記拡大した画像におけるエッジを強調したエッジ強調画像を生成する生成手段と、
前記メモリに格納されている画像を更新する更新手段と、
前記更新手段が更新した画像を前記第2の画像として出力する手段と
を備え、
前記更新手段は、
前記メモリに格納されている格納画像における画素間の画素値の変化を表す値に対して前記エッジ強調画像を構成している各画素の画素値を用いて重み付けして計算した第1の評価値と、規定のフィルタを用いて前記格納画像を前記第1の画像と同じ画像サイズに縮小して画質を劣化させた画像と前記第1の画像との差異を示す第2の評価値と、の合計を極小化するような、前記格納画像に対する更新量を求める計算手段と、
前記更新量を用いて前記格納画像を更新する手段と
を備えることを特徴とする画像処理装置。 An image processing apparatus that generates, from a first image, a second image having a resolution higher than that of the first image and having a larger image size than the first image,
Storage means for generating an image obtained by enlarging the first image to the same size as the second image, and storing the generated image in a memory of the image processing device;
Generating means for generating an edge-enhanced image in which edges in the enlarged image are enhanced;
Updating means for updating an image stored in the memory;
Means for outputting the image updated by the updating means as the second image,
The updating means includes
A first evaluation value calculated by weighting a value representing a change in pixel value between pixels in the stored image stored in the memory using a pixel value of each pixel constituting the edge enhanced image. And a second evaluation value indicating a difference between the first image and the image obtained by reducing the stored image to the same image size as the first image using a specified filter, and Calculation means for obtaining an update amount for the stored image so as to minimize the total;
Means for updating the stored image using the update amount.
前記エッジ強調画像を構成している画素の画素値が大きいほど小さい値を取る重み値で、前記格納画像における画素間の画素値の変化の勾配を重み付けして計算される評価値と、
前記エッジ強調画像を構成している画素の画素値が大きいほど大きい値を取る重み値で、前記格納画像における画素間の画素値の変化を重み付けして計算される評価値と
の合計であることを特徴とする請求項1に記載の画像処理装置。 The first evaluation value is
An evaluation value calculated by weighting the gradient of the change in pixel value between pixels in the stored image, with a weight value that takes a smaller value as the pixel value of the pixels constituting the edge-enhanced image increases.
A weight value that takes a larger value as the pixel value of the pixels constituting the edge-enhanced image is larger, and is a sum of an evaluation value calculated by weighting a change in pixel value between pixels in the stored image. The image processing apparatus according to claim 1.
前記N枚の第1の画像のうち1つを前記第2の画像と同サイズに拡大した画像を生成し、該拡大した画像を前記画像処理装置のメモリに格納する格納手段と、
前記N枚の第1の画像のうち1つを前記第2の画像と同サイズに拡大した画像を生成し、該拡大した画像におけるエッジを強調したエッジ強調画像を生成する生成手段と、
前記メモリに格納されている画像を更新する更新手段と、
前記更新手段が更新した画像を前記第2の画像として出力する手段と
を備え、
前記更新手段は、
前記メモリに格納されている格納画像における画素間の画素値の変化を表す値に対して前記エッジ強調画像を構成している各画素の画素値を用いて重み付けして計算した第1の評価値と、前記N枚の第1の画像のそれぞれに対する規定のフィルタを用いて前記格納画像を前記第1の画像と同じ画像サイズに縮小して画質を劣化させたN枚の画像と前記N枚の第1の画像との差異を示す第2の評価値と、の合計を極小化するような、前記格納画像に対する更新量を求める計算手段と、
前記更新量を用いて前記格納画像を更新する手段と
を備えることを特徴とする画像処理装置。 Generation of a second image having a resolution higher than that of the first image and having a larger image size than the first image from N (N> 1) first images having the same image size An image processing apparatus that
Storage means for generating an image obtained by enlarging one of the N first images to the same size as the second image, and storing the enlarged image in a memory of the image processing device;
Generating means for generating an image in which one of the N first images is enlarged to the same size as the second image, and generating an edge-enhanced image in which edges in the enlarged image are enhanced;
Updating means for updating an image stored in the memory;
Means for outputting the image updated by the updating means as the second image,
The updating means includes
A first evaluation value calculated by weighting a value representing a change in pixel value between pixels in the stored image stored in the memory using a pixel value of each pixel constituting the edge enhanced image. N images obtained by reducing the stored image to the same image size as the first image by using a predetermined filter for each of the N first images and the N images. Calculation means for obtaining an update amount for the stored image so as to minimize the sum of the second evaluation value indicating a difference from the first image;
Means for updating the stored image using the update amount.
前記画像処理装置の格納手段が、前記第1の画像を前記第2の画像と同サイズに拡大した画像を生成し、該生成した画像を前記画像処理装置のメモリに格納する格納工程と、
前記画像処理装置の生成手段が、前記拡大した画像におけるエッジを強調したエッジ強調画像を生成する生成工程と、
前記画像処理装置の更新手段が、前記メモリに格納されている画像を更新する更新工程と、
前記画像処理装置の出力手段が、前記更新工程で更新した画像を前記第2の画像として出力する工程と
を備え、
前記更新工程は、
前記メモリに格納されている格納画像における画素間の画素値の変化を表す値に対して前記エッジ強調画像を構成している各画素の画素値を用いて重み付けして計算した第1の評価値と、規定のフィルタを用いて前記格納画像を前記第1の画像と同じ画像サイズに縮小して画質を劣化させた画像と前記第1の画像との差異を示す第2の評価値と、の合計を極小化するような、前記格納画像に対する更新量を求める計算工程と、
前記更新量を用いて前記格納画像を更新する工程と
を備えることを特徴とする画像処理方法。 An image processing method performed by an image processing apparatus that generates, from a first image, a second image having a resolution higher than that of the first image and having a larger image size than the first image. ,
A storage step in which the storage means of the image processing device generates an image obtained by enlarging the first image to the same size as the second image, and stores the generated image in a memory of the image processing device;
A generation step of generating an edge-enhanced image in which the generation unit of the image processing apparatus emphasizes an edge in the enlarged image;
An update step in which the update means of the image processing apparatus updates the image stored in the memory;
An output unit of the image processing apparatus includes a step of outputting the image updated in the update step as the second image;
The update process includes:
A first evaluation value calculated by weighting a value representing a change in pixel value between pixels in the stored image stored in the memory using a pixel value of each pixel constituting the edge enhanced image. And a second evaluation value indicating a difference between the first image and the image obtained by reducing the stored image to the same image size as the first image using a specified filter, and A calculation step for obtaining an update amount for the stored image so as to minimize the total;
And a step of updating the stored image by using the update amount.
前記画像処理装置の格納手段が、前記N枚の第1の画像のうち1つを前記第2の画像と同サイズに拡大した画像を生成し、該拡大した画像を前記画像処理装置のメモリに格納する格納工程と、
前記画像処理装置の生成手段が、前記N枚の第1の画像のうち1つを前記第2の画像と同サイズに拡大した画像を生成し、該拡大した画像におけるエッジを強調したエッジ強調画像を生成する生成工程と、
前記画像処理装置の更新手段が、前記メモリに格納されている画像を更新する更新工程と、
前記画像処理装置の出力手段が、前記更新工程で更新した画像を前記第2の画像として出力する工程と
を備え、
前記更新工程は、
前記メモリに格納されている格納画像における画素間の画素値の変化を表す値に対して前記エッジ強調画像を構成している各画素の画素値を用いて重み付けして計算した第1の評価値と、前記N枚の第1の画像のそれぞれに対する規定のフィルタを用いて前記格納画像を前記第1の画像と同じ画像サイズに縮小して画質を劣化させたN枚の画像と前記N枚の第1の画像との差異を示す第2の評価値と、の合計を極小化するような、前記格納画像に対する更新量を求める計算工程と、
前記更新量を用いて前記格納画像を更新する工程と
を備えることを特徴とする画像処理方法。 Generation of a second image having a resolution higher than that of the first image and having a larger image size than the first image from N (N> 1) first images having the same image size An image processing method performed by an image processing apparatus,
The storage unit of the image processing device generates an image obtained by enlarging one of the N first images to the same size as the second image, and stores the enlarged image in the memory of the image processing device. A storing step for storing;
An edge-enhanced image in which the generation unit of the image processing apparatus generates an image obtained by enlarging one of the N first images to the same size as the second image, and emphasizes an edge in the enlarged image A generating step for generating
An update step in which the update means of the image processing apparatus updates the image stored in the memory;
An output unit of the image processing apparatus includes a step of outputting the image updated in the update step as the second image;
The update process includes:
A first evaluation value calculated by weighting a value representing a change in pixel value between pixels in the stored image stored in the memory using a pixel value of each pixel constituting the edge enhanced image. N images obtained by reducing the stored image to the same image size as the first image by using a predetermined filter for each of the N first images and the N images. A calculation step for obtaining an update amount for the stored image so as to minimize a sum of the second evaluation value indicating a difference from the first image;
And a step of updating the stored image by using the update amount.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010118768A JP2011248475A (en) | 2010-05-24 | 2010-05-24 | Image processing device and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010118768A JP2011248475A (en) | 2010-05-24 | 2010-05-24 | Image processing device and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011248475A true JP2011248475A (en) | 2011-12-08 |
Family
ID=45413688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010118768A Withdrawn JP2011248475A (en) | 2010-05-24 | 2010-05-24 | Image processing device and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011248475A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012069321A (en) * | 2010-09-22 | 2012-04-05 | Koito Mfg Co Ltd | Vehicular lamp fitting |
-
2010
- 2010-05-24 JP JP2010118768A patent/JP2011248475A/en not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012069321A (en) * | 2010-09-22 | 2012-04-05 | Koito Mfg Co Ltd | Vehicular lamp fitting |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8594464B2 (en) | Adaptive super resolution for video enhancement | |
US9258518B2 (en) | Method and apparatus for performing super-resolution | |
Zhang et al. | Non-local kernel regression for image and video restoration | |
US9202258B2 (en) | Video retargeting using content-dependent scaling vectors | |
US8554019B2 (en) | Apparatus and method for image processing | |
JP6236259B2 (en) | Image processing apparatus, image processing method, and image processing program | |
CN102171722A (en) | Method and apparatus for noise reduction in video | |
KR101839617B1 (en) | Method and apparatus for removing non-uniform motion blur using multiframe | |
JPWO2012056518A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2013021635A (en) | Image processor, image processing method, program and recording medium | |
JP2010218271A (en) | Parameter control processing apparatus and image processing apparatus | |
KR102493492B1 (en) | Method and Device for Fast Adaptation through Meta-learning of Super Resolution Model | |
Jeong et al. | Multi-frame example-based super-resolution using locally directional self-similarity | |
WO2011018878A1 (en) | Image processing system, image processing method and program for image processing | |
JP4714038B2 (en) | Method and apparatus for increasing image resolution | |
JP5566199B2 (en) | Image processing apparatus, control method therefor, and program | |
Xin et al. | Video face super-resolution with motion-adaptive feedback cell | |
JP4797039B2 (en) | Image composition method and apparatus | |
JP2006221221A (en) | Generation of high resolution image using two or more low resolution image | |
US20130120461A1 (en) | Image processor and image processing method | |
JP2011070283A (en) | Face image resolution enhancement device and program | |
Kim et al. | Robust learning-based super-resolution | |
JP2011248475A (en) | Image processing device and image processing method | |
JP2000354244A (en) | Image processing unit, its method and computer-readable storage medium | |
CN114463213A (en) | Video processing method, video processing device, terminal and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130806 |