JP2005253000A - Image forming device - Google Patents
Image forming device Download PDFInfo
- Publication number
- JP2005253000A JP2005253000A JP2004064398A JP2004064398A JP2005253000A JP 2005253000 A JP2005253000 A JP 2005253000A JP 2004064398 A JP2004064398 A JP 2004064398A JP 2004064398 A JP2004064398 A JP 2004064398A JP 2005253000 A JP2005253000 A JP 2005253000A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature vector
- original image
- learning data
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 claims description 88
- 238000001514 detection method Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 7
- 238000000034 method Methods 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
Images
Abstract
Description
この発明は低解像度の原画像を高解像度の画像に変換する画像処理装置に関するものである。 The present invention relates to an image processing apparatus that converts a low-resolution original image into a high-resolution image.
低解像度の原画像から、カメラやレンズ等の性能のため写っていない、画像中には存在しない本来の高解像度部分を推測し、低解像度の原画像を高解像度の画像に変換する処理を超解像度処理という。超解像度処理には、あらかじめいくつかの画像の高解像度と低解像度の関係を学習しておく方法がある。動画像の場合には、ある時間のフレームの画像を高解像度化したいときに、そのフレームの時間的に前後するフレームの情報を用いて、存在しない高解像度部分を推定することができることがある。 The process of estimating the original high-resolution part that does not appear in the image from the low-resolution original image due to the performance of the camera, lens, etc., and converts the low-resolution original image to a high-resolution image This is called resolution processing. In super-resolution processing, there is a method of learning the relationship between high resolution and low resolution of several images in advance. In the case of a moving image, when it is desired to increase the resolution of an image of a frame at a certain time, it may be possible to estimate a non-existing high-resolution portion using information on frames that are temporally surrounding that frame.
しかし、一般の静止画像の場合には、高解像度化の対象となる原画像がどのような画像であるかは、あらかじめ全く不明であることが多い。このような一般の静止画像の場合には、従来の技術では、原画像とは関係のない一般的な画像から作成された学習データセットを使用して原画像の高解像度部分を推定し、原画像を高解像度画像に変換することにより超解像度処理を行っている。 However, in the case of a general still image, it is often unclear in advance what kind of image the original image to be increased in resolution is. In the case of such a general still image, the conventional technique estimates a high-resolution portion of the original image using a training data set created from a general image that is not related to the original image. Super-resolution processing is performed by converting an image into a high-resolution image.
例えば、特許文献１では、高解像度化の対象となる低解像度の原画像を互いにオーバーラップする細かいパッチに分割し、各パッチに対応する高解像度のパッチをトレーニングデータ（学習データセット）から選択し、低解像度の原画像を拡大した画像に、選択された高解像度のパッチを足し合わせていくことにより超解像度処理を行っている。 For example, in Patent Document 1, a low-resolution original image to be increased in resolution is divided into fine patches that overlap each other, and a high-resolution patch corresponding to each patch is selected from training data (learning data set). The super-resolution processing is performed by adding the selected high-resolution patch to the enlarged image of the low-resolution original image.
従来の画像処理装置は以上のように構成されているので、どのような学習データセットを使用したら良いかについて明確な指針はなく、一般的な画像から作成された学習データセットは固定であり、高解像度化の対象となる原画像が持つテクスチャに似たテクスチャを学習データセットが持っていない場合には、原画像の細部まで正確に復元された高解像度画像を得ることができないという課題があった。 Since the conventional image processing apparatus is configured as described above, there is no clear guideline as to what kind of learning data set should be used, and the learning data set created from a general image is fixed, If the training data set does not have a texture similar to the texture of the original image to be increased in resolution, there is a problem that it is not possible to obtain a high-resolution image in which the details of the original image are accurately restored. It was.
この発明は上記のような課題を解決するためになされたもので、原画像が持つテクスチャに近いテクスチャを持つ学習データセットを選択することにより、原画像の細部まで正確に復元された高解像度画像を得ることを目的とする。 The present invention has been made to solve the above problems, and by selecting a learning data set having a texture close to that of the original image, a high-resolution image accurately restored to the details of the original image. The purpose is to obtain.
この発明に係る画像処理装置は、互いに異なる複数の代表画像により構成されるインデックス画像を格納しているインデックス画像格納手段と、高解像度化の対象となる原画像のテクスチャの特徴量と上記インデックス画像格納手段に格納されている各代表画像のテクスチャの特徴量を演算し、演算した上記原画像のテクスチャの特徴量と上記各代表画像のテクスチャの特徴量を比較して、上記原画像と上記各代表画像の類似度を検出する類似度検出手段と、上記各代表画像によりそれぞれ生成された複数の学習データセットを格納している学習データセット格納手段と、上記学習データセット格納手段に格納されている複数の学習データセットのうち、上記類似度検出手段により検出された最も類似度が高い代表画像に対応する学習データセットを選択する学習データセット選択手段と、上記学習データセット選択手段により選択された学習データセットを使用して上記原画像の超解像度処理を行う超解像度処理手段とを備えたものである。 The image processing apparatus according to the present invention includes an index image storage unit that stores an index image composed of a plurality of different representative images, a texture feature amount of an original image to be increased in resolution, and the index image. The feature value of the texture of each representative image stored in the storage means is calculated, and the calculated feature value of the texture of the original image is compared with the feature value of the texture of each representative image. Similarity detection means for detecting the similarity of representative images, learning data set storage means for storing a plurality of learning data sets respectively generated by the representative images, and stored in the learning data set storage means Learning data corresponding to a representative image having the highest similarity detected by the similarity detection means among a plurality of learning data sets A learning data set selection means for selecting Tsu bets, in which a super-resolution processing means for performing super-resolution processing of the original image by using the training data set selected by the learning data set selecting means.
この発明は原画像の細部まで正確に復元された高解像度画像を得ることができるという効果がある。 The present invention has an effect that it is possible to obtain a high-resolution image accurately restored to the details of the original image.
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置の構成を示すブロック図である。この図１に示す画像処理装置は、原画像格納手段１１、インデックス画像格納手段１２、類似度検出手段１３、学習データセット格納手段１４、学習データセット選択手段１５及び超解像度処理手段１６を備えている。
An embodiment of the present invention will be described below.
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention. The image processing apparatus shown in FIG. 1 includes an original
原画像格納手段１１は高解像度化の対象となる原画像を格納し、インデックス画像格納手段１２は互いに異なる複数の代表画像１，２，３，４により構成されるインデックス画像を格納している。類似度検出手段１３は、原画像のテクスチャの特徴量と各代表画像１，２，３，４のテクスチャの特徴量を演算し、演算した原画像のテクスチャの特徴量と各代表画像１，２，３，４のテクスチャの特徴量を比較して原画像と各代表画像１，２，３，４の類似度を検出する。学習データセット格納手段１４は各代表画像１，２，３，４によりそれぞれ生成された複数の学習データセット１，２，３，４を格納している。学習データセット選択手段１５は、学習データセット格納手段１４に格納されている複数の学習データセット１，２，３，４のうち、類似度検出手段１３により検出された最も類似度が高い代表画像に対応する学習データセットを選択する。超解像度処理手段１６は学習データセット選択手段１５により選択された学習データセットを使用して原画像の超解像度処理を行う。ここで、代表画像及び学習データセットの数を４個としているが、個数に限定はなくｍ個とする。
The original
次に動作について説明する。
図２は図１に示す画像処理装置の処理の流れを示すフローチャートである。ステップＳＴ１１において、類似度検出手段１３は、高解像度化の対象となる原画像のテクスチャの特徴量と、インデックス画像格納手段１２に格納されているインデックス画像を構成する各代表画像１，２，３，４のテクスチャの特徴量を演算し、演算した原画像のテクスチャの特徴量と各代表画像１，２，３，４のテクスチャの特徴量を比較して原画像と各代表画像１，２，３，４の類似度を検出する。
Next, the operation will be described.
FIG. 2 is a flowchart showing a processing flow of the image processing apparatus shown in FIG. In step ST11, the
ステップＳＴ１２において、学習データセット選択手段１５は、学習データセット格納手段１４に格納されている複数の学習データセット１，２，３，４のうち、類似度検出手段１３により検出された最も類似度が高い代表画像に対応する学習データセットを選択する。
In step ST12, the learning data
ステップＳＴ１３において、超解像度処理手段１６は学習データセット選択手段１５により選択された学習データセットを使用して原画像の超解像度処理を行う。このように、原画像との類似度が最も高い代表画像に対応する学習データセットを使用して、原画像を超解像度処理することにより、原画像の持つテクスチャに近いテクスチャを持った学習データセットを使用して高解像度化されるので、原画像の細部まで正確に復元された高解像度画像を得ることができる。 In step ST13, the super-resolution processing means 16 performs super-resolution processing of the original image using the learning data set selected by the learning data set selection means 15. In this way, a learning data set having a texture close to the texture of the original image is obtained by super-resolution processing of the original image using the learning data set corresponding to the representative image having the highest degree of similarity to the original image. Therefore, the high resolution image can be obtained in which the details of the original image are accurately restored.
上記ステップＳＴ１における類似度検出手段１３によるテクスチャの特徴量の比較について、さらに詳細に説明する。
ここでは、例えば、原画像の全体領域、又は原画像の中で特に詳細に高解像度化したい部分領域を選択して、その領域の輝度値のヒストグラムＰ（ｊ）を演算する。ただし、ｊ＝０，１，…，ｎ−１とする。このヒストグラムＰ（ｊ）は総和が１になるように正規化しておき、ヒストグラムＰ（ｊ）から得られる特徴量としての統計量を使用してテクスチャ解析を行う。使用する統計量としては、例えば、平均ｍ、分散ｖ、歪度ｓ、尖度ｋ等があり、それぞれ次の式（１）、式（２）、式（３）、式（４）により演算する。
Here, for example, the entire region of the original image or a partial region in the original image that is to be increased in detail in particular is selected, and a histogram P (j) of luminance values in that region is calculated. Here, j = 0, 1,..., N−1. This histogram P (j) is normalized so that the sum is 1, and texture analysis is performed using a statistic as a feature quantity obtained from the histogram P (j). The statistics used include, for example, mean m, variance v, skewness s, kurtosis k, etc., and are calculated by the following equations (1), (2), (3), and (4), respectively. To do.
テクスチャの特徴量の比較は、上記の統計量の１つを選択し、例えば歪度ｓを選択し、原画像全体、又は原画像の部分領域の歪度ｓ（０）と、インデックス画像を構成する代表画像１〜ｍの歪度ｓ（１），ｓ（２），…，ｓ（ｍ）を比較する。代表画像１〜ｍの歪度の中で、ｓ（０）と最も近い歪度がｌ番目の歪度ｓ（ｌ）の場合には、代表画像ｌを使用して生成した学習データセットｌを用いて原画像の超解像度処理を行う。 For comparison of texture features, select one of the above-mentioned statistics, for example, select skewness s, and configure index image with skewness s (0) of the whole original image or a partial area of the original image The skewness s (1), s (2),..., S (m) of the representative images 1 to m to be compared is compared. Among the skewnesses of the representative images 1 to m, when the skewness closest to s (0) is the lth skewness s (l), the learning data set l generated using the representative image l is To perform super-resolution processing of the original image.
また、テクスチャの特徴量の比較には、上記の統計量の内２つ以上を選んでも良い。例えば、分散ｖと尖度ｋを選ぶとする。このとき、原画像の全体領域、又は原画像の中の部分領域の分散ｖ（０）、尖度ｋ（０）と、インデックス画像を構成する代表画像１〜ｍの分散ｖ（１），ｖ（２），…，ｖ（ｍ）、尖度ｋ（１），ｋ（２），…，ｋ（ｍ）を比較し、次の式（５）によって代表画像ｌを選択する。
ｌ＝ａｒｇｍｉｎ（｜ｖ（０）−ｖ（ｌ）｜＋ａ｜ｋ（０）−ｋ（ｌ）｜） （５）
１≦ｌ≦ｍ
ただし、ａは正定数である。このとき、代表画像ｌを使用して生成した学習データセットｌを用いて原画像の超解像度処理を行う。統計量が３つ以上であっても同様な式によって部分画像を選ぶことができる。なお、上記式（５）では、統計量の差の絶対値の（重みつき）和をとっているが、例えば、統計量の差の（重みつき）２乗和にしても構わない。
Also, two or more of the above statistics may be selected for comparison of texture feature amounts. For example, assume that the variance v and the kurtosis k are selected. At this time, the variance v (0) and kurtosis k (0) of the entire area of the original image or a partial area in the original image, and the variance v (1), v of the representative images 1 to m constituting the index image. (2),..., V (m) and kurtosis k (1), k (2),..., K (m) are compared, and the representative image l is selected by the following equation (5).
l = argmin (| v (0) −v (l) | + a | k (0) −k (l) |) (5)
1 ≦ l ≦ m
However, a is a positive constant. At this time, the super-resolution processing of the original image is performed using the learning data set l generated using the representative image l. Even if there are three or more statistics, a partial image can be selected by the same formula. In the above equation (5), the (weighted) sum of the absolute values of the statistic differences is taken, but for example, it may be a (weighted) sum of squares of the statistic differences.
また、この実施の形態１では、テクスチャの特徴量比較方法として、フラクタル次元による解析を使う例が考えられる。原画像の全体領域又は部分領域に対して、フラクタル次元又は局所フラクタル次元を求める。一方、インデックス画像を構成する各代表画像毎に、あらかじめ、原画像に対して求めるのと同じフラクタル次元又は局所フラクタル次元を求めておく。原画像のフラクタル次元又は局所フラクタル次元に最も近いフラクタル次元又は局所フラクタル次元を持つ代表画像を検出し、該代表画像を使用して生成された学習データセットを用いて原画像の超解像度処理を行っても良い。 In the first embodiment, an example of using a fractal dimension analysis as a texture feature amount comparison method is conceivable. A fractal dimension or a local fractal dimension is obtained for the entire area or partial area of the original image. On the other hand, for each representative image constituting the index image, the same fractal dimension or local fractal dimension as that obtained for the original image is obtained in advance. The representative image having the fractal dimension or local fractal dimension closest to the fractal dimension or local fractal dimension of the original image is detected, and the super-resolution processing of the original image is performed using the learning data set generated by using the representative image. May be.
以上のように、この実施の形態１によれば、類似度検出手段１３が原画像のテクスチャの特徴量と各代表画像のテクスチャの特徴量を演算し、演算した原画像のテクスチャの特徴量と各代表画像のテクスチャの特徴量を比較して、原画像と各代表画像の類似度を検出し、学習データセット選択手段１５が、各代表画像によりそれぞれ生成された複数の学習データセットのうち、類似度検出手段１３により検出された最も類似度が高い代表画像に対応する学習データセットを選択し、超解像度処理手段１６が選択された学習データセットを使用して原画像の超解像度処理を行うことにより、原画像の細部まで正確に復元された高解像度画像を得ることができるという効果が得られる。
As described above, according to the first embodiment, the
実施の形態２．
図３はこの発明の実施の形態２による画像処理装置の構成を示すブロック図である。この図３に示す画像処理装置は、原画像格納手段１１、インデックス画像格納手段１２、原画像特徴ベクトル抽出手段１７、原画像特徴ベクトル格納手段１８、代表画像特徴ベクトル抽出手段１９、代表画像特徴ベクトル格納手段２０、特徴ベクトル比較手段２１、学習データセット格納手段１４、学習データセット選択手段２２及び超解像度処理手段１６を備えている。
Embodiment 2. FIG.
FIG. 3 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 2 of the present invention. The image processing apparatus shown in FIG. 3 includes an original
原画像特徴ベクトル抽出手段１７は原画像から特徴ベクトルを抽出し、原画像特徴ベクトル格納手段１８は抽出された原画像の特徴ベクトルを格納する。代表画像特徴ベクトル抽出手段１９はインデックス画像を構成する各代表画像１，２，３，４から各特徴ベクトルを抽出し、代表画像特徴ベクトル格納手段２０は抽出された各代表画像１，２，３，４の特徴ベクトルを格納する。特徴ベクトル比較手段２１は、原画像特徴ベクトル格納手段１８に格納されている原画像の特徴ベクトルと、代表画像特徴ベクトル格納手段２０に格納されている各代表画像１，２，３，４の特徴ベクトルとの距離を演算する。学習データセット選択手段２２は、学習データセット格納手段１４に格納されている複数の学習データセット１，２，３，４のうち、特徴ベクトル比較手段２１により演算された最も距離が短い代表画像に対応する学習データセットを選択する。原画像格納手段１１、インデックス画像格納手段１２及び超解像度処理手段１６の処理は、実施の形態１と同様である。
The original image feature vector extraction means 17 extracts a feature vector from the original image, and the original image feature vector storage means 18 stores the extracted feature vector of the original image. The representative image feature vector extraction means 19 extracts each feature vector from each representative image 1, 2, 3, 4 constituting the index image, and the representative image feature vector storage means 20 extracts each representative image 1, 2, 3 , 4 feature vectors are stored. The feature
次に動作について説明する。
図４は図２に示す画像処理装置の処理の流れを示すフローチャートである。ステップＳＴ２１において、代表画像特徴ベクトル抽出手段１９は、あらかじめインデックス画像を構成する各代表画像１，２，３，４から各特徴ベクトルを抽出して、代表画像特徴ベクトル格納手段２０に抽出した各代表画像１，２，３，４の特徴ベクトルを格納する。特徴ベクトルの空間の中で、各代表画像の特徴ベクトルは１つの点になる。ステップＳＴ２２において、原画像特徴ベクトル抽出手段１７は高解像度化の対象となる原画像から特徴ベクトルを抽出して、原画像特徴ベクトル格納手段１８に抽出した原画像の特徴ベクトルを格納する。
Next, the operation will be described.
FIG. 4 is a flowchart showing the flow of processing of the image processing apparatus shown in FIG. In step ST21, the representative image feature
ステップＳＴ２３において、特徴ベクトル比較手段２１は、原画像特徴ベクトル格納手段１８に格納されている原画像の特徴ベクトルと、代表画像特徴ベクトル格納手段２０に格納されている各代表画像１，２，３，４の特徴ベクトルとの距離を演算する。ステップＳＴ２４において、学習データセット選択手段２２は、学習データセット格納手段１４に格納されている複数の学習データセット１，２，３，４のうち、特徴ベクトル比較手段２１により演算された最も距離が短い代表画像に対応する学習データセットを選択する。
In step ST23, the feature
ステップＳＴ２５において、超解像度処理手段１６は学習データセット選択手段１５により選択された学習データセットを使用して原画像の超解像度処理を行う。このように、原画像の持つ特徴ベクトルに近い特徴ベクトルを持つ代表画像に対応する学習データセットを使用して、原画像を超解像度処理することにより、結果として原画像の持つテクスチャに近いテクスチャを持った学習データセットを使用して高解像度化されるので、原画像の細部まで正確に復元された高解像度画像を得ることができる。 In step ST25, the super-resolution processing means 16 performs super-resolution processing of the original image using the learning data set selected by the learning data set selection means 15. In this way, by using the learning data set corresponding to the representative image having a feature vector close to the feature vector of the original image, the original image is subjected to super-resolution processing, resulting in a texture close to the texture of the original image. Since the resolution is increased by using the learning data set, it is possible to obtain a high-resolution image in which details of the original image are accurately restored.
ステップＳＴ２１，ステップＳＴ２２において、画像から抽出される特徴ベクトルとして、差分統計量を用いることができる。差分統計量とは、画像内で一定の変位ｄ＝（ｒ，θ）（ただし、（ｒ，θ）は極座標）だけ離れた２点の輝度の差がｋである確率Ｐｄ（ｋ），（ｋ＝０，１，…，ｎ−１）を求め、そこから次の式（６）、式（７）、式（８）、式（９）に述べる４種類の特徴量（４次元ベクトル）を計算したものである。なお、式（６）はコントラスト（ｃｏｎｔｒａｓｔ）、式（７）はアンギュラーセカンドモーメント（ａｎｇｕｌａｒ ｓｅｃｏｎｄ ｍｏｍｅｎｔ）、式（８）はエントロピー（ｅｎｔｒｏｐｙ）、式（９）は平均（ｍｅａｎ）を示す。
この特徴ベクトルを原画像と各代表画像から抽出し、特徴ベクトル空間で原画像の特徴ベクトルと最も距離の近い特徴ベクトルを持つ代表画像を選び、選ばれた代表画像によって生成された学習データセットを使用して原画像の超解像度処理を行う。 This feature vector is extracted from the original image and each representative image, a representative image having a feature vector closest to the original image feature vector in the feature vector space is selected, and a learning data set generated by the selected representative image is selected. Use to perform super-resolution processing of the original image.
また、画像から抽出される特徴ベクトルとして同時生起行列を用いることができる。同時生起行列とは、画像の輝度ｉの点から一定の変位ｄ＝（ｒ，θ）だけ離れた点の輝度がｊである確率Ｐｄ（ｉ，ｊ），（ｉ，ｊ＝０，１，…，ｎ−１）を要素とする行列のことである。同時生起行列からは、テクスチャを特徴づける１４種類の統計量が計算できる。つまり、同時生起行列からは１４次元の特徴ベクトルが得られる。原画像と各代表画像から同時生起行列を計算して特徴ベクトルを計算する。特徴ベクトル空間で原画像の特徴ベクトルと最も距離の近い特徴ベクトルを持つ代表画像に対応する学習データセットを選択し、選択した学習データセットを使用して原画像の超解像度処理を行う。 A co-occurrence matrix can be used as a feature vector extracted from an image. The co-occurrence matrix is the probability Pd (i, j), (i, j = 0,1,1) that the luminance at a point separated by a certain displacement d = (r, θ) from the point of luminance i of the image is j. ..., n-1) is a matrix. From the co-occurrence matrix, 14 types of statistics characterizing the texture can be calculated. That is, a 14-dimensional feature vector is obtained from the co-occurrence matrix. A feature vector is calculated by calculating a co-occurrence matrix from the original image and each representative image. A learning data set corresponding to a representative image having a feature vector closest to the feature vector of the original image in the feature vector space is selected, and the super-resolution processing of the original image is performed using the selected learning data set.
さらに、画像から抽出される特徴ベクトルとしてランレングス行列を用いることができる。ランレングス行列から５種類の特徴量が得られので、差分統計量や同時生起行列の場合と同様に、超解像度処理のための学習データセットを選択することができる。 Furthermore, a run-length matrix can be used as the feature vector extracted from the image. Since five types of feature quantities are obtained from the run-length matrix, a learning data set for super-resolution processing can be selected as in the case of the difference statistics and the co-occurrence matrix.
なお、原画像から特徴ベクトルを抽出するとき、原画像の全体領域から抽出するのでなく、原画像の部分領域の画素を用いて特徴ベクトルを抽出しても良い。例えば、原画像の中で特に詳細に復元したい部分を選んで、特徴ベクトルを抽出することができる。 Note that when extracting a feature vector from an original image, the feature vector may be extracted using pixels in a partial area of the original image instead of extracting from the entire area of the original image. For example, a feature vector can be extracted by selecting a part of the original image to be restored in detail.
この実施の形態２では、画像から特徴ベクトルをあらかじめ抽出しておいて、特徴ベクトルの空間で距離を計算するのが特徴である。特徴ベクトルの次元は、一般に画像データのデータ量よりはるかに小さいので、高速に学習データセットを選択できるという利点がある。 In the second embodiment, a feature vector is extracted in advance from an image, and a distance is calculated in the space of the feature vector. Since the dimension of the feature vector is generally much smaller than the data amount of the image data, there is an advantage that the learning data set can be selected at high speed.
以上のように、この実施の形態２によれば、特徴ベクトル比較手段２１が、原画像の特徴ベクトルと、各代表画像１，２，３，４の特徴ベクトルとの距離を演算し、学習データセット選択手段２２が、各代表画像によりそれぞれ生成された複数の学習データセットのうち、特徴ベクトル比較手段２１により演算された距離が最も短い代表画像に対応する学習データセットを選択し、超解像度処理手段１６が選択された学習データセットを使用して原画像の超解像度処理を行うことにより、原画像の細部まで正確に復元された高解像度画像を得ることができるという効果が得られる。
As described above, according to the second embodiment, the feature
また、この実施の形態２によれば、原画像や各代表画像から抽出する特徴ベクトルの次元は、一般に原画像や各代表画像のデータ量よりはるかに小さいので、学習データセットの選択に要する時間を、より短くすることができるという効果が得られる。 Further, according to the second embodiment, since the dimension of the feature vector extracted from the original image and each representative image is generally much smaller than the data amount of the original image and each representative image, the time required for selecting the learning data set Can be made shorter.
１１ 原画像格納手段、１２ インデックス画像格納手段、１３ 類似度検出手段、１４ 学習データセット格納手段、１５ 学習データセット選択手段、１６ 超解像度処理手段、１７ 原画像特徴ベクトル抽出手段、１８ 原画像特徴ベクトル格納手段、１９ 代表画像特徴ベクトル抽出手段、２０ 代表画像特徴ベクトル格納手段、２１ 特徴ベクトル比較手段、２２ 学習データセット選択手段。
DESCRIPTION OF
Claims (7)
高解像度化の対象となる原画像のテクスチャの特徴量と上記インデックス画像格納手段に格納されている各代表画像のテクスチャの特徴量を演算し、演算した上記原画像のテクスチャの特徴量と上記各代表画像のテクスチャの特徴量を比較して、上記原画像と上記各代表画像の類似度を検出する類似度検出手段と、
上記各代表画像によりそれぞれ生成された複数の学習データセットを格納している学習データセット格納手段と、
上記学習データセット格納手段に格納されている複数の学習データセットのうち、上記類似度検出手段により検出された最も類似度が高い代表画像に対応する学習データセットを選択する学習データセット選択手段と、
上記学習データセット選択手段により選択された学習データセットを使用して上記原画像の超解像度処理を行う超解像度処理手段とを備えた画像処理装置。 Index image storage means for storing an index image composed of a plurality of different representative images;
The feature amount of the texture of the original image to be increased in resolution and the feature amount of the texture of each representative image stored in the index image storage means are calculated. A similarity detection unit that compares the feature amount of the texture of the representative image and detects the similarity between the original image and each representative image;
Learning data set storage means for storing a plurality of learning data sets respectively generated by the representative images;
Learning data set selection means for selecting a learning data set corresponding to a representative image having the highest similarity detected by the similarity detection means from among a plurality of learning data sets stored in the learning data set storage means; ,
An image processing apparatus comprising super resolution processing means for performing super resolution processing of the original image using the learning data set selected by the learning data set selection means.
高解像度化の対象となる原画像から特徴ベクトルを抽出する原画像特徴ベクトル抽出手段と、
上記原画像特徴ベクトル抽出手段により抽出された原画像の特徴ベクトルを格納する原画像特徴ベクトル格納手段と、
上記原画像特徴ベクトル格納手段に格納されている原画像の特徴ベクトルと、上記代表画像特徴ベクトル格納手段に格納されている各代表画像の特徴ベクトルとの距離を演算し、演算した各距離を比較する特徴ベクトル比較手段と、
上記各代表画像によりそれぞれ生成された複数の学習データセットを格納している学習データセット格納手段と、
上記学習データセット格納手段に格納されている複数の学習データセットのうち、上記特徴ベクトル比較手段により演算された最も距離が短い代表画像に対応する学習データセットを選択する学習データセット選択手段と、
上記学習データセット選択手段により選択された学習データセットを使用して上記原画像の超解像度処理を行う超解像度処理手段とを備えた画像処理装置。 Representative image feature vector storage means for storing feature vectors of a plurality of different representative images constituting the index image;
Original image feature vector extraction means for extracting a feature vector from an original image to be increased in resolution;
Original image feature vector storage means for storing a feature vector of the original image extracted by the original image feature vector extraction means;
Calculate the distance between the feature vector of the original image stored in the original image feature vector storage means and the feature vector of each representative image stored in the representative image feature vector storage means, and compare the calculated distances Feature vector comparison means
Learning data set storage means for storing a plurality of learning data sets respectively generated by the representative images;
Learning data set selection means for selecting a learning data set corresponding to the representative image with the shortest distance calculated by the feature vector comparison means among a plurality of learning data sets stored in the learning data set storage means;
An image processing apparatus comprising super resolution processing means for performing super resolution processing of the original image using the learning data set selected by the learning data set selection means.
上記インデックス画像格納手段に格納されている各代表画像から各特徴ベクトルを抽出する代表画像特徴ベクトル抽出手段とを備え、
代表画像特徴ベクトル格納手段は上記代表画像特徴ベクトル抽出手段により抽出された各代表画像の特徴ベクトルを格納することを特徴とする請求項４記載の画像処理装置。 Index image storage means for storing an index image composed of a plurality of different representative images;
Representative image feature vector extraction means for extracting each feature vector from each representative image stored in the index image storage means,
5. The image processing apparatus according to claim 4, wherein the representative image feature vector storage means stores a feature vector of each representative image extracted by the representative image feature vector extraction means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004064398A JP2005253000A (en) | 2004-03-08 | 2004-03-08 | Image forming device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004064398A JP2005253000A (en) | 2004-03-08 | 2004-03-08 | Image forming device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005253000A true JP2005253000A (en) | 2005-09-15 |
Family
ID=35033021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004064398A Pending JP2005253000A (en) | 2004-03-08 | 2004-03-08 | Image forming device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005253000A (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007280284A (en) * | 2006-04-11 | 2007-10-25 | Toshiba Corp | Method and device for enhancing resolution of image |
| JP2008219188A (en) * | 2007-02-28 | 2008-09-18 | Sharp Corp | Image processing apparatus, image processing method, control program of image processing apparatus and computer-readable recording medium with the program recorded thereon |
| JP2009218952A (en) * | 2008-03-11 | 2009-09-24 | Nec Corp | Moving video coding and decoding device and moving video coding and decoding method |
| US8264565B2 (en) | 2008-02-06 | 2012-09-11 | Panasonic Corporation | Image processing device and image processing method |
| US8624938B2 (en) | 2008-12-19 | 2014-01-07 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving liquid crystal display device |
| US8780034B2 (en) | 2009-04-08 | 2014-07-15 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving semiconductor device including super-resolution processing |
| US8970638B2 (en) | 2009-02-06 | 2015-03-03 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving display device |
| JP2016127475A (en) * | 2015-01-06 | 2016-07-11 | 株式会社リコー | Image processing system, image processing method, and program |
| US9875523B2 (en) | 2013-12-03 | 2018-01-23 | Mitsubishi Electric Corporation | Image processing apparatus and image processing method |
| JP2018113607A (en) * | 2017-01-12 | 2018-07-19 | 日本放送協会 | Video decoder |
| WO2022176399A1 (en) * | 2021-02-19 | 2022-08-25 | キヤノン株式会社 | Image processing device, method, and program |
| WO2023132223A1 (en) * | 2022-01-04 | 2023-07-13 | ソニーグループ株式会社 | Image processing device, image processing method, and recording medium |
| KR102599196B1 (en) * | 2022-11-30 | 2023-11-08 | 주식회사 인피닉 | Method for estimate job cost of work on generating training data, and computer program recorded on record-medium for executing method thereof |
-
2004
- 2004-03-08 JP JP2004064398A patent/JP2005253000A/en active Pending
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007280284A (en) * | 2006-04-11 | 2007-10-25 | Toshiba Corp | Method and device for enhancing resolution of image |
| JP2008219188A (en) * | 2007-02-28 | 2008-09-18 | Sharp Corp | Image processing apparatus, image processing method, control program of image processing apparatus and computer-readable recording medium with the program recorded thereon |
| JP4699406B2 (en) * | 2007-02-28 | 2011-06-08 | シャープ株式会社 | Image processing apparatus, image processing method, image processing apparatus control program, and computer-readable recording medium recording the program |
| US8264565B2 (en) | 2008-02-06 | 2012-09-11 | Panasonic Corporation | Image processing device and image processing method |
| JP2009218952A (en) * | 2008-03-11 | 2009-09-24 | Nec Corp | Moving video coding and decoding device and moving video coding and decoding method |
| US11899311B2 (en) | 2008-12-19 | 2024-02-13 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving liquid crystal display device |
| US8624938B2 (en) | 2008-12-19 | 2014-01-07 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving liquid crystal display device |
| US8928706B2 (en) | 2008-12-19 | 2015-01-06 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving liquid crystal display device |
| US10254586B2 (en) | 2008-12-19 | 2019-04-09 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving liquid crystal display device |
| US9280937B2 (en) | 2008-12-19 | 2016-03-08 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving liquid crystal display device |
| US10578920B2 (en) | 2008-12-19 | 2020-03-03 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving liquid crystal display device |
| US11300832B2 (en) | 2008-12-19 | 2022-04-12 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving liquid crystal display device |
| US10018872B2 (en) | 2008-12-19 | 2018-07-10 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving liquid crystal display device |
| US8970638B2 (en) | 2009-02-06 | 2015-03-03 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving display device |
| US10943549B2 (en) | 2009-02-06 | 2021-03-09 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving display device |
| US9583060B2 (en) | 2009-02-06 | 2017-02-28 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving display device |
| US11837180B2 (en) | 2009-02-06 | 2023-12-05 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving display device |
| US9978320B2 (en) | 2009-04-08 | 2018-05-22 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving semiconductor device |
| US10657910B2 (en) | 2009-04-08 | 2020-05-19 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving semiconductor device |
| US11030966B2 (en) | 2009-04-08 | 2021-06-08 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving semiconductor device |
| US11450291B2 (en) | 2009-04-08 | 2022-09-20 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving semiconductor device |
| US11670251B2 (en) | 2009-04-08 | 2023-06-06 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving semiconductor device |
| US9343018B2 (en) | 2009-04-08 | 2016-05-17 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving a liquid crystal display device at higher resolution |
| US8780034B2 (en) | 2009-04-08 | 2014-07-15 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving semiconductor device including super-resolution processing |
| US9875523B2 (en) | 2013-12-03 | 2018-01-23 | Mitsubishi Electric Corporation | Image processing apparatus and image processing method |
| JP2016127475A (en) * | 2015-01-06 | 2016-07-11 | 株式会社リコー | Image processing system, image processing method, and program |
| JP2018113607A (en) * | 2017-01-12 | 2018-07-19 | 日本放送協会 | Video decoder |
| WO2022176399A1 (en) * | 2021-02-19 | 2022-08-25 | キヤノン株式会社 | Image processing device, method, and program |
| WO2023132223A1 (en) * | 2022-01-04 | 2023-07-13 | ソニーグループ株式会社 | Image processing device, image processing method, and recording medium |
| KR102599196B1 (en) * | 2022-11-30 | 2023-11-08 | 주식회사 인피닉 | Method for estimate job cost of work on generating training data, and computer program recorded on record-medium for executing method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4739355B2 (en) | Fast object detection method using statistical template matching | |
| JP3944647B2 (en) | Object measuring apparatus, object measuring method, and program | |
| JP5524692B2 (en) | Information processing apparatus and method, and program | |
| JP6494253B2 (en) | Object detection apparatus, object detection method, image recognition apparatus, and computer program | |
| US20150363634A1 (en) | Face Hallucination Using Convolutional Neural Networks | |
| EP1591959A1 (en) | Method of generating high-resolution image, digital image editing tool and computer readable medium | |
| JP2005253000A (en) | Image forming device | |
| JP5939056B2 (en) | Method and apparatus for positioning a text region in an image | |
| JP2008033424A (en) | Image processor, image processing method, program, and storage medium | |
| JP6292911B2 (en) | Image processing method, image processing program, and image processing apparatus | |
| WO2017109854A1 (en) | Learning image automatic sorting device, learning image automatic sorting method, and learning image automatic sorting program | |
| EP2293243A2 (en) | Image processing apparatus, image capture apparatus, image processing method, and program | |
| JP5600723B2 (en) | Method and system for splitting characters in a text line having various character widths | |
| CN101957991A (en) | Remote sensing image registration method | |
| WO2012046426A1 (en) | Object detection device, object detection method, and object detection program | |
| CN110895815A (en) | Chest X-ray pneumothorax segmentation method based on deep learning | |
| JPWO2010041447A1 (en) | Abnormality detection system, abnormality detection method, and abnormality detection program recording medium | |
| US20110081079A1 (en) | Automatic Red-Eye Object Classification In Digital Images Using A Boosting-Based Framework | |
| JP5710940B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| WO2022257314A1 (en) | Image detection method, related training method, related apparatus, device, and medium | |
| JP6202938B2 (en) | Image recognition apparatus and image recognition method | |
| CN110490170B (en) | Face candidate frame extraction method | |
| JP7312026B2 (en) | Image processing device, image processing method and program | |
| JP2019106173A (en) | Image processing method, image processing apparatus and program | |
| JP6443540B2 (en) | Image processing apparatus, image processing method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061121 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071016 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080819 |