JP2000165664A - Resolution converter for image and resolution conversing method for image - Google Patents

Resolution converter for image and resolution conversing method for image

Info

Publication number
JP2000165664A
JP2000165664A JP10340626A JP34062698A JP2000165664A JP 2000165664 A JP2000165664 A JP 2000165664A JP 10340626 A JP10340626 A JP 10340626A JP 34062698 A JP34062698 A JP 34062698A JP 2000165664 A JP2000165664 A JP 2000165664A
Authority
JP
Japan
Prior art keywords
image
filter
magnification
sample
transfer function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10340626A
Other languages
Japanese (ja)
Inventor
Takahiro Fukuhara
隆浩 福原
Seiji Kimura
青司 木村
Hitoshi Takaya
仁志 貴家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP10340626A priority Critical patent/JP2000165664A/en
Publication of JP2000165664A publication Critical patent/JP2000165664A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

PROBLEM TO BE SOLVED: To realize magnification/reduction of an image being a multiple of an optional rational number with high image quality in a small processing time. SOLUTION: A multiple U up-sampler 1 applies up-sampling to a received image 100 and the processed image is fed to a digital filter 2. The digital filter 2 has a filter characteristic so as not to cause distortion for the up-sampling of a multiple U and down-sampling of a multiple of 1/D at the post-stage so as to conduct a filter arithmetic operation while excluding the redundancy. An output 102 from the digital filter 2 is fed to the down-sampler 3, where the image is down-sampled to a multiple of 1/D.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像を任意有理数
倍率で拡大・縮小するような画像の解像度変換装置及び
方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image resolution converting apparatus and method for enlarging / reducing an image at an arbitrary rational magnification.

【0002】[0002]

【従来の技術】電子スチルカメラやプリンタ等で多用す
るサムネイル画像やディジタル画像のズーミングの機能
を実現する場合、画像の解像度変換が必要とされる。
2. Description of the Related Art When a function of zooming a thumbnail image or a digital image, which is frequently used in an electronic still camera or a printer, is realized, resolution conversion of the image is required.

【0003】従来より用いられてきた技術によれば、単
純な整数倍の拡大または整数分の1の縮小については比
較的容易に実現することができるが、任意有理数倍の解
像度変換については複雑な処理が必要とされるものが多
い。
According to the conventionally used technology, simple enlargement of an integer multiple or reduction of a fraction of an integer can be realized relatively easily, but resolution conversion of an arbitrary rational number is complicated. Many require processing.

【0004】[0004]

【発明が解決しようとする課題】すなわち、従来の技術
において、前述の様に単純な整数倍の拡大、または整数
分の1の縮小を行うのみでは、例えば原画像の解像度が
大きくなると整数分の1のサイズ間の差(例えば1/2
と1/3の差)が大きくなるので、滑らかなズームが出
来なくなる。拡大の場合も同様である。
That is, in the prior art, the simple enlargement of an integer multiple or the reduction of a fraction of an integral number as described above merely increases the resolution of the original image by an integer. 1 size (eg, 1/2
1 /), and smooth zooming cannot be performed. The same applies to enlargement.

【0005】また、任意有理数倍の解像度変換が行えて
も、倍率によっては歪みが目立ったり、非常に多くの処
理時間を要したりする問題点が残されていた。
[0005] Further, even if the resolution conversion can be performed at an arbitrary rational multiple, there remains a problem that distortion is conspicuous depending on the magnification or that a very long processing time is required.

【0006】本発明は、上述の問題点に鑑みてなされた
ものであって、任意有理数の拡大・縮小が、高画質且つ
容易に、すなわち少ない処理時間で実現し得るような画
像の解像度変換装置及び方法を提供することを目的とす
る。
SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems, and has been made in view of the above-mentioned problems, and is an image resolution conversion apparatus capable of easily realizing enlargement / reduction of an arbitrary rational number with high image quality, that is, with a short processing time. And a method.

【0007】[0007]

【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る画像の解像度変換方法及び装置は、
入力画像をU倍(Uは整数)にアップサンプルし、アッ
プサンプルされた画像をフィルタリングし、フィルタリ
ング後の画像をD分の1(Dは整数)にダウンサンプル
することにより、入力画像に対してU/D倍の拡大・縮
小を伴う解像度変換を行うこと特徴としている。
In order to solve the above-mentioned problems, an image resolution conversion method and apparatus according to the present invention are provided.
By up-sampling the input image by a factor of U (U is an integer), filtering the up-sampled image, and down-sampling the filtered image by 1 / D (D is an integer), It is characterized in that resolution conversion involving enlargement / reduction of U / D times is performed.

【0008】ここで、上記フィルタリングには、歪みが
生じないように解像度変換倍率に応じて伝達関数を変え
るデジタルフィルタ手段が用いられる。このデジタルフ
ィルタ手段の伝達関数は、アップサンプルの倍率Uとダ
ウンサンプルの倍率Dとによって決定されることが好ま
しく、より具体的には、アップサンプル時のイメージン
グ防止用のフィルタの伝達関数HU(z)とダウンサンプル
時のエリアシング防止用のフィルタの伝達関数HD(z)と
を合成して得られる合成伝達関数HUD(z) (=HU(z)H
D(z))とすることが好ましい。
Here, digital filtering means for changing a transfer function according to a resolution conversion magnification so as not to cause distortion is used for the filtering. The transfer function of this digital filter means is preferably determined by the up-sample magnification U and the down-sample magnification D. More specifically, the transfer function H U ( z) and the transfer function H D (z) of the filter for preventing aliasing at the time of down-sampling, a combined transfer function H UD (z) (= H U (z) H
D (z)).

【0009】また、上記アップサンプルの倍率Uの値が
上記ダウンサンプルの倍率Dの値よりも大きい場合は、
上記フィルタリングは、零次ホールド法とダウンサンプ
ル法とを用いて処理が行われることが好ましく、上記ダ
ウンサンプルの倍率Dの値が上記アップサンプルの倍率
Uの値よりも大きい場合は、上記フィルタリングは、零
次ホールド法と平均操作法とを用いて処理が行われるこ
とが好ましい。
When the value of the magnification U of the up sample is larger than the value of the magnification D of the down sample,
The filtering is preferably performed using a zero-order hold method and a down-sampling method. When the value of the magnification D of the down-sample is larger than the value of the magnification U of the up-sample, the filtering is performed. Preferably, the processing is performed using a zero-order hold method and an averaging method.

【0010】この任意有理数倍の解像度変換において、
アップサンプリングは、画像の解像度を、例えば零次ホ
ールド手段によって上げる作用がある。ダウンサンプリ
ングは、画像の解像度を、例えば間引き処理または複数
画素の平均値算出処理により算出する作用がある。デジ
タルフィルタ手段は、拡大倍率Uと縮小倍率1/Dの各
値に応じて、伝達関数を設定し、画素単位にフィルタ係
数を乗算して畳み込み演算を行う作用がある。
In this arbitrary rational resolution conversion,
Upsampling has the effect of increasing the resolution of the image, for example, by zero-order hold means. Downsampling has an effect of calculating the resolution of an image by, for example, a thinning process or an average value calculating process for a plurality of pixels. The digital filter means has a function of setting a transfer function in accordance with each value of the enlargement magnification U and the reduction magnification 1 / D, and performing a convolution operation by multiplying a filter coefficient for each pixel.

【0011】また、上記デジタルフィルタ手段は、アッ
プサンプリングまたはダウンサンプリングによってイメ
ージングやエリアシングが発生しないように、帯域制限
を行う作用がある。
Further, the digital filter means has a function of limiting a band so that imaging or aliasing does not occur by upsampling or downsampling.

【0012】[0012]

【発明の実施の形態】以下、本発明に係る画像の解像度
変換装置及び方法の実施の形態について、図面を参照し
ながら説明する。
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing an embodiment of an image resolution conversion apparatus and method according to the present invention.

【0013】本発明に係る画像の解像度変換装置の第1
の実施の形態を図1に示す。この図1に示す本発明の第
1の実施の形態としての画像の解像度変換装置は、、入
力画像100をU倍(Uは整数)にアップサンプルする
U倍のアップサンプラ1と、アップサンプルされた画像
101をフィルタリングするデジタルフィルタ2と、フ
ィルタリング後の画像102をD分の1(Dは整数)に
ダウンサンプルする1/D倍のダウンサンプラ3とを有
して構成されている。この図1の構成により、入力画像
100はU/D倍に解像度変換されて、出力画像103
として取り出される。
A first aspect of the image resolution conversion apparatus according to the present invention.
1 is shown in FIG. The image resolution conversion apparatus according to the first embodiment of the present invention shown in FIG. 1 includes a U-fold upsampler 1 for upsampling an input image 100 U times (U is an integer) and an upsampler 1 for upsampling. A digital filter 2 for filtering the filtered image 101 and a 1 / D-fold downsampler 3 for downsampling the filtered image 102 to 1 / D (D is an integer). According to the configuration of FIG. 1, the input image 100 is subjected to resolution conversion to U / D times and output image 103
Is taken out as

【0014】デジタルフィルタ2の伝達関数は、アップ
サンプルの倍率Uとダンサンプルの倍率Dとによって決
定されることが好ましい。また、U倍のアップサンプリ
ングにより新たに生じるスペクトル成分であるイメージ
ング成分を除去するためのフィルタの伝達関数をH
U(z) 、1/D倍のダウンサンプリングによる折り返し
歪を除去するためのアンチエリアシングフィルタの伝達
関数をHD(z) とするとき、デジタルフィルタ2の伝達
関数HUD(z)は、 HUD(z) = HU(z)HD(z) とし、冗長性を排除したものとすることがより好まし
い。
It is preferable that the transfer function of the digital filter 2 is determined by the magnification U of the up-sample and the magnification D of the Dun-sample. Further, the transfer function of a filter for removing an imaging component which is a spectrum component newly generated by U-fold upsampling is represented by H
When the transfer function of an anti-aliasing filter for removing aliasing distortion due to U (z) and 1 / D times downsampling is denoted by H D (z), the transfer function H UD (z) of the digital filter 2 is: It is more preferable that H UD (z) = H U (z) H D (z) to eliminate redundancy.

【0015】また、Uの値がDの値よりも大きい場合に
は、デジタルフィルタ2としては、零次ホールド回路と
ダウンサンプル回路とを用いることが好ましく、Dの値
がUの値よりも大きい場合には、デジタルフィルタ2と
しては、零次ホールド回路と平均操作回路とを用いるこ
とが好ましい。
When the value of U is larger than the value of D, it is preferable to use a zero-order hold circuit and a down-sampling circuit as the digital filter 2, and the value of D is larger than the value of U. In this case, it is preferable to use a zero-order hold circuit and an averaging circuit as the digital filter 2.

【0016】ここで、本発明の各実施の形態に用いられ
る基本技術となる4つの手法について説明する。具体的
には、画像拡大のための零次ホールド法、直線補間法、
画像縮小のためのダウンサンプル法、平均操作法の4つ
の手法である。
Here, four techniques which are basic techniques used in each embodiment of the present invention will be described. Specifically, a zero-order hold method for image enlargement, a linear interpolation method,
There are four methods of downsampling and averaging for image reduction.

【0017】まず1番目の手法として、零次ホールド法
は、最も単純な手法として知られており、一次元の画素
列で考えた場合、N倍の拡大は画素の近隣にN−1個の
同値の画素を補間する処理に相当する。この零次ホール
ド法は、処理が単純である反面、拡大率が大きい場合に
はブロック状に不連続な画質になるという問題がある。
First, as a first method, the zero-order hold method is known as the simplest method, and when considering a one-dimensional pixel row, an N-fold enlargement means that N-1 pixels are located in the vicinity of the pixel. This corresponds to a process of interpolating pixels of the same value. Although the zero-order hold method is simple in processing, it has a problem that when the enlargement ratio is large, the image quality becomes discontinuous in a block shape.

【0018】図2は、零次ホールド法による画像の3倍
拡大の具体例を示したものである。この図2の(A)に
は、原画像の一部、例えば縦横3×3画素の部分が示さ
れており、3倍の拡大(面積比では9倍の拡大)の場合
には、1画素に対して同値の画素を縦横3×3個配置す
ることで、原画像の3×3の部分に対して、図2の
(B)に示すように、拡大画像の対応部分が9×9個の
画素で構成される。この拡大画像の9×9個の画素の部
分の横一行分の部分Lを取り出し、縦軸に画素値をとっ
て図2の(C)に示す。この図2の(C)の破線の○印
が零次ホールドにより補間された画素を示しており、原
画像の各画素(図中の実線の○印)の隣にそれぞれ2個
ずつの同値の画素Pが補間されている。
FIG. 2 shows a specific example of a three-fold enlargement of an image by the zero-order hold method. FIG. 2A shows a part of the original image, for example, a portion of 3 × 3 pixels in the vertical and horizontal directions. In the case of 3 times enlargement (9 times in area ratio), one pixel is used. By arranging 3 × 3 pixels of the same value in the vertical and horizontal directions, the 3 × 3 portion of the original image has 9 × 9 corresponding portions of the enlarged image as shown in FIG. Pixels. FIG. 2C shows a portion L of one horizontal row of the 9 × 9 pixel portion of the enlarged image, and takes the pixel value on the vertical axis. In FIG. 2 (C), the dashed circles indicate the pixels interpolated by the zero-order hold, and two pixels of the same value next to each pixel (solid circle in the figure) of the original image. Pixel P is interpolated.

【0019】2番目の直線補間法は、双一次補間法とも
呼ばれ、比較的滑らかな拡大画像を生成することができ
る。この手法は、拡大に伴って補間される画素を、隣接
する原画像の画素間の直線近似によって生成する。
The second linear interpolation method is also called a bilinear interpolation method, and can generate a relatively smooth enlarged image. In this method, pixels to be interpolated with enlargement are generated by linear approximation between pixels of adjacent original images.

【0020】図3は、直線補間法による画像の3倍拡大
の具体例を示したものである。この図3の(A)は、原
画像の一部である例えば縦横3×3画素の部分を示し、
3倍拡大時には、図3の(B)に示すように、これらの
画素間に補間画素Pを配置することで、縦横9×9画素
の拡大画像の部分を形成する。補間画素Pは、図3の
(C)に示すように、原画像の隣接画素間を直線近似し
て求められるから、原画像の右端や下端の画素に続く補
間画素を求めるためには、さらに外側の画素Qが必要と
される。従って、画素数を厳密に整数倍に拡大する場合
には、端の補間画素を生成するために仮りの画素Qを追
加して直線近似を行う。なお、追加される画素は、画像
の滑らかさを考慮して、通常、画像の端の画素を中心と
して対称関係になるように選択され(図3の(C)参
照)、直線補間後に除去される。直線補間法では、滑ら
かな拡大画像を得ることができるが、その一方でエッジ
部ではシャープさに欠けてしまう傾向がある。
FIG. 3 shows a specific example of triple-magnification of an image by the linear interpolation method. FIG. 3A shows a portion of the original image, for example, a 3 × 3 pixel portion in the vertical and horizontal directions.
At the time of triple magnification, as shown in FIG. 3B, an interpolated pixel P is arranged between these pixels to form an enlarged image portion of 9 × 9 pixels vertically and horizontally. As shown in FIG. 3C, the interpolated pixel P is obtained by linearly approximating adjacent pixels of the original image. Therefore, in order to obtain an interpolated pixel following the rightmost or lowermost pixel of the original image, the interpolation pixel P is further obtained. An outer pixel Q is required. Therefore, when the number of pixels is strictly enlarged to an integral multiple, a linear approximation is performed by adding a temporary pixel Q in order to generate an interpolation pixel at the end. The added pixels are usually selected in consideration of the smoothness of the image so as to have a symmetrical relationship with respect to the pixel at the end of the image (see FIG. 3C), and are removed after linear interpolation. You. With the linear interpolation method, a smooth enlarged image can be obtained, but on the other hand, the edge portion tends to lack sharpness.

【0021】次に、3番目のダウンサンプル法は、最も
単純な手法として知られている。一次元の画素列で考え
た場合、ダウンサンプル法によるN分の1の縮小は、N
画素毎に画素を選び出して画像を再構成する処理に相当
する。また、この手法は処理が単純である反面、高周波
成分を多く含む画像に対して実行すると、折り返し歪み
(エイリアシング)が発生することがある。
Next, the third down sampling method is known as the simplest method. Considering a one-dimensional pixel array, a 1 / N reduction by the down-sampling method is N
This corresponds to a process of selecting a pixel for each pixel and reconstructing an image. Further, while this method is simple in processing, if it is performed on an image containing many high-frequency components, aliasing may occur.

【0022】図4は、ダウンサンプル法による画像の1
/3縮小の具体例を示したものである。図4の(A)に
示す原画像の縦横9×9画素の部分に対して、3画素毎
に画素を選び出して、残りの画素Rを間引くことによ
り、図4の(B)に示すような縦横3×3画素の縮小画
像の部分を形成している。
FIG. 4 shows an image 1 obtained by the down-sampling method.
It shows a specific example of / 3 reduction. In the 9 × 9 pixel portion of the original image shown in FIG. 4A, pixels are selected for every three pixels, and the remaining pixels R are thinned out to obtain a pixel as shown in FIG. A reduced image portion of 3 × 3 pixels vertically and horizontally is formed.

【0023】次に、4番目の平均操作法について説明す
ると、一次元の画素列で考えた場合、平均操作法による
N分の1の縮小は、N画素毎に平均値を計算し、その値
を縮小画像の画素値として画像を再構成する処理であ
る。また、平均処理はローパスフィルタに相当するた
め、折り返し歪み(エイリアシング)の発生を抑制する
ことができる。
Next, the fourth averaging method will be described. In the case of a one-dimensional pixel array, the reduction of 1 / N by the averaging method calculates an average value for every N pixels, and calculates the value. Is a process of reconstructing an image using pixel values of the reduced image as pixel values. In addition, since the averaging process corresponds to a low-pass filter, occurrence of aliasing (aliasing) can be suppressed.

【0024】図5は、平均操作法による画像の1/3縮
小の具体例を示したものである。図5の(A)に示す原
画像の縦横9×9画素の部分に対して、それぞれ3×3
画素の領域毎にその領域内の9画素値の平均値をとり、
縮小画像の各画素値とすることにより、図5の(B)に
示すような縦横3×3画素の縮小画像の部分を形成す
る。
FIG. 5 shows a specific example of 画像 reduction of an image by the averaging method. 5 × 9 pixels of the original image shown in FIG.
For each pixel area, take the average of the nine pixel values in that area,
By using each pixel value of the reduced image, a portion of the reduced image of 3 × 3 pixels vertically and horizontally as shown in FIG. 5B is formed.

【0025】次に、U/D倍の画像の解像度変換法につ
いて説明する前に、U倍の拡大処理法、及び1/D倍の
縮小処理法について以下述べる。まず最初に、画像のU
倍の拡大法について述べる。
Next, before describing the resolution conversion method of a U / D-fold image, a U-fold enlargement process and a 1 / D-fold reduction process will be described below. First, the U
The double magnification method is described.

【0026】図6の(A)は、このU倍の画像拡大のた
めの基本構成を図示したもので、U倍のアップサンプラ
6と、伝達関数がHU(z)のデジタルフィルタ7とから構
成される。デジタルフィルタ7の伝達関数HU(z)は、z
軸(z= exp(jωT))上の表現であるが、これの時間軸
上の表現であるフィルタのインパルス応答をhU(n)とす
る。nは時間軸上のサンプル数(サンプル番号、サンプ
ル位置)である。同様に、入力画像104をx(n) 、ア
ップサンプラ6の出力107をc(n) 、デジタルフィル
タ7の出力108をy(n) とする。次に動作について説
明する。
FIG. 6A shows a basic configuration for this U-fold image enlargement. The U-fold up sampler 6 and the digital filter 7 whose transfer function is H U (z) are shown in FIG. Be composed. The transfer function H U (z) of the digital filter 7 is z
The impulse response of the filter, which is expressed on the axis (z = exp (jωT)), is expressed on the time axis by h U (n). n is the number of samples (sample number, sample position) on the time axis. Similarly, the input image 104 is x (n), the output 107 of the upsampler 6 is c (n), and the output 108 of the digital filter 7 is y (n). Next, the operation will be described.

【0027】入力画像104はU倍のアップサンプラ6
に送られ、画像がU倍にアップサンプリングされる。こ
の時のアップサンプリングの動作を具体的に示したの
が、図7である。この図7に示すように、U倍のアップ
サンプリングとは、(U−1)個の0値を挿入する操作
を意味する。
The input image 104 is a U-fold upsampler 6
And the image is upsampled by a factor of U. FIG. 7 specifically shows the upsampling operation at this time. As shown in FIG. 7, the U-fold upsampling means an operation of inserting (U-1) zero values.

【0028】すなわち、図7の(A)の縦横3×3画素
の原画像の部分は、図7の(B)に示す3倍アップサン
プラ6aで3倍にアップサンプリングされて、図7の
(C)に示すように、1次元方向で画素間に2個の0値
が挿入され、2次元では原画素1個当たり8個の0値が
挿入される。従って、原画像の縦横3×3画素の部分
は、拡大画像で縦横9×9画素の部分に変換される。
That is, the original image portion of 3 × 3 pixels in the vertical and horizontal directions in FIG. 7A is triple-upsampled by the triple upsampler 6a shown in FIG. As shown in C), two 0 values are inserted between pixels in the one-dimensional direction, and eight 0 values are inserted per original pixel in the two-dimensional direction. Therefore, a 3 × 3 pixel portion of the original image is converted into a 9 × 9 pixel portion in the enlarged image.

【0029】これによって生成されたアップサンプル画
像107は、伝達関数HU(z)のデジタルフィルタ7に入
力されてフィルタリングされた結果、U倍の拡大画像1
08が出力される。
The upsampled image 107 thus generated is input to the digital filter 7 of the transfer function H U (z) and filtered, and as a result, a U-fold enlarged image 1 is obtained.
08 is output.

【0030】次に、伝達関数HU(z)のデジタルフィルタ
7の満たすべき特性について述べる。理想的なU倍の拡
大を行うためには、アップサンプリングによる信号の周
波数帯域の変化を考慮してローパスフィルタを設計しな
ければならない。図8の(A)、(B)は、それぞれ原
信号の周波数帯域X(z) 、U倍のアップサンプリング後
の周波数帯域XU(z)を示している。なお、ωは正規化角
周波数である。また、図8の(B)におけ破線部は、イ
メージング成分(アップサンプリングにより新たに生じ
るスペクトル成分)を示しており、拡大画像を得るに
は、この成分を取り除く必要がある。従って、図9の
(A)に示した理想ローパスフィルタHU(z)を用いるこ
とで、図9の(B)の周波数帯域YU(z)を持った拡大画
像を得ることができる。以上より、伝達関数HU(z)のデ
ジタルフィルタ7は、図9の(A)に示した理想ローパ
スフィルタHU(z)の特性を持ったものを選択する。
Next, characteristics of the transfer function H U (z) to be satisfied by the digital filter 7 will be described. In order to perform an ideal U-fold enlargement, a low-pass filter must be designed in consideration of a change in the frequency band of a signal due to upsampling. FIGS. 8A and 8B show a frequency band X (z) of the original signal and a frequency band X U (z) after upsampling by a factor of U, respectively. Here, ω is a normalized angular frequency. The broken line in FIG. 8B indicates an imaging component (spectral component newly generated by upsampling), and it is necessary to remove this component in order to obtain an enlarged image. Therefore, by using the ideal low-pass filter H U (z) shown in FIG. 9A, an enlarged image having the frequency band Y U (z) shown in FIG. 9B can be obtained. As described above, as the digital filter 7 of the transfer function H U (z), a filter having the characteristics of the ideal low-pass filter H U (z) shown in FIG. 9A is selected.

【0031】次に、1/D倍の縮小処理法について述べ
る。図6の(B)は、この1/D倍の画像縮小のための
基本構成を図示したもので、伝達関数がHD(z)のデジタ
ルフィルタ4と、1/D倍のダウンサンプラ5とから構
成される。時間軸上の表現として、デジタルフィルタ4
のインパルス応答をhD(n)とし、入力画像104をx
(n) 、デジタルフィルタ4の出力105をp(n) 、ダウ
ンサンプラ5の出力106をy(n) とする。次に動作に
ついて説明する。
Next, a 1 / D-fold reduction processing method will be described. FIG. 6B shows a basic configuration for reducing the image by a factor of 1 / D. The digital filter 4 has a transfer function of H D (z), the downsampler 5 has a factor of 1 / D. Consists of As an expression on the time axis, digital filter 4
Let h D (n) be the impulse response of
(n), the output 105 of the digital filter 4 is p (n), and the output 106 of the downsampler 5 is y (n). Next, the operation will be described.

【0032】入力画像104は、まずデジタルフィルタ
4に入力されてフィルタ出力105が出力される。この
フィルタ出力105は、ダウンサンプラ5で1/D倍に
ダウンサンプリングされる。1/D倍のダウンサンプリ
ングとは、(D−1)個の画素を抜き取る操作を意味す
る。これによって生成された1/D倍の縮小画像106
が出力される。
The input image 104 is first input to the digital filter 4 and a filter output 105 is output. The filter output 105 is down-sampled by the down-sampler 5 to 1 / D times. The downsampling of 1 / D times means an operation of extracting (D-1) pixels. 1 / D-fold reduced image 106 generated by this
Is output.

【0033】図10は、このようなダウンサンプリング
の動作をD=4の場合を例にとって具体的に示したもの
である。この図10において、(A)に示す原画像の縦
横12×12画素の部分に対して、図10の(B)に示
す1/4ダウンサンプラ5aにより、1次元方向では4
画素につき3画素を抜き取り、2次元では4×4画素か
ら1個の画素を残して残りの画素Rを除去し、図10の
(C)に示すような縮小画像、すなわち1/4にダウン
サンプリングされた画像の縦横3×3画素の部分として
生成される。
FIG. 10 specifically shows such a downsampling operation with D = 4 as an example. In FIG. 10, a 1/4 down sampler 5a shown in FIG. 10B corresponds to a 4 × 12 pixel portion of the original image shown in FIG.
Three pixels are extracted per pixel, and in two dimensions, one pixel is left out of 4 × 4 pixels and the remaining pixels R are removed, and a reduced image as shown in FIG. The image is generated as a 3 × 3 pixel portion in the vertical and horizontal directions of the image.

【0034】次に、伝達関数HD(z)のデジタルフィルタ
4の満たすべき特性について述べる。理想的な1/D倍
の縮小を行うためには、ダウンサンプリングによる周波
数領域上での帯域の重なり合い(折り返し歪み)を回避
するため、原信号に対してローパスフィルタHD(z)によ
る帯域制限を行わなければならない。図11の(A),
(B)は、それぞれ原信号の周波数帯域X(z)、ローパ
スフィルタHD(z) の周波数特性である。HD(z)により
帯域制限をうけた後の周波数帯域XL(z)は、図12の
(A)のようになる。更に、この信号に対して、1/D
倍のダウンサンプリングを行った後の周波数帯域YD(z)
は、図12の(B)のように示されることから、折り返
し歪みのない縮小画像を得ることができる。
Next, characteristics of the transfer function H D (z) to be satisfied by the digital filter 4 will be described. To perform an ideal 1 / D times reduction in order to avoid overlap of the band in the frequency domain by downsampling (aliasing), the band limitation by a low-pass filter H D (z) with respect to the original signal Must be done. 11 (A),
(B) shows the frequency characteristics of the frequency band X (z) of the original signal and the low pass filter H D (z), respectively. H D (z) by the frequency band of the after receiving the band limited X L (z) is as shown in FIG. 12 (A). Further, 1 / D
Frequency band Y D (z) after double downsampling
Is as shown in FIG. 12B, a reduced image without aliasing distortion can be obtained.

【0035】以上が、U倍の拡大、及び1/D倍の縮小
の場合の手段及びフィルタの満たすべき条件である。
The above is the condition to be satisfied by the means and the filter in the case of U-fold enlargement and 1 / D-fold reduction.

【0036】ここで、図6で示した各信号x(n) 、c
(n) 、y(n) 、p(n) の間の互いの関係を数式で表現す
る。図6の(B)に示す1/D倍の縮小の場合の各信号
x(n)、p(n) 、y(n) の関係式は、 p(n)= Σx(k)hD(n-k) ・・・(1) y(n)= p(Dn) = Σx(k)hD(Dn-k) ・・・(2) となる。また、図6の(A)に示すU倍の拡大の場合の
x(n) 、c(n) 、y(n)の関係式は、 y(n)= Σc(k)hU(n-k) ・・・(3) y(n)= Σc(Uk)hU(n-Uk) = Σx(k)hU(n-Uk) ・・・(4) となる。これらの式中のhD(n)、hU(n)は、各フィルタ
4、7のインパルス応答を示す。
Here, each signal x (n), c shown in FIG.
The mutual relationship between (n), y (n) and p (n) is expressed by a mathematical expression. The relational expression of each signal x (n), p (n) and y (n) in the case of 1 / D-times reduction shown in FIG. 6B is expressed as follows: p (n) == x (k) h D ( nk) (1) y (n) = p (Dn) = Σx (k) h D (Dn−k) (2) The relational expression of x (n), c (n), and y (n) in the case of U-fold magnification shown in FIG. 6A is as follows: y (n) = Σc (k) h U (nk) (3) y (n) = Σc (Uk) h U (n-Uk) = Σx (k) h U (n-Uk) (4) H D (n) and h U (n) in these equations indicate the impulse responses of the filters 4 and 7, respectively.

【0037】次に、以上述べたような基本技術を用い
て、本発明の実施の形態のU/D倍の解像度変換を実現
する点について説明する。
Next, a description will be given of how the U / D-fold resolution conversion of the embodiment of the present invention is realized by using the above-described basic technology.

【0038】このU/D倍の解像度変換を行うには、図
13に示すように、図6の(A)のU倍の画像拡大のた
めの構成と、図6の(B)の1/D倍の画像縮小のため
の構成とを接続すれば良い。これが図13の(A)の構
成になることは容易に理解できる。さらにこの構成の冗
長度を無くしたものが、同図の下部である。ここで、明
らかに、HUD(n) = HU(n) HD(n)が成立する。
To perform this U / D-fold resolution conversion, as shown in FIG. 13, a configuration for enlarging a U-fold image in FIG. 6A and a 1/1 in FIG. 6B. What is necessary is just to connect with the structure for image reduction of D times. It can be easily understood that this is the configuration shown in FIG. Further, the lower part of the figure is a configuration in which the redundancy of this configuration is eliminated. Here, obviously, H UD (n) = H U (n) H D (n) holds.

【0039】図13の(B)のd(n),y(n)を数式で表
現すると下記の(5)式になり、これに上記(2)式を
代入して整理すると、結局(6)式に帰着する。すなわ
ち、 d(n) = Σx(k)hUD(n-Uk) ・・・(5) y(n) = Σx(k)hUD(Dn-Uk) ・・・(6) である。これが、冗長性を排除した表現となる。
When d (n) and y (n) in FIG. 13B are expressed by mathematical expressions, the following expression (5) is obtained. ). That is, d (n) = Σx (k) h UD (n-Uk) (5) y (n) = Σx (k) h UD (Dn-Uk) (6) This is an expression excluding the redundancy.

【0040】ここで、解像度の変換処理における冗長性
の排除について説明する。変換処理を効率的に実行する
ためには、この冗長性の排除が重要とされる。
Here, the elimination of the redundancy in the resolution conversion processing will be described. Eliminating this redundancy is important for efficient execution of the conversion process.

【0041】図13の(A)の構成において、1/D倍
の画像縮小のための構成部分は、図6の(B)に対応す
るものであり、デジタルフィルタ4での処理は上記式
(1)に示すようなx(n) とp(n) とのたたみ込みで表
される。この場合、例えばD=2の例では、図14の
(A)に示すように、データを2個ずつ切り出してたた
み込み処理する操作を1画素ずつシフトさせて行うこと
によりフィルタ出力p(0),p(1),p(2),p(3),... を求
め、その後にダウンサンプラ5にてデータの2個につき
1個を間引くことにより、1個置きのデータp(0),p
(2),... を出力y(0),y(1),... として取り出すことが
考えられる。これに対して、上記式(2)を直接計算し
て出力y(n) を求めることが考えられる。これは、図1
4の(B)に示すように、入力データx(n) のたたみ込
み処理を2画素ずつシフトさせて行うことにより冗長性
を排除したものである。すなわち、D=2の場合、図1
4の(B)の処理量は、図14の(A)の処理量のほぼ
半分で済み、処理の簡略化あるいは処理時間の短縮化が
図れる。
In the configuration shown in FIG. 13A, the components for reducing the image by a factor of 1 / D correspond to those shown in FIG. 6B. It is represented by the convolution of x (n) and p (n) as shown in 1). In this case, for example, in the example of D = 2, as shown in FIG. 14A, an operation of cutting out data and performing convolution processing by shifting one pixel at a time is performed, thereby obtaining a filter output p (0). , p (1), p (2), p (3),..., and then downsamples one out of every two data by the downsampler 5 to obtain every other data p (0) , p
(2),... May be extracted as outputs y (0), y (1),. On the other hand, it is conceivable to directly calculate the above equation (2) to obtain the output y (n). This is shown in FIG.
As shown in FIG. 4 (B), redundancy is eliminated by shifting the convolution of the input data x (n) by two pixels. That is, when D = 2, FIG.
The processing amount of (B) of FIG. 4 is almost half of the processing amount of (A) of FIG. 14, and the processing can be simplified or the processing time can be shortened.

【0042】また、図13の(A)の構成において、U
倍の画像拡大のための構成部分は、図6の(A)に対応
するものであり、上記c(n) とy(n) との関係は上記
(3)式に示すようなたたみ込みで表される。ただし、
c(n) の非零値はU個ごとであり、直接計算することは
無駄である。従って、x(n) = c(Un) に注意すると、
x(n) とY(n) との関係は、上記式(4)のように与え
られ、これを直接計算することで冗長性が排除される。
図15は、例えばU=2の場合を示したものであり、図
15の(A)に示す入力データx(n) に対して、2倍の
アップサンプリングにより各データ間に1(=2−1)
個の零値をそれぞれ挿入して図15の(B)のデータc
(n) とし、これをフィルタで直線補間する際に図15の
(C)に示すように2画素ずつシフトすることで、冗長
性を排除している。
Further, in the configuration shown in FIG.
The component for double image magnification corresponds to FIG. 6A, and the relationship between c (n) and y (n) is a convolution as shown in the above equation (3). expressed. However,
The non-zero value of c (n) is every U number, and it is useless to calculate directly. Therefore, if we pay attention to x (n) = c (Un),
The relationship between x (n) and Y (n) is given as in the above equation (4), and redundancy is eliminated by directly calculating this.
FIG. 15 shows, for example, the case where U = 2. For input data x (n) shown in FIG. 15A, 1 (= 2- 1)
The data c shown in FIG.
(n), and when this is linearly interpolated by a filter, redundancy is eliminated by shifting two pixels at a time as shown in FIG.

【0043】また、図13の(B)に示すように、上記
伝達関数HU(n)、HD(n)の各フィルタをまとめて伝達関
数HUD(n)(=HU(n) HD(n))の1つのフィルタ8と
し、このフィルタ演算を上記式(5)により直接行い、
さらに、ダウンサンプリングも考慮して、上記式(6)
の計算を直接実行することにより、大幅に冗長性の排除
が実現できる。
Further, as shown in FIG. 13B, the filters of the transfer functions H U (n) and H D (n) are put together and the transfer function H UD (n) (= H U (n) H D (n)), and this filter operation is directly performed by the above equation (5).
Further, considering downsampling, the above equation (6)
By directly executing the calculation of, the elimination of redundancy can be largely achieved.

【0044】この図13の(B)に示す構成は、本発明
の第1の実施の形態の基本構成として示した図1と同じ
になっていることが明らかである。なお、UとDとの値
の関係で、画像を拡大するか、あるいは縮小することに
なるので、以下の実施の形態の説明では、各々の場合に
ついての具体的な事例について説明する。
It is clear that the configuration shown in FIG. 13B is the same as FIG. 1 shown as the basic configuration of the first embodiment of the present invention. Since the image is enlarged or reduced depending on the value of U and D, specific examples in each case will be described in the following embodiments.

【0045】次に、本発明の第2の実施の形態について
説明する。この第2の実施の形態は、画像の任意有理数
倍の解像度変換器及び方法に関するものである。この第
2の実施の形態では、U>D、即ち任意有理数倍の拡大
の場合の構成及び動作について説明する。
Next, a second embodiment of the present invention will be described. The second embodiment relates to a resolution converter and method for multiplying an image by an arbitrary rational number. In the second embodiment, the configuration and operation in the case of U> D, that is, the case of enlargement by an arbitrary rational number will be described.

【0046】拡大の具体例として、U=3,D=2であ
る3/2倍の場合を考えると、上記HU(z)と HD(z)の
フィルタ特性は、それぞれ図16の(A)、(B)のよ
うに示される。このとき、この2つのフィルタ処理は、
明らかに図16の(C)の一つのフィルタによる処理と
等価となり、このフィルタは図16の(A)と同じにな
っている。以上のことから、U/D倍(U>D)の拡大
処理において使用するフィルタHUD(z)は、U倍の拡大
時のフィルタHU(z) をそのまま使用することができ
る。
[0046] Specific examples of expansion, consider the case of 3/2 times is U = 3, D = 2, the filter characteristics of the H U (z) and H D (z) is, respectively, of FIG. 16 ( A) and (B) are shown. At this time, these two filtering processes are:
Obviously, this is equivalent to the processing by one filter shown in FIG. 16C, and this filter is the same as that shown in FIG. From the above, the filter H UD for use in enlargement processing U / D times (U> D) (z) can be used filter H U during expansion of U times the (z) as it is.

【0047】ところで、既に述べたように、U倍の拡大
ではアップサンプリングによる零次ホールド法(図2参
照)を用いることが出来るが、画質を滑らかに保つため
に図3の直線補間法が使える。この時の関係は、下記で
表現できる。
As described above, the zero-order hold method by up-sampling (see FIG. 2) can be used for U-fold enlargement, but the linear interpolation method shown in FIG. 3 can be used to keep the image quality smooth. . The relationship at this time can be expressed as follows.

【0048】 零次ホールド法:HU(z) =( 1 + z-1 + z-2 + + z-(U-1)) = Hzero(z) ・・・(7) 直線補間法:HU(z) = Hzero(z) Hzero(z-1)/U =(1 + z-1 + z-2 + + z-(U-1)) ×( 1 + z1 + z2 + + zU-1)/ U ・・・(8) すなわち、直線補間法の伝達関数は、零次ホールド法の
伝達関数を、時間遅延させたてこれらを乗算して表され
る(Hzero(z)とHzero(z-1))。また、U/D倍の内の1
/Dは単純なダウンサンプリングで良い。
Zero-order hold method: H U (z) = (1 + z− 1 + z− 2 ++ z− (U−1) ) = Hzero (z) (7) Linear interpolation method: H U (z) = H zero (z) H zero (z -1 ) / U = (1 + z -1 + z -2 + + z- (U-1) ) × (1 + z 1 + z 2 + + z U-1 ) / U (8) That is, the transfer function of the linear interpolation method is expressed by multiplying the transfer function of the zero-order hold method by delaying the transfer function by time (H zero (z) and H zero (z -1 )). Also, 1 of U / D times
/ D may be simple downsampling.

【0049】以上が、U>Dの拡大の場合の処理であ
る。
The above is the processing in the case of U> D enlargement.

【0050】次に、本発明の第3の実施の形態について
説明する。この第3の実施の形態としては、任意有理数
倍の解像度変換であって、U<D、すなわち任意有理数
倍の縮小の場合の構成及び動作について説明する。
Next, a third embodiment of the present invention will be described. As the third embodiment, the configuration and operation in the case of resolution conversion of an arbitrary rational number and U <D, that is, reduction of an arbitrary rational number will be described.

【0051】縮小の具体例として、例えばU/D=2/
3倍の縮小処理を考える。上述したことから、HU(z)と
D(z)のフィルタ特性は、それぞれ図17の(A)と
(B)のように示される。このとき、この2つのフィル
タによる処理は、図17の(C)の一つのフィルタHUD
(z) による処理と等価になる。また、HUD(z) = 2H
D(z)の関係になることから、一般にU/Dの縮小(U<
D)のときに使用するフィルタHUD(z) は、1/Dの縮
小処理のフィルタHD(z)に利得調整(U倍)をしたU・
D(z)を使用することができる。
As a specific example of the reduction, for example, U / D = 2 /
Consider a three-fold reduction process. From the above, the filter characteristics of H U (z) and H D (z) are shown as (A) and (B) in FIG. 17, respectively. At this time, the processing by the two filters is performed by one filter H UD in FIG.
It is equivalent to the processing by (z). Also, H UD (z) = 2H
Because of the relationship of D (z), reduction of U / D (U <D
The filter H UD (z) used in the case of D) is obtained by applying a gain adjustment (U times) to the filter H D (z) of the 1 / D reduction processing.
H D a (z) can be used.

【0052】従って、U/D倍の縮小の場合には、U倍
の拡大として、上記(7)式の零次ホールド法の伝達関
数HU(z)を用い、1/D倍の縮小として下記の(9)式
の平均操作手段(図5参照)を用いて、その積で表され
る伝達関数で実現することができる。すなわち、 HD(z) =( 1 + z-1 + z-2 + + z-(U-1))/D ・・・(9) HUD(z) = HU(z) HD(z) である。
Therefore, in the case of U / D-fold reduction, the transfer function H U (z) of the zero-order hold method of the above equation (7) is used as U-fold expansion, and 1 / D-fold reduction. It can be realized by a transfer function represented by the product using the averaging means (see FIG. 5) of the following equation (9). That, H D (z) = ( 1 + z -1 + z -2 + + z - (U-1)) / D ··· (9) H UD (z) = H U (z) H D ( z).

【0053】次に、本発明の第4の実施の形態について
説明する。この第4の実施の形態においては、上述した
解像度変換装置の前段部に高域利得強調フィルタ手段を
備え、画像拡大時には同部が作動するようにしている。
すなわち、この第4の実施の形態は、U>Dの任意有理
数倍の拡大の場合に生じる画像のボケ、シャープネスの
欠損を抑制するものである。
Next, a fourth embodiment of the present invention will be described. In the fourth embodiment, a high-frequency gain emphasizing filter is provided in the preceding stage of the above-described resolution conversion device, and the portion is operated when an image is enlarged.
That is, in the fourth embodiment, blurring of an image and loss of sharpness which occur in the case of enlargement by an arbitrary rational number of U> D are suppressed.

【0054】図18は、この第4の実施の形態の構成の
一例を示しており、上記図1と共に説明したU倍のアッ
プサンプラ1、デジタルフィルタ2及び1/D倍のダウ
ンサンプラ3から成る画像の解像度変換装置の前段部
に、高域利得強調フィルタ9を接続して構成されてい
る。次に動作について説明する。
FIG. 18 shows an example of the configuration of the fourth embodiment, which comprises a U-fold upsampler 1, a digital filter 2 and a 1 / D-fold downsampler 3 described with reference to FIG. A high-frequency gain emphasis filter 9 is connected to the front stage of the image resolution conversion device. Next, the operation will be described.

【0055】高域利得強調フィルタ9としては、例えば
図19に示すような縦横(3x3)の2次元フィルタを
用いることができる。この図19に示す高域強調フィル
タの例えば各フィルタ係数f1〜f9としては、例えば、 f5 = 8、 f1 = f2 = f3 = f4 = f6 = f7 = f8
9 = −1 のように定めればよい。この高域利得強調フィルタは
9、入力画像の高域成分を強調する作用がある。なお、
一般的に高域利得強調フィルタ9としては、NxNのフ
ィルタ係数を有し、中央部の係数値が正数で、それ以外
の係数が−1の値を取るものを使用できるが、これに限
定されない。
As the high-frequency gain emphasis filter 9, for example, a two-dimensional (3 × 3) two-dimensional filter as shown in FIG. 19 can be used. The high-frequency emphasis filter coefficients f 1 ~f 9 example of the filter shown in FIG. 19, for example, f 5 = 8, f 1 = f 2 = f 3 = f 4 = f 6 = f 7 = f 8 =
It may be determined as f 9 = -1. This high-frequency gain emphasis filter 9 has the effect of enhancing the high-frequency components of the input image. In addition,
Generally, as the high-frequency gain emphasis filter 9, a filter having an NxN filter coefficient, a coefficient value in the center portion being a positive number, and other coefficients having a value of -1 can be used. Not done.

【0056】これらの係数を画素に対して乗算して得ら
れたフィルタ処理済みの画像111を、上記第1の実施
形態と同様な構成のU倍のアップサンプラ1に入力す
る。このU倍のアップサンプラ1以降の処理は、既に述
べたものと同様でよく、アップサンプラ1の出力11
2、デジタルフィルタ2の出力113、及び1/Dのダ
ウンサンプラ3の出力114は、上記図1の各出力10
1、102、及び103に対応するため、説明を省略す
る。
A filtered image 111 obtained by multiplying the pixels by these coefficients is input to a U-fold upsampler 1 having the same configuration as in the first embodiment. The processing after the U-fold upsampler 1 may be the same as that described above, and the output 11 of the upsampler 1 may be used.
2, the output 113 of the digital filter 2 and the output 114 of the 1 / D downsampler 3 are the outputs 10 of FIG.
Descriptions corresponding to 1, 102 and 103 are omitted.

【0057】この第4の実施の形態のように、高域利得
強調フィルタ9を前段部に設けることにより、拡大時に
生じる画像のボケやシャープネスの欠如を抑制して、高
画質の拡大画像を得ることができる、という利点を有す
る。
As in the fourth embodiment, by providing the high-frequency gain emphasis filter 9 at the front stage, blurring and lack of sharpness of an image generated at the time of enlargement are suppressed, and a high-quality enlarged image is obtained. Has the advantage of being able to

【0058】なお、この他の実施の形態として、上記高
域利得強調フィルタ9で、NxNのフィルタ係数値にあ
るパラメータ値を乗算したものを新たなフィルタ係数値
とし、当該パラメータ値を可変にすることで、高域強調
の画質調整手段を備えるようにしてもよい。すなわち、
例えば上記図19の各フィルタ係数f1〜f9にあるパラ
メータ値pを乗算し、それを新たなフィルタ係数値にす
ることで、エッジ強調度などの画質調整をすることがで
きる。
As another embodiment, a value obtained by multiplying the NxN filter coefficient value by a certain parameter value in the high-frequency gain emphasis filter 9 is set as a new filter coefficient value, and the parameter value is made variable. Thus, a high-frequency emphasizing image quality adjusting means may be provided. That is,
For example, image quality adjustment such as the degree of edge enhancement can be performed by multiplying each of the filter coefficients f 1 to f 9 in FIG. 19 by a parameter value p and setting it as a new filter coefficient value.

【0059】本発明は、電子スチルカメラやプリンタ等
で多用するサムネイル画像やデジタル画像のズーミング
の機能を実現する場合に適用でき、具体的な応用例とし
ては、電子カメラ、携帯・移動体画像送受信端末(PD
A)、プリンタ、衛星画像、医療用画像又はそのソフト
ウェアモジュール等が挙げられる。
The present invention can be applied to a case where a function of zooming a thumbnail image or a digital image frequently used in an electronic still camera, a printer, or the like is realized. Specific examples of the application include an electronic camera, portable / mobile image transmission / reception, and the like. Terminal (PD
A), a printer, a satellite image, a medical image, or a software module thereof.

【0060】[0060]

【発明の効果】本発明によれば、入力画像をU倍(Uは
整数)にアップサンプルし、アップサンプルされた画像
をフィルタリングし、フィルタリング後の画像を1/D
倍(Dは整数)にダウンサンプルすることにより、入力
画像に対して任意有理数倍、すなわちU/D倍の拡大・
縮小を伴う解像度変換を行うことができる。
According to the present invention, the input image is up-sampled by a factor of U (U is an integer), the up-sampled image is filtered, and the filtered image is 1 / D
By downsampling the input image by a factor of two (D is an integer), the input image can be enlarged by an arbitrary rational number, that is, U / D times.
Resolution conversion with reduction can be performed.

【0061】これは、これまで主として単純な整数倍の
拡大、または整数分の1倍の縮小しか容易には出来なか
った解像度変換を、任意有理数倍で容易に実現可能とす
るものであり、U、Dの値に拘わらず、常に歪みが無い
高画質な解像度変換画像を得ることができる。
This makes it possible to easily realize the resolution conversion, which has heretofore been easily achieved only by simple integer multiplication or reduction by a factor of one, by an arbitrary rational number. , D, it is possible to always obtain a high-quality resolution-converted image without distortion.

【0062】また、フィルタリングには、歪みが生じな
い様に解像度変換倍率に応じて伝達関数を変えるデジタ
ルフィルタ手段を用い、このデジタルフィルタ手段の伝
達関数としては、アップサンプルの倍率Uとダウンサン
プルの倍率Dとによって決定し、より具体的には、アッ
プサンプル時のイメージング防止用のフィルタの伝達関
数HU(z)とダウンサンプル時のエリアシング防止用のフ
ィルタの伝達関数HD(z)とを合成して得られる合成伝達
関数HUD(z) (=HU(z)HD(z))とすることにより、冗
長度が排除され、処理時間も少なくて済む効果がある。
For filtering, digital filter means for changing a transfer function in accordance with a resolution conversion magnification so as not to cause distortion is used. The transfer function of the digital filter means includes an upsample magnification U and a downsample The transfer function H U (z) of the filter for preventing imaging at the time of up-sampling and the transfer function H D (z) of the filter for preventing aliasing at the time of down-sampling are determined. with combined and the resulting composite transfer function H UD (z) (= H U (z) H D (z)), redundancy is eliminated, there is an effect requires less processing time.

【0063】さらに、上記アップサンプルの倍率Uの値
が上記ダウンサンプルの倍率Dの値よりも大きい場合
は、上記フィルタリングは、零次ホールド法とダウンサ
ンプル法とを用いて処理を行い、上記ダウンサンプルの
倍率Dの値が上記アップサンプルの倍率Uの値よりも大
きい場合は、上記フィルタリングは、零次ホールド法と
平均操作法とを用いて処理を行うことにより、簡単な構
成かつ短い処理時間で、任意有理数倍の解像度変換を、
高画質を保って実現することができる。
Further, when the value of the magnification U of the up sample is larger than the value of the magnification D of the down sample, the filtering is performed using a zero-order hold method and a down sampling method, and the filtering is performed. When the value of the magnification D of the sample is larger than the value of the magnification U of the up sample, the filtering is performed by using the zero-order hold method and the averaging method, thereby achieving a simple configuration and a short processing time. Then, the resolution conversion of arbitrary rational number times,
It can be realized while maintaining high image quality.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施の形態としての画像の任意
有理数倍の解像度変換を行うための解像度変換装置の基
本構成を示すブロック図である。
FIG. 1 is a block diagram showing a basic configuration of a resolution conversion device for performing an arbitrary rational multiple of an image as a first embodiment of the present invention;

【図2】零次ホールド法の概念を説明するための図であ
る。
FIG. 2 is a diagram for explaining the concept of a zero-order hold method.

【図3】直線補間法の概念を説明するための図である。FIG. 3 is a diagram for explaining the concept of a linear interpolation method.

【図4】ダウンサンプル法の概念を説明するための図で
ある。
FIG. 4 is a diagram for explaining the concept of the down-sampling method.

【図5】平均値補間法の概念を説明するための図であ
る。
FIG. 5 is a diagram for explaining the concept of the average value interpolation method.

【図6】U倍の画像拡大と1/Dの画像縮小のためのそ
れぞれの基本構成を示すブロック図である。
FIG. 6 is a block diagram showing respective basic configurations for U-time image enlargement and 1 / D image reduction.

【図7】3倍のアップサンプリングの概念を説明するた
めの図である。
FIG. 7 is a diagram for explaining the concept of triple upsampling;

【図8】アップサンプリング後の周波数帯域を説明する
ための図である。
FIG. 8 is a diagram for explaining a frequency band after up-sampling.

【図9】U倍の拡大画像の周波数帯域を説明するための
図である。
FIG. 9 is a diagram for explaining a frequency band of a U-fold enlarged image.

【図10】1/4倍のダウンサンプリングの概念を説明
するための図である。
FIG. 10 is a diagram for explaining the concept of 1/4 times downsampling;

【図11】1/D倍の画像縮小に用いる理想ローパスフ
ィルタの周波数帯域を説明するための図である。
FIG. 11 is a diagram for explaining a frequency band of an ideal low-pass filter used for 1 / D-fold image reduction.

【図12】1/D倍の縮小画像の周波数帯域を説明する
ための図である。
FIG. 12 is a diagram for explaining a frequency band of a 1 / D-fold reduced image.

【図13】U倍の画像拡大と1/Dの画像縮小のための
各構成を組み合わせてU/D倍の解像度変換を行うため
の構成を示すブロック図である。
FIG. 13 is a block diagram showing a configuration for performing U / D-fold resolution conversion by combining respective configurations for U-fold image enlargement and 1 / D image reduction.

【図14】1/2の画像縮小の場合の冗長性の排除を説
明するための図である。
FIG. 14 is a diagram for explaining elimination of redundancy in the case of 1/2 image reduction.

【図15】2倍の画像拡大の場合の冗長性の排除を説明
するための図である。
FIG. 15 is a diagram for explaining elimination of redundancy in the case of double image enlargement.

【図16】3/2倍の画像拡大時のフィルタ特性を説明
するための図である。
FIG. 16 is a diagram for describing filter characteristics when a 3 / 2-fold image is enlarged.

【図17】2/3倍の画像縮小時のフィルタ特性を説明
するための図である。
FIG. 17 is a diagram for describing filter characteristics at the time of image reduction of 2/3 times.

【図18】高域利得強調フィルタを設けた画像の解像度
変換装置の構成の一例を示すブロック図である。
FIG. 18 is a block diagram illustrating an example of a configuration of an image resolution conversion device provided with a high-frequency gain emphasis filter.

【図19】高域利得強調フィルタのフィルタ係数を説明
するための図である。
FIG. 19 is a diagram for describing filter coefficients of a high-frequency gain emphasis filter.

【符号の説明】[Explanation of symbols]

1,6 U倍のアップサンプラ、 2,4,7,8 デ
ジタルフィルタ、 3,5 1/Dのダウンサンプラ
1,6 U-fold upsampler, 2,4,7,8 digital filter, 3,5 1 / D downsampler

───────────────────────────────────────────────────── フロントページの続き (72)発明者 木村 青司 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 貴家 仁志 東京都八王子市南大沢1ー1 東京都立大 学 工学部電子情報工学科内 Fターム(参考) 5B057 CB08 CD07 CD09 CH18 DC22 5C076 AA21 AA22 AA32 BA03 BA04 BA06 BB06 BB24  ────────────────────────────────────────────────── ─── Continued on the front page (72) Inventor Seiji Kimura 6-7-35 Kita-Shinagawa, Shinagawa-ku, Tokyo Inside Sony Corporation (72) Inventor Hitoshi Kiya 1-1, Minami-Osawa, Hachioji-shi, Tokyo Faculty of Engineering Department of Electronics and Information Engineering F-term (Reference) 5B057 CB08 CD07 CD09 CH18 DC22 5C076 AA21 AA22 AA32 BA03 BA04 BA06 BB06 BB24

Claims (10)

【特許請求の範囲】[Claims] 【請求項1】 入力画像をU倍(Uは整数)にアップサ
ンプルするアップサンプル手段と、 アップサンプルされた画像をフィルタリングするフィル
タ手段と、 フィルタリング後の画像をD分の1(=1/D、Dは整
数)にダウンサンプルするダウンサンプル手段とを備
え、 上記入力画像に対してU/D倍の解像度変換を行うこと
を特徴とする画像の解像度変換装置。
1. An up-sampling means for up-sampling an input image by a factor of U (U is an integer); a filter means for filtering an up-sampled image; , D is an integer), and performs downsampling means for downsampling the input image, and performs U / D times resolution conversion on the input image.
【請求項2】 上記フィルタ手段は、アップサンプルの
倍率Uとダウンサンプルの倍率Dとによって、その伝達
関数が決定されることを特徴とする請求項1記載の画像
の解像度変換装置。
2. An image resolution converting apparatus according to claim 1, wherein the transfer function of said filter means is determined by a magnification U of an up sample and a magnification D of a down sample.
【請求項3】 上記フィルタ手段は、アップサンプル時
のイメージング防止用のフィルタの伝達関数HU(z)とダ
ウンサンプル時のエリアシング防止用のフィルタの伝達
関数HD(z)とを合成して得られる合成伝達関数HUD(z)
の特性を有することを特徴とする請求項1記載の画像の
解像度変換装置。
3. The filter means combines a transfer function H U (z) of a filter for preventing imaging during up-sampling and a transfer function H D (z) of a filter for preventing aliasing during down-sampling. Transfer function H UD (z) obtained by
2. The image resolution conversion apparatus according to claim 1, wherein the image resolution conversion apparatus has the following characteristics.
【請求項4】 上記アップサンプルの倍率Uの値が上記
ダウンサンプルの倍率Dの値よりも大きい場合は、上記
フィルタ手段は、零次ホールド手段とダウンサンプル手
段とを用いて構成されることを特徴とする請求項1記載
の画像の解像度変換装置。
4. When the value of the magnification U of the up-sample is larger than the value of the magnification D of the down-sample, the filter means is constituted by using zero-order hold means and down-sample means. The image resolution conversion apparatus according to claim 1, wherein:
【請求項5】 上記ダウンサンプルの倍率Dの値が上記
アップサンプルの倍率Uの値よりも大きい場合は、上記
フィルタ手段は、零次ホールド手段と平均操作手段とを
用いて構成されることを特徴とする請求項1記載の画像
の解像度変換装置。
5. When the value of the magnification D of the down sample is larger than the value of the magnification U of the up sample, the filter means is constituted by using zero-order hold means and averaging means. The image resolution conversion apparatus according to claim 1, wherein:
【請求項6】 入力画像をU倍(Uは整数)にアップサ
ンプルするアップサンプル工程と、 アップサンプルされた画像をフィルタリングするフィル
タリング工程と、 フィルタリング後の画像をD分の1(=1/D、Dは整
数)にダウンサンプルするダウンサンプル工程とを備
え、 上記入力画像に対してU/D倍の解像度変換を行うこと
を特徴とする画像の解像度変換方法。
6. An up-sampling step of up-sampling an input image by a factor of U (U is an integer), a filtering step of filtering an up-sampled image, and a step of dividing the filtered image by 1 / D (= 1 / D). , D is an integer), and performing a U / D-fold resolution conversion on the input image.
【請求項7】 上記フィルタリング工程は、アップサン
プルの倍率Uとダウンサンプルの倍率Dとによって、そ
の伝達関数が決定されることを特徴とする請求項6記載
の画像の解像度変換方法。
7. The method according to claim 6, wherein in the filtering step, a transfer function thereof is determined by a magnification U of an up sample and a magnification D of a down sample.
【請求項8】 上記フィルタリング工程は、アップサン
プル時のイメージング防止用のフィルタの伝達関数H
U(z)とダウンサンプル時のエリアシング防止用のフィル
タの伝達関数HD(z)とを合成して得られる合成伝達関数
UD(z) の特性を有することを特徴とする請求項6記載
の画像の解像度変換方法。
8. The filtering step includes the step of transferring a transfer function H of a filter for preventing imaging during up-sampling.
7. A characteristic of a combined transfer function H UD (z) obtained by combining U (z) and a transfer function H D (z) of a filter for preventing aliasing at the time of down-sampling. The resolution conversion method of the described image.
【請求項9】 上記アップサンプルの倍率Uの値が上記
ダウンサンプルの倍率Dの値よりも大きい場合は、上記
フィルタリング工程は、零次ホールド法とダウンサンプ
ル法とを用いて実行されることを特徴とする請求項6記
載の画像の解像度変換方法。
9. When the value of the magnification U of the up sample is larger than the value of the magnification D of the down sample, the filtering step is performed using a zero-order hold method and a down sample method. The method according to claim 6, wherein the resolution of the image is converted.
【請求項10】 上記ダウンサンプルの倍率Dの値が上
記アップサンプルの倍率Uの値よりも大きい場合は、上
記フィルタリング工程は、零次ホールド法と平均操作法
とを用いて実行されることを特徴とする請求項6記載の
画像の解像度変換方法。
10. When the value of the magnification D of the down sample is larger than the value of the magnification U of the up sample, the filtering step is performed using a zero-order hold method and an averaging method. The method according to claim 6, wherein the resolution of the image is converted.
JP10340626A 1998-11-30 1998-11-30 Resolution converter for image and resolution conversing method for image Pending JP2000165664A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10340626A JP2000165664A (en) 1998-11-30 1998-11-30 Resolution converter for image and resolution conversing method for image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10340626A JP2000165664A (en) 1998-11-30 1998-11-30 Resolution converter for image and resolution conversing method for image

Publications (1)

Publication Number Publication Date
JP2000165664A true JP2000165664A (en) 2000-06-16

Family

ID=18338785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10340626A Pending JP2000165664A (en) 1998-11-30 1998-11-30 Resolution converter for image and resolution conversing method for image

Country Status (1)

Country Link
JP (1) JP2000165664A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6870961B2 (en) 2000-11-10 2005-03-22 Ricoh Company, Ltd. Image decompression from transform coefficients
US7558441B2 (en) 2002-10-24 2009-07-07 Canon Kabushiki Kaisha Resolution conversion upon hierarchical coding and decoding
US7616827B2 (en) 2005-01-25 2009-11-10 Olympus Imaging Corp. Image processing method and image processing device
US8120629B2 (en) 2007-02-09 2012-02-21 Hitachi Displays, Ltd. Display device
JP2013077870A (en) * 2011-09-29 2013-04-25 Kyocera Document Solutions Inc Image processing device and image formation device
US9177357B2 (en) 2013-06-28 2015-11-03 Megachips Corporation Method for creating coefficient table and image scaling processor
WO2015182239A1 (en) * 2014-05-29 2015-12-03 オリンパスメディカルシステムズ株式会社 Image processing device
US9286654B2 (en) 2013-09-25 2016-03-15 Megachips Corporation Image scaling processor and image scaling processing method
US9672596B2 (en) 2015-03-31 2017-06-06 Olympus Corporation Image processing apparatus to generate a reduced image of an endoscopic image
JP2019046057A (en) * 2017-08-31 2019-03-22 キヤノン株式会社 Image processing device, image processing method and program

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7181077B2 (en) 2000-11-10 2007-02-20 Ricoh Company, Ltd. Image decompression from transform coefficients
US6870961B2 (en) 2000-11-10 2005-03-22 Ricoh Company, Ltd. Image decompression from transform coefficients
US8369636B2 (en) 2002-10-24 2013-02-05 Canon Kabushiki Kaisha Resolution conversion upon hierarchical coding and decoding
US7558441B2 (en) 2002-10-24 2009-07-07 Canon Kabushiki Kaisha Resolution conversion upon hierarchical coding and decoding
US7933460B2 (en) 2002-10-24 2011-04-26 Canon Kabushiki Kaisha Resolution conversion upon hierarchical coding and decoding
US7616827B2 (en) 2005-01-25 2009-11-10 Olympus Imaging Corp. Image processing method and image processing device
TWI467532B (en) * 2007-02-09 2015-01-01 Japan Display Inc Display device
US8120629B2 (en) 2007-02-09 2012-02-21 Hitachi Displays, Ltd. Display device
JP2013077870A (en) * 2011-09-29 2013-04-25 Kyocera Document Solutions Inc Image processing device and image formation device
US9177357B2 (en) 2013-06-28 2015-11-03 Megachips Corporation Method for creating coefficient table and image scaling processor
US9286654B2 (en) 2013-09-25 2016-03-15 Megachips Corporation Image scaling processor and image scaling processing method
WO2015182239A1 (en) * 2014-05-29 2015-12-03 オリンパスメディカルシステムズ株式会社 Image processing device
JP5927361B2 (en) * 2014-05-29 2016-06-01 オリンパス株式会社 Image processing device
CN105828695A (en) * 2014-05-29 2016-08-03 奥林巴斯株式会社 Image processing device
US9672596B2 (en) 2015-03-31 2017-06-06 Olympus Corporation Image processing apparatus to generate a reduced image of an endoscopic image
JP2019046057A (en) * 2017-08-31 2019-03-22 キヤノン株式会社 Image processing device, image processing method and program
JP6995535B2 (en) 2017-08-31 2022-01-14 キヤノン株式会社 Image processing equipment, image processing methods and programs

Similar Documents

Publication Publication Date Title
JP4040041B2 (en) Method and apparatus for converting resolution of video signal
US5374995A (en) Method and apparatus for enhancing sharpness of a sequence of images subject to continuous zoom
US5422827A (en) Integrated video scaling and sharpening filter
KR100421001B1 (en) Sampling rate conversion apparatus and method thereof
JPH08107568A (en) Method and equipment for scaling video picture
JP2000310984A (en) System and method for scaling combined video and computer generating picture
JPH06343162A (en) Interlacing high definition television signal digital treating device
CN111784571A (en) Method and device for improving image resolution
KR101816661B1 (en) Ringing suppression in video scalers
JP2000165664A (en) Resolution converter for image and resolution conversing method for image
US8477242B2 (en) Digital image processing for converting images from one sampling structure to another
JP2005217532A (en) Resolution conversion method and resolution conversion apparatus
US8081847B2 (en) Method for up-scaling an input image and an up-scaling system
US20030102991A1 (en) Digital sample frequency converter
KR100641741B1 (en) A digital filter and a method for filtering sample data
US20050242981A1 (en) Signal-processing device
JPH10164468A (en) Image resolution converter, image resolution converting method and video printer
JP4345350B2 (en) Image sample number conversion method and image sample number conversion device
US20030053710A1 (en) Device of sample rate conversion for digital image and the method of the same
JP2004214827A (en) Sampling rate conversion apparatus and method thereof, and audio apparatus
JP2887805B2 (en) Image processing method
JP4688249B2 (en) Image sample number conversion apparatus and method
JP2009088893A (en) Display device and display program
GB2569638A (en) Image processing filter
JPH04326183A (en) Enlarging and reducing method for picture

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20020813