JP2000099713A - Image enlarging device - Google Patents
Image enlarging deviceInfo
- Publication number
- JP2000099713A JP2000099713A JP10264768A JP26476898A JP2000099713A JP 2000099713 A JP2000099713 A JP 2000099713A JP 10264768 A JP10264768 A JP 10264768A JP 26476898 A JP26476898 A JP 26476898A JP 2000099713 A JP2000099713 A JP 2000099713A
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge
- enlarging
- enlargement
- enlarged
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 140
- 230000009466 transformation Effects 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 239000002131 composite material Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、多階調画像に対し
高画質の拡大処理を行う画像拡大装置に関するものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image enlargement apparatus for performing high-quality enlargement processing on a multi-tone image.
【０００２】[0002]
【従来の技術】従来の画像拡大法としては、空間的に画
素間を補間する補間方法がある。代表的な従来法とし
て、再近隣補間法、直線補間法、３次元畳み込み補間法
が知られている。再近隣補間法は、最も近いサンプル点
の値を補間値とする方法であり、アルゴリズムが簡単に
実現できるメリットがある。直線補間法は、補間位置の
周囲４点からの距離の比をもとめ、その比率に応じて、
周囲４点の画素値から補間していく方法であり、画像が
滑らかになる。３次元畳み込み補間法は、ｓｉｎｃ関数
を近似した三次関数を用いて、補間位置の周辺１６点か
ら、畳み込んで計算していく方法であり、画像が滑らか
になるのと同時に鮮鋭化の効果もある。2. Description of the Related Art As a conventional image enlargement method, there is an interpolation method for spatially interpolating between pixels. As typical conventional methods, a nearest neighbor interpolation method, a linear interpolation method, and a three-dimensional convolution interpolation method are known. The nearest neighbor interpolation method is a method in which the value of the closest sample point is used as an interpolation value, and has an advantage that the algorithm can be easily realized. In the linear interpolation method, a ratio of distances from four points around an interpolation position is obtained, and according to the ratio,
This is a method of interpolating from the pixel values of four surrounding points, and the image becomes smooth. The three-dimensional convolution interpolation method uses a cubic function approximating a sinc function to calculate convolutions from 16 points around the interpolation position. is there.
【０００３】また、直交変換を用いて、画像を拡大する
方法もある。直交変換を用いて、入力信号を基底の成分
に分解し、変換係数領域で補間処理を行って、補間後の
画像は、それらの基底と、変換係数の積の線形和で表現
される。参照点が多いため、高次の補間が可能であり、
エッジの再現性がよいことが知られている。There is also a method of enlarging an image by using an orthogonal transform. The input signal is decomposed into base components using orthogonal transform, and interpolation processing is performed in the transform coefficient region. The image after interpolation is expressed by a linear sum of the product of those bases and the transform coefficients. Because there are many reference points, higher-order interpolation is possible,
It is known that edge reproducibility is good.
【０００４】また、従来より、処理対象の画像において
エッジや非エッジ部に対して両者に適した拡大法で拡大
し、合成を行い、高画質な画像を作成するという方法が
ある。例えば、特開平７−１２１６９２号公報には、画
像を変倍して出力する場合に、文字・線画部分と疑似中
間調成分それぞれに対して適切な変倍処理を行いそれを
合成する様にした構成が開示されている。Conventionally, there is a method of enlarging an edge or a non-edge portion in an image to be processed by an enlargement method suitable for both, and synthesizing the image to create a high-quality image. For example, in Japanese Patent Application Laid-Open No. Hei 7-121692, when an image is scaled and output, an appropriate scaling process is performed on each of the character / line drawing portion and the pseudo halftone component, and the resultant is synthesized. An arrangement is disclosed.
【０００５】[0005]
【発明が解決しようとする課題】再近隣補間法や、直線
補間法では、非エッジ部では滑らかな画像が得られる
が、斜めエッジや円弧において、ジャギーが発生するこ
とが知られている。また、３次元畳み込み補間法では、
高周波成分の強調も行うため、ノイズを強調してしまう
などの問題点がある。また、直交変換を用いた拡大法で
は、非エッジ部において、リンギングが発生するなどの
問題点がある。また、特開平７−１２１６９２号公報に
開示された画像処理装置は、２値画像向けであり、多値
画像をエッジ部と非エッジ部に対して両者に適した拡大
法で拡大し合成を行う場合は、画像拡大法や判定法に多
値画像に適した方法を適用する必要がある。In the nearest neighbor interpolation method and the linear interpolation method, it is known that a smooth image can be obtained at a non-edge portion, but jaggies occur at an oblique edge or an arc. In the three-dimensional convolution interpolation method,
Since high-frequency components are also emphasized, there is a problem that noise is emphasized. Further, the enlarging method using the orthogonal transform has a problem that ringing occurs in a non-edge portion. Further, the image processing apparatus disclosed in Japanese Patent Application Laid-Open No. Hei 7-121692 is intended for a binary image, and enlarges and combines a multivalued image with respect to an edge portion and a non-edge portion by an enlargement method suitable for both. In this case, it is necessary to apply a method suitable for the multi-valued image to the image enlargement method and the determination method.
【０００６】本発明の目的は、これらの従来法の欠点を
改善するために、多値画像をエッジ部と非エッジ部に対
して両者に適した拡大法で拡大し合成を行い、高画質な
拡大画像を作成する画像拡大装置を提供するものであ
る。SUMMARY OF THE INVENTION An object of the present invention is to improve the disadvantages of the conventional method by enlarging and synthesizing a multi-valued image with respect to an edge portion and a non-edge portion by an enlargement method suitable for both, thereby achieving high image quality. An object of the present invention is to provide an image enlargement device for creating an enlarged image.
【０００７】[0007]
【課題を解決するための手段】請求項１の発明は、入力
された多値画像を拡大する画像拡大装置において、前記
画像からエッジ部用の拡大画像を作成するエッジ部用画
像拡大手段と、前記画像から非エッジ部用の拡大画像を
作成する非エッジ部用画像拡大手段と、エッジ部と非エ
ッジ部の領域を判定するための画像を作成する領域判定
画像作成手段と、前記領域判定画像作成手段により作成
した画像を用いてエッジ部と非エッジ部を判定する領域
判定手段と、前記領域判定手段の判定に基づいて、エッ
ジ部には前記エッジ用画像拡大処理手段により拡大した
画像を、非エッジ部には前記非エッジ用画像拡大処理手
段により拡大した画像を適用して画像を合成する画像合
成手段とを具備することを特徴とする。According to a first aspect of the present invention, there is provided an image enlarging apparatus for enlarging an input multi-valued image, comprising: an edge part image enlarging means for generating an edge part enlarged image from the image; Non-edge image enlargement means for creating an enlarged image for the non-edge portion from the image; area determination image creation means for creating an image for determining an edge area and a non-edge area; and the area determination image An area determining unit that determines an edge portion and a non-edge portion using the image created by the creating unit, and an image enlarged by the edge image enlarging processing unit based on the determination by the region determining unit. The non-edge portion includes an image combining unit that combines an image by applying the image enlarged by the non-edge image enlargement processing unit.
【０００８】請求項２の発明は、請求項１記載の画像拡
大装置であって、前記エッジ部用画像拡大手段は、直交
変換を用いて画像の拡大処理を行うことを特徴とする。According to a second aspect of the present invention, in the image enlarging apparatus according to the first aspect, the edge image enlarging means performs an image enlarging process using orthogonal transformation.
【０００９】請求項３の発明は、請求項１記載の画像拡
大装置であって、前記エッジ部用画像拡大手段は、空間
的画素補間法を用いて画像の拡大処理を行うことを特徴
とする。According to a third aspect of the present invention, in the image enlarging apparatus according to the first aspect, the edge image enlarging means performs an image enlarging process using a spatial pixel interpolation method. .
【００１０】請求項４の発明は、請求項１記載の画像拡
大装置であって、前記非エッジ部用画像拡大手段は、空
間的画素補間法を用いて画像の拡大処理を行うことを特
徴とする。According to a fourth aspect of the present invention, in the image enlarging apparatus according to the first aspect, the non-edge portion image enlarging means performs an image enlarging process using a spatial pixel interpolation method. I do.
【００１１】請求項５の発明は、請求項１記載の画像拡
大装置であって、前記領域判定画像作成手段は、前記エ
ッジ部用画像拡大手段により拡大した画像を作成画像と
することを特徴とする。According to a fifth aspect of the present invention, there is provided the image enlarging apparatus according to the first aspect, wherein the area determination image creating means uses an image enlarged by the edge portion image enlarging means as a created image. I do.
【００１２】請求項６の発明は、請求項１記載の画像拡
大装置であって、前記領域判定画像作成手段は、前記エ
ッジ部用画像拡大手段による拡大画像と前記非エッジ部
用画像拡大手段による拡大画像とを、重ね合わせて、平
均をとって、画像を作成することを特徴とする。According to a sixth aspect of the present invention, in the image enlarging apparatus according to the first aspect, the area determination image creating means includes an enlarged image by the edge image enlarging means and an image by the non-edge image enlarging means. It is characterized in that an image is created by superimposing an enlarged image and taking an average.
【００１３】請求項７の発明は、請求項１記載の画像拡
大装置であって、前記領域判定画像作成手段は、前記エ
ッジ部用画像拡大手段による拡大画像にメディアンフィ
ルタをかけて、画像を作成することを特徴とする。According to a seventh aspect of the present invention, in the image enlarging apparatus according to the first aspect, the area determination image creating means creates an image by applying a median filter to the enlarged image by the edge portion image enlarging means. It is characterized by doing.
【００１４】請求項８の発明は、請求項１記載の画像拡
大装置前記領域判定手段は、ラプラシアンオペレータを
用いることを特徴とする。According to an eighth aspect of the present invention, there is provided the image enlarging apparatus according to the first aspect, wherein the area determining means uses a Laplacian operator.
【００１５】請求項９の発明は、請求項１記載の画像拡
大装置であって、前記領域判定手段は、グラディエント
オペレータを用いることを特徴とする。According to a ninth aspect of the present invention, there is provided the image enlarging apparatus according to the first aspect, wherein the area determining means uses a gradient operator.
【００１６】請求項１０の発明は、請求項１記載の画像
拡大装置前記領域判定手段は、テンプレートマッチング
を用いることを特徴とする。According to a tenth aspect of the present invention, there is provided the image enlarging apparatus according to the first aspect, wherein the area determining means uses template matching.
【００１７】請求項１１の発明は、請求項１記載の画像
拡大装置であって、前記画像合成手段は、画素単位で合
成することを特徴とする。According to an eleventh aspect of the present invention, there is provided the image enlarging apparatus according to the first aspect, wherein the image synthesizing means synthesizes in pixel units.
【００１８】請求項１２の発明は、請求項１記載の画像
拡大装置であって、前記画像合成手段は、小領域に分割
し、小領域単位で合成することを特徴とする。According to a twelfth aspect of the present invention, in the image enlarging apparatus according to the first aspect, the image synthesizing means divides the image into small areas and synthesizes the small areas.
【００１９】[0019]
【発明の実施の形態】以下、添付図面に従って、本発明
の実施の形態について詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
【００２０】図１は、本発明に係る画像拡大装置の一例
を示すブロック図である。この画像拡大装置は、画像入
力部１１、エッジ部用画像拡大部１２、非エッジ部用画
像拡大部１３、領域判定用画像作成部１４、領域判定部
１５、画像合成部１６、画像出力部１７から構成され
る。FIG. 1 is a block diagram showing an example of an image enlargement device according to the present invention. The image enlargement device includes an image input unit 11, an image enlargement unit for edge part 12, an image enlargement unit for non-edge part 13, an image creation unit for area determination 14, an area determination unit 15, an image synthesis unit 16, and an image output unit 17. Consists of
【００２１】画像入力部１１は、イメージスキャナやデ
ィジタルカメラなどの画像入力装置から入力された多階
調の元画像データ、または、すでに入力されてハードデ
ィスクやメモリ等の記憶装置に記憶されている多階調の
元データを読み出す。エッジ部用画像拡大部１２は、エ
ッジ部用に準備されている拡大法を使って画像を拡大す
る。非エッジ部用画像拡大部１３は、非エッジ部用に準
備されている拡大法を使って画像を拡大する。領域判定
用画像作成部１４は、エッジ部用と非エッジ部用に拡大
された画像を利用して、エッジ領域か否かを判定するた
めの、領域判定用画像を作成する。領域判定部１５で
は、上記領域判定画像作成部１４において作成された画
像を用いて、注目領域がエッジ部であるか否かを判定す
る。画像合成部１６では、領域判定部で判定した結果に
基づき、画像を合成する。画像出力部１７において、画
像を出力し処理を終了する。The image input unit 11 is a multi-gradation original image data input from an image input device such as an image scanner or a digital camera, or a multi-tone original image data already input and stored in a storage device such as a hard disk or a memory. Read the original data of the gradation. The edge portion image enlargement section 12 enlarges an image using an enlargement method prepared for the edge portion. The non-edge image enlargement unit 13 enlarges an image using an enlargement method prepared for a non-edge portion. The area determination image creating unit 14 creates an area determination image for determining whether or not an area is an edge area using the images enlarged for the edge part and the non-edge part. The region determination unit 15 determines whether or not the region of interest is an edge using the image created by the region determination image creation unit 14. The image combining unit 16 combines the images based on the result determined by the region determining unit. The image output unit 17 outputs the image and ends the processing.
【００２２】図２は、エッジ部用画像拡大部１２が直交
変換により画像拡大する処理を示すフローチャートであ
り、図３は、エッジ部用画像拡大部１２において直交変
換を使った画像拡大の原理を模式的に表した説明図であ
る。図３に示すように、エッジ部用画像拡大部１２は、
画像入力部１１に読み込まれた元画像を読み出し、直交
変換を使って画像を拡大する。この画像拡大法は、順変
換で得られた変換係数を逆変換における低次の変換係数
とし、高次の変換係数に０値を挿入することで拡大を行
う。そして、逆直交変換を行うことにより、拡大画像を
える。FIG. 2 is a flowchart showing a process in which the image enlargement unit 12 for edge portion enlarges an image by orthogonal transformation. FIG. 3 shows the principle of image enlargement using orthogonal transformation in the image enlargement unit 12 for edge portion. It is explanatory drawing which represented typically. As shown in FIG. 3, the image enlargement unit 12 for the edge part
The original image read by the image input unit 11 is read, and the image is enlarged using orthogonal transformation. In this image enlargement method, enlargement is performed by using a transform coefficient obtained by the forward transform as a lower-order transform coefficient in the inverse transform and inserting a 0 value into the higher-order transform coefficient. Then, an enlarged image is obtained by performing the inverse orthogonal transform.
【００２３】図２に示す処理によれば、まずエッジ部用
画像拡大部１２は、画像入力部１２に読み込まれた元画
像データを取り込み（ステップＳ２１）、元画像に対し
て、直交変換を行う（ステップＳ２２）。さらに直交変
換を行った画像データに、高次の係数を挿入して（ステ
ップＳ２３）、逆変換を施して画像領域に戻し（ステッ
プＳ２４）、それをメモリに格納し（ステップＳ２
５）、処理を終了する。According to the processing shown in FIG. 2, first, the image enlargement unit 12 for an edge portion fetches the original image data read by the image input unit 12 (step S21), and performs orthogonal transformation on the original image. (Step S22). Further, a higher-order coefficient is inserted into the orthogonally transformed image data (step S23), inversely transformed and returned to the image area (step S24), and stored in a memory (step S2).
5), end the processing.
【００２４】次に、この直交変換方法として離散コサイ
ン変換、離散フーリエ変換、アダマール変換、ハール変
換、スラント変換を用いる場合を説明する。図４は、離
散コサイン変換、図５は離散フーリエ変換、図６はアダ
マール変換、図７はハール変換、図８はスラント変換を
用いる場合を示したフローチャートである。図４〜図８
のフローチャートは、基本的に図２のフローチャートと
同じものである。Next, a case where a discrete cosine transform, a discrete Fourier transform, a Hadamard transform, a Haar transform, and a slant transform are used as the orthogonal transform method will be described. 4 is a flowchart showing a case using the discrete cosine transform, FIG. 5 is a flowchart showing the discrete Fourier transform, FIG. 6 is a flowchart showing the Hadamard transform, FIG. 7 is a Haar transform, and FIG. 4 to 8
Is basically the same as the flowchart of FIG.
【００２５】まず、図４のフローチャートは、図２のス
テップＳ２２における直交変換において離散コサイン変
換を（ステップＳ３２）、ステップＳ２４の逆直交変換
において逆離散コサイン変換を（ステップＳ３４）、行
うものである。First, in the flowchart of FIG. 4, the discrete cosine transform is performed in the orthogonal transform in step S22 in FIG. 2 (step S32), and the inverse discrete cosine transform is performed in the inverse orthogonal transform in step S24 (step S34). .
【００２６】さて、この離散コサイン変換とその逆変換
の式は以下のようになる。The equations for the discrete cosine transform and its inverse transform are as follows.
【数１】 離散コサイン変換は、次数が２のべき乗の場合、高速ア
ルゴリズムが存在しすること、入力値が実数である場
合、全て実数で計算が実行できることなど、計算する上
でメリットが大きい。そして、離散コサイン変換は基底
関数に余弦関数を使用しているため、滑らかなエッジが
再現可能である。さらに、実数演算が可能なこと、次数
が２のべき乗の場合、高速アルゴリズムが適用可能であ
るため、演算上の付加を軽減し、変換処理を高速化する
ことができる。(Equation 1) The discrete cosine transform has a great merit in calculation, such as that a high-speed algorithm exists when the order is a power of 2, and that when the input value is a real number, all the calculations can be executed with a real number. Since the discrete cosine transform uses a cosine function as a basis function, smooth edges can be reproduced. Furthermore, when the real number operation is possible and the order is a power of two, a high-speed algorithm can be applied. Therefore, the addition in the operation can be reduced and the conversion processing can be sped up.
【００２７】図５のフローチャートは、図２のステップ
Ｓ２２における直交変換において離散フーリエ変換を
（ステップＳ４２）、ステップＳ２４の逆直交変換にお
いて逆離散フーリエ変換を（ステップＳ４４）、行うも
のである。The flowchart of FIG. 5 performs the discrete Fourier transform in the orthogonal transform in step S22 in FIG. 2 (step S42), and performs the inverse discrete Fourier transform in the inverse orthogonal transform in step S24 (step S44).
【００２８】離散フーリエ変換と、その逆変換の式は以
下のようになる。The equations for the discrete Fourier transform and its inverse are as follows.
【数２】 離散フーリエ変換は次数が、２のべき乗の場合、高速ア
ルゴリズムが存在し、計算するメリットが大きい。そし
て、離散フーリエ変換は基底関数に三角関数を使用して
いるため、滑らかなエッジが再現可能である。さらに、
次数が２のべき乗の場合、高速アルゴリズムが適用可能
であるため、演算上の付加を軽減し、変換処理を高速化
することができる。(Equation 2) When the order is a power of 2, the discrete Fourier transform has a high-speed algorithm, and has a great advantage in calculation. Since the discrete Fourier transform uses a trigonometric function as a basis function, smooth edges can be reproduced. further,
When the order is a power of 2, a high-speed algorithm can be applied, so that the addition in calculation can be reduced and the conversion processing can be sped up.
【００２９】図６のフローチャートは、図２のステップ
Ｓ２２における直交変換においてアダマール変換を（ス
テップＳ５２）、ステップＳ２４の逆直交変換において
逆アダマール変換を（ステップＳ５４）、行うものであ
る。In the flowchart of FIG. 6, the Hadamard transform is performed in the orthogonal transform in step S22 in FIG. 2 (step S52), and the inverse Hadamard transform is performed in the inverse orthogonal transform in step S24 (step S54).
【００３０】Ｎ×Ｎのアダマール変換行列をＮと表す
と、アダマール変換行列は以下のように求められる。When an N × N Hadamard transform matrix is represented by N, the Hadamard transform matrix is obtained as follows.
【数３】 アダマール変換では＋１，−１のみを要素とするので、
乗算を必要とせず、加減算のみにて実行が可能である。
また、直交かつ対象な行列であるため、順変換と逆変換
が同じである。従って、演算上の付加を軽減し、もって
変換処理を高速化することが可能となる。(Equation 3) Since only +1 and -1 are elements in Hadamard transformation,
It can be executed only by addition and subtraction without requiring multiplication.
Since the matrix is orthogonal and symmetric, the forward transform and the inverse transform are the same. Therefore, it is possible to reduce the computational load and thereby speed up the conversion process.
【００３１】図７のフローチャートは、図２のステップ
Ｓ２２における直交変換においてハール変換を（ステッ
プＳ６２）、ステップＳ２４の逆直交変換において逆ハ
ール変換を（ステップＳ６４）、行うものである。ハー
ル変換の逆ＨｒNは、以下のようになる。In the flowchart of FIG. 7, the Haar transform is performed in the orthogonal transform in step S22 in FIG. 2 (step S62), and the inverse Haar transform is performed in the inverse orthogonal transform in step S24 (step S64). The inverse Hr N of the Haar transform is as follows.
【数４】 ここで、ｋは、基底ベクトルの番号を意味する。また、
［ｘ］は、小数点以下切り捨て整数化を意味する。ハー
ル変換は簡単な加算・減算とスケーリングによって実行
が可能であり、高速アルゴリズムが存在するので、演算
上の付加が軽減でき、もって変換処理を高速化すること
が可能となる。(Equation 4) Here, k means the number of the base vector. Also,
[X] means rounding down to the nearest whole number. The Haar transform can be executed by simple addition / subtraction and scaling, and since there is a high-speed algorithm, the addition in calculation can be reduced, and the conversion process can be sped up.
【００３２】図８のフローチャートは、図２のステップ
Ｓ２２における直交変換においてスラント変換を（ステ
ップＳ７２）、ステップＳ２４の逆直交変換において逆
スラント変換を（ステップＳ７４）、行うものである。
スラント変換の変換行列は以下のようになる。The flowchart shown in FIG. 8 performs slant transformation in the orthogonal transformation in step S22 in FIG. 2 (step S72) and performs inverse slant transformation in the inverse orthogonal transformation in step S24 (step S74).
The transformation matrix of the slant transformation is as follows.
【数５】 スラント変換は画像の傾斜成分を効率よく表現するため
に考案されたものであり、その基底ベクトルは一定のス
テップ幅で減少する階段波形（スラントベクトル）が含
まれ、全体としてＤＣＴに近い効果が得られることが知
られている。(Equation 5) The slant transform is designed to efficiently represent the gradient component of an image, and its base vector includes a staircase waveform (slant vector) that decreases with a fixed step width, and as a whole, an effect close to DCT is obtained. Is known to be.
【００３３】上述のものは直交変換による画像拡大法を
示したが、他の画像拡大法もある。図９は、エッジ部用
画像拡大部１２が空間的補間法により画像拡大する処理
を示すフローチャートであり、図１０は、空間的に画素
を補間する方法を模式的に表した説明図である。Although the above description has shown an image enlarging method by orthogonal transformation, there are other image enlarging methods. FIG. 9 is a flowchart showing a process in which the image enlargement unit 12 for an edge part enlarges an image by a spatial interpolation method. FIG. 10 is an explanatory diagram schematically showing a method of spatially interpolating pixels.
【００３４】図１０に示すように、空間的に画素を補間
するには、近傍の画素値Ｐi,j、Ｐi+1,j、Ｐi,j+1、Ｐi+1,
j+1から、補間関数を使い、補間したい位置Ｐ（ｕ，
ｖ）の画素値を決定していく。直接空間的に画素を補間
していく為、計算のステップが減り、演算上の負荷が軽
減でき、もって変換処理を高速化することが可能とな
る。図９に示すように、エッジ部用画像拡大部１２は、
画像入力部１１に読み込まれた元画像を読み込み（ステ
ップＳ８１）、空間的画素補間法を用いて拡大を行い
（ステップＳ８２）、エッジ部用拡大画像のデータとし
てメモリに格納して（ステップＳ８３）処理を終了す
る。As shown in FIG. 10, in order to spatially interpolate pixels, neighboring pixel values P i , j , P i + 1 , j , P i , j + 1 , P i + 1 ,
From j + 1 , the position P (u,
The pixel value of v) is determined. Since the pixels are directly spatially interpolated, the number of calculation steps is reduced, the calculation load can be reduced, and the conversion process can be sped up. As shown in FIG. 9, the image enlargement unit 12 for the edge part
The original image read by the image input unit 11 is read (step S81), enlarged using the spatial pixel interpolation method (step S82), and stored in the memory as data of the enlarged image for the edge part (step S83). The process ends.
【００３５】次に、この空間的補間法として３次元畳み
込み補間法を用いる場合を説明する。図１１は、３次元
畳み込み補間法を用いる処理を示すフローチャートであ
り、図１２は、３次元畳み込み補間法を示す説明図であ
る。図１１は、図９のフローチャートと同じであり、ス
テップＳ９２において、空間的補間法として３次元畳み
込み補間法を用いている。Next, a case where a three-dimensional convolution interpolation method is used as the spatial interpolation method will be described. FIG. 11 is a flowchart showing processing using the three-dimensional convolution interpolation method, and FIG. 12 is an explanatory diagram showing the three-dimensional convolution interpolation method. FIG. 11 is the same as the flowchart of FIG. 9, and in step S92, a three-dimensional convolution interpolation method is used as a spatial interpolation method.
【００３６】この３次元畳み込み補間法は、ＳＩＮＣ関
数を近似した補間関数を用いて、周辺１６点から補間し
たい画素値を算出していく。図１２に示すように、補間
位置（ｕ，ｖ）の周辺１６点の画素値を用いて、Ｐ
（ｕ，ｖ）の値を以下の式で決定する。In the three-dimensional convolution interpolation method, a pixel value to be interpolated is calculated from 16 peripheral points using an interpolation function that approximates a SINC function. As shown in FIG. 12, using the pixel values of 16 points around the interpolation position (u, v), P
The value of (u, v) is determined by the following equation.
【数６】 ３次元畳み込み補間法は、鮮鋭かつ、滑らかな画像を得
ることができ、従来法のなかで最もエッジ部のがたつき
が少ない補間法である。さらに、直接空間的に画素を補
間していくため、演算上の負荷が軽減できる。(Equation 6) The three-dimensional convolution interpolation method is an interpolation method capable of obtaining a sharp and smooth image and having the wobble of the edge portion among the conventional methods. Further, since the pixels are directly spatially interpolated, the load on the operation can be reduced.
【００３７】さて、図１３は、非エッジ部用画像拡大部
１３が空間的補間法により画像拡大する処理を示すフロ
ーチャートである。図１０のエッジ部用画像拡大部１２
でも説明したように、空間的に画素を補間するには、近
傍の画素値から補間関数を使い、補間したい位置Ｐ
（ｕ，ｖ）の画素値を決定していく。従って、複雑なア
ルゴリズムを必要としないので、演算上の負荷が軽減で
き、もって変換処理を高速化することが可能となる。ま
ず、非エッジ部用画像拡大部１４は、画像入力部１１に
格納された画像を読み込み（ステップＳ１０１）、空間
的補間法を用いて拡大を行い（ステップＳ１０２）、非
エッジ部用拡大画像のデータとしてメモリに格納して処
理を終了する。FIG. 13 is a flowchart showing a process in which the non-edge portion image enlarging section 13 enlarges an image by a spatial interpolation method. Edge image enlargement unit 12 in FIG.
However, as described above, in order to spatially interpolate a pixel, an interpolation function is used from neighboring pixel values, and the position P to be interpolated is
The pixel value of (u, v) is determined. Therefore, since a complicated algorithm is not required, the computational load can be reduced, and the speed of the conversion process can be increased. First, the non-edge portion image enlargement unit 14 reads an image stored in the image input unit 11 (step S101), performs enlargement using a spatial interpolation method (step S102), and generates a non-edge portion enlarged image. The data is stored in the memory, and the process ends.
【００３８】次に、非エッジ部用画像拡大部１４の空間
的補間法として再近隣補間法、線形補間法、３次元畳み
込み補間法を用いる場合を説明する。図１４は、再近隣
補間法、図１６は線形補間法、図１８は３次元畳み込み
補間法を用いる処理を示すフローチャートである。図１
４、図１６、及び図１８のフローチャートは、基本的に
図１３のフローチャートと同じものである。Next, the case where the nearest neighbor interpolation method, the linear interpolation method, and the three-dimensional convolution interpolation method are used as the spatial interpolation method of the non-edge portion image enlargement unit 14 will be described. FIG. 14 is a flowchart showing processing using the nearest neighbor interpolation method, FIG. 16 is a flowchart showing the processing using the linear interpolation method, and FIG. 18 is a flowchart showing the processing using the three-dimensional convolution interpolation method. FIG.
The flowcharts of FIGS. 4, 16 and 18 are basically the same as the flowchart of FIG.
【００３９】まず、図１４のフローチャートは、図１３
のステップＳ１０２における空間的補間法において再近
隣補間法を（ステップＳ１１２）行うものである。図１
５は、この再近隣補間法を示す説明図である。再近隣補
間法は補間点に最も近いサンプル点の値を単純に割り当
てていく方法である。サンプル点の値をＰi,j，補間点
の値をＰ（ｕ，ｖ）とすると、再近隣補間法は、以下の
式で表される。 Ｐ（ｕ，ｖ）＝Ｐi,j ｉ＝［ｕ＋０．５］， ｊ＝［ｖ＋０．５］ …（７） ただし［ｘ］は、ｘを越えない整数を表している。再近
隣補間法は、アルゴリズムが簡単で、演算上の負荷が軽
減でき、もって変換処理を高速化することが可能とな
り、計算上のメリットが大きい。First, the flowchart of FIG.
In the spatial interpolation method in step S102, the nearest neighbor interpolation method is performed (step S112). FIG.
FIG. 5 is an explanatory diagram showing this nearest neighbor interpolation method. The nearest neighbor interpolation method is a method of simply assigning the value of the sample point closest to the interpolation point. Assuming that the value of the sample point is P i , j and the value of the interpolation point is P (u, v), the nearest neighbor interpolation method is represented by the following equation. P (u, v) = P i , ji = [u + 0.5], j = [v + 0.5] (7) where [x] represents an integer not exceeding x. The nearest neighbor interpolation method has a simple algorithm, can reduce the computational load, can speed up the conversion process, and has a great merit in calculation.
【００４０】図１６のフローチャートは、図１３のステ
ップＳ１０２における空間的補間法において線形補間法
を（ステップＳ１２２）行うものである。図１７は、こ
の線形補間法を示す説明図である。線形補間法は、補間
したい位置の周辺４点の距離の非を、用いて画素値を決
定していく方法である。補間したい位置（ｕ，ｖ）の周
囲４点の画素値（Ｐi,j，Ｐi+1,j，Ｐi,j+1，
Ｐi+1,j+1）を用いて、線形補間法は、以下の式で表さ
れる。 Ｐ（u,v）＝｛（ｉ＋１）−ｕ｝｛（ｊ＋１）−ｖ｝Ｐi,j ＋｛（ｉ＋１）−ｕ｝｛ｖ−ｊ｝Ｐi,j+1 ＋｛ｕ−ｉ｝｛（ｊ＋１）−ｖ｝Ｐi+1,j …（８） ＋｛ｕ−ｉ｝｛ｖ−ｉ｝Ｐi+1,j+1 ｉ＝［ｕ］，ｊ＝［ｖ］ 線形補間法は滑らかな画像を作成することができ、さら
に、アルゴリズムが単純であるため、演算上の負荷が軽
減でき、もって変換処理を高速化することが可能とな
る。The flowchart in FIG. 16 is for performing the linear interpolation method (step S122) in the spatial interpolation method in step S102 in FIG. FIG. 17 is an explanatory diagram showing this linear interpolation method. The linear interpolation method is a method of determining a pixel value using the distance between four points around a position to be interpolated. The pixel values (P i , j , P i + 1 , j , P i , j + 1 ) of four points around the position (u, v) to be interpolated
P i + 1 , j + 1 ), the linear interpolation method is represented by the following equation. P (u, v) = { (i + 1) -u} {(j + 1) -v} P i, j + {(i + 1) -u} {v-j} P i, j + 1 + {u-i} ｛(J + 1) -v｝ P i + 1 , j (8) + ｛ui-vi- Pi + 1 , j + 1 i = [u], j = [v] Linear interpolation method Can create a smooth image, and since the algorithm is simple, the computational load can be reduced and the conversion process can be speeded up.
【００４１】図１８のフローチャートは、図１３のステ
ップＳ１０２における空間的補間法において３次元畳み
込み補間法（ステップＳ１３２）を行うものである。３
次元畳み込み補間法は、前記式（６）で表される。３次
元畳み込み補間法は従来法のなかでは高画質な画素補間
法であるため、高画質な画像を得ることができる。The flowchart of FIG. 18 is for performing the three-dimensional convolution interpolation (step S132) in the spatial interpolation in step S102 of FIG. 3
The dimensional convolution interpolation method is represented by the above equation (6). Since the three-dimensional convolution interpolation method is a high-quality pixel interpolation method among conventional methods, a high-quality image can be obtained.
【００４２】図１９は、エッジ部と非エッジ部を判断す
るための領域判定用画像作成部１５の処理を示すフロー
チャートである。領域判定用画像作成部１５は、エッジ
部用画像拡大部１２を用いて拡大した画像を取り込み
（ステップＳ１４１）、その画像をそのまま、領域判定
用画像データとしてメモリに格納し（ステップＳ１４
２）、処理を終了する。領域判定画像作成のための演算
を実行する必要がなく、処理を高速化することができ
る。FIG. 19 is a flowchart showing the processing of the area determining image creating section 15 for determining an edge portion and a non-edge portion. The area determination image creating unit 15 captures an image enlarged using the edge part image enlargement unit 12 (step S141), and stores the image as it is as area determination image data in the memory (step S14).
2), end the process. There is no need to execute an operation for creating an area determination image, and the processing can be speeded up.
【００４３】図２０は、エッジ部と非エッジ部を判断す
るための領域判定用画像作成部１５の他の処理を示した
フローチャートである。領域判定用画像作成部１５は、
エッジ部用画像拡大部１３を用いて拡大した画像と、非
エッジ部用画像拡大部１４を用いて拡大した画像とを読
み込む（ステップＳ１５１，Ｓ１５２）。そして、同じ
位置の画素をたしあわせて平均をとった画像を作成し
（ステップＳ１５３）、領域判定用画像データとしてメ
モリに格納し（ステップＳ１５４）、処理を終了する。
合成に使う画像を両方使って平均をとっていることか
ら、非エッジ部用画像のエッジなどのがたつきや、エッ
ジ部用画像のリンギング等が本処理により低減され、領
域判定が正確にできるようになり、高画質な拡大画像を
作成することができる。FIG. 20 is a flowchart showing another process of the area determining image creating section 15 for determining an edge portion and a non-edge portion. The area determination image creation unit 15
The image enlarged using the image enlarging unit 13 for the edge portion and the image enlarged using the image enlarging unit 14 for the non-edge portion are read (steps S151 and S152). Then, an averaged image is created by combining the pixels at the same position (step S153), and is stored in the memory as the image data for area determination (step S154), and the process ends.
Since the average is obtained by using both images used for composition, the processing reduces rattling such as edges of the image for the non-edge portion and ringing of the image for the edge portion, thereby enabling accurate region determination. As a result, a high-quality enlarged image can be created.
【００４４】図２１は、エッジ部と非エッジ部を判断す
るための領域判定用画像作成部１５のさらに他の処理を
示すフローチャートである。図２２は、メディアンフィ
ルタについて模式的に表した説明図である。メディアン
フィルタとは、局所領域での濃度値のメディアン（中間
値）を出力するものである。すなわち、局所領域として
３×３画素近傍を考えた場合には、各画素の濃度値を大
おきいほうから順に並べたときの５番目の濃度値を出力
する（図２２参照）。メディアンフィルタは、濃淡画像
において、エッジなどの画像の情報を損なうことなく、
雑音を取り除くことができる。FIG. 21 is a flowchart showing still another process of the area determining image creating section 15 for determining an edge portion and a non-edge portion. FIG. 22 is an explanatory diagram schematically showing a median filter. The median filter outputs a median (intermediate value) of a density value in a local area. That is, when considering the neighborhood of 3 × 3 pixels as the local area, a fifth density value is output when the density values of the pixels are arranged in descending order (see FIG. 22). The median filter does not impair image information such as edges in grayscale images.
Noise can be removed.
【００４５】領域判定用画像作成部１５は、エッジ部用
画像拡大部１２を用いて拡大した画像を取り込み（ステ
ップＳ１６１）、読み込んだ画像にメディアンフィルタ
をかけ（ステップＳ１６２）、領域判定用画像データと
してメモリに格納し（ステップＳ１６３）、処理を終了
する。判定用画像にリンギング等の雑音が混入している
場合でも、エッジ部を保存しながらリンギングを目立た
なくさせるので、誤って判定することが少なく、領域判
定が正確にでき、高画質な画像を得ることができる。The area determining image creating section 15 fetches an image enlarged by using the edge part image enlarging section 12 (step S161), applies a median filter to the read image (step S162), and executes area determining image data. Is stored in the memory (step S163), and the process ends. Even when noise such as ringing is mixed in the judgment image, the ringing is made inconspicuous while preserving the edge portion, so that erroneous judgment is less, the area judgment can be performed accurately, and a high quality image can be obtained. be able to.
【００４６】図２３は、領域判定を行う領域判定部１６
の処理を示すフローチャートである。グラディエントオ
ペレータは、空間一次微分オペレータであり、ｘ方向の
一次微分をｆｘ，ｙ方向の一次微分をｆｙとすると、グ
ラディエントの強度と、方向は、以下のように表され
る。FIG. 23 is a diagram showing an area determining unit 16 for performing area determination.
6 is a flowchart showing the processing of FIG. The gradient operator is a spatial first derivative operator. Assuming that the first derivative in the x direction is fx and the first derivative in the y direction is fy, the gradient intensity and direction are expressed as follows.
【数７】 ここで、ｆｘ，ｆｙを求めるオペレータには、数種類あ
り、ここでは、最も頻繁に用いられる、Ｓｏｂｅｌのオ
ペレータを示す。 −１ ０ １ −１ −２ −１ ｆx ：−２ ０ ２ ｆy ： ０ ０ ０ …（10） −１ ０ １ １ ２ １(Equation 7) Here, there are several types of operators for obtaining fx and fy, and here, the most frequently used Sobel operator is shown. -1 0 1 -1 -2 -1 f x : -2 0 2 f y: 0 0 0 ... (10) -1 0 1 1 2 1
【００４８】領域判定部１６は、領域判定用画像を取り
込み（ステップＳ１７１）、グラディエントオペレータ
を用いて、エッジの強度を計算し（ステップＳ１７
２）、しきい値を用いて領域判定を行い（ステップＳ１
７３）、その後、それを判定用画像データとしてメモリ
に格納し（ステップＳ１７４）、処理を終了する。この
ような、局所積和演算によるオペレータは、計算機上で
の実行が容易である。本オペレータは、比較的変化が緩
やかなエッジにおいても検出が可能なため、最終的に画
像を合成する際に、高画質な画像を得ることができる。The area determination section 16 fetches the area determination image (step S171), and calculates the edge strength using the gradient operator (step S17).
2) Perform area determination using the threshold value (step S1)
73) Then, it is stored in the memory as the image data for determination (step S174), and the process ends. An operator using such a local product-sum operation can easily be executed on a computer. Since the operator can detect even an edge that changes relatively slowly, a high-quality image can be obtained when the images are finally synthesized.
【００４９】図２４は、領域判定部１５の処理を示した
フローチャートである。ラプラシアンオペレータは、空
間二次微分オペレータであり、ｘ方向の二次微分をｆｘ
ｘ、ｙ方向の二次微分をｆｙｙとすると、ラプラシアン
はグラディエントをもう一度微分したものになり、強度
だけが求まる。ｆｘｘとｆｙｙを求めるオペレータの代
表的なものには、４方向ラプラシアンと８方向ラプラシ
アンがあり、それぞれ以下のように表される。 FIG. 24 is a flowchart showing the processing of the area determination section 15. The Laplacian operator is a spatial second derivative operator, and calculates the second derivative in the x direction by fx
Assuming that the second derivative in the x and y directions is fyy, the Laplacian is obtained by differentiating the gradient again, and only the intensity is obtained. Representative operators for obtaining fxx and fyy include a four-direction Laplacian and an eight-direction Laplacian, which are respectively expressed as follows.
【００５０】領域判定部１５は、領域判定用画像を読み
込み（ステップＳ１８１）、ラプラシアンオペレータを
用いてエッジの強度を計算し（ステップＳ１８２）、し
きい値を用いて領域判定を行い（ステップＳ１８３）、
その後、それを判定用画像データとしてメモリに格納し
（ステップＳ１８４）、処理を終了する。このような、
局所積和演算によるオペレータは、計算機上での実行が
容易である。また、ラプラシアンオペレータは直接強度
を計算するため、高速な処理が可能である。The area determination section 15 reads the area determination image (step S181), calculates the edge strength using the Laplacian operator (step S182), and performs the area determination using the threshold value (step S183). ,
After that, it is stored in the memory as the image data for determination (step S184), and the process ends. like this,
An operator using the local sum-of-products operation can be easily executed on a computer. Further, since the Laplacian operator directly calculates the intensity, high-speed processing is possible.
【００５１】図２５は、領域判定を行う領域判定手段１
５の他の処理を示すフローチャートである。テンプレー
ト・マッチングとは、エッジのパターンを想定したテン
プレートを準備し、テンプレートとの一致具合を比較し
ていく方法である。代表的なものに、Ｐｒｅｗｉｔｔの
テンプレートがあり、８方向のテンプレートを持ってい
る。FIG. 25 shows an area determining means 1 for performing area determination.
13 is a flowchart illustrating another process of the fifth embodiment. The template matching is a method of preparing a template assuming an edge pattern and comparing the matching with the template. A typical example is a Prewitt template, which has an eight-way template.
【数８】 この８つのテンプレートごとに計算を行い、その中で最
大の値を示すマスクの向きがエッジの方向、計算値がエ
ッジの強度となる。従って、急峻ではないエッジの判定
も検出が可能なため、最終的に画像を合成する際に、高
画質な画像を得ることが可能である。(Equation 8) Calculation is performed for each of these eight templates, and the direction of the mask showing the maximum value among them is the direction of the edge, and the calculated value is the strength of the edge. Therefore, it is possible to detect an edge that is not steep, so that a high-quality image can be obtained when images are finally synthesized.
【００５２】領域判定部１５は、領域判定用画像を取り
込み（ステップＳ１９１）、テンプレートマッチングを
行いエッジの強度を計算し（ステップＳ１９２）、その
後、しきい値を使って領域判定を行い（ステップＳ１９
３）、それを判定用画像データとしてメモリに格納し
（ステップＳ１９４）、処理を終了する。The area determination section 15 fetches the area determination image (step S191), performs template matching and calculates the edge strength (step S192), and then performs the area determination using the threshold (step S19).
3) Then, it is stored in the memory as the image data for determination (step S194), and the process ends.
【００５３】図２６は、画像合成部１６の処理を示した
フローチャートである。画像合成部は、エッジ部画像用
に拡大した画像と、領域判定用画像と、非エッジ部画像
用に拡大した画像とがそれぞれ入力される（ステップＳ
２０１，Ｓ２０２，Ｓ２０３）。領域判定部１５の判定
データに基づいて、注目画素がエッジ領域か否かを確認
し（ステップＳ２０４）、エッジ領域ならば、注目画素
にエッジ部用拡大画像を入力する（ステップＳ２０
５）。そうでなければ、非エッジ部用拡大画像を入力す
る（ステップＳ２０６）。そして、拡大画像のデータを
画像出力部１７に出力し（ステップＳ２０７）、処理を
終了する。したがって、アルゴリズムが単純であり、処
理を高速化することができる。FIG. 26 is a flowchart showing the processing of the image synthesizing unit 16. The image synthesis unit receives the image enlarged for the edge image, the area determination image, and the image enlarged for the non-edge image (Step S).
201, S202, S203). It is confirmed whether or not the target pixel is an edge region based on the determination data of the region determination unit 15 (step S204). If the target pixel is an edge region, an enlarged image for the edge is input to the target pixel (step S20).
5). Otherwise, a non-edge portion enlarged image is input (step S206). Then, the data of the enlarged image is output to the image output unit 17 (step S207), and the process ends. Therefore, the algorithm is simple, and the processing can be speeded up.
【００５４】図２７は、画像合成部の他の処理を示すフ
ローチャートである。画像合成部は、エッジ部画像用に
拡大した画像と、領域判定用画像と、非エッジ部画像用
に拡大した画像とがそれぞれ入力される（ステップＳ２
１１，Ｓ２１２，Ｓ２１３）。その後、画像を小領域に
分割し（ステップＳ２１４）、領域判定部１５の判定デ
ータに基づいて、注目領域にエッジ画素が含まれるかを
確認する（ステップＳ２１５）。エッジ画素が含まれる
ならば、領域ごとエッジ部用拡大画像を入力する（ステ
ップＳ２１６）。注目領域にエッジ部画素が含まれなけ
れば、非エッジ部用拡大画像を入力する（ステップＳ２
１７）。そして、拡大画像のデータを画像出力部に出力
し（ステップＳ２１８）、処理を終了する。小領域単位
で合成するため、領域判定ミスもある程度回避すること
ができ、高画質な拡大画像を得ることができる。FIG. 27 is a flowchart showing another process of the image synthesizing unit. The image synthesis unit receives the image enlarged for the edge part image, the area determination image, and the image enlarged for the non-edge part image (step S2).
11, S212, S213). Thereafter, the image is divided into small regions (step S214), and it is confirmed whether or not the target region includes an edge pixel based on the determination data of the region determination unit 15 (step S215). If an edge pixel is included, an edge part enlarged image is input for each area (step S216). If the attention area does not include an edge portion pixel, a non-edge portion enlarged image is input (step S2).
17). Then, the data of the enlarged image is output to the image output unit (step S218), and the process ends. Since synthesis is performed in small area units, an area determination error can be avoided to some extent, and a high-quality enlarged image can be obtained.
【００５５】[0055]
【発明の効果】請求項１に記載した発明においては、エ
ッジ部に適した画像拡大法を使って拡大した画像と、非
エッジ部に適した画像拡大法を使って拡大した画像を合
成する。従って、エッジ部分についてはエッジが保存さ
れ、非エッジ部においては滑らかな補間が行われ、より
高画質な拡大画像を作成することができる。According to the first aspect of the present invention, an image enlarged using an image enlarging method suitable for an edge portion and an image enlarged using an image enlarging method suitable for a non-edge portion are synthesized. Therefore, the edge is preserved in the edge portion, and the smooth interpolation is performed in the non-edge portion, so that a higher quality enlarged image can be created.
【００５６】請求項２に記載された発明においては、前
記エッジ部の画像用の拡大画像を作成する手段に直交変
換を使用する画像拡大法が用いられる。従って、補間後
の画像は、直交変換の基底と変換係数の積の線形和で表
現されるため、高次の補間が可能であり、エッジ再現性
がよく、より高画質な拡大画像を作成することができ
る。In the invention described in claim 2, an image enlarging method using orthogonal transformation is used for the means for creating an enlarged image for the image of the edge portion. Therefore, since the interpolated image is expressed by a linear sum of the product of the orthogonal transform base and the transform coefficient, higher-order interpolation is possible, and an edge reproducibility is improved, and a higher-quality enlarged image is created. be able to.
【００５７】請求項３に記載された発明においては、前
記エッジ部の画像用の拡大画像を作成する手段を、空間
的な画素補間法を用いられる。直接空間的に画素を補間
していく為、計算のステップが減り、演算上の負荷が軽
減でき、もって変換処理を高速化することが可能とな
る。According to the third aspect of the present invention, the means for creating an enlarged image for the image of the edge portion uses a spatial pixel interpolation method. Since the pixels are directly spatially interpolated, the number of calculation steps is reduced, the calculation load can be reduced, and the conversion process can be sped up.
【００５８】請求項４に記載された発明においては、前
記非エッジ部の画像用に拡大画像を作成する手段に、空
間的な画素補間法を用いる。従って、複雑なアルゴリズ
ムを必要としないので、演算上の負荷が軽減でき、もっ
て変換処理を高速化することが可能となる。According to the fourth aspect of the present invention, a spatial pixel interpolation method is used for the means for creating an enlarged image for the image of the non-edge portion. Therefore, since a complicated algorithm is not required, the computational load can be reduced, and the speed of the conversion process can be increased.
【００５９】請求項５に記載された発明においては、前
記エッジ部と非エッジ部を判断するための画像に、エッ
ジ部用に作成した画像を用いることを特徴とする。従っ
て、領域判定画像作成のための演算を実行する必要がな
く、処理を高速化することができる。According to a fifth aspect of the present invention, an image created for an edge portion is used as the image for determining the edge portion and the non-edge portion. Therefore, there is no need to execute an operation for creating an area determination image, and the processing can be speeded up.
【００６０】請求項６に記載された発明においては、前
記エッジ部と非エッジ部を判定するための画像に、合成
するための画像を重ね合わせて平均を取った画像を用い
る。従って、合成に使う画像を両方使って平均をとって
いることから、非エッジ部用画像のエッジなどのがたつ
きや、エッジ部用画像のリンギング等が本処理により低
減され、領域判定が正確にできるようになり、高画質な
拡大画像を作成することができる。According to a sixth aspect of the present invention, an image obtained by superimposing an image to be synthesized on the image for determining the edge portion and the non-edge portion and taking an average is used. Therefore, since the average is obtained by using both images used for synthesis, rattling such as edges of an image for a non-edge portion, ringing of an image for an edge portion, and the like are reduced by this processing, and region determination can be performed accurately. And a high-quality enlarged image can be created.
【００６１】請求項７に記載された発明においては、前
記エッジ部と非エッジ部を判定するための画像に、エッ
ジ部の画像用で得た画像にメディアンフィルタをかけた
画像を用いる。従って、判定用画像にリンギング等の雑
音が混入している場合でも、エッジ部を保存しながらリ
ンギングを目立たなくさせるので、誤って判定すること
が少なく、領域判定が正確にでき、高画質な画像を得る
ことができる。According to the seventh aspect of the present invention, an image obtained by applying a median filter to an image obtained for an edge portion is used as the image for determining the edge portion and the non-edge portion. Therefore, even when noise such as ringing is mixed in the judgment image, the ringing is made inconspicuous while the edge portion is preserved, so that there is little erroneous judgment, the area judgment can be made accurately, and a high-quality image can be obtained. Can be obtained.
【００６２】請求項８に記載された発明においては、前
記エッジ部と非エッジ部を判定するための手段に、ラプ
ラシアンオペレータを用いる。このような、局所積和演
算によるオペレータは、計算機上での実行が容易であ
る。また、ラプラシアンオペレータは直接強度を計算す
るため、高速な処理が可能である。In the invention described in claim 8, a Laplacian operator is used as means for determining the edge portion and the non-edge portion. An operator using such a local product-sum operation can easily be executed on a computer. Further, since the Laplacian operator directly calculates the intensity, high-speed processing is possible.
【００６３】請求項９に記載された発明においては、前
記エッジ部と非エッジ部を判定するための手段に、グラ
ディエントオペレータを用いる。このような、局所積和
演算によるオペレータは、計算機上での実行が容易であ
る。本オペレータは、比較的変化が緩やかなエッジにお
いても検出が可能なため、最終的に画像を合成する際
に、高画質な画像を得ることができる。According to the ninth aspect of the present invention, a gradient operator is used as means for determining the edge portion and the non-edge portion. An operator using such a local product-sum operation can easily be executed on a computer. Since the operator can detect even an edge that changes relatively slowly, a high-quality image can be obtained when the images are finally synthesized.
【００６４】請求項１０に記載された発明においては、
前記エッジ部と非エッジ部を判定するための手段に、テ
ンプレートマッチングを用いる。従って、急峻ではない
エッジの判定も検出が可能なため、最終的に画像を合成
する際に、高画質な画像を得ることが可能である。In the invention described in claim 10,
The means for determining the edge portion and the non-edge portion uses template matching. Therefore, it is possible to detect an edge that is not steep, so that a high-quality image can be obtained when images are finally synthesized.
【００６５】請求項１１に記載された発明においては、
前記エッジ部と非エッジ部を合成する手段に、画素単位
で合成する。したがって、アルゴリズムが単純であり、
処理を高速化することができる。In the invention according to claim 11,
The means for synthesizing the edge part and the non-edge part synthesizes each pixel. Therefore, the algorithm is simple,
Processing can be sped up.
【００６６】請求項１２に記載された発明においては、
前記エッジ部と非エッジ部を合成する手段において、小
領域に分割し、小領域単位で合成する。小領域単位で合
成するため、領域判定ミスもある程度回避することがで
き、高画質な拡大画像を得ることができる。In the twelfth aspect of the present invention,
In the means for synthesizing the edge portion and the non-edge portion, the image is divided into small areas and synthesized in small area units. Since synthesis is performed in small area units, an area determination error can be avoided to some extent, and a high-quality enlarged image can be obtained.
【図１】本発明に係る画像拡大装置の一例を示すブロッ
ク図である。FIG. 1 is a block diagram illustrating an example of an image enlargement device according to the present invention.
【図２】エッジ部用画像拡大部が直交変換により画像拡
大する処理を示すフローチャートである。FIG. 2 is a flowchart showing a process in which an image enlargement unit for an edge part enlarges an image by orthogonal transformation.
【図３】エッジ部用画像拡大部において直交変換を使っ
た画像拡大の原理を模式的に表した説明図である。FIG. 3 is an explanatory diagram schematically illustrating the principle of image enlargement using orthogonal transformation in an image enlargement unit for an edge portion.
【図４】エッジ部用画像拡大部が離散コサイン変換によ
り画像拡大する処理を示すフローチャートである。FIG. 4 is a flowchart showing a process in which an image enlargement unit for an edge part enlarges an image by discrete cosine transform.
【図５】エッジ部用画像拡大部が離散フーリエ変換によ
り画像拡大する処理を示すフローチャートである。FIG. 5 is a flowchart showing a process in which an image enlargement unit for an edge part enlarges an image by discrete Fourier transform.
【図６】エッジ部用画像拡大部がアダマール変換により
画像拡大する処理を示すフローチャートである。FIG. 6 is a flowchart illustrating a process in which an image enlargement unit for an edge part enlarges an image by Hadamard transform.
【図７】エッジ部用画像拡大部がハール変換により画像
拡大する処理を示すフローチャートである。FIG. 7 is a flowchart illustrating a process in which an image enlargement unit for an edge part enlarges an image by Haar transform.
【図８】エッジ部用画像拡大部がスラント変換により画
像拡大する処理を示すフローチャートである。FIG. 8 is a flowchart illustrating a process in which an image enlargement unit for an edge part enlarges an image by slant transformation.
【図９】エッジ部用画像拡大部が空間的補間法により画
像拡大する処理を示すフローチャートである。FIG. 9 is a flowchart showing a process in which an image enlargement unit for an edge part enlarges an image by a spatial interpolation method.
【図１０】空間的に画素を補間する方法を模式的に表し
た説明図である。FIG. 10 is an explanatory diagram schematically showing a method of spatially interpolating pixels.
【図１１】エッジ部用画像拡大部が３次元畳み込み補間
法により画像拡大する処理を示すフローチャートであ
る。FIG. 11 is a flowchart illustrating a process in which an image enlargement unit for an edge part enlarges an image by a three-dimensional convolution interpolation method.
【図１２】３次元畳み込み補間法を示す説明図である。FIG. 12 is an explanatory diagram showing a three-dimensional convolution interpolation method.
【図１３】非エッジ部用画像拡大部が空間的補間法によ
り画像拡大する処理を示すフローチャートである。FIG. 13 is a flowchart illustrating a process in which a non-edge portion image enlargement unit enlarges an image by a spatial interpolation method.
【図１４】非エッジ部用画像拡大部が再近隣補間法によ
り画像拡大する処理を示すフローチャートである。FIG. 14 is a flowchart illustrating a process in which an image enlargement unit for a non-edge portion enlarges an image by a nearest neighbor interpolation method.
【図１５】再近隣補間法を示す説明図である。FIG. 15 is an explanatory diagram showing a nearest neighbor interpolation method.
【図１６】非エッジ部用画像拡大部が線形補間法により
画像拡大する処理を示すフローチャートである。FIG. 16 is a flowchart showing a process in which an image enlargement unit for a non-edge part enlarges an image by a linear interpolation method.
【図１７】線形補間法を示す説明図である。FIG. 17 is an explanatory diagram showing a linear interpolation method.
【図１８】非エッジ部用画像拡大部が３次元畳み込み補
間法により画像拡大する処理を示すフローチャートであ
る。FIG. 18 is a flowchart illustrating a process in which an image enlargement unit for a non-edge portion enlarges an image by a three-dimensional convolution interpolation method.
【図１９】領域判定用画像作成部の処理を示すフローチ
ャートである。FIG. 19 is a flowchart illustrating a process of an area determination image creating unit.
【図２０】領域判定用画像作成部の他の処理を示したフ
ローチャートである。FIG. 20 is a flowchart illustrating another process of the area determination image creating unit.
【図２１】領域判定用画像作成部のさらに他の処理を示
すフローチャートである。FIG. 21 is a flowchart illustrating still another process of the area determination image creating unit.
【図２２】メディアンフィルタについて模式的に表した
説明図である。FIG. 22 is an explanatory diagram schematically showing a median filter.
【図２３】領域判定部の処理を示したフローチャートで
ある。FIG. 23 is a flowchart illustrating a process of an area determination unit.
【図２４】領域判定部の他の処理を示したフローチャー
トである。FIG. 24 is a flowchart illustrating another process of the area determination unit.
【図２５】領域判定手段のさらに他の処理を示すフロー
チャートである。FIG. 25 is a flowchart showing yet another process of the area determination means.
【図２６】画像合成部の処理を示したフローチャートで
ある。FIG. 26 is a flowchart illustrating processing of an image combining unit.
【図２７】画像合成部の他の処理を示すフローチャート
である。FIG. 27 is a flowchart illustrating another process of the image combining unit.
【符号の説明】 １１ 画像入力部 １２ エッジ用画像拡大部 １３ 非エッジ用画像拡大部 １４ 領域判定用画像作成部 １５ 領域判定部 １６ 画像合成部 １７ 画像出力部[Description of Signs] 11 Image input unit 12 Edge image enlargement unit 13 Non-edge image enlargement unit 14 Area determination image creation unit 15 Area determination unit 16 Image synthesis unit 17 Image output unit
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CC03 CD06 CE08 CE09 5C076 AA13 AA21 BB04 5C082 AA27 BA20 BA35 CA33 CA54 CA55 CB01 DA87 MM10 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5B057 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CC03 CD06 CE08 CE09 5C076 AA13 AA21 BB04 5C082 AA27 BA20 BA35 CA33 CA54 CA55 CB01 DA87 MM10
Claims (12)
装置において、 前記画像からエッジ部用の拡大画像を作成するエッジ部
用画像拡大手段と、 前記画像から非エッジ部用の拡大画像を作成する非エッ
ジ部用画像拡大手段と、 エッジ部と非エッジ部の領域を判定するための画像を作
成する領域判定画像作成手段と、 前記領域判定画像作成手段により作成した画像を用いて
エッジ部と非エッジ部を判定する領域判定手段と、 前記領域判定手段の判定に基づいて、エッジ部には前記
エッジ用画像拡大処理手段により拡大した画像を、非エ
ッジ部には前記非エッジ用画像拡大処理手段により拡大
した画像を適用して画像を合成する画像合成手段と、を
具備することを特徴とする画像拡大装置。1. An image enlarging device for enlarging an input multi-value image, comprising: an edge image enlarging means for generating an enlarged image for an edge portion from the image; and an enlarging image for a non-edge portion from the image. Non-edge image enlargement means to be created; area determination image creation means to create an image for determining an area of an edge part and a non-edge part; and edge part using the image created by the area determination image creation means. And an area determining means for determining a non-edge part, based on the determination by the area determining means, an image enlarged by the edge image enlarging processing means for an edge part, and the non-edge image enlarging for a non-edge part. An image enlarging device, comprising: image synthesizing means for synthesizing an image by applying an image enlarged by a processing means.
換を用いて画像の拡大処理を行うことを特徴とする請求
項１記載の画像拡大装置。2. The image enlargement apparatus according to claim 1, wherein the edge image enlargement means performs an image enlargement process using orthogonal transformation.
画素補間法を用いて画像の拡大処理を行うことを特徴と
する請求項１記載の画像拡大装置。3. The image enlargement apparatus according to claim 1, wherein said edge part image enlargement means performs an image enlargement process using a spatial pixel interpolation method.
的画素補間法を用いて画像の拡大処理を行うことを特徴
とする請求項１記載の画像拡大装置。4. The image enlargement apparatus according to claim 1, wherein said non-edge image enlargement means performs an image enlargement process using a spatial pixel interpolation method.
ジ部用画像拡大手段により拡大した画像を作成画像とす
ることを特徴とする請求項１記載の画像拡大装置。5. The image enlargement apparatus according to claim 1, wherein the area determination image creation means sets an image enlarged by the edge portion image enlargement means as a created image.
ジ部用画像拡大手段による拡大画像と前記非エッジ部用
画像拡大手段による拡大画像とを、重ね合わせて、平均
をとって、画像を作成することを特徴とする請求項１記
載の画像拡大装置。6. The area determination image creating means creates an image by superimposing an enlarged image by the edge image enlarging means and an enlarged image by the non-edge image enlarging means and taking an average. The image enlargement device according to claim 1, wherein the image is enlarged.
ジ部用画像拡大手段による拡大画像にメディアンフィル
タをかけて、画像を作成することを特徴とする請求項１
記載の画像拡大装置。7. The apparatus according to claim 1, wherein the area determination image creating means applies an image enlarged by the edge part image enlarging means to a median filter to create an image.
The image enlargement device as described in the above.
レータを用いることを特徴とする請求項１記載の画像拡
大装置。8. An apparatus according to claim 1, wherein said area determination means uses a Laplacian operator.
ペレータを用いることを特徴とする請求項１記載の画像
拡大装置。9. The image enlargement apparatus according to claim 1, wherein said area determination means uses a gradient operator.
ッチングを用いることを特徴とする請求項１記載の画像
拡大装置。10. The apparatus according to claim 1, wherein the area determination unit uses template matching.
することを特徴とする請求項１記載の画像拡大装置。11. The apparatus according to claim 1, wherein the image synthesizing unit synthesizes the image on a pixel-by-pixel basis.
し、小領域単位で合成することを特徴とする請求項１記
載の画像拡大装置。12. The apparatus according to claim 1, wherein the image synthesizing unit divides the image into small areas and synthesizes the small areas.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26476898A JP3578921B2 (en) | 1998-09-18 | 1998-09-18 | Image magnifier |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26476898A JP3578921B2 (en) | 1998-09-18 | 1998-09-18 | Image magnifier |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000099713A true JP2000099713A (en) | 2000-04-07 |
| JP3578921B2 JP3578921B2 (en) | 2004-10-20 |
Family
ID=17407928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26476898A Expired - Fee Related JP3578921B2 (en) | 1998-09-18 | 1998-09-18 | Image magnifier |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3578921B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004180171A (en) * | 2002-11-28 | 2004-06-24 | Fuji Xerox Co Ltd | Device, method and program for processing image, and storage medium |
| JP2007241352A (en) * | 2006-03-06 | 2007-09-20 | Sony Corp | Image processor and image processing method, recording medium, and program |
| JP2011019233A (en) * | 2010-07-23 | 2011-01-27 | Renesas Electronics Corp | Upsampling device and downsampling device |
| KR101080406B1 (en) * | 2005-01-04 | 2011-11-04 | 삼성전자주식회사 | Image playback method and image processing device executing the same |
| JP2012058773A (en) * | 2010-09-03 | 2012-03-22 | Toshiba Corp | Image processing apparatus |
| WO2018161676A1 (en) * | 2017-03-07 | 2018-09-13 | 京东方科技集团股份有限公司 | Driving method for pixel array, driving circuit and display device |
| US10192286B2 (en) | 2014-09-11 | 2019-01-29 | Synaptics Japan Gk | Device and method for image enlargement and display panel driver using the same |
-
1998
- 1998-09-18 JP JP26476898A patent/JP3578921B2/en not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004180171A (en) * | 2002-11-28 | 2004-06-24 | Fuji Xerox Co Ltd | Device, method and program for processing image, and storage medium |
| KR101080406B1 (en) * | 2005-01-04 | 2011-11-04 | 삼성전자주식회사 | Image playback method and image processing device executing the same |
| JP2007241352A (en) * | 2006-03-06 | 2007-09-20 | Sony Corp | Image processor and image processing method, recording medium, and program |
| US7936942B2 (en) | 2006-03-06 | 2011-05-03 | Sony Corporation | Image processing apparatus, image processing method, recording medium, and program |
| JP4730141B2 (en) * | 2006-03-06 | 2011-07-20 | ソニー株式会社 | Image processing apparatus and method, recording medium, and program |
| JP2011019233A (en) * | 2010-07-23 | 2011-01-27 | Renesas Electronics Corp | Upsampling device and downsampling device |
| JP2012058773A (en) * | 2010-09-03 | 2012-03-22 | Toshiba Corp | Image processing apparatus |
| US10192286B2 (en) | 2014-09-11 | 2019-01-29 | Synaptics Japan Gk | Device and method for image enlargement and display panel driver using the same |
| US10510138B2 (en) | 2014-09-11 | 2019-12-17 | Synaptics Japan Gk | Device and method for image enlargement and display panel driver using the same |
| WO2018161676A1 (en) * | 2017-03-07 | 2018-09-13 | 京东方科技集团股份有限公司 | Driving method for pixel array, driving circuit and display device |
| US11189208B2 (en) | 2017-03-07 | 2021-11-30 | Beijing Boe Optoelectronics Technology Co., Ltd. | Driving method for pixel array, driving circuit, and display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3578921B2 (en) | 2004-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3031613B2 (en) | Color / shade image input / output device and input / output method | |
| Parsania et al. | A comparative analysis of image interpolation algorithms | |
| US5526446A (en) | Noise reduction system | |
| EP1347410B1 (en) | Edge-based enlargement and interpolation of images | |
| Dai et al. | Bilateral back-projection for single image super resolution | |
| EP1347411B1 (en) | Fractal image enlargement | |
| US7149369B2 (en) | Method and system for image scaling | |
| JP3549720B2 (en) | Image processing device | |
| US20060084869A1 (en) | Method and apparatus for enhancing image quality of a two-dimensional ultrasound image | |
| JP2003143399A (en) | Image processing apparatus and program | |
| JP3578921B2 (en) | Image magnifier | |
| Kim et al. | Example-based learning for single-image super-resolution and JPEG artifact removal | |
| JP2002319020A (en) | Image processing device and method | |
| Muhammad et al. | Image noise reduction based on block matching in wavelet frame domain | |
| JP2002074356A (en) | Method and device for processing picture and recording medium | |
| JP4014671B2 (en) | Multi-resolution conversion method and apparatus | |
| JP3972625B2 (en) | Image processing apparatus and image processing method | |
| JP3669452B2 (en) | Image processing method and apparatus | |
| JP3462957B2 (en) | Image processing method | |
| JP2001056856A (en) | Method and device for image processing and recording medium | |
| JP2000182040A (en) | Method and device for providing expression of image data, method and device for expressing image data, method and device for converting kernel for image processing, converting method and converter | |
| KR20010014320A (en) | Image interpolation | |
| JP2005316985A (en) | Apparatus and method for enlarging image | |
| JPH11275343A (en) | Image processing method, image processor and image composition method/device | |
| De Stefano et al. | Synthesising and reducing film grain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040621 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040713 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040714 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070723 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |