JP2000101871A - Contour emphasis processing circuit - Google Patents

Contour emphasis processing circuit

Info

Publication number
JP2000101871A
JP2000101871A JP10271190A JP27119098A JP2000101871A JP 2000101871 A JP2000101871 A JP 2000101871A JP 10271190 A JP10271190 A JP 10271190A JP 27119098 A JP27119098 A JP 27119098A JP 2000101871 A JP2000101871 A JP 2000101871A
Authority
JP
Japan
Prior art keywords
edge
signal
image
frequency component
wavelet transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP10271190A
Other languages
Japanese (ja)
Inventor
Yasumasa Ito
泰雅 伊藤
Yoshinori Izumi
▲吉▼則 和泉
Masahide Naemura
昌秀 苗村
Kazuto Ogawa
一人 小川
Tadanobu Mizutani
肇伸 水谷
Atsushi Fukuda
淳 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP10271190A priority Critical patent/JP2000101871A/en
Publication of JP2000101871A publication Critical patent/JP2000101871A/en
Withdrawn legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To make an edge part steep by preventing insufficient edge emphasis and occurrence of ringing caused in the vicinity of the edge. SOLUTION: Class separation relating to an edge structure is applied to edge signals extracted from signals resulting from applying wavelet transformation to a received image signal. A high frequency component signal is added to an edge part depending on a class to which the edge part of the image signal receiving wavelet conversion belongs by referencing a class information table (class rule table) where cross reference between each class and each high frequency component signal to be added to the edge part of the image signal that is wavelet-transformed is decided in advance, and the resulting edge receives inverse wavelet transformation and the result is used for contour emphasis.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像の画質補正を
行う装置に係り、特に、画像のエッジ復元を行う回路に
関する。
[0001] 1. Field of the Invention [0002] The present invention relates to an apparatus for correcting image quality of an image, and more particularly to a circuit for performing edge restoration of an image.

【0002】[0002]

【従来の技術】従来の輪郭補正のためのエッジ強調処理
は、主にエッジ部に、入力画像信号から線形フィルタを
用いて生成された補正信号を付加する形で行われてい
た。NHK放送技術研究所編「ディジタルテレビ技術」
(日本放送出版協会)pp.262−264に示される
従来のエッジ強調処理の動作と回路構成を図10(a)
〜(d)に示す。ここでは、入力画像信号(a)から作
られた補正信号(b)をエッジ部分に付加する(c)こ
とで、エッジの傾きを急峻にし、強調処理を行ってい
る。これを実現する代表的なエッジ強調回路の例を
(d)に示す。この手法は、高域通過特性を持つフィル
タ処理を行って入力画像信号から作成した成分を入力画
像信号に加える高域強調処理であり、厳密な意味でのエ
ッジ復元ではない。
2. Description of the Related Art Conventionally, edge enhancement processing for contour correction has been performed mainly by adding a correction signal generated from an input image signal using a linear filter to an edge portion. "Digital Television Technology" edited by NHK Broadcasting Research Institute
(Japan Broadcasting Publishing Association) pp. FIG. 10A shows the operation and circuit configuration of the conventional edge enhancement processing shown in FIGS.
To (d). Here, by adding a correction signal (b) generated from the input image signal (a) to the edge portion (c), the inclination of the edge is steep, and the emphasis process is performed. An example of a typical edge emphasis circuit for realizing this is shown in FIG. This method is a high-frequency emphasis process in which a component created from an input image signal by performing a filter process having a high-pass characteristic is added to the input image signal, and is not an edge restoration in a strict sense.

【0003】[0003]

【発明が解決しようとする課題】上述したような線形フ
ィルタで入力画像信号から作られた補正信号を用いる従
来のエッジ強調処理では、エッジの急峻化が十分でなか
ったり、エッジ近傍でリンギングを生じるなどの問題点
があった。
In the conventional edge enhancement processing using the correction signal generated from the input image signal by the linear filter as described above, the sharpening of the edge is not sufficient or ringing occurs near the edge. There were problems such as.

【0004】すなわち、図10(a)〜(d)によって
示されるような手法のエッジ強調では、入力画像信号か
ら補正信号を作るため、なだらかなエッジを強調するこ
とが十分に行えない。また、この手法では、画像全体に
わたって同一の強調を行うため、画像中のある部分が鮮
明になるような強調を行った結果、他の部分にリンギン
グなどの妨害が生じることがある。
That is, in the edge enhancement of the method shown in FIGS. 10A to 10D, since a correction signal is generated from an input image signal, a gentle edge cannot be sufficiently enhanced. Further, in this method, since the same emphasis is performed on the entire image, emphasis is performed so that a certain portion in the image becomes clear, and as a result, interference such as ringing may occur in other portions.

【0005】また、拡大処理が行われた画像では、処理
前の画像の持つ最高周波数が、拡大後の解像度が持ち得
る最高周波数に対して不足する。つまり、拡大処理が行
われた画像にはエッジ強調処理に必要な高域成分が存在
しないため、拡大後の解像度における高域成分を強調す
ることができず、従来技術による輪郭補正では不都合が
生じる。
[0005] In an image subjected to enlargement processing, the highest frequency of the image before processing is insufficient for the highest frequency that the resolution after enlargement can have. That is, since the high-frequency component required for the edge enhancement processing does not exist in the image subjected to the enlargement processing, the high-frequency component at the resolution after the enlargement cannot be enhanced, and the conventional contour correction causes a problem. .

【0006】本発明の目的は、入力画像信号から線形フ
ィルタを用いて作られた補正信号をエッジ部分に付加し
て行う従来のエッジ強調処理におけるように、エッジ強
調の不十分さやエッジ近傍に生じるリンギングなどの問
題を有しない、新規な方法でエッジの急峻化を図る輪郭
強調処理回路を提供することにある。
SUMMARY OF THE INVENTION An object of the present invention is to provide a correction signal generated by using a linear filter from an input image signal to an edge portion, as in a conventional edge enhancement process, which occurs in insufficient edge enhancement or near an edge. An object of the present invention is to provide a contour emphasis processing circuit which does not have a problem such as ringing and aims to sharpen an edge by a novel method.

【0007】[0007]

【課題を解決するための手段】上記目的を達成するため
に、本発明輪郭強調処理回路は、入力画像信号をウェー
ブレット変換するウェーブレット変換回路、該ウェーブ
レット変換回路によってウェーブレット変換した信号か
ら抽出されたエッジ信号について、エッジ構造のクラス
分けを行うクラス分類手段、該クラス分類手段によって
クラス分けされた各クラスと、輪郭強調のために前記ウ
ェーブレット変換した画像信号のエッジ部分に付加され
るべき高域成分信号との相互の対応関係が予めクラス情
報テーブルとして記憶されているメモリ、該メモリから
読み出したクラス情報テーブルを参照して、前記ウェー
ブレット変換した画像信号のエッジ部分が属するクラス
に応じて前記付加されるべき高域成分信号を付加する高
域成分信号付加回路、および該高域成分信号付加回路の
出力信号を逆ウェーブレット変換する逆ウェーブレット
変換回路を少なくとも具えていることを特徴とするもの
である。
In order to achieve the above object, the present invention provides a contour emphasis processing circuit comprising: a wavelet transform circuit for performing a wavelet transform on an input image signal; and an edge extracted from a signal subjected to a wavelet transform by the wavelet transform circuit. Classifying means for classifying an edge structure with respect to a signal, each class classified by the classifying means, and a high-frequency component signal to be added to an edge portion of the wavelet-transformed image signal for edge enhancement Is stored in advance as a class information table and the class information table read from the memory is referred to, and the wavelet-transformed image signal is added according to the class to which the edge part belongs. High-frequency component signal addition cycle to add power high-frequency component signal , And is characterized in that at least comprises an inverse wavelet transform circuit for inverse wavelet transform output signal of the high frequency component signal adding circuit.

【0008】また、本発明輪郭強調処理回路は、前記ク
ラス情報テーブルが、学習用の高解像度画像を帯域制限
して作成した低解像度画像と前記学習用の高解像度画像
のそれぞれをウェーブレット変換して得られた信号から
エッジ信号を抽出し、それら抽出されたエッジ信号につ
いてエッジ構造のクラス分けを行い、該クラス分けによ
って得られた低解像度画像と高解像度画像のそれぞれ対
応するエッジの前記クラス分けされたエッジ構造、およ
び低域成分と高域成分とからなるエッジ部におけるウェ
ーブレット変換成分がテーブル化されているものである
ことを特徴とするものである。
In the contour enhancement processing circuit according to the present invention, the class information table may perform wavelet transform on each of a low-resolution image created by band-limiting a high-resolution image for learning and a high-resolution image for learning. Edge signals are extracted from the obtained signals, edge structures are classified for the extracted edge signals, and the classification of the edges corresponding to the low-resolution image and the high-resolution image obtained by the classification is performed. The edge structure and the wavelet transform component in the edge portion composed of the low-frequency component and the high-frequency component are tabulated.

【0009】また、本発明輪郭強調処理回路は、前記高
域成分信号付加回路で付加される高域成分信号が、前記
入力画像信号の種別に基づいて前記クラス情報テーブル
から選択された高域成分信号であることを特徴とするも
のである。
In the contour emphasizing circuit according to the present invention, the high-frequency component signal added by the high-frequency component signal adding circuit may be a high-frequency component signal selected from the class information table based on a type of the input image signal. It is a signal.

【0010】また、本発明輪郭強調処理回路は、さら
に、前記高域成分信号付加回路と前記逆ウェーブレット
変換回路との間に介挿され、前記入力画像信号のエッジ
構造に応じて輪郭強調処理を適応的に切り替えて行う適
応強調処理手段を具えていることを特徴とするものであ
る。
Further, the contour emphasis processing circuit of the present invention is further interposed between the high frequency component signal adding circuit and the inverse wavelet transform circuit, and performs the contour emphasis processing according to the edge structure of the input image signal. An adaptive emphasis processing means for performing adaptive switching is provided.

【0011】[0011]

【発明の実施の形態】以下に添付図面を参照し、発明の
実施の形態に基づいて本発明を詳細に説明する。本発明
処理回路は、画像信号の輪郭強調により画像の鮮鋭感を
向上させるための回路で、回路中の信号処理の仕方とい
う観点からみると、学習用画像から抽出されたエッジの
高域成分をテーブル化し、得られたテーブルを用いて画
像のエッジ復元を適応的に行うものである。
DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described in detail below based on embodiments of the present invention with reference to the accompanying drawings. The processing circuit of the present invention is a circuit for improving the sharpness of an image by enhancing the outline of an image signal. From the viewpoint of a signal processing method in the circuit, the processing circuit removes high-frequency components of edges extracted from a learning image. It is to make a table, and to adaptively perform edge restoration of an image using the obtained table.

【0012】このように、本発明による輪郭強調処理回
路は、画像のエッジ復元を適応的に行うものであるが、
特に、帯域制限などにより緩やかになったエッジに、帯
域外の高周波成分を付加することでエッジの急峻化を行
う点において、従来の、帯域内の高周波成分を付加する
一般的な高域強調処理とは異なっている。なお、本発明
による輪郭強調処理回路は、放送局で用いられる画質補
正装置や、一般家庭のテレビジョン受像機における画質
補正回路に使用するのに適している。
As described above, the edge enhancement processing circuit according to the present invention adaptively performs edge restoration of an image.
In particular, conventional high-frequency emphasis processing that adds a high-frequency component within the band to the point that sharpening of the edge is performed by adding a high-frequency component outside the band to the edge that has become gentle due to band limitation or the like. Is different from The outline emphasis processing circuit according to the present invention is suitable for use in an image quality correction device used in a broadcasting station or an image quality correction circuit in a television receiver of a general household.

【0013】上記のように、学習用画像から抽出された
エッジの高域成分をテーブル化し、得られたテーブルを
用いて画像のエッジ復元を適応的に行うために、本発明
では、まず学習用の高解像度画像を準備し、これを低域
通過フィルタに通して低解像度画像を作る。一般に、同
じ被写体を高解像度で撮影した場合のエッジ構造と低解
像度で撮影した場合のエッジ構造の対応は、画像種別に
よって異なる。すなわち、画像に含まれるエッジのでき
方によって低解像度の波形構造は同じでも、高解像度の
波形構造が異なる場合がある。このため、実際に処理を
適用するためには、処理対象と波形構造的に類似の学習
画像を用いる必要があるが、できるだけ多くの画像を用
いて多くのエッジ構造変化を学習した上で、画像種別に
応じて適用範囲を切り替えるかたちの処理を行うことで
一般化することができる。
As described above, in order to tabulate the high-frequency components of the edges extracted from the learning image and to adaptively perform the edge restoration of the image using the obtained table, the present invention first employs the learning Is prepared and passed through a low-pass filter to produce a low-resolution image. In general, the correspondence between the edge structure when the same subject is photographed at high resolution and the edge structure when photographing at the low resolution differs depending on the image type. That is, depending on how the edges included in the image are formed, the low-resolution waveform structure may be the same, but the high-resolution waveform structure may be different. For this reason, in order to actually apply the processing, it is necessary to use a learning image similar in waveform structure to the processing target, but after learning as many edge structure changes as possible using as many images as possible, This can be generalized by performing a process of switching the application range according to the type.

【0014】ここで、画像種別に応じて適用範囲を切り
替えるとは、画像によってエッジ構造に合わせた異なる
高域成分付加が必要ということであり、例えば文字画像
や電子的に作成した画像、アニメーションなどでは一般
にエッジが急峻であり、エッジ前後でステップ的にレベ
ルが推移する。一方で自然画像ではそれほど急峻なエッ
ジは存在しない。また、同一の画像内においても、領域
分け(セグメンテーション)されていて、それぞれの領
域の種別が、例えば、文字を多く含む領域であるとか、
カメラの画像をはめ込んだ領域であるとか、処理前に分
かっていればこれに応じて対応ルールを切り替えること
が可能になる。
Here, switching the application range according to the image type means that it is necessary to add a different high-frequency component according to the edge structure depending on the image. For example, a character image, an electronically created image, an animation, etc. In general, the edge is sharp, and the level changes stepwise before and after the edge. On the other hand, a sharp edge does not exist in a natural image. Also, even within the same image, areas are divided (segmented), and the type of each area is, for example, an area containing many characters,
If it is known before the processing that the area is the one into which the image of the camera has been fitted, the corresponding rule can be switched accordingly.

【0015】画像種別の判定は画像の統計的性質を調べ
ることで、ある程度自動で行うことができるが、様々な
性質を含んだ画像の場合は自動判定が難しく、適切な鮮
鋭度となる対応ルールを人間が処理対象画像を見て切り
替えるのが現実的であり、効果的である。本発明では、
画像または領域の種別が予め判定されているという前提
のもとで、以後の処理を行うものとする。しかし、画像
または領域の種別の判定は本発明の本質的事項ではない
ので詳しい説明は省略する。
The determination of the image type can be made to some extent automatically by examining the statistical properties of the image. However, in the case of an image containing various properties, the automatic determination is difficult, and a corresponding rule that provides an appropriate sharpness It is realistic and effective for a human to switch while viewing the image to be processed. In the present invention,
The subsequent processing is performed on the assumption that the type of the image or the area is determined in advance. However, the determination of the type of the image or the region is not an essential matter of the present invention, and a detailed description is omitted.

【0016】また、高解像度画像から低解像度画像を作
成する低域通過フィルタの特性は、実際に処理対象とな
る低解像度画像(入力画像)が受けた帯域制限特性に合
わせたものである。例えば、このエッジ復元処理をNT
SC信号の解像度をハイビジョン信号の解像度に変換す
る処理として用いる場合には、高解像度画像がハイビジ
ョン画像に、低解像度画像がNTSC画像にそれぞれ対
応することとなり、低域通過フィルタの特性としては、
NTSC信号の帯域制限特性を模したものを用いること
になる。
The characteristics of the low-pass filter for producing a low-resolution image from a high-resolution image are adapted to the band-limiting characteristics of a low-resolution image (input image) to be actually processed. For example, this edge restoration processing is performed by NT
When the resolution of the SC signal is used as the process of converting the resolution of the HDTV signal, the high-resolution image corresponds to the HDTV image, and the low-resolution image corresponds to the NTSC image.
What imitates the band limiting characteristic of the NTSC signal will be used.

【0017】さらに、本発明処理回路における具体的信
号処理は、まず、学習用に準備した高解像度画像と、こ
れから作られた低解像度画像とをそれぞれウェーブレッ
ト変換して、対応するエッジ部における変換成分のペア
(高解像度スケール成分、低解像度スケール成分)を求
める。また、それぞれの画像のエッジ部の構造をもと
に、学習用画像で複数通りにパターン化してエッジがど
のように劣化したかをクラス分けして、そのクラス情報
と対応する変換成分とのペアをテーブル化することによ
り、それら(クラス情報と変換成分)の対応関係をクラ
ス情報テーブルとしてあらかじめ求めておく。
Further, the specific signal processing in the processing circuit of the present invention is as follows. First, a high-resolution image prepared for learning and a low-resolution image created therefrom are each subjected to wavelet transform to obtain a transform component at a corresponding edge portion. (A high-resolution scale component and a low-resolution scale component) are obtained. Also, based on the structure of the edge portion of each image, the learning image is patterned in a plurality of ways to classify how the edge has deteriorated, and a pair of the class information and the corresponding conversion component is classified. Are converted into a table, and the correspondence between them (class information and conversion components) is obtained in advance as a class information table.

【0018】ここで、ウェーブレット変換について説明
する。ウェーブレット変換とは、映像や音声信号を有限
の幅を持つ“ウェーブレット(wavelet ;さざなみ)”
の重ね合わせにより表現する手法である。信号を無限に
続く正弦波の重ね合わせとして表現するフーリエ変換
は、信号に急激な変化があった場合などに時間的にどこ
で変化があったかを知るには不向きであったのに対し、
ウェーブレット変換では、周波数と時間の両方の分析が
可能である。
Here, the wavelet transform will be described. Wavelet transform is a “wavelet (wavelet; sazanami)” that converts video and audio signals to a finite width.
Is a method of expressing by superimposing. The Fourier transform, which expresses a signal as a superposition of sine waves that continues indefinitely, was not suitable for knowing where in time there was a sudden change in the signal,
The wavelet transform allows for both frequency and time analysis.

【0019】一般に、ウェーブレットとは、基本ウェー
ブレットと呼ばれる時間的にも周波数的にも限定した範
囲だけに存在する関数Φ(t)を、時間軸上でa倍する
操作(スケール変換)や時間的にbだけずらす操作(シ
フト変換)を行ってできる
In general, a wavelet is an operation (scale conversion) of multiplying a function Φ (t), which is called a basic wavelet, which exists only in a limited range in terms of time and frequency, on the time axis (scale conversion) and time. Can be shifted by b (shift conversion)

【数1】 のような関数の集合のことをいう。この関数によりパラ
メータa,bに対応する信号の周波数や時間成分を抽出
することができ、この操作をウェーブレット変換とい
う。後述するように、基本ウェーブレットの選び方によ
って容易にエッジを抽出することができる。
(Equation 1) A set of functions like With this function, the frequency and time components of the signal corresponding to the parameters a and b can be extracted, and this operation is called wavelet transform. As will be described later, edges can be easily extracted by selecting a basic wavelet.

【0020】再び、本発明に戻り説明を続ける。入力画
像のエッジを上記テーブルに当てはめて、劣化前の鮮鋭
なエッジが復元されるように、入力画像のエッジ部に高
域成分(高解像度スケール成分)を付加する。さらに、
人間の視覚特性では、孤立したエッジ構造に沿って生じ
るリンギングは視認されやすく、一方、複雑な凹凸構造
に隣接したエッジのリンギングは視認されにくいため、
高域強調しようとするエッジの周囲の波形構造によって
エッジ強調処理を切り替えるのが効果的であるという着
眼のもとに、高域強調しようとするエッジが平坦な波形
構造に接しているのか、他のエッジに近接しているのか
を調べて、適応的な強調処理を実現した、伊藤,八木
他:「ウェーブレット変換を用いた画像強調処理の一検
討」、映像情報メディア学会年次大会予稿23−2,
P.280(1997)記載の技術を適用して、適応的
に復元処理を行ってもよい。すなわち、上記伊藤、八木
他の文献に記載の技術におけるように、個々のエッジに
対応するウェーブレット変換成分に、個別にエッジ構造
に応じた補正(強調処理)を加えて再構成(逆変換)す
ることにより、適応的な強調処理を行ってもよい。
Returning to the present invention, the description will be continued. A high-frequency component (high-resolution scale component) is added to the edge of the input image so that the edge of the input image is applied to the table and a sharp edge before deterioration is restored. further,
In human visual characteristics, ringing that occurs along isolated edge structures is easy to see, while ringing at edges adjacent to complex uneven structures is difficult to see,
Considering that it is effective to switch the edge enhancement process according to the waveform structure around the edge to be emphasized in the high frequency range, whether the edge to be emphasized in high frequency is in contact with the flat waveform structure, etc. Ito, Yagi et al .: "Investigation of Image Enhancement Processing Using Wavelet Transform", which investigated whether the edge was close to the edge of the image and realized adaptive enhancement processing, Proceedings of the 23rd Annual Conference of the Institute of Image Information and Television Engineers 23- 2,
P. 280 (1997), the restoration process may be adaptively performed. That is, as in the technique described in the above-mentioned Ito and Yagi et al. Documents, a wavelet transform component corresponding to each edge is individually subjected to correction (emphasis processing) according to an edge structure and reconstructed (inverse transformation). Thereby, adaptive enhancement processing may be performed.

【0021】ここで、入力画像のエッジの波形構造は同
じでも復元すべき高解像度画像のエッジの波形構造が異
なる場合があることから、高域成分の付加は、低解像度
画像のエッジの波形構造が同じで高解像度画像のエッジ
の波形構造が異なるグループの中から、復元前後のエッ
ジの構造の対応関係として適用すべき範囲を画像種別に
より予め定めたルールテーブルを用いて行う。
Here, even though the waveform structure of the edge of the input image is the same, the waveform structure of the edge of the high-resolution image to be restored may be different. From the groups having the same edge waveform structure of the high-resolution image but different from each other, the range to be applied as the correspondence relationship between the edge structures before and after the restoration is performed using a rule table determined in advance by the image type.

【0022】本発明で用いるウェーブレット変換は、入
力波形をf(x)とする次の(1)式のように定義され
る。
The wavelet transform used in the present invention is defined as the following equation (1) where the input waveform is f (x).

【数2】 ここに、Φはウェーブレット、sはスケール(強度)、
Xはf(x)上の位置を表す。また、離散ウェーブレッ
ト変換では、s=2j ,X=n(j,n:整数)として
解析され、低域成分、j=2の成分、およびj=1の成
分は図1に示すように帯域分割されている。
(Equation 2) Where Φ is the wavelet, s is the scale (intensity),
X represents a position on f (x). In the discrete wavelet transform, analysis is performed as s = 2 j , X = n (j, n: integer), and the low-frequency component, the component at j = 2, and the component at j = 1 are band-analyzed as shown in FIG. Has been split.

【0023】本発明では、高解像度画像と低解像度画像
について、1次元のウェーブレット変換を実現するフィ
ルタを用いて、それぞれ図2に示すようなハードウェア
構成で画像の水平,垂直方向にウェーブレット変換を行
う。ここで、周波数成分を図1のように分割する場合、
図2のそれぞれのフィルタのカットオフ周波数は、HL
1,HH1では水平方向標本化周波数/4、VL1,V
H1では垂直方向標本化周波数/4、HL2,HH2で
は水平方向標本化周波数/8、およびVL2,VH2で
は垂直方向標本化周波数/8である。これにより、それ
ぞれの画像を水平,垂直の周波数成分に分割することが
できる。図2において、LL成分と書かれているのは水
平低域かつ垂直低域成分のことで、また、LH成分と書
かれているのは水平低域かつ垂直高域成分のことであ
る。
According to the present invention, a wavelet transform is performed on the high-resolution image and the low-resolution image in the horizontal and vertical directions of the image with a hardware configuration as shown in FIG. 2 by using a filter for realizing a one-dimensional wavelet transform. Do. Here, when frequency components are divided as shown in FIG.
The cutoff frequency of each filter in FIG.
1, HH1, horizontal sampling frequency / 4, VL1, V
H1 has a vertical sampling frequency of / 4, HL2 and HH2 have a horizontal sampling frequency of / 8, and VL2 and VH2 have a vertical sampling frequency of / 8. Thereby, each image can be divided into horizontal and vertical frequency components. In FIG. 2, the LL component refers to the horizontal low-frequency component and the vertical low-frequency component, and the LH component refers to the horizontal low-frequency component and the vertical high-frequency component.

【0024】このようにウェーブレット変換を行うこと
で、水平エッジ、垂直エッジを水平、垂直それぞれの方
向の1次元軸上で解析することができる。水平エッジの
場合は、水平方向に変化がなく垂直方向に急峻に変化す
ることから、垂直方向の高域成分すなわちLH成分が水
平エッジの高解像度スケール成分(j=1成分)に相当
し、垂直方向の中域成分すなわちLLLH成分が水平エ
ッジの低解像度スケール成分(j=2成分)に相当す
る。
By performing the wavelet transform in this manner, the horizontal edge and the vertical edge can be analyzed on the one-dimensional axis in each of the horizontal and vertical directions. In the case of the horizontal edge, since there is no change in the horizontal direction and there is a sharp change in the vertical direction, the high frequency component in the vertical direction, that is, the LH component corresponds to the high-resolution scale component (j = 1 component) of the horizontal edge. The middle band component in the direction, that is, the LLLH component corresponds to the low-resolution scale component (j = 2 component) of the horizontal edge.

【0025】また、垂直エッジの場合は、垂直方向に変
化がなく水平方向に急峻に変化することから水平方向の
高域成分すなわちHL成分が垂直エッジの高解像度スケ
ール成分(j=1成分)に相当し、水平方向の中域成分
すなわちLLHL成分が垂直エッジの低解像度スケール
成分(j=2成分)に相当する。
In the case of a vertical edge, there is no change in the vertical direction and there is a sharp change in the horizontal direction. Therefore, the high-frequency component in the horizontal direction, that is, the HL component, becomes the high-resolution scale component (j = 1 component) of the vertical edge. The LLHL component in the horizontal direction corresponds to the low-resolution scale component (j = 2 component) of the vertical edge.

【0026】同様に、HH成分は斜めエッジの高解像度
スケール成分(j=1成分)、LLHH成分は斜めエッ
ジの低解像度スケール成分(j=2成分)である。ここ
では、1次元の処理を念頭に置き、水平エッジと垂直エ
ッジを対象にこのような成分を用いて水平、垂直それぞ
れ1次元で以下の処理を行う例を説明する。
Similarly, the HH component is a high-resolution scale component (j = 1 component) of the oblique edge, and the LLHH component is a low-resolution scale component (j = 2 component) of the oblique edge. Here, an example in which the following processing is performed in one dimension each in the horizontal and vertical directions by using such components for the horizontal edge and the vertical edge will be described with one-dimensional processing in mind.

【0027】図3は以上説明したウェーブレット変換の
例を示し、1次元で表した水平方向のマルチスケール成
分を表している。図3において、横軸は画像の水平位
置、縦軸は信号レベルをそれぞれ表している。
FIG. 3 shows an example of the above-described wavelet transform, and shows a one-dimensional horizontal multi-scale component. In FIG. 3, the horizontal axis represents the horizontal position of the image, and the vertical axis represents the signal level.

【0028】高解像度画像、低解像度画像のそれぞれを
ウェーブレット変換したものは、水平あるいは垂直の1
次元で表した図1の分割された帯域特性に、高解像度画
像と低解像度画像それぞれの帯域特性を掛け合わせたも
のとなる。すなわち、高解像度画像は図1において最高
周波数まで成分を持ち、低解像度画像は帯域制限された
ものとなる。もし、低解像度画像が高解像度画像の半分
の帯域である場合には、j=1の成分は帯域制限により
減衰し、低解像度画像はj=2以下の成分を有すること
になる。これに対して高解像度画像は、低域成分に加え
j=1,j=2の成分を有している。
The wavelet transform of each of the high-resolution image and the low-resolution image is a horizontal or vertical one.
It is obtained by multiplying the band characteristics of the high-resolution image and the low-resolution image by the divided band characteristics of FIG. That is, the high-resolution image has components up to the highest frequency in FIG. 1, and the low-resolution image is band-limited. If the low-resolution image has half the bandwidth of the high-resolution image, the component of j = 1 is attenuated due to the band limitation, and the low-resolution image has a component of j = 2 or less. On the other hand, a high-resolution image has components of j = 1 and j = 2 in addition to low-frequency components.

【0029】以上において、基本ウェーブレットとして
は、図4に示すようなラプラシアン型(2次微分型)の
ものを用いている。係数は(−0.25,0.5 ,−0.25)で
ある。これを用いたウェーブレット変換は、画像を2次
微分することと等価であり、変換成分からエッジの零交
差点を容易に検出することができる。
In the above, a Laplacian type (secondary differential type) as shown in FIG. 4 is used as a basic wavelet. The coefficients are (-0.25, 0.5, -0.25). Wavelet transform using this is equivalent to second-order differentiation of an image, and a zero-crossing point of an edge can be easily detected from a transform component.

【0030】また、本発明では、高解像度画像と低解像
度画像間のウェーブレット変換成分の対応関係を用い
て、エッジ構造のクラス分けや強調処理を行う。以下
に、これにつき説明する。図5(a)および(b)は、
エッジ構造のクラス分けの例を示している。図5(a)
および(b)において、高域強調しようとするエッジ
は、傾斜が正(Up)か負(Down)かの2タイプが
ある。エッジ構造のクラス分けは高域強調しようとする
エッジと、その左右に隣接する波形構造の組合せにより
行う。ここで、その左右に隣接する構造は、傾斜が正/
負のタイプに加えて平坦な構造(Flat)の場合が有
り得る。これらの波形構造のパターンとUp,Down
の場合のエッジ強度を量子化してクラスを構成する。エ
ッジ強度は後述するように、エッジの零交差を挟んで隣
接する画素の輝度レベル差の絶対値を用いる。
Further, in the present invention, the edge structure is classified and emphasized by using the correspondence of the wavelet transform components between the high-resolution image and the low-resolution image. This will be described below. FIGS. 5 (a) and 5 (b)
9 shows an example of classification of an edge structure. FIG. 5 (a)
In (b) and (b), there are two types of edges to be emphasized in the high frequency band, in which the inclination is positive (Up) or negative (Down). The edge structure is classified based on a combination of an edge to be emphasized in the high frequency band and a waveform structure adjacent to the left and right sides. Here, the structure adjacent to the left and right has a positive slope /
There may be a flat structure (Flat) in addition to the negative type. The patterns of these waveform structures and Up, Down
The edge strength in the case of is quantized to form a class. As described later, the edge intensity uses the absolute value of the luminance level difference between the pixels adjacent to each other with the zero crossing of the edge interposed therebetween.

【0031】図5(a)に示すように、高域強調しよう
とするエッジの傾きが正(Up)で、その量子化された
強度が2であったとし、左右が平坦な構造である場合、
このエッジのクラスをF−U2−F(F:Flat,
U:Up,D:Down)といった形で表現する。
As shown in FIG. 5A, it is assumed that the slope of the edge to be emphasized in the high frequency range is positive (Up), the quantized intensity is 2, and the left and right sides have a flat structure. ,
This edge class is defined as FU2-F (F: Flat,
U: Up, D: Down).

【0032】このようなクラス表現を用いることで、エ
ッジ構造の変化を表すことができる。例えば、低解像度
画像の図5(a)のようなエッジ構造を、高解像度な図
6(a)のようなエッジ構造に変形したい場合、すなわ
ち、高域強調しようとするエッジの強度を1レベル大き
くする場合のエッジクラスの対応は次の(2)式 (F−U2−F)→(F−U3−F) (2) として表すことができる。
By using such a class expression, a change in the edge structure can be represented. For example, when it is desired to transform the edge structure shown in FIG. 5A of the low-resolution image into the high-resolution edge structure shown in FIG. The correspondence of the edge class when the size is increased can be expressed by the following equation (2) (F-U2-F) → (F-U3-F) (2).

【0033】また、図5(b)のようなエッジ構造を図
6(b)のようなエッジ構造に変形させる場合には、F
−U2−D1のクラスのエッジ構造をF−U4−D2の
クラスのエッジ構造に変化させるといった形で扱うこと
ができる。このように、クラス間の対応を設定すること
で、エッジ復元におけるエッジ構造の変形をクラス情報
を用いて記述することができる。
When the edge structure as shown in FIG. 5B is transformed into the edge structure as shown in FIG.
-The edge structure of the class of U2-D1 is changed to the edge structure of the class of F-U4-D2. In this way, by setting the correspondence between the classes, the deformation of the edge structure in the edge restoration can be described using the class information.

【0034】各エッジの強度をQレベルに量子化した場
合、エッジ構造のパターン数は次の(3)式 2Q(2Q+1)2 (3) で表される。Q=1で18通り、Q=2で100通り、
Q=3で294通りである。エッジ強度は、エッジの零
交差点(図5(a),(b)に示すウェーブレット変換
成分参照)を挟んで隣接する画素の、輝度レベル差の絶
対値を量子化して用いる。例えば量子化のステップを1
0と設定すれば、差の絶対値が30である場合のエッジ
の強度は30/10=3となる。
When the intensity of each edge is quantized to the Q level, the number of patterns of the edge structure is expressed by the following equation (3): 2Q (2Q + 1) 2 (3) 18 when Q = 1, 100 when Q = 2,
There are 294 patterns for Q = 3. The edge strength is obtained by quantizing the absolute value of the luminance level difference between the pixels adjacent to each other across the zero crossing point of the edge (see the wavelet transform components shown in FIGS. 5A and 5B). For example, if the quantization step is 1
If it is set to 0, the intensity of the edge when the absolute value of the difference is 30 is 30/10 = 3.

【0035】零交差点は、図5(a)および(b)に示
すように、ウェーブレット変換成分がゼロをはさんで値
をとる位置として検出できる。隣接する構造が平坦かエ
ッジかの判定は、隣接するエッジの零交差点までの距離
が設定された閾値より大きいか小さいかによって判定す
る。ここで、閾値としては、画像の種類や、エッジ構造
をどのように変形させたいかによって異なるが、だいた
い5画素前後である。画面の左右端ではクラス分けがで
きないが、仮想的に左右端の外に平坦な構造があるとし
て扱う。
As shown in FIGS. 5A and 5B, the zero crossing point can be detected as a position where the wavelet transform component takes a value across zero. Whether the adjacent structure is flat or an edge is determined based on whether the distance to the zero crossing point of the adjacent edge is larger or smaller than a set threshold. Here, the threshold varies depending on the type of the image and how the edge structure is to be deformed, but is about 5 pixels. Classification cannot be performed at the left and right edges of the screen, but it is assumed that there is a flat structure virtually outside the left and right edges.

【0036】図7(a),(b)および(c)は、学習
画像を用いたコードブック(クラス情報テーブル)の作
成の要領を示している。ここでは、上記のようなクラス
分け処理を、低解像度画像と高解像度画像に対してそれ
ぞれ行い、図7(a),(b)および(c)に示すよう
に、それぞれの画像のエッジ幅(x1〜x2)における
低解像度画像と高解像度画像間でのクラスの変化ととも
に、低解像度画像のj=2の成分(図7(a)のj=2
成分として太線で示す)と、高解像度画像のj=1の成
分(図7(b)のj=1成分として太線で示す)を図7
(c)に示すコードブックに登録する。
FIGS. 7A, 7B, and 7C show how to create a codebook (class information table) using learning images. Here, the above-described classification processing is performed on the low-resolution image and the high-resolution image, respectively, and as shown in FIGS. 7A, 7B, and 7C, the edge width ( x1 to x2), the class change between the low-resolution image and the high-resolution image, and the j = 2 component of the low-resolution image (j = 2 in FIG. 7A)
FIG. 7 shows a high-resolution image component at j = 1 (shown as a bold line as the j = 1 component in FIG. 7B).
Register in the code book shown in (c).

【0037】一般に、高解像度画像の方がエッジ強度が
大きくなり得るので、例えば、前述のQ=3で294通
りの高解像度画像でのエッジ構造が存在する場合でも、
対応する低解像度画像のエッジ構造はそれより少なくな
る。従って、登録されたコードブックの中には、低解像
度画像のエッジ構造が同じで、高解像度画像のエッジ構
造が異なるクラス対応が複数存在し得ることとなる。
In general, a high-resolution image can have a higher edge strength. For example, even if the above-mentioned Q = 3 and 294 types of edge structures in a high-resolution image exist,
The corresponding low resolution image has fewer edge structures. Therefore, in the registered code book, there can be a plurality of classes corresponding to the same low-resolution image edge structure and different high-resolution image edge structures.

【0038】ここで、エッジ幅(x1〜x2)は、次の
ように定義している。j=2の成分は、零交差点から遠
ざかるにつれて一度ピーク値をとるが、その後、0に近
づく。この0に近づく際の成分が、予め定めた閾値以上
である区間として、エッジ幅(x1〜x2)を低解像度
画像側のj=2成分に基づき定義する。
Here, the edge width (x1 to x2) is defined as follows. The component of j = 2 takes a peak value once as it goes away from the zero-crossing point, but then approaches zero. The edge width (x1 to x2) is defined based on the j = 2 component on the low-resolution image side as a section in which the component approaching 0 is equal to or greater than a predetermined threshold.

【0039】このようにして作成したコードブックに基
づく高域成分付加は以下のようにして行う。すなわち、
伝送路などを通過することにより高域成分が劣化した
(または拡大処理により高域成分が不足した)低解像度
の入力画像信号をウェーブレット変換し、上記高解像度
の入力画像の場合と同様、検出された各エッジ構造のク
ラス分けを行なう。そしてコードブック中で、低解像度
のクラスが同じで、高解像度のクラスが後述するルール
テーブルで与えられた範囲のものであるコードの中か
ら、j=2の成分(低解像度成分)で比較した誤差が最
小となるコードを選択し、その際の高解像度のコード
(j=1)の成分を該当のエッジに付加する。
The high-frequency component addition based on the codebook created in this way is performed as follows. That is,
The low-resolution input image signal whose high-frequency component is degraded by passing through a transmission path or the like (or the high-frequency component is insufficient due to enlargement processing) is subjected to wavelet transform, and detected as in the case of the high-resolution input image. Classification of each edge structure is performed. Then, in the code book, j = 2 components (low-resolution components) were compared among the codes in which the low-resolution classes were the same and the high-resolution classes were in the range given in the rule table described later. The code with the smallest error is selected, and the component of the high-resolution code (j = 1) at that time is added to the corresponding edge.

【0040】ここで、ルールテーブルについて説明す
る。低解像度画像が与えられたときに、その画像種別に
基づき、その中のエッジをどのように変化させるべきで
あるのかを、前述したエッジのクラス対応関係の範囲内
で予め限定して定義しておく。この対応関係の限定範囲
を定義した表をルールテーブルと呼ぶ。低解像度のクラ
スが同じでも高解像度のクラスが異なるというケースが
存在するのは、高解像度のときからもともと緩やかなエ
ッジであった場合と、高解像度においては急峻であった
エッジ構造が、帯域制限によって緩やかになった場合と
があるからである。ルールテーブルは、そのような複数
のケースの中から取り得るケースを限定するためにあ
る。
Here, the rule table will be described. When a low-resolution image is given, based on the image type, how to change the edge in the image is defined and defined in advance within the range of the edge class correspondence described above. deep. A table defining the limited range of the correspondence is called a rule table. There are cases where the low-resolution class is the same, but the high-resolution class is different, when there are originally gentle edges from the high-resolution class, and when the high-resolution steep edge structure is This is because in some cases it has become moderate. The rule table is provided to limit cases that can be taken out of the plurality of cases.

【0041】上述の低解像度画像が与えられたときに、
その画像種別に基づき、その中のエッジをどのように変
化させるかは、帯域制限のされ方も考慮するが、基本的
には画像の種類に応じて、人間が視覚的に鮮鋭と感じる
エッジ構造に変形させるように予めルールテーブルを作
成しておく。例えば、文字画像はステップ状の波形構造
をもっているので、ステップ状の急峻な構造へ変化させ
るのが妥当であるし、自然画像であれば、それほど急峻
な構造はない筈であるからエッジ強調によりエッジ強度
が飽和しないようにルールを設定する。ここで、文字画
像か自然画像かの判別は、対象画像の統計的性質を調べ
れば、ある程度は自動化が可能であるが、基本的には人
間が処理対象画像を見て判定する。
When the above low resolution image is given,
Based on the image type, how to change the edge in the image type also considers how the band is limited, but basically, the edge structure that humans feel visually sharp according to the image type A rule table is created in advance so as to transform the rule into a rule table. For example, since a character image has a step-like waveform structure, it is appropriate to change to a step-like steep structure, and if it is a natural image, there should not be such a steep structure. Set rules so that intensity does not saturate. Here, the determination as to whether the image is a character image or a natural image can be automated to some extent by examining the statistical properties of the target image, but basically, a human judges the image to be processed.

【0042】上記において、付加すべき高域成分信号を
含むコードを選択する際のj=2成分で比較した誤差評
価は、エッジ幅(x1〜x2)にわたって次の(4)式
の値が最小となるものを探す。
In the above, when the code including the high-frequency component signal to be added is selected, the error evaluation based on the j = 2 components shows that the value of the following equation (4) is minimum over the edge width (x1 to x2). Look for

【数3】 ここで、Ws2(x) はコードブックの中のj=2成分、W
i2(x) は入力画像のエッジのj=2成分である。
(Equation 3) Here, W s2 (x) is j = 2 components in the codebook, W
i2 (x) is the j = 2 component of the edge of the input image.

【0043】最小となるものが複数ある場合には、これ
らのj=1成分の算術平均を計算して用いる。すなわ
ち、最小となるものがN個あるとし、N個についてのコ
ードブック中のj=1成分をWs1,n(x) と表し、これら
の平均として計算されるWN (x) は次の(5)式の通り
である。
When there are a plurality of minimum values, the arithmetic average of these j = 1 components is calculated and used. That is, assuming that there are N minimums, the j = 1 components in the codebook for the N are expressed as W s1, n (x), and W N (x) calculated as the average of these is: The equation (5) is as follows.

【数4】 このj=1成分の算術平均を高解像度成分信号として付
加する。
(Equation 4) The arithmetic mean of the j = 1 component is added as a high-resolution component signal.

【0044】図8は、本発明輪郭強調処理回路の第1の
実施形態を示している。同図を参照することにより、本
発明処理回路が以下の動作となっていることが理解され
よう。すなわち、学習時には、学習用画像として高解像
度画像と、これを低域通過フィルタに通して作成した低
解像度画像をそれぞれウェーブレット変換し、エッジ部
における高解像度スケール(j=1)成分と低解像度ス
ケール(j=2)成分の対応関係を求める。これと同時
に、エッジ部の波形構造を解析してクラス分け処理を行
う。このウェーブレット変換成分とクラスの対応関係を
コードブックとして蓄積する。一方、画像種別に応じた
高解像度画像と低解像度画像間のクラスの対応関係をル
ールテーブルとして定義しておく。
FIG. 8 shows a first embodiment of the contour emphasis processing circuit of the present invention. By referring to the figure, it will be understood that the processing circuit of the present invention operates as follows. That is, at the time of learning, a high-resolution image as a learning image and a low-resolution image created by passing the high-resolution image through a low-pass filter are respectively subjected to wavelet transform to obtain a high-resolution scale (j = 1) component and a low-resolution scale at an edge portion. (J = 2) Find the correspondence between components. At the same time, the waveform structure of the edge portion is analyzed to perform a classification process. The correspondence between the wavelet transform component and the class is stored as a codebook. On the other hand, the class correspondence between the high-resolution image and the low-resolution image according to the image type is defined as a rule table.

【0045】処理時においては、入力画像をウェーブレ
ット変換した後、クラス分け処理を行う。そして個々の
エッジごとに、ルールテーブルで対応付けられたクラス
の中から、付加すべき高解像度スケール成分を選択し、
入力画像のエッジに付加(高域付加)するという信号処
理を行う。
At the time of processing, after the input image is subjected to wavelet transform, classification processing is performed. Then, for each edge, select a high-resolution scale component to be added from the classes associated in the rule table,
The signal processing of adding (high-frequency addition) to the edge of the input image is performed.

【0046】なお、図8中に示される適応強調とは、前
述した伊藤、八木他の文献に記載されているように、検
出された各エッジごとに周囲の構造に応じて強調の係数
を変えたり、処理方法を変えたりする処理である。この
適応強調処理後、逆ウェーブレット変換してエッジが適
応的に高域強調された画像を再構成する。
The adaptive emphasis shown in FIG. 8 means that the emphasis coefficient is changed according to the surrounding structure for each detected edge, as described in the aforementioned Ito and Yagi et al. Or changing the processing method. After this adaptive emphasizing process, an inverse wavelet transform is performed to reconstruct an image whose edges are adaptively emphasized in the high frequency range.

【0047】図9は、本発明輪郭強調処理回路の第2の
実施形態を示している。本実施形態は、本発明を拡大処
理に適用した場合であるが、1点鎖線で囲んで示す拡大
処理に関する部分以外の、いわゆる基本部分は第1の実
施形態と同一である。
FIG. 9 shows a second embodiment of the contour emphasis processing circuit of the present invention. This embodiment is a case where the present invention is applied to the enlargement processing. The so-called basic parts other than the part related to the enlargement processing indicated by the dashed line are the same as those of the first embodiment.

【0048】本実施形態においては、まず、学習時にお
いては、高解像度画像を帯域制限(これは、本発明の基
本部分に含まれる)し、拡大後のサイズをもとの高解像
度画像と合わせるために拡大率の逆数でいったん縮小
(サンプリング点の間引きあるいはフィルタ処理による
縮小による)したものを低解像度画像として扱い、これ
を内挿拡大する。このようにして作成した低解像度画像
と高解像度画像をそれぞれウェーブレット変換し、エッ
ジ部における高解像度スケール(j=1)成分と低解像
度スケール(j=2)成分の対応関係を求める。これと
同時に、エッジ部の波形構造を解析してクラス分け処理
を行う。このウェーブレット変換成分とクラスの対応関
係をコードブックとして蓄積する。一方、画像種別に応
じた高解像度画像と低解像度画像間の対応関係をルール
テーブルとして定義しておく。本実施形態では、拡大率
が異なる場合には、拡大率に応じてコードブックを作る
必要がある。
In the present embodiment, first, at the time of learning, the high-resolution image is band-limited (this is included in the basic part of the present invention), and the enlarged size is matched with the original high-resolution image. For this reason, a low-resolution image that has been once reduced (by sampling point thinning or reduction by filter processing) at the reciprocal of the magnification is treated as a low-resolution image, and this is interpolated and expanded. The low-resolution image and the high-resolution image created in this way are each subjected to wavelet transform, and the correspondence between the high-resolution scale (j = 1) component and the low-resolution scale (j = 2) component at the edge is obtained. At the same time, the waveform structure of the edge portion is analyzed to perform a classification process. The correspondence between the wavelet transform component and the class is stored as a codebook. On the other hand, the correspondence between the high-resolution image and the low-resolution image according to the image type is defined as a rule table. In the present embodiment, when the enlargement ratios are different, it is necessary to create a codebook according to the enlargement ratio.

【0049】また、処理時においては、入力画像に対
し、学習時の内挿フィルタと同じ特性のフィルタによる
拡大処理を行ってから第1の実施形態におけると同様の
処理を適用する。すなわち、拡大処理後、ウェーブレッ
ト変換してクラス分け処理を行い、そして個々のエッジ
ごとに、ルールテーブルで対応付けられたクラスの中か
ら、付加すべき高解像度スケール成分を選択し、入力画
像のエッジに付加(高域付加)する。上記以外の信号処
理については、第1の実施形態と同じであるので、ここ
では、その説明を省略する。
At the time of processing, the input image is subjected to enlargement processing using a filter having the same characteristics as the interpolation filter at the time of learning, and then the same processing as in the first embodiment is applied. That is, after the enlarging process, a wavelet transform is performed to perform a classifying process, and for each edge, a high-resolution scale component to be added is selected from the classes associated in the rule table, and the edge of the input image is selected. (High-frequency addition). The other signal processing is the same as in the first embodiment, and a description thereof will not be repeated.

【0050】[0050]

【発明の効果】本発明によれば、あらかじめ学習用画像
を用いて得た高周波成分を、画像のエッジ部に付加して
強調処理を行うため、リンキングなどの視覚的妨害が生
じにくく、十分なエッジの復元が可能である。特に、拡
大処理が行われた画像においては、高周波成分が不足す
る場合の強調処理として有効である。また、エッジ構造
をクラス分けしているため、前述した伊藤、八木他の文
献に記載の、周囲の波形構造に応じた適応的な強調処理
も合わせ行うことができるので、柔軟なエッジ強調を実
現することができる。さらに、エッジ復元前後の波形構
造の変化範囲をルールテーブルにより定義しているの
で、ルールの定義の仕方で柔軟なエッジ構造の変形を扱
うことができる。
According to the present invention, a high-frequency component obtained in advance using a learning image is added to an edge portion of the image to perform an emphasizing process. Edge restoration is possible. In particular, in an image on which enlargement processing has been performed, it is effective as enhancement processing when high frequency components are insufficient. In addition, since the edge structure is classified, the adaptive emphasis processing according to the surrounding waveform structure described in Ito and Yagi et al. Mentioned above can be performed together, realizing flexible edge emphasis. can do. Furthermore, since the change range of the waveform structure before and after the edge restoration is defined by the rule table, flexible deformation of the edge structure can be handled in a manner of defining the rule.

【0051】上記のように、本発明は、1.強調処理を
行っても妨害が生じにくいため、強調処理を効果的に行
うことができる、2.拡大処理などによりボケ感の生じ
た画像に、適切に高周波成分を付加することで、画像の
解像度を上げることができる、などの特徴を有してお
り、従来の線形処理による画質補正装置よりも高画質な
エッジ強調画像を得ることができる。
As described above, the present invention provides: 1. Even if the emphasizing process is performed, interference is unlikely to occur, so that the emphasizing process can be performed effectively. It has features such as being able to increase the resolution of the image by appropriately adding a high-frequency component to an image that has a blurred feeling due to enlargement processing, etc., compared to the image quality correction device using the conventional linear processing. A high-quality edge-emphasized image can be obtained.

【図面の簡単な説明】[Brief description of the drawings]

【図1】離散ウェーブレット変換における帯域分割の様
子を示している。
FIG. 1 shows a state of band division in a discrete wavelet transform.

【図2】ウェーブレット変換を行うためのハードウェア
構成例を示している。
FIG. 2 shows an example of a hardware configuration for performing a wavelet transform.

【図3】ウェーブレット変換の例を示している。FIG. 3 shows an example of a wavelet transform.

【図4】ラプラシアン型の基本ウェーブレットを示して
いる。
FIG. 4 shows a Laplacian basic wavelet.

【図5】エッジ構造のクラス分けの例を示している。FIG. 5 shows an example of classifying an edge structure.

【図6】クラス情報を用いたエッジ構造の変形の記述を
示している。
FIG. 6 shows a description of deformation of an edge structure using class information.

【図7】学習用画像を用いたコードブックの作成の要領
を示している。
FIG. 7 shows a procedure for creating a codebook using learning images.

【図8】本発明輪郭強調処理回路の第1の実施形態を示
している。
FIG. 8 shows a first embodiment of the contour emphasis processing circuit of the present invention.

【図9】本発明輪郭強調処理回路の第2の実施形態を示
している。
FIG. 9 shows a second embodiment of the contour emphasis processing circuit of the present invention.

【図10】従来のエッジ強調処理の動作と回路構成を示
している。
FIG. 10 shows an operation and a circuit configuration of a conventional edge enhancement process.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 苗村 昌秀 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 小川 一人 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 水谷 肇伸 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 福田 淳 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 Fターム(参考) 5C021 PA33 PA34 PA35 PA38 PA74 PA75 PA80 RA02 RB05 XB03 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Masahide Naemura 1-10-11 Kinuta, Setagaya-ku, Tokyo Japan Broadcasting Corporation Research Institute (72) Inventor Hitoshi Ogawa 1-110-11 Kinuta, Setagaya-ku, Tokyo No. Japan Broadcasting Corporation Broadcasting Research Institute (72) Inventor Hajinobu Mizutani 1-10-11 Kinuta, Setagaya-ku, Tokyo Japan Broadcasting Corporation Broadcasting Research Institute (72) Inventor Jun Fukuda 1, Kinuta, Setagaya-ku, Tokyo No. 10-11 Japan Broadcasting Corporation Broadcasting Research Institute F term (reference) 5C021 PA33 PA34 PA35 PA38 PA74 PA75 PA80 RA02 RB05 XB03

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 入力画像信号をウェーブレット変換する
ウェーブレット変換回路、 該ウェーブレット変換回路によってウェーブレット変換
した信号から抽出されたエッジ信号について、エッジ構
造のクラス分けを行うクラス分類手段、 該クラス分類手段によってクラス分けされた各クラス
と、輪郭強調のために前記ウェーブレット変換した画像
信号のエッジ部分に付加されるべき高域成分信号との相
互の対応関係が予めクラス情報テーブルとして記憶され
ているメモリ、 該メモリから読み出したクラス情報テーブルを参照し
て、前記ウェーブレット変換した画像信号のエッジ部分
が属するクラスに応じて前記付加されるべき高域成分信
号を付加する高域成分信号付加回路、および該高域成分
信号付加回路の出力信号を逆ウェーブレット変換する逆
ウェーブレット変換回路を少なくとも具えていることを
特徴とする輪郭強調処理回路。
1. A wavelet transform circuit for performing a wavelet transform on an input image signal, class classifying means for classifying an edge structure from an edge signal extracted from a signal subjected to wavelet transform by the wavelet transform circuit, A memory in which a mutual correspondence between each of the divided classes and a high-frequency component signal to be added to an edge portion of the wavelet-transformed image signal for edge enhancement is stored in advance as a class information table; A high-frequency component signal adding circuit for adding the high-frequency component signal to be added according to the class to which the edge portion of the image signal subjected to the wavelet transformation belongs, by referring to the class information table read from Performs an inverse wavelet transform on the output signal of the signal addition circuit A contour emphasis processing circuit comprising at least an inverse wavelet transform circuit.
【請求項2】 請求項1記載の輪郭強調処理回路におい
て、前記クラス情報テーブルは、 学習用の高解像度画像を帯域制限して作成した低解像度
画像と前記学習用の高解像度画像のそれぞれをウェーブ
レット変換して得られた信号からエッジ信号を抽出し、
それら抽出されたエッジ信号についてエッジ構造のクラ
ス分けを行い、該クラス分けによって得られた低解像度
画像と高解像度画像のそれぞれ対応するエッジの前記ク
ラス分けされたエッジ構造、および低域成分と高域成分
とからなるエッジ部におけるウェーブレット変換成分が
テーブル化されているものであることを特徴とする輪郭
強調処理回路。
2. The contour enhancement processing circuit according to claim 1, wherein the class information table includes a wavelet for each of a low-resolution image created by band-limiting a high-resolution image for learning and a high-resolution image for learning. Extract the edge signal from the signal obtained by the conversion,
The extracted edge signals are subjected to edge structure classification, the classified edge structures of the corresponding edges of the low-resolution image and the high-resolution image obtained by the classification, and the low-frequency component and the high-frequency component, respectively. A contour emphasis processing circuit characterized in that a wavelet transform component in an edge portion composed of components is tabulated.
【請求項3】 請求項1または2記載の輪郭強調処理回
路において、前記高域成分信号付加回路で付加される高
域成分信号は、 前記入力画像信号の種別に基づいて前記クラス情報テー
ブルから選択された高域成分信号であることを特徴とす
る輪郭強調処理回路。
3. The contour emphasis processing circuit according to claim 1, wherein the high-frequency component signal added by the high-frequency component signal addition circuit is selected from the class information table based on a type of the input image signal. An edge enhancement processing circuit characterized in that the signal is a processed high-frequency component signal.
【請求項4】 請求項1乃至3のいずれか1項記載の輪
郭強調処理回路において、該輪郭強調処理回路は、さら
に、 前記高域成分信号付加回路と前記逆ウェーブレット変換
回路との間に介挿され、前記入力画像信号のエッジ構造
に応じて輪郭強調処理を適応的に切り替えて行う適応強
調処理手段を具えていることを特徴とする輪郭強調処理
回路。
4. The outline emphasis processing circuit according to claim 1, wherein said outline emphasis processing circuit further includes an intermediate circuit between said high frequency component signal adding circuit and said inverse wavelet transform circuit. An edge emphasis processing circuit comprising adaptive emphasis processing means for adaptively switching the edge emphasis processing according to the edge structure of the input image signal.
JP10271190A 1998-09-25 1998-09-25 Contour emphasis processing circuit Withdrawn JP2000101871A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10271190A JP2000101871A (en) 1998-09-25 1998-09-25 Contour emphasis processing circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10271190A JP2000101871A (en) 1998-09-25 1998-09-25 Contour emphasis processing circuit

Publications (1)

Publication Number Publication Date
JP2000101871A true JP2000101871A (en) 2000-04-07

Family

ID=17496612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10271190A Withdrawn JP2000101871A (en) 1998-09-25 1998-09-25 Contour emphasis processing circuit

Country Status (1)

Country Link
JP (1) JP2000101871A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100403601B1 (en) * 2001-12-21 2003-10-30 삼성전자주식회사 Apparatus and method for enhancing edge of image
JP2011120270A (en) * 2007-04-27 2011-06-16 Sharp Corp Image processing device and image processing method
US8248662B2 (en) 2007-05-11 2012-08-21 Samsung Electronics Co., Ltd. Image forming apparatus and method thereof
JP7352447B2 (en) 2019-11-12 2023-09-28 株式会社ニューフレアテクノロジー Pattern inspection device and pattern inspection method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100403601B1 (en) * 2001-12-21 2003-10-30 삼성전자주식회사 Apparatus and method for enhancing edge of image
JP2011120270A (en) * 2007-04-27 2011-06-16 Sharp Corp Image processing device and image processing method
US8319898B2 (en) 2007-04-27 2012-11-27 Sharp Kabushiki Kaisha Edge enhancement method and apparatus
US8248662B2 (en) 2007-05-11 2012-08-21 Samsung Electronics Co., Ltd. Image forming apparatus and method thereof
JP7352447B2 (en) 2019-11-12 2023-09-28 株式会社ニューフレアテクノロジー Pattern inspection device and pattern inspection method

Similar Documents

Publication Publication Date Title
US5717789A (en) Image enhancement by non-linear extrapolation in frequency space
US6005983A (en) Image enhancement by non-linear extrapolation in frequency space
JP5342068B2 (en) Multiple frame approach and image upscaling system
US7218418B2 (en) Digital de-screening of documents
US7373013B2 (en) Directional video filters for locally adaptive spatial noise reduction
US7423781B2 (en) Image processor and image processing method for image enhancement using edge detection
US6421468B1 (en) Method and apparatus for sharpening an image by scaling elements of a frequency-domain representation
US6633683B1 (en) Apparatus and method for adaptively reducing noise in a noisy input image signal
US6823086B1 (en) Adaptive spatial filter
US7006255B2 (en) Adaptive image filtering based on a distance transform
JP2003018403A (en) Image processor
US20080085061A1 (en) Method and Apparatus for Adjusting the Contrast of an Input Image
EP1421554A2 (en) Image enhancement and data loss recovery using wavelet transforms
US6983076B2 (en) Control system for digital de-screening of documents
JP2007018379A (en) Image processing method and image processing device
JP2008518318A (en) How to improve the image quality of blurred images
EP2082332B1 (en) Method and apparatus for spatio-temporal subband video enhancement with small time delay
US6650790B1 (en) Digital processing apparatus for variable image-size enlargement with high-frequency bandwidth synthesis
Verma et al. Hybrid image fusion algorithm using Laplacian Pyramid and PCA method
JP5105286B2 (en) Image restoration apparatus, image restoration method, and image restoration program
KR100957473B1 (en) Method for real-time software video/audio compression, transmission, decompression and display
EP1512121B1 (en) Unit for and method of calculating a sharpened edge
JP3484831B2 (en) Binary image multilevel reduction processing device
JP2000101871A (en) Contour emphasis processing circuit
JP2002074356A (en) Method and device for processing picture and recording medium

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060110