JPH1011583A - Class classification adaptation processor and learning device/method for class classification adaptation processing - Google Patents

Class classification adaptation processor and learning device/method for class classification adaptation processing

Info

Publication number
JPH1011583A
JPH1011583A JP8186720A JP18672096A JPH1011583A JP H1011583 A JPH1011583 A JP H1011583A JP 8186720 A JP8186720 A JP 8186720A JP 18672096 A JP18672096 A JP 18672096A JP H1011583 A JPH1011583 A JP H1011583A
Authority
JP
Japan
Prior art keywords
processing
learning
class
signal
information signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8186720A
Other languages
Japanese (ja)
Inventor
Tetsujiro Kondo
哲二郎 近藤
Hideo Nakaya
秀雄 中屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP8186720A priority Critical patent/JPH1011583A/en
Publication of JPH1011583A publication Critical patent/JPH1011583A/en
Pending legal-status Critical Current

Links

Landscapes

  • Picture Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To learn a coefficient for improving the resolution of an input picture signal, an SN ratio and a luminance value and reducing compression distortion and to generate optimum data through the use of the coefficient. SOLUTION: In a processing circuit 3, the processing f(x) of LPF, compression expansion, a gain and offset is executed for the input picture signal. A class code (index) is generated from the picture signal to which the processing f(x) is executed and the generated class code is supplied to a learning circuit 7. Then, the picture signal to which the processing f(x) is executed, a teaching signal, the picture signal to which the processing f(x) is executed and the input picture signal, the input picture signal and the teacher signal are supplied to the learning circuit 7 by changing over switches 4 and 6. The learning circuit 7 executes learning by a least square method for obtaining the coefficient of a linear combination expression from the signals.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、クラス分類適応
処理を用いて、画像信号および/または音声信号の、例
えば解像度、SN比、圧縮歪みおよび輝度値のさらなる
改善を行うことができるクラス分類適応処理装置、クラ
ス分類適応処理用の学習装置および学習方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a classification adaptation method capable of further improving, for example, a resolution, a signal-to-noise ratio, a compression distortion and a luminance value of an image signal and / or an audio signal using a classification adaptation process. The present invention relates to a processing device, a learning device for class classification adaptive processing, and a learning method.

【0002】[0002]

【従来の技術】従来、クラス分類適応処理を応用したも
のとして、SD(Standerd Definition )からHD(Hi
gh Deginittion)への画像情報変換装置、時空間モデル
符号化、MUSEの画質改善、コンポジット信号のY/
C分離等さまざまなアプリケーションのアイデアが提案
されている。すなわち、ある大きさの時空間の画素をブ
ロック化し、これを何らかの手法、例えばADRC(Ad
aptive Dynamic Range Coding )によりクラス分類し、
このクラス毎に線形1次結合でモデル化、つまり予測式
を立て、クラス毎に記憶された係数と画素との演算によ
り最適なデータを求めることができる。このとき、クラ
ス毎に記憶された係数は、予め最小自乗法等を用いて学
習することにより、得られたものである。
2. Description of the Related Art Conventionally, as an application of class classification adaptive processing, SD (Standed Definition) to HD (Hi
gh Deginittion) image information conversion device, spatio-temporal model coding, MUSE image quality improvement, composite signal Y /
Various application ideas such as C separation have been proposed. That is, a pixel of a certain size of the spatiotemporal is divided into blocks, and this is subjected to some method, for example, ADRC (Ad
aptive Dynamic Range Coding)
Modeling is performed by linear linear combination for each class, that is, a prediction formula is established, and optimal data can be obtained by calculating the coefficients and pixels stored for each class. At this time, the coefficients stored for each class are obtained by learning using a least squares method or the like in advance.

【0003】[0003]

【発明が解決しようとする課題】このように、クラス分
類適応処理を用いて解像度補償等の処理を行う場合、あ
る程度の効果が得られる。この発明は、上述のクラス分
類適応処理の改良に関するものである。すなわち、この
発明の目的は、クラス分類適応処理に使用される係数を
獲得するために、学習時に何らかの処理を施し、その係
数を使用することによって、さらなる解像度、SN比、
圧縮歪みおよび輝度値の改善を可能とするクラス分類適
応処理装置、クラス分類適応処理用の学習装置および学
習方法を提供することにある。
As described above, when processing such as resolution compensation is performed using the classification adaptive processing, a certain effect can be obtained. The present invention relates to an improvement of the above-described classification adaptive processing. That is, an object of the present invention is to perform some processing at the time of learning to obtain coefficients used in the classification adaptive processing, and to use the coefficients to further increase the resolution, SNR,
An object of the present invention is to provide a class classification adaptive processing device, a learning device for a class classification adaptive process, and a learning method capable of improving compression distortion and a luminance value.

【0004】[0004]

【課題を解決するための手段】請求項1に記載の発明
は、予測値あるいは補正値を生成するためのクラス分類
適応処理において、入力情報信号からクラス情報を生成
するクラス生成手段と、予めクラス毎に最小自乗法によ
る学習処理で求められた係数が記憶された記憶媒体と、
クラス情報に応答して係数が記憶媒体から読み出され、
線形1次結合式の演算によって、予測値を生成する演算
手段とを有し、係数は、入力情報信号に対して処理を施
し、処理が施された入力情報信号からクラスを生成し、
処理が施された入力情報信号と、教師信号との誤差の自
乗和を最小とするように、学習によって獲得されたこと
を特徴とするクラス分類適応処理装置である。
According to a first aspect of the present invention, a class generating means for generating class information from an input information signal in a class classification adaptive process for generating a predicted value or a correction value includes: A storage medium in which coefficients obtained by a learning process using the least squares method are stored for each of the
The coefficient is read from the storage medium in response to the class information,
Calculating means for generating a predicted value by an operation of a linear linear combination expression, wherein the coefficient performs processing on the input information signal, generates a class from the processed input information signal,
A class classification adaptive processing device characterized by being obtained by learning so as to minimize the square sum of an error between a processed input information signal and a teacher signal.

【0005】また、請求項3に記載の発明は、予測値あ
るいは補正値を生成するために、入力情報信号の複数の
サンプルと演算される係数を予め学習によりクラス毎に
求めるようにしたクラス分類適応処理用の学習装置にお
いて、入力情報信号に対して処理を施す処理手段と、処
理が施された入力情報信号からクラス情報を生成するク
ラス生成手段と、処理が施された入力情報信号と、教師
信号との誤差の自乗和が最小となるように、係数を学習
する学習手段とからなることを特徴とするクラス分類適
応処理用の学習装置である。
According to a third aspect of the present invention, there is provided a class classification in which a plurality of samples of an input information signal and a coefficient to be calculated are previously obtained for each class by learning in order to generate a prediction value or a correction value. In the learning device for adaptive processing, processing means for performing processing on the input information signal, class generating means for generating class information from the processed input information signal, and the processed input information signal, A learning device for class classification adaptive processing, comprising learning means for learning coefficients so that the sum of squares of the error with the teacher signal is minimized.

【0006】さらに、請求項10に記載の発明は、予測
値あるいは補正値を生成するために、入力情報信号の複
数のサンプルと演算される係数を予め学習によりクラス
毎に求めるようにしたクラス分類適応処理用の学習方法
において、入力情報信号に対して処理を施すステップ
と、処理が施された入力情報信号からクラス情報を生成
するステップと、処理が施された入力情報信号と、教師
信号との誤差の自乗和が最小となるように、係数を学習
するステップとからなることを特徴とするクラス分類適
応処理用の学習方法である。
Further, according to a tenth aspect of the present invention, in order to generate a predicted value or a correction value, a plurality of samples of an input information signal and a coefficient to be calculated are previously obtained for each class by learning. In a learning method for adaptive processing, a step of performing processing on an input information signal; a step of generating class information from the processed input information signal; a processing of the input information signal; Learning a coefficient so that the sum of the squares of the error of the error is minimized.

【0007】この発明では、入力画像信号に対してLP
F(ローパスフィルタ)処理、圧縮伸長、ゲインおよび
/またはオフセット等の処理f(x)が施される。処理
f(x)、例えばLPFの場合、LPFが施された入力
画像信号は、例えばサンプリングレートが1/2に落と
され、教師信号との最小自乗法により係数が求められ
る。求められた係数を使用したクラス分類適応処理で
は、入力信号の解像度が4倍に改善された信号へ変換さ
れ、出力される。
According to the present invention, an LP is applied to an input image signal.
Processing f (x) such as F (low-pass filter) processing, compression / expansion, gain and / or offset is performed. In the case of processing f (x), for example, an LPF, the input image signal to which the LPF has been applied is reduced in sampling rate, for example, to 2, and a coefficient is obtained by a least square method with a teacher signal. In the classification adaptive processing using the obtained coefficients, the input signal is converted into a signal whose resolution is improved four times, and is output.

【0008】[0008]

【発明の実施の形態】以下、この発明について図面を参
照して説明する。図1に、この発明のクラス分類適応処
理用の学習装置の一般的な構成のブロック図を示す。1
で示す入力端子から供給される入力信号が処理回路3、
スイッチ4の入力端子Bおよびスイッチ6の入力端子D
に供給される。入力端子2から供給される教師信号は、
スイッチ4の入力端子Aに供給される。このとき、図中
点線で接続されるように、入力信号と教師信号とが同じ
信号であっても良く、または、教師信号をダウンサンプ
リングする等の処理をしたものでも良い。
DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a general configuration of a learning device for class classification adaptive processing according to the present invention. 1
The input signal supplied from the input terminal indicated by
Input terminal B of switch 4 and input terminal D of switch 6
Supplied to The teacher signal supplied from the input terminal 2 is
It is supplied to the input terminal A of the switch 4. At this time, the input signal and the teacher signal may be the same signal as shown by the dotted lines in the figure, or a signal obtained by performing processing such as downsampling the teacher signal may be used.

【0009】処理回路3では、入力信号に対して施す処
理f(x)として、後述するように、例えばLPF処
理、圧縮伸長、ゲインおよび/またはオフセット等があ
る。また、圧縮伸長の一例は、MPEG2のエンコーダ
およびデコーダである。処理f(x)が施された補正対
象用の信号は、クラス生成回路5およびスイッチ6の入
力端子Cへ供給される。クラス生成回路5では、処理f
(x)が施された信号からクラス情報(以下、インデッ
クスと称する)を生成し、このインデックスは、学習回
路7へ供給される。
In the processing circuit 3, the processing f (x) applied to the input signal includes, for example, LPF processing, compression / expansion, gain and / or offset, as described later. An example of the compression / decompression is an MPEG2 encoder and decoder. The correction target signal subjected to the processing f (x) is supplied to the class generation circuit 5 and the input terminal C of the switch 6. In the class generation circuit 5, the processing f
Class information (hereinafter, referred to as an index) is generated from the signal subjected to (x), and the index is supplied to the learning circuit 7.

【0010】上述の構成において、スイッチ4が入力端
子Aを選択し、スイッチ6が入力端子Cを選択している
場合、学習回路7では、入力端子2からの教師信号と、
処理f(x)が施された入力信号とから最小自乗法によ
る学習が行われ、線形一次結合式の係数が獲得される。
教師信号と処理f(x)が施された入力信号との誤差の
自乗の最小値を求めることによって、係数が獲得され
る。また、スイッチ4が入力端子Aを選択し、スイッチ
6が入力端子Dを選択している場合、学習回路7では、
入力端子2からの教師信号と、入力端子1からの入力信
号とから学習が行われ、スイッチ4が入力端子Bを選択
し、スイッチ6が入力端子Cを選択している場合、教師
信号として入力端子1からの入力信号と、処理f(x)
が施された入力信号とから学習が行われる。
In the above configuration, when the switch 4 selects the input terminal A and the switch 6 selects the input terminal C, the learning circuit 7 outputs the teacher signal from the input terminal 2 and
Learning by the least squares method is performed from the input signal that has been subjected to the processing f (x), and coefficients of a linear linear combination expression are obtained.
The coefficient is obtained by finding the minimum value of the square of the error between the teacher signal and the input signal subjected to the processing f (x). When the switch 4 selects the input terminal A and the switch 6 selects the input terminal D, the learning circuit 7
Learning is performed from the teacher signal from the input terminal 2 and the input signal from the input terminal 1. When the switch 4 selects the input terminal B and the switch 6 selects the input terminal C, the input is performed as the teacher signal. Input signal from terminal 1 and processing f (x)
The learning is performed from the input signal to which is applied.

【0011】学習回路7によって、獲得された係数は、
出力端子8から出力され、図示しないがメモリ等の記憶
媒体に記憶される。この図1は、入力信号に対して何ら
かの処理f(x)を行った信号からクラス生成を行い、
且つその入力信号と教師信号とから最小自乗法による学
習を行うための一般的な構成を示したものである。上述
したように、このブロック図では、スイッチ4の入力端
子Aおよびスイッチ6の入力端子Dがそれぞれ選択され
ているとき、従来と同様に教師信号と入力信号を使用し
て学習するための経路も確保される。
The coefficients obtained by the learning circuit 7 are as follows:
The data is output from the output terminal 8 and stored in a storage medium (not shown) such as a memory. In FIG. 1, a class is generated from a signal obtained by performing some processing f (x) on an input signal,
In addition, it shows a general configuration for performing learning by the least square method from the input signal and the teacher signal. As described above, in this block diagram, when the input terminal A of the switch 4 and the input terminal D of the switch 6 are respectively selected, the path for learning using the teacher signal and the input signal is the same as in the related art. Secured.

【0012】このように、得られた係数を用いたクラス
分類適応処理の一般的な構成を図2に示す。入力端子1
1から供給される入力信号がクラス生成回路12および
遅延(DL)回路14へ供給される。クラス生成回路1
2では、供給された入力信号のクラスが生成され、生成
されたクラスは、学習により得られた係数が格納されて
いる係数メモリ13へ供給される。係数メモリ13で
は、クラス生成回路12からのクラスに応答して係数が
読み出され、読み出された係数は、予測演算回路15へ
供給される。予測演算回路15では、遅延回路14によ
って、所定時間遅延された入力信号と係数との演算によ
り、最適なデータが獲得される。
FIG. 2 shows a general configuration of the classification adaptive processing using the obtained coefficients. Input terminal 1
The input signal supplied from 1 is supplied to the class generation circuit 12 and the delay (DL) circuit 14. Class generation circuit 1
In step 2, a class of the supplied input signal is generated, and the generated class is supplied to a coefficient memory 13 in which coefficients obtained by learning are stored. In the coefficient memory 13, the coefficient is read in response to the class from the class generation circuit 12, and the read coefficient is supplied to the prediction calculation circuit 15. In the prediction calculation circuit 15, the delay circuit 14 obtains optimal data by calculating the input signal delayed by a predetermined time and a coefficient.

【0013】上述した、この発明の一般的な構成におい
て、処理回路3がLPF処理を行うものであり、それに
よって、解像度を上げるようにした第1の実施例を図3
を用いて説明する。まず、同一の被写体に対して、2種
類の解像度の異なる撮像系で撮像された映像信号を使用
する。このとき、解像度の低いほうの撮像系で得られた
入力信号は、例えば13.5MHzのサンプリング周波数
のA/D変換器によって、アナログ信号からディジタル
信号へ変換され、この映像信号をLSと表す。解像度の
高いほうの撮像系で得られた教師信号は、例えば27.
0MHzのサンプリング周波数のA/D変換器によって、
アナログ信号からディジタル信号へ変換され、この映像
信号をHSと表す。
In the above-described general configuration of the present invention, the processing circuit 3 performs the LPF processing, thereby increasing the resolution according to a first embodiment shown in FIG.
This will be described with reference to FIG. First, video signals captured by the imaging system having two different resolutions for the same subject are used. At this time, the input signal obtained by the imaging system having the lower resolution is converted from an analog signal to a digital signal by an A / D converter having a sampling frequency of 13.5 MHz, for example, and this video signal is represented as LS. The teacher signal obtained by the higher resolution imaging system is, for example, 27.
With an A / D converter with a sampling frequency of 0 MHz,
The analog signal is converted to a digital signal, and this video signal is represented as HS.

【0014】このように、入力信号(映像信号LS)と
教師信号(映像信号HS)とを用いて、例えば上述の図
1では、スイッチ4の入力端子Aとスイッチ6の入力端
子Dが接続された状態で学習することによって、低いサ
ンプリングレートの信号から2倍の高いサンプリングレ
ートの信号を生成するための係数が算出される。
As described above, using the input signal (video signal LS) and the teacher signal (video signal HS), for example, in FIG. 1, the input terminal A of the switch 4 and the input terminal D of the switch 6 are connected. By learning in a state in which the signal is sampled, a coefficient for generating a signal having a twice as high sampling rate from a signal having a low sampling rate is calculated.

【0015】また、図1中のスイッチ4の入力端子Aと
スイッチ6の入力端子Cが接続された状態で学習するこ
とによって、低いサンプリングレートの信号から4倍の
高いサンプリングレートの信号を生成するための係数が
算出される。これは、学習によって生成される係数が入
力信号に対して、処理f(x)として、例えばLPF処
理が行われ、供給された入力信号の画素数は、落とさ
ず、入力信号の帯域のみが落とされ、さらにサンプリン
グレートを図3Aに示すように、例えば1/2に落とし
た信号(LPF−LS)と教師信号とを使用しているた
めである。
By learning while the input terminal A of the switch 4 and the input terminal C of the switch 6 in FIG. 1 are connected, a signal having a four-fold higher sampling rate is generated from a signal having a lower sampling rate. Is calculated. This is because, for example, LPF processing is performed as a process f (x) on a coefficient generated by learning on the input signal, and the number of pixels of the supplied input signal is not reduced, and only the band of the input signal is reduced. This is because, as shown in FIG. 3A, a signal (LPF-LS) whose sampling rate is reduced to half, for example, and a teacher signal are used.

【0016】より具体的には、入力信号LS(13.5
MHz)に対してLPFが施された信号LPF−LS
(6.75MHz)と教師信号HS(27.0MHz)との
学習によって、得られた係数を使用して、図3Bに示す
ように、低いサンプリングレートの入力信号LS(1
3.5MHz)から4倍の高いサンプリングレートの信号
(54.0MHz)を生成することができる。
More specifically, the input signal LS (13.5
(Mhz) signal LPF-LS
(6.75 MHz) and the learning signal HS (27.0 MHz), using the obtained coefficients, as shown in FIG. 3B, the input signal LS (1
It is possible to generate a signal (54.0 MHz) having a sampling rate four times higher than that of 3.5 MHz.

【0017】従来の学習方法では、入力された信号か
ら、その信号の2倍の解像度を得ることしかできなかっ
たが、この実施例を適用する学習方法により獲得された
係数を使用して解像度を上げる処理を行うとき、通常の
サンプリングレートの入力信号に対して、4倍の解像度
の信号を作りだすことが可能となる。
In the conventional learning method, it was only possible to obtain twice the resolution of the input signal from the input signal. However, the resolution was obtained by using the coefficient obtained by the learning method to which this embodiment is applied. When performing the raising process, it is possible to create a signal having a resolution four times that of an input signal having a normal sampling rate.

【0018】次に、第2の実施例として、SN比の改善
を行う場合の学習を説明する。一般に、カメラで撮影さ
れた映像信号は、伝送系や記録再生系を通ると何らかの
雑音が付加され、SN比が劣化する。通常は、カメラ出
力を教師信号とし、伝送系や記録再生系を通ってきた信
号を入力信号として、SN比を改善するための係数を学
習する。この係数を使用してSN改善を行う場合、入力
信号に予期できない大きさの雑音が加わった場合には、
大幅な改善を望むことはできない。
Next, as a second embodiment, learning when the SN ratio is improved will be described. Generally, when a video signal captured by a camera passes through a transmission system or a recording / reproducing system, some noise is added to the video signal, and the S / N ratio deteriorates. Normally, a coefficient for improving the S / N ratio is learned by using a camera output as a teacher signal and a signal passed through a transmission system or a recording / reproducing system as an input signal. When performing SN improvement using this coefficient, when an unexpected amount of noise is added to the input signal,
We cannot hope for a significant improvement.

【0019】そこで、この第2の実施例では、カメラ出
力である入力信号に、処理f(x)として、大きさや発
生頻度等の特性をコントロールできる乱数を、例えば計
算機で発生させ、これを加えることで人工的な雑音で汚
れた信号を作り、教師信号と学習することでSN比の改
善のための係数を算出する。こうすることで、想定した
雑音特性に対する係数の学習を容易に制御することが可
能となり、改善効果を上げることができる。なお、従来
の伝送系や記録再生系を通ってきた信号とあわせて学習
することでSN比の改善効果が大幅に向上することが期
待される。
Therefore, in the second embodiment, a random number capable of controlling characteristics such as the magnitude and the frequency of occurrence is generated by a computer, for example, as a process f (x), and added to the input signal output from the camera. Thus, a signal contaminated with artificial noise is created, and a coefficient for improving the SN ratio is calculated by learning with a teacher signal. By doing so, it is possible to easily control the learning of the coefficient for the assumed noise characteristic, and it is possible to improve the improvement effect. It is expected that the effect of improving the S / N ratio will be significantly improved by learning together with the signal transmitted through the conventional transmission system and recording / reproducing system.

【0020】さらに次に、第3の実施例として、圧縮歪
みの改善を行う場合の学習を説明する。インターネット
等を通じた画像の伝送の場合、通常、画像は、圧縮され
て伝送されるため、コンピュータのモニタに再現される
画像は、独特な歪みをもったものが多い。また、TV放
送においても、非圧縮の画像信号ばかりでなく、MPE
G等で圧縮された画像も扱われるようになってきてお
り、圧縮による画像歪みが問題となっている。
Next, as a third embodiment, learning in the case of improving compression distortion will be described. In the case of transmitting an image via the Internet or the like, the image is usually transmitted after being compressed, so that the image reproduced on a computer monitor often has a unique distortion. In TV broadcasting, not only uncompressed image signals but also MPE
Images compressed by G or the like are also being handled, and image distortion due to compression has become a problem.

【0021】この圧縮による画像の歪みは、一般には圧
縮方式によって異なる。そこで、この第3の実施例で
は、入力画像信号に対して、処理f(x)として、想定
される種々の圧縮方式の圧縮伸長処理を行ったものと、
教師信号である非圧縮の画像信号とを用いて、圧縮歪み
の改善のための係数を学習することで、どのような未知
の入力信号に対しても、獲得した係数を用いたクラス分
類適応処理を行うことで、圧縮の歪みの改善を行うこと
が可能となる。
The image distortion due to the compression generally differs depending on the compression method. Thus, in the third embodiment, the input image signal is subjected to compression / expansion processing of various assumed compression methods as processing f (x), and
Classification adaptive processing using acquired coefficients for any unknown input signal by learning coefficients for improving compression distortion using uncompressed image signals that are teacher signals Is performed, it is possible to improve compression distortion.

【0022】また次に、第4の実施例として、輝度補正
を行う場合の学習を説明する。図1に示したクラス分類
適応処理用の学習装置を輝度補正用に、より具体化した
ブロック図を図4に示す。21で示す入力端子から供給
される画像信号の内、輝度信号YがA/D変換器22に
よって、アナログ信号からディジタル信号へ変換され
る。このA/D変換器22では、例えば13.5MHzの
クロックでサンプリングが行われた場合、画像のサイズ
は、1フレームあたり、横720画素×縦480ライン
程度となる。ディジタル信号に変換された輝度信号は、
A/D変換器22から学習回路23およびゲイン/オフ
セット回路24へ供給される。
Next, as a fourth embodiment, learning when performing luminance correction will be described. FIG. 4 shows a more specific block diagram of the learning device for class classification adaptive processing shown in FIG. 1 for luminance correction. The luminance signal Y of the image signals supplied from the input terminal 21 is converted from an analog signal to a digital signal by the A / D converter 22. In the A / D converter 22, for example, when sampling is performed with a clock of 13.5 MHz, the size of an image is about 720 pixels horizontally × 480 lines vertically in one frame. The luminance signal converted to a digital signal is
The signal is supplied from the A / D converter 22 to the learning circuit 23 and the gain / offset circuit 24.

【0023】ゲイン/オフセット回路24では、供給さ
れた輝度信号のゲインおよび/またはオフセットを変化
させる処理が処理f(x)として、実行される。ゲイン
は、照明の明るさ(コントラスト)に関連し、オフセッ
トは、照明の平均的な明るさに関連したものである。こ
のとき、ゲインは、常に1とならなくても良く、0.
9、1.2等の値でも良い。ゲインおよび/またはオフ
セットの処理がなされた輝度信号は、平均値/標準偏差
回路25および遅延回路27へ供給される。
In the gain / offset circuit 24, processing for changing the gain and / or offset of the supplied luminance signal is executed as processing f (x). The gain is related to the brightness (contrast) of the lighting, and the offset is related to the average brightness of the lighting. At this time, the gain need not always be 1;
A value such as 9, 1.2 may be used. The luminance signal subjected to the gain and / or offset processing is supplied to the average / standard deviation circuit 25 and the delay circuit 27.

【0024】平均値/標準偏差回路25では、後述する
ように供給された輝度値の例えば1フィールドまたは1
フレーム当りの平均値および標準偏差が求められる。平
均値/標準偏差回路25において、輝度値毎の度数分布
を求めるためのテーブルを持ち、1フィールド期間また
は1フレーム期間に乗算した度数分布から、図5に示す
ように輝度の平均値が算出されると共に、標準偏差も算
出される。算出された平均値および標準偏差は、平均値
/標準偏差回路25から量子化(Q)回路26へ供給さ
れる。輝度の平均値を算出する計算式を式(1)に示
し、標準偏差を算出する計算式を式(2)に示す。
In the average value / standard deviation circuit 25, for example, one field or one of the supplied luminance values is supplied as described later.
The average and standard deviation per frame are determined. The average value / standard deviation circuit 25 has a table for obtaining a frequency distribution for each luminance value, and an average value of luminance is calculated from the frequency distribution multiplied by one field period or one frame period as shown in FIG. In addition, the standard deviation is calculated. The calculated average value and standard deviation are supplied from the average value / standard deviation circuit 25 to the quantization (Q) circuit 26. Formula (1) shows a calculation formula for calculating the average value of luminance, and Formula (2) shows a calculation formula for calculating the standard deviation.

【0025】 平均値=Σ(輝度値×度数)/全度数 (1) 標準偏差=√(Σ(輝度値−平均値)2 ×度数)/全度数) (2) ただし、√( )は、( )内の演算結果を平方根とす
る。
Average value = Σ (brightness value × frequency) / total frequency (1) Standard deviation = √ (Σ (luminance value−average value) 2 × frequency) / total frequency) (2) where √ () is The calculation result in parentheses is the square root.

【0026】量子化回路26では、算出された平均値お
よび標準偏差がそれぞれaビットおよびbビットで量子
化されて、トータルnビット(n=a+b)のコードが
発生される。このnビットのコードが量子化回路26か
ら縮退ROM32へ供給される。さらに、nビットのコ
ードは、いわゆる輝度分布をパターン化したもので、こ
れを見ることで輝度分布が暗い方か、明るい方かに偏っ
ているかどうか、また、輝度分布が平坦か急峻かを判定
することができる。
In the quantization circuit 26, the calculated average value and standard deviation are quantized by a bits and b bits, respectively, to generate a code of total n bits (n = a + b). The n-bit code is supplied from the quantization circuit 26 to the degenerate ROM 32. Further, the n-bit code is a pattern of a so-called luminance distribution, and by looking at this, it is determined whether the luminance distribution is dark or bright, and whether the luminance distribution is flat or steep. can do.

【0027】一方、遅延回路27では、nビットのコー
ドが生成されるまでの時間(1フィールドまたは1フレ
ーム+α)だけ、遅延が行われ、その出力は、ブロック
化回路28および30さらに遅延回路33へ供給され
る。ブロック化回路28では、注目画素の周辺の空間内
の複数の画素が選択され、ブロック化される。そのブロ
ック化された画素は、ADRC回路29へ供給される。
ADRC回路29では、後述するようにブロック化され
た画素から最大値および最小値が選択され、各画素が再
量子化されmビットのコードが発生され、縮退ROM3
2へ供給される。このコードは、いわゆる空間の輝度の
変化の様子をパターン化したものである。mビットのコ
ードによるクラス分類は、輝度補正そのものより、S/
N比の改善、解像度の改善等に効果をもたらす。
On the other hand, in the delay circuit 27, a delay is performed for a time (one field or one frame + α) until an n-bit code is generated, and the output is sent to the blocking circuits 28 and 30 and the delay circuit 33. Supplied to In the blocking circuit 28, a plurality of pixels in the space around the target pixel are selected and blocked. The blocked pixels are supplied to the ADRC circuit 29.
In the ADRC circuit 29, the maximum value and the minimum value are selected from the blocked pixels as described later, and each pixel is requantized to generate an m-bit code.
2. This code is a pattern in which the so-called spatial luminance change is performed. The class classification based on the m-bit code is based on S / S rather than the brightness correction itself.
This has the effect of improving the N ratio, improving the resolution, and the like.

【0028】ブロック化回路30において、補正しよう
とする注目画素の周辺の空間内の複数の画素が選択さ
れ、ブロック化される。このブロック化回路30におい
て実行されるブロック化と、上述したブロック化回路2
8において実行されるブロック化とは、異なっても良
い。すなわち、ブロック化回路28において選択される
画素と、ブロック化回路30において選択される画素と
は異なっても何ら問題はない。ブロック化された画素
は、ブロック化回路30から平均化回路31へ供給され
る。平均化回路31では、注目画素付近の輝度の平均値
が算出され、算出された平均値は、シフトされ、p(<
8)ビットに量子化され、縮退ROM32へ供給され
る。
In the blocking circuit 30, a plurality of pixels in the space around the pixel of interest to be corrected are selected and blocked. The blocking performed by the blocking circuit 30 and the blocking circuit 2 described above
8 may differ from the blocking performed. That is, there is no problem even if the pixel selected in the blocking circuit 28 is different from the pixel selected in the blocking circuit 30. The blocked pixels are supplied from the blocking circuit 30 to the averaging circuit 31. In the averaging circuit 31, the average value of the luminance near the pixel of interest is calculated, and the calculated average value is shifted, and p (<
8) The data is quantized into bits and supplied to the degenerate ROM 32.

【0029】このように、ブロック化された各画素の輝
度の平均値が算出され、すなわち輝度レベルをクラス分
類の1つとすることで、レベル方向での補正の仕方に変
化を持たせることができる。例えば、明るい部分や暗い
部分のみを補正したり、γ特性を考慮した補正を行うこ
とが可能となる。また、輝度レベルの平均化による作用
は、輝度補正が過敏に利くのを防止する役割も果たす。
As described above, the average value of the luminance of each of the blocked pixels is calculated, that is, by setting the luminance level as one of the class classifications, the manner of correction in the level direction can be varied. . For example, it is possible to correct only a bright part or a dark part, or to perform correction in consideration of the γ characteristic. In addition, the function of averaging the luminance levels also serves to prevent the luminance correction from being overly sensitive.

【0030】以上の説明で、3種類のクラス分類コード
が生成されたが、これを単純に組み合わると分類数が膨
大になり、後述する係数ROMの容量が膨大になる。そ
こで、量子化回路26からのnビット、ADRC回路2
9からのmビットおよび平均化回路31からのpビット
は、縮退ROM32において、供給された各ビット数を
縮退させる。具体的には、縮退ROM32では、クラス
を縮退させるために、(n+m+p)ビットからqビッ
トに減少させたクラスコード(インデックス)が発生さ
れる。このように、縮退ROM32から最終的にqビッ
トのクラスコードが発生し、そのqビットのクラスコー
ドは、学習回路23へ供給される。
In the above description, three types of class classification codes are generated. If these are simply combined, the number of classifications becomes enormous, and the capacity of a coefficient ROM described later becomes enormous. Therefore, the n-bit ADRC circuit 2 from the quantization circuit 26
The m bits from 9 and the p bits from the averaging circuit 31 degenerate the supplied bits in the degeneration ROM 32. Specifically, in the degenerate ROM 32, a class code (index) reduced from (n + m + p) bits to q bits is generated in order to degenerate the class. In this way, a q-bit class code is finally generated from the degenerate ROM 32, and the q-bit class code is supplied to the learning circuit 23.

【0031】なお、縮退の方法について、ここでは詳細
を述べないが、(n+m+p)ビットで学習した全クラ
スに対応する係数組から、ベクトル量子化的手法とし
て、係数間ノルムの小さいものをまとめて縮退させる方
法等を使用するものとする。すなわち、2つの係数組の
間で、対応する係数の距離(係数間ノルム)を求め、こ
れに基づいて、係数の組をまとめる。
Although the details of the method of degeneracy will not be described here, from the coefficient sets corresponding to all the classes learned with (n + m + p) bits, the ones with small inter-coefficient norms are summarized as vector quantization techniques. A method of degenerating shall be used. That is, a distance (norm between coefficients) of a corresponding coefficient is obtained between two coefficient sets, and the coefficient sets are put together based on the distance.

【0032】遅延合わせが行われる遅延回路33の出力
がブロック化回路34へ供給され、そのブロック化回路
34では、注目画素の周辺の複数の画素がブロック化さ
れる。ブロック化された各画素値は、学習回路23へ供
給される。
The output of the delay circuit 33 for which the delay adjustment is performed is supplied to a blocking circuit 34, and the blocking circuit 34 blocks a plurality of pixels around the target pixel. Each of the blocked pixel values is supplied to the learning circuit 23.

【0033】そして、上述したように、A/D変換器2
2からの教師用の画像信号が学習回路23に供給され
る。学習回路23では、nタップの線形一時結合モデル
を形成し、その各係数を学習回路23で算出する。算出
された各係数は、出力端子35から取り出され、係数R
OMへ格納される。また、学習回路23は、後述する最
小自乗法にてクラス毎に係数を学習するものである。学
習により得られた係数は、出力端子35を介して出力さ
れ、メモリ等の記憶媒体にクラス毎に格納される。
Then, as described above, the A / D converter 2
2 are supplied to the learning circuit 23. The learning circuit 23 forms an n-tap linear temporary combination model, and the respective coefficients are calculated by the learning circuit 23. Each calculated coefficient is taken out from the output terminal 35 and the coefficient R
Stored in OM. The learning circuit 23 learns coefficients for each class by the least square method described later. The coefficient obtained by the learning is output via the output terminal 35 and stored in a storage medium such as a memory for each class.

【0034】ここで、平均値/標準偏差回路25の一例
を図6に示し説明する。入力端子41から輝度値が供給
される。供給された輝度値は、輝度度数分布テーブル4
2へ供給され、輝度度数分布テーブル42において、例
えば1フィールドまたは1フレーム内の輝度レベルの度
数分布のテーブルが生成される。生成されたテーブルに
基づいて、平均値算出回路43では、平均値が式(1)
により算出され、算出された平均値は、標準偏差算出回
路44へ供給されると共に、出力端子45から取り出さ
れる。標準偏差算出回路44では、度数分布のテーブル
と平均値から標準偏差が式(2)により算出され、算出
された標準偏差は、出力端子46から取り出される。取
り出された標準偏差が小さいときは、度数分布の幅は狭
く、標準偏差が大きいときは、度数分布の幅は広くな
る。
Here, an example of the average value / standard deviation circuit 25 will be described with reference to FIG. A luminance value is supplied from an input terminal 41. The supplied luminance value is stored in the luminance frequency distribution table 4.
2 and generates a frequency distribution table of the luminance levels in one field or one frame in the luminance frequency distribution table 42, for example. Based on the generated table, the average value is calculated by the average value calculation circuit 43 according to the equation (1).
Is calculated, and the calculated average value is supplied to the standard deviation calculation circuit 44 and taken out from the output terminal 45. In the standard deviation calculating circuit 44, the standard deviation is calculated from the frequency distribution table and the average value by the equation (2), and the calculated standard deviation is taken out from the output terminal 46. When the extracted standard deviation is small, the width of the frequency distribution is narrow, and when the standard deviation is large, the width of the frequency distribution is wide.

【0035】ここで、ADRC回路29の構成の一例を
図7に示し説明する。入力端子51からブロック化され
たデータが供給される。供給されたデータは、最大値検
出回路52、最小値検出回路53および遅延回路54へ
供給される。最大値検出回路52において、ブロック内
の画素値の最大となる値が検出され、最小値検出回路5
3において、ブロック内の画素値の最小となる値が検出
される。減算器55では、最大値から最小値が減算さ
れ、そのブロックのダイナミックレンジDRが算出され
る。算出されたダイナミックレンジDRは、適応再量子
化回路57へ供給される。
Here, an example of the configuration of the ADRC circuit 29 will be described with reference to FIG. Blocked data is supplied from the input terminal 51. The supplied data is supplied to a maximum value detection circuit 52, a minimum value detection circuit 53, and a delay circuit 54. The maximum value detection circuit 52 detects the maximum value of the pixel value in the block, and the minimum value detection circuit 5
At 3, the smallest value of the pixel values in the block is detected. The subtractor 55 subtracts the minimum value from the maximum value and calculates the dynamic range DR of the block. The calculated dynamic range DR is supplied to the adaptive requantization circuit 57.

【0036】遅延回路54では、最大値検出回路52お
よび最小値検出回路53がそれぞれ検出にかかる時間遅
延が行われ、1画素ずつ出力される。減算器56では、
ブロック化された各画素から最小値が減算され、その減
算値は、適応再量子化回路57へ供給される。適応再量
子化回路57では、ダイナミックレンジDRに応じた所
定の量子化ステップ幅を用いて、減算値の量子化を画素
毎に行う。並列化回路58では、量子化された画素がブ
ロック単位で並列化され、出力端子59からコード化デ
ータとして出力される。
In the delay circuit 54, the maximum value detection circuit 52 and the minimum value detection circuit 53 are each subjected to a time delay for detection, and are output one pixel at a time. In the subtractor 56,
The minimum value is subtracted from each of the blocked pixels, and the subtracted value is supplied to the adaptive requantization circuit 57. The adaptive requantization circuit 57 quantizes the subtraction value for each pixel using a predetermined quantization step width according to the dynamic range DR. In the parallelization circuit 58, the quantized pixels are parallelized in block units and output as coded data from an output terminal 59.

【0037】学習の方法として、多数の補正対象用の入
力信号の画素の値と教師用の画像信号の画素の値との関
係を求める最小自乗法を採用する。まず、上述した値の
間に線形1次結合の関係があると仮定し、以下に線形一
次結合モデルを示す。
As a learning method, a least-squares method is used to determine the relationship between the pixel values of a large number of input signals for correction and the pixel values of a teacher image signal. First, it is assumed that there is a linear linear combination between the above-described values, and a linear linear combination model is shown below.

【0038】線形一次結合モデル:(観測方程式) XW=Y (3)Linear linear combination model: (observation equation) XW = Y (3)

【数1】 (Equation 1)

【0039】最小自乗法による解放:(残差方程式)Release by the method of least squares: (residual equation)

【数2】 (Equation 2)

【0040】式(5)から、各wi の最確値を見いだす
には、
From equation (5), to find the most probable value of each w i ,

【数3】 を最小にする条件、すなわち(Equation 3) The condition that minimizes

【0041】[0041]

【数4】 なる、N個の条件を入れてこれを満足するw1 、w2
・・・、wN を見いだせばよい。式(5)より、
(Equation 4) , W 1 , w 2 ,
... Find out w N. From equation (5),

【0042】[0042]

【数5】 となり、式(6)条件をi=1,2,・・・,Nについ
て立てればそれぞれ、
(Equation 5) When the condition of Expression (6) is established for i = 1, 2,..., N,

【0043】[0043]

【数6】 が得られる。ここで、式(5)および式(8)から次式
の正規方程式が得られる。
(Equation 6) Is obtained. Here, the following normal equation is obtained from the equations (5) and (8).

【0044】[0044]

【数7】 これは、ちょうど未知数の数N個だけある連立方程式で
あるから、これより最確値たる各wi を求めることがで
きる。
(Equation 7) Since this is a simultaneous equation having exactly N number of unknowns, each w i that is the most probable value can be obtained.

【0045】正確には、式(9)でwi にかかるTo be more precise, in equation (9), w i

【数8】 のマトリクスが正則であれば解くことができる。(ただ
し、k=1,2,・・・,N、l=1,2,・・・,
N)実際には、Gauss-Jordanの消去法(掃き出し法)を
用いて連立方程式を解くことになる。
(Equation 8) Can be solved if the matrix is regular. (Where k = 1, 2,..., N, l = 1, 2,.
N) Actually, simultaneous equations are solved using the Gauss-Jordan elimination method (sweep-out method).

【0046】次に、最小自乗法の演算を行うハードウェ
アのブロック図を図8に示す。図4の学習のブロック図
において、補正対象の画素を中心とするブロックの画素
値x1 〜xN と、その画素に対応する教師用の画素値δ
yが入力されると共に、クラスコード(インデックス)
が入力される。最小自乗法の回路は、大きく分けて正規
方程式生成回路61とCPU62からなり、その正規方
程式生成回路61は、乗算器アレイ63、加算メモリ6
4およびデコード部65からなる。CPU62は、係数
を求めるため、例えば掃き出し法の演算を行うCPUか
らなる。乗算器アレイ63には、注目画素位置に対して
1組のメモリ(またはレジスタ)が存在し、加算メモリ
64には、クラスの数だけ組のメモリ(またはレジス
タ)が存在する。また、デコード部65では、供給され
るクラスコード(インデックス)がデコードされる。
Next, FIG. 8 shows a block diagram of hardware for performing the operation of the least squares method. In the learning block diagram of FIG. 4, the pixel values x 1 to x N of the block centering on the pixel to be corrected and the teacher pixel value δ corresponding to the pixel
y is input and the class code (index)
Is entered. The circuit of the least square method is roughly divided into a normal equation generation circuit 61 and a CPU 62. The normal equation generation circuit 61 includes a multiplier array 63, an addition memory 6
4 and a decoding unit 65. The CPU 62 includes, for example, a CPU that performs an operation of a sweeping-out method to obtain a coefficient. The multiplier array 63 has one set of memories (or registers) for the target pixel position, and the addition memory 64 has as many sets of memories (or registers) as the number of classes. In the decoding unit 65, the supplied class code (index) is decoded.

【0047】ここで、乗算器アレイ63について、図9
を用いて説明する。補正対象の画素を中心としてブロッ
クの画素値と対応する教師用の画素値δyは、正規方程
式生成回路61の乗算器アレイ63において、図中に示
すように各要素どうしの乗算が行われ、その結果が加算
メモリ64へ供給される。
Here, the multiplier array 63 will be described with reference to FIG.
This will be described with reference to FIG. The teacher pixel value δy corresponding to the pixel value of the block around the pixel to be corrected is multiplied by each element in the multiplier array 63 of the normal equation generation circuit 61 as shown in the figure. The result is supplied to the addition memory 64.

【0048】そして、加算メモリ64は、図10に示す
ように加算器アレイ71およびメモリ(またはレジス
タ)アレイ721 〜72N から構成される。加算器アレ
イ71には、乗算器アレイ63からの結果とメモリ(ま
たはレジスタ)アレイ721 〜72N からの出力が供給
される。その加算結果は、加算器アレイ71からメモリ
(またはレジスタ)アレイ721 〜72N に出力され
る。このとき、どのメモリ(またはレジスタ)アレイ7
1 〜72N が選択されるかは、デコード部65に供給
されたクラスコード(インデックス)がデコードされる
ことで一意に決定される。つまり、インデックスによっ
て決定されるクラス毎にメモリ(またはレジスタ)アレ
イ72が選択される。この選択されたメモリ(またはレ
ジスタ)アレイ72には、積和演算の結果が更新され、
記憶される。
The addition memory 64 comprises an adder array 71 and memory (or register) arrays 72 1 to 72 N as shown in FIG. The adder array 71, the output from the result memory (or register) array 72 1 to 72 N of the multiplier array 63 are supplied. The addition result is output from the adder array 71 memory (or registers) in the array 72 1 to 72 N. At this time, which memory (or register) array 7
Or 2 1 to 72 N is selected, the class code supplied to the decoding unit 65 (index) is uniquely determined by being decoded. That is, the memory (or register) array 72 is selected for each class determined by the index. The result of the product-sum operation is updated in the selected memory (or register) array 72,
It is memorized.

【0049】なお、各々のアレイの位置は、正規方程式
(9)のwi にかかる
Note that the position of each array is related to w i of the normal equation (9).

【数9】 の位置に対応する。正規方程式(9)を見てわかるよう
に右上の項を反転すれば左下と同じものになるため、各
アレイは三角形の形状をしている。
(Equation 9) Corresponding to the position. As can be seen from the normal equation (9), if the upper right term is inverted, it becomes the same as the lower left, so that each array has a triangular shape.

【0050】以上のようにして、ある一定期間の間にク
ラス毎に積和演算が行われて画素位置毎のさらにクラス
毎の正規方程式が生成される。クラス毎の正規方程式の
各項の結果は、それぞれのクラスに対応するメモリ(ま
たはレジスタ)アレイに記憶されており、次にそれらの
クラス毎の正規方程式の各項が掃き出し法の計算回路に
供給される。この計算はCPU62によって行われる。
計算された係数の組は、係数ROMで構成される係数テ
ーブルに書き込まれて使用される。
As described above, a product-sum operation is performed for each class during a certain period, and a normal equation for each class is generated for each pixel position. The result of each term of the normal equation for each class is stored in the memory (or register) array corresponding to each class, and then each term of the normal equation for each class is supplied to the calculation circuit of the sweeping method. Is done. This calculation is performed by the CPU 62.
The calculated set of coefficients is used by being written into a coefficient table constituted by a coefficient ROM.

【0051】次に、上述した学習により獲得された係数
を用いて、画像信号の解像度の向上も可能な輝度補正回
路を図11を用いて説明する。なお、この一例を説明す
るにあたり、上述の第4の実施例と同一の部分には同一
符号を付し、その説明は、省略する。
Next, a luminance correction circuit capable of improving the resolution of an image signal by using the coefficients obtained by the above-described learning will be described with reference to FIG. In describing this example, the same portions as those in the above-described fourth embodiment are denoted by the same reference numerals, and description thereof will be omitted.

【0052】入力端子81から供給された輝度信号Y
は、A/D変換器82へ供給され、A/D変換器82で
は、例えば13.5MHzでサンプリングされ、ディジタ
ル化された信号は、平均値/標準偏差回路25および遅
延回路27へ出力される。縮退ROM32では、量子化
回路26からのnビットのコードと、ADRC回路29
からのmビットのコードと、平均化回路31からのpビ
ットのコードに対して縮退させ、qビットのクラスコー
ド(インデックス)が係数ROM83へ供給される。係
数ROM831 〜83N では、供給されたクラスコード
でアドレッシングされ、係数w1 〜wN が読み出され
る。読み出された係数w1 〜wN は、それぞれ乗算器8
1 〜84N へ供給される。
The luminance signal Y supplied from the input terminal 81
Is supplied to the A / D converter 82, where the A / D converter 82 samples at, for example, 13.5 MHz and digitized signals are output to the average value / standard deviation circuit 25 and the delay circuit 27. . In the degenerate ROM 32, the n-bit code from the quantization circuit 26 and the ADRC circuit 29
, And the p-bit code from the averaging circuit 31 are degenerated, and the q-bit class code (index) is supplied to the coefficient ROM 83. In the coefficient ROMs 83 1 to 83 N , addressing is performed using the supplied class code, and the coefficients w 1 to w N are read. The read coefficients w 1 to w N are respectively
It is supplied to the 4 1 -84 N.

【0053】ブロック化回路34では、注目画素の周辺
の複数の画素がブロック化される。ブロック化された各
画素値は、乗算器841 〜84N へ供給される。乗算器
841 〜84N では、係数ROM831 〜83N からの
係数w1 〜wN と、ブロック化された各画素値が乗算さ
れ、その乗算値は、加算器85へ供給される。加算器8
5では、乗算器841 〜84N からの乗算値が加算され
る。すなわち、乗算器841 〜84N および加算器85
において、積和演算することで、輝度補正値の予測が行
われる。その予測値は、D/A変換器86において、D
/A変換され、補正後の輝度値Y´として出力端子87
から取り出される。
In the blocking circuit 34, a plurality of pixels around the target pixel are blocked. Each of the blocked pixel values is supplied to multipliers 84 1 to 84 N. The multiplier 84 1 -84 N, and the coefficients w 1 to w N from the coefficient ROM 83 1 to 83 N, each pixel value is blocked are multiplied and the multiplied value is supplied to the adder 85. Adder 8
At 5, the multiplied values from the multipliers 84 1 to 84 N are added. That is, the multipliers 84 1 to 84 N and the adder 85
, A luminance correction value is predicted by performing a product-sum operation. The predicted value is calculated by the D / A converter 86 as D
/ A conversion and output terminal 87 as corrected luminance value Y '.
Taken out of

【0054】係数ROM831 〜83N から読み出され
る係数w1 〜wN は、上述した学習時にサンプリングレ
ートが6.75MHzの信号LPF−LSと27.0FM
Hzの映像信号とによって、得られた係数である。予測値
を生成するときに、この係数を使用することによって、
13.5MHzのサンプリングレートの輝度信号Yは、4
倍の高い54.0MHzのサンプリングレートの輝度信号
Y´を生成することができる。
[0054] coefficient ROM 83 1 to 83 coefficients w 1 to w N to be read from the N, the sampling rate is 6.75MHz when learning the aforementioned signal LPF-LS and 27.0FM
This is a coefficient obtained based on the Hz video signal. By using this factor when generating predictions,
The luminance signal Y having a sampling rate of 13.5 MHz is 4
It is possible to generate a luminance signal Y ′ having a sampling rate of 54.0 MHz, which is twice as high.

【0055】この実施例では、すべてハードウェアで実
現する方法を記載したが、ディジタル化されたデータを
計算機に取り込むことでソフトウェアで計算しても良
い。
In this embodiment, the method of realizing all the hardware is described. However, the calculation may be performed by software by taking digitized data into a computer.

【0056】また、この実施例では、解像度、S/N
比、圧縮歪みおよび輝度値の改善のための係数を求める
学習を行うときに、入力信号に対して施す処理f(x)
を別々に行っているが、これらの処理の2つ以上を組み
合わせても良い。例えば、ゲインおよび/またはオフセ
ットの後、LPF処理を入力信号に対して施すことで、
得られた係数は、解像度および輝度値のさらなる改善に
使用できるものとなる。
In this embodiment, the resolution, S / N
Processing f (x) to be applied to an input signal when learning is performed to obtain a coefficient for improving the ratio, compression distortion, and luminance value
Are performed separately, but two or more of these processes may be combined. For example, by performing LPF processing on an input signal after gain and / or offset,
The obtained coefficients can be used to further improve the resolution and brightness values.

【0057】[0057]

【発明の効果】この発明に依れば、入力信号に対してL
PF、圧縮伸長、ゲインおよび/またはオフセット等の
処理を施すことによって生成される信号と、教師信号と
を用いて学習を行い、それによって係数を獲得する。こ
の係数を用いたクラス分類適応処理により、さらなる解
像度、SN比、圧縮歪みおよび輝度値の改善を可能とす
ることができる。
According to the present invention, the input signal is L
Learning is performed using a signal generated by performing processing such as PF, compression / expansion, gain and / or offset, and a teacher signal, thereby obtaining coefficients. By the classification adaptive processing using the coefficients, it is possible to further improve the resolution, the SN ratio, the compression distortion, and the luminance value.

【図面の簡単な説明】[Brief description of the drawings]

【図1】この発明のクラス分類適応処理の学習装置の一
般的な構成例を示すブロック図である。
FIG. 1 is a block diagram illustrating a general configuration example of a learning device for class classification adaptive processing according to the present invention.

【図2】この発明のクラス分類適応処理の一実施例の一
般的な構成例を示すブロック図である。
FIG. 2 is a block diagram showing a general configuration example of an embodiment of a class classification adaptive process according to the present invention;

【図3】この発明の解像度の説明に用いる一例の略線図
である。
FIG. 3 is a schematic diagram of an example used for explaining the resolution of the present invention.

【図4】この発明が適用できる輝度補正装置に対応する
学習回路の実施例である。
FIG. 4 is an embodiment of a learning circuit corresponding to a luminance correction device to which the present invention can be applied.

【図5】この発明が適用できる実施例の説明に用いる度
数分布表である。
FIG. 5 is a frequency distribution table used for describing an embodiment to which the present invention can be applied.

【図6】この発明が適用された輝度補正装置に用いられ
ている平均値/標準偏差回路の一例である。
FIG. 6 is an example of an average value / standard deviation circuit used in a luminance correction device to which the present invention is applied.

【図7】この発明が適用された輝度補正装置に用いられ
ているADRC回路の一例である。
FIG. 7 is an example of an ADRC circuit used in a luminance correction device to which the present invention is applied.

【図8】この発明に係る学習回路に適用される最小自乗
法の一例を説明するためのブロック図である。
FIG. 8 is a block diagram illustrating an example of a least squares method applied to the learning circuit according to the present invention.

【図9】この発明に係る乗算器アレイの説明に用いる一
例の略線図である。
FIG. 9 is a schematic diagram illustrating an example of a multiplier array according to the present invention;

【図10】この発明に係る加算メモリの説明に用いる一
例の略線図である。
FIG. 10 is a schematic diagram illustrating an example of an addition memory according to the present invention;

【図11】この発明が適用できる輝度補正装置の実施例
を示すブロック図である。
FIG. 11 is a block diagram showing an embodiment of a luminance correction device to which the present invention can be applied.

【符号の説明】[Explanation of symbols]

3・・・処理回路、4、6・・・スイッチ、5・・・ク
ラス生成回路、7・・・学習回路
3 Processing circuit 4, 6 Switch, 5 Class generation circuit, 7 Learning circuit

Claims (11)

【特許請求の範囲】[Claims] 【請求項1】 予測値あるいは補正値を生成するための
クラス分類適応処理において、 入力情報信号からクラス情報を生成するクラス生成手段
と、 予めクラス毎に最小自乗法による学習処理で求められた
係数が記憶された記憶媒体と、 上記クラス情報に応答して上記係数が上記記憶媒体から
読み出され、線形1次結合式の演算によって、予測値を
生成する演算手段とを有し、 上記係数は、 入力情報信号に対して処理を施し、 上記処理が施された入力情報信号からクラスを生成し、 上記処理が施された入力情報信号と、教師信号との誤差
の自乗和を最小とするように、学習によって獲得された
ことを特徴とするクラス分類適応処理装置。
In a class classification adaptive process for generating a predicted value or a correction value, a class generating means for generating class information from an input information signal, and a coefficient previously obtained by a learning process by a least square method for each class. And a calculating means for reading out the coefficient from the storage medium in response to the class information and generating a predicted value by a calculation of a linear linear combination expression, wherein the coefficient is Processing the input information signal, generating a class from the processed input information signal, and minimizing the sum of squares of the error between the processed input information signal and the teacher signal. A classification adaptive processing device obtained by learning.
【請求項2】 請求項1に記載のクラス分類適応処理装
置において、 上記入力情報信号は、上記教師信号から生成することを
特徴とするクラス分類適応処理装置。
2. The adaptive classification processing apparatus according to claim 1, wherein the input information signal is generated from the teacher signal.
【請求項3】 予測値あるいは補正値を生成するため
に、入力情報信号の複数のサンプルと演算される係数を
予め学習によりクラス毎に求めるようにしたクラス分類
適応処理用の学習装置において、 入力情報信号に対して処理を施す処理手段と、 上記処理が施された入力情報信号からクラス情報を生成
するクラス生成手段と、 上記処理が施された入力情報信号と、教師信号との誤差
の自乗和が最小となるように、係数を学習する学習手段
とからなることを特徴とするクラス分類適応処理用の学
習装置。
3. A learning apparatus for class classification adaptive processing in which a plurality of samples of an input information signal and a coefficient to be calculated are previously obtained for each class by learning in order to generate a prediction value or a correction value. Processing means for performing processing on the information signal; class generating means for generating class information from the input information signal subjected to the processing; and square of an error between the input information signal subjected to the processing and the teacher signal A learning device for class classification adaptive processing, comprising: learning means for learning coefficients so as to minimize the sum.
【請求項4】 請求項3に記載のクラス分類適応処理用
の学習装置において、 上記入力情報信号は、上記教師信号から発生することを
特徴とするクラス分類適応処理用の学習装置。
4. The learning device for class classification adaptive processing according to claim 3, wherein the input information signal is generated from the teacher signal.
【請求項5】 請求項3に記載のクラス分類適応処理用
の学習装置において、 上記教師信号と上記入力情報信号とを切り換える第1の
選択手段と、上記入力情報信号と上記処理が施された入
力情報信号とを切り換える第2の選択手段とを有し、 上記第1の選択手段の出力と上記第2の選択手段の出力
とを上記学習手段に供給するようにしたことを特徴とす
るクラス分類適応処理用の学習装置。
5. The learning apparatus for class classification adaptive processing according to claim 3, wherein first selection means for switching between the teacher signal and the input information signal, and the input information signal and the processing are performed. A second selecting means for switching between an input information signal and an output of the first selecting means, and an output of the second selecting means being supplied to the learning means. Learning device for classification adaptive processing.
【請求項6】 請求項3に記載のクラス分類適応処理用
の学習装置において、 上記処理は、 入力情報信号に対して低域通過フィルタリング処理であ
り、解像度を上げるための係数を学習するようにしたこ
とを特徴とするクラス分類適応処理用の学習装置。
6. The learning apparatus for class classification adaptive processing according to claim 3, wherein the processing is low-pass filtering processing on the input information signal, and learns a coefficient for increasing the resolution. A learning device for class classification adaptive processing, characterized in that:
【請求項7】 請求項3に記載のクラス分類適応処理用
の学習装置において、 上記処理は、 入力情報信号に対して乱数発生によるタランダムノイズ
を付加するものであり、SN比を改善するための係数を
学習するようにしたことを特徴とするクラス分類適応処
理用の学習装置。
7. The learning device for class classification adaptive processing according to claim 3, wherein the processing is to add a t-random noise to the input information signal by generating a random number, and to improve an SN ratio. A learning device for class classification adaptive processing, characterized in that the learning device learns the coefficient of.
【請求項8】 請求項3に記載のクラス分類適応処理用
の学習装置において、 上記処理は、 入力情報信号に対して圧縮伸長処理による歪みを付加す
るものであり、圧縮による歪みを改善するための係数を
学習するようにしたことを特徴とするクラス分類適応処
理用の学習装置。
8. The learning device for class classification adaptive processing according to claim 3, wherein the processing is to add distortion due to compression / expansion processing to the input information signal, and to improve distortion due to compression. A learning device for class classification adaptive processing, characterized in that the learning device learns the coefficient of.
【請求項9】 請求項3に記載のクラス分類適応処理用
の学習装置において、 上記処理は、 入力情報信号に対してゲインおよび/またはオフセット
処理であり、輝度分布を改善するための係数を学習する
ことを特徴とするクラス分類適応処理用の学習装置。
9. The learning device for class classification adaptive processing according to claim 3, wherein the processing is a gain and / or offset processing on an input information signal, and learns a coefficient for improving a luminance distribution. A learning device for class classification adaptive processing, characterized in that:
【請求項10】 予測値あるいは補正値を生成するため
に、入力情報信号の複数のサンプルと演算される係数を
予め学習によりクラス毎に求めるようにしたクラス分類
適応処理用の学習方法において、 入力情報信号に対して処理を施すステップと、 上記処理が施された入力情報信号からクラス情報を生成
するステップと、 上記処理が施された入力情報信号と、教師信号との誤差
の自乗和が最小となるように、係数を学習するステップ
とからなることを特徴とするクラス分類適応処理用の学
習方法。
10. A learning method for class classification adaptive processing in which a plurality of samples of an input information signal and a coefficient to be calculated are previously obtained for each class by learning in order to generate a predicted value or a correction value. Processing the information signal; generating class information from the processed input information signal; and minimizing the sum of squares of the error between the processed input information signal and the teacher signal. Learning a coefficient so as to obtain a classifying adaptive processing.
【請求項11】 請求項10に記載のクラス分類適応処
理用の学習方法において、 上記入力情報信号は、上記教師信号から発生することを
特徴とするクラス分類適応処理用の学習方法。
11. The learning method for class classification adaptive processing according to claim 10, wherein the input information signal is generated from the teacher signal.
JP8186720A 1996-06-27 1996-06-27 Class classification adaptation processor and learning device/method for class classification adaptation processing Pending JPH1011583A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8186720A JPH1011583A (en) 1996-06-27 1996-06-27 Class classification adaptation processor and learning device/method for class classification adaptation processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8186720A JPH1011583A (en) 1996-06-27 1996-06-27 Class classification adaptation processor and learning device/method for class classification adaptation processing

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2005240342A Division JP4482502B2 (en) 2005-08-22 2005-08-22 Information signal conversion apparatus and method
JP2007254052A Division JP4353294B2 (en) 2007-09-28 2007-09-28 Information signal conversion apparatus and method

Publications (1)

Publication Number Publication Date
JPH1011583A true JPH1011583A (en) 1998-01-16

Family

ID=16193464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8186720A Pending JPH1011583A (en) 1996-06-27 1996-06-27 Class classification adaptation processor and learning device/method for class classification adaptation processing

Country Status (1)

Country Link
JP (1) JPH1011583A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000025512A1 (en) * 1998-10-26 2000-05-04 Sony Corporation Image processing device, image processing method, learning device and learning method
WO2000055811A1 (en) * 1999-03-12 2000-09-21 Sony Corporation Data processor, data processing method, and recorded medium
US6718073B1 (en) 1998-09-30 2004-04-06 Sony Corporation Arithmetic device, and converter, and their methods
JP2005353100A (en) * 2005-08-22 2005-12-22 Sony Corp Information signal converting apparatus and method, and learning apparatus and learning method
JP2006268396A (en) * 2005-03-24 2006-10-05 Advanced Mask Inspection Technology Kk Image correction method
WO2009078454A1 (en) 2007-12-18 2009-06-25 Sony Corporation Data processing apparatus, data processing method, and storage medium
JP2009212788A (en) * 2008-03-04 2009-09-17 Olympus Corp Image processor, and image processing program
KR100921060B1 (en) * 2001-04-12 2009-10-08 소니 가부시끼 가이샤 Signal processing device and method, signal processing system, and recording medium
JP2012068965A (en) * 2010-09-24 2012-04-05 Denso Corp Image recognition device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348840A (en) * 1993-06-03 1994-12-22 Konica Corp Picture restoring method
JPH0767028A (en) * 1993-08-27 1995-03-10 Sony Corp Device and method for restoring image
JPH07115569A (en) * 1993-08-27 1995-05-02 Sony Corp Method and device for noise reduction
JPH0851622A (en) * 1994-08-04 1996-02-20 Sony Corp Processor for digital picture signal
JPH08154251A (en) * 1994-11-28 1996-06-11 Sony Corp Image signal interpolation device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348840A (en) * 1993-06-03 1994-12-22 Konica Corp Picture restoring method
JPH0767028A (en) * 1993-08-27 1995-03-10 Sony Corp Device and method for restoring image
JPH07115569A (en) * 1993-08-27 1995-05-02 Sony Corp Method and device for noise reduction
JPH0851622A (en) * 1994-08-04 1996-02-20 Sony Corp Processor for digital picture signal
JPH08154251A (en) * 1994-11-28 1996-06-11 Sony Corp Image signal interpolation device

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718073B1 (en) 1998-09-30 2004-04-06 Sony Corporation Arithmetic device, and converter, and their methods
US6757443B1 (en) 1998-10-26 2004-06-29 Sony Corporation Picture processing apparatus, picture processing method, learning apparatus, and learning method
WO2000025512A1 (en) * 1998-10-26 2000-05-04 Sony Corporation Image processing device, image processing method, learning device and learning method
WO2000055811A1 (en) * 1999-03-12 2000-09-21 Sony Corporation Data processor, data processing method, and recorded medium
US7916977B2 (en) 1999-03-12 2011-03-29 Sony Corporation Data processing apparatus, data processing method and recording medium
KR100921060B1 (en) * 2001-04-12 2009-10-08 소니 가부시끼 가이샤 Signal processing device and method, signal processing system, and recording medium
US7706623B2 (en) 2005-03-24 2010-04-27 Advanced Mask Inspection Technology Inc. Image correcting method
JP2006268396A (en) * 2005-03-24 2006-10-05 Advanced Mask Inspection Technology Kk Image correction method
JP2005353100A (en) * 2005-08-22 2005-12-22 Sony Corp Information signal converting apparatus and method, and learning apparatus and learning method
WO2009078454A1 (en) 2007-12-18 2009-06-25 Sony Corporation Data processing apparatus, data processing method, and storage medium
US8169510B2 (en) 2007-12-18 2012-05-01 Sony Corporation Data processing device, data processing method, and storage medium
JP2009212788A (en) * 2008-03-04 2009-09-17 Olympus Corp Image processor, and image processing program
JP2012068965A (en) * 2010-09-24 2012-04-05 Denso Corp Image recognition device

Similar Documents

Publication Publication Date Title
KR100597920B1 (en) Data processing apparatus, data processing method, and recording medium therefor
JP3590996B2 (en) Hierarchical encoding and decoding apparatus for digital image signal
KR100529662B1 (en) Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
JPH1011583A (en) Class classification adaptation processor and learning device/method for class classification adaptation processing
EP0825776B1 (en) Image coding using sub-sampling, classification of pixel blocks and association of mapping coefficients
JP3915855B2 (en) Image coding apparatus, image coding method, learning apparatus, and learning method
KR100574732B1 (en) Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium
JPH0846934A (en) Processor for digital picture signal
JP3758211B2 (en) Hierarchical coding apparatus and method for digital image signal, and decoding apparatus and method
JP4353294B2 (en) Information signal conversion apparatus and method
JP3844030B2 (en) Image signal encoding apparatus, image signal encoding method, image signal decoding apparatus, and image signal decoding method
JP4482502B2 (en) Information signal conversion apparatus and method
JP3747970B2 (en) Image encoding device, image encoding method, image decoding device, and image decoding method
JP3362463B2 (en) Frame interpolation device
JP3844031B2 (en) Image coding apparatus and image coding method, and image decoding apparatus and image decoding method
JP3791029B2 (en) Image signal processing apparatus and method
JP3758228B2 (en) Learning method and learning apparatus in adaptive classification processing
JP3912558B2 (en) Image encoding apparatus, image encoding method, and recording medium
JP3480015B2 (en) Apparatus and method for generating image data
JP4168299B2 (en) Image data conversion apparatus and image data conversion method
JP2001285882A (en) Device and method for reducing noise
JP3831960B2 (en) Interpolation apparatus and interpolation method for compressed high resolution video signal
JP2000113167A (en) Device and method for processing signals
KR100598754B1 (en) Device for coding original image data, device for decoding coded image data, method for coding original image data, method for decoding coded image data, method for transmitting image data, computer-readable storing media
JP4062329B2 (en) Signal processing apparatus and method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050822

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050829

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050916

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070928