JP3867697B2 - Image signal generation apparatus and generation method - Google Patents
Image signal generation apparatus and generation method Download PDFInfo
- Publication number
- JP3867697B2 JP3867697B2 JP2003349820A JP2003349820A JP3867697B2 JP 3867697 B2 JP3867697 B2 JP 3867697B2 JP 2003349820 A JP2003349820 A JP 2003349820A JP 2003349820 A JP2003349820 A JP 2003349820A JP 3867697 B2 JP3867697 B2 JP 3867697B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- target pixel
- class
- image signal
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
Description
この発明は、サブサンプリングにより伝送情報量を圧縮するような高解像度ビデオ信号のデコーダ例えばハイビジョン信号の圧縮方式であるMUSE方式のデコーダに適用される画像信号生成装置および生成方法に関する。 The present invention relates to an image signal generation apparatus and a generation method applied to a high-resolution video signal decoder that compresses the amount of transmission information by sub-sampling, for example, a MUSE decoder that is a compression system for high-definition signals.
ディジタル画像信号を記録したり、伝送する際の帯域圧縮あるいは情報量削減のための一つの方法として、画素をサブサンプリングによって間引くことによって、伝送データ量を減少させるものがある。その一例は、MUSE方式における多重サブナイキストサンプリングエンコーディング方式である。このシステムは、ハイビジョン信号を8MHz程度の帯域に圧縮することができる。 One method for recording or transmitting a digital image signal to compress the bandwidth or reduce the amount of information is to reduce the amount of transmitted data by thinning out pixels by sub-sampling. One example is the multiple sub-Nyquist sampling encoding method in the MUSE method. This system can compress high-definition signals into a band of about 8 MHz.
従来のMUSE方式では、エンコード時に、1回あるいは2回サブサンプリングされたデータをデコードする際に、補間のために2次元の空間フィルタを用いている。しかしながら、MUSE方式では、斜め方向の解像度が低いという視覚特性を利用して伝送情報量を圧縮しているので、エンコード時に失われた斜め方向の解像度を取り戻すことができない問題点があった。 In the conventional MUSE system, a two-dimensional spatial filter is used for interpolation when decoding data that has been subsampled once or twice during encoding. However, the MUSE method has a problem in that the amount of transmitted information is compressed using the visual characteristic that the resolution in the oblique direction is low, so that the resolution in the oblique direction lost during encoding cannot be recovered.
従って、この発明の目的は、MUSE方式のデコーダに対して適用され、上述の問題点が解決された画像信号生成装置および生成方法を提供することにある。 Accordingly, an object of the present invention is to provide an image signal generation apparatus and a generation method which are applied to a MUSE decoder and solve the above-described problems.
上述した課題を達成するために、この発明は、入力ディジタル画像信号から、入力ディジタル画像信号より高解像度のディジタル画像信号の画素値を生成するためのディジタル画像信号生成装置において、
生成対象としての注目画素のクラスを複数の参照画素に基づいて決定するためのクラス分類手段と、
学習用の画像信号において、注目画素の真値と、注目画素と空間的に近傍の複数の画素を用いて学習されたクラス毎の第1の係数と、学習用の画像信号において、注目画素の真値と、注目画素と時間的および空間的に近傍の複数の画素を用いて学習された第2の係数とが格納されたメモリ手段と、
注目画素の静止判定を行う静止判定手段と、
静止判定手段によって、注目画素が動き部分であると判定される場合には、注目画素と空間的に近傍である複数の画素とクラスに対応する第1の係数との演算によって画素値を生成し、
注目画素が静止部分であると判定される場合には、注目画素と時間的および空間的に近傍である複数の画素とクラスに対応する第2の係数との演算によって画素値を生成する画素値生成手段とを有し、
クラス分類手段は、複数の参照画素の値を平均化し、この平均化された値と複数の参照画素の各値とを比較し、この比較結果に応じて注目画素のクラスを決定することを特徴とするディジタル画像信号生成装置である。
In order to achieve the above-described problem, the present invention provides a digital image signal generation apparatus for generating a pixel value of a digital image signal having a higher resolution than the input digital image signal from the input digital image signal.
A class classification means for determining a class of a target pixel as a generation target based on a plurality of reference pixels;
In the learning image signal, the true value of the pixel of interest, the first coefficient for each class learned using a plurality of pixels spatially adjacent to the pixel of interest, and the pixel value of the pixel of interest in the learning image signal Memory means for storing a true value and a second coefficient learned using a pixel of interest and a plurality of temporally and spatially neighboring pixels;
Stillness determination means for determining stillness of the target pixel;
When the stationary determination unit determines that the target pixel is a moving part, a pixel value is generated by calculating a plurality of pixels spatially adjacent to the target pixel and a first coefficient corresponding to the class. ,
A pixel value that generates a pixel value by calculating a plurality of pixels that are temporally and spatially adjacent to the pixel of interest and a second coefficient corresponding to the class, when it is determined that the pixel of interest is a static part Generating means,
The class classification means averages the values of a plurality of reference pixels, compares the averaged value with each value of the plurality of reference pixels, and determines a class of the target pixel according to the comparison result. Is a digital image signal generating device.
この発明は、クラス分類において、複数の参照画素の値を平均化し、この平均化された値と複数の参照画素の各値とを比較し、この比較結果に応じて注目画素のクラスを決定することによって、クラス数を削減しても、第1および第2の係数のうちの一方を出力して注目画素を含む領域内の画素との演算によって出力画素の画素値を生成するので、斜め方向の解像度を復元することができる。 According to the present invention, in class classification, values of a plurality of reference pixels are averaged, the averaged value is compared with each value of the plurality of reference pixels, and a class of a target pixel is determined according to the comparison result. it allows also to reduce the number of classes, because it produces a pixel value of the output pixel by the computation of the pixels in the region including the pixel of interest and outputs one of the first and second coefficients, the diagonal direction Resolution can be restored .
以下、この発明の一実施形態について図面を参照して説明する。まず、MUSE方式のエンコーダの主要部を図1を参照して説明する。ハイビジョン信号をA/D変換器によってディジタル信号へ変換し、マトリクス演算により、Y(輝度)信号、Pr(R−Y成分)信号、Pb(B−Y成分)信号が形成され、図1中の1、2、3で示す入力端子にそれぞれ供給される。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. First, the main part of the MUSE encoder will be described with reference to FIG. A high-definition signal is converted into a digital signal by an A / D converter, and a Y (luminance) signal, a Pr (RY component) signal, and a Pb (BY component) signal are formed by matrix calculation. Supplied to input terminals indicated by 1, 2 and 3, respectively.
Y信号がフィールド間前置フィルタ4に供給される。このフィルタ4に対して、フィールドオフセットサブサンプリング回路5、ローパスフィルタ6およびサンプリング周波数変換回路7が接続される。フィールドオフセットサブサンプリング回路5は、フィールド間でサブサンプリングの位相が1画素ずらされるもので、その出力がローパスフィルタ8に供給される。原Y信号のサンプリング周波数は、48.6MHzで、サブサンプリング回路5のサンプリング周波数が24.3MHzで、ローパスフィルタ8によって、12.15MHz以上の周波数成分が除去されるとともに、データが内挿されてサンプリング周波数が48.6MHzに戻される。
The Y signal is supplied to the
ローパスフィルタ8に対して、サンプリング周波数変換回路9が接続され、サンプリング周波数がサンプリング周波数変換回路9によって、32.4MHzに変換される。この回路9の出力信号がTCI(Time Compressed Integration) スイッチ10に供給される。サブサンプリング回路5から変換回路9までの信号路は、静止領域の処理のために設けられている。
A sampling
帯域制限用のローパスフィルタ6に対してサンプリング周波数変換回路11が接続され、48.6MHzから32.4MHzへサンプリング周波数が変換される。この回路11の出力がTCIスイッチ12に供給される。TCIスイッチ12からの信号が2次元サブサンプリングフィルタ16を介して混合回路17に供給される。ローパスフィルタ6からサブサンプリングフィルタ16に至る信号路が動き領域の処理のために設けられている。混合回路17では、フィルタ16の出力信号とTCIスイッチ10の出力信号とが混合される。
A sampling frequency conversion circuit 11 is connected to the band limiting low-
サンプリング周波数変換回路7に対しては、動きベクトル検出回路13が接続される。動きベクトル検出回路13に対して、動きフィルタ14および動き検出回路15が接続される。動きフィルタ14には、サンプリング周波数変換回路11の出力信号も供給される。動きフィルタ14の出力が動き検出回路15に供給される。動き検出回路15での検出結果(動き量)に基づいて混合回路17の混合比を制御する制御信号が生成される。
A motion vector detection circuit 13 is connected to the sampling
入力端子2、3からの色信号Pr、Pbが垂直ローパスフィルタ21、22をそれぞれ介して線順次化回路23に供給される。線順次化回路23からの線順次色信号がローパスフィルタ24に供給され、7MHz以上の成分が除去され、そして、フィールドオフセットサブサンプリング回路26に供給される。線順次色信号が帯域制限用のローパスフィルタ25を介してフィールドオフセットサブサンプリング回路27に供給される。サブサンプリング回路27に対して時間圧縮回路28が接続される。
The color signals Pr and Pb from the
ローパスフィルタ24およびサブサンプリング回路26は、静止領域用の処理回路であり、ローパスフィルタ25、サブサンプリング回路27および時間圧縮回路28は、動き領域用の処理回路である。サブサンプリング回路26および時間圧縮回路28の出力信号がTCIスイッチ10および12へそれぞれ供給され、上述のように処理された輝度信号成分と時間軸多重化される。
The low-
混合回路17の出力信号がフレーム,ラインオフセットサブサンプリング回路31に供給される。ここでのサブサンプリングのパターンは、フレーム間およびライン間で反転され、また、サンプリング周波数が16.2MHzとされる。サブサンプリング回路31の出力信号が伝送用ガンマ補正回路32を介してMUSEのフォーマット化回路33に供給される。図では省略されているが、時間軸圧縮されたオーディオ信号、同期信号、VIT信号等がフォーマット化回路33に加えられ、出力端子34に約8MHzのMUSE信号が取り出される。
The output signal of the
上述のMUSEエンコーダのサブサンプリングについて、図2を参照して概略的に説明する。静止領域の処理が上側に示され、動き量子化の処理が下側に示されている。図1の各点の信号に関して、そのサンプリング状態を図2に示す。また、C信号の処理は、Y信号と同様であるため、その説明を省略する。フィールドオフセットサブサンプリング回路5の入力(A点)からディジタルY信号が供給され、フィールド毎にサンプリング位相が1画素ずれたパターンでサブサンプリングされた出力信号がB点に発生する。
Sub-sampling of the above-described MUSE encoder will be schematically described with reference to FIG. The still region processing is shown on the upper side and the motion quantization processing is shown on the lower side. FIG. 2 shows the sampling state of the signal at each point in FIG. Further, since the processing of the C signal is the same as that of the Y signal, the description thereof is omitted. A digital Y signal is supplied from the input (point A) of the field
ローパスフィルタ12の出力(C点)には、内挿処理された信号(サンプリング周波数が48.6MHz)が発生する。サンプリング周波数変換回路9の出力(D点)もサンプリング周波数が32.4MHzに変換された信号が現れる。
At the output (point C) of the low-
一方、ローパスフィルタ6の入力(a点)には、A点と同様のディジタルY信号が供給される。動き領域では、フィールドオフセットサブサンプリングがなされず、サンプリング周波数変換回路11の出力(b点)には、D点と同様のY信号が発生する。
On the other hand, a digital Y signal similar to that at point A is supplied to the input (point a) of the low-
静止領域および動き領域のそれぞれの処理を受けたY信号が混合回路17で混合され、混合回路17の出力がフレーム,ラインオフセットサブサンプリング回路31に供給される。この回路31の出力(E点)では、フレーム間およびライン間で水平方向に1画素のオフセットを持つようにサンプリングされた出力信号が発生する。
The Y signals that have been subjected to the respective processing of the still region and the motion region are mixed by the
図3は、この発明を適用できるMUSEデコーダの一部を示す。受信されベースバンド信号に変換され、ディジタル信号に変換されたMUSE信号がフレーム間内挿回路41、フィールド間内挿回路42および動き部分検出回路43にそれぞれ供給される。動き部分検出回路43によって、動き領域を検出し、動き領域と静止領域との処理がそれぞれなされた信号の混合比が制御される。
FIG. 3 shows a part of a MUSE decoder to which the present invention can be applied. The MUSE signal received and converted into a baseband signal and converted into a digital signal is supplied to the
すなわち、静止領域は、フレーム間内挿回路41により1フレーム前の画像データを使用したフレーム間内挿がなされる。但し、カメラのパニングのように、画像の全体が動く時には、コントロール信号として伝送される動きベクトルに応じて1フレーム前の画像を動かして重ね合わせる処理がなされる。フレーム間内挿回路41の出力信号がローパスフィルタ44、サンプリング周波数変換回路(32.4MHzから48.6MHzへ)45、フィールドオフセットサブサンプリング回路46およびフィールド間内挿回路47を介して混合回路48に供給される。サブサンプリング回路46からは、24.3MHzのサンプリング周波数の信号が得られる。
In other words, the still region is inter-frame interpolated using the image data of the previous frame by the
動き領域は、フィールド内内挿回路42によって、空間的内挿がなされる。内挿回路42に対して、32.4MHzから48.6MHzへのサンプリング周波数変換回路49が接続され、その出力信号が混合回路48に供給される。この混合回路48の混合比は、動き部分検出回路43の出力信号により制御される。混合回路48の出力信号が図示しないが、TCIデコーダに供給され、Y、Pr、Pbの各信号に分離される。さらに、D/A変換され、逆マトリクス演算され、ガンマ補正がされてからR、G、B信号が得られる。
The motion region is spatially interpolated by the
上述のデコーダの処理を図4のサンプリングパターンを参照して概略的に説明する。入力信号(E点)のサンプリング状態は、上述のエンコーダの出力(E点)と同一である。静止領域がフレーム間内挿回路4を介され、その出力(F点)で間引き画素が内挿されたビデオ信号が生じる。サンプリング周波数変換回路45(G点)では、サンプリング周波数が48.6MHzに変換されたビデオ信号が現れる。
The processing of the above decoder will be schematically described with reference to the sampling pattern of FIG. The sampling state of the input signal (point E) is the same as the output (point E) of the encoder described above. The still region is passed through the
フィールドオフセットサブサンプリング回路46の出力(H点)では、フィールド毎に1画素ずれたオフセットサンプリングがなされた信号が発生する。次のフィールド間内挿回路47の出力(I点)に画素が内挿された信号が生じる。これが混合回路48に供給される。
At the output (point H) of the field offset
動き領域の処理のためのフィールド内内挿回路42の出力(f点)にフィールド内の画素により内挿されたビデオ信号が発生する。サンプリング周波数変換回路49によって、その出力(h点)には、48.6MHzのサンプリング周波数のビデオ信号が発生する。これが混合回路48に供給される。
A video signal interpolated by the pixels in the field is generated at the output (point f) of the
さて、上述のMUSE方式では、静止領域に関して2回のサブサンプリングがなされ、2回の補間がなされ、また、動き領域に関しては、1回のサブサンプリングと補間がなされる。これらの補間のために、従来では、フィルタを使用していたが、その結果、最初に述べたように、斜め方向の解像度が失われる問題があった。この問題点を解決するのがこの発明であり、従って、この発明は、上述のMUSEデコーダにおけるフレーム間内挿回路41、フィールド内内挿回路42およびフィールド間内挿回路47の何れに対しても適用できる。
In the MUSE method described above, sub-sampling is performed twice for the still region, interpolation is performed twice, and sub-sampling and interpolation is performed once for the motion region. Conventionally, a filter is used for these interpolations. As a result, as described above, there is a problem that the resolution in the oblique direction is lost. The present invention solves this problem. Therefore, the present invention is applicable to any of the
一例として、動き領域のためのフィールド内内挿回路42に対してこの発明を適用した一実施形態を図5に示す。図5において、51は、オフセットサブサンプリングされたディジタル画像信号の入力端子である。52は、入力信号をブロック構造の信号に変換するための時系列変換回路である。すなわち、時系列変換回路52によって、クラス分けと補間演算に必要な複数の画素が同時化される。
As an example, FIG. 5 shows an embodiment in which the present invention is applied to a
時系列変換回路52の出力信号が補間演算回路53およびクラス分類回路55に供給される。補間演算回路53には、後述のように予め学習により獲得された係数が格納されている係数メモリ54が接続されている。係数メモリ54内には、第1の係数が格納されたテーブル54aと第2の係数が格納されたテーブル54bとが含まれる。
An output signal of the time
クラス分類回路55からクラスコードcが発生する。補間の対象である、注目画素を含むブロックのブロックの2次元的(フィールド内またはフレーム内)レベル分布のパターン、すなわち、クラスが決定される。クラスコードcがこのクラスを指示し、クラスコードcが係数メモリ54に対してそのアドレスとして供給される。
A class code c is generated from the
図5において、57で示す入力端子から注目画素の動き量を示す信号が比較回路58に供給される。この動き量の信号としては、例えばMUSEデコーダ(図3)の動き部分検出回路43の出力信号を利用できる。動き量を示す信号は、具体的には、動き量と比例した例えば0〜16の範囲の値を有している。比較回路58では、しきい値THと比較され、動き量の信号がしきい値THより大きいときは、注目画素を動き画素と判定し、これがしきい値TH以下のときは、注目画素を静止画素と判定する。THは、適宜設定されるが、一例は、TH=3である。
In FIG. 5, a signal indicating the amount of movement of the pixel of interest is supplied to the
比較回路58の出力信号(判定信号)が時系列変換回路52および係数メモリ54に供給される。判定信号によって、時系列変換回路52が出力する周辺画素が切り換えられる。すなわち、注目画素が動き画素であることを判定信号が指示する時に、時系列変換回路52がフィールド内の周辺画素を出力し、それが静止画素であることを判定信号が指示する時に、これがフレーム内の周辺画素を出力する。より具体的には、時系列変換回路52内には、判定信号で制御されるセレクタあるいはアドレス発生回路が設けられている。
An output signal (determination signal) of the
また、判定信号によって、係数メモリ54のテーブル54a、54bが選択的に使用される。すなわち、動き画素のときは、テーブル54aの第1の係数が補間演算回路53に出力され、静止画素のときは、テーブル54bの第2の係数が補間演算回路53に出力される。後述する学習時には、テーブル54aの第1の係数がフィールド内の周辺画素を参照して決定されており、テーブル54bの第2の係数がフレーム内の周辺画素を参照して決定されている。
Further, the tables 54a and 54b of the coefficient memory 54 are selectively used according to the determination signal. That is, when the pixel is a moving pixel, the first coefficient of the table 54 a is output to the
クラス分類回路55からのクラスコードcが係数メモリ54に供給されると、そのクラスと対応する係数が係数メモリ54のテーブル54aまたは54bから読出される。メモリ54からの係数と時系列変換回路52からの周辺画素の値との線形1次結合によって、注目画素の補間値が形成される。補間演算回路53から出力端子56に間引き画素の補間値が出力される。補間演算回路53では、下式の線形1次結合によって、補間値y' が生成される。
When the class code c from the
y' =w1 x1 +w2 x2 +‥‥+wn xn (1)
x1 〜xn は、注目画素の周囲の画素の値であり、w1 〜wn は、クラス毎に予め決定された係数である。
y ' = w1 x1 + w2 x2 + ... + wn xn (1)
x1 to xn are values of pixels around the target pixel, and w1 to wn are coefficients determined in advance for each class.
上述の係数メモリ54には、予め学習により作成された第1および第2の係数が格納されている。図6は、学習ための構成の一例を示す。61で示す入力端子から学習用の高解像度ディジタル画像信号が供給される。この入力信号としては、異なる絵柄の静止画像信号を使用できる。
The coefficient memory 54 described above stores first and second coefficients created in advance by learning. FIG. 6 shows an example of a configuration for learning. A high-resolution digital image signal for learning is supplied from an
入力ディジタル画像信号がMUSEのエンコーダにおけるのと同様に、2次元サブサンプルフィルタ62を介してフレーム,ラインオフセットサブサンプリング回路63に供給される。この回路63の出力が時系列変換回路64a、64bに供給され、複数の参照画素のデータが同時化される。時系列変換回路64a、64bの出力信号が最小二乗法の演算回路65a、65bとクラス分類回路66a、66bにそれぞれ供給される。
The input digital image signal is supplied to the frame / line offset
時系列変換回路64aは、注目画素と同一フィールド内の画素であって、注目画素の周辺の複数の画素を同時化する。他の時系列変換回路64bは、注目画素と同一フレーム内の画素であって、注目画素の周辺の複数の画素を同時化する。そして、クラス分類回路66aは、図7に示すように、注目画素(補間画素)の周囲の同一フィールド内の4個の参照画素(そのレベルをa、b、c、dとする)のレベル分布に基づいて行われる。すなわち、クラス分類回路66aは、図8に示すように、参照画素a〜dの平均値Avを計算し、次に、参照画素の各値と平均値Avとを比較し、比較結果に応じたクラスコードcを発生する。図8の例では、(a<Av,b≧Av,c<Av,d≧Av)の比較結果に基づいて、(0101)のクラスコードcが形成される。
The time
クラス分類回路66bも同様にしてクラスコードcを発生する。但し、クラス分類回路66bは、同一フレーム内の3個の参照画素b、d、e(図7)を使用してクラス分けを行なう。なお、参照画素として、どのようなものを選ぶかは、任意であって、単なる一例を述べたにすぎない。クラス分類回路66a、66bが発生したクラスコードcが最小二乗法の演算回路65aおよび65bに供給される。これらの演算回路65aおよび65bに対しては、時系列変換回路64a、64bの出力信号と入力端子61からの注目画素の真値とがそれぞれ供給される。
The
なお、図5の補間装置のクラス分類回路55は、上述のクラス分類回路66a、66bと同様に注目画素のクラス分けを行なう。図5では、時系列変換回路52が判定信号によって、フィールド内の複数画素またはフレーム内の複数画素を出力するので、一つのクラス分類回路55がフィールド内の画素を使用したクラス分けとフレーム内の画素を使用したクラス分けとを選択的に行なう。若し、必要があれば、クラス分類回路55に対して判定信号を供給しても良い。
Note that the
クラス分類回路55、66a、66bの他の例は、ADRC(Adaptive Dynamic Range Coding)である。ADRCは、画像の局所的な相関を利用してレベル方向の冗長度を適応的に除去するものである。より具体的には、1ビットADRCを使用できる。すなわち、上述の参照画素を含むブロックの最大値および最小値が検出され、最大値および最小値の差であるダイナミックレンジが検出され、参照画素の値がダイナミックレンジで割算され、その商が0.5と比較され、0.5以上のものが' 1' 、それより小さいものが' 0' に符号化される。
Another example of the
1ビット以外のビット数の出力を発生するADRCを採用しても良い。ADRCに限らず、DPCM(Differential pulse code modulation)、BTC(Block Trancation Coding) 等の圧縮符号化のエンコーダをクラス分類回路55、66a、66bとして使用することができる。さらに、クラス分けのために、参照画素の値をそのまま使用することも可能である。また、情報圧縮のために、VQ(ベクトル量子化)も使用できる。
You may employ | adopt ADRC which generates the output of the number of bits other than 1 bit. Not only ADRC but also a compression encoding encoder such as DPCM (Differential Pulse Code Modulation) and BTC (Block Trancation Coding) can be used as the
最小二乗法の演算回路65a、65bは、クラス毎に、周辺の画素の値と係数の線形1次結合で表された注目画素の推定値y' とその真値yとの誤差の二乗を最小とするように、係数を確定する。そして、確定された係数が係数メモリ67のメモリ67a、67bにそれぞれ格納される。このメモリ67aに格納されたものが図5の補間装置におけるテーブル54aとして使用され、メモリ67bに格納されたものがテーブル54bとして使用される。
The least squares
最小二乗法による係数の決定について、図9のフローチャートを参照して説明する。ステップ71から学習処理の制御が開始され、ステップ72の学習データ形成では、既知の画像に対応した学習データが形成される。フィールド内(演算回路65aの場合)またはフレーム内(演算回路65bの場合)の周辺画素の値が学習データとして採用される。注目画素の真値yと周辺画素の値x1 〜xn とが一組の学習データである。
Determination of the coefficient by the least square method will be described with reference to the flowchart of FIG. Control of learning processing is started from step 71, and learning data corresponding to a known image is formed in learning data formation in
ここで、周辺画素で構成されるブロックのダイナミックレンジがしきい値よりも小さいものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。ステップ73のデータ終了では、入力された全データ例えば1フレームのデータの処理が終了していれば、ステップ76の予測係数決定へ、終了していなければ、ステップ74のクラス決定へ制御が移る。
Here, control is performed in which the dynamic range of the block composed of neighboring pixels is smaller than the threshold value is not treated as learning data. This is because a small dynamic range is easily affected by noise and an accurate learning result may not be obtained. At the end of the data at step 73, the control shifts to the prediction coefficient determination at step 76 if the processing of all input data, for example, one frame of data has been completed, and to the class determination at
ステップ74のクラス決定は、上述のように、フィールド内またはフレーム内の所定の画素の値に基づいたクラス決定がなされる。ステップ75の正規方程式加算では、後述する式(9)の正規方程式が作成される。全データの処理が終了後、ステップ73のデータ終了から制御がステップ76に移る。このステップ76の予測係数決定では、この正規方程式を行列解法を用いて解いて、予測係数を決める。ステップ77の予測係数ストアで、予測係数をメモリにストアし、ステップ78で学習処理の制御が終了する。
The class determination in
図9中のステップ75(正規方程式生成)およびステップ76(予測係数決定)の処理をより詳細に説明する。注目画素の真値をyとし、その推定値をy' とし、その周囲の画素の値をx1 〜xn としたとき、クラス毎に係数w1 〜wn によるnタップの線形1次結合
y' =w1 x1 +w2 x2 +‥‥+wn xn (2)
を設定する。学習前はwi が未定係数である。
The processing of step 75 (normal equation generation) and step 76 (prediction coefficient determination) in FIG. 9 will be described in more detail. When the true value of the pixel of interest is y, the estimated value is y ′, and the values of surrounding pixels are x1 to xn, the linear primary combination of n taps with coefficients w1 to wn for each class y ′ = w1 x1 + w2 x2 + ... + wn xn (2)
Set. Before learning, wi is an undetermined coefficient.
上述のように、学習はクラス毎になされ、データ数がmの場合、式(2)は、式(3)で表される。
yj'=w1 xj1+w2 xj2+‥‥+wn xjn (3)
(但し、j=1,2,‥‥m)
As described above, learning is performed for each class, and when the number of data is m, Expression (2) is expressed by Expression (3).
y j ' = w1 xj1 + w2 xj2 +... + wn xjn (3)
(However, j = 1, 2, ... m)
m>nの場合、w1 〜wn は一意には決まらないので、誤差ベクトルEの要素をそれぞれの学習データxj1,xj2,‥‥xjn,yj における予測誤差をej として、次の式(4)のごとく定義する。
ej =yj −(w1 xj1+w2 xj2+‥‥+wn xjn) (4)
(但し、j=1,2,‥‥m)
次に、次の式(5)を最小にする係数を求め、最小二乗法における最適な予測係数w1
,w2 ,‥‥,wn を決定する。
When m> n, w1 to wn are not uniquely determined, so that the prediction error in the learning data xj1, xj2,... xjn, yj is ej as the element of the error vector E as shown in the following equation (4). Define as follows.
ej = yj- (w1 xj1 + w2 xj2 +... + wn xjn) (4)
(However, j = 1, 2, ... m)
Next, a coefficient that minimizes the following equation (5) is obtained, and an optimum prediction coefficient w1 in the least square method is obtained.
, W2,..., Wn are determined.
すなわち、式(5)のwi による偏微分係数を求めると、次の式(6)のごとくになる。式(6)で(i=1,2,・・・,n)である。 That is, when the partial differential coefficient based on wi in equation (5) is obtained, the following equation (6) is obtained. In formula (6), (i = 1, 2,..., N).
式(6)を0にするように各wi を決めればよいから、 Since each wi should be determined so that the expression (6) becomes 0,
として、行列を用いると、 As a matrix,
となる。この方程式は一般に正規方程式と呼ばれている。正規方程式は、丁度、未知数がn個だけある連立方程式である。これにより最確値たる各未定係数w1 ,w2 ,‥‥,wn を求めることができる。具体的には、一般的に式(9)の左辺の行列は、正定値対称なので、コレスキー法という手法により式(9)の連立方程式を解くことができ、未定係数wi が求まり、クラスコードをアドレスとして、この係数wi をメモリに格納しておく。 It becomes. This equation is generally called a normal equation. The normal equation is a simultaneous equation with exactly n unknowns. As a result, the undetermined coefficients w1, w2,. Specifically, since the matrix on the left side of equation (9) is generally positive definite symmetric, the simultaneous equations of equation (9) can be solved by a method called the Cholesky method, the undetermined coefficient w i is obtained, and the class code This coefficient wi is stored in the memory using as an address.
41 フレーム間内挿回路
42 フィールド内内挿回路
47 フィールド間内挿回路
53 補間演算回路
54 係数メモリ
58 静止判定のための比較回路
41 Interpolation circuit between
Claims (4)
生成対象としての注目画素のクラスを複数の参照画素に基づいて決定するためのクラス分類手段と、
学習用の画像信号において、注目画素の真値と、注目画素と空間的に近傍の複数の画素を用いて学習された上記クラス毎の第1の係数と、学習用の画像信号において、注目画素の真値と、注目画素と時間的および空間的に近傍の複数の画素を用いて学習された第2の係数とが格納されたメモリ手段と、
上記注目画素の静止判定を行う静止判定手段と、
上記静止判定手段によって、上記注目画素が動き部分であると判定される場合には、上記注目画素と空間的に近傍である複数の画素と上記クラスに対応する上記第1の係数との演算によって上記画素値を生成し、
上記注目画素が静止部分であると判定される場合には、上記注目画素と時間的および空間的に近傍である複数の画素と上記クラスに対応する上記第2の係数との演算によって上記画素値を生成する画素値生成手段とを有し、
上記クラス分類手段は、上記複数の参照画素の値を平均化し、この平均化された値と上記複数の参照画素の各値とを比較し、この比較結果に応じて上記注目画素のクラスを決定することを特徴とするディジタル画像信号生成装置。 From the input digital image signal, the digital image signal generating apparatus for generating pixel values of the high-resolution digital image signal from said input digital image signal,
A class classification means for determining a class of a target pixel as a generation target based on a plurality of reference pixels;
In the learning image signal, the true value of the target pixel, the first coefficient for each class learned using a plurality of pixels spatially adjacent to the target pixel, and the target pixel in the learning image signal A memory means storing a true value of the second pixel and a second coefficient learned by using a plurality of pixels that are temporally and spatially adjacent to the target pixel;
Stillness determination means for determining stillness of the pixel of interest;
When it is determined by the stationary determination means that the target pixel is a moving part, by calculating a plurality of pixels spatially adjacent to the target pixel and the first coefficient corresponding to the class Generate the above pixel value,
If it is determined that the target pixel is a stationary part, the pixel value is calculated by calculating a plurality of pixels temporally and spatially adjacent to the target pixel and the second coefficient corresponding to the class. Pixel value generating means for generating
The class classification means averages the values of the plurality of reference pixels, compares the averaged values with the values of the plurality of reference pixels, and determines the class of the pixel of interest according to the comparison result. A digital image signal generation apparatus characterized by:
上記静止判定手段によって、上記注目画素が静止部分であると判定される場合には、上記クラス分類手段が上記注目画素と時間的および空間的に近傍である複数の画素に基づいてクラスを決定するようにした請求項1に記載のディジタル画像信号生成装置。 When the target determination unit determines that the target pixel is a moving part, the class classification unit determines a class based on a plurality of pixels spatially adjacent to the target pixel,
When the target determination unit determines that the target pixel is a still part, the class classification unit determines a class based on a plurality of pixels that are temporally and spatially adjacent to the target pixel. The digital image signal generation apparatus according to claim 1, which is configured as described above.
生成対象としての注目画素のクラスを複数の参照画素に基づいて決定するためのクラス分類ステップと、
上記注目画素の静止判定を行う静止判定ステップと、
上記静止判定ステップによって、上記注目画素が動き部分であると判定される場合には、上記注目画素と空間的に近傍である複数の画素と上記クラスに対応する第1の係数との演算によって上記画素値を生成し、
上記注目画素が静止部分であると判定される場合には、上記注目画素と時間的および空間的に近傍である複数の画素と上記クラスに対応する第2の係数との演算によって上記画素値を生成する画素値生成ステップとを有し、
上記クラス分類手段は、上記複数の参照画素の値を平均化し、この平均化された値と上記複数の参照画素の各値とを比較し、この比較結果に応じて上記注目画素のクラスを決定し、
上記第1の係数は、学習用の画像信号において、注目画素の真値と、注目画素と空間的に近傍の複数の画素を用いて学習され、上記第2の係数は、学習用の画像信号において、注目画素の真値と、注目画素と時間的および空間的に近傍の複数の画素を用いて学習されることを特徴とするディジタル画像信号生成方法。 From the input digital image signal, the digital image signal generation method for generating a pixel value of a high-resolution digital image signal from said input digital image signal,
A class classification step for determining a class of a target pixel as a generation target based on a plurality of reference pixels;
A stillness determining step for determining stillness of the target pixel;
When it is determined in the still determination step that the target pixel is a moving part, the calculation is performed by calculating a plurality of pixels spatially adjacent to the target pixel and the first coefficient corresponding to the class. Generate pixel values,
When it is determined that the target pixel is a stationary part, the pixel value is calculated by calculating a plurality of pixels temporally and spatially close to the target pixel and a second coefficient corresponding to the class. A pixel value generation step for generating,
The class classification means averages the values of the plurality of reference pixels, compares the averaged values with the values of the plurality of reference pixels, and determines the class of the pixel of interest according to the comparison result. And
The first coefficient is learned using a true value of the target pixel and a plurality of pixels spatially adjacent to the target pixel in the learning image signal, and the second coefficient is the learning image signal. In this method, learning is performed using a true value of a target pixel and a plurality of pixels that are temporally and spatially adjacent to the target pixel.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003349820A JP3867697B2 (en) | 2003-10-08 | 2003-10-08 | Image signal generation apparatus and generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003349820A JP3867697B2 (en) | 2003-10-08 | 2003-10-08 | Image signal generation apparatus and generation method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23712193A Division JP3746305B2 (en) | 1993-08-11 | 1993-08-11 | Image signal generating apparatus and method, and digital image signal processing apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004072800A JP2004072800A (en) | 2004-03-04 |
JP3867697B2 true JP3867697B2 (en) | 2007-01-10 |
Family
ID=32025878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003349820A Expired - Lifetime JP3867697B2 (en) | 2003-10-08 | 2003-10-08 | Image signal generation apparatus and generation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3867697B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012034038A (en) * | 2010-07-28 | 2012-02-16 | Toshiba Corp | Three-dimensional video processor and three-dimensional video processing method |
JP5853372B2 (en) * | 2011-01-26 | 2016-02-09 | 富士通株式会社 | Image processing apparatus and image processing method |
JP5683307B2 (en) * | 2011-02-07 | 2015-03-11 | 日本放送協会 | Thinning filter and program |
-
2003
- 2003-10-08 JP JP2003349820A patent/JP3867697B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2004072800A (en) | 2004-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2540809B2 (en) | High efficiency encoder | |
US6266454B1 (en) | Device and method for processing, image and device and method for encoding image | |
JPH09172621A (en) | Interpolation device and interpolation method for compressed high resolution video signal | |
JP3201079B2 (en) | Motion compensated prediction method, coding method and apparatus for interlaced video signal | |
JP3867697B2 (en) | Image signal generation apparatus and generation method | |
JP3906770B2 (en) | Digital image signal processing apparatus and method | |
US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
JP3906832B2 (en) | Image signal processing apparatus and processing method | |
JP3746305B2 (en) | Image signal generating apparatus and method, and digital image signal processing apparatus and method | |
JP3617080B2 (en) | Signal processing apparatus and signal processing method | |
JP3831960B2 (en) | Interpolation apparatus and interpolation method for compressed high resolution video signal | |
JP3480015B2 (en) | Apparatus and method for generating image data | |
JP3963184B2 (en) | Signal processing apparatus and signal processing method | |
JP3844520B2 (en) | Signal processing apparatus and signal processing method | |
JP2814482B2 (en) | High efficiency code decoding apparatus and decoding method | |
JPH0746589A (en) | Digital image signal processor | |
JP2718034B2 (en) | High-efficiency code decoding device | |
JP2712299B2 (en) | High-efficiency code decoding device | |
JP6099104B2 (en) | Color moving image structure conversion method and color moving image structure conversion device | |
JP2798244B2 (en) | High-efficiency code decoding device | |
JP4807349B2 (en) | Learning apparatus and method | |
JP4566877B2 (en) | Image processing apparatus and method | |
JP2595618B2 (en) | Digital video signal transmission equipment | |
JP2002199393A (en) | Digital picture signal processor and its method | |
JPH03247190A (en) | Moving vector detection circuit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20060221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061002 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091020 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
EXPY | Cancellation because of completion of term |