JP2006020347A - Apparatus and method for generating coefficient - Google Patents
Apparatus and method for generating coefficient Download PDFInfo
- Publication number
- JP2006020347A JP2006020347A JP2005218173A JP2005218173A JP2006020347A JP 2006020347 A JP2006020347 A JP 2006020347A JP 2005218173 A JP2005218173 A JP 2005218173A JP 2005218173 A JP2005218173 A JP 2005218173A JP 2006020347 A JP2006020347 A JP 2006020347A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image information
- class
- block
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 abstract description 3
- 230000011218 segmentation Effects 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000003111 delayed effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
Description
この発明は、例えば、テレビジョン受像器やビデオテープレコーダ装置等に用いて好適な画像情報変換装置に関し、特に、外部から供給される通常の解像度の画像情報を高解像度の画像情報へ変換して出力するような画像情報変換装置用いて好適な係数生成装置および方法に関する。 The present invention relates to an image information conversion device suitable for use in, for example, a television receiver, a video tape recorder device, and the like, and in particular, converts normal resolution image information supplied from the outside into high resolution image information. The present invention relates to a coefficient generation apparatus and method suitable for use in an image information conversion apparatus that outputs data.
今日において、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることが出来るようなテープ受像器の開発が望まれ、この要望に応えて、いわゆるハイビジョン方式が開発された。このハイビジョン方式は、いわゆるNTSC方式に規定される走査線が525本に対して、2倍以上の1125本となっているうえ、表示画面の縦横比もNTSC方式が3:4に対して、ハイビジョン方式は、9:16と広角画面になっている。このため、高解像度で臨場感のある画面を得ることが出来るようになっている。 Nowadays, development of a tape receiver capable of obtaining a higher resolution image is desired due to an increase in audio / visual orientation, and in response to this demand, a so-called high vision system has been developed. In this high-definition method, the number of scanning lines specified in the so-called NTSC method is 1125, which is more than twice the number of scanning lines, and the aspect ratio of the display screen is also high-definition for the NTSC method is 3: 4. The system is a wide-angle screen of 9:16. For this reason, a high-resolution and realistic screen can be obtained.
しかしながら、このような優れた特性を有するハイビジョン方式ではあるが、NTSC方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは、上述のようにNTSC方式とハイビジョン方式とでは、規格が異なることが原因している。このため、NTSC方式の映像信号に応じたハイビジョン方式で表示しようとする場合、従来は、例えば図8に示すような画像情報変換装置を用いて映像信号のレート変換を行っていた。 However, although it is a high-definition system having such excellent characteristics, an image cannot be displayed even if an NTSC video signal is supplied as it is. This is because the standards differ between the NTSC system and the high vision system as described above. For this reason, when attempting to display in a high-definition system corresponding to an NTSC system video signal, conventionally, for example, an image information converter as shown in FIG. 8 is used to convert the video signal rate.
図8において、従来の画像情報変換装置は、入力端子31を介して供給されるNTSC方式の映像信号の水平方向の補間処理を行う水平補間フィルタ32と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フィルタ33とから構成され、水平方向、および垂直方向の補間処理がなされたNTSC方式の信号は、出力端子34から取り出される。
In FIG. 8, a conventional image information conversion apparatus includes a
具体的には、水平補間フィルタ32は、図9に示すような構成を有しており、入力端子31を介して供給されるNTSC方式の映像信号は、入力端子41を介して、第1〜第mの乗算器42〜42mにそれぞれ供給される。各乗算器42は、それぞれ映像信号に係数を乗算して出力する。係数の乗算された映像信号は、それぞれ第1〜第mの加算器43〜43m-1へ供給される。各加算器43〜43m-1の間には、それぞれ時間Tの遅延レジスタ441〜44mが設けられている。そして、第mの乗算器42mから出力された映像信号は、第mの遅延レジスタ44mにより時間Tの遅延が施され、第m−1の加算器43m-1へ供給される。
Specifically, the
第m−1の加算器43m-1は、第mの遅延レジスタ44mからの時間Tの遅延が施された映像信号と、第m−1の乗算器42m-1からの映像信号とを加算処理して出力する。この加算処理の施された映像信号は、第m−1の遅延レジスタ44m-1により再度、時間Tの遅延が施され、図示しない第m−2の加算器43m-2において、同じく図示しない第m−2の乗算器43m-2からの映像信号と加算処理される。水平補間フィルタ32は、このようにしてNTSC方式の映像信号を出力端子45を介して、垂直補間フィルタ33へ供給する。
The m−1th adder 43 m−1 includes the video signal delayed by time T from the mth delay register 44 m and the video signal from the m−
垂直補間フィルタ33は、上述の水平補間フィルタ32と同様の構成を有しており、水平補間処理の行われた映像信号に対して、垂直方向の画素の補間を行う。これにより、NTSC方式の映像信号に対して、垂直方向の画素の補間を行う。このような変換のなされたハイビジョン方式の映像信号は、ハイビジョン方式受像器に供給される。これにより、NTSC方式の映像信号に応じた画像をハイビジョン方式受像器で表示することができる。
The vertical interpolation filter 33 has the same configuration as the
しかしながら、上述のように従来の画像情報変換装置は、NTSC方式の映像信号を基にして、単に水平方向、および垂直方向の補間を行っているに過ぎないため、解像度は基となるNTSC方式の映像信号と何ら変わらなかった。特に、通常の動画を変換対象とした場合、垂直方向の補間フィールド内処理で行うのが一般的であるが、この場合、画像のフィールド間相関を使用していないため、画像静止部においてはNTSC方式の映像信号よりも解像度が劣化する欠点があった。 However, as described above, the conventional image information conversion apparatus simply performs horizontal and vertical interpolation based on the NTSC video signal, so that the resolution is based on the NTSC standard. It was no different from the video signal. In particular, when a normal moving image is to be converted, it is generally performed by interpolation field processing in the vertical direction. However, in this case, since inter-field correlation of the image is not used, the NTSC is used in the still image portion. There is a drawback that the resolution is deteriorated compared to the video signal of the system.
これに対し、従来のディジタルデータ変換装置および方法では、複数の入力データの分布状態に応じたクラス分けがされ、各クラスに関するデータ変換、すなわちクラス情報を出力データへ変換、またはクラス情報を出力データを形成するためのパラメータに変換するマッピング表が使用される。このマッピング表は、トレーニング用の種々の絵柄の源画像を用いて予め形成されている。したがって、このマッピング表によって、入力画像信号に含まれない高解像度成分を復元することができる。(例えば、特許文献1参照。)
また、従来の画像信号変換装置では、入力信号である画像信号レベルの3次元(時空間)分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する画像信号変換装置というものがある。(例えば、特許文献2参照。)
この手法は、HD(High Difinition)画素を創造する場合、時間的、空間的な意味でその周辺に存在する複数のSD(Standerd Difinition)画素データをクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで画像静止部においてはフィールド間、フレーム間等の時間方向の相関を利用し、また動き部においてはフィールド内相関のみを利用することにより真値に近いHD画素値を得る、というような巧妙なものである。 In this method, when creating HD (High Definition) pixels, a plurality of SD (Standed Definition) pixel data existing in the vicinity thereof are divided into classes in terms of time and space, and prediction coefficient values are obtained for each class. Is obtained by learning, using the correlation in the time direction such as between fields and between frames in the still image portion, and by using only the intra-field correlation in the motion portion, an HD pixel value close to the true value is obtained. , Is a clever thing.
すなわち、図10において、SD画素x1とSD画素x2の差分値が小さい場合は、創造するべきHD画素y周辺の画像は静止している可能性が高い。そこで、画像信号変換装置では、空間位置の低いSD画素x1とSD画素x2に重きをおいて、HD画素yを創造する。一方、SD画素x1とSD画素x2の差分値が大きい場合は、創造するべきHD画素y周辺の画像は動いている可能性が高い。そこで、画像信号変換装置では、時間的に近いSD画素x3とSD画素x4に重きをおいて、HD画素yを創造する。 That is, in FIG. 10, when the difference value of the SD pixel x 1 and SD pixels x 2 is small, HD pixels y periphery of the image to create is likely to be stationary. Therefore, in the image signal conversion apparatus, the HD pixel y is created by placing emphasis on the SD pixel x 1 and the SD pixel x 2 having a low spatial position. On the other hand, when the difference value between the SD pixel x 1 and the SD pixel x 2 is large, there is a high possibility that the image around the HD pixel y to be created is moving. Therefore, in the image signal conversion apparatus, the HD pixel y is created by placing emphasis on the SD pixel x 3 and the SD pixel x 4 that are close in time.
この手法によれば静止/動きの切り換わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止/動きの切り換わりによる不自然さの発生を大幅に減少させることができる。 According to this method, the static / motion switching can be expressed smoothly by learning using actual images, so that the occurrence of unnaturalness due to the switching of static / motion is greatly increased as in the conventional motion adaptation method. Can be reduced.
しかしながら、上述の手法は、有限個のクラス分割により、動き情報と区間内の波形の二つを表現する必要があり、クラスによっては、本来なら分離するべきパターンが一つのクラス内に混在してしまう場合があった。 However, the above-described method needs to express motion information and a waveform in a section by a finite number of class divisions. Depending on the class, patterns that should be separated are mixed in one class. There was a case.
例えば、図10において、SD画素x1とSD画素x2の差分値が小さい場合は、上述のようにその周辺の画像は静止している可能性が非常に高いが、わずかな可能性ではあるが実際には画像が動いている場合がある。例えば、(k−1)フィールドにのみ動き物体が侵入している場合、また、kフィールドから(k+2)フィールドの間で画像中の物体が動いているが、たまたまSD画素x1とSD画素x2の差分値が小さいことにより、HD画素yは、画像信号変換装置では、空間位置の近いSD画素x1とSD画素x2に重きをおいて、創造される。したがって、この場合、創造されたHD画素と真のHD画素の誤差が大きいものとなり、復元画像の品質の劣化が目立つことになる。 For example, in FIG. 10, when the difference value between the SD pixel x 1 and the SD pixel x 2 is small, the surrounding image is very likely to be still as described above, but it is a slight possibility. However, the image may actually be moving. For example, when a moving object has entered only the (k−1) field, or an object in the image is moving between the k field and the (k + 2) field, it happens that the SD pixel x 1 and the SD pixel x Since the difference value of 2 is small, the HD pixel y is created in the image signal conversion device with emphasis on the SD pixel x 1 and the SD pixel x 2 that are close to each other in spatial position. Therefore, in this case, the error between the created HD pixel and the true HD pixel is large, and the quality of the restored image is noticeably deteriorated.
この対応策として、クラス分割に用いる画素数を増やして、クラス数を増加させることにより、復元画像の品質劣化を低減する、という手法も考えられる。しかしながら、この手法によるとクラス数が非常に大きなものになってしまい、その結果ハードウェア規模の増加を招き、現実性に乏しい。 As a countermeasure, a method of reducing the quality degradation of the restored image by increasing the number of pixels used for class division and increasing the number of classes may be considered. However, according to this method, the number of classes becomes very large, resulting in an increase in hardware scale and poor realism.
したがって、この発明は、上述の問題点に鑑みてなされたものであり、解像度を向上させてNTSC方式の映像信号をハイビジョン方式の映像信号へ変換することができるような画像情報変換装置に用いて好適な係数生成装置および方法の提供を目的とする。 Therefore, the present invention has been made in view of the above-described problems, and is used for an image information conversion apparatus capable of improving resolution and converting an NTSC video signal into a high-definition video signal. An object of the present invention is to provide a suitable coefficient generation apparatus and method.
この発明は、高い解像度のディジタル画像信号を所定の割合で画素を間引き、間引かれた画像情報を生成する間引き手段と、
間引かれた画像情報を複数のブロックへ分割する画像情報分割手段と、
分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロック毎の画像情報が属するクラスが決定され、クラス検出情報を出力するクラス検出手段と、
決定されたクラスのブロック毎の画像情報から、ブロック毎の画像情報に対応する高い解像度のディジタル画像信号の注目画素を求めるための係数データを生成する係数データ生成手段と、
生成された係数データを決定されたクラス毎に記憶するメモリ手段と
を有することを特徴とする係数生成装置である。
The present invention provides a thinning means for thinning out pixels of a high-resolution digital image signal at a predetermined ratio to generate thinned image information;
Image information dividing means for dividing the thinned image information into a plurality of blocks;
Class detection means for detecting a level distribution pattern of image information for each divided block, determining a class to which image information for each block belongs based on the detected pattern, and outputting class detection information;
Coefficient data generating means for generating coefficient data for obtaining a target pixel of a high-resolution digital image signal corresponding to the image information for each block from the image information for each block of the determined class;
And a memory unit that stores the generated coefficient data for each determined class.
また、この発明は、高い解像度のディジタル画像信号を所定の割合で画素を間引き、間引かれた画像情報を生成し、
間引かれた画像情報を複数のブロックへ分割し、
分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロック毎の画像情報が属するクラスが決定され、クラス検出情報を出力し、
決定されたクラスのブロック毎の画像情報から、ブロック毎の画像情報に対応する高い解像度のディジタル画像信号の注目画素を求めるための係数データを生成し、
生成された係数データを決定されたクラス毎にメモリ部に記憶する
ようにしたことを特徴とする係数生成方法である。
The present invention also thins out pixels of a high-resolution digital image signal at a predetermined ratio, generates thinned image information,
Divide the thinned image information into multiple blocks,
A level distribution pattern of image information is detected for each divided block, and based on the detected pattern, a class to which the image information for each block belongs is determined, and class detection information is output,
Generating coefficient data for obtaining a pixel of interest of a high-resolution digital image signal corresponding to the image information for each block from the image information for each block of the determined class,
The coefficient generation method is characterized in that the generated coefficient data is stored in a memory unit for each determined class.
この発明に依れば、推定されたHD画像をダウンコンバートし、ダウンコンバートされた画像を複数のブロックに分割し、分割されたブロック毎にダウンコンバートされた画像からHD画像の注目画素を求めるための係数データを生成し、生成された係数データをメモリに記憶し、そのメモリに記憶された係数データを使用して通常の解像度の画像情報を高解像度の画像情報へ変換することによって、画質を大幅に向上させることができる。 According to the present invention, the estimated HD image is down-converted, the down-converted image is divided into a plurality of blocks, and the target pixel of the HD image is obtained from the down-converted image for each divided block. Image data is stored in a memory, and the image data of normal resolution is converted into high resolution image information by using the coefficient data stored in the memory. It can be greatly improved.
以下、この発明に係る画像信号変換装置の実施例について図面を参照しながら詳細に説明する。図1は、この一実施例、すなわち画像信号変換装置の信号処理の概略的構成を示す。1で示す入力端子から、外部から供給される画像情報として、例えばいわゆるNTSC方式の映像信号がディジタル化され、SDデータとして供給される。
Embodiments of an image signal converter according to the present invention will be described below in detail with reference to the drawings. FIG. 1 shows a schematic configuration of signal processing of this embodiment, that is, an image signal conversion apparatus. For example, a so-called NTSC video signal is digitized and supplied as SD data as image information supplied from the
この実施例における、SD画素と創造するべきHD画素の位置関係は、図2に示すとおりとする。すなわち、同一フィールド内において、創造するべきHD画素には、SD画素から近い位置に存在するHD画素y1と、SD画素から遠い位置に存在するHD画素y2の2種類がある。以降、SD画素から近い位置に存在するHD画素を推定するモードをモード1と称し、SD画素から遠い位置に存在するHD画素を推定するモードをモード2と称する。
The positional relationship between the SD pixel and the HD pixel to be created in this embodiment is as shown in FIG. That is, in the same field, there are two types of HD pixels to be created: HD pixel y 1 that exists near the SD pixel and HD pixel y 2 that exists far from the SD pixel. Hereinafter, a mode for estimating an HD pixel existing at a position close to the SD pixel is referred to as
領域分割化回路2では、入力端子1から供給されたSD画像信号を複数の領域に分割する。この実施例では、モード1用に創造するべきHD画素の例えば上下各2画素ずつのSD画素を、1画素×4ラインの計4画素からなる領域に分割する。この領域をブロック1と呼ぶことにする。HD画素y1に対するブロック1のSD画素は、図2におけるx1、x2、x3、x4となる。
The
一方、モード2用には2種類の領域分割が行われる。まず、モード1と同様に創造するべきHD画素の例えば上下各2画素ずつのHD画素を1画素×4ラインの計4画素からなる領域に分割する。この領域をブロック2−1のSD画素は、図2におけるx1、x2、x3、x4となる。
On the other hand, for
さらに、モード2に対しては他のフィールドに属するSD画素を含んだ4画素の領域分割がなされる。具体的には、例えば創造するべきHD画素の上下各1画素ずつのHD画素それぞれ1画素がブロック化され、いわゆる、時空間構造を持った領域分割がなされる。この領域をブロック2−2と呼ぶことにする。HD画素y2に対するブロック2−2のSD画素は、図3におけるx1、x2、x3、x4となる。
Further, for
領域分割化回路2によりブロック化されたデータが、ADRC回路3、および遅延回路6へ供給される。遅延回路6は、ADRC回路3、クラスコード発生回路4、ROMテーブル5の処理に必要な時間だけデータを遅延させて、推定演算回路7へ出力する。
The data blocked by the
ADRC回路3は、領域毎に供給されるSDデータの1次元的、あるいは2次元的なレベル分布のパターンを検出するとともに、上述のように各領域のデータを、例えば8ビットのSDデータから2ビットのSDデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮がクラスコード発生回路4へ供給される。
The
本来、ADRC(Adaptive Dynamic Range Coding)は、VTR向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるため、この発明の実施例では、信号パターンのクラス分類のコード発生に使用している。ADRC回路3は、領域内のダイナミックレンジをDR、ビット割当をn、領域内画素のデータレベルをL、再量子化コードをQ、として以下の式(1)により、領域内の最大値MAXと最小値MINとの間を指定されたビット長で均等に分割して再量子化を行う。
Originally, ADRC (Adaptive Dynamic Range Coding) is an adaptive requantization method developed for high-efficiency coding for VTRs, but it can efficiently express a local pattern at a signal level with a short word length. In the embodiment of the present invention, it is used for code generation of signal pattern classification. The
DR=MAX−MIN+1
Q={(L−MIN+0.5)×2n/DR} (1)
ただし、{ }は切り捨て処理を意味する。
DR = MAX-
Q = {(L−MIN + 0.5) × 2 n / DR} (1)
However, {} means a truncation process.
この実施例では、領域分離化回路2により分離されたそれぞれ4画素のSDデータを、各2ビットに圧縮するものとする。圧縮されたSDデータを、それぞれq1〜q4とする。
In this embodiment, SD data of 4 pixels each separated by the
クラスコード発生回路4は、ADRC回路3から供給されるパターン圧縮データに基づいて以下の式(2)の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclassがROMテーブル5へ供給される。このクラスコードclassは、ROMテーブル5からの読み出しアドレスを示すものとなっている。
The class
ROMテーブル5には、SDデータのパターンとHDデータの関係を学習することにより、線形推定式を用いて、SDデータに対応するHDデータを算出するための係数データが各クラス毎に記憶さている。これは、線形推定式によりSDデータをこの画像情報よりも高い解像度の画像情報である、いわゆるハイビジョン方式の規格に合致したHDデータへ変換するための情報である。 In the ROM table 5, coefficient data for calculating HD data corresponding to the SD data is stored for each class using a linear estimation formula by learning the relationship between the SD data pattern and the HD data. . This is information for converting SD data into HD data conforming to a so-called high-definition standard, which is image information having a resolution higher than that of the image information, using a linear estimation formula.
この実施例において係数データは、モード1とモード2のそれぞれ独立に用意され、さらにモード2に関しては、ブロック2−1のデータを使用する場合と、ブロック2−2のデータを使用する場合でそれぞれ独立に係数データは、用意されている。なお、ROMテーブル5に記憶されている係数データの作成方法については後述する。ROMテーブル5からは、クラスコードclassで示されるアドレスから、そのクラスの係数データであるwi(class)が読み出される。この係数データは、推定演算回路7へ供給される。
In this embodiment, the coefficient data is prepared independently for each of
推定演算回路7は、遅延回路6を介して、領域分割化回路2から供給されるSDデータ、およびROMテーブル5から供給される係数データであるwi(class)に基づいて、入力されたSDデータに対応するHDデータを算出する。推定演算回路7については、図4を用いて詳しく説明する。
The
遅延回路6より供給されたSDデータとROMテーブル5から供給された係数データは、まず初期推定演算回路11へ供給される。初期推定演算回路11は、モード1に関しては、ブロック1用の係数を用いて、係数データであるwi(class)に基づいて、それぞれ以下の式(3)に示す演算を行うことにより、入力されたSDデータに対応するHDデータを算出する。また、モード2のHD画素に関しては、2種類のデータが存在することになる。
The SD data supplied from the
モード1のHDデータと、モード2のHDデータのうちブロック2−2用の係数データを用いて作成されたHDデータが、垂直間引きフィルタ12へ供給される。モード1のHDデータは、同時に水平補間フィルタ8にも供給される。ブロック2−2用の係数データを用いて作成されたHDデータは、同時にスイッチ回路14へ供給される。ブロック2−1用の係数データを用いて作成されたモード2のHDデータは、スイッチ回路14へ供給される。
The HD data created using the
hd´=w1x1+w2x2+w3x3+w4x4 (3) hd ′ = w 1 x 1 + w 2 x 2 + w 3 x 3 + w 4 x 4 (3)
垂直間引きフィルタ12は、後に詳しく説明する垂直間引きフィルタ22と同一のものであり、HD画像信号の垂直方向の画素数をフィルタリングによりSD画像信号の画素数に間引くものである。垂直間引きフィルタ12は、初期推定演算回路11より供給されたHDデータをダウンコンバートしてSDデータを作成して、比較判定回路13へ出力する。
The vertical thinning
比較判定回路13には、垂直間引きフィルタ12により生成され、推定されたHDデータをダウンコンバートして作成したSDデータと、遅延回路6から供給されたSDデータが供給される。比較判定回路13では、遅延回路6から供給されたオリジナルのSDデータと、垂直間引きフィルタ12から供給され、推定されたHDデータをダウンコンバートすることによって作成されたSDデータとの比較が行われる。
The
遅延回路6から供給されたオリジナルのSDデータは、もともと垂直間引きフィルタ12と同一のフィルタにより、真のHDデータからダウンコンバートされたものである。したがって、初期推定演算回路11により推定されたHDデータが真値と完全に一致するならば、遅延回路6から供給されたオリジナルのSDデータと、垂直間引きフィルタ12から供給され、推定されたHDデータとは、一致するはずである。しかしながら、SDデータからHDデータを完全に推定することは事実上不可能であるから多少の誤差が発生することが一般的である。
Original SD data supplied from the
しかしながら、比較判定回路13で大きな誤差が発生することがあり、この場合、誤差の発生したSDデータの近傍のHDデータを推定するときに大きな誤差が発生した可能性が高い。
However, a large error may occur in the comparison /
今、モード1の画素の推定は完全フィールド内推定方式によって行われている。したがって、動き等により極端な性能劣化は発生せず、モード1の画素の推定においては大きな誤差が発生する可能性は低い。
Now, the estimation of the pixels in
これに対してモード2の画素の推定は、時空間のタップ構造を持つ推定方式によって行われている。この構造を持つ推定方式は平均的には高い推定精度を持つが、それほど多くないクラスにおいて、この推定を行った場合、動画シーンを静止と判定ミスすることにより非常に大きな誤差が発生することがある。
In contrast,
よって、比較判定回路13で大きな誤差が発生した場合、誤差の発生したSDデータの近傍のモード2におけるHDデータを推定するときに大きな誤差が発生した可能性が高い、と言える。
Therefore, if a large error occurs in the comparison /
したがって、推定演算回路7においては、モード2のHDデータ出力において、比較判定回路13の比較において、誤差がない、または小さい場合は、ブロック2−2の画素、および係数データを用いた推定により算出されたHDデータを出力する。また、比較判定回路13の比較において、誤差が大きい場合はブロック2−1の画素、および係数データを用いた推定により算出されたHDデータを出力する。モード1のHDデータ出力においては、常にブロック1の画素、および係数データを用いた推定により算出されたHDデータを出力する。
Therefore, in the
具体的には、図5における、SDデータx1とx2における、オリジナルのSDデータと、推定されたHDデータをダウンコンバートすることにより作成されたSDデータの誤差が共にあるしきい値THを超える場合、モード2のHDデータyにおける出力データは、ブロック2−1の画素、および係数データを用いた推定により算出されたHDデータを用い、上述の条件に当てはまらないときは、ブロック2−2の画素、および係数データを用いた推定により算出されたHDデータを用いる。
Specifically, the threshold value TH in which there is an error between the original SD data and the SD data created by down-converting the estimated HD data in the SD data x 1 and x 2 in FIG. In the case of exceeding, the output data in the HD data y of
水平補間フィルタ8は、図8の水平補間フィルタ33と同一なもので、補間処理により水平方向の画素数を2倍にするものである。水平補間フィルタ8の出力は、出力端子9を介して出力される。この出力端子9を介して出力されるHDデータは、例えばHDテレビジョン受像器やHDビデオテープレコーダ装置等に供給される。
The
このように、SDデータに対応するHDデータを推定するための係数データを各クラス毎に予め学習により求めた上で、ROMテーブル5に記憶しておき、入力されるSDデータ、およびROMテーブル5から読み出した係数データに基づいて演算を行い、入力されたSDデータに対応するHDデータを形成して出力することにより、入力されるSDデータを単に補間処理したのとは異なり、実際のHDデータを出力することができる。 As described above, the coefficient data for estimating the HD data corresponding to the SD data is obtained by learning for each class in advance and stored in the ROM table 5, and the input SD data and the ROM table 5 are stored. The HD data corresponding to the input SD data is formed and output based on the coefficient data read out from the actual SD data. Can be output.
しかも、クラス分類を増やすことによって改善しようとすると、クラス数が膨大なものになってしまうが、この発明の手法によれば、モード2の推定により従来の2倍のクラスが必要になるものを、総合的なクラス数としては従来の1.5倍のクラス数という充分実用的なクラス数で大幅な画質改善を得ることができる。
Moreover, if the improvement is made by increasing the class classification, the number of classes becomes enormous. However, according to the method of the present invention, a mode that requires twice as many classes as the conventional one is required by the
続いて、ROMテーブル5に格納される係数データの作成方法について、図6を用いて説明する。係数データを学習によって得るためには、まず、既に知られているHD画像に対応したHD画像の1/4の画素数のSD画像を形成する。具体的には、図6に示す理想フィルタ回路により、入力端子21を介して供給されるHDデータの垂直方向の画素を垂直間引きフィルタ22によりフィールド内の垂直方向の周波数が1/2になるように間引き処理され、さらに水平間引きフィルタ23により、HDデータの水平方向の画素を間引き処理することにより、SDデータを得る。垂直間引きフィルタ22および水平間引きフィルタ23により得られたSDデータは、領域分割化回路24へ供給される。
Next, a method for creating coefficient data stored in the ROM table 5 will be described with reference to FIG. In order to obtain coefficient data by learning, first, an SD image having a 1/4 pixel number of an HD image corresponding to an already known HD image is formed. Specifically, with the ideal filter circuit shown in FIG. 6, the vertical frequency of the HD data supplied via the
領域分割化回路24では、水平間引きフィルタ23から供給されたSD画像信号が複数の領域に分割される。具体的には領域分割化回路24は、先に説明した領域分割化回路2と同一の働きをするものである。この実施例では、領域分割化回路2と同じく、各4画素からなる領域に分割される。すなわち、モード1に対してはブロック1の領域の領域分割を行い、モード2に関しては、ブロック2−1とブロック2−2の2種類の領域分割が行われる。この領域毎のSDデータがADRC回路25、および正規方程式加算回路27へ供給される。
In the area dividing circuit 24, the SD image signal supplied from the horizontal thinning
ADRC回路25は、領域毎に供給されるSDデータの1次元的、あるいは2次元的なレベル分布のパターンを検出すると共に、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば8ビットのSDデータから2ビットのSDデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路26へ供給する。ADRC回路25は、先に説明したADRC回路3と同一のものであり、この実施例では、領域分割化回路24により分割された、4画素からなる各領域のSDデータ(図2、図3におけるx1〜x4)を、ADRCにより各2ビットに圧縮するものとする。
The
クラスコード発生回路26は、先に説明したクラスコード発生回路4と同一のものであり、ADRC回路25から供給されるパターン圧縮データに基づいて式(2)の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclassを出力するものである。クラスコード発生回路26は、クラスコードclassを正規方程式加算回路27へ出力する。
The class
ここで、正規方程式加算回路27の説明のために、複数個のSD画素からHD画素への変換式の学習とその予測式を用いた信号変換について述べる。説明のために画素をより一般化してn画素による予測を行う場合について以下に説明する。SD画素レベルをそれぞれx1、・・・・、xnとして、それぞれにpビットADRCを行った結果、再量子化データをq1、・・・・、qnとする。このとき、この領域のクラスコードclassを式(2)で定義する。
Here, in order to explain the normal
上述のように、SD画素レベルをそれぞれ、x1、・・・・、xnとし、HD画素レベルをyとしたとき、クラス毎に係数データw1、・・・・、wnによるnタップの線形推定式を設定する。これを式(4)に示す。ここで、学習前はwiが未定係数である。 As described above, the SD pixel level, respectively, x 1, · · · ·, and x n, when the HD pixel level was y, the coefficient data w 1 for each class, · · · ·, n taps by w n Set the linear estimation formula. This is shown in equation (4). Here, w i is an undetermined coefficient before learning.
y=w1x1+w2x2+w3x3+w4x4 (4) y = w 1 x 1 + w 2 x 2 + w 3 x 3 + w 4 x 4 (4)
学習は、クラス毎に複数の信号データに対して行う。データ数がmの場合、式(4)にしたがって、式(5)が設定される。 Learning is performed on a plurality of signal data for each class. When the number of data is m, equation (5) is set according to equation (4).
y=w1xj1+w2xj2+w3xj3+w4xj4 (5)
(j=1、2、・・・・、m)
y = w 1 x j1 + w 2 x j2 + w 3 x j3 + w 4 x j4 (5)
(J = 1, 2,..., M)
m>nの場合、係数データw1、・・・・wnは一意に決まらないので、誤差ベクトルeの要素を式(6)で定義し、式(7)を最小にする係数データを求める。いわゆる、最小自乗法による解法である。 When m> n, the coefficient data w 1 ,... w n are not uniquely determined. Therefore, the element of the error vector e is defined by Expression (6), and coefficient data that minimizes Expression (7) is obtained. . This is a so-called least square method.
ej=yj−{w1xj1+w2xj2+w3xj3+w4xj4} (6)
(j=1、2、・・・・、m)
e j = y j - {w 1 x j1 + w 2 x j2 + w 3 x j3 + w 4 x j4} (6)
(J = 1, 2,..., M)
ここで、式(7)のwiによる偏微分係数を求める。それは式(8)を「0」にするように各wiを求めればよい。 Here, the partial differential coefficient according to w i in equation (7) is obtained. It may be obtained each w i to the equation (8) to "0".
以下、式(9)、(10)のように、Xji、Yiを定義すると式(8)は、行列を用いて式(11)へ書き換えられる。 Hereinafter, as defined in equations (9) and (10), when X ji and Y i are defined, equation (8) is rewritten into equation (11) using a matrix.
この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路27では、クラスコード発生回路26から供給されたクラスコードclass、領域分割化回路24から供給されたSDデータx1、・・・・、xn、入力端子21から供給されたSDデータに対応したHD画素レベルyを用いて、この正規方程式の加算が行われる。
This equation is generally called a normal equation. In the normal
すべてのトレーニングデータの入力が終了した後、正規方程式加算回路27は、予測係数決定回路28に正規方程式データを出力する。予測係数決定回路28は、正規方程式を掃き出し法等の一般的な行列解法を用いて、wiについて解き、予測係数を算出する。予測係数決定回路28は、算出された予測係数をメモリ29へ書き込む。
After all the training data has been input, the normal
以上のようにトレーニングを行った結果、メモリ29には、量子化データq1〜q4で規定されるパターン毎に、注目HDデータyを推定するための統計的にもっとも真値に近い画素の推定が生成できる予測係数が格納される。このメモリ29に格納されたテーブルが、この発明の画像信号変換装置において使用されるROMテーブル5である。以上の処理により、線形推定式によりSDデータからHDデータを作成するための係数データの学習が終了する。
As a result of the training as described above, the
ここで、図7は、この発明に係る推定演算回路内の比較判定部分の他の実施例を示す。入力端子31からモード1のHDデータ、すなわちブロック1用の係数データを用いて作成されたHDデータが供給され、入力端子32からモード2のHDデータのうちブロック2−2用の係数データを用いて作成されたHDデータが供給され、入力端子33からモード2のHDデータのうちブロック2−1用の係数データを用いて作成されたHDが供給される。
Here, FIG. 7 shows another embodiment of the comparison / determination portion in the estimation arithmetic circuit according to the present invention. HD data created using
ブロック1用の係数データを用いて作成されたHDデータは、垂直間引き回路34、および35へ供給され、間引き処理がなされる。この垂直間引き回路34、および35は、上述の垂直間引き回路12と同じ機能を有する。ブロック2−1用の係数データを用いて作成されたHDデータは、垂直間引き回路34へ供給され、ブロック2−2用の係数データを用いて作成されたHDデータは、垂直間引き回路35へ供給され、それぞれ間引き処理がなされる。
The HD data created using the coefficient data for
垂直間引き回路34において、間引き処理されたモード1のHDデータと、モード2のHDデータのうちブロック2−1の係数データを用いて作成されたHDデータとが比較回路36へ供給され、誤差が検出される。検出された誤差は、判定回路38へ供給される。同様に垂直間引き回路35において、間引き処理されたモード1のHDデータと、モード2のHDデータのうちブロック2−2の係数データを用いて作成されたHDデータとが比較回路36へ供給され、誤差が検出される。検出された誤差は、判定回路38へ供給される。
In the vertical thinning
判定回路38では、モード1のHDデータに対して、モード2の2種類のHDデータの何方の誤差が小さいかが判定され、判定結果に基づいて、スイッチ39は、制御される。判定回路38において、モード1のHDデータとブロック2−2の係数データを用いて作成されたHDデータとの誤差に比べて、モード1のHDデータとブロック2−1の係数データを用いて作成されたHDデータとの誤差が小さいと判定された場合、ブロック2−1の画素、およびブロック2−1の係数データを用いて作成されたHDデータがスイッチ39により選択され、出力端子40から取り出される。
The
また、判定回路38において、モード1のHDデータとブロック2−1の係数データを用いて作成されたHDデータとの誤差に比べて、モード1のHDデータとブロック2−2の係数データを用いて作成されたHDデータとの誤差が小さいと判定された場合、ブロック2−2の画素、およびブロック2−2の係数データを用いて作成されたHDデータがスイッチ39により選択され、出力端子40から取り出される。
In addition, the
なお、実施例の説明では、情報圧縮手段として、ADRCを設けることにしたが、これはほんの一例でであり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えば、DPCM(予測符号化)やVQ(ベクトル量子化)等の圧縮手段を用いてもよい。 In the description of the embodiment, the ADRC is provided as the information compression means. However, this is only an example, and any information compression means that can be expressed by a class having few signal waveform patterns is provided. For example, compression means such as DPCM (predictive coding) or VQ (vector quantization) may be used.
さらに、実施例の説明では、簡単のため水平方向のアップコンバージョンに水平補間フィルタ9を用いたが、このかわりに、水平方向のアップコンバージョン用のROMを用意し、水平方向のアップコンバージョンにおいても推定式を用いた方式を採ることも勿論可能である。 Further, in the description of the embodiment, for the sake of simplicity, the horizontal interpolation filter 9 is used for horizontal up-conversion. Instead, a horizontal up-conversion ROM is prepared, and estimation is also performed for horizontal up-conversion. Of course, it is possible to adopt a method using an equation.
さらに、実施例の説明では、領域分割化回路4により、信号波形のパターンを1次元的に分割して表現したが、2次元的な分割にしてもよい。
Furthermore, in the description of the embodiment, the signal waveform pattern is expressed by one-dimensional division by the
この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment of the present invention, and various modifications and applications are possible without departing from the spirit of the present invention.
2 領域分割化回路
3 ADRC回路
4 クラスコード発生回路
5 ROMテーブル
6 遅延回路
7 推定演算回路
8 水平補間フィルタ
2
Claims (6)
上記間引かれた画像情報を複数のブロックへ分割する画像情報分割手段と、
上記分割されたブロック毎に上記画像情報のレベル分布のパターンが検出され、検出された上記パターンに基づいて、ブロック毎の上記画像情報が属するクラスが決定され、クラス検出情報を出力するクラス検出手段と、
上記決定されたクラスの上記ブロック毎の画像情報から、上記ブロック毎の画像情報に対応する上記高い解像度のディジタル画像信号の注目画素を求めるための係数データを生成する係数データ生成手段と、
生成された上記係数データを上記決定されたクラス毎に記憶するメモリ手段と
を有することを特徴とする係数生成装置。 Thinning means for thinning out pixels of a high-resolution digital image signal at a predetermined ratio and generating thinned image information;
Image information dividing means for dividing the thinned image information into a plurality of blocks;
A class detection unit that detects a level distribution pattern of the image information for each of the divided blocks, determines a class to which the image information for each block belongs based on the detected pattern, and outputs class detection information When,
Coefficient data generating means for generating coefficient data for obtaining a target pixel of the high-resolution digital image signal corresponding to the image information for each block from the image information for each block of the determined class;
And a memory means for storing the generated coefficient data for each of the determined classes.
上記モード分割手段の上記第2のモードは、同一フィールド内および/または複数のフィールド間のブロックへ分割するフィールド分割手段とを有することを特徴とする請求項1に記載の係数生成装置。 In the image information dividing means, mode dividing means for dividing the thinned image information into blocks of the first mode and / or the second mode;
2. The coefficient generation apparatus according to claim 1, wherein the second mode of the mode dividing means includes field dividing means for dividing the block into blocks in the same field and / or between a plurality of fields.
上記決定されたクラスの上記ブロック毎の画像情報と、上記ブロック毎の画像情報に対応する上記高い解像度のディジタル画像信号の注目画素とを用いて線形推定式によって、上記係数データを生成するようにしたことを特徴とする請求項1に記載の係数生成装置。 The coefficient data generating means is
The coefficient data is generated by a linear estimation equation using the image information for each block of the determined class and the target pixel of the high-resolution digital image signal corresponding to the image information for each block. The coefficient generation device according to claim 1, wherein
上記間引かれた画像情報を複数のブロックへ分割し、
上記分割されたブロック毎に上記画像情報のレベル分布のパターンが検出され、検出された上記パターンに基づいて、ブロック毎の上記画像情報が属するクラスが決定され、クラス検出情報を出力し、
上記決定されたクラスの上記ブロック毎の画像情報から、上記ブロック毎の画像情報に対応する上記高い解像度のディジタル画像信号の注目画素を求めるための係数データを生成し、
生成された上記係数データを上記決定されたクラス毎にメモリ部に記憶する
ようにしたことを特徴とする係数生成方法。 A high-resolution digital image signal is thinned out at a predetermined rate to generate thinned image information,
Divide the thinned image information into multiple blocks,
A pattern of level distribution of the image information is detected for each of the divided blocks, a class to which the image information for each block belongs is determined based on the detected pattern, and class detection information is output,
Generating coefficient data for obtaining a target pixel of the high-resolution digital image signal corresponding to the image information for each block from the image information for each block of the determined class,
A coefficient generation method characterized in that the generated coefficient data is stored in a memory unit for each of the determined classes.
上記第2のモードは、同一フィールド内および/または複数のフィールド間のブロックへ分割するようにしたことを特徴とする請求項4に記載の係数生成方法。 Dividing the thinned image information into blocks of a first mode and / or a second mode;
5. The coefficient generation method according to claim 4, wherein the second mode is divided into blocks within the same field and / or between a plurality of fields.
上記決定されたクラスの上記ブロック毎の画像情報と、上記ブロック毎の画像情報に対応する上記高い解像度のディジタル画像信号の注目画素とを用いて線形推定式によって生成するようにしたことを特徴とする請求項4に記載の係数生成方法。 The above coefficient data is
The image information for each block of the determined class and the target pixel of the high-resolution digital image signal corresponding to the image information for each block are generated by a linear estimation equation. The coefficient generation method according to claim 4.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005218173A JP4062326B2 (en) | 2005-07-28 | 2005-07-28 | Coefficient generation apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005218173A JP4062326B2 (en) | 2005-07-28 | 2005-07-28 | Coefficient generation apparatus and method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20286394A Division JP3723995B2 (en) | 1994-08-04 | 1994-08-04 | Image information conversion apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006020347A true JP2006020347A (en) | 2006-01-19 |
JP4062326B2 JP4062326B2 (en) | 2008-03-19 |
Family
ID=35794084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005218173A Expired - Lifetime JP4062326B2 (en) | 2005-07-28 | 2005-07-28 | Coefficient generation apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4062326B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109301828A (en) * | 2018-11-02 | 2019-02-01 | 嘉兴市恒创电力设备有限公司 | A kind of Active Disturbance Rejection Control system of the power limitation control of shunt active power filter |
-
2005
- 2005-07-28 JP JP2005218173A patent/JP4062326B2/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109301828A (en) * | 2018-11-02 | 2019-02-01 | 嘉兴市恒创电力设备有限公司 | A kind of Active Disturbance Rejection Control system of the power limitation control of shunt active power filter |
Also Published As
Publication number | Publication date |
---|---|
JP4062326B2 (en) | 2008-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
JP4147632B2 (en) | Image information conversion apparatus, image information conversion method, and television receiver | |
JP3271101B2 (en) | Digital image signal processing apparatus and processing method | |
JP3946781B2 (en) | Image information conversion apparatus and method | |
JP3723995B2 (en) | Image information conversion apparatus and method | |
JP2001285881A (en) | Digital information converter and method, and image information converter and method | |
JPH1098695A (en) | Image information converter and its device and product sum arithmetic unit | |
JP4470280B2 (en) | Image signal processing apparatus and image signal processing method | |
JP4062326B2 (en) | Coefficient generation apparatus and method | |
JP3400055B2 (en) | Image information conversion device, image information conversion method, image processing device, and image processing method | |
JP4140091B2 (en) | Image information conversion apparatus and image information conversion method | |
JP3724008B2 (en) | Image information conversion device and coefficient data creation device | |
JP3243861B2 (en) | Image information conversion device | |
JP4470324B2 (en) | Image signal conversion apparatus and method | |
JP3653287B2 (en) | Image information conversion apparatus and image information conversion method | |
JP3800638B2 (en) | Image information conversion apparatus and method | |
JPH0730859A (en) | Frame interpolation device | |
JP3587188B2 (en) | Digital image signal processing apparatus and processing method | |
JP4042121B2 (en) | Image information processing apparatus and image information processing method | |
JP4001143B2 (en) | Coefficient generation apparatus and method | |
JP3826434B2 (en) | Signal conversion apparatus and method | |
JP3480011B2 (en) | Image information conversion device | |
JP4310847B2 (en) | Image information conversion apparatus and conversion method | |
JP4241720B2 (en) | Multiply and accumulate circuit | |
JP2000200349A (en) | Device and method for converting image information and device and method for learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071217 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |