JP2006020347A - Apparatus and method for generating coefficient - Google Patents

Apparatus and method for generating coefficient Download PDF

Info

Publication number
JP2006020347A
JP2006020347A JP2005218173A JP2005218173A JP2006020347A JP 2006020347 A JP2006020347 A JP 2006020347A JP 2005218173 A JP2005218173 A JP 2005218173A JP 2005218173 A JP2005218173 A JP 2005218173A JP 2006020347 A JP2006020347 A JP 2006020347A
Authority
JP
Japan
Prior art keywords
data
image information
class
block
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005218173A
Other languages
Japanese (ja)
Other versions
JP4062326B2 (en
Inventor
Masashi Uchida
真史 内田
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005218173A priority Critical patent/JP4062326B2/en
Publication of JP2006020347A publication Critical patent/JP2006020347A/en
Application granted granted Critical
Publication of JP4062326B2 publication Critical patent/JP4062326B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To generate coefficients for converting image information of standard resolution supplied from outside to image information of high resolution. <P>SOLUTION: An image signal of SD (Standard Definition) data obtained through a vertical pixel-skipping filter 22 and a horizontal pixel-skipping filter 23 is segmented into a plurality of blocks by a block segmentation circuit 24. An ADRC (Adaptive Dynamic Range Coding) circuit 25 detects and compressed the pattern of the level distribution of the SD data supplied to each block to form pattern compressed data. A class code generation circuit 26 detects the class to which the block belongs based on the supplied pattern compressed data, and outputs the class code (class). A normal equation adding circuit 27 executes addition of the normal equation using the supplied class code (class), SD data, and HD pixel levels y that correspond to the SD data. A predictive coefficient determining circuit 28 solves the normal equation with respect to w<SB>i</SB>using the sweep-out method and the like, and calculates the predictive coefficients. The predictive coefficient determining circuit 28 stores the calculated predictive coefficients in a memory 29. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

この発明は、例えば、テレビジョン受像器やビデオテープレコーダ装置等に用いて好適な画像情報変換装置に関し、特に、外部から供給される通常の解像度の画像情報を高解像度の画像情報へ変換して出力するような画像情報変換装置用いて好適な係数生成装置および方法に関する。   The present invention relates to an image information conversion device suitable for use in, for example, a television receiver, a video tape recorder device, and the like, and in particular, converts normal resolution image information supplied from the outside into high resolution image information. The present invention relates to a coefficient generation apparatus and method suitable for use in an image information conversion apparatus that outputs data.

今日において、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることが出来るようなテープ受像器の開発が望まれ、この要望に応えて、いわゆるハイビジョン方式が開発された。このハイビジョン方式は、いわゆるNTSC方式に規定される走査線が525本に対して、2倍以上の1125本となっているうえ、表示画面の縦横比もNTSC方式が3:4に対して、ハイビジョン方式は、9:16と広角画面になっている。このため、高解像度で臨場感のある画面を得ることが出来るようになっている。   Nowadays, development of a tape receiver capable of obtaining a higher resolution image is desired due to an increase in audio / visual orientation, and in response to this demand, a so-called high vision system has been developed. In this high-definition method, the number of scanning lines specified in the so-called NTSC method is 1125, which is more than twice the number of scanning lines, and the aspect ratio of the display screen is also high-definition for the NTSC method is 3: 4. The system is a wide-angle screen of 9:16. For this reason, a high-resolution and realistic screen can be obtained.

しかしながら、このような優れた特性を有するハイビジョン方式ではあるが、NTSC方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは、上述のようにNTSC方式とハイビジョン方式とでは、規格が異なることが原因している。このため、NTSC方式の映像信号に応じたハイビジョン方式で表示しようとする場合、従来は、例えば図8に示すような画像情報変換装置を用いて映像信号のレート変換を行っていた。   However, although it is a high-definition system having such excellent characteristics, an image cannot be displayed even if an NTSC video signal is supplied as it is. This is because the standards differ between the NTSC system and the high vision system as described above. For this reason, when attempting to display in a high-definition system corresponding to an NTSC system video signal, conventionally, for example, an image information converter as shown in FIG. 8 is used to convert the video signal rate.

図8において、従来の画像情報変換装置は、入力端子31を介して供給されるNTSC方式の映像信号の水平方向の補間処理を行う水平補間フィルタ32と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フィルタ33とから構成され、水平方向、および垂直方向の補間処理がなされたNTSC方式の信号は、出力端子34から取り出される。   In FIG. 8, a conventional image information conversion apparatus includes a horizontal interpolation filter 32 that performs horizontal interpolation processing of an NTSC video signal supplied via an input terminal 31, and a video that has undergone horizontal interpolation processing. An NTSC system signal that is composed of a vertical interpolation filter 33 that performs interpolation processing in the vertical direction of the signal and that has been subjected to interpolation processing in the horizontal direction and the vertical direction is taken out from the output terminal 34.

具体的には、水平補間フィルタ32は、図9に示すような構成を有しており、入力端子31を介して供給されるNTSC方式の映像信号は、入力端子41を介して、第1〜第mの乗算器42〜42mにそれぞれ供給される。各乗算器42は、それぞれ映像信号に係数を乗算して出力する。係数の乗算された映像信号は、それぞれ第1〜第mの加算器43〜43m-1へ供給される。各加算器43〜43m-1の間には、それぞれ時間Tの遅延レジスタ441〜44mが設けられている。そして、第mの乗算器42mから出力された映像信号は、第mの遅延レジスタ44mにより時間Tの遅延が施され、第m−1の加算器43m-1へ供給される。 Specifically, the horizontal interpolation filter 32 has a configuration as shown in FIG. 9, and an NTSC video signal supplied via the input terminal 31 receives the first to first signals via the input terminal 41. The m-th multipliers 42 to 42 m are respectively supplied. Each multiplier 42 multiplies the video signal by a coefficient and outputs the result. The video signals multiplied by the coefficients are supplied to first to mth adders 43 to 43 m−1 , respectively. Delay registers 44 1 to 44 m for time T are provided between the adders 43 to 43 m−1 , respectively. The video signal output from the mth multiplier 42 m is delayed by time T by the mth delay register 44 m and supplied to the m− 1th adder 43 m−1 .

第m−1の加算器43m-1は、第mの遅延レジスタ44mからの時間Tの遅延が施された映像信号と、第m−1の乗算器42m-1からの映像信号とを加算処理して出力する。この加算処理の施された映像信号は、第m−1の遅延レジスタ44m-1により再度、時間Tの遅延が施され、図示しない第m−2の加算器43m-2において、同じく図示しない第m−2の乗算器43m-2からの映像信号と加算処理される。水平補間フィルタ32は、このようにしてNTSC方式の映像信号を出力端子45を介して、垂直補間フィルタ33へ供給する。 The m−1th adder 43 m−1 includes the video signal delayed by time T from the mth delay register 44 m and the video signal from the m−1th multiplier 42 m−1. Are added and output. The video signal subjected to the addition processing is again delayed by time T by the (m-1) th delay register 44 m-1 , and is also shown in the m-2th adder 43 m-2 (not shown). The video signal from the m- 2th multiplier 43 m-2 is not added. In this way, the horizontal interpolation filter 32 supplies the NTSC video signal to the vertical interpolation filter 33 via the output terminal 45.

垂直補間フィルタ33は、上述の水平補間フィルタ32と同様の構成を有しており、水平補間処理の行われた映像信号に対して、垂直方向の画素の補間を行う。これにより、NTSC方式の映像信号に対して、垂直方向の画素の補間を行う。このような変換のなされたハイビジョン方式の映像信号は、ハイビジョン方式受像器に供給される。これにより、NTSC方式の映像信号に応じた画像をハイビジョン方式受像器で表示することができる。   The vertical interpolation filter 33 has the same configuration as the horizontal interpolation filter 32 described above, and performs pixel interpolation in the vertical direction on the video signal subjected to the horizontal interpolation processing. Thus, vertical pixel interpolation is performed on the NTSC video signal. The high-definition video signal thus converted is supplied to a high-definition receiver. As a result, an image corresponding to the NTSC video signal can be displayed on the high-definition receiver.

しかしながら、上述のように従来の画像情報変換装置は、NTSC方式の映像信号を基にして、単に水平方向、および垂直方向の補間を行っているに過ぎないため、解像度は基となるNTSC方式の映像信号と何ら変わらなかった。特に、通常の動画を変換対象とした場合、垂直方向の補間フィールド内処理で行うのが一般的であるが、この場合、画像のフィールド間相関を使用していないため、画像静止部においてはNTSC方式の映像信号よりも解像度が劣化する欠点があった。   However, as described above, the conventional image information conversion apparatus simply performs horizontal and vertical interpolation based on the NTSC video signal, so that the resolution is based on the NTSC standard. It was no different from the video signal. In particular, when a normal moving image is to be converted, it is generally performed by interpolation field processing in the vertical direction. However, in this case, since inter-field correlation of the image is not used, the NTSC is used in the still image portion. There is a drawback that the resolution is deteriorated compared to the video signal of the system.

これに対し、従来のディジタルデータ変換装置および方法では、複数の入力データの分布状態に応じたクラス分けがされ、各クラスに関するデータ変換、すなわちクラス情報を出力データへ変換、またはクラス情報を出力データを形成するためのパラメータに変換するマッピング表が使用される。このマッピング表は、トレーニング用の種々の絵柄の源画像を用いて予め形成されている。したがって、このマッピング表によって、入力画像信号に含まれない高解像度成分を復元することができる。(例えば、特許文献1参照。)
特開平5−328185号公報
On the other hand, in the conventional digital data conversion apparatus and method, classification is performed according to the distribution state of a plurality of input data, and data conversion related to each class, that is, class information is converted into output data, or class information is output data. A mapping table is used that translates into parameters to form This mapping table is formed in advance using source images of various patterns for training. Therefore, this mapping table can restore high-resolution components that are not included in the input image signal. (For example, refer to Patent Document 1.)
JP-A-5-328185

また、従来の画像信号変換装置では、入力信号である画像信号レベルの3次元(時空間)分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する画像信号変換装置というものがある。(例えば、特許文献2参照。)
特開平7−079418号公報(特願平5−172617号)
Further, in the conventional image signal conversion apparatus, a storage unit that performs class division according to the three-dimensional (spatio-temporal) distribution of the image signal level that is an input signal, and stores a prediction coefficient value obtained by learning in advance for each class. And an image signal converter that outputs an optimum estimated value by a calculation based on a prediction formula. (For example, see Patent Document 2.)
Japanese Patent Application Laid-Open No. 7-079418 (Japanese Patent Application No. 5-172617)

この手法は、HD(High Difinition)画素を創造する場合、時間的、空間的な意味でその周辺に存在する複数のSD(Standerd Difinition)画素データをクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで画像静止部においてはフィールド間、フレーム間等の時間方向の相関を利用し、また動き部においてはフィールド内相関のみを利用することにより真値に近いHD画素値を得る、というような巧妙なものである。   In this method, when creating HD (High Definition) pixels, a plurality of SD (Standed Definition) pixel data existing in the vicinity thereof are divided into classes in terms of time and space, and prediction coefficient values are obtained for each class. Is obtained by learning, using the correlation in the time direction such as between fields and between frames in the still image portion, and by using only the intra-field correlation in the motion portion, an HD pixel value close to the true value is obtained. , Is a clever thing.

すなわち、図10において、SD画素x1とSD画素x2の差分値が小さい場合は、創造するべきHD画素y周辺の画像は静止している可能性が高い。そこで、画像信号変換装置では、空間位置の低いSD画素x1とSD画素x2に重きをおいて、HD画素yを創造する。一方、SD画素x1とSD画素x2の差分値が大きい場合は、創造するべきHD画素y周辺の画像は動いている可能性が高い。そこで、画像信号変換装置では、時間的に近いSD画素x3とSD画素x4に重きをおいて、HD画素yを創造する。 That is, in FIG. 10, when the difference value of the SD pixel x 1 and SD pixels x 2 is small, HD pixels y periphery of the image to create is likely to be stationary. Therefore, in the image signal conversion apparatus, the HD pixel y is created by placing emphasis on the SD pixel x 1 and the SD pixel x 2 having a low spatial position. On the other hand, when the difference value between the SD pixel x 1 and the SD pixel x 2 is large, there is a high possibility that the image around the HD pixel y to be created is moving. Therefore, in the image signal conversion apparatus, the HD pixel y is created by placing emphasis on the SD pixel x 3 and the SD pixel x 4 that are close in time.

この手法によれば静止/動きの切り換わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止/動きの切り換わりによる不自然さの発生を大幅に減少させることができる。   According to this method, the static / motion switching can be expressed smoothly by learning using actual images, so that the occurrence of unnaturalness due to the switching of static / motion is greatly increased as in the conventional motion adaptation method. Can be reduced.

しかしながら、上述の手法は、有限個のクラス分割により、動き情報と区間内の波形の二つを表現する必要があり、クラスによっては、本来なら分離するべきパターンが一つのクラス内に混在してしまう場合があった。   However, the above-described method needs to express motion information and a waveform in a section by a finite number of class divisions. Depending on the class, patterns that should be separated are mixed in one class. There was a case.

例えば、図10において、SD画素x1とSD画素x2の差分値が小さい場合は、上述のようにその周辺の画像は静止している可能性が非常に高いが、わずかな可能性ではあるが実際には画像が動いている場合がある。例えば、(k−1)フィールドにのみ動き物体が侵入している場合、また、kフィールドから(k+2)フィールドの間で画像中の物体が動いているが、たまたまSD画素x1とSD画素x2の差分値が小さいことにより、HD画素yは、画像信号変換装置では、空間位置の近いSD画素x1とSD画素x2に重きをおいて、創造される。したがって、この場合、創造されたHD画素と真のHD画素の誤差が大きいものとなり、復元画像の品質の劣化が目立つことになる。 For example, in FIG. 10, when the difference value between the SD pixel x 1 and the SD pixel x 2 is small, the surrounding image is very likely to be still as described above, but it is a slight possibility. However, the image may actually be moving. For example, when a moving object has entered only the (k−1) field, or an object in the image is moving between the k field and the (k + 2) field, it happens that the SD pixel x 1 and the SD pixel x Since the difference value of 2 is small, the HD pixel y is created in the image signal conversion device with emphasis on the SD pixel x 1 and the SD pixel x 2 that are close to each other in spatial position. Therefore, in this case, the error between the created HD pixel and the true HD pixel is large, and the quality of the restored image is noticeably deteriorated.

この対応策として、クラス分割に用いる画素数を増やして、クラス数を増加させることにより、復元画像の品質劣化を低減する、という手法も考えられる。しかしながら、この手法によるとクラス数が非常に大きなものになってしまい、その結果ハードウェア規模の増加を招き、現実性に乏しい。   As a countermeasure, a method of reducing the quality degradation of the restored image by increasing the number of pixels used for class division and increasing the number of classes may be considered. However, according to this method, the number of classes becomes very large, resulting in an increase in hardware scale and poor realism.

したがって、この発明は、上述の問題点に鑑みてなされたものであり、解像度を向上させてNTSC方式の映像信号をハイビジョン方式の映像信号へ変換することができるような画像情報変換装置に用いて好適な係数生成装置および方法の提供を目的とする。   Therefore, the present invention has been made in view of the above-described problems, and is used for an image information conversion apparatus capable of improving resolution and converting an NTSC video signal into a high-definition video signal. An object of the present invention is to provide a suitable coefficient generation apparatus and method.

この発明は、高い解像度のディジタル画像信号を所定の割合で画素を間引き、間引かれた画像情報を生成する間引き手段と、
間引かれた画像情報を複数のブロックへ分割する画像情報分割手段と、
分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロック毎の画像情報が属するクラスが決定され、クラス検出情報を出力するクラス検出手段と、
決定されたクラスのブロック毎の画像情報から、ブロック毎の画像情報に対応する高い解像度のディジタル画像信号の注目画素を求めるための係数データを生成する係数データ生成手段と、
生成された係数データを決定されたクラス毎に記憶するメモリ手段と
を有することを特徴とする係数生成装置である。
The present invention provides a thinning means for thinning out pixels of a high-resolution digital image signal at a predetermined ratio to generate thinned image information;
Image information dividing means for dividing the thinned image information into a plurality of blocks;
Class detection means for detecting a level distribution pattern of image information for each divided block, determining a class to which image information for each block belongs based on the detected pattern, and outputting class detection information;
Coefficient data generating means for generating coefficient data for obtaining a target pixel of a high-resolution digital image signal corresponding to the image information for each block from the image information for each block of the determined class;
And a memory unit that stores the generated coefficient data for each determined class.

また、この発明は、高い解像度のディジタル画像信号を所定の割合で画素を間引き、間引かれた画像情報を生成し、
間引かれた画像情報を複数のブロックへ分割し、
分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロック毎の画像情報が属するクラスが決定され、クラス検出情報を出力し、
決定されたクラスのブロック毎の画像情報から、ブロック毎の画像情報に対応する高い解像度のディジタル画像信号の注目画素を求めるための係数データを生成し、
生成された係数データを決定されたクラス毎にメモリ部に記憶する
ようにしたことを特徴とする係数生成方法である。
The present invention also thins out pixels of a high-resolution digital image signal at a predetermined ratio, generates thinned image information,
Divide the thinned image information into multiple blocks,
A level distribution pattern of image information is detected for each divided block, and based on the detected pattern, a class to which the image information for each block belongs is determined, and class detection information is output,
Generating coefficient data for obtaining a pixel of interest of a high-resolution digital image signal corresponding to the image information for each block from the image information for each block of the determined class,
The coefficient generation method is characterized in that the generated coefficient data is stored in a memory unit for each determined class.

この発明に依れば、推定されたHD画像をダウンコンバートし、ダウンコンバートされた画像を複数のブロックに分割し、分割されたブロック毎にダウンコンバートされた画像からHD画像の注目画素を求めるための係数データを生成し、生成された係数データをメモリに記憶し、そのメモリに記憶された係数データを使用して通常の解像度の画像情報を高解像度の画像情報へ変換することによって、画質を大幅に向上させることができる。   According to the present invention, the estimated HD image is down-converted, the down-converted image is divided into a plurality of blocks, and the target pixel of the HD image is obtained from the down-converted image for each divided block. Image data is stored in a memory, and the image data of normal resolution is converted into high resolution image information by using the coefficient data stored in the memory. It can be greatly improved.

以下、この発明に係る画像信号変換装置の実施例について図面を参照しながら詳細に説明する。図1は、この一実施例、すなわち画像信号変換装置の信号処理の概略的構成を示す。1で示す入力端子から、外部から供給される画像情報として、例えばいわゆるNTSC方式の映像信号がディジタル化され、SDデータとして供給される。   Embodiments of an image signal converter according to the present invention will be described below in detail with reference to the drawings. FIG. 1 shows a schematic configuration of signal processing of this embodiment, that is, an image signal conversion apparatus. For example, a so-called NTSC video signal is digitized and supplied as SD data as image information supplied from the input terminal 1.

この実施例における、SD画素と創造するべきHD画素の位置関係は、図2に示すとおりとする。すなわち、同一フィールド内において、創造するべきHD画素には、SD画素から近い位置に存在するHD画素y1と、SD画素から遠い位置に存在するHD画素y2の2種類がある。以降、SD画素から近い位置に存在するHD画素を推定するモードをモード1と称し、SD画素から遠い位置に存在するHD画素を推定するモードをモード2と称する。 The positional relationship between the SD pixel and the HD pixel to be created in this embodiment is as shown in FIG. That is, in the same field, there are two types of HD pixels to be created: HD pixel y 1 that exists near the SD pixel and HD pixel y 2 that exists far from the SD pixel. Hereinafter, a mode for estimating an HD pixel existing at a position close to the SD pixel is referred to as mode 1, and a mode for estimating an HD pixel existing at a position far from the SD pixel is referred to as mode 2.

領域分割化回路2では、入力端子1から供給されたSD画像信号を複数の領域に分割する。この実施例では、モード1用に創造するべきHD画素の例えば上下各2画素ずつのSD画素を、1画素×4ラインの計4画素からなる領域に分割する。この領域をブロック1と呼ぶことにする。HD画素y1に対するブロック1のSD画素は、図2におけるx1、x2、x3、x4となる。 The area dividing circuit 2 divides the SD image signal supplied from the input terminal 1 into a plurality of areas. In this embodiment, for example, two upper and lower SD pixels of HD pixels to be created for mode 1 are divided into a total of four pixels of 1 pixel × 4 lines. This area will be called block 1. SD pixels of the block 1 for HD pixel y1 becomes x 1, x 2, x 3 , x 4 in FIG.

一方、モード2用には2種類の領域分割が行われる。まず、モード1と同様に創造するべきHD画素の例えば上下各2画素ずつのHD画素を1画素×4ラインの計4画素からなる領域に分割する。この領域をブロック2−1のSD画素は、図2におけるx1、x2、x3、x4となる。 On the other hand, for mode 2, two types of area division are performed. First, in the same manner as in mode 1, for example, each of the upper and lower HD pixels to be created is divided into areas each consisting of four pixels of 1 pixel × 4 lines. SD pixels of the domain block 2-1, the x 1, x 2, x 3 , x 4 in FIG.

さらに、モード2に対しては他のフィールドに属するSD画素を含んだ4画素の領域分割がなされる。具体的には、例えば創造するべきHD画素の上下各1画素ずつのHD画素それぞれ1画素がブロック化され、いわゆる、時空間構造を持った領域分割がなされる。この領域をブロック2−2と呼ぶことにする。HD画素y2に対するブロック2−2のSD画素は、図3におけるx1、x2、x3、x4となる。 Further, for mode 2, a 4-pixel region division including SD pixels belonging to other fields is performed. Specifically, for example, one HD pixel, one pixel above and below each HD pixel to be created, is made into a block, and so-called region division having a spatio-temporal structure is performed. This area will be called a block 2-2. SD pixel block 2-2 for HD pixel y2 becomes x 1, x 2, x 3 , x 4 in FIG. 3.

領域分割化回路2によりブロック化されたデータが、ADRC回路3、および遅延回路6へ供給される。遅延回路6は、ADRC回路3、クラスコード発生回路4、ROMテーブル5の処理に必要な時間だけデータを遅延させて、推定演算回路7へ出力する。   The data blocked by the area dividing circuit 2 is supplied to the ADRC circuit 3 and the delay circuit 6. The delay circuit 6 delays the data by the time necessary for processing of the ADRC circuit 3, the class code generation circuit 4, and the ROM table 5 and outputs the data to the estimation calculation circuit 7.

ADRC回路3は、領域毎に供給されるSDデータの1次元的、あるいは2次元的なレベル分布のパターンを検出するとともに、上述のように各領域のデータを、例えば8ビットのSDデータから2ビットのSDデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮がクラスコード発生回路4へ供給される。   The ADRC circuit 3 detects a one-dimensional or two-dimensional level distribution pattern of the SD data supplied for each region, and converts the data of each region into 2 bits from, for example, 8-bit SD data as described above. Pattern compression data is formed by performing operations such as compression into bit SD data, and this pattern compression is supplied to the class code generation circuit 4.

本来、ADRC(Adaptive Dynamic Range Coding)は、VTR向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるため、この発明の実施例では、信号パターンのクラス分類のコード発生に使用している。ADRC回路3は、領域内のダイナミックレンジをDR、ビット割当をn、領域内画素のデータレベルをL、再量子化コードをQ、として以下の式(1)により、領域内の最大値MAXと最小値MINとの間を指定されたビット長で均等に分割して再量子化を行う。   Originally, ADRC (Adaptive Dynamic Range Coding) is an adaptive requantization method developed for high-efficiency coding for VTRs, but it can efficiently express a local pattern at a signal level with a short word length. In the embodiment of the present invention, it is used for code generation of signal pattern classification. The ADRC circuit 3 sets the dynamic range in the region as DR, bit allocation as n, the pixel level in the region as L, the requantization code as Q, and the maximum value MAX in the region as Re-quantization is performed by equally dividing the space between the minimum value MIN and the designated bit length.

DR=MAX−MIN+1
Q={(L−MIN+0.5)×2n/DR} (1)
ただし、{ }は切り捨て処理を意味する。
DR = MAX-MIN + 1
Q = {(L−MIN + 0.5) × 2 n / DR} (1)
However, {} means a truncation process.

この実施例では、領域分離化回路2により分離されたそれぞれ4画素のSDデータを、各2ビットに圧縮するものとする。圧縮されたSDデータを、それぞれq1〜q4とする。 In this embodiment, SD data of 4 pixels each separated by the region separation circuit 2 is compressed to 2 bits each. The compressed SD data, respectively, and q 1 to q 4.

クラスコード発生回路4は、ADRC回路3から供給されるパターン圧縮データに基づいて以下の式(2)の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclassがROMテーブル5へ供給される。このクラスコードclassは、ROMテーブル5からの読み出しアドレスを示すものとなっている。   The class code generation circuit 4 detects the class to which the block belongs by performing the following equation (2) based on the pattern compression data supplied from the ADRC circuit 3, and the class code class indicating the class is It is supplied to the ROM table 5. This class code class indicates an address read from the ROM table 5.

Figure 2006020347
この実施例では、nは4、pは2である。
Figure 2006020347
In this embodiment, n is 4 and p is 2.

ROMテーブル5には、SDデータのパターンとHDデータの関係を学習することにより、線形推定式を用いて、SDデータに対応するHDデータを算出するための係数データが各クラス毎に記憶さている。これは、線形推定式によりSDデータをこの画像情報よりも高い解像度の画像情報である、いわゆるハイビジョン方式の規格に合致したHDデータへ変換するための情報である。   In the ROM table 5, coefficient data for calculating HD data corresponding to the SD data is stored for each class using a linear estimation formula by learning the relationship between the SD data pattern and the HD data. . This is information for converting SD data into HD data conforming to a so-called high-definition standard, which is image information having a resolution higher than that of the image information, using a linear estimation formula.

この実施例において係数データは、モード1とモード2のそれぞれ独立に用意され、さらにモード2に関しては、ブロック2−1のデータを使用する場合と、ブロック2−2のデータを使用する場合でそれぞれ独立に係数データは、用意されている。なお、ROMテーブル5に記憶されている係数データの作成方法については後述する。ROMテーブル5からは、クラスコードclassで示されるアドレスから、そのクラスの係数データであるwi(class)が読み出される。この係数データは、推定演算回路7へ供給される。 In this embodiment, the coefficient data is prepared independently for each of mode 1 and mode 2, and regarding mode 2, the data of block 2-1 and the data of block 2-2 are used. The coefficient data is prepared independently. A method for creating coefficient data stored in the ROM table 5 will be described later. From the ROM table 5, w i (class) which is coefficient data of the class is read from the address indicated by the class code class. The coefficient data is supplied to the estimation calculation circuit 7.

推定演算回路7は、遅延回路6を介して、領域分割化回路2から供給されるSDデータ、およびROMテーブル5から供給される係数データであるwi(class)に基づいて、入力されたSDデータに対応するHDデータを算出する。推定演算回路7については、図4を用いて詳しく説明する。 The estimation calculation circuit 7 inputs the SD data based on the SD data supplied from the area dividing circuit 2 and the coefficient data wi (class) supplied from the ROM table 5 via the delay circuit 6. HD data corresponding to the data is calculated. The estimation calculation circuit 7 will be described in detail with reference to FIG.

遅延回路6より供給されたSDデータとROMテーブル5から供給された係数データは、まず初期推定演算回路11へ供給される。初期推定演算回路11は、モード1に関しては、ブロック1用の係数を用いて、係数データであるwi(class)に基づいて、それぞれ以下の式(3)に示す演算を行うことにより、入力されたSDデータに対応するHDデータを算出する。また、モード2のHD画素に関しては、2種類のデータが存在することになる。 The SD data supplied from the delay circuit 6 and the coefficient data supplied from the ROM table 5 are first supplied to the initial estimation calculation circuit 11. The initial estimation calculation circuit 11 uses the coefficient for the block 1 in the mode 1 and performs the calculation shown in the following equation (3) based on the coefficient data w i (class), thereby inputting HD data corresponding to the SD data is calculated. Further, there are two types of data for the mode 2 HD pixels.

モード1のHDデータと、モード2のHDデータのうちブロック2−2用の係数データを用いて作成されたHDデータが、垂直間引きフィルタ12へ供給される。モード1のHDデータは、同時に水平補間フィルタ8にも供給される。ブロック2−2用の係数データを用いて作成されたHDデータは、同時にスイッチ回路14へ供給される。ブロック2−1用の係数データを用いて作成されたモード2のHDデータは、スイッチ回路14へ供給される。   The HD data created using the mode 1 HD data and the coefficient data for the block 2-2 among the mode 2 HD data is supplied to the vertical thinning filter 12. The HD data in mode 1 is also supplied to the horizontal interpolation filter 8 at the same time. The HD data created using the coefficient data for the block 2-2 is supplied to the switch circuit 14 at the same time. The mode 2 HD data created using the coefficient data for the block 2-1 is supplied to the switch circuit 14.

hd´=w11+w22+w33+w44 (3) hd ′ = w 1 x 1 + w 2 x 2 + w 3 x 3 + w 4 x 4 (3)

垂直間引きフィルタ12は、後に詳しく説明する垂直間引きフィルタ22と同一のものであり、HD画像信号の垂直方向の画素数をフィルタリングによりSD画像信号の画素数に間引くものである。垂直間引きフィルタ12は、初期推定演算回路11より供給されたHDデータをダウンコンバートしてSDデータを作成して、比較判定回路13へ出力する。   The vertical thinning filter 12 is the same as the vertical thinning filter 22 described in detail later, and thins the number of pixels in the vertical direction of the HD image signal to the number of pixels of the SD image signal by filtering. The vertical decimation filter 12 down-converts the HD data supplied from the initial estimation calculation circuit 11 to create SD data, and outputs the SD data to the comparison determination circuit 13.

比較判定回路13には、垂直間引きフィルタ12により生成され、推定されたHDデータをダウンコンバートして作成したSDデータと、遅延回路6から供給されたSDデータが供給される。比較判定回路13では、遅延回路6から供給されたオリジナルのSDデータと、垂直間引きフィルタ12から供給され、推定されたHDデータをダウンコンバートすることによって作成されたSDデータとの比較が行われる。   The comparison determination circuit 13 is supplied with the SD data generated by the down-conversion of the estimated HD data generated by the vertical thinning filter 12 and the SD data supplied from the delay circuit 6. The comparison determination circuit 13 compares the original SD data supplied from the delay circuit 6 with the SD data supplied from the vertical thinning filter 12 and created by down-converting the estimated HD data.

遅延回路6から供給されたオリジナルのSDデータは、もともと垂直間引きフィルタ12と同一のフィルタにより、真のHDデータからダウンコンバートされたものである。したがって、初期推定演算回路11により推定されたHDデータが真値と完全に一致するならば、遅延回路6から供給されたオリジナルのSDデータと、垂直間引きフィルタ12から供給され、推定されたHDデータとは、一致するはずである。しかしながら、SDデータからHDデータを完全に推定することは事実上不可能であるから多少の誤差が発生することが一般的である。   Original SD data supplied from the delay circuit 6 is originally down-converted from true HD data by the same filter as the vertical thinning filter 12. Therefore, if the HD data estimated by the initial estimation arithmetic circuit 11 completely matches the true value, the original SD data supplied from the delay circuit 6 and the estimated HD data supplied from the vertical thinning filter 12 are estimated. Should match. However, since it is virtually impossible to completely estimate the HD data from the SD data, it is common that some errors occur.

しかしながら、比較判定回路13で大きな誤差が発生することがあり、この場合、誤差の発生したSDデータの近傍のHDデータを推定するときに大きな誤差が発生した可能性が高い。   However, a large error may occur in the comparison / determination circuit 13. In this case, there is a high possibility that a large error has occurred when estimating HD data in the vicinity of the SD data in which the error has occurred.

今、モード1の画素の推定は完全フィールド内推定方式によって行われている。したがって、動き等により極端な性能劣化は発生せず、モード1の画素の推定においては大きな誤差が発生する可能性は低い。   Now, the estimation of the pixels in mode 1 is performed by the complete intra-field estimation method. Therefore, extreme performance degradation does not occur due to movement or the like, and it is unlikely that a large error will occur in mode 1 pixel estimation.

これに対してモード2の画素の推定は、時空間のタップ構造を持つ推定方式によって行われている。この構造を持つ推定方式は平均的には高い推定精度を持つが、それほど多くないクラスにおいて、この推定を行った場合、動画シーンを静止と判定ミスすることにより非常に大きな誤差が発生することがある。   In contrast, mode 2 pixel estimation is performed by an estimation method having a spatiotemporal tap structure. An estimation method with this structure has high estimation accuracy on average, but if this estimation is performed in a class that is not so many, a very large error may occur due to a mistake in determining that the moving image scene is still. is there.

よって、比較判定回路13で大きな誤差が発生した場合、誤差の発生したSDデータの近傍のモード2におけるHDデータを推定するときに大きな誤差が発生した可能性が高い、と言える。   Therefore, if a large error occurs in the comparison / determination circuit 13, it can be said that there is a high possibility that a large error has occurred when estimating HD data in mode 2 near the SD data in which the error has occurred.

したがって、推定演算回路7においては、モード2のHDデータ出力において、比較判定回路13の比較において、誤差がない、または小さい場合は、ブロック2−2の画素、および係数データを用いた推定により算出されたHDデータを出力する。また、比較判定回路13の比較において、誤差が大きい場合はブロック2−1の画素、および係数データを用いた推定により算出されたHDデータを出力する。モード1のHDデータ出力においては、常にブロック1の画素、および係数データを用いた推定により算出されたHDデータを出力する。   Therefore, in the estimation operation circuit 7, when there is no error in the HD data output in mode 2 and the comparison in the comparison / determination circuit 13 is small or small, it is calculated by estimation using the pixel of the block 2-2 and coefficient data. Output the HD data. Further, in the comparison by the comparison / determination circuit 13, when the error is large, the HD data calculated by the estimation using the pixel of the block 2-1 and the coefficient data is output. In HD data output in mode 1, HD data calculated by estimation using the pixel of block 1 and coefficient data is always output.

具体的には、図5における、SDデータx1とx2における、オリジナルのSDデータと、推定されたHDデータをダウンコンバートすることにより作成されたSDデータの誤差が共にあるしきい値THを超える場合、モード2のHDデータyにおける出力データは、ブロック2−1の画素、および係数データを用いた推定により算出されたHDデータを用い、上述の条件に当てはまらないときは、ブロック2−2の画素、および係数データを用いた推定により算出されたHDデータを用いる。 Specifically, the threshold value TH in which there is an error between the original SD data and the SD data created by down-converting the estimated HD data in the SD data x 1 and x 2 in FIG. In the case of exceeding, the output data in the HD data y of mode 2 uses the HD data calculated by the estimation using the pixel of the block 2-1 and the coefficient data. HD data calculated by estimation using the pixel and coefficient data are used.

水平補間フィルタ8は、図8の水平補間フィルタ33と同一なもので、補間処理により水平方向の画素数を2倍にするものである。水平補間フィルタ8の出力は、出力端子9を介して出力される。この出力端子9を介して出力されるHDデータは、例えばHDテレビジョン受像器やHDビデオテープレコーダ装置等に供給される。   The horizontal interpolation filter 8 is the same as the horizontal interpolation filter 33 in FIG. 8, and doubles the number of pixels in the horizontal direction by interpolation processing. The output of the horizontal interpolation filter 8 is output via the output terminal 9. The HD data output via the output terminal 9 is supplied to, for example, an HD television receiver or an HD video tape recorder device.

このように、SDデータに対応するHDデータを推定するための係数データを各クラス毎に予め学習により求めた上で、ROMテーブル5に記憶しておき、入力されるSDデータ、およびROMテーブル5から読み出した係数データに基づいて演算を行い、入力されたSDデータに対応するHDデータを形成して出力することにより、入力されるSDデータを単に補間処理したのとは異なり、実際のHDデータを出力することができる。   As described above, the coefficient data for estimating the HD data corresponding to the SD data is obtained by learning for each class in advance and stored in the ROM table 5, and the input SD data and the ROM table 5 are stored. The HD data corresponding to the input SD data is formed and output based on the coefficient data read out from the actual SD data. Can be output.

しかも、クラス分類を増やすことによって改善しようとすると、クラス数が膨大なものになってしまうが、この発明の手法によれば、モード2の推定により従来の2倍のクラスが必要になるものを、総合的なクラス数としては従来の1.5倍のクラス数という充分実用的なクラス数で大幅な画質改善を得ることができる。   Moreover, if the improvement is made by increasing the class classification, the number of classes becomes enormous. However, according to the method of the present invention, a mode that requires twice as many classes as the conventional one is required by the mode 2 estimation. As the total number of classes, a significant improvement in image quality can be obtained with a sufficiently practical number of classes that is 1.5 times the number of classes.

続いて、ROMテーブル5に格納される係数データの作成方法について、図6を用いて説明する。係数データを学習によって得るためには、まず、既に知られているHD画像に対応したHD画像の1/4の画素数のSD画像を形成する。具体的には、図6に示す理想フィルタ回路により、入力端子21を介して供給されるHDデータの垂直方向の画素を垂直間引きフィルタ22によりフィールド内の垂直方向の周波数が1/2になるように間引き処理され、さらに水平間引きフィルタ23により、HDデータの水平方向の画素を間引き処理することにより、SDデータを得る。垂直間引きフィルタ22および水平間引きフィルタ23により得られたSDデータは、領域分割化回路24へ供給される。   Next, a method for creating coefficient data stored in the ROM table 5 will be described with reference to FIG. In order to obtain coefficient data by learning, first, an SD image having a 1/4 pixel number of an HD image corresponding to an already known HD image is formed. Specifically, with the ideal filter circuit shown in FIG. 6, the vertical frequency of the HD data supplied via the input terminal 21 is halved by the vertical thinning filter 22 in the vertical direction in the field. Then, the horizontal thinning filter 23 thins out pixels in the horizontal direction of the HD data to obtain SD data. SD data obtained by the vertical thinning filter 22 and the horizontal thinning filter 23 is supplied to the area dividing circuit 24.

領域分割化回路24では、水平間引きフィルタ23から供給されたSD画像信号が複数の領域に分割される。具体的には領域分割化回路24は、先に説明した領域分割化回路2と同一の働きをするものである。この実施例では、領域分割化回路2と同じく、各4画素からなる領域に分割される。すなわち、モード1に対してはブロック1の領域の領域分割を行い、モード2に関しては、ブロック2−1とブロック2−2の2種類の領域分割が行われる。この領域毎のSDデータがADRC回路25、および正規方程式加算回路27へ供給される。   In the area dividing circuit 24, the SD image signal supplied from the horizontal thinning filter 23 is divided into a plurality of areas. Specifically, the area dividing circuit 24 has the same function as the area dividing circuit 2 described above. In this embodiment, similarly to the area dividing circuit 2, the area is divided into 4 pixels. That is, area division of the area of block 1 is performed for mode 1, and two types of area division of block 2-1 and block 2-2 are performed for mode 2. The SD data for each area is supplied to the ADRC circuit 25 and the normal equation adding circuit 27.

ADRC回路25は、領域毎に供給されるSDデータの1次元的、あるいは2次元的なレベル分布のパターンを検出すると共に、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば8ビットのSDデータから2ビットのSDデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路26へ供給する。ADRC回路25は、先に説明したADRC回路3と同一のものであり、この実施例では、領域分割化回路24により分割された、4画素からなる各領域のSDデータ(図2、図3におけるx1〜x4)を、ADRCにより各2ビットに圧縮するものとする。 The ADRC circuit 25 detects a one-dimensional or two-dimensional level distribution pattern of the SD data supplied for each region, and, as described above, all or a part of the data in each region. For example, pattern compression data is formed by performing an operation such as compression from 8-bit SD data to 2-bit SD data, and the pattern compression data is supplied to the class code generation circuit 26. The ADRC circuit 25 is the same as the ADRC circuit 3 described above. In this embodiment, the SD data of each area composed of four pixels divided by the area dividing circuit 24 (in FIGS. 2 and 3). x 1 to x 4 ) are compressed to 2 bits each by ADRC.

クラスコード発生回路26は、先に説明したクラスコード発生回路4と同一のものであり、ADRC回路25から供給されるパターン圧縮データに基づいて式(2)の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclassを出力するものである。クラスコード発生回路26は、クラスコードclassを正規方程式加算回路27へ出力する。   The class code generation circuit 26 is the same as the class code generation circuit 4 described above, and by performing the calculation of the expression (2) based on the pattern compression data supplied from the ADRC circuit 25, the block is generated. A class to which the class belongs is detected, and a class code class indicating the class is output. The class code generation circuit 26 outputs the class code class to the normal equation addition circuit 27.

ここで、正規方程式加算回路27の説明のために、複数個のSD画素からHD画素への変換式の学習とその予測式を用いた信号変換について述べる。説明のために画素をより一般化してn画素による予測を行う場合について以下に説明する。SD画素レベルをそれぞれx1、・・・・、xnとして、それぞれにpビットADRCを行った結果、再量子化データをq1、・・・・、qnとする。このとき、この領域のクラスコードclassを式(2)で定義する。 Here, in order to explain the normal equation adding circuit 27, learning of a conversion formula from a plurality of SD pixels to HD pixels and signal conversion using the prediction formula will be described. For the sake of explanation, a case where prediction is performed using n pixels by generalizing pixels will be described below. X 1 The SD pixel level, ...., as x n, a result of the p-bit ADRC to each re-quantized data q 1, ..., a q n. At this time, the class code class of this area is defined by equation (2).

上述のように、SD画素レベルをそれぞれ、x1、・・・・、xnとし、HD画素レベルをyとしたとき、クラス毎に係数データw1、・・・・、wnによるnタップの線形推定式を設定する。これを式(4)に示す。ここで、学習前はwiが未定係数である。 As described above, the SD pixel level, respectively, x 1, · · · ·, and x n, when the HD pixel level was y, the coefficient data w 1 for each class, · · · ·, n taps by w n Set the linear estimation formula. This is shown in equation (4). Here, w i is an undetermined coefficient before learning.

y=w11+w22+w33+w44 (4) y = w 1 x 1 + w 2 x 2 + w 3 x 3 + w 4 x 4 (4)

学習は、クラス毎に複数の信号データに対して行う。データ数がmの場合、式(4)にしたがって、式(5)が設定される。   Learning is performed on a plurality of signal data for each class. When the number of data is m, equation (5) is set according to equation (4).

y=w1j1+w2j2+w3j3+w4j4 (5)
(j=1、2、・・・・、m)
y = w 1 x j1 + w 2 x j2 + w 3 x j3 + w 4 x j4 (5)
(J = 1, 2,..., M)

m>nの場合、係数データw1、・・・・wnは一意に決まらないので、誤差ベクトルeの要素を式(6)で定義し、式(7)を最小にする係数データを求める。いわゆる、最小自乗法による解法である。 When m> n, the coefficient data w 1 ,... w n are not uniquely determined. Therefore, the element of the error vector e is defined by Expression (6), and coefficient data that minimizes Expression (7) is obtained. . This is a so-called least square method.

j=yj−{w1j1+w2j2+w3j3+w4j4} (6)
(j=1、2、・・・・、m)
e j = y j - {w 1 x j1 + w 2 x j2 + w 3 x j3 + w 4 x j4} (6)
(J = 1, 2,..., M)

Figure 2006020347
Figure 2006020347

ここで、式(7)のwiによる偏微分係数を求める。それは式(8)を「0」にするように各wiを求めればよい。 Here, the partial differential coefficient according to w i in equation (7) is obtained. It may be obtained each w i to the equation (8) to "0".

Figure 2006020347
Figure 2006020347

以下、式(9)、(10)のように、Xji、Yiを定義すると式(8)は、行列を用いて式(11)へ書き換えられる。 Hereinafter, as defined in equations (9) and (10), when X ji and Y i are defined, equation (8) is rewritten into equation (11) using a matrix.

Figure 2006020347
Figure 2006020347

Figure 2006020347
Figure 2006020347

Figure 2006020347
Figure 2006020347

この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路27では、クラスコード発生回路26から供給されたクラスコードclass、領域分割化回路24から供給されたSDデータx1、・・・・、xn、入力端子21から供給されたSDデータに対応したHD画素レベルyを用いて、この正規方程式の加算が行われる。 This equation is generally called a normal equation. In the normal equation adding circuit 27, the class code class supplied from the class code generating circuit 26, the SD data x 1 ,..., X n supplied from the area dividing circuit 24, the SD supplied from the input terminal 21. This normal equation is added using the HD pixel level y corresponding to the data.

すべてのトレーニングデータの入力が終了した後、正規方程式加算回路27は、予測係数決定回路28に正規方程式データを出力する。予測係数決定回路28は、正規方程式を掃き出し法等の一般的な行列解法を用いて、wiについて解き、予測係数を算出する。予測係数決定回路28は、算出された予測係数をメモリ29へ書き込む。 After all the training data has been input, the normal equation adding circuit 27 outputs the normal equation data to the prediction coefficient determining circuit 28. The prediction coefficient determination circuit 28 solves w i by using a general matrix solving method such as a sweeping method, and calculates a prediction coefficient. The prediction coefficient determination circuit 28 writes the calculated prediction coefficient into the memory 29.

以上のようにトレーニングを行った結果、メモリ29には、量子化データq1〜q4で規定されるパターン毎に、注目HDデータyを推定するための統計的にもっとも真値に近い画素の推定が生成できる予測係数が格納される。このメモリ29に格納されたテーブルが、この発明の画像信号変換装置において使用されるROMテーブル5である。以上の処理により、線形推定式によりSDデータからHDデータを作成するための係数データの学習が終了する。 As a result of the training as described above, the memory 29 stores, for each pattern defined by the quantized data q 1 to q 4 , the statistically closest pixel for estimating the target HD data y. Stores the prediction coefficients for which an estimate can be generated. The table stored in the memory 29 is the ROM table 5 used in the image signal converter of the present invention. With the above processing, learning of coefficient data for creating HD data from SD data using the linear estimation formula is completed.

ここで、図7は、この発明に係る推定演算回路内の比較判定部分の他の実施例を示す。入力端子31からモード1のHDデータ、すなわちブロック1用の係数データを用いて作成されたHDデータが供給され、入力端子32からモード2のHDデータのうちブロック2−2用の係数データを用いて作成されたHDデータが供給され、入力端子33からモード2のHDデータのうちブロック2−1用の係数データを用いて作成されたHDが供給される。   Here, FIG. 7 shows another embodiment of the comparison / determination portion in the estimation arithmetic circuit according to the present invention. HD data created using mode 1 HD data, that is, coefficient data for block 1, is supplied from the input terminal 31, and coefficient data for block 2-2 of the HD data of mode 2 is used from the input terminal 32. The HD data created in this way is supplied, and the HD created using the coefficient data for block 2-1 of the mode 2 HD data is supplied from the input terminal 33.

ブロック1用の係数データを用いて作成されたHDデータは、垂直間引き回路34、および35へ供給され、間引き処理がなされる。この垂直間引き回路34、および35は、上述の垂直間引き回路12と同じ機能を有する。ブロック2−1用の係数データを用いて作成されたHDデータは、垂直間引き回路34へ供給され、ブロック2−2用の係数データを用いて作成されたHDデータは、垂直間引き回路35へ供給され、それぞれ間引き処理がなされる。   The HD data created using the coefficient data for block 1 is supplied to the vertical thinning circuits 34 and 35 for thinning processing. The vertical thinning circuits 34 and 35 have the same function as the vertical thinning circuit 12 described above. The HD data created using the coefficient data for the block 2-1 is supplied to the vertical thinning circuit 34, and the HD data created using the coefficient data for the block 2-2 is supplied to the vertical thinning circuit 35. Each of them is thinned out.

垂直間引き回路34において、間引き処理されたモード1のHDデータと、モード2のHDデータのうちブロック2−1の係数データを用いて作成されたHDデータとが比較回路36へ供給され、誤差が検出される。検出された誤差は、判定回路38へ供給される。同様に垂直間引き回路35において、間引き処理されたモード1のHDデータと、モード2のHDデータのうちブロック2−2の係数データを用いて作成されたHDデータとが比較回路36へ供給され、誤差が検出される。検出された誤差は、判定回路38へ供給される。   In the vertical thinning circuit 34, the thinned mode 1 HD data and the HD data created using the coefficient data of the block 2-1 of the mode 2 HD data are supplied to the comparison circuit 36, and the error is reduced. Detected. The detected error is supplied to the determination circuit 38. Similarly, in the vertical thinning circuit 35, the thinned mode 1 HD data and the HD data created using the coefficient data of the block 2-2 of the mode 2 HD data are supplied to the comparison circuit 36. An error is detected. The detected error is supplied to the determination circuit 38.

判定回路38では、モード1のHDデータに対して、モード2の2種類のHDデータの何方の誤差が小さいかが判定され、判定結果に基づいて、スイッチ39は、制御される。判定回路38において、モード1のHDデータとブロック2−2の係数データを用いて作成されたHDデータとの誤差に比べて、モード1のHDデータとブロック2−1の係数データを用いて作成されたHDデータとの誤差が小さいと判定された場合、ブロック2−1の画素、およびブロック2−1の係数データを用いて作成されたHDデータがスイッチ39により選択され、出力端子40から取り出される。   The determination circuit 38 determines which error of the two types of HD data in mode 2 is smaller than that in the mode 1 HD data, and the switch 39 is controlled based on the determination result. Created by using the mode 1 HD data and the block 2-1 coefficient data in the determination circuit 38 as compared with the error between the mode 1 HD data and the HD data created using the block 2-2 coefficient data. If it is determined that the error from the HD data is small, the HD data created using the pixel of the block 2-1 and the coefficient data of the block 2-1 is selected by the switch 39 and taken out from the output terminal 40. It is.

また、判定回路38において、モード1のHDデータとブロック2−1の係数データを用いて作成されたHDデータとの誤差に比べて、モード1のHDデータとブロック2−2の係数データを用いて作成されたHDデータとの誤差が小さいと判定された場合、ブロック2−2の画素、およびブロック2−2の係数データを用いて作成されたHDデータがスイッチ39により選択され、出力端子40から取り出される。   In addition, the determination circuit 38 uses the mode 1 HD data and the block 2-2 coefficient data in comparison with the error between the mode 1 HD data and the HD data created using the block 2-1 coefficient data. When it is determined that the error with the HD data created in this way is small, the HD data created using the pixel of the block 2-2 and the coefficient data of the block 2-2 is selected by the switch 39, and the output terminal 40 Taken from.

なお、実施例の説明では、情報圧縮手段として、ADRCを設けることにしたが、これはほんの一例でであり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えば、DPCM(予測符号化)やVQ(ベクトル量子化)等の圧縮手段を用いてもよい。   In the description of the embodiment, the ADRC is provided as the information compression means. However, this is only an example, and any information compression means that can be expressed by a class having few signal waveform patterns is provided. For example, compression means such as DPCM (predictive coding) or VQ (vector quantization) may be used.

さらに、実施例の説明では、簡単のため水平方向のアップコンバージョンに水平補間フィルタ9を用いたが、このかわりに、水平方向のアップコンバージョン用のROMを用意し、水平方向のアップコンバージョンにおいても推定式を用いた方式を採ることも勿論可能である。   Further, in the description of the embodiment, for the sake of simplicity, the horizontal interpolation filter 9 is used for horizontal up-conversion. Instead, a horizontal up-conversion ROM is prepared, and estimation is also performed for horizontal up-conversion. Of course, it is possible to adopt a method using an equation.

さらに、実施例の説明では、領域分割化回路4により、信号波形のパターンを1次元的に分割して表現したが、2次元的な分割にしてもよい。   Furthermore, in the description of the embodiment, the signal waveform pattern is expressed by one-dimensional division by the region dividing circuit 4, but may be divided into two-dimensional divisions.

この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。   The present invention is not limited to the above-described embodiment of the present invention, and various modifications and applications are possible without departing from the spirit of the present invention.

この発明に係る画像情報変換装置の一実施例を示すブロック図である。It is a block diagram which shows one Example of the image information converter concerning this invention. SDデータとHDデータの位置関係、およびクラス分割に使用するデータを説明するための略線図である。It is a basic diagram for demonstrating the positional relationship of SD data and HD data, and the data used for a class division. クラス分割に使用するデータを説明するための略線図である。It is a basic diagram for demonstrating the data used for a class division. この発明に係る画像情報変換装置の一実施例を示すブロック図である。It is a block diagram which shows one Example of the image information converter concerning this invention. 推定演算回路の動作を説明するための略線図である。It is a basic diagram for demonstrating operation | movement of an estimation arithmetic circuit. 補正データテーブルを作成するときの説明のためのブロック図である。It is a block diagram for explanation when creating a correction data table. この発明に係る画像情報変換装置の他の実施例を示すブロック図である。It is a block diagram which shows the other Example of the image information converter which concerns on this invention. 従来の画像情報変換装置の一例を示すブロック図である。It is a block diagram which shows an example of the conventional image information converter. 従来の画像情報変換装置の要部の一例を示すブロック図である。It is a block diagram which shows an example of the principal part of the conventional image information converter. SDデータとHDデータの位置関係、および従来の時空間クラス分割方式の問題点を説明するための略線図である。It is a basic diagram for demonstrating the positional relationship of SD data and HD data, and the problem of the conventional space-time class division system.

符号の説明Explanation of symbols

2 領域分割化回路
3 ADRC回路
4 クラスコード発生回路
5 ROMテーブル
6 遅延回路
7 推定演算回路
8 水平補間フィルタ
2 area division circuit 3 ADRC circuit 4 class code generation circuit 5 ROM table 6 delay circuit 7 estimation operation circuit 8 horizontal interpolation filter

Claims (6)

高い解像度のディジタル画像信号を所定の割合で画素を間引き、間引かれた画像情報を生成する間引き手段と、
上記間引かれた画像情報を複数のブロックへ分割する画像情報分割手段と、
上記分割されたブロック毎に上記画像情報のレベル分布のパターンが検出され、検出された上記パターンに基づいて、ブロック毎の上記画像情報が属するクラスが決定され、クラス検出情報を出力するクラス検出手段と、
上記決定されたクラスの上記ブロック毎の画像情報から、上記ブロック毎の画像情報に対応する上記高い解像度のディジタル画像信号の注目画素を求めるための係数データを生成する係数データ生成手段と、
生成された上記係数データを上記決定されたクラス毎に記憶するメモリ手段と
を有することを特徴とする係数生成装置。
Thinning means for thinning out pixels of a high-resolution digital image signal at a predetermined ratio and generating thinned image information;
Image information dividing means for dividing the thinned image information into a plurality of blocks;
A class detection unit that detects a level distribution pattern of the image information for each of the divided blocks, determines a class to which the image information for each block belongs based on the detected pattern, and outputs class detection information When,
Coefficient data generating means for generating coefficient data for obtaining a target pixel of the high-resolution digital image signal corresponding to the image information for each block from the image information for each block of the determined class;
And a memory means for storing the generated coefficient data for each of the determined classes.
上記画像情報分割手段において、上記間引かれた画像情報を第1のモードおよび/または第2のモードのブロックへ分割するモード分割手段と、
上記モード分割手段の上記第2のモードは、同一フィールド内および/または複数のフィールド間のブロックへ分割するフィールド分割手段とを有することを特徴とする請求項1に記載の係数生成装置。
In the image information dividing means, mode dividing means for dividing the thinned image information into blocks of the first mode and / or the second mode;
2. The coefficient generation apparatus according to claim 1, wherein the second mode of the mode dividing means includes field dividing means for dividing the block into blocks in the same field and / or between a plurality of fields.
上記係数データ生成手段は、
上記決定されたクラスの上記ブロック毎の画像情報と、上記ブロック毎の画像情報に対応する上記高い解像度のディジタル画像信号の注目画素とを用いて線形推定式によって、上記係数データを生成するようにしたことを特徴とする請求項1に記載の係数生成装置。
The coefficient data generating means is
The coefficient data is generated by a linear estimation equation using the image information for each block of the determined class and the target pixel of the high-resolution digital image signal corresponding to the image information for each block. The coefficient generation device according to claim 1, wherein
高い解像度のディジタル画像信号を所定の割合で画素を間引き、間引かれた画像情報を生成し、
上記間引かれた画像情報を複数のブロックへ分割し、
上記分割されたブロック毎に上記画像情報のレベル分布のパターンが検出され、検出された上記パターンに基づいて、ブロック毎の上記画像情報が属するクラスが決定され、クラス検出情報を出力し、
上記決定されたクラスの上記ブロック毎の画像情報から、上記ブロック毎の画像情報に対応する上記高い解像度のディジタル画像信号の注目画素を求めるための係数データを生成し、
生成された上記係数データを上記決定されたクラス毎にメモリ部に記憶する
ようにしたことを特徴とする係数生成方法。
A high-resolution digital image signal is thinned out at a predetermined rate to generate thinned image information,
Divide the thinned image information into multiple blocks,
A pattern of level distribution of the image information is detected for each of the divided blocks, a class to which the image information for each block belongs is determined based on the detected pattern, and class detection information is output,
Generating coefficient data for obtaining a target pixel of the high-resolution digital image signal corresponding to the image information for each block from the image information for each block of the determined class,
A coefficient generation method characterized in that the generated coefficient data is stored in a memory unit for each of the determined classes.
上記間引かれた画像情報を第1のモードおよび/または第2のモードのブロックへ分割し、
上記第2のモードは、同一フィールド内および/または複数のフィールド間のブロックへ分割するようにしたことを特徴とする請求項4に記載の係数生成方法。
Dividing the thinned image information into blocks of a first mode and / or a second mode;
5. The coefficient generation method according to claim 4, wherein the second mode is divided into blocks within the same field and / or between a plurality of fields.
上記係数データは、
上記決定されたクラスの上記ブロック毎の画像情報と、上記ブロック毎の画像情報に対応する上記高い解像度のディジタル画像信号の注目画素とを用いて線形推定式によって生成するようにしたことを特徴とする請求項4に記載の係数生成方法。
The above coefficient data is
The image information for each block of the determined class and the target pixel of the high-resolution digital image signal corresponding to the image information for each block are generated by a linear estimation equation. The coefficient generation method according to claim 4.
JP2005218173A 2005-07-28 2005-07-28 Coefficient generation apparatus and method Expired - Lifetime JP4062326B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005218173A JP4062326B2 (en) 2005-07-28 2005-07-28 Coefficient generation apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005218173A JP4062326B2 (en) 2005-07-28 2005-07-28 Coefficient generation apparatus and method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP20286394A Division JP3723995B2 (en) 1994-08-04 1994-08-04 Image information conversion apparatus and method

Publications (2)

Publication Number Publication Date
JP2006020347A true JP2006020347A (en) 2006-01-19
JP4062326B2 JP4062326B2 (en) 2008-03-19

Family

ID=35794084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005218173A Expired - Lifetime JP4062326B2 (en) 2005-07-28 2005-07-28 Coefficient generation apparatus and method

Country Status (1)

Country Link
JP (1) JP4062326B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109301828A (en) * 2018-11-02 2019-02-01 嘉兴市恒创电力设备有限公司 A kind of Active Disturbance Rejection Control system of the power limitation control of shunt active power filter

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109301828A (en) * 2018-11-02 2019-02-01 嘉兴市恒创电力设备有限公司 A kind of Active Disturbance Rejection Control system of the power limitation control of shunt active power filter

Also Published As

Publication number Publication date
JP4062326B2 (en) 2008-03-19

Similar Documents

Publication Publication Date Title
US20100202711A1 (en) Image processing apparatus, image processing method, and program
JP4147632B2 (en) Image information conversion apparatus, image information conversion method, and television receiver
JP3271101B2 (en) Digital image signal processing apparatus and processing method
JP3946781B2 (en) Image information conversion apparatus and method
JP3723995B2 (en) Image information conversion apparatus and method
JP2001285881A (en) Digital information converter and method, and image information converter and method
JPH1098695A (en) Image information converter and its device and product sum arithmetic unit
JP4470280B2 (en) Image signal processing apparatus and image signal processing method
JP4062326B2 (en) Coefficient generation apparatus and method
JP3400055B2 (en) Image information conversion device, image information conversion method, image processing device, and image processing method
JP4140091B2 (en) Image information conversion apparatus and image information conversion method
JP3724008B2 (en) Image information conversion device and coefficient data creation device
JP3243861B2 (en) Image information conversion device
JP4470324B2 (en) Image signal conversion apparatus and method
JP3653287B2 (en) Image information conversion apparatus and image information conversion method
JP3800638B2 (en) Image information conversion apparatus and method
JPH0730859A (en) Frame interpolation device
JP3587188B2 (en) Digital image signal processing apparatus and processing method
JP4042121B2 (en) Image information processing apparatus and image information processing method
JP4001143B2 (en) Coefficient generation apparatus and method
JP3826434B2 (en) Signal conversion apparatus and method
JP3480011B2 (en) Image information conversion device
JP4310847B2 (en) Image information conversion apparatus and conversion method
JP4241720B2 (en) Multiply and accumulate circuit
JP2000200349A (en) Device and method for converting image information and device and method for learning

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071217

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term