JPH1127564A - Image converter, method therefor and presentation medium - Google Patents

Image converter, method therefor and presentation medium

Info

Publication number
JPH1127564A
JPH1127564A JP12302198A JP12302198A JPH1127564A JP H1127564 A JPH1127564 A JP H1127564A JP 12302198 A JP12302198 A JP 12302198A JP 12302198 A JP12302198 A JP 12302198A JP H1127564 A JPH1127564 A JP H1127564A
Authority
JP
Japan
Prior art keywords
class
image
prediction
image signal
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP12302198A
Other languages
Japanese (ja)
Other versions
JP4062771B2 (en
Inventor
Tetsujiro Kondo
哲二郎 近藤
Yasushi Tatsuhira
靖 立平
Hideo Nakaya
秀雄 中屋
Takanari Hoshino
隆也 星野
Masaaki Hattori
正明 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP12302198A priority Critical patent/JP4062771B2/en
Publication of JPH1127564A publication Critical patent/JPH1127564A/en
Application granted granted Critical
Publication of JP4062771B2 publication Critical patent/JP4062771B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To surely correct an image, even if it is deteriorated. SOLUTION: A class tap is segmented by an area segmentation part 1 and classified by an ADRC pattern extraction part 4. A class code corresponding to a class and a feature amount is generated by a class code generation part 5 and supplied to a ROM table 6. A predicted coefficient corresponding to the inputted class code is outputted to a predication operation part 7 by the ROM table 6. A prediction operation is performed from a predictive tap which is segmented by an area segmentation part 2 and the predicated coefficient. Segmentation of the area segmentation part 1 and the area segmentation part 2 is controlled, dynamically, corresponding to a feature detected by a feature amount extraction part 3.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像変換装置およ
び方法、並びに提供媒体に関し、特に、入力された画像
信号を同一フォーマットもしくは異なるフォーマットの
画像信号に変換する際に、入力された画像データの画質
が悪くとも、確実に画質が補正されたもしくは画質が改
善された画像信号を提供できるようにした画像変換装置
および方法、並びに提供媒体に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image conversion apparatus and method, and a providing medium, and more particularly, to converting an input image signal into an image signal of the same format or a different format when converting the input image signal into an image signal of a different format. The present invention relates to an image conversion apparatus and method capable of surely providing an image signal whose image quality is corrected or whose image quality is improved even if the image quality is poor, and a providing medium.

【0002】[0002]

【従来の技術】本出願人は、例えば、特開平8−515
99号として、より高解像度の画素データを得ることが
できるようにする技術を提案している。この提案におい
ては、例えばSD(Standard Definition)画素データ
からなる画像データからHD(High Definition)画素
データからなる画像データを創造する場合、創造するH
D画素データの近傍に位置するSD画素データを用いて
クラス分類を行い(クラスを決定し)、それぞれのクラ
ス毎に、予測係数値を学習させておき、画像静止部にお
いては、フレーム内相関を利用し、動き部においては、
フィールド内相関を利用して、より真値に近いHD画素
データを得るようにしている。
2. Description of the Related Art The present applicant has disclosed, for example, Japanese Patent Application Laid-Open No. 8-515.
No. 99 proposes a technique for obtaining higher resolution pixel data. In this proposal, for example, when image data composed of HD (High Definition) pixel data is created from image data composed of SD (Standard Definition) pixel data, H
Classification is performed using the SD pixel data located in the vicinity of the D pixel data (class is determined), the prediction coefficient value is learned for each class, and the intra-frame correlation is calculated in the image stationary unit. In the moving part,
Utilizing intra-field correlation, HD pixel data closer to the true value is obtained.

【0003】[0003]

【発明が解決しようとする課題】ところで、この技術を
用いて、例えば、非常に画質の悪い(画像のぼけた)画
像を良好な画質の画像に補正することができる。しかし
ながら、非常に画質が悪い画像データの場合、この非常
に画質が悪い画像データを用いてクラス分類を行うと、
適切なクラス分類を行うことができず、適切なクラスを
決定することができない。適切なクラスを求めることが
できないと、適切な予測係数値のセットを得ることがで
きず、結局、充分な画質の補正を行うことができない課
題があった。
By the way, by using this technique, for example, an image having very poor image quality (blurred image) can be corrected to an image having good image quality. However, in the case of image data of very poor image quality, if the classification is performed using the image data of very poor image quality,
An appropriate class classification cannot be performed, and an appropriate class cannot be determined. If an appropriate class cannot be obtained, an appropriate set of prediction coefficient values cannot be obtained, and as a result, there has been a problem that a sufficient image quality cannot be corrected.

【0004】本発明はこのような状況に鑑みてなされた
ものであり、入力された画像データの画質が悪くとも、
確実に画質を補正することができるようした画像変換装
置および方法を提供するものである。
[0004] The present invention has been made in view of such circumstances, and even if the image quality of input image data is poor,
It is an object of the present invention to provide an image conversion apparatus and method capable of surely correcting the image quality.

【0005】[0005]

【課題を解決するための手段】請求項1に記載に画像変
換装置は、第1の画像信号の中からクラスコードを生成
するための複数の画素データをクラスタップとして抽出
するクラスタップ抽出手段と、クラスタップをクラス分
類することによりそのクラスを表すクラスコードを発生
するクラス分類手段と、クラスコードに対応する予測デ
ータを発生する発生手段と、予測データを用いて第2の
画像信号を生成する生成手段と、第1の画像信号の画像
のぼけの程度を表す特徴量を検出して、その検出結果に
対応して、クラスタップ抽出手段のクラスタップの抽出
動作を制御する検出手段とを備えることを特徴とする。
According to a first aspect of the present invention, there is provided an image conversion apparatus, comprising: a class tap extracting means for extracting a plurality of pixel data for generating a class code from a first image signal as a class tap; , Class classifying means for classifying a class tap to generate a class code representing the class, generating means for generating prediction data corresponding to the class code, and generating a second image signal using the prediction data. Generating means for detecting a feature amount indicating the degree of blur of the image of the first image signal, and detecting means for controlling a class tap extracting operation of the class tap extracting means in accordance with the detection result; It is characterized by the following.

【0006】請求項11に記載に画像変換方法は、第1
の画像信号の中からクラスコードを生成するための複数
の画素データをクラスタップとして抽出し、クラスタッ
プをクラス分類することによりそのクラスを表すクラス
コードを発生し、クラスコードに対応する予測データを
発生し、予測データを用いて第2の画像信号を生成し、
第1の画像信号の画像のぼけの程度を表す特徴量を検出
して、その検出結果に対応して、クラスタップの抽出処
理を制御することを特徴とする。
[0006] The image conversion method according to the eleventh aspect is directed to the first method.
A plurality of pixel data for generating a class code is extracted as a class tap from the image signal of the image signal, a class code representing the class is generated by classifying the class tap, and prediction data corresponding to the class code is generated. Generating a second image signal using the prediction data;
The method is characterized in that a feature amount indicating a degree of blur of the image of the first image signal is detected, and a class tap extraction process is controlled in accordance with the detection result.

【0007】請求項21に記載の提供媒体は、複数の画
素データからなる第1の画像信号を複数の画素データか
らなる第2の画像信号に変換する画像変換装置に、第1
の画像信号の中からクラスコードを生成するための複数
の画素データをクラスタップとして抽出し、クラスタッ
プをクラス分類することによりそのクラスを表すクラス
コードを発生し、クラスコードに対応する予測データを
発生し、予測データを用いて第2の画像信号を生成し、
第1の画像信号の画像のぼけの程度を表す特徴量を検出
して、その検出結果に対応して、クラスタップの抽出処
理を制御する処理を実行させるコンピュータが読み取り
可能なプログラムを提供することを特徴とする。
According to a twenty-first aspect of the present invention, there is provided an image conversion apparatus for converting a first image signal composed of a plurality of pixel data into a second image signal composed of a plurality of pixel data.
A plurality of pixel data for generating a class code is extracted as a class tap from the image signal of the image signal, a class code representing the class is generated by classifying the class tap, and prediction data corresponding to the class code is generated. Generating a second image signal using the prediction data;
Provided is a computer-readable program for detecting a feature amount indicating a degree of blur of an image of a first image signal and executing a process of controlling a class tap extraction process in accordance with the detection result. It is characterized by.

【0008】請求項1に記載の画像変換装置、請求項1
1に記載の画像変換方法、および請求項21に記載の提
供媒体においては、入力された画像データのぼけ量を表
す特徴量に対応してクラスタップが制御される。これに
より、入力される画像データの画質が悪くても、最適な
クラスタップを抽出することができ、最適な予測処理を
行うことが可能となる。
[0008] The image conversion apparatus according to claim 1, claim 1
In the image conversion method according to the first aspect and the providing medium according to the twenty-first aspect, a class tap is controlled in accordance with a feature amount representing a blur amount of input image data. As a result, even if the image quality of the input image data is poor, the optimal class tap can be extracted, and the optimal prediction processing can be performed.

【0009】[0009]

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態(但し一例)を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described below. In order to clarify the correspondence between each means of the invention described in the claims and the following embodiments, each means is described. When the features of the present invention are described by adding the corresponding embodiment (however, an example) in parentheses after the parentheses, the result is as follows. However, of course, this description does not mean that each means is limited to those described.

【0010】請求項1に記載に画像変換装置は、第1の
画像信号の中からクラスコードを生成するための複数の
画素データをクラスタップとして抽出するクラスタップ
抽出手段(例えば、図1の領域切り出し部1)と、クラ
スタップをクラス分類することによりそのクラスを表す
クラスコードを発生するクラス分類手段(例えば、図1
のADRCパターン抽出部4)と、クラスコードに対応
する予測データを発生する発生手段(例えば、図1のR
OMテーブル6)と、予測データを用いて第2の画像信
号を生成する生成手段(例えば、図1の予測演算部7)
と、第1の画像信号の画像のぼけの程度を表す特徴量を
検出して、その検出結果に対応して、クラスタップ抽出
手段のクラスタップの抽出動作を制御する検出手段(例
えば、図1の特徴量抽出部3)とを備えることを特徴と
する。
According to a first aspect of the present invention, there is provided an image conversion apparatus, comprising: a class tap extracting means for extracting, as class taps, a plurality of pixel data for generating a class code from a first image signal (for example, an area shown in FIG. 1). A cutout unit 1) and a class classifying unit that classifies the class taps to generate a class code representing the class (for example, FIG. 1)
ADRC pattern extraction unit 4) and generating means (for example, R in FIG. 1) for generating prediction data corresponding to the class code.
OM table 6) and a generation unit that generates a second image signal using prediction data (for example, prediction calculation unit 7 in FIG. 1)
Detecting means for detecting a feature amount indicating a degree of blur of the image of the first image signal, and controlling a class tap extracting operation of the class tap extracting means in accordance with the detection result (for example, FIG. And a feature amount extraction unit 3).

【0011】請求項5に記載の画像変換装置は、第1の
画像信号の中から予測演算を行うための複数の画素デー
タを予測タップとして抽出する予測タップ抽出手段(例
えば、図1の領域切り出し部2)をさらに備え、発生手
段は、クラスコードに対応する予測係数のセットを発生
し、生成手段は、予測タップ抽出手段からの予測タップ
と発生手段からの予測係数のセットを用いて予測演算す
ることにより第2の画像信号を生成することを特徴とす
る。
According to a fifth aspect of the present invention, there is provided an image conversion apparatus for extracting a plurality of pixel data for performing a prediction operation from a first image signal as a prediction tap. Unit 2), wherein the generation means generates a set of prediction coefficients corresponding to the class code, and the generation means performs a prediction operation using the set of prediction taps from the prediction tap extraction means and the prediction coefficients from the generation means. Thus, a second image signal is generated.

【0012】以下に、本発明の実施の形態について説明
する。図1は、本発明を適用した、画像変換装置の構成
例を示すブロック図である。同図には、例えば画質の悪
い(ぼけた画像の)SD画像データ(または、HD画像
データ)を、画質改善されたSD画像データ(または、
HD画像データ)に変換する構成例が示されている。以
下においては、入力画像データがSD画像データである
場合について説明する。
An embodiment of the present invention will be described below. FIG. 1 is a block diagram illustrating a configuration example of an image conversion apparatus to which the present invention has been applied. In the figure, for example, SD image data (or HD image data) with poor image quality (of a blurred image) is converted into SD image data with improved image quality (or
HD image data). Hereinafter, a case where the input image data is SD image data will be described.

【0013】例えば、画質の悪い(ぼけた画像の)SD
画像データが、入力端子を介して画像変換装置に入力さ
れる。入力された画像データは、領域切り出し部1、領
域切り出し部2、および特徴量抽出部3に供給される。
特徴量抽出部3は、入力されたSD画像データのぼけ量
を表す特徴量を検出し、その検出した特徴量を領域切り
出し部1、領域切り出し部2、およびクラスコード発生
部5に出力する。領域切り出し部1は、入力された画像
データから所定の範囲の画素データをクラスタップのセ
ットとして切り出し、これをADRC(Adaptive Dynam
ic Range Coding)パターン抽出部4に出力する。領域
切り出し部1において切り出されるクラスタップは、特
徴量抽出部3の出力する特徴量に対応して制御される。
ADRCパターン抽出部4は、空間内の波形表現を目的
としたクラス分類を行うようになされている。
For example, SD with poor image quality (of a blurred image)
Image data is input to the image conversion device via the input terminal. The input image data is supplied to the region cutout unit 1, the region cutout unit 2, and the feature amount extraction unit 3.
The feature amount extraction unit 3 detects a feature amount representing a blur amount of the input SD image data, and outputs the detected feature amount to the region cutout unit 1, the region cutout unit 2, and the class code generation unit 5. The area cutout unit 1 cuts out a predetermined range of pixel data from the input image data as a set of class taps, and outputs this as an ADRC (Adaptive Dynam).
ic Range Coding) is output to the pattern extraction unit 4. The class tap cut out by the region cutout unit 1 is controlled in accordance with the feature amount output from the feature amount extraction unit 3.
The ADRC pattern extraction unit 4 performs a class classification for the purpose of expressing a waveform in a space.

【0014】クラスコード発生部5は、ADRCパター
ン抽出部4より出力されたクラスおよび特徴量抽出部3
から出力された特徴量に対応するクラスコードを発生
し、ROMテーブル6に出力する。ROMテーブル6に
は、各クラス(クラスコード)に対応して予め所定の予
測係数のセットが記憶されており、クラスコードに対応
する予測係数のセットが予測演算部7に出力される。
The class code generator 5 is a class and feature quantity extractor 3 output from the ADRC pattern extractor 4.
And generates a class code corresponding to the feature quantity output from the ROM table 6. A predetermined set of prediction coefficients is stored in the ROM table 6 in advance corresponding to each class (class code), and the set of prediction coefficients corresponding to the class code is output to the prediction calculation unit 7.

【0015】領域切り出し部2は、入力された画像デー
タから所定範囲の画素データを予測タップのセットとし
て切り出し、その予測タップを構成する画素データを予
測演算部7に出力する。この領域切り出し部2により切
り出される予測タップのセットは、特徴量抽出部3の出
力するぼけ量を表す特徴量に対応して制御される。予測
演算部7は、領域切り出し部2より入力された予測タッ
プのセットと、ROMテーブル6より入力された予測係
数のセットとから予測演算を行い、その演算結果を、画
質を補正した画像データとして出力する。この出力され
た画像データが、例えば図示しない表示デバイスで表示
されたり、記録デバイスに記録されたり、伝送デバイス
で伝送される。
The area cutout unit 2 cuts out a predetermined range of pixel data from the input image data as a set of prediction taps, and outputs the pixel data forming the prediction taps to the prediction calculation unit 7. The set of prediction taps cut out by the region cutout unit 2 is controlled in accordance with a feature amount representing a blur amount output from the feature amount extraction unit 3. The prediction calculation unit 7 performs a prediction calculation from the set of prediction taps input from the region cutout unit 2 and the set of prediction coefficients input from the ROM table 6, and converts the calculation result as image data with image quality corrected. Output. The output image data is displayed on, for example, a display device (not shown), recorded on a recording device, or transmitted by a transmission device.

【0016】次に、その動作について説明する。領域切
り出し部1は、画像データが入力されると、入力された
画像データの中から、所定の画素データをクラスタップ
として切り出す処理を実行する。例えば、図2に示すよ
うに、所定の注目画素データを中心として、その注目画
素データに対応する位置のデータ画素と、上下左右に隣
接する画素データの合計5個の画素データをクラスタッ
プとして切り出す。あるいは、図3に示すように、注目
画素データに対応する画素データと、上下左右方向に3
画素分離れた位置に隣接する画素データをクラスタップ
として抽出する。どのような画素データがクラスタップ
として切り出されるかは、特徴量抽出部3の出力するぼ
け量を表す特徴量に対応して決定される。
Next, the operation will be described. When image data is input, the area cutout unit 1 executes a process of cutting out predetermined pixel data from the input image data as a class tap. For example, as shown in FIG. 2, a total of five pixel data including a predetermined target pixel data as a center and pixel data at a position corresponding to the target pixel data and pixel data adjacent vertically and horizontally are cut out as class taps. . Alternatively, as shown in FIG. 3, pixel data corresponding to the pixel data of interest is
Pixel data adjacent to the pixel-separated position is extracted as a class tap. What kind of pixel data is cut out as a class tap is determined in accordance with the feature amount representing the blur amount output from the feature amount extraction unit 3.

【0017】ここで、図4のフローチャートを参照し
て、特徴量抽出部3の特徴量抽出処理について説明す
る。最初にステップS1において、特徴量抽出部3は、
入力された各画素データに対するフレーム毎の自己相関
係数を算出する。そして、この自己相関係数を画素デー
タのぼけ量を表す特徴量の尺度に利用する。すなわち、
図5に示すように、1フレームの画像データが720画
素×480画素の画素データで構成されているものとす
ると、所定の注目画素に対してその注目画素を中心とし
て、720画素×480画素の画素データのうちの51
2画素×256画素の画素データからなるブロック(以
下、このブロックを、適宜、基準ブロックと呼ぶ)を構
成し、その基準ブロックの位置を画素単位で所定の範囲
内を上下左右方向に移動させ、移動させたときのそれぞ
れの位置に対応する自己相関係数を算出する。
Here, the feature amount extraction processing of the feature amount extraction unit 3 will be described with reference to the flowchart of FIG. First, in step S1, the feature amount extraction unit 3
An autocorrelation coefficient for each frame for each input pixel data is calculated. Then, the autocorrelation coefficient is used as a measure of a feature amount representing a blur amount of the pixel data. That is,
As shown in FIG. 5, assuming that one frame of image data is composed of pixel data of 720 pixels × 480 pixels, a predetermined pixel of interest is 720 pixels × 480 pixels centered on the pixel of interest. 51 of the pixel data
A block composed of pixel data of 2 pixels × 256 pixels (hereinafter, this block is appropriately referred to as a reference block) is formed, and the position of the reference block is moved within a predetermined range in a pixel-by-pixel manner in the vertical and horizontal directions, An autocorrelation coefficient corresponding to each position when moved is calculated.

【0018】例えば、所定の注目画素データを中心とし
た基準ブロック内の各画素値をXij(i=0,1,2,
・・・,n、j=0,1,2,・・・,m)、基準ブロ
ック内の画素値の平均値をXav、基準ブロックが移動さ
れた位置に対応するブロック内の各画素値をYij(i=
0,1,2,・・・,n、j=0,1,2,・・・,
m)、そのブロック内の画素値の平均値をYavとする
と、基準ブロックを移動させたときのその位置に対応す
る自己相関係数は、次式で表される。
For example, each pixel value in a reference block centered on predetermined target pixel data is represented by X ij (i = 0, 1, 2,
.., N, j = 0, 1, 2,..., M), the average value of the pixel values in the reference block is X av , and each pixel value in the block corresponding to the position to which the reference block has been moved To Y ij (i =
.., N, j = 0, 1, 2,.
m), assuming that the average value of the pixel values in the block is Yav , the autocorrelation coefficient corresponding to the position when the reference block is moved is expressed by the following equation.

【数1】 (Equation 1)

【0019】なお、上述したように、本実施の形態で
は、基準ブロックが512画素×256画素の画素デー
タから構成されているため、n=511、m=255の
値である。このようにして、所定の範囲内を基準ブロッ
クをシフトしてそれぞれの位置に対応する自己相関係数
を得ることができる。
As described above, in this embodiment, since the reference block is composed of pixel data of 512 pixels × 256 pixels, the values are n = 511 and m = 255. In this way, it is possible to shift the reference block within the predetermined range and obtain the autocorrelation coefficient corresponding to each position.

【0020】図6は、このようにして求められた自己相
関係数の例を表している。ブロック(基準ブロック)を
シフトしないとき、自己相関係数は1である。これに対
して、フレームF1の場合、例えば、ブロック(基準ブ
ロック)を右方向に3画素分シフトしたとき、自己相関
係数は0.85に低下し、さらに、シフト量を増加させ
るに従って、自己相関係数は、より小さい値に低下す
る。このことは、ブロック(基準ブロック)を左方向に
シフトした場合にも同様である。
FIG. 6 shows an example of the autocorrelation coefficient obtained in this way. When the block (reference block) is not shifted, the autocorrelation coefficient is 1. On the other hand, in the case of the frame F1, for example, when a block (reference block) is shifted rightward by three pixels, the autocorrelation coefficient decreases to 0.85, and as the shift amount increases, the autocorrelation coefficient decreases. The correlation coefficient drops to a smaller value. This is the same when the block (reference block) is shifted to the left.

【0021】一方、フレームF2においては、ブロック
(基準ブロック)を1画素分右または左方向にシフトし
たとき、自己相関係数が0.85に低下し、それ以上シ
フトすると、自己相関係数はさらに低下する。このこと
は、フレームF1は、フレームF2に比べて、周囲との
自己相関が強い、つまり、フレームF1は、フレームF
2に比べてぼけ量が大きいことを意味している。
On the other hand, in the frame F2, when the block (reference block) is shifted rightward or leftward by one pixel, the autocorrelation coefficient decreases to 0.85. Further decline. This means that the frame F1 has a stronger autocorrelation with the surroundings than the frame F2, that is, the frame F1
This means that the blur amount is larger than that of 2.

【0022】特徴量抽出部3は、ステップS2におい
て、自己相関係数が所定の基準値(例えば、0.85)
となる画素シフト量を求め、ステップS3で、その画素
シフト量を、ぼけ量を表す特徴量として出力する。つま
り、所定の範囲内で、基準ブロックをシフトしたとき
の、それぞれの位置に対応する自己相関係数と基準値を
比較することにより、自己相関係数が基準値となる画素
シフト量を求める。図6の例の場合、入力された画素デ
ータがフレームF1の画素データである場合、特徴量は
3とされ、入力された画素データがフレームF2の画素
データである場合、特徴量は1とされる。
In step S2, the feature quantity extraction unit 3 determines that the autocorrelation coefficient is a predetermined reference value (for example, 0.85).
Is obtained, and in step S3, the pixel shift amount is output as a feature amount representing a blur amount. That is, the pixel shift amount at which the autocorrelation coefficient becomes the reference value is obtained by comparing the autocorrelation coefficient corresponding to each position and the reference value when the reference block is shifted within the predetermined range. In the example of FIG. 6, when the input pixel data is the pixel data of the frame F1, the feature amount is set to 3, and when the input pixel data is the pixel data of the frame F2, the feature amount is set to 1. You.

【0023】領域切り出し部1は、特徴量抽出部3か
ら、特徴量1が入力されたとき、例えば、図2に示すよ
うに、狭い間隔内に配置された画素データをクラスタッ
プとして切り出す(抽出する)。これに対して、特徴量
3が入力されたとき、領域切り出し部1は、図3に示す
ように、より広い間隔で配置されている画素データをク
ラスタップとして切り出す(抽出する)。
When the feature quantity 1 is input from the feature quantity extracting section 3, the area cutout section 1 cuts out pixel data arranged within a narrow interval as a class tap, for example, as shown in FIG. Do). On the other hand, when the feature amount 3 is input, the area cutout unit 1 cuts out (extracts) pixel data arranged at wider intervals as class taps, as shown in FIG.

【0024】図6に示すように、特徴量が1である画像
(フレームF2)は、強い自己相関を有する画素データ
の範囲が狭くなっている。そこで、図2に示すように、
クラスタップを構成する画素データとしても狭い範囲に
配置されているものを選択する。これに対して、特徴量
が3である画像(フレームF1)の場合、強い自己相関
を有する範囲がより広くなっている。そこで、図3に示
すように、クラスタップを構成する画素データも、より
広い範囲から切り出すようにする。このように、ぼけ量
を表す特徴量に応じて、クラスタップとして切り出す画
素データをダイナミックに変化させるようにすること
で、より適切なクラスタップを切り出すことが可能とな
る。
As shown in FIG. 6, the range of pixel data having a strong autocorrelation is narrow in an image (frame F2) whose feature value is 1. Therefore, as shown in FIG.
Pixel data that is arranged in a narrow range is also selected as pixel data constituting a class tap. On the other hand, in the case of an image (frame F1) whose feature value is 3, the range having strong autocorrelation is wider. Therefore, as shown in FIG. 3, the pixel data constituting the class tap is also cut out from a wider range. As described above, by appropriately changing the pixel data to be cut out as a class tap in accordance with the feature amount representing the blur amount, a more appropriate class tap can be cut out.

【0025】図示は省略するが、領域切り出し部2にお
ける予測タップも、領域切り出し部1におけるクラスタ
ップの切り出しと同様に、特徴量抽出部3の出力するぼ
け量を表す特徴量に対応して、予測タップとして切り出
す画素データをダイナミックに変化させる。なお、この
領域切り出し部2において切り出される予測タップ(画
素データ)は、領域切り出し部1において切り出される
クラスタップ(画素データ)と同一にしてもよいし、異
なるものとしてもよい。
Although not shown, the prediction taps in the region cutout unit 2 also correspond to the feature amounts representing the blur amounts output by the feature amount extraction unit 3 in the same manner as the cutout of the class taps in the region cutout unit 1. Pixel data cut out as a prediction tap is dynamically changed. Note that the prediction tap (pixel data) cut out by the region cutout unit 2 may be the same as or different from the class tap (pixel data) cut out by the region cutout unit 1.

【0026】ADRCパターン抽出部4は、領域切り出
し部1で切り出されたクラスタップに対してADRC処
理を実行してクラス分類を行う(クラスを決定する)。
すなわち、クラスタップとして抽出された5つの画素デ
ータ内の内のダイナミックレンジをDR、ビット割当を
n、クラスタップとしての各画素データのレベルをL、
再量子化コードをQとするとき、次式を演算する。 Q={(L−MIN+0.5)×2n/DR} DR=MAX−MIN+1
The ADRC pattern extraction unit 4 performs ADRC processing on the class taps cut out by the area cutout unit 1 to perform class classification (determines the class).
That is, the dynamic range among the five pixel data extracted as class taps is DR, the bit allocation is n, the level of each pixel data as a class tap is L,
When the requantization code is Q, the following equation is calculated. Q = {(L−MIN + 0.5) × 2 n / DR} DR = MAX−MIN + 1

【0027】なお、ここで{ }は切り捨て処理を意味
する。また、MAXとMINは、クラスタップを構成す
る5つの画素データ内の最大値と最小値をそれぞれ表し
ている。これにより、例えば領域切り出し部1で切り出
されたクラスタップを構成する5個の画素データが、そ
れぞれ例えば8ビット(n=8)で構成されているとす
ると、これをそれぞれが2ビットに圧縮される。従っ
て、合計10ビットで表される空間クラスを表すデータ
が、クラスコード発生部5に供給される。
Here, {} means truncation processing. MAX and MIN represent the maximum value and the minimum value of the five pixel data constituting the class tap, respectively. As a result, for example, if it is assumed that each of the five pixel data forming the class tap cut out by the region cutout unit 1 is formed of, for example, 8 bits (n = 8), each of them is compressed into 2 bits. You. Therefore, data representing a space class represented by a total of 10 bits is supplied to the class code generator 5.

【0028】クラスコード発生部5は、ADRCパター
ン抽出部4より入力された空間クラスを表すデータに、
特徴量抽出部3より供給されるぼけ量を表す特徴量を表
すビットを付加してクラスコードを発生する。例えば、
ぼけ量を表す特徴量が2ビットで表されるとすると、1
2ビットのクラスコードが発生され、ROMテーブル6
に供給される。このクラスコードは、ROMテーブル6
のアドレスに対応している。
The class code generator 5 converts the data representing the space class input from the ADRC pattern extractor 4 into:
A class code is generated by adding a bit representing a feature amount representing a blur amount supplied from the feature amount extraction unit 3. For example,
Assuming that the feature amount representing the blur amount is represented by 2 bits, 1
A 2-bit class code is generated and the ROM table 6
Supplied to This class code is stored in the ROM table 6
Address.

【0029】ROMテーブル6には、各クラス(クラス
コード)に対応する予測係数のセットがクラスコードに
対応するアドレスにそれぞれ記憶されており、クラスコ
ード発生部5より供給されたクラスコードに基づいて、
そのクラスコードに対応するアドレスに記憶されている
予測係数のセットω1乃至ωnが読み出され、予測演算部
7に供給される。
In the ROM table 6, a set of prediction coefficients corresponding to each class (class code) is stored at an address corresponding to the class code, and based on the class code supplied from the class code generation unit 5. ,
The prediction coefficient sets ω 1 to ω n stored at the address corresponding to the class code are read out and supplied to the prediction calculation unit 7.

【0030】予測演算部7は、領域切り出し部2より供
給された予測タップを構成する画素データx1乃至x
nと、予測係数ω1乃至ωnに対して、次式に示すよう
に、積和演算を行うことで、予測結果yを演算する。 y=ω11+ω22+・・・+ωnn
The prediction calculation unit 7 is configured to calculate the pixel data x 1 to x x constituting the prediction tap supplied from the region cutout unit 2.
The prediction result y is calculated by performing a product-sum operation on n and the prediction coefficients ω 1 to ω n as shown in the following equation. y = ω 1 x 1 + ω 2 x 2 + ... + ω n x n

【0031】この予測値yが、画質(ぼけ)が補正され
た画素データとなる。
The predicted value y becomes pixel data whose image quality (blur) has been corrected.

【0032】図7は、特徴量抽出部3における他の特徴
量抽出処理の例を表している。この例においては、ステ
ップS11において、所定の注目画素の近傍のエッジが
検出される。ステップS12において、検出したエッジ
に対応するエッジコードが特徴量として出力される。例
えば、図8に示すように、右上から左下方向に、斜めの
エッジが検出された場合、特徴量抽出部3は、エッジコ
ード0を出力し、図9に示すように、水平方向のエッジ
が検出された場合、エッジコード1を出力する。
FIG. 7 shows an example of another feature amount extraction process in the feature amount extraction unit 3. In this example, in step S11, an edge near a predetermined target pixel is detected. In step S12, an edge code corresponding to the detected edge is output as a feature value. For example, when an oblique edge is detected from the upper right to the lower left as shown in FIG. 8, the feature amount extraction unit 3 outputs an edge code 0, and as shown in FIG. If detected, edge code 1 is output.

【0033】領域切り出し部1は、特徴量抽出部3よ
り、図8に示すエッジコード0が入力されたとき、図1
0に示すような画素データをクラスタップとして切り出
す(抽出する)。このクラスタップは、右上から左下方
向に延在するエッジを検出するのに最適な画素データで
構成されている。これに対して、領域切り出し部1は、
図9に示すようなエッジコード1が入力されたとき、図
11に示すような画素データをクラスタップとして切り
出す(抽出する)。このクラスタップは、水平方向のエ
ッジを検出するのに最適な画素データで構成される。領
域切り出し部2においても同様に、エッジコードに対応
して予測タップを構成する画素データの切り出し(抽
出)処理が実行される。
When the edge code 0 shown in FIG. 8 is input from the feature amount extraction unit 3,
Pixel data such as 0 is cut out (extracted) as a class tap. This class tap is configured by pixel data that is optimal for detecting an edge extending from the upper right to the lower left. On the other hand, the region cutout unit 1
When edge code 1 as shown in FIG. 9 is input, pixel data as shown in FIG. 11 is cut out (extracted) as a class tap. This class tap is composed of pixel data that is optimal for detecting a horizontal edge. Similarly, in the region cutout unit 2, a process of cutting out (extracting) pixel data forming a prediction tap corresponding to the edge code is executed.

【0034】このように、入力された画素データの自己
相関、エッジといった特徴量に対応して切り出すクラス
タップ、または予測タップとして切り出す画素データを
ダイナミックに変化させることができるので、より適切
な予測演算結果を得ることが可能となる。
As described above, it is possible to dynamically change the pixel data to be cut out as a class tap or a prediction tap that is cut out in accordance with the feature amount such as the autocorrelation or the edge of the input pixel data, so that a more appropriate prediction operation can be performed. The result can be obtained.

【0035】図12は、ROMテーブル6に記憶するク
ラス毎(クラスコード毎)の予測係数のセットを学習に
よって得るための構成例を表している。この構成例にお
いては、例えば、画質の良好な教師信号(学習信号)と
してのSD画像データ(または、HD画像データ)を用
いてクラス毎(クラスコード毎)の予測係数のセットを
生成する構成が示されている。なお、以下に説明する構
成例は、本実施の形態の図1の画像変換装置に対応する
クラス毎の予測係数のセットを生成するための例であ
る。
FIG. 12 shows a configuration example for obtaining a set of prediction coefficients for each class (each class code) stored in the ROM table 6 by learning. In this configuration example, for example, a configuration is used in which a set of prediction coefficients for each class (each class code) is generated using SD image data (or HD image data) as a teacher signal (learning signal) with good image quality. It is shown. The configuration example described below is an example for generating a set of prediction coefficients for each class corresponding to the image conversion apparatus in FIG. 1 according to the present embodiment.

【0036】例えば、画質の良好な教師信号(学習信
号)としての画像データが、正規方程式演算部27に入
力されるとともに、ローパスフィルタ(LPF)21に
入力される。ローパスフィルタ21は、入力された教師
信号(学習信号)としての画像データの低域成分を除去
することで、画質の劣化した画像データ(学習信号)を
生成する。ローパスフィルタ21から出力された、画質
の劣化した画像データ(学習信号)は、クラスタップと
して所定の範囲の画像データを切り出す(抽出する)領
域切り出し部22、予測タップとして所定の範囲の画像
データを切り出す(抽出する)領域切り出し部23、お
よび、ぼけ量を表す特徴量を抽出する特徴量抽出部24
に入力される。特徴量抽出部24は、入力された画質の
劣化した画像データ(学習信号)の画素データのぼけ量
を表す特徴量を抽出し、抽出したその特徴量を、領域切
り出し部22、領域切り出し部23、およびクラスコー
ド発生部26に供給する。領域切り出し部22と、領域
切り出し部23は、入力されたぼけ量を表す特徴量に対
応して、クラスタップ、または予測タップとして切り出
す画素データをダイナミックに変化させる。
For example, image data as a teacher signal (learning signal) with good image quality is input to the normal equation calculation unit 27 and also to the low-pass filter (LPF) 21. The low-pass filter 21 generates image data (learning signal) having deteriorated image quality by removing low-frequency components of the image data as the input teacher signal (learning signal). The image data (learning signal) having deteriorated image quality output from the low-pass filter 21 is used as a region tap for extracting (extracting) a predetermined range of image data as a class tap, and a predetermined range of image data as a prediction tap. An area extracting unit 23 for extracting (extracting) a feature, and a feature extracting unit 24 for extracting a feature representing a blur amount
Is input to The feature amount extracting unit 24 extracts a feature amount representing a blur amount of the pixel data of the input image data (learning signal) having deteriorated image quality, and extracts the extracted feature amount from the region cutout unit 22 and the region cutout unit 23. , And the class code generator 26. The region cutout unit 22 and the region cutout unit 23 dynamically change pixel data to be cut out as a class tap or a prediction tap in accordance with the input feature amount representing the blur amount.

【0037】ADRCパターン抽出部25は、領域切り
出し部22より入力されたクラスタップとしての画素デ
ータのクラス分類を行い(クラスを決定し)、その分類
結果をクラスコード発生部26に出力する。クラスコー
ド発生部26は、分類されたクラスとぼけ量を表す特徴
量とからクラスコードを発生し、正規方程式演算部27
に出力する。なお、上述した領域切り出し部22、領域
切り出し部23、特徴量抽出部24、ADRCパターン
抽出部25およびクラスコード発生部26のそれぞれの
構成および動作は、図1に示された領域切り出し部1、
領域切り出し部2、特徴量抽出部3、ADRCパターン
抽出部4およびクラスコード発生部6と同一であるた
め、ここでは説明を省略する。
The ADRC pattern extraction unit 25 classifies the pixel data as the class tap input from the region extraction unit 22 (determines the class), and outputs the classification result to the class code generation unit 26. The class code generation unit 26 generates a class code from the classified class and the feature amount representing the blur amount, and generates a normal equation calculation unit 27
Output to The configuration and operation of each of the above-described region cutout unit 22, region cutout unit 23, feature amount extraction unit 24, ADRC pattern extraction unit 25, and class code generation unit 26 are the same as those of region cutout unit 1 shown in FIG.
Since they are the same as the area cutout unit 2, the feature amount extraction unit 3, the ADRC pattern extraction unit 4, and the class code generation unit 6, the description is omitted here.

【0038】正規方程式演算部27は、入力される教師
信号(学習信号)と領域切り出し部23から供給される
予測タップとしての画素データとから、クラス毎(クラ
スコード毎)に正規方程式を生成し、その正規方程式を
予測係数決定部28に供給する。そして、クラス毎に必
要な数の正規方程式が求められたとき、正規方程式演算
部27は、例えば、クラス毎に最小自乗法を用いて正規
方程式を解き、クラス毎の予測係数のセットを演算す
る。求められたクラス毎の予測係数のセットは、予測係
数決定部28からメモリ29に供給され、そのメモリ2
9に記憶される。このメモリ29に記憶されたクラス毎
の予測係数のセットが、図1のROMテーブル6に書き
込まれることになる。
The normal equation calculation section 27 generates a normal equation for each class (for each class code) from the input teacher signal (learning signal) and the pixel data as the prediction tap supplied from the area cutout section 23. Is supplied to the prediction coefficient determination unit 28. Then, when the required number of normal equations is obtained for each class, the normal equation calculation unit 27 solves the normal equation using the least square method for each class, and calculates a set of prediction coefficients for each class. . The calculated set of prediction coefficients for each class is supplied from the prediction coefficient determination unit 28 to the memory 29, and the memory 2
9 is stored. The set of prediction coefficients for each class stored in the memory 29 is written to the ROM table 6 in FIG.

【0039】上述した例では、クラス毎の予測係数のセ
ットを、図12に示される構成によって演算して求める
ようにしたが、コンピュータを用いてシュミレーション
で演算して求めるようにしてもよい。
In the example described above, the set of prediction coefficients for each class is calculated and obtained by the configuration shown in FIG. 12, but it may be calculated and calculated using a computer.

【0040】また、本実施の形態においては、図1に示
されるROMテーブル6に記憶された、図12に示され
る方法で演算されたクラス毎の予測係数のセットと、予
測タップとして切り出された画素データとから画質改善
(ぼけ改善)された画素データを生成するようになされ
ているが、本発明はこれに限らず、ROMテーブル6に
学習によって演算されたクラス毎(クラスコード毎)の
画素データの予測値そのものを記憶しておき、クラスコ
ードによってその予測値を読み出すようにしてもよい。
Further, in the present embodiment, a set of prediction coefficients for each class, which is stored in the ROM table 6 shown in FIG. 1 and calculated by the method shown in FIG. Although pixel data with improved image quality (improved blur) is generated from pixel data, the present invention is not limited to this. Pixel data for each class (for each class code) calculated by learning is stored in the ROM table 6. The predicted value itself of the data may be stored, and the predicted value may be read by a class code.

【0041】この場合、図1に示される領域切り出し部
2および図12に示される領域切り出し部23は省略で
き、図1に示される予測演算部7は、ROMテーブル6
から出力された画素データを出力デバイスに対応したフ
ォーマットに変換して出力するようになされる。さら
に、この場合は、図12に示される正規方程式演算部2
7および予測係数決定部28のかわりに、重心法を用い
てクラス毎の予測値が生成され、このクラス毎の予測値
がメモリ29に記憶される。
In this case, the region cutout unit 2 shown in FIG. 1 and the region cutout unit 23 shown in FIG. 12 can be omitted, and the prediction calculation unit 7 shown in FIG.
Is converted into a format corresponding to the output device and output. Further, in this case, the normal equation operation unit 2 shown in FIG.
Instead of 7 and the prediction coefficient determination unit 28, a predicted value for each class is generated using the centroid method, and the predicted value for each class is stored in the memory 29.

【0042】さらに、クラス毎の予測値そのもののかわ
りに、クラス毎の予測値のそれぞれを基準値で正規化
し、クラス毎の正規化された予測値をROMテーブル6
に記憶しておいてもよい。この場合、図1に示される予
測演算部7では、基準値に基づいて正規化された予測値
から予測値を演算することになる。
Further, instead of the predicted value itself for each class, each predicted value for each class is normalized by a reference value, and the normalized predicted value for each class is stored in the ROM table 6.
May be stored. In this case, the prediction calculation unit 7 shown in FIG. 1 calculates a prediction value from a prediction value normalized based on a reference value.

【0043】さらに、本実施の形態において、クラスタ
ップまたは予測タップとして切り出される画素データの
数は、自己相関係数を用いた場合は5個、エッジコード
を求める場合には7個または8個であったが、これに限
らず、クラスタップまたは予測タップとして切り出され
る画素データの数はいくつであってもよい。但し、クラ
スタップまたは予測タップとして切り出す数を多くすれ
ばするほど画質改善の精度は高くなるが、演算量が多く
なったり、メモリが大きくなったりするため、演算量、
ハード面での負荷が大きくなるため、最適な数を設定す
る必要がある。
Further, in the present embodiment, the number of pixel data cut out as class taps or prediction taps is five when the autocorrelation coefficient is used, and seven or eight when the edge code is obtained. However, the present invention is not limited to this, and the number of pieces of pixel data cut out as class taps or prediction taps may be any number. However, as the number of class taps or prediction taps increases, the accuracy of image quality improvement increases. However, since the amount of calculation increases and the memory increases, the amount of calculation increases.
Since the load on hardware increases, it is necessary to set an optimal number.

【0044】また、本実施の形態においては、SD画像
信号からSD画像信号への変換(SD−SD変換)、H
D画像信号からHD画像信号への変換(HD−HD変
換)について記載されているが、本発明はこれに限ら
ず、他のフォーマット(インターレース信号、ノンイン
ターレース信号など)の変換にももちろん適用可能であ
る。また、SD画像信号からHD画像信号への変換(S
D−HD変換)やインターレース信号からノンインター
レース信号への変換(インター−ノンインター変換)な
ど、異なるフォーマット間の変換にも本発明は適用が可
能である。但し、この場合には、クラスタップまたは予
測タップとして画像データを切り出す際には、注目画素
データとなる画素は実際には存在しないため、切り出し
の対象画素データとはならない。
Further, in the present embodiment, conversion from an SD image signal to an SD image signal (SD-SD conversion), H
Although the conversion from a D image signal to an HD image signal (HD-HD conversion) is described, the present invention is not limited to this, and can be applied to conversion of other formats (interlace signal, non-interlace signal, etc.). It is. Also, conversion from an SD image signal to an HD image signal (S
The present invention is also applicable to conversion between different formats, such as D-HD conversion) or conversion from an interlace signal to a non-interlace signal (inter-non-inter conversion). However, in this case, when the image data is cut out as the class tap or the prediction tap, since the pixel serving as the target pixel data does not actually exist, it does not become the target pixel data of the cutout.

【0045】なお、本発明の主旨を逸脱しない範囲にお
いて、さまざまな変形や応用例が考えられる。従って、
本発明の要旨は本実施の形態に限定されるものではな
い。
Various modifications and application examples can be considered without departing from the gist of the present invention. Therefore,
The gist of the present invention is not limited to the present embodiment.

【0046】なお、上記したような処理を行うコンピュ
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。
As a providing medium for providing a user with a computer program for performing the above processing,
In addition to recording media such as magnetic disks, CD-ROMs, and solid-state memories, communication media such as networks and satellites can be used.

【0047】[0047]

【発明の効果】以上の如く、請求項1に記載の画像変換
装置、請求項11に記載の画像変換方法、および請求項
21に記載の提供媒体によれば、入力された画像データ
のぼけ量を表す特徴量に対応して、クラスタップまたは
予測タップの切り出しを制御するようにしたので、入力
される画像データの画質が悪くても、クラスタップまた
は予測タップとして最適な画素データを抽出することが
でき、適切な予測処理を行うことが可能となる。
As described above, according to the image conversion apparatus according to the first aspect, the image conversion method according to the eleventh aspect, and the providing medium according to the twenty-first aspect, the blur amount of the input image data. Since the cutout of the class tap or the prediction tap is controlled in accordance with the feature amount representing the, it is possible to extract the optimal pixel data as the class tap or the prediction tap even if the image quality of the input image data is poor. And it is possible to perform appropriate prediction processing.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明を適用した画像変換装置の構成例を示す
ブロック図である。
FIG. 1 is a block diagram illustrating a configuration example of an image conversion device to which the present invention has been applied.

【図2】図1の領域切り出し部1における切り出し処理
を説明する図である。
FIG. 2 is a diagram illustrating a cutout process in an area cutout unit 1 of FIG. 1;

【図3】図1の領域切り出し部1における切り出し処理
を説明する図である。
FIG. 3 is a diagram illustrating a cutout process in an area cutout unit 1 of FIG. 1;

【図4】図1の特徴量抽出部3における特徴量抽出処理
を説明するフローチャートである。
FIG. 4 is a flowchart illustrating a feature amount extraction process in a feature amount extraction unit 3 of FIG. 1;

【図5】図4のステップS1の自己相関係数を算出する
処理を説明する図である。
FIG. 5 is a diagram illustrating a process of calculating an autocorrelation coefficient in step S1 of FIG. 4;

【図6】図4のステップS1において算出される自己相
関係数を説明する図である。
FIG. 6 is a diagram illustrating an autocorrelation coefficient calculated in step S1 of FIG.

【図7】図1の特徴量抽出部3における他の特徴量検出
処理を説明する図である。
FIG. 7 is a diagram illustrating another feature amount detection process in the feature amount extraction unit 3 of FIG. 1;

【図8】図1の特徴量抽出部3における他の特徴量検出
の例を示す図である。
FIG. 8 is a diagram showing another example of feature amount detection in the feature amount extraction unit 3 of FIG. 1;

【図9】図1の特徴量抽出部3における他の特徴量検出
の例を示す図である。
FIG. 9 is a diagram illustrating an example of another feature amount detection in the feature amount extraction unit 3 in FIG. 1;

【図10】図1の領域切り出し部1における切り出し処
理を説明する図である。
FIG. 10 is a diagram illustrating a cutout process in the region cutout unit 1 of FIG. 1;

【図11】図1の領域切り出し部1における切り出し処
理を説明する図である。
FIG. 11 is a diagram illustrating a cutout process in the region cutout unit 1 of FIG. 1;

【図12】図1のROMテーブル6の予測係数の学習処
理を行うための構成例を示すブロック図である。
12 is a block diagram showing a configuration example for performing a learning process of a prediction coefficient in the ROM table 6 of FIG. 1;

【符号の説明】[Explanation of symbols]

1,2 領域切り出し部, 3 特徴量抽出部, 4
ADRCパターン抽出部, 5 クラスコード発生部,
6 ROMテーブル, 7 予測演算部
1, 2 area extraction unit, 3 feature amount extraction unit, 4
ADRC pattern extraction unit, 5 class code generation unit,
6 ROM table, 7 prediction operation unit

───────────────────────────────────────────────────── フロントページの続き (72)発明者 星野 隆也 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 服部 正明 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Takaya Hoshino 6-7-35 Kita-Shinagawa, Shinagawa-ku, Tokyo Inside Sony Corporation (72) Inventor Masaaki Hattori 6-35, Kita-Shinagawa, Shinagawa-ku, Tokyo Sony Corporation

Claims (21)

【特許請求の範囲】[Claims] 【請求項1】 複数の画素データからなる第1の画像信
号を複数の画素データからなる第2の画像信号に変換す
る画像変換装置において、 上記第1の画像信号の中からクラスコードを生成するた
めの複数の画素データをクラスタップとして抽出するク
ラスタップ抽出手段と、 上記クラスタップをクラス分類することによりそのクラ
スを表すクラスコードを発生するクラス分類手段と、 上記クラスコードに対応する予測データを発生する発生
手段と、 上記予測データを用いて上記第2の画像信号を生成する
生成手段と、 上記第1の画像信号の画像のぼけの程度を表す特徴量を
検出して、その検出結果に対応して、上記クラスタップ
抽出手段のクラスタップの抽出動作を制御する検出手段
とを備えることを特徴とする画像変換装置。
1. An image conversion apparatus for converting a first image signal composed of a plurality of pixel data into a second image signal composed of a plurality of pixel data, wherein a class code is generated from the first image signal. Class tap extracting means for extracting a plurality of pixel data as class taps, class classifying means for classifying the class tap to generate a class code representing the class, and predicting data corresponding to the class code. Generating means for generating; generating means for generating the second image signal using the prediction data; and detecting a feature amount representing a degree of blur of the image of the first image signal, Correspondingly, an image conversion device comprising a detecting means for controlling the class tap extracting operation of the class tap extracting means.
【請求項2】 上記第2の画像信号は上記第1の画像信
号より画質改善された信号であることを特徴とする請求
項1に記載の画像変換装置。
2. The image conversion device according to claim 1, wherein the second image signal is a signal whose image quality has been improved from the first image signal.
【請求項3】 上記第1の画像信号と上記第2の画像信
号は同じフォーマットの画像信号であることを特徴とす
る請求項1に記載の画像変換装置。
3. The image conversion device according to claim 1, wherein the first image signal and the second image signal have the same format.
【請求項4】 上記発生手段は、画質の良好な学習信号
を用いてクラス毎に予め学習によって生成された予測デ
ータを記憶するメモリを有し、上記メモリは、上記クラ
スコードをアドレスとして予測データを発生することを
特徴とする請求項1に記載の画像変換装置。
4. The generation means has a memory for storing prediction data generated by learning in advance for each class using a learning signal having good image quality, and the memory stores the prediction data using the class code as an address. The image conversion apparatus according to claim 1, wherein
【請求項5】 上記第1の画像信号の中から予測演算を
行うための複数の画素データを予測タップとして抽出す
る予測タップ抽出手段をさらに備え、 上記発生手段は、クラスコードに対応する予測係数のセ
ットを発生し、 上記生成手段は、上記予測タップ抽出手段からの予測タ
ップと上記発生手段からの予測係数のセットを用いて予
測演算することにより上記第2の画像信号を生成するこ
とを特徴とする請求項1に記載の画像変換装置。
5. A prediction tap extracting unit for extracting a plurality of pixel data for performing a prediction operation from the first image signal as a prediction tap, wherein the generation unit includes a prediction coefficient corresponding to a class code. Wherein the generation means generates the second image signal by performing a prediction operation using a prediction tap from the prediction tap extraction means and a set of prediction coefficients from the generation means. The image conversion device according to claim 1.
【請求項6】 上記発生手段は、画質の良好な学習信号
を用いてクラス毎に予め学習によって生成された予測係
数のセットを記憶するメモリを有し、上記メモリは、上
記クラスコードをアドレスとして予測係数のセットを出
力することを特徴とする請求項5に記載の画像変換装
置。
6. The generating means has a memory for storing a set of prediction coefficients generated by learning in advance for each class using a learning signal with good image quality, wherein the memory uses the class code as an address. The image conversion apparatus according to claim 5, wherein a set of prediction coefficients is output.
【請求項7】 上記検出手段は、画像信号の所定の範囲
において画素データをシフトすることにより、そのシフ
トされたそれぞれの位置に対応する自己相関係数を算出
し、その自己相関係数を画像のぼけの程度を表す尺度と
して上記画像のぼけの程度を表す特徴量を検出すること
を特徴とする請求項1に記載の画像変換装置。
7. The detecting means calculates an autocorrelation coefficient corresponding to each shifted position by shifting pixel data in a predetermined range of the image signal, and calculates the autocorrelation coefficient in the image signal. The image conversion apparatus according to claim 1, wherein a feature amount indicating a degree of blur of the image is detected as a scale indicating a degree of blur.
【請求項8】 上記検出手段は、基準値に対応する上記
自己相関係数を決定し、その決定された自己相関係数に
対応する画素データのシフト量を上記画像のぼけの程度
を表す特徴量として出力することを特徴とする請求項7
に記載の画像変換装置。
8. The method according to claim 1, wherein the detecting means determines the autocorrelation coefficient corresponding to a reference value, and indicates a shift amount of pixel data corresponding to the determined autocorrelation coefficient to indicate a degree of blur of the image. 8. The output as a quantity.
An image conversion device according to claim 1.
【請求項9】 上記自己相関係数は、画像のぼけ具合を
表す尺度であることを特徴とする請求項7または8に記
載の画像変換装置。
9. The image conversion apparatus according to claim 7, wherein the autocorrelation coefficient is a scale indicating a degree of blurring of the image.
【請求項10】 上記クラス分類手段は、上記クラスタ
ップをクラス分類することによりそのクラスを表す第1
のクラスコードと、上記画像のぼけの程度を表す特徴量
を表す第2のクラスコードからなるクラスコードを発生
することを特徴とする請求項1に記載の画像変換装置。
10. The class classifying means classifies the class tap into a first class representing the class.
2. The image conversion apparatus according to claim 1, wherein a class code including a class code of the first class code and a second class code indicating a feature amount indicating a degree of blur of the image is generated.
【請求項11】 複数の画素データからなる第1の画像
信号を複数の画素データからなる第2の画像信号に変換
する画像変換方法において、 上記第1の画像信号の中からクラスコードを生成するた
めの複数の画素データをクラスタップとして抽出し、 上記クラスタップをクラス分類することによりそのクラ
スを表すクラスコードを発生し、 上記クラスコードに対応する予測データを発生し、 上記予測データを用いて上記第2の画像信号を生成し、 上記第1の画像信号の画像のぼけの程度を表す特徴量を
検出して、その検出結果に対応して、上記クラスタップ
の抽出処理を制御することを特徴とする画像変換方法。
11. An image conversion method for converting a first image signal composed of a plurality of pixel data into a second image signal composed of a plurality of pixel data, wherein a class code is generated from the first image signal. A plurality of pixel data for the class tap as a class tap, classifying the class tap into a class, generating a class code representing the class, generating prediction data corresponding to the class code, and using the prediction data. Generating the second image signal, detecting a feature amount indicating the degree of blur of the image of the first image signal, and controlling the class tap extraction process in accordance with the detection result. Characteristic image conversion method.
【請求項12】 上記第2の画像信号は上記第1の画像
信号より画質改善された信号であることを特徴とする請
求項11に記載の画像変換方法。
12. The image conversion method according to claim 11, wherein the second image signal is a signal whose image quality has been improved from the first image signal.
【請求項13】 上記第1の画像信号と上記第2の画像
信号は同じフォーマットの画像信号であることを特徴と
する請求項11に記載の画像変換方法。
13. The image conversion method according to claim 11, wherein the first image signal and the second image signal have the same format.
【請求項14】 上記予測データを発生するステップで
は、上記クラスコードをアドレスとして、メモリから、
そこに記憶された、画質の良好な学習信号を用いてクラ
ス毎に予め学習によって生成された予測データを発生す
ることを特徴とする請求項11に記載の画像変換方法。
14. The step of generating the prediction data comprises the steps of:
12. The image conversion method according to claim 11, wherein prediction data generated by learning in advance for each class is generated by using a learning signal with good image quality stored therein.
【請求項15】 上記第1の画像信号の中から予測演算
を行うための複数の画素データを予測タップとしてさら
に抽出し、 上記予測データを発生するステップでは、クラスコード
に対応する予測係数のセットを発生し、 上記第2の画像信号を出力するステップでは、上記予測
タップと上記予測係数のセットを用いて予測演算するこ
とにより上記第2の画像信号を生成することを特徴とす
る請求項11に記載の画像変換方法。
15. A step of further extracting, as prediction taps, a plurality of pixel data for performing a prediction operation from the first image signal, and generating the prediction data includes setting a prediction coefficient corresponding to a class code. Generating the second image signal by generating a second image signal by performing a prediction operation using the set of the prediction taps and the prediction coefficients in the step of outputting the second image signal. The image conversion method described in 1.
【請求項16】 上記予測係数のセットを発生するステ
ップでは、上記クラスコードをアドレスとして、メモリ
から、そこに記憶された、画質の良好な学習信号を用い
てクラス毎に予め学習によって生成された予測係数のセ
ットを発生することを特徴とする請求項15に記載の画
像変換方法。
16. In the step of generating a set of prediction coefficients, the class code is generated by learning in advance for each class by using the class code as an address and using a learning signal of good image quality stored therein from a memory. 16. The method according to claim 15, wherein a set of prediction coefficients is generated.
【請求項17】 上記特徴量を検出するステップでは、
画像信号の所定の範囲において画素データをシフトする
ことにより、そのシフトされたそれぞれの位置に対応す
る自己相関係数を算出し、その自己相関係数を画像のぼ
けの程度を表す尺度として上記画像のぼけの程度を表す
特徴量を検出することを特徴とする請求項11に記載の
画像変換方法。
17. The step of detecting a feature value comprises:
By shifting the pixel data in a predetermined range of the image signal, an autocorrelation coefficient corresponding to each shifted position is calculated, and the autocorrelation coefficient is used as a scale indicating the degree of blur of the image, and 12. The image conversion method according to claim 11, wherein a feature amount indicating a degree of blur is detected.
【請求項18】 上記特徴量を検出するステップでは、
基準値に対応する上記自己相関係数を決定し、その決定
された自己相関係数に対応する画素データのシフト量を
上記画像のぼけの程度を表す特徴量として出力すること
を特徴とする請求項17に記載の画像変換方法。
18. The method according to claim 18, wherein the detecting the characteristic amount comprises:
Determining an autocorrelation coefficient corresponding to a reference value, and outputting a shift amount of pixel data corresponding to the determined autocorrelation coefficient as a feature amount indicating a degree of blur of the image. Item 18. The image conversion method according to Item 17.
【請求項19】 上記自己相関係数は、画像のぼけ具合
を表すことを特徴とする請求項17または18に記載の
画像変換方法。
19. The image conversion method according to claim 17, wherein the autocorrelation coefficient represents a degree of blur of the image.
【請求項20】 上記クラスコードを発生するステップ
では、上記クラスタップをクラス分類することによりそ
のクラスを表す第1のクラスコードと、上記画像のぼけ
の程度を表す特徴量を表す第2のクラスコードからなる
クラスコードを発生することを特徴とする請求項11に
記載の画像変換方法。
20. In the step of generating the class code, a first class code representing the class by classifying the class tap and a second class representing a feature amount representing a degree of blur of the image. 12. The image conversion method according to claim 11, wherein a class code including a code is generated.
【請求項21】 複数の画素データからなる第1の画像
信号を複数の画素データからなる第2の画像信号に変換
する画像変換装置に、 上記第1の画像信号の中からクラスコードを生成するた
めの複数の画素データをクラスタップとして抽出し、 上記クラスタップをクラス分類することによりそのクラ
スを表すクラスコードを発生し、 上記クラスコードに対応する予測データを発生し、 上記予測データを用いて上記第2の画像信号を生成し、 上記第1の画像信号の画像のぼけの程度を表す特徴量を
検出して、その検出結果に対応して、上記クラスタップ
の抽出処理を制御する処理を実行させるコンピュータが
読み取り可能なプログラムを提供することを特徴とする
提供媒体。
21. An image conversion device for converting a first image signal composed of a plurality of pixel data into a second image signal composed of a plurality of pixel data, wherein a class code is generated from the first image signal. A plurality of pixel data for the class tap as a class tap, classifying the class tap into a class, generating a class code representing the class, generating prediction data corresponding to the class code, and using the prediction data. A process of generating the second image signal, detecting a feature amount indicating a degree of blur of the image of the first image signal, and controlling the class tap extraction process in accordance with the detection result. A providing medium for providing a computer-readable program to be executed.
JP12302198A 1997-05-06 1998-05-06 Image conversion apparatus and method, and recording medium Expired - Fee Related JP4062771B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12302198A JP4062771B2 (en) 1997-05-06 1998-05-06 Image conversion apparatus and method, and recording medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP9-115437 1997-05-06
JP11543797 1997-05-06
JP12302198A JP4062771B2 (en) 1997-05-06 1998-05-06 Image conversion apparatus and method, and recording medium

Publications (2)

Publication Number Publication Date
JPH1127564A true JPH1127564A (en) 1999-01-29
JP4062771B2 JP4062771B2 (en) 2008-03-19

Family

ID=26453937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12302198A Expired - Fee Related JP4062771B2 (en) 1997-05-06 1998-05-06 Image conversion apparatus and method, and recording medium

Country Status (1)

Country Link
JP (1) JP4062771B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002013181A1 (en) * 2000-08-02 2002-02-14 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
WO2002013182A1 (en) * 2000-08-02 2002-02-14 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
WO2002013180A1 (en) * 2000-08-02 2002-02-14 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
US6987884B2 (en) 2000-08-07 2006-01-17 Sony Corporation Image processing device and method, and recorded medium
US20090161976A1 (en) * 2007-12-21 2009-06-25 Sony Corporation Image processing device, image processing method, program, and learning device
JP2011112630A (en) * 2009-11-30 2011-06-09 Mitsubishi Electric Corp Radar image processor
US8355603B2 (en) 2002-04-26 2013-01-15 Sony Corporation Data converting apparatus and data converting method, learning device and learning method, and recording medium

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002013181A1 (en) * 2000-08-02 2002-02-14 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
WO2002013182A1 (en) * 2000-08-02 2002-02-14 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
WO2002013180A1 (en) * 2000-08-02 2002-02-14 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
US6907413B2 (en) 2000-08-02 2005-06-14 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
US6990475B2 (en) 2000-08-02 2006-01-24 Sony Corporation Digital signal processing method, learning method, apparatus thereof and program storage medium
US7412384B2 (en) 2000-08-02 2008-08-12 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
US7584008B2 (en) 2000-08-02 2009-09-01 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
US6987884B2 (en) 2000-08-07 2006-01-17 Sony Corporation Image processing device and method, and recorded medium
US8355603B2 (en) 2002-04-26 2013-01-15 Sony Corporation Data converting apparatus and data converting method, learning device and learning method, and recording medium
US20090161976A1 (en) * 2007-12-21 2009-06-25 Sony Corporation Image processing device, image processing method, program, and learning device
US8346003B2 (en) * 2007-12-21 2013-01-01 Sony Corporation Image processing for reducing blur
JP2011112630A (en) * 2009-11-30 2011-06-09 Mitsubishi Electric Corp Radar image processor

Also Published As

Publication number Publication date
JP4062771B2 (en) 2008-03-19

Similar Documents

Publication Publication Date Title
EP0912045B1 (en) Image converter and image conversion method
KR20010007300A (en) Data processing apparatus, data processing method, learning apparatus, learning method, and medium
JP2000148724A (en) Processor and method for data processing
US5949916A (en) Modified automatic regressive filter and filtering method therefor
JPH1127564A (en) Image converter, method therefor and presentation medium
JP4035895B2 (en) Image conversion apparatus and method, and recording medium
JPH0795591A (en) Digital picture signal processing unit
KR101089853B1 (en) Apparatus and method for generating coefficient data, apparatus and method for generating coefficient-seed data, information-signal processing apparatus, program, and medium having recorded the program thereon
JP3849817B2 (en) Image processing apparatus and image processing method
JPH07115569A (en) Method and device for noise reduction
JP4139979B2 (en) Image conversion apparatus and method, and recording medium
JP4151134B2 (en) Transmission apparatus and method, reception apparatus and method, and recording medium
JP2000059652A (en) Device and method for removing noise
US7031522B2 (en) Image processing apparatus and method, and storage medium therefor
JP3723995B2 (en) Image information conversion apparatus and method
JP4131303B2 (en) Image conversion apparatus and method, learning apparatus and method, image conversion system, and recording medium
JPH08317347A (en) Image information converting device
JP2000200349A (en) Device and method for converting image information and device and method for learning
JP3826434B2 (en) Signal conversion apparatus and method
JP2001285882A (en) Device and method for reducing noise
JP4062326B2 (en) Coefficient generation apparatus and method
JP4595162B2 (en) Image signal processing apparatus and image signal processing method
JP4131049B2 (en) Signal processing apparatus and signal processing method
JPH07212794A (en) Signal separator
JP4447671B2 (en) Image signal converting apparatus and method, and neural network coupling coefficient generating apparatus and generating method used therefor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071224

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees