JP2005117682A - 係数生成装置および方法 - Google Patents

係数生成装置および方法 Download PDF

Info

Publication number
JP2005117682A
JP2005117682A JP2004342734A JP2004342734A JP2005117682A JP 2005117682 A JP2005117682 A JP 2005117682A JP 2004342734 A JP2004342734 A JP 2004342734A JP 2004342734 A JP2004342734 A JP 2004342734A JP 2005117682 A JP2005117682 A JP 2005117682A
Authority
JP
Japan
Prior art keywords
class
image information
coefficient
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004342734A
Other languages
English (en)
Other versions
JP4001143B2 (ja
Inventor
Masashi Uchida
真史 内田
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004342734A priority Critical patent/JP4001143B2/ja
Publication of JP2005117682A publication Critical patent/JP2005117682A/ja
Application granted granted Critical
Publication of JP4001143B2 publication Critical patent/JP4001143B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)

Abstract

【課題】供給された画像信号を、より高画質の画像信号へ変換するときに用いられる係数を生成する。
【解決手段】垂直間引きフィルタ22、水平間引きフィルタ23にて、入力端子21からのHDデータの画素を間引き処理し、得られたSDデータを領域分割化回路24、26へ供給する。領域分割化回路24は、SDデータを複数の領域に分割し、ADRC回路25は、パターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路28へ供給する。動きクラス決定回路27は、領域分割化回路26からのSDデータから動きクラスmv-classを決定し、クラスコード発生回路28へ供給する。クラスコード発生回路28は、パターン圧縮データ、動きクラスmv-classからクラスを検出し、そのクラスを示すクラスコードを正規方程式加算回路29へ出力する。正規方程式加算回路29は、正規方程式データを出力する。予測係数決定回路30は、予測係数を算出する。
【選択図】図8

Description

この発明は、例えば、テレビジョン受像器やビデオテープレコーダ装置等に用いて好適な画像情報変換装置に関し、特に、外部から供給される通常の画質(解像度)の画像情報を高画質(高解像度)の画像情報へ変換するときに用いられる係数を生成する係数生成装置および方法に関する。
今日において、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることが出来るようなテレビジョン受像器の開発が望まれ、この要望に応えて、いわゆるハイビジョン方式が開発された。このハイビジョン方式は、いわゆるNTSC方式に規定される走査線数が525本なのに対して、2倍以上の1125本となっているうえ、表示画面の縦横比もNTSC方式が3:4に対して、ハイビジョン方式は9:16と広角画面になっている。このため、高解像度で臨場感のある画面を得ることができるようになっている。
ここで、このような優れた特性を有するハイビジョン方式ではあるが、NTSC方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは、上述のようなNTSC方式とハイビジョン方式とでは規格が異なるためである。このため、NTSC方式の映像信号に応じた画像をハイビジョン方式で表示しようとする場合、従来は、例えば図9に示すような画像情報変換装置を用いて映像信号のレート変換を行っていた。
図9において、従来の画像情報変換装置は、入力端子41を介して供給されるNTSC方式の映像信号に対して、水平方向の補間処理を行う水平補間フィルタ42と、水平方向の補間処理の行われた映像信号に対して、垂直方向の補間処理を行う垂直補間フィルタ43とから構成され、出力端子44からハイビジョン方式の映像信号を得ることができる。
具体的には、水平補間フィルタ42は、図10に示すような構成を有しており、入力端子41を介して供給される映像方式の映像信号は、入力端子51を介して第1〜第mの乗算器52〜52m にそれぞれ供給される。各乗算器52は、映像信号に係数データを乗算して出力する。係数データの乗算された映像信号は、それぞれ第1〜第mの加算器53〜53m-1 へ供給される。各加算器53〜53m-1 の間には、それぞれ時間Tの遅延レジスタ54〜54m が設けられる。そして、第mの乗算器52m から出力された映像信号は、第mの遅延レジスタ54m により時間Tの遅延が施され、第m−1の加算器53m-1 へ供給される。
第m−1の加算器53m-1 は、第mの遅延レジスタ54m からの時間Tの遅延時間の施された映像信号と、第m−1の乗算器52m-1 からの映像信号とを加算処理して出力する。この加算処理の施された映像信号は、第m−1の遅延レジスタ54m-1 により再度、時間Tの遅延が施され、図示しない第m−2の加算器53m-2 において、同じく図示しない第m−2の乗算器53m-2 からの映像信号と加算処理される。水平補間フィルタ42は、このようにしてNTSC方式の映像信号が出力端子55を介して垂直補間フィルタ43へ供給する。
垂直補間フィルタ43は、上述した水平補間フィルタ42と同様の構成を有しており、水平補間処理の行われた映像信号に対して、垂直方向の画素の補間を行う。これにより、NTSC方式の映像信号に対して、垂直方向の画素の補間が行われる。このような変換のなされたハイビジョン方式の映像信号は、ハイビジョン受像器へ供給される。これにより、NTSC方式の映像信号に応じた画像をハイビジョン受像器で表示することができる。
しかしながら、上述の従来の画像情報変換装置は、NTSC方式の映像信号を基にして、単に水平方向、および垂直方向の補間を行っているに過ぎないため、解像度は基となるNTSC方式の映像信号と何ら変わらなかった。特に、通常の動画を変換対象とした場合、垂直方向の補間は、フィールド内処理で行うのが一般的であるが、図9に示す画像変換の場合、画像のフィールド間相関を有していないため、画像静止部においては、変換ロスのためNTSC方式の映像信号よりむしろ解像度が劣化する欠点があった。
これに対し、入力信号である画像信号レベルの3次元(時空間)分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する、というものがある。
この手法は、HD(High Definition )画素を創造する場合、創造するHD画素の近傍にある、垂直方向に連続する同一フレーム内のSD(Standerd Definition )画素をクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、画像静止部においてはフレーム内相関、また動き部においてはフィールド内相関を利用して、より真値に近いHD画素を得る、というような巧妙なものである。
例えば、図11において、SD画素x1 〜x6 をクラス分類に用いた場合、SD画素x1 〜x6 に対して、2ビットADRCを行った結果の量子化データがそれぞれ順に3、0、3、0、3、0であった場合、その部分は動き画像である可能性が極めて高い。すなわち、創造するべきHD画素y周辺の画像は動いている可能性が高い。そこで、画像信号変換装置では、時間的に等しいデータの中で空間位置の近いSD画素x2 とSD画素x4 に重きをおいて、HD画素yを創造する。
一方、SD画素x1 〜x6 に対して、2ビットADRCを行った結果の量子化データがそれぞれ順に、3、3、2、2、1、0であった場合、その部分は静止画像である可能性が高い。そこで、画像信号変換装置では、時間的位相にかかわらず、空間位置の近いSD画素x2 とSD画素x4 に重きをおいて、HD画素yを創造する。この際、クラス分類は、動きのある/なし、のみならず、創造するHD画素近傍の信号波形をも表現し、それぞれの波形において、最適となるような予測係数値を出力することも大きな特長である。
この手法によれば、静止/動き、の切り換わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止/動きの切り換わりによる不自然さの発生を大幅に減少させることができる。
しかしながら、上述の手法は、有限個のクラス分割により、動き情報と空間内の波形の二つを表現する必要があり、クラスによっては、本来なら分離するべきパターンが一つのクラス内に混在してしまう場合があった。
例えば、上述のSD画素x1 〜x6 に対して、2ビットADRCを行った結果の量子化コードがそれぞれ順に3、0、3、0、3、0であった場合、上述のように、このパターンの場合その部分が動き画像である確率が極めて高いのであるが、稀に空間的な周波数が高い場合、動きがなくてもこのようなパターンが出現することがある。この場合は、細かい横縞パターンがそれにあたる。このような場合、静止している細かい横縞パターンに対しても動画向けの処理、すなわち時間的に等しい位相の中で、空間的に近いデータを用いて変換を行う、しかしながら、これにより解像度が劣化することがあった。
これに対し、特願平5−172617号に記載された画像信号変換装置では、3フィールド分のデータを用いて、空間的に同一の位置にあるデータの値を利用して、クラス分類を行う、というものがある。これは、例えば図12に示すように、SD画素x1 〜x6 に加え、SD画素x3 と空間的に同一位置にあるSD画素x7 をも加えてクラス分類する、というものである。
この手法によれば、SD画素x1 〜x6 を量子化したデータのパターンによる動き表現に加えSD画素x1 とSD画素x7 を量子化したデータによる動き表現を利用することが出来る。すなわち、図12において、SD画素x1 とSD画素x7 の差分値が小さい場合は、創造するべきHD画素y周辺の画像は静止している可能性が高い。そこで、上述の画像信号変換装置では、空間位置の近いSD画素x1 とSD画素x2 に重きをおいて、HD画素yを創造する。一方、SD画素x1 とSD画素x7 の差分値が大きい場合は、創造するべきHD画素y周辺の画像は動いている可能性が高い。そこで、上述の画像信号変換装置では、時間的に近いSD画素x3 とSD画素x4 に重きをおいて、HD画素yを創造する。
しかしながら、空間的に同一位相にあるSD画素データが一組だけでは、動きの種類、あるいはノイズ等の影響により、誤動作が発生しやすいため、より性能の向上を求める為には、2組以上の空間的に同一位相にあるSD画素データを使うことが望ましい。
また、すばやい動きが画像中にある場合、例えば画像中の1フィールドにのみ動きが介入した場合、上述の手法では、検出が原理的に困難な場合がある。すなわち、図12中の#(k+1)フィールドのみ動き物体が通過した場合、SD画素x1 とSD画素x7 の差分値が小さいため、そのパターンに対しては、静止寄りの処理がなされることになる。したがって、この意味からは、空間的に同一位相にあるSD画素データの組が時間的に異なった組合せで存在することが望ましい。
この対策としてクラス分割に用いる画素数を増やして、クラス数を増加させることにより、復元画像の品質劣化を低減する、という手法も考えられる。例えば、SD画素x3 と空間的に同一位置にあるSD画素x7 、のみならず、図13に示すように、SD画素x2 と空間的に同一位置にあるSD画素x8 、SD画素x4 と空間的に同一位置にあるSD画素x9 を加えるなどという手法が考えられる。この手法によれば、空間的に同一位相にあるSD画素データの組が増加するため、パターンによる動き判定の性能は向上する。
しかしながら、追加した3画素の量子化を例えば、他の画素と同様に2ビットADRCを行ったとすると、図11に示すオリジナルの方式に比べ、クラス数は64倍となり、結果的にクラス数が非常に大きなものになってしまい、その結果ハードウェア規模の増加を招き、現実性に乏しい。
したがって、この発明の目的は、上述の問題点を鑑みてなされたものであり、画質(解像度)を向上させてNTSC方式の映像信号をハイビジョン方式の映像信号へ変換するときに用いられる係数を生成する係数生成装置および方法を提供することにある。
請求項1に記載の発明は、第1の画質のディジタル画像信号を、より高画質な第2の画質のディジタル画像信号への変換に用いられる係数データを生成する係数生成装置において、第2の画質の画像情報に含まれる生成対象である注目画素の周辺における第1の画質の画像情報の連続する2フィールド内の画素情報のデータを、ブロックに分割する第1の画像情報分割手段と、第1の画像情報分割手段により分割されたブロック毎にレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロック毎に属するクラスを決定することにより、クラス検出情報を出力するクラス検出手段と、第1の画質の画像情報の空間的に同位置の複数のフレームのデータのうち、注目画素の周辺におけるデータをブロックに分割する第2の画像情報分割手段と、第2の画像情報分割手段により分割されたブロック毎にフレームの差分データに対して絶対値処理に基づき、動きを表すクラスを決定することにより、動きクラス検出情報を出力する動きクラス検出手段と、クラス検出手段と動きクラス検出手段の情報を統合して最終的なクラスを決定するクラスコード発生手段と、第1の画質の画像情報に含まれる注目画素の周辺の参照画素と予測係数との線形結合により形成された注目画素の予測値と注目画素の真値との誤差を最小とするように、最終的なクラス毎に係数を最小二乗法により決定する係数演算手段とを有することを特徴とする係数生成装置である。
請求項9に記載の発明は、第1の画質のディジタル画像信号を、より高画質な第2の画質のディジタル画像信号への変換に用いられる係数データを生成する係数生成方法において、第2の画質の画像情報に含まれる生成対象である注目画素の周辺における第1の画質の画像情報の連続する2フィールド内の画素情報のデータを、ブロックに分割する第1の画像情報分割ステップと、第1の画像情報分割ステップにより分割されたブロック毎にレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロック毎に属するクラスを決定することにより、クラス検出情報を出力するクラス検出ステップと、第1の画質の画像情報の空間的に同位置の複数のフレームのデータのうち、注目画素の周辺におけるデータをブロックに分割する第2の画像情報分割ステップと、第2の画像情報分割ステップにより分割されたブロック毎にフレームの差分データに対して絶対値処理に基づき、動きを表すクラスを決定することにより、動きクラス検出情報を出力する動きクラス検出ステップと、クラス検出ステップと動きクラス検出ステップの情報を統合して最終的なクラスを決定するクラスコード発生ステップと、第1の画質の画像情報に含まれる注目画素の周辺の参照画素と予測係数との線形結合により形成された注目画素の予測値と注目画素の真値との誤差を最小とするように、最終的なクラス毎に係数を最小二乗法により決定する係数演算ステップとを有することを特徴とする係数生成方法である。
この発明に係る画像情報変換装置は、入力SD信号を画像情報分割手段により、垂直方向に連続する同一フレーム内の複数の画素からなる複数の領域に分割され、それぞれの領域毎に画像情報のレベル分布のパターンが検出され、この検出されたパターンに基づいて、その領域の画像情報が属するクラスを決定してクラス検出情報を出力する。さらに、異なる種類の画像情報分割手段により、複数のフレーム間データの組合せに分割され、それぞれの領域毎に空間的に同一位置にあるフレーム間差分の絶対値が算出され、予め設定したしきい値により動きの程度を示すクラスが決定され、クラス検出情報が出力される。上述の2つのクラスをクラスコード発生手段により統合し、最終的なクラスとして出力する。係数データ記憶手段には、外部から供給された画像情報を、この画像情報よりも高い解像度の画像情報へ変換するための情報である線形推定式の係数データがクラス毎に記憶されており、この係数データがクラス検出情報に応じて出力される。そして、画像情報変換手段では、係数データ記憶手段から供給された係数データに応じて、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報へ変換される。
従来提案されている方式の時空間構造のクラス分類を行うことによる推定方式は、動きのミスマッチにより推定画像において、破綻が発生することがあった。この手法においては、その問題点を軽減するためには大幅にクラスが増加するという欠点があったが、この発明の手法によれば、クラス数の増加を押さえつつ、その劣化を大幅に低減することが出来る。
以下、この発明に係る画像信号変換装置の一実施例について図面を参照しながら詳細に説明する。図1は、この一実施例、すなわち画像信号変換装置の信号処理の概略的構成を示す。1で示す入力端子は、外部から供給される画像情報として、例えばいわゆるNTSC方式の映像信号がディジタル化されたSD画素として供給される。
この実施例における、SD画素と創造するべきHD画素の位置関係は、図2に示す。すなわち、創造するべきHD画素には、同一フィールド内で見たとき、SD画素から近い位置に存在するHD画素y1 とSD画素から遠い位置に存在するHD画素y2 の2種類がある。以降、SD画素から近い位置に存在するHD画素y1 を推定するモードをモード1と称し、SD画素から遠い位置に存在するHD画素y2 を推定するモードをモード2と称する。
領域分割化回路2では、入力端子1より供給されたSD画像信号を複数の領域に分割する。この実施例では、創造するべきHD画素の同一フレーム内の例えば上下各3画素ずつのSD画素を1画素×6ラインの計6画素からなる領域に分割する。
モード1に関しては、図3におけるHD画素y1 に対する、SD画素x1 、x2 、x3 、x4 、x5 、x6 がその領域にあたる。この領域をブロック1と呼ぶことにする。モード2に関しては、図4におけるHD画素y2 に対する、SD画素x1 、x2 、x3 、x4 、x5 、x6 がその領域にあたる。この領域をブロック2と呼ぶことにする。
領域分割化回路2によりブロック化されたデータが、ADRC回路3、および遅延回路8へ供給される。遅延回路8は、ADRC回路3、クラスコード発生回路6、ROMテーブル7の処理に必要な時間だけデータを遅延させて、推定演算回路9に出力する。
ADRC回路3は、領域毎に供給されるSDデータの1次元的、あるいは2次元的なレベル分布のパターンを検出すると共に、上述のように各領域のデータを、例えば8ビットのSDデータから2ビットのSDデータへ圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路6へ供給する。
本来、ADRC(Adaptive Dynamic Range Coding )は、VTR(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この発明の実施例では、信号パターンのクラス分類のコード発生に使用している。ADRC回路は、領域内のダイナミックレンジをDR、ビット割当をn、領域内画素のデータレベルをL、再量子化コードをQ、として以下の式(1)により、領域内の最大値MAXと最小値MINとの間を指定されたビット長で均等に分割して再量子化を行う。
DR=MAX−MIN+1
Q={(L−MIN+0.5)×2n/DR} (1)
ただし、{ }は切り捨て処理を意味する。
この実施例では、領域分割化回路2により分割されたそれぞれ6画素のSDデータを各2ビットに圧縮するものとする。圧縮されたSDデータをそれぞれq1 〜q6 とする。
一方、入力端子1から供給されたSD画像信号は、領域分割化回路4にも供給される。領域分割化回路4においても、供給されたSD画像信号を複数の領域に分割する。この実施例では、供給されたSD画像信号から、創造するべきHD画素の前フレーム内の例えば上下3画素ずつのSD画素を1画素×6ラインの計6画素からなる領域に分割し、創造するべきHD画素と同一フレーム内の例えば上下3画素ずつのSD画素を1画素×6ラインの計6画素からなる領域に分割する。
すなわち、モード1に関しては、図5におけるHD画素y1 に対する前フレームのSD画素m1 〜m6 、および同一フレームのSD画素n1 〜n6 がその領域にあたる。モード2に関しては、図6におけるHD画素y1 に対する前フレームのSD画素m1 〜m6 、および同一フレームのSD画素n1 〜n6 がその領域にあたる。
領域分割回路4により切り出されたデータが、動きクラス決定回路5へ供給される。動きクラス決定回路5では、領域毎に供給されるSDデータの差分が算出され、算出された差分に対して絶対値処理が行われる。絶対値処理が行われたSDデータの平均値param を算出し、その平均値param に対してしきい値処理がなされることにより、動きの指標である動きパラメータが算出され、算出された動きパラメータから動きクラスmv-classが決定される。決定された動きクラスmv-classは、クラスコード発生回路6へ供給される。具体的には、動きクラス決定回路5は以下の式(2)により、供給されるSDデータの差分の絶対値の平均値param を算出する。
Figure 2005117682
ただし、この実施例では、n=6である。
上述の手法で算出したSDデータの差分の絶対値の平均値param が予め設定されたしきい値により、このSDデータの差分の絶対値の平均値param を用いて動きクラスmv-classが決定される。例えば、この実施例では、動きクラスmv-classを4つ設けるとし、平均値param と動きクラスmv-classを図7に示すように設定する。
クラスコード発生回路6では、ADRC回路3から供給されるパラメータ圧縮データ、および動きクラス決定回路5から供給される動きクラスmv-classに基づいて以下の式(3)の演算が行われることにより、そのブロックが属するクラスが検出され、そのクラスを示すクラスコードclass がROMテーブル7へ供給される。このクラスコードclass は、ROMテーブル7からの読み出しアドレスを示す。
Figure 2005117682
この実施例では、nは6、Pは2である。
ROMテーブル7には、SDデータのパターンとHDデータの関係を学習することにより、線形推定式を用いて、SDデータに対応するHDデータを算出するための係数データが各クラス毎に記憶されている。これは、線形推定式によりSDデータをこの画像情報よりも高い解像度の画像情報である、いわゆるハイビジョン方式の規格に合致したHDデータへ変換するための情報である。この実施例においては、係数データは、モード1とモード2で独立に用意される。なお、ROMテーブル7に記憶されている係数データの作成方法については後述する。ROMテーブル7からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるwi (class )が読み出される。この係数データは、推定演算回路9へ供給される。
推定演算回路9では、遅延回路8を介して、領域分割化回路2から供給されるSDデータ、およびROMテーブル7から供給される係数データであるwi (class )に基づいて、入力されたSDデータに対応するHDデータが算出される。
より具体的には、推定演算回路9は、遅延回路8より供給されたSDデータとROMテーブル7から供給された係数データにより、モード1に関してはブロック1用の係数データを用いて、モード2に関してはブロック2の係数データを用いて、係数データであるwi (class )に基づいて、それぞれ以下の式(4)に示す演算を行うことにより、入力されたSDデータに対応するHDデータを算出する。作成されたHDデータは水平補間フィルタ10へ供給される。
hd´=w11 +w22 +w33 +w44 +w55 +w66 (4)
水平補間フィルタ10は、図9の水平補間フィルタ42と同一なもので、補間処理により水平方向の画素数を2倍にするのもである。水平補間フィルタ10の出力は、出力端子11を介して出力される。この出力端子11を介して出力されるHDデータは、例えばHD用のテレビジョン受像器やHD用のビデオテープレコーダ装置等に供給される。
このように、SDデータに対応するHDデータを推定するための係数データが各クラス毎に予め学習により求められた上で、ROMテーブル7に記憶しておき、入力されるSDデータ、およびROMテーブル7から読み出された係数データに基づいて演算が行われ、入力されたSDデータに対応するHDデータを形成して出力することにより、入力されるSDデータを単に補間処理したのとは異なり、実際のHDデータにより近いデータを出力することが出来る。
続いて、ROMテーブル7に格納される係数データの作成方法(学習)について図8を用いて説明する。係数データを学習によって得るためには、まず、既に知られているHD画像に対応した、HD画像の1/4の画素数のSD画像を形成する。具体的には、図8に示す理想フィルタ回路により、入力端子21を介して供給されるHDデータの垂直方向の画素が垂直間引きフィルタ22によりフィールド内の垂直方向の周波数が1/2になるように間引き処理され、さらに水平間引きフィルタ23により、HDデータの水平方向の画素が間引き処理されることにより、SDデータを得る。垂直間引きフィルタ23により得られたSDデータは、領域分割化回路24へ供給される。
領域分割化回路24では、水平間引きフィルタ23より供給されたSD画像信号を複数の領域に分割する。具体的には、領域分割化回路24は、先に説明した領域分割化回路2と同一の働きをするものである。この実施例では、領域分割化回路2と同じく、各6画素からなる領域に分割する。すなわち、モード1に対してはブロック1の領域の領域分割を行い、モード2に関しては、ブロック2の領域分割を行う。この領域毎のSDデータがADRC回路25、および正規方程式加算回路29へ供給される。
ADRC回路25では、領域毎に供給されるSDデータの1次元的、あるいは2次元的なレベル分布のパターンが検出されると共に、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば8ビットのSDデータから2ビットのSDデータに圧縮するような演算が行われることによりパターン圧縮データを形成し、このパターン圧縮データがクラスコード発生回路28へ供給される。ADRC回路25は、先に説明したADRC回路3と同一のものである。この実施例では、領域分割化回路24により分割された6画素からなる各領域のSDデータ(図3、図4におけるSD画素x1 〜x6 )をADRCを行い各2ビットへ圧縮するものとする。
一方、水平間引きフィルタ23より供給されたSD画素信号は、領域分割化回路26にも供給される。具体的には、領域分割化回路26は、先に説明した領域分割化回路4と同一の働きをするものである。領域分割化回路26により切り出されたSDデータは、動きクラス決定回路27へ供給される。動きクラス決定回路27は、具体的には、先に説明した動きクラス決定回路5と同一の動きをするものである。動きクラス決定回路27で決定された動きクラスmv-classは、クラスコード発生回路28へ供給される。
クラスコード発生回路28は、先に説明したクラスコード発生回路6と同一のものであり、ADRC回路25から供給されるパターン圧縮データ、および動きクラス決定回路27から供給された動きクラスmv-classに基づいて、式(2)の演算が行われることにより、そのブロックの属するクラスが検出され、そのクラスを示すクラスコードを出力するものである。クラスコード発生回路28は、クラスコードを正規方程式加算回路29へ出力する。
ここで、正規方程式加算回路29の説明のために、複数個のSD画素からHD画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために学習をより一般化してn画素による予測を行う場合について説明する。SD画素レベルをそれぞれx1 、‥‥、xn として、それぞれにpビットADRCを行った結果の再量子化データをq1 、‥‥、qn とする。
このとき、この領域のクラスコードclass を式(2)で定義する。上述のようにSD画素レベルをそれぞれ、x1 、‥‥、xn とし、HD画素レベルをyとしたとき、クラス毎に係数データw1 、‥‥、wn によるnタップの線形推定式を設定する。これを式(5)に示す。学習前は、wi が未定係数である。
y=w11 +w22 +‥‥+wn n (5)
学習は、クラス毎に複数の信号データに対して行う。データ数がmの場合、式(5)にしたがって、以下に示す式(6)が設定される。
k =w1k1+w2k2+‥‥+wn kn (6)
(k=1,2,‥‥m)
m>nの場合、係数データwi 、‥‥wn は、一意に決まらないので、誤差ベクトルeの要素を以下の式(7)で定義して、式(8)を最小にする係数データを求める。いわゆる、最小自乗法による解法である。
k =yk −{w1k1+w2k2+‥‥+wn kn} (7)
(k=1,2,‥‥m)
Figure 2005117682
ここで、式(8)のwi による偏微分係数を求める。それは以下の式(9)を `0' にするように、各wi を求めればよい。
Figure 2005117682
以下、式(10)、(11)のようにXij、Yi を定義すると、式(9)は、行列を用いて式(12)へ書き換えられる。
Figure 2005117682
Figure 2005117682
Figure 2005117682
この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路29は、クラスコード発生回路28から供給されたクラスコードclass 、領域分割化回路24より供給されたSD画素x1 、‥‥、xn 、入力端子21より供給された、SDデータに対応するHD画素yを用いて、この正規方程式の加算を行う。
全ての学習用のデータの入力が終了した後、正規方程式加算回路29は、予測係数決定回路30に正規方程式データを出力する。予測係数決定回路30は、正規方程式を掃き出し法等の一般的な行列解法を用いて、wi について解き、予測係数を算出する。予測係数決定回路30は、算出された予測係数をメモリ31に書き込む。
以上のように学習を行った結果、メモリ31には、量子化データq1 、‥‥、q6 で規定されるパターン毎に、注目HD画素yを推定するための、統計的にもっとも真値に近い推定が出来る予測係数が格納される。このメモリ31に格納されたテーブルが、上述のように、この発明の画像信号変換装置において、使用されるROMテーブル7である。以上の処理により、線形推定式により、SDデータからHDデータを作成するための係数データの学習が終了する。
なお、この実施例の説明では、情報圧縮手段として、ADRCを設けることにしたが、これはほんの一例であり、信号波形のパターンを少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えば、DPCM(予測符号化)、VQ(ベクトル量子化)等の圧縮手段を用いても良い。
さらに、この実施例の説明では、簡単のため、水平方向のアップコンバージョンに水平補間フィルタ10を用いたが、この代わりに、水平方向アップコンバージョン用のROMを用意し、水平方向のアップコンバージョンにおいても推定式を用いたこの発明を採ることも勿論可能である。
さらに、この実施例の説明では、領域分割化回路4により、信号波形のパターンを1次元的に分割して表現したが、2次元的な分割にしても良い。
さらに、この実施例の説明では、領域分割化回路5、および動きクラス決定回路6により、1次元的に分割したSD画像データを用いて、動きクラスmv-classの決定を行っていたが、領域分割を2次元的な分割にしても良い。むしろ、2次元的なものにするほうが望ましい。また、今回は簡単のため、領域分割化回路4による領域分割と領域分割化回路5による領域分割は、類似の領域分割を行ったが本来これらは全く別個のものであり、類似の領域分割を行う必要は全くない。
さらに、この実施例の説明では、クラス分類に使用するSD画素と、線形推定式で用いるSD画素を同一のものとしたが、これらは必ずしも同一なものである必要はない。異なる画素を使用する場合、クラス分類に使用するSD画素を線形推定式で用いるSD画素が包含するような形にするのが望ましく、また追加して使用する、線形推定式で用いるSD画素は、推定するHD画素と同一フィールドに属するもののみとすることが望ましい。
この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
この発明に係る画像情報変換装置の一実施例のブロック図である。 SDデータとHDデータの位置関係を説明するための略線図である。 クラス分割に使用するデータを説明するための略線図である。 クラス分割に使用するデータを説明するための略線図である。 動きクラス決定に使用するデータを説明するための略線図である。 動きクラス決定に使用するデータを説明するための略線図である。 平均値param と動きクラスとの一例の関係を示す略線図である。 補正データテーブルを作成する時の説明のための略線図である。 従来の画像情報変換装置のブロック図である。 従来の画像情報変換装置の要部の回路図である。 従来の時空間クラス分割方式の問題点を説明するための略線図である。 従来の時空間クラス分割方式の問題点を説明するための略線図である。 従来の時空間クラス分割方式の問題点を説明するための略線図である。
符号の説明
2、4 領域分割化回路
3 ADRC回路
5 動きクラス決定回路
6 クラスコード発生回路
7 ROMテーブル
8 遅延回路
9 推定演算回路
10 水平補間フィルタ

Claims (16)

  1. 第1の画質のディジタル画像信号を、より高画質な第2の画質のディジタル画像信号への変換に用いられる係数データを生成する係数生成装置において、
    第2の画質の画像情報に含まれる生成対象である注目画素の周辺における第1の画質の画像情報の連続する2フィールド内の画素情報のデータを、ブロックに分割する第1の画像情報分割手段と、
    上記第1の画像情報分割手段により分割されたブロック毎にレベル分布のパターンが検出され、検出された上記パターンに基づいて、上記ブロック毎に属するクラスを決定することにより、クラス検出情報を出力するクラス検出手段と、
    上記第1の画質の画像情報の空間的に同位置の複数のフレームのデータのうち、上記注目画素の周辺におけるデータをブロックに分割する第2の画像情報分割手段と、
    上記第2の画像情報分割手段により分割されたブロック毎にフレームの差分データに対して絶対値処理に基づき、動きを表すクラスを決定することにより、動きクラス検出情報を出力する動きクラス検出手段と、
    上記クラス検出手段と上記動きクラス検出手段の情報を統合して最終的なクラスを決定するクラスコード発生手段と、
    上記第1の画質の画像情報に含まれる上記注目画素の周辺の参照画素と予測係数との線形結合により形成された上記注目画素の予測値と上記注目画素の真値との誤差を最小とするように、上記最終的なクラス毎に上記係数を最小二乗法により決定する係数演算手段と
    を有することを特徴とする係数生成装置。
  2. 上記連続する2フィールド内の画素情報のデータは、同一フレーム内データであることを特徴とする請求項1に記載の係数生成装置。
  3. 上記動きクラス検出手段において、上記動きクラス検出情報は、上記フレームの差分データの絶対値の平均値に基づき得られることを特徴とする請求項1に記載の係数生成装置。
  4. 上記第1の画像情報分割手段は、上記第1の画質の画像情報を供給された画像情報と生成対象の画像情報との位置関係に応じて決定される第1のモード、および第2のモードのブロックへ分割し、
    上記クラス検出手段は、上記第1の画像情報分割手段からの上記第1および第2のモードの各ブロックのクラス検出情報を出力し、
    上記第2の画像情報分割手段は、上記第1の画質の画像情報を、上記第1のモード分割手段より大きい範囲から、上記供給された画像情報と生成対象の画像情報との位置関係に応じて決定される第1のモード、および第2のモードのブロックへ分割し、
    上記動きクラス検出手段は、上記第2の画像情報分割手段からの上記第1および第2のモードの各ブロックの動きクラス検出情報を出力し、
    上記クラスコード発生手段は、上記各モードにおける上記クラス検出手段と上記動きクラス検出手段の情報を統合して最終的なクラスを決定し、
    上記係数演算手段は、上記各モードの上記最終的なクラス毎に上記係数を決定する
    ことを特徴とする請求項1に記載の係数生成装置。
  5. 上記大きい範囲は、供給された上記画像情報の時空間方向に大きい範囲であることを特徴とする請求項4に記載の係数生成装置。
  6. 更に係数データ記憶手段を有し、上記生成された係数をモード毎に格納することを特徴とする請求項1に記載の係数生成装置。
  7. 上記係数データは、モード毎に生成されることを特徴とする請求項1に記載の係数生成装置。
  8. 上記高画質は少なくとも高解像度であることを特徴とする請求項1に記載の係数生成装置。
  9. 第1の画質のディジタル画像信号を、より高画質な第2の画質のディジタル画像信号への変換に用いられる係数データを生成する係数生成方法において、
    第2の画質の画像情報に含まれる生成対象である注目画素の周辺における第1の画質の画像情報の連続する2フィールド内の画素情報のデータを、ブロックに分割する第1の画像情報分割ステップと、
    上記第1の画像情報分割ステップにより分割されたブロック毎にレベル分布のパターンが検出され、検出された上記パターンに基づいて、上記ブロック毎に属するクラスを決定することにより、クラス検出情報を出力するクラス検出ステップと、
    上記第1の画質の画像情報の空間的に同位置の複数のフレームのデータのうち、上記注目画素の周辺におけるデータをブロックに分割する第2の画像情報分割ステップと、
    上記第2の画像情報分割ステップにより分割されたブロック毎にフレームの差分データに対して絶対値処理に基づき、動きを表すクラスを決定することにより、動きクラス検出情報を出力する動きクラス検出ステップと、
    上記クラス検出ステップと上記動きクラス検出ステップの情報を統合して最終的なクラスを決定するクラスコード発生ステップと、
    上記第1の画質の画像情報に含まれる上記注目画素の周辺の参照画素と予測係数との線形結合により形成された上記注目画素の予測値と上記注目画素の真値との誤差を最小とするように、上記最終的なクラス毎に上記係数を最小二乗法により決定する係数演算ステップと
    を有することを特徴とする係数生成方法。
  10. 上記連続する2フィールド内の画素情報のデータは、同一フレーム内データであることを特徴とする請求項9に記載の係数生成方法。
  11. 上記動きクラス検出ステップにおいて、上記動きクラス検出情報は、上記フレームの差分データの絶対値の平均値に基づき得られることを特徴とする請求項9に記載の係数生成方法。
  12. 上記第1の画像情報分割ステップは、上記第1の画質の画像情報を供給された画像情報と生成対象の画像情報との位置関係に応じて決定される第1のモード、および第2のモードのブロックへ分割し、
    上記クラス検出ステップは、上記第1の画像情報分割ステップからの上記第1および第2のモードの各ブロックのクラス検出情報を出力し、
    上記第2の画像情報分割ステップは、上記第1の画質の画像情報を、上記第1のモード分割ステップより大きい範囲から、上記供給された画像情報と生成対象の画像情報との位置関係に応じて決定される第1のモード、および第2のモードのブロックへ分割し、
    上記動きクラス検出ステップは、上記第2の画像情報分割ステップからの上記第1および第2のモードの各ブロックの動きクラス検出情報を出力し、
    上記クラスコード発生ステップは、上記各モードにおける上記クラス検出ステップと上記動きクラス検出ステップの情報を統合して最終的なクラスを決定し、
    上記係数演算ステップは、上記各モードの上記最終的なクラス毎に上記係数を決定する
    ことを特徴とする請求項9に記載の係数生成方法。
  13. 上記大きい範囲は、供給された上記画像情報の時空間方向に大きい範囲であることを特徴とする請求項12に記載の係数生成方法。
  14. 更に係数データ記憶ステップを有し、上記生成された係数をモード毎に格納することを特徴とする請求項9に記載の係数生成方法。
  15. 上記係数データは、モード毎に生成されることを特徴とする請求項9に記載の係数生成方法。
  16. 上記高画質は少なくとも高解像度であることを特徴とする請求項9に記載の係数生成方法。
JP2004342734A 2004-11-26 2004-11-26 係数生成装置および方法 Expired - Lifetime JP4001143B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004342734A JP4001143B2 (ja) 2004-11-26 2004-11-26 係数生成装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004342734A JP4001143B2 (ja) 2004-11-26 2004-11-26 係数生成装置および方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP20593494A Division JP3946781B2 (ja) 1994-08-08 1994-08-08 画像情報変換装置及び方法

Publications (2)

Publication Number Publication Date
JP2005117682A true JP2005117682A (ja) 2005-04-28
JP4001143B2 JP4001143B2 (ja) 2007-10-31

Family

ID=34545301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004342734A Expired - Lifetime JP4001143B2 (ja) 2004-11-26 2004-11-26 係数生成装置および方法

Country Status (1)

Country Link
JP (1) JP4001143B2 (ja)

Also Published As

Publication number Publication date
JP4001143B2 (ja) 2007-10-31

Similar Documents

Publication Publication Date Title
US8798153B2 (en) Video decoding method
JP2006279917A (ja) 動画像符号化装置、動画像復号装置及び動画像伝送システム
JP3946781B2 (ja) 画像情報変換装置及び方法
JP3674186B2 (ja) 画像情報変換装置および方法
JP4552261B2 (ja) ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
JP3723995B2 (ja) 画像情報変換装置および方法
JP3400055B2 (ja) 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法
JP3724008B2 (ja) 画像情報変換装置および係数データ作成装置
JP4140091B2 (ja) 画像情報変換装置および画像情報変換方法
JP3362463B2 (ja) フレーム補間装置
JP4001143B2 (ja) 係数生成装置および方法
JP4062326B2 (ja) 係数生成装置および方法
JP4552262B2 (ja) ノイズ低減装置および方法
JP3653287B2 (ja) 画像情報変換装置及び画像情報変換方法
JP3800638B2 (ja) 画像情報変換装置および方法
JP4042121B2 (ja) 画像情報処理装置及び画像情報処理方法
JP4552263B2 (ja) ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法
JP3922286B2 (ja) 係数学習装置および方法
JP3480011B2 (ja) 画像情報変換装置
JP3826434B2 (ja) 信号変換装置および方法
JP3907623B2 (ja) 映像信号符号化・復号化装置及び符号化・復号化方法
JP4310847B2 (ja) 画像情報変換装置および変換方法
JP4241720B2 (ja) 積和演算回路
JP4552264B2 (ja) エラー修整装置および方法
JP3945503B2 (ja) 係数データ生成装置および方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070501

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070806

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130824

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term