JP2005353100A

JP2005353100A - 情報信号変換装置および方法、並びに学習装置および学習方法

Info

Publication number: JP2005353100A
Application number: JP2005240342A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Hideo Nakaya; 秀雄中屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-08-22
Filing date: 2005-08-22
Publication date: 2005-12-22
Anticipated expiration: 2016-06-27
Also published as: JP4482502B2

Abstract

【課題】入力画像信号の解像度、ＳＮ比、圧縮歪みおよび輝度値などをさらに改善するために、係数を学習し、その係数を用いて最適なデータを生成する。
【解決手段】処理回路３では、入力画像信号に対して低画質化処理、例えばＬＰＦ、圧縮伸長、ゲイン、オフセット等の処理ｆ（ｘ）が施される。処理ｆ（ｘ）が施された画像信号からクラスコード（インデックス）を生成し、生成されたクラスコードは、学習回路７へ供給される。スイッチ４および６が切り換えられることによって、処理ｆ（ｘ）が施された画像信号と教師信号、処理ｆ（ｘ）が施された画像信号と入力画像信号、入力画像信号と教師信号が学習回路７へ供給される。学習回路７では、これらの信号から線形１次結合式の係数を獲得するために、最小自乗法誤差規範により学習がなされる。
【選択図】図１

Description

この発明は、クラス分類適応処理を用いて、画像信号および／または音声信号の、例えば解像度、ＳＮ比、圧縮歪みおよび輝度値のさらなる改善を行うことができる情報信号変換装置および方法、並びに学習装置および学習方法に関する。

従来、クラス分類適応処理を応用したものとして、ＳＤ（Standerd Definition）からＨＤ（High Deginittion）への画像情報変換装置、時空間モデル符号化、ＭＵＳＥの画質改善、コンポジット信号のＹ／Ｃ分離等さまざまなアプリケーションのアイデアが提案されている。すなわち、ある大きさの時空間の画素をブロック化し、これを何らかの手法、例えばＡＤＲＣ（Adaptive Dynamic Range Coding）によりクラス分類し、このクラス毎に線形１次結合でモデル化、つまり予測式を立て、クラス毎に記憶された係数と画素との演算により最適なデータを求めることができる。このとき、クラス毎に記憶された係数は、予め最小自乗法等を用いて学習することにより、得られたものである。

このように、クラス分類適応処理を用いて解像度補償等の処理を行う場合、ある程度の効果が得られる。この発明は、上述のクラス分類適応処理の改良に関するものである。

すなわち、この発明の目的は、クラス分類適応処理に使用される係数を獲得するために、学習時に何らかの処理を施し、その係数を使用することによって、さらなる解像度、ＳＮ比、圧縮歪みおよび輝度値の改善を可能とする情報信号変換装置および方法、並びに学習装置および学習方法を提供することにある。

上述した課題を達成するために、この発明は、入力された第１の画質の情報信号を第１の画質よりも高画質な第２の画質の情報信号に変換する情報信号変換装置において、
第１の画質の情報信号に対して低画質化処理を施し、第１の画質よりも低画質な第３の画質の情報信号から第１のクラス情報を生成する第１のクラス生成手段と、
各第１のクラス情報に対して、第１の画質の情報信号と、第１の画質の情報信号に対して低画質化処理を施した第１の画質よりも低画質な第３の画質の情報信号との間で、最小自乗誤差規範に基づく学習により係数を求める係数演算手段と、
係数演算手段で求められた係数が記憶された記憶手段と、
第１の画質の情報信号から第２のクラス情報を生成する第２のクラス生成手段と、
第２のクラス情報に応答して係数が記憶手段から読み出され、第１の画質の情報信号との演算処理によって第２の画質の情報信号に変換する演算手段と
を有することを特徴とする情報信号変換装置である。

また、この発明は、入力された第１の画質の情報信号を第１の画質よりも高画質な第２の画質の情報信号に変換する情報信号変換装置において、
第１の画質の情報信号に対して低画質化処理を施し、第１の画質よりも低画質な第３の画質の情報信号から第１のクラス情報を生成する第１のクラス生成手段と、
各第１のクラス情報に対して、第１の画質の情報信号に対して低画質化処理を施した第１の画質よりも低画質な第３の画質の情報信号と、第１の画質より高画質で且つ第２の画質より低画質な第４の画質の情報信号との間で、予め最小自乗誤差規範に基づく学習により係数を求める係数演算手段と、
係数演算手段で求められた係数が記憶された記憶手段と、
第１の画質の情報信号から第２のクラス情報を生成する第２のクラス生成手段と、
第２のクラス情報に応答して係数が記憶手段から読み出され、第１の画質の情報信号との演算処理によって第２の画質の情報信号に変換する演算手段と
を有することを特徴とする情報信号変換装置である。

そして、この発明は、入力された第１の画質の情報信号から第１の画質よりも高画質な第２の画質の情報信号に変換する処理に必要な係数を生成する学習装置において、
第１の画質の情報信号に対して低画質化処理を施し、第１の画質よりも低画質な第３の画質の情報信号を生成する画質処理手段と、
第３の画質の情報信号からクラス情報を生成するクラス生成手段と、
各クラス情報に対して、第１の画質の情報信号と、第１の画質の情報信号に対して低画質化処理を施した第１の画質よりも低画質な第３の画質の情報信号との間で、最小自乗誤差規範に基づく学習により係数を求める係数演算手段と、
係数演算手段で学習処理されて得られた係数がクラス情報毎に格納される記憶手段と
を有することを特徴とする学習装置である。

また、この発明は、入力された第１の画質の情報信号から第１の画質よりも高画質な第２の画質の情報信号に変換する処理に必要な係数を生成する学習装置において、
第１の画質の情報信号に対して低画質化処理を施し、第１の画質よりも低画質な第３の画質の情報信号を生成する画質処理手段と、
第３の画質の情報信号からクラス情報を生成するクラス生成手段と、
第１の画質よりも高画質で且つ第２の画質よりも低画質な第４の画質の情報信号が入力される入力手段と、
各クラス情報に対して、第１の画質の情報信号に対して低画質化処理を施した第１の画質よりも低画質な第３の画質の情報信号と、第１の画質より高画質で且つ第２の画質より低画質な第４の画質の情報信号との間で、予め最小自乗誤差規範に基づく学習により係数を求める係数演算手段と、
係数演算手段で学習処理されて得られた係数がクラス情報毎に格納される記憶手段と
を有することを特徴とする学習装置である。

さらに、この発明は、入力された第１の画質の情報信号を第１の画質よりも高画質な第２の画質の情報信号に変換する情報信号変換方法において、
第１の画質の情報信号に対して低画質化処理を施し、第１の画質よりも低画質な第３の画質の情報信号から第１のクラス情報を生成する第１のクラス生成ステップと、
各第１のクラス情報に対して、第１の画質の情報信号と、第１の画質の情報信号に対して低画質化処理を施した第１の画質よりも低画質な第３の画質の情報信号との間で、最小自乗誤差規範に基づく学習により係数を求める係数演算ステップと、
係数演算ステップで求められた係数を記憶手段に記憶する記憶ステップと、
第１の画質の情報信号から第２のクラス情報を生成する第２のクラス生成ステップと、
第２のクラス情報に応答して係数が記憶手段から読み出され、第１の画質の情報信号との演算処理によって第２の画質の情報信号に変換する演算ステップと
を有することを特徴とする情報信号変換方法である。

また、この発明は、入力された第１の画質の情報信号を第１の画質よりも高画質な第２の画質の情報信号に変換する情報信号変換方法において、
第１の画質の情報信号に対して低画質化処理を施し、第１の画質よりも低画質な第３の画質の情報信号から第１のクラス情報を生成する第１のクラス生成ステップと、
各第１のクラス情報に対して、第１の画質の情報信号に対して低画質化処理を施した第１の画質よりも低画質な第３の画質の情報信号と、第１の画質より高画質で且つ第２の画質より低画質な第４の画質の情報信号との間で、予め最小自乗誤差規範に基づく学習により係数を求める係数演算ステップと、
係数演算ステップで求められた係数を記憶手段に記憶する記憶ステップと、
第１の画質の情報信号から第２のクラス情報を生成する第２のクラス生成ステップと、
第２のクラス情報に応答して係数が記憶手段から読み出され、第１の画質の情報信号との演算処理によって第２の画質の情報信号に変換する演算ステップと
を有することを特徴とする情報信号変換方法である。

そして、この発明は、入力された第１の画質の情報信号から第１の画質よりも高画質な第２の画質の情報信号に変換する処理に必要な係数を生成する学習方法において、
第１の画質の情報信号に対して低画質化処理を施し、第１の画質よりも低画質な第３の画質の情報信号を生成する画質処理ステップと、
第３の画質の情報信号からクラス情報を生成するクラス生成ステップと、
各クラス情報に対して、第１の画質の情報信号と、第１の画質の情報信号に対して低画質化処理を施した第１の画質よりも低画質な第３の画質の情報信号との間で、最小自乗誤差規範に基づく学習により係数を求める係数演算ステップと、
係数演算ステップで学習処理されて得られた係数をクラス情報毎に記憶手段に格納する記憶ステップと
を有することを特徴とする学習方法である。

また、この発明は、入力された第１の画質の情報信号から第１の画質よりも高画質な第２の画質の情報信号に変換する処理に必要な係数を生成する学習方法において、
第１の画質の情報信号に対して低画質化処理を施し、第１の画質よりも低画質な第３の画質の情報信号を生成する画質処理ステップと、
第３の画質の情報信号からクラス情報を生成するクラス生成ステップと、
第１の画質よりも高画質で且つ第２の画質よりも低画質な第４の画質の情報信号が入力される入力ステップと、
各クラス情報に対して、第１の画質の情報信号に対して低画質化処理を施した第１の画質よりも低画質な第３の画質の情報信号と、第１の画質より高画質で且つ第２の画質より低画質な第４の画質の情報信号との間で、予め最小自乗誤差規範に基づく学習により係数を求める係数演算ステップと、
係数演算ステップで学習処理されて得られた係数をクラス情報毎に記憶手段に格納する記憶ステップと
を有することを特徴とする学習方法である。

この発明では、入力画像信号に対して低画質化処理として、例えばＬＰＦ（ローパスフィルタ）処理、圧縮伸長、ゲインおよび／またはオフセット等の処理ｆ（ｘ）が施される。処理ｆ（ｘ）、例えばＬＰＦの場合、ＬＰＦが施された入力画像信号は、例えばサンプリングレートが１／２に落とされ、教師信号との最小自乗法誤差規範により係数が求められる。求められた係数を使用したクラス分類適応処理では、入力信号の解像度が４倍に改善された信号へ変換され、出力される。

この発明に依れば、入力信号に対して低画質化処理として、例えばＬＰＦ、圧縮伸長、ゲインおよび／またはオフセット等の処理を施すことによって生成される信号と、教師信号とを用いて学習を行い、それによって係数を獲得する。この係数を用いたクラス分類適応処理により、さらなる解像度、ＳＮ比、圧縮歪みおよび輝度値の改善を可能とすることができる。

また、この発明に依れば、高画質な教師信号を使用して学習することによって獲得した係数を用いて入力信号に対する処理を行った場合、当該教師信号を超えるような高画質となる情報信号へ変換することができ、さらに、例えば画質が特定されていない教師信号を使用して学習することによって獲得した係数を用いて入力信号に対する処理を行った場合であっても、入力信号をより高画質な情報信号へ変換することができる。

以下、この発明について図面を参照して説明する。図１に、この発明のクラス分類適応処理用の学習装置の一般的な構成のブロック図を示す。１で示す入力端子から供給される入力信号が処理回路３、スイッチ４の入力端子Ｂおよびスイッチ６の入力端子Ｄに供給される。入力端子２から供給される教師信号は、スイッチ４の入力端子Ａに供給される。このとき、図中点線で接続されるように、入力信号と教師信号とが同じ信号であっても良く、または、教師信号をダウンサンプリングする等の処理をしたものでも良い。

処理回路３では、入力信号に対して施す処理ｆ（ｘ）として、後述するように、例えばＬＰＦ処理、圧縮伸長、ゲインおよび／またはオフセット等の低画質化処理が施される。また、圧縮伸長の一例は、ＭＰＥＧ２のエンコーダおよびデコーダである。処理ｆ（ｘ）が施された補正対象用の信号は、クラス生成回路５およびスイッチ６の入力端子Ｃへ供給される。クラス生成回路５では、処理ｆ（ｘ）が施された信号からクラス情報（以下、インデックスと称する）を生成し、このインデックスは、学習回路７へ供給される。

上述の構成において、スイッチ４が入力端子Ａを選択し、スイッチ６が入力端子Ｃを選択している場合、学習回路７では、入力端子２からの教師信号と、処理ｆ（ｘ）が施された入力信号とから最小自乗法誤差規範による学習が行われ、線形一次結合式の係数が獲得される。教師信号と処理ｆ（ｘ）が施された入力信号との誤差の自乗の最小値を求めることによって、係数が獲得される。また、スイッチ４が入力端子Ａを選択し、スイッチ６が入力端子Ｄを選択している場合、学習回路７では、入力端子２からの教師信号と、入力端子１からの入力信号とから学習が行われ、スイッチ４が入力端子Ｂを選択し、スイッチ６が入力端子Ｃを選択している場合、教師信号として入力端子１からの入力信号と、処理ｆ（ｘ）が施された入力信号とから学習が行われる。

学習回路７によって、獲得された係数は、出力端子８から出力され、図示しないがメモリ等の記憶媒体に記憶される。この図１は、入力信号に対して何らかの処理ｆ（ｘ）を行った信号からクラス生成を行い、且つその入力信号と教師信号とから最小自乗法誤差規範による学習を行うための一般的な構成を示したものである。上述したように、このブロック図では、スイッチ４の入力端子Ａおよびスイッチ６の入力端子Ｄがそれぞれ選択されているとき、従来と同様に教師信号と入力信号を使用して学習するための経路も確保される。

このように、得られた係数を用いたクラス分類適応処理の一般的な構成を図２に示す。入力端子１１から供給される入力信号がクラス生成回路１２および遅延（ＤＬ）回路１４へ供給される。クラス生成回路１２では、供給された入力信号のクラスが生成され、生成されたクラスは、学習により得られた係数が格納されている係数メモリ１３へ供給される。係数メモリ１３では、クラス生成回路１２からのクラスに応答して係数が読み出され、読み出された係数は、予測演算回路１５へ供給される。予測演算回路１５では、遅延回路１４によって、所定時間遅延された入力信号と係数との演算により、最適なデータが獲得される。

上述した、この発明の一般的な構成において、処理回路３がＬＰＦ処理を行うものであり、それによって、解像度を上げるようにした第１の実施例を図３を用いて説明する。まず、同一の被写体に対して、２種類の解像度の異なる撮像系で撮像された映像信号を使用する。このとき、解像度の低いほうの撮像系で得られた入力信号は、例えば１３．５ＭHzのサンプリング周波数のＡ／Ｄ変換器によって、アナログ信号からディジタル信号へ変換され、この映像信号をＬＳと表す。解像度の高いほうの撮像系で得られた教師信号は、例えば２７．０ＭHzのサンプリング周波数のＡ／Ｄ変換器によって、アナログ信号からディジタル信号へ変換され、この映像信号をＨＳと表す。

このように、入力信号（映像信号ＬＳ）と教師信号（映像信号ＨＳ）とを用いて、例えば上述の図１では、スイッチ４の入力端子Ａとスイッチ６の入力端子Ｄが接続された状態で学習することによって、低いサンプリングレートの信号から２倍の高いサンプリングレートの信号を生成するための係数が算出される。

また、図１中のスイッチ４の入力端子Ａとスイッチ６の入力端子Ｃが接続された状態で学習することによって、低いサンプリングレートの信号から４倍の高いサンプリングレートの信号を生成するための係数が算出される。これは、学習によって生成される係数が入力信号に対して、処理ｆ（ｘ）として、例えばＬＰＦ処理が行われ、供給された入力信号の画素数は、落とさず、入力信号の帯域のみが落とされ、さらにサンプリングレートを図３Ａに示すように、例えば１／２に落とした信号（ＬＰＦ−ＬＳ）と教師信号とを使用しているためである。

より具体的には、入力信号ＬＳ（１３．５ＭHz）に対してＬＰＦが施された信号ＬＰＦ−ＬＳ（６．７５ＭHz）と教師信号ＨＳ（２７．０ＭHz）との学習によって、得られた係数を使用して、図３Ｂに示すように、低いサンプリングレートの入力信号ＬＳ（１３．５ＭHz）から４倍の高いサンプリングレートの信号（５４．０ＭHz）を生成することができる。

従来の学習方法では、入力された信号から、その信号の２倍の解像度を得ることしかできなかったが、この実施例を適用する学習方法により獲得された係数を使用して解像度を上げる処理を行うとき、通常のサンプリングレートの入力信号に対して、４倍の解像度の信号を作りだすことが可能となる。

次に、第２の実施例として、ＳＮ比の改善を行う場合の学習を説明する。一般に、カメラで撮影された映像信号は、伝送系や記録再生系を通ると何らかの雑音が付加され、ＳＮ比が劣化する。通常は、カメラ出力を教師信号とし、伝送系や記録再生系を通ってきた信号を入力信号として、ＳＮ比を改善するための係数を学習する。この係数を使用してＳＮ改善を行う場合、入力信号に予期できない大きさの雑音が加わった場合には、大幅な改善を望むことはできない。

そこで、この第２の実施例では、カメラ出力である入力信号に、処理ｆ（ｘ）として、大きさや発生頻度等の特性をコントロールできる乱数を、例えば計算機で発生させ、これを加えることで人工的な雑音で汚れた信号を作り、教師信号と学習することでＳＮ比の改善のための係数を算出する。こうすることで、想定した雑音特性に対する係数の学習を容易に制御することが可能となり、改善効果を上げることができる。なお、従来の伝送系や記録再生系を通ってきた信号とあわせて学習することでＳＮ比の改善効果が大幅に向上することが期待される。

さらに次に、第３の実施例として、圧縮歪みの改善を行う場合の学習を説明する。インターネット等を通じた画像の伝送の場合、通常、画像は、圧縮されて伝送されるため、コンピュータのモニタに再現される画像は、独特な歪みをもったものが多い。また、ＴＶ放送においても、非圧縮の画像信号ばかりでなく、ＭＰＥＧ等で圧縮された画像も扱われるようになってきており、圧縮による画像歪みが問題となっている。

この圧縮による画像の歪みは、一般には圧縮方式によって異なる。そこで、この第３の実施例では、入力画像信号に対して、処理ｆ（ｘ）として、想定される種々の圧縮方式の圧縮伸長処理を行ったものと、教師信号である非圧縮の画像信号とを用いて、圧縮歪みの改善のための係数を学習することで、どのような未知の入力信号に対しても、獲得した係数を用いたクラス分類適応処理を行うことで、圧縮の歪みの改善を行うことが可能となる。

また次に、第４の実施例として、輝度補正を行う場合の学習を説明する。図１に示したクラス分類適応処理用の学習装置を輝度補正用に、より具体化したブロック図を図４に示す。２１で示す入力端子から供給される画像信号の内、輝度信号ＹがＡ／Ｄ変換器２２によって、アナログ信号からディジタル信号へ変換される。このＡ／Ｄ変換器２２では、例えば１３．５ＭHzのクロックでサンプリングが行われた場合、画像のサイズは、１フレームあたり、横７２０画素×縦４８０ライン程度となる。ディジタル信号に変換された輝度信号は、Ａ／Ｄ変換器２２から学習回路２３およびゲイン／オフセット回路２４へ供給される。

ゲイン／オフセット回路２４では、供給された輝度信号のゲインおよび／またはオフセットを変化させる処理が処理ｆ（ｘ）として、実行される。ゲインは、照明の明るさ（コントラスト）に関連し、オフセットは、照明の平均的な明るさに関連したものである。このとき、ゲインは、常に１とならなくても良く、０．９、１．２等の値でも良い。ゲインおよび／またはオフセットの処理がなされた輝度信号は、平均値／標準偏差回路２５および遅延回路２７へ供給される。

平均値／標準偏差回路２５では、後述するように供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が求められる。平均値／標準偏差回路２５において、輝度値毎の度数分布を求めるためのテーブルを持ち、１フィールド期間または１フレーム期間に乗算した度数分布から、図５に示すように輝度の平均値が算出されると共に、標準偏差も算出される。算出された平均値および標準偏差は、平均値／標準偏差回路２５から量子化（Ｑ）回路２６へ供給される。輝度の平均値を算出する計算式を式（１）に示し、標準偏差を算出する計算式を式（２）に示す。

平均値＝Σ（輝度値×度数）／全度数（１）
標準偏差＝√（Σ（（輝度値−平均値）²×度数）／全度数）（２）
ただし、√（）は、（）内の演算結果の平方根とする。

量子化回路２６では、算出された平均値および標準偏差がそれぞれａビットおよびｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードが発生される。このｎビットのコードが量子化回路２６から縮退ＲＯＭ３２へ供給される。さらに、ｎビットのコードは、いわゆる輝度分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうか、また、輝度分布が平坦か急峻かを判定することができる。

一方、遅延回路２７では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路２８および３０さらに遅延回路３３へ供給される。ブロック化回路２８では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路２９へ供給される。ＡＤＲＣ回路２９では、後述するようにブロック化された画素から最大値および最小値が選択され、各画素が再量子化されｍビットのコードが発生され、縮退ＲＯＭ３２へ供給される。このコードは、いわゆる空間の輝度の変化の様子をパターン化したものである。ｍビットのコードによるクラス分類は、輝度補正そのものより、Ｓ／Ｎ比の改善、解像度の改善等に効果をもたらす。

ブロック化回路３０において、補正しようとする注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。このブロック化回路３０において実行されるブロック化と、上述したブロック化回路２８において実行されるブロック化とは、異なっても良い。すなわち、ブロック化回路２８において選択される画素と、ブロック化回路３０において選択される画素とは異なっても何ら問題はない。ブロック化された画素は、ブロック化回路３０から平均化回路３１へ供給される。平均化回路３１では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ３２へ供給される。

このように、ブロック化された各画素の輝度の平均値が算出され、すなわち輝度レベルをクラス分類の１つとすることで、レベル方向での補正の仕方に変化を持たせることができる。例えば、明るい部分や暗い部分のみを補正したり、γ特性を考慮した補正を行うことが可能となる。また、輝度レベルの平均化による作用は、輝度補正が過敏に利くのを防止する役割も果たす。

以上の説明で、３種類のクラス分類コードが生成されたが、これを単純に組み合わると分類数が膨大になり、後述する係数ＲＯＭの容量が膨大になる。そこで、量子化回路２６からのｎビット、ＡＤＲＣ回路２９からのｍビットおよび平均化回路３１からのｐビットは、縮退ＲＯＭ３２において、供給された各ビット数を縮退させる。具体的には、縮退ＲＯＭ３２では、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ３２から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路２３へ供給される。

なお、縮退の方法について、ここでは詳細を述べないが、（ｎ＋ｍ＋ｐ）ビットで学習した全クラスに対応する係数組から、ベクトル量子化的手法として、係数間ノルムの小さいものをまとめて縮退させる方法等を使用するものとする。すなわち、２つの係数組の間で、対応する係数の距離（係数間ノルム）を求め、これに基づいて、係数の組をまとめる。

遅延合わせが行われる遅延回路３３の出力がブロック化回路３４へ供給され、そのブロック化回路３４では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、学習回路２３へ供給される。

そして、上述したように、Ａ／Ｄ変換器２２からの教師用の画像信号が学習回路２３に供給される。学習回路２３では、ｎタップの線形一時結合モデルを形成し、その各係数を学習回路２３で算出する。算出された各係数は、出力端子３５から取り出され、係数ＲＯＭへ格納される。また、学習回路２３は、後述する最小自乗法誤差規範にてクラス毎に係数を学習するものである。学習により得られた係数は、出力端子３５を介して出力され、メモリ等の記憶媒体にクラス毎に格納される。

ここで、平均値／標準偏差回路２５の一例を図６に示し説明する。入力端子４１から輝度値が供給される。供給された輝度値は、輝度度数分布テーブル４２へ供給され、輝度度数分布テーブル４２において、例えば１フィールドまたは１フレーム内の輝度レベルの度数分布のテーブルが生成される。生成されたテーブルに基づいて、平均値算出回路４３では、平均値が式（１）により算出され、算出された平均値は、標準偏差算出回路４４へ供給されると共に、出力端子４５から取り出される。標準偏差算出回路４４では、度数分布のテーブルと平均値から標準偏差が式（２）により算出され、算出された標準偏差は、出力端子４６から取り出される。取り出された標準偏差が小さいときは、度数分布の幅は狭く、標準偏差が大きいときは、度数分布の幅は広くなる。

ここで、ＡＤＲＣ回路２９の構成の一例を図７に示し説明する。入力端子５１からブロック化されたデータが供給される。供給されたデータは、最大値検出回路５２、最小値検出回路５３および遅延回路５４へ供給される。最大値検出回路５２において、ブロック内の画素値の最大となる値が検出され、最小値検出回路５３において、ブロック内の画素値の最小となる値が検出される。減算器５５では、最大値から最小値が減算され、そのブロックのダイナミックレンジＤＲが算出される。算出されたダイナミックレンジＤＲは、適応再量子化回路５７へ供給される。

遅延回路５４では、最大値検出回路５２および最小値検出回路５３がそれぞれ検出にかかる時間遅延が行われ、１画素ずつ出力される。減算器５６では、ブロック化された各画素から最小値が減算され、その減算値は、適応再量子化回路５７へ供給される。適応再量子化回路５７では、ダイナミックレンジＤＲに応じた所定の量子化ステップ幅を用いて、減算値の量子化を画素毎に行う。並列化回路５８では、量子化された画素がブロック単位で並列化され、出力端子５９からコード化データとして出力される。

学習の方法として、多数の補正対象用の入力信号の画素の値と教師用の画像信号の画素の値との関係を求める最小自乗法を採用する。まず、上述した値の間に線形１次結合の関係があると仮定し、以下に線形一次結合モデルを示す。

線形一次結合モデル：（観測方程式）
ＸＷ＝Ｙ（３）

最小自乗法による解法：（残差方程式）

式（５）から、各ｗ_iの最確値を見いだすには、

を最小にする条件、すなわち

なる、Ｎ個の条件を入れてこれを満足するｗ₁、ｗ₂、・・・、ｗ_Nを見いだせばよい。式（５）より、

となり、式（６）条件をｉ＝１，２，・・・，Ｎについて立てればそれぞれ、

が得られる。ここで、式（５）および式（８）から次式の正規方程式が得られる。

これは、ちょうど未知数の数Ｎ個だけある連立方程式であるから、これより最確値たる各ｗ_iを求めることができる。

正確には、式（９）でｗ_iにかかる

のマトリクスが正則であれば解くことができる。（ただし、ｋ＝１，２，・・・，Ｎ、ｌ＝１，２，・・・，Ｎ）実際には、Gauss-Jordanの消去法（掃き出し法）を用いて連立方程式を解くことになる。

次に、最小自乗法の演算を行うハードウェアのブロック図を図８に示す。図４の学習のブロック図において、補正対象の画素を中心とするブロックの画素値ｘ₁〜ｘ_Nと、その画素に対応する教師用の画素値ｙが入力されると共に、クラスコード（インデックス）が入力される。最小自乗法の回路は、大きく分けて正規方程式生成回路６１とＣＰＵ６２からなり、その正規方程式生成回路６１は、乗算器アレイ６３、加算メモリ６４およびデコード部６５からなる。ＣＰＵ６２は、係数を求めるため、例えば掃き出し法の演算を行うＣＰＵからなる。乗算器アレイ６３には、注目画素位置に対して１組のメモリ（またはレジスタ）が存在し、加算メモリ６４には、クラスの数だけ組のメモリ（またはレジスタ）が存在する。また、デコード部６５では、供給されるクラスコード（インデックス）がデコードされる。

ここで、乗算器アレイ６３について、図９を用いて説明する。補正対象の画素を中心としてブロックの画素値と対応する教師用の画素値ｙは、正規方程式生成回路６１の乗算器アレイ６３において、図中に示すように各要素どうしの乗算が行われ、その結果が加算メモリ６４へ供給される。

そして、加算メモリ６４は、図１０に示すように加算器アレイ７１およびメモリ（またはレジスタ）アレイ７２₁〜７２_Nから構成される。加算器アレイ７１には、乗算器アレイ６３からの結果とメモリ（またはレジスタ）アレイ７２₁〜７２_Nからの出力が供給される。その加算結果は、加算器アレイ７１からメモリ（またはレジスタ）アレイ７２₁〜７２_Nに出力される。このとき、どのメモリ（またはレジスタ）アレイ７２₁〜７２_Nが選択されるかは、デコード部６５に供給されたクラスコード（インデックス）がデコードされることで一意に決定される。つまり、インデックスによって決定されるクラス毎にメモリ（またはレジスタ）アレイ７２が選択される。この選択されたメモリ（またはレジスタ）アレイ７２には、積和演算の結果が更新され、記憶される。

なお、各々のアレイの位置は、正規方程式（９）のｗ_iにかかる

の位置に対応する。正規方程式（９）を見てわかるように右上の項を反転すれば左下と同じものになるため、各アレイは三角形の形状をしている。

以上のようにして、ある一定期間の間にクラス毎に積和演算が行われて画素位置毎のさらにクラス毎の正規方程式が生成される。クラス毎の正規方程式の各項の結果は、それぞれのクラスに対応するメモリ（またはレジスタ）アレイに記憶されており、次にそれらのクラス毎の正規方程式の各項が掃き出し法の計算回路に供給される。この計算はＣＰＵ６２によって行われる。計算された係数の組は、係数ＲＯＭで構成される係数テーブルに書き込まれて使用される。

次に、上述した学習により獲得された係数を用いて、画像信号の解像度の向上も可能な輝度補正回路を図１１を用いて説明する。なお、この一例を説明するにあたり、上述の第４の実施例と同一の部分には同一符号を付し、その説明は、省略する。

入力端子８１から供給された輝度信号Ｙは、Ａ／Ｄ変換器８２へ供給され、Ａ／Ｄ変換器８２では、例えば１３．５ＭHzでサンプリングされ、ディジタル化された信号は、平均値／標準偏差回路２５および遅延回路２７へ出力される。縮退ＲＯＭ３２では、量子化回路２６からのｎビットのコードと、ＡＤＲＣ回路２９からのｍビットのコードと、平均化回路３１からのｐビットのコードに対して縮退させ、ｑビットのクラスコード（インデックス）が係数ＲＯＭ８３へ供給される。係数ＲＯＭ８３₁〜８３_Nでは、供給されたクラスコードでアドレッシングされ、係数ｗ₁〜ｗ_Nが読み出される。読み出された係数ｗ₁〜ｗ_Nは、それぞれ乗算器８４₁〜８４_Nへ供給される。

ブロック化回路３４では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、乗算器８４₁〜８４_Nへ供給される。乗算器８４₁〜８４_Nでは、係数ＲＯＭ８３₁〜８３_Nからの係数ｗ₁〜ｗ_Nと、ブロック化された各画素値が乗算され、その乗算値は、加算器８５へ供給される。加算器８５では、乗算器８４₁〜８４_Nからの乗算値が加算される。すなわち、乗算器８４₁〜８４_Nおよび加算器８５において、積和演算することで、輝度補正値の予測が行われる。その予測値は、Ｄ／Ａ変換器８６において、Ｄ／Ａ変換され、補正後の輝度値Ｙ´として出力端子８７から取り出される。

係数ＲＯＭ８３₁〜８３_Nから読み出される係数ｗ₁〜ｗ_Nは、上述した学習時にサンプリングレートが６．７５ＭHzの信号ＬＰＦ−ＬＳと２７．０ＦＭHzの映像信号とによって、得られた係数である。予測値を生成するときに、この係数を使用することによって、１３．５ＭHzのサンプリングレートの輝度信号Ｙは、４倍の高い５４．０ＭHzのサンプリングレートの輝度信号Ｙ´を生成することができる。

この実施例では、すべてハードウェアで実現する方法を記載したが、ディジタル化されたデータを計算機に取り込むことでソフトウェアで計算しても良い。

また、この実施例では、解像度、Ｓ／Ｎ比、圧縮歪みおよび輝度値の改善のための係数を求める学習を行うときに、入力信号に対して施す処理ｆ（ｘ）を別々に行っているが、これらの処理の２つ以上を組み合わせても良い。例えば、ゲインおよび／またはオフセットの後、ＬＰＦ処理を入力信号に対して施すことで、得られた係数は、解像度および輝度値のさらなる改善に使用できるものとなる。

この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

この発明のクラス分類適応処理の学習装置の一般的な構成例を示すブロック図である。この発明のクラス分類適応処理の一実施例の一般的な構成例を示すブロック図である。この発明の解像度の説明に用いる一例の略線図である。この発明が適用できる輝度補正装置に対応する学習回路の実施例である。この発明が適用できる実施例の説明に用いる度数分布表である。この発明が適用された輝度補正装置に用いられている平均値／標準偏差回路の一例である。この発明が適用された輝度補正装置に用いられているＡＤＲＣ回路の一例である。この発明に係る学習回路に適用される最小自乗法の一例を説明するためのブロック図である。この発明に係る乗算器アレイの説明に用いる一例の略線図である。この発明に係る加算メモリの説明に用いる一例の略線図である。この発明が適用できる輝度補正装置の実施例を示すブロック図である。

符号の説明

３・・・処理回路
４、６・・・スイッチ
５・・・クラス生成回路
７・・・学習回路

Claims

入力された第１の画質の情報信号を上記第１の画質よりも高画質な第２の画質の情報信号に変換する情報信号変換装置において、
第１の画質の情報信号に対して低画質化処理を施し、上記第１の画質よりも低画質な第３の画質の情報信号から第１のクラス情報を生成する第１のクラス生成手段と、
上記各第１のクラス情報に対して、上記第１の画質の情報信号と、上記第１の画質の情報信号に対して低画質化処理を施した上記第１の画質よりも低画質な上記第３の画質の情報信号との間で、最小自乗誤差規範に基づく学習により係数を求める係数演算手段と、
上記係数演算手段で求められた係数が記憶された記憶手段と、
上記第１の画質の情報信号から第２のクラス情報を生成する第２のクラス生成手段と、
上記第２のクラス情報に応答して上記係数が上記記憶手段から読み出され、上記第１の画質の情報信号との演算処理によって第２の画質の情報信号に変換する演算手段と
を有することを特徴とする情報信号変換装置。
上記係数演算手段は、上記第１のクラス情報毎に、上記第１の画質の情報信号を、上記第３の画質の複数の情報信号と、上記第３の画質の複数の情報信号の演算対象に対する係数とを演算する線形結合式で表した複数の上記線形結合式が成り立つように、上記第３の画質の複数の情報信号と、上記第３の画質の複数の情報信号の演算対象に対する上記係数とを演算し、該演算結果と、上記第１の画質の情報信号との誤差が略々０になるように、上記第３の画質の複数の情報信号の演算対象に対する上記係数を求めることを特徴とする請求項１に記載の情報信号変換装置。
さらに、上記第１の画質の情報信号に対して、低画質化処理を施し上記第１の画質よりも低画質な第３の画質の情報信号を生成する画質処理手段を有することを特徴とする請求項１に記載の情報信号変換装置。
入力された第１の画質の情報信号を上記第１の画質よりも高画質な第２の画質の情報信号に変換する情報信号変換装置において、
第１の画質の情報信号に対して低画質化処理を施し、上記第１の画質よりも低画質な第３の画質の情報信号から第１のクラス情報を生成する第１のクラス生成手段と、
上記各第１のクラス情報に対して、上記第１の画質の情報信号に対して低画質化処理を施した上記第１の画質よりも低画質な上記第３の画質の情報信号と、上記第１の画質より高画質で且つ上記第２の画質より低画質な第４の画質の情報信号との間で、予め最小自乗誤差規範に基づく学習により係数を求める係数演算手段と、
上記係数演算手段で求められた係数が記憶された記憶手段と、
上記第１の画質の情報信号から第２のクラス情報を生成する第２のクラス生成手段と、
上記第２のクラス情報に応答して上記係数が上記記憶手段から読み出され、上記第１の画質の情報信号との演算処理によって第２の画質の情報信号に変換する演算手段と
を有することを特徴とする情報信号変換装置。
上記係数演算手段は、上記第１のクラス情報毎に、上記第４の画質の情報信号を、上記第３の画質の複数の情報信号と、上記第３の画質の複数の情報信号の演算対象に対する係数とを演算する線形結合式で表した複数の上記線形結合式が成り立つように、上記第３の画質の複数の情報信号と、上記第３の画質の複数の情報信号の演算対象に対する上記係数とを演算し、該演算結果と、上記第４の画質の情報信号との誤差が略々０になるように、上記第３の画質の複数の情報信号の演算対象に対する上記係数を求めることを特徴とする請求項４に記載の情報信号変換装置。
さらに、上記第１の画質の情報信号に対して低画質化処理を施し、上記第１の画質よりも低画質な第３の画質の情報信号を生成する画質処理手段と、
上記第１の画質よりも高画質で且つ上記第２の画質よりも低画質な第４の画質の情報信号が入力される入力手段と
を有することを特徴とする請求項４に記載の情報信号変換装置。
入力された第１の画質の情報信号から上記第１の画質よりも高画質な第２の画質の情報信号に変換する処理に必要な係数を生成する学習装置において、
第１の画質の情報信号に対して低画質化処理を施し、上記第１の画質よりも低画質な第３の画質の情報信号を生成する画質処理手段と、
上記第３の画質の情報信号からクラス情報を生成するクラス生成手段と、
上記各クラス情報に対して、上記第１の画質の情報信号と、上記第１の画質の情報信号に対して低画質化処理を施した上記第１の画質よりも低画質な上記第３の画質の情報信号との間で、最小自乗誤差規範に基づく学習により係数を求める係数演算手段と、
上記係数演算手段で学習処理されて得られた係数が上記クラス情報毎に格納される記憶手段と
を有することを特徴とする学習装置。
さらに、上記第１の画質よりも高画質で且つ上記第２の画質よりも低画質な第４の画質の情報信号が入力される入力手段と、
上記第１の画質の情報信号と上記第４の画質の情報信号とを切り換える選択手段とを有し、
上記選択手段によって上記第４の画質の情報信号が選択された際には、上記係数演算手段は、上記第４の画質の情報信号と上記第３の画質の情報信号との間での学習処理によって上記係数を求めることを特徴とする請求項７に記載の学習装置。
上記係数演算手段は、上記クラス情報毎に、上記第１の画質の情報信号を、上記第３の画質の複数の情報信号と、上記第３の画質の複数の情報信号の演算対象に対する係数とを演算する線形結合式で表した複数の上記線形結合式が成り立つように、上記第３の画質の複数の情報信号と、上記第３の画質の複数の情報信号の演算対象に対する上記係数とを演算し、該演算結果と、上記第１の画質の情報信号との誤差が略々０になるように、上記第３の画質の複数の情報信号の演算対象に対する上記係数を求めることを特徴とする請求項７に記載の情報信号変換装置。
入力された第１の画質の情報信号から上記第１の画質よりも高画質な第２の画質の情報信号に変換する処理に必要な係数を生成する学習装置において、
第１の画質の情報信号に対して低画質化処理を施し、上記第１の画質よりも低画質な第３の画質の情報信号を生成する画質処理手段と、
上記第３の画質の情報信号からクラス情報を生成するクラス生成手段と、
上記第１の画質よりも高画質で且つ上記第２の画質よりも低画質な第４の画質の情報信号が入力される入力手段と、
上記各クラス情報に対して、上記第１の画質の情報信号に対して低画質化処理を施した上記第１の画質よりも低画質な上記第３の画質の情報信号と、上記第１の画質より高画質で且つ上記第２の画質より低画質な上記第４の画質の情報信号との間で、予め最小自乗誤差規範に基づく学習により係数を求める係数演算手段と、
上記係数演算手段で学習処理されて得られた係数が上記クラス情報毎に格納される記憶手段と
を有することを特徴とする学習装置。
上記係数演算手段は、上記クラス情報毎に、上記第４の画質の情報信号を、上記第３の画質の複数の情報信号と、上記第３の画質の複数の情報信号の演算対象に対する係数とを演算する線形結合式で表した複数の上記線形結合式が成り立つように、上記第３の画質の複数の情報信号と、上記第３の画質の複数の情報信号の演算対象に対する上記係数とを演算し、該演算結果と、上記第４の画質の情報信号との誤差が略々０になるように、上記第３の画質の複数の情報信号の演算対象に対する上記係数を求めることを特徴とする請求項１０に記載の情報信号変換装置。
入力された第１の画質の情報信号を上記第１の画質よりも高画質な第２の画質の情報信号に変換する情報信号変換方法において、
第１の画質の情報信号に対して低画質化処理を施し、上記第１の画質よりも低画質な第３の画質の情報信号から第１のクラス情報を生成する第１のクラス生成ステップと、
上記各第１のクラス情報に対して、上記第１の画質の情報信号と、上記第１の画質の情報信号に対して低画質化処理を施した上記第１の画質よりも低画質な上記第３の画質の情報信号との間で、最小自乗誤差規範に基づく学習により係数を求める係数演算ステップと、
上記係数演算ステップで求められた係数を記憶手段に記憶する記憶ステップと、
上記第１の画質の情報信号から第２のクラス情報を生成する第２のクラス生成ステップと、
上記第２のクラス情報に応答して上記係数が上記記憶手段から読み出され、上記第１の画質の情報信号との演算処理によって第２の画質の情報信号に変換する演算ステップと
を有することを特徴とする情報信号変換方法。
入力された第１の画質の情報信号を上記第１の画質よりも高画質な第２の画質の情報信号に変換する情報信号変換方法において、
第１の画質の情報信号に対して低画質化処理を施し、上記第１の画質よりも低画質な第３の画質の情報信号から第１のクラス情報を生成する第１のクラス生成ステップと、
上記各第１のクラス情報に対して、上記第１の画質の情報信号に対して低画質化処理を施した上記第１の画質よりも低画質な上記第３の画質の情報信号と、上記第１の画質より高画質で且つ上記第２の画質より低画質な第４の画質の情報信号との間で、予め最小自乗誤差規範に基づく学習により係数を求める係数演算ステップと、
上記係数演算ステップで求められた係数を記憶手段に記憶する記憶ステップと、
上記第１の画質の情報信号から第２のクラス情報を生成する第２のクラス生成ステップと、
上記第２のクラス情報に応答して上記係数が上記記憶手段から読み出され、上記第１の画質の情報信号との演算処理によって第２の画質の情報信号に変換する演算ステップと
を有することを特徴とする情報信号変換方法。
入力された第１の画質の情報信号から上記第１の画質よりも高画質な第２の画質の情報信号に変換する処理に必要な係数を生成する学習方法において、
上記第１の画質の情報信号に対して低画質化処理を施し、上記第１の画質よりも低画質な第３の画質の情報信号を生成する画質処理ステップと、
上記第３の画質の情報信号からクラス情報を生成するクラス生成ステップと、
上記各クラス情報に対して、上記第１の画質の情報信号と、上記第１の画質の情報信号に対して低画質化処理を施した上記第１の画質よりも低画質な上記第３の画質の情報信号との間で、最小自乗誤差規範に基づく学習により係数を求める係数演算ステップと、
上記係数演算ステップで学習処理されて得られた係数を上記クラス情報毎に記憶手段に格納する記憶ステップと
を有することを特徴とする学習方法。
入力された第１の画質の情報信号から上記第１の画質よりも高画質な第２の画質の情報信号に変換する処理に必要な係数を生成する学習方法において、
上記第１の画質の情報信号に対して低画質化処理を施し、上記第１の画質よりも低画質な第３の画質の情報信号を生成する画質処理ステップと、
上記第３の画質の情報信号からクラス情報を生成するクラス生成ステップと、
上記第１の画質よりも高画質で且つ上記第２の画質よりも低画質な第４の画質の情報信号が入力される入力ステップと、
上記各クラス情報に対して、上記第１の画質の情報信号に対して低画質化処理を施した上記第１の画質よりも低画質な上記第３の画質の情報信号と、上記第１の画質より高画質で且つ上記第２の画質より低画質な上記第４の画質の情報信号との間で、予め最小自乗誤差規範に基づく学習により係数を求める係数演算ステップと、
上記係数演算ステップで学習処理されて得られた係数を上記クラス情報毎に記憶手段に格納する記憶ステップと
を有することを特徴とする学習方法。