JP2005210343A

JP2005210343A - 情報処理装置および方法、記録媒体、並びにプログラム

Info

Publication number: JP2005210343A
Application number: JP2004013891A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Shizuo Chikaoka; 志津男近岡; Takashi Miyai; 岳志宮井; Yoshiteru Nakamura; 芳晃中村; Takashi Nakanishi; 崇中西; Tsugihiko Haga; 継彦芳賀; Daisuke Kikuchi; 大介菊地
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-01-22
Filing date: 2004-01-22
Publication date: 2005-08-04
Anticipated expiration: 2024-01-22
Also published as: JP4517279B2

Abstract

【課題】より高品位の画像をリアルタイムで生成することができるようにする。
【解決手段】生徒画像生成部１１は、入力されたSD画像信号から画素を水平方向と垂直方向に１／２ずつ間引くことで、生徒画像信号としてのCIF画像信号を生成する。学習対生成部１２は、SD画像信号とCIF画像信号の信号対からなる学習対を生成する。係数生成部１３は、学習対に基づいて正規方程式を生成し、予測係数を生成する。画像演算部１４は、SD画像信号に予測係数を適用して、HD画像信号を生成する。本発明は、SD画像信号からHD画像信号を生成する画像処理装置に適用することができる。
【選択図】図１

Description

本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、より高い予測精度で画像信号を生成することができるようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。

本出願人は、クラス分類適応処理により、標準的な画質のSD画像信号から、より高品位のHD画像信号を生成する手法を先に提案している（例えば、特許文献１）。

この場合、SD画像信号からHD画像信号を生成するための予測係数セットが必要となる。従来、この予測係数セットは次のようにして求められている。すなわち、HD画像信号から間引き処理などによりSD画像信号が生成され、SD画像信号の注目画素に対して所定の関係を有するクラスタップに対応して、１ビットADRC処理が行われクラスが決定される。一方、SD画像信号の注目画素に対して所定の関係にある予測タップが抽出され、その予測タップとHD画像信号との関係に基づく正規方程式がクラスごとに生成される。そしてこの正規方程式を解くことで、クラスごとの予測係数セットが求められる。

このように、あらかじめ用意されたHD画像信号とそれから生成されたSD画像信号に基づいて学習を行うことで予測係数セットが生成される。この学習は、多くの種類のHD画像信号に基づいて行われる。その結果、多くの種類のHD画像信号とSD画像信号との関係に基づく予測係数セットが得られることになる。

受信したSD画像信号にこの予測係数セットを適用することで、実際には受信していないHD画像信号を予測生成することができる。予測係数は、ある入力に対して、実際のHD画像信号に最も近くなる可能性が高いという統計的性質に基づいた係数となる。その結果、一般的なSD画像信号が入力された場合に、クラスごとにみて平均的に精度の高いHD画像信号が予測生成可能となる。
特開２０００−７８５３６号公報

しかしながら、予測係数を学習生成する場合に用いられるHD画像信号は、実際に予測されるHD画像信号とは異なる画像であるため、正確な予測演算処理が困難な場合があるという課題があった。

これを解決するには、クラスの数を充分多くする必要がある。しかしながら、クラスの数は有限であり、HD画像信号の学習時において適したクラスが存在しない場合にも、必ずどこかのクラスに割り当てる処理が行われるため、結局、正確な予測処理を行うことが困難であった。

さらにまた、従来の方法においては、予測係数セットを生成するのにHD画像信号が存在しなければならない。その結果、予測係数セットを学習生成する処理と、生成された予測係数セットを用いて、SD画像信号からHD画像信号を生成する処理とは、その日時、場所を変更して行わなければならず、リアルタイムの処理が困難である課題があった。

本発明はこのような状況に鑑みてなされたものであり、より正確に、高品位の画像を予測生成することができるようにするものである。また、その処理をリアルタイムで行うことができるようにするものである。

請求項１の情報処理装置は、入力された第１の種類の信号から第２の種類の信号を生成する信号生成手段と、前記第１の種類の信号と第２の種類の信号の信号対を生成する信号対生成手段と、前記信号対に基づいて予測係数を生成する係数生成手段と、前記第１の種類の信号に、前記予測係数を適用して第３の種類の信号を演算する演算手段とを備えることを特徴とする。

前記第１乃至第３の種類の信号は、それぞれ異なる解像度の画像信号であるようにすることができる。

前記第２の種類の信号は第１の種類の信号より低い解像度の画像信号であり、第３の種類の信号は第１の種類の信号より高い解像度の画像信号であるようにすることができる。

前記信号対生成手段は、第１の種類の信号から第１の範囲の信号を抽出する第１の抽出手段と、第２の種類の信号から第２の範囲の信号を抽出する第２の抽出手段と、第１の範囲の第１の種類の信号と第２の範囲の第２の種類の信号の相関関係を計算する計算手段と、第１の範囲の第１の種類の信号に対して閾値以上の相関を有する第２の範囲の第２の種類の信号と、それに対応する第１の種類の信号を選択する選択手段と、選択された第１の種類の信号と第２の範囲の第２の種類の信号を信号対として登録する登録手段とを備えるようにすることができる。

前記係数生成手段は、信号対から正規方程式を生成する正規方程式生成手段と、正規方程式を解いて予測係数を算出する算出手段とを備えるようにすることができる。

前記演算手段は、第１の種類の信号から第１の範囲の第１の種類の信号を抽出する第３の抽出手段と、第３の抽出手段により抽出された第１の範囲の第１の種類の信号と予測係数を積和演算して第３の種類の信号を生成する積和演算手段とを備えるようにすることができる。

請求項７の情報処理方法は、入力された第１の種類の信号から第２の種類の信号を生成する信号生成ステップと、前記第１の種類の信号と第２の種類の信号の信号対を生成する信号対生成ステップと、前記信号対に基づいて予測係数を生成する係数生成ステップと、前記第１の種類の信号に、前記予測係数を適用して第３の種類の信号を演算する演算ステップとを含むことを特徴とする。

請求項８の記録媒体のプログラムは、入力された第１の種類の信号から第２の種類の信号を生成する信号生成ステップと、前記第１の種類の信号と第２の種類の信号の信号対を生成する信号対生成ステップと、前記信号対に基づいて予測係数を生成する係数生成ステップと、前記第１の種類の信号に、前記予測係数を適用して第３の種類の信号を演算する演算ステップとを含むことを特徴とする。

請求項９のプログラムは、入力された第１の種類の信号から第２の種類の信号を生成する信号生成ステップと、前記第１の種類の信号と第２の種類の信号の信号対を生成する信号対生成ステップと、前記信号対に基づいて予測係数を生成する係数生成ステップと、前記第１の種類の信号に、前記予測係数を適用して第３の種類の信号を演算する演算ステップとをコンピュータに実行させることを特徴とする。

本発明においては、第１の種類の信号から第２の種類の信号が生成され、第１の種類の信号と第２の種類の信号の信号対が生成される。そして、信号対に基づいて予測係数が生成され、その予測係数を第１の種類の信号に適用して第３の種類の信号が演算される。

本発明によれば、異なる種類の信号を演算することが可能となる。特に、より正確に、異なる種類の信号を、必要に応じてリアルタイムに生成することが可能となる。

以下に本発明の最良の形態を説明するが、開示される発明と実施の形態との対応関係を例示すると、次のようになる。明細書中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現し、追加される発明の存在を否定するものではない。

請求項１の情報処理装置（例えば、図１の情報処理装置１）は、入力された第１の種類の信号（例えば、SD画像の信号）から第２の種類の信号（例えば、CIF画像の信号）を生成する信号生成手段（例えば、図１の生徒画像生成部１１）と、前記第１の種類の信号と第２の種類の信号の信号対（例えば、学習対）を生成する信号対生成手段（例えば、図１の学習対生成部１２）と、前記信号対に基づいて予測係数を生成する係数生成手段（例えば、図１の係数生成部１３）と、前記第１の種類の信号に、前記予測係数を適用して第３の種類の信号（例えば、HD画像の信号）を演算する演算手段（例えば、図１の画像演算部１４）とを備えることを特徴とする。

前記第２の種類の信号（例えば、CIF画像の信号）は前記第１の種類の信号（例えば、SD画像の信号）より低い解像度の画像信号であり、前記第３の種類の信号（例えば、HD画像の信号）は前記第１の種類の信号より高い解像度の画像信号とすることができる。

前記信号対生成手段は、前記第１の種類の信号から第１の範囲（例えば、予測範囲）の信号（例えば、予測タップ）を抽出する第１の抽出手段（例えば、図３のタップ抽出部５５）と、前記第２の種類の信号から第２の範囲（例えば、参照範囲）の信号（例えば、参照タップ）を抽出する第２の抽出手段（例えば、図３のタップ抽出部５１）と、前記第１の範囲の第１の種類の信号と前記第２の範囲の第２の種類の信号の相関関係を計算する計算手段（例えば、図３のタップ評価値計算部５２）と、前記第１の範囲の第１の種類の信号に対して閾値以上の相関を有する前記第２の範囲の第２の種類の信号（例えば、図１１のCIF画像信号の画素データｃ０乃至ｃ１２）と、それに対応する前記第１の種類の信号（例えば、図１１のSD画像信号の画素データｈ０乃至ｈ３）を選択する選択手段（例えば、図３の生徒選択部５３と教師選択部５６）と、選択された前記第１の種類の信号と前記第２の範囲の第２の種類の信号を前記信号対として登録する登録手段（例えば、図３の学習対登録部５４）とを備えることができる。

前記係数生成手段は、前記信号対から正規方程式を生成する正規方程式生成手段（例えば、図４の正規方程式生成部７１）と、前記正規方程式を解いて予測係数を算出する算出手段（例えば、図４の係数算出部７２）とを備えるようにすることができる。

前記演算手段は、前記第１の種類の信号から前記第１の範囲の第１の種類の信号を抽出する第３の抽出手段（例えば、図５の予測タップ抽出部９１）と、前記第３の抽出手段により抽出された前記第１の範囲の第１の種類の信号と前記予測係数を積和演算して前記第３の種類の信号を生成する積和演算手段（例えば、図５の予測画像生成部９２）とを備えるようにすることができる。

請求項７の情報処理方法は、入力された第１の種類の信号から第２の種類の信号を生成する信号生成ステップ（例えば、図６のステップＳ１）と、前記第１の種類の信号と第２の種類の信号の信号対（例えば、学習対）を生成する信号対生成ステップ（例えば、図６のステップＳ５）と、前記信号対に基づいて予測係数を生成する係数生成ステップ（例えば、図６のステップＳ７）と、前記第１の種類の信号に、前記予測係数を適用して第３の種類の信号を演算する演算ステップ（例えば、図６のステップＳ９）とを含むことを特徴とする。

請求項８の記録媒体は、入力された第１の種類の信号から第２の種類の信号を生成する信号生成ステップ（例えば、図６のステップＳ１）と、前記第１の種類の信号と第２の種類の信号の信号対（例えば、学習対）を生成する信号対生成ステップ（例えば、図６のステップＳ５）と、前記信号対に基づいて予測係数を生成する係数生成ステップ（例えば、図６のステップＳ７）と、前記第１の種類の信号に、前記予測係数を適用して第３の種類の信号を演算する演算ステップ（例えば、図６のステップＳ９）とを含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている。

請求項９のプログラムは、入力された第１の種類の信号から第２の種類の信号を生成する信号生成ステップ（例えば、図６のステップＳ１）と、前記第１の種類の信号と第２の種類の信号の信号対（例えば、学習対）を生成する信号対生成ステップ（例えば、図６のステップＳ５）と、前記信号対に基づいて予測係数を生成する係数生成ステップ（例えば、図６のステップＳ７）と、前記第１の種類の信号に、前記予測係数を適用して第３の種類の信号を演算する演算ステップ（例えば、図６のステップＳ９）とをコンピュータに実行させる。

次に、本発明の実施の形態について説明する。図１は、本発明を適用した情報処理装置の構成例を表している。この情報処理装置１は、生徒画像生成部１１、学習対生成部１２、係数生成部１３、および画像演算部１４により構成されている。

生徒画像生成部１１は、入力されたSD（Standard Definition）画像信号を、例えば、水平方向と垂直方向にそれぞれ１画素ごとに間引くことで、生徒画像信号としてのCIF（Common Intermediate Format）画像信号を生成し、学習対生成部１２に供給する。学習対生成部１２は、生徒画像生成部１１より供給された生徒画像信号としてのCIF画像信号と、それに対応するSD画像信号とを対応付けて、信号対としての学習対を生成する。

係数生成部１３は、学習対生成部１２より供給された学習対に基づいて、予測係数を生成し、画像演算部１４に出力する。画像演算部１４は、SD画像信号に対して予測係数を適用して、HD（High Definition）画像を生成する。

生徒画像生成部１１は、例えば、図２に示されるように構成される。図２の生徒画像生成部１１は、ローパスフィルタ３１、位相シフト部３２、およびサブサンプル部３３により構成されている。

ローパスフィルタ３１は、入力されたSD画像信号の水平方向と垂直方向の帯域を１／２に落とす処理を実行する。すなわち、この実施の形態の場合、SD画像信号を４倍の密度のHD画像信号に変換するため、ローパスフィルタ３１は、ハーフバンドフィルタとして構成される。

位相シフト部３２は、ローパスフィルタ３１より供給された、帯域が抑圧されたSD画像信号のデータを位相シフトした後、サブサンプル部３３に供給する。サブサンプル部３３は、位相シフト部３２より供給された帯域が抑圧されたSD画像信号を、水平方向と垂直方向それぞれに、１画素おきに間引くことでCIF画像信号を生成する。

この実施の形態においては、画像演算部１４において、SD画像信号からHD画像信号を生成する。すなわち、SD-HD変換を行うため、生徒画像生成部１１では、その逆変換、すなわち、HD-SD変換に相当する処理を行うのであるが、画像演算部１４において、等倍画像変換処理（例えば、HD-HD変換）を行う場合には、生徒画像生成部１１における位相シフト部３２とサブサンプル部３３は省略することができる。

図３は、学習対生成部１２の構成例を表している。この学習対生成部１２は、タップ抽出部５１、タップ評価値計算部５２、生徒選択部５３、学習対登録部５４、タップ抽出部５５、および教師選択部５６により構成されている。

タップ抽出部５１は、生徒画像生成部１１より供給されたCIF画像信号から、処理対象とされている注目画素に対して、あらかじめ設定されている一定の相対的位置関係にある領域（参照領域）の画素としての参照タップを抽出する。タップ抽出部５５は、入力されたSD画像信号から、注目画素に対して所定の相対的位置関係にある予測領域の画素を、予測タップとして抽出する。

タップ抽出部５１における参照タップと、タップ抽出部５５における予測タップの注目画素に対応する相対的位置関係は、実質的に同一となるように（評価値の計算ができるように）設定されている。

タップ評価値計算部５２は、タップ抽出部５１により抽出された参照タップと、タップ抽出部５５により抽出された予測タップの相関関係を判定する。具体的には、それぞれのタップの相関係数が計算される。

例えば、参照タップをＸ（Ｘ₁，Ｘ₂，Ｘ₃，Ｘ₄，Ｘ₅）とし、予測タップをＹ（Ｙ₁，Ｙ₂，Ｙ₃，Ｙ₄，Ｙ₅）とすると、相関係数Ｃは、次式で演算される。

なお、上記（１）式おいて、Ｘ_M，Ｙ_Mは、それぞれＸ_i，Ｙ_iの平均値を表す。

あるいはまた、タップ評価値計算部５２は、参照タップと予測タップの波形距離を用いて、両者の相関関係を判定するようにしてもよい。この場合、波形距離Ｄは次式で演算される。

生徒選択部５３は、予測タップとの相関があらかじめ設定されている閾値以上である場合、その参照タップを生徒画像信号として選択し、学習対登録部５４に供給し、登録させる。評価値として波形距離Ｄが用いられた場合には、波形距離Ｄがあらかじめ設定されている閾値より小さい場合に、その参照タップが生徒選択部５３により選択され、学習対登録部５４に供給され、登録される。

教師選択部５６は、生徒選択部５３により選択された参照タップに対応するSD画像信号を教師画像信号として選択する。学習対登録部５４は、生徒選択部５３より供給された生徒画像信号としてのCIF画像信号と、教師選択部５６より供給された教師画像信号としてのSD画像信号の信号対よりなる学習対を対応させて登録する。

図４は、係数生成部１３の構成例を表している。この係数生成部１３は、正規方程式生成部７１と係数算出部７２により構成されている。

正規方程式生成部７１は、学習対生成部１２の学習対登録部５４より供給された学習対に基づいて、正規方程式を生成する。係数算出部７２は、正規方程式生成部７１で生成された正規方程式を最小自乗法などを用いて解くことで予測係数を算出する。

図５は、画像演算部１４の構成例を表している。この画像演算部１４は、予測タップ抽出部９１と予測画像生成部９２により構成されている。

予測タップ抽出部９１は、入力されたSD画像信号からあらかじめ設定されている予測領域の画素を、予測タップとして抽出する。この予測タップの注目画素に対する相対的位置関係は、図３のタップ抽出部５１およびタップ抽出部５５における場合と同一とされる。予測画像生成部９２は、予測タップ抽出部９１により抽出された予測タップと、係数算出部７２より供給された予測係数を、線形１次式に適用して、HD画像信号としての予測画素を生成する。

次に、図６のフローチャートを参照して、図１の情報処理装置１のHD画像信号生成処理について説明する。

最初に、ステップＳ１において、生徒画像生成部１１は、CIF画像信号生成処理を実行する。このCIF画像信号生成処理の詳細は、図７のフローチャートに示されている。

すなわち、ステップＳ３１において、ローパスフィルタ３１は、入力されたSD画像信号から、高域周波数成分を除去する。これにより、折り返し歪みが発生することが防止される。次にステップＳ３２において、位相シフト部３２は、ローパスフィルタ３１より供給された高域周波数成分が除去されたSD画像信号を、水平方向と垂直方向に１／２画素ずつずらすことで位相シフトする。さらに、ステップＳ３３において、サブサンプル部３３は、位相シフトされたSD画像信号を、水平方向と垂直方向に１画素おきに間引くことでCIF画像信号を生成する。

すなわち、図８に示されるように、図中、四角形で示されるSD画像信号の画素が、ローパスフィルタ３１により高域周波数成分が除去された後、右方向と下方向にそれぞれ１／２画素分ずつ位相シフトされ、さらに１画素おきに間引かれることで、図８において「×」印で示されるCIF画像信号の画素が生成される。すなわち、１個のCIF画像信号の画素は、４個のSD画像信号の画素に対応することになる。

図６に戻り、以上のようにして、CIF画像信号が生成された後、ステップＳ２において、タップ抽出部５５は、入力されたSD画像信号の注目画素に対する予測タップを抽出する。これにより、例えば、図９に示されるように、SD画像信号の画素データｓ０乃至ｓ１２よりなる１３個の画素データが、予測タップとして抽出される。図９の例においては、注目画素は画素データｓ６であり、水平方向に左方向に隣接して位置する画素データｓ５，ｓ４と、右方向に隣接して位置する画素データｓ７，ｓ８の５個の画素データ、注目画素の画素データｓ６より上側に位置する画素データｓ２と、その左方向に位置する画素データｓ１と、右方向に位置する画素データｓ３の３個の画素データ、画素データｓ２より上側に位置する１個の画素データｓ０、注目画素の画素データｓ６より下側に位置する画素データｓ１０と、その左方向に位置する画素データｓ９と、右方向に位置する画素データｓ１１よりなる３個の画素データ、並びに画素データｓ１０より下側に位置する１個の画素データｓ１２により予測タップが構成されている。

ステップＳ３において、タップ抽出部５１は、サブサンプル部３３より供給されたCIF画像信号の探索範囲内の１つの画素に対し、それを中心とした参照タップを抽出する。この参照タップは、タップ抽出部５５で抽出される予測タップと、相対的に同一の位置関係になるようにあらかじめ設定されている。すなわち、図１０に示されるように、図中「×」印で示されるCIF画像信号から、１つの画素データｃ６とその左側に位置する２個の画素データｃ５，ｃ４と、右側に位置する２個の画素データｃ７，ｃ８よりなる５個の画素データ、画素データｃ６より１画素上側に位置する画素データｃ２と、その左側に位置する画素データｃ１と、右側に位置する画素データｃ３の３個の画素データ、画素データｃ２より１画素上側に位置する１個の画素データｃ０、画素データｃ６より１画素下側に位置する画素データｃ１０と、その左側に位置する画素データｃ９と右側に位置する画素データｃ１１の３個の画素データ、並びに画素データｃ１０より１画素下側に位置する画素データｃ１２の合計１３個の画素データが参照タップとして抽出される。

次に、ステップＳ４において、タップ評価値計算部５２は、タップ評価値を演算する。評価値として、例えば、相関値が用いられる場合、図１１に示されるように、ステップＳ２で抽出された１３個の予測タップｓ０乃至ｓ１２と、ステップＳ３で抽出された参照タップｃ０乃至ｃ１２の相関係数Ｃが、上記した（１）式に基づいて演算される。

上述したように、この演算が確実に行われるように、ステップＳ２でタップ抽出部５５により抽出される予測タップと、ステップＳ３でタップ抽出部５１により抽出される参照タップは、対応するようにあらかじめ定められている。すなわち、図９と図１０に示されるように、参照タップの画素データｃ０乃至ｃ１２は、それぞれ予測タップの画素データｓ０乃至ｓ１２に対応するように、その相対的位置関係が定められている。

次にステップＳ５において、生徒選択部５３は、ステップＳ４の処理で演算された評価値（今の場合、相関係数Ｃ）をあらかじめ設定されている所定の閾値と比較し、相関値Ｃが閾値以上である場合には、そのCIF画像信号（参照タップ）はSD画像信号の予測タップと高い相関関係を有しているので、これを選択し、学習対登録部５４に供給する。学習対登録部５４は、これを登録する。具体的には、図１０と図１１に示されるステップＳ３で抽出された参照タップとしての画素データｃ０乃至ｃ１２が、学習対登録部５４に登録される。

また、このとき教師選択部５６は、図１１に示されるように、ステップＳ３で抽出した参照タップの中心の１つの画素データｃ６の左上、右上、左下、および右下に位置するSD画像信号の画素データｈ０乃至ｈ３を、参照タップｃ０乃至ｃ１２に対応する教師画像信号の画素データ（対応注目画素）として選択する。学習対登録部５４は、この画素データｈ０乃至ｈ３を、画素データｃ０乃至ｃ１２に対応する学習対として登録する。

ステップＳ６において、タップ抽出部５１は、探索範囲を全て探索したか否かを判定し、まだ探索範囲の全てを探索していない場合には、ステップＳ３に戻り、探索範囲内の他の１つの画素を選択し、それを中心とした参照タップを抽出する。ステップＳ４において、タップ評価値計算部５２は、ステップＳ３で新たに選択された参照タップに関し、上述した場合と同様にして評価値を演算する。ステップＳ５において、生徒選択部５３は、ステップＳ４の処理で演算された評価値が、閾値以上であるか否かを判定し、閾値以上であれば、学習対登録部５４に供給し登録させる。閾値以上でなければ、この登録処理は行われない。教師選択部５６は、生徒選択部５３により選択された画素データｃ０乃至ｃ１２に対応する教師データとしてのSD画像信号の画素データｈ０乃至ｈ３を選択し、学習対登録部５４に供給する。学習対登録部５４は、供給された生徒画像信号としての参照タップｃ０乃至ｃ１２と、教師画像信号としてのSD画像信号の画素データｈ０乃至ｈ３を学習対として登録する。

以上の処理は、図１２に示されるように、SD画像プレーン１１１上の１つの注目画素の予測タップに相関するタップを、CIF画像信号プレーン１１２上の探索範囲１１３内で探索することを意味する。探索範囲１１３は、例えば、200×200画素の範囲とされる。探索範囲１１３内において、注目画素に対応する予測タップと閾値以上の相関を有する参照タップが検索され、その参照タップと、それに対応するSD画像信号の対応注目画素が学習対として登録される。

ステップＳ６において、探索範囲１１３内における探索が全て終了したと判定されるまで上述した処理が繰り返され、終了したと判定された場合、ステップＳ７に進み、係数生成部１３は係数生成処理を実行する。この係数生成処理の詳細は、図１３のフローチャートに示されている。

ステップＳ５１において、正規方程式生成部７１は、学習対登録部５４より供給された学習対に基づいて（３）式に示されるような正規方程式を生成する。

（３）式の４つの式は、それぞれ図１１におけるSD画像信号の画素データｈ０とCIF画像信号の画素データｃ０乃至ｃ１２との関係、SD画像信号の画素データｈ１とCIF画像信号の画素データｃ０乃至ｃ１２との関係、SD画像信号の画素データｈ２とCIF画像信号の画素データｃ０乃至ｃ１２との関係、またはSD画像信号の画素データｈ３とCIF画像信号の画素データｃ０乃至ｃ１２との関係を、それぞれ表すものである。そして、画素データｈ０と画素データｃ０乃至ｃ１２との関係を表す式は、探索範囲１１３内において、１３個以上求められる。従って、未知数である１３個の予測係数Ｗ_0,kを求めることが可能である。画素データｈ１，ｈ２，ｈ３についても同様に、それぞれ探索範囲１１３内において、１３個以上の式が生成される。従って、予測係数Ｗ_1,k，Ｗ_2,k，Ｗ_3,kも同様にして求めることが可能となる。

ステップＳ５１において、正規方程式生成部７１により正規方程式が生成されると、ステップＳ５２において、係数算出部７２は、生成された正規方程式を、例えば、最小自乗法を用いて解くことで係数を算出する。これにより（３）式における予測係数Ｗ_0,k乃至Ｗ_3,k が求められることになる。

次に、図６のステップＳ８において、画像演算部１４の予測タップ抽出部９１は、入力されたSD画像信号から、あらかじめ定められている予測領域の画素データを予測タップとして抽出する。この予測タップは、図３のタップ抽出部５５において抽出されるタップと同一のタップである。すなわち、図１４に示されるように、入力されたSD画像信号データから予測タップとして画素データｓ０乃至ｓ１２が選択される。この予測タップの形状（注目画素に対する相対的位置関係）は、図１１に示される画素データｃ０乃至ｃ１２からなるタップの形状と同一の形状とされている。

予測画像生成部９２は、ステップＳ９において、予測係数に基づいてSD画像信号からHD画像信号を生成する処理を実行する。具体的には、次の（４）式に、ステップＳ７の処理で生成された予測係数と、ステップＳ８の処理で抽出された予測タップを適用することでHD画像信号の画素データＨ０乃至Ｈ３が生成される。

Ｈ０乃至Ｈ３は、図１４に示されるように、予測タップｓ０乃至ｓ１２のうちの中央の注目画素としての画素データｓ６の左上、右上、左下、または右下に位置するHD画像信号の画素データである。（４）式の予測係数Ｗ_0,k乃至Ｗ_3,kは、（３）式における予測係数Ｗ_0,k乃至Ｗ_3,kと同一の係数である。

図１４と図１１（または図１０）を比較して明らかなように、図１４におけるSD画像信号の画素としての予測タップｓ０乃至ｓ１２と、HD画像信号としての画素データＨ０乃至Ｈ３との相対的位置関係は、図１１（または図１０）におけるCIF画像信号の画素データｃ０乃至ｃ１２とSD画像信号の画素データｈ０乃至ｈ３の相対的位置関係と同一、または相似の関係にある。そして、HD画像信号はSD画像信号を、水平方向と垂直方向に画素数を倍にした関係にあり、SD画像信号もCIF画像信号を、水平方向と垂直方向に画素密度を倍にした関係にある。従って、画素データｃ０乃至ｃ１２と、画素データｈ０乃至ｈ３との関係は、画素データｓ０乃至ｓ１２と画素データＨ０乃至Ｈ３との関係と極めて近似した関係（極めて大きい相関関係がある）ことになる。そこで、上述したように、CIF画像信号の画素データｃ０乃至ｃ１２と、SD画像信号の画素データｈ０乃至ｈ３との関係から求めた予測係数Ｗ_0,k乃至Ｗ_3,kは、SD画像信号の画素データｓ０乃至ｓ１２とHD画像信号の画素データＨ０乃至Ｈ３との関係を表す予測係数Ｗ´_0,k乃至Ｗ´_3,kと実質的に同一か、異なっていたとしても極めて近似した値となることが予想される。そこで、SD画像信号の画素データｓ０乃至ｓ１２に予測係数Ｗ_0,k乃至Ｗ_3,kを適用することで、HD画像信号の画素Ｈ０乃至Ｈ３を生成することができる。

すなわちこのことは、図１５に示されるように、HD画像信号のフィールド１４１の画素は、１階層下のSD画像信号のフィールド１１１の画素に比べて、水平方向と垂直方向に２倍の密度を有しているので、SD画像信号のフィールド１１１の画素に比べて、水平方向と垂直方向にそれぞれ１／２の画素密度を有する１階層下のCIF画像信号のフィールド１１２の画素を生成し、SD画像信号のフィールド１１１とCIF画像信号のフィールド１１２の間で予測係数Ｗ_iを求め、その予測係数Ｗ_iを、SD画像信号のフィールド１１１とHD画像信号のフィールド１４１との間で用いることを意味する。これにより、教師画像信号としてのHD画像信号が存在しなくても、予測係数Ｗ_iを生成することができるので、それに基づいてSD画像信号からそれより高品位のHD画像信号を生成することが可能となる。

図６に戻り、ステップＳ１０において、画像演算部１４は、全SD画素を処理したか否かを判定し、まだ処理していないSD画像信号が残っている場合には、ステップＳ２に戻り、入力されたSD画像信号の注目画素を新たな注目画素とし、その新たな注目画素に対する予測タップを抽出して、その予測タップに対して上述した場合と同様の処理を実行する。

ステップＳ１０において、全SD画素を処理したと判定された場合、HD画素生成処理は終了される。

以上においては、入力された画像より４倍の密度を有する高品位の画像を生成する場合に、入力された画像の１／４の密度の画像を生成し、それとの間で予測係数を生成するようにしたが、ｎ倍の画像を生成する場合には、１／ｎ倍の画像を生成し、それとの間で予測係数を生成すればよいことになる。すなわち、上述した場合は、「ｎ＝４」の倍であるが、ｎの値は１以上の任意の値とすることができる。

また、以上においては、より高品位の画像を生成する場合を例としたが、各種の種類の信号を生成する場合に本発明を適用することは可能である。さらに本発明は、画像信号に限らず、音声信号その他の信号を処理する場合にも適用することが可能である。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、情報処理装置は、図１６に示されるようなパーソナルコンピュータにより構成される。

図１６において、CPU（Central Processing Unit）２２１は、ROM（Read Only Memory）２２２に記憶されているプログラム、または記憶部２２８からRAM（Random Access Memory）２２３にロードされたプログラムに従って各種の処理を実行する。RAM２２３にはまた、CPU２２１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２２１、ROM２２２、およびRAM２２３は、バス２２４を介して相互に接続されている。このバス２２４にはまた、入出力インタフェース２２５も接続されている。

入出力インタフェース２２５には、キーボード、マウスなどよりなる入力部２２６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部２２７、ハードディスクなどより構成される記憶部２２８、モデムなどより構成される通信部２２９が接続されている。通信部２２９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース２２５にはまた、必要に応じてドライブ２３０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２３１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２２８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図１６に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２２や、記憶部２２８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用した情報処理装置の構成例を示すブロック図である。図１の生徒画像生成部の構成例を示すブロック図である。図１の学習対生成部の構成例を示すブロック図である。図１の係数生成部の構成例を示すブロック図である。図１の画像演算部の構成例を示すブロック図である。図１の情報処理装置のHD画像信号生成処理を説明するフローチャートである。図６のステップＳ１のCIF画像信号生成処理を説明するフローチャートである。サブサンプリングを説明する図である。予測タップを説明する図である。参照タップを説明する図である。予測タップと参照タップの関係を説明する図である。予測タップと探索範囲の関係を説明する図である。図６のステップＳ７の係数生成処理を説明するフローチャートである。予測タップとHD画像信号の関係を説明する図である。 CIF画像信号、SD画像信号、およびHD画像信号の関係を説明する図である。パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１情報処理装置，１１生徒画像生成部，１２学習対生成部，１３係数生成部，１４画像演算部，５１タップ抽出部，５２タップ評価値計算部，５３生徒選択部，５４学習対登録部，５５タップ抽出部，５６教師選択部，７１正規方程式生成部，７２係数算出部，９１予測タップ抽出部，９２予測画像生成部

Claims

入力された第１の種類の信号から第２の種類の信号を生成する信号生成手段と、
前記第１の種類の信号と第２の種類の信号の信号対を生成する信号対生成手段と、
前記信号対に基づいて予測係数を生成する係数生成手段と、
前記第１の種類の信号に、前記予測係数を適用して第３の種類の信号を演算する演算手段と
を備えることを特徴とする情報処理装置。
前記第１乃至第３の種類の信号は、それぞれ異なる解像度の画像信号である
ことを特徴とする請求項１に記載の情報処理装置。
前記第２の種類の信号は前記第１の種類の信号より低い解像度の画像信号であり、
前記第３の種類の信号は前記第１の種類の信号より高い解像度の画像信号である
ことを特徴とする請求項２に記載の情報処理装置。
前記信号対生成手段は、
前記第１の種類の信号から第１の範囲の信号を抽出する第１の抽出手段と、
前記第２の種類の信号から第２の範囲の信号を抽出する第２の抽出手段と、
前記第１の範囲の第１の種類の信号と前記第２の範囲の第２の種類の信号の相関関係を計算する計算手段と、
前記第１の範囲の第１の種類の信号に対して閾値以上の相関を有する前記第２の範囲の第２の種類の信号と、それに対応する前記第１の種類の信号を選択する選択手段と、
選択された前記第１の種類の信号と前記第２の範囲の第２の種類の信号を前記信号対として登録する登録手段と
を備えることを特徴とする請求項１に記載の情報処理装置。
前記係数生成手段は、
前記信号対から正規方程式を生成する正規方程式生成手段と、
前記正規方程式を解いて予測係数を算出する算出手段と
を備えることを特徴とする請求項４に記載の情報処理装置。
前記演算手段は、
前記第１の種類の信号から前記第１の範囲の第１の種類の信号を抽出する第３の抽出手段と、
前記第３の抽出手段により抽出された前記第１の範囲の第１の種類の信号と前記予測係数を積和演算して前記第３の種類の信号を生成する積和演算手段と
を備えることを特徴とする請求項５に記載の情報処理装置。
入力された第１の種類の信号から第２の種類の信号を生成する信号生成ステップと、
前記第１の種類の信号と第２の種類の信号の信号対を生成する信号対生成ステップと、
前記信号対に基づいて予測係数を生成する係数生成ステップと、
前記第１の種類の信号に、前記予測係数を適用して第３の種類の信号を演算する演算ステップと
を含むことを特徴とする情報処理方法。
入力された第１の種類の信号から第２の種類の信号を生成する信号生成ステップと、
前記第１の種類の信号と第２の種類の信号の信号対を生成する信号対生成ステップと、
前記信号対に基づいて予測係数を生成する係数生成ステップと、
前記第１の種類の信号に、前記予測係数を適用して第３の種類の信号を演算する演算ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
入力された第１の種類の信号から第２の種類の信号を生成する信号生成ステップと、
前記第１の種類の信号と第２の種類の信号の信号対を生成する信号対生成ステップと、
前記信号対に基づいて予測係数を生成する係数生成ステップと、
前記第１の種類の信号に、前記予測係数を適用して第３の種類の信号を演算する演算ステップと
をコンピュータに実行させることを特徴とするプログラム。