JP2000324497A - 画像情報変換装置および変換方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像情報変換の結果として生成される画像に
おける画質を向上させる。 【解決手段】 １００Ｈｚプログレッシブ画像が垂直位
相シフトフィルタ２１および遅延回路２８に供給され
る。垂直位相シフトフィルタ２１は、処理の前提とされ
る画素位置関係に応じて、供給される画像データの位相
をずらす処理／またはそのまま出力する処理を行う。時
間間引きフィルタ２２は、垂直位相シフトフィルタ２１
の出力に基づいて、生徒画像としての５０Ｈｚインター
レース画像を生成する。正規方程式加算回路２９は、領
域切り出し部２６によって切り出されるデータと、領域
切り出し部２３、ＡＤＲＣ回路２４およびクラスコード
発生回路２５による処理によって生成されるクラスコー
ドと、遅延回路２８を介して供給される１００Ｈｚプロ
グレッシブ画像とに基づく演算処理を行う。予測係数決
定部３０は、正規方程式加算回路２９の出力に基づい
て、予測係数を算出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、入力するディジ
タル画像信号を、より画素数の大きいディジタル画像信
号に変換する画像情報変換装置および変換方法に関す
る。

【０００２】

【従来の技術】テレビジョン受像器の走査方式として
は、従来から、水平走査線（ライン）を１本おきに飛び
越して走査するインターレース走査方式が最も広く採用
されている。インターレース走査方式では、奇数番目の
ラインを走査してなる奇数フィールドと偶数番目のライ
ンを走査してなる偶数フィールドとの２枚のフィールド
によって１枚のフレームが形成される。

【０００３】インターレース走査方式は、世界各国のテ
レビジョン標準方式として採用されている。例えば欧州
のテレビジョン放送では、フィールド周波数が５０Ｈｚ
のインターレース走査方式が用いられている。

【０００４】

【発明が解決しようとする課題】フィールド周波数が５
０Ｈｚのインターレース走査方式を用いたテレビジョン
受像機では、面フリッカと称されるちらつきが表示画面
の広い範囲に渡って発生するという問題があった。面フ
リッカは、インターレース走査方式において奇数フィー
ルドから偶数フィールドに切り替わるまでに所定の時間
を要するため、各ラインが所定時間間隔毎に表示される
ことに起因して生じる。

【０００５】このような問題に対処する方法として、入
力する例えば５０ＨｚのＳＤ(Standard Definition) 画
像に基づいて、メディアンフィルタによって補間フィー
ルドを生成することにより、例えば１００Ｈｚの画像信
号を生成するフィールド倍速処理が知られている。この
方法は、補間画素を含むフィールド内、および補間画素
を含むフィールドの１フィールド前のフィールド内で当
該補間画素に近接する例えば３個の画素の内で、中間の
画素値を補間画素の画素値とするものである。

【０００６】しかしながら、このような方法では、補間
処理の対象とされるＳＤ画像が静止画像の場合に、垂直
解像度の高い画像領域において不自然な歪みが発生す
る。また、補間処理の対象とされるＳＤ画像が動画像の
場合に、１フィールド前の画素の画素値が補間画素の画
素値として選択されることがあり、このような選択がな
される場合には不自然な動きが発生するという問題があ
った。

【０００７】このような問題点を解消すべく、本願出願
人は、クラス分類適応処理を行うことによって入力画像
をフィールド倍速画像に変換する方法を提案している。
但し、かかる方法では、生成すべき画像内の画素とＳＤ
画像内の画素との位置関係によって変換性能に部分的な
ばらつきが生じ、その結果としてフィールド倍速画像全
体における画質の向上が妨げられるおそれがあった。

【０００８】従って、この発明の目的は、生成すべき画
像内の画素とＳＤ画像内の画素との間で複数種類の画素
位置関係を前提とする処理を行うことにより、例えばフ
ィールド倍速画像等の画像情報変換の結果として生成さ
れる画像における画質を向上させることが可能な、画像
情報変換装置および変換方法を提供することにある。

【０００９】

【課題を解決するための手段】請求項１の発明は、入力
するディジタル画像信号を、より画素数の大きいディジ
タル画素に変換する画像情報変換を行う画像情報変換装
置において、入力ディジタル画像信号から所定位置の画
像データを切り出す第１の画像切り出し手段と、第１の
画像切り出し手段によって切り出される画像データの各
々についてレベル分布のパターンを検出し、検出したパ
ターンに基づいて各画像データが属するクラスを決定
し、決定したクラスを表現するクラス検出情報を出力す
るクラス検出手段と、入力ディジタル画像信号から所定
位置の画像データを切り出す第２の画像切り出し手段
と、クラスに対応して予め決定された予測係数を記憶
し、記憶している予測係数の内から、クラス検出手段の
出力に対応するものを出力する係数記憶手段と、第２の
画像切り出し手段によって切り出される画像データと、
係数記憶手段から供給される予測係数とに基づいて予測
演算を行う演算処理手段とを有し、予測係数は、入力デ
ィジタル画像信号と同一の信号形式を有する生徒画像信
号と、演算処理手段によって生成されるべきディジタル
画像信号と同一の信号形式を有する教師画像信号との複
数種類の組合わせの内から選択される組合わせの下でな
される演算処理によって決定されることを特徴とする画
像情報変換装置である。

【００１０】請求項６の発明は、入力するディジタル画
像信号を、より画素数の大きいディジタル画素に変換す
る画像情報変換を行う画像情報変換方法において、入力
ディジタル画像信号から所定位置の画像データを切り出
す第１の画像切り出しステップと、第１の画像切り出し
ステップによって切り出される画像データの各々につい
てレベル分布のパターンを検出し、検出したパターンに
基づいて各画像データが属するクラスを決定し、決定し
たクラスを表現するクラス検出情報を出力するクラス検
出ステップと、入力ディジタル画像信号から所定位置の
画像データを切り出す第２の画像切り出しステップと、
クラスに対応して予め決定された予測係数を記憶し、記
憶している予測係数の内から、クラス検出ステップの結
果に対応するものを出力する係数記憶ステップと、第２
の画像切り出しステップによって切り出される画像デー
タと、係数記憶ステップによって供給される予測係数と
に基づいて予測演算を行う演算処理ステップとを有し、
予測係数は、入力ディジタル画像信号と同一の信号形式
を有する生徒画像信号と、演算処理ステップによって生
成されるべきディジタル画像信号と同一の信号形式を有
する教師画像信号との複数種類の組合わせの内から選択
される組合わせの下でなされる演算処理によって決定さ
れることを特徴とする画像情報変換方法である。

【００１１】以上のような発明によれば、生徒画像信号
と教師画像信号との複数種類の組合わせの内、所望の画
像情報変換に対してより好適な組合わせを用いて予測係
数を生成することができる。

【００１２】

【発明の実施の形態】以下、この発明の一実施形態につ
いて図面を参照して説明する。図１に、この発明の一実
施形態における画像情報変換に係る構成の一例を示す。
入力端子１を介して、ＰＡＬ方式における５０Ｈｚイン
ターレース画像がディジタル化されてなる画像信号がＳ
Ｄ画像データとして領域切り出し回路２および６に供給
される。領域切り出し回路２は、供給されるＳＤ画像デ
ータから所定の画素領域をクラスタップとして切り出
し、切り出したクラスタップのデータをＡＤＲＣ(Adapt
ive Dynamic Range Coding) 回路３に供給する。ＡＤＲ
Ｃ回路３は供給されるデータに例えばＡＤＲＣ処理を施
し、これによって生成したコード値をクラスコード発生
回路４に供給する。

【００１３】クラスコード発生回路４は、供給されるコ
ード値に基づいて、時空間におけるパターンに応じたク
ラスを示すクラスコードを発生する。発生したクラスコ
ードは係数メモリ５に供給される。係数メモリ５には、
後述するようにして予め決定された、推定演算に用いら
れる予測係数がクラスコードに対応して記憶されてい
る。

【００１４】一方、領域切り出し回路６は、供給される
５０Ｈｚインターレース画像から所定の画素領域を予測
タップとして切り出し、切り出した予測タップのデータ
を遅延回路７に供給する。遅延回路７は、供給されるデ
ータを一旦保持し、保持したデータを適切なタイミング
で推定演算回路８に供給する。これにより、予測タップ
のデータが推定演算回路８に供給されるタイミングと、
予測係数が係数メモリ５から推定演算回路８に供給され
るタイミングとが合わされる。推定演算回路８は、遅延
回路７の出力と、係数メモリ５の出力とに基づく演算を
行うことにより、フィールド倍速画像としての１００Ｈ
ｚ画像を生成する。生成される１００Ｈｚ画像は、出力
端子９を介して図示しないテレビジョン受像機等の表示
装置に供給される。

【００１５】以下、各構成要素による処理について詳細
に説明する。領域切り出し回路２が切り出すクラスタッ
プのタップ構造の一般的な例を図２に示す。ここで、水
平方向は時間の推移を示す。すなわち、＃（ｋ−２），
＃（ｋ−１），‥‥，＃（ｋ＋２）は、それぞれ、時点
ｋ−２，ｋ−１，‥‥，ｋ＋２におけるフィールドを示
している。また、垂直方向は各フィールドにおける垂直
方向を示す。５０Ｈｚインターレース画像では隣接する
フィールド間で走査線位相がずれている。この例では、
ｋ₁ 〜ｋ₇ の７個の画素がクラスタップとされる。

【００１６】ＡＤＲＣ回路３は、１画素当たり例えば８
ビットからなるクラスタップの画素データを、例えば２
ビットの再量子化コード値に変換する。このようにして
生成される再量子化コード値により、クラスタップのデ
ータにおけるレベル分布のパターンがより少ない情報量
によって表現される。すなわち、ＡＤＲＣ回路３の出力
は、パターン圧縮データとして用いられる。ＡＤＲＣ
は、本来、ＶＴＲ(VideoTape Recorder) 用の高能率符
号化のために開発された適応的再量子化法であるが、信
号レベルの局所的なパターンを短い語調で効率的に表現
できるという特徴を有する。このため、クラス分類のコ
ードを発生するための、画像信号の時空間内でのパター
ンの検出に使用することができる。ＡＤＲＣ回路３で
は、以下の式（１）により、クラスタップとして切り出
される領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指
定されたビット数で均等に分割して再量子化する。

【００１７】 ＤＲ＝ＭＡＸ−ＭＩＮ＋１ Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）×２ⁿ ／ＤＲ〕 （１） ここで、ＤＲは領域内のダイナミックレンジである。ま
た、ｎはビット割り当て数であり、例えばｎ＝２とする
ことができる。また、Ｌは領域内画素のデータレベルで
あり、Ｑが再量子化コードである。但し、大かっこ
（〔‥‥〕）は切り捨て処理を意味する。

【００１８】図２に示すようなｋ₁ 〜ｋ₇ の７画素から
なるクラスタップのタップ構造を用いる場合、上述した
ような処理により、各画素に対応する７個の再量子化コ
ードｑ₁ 〜ｑ₇ がＡＤＲＣ回路３の出力とされる。かか
る出力に基づいてクラスコード発生回路４が発生するク
ラスコードclass は、次の式（２）のようなものであ
る。

【００１９】

【数１】

【００２０】ここで、ｎはクラスタップ中の画素数であ
り、図２に示すようなクラスタップのタップ構造におい
てはｎ＝７である。また、ｐの値としては、例えばｐ＝
２とすることができる。

【００２１】また、領域切り出し回路６が切り出す予測
タップのタップ構造の一般的な例を図３に示す。ここ
で、水平方向は時間の推移を示す。すなわち、＃（ｋ−
２），＃（ｋ−１），‥‥，＃（ｋ＋２）は、それぞ
れ、時点ｋ−２，ｋ−１，‥‥，ｋ＋２におけるフィー
ルドを示している。また、垂直方向は各フィールドにお
ける垂直方向を示す。この例では、ｋ₁ 〜ｋ₇ の７個の
画素が予測タップとされる。

【００２２】このような予測タップのデータが遅延回路
７を介して推定演算回路８に供給される。推定演算回路
８は、予測タップのデータと、係数メモリ５から供給さ
れる予測係数とに基づいて以下の式（３）に従う積和演
算を行って画素値ｈｄ’を順次算出することにより、フ
ィールド倍速画像を生成する。

【００２３】 ｈｄ’＝ｗ₁ ×ｘ₁ ＋ｗ₂ ×ｘ₂ ＋‥‥＋ｗ_n ×ｘ_n （３） ここで、ｘ₁ ，‥‥，ｘ_n が各予測タップの画素データ
であり、ｗ₁ ，‥‥，ｗ_n が各予測係数である。

【００２４】上述したようにしてクラス分類適応処理に
よってフィールド倍速画像を生成する場合には、ＳＤ画
像データを単に補間処理する場合に比べ、より精度良く
フィールド倍速画像を生成することができる。なお、予
測係数は、ＳＤ画像データ内の画素位置と、生成される
べきフィールド倍速画像内の画素位置との関係に応じ
て、後述するような処理によって決定される。

【００２５】次に、ＳＤ画像としての５０Ｈｚ画像内の
画素位置とフィールド倍速画像としての１００Ｈｚ画像
内の画素位置との位置関係に応じた変換性能について説
明する。まず、本願出願人によるフィールド倍速処理に
係る先の提案（９８００２３７５０６参照）における、
創造すべきフィールドの画素位置と予測タップの画素位
置との関係の例を図４に示す。この場合、創造される１
００Ｈｚ画素ｍ₁ ，ｍ₂ ，ｍ₃ ，ｍ₄ の内、ｍ₁ は時間
的空間的に５０Ｈｚ画素と一致した位置にあるため、ｍ
₁ の創造に係る変換性能は極めて良好となる。

【００２６】これに対し、ｍ₂ およびｍ₄ は、５０Ｈｚ
画素との時間的な隔たりが大きいので、ｍ₂ およびｍ₄
の創造に係る変換性能は特に動画像においてｍ₁ の創造
に係る変換性能に比べて劣るという問題があった。一般
に、画像全体についての画質の良否は、当該画像全体の
中で最も劣化した部分に強く影響される傾向がある。こ
のため、画像全体についての画質の向上を図る上で、画
素の位置関係によって変換性能が大きく異なることは好
ましくない。

【００２７】また、１００Ｈｚ画素ｍ₂ およびｍ₄ は、
時間的な対称性を利用すると互いに同一の予測係数を使
用することによって創造することができる。これに対し
て、１００Ｈｚ画素ｍ₁ およびｍ₃ を創造するためには
それぞれ別個の予測係数を使用する必要がある。すなわ
ち、図４に示した例においては３種類の予測係数が必要
となる。このため、ハードウエアの規模が大きくなるの
で、特にハードウエアの規模が制約される場合において
問題となることがある。

【００２８】そこで、この発明は、ＳＤ画像内の画素と
フィールド倍速画像内の画素との画素位置関係としてよ
り適切なものを選択できるようにしたものである。以
下、図４に示した例と共に、図５、図６、図７にそれぞ
れ示す、この発明の一実施形態において用いることが可
能な画素位置関係の一例、他の例、さらに他の例につい
て順次説明する。

【００２９】図４に示した画素位置関係の例を用いてフ
ィールド倍速変換を行う場合には、ｍ₁ の予測精度が最
も高く、ｍ₃ の予測精度がそれに次いで高く、ｍ₂ およ
びｍ₄ の予測精度が最も低い。そして、変換によって得
られる画像全体の画質は、ｍ₂ およびｍ₄ の予測精度に
大きく影響される。また、上述したように、全部で３種
類の予測係数が必要とされる。また、この画素位置関係
においては、ラインフリッカが強調されることは無い。

【００３０】図５に示す画素位置関係の一例を用いてフ
ィールド倍速変換を行う場合には、ｍ₁ ，ｍ₃ の予測精
度に比べてｍ₂ ，ｍ₄ の予測精度が劣る。但し、図４に
示した例と比較すると、画素位置による予測精度のばら
つきは小さい。また、ｍ₁ およびｍ₃ を創造するに際し
ては、時間方向の対称性を利用することによって予測数
の共通化を行うことができる。さらに、ｍ₂ およびｍ₄
を創造するに際しては、空間（垂直）方向の対称性を利
用することによって予測数の共通化を行うことができ
る。従って、創造すべき４種類の画素について全部で２
種類の予測係数が必要となる。また、この場合にはライ
ンフリッカが強調されるおそれがある。

【００３１】図６に示す画素位置関係の他の例を用いて
フィールド倍速変換を行う場合には、ｍ₁ ，ｍ₂ ，
ｍ₃ ，ｍ₄ の４種類の画素の各々について予測精度が異
なる。但し、図４に示した例と比較するとばらつきは小
さく、ばらつきの程度は図５に示した一例と略同等とな
る。また、ｍ₁ およびｍ₃ を創造するに際しては、時間
方向の対称性を利用することによって予測係数の共通化
を行うことができる。さらに、ｍ₂ およびｍ₄ を創造す
るに際しては、空間（垂直）方向の対称性を利用するこ
とによって予測数の共通化を行うことができる。従っ
て、創造すべき４種類の画素について全部で２種類の予
測係数が必要となる。また、この場合にはラインフリッ
カが強調されることは無い。

【００３２】図７に示す画素位置関係のさらに他の例を
用いてフィールド倍速変換を行う場合には、ｍ₁ ，
ｍ₂ ，ｍ₃ ，ｍ₄ の４種類の画素の各々について予測精
度が同一となり、予測精度の画素位置によるばらつきは
無い。また、時間方向の対称性／空間（垂直）方向の対
称性を利用することによってｍ₁ 〜ｍ₄ の全ての予測係
数の共通化を行うことができる。従って、で創造すべき
４種類の画素の全てを、１種類の予測係数の下で創造す
ることができる。また、この場合にはラインフリッカが
強調されるおそれがある。

【００３３】上述したような画素位置関係の各例につい
ての特徴を考慮して、予測係数を保持するためのメモリ
容量等のハードウエア的な制約、ラインフリッカが許容
されるか否か等の用途等に係る条件等に応じて最も好適
な画素位置関係を選ぶことにより、総合的な変換性能を
向上させることができる。

【００３４】次に、この発明の一実施形態における学
習、すなわち予測係数を決定する処理について図８を参
照して説明する。入力端子２０を介して、画像情報変換
の結果として生成されるべき画像と同一の信号形式を有
する画像（教師画像と称される）内の画素を全て含む画
像が供給される。この発明の一実施形態は、５０Ｈｚ画
像を１００Ｈｚ画像に変換するものなので、１００Ｈｚ
プログレッシブ画像が入力端子２０を介して垂直位相シ
フトフィルタ２１および遅延回路２８に供給される。垂
直位相シフトフィルタ２１は、図４〜図７を参照して上
述したような画素位置関係の何れを前提として学習を行
うかに応じた処理を行う（これについては後述する）。

【００３５】垂直位相シフトフィルタ２１の出力が時間
間引きフィルタ２２に供給される。時間間引きフィルタ
２２は、垂直位相シフトフィルタ２１の出力に対して、
時間方向に平滑化する処理を施すことにより、５０Ｈｚ
インターレース画素位置に画素を生成する。このように
して、ＳＤ画像と同一の信号形式（すなわち５０Ｈｚイ
ンターレース画像）を生成することができる。かかる画
像は生徒画像と称される。生徒画像が領域切り出し回路
２３、２６に供給される。

【００３６】領域切り出し回路２３は、図１中の領域切
り出し回路２と同一の処理を行う。すなわち、領域切り
出し回路２３は、供給される生徒画像から、領域切り出
し回路２によって切り出されるものと同一の画素領域を
クラスタップとして切り出し、切り出したクラスタップ
のデータをＡＤＲＣ回路２４に供給する。ＡＤＲＣ回路
２４は、供給されるデータに図１中のＡＤＲＣ回路３と
同一の処理を施す。すなわち、上述の式（１）に示した
ような演算を行うことにより、例えば８ビットを単位と
するデータから２ビットを単位とする再量子化コードを
形成する。形成された再量子化コードがパターン圧縮デ
ータとしてクラスコード発生回路２５に供給する。

【００３７】クラスコード発生回路２５は、図１中のク
ラスコード発生回路３と同一の処理を行う。すなわち、
クラスコード発生回路２５は、ＡＤＲＣ回路２４の出力
に基づいて上述の式（２）に示したような演算を行うこ
とにより、クラスコードを発生する。クラスコード発生
回路２５の出力は、正規方程式加算回路２９に供給され
る。一方、領域切り出し回路２６は、図１中の領域切り
出し回路６と同一の処理を行う。すなわち、領域切り出
し回路２６は、供給される画像信号から、領域切り出し
回路６によって切り出されるものと同一の画素領域を予
測タップとして切り出し、切り出した予測タップのデー
タを遅延回路２７に供給する。遅延回路２７は、供給さ
れるデータを一旦保持し、その後、正規方程式加算回路
２９に供給する。

【００３８】また、遅延回路２８は、供給される１００
Ｈｚプログレッシブ画像を一旦保持し、その後、正規方
程式加算回路２９に供給する。遅延回路２８および２９
により、算処理を行ために好適なタイミングで、正規方
程式加算回路２９が領域切り出し回路２６の出力および
１００Ｈｚプログレッシブ画像を供給されることが担保
される。

【００３９】正規方程式加算回路２９は、遅延回路２７
から供給されるクラスタップのデータ、遅延回路２５か
ら供給されるクラスコード、および遅延回路２８から供
給される１００Ｈｚプログレッシブ画像に基づいて、後
述するような正規方程式のデータを算出する。ここで、
正規方程式加算回路２９は、１００Ｈｚプログレッシブ
画像から教師画像を構成するデータを抽出し、抽出した
データに基づく演算処理を行う。算出されるデータは、
予測係数決定回路３０に供給される。予測係数決定回路
３０は、供給されるデータに基づいて正規方程式を解く
ための演算を行う。かかる演算の結果として算出された
予測係数はメモリ３１に供給される。図１を参照して上
述した構成による処理を行うに先立ち、メモリ３１の記
憶内容が係数メモリ５にロードされる。

【００４０】予測係数を算出するための演算処理につい
て説明する。以下の説明では、予測タップとして切り出
される画素数を一般化してｎとする。すなわち、ｘ₁ ，
ｘ₂，‥‥，ｘ_n を予測タップとする場合、フィールド
倍速画像中の画素レベルｙが次の式（４）に従って計算
されるとする。

【００４１】 ｙ＝ｗ₁ ×ｘ₁ ＋ｗ₂ ×ｘ₂ ＋‥‥＋ｗ_n ×ｘ_n （４） 学習前は、予測係数ｗ₁ ，‥‥，ｗ_n が未定係数であ
る。学習は、クラス毎に複数の画像データについて行
う。画像データの種類数をｍと表記する場合、式（４）
から、以下の式（５）が設定される。

【００４２】 ｙ_k ＝ｗ₁ ×ｘ_k1＋ｗ₂ ×ｘ_k2＋‥‥＋ｗ_n ×ｘ_kn （５） （ｋ＝１，２，‥‥，ｍ） ｍ＞ｎの場合には、ｗ₁ ，‥‥，ｗ_n は一意に決まらな
いので、誤差ベクトルｅの要素ｅ_k を以下の式（６）で
定義して、式（７）によって定義される誤差ベクトルｅ
を最小とするように予測係数を定めるようにする。すな
わち、いわゆる最小２乗法によって予測係数を一意に定
める。

【００４３】 ｅ_k ＝ｙ_k −｛ｗ₁ ×ｘ_k1＋ｗ₂ ×ｘ_k2＋‥‥＋ｗ_n ×ｘ_kn｝ （６） （ｋ＝１，２，‥‥ｍ）

【００４４】

【数２】

【００４５】式（７）のｅ² を最小とする予測係数を求
めるための実際的な計算方法としては、ｅ² を予測係数
ｗ_i (i=1,2‥‥）で偏微分し（式（８））、ｉの各値に
ついて偏微分値が０となるように各予測係数ｗ_i を決定
すれば良い。

【００４６】

【数３】

【００４７】式（８）から各予測係数ｗ_i を決定する具
体的な手順について説明する。式（９）、（１０）のよ
うにＸ_ji，Ｙ_i を定義すると、式（８）は、式（１１）
の行列式の形に書くことができる。

【００４８】

【数４】

【００４９】

【数５】

【００５０】

【数６】

【００５１】式（１１）が一般に正規方程式と呼ばれる
ものである。正規方程式加算回路２９は、供給されるデ
ータに基づいて式（９）、（１０）に示すような演算を
行うことにより、Ｘ_ji，Ｙ_i （ｉ＝１，２，‥‥，ｎ）
をそれぞれ計算する。予測係数決定回路３０は、掃き出
し法等の一般的な行列解法に従って正規方程式（１１）
を解くことにより、予測係数ｗ_i （ｉ＝１，２，‥‥，
ｎ）を算出する。以上のような処理の結果として、統計
的に最も真値に近い推定値を各クラス毎のフィールド倍
速データｙとして推定するための予測係数が算出され
る。

【００５２】この発明は、上述したような学習を、複数
の画素位置関係の各々について選択的に行うようにした
ものである。この発明の一実施形態では、図４〜図７を
参照して上述した４種類の画素位置関係の何れに対して
も、対応する予測係数を計算できるように構成されてい
る。まず、図５および図７を参照して上述したような画
素位置関係においては、入力する５０Ｈｚ画像内の画素
と、創造すべき１００Ｈｚ画像内の画素との垂直方向の
画素位置がずれている。かかる位置関係に対応した学習
を行う際には、垂直間位相シフトフィルタ２１は、供給
される１００Ｈｚプログレッシブ画像に対して垂直方向
の位相シフトを行う。

【００５３】一方、図４および図６を参照して上述した
ような画素位置関係においては、入力する５０Ｈｚ画像
内の画素と、創造すべき１００Ｈｚ画像内の画素との垂
直方向の画素位置が一致している。かかる位置関係に対
応した学習を行う際には、垂直間引きフィルタ２１は、
位相シフトは行わず、供給される１００Ｈｚプログレッ
シブ画像をそのまま出力する。

【００５４】上述したようにして、画像情報変換の対象
および結果である、５０Ｈｚ画像および１００Ｈｚ画像
の間の複数種類の画素位置関係の内で、画像情報変換の
結果として生成されるべき１００Ｈｚ画像のとしてより
高品質の画像が生成されるような学習を行うことが可能
となる。

【００５５】また、予測係数を保持するためのメモリ容
量等のハードウエア的な制約、ラインフリッカが許容さ
れるか否か等の用途等に係る条件等に関連して最も好適
な画素位置関係に対応する学習を選択的に行うことがで
きる。これにより、より好適な画素位置関係を前提とす
るクラス分類適応処理を適用してフィールド倍速変換等
の画像情報変換を行うことが可能となるので、総合的な
変換性能を向上させることができる。

【００５６】上述したこの発明の一実施形態は、５０Ｈ
ｚ画像を１００Ｈｚ画像に変換するフィールド倍速変換
を行うものである。これに対して、学習時に、例えば垂
直方向の位相シフト等を必要に応じて行うことによって
教師画像、或いは生徒画像を生成することにより、イン
ターレース画像をプログレッシブ画像に変換する、或い
はＳＤ画像をＨＤ(High Definition) 画像に変換する等
の画像情報変換を行う場合等においても、この発明を適
用することができる。すなわち、この発明は、ディジタ
ル画像を、より画素数の多いディジタル画像に変換する
画像情報変換全般において有効である。

【００５７】また、この発明の一実施形態は、１００Ｈ
ｚのプログレッシブ画像と５０Ｈｚのインターレース画
像との間で学習を行うものであるが、学習に係る画像の
組み合わせはこれに限定されるものではない。例えば、
５０Ｈｚのプログレッシブ画像と２５Ｈｚのインターレ
ース画像との間で学習を行うようにしても良いし、６０
Ｈｚのプログレッシブ画像と３０Ｈｚのインターレース
画像との間で学習を行うようにしても良い。

【００５８】また、上述したこの発明の一実施形態で
は、５０Ｈｚ画像等の入力画像の空間波形を少ないビッ
ト数でパターン化するためにＡＤＲＣを行うようにして
いる。これに対して、時空間内における画像パターンを
少ないクラスで表現することに資するような情報圧縮方
法であれば、ＡＤＲＣ以外の方法を用いるよういにして
も良い。例えば、ＤＰＣＭ(Differential Pulse Code M
odulation)や、ＶＱ（Vector Quantization ）等の方法
を用いるようにしても良い。

【００５９】この発明は、上述したこの発明の一実施形
態に限定されるものでは無く、この発明の主旨を逸脱し
ない範囲内で様々な変形や応用が可能である。

【００６０】

【発明の効果】この発明によれば、生徒画像と教師画像
との複数種類の組合わせの内から何れかの組合わせを選
択し、選択した組合わせの下で学習を行うことによって
決定される予測係数を使用して予測演算を行うことがで
きる。

【００６１】このため、画像情報変換の結果としてより
高品質の画像が生成されるような学習を行うことが可能
となる。

【００６２】また、予測係数を保持するためのメモリ容
量等のハードウエア的な制約、ラインフリッカが許容さ
れるか否か等の用途等に係る条件等に関連して最も好適
な画素位置関係に対応する学習を行うことが可能とな
る。

【００６３】また、生徒画像と教師画像との組合わせに
よって時間方向或いは空間方向の対称性が異なることに
起因して、予測係数の種類数も異なるので、予測係数と
して記憶されるべきデータ量は、選択される生徒画像と
教師画像との組合わせによって異なる。このため、この
発明を適用することにより、装置の仕様等において許容
される予測係数用のメモリの容量等の条件により適合す
る画像情報変換を行うことができる。

【図面の簡単な説明】

【図１】この発明の一実施形態における画像情報変換に
係る構成の一例を示すブロック図である。

【図２】クラスタップのタップ構造の一例を示す略線図
である。

【図３】予測タップのタップ構造の一例を示す略線図で
ある。

【図４】本願出願人の先の提案に係る画像情報変換にお
ける画素位置関係について説明するための略線図であ
る。

【図５】この発明の一実施形態において用いることがで
きる画素位置関係の一例について説明するための略線図
である。

【図６】この発明の一実施形態において用いることがで
きる画素位置関係の他の例について説明するための略線
図である。

【図７】この発明の一実施形態において用いることがで
きる画素位置関係のさらに他の一例について説明するた
めの略線図である。

【図８】この発明の一実施形態における学習について説
明するためのブロック図である。

【符号の説明】

２１・・・垂直位相シフトフィルタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 内田 真史 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 服部 正明 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 宮井 岳志 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK02 LA06 LA07 MA19 MA28 PP04 SS05

Claims (6)

【特許請求の範囲】
1. 【請求項１】 入力するディジタル画像信号を、より画
   素数の大きいディジタル画素に変換する画像情報変換を
   行う画像情報変換装置において、 入力ディジタル画像信号から所定位置の画像データを切
   り出す第１の画像切り出し手段と、 上記第１の画像切り出し手段によって切り出される画像
   データの各々についてレベル分布のパターンを検出し、
   検出したパターンに基づいて各画像データが属するクラ
   スを決定し、決定したクラスを表現するクラス検出情報
   を出力するクラス検出手段と、 上記入力ディジタル画像信号から所定位置の画像データ
   を切り出す第２の画像切り出し手段と、 上記クラスに対応して予め決定された予測係数を記憶
   し、記憶している予測係数の内から、上記クラス検出手
   段の出力に対応するものを出力する係数記憶手段と、 上記第２の画像切り出し手段によって切り出される画像
   データと、上記係数記憶手段から供給される予測係数と
   に基づいて予測演算を行う演算処理手段とを有し、 上記予測係数は、 上記入力ディジタル画像信号と同一の信号形式を有する
   生徒画像信号と、上記演算処理手段によって生成される
   べきディジタル画像信号と同一の信号形式を有する教師
   画像信号との複数種類の組合わせの内から選択される組
   合わせの下でなされる演算処理によって決定されること
   を特徴とする画像情報変換装置。
2. 【請求項２】 請求項１において、 上記演算処理手段は、 単位時間当たりのフィールド数が上記入力するディジタ
   ル画像信号の２倍となるようなディジタル画像信号を生
   成することを特徴とする画像情報変換装置。
3. 【請求項３】 請求項１において、 上記生徒画像信号と教師画像信号との複数種類の組合わ
   せは、 画素位置が互いに異なる生徒信号と教師信号との組み合
   わせを含むことを特徴とする画像情報変換装置。
4. 【請求項４】 請求項３において、 上記生徒画像信号と教師画像信号との複数種類の組合わ
   せは、 垂直方向の画素位置が互いに異なる生徒信号と教師信号
   との組み合わせを含むことを特徴とする画像情報変換装
   置。
5. 【請求項５】 請求項１において、 上記生徒画像信号と上記教師画像信号との間に垂直位相
   のずれを生じさせる垂直位相シフト手段を有することを
   特徴とする画像情報変換装置。
6. 【請求項６】 入力するディジタル画像信号を、より画
   素数の大きいディジタル画素に変換する画像情報変換を
   行う画像情報変換方法において、 入力ディジタル画像信号から所定位置の画像データを切
   り出す第１の画像切り出しステップと、 上記第１の画像切り出しステップによって切り出される
   画像データの各々についてレベル分布のパターンを検出
   し、検出したパターンに基づいて各画像データが属する
   クラスを決定し、決定したクラスを表現するクラス検出
   情報を出力するクラス検出ステップと、 上記入力ディジタル画像信号から所定位置の画像データ
   を切り出す第２の画像切り出しステップと、 上記クラスに対応して予め決定された予測係数を記憶
   し、記憶している予測係数の内から、上記クラス検出ス
   テップの結果に対応するものを出力する係数記憶ステッ
   プと、 上記第２の画像切り出しステップによって切り出される
   画像データと、上記係数記憶ステップによって供給され
   る予測係数とに基づいて予測演算を行う演算処理ステッ
   プとを有し、 上記予測係数は、 上記入力ディジタル画像信号と同一の信号形式を有する
   生徒画像信号と、上記演算処理ステップによって生成さ
   れるべきディジタル画像信号と同一の信号形式を有する
   教師画像信号との複数種類の組合わせの内から選択され
   る組合わせの下でなされる演算処理によって決定される
   ことを特徴とする画像情報変換方法。