JP2000083224A

JP2000083224A - 画像情報変換装置

Info

Publication number: JP2000083224A
Application number: JP10251580A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Wataru Niitsuma; 渉新妻; Yasushi Tatsuhira; 靖立平; Masashi Uchida; 真史内田; Nobuyuki Asakura; 伸幸朝倉; Takuo Morimura; 卓夫守村; Masaru Inoue; 賢井上; Kazutaka Ando; 一隆安藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-09-04
Filing date: 1998-09-04
Publication date: 2000-03-21
Anticipated expiration: 2018-09-04
Also published as: JP4099555B2

Abstract

(57)【要約】【課題】画像情報変換処理において、予測係数データ
を記憶するメモリの総記憶容量を削減する。【解決手段】係数メモリ１１０内に、所定の記憶容量
を有するメモリモジュール１１１₁〜１１１_nを設け
る。各メモリモジュールにはクラスコードが供給され、
クラスコードに従って、各メモリモジュールが記憶して
いる予測係数データが出力される。これらの予測係数デ
ータは、後段のデコーダ・セレクタ１１２に供給され
る。デコーダ・セレクタ１１２は、クラスコードと、入
力画像信号の信号形式と出力画像信号の信号形式との複
数種類の組合わせに係る画像情報変換のモードを示すモ
ード信号とを供給される。そして、クラスコードとモー
ド信号とを参照して、メモリモジュール１１１₁〜１１
１_nの出力をモードに適合するように予測係数データａ
またはｂとして選択的に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、入力画像信号か
らより高い解像度を有する画像信号を生成する機能を有
する画像情報変換装置に関する。

【０００２】

【従来の技術】入力画像信号よりも解像度の高い画像信
号を得る等の目的で、入力画像信号とは走査線構造が異
なる出力画像信号を形成する画像情報変換処理が行われ
る。画像情報変換処理として、入力画像信号の信号レベ
ルの３次元（時空間）分布に応じてクラス分割を行い、
それによって得られるクラス値を参照して画素の予測生
成を行う、クラス分類適応処理が提案されている。

【０００３】クラス分類適応処理において、予測生成に
係る演算処理は、クラス毎に所定の演算によって決定さ
れる予測係数を用いてなされる。従って、予測係数を表
現する予測係数データを装置内のメモリに記憶しておく
必要がある。

【０００４】予測生成されるべき画素の集合体であるラ
インデータは、入力画像信号内の走査線との位置関係の
違い等によって一般に２種類以上がある。ラインデータ
の種類は、入力画像信号の信号形式と出力画像信号の信
号形式との組合わせによって決まる。そして、ラインデ
ータの種類によって、予測生成のために使用される係数
の種類が異なる。従って、予測係数データを記憶するメ
モリには、ラインデータの種類毎に、２種類またはそれ
以上の種類の予測係数データを記憶する必要がある。

【０００５】一般に、各々の種類のラインデータに対応
する予測係数データのデータ量は、それぞれ異なる。こ
のため、予測係数データを記憶するメモリ内で、複数種
類のラインデータに対応する予測係数データに対応し
て、複数個の異なる記憶容量を有する領域を割り当てる
必要がある。さらに、上述したように、ラインデータの
種類は、入力画像信号の信号形式と出力画像信号の信号
形式との組合わせによって決まる。このため、入力画像
信号の信号形式と出力画像信号の信号形式との２個以上
の組合わせに係る画像情報変換処理を行うためには、各
組合わせにおいて予測生成する必要があるラインデータ
の各々に係る予測係数データを記憶する必要がある。従
って、メモリ内に、各予測係数データに対応して記憶容
量が可変となる記憶領域を設定する必要がある。

【０００６】

【発明が解決しようとする課題】このような記憶領域を
設定するために、メモリ内に、同等の記憶容量を有す
る、ラインデータの種類数に等しい個数の記憶領域を予
め設ける構成が従来から用いられている。この場合、各
記憶領域は、想定される全ての画像情報変換処理におい
て予測生成すべきラインデータに対応する予測係数デー
タの内、最大のデータ量となるものを記憶するために充
分な記憶容量を有する必要がある。

【０００７】このため、最大のデータ量となる予測係数
データ以外の予測係数データを記憶する場合には、割り
当てられている領域の一部のみが予測係数データを記憶
するために使用されることになり、使用されない部分に
相当する記憶容量が無駄となる。従って、無駄となる記
憶容量の分だけ、メモリの記憶容量を大きく設定する必
要があった。このことがコストの削減を妨げる要因とな
っていた。

【０００８】従って、この発明の目的は、特に入力画像
信号の信号形式と出力画像信号の信号形式との複数種類
の組合わせに係る画像情報変換処理を行うに際して、予
測係数データを記憶するメモリの総記憶容量を削減する
ことができる画像情報変換装置を提供することにある。

【０００９】

【課題を解決するための手段】請求項１の発明は、入力
画像信号から走査線構造の異なる出力画像信号を形成す
るようにした画像情報変換装置において、所定の注目点
に対して所定の位置関係にある近傍画素を、入力画像信
号から選択する第１の画像データ選択手段と、第１の画
像データ選択手段によって選択される画像データから、
レベル分布のパターンを検出し、検出したパターンに基
づいて注目点が属する空間クラスを示す空間クラスコー
ドを決定する空間クラス検出手段と、入力画像信号か
ら、入力画像信号内の複数のフレーム内において、注目
点と所定の位置関係にある近傍画素を選択する第２の画
像データ選択手段と、入力画像信号から、注目点を含
み、注目点に対して所定の位置関係にある近傍画素を選
択する第２の画像データ選択手段と、空間クラス毎に予
め決定された予測係数データを記憶し、空間クラスコー
ドと、入力画像信号の信号形式と出力画像信号の信号形
式との組合わせに応じて決まる情報変換のモードとに従
って予測係数データを選択的に出力する記憶手段と、記
憶手段の出力と、第２の画像データ選択手段によって得
られる画像データとに基づいて、出力画像信号を推定す
るための演算処理を行う演算処理手段とを有し、記憶手
段は、予測係数データを記憶し、記憶した予測係数デー
タをクラスコードに従って出力する、同一の記憶容量を
有する複数個のメモリモジュールと、メモリモジュール
の出力の供給先を、画像情報変換のモードに応じて切換
えるデータ供給先選択手段とを含むことを特徴とする画
像情報変換装置である。

【００１０】請求項２の発明は、入力画像信号から走査
線構造の異なる出力画像信号を形成するようにした画像
情報変換装置において、所定の注目点に対して所定の位
置関係にある近傍画素を、入力画像信号から選択する第
１の画像データ選択手段と、第１の画像データ選択手段
によって選択される画像データから、レベル分布のパタ
ーンを検出し、検出したパターンに基づいて注目点が属
する空間クラスを示す空間クラスコードを決定する空間
クラス検出手段と、入力画像信号から、入力画像信号内
の複数のフレーム内において、注目点と所定の位置関係
にある近傍画素を選択する第２の画像データ選択手段
と、第２の画像データ選択手段によって選択される画像
データから、フレーム間差分絶対値の総和を計算し、計
算結果に基づいて動きを表す動きクラスコードを決定す
る動きクラス検出手段と、空間クラスコードと動きクラ
スコードとを合成してクラスコードを生成するクラス合
成手段と、入力画像信号から、注目点を含み、注目点に
対して所定の位置関係にある近傍画素を選択する第３の
画像データ選択手段と、クラス毎に予め決定された予測
係数データを記憶し、クラスコードと、入力画像信号の
信号形式と出力画像信号の信号形式との組合わせに応じ
て決まる情報変換のモードとに従って予測係数データを
選択的に出力する記憶手段と、記憶手段の出力と、第３
の画像データ選択手段によって得られる画像データとに
基づいて、出力画像信号を推定するための演算処理を行
う演算処理手段とを有し、記憶手段は、予測係数データ
を記憶し、記憶した予測係数データをクラスコードに従
って出力する、同一の記憶容量を有する複数個のメモリ
モジュールと、メモリモジュールの出力の供給先を、画
像情報変換のモードに応じて切換えるデータ供給先選択
手段とを有することを特徴とする画像情報変換装置であ
る。

【００１１】以上のような発明によれば、予測係数を記
憶するメモリ上で無駄となる記憶容量を削減することが
できる。

【００１２】

【発明の実施の形態】この発明の一実施形態についての
説明に先立ち、その前提となる画像情報変換処理につい
て以下に説明する。かかる処理は、入力画像信号であ
る、標準解像度のディジタル画像信号（以下、入力ＳＤ
信号と表記する）を高解像度の出力画像信号（ＨＤ信号
と称されることがある）に変換するものである。この際
の入力ＳＤ信号としては、例えばライン数が５２５本で
インターレス方式の画像信号（以下、５２５ｉ信号と表
記する）等が用いられる。また、出力画像信号として
は、ライン数が５２５本でプログレッシブ方式の画像信
号（以下、５２５ｐ信号と表記する）、ライン数が１０
５０本でインターレス方式の画像信号（以下、１０５０
ｉ信号と表記する）等が用いられる。

【００１３】かかる画像情報変換処理においては、本願
出願人の提案に係るクラス分類適応処理によって解像度
を高めようとしている。クラス分類適応処理は、従来の
補間処理によって高解像度信号を形成するものとは異な
る。すなわち、クラス分類適応処理は、入力ＳＤ信号の
信号レベルの３次元（時空間）分布に応じてクラス分割
を行い、クラス毎に予め学習によって獲得された予測計
数値を所定の記憶部に格納し、予測式に基づいた演算に
よって最適な推定値を出力する処理である。クラス分類
適応処理によって、入力ＳＤ信号の解像度以上の解像度
を得ることが可能となる。

【００１４】上述したような画像情報変換処理を行うた
めの一般的な構成の一例を図１に示す。入力ＳＤ信号が
タップ選択回路１、６、７に供給される。タップ選択回
路１は、入力ＳＤ信号から複数の画素が含まれる領域を
切り出し、切り出した領域から推定予測演算回路４によ
ってなされる演算処理に使用されるＳＤ画素（以下、予
測タップと表記する）を選択する。そして、選択した予
測タップを推定予測演算回路４に供給する。なお、予測
精度を向上させるために、予測タップの選択は、クラス
に対応する予測タップ位置情報を参照してなされる。

【００１５】また、推定予測演算回路４は、後述する係
数メモリ１１から演算処理に使用される予測係数データ
を供給される。供給される予測係数データには、ｙ１，
ｙ２の予測生成に使用される２種類がある。推定予測演
算回路４、５は、タップ選択回路１から供給される予測
タップ、および係数メモリ１１から供給される予測係数
に基づいて、以下の式（１）に従って画素値ｙを順次予
測生成する。

【００１６】ｙ＝ｗ₁×ｘ₁＋ｗ₂×ｘ₂＋‥‥＋ｗ_n×ｘ_n （１）ここで、ｘ₁，‥‥，ｘ_nが各予測タップであり、
ｗ₁，‥‥，ｗ_nが各予測係数である。すなわち、式
（１）は、ｎ個の予測タップを用いて画素値ｙを予測生
成するための式である。画素値ｙの列として、出力画像
信号内の２種類のラインデータｙ１、ｙ２（これらにつ
いては後述する）が予測生成される。

【００１７】推定予測演算回路４は、ラインデータｙ
１、ｙ２を線順序変換回路５に供給する。線順序変換回
路５は、供給されるラインデータｙ１、ｙ２にライン倍
速処理を施し、高解像度信号を生成する。この高解像度
信号が最終的な出力画像信号とされる。図示しないが、
出力画像信号がＣＲＴディスプレイに供給される。ＣＲ
Ｔディスプレイは、例えば５２５ｐ信号等の出力画像信
号を表示することが可能であるように、その同期系が構
成されている。また、入力ＳＤ信号としては、放送信
号、またはＶＴＲ等の再生装置の再生信号が供給され
る。すなわち、この画像情報変換処理系の一例をテレビ
ジョン受像機等に内蔵することができる。

【００１８】一方、タップ選択回路６は、入力ＳＤ信号
から空間クラスを検出するために必要なＳＤ画素（以
下、空間クラスタップと表記する）を選択する。タップ
選択回路６の出力が空間クラス検出回路８に供給され
る。また、タップ選択回路７は、入力ＳＤ信号から動き
クラスを検出するために必要なＳＤ画素（以下、動きク
ラスタップと表記する）を選択する。タップ選択回路７
の出力が動きクラス検出回路９に供給される。空間クラ
ス検出回路８は、供給される空間クラスタップに基づい
て空間クラスコードを検出し、検出した空間クラスコー
ドをクラス合成回路１０に供給する。また、動きクラス
検出回路９は、供給される動きクラスタップに基づいて
動きクラスコードを検出し、検出した空間クラスコード
をクラス合成回路１０に供給する。

【００１９】クラス合成回路１０は、空間クラスコード
と動きクラスコードとを合成し、合成されたクラスコー
ドを係数メモリ１１に供給する。係数メモリ１１は、後
述する学習によって予め決められた予測係数を記憶して
いる。そして、クラス合成回路１０から供給される、合
成されたクラスコードによって指定される予測係数デー
タを、推定予測演算回路４に対して出力する。このよう
な出力を行うためには、合成されたクラス情報によって
指定されるアドレスに沿って、係数メモリ１１に予測係
数データを記憶しておく等の方法を用いれば良い。

【００２０】ここで、空間クラス検出についてより詳細
に説明する。一般に、空間クラス検出回路は、空間クラ
スタップのレベル分布のパターンに基づいて画像データ
のレベル分布の空間的パターンを検出し、検出した空間
的パターンに基づいて空間クラスコードを生成する。こ
の場合、クラス数が膨大になることを防ぐために、各画
素について８ビットの入力画素データをより少ないビッ
ト数のデータに圧縮するような処理を行う。このような
情報圧縮処理の一例として、ＡＤＲＣ(Adaptive Dynami
c Range Coding) を用いることができる。また、情報圧
縮処理として、ＤＰＣＭ（予測符号化）、ＶＱ（ベクト
ル量子化）等を用いることもできる。

【００２１】ＡＤＲＣは、本来、ＶＴＲ(Video Tape Re
coder)向け高能率符号化用に開発された適応的再量子化
法であるが、信号レベルの局所的なパターンを短い語長
で効率的に表現できるので、この一形態では、ＡＤＲＣ
を空間クラス分類のコード発生に使用している。ＡＤＲ
Ｃは、空間クラスタップのダイナミックレンジをＤＲ，
ビット割当をｎ，空間クラスタップの画素のデータレベ
ルをＬ，再量子化コードをＱとして、以下の式（２）に
より、最大値ＭＡＸと最小値ＭＩＮとの間を指定された
ビット長で均等に分割して再量子化を行う。

【００２２】ＤＲ＝ＭＡＸ−ＭＩＮ＋１Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝（２）但し、｛｝は切り捨て処理を意味する。

【００２３】次に、動きクラス検出についてより詳細に
説明する。動きクラス検出回路２１は、供給される動き
クラスタップに基づいて、以下の式（３）に従ってフレ
ーム間差分絶対値の平均値ｐａｒａｍを計算する。そし
て、計算したｐａｒａｍの値に基づいて、動きクラスコ
ードを検出する。

【００２４】

【数１】

【００２５】式（３）においてｎは動きクラスタップ数
であり、例えばｎ＝６と設定することができる。そし
て、ｐａｒａｍの値と、予め設定されたしきい値とを比
較することによって動きの指標である動きクラスコード
が決定される。例えば、ｐａｒａｍ≦２の場合には動き
クラスコード０、２＜ｐａｒａｍ≦４の場合には動きク
ラスコード１、４＜ｐａｒａｍ≦８の場合には動きクラ
スコード２、ｐａｒａｍ＞８の場合には動きクラスコー
ド３というように動きクラスコードが生成される。動き
クラスコード０が動きが最小（静止）であり、動きクラ
スコード１、２、３となるに従って動きが大きいものと
判断される。なお、動きベクトルを検出し、検出した動
きベクトルに基づいて動きクラスを検出しても良い。

【００２６】次に、予測係数の生成に係る処理について
説明する。図２に、予測係数生成処理系の構成の一例を
示す。出力画像信号と同じ信号形式を有する既知の信号
（例えば５２５ｐ信号）が間引きフィルタ２０、および
正規方程式加算回路２７に供給される。間引きフィルタ
５１は、水平方向および垂直方向で画素数がそれぞれ１
／２とされ、全体として供給される信号の１／４の画素
数を有するＳＤ信号（例えば５２５ｉ信号）を生成す
る。

【００２７】かかる処理として、例えば、入力する画像
信号について垂直方向の周波数が１／２になるように垂
直間引きフィルタによって画素を間引き、さらに、水平
方向の周波数が１／２になるように水平間引きフィルタ
によって画素を間引く等の処理が行われる。間引きフィ
ルタ５１が生成するＳＤ信号がタップ選択回路２１、２
２、２３に供給される。間引きフィルタ２０の特性を変
えることによって学習の特性を変え、それによって、変
換して得られる画像の画質を制御することができる。

【００２８】タップ選択回路２１は、予測タップを選択
し、選択した予測タップを正規方程式加算回路２７に供
給する。また、タップ選択回路２２は、予測タップを選
択し、選択した予測タップを空間クラス検出回路２４に
供給する。一方、タップ選択回路２３は、予測タップを
選択し、選択した予測タップを動きクラス検出回路２５
に供給する。空間クラス検出回路２４は、供給される空
間クラスタップに基づいて空間クラスコードを検出し、
検出した空間クラスコードをクラス合成回路２６に供給
する。また、動きクラス検出回路２４は、供給される動
きクラスタップに基づいて動きクラスコードを検出し、
検出した動きクラスコードをクラス合成回路２６に供給
する。クラス合成回路２６は、供給される空間クラスコ
ードおよび動きクラスコードを合成し、合成したクラス
コードを正規方程式加算回路２７に供給する。

【００２９】正規方程式加算回路２７は、予測係数を解
とする正規方程式を解くための計算処理に使用されるデ
ータを算出する。すなわち、正規方程式加算回路２７
は、入力ＳＤ信号、タップ選択回路２１の出力、および
クラス合成回路２６の出力に基づいて加算処理を行うこ
とにより、ラインデータｙ１，ｙ２の予測生成に使用さ
れる予測係数を解とする正規方程式を解くために必要な
データを算出する。正規方程式加算回路２７の出力は、
予測係数決定回路２８に供給される。予測係数決定回路
２８は、供給されるデータに基づいて正規方程式を解く
ための計算処理を行い、ラインデータｙ１，ｙ２の予測
生成に使用される予測係数を算出する。算出される予測
係数が係数メモリ２９に供給され、記憶される。

【００３０】ここで、正規方程式について説明する。上
述したように、ｎ個の予測タップを使用して、ラインデ
ータｙ１，ｙ２を構成する各画素は、上述の式（１）に
よって順次予測生成される。式（１）において、学習前
は予測係数ｗ₁，‥‥，ｗ_nが未定係数である。学習
は、クラス毎に複数の入力データ（上述したように出力
画像信号と同じ信号形式を有する既知の信号）を入力す
ることによって行う。かかる入力データの総数をｍと表
記する場合、式（１）に従って、以下の式（４）が設定
される。

【００３１】ｙ_k＝ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋‥‥＋ｗ_n×ｘ_kn （４）（ｋ＝１，２，‥‥，ｍ）ｍ＞ｎの場合、予測係数ｗ₁，‥‥，ｗ_nは一意に決ま
らないので、誤差ベクトルｅの要素ｅ_kを以下の式
（５）で定義して、式（６）によって定義される誤差ベ
クトルｅを最小とするように予測係数を定めるようにす
る。すなわち、いわゆる最小２乗法によって予測係数を
一意に定める。

【００３２】ｅ_k＝ｙ_k−｛ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋‥‥＋ｗ_n×ｘ_kn｝（５）（ｋ＝１，２，‥‥ｍ）

【００３３】

【数２】

【００３４】式（６）のｅ²を最小とする予測係数を求
めるための実際的な計算方法としては、ｅ²を予測係数
ｗ_i(i=1,2‥‥）で偏微分し（式（７））、ｉの各値に
ついて偏微分値が０となるように各予測係数ｗ_iを定め
れば良い。

【００３５】

【数３】

【００３６】式（７）から各予測係数ｗ_iを定める具体
的な手順について説明する。式（８）、（９）のように
Ｘ_ji，Ｙ_iを定義すると、式（７）は、式（１０）の行
列式の形に書くことができる。

【００３７】

【数４】

【００３８】

【数５】

【００３９】

【数６】

【００４０】式（１０）が一般に正規方程式と呼ばれる
ものである。正規方程式加算回路２７は、クラス合成回
路２６から供給されたクラス情報、予測タップ選択回路
２１から供給される予測タップ、および入力データに基
づいて、正規方程式データ、すなわち、式（８）、
（９）に従うＸ_ji，Ｙ_iの値を算出する。そして、算出
した正規方程式データを予測係数決定部２８に供給す
る。予測係数決定部２８は、正規方程式データに基づい
て、掃き出し法等の一般的な行列解法に従って正規方程
式を解くための計算処理を行って予測係数ｗ_iを算出す
る。

【００４１】このような処理によって得られる画像信号
についてより詳細に説明する。まず、１フィールドの画
像の一部を拡大することによって、入力ＳＤ信号として
の５２５ｉ信号を出力画像信号としての５２５ｐ信号に
変換する画像情報変換処理における画素の配置の一例を
図３に示す。ここで、大きなドットが５２５ｉ信号の画
素を示し、また、小さなドットが５２５ｐ信号の画素を
示す。５２５ｉ信号のラインと同一位置のラインデータ
ｙ１（黒塗りの小さいドットとして示した）および５２
５ｉ信号の上下のラインの中間位置のラインデータｙ２
（白抜きの小さいドットとして示した）とが形成される
ことによって５２５ｐ信号が予測生成される。

【００４２】なお、図３は、あるフレームの奇数フィー
ルドの画素配置を示している。他のフィールド（偶数フ
ィールド）では、５２５ｉ信号および５２５ｐ信号の各
ラインが空間的に０．５ラインずれることになる。図３
から分かるように、５２５ｉ信号のラインと同一位置の
ラインデータｙ１（黒塗りの小さいドットとして示し
た）および５２５ｉ信号の上下のラインの中間位置のラ
インデータｙ２（白抜きの小さいドットとして示した）
とが形成されることによって５２５ｐ信号が予測生成さ
れる。

【００４３】ここで、ｙ１は５２５ｉ信号のラインに対
応する位置にあるラインデータであるのに対し、ｙ２は
５２５ｉ信号のラインに対応しない位置にあるので、新
たに予測することによって生成されるポイントである。
従って、ｙ２を予測生成する方がｙ１を予測生成するよ
りも困難である。このため、ｙ２を予測生成する場合に
は、ｙ１を予測生成する場合よりも多くのクラス数を割
り当て、それによってよりきめ細かな予測係数が使用で
きるようにする必要がある。従って、係数メモリ１１に
おいても、ｙ１の予測生成に係る予測係数を記憶する記
憶領域よりも、ｙ２の予測生成に係る予測係数を記憶す
る記憶領域の方が大きくなるように設定される必要があ
る。

【００４４】一方、図４は、１フィールドの画像の一部
を拡大することによって、入力ＳＤ信号としての５２５
ｉ信号を出力画像信号としての１０５０ｉ信号に変換す
る画像情報変換処理における画素の配置の一例を示す略
線図である。ここで、大きなドットが５２５ｉ信号の画
素を示し、また、小さなドットが１０５０ｉ信号の画素
を示す。ここで、実線で示したラインデータｙ１，ｙ２
は、あるフレームの奇数フィールドの画素配置である。
他のフィールド（偶数フィールド）のラインは、点線で
示すように空間的に０．５ラインずれたものであり、ラ
インデータｙ１’，ｙ２’の画素が形成される。

【００４５】図４においては、ラインデータｙ１、ｙ２
の各々について、それらを予測生成する際の困難さは同
等である。このため、ｙ１、ｙ２をそれぞれ予測生成す
る場合に割り当てるべきクラス数は両者について同等と
すれば良い。従って、係数メモリ１１においても、ｙ
１、ｙ２の予測生成にそれぞれ係る予測係数を記憶する
記憶領域も、互いに同等な大きさを有するように設定さ
れる必要がある。

【００４６】図３、図４を参照して上述したことから、
入力ＳＤ信号の信号形式と出力画像信号の信号形式との
２種類以上の組合わせに対して画像情報変換を行うため
には、係数メモリ１１において、ｙ１、ｙ２の予測生成
にそれぞれ係る予測係数を記憶する記憶領域の大きさの
配分を切換える必要があることがわかる。入力ＳＤ信号
の信号形式と出力画像信号の信号形式との２種類以上の
組合わせに応じた、記憶領域の大きさの配分等に係る設
定を、以下の説明においては画像情報変換のモードと称
する。

【００４７】また、以下の説明においては、画像情報変
換のモードの例として、入力ＳＤ信号としての５２５ｉ
信号を出力画像信としての５２５ｐ信号に変換する画像
情報変換のモード（以下、モードＡと表記する）、およ
び入力ＳＤ信号としての５２５ｉ信号を出力画像信とし
ての１０５０ｉ信号に変換する画像情報変換のモード
（以下、モードＢと表記する）を用いる。

【００４８】まず、図１を参照して上述した一般的な画
像情報変換処理系中の係数メモリ１１について、図５を
参照して説明する。係数メモリ１１は、ｙ１、ｙ２の予
測生成にそれぞれ係る予測係数を記憶するための２つの
同等な記憶容量を有するメモリモジュール１１ａ，１１
ｂを含み、メモリモジュール１１ａ，１１ｂがそれぞれ
ラインデータｙ１、ｙ２の予測生成に係る予測係数を記
憶するために割り当てられる。このような構成におい
て、予測係数データの記憶のために、各メモリモジュー
ルが以下のように使用される。

【００４９】以下の説明において参照する図面中で、ｙ
１の予測生成に係る係数データを記憶する領域には斜線
を付して示し、また、ｙ２の予測生成に係る係数データ
を記憶する領域には網かけを付して示すことにする。図
５Ａには、モードＡにおける各メモリモジュールの使用
状況の一例を示す。ここでは、ｙ１の予測生成に係る係
数データを記憶する領域が６４バイトであるのに対し、
ｙ２の予測生成に係る係数データを記憶する領域が５１
２バイトである。一方、図５Ｂには、モードＢにおける
各メモリモジュールの使用状況の一例を示す。ここで
は、ｙ１，ｙ２の予測生成に係る係数データが共に２５
６バイトである。

【００５０】従って、モードＡ，Ｂにおいてｙ１または
ｙ２の予測生成に係る予測係数データのデータ量は最大
で５１２バイトとなる。かかる状況に対応できるよう
に、メモリモジュール１１ａ，１１ｂの記憶容量が５１
２バイトに設定される。この場合、係数メモリ１１の総
記憶容量は、５１２×２＝１０２４バイトとなる。

【００５１】以上のような構成を有する係数メモリ１１
において、モードＡを行う場合には、メモリモジュール
１１ａにおいて５１２−６４＝４４８バイトが無駄とな
る。また、モードＢにおいては、図５Ｂに示すように、
メモリモジュール１１ａにおいて５１２−６４＝４４８
バイトが無駄となり、全体として５１２バイトが無駄と
なる。

【００５２】このように、一般的な画像情報変換処理系
においては、特に複数個の画像情報変換のモードを行う
場合において、係数メモリ内に無駄となる記憶領域が生
じる。このため、無駄な記憶領域の分だけ、係数メモリ
の総記憶容量を、各モードにおいて記憶する必要がある
予測係数データの総データ量に比して大きく設定する必
要がある。このことが装置のコスト低減を妨げる要因と
なっていた。

【００５３】そこで、この発明は、係数メモリ内で無駄
となる記憶領域を削減することにより、係数メモリの総
記憶容量を削減するようにしたものである。以下、この
発明の一実施形態について説明する。

【００５４】図６に、この発明の一実施形態における予
測係数生成処理系の構成の一例を示す。ここで、図１等
を参照して上述した一般的な予測係数生成処理系中の構
成要素と同様な構成要素には、同一の符号を付した。図
１中の係数メモリ１１の代わりに係数メモリ１１０が使
用される。なお、予測係数生成処理系としては、例え
ば、図２等を参照して上述した一般的な予測係数生成処
理系と同様な構成を用いることができる。

【００５５】係数メモリ１１０について、図７を参照し
て説明する。係数メモリ１１０は、同等の記憶容量を有
する複数個のメモリモジュールを有する。説明の都合
上、これらのメモリモジュールをメモリモジュール１１
１₁，１１１₂，・・・，１１１_nと表記する。メモリ
モジュール１１１₁，１１１₂，・・・，１１１_nに
は、それぞれ、上述したようにしてクラス合成回路１０
からクラスコードが供給される。そして、供給されるク
ラスコードに応じて、メモリモジュール１１１₁〜１１
１_nが記憶している予測係数データをデコーダ・セレク
タ１１２に供給する。デコーダ・セレクタ１１２には、
さらに、クラスコードと、モード信号とが供給される。

【００５６】ここで、モード信号は、画像情報変換のモ
ードを示す信号である。デコーダ・セレクタ１１２は、
メモリモジュール１１１₁〜１１１_nから出力される予
測係数データを、クラスコードとモード信号とに従って
選択的に出力する。かかる選択的な出力について以下に
説明する。この発明の一実施形態では、メモリモジュー
ル１１１₁〜１１１_nにおけるアドレッシングは、ｙ
１、ｙ２に関して共通とされる。このようなアドレッシ
ングを用いる場合には、供給されるクラスコードに対応
してメモリモジュール１１１₁〜１１１_nの何れかから
クラスコードに従って出力される予測係数データは、ラ
インデータｙ１，ｙ２の何れを予測生成する演算におい
ても使用されるものである。

【００５７】このような予測係数データを供給されるデ
コーダ・セレクタ１１２は、クラスコードとモード信号
とに従って、各時点において予測生成されるべきライン
データｙ１，ｙ２に的確に対応づけられるように、予測
係数データａまたは予測係数データｂとして選択的に出
力する。すなわち、予測係数データａ、予測係数データ
ｂは、それぞれ、推定予測演算回路４におけるラインデ
ータｙ１，ｙ２の各々についての予測係数データの入力
部に供給される。

【００５８】モードＡにおいてラインデータｙ１，ｙ２
のそれぞれを予測生成するための予測係数データのデー
タ量の割り当て方の一例を図８Ａに示す。ここでは、ｙ
１の予測生成に係る係数データを記憶する領域が６４バ
イトであるのに対し、ｙ２の予測生成に係る係数データ
を記憶する領域が５１２バイトである。一方、モードＢ
において、ラインデータｙ１，ｙ２のそれぞれを予測生
成するための予測係数データのデータ量の割り当て方の
一例を図８Ｂに示す。ここでは、ｙ１，ｙ２の予測生成
に係る係数データが共に２５６バイトである。

【００５９】モードＡ，モードＢの両方を行うことがで
きる、係数メモリ１１０内のメモリモジュールの設置の
仕方の一例を図９に示す。ここでは、６４バイトの記憶
容量を有するメモリモジュールを９個有する場合（すな
わち、図７においてｎ＝９である場合）を示す。この場
合、総記憶容量は、６４×９＝５７６バイトとなる。モ
ードＡにおける記憶容量の割り当て方（図８Ａ参照）に
おいては、１個のメモリモジュール（従って６４×１＝
６４バイト）がｙ１の予測生成に係る係数データの記憶
に割り当てられ、また、８個のメモリモジュール（従っ
て６４×８＝５１２バイト）がｙ２の予測生成に係る係
数データの記憶に割り当てられる（図９Ａ参照）。一
方、モードＢにおける記憶容量の割り当て方（図８Ｂ参
照）においては、４個のメモリモジュール（従って６４
×４＝２５６バイト）がｙ１，ｙ２の予測生成に係る係
数データの記憶に割り当てられる（図９Ｂ参照）。

【００６０】ここで、メモリモジュールの記憶容量６４
バイトは、上述した各モードにおいて必要とされる記憶
容量（モードＡでは６４＋５１２＝５７６バイト、モー
ドＢでは１２８＋１２８＝５１２バイト）の最大公約数
として得られる。より一般的には、使用され得る全ての
画像情報変換のモードにおいて予測係数データを記憶す
るために必要とされる総記憶容量の公約数またはその付
近となるように、メモリモジュールの記憶容量を設定す
れば良い。また、メモリモジュールの記憶容量は、総記
憶容量の公約数に厳密に等しい容量に限定されるもので
は無く、総記憶容量の公約数付近の記憶容量をメモリモ
ジュールの記憶容量として設定しても良い。

【００６１】また、メモリモジュールの個数は、予測係
数データを記憶するために必要とされる最大の記憶容量
をメモリモジュールの記憶容量で割ることによって得ら
れる商またはその付近の値とすれば良い。特に、メモリ
モジュールの記憶容量を、各ラインデータの予測生成に
係る予測データを記憶するために使用される記憶容量の
最大公約数とすれば、メモリモジュールの個数を最小と
することができる。

【００６２】図９に示すように、この発明の一実施形態
においては、モードＡにおいては、記憶容量が無駄とな
ることが無い（図９Ａ参照）。また、モードＢにおいて
も、メモリモジュールの１個分、すなわち６４バイトの
みが無駄となるに過ぎない（図９Ｂ参照）。このよう
に、図５を参照して一般的な画像情報圧縮処理系の場合
に比較して、無駄となる記憶容量を削減することができ
る。また、総記憶容量は、一般的な画像情報圧縮処理系
中の係数メモリにおいて１０２４バイトであるのに対
し、この発明の一実施形態においては、５７６バイトで
ある。このように、この発明の一実施形態においては、
一般的な係数メモリに比して、無駄となる記憶容量、お
よび総記憶容量を削減することができる。

【００６３】なお、上述したこの発明の一実施形態で
は、メモリモジュール１１１₁〜１１１_nにおけるアド
レッシングがｙ１、ｙ２について共通とされるが、メモ
リモジュール１１１₁〜１１１_nにおけるアドレッシン
グをｙ１、ｙ２についてそれぞれ独立としても良い。

【００６４】また、この発明の一実施形態は、画像情報
変換のモードとして、上述したモードＡ，モードＢの計
２種類を行うものであるが、画像情報変換のモードとし
て３種類以上を行う場合にも、この発明を適用すること
ができる。

【００６５】さらに、この発明の一実施形態において
は、予測生成されるべき出力画像信号中のラインデータ
がｙ１，ｙ２の２種類である場合について説明したが、
ラインデータの種類は、２種類に限定されるものではな
い。入力ＳＤ信号と、出力画像信号の組合わせによって
は予測生成されるべきラインデータの種類が２種類以外
となる場合もあり、そのような場合にもこの発明を適用
することができる。

【００６６】

【発明の効果】上述したように、この発明は、クラス分
類適応処理を用いる画像情報変換を行うに際して、予測
係数データを記憶するメモリ内に、同一の記憶容量を有
し、記憶している予測係数データをクラスコードに応じ
て出力する機能を有する複数個のメモリモジュールと、
これら複数個のメモリモジュールの出力の供給先を、画
像情報変換のモードを示す信号に従って選択するデータ
供給先選択回路とを備えるようにしたものである。

【００６７】このため、予測係数を記憶するメモリ内で
無駄となる記憶容量を削減することができ、無駄となる
記憶容量の削減分に相当する、メモリの総記憶容量の削
減を実現することができる。

【００６８】これにより、メモリについてのコストを低
減することができ、装置全体のコスト削減に寄与するこ
とができる。

【図面の簡単な説明】

【図１】一般的な画像情報変換処理系の構成の一例を示
すブロック図である。

【図２】一般的な予測係数算出処理系の構成の一例を示
すブロック図である。

【図３】この発明の一実施形態によってなされる画像情
報変換処理における画素の配置の一例を示す略線図であ
る。

【図４】この発明の一実施形態によってなされる画像情
報変換処理における画素の配置の他の例を示す略線図で
ある。

【図５】一般的な画像情報変換処理系の構成の一例にお
ける係数メモリの使用状況の一例を示す略線図である。

【図６】この発明の一実施形態における画像情報変換処
理系の構成の一例を示すブロック図である。

【図７】この発明の一実施形態における画像情報変換処
理系の一部の構成の一例を示すブロック図である。

【図８】この発明の一実施形態における画像情報変換処
理系の構成の一例における係数メモリの使用状況の一例
を示す略線図である。

【図９】この発明の一実施形態における画像情報変換処
理系の構成の一例における係数メモリの使用状況の他の
例を示す略線図である。

【符号の説明】１１０・・・係数メモリ、１１１₁〜１１１_n・・・メ
モリモジュール、１１２・・・デコーダ・セレクタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者立平靖東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者内田真史東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者朝倉伸幸東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者守村卓夫東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者井上賢東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者安藤一隆東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5C063 AA01 AA06 BA03 BA04 BA12 CA05 CA40

Claims

【特許請求の範囲】

【請求項１】入力画像信号から走査線構造の異なる出
力画像信号を形成するようにした画像情報変換装置にお
いて、所定の注目点に対して所定の位置関係にある近傍画素
を、入力画像信号から選択する第１の画像データ選択手
段と、上記第１の画像データ選択手段によって選択される画像
データから、レベル分布のパターンを検出し、検出した
上記パターンに基づいて上記注目点が属する空間クラス
を示す空間クラスコードを決定する空間クラス検出手段
と、上記入力画像信号から、上記入力画像信号内の複数のフ
レーム内において、上記注目点と所定の位置関係にある
近傍画素を選択する第２の画像データ選択手段と、上記入力画像信号から、上記注目点を含み、上記注目点
に対して所定の位置関係にある近傍画素を選択する第２
の画像データ選択手段と、上記空間クラス毎に予め決定された予測係数データを記
憶し、上記空間クラスコードと、上記入力画像信号の信
号形式と出力画像信号の信号形式との組合わせに応じて
決まる情報変換のモードとに従って上記予測係数データ
を選択的に出力する記憶手段と、上記記憶手段の出力と、上記第２の画像データ選択手段
によって得られる画像データとに基づいて、上記出力画
像信号を推定するための演算処理を行う演算処理手段と
を有し、上記記憶手段は、上記予測係数データを記憶し、記憶した上記予測係数デ
ータを上記クラスコードに従って出力する、同一の記憶
容量を有する複数個のメモリモジュールと、上記メモリモジュールの出力の供給先を、上記画像情報
変換のモードに応じて切換えるデータ供給先選択手段と
を含むことを特徴とする画像情報変換装置。
【請求項２】入力画像信号から走査線構造の異なる出
力画像信号を形成するようにした画像情報変換装置にお
いて、所定の注目点に対して所定の位置関係にある近傍画素
を、入力画像信号から選択する第１の画像データ選択手
段と、上記第１の画像データ選択手段によって選択される画像
データから、レベル分布のパターンを検出し、検出した
上記パターンに基づいて上記注目点が属する空間クラス
を示す空間クラスコードを決定する空間クラス検出手段
と、上記入力画像信号から、上記入力画像信号内の複数のフ
レーム内において、上記注目点と所定の位置関係にある
近傍画素を選択する第２の画像データ選択手段と、上記第２の画像データ選択手段によって選択される画像
データから、フレーム間差分絶対値の総和を計算し、計
算結果に基づいて動きを表す動きクラスコードを決定す
る動きクラス検出手段と、上記空間クラスコードと上記動きクラスコードとを合成
してクラスコードを生成するクラス合成手段と、上記入力画像信号から、上記注目点を含み、上記注目点
に対して所定の位置関係にある近傍画素を選択する第３
の画像データ選択手段と、上記クラス毎に予め決定された予測係数データを記憶
し、上記クラスコードと、上記入力画像信号の信号形式
と出力画像信号の信号形式との組合わせに応じて決まる
情報変換のモードとに従って上記予測係数データを選択
的に出力する記憶手段と、上記記憶手段の出力と、上記第３の画像データ選択手段
によって得られる画像データとに基づいて、上記出力画
像信号を推定するための演算処理を行う演算処理手段と
を有し、上記記憶手段は、上記予測係数データを記憶し、記憶した上記予測係数デ
ータを上記クラスコードに従って出力する、同一の記憶
容量を有する複数個のメモリモジュールと、上記メモリモジュールの出力の供給先を、上記画像情報
変換のモードに応じて切換えるデータ供給先選択手段と
を有することを特徴とする画像情報変換装置。
【請求項３】請求項２において、上記記憶手段は、各画像情報変換のモードにおいて、予測係数データを記
憶するために必要とされる記憶容量の最大値を総記憶容
量として備えるものであることを特徴とする画像情報変
換装置。
【請求項４】請求項３において、上記メモリモジュールは、上記各画像情報変換のモードにおいて上記記憶手段内で
使用される記憶容量の公約数、またはその付近の値を記
憶容量として備えるものであることを特徴とする画像情
報変換装置。
【請求項５】請求項４において、上記メモリモジュールは、上記各画像情報変換のモードにおいて上記記憶手段内で
使用される記憶容量の最大公約数、またはその付近の値
を記憶容量として備えるものであることを特徴とする画
像情報変換装置。
【請求項６】請求項２において、上記画像情報変換のモードは、入力画像信号としての走査線数が５２５本のインターレ
ス画像信号を、出力画像信号としての走査線数が５２５
本のプログレッシブ画像信号に変換する処理に係るモー
ドであることを特徴とする画像情報変換装置。
【請求項７】請求項２において、上記画像情報変換のモードは、入力画像信号としての走査線数が５２５本のインターレ
ス画像信号を、出力画像信号としての走査線数が１０５
０本のインターレス画像信号に変換する処理に係るモー
ドであることを特徴とする画像情報変換装置。