JP2003223358A - 記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 メモリから、同時に読み出す必要のある画像
ブロックの数を少なくする。 【解決手段】 画像ブロックの頂点が、隣接する複数の
画像ブロックのうちの少なくとも１つ画像ブロックの頂
点と一致しない画像ブロックに、画像データが分割さ
れ、その画像ブロック単位で、メモリに記憶される。画
像ブロックは、その列方向の境界線が、隣接する行のデ
ータブロックの列方向の境界線とずれており、画像ブロ
ックの行方向の境界線の長さをａ、メモリから読み出さ
れ、処理の対象とされる処理ブロックの行方向の長さを
ｂ、画像ブロックのずれ量をｃとすると、これらは、式
ｂ≦ｃ≦ａ−ｂを満たす関係になっており、処理ブロッ
クの画像データは、最大でも、３つの画像ブロックを同
時に読み出すことにより得ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、記憶制御装置およ
び記憶制御方法、並びにプログラムおよび記録媒体に関
し、特に、例えば、画像データを処理する際に、その画
像データを記憶するメモリにおけるデータの読み書き速
度を高速化するとともに、その消費電力を低減すること
等ができるようにする記憶制御装置および記憶制御方
法、並びにプログラムおよび記録媒体に関する。

【０００２】

【従来の技術】図１は、画像データを処理する、従来の
画像処理装置の一例の構成を示している。

【０００３】ＨＤ(Hard Disk)１には、画像処理の対象
とする、２次元データとしての画像データが記憶されて
いる。また、ＨＤ１は、例えば画像処理の結果得られる
画像データも必要に応じて記憶する。

【０００４】ＨＤコントローラ２は、メモリ制御部３か
らの要求に応じて、ＨＤ１から画像データを読み出し、
データバス上に出力する。また、ＨＤコントローラ２
は、データバス上の画像データを受信し、ＨＤ１に書き
込む。

【０００５】メモリ制御部３は、画像処理部５からの要
求に応じて、ＨＤコントローラ２およびメモリ４を制御
する。

【０００６】即ち、メモリ制御部３は、ＨＤコントロー
ラ２を制御することにより、ＨＤ１に記録された画像デ
ータを、例えば１フレーム（またはフィールド）単位で
読み出させ、データバス上に出力させる。また、メモリ
制御部３は、メモリ４を制御することにより、データバ
ス上の画像データを記憶させる。さらに、メモリ制御部
３は、メモリ４を制御することにより、メモリ４に記憶
された画像データを、データバス上に出力させる。

【０００７】メモリ４は、図１では、４つのメモリバン
ク４₁，４₂，４₃，４₄を有し、メモリ制御部３の制御に
したがい、各メモリバンク４_iに、データバス上の画像
データを記憶し、また、各メモリバンク４_iに記憶され
た画像データを読み出し、データバス上に出力する。

【０００８】画像処理部５は、データバス上の画像デー
タを受信し、その画像データを対象に、所定の画像処理
を行う。即ち、画像処理部５は、メモリ制御部３に対し
て、画像処理の対象とする、行方向と列方向が所定の画
素数で構成される矩形状のブロック（以下、適宜、処理
ブロックという）の画像データを要求する。そして、画
像処理部５は、要求した処理ブロックの画像データが、
メモリ４から読み出されてデータバス上に出力されるの
を待って、その処理ブロックの画像データを受信し、そ
の処理ブロックの画像データを対象に、所定の画像処理
を行う。

【０００９】ここで、画像処理部５が所定の処理ブロッ
クの画像データを対象に行う画像処理としては、例え
ば、ＭＰＥＧ(Moving Picture Experts Group)符号化に
おいて、動きベクトルを検出するのに行われるブロック
マッチングなどがある。

【００１０】次に、図２は、画像処理部５が画像処理の
対象とする処理ブロックの例を示している。

【００１１】図２では、１フレームの画像データから、
行方向と列方向がいずれも４画素で構成される処理ブロ
ックが切り出され、その処理ブロックが有する１６（＝
４×４）画素の画像データが、画像処理の対象とされる
ようになっている。

【００１２】次に、図３は、図１のメモリ４の構成例を
示している。

【００１３】メモリ４を構成する各メモリバンク４
_iは、行方向に、複数のワード線が配置されるととも
に、列方向に、複数のビット線が配置され、ワード線と
ビット線の交差する部分に、データを記憶するメモリセ
ルが設けられて構成されている。

【００１４】メモリバンク４_iへの画像データの書き込
み時においては、複数のビット線それぞれに、書き込む
べき画像データが供給されるとともに、複数のワード線
のうちの１つが選択され（ＨレベルまたはＬレベルにさ
れることにより活性化され）、その選択されたワード線
上の各メモリセルに、そのメモリセルに接続されたビッ
ト線上の画像データが記憶される。

【００１５】一方、メモリバンク４_iからの画像データ
の読み出し時においては、複数のワード線のうちの１つ
が選択され、その選択されたワード線上の各メモリセル
に記憶された画像データが、そのメモリセルに接続され
たビット線から読み出される。

【００１６】なお、１つのメモリバンク４_iに対する画
像データの読み書き時において選択されるワード線は、
１本に限られる。即ち、メモリバンク４_iにおける複数
のワード線を選択した場合には、その複数のワード線上
のメモリセルのデータが、ビット線上で衝突してしま
い、データが破壊される。従って、メモリバンク４_iに
おける複数のワード線のメモリセルに対して、データ
を、同時に読み書きすることはできない。

【００１７】一方、メモリバンク４_iにおける１本のワ
ード線上のメモリセルに対しては、データを、同時に読
み書きすることができる。そこで、画像データを、上述
したような処理ブロック単位で処理する場合には、画像
の読み書き速度を向上させるために、メモリ制御部３
は、図４に示すように、画像データを、処理ブロック以
上の大きさの、例えば、行×列が１６画素×１６画素の
矩形状の画像ブロックに分割し、各画像ブロックの画像
データを、１本のワード線上のメモリセルに記憶させ
る。即ち、この場合、１本のワード線上のメモリセルに
は、２５６（＝１６×１６）画素の画像データが記憶さ
れる。

【００１８】ここで、１本のワード線上のメモリセル
に、画像ブロックの画像データを記憶させる方法につい
ては、本件出願人が先に提案した特開２０００−１８２
０２４号公報に、その詳細が開示されている。

【００１９】

【発明が解決しようとする課題】ところで、１本のワー
ド線上に、多数のメモリセルを設けることにより、より
大きな画像ブロックの画像データ（極端には、例えば、
１フレームの画像データ）を、同時に読み書きすること
が可能となる。

【００２０】しかしながら、この場合、ワード線の長さ
が長くなるため、ワード線を活性化するのに、時間を要
することになり、画像データの読み書き速度が低下する
ことになる。

【００２１】そこで、図１の画像処理装置においては、
メモリ４が、複数としての、例えば、４つのメモリバン
ク４₁乃至４₄に分割されている。即ち、メモリバンク４
₁乃至４₄それぞれは、独立に動作させることができ、従
って、メモリバンク４₁乃至４₄それぞれの、あるワード
線を選択することにより、４つの画像ブロックの読み書
きを、同時に行うことができる。

【００２２】ところで、図１の画像処理装置において、
メモリ４が、４つのメモリバンク４ ₁乃至４₄で構成され
ているのは、次のような理由による。

【００２３】即ち、いまの場合、画像ブロックが１６×
１６画素で構成され、処理ブロックが、それより小さい
４×４画素で構成されるため、図５に示すように、処理
ブロックが、ある１つの画像ブロックの範囲に含まれる
処理ブロックＢ₁であれば、その１つの画像ブロック
を、メモリ４から読み出すことにより、処理ブロックＢ
₁の画像データを得ることができ、特に問題はない。

【００２４】しかしながら、処理ブロックが、図５に示
すように、２つの画像ブロックの範囲に跨る処理ブロッ
クＢ₂である場合には、処理ブロックＢ₂の画像データを
得るためには、その２つの画像ブロックを、同時に読み
出す必要がある。この場合、２つの画像ブロックが、同
一のメモリバンク４_iに記憶されているときには、上述
したように、同時に、２つのワード線を選択することが
できないため、同時に読み出すことはできない。

【００２５】そこで、画像ブロックは、それに隣接する
画像ブロックが記憶されるメモリバンク４_i'（ｉ’≠
ｉ）とは異なるメモリバンク４_iに記憶させる必要があ
る。

【００２６】この場合、異なるメモリバンク４_iと４_i'
から、処理ブロックＢ₂の画像データを有する、隣接す
る２つの画像ブロックを同時に読み出すことが可能とな
る。

【００２７】そして、画像データを、図４に示したよう
に、各画像ブロックの頂点が、隣接するすべての画像ブ
ロックの頂点に一致するように、いわゆるマトリクス状
に分割した場合には、処理ブロックは、図５において処
理ブロックＢ₃として示すように、最大で、４つの画像
ブロックに跨ることがある。

【００２８】この４つの画像ブロックを、同時に読み出
すためには、その４つの画像ブロックそれぞれを、異な
るメモリバンクに記憶させる必要があり、このため、図
１では、メモリ４が、４つのメモリバンク４₁乃至４₄で
構成され、処理ブロックが跨る可能性のある４つの画像
ブロックそれぞれは、４つのメモリバンク４₁乃至４₄の
異なるものに記憶される。

【００２９】ところで、メモリ４において流れる電流、
ひいては、その消費電力は、選択（活性化）するメモリ
バンク４_iの数に比例する。

【００３０】従って、処理ブロックが、４つの画像ブロ
ックに跨る場合には、１つの画像ブロックの範囲に含ま
れる場合に比較して、画像データの読み出しのためにメ
モリ４で消費される電力が著しく大になる。さらに、処
理ブロックが、４つの画像ブロックに跨る場合には、メ
モリ４に流れる電流の増加に伴い、ノイズが発生する。

【００３１】本発明は、このような状況に鑑みてなされ
たものであり、同時に読み出す必要のある画像ブロック
の数を少なくすることができるようにし、これにより、
メモリにおけるデータの読み書き速度を高速に維持した
まま、その消費電力を低減すること等ができるようにす
るものである。

【００３２】

【課題を解決するための手段】本発明の記憶制御装置
は、２次元データを、矩形状のデータブロックであっ
て、その頂点が、隣接する複数のデータブロックのうち
の少なくとも１つデータブロックの頂点と一致しないデ
ータブロックに分割した、そのデータブロック単位の２
次元データを取得する取得手段と、記憶装置におけるワ
ード線を選択することにより、そのワード線上のメモリ
セルに、データブロック単位の２次元データを記憶させ
る記憶選択手段とを備えることを特徴とする。

【００３３】本発明の記憶制御方法は、２次元データ
を、矩形状のデータブロックであって、その頂点が、隣
接する複数のデータブロックのうちの少なくとも１つデ
ータブロックの頂点と一致しないデータブロックに分割
した、そのデータブロック単位の２次元データを取得す
る取得ステップと、記憶装置におけるワード線を選択す
ることにより、そのワード線上のメモリセルに、データ
ブロック単位の２次元データを記憶させる記憶選択ステ
ップとを備えることを特徴とする。

【００３４】本発明のプログラムは、２次元データを、
矩形状のデータブロックであって、その頂点が、隣接す
る複数のデータブロックのうちの少なくとも１つデータ
ブロックの頂点と一致しないデータブロックに分割し
た、そのデータブロック単位の２次元データを取得する
取得ステップと、記憶装置におけるワード線を選択する
ことにより、そのワード線上のメモリセルに、データブ
ロック単位の２次元データを記憶させる記憶選択ステッ
プとを備えることを特徴とする。

【００３５】本発明の記録媒体は、２次元データを、矩
形状のデータブロックであって、その頂点が、隣接する
複数のデータブロックのうちの少なくとも１つデータブ
ロックの頂点と一致しないデータブロックに分割した、
そのデータブロック単位の２次元データを取得する取得
ステップと、記憶装置におけるワード線を選択すること
により、そのワード線上のメモリセルに、データブロッ
ク単位の２次元データを記憶させる記憶選択ステップと
を備えるプログラムが記録されていることを特徴とす
る。

【００３６】本発明においては、２次元データを、矩形
状のデータブロックであって、その頂点が、隣接する複
数のデータブロックのうちの少なくとも１つデータブロ
ックの頂点と一致しないデータブロックに分割した、そ
のデータブロック単位の２次元データが取得され、記憶
装置におけるワード線を選択することにより、そのワー
ド線上のメモリセルに、データブロック単位の２次元デ
ータが記憶される。

【００３７】

【発明の実施の形態】図６は、本発明を適用した画像処
理装置の一実施の形態の構成例を示している。なお、図
中、図１における場合と対応する部分については、同一
の符号を付してあり、以下では、その説明は、適宜省略
する。即ち、図６の画像処理装置は、メモリ制御部３に
代えて、メモリ制御部１１が設けられている他は、基本
的に、図１における場合と同様に構成されている。

【００３８】但し、メモリ４は、４つのメモリバンク４
₁乃至４₄ではなく、３つのメモリバンク４１乃至４₃か
ら構成されている。

【００３９】メモリ制御部１１は、ＨＤ１から読み出さ
れたフレーム単位の画像データを、マトリクス状に分割
するのではなく、その頂点が、隣接する複数の画像ブロ
ックのうちの少なくとも１つ画像ブロックの頂点と一致
しない画像ブロックに分割し、その画像ブロックを、メ
モリバンク４_iのあるワード線上のメモリセルに記憶さ
せるようになっている。

【００４０】即ち、メモリ制御部１１は、ＨＤ１に記憶
された画像データを、例えば、図７に示すように、画像
ブロックの列方向の境界線Ｌ１が、隣接する行の画像ブ
ロックの列方向の境界線Ｌ２とずれた画像ブロックに分
割した、その画像ブロック単位の画像データを取得し、
メモリバンク４_iのあるワード線を選択することによ
り、画像ブロックを、そのワード線上のメモリセルに記
憶させる。

【００４１】なお、図７の実施の形態では、画像ブロッ
クは、１６×１６画素で構成されている。また、図７の
実施の形態では、画像ブロックの列方向の境界線Ｌ１
と、隣接する行の画像ブロックの列方向の境界線Ｌ２と
は、画像ブロックの行方向の境界線の画素数（長さ）で
ある１６画素の１／２、つまり８画素分だけずれてい
る。

【００４２】ここで、上述のように、隣接する行の画像
ブロックどうしの列方向の境界線が、８画素分だけずれ
ているため、図７の実施の形態では、上から偶数行目の
左端および右端の画像ブロックは、１６×１６画素では
なく、８×１６画素で構成されている。このように、８
×１６画素で構成される画像ブロックについては、１６
×１６画素で構成される画像ブロックと同様に、１本の
ワード線上のメモリセルに記憶させることができるが、
この場合、そのワード線上のメモリセルの１／２が無駄
になる。そこで、８×１６画素で構成される画像ブロッ
クについては、２つの画像ブロック単位で、１本のワー
ド線上のメモリセルに記憶させることが可能である。具
体的には、例えば、図７において、２行目または４行目
の最左端の列にある画像ブロックｂ₁またはｂ₃について
は、同一の行の最右端の列にある画像ブロックｂ₂また
はｂ₄と、それぞれ、同一のワード線上のメモリセルに
記憶させることが可能である。あるいは、また、例え
ば、図７において、２行目の最左端または最右端の列に
ある画像ブロックｂ₁またはｂ₂については、その２行だ
け下の４行目の最左端または最右端の列にある画像ブロ
ックｂ₃またはｂ₄と、それぞれ、同一のワード線上のメ
モリセルに記憶させることが可能である。

【００４３】図７に示したように、１フレームの画像デ
ータを、いわばレンガ模様状の１６×１６画素の画像ブ
ロック単位に分割し、その画像ブロック単位で、メモリ
４に記憶させた場合においては、４×４画素の処理ブロ
ックが跨る画像ブロックの数は、図８に示すように、処
理ブロックが、画像ブロックの頂点を含む位置にあるケ
ースにおいて最大の３になる。

【００４４】従って、図３の画像処理装置では、処理ブ
ロックの画像データを得るために、最大でも、３つのメ
モリバンク４₁乃至４₃から、３つの画像ブロックをそれ
ぞれ同時に読み出せば良く、図１の画像処理装置におけ
る場合のように、４つのメモリバンク４₁乃至４₄から画
像ブロックを同時に読み出す必要があるケースは生じな
い。

【００４５】その結果、図６の画像処理装置によれば、
図１における場合に比較して、メモリ４において流れる
電流を小さくすることができ、これにより、画像データ
の読み書き速度を維持したまま、メモリ４において流れ
る電流に起因するノイズや、消費電力を低減することが
でき、また、メモリ４において大電流が流れることによ
る電源電圧の降下の影響を抑制することができる。さら
に、最大でも、３つのメモリバンク４₁乃至４₃から、同
時に画像ブロックを読み出せば良いから、図１の画像処
理装置における場合のように、最大で、４つのメモリバ
ンク４₁乃至４₄から、同時に画像ブロックを読み出す必
要がある場合に比較して、データバスのバス幅を、１つ
のメモリバンクに相当する分だけ小さく（狭く）するこ
とができる。

【００４６】次に、図９のフローチャートを参照して、
メモリ制御部１１が、メモリ４に画像データを書き込む
場合に行う書き込み制御処理について説明する。

【００４７】メモリ制御部１１は、例えば、画像処理部
５から、あるフレームの画像データの要求があると、書
き込み制御処理を開始する。

【００４８】即ち、書き込み制御処理では、まず最初
に、ステップＳ１において、メモリ制御部１１は、画像
処理部５から要求のあった１フレームの画像データ（以
下、適宜、要求画像データという）を、仮想的に、図７
に示したように、レンガ模様状の画像ブロックに分割
し、ステップＳ２に進む。

【００４９】ステップＳ２では、メモリ制御部１１は、
要求画像データを構成する画像ブロックから、例えば、
ラスタスキャン順で、まだ注目画像ブロックとして選択
していないものを、注目画像ブロックとして選択し、ス
テップＳ３に進む。

【００５０】ステップＳ３では、メモリ制御部１１は、
メモリバンク４₁乃至４₃の中から、注目画像ブロックを
書き込むメモリバンク４_iを選択する。

【００５１】即ち、ステップＳ３では、メモリ制御部１
１は、注目画像ブロックに隣接する画像ブロックのう
ち、既にメモリ４に書き込まれているものが記憶された
メモリバンク４_i'とは異なるメモリバンク４_iを、注目
画像ブロックを書き込むメモリバンクとして選択する。

【００５２】そして、ステップＳ４に進み、メモリ制御
部１１は、ステップＳ３で選択したメモリバンク４_iに
おいて、まだ、要求画像データの画像ブロックを記憶さ
せていないメモリセルに接続されたワード線のうちの１
つを選択し、ステップＳ５に進む。

【００５３】ステップＳ５では、メモリ制御部１１は、
ＨＤコントローラ２を制御することにより、ＨＤ１に記
憶された要求画像データから、注目画像ブロックを取得
し、即ち、注目画像ブロックの画像データをＨＤ１から
読み出させ、データバス上に出力させる。これにより、
データバス上の注目画像ブロックの画像データは、ステ
ップＳ３で選択されたメモリバンク４_iの、ステップＳ
４で選択されたワード線上のメモリセルに書き込まれ
る。

【００５４】その後、ステップＳ６に進み、メモリ制御
部１１は、要求画像データを構成する画像ブロックのう
ち、まだ、注目画像ブロックとしていないものがあるか
どうかを判定する。

【００５５】ステップＳ６において、まだ、注目画像ブ
ロックとしていない画像ブロックがあると判定された場
合、ステップＳ２に戻り、以下、同様の処理が繰り返さ
れる。

【００５６】また、ステップＳ６において、注目画像ブ
ロックとしていない画像ブロックがないと判定された場
合、書き込み制御処理を終了する。

【００５７】次に、図１０のフローチャートを参照し
て、メモリ制御部１１が行う書き込み制御処理の他の実
施の形態について説明する。

【００５８】まず最初に、ステップＳ１１において、図
９のステップＳ１における場合と同様に、メモリ制御部
１１は、要求画像データを、仮想的に、レンガ模様状の
画像ブロックに分割し、ステップＳ１２に進む

【００５９】ステップＳ１２では、メモリ制御部１１
は、要求画像データを構成する画像ブロックから、例え
ば、ラスタスキャン順で、まだ注目画像ブロックとして
選択していない３つの画像ブロックであって、互いに隣
接する３つの画像ブロック（任意の１つの画像ブロック
が、他の２つの画像ブロックと隣接する３つの画像ブロ
ック）を、第１乃至第３の注目画像ブロックとしてそれ
ぞれ選択し、ステップＳ１３に進む。

【００６０】ステップＳ１３では、メモリ制御部１１
は、メモリバンク４₁乃至４₃の中から、第１乃至第３の
注目画像ブロックを書き込むメモリバンク４_i，４_i'，
４_i''をそれぞれ選択する。

【００６１】ここで、ステップＳ１３では、メモリ制御
部１１は、第１乃至第３の注目画像ブロックが、それぞ
れ異なるメモリバンクに書き込まれるように、メモリバ
ンクの選択を行う。さらに、ステップＳ１３では、メモ
リ制御部１１は、第１の注目画像ブロックについては、
その第１の注目ブロックに隣接する画像ブロックのう
ち、既にメモリ４に書き込まれているものが記憶された
メモリバンクとは異なるメモリバンクを、第１の注目画
像ブロックを書き込むメモリバンクとして選択する。第
２および第３の注目画像ブロックについても、同様であ
る。

【００６２】そして、ステップＳ１４に進み、メモリ制
御部１１は、ステップＳ１３で選択したメモリバンク４
_i，４_i'，４_i''それぞれにおいて、まだ、要求画像デー
タの画像ブロックを記憶させていないメモリセルに接続
されたワード線のうちの１つを選択し、ステップＳ１５
に進む。

【００６３】ステップＳ１５では、メモリ制御部１１
は、ＨＤコントローラ２を制御することにより、ＨＤ１
に記憶された要求画像データから、第１乃至第３の注目
画像ブロックを取得し、即ち、第１乃至第３の注目画像
ブロックの画像データをＨＤ１から読み出させ、データ
バス上に出力させる。これにより、データバス上の第１
乃至第３の注目画像ブロックの画像データは、ステップ
Ｓ１３で選択されたメモリバンク４_i，４_i'，４_i''それ
ぞれの、ステップＳ４で選択されたワード線上のメモリ
セルに、同時に書き込まれる。

【００６４】その後、ステップＳ１６に進み、メモリ制
御部１１は、要求画像データを構成する画像ブロックの
中で、まだ、注目画像ブロックとしていないものがある
かどうかを判定する。

【００６５】ステップＳ１６において、まだ、注目画像
ブロックとしていない画像ブロックがあると判定された
場合、ステップＳ１２に戻り、以下、同様の処理が繰り
返される。

【００６６】また、ステップＳ１６において、注目画像
ブロックとしていない画像ブロックがないと判定された
場合、書き込み制御処理を終了する。

【００６７】図９の書き込み制御処理では、画像データ
が、１つの画像ブロック単位で、１つのメモリバンク４
_iに書き込まれるのに対して、図１０の書き込み制御処
理では、画像データが、３つの画像ブロック単位で、３
つのメモリバンク４₁乃至４₃に、同時に書き込まれる。

【００６８】次に、図１１のフローチャートを参照し
て、メモリ制御部１１が、メモリ４に記憶された画像デ
ータを読み出す場合に行う読み出し制御処理について説
明する。

【００６９】メモリ制御部１１は、例えば、画像処理部
５から、メモリ４に記憶された１フレームの画像データ
のうちの、ある位置の処理ブロックの画像データの要求
があると、読み出し制御処理を開始する。

【００７０】即ち、読み出し制御処理では、まず最初
に、ステップＳ２１において、メモリ制御部１１は、画
像処理部５から要求のあった処理ブロックが跨る１以上
の画像ブロックを認識し、その１以上の画像ブロックす
べてを注目画像ブロックとして選択する。

【００７１】そして、ステップＳ２２に進み、メモリ制
御部１１は、メモリバンク４₁乃至４₃の中から、１以上
の注目画像ブロックが書き込まれている１以上のメモリ
バンクを選択し、ステップＳ２３に進む。

【００７２】ステップＳ２３では、メモリ制御部１１
は、ステップＳ２２で選択した１以上のメモリバンク
の、注目画像ブロックが書き込まれているメモリセルが
接続されているワード線を選択し、読み出し制御処理を
終了する。

【００７３】これにより、ステップＳ２２で選択された
１以上のメモリバンクそれぞれから、選択されたワード
線上のメモリセルに記憶された画像データ、即ち、ステ
ップＳ２１で選択された１以上の注目画像ブロックが同
時に読み出され、データバス上に出力される。

【００７４】次に、図７および図８の実施の形態では、
１フレームの画像データを、１６×１６画素で構成され
る画像ブロックに分割し、また、画像ブロックの列方向
の境界線Ｌ１と、隣接する行の画像ブロックの列方向の
境界線Ｌ２とのずれ量を、画像ブロックの行方向の境界
線の画素数の１／２である８画素とするとともに、処理
ブロックを、４×４画素で構成するようにしたが、図１
２に示すように、画像ブロックの行方向の境界線の長さ
をａと、処理ブロックの行方向の長さをｂと、画像ブロ
ックの列方向の境界線と、隣接する行の画像ブロックの
列方向の境界線との行方向のずれ量をｃと、それぞれ表
すこととすると、これらは、次式を満たす必要がある。

【００７５】

【数１】 ・・・（１）

【００７６】なお、式（１）は、画像データを、レンガ
模様状の画像ブロックに分割した場合に、処理ブロック
が画像データ上のどの位置にあっても、多くとも、画像
ブロックの１つの頂点しか含まないこととする条件、即
ち、処理ブロックが、画像ブロックの２以上の頂点（同
一の画像ブロックの２以上の頂点と、異なる画像ブロッ
クの２以上の頂点の両方を含む）を含まないこととする
条件である。

【００７７】次に、図６の画像処理部５には、前述した
ように、ＭＰＥＧ符号化において、動きベクトルを検出
するためのブロックマッチングの他、所定の処理ブロッ
クを対象に行われる各種の画像処理を行わせることがで
きる。

【００７８】そのような画像処理の１つとして、本件出
願人が先に提案したデータ変換処理がある。

【００７９】図１３は、本件出願人が先に提案したデー
タ変換処理を行う画像処理部５の構成例を示している。

【００８０】図１３の実施の形態では、画像処理部５
は、そこに供給される画像データを、第１の画像データ
として、その第１の画像データを、その第１の画像デー
タよりも高画質の第２の画像データに変換するデータ変
換処理を行うようになっている。

【００８１】ここで、例えば、第１の画像データを低解
像度の画像データとするとともに、第２の画像データを
高解像度の画像データとすれば、データ変換処理は、解
像度を向上させる解像度向上処理ということができる。
また、例えば、第１の画像データを低Ｓ／Ｎ(Siginal/N
oise)の画像データとするとともに、第２の画像データ
を高Ｓ／Ｎの画像データとすれば、データ変換処理は、
ノイズを除去するノイズ除去処理ということができる。
さらに、例えば、第１の画像データを所定のサイズの画
像データとするとともに、第２の画像データを、第１の
画像データのサイズを大きくまたは小さくした画像デー
タとすれば、データ変換処理は、画像のリサイズ（拡大
または縮小）を行うリサイズ処理ということができる。

【００８２】従って、データ変換処理によれば、第１お
よび第２の画像データをどのように定義するかによっ
て、様々な処理を実現することができる。

【００８３】インタフェース２０は、タップ抽出部２１
および２２からの要求にしたがい、所定の処理ブロック
の供給を、メモリ制御部１１（図６）に要求する。な
お、タップ抽出部２１および２２は、要求する処理ブロ
ックの、例えば、左上隅や中心などにある画素の座標
を、その処理ブロックを特定するための情報として、イ
ンタフェース２０に供給するようになっており、インタ
フェース２０は、その座標によって特定される処理ブロ
ックの供給を、メモリ制御部１１に要求する。

【００８４】タップ抽出部２１は、第２の画像データを
構成する画素を、順次、注目画素とし、さらに、その注
目画素の画素値を予測するのに用いる第１の画像データ
を構成する画素（の画素値）の幾つかを、処理ブロック
として、インタフェース２０に要求し、その要求に応じ
て、インタフェース２０から供給される画像データか
ら、処理ブロックを構成する画素を、予測タップとして
抽出する。

【００８５】具体的には、タップ抽出部２１は、注目画
素に対応する、第１の画像データの画素に対して、空間
的または時間的に近い位置にある複数の画素、即ち、例
えば、注目画素に対応する、第１の画像データの画素
と、それに空間的に隣接する画素の、３×３画素など
を、処理ブロックとして、インタフェース２０に要求す
る。この場合、インタフェース２０は、メモリ制御部１
１に対して、処理ブロックを要求する。

【００８６】ここで、メモリ４には、既に、データ変換
対象のフレームの第１の画像データが記憶されているも
のとする。

【００８７】メモリ制御部１１は、インタフェース２０
から処理ブロックの要求を受信すると、その処理ブロッ
クが跨る画像ブロックを、図１１で説明したように、メ
モリ４から読み出させ、データバス上に出力させる。イ
ンタフェース２０は、このデータバス上の画像ブロック
の画像データを受信し、タップ抽出部２１に供給する。
そして、タップ抽出部２１は、このようにしてインタフ
ェース２０から供給される画像ブロックの画像データの
中から、予測タップとする画素（の画素値）を抽出す
る。

【００８８】なお、タップ抽出部２１では、注目画素に
対応する、第１の画像データの画素を中心とする３×３
画素を、予測タップとして抽出する他、例えば、注目画
素に対応する、第１の画像データの画素の動きベクトル
を検出し、その動きベクトルにしたがって、予測タップ
として抽出する３×３画素の位置を変更するようにする
ことが可能である。

【００８９】タップ抽出部２２は、注目画素を、幾つか
のクラスのうちのいずれかにクラス分けするクラス分類
を行うのに用いる第１の画像データを構成する画素の幾
つかを、処理ブロックとして、インタフェース２０に要
求し、その要求に応じて、インタフェース２０から供給
される画像データから、処理ブロックを構成する画素
を、クラスタップとして抽出する。

【００９０】ここで、タップ抽出部２１と２２が要求す
る処理ブロックは、同一である必要はない。従って、予
測タップとクラスタップは、同一のタップ構造とするこ
ともできるし、異なるタップ構造とすることもできる。

【００９１】タップ抽出部２１で得られた予測タップ
は、予測部２５に供給され、タップ抽出部２２で得られ
たクラスタップは、クラス分類部２３に供給される。

【００９２】クラス分類部２３は、タップ抽出部２２か
らのクラスタップに基づき、注目画素をクラス分類し、
その結果得られるクラスに対応するクラスコードを、係
数メモリ２４に供給する。

【００９３】ここで、クラス分類を行う方法としては、
例えば、ADRC(Adaptive Dynamic Range Coding)等を採
用することができる。

【００９４】ADRCを用いる方法では、クラスタップを構
成する画素の画素値が、ADRC処理され、その結果得られ
るADRCコードにしたがって、注目画素のクラスが決定さ
れる。

【００９５】なお、KビットADRCにおいては、例えば、
クラスタップを構成する画素の画素値の最大値MAXと最
小値MINが検出され、DR=MAX-MINを、局所的なダイナミ
ックレンジとし、このダイナミックレンジDRに基づい
て、クラスタップを構成する画素値がKビットに再量子
化される。即ち、クラスタップを構成する各画素の画素
値から、最小値MINが減算され、その減算値がDR/2^Kで除
算（量子化）される。そして、以上のようにして得られ
る、クラスタップを構成するKビットの各画素の画素値
を、所定の順番で並べたビット列が、ADRCコードとして
出力される。従って、クラスタップが、例えば、１ビッ
トADRC処理された場合には、そのクラスタップを構成す
る各画素の画素値は、最小値MINが減算された後に、最
大値MAXと最小値MINとの平均値で除算され（小数点以下
切り捨て）、これにより、各画素の画素値が１ビットと
される（２値化される）。そして、その１ビットの画素
値を所定の順番で並べたビット列が、ADRCコードとして
出力される。

【００９６】なお、クラス分類部２３には、例えば、ク
ラスタップを構成する画素の画素値のレベル分布のパタ
ーンを、そのままクラスコードとして出力させることも
可能である。しかしながら、この場合、クラスタップ
が、Ｎ個の画素の画素値で構成され、各画素の画素値
に、Ｋビットが割り当てられているとすると、クラス分
類部２３が出力するクラスコードの場合の数は、
（２^N）^K通りとなり、画素の画素値のビット数Ｋに指数
的に比例した膨大な数となる。

【００９７】従って、クラス分類部２３においては、ク
ラスタップの情報量を、上述のADRC処理や、あるいはベ
クトル量子化等によって圧縮することにより、クラス分
類を行うのが好ましい。

【００９８】なお、クラス分類は、上述したように、ク
ラスタップを構成する画素の画素値のレベル分布のパタ
ーンに基づいて行う他、例えば、そのクラスタップの注
目画素に対応する画素の部分にエッジが存在するかどう
かや、その画素の動きの有無（あるいは、動きの大きさ
や方向など）に基づいて行うことも可能である。

【００９９】係数メモリ２４は、後述する学習装置にお
いて学習処理が行われることにより得られるクラスごと
のタップ係数を記憶しており、その記憶しているタップ
係数のうちの、クラス分類部２３から供給されるクラス
コードに対応するアドレスに記憶されているタップ係数
（クラス分類部２３から供給されるクラスコードが表す
クラスのタップ係数）を読み出し、予測部２５に供給す
る。

【０１００】ここで、タップ係数とは、ディジタルフィ
ルタにおける、いわゆるタップにおいて入力データと乗
算される係数に相当するものである。

【０１０１】予測部２５は、タップ抽出部２１が出力す
る予測タップと、係数メモリ２４が出力するタップ係数
とを取得し、その予測タップとタップ係数とを用いて、
注目画素の真値の予測値を求める所定の予測演算を行
う。これにより、予測部２５は、注目画素の画素値（の
予測値）、即ち、第２の画像データを構成する画素の画
素値を求めて出力する。

【０１０２】なお、予測部２５が出力する第１の画像デ
ータは、例えば、データバスおよびＨＤコントローラ２
を介して、ＨＤ１に書き込まれ、あるいは、図示せぬモ
ニタに供給されて表示され、または図示せぬ伝送媒体を
介して伝送される。

【０１０３】次に、図１４のフローチャートを参照し
て、図１３の画像処理部５の処理（データ変換処理）に
ついて説明する。

【０１０４】ステップＳ３１では、タップ抽出部２１
が、メモリ４（図６）に記憶された画像データを、デー
タ変換処理対象の第１の画像データとして、その第１の
画像データに対する第２の画像データ（データ変換処理
後の画像データ）を構成する各画素を、順次、注目画素
とし、その注目画素について、予測タップとする第１の
画像データの画素でなる処理ブロックを、インタフェー
ス２０に要求し、その要求に応じて、インタフェース２
０から供給される画像ブロックから、予測タップとする
ものを抽出する。さらに、ステップＳ３１では、タップ
抽出部２２が、注目画素について、クラスタップとする
第１の画像データの画素でなる処理ブロックを、インタ
フェース２０に要求し、その要求に応じて、インタフェ
ース２０から供給される画像ブロックから、クラスタッ
プとするものを抽出する。そして、予測タップは、タッ
プ抽出部２１から予測部２５に供給され、クラスタップ
は、タップ抽出部２２からクラス分類部２３に供給され
る。

【０１０５】クラス分類部２３は、タップ抽出部２２か
ら、注目画素についてのクラスタップを受信し、ステッ
プＳ３２において、そのクラスタップに基づき、注目画
素をクラス分類する。さらに、クラス分類部２３は、そ
のクラス分類の結果得られる注目画素のクラスを表すク
ラスコードを、係数メモリ２４に出力し、ステップＳ３
３に進む。

【０１０６】ステップＳ３３では、係数メモリ２４が、
クラス分類部２３から供給されるクラスコードに対応す
るアドレスに記憶されているタップ係数、即ち、クラス
コードに対応するクラスのタップ係数を読み出して出力
する。さらに、ステップＳ３３では、予測部２５が、係
数メモリ２４が出力するタップ係数を取得し、ステップ
Ｓ３４に進む。

【０１０７】ステップＳ３４では、予測部２５が、タッ
プ抽出部２１が出力する予測タップと、係数メモリ２４
から取得したタップ係数とを用いて、所定の予測演算
（後述する式（２）の予測演算）を行う。これにより、
予測部２５は、注目画素の画素値を求め、ステップＳ３
５に進む。

【０１０８】ステップＳ３５では、タップ抽出部２１
が、メモリ４（図６）に記憶された画像データとしての
第１の画像データに対応する第２の画像データを構成す
る画素のうち、まだ、注目画素としていないものがある
かどうかを判定する。ステップＳ３５において、第２の
画像データを構成する画素のうち、まだ、注目画素とし
ていないものがあると判定された場合、ステップＳ３１
に戻り、第２の画像データを構成する画素のうち、ま
だ、注目画素としていないもののうちの１つが、新たに
注目画素とされ、その注目画素を対象に、以下、同様の
処理が繰り返される。

【０１０９】また、ステップＳ３５において、第２の画
像データを構成する画素のうち、まだ、注目画素として
いないものがないと判定された場合、即ち、メモリ４
（図６）に記憶された１フレームの画像データ（第１の
画像データ）を変換した画像データ（第２の画像デー
タ）が得られた場合、予測部２５は、その画像データを
出力し、処理を終了する。

【０１１０】なお、図１４のデータ変換処理は、メモリ
４に、順次、フレームごとの画像データを記憶させ、そ
のフレームごとの画像データを対象に、繰り返し行うよ
うにすることができる。

【０１１１】次に、図１３の予測部２５における予測演
算と、係数メモリ２４に記憶させるクラスごとのタップ
係数の学習について説明する。

【０１１２】いま、高画質の画像データ（高画質画像デ
ータ）を第２の画像データとするとともに、その高画質
画像データをＬＰＦ(Low Pass Filter)によってフィル
タリングする等してその画質（解像度）を低下させた低
画質の画像データ（低画質画像データ）を第１の画像デ
ータとして、低画質画像データから予測タップを抽出
し、その予測タップと所定のタップ係数を用いて、高画
質画素の画素値を、所定の予測演算によって求める（予
測する）ことを考える。

【０１１３】いま、所定の予測演算として、例えば、線
形１次予測演算を採用することとすると、高画質画素の
画素値ｙは、次の線形１次式によって求められることに
なる。

【０１１４】

【数２】 ・・・（２）

【０１１５】但し、式（２）において、ｘ_nは、高画質
画素ｙについての予測タップを構成する、ｎ番目の低画
質画像データの画素（以下、適宜、低画質画素という）
の画素値を表し、ｗ_nは、ｎ番目の低画質画素（の画素
値）と乗算されるｎ番目のタップ係数を表す。

【０１１６】なお、式（２）では、予測タップが、Ｎ個
の低画質画素ｘ₁，ｘ₂，・・・，ｘ _Nで構成されるもの
としてある。

【０１１７】ここで、高画質画素の画素値ｙは、式
（２）に示した線形１次式ではなく、２次以上の高次の
式によって求めるようにすることも可能である。

【０１１８】ところで、いま、第ｋサンプルの高画質画
素の画素値の真値をｙ_kと表すとともに、式（２）によ
って得られるその真値ｙ_kの予測値をｙ_k’と表すと、そ
の予測誤差ｅ_kは、次式で表される。

【０１１９】

【数３】 ・・・（３）

【０１２０】いま、式（３）の予測値ｙ_k’は、式
（２）にしたがって求められるため、式（３）のｙ_k’
を、式（２）にしたがって置き換えると、次式が得られ
る。

【０１２１】

【数４】 ・・・（４）

【０１２２】但し、式（４）において、ｘ_n,kは、第ｋ
サンプルの高画質画素についての予測タップを構成する
ｎ番目の低画質画素を表す。

【０１２３】式（４）の予測誤差ｅ_kを０とするタップ
係数ｗ_nが、高画質画素を予測するのに最適なものとな
るが、すべての高画質画素について、そのようなタップ
係数ｗ _nを求めることは、一般には困難である。

【０１２４】そこで、タップ係数ｗ_nが最適なものであ
ることを表す規範として、例えば、最小自乗法を採用す
ることとすると、最適なタップ係数ｗ_nは、次式で表さ
れる自乗誤差の総和Ｅを最小にすることで求めることが
できる。

【０１２５】

【数５】 ・・・（５）

【０１２６】但し、式（５）において、Ｋは、高画質画
素ｙ_kと、その高画質画素ｙ_kについての予測タップを構
成する低画質画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセ
ットのサンプル数（学習用のサンプルの数）を表す。

【０１２７】式（５）の自乗誤差の総和Ｅを最小（極
小）にするタップ係数ｗ_nは、その総和Ｅをタップ係数
ｗ_nで偏微分したものを０とするものであり、従って、
次式を満たす必要がある。

【０１２８】

【数６】 ・・・（６）

【０１２９】そこで、上述の式（４）をタップ係数ｗ_n
で偏微分すると、次式が得られる。

【０１３０】

【数７】 ・・・（７）

【０１３１】式（６）と（７）から、次式が得られる。

【０１３２】

【数８】 ・・・（８）

【０１３３】式（８）のｅ_kに、式（４）を代入するこ
とにより、式（８）は、式（９）に示す正規方程式で表
すことができる。

【０１３４】

【数９】 ・・・（９）

【０１３５】式（９）の正規方程式は、例えば、掃き出
し法（Gauss-Jordanの消去法）などを用いることによ
り、タップ係数ｗ_nについて解くことができる。

【０１３６】式（９）の正規方程式をクラスごとにたて
て解くことにより、最適なタップ係数（ここでは、自乗
誤差の総和Ｅを最小にするタップ係数）ｗ_nを、クラス
ごとに求めることができる。

【０１３７】図１５は、式（９）の正規方程式をたてて
解くことによりクラスごとのタップ係数ｗ_nを求める学
習を行うタップ係数の学習装置の構成例を示している。

【０１３８】学習装置には、学習に用いられる学習用画
像データが入力されるようになっている。ここで、学習
用画像データは、第２の画像データに対応するもので、
例えば、解像度の高い高画質画像データを用いることが
できる。

【０１３９】学習装置において、学習用画像データは、
教師データ生成部３１と生徒データ生成部３３に供給さ
れる。

【０１４０】教師データ生成部３１は、そこに供給され
る学習用画像データから教師データを生成し、教師デー
タ記憶部３２に供給する。即ち、ここでは、教師データ
生成部３１は、学習用画像データとしての高画質画像デ
ータを、例えば、そのまま教師データとして、教師デー
タ記憶部３２に供給する。

【０１４１】教師データ記憶部３２は、教師データ生成
部３１から供給される教師データとしての高画質画像デ
ータを記憶する。

【０１４２】生徒データ生成部３３は、学習用画像デー
タから、第１の画像データに対応する生徒データを生成
し、生徒データ記憶部３４に供給する。即ち、生徒デー
タ生成部３３は、例えば、学習用画像データとしての高
画質画像データをフィルタリングすることにより、その
解像度を低下させることで、低画質画像データを生成
し、この低画質画像データを、生徒データとして、生徒
データ記憶部３４に供給する。

【０１４３】生徒データ記憶部３４は、生徒データ生成
部３３から供給される生徒データを記憶する。

【０１４４】タップ抽出部３５は、教師データ記憶部３
２に記憶された教師データとしての高画質画像データを
構成する画素を、順次、注目教師画素とし、その注目教
師画素について、生徒データ記憶部３４に記憶された生
徒データとしての低画質画像データを構成する低画質画
素のうちの所定のものを、インタフェース４０を介して
抽出することにより、図１３のタップ抽出部２１が構成
するのと同一のタップ構造の予測タップを構成し、足し
込み部３８に供給する。

【０１４５】タップ抽出部３６は、注目教師画素につい
て、生徒データ記憶部３４に記憶された生徒データとし
ての低画質画像データを構成する低画質画素のうちの所
定のものを、インタフェース４０を介して抽出すること
により、図１３のタップ抽出部２２が構成するのと同一
のタップ構造のクラスタップを構成し、クラス分類部３
７に供給する。

【０１４６】クラス分類部３７は、タップ抽出部３６が
出力するクラスタップに基づき、図１３のクラス分類部
２３と同一のクラス分類を行い、その結果得られるクラ
スに対応するクラスコードを、足し込み部３８に出力す
る。

【０１４７】足し込み部３８は、教師データ記憶部３２
から、注目教師画素を読み出し、その注目教師画素と、
タップ抽出部３５から供給される注目教師画素について
構成された予測タップを構成する生徒データを対象とし
た足し込みを、クラス分類部３７から供給されるクラス
コードごとに行う。

【０１４８】即ち、足し込み部３８は、クラス分類部３
７から供給されるクラスコードに対応するクラスごと
に、予測タップ（生徒データ）ｘ_i,k（ｘ_j,k）を用い、
式（９）の左辺の行列におけるコンポーネントを求める
ための生徒データどうしの乗算（ｘ_i,kｘ_j,k）と、サメ
ーション（Σ）に相当する演算を行う。

【０１４９】さらに、足し込み部３８は、やはり、クラ
ス分類部３７から供給されるクラスコードに対応するク
ラスごとに、予測タップ（生徒データ）ｘ_i,kと、教師
データｙ_kを用い、式（９）の右辺のベクトルにおける
コンポーネントを求めるための生徒データｘ_i,kと教師
データｙ_kの乗算（ｘ_i,kｙ_k）と、サメーション（Σ）
に相当する演算を行う。

【０１５０】即ち、足し込み部３８は、前回、注目教師
画素とされた教師データについて求められた式（９）に
おける左辺の行列のコンポーネントと、右辺のベクトル
のコンポーネントを、その内蔵するメモリ（図示せず）
に記憶しており、その行列のコンポーネントまたはベク
トルのコンポーネントに対して、新たに注目教師画素と
された教師データについて、その教師データｙ_kと生徒
データｘ_i,k(ｘ_j,k)を用いて計算される、対応するコン
ポーネントｘ_i,kｘ_j,kまたはｘ_i,kｙ_kをそれぞれ足し込
む。

【０１５１】そして、足し込み部３８は、教師データ記
憶部３２に記憶された教師データすべてを注目教師画素
として、上述の足し込みを行うことにより、各クラスに
ついて、式（９）に示した正規方程式をたてると、その
正規方程式を、タップ係数算出部３９に供給する。

【０１５２】タップ係数算出部３９は、足し込み部３８
から供給されるクラスごとの正規方程式を解くことによ
り、各クラスごとのタップ係数ｗ_nを求めて出力する。

【０１５３】インタフェース４０は、タップ抽出部３５
または３６からの要求に応じて、生徒データ記憶部３４
から、生徒データとしての画像データを読み出し、タッ
プ抽出部３５または３６に供給する。即ち、タップ抽出
部３５または３６は、図１３のタップ抽出部２１または
２２における場合と同様に、予測タップまたはクラスタ
ップを構成する複数の画素でなる処理ブロックの要求
を、その処理ブロックを特定するための座標とともに、
インタフェース４０に供給し、インタフェース４０は、
その要求に応じて、処理ブロックの画像データを生徒デ
ータ記憶部３４から読み出し、タップ抽出部３５または
３６に供給する。

【０１５４】次に、図１６のフローチャートを参照し
て、図１５の学習装置の処理（学習処理）について説明
する。

【０１５５】まず最初に、ステップＳ４１において、教
師データ生成部３１と生徒データ生成部３３が、学習用
画像データから、教師データと生徒データを、それぞれ
生成して出力する。即ち、教師データ生成部３１は、学
習用画像データを、そのまま、教師データとして出力す
る。また、生徒データ生成部３１は、学習用画像データ
を、ＬＰＦによってフィルタリングすることにより、各
フレーム（またはフィールド）の教師データ（学習用画
像データ）について、生徒データを生成して出力する。

【０１５６】教師データ生成部３１が出力する教師デー
タは、教師データ記憶部３２に供給されて記憶され、生
徒データ生成部３３が出力する生徒データは、生徒デー
タ記憶部３４に供給されて記憶される。

【０１５７】そして、ステップＳ４２に進み、タップ抽
出部３５は、教師データ記憶部３２に記憶された教師デ
ータのうち、まだ、注目教師画素としていないものを、
注目教師画素とする。さらに、ステップＳ４３では、タ
ップ抽出部３５が、注目教師画素について、生徒データ
記憶部３４に記憶された生徒データから、インタフェー
ス４０を介して、予測タップとするものを抽出し、足し
込み部３８に供給するとともに、タップ抽出部３６が、
やはり、注目教師画素について、生徒データ記憶部３４
に記憶された生徒データから、インタフェース４０を介
して、クラスタップとするものを抽出し、クラス分類部
３７に供給する。

【０１５８】その後、ステップＳ４３に進み、クラス分
類部３７は、注目教師画素についてのクラスタップに基
づき、注目教師画素のクラス分類を行い、その結果得ら
れるクラスに対応するクラスコードを、足し込み部３８
に出力して、ステップＳ４４に進む。

【０１５９】ステップＳ４４では、足し込み部３８は、
教師データ記憶部３２から注目教師画素を読み出し、そ
の注目教師画素と、タップ抽出部３５から供給される予
測タップを用い、式（９）における左辺の行列のコンポ
ーネントｘ_i,Kｘ_j,Kと、右辺のベクトルのコンポーネン
トｘ_i,Kｙ_Kを計算する。さらに、足し込み部３８は、既
に得られている行列のコンポーネントとベクトルのコン
ポーネントのうち、クラス分類部３７からのクラスコー
ドに対応するものに対して、注目画素と予測タップから
求められた行列のコンポーネントｘ_i,Kｘ_j,Kとベクトル
のコンポーネントｘ_i,Kｙ_Kをそれぞれ足し込み、ステッ
プＳ４５に進む。

【０１６０】ステップＳ４５では、タップ抽出部３５
が、教師データ記憶部３２に、まだ、注目教師画素とし
ていない教師データが記憶されているかどうかを判定す
る。ステップＳ４５において、注目教師画素としていな
い教師データが、まだ、教師データ記憶部３２に記憶さ
れていると判定された場合、タップ抽出部３５は、まだ
注目教師画素としていない教師データを、新たに、注目
教師画素として、ステップＳ４２に戻り、以下、同様の
処理が繰り返される。

【０１６１】また、ステップＳ４５において、注目教師
画素としていない教師データが、教師データ記憶部３２
に記憶されていないと判定された場合、足し込み部３８
は、いままでの処理によって得られたクラスごとの式
（９）における左辺の行列と、右辺のベクトルを、タッ
プ係数算出部３９に供給し、ステップＳ４６に進む。

【０１６２】ステップＳ４６では、タップ係数算出部３
９は、足し込み部３８から供給されるクラスごとの式
（９）における左辺の行列と右辺のベクトルによって構
成されるクラスごとの正規方程式を解くことにより、各
クラスごとに、タップ係数ｗ_nを求めて出力し、処理を
終了する。

【０１６３】ここで、学習用画像データの数が十分でな
いこと等に起因して、タップ係数ｗ _nを求めるのに必要
な数の正規方程式が得られないクラスが生じることがあ
り得るが、そのようなクラスについては、タップ係数算
出部３９は、例えば、デフォルトのタップ係数を出力す
るようになっている。

【０１６４】なお、上述の場合には、学習用画像データ
を、そのまま第２の画像データに対応する教師データと
するとともに、その学習用画像データの空間解像度を劣
化させた低画質画像データを、第１の画像データに対応
する生徒データとして、タップ係数の学習を行うように
したことから、タップ係数としては、第１の画像データ
を、その解像度を向上させた第２の画像データに変換す
る解像度向上処理としてのデータ変換処理を行うものを
得ることができる。

【０１６５】従って、画像処理部５の係数メモリ２４
（図１３）に、そのタップ係数を記憶させることによ
り、画像処理部５では、画像データの空間解像度を向上
させることができる。

【０１６６】ここで、第１の画像データに対応する生徒
データと、第２の画像データに対応する教師データとす
る画像データの選択の仕方によって、タップ係数として
は、各種のデータ変換処理を行うものを得ることができ
る。

【０１６７】即ち、例えば、高画質画像データを教師デ
ータとするとともに、その教師データとしての高画質画
像データに対して、ノイズを重畳した画像データを生徒
データとして、学習処理を行うことにより、タップ係数
としては、第１の画像データを、そこに含まれるノイズ
を除去（低減）した第２の画像データに変換するノイズ
除去処理としてのデータ変換処理を行うものを得ること
ができる。

【０１６８】また、例えば、ある画像データを教師デー
タとするとともに、その教師データとしての画像データ
の画素数を間引いた画像データを生徒データとして、ま
たは、所定サイズの画像データを生徒データとするとと
もに、その生徒データとしての画像データの画素を所定
の間引き率で間引いた画像データを教師データとして、
学習処理を行うことにより、タップ係数としては、第１
の画像データを、拡大または縮小した第２の画像データ
に変換するリサイズ処理としてのデータ変換処理を行う
ものを得ることができる。

【０１６９】従って、画像処理部５の係数メモリ２４
（図１３）に、ノイズ除去処理用のタップ係数や、リサ
イズ処理用のタップ係数を記憶させることにより、画像
処理部５では、画像データのノイズ除去やリサイズ（拡
大または縮小）を行うことができる。

【０１７０】以上のように、タップ係数の学習に用いる
教師データと生徒データのセットによって、タップ係数
としては、解像度の向上や、ノイズ除去、リサイズ等
の、各種の画質の改善を行うものを得ることができ、従
って、このような各種の画質改善を行うタップ係数を、
画像処理部５の係数メモリ２４に記憶させることによ
り、画像処理部５では、各種の画質改善のためのデータ
変換処理を行うことができる。

【０１７１】なお、その他、例えば、高画質画像データ
を教師データとするとともに、その教師データとしての
高画質画像データの空間解像度を低下させ、さらに、ノ
イズを重畳した画像データを生徒データとして、学習処
理を行うことにより、タップ係数としては、第１の画像
データを、そこに含まれるノイズを除去（低減）し、さ
らに、その空間解像度を向上させた第２の画像データに
変換するノイズ除去処理と解像度向上処理の両方を、デ
ータ変換処理として行うものを得ることができる。

【０１７２】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。

【０１７３】そこで、図１７は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。

【０１７４】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。

【０１７５】あるいはまた、プログラムは、フレキシブ
ルディスク、CD-ROM(Compact DiscRead Only Memory)，
MO(Magneto Optical)ディスク，DVD(Digital Versatile
Disc)、磁気ディスク、半導体メモリなどのリムーバブ
ル記録媒体１１１に、一時的あるいは永続的に格納（記
録）しておくことができる。このようなリムーバブル記
録媒体１１１は、いわゆるパッケージソフトウエアとし
て提供することができる。

【０１７６】なお、プログラムは、上述したようなリム
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部１０８で受信し、内蔵するハード
ディスク１０５にインストールすることができる。

【０１７７】コンピュータは、CPU(Central Processing
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部１０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)１０３に格納されているプログラムを実行
する。あるいは、また、CPU１０２は、ハードディスク
１０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部１０８で受信されてハー
ドディスク１０５にインストールされたプログラム、ま
たはドライブ１０９に装着されたリムーバブル記録媒体
１１１から読み出されてハードディスク１０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)１０４にロードして実行する。これにより、CPU１０
２は、上述したフローチャートにしたがった処理、ある
いは上述した画像ブロック図の構成により行われる処理
を行う。そして、CPU１０２は、その処理結果を、必要
に応じて、例えば、入出力インタフェース１１０を介し
て、LCD(Liquid CryStal Display)やスピーカ等で構成
される出力部１０６から出力、あるいは、通信部１０８
から送信、さらには、ハードディスク１０５に記録等さ
せる。

【０１７８】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【０１７９】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。

【０１８０】なお、本実施の形態では、図７および図８
に示したように、画像ブロックの列方向の境界線が、隣
接する行の画像ブロックの列方向の境界線とずれている
画像ブロックとなるように、画像データを分割するよう
にしたが、画像データは、その他、例えば、図１８に示
すように、画像ブロックの行方向の境界線が、隣接する
列の画像ブロックの行方向の境界線とずれている画像ブ
ロックとなるように分割することも可能である。

【０１８１】また、本実施の形態では、メモリ４とメモ
リ制御部１１とを別構成にしたが、メモリ制御部１１
は、メモリ４に内蔵させる形で構成することも可能であ
る。

【０１８２】さらに、メモリ制御部１１によるメモリ４
に対する画像データの読み書き制御は、画像処理部５に
おいて、ＭＰＥＧ符号化や、上述したデータ変換処理を
行う場合の他、図１５に示した学習装置における、生徒
データ記憶部３４に対する画像データの読み書きにも適
用可能である。

【０１８３】また、メモリ制御部１１によるメモリ４に
対する読み書き制御は、画像データ以外の２次元データ
を対象に行うことが可能である。即ち、例えば、図１５
に示した学習装置において、例えば、画像データを教師
データとするとともに、その画像データをＤＣＴ(Discr
ete Cosine Transform)変換して得られるＤＣＴ係数を
生徒データとして、図１６の学習処理を行うことによ
り、ＤＣＴ係数を、画像データに変換するデータ変換処
理を行うタップ係数を得ることができるが、このような
タップ係数を、図１３の係数メモリ２４に記憶させ、画
像処理部５においてデータ変換処理を行う場合には、画
像データをＤＣＴ変換して得られるＤＣＴ係数が、第１
の画像データとして入力されることとなる。この場合、
メモリ制御部１１においては、そのＤＣＴ係数を対象
に、メモリ４に対する読み書き制御を行うようにするこ
とが可能である。

【０１８４】さらに、本実施の形態では、１フレームの
画像データを、画像ブロックの頂点が、空間的に隣接す
る複数の画像ブロックのうちの少なくとも１つ画像ブロ
ックの頂点と一致しない画像ブロックに分割するように
したが、時間方向に、そのような分割を行うようにする
ことも可能である。即ち、１フレームの画像データを、
画像ブロックの頂点が、時間的に隣接する１フレーム前
または１フレーム後のフレームの画像ブロックのうちの
少なくとも１つ画像ブロックの頂点と一致しない画像ブ
ロックに分割するようにすることが可能である。この場
合、例えば、図１３の画像処理部５において、連続する
複数フレームから画素を抽出して、予測タップやクラス
タップを構成するときに、同時に読み出す必要のある画
像ブロックの数を少なくすることができる。

【０１８５】また、本実施の形態では、メモリ４を、３
つのメモリバンク４₁乃至４₃で構成するようにしたが、
メモリ４は、４以上のメモリバンクで構成することが可
能である。なお、メモリ４を、４以上のメモリバンクで
構成した場合であっても、画像データを、レンガ模様状
の画像ブロックに分割して記憶させる限り、同時に読み
出す必要のある画像ブロックは、最大でも、３つにな
る。

【０１８６】

【発明の効果】以上の如く、本発明によれば、記憶装置
におけるデータの読み書き速度を高速に維持したまま、
その消費電力を低減することができる。

【図面の簡単な説明】

【図１】従来の画像処理装置の一例の構成を示すブロッ
ク図である。

【図２】処理ブロックを示す図である。

【図３】メモリ４の構成例を示す図である。

【図４】メモリ４への画像データの記憶させ方を説明す
る図である。

【図５】処理ブロックを読み出すのに、同時に読み出す
必要のある画像ブロックが、最大で４つになることを説
明する図である。

【図６】本発明を適用した画像処理装置の一例の構成例
を示すブロック図である。

【図７】レンガ模様状の画像ブロックに分割された画像
データを示す図である。

【図８】処理ブロックを読み出すのに、同時に読み出す
必要のある画像ブロックが、最大で３つになることを説
明する図である。

【図９】メモリ制御部１１による書き込み制御処理の第
１実施の形態を説明するフローチャートである。

【図１０】メモリ制御部１１による書き込み制御処理の
第１実施の形態を説明するフローチャートである。

【図１１】メモリ制御部１１による読み出し制御処理を
説明するフローチャートである。

【図１２】画像ブロックの大きさａ、処理ブロックの大
きさｂ、画像ブロックのずれ量ｃが満たすべき条件を説
明する図である。

【図１３】画像処理部５の構成例を示すブロック図であ
る。

【図１４】画像処理部５の処理を説明するフローチャー
トである。

【図１５】係数メモリ２４に記憶させるタップ係数を学
習する学習装置の構成例を示すブロック図である。

【図１６】学習装置による学習処理を説明するフローチ
ャートである。

【図１７】本発明を適用したコンピュータの一実施の形
態の構成例を示す画像ブロック図である。

【図１８】レンガ模様状の画像ブロックに分割された画
像データを示す図である。

【符号の説明】

１ ＨＤ， ２ ＨＤコントローラ， ４ メモリ，
４₁乃至４₃ メモリバンク， ５ 画像処理部， ２０
インタフェース， ２１，２２ タップ抽出部， ２
３ クラス分類部， ２４ 係数メモリ， ２５ 予測
部， ３１ 教師データ生成部， ３２ 教師データ記
憶部， ３３ 生徒データ生成部， ３４ 生徒データ
記憶部， ３５，３６ タップ抽出部， ３７ クラス
分類部，３８ 足し込み部， ３９ タップ係数算出
部， ４０ インタフェース，１０１ バス， １０２
CPU， １０３ ROM， １０４ RAM， １０５ ハ
ードディスク， １０６ 出力部， １０７ 入力部，
１０８ 通信部， １０９ ドライブ， １１０ 入
出力インタフェース， １１１ リムーバブル記録媒体

Claims (13)

【特許請求の範囲】
1. 【請求項１】 １つのワード線上の複数のメモリセルに
   対して、データを同時に読み書きする記憶装置に、２次
   元のデータである２次元データを記憶させる記憶制御装
   置であって、 前記２次元データを、矩形状のデータブロックであっ
   て、その頂点が、隣接する複数のデータブロックのうち
   の少なくとも１つデータブロックの頂点と一致しないデ
   ータブロックに分割した、そのデータブロック単位の２
   次元データを取得する取得手段と、 前記記憶装置におけるワード線を選択することにより、
   そのワード線上のメモリセルに、前記データブロック単
   位の２次元データを記憶させる記憶選択手段とを備える
   ことを特徴とする記憶制御装置。
2. 【請求項２】 前記データブロックは、その列方向また
   は行方向の境界線と、隣接する行または列のデータブロ
   ックの列方向または行方向の境界線とがずれているもの
   であることを特徴とする請求項１に記載の記憶制御装
   置。
3. 【請求項３】 所定のデータ処理を行うデータ処理装置
   が、前記記憶装置に記憶された前記２次元データの矩形
   状の処理ブロックを対象として、前記所定のデータ処理
   を行う場合において、 前記データブロックの行方向または列方向の境界線の長
   さａ、 前記処理ブロックの行方向または列方向の長さｂ、 および前記データブロックの列方向または行方向の境界
   線と、隣接する行または列のデータブロックの列方向ま
   たは行方向の境界線との行方向または列方向のずれ量ｃ
   は、式ｂ≦ｃ≦ａ−ｂを満たすことを特徴とする請求項
   ２に記載の記憶制御装置。
4. 【請求項４】 前記データブロックの列方向または行方
   向の境界線と、隣接する行または列のデータブロックの
   列方向または行方向の境界線とは、前記データブロック
   の行方向または列方向の境界線の長さの１／２だけずれ
   ていることを特徴とする請求項２に記載の記憶制御装
   置。
5. 【請求項５】 前記記憶装置は、３以上のメモリバンク
   を有し、 前記記憶選択手段は、所定のデータブロックの２次元デ
   ータを、そのデータブロックに隣接するデータブロック
   の２次元データを記憶させるメモリバンクとは異なるメ
   モリバンクに記憶させることを特徴とする請求項１に記
   載の記憶制御装置。
6. 【請求項６】 前記記憶装置におけるワード線を選択す
   ることにより、そのワード線上のメモリセルに記憶され
   た前記データブロック単位の２次元データを読み出す読
   み出し選択手段をさらに備えることを特徴とする請求項
   １に記載の記憶制御装置。
7. 【請求項７】 前記記憶装置は、３以上のメモリバンク
   を有し、 前記記憶選択手段は、所定のデータブロックの２次元デ
   ータを、そのデータブロックに隣接するデータブロック
   の２次元データを記憶させるメモリバンクとは異なるメ
   モリバンクに記憶させ、 前記読み出し選択手段は、前記３以上のメモリバンクの
   うちの１以上のメモリバンクから、１以上の前記データ
   ブロック単位の２次元データを、同時に読み出すことを
   特徴とする請求項６に記載の記憶制御装置。
8. 【請求項８】 所定のデータ処理を行うデータ処理装置
   が、前記記憶装置に記憶された前記２次元データの矩形
   状の処理ブロックを対象として、前記所定のデータ処理
   を行う場合において、 前記読み出し選択手段は、前記３以上のメモリバンクの
   うちの、前記処理ブロックの２次元データを有する１以
   上のデータブロックが記憶されている１以上のメモリバ
   ンクから、その１以上のデータブロックの２次元データ
   を、同時に読み出すことを特徴とする請求項７に記載の
   記憶制御装置。
9. 【請求項９】 前記記憶装置をさらに備えることを特徴
   とする請求項１に記載の記憶制御装置。
10. 【請求項１０】 前記２次元データは、画像データであ
    ることを特徴とする請求項１に記載の記憶制御装置。
11. 【請求項１１】 １つのワード線上の複数のメモリセル
    に対して、データを同時に読み書きする記憶装置に、２
    次元のデータである２次元データを記憶させる記憶制御
    方法であって、 前記２次元データを、矩形状のデータブロックであっ
    て、その頂点が、隣接する複数のデータブロックのうち
    の少なくとも１つデータブロックの頂点と一致しないデ
    ータブロックに分割した、そのデータブロック単位の２
    次元データを取得する取得ステップと、 前記記憶装置におけるワード線を選択することにより、
    そのワード線上のメモリセルに、前記データブロック単
    位の２次元データを記憶させる記憶選択ステップとを備
    えることを特徴とする記憶制御方法。
12. 【請求項１２】 １つのワード線上の複数のメモリセル
    に対して、データを同時に読み書きする記憶装置に、２
    次元のデータである２次元データを記憶させる記憶制御
    処理を、コンピュータに行わせるプログラムであって、 前記２次元データを、矩形状のデータブロックであっ
    て、その頂点が、隣接する複数のデータブロックのうち
    の少なくとも１つデータブロックの頂点と一致しないデ
    ータブロックに分割した、そのデータブロック単位の２
    次元データを取得する取得ステップと、 前記記憶装置におけるワード線を選択することにより、
    そのワード線上のメモリセルに、前記データブロック単
    位の２次元データを記憶させる記憶選択ステップとを備
    えることを特徴とするプログラム。
13. 【請求項１３】 １つのワード線上の複数のメモリセル
    に対して、データを同時に読み書きする記憶装置に、２
    次元のデータである２次元データを記憶させる記憶制御
    処理を、コンピュータに行わせるプログラムが記録され
    ている記録媒体であって、 前記２次元データを、矩形状のデータブロックであっ
    て、その頂点が、隣接する複数のデータブロックのうち
    の少なくとも１つデータブロックの頂点と一致しないデ
    ータブロックに分割した、そのデータブロック単位の２
    次元データを取得する取得ステップと、 前記記憶装置におけるワード線を選択することにより、
    そのワード線上のメモリセルに、前記データブロック単
    位の２次元データを記憶させる記憶選択ステップとを備
    えるプログラムが記録されていることを特徴とする記録
    媒体。