JP2000090256A - 記憶装置、並びに書き込み方法および読み出し方法 - Google Patents
記憶装置、並びに書き込み方法および読み出し方法Info
- Publication number
- JP2000090256A JP2000090256A JP25787798A JP25787798A JP2000090256A JP 2000090256 A JP2000090256 A JP 2000090256A JP 25787798 A JP25787798 A JP 25787798A JP 25787798 A JP25787798 A JP 25787798A JP 2000090256 A JP2000090256 A JP 2000090256A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- storage
- banks
- data
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Input (AREA)
- Dram (AREA)
- Static Random-Access Memory (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
を、必要なライン数の画像データを一時記憶しておくた
めのラインメモリを用いずに、垂直方向に連続した画像
データに変換し、水平方向と垂直方向とが所望の画素数
で構成される2次元の画素のブロックを得る。 【解決手段】 バンクセレクタ1では、メモリ2が有す
る複数のバンクB1乃至B18のうちの1個が選択さ
れ、水平方向に連続する画素データが書き込まれる。一
方、バンクセレクタ3では、複数のB1乃至B18のう
ちの他の2個以上が選択され、垂直方向に連続する画素
データが読み出される。そして、ロード/シフト回路4
において、バンクセレクタ3によって読み出された画素
データのうちの必要なものだけが選択される。
Description
書き込み方法および読み出し方法に関し、特に、例え
ば、必要なライン数の画像データを一時記憶しておくた
めのラインメモリを用いずに、水平方向と垂直方向とが
所望の画素数で構成される画像データを得ることができ
るようにする記憶装置、並びに書き込み方法および読み
出し方法に関する。
の規格であるMPEG(Moving Picture Experts Grou
p)における動き検出等の画像処理においては、処理対
象となっている現フレームと、その現フレームに対して
時間的に先行(過去)または後行(未来)するフレーム
とを比較して処理が行われる。
置の一例の構成を示している。なお、この画像処理装置
においては、現フレームのある画素に注目した場合に、
その注目画素に対応する1フレーム前の画素を中心とす
る48画素×48ラインの範囲内の画素データを用い
て、動き検出等の所定の処理が行われるようになされて
いる。ここで、注目画素について所定の処理を行うため
に必要な画素の範囲(ここでは、48画素×48ライ
ン)を、以下、適宜、必要範囲という。
成する画素データは、例えば、1フレーム分の記憶容量
を有するフレームメモリ101に順次供給され、例え
ば、ラインスキャン順に記憶されていく。そして、フレ
ームメモリ101に記憶された画素データは、ラインス
キャン順に、順次読み出され、ラインメモリ部102に
供給される。
ン数(ここでは、48ライン)の画素データを得るため
に、必要範囲のライン−1の数のラインメモリ、即ち、
47個のラインメモリ1021乃至10247で構成され
ており、フレームメモリ101からの画素データは、ラ
インメモリ1021に供給されて記憶される。ラインメ
モリ1021に記憶された画素データは、フレームメモ
リ101から、新たに画素データが供給されるごとに、
右にシフトされていき、ある画素データに注目した場合
に、その注目画素データが、ラインメモリ1021に供
給されてから、1ライン分の画素データが供給される
と、注目画素データは、ラインメモリ1021から出力
され、後段のラインメモリ1022に供給される。
メモリ1021における場合と同様に、ラインメモリ1
022から供給された画素データが1ライン分だけ遅延
され、後段のラインメモリ1023に供給される。以
下、同様にして、ラインメモリ1023乃至10247そ
れぞれにおいて、画素データは、1ライン分ずつ遅延さ
れていく。
タは、ラインメモリ部102に供給される他、2次元パ
ラレルアレイ(2 dimension parallel array)103に
も供給されるようになされている。2次元パラレルアレ
イ103は、必要範囲を構成する縦または横の画素数と
同一数のレジスタが、垂直方向または水平方向にそれぞ
れ配置されて構成されており、即ち、ここでは、垂直方
向および水平方向とも、48のレジスタが配置されて構
成されており、フレームメモリ101が出力する画素デ
ータは、2次元パラレルアレイ103の第1行第1列の
レジスタに供給されて記憶される。そして、2次元パラ
レルアレイ103では、第1行第1列のレジスタに記憶
された画素データが、フレームメモリ101から新たに
画素データが供給されるごとに、右のレジスタにシフト
されていき、第48列のレジスタに記憶された後は、捨
てられる(第47列のレジスタに記憶されている画素デ
ータが、第48列のレジスタにシフトされることで、第
48列のレジスタに記憶されていたデータは消去され
る)。
タも、後段のラインメモリ1022に供給される他、2
次元パラレルアレイ103に供給される。2次元パラレ
ルアレイ103では、ラインメモリ1021からの画素
データが、第2行第1列のレジスタに供給されて記憶さ
れる。そして、第2行第1列のレジスタに記憶された画
素データは、ラインメモリ1021から新たに画素デー
タが供給されるごとに、右のレジスタにシフトされてい
き、第48列のレジスタに記憶された後、捨てられる。
する画素データも、2次元パラレルアレイ103に供給
され、2次元パラレルアレイ103では、ラインメモリ
1022乃至10247からの画素データが、それぞれ、
第3行第1列乃至第48行第1列のレジスタに供給され
て記憶される。そして、第3行第1列乃至第48行第1
列のレジスタに記憶された画素データは、それぞれ、ラ
インメモリ1022乃至10247から新たに画素データ
が供給されるごとに、右のレジスタにシフトされてい
き、第48列のレジスタに記憶された後、捨てられる。
画素データは、ラインメモリ106にも供給される。ラ
インメモリ106では、そこに入力される画素データ
が、1ライン分だけ遅延され、画像演算処理回路105
に供給される。
て、現フレームの画素データが、画像演算処理回路10
5に供給されるタイミングにおいて、その現フレームの
画素データに対応する1フレーム前の画素を中心とする
48画素×48ラインの画素データが、2次元パラレル
アレイ103の48×48のレジスタに記憶された状態
となるように、フレームメモリ101からの画素データ
の読み出しが開始されるようになされており、従って、
画像演算処理回路105に、ある画素データが供給され
たとき、2次元パラレルアレイ103には、その画素デ
ータについての必要範囲内の画素データが記憶されてい
る。
レイ103に記憶されている必要範囲内の画素データの
うち、画像演算処理回路105が、そこに供給された画
素データの処理に用いるものを必要に応じて選択し、画
素演算処理回路105に供給する。
インメモリ106からの画素データと、画素セレクタ1
04からの画素データとを用いて、動き検出のための演
算処理等の所定の処理が行われ、その処理結果が出力さ
れる。
では、現フレームの各画素データが、その前のフレーム
の画素データを用いて処理されるから、現フレームの処
理の終了後は、次のフレームの各画素データが、現フレ
ームの画素データを用いて処理される。従って、現フレ
ームの画素データは、フレームメモリ101に、前のフ
レームの画素データが記憶された後に供給されるが、そ
の現フレームの画素データは、次のフレームの画素デー
タを処理するために、フレームメモリ101に記憶する
必要がある。
を、フレームメモリ101に記憶させると、その現フレ
ームの画素データが記憶されたアドレスに記憶されてい
た前のフレームの画素データが消去されてしまうため、
何らの手当も施さないと、現フレームの画素データの処
理に、前のフレームの画素データを用いることができな
くなる。
ンメモリ部102が設けられており、このラインメモリ
部102において、必要範囲のライン数−1だけのライ
ンを保持しておくことで、画像のリアルタイム処理を可
能としている。
チップ化(LSI(Large Scale Integration)化)す
ることを考えた場合には、リアルタイム処理を行わない
なら必要のないラインメモリ部102を設ける必要があ
り、その結果、チップサイズが大になる。即ち、図12
においては、必要範囲のライン数が48ラインであるか
ら、必要範囲のライン数の画素データを保持するため
に、47(=48−1)ものラインメモリを、チップに
内蔵させる必要がある。
等においては、チップに内蔵させることのできるライン
メモリが制限される。さらに、チップのレイアウト等に
起因して、チップに内蔵させることのできるラインメモ
リの数が制限される場合もある。このように、チップに
内蔵させることのできるラインメモリの数が制限される
場合においては、必要範囲も制限され、その結果、例え
ば、図12の画像処理装置を、MPEG等の動き検出や
動き補償のためのブロックマッチングに適用したとき
に、いわゆるサーチ範囲も制限されることになる。
可能なフレームメモリ101が設けられているのにもか
かわらず、さらに、必要範囲のライン数−1のラインの
画素データを記憶するラインメモリを設けることは、い
わば余分なメモリを持つこととなるから、消費電力の観
点からも好ましくない。
たものであり、例えば、必要なライン数の画像データを
一時記憶しておくためのラインメモリを用いずに、水平
方向と垂直方向とが所望の画素数で構成される画像デー
タを得ることができるようにするものである。
置は、複数の記憶バンクを有する記憶手段と、複数の記
憶バンクのうちの1個を選択し、データを書き込む書き
込み用選択手段と、複数の記憶バンクのうちの他の2個
以上を選択し、データを読み出す読み出し用選択手段
と、読み出し用選択手段が出力したデータの選択を行う
データ選択手段とを備えることを特徴とする。
データを構成する水平方向の画素データを書き込む書き
込み用選択手段に、画素データが、所定の画素ブロック
単位で、複数のメモリバンクそれぞれに記憶されるよう
に、複数のメモリバンクのうちの1個を選択させ、その
メモリバンクに、画素ブロックを構成する画素データ
を、1本のワード線上のメモリセルに記憶させることを
特徴とする。
の記憶バンクのうちの2個以上を選択して、データを読
み出し、その読み出したデータの選択を行って出力する
ことを特徴とする。
憶手段は、複数の記憶バンクを有している。書き込み用
選択手段は、複数の記憶バンクのうちの1個を選択し、
データを書き込むようになされている。読み出し用選択
手段は、複数の記憶バンクのうちの他の2個以上を選択
し、データを読み出すようになされている。データ選択
手段は、読み出し用選択手段が出力したデータの選択を
行うようになされている。
は、画像データを構成する水平方向の画素データを書き
込む書き込み用選択手段に、画素データが、所定の画素
ブロック単位で、複数のメモリバンクそれぞれに記憶さ
れるように、複数のメモリバンクのうちの1個を選択さ
せ、そのメモリバンクに、画素ブロックを構成する画素
データを、1本のワード線上のメモリセルに記憶させる
ようになされている。
は、複数の記憶バンクのうちの2個以上を選択して、デ
ータを読み出し、その読み出したデータの選択を行って
出力するようになされている。
理装置の一実施の形態の構成例を示している。
のある画素に注目した場合に、その注目画素に対応する
1フレーム前の画素を中心とする、例えば、48画素×
48ラインの範囲を必要範囲として検出し、その必要範
囲内の画素データを用いて処理を行うようになされてい
る。
成する画素データとしての、例えば、シリアルの8ビッ
トのデータは、ラインスキャン順に、バンクセレクタ1
(書き込み用選択手段)および演算処理回路7に供給さ
れるようになされている。ここで、画像データは、例え
ば、HD(High Density)画像のデータで、横または縦
の画素数が、それぞれ1920画素または1080画素
で構成されている。
バンク(メモリバンク)B1乃至B18のうちの1個を
順次選択し、その選択した1個のバンクに、そこに供給
されるHD画像を構成する水平方向の画素データを書き
込むようになされている。
(メガ)ビットの記憶容量を有し、バンク切り替え機能
を備えている。即ち、ここでは、メモリ2は、例えば、
18個の1MビットのバンクB1乃至B18(複数の記
憶バンク)を有している。なお、本実施の形態では、1
フレームのHD画像が1920×1080画素で構成さ
れ、画素データは8ビットであるから、その容量は、1
6588800(=1920×1080×8)ビットと
なる。一方、メモリ2の容量は、18Mビット(=18
874368ビット)であるから、1フレームのHD画
像の容量に対して、2Mビット程度多い。
の画像処理装置と同様に、横×縦が48画素×48画素
を必要範囲として検出するようになされている。そし
て、この場合、図12の画像処理装置では、ラインメモ
リ部102において、上述したように、47個のライン
メモリ1021乃至10247を必要とする。いま、図1
および図12の画像処理装置において、上述したような
横×縦が1920画素×1080画素のHD画像を処理
するものとすると、ラインメモリ部102における1の
ラインメモリの容量は、HD画像の1ラインの容量であ
る1920×8ビット(8は、画素データへの割り当て
ビット数)となるから、47のラインメモリでは、19
20×8×47ビット、即ち、概算で、800Kビット
程度となる。従って、1フレームのHD画像を記憶する
ためのメモリ容量に対して、図1の画像処理装置のメモ
リ容量は2Mビット程度多く、図12の画像処理装置の
メモリ容量は800Kビット程度多い。即ち、図1の画
像処理装置は、1フレーム分のメモリ容量の他に、図1
2の画像処理装置に比較して、約2.5倍のメモリ容量
を余分に有している。
るメモリ2を構成するバンクB1乃至B18は、後述す
るように、DRAMで構成することができる。一方、図
12の画像処理装置におけるラインメモリ1021乃至
10247は、一般に、SRAM(Static RAM)で構成さ
れる。そして、同一容量のDRAMとSRAMを構成し
た場合、SRAMのチップサイズは、DRAMの約10
乃至20倍になることが知られている。従って、図1の
画像処理装置が余分に有するメモリ容量は、図12の画
像処理装置が余分に有するメモリ容量の約2.5倍であ
るが、その余分なメモリ容量によるチップサイズの増加
は、図12の画像処理装置における場合の約1/4乃至
1/8程度となる。その結果、図1の画像処理装置にお
いては、図12の画像処理装置に比較して、チップサイ
ズを小さくすることができる(余分なメモリ容量による
チップサイズの増加が少ない)。
は、メモリ2を構成するバンクB1乃至B18のうち
の、例えば7個を順次選択し、その選択した7個のバン
クから、HD画像を構成する垂直方向の画素データを読
み出すようになされている。ここで、バンクB1乃至B
18それぞれにおいては、後述するように、一度に、6
4ビットのデータの入出力が可能となっている。従っ
て、本実施の形態では、上述したように、1の画素デー
タが8ビットで構成されるから、バンクB1乃至B18
それぞれからは、8画素(=64/8)分の画素データ
を一度に読み出すことができ、さらに、バンクセレクタ
3では、7個のバンクから、画素データが読み出される
から、結局、バンクセレクタ3からは、56画素(=7
×8)分の画素データ(7×8×8ビットのデータ)
が、一度に出力される。
素データは、ロード/シフト回路4に供給されるように
なされている。ロード/シフト回路4(データ選択手
段)は、バンクセレクタ3が出力する56画素の画素デ
ータから、必要範囲のライン数と同一の数だけの画素デ
ータを選択し、即ち、ここでは、48画素の画素データ
を選択し、2次元パラレルアレイ5に供給するようにな
されている。
元パラレルアレイ103と同様に、必要範囲を構成する
画素と同様にレジスタが配置されて構成されている。即
ち、即ち、2次元パラレルアレイ5は、横と縦に48ず
つのレジスタが配置されて構成されている。そして、2
次元パラレルアレイ5は、ロード/シフト回路4からの
48の画素データを、第1行第1列乃至第48行第1列
のレジスタにそれぞれ記憶し、以下、ロード/シフト回
路4から、新たに48の画素データが供給されるごと
に、各レジスタに記憶されている画素データを、その右
隣のレジスタにシフトするようになされている。
6と同様に、2次元パラレルアレイ5に記憶されている
必要範囲内の画素データのうち、演算処理回路7が、そ
こに供給された画素データの処理に用いるものを必要に
応じて選択し、演算処理回路7に供給するようになされ
ている。演算処理回路7は、バンクセレクタ1に供給さ
れる画素データと、画素セレクタ6からの画素データと
を用いて、所定の演算処理等を行い、その処理結果を出
力するようになされている。
バンクB#i(i=1,2,・・・,18)の構成例を
示している。
×64ビットのDRAM(DynamicRandom Access Memor
y)で構成され、従って、64ビット単位、即ち、本実
施の形態では、8(=64/8)画素単位でのデータの
読み書き(入出力(I/O(Input/Output)))が可能
となっている。さらに、バンクB#iは、行アドレスま
たは列アドレスが、それぞれ8ビットまたは6ビットで
指定されるようになされており、また、いわゆるページ
モード機能を有している。
指定されることから、図2に示すように、256本のワ
ード線を有している。そして、各ワード線には、409
6(=16K×64ビット/256)個のメモリセル
(図2において、二重線の四角形で示す)が配置されて
いる。ここで、上述したように、画素データは8ビット
で構成されるから、1ワード線上のメモリセルには、5
12(=4096/8)画素の画素データを記憶するこ
とができる。
説明する。
るラインスキャン順に、バンクセレクタ1および演算処
理回路7に供給され、バンクセレクタ1は、メモリ2を
構成するバンクB1乃至B18のうちの1個を順次選択
し、その選択した1個のバンクに、そこに供給されるH
D画像を構成する水平方向の画素データを書き込む。
成する画素データが、所定の画素ブロック単位で、バン
クB1乃至B18それぞれに記憶されるように、バンク
B1乃至B18を、1個ずつ順次選択する。
1ワード線上のメモリセルに記憶することのできる画素
数(本実施の形態では、図2で説明したように512画
素)と同一の画素数で構成される。さらに、画素ブロッ
クの縦(垂直方向)の画素数は、バンクB#iに一度で
読み書きすることのできる画素数(本実施の形態では、
図2で説明したように8画素)と同一の画素数とされ
る。従って、本実施の形態では、図3に示すように、画
素ブロックは512画素で構成され、その縦の画素数は
8画素となる。なお、画素ブロックの横(水平方向)の
画素数は、64(=512/8)画素となる。
クB#iでは、1本のワード線上のメモリセルに、1の
画素ブロックを構成する512画素の画素データが記憶
される。さらに、そのとき、画素データは、画素ブロッ
ク(図3)における垂直方向の画素すべて、即ち、ここ
では、垂直方向に並ぶ8画素の画素データすべてを同時
に読み出すことができるように記憶される。
おいて隣接する画素ブロックが、異なるバンクに記憶さ
れるように、複数のバンクB1乃至B18からのバンク
の選択が行われる。即ち、バンクセレクタ1では、例え
ば、HD画像において水平方向に隣接する画素ブロック
が、2個のバンクに交互に記憶されるように、かつ、H
D画像において垂直方向に隣接する画素ブロックが、9
個のバンクに周期的に記憶されるように、複数のバンク
B1乃至B18からのバンクの選択が行われる。
80画素のHD画像は、例えば、図4に示すように、バ
ンクB1乃至B18それぞれにマッピングされる。
の画素ブロックは、バンクB1に記憶され、その下に隣
接する第2行第1列の画素ブロックは、バンクB2に記
憶される。さらに、その下に隣接する第3行第1列の画
素ブロックは、バンクB3に記憶され、以下、同様にし
て、上から72画素目までにある、残りの第4行第1列
乃至第9行第1列の画素ブロックは、バンクB4乃至B
9にそれぞれ記憶される。
ックの左に隣接する、左から65乃至128画素目と、
上から1乃至8画素目で構成される第1行第2列の画素
ブロックは、バンクB10に記憶され、その下に隣接す
る第2行第2列の画素ブロックは、バンクB11に記憶
される。さらに、その下に隣接する第3行第2列の画素
ブロックは、バンクB12に記憶され、以下、同様にし
て、上から72画素目までにある、残りの第4行第2列
乃至第9行第2列の画素ブロックは、バンクB13乃至
B18にそれぞれ記憶される。
ックは、第1行第1列乃至第9行第1列の画素ブロック
と同様に、バンク1乃至B9に同期的に記憶され、第2
列の第10行以下の画素ブロックも、第1行第2列乃至
第9行第2列の画素ブロックと同様に、バンクB10乃
至B18に同期的に記憶される。さらに、第3列の画素
ブロックは、第1列の画素ブロックと同様に、バンクB
1乃至B9に記憶され、第4列のブロックは、第2列の
画素ブロックと同様に、バンクB10乃至B18に記憶
される。以下、同様にして、各列の画素ブロックは、バ
ンクB1乃至B18に記憶される。
を頂点とする横×縦が128画素×72画素の範囲の画
素データの、バンクB1乃至B18それぞれへのマッピ
ングのパターンを、いわば基準のマッピングパターンと
して、HD画像の、他の画素データの、バンクB1乃至
B18それぞれへのマッピングが行われる。
素ブロックに注目すれば、いずれの行の画素ブロック
も、2個のバンクに交互に記憶され、また、HD画像に
おける垂直方向の画素ブロックに注目すれば、いずれの
列の画素ブロックも、9個のバンクに周期的に記憶され
る。
が、図4に示すように、メモリ部2にマッピングされた
とすると、第2フレームのHD画像は、例えば、図5に
示すようにマッピングされる。
1列の画素ブロックは、バンクB5に記憶され、その下
に隣接する第2行第1列の画素ブロックは、バンクB6
に記憶される。さらに、その下に隣接する第3行第1列
の画素ブロックは、バンクB7に記憶され、以下、同様
にして、上から72画素目までにある、残りの第4行第
1列乃至第9行第1列の画素ブロックは、バンクB8,
B9,B1,B2,B3,B4にそれぞれ記憶される。
ックの左に隣接する、左から65乃至128画素目と、
上から1乃至8画素目で構成される第1行第2列の画素
ブロックは、バンクB14に記憶され、その下に隣接す
る第2行第2列の画素ブロックは、バンクB15に記憶
される。さらに、その下に隣接する第3行第2列の画素
ブロックは、バンクB16に記憶され、以下、同様にし
て、上から72画素目までにある、残りの第4行第2列
乃至第9行第2列の画素ブロックは、バンクB17,B
18,B10,B11,B12,B13にそれぞれ記憶
される。
ックは、第1行第1列乃至第9行第1列の画素ブロック
と同様に、バンクB5乃至B9,B1乃至B4に同期的
に記憶され、第2列の第10行以下の画素ブロックも、
第1行第2列乃至第9行第2列の画素ブロックと同様
に、バンクB14乃至B18,B10乃至B13に同期
的に記憶される。さらに、第3列の画素ブロックは、第
1列の画素ブロックと同様に、バンクB5乃至B9,B
1乃至B4に記憶され、第4列のブロックは、第2列の
画素ブロックと同様に、バンクB10乃至B18に記憶
される。以下、同様にして、各列の画素ブロックは、バ
ンクB14乃至B18,B10乃至B13に記憶され
る。
けるマッピングのパターンに比較して、4画素ブロック
だけ列方向(下方向)にずれた状態にマッピングされ
る。
ッピングのパターンに比較して、4画素ブロックだけ列
方向にずれた状態にマッピングされ、従って、図6に示
すようにマッピングされる。以下、同様に、第4フレー
ム以降も、その1フレーム前におけるマッピングパター
ンに比較して、4画素ブロックだけ列方向にずれた状態
にマッピングされていく。
モリ2を構成するバンクB1乃至B18のうちの7個が
順次選択され、その選択された7個のバンクから、HD
画像を構成する垂直方向の画素データが読み出される。
タ1が書き込もうとしている現フレームの画素データを
有する画素ブロックに対応する前のフレームの画素ブロ
ックを含む、その画素ブロックの上下それぞれ3個の画
素ブロックの、合計7個の画素ブロックが書き込まれた
バンクを選択する。そして、その選択された7個のバン
クから、HD画像を構成する同一の列の画素データが読
み出される。
のHD画像が、図4に示したように、メモリ2に記憶さ
れ、第2フレームのHD画像の供給が開始されたとす
る。そして、第2フレームの、例えば、第25行第30
列の画素データに注目すると、この画素データは、図5
に示したことから、第4行第1列の画素ブロックに属す
るので、バンクセレクタ1において、バンクB8が選択
されて書き込まれる。
ムの第25行第30列の画素データを有する画素ブロッ
クに対応する第1フレームの画素ブロックを含む、その
画素ブロックの上下それぞれ3個の画素ブロックの、合
計7個の画素ブロック、即ち、図4に示したように、第
1フレームの第1行第1列乃至第7行第1列の画素ブロ
ックそれぞれが書き込まれたバンクB1乃至B7が選択
される。そして、バンクセレクタ3では、そのバンクB
1乃至B7それぞれから、第1フレームにおける第1行
第1列乃至第7行第1列の画素ブロックそれぞれの垂直
方向の画素データが読み出される。
18それぞれからは、1本のワード線上の8画素の画素
データを一度に読み出すことができるようになされてお
り、バンクセレクタ3は、バンクB1乃至B7から、第
1フレームにおける第1行第1列乃至第7行第1列の画
素ブロックそれぞれの同一列の8画素が読み出される。
従って、バンクセレクタ3においては、メモリ2から、
そこに記憶されたHD画像の垂直方向に連続する56画
素(=8画素×7バンク)が読み出される。
書き込み時に、HD画像において垂直方向に隣接する画
素ブロックが、9個のバンクに周期的に記憶されるよう
に、バンクの選択が行われる。従って、メモリ2に記憶
されたHD画像において垂直方向に隣接する、任意の7
個の画素ブロックそれぞれは、必ず、相互に異なるバン
クに記憶されているから、バンク切り替えにより、その
ような7個の画素ブロックの任意の同一列の56画素
を、迅速に読み出すことができる。
クタ1が書き込んでいる画素データについての必要範囲
を構成するための画素データが、メモリ2から、上述し
たような56画素単位で読み出される。
行第30列の画素データが書き込まれている状態である
から、この画素データの必要範囲は、第1フレームの第
25行第30列の画素データを中心とする横×縦が48
画素×48画素の範囲である。バンクセレクタ3では、
上述したように、第1フレームにおける第25行第30
列の画素データを有する画素ブロックを含む、上下それ
ぞれ3個の画素ブロックの、合計7個の画素ブロックか
ら、同一列に配置された56画素が読みされるから、列
方向については、バンクセレクタ3が出力する画素デー
タには、必要範囲を構成するための画素データが含まれ
る。
レクタ3は、上述の同一列に配置された56画素を、第
1フレームの第25行第30列の画素データを中心とす
る48列だけ順次読み出すようになされている。その結
果、バンクセレクタ3では、第1フレームにおける第2
5行第30列の画素データを有する画素ブロックを含
む、上下それぞれ3個の画素ブロックの、合計7個の画
素ブロックに亘る56行と、第1フレームの第25行第
30列の画素データを中心とする48列とによって規定
される56行×48列の範囲の第1フレームの画素デー
タが読み出されるから、これは、第2フレームの、第2
5行第30列の画素データについての必要範囲を含んで
いる。
列の画素データを中心とする48列は、第6列乃至第5
3列(または第7列乃至第54列)であるから、第1フ
レームにおける第25行第30列の画素データを有する
画素ブロックを含む、上下それぞれ3個の画素ブロック
の、合計7個の画素ブロック、即ち、第1フレームの第
1行第1列乃至第7行第1列の画素ブロックの中に含ま
れる。
25行第64列の画素データが書き込まれる場合におい
ては、この画素データの必要範囲は、第1フレームの第
25行第64列の画素データを中心とする横×縦が48
画素×48画素の範囲であるから、第1フレームにおけ
る第25行第64列の画素データを有する画素ブロック
を含む、上下それぞれ3個の画素ブロックの、合計7個
の画素ブロックである、第1フレームの第1行第1列乃
至第7行第1列の画素ブロックから、右にはみ出すこと
になる。即ち、第2フレームの第25行第64列の画素
データについての必要範囲は、第1フレームの第1行第
1列乃至第7行第1列の画素ブロックそれぞれの右隣の
第1行第2列乃至第7行第2列の画素ブロックにも及
ぶ。
1フレームの第1行第1列乃至第7行第1列の画素ブロ
ックそれぞれが記憶されたバンクB1乃至B7(図4)
を選択して、第2フレームの第25行第64列の画素デ
ータについての必要範囲を構成する画素データを読み出
した後、その右隣の第1フレームにおける第1行第2列
乃至第7行第2列の画素ブロックそれぞれが記憶された
バンクB10乃至B16(図4)を選択して、第2フレ
ームの第25行第64列の画素データについての必要範
囲を構成する画素データを読み出すようになされてい
る。
画像において水平方向に隣接する画素ブロックが、2個
のバンクに交互に記憶されるように、バンクの選択が行
われているから、上述したように、水平方向に隣接する
2つの画素ブロックの画素データを読み出す場合でも、
その読み出しを迅速に行うことができる。
続した読み書きは、その読み書きする対象のメモリセル
のワード線が異なると、そのワード線の切り替えに時間
がかかることから、データを読み書きする時間が、同一
のワード線上のメモリセルを対象とする場合に比較して
増加する。このため、本実施の形態では、図2および図
3で説明したように、1の画素ブロックを構成する画素
データを、バンクの1本のワード線上のメモリセルに記
憶させることにより、データを読み書きする時間の短縮
化を図っている。
行第1列の画素ブロックに続いて、その右隣の第1行第
2列の画素ブロックの読み出しを行う場合に、これらの
連続して読み出しを行おうとする2つの画素ブロック
が、同一のバンクに記憶されている場合には、ワード線
の切り替えに起因する読み出し時間の遅延が生じる。
ックはバンクB1に、その右隣の第1行第2列の画素ブ
ロックはバンクB2に、それぞれ記憶されている。従っ
て、第1行第1列の画素ブロックに続いて、第1行第2
列の画素ブロックの読み出しを行う場合には、それらの
2つの画素ブロックが記憶されているバンクが異なるこ
とから、第1行第1列の画素ブロックの読み出し終了前
に、その画素ブロックが記憶されたバンクB1とは異な
るバンクB2の、第1行第2列の画素ブロックが記憶さ
れたメモリセル上のワード線をアクティブにしておくこ
とができ、その結果、上述したようなワード線の切り替
えに起因する読み出し時間の遅延が生じることを防止す
ることができる。
ームの第25行第30列の画素データに注目した場合に
は、バンクセレクタ1において、バンクB8が選択され
て書き込まれる。さらに、このとき、バンクセレクタ3
において、第2フレームの第25行第30列の画素デー
タについての必要範囲を得るための画素データが、バン
クB1乃至B7から読み出される。
素データの読み書きを同時に行う必要があるが、第2フ
レームの第25行第30列の画素データの書き込みは、
バンクB8を対象とし、その必要範囲を得るための画素
データの読み出しは、バンクB1乃至B7を対象として
行われるから、即ち、画素データの書き込みと読み出し
とが、異なるバンクを対象として行われるから、その書
き込みと読み出しとを同時に行うことができる。
ある第1行第1列の画素データが書き込まれるバンクB
5(図4)には、第2フレームの他の画素データについ
ての必要範囲を構成する第1フレームの画素データが記
憶されているから、その第1フレームの画素データを、
その第1フレームの画素データを用いて必要範囲が構成
される第2フレームの画素の書き込みが終了するまで保
持しておかないと、処理が破綻することになる。
に、第1フレームの第5行第1列の画素ブロックが最も
早く記憶されており、従って、処理の順番からすれば、
この画素ブロックが最も早く不要になる。そして、図4
に示した第1フレームの第5行第1列の画素ブロック
は、図5に示した第2フレームの第8行第1列の画素ブ
ロックの3画素ブロックだけ上にあるから、その第2フ
レームの第8行第1列の画素ブロックを構成する画素デ
ータについての必要範囲を構成する画素データを有して
おり、従って、第2フレームの第8行第1列の画素ブロ
ックを構成する画素データの書き込みが終了するまで
は、第1フレームの第5行第1列の画素ブロックは、メ
モリ2に保持しておく必要がある。
1列の画素ブロックを、ラインスキャン順に供給される
第2フレームの第8行の画素ブロックの書き込みが終了
するまで保持しておくものとすると、それまでに、第1
フレームの第5行第1列の画素ブロックが記憶されたバ
ンクB5(図4)には、図5に示したように、第2フレ
ームの画素ブロックの第1行の画素ブロックを1つおき
に書き込む必要がある。
の形態では、横×縦が1920画素×1080画素で構
成されており、画素ブロックは、横×縦が64×8画素
で構成されるから、1フレームのHD画像を記憶するに
は、横が30(=1920/64)画素ブロック分で、
縦が135(=1080/8)画素ブロック分の記憶容
量を必要とする。
行を構成する画素ブロックは30個であり、バンクB5
に書き込まれるのは、その半分の15画素ブロックとい
うことになる。
に、バンクB5に、15画素ブロック分の空き容量があ
れば、そこに、第2フレームの画素データを書き込むこ
とで、第2フレームの第8行の画素ブロックの書き込み
が終了するまで、第1フレームの第5行第1列の画素ブ
ロックを保持しておくことが可能となる。
HD画像を記憶するには、30×135画素ブロック分
の記憶容量を必要とする。本実施の形態では、メモリ2
は18バンクで構成されているから、メモリ2を構成す
る各バンクに、1フレームのHD画像を、均一のデータ
量ずつ記憶させると、各バンクに記憶されるデータ量
は、30×135/18=225画素ブロック分にな
る。
2に示したように、256本のワード線を有し、各ワー
ド線が1画素ブロックに対応するから、256画素ブロ
ック分の容量を有する。従って、1フレームのHD画像
をメモリ2に記憶させた場合、各バンクには、256−
225=31ブロック分の空き容量がある。
15画素ブロック分を書き込む空き容量を十分有するか
ら、そこに、第2フレームの画素データを書き込むこと
で、第2フレームの第8行の画素ブロックの書き込みが
終了するまで、第1フレームの第5行第1列の画素ブロ
ックを保持しておくことが可能となる。その結果、処理
を破綻させることなく、画素データの書き込みと読み出
しとを同時に行うことができる。
いえる。また、例えば、上述の場合において、バンクB
5に記憶されている第1フレームの第5行第1列の画素
ブロックは、第2フレームの第8行の画素ブロックの書
き込みの終了後は必要なくなるから、その後は、バンク
B5の、第1フレームの第5行第1列の画素ブロックが
記憶されていたメモリセルに、第2フレームの画素デー
タを書き込むことが可能となる。
となく、画素データの書き込みと読み出しとを同時に行
う場合の、メモリ2へのアドレスの与え方については、
本件出願人が先に出願した特願平10−32913号
に、その詳細が開示されている。
(図1)が出力する56画素の画素データは、ロード/
シフト回路4に供給される。ロード/シフト回路4で
は、バンクセレクタ3が出力する56画素の画素データ
のうちの、必要範囲の縦方向を構成するものだけが選択
され、即ち、ここでは、48画素の画素データが選択さ
れ、2次元パラレルアレイ5に供給される。
図1の画像処理装置に供給された場合、その画素データ
に対応する、既にメモリ2に記憶された画素データを有
する画素ブロックを含む、上下それぞれ3個の画素ブロ
ックの、合計7個の画素ブロックから、同一列に配置さ
れた56画素が読みされるから、上述したように、列方
向については、バンクセレクタ3が出力する画素データ
には、現フレームの画素データについての必要範囲を構
成するための画素データが、必ず含まれる。従って、ロ
ード/シフト回路4においては、バンクセレクタ3が出
力する56画素の画素データの中から、必要範囲の縦方
向を構成するものだけを選択することができる。
次元パラレルアレイ103と同様に、ロード/シフト回
路4からの48の画素データが、第1行第1列乃至第4
8行第1列のレジスタにそれぞれ記憶され、以下、ロー
ド/シフト回路4から、新たに48の画素データが供給
されるごとに、各レジスタに記憶されている画素データ
が、その右隣のレジスタにシフトされていく。これによ
り、2次元パラレルアレイ5においては、バンクセレク
タ1に供給された画素データについての必要範囲を構成
する画素データが記憶される。
の画素セレクタ6と同様に、2次元パラレルアレイ5に
記憶されている必要範囲内の画素データのうち、演算処
理回路7が、そこに供給された画素データの処理に用い
るものが適宜選択され、演算処理回路7に供給される。
演算処理回路7は、バンクセレクタ1に供給される画素
データと、画素セレクタ6からの画素データとを用い
て、所定の演算処理等を行い、その処理結果を出力す
る。
2を構成するバンクへの、画像のマッピングの方法につ
いて、さらに説明する。
の1フレームの画像データを構成する垂直方向または水
平方向の画素数それぞれをaまたはbと表す。さらに、
図7(B)に示すように、1個のバンクが記憶すること
のできる画素数をcと、バンクの1本のワード線上のメ
モリセルが記憶することができる画素数をdと、バンク
が同時に読み出すことのできる画素数をeと、それぞれ
表す。また、図7(C)に示すように、必要範囲の縦ま
たは横の画素数を、それぞれfまたはgと表す。
リ2は、図7(B)のように構成されるバンクを、次式
で表されるh個以上用いて構成する必要がある。
ように、垂直方向がe画素、水平方向がd/e画素で構
成される。但し、d/eが整数でない場合には、水平方
向の画素数はd/eの小数点以下を切り捨てた値とされ
る。
1,#2,・・・,#h/2,・・・,#hと表すと、
例えば、図8(C)に示すように、図7(A)に示した
処理対象の画像の最も左上の第1行第1列の画素ブロッ
ク(上述したように、縦×横がe画素×d/e画素のブ
ロック)は、バンク#1に記憶され、その下に隣接する
第2行第1列の画素ブロックは、バンク#2に記憶され
る。さらに、その下に隣接する第3行第1列の画素ブロ
ックは、バンク#3に記憶され、以下、同様にして、上
からh/2個目までにある、残りの第4行第1列乃至第
h/2行第1列の画素ブロックは、バンク#4乃至#h
/2にそれぞれ記憶される。
ックの左に隣接する第1行第2列の画素ブロックは、バ
ンク#(h/2+1)に記憶され、その下に隣接する第
2行第2列の画素ブロックは、バンク#(h/2+2)
に記憶される。さらに、その下に隣接する第3行第2列
の画素ブロックは、バンク#(h/2+3)に記憶さ
れ、以下、同様にして、上からh/2個目までにある、
残りの第4行第2列乃至第h/2行第2列の画素ブロッ
クは、バンク#(h/2+4)乃至#hにそれぞれ記憶
される。
素ブロックは、再び、バンク#1乃至#h/2に同期的
に記憶され、第2列の第h/2+1行以下の画素ブロッ
クも、バンク#(h/2+1)乃至#hに同期的に記憶
される。さらに、第3列の画素ブロックは、第1列の画
素ブロックと同様に、バンク#1乃至#h/2に記憶さ
れ、第4列のブロックは、第2列の画素ブロックと同様
に、バンク#(h/2+1)乃至#hに記憶される。以
下、同様にして、各列の画素ブロックは、バンク#1乃
至#hに記憶される。
を頂点とする横×縦が2画素ブロック×h/2画素ブロ
ックの範囲の画素データの、バンク#1乃至#hそれぞ
れへのマッピングのパターンを基準のマッピングパター
ンとして、処理対象の画像の、他の画素データの、バン
ク#1乃至#hそれぞれへのマッピングが行われる。
向の画素ブロックに注目すれば、いずれの行の画素ブロ
ックも、2個のバンクに交互に記憶され、また、垂直方
向の画素ブロックに注目すれば、いずれの列の画素ブロ
ックも、h/2個のバンクに周期的に記憶される。
素ブロックをバンク#1に、第1行第2列の画素ブロッ
クをバンク#2に、第2行第1列の画素ブロックをバン
ク#3に、・・・というようにマッピングしてもよい。
レクタ3において、バンクセレクタ1に入力された画素
データを有する画素ブロックに対応する、既にメモリ2
に記憶された前のフレームの画素ブロックを含む、その
上下それぞれに隣接する所定数個の画素ブロックの、合
計でf/e+1個(但し、f/e+1が小数点以下の値
を有する場合には、小数点以下を切り上げた値)の画素
ブロックをそれぞれ記憶しているバンクが選択され、各
バンクから、そこに記憶されている画素ブロックの同一
列の画素データが読み出される。
ち、データの読み書きを同時に行うためには、バンクセ
レクタ3において選択されるバンク数がh/2−1以下
である必要がある。
8のうちの1個を選択して、画素データを書き込むとと
もに、その複数のB1乃至B18のうちの他の2個以上
を選択して、画素データを読み出し、そのうちの必要な
ものだけを選択するようにしたので、ラインスキャン
順、即ち、水平方向に連続して入力される画像データ
を、必要なライン数の画像データを一時記憶しておくた
めのラインメモリを用いずに、垂直方向に連続した画像
データに変換し、水平方向と垂直方向とが所望の画素数
で構成される2次元の画素のブロックを得ることが可能
となる。
検出を行う動き検出回路や、解像度想像を行うクラス分
類適用処理回路、その他、画像から、2次元の画素のブ
ロックを抽出して処理の対象とする回路等の小型化を図
ることが可能となる。
する。
(Standard Desity)画像と、所定の予測係数との線形
結合により、HD(High Density)画像の画素の予測値
を求める適応処理を行うことで、SD画像には含まれて
いない高周波成分が復元されるようになされている。
画素(以下、適宜、HD画素という)の画素値yの予測
値E[y]を、幾つかのSD画素(SD画像を構成する
画素)の画素値(以下、適宜、学習データという)
x1,x2,・・・と、所定の予測係数w1,w2,・・・
の線形結合により規定される線形1次結合モデルにより
求めることを考える。この場合、予測値E[y]は、次
式で表すことができる。
集合でなる行列W、学習データの集合でなる行列X、お
よび予測値E[y]の集合でなる行列Y’を、
用して、HD画素の画素値yに近い予測値E[y]を求
めることを考える。この場合、教師データとなるHD画
素の真の画素値yの集合でなる行列Y、およびHD画素
の画素値yに対する予測値E[y]の残差eの集合でな
る行列Eを、
成立する。
値E[y]を求めるための予測係数wiは、自乗誤差
微分したものが0になる場合、即ち、次式を満たす予測
係数wiが、HD画素の画素値yに近い予測値E[y]
を求めるため最適値ということになる。
で微分することにより、次式が成立する。
られる。
習データx、予測係数w、教師データy、および残差e
の関係を考慮すると、式(6)から、次のような正規方
程式を得ることができる。
係数wの数と同じ数だけたてることができ、従って、式
(7)を解くことで(但し、式(7)を解くには、式
(7)において、予測係数wにかかる係数で構成される
行列が正則である必要がある)、最適な予測係数wを求
めることができる。なお、式(7)を解くにあたって
は、例えば、掃き出し法(Gauss-Jordanの消去法)など
を適用することが可能である。
めておき、さらに、その予測係数wを用い、式(1)に
より、HD画素の画素値yに近い予測値E[y]を求め
るのが適応処理である。
いない、HD画像に含まれる成分が再現される点で、補
間処理とは異なる。即ち、適応処理では、式(1)だけ
を見る限りは、いわゆる補間フィルタを用いての補間処
理と同一であるが、その補間フィルタのタップ係数に相
当する予測係数wが、教師データyを用いての、いわば
学習により求められるため、HD画像に含まれる成分を
再現することができる。即ち、容易に、高解像度の画像
を得ることができる。このことから、適応処理は、いわ
ば画像の創造(解像度想像)作用がある処理ということ
ができる。
D画像をHD画像に変換するクラス分類適応処理回路の
構成例を示している。
延回路18に供給されるようになされており、クラス分
類回路14では、適応処理により予測値を求めようとす
るHD画素(以下、適宜、注目画素という)が、SD画
像に基づいて、所定のクラスにクラス分類される。
に、注目画素の周辺にあるSD画素として、例えば、注
目画素からの距離が所定値以下のSD画素でなるブロッ
ク(以下、適宜、処理ブロックという)を、SD画像か
ら抽出し、その処理ブロックを構成する、例えばすべて
のSD画素の画素値のパターンにあらかじめ割り当てら
れた値を、注目画素のクラスとして、係数ROM19の
アドレス端子(AD)に供給する。
ば、図10に示すように、注目画素を中心とする4×4
のSD画素(同図において○印で示す)でなるクラスタ
ップを、SD画像から抽出し、これらの16のSD画素
の画素値のパターンに対応する値を、注目画素のクラス
として出力する。
例えば、8ビットなどの多くのビット数が割り当てられ
ている場合、16のSD画素の画素値のパターン数は、
(28)16通りという莫大な数となり、その後の処理の
迅速化が困難となる。
て、クラスタップには、それを構成するSD画素のビッ
ト数を低減するための処理である、例えばADRC(Ad
aptiv Dynamic Range Coding)処理などが施される。
ップを構成する16のSD画素から、その画素値の最大
のもの(以下、適宜、最大画素という)と最小のもの
(以下、適宜、最小画素という)とが検出される。そし
て、最大画素の画素値MAXと最小画素の画素値MIN
との差分DR(=MAX−MIN)が演算され、このD
Rをクラスタップの局所的なダイナミックレンジとし、
このダイナミックレンジDRに基づいて、クラスタップ
を構成する各画素値が、元の割当ビット数より少ないK
ビットに再量子化される。つまり、クラスタップを構成
する各画素値から最小画素の画素値MINが減算され、
各減算値が、DR/2Kで除算される。
値はKビットで表現されるようになる。従って、例えば
K=1とした場合、16のSD画素の画素値のパターン
数は、(21)16通りになり、ADRC処理を行わない
場合に比較して、パターン数を非常に少ないものとする
ことができる。
れることにより求められた予測係数を、クラスごとに記
憶しており、クラス分類回路14からクラスが供給され
ると、そのクラスに対応するアドレスに記憶されている
予測係数を読み出し、予測演算回路20に供給する。
0に対して、係数ROM19から予測係数が供給される
タイミングと、後述する予測タップ生成回路16から予
測タップが供給されるタイミングとを一致させるために
必要な時間だけ、SD画像が遅延され、予測タップ生成
回路16に供給される。
されるSD画像から、予測演算回路20において注目画
素の予測値を求めるのに用いるSD画素が抽出され、こ
れが予測タップとして、予測演算回路20に供給され
る。即ち、予測タップ生成回路16では、SD画像か
ら、例えば、クラス分類回路14で抽出されたとの同一
のクラスタップが抽出され、そのクラスタップを構成す
るSD画素が、予測タップとして、予測演算回路20に
供給される。
らの予測係数w,w2,・・・と、予測タップ生成回路
16からの予測タップx1,x2,・・・とを用いて、式
(1)に示した演算が行われることにより、注目画素y
の予測値E[y]が求められ、これが、HD画素の画素
値として出力される。
目画素として行われ、これにより、SD画像がHD画像
に変換される。
記憶させる予測係数を算出する学習処理を行う学習装置
の構成例を示している。
画像が、間引き回路21および遅延回路28に供給され
るようになされており、間引き回路21では、HD画像
が、例えば、その画素数が間引かれることにより少なく
され、これによりSD画像とされる。このSD画像は、
クラス分類回路26および予測タップ生成回路27に供
給される。
回路27では、図9のクラス分類回路14または予測タ
ップ生成回路16における場合と同様の処理が行われ、
これにより注目画素のクラスまたは予測タップがそれぞ
れ出力される。クラス分類回路26が出力するクラス
は、予測タップメモリ29および教師データメモリ30
のアドレス端子(AD)に供給され、予測タップ生成回
路27が出力する予測タップは、予測タップメモリ29
に供給される。
路26から供給されるクラスに対応するアドレスに、予
測タップ生成回路27から供給される予測タップが記憶
される。
するクラスが、クラス分類回路26から教師データメモ
リ30に供給される時間だけ、HD画像が遅延され、そ
のうちの、注目画素であるHD画素の画素値だけが、教
師データとして、教師データメモリ30に供給される。
ス分類回路26から供給されるクラスに対応するアドレ
スに、遅延回路28から供給される教師データが記憶さ
れる。
意されたすべてのHD画像を構成するすべてのHD画素
が注目画素とされるまで繰り返される。
または教師データメモリ30の同一のアドレスには、図
10において○印で示したSD画素または図10におい
て×印で示したHD画素とそれぞれ同一の位置関係にあ
るSD画素またはHD画素が、学習データxまたは教師
データyとして記憶される。
メモリ30においては、同一アドレスに複数の情報を記
憶することができるようになされており、これにより、
同一アドレスには、同一のクラスに分類される複数の学
習データxと教師データyを記憶することができるよう
になされている。
リ29または教師データメモリ30から、同一アドレス
に記憶されている学習データとしての予測タップまたは
教師データとしてのHD画素の画素値を読み出し、それ
らを用いて、最小自乗法によって、予測値と教師データ
との間の誤差を最小にする予測係数を算出する。即ち、
演算回路31では、クラスごとに、式(7)に示した正
規方程式がたてられ、これを解くことにより予測係数が
求められる。
れたクラスごとの予測係数が、図9の係数ROM19に
おける、そのクラスに対応するアドレスに記憶されてい
る。
測係数を求めるのに必要な数の正規方程式が得られない
クラスが生じる場合があるが、そのようなクラスについ
ては、例えば、クラスを無視して正規方程式をたてて解
くことにより得られる予測係数などが、いわばデフォル
トの予測係数として用いられる。
て処理を行う画像処理装置は、画像からクラスタップお
よび予測タップを検出して処理を行うクラス分類適応処
理回路(図9)や、学習装置(図11)に適用すること
ができる。
ら、空間方向に分布する画素を検出するようにしたが、
時間方向に分布する画素を検出するようにすることも可
能である。また、空間方向と時間方向の両方に分布する
画素を検出する、即ち、3次元の必要範囲を検出するよ
うにすることも可能である。
憶手段が有する複数の記憶バンクのうちの1個が選択さ
れて、データが書き込まれるとともに、その複数の記憶
バンクのうちの他の2個以上が選択されて、データが読
み出される。そして、その読み出されたデータの選択が
行われる。
よれば、画素データが、所定の画素ブロック単位で、複
数のメモリバンクそれぞれに記憶されるように、複数の
メモリバンクのうちの1個が選択され、メモリバンク
に、画素ブロックを構成する画素データが、1本のワー
ド線上のメモリセルに記憶される。
によれば、複数の記憶バンクのうちの2個以上が選択さ
れて、データが読み出され、その読み出されたデータの
選択が行われる。
ち、水平方向に連続して入力される画像データを、必要
なライン数の画像データを一時記憶しておくためのライ
ンメモリを用いずに、垂直方向に連続した画像データに
変換し、水平方向と垂直方向とが所望の画素数で構成さ
れる2次元の画素のブロックを得ることが可能となる。
の構成例を示すブロック図である。
8の構成例を示す図である。
するための図である。
するための図である。
するための図である。
ングの方法を説明するための図である。
ングの方法を説明するための図である。
ク図である。
ための図である。
ック図である。
モリ(記憶手段),3 バンクセレクタ(読み出し用選
択手段), 4 ロード/シフト回路(データ選択手
段), 5 2次元パラレルアレイ, 6 画素セレク
タ, 7 演算処理回路
Claims (22)
- 【請求項1】 データを記憶する記憶装置であって、 複数の記憶バンクを有する記憶手段と、 前記複数の記憶バンクのうちの1個を選択し、前記デー
タを書き込む書き込み用選択手段と、 前記複数の記憶バンクのうちの他の2個以上を選択し、
前記データを読み出す読み出し用選択手段と、 前記読み出し用選択手段が出力した前記データの選択を
行うデータ選択手段とを備えることを特徴とする記憶装
置。 - 【請求項2】 前記データは、画像データであり、 前記書き込み用選択手段は、選択した1個の前記記憶バ
ンクに、前記画像データを構成する水平方向の画素デー
タを書き込み、 前記読み出し用選択手段は、選択した2個以上の前記記
憶バンクから、前記画像データを構成する垂直方向の画
素データを読み出すことを特徴とする請求項1に記載の
記憶装置。 - 【請求項3】 前記記憶バンクは、半導体メモリである
ことを特徴とする請求項2に記載の記憶装置。 - 【請求項4】 前記書き込み用選択手段は、前記画像デ
ータを構成する画素データが、所定の画素ブロック単位
で、前記複数の記憶バンクそれぞれに記憶されるよう
に、前記複数の記憶バンクのうちの1個を順次選択し、 前記記憶バンクは、前記画素ブロックを構成する前記画
素データを、1本のワード線上のメモリセルに記憶する
ことを特徴とする請求項3に記載の記憶装置。 - 【請求項5】 前記記憶バンクは、前記画素ブロックを
構成する垂直方向に並ぶ前記画素データすべてを同時に
読み出すことができる半導体メモリであることを特徴と
する請求項4に記載の記憶装置。 - 【請求項6】 1画面の前記画像データを構成する垂直
方向または水平方向の画素数それぞれをaまたはbと、 1個の前記記憶バンクが記憶することのできる画素数を
cと、 前記記憶バンクの1本のワード線上のメモリセルが記憶
することができる画素数をdと、 前記記憶バンクが同時に読み出すことのできる画素数を
eと、 前記データ選択手段において選択される画素数をfとそ
れぞれするとき、 前記記憶手段は、式h=F(a×b/c)+2、但し、
F(x)は、x以上の最小の偶数を表すで表される数h
の前記記憶バンクを有し、 前記画素ブロックは、垂直方向がe画素、水平方向がd
/e以下の最大の整数に等しい画素で構成され、 前記読み出し用選択手段は、前記複数の記憶バンクか
ら、f/e+1以上の最小の整数iに等しい数だけ選択
し、前記画素データを読み出すことを特徴とする請求項
4に記載の記憶装置。 - 【請求項7】 前記書き込み用選択手段は、前記画像デ
ータにおいて隣接する前記画素ブロックが、異なる前記
記憶バンクに記憶されるように、前記複数の記憶バンク
のうちの1つを選択することを特徴とする請求項6に記
載の記憶装置。 - 【請求項8】 前記書き込み用選択手段は、前記画像デ
ータにおいて水平方向に隣接する前記画素ブロックが、
2個の前記記憶バンクに交互に記憶されるように、前記
複数の記憶バンクのうちの1個を選択することを特徴と
する請求項7に記載の記憶装置。 - 【請求項9】 前記書き込み用選択手段は、前記画像デ
ータにおいて垂直方向に隣接する前記画素ブロックが、
h/2個の前記記憶バンクに周期的に記憶されるよう
に、前記複数の記憶バンクのうちの1個を選択すること
を特徴とする請求項7に記載の記憶装置。 - 【請求項10】 前記読み出し用選択手段が選択する前
記記憶バンクの個数iは、h/2−1以下であることを
特徴とする請求項9に記載の記憶装置。 - 【請求項11】 画像データを記憶する記憶装置に、前
記画像データを書き込む書き込み方法であって、 前記記憶装置は、 複数のメモリバンクを有する記憶手段と、 前記複数のメモリバンクのうちの1個を選択し、前記画
像データを構成する水平方向の画素データを書き込む書
き込み用選択手段とを備え、 前記書き込み用選択手段に、前記画素データが、所定の
画素ブロック単位で、前記複数のメモリバンクそれぞれ
に記憶されるように、前記複数のメモリバンクのうちの
1個を順次選択させ、 前記メモリバンクに、前記画素ブロックを構成する前記
画素データを、1本のワード線上のメモリセルに記憶さ
せることを特徴とする書き込み方法。 - 【請求項12】 前記メモリバンクは、前記画素ブロッ
クを構成する垂直方向に並ぶ前記画素データすべてを同
時に読み出すことができる半導体メモリであることを特
徴とする請求項11に記載の書き込み方法。 - 【請求項13】 1画面の前記画像データを構成する垂
直方向または水平方向の画素数それぞれをaまたはb
と、 1個の前記メモリバンクが記憶することのできる画素数
をcと、 前記メモリバンクの1本のワード線上のメモリセルが記
憶することができる画素数をdと、 前記メモリバンクが同時に読み出すことのできる画素数
をeと、 それぞれするとき、 前記記憶手段は、式h=F(a×b/c)+2、 但
し、F(x)は、x以上の最小の偶数を表すで表される
数hの前記メモリバンクを有し、 前記画素ブロックは、垂直方向がe画素、水平方向がd
/e以下の最大の整数に等しい画素で構成されることを
特徴とする請求項11に記載の書き込み方法。 - 【請求項14】 前記書き込み用選択手段に、前記画像
データにおいて隣接する前記画素ブロックが、異なる前
記メモリバンクに記憶されるように、前記複数のメモリ
バンクのうちの1つを選択させることを特徴とする請求
項13に記載の書き込み方法。 - 【請求項15】 前記書き込み用選択手段に、前記画像
データにおいて水平方向に隣接する前記画素ブロック
が、2個の前記メモリバンクに交互に記憶されるよう
に、前記複数のメモリバンクのうちの1個を選択させる
ことを特徴とする請求項14に記載の書き込み方法。 - 【請求項16】 前記書き込み用選択手段に、前記画像
データにおいて垂直方向に隣接する前記画素ブロック
が、h/2個の前記メモリバンクに周期的に記憶される
ように、前記複数のメモリバンクのうちの1個を選択さ
せることを特徴とする請求項14に記載の書き込み方
法。 - 【請求項17】 データを記憶する記憶装置から、前記
データを読み出す読み出し方法であって、 前記記憶装置は、複数の記憶バンクを有する記憶手段を
備え、 前記複数の記憶バンクのうちの2個以上を選択して、前
記データを読み出し、その読み出したデータの選択を行
って出力することを特徴とする読み出し方法。 - 【請求項18】 前記データは、画像データであり、 前記複数の記憶バンクのうちの1個が順次選択され、前
記画像データを構成する水平方向の画素データが書き込
まれていく場合において、 前記複数の記憶バンクのうちの2個以上を選択し、前記
画像データを構成する垂直方向の画素データを読み出す
ことを特徴とする請求項17に記載の読み出し方法。 - 【請求項19】 前記記憶バンクは、半導体メモリであ
ることを特徴とする請求項18に記載の読み出し方法。 - 【請求項20】 前記画像データを構成する画素データ
が、所定の画素ブロック単位で、前記複数の記憶バンク
それぞれに記憶されるように、前記複数の記憶バンクの
うちの1個が順次選択され、 前記画素ブロックを構成する前記画素データが、選択さ
れた前記記憶バンクの1本のワード線上のメモリセルに
記憶される場合において、 前記記憶バンクから、前記画素ブロックを構成する垂直
方向に並ぶ前記画素データすべてを同時に読み出すこと
を特徴とする請求項19に記載の読み出し方法。 - 【請求項21】 1画面の前記画像データを構成する垂
直方向または水平方向の画素数それぞれをaまたはb
と、 1個の前記記憶バンクが記憶することのできる画素数を
cと、 前記記憶バンクの1本のワード線上のメモリセルが記憶
することができる画素数をdと、 前記記憶バンクから同時に読み出すことのできる画素数
をeと、 前記複数の記憶バンクのうちの2個以上から読み出され
た画像データから選択される画素数をfとそれぞれする
とき、 前記記憶手段は、式h=F(a×b/c)+2、 但
し、F(x)は、x以上の最小の偶数を表すで表される
数hの前記記憶バンクを有し、 前記画素ブロックは、垂直方向がe画素、水平方向がd
/e以下の最大の整数に等しい画素で構成され、 前記複数の記憶バンクから、f/e+1以上の最小の整
数iに等しい数だけ選択し、前記画素データを読み出す
ことを特徴とする請求項20に記載の読み出し方法。 - 【請求項22】 前記画像データにおいて水平方向に隣
接する前記画素ブロックが、2個の前記記憶バンクに交
互に記憶され、かつ前記画像データにおいて垂直方向に
隣接する前記画素ブロックが、h/2個の前記記憶バン
クに周期的に記憶されるように、前記複数の記憶バンク
のうちの1個が選択されて、前記画像データが記憶され
る場合において、 前記複数の記憶バンクから選択される前記記憶バンクの
個数iは、h/2−1以下であることを特徴とする請求
項21に記載の読み出し方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25787798A JP4224876B2 (ja) | 1998-09-11 | 1998-09-11 | 記憶装置、並びに書き込み方法および読み出し方法 |
US09/394,439 US6181632B1 (en) | 1998-09-11 | 1999-09-09 | Multiple memory bank device and method for image processing |
KR19990038608A KR100653562B1 (ko) | 1998-09-11 | 1999-09-10 | 메모리 디바이스와, 기록 방법 및 판독 방법 |
EP19990307211 EP0986266A3 (en) | 1998-09-11 | 1999-09-13 | Image memory device and writing/reading out method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25787798A JP4224876B2 (ja) | 1998-09-11 | 1998-09-11 | 記憶装置、並びに書き込み方法および読み出し方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000090256A true JP2000090256A (ja) | 2000-03-31 |
JP4224876B2 JP4224876B2 (ja) | 2009-02-18 |
Family
ID=17312431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25787798A Expired - Fee Related JP4224876B2 (ja) | 1998-09-11 | 1998-09-11 | 記憶装置、並びに書き込み方法および読み出し方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6181632B1 (ja) |
EP (1) | EP0986266A3 (ja) |
JP (1) | JP4224876B2 (ja) |
KR (1) | KR100653562B1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005196361A (ja) * | 2004-01-05 | 2005-07-21 | Sony Corp | データ格納装置、データ格納制御装置、データ格納制御方法及びデータ格納制御プログラム |
JP2005332369A (ja) * | 2004-04-19 | 2005-12-02 | Sony Corp | データ格納装置、データ格納制御装置、データ格納制御方法及びデータ格納制御プログラム |
JP2006323604A (ja) * | 2005-05-18 | 2006-11-30 | Sony Corp | データアクセス装置、データアクセス方法、プログラムおよび記録媒体 |
JP2009087252A (ja) * | 2007-10-02 | 2009-04-23 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2009163660A (ja) * | 2008-01-10 | 2009-07-23 | Seiko Epson Corp | 画像処理回路、画像処理装置 |
JP2009199491A (ja) * | 2008-02-25 | 2009-09-03 | Seiko Epson Corp | 画像処理装置、画像処理方法 |
JP2013061737A (ja) * | 2011-09-12 | 2013-04-04 | Canon Inc | パターン識別装置、パターン識別方法及びプログラム |
US8441884B2 (en) | 2008-03-27 | 2013-05-14 | Fujitsu Semiconductor Limited | Semiconductor memory device, image processing system, and image processing method |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2826226A1 (fr) * | 2001-06-19 | 2002-12-20 | Koninkl Philips Electronics Nv | Circuit memoire concu pour un acces parallele en lecture ou en ecriture de donnees a plusieurs composantes |
US6901027B2 (en) * | 2002-04-30 | 2005-05-31 | Sony Corporation | Apparatus for processing data, memory bank used therefor, semiconductor device, and method for reading out pixel data |
US7386651B2 (en) * | 2003-07-03 | 2008-06-10 | Broadcom Corporation | System, method, and apparatus for efficiently storing macroblocks |
TWI289750B (en) * | 2004-01-05 | 2007-11-11 | Sony Corp | Data storage apparatus, and data storage controlling apparatus and method |
US7401177B2 (en) * | 2004-04-19 | 2008-07-15 | Sony Corporation | Data storage device, data storage control apparatus, data storage control method, and data storage control program |
US8189408B2 (en) * | 2009-11-17 | 2012-05-29 | Freescale Semiconductor, Inc. | Memory device having shifting capability and method thereof |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04354287A (ja) * | 1991-05-30 | 1992-12-08 | Sony Corp | 画像補間回路 |
JP3040275B2 (ja) * | 1993-02-15 | 2000-05-15 | 沖電気工業株式会社 | フォーマット変換回路 |
US5598514A (en) * | 1993-08-09 | 1997-01-28 | C-Cube Microsystems | Structure and method for a multistandard video encoder/decoder |
JP3058795B2 (ja) * | 1994-03-30 | 2000-07-04 | 東芝テック株式会社 | 画情報転送装置 |
JP3803122B2 (ja) * | 1995-05-02 | 2006-08-02 | 松下電器産業株式会社 | 画像メモリ装置および動きベクトル検出回路 |
JPH0970053A (ja) * | 1995-08-30 | 1997-03-11 | Sony Corp | 信号処理装置 |
JPH1011009A (ja) * | 1996-04-23 | 1998-01-16 | Hitachi Ltd | 映像信号の処理装置及びこれを用いた表示装置 |
KR100413409B1 (ko) | 1996-06-03 | 2004-04-17 | 엘지전자 주식회사 | 에이치디티브이의수직영상포맷변환장치 |
JP4251675B2 (ja) * | 1997-07-30 | 2009-04-08 | ソニー株式会社 | 記憶装置およびアクセス方法 |
-
1998
- 1998-09-11 JP JP25787798A patent/JP4224876B2/ja not_active Expired - Fee Related
-
1999
- 1999-09-09 US US09/394,439 patent/US6181632B1/en not_active Expired - Lifetime
- 1999-09-10 KR KR19990038608A patent/KR100653562B1/ko not_active IP Right Cessation
- 1999-09-13 EP EP19990307211 patent/EP0986266A3/en not_active Withdrawn
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005196361A (ja) * | 2004-01-05 | 2005-07-21 | Sony Corp | データ格納装置、データ格納制御装置、データ格納制御方法及びデータ格納制御プログラム |
JP4534488B2 (ja) * | 2004-01-05 | 2010-09-01 | ソニー株式会社 | データ格納装置、データ格納制御装置、データ格納制御方法及びデータ格納制御プログラム |
JP2005332369A (ja) * | 2004-04-19 | 2005-12-02 | Sony Corp | データ格納装置、データ格納制御装置、データ格納制御方法及びデータ格納制御プログラム |
JP2006323604A (ja) * | 2005-05-18 | 2006-11-30 | Sony Corp | データアクセス装置、データアクセス方法、プログラムおよび記録媒体 |
JP4586627B2 (ja) * | 2005-05-18 | 2010-11-24 | ソニー株式会社 | データアクセス装置、データアクセス方法、プログラムおよび記録媒体 |
US8305383B2 (en) | 2005-05-18 | 2012-11-06 | Sony Corporation | Data access apparatus and method |
JP2009087252A (ja) * | 2007-10-02 | 2009-04-23 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2009163660A (ja) * | 2008-01-10 | 2009-07-23 | Seiko Epson Corp | 画像処理回路、画像処理装置 |
JP2009199491A (ja) * | 2008-02-25 | 2009-09-03 | Seiko Epson Corp | 画像処理装置、画像処理方法 |
US8441884B2 (en) | 2008-03-27 | 2013-05-14 | Fujitsu Semiconductor Limited | Semiconductor memory device, image processing system, and image processing method |
JP2013061737A (ja) * | 2011-09-12 | 2013-04-04 | Canon Inc | パターン識別装置、パターン識別方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP0986266A2 (en) | 2000-03-15 |
KR20000023062A (ko) | 2000-04-25 |
KR100653562B1 (ko) | 2006-12-05 |
JP4224876B2 (ja) | 2009-02-18 |
US6181632B1 (en) | 2001-01-30 |
EP0986266A3 (en) | 2004-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101226394B1 (ko) | 메모리 장치 | |
US6252611B1 (en) | Storage device having plural memory banks concurrently accessible, and access method therefor | |
JP4224876B2 (ja) | 記憶装置、並びに書き込み方法および読み出し方法 | |
JP3278756B2 (ja) | 画像処理方法及び装置 | |
JP3787823B2 (ja) | 画像処理装置および画像処理方法 | |
KR100528560B1 (ko) | 계층적 코딩에 이용하기 위한 저장 장치 및 기록 및 판독 방법 | |
US20080044107A1 (en) | Storage device for storing image data and method of storing image data | |
KR101106080B1 (ko) | 데이터 저장 제어 장치, 데이터 저장 제어 방법 및 데이터 저장 제어 프로그램이 기록된 기록 매체 | |
JP4105257B2 (ja) | 記憶装置および記憶方法 | |
US20070217714A1 (en) | Image processing apparatus and image processing method | |
JP4395677B2 (ja) | 学習装置および学習方法、並びに記録媒体 | |
JP4210950B2 (ja) | 画像処理装置および画像処理方法 | |
JP3702508B2 (ja) | ディジタル画像信号用のメモリ装置 | |
JP4058671B2 (ja) | 記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体 | |
JP4650459B2 (ja) | 半導体装置およびデータ処理装置 | |
JPH09212639A (ja) | 画像回転処理方法及びその装置 | |
JP2006352798A (ja) | 映像信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |