JP2002522971A - ビデオ画像の画像ブロックへのランダムアクセス方法 - Google Patents

Abstract

(57)【要約】 ビデオ画像の画像処理では一般に、隣接する画像ブロックに迅速に反復してアクセスしなければならない。完全なビデオ画像を記憶できる充分な容量を有する画像メモリは、画像処理をリアルタイムで行うのに必要なアクセス時間を有さない。本発明では画像ブロックを画像メモリから高速のアクセスメモリへ書き込む手段を提供する。画像処理演算を実行する際にはアクセスメモリのピクセルのみにアクセスが行われる。読み出し中は同時に画像メモリの別のブロックがアクセスメモリ内へ読み込まれる。これによりメモリの僅かな付加コストのみで画像データへの迅速なアクセスが可能となる。この方法はビデオ画像の画像処理の分野に適用される。

Description

【発明の詳細な説明】

【０００１】 本発明は、ビデオ画像、例えばテレビジョン画像の画像ブロックへのランダム
アクセス方法に関する。

【０００２】 画像処理ではしばしば、関連するピクセルまたは隣接するピクセルの画像領域
にアクセスして、この領域を画像内容の比較またはフィルタ機能の過程にかけな
ければならない。ビデオ画像は一般に連続するピクセルのシーケンスから成って
いる。ピクセルのデータは、先行の走査線が完全に発生してはじめて走査線の形
成が開始されるように伝送される。走査線インタレース方式で伝送されるテレビ
ジョン画像では、まず第１の部分画像の第１の走査線（例えば２本目の走査線）
が表示され、その後このフレームの第２の走査線（この例では４本目の走査線）
が形成されることになる。

【０００３】 このように走査線ごとにビデオ画像を形成する手法に基づいて、直接に続いて
または同時に１つの画像列のピクセルにアクセスする場合、ピクセルの中間記憶
が行われる。画像の垂直方向の所定のピクセルの次に来るピクセルは、前述のよ
うなシーケンシャルなデータ伝送では遅延後でなければ使用できない。中間記憶
の際には画像ブロックへの任意のアクセス、すなわち水平方向および垂直方向で
隣接するピクセルのグループに対する任意のアクセスが可能である。

【０００４】 中間記憶にはダイナミックメモリＤＲＡＭが適している。これはこのメモリが
チップ面積に対して高い記憶容量を有しているからである。通常の場合半導体ダ
イナミックメモリではメモリセルは複数のメモリフィールドブロックユニットと
して配置されている。所定のメモリセルへのアクセス時には、まず当該の走査線
を含むメモリフィールドブロックユニットが活性化される。ほぼ同時にアクセス
すべき２つのピクセルが異なるメモリフィールドブロックユニットに存在してい
る場合には、まず一方のユニットを活性化し、続いて他方のユニットを活性化し
てそれぞれのピクセルを読み出さなければならない。ピクセルの伝送速度が大き
い場合にはリアルタイムでの画像処理は不可能である。２つの異なるメモリフィ
ールドブロックユニットに配置された２つのピクセルへのアクセスは、今日しば
しばそうであるように、画像処理演算のために当該のピクセルへ何度もアクセス
しなければならない場合に特に煩わしい。

【０００５】 したがって本発明の課題は、画像メモリ内に記憶されたビデオ画像の画像ブロ
ックへのランダムアクセス方法を僅かな付加メモリコストのみで実行できるよう
にすることである。この課題は請求項１の特徴を有する方法により解決される。

【０００６】 本発明は、ビデオ画像のピクセルの数に比べて小さなサイズのアクセスメモリ
で画像処理、例えばテレビジョン画像の処理がリアルタイムで行える利点を有す
る。アクセス時間に関しては画像メモリよりも高い要求がアクセスメモリに課さ
れる。アクセスメモリの容量が比較的小さいために、本発明の方法は低コストで
実行することができる。アクセスメモリの第１の領域内部ではそれぞれの画像に
個々にアクセスすることができる。

【０００７】 別の利点として、アクセスメモリの出力側でのデータ速度と入力側でのデータ
速度との比をメイン画像ブロックのサイズから求めることができる。これにより
データ速度とアクセスメモリのサイズとの比を与えられる条件に適合させること
ができる。

【０００８】 有利な実施例では、アクセスメモリの第２の領域はメイン画像ブロックの領域
の３倍の大きさである。有利にはアクセスメモリの第１の領域はメイン画像ブロ
ックと、このメイン画像ブロックと同じ大きさを有する８個の隣接画像ブロック
とから成る。メイン画像ブロックの画像処理が実行された後、それまでのメイン
画像ブロックの右側に接する隣接画像ブロックが新たなメイン画像ブロックとな
る。ビデオ画像ブロックの走査線の終了部では、新たなメイン画像ブロックが走
査線の開始時の位置でメイン画像ブロックの下側に接する隣接画像ブロックから
発生する。典型的にはメイン画像ブロックは水平方向で左方から右方へ向かって
ビデオ画像を越えて変換される。メイン画像ブロックがビデオ画像の終了部に達
すると、メイン画像ブロックのレベルは垂直に下方へオフセットされ、走査線内
でビデオ画像の左方の縁へ戻される。

【０００９】 アクセスメモリが次のように構成されていると有利である。すなわち第１の領
域には水平方向に４８個、垂直方向に２４個のピクセルを有する画像が記憶され
、第２の領域には水平方向に１６個、垂直方向に２４個のピクセルを有する画像
が記憶される。

【００１０】 アクセスメモリの構成として特に半導体スタティックメモリＳＲＡＭが適して
いる。このメモリのアクセス時間は短い。メモリ容量を得るために大きな必要面
積を設けることを考慮する必要はない。なぜならビデオ画像のピクセルの一部の
みしかアクセスメモリには記憶されないからである。

【００１１】 別の有利な実施形態および実施態様は従属請求項に記載されている。本発明を
以下に図に則して詳細に説明する。図１にはアクセスメモリの編成の概略図が示
されている。図２には本発明の方法の説明図が示されている。図３にはメイン画
像ブロックが別のサイズを有する場合の本発明の方法の説明図が示されている。

【００１２】 本発明は走査線から成るビデオ画像に基づいており、このビデオ画像は水平方
向では完全に、また垂直方向では少なくとも部分的に画像メモリに記憶されてい
る。ビデオ画像は例えば走査線インタレース式のテレビジョン画像のフレームで
ある。通常の場合この種の画像メモリはダイナミックメモリＤＲＡＭであり、低
コストかつ高い集積密度で製造することができる。

【００１３】 メモリフィールドブロックユニットから編成される画像メモリからは、個々の
ピクセルを読み出すのではなく、複数の関連するピクセルのメモリブロックから
成るメモリブロック全体を読み出す。メモリブロックとしてはメモリフィールド
ブロックユニットまたはその一部が適している。画像メモリから読み出されるメ
モリブロックはアクセスメモリＺＳに格納される。このアクセスメモリのアクセ
ス時間は短く、種々のメモリスペースで同時に読み込みおよび読み出しを行うこ
とができる。アクセスメモリＺＳに格納されたピクセルに個々にアクセスして例
えばフィルタ機能を実行することもできる。アクセスメモリＺＳは次に処理すべ
きメモリブロックを読み込む別の領域を有しており、すでに記憶されたメモリブ
ロックのピクセルについて画像処理演算が実行される。当該の画像処理演算が終
了すると、アクセスメモリＺＳの別の領域にその時点で読み込まれているピクセ
ルが画像処理部へ供給される。

【００１４】 図１にはアクセスメモリＺＳの編成が示されている。このアクセスメモリは動
作領域ＡＢとバッファ領域ＰＢとに分割されている。ビデオ画像で画像処理演算
を実行する場合、この演算はセクションごとに行われる。例えばビデオ画像の左
上方の縁部分に存在する第１のセクションが選択される。本発明の方法では、第
１のセクションにメイン画像ブロックＨＢが存在し、このメイン画像ブロックに
少なくとも１つの隣接画像ブロックＮＢＨがビデオ画像の水平方向で接する。通
常、メイン画像ブロックＨＢの全周ないし全縁が隣接画像ブロックＮＢによって
包囲されている。

【００１５】 図１には水平方向での隣接画像ブロックＮＢＨのほかに、垂直方向での隣接画
像ブロックＮＢＶとメイン画像ブロックの左上方の縁に接している隣接画像ブロ
ックＮＢＤとが存在しており、これらはそれぞれ異なるハッチングによって示さ
れている。全体では図１の実施例のメイン画像ブロックＨＢは８個の隣接画像ブ
ロックＮＢによって包囲されている。画像ブロックＨＢ、ＮＢのサイズすなわち
水平方向および垂直方向でのピクセル数は画像処理演算の形式に依存している。

【００１６】 本発明の方法は特に画像内容の動き検出に適している。例えば画像シーケンス
中の１つの画像の矩形の画像ウィンドウに対して動きベクトルが検出された場合
、メイン画像ブロックＨＢのサイズはこのウィンドウの寸法に相応して選択され
る。ウィンドウ内のピクセルは画像シーケンス内の続く画像のメイン画像ブロッ
クと比較される。メイン画像ブロックの位置はウィンドウの位置と一致するよう
に選択される。ウィンドウのピクセルが所定のトレランスを考慮してメイン画像
ブロックのピクセルと一致する場合には、このウィンドウによって定められる部
分画像には当該のウィンドウが選択されている画像から続く画像への移行時に動
きは存在しない。

【００１７】 ウィンドウのピクセルと隣接画像ブロックのピクセルとを比較することにより
、ウィンドウの選択されている画像から隣接画像ブロックを形成する画像への移
行時の画像部分の動きベクトルが求められる。このためにウィンドウのピクセル
と隣接画像ブロックのピクセルとの一致の度合が求められる。最大の一致度を有
する隣接画像ブロックの位置からウィンドウの画像内容の動きが結論される。隣
接画像ブロックＮＢのサイズは平均的に発生する動きにしたがって経験的に求め
られる。

【００１８】 アクセスメモリＺＳのバッファ領域ＰＢでは、第１のセクションに接するビデ
オ画像の一部が記憶される。垂直方向でこの画像は第１のセクションの垂直方向
でのピクセルと同じ数のピクセルを有する。水平方向ではこの画像はメイン画像
ブロックの水平方向のピクセルと同じ数のピクセルを有する。

【００１９】 この方法の第１のステップではビデオ画像の第１のセクションがアクセスメモ
リＺＳの動作領域ＡＢに記憶される。この第１のセクションはビデオ画像の左上
方の縁部に相応すると仮定する。対角方向の隣接画像ブロックＮＢＤはこの場合
ビデオ画像の縁部に存在する。メイン画像ブロックＨＢがこの縁部に存在する場
合、隣接画像ブロックはメイン画像ブロックの上方および左方でビデオ画像から
得られる。この場合、また考慮すべき隣接ブロックがビデオ画像の外部に存在す
る場合には、当該の隣接ブロックのピクセルは平均的な輝度であると見なされる
。

【００２０】 例えば動き検出を行うために動作領域ＡＢのピクセルにアクセスしている間、
アクセスメモリＺＳのバッファ領域ＰＢににはビデオ画像のうち第１のセクショ
ンに接する部分が読み込まれる。動作領域ＡＢの垂直方向でのピクセルの数とバ
ッファ領域ＰＢの垂直方向でのピクセルの数とは等しい。水平方向では、バッフ
ァ領域ＰＢにはメイン画像ブロックＨＢの水平方向でのピクセルと同じ数のピク
セルが記憶される。

【００２１】 第２のステップでは、動作領域ＡＢにビデオ画像の第２のセクションが記憶さ
れ、このセクションは水平方向でメイン画像ブロックＨＢの幅だけオフセットさ
れた第１のセクションとバッファ領域ＰＢのピクセルとから生じる。メイン画像
ブロックと隣接画像ブロックとが同じサイズを有する場合、第２のセクションは
第１のセクションの２／３のピクセルとバッファ領域ＰＢのピクセルとを含む。
第２のセクションでは第１のセクションでメイン画像ブロックの右方を占めてい
た隣接画像ブロックがメイン画像ブロックとなる。第２のセクションのピクセル
はさらに画像処理にかけられる。同時にバッファ領域ＰＢにはビデオ画像のうち
第２のセクションに接する画像領域が読み込まれる。

【００２２】 図２のａには第２のセクションの水平方向でのオフセットが薄い線で示されて
おり、これに対して第１のセクションは濃い線で示されている。第２のステップ
はメイン画像がビデオ画像の右の縁に達するまで反復される。すでに先行のステ
ップにおいてこの場合のセクションに接するビデオ画像の部分が存在しないので
、ピクセルをビデオ画像からバッファ領域ＰＢへ読み込むことはできない。ここ
でもバッファ領域ＰＢへ平均的な輝度を読み込むことができる。

【００２３】 第３のステップではビデオ画像の第３のセクションがアクセスメモリＺＳの動
作領域ＡＢに読み込まれる。第３のセクションは第１のセクションに対して垂直
方向のみメイン画像ブロックの垂直方向と同じ数のピクセルだけオフセットされ
ている。図２のｂでは濃い線の第１のセクションとオフセットされた薄い線の第
３のセクションとが示されている。第１のセクションの下部ＵＴは第３のセクシ
ョンの中央部ＭＴに相応する。第３のセクションに対してメイン画像ブロックの
垂直方向のピクセルの数だけ垂直方向にオフセットされた第４のセクションでは
、上部ＯＴが第１のセクションの下部ＵＴに相応する。つまり第１のセクション
の下部ＵＴに属するピクセルは、この実施例では３回画像メモリから読み出され
る。画像メモリの入力データ速度と出力データ速度との比はしたがって３である
。第４のセクションは図２のｃに示されている。

【００２４】 図３には第１の実施例よりも大きなメイン画像ブロックを有する別の実施例が
示されている。この場合第２のメイン画像ブロックは垂直方向で第１の実施例の
２倍になっている。垂直方向で対角に接する隣接画像ブロックは第１の実施例と
同じサイズを有する。側方で第２のメイン画像ブロックＨＢＺに接する隣接画像
ブロックは第２のメイン画像ブロックＨＢＺと同じサイズである。この実施例で
はバッファ領域ＰＢはアクセスメモリＺＳの動作領域ＡＢの２倍の大きさである
。開始位置で選択されたセクションは、図３のａでは１回目に、図３のｂでは２
回目に垂直方向で下方へ向かって第２のメイン画像ブロックＨＢＺの垂直方向の
ピクセルと同じ数のピクセルだけオフセットされる。動作領域ＡＢのピクセルの
所定部分ＴＺは図３のａに薄い線で示されているオフセットの後に新たに読み出
される。図３のｂに示されている別のオフセットでは初期のセクションに対する
オーバラップは存在しない。画像メモリの出力側のデータ速度と入力側のデータ
速度との比は図２の実施例と同じ値である。ここでもピクセルのデータは画像メ
モリから書き込み時よりも高いクロックレートで読み出される。

【図面の簡単な説明】

【図１】 アクセスメモリの編成の概略図である。

【図２】 本発明の方法の説明図である。

【図３】 本発明の方法の別の説明図である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１１Ｃ 11/413 Ｇ１１Ｃ 11/34 Ｋ Ｆターム(参考） 5B015 HH03 JJ21 KB92 5C021 PA79 PA82 RA01 YC04 ZA04 5C082 AA02 BA12 BB15 BB22 BC07 CA54 CA62 DA55 DA64 DA65 MM04 MM07

Claims (6)

【特許請求の範囲】
1. 【請求項１】 走査線から成り、複数の走査線のピクセルが画像メモリに部
   分画像として記憶されているビデオ画像の画像ブロックへのランダムアクセス方
   法において、 アクセスメモリ（ＺＳ）の第１の領域（ＡＢ）に部分画像の第１のセクション
   、すなわちｘ個のピクセルを有するメイン画像ブロック（ＨＢ）を部分画像の水
   平方向に有し、かつこれに接する少なくとも１つの同じサイズの隣接画像ブロッ
   ク（ＮＢ）を垂直方向に有するように選定されたセクションを記憶するステップ
   と、 画像ブロック（ＨＢ、ＮＢ）の一方をアクセスメモリ（ＺＳ）から読み出すス
   テップと、 画像ブロック（ＨＢ、ＮＢ）の読み出し中、アクセスメモリ（ＺＳ）の第２の
   領域（ＰＢ）に、前記第１のセクションに水平方向で接する部分画像のセクショ
   ン、すなわち水平方向でｘ個のピクセルを有し、垂直方向で第１のセクションと
   同じ数のピクセルを有するように選択されたセクションを記憶するステップと、 アクセスメモリ（ＺＳ）の第１の領域（ＡＢ）に前記第１のセクションと同じ
   サイズの部分画像の第２のセクションを記憶し、該第２のセクションは第１のセ
   クションに対して水平方向にオフセットされて第２の領域（ＰＢ）に記憶された
   部分画像の部分を完全に含むようにするステップとを有する、 ことを特徴とするビデオ画像の画像ブロックへのランダムアクセス方法。
2. 【請求項２】 前記第１のセクションは付加的に、垂直方向でメイン画像ブ
   ロック（ＨＢ）に接しメイン画像ブロック（ＨＢ）と同じサイズを有する少なく
   とも１つの別の隣接画像ブロック（ＮＢ）を有しており、 第２のセクションのピクセルの少なくとも一部をアクセスメモリ（ＺＳ）から
   読み出し、 その後アクセスメモリの第１の領域（ＡＢ）に、メイン画像ブロック（ＨＢ）
   が前記第１のセクション内に存在するように第１のセクションに対して垂直方向
   にオフセットされた部分画像の第３のセクションを記憶する、 請求項１記載の方法。
3. 【請求項３】 メイン画像ブロック（ＨＢ）を矩形に選択し、該ブロックを
   ８個の隣接画像ブロック（ＮＢＨ、ＮＢＶ、ＮＢＤ）によって包囲する、請求項
   １または２記載の方法。
4. 【請求項４】 アクセスメモリ（ＺＳ）の第１の領域（ＡＢ）は水平方向に
   ４８個のピクセル、垂直方向に２４個のピクセルを有し、第２の領域（ＰＢ）は
   １６×２４個のピクセルを有するように選択する、請求項１から３までのいずれ
   か１項記載の方法。
5. 【請求項５】 アクセスメモリ（ＺＳ）をＳＲＡＭとして構成する、請求項
   １から４までのいずれか１項記載の方法。
6. 【請求項６】 ビデオ画像は走査線インタレースされたテレビジョン画像の
   １フレームである、請求項１から５までのいずれか１項記載の方法。