JP2001086447A

JP2001086447A - 画像処理装置

Info

Publication number: JP2001086447A
Application number: JP26367599A
Authority: JP
Inventors: Yoshiyuki Ishizuka; 良行石塚
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1999-09-17
Filing date: 1999-09-17
Publication date: 2001-03-30

Abstract

(57)【要約】【課題】動画像データの処理速度、特に動画像の動きベ
クトル検出にかかる処理速度を向上させることのできる
画像データ記憶構造をもつ画像処理装置を提供する。【解決手段】画像処理装置は、大きくは、画面内（空間
的）相関関係による圧縮を行う空間的圧縮部１０、画面
間（時間的）相関関係による圧縮を行う時間的圧縮部２
０、及び符号の出現確率の偏りによる圧縮を行う偏り圧
縮部３０から構成され、これらは同一半導体チップ上に
形成されている。時間的圧縮部２０を構成するフレーム
メモリ２２、２３には、各々１画面分の画像データが一
部重複するかたちでメモリセルアレイ２２Ａ，２２Ｂ、
２３Ａ，２３Ｂに分割して蓄えられる。各メモリセルア
レイ２２Ａ，２２Ｂ、２３Ａ，２３Ｂには動きベクトル
の検出にかかる演算を行う演算処理回路２４が設けられ
ている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置に関
し、特に動画像を処理する上で好適な画像データ記憶構
造の改良に関する。

【０００２】

【従来の技術】近年、動画像のディジタル処理化に伴
い、動画像圧縮の国際基準方式であるＭＰＥＧ（Moving
Picture Experts Group）に準拠した映像符号化処
理を行う画像処理装置の開発及び製造が盛んに行われて
いる。

【０００３】この画像処理装置は、１．画像データの空間的圧縮（フレーム内またはフィー
ルド内で離散コサイン変換（ＤＣＴ；Discrete Cosine
Transform）によって符号化した画像（Ｉピクチャ）
の作成）２．画像データの時間的圧縮（以前に出てきた１枚の画
像から動き補償を予測し、フレーム間またはフィールド
間で符号化した画像（Ｐピクチャ）の作成、及び前後２
枚の画像から双方向に動き補償を予測し、フレーム間ま
たはフィールド間で符号化した画像（Ｂピクチャ）の作
成）３．これらの圧縮により生じるデータの偏りを利用した
可変長符号化等を行うことにより動画像を圧縮し符号化
するものである。

【０００４】この画像処理装置は、従来、複数個のＬＳ
Ｉ（半導体集積回路）チップによって構成されていた
が、半導体集積化技術の進歩に伴って、近年は１チップ
化されたものも製造されるようになっている。なお、こ
のように１チップ化された画像処理装置においても、画
像データを格納するためのフレームメモリに関しては、
その容量等の制約から、一般に汎用ＤＲＡＭやシンクロ
ナスＤＲＡＭ等を外付けしたものが用いられている。

【０００５】

【発明が解決しようとする課題】ところで、上記画像処
理装置による動画像圧縮処理においては、上記動き補償
を行う際の動きベクトル（画像の移動量）検出処理にか
かる演算処理回数が他の処理に比べて極端に多く、その
処理に時間を要する。そのため、上記フレームメモリが
外付けして用いられる従来の画像処理装置にあっては、
そのデータバス幅に制限を受けることとなって、データ
のシリアル処理もやむをえないものとなっており、前記
動きベクトル検出処理には非常に長い時間を要するもの
となっている。また、同一画像データに異なる演算処理
を施したい場合にあっても、メモリ内の同一アレイの同
一アドレスにシリアルに複数回アクセスしなければなら
ない。

【０００６】そこで従来は、こういったフレームメモリ
が外付けされることによる不都合を解消し、動きベクト
ル検出処理にかかる処理速度を短縮するために、画像処
理装置を構成する１つのＬＳＩの中にフレームメモリを
内蔵する試みも一部行われている。しかし、単にフレー
ムメモリを内蔵するのみでは、メモリ混載によるデータ
バス幅の増大が可能という同混載によるメリットも生か
しきれない。そのため、所定分割数に分割した、例えば
２分割したフレームメモリを内蔵するとともに、データ
バス幅を増大させて画像データを並列処理することも考
えられてはいる。

【０００７】ところが、この場合にあっては、上記動き
ベクトル検出を行う際、フレームメモリが分割されるこ
とによって、その分割端に位置する画素データに関して
は動きベクトルの探索範囲も分割されることとなり、同
動きベクトル検出にかかる処理が複雑化してしまうとい
う不都合が新たに生じることともなる。

【０００８】本発明は上記実情に鑑みてなされたもので
あり、その目的とするところは、動画像データの処理速
度、特に動画像の動きベクトル検出にかかる処理速度を
向上させることのできる画像データ記憶構造をもつ画像
処理装置を提供することにある。

【０００９】

【課題を解決するための手段】上記の目的を達成するた
めに、請求項１に記載の発明では、画像データを記憶す
る記憶手段を備えた画像処理装置において、前記記憶手
段は、同一画像データの少なくとも一部が重複して分割
格納される複数のメモリアレイを有して構成されること
をその要旨とする。

【００１０】上記構成によれば、上記複数のメモリアレ
イに対して画像データの並列処理を行うことができるた
め、その処理時間を短縮することができるとともに、同
一画像データのうち上記重複して格納される画像データ
に対しては同時処理が可能となるため、たとえそれら画
像データが複数のメモリアレイに分割格納される場合で
あっても、処理の煩雑化を抑制することができる。

【００１１】また、請求項２に記載の発明では、請求項
１に記載の画像処理装置において、前記画像データは動
画像データであり、当該画像処理装置は、前記複数のメ
モリアレイに分割格納される動画像データの動きベクト
ルを検出する動きベクトル検出手段を備えて構成される
ことをその要旨とする。

【００１２】上記構成によれば、動画像データの動きベ
クトル検出にかかる処理を並行して実行することができ
るとともに、同一画像データのうち上記重複して格納さ
れる部分についてはその同時処理が可能となるため、こ
うした動きベクトル検出処理の煩雑化を抑えて、その処
理速度の向上を図ることができる。

【００１３】また、請求項３に記載の発明では、請求項
２記載の画像処理装置において、前記動きベクトル検出
手段は、前記複数のメモリアレイの各々に対応して各別
に前記動きベクトル検出のための演算処理回路を有して
なることをその要旨とする。

【００１４】上記構成によれば、動画像データの動きベ
クトル検出にかかる処理を各メモリアレイについて並行
して、且つ独立して実行することができるため、同検出
にかかる処理時間を更に短縮することも可能となる。ま
た、そのためのシステム構成を単純化することもでき
る。

【００１５】また、請求項４に記載の発明では、請求項
２または３記載の画像処理装置において、前記記憶手段
に記憶される画像データは、前記動きベクトル検出の探
索範囲で参照される画素ブロックの幅だけ重複されて前
記複数のメモリアレイに分割格納されることをその要旨
とする。

【００１６】上記構成によれば、同一画像データの上記
分割格納される境界付近のデータについて上記動きベク
トル検出のための探索範囲が確保されるとともに、各メ
モリアレイで重複格納する画素ブロックの幅についても
これを必要最小限の幅とすることができる。すなわち、
上記各メモリアレイの記憶容量を必要最小限に抑えるこ
とができる。

【００１７】また、請求項５に記載の発明では、請求項
１〜４のいずれかに記載の画像処理装置において、前記
記憶手段は、互いに等しい記憶容量を有する２つのメモ
リアレイを有してなることをその要旨とする。

【００１８】上記構成によれば、必要最小限のメモリア
レイを用いて上述の画像処理が可能となるとともに、各
メモリアレイのロウアドレスを共通化することができ、
ロウデコーダの制御も容易となる。

【００１９】また、請求項６に記載の発明では、請求項
１〜５のいずれかに記載の画像処理装置において、少な
くとも前記記憶手段と該記憶手段をアクセスするロジッ
ク回路とが同一半導体チップ上に形成されてなることを
その要旨とする。

【００２０】上記構成によれば、少なくとも上記各メモ
リアレイとこれをアクセスする、例えば動きベクトル検
出手段等のロジック回路とが同一半導体チップ上に形成
されることで、それらメモリアレイをアクセスするため
のバス幅を容易に拡大することができるようになる。

【００２１】

【発明の実施の形態】以下、本発明の画像処理装置を具
体化した一実施の形態について図１〜図４を参照して詳
細に説明する。

【００２２】図１に本実施の形態の画像処理装置の内部
構成についてその概要を示す。なお、この画像処理装置
は、前記したＭＰＥＧに準拠した映像符号化処理を行う
装置（ＭＰＥＧエンコーダ）であり、その画像データの
処理は、１画面（フレーム）単位に行われるのではな
く、１画面をマクロブロックＭＢ（１６×１６画素）と
して細分化した単位にて行われるものとする。

【００２３】さてこの画像処理装置は、同図１に示され
るように、画面内（空間的）相関関係による圧縮を行う
空間的圧縮部１０、画面間（時間的）相関関係による圧
縮を行う時間的圧縮部２０、及び符号の出現確率の偏り
による圧縮を行う偏り圧縮部３０を有して構成される。
なお、これら各部は同一半導体チップ上に形成されてい
る。

【００２４】以下、これら各部の構成及び動作を説明す
る。まず、空間的圧縮部１０は、減算器１１、ＤＣＴ
（離散コサイン変換）回路１２、量子化回路１３、符号
化制御部１４、逆量子化回路１５、及び逆ＤＣＴ回路１
６等により構成される。

【００２５】ここで減算器１１は、入力された現画面と
動き補償されたフレームメモリ２２，２３からの予測画
面とにより、差分画面を作成する。なお、予測画面が前
記Ｉピクチャ時には、同フレームメモリ２２，２３から
の予測画面の出力は停止され、入力された現画面はこの
減算器１１を素通りする。

【００２６】ＤＣＴ回路１２は、上記マクロブロックＭ
Ｂをさらに細分化したサブブロック単位（８×８画素)
にて前記ＤＣＴ変換処理を行う。量子化回路１３は、Ｄ
ＣＴ回路１２からの出力を、符号化制御部１４からの制
御出力に基づき量子化する。

【００２７】この符号化制御部１４は、量子化回路１３
での量子化の粗さ（量子化ステップ) を決定する。例え
ば、この量子化ステップを大きく設定すれば画質は低下
するが、画像のデータ量は減少する。

【００２８】さらに、復号処理のために、逆量子化回路
１５は、量子化回路１３と逆の処理を行い、逆ＤＣＴ回
路１６は、ＤＣＴ回路１２と逆の処理を行う。次に、時
間的圧縮部２０は、加算器２１、フレームメモリ２２，
２３、演算処理回路２４、及び動き補償回路２５等によ
り構成される。

【００２９】ここで、例えばフレームメモリ２２は、予
測画面を作成するために過去の再生画面を蓄えるメモリ
であり、一方のフレームメモリ２３は、予測画面を作成
するために未来の再生画面を蓄えるメモリである。この
フレームメモリ２２，２３は、双方向予測（過去再生画
面からの順方向予測及び未来再生画面からの逆方向予
測）をするために、すなわち前記Ｂピクチャを作成する
ための少なくとも２画面を記憶する。

【００３０】なお、本実施の形態においては、これら各
画面の画像データは１画面が２分割され、且つその一部
データが重複して各別のメモリアレイに蓄えられてい
る。すなわち、１画面が図２（ａ）に示すような、例え
ば３２０画素×２４０画素（２０ブロック×１５ブロッ
ク）によって構成されている場合、その１画面を図２
（ｂ）に示すように、一部、すなわち水平方向第９ブロ
ックから第１２ブロック間の画像データを重複して１９
２画素×２４０画素（１２ブロック×１５ブロック）に
分割し、それぞれ個別のメモリセルアレイ２２Ａ，２２
Ｂ（２３Ａ，２３Ｂ）に格納している。そして、これら
メモリセルアレイ２２Ａ，２２Ｂ（２３Ａ，２３Ｂ）の
ロウアドレスを共通化することができる構成となってい
る。

【００３１】すなわち、本実施の形態においては、各メ
モリセルアレイ２２Ａ，２２Ｂ（２３Ａ，２３Ｂ）に
は、動きベクトルの水平方向の１方向の探索範囲で参照
される２ブロック（３２画素）分のデータが余分に記憶
される。また、ちなみに１画素を８ビットの輝度情報
（２５６階調）とすると、各メモリセルアレイ２２Ａ，
２２Ｂ（２３Ａ，２３Ｂ）の容量は３６０Ｋビットとな
る。本実施の形態においては、このようなメモリセルア
レイ２２Ａ，２２Ｂ、２３Ａ，２３Ｂによって２画面分
のフレームメモリ２２，２３が構成されている。

【００３２】また、これらメモリセルアレイ２２Ａ，２
２Ｂ（２３Ａ，２３Ｂ）には、図３に示すように、ロウ
デコーダ、センスアンプ等とともに、演算処理回路２４
が設けられている。

【００３３】この演算処理回路２４は、現画面と上記メ
モリセルアレイ２２Ａ，２２Ｂ（２３Ａ，２３Ｂ）に復
元された画面とを比較して動きベクトル（画面の移動
量）の検出にかかる演算、例えば減算処理等を行う。そ
の際の動きベクトルの探索範囲Ｒを図４に示す。

【００３４】同図４に示されるように、動きベクトルの
探索はマクロブロックＭＢ単位に行われ、その探索範囲
Ｒは、例えば水平方向に±２ブロック（３２画素）、ま
た垂直方向に±１ブロック（１６画素）とされる。

【００３５】このため、本実施の形態においては、図２
（ａ）に示すような１画面を２分割する際にその境界付
近に位置するブロックＡ，Ｂについて、図２（ｂ）に示
すように、分割されたメモリセルアレイ２２Ａ，２２Ｂ
（２３Ａ，２３Ｂ）内において動きベクトルの探索がで
きるようになる。また、このとき上記重複して格納され
る一部の画素データに関しては同時に探索アクセスも可
能となる。さらに各メモリセルアレイ２２Ａ，２２Ｂ
（２３Ａ，２３Ｂ）に動きベクトルの検出にかかる演算
を行う演算処理回路２４を付随させる構成としたため、
動画像データの動きベクトル検出にかかる処理を各メモ
リアレイについて並行して、且つ独立して実行すること
ができ、同検出にかかる処理時間を更に短縮することも
可能となる。また、そのためのシステム構成を単純化す
ることもできるようになる。

【００３６】そして、時間的圧縮部２０を構成する動き
補償回路２５は、フレームメモリ２２，２３に格納され
た画面をもとに、上記演算処理回路２４による動きベク
トル情報等に基づき、フレームメモリ２２，２３中の画
面の動きのある部分のみの座標をずらした予測画面を出
力する。

【００３７】最後に、偏り圧縮部３０は、可変長符号回
路３１等により構成される。この可変長符号回路３１
は、量子化回路１３からの出力を、可変長符号化（ハフ
マン符号化) し、ＭＰＥＧ信号（符号化ビットストリー
ム）として出力する回路である。

【００３８】以上説明したように、本実施の形態の画像
処理装置によれば、以下のような効果を得ることができ
る。（１）本実施の形態では、フレームメモリ２２はメモリ
セルアレイ２２Ａ，２２Ｂ、またフレームメモリ２３は
メモリセルアレイ２３Ａ，２３Ｂの各々２つのメモリセ
ルアレイから構成される。そして、１画面分の画像デー
タはそれらメモリセルアレイに一部データが重複される
かたちで２分割されて蓄えられる。そのため、動画像デ
ータの動きベクトル検出にかかる処理を並行して実行す
ることができるとともに、同一画像データのうち上記重
複して格納される部分についてはその同時処理が可能と
なるため、こうした動きベクトル検出処理の煩雑化を抑
えて、その処理速度の向上を図ることができる。

【００３９】また、その重複範囲が動きベクトルの画面
水平方向の１方向の探索範囲とされるため、分割格納さ
れる境界付近のデータについて動きベクトル検出のため
の探索範囲Ｒが確保されるとともに、各メモリアレイ２
２Ａ，２２Ｂ、２３Ａ，２３Ｂで重複格納する画素ブロ
ックの幅についてもこれを必要最小限の幅とすることが
できる。すなわち、上記各メモリアレイ２２Ａ，２２
Ｂ、２３Ａ，２３Ｂの記憶容量を必要最小限に抑えるこ
とができる。さらに、これらメモリアレイのロウアドレ
スを共通化することができ、ロウデコーダの制御も容易
となる。

【００４０】（２）本実施の形態では、メモリセルアレ
イ２２Ａ，２２Ｂ、２３Ａ，２３Ｂに動きベクトルの検
出にかかる演算を行う演算処理回路２４を付随させて設
ける構成とした。そのため、動画像データの動きベクト
ル検出にかかる処理を各メモリアレイについて並行し
て、且つ独立して実行することができ、同検出にかかる
処理時間を更に短縮することも可能となる。また、その
ためのシステム構成を単純化することもできるようにな
る。

【００４１】（３）本実施の形態では、フレームメモリ
２２，２３（メモリセルアレイ２２Ａ，２２Ｂ、２３
Ａ，２３Ｂ）とこれをアクセスする演算処理回路２４、
動き補償回路２５等とを同一半導体チップ上に形成する
ようにした。そのため、それらフレームメモリ２２，２
３をアクセスするためのバス幅を容易に拡大することが
できるようになる。

【００４２】なお、上記実施の形態は以下のようにその
構成を変更して実施することもできる。・上記実施の形態においては、フレームメモリ２２，２
３を２分割する例を示したが、同フレームメモリ２２，
２３の分割態様はこれに限られない。その他、例えば図
５に示すように、１画面のデータを垂直及び水平方向に
各々２分割し計４分割するものであってもよい。ここで
は、動きベクトルの垂直方向の１方向の探索範囲である
１ブロック（１６画素）分のデータも重複して記憶させ
る例を示している。この場合、同図５に示すように、ブ
ロックＡ，Ｂ，Ｃ，Ｄは分割されたメモリセルアレイ内
でも動きベクトルの検出が可能となる。要は、フレーム
メモリの分割態様に関して、動きベクトル検出にかかる
画像データが所定量重複して記憶されてなるように分割
されるものであれば、フレームメモリの分割箇所、分割
数及び分割方向は任意である。

【００４３】・上記実施の形態においては、メモリセル
アレイ２２Ａ，２２Ｂ、２３Ａ，２３Ｂに重複して記憶
させるデータを、動きベクトルの水平方向の１方向の探
索範囲である２ブロック（３２画素）分のデータとした
がこれに限定されず、その他、例えば同水平方向の３ブ
ロック（４８画素）分のデータとしてもよい。要は動き
ベクトルの探索範囲のデータを含むもの、あるいは単に
画像データであってもよい。

【００４４】・また、動きベクトルの探索範囲Ｒを、画
面データの水平方向に±２ブロック（３２画素）、また
同垂直方向に±１ブロック（１６画素）としたが、この
動きベクトルの探索範囲Ｒはこれに限定されるものでは
ない。

【００４５】・上記実施の形態においては、フレームメ
モリの容量を２画面分（重複部を含む）としたがこれに
限定されず、その他、例えば同容量は１画面分であって
もよいし、あるいは３画面分、４画面分であってもよ
い。

【００４６】・上記実施の形態においては、フレームメ
モリ２２，２３を画像処理装置（ＭＰＥＧエンコーダ）
と同一半導体チップ上に形成するようにしたが、バス幅
が確保されさえすればフレームメモリ２２，２３を外付
けとする構成としてもよい。

【００４７】・上記実施の形態においては、画像処理装
置を１チップ上に形成されるＭＰＥＧエンコーダＬＳＩ
に適用する例を示したがこれに限定されない。その他、
例えば画像処理装置（ＭＰＥＧエンコーダ）は数チップ
で、すなわち数個のＬＳＩによって形成されるものであ
ってもよい。要は画像処理装置として、その画像データ
を記憶する記憶手段が、同一画像データの少なくとも一
部が重複して分割格納される複数のメモリアレイを備え
るものであればよい。

【００４８】

【発明の効果】本発明の画像処理装置によれば、複数の
メモリアレイに対して画像データの並列処理を行うこと
ができるため、その処理時間を短縮することができると
ともに、同一画像データのうち上記重複して格納される
画像データに対しては同時処理が可能となるため、たと
えそれら画像データが複数のメモリアレイに分割格納さ
れる場合であっても、処理の煩雑化を抑制することがで
きる。

【００４９】また、複数のメモリアレイに分割格納され
る画像データが動画像データであり、その動画像データ
の動きベクトルを検出する場合においても、その検出に
かかる処理を並行して実行することができるとともに、
同一画像データのうち上記重複して格納される部分につ
いてはその同時処理が可能となるため、こうした動きベ
クトル検出処理の煩雑化を抑えて、その処理速度の向上
を図ることができる。

【００５０】さらに、分割された各記憶手段に動きベク
トルの検出にかかる演算を行う演算処理回路を設けるこ
とにより、動きベクトル検出のシステム構成を単純化さ
せることができるようになる。

【図面の簡単な説明】

【図１】この発明にかかる画像処理装置の一実施の形態
を示すブロック図。

【図２】同実施の形態に採用されるフレームメモリの画
像データ記憶構造を示す説明図。

【図３】同実施の形態に採用されるフレームメモリの構
造を示す説明図。

【図４】同実施の形態の動きベクトルの探索範囲を示す
説明図。

【図５】この発明にかかる画像処理装置の画像データ記
憶構造についての他の実施形態を示す説明図。

【符号の説明】１１…減算器、１２…ＤＣＴ回路、１３…量子化回路、
１４…符号化制御回路、１５…逆量子化回路、１６…逆
ＤＣＴ回路、２１…加算器、２２，２３…フレームメモ
リ、２２Ａ，２２Ｂ，２３Ａ，２３Ｂ…メモリセルアレ
イ、２４…演算処理回路、２５…動き補償回路、３１…
可変長符号化回路。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/32 Ｈ０４Ｎ 7/137 ＺＦターム(参考） 5B060 GA00 5C052 AA17 CC11 GB06 GC07 GE04 5C053 FA27 GA11 GB19 GB37 KA03 KA22 5C059 KK13 KK19 KK50 MA00 MA23 MC38 ME01 NN02 PP04 UA02 UA33 5L096 AA13 HA04 LA05 LA15

Claims

【特許請求の範囲】

【請求項１】画像データを記憶する記憶手段を備えた画
像処理装置において、前記記憶手段は、同一画像データの少なくとも一部が重
複して分割格納される複数のメモリアレイを有して構成
されることを特徴とする画像処理装置。
【請求項２】前記画像データは動画像データであり、当
該画像処理装置は、前記複数のメモリアレイに分割格納
される動画像データの動きベクトルを検出する動きベク
トル検出手段を備えて構成される請求項１に記載の画像
処理装置。
【請求項３】前記動きベクトル検出手段は、前記複数の
メモリアレイの各々に対応して各別に前記動きベクトル
検出のための演算処理回路を有してなる請求項２記載の
画像処理装置。
【請求項４】前記記憶手段に記憶される画像データは、
前記動きベクトル検出の探索範囲で参照される画素ブロ
ックの幅だけ重複されて前記複数のメモリアレイに分割
格納される請求項２または３記載の画像処理装置。
【請求項５】前記記憶手段は、互いに等しい記憶容量を
有する２つのメモリアレイを有してなる請求項１〜４の
いずれかに記載の画像処理装置。
【請求項６】少なくとも前記記憶手段と該記憶手段をア
クセスするロジック回路とが同一半導体チップ上に形成
されてなる請求項１〜５のいずれかに記載の画像処理装
置。