JP2002218474A

JP2002218474A - 画像データ符号化装置

Info

Publication number: JP2002218474A
Application number: JP2001015872A
Authority: JP
Inventors: Tetsuya Matsumura; 哲哉松村; Satoru Kumaki; 哲熊木; Mitsuo Hanami; 充雄花見
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2001-01-24
Filing date: 2001-01-24
Publication date: 2002-08-02
Also published as: US20020136299A1; US6862318B2

Abstract

(57)【要約】【課題】画像データを効率よく迅速に転送することが
可能な画像データ符号化装置を提供する。【解決手段】メモリデバイスと信号処理デバイスとを
混載したロジック−メモリ混載チップを、画像データ符
号化装置に導入する。広いバス幅でロジック部と内部メ
モリ部とを接続することができ、データ転送の処理能力
の向上が図れる。ただし、ロジック−メモリ混載チップ
ではメモリ部の容量が少なく、その容量を上げようとす
るとチップサイズの増加を招き、コストアップにつなが
る。よって、外部メモリ１０７と内部メモリ１０４とを
併用し、データ転送がボトルネックとなる処理（すなわ
ち動き探索処理）の場合は高速データ転送が可能な内部
メモリとの間で画像データをやり取りし、高速データ転
送が特に必要ない処理の場合は外部メモリとの間で画像
データをやり取りするようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像データを圧
縮して符号化する画像データ符号化装置に関する。

【０００２】

【従来の技術】録画・再生が可能なＤＶＤ（Digital Ve
rsatile Disc）や、Ｄ−ＶＨＳ（Digital-Video Home S
ystem）、ディジタル放送送受信機などのディジタルオ
ーディオビジュアル機器には、画像データの圧縮手法と
して国際標準規格であるＭＰＥＧ２（Moving Picture E
xperts Group 2：ISO-IEC/JTC1 SC29 DIS13818,Part2,1
994）が採用されている。このＭＰＥＧ２規格に基づく
画像データの符号化処理においては、画像データの圧縮
のための演算量が膨大であり、信号処理デバイスとメモ
リデバイスとの間のデータ転送量も膨大である。

【０００３】従来の画像データ符号化装置２００の構成
を図２０に示す。図２０に示す通り、画像データ符号化
装置２００は、画像データを圧縮して符号化するＭＰＥ
Ｇ２処理部１０２とデータの転送制御を行うメモリイン
タフェース１０３とを備える。ＭＰＥＧ２処理部１０２
とメモリインタフェース１０３とはバス１０１で接続さ
れる。そして、汎用ＤＲＡＭ（Dynamic Random Access
Memory）等の、外部に設けられた外部メモリ１０７がバ
ス１０６を介してメモリインタフェース１０３に接続さ
れる。

【０００４】ＭＰＥＧ２処理部１０２には符号化器や復
号化器、動き予測器が含まれ、その符号化器にはデータ
圧縮前の原画像がビデオ入力１０８として入力される。
また、符号化器において符号化された画像データは、ビ
ットストリーム出力１０９として出力される。なお、画
像データが正しく符号化されているかどうかをモニタで
きるように、復号化器は符号化された画像データを復号
化してビデオ出力１１０として出力する。

【０００５】画像データ符号化装置２００の各フレーム
ごとの符号化処理におけるデータ転送のフローチャート
を図２１に示す。まず、原画像データがビデオ入力１０
８としてＭＰＥＧ２処理部１０２に入力されると、前処
理としてデータに空間フィルタ処理および時間フィルタ
処理がなされる。なお、ここでいう空間フィルタ処理と
は、同一フレーム内の画像信号にフィルタをかけて高調
波ノイズを除去する処理のことを指し、時間フィルタ処
理とは、時間的に前後するフレーム間での各画素を比較
することにより高調波ノイズを除去する処理のことを指
す。

【０００６】なお、空間フィルタ処理済みの原画像デー
タは、バス１０１、メモリインタフェース１０３、およ
びバス１０６を介して外部メモリ１０７にフレーム単位
で蓄えられる。そして、時間フィルタ処理については、
ＭＰＥＧ２処理部１０２は、外部メモリ１０７から画像
データを読み出して、時間的に前後するフレーム間での
各画素を比較し、高調波ノイズを除去する。

【０００７】そして、前処理済みの原画像データは、バ
ス１０１、メモリインタフェース１０３、およびバス１
０６を介して外部メモリ１０７にフレーム単位で蓄えら
れる（ステップＳ１ｆ）。

【０００８】数フレーム分の画像データが蓄えられた
後、符号化対象画像である各フレームのデータは、後の
動き探索処理のために順序が並べ替え（リオーダリン
グ）された上で、ＭＰＥＧ２処理部１０２内の符号化器
に読み出される（ステップＳ２ｆ）。

【０００９】そして符号化器では、まずＩ（Intra）フ
レームの符号化処理が行われ、その符号化情報がビット
ストリーム出力１０９として出力される（ステップＳ７
ｆ）。この符号化処理には、離散コサイン変換処理、量
子化処理、可変長符号化処理等が含まれる。なお、Ｉフ
レームの場合はフレーム内符号化が行われるので、動き
探索処理は行われない。

【００１０】そして、ＭＰＥＧ２処理部１０２内の復号
化器では、符号化データのモニタ用にビデオ出力１１０
が生成される（ステップＳ８ｆ）。また、復号化された
画像データは、一連の符号化処理により再構成された画
像（再構成画像）であり、前後フレームの予測用の参照
画像として使用されるために、バス１０１、メモリイン
タフェース１０３およびバス１０６を介して外部メモリ
１０７にも蓄えられる。

【００１１】次に、Ｐ（Predictive）フレームの符号化
処理について述べる。まず、リオーダリングされた画像
データが符号化器に読み出される（ステップＳ２ｆ）。
Ｐフレームの場合は、ＩまたはＰフレームの再構成画像
に基づいて、動き探索処理（それに伴う逆量子化処理、
逆離散コサイン変換処理も含む）が動き予測器において
行われる。そして、符号化器は、動き探索処理により得
られた動きベクトルに基づいて新たな画像（予測画像）
を構成して、その後、符号化を行う。

【００１２】図２１では動き探索の処理例として、整数
画素精度で探索を行って動きの大まかな見当をつけたあ
とに、ハーフペル（半画素）精度で探索を行って高精度
に動きベクトルを決定する場合を示している（ステップ
Ｓ３ｆ，Ｓ４ｆ）。いずれの動き探索処理についても、
動き探索の参照画像はＩまたはＰフレームであるので、
例えば最初のＰフレームの生成については、先ほど再構
成したＩフレームの再構成画像を外部メモリ１０７から
読み出す。

【００１３】このときメモリインタフェース１０３は、
この再構成画像の画像データを外部メモリ１０７から参
照画像（サーチウィンドウデータ）として読み出し、そ
の画像データをＭＰＥＧ２処理部１０２に送る。なお、
ステップＳ２ｆにおいて読み出された外部メモリ１０７
からのＰフレームの原画像は、動き予測器において、予
測画像の生成の典拠となるテンプレート画像として用い
られる。

【００１４】そして、ＭＰＥＧ２処理部１０２は、テン
プレート画像およびサーチウィンドウデータを用いて動
き探索処理を行い、動きベクトルを得る。

【００１５】続いて、ＭＰＥＧ２処理部１０２は、得ら
れた動きベクトルに基づいて予測画像を生成する（ステ
ップＳ５ｆ）。このときＩまたはＰフレームに基づいて
生成を行うので、例えば最初のＰフレームの生成の場
合、再びＩフレームの再構成画像を外部メモリ１０７か
ら読み出す。

【００１６】そして、生成された予測画像は再構成画像
として外部メモリ１０７に書き込まれ（ステップＳ６
ｆ）、その後、符号化器において符号化処理が行われ
る。すなわち、符号化器は外部メモリ１０７から再構成
画像を読み出して（ステップＳ２ｆ）、符号化を行い、
その符号化情報をビットストリーム出力１０９として出
力する（ステップＳ７ｆ）。

【００１７】そして、Ｉフレームの場合と同様、復号化
器において符号化データのモニタ用にビデオ出力１１０
が生成される（ステップＳ８ｆ）。また、外部メモリ１
０７内の再構成画像も、次フレームの予測用の参照画像
として使用される。

【００１８】なお、次回以降のＰフレームの生成におい
てはＩフレームの再構成画像に代わってＰフレームの再
構成画像のデータが読み出される。

【００１９】次に、Ｂ（Bidirectionally predictive）
フレームの符号化処理について述べる。Ｂフレームも、
Ｐフレームの場合と同様、動き探索処理が行われ、動き
探索処理により得られた動きベクトルに基づいて新たな
画像を構成して、その後、符号化が行われる。よって、
図２１のフローチャートにおけるフローの流れは、Ｐフ
レームの場合と同様である。

【００２０】ただし、Ｂフレームの場合は過去の画像デ
ータだけでなく未来の画像データにも基づいて動き探索
処理を行うため、ステップＳ３ｆ，Ｓ４ｆにおける動き
探索処理がＰフレームの場合に比べて増加する（過去の
画像データが存在しない符号化処理初期のＢフレームに
ついては未来の画像データのみに基づいて動き探索処理
が行われる）。

【００２１】

【発明が解決しようとする課題】上述のように、ＭＰＥ
Ｇ２規格に基づく画像データの符号化処理においては、
画像データの圧縮のための演算量が膨大であり、信号処
理デバイス（図２０における画像データ符号化装置２０
０）とメモリデバイス（図２０における外部メモリ１０
７）との間のデータ転送量も膨大である。

【００２２】これらの膨大なデータを処理するに当たっ
て、画像データ符号化装置をどう構成するかが問題とな
る。言い換えれば、演算処理能力不足やデータ転送能力
不足による性能劣化（表示画質の劣化）をどのように解
消するかが、符号化装置のシステム構築における課題と
なっていた。

【００２３】図２０に示した画像データ符号化装置の構
成の場合、汎用ＤＲＡＭ等のメモリデバイスを採用して
いるために、メモリインタフェース１０３−外部メモリ
１０７間での入出力ピンの動作速度およびバス幅がデー
タ転送の処理能力を制限していた。

【００２４】例えば、現行放送と同程度の画質のデジタ
ルテレビ規格であるＳＤＴＶ（Standard Definition T
V）の解像度で画像データのＭＰＥＧ２符号化処理を行
うには、３２メガビット以上の容量のメモリが必要とな
る。さらに、より高画質なＨＤＴＶ（High Definition
TV）の解像度で画像データのＭＰＥＧ２符号化処理を行
うには、２５６メガビット以上の容量のメモリが必要と
なる。

【００２５】このような大容量のメモリ内に収められた
画像データを効率よく迅速に転送するには、入出力ピン
における動作の高速化およびバス幅の増加が望まれる。
しかし、汎用ＤＲＡＭ等のメモリデバイスを用いる場合
には、そのような希望は即座には実現されない。

【００２６】そこで、この発明の課題は、画像データを
効率よく迅速に転送することが可能な画像データ符号化
装置を提供することにある。

【００２７】

【課題を解決するための手段】請求項１に記載の発明
は、内部メモリと、外部メモリに接続可能であり、前記
内部メモリに接続され、前記外部メモリおよび内部メモ
リに対してデータの読み書きの制御を行うメモリインタ
フェースと、連続する複数枚の画像データが入力され、
前記画像データに動き探索処理を行って予測画像を生成
し、前記予測画像を用いて前記画像データの符号化処理
を行う画像データ符号化処理部とを備え、前記動き探索
処理の参照画像に用いられる前記画像データは、前記メ
モリインタフェースを介して前記内部メモリに書き込ま
れる画像データ符号化装置である。

【００２８】請求項２に記載の発明は、請求項１に記載
の画像データ符号化装置であって、前記動き探索処理の
参照画像に用いられる前記画像データは、前記メモリイ
ンタフェースを介して前記外部メモリにも書き込まれる
画像データ符号化装置である。

【００２９】請求項３に記載の発明は、請求項１または
請求項２に記載の画像データ符号化装置であって、前記
動き探索処理の参照画像に用いられる前記画像データ
は、以前に生成された予測画像たる再構成画像の画像デ
ータであって、前記再構成画像の輝度信号の画像データ
を含む画像データ符号化装置である。

【００３０】請求項４に記載の発明は、請求項３に記載
の画像データ符号化装置であって、前記動き探索処理の
参照画像に用いられる前記画像データはさらに、前記再
構成画像の色差信号の画像データをも含む画像データ符
号化装置である。

【００３１】請求項５に記載の発明は、請求項１または
請求項２に記載の画像データ符号化装置であって、前記
動き探索処理の参照画像に用いられる前記画像データ
は、以前に生成された予測画像たる再構成画像の画像デ
ータであって、サブサンプルされた前記再構成画像の画
像データを含む画像データ符号化装置である。

【００３２】請求項６に記載の発明は、請求項５に記載
の画像データ符号化装置であって、前記外部メモリには
フルサンプルされた画像データが書き込まれ、前記動き
探索処理は、整数画素精度での動き探索処理およびハー
フペル精度での動き探索処理を含み、前記整数画素精度
での動き探索処理の際には、前記サブサンプルされた画
像データが参照画像として用いられ、前記ハーフペル精
度での動き探索処理の際には、前記フルサンプルされた
画像データが参照画像として用いられる画像データ符号
化装置である。

【００３３】請求項７に記載の発明は、請求項１または
請求項２に記載の画像データ符号化装置であって、前記
動き探索処理の参照画像に用いられる前記画像データ
は、入力された前記画像データの原画像であって、前記
原画像の輝度信号の画像データを含む画像データ符号化
装置である。

【００３４】請求項８に記載の発明は、請求項７に記載
の画像データ符号化装置であって、前記動き探索処理の
参照画像に用いられる前記画像データはさらに、前記原
画像の色差信号の画像データをも含む画像データ符号化
装置である。

【００３５】請求項９に記載の発明は、請求項１または
請求項２に記載の画像データ符号化装置であって、前記
動き探索処理の参照画像に用いられる前記画像データ
は、入力された前記画像データの原画像であって、サブ
サンプルされた前記原画像の画像データを含む画像デー
タ符号化装置である。

【００３６】請求項１０に記載の発明は、請求項９に記
載の画像データ符号化装置であって、前記外部メモリに
はフルサンプルされた画像データが書き込まれ、前記動
き探索処理は、整数画素精度での動き探索処理およびハ
ーフペル精度での動き探索処理を含み、前記整数画素精
度での動き探索処理の際には、前記サブサンプルされた
画像データが参照画像として用いられ、前記ハーフペル
精度での動き探索処理の際には、前記フルサンプルされ
た画像データが参照画像として用いられる画像データ符
号化装置である。

【００３７】請求項１１に記載の発明は、請求項１に記
載の画像データ符号化装置であって、入力される前記複
数枚の画像データは原画像として、前記メモリインタフ
ェースを介して前記内部メモリに書き込まれる画像デー
タ符号化装置である。

【００３８】

【発明の実施の形態】＜実施の形態１＞本実施の形態
は、メモリデバイスと信号処理デバイス（ロジックデバ
イス）とを混載したロジック−メモリ混載チップを、画
像データ符号化装置に導入することにより、外部メモリ
を採用することによるデータ転送処理能力の制限の少な
い、画像データを効率よく迅速に転送することが可能な
画像データ符号化装置を実現するものである。

【００３９】ロジック−メモリ混載チップの場合、広い
バス幅でロジック部とメモリ部とを接続することがで
き、データ転送の処理能力を向上させることができる。
ただし、ロジック−メモリ混載チップでは、メモリ部の
容量が汎用ＤＲＡＭに比べ少なく、その容量を上げよう
とするとチップサイズの増加を招き、コストアップにつ
ながってしまう。

【００４０】そこで本発明では、符号化処理および動き
探索処理に必要なメモリを、外部に接続する外部メモリ
と、ロジック−メモリ混載チップ上の内部メモリとに分
割して、必要に応じて外部メモリと内部メモリとを使い
分ける分割メモリ手法を採用する。

【００４１】すなわち、データ転送がボトルネックとな
る処理の場合は高速データ転送が可能な内部メモリとの
間で画像データをやり取りし、高速データ転送が特に必
要ない処理の場合は外部メモリとの間で画像データをや
り取りするようにする。

【００４２】本実施の形態に係る画像データ符号化装置
１００の構成を図１に示す。図１に示す通り、画像デー
タ符号化装置１００は、入力された画像データを圧縮し
て符号化するＭＰＥＧ２処理部１０２と、データの転送
制御を行うメモリインタフェース１０３と、内臓ＤＲＡ
Ｍ等の内部メモリ１０４とを備える。ＭＰＥＧ２処理部
１０２とメモリインタフェース１０３とはバス１０１で
接続される。また、内部メモリ１０４がバス１０５を介
してメモリインタフェース１０３に接続される。そし
て、汎用ＤＲＡＭ等の、外部に設けられた外部メモリ１
０７がバス１０６を介してメモリインタフェース１０３
に接続される。

【００４３】なお、内部メモリ１０４に接続されるバス
１０５のバス幅は、例えば１２８ビット、２５６ビッ
ト、５１２ビット、１０２４ビット等が想定される。ま
た、外部メモリ１０７に接続されるバス１０６のバス幅
は、外部メモリのＩ／Ｏピン数の制限から実質的に、例
えば１６ビット、３２ビット、６４ビット等が想定され
る。

【００４４】また、図２は、ＭＰＥＧ２処理部１０２お
よびメモリインタフェース１０３の構成をさらに詳しく
示した図である。ＭＰＥＧ２処理部１０２には、動き予
測器１０２ａや符号化器および復号化器１０２ｂが含ま
れ、その符号化器にはデータ圧縮前の原画像がビデオ入
力１０８として入力される。この原画像は、ディジタル
化されたビデオ信号であって、例えばＩＴＵ−Ｒ−６５
６形式に則ったビデオ信号である。

【００４５】また、符号化器において符号化された画像
データは、ビットストリーム出力１０９として出力され
る。なお、画像データが正しく符号化されているかどう
かをモニタできるように、復号化器は符号化された画像
データを復号化してビデオ出力１１０として出力する。

【００４６】また、メモリインタフェース１０３には、
内部メモリ１０４とのデータのやり取りを制御するため
の内部メモリ制御回路１０３ａ、および外部メモリ１０
７とのデータのやり取りを制御するための外部メモリ制
御回路１０３ｂを含んでいる。そして、内部メモリ制御
回路１０３ａは、バス１０１ａ〜１０１ｃを介してＭＰ
ＥＧ２処理部１０２内の動き予測器１０２ａや符号化器
および復号化器１０２ｂに接続されている。また、外部
メモリ制御回路１０３ｂも、バス１０１ｄ〜１０１ｆを
介してＭＰＥＧ２処理部１０２内の動き予測器１０２ａ
や符号化器および復号化器１０２ｂに接続されている。

【００４７】画像データ符号化装置１００の各フレーム
ごとの符号化処理におけるデータ転送のフローチャート
を図３に示す。まず、原画像データがビデオ入力１０８
としてＭＰＥＧ２処理部１０２に入力されると、前処理
としてデータに空間フィルタ処理および時間フィルタ処
理が符号化器においてなされる。

【００４８】なお、空間フィルタ処理済みの原画像デー
タは、バス１０１、メモリインタフェース１０３、およ
びバス１０６を介して外部メモリ１０７にフレーム単位
で蓄えられる。そして、時間フィルタ処理については、
ＭＰＥＧ２処理部１０２は、外部メモリ１０７から画像
データを読み出して、時間的に前後するフレーム間での
各画素を比較し、高調波ノイズを除去する。

【００４９】そして、前処理済みの原画像データは、バ
ス１０１、メモリインタフェース１０３、およびバス１
０６を介して外部メモリ１０７にフレーム単位で蓄えら
れる（ステップＳ１ａ）。

【００５０】数フレーム分の画像データが蓄えられた
後、符号化対象画像である各フレームのデータは、後の
動き探索処理のためにリオーダリングされた上で、ＭＰ
ＥＧ２処理部１０２内の符号化器に読み出される（ステ
ップＳ２ａ）。

【００５１】そして符号化器では、まずＩフレームの符
号化処理が行われ、その符号化情報がビットストリーム
出力１０９として出力される（ステップＳ７ａ）。この
符号化処理には、離散コサイン変換処理、量子化処理、
可変長符号化処理等が含まれる。なお、Ｉフレームの場
合はフレーム内符号化が行われるので、動き探索処理は
行われない。

【００５２】そして、ＭＰＥＧ２処理部１０２内の復号
化器では、符号化データのモニタ用にビデオ出力１１０
が生成される（ステップＳ８ａ）。また、復号化された
画像データは再構成画像として外部メモリ１０７に蓄え
られ、前後フレームの予測用に使用される。

【００５３】さて、本実施の形態においては、動き探索
処理の参照画像に内部メモリに書き込まれた再構成画像
を用いる。そして、その再構成画像として、Ｉフレーム
の画像データのうち輝度（Ｙ）信号の画像データを内部
メモリ１０４に書き込む。ここで、輝度信号の画像デー
タを書き込むのは、輝度信号は色差（Ｃｂ，Ｃｒ）信号
に比べて人間の目に知覚しやすい信号であり、輝度信号
を用いて動き探索処理を行えば、動き探索処理が精度よ
く行えるからである。

【００５４】また、内部メモリ１０４に画像データを書
き込むのは、ＭＰＥＧ２の符号化処理のうち動き探索処
理においては特にデータ転送量が多いので、内部メモリ
との間で画像データをやり取りさせることで高速データ
転送を可能ならしめるためである。

【００５５】なお、符号化処理においては、Ｉフレーム
の再構成画像のうち輝度信号の画像データのみならず色
差信号の画像データも必要となるため、外部メモリ１０
７にも両信号の画像データが記憶される。

【００５６】輝度（Ｙ）信号および色差（Ｃｂ，Ｃｒ）
信号の画像データのメモリマップ例を、図４および図５
に示す。なお、図４は内部メモリ１０４のメモリマップ
例であり、図５は外部メモリ１０７のメモリマップ例で
ある。

【００５７】図４に示すように、記憶領域ＡＲ１ａに
は、あるフレームの再構成画像のうち輝度信号の画像デ
ータ＃１（Ｙ）のみが記憶され、色差信号の画像データ
については「空き」（Reserved）となっている。同様
に、記憶領域ＡＲ２ａには、別のフレームの再構成画像
のうち輝度信号の画像データ＃２（Ｙ）のみが記憶さ
れ、色差信号の画像データについては「空き」となって
いる。

【００５８】一方、図５に示すように、記憶領域ＡＲ１
ｂには、あるフレームの再構成画像の輝度信号の画像デ
ータ＃１（Ｙ）と色差信号の画像データ＃１（Ｃｂ，Ｃ
ｒ）とが記憶されている。同様に、記憶領域ＡＲ２ｂに
は、別のフレームの再構成画像の輝度信号の画像データ
＃２（Ｙ）と色差信号の画像データ＃２（Ｃｂ，Ｃｒ）
とが記憶されている。

【００５９】なお、内部メモリ１０４の記憶領域ＡＲ１
ａ，ＡＲ２ａ以外の領域は「空き」となっており、外部
メモリ１０７の記憶領域ＡＲ３ｂ〜ＡＲ６ｂには、入力
された原画像のデータ＃１（Ｙ），＃１（Ｃｂ，Ｃｒ）
〜＃４（Ｙ），＃４（Ｃｂ，Ｃｒ）がそれぞれ記憶され
ている。また、記憶領域ＡＲ１ｂ〜ＡＲ６ｂ以外の領域
は、「空き」となっている。

【００６０】次に、Ｐフレームの符号化処理について述
べる。まず、リオーダリングされた画像データが符号化
器に読み出される（ステップＳ２ａ）。Ｐフレームの場
合は、ＩまたはＰフレームの再構成画像に基づいて、動
き探索処理（それに伴う逆量子化処理、逆離散コサイン
変換処理も含む）が動き予測器１０２ａにおいて行われ
る。そして、符号化器は、動き探索処理により得られた
動きベクトルに基づいて新たな画像を構成して、その
後、符号化を行う。

【００６１】図３でも動き探索の処理例として、整数画
素精度で探索を行って動きの大まかな見当をつけたあと
に、ハーフペル精度で探索を行って高精度に動きベクト
ルを決定する場合を示している（ステップＳ３ａ，Ｓ４
ａ）。いずれの動き探索処理についても、動き探索処理
に用いられる参照画像はＩまたはＰフレームであるの
で、例えば最初のＰフレームの生成については、先ほど
再構成したＩフレームの再構成画像の輝度信号の画像デ
ータを内部メモリ１０４から読み出す。

【００６２】このときメモリインタフェース１０３は、
この輝度信号の画像データを内部メモリ１０４から、動
き探索処理に用いられる参照画像（サーチウィンドウデ
ータ）として読み出し、その画像データを動き予測器１
０２ａに送る。なお、ステップＳ２ａにおいて読み出さ
れた外部メモリ１０７からのＰフレームの原画像は、動
き予測器１０２ａにおいてテンプレート画像として用い
られる。

【００６３】なお、メモリインタフェース１０３中の、
内部メモリ制御回路１０３ａと外部メモリ制御回路１０
３ｂとを適切に制御することで、ステップＳ２ａ〜Ｓ４
ａにおける両メモリからのデータ転送をほぼ同時に行う
ことができる。ここで、内部メモリ１０４−メモリイン
タフェース１０３間のバス幅を広く設定しておけば、サ
ーチウィンドウデータを許容サイクル内に転送すること
ができる。よって、データ転送量の多い動き探索処理で
の画像データの転送が効率よく迅速に行える。

【００６４】そして、動き予測器１０２ａは、テンプレ
ート画像およびサーチウィンドウデータを用いて動き探
索処理を行い、動きベクトルを得る。

【００６５】続いて、動き予測器１０２ａは、得られた
動きベクトルに基づいて予測画像を生成する（ステップ
Ｓ５ａ）。このときＩまたはＰフレームに基づいて生成
を行うので、例えば最初のＰフレームの生成の場合、再
びＩフレームの再構成画像をメモリから読み出す。

【００６６】この読み出しにおいては、内部メモリ１０
４にすでに輝度信号の画像データが記憶されていること
から、輝度信号については内部メモリ１０４からその画
像データを読み出し、色差信号については外部メモリ１
０７からその画像データを読み出すようにすればよい。

【００６７】なお、このように、動き探索処理の参照画
像に用いられた輝度信号の画像データが外部メモリ１０
７にも書き込まれているので、予測画像の生成や符号化
処理に際して内部メモリ１０４の画像データを用いるだ
けでは不十分な場合に、外部メモリ１０７に書き込まれ
た画像データを援用することができる。

【００６８】そして、生成された予測画像は再構成画像
として内部メモリ１０４および外部メモリ１０７に書き
込まれ（ステップＳ６ａ）、その後、符号化器において
符号化処理が行われる。すなわち、内部メモリ１０４お
よび外部メモリ１０７に書き込まれた再構成画像は、次
回の動き探索処理に用いられる。また、符号化器は外部
メモリ１０７から再構成画像を読み出して（ステップＳ
２ａ）、符号化を行い、その符号化情報をビットストリ
ーム出力１０９として出力する（ステップＳ７ａ）。

【００６９】そして、Ｉフレームの場合と同様、復号化
器において符号化データのモニタ用にビデオ出力１１０
が生成される（ステップＳ８ａ）。

【００７０】なお、最初のＰフレーム生成以降のＰフレ
ームの生成においてはＩフレームの再構成画像に代わっ
てＰフレームの再構成画像のデータが読み出される。

【００７１】次に、Ｂフレームの符号化処理について述
べる。Ｂフレームも、Ｐフレームの場合と同様、動き探
索処理が行われ、動き探索処理により得られた動きベク
トルに基づいて新たな画像を構成して、その後、符号化
が行われる。よって、図３のフローチャートにおけるフ
ローの流れは、Ｐフレームの場合と同様である。

【００７２】ただし、Ｂフレームの場合は過去の画像デ
ータだけでなく未来の画像データにも基づいて動き探索
処理を行うため、ステップＳ３ａ，Ｓ４ａにおける動き
探索処理量がＰフレームの場合に比べて増加する（ただ
し、過去の画像データが存在しない符号化処理初期のＢ
フレームについては、未来の画像データのみに基づいて
動き探索処理が行われる）。

【００７３】ここで、Ｉ，Ｐ，Ｂの各フレームの符号化
の順序と、予測に用いられる画像データのメモリへの記
憶とについて、図６のタイミングチャートを用いて説明
する。図６においては、Ｉ，Ｐ，Ｂはフレーム種類を、
その後の数字はフレームの順番を、それぞれ示してい
る。

【００７４】符号化順序のチャートに示すように、各フ
レームはリオーダリングされて、符号化はまずＩフレー
ムから行われる。ここでは３番目のフレームであるフレ
ームＩ３が最初に符号化される。そして、フレームＩ３
の再構成画像のデータがメモリ内の記憶データ＃１とし
て記憶される（なお＃１は、図４および図５中の＃１に
対応している）。

【００７５】次に、フレームＩ３の再構成画像のデータ
を用いて、１番目のフレームであるフレームＢ１が符号
化される。このときは過去の情報となるフレームが得ら
れていないので、フレームＩ３という未来のフレーム情
報のみを用いてフレームＢ１の符号化処理が行われる。

【００７６】続いて同様に、フレームＩ３の再構成画像
のデータを用いて、２番目のフレームであるフレームＢ
２が符号化される。

【００７７】次に、フレームＩ３の再構成画像のデータ
を用いて、６番目のフレームであるフレームＰ６が符号
化される。そして、フレームＰ６の再構成画像のデータ
がメモリ内の記憶データ＃２として記憶される（なお＃
２は、図４および図５中の＃２に対応している）。

【００７８】次に、フレームＩ３およびＰ６の再構成画
像のデータを用いて、４番目のフレームであるフレーム
Ｂ４が符号化される。このときは、フレームＩ３という
過去のフレーム情報とフレームＰ６という未来のフレー
ム情報とを用いてフレームＢ４の符号化処理が行われ
る。

【００７９】続いて同様に、フレームＩ３およびＰ６の
再構成画像のデータを用いて、５番目のフレームである
フレームＢ５が符号化される。

【００８０】次に、フレームＰ６の再構成画像のデータ
を用いて、９番目のフレームであるフレームＰ９が符号
化される。そして、フレームＰ９の再構成画像のデータ
がメモリ内の記憶データ＃１として記憶される。

【００８１】次に、フレームＰ６およびＰ９の再構成画
像のデータを用いて、７番目のフレームであるフレーム
Ｂ７が符号化される。このときは、フレームＰ６という
過去のフレーム情報とフレームＰ９という未来のフレー
ム情報とを用いてフレームＢ７の符号化処理が行われ
る。

【００８２】続いて同様に、フレームＰ６およびＰ９の
再構成画像のデータを用いて、８番目のフレームである
フレームＢ８が符号化される。

【００８３】このような動作が以降、同様に繰り返され
て符号化処理が行われる。

【００８４】本実施の形態に係る画像データ符号化装置
によれば、動き探索処理が行われる画像データ（本実施
の形態では輝度信号の再構成画像）が内部メモリ１０４
に書き込まれるので、内部メモリ１０４−メモリインタ
フェース１０３間のバス幅を広く設定しておくことで、
外部メモリ１０７を採用することによるデータ転送処理
能力の制限が少なく、かつ、内部メモリ１０４の容量を
抑えてコスト上昇の抑制が可能な画像データ符号化装置
が得られる。よって、データ転送量の多い動き探索処理
での画像データの転送が効率よく迅速に行える画像デー
タ符号化装置を得ることができる。

【００８５】なお、動き探索処理におけるデータ転送の
量がその他の処理におけるデータ転送の量に比べて多い
ことの一例を、数値例を挙げて表１に示しておく。な
お、表１に関して、次の参照文献が存在する（A Single
-Chip MPEG-2 422P@ML Video,Audio,and System Encode
r with a 162MHz Media-Processor Core snd Dual Moti
on Estimation Cores（１６２ＭＨｚメディアプロセ
ッサコアと２種の動き予測コアを内蔵した単一チップＭ
ＰＥＧ−２４２２Ｐ＠ＭＬビデオ，オーディオ，及
びシステムエンコーダ）IEICE Trans.Electron.,vol.E8
4-C.No.1,pp.108-122,Jan.2001.）。

【００８６】

【表１】

【００８７】表１において、「cycle」はデータ転送に
必要なクロックサイクル数を表し、「ＭＢ」はマクロブ
ロックを表している。なお、このデータはＭＰ＠ＭＬ
（Main Profile at Main Level）の場合において想定さ
れる数値例である。もちろん、この数値は動き予測の範
囲の設定により増減する。

【００８８】表１から分かるように、動き探索処理（整
数精度探索およびハーフペル探索）におけるデータ転送
量は、他の処理におけるデータ転送量に比べ多い。な
お、ハーフペル探索の動き探索処理は、予測画像の生成
処理のデータ転送時に行えることから、ここでは予測画
像の生成処理のデータ転送に含めることとしている。

【００８９】ＭＰＥＧ２規格においては、１秒間のフレ
ーム数は３０である。よって、ＭＰ＠ＭＬの場合、画素
数は７２０×４８０あることから、１６×１６のマクロ
ブロックでは４５ＭＢ×３０ＭＢ×３０フレーム＝４０
５００ＭＢが１秒間に処理される。

【００９０】ここで、総データ転送量は、１０７４cycl
e／ＭＢ（外部メモリの総データ転送量）＋１０４０cyc
le／ＭＢ（内部メモリの総データ転送量）＝２１１４cy
cle／ＭＢと４０５００ＭＢとを乗じた値の８５．６メ
ガcycleとなる。

【００９１】符号化処理における画像データを全て外部
メモリにマッピングした場合、全てのデータ転送を単一
のポートで行う必要があり、ボトルネックとなる。すな
わち、少なくともデータ転送サイクルとして８５．６メ
ガcycle必要であるため、転送制御におけるオーバーヘ
ッドも考慮すると、約１００メガヘルツ動作の高速の外
部メモリが必要となる。

【００９２】本実施の形態のように、内部メモリと外部
メモリとに分割すれば、外部メモリについては１０７４
cycle／ＭＢ×４０５００ＭＢ＝４３．５メガcycle、内
部メモリについては１０４０cycle／ＭＢ×４０５００
ＭＢ＝４２．１メガcycleとなる。よって、この場合
は、中速または低速の外部メモリを外部メモリとして使
用することが可能となる。また、内部メモリ−メモリイ
ンタフェース間のバス幅は容易に増加させることができ
るため、内部メモリを用いて行う動き探索処理および予
測画像の生成処理においては外部メモリのデータ転送ネ
ックとならない。よって、動き探索処理の範囲をより拡
大するなど、高精度の動き探索処理が可能となる。

【００９３】＜実施の形態２＞本実施の形態は、実施の
形態１に係る画像データ符号化装置の変形例であり、動
き探索処理の参照画像に用いられる画像データにさらに
色差信号の画像データをも含ませたものである。

【００９４】本実施の形態では図７に示すように、内部
メモリ１０４の「空き」となっていた領域に、再構成画
像の色差（Ｃｂ，Ｃｒ）信号の画像データをも記憶させ
る。具体的には、Ｉ，Ｐフレームの再構成画像を生成す
る際に、再構成画像の輝度および色差の両信号の画像デ
ータを内部メモリ１０４に記憶させ、次のフレームの動
き探索処理に利用するのである。

【００９５】このように、動き探索処理の参照画像に用
いられる画像データに、色差信号の画像データも含まれ
ておれば、動き探索処理がさらに精度よく行える。

【００９６】その他の構成およびデータ転送については
実施の形態１に係る画像データ符号化装置と同様のた
め、説明を省略する。

【００９７】＜実施の形態３＞本実施の形態は、実施の
形態１に係る画像データ符号化装置の変形例であり、整
数画素精度での動き探索処理に用いられる画像データと
してサブサンプルされた画像データを用い、ハーフペル
精度での動き探索処理に用いられる画像データとしてフ
ルサンプルされた画像データを用いるものである。

【００９８】ここでいうサブサンプルとは、一つおきに
サンプリングするなどして画素の間引きを行う手法のこ
とである。この手法を用いれば、画像データの精度は荒
くなるものの、画像データの容量を削減でき、さらにデ
ータの演算時間を短くすることができる。

【００９９】本実施の形態に係る画像データ符号化装置
の各フレームごとの符号化処理におけるデータ転送のフ
ローチャートを図８に示す。図８の各ステップＳ１ｂ〜
Ｓ８ｂは、図３に示したフローチャートの各ステップＳ
１ａ〜Ｓ８ａとほぼ同様であるが、ステップＳ４ｂのハ
ーフペル精度での動き探索処理に読み出される画像デー
タの場所が、内部メモリではなく外部メモリになってい
る点が異なっている。

【０１００】本実施の形態においては、Ｉ，Ｐフレーム
の再構成画像を生成する際に、サブサンプル処理を行っ
て画素を間引きした状態で内部メモリ１０４に記憶させ
る。ここで、サブサンプル率を例えば１／２，１／４，
１／８とすれば、再構成画像の格納に必要な内部メモリ
１０４の容量もそれぞれ１／２，１／４，１／８で済
む。

【０１０１】なお図９に、本実施の形態における内部メ
モリ１０４内の再構成画像のメモリマップ例を示す。図
９に示されているように、サブサンプルされた再構成画
像の輝度（Ｙ）信号の画像データが内部メモリ１０４に
記憶されている。

【０１０２】そして、ステップＳ３ｂにおいて整数画素
精度での動き探索処理を行う際にその画像データを参照
画像として利用する。一方、ステップＳ４ｂにおいて、
ハーフペル精度での動き探索処理の際には、フルサンプ
ルされた画像データを外部メモリ１０７から読み出して
参照画像として用いる。

【０１０３】本実施の形態においては、上述のように整
数画素精度での動き探索処理にサブサンプルされた画像
データを参照画像として用いるので、フルサンプルされ
た画像データに動き探索処理を行う場合に比べ、内部メ
モリの容量が少なくて済み、また、計算に要する処理時
間を短くすることができる。

【０１０４】また、ハーフペル精度での動き探索処理の
際には、フルサンプルされた画像データを参照画像とし
て用いるので、整数画素精度での動き探索処理において
は短い処理時間で動きベクトルの見当をつけ、ハーフペ
ル精度での動き探索処理においては精度よく動きベクト
ルを得ることができる。

【０１０５】その他の構成は実施の形態１に係る画像デ
ータ符号化装置と同様のため、説明を省略する。

【０１０６】＜実施の形態４＞本実施の形態は、実施の
形態２および３を組み合わせたものである。すなわち、
動き探索処理が行われる画像データに色差信号の画像デ
ータをも含ませ、さらに、この色差信号の画像データに
ついてもサブサンプルされたデータを用いるのである。

【０１０７】すなわち、本実施の形態では図１０に示す
ように、内部メモリ１０４の「空き」となっていた領域
に、再構成画像の色差（Ｃｂ，Ｃｒ）信号の画像データ
をサブサンプルされた状態で記憶させる。具体的には、
Ｉ，Ｐフレームの再構成画像を生成する際に、再構成画
像の輝度および色差の両信号の画像データをサブサンプ
ルした上で内部メモリ１０４に記憶させ、次のフレーム
の動き探索処理の参照画像に利用するのである。

【０１０８】このように、動き探索処理が行われる画像
データに、色差信号の画像データも含まれておれば、動
き探索処理がさらに精度よく行える。そして、そのデー
タがサブサンプルされておれば、フルサンプルされた画
像データに動き探索処理を行う場合に比べ、内部メモリ
の容量が少なくて済み、また、計算に要する処理時間を
短くすることができる。

【０１０９】また、実施の形態３と同様、ハーフペル精
度での動き探索処理の際にフルサンプルされた画像デー
タを用いるようにすれば、整数画素精度での動き探索処
理においては短い処理時間で動きベクトルの見当をつ
け、ハーフペル精度での動き探索処理においては精度よ
く動きベクトルを得ることができる。

【０１１０】＜実施の形態５＞本実施の形態は、実施の
形態１に係る画像データ符号化装置の変形例であり、動
き探索処理時の参照画像として、再構成画像ではなく、
入力された原画像の画像データを用いるものである。

【０１１１】本実施の形態におけるデータ転送のフロー
チャートを図１１に示す。まず、原画像データがビデオ
入力１０８としてＭＰＥＧ２処理部１０２に入力される
と、前処理としてデータに空間フィルタ処理および時間
フィルタ処理が符号化器においてなされる。

【０１１２】そして、前処理済みの原画像データは、外
部メモリ１０７にフレーム単位で蓄えられるとともに、
内部メモリ１０４にもフレーム単位で蓄えられる（ステ
ップＳ１ｃ）。ここでは例えば、１枚のフレームが外部
メモリ１０７および内部メモリ１０４に交互に記憶され
るようにしておけばよい。なお、内部メモリ１０４に蓄
えられるのは、原画像のうち輝度信号の画像データであ
る。

【０１１３】そして、数フレーム分の画像データが外部
メモリ１０７に蓄えられた後、符号化対象画像である各
フレームのデータは、後の動き探索処理のためにリオー
ダリングされた上で、ＭＰＥＧ２処理部１０２内の符号
化器に読み出される（ステップＳ２ｃ）。

【０１１４】そして符号化器では、まずＩフレームの符
号化処理が行われ、その符号化情報がビットストリーム
出力１０９として出力される（ステップＳ７ｃ）。な
お、Ｉフレームの場合はフレーム内符号化が行われるの
で、動き探索処理は行われない。

【０１１５】そして、ＭＰＥＧ２処理部１０２内の復号
化器では、符号化データのモニタ用にビデオ出力１１０
が生成される（ステップＳ８ｃ）。また、復号化された
画像データは再構成画像として外部メモリ１０７に蓄え
られ、前後フレームの予測用に使用される。

【０１１６】さて、本実施の形態においては、動き探索
処理の参照画像に原画像の輝度信号の画像データが用い
られる。

【０１１７】なお、符号化処理においては、Ｉフレーム
の再構成画像の輝度信号の画像データおよび色差信号の
画像データも必要となるため、外部メモリ１０７には両
信号の画像データが記憶される。

【０１１８】内部メモリ１０４の輝度（Ｙ）信号の画像
データのメモリマップ例を、図１２に示す。

【０１１９】図１２に示すように、記憶領域ＡＲ１ａに
は原画像のうち輝度信号の画像データ＃１（Ｙ）のみが
記憶され、色差信号の画像データについては「空き」
（Reserved）となっている。同様に、記憶領域ＡＲ２ａ
には原画像のうち輝度信号の画像データ＃２（Ｙ）のみ
が記憶され、色差信号の画像データについては「空き」
（Reserved）となっている。

【０１２０】なお、内部メモリ１０４の記憶領域ＡＲ１
ａ，ＡＲ１ｂ以外の領域は「空き」となっている。

【０１２１】ＰフレームおよびＢフレームの符号化処理
については、動き探索処理において参照画像として再構
成画像の代わりに原画像の画像データが用いられ、テン
プレート画像として原画像または再構成画像のいずれか
が用いられること以外、実施の形態１にかかる画像デー
タ符号化装置と同様である。

【０１２２】その他の構成およびデータ転送については
実施の形態１に係る画像データ符号化装置と同様のた
め、説明を省略する。

【０１２３】このように，再構成画像の代わりに原画像
の画像データを用いて動き探索処理を行なってもよい。

【０１２４】＜実施の形態６＞本実施の形態は、実施の
形態５に係る画像データ符号化装置の変形例であり、動
き探索処理の参照画像に用いられる画像データにさらに
原画像の色差信号の画像データをも含ませたものであ
る。

【０１２５】本実施の形態では図１３に示すように、内
部メモリ１０４の「空き」となっていた領域に、原画像
の色差（Ｃｂ，Ｃｒ）信号の画像データをも記憶させ
る。具体的には、原画像の輝度および色差の両信号の画
像データを内部メモリ１０４に記憶させ、次のフレーム
の動き探索処理に参照画像として利用するのである。

【０１２６】このように、動き探索処理が行われる画像
データに、色差信号の画像データも含まれておれば、動
き探索処理がさらに精度よく行える。

【０１２７】その他の構成およびデータ転送については
実施の形態５に係る画像データ符号化装置と同様のた
め、説明を省略する。

【０１２８】＜実施の形態７＞本実施の形態は、実施の
形態５に係る画像データ符号化装置の変形例であり、整
数画素精度での動き探索処理の参照画像として用いられ
る原画像の画像データとしてサブサンプルされた画像デ
ータを用い、ハーフペル精度での動き探索処理の参照画
像として用いられる原画像の画像データとしてフルサン
プルされた画像データを用いるものである。

【０１２９】本実施の形態に係る画像データ符号化装置
の各フレームごとの符号化処理におけるデータ転送のフ
ローチャートを図１４に示す。図１４の各ステップＳ１
ｄ〜Ｓ８ｄは、図１１に示したフローチャートの各ステ
ップＳ１ｃ〜Ｓ８ｃとほぼ同様であるが、ステップＳ４
ｄのハーフペル精度での動き探索処理に読み出される画
像データの場所が、内部メモリではなく外部メモリにな
っている点が異なっている。

【０１３０】本実施の形態においては、原画像の画像デ
ータが記憶される際に、原画像のサブサンプル処理を行
って画素を間引きした状態で内部メモリ１０４に記憶さ
せる。ここで、サブサンプル率を例えば１／２，１／
４，１／８とすれば、原画像の格納に必要な内部メモリ
１０４の容量もそれぞれ１／２，１／４，１／８で済
む。

【０１３１】なお図１５に、本実施の形態における内部
メモリ１０４内の原画像のメモリマップ例を示す。図１
５に示されているように、サブサンプルされた原画像の
輝度（Ｙ）信号の画像データが内部メモリ１０４に記憶
されている。

【０１３２】そして、ステップＳ３ｄにおいて整数画素
精度での動き探索処理を行う際にその画像データを参照
画像として利用する。一方、ステップＳ４ｄにおいて、
ハーフペル精度での動き探索処理の際には、フルサンプ
ルされた画像データを外部メモリ１０７から読み出して
用いる。

【０１３３】本実施の形態においては、上述のように整
数画素精度での動き探索処理にサブサンプルされた画像
データを参照画像として用いるので、フルサンプルされ
た画像データに動き探索処理を行う場合に比べ、内部メ
モリの容量が少なくて済み、また、計算に要する処理時
間を短くすることができる。

【０１３４】また、ハーフペル精度での動き探索処理の
際には、フルサンプルされた画像データを参照画像とし
て用いるので、整数画素精度での動き探索処理において
は短い処理時間で動きベクトルの見当をつけ、ハーフペ
ル精度での動き探索処理においては精度よく動きベクト
ルを得ることができる。

【０１３５】その他の構成は実施の形態５に係る画像デ
ータ符号化装置と同様のため、説明を省略する。

【０１３６】＜実施の形態８＞本実施の形態は、実施の
形態６および７を組み合わせたものである。すなわち、
動き探索処理の参照画像に用いられる原画像の画像デー
タに色差信号の画像データをも含ませ、さらに、この色
差信号の画像データについてもサブサンプルされたデー
タを用いるのである。

【０１３７】すなわち、本実施の形態では図１６に示す
ように、内部メモリ１０４の「空き」となっていた領域
に、原画像の色差（Ｃｂ，Ｃｒ）信号の画像データをサ
ブサンプルされた状態で記憶させる。具体的には、原画
像を記憶する際に、原画像の輝度および色差の両信号の
画像データをサブサンプルした上で内部メモリ１０４に
記憶させ、次のフレームの動き探索処理に利用するので
ある。

【０１３８】このように、動き探索処理が行われる画像
データに、色差信号の画像データも含まれておれば、動
き探索処理がさらに精度よく行える。そして、そのデー
タがサブサンプルされておれば、フルサンプルされた画
像データに動き探索処理を行う場合に比べ、内部メモリ
の容量が少なくて済み、また、計算に要する処理時間を
短くすることができる。

【０１３９】また、実施の形態７と同様、ハーフペル精
度での動き探索処理の際にフルサンプルされた画像デー
タを用いるようにすれば、整数画素精度での動き探索処
理においては短い処理時間で動きベクトルの見当をつ
け、ハーフペル精度での動き探索処理においては精度よ
く動きベクトルを得ることができる。

【０１４０】＜実施の形態９＞本実施の形態は、実施の
形態６に係る画像データ符号化装置の変形例であり、動
き探索処理の参照画像に用いられる画像データに原画像
の色差信号の画像データをも含ませ、さらに、内部メモ
リの容量を実施の形態６の場合に比して大きくとって、
原画像の画像データをメモリインタフェースを介して内
部メモリに書き込ませるものである。

【０１４１】本実施の形態におけるデータ転送のフロー
チャートを図１７に示す。まず、原画像データがビデオ
入力１０８としてＭＰＥＧ２処理部１０２に入力される
と、前処理としてデータに空間フィルタ処理および時間
フィルタ処理が符号化器においてなされる。

【０１４２】そして、前処理済みの原画像データは、外
部メモリ１０７にではなく、内部メモリ１０４にフレー
ム単位で蓄えられる（ステップＳ１ｅ）。ここでは、内
部メモリ１０４の容量を実施の形態６の場合に比べ大き
くとっておき、複数枚の原画像データが記憶できる程度
にしておく。なお、内部メモリ１０４に蓄えられるの
は、原画像のうち輝度信号および色差信号の画像データ
である。

【０１４３】そして、数フレーム分の画像データが内部
メモリ１０４に蓄えられた後、符号化対象画像である各
フレームのデータは、後の動き探索処理のためにリオー
ダリングされた上で、ＭＰＥＧ２処理部１０２内の符号
化器に読み出される（ステップＳ２ｅ）。

【０１４４】そして符号化器では、まずＩフレームの符
号化処理が行われ、その符号化情報がビットストリーム
出力１０９として出力される（ステップＳ７ｅ）。な
お、Ｉフレームの場合はフレーム内符号化が行われるの
で、動き探索処理は行われない。

【０１４５】そして、ＭＰＥＧ２処理部１０２内の復号
化器では、符号化データのモニタ用にビデオ出力１１０
が生成される（ステップＳ８ｅ）。また、復号化された
画像データは再構成画像として外部メモリ１０７に蓄え
られ、前後フレームの予測用に使用される。

【０１４６】さて、本実施の形態においては、動き探索
処理の参照画像に原画像の輝度信号および色差信号の画
像データが用いられる。

【０１４７】なお、符号化処理においては、Ｉフレーム
の再構成画像の輝度信号の画像データおよび色差信号の
画像データも必要となるため、外部メモリ１０７には両
信号の画像データが記憶される。

【０１４８】輝度（Ｙ）信号および色差（Ｃｂ，Ｃｒ）
信号の画像データのメモリマップ例を、図１８および図
１９に示す。なお、図１８は内部メモリ１０４のメモリ
マップ例であり、図１９は外部メモリ１０７のメモリマ
ップ例である。

【０１４９】図１８に示すように、記憶領域ＡＲ１ａに
は原画像の輝度信号の画像データ＃１（Ｙ）、および色
差信号の画像データ＃１（Ｃｂ，Ｃｒ）が記憶されてい
る。同様に、記憶領域ＡＲ２ａ〜ＡＲ４ａにはそれぞ
れ、原画像の輝度信号の画像データ＃２（Ｙ）〜＃４
（Ｙ）、および色差信号の画像データ＃２（Ｃｂ，Ｃ
ｒ）〜＃４（Ｃｂ，Ｃｒ）が記憶されている。

【０１５０】一方、図１９に示すように、記憶領域ＡＲ
１ｂには、再構成画像の輝度信号の画像データ＃１
（Ｙ）と色差信号の画像データ＃１（Ｃｂ，Ｃｒ）とが
記憶されている。同様に、記憶領域ＡＲ２ｂには、再構
成画像の輝度信号の画像データ＃２（Ｙ）と色差信号の
画像データ＃２（Ｃｂ，Ｃｒ）とが記憶されている。

【０１５１】なお、内部メモリ１０４の記憶領域ＡＲ１
ａ〜ＡＲ４ａ以外の領域は「空き」となっており、外部
メモリ１０７の記憶領域ＡＲ１ｂ，ＡＲ２ｂ以外の領域
は「空き」となっている。

【０１５２】ＰフレームおよびＢフレームの符号化処理
については、動き探索処理において参照画像として再構
成画像の代わりに原画像の画像データが用いられ、テン
プレート画像として原画像または再構成画像のいずれか
が用いられること以外、実施の形態６にかかる画像デー
タ符号化装置と同様である。

【０１５３】その他の構成およびデータ転送については
実施の形態６に係る画像データ符号化装置と同様のた
め、説明を省略する。

【０１５４】このように，再構成画像の代わりに原画像
の画像データを用いて動き探索処理を行なってもよい。

【０１５５】本実施の形態にかかる画像データ符号化装
置によれば、入力される複数枚の画像データは原画像と
して、メモリインタフェースを介して内部メモリに書き
込まれるので、入力される画像データを外部メモリに書
き込む場合と異なり、動作速度およびバス幅のスペック
がそれほど優れない外部メモリであっても採用すること
ができる。

【０１５６】

【発明の効果】請求項１に記載の発明によれば、動き探
索処理の参照画像に用いられる画像データがメモリイン
タフェースを介して内部メモリに書き込まれるので、内
部メモリ−メモリインタフェース間のバス幅を広く設定
しておくことで、外部メモリを採用することによるデー
タ転送処理能力の制限が少なく、かつ、内部メモリの容
量を抑えたコスト上昇の抑制が可能な画像データ符号化
装置が得られる。よって、データ転送量の多い動き探索
処理での画像データの転送が効率よく迅速に行える画像
データ符号化装置を得ることができる。

【０１５７】請求項２に記載の発明によれば、動き探索
処理の参照画像に用いられる画像データがメモリインタ
フェースを介して外部メモリにも書き込まれるので、予
測画像の生成や符号化処理に際して内部メモリに書き込
まれた画像データを用いるだけでは不十分な場合に、外
部メモリに書き込まれた画像データを援用することがで
きる。

【０１５８】請求項３に記載の発明によれば、動き探索
処理の参照画像に用いられる画像データは、人間の目に
知覚しやすい輝度信号の画像データを含むので、動き探
索処理が精度よく行える。

【０１５９】請求項４に記載の発明によれば、動き探索
処理の参照画像に用いられる画像データはさらに、色差
信号の画像データをも含むので、動き探索処理がさらに
精度よく行える。

【０１６０】請求項５に記載の発明によれば、動き探索
処理の参照画像に用いられる画像データは、サブサンプ
ルされた画像データを含むので、フルサンプルされた画
像データに動き探索処理を行う場合に比べ、内部メモリ
の容量が少なくて済み、また、計算に要する処理時間が
短くなる。

【０１６１】請求項６に記載の発明によれば、整数画素
精度での動き探索処理の際には、サブサンプルされた画
像データが参照画像として用いられ、ハーフペル精度で
の動き探索処理の際には、フルサンプルされた画像デー
タが参照画像として用いられるので、整数画素精度での
動き探索処理においては短い処理時間で動きベクトルの
見当をつけ、ハーフペル精度での動き探索処理において
は精度よく動きベクトルを得ることができる。

【０１６２】請求項７に記載の発明によれば、動き探索
処理の参照画像に用いられる画像データは、人間の目に
知覚しやすい輝度信号の画像データを含むので、動き探
索処理が精度よく行える。

【０１６３】請求項８に記載の発明によれば、動き探索
処理の参照画像に用いられる画像データはさらに、色差
信号の画像データをも含むので、動き探索処理がさらに
精度よく行える。

【０１６４】請求項９に記載の発明によれば、動き探索
処理の参照画像に用いられる画像データは、サブサンプ
ルされた画像データを含むので、フルサンプルされた画
像データに動き探索処理を行う場合に比べ、内部メモリ
の容量が少なくて済み、また、計算に要する処理時間が
短くなる。

【０１６５】請求項１０に記載の発明によれば、整数画
素精度での動き探索処理の際には、サブサンプルされた
画像データが参照画像として用いられ、ハーフペル精度
での動き探索処理の際には、フルサンプルされた画像デ
ータが参照画像として用いられるので、整数画素精度で
の動き探索処理においては短い処理時間で動きベクトル
の見当をつけ、ハーフペル精度での動き探索処理におい
ては精度よく動きベクトルを得ることができる。

【０１６６】請求項１１に記載の発明によれば、入力さ
れる複数枚の画像データは原画像として、メモリインタ
フェースを介して内部メモリに書き込まれるので、入力
される画像データを外部メモリに書き込む場合と異な
り、動作速度およびバス幅のスペックがそれほど優れな
い外部メモリであっても採用することができる。

【図面の簡単な説明】

【図１】実施の形態１に係る画像データ符号化装置を
示す図である。

【図２】実施の形態１に係る画像データ符号化装置中
のＭＰＥＧ２処理部１０２およびメモリインタフェース
１０３の構成を詳しく示した図である。

【図３】実施の形態１に係る画像データ符号化装置の
各フレームごとの符号化処理におけるデータ転送を示す
フローチャートである。

【図４】実施の形態１に係る画像データ符号化装置の
内部メモリ１０４のメモリマップ例を示す図である。

【図５】実施の形態１に係る画像データ符号化装置の
外部メモリ１０７のメモリマップ例を示す図である。

【図６】実施の形態１に係る画像データ符号化装置に
おける、Ｉ，Ｐ，Ｂの各フレームの符号化の順序と、予
測に用いられる画像データのメモリへの記憶とについて
示すタイミングチャートである。

【図７】実施の形態２に係る画像データ符号化装置の
内部メモリ１０４のメモリマップ例を示す図である。

【図８】実施の形態３に係る画像データ符号化装置の
各フレームごとの符号化処理におけるデータ転送を示す
フローチャートである。

【図９】実施の形態３に係る画像データ符号化装置の
内部メモリ１０４のメモリマップ例を示す図である。

【図１０】実施の形態４に係る画像データ符号化装置
の内部メモリ１０４のメモリマップ例を示す図である。

【図１１】実施の形態５に係る画像データ符号化装置
の各フレームごとの符号化処理におけるデータ転送を示
すフローチャートである。

【図１２】実施の形態５に係る画像データ符号化装置
の内部メモリ１０４のメモリマップ例を示す図である。

【図１３】実施の形態６に係る画像データ符号化装置
の内部メモリ１０４のメモリマップ例を示す図である。

【図１４】実施の形態７に係る画像データ符号化装置
の各フレームごとの符号化処理におけるデータ転送を示
すフローチャートである。

【図１５】実施の形態７に係る画像データ符号化装置
の内部メモリ１０４のメモリマップ例を示す図である。

【図１６】実施の形態８に係る画像データ符号化装置
の内部メモリ１０４のメモリマップ例を示す図である。

【図１７】実施の形態９に係る画像データ符号化装置
の各フレームごとの符号化処理におけるデータ転送を示
すフローチャートである。

【図１８】実施の形態９に係る画像データ符号化装置
の内部メモリ１０４のメモリマップ例を示す図である。

【図１９】実施の形態９に係る画像データ符号化装置
の外部メモリ１０７のメモリマップ例を示す図である。

【図２０】従来の画像データ符号化装置を示す図であ
る。

【図２１】従来の画像データ符号化装置の各フレーム
ごとの符号化処理におけるデータ転送を示すフローチャ
ートである。

【符号の説明】

１０１，１０５，１０６バス、１０２ＭＰＥＧ２処
理部、１０３メモリインタフェース、１０４内部メ
モリ、１０７外部メモリ、１０８ビデオ入力、１０
９ビットストリーム出力、１１０ビデオ出力。

───────────────────────────────────────────────────── フロントページの続き (72)発明者花見充雄東京都千代田区丸の内二丁目２番３号三菱電機株式会社内Ｆターム(参考） 5C053 FA27 GB01 GB38 HA33 KA04 KA05 KA11 5C059 LB05 MA00 MA05 NN01 NN15 PP05 PP06 PP07 PP16 SS11 UA02 UA33 UA38 5J064 AA01 AA02 BA09 BA16 BC01 BC16 BD03

Claims

【特許請求の範囲】

【請求項１】内部メモリと、外部メモリに接続可能であり、前記内部メモリに接続さ
れ、前記外部メモリおよび内部メモリに対してデータの
読み書きの制御を行うメモリインタフェースと、連続する複数枚の画像データが入力され、前記画像デー
タに動き探索処理を行って予測画像を生成し、前記予測
画像を用いて前記画像データの符号化処理を行う画像デ
ータ符号化処理部とを備え、前記動き探索処理の参照画像に用いられる前記画像デー
タは、前記メモリインタフェースを介して前記内部メモ
リに書き込まれる画像データ符号化装置。
【請求項２】請求項１に記載の画像データ符号化装置
であって、前記動き探索処理の参照画像に用いられる前記画像デー
タは、前記メモリインタフェースを介して前記外部メモ
リにも書き込まれる画像データ符号化装置。
【請求項３】請求項１または請求項２に記載の画像デ
ータ符号化装置であって、前記動き探索処理の参照画像に用いられる前記画像デー
タは、以前に生成された予測画像たる再構成画像の画像
データであって、前記再構成画像の輝度信号の画像デー
タを含む画像データ符号化装置。
【請求項４】請求項３に記載の画像データ符号化装置
であって、前記動き探索処理の参照画像に用いられる前記画像デー
タはさらに、前記再構成画像の色差信号の画像データを
も含む画像データ符号化装置。
【請求項５】請求項１または請求項２に記載の画像デ
ータ符号化装置であって、前記動き探索処理の参照画像に用いられる前記画像デー
タは、以前に生成された予測画像たる再構成画像の画像
データであって、サブサンプルされた前記再構成画像の
画像データを含む画像データ符号化装置。
【請求項６】請求項５に記載の画像データ符号化装置
であって、前記外部メモリにはフルサンプルされた画像データが書
き込まれ、前記動き探索処理は、整数画素精度での動き探索処理お
よびハーフペル精度での動き探索処理を含み、前記整数画素精度での動き探索処理の際には、前記サブ
サンプルされた画像データが参照画像として用いられ、前記ハーフペル精度での動き探索処理の際には、前記フ
ルサンプルされた画像データが参照画像として用いられ
る画像データ符号化装置。
【請求項７】請求項１または請求項２に記載の画像デ
ータ符号化装置であって、前記動き探索処理の参照画像に用いられる前記画像デー
タは、入力された前記画像データの原画像であって、前
記原画像の輝度信号の画像データを含む画像データ符号
化装置。
【請求項８】請求項７に記載の画像データ符号化装置
であって、前記動き探索処理の参照画像に用いられる前記画像デー
タはさらに、前記原画像の色差信号の画像データをも含
む画像データ符号化装置。
【請求項９】請求項１または請求項２に記載の画像デ
ータ符号化装置であって、前記動き探索処理の参照画像に用いられる前記画像デー
タは、入力された前記画像データの原画像であって、サ
ブサンプルされた前記原画像の画像データを含む画像デ
ータ符号化装置。
【請求項１０】請求項９に記載の画像データ符号化装
置であって、前記外部メモリにはフルサンプルされた画像データが書
き込まれ、前記動き探索処理は、整数画素精度での動き探索処理お
よびハーフペル精度での動き探索処理を含み、前記整数画素精度での動き探索処理の際には、前記サブ
サンプルされた画像データが参照画像として用いられ、前記ハーフペル精度での動き探索処理の際には、前記フ
ルサンプルされた画像データが参照画像として用いられ
る画像データ符号化装置。
【請求項１１】請求項１に記載の画像データ符号化装
置であって、入力される前記複数枚の画像データは原画像として、前
記メモリインタフェースを介して前記内部メモリに書き
込まれる画像データ符号化装置。