JP2003230148A

JP2003230148A - 画像データ符号化装置

Info

Publication number: JP2003230148A
Application number: JP2002025727A
Authority: JP
Inventors: Tetsuya Matsumura; 哲哉松村; Satoru Kumaki; 哲熊木; Mitsuo Hanami; 充雄花見; Hiroshi Segawa; 浩瀬川
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-02-01
Filing date: 2002-02-01
Publication date: 2003-08-15
Also published as: US20030147468A1

Abstract

(57)【要約】【課題】画像データを効率よく迅速に転送することが
可能な画像データ符号化装置を提供する。【解決手段】画像データ符号化装置１０１は、外部メ
モリ１１１に対するデータの読出しおよび書込みの制御
を行なうメモリインターフェイス１１０と、第１の圧縮
率の圧縮符号化処理を行なうＭＰＥＧ２処理部１０２
と、ＭＰＥＧ２処理部１０２とメモリインターフェース
１１０との間に設けられ、画像データ符号化処理部から
外部メモリへと出力されるデータに対しては、第１の圧
縮率よりも小さい第２の圧縮率での圧縮符号化を行い、
かつ、外部メモリから画像データ符号化処理部へと出力
されるデータに対しては、復号処理を行う符号化／復号
化器１０７，１０８および１０９とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像データを圧
縮して符号化する画像データ符号化装置の構成に関す
る。

【０００２】

【従来の技術】録画・再生が可能なＤＶＤ（Digital Ve
rsatile Disc）やＤ−ＶＨＳ（Digital-Video Home Sys
tem）、デジタル放送送信受信機などのデジタルオーデ
ィオビジュアル機器には、画像データの圧縮方法として
国際標準規格であるＭＰＥＧ２（Moving Picture Exper
ts Group 2）が採用されている。このＭＰＥＧ２規格に
基づく画像データの符号化処理においては、画像データ
の圧縮のための演算量が膨大であり、信号処理デバイス
とメモリデバイスとの間のデータの転送量も膨大であ
る。

【０００３】図９は、従来の画像データ符号化システム
６００の構成を示す概略ブロック図である。

【０００４】図９を参照して、画像データ符号化システ
ム６００中の画像データ符号化装置６０１は、画像デー
タを圧縮して符号化するＭＰＥＧ２処理部６０２と、デ
ータの転送制御を行なうメモリインターフェイス６１０
とを備える。ＭＰＥＧ２処理部６０２とメモリインター
フェイス６１０とは、バス６０８で接続される。そし
て、汎用ＤＲＡＭ等の外部に設けられた外部メモリ６１
４がバス６１２を介してメモリインターフェイス６１０
に接続される。

【０００５】ＭＰＥＧ２処理部６０２は、画像データ符
号化装置６０１の外部との間で、ビデオ信号の授受を行
なうためのビデオ信号入出力部６０３と、ＭＰＥＧ２符
号化において、動き予測を行なって、ビデオ信号の補償
を行なうための動き予測部６０４と、離散コサイン変換
（Discrete Cosine Transform：ＤＣＴ）処理や量子化
処理、さらには、動き予測・補償のための逆量子化／逆
ＤＣＴ処理を行なうＤＣＴ／量子化部６０５と、ＤＣＴ
／量子化部６０５から出力される信号を受けて、可変長
符号化を行ない、画像データ符号化装置６０１の外部に
対して、ビットストリームとして出力するための可変長
符号化部６０６とを備える。

【０００６】外部メモリ６１４としては、たとえば、ダ
イナミック型ランダムアクセスメモリ（以下、ＤＲＡ
Ｍ）、特に、高速性を重視して同期型ＤＲＡＭ（以下、
ＳＤＲＡＭ）が使用される。外部メモリ６１４は、フレ
ーム内またはフィールド内における符号化処理や、フレ
ーム間またはフィールド間における動き予測等の処理に
おいて、画像データを、一時的に記憶しておくための画
像メモリである。

【０００７】なお、画像データが正しく符号化されてい
るかどうかをモニタできるように、符号化器は符号化さ
れた画像データを復号化して、ビデオ信号入出力部６０
３からビデオ出力として出力する。

【０００８】図１０は、画像データ符号化装置６０１の
各フレーム毎の符号化処理におけるデータ転送処理を示
すフローチャートである。

【０００９】なお、以下では、説明の簡単のために、処
理対象のピクチャが、フレーム画像であるものとして説
明を行う。

【００１０】図１０を参照して、まず、原画像データが
ビデオ入力としてＭＰＥＧ２処理部６０２に入力される
と、ビデオ信号入出力部６０３において、前処理として
データに空間フィルタ処理および時間フィルタ処理がな
される。なお、ここでいう空間フィルタ処理とは、同一
フレーム内の画像信号にフィルタをかけて高調波ノイズ
を除去する処理のことを指し、時間フィルタ処理とは、
時間的に前後するフレーム間での各画素を比較すること
により高調波ノイズを除去する処理のことを示す。

【００１１】なお、空間フィルタ処理済みの原画像デー
タは、バス６０８、メモリインターフェイス６１０、お
よびバス６１２を介して外部メモリ６１４にフレーム単
位で蓄えられる。そして、時間フィルタ処理について
は、ＭＰＥＧ２処理部６０２は、外部メモリ６１４から
画像データを読出して、時間的に前後するフレーム間で
の各画素を比較し、高調波ノイズを除去する。

【００１２】そして、前処理済みの原画像データは、バ
ス６０８、メモリインターフェイス６１０、およびバス
６１２を介して外部メモリ６１４にフレーム単位で蓄え
られる（ステップＳ１ｆ）。

【００１３】数フレーム分の画像データが蓄えられた
後、符号化対象画像である各フレームのデータは、後の
動き予測処理のため順序が並べ替え（リオーダリング）
された上で、ＭＰＥＧ２処理部６０２に読出される（ス
テップＳ２ｆ）。

【００１４】そして、ＭＰＥＧ２処理部６０２では、ま
ずＩフレームの符号化処理が行なわれ、その符号化情報
がビットストリーム出力として出力される（ステップＳ
７ｆ）。この符号化処理には、離散コサイン変換処理、
量子化処理、可変長符号化処理等が含まれる。なお、Ｉ
フレームの場合はフレーム内符号化が行なわれるので、
動き探索処理は行なわれない。

【００１５】そして、ＭＰＥＧ２処理部６０２では、符
号化データのモニタ用にビデオ出力が生成される（ステ
ップＳ８ｆ）。また、符号化された画像データは、前後
フレームの予測用の参照画像として使用されるために、
逆量子化および逆ＤＣＴ処理という一連の処理により再
構成された画像（再構成画像）として、バス６０８、メ
モリインターフェイス６１０およびバス６１２を介して
外部メモリ６１４にも蓄えられる。

【００１６】次に、Ｐフレームの符号化処理について述
べる。まず、リオーダリング（並べ替え）された画像デ
ータが符号化器に読出される（ステップＳ２ｆ）。Ｐフ
レームの場合は、ＩまたはＰフレームの再構成画像に基
づいて、動き探索処理が動き予測／動き補償部６０４に
おいて行なわれる。そして、ＭＰＥＧ２処理部６０２で
は、動き探索処理により得られた動きベクトルに基づい
て新たな画像（予測画像）を構成して、その後符号化を
行なう。

【００１７】図１０では、動き探索の処理例として、整
数画素精度で探索を行なって動きの大まかな見当をつけ
た後に、ハーフペル（半画素）精度で探索を行なって高
精度に動きベクトルを決定する場合を示している（ステ
ップＳ３ｆ，Ｓ４ｆ）。いずれの動き探索処理について
も、動き探索の参照画像はＩまたはＰフレームであるの
で、たとえば最初のＰフレームの生成については、先ほ
ど再構成したＩフレームの再構成画像を外部メモリ６１
４から読出す。

【００１８】このときメモリインターフェイス６１０
は、この再構成画像の画像データを外部メモリ６１４か
ら参照画像（サーチウィンドウデータ）として読出し、
その画像データをＭＰＥＧ２処理部６０２に送る。な
お、ステップＳ２ｆにおいて読出された外部メモリ６１
４からのＰフレームの原画像は、動き予測／動き補償部
６０４において、予測画像の生成の典拠となるテンプレ
ート画像として用いられる。

【００１９】そして、ＭＰＥＧ２処理部６０２は、テン
プレート画像およびサーチウィンドウデータを用いて動
き探索処理を行ない、動きベクトルを得る。

【００２０】続いて、ＭＰＥＧ２処理部６０２は、得ら
れた動きベクトルに基づいて予測画像を生成する（ステ
ップＳ５ｆ）。このときＩまたはＰフレームに基づいて
生成を行なうので、たとえば最初のＰフレームの生成の
場合、再びＩフレームの再構成画像を外部メモリ６１４
から読出す。

【００２１】そして、生成された予測画像は再構成画像
として外部メモリ６１４に書込まれ（ステップＳ６
ｆ）、その後、ＭＰＥＧ２処理部６０２において符号化
処理が行なわれる。すなわち、ＭＰＥＧ２処理部６０２
は、外部メモリ６１４から再構成画像を読出して（ステ
ップＳ２ｆ）、符号化を行ない、その符号化情報をビッ
トストリーム出力として出力する（ステップＳ７ｆ）。

【００２２】そして、Ｉフレームの場合と同様、符号化
データのモニタ用にビデオ出力が生成される（ステップ
Ｓ８ｆ）。また、外部メモリ６１４内の再構成画像も、
次フレームの予測用の参照画像として使用される。

【００２３】なお、次回以降のＰフレームの生成におい
ては、Ｉフレームの再生画像に代わって、Ｐフレームの
再構成画像のデータが読出される。

【００２４】次に、Ｂフレームの符号化処理について述
べる。Ｂフレームも、Ｐフレームの場合と同様、動き探
索処理が行なわれ、動き探索処理により得られた動きベ
クトルに基づいて新たな画像を構成して、その後、符号
化が行なわれる。よって、図１０のフローチャートにお
けるフローの流れは、Ｐフレームの場合と同様である。

【００２５】ただし、Ｂフレームの場合は、過去のデー
タだけでなく、未来の画像データにも基づいて動き探索
処理を行なうため、ステップＳ３ｆ、Ｓ４ｆにおける動
き探索処理がＰフレームの場合に比べて増加する。すな
わち、過去の画像データが存在しない符号化処理初期の
Ｂフレームについては未来の画像データのみに基づいて
動き探索処理が行なわれる。

【００２６】したがって、画像符号化処理を行う場合、
ＭＰＥＧ２処理部６０２と外部メモリ６１４との間のデ
ータ転送の種類は、主に以下のようになる。

【００２７】１）原画像データの取りこみ（ビデオ信号入出力部→外部メモリ）２）符号化対象画像の読み出し（外部メモリ→DCT／量子化部）３）動き探索（整数精度探索）（外部メモリ→動き予測／補償部）４）動き探索（ハーフベル探索）（外部メモリ→動き予測／補償部）５）予測画像の生成（外部メモリ→動き予測／補償部）６）再構成画像の書き込み（動き予測／補償部→外部メモリ）７）符号化データの書き込み，読み出し（可変長符号化部→外部メモリ）８）復号画像（外部メモリ→動き予測／補償部）上記大別して、８種類の外部メモリとのデータ転送を行
いつつ符号化を実行していることになる。

【００２８】図１１は、このような処理を行う場合の外
部メモリ６１４のメモリマッピング例を示す概念図であ
る。

【００２９】図１１におけるデータは、原画像及び再構
成画像とも圧縮されていない画像データである。通常，
ＭＰＥＧ２符号化においては，前後方向の予測処理を行
うため、上述のとおりリオーダリング処理が必要とな
り，原画像を４フレーム分，また両方向予測のための再
構成画像を２フレーム分，外部メモリ（フレームメモ
リ）３１４に格納し処理を実施する。たとえば、ＮＴＳ
Ｃ画像１枚のデータ量は約４メガビットであるため、画
像格納用フレームメモリとして２４メガビットの容量が
必要となる。さらに、より高画質なＨＤＴＶの解像度で
画像データのＭＰＥＧ２符号化処理を行なうには、２５
６メガビット以上の容量のメモリが必要となる。

【００３０】図１１に示すように、記憶領域ＡＲ１に
は、あるフレームの再構成画像の輝度信号の画像データ
♯１（Ｙ）と色差信号の画像データ♯１（Ｃｂ，Ｃｒ）
とが記憶されている。同様に、記憶領域ＡＲ２には、別
のフレームの再構成画像の輝度信号の画像データ♯２
（Ｙ）と色差信号の画像データ♯２（Ｃｂ，Ｃｒ）とが
記憶されている。

【００３１】なお、外部メモリ６１４の記憶領域ＡＲ３
〜ＡＲ６には、入力された原画像のデータ♯１（Ｙ），
♯１（Ｃｂ，Ｃｒ）〜♯４（Ｙ），♯４（Ｃｂ，Ｃｒ）
がそれぞれ記憶されている。また、記憶領域ＡＲ１〜Ａ
Ｒ６とビットストリーム領域以外の領域は、「空き（未
使用）」となっている。

【００３２】

【発明が解決しようとする課題】上述のように、ＭＰＥ
Ｇ２規格に基づく画像データの符号化処理においては、
画像データの圧縮のための演算量が膨大であり、信号処
理デバイス（図９における画像データ符号化装置６０
１）とメモリデバイス（図９における外部メモリ６１
４）との間のデータ転送量も膨大である。

【００３３】これらの膨大なデータを処理するにあたっ
て、画像データ符号化装置をどう構成するかが問題とな
る。言換えれば、演算処理能力不足やデータ転送能力不
足による性能劣化（表示画質の劣化）をどのように解消
するかが、符号化装置のシステム構築における課題とな
っていた。

【００３４】図９に示した画像データ符号化装置の構成
の場合、汎用ＤＲＡＭ等のメモリデバイスを採用してい
るために、メモリインターフェイス６１０と外部メモリ
６１４と間での入出力ピンの動作速度およびバス幅がデ
ータ転送の処理能力を制限していた。

【００３５】このような大容量のメモリ内に収められた
画像データを効率よく迅速に転送するには、入出力ピン
における動作の高速化およびバス幅の増加が望まれる。
しかし、汎用ＤＲＡＭ等のメモリデバイスを用いる場合
には、そのような希望は即座には実現されない。

【００３６】また，外部とのデータ転送量が膨大である
ため、このためのデータ入出力動作のため消費電力が大
きく、特にバッテリー駆動の携帯機器用途では致命的な
問題となっていた。

【００３７】そこで、この発明の目的は、画像データを
効率よく迅速に転送することが可能な画像データ符号化
装置を提供することにある。

【００３８】

【課題を解決するための手段】請求項１記載の画像デー
タ符号化装置は、外部メモリに接続可能であり、外部メ
モリに対するデータの読出しおよび書込みの制御を行な
うメモリインターフェイスと、連続する複数枚の画像デ
ータが入力され、画像データに動き探索処理を行なって
予測画像を生成し、予測画像を用いて画像データに対し
て圧縮符号化処理を行なう画像データ符号化処理部と、
画像データ符号化処理部とメモリインターフェースとの
間に設けられ、画像データ符号化処理部から外部メモリ
へと出力されるデータに対して圧縮符号化を行い、か
つ、外部メモリから画像データ符号化処理部へと出力さ
れるデータに対しては、復号処理を行う符号化復号化処
理部とを備える。

【００３９】請求項２記載の画像データ符号化装置は、
請求項１記載の画像データ符号化装置の構成に加えて、
符号化復号化処理部は、処理対象となる画面内のデータ
のみ基づいて符号化を行う符号化器と、符号化されたデ
ータから、処理対象となる画面内のデータを復号する復
号器とを含む。

【００４０】請求項３記載の画像データ符号化装置は、
請求項１記載の画像データ符号化装置の構成に加えて、
画像データ符号化処理部は、画像データ符号化装置に入
力されるビデオ信号を受けて、メモリインタフェースを
介して外部メモリに書き込むためのビデオ信号入出力部
と、画像データに対する圧縮符号化処理において、動き
探索処理および動き補償処理を行うための動き予測補償
部と、動き予測補償部の出力に対して、離散コサイン変
換および量子化処理を行い、かつ、動き補償処理のため
の再構成画像を生成するための変換処理部とを含み、符
号化復号化処理部は、ビデオ信号入出力部とメモリイン
タフェースとの間に設けられる第１の符号化復号化器
と、動き予測補償部とメモリインタフェースとの間に設
けられる第２の符号化復号化器と、変換処理部とメモリ
インタフェースとの間に設けられる第２の符号化復号化
器とを含む。

【００４１】請求項４記載の画像データ符号化装置は、
請求項１記載の画像データ符号化装置の構成に加えて、
画像データ符号化処理部は、画像データ符号化装置に入
力されるビデオ信号を受けて、メモリインタフェースを
介して外部メモリに書き込むためのビデオ信号入出力部
と、画像データに対する圧縮符号化処理において、動き
探索処理および動き補償処理を行うための動き予測補償
部と、動き予測補償部の出力に対して、離散コサイン変
換および量子化処理を行い、かつ、動き補償処理のため
の再構成画像を生成するための変換処理部とを含み、符
号化復号化処理部は、ビデオ信号入出力部とメモリイン
タフェースとの間、動き予測補償部とメモリインタフェ
ースとの間、および変換処理部とメモリインタフェース
との間の少なくとも１つに設けられる、少なくとも１つ
の符号化復号化器とを含む。

【００４２】請求項５記載の画像データ符号化装置は、
請求項１記載の画像データ符号化装置の構成に加えて、
符号化復号化処理部は、処理対象となる画像データのピ
クチャタイプに応じて、圧縮符号化の圧縮率の大きさを
可変とする手段を含む。

【００４３】請求項６記載の画像データ符号化装置は、
請求項１記載の画像データ符号化装置の構成に加えて、
符号化復号化処理部は、画像データ符号化装置に入力さ
れるビデオ信号の特性パラメータを抽出する前処理手段
を含み、符号化復号化処理部は、処理対象となる画像デ
ータの特性パラメータに応じて、圧縮符号化の圧縮率の
大きさを可変とする手段を含む。

【００４４】請求項７記載の画像データ符号化装置は、
請求項６記載の画像データ符号化装置の構成に加えて、
特性パラメータは、画像の平均，分散，動きの有無およ
びシーンチェンジの有無のうちの少なくとも１つの情報
を含む。

【００４５】請求項８記載の画像データ符号化装置は、
請求項１記載の画像データ符号化装置の構成に加えて、
内部メモリをさらに備え、メモリインタフェースは、内
部メモリに接続され、内部メモリに対してデータの読書
きの制御を行ない、動き探索処理の参照画像に用いられ
る画像データは、メモリインターフェイスを介して内部
メモリに書込まれる。

【００４６】請求項９記載の画像データ符号化装置は、
請求項１〜８のいずれか１項に記載の画像データ符号化
装置の構成に加えて、符号化復号化処理部による圧縮符
号化の圧縮率は、画像データ符号化処理部による圧縮符
号化の圧縮率よりも小さい。

【００４７】

【発明の実施の形態】以下、図面にしたがって、本発明
の実施の形態について説明する。なお、図中、同一部分
には、同一符号を付してその説明は繰り返さない。

【００４８】なお、以下の説明において、「圧縮率」と
は、圧縮処理が施される情報の情報量について、処理前
の情報量に対する処理後の情報量の比、すなわち（処理
後の情報量）／（処理前の情報量）のことを意味し、
「圧縮率が高い」あるいは「圧縮率が大きい」とは、処
理前の情報量に比べて処理後の情報量が、より低減され
ていることを意味する。

【００４９】［実施の形態１］図１は、本発明の実施の
形態１の画像データ符号化システム１００の構成を示す
概略ブロック図である。

【００５０】図１を参照して、画像データ符号化システ
ム１００中の画像データ符号化装置１０１は、ＭＰＥＧ
２に準拠した符号化ＬＳＩである。

【００５１】画像データ符号化装置１０１は、ＭＰＥＧ
２符号化器１０２、メモリインタフエース部１１０およ
び３つの符号化／復号化器１０７，１０８，１０９とを
備える。

【００５２】さらに、ＭＰＥＧ２符号化器１０２は、ビ
デオ信号入出力部１０３、動き予測／動き補償部１０
４、ＤＣＴ／量子化部１０５および可変長符号化部１０
６とを備える。

【００５３】ビデオ信号入出力部１０３、動き予測／動
き補償部１０４、ＤＣＴ／量子化部１０５および可変長
符号化部１０６の各機能ブロックの行う処理は、基本的
に、図９に示したＭＰＥＧ２符号化器６０２におけるビ
デオ信号入出力部６０３、動き予測／動き補償部６０
４、ＤＣＴ／量子化部６０５および可変長符号化部６０
６が行う処理と同様である。

【００５４】さらに、ビデオ信号入出力部１０３、動き
予測／動き補償部１０４、ＤＣＴ／量子化部１０５およ
び可変長符号化部１０６は、機能ブロック単位で、外部
メモリ１１１に対してデータの書き込み、および読み出
しを行いつつ符号化を実行している。ただし、ビデオ信
号入出力部１０３、動き予測／動き補償部１０４および
ＤＣＴ／量子化部１０５とメモリインタフエース１１０
との間には、符号化／復号化器１０７，１０８および１
０９がそれぞれ接続される。符号化／復号化器１０７，
１０８および１０９は、外部メモリ１１１への書き込み
および読み出しを行う際のデータ量を削減し、または削
減されたデータを元の画像データに復元する。また、符
号化ＬＳＩである画像データ符号化装置１０１は、ビデ
オ入力ボート１１２、ビデオ出力ボート１１３、ビット
ストリーム出力ポート１１４およびメモリポート１１５
の４種の入出力ポート（ピン）を備える。

【００５５】また，外部メモリ１１１のＩ／Ｏビット幅
は、ＬＳＩの一般的なピン数（Ｉ／Ｏピン数）の制限か
ら、実質的には、１６ビット、３２ビット、６４ビット
等の幅が使用される。

【００５６】図２は、図１における符号化／復号化器１
０７のブロック図である。なお、他の符号化／復号化器
１０８および１０９の構成も基本的に同様である。

【００５７】図２を参照して、符号化／復号化器１０７
は、フレーム内のみで符号化を行う符号化器２０１及び
復号化器２１１を備える。ここで、このような「フレー
ム内のみで符号化を行う方式」としては、例えば、ＭＰ
ＥＧ２のＩフレーム符号化および復号化を用いることも
可能である。他には、たとえば、フレーム内のみで符号
化を行う方式」として、ＪＰＥＧ（Joint Photographic
coding Experts Group）を用いることも可能である。

【００５８】符号化器２０１は、ビデオ信号入力ユニッ
ト２０２と、ＤＣＴユニット２０３と、量子化ユニット
２０４と、可変長符号化ユニット２０５とを備える。ビ
デオ入力ノード２０６は、ビデオ入力ユニット２０２へ
の画像入力ノードであり，ビットストリーム出力ノード
２０７は、可変長符号化ユニット２０５からのビットス
トリームが出力されるノードである。

【００５９】また復号化器２１１は、可変長復号化ユニ
ット２１５と、逆量子化ユニット２１４と、逆ＤＣＴユ
ニット２１３と、ビデオ出力ユニット２１２とを備え
る。ビットストリーム入力ノード２１７は、可変長復号
化ユニット２１５へのビットストリーム入力ノードであ
り、ビデオ出力ノード２１６はビデオ出力ユニット２１
２からの画像出力ノードである。

【００６０】以下では、図１における本発明の構成を用
いた符号化手順を上記データ転送動作を踏まえて説明す
る。

【００６１】ディジタル化されたビデオ信号（たとえ
ば、ＩＴＵ−Ｒ−６５６形式）は、まず、ビデオ入出力
部１０３に入力される。その後，符号化／復号化器１０
７により、ＭＰＥＧ２方式のＩフレーム符号化を施さ
れ、外部メモリ１１１上の原画ビットストリーム領域に
書き込まれる。このとき，原画象は、図２における符号
化器２０１で圧縮きれているため、実際に書き込まれる
データ量は圧縮率に依存して減少する。例えば、データ
量は、１／２から１／１０に圧縮することができるの
で、データ転送畳も同量の割合で削減できる。ここで，
図２において，圧縮動作は、ＤＣＴ処理部２０３、量子
化部２０４および可変長符号化部２０５の順にしたがっ
てマクロブロック単位で実行される。その後，この原画
ビットストリームは，しかるべきリオーダリングを行っ
た後に，Ｉピクチャ、Ｐピクチャ，もしくはＢピクチャ
と呼ばれるピクチャタイプで符号化される。

【００６２】ここでは，データ転送の説明にあたり、一
例として、すべてのデータ転送を必要とするＰピクチャ
もしくはＢピクチャの符号化シーケンスについて説明す
る。

【００６３】メモリインタフェース１１０を介して動き
探索のためのテンプレート画像が外部メモリ１１１から
読み出される。外部メモリ１１１上の形式は圧縮された
ビットストリ−ムであるため、これを復号化器１０７を
介して復号し、それぞれ動き予測／補償部１０４、ＤＣ
Ｔ／量子化部１０５に転送される。

【００６４】また、動き予測／補償部１０４では、同時
に、予め書きこまれてある再構成画像ビットストリ−ム
領域から、サーチウィンドウとして必要な領域のビット
ストリームを外部メモリ１１１から転送し、これを符号
化／復号化器１０８で復号してサーチウィンドウデータ
して受け取る。

【００６５】その後、動き予測／補償部１０４で得られ
た最適な動きベクトルに対応したリファレンス画像と符
号化対象となる符号化画像が、外部メモリ１１１から符
号化／復号化器１０９を介して読み出され、その差分画
像がＤＣＴ／量子化部１０５に与えられる。

【００６６】その後、ＤＣＴ処理および量子化処理が実
行された後、可変長符号化処理が行われ、最終的には、
ビットストリームとして出力される。

【００６７】このような符号化動作は、実際には、Ｉフ
レーム、Ｐフレーム、Ｂフレームの各符号化動作がピク
チャシーケンスにしたがうものとして実行される。

【００６８】上記符号化処理におけるデータ転送の種類
とそれぞれのデータ転送経路をまとめると以下のように
なる。

【００６９】１）原画像データの取りこみビデオ信号入出力部１０３→符号化／復号化器１０７→
外部メモリ１１１２）符号化対象画像の読み出し外部メモ１１１→符号化／復号化器１０９→ＤＣＴ／量
子化部１０５３）動き探索（整数精度探索）外部メモリ１１１→符号化／復号化器１０８→動き予測
／補償部１０４４）動き探索（ハーフペル探索）外部メモリ１１１→符号化／復号化器１０８→動き予測
／補償部１０４５）予測画像の生成外部メモリ１１１→符号化／復号化器１０８→動き予測
／補償部１０４６）再構成画像の書き込み動き予測／補償部１０４→符号化／復号化器１０８→外
部メモリ１１１７）符号化データの書き込み，読み出し外部メモリ１１１→可変長符号化部１０６８）復号画像外部メモリ１１１→符号化／復号化器１０８→動き予測
／補償部１０４ここで、外部メモリ１１１の転送時に施される符号化処
理及び復号化処理は、マクロブロック単位で行われ、マ
クロブロック毎に固定符号長である。

【００７０】図３は、圧縮された画像データがビットス
トリームとして、外部メモリ１１１の画像データ領域に
格納された状態を示す概念図である。

【００７１】図３においては、従来の外部メモリ６１４
への格納状態と外部メモリ１１１への格納状態とを比較
して示す。たとえば、再構成画像＃1のビットストリー
ムに対しては、従来の領域の一部（圧縮率に比例）が、
ビットストリーム領域として使用されている。したがっ
て、外部メモリ１１１で、新たに未使用となった領域は
他の目的で使用できる。

【００７２】図４は，再構成画像のビットストリーム領
域に格納されたビットストリームの格納状態を表す概念
図である。圧縮されたビットストリームはマクロブロッ
ク単位で固定長になるように量子化制御される。

【００７３】つまり、マクロブロックＭＢ（ｌ、ｍ）
（ｌ，ｍ：自然数）の圧縮データ（Ｙ１〜Ｙ４，Ｃｂ，
Ｃｒ）が、ビットストリームの形で、外部メモリ１１１
内に格納される。ここで、図４においては、輝度信号Ｙ
に対応する画素数と２つの色差信号Ｃｂ，Ｃｒの各々に
対応する画素数が、４対１の比率である場合を示してい
る。

【００７４】図５は、図４において概念的に示した圧縮
されたビットストリームの格納状態を実際のメモリイメ
ージとして示す図である。

【００７５】図５に示すとおり、メモリプレーン中にそ
れぞれ輝度信号Ｙ１〜Ｙ４および色差信号ＣｂおよびＣ
ｒを格納する領域が設けられる。ただし、各領域におい
て、１つのマクロブロックに割り当てられるメモリ領域
（ビット列×ワード列）は固定の大きさを有する。

【００７６】すなわち、マクロブロックの情報量は固定
長になるように量子化制御が施される。そして、ビット
ストリームの状態ではあるが、外部メモリ１１１のメモ
リ空間では、マクロブロック単位で格納データが２次元
にマッピングされる。

【００７７】このような形式で外部メモリ１１１に格納
しておけば，ビットストリーム形式であるにも関わらず
マクロブロック単位で２次元アドレッシングが容易にで
きる。

【００７８】このため、特に動き予測におけるサーチウ
ィンドウ転送、および求められた動きベクトルによるリ
ファレンス画像生成時の画像データ生成を容易に実現で
きる。なお、リファレンス画像生成においては、実質的
にはビットストリームを転送して、符号化／復号化器で
復号することにより、リファレンス画像生成に必要な画
像領域を外部メモリ１１１中に確保することになる。

【００７９】通常、ＭＰＥＧ２の符号化装置の応用分野
は約４Mbps〜６Mbpsのビットレートを用いるため、最終
的な画像圧縮率、すなわち、符号化装置の入力画像と出
力画像との情報量の比は１／２０から１／３０である。
しかしながら、メモリインタフエースとの間に設置され
た符号化／復号化器１０７〜１０９の各々の圧縮率を十
分に低く設定することにより、これによる画質劣化が、
本来の符号化における画質劣化に比べて極めて少ないた
め、かつＤＣＴをベースとした同種の符号化方式を採用
しているため、全体の符号化画像品質に影響を与えるこ
と無しに符号化シーケンスを実現できる。たとえば、例
として、符号化／復号化器１０７〜１０９の各々の圧縮
率としては、１／２から１／１０程度とすればよい。

【００８０】この時、符号化／復号化器１０７〜１０９
の各々において画像を圧縮した比率分がメモリトラフイ
ツクの削減となる。これにより、従来膨大なデータ転送
量を必要としたＭＰＥＧ２符号化装置において，メモリ
容量の削減による低コスト化のみならず、バストラフィ
ックの低減による低消費電力化が実現できる。

【００８１】［実施の形態２］実施の形態１において
は、ビデオ信号入出力部１０３、動き予測／動き補償部
１０４およびＤＣＴ／量子化部１０５とメモリインタフ
エース１１０との間には、符号化／復号化器１０７，１
０８および１０９がそれぞれ接続される構成であった。

【００８２】実施の形態２では、実施の形態１の構成及
び符号化動作において、ビデオ信号入出力部１０３、動
き予測／動き補償部１０４およびＤＣＴ／量子化部１０
５の各部に対応した符号化／復号化器１０７〜１０９の
うち、少なくとも１つを選択的に設ける構成とする。

【００８３】図６は、このような実施の形態２の画像デ
ータ符号化装置６０１の構成を示す概略ブロック図であ
る。

【００８４】画像データ符号化装置６０１では、原画像
を格納する場合に限り、符号化／復号化器１０７を用い
て画像データを圧縮し格納する。

【００８５】このような構成を取ることにより、実施の
形態１の構成に比較して、データ転送量及び使用メモリ
領域は増加するものの，符号化器・復号化器１０８およ
び１０９を搭載する必要がないため，ハードウェア規模
を削減できる。

【００８６】また，符号化／復号化器１０８および１０
９の処理を行わない分、画質劣化要因となる符号化、復
号化を実施する必要がないため、高画質化が可能であ
る。

【００８７】なお、同様に、実施の形態１の画像データ
符号化装置１０１の構成において、符号化／復号化器１
０８のみ、あるいは、符号化／復号化器（109）のみを
設置した符号化装置を構成することも可能である。

【００８８】また、３個の符号化／復号化器１０７〜１
０９のうち、２個の符号化／復号化器を備えた符号化装
置の構成とすることも可能である。

【００８９】［実施の形態３］実施の形態３の画像デー
タ符号化装置では、実施の形態１の画像データ符号化装
置１０１の構成および符号化動作において、ビデオ信号
入出力部１０３、動き予測／補償部１０４およびＤＣＴ
／量子化部１０５の各部に対応した各符号化／復号化器
１０７〜１０９において、符号化ピクチャタイプによっ
て各符号化／復号化器１０７〜１０９における圧縮率を
選択的に変更する。

【００９０】つまり，Ｉピクチャ，Ｐピクチャ，Ｂピク
チャといったピクチャタイプにより、選択的に圧縮率を
変更し，圧縮効率を上げる。

【００９１】具体的には，図２における量子化部２０４
の量子化ステップを、ピクチャタイプをパラメータとし
て制御する。

【００９２】通常、Ｂピクチャは他のピクチャを符号化
する際のの予測画像としては使用されないため、多少圧
縮率が高く（すなわち画質劣化）があったとしても実使
用には問題がない場合がある。したがって、特に、Ｂピ
クチャの圧縮率を高めることは、画質を維持しつつ、か
つメモリ容量の削減による低コスト化と、バストラフィ
ックの低減による低消費電力化に対して効果的である。

【００９３】［実施の形態４］実施の形態４の画像デー
タ符号化装置では、実施の形態１の画像データ符号化装
置１０１の構成および符号化動作において、ビデオ信号
入出力部１０３、動き予測／補償部１０４およびＤＣＴ
／量子化部１０５の各部に対応した各符号化／復号化器
１０７〜１０９において、画像前処理の結果によって、
各符号化／復号化器１０７〜１０９における圧縮率を選
択的に変更する。

【００９４】図７は、このような実施の形態２の画像デ
ータ符号化装置６０１の構成を示す概略ブロック図であ
る。実施の形態１の画像データ符号化装置１０１の構
成に、さらに、ビデオ信号を受けて前処理をするための
ビデオ信号前処理部４０３が設けらる。さらに、このビ
デオ信号前処理部４０３からの指示にしたがって、各符
号化／復号化器１０７〜１０９における圧縮率が変更さ
れる。

【００９５】つまり、画像の平均，分散，動きの有無，
シーンチェンジの有無といった画像のもともと持ってい
る特性（特性パラメータ）により選択的に圧縮率を変更
し、圧縮効率を上げることが可能になる。具体的には、
図２における量子化部２０４の量子化ステップを、画像
前処理の結果をパラメータとして制御する。たとえは，
平面的な画像は高周波成分を多く含まないため，多少圧
縮率を上げても画質には余り影響しないが、高精細な画
像は高周波成分を多く含むため、圧縮率をあげると画質
に大きく影響する。このような性質を画像前処理によっ
て判断して，圧縮率を制御する。

【００９６】したがって、このような構成により、画質
を維持しつつ、かつメモリ容量の削減による低コスト化
と、バストラフィックの低減による低消費電力化を図る
ことが可能である。

【００９７】［実施の形態５］図８は、本発明の実施の
形態５の画像データ符号化装置５０１の構成を説明する
ための概略ブロック図である。

【００９８】実施の形態５の画像データ符号化装置５０
１では、外部メモリ１１１の原画像ビットストリーム領
域もしくは再構成画像のビットストリーム領域の一部も
しくは全部を、画像データ符号化装置５０１を構成する
ＬＳＩチップ内部に格納する構成となっている。このた
め、メモリインタフェース１１０を介して、ビデオ信号
入出力部１０３、動き予測／動き補償部１０４、ＤＣＴ
／量子化部１０５および可変長符号化部１０６とデータ
の授受が可能な内部メモリ５１１が、画像データ符号化
装置５０１内に集積して設けられる。

【００９９】内部メモリ５１１は、たとえば、動き予測
処理に用いられる再構成画像のビットストリームを格納
する領域である。

【０１００】通常，再構成画像１枚分のメモリ容量は約
４Mbであり，これを２枚分格納するメモリ領域は８Mb必
要である。しかしながら、内部メモリ５１１には、再構
成画像を圧縮したビットストリームを格納するため、た
とえば、２Mb以下のメモリ容量で実現できる。

【０１０１】言い換えると、実施の形態５では、メモリ
デバイスと信号処理デバイス（ロジックデバイス）とを
混載したロジック−メモリ混載チップを、画像データ符
号化装置として用いる。この画像データ符号化装置は、
外部メモリを採用することによるデータ転送処理能力の
制限が少なく、画像データを効率よく迅速に転送するこ
とが可能である。

【０１０２】ロジック−メモリ混載チップの場合、広い
バス幅でロジック部とメモリ部とを接続することがで
き、データ転送の処理能力を向上させることができる。
ただし、ロジック−メモリ混載チップでは、メモリ部の
容量が汎用ＤＲＡＭに比べ少なく、その容量を上げよう
とするとチップサイズの増加を招き、コストアップにつ
ながってしまう。

【０１０３】そこで、図８に示した構成では、符号化処
理および動き探索処理に必要なメモリを、外部に接続す
る外部メモリと、ロジック−メモリ混載チップ上の内部
メモリとに分割して、必要に応じて外部メモリと内部メ
モリとを使い分ける。

【０１０４】すなわち、データ転送がボトルネックとな
る処理の場合は、高速データ転送が可能な内部メモリと
の間で画像データをやり取りし、高速データ転送が特に
必要ない処理の場合は外部メモリとの間で画像データを
やり取りするようにする。

【０１０５】このような構成でも、画質を維持しつつ、
かつメモリ容量の削減による低コスト化と、バストラフ
ィックの低減による低消費電力化を図ることが可能であ
る。

【０１０６】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【０１０７】

【発明の効果】請求項１〜９記載の画像データ符号化装
置では、画像データを外部メモリに格納する時に画像符
号化を，また外部メモリから読み出す時には画像復号化
を行い，データ量を削減することができる。外部メモリ
にアクセスする場合の画像符号化・後号化の圧縮率は本
来の画像符号化の圧縮率に比べて十分低い圧縮率である
ため、このアクセスのための符号化による画質劣化は本
来の画像符号化による画質劣化には影響しない。つま
り、画質劣化を抑制しつつ、外部メモリとのデータ転送
を削減できる。

【図面の簡単な説明】

【図１】本発明の実施の形態１の画像データ符号化シ
ステム１００の構成を示す概略ブロック図である。

【図２】図１における符号化／復号化器１０７のブロ
ック図である。

【図３】圧縮された画像データがビットストリームと
して、外部メモリ１１１の画像データ領域に格納された
状態を示す概念図である。

【図４】再構成画像のビットストリーム領域に格納さ
れたビットストリームの格納状態を表す概念図である。

【図５】図４において概念的に示した圧縮されたビッ
トストリームの格納状態を実際のメモリイメージとして
示す図である。

【図６】実施の形態２の画像データ符号化装置６０１
の構成を示す概略ブロック図である。

【図７】実施の形態２の画像データ符号化装置６０１
の構成を示す概略ブロック図である。

【図８】本発明の実施の形態５の画像データ符号化装
置５０１の構成を説明するための概略ブロック図であ
る。

【図９】従来の画像データ符号化システム６００の構
成を示す概略ブロック図である。

【図１０】画像データ符号化装置６０１の各フレーム
毎の符号化処理におけるデータ転送処理を示すフローチ
ャートである。

【図１１】外部メモリ６１４のメモリマッピング例を
示す概念図である。

【符号の説明】

１００画像データ符号化システム、１０１画像デー
タ符号化装置、１０２ＭＰＥＧ２符号化器、１０３ビ
デオ信号入出力部、１０４動き予測／動き補償部、１
０５ＤＣＴ／量子化部、１０６可変長符号化部、１
１０メモリインタフエース部、１０７，１０８，１０
９符号化／復号化器。

───────────────────────────────────────────────────── フロントページの続き (72)発明者花見充雄東京都千代田区丸の内二丁目２番３号三菱電機株式会社内 (72)発明者瀬川浩東京都千代田区丸の内二丁目２番３号三菱電機株式会社内Ｆターム(参考） 5C053 FA27 GB21 GB26 GB28 GB38 KA04 5C059 KK49 MA00 MA05 MA14 MA23 MC11 MC38 ME01 ME13 NN01 PP05 PP06 PP14 SS02 SS12 SS13 TA46 TB07 TC13 TC14 TC24 TC27 TC38 TD03 TD04 UA02 UA05 UA33 UA37 UA38 5J064 AA02 BA09 BA16 BB05 BB13 BC01 BC14 BC16

Claims

【特許請求の範囲】

【請求項１】外部メモリに接続可能であり、前記外部
メモリに対するデータの読出しおよび書込みの制御を行
なうメモリインターフェイスと、連続する複数枚の画像データが入力され、前記画像デー
タに動き探索処理を行なって予測画像を生成し、前記予
測画像を用いて前記画像データに対して圧縮符号化処理
を行なう画像データ符号化処理部と、前記画像データ符号化処理部と前記メモリインターフェ
ースとの間に設けられ、前記画像データ符号化処理部か
ら前記外部メモリへと出力されるデータに対して圧縮符
号化を行い、かつ、前記外部メモリから前記画像データ
符号化処理部へと出力されるデータに対しては、復号処
理を行う符号化復号化処理部とを備える、画像データ符
号化装置。
【請求項２】前記符号化復号化処理部は、処理対象となる画面内のデータのみ基づいて符号化を行
う符号化器と、符号化されたデータから、前記処理対象となる画面内の
データを復号する復号器とを含む、請求項１記載の画像
データ符号化装置。
【請求項３】前記画像データ符号化処理部は、前記画像データ符号化装置に入力されるビデオ信号を受
けて、前記メモリインタフェースを介して前記外部メモ
リに書き込むためのビデオ信号入出力部と、前記画像データに対する圧縮符号化処理において、前記
動き探索処理および動き補償処理を行うための動き予測
補償部と、前記動き予測補償部の出力に対して、離散コサイン変換
および量子化処理を行い、かつ、前記動き補償処理のた
めの再構成画像を生成するための変換処理部とを含み、前記符号化復号化処理部は、前記ビデオ信号入出力部と前記メモリインタフェースと
の間に設けられる第１の符号化復号化器と、前記動き予測補償部と前記メモリインタフェースとの間
に設けられる第２の符号化復号化器と、前記変換処理部と前記メモリインタフェースとの間に設
けられる第２の符号化復号化器とを含む、請求項１記載
の画像データ符号化装置。
【請求項４】前記画像データ符号化処理部は、前記画像データ符号化装置に入力されるビデオ信号を受
けて、前記メモリインタフェースを介して前記外部メモ
リに書き込むためのビデオ信号入出力部と、前記画像データに対する圧縮符号化処理において、前記
動き探索処理および動き補償処理を行うための動き予測
補償部と、前記動き予測補償部の出力に対して、離散コサイン変換
および量子化処理を行い、かつ、前記動き補償処理のた
めの再構成画像を生成するための変換処理部とを含み、前記符号化復号化処理部は、前記ビデオ信号入出力部と前記メモリインタフェースと
の間、前記動き予測補償部と前記メモリインタフェース
との間、および前記変換処理部と前記メモリインタフェ
ースとの間の少なくとも１つに設けられる、少なくとも
１つの符号化復号化器とを含む、請求項１記載の画像デ
ータ符号化装置。
【請求項５】前記符号化復号化処理部は、処理対象と
なる画像データのピクチャタイプに応じて、前記圧縮符
号化の圧縮率の大きさを可変とする手段を含む、請求項
１記載の画像データ符号化装置。
【請求項６】前記符号化復号化処理部は、前記画像デ
ータ符号化装置に入力されるビデオ信号の特性パラメー
タを抽出する前処理手段を含み、前記符号化復号化処理部は、処理対象となる画像データ
の前記特性パラメータに応じて、前記圧縮符号化の圧縮
率の大きさを可変とする手段を含む、請求項１記載の画
像データ符号化装置。
【請求項７】前記特性パラメータは、画像の平均，分
散，動きの有無およびシーンチェンジの有無のうちの少
なくとも１つの情報を含む、請求項６記載の画像データ
符号化装置。
【請求項８】内部メモリをさらに備え、前記メモリインタフェースは、前記内部メモリに接続さ
れ、前記内部メモリに対してデータの読書きの制御を行
ない、前記動き探索処理の参照画像に用いられる前記画像デー
タは、前記メモリインターフェイスを介して前記内部メ
モリに書込まれる、請求項１記載の画像データ符号化装
置。
【請求項９】前記符号化復号化処理部による前記圧縮
符号化の圧縮率は、前記画像データ符号化処理部による
前記圧縮符号化の圧縮率よりも小さい、請求項１〜８の
いずれか１項に記載の画像データ符号化装置。