JP2000295616A - 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 依存関係を利用して画像の符号化および復号
を行うとき、複数の演算ユニットを効率良く利用して画
像符号化／復号化することが出来ない。 【解決手段】 入力部１０１から入力された画像データ
は、複数の演算ユニットのうち演算処理を行っていない
演算ユニットで符号化が行われる。符号化が終了したと
き、処理終了情報を符号化制御部１０７に通知する。符
号化制御部１０７は演算ユニットから通知された処理終
了情報、および依存関係設定部１０８から通知される依
存関係に基づき、次に符号化する画像データの演算処理
を行っていない演算ユニットに供給する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像データを符
号化する技術、および符号化された動画像データを復号
する技術に関するものである。

【０００２】

【従来の技術】膨大な情報量を有するディジタル画像デ
ータの記録、伝送する場合には、通常情報量圧縮を行
い、データを符号化することが一般的である。画像デー
タの符号化フォーマットの一例として、ＭＰＥＧ（Movi
ng Picture Experts Group）という国際標準規格があ
る。ＭＰＥＧは、主としてビデオＣＤ用の画像データを
符号化する規格であるＭＰＥＧ−１と、通常のテレビ放
送を符号化する規格であるＭＰＥＧ−２がすでに実用化
されている。

【０００３】ＭＰＥＧは画像を符号化する際、全フレー
ムの画像データを直接符号化するだけではなく、すでに
符号化された近隣のフレームのデータを参照し、そのデ
ータとの差異のみを符号化することが特徴である。一般
的に、動画像は近隣のフレーム同士の相関が高いため、
近隣のフレームとの差異のみを符号化することで、符号
化後の情報量を大幅に減少させることができるからであ
る。

【０００４】ＭＰＥＧでは、ランダムアクセス性および
高い符号化効率を得るために、フレームをＩ（Intra）
フレーム、Ｐ（Predictive coded）フレーム、Ｂ（Bidi
rectionally predictive coded）フレームの３つのフレ
ームタイプに分類する。図２３はＩ、Ｐ、Ｂそれぞれの
フレームについて説明した図である。なお今後、フレー
ムタイプX、フレーム番号YのフレームをX-Yと記述す
る。

【０００５】Ｉフレームは、他のフレームのデータを参
照せずに符号化を行うフレームである。一方Ｐフレーム
は、過去のＩまたはＰフレームを参照して符号化が行わ
れる。図２３において、P-5というＰフレームは、３フ
レーム過去のＩフレームであるI-2を参照して符号化を
行う。

【０００６】またＢフレームは、過去および未来のＩま
たはＰフレームを参照して符号化が行われる。図２３に
おいて、B-3というＢフレームは、１フレーム過去のI-2
と２フレーム未来のP-5を参照して符号化を行う。ま
た、図２３においてB-0およびB-1は、未来のI-2のみを
参照して符号化されるものとする。

【０００７】符号化順序は、Ｂフレームを復号するとき
に、符号化に利用したＩもしくはＰフレームがすでに復
号されている必要があるため、実際のフレーム番号の順
序とは異なる。B-0、B-1はI-2を参照して符号化される
ので、I-2の符号化の後B-0、B-1が符号化される。同様
にB-3、B-4はI-2およびP-5を参照して符号化するので、
P-5の後に符号化される。

【０００８】図２４はＭＰＥＧ符号化器の構成の一例を
説明したブロック図である。図２４において、２４０１
は入力部、２４０２は品質制御部、２４０３は第１符号
化部、２４０４が第２符号化部、２４０５はデータ多重
部、２４０６は出力部、２４０７は局所復号部である。

【０００９】入力部２４０１から入力された画像データ
は、品質制御部２４０２に送出され、フレームタイプの
決定、および符号化後のレート、動き検索範囲など符号
化に必要なパラメータが設定される。また画像データは
第１符号化部２４０３に供給され、品質制御部２４０２
で設定されたパラメータに基づき動き推定、ＤＣＴ、量
子化が行われる。また第２符号化部２４０４で可変長符
号化が施され、データ多重部２４０５において、品質制
御部２４０２で設定されたパラメータ情報が符号化画像
に多重され、出力部２４０６より符号化画像データが出
力される。

【００１０】またＩ、Ｐフレームに関しては、第１符号
化部２４０３の出力が局所復号部２４０７で復号さる。
局所復号部２４０７の出力結果は、以後符号化される
Ｐ、またはＢフレームの参照用データとなる。このよう
に第１符号化（量子化）されたデータを復号した画像を
参照用画像とすることで、量子化による歪みが蓄積せ
ず、高品質な再生画像を得ることができる。

【００１１】図２５は、入力されるフレームの画像デー
タの一例を説明した図である。図２５のように水平720
画素、垂直480画素からなる輝度信号（以後Ｙ信号と呼
ぶ）と、水平360画素、垂直240画素からなる２種類の色
差信号（以後Ｃｒ信号、Ｃｂ信号と呼ぶ）から構成され
るとき、Ｙ、Ｃｒ、Ｃｂそれぞれについて水平８画素、
垂直８画素からなるＤＣＴブロックに分割される。ＤＣ
Ｔブロックは、ＤＣＴを行うときの基本単位となる。

【００１２】図２６はマクロブロックについて説明した
図である。マクロブロックは、フレーム内の同一領域に
対応するＹ信号のＤＣＴブロック４個と、Ｃｒ信号およ
びＣｂ信号のＤＣＴブロック各１個、計６個のＤＣＴブ
ロックから構成される。動き推定はマクロブロック単位
で行われる。

【００１３】図２７は動き推定について説明した図であ
る。符号化フレームにおいてマクロブロックＭの動き推
定を行うとする。また検索範囲を水平方向はＨ0〜Ｈ1、
垂直方向はＶ0〜Ｖ1とし、Ｈ0、Ｖ0はともに負、Ｈ1と
Ｖ1はともに正とする。このとき参照フレームの網掛け
部分の領域（Ｍの検索領域）内で、符号化フレームのマ
クロブロックＭとパターンマッチングを行ったとき、Ｍ
の検索領域内で最も誤差の少ない１マクロブロックサイ
ズの領域（網掛けの領域）を求めこれをマクロブロック
Ｍの参照データとする。網掛けの領域とマクロブロック
Ｍとの相対位置の差を動きベクトルといい、検索範囲と
ともに符号化される。

【００１４】図２８はスライスについて説明した図であ
る。スライスとは、マクロブロックを水平方向に連結し
た帯状の領域のことをいう。なお、１ラインは複数のス
ライスにまたがってもよい（一例として図２８のスライ
ス２とスライス３）。

【００１５】スライスを符号化するとき、スライスの先
頭にはスライスヘッダと呼ばれる識別子が付される。ス
ライスヘッダが存在することで、スライス内でエラーが
生じても、次のスライスからは正しく復号が可能とな
る。

【００１６】図２９は復号時の符号化順序および再生順
序について説明した図である。復号時には、符号化前の
フレーム順序を保つために、以下の順序で復号する。

【００１７】符号化順序が図２９（ａ）の通りとすると
き、B-1およびB-2はI-0を参照して符号化され、同様にB
-4およびB-5は、I-0およびP-3を参照して符号化されて
いる。

【００１８】再生順序は図２９（ｂ）のとおりとなる。
ＩおよびＰフレームは復号後、続くＰまたはＢフレーム
の参照のためバッファに保持される。ＩおよびＰフレー
ムは、次のＩまたはＰフレームがデコードされるときに
再生される。一方Ｂフレームは参照される事がないの
で、復号後直ちに再生される。

【００１９】図３０はＭＰＥＧ復号器の簡単な構成につ
いて説明したブロック図である。図３０において３００
１は入力部、３００２は復号部、３００３はバッファ、
３００４は出力部である。

【００２０】入力部３００１より入力された符号化画像
データは、復号部３００２で復号される。復号部３００
２での復号は、フレームタイプ、動き検索範囲、動きベ
クトルなどの符号化情報の復号も含まれ、これら符号化
情報に基づき符号化画像データの復号が行われる。

【００２１】バッファ３００３には、ＰもしくはＢフレ
ームの復号を行うために、Ｉ、Ｐピクチャの復号データ
が保持され、適切な再生順序で出力部３００４から出力
される。

【００２２】このほか動画像の符号化においては、フレ
ーム間の依存関係のほかに、１つのＤＣＴブロックのＤ
ＣＴ係数を、低域部と高域部とで別の符号化データと
し、低域部のみを復号すれば解像度の低い画像、低域部
および高域部を合わせて復号すれば解像度の高い画像が
得られる、階層符号化と呼ばれる技術もある。

【００２３】また昨今、計算機性能の向上により、パソ
コン等比較的安価な計算機上のソフトウェアを利用し
て、ＭＰＥＧ−２並みの高解像度の画像をリアルタイム
で再生を行うことが可能となってきている。

【００２４】

【発明が解決しようとする課題】しかしながら480P（垂
直ライン480本、プログレッシブ方式）等、圧縮レート
の高い符号化画像データの復号をパソコン上のソフトウ
ェアで実行する場合、リアルタイム再生を行うことが難
しい。この原因として、第１に圧縮レートが高いことに
より単位時間に可変長復号すべきデータ量が相対的に大
きくなること、第２にプログレッシブ方式の場合、１秒
間に60フレームの画像を再生する必要があるため、ソフ
トウェアによる復号処理全体を1/60秒以内に実行させな
ければならないことがあげられる。

【００２５】また昨今、パソコンの演算ユニットである
ＣＰＵを２台以上搭載できるパソコンも登場し、処理速
度の向上が期待された。しかしながら従来までの方法で
プログラミングした場合、結果的にある時間帯において
どれか１台のＣＰＵが選択的に稼動しているに過ぎず、
他のＣＰＵは処理を行わず遊休状態となっている。従っ
て２台以上のＣＰＵを並列に動作させるための明示的な
アルゴリズムが必要となる。

【００２６】またデジタルビデオ（ＤＶ）のように、符
号化がフレーム内で閉じていて、符号化順序と再生順序
が一致する場合は、処理が入力順に逐次復号すればよい
ので、ＣＰＵの稼働率を高くする制御は比較的容易であ
る。一方ＭＰＥＧのようにフレームが独立に符号化もし
くは復号化されない場合は、２台以上のＣＰＵの制御を
適切に行わないと、ＣＰＵが遊休状態に陥る可能性が高
く、結果としてリアルタイム再生を行うことができな
い。

【００２７】本発明は、圧縮レートの高い符号化画像デ
ータの復号をパソコンのソフトウェアで実行する場合、
リアルタイム再生を行うことが難しいという課題と、並
行処理が可能なコンピュータやネットワークで接続され
た分散処理が可能な複数台のコンピュータで並行処理し
て動画像データの符号化や復号化を行おうとしても、各
コンピュータや各ＣＰＵ、各タスク、各プロセスが遊休
状態になってしまうという課題と、フレーム単位で独立
に符号化もしくは復号化されていない場合に、並行処理
が可能なコンピュータやネットワークで接続された分散
処理が可能な複数台のコンピュータで並行処理して動画
像データの符号化や分散処理を行おうとしても、各コン
ピュータや各ＣＰＵ、各タスク、各プロセスが遊休状態
になってしまうという課題を考慮し、並行処理や分散処
理が可能なコンピュータの資源を有効に活用した高速な
画像符号化装置、画像復号装置、画像符号化方法、画像
復号方法及びプログラム記録媒体を提供することを目的
とするものである。

【００２８】

【課題を解決するための手段】上述した課題を解決する
ために、第１の本発明（請求項１に対応）は、画像デー
タの符号化を行う符号化手段と、前記符号化手段の処理
状況を検出する処理状況検出手段とを備え、前記画像デ
ータの依存関係及び前記処理状況に応じて、前記符号化
手段の動作を実行するための複数個の演算ユニットの、
並列処理の分担を決定して動作させることを特徴とする
画像符号化装置である。

【００２９】また、第２の本発明（請求項２に対応）
は、前記画像データの依存関係は、前記画像データのフ
レーム間の依存関係であることを特徴とする第１の発明
に記載の画像符号化装置である。

【００３０】また、第３の本発明（請求項３に対応）
は、画像データの符号化を行う符号化手段と、前記符号
化された画像データを復号する復号化手段と、前記符号
化手段の処理状況を検出する処理状況検出手段とを備
え、前記画像データのフレーム間の依存関係及び前記処
理状況に応じて、前記符号化手段の動作及び前記復号化
手段の動作を実行するための複数個の演算ユニットの、
並列処理の分担を決定して動作させることを特徴とする
画像符号化装置である。

【００３１】また、第４の本発明（請求項４に対応）
は、前記画像データの依存関係は、前記画像データの所
定の領域についてのフレーム間の依存関係であることを
特徴とする第１または２の発明に記載の画像符号化装置
である。

【００３２】また、第５の本発明（請求項５に対応）
は、前記画像データの依存関係は、前記画像データのフ
レーム間の依存関係であり、他のフレームに依存せずに
符号化するフレームと、過去のフレームに依存して符号
化するフレームと、過去および未来のフレームに依存し
て符号化するフレームとの３種類のフレームが存在する
ことを特徴とする第１〜４の発明のいずれかに記載の画
像符号化装置である。

【００３３】また、第６の本発明（請求項６に対応）
は、画像データのフレームより小さな符号化単位で符号
化を行う符号化手段と、前記符号化手段の処理状況を検
出する処理状況検出手段とを備え、前記処理状況に応じ
て前記符号化単位で、前記符号化手段の動作を実行する
ための複数個の演算ユニットの、並列処理の分担を決定
して動作させることを特徴とする画像符号化装置であ
る。

【００３４】また、第７の本発明（請求項７に対応）
は、前記符号化単位間には、依存関係がなく、互いに独
立に符号化できることを特徴とする第６の発明に記載の
画像符号化装置である。

【００３５】また、第８の本発明（請求項８に対応）
は、符号化画像データの復号を行う復号手段と、前記復
号手段の処理状況を検出する処理状況検出手段とを備
え、前記符号化画像データの依存関係及び前記処理状況
に応じて、前記復号手段の動作を実行するための複数個
の演算ユニットの、並列処理の分担を決定して動作させ
ることを特徴とする画像復号装置である。

【００３６】また、第９の本発明（請求項９に対応）
は、符号化画像データから符号化情報を抽出する符号化
情報抽出手段と、前記符号化画像データを前記符号化情
報に基づいて復号化する復号手段と、前記復号手段の処
理状況を検出する処理状況検出手段とを備え、前記符号
化情報及び前記符号化画像データのフレーム間の依存関
係及び前記処理状況に応じて、前記復号手段の動作を実
行するための複数個の演算ユニットの、並列処理の分担
を決定して動作させることを特徴とする画像復号装置で
ある。

【００３７】また、第１０の本発明（請求項１０に対
応）は、所定の領域についてのフレーム間の依存関係が
ある符号化画像データから符号化情報を抽出する符号化
情報抽出手段と、複数個の演算ユニットを有し、前記符
号化画像データに対して前記符号化情報に基づいて復号
を行う復号手段と、前記復号手段の処理状況を検出する
処理状況検出手段とを備え、前記符号化情報及び前記依
存関係及び前記処理状況に応じて、前記復号手段の動作
を実行するための複数個の演算ユニットの、並列処理の
分担を決定して動作させることを特徴とする画像復号装
置である。

【００３８】また、第１１の本発明（請求項１１に対
応）は、前記符号化画像データの依存関係は、前記画像
データのフレーム間の依存関係であり、他のフレームに
依存せずに復号するフレームと、過去のフレームに依存
して復号するフレームと、過去および未来のフレームに
依存して復号するフレームとの３種類のフレームが存在
することを特徴とする、第８〜１０の発明のいずれかに
記載の画像復号装置である。

【００３９】また、第１２の本発明（請求項１２に対
応）は、フレームより小さな復号単位がおのおの識別子
を有する符号化画像データから前記識別子を検出する識
別子検出手段と、前記識別子に対応する符号化情報を抽
出する符号化情報抽出手段と、前記符号化情報に基づき
前記復号単位で復号を行う復号手段と、前記復号手段の
処理状況を検出する処理状況検出手段とを備え、前記処
理状況に応じて前記符号化単位で、前記復号手段の動作
を実行するための複数個の演算ユニットの、並列処理の
分担を決定して動作させることを特徴とする画像復号装
置である。

【００４０】また、第１３の本発明（請求項１３に対
応）は、前記復号単位間には、依存関係がなく、互いに
独立に復号できることを特徴とする第１２の発明に記載
の画像復号装置である。

【００４１】また、第１４の本発明（請求項１４に対
応）は、複数個の演算ユニットを有し、フレームより小
さな復号単位で符号化が施された符号化画像データを対
象として、前記復号単位の開始点を特定する第１復号手
段と、前記復号単位に対応する符号化情報を抽出する符
号化情報抽出手段と、複数個の演算ユニットを有し、前
記符号化情報に基づき前記復号単位で復号を行う第２復
号手段と、前記第１復号手段および前記第２復号手段の
処理状況を検出する処理状況検出手段とを備え、前記処
理状況に応じて、前記第１復号手段の動作及び前記第２
復号手段の動作を実行するための複数個の演算ユニット
の、並列処理の分担を決定して動作させることを特徴と
する画像復号装置である。

【００４２】また、第１５の本発明（請求項１５に対
応）は、前記第２復号化手段は、互いに独立に実行でき
ることを特徴とする第１４の発明に記載の画像復号装置
である。

【００４３】

【発明の実施の形態】以下に、本発明の実施の形態につ
いて図面を参照して説明する。なお、以下の実施の形態
において、以前に説明した符号の説明は省略する。

【００４４】（第１の実施の形態）図１は本発明の第１
の実施の形態について説明したブロック図である。図１
において１０１は画像データが入力される入力部、１０
２は入力バッファ、１０３は演算ユニット選択部、１０
４は演算ユニットＡ、１０５は演算ユニットＢ、１０６
は出力バッファ、１０７は符号化制御部、１０８は依存
関係設定部、１０９は符号化画像データが出力される出
力部である。なお、本実施の形態において、画像データ
は、所定の符号化単位で入力され、符号化画像データは
前記符号化単位順に出力するものとする。また依存関係
も前記符号化単位で定まるものとする。依存関係の具体
例については後述する。

【００４５】なお、本実施の形態の符号化単位とは、例
えばフレーム、マクロブロック、ＤＣＴブロック、スラ
イスなどを表しているものとする。

【００４６】以下、第１の実施の形態の動作について説
明する。

【００４７】入力部１０１から入力された画像データ
は、所定の符号化単位で入力バッファ１０２に蓄積され
る。演算ユニット選択部１０３は、２つの演算ユニット
のうち少なくとも一方が演算処理を行っていないとき、
入力バッファ１０２から画像データを取得して演算処理
を行っていない演算ユニットに供給する。演算ユニット
Ａ１０４もしくは演算ユニットＢ１０５は入力された画
像データの符号化を行い、符号化画像データとして出力
バッファ１０６に供給する。また、符号化が終了したと
き、処理終了情報を符号化制御部１０７に通知する。

【００４８】依存関係設定部１０８は、各符号化単位の
依存関係を設定し、符号化制御部１０７に供給する。さ
らに前記依存関係を利用して正しく復号できるよう、入
力バッファ１０２に保持されている符号化単位の画像デ
ータに多重する。

【００４９】符号化制御部１０７は演算ユニットＡ１０
４および演算ユニットＢ１０５から通知された処理終了
情報、および依存関係設定部１０８から通知される依存
関係に基づき、次に符号化する符号化単位の画像データ
の演算処理を行っていない演算ユニットに供給する。

【００５０】出力バッファ１０６に保持された符号化画
像データは、所定の出力順に出力部１０９より出力され
る。

【００５１】図２は、符号化制御部１０７の符号化制御
方法について説明したフローチャートである。

【００５２】はじめに符号化単位番号Ｋを取得する（２
０１）。通常は、入力バッファ１０２に保持されている
符号化単位のうち、最も若い番号の符号化単位を取得す
る。

【００５３】続いて、各演算ユニットが遊休状態である
か否かを調べ、遊休状態でなければ、現在処理中の符号
化単位番号を取得する（２０２）。

【００５４】もし２０３の結果がＹｅｓ、すなわちすべ
ての演算ユニットが処理中であれば、処理が終了する演
算ユニットが現れるまで、２０２を繰り返す（２０
３）。

【００５５】２０３の結果がＮｏ、すなわち処理を行っ
ていない演算ユニットがあれば、Ｋが依存関係を満たす
かをチェックする（２０４）。

【００５６】２０４の結果がＮｏであれば、他の符号化
単位番号を取得して同様の処理を行う（２０１）。これ
を繰り返した結果該当する符号化単位が見つからないと
きは、いずれかの演算ユニットでの符号化単位の処理終
了を待つ。

【００５７】また２０４の結果がＹｅｓならば符号化単
位Ｋの符号化を、処理を行っていない演算ユニットで実
行する（２０５）。

【００５８】以上を全符号化単位の符号化が終了するま
で繰り返す。

【００５９】図３は本実施の形態における演算ユニット
Ａ、Ｂの演算処理状況について説明したタイムチャート
である。図３において括弧でくくられた数字は符号化単
位の処理順を表す番号である。

【００６０】本実施の形態における依存関係を以下の通
りとする。ただしｋは０以上の整数とする（図４参
照）。

【００６１】 符号化単位４ｋ： 他の符号化単位に依存しない。

【００６２】 符号化単位４ｋ＋１：符号化単位４ｋに依存する。

【００６３】符号化単位４ｋ＋２：同上。

【００６４】符号化単位４ｋ＋３：符号化単位４ｋおよ
び符号化単位４ｋ＋２に依存する。

【００６５】また符号化単位４ｋ＋４は、符号化単位４
ｋの符号化が終了するまで符号化を開始できないものと
する。

【００６６】なお、前述したように、本発明の依存関係
は符号化単位がフレーム、マクロブロック、ＤＣＴブロ
ック、スライスなどのいずれを表しているかによって符
号化単位の依存の仕方が変わる。すなわち、依存関係
は、図４に示した依存関係に限らず符号化単位が表す具
体的な処理単位に応じて図４の関係とは異なった関係に
なる場合もある。

【００６７】時刻t0で処理が開始されるとき、演算ユニ
ットＡ、Ｂ双方とも処理を行っていないので、演算ユニ
ット選択部１０３は符号化単位０の処理を任意の演算ユ
ニットに供給する。本実施の形態では、演算ユニットＡ
とした。

【００６８】符号化単位０が処理開始した後、演算ユニ
ットＢは遊休状態であるが、以後すべての符号化単位の
符号化は符号化単位０の符号化が終了するまで符号化を
開始することができないので、遊休状態が続く。

【００６９】続いて符号化単位１が入力バッファ１０２
から供給される。このとき、演算ユニットＡ１０４は、
符号化単位０の符号化処理中であるため、符号化単位１
は演算ユニットＢ１０５に供給される。

【００７０】時刻t1で符号化単位０の符号化処理が終了
したとき、符号化された符号化単位０は出力バッファ１
０６に供給され、同時に符号化制御部１０７に処理が終
了したことを通知する。

【００７１】上記通知を受け取った符号化制御部１０７
は、符号化単位０の符号化が終了したため、依存関係設
定部１０８により設定された上記依存関係より符号化単
位１および２の符号化が開始できることがわかる。

【００７２】よって入力バッファ１０２に次の符号化単
位である符号化単位１を出力するよう通知し、かつ演算
ユニット選択部１０３は符号化単位０を任意の演算ユニ
ットに供給する。本実施の形態では、演算ユニットＢと
した。

【００７３】続いて入力バッファ１０２に符号化単位２
を出力するよう通知し、演算ユニット選択部１０３は、
符号化単位２を演算ユニットＡ１０４に供給する。

【００７４】従って時刻t1より、演算ユニットＡで符号
化単位２の符号化が、演算ユニットＢで符号化単位１の
符号化が行われることになる。

【００７５】時刻t2で符号化単位１の符号化が終了し、
出力バッファ１０６に供給される。次に符号化されるの
は符号化単位３である。しかし符号化単位３は、前記依
存関係より符号化単位２に依存するため、符号化単位２
の符号化が終了するまで符号化を開始することができな
い。一方符号化単位４は、符号化単位０の符号化が終了
していれば符号化を開始することができるので、演算ユ
ニットＢ１０５では符号化単位４の符号化が開始され
る。

【００７６】時刻t3で符号化単位２の符号化が終了し、
出力バッファ１０６に供給されると、符号化単位３の符
号化を開始することができるので、演算ユニットＡ１０
４で符号化単位３の符号化を開始する。

【００７７】時刻t4で符号化単位４、時刻t5で符号化単
位３の符号化が終了する。このとき、出力バッファ１０
６には符号化単位４の方が符号化単位３よりも早く出力
されるが、出力バッファ１０６のサイズが十分であれ
ば、上記出力順序の逆転を出力バッファ１０６で吸収す
ることができ、出力部１０９へは符号化単位の番号の順
序どおりに出力することができる。

【００７８】以後、上記依存関係を保ちながら各符号化
単位を符号化する。

【００７９】以上説明したように、第１の実施の形態で
は、入力される符号化単位で、処理を行っていない演算
ユニットに順次割り当てていくことで、複数の演算ユニ
ットを効率良く使用することができ、符号化処理をより
高速に行うことができる。このとき、各符号化単位の符
号化終了時刻が符号化単位番号の順序どおりとならない
ことがあるが、適当な大きさの出力バッファ１０６に保
持することで、順序どおり出力できる。

【００８０】（第２の実施の形態）図５は第２の実施の
形態について説明したブロック図である。図５におい
て、５０１はフレームタイプ決定部、５０２は参照バッ
ファである。

【００８１】以下第２の実施の形態の動作について、第
１の実施の形態と異なる部分について説明する。

【００８２】フレームタイプ決定部５０１では、フレー
ム単位でフレームタイプを決定する。フレームタイプは
従来の技術のようにＩ、Ｐ、Ｂの３種類がある。フレー
ムタイプは入力バッファ１０２に供給され、各フレーム
に対応付けられる。演算ユニット選択部１０３で、演算
ユニットＡ１０４もしくは演算ユニットＢ１０５でフレ
ームタイプに応じた符号化が行われる。また、Ｉ、Ｐフ
レームについては、他のＰ、もしくはＢフレームの参照
を行うために符号化と同時に局所復号がなされ、復号結
果は参照バッファ５０２に蓄積される。

【００８３】Ｐ、Ｂフレームは入力バッファの入力値
と、参照バッファ５０２に蓄積されている参照用画像と
の差分値が符号化される。そのため、符号化制御部１０
７では、参照するＩまたはＰフレームの符号化が終了す
るまで、ＰまたはＢフレームの符号化を開始しないよう
制御する必要がある。

【００８４】図６は本実施の形態における演算ユニット
Ａ、Ｂの演算処理状況について説明したタイムチャート
である。なお、フレームタイプおよびフレーム番号の表
記法は図２３の通りとし、フレームタイプの割り当て方
も図２３に準じるものとする。

【００８５】時刻t0で符号化を開始するとき、まず入力
バッファ１０２からはIフレームであるI-2が符号化され
る。I-2を参照してＢフレームとして符号化されるB-0お
よびB-1はI-2の符号化が終了するまで符号化を開始しな
い。

【００８６】時刻t1でI-2の符号化が終了したとき、B-0
を入力バッファ１０２から取得して、処理の行われてい
ない任意の演算ユニットで符号化を行う。本実施の形態
ではB-0を演算ユニットＡ１０４で符号化するものとし
て説明する。続いてB-1を入力バッファ１０２から取得
して、処理の行われていない演算ユニットＢ１０５で符
号化を行う。

【００８７】時刻t2でB-1の符号化が終了したとき、次
に符号化を行うのはP-5であるが、P-5はI-2を参照して
符号化するので、時刻t2に演算ユニットＢ１０５で符号
化を開始することができる。

【００８８】時刻t3でB-0の符号化が終了し、演算ユニ
ットＡ１０４が遊休状態になるが、次に符号化すべきB-
3は、P-5の符号化が終了するまで開始できないので、演
算ユニットＡ１０４は遊休状態が続く。P-5の復号が終
了する時刻t4で、B-3およびB-4の符号化を開始すること
ができる。

【００８９】以上説明したように、第２の実施の形態に
よれば、ＩもしくはＰフレームの符号化を、Ｂフレーム
の符号化が終了したとき直ちに開始することができるの
で、ＣＰＵを効率良く利用し、全体の処理時間を短縮す
ることができる。またＩ、Ｐフレームの符号化開始時刻
を少しでも早めることで、Ｂフレームの符号化開始時刻
をも早めることができ、リアルタイム性を確保する場
合、大きな効果をもたらす。

【００９０】（第３の実施の形態）図７は第３の実施の
形態について説明したブロック図である。

【００９１】第３の実施の形態では、第２の実施の形態
と異なり、もし符号化が行われている演算ユニットを除
く他の演算ユニットのうち少なくとも１つが遊休状態な
らば、局所復号を遊休状態の演算ユニットに実行させる
ことが特徴である。

【００９２】図６は本実施の形態における演算ユニット
Ａ、Ｂの演算処理状況について説明したタイムチャート
である。なお、フレームタイプの割り当ては第２の実施
の形態と同一とする。

【００９３】時刻t0でI-2の符号化が演算ユニットＡ１
０４で開始されたとき、演算ユニットＢ１０５は遊休状
態であるので、演算ユニットＢ１０５では、I-2の局所
復号が符号化と並行して実施され、実行結果が参照バッ
ファ５０２に保持される。時刻t1でI-2の符号化が終了
し、B-0およびB-1の符号化が開始されるが、Ｂフレーム
は参照されないため局所復号は行われない。

【００９４】時刻t2でB-1の符号化が終了し、演算ユニ
ットＢ１０５でP-5の符号化が開始されるが、このとき
演算ユニットＡ１０４はB-0の符号化処理中であるの
で、P-5の局所復号は符号化と同じ演算ユニットで実行
される。時刻t3でB-0の符号化が終了し、演算ユニット
Ａ１０４で処理が行われなくなったとき、P-5の局所復
号を演算ユニットＡ１０４で行う。

【００９５】以上説明したように第３の実施の形態によ
れば、遊休状態の演算ユニットが存在するとき、局所復
号を符号化処理と異なる演算ユニットで、符号化と並行
して行うことで、ＩおよびＰフレームの符号化時間をさ
らに短縮することができる。第２の実施の形態で述べた
ように、Ｉ、Ｐフレームの処理時間の短縮により全体の
処理時間が短縮されるため、リアルタイム符号化の実現
に大きな効果がある。

【００９６】なお本実施の形態において、時刻t3におい
て演算ユニットＡでP-5の局所復号を、演算ユニットＢ
で符号化を行うように説明したが、使用する演算ユニッ
トは任意であるので、逆でもかまわない。

【００９７】（第４の実施の形態）図９は第４の実施の
形態について説明したブロック図である。図９において
９０１は検索範囲設定部である。

【００９８】以下第４の実施の形態の動作について、第
２の実施の形態と異なる部分について説明する。

【００９９】検索範囲設定部９０１では、参照フレーム
の検索範囲が設定され、符号化制御部１０７に供給され
る。

【０１００】ＩまたはＰフレームが符号化されつつ、局
所復号されて参照バッファ５０２に参照画像データが逐
次蓄積される。参照バッファ５０２からすでに参照画像
データが得られた局所復号済み領域が符号化制御部１０
７に通知される。

【０１０１】符号化制御部１０７は、次に符号化される
フレームはＢまたはＰフレームであり、かつ遊休状態の
演算ユニットが存在するとき、ＢまたはＰフレームのマ
クロブロックの検索範囲が参照バッファ５０２から通知
された局所復号済み領域に完全に含まれるとき、前記マ
クロブロックの符号化を遊休状態の演算ユニットで行
う。

【０１０２】図１０は本実施の形態における演算ユニッ
トＡ、Ｂの演算処理状況について説明したタイムチャー
トである。なお、フレームタイプの割り当ては第２の実
施の形態と同一とする。

【０１０３】時刻t0でI-2の符号化が演算ユニットＡ１
０４で開始されたとき、演算ユニットＢ１０５は遊休状
態である。第２の実施の形態と同様、符号化と局所復号
は同じ演算ユニットで実施される。

【０１０４】次に符号化されるのは、I-2を参照フレー
ムとするB-0である。時刻t1で、I-2の局所復号済み領域
が、B-0の少なくとも１つのマクロブロックの検索範囲
を含むようになったとき、遊休状態の演算ユニットＢ１
０５でB-0の符号化が開始される。その後、I-2の局所復
号済み領域が広くなるに従い符号化可能となるB-0のマ
クロブロックは多くなる。時刻t2でI-2の符号化が終了
したとき、第２の実施の形態と同様にB-1の符号化が演
算ユニットＡ１０４で行われる。また時刻t3でB-0の符
号化が終了したとき、第２の実施の形態と同様にP-5の
符号化を演算ユニットＢ１０５で実行する。

【０１０５】時刻t4でB-1の符号化が終了したとき、次
に符号化を開始するフレームは、I-2およびP-5を参照フ
レームとするB-3である。I-2はすでに符号化が終了して
いるため、P-5の局所復号済み領域がB-3の検索範囲を含
むとき、B-3のマクロブロックの符号化を行う。

【０１０６】以上説明したように、第４の実施の形態に
よれば、符号化を行うマクロブロックの検索範囲が、参
照フレームの局所復号済み領域に含まれる場合に、参照
フレームの符号化が完全に終了する前に符号化を開始す
ることができる。このことにより符号化処理時間全体を
短縮することができる。

【０１０７】なお演算ユニットが３個以上あるとき、
Ｉ、Ｐフレームの符号化および局所復号を異なる演算ユ
ニットで行うような構成にすることも可能である。

【０１０８】（第５の実施の形態）図１１は第５の実施
の形態について説明したブロック図である。図１１にお
いて、１１０１はスライス符号化制御部である。

【０１０９】以下第５の実施の形態の動作について説明
する。なお本実施の形態において、フレームより小さな
処理単位としてスライスを用いる。

【０１１０】入力部１０１から入力された画像データ
は、スライス単位で入力バッファ１０２に蓄積される。
演算ユニット選択部１０３は、２つの演算ユニットのう
ち少なくとも一方が演算処理を行っていないとき、入力
バッファ１０２からスライス単位の画像データを取得し
て演算処理を行っていない演算ユニットに供給する。演
算ユニットＡ１０４もしくは演算ユニットＢ１０５は入
力されたスライス単位の画像データの符号化を行い、符
号化画像データとして出力バッファ１０６に供給する。

【０１１１】スライス単位での符号化が終了したとき、
スライス処理終了情報をスライス符号化制御部１１０１
に通知する。

【０１１２】スライス符号化制御部１１０１は演算ユニ
ットＡ１０４および演算ユニットＢ１０５から通知され
たスライス処理終了情報に基づき、次に符号化するスラ
イスの画像データの演算処理を行っていない演算ユニッ
トに供給する。またスライス符号化制御部１１０１は、
１フレーム内の最後のスライスが符号化を開始した後
は、現フレームの符号化がすべて終了するまで（次のフ
レームの）新たなスライスの符号化が開始されないよう
制御する。

【０１１３】図１２は本実施の形態における演算ユニッ
トＡ、Ｂの演算処理状況について説明したタイムチャー
トである。図１４において括弧でくくられた数字はスラ
イスの処理順を表す番号（以後スライス番号と呼ぶ）で
ある。また本実施の形態においては、フレームは、スラ
イス０からスライス２９までの３０個のスライスに分割
されるものとする。

【０１１４】時刻t0でフレームＮの処理が開始されると
き、演算ユニットＡ、Ｂ双方とも処理を行っていないの
で、演算ユニット選択部１０３はスライス０の処理を任
意の演算ユニットに供給する。本実施の形態では、演算
ユニットＡ１０４とした。

【０１１５】続いてスライス１が入力バッファ１０２か
ら供給される。このとき、演算ユニットＡ１０４は、ス
ライス０の符号化処理中であるため、スライス１は演算
ユニットＢ１０５に供給される。

【０１１６】時刻t1でスライス０の符号化が終了したと
き、符号化されたスライス０は出力バッファに供給さ
れ、同時にスライス符号化制御部１１０１に処理が終了
したことを通知する。

【０１１７】上記通知を受け取ったスライス符号化制御
部１１０１は、入力バッファ１０２に次の処理スライス
であるスライス２を出力するよう通知し、かつ演算ユニ
ット選択部１０３は、処理が終了し遊休状態である演算
ユニットＡ１０４にスライス２の画像データを供給し、
スライス２の符号化が開始される。

【０１１８】時刻t2においても同様の処理が行われる。
また、時刻t3においてスライス４の符号化が開始され、
上記符号化が終了する時刻t4においても演算ユニットＢ
１０５がスライス３の符号化処理中であっても、符号化
されたスライス４を出力バッファ１０６に供給し、直ち
にスライス５の符号化を開始する。このとき、出力バッ
ファ１０６にはスライス４の方がスライス３よりも速く
出力されるが、出力バッファ１０６のサイズが十分であ
れば、上記出力順序の逆転を出力バッファ１０６で吸収
することができ、出力部１０９へはスライス番号の順序
どおりに出力することができる。

【０１１９】時刻t5においてスライス２８の符号化が終
了するが、このとき演算ユニットＡでスライス２９の符
号化が行われている。すなわちフレームＮには符号化を
開始していないスライスはないので、演算ユニットＢは
遊休状態となる。

【０１２０】時刻t6でスライス２９の符号化が終了し、
フレームＮのすべてのスライスが終了する。そのとき、
次のフレームであるフレームＮ＋１について、同様の処
理を行う。

【０１２１】以上説明したように、第５の実施の形態で
は、スライス単位の符号化処理を複数の演算ユニットに
順次割り当てていくことで、複数の演算ユニットを効率
良く使用することができる。ＭＰＥＧでは、フレーム間
の依存関係を利用して符号化を行うが、符号化にあたっ
て同一フレーム内のスライス間に依存関係はない。従っ
て各スライスの符号化を独立に行うことができ、スライ
ス選択の制御が簡単になる。さらに、演算ユニットが遊
休状態となる時間は、フレーム単位での処理と比較して
短くなり、符号化全体の処理時間の短縮に大きな効果を
もたらす。

【０１２２】なお本実施の形態では、フレームよりも小
さな処理単位をスライスとしたが、これをマクロブロッ
ク、またはＤＣＴブロックなどとすることも可能であ
る。この場合、演算ユニットが遊休状態となる時間をさ
らに短縮することができる。また、フレーム内の符号化
の進捗状況に応じて、前記処理単位を適宜変更する構成
も可能である。

【０１２３】（第６の実施の形態）図１３は本発明の第
６の実施の形態について説明したブロック図である。図
１３において１３０１は符号化画像データが入力される
入力部、１３０２は入力バッファ、１３０３は演算ユニ
ット選択部、１３０４は演算ユニットＡ、１３０５は演
算ユニットＢ、１３０６は出力バッファ、１３０７は復
号制御部、１３０８は依存関係検出部、１３０９は画像
データが出力される出力部である。なお、本実施の形態
において、符号化画像データは、所定の符号化単位で符
号化されたものとし、復号済みの画像データは前記符号
化単位順に出力するものとする。また依存関係も前記符
号化単位で定まるものとする。

【０１２４】なお、本実施の形態の符号化単位とは、例
えばフレーム、マクロブロック、ＤＣＴブロック、スラ
イスなどを表しているものとする。

【０１２５】以下、第６の実施の形態の動作について説
明する。

【０１２６】入力部１３０１から入力された符号化画像
データは、符号化単位で入力バッファ１３０２に蓄積さ
れる。演算ユニット選択部１３０３は、２つの演算ユニ
ットのうち少なくとも一方が演算処理を行っていないと
き、入力バッファ１３０２から符号化画像データを取得
して演算処理を行っていない演算ユニットに供給する。
演算ユニットＡ１３０４もしくは演算ユニットＢ１３０
５は入力された符号化画像データの復号を行い、符号化
画像データとして出力バッファ１３０６に供給する。ま
た復号が終了したとき、処理終了情報を復号制御部１３
０７に通知する。

【０１２７】依存関係検出部１３０８は、符号化画像デ
ータに多重された各符号化単位の依存関係を検出し、復
号制御部１３０７に供給する。

【０１２８】復号制御部１３０７は演算ユニットＡ１３
０４および演算ユニットＢ１３０５から通知された処理
終了情報、および依存関係検出部１３０８から通知され
る依存関係に基づき、次に復号する符号化単位の画像デ
ータの演算処理を行っていない演算ユニットに供給す
る。

【０１２９】出力バッファ１３０６に保持された復号済
み画像データは、所定の出力順に出力部１３０９より出
力される。

【０１３０】図１４は本実施の形態における演算ユニッ
トＡ、Ｂの演算処理状況について説明したタイムチャー
トである。図１６において括弧でくくられた数字は符号
化単位の処理順を表す番号である。

【０１３１】本実施の形態における依存関係は第１の実
施の形態で説明したものと同じとする（図４参照）。

【０１３２】時刻t0で処理が開始されるとき、演算ユニ
ットＡ、Ｂ双方とも処理を行っていないので、演算ユニ
ット選択部１３０３は符号化単位０の処理を任意の演算
ユニットに供給する。本実施の形態では、演算ユニット
Ａとした。

【０１３３】符号化単位０が処理開始した後、演算ユニ
ットＢは遊休状態であるが、以後すべての符号化単位の
復号は符号化単位０の復号が終了するまで復号を開始す
ることができないので、遊休状態が続く。

【０１３４】続いて符号化単位１が入力バッファ１３０
２から供給される。このとき、演算ユニットＡ１３０４
は、符号化単位０の復号処理中であるため、符号化単位
１は演算ユニットＢ１３０５に供給される。

【０１３５】時刻t1で符号化単位０の復号処理が終了し
たとき、復号された符号化単位０は出力バッファ１３０
６に供給され、同時に復号制御部１３０７に処理が終了
したことを通知する。

【０１３６】上記通知を受け取った復号制御部１３０７
は、符号化単位０の復号が終了したため、依存関係検出
部１３０８により検出された上記依存関係より符号化単
位１および２の復号が開始できることがわかる。

【０１３７】よって入力バッファ１３０２に次の符号化
単位である符号化単位１を出力するよう通知し、かつ演
算ユニット選択部１３０３は符号化単位０を任意の演算
ユニットに供給する。本実施の形態では、演算ユニット
Ｂとした。

【０１３８】続いて入力バッファ１３０２に符号化単位
２を出力するよう通知し、演算ユニット選択部１３０３
は、符号化単位２を演算ユニットＡ１３０４に供給す
る。

【０１３９】従って時刻t1より、演算ユニットＡ１３０
４で符号化単位２の復号が、演算ユニットＢ１３０５で
符号化単位１の復号が行われることになる。

【０１４０】時刻t2で符号化単位１の復号が終了し、出
力バッファ１３０６に供給される。次に復号されるのは
符号化単位３である。しかし符号化単位３は、前記依存
関係より符号化単位２に依存するため、符号化単位２の
復号が終了するまで復号を開始することができない。一
方符号化単位４は、符号化単位０の復号が終了していれ
ば復号を開始することができるので、演算ユニットＢ１
３０５では符号化単位４の復号が開始される。

【０１４１】時刻t3で符号化単位２の復号が終了し、出
力バッファ１３０６に供給されると、符号化単位３の復
号を開始することができるので、演算ユニットＡ１３０
４で符号化単位３の復号を開始する。

【０１４２】時刻t4で符号化単位４、時刻t5で符号化単
位３の復号が終了する。このとき、出力バッファ１３０
６には符号化単位４の方が符号化単位３よりも早く出力
されるが、出力バッファ１３０６のサイズが十分であれ
ば、上記出力順序の逆転を出力バッファ１３０６で吸収
することができ、出力部１３０９へは符号化単位の番号
の順序どおりに復号済み画像データを出力することがで
きる。

【０１４３】以後、上記依存関係を保ちながら各符号化
単位を復号する。

【０１４４】以上説明したように、第６の実施の形態で
は、入力される符号化単位で、処理を行っていない演算
ユニットに順次割り当てていくことで、複数の演算ユニ
ットを効率良く使用することができ、復号処理をより高
速に行うことができる。このとき、各符号化単位の復号
終了時刻が符号化単位番号の順序どおりとならないこと
があるが、適当な大きさの出力バッファ１３０６に保持
することで、順序どおり出力できる。

【０１４５】（第７の実施の形態）図１５は第７の実施
の形態について説明したブロック図である。図１５にお
いて、１５０１はフレームタイプ検出部である。

【０１４６】以下第７の実施の形態の動作について、第
６の実施の形態と異なる部分について説明する。

【０１４７】フレームタイプ検出部１５０１は、入力バ
ッファ１３０２に格納されたフレーム単位の符号化画像
データに多重されたフレームタイプを検出する。フレー
ムタイプは従来の技術で説明したようにＩ、Ｐ、Ｂの３
種類がある。

【０１４８】演算ユニット選択部１３０３で、演算ユニ
ットＡ１３０４もしくは演算ユニットＢ１３０５でフレ
ームタイプに応じた復号が行われる。ところで、Ｐ、Ｂ
フレームは、参照したＩ、Ｐフレームの復号終了後でな
いと、復号を開始することができない。そのため、復号
制御部１３０７では、参照するＩまたはＰフレームの復
号が終了するまで、ＰまたはＢフレームの復号を開始し
ないよう制御する必要がある。

【０１４９】図１６は本実施の形態における演算ユニッ
トＡ、Ｂの演算処理状況について説明したタイムチャー
トである。なお、符号化順序および再生順序は図２９の
通りとする。

【０１５０】時刻t0で復号を開始するとき、まず入力バ
ッファからI-0が取得され、フレームタイプ検出部１５
０１により、Ｉフレームと検出される。Ｉフレームは、
他のフレームの画素値を参照しないので、他のフレーム
の処理状況と関係なく復号することができる。いま演算
ユニットＡ、Ｂ双方とも遊休状態であるため、I-0の復
号は任意の演算ユニットで実施することができる。本実
施の形態では、演算ユニットＡ１３０４で実施されるも
のとした。

【０１５１】しかし、I-0に続くB-1、およびB-2は、I-0
を参照して符号化されたフレームであるため、I-0の復
号が終了するまで復号を開始することができない。従っ
て演算ユニットＢ１３０５は遊休状態が続く。

【０１５２】時刻t1でI-0の符号化が終了したとき、B-1
を入力バッファ１３０２から取得して、処理の行われて
いない任意の演算ユニットで符号化を行う。本実施の形
態ではB-1を演算ユニットＡ１３０４で復号が実施され
るものとして説明する。続いてB-2を入力バッファ１０
２から取得して、処理の行われていない演算ユニットＢ
１３０５で復号を行う。

【０１５３】時刻t2でB-2の復号が終了したとき、次に
復号を行うのはP-3であるが、P-3はI-0を参照して復号
し、I-0の復号はすでに終了しているので、時刻t2に演
算ユニットＢ１３０５でP-3の復号を開始することがで
きる。

【０１５４】時刻t3でB-1の復号が終了するが、次に復
号すべきB-4は、P-3の復号が終了するまで開始できない
ので、演算ユニットＡ１３０４は遊休状態となる。P-3
の復号が終了する時刻t4で、B-4およびB-5の復号を開始
することができる。

【０１５５】以上説明したように、第７の実施の形態に
よれば、ＩもしくはＰフレームの復号を、Ｂフレームの
復号が終了したとき直ちに開始することができるので、
ＣＰＵを効率良く利用し、全体の処理時間を短縮するこ
とができる。またＩ、Ｐフレームの復号開始時刻を少し
でも早めることで、Ｂフレームの復号開始時刻をも早め
ることができ、リアルタイム性を確保する場合に大きな
効果をもたらす。

【０１５６】（第８の実施の形態）図１７は第８の実施
の形態について説明したブロック図である。図１７にお
いて１７０１は参照範囲検出部である。

【０１５７】以下第８の実施の形態の動作について、第
７の実施の形態と異なる部分について説明する。

【０１５８】参照範囲検出部１７０１では、符号化画像
データに多重されている参照に利用したフレームの範囲
を検出し、復号制御部１３０７に供給する。

【０１５９】ＩまたはＰフレームが演算ユニットＡ１３
０４もしくは演算ユニットＢ１３０５で復号され、復号
済み画像データが出力バッファ１３０６に蓄積され、フ
レーム内の復号済み領域が復号制御部１３０７に通知さ
れる。

【０１６０】復号制御部１３０７は、次に復号されるフ
レームはＢまたはＰフレームであり、かつ遊休状態の演
算ユニットが存在するとき、ＢまたはＰフレームのマク
ロブロックの参照範囲が出力バッファ１３０６から通知
された参照フレームの復号済み領域に完全に含まれると
き、前記マクロブロックの復号を遊休状態の演算ユニッ
トで行うことができる。

【０１６１】図１８は本実施の形態における演算ユニッ
トＡ、Ｂの演算処理状況について説明したタイムチャー
トである。なお、復号するフレームのフレームタイプの
並びは第７の実施の形態と同一とする。

【０１６２】時刻t0でI-0の復号が演算ユニットＡ１３
０４で開始されたとき、演算ユニットＢ１３０５は遊休
状態である。

【０１６３】次に符号化されるのは、I-0を参照フレー
ムとするB-1である。時刻t1で、I-0の復号済み領域が、
B-1の少なくとも１つのマクロブロックの参照範囲を完
全に含むようになったとき、遊休状態の演算ユニットＢ
１３０５でB-1の復号が開始される。その後、I-0の復号
済み領域が広くなるに従い復号可能となるB-1のマクロ
ブロックは多くなる。時刻t2でI-0の復号が終了したと
き、第７の実施の形態と同様にB-2の復号化が演算ユニ
ットＡ１３０４で行われる。また時刻t3でB-1の復号が
終了したとき、第７の実施の形態と同様にP-3の符号化
を演算ユニットＢ１３０５で実行する。

【０１６４】時刻t4でB-2の復号が終了したとき、次に
復号を開始するフレームは、I-0およびP-3を参照フレー
ムとするB-4である。I-0はすでに復号が終了しているた
め、P-3の復号済み領域がB-4の参照範囲を含むとき、B-
4のマクロブロックの復号を行う。

【０１６５】以上説明したように、第８の実施の形態に
よれば、復号を行うマクロブロックの参照範囲が、参照
フレームの復号済み領域に含まれる場合に、参照フレー
ムの復号が完全に終了する前に当該フレームの復号を開
始することができる。このことにより復号処理時間全体
を短縮することができる。

【０１６６】なお本実施の形態では、参照範囲を固定し
て、フレーム内のマクロブロックすべての動き補償にお
いて参照範囲を固定させる方法を説明した。これに対し
て、動き補償を行うマクロブロックの動きベクトルまで
求め、参照フレーム上で実際にマクロブロックサイズの
領域が復号済み領域に含まれているとき復号を行う、と
いうアルゴリズムを構成することも可能である。

【０１６７】（第９の実施の形態）図１９は第９の実施
の形態について説明したブロック図である。図１９にお
いて、１９０１はスライス復号制御部である。

【０１６８】以下第９の実施の形態の動作について説明
する。

【０１６９】スライスの先頭を示すスライスヘッダが含
まれた符号化画像データが、逐次入力部１３０１を介し
て入力され、入力バッファ１３０２に保持される。本実
施の形態では、演算ユニットにおいて、符号化画像デー
タからの各スライスヘッダの検索、およびスライスヘッ
ダが検索済みのスライスに対しての復号が行われる。演
算ユニット選択部１３０３は、２つの演算ユニットのう
ち少なくとも一方が演算処理を行っていないとき、処理
を行っていない演算ユニットに入力バッファ１３０２か
ら符号化画像データを供給する。演算ユニットＡ１３０
４もしくは演算ユニットＢ１３０５は入力された符号化
画像データからスライスヘッダの検索もしくはスライス
単位の復号を行い、前記スライスヘッダの検索もしくは
スライス単位の復号が終了したとき、スライス復号制御
部１９０１にその旨通知する。スライス復号制御部１９
０１は、スライスヘッダは検索済みで処理を開始してい
ないスライスが存在したとき、演算ユニット選択部１３
０３に通知し、各演算ユニットの処理が終了次第、次の
スライスの処理を開始する。またスライス復号制御部１
９０１は、１フレーム内の最後のスライスが復号を開始
した後は、現フレームの復号がすべて終了するまで（次
のフレームの）新たな復号が開始されないよう制御す
る。

【０１７０】復号されたスライス単位の画像データは出
力バッファ１３０６に一時保持され、適切なタイミング
で出力部１３０９より出力される。

【０１７１】図２０は本実施の形態における演算ユニッ
トＡ、Ｂの演算処理状況について説明したタイムチャー
トである。図２０において括弧でくくられた数字はスラ
イス番号である。また網を施した部分はスライスヘッダ
の検索処理を表すものとする。

【０１７２】なお本実施の形態では、スライスヘッダの
検索をフレーム単位で中断することなく行うものとす
る。また本実施の形態においては、符号化されたフレー
ムの画像データは、スライス０からスライス２９までの
３０個のスライスに分割されているものとする。

【０１７３】時刻t0でフレームＮの復号が開始されると
き、演算ユニットＡ、Ｂ双方とも処理を行っていないの
で、演算ユニット選択部１３０３はスライスヘッダの検
索を任意の演算ユニットに実行させる。本実施の形態で
は、演算ユニットＡ１３０４とした。

【０１７４】時刻t1でスライス０のスライスヘッダが検
索されたとき、演算ユニットＡ１３０４は引き続きスラ
イス１のスライスヘッダの検索を行う。また時刻t1にお
いて、演算ユニットＢ１３０５は遊休状態であるため、
演算ユニット選択部１３０３は、スライス０のスライス
ヘッダのアドレスに基づいてスライス０の符号化画像デ
ータを演算ユニットＢ１３０５に供給する。演算ユニッ
トＢ１３０５はスライス０の復号を開始する。

【０１７５】時刻t2でスライス１のスライスヘッダが検
索されたとき、両演算ユニットとも処理中であるため、
新たにスライスの復号は行わない。

【０１７６】時刻t3でスライス０の復号が終了したと
き、演算ユニットＡ１３０４ではスライスヘッダの検索
が行われているため、演算ユニットＢ１３０５では続い
てスライス１の復号が開始される（すでにt1でスライス
１のスライスヘッダは検索されている）。

【０１７７】時刻t4でスライスヘッダの検索が終了した
とき、演算ユニットＡ１３０４でスライスの復号処理を
実行することができるので、スライス２の復号が開始さ
れる（この時点でフレームＮのスライスヘッダはすべて
検索済みである）。

【０１７８】以後、スライスの復号を演算ユニットＡお
よびＢで逐次行う。

【０１７９】時刻t5においてスライス２８の復号が終了
するが、このとき演算ユニットＡでスライス２９の復号
が行われている。すなわちフレームＮには復号を開始し
ていないスライスはないので、演算ユニットＢは遊休状
態となる。

【０１８０】時刻t6でスライス２９の復号が終了し、フ
レームＮのすべてのスライスの復号が終了する。そのと
き、次のフレームであるフレームＮ＋１について、同様
の処理を行う。

【０１８１】以上説明したように、第９の実施の形態で
は、スライス単位の復号処理を複数の演算ユニットに順
次割り当てていくことで、複数の演算ユニットを効率良
く使用することができる。ＭＰＥＧでは、フレーム間の
依存関係はあっても同一フレーム内のスライス間に依存
関係はない。従って各スライスの復号を独立に行うこと
ができ、スライス復号選択部の制御を簡単にすることが
できる。さらに、演算ユニットが遊休状態となる時間
は、フレーム単位での処理と比較して短くなり、復号全
体の処理時間の短縮に大きな効果をもたらす。

【０１８２】なお本実施の形態では、スライスヘッダの
検索をフレームの復号開始時に中断させることなく行っ
たが、各スライスの復号開始前に当該スライスヘッダの
検索が終了していれば、スライスヘッダの検索を断続的
に行う構成も可能である。

【０１８３】（第１０の実施の形態）図２１は第１０の
実施の形態について説明したブロック図である。図２１
において、２１０１はマクロブロック復号制御部、２１
０２はバッファである。

【０１８４】以下第１０の実施の形態の動作について説
明する。

【０１８５】スライスヘッダが検索された後、スライス
の符号化画像データが、逐次入力部１３０１を介して入
力され、入力バッファ１３０２に保持される。演算ユニ
ット選択部１３０３は、２つの演算ユニットのうち少な
くとも一方が演算処理を行っていないとき、処理を行っ
ていない演算ユニットに入力バッファ１３０２から符号
化画像データを供給する。演算ユニットＡ１３０４もし
くは演算ユニットＢ１３０５は、入力された符号化画像
データを逐次可変長復号、逆量子化して、ＤＣＴ係数が
あればバッファ２１０２に書きこむ操作（以後第１復号
と呼ぶ）、および前記ＤＣＴ係数があればＤＣＴ係数を
読み込んで逆ＤＣＴを行い、ＤＣＴブロック単位で動き
補償を行う操作（以後第２復号と呼ぶ）を行う。ただ
し、符号化画像データのフォーマット上、マクロブロッ
クMの第１復号は、マクロブロックM-1の第1復号終了ま
で開始することはできず、またマクロブロックMの第２
復号は同一マクロブロックの第１復号が終了するまで開
始することができない。

【０１８６】マクロブロック単位での第１復号および第
２復号が終了したとき、演算ユニットＡ、Ｂよりマクロ
ブロック復号制御部２１０１におのおのの終了情報が通
知される。マクロブロック復号制御部２１０１は、第１
復号および第２復号の終了情報に基づき、次に行う処理
をどちらの演算ユニットに実行させるかを判断し、入力
バッファ１３０２、演算ユニット選択部１３０３、バッ
ファ２１０２を制御する。

【０１８７】復号された画像データは出力バッファ１３
０６に一時保持され、適切なタイミングで出力部１３０
９より出力される。

【０１８８】図２２は本実施の形態における演算ユニッ
トＡ、Ｂの演算処理状況について説明したタイムチャー
トである。図２２において括弧でくくられた数字はマク
ロブロック番号である。また網を施したブロックは各マ
クロブロックの第１復号処理期間を、網を施していない
ブロックは各マクロブロックの第２復号処理期間を表す
ものとする。

【０１８９】なお本実施の形態では、第１復号をスライ
ス単位で中断することなく行うものとする。また本実施
の形態においては、符号化されたスライスの画像データ
は、マクロブロック０からマクロブロック４４までの４
５個のマクロブロックに分割されているのとする。

【０１９０】時刻t0でスライスの復号が開始されると
き、演算ユニットＡ、Ｂ双方とも処理を行っていないの
で、演算ユニット選択部１３０３は入力バッファ１３０
２の符号化画像データを任意の演算ユニットに供給し、
マクロブロック０の第１復号を行う。本実施の形態で
は、演算ユニットＡ１３０４が行うものとした。

【０１９１】時刻t1でマクロブロック０の第１復号が終
了したとき、マクロブロック１の開始位置が特定できる
ので、演算ユニットＡ１３０４は引き続きマクロブロッ
ク１の第１復号を行うことができる。また同時にマクロ
ブロック０の第２復号を開始することができる。

【０１９２】時刻t2では、マクロブロック１の第１復号
が終了し、引き続きマクロブロック２の第１復号が開始
する。

【０１９３】時刻t3では、マクロブロック０の第２復号
が終了し、引き続きマクロブロック１の第２復号が開始
する。

【０１９４】時刻t4では、マクロブロック３の第２復号
が終了するが、第１復号が終了し、かつ第２復号を開始
していないマクロブロックが存在しないので、演算ユニ
ットＢ１３０５は遊休状態となる。

【０１９５】時刻t5でマクロブロック４の第１復号が終
了すると、演算ユニットＢ１３０５でマクロブロック４
の第２復号が開始され、同時に演算ユニットＡ１３０４
ではマクロブロック５の第１復号が開始される。

【０１９６】時刻t6では、現在復号中のスライスの最後
のマクロブロックであるマクロブロック４４の第１復号
が終了する。時刻t6でマクロブロック４３は第１復号は
終了しているが、第２復号は未着手であるので、時刻t6
で、演算ユニットＡ１３０４においてマクロブロック４
３に第２復号を開始する。

【０１９７】時刻t7で、マクロブロック４３の復号が終
了したとき、現在復号中のマクロブロックの中に第２復
号が未着手であるマクロブロックは存在しないので、演
算ユニットＡでは、次のスライスのスライスヘッダの検
索が開始される。

【０１９８】以上説明したように、第１０の実施の形態
では、マクロブロック単位の復号処理を複数の演算ユニ
ットに順次割り当てていくことで、複数の演算ユニット
を効率良く使用することができる。ＭＰＥＧでは、フレ
ーム間の依存関係はあっても同一フレーム内のスライス
およびマクロブロック間に依存関係はない。従って各ス
ライスの復号を独立に行うことができ、スライス復号選
択部２１０１の制御を簡単にすることができる。さら
に、演算ユニットが遊休状態となる時間は、フレーム単
位での処理と比較して短くなり、復号全体の処理時間の
短縮に大きな効果をもたらす。

【０１９９】なお本実施の形態では、第１復号をスライ
ス単位で中断させることなく行ったが、第２復号開始前
に当該マクロブロックの第１復号が終了していれば、第
１復号を断続的に行う構成も可能である。

【０２００】なお、本発明の各実施の形態における演算
ユニットは本発明の演算ユニットまたは演算処理系の例
であり、ＣＰＵ、スレッド、プロセス、または分散処理
における処理単位となるコンピュータ、あるいはそれら
の処理単位の任意の組み合わせなど、要するにコンピュ
ータで並列に処理できるものでありさえすればよい。

【０２０１】また、第１〜４の実施の形態における符号
化制御部は本発明の処理状況検出手段の例であり、第５
の実施の形態におけるスライス符号化制御部は本発明の
請求項６記載の処理状況検出手段の例であり、第６〜８
の実施の形態における復号制御部は本発明の処理状況検
出手段の例であり、第９の実施の形態におけるスライス
復号制御部は本発明の請求項１２記載の処理状況検出手
段の例であり、第１０の実施の形態におけるマクロブロ
ック復号制御部は本発明の請求項１４記載の処理状況検
出手段の例である。

【０２０２】また、各実施の形態におけるＩフレームは
本発明の他のフレームに依存せずに符号化（復号）する
フレームの例であり、各実施の形態におけるＰフレーム
は本発明の過去のフレームに依存して符号化（復号）す
るフレームの例であり、各実施の形態におけるＢフレー
ムは本発明における過去および未来のフレームに依存し
て符号化（復号）するフレームの例である。

【０２０３】また、本発明の各実施の形態をコンピュー
タで実施するとき、演算ユニットはＣＰＵとなる。各実
施の形態における制御部、符号化部もしくは復号部等の
構成要素は、それぞれの機能をプログラムとして記述す
ることで実現可能である。このプログラムにおいて、複
数の符号化ルーチンもしくは復号ルーチンが複数のＣＰ
Ｕで独立に実行できるよう、別スレッドで動作させる必
要がある。

【０２０４】また本実施の形態は、同一計算機上の複数
のＣＰＵを利用するものであるが、ネットワークを介し
てつながった複数のコンピュータに分散処理をさせるこ
とも可能である。さらに、ＣＰＵが複数個の命令を同時
に実行可能な機能があった場合は、１個のＣＰＵで本実
施の形態を実現することが可能である。ただしこの場
合、１個のＣＰＵ内に複数の演算ユニットもしくは演算
処理系が存在するものとする。

【０２０５】さらに、本発明の各実施の形態では、演算
ユニットＡ、Ｂの２個の演算ユニットを利用している
が、演算ユニットの個数が３以上の場合でも同様に実施
できる。

【０２０６】また本発明で開示した符号化ならびに復号
方法を記述したプログラムは、フロッピーディスク等の
記録媒体およびネットワークを利用して配布することが
できる。また配布先のコンピュータ上で上記プログラム
を実行することが可能である。このようにして配布され
たプログラムを記録したプログラム記録媒体も本発明に
属する。

【０２０７】

【発明の効果】以上説明したところから明らかなよう
に、本発明によれば、画像間の依存関係を利用して符号
化する場合、および上記方法で符号化された画像データ
を復号する場合、複数の演算ユニット（ＣＰＵ）を可能
な限り有効に利用でき、符号化および復号の処理時間を
大幅に短縮することが可能である。

【０２０８】また、符号化もしくは復号をスライス、マ
クロブロック等を単位として実施することで、ＭＰＥＧ
のようにフレーム間の依存関係を利用した符号化、もし
くは復号においても、上記依存関係を考慮することなく
符号化、復号を実施できるため、ＣＰＵをより有効に利
用でき、かつ制御が簡単になる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を説明したブロック
図。

【図２】本発明の第１の実施の形態の動作を説明したフ
ローチャート図。

【図３】本発明の第１の実施の形態の動作を説明したタ
イムチャート図。

【図４】本発明の第１の実施の形態における符号化単位
の依存関係を説明した図。

【図５】本発明の第２の実施の形態を説明したブロック
図。

【図６】本発明の第２の実施の形態の動作を説明したタ
イムチャート図。

【図７】本発明の第３の実施の形態を説明したブロック
図。

【図８】本発明の第３の実施の形態の動作を説明したタ
イムチャート図。

【図９】本発明の第４の実施の形態を説明したブロック
図。

【図１０】本発明の第４の実施の形態の動作を説明した
タイムチャート図。

【図１１】本発明の第５の実施の形態を説明したブロッ
ク図。

【図１２】本発明の第５の実施の形態の動作を説明した
タイムチャート図。

【図１３】本発明の第６の実施の形態を説明したブロッ
ク図。

【図１４】本発明の第６の実施の形態の動作を説明した
タイムチャート図。

【図１５】本発明の第７の実施の形態を説明したブロッ
ク図。

【図１６】本発明の第７の実施の形態の動作を説明した
タイムチャート図。

【図１７】本発明の第８の実施の形態を説明したブロッ
ク図。

【図１８】本発明の第８の実施の形態の動作を説明した
タイムチャート図。

【図１９】本発明の第９の実施の形態を説明したブロッ
ク図。

【図２０】本発明の第９の実施の形態の動作を説明した
タイムチャート図。

【図２１】本発明の第１０の実施の形態を説明したブロ
ック図。

【図２２】本発明の第１０の実施の形態の動作を説明し
たタイムチャート図。

【図２３】ＭＰＥＧのフレーム依存関係および符号化順
序について説明した図。

【図２４】ＭＰＥＧ符号化器の簡単な構成を説明したブ
ロック図。

【図２５】ＤＣＴブロックについて説明した図。

【図２６】マクロブロックについて説明した図。

【図２７】動き推定および動きベクトルについて説明し
た図。

【図２８】スライスについて説明した図。

【図２９】ＭＰＥＧの符号化順序と再生順序との関係に
ついて説明した図。

【図３０】ＭＰＥＧ復号器の簡単な構成を説明したブロ
ック図。

【符号の説明】

１０１、入力部 １０２、入力バッファ １０３、演算ユニット選択部 １０４、演算ユニットＡ １０５、演算ユニットＢ １０６、出力バッファ １０７、符号化制御部 １０８、依存関係設定部 １０９、出力部 ５０１、フレームタイプ決定部 ５０２、参照バッファ ９０１、検索範囲設定部 １１０１、スライス符号化制御部 １３０１、入力部 １３０２、入力バッファ １３０３、演算ユニット選択部 １３０４、演算ユニットＡ １３０５、演算ユニットＢ １３０６、出力バッファ １３０７、復号制御部 １３０８、依存関係検出部 １３０９、出力部 １５０１、フレームタイプ検出部 １７０１、参照範囲検出部 １９０１、スライス復号制御部 ２１０１、マクロブロック復号制御部 ２１０２、バッファ ２４０１、入力部 ２４０２、品質制御部 ２４０３、第１符号化部 ２４０４、第２符号化部 ２４０５、データ多重部 ２４０６、出力部 ２４０７、局所復号部 ３００１、入力部 ３００２、復号部 ３００３、バッファ ３００４、出力部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 MA00 MA23 PP05 PP06 PP07 TA32 TB04 TB06 TB07 TC01 UA02 UA05 UA34 5D044 AB07 DE03 DE22 GK08

Claims (31)

【特許請求の範囲】
1. 【請求項１】 画像データの符号化を行う符号化手段
   と、 前記符号化手段の処理状況を検出する処理状況検出手段
   とを備え、 前記画像データの依存関係及び前記処理状況に応じて、
   前記符号化手段の動作を実行するための複数個の演算ユ
   ニットの、並列処理の分担を決定して動作させることを
   特徴とする画像符号化装置。
2. 【請求項２】 前記画像データの依存関係は、前記画像
   データのフレーム間の依存関係であることを特徴とする
   請求項１記載の画像符号化装置。
3. 【請求項３】 画像データの符号化を行う符号化手段
   と、 前記符号化された画像データを復号する復号化手段と、 前記符号化手段の処理状況を検出する処理状況検出手段
   とを備え、 前記画像データのフレーム間の依存関係及び前記処理状
   況に応じて、前記符号化手段の動作及び前記復号化手段
   の動作を実行するための複数個の演算ユニットの、並列
   処理の分担を決定して動作させることを特徴とする画像
   符号化装置。
4. 【請求項４】 前記画像データの依存関係は、前記画像
   データの所定の領域についてのフレーム間の依存関係で
   あることを特徴とする請求項１または２記載の画像符号
   化装置。
5. 【請求項５】 前記画像データの依存関係は、前記画像
   データのフレーム間の依存関係であり、 他のフレームに依存せずに符号化するフレームと、 過去のフレームに依存して符号化するフレームと、 過去および未来のフレームに依存して符号化するフレー
   ムとの３種類のフレームが存在することを特徴とする請
   求項１〜４のいずれかに記載の画像符号化装置。
6. 【請求項６】 画像データのフレームより小さな符号化
   単位で符号化を行う符号化手段と、 前記符号化手段の処理状況を検出する処理状況検出手段
   とを備え、 前記処理状況に応じて前記符号化単位で、前記符号化手
   段の動作を実行するための複数個の演算ユニットの、並
   列処理の分担を決定して動作させることを特徴とする画
   像符号化装置。
7. 【請求項７】 前記符号化単位間には、依存関係がな
   く、互いに独立に符号化できることを特徴とする請求項
   ６記載の画像符号化装置。
8. 【請求項８】 符号化画像データの復号を行う復号手段
   と、 前記復号手段の処理状況を検出する処理状況検出手段と
   を備え、 前記符号化画像データの依存関係及び前記処理状況に応
   じて、前記復号手段の動作を実行するための複数個の演
   算ユニットの、並列処理の分担を決定して動作させるこ
   とを特徴とする画像復号装置。
9. 【請求項９】 符号化画像データから符号化情報を抽出
   する符号化情報抽出手段と、 前記符号化画像データを前記符号化情報に基づいて復号
   化する復号手段と、 前記復号手段の処理状況を検出する処理状況検出手段と
   を備え、 前記符号化情報及び前記符号化画像データのフレーム間
   の依存関係及び前記処理状況に応じて、前記復号手段の
   動作を実行するための複数個の演算ユニットの、並列処
   理の分担を決定して動作させることを特徴とする画像復
   号装置。
10. 【請求項１０】 所定の領域についてのフレーム間の依
    存関係がある符号化画像データから符号化情報を抽出す
    る符号化情報抽出手段と、 複数個の演算ユニットを有し、前記符号化画像データに
    対して前記符号化情報に基づいて復号を行う復号手段
    と、 前記復号手段の処理状況を検出する処理状況検出手段と
    を備え、 前記符号化情報及び前記依存関係及び前記処理状況に応
    じて、前記復号手段の動作を実行するための複数個の演
    算ユニットの、並列処理の分担を決定して動作させるこ
    とを特徴とする画像復号装置。
11. 【請求項１１】 前記符号化画像データの依存関係は、
    前記画像データのフレーム間の依存関係であり、 他のフレームに依存せずに復号するフレームと、 過去のフレームに依存して復号するフレームと、 過去および未来のフレームに依存して復号するフレーム
    との３種類のフレームが存在することを特徴とする、請
    求項８〜１０のいずれかに記載の画像復号装置。
12. 【請求項１２】 フレームより小さな復号単位がおのお
    の識別子を有する符号化画像データから前記識別子を検
    出する識別子検出手段と、前記識別子に対応する符号化
    情報を抽出する符号化情報抽出手段と、 前記符号化情報に基づき前記復号単位で復号を行う復号
    手段と、 前記復号手段の処理状況を検出する処理状況検出手段と
    を備え、 前記処理状況に応じて前記符号化単位で、前記復号手段
    の動作を実行するための複数個の演算ユニットの、並列
    処理の分担を決定して動作させることを特徴とする画像
    復号装置。
13. 【請求項１３】 前記復号単位間には、依存関係がな
    く、互いに独立に復号できることを特徴とする請求項１
    ２記載の画像復号装置。
14. 【請求項１４】 複数個の演算ユニットを有し、フレー
    ムより小さな復号単位で符号化が施された符号化画像デ
    ータを対象として、前記復号単位の開始点を特定する第
    １復号手段と、 前記復号単位に対応する符号化情報を抽出する符号化情
    報抽出手段と、 複数個の演算ユニットを有し、前記符号化情報に基づき
    前記復号単位で復号を行う第２復号手段と、 前記第１復号手段および前記第２復号手段の処理状況を
    検出する処理状況検出手段とを備え、 前記処理状況に応じて、前記第１復号手段の動作及び前
    記第２復号手段の動作を実行するための複数個の演算ユ
    ニットの、並列処理の分担を決定して動作させることを
    特徴とする画像復号装置。
15. 【請求項１５】 前記第２復号化手段は、互いに独立に
    実行できることを特徴とする請求項１４記載の画像復号
    装置。
16. 【請求項１６】 画像データを符号化する符号化ステッ
    プと、 前記符号化ステップの処理状況を検出する処理状況検出
    ステップとを備え、 前記画像データの依存関係及び前記処理状況に応じて、
    前記符号化ステップの動作を実行するための複数個の演
    算処理系の、並列処理の分担を決定して動作させること
    を特徴とする画像符号化方法。
17. 【請求項１７】 前記画像データの依存関係は、前記画
    像データのフレーム間の依存関係であることを特徴とす
    る請求項１６記載の画像符号化方法。
18. 【請求項１８】 画像データの符号化を行う符号化ステ
    ップと、 前記符号化された画像データを復号する復号化ステップ
    と、 前記符号化ステップの処理状況を検出する処理状況検出
    ステップとを備え、 前記画像データのフレーム間の依存関係及び前記処理状
    況に応じて、前記符号化ステップの動作及び前記復号化
    ステップの動作を実行するための複数個の演算処理系
    の、並列処理の分担を決定して動作させることを特徴と
    する画像符号化方法。
19. 【請求項１９】 前記画像データの依存関係は、前記画
    像データの所定の領域についてのフレーム間の依存関係
    であることを特徴とする請求項１６または１７記載の画
    像符号化方法。
20. 【請求項２０】 前記画像データの依存関係は、前記画
    像データのフレーム間の依存関係であり、 他のフレームに依存せずに符号化するフレームと、過去
    のフレームに依存して符号化するフレームと、過去およ
    び未来のフレームに依存して符号化するフレームとの３
    種類のフレームが存在することを特徴とする請求項１７
    〜１９のいずれかに記載の画像符号化方法。
21. 【請求項２１】 画像データのフレームより小さな符号
    化単位で符号化を行う符号化ステップと、 前記符号化ステップの処理状況を検出する処理状況検出
    ステップとを備え、 前記処理状況に応じて、前記符号化単位で前記符号化ス
    テップの動作を実行するための複数個の演算処理系の、
    並列処理の分担を決定して動作させることを特徴とする
    画像符号化方法。
22. 【請求項２２】 前記符号化単位間には、依存関係がな
    く、互いに独立に符号化できることを特徴とする請求項
    ２１記載の画像符号化方法。
23. 【請求項２３】 符号化画像データの復号を行う復号ス
    テップと、 前記復号ステップの処理状況を検出する処理状況検出ス
    テップとを備え、 前記符号化画像データの依存関係及び前記処理状況に応
    じて、前記復号ステップの動作を実行するための複数個
    の演算処理系の、並列処理の分担を決定して動作させる
    ことを特徴とする画像復号方法。
24. 【請求項２４】 符号化画像データから符号化情報を抽
    出する符号化情報抽出ステップと、 前記符号化画像データに対して前記符号化情報に基づい
    て復号を行う復号ステップと、 前記復号ステップの処理状況を検出する処理状況検出ス
    テップとを備え、 前記符号化情報及び前記符号化画像データのフレーム間
    の依存関係及び前記処理状況に応じて、前記復号ステッ
    プの動作を実行するための複数個の演算処理系の、並列
    処理の分担を決定して動作させることを特徴とする画像
    復号方法。
25. 【請求項２５】 所定の領域についてのフレーム間の依
    存関係がある符号化画像データから符号化情報を抽出す
    る符号化情報抽出ステップと、 複数個の演算処理系を有し、前記符号化画像データに対
    して前記符号化情報に基づいて復号を行う復号ステップ
    と、 前記復号手段の処理状況を検出する処理状況検出ステッ
    プとを備え、 前記符号化情報及び前記依存関係及び前記処理状況に応
    じて、前記復号ステップの動作を実行するための複数個
    の演算処理系の、並列処理の分担を決定して動作させる
    ことを特徴とする画像復号方法。
26. 【請求項２６】 前記符号化画像データの依存関係は、
    前記符号化画像データのフレーム間の依存関係であり、 他のフレームに依存せずに復号するフレームと、 過去のフレームに依存して復号するフレームと、 過去および未来のフレームに依存して復号するフレーム
    との３種類のフレームが存在することを特徴とする請求
    項２３〜２５のいずれかに記載の画像復号方法。
27. 【請求項２７】 フレームより小さな復号単位がおのお
    の識別子を有する符号化画像データから前記識別子を検
    出する識別子検出ステップと、 前記識別子に対応する符号化情報を抽出する符号化情報
    抽出ステップと、 前記符号化情報に基づき前記復号単位で復号を行う復号
    ステップと、 前記復号ステップの処理状況を検出する処理状況検出ス
    テップとを備え、 前記処理状況に応じて前記符号化単位で、前記復号ステ
    ップの動作を実行するための複数個の演算処理系の、並
    列処理の分担を決定して動作させることを特徴とする画
    像復号方法。
28. 【請求項２８】 前記復号単位間には、依存関係がな
    く、互いに独立に復号できることを特徴とする請求項２
    ７に記載の画像復号方法。
29. 【請求項２９】 フレームより小さな復号単位で符号化
    が施された符号化画像データを復号して前記復号単位の
    開始点を特定する第１復号ステップと、 前記復号単位に対応する符号化情報を抽出する符号化情
    報抽出ステップと、 前記符号化情報に基づき前記復号単位で復号を行う第２
    復号ステップと、 前記第１復号ステップおよび前記第２復号ステップの処
    理状況を検出する処理状況検出ステップとを備え、 前記処理状況に応じて、前記第１復号ステップの動作及
    び前記第２復号ステップの動作を実行するための複数個
    の演算処理系の、並列処理の分担を決定して動作させる
    ことを特徴とする画像復号方法。
30. 【請求項３０】 前記第２復号ステップは、互いに独立
    に実行できることを特徴とする請求項２９に記載の画像
    復号方法。
31. 【請求項３１】 請求項１〜３０のいずれかに記載の画
    像符号化装置、画像復号装置、画像符号化方法、画像復
    号方法のいずれかに記載の、各構成要素または各ステッ
    プの全部または一部の機能をコンピュータに実行させる
    ためのプログラムを記録したことを特徴とするプログラ
    ム記録媒体。