JP2003111032A - 動画像復号装置、動画像復号方法及びその方法をコンピュータに実行させるプログラムが記録されている記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 回路規模の増加を最小限にとどめながら、時
間により適切に処理タイミング管理ができ、復号情報を
保持するデータ量を大幅に削減することが可能な連続的
動画像の表示を行なう。 【解決手段】 Ｓ３３において、カットアウト符号化デ
ータが、カットアウト符号化データの最終表示画像デー
タまで復号を確認し、Ｓ３４において、制御部８からの
制御信号を受けて、復号器５がカットアウト符号化デー
タを１フレームだけ復号し、フレームメモリ６に出力す
る。Ｓ３５において、復号器５がカットイン符号化デー
タの復号を行なう。Ｓ３６で、タイマー３から次のフレ
ームパルスが入力されており、1フレーム時間内であれ
ば、Ｓ３７に進む。Ｓ３７において、カットイン符号化
データが復号完了したかを確認し、そうでなければ、カ
ットイン符号化データの復号を１フレーム時間が完了す
るまで、続行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、予測符号化方式を
用いた動画像符号化データを復号する動画像復号装置、
動画像復号方法及びその方法をコンピュータに実行させ
るプログラムが記録されている記録媒体に関する。

【０００２】

【従来の技術】デジタル画像を記録したり、転送したり
する場合、データ量を削減するために符号化を行なうの
が一般的である。デジタル動画像の場合、符号化の方法
としては時間的、空間的冗長を利用してデータの削減を
行なう方法がある。時間的冗長を利用する方法として
は、動画像を構成する各画像を複数のブロックに分け
て、各ブロックの画像間における動きを検出して、該当
する画像間のブロックの差分を取り、ブロックの動きの
情報と画像間のブロックの差分だけをデータとして取り
扱うことにより、データ量を削減する手法がある。空間
的冗長を利用する方法としては、動画像を構成する各画
像を複数のブロックに分けて、ブロック内の画素データ
を直交変換し量子化する方法がある。ＭＰＥＧ２（ＩＳ
Ｏ／ＩＥＣ１３８１８−２）動画像符号化方式は、前記
時間的冗長と空間的冗長の両方を併用した符号化方式で
あり、映像を扱う機器、例えば、デジタル衛星放送、Ｄ
ＶＤビデオプレーヤーなど、広く一般に使われるように
なってきている。

【０００３】ＭＰＥＧ方式において、動画像を構成する
個々の画像は、それぞれ、１６×１６画素の大きさの規
則正しく並べられた複数のブロックに分けられ、表示位
置の左上の隅のブロックから、右方向へ順次符号化され
る。右の隅まで到達すると、符号化したブロック列の一
段下の左隅まで移動し、順次画面全体が符号化される。
符号化する画像を構成する各ブロック（以降符号化ブロ
ックと呼ぶ）は、前後の画像を参照し、参照画像内の任
意の位置のなるべく似通ったブロック（以降予測ブロッ
クと呼ぶ）を対象として、符号化ブロックと予測ブロッ
クとの表示画像上の相対的な位置関係を表す動きベクト
ルと、符号化ブロックと予測ブロックの差分情報だけを
符号化データとする。符号化ブロックには、他のブロッ
クを参照しないタイプ、時間的に過去の画像又は未来の
画像のみを参照するタイプ、時間的に過去と未来の両方
の画像を参照するタイプがある。符号化ブロックは、後
述する画像の種類の制約と、データの圧縮の効率の良い
方法を選択して符号化されている。

【０００４】ＭＰＥＧ２の場合には、インターレース画
像方式を考慮して、画像（以降ピクチャと呼ぶ）はフレ
ーム又はフィールドとして扱うことができる。フレーム
単位で扱う場合には、符号化ブロックはフィールドに分
けて、それぞれ、別のフィールドのブロックを参照する
こともできる。ピクチャを構成する各符号化ブロック
は、予測ブロックが存在する場合、符号化ブロックと予
測ブロックの差分を取り、参照する予測ブロックが存在
しない場合には、符号化ブロックのデータがそのまま扱
われる。符号化ブロックと予測ブロックの差分データ、
または、符号化ブロックのデータは、さらに直交変換さ
れ、量子化された後、例えば周波数成分順に並べられ、
可変長符号化され、データの量を削減したＭＰＥＧ符号
化データとなる。復号の際には、この手順を逆に順次行
なっていけば、符号化データを元の画像データに戻すこ
とができ、動画像として表示することができる。

【０００５】ＭＰＥＧ２のピクチャには、ピクチャを構
成する各ブロックの参照方法により、Ｉ、Ｐ、Ｂの３種
類のタイプが定義されている。Ｉピクチャは、参照を行
なわないブロックのみで構成される。Ｐピクチャは、参
照を行なわないブロックと、過去のピクチャを参照する
ブロックとで構成される。Ｂピクチャは、参照を行なわ
ないブロックと、過去のピクチャを参照するブロック
と、未来のピクチャを参照するブロックと、過去と未来
のピクチャ両方を参照するブロックから構成される。参
照を行なうＰピクチャとＢピクチャは、参照するピクチ
ャがあらかじめ復号されていなければ復号ができない性
質がある。

【０００６】ここで、図を用いて、ＭＰＥＧ２のピクチ
ャのタイプについて説明する。図１４は、ＭＰＥＧ２で
符号化された動画像のフレーム構成例である。図におけ
るＢ０は、Ｂピクチャであり、動画像の表示順で０番
目、すなわち最初に表示するフレームであることを意味
する。Ｂ１は、Ｂピクチャであり、動画像の表示順で１
番目、すなわちＢ０に続けて表示するフレームである。
Ｉ２は、Ｉピクチャであり、Ｂ１に続けて表示するフレ
ームである。

【０００７】このように、今後、説明と図の中で、ピク
チャタイプと表示順の組み合わせにより、各ピクチャを
識別する表現をする。Ｉ２から、矢印がＢ０、Ｂ１、Ｂ
３、Ｂ４、Ｐ５に向かって出ているが、これは、Ｉ２が
それぞれの矢印の先のピクチャに参照されていることを
意味する。この図から分かるように、ＭＰＥＧにおいて
参照をされるピクチャは、Ｉピクチャ、Ｐピクチャのみ
であり、Ｂピクチャは参照されない。Ｐピクチャは、表
示順で直前のＩピクチャ又はＰピクチャを参照すること
ができる。Ｂピクチャは、表示順で直前と直後のＩピク
チャ、又はＰピクチャを参照することができる。

【０００８】ところで、図１４に示したような符号化デ
ータを復号することを考えた場合、例えば、Ｂ３を復号
するには、Ｂ３が参照するＩ２とＰ５をあらかじめ復号
する必要がある。しかし、Ｐ５は、表示順ではＢ３より
も後なので、符号化データが、表示順になっていた場
合、例えば、Ｂ３、Ｂ４の符号化データを一旦蓄積し
て、Ｐ５を復号してから、Ｂ３、Ｂ４の符号化データを
復号するというような複雑な復号手法をとる必要が生じ
る。ＭＰＥＧにおいては、上のような事情を考え、符号
化データのピクチャの順番の並びを入れ替えて、常に参
照するピクチャが先に符号化されている構造になってい
る。これをリオーダリングと呼んでいる。

【０００９】その結果、前記例では、Ｐ５がＢ３よりも
先に符号化されているので、復号処理においては、たと
え、表示順で後のピクチャを参照していたとしても符号
化データを順次復号することができる。但し、符号化デ
ータ内のピクチャの順番が表示順になっていないので、
復号後、画像データの表示順を適切に操作して、正しい
順序で表示されるようにする必要がある。

【００１０】図１５に実際の符号化データの復号と、表
示方法についてタイミングの一例を示す。図１５の中
に、フレームパルスを示しているが、通常の復号再生に
おいて、１フレーム時間毎に１フレームの表示を行なう
ので、復号処理もフレームパルスに合わせて１フレーム
時間に１フレーム行なうことにより、適切な復号速度を
保つ。

【００１１】まず、Ｉ２の復号を行なうが、先にＢ０、
Ｂ１を表示しなければならないので、Ｉ２は一旦メモリ
に保存しておく。次に、Ｂ０を復号するが、Ｂ０は、先
に復号したＩ２を参照しながら復号する。Ｂピクチャ
は、通常、過去と未来両方のピクチャを参照できるが、
符号化データの先頭では、時間的に過去のＩピクチャ、
又はＰピクチャが存在しないので、未来のピクチャのみ
参照する。Ｂ０は、表示順で先頭の画像なので、復号
後、直ちに表示することができる。続いて、Ｂ１を復号
するが、Ｂ０と同様に、Ｉ２を参照して復号する。Ｂ１
は、表示順でＢ０の次に表示する。次にＰ５を復号する
が、Ｉ２と同様に表示するタイミングまでは一旦メモリ
に保存する。Ｂ１の後には、復号済みのＩ２を表示す
る。この作業を繰り返すことにより、動画像を適切に復
号し、タイミングよく表示することにより、正常な連続
的な動画像を出力することができる。

【００１２】ここで、さらに、ＭＰＥＧ方式の動画像符
号化データの構造について説明をする。ＭＰＥＧ方式の
動画像符号化データは、図１６に示すように、階層的な
構造をもっており、各階層の先頭に、その下位階層の復
号に必要なデータと、それに続いて、下位階層構造が１
つ以上並んでいる構造を取る。

【００１３】最上位層は、シーケンス層であり、シーケ
ンスヘッダと、それに続いて、１つ以上のＧＯＰ（Ｇｒ
ｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）から構成される。シ
ーケンスヘッダ部の先頭には、スタートコードが存在す
る。スタートコードは、通常、符号化データの中では、
他には現れないパターンのデータであり、符号化データ
内でこのパターンを検索することにより、ヘッダの先頭
位置を見つけられるようになっている。スタートコード
は、シーケンスヘッダだけでなく、以下に述べるシーケ
ンス以下の各ヘッダ内の先頭にも存在する。

【００１４】シーケンスヘッダ部には例えば、画像のサ
イズなどの情報が含まれている。ＧＯＰ層は、ＧＯＰヘ
ッダと、１つ以上のピクチャで構成される。また、符号
化順でＧＯＰ先頭のデータはＩピクチャであり、表示順
でＧＯＰの最後は、Ｉピクチャ又は、Ｐピクチャであ
る。ピクチャは、ピクチャヘッダと、１つ以上のスライ
スから構成される。ピクチャヘッダには、例えば、ピク
チャタイプの情報が含まれている。スライスには、スラ
イスヘッダと、１つ以上のブロックの情報が含まれてい
る。各ブロックの情報には、スタートコードが存在しな
いので、符号化データ内のスタートコード検索で見つけ
られる復号開始のエントリ位置は、スライスヘッダであ
る。ＭＰＥＧ２の場合、スライスは、ピクチャを構成す
るブロックの横一列に最低１つはあることとしている。

【００１５】ＧＯＰは、符号化順でＩピクチャから開始
されるので、ＧＯＰの上位層にあたる、シーケンスヘッ
ダ内の復号に必要なデータが保存されていれば、復号処
理の開始位置とすることが可能である。しかし、図１７
の例に示すＧＯＰ２のＢ０、Ｂ１のように、ＧＯＰの先
頭で表示順でＩピクチャよりも前のＢピクチャは、一つ
前のＧＯＰに属するＩピクチャ、又はＰピクチャを参照
することがある。この場合、ＧＯＰ２のＢ０、Ｂ１は正
しく復号するには、一つ前のＧＯＰ１の先頭から復号を
開始する必要がある。ＭＰＥＧでは、ＧＯＰヘッダ内
に、Ｃｌｏｓｅｄ＿ＧＯＰとＢｒｏｋｅｎ＿Ｌｉｎｋと
いう２つの情報をもっている。

【００１６】Ｃｌｏｓｅｄ＿ＧＯＰが１の場合、図１７
の例に示すＧＯＰ４のＧＯＰのＢ０、Ｂ１のように先頭
で表示順でＩピクチャよりも前のＢピクチャは、前のＧ
ＯＰのピクチャを参照しない。従って、この場合、ＧＯ
Ｐ４の先頭から復号を開始してもＧＯＰの先頭で表示順
でＩピクチャよりも前のＢピクチャは、正常に復号する
ことが可能である。

【００１７】Ｂｒｏｋｅｎ＿Ｌｉｎｋは、ＧＯＰの先頭
で表示順でＩピクチャよりも前のＢピクチャの参照が不
適当な場合に１とする。これは、例えば、関連性のない
ＧＯＰ同士を接続した場合に、Ｂｒｏｋｅｎ＿Ｌｉｎｋ
を１にすることにより、正常に復号できないＧＯＰの先
頭で表示順でＩピクチャよりも前のＢピクチャの復号や
表示をスキップするのに利用できる。図１７の例に示
す、ＧＯＰ６は、Ｂｒｏｋｅｎ＿Ｌｉｎｋが１であり、
Ｃｌｏｓｅｄ＿ＧＯＰが０の場合であり、この時ＧＯＰ
６のＢ０、Ｂ１は、復号開始位置に関らず、正常に復号
することができないので、復号や表示のスキップをする
といった対応が可能である。

【００１８】媒体に動画像を記録する場合、単純な復号
再生表示だけではなく、早送り、巻き戻し、サーチ、静
止画表示、スロー再生などといった特殊再生機能も提供
するのが一般的である。特に光磁気ディスクや、ハード
ディスク、半導体メモリなどの媒体に記録する場合、そ
の特徴であるランダムアクセス性を用いて、任意の動画
像の全部又は一部を自在に選択して、繋いで表示する編
集再生、あるいは動画像の中で不必要な一部分だけを切
り取ったスキップ再生の実現が考えられる。動画像の中
で表示を行なう一部分をカットと呼ぶが、編集再生は、
任意の複数のカットを連続して表示することによって実
現される。また、スキップ再生は、一つの動画像の任意
の複数のカットを連続して表示することによって、複数
のカットの間の部分がスキップされたように表示される
ことによって実現される。従って、スキップ再生は、編
集再生の一種として扱うことができ、同一の技術で実現
が可能である。今後、スキップ再生も編集再生として説
明をする。

【００１９】図１８に一般的なＭＰＥＧ２復号装置のブ
ロック図を示す。ディスクなどの記録媒体から読み出さ
れた符号化データは、ビデオバッファ１０１に蓄積され
る。ビデオバッファ１０１に蓄積された符号化データ
は、ビデオバッファ１０１に入力された順番に復号器１
０２に供給される。復号器１０２は、符号化データを復
号し、フレームメモリ１０３へフレーム画像データを出
力する。フレームメモリ１０３は、フレーム画像データ
を蓄積し、適切な順番に入れ替えて、表示回路へ画像デ
ータを出力する。

【００２０】図１８の復号装置を使用して、編集再生を
行なおうとした場合、次の方法が考えられる。まず、最
初に表示するカットの符号化データ（以降カットアウト
符号化データと呼ぶ）をビデオバッファ１０１に供給す
る。最後に表示したいフレームのカットアウト符号化デ
ータをビデオバッファ１０１に供給完了した時点で、次
に表示するカットのデータ（以降カットイン符号化デー
タと呼ぶ）を供給する。さらに、別のカットを表示する
場合には、先ほどカットイン符号化データとしていた符
号化データをカットアウト符号化データとし、新たに表
示予定の符号化データをカットイン符号化データとし
て、ビデオバッファ１０１への供給を切り替えていけば
よい。

【００２１】しかし、前記ＭＰＥＧの階層構造で説明し
たように、正常な動画像を得るためには、適切なエント
リーポイントから復号を開始する必要がある。もっとも
適当なエントリーポイントは、シーケンスヘッダの先頭
であるが、シーケンスヘッダ内の復号に必要な情報が保
存されているのであれば、ＧＯＰの先頭から復号開始が
可能である。カットイン符号化データの先頭を任意の画
像としたいのであれば、エントリーポイントから、復号
を開始して、復号を進めて目的の画像を表示できる位置
まで復号を進めた後に表示を開始する必要がある。一般
的に、目的の画像の復号できるまでのピクチャの枚数
は、数枚以上になり、復号器の復号速度も十分に速くな
いので、１フレーム時間内に処理を終了させるのは、通
常は不可能であるケースが多い。

【００２２】図１９に、図１８に示す構成の復号器を使
用して、編集再生を行なった場合のカット間の復号と、
表示について例を示す。図１９の（ａ）では、カットイ
ン符号化データの表示開始がＧＯＰ２のＢ０である場合
の例を示す。この時は、前記エントリーポイントと、表
示開始位置が一致するので、１フレーム時間に複数ピク
チャの復号を進める必要がなく、連続的に表示すること
が可能である。

【００２３】図１９の（ｂ）では、カットイン符号化デ
ータの表示開始がＧＯＰ４のＩ２の例を示す。この場
合、Ｉ２を復号した後に、Ｂ０、Ｂ１のデータをスキッ
プする必要があり、カットイン画像を次のフレームに表
示ができないため、スキップ処理が遅い場合には、カッ
トアウト符号化データの最終表示画像ＧＯＰ３のＰ８を
静止画表示する必要がある。図１９の（ｃ）では、ＧＯ
Ｐ６のＢ７をカットイン符号化データの表示開始として
いる。ＧＯＰ６のＩ２、Ｐ５、Ｐ８、Ｂ７の順に復号す
る必要があり、この復号を行なっている期間、カットイ
ン画像を次のフレームに表示ができないため、カットア
ウト符号化データの最終画像ＧＯＰ５のＢ４を静止画表
示する必要があり、動画像を連続的に編集再生できなく
なっていた。

【００２４】この問題点を解決するための従来技術とし
て、動画像を連続的に編集再生するために、特開平１１
−２２０６９５号公報に公開されている方法がある。そ
の実施例として掲げている方法の概略について、図２
０、図２１、図２２、図２３を用いて説明する。

【００２５】図２０は、この従来の復号装置を表すブロ
ック図である。第１のビデオバッファ１０４は、符号化
データを入力し、蓄積して、第１の復号器１０５に出力
する。第１の復号器１０５は、第１のビデオバッファ１
０４から入力された符号化データを復号して、復号画像
データを第１のフレームメモリ１０６に出力する。フレ
ームメモリ１０６は、第１の復号器１０５から復号画像
データを入力し、蓄積して、スイッチ１１０に出力す
る。第２のビデオバッファ１０７は、符号化データを入
力し、蓄積して、第２の復号器１０８に出力する。第２
の復号器１０８は、第２のビデオバッファ１０７から入
力された符号化データを復号して、復号画像データを第
２のフレームメモリ１０９に出力する。フレームメモリ
１０９は、第２の復号器１０８から復号画像データを入
力し、蓄積して、スイッチ１１０に出力する。スイッチ
１１０は、第１のフレームメモリと第２のフレームメモ
リからの復号画像データのいずれかを選択して、表示部
へ出力する。

【００２６】図２１に、図２０の復号装置に基づく復
号、表示のタイミング例を示す。カットアウト符号化デ
ータは、第１のビデオバッファ１０４に供給される。第
１の復号器１０５は、復号装置が管理する時間情報に基
づいて第１のビデオバッファ１０４より、符号化データ
を入力し、復号し、復号画像データを、第１のフレーム
メモリに出力する。スイッチ１１０は、第１のフレーム
メモリ１０４からの出力を選択しており、第１のフレー
ムメモリ１０４からの出力信号を表示部へ出力する。一
方、表示が編集点に到達する時間よりも前に、カットイ
ン符号化データは、第２のビデオバッファ１０７に供給
される。第２の復号器１０８は、第２のビデオバッファ
１０７から符号化データを入力し復号し、復号画像デー
タを第２のフレームメモリ１０９に出力する。

【００２７】カットイン符号化データの復号が所定の位
置まで達したならば、第２の復号器は一時停止する。表
示が編集点に到達したならば、スイッチ１１０は、第２
のフレームメモリ１０９からの出力を選択し、表示部に
出力する。また、同時に第２の復号器は復号を再開す
る。その結果、編集点前後の連続性を保ちながら編集再
生表示が行なわれる。

【００２８】図２２は、別の復号装置を表すブロック図
である。第１のビデオバッファ１１１は、符号化データ
を入力し、蓄積して、スイッチ１１２に出力する。第２
のビデオバッファ１１５は、符号化データを入力し、蓄
積して、スイッチ１１２に出力する。スイッチ１１２
は、第１のビデオバッファ１１１と第２のビデオバッフ
ァ１１５からの符号化データのいずれかを選択して、復
号器１１３に供給する。復号器１１３は、スイッチ１１
２で選択された符号化データを入力し、復号する。復号
した画像データは、フレームメモリ１１４に出力する。
フレームメモリ１１４は、復号器１１３から復号画像デ
ータを入力し、蓄積した後、連続した動画像となるよう
に、順次、表示部に出力する。

【００２９】図２３に、図２２の復号装置に基づく復
号、表示のタイミング例を示す。カットアウト符号化デ
ータは、第１のビデオバッファ１１１に供給される。ス
イッチ１１２は、第１のビデオバッファ１１１からのデ
ータを選択しており、復号器１１３は、復号装置が管理
する時間情報に基づいてカットアウト符号化データを復
号し、フレームメモリ１１４に出力する。フレームメモ
リ１１４は、復号器１１３から復号画像データを入力
し、蓄積した後、表示時間管理情報に基づいて適切に表
示部に出力する。

【００３０】次に、表示が編集点に到達するよりも前
に、カットイン符号化データの復号が適切な位置まで進
められるように、並列復号を開始する。並列復号は、復
号器１１３が、例えば、１フレーム時間に２フレーム分
の復号能力を有する場合、まず、スイッチ１１２によ
り、第１のビデオバッファ１１１を選択し、カットアウ
ト符号化データを１フレーム行なう。

【００３１】次にスイッチ１１２により、第２のビデオ
バッファ１１５を選択し、カットアウト符号化データを
１フレーム復号するという具合に交互にカットアウト符
号化データとカットイン符号化データの復号を行なうこ
とによって、時分割によって異なる複数の符号化データ
を並列的に復号する。なお、交互に復号する時の切り替
えの単位は、ピクチャ単位、あるいはブロック単位でも
どんな量でもよいとしている。カットイン符号化データ
が所定の位置まで達したならば、カットイン符号化デー
タの復号は一時停止する。表示出力が、切り替え点に達
したならば、表示する復号画像データをカットイン側に
し、スイッチ１１２を第２のビデオバッファ１１５側に
切り替えて、カットイン符号化データの復号を再開す
る。その結果、編集点前後の連続性を保ちながら編集再
生表示が行なわれる。

【００３２】

【発明が解決しようとする課題】しかしながら、図２０
に示す復号装置は、回路の大部分を占める復号器が複数
必要であり、回路規模の増大により、コスト、消発電力
の増加してしまう問題がある。

【００３３】図２２に示す復号装置による復号方法は、
時分割による並列復号の際、切り替えをピクチャ毎、あ
るいは、ブロック毎というように、どのようなデータ量
であっても良いと規定している。しかし、例えば、符号
化データにエラーが発生した場合や、記録媒体からのデ
ータの供給の遅延により、復号予定のデータが壊れてい
て判別ができない、あるいは、データが来るのを待つ必
要が生じるような不測の事態において、適切に切り替え
が行なわれない可能性がある。この結果、時分割復号を
行なっている際にカットアウト符号化データの復号処理
が、表示よりも遅れてしまい、一時静止画表示をしなけ
ればならない問題が発生する恐れがある。

【００３４】また、図２２に示す復号装置による復号方
法は、符号化データによって異なる符号化データの各階
層のヘッダ部分に含まれている復号に必要な情報を、符
号化データの切り替え単位に応じて複数保持し、スイッ
チの切り替えと連動して切り替える必要がある。１フレ
ーム時間に２フレーム以上の復号能力がある復号器の場
合、フレーム単位の切り替えが可能である。この場合、
複数個保持しなければならない復号に必要な情報は、ピ
クチャ層よりも上の階層、すなわち、ＧＯＰヘッダとシ
ーケンスヘッダに含まれる情報だけである。

【００３５】従って、１フレーム時間に２フレームより
も遅い復号能力しか有しない復号器の場合には、フレー
ム単位の切り替えを行なうことができない問題がある。
このため、切り替えが、例えばブロック単位など小さな
単位になり、シーケンスヘッダ、ＧＯＰヘッダ、ピクチ
ャヘッダ、スライスヘッダに含まれる情報と、さらに、
各ブロックの動きベクトルといった、差分情報しか符号
化されていない情報も、保持する必要があり、フレーム
単位の切り替えと比べると格段に多くの情報を符号化デ
ータ毎に保持する必要が生じる。

【００３６】本発明の目的は、回路規模の増加を最小限
にとどめながら、符号化データの並列復号処理を、時間
により適切に処理タイミング管理ができ、復号情報を保
持するデータ量を大幅に削減することが可能な連続的動
画像の表示を行なう動画像復号装置、動画像復号方法及
びその方法をコンピュータに実行させるプログラムが記
録されている記録媒体を提供することにある。

【００３７】

【課題を解決するための手段】本発明は、予測符号化方
式で符号化された複数種類の編集用動画像の符号化デー
タを時分割を用いて並列的に復号して表示させる動画像
復号方法において、前記符号化データを種類ごとに蓄積
する複数の符号化データ記憶部と、前記符号化データ記
憶部の出力のうち一つを選択するスイッチと、前記スイ
ッチにより選択された符号化データを、表示速度よりも
速い速度で復号する復号部と、前記復号部で復号された
画像データを一旦保存し、所定の表示順番に復号画像デ
ータを１画像表示単位ごとに出力する復号データ記憶部
と、１画像表示単位を表示する時間である表示単位時間
を計数する表示単位時間計数部と、各部を制御する制御
部とを備え、前記制御部は、前記時間計数部が計数する
表示単位時間毎に、前記スイッチを切り換えて前記符号
化データ記憶部に記憶された符号化データを時分割に順
に読み出す手段と、読み出された符号化データを前記復
号部が復号処理して前記復号データ記憶部に記憶させる
手段と、前記復号データ記憶部に１画像表示単位の復号
データが蓄積された時に、その復号データを各種類ごと
に所定の順番で出力させる手段とを備えたことを特徴と
する動画像復号装置である。ここで、画像表示単位と
は、例えばフレームやフィールドに該当する画像データ
であり、ＭＰＥＧ２でいうピクチャ単位である。

【００３８】また本発明は、次に出力する符号化データ
が符号化データ記憶部上のどの位置にあるかを管理する
出力ポインタを記憶する出力ポインタ記憶部を備え、前
記制御部は、前記出力ポインタの値を前記符号化データ
記憶部から読み出して一旦前記出力ポインタ記憶部に記
憶させる手段と、前記出力ポインタ記憶部に記憶した前
記出力ポインタを前記符号化データ記憶部に書き込む手
段とを備えたことを特徴とする動画像復号装置である。
また本発明は、前記制御部が、前記符号化データ記憶部
上に符号化データの入力停止位置を示す入力停止位置ポ
インタを設定し前記符号化データ記憶部に書き込む手段
を備えたことを特徴とする動画像復号装置である。

【００３９】また本発明は、予測符号化方式で符号化さ
れた複数種類の編集用動画像の符号化データを時分割を
用いて並列的に復号して表示させる動画像復号方法にお
いて、１画像表示単位を表示する時間である表示単位時
間毎に、前記符号化データを種類ごとにそれぞれ蓄積す
る複数の符号化データ記憶部から、符号化データを時分
割に順に読み出すステップと、読み出された符号化デー
タを前記復号部が復号処理して復号データ記憶部に記憶
させるステップと、前記復号データ記憶部に１画像表示
単位の復号データが蓄積された時に、その復号データを
各種類ごとに所定の順番で出力させるステップとを有す
る動画像復号方法である。

【００４０】また本発明は、次に出力する符号化データ
が符号化データ記憶部上のどの位置にあるかを管理する
出力ポインタの値を前記符号化データ記憶部から読み出
して一旦前記出力ポインタを記憶するステップと、記憶
した前記出力ポインタを前記符号化データ記憶部に書き
込むステップとを有することを特徴とする動画像復号方
法である。

【００４１】また本発明は、前記符号化データ記憶部上
に符号化データの入力停止位置を示す入力停止位置ポイ
ンタを設定し前記符号化データ記憶部に書き込むステッ
プを有することを特徴とする動画像復号方法である。

【００４２】また本発明は、請求項４から６のいずれか
に記載の動画像復号方法をコンピュータに実行させるプ
ログラムが記録されている記録媒体である。

【００４３】

【発明の実施の形態】以下に、本発明の実施の形態につ
いて、図面を参照しながら説明する。

【００４４】＜第１実施形態＞図１は、本発明を適用し
た動画像復号装置の第１実施形態を示すブロック図であ
る。この動画像復号装置は、光ディスク等の記録媒体か
ら入力される符号化データを蓄積する第１のビデオバッ
ファ１と、第２のビデオバッファ７と、該ビデオバッフ
ァ１，７に蓄積された符号化データを選択するスイッチ
４と、フレーム時間をカウントしてパルスを出力するタ
イマー３と、符号化データを復号する復号器５と、復号
データを蓄積して所定の順番で表示部（図示せず）へ出
力するフレームメモリ６と、各部を制御情報に基づいて
制御する制御部８とを備える。

【００４５】以下に、動画像復号装置の動作概略を述べ
る。まず、光磁気ディスク等の記録媒体から画像データ
である符号化データを一旦メインバッファ（図示せず）
に蓄積する。また、記録媒体から読み出した画像に関す
る制御情報（ピクチャの再生表示順等）が制御部８に入
力される。制御部８は、制御情報に基づいて符号化デー
タを、例えば編集再生を行うためのカットアウト符号化
データとカットイン符号化データに分割してメインバッ
ファに出力させ、第１のビデオバッファ１及び第２のビ
デオバッファ７のそれぞれに入力させる。第１のビデオ
バッファ１及び第２のビデオバッファ７は、符号化デー
タを蓄積して、スイッチ４に出力する。スイッチ４は、
制御部８から制御を受け、第１のビデオバッファ１と第
２のビデオバッファ７からの符号化データのいずれかを
選択して、復号器５に供給する。

【００４６】復号器５は、スイッチ４から入力された符
号化データを復号し、復号データをフレームメモリ６へ
出力する。タイマー３は、１画面を表示するためのフレ
ーム時間間隔で、制御部８に時間になったことを知らせ
るパルス信号を出力する。制御部８は、タイマー３から
の信号を受け取り、スイッチ４の切り替えと、表示部に
出力するフレームメモリ６内の画像データの選択制御を
行なう。フレームメモリ６は、復号器５から、復号画像
データを入力し、制御部８からの制御により、表示部に
対して所定の順番で復号画像データを出力する。

【００４７】次に、復号処理について詳しく述べる。カ
ットアウト符号化データは、第１のビデオバッファ１に
供給され、スイッチ４を経て、復号器５に供給される。
制御部８は、タイマー３から、フレーム時間ごとに合図
を示すパルス信号を受け、フレームメモリ６内に表示す
るべき画像データが存在する場合には、フレームメモリ
６に対して、表示すべきデータを指示し、また復号器５
に１フレームの符号化データを復号させる。こうして、
制御部８による繰り返しフレームメモリ６に対する表示
すべきデータの指示と、復号器５による１フレームの復
号とを行なうことによって、フレームメモリ６から、表
示部に対して、順次フレーム画像データが出力され、動
画像として表示ができる。

【００４８】編集再生を行なう場合には、カットアウト
符号化データを第１のビデオバッファ１に供給するのと
並行して、カットイン符号化データを第２のビデオバッ
ファ７に供給する。制御部８は、タイマー３から、フレ
ーム時間の合図（パルス）を受けとると、フレームメモ
リ６に対して、表示すべきデータを指示する。次に、ス
イッチ４を制御して、第１のビデオバッファ１側を選択
し、復号器５にカットアウト符号化データの１フレーム
を復号させる。

【００４９】次に、制御部８は、スイッチ４を制御し
て、第２のビデオバッファ７側を選択し、復号器５にカ
ットイン符号化データを復号させる。制御部８は、タイ
マー３から次のフレーム時間の合図（パルス）を受けと
ると、カットイン符号化データの復号を中断し、フレー
ムメモリ６に対して、表示すべきデータを指示し、スイ
ッチ４を制御して、第１のビデオバッファ１側を選択
し、復号器５にカットアウト符号化データの１フレーム
の復号を行なわせる。

【００５０】その後、制御部８はスイッチ４を制御し
て、第２のビデオバッファ７側を選択し、前回中断した
カットイン符号化データの復号を再開する。制御部８
は、タイマー３から合図（パルス）を受けて、フレーム
メモリ６の制御と、復号器５にカットアウト符号化デー
タの１フレーム復号を行なわせる。その後、制御部８
は、タイマー３から次の合図が来るまで、復号部５にカ
ットイン符号化データの復号を行なわせることによっ
て、カットアウト符号化データの復号を、１フレーム時
間毎に、１フレーム復号しながら、時分割を用いて並列
的に、カットイン符号化データの復号をすることができ
る。

【００５１】カットイン符号化データの復号が、先頭の
画像を表示できる位置まで進んだところで、カットイン
符号化データ側の復号を、一旦停止して、カットアウト
符号化データのみを復号する状態に移行する。すなわ
ち、制御部８が、タイマー３から合図（パルス）を受け
て、繰り返しフレームメモリ６の制御と、復号部５にカ
ットアウト符号化データの１フレームの復号を行なわせ
る状態に移行する。

【００５２】その後、カットアウト符号化データの復号
が、最終表示画像まで到達したところで、制御部８で
は、タイマー３から、フレーム時間の合図（パルス）を
受け、フレームメモリ６に対して、表示する画像データ
を指示し、スイッチ４を制御して、第２のビデオバッフ
ァ７側を選択し、復号部５にカットイン符号化データを
復号させる。さらに、制御部８は、フレームメモリ６に
対して、カットアウト符号化データの最終表示画像を指
示したところで、その次に表示する画像データは、カッ
トイン符号化データの先頭画像となるように制御する。
そして、以降は、カットイン符号化データの復号画像デ
ータを順次表示するように制御する。

【００５３】制御部８が、タイマー３から合図を受け
て、繰り返しフレームメモリ６の制御と、復号部５にカ
ットイン符号化データを１フレームの復号を繰り返し行
なわせることによって、フレームメモリ６から、表示部
に対して、フレーム画像データが順次出力され連続した
動画像として表示ができる。

【００５４】図２は、第１実施形態における復号処理を
示すタイミング図である。タイマー３の出力は、通常フ
レーム同期信号期間ごとに発生する。最初、期間Ａに示
すようにカットアウト符号化データは、フレーム同期信
号に合わせて、１フレームの復号と１フレームの表示を
繰り返し、通常の復号再生状態にある。

【００５５】次に、期間Ｂに示すように、カットアウト
符号化データに対して、フレーム同期信号に合わせて、
１フレームの復号と１フレームの表示を行いながら、カ
ットアウト符号化データを１フレーム復号してから次の
フレーム同期信号までの時間に、カットイン符号化デー
タの復号を進める。これを、カットイン符号化データ
が、その先頭のフレームを表示できるようになるまで復
号を繰り返す。カットイン符号化データが、先頭のフレ
ームを表示できるデータまで復号されたならば、カット
イン符号化データの復号は、一旦中断する。そして、期
間Ｃで示すように、カットアウト符号化データをフレー
ム同期信号に合わせて、１フレームの復号と１フレーム
の表示を繰り返す通常の復号再生状態となる。

【００５６】復号が、カットアウト符号化データの最終
画像に到達したならば、期間Ｄに示すように、カットア
ウト符号化データの復号は停止して、代わりにあらかじ
め復号を進めてあるカットイン符号化データの復号を開
始する。カットアウト符号化データの最終画像を表示し
た後に、期間Ｅに示すように、カットイン符号化データ
の先頭画像を表示するように表示部への出力を制御し、
その後、カットイン例の符号化データをフレーム毎に順
次出力していくことにより、連続的な動画の切り替えを
行なう。

【００５７】次に、制御部８が各部を制御して画像の編
集再生処理を行う手順について説明する。図３は、制御
部８がカットイン符号化データによる編集再生処理を行
う場合の制御処理手順を示すフローチャートである。ま
ず、ステップＳ１１（以降Ｓ１１と記載する）で示して
いるように、カットイン符号化データがビデオバッファ
７に入力開始されるまで、カットアウト符号化データの
復号及び表示制御を行なう。次に、Ｓ１２で示すよう
に、カットイン符号化データがビデオバッファ７に入力
された時点で、時分割復号を用いて、カットアウト符号
化データの復号及び表示制御を行ないながら、並行して
カットイン符号化データの復号を行なう。そして、Ｓ１
３で示すように、カットアウト符号化データとカットイ
ン符号化データの復号及び表示の制御の切り替えを行な
う。

【００５８】ここで、図４、図５、図６を用いて、図３
で示したフローチャートのより詳細なフローについて説
明をする。図４は、図３のＳ１１のカットアウト復号デ
ータの復号及び表示制御の詳細を示すフローチャートで
ある。まず、Ｓ２１において、制御部８はタイマー３か
らのフレームパルスが入力されると、Ｓ２２以降の処理
を行う。これは、Ｓ２１よりも後段に続くステップの実
行が、１フレーム時間に一回になるように調整するため
である。次にＳ２２において、制御部８はフレームメモ
リ６に対して表示する画像データ（カットアウト符号化
データを復号した画像データ）を制御して表示部へ出力
させる。これは、画像データを動画像として表示するた
めに行なう。

【００５９】次にＳ２３において、カットアウト符号化
データが、カットアウト符号化データの最終表示画像デ
ータまで復号が完了していおり、カットイン符号化デー
タがないならば、この復号処理を終了し、それ以外なら
ば、Ｓ２４を実行する。Ｓ２４において、制御部８から
の制御信号を受けて、復号器５がカットアウト符号化デ
ータを１フレームだけ復号し、フレームメモリ６に出力
する。次にＳ２４において、制御部８は、カットイン符
号化データがビデオバッファ７に入力されたかを確認
し、入力されていれば、Ｓ１２に進み、入力されていな
ければ、Ｓ２１に戻る。

【００６０】図５は、時分割復号を用いてカットアウト
符号化データの復号と表示制御を行ないながら、並行し
てカットイン符号化データの復号を行なう時の図３のＳ
１２の詳細を説明するフローチャートである。まず最初
に、Ｓ３１において、制御部８はタイマー３からのフレ
ームパルスが入力されると、Ｓ３２以降の処理を行う。
これは、Ｓ３１よりも後段に続くステップの実行が、１
フレーム時間に一回になるように調整するためである。
次にＳ３２において、制御部８は、フレームメモリ６に
対して表示する画像データ（カットアウト符号化データ
を復号した画像データ）を制御して表示部へ出力させ
る。これは、画像データを、動画像として表示するため
に行なう。

【００６１】次にＳ３３において、カットアウト符号化
データが、カットアウト符号化データの最終表示画像デ
ータまで復号が完了しているならば、Ｓ４７を実行し、
それ以外ならば、Ｓ３４を実行する。Ｓ３４において、
制御部８からの制御信号を受けて、復号器５がカットア
ウト符号化データを１フレームだけ復号し、フレームメ
モリ６に出力する。次にＳ３５において、復号器５がカ
ットイン符号化データの復号を行なう。Ｓ３６で、タイ
マー３から次のフレームパルスが入力されているかを確
認する。次のフレームパルスであればＳ３２に戻り、ま
だ1フレーム時間内であれば、Ｓ３７に進む。Ｓ３７に
おいて、カットイン符号化データが復号完了したかを確
認する。カットイン符号化データが復号完了していなけ
れば、Ｓ３５に戻り、処理を続ける。すなわち、カット
イン符号化データの復号を１フレーム時間が完了するま
で、続行する。カットイン符号化データが復号完了して
いればＳ１３へ進む。

【００６２】図６は、図３のＳ１３のカットアウト符号
化データとカットイン符号化データの復号及び、表示の
切り替えの詳細を示すフローチャートである。まず、最
初に、Ｓ４１において、制御部８はタイマー３からのフ
レームパルスが入力されると、Ｓ４２以降の処理を行
う。これは、Ｓ４１よりも後段に続くステップの実行
が、１フレーム時間に一回になるように調整するためで
ある。

【００６３】次にＳ４２において、フレームメモリ６に
蓄積されたカットアウト符号化データの表示が完了した
かを確認する。カットアウト符号化データの最終表示画
像データがフレームメモリ６から出力されているなら
ば、Ｓ４４を実行し、それ以外、すなわちカットアウト
符号化データの最終表示画像データがフレームメモリ６
から出力されていないならば、Ｓ４３を実行する。Ｓ４
３は、カットアウト符号化データを復号した画像データ
を出力するように、フレームメモリ６を制御する。Ｓ４
４は、カットイン符号化データを復号した画像データを
出力するようにフレームメモリを制御する。

【００６４】次にＳ４５において、カットアウト符号化
データが、カットアウト符号化データの最終表示画像デ
ータまで復号が完了しているならば、Ｓ４７を実行し、
それ以外ならば、Ｓ４６を実行する。また、前述のＳ３
３でカットアウト符号化データの復号が完了した場合
も、Ｓ４７を実行する。Ｓ４６は、カットアウト符号化
データを１フレーム復号し、Ｓ４７は、カットイン符号
化データを１フレーム復号する。こうして、復号処理す
べき符号化データが、どちらか一方になった場合には、
それを１フレーム処理を行うことになる。

【００６５】次にＳ４８において、カットイン符号化デ
ータの最終表示画像の復号に達しているかどうかを判断
し、そうである場合は、Ｓ４９において、フレームメモ
リ６に蓄積された復号データ（Ｓ４６，４７で復号され
たデータ）を出力制御し、このタスクを終了する。カッ
トイン符号化データの最終表示画像の復号に達していな
い場合は、Ｓ４１に戻って、繰り返し、１フレームの表
示制御と復号を行なう。

【００６６】このように、カットアウト符号化データ
と、カットイン符号化データを時分割を用いて、並列的
に復号する際、カットアウト符号化データに対して、表
示との同期を取るため、フレームの同期信号を開始基準
として、１フレーム時間毎に１フレームの復号が行なわ
れる。一方、カットイン符号化データの復号は、カット
アウト符号化データの復号とは異なり、１フレームとい
うような復号量を基準としてではなく、カットアウト符
号化データを復号して、次のフレームの開始基準信号が
来るまでの時間によって動作が管理される。復号装置の
復号能力が、１フレーム時間内に２フレームの速度より
も遅い場合、カットイン符号化データの復号は、図２に
示すように、複数のフレーム時間を要する。

【００６７】また、復号装置の復号能力が、１フレーム
時間内に２フレームの速度よりも速い場合、カットイン
符号化データの復号は、１フレーム時間毎に、１フレー
ム以上の復号が可能である。また、符号化データのエラ
ーといった不測の事態により、カットイン符号化データ
の復号に時間を要する場合においても、適切な時間にこ
れを中断して、カットアウト符号化データの復号処理を
行なうことができ、表示時間に対して復号が遅れてしま
うことを回避できるので、動画像の連続的な表示を保つ
ことができる。

【００６８】＜第２の実施形態＞図７は、本発明を適用
した動画像復号装置の第２実施形態を示すブロック図で
ある。この動画像復号装置は、図１のものとほぼ同じ構
成なので、同一部分には同一符号を付す。図１の動画像
復号装置と異なるのは、ビデオバッファ１，７のポイン
タ位置を記憶する記憶部９を備えたことである。制御部
８は、ビデオバッファ１，７の出力ポインタ位置や、入
力停止ポインタ位置等を一旦記憶部９に保存し、それを
またビデオバッファ１，７のポインタレジスタ（図示せ
ず）に書き込む処理を行う。

【００６９】（第１の処理例）図７の動画像復号装置に
より、編集再生処理を行う場合の第１の処理例を次に述
べる。まず、カットアウト符号化データが、第１のビデ
オバッファ１に供給され、スイッチ４を経て、復号器５
に供給される。制御部８は、タイマー３から、フレーム
時間ごとに合図（パルス信号）を受ける。フレームメモ
リ６内に表示するべき画像データが存在する場合には、
制御部８は、フレームメモリ６に対して、表示すべきデ
ータを指示し、復号部５に１フレームの符号化データを
復号させる。制御部８が、タイマー３からフレームパル
スを受けて、繰り返しフレームメモリ６の制御と、１フ
レームの復号を行なう。このことによって、フレームメ
モリ６から、表示部に対して、フレーム画像データが順
次出力され、動画像として表示ができる。

【００７０】次に、カットイン符号化データが、第２の
ビデオバッファ７に供給開始される。制御部８は、タイ
マー３からフレーム時間ごとに合図を受け、フレームメ
モリ６に対して、表示すべきデータを指示し、スイッチ
４を制御して、第１のビデオバッファ１側を選択し、復
号器５にカットアウト符号化データの１フレームを復号
させる。続いて、スイッチ４を制御して、第２のビデオ
バッファ７側を選択し、復号器５にカットイン符号化デ
ータを復号させる。

【００７１】ここで、制御部８は、第２のビデオバッフ
ァ７からのデータを復号する際、符号化データ内の特定
のスタートコードを検出したならば、第２のビデオバッ
ファ７のメモリの出力ポインタ位置を読み出し記憶部９
に保存する。ここで、特定のスタートコードは、例え
ば、ピクチャヘッダの先頭のスタートコードや、スライ
スヘッダの先頭のスタートコードなどでもよい。

【００７２】さらに制御部８は、タイマー３から次のフ
レームパルスを受けたところで、カットイン符号化デー
タの復号を中断し、フレームメモリ６に対して、表示す
べきデータを指示し、スイッチ４を制御して、第１のビ
デオバッファ１側を選択し、カットアウト符号化データ
の１フレームを復号する。その後、制御部８は、スイッ
チ４を制御して、第２のビデオバッファ７側を選択し、
前記保存した第２のビデオバッファ７のメモリの出力ポ
インタ位置を、第２のビデオバッファ７のメモリの出力
ポインタレジスタに書き込む。第２のビデオバッファ７
は、メモリの出力バッファポインタレジスタが書き替え
られたことにより、符号化データを遡って出力する。こ
れにより、復号器５は、カットイン符号化データの復号
を、前回中断した位置よりも、手前から復号を再開す
る。

【００７３】制御部８が、タイマー３からフレームパル
スを受けて、フレームメモリ１５の制御をして画像デー
タを出力し、復号器５を制御してカットアウト符号化デ
ータの１フレーム復号する。その後、タイマー３から次
のフレームパルスが来るまで、カットイン符号化データ
を前回の復号中断よりも一部データを遡って復号を行な
わせる。このことによって、カットアウト符号化データ
の復号を、１フレーム時間毎に、１フレーム復号しなが
ら、時分割を用いて並列的に、カットイン符号化データ
の復号をすることができる。

【００７４】そして、カットイン符号化データの復号
が、先頭の画像を表示できる位置まで進んだならば、カ
ットイン側の復号は、一旦停止して、カットアウト符号
化データのみを復号する状態、すなわち、制御部８が、
タイマー１３から合図を受け、フレームメモリ１５の制
御をして画像データを出力し、復号器５の制御をしてカ
ットアウト符号化データを１フレームの復号を繰り返し
行なう状態に移行する。

【００７５】そして、カットアウト符号化データの復号
が、最終表示画像まで到達したならば、復号器５では、
タイマー３から、フレームパルスを受け、フレームメモ
リ６に対して、表示する画像データを指示し、スイッチ
４を制御して、第２のビデオバッファ７側を選択し、カ
ットイン符号化データを復号する。制御部８が、タイマ
ー３からフレームパルスを受けて、繰り返しフレームメ
モリ６の制御して画像データを出力し、復号器５を制御
してカットイン符号化データを１フレームの復号を行な
う。このことによって、フレームメモリ６から、表示部
に対して、フレーム画像データが順次出力され動画像と
して表示ができる。

【００７６】ここで、カットアウト符号化データの復号
とカットイン符号化データの復号を時分割を用いて並列
的に復号する動作において、メモリの出力ポインタを保
存するスタートコードをピクチャヘッダ先頭のスタート
コードとした場合、そのピクチャにおいて復号完了した
スライスを制御部８が記憶部９に記憶しておくことによ
り、ピクチャヘッダまで遡って復号を再開したときに、
復号済みのスライスをスキップしてから、復号を再開す
ることができる。

【００７７】図８に、カットアウト符号化データの復号
とカットイン符号化データの復号を時分割を用いて並列
的に復号する際の、カットイン符号化データの復号の例
を示す。カットイン符号化データがピクチャの復号の途
中で中断された場合、次の復号開始時は、そのピクチャ
の先頭の位置まで遡る場合である。

【００７８】まず、１回目の復号においては、ピクチャ
の上部分が復号され、タイマー３からのフレームパルス
により、ＳＬＩＣＥ３の途中のブロックの復号で中断さ
れる。２回目の復号においては、符号化データが、ピク
チャの先頭位置まで遡っており、復号器は、ピクチャヘ
ッダ部分の情報を取り込んで、その後、すでに復号済み
のＳＬＩＣＥ１、ＳＬＩＣＥ２をスキップしてから復号
を開始する。しかし、再び、タイマー３からの合図によ
り、ピクチャの復号途中で中断される。３回目の復号で
は、２回目の復号と同様に、符号化データが、ピクチャ
の先頭位置まで遡っており、復号器は、ピクチャヘッダ
部分の情報を取り込んで、その後、すでに復号済みのス
ライスをスキップしてから復号を開始し、１ピクチャの
復号が完了する。

【００７９】図９は、時分割復号を用いてカットアウト
符号化データの復号と表示制御を行ないながら、並行し
てカットイン符号化データの復号を行なう時の詳細を説
明するフローチャートである。この復号処理は、基本的
には図３におけるフローチャートに沿って処理されるも
のであるが、Ｓ１２の内容が異なる。したがって、第１
の処理例におけるＳ１２に該当する部分をＳ１２ａとし
て以下説明を行う。

【００８０】まず最初に、Ｓ５１において、タイマーか
らフレームパルスを受ける。これは、Ｓ５１よりも後段
に続くステップの実行が、１フレーム時間に一回になる
ように調整するためである。次にＳ５２において、フレ
ームメモリ６に対して表示する画像データを制御する。
これは画像データを動画像として表示するために行な
う。

【００８１】次にＳ５３において、カットアウト符号化
データが復号完了していれば、図６に示すＳ４７に進
む。カットアウト符号化データが復号完了していなけれ
ば、Ｓ５４に進む。Ｓ５４において、復号器５は、カッ
トアウト符号化データを１フレームだけ復号し、フレー
ムメモリ６に出力する。次にＳ５５において、制御部８
は、前回のカットイン符号化データを復号した際に、タ
イマー３からのフレームパルスによってカットイン符号
化データの復号を中断したかどうかを判断し、中断した
場合はＳ５６に、していない場合はＳ５９を実行する。
Ｓ５６では、以前のカットイン符号化データにおいて、
すでに記憶部９に保存してあるスタートコード検出位置
（出力ポインタ位置）をカットイン符号化データを蓄積
しているビデオバッファ７の出力ポインタレジスタにセ
ットする。こうして、カットイン符号化データの供給を
遡り、例えば、ピクチャヘッダの先頭から開始するよう
にする。次にＳ５７において、ピクチャヘッダ内に含ま
れる、復号に必要なデータを取得する。次にＳ５８にお
いて、すでに復号済みのスライスをスキップする。

【００８２】Ｓ５９において、カットイン符号化データ
の復号を行なう。Ｓ６０において、復号器５が復号中に
例えばピクチャスタートコードを検出した場合、Ｓ６１
で、制御部８はそのときの出力ポインタ位置を記憶部９
に保存する。Ｓ５６において、ビデオバッファ７の出力
ポインタレジスタにセットする値である。Ｓ６２におい
て、タイマー３からのフレームパルスを受け取った場
合、Ｓ５２からの処理を繰り返す。Ｓ６３において、カ
ットイン符号化データが復号完了したかを確認し、カッ
トイン符号化データが復号完了していなければ、Ｓ５９
に戻り、処理を続ける。すなわち、カットイン符号化デ
ータの復号を１フレーム時間が完了するまで、続行す
る。カットイン符号化データが復号完了していればＳ１
３へ進む。

【００８３】本処理例においては、カットイン符号化デ
ータの復号が中断され、次に復号を再開する時に、符号
化データをピクチャの先頭まで遡りピクチャヘッダの復
号を再度行なうので、符号化データのピクチャヘッダよ
りも下の階層に含まれる復号情報は記憶しておく必要が
なく、復号情報を記憶しておくメモリを少なく抑えるこ
とが可能である。

【００８４】（第２の処理例）図７の動画像復号装置に
より、編集再生処理を行う場合の第２の処理例を次に述
べる。図１０に、カットアウト符号化データの復号とカ
ットイン符号化データの復号を時分割を用いて並列的に
復号する動作の際の、カットイン符号化データの復号の
別の例を示す。図１０においては、カットイン符号化デ
ータがピクチャの復号の途中で中断された場合、次の復
号開始時には、そのスライスの先頭の位置まで遡るよう
になっている。

【００８５】まず、１回目の復号においては、ピクチャ
の上部分が復号され、タイマー３の合図（パルス）によ
り、ＳＬＩＣＥ３途中のブロックの復号で中断される。
２回目の復号においては、符号化データが、スライスの
先頭位置まで遡っており、復号器５は、ＳＬＩＣＥ３の
先頭位置から復号を開始する。しかし、再び、次のタイ
マ１３からの合図（パルス）により、ＳＬＩＣＥ６の途
中のブロックの復号で中断される。３回目の復号では、
２回目の復号と同様に、符号化データが、ＳＬＩＣＥ６
の先頭位置まで遡っており、復号器５は、ＳＬＩＣＥ６
の先頭から復号を開始し、１ピクチャの復号が完了す
る。

【００８６】図１１は、時分割復号を用いてカットアウ
ト符号化データの復号と表示制御を行ないながら、並行
してカットイン符号化データの復号を行なう時の詳細を
説明するフローチャートである。この復号処理は、基本
的には図３におけるフローチャートに沿って処理される
ものであるが、Ｓ１２の内容が異なる。したがって、第
２の処理例におけるＳ１２に該当する部分をＳ１２ｂと
して以下説明を行う。

【００８７】まず最初に、Ｓ７１において、制御部８
は、タイマー３からフレームパルスを受ける。これは、
Ｓ７１よりも後段に続くステップの実行が、１フレーム
時間に一回になるように調整するためである。次にＳ７
２において、フレームメモリ６に対して表示する画像デ
ータを制御する。これは、画像データを動画像として表
示するために行なう。

【００８８】次に、Ｓ７３において、カットアウト符号
化データが復号完了しているのが確認できれば、図６に
示すＳ４７に進む。カットアウト符号化データが復号完
了していなければ、Ｓ７４に進む。Ｓ７４において、復
号器５はカットアウト符号化データを１フレームだけ復
号し、フレームメモリ６に出力する。次にＳ７５におい
て、前回のカットイン符号化データを復号した除に、タ
イマー３からのパルスによって、カットイン符号化デー
タの復号を中断したかどうかを判断し、中断した場合は
Ｓ７６に、していない場合はＳ７９を実行する。Ｓ７６
では、以前のカットイン符号化データにおいて、すでに
記憶部９に保存してあるスタートコード検出位置（出力
ポイント位置）をカットイン符号化データを蓄積してい
るビデオバッファ７の出力ポインタレジスタにセットす
る。こうして、カットイン符号化データの供給を遡り、
例えば、ピクチャヘッダの先頭から開始するようにす
る。次にＳ７７において、ピクチャヘッダ内に含まれ
る、復号に必要なデータを取得する。次にＳ７８におい
て、すでに復号済みのスライスをスキップする。

【００８９】Ｓ７９において、カットイン符号化データ
の復号を行なう。Ｓ８０において、復号中に例えばピク
チャスタートコードを検出した場合、Ｓ８１で、制御部
８は、そのときの出力ポインタ位置を記憶部９に保存す
る。これは、Ｓ７６において、出力ポインタにセットす
る値である。さらに、Ｓ８２において、出力ポインタ位
置を、ビデオバッファ７に対する入力ポインタ停止位置
としてレジスタにセットする。

【００９０】ビデオバッファ７は、入力ポインタが入力
ポインタ停止位置まで来た場合、符号化データの入力を
停止し、符号化データを遡るのに必要なデータを保存す
る。Ｓ８３において、制御部８がタイマー３からのフレ
ームパルスを受け取った場合、Ｓ７２からの処理を繰り
返す。受け取っていない場合、Ｓ８４において、カット
イン符号化データが復号完了したかを確認する。カット
イン符号化データが復号完了していなければ、Ｓ７９に
戻り、処理を続ける。すなわち、カットイン符号化デー
タの復号を１フレーム時間が完了するまで、続行する。
カットイン符号化データが復号完了していればＳ１３へ
進む。

【００９１】本処理例においてはカットイン符号化デー
タの復号を中断した場合、次に復号を再開するにあたっ
て、符号化データをスライスの先頭まで遡り、スライス
の先頭から再度復号するので、符号化データのスライス
ヘッダよりも下の階層に含まれる復号情報は記憶してお
く必要がない。第１の処理例のようにピクチャヘッダま
で遡る例に比べて、復号情報を記憶しておくメモリを多
く取らなければならないが、符号化データを遡るデータ
量が少なく、スライスをスキップする処理も必要がなく
なるので、より高速に復号処理を行なうことができる。

【００９２】さて、第２の処理例では、制御部８が第１
のビデオバッファ１と第２のビデオバッファ７それぞれ
に対して、入力停止位置ポインタレジスタをセットでき
るようになっている。ビデオバッファ１，７には、メモ
リの位置を指し示す入力ポインタと出力ポインタがあ
り、それぞれ、符号化データの入力と出力位置を管理し
ている。メモリは、通常、一定のリニアな空間を循環的
に使用している。データを入力して、入力ポインタが移
動していき、循環して出力ポインタ位置まで到達する
と、メモリ内は、すべて蓄積された符号化データになっ
てしまい、これ以上データを蓄積できない状態（フル）
になる。逆に、データを出力して、出力ポインタが移動
していき、循環して入力ポインタ位置まで到達してしま
うと、メモリ内には、データが蓄積されていない状態
（エンプティ）になる。

【００９３】ところで、ここで示すような循環的なメモ
リ管理を使用した場合、フル状態になるときに、符号化
データを遡るために出力ポインタ位置を移動しようとし
ても、遡りたい符号化データが、新しくビデオバッファ
に入力されるデータにより破壊されている。この問題を
回避するために、入力停止位置ポインタを定義し、復号
器５は、復号の際、符号化データ内の特定のスタートコ
ードを検出したならば、ビデオバッファのメモリの出力
ポインタ位置を読み出し保存すると同時に、この位置を
ビデオバッファの入力停止位置ポインタレジスタにセッ
トする。入力ポインタは、入力停止位置ポインタ位置に
達すると、入力を停止し、遡りたい符号化データが、新
しくビデオバッファに入力されるデータにより破壊され
ることを回避する。

【００９４】図１２にビデオバッファのデータの管理の
様子の例を示す。図１２の（ａ）では、ビデオバッファ
の初期状態を示している。入力ポインタ、出力ポインタ
共に同一位置を指しており、エンプティ状態である。次
に、（ｂ）では、データが入力されて、符号化データが
蓄積されている状態を示している。（ｃ）では、通常の
復号状態におけるビデオバッファの例を示している。入
力ポインタ、出力ポインタが共に移動しており、ビデオ
バッファにデータが入力と出力がされている状態であ
る。この例では、出力ポインタ位置に近くなってきて、
メモリバッファがほぼ、フルの状態になっている。
（ｄ）では、入力停止位置ポインタレジスタをセットし
たことにより、入力ポインタが停止した状態になってい
る様子を示している。（ｅ）では、さらに出力を進めた
結果、メモリバッファ内の蓄積されているデータの容量
が減った様子を示している。しかし、入力が停止して、
入力ポインタが移動していないので、入力停止位置ポイ
ンタから、出力ポインタ位置までのデータは、メモリ内
に凍っている。（ｆ）では、出力ポインタを移動して、
符号化データを遡った状態を示している。

【００９５】図１３は、ビデオバッファ内の制御を示す
フローチャートである。まず、Ｓ９１において、制御部
８が、ビデオバッファ内に符号化データがフルの状態で
あるかを判定し、フルの場合はＳ９４にジャンプする。
フルではない場合は、Ｓ９２において、入力ポインタ位
置が、入力ポインタ停止位置にあるかどうかを判定し、
入力ポインタ停止位置の場合は、Ｓ９４にジャンプす
る。入力ポインタ停止位置のではない場合は、Ｓ９３に
おいて、制御部８がビデオバッファ１，７に符号化デー
タを入力する。

【００９６】次に、Ｓ９４において、制御部８が出力ポ
インタ位置を書き替えたか否かを判定し、書き替えた場
合は、Ｓ９５へ、書き替えなかった場合は、Ｓ９６にジ
ャンプする。Ｓ９５において、出力位置ポインタを移動
する。次にＳ９６において、ビデオバッファがエンプテ
ィ状態かを判定し、エンプティの場合は、Ｓ９１に、エ
ンプティではない場合はＳ９７にジャンプする。Ｓ９７
において、制御部８からデータを要求されているかを判
定し、要求されていないならば、Ｓ９１にジャンプし、
そうでない場合は、Ｓ９８において、符号化データを復
号器５に出力し、Ｓ９１にジャンプする。

【００９７】こうして、復号の際、符号化データ内の特
定のスタートコードを検出したならば、ビデオバッファ
のメモリの出力ポインタ位置を読み出し保存すると同時
に、この位置をビデオバッファの入力停止位置ポインタ
レジスタにセットするので、入力ポインタは、入力停止
位置ポインタ位置に達すると、入力を停止し、遡りたい
符号化データが、新しくビデオバッファに入力されるデ
ータにより破壊されないようにする。

【００９８】なお、本発明は上記実施形態に限定させる
ものではなく、例えば、フレーム単位で処理を行ってい
るが、フィールド単位でも構わない。また、符号化デー
タはカットアウトとカットインの２種類であったが、こ
れに限らず複数であってもよい。その場合は、それぞれ
の符号化データを蓄積するビデオバッファが必要とな
る。また、上記復号処理は、コンピュータに実行させる
プログラムにより実現される場合もあり、該プログラム
は記録媒体に記録され提供される。

【００９９】

【発明の効果】本発明によれば、一つの復号器を、時分
割復号により、並列的に複数の復号に利用することがで
きるため回路規模の増加を最小限にとどめ、コスト、消
費電力の増加を少なく抑えながら、連続的な動画像の表
示を行なう編集再生ができる。また、並列復号処理の
際、一つの符号化データの復号処理を、時間により適切
に処理タイミング管理ができるので、エラーが発生した
場合や、記録媒体からのデータの供給の遅延により、復
号予定のデータが壊れていて判別ができない、あるい
は、データが来るのを待つ必要が生じる場合にも、適切
な時間内に切り替えを行なうことができる。また、中断
した符号化データを遡って復号を再開する機能により、
符号化データごとの情報を再復号によって得ることがで
きるため、復号情報を保持するデータ量を大幅に削減す
ることが可能である。

【図面の簡単な説明】

【図１】本発明を適用した動画像復号装置の第１実施形
態を示すブロック図である。

【図２】第１実施形態における復号処理を示すタイミン
グ図である。

【図３】第１実施形態におけるカットイン符号化データ
による編集再生処理を行う場合の制御処理手順を示すフ
ローチャートである。

【図４】第１実施形態における図３のＳ１１の処理を詳
細に表すフローチャートである。

【図５】第１の実施形態における図３のＳ１２の処理を
詳細に表すフローチャートである。

【図６】第１の実施形態における図３のＳ５１の処理を
詳細に表すフローチャートである。

【図７】本発明を適用した動画像復号装置の第２実施形
態を示すブロック図である。

【図８】符号化データをピクチャの先頭まで遡って復号
するときの復号手順の第１の処理例を説明する図であ
る。

【図９】第１の処理例の復号手順を示すフローチャート
である。

【図１０】符号化データをピクチャの先頭まで遡って復
号するときの復号手順の第２の処理例を説明する図であ
る。

【図１１】第２の処理例の復号手順を示すフローチャー
トである。

【図１２】ビデオバッファ部のデータ管理動作を説明す
る図である。

【図１３】ビデオバッファ部のデータ管理動作を示すフ
ローチャートである。

【図１４】ＭＰＥＧのピクチャタイプ構成と参照の仕組
みを説明する図である。

【図１５】ＭＰＥＧの符号化データのリオーグリングを
説明する図である。

【図１６】ＭＰＥＧの符号化データの階層構造を説明す
る図である。

【図１７】ＭＰＥＧのＧＯＰ間の参照について説明する
図である。

【図１８】従来の一般的な復号装置の構成を表すブロッ
ク図である。

【図１９】従来の一般的な復号装置における編集再生の
タイミング図である。

【図２０】複数の復号器を用いて、連続的な編集再生を
実現する動画像復号装置の構成を表すブロック図であ
る。

【図２１】複数の復号器を用いて、連続的な編集再生を
実現する動画像復号装置の編集再生のタイミング図であ
る。

【図２２】時分割復号を用いて、連続的な編集再生を実
現する動画像復号装置の構成を表すブロック図である。

【図２３】時分割復号を用いて、連続的な編集再生を実
現する動画蝕復号装置の編集再生のタイミング図であ
る。

【符号の説明】

１，７ ビデオバッファ、 ３ タイマー ４ スイッチ ５ 復号器 ６ フレームメモリ ８ 制御部 ９ 記憶部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 海木 延佳 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Ｆターム(参考） 5C052 AA01 AB04 AC01 CC06 CC11 DD04 5C053 FA14 FA23 GB26 GB29 GB32 GB38 HA21 JA22 KA04 KA24 5C059 KK06 KK40 MA00 MA05 MA14 MA23 MC11 MC38 ME01 NN21 PP05 PP06 PP07 SS12 SS16 SS20 TA17 TB03 TB04 TC14 TC27 TC47 UA05 UA32 UA33 UA36 UA38 UA39

Claims (7)

【特許請求の範囲】
1. 【請求項１】 予測符号化方式で符号化された複数種類
   の編集用動画像の符号化データを時分割を用いて並列的
   に復号して表示させる動画像復号方法において、 前記符号化データを種類ごとに蓄積する複数の符号化デ
   ータ記憶部と、 前記符号化データ記憶部の出力のうち一つを選択するス
   イッチと、 前記スイッチにより選択された符号化データを、表示速
   度よりも速い速度で復号する復号部と、 前記復号部で復号された画像データを一旦保存し、所定
   の表示順番に復号画像データを１画像表示単位ごとに出
   力する復号データ記憶部と、 １画像表示単位を表示する時間である表示単位時間を計
   数する表示単位時間計数部と、 各部を制御する制御部とを備え、 前記制御部は、 前記時間計数部が計数する表示単位時間毎に、前記スイ
   ッチを切り換えて前記符号化データ記憶部に記憶された
   符号化データを時分割に順に読み出す手段と、 読み出された符号化データを前記復号部が復号処理して
   前記復号データ記憶部に記憶させる手段と、 前記復号データ記憶部に１画像表示単位の復号データが
   蓄積された時に、その復号データを各種類ごとに所定の
   順番で出力させる手段とを備えたことを特徴とする動画
   像復号装置。
2. 【請求項２】 次に出力する符号化データが符号化デー
   タ記憶部上のどの位置にあるかを管理する出力ポインタ
   を記憶する出力ポインタ記憶部を備え、 前記制御部は、 前記出力ポインタの値を前記符号化データ記憶部から読
   み出して一旦前記出力ポインタ記憶部に記憶させる手段
   と、 前記出力ポインタ記憶部に記憶した前記出力ポインタを
   前記符号化データ記憶部に書き込む手段とを備えたこと
   を特徴とする請求項１記載の動画像復号装置。
3. 【請求項３】 前記制御部は、 前記符号化データ記憶部上に符号化データの入力停止位
   置を示す入力停止位置ポインタを設定し前記符号化デー
   タ記憶部に書き込む手段を備えたことを特徴とする請求
   項１又は２記載の動画像復号装置。
4. 【請求項４】 予測符号化方式で符号化された複数種類
   の編集用動画像の符号化データを時分割を用いて並列的
   に復号して表示させる動画像復号方法において、 １画像表示単位を表示する時間である表示単位時間毎
   に、前記符号化データを種類ごとにそれぞれ蓄積する複
   数の符号化データ記憶部から、符号化データを時分割に
   順に読み出すステップと、 読み出された符号化データを前記復号部が復号処理して
   復号データ記憶部に記憶させるステップと、 前記復号データ記憶部に１画像表示単位の復号データが
   蓄積された時に、その復号データを各種類ごとに所定の
   順番で出力させるステップとを有する動画像復号方法。
5. 【請求項５】次に出力する符号化データが符号化データ
   記憶部上のどの位置にあるかを管理する出力ポインタの
   値を前記符号化データ記憶部から読み出して一旦前記出
   力ポインタを記憶するステップと、 記憶した前記出力ポインタを前記符号化データ記憶部に
   書き込むステップとを有することを特徴とする請求項４
   記載の動画像復号方法。
6. 【請求項６】 前記符号化データ記憶部上に符号化デー
   タの入力停止位置を示す入力停止位置ポインタを設定し
   前記符号化データ記憶部に書き込むステップを有するこ
   とを特徴とする請求項４又は５記載の動画像復号方法。
7. 【請求項７】 請求項４から６のいずれかに記載の動画
   像復号方法をコンピュータに実行させるプログラムが記
   録されている記録媒体。