JP2000032395A

JP2000032395A - 復号化方法

Info

Publication number: JP2000032395A
Application number: JP19402698A
Authority: JP
Inventors: Makoto Yasuda; 誠安田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1998-07-09
Filing date: 1998-07-09
Publication date: 2000-01-28

Abstract

(57)【要約】【課題】高速再生時に、ビットストリーム中のIフレ
ームの分布状況によらず、表示の自然さを損なわない滑
らかな高速再生画像を実現する。【解決手段】本発明の復号化方法では、高速再生時に
ビットストリーム（図３Ａ）中の全画像データのうち、
デコードに必要な時間が確保できる場合には、出力時間
間隔が一定になるように選択的に出力画像を決定（図３
Ｂ）し、デコードに必要な時間が確保できない場合に
は、Bフレーム（Ｂ３）のデコードを中断し、後方参照
フレーム（Ｐ４）を出力してそれを出力画像の基点とし
て再設定する（図３Ｅ）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、蓄積装置に格納さ
れた動画像を再生する際に用いる復号化方法に関するも
のである。

【０００２】

【従来の技術】近年、情報化社会の進展に伴い、時間や
距離の壁を越え動画像を他者に伝えたいという要望が高
まっている。ディジタル技術の本格的な実用化の時代を
迎え、動画像を記録装置で記録・再生したり、通信網を
用いて遠距離間を伝送することが可能になってきた。ま
た、通信の分野だけでなく、放送の分野でもディジタル
技術を用いた伝送及び符号化方式の採用が行われてい
る。ディジタル信号の動画像や音声信号は、一般に符号
量が大きいため、効率よく記録および伝送するために
は、高能率符号化技術の利用が必須とされており、符号
化装置や復号化装置がすでに実用に供されている。

【０００３】このような高能率符号化技術として、通称
MPEG規格(Moving Picture ExpertsGroup)と呼ばれる国
際標準規格「インフォメーション・テクノロジーコー
ディング・オブ・ムービング・ピクチャーズ・アンド・
アソシエーティッド・オーディオ・フォー・ディジタル
・ストレージ・メディア・アット・アップ・トゥ・アバ
ウト・1.5Mbits」"Information Technology - Coding o
f moving pictures and associated audio for digital
storage media at up to about 1,5Mbits/s（ISO/IEC1
1172-2）に記述の方法に準じた方法が用いられることが
ある。

【０００４】ＣＤ（コンパクト・ディスク）にディジタ
ル動画像を記録したビデオＣＤや、ビデオＣＤよりもよ
り高画質で長時間のディジタル動画像を記録したＤＶＤ
は、その応用例のひとつである。これらビデオＣＤやＤ
ＶＤのプレーヤのように、蓄積メディアを用いた復号化
装置では、単に動画像を先頭から順番に通常再生するだ
けでなく、早送りや巻き戻し再生などの特殊再生が必須
の機能である。

【０００５】以下では、図面を参照しながら、上述のMP
EG規格に記載の方法を用いた従来の復号化方法について
説明する。

【０００６】はじめに、MPEG規格におけるディジタル動
画像の符号化方法及びビットストリームについて説明す
る。

【０００７】MPEG規格では、図６に示すように、ディジ
タル動画像は一続きのビデオフレーム７００から構成さ
れると想定し、同図（Ａ）に示すように、シーケンスと
呼ばれる一連のビデオフレーム群５００を符号化する。
シーケンスは、グループ・オブ・ピクチャーズ（以下GO
Pと表す。）と呼ばれる、通常0.5秒程度ごとの一連のビ
デオフレーム群６００に分割して符号化されている。

【０００８】GOPは、一例として同図（Ｂ）に模式的に
示すように、自分自身のビデオフレームのみのデータを
用いて符号化したI(intra)フレーム、時間的に前のフレ
ーム（Iフレーム及びPフレーム）のデータから予測符号
化が可能なP(predictive)フレーム、時間的に前及び後
ろのIフレーム及びPフレームから内挿予測符号化が可能
なB(bi-directionally predictive)フレームから構成さ
れる。なお、各フレームはピクチャと呼ばれ、I、Pおよ
びBの種別は、ピクチャタイプと呼ばれる。ピクチャタ
イプに付属する数字は、そのGOP内の表示順を表してい
る。

【０００９】各フレーム内の構造を同図（D）に示す。
ピクチャは、１個以上のスライスと呼ばれる画面上で帯
状の一続きの領域から構成され、さらにスライスは、１
個以上のマクロブロックと呼ばれる横１６画素＊縦１６
ラインの画像ブロック８００から構成される。

【００１０】マクロブロックは、同図（E）及び同図
（F）に示すように、ブロックと呼ばれる横８画素＊縦
８ラインの画像ブロック複数個から成り、一例として輝
度信号(Y)のブロック４個と、２系統の色信号(Cb,Cr)そ
れぞれ１個のブロックから構成される。この場合、色信
号は、原画像を縦、横ともに輝度信号に対して半分の解
像度でサンプリングされている。

【００１１】マクロブロック以下の階層では、符号化時
に選択されたマクロブックの予測モード情報、動き補償
予測に用いる動きベクトル、符号化されたDCT係数情報
などの情報が存在する。

【００１２】これらのマクロブロック層以下の各情報の
符号化には、可変長符号が用いられており、出現頻度が
高いものほど短い符号を割り当てることで、ビットスト
リームの大半を占めるマクロブロック層の情報を効率的
に符号化している。

【００１３】以上のように、構成された全階層の情報
は、同図（C）に示すように、復号化装置側で順番に正
しくデコードできるように符号化順に並び変えられて、
各フレームに各階層の符号化情報を保持するヘッダやエ
クステンションと呼ばれる階層情報とともに配置され、
ビットストリームを構成する。

【００１４】次に、MPEGビットストリームにおける、高
速再生方法について説明する。通常再生の場合には、ビ
ットストリームのすべてのピクチャについてデコードし
て表示するが、高速再生の際には、すべてのビットスト
リームを転送し、そのうちのIフレームのみ、または、I
フレームとPフレームのみを選択的にデコードして表示
することが行われる。もしくは、ビットストリーム中の
Iフレームのみを選択的に復号化装置に供給し、復号化
装置にてこのIフレームをデコードして表示する。以下
では、前者の例をあげて説明する。

【００１５】供給されるビットストリームのうち、その
中に含まれるIフレームを選択的にデコードして表示す
る例を図７に示す。同図（A）に示す入力ビットストリ
ームを通常再生した場合の出力画像を同図（B）に示し
ている。この場合では、２倍速再生が指定された場合を
想定しており、出力画像として同図（C）に示すよう
に、Iフレームかどうか判定して、該当するフレームの
みをデコードして表示する。この場合では表示フレーム
はI1,I8のみとなるため、これらの繰り返し表示で所定
の速度に調整することになる。

【００１６】

【発明が解決しようとする課題】しかし、以上の構成で
は、図７（C）に示すように、高速再生の際に供給され
るビットストリーム中のIフレームの分布状況によっ
て、特定画像の繰り返し表示が行われる結果、滑らかな
高速再生画像が得られないという課題があった。

【００１７】本発明は、上記従来の事情に鑑みて提案さ
れたものであり、高速再生画像の自然さを損なわない滑
らかな高速再生画像を実現する方法を提供することを目
的とする。

【００１８】

【課題を解決するための手段】上記課題を解決するため
に、請求項１記載の本発明の復号化方法は、動画像の符
号列を入力として、復号処理を行い、復号画像を得る復
号化方法であって、前記動画像において、現在表示中の
フレームを基点として時間間隔が一定になるように出力
フレームの候補を決定して前記復号画像を成すことを特
徴とする。

【００１９】また請求項２記載の本発明は、前記出力フ
レームが双方向予測符号化フレームである場合、前記双
方向予測符号化フレームの復号処理に際して、前記復号
処理に必要な時間が確保できない場合、前記双方向予測
符号化フレームの復号処理を中止することが望ましい。

【００２０】また請求項３記載の本発明は、前記出力フ
レームが双方向予測符号化フレームである場合、前記双
方向予測符号化フレームの復号処理に際して、前記双方
向予測符号化フレームの復号処理を中止し、前記双方向
予測符号化フレームの後方参照フレームを出力フレーム
とすることが望ましい。

【００２１】また請求項４記載の本発明は、前記出力フ
レームが双方向予測符号化フレームである場合、前記双
方向予測符号化フレームの復号処理に際して、前記双方
向予測符号化フレームの復号処理を中止し、前記双方向
予測符号化フレームの後方参照フレームを出力フレーム
とし、前記後方参照フレームを新たな出力フレームの基
点に再設定することが望ましい。

【００２２】

【発明の実施の形態】（実施の形態１）以下、本発明の
第１の実施の形態について、図面を用いて説明する。

【００２３】図１は本発明に係る復号化方法による２倍
速再生出力フレームの説明図である。

【００２４】本実施の形態は、高速再生の際には、全ビ
ットストリームを復号化装置に供給して、ビットストリ
ーム中に含まれるピクチャを次々に再生することで実現
する。

【００２５】図１（Ａ）は復号化装置に入力されたビッ
トストリームの一例を表す。高速再生時には、本発明
は、図１（Ｂ）に示すように、復号したフレームを全て
出力するのではなく、本来、通常再生時の時間軸上で再
生間隔が一定となるように選択した符号A1,A2,A3,...,A
6,...の時点のフレームを高速再生出力フレームとして
決定し、図１（Ｃ）のように出力する。この場合は２倍
速の例であり、１フレーム間隔となるように高速再生出
力フレームを決定する。同様に、N倍速の場合には、(N-
1)フレーム間隔となるように高速再生出力フレームを決
定する。

【００２６】図２は本発明に係る復号化方法による３倍
速再生出力フレームの説明図であり、図２（Ａ）のビッ
トストリームが入力されたとき、図２（Ｂ）に示すよう
に、符号B1,B2,B3,B4,...の時点というように出力フレ
ームを２フレーム間隔とすれば、３倍速の再生となる。

【００２７】ところが、以上のことを実現しようとする
と、実際の復号化装置では、デコード能力に限界がある
ことから、必ずしも全てのフレームをデコードして表示
することができるとは限らない。これは、復号化装置に
用いられるデコード回路は、通常再生が合理的に実現で
きることを最優先に設計されるため、なるべく回路面積
や消費電力の面で不利な高速回路を用いないように設計
し、有限な資源を活用するのが一般的だからである。

【００２８】ここで、図１（Ｂ）に示すように、B5フレ
ームのデコードについて考察すると、P4フレーム及びP6
フレームがデコードされている必要がある。しかも、こ
れらのP4フレーム及びP6フレームは、この場合、実際に
は表示されない結果、図１（Ｃ）の高速再生出力を得る
ために、デコードは８フレーム必要なのに対し、表示は
６フレームというように、通常再生の8/6=1.33倍のデコ
ード能力を必要とする。

【００２９】また、図２（Ｂ）に示すように、高速再生
出力フレームを符号B1,B2,B3,B4,...の時点というよう
に選択すると、デコードは６フレーム必要なのに対し、
表示は４フレームであるため、通常再生の6/4=1.25倍の
デコード能力を必要とする。

【００３０】さらに、高速再生出力フレームを符号C1,C
2,C3,C4,...の時点とする、高速再生出力フレームの基
点が（Ｂ）とは異なる３倍速再生（Ｄ）の場合では、デ
コードは８フレーム必要なのに対し、表示は４フレーム
であるため、通常再生の8/4=2倍のデコード能力を必要
とする。

【００３１】このように、高速再生出力フレームの基点
の選び方によって、滑らかな高速再生画像を得ようとす
ると、大きなデコード能力が必要となることがある。先
述した通り、１倍速を越える再生は、復号化装置のデコ
ード回路にとっては余剰とみなされるため、通常、１倍
速の数割増し程度のデコード能力となるように設計され
る。こういった、本来、復号化装置が備えるデコード能
力を越えそうな場合、すなわち、高速再生出力フレーム
のデコード処理時間に余裕がなくなれば、本実施の形態
では出力予定であったBフレームデコードを中止する。

【００３２】図３は本発明（実施の形態１〜３）に係る
復号化方法による高速再生出力フレームの説明図であ
る。図３（A）に示すようなストリームの再生時、理想
的な3倍速再生の場合、図３(B)のような出画が得られる
が、本実施の形態では符号T2で示すB3フレームのデコー
ド時間が不足すると判断されると、そのBフレームは出
画されない。すなわち、図３(C)に示すように、符号U1,
U3,U4,...というように出力する。

【００３３】図４は本発明（実施の形態１〜３）の復号
化方法のフローチャートである。まず、次のフレームの
ピクチャタイプの解析処理１００を行い、出力フレーム
に該当するかどうか判定する（処理１１０）。ここで、
出力フレームとは、図１（Ｂ）の符号A1の時点のフレー
ムが基点となっているとき、そのフレームから表示時間
軸上の未来方向で表示間隔が(N-1)フレームとなるよう
なフレームのことで、高速再生フレームを成す予定のフ
レームである。

【００３４】もし、該フレームが出力フレームに該当す
れば、ピクチャタイプを判定（処理２００）し、Iフレ
ーム及びPフレームであれば、そのフレームについては
表示予約する（処理２１０）。処理２００でBピクチャ
であると判定されれば、デコード時間に余裕があるか判
定（処理２２０）され、余裕があれば、やはりそのフレ
ームについては表示予約する（処理２１０）。

【００３５】次に該フレームがデコード（処理１４０）
され、表示設定処理１７０が行われる。ここでは、デコ
ード済みのフレームのうち、表示予約された表示すべき
フレームについて、表示順で適切な順序にて表示する処
理である。以上のような処理の後、次のフレームの解析
が行われる（処理１００）。

【００３６】処理１１０で、出力フレームに該当しない
と判定された場合は、ピクチャタイプの判定（処理１２
０）の後、Bフレームであれば、該フレームの画像部分
のビットストリームが読み捨てられる（処理１３０）。
Iフレーム及びPフレームであれば、デコード処理１４０
へ飛ぶ。

【００３７】一方、処理２２０で、Bフレームのデコー
ド時間に余裕がないと判定された場合は、後処理３００
を行い、その後、表示設定処理１７０へ飛ぶ。ここで、
後処理３００は、図５（A）に示すように、Bフレーム以
外のフレームに出会うまで画像部分のビットストリーム
を読み捨てる処理２５０である。

【００３８】以上のように、本実施の形態の復号化方法
によれば、出力フレームの時間が一定(Nフレーム)にな
るように選択的に出力フレームを決定した後、Bフレー
ムのデコード処理に際してデコードに必要な時間が確保
できないと判定された場合、該フレームについてデコー
ド処理を中止するため、復号化装置の能力範囲内で可能
な限り滑らかな高速再生画像を得ることができる。

【００３９】（実施の形態２）次に、本発明の第２の実
施の形態の復号化方法について説明する。

【００４０】本発明の第１の実施の形態の復号化方法で
は、処理２２０の結果、デコード処理時間に余裕がない
と判定された場合、Bフレームのデコード処理を中断し
たが、本実施の形態の復号化方法は、それのみならず、
そのBフレームの後方参照フレームを表示フレームに設
定する点が異なる。その他の処理については、第１の実
施の形態と同様である。

【００４１】図３（A）に示すようなストリームの再生
時、理想的な場合図３(B)のような出画が得られるが、
符号T2で示すB3フレームのデコード時間が不足すると判
断されると、そのBフレームは出画されない代わりに、
後方参照フレームP4が出力される。すなわち、図３(D)
に示すように、符号V1,V2,V3,V4,...というように出力
する。

【００４２】本実施の形態の復号化方法のフローチャー
トは、図４の後処理３００が、図５(B)に示す処理に置
き換わったものである。すなわち、図５(B)において、
後処理３００が、後方参照フレームを表示予約(処理２
３０)した後、Bフレーム以外のフレームに出会うまで画
像部分のビットストリームを読み捨てる処理(処理２５
０)に置き換わったものである。

【００４３】以上のように、本実施の形態の復号化方法
によれば、出力フレームの時間が一定(Nフレーム)にな
るように選択的に出力フレームを決定した後、Bフレー
ムのデコード処理に際してデコードに必要な時間が確保
できないと判定された場合、該フレームについてデコー
ド処理を中止し出画しないが、すでにデコード済みの後
方参照フレームを出力することで、出画枚数を増やすこ
とができ、復号化装置の能力範囲内で可能な限り滑らか
な高速再生画像を得ることができる。

【００４４】（実施の形態３）次に、本発明の第３の実
施の形態の復号化方法について説明する。

【００４５】本発明の第２の実施の形態の復号化方法で
は、処理２３０の結果、デコード処理時間に余裕がない
と判定された場合、Bフレームのデコード処理を中断
し、後方参照フレームを表示フレームに設定したが、本
発明の第３の実施の形態の復号化方法は、それのみなら
ず、その後方参照フレームを新たに出力フレームの起点
に再設定する点が異なる。その他の処理については、第
２の実施の形態と同様である。

【００４６】図３（A）に示すようなストリームの再生
時、理想的な場合図３(B)のような出画が得られるが、
符号T2で示すB3フレームのデコード時間が不足すると判
断されると、そのBフレームは出画されない代わりに、
後方参照フレームP4が出力される。さらに、その後方参
照フレームを出力フレームの基点として再設定する。す
なわち、図３(E)に示すように、符号W1,W2,W3,W4,...と
いうように出力する。フレーム間隔が不連続になる箇所
が少ない分、滑らかな高速再生画像が得られる。

【００４７】本実施の形態の復号化方法のフローチャー
トは、図４の後処理３００が、図５(C)に示す処理に置
き換わったものである。すなわち、図５(C)において、
後処理３００が、後方参照フレームを表示予約(処理２
３０)した後、出力フレームの基点を後方参照フレーム
に設定(処理２４０)し、次に、Bフレーム以外のフレー
ムに出会うまで画像部分のビットストリームを読み捨て
る処理(処理２５０)に置き換わったものである。

【００４８】以上のように、本実施の形態の復号化方法
によれば、出力フレームの時間が一定(Nフレーム)にな
るように選択的に出力フレームを決定した後、Bフレー
ムのデコード処理に際してデコードに必要な時間が確保
できないと判定された場合、該フレームについてデコー
ド処理を中止し出画しないが、すでにデコード済みの後
方参照フレームを出力し、その後方参照フレームを新た
な出力フレームの基点とすることで、出画枚数を増やす
ことができ、かつ、不連続性を目立たなくすることがで
き、復号化装置の能力範囲内で可能な限り滑らかな高速
再生画像を得ることができる。

【００４９】なお、以上のすべての実施の形態におい
て、符号化方法としてMPEG規格の上位規格である通称MP
EG2規格であるところの「インフォメーション・テクノ
ロジージェネリック・コーディング・オブ・ムービング
・ピクチャーズ・アンド・アソシエーティッド・オーデ
ィオ・フォー・ディジタル・インフォメーション」"Inf
ormation technology - Generic coding of moving pi
ctures and associated audio for digital informatio
n"（ISO/IEC13818-2）を採用した復号化方法にも適用で
きる。

【００５０】

【発明の効果】以上のように、請求項１記載の本発明の
復号化方法は、動画像の符号列を入力として、復号処理
を行い、復号画像を得る復号化方法であって、前記動画
像において、現在表示中のフレームを基点として時間間
隔が一定になるように出力フレームの候補を決定して前
記復号画像を成すため、滑らかな高速再生画像を得るこ
とができる。

【００５１】また、請求項２記載の本発明によれば、出
力フレームの時間が一定になるように選択的に出力フレ
ームを決定した後、Bフレームのデコード処理に際して
デコードに必要な時間が確保できないと判定された場
合、該フレームについてデコード処理をやめて後方参照
フレームを出力フレームと決定するため、復号化装置の
能力範囲内で可能な限り滑らかな高速再生画像を得るこ
とができる。

【００５２】また、請求項３記載の本発明によれば、出
力フレームの時間が一定になるように選択的に出力フレ
ームを決定した後、Bフレームのデコード処理に際して
デコードに必要な時間が確保できないと判定された場
合、該フレームについてデコード処理を中止し出画しな
いが、すでにデコード済みの後方参照フレームを出力す
ることで、出画枚数を増やすことができ、復号化装置の
能力範囲内で可能な限り滑らかな高速再生画像を得るこ
とができる。

【００５３】さらに、請求項４記載の本発明によれば、
出力フレームの時間が一定になるように選択的に出力フ
レームを決定した後、Bフレームのデコード処理に際し
てデコードに必要な時間が確保できないと判定された場
合、該フレームについてデコード処理を中止し出画しな
いが、すでにデコード済みの後方参照フレームを出力
し、その後方参照フレームを新たな出力フレームの基点
とすることで、出画枚数を増やすことができ、かつ、不
連続性を目立たなくすることができ、復号化装置の能力
範囲内で可能な限り滑らかな高速再生画像を得ることが
できる。

【図面の簡単な説明】

【図１】本発明による復号化方法による２倍速再生出力
フレームの説明図

【図２】本発明による復号化方法による３倍速再生出力
フレームの説明図

【図３】本発明（実施の形態１〜３）に係る復号化方法
による高速再生出力フレームの説明図

【図４】本発明（実施の形態１〜３）に係る復号化方法
のフローチャート

【図５】後処理３００の詳細なフローチャート

【図６】MPEG規格のビットストリームの説明図

【図７】従来の復号化方法の説明図

【符号の説明】

５００シーケンス６００グループ・オブ・ピクチャーズ７００ビデオフレーム８００マクロブロック９００ブロック

Claims

【特許請求の範囲】

【請求項１】動画像の符号列を入力として、復号処理
を行い、復号画像を得る復号化方法であって、前記動画像において、現在表示中のフレームを基点とし
て時間間隔が一定になるように出力フレームの候補を決
定して前記復号画像を成すことを特徴とする復号化方
法。
【請求項２】前記出力フレームが双方向予測符号化フ
レームである場合、前記双方向予測符号化フレームの復
号処理に際して、前記復号処理に必要な時間が確保でき
ない場合、前記双方向予測符号化フレームの復号処理を
中止することを特徴とする請求項１記載の復号化方法。
【請求項３】前記双方向予測符号化フレームの復号処
理を中止し、前記双方向予測符号化フレームの後方参照
フレームを出力フレームとすることを特徴とする請求項
２記載の復号化方法。
【請求項４】前記双方向予測符号化フレームの復号処
理を中止し、前記双方向予測符号化フレームの後方参照
フレームを出力フレームとし、前記後方参照フレームを
新たな出力フレームの基点に再設定することを特徴とす
る請求項３記載の復号化方法。