JP2002369204A - 動画像復号化方法およびそのプログラム - Google Patents

Abstract

(57)【要約】 【課題】 フレーム内符号化されたブロック領域が複数
のフレームに配分された形式で配信される圧縮符号化画
像信号を、任意の時点から受信しかつ復号化することを
可能にする。 【解決手段】 端末装置は、圧縮符号化画像信号の受信
を開始すると、まず、最初に受信するキーフレームＫに
後続する複数の通常フレームP-GOBに配分され、フレー
ム内符号化されている１フレーム分の複数のキーＧＯＢ
を復号化するとともに記憶し、これにもとづいて、次回
に受信するキーフレームＫの復号化を行う。その後、復
号化したキーフレームＫにもとづいて、後続する通常フ
レームP-GOBの復号化を行う。また、フレーム内符号化
されているキーＧＯＢは、復号化されるごとに、過去の
キーＧＯＢのデータを更新した最新のデータとして記憶
され、次回に受信されるキーフレームＫの復号化に用い
られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、圧縮符号化された
動画像を復号化する動画像復号化方法およびそのプログ
ラムに関し、特に監視映像などの時間的変化が少ない動
画像に適した動画像復号化方法およびそのプログラムに
関する。

【０００２】

【従来の技術】動画像の圧縮符号化方法には、ＤＣＴ
（Discrete Cosine Transform；離散コサイン変換）と
動き補償予測符号化を組み合わせた方法が一般的であ
り、この方法はＭＰＥＧ（Moving Picture Experts Gro
up）方式でも採用されている。通常、ＤＣＴは空間方向
の冗長性を低下させるべくフレーム（静止画像）内の情
報だけで符号化するフレーム内符号化に適用される。ま
た動き補償予測符号化（フレーム間符号化）は時間方向
の冗長性を低下させるべく、符号化対象フレームを他の
時刻のフレームから予測し、その符号化対象フレームと
予測したフレームとの差分信号に対してＤＣＴや量子化
などを施すものである。この場合、差分を小さく抑える
ため、符号化対象フレームは時間的に隣接するフレーム
から予測されることが多い。このようなフレーム内符号
化や動き補償予測符号化の処理は、フレームを複数分割
したブロックを基本処理単位として行われる。

【０００３】しかしながら、監視映像などの時間的な変
化が圧倒的に少ない動画像では、入力フレームを周期的
に参照画像（以下、キーフレームと呼ぶ。）に設定し、
このキーフレームと入力フレームとの間の差分信号をと
る差分符号化方式を用いても、両フレーム間の差分量は
小さいと考えられる。この方式は、前述の隣接フレーム
を用いた動き補償予測符号化と比べると、計算負荷の軽
減や、フレームの欠落によるエラーに対する耐性などの
利点をもつ。図１５を参照しつつ従来の差分符号化方式
の概略を説明する。撮像センサから順次出力される複数
のフレームｆ１，ｆ２，…が符号化器に順次入力すると
する。図１５に示すようにフレームｆｎ（ｎ＝１，２，
…）が入力すると（ＳＴ１００）、ステップＳＴ１０１
で当該入力フレームｆｎがキーフレームか否かが条件判
定される。フレームｆｎがキーフレームである場合、ス
テップＳＴ１０２でフレーム内符号化処理が実行され
る。すなわち、当該フレームｆｎをブロックに分割して
各ブロック毎にＤＣＴを施し、その変換係数が算出され
る。次いで、その変換係数を量子化した量子化係数が出
力される。次にステップＳＴ１０３でその量子化係数を
可変長符号化（エントロピ符号化）した符号化データが
生成されビットストリームにされて出力される。また前
記ステップＳＴ１０２で算出された量子化係数は、ステ
ップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を
施された後にキーフレームメモリ１００に記憶される。

【０００４】次に、ステップＳＴ１００で次のフレーム
ｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１
でフレームｆｍがキーフレームか否かが条件判定され、
フレームｆｍがキーフレームで無い場合はステップＳＴ
１０５に処理が移行し、キーフレームメモリ１００に記
憶したキーフレームｆｎとフレームｆｍとの間でブロッ
ク単位で画素値の差分値が算出される。次いで、ステッ
プＳＴ１０６でその差分値が所定範囲内か否かが判定さ
れ、その差分値が所定範囲内にある場合はステップＳＴ
１０７でフレーム間符号化、すなわちキーフレームと入
力フレームｆｍとの間の差分信号に対してＤＣＴおよび
量子化が施される。他方、その差分値が所定範囲を超え
る場合はステップＳＴ１０８でフレーム内符号化が実行
される。このようにステップＳＴ１０７，ＳＴ１０８で
算出した量子化係数は、ステップＳＴ１０３で可変長符
号化されビットストリームに変換後、出力される。

【０００５】このようなビットストリームの復号化処理
の例を図１６を参照しつつ以下に説明する。上記ビット
ストリームが入力すると（ＳＴ１１０）、このビットス
トリームから圧縮符号化信号が取り出され可変長復号化
されて上記量子化係数が得られる。次いで、ステップＳ
Ｔ１１１において、その量子化係数が上記圧縮符号化処
理のステップＳＴ１０２でフレーム内符号化されていた
場合、その復号化（フレーム内復号化）を施されてキー
フレームメモリ１０１に蓄積され、その量子化係数が上
記ステップＳＴ１０８でフレーム内符号化されていた場
合はその復号化が施される。他方、その量子化係数が上
記ステップＳＴ１０７でフレーム間符号化されていた場
合は、キーフレームメモリ１０１に蓄積したキーフレー
ムを参照してその復号化（フレーム間復号化）を施され
る。そして、このようにフレーム内またはフレーム間復
号化された復号化画像が出力される（ＳＴ１１２）。

【０００６】

【発明が解決しようとする課題】しかしながら、上記差
分符号化方式では、キーフレームと時間的に離間したフ
レームとの差分符号化を行うため、キーフレームの画質
が動画像全体の画質に直接関係することから、キーフレ
ームは高画質のものでなければならず、キーフレームに
対してはフレーム内の情報のみで圧縮符号化を行うフレ
ーム内符号化が施される。この結果、動画像の符号化処
理量はキーフレームの符号化時に急激に増大し、キーフ
レームの圧縮符号化データの伝送が遅延したり間欠した
りする問題が生じていた。特に動画像をネットワークを
通じてリアルタイムに伝送し再生（ストリーミング）す
る場合は、復号化した動画像の再生速度の変化や画像の
間欠が著しく生じることがあった。

【０００７】このような問題に鑑みて本発明が解決しよ
うとするところは、キーフレームの符号化処理量の急激
な増大を抑制し、その符号化処理量を時間的に平坦化し
且つ動画像の画質を良好にし得る動画像の圧縮符号化方
法を想定し、当該圧縮符号化方法にもとづいて時間に沿
って配信される圧縮符号化画像信号を、任意の時点から
受信しかつ復号化することを可能にする動画像復号化方
法およびそのプログラムを提供する点にある。

【０００８】

【課題を解決するための手段】本発明のうち第１の態様
にかかるものは、複数のフレーム群の各々がキーフレー
ムとこれに後続する複数の通常フレームとを含んでお
り、前記複数の通常フレームには、全体で１フレームを
構成可能でフレーム内符号化された複数の特定領域が、
互いに異なる位置に配分されており、１フレーム分の前
記複数の特定領域を参照フレームとしてフレーム間符号
化することにより、前記複数のフレーム群のうち、つぎ
のフレーム群に属する前記キーフレームが得られてお
り、前記複数の通常フレームの各々は、前記複数の特定
領域のうちの自身に配分された特定領域を除く部分であ
る非特定領域については、前記複数のフレーム群のうち
自身と同一のフレーム群に属する前記キーフレームを参
照フレームとしてフレーム間符号化されており、前記複
数のフレーム群の時間に沿った集合である圧縮符号化画
像信号を受信しかつ復号化する動画像復号化方法であっ
て、(a)前記圧縮符号化画像信号を少なくとも一部の期
間にわたって受信する工程と、(b)前記複数のフレーム
群のうち、前記工程(a)で最初に受信されるキーフレー
ムが属するフレーム群である初期フレーム群に対して、
当該初期フレーム群に含まれる１フレーム分の前記複数
の特定領域のみを復号化し、かつ記憶する工程と、(c)
前記複数のフレーム群のうち、前記工程(a)で前記初期
フレーム群より後に受信されるフレーム群ごとに復号化
を行う工程と、を備えている。

【０００９】そして、前記工程(c)は、(c-1)復号化され
かつ記憶されている１フレーム分の最新の前記複数の特
定領域を参照フレームとして、復号化の対象とされる前
記フレーム群に属する前記キーフレームをフレーム間復
号化しかつ記憶する工程と、(c-2)復号化されかつ記憶
されている最新のキーフレームを参照フレームとして、
復号化の対象とされる前記フレーム群に属する前記複数
の通常フレームの各々の前記非特定領域をフレーム間復
号化する工程と、(c-3)復号化の対象とされる前記フレ
ーム群に含まれる１フレーム分の前記複数の特定領域を
復号化しかつ記憶する工程と、を備えている。

【００１０】本発明のうち第２の態様にかかるものは、
第１の態様にかかる動画像復号化方法をコンピュータ上
で実現するために、前記各工程をコンピュータに実行さ
せるためのプログラムである。

【００１１】

【発明の実施の形態】Ａ．本発明が前提とする基本発
明．はじめに、本発明の前提として想定される基本発明
の二つの実施の形態について説明する。これらの実施の
形態は、それぞれ実施の形態１および２として記載す
る。

【００１２】実施の形態１．図１〜図３は、基本発明の
実施の形態１に係る圧縮符号化方法を実現するためのフ
ローチャートである。このフローチャートを参照しつつ
本実施の形態１に係る圧縮符号化方法を以下に詳説す
る。

【００１３】ＣＣＤ（電荷結合素子）センサやＣＭＯＳ
センサなどの撮像センサで時間軸に沿って順次撮像した
複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，
…が本実施の形態１に係る符号化器に入力する（ＳＴ
１）。尚、特定領域メモリ２にはフレームｆ１が入力す
る前に、後に詳述するフレーム１枚分のキーＧＯＢから
なる参照フレームｆ０が格納されており、この参照フレ
ームｆ０は後述する実施の形態２に係る復号化器の特定
領域メモリ１１に圧縮伝送後、復号化されて格納されて
いる。本実施の形態１の符号化器は入力フレームｆ１，
ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを
指定しており、入力フレームｆ１がキーフレームであ
る。

【００１４】先ずステップＳＴ２でそのフレームｆ１は
キーフレームか否かを条件判定される。フレームｆ１は
キーフレームであるからステップＳＴ３に処理が移行
し、図２に示すようにステップＳＴ４で特定領域メモリ
２に格納した参照フレームｆ０と入力フレームｆ１との
間で画素値の差分値と、その差分値の絶対値和（差分絶
対値和）Ｓが算出され、次いでステップＳＴ５で差分絶
対値和が閾値以下か否かが条件判定される。例えば、そ
の差分値をΔＰ_i（ｉ：各画素に対応する番号）で表現
する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ₁｜＋｜ΔＰ₂｜
＋…＋｜ΔＰ_n｜（ｎ：画素数）で表現される。差分絶
対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間
の時間的な変化が小さいとして入力フレームｆ１はフレ
ームｆ０を用いたフレーム間符号化を施される（ＳＴ
６）。具体的には入力フレームｆ１とフレームｆ０との
間の差分信号に対してＤＣＴ（離散コサイン変換）など
の直交変換を施し、その変換係数を量子化した量子化係
数が算出される。また、このようなフレーム間符号化処
理は８×８画素や１６×１６画素などのサイズをもつブ
ロック単位で実行される。これ以後の処理も同様であ
る。尚、本実施の形態では変換方式としてＤＣＴなどの
直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散
ウェーブレット変換）を採用してもよい。この場合、フ
レーム間符号化処理は上記ブロック単位で行う代わり
に、実行メモリ容量などを考慮してフレーム単位、もし
くはフレームをタイルと称する複数の領域に分割し各タ
イル単位で実行されてもよい。

【００１５】他方、ステップＳＴ５において上記ステッ
プＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合
はステップＳＴ７に処理が移行し、入力フレームｆ１は
フレーム内の情報だけで符号化するフレーム内符号化が
施される。具体的にはフレームｆ１の画素値に対してＤ
ＣＴなどの直交変換を施し、その変換係数を量子化した
量子化係数が算出される。

【００１６】尚、フレームの圧縮率を高める観点から、
上記フレーム内符号化（ＳＴ７）またはフレーム間符号
化（ＳＴ６）を実行する前に入力フレームに対して色空
間変換が施される。例えば、原信号が「Ｒ（赤色成
分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲ
ＧＢ空間からなる場合は、これをＮＴＳＣ（National T
elevision System Committee）方式などで採用されてい
るＹＵＶ座標系、ＹＩＱ座標系、ＹＣ_bＣ_r座標系などを
使用すればよい。例えば、ＹＣ_bＣ_r座標系を使用した場
合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号
Ｃ_b，Ｃ_rとからなるＹＣ _bＣ_r成分の座標系へと変換され
る。ＹＣ_bＣ_r成分はＲＧＢ成分よりも各成分間の相関が
小さいため、画像サイズを圧縮できる。

【００１７】次に図１に示すようにステップＳＴ１９に
処理が移行し、上記ステップＳＴ６，ＳＴ７で算出され
た量子化係数はハフマン符号化などを含むエントロピ符
号化を施され、その後フレームの画像サイズや量子化ビ
ット数などの画像情報や、量子化テーブルや各ブロック
領域の符号化方法（フレーム内符号化、フレーム間符号
化）などの圧縮情報と共に多重化されてビットストリー
ムとして出力される。また、上記ステップＳＴ６，ＳＴ
７で算出された量子化係数はステップＳＴ８で局部復号
化（逆量子化および逆ＤＣＴなどの逆直交変換）され、
キーフレームメモリ１に格納される。よって、キーフレ
ームメモリ１には符号化（ＳＴ６，ＳＴ７）と復号化
（ＳＴ８）を通じて量子化誤差を含んで変化したキーフ
レームが格納される。これにより、そのキーフレームの
画像は後述する復号化器で復号化（フレーム間復号化）
の際に参照されるキーフレームの画像と同一となり、復
号化する動画像の画質を劣化させることが無くなる。以
上で入力フレームｆ１（キーフレーム）に対する圧縮符
号化処理が終了する。

【００１８】次に、上記フレームｆ１に続いてフレーム
ｆ２が符号化器に入力すると、ステップＳＴ２でそのフ
レームｆ２がキーフレームか否かが条件判定される。フ
レームｆ２はキーフレームでは無いからステップＳＴ９
に処理が移行し、フレームｆ２は複数のブロック領域
（以下、ＧＯＢと呼ぶ。）に分割され、次いでステップ
ＳＴ９でこれらブロック領域（ＧＯＢ）の中から単数ま
たは複数の特定領域（以下、キーＧＯＢと呼ぶ。）が指
定される。図４（ａ）に４個のＧＯＢに分割されたフレ
ームｆ２を模式的に示す。フレームｆ２は垂直方向に十
数画素〜数十画素単位で４個のＧＯＢに分割されてお
り、その第１段目ＧＯＢがキーＧＯＢに指定されてい
る。図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続
いて符号化器に順次入力するフレームｆ３〜ｆ５も複数
のＧＯＢに分割され、フレームｆ３の第２段目ＧＯＢ、
フレームｆ４の第３段目ＧＯＢ、フレームｆ５の第４段
目ＧＯＢがそれぞれキーＧＯＢに指定される。図５に示
すようにこのようなフレームｆ１〜ｆ５は時間軸に沿っ
て配列している。

【００１９】次にステップＳＴ１１に処理が移行し、以
後、フレームｆ２はＧＯＢを更に８×８画素または１６
×１６画素程度の基本処理単位に分割したブロック毎に
順次処理される。ステップＳＴ１１では処理対象である
ブロックがキーＧＯＢに属するか否かが条件判定され
る。当該ブロックがキーＧＯＢに属する場合、ステップ
ＳＴ１２で当該ブロックは上記フレーム内符号化を施さ
れた後に、ステップＳＴ１９でエントロピ符号化され上
記画像情報および上記圧縮情報と共に多重化されてビッ
トストリームとなって出力される。またステップＳＴ１
２でブロックをフレーム内符号化して出力される量子化
係数は、ステップＳＴ１３で局部復号化（逆量子化およ
び逆ＤＣＴなどの逆直交変換）を施された後に特定領域
メモリ２に蓄積される。

【００２０】他方、上記ステップＳＴ１１でブロックが
キーＧＯＢに属しない場合はステップＳＴ１４のサブル
ーチンに処理が移行し、図３に示すようにステップＳＴ
１５で入力フレームの当該ブロックとキーフレームメモ
リ１に格納されたキーフレームとの差分値と、差分絶対
値和Ｓとが算出される。次いでステップＳＴ１６でその
差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、
その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１
７に処理が移行し、当該ブロックはキーフレームメモリ
１に格納したキーフレームを参照して上記フレーム間符
号化を施される。他方、その差分絶対値和Ｓが閾値を超
えている場合はステップＳＴ１８に処理が移行し、当該
ブロックは上記フレーム内符号化を施される。このよう
に上記ステップＳＴ１７，ＳＴ１８で符号化された量子
化係数は、図１に示すステップＳＴ１９で可変長符号化
（エントロピ符号化）と上記多重化処理を施されビット
ストリームとなって出力される。以上で入力フレームｆ
２に対する圧縮符号化処理が終了する。

【００２１】次に上記フレームｆ２に続いて符号化器に
入力するフレームｆ３，ｆ４，…も、キーフレームが入
力する迄はフレームｆ２の場合と同様に処理される。よ
って、上記ステップＳＴ１３で復号化されたキーＧＯＢ
１〜４が特定領域メモリ２にフレーム１枚分蓄積され、
図５に模式的に図示するようにキーＧＯＢ１〜４は特定
領域メモリ２で参照フレームＡに合成される。この参照
フレームＡは、後に入力するキーフレームを上記ステッ
プＳＴ３のサブルーチンでフレーム間符号化する際に利
用される。

【００２２】このように本実施の形態１に係る圧縮符号
化方法では、上記ステップＳＴ３で特定領域メモリ２に
蓄積した参照フレームとの差分の大小によりフレーム内
符号化とフレーム間符号化とを選択的に実行しており、
また上記ステップＳＴ９，ＳＴ１０で入力フレームを複
数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿
った複数のフレームにフレーム１枚分のキーＧＯＢを分
散させ、これら各キーＧＯＢがフレーム内符号化され
る。このためフレーム内符号化処理量が時間的に分散さ
れることとなり、圧縮符号化処理量の急激な増大が抑え
られて符号化処理量が時間的に平坦化し、伝送先におい
て動画像の再生速度が変化せず良質の動画像を圧縮伝送
できるという効果が得られる。特にインターネットなど
の帯域幅が制限された伝送路ではその効果が発揮され
る。

【００２３】また特定領域メモリ２では複数のフレーム
に分散された上記キーＧＯＢが蓄積され、これらキーＧ
ＯＢからなる参照フレームＡが構成される。この参照フ
レームＡは異なる時刻のキーＧＯＢの集積体である。本
実施の形態１ではこの参照フレームＡとキーフレームと
の差分の大小によりフレーム内符号化とフレーム間符号
化とが選択的に実行される。このため、異なる時刻のキ
ーＧＯＢからなる参照フレームＡを用いることに起因す
るＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮
伝送することが可能となる。

【００２４】実施の形態２．次に、基本発明の実施の形
態２に係る復号化方法を以下に詳説する。図６は、本実
施の形態２に係る復号化方法を実現するためのフローチ
ャートである。

【００２５】上記実施の形態１で符号化した圧縮画像デ
ータはビットストリームとなって本実施の形態２に係る
復号化器に入力する（ＳＴ２０）。その圧縮画像データ
はそのビットストリームから分離された後にステップＳ
Ｔ２１で復号化される。すなわち、上記符号化器から本
実施の形態２に係る復号化器に上記フレームｆ１，ｆ
２，…の圧縮データが順次入力するから、ステップＳＴ
２１でキーフレームｆ１の圧縮データに対して、上記実
施の形態１のステップＳＴ３のフレーム内符号化あるい
はフレーム間符号化の復号化処理が８×８画素や１６×
１６画素程度のブロック単位で施される。キーフレーム
ｆ１の圧縮データを復号化する際、予め特定領域メモリ
１１に格納した参照フレームｆ０が利用される。また復
号化したキーフレームｆ１は、キーフレームメモリ１０
に格納される。

【００２６】また、キーフレームの圧縮データに続いて
復号化器に入力するフレームｆ２，ｆ３，…の圧縮デー
タに対して、上記実施の形態１のステップＳＴ１２，Ｓ
Ｔ１４〜ＳＴ１８におけるフレーム内符号化あるいはフ
レーム間符号化の復号化処理が上記ブロック単位で施さ
れる。フレーム間符号化の復号化処理を行う際は、キー
フレームメモリ１０に格納したキーフレームｆ１が利用
される。またフレームｆ２，ｆ３，…が復号化される
際、基本処理単位であるブロックがキーＧＯＢに属する
場合は当該ブロックは特定領域メモリ１１に蓄積され
る。フレーム１枚分のキーＧＯＢが蓄積されると、これ
らキーＧＯＢからなる参照フレームＡが合成され、後に
復号化器に入力するキーフレームの圧縮データを復号化
する際に利用される。例えば、図４（ａ）〜（ｄ）に示
したフレームｆ２〜ｆ５の圧縮データが復号化器に入力
する場合、各キーＧＯＢを構成するブロックの圧縮デー
タはフレーム内復号化を施された後に特定領域メモリ１
１に順次蓄積され、参照フレームＡを再構成する。

【００２７】このようにステップＳＴ２１で復号化した
フレーム群ｆ１，ｆ２，…をそのまま動画像表示した場
合、上記符号化器でフレーム内符号化したＧＯＢとフレ
ーム間符号化したＧＯＢとの間で動画像の画質の差が顕
れやすく、特にフレーム内符号化したキーＧＯＢが動画
像中に判然と観られる場合がある。かかる場合を防ぐべ
く、本実施の形態２は図６に示すステップＳＴ２２にお
いて、上記ステップＳＴ２１で復号化したキーＧＯＢの
みを再び符号化した後に復号化するキーＧＯＢ再量子化
処理を備えることが特徴である。

【００２８】図７は、キーＧＯＢ再量子化処理を示すフ
ローチャートである。図７に示すように、先ず８×８画
素または１６×１６画素程度のブロックが入力する（Ｓ
Ｔ３０）。次にそのブロックはステップＳＴ３１でキー
ＧＯＢに属するか否かを条件判定され、当該ブロックが
キーＧＯＢに属しない場合は当該ブロックは再量子化さ
れず、キーＧＯＢ再量子化処理は終了し、図６に示すス
テップＳＴ２３に処理が移行する。他方、当該ブロック
がキーＧＯＢに属する場合はステップＳＴ３２に処理が
移行し、キーフレームメモリ１０に蓄積されたキーフレ
ームと当該ブロックとの画素値の差分値と、その差分値
の差分絶対値和Ｓとが算出される。次いでステップＳＴ
３３で、その差分絶対値和Ｓが閾値以下か否かの条件判
定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該
ブロックは再量子化されず、キーＧＯＢ再量子化処理は
終了し、図６に示すステップＳＴ２３に処理が移行す
る。

【００２９】他方、上記ステップＳＴ３３で差分絶対値
和Ｓが閾値以下であると判定された場合はステップＳＴ
３４以後に処理が移行する。先ずステップＳＴ３４にお
いて、当該ブロックとキーフレームとの差分信号を変換
符号化し、次いでステップＳＴ３５でその変換係数を量
子化する。これらステップＳＴ３３〜ＳＴ３５の処理
は、上記符号化器で行った差分絶対値和Ｓによる符号化
方法（フレーム間符号化、フレーム内符号化）の判定処
理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化
処理（ＳＴ１７）と同じものである。その後、ステップ
ＳＴ３６でその量子化係数を逆量子化し、次いでステッ
プＳＴ３７で上記ステップＳＴ３４の変換符号化の復号
化（逆ＤＣＴなどの逆直交変換）を実行する。この結
果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上
記符号化器でキーＧＯＢ以外のブロック領域をフレーム
間符号化した後に復号化器でその符号化信号を復号化し
た時と同様に量子化誤差を含む不可逆の差分信号が得ら
れる。次に、ステップＳＴ３８でキーフレームメモリ１
０に格納したキーフレームを用いてその差分信号からブ
ロックが再構成され出力される。

【００３０】以上のキーＧＯＢ再量子化処理を施された
ブロックは、図６に示すステップＳＴ２３においてフレ
ーム（復号化画像）に合成された後に出力される。以上
のキーＧＯＢ再量子化工程を図４に示したフレームｆ２
〜ｆ５を例に挙げて説明すると、図８に模式的に示すよ
うに、上記ステップＳＴ２１で復号化されたフレームｆ
２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格
納したキーフレームとの差分をとられる。次に上記ステ
ップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下
か否か、すなわちフレーム間符号化するか否かの判定が
なされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢ
に対してフレーム間符号化（変換符号化および量子化）
が施され、次いでそのフレーム間符号化の復号化（逆量
子化および逆変換復号化）が施されることで、上記フレ
ームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成
される。

【００３１】このように本実施の形態２によれば、上記
実施の形態１に係る圧縮符号化処理（ＳＴ１５〜ＳＴ１
７）と同様の手順で、キーＧＯＢとキーフレームとの差
が小ならば当該キーＧＯＢとキーフレームとの差分信号
に対して圧縮符号化を施した後に、その復号化を施しキ
ーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ
以外のブロック領域をフレーム間符号化した後に復号化
器でその符号化信号を復号化した時と同様に、キーＧＯ
Ｂにフレーム間符号化およびその復号化に伴う誤差が混
入される。よって、復号化した動画像を表示する際にキ
ーＧＯＢが動画像中で目立つことが無く、その動画像を
観る人に違和感を与えることが無いという効果が得られ
る。

【００３２】Ｂ．本発明の実施の形態．つぎに、上記し
た基本発明を前提とする本発明の実施の形態について説
明する。図９は、本発明の実施の形態による画像配信シ
ステムの構成を示すブロック図である。この画像配信シ
ステム１２０は、画像配信装置２０、通信回線４０、お
よび端末装置３０を備えている。画像配信装置２０は、
図１に示した実施の形態１による圧縮符号化方法を実行
し、ビットストリームの形式で圧縮符号化画像信号を通
信回線４０へ出力する。通信回線４０の一例は、ＬＡＮ
あるいはインタネット等のネットワークである。端末装
置３０は、通信回線４０へ接続されることにより、画像
配信装置２０が時間に沿って出力する圧縮符号化画像信
号を、端末装置３０のユーザが指定する任意の時点から
受信し、かつ復号化するように構成されている。なお本
明細書では、基本発明による符号化方法および復号化方
法を、「ＳＲＶＣ(Super Real Video Codec)方式」と仮
称する。

【００３３】図１０が示すように、画像配信装置２０が
出力するＳＲＶＣ方式にもとづく圧縮符号化画像信号で
は、一つのキーフレームからつぎのキーフレームの直前
のフレームまでが、一つのフレーム群を構成する。一つ
のフレーム群には、キーフレームおよびこれに後続する
複数のフレームP-GOBが含まれる。フレームP-GOBとは、
図４に例示したように、フレーム内の特定領域であるキ
ーＧＯＢを有するフレームであり、「キーＧＯＢありＰ
ピクチャ」あるいは「通常フレーム」とも仮称する。フ
レームP-GOBのうち、キーＧＯＢ（特定領域）を除いた
領域である非特定領域（例えば、図４においてＧＯＢと
記載される領域）は、同一のフレーム群に属するキーフ
レームを参照フレームとしてフレーム間符号化されてい
る。

【００３４】図１０が示すように、フレーム群の中に
は、フレームＰを挿入することも可能である。フレーム
Ｐは、キーＧＯＢを含まず、同一のフレーム群に属する
キーフレームを参照フレームとして、フレーム全体にわ
たってフレーム間符号化されたフレームである。フレー
ムＰは、「キーＧＯＢなしＰピクチャ」とも仮称する。
したがって、フレーム群のうちのキーフレームを除いた
フレームP-GOBおよびフレームＰのいずれも、同一のフ
レーム群に属するキーフレームとの差分画像であり、当
該キーフレームに依存している。また、フレームP-GOB
に含まれるキーＧＯＢは、つぎのフレーム群に属するキ
ーフレームのフレーム間符号化のために参照フレームと
して用いられ、当該キーフレームは、これらキーＧＯＢ
の１フレーム分の集合との差分画像となっている。すな
わち、キーフレームは前のフレーム群に属するフレーム
P-GOBに依存している。

【００３５】以上のように、ＳＲＶＣ方式にもとづく圧
縮符号化画像信号では、すべてのフレームは互いに補完
関係にある。ＳＲＶＣ方式にもとづく圧縮符号化画像信
号では、先頭のフレームについてはフレーム内符号化さ
れるので、時間に沿って出力される圧縮符号化画像信号
を端末装置３０が先頭から受信し復号化する上では、何
らの問題を生じない。しかしながら、端末装置３０が圧
縮符号化画像信号を中途から受信する場合には、受信開
始後の各フレームが他のフレームに依存しているので、
受信した各フレームを単独で復号化することはできな
い。このために、端末装置３０は、受信を開始した後
に、フレームの復号化が可能となるまで、各フレームに
含まれる必要なデータを保存することにより、その後の
復号化を可能にしている。以下に、端末装置３０の構成
および動作手順について詳細に説明する。

【００３６】図１１は、端末装置３０の内部構成を示す
ブロック図である。端末装置３０は、端末装置本体部３
１およびモニタ３２を備えている。端末装置本体部３１
は、インタフェース３３、伸張部３４、画像記憶部３
５、ビデオエンコーダ３６、制御部３７、および、これ
らを互いに接続するバスライン３８を備えている。イン
タフェース３３は、通信回線４０に接続されることによ
り、通信回線４０を媒介して画像配信装置２０との通信
を行う。伸張部３４は、インタフェース３３が受信する
圧縮符号化画像信号を復号化する。ビデオエンコーダ３
６は、伸張部３４で復号化された画像信号を、デジタル
形式からアナログ形式へ変換する。ビデオエンコーダ３
６が出力するアナログ画像信号は、モニタ３２へ入力さ
れる。モニタ３２は、入力されたアナログ画像信号を画
面に表示する。

【００３７】制御部３７は、例えばプログラム（ソフト
ウェア）にもとづいて動作するＣＰＵで構成され、各要
素３３〜３７を制御する機能を果たしている。制御部３
７は、ＣＰＵに代えて、ハードウェアのみで構成される
ＬＳＩで構成されても良い。画像記憶部３５は、伸張部
３４による処理の過程で一時的に画像信号を保持するた
めのワークメモリであり、図６に示したキーブロックメ
モリ１１およびキーフレームメモリ１０を含んでいる。
制御部３７がＣＰＵで形成される場合には、画像記憶部
３５はＣＰＵの動作を規定するプログラムを格納するメ
モリとしても機能する。端末装置本体部３１に含まれる
要素３３〜３７は、それらのいくつか、あるいは一つ一
つが単一の半導体チップ（ＬＳＩまたはシステムＬＳ
Ｉ）で構成されても良く、全体が単一の半導体チップ
（システムＬＳＩ）で構成されても良い。

【００３８】図１２は、端末装置３０の動作手順を示す
フローチャートである。端末装置３０に対してユーザが
所定の指示操作を行うと、インタフェース３３が通信回
線４０を通じて画像配信装置２０へ接続され、図１２の
処理が開始される。図１２が示すステップＳＴ２０〜Ｓ
Ｔ２３の処理は、図６に示した同一符号の処理と同等で
ある。すなわち、図１２の処理は、ステップＳＴ２０と
ステップＳＴ２１との間に、ステップＳＴ４０，ＳＴ４
１が挿入され、さらにステップＳＴ４１から分岐するス
テップＳＴ４２，ＳＴ４３が付加されている点におい
て、図６の処理とは特徴的に異なっている。

【００３９】端末装置３０は、図１２の処理を、各フレ
ームに対して連続的に行うものであり、例えばステップ
ＳＴ２２の処理が一つのフレームに対して行われている
ときに、つぎのフレームに対してステップＳＴ２０の処
理が同時に行われることも有り得る。すなわち好ましく
は、端末装置３０は圧縮符号化画像信号に対する処理
を、パイプライン処理の形式で実行する。このことは、
図１および図６に示した処理においても同様である。図
１、図６、および図１２は、画像信号に対して行われる
パイプライン処理について、任意の１フレームに着目し
て、当該フレームに対する処理の流れを示したものであ
る。一つのフレームに対する処理の終了時点とつぎのフ
レームに対する開始時点との間の時間的前後関係を無視
すれば、図１、図６、および図１２の処理は、１フレー
ム毎に反復的に実行される。

【００４０】処理が開始されると、インタフェース３３
は、画像配信装置２０が出力するビットストリーム形式
の圧縮符号化画像信号を受信する（ステップＳＴ２
０）。画像配信装置２０は、ユーザのアクセスの有無に
関わりなく、圧縮符号化画像信号を出力する一方、受信
を開始するタイミングはユーザの操作に規定されるた
め、圧縮符号化画像信号の先頭から受信が開始されると
は限らない。

【００４１】つぎに、現在受信しているフレームが、受
信開始後に最初に受信されるキーフレームに後続する最
初のフレームP-GOBより前のフレームであるか否かが判
定される（ステップＳＴ４０）。図１３に例示する圧縮
符号化画像信号において、左端に位置するキーフレーム
が最初に受信されるキーフレームであるとすると、その
直後のフレーム（図１３において、ハッチが付されたフ
レーム）が、最初に受信されるキーフレームに後続する
最初のフレームP-GOBに相当する。したがって、受信が
開始された後、このフレームP-GOBが受信されるまでの
期間は、ステップＳＴ４０の判定は肯定的（Ｙｅｓ）で
あり続ける。このとき、受信したフレームの信号は破棄
され、当該フレームに対する処理は終了し、つぎのフレ
ームに対する処理が開始される。

【００４２】現在受信しているフレームが、最初に受信
されるキーフレームに後続する最初のフレームP-GOBま
たはそれ以後のフレームであるときには、ステップＳＴ
４０の判定は否定的（Ｎｏ）となる。このとき、現在受
信しているフレームが、最初に受信したキーフレームが
属するフレーム群（「初期フレーム群」と称する）に属
するか否かが判定される（ステップＳＴ４１）。言い換
えると、キーフレームを第２回目に受信する前であるか
否かが判定される。ステップＳＴ４１の判定がＹｅｓで
あれば、伸張部３４はキーＧＯＢのみを復号化し（ステ
ップＳＴ４２）、キーブロックメモリ１１へストアする
（ステップＳＴ４３）。ステップＳＴ４２，ＳＴ４３で
は、フレームP-GOBを処理対象とするときには、その中
に含まれるキーＧＯＢのみが復号化およびストアの対象
とされ、残りのＧＯＢについては破棄される。また、フ
レームＰが処理対象であるときには、そのすべてのデー
タが破棄される。ステップＳＴ４３が終了すると、一つ
のフレームに対する図１２の処理は終了する。

【００４３】ステップＳＴ４３の判定がＮｏであると
き、すなわち処理対象とするフレームが初期フレーム群
に後続するフレーム群に属するようになったとき（例え
ば図１３の例で、右側のキーフレーム以降のフレームで
あるとき）には、ステップＳＴ２１の処理が行われる。
ステップＳＴ２１では、処理対象とされるフレームがキ
ーフレームであれば、キーブロックメモリ１１にストア
されている１フレーム分のキーＧＯＢを用いて、フレー
ム間復号化が行われ、復号化されたキーフレームはキー
フレームメモリ１０へストアされる。

【００４４】処理対象とされるフレームがフレームP-GO
Bであれば、これに含まれるキーＧＯＢについてはフレ
ーム内復号化が行われ、キーブロックメモリ１１へ、す
でにストアされているキーＧＯＢを更新する形式でスト
アされる。フレームP-GOBの中のキーＧＯＢ以外の部分
については、キーフレームメモリ１０にストアされるキ
ーフレームを参照フレームとして、フレーム間復号化が
行われる。また、処理対象とされるフレームがフレーム
Ｐであれば、キーフレームメモリ１０にストアされるキ
ーフレームを参照フレームとして、フレーム間復号化が
行われる。各フレームのうちキーＧＯＢを除く部分につ
いてステップＳＴ２１で実行される復号化処理では、図
６を引用しつつ既に説明したように、処理対象とされる
部分にフレーム内圧縮符号化とフレーム間圧縮符号化と
が選択的に施されているときには、これらの圧縮符号化
の形態に対応して、フレーム内復号化とフレーム間復号
化とが選択的に行われる。

【００４５】ステップＳＴ２１における復号化処理が終
了すると、望ましくはステップＳＴ２２の処理を経た上
で、さらにステップＳＴ２３の処理を経た後に、１つの
フレームに対する図１２の処理は終了し、つぎのフレー
ムに対する処理が開始される。ステップＳＴ２２の処理
を実現するには、図１１に示した端末装置本体部３１
に、制御部３７の指示にもとづいてステップＳＴ２２の
処理を実行する再量子化処理部を、バスライン３８に接
続する形態で追加的に設けると良い。ステップＳＴ２３
の処理は、ビデオエンコーダ３６によって実行される。

【００４６】端末装置３０は以上のように動作するの
で、図１４の動作説明図が示すように、初期フレーム群
に後続するフレーム群に対しては、図６に示した復号化
処理と同一の処理が行われる。すなわち、圧縮画像信号
の受信がどの時点で開始されても、初期フレーム群の受
信が完了した後、すなわち受信開始から最長２フレーム
群の受信が完了した後には、圧縮画像信号を復号化する
ことが可能となる。すなわち、任意の時点からの受信お
よび復号化が可能であり、かつ受信開始から復号化開始
までの待ち時間を短く抑えることができる。

【００４７】

【発明の効果】本発明のうち第１の態様にかかる方法で
は、最初に受信されるキーフレームに後続する複数の通
常フレームに配分されている１フレーム分の複数の特定
領域を復号化するとともに記憶し、これにもとづいて、
その後に受信されるキーフレームの復号化が行われ、さ
らに復号化されたキーフレームにもとづいて、後続する
通常フレームの復号化が行われる。また、受信される各
フレーム群ごとに１フレーム分の複数の特定領域が復号
化され、過去のデータを更新した最新のデータとして記
憶される。このため、圧縮画像信号の受信をどの時点で
開始しても、最長２フレーム群の受信が完了した後に
は、復号化を実行することが可能である。すなわち、任
意の時点からの受信および復号化が可能であり、かつ受
信開始から復号化開始までの待ち時間を短く抑えること
ができる。

【００４８】本発明のうち第２の態様にかかるプログラ
ムでは、コンピュータに搭載することにより、第１の態
様にかかる方法を実行することができる。

【図面の簡単な説明】

【図１】本発明の前提となる基本発明の実施の形態１に
係る符号化方法を実現するフローチャートである。

【図２】実施の形態１に係る符号化方法を実現するフロ
ーチャートである。

【図３】実施の形態１に係る符号化方法を実現するフロ
ーチャートである。

【図４】４つのブロック領域に分割された各フレームを
示す説明図である。

【図５】実施の形態１に係る符号化方法を説明するため
の模式図である。

【図６】本発明の前提となる基本発明の実施の形態２に
係る復号化方法を実現するフローチャートである。

【図７】実施の形態２に係る再量子化処理を説明するた
めのフローチャートである。

【図８】実施の形態２に係る復号化方法を説明するため
の模式図である。

【図９】本発明の実施の形態に係る画像配信システムの
構成を示すブロック図である。

【図１０】図９の画像配信装置が出力する圧縮符号化画
像信号の一例を示すデータ構造図である。

【図１１】図９の端末装置の構成を示すブロック図であ
る。

【図１２】図１１の端末装置の動作手順を示すフローチ
ャートである。

【図１３】図１１の端末装置が受信する圧縮符号化画像
信号の一例を示すデータ構造図である。

【図１４】図１１の端末装置の動作を示す動作説明図で
ある。

【図１５】従来の符号化方法を説明するためのフローチ
ャートである。

【図１６】従来の復号化方法を説明するためのフローチ
ャートである。

【符号の説明】

１ キーフレームメモリ ２ 特定領域メモリ １０ キーフレームメモリ １１ 特定領域メモリ Ｋ キーフレーム Ｋｅｙ−ＧＯＢ 特定領域 Ｐ−ＧＯＢ 通常フレーム

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松本 真人 大阪市淀川区宮原４丁目１番６号 株式会 社メガチップス内 (72)発明者 田中 秀和 大阪市淀川区宮原４丁目１番６号 株式会 社メガチップス内 Ｆターム(参考） 5C059 KK22 MA05 MA23 MC11 MC38 ME01 PP05 PP06 PP16 SS00 SS06 TA18 TB06 TC02 TD05 TD06 TD12 UA02 UA05 UA39 5J064 AA02 BA16 BB01 BB03 BC01 BC16 BD02

Claims (2)

【特許請求の範囲】
1. 【請求項１】 複数のフレーム群の各々がキーフレーム
   とこれに後続する複数の通常フレームとを含んでおり、
   前記複数の通常フレームには、全体で１フレームを構成
   可能でフレーム内符号化された複数の特定領域が、互い
   に異なる位置に配分されており、１フレーム分の前記複
   数の特定領域を参照フレームとしてフレーム間符号化す
   ることにより、前記複数のフレーム群のうち、つぎのフ
   レーム群に属する前記キーフレームが得られており、前
   記複数の通常フレームの各々は、前記複数の特定領域の
   うちの自身に配分された特定領域を除く部分である非特
   定領域については、前記複数のフレーム群のうち自身と
   同一のフレーム群に属する前記キーフレームを参照フレ
   ームとしてフレーム間符号化されており、前記複数のフ
   レーム群の時間に沿った集合である圧縮符号化画像信号
   を受信しかつ復号化する動画像復号化方法であって、 (a)前記圧縮符号化画像信号を少なくとも一部の期間に
   わたって受信する工程と、 (b)前記複数のフレーム群のうち、前記工程(a)で最初に
   受信されるキーフレームが属するフレーム群である初期
   フレーム群に対して、当該初期フレーム群に含まれる１
   フレーム分の前記複数の特定領域のみを復号化し、かつ
   記憶する工程と、 (c)前記複数のフレーム群のうち、前記工程(a)で前記初
   期フレーム群より後に受信されるフレーム群ごとに復号
   化を行う工程と、を備え、 前記工程(c)は、 (c-1)復号化されかつ記憶されている１フレーム分の最
   新の前記複数の特定領域を参照フレームとして、復号化
   の対象とされる前記フレーム群に属する前記キーフレー
   ムをフレーム間復号化しかつ記憶する工程と、 (c-2)復号化されかつ記憶されている最新のキーフレー
   ムを参照フレームとして、復号化の対象とされる前記フ
   レーム群に属する前記複数の通常フレームの各々の前記
   非特定領域をフレーム間復号化する工程と、 (c-3)復号化の対象とされる前記フレーム群に含まれる
   １フレーム分の前記複数の特定領域を復号化しかつ記憶
   する工程と、を備える動画像復号化方法。
2. 【請求項２】 請求項１に記載の動画像復号化方法をコ
   ンピュータ上で実現するために、前記各工程をコンピュ
   ータに実行させるためのプログラム。