JP2008227745A - 映像符号化装置及び映像復号装置 - Google Patents

Abstract

【課題】ビットストリームの符号量の増大を招くことなく、イントラフレーム間の全ての復号フレームを蓄積するバッファを搭載していない映像復号装置が巻き戻し再生を実現することができるようにする。
【解決手段】フレームのマクロブロック画像と前フレームのマクロブロック画像との差分値を算出し、その差分値が閾値Ｔｈより小さく、かつ、前フレームの処理時に算出した差分値が閾値Ｔｈより小さければ、符号化モードをスキップ符号化モードに決定し、少なくとも一方の差分値が閾値Ｔｈより大きければ、符号化モードをイントラ符号化モードに決定する。
【選択図】図１

Description

この発明は、デジタル映像を符号化する映像符号化装置と、映像符号化装置により符号化されたデジタル映像を復号する映像復号装置とに関するものである。

従来の映像復号装置では、符号化されているビットストリームの巻き戻し再生を実現するため、イントラフレーム間の全てのフレームを復号してバッファに蓄積してから、順次逆方向に復号画像を表示することで実現している（例えば、特許文献１を参照）。
しかし、この場合、イントラフレーム間の全ての復号フレームを蓄積するバッファが必要になるため、映像復号装置の回路規模が大きくなる問題点がある。

そこで、映像復号装置がイントラフレーム間の全ての復号フレームを蓄積するバッファを搭載することなく、ビットストリームの巻き戻し再生を実現することができるようにする映像符号化装置が開発されている（図９を参照）。
図９の映像符号化装置は、画像入力部とイントラ符号化部と可変長符号化部から構成されており、この映像符号化装置の画像入力部は、入力される画像を所定サイズのマクロブロックに分割して、マクロブロック画像をイントラ符号化部に出力する。

イントラ符号化部は、画像入力部からマクロブロック画像を受けると、そのマクロブロック画像をフレーム内符号化し、そのフレーム内符号化によって発生するイントラ符号化情報を可変長符号化部に出力する。
可変長符号化部は、イントラ符号化部からイントラ符号化情報を受けると、そのイントラ符号化情報を可変長符号化してビットストリームを生成する。

この映像符号化装置によれば、入力された画像の全てがフレーム内符号化されてビットストリームが生成されるので、順次逆方向にフレームを復号して表示すれば、巻き戻し再生を実現することができる。
このため、映像復号装置がイントラフレーム間の全ての復号フレームを蓄積するバッファを搭載する必要がない。
ただし、図９の映像符号化装置により生成されるビットストリームは、全てのマクロブロックがイントラ符号化されたものであるため符号量が増大する。

特開平８−３３１５１４号公報（段落番号［００３６］から［００４３］、図１）

従来の映像符号化装置は以上のように構成されているので、映像復号装置がイントラフレーム間の全ての復号フレームを蓄積するバッファを搭載することなく、ビットストリームの巻き戻し再生を実現することができる。しかし、全てのマクロブロックがイントラ符号化されるため、ビットストリームの符号量が増大するなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、ビットストリームの符号量の増大を招くことなく、イントラフレーム間の全ての復号フレームを蓄積するバッファを搭載していない映像復号装置が巻き戻し再生を実現することができる映像符号化装置を得ることを目的とする。
また、この発明は、イントラフレーム間の全ての復号フレームを蓄積するバッファを搭載することなく、巻き戻し再生を実現することができる映像復号装置を得ることを目的とする。

この発明に係る映像符号化装置は、画像分割手段により分割された現フレームのマクロブロック画像と前フレームのマクロブロック画像との差分値を算出し、その差分値が予め設定された閾値より小さく、かつ、前フレームの処理時に算出した差分値が上記閾値より小さければ、符号化モードをスキップ符号化モードに決定し、少なくとも一方の差分値が上記閾値より大きければ、符号化モードをイントラ符号化モードに決定する符号化モード決定手段と、符号化モード決定手段により決定された符号化モードがイントラ符号化モードであれば、画像分割手段により分割された現フレームのマクロブロック画像を蓄積し、次フレームの処理時に上記マクロブロック画像を前フレームのマクロブロック画像として符号化モード決定手段に出力する画像蓄積手段と、符号化モード決定手段により決定された符号化モードがイントラ符号化モードであれば、画像蓄積手段に蓄積されているマクロブロック画像をフレーム内符号化し、そのフレーム内符号化によって発生するイントラ符号化情報を出力するイントラ符号化手段とを設け、符号化モード決定手段により決定された符号化モードがスキップ符号化モードであれば、符号化モードがスキップ符号化モードである旨を示す符号化モード情報を可変長符号化し、符号化モード決定手段により決定された符号化モードがイントラ符号化モードであれば、符号化モードがイントラ符号化モードである旨を示す符号化モード情報とイントラ符号化手段から出力されたイントラ符号化情報を可変長符号化するようにしたものである。

この発明によれば、画像分割手段により分割された現フレームのマクロブロック画像と前フレームのマクロブロック画像との差分値を算出し、その差分値が予め設定された閾値より小さく、かつ、前フレームの処理時に算出した差分値が上記閾値より小さければ、符号化モードをスキップ符号化モードに決定し、少なくとも一方の差分値が上記閾値より大きければ、符号化モードをイントラ符号化モードに決定する符号化モード決定手段と、符号化モード決定手段により決定された符号化モードがイントラ符号化モードであれば、画像分割手段により分割された現フレームのマクロブロック画像を蓄積し、次フレームの処理時に上記マクロブロック画像を前フレームのマクロブロック画像として符号化モード決定手段に出力する画像蓄積手段と、符号化モード決定手段により決定された符号化モードがイントラ符号化モードであれば、画像蓄積手段に蓄積されているマクロブロック画像をフレーム内符号化し、そのフレーム内符号化によって発生するイントラ符号化情報を出力するイントラ符号化手段とを設け、符号化モード決定手段により決定された符号化モードがスキップ符号化モードであれば、符号化モードがスキップ符号化モードである旨を示す符号化モード情報を可変長符号化し、符号化モード決定手段により決定された符号化モードがイントラ符号化モードであれば、符号化モードがイントラ符号化モードである旨を示す符号化モード情報とイントラ符号化手段から出力されたイントラ符号化情報を可変長符号化するように構成したので、ビットストリームの符号量の増大を招くことなく、イントラフレーム間の全ての復号フレームを蓄積するバッファを搭載していない映像復号装置が巻き戻し再生を実現することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１による映像符号化装置を示す構成図であり、図において、画像入力部１はフレーム画像を入力すると、そのフレーム画像をマクロブロック単位に分割（所定のサイズのマクロブロックに分割）して、マクロブロック単位の画像であるマクロブロック画像を出力する処理を実施する。なお、画像入力部１は画像分割手段を構成している。
符号化モード決定部２は画像入力部１から出力された現フレームのマクロブロック画像と前フレーム画像蓄積部４から出力された前フレームのマクロブロック画像との差分値を算出し、その差分値が予め設定された閾値Ｔｈより小さく、かつ、前フレームの処理時に算出した差分値が閾値Ｔｈより小さければ、符号化モードをスキップ符号化モードに決定し、少なくとも一方の差分値が閾値Ｔｈより大きければ、符号化モードをイントラ符号化モードに決定する処理を実施する。符号化モード決定部２は符号化モードを決定すると、その符号化モードがスキップ符号化モードであるのか、イントラ符号化モードであるのかを示す符号化モード情報を蓄積スイッチ３、符号化スイッチ５及び可変長符号化部７に出力する。なお、符号化モード決定部２は符号化モード決定手段を構成している。

蓄積スイッチ３は符号化モード決定部２から出力された符号化モード情報がイントラ符号化モードである旨を示す場合、画像入力部１から出力された現フレームのマクロブロック画像を前フレーム画像蓄積部４に与え、その符号化モード情報がスキップ符号化モードである旨を示す場合、画像入力部１から出力された現フレームのマクロブロック画像を前フレーム画像蓄積部４に与えないようにする。
前フレーム画像蓄積部４は少なくとも１フレーム分のマクロブロック画像を蓄積することが可能なメモリを備えており、蓄積スイッチ３から与えられたマクロブロック画像を当該メモリに蓄積し（フレームサイズの画像内の処理対象マクロブロック位置にマクロブロック画像を上書き格納する）、次フレームの処理時に当該マクロブロック画像を前フレームのマクロブロック画像として符号化モード決定部２及び符号化スイッチ５に出力する。
なお、蓄積スイッチ３及び前フレーム画像蓄積部４から画像蓄積手段が構成されている。

符号化スイッチ５は符号化モード決定部２から出力された符号化モード情報がイントラ符号化モードである旨を示す場合、前フレーム画像蓄積部４から出力された前フレームのマクロブロック画像をイントラ符号化部６に与え、その符号化モード情報がスキップ符号化モードである旨を示す場合、前フレーム画像蓄積部４から出力された前フレームのマクロブロック画像をイントラ符号化部６に与えないようにする。
イントラ符号化部６は符号化スイッチ５から与えられた前フレームのマクロブロック画像をフレーム内符号化し、そのフレーム内符号化によって発生するイントラ符号化情報を可変長符号化部７に出力する処理を実施する。
なお、符号化スイッチ５及びイントラ符号化部６からイントラ符号化手段が構成されている。

可変長符号化部７は符号化モード決定部２から出力された符号化モード情報がスキップ符号化モードである旨を示す場合、その符号化モード情報を可変長符号化してビットストリームを生成し、その符号化モード情報がイントラ符号化モードである旨を示す場合、その符号化モード情報とイントラ符号化部６から出力されたイントラ符号化情報を可変長符号化してビットストリームを生成する処理を実施する。なお、可変長符号化部７は可変長符号化手段を構成している。

図２はこの発明の実施の形態１による映像符号化装置の符号化モード決定部２を示す構成図であり、図において、差分値算出部１１は画像入力部１から出力された現フレームのマクロブロック画像と前フレーム画像蓄積部４から出力された前フレームのマクロブロック画像との差分値（以下、「後フレーム差分値」と称する）を算出し、その後フレーム差分値を差分値蓄積部１２及びモード決定部１３に出力する処理を実施する。
差分値蓄積部１２は少なくとも１フレーム分のマクロブロック画像の差分値を蓄積することが可能なメモリを備えており、差分値算出部１１から出力された後フレーム差分値を前フレーム差分値として当該メモリに蓄積し、次フレームの処理時に前フレーム差分値をモード決定部１３に出力する。

モード決定部１３は予め閾値Ｔｈが設定されており、差分値算出部１１から出力された後フレーム差分値が閾値Ｔｈより小さく、かつ、差分値蓄積部１２から出力された前フレーム差分値が閾値Ｔｈより小さければ、符号化モードをスキップ符号化モードに決定して、符号化モードがスキップ符号化モードである旨を示す符号化モード情報を蓄積スイッチ３、符号化スイッチ５及び可変長符号化部７に出力し、差分値算出部１１から出力された後フレーム差分値又は差分値蓄積部１２から出力された前フレーム差分値の少なくとも一方が閾値Ｔｈより大きければ、符号化モードをイントラ符号化モードに決定して、符号化モードがイントラ符号化モードである旨を示す符号化モード情報を蓄積スイッチ３、符号化スイッチ５及び可変長符号化部７に出力する処理を実施する。
図３はこの発明の実施の形態１による映像符号化装置の処理内容を示すフローチャートである。

図６はこの発明の実施の形態１による映像復号装置を示す構成図であり、図において、ヘッダサーチ部２１は映像符号化装置による符号化モードがスキップ符号化モードである場合、映像符号化装置から符号化モードがスキップ符号化モードである旨を示す符号化モード情報が可変長符号化されているビットストリームを入力し、映像符号化装置による符号化モードがイントラ符号化モードである場合、映像符号化装置から符号化モードがイントラ符号化モードである旨を示す符号化モード情報とイントラ符号化情報が可変長符号化されているビットストリームを入力し、再生モードが順方向再生モードであれば、ビットストリームの中から、時刻に関して順方向にフレーム先頭位置をサーチして、１フレーム分のストリームを出力し、再生モードが巻き戻し再生モードであれば、そのビットストリームの中から、時刻に関して逆方向にフレーム先頭位置をサーチして、１フレーム分のストリームを出力する処理を実施する。なお、ヘッダサーチ部２１はヘッダサーチ手段を構成している。

可変長復号部２２はヘッダサーチ部２１から出力された１フレーム分のストリームを可変長復号して符号化モード情報をイントラ復号部２３及び画像更新スイッチ２４に出力し、また、１フレーム分のストリームがイントラ符号化情報が可変長符号化されているストリームであれば、そのストリームを可変長復号してイントラ符号化情報をイントラ復号部２３に出力する処理を実施する。なお、可変長復号部２２は可変長復号手段を構成している。
イントラ復号部２３は可変長復号部２２から出力された符号化モード情報がイントラ符号化モードである旨を示す場合、映像符号化装置のイントラ符号化部６の逆処理を実施することにより、可変長復号部２２から出力されたイントラ符号化情報をイントラ復号してマクロブロック画像を生成する。なお、イントラ復号部２３はイントラ復号手段を構成している。

画像更新スイッチ２４は可変長復号部２２から出力された符号化モード情報がイントラ符号化モードである旨を示す場合、イントラ復号部２３により生成されたマクロブロック画像を局部復号画像メモリ２５に与え、その符号化モード情報がスキップ符号化モードである旨を示す場合、イントラ復号部２３により生成されたマクロブロック画像を局部復号画像メモリ２５に与えないようにする。
局部復号画像メモリ２５は画像更新スイッチ２４から与えられたマクロブロック画像をフレーム内の処理対象マクロブロック位置の局部復号画像として更新し、復号処理対象のマクロブロックの局部復号画像を出力する。
なお、画像更新スイッチ２４及び局部復号画像メモリ２５から画像出力手段が構成されている。
図７はこの発明の実施の形態１による映像復号装置の処理内容を示すフローチャートである。

次に動作について説明する。
最初に、映像符号化装置は、前フレーム画像蓄積部４及び差分値蓄積部１２のメモリを所定の値で初期化する（ステップＳＴ１）。
画像入力部１は、符号化対象の映像であるフレーム単位のフレーム画像を入力すると、そのフレーム画像をマクロブロック単位に分割（所定のサイズのマクロブロックに分割）して、マクロブロック単位の画像であるマクロブロック画像を出力する（ステップＳＴ２）。

符号化モード決定部２の差分値算出部１１は、画像入力部１から現フレームのマクロブロック画像を受けると、前フレーム画像蓄積部４に蓄積されている前フレームのマクロブロック画像（現フレームより１フレーム前のマクロブロック画像）を収集し、現フレームのマクロブロック画像と前フレームのマクロブロック画像との差分値（以下、「後フレーム差分値」と称する）を算出する（ステップＳＴ３）。
差分値算出部１１は、後フレーム差分値を算出すると、その後フレーム差分値を差分値蓄積部１２及びモード決定部１３に出力する。
ここで、差分値の算出方法としては、例えば、マクロブロック画像における各画素値の差分絶対値和を算出する方法、各画素値の差分自乗和を算出する方法、各画素値にローパスフィルタなどの処理を施してから差分絶対値和や差分自乗和を算出する方法など、画像同士の差を算出することができる処理であれば、いかなる処理であってもよい。

符号化モード決定部２の差分値蓄積部１２は、差分値算出部１１から後フレーム差分値を受けると、その後フレーム差分値を前フレーム差分値として蓄積する。
また、差分値蓄積部１２は、前回の処理時に蓄積した前フレーム差分値（現フレームより１フレーム前のマクロブロック画像と２フレーム前のマクロブロック画像との後フレーム差分値）をモード決定部１３に出力する。

符号化モード決定部２のモード決定部１３は、差分値算出部１１から後フレーム差分値を受け、差分値蓄積部１２から前フレーム差分値を受けると、後フレーム差分値及び前フレーム差分値と閾値Ｔｈを比較して、符号化モードを決定する（ステップＳＴ４〜ＳＴ６）。
即ち、モード決定部１３は、差分値算出部１１から出力された後フレーム差分値が閾値Ｔｈより小さく、かつ、差分値蓄積部１２から出力された前フレーム差分値が閾値Ｔｈより小さければ（ステップＳＴ４）、符号化モードをスキップ符号化モードに決定して、符号化モードがスキップ符号化モードである旨を示す符号化モード情報を蓄積スイッチ３、符号化スイッチ５及び可変長符号化部７に出力する（ステップＳＴ５）。

モード決定部１３は、差分値算出部１１から出力された後フレーム差分値又は差分値蓄積部１２から出力された前フレーム差分値の少なくとも一方が閾値Ｔｈより大きければ（ステップＳＴ４）、符号化モードをイントラ符号化モードに決定して、符号化モードがイントラ符号化モードである旨を示す符号化モード情報を蓄積スイッチ３、符号化スイッチ５及び可変長符号化部７に出力する（ステップＳＴ６）。
ここで、スキップ符号化モードは、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２及びＨ．２６１におけるスキップマクロブロックモード、Ｈ．２６３及びＭＰＥＧ−４におけるノットコーデッドマクロブロックモード、Ｈ．２６４におけるＰ＿ＳＫＩＰマクロブロックモードなどを意味し、前フレームのマクロブロック復号画像をそのままコピーして、現フレームのマクロブロック復号画像とするための符号化方法であれば、いかなる符号化方法でも実現可能である。

蓄積スイッチ３は、符号化モード決定部２から出力された符号化モード情報がイントラ符号化モードである旨を示す場合、画像入力部１から出力された現フレームのマクロブロック画像を前フレーム画像蓄積部４に格納する（ステップＳＴ７）。
蓄積スイッチ３は、符号化モード決定部２から出力された符号化モード情報がスキップ符号化モードである旨を示す場合、画像入力部１から出力された現フレームのマクロブロック画像を前フレーム画像蓄積部４に格納しないようにする。

符号化スイッチ５は、符号化モード決定部２から出力された符号化モード情報がイントラ符号化モードである旨を示す場合、前フレーム画像蓄積部４に蓄積されている前フレームのマクロブロック画像（現フレームより１フレーム前のマクロブロック画像）を収集し、前フレームのマクロブロック画像をイントラ符号化部６に与える（ステップＳＴ８）。
符号化スイッチ５は、符号化モード決定部２から出力された符号化モード情報がスキップ符号化モードである旨を示す場合、前フレーム画像蓄積部４に蓄積されている前フレームのマクロブロック画像をイントラ符号化部６に与えないようにする。

イントラ符号化部６は、符号化スイッチ５から前フレームのマクロブロック画像を受けると、そのマクロブロック画像をフレーム内符号化し、そのフレーム内符号化によって発生するイントラ符号化情報を可変長符号化部７に出力する（ステップＳＴ９）。
フレーム内符号化の手法としては、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６３又はＨ．２６４などのフレーム内符号化方式を適用すればよい。

可変長符号化部７は、符号化モード決定部２から出力された符号化モード情報がスキップ符号化モードである旨を示す場合、その符号化モード情報を可変長符号化してビットストリームを生成する（ステップＳＴ１０）。
可変長符号化部７は、符号化モード決定部２から出力された符号化モード情報がイントラ符号化モードである旨を示す場合、その符号化モード情報とイントラ符号化部６から出力されたイントラ符号化情報を可変長符号化してビットストリームを生成する（ステップＳＴ１０）。
可変長符号化（エントロピー符号化）の手法としては、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６３又はＨ．２６４などのエントロピー符号化方法を適用すればよい。
なお、一定時刻毎にフレーム全体をイントラ符号化するようにすれば、ランダムアクセス性が向上する。

以下、図１の映像符号化装置の効果について説明する。
図４の映像符号化装置は、図１の映像符号化装置と動作の比較を行うために、図９の従来の映像符号化装置にスキップ符号化機能が搭載されているものである。
即ち、図４の映像符号化装置は、画像入力部３１、蓄積スイッチ３２、前フレーム画像蓄積部３３、後フレーム差分値算出部３４、モード判定部３５、符号化スイッチ３６、イントラ符号化部３７及び可変長符号化部３８から構成されている。

ただし、画像入力部３１は図１の映像符号化装置の画像入力部１に相当し、蓄積スイッチ３２は図１の映像符号化装置の蓄積スイッチ３に相当し、前フレーム画像蓄積部３３は図１の映像符号化装置の前フレーム画像蓄積部４に相当し、後フレーム差分値算出部３４は図２の差分値算出部１１に相当し、イントラ符号化部３７は図１の映像符号化装置のイントラ符号化部６に相当し、可変長符号化部３８は図１の映像符号化装置の可変長符号化部７に相当する。

モード判定部３５は後フレーム差分値算出部３４により算出された後フレーム差分値と閾値Ｔｈを比較し、後フレーム差分値が閾値Ｔｈより大きければ、符号化モードをイントラ符号化モードに決定して、符号化モードがイントラ符号化モードである旨を示す符号化モード情報を出力し、後フレーム差分値が閾値Ｔｈ以下であれば、符号化モードをスキップ符号化モードに決定して、符号化モードがスキップ符号化モードである旨を示す符号化モード情報を出力する。
符号化スイッチ３６はモード判定部３５から出力された符号化モード情報がイントラ符号化モードである旨を示す場合、画像入力部３１から出力された現フレームのマクロブロック画像をイントラ符号化部３７に与え、その符号化モード情報がスキップ符号化モードである旨を示す場合、画像入力部３１から出力された現フレームのマクロブロック画像をイントラ符号化部３７に与えないようにする。

図５はこの発明の実施の形態１による映像符号化装置の効果を説明する説明図である。
図５（ａ）は入力画像の一例であり、Ｔ＝１・・・８は時刻を表している。また、各フレームは４つの四角形で表されているマクロブロックに分割されているものとする。なお、太枠で表されているマクロブロックは前の時刻から画像に変化が生じているマクロブロックであることを示している。この例では、７フレーム毎にランダムアクセス性を高めるために、全マクロブロックがイントラ符号化されているものとする。
図５（ｂ）は図５（ａ）の入力画像が図９の映像符号化装置により符号化された場合の各マクロブロックの符号化モードを示している。
図５（ｃ）は図５（ａ）の入力画像が図４の映像符号化装置により符号化された場合の各マクロブロックの符号化モードを示している。
図５（ｄ）は図５（ａ）の入力画像が図１の映像符号化装置により符号化された場合の各マクロブロックの符号化モードを示している。

図６では、斜線を施してあるマクロブロックがイントラ符号化モードであり、斜線を施していないマクロブロックがスキップ符号化モードであることを示している。
図６から明らかなように、この実施の形態１による図１の映像符号化装置では、図９の映像符号化装置と比べて、イントラ符号化モードで符号化されるマクロブロックの数が大幅に削減されていることが分る。したがって、ビットストリームの符号量が大幅に削減される。

次に、映像復号装置の動作について説明する。
ヘッダサーチ部２１は、映像符号化装置による符号化モードがスキップ符号化モードである場合、映像符号化装置から符号化モードがスキップ符号化モードである旨を示す符号化モード情報が可変長符号化されているビットストリームを入力する。
一方、映像符号化装置による符号化モードがイントラ符号化モードである場合、映像符号化装置から符号化モードがイントラ符号化モードである旨を示す符号化モード情報とイントラ符号化情報が可変長符号化されているビットストリームを入力する。

ヘッダサーチ部２１は、再生モードが順方向再生モードであれば、ビットストリームの中から、時刻に関して順方向にフレーム先頭位置をサーチして、１フレーム分のストリームを可変長復号部２２に出力する。再生モードが巻き戻し再生モードであれば、そのビットストリームの中から、時刻に関して逆方向にフレーム先頭位置をサーチして、１フレーム分のストリームを可変長復号部２２に出力する（ステップＳＴ２１）。

可変長復号部２２は、ヘッダサーチ部２１から１フレーム分のストリームを受けると、１フレーム分のストリームを可変長復号して符号化モード情報をイントラ復号部２３及び画像更新スイッチ２４に出力する（ステップＳＴ２２）。
また、可変長復号部２２は、１フレーム分のストリームが、イントラ符号化情報が可変長符号化されているストリームであれば、即ち、映像符号化装置によりイントラ符号化情報が可変長符号化されているストリームであれば、そのストリームを可変長復号してイントラ符号化情報をイントラ復号部２３に出力する（ステップＳＴ２２）。

イントラ復号部２３は、可変長復号部２２から出力された符号化モード情報がイントラ符号化モードである旨を示す場合（ステップＳＴ２３）、図１の映像符号化装置のイントラ符号化部６の逆処理を実施することにより、可変長復号部２２から出力されたイントラ符号化情報をイントラ復号してマクロブロック画像を生成する（ステップＳＴ２４）。

画像更新スイッチ２４は、可変長復号部２２から出力された符号化モード情報がイントラ符号化モードである旨を示す場合、イントラ復号部２３により生成されたマクロブロック画像を局部復号画像メモリ２５に格納する（ステップＳＴ２５）。
画像更新スイッチ２４は、可変長復号部２２から出力された符号化モード情報がスキップ符号化モードである旨を示す場合、イントラ復号部２３により生成されたマクロブロック画像を局部復号画像メモリ２５に格納しないようにする。

局部復号画像メモリ２５は、画像更新スイッチ２４からマクロブロック画像を受けると、そのマクロブロック画像をフレーム内の処理対象マクロブロック位置の局部復号画像として更新し、復号処理対象のマクロブロックの局部復号画像を出力する（ステップＳＴ２６）。
映像復号装置では、１フレーム分のマクロブロックの復号処理が終了するまで、ステップＳＴ２１〜ＳＴ２６の処理を繰り返し実行し（ステップＳＴ２７）、全フレームの復号処理が終了するまで、ステップＳＴ２１〜ＳＴ２７の処理を繰り返し実行する（ステップＳＴ２８）。

図８は映像復号装置により巻き戻し再生して生成される巻き戻し再生映像を示す説明図である。
図８（ａ）は図５（ａ）の入力画像が図９の映像符号化装置により符号化された場合の巻き戻し再生映像を示している。
図８（ｂ）は図５（ａ）の入力画像が図４の映像符号化装置により符号化された場合の巻き戻し再生映像を示している。
図８（ｃ）は図５（ａ）の入力画像が図１の映像符号化装置により符号化された場合の巻き戻し再生映像を示している。

図８（ａ）の場合、全てのマクロブロックがイントラ符号化されているため、フレーム毎に全マクロブロックの復号画像が更新され、正常な巻き戻し再生映像が得られている。
一方、図８（ｂ）の場合、順方向において差分が生じたマクロブロックについてはスキップ符号化が適用されているため、巻き戻し再生時には、逆方向において差分が生じたマクロブロックに対してもスキップ符号化が適用される結果、正常な巻き戻し再生映像が得られていない。

図８（ｃ）の場合、図１の映像符号化装置において、符号化対象フレームのマクロブロック画像と、その前後のフレームのマクロブロック画像との差分値が大きいときには、イントラ符号化が行われるため、ビットストリームを巻き戻し再生する際、順方向再生であっても、逆方向再生（巻き戻し再生）であっても画面内の変化のある部分においては復号画像が更新されて、適切に再生される。
したがって、この実施の形態１による図１の映像符号化装置を用いれば、簡単な構成の映像復号装置によって正常な巻き戻し再生映像が得られると共に、ビットストリームの符号量の増加を抑えることができる。

以上で明らかなように、この実施の形態１によれば、画像入力部１により分割された現フレームのマクロブロック画像と前フレームのマクロブロック画像との差分値を算出し、その差分値が閾値Ｔｈより小さく、かつ、前フレームの処理時に算出した差分値が閾値Ｔｈより小さければ、符号化モードをスキップ符号化モードに決定し、少なくとも一方の差分値が閾値Ｔｈより大きければ、符号化モードをイントラ符号化モードに決定する符号化モード決定部２と、符号化モード決定部２により決定された符号化モードがイントラ符号化モードであれば、前フレームのマクロブロック画像をフレーム内符号化し、そのフレーム内符号化によって発生するイントラ符号化情報を出力するイントラ符号化部６とを設け、符号化モード決定部２により決定された符号化モードがスキップ符号化モードであれば、符号化モードがスキップ符号化モードである旨を示す符号化モード情報を可変長符号化し、符号化モード決定部２により決定された符号化モードがイントラ符号化モードであれば、符号化モードがイントラ符号化モードである旨を示す符号化モード情報とイントラ符号化部６から出力されたイントラ符号化情報を可変長符号化するように構成したので、ビットストリームの符号量の増大を招くことなく、イントラフレーム間の全ての復号フレームを蓄積するバッファを搭載していない映像復号装置が巻き戻し再生を実現することができる効果を奏する。

また、この実施の形態１によれば、映像符号化装置による符号化モードがスキップ符号化モードであれば、映像符号化装置から符号化モードがスキップ符号化モードである旨を示す符号化モード情報が可変長符号化されているストリームを入力し、映像符号化装置による符号化モードがイントラ符号化モードであれば、映像符号化装置から符号化モードがイントラ符号化モードである旨を示す符号化モード情報とイントラ符号化情報が可変長符号化されているストリームを入力し、再生モードが順方向再生モードであれば、そのストリームの中から、時刻に関して順方向にフレーム先頭位置をサーチして、１フレーム分のストリームを出力し、再生モードが巻き戻し再生モードであれば、そのストリームの中から、時刻に関して逆方向にフレーム先頭位置をサーチして、１フレーム分のストリームを出力するように構成したので、イントラフレーム間の全ての復号フレームを蓄積するバッファを搭載することなく、巻き戻し再生を実現することができる効果を奏する。

この発明の実施の形態１による映像符号化装置を示す構成図である。 この発明の実施の形態１による映像符号化装置の符号化モード決定部２を示す構成図である。 この発明の実施の形態１による映像符号化装置の処理内容を示すフローチャートである。 図１の映像符号化装置と動作の比較を行うために、図９の映像符号化装置にスキップ符号化機能が搭載されている映像符号化装置を示す構成図である。 この発明の実施の形態１による映像符号化装置の効果を説明する説明図である。 この発明の実施の形態１による映像復号装置を示す構成図である。 この発明の実施の形態１による映像復号装置の処理内容を示すフローチャートである。 映像復号装置により巻き戻し再生して生成される巻き戻し再生映像を示す説明図である。 従来の映像符号化装置を示す構成図である。

符号の説明

１ 画像入力部（画像分割手段）、２ 符号化モード決定部（符号化モード決定手段）、３ 蓄積スイッチ（画像蓄積手段）、４ 前フレーム画像蓄積部（画像蓄積手段）、５ 符号化スイッチ（イントラ符号化手段）、６ イントラ符号化部（イントラ符号化手段）、７ 可変長符号化部（可変長符号化手段）、１１ 差分値算出部、１２ 差分値蓄積部、１３ モード決定部、２１ ヘッダサーチ部（ヘッダサーチ手段）、２２ 可変長復号部（可変長復号手段）、２３ イントラ復号部（イントラ復号手段）、２４ 画像更新スイッチ（画像出力手段）、２５ 局部復号画像メモリ（画像出力手段）、３１ 画像入力部、３２ 蓄積スイッチ、３３ 前フレーム画像蓄積部、３４ 後フレーム差分値算出部、３５ モード判定部、３６ 符号化スイッチ、３７ イントラ符号化部、３８ 可変長符号化部。

Claims (3)

1. フレーム画像をマクロブロック単位に分割する画像分割手段と、上記画像分割手段により分割された現フレームのマクロブロック画像と前フレームのマクロブロック画像との差分値を算出し、上記差分値が予め設定された閾値より小さく、かつ、前フレームの処理時に算出した差分値が上記閾値より小さければ、符号化モードをスキップ符号化モードに決定し、少なくとも一方の差分値が上記閾値より大きければ、符号化モードをイントラ符号化モードに決定する符号化モード決定手段と、上記符号化モード決定手段により決定された符号化モードがイントラ符号化モードであれば、上記画像分割手段により分割された現フレームのマクロブロック画像を蓄積し、次フレームの処理時に上記マクロブロック画像を前フレームのマクロブロック画像として上記符号化モード決定手段に出力する画像蓄積手段と、上記符号化モード決定手段により決定された符号化モードがイントラ符号化モードであれば、上記画像蓄積手段に蓄積されているマクロブロック画像をフレーム内符号化し、そのフレーム内符号化によって発生するイントラ符号化情報を出力するイントラ符号化手段と、上記符号化モード決定手段により決定された符号化モードがスキップ符号化モードであれば、符号化モードがスキップ符号化モードである旨を示す符号化モード情報を可変長符号化し、上記符号化モード決定手段により決定された符号化モードがイントラ符号化モードであれば、符号化モードがイントラ符号化モードである旨を示す符号化モード情報と上記イントラ符号化手段から出力されたイントラ符号化情報を可変長符号化する可変長符号化手段とを備えた映像符号化装置。
2. 符号化モード決定手段は、画像分割手段により分割された現フレームのマクロブロック画像と画像蓄積手段から出力された前フレームのマクロブロック画像との差分値を算出する差分値算出部と、上記差分値算出部により算出された差分値を蓄積し、次フレームの処理時に当該差分値を出力する差分値蓄積部と、上記差分値算出部により算出された差分値が予め設定された閾値より小さく、かつ、上記差分値蓄積部から出力された差分値が上記閾値より小さければ、符号化モードをスキップ符号化モードに決定し、少なくとも一方の差分値が上記閾値より大きければ、符号化モードをイントラ符号化モードに決定するモード決定部とから構成されていることを特徴とする請求項１記載の映像符号化装置。
3. 映像符号化装置による符号化モードがスキップ符号化モードであれば、上記映像符号化装置から符号化モードがスキップ符号化モードである旨を示す符号化モード情報が可変長符号化されているストリームを入力し、上記映像符号化装置による符号化モードがイントラ符号化モードであれば、上記映像符号化装置から符号化モードがイントラ符号化モードである旨を示す符号化モード情報とイントラ符号化情報が可変長符号化されているストリームを入力し、再生モードが順方向再生モードであれば、上記ストリームの中から、時刻に関して順方向にフレーム先頭位置をサーチして、１フレーム分のストリームを出力し、再生モードが巻き戻し再生モードであれば、上記ストリームの中から、時刻に関して逆方向にフレーム先頭位置をサーチして、１フレーム分のストリームを出力するヘッダサーチ手段と、上記ヘッダサーチ手段から出力された１フレーム分のストリームを可変長復号して符号化モード情報を出力するとともに、イントラ符号化情報が可変長符号化されていれば、そのイントラ符号化情報を出力する可変長復号手段と、上記可変長復号手段から出力されたイントラ符号化情報をイントラ復号してマクロブロック画像を生成するイントラ復号手段と、上記可変長復号手段から出力された符号化モード情報が、符号化モードがイントラ符号化モードである旨を示す場合、上記イントラ復号手段により生成されたマクロブロック画像を出力する画像出力手段とを備えた映像復号装置。

Images