JP2016167892A - 動画像符号化用コンピュータプログラム - Google Patents

Abstract

【課題】フレーム間予測符号化された二つの動画像データを結合する際に、元の符号化動画像データのヘッダ内パラメータを変更しなくても、連続した復号処理及び表示処理を可能にする動画像符号化用コンピュータプログラムを提供する。【解決手段】動画像符号化用コンピュータプログラムは、動画像データに含まれる各ピクチャのうち、他の符号化された動画像データの後に結合される可能性のある第１のピクチャについて、第１のピクチャよりも符号化順序が後の１以上のピクチャが除去された場合にも、動画像復号装置が符号化された動画像データのうちの第１のピクチャ以降のピクチャを連続して復号及び表示できるようにするための復号遅延補正情報及び表示遅延補正情報を符号化動画像データに付加することをコンピュータに実行させる。そして復号遅延補正情報は、除去されうるピクチャの数に相当する値である。【選択図】図５

Description

本発明は、例えば、符号化された動画像データを復号せずに編集することが可能な動画像符号化装置及び動画像符号化方法、及び、そのような動画像符号化装置にて符号化された動画像データを復号する動画像復号装置及び動画像復号方法に関する。

動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化標準として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding（MPEG-4 AVC/H.264）が広く利用されている。

このような符号化標準では、符号化対象のピクチャと、その前後のピクチャの情報とを用いて、符号化対象のピクチャを符号化するインター符号化方法、及び符号化対象ピクチャが持つ情報のみを用いて符号化するイントラ符号化方法が採用されている。また、インター符号化方法には、イントラ符号化ピクチャ（Iピクチャ）、一般的に過去のピクチャを予測ピクチャとする前方向予測ピクチャ（Pピクチャ）、及び一般的に過去のピクチャ及び未来のピクチャの両方を予測ピクチャとする双方向予測ピクチャ（Bピクチャ）、の3つのピクチャ種別が存在する。

一般に、インター符号化方法で符号化されたピクチャもしくはブロックの符号量は、イントラ符号化方法で符号化されたピクチャもしくはブロックの符号量に比べて小さい。このように、選択された符号化モードにより、シーケンス内でピクチャの符号量の偏りが生じる。同様に、選択された符号化モードにより、ピクチャ内でブロックの符号量の偏りが生じる。
そこで、符号量が時間的に変動しても、一定の伝送レートにて符号化された動画像を含むデータストリームを伝送できるように、伝送元の装置にデータストリーム用の送信バッファが用意され、また伝送先の装置にデータストリーム用の受信バッファが用意される。

MPEG-2及びMPEG-4 AVC/H.264では、それぞれVideo Buffering Verifier(VBV)とCoded Picture Buffer(CPB)と呼ばれる、理想的な動画像復号装置における受信バッファの動作が規定されている。なお、便宜上、以下では、理想的な動画像復号装置を単に理想復号装置と称する。理想復号装置は、復号処理に要する時間が0である瞬時復号を行うと規定されている。例えば、特許文献１にVBVに関する動画像符号化装置の制御方法が開示されている。

動画像符号化装置は、理想復号装置の受信バッファがオーバーフロー及びアンダーフローしないように、理想復号装置があるピクチャを復号する時刻にそのピクチャのデータが受信バッファに格納されていることを保証するように符号量を制御する。
受信バッファのアンダーフローは、動画像符号化装置が一定の伝送レートで符号化された動画像のデータストリームを送信した場合に、動画像復号装置が復号及び表示するべき時刻までにピクチャを復号するのに必要なデータの伝送が完了しない場合に生じる。すなわち、受信バッファのアンダーフローは、動画像復号装置の受信バッファ内にピクチャを復号するために必要データが存在していないことである。この場合、動画像復号装置は復号処理を行うことが出来ないため、フレームスキップが発生する。

動画像復号装置は、受信バッファのアンダーフローを起こさずに復号処理できるように、ストリームを受信時刻から所定の時間だけ遅延させてからピクチャを表示する。
上述したように、理想復号装置では、処理時間0で、瞬時的に復号処理が完了すると規定される。そのため、動画像符号化装置へのi番目ピクチャの入力時刻をt(i)、理想復号装置における、i番目ピクチャの復号時刻をtr(i)とすれば、そのピクチャが表示可能となる最も早い時刻は、tr(i)と等しい。全てのピクチャにおいてピクチャの表示期間｛t(i+1)-t(i)｝と｛tr(i+1)-tr(i)｝が等しくなるので、復号時刻tr(i)は、入力時刻t(i)から固定時間dly分だけ遅延させた時刻｛tr(i)=t(i)+dly｝となる。従って、動画像符号化装置は、時刻tr(i)までに復号に必要なデータを動画像復号装置の受信バッファに伝送完了させなければならない。

図１を参照しつつ、受信バッファの様子を説明する。図１において横軸は時刻を表し、縦軸は受信バッファのバッファ占有量を表す。そして実線のグラフ１００は、各時刻におけるバッファ占有量を表す。
受信バッファでは、所定の伝送レートでバッファ占有量が回復し、各ピクチャの復号時刻にそのピクチャを復号するために用いられる分のデータがバッファから取り出される。i番目ピクチャのデータが、時刻at(i)から受信バッファに入力開始され、i番目ピクチャの最後のデータが時刻ft(i)に入力される。理想復号装置は時刻tr(i)でi番目ピクチャの復号を完了し、その時刻tr(i)においてi番目ピクチャが表示可能となる。ただし、Bピクチャが含まれる場合、ピクチャのリオーダ（符号化順序の入れ替え）が発生しているので、i番目ピクチャについての実際の表示時刻はtr(i)より遅くなることもある。

MPEG-4 AVC/H.264における、各ピクチャの復号時刻、及び表示時刻の記述方法の詳細を以下に説明する。

MPEG-4 AVC/H.264では、画素の復号処理に直接関係しない補足情報は、SEI(Supplemental enhancement information)メッセージで記述される。SEIは、数十種類が規定され、その種別はpayloadTypeパラメータによって識別される。このSEIはピクチャごとに付加される。

再引き込みが可能なピクチャ、すなわち、過去のピクチャがなくても復号可能なピクチャ（一般的にはIピクチャ）には、SEIの一つであるBPSEI(Buffering Period SEI)が付加される。BPSEIには、パラメータInitialCpbRemovalDelayが記述される。パラメータInitialCpbRemovalDelayは、BPSEIが付加されたピクチャの先頭ビットの受信バッファへの到達時刻と、BPSEIが付加されたピクチャの復号時刻との差分値を表す。この差分値の精度は90kHzである。
先頭ピクチャの復号時刻tr(0)は、符号化動画像データの先頭ビットが動画像復号装置に到達した時刻（0とする）、すなわちat(0)からInitialCpbRemovalDelay ÷ 90,000 [sec]だけ遅れた時刻になる。

また、各ピクチャには、一般的に、SEIの一つであるPTSEI(Picture Timing SEI)が付加される。PTSEIには、パラメータCpbRemovalDelay及びDpbOutputDelayが記述される。パラメータCpbRemovalDelayは、直前のBPSEI付加ピクチャの復号時刻とPTSEIが付加されたピクチャの復号時刻との差分値を表す。またパラメータDpbOutputDelayは、PTSEIが付加されたピクチャの復号時刻とそのピクチャの表示時刻との差分値を表す。これら差分値の精度は、1フィールドピクチャ間隔である。したがって、ピクチャがフレームである場合には、パラメータCpbRemovalDelay及びDpbOutputDelayは2の倍数となる。

２番目以降のピクチャの復号時刻tr(i)は、先頭ピクチャの復号時刻tr(0)から、tc * CpbRemovalDelay(i) [sec]だけ遅れた時刻になる。CpbRemovalDelay(i)はi番目のピクチャに付加されるCpbRemovalDelayである。tcはピクチャ間の時間間隔[sec]であり、例えば29.97Hzのプログレッシブ画像の場合、tcは1001/60000である。

BPSEIが付加されたピクチャを含む、各ピクチャの表示時刻は、tr(i)からtc * DpbOutputDelay(i)だけ遅れた時刻になる。DpbOutputDelay(i)はi番目のピクチャに付加されるDpbOutputDelayである。すなわち、時刻tr(0)以降は、tcの整数倍の時刻単位で、ピクチャの復号及び表示が行われる。

動画像データの用途によっては、符号化動画像が編集されることがある。符号化動画像の編集操作は、符号化動画像データを細分化し、それらをつなぎ合わせて別の符号化動画像データを生成するものである。例えば、放送中の符号化動画像の途中に別番組（例えばCM）を挿入する処理（スプライシング）は編集操作の一つである。

フレーム間予測符号化された動画像の編集において、特にインター符号化されたピクチャは、その符号化ピクチャ単独では正常復号できない。そのため、任意のピクチャ位置で二つの符号化動画像データを結合するには、符号化動画像データを編集する装置は、一度結合する二つの符号化動画像データを復号して、復号されたピクチャ単位で結合したのち、その結合された動画像データを再度符号化する。

しかし再符号化処理は煩雑であるため、特にスプライシングといったリアルタイム処理では、結合位置を限定することで、再符号化処理を行わずに符号化動画像データを直接編集することが一般的である。再符号化処理を行わずに符号化動画像データを編集する場合、結合する二つの符号化動画像データのうち、時間的に後ろ側に結合される符号化動画像データの先頭ピクチャはIピクチャとする。また、時間的に後ろ側に結合される符号化動画像データでは、いわゆるクローズドGOP構造、すなわち先頭Iピクチャに続く全てのピクチャが、先頭Iピクチャよりも時間的に過去のピクチャを参照しないように制限される。これにより、編集により所定の結合点にて結合された二つの符号化動画像データのうちの後側の符号化動画像データの先頭Iピクチャ以降の全てのピクチャが正常復号可能となる。

なお、クローズドGOP構造は、非クローズドGOP構造に比べ符号化効率が低下するため、非クローズドGOP構造が採用されることもある。この場合、結合点後の先頭Iピクチャの直後のいくつかのピクチャは正常に復号されないが、それらのピクチャは表示時間的に先頭Iピクチャより先に表示されるピクチャであるため、表示できなくてもよい。そこで、動画像復号装置は、一般的に、結合された二つの符号化動画像データのうち、時間的に前側の符号化動画像データの最終ピクチャを表示後、表示をフリーズするなどして正常復号できなかったピクチャの表示をマスキングする。

従来技術では、フレーム間予測符号化された動画像データが再符号化処理されずに編集された場合でも、結合した二つの符号化動画像データの間で齟齬が生じないように、ヘッダ情報も修正される。
例えば、MPEG-4 AVC/H.264において、ピクチャ間の時間的な関係、及び参照ピクチャの特定のために、スライスヘッダにPOC (Picture Order Count)及びFrameNumが付加される。POCは、相対的なピクチャの表示順番を表す。FrameNumは、符号化動画像中に参照ピクチャが出現する度に1だけ増加する値である。結合した二つの符号化動画像データの間でPOC及びFrameNumが連続する必要があるため、結合する二つの符号化動画像データの内、後ろ側の符号化動画像データの全てのPOC及びFrameNumを書き換える必要が生じる。

一方、非特許文献１に開示された方式では、新たな参照ピクチャの特定方法が導入されたため、FrameNumが廃止されている。また結合する二つの符号化動画像データのうち、後ろ側の符号化動画像データの先頭ピクチャのPOC値は、前側の符号化動画像データとの連続性を持たなくてもよいため、スライスヘッダの変更は不要になる。非特許文献１に開示された方式では、ピクチャの種別として、MPEG-4 AVC/H.264が規定するIDR (Instantaneous Decoding Refresh)ピクチャに加え、CRA (Clean Random Access)ピクチャ、BLA (Broken Link Access)ピクチャ、TFD (Tagged For Discard)ピクチャが新たに導入されている。

このうち、CRAピクチャ及びBLAピクチャは、共に、再引き込みポイント、すなわち、参照されるピクチャがなく、そのピクチャ以降、正常な復号が可能となるピクチャである。動画像復号装置がCRAピクチャから復号動作を開始した場合、このCRAピクチャの直後に続くTFDピクチャ以外は正常に復号可能である。

TFDピクチャは、CRAピクチャまたはBLAピクチャの直後に出現する、CRAピクチャまたはBLAピクチャよりも時間的及び復号順番的に前のピクチャを参照するピクチャである。MPEG-2に準拠する非クローズドGOP構造の場合、GOP先頭のIピクチャの直後の複数のBピクチャがTFDピクチャに相当する。

BLAピクチャは、符号化動画像データの編集操作により発生する。結合する二つの符号化動画像データのうち、後ろ側の符号化動画像データの先頭ピクチャは一般にはCRAピクチャであるが、このCRAピクチャが、結合された符号化動画像データの途中に位置する場合には、CRAピクチャからBLAピクチャに種別変更される。非特許文献１に開示された方式では、BLAピクチャが出現する場合、POC値が不連続になることが許容される。また、このBLAピクチャの直後のTFDピクチャは、結合した符号化動画像データでは、参照されるべきピクチャが失われているので、その符号化動画像データのどこから復号しても正常に復号できない。そのため、動画像符号化装置は、結合する二つの符号化動画像データのうち、後ろ側の符号化動画像データの先頭BLAピクチャに後続するTFDピクチャを符号化動画像データから削除してもよい。

特開２００３−１７９９３８号公報

JCTVC-I1003, " High-Efficiency Video Coding (HEVC) text specification Working Draft 7", Joint Collaborative Team on Video Coding of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, May 2012

非特許文献１に開示された方式では、MPEG-4 AVC/H.264と同じく、各符号化ピクチャの復号時刻及び表示時刻は、パラメータInitialCpbRemovalDelay, CpbRemovalDelay, DpbOutputDelayを用いて決定される。二つの符号化動画像データを結合する場合に、結合点にて動画像復号処理及び表示が連続して行われるためには、結合点より後のピクチャのCpbRemovalDelay、DpbOutputDelayを適切な値に修正することが求められる。

具体的には、動画像符号化装置または動画像復号装置は、結合する二つの符号化動画像データのうち、後ろ側の符号化動画像データの先頭CRAピクチャのCpbRemovalDelayを、前側の符号化動画像データにおける最終BPSEI付加ピクチャに後続するピクチャ数に基づいて修正する必要がある。更にCPBバッファの連続性を保証するには、動画像符号化装置または動画像復号装置は、CpbRemovalDelayの値を増加する。また、後ろ側の符号化動画像データからTFDピクチャを除去する場合、動画像符号化装置または動画像復号装置は、除去したTFDピクチャの後に復号するピクチャのCpbRemovalDelay、及び結合点での先頭CRAピクチャのDpbOutputDelayを変更する必要がある。
このように、非特許文献１に開示された方式では、二つの符号化動画像データを結合する編集操作においてPTSEIの内容を変更する必要が依然残っている。

そこで本明細書は、フレーム間予測符号化された二つの動画像データを結合する際に、元の符号化動画像データのヘッダ内パラメータを変更しなくても、連続した復号処理及び表示処理を可能にする動画像符号化装置及び動画像復号装置を提供することを目的とする。

一つの実施形態によれば、フレーム間予測方式によって動画像データを符号化する動画像符号化装置が提供される。この動画像符号化装置は、動画像データに含まれる各ピクチャのうち、他の符号化された動画像データの後に結合される可能性のある第１のピクチャについて、第１のピクチャよりも符号化順序が後の１以上のピクチャが除去された場合にも、動画像復号装置が符号化された動画像データのうちの第１のピクチャ以降のピクチャを連続して復号及び表示できるようにするための復号遅延補正情報及び表示遅延補正情報を求める符号化制御部と、動画像データに含まれる各ピクチャを符号化するとともに、符号化された動画像データに復号遅延補正情報及び表示遅延補正情報を付加するピクチャ符号化部とを有する。

他の実施形態によれば、フレーム間予測符号化された動画像データを復号する動画像復号装置が提供される。この動画像復号装置は、符号化された動画像データが、第１の符号化動画像データの後に第２の符号化動画像データが結合されることにより生成されたことを示す情報と、第１の符号化動画像データと第２の符号化動画像データが結合された結合点より後の第２の符号化動画像データの先頭の符号化ピクチャよりも符号化順序が後の１以上の符号化ピクチャが除去されたことを示す情報と、その先頭の符号化ピクチャに後続するピクチャの復号遅延を補正するための復号遅延補正情報と、その先頭の符号化ピクチャの表示遅延を補正するための表示遅延補正情報とを含む場合、その先頭の符号化ピクチャの表示遅延を表示遅延情報に基づいて補正するとともに、その先頭の符号化ピクチャに後続するピクチャの復号遅延を、復号遅延補正情報に基づいて補正するピクチャ復号・表示時刻決定部を有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された動画像符号化装置及び動画像復号装置は、フレーム間予測符号化された二つの動画像データを結合する際に、元の符号化動画像データのヘッダ内パラメータを変更しなくても、連続した復号処理及び表示処理を可能にする。

受信バッファのバッファ占有量の遷移と表示時刻との関係を示す図である。 動画像データに含まれる各ピクチャの表示順序及び復号順序と、復号遅延及び表示遅延との関係を示す図である。 二つの符号化動画像データが結合された場合の結合点以降のピクチャの復号遅延及び表示遅延の説明図である。 第１の実施形態による符号化動画像の一つのピクチャのデータ構造の説明図である。 第１の実施形態による動画像符号化装置の概略構成図である。 第１の実施形態による動画像符号化処理の動作フローチャートである。 第１の実施形態による動画像編集処理の動作フローチャートである。 第１の実施形態による動画像復号装置の概略構成図である。 第１の実施形態による動画像復号処理の動作フローチャートである。 第２の実施形態による符号化動画像の一つのピクチャのデータ構造の説明図である。 結合点よりも前の符号化動画像データにおいて、表示順序が結合点よりも前のピクチャが削除された場合における、二つの符号化動画像データが結合された場合の結合点以降のピクチャの復号遅延及び表示遅延の説明図である。 結合点よりも後の符号化動画像データのリオーダリングピクチャ数が、結合点よりも前の符号化動画像データのリオーダリングピクチャ数よりも小さい場合における、結合点以降のピクチャの復号遅延及び表示遅延の説明図である。 結合点よりも前の符号化動画像データのリオーダリングピクチャ数が、結合点よりも後の符号化動画像データのリオーダリングピクチャ数よりも小さい場合における、結合点以降のピクチャの復号遅延及び表示遅延の説明図である。 第５の実施形態による符号化動画像の一つのピクチャのデータ構造の説明図である。 第６の実施形態による符号化動画像の一つのピクチャのデータ構造の説明図である。 第７の実施形態による符号化動画像の一つのピクチャのデータ構造の説明図である。 各実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。

以下、図を参照しつつ、様々な実施形態による、動画像符号化装置及び動画像復号装置について説明する。この動画像符号化装置は、二つの符号化動画像データを、復号せずに結合する際に、結合点以降のピクチャについての復号時刻及び表示時刻を表すパラメータを修正するために利用される値を算出し、その値を結合点以降のピクチャのヘッダ情報に付加する。これにより、この動画像符号化装置は、二つの符号化動画像データを結合する場合でも、元の符号化動画像データのヘッダ内パラメータの書き換えを不要とする。

本実施形態では、ピクチャは、フレームである。ただし、ピクチャはフレームに限られず、フィールドであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。また、符号化された動画像は、カラー動画像であってもよく、あるいは、モノクロ動画像であってもよい。

図２を参照しつつ、最初に、第１の実施形態における、ピクチャの復号遅延CpbRemovalDelay、及び表示遅延DpbOutputDelayの値について、一つのピクチャ符号化構造を例として説明する。
図２において、ピクチャ符号化構造の一例であるピクチャ符号化構造２０１は、複数のピクチャを含む。ピクチャ符号化構造２０１内の一つのブロックが一つのピクチャを表す。各ピクチャに相当するブロックの内部に示された二つの文字のうち、左側の一文字のアルファベットは、そのピクチャに対して適用される符号化モードを表す。I, P, Bはそれぞれ、Iピクチャ、Pピクチャ、Bピクチャを意味する。また、ブロックの内部に示された二つの文字のうちの右側の数字は、動画像符号化装置へ入力される順番である。なお、入力順番は、動画像復号装置から出力される順番と一致する。ピクチャ符号化構造２０１の上側に示された矢印は、前方向フレーム予測において符号化されるピクチャが参照する参照ピクチャを表す。例えば、ピクチャP4は、ピクチャP4よりも前に位置するピクチャI0を参照する。同様に、ピクチャ符号化構造２０１の下側に示された矢印は、後方向フレーム予測において符号化されるピクチャが参照する参照ピクチャを表す。例えば、ピクチャB2は、ピクチャB2よりも後に位置するピクチャP4を参照する。

ピクチャ符号化構造２０１の下側には、動画像復号装置における、ピクチャ符号化構造２０１に含まれる各ピクチャの復号順序２０２が示される。復号順序２０２に示された各ブロックは、それぞれ、一つのピクチャを表し、かつ、各ブロック内の文字は、ピクチャ符号化構造２０１と同様に、符号化モード及び動画像符号化装置への入力の順番を表す。なお、この復号順序２０２は、動画像符号化装置による符号化の順序と一致する。
復号順序２０２において、下側に"BPSEI"という文字が書かれたピクチャには、BPSEIが付加される。この例では、全てのIピクチャにBPSEIが付加される。すなわち、全てのIピクチャに、Iピクチャの先頭ビットの受信バッファへの到達時刻と、Iピクチャの復号時刻との差分値を表すパラメータInitialCpbRemovalDelayが記述される。

復号順序２０２の下側に示されたブロック列２０３は、各ピクチャに付加されるPTSEIに含まれるCpbRemovalDelay及びDpbOutputDelayの値を表す。ブロック列２０３のうちの上側の各ブロックには、それぞれ、そのブロックの上に位置する復号順序２０２のピクチャのCpbRemovalDelayの値が示される。一方、ブロック列２０３のうちの下側の各ブロックには、それぞれ、そのブロックの上に位置する復号順序２０２のピクチャのDpbOutputDelayの値が示される。CpbRemovalDelayは、BPSEIが付加されたピクチャのうち、符号化順で直前のピクチャからの符号化の順番に相当する。例えば、ピクチャP8は、ピクチャI0から符号化順で5番目である。そして本実施形態では、各ピクチャはフレームであり、ピクチャ間の時間間隔tcがフィールド単位の値であるので、ピクチャP8のCpbRemovalDelayは10(=5*2)となる。

一方、DpbOutputDelayは、動画像復号装置において、各ピクチャを連続して正しい順番で出力するための、表示遅延である。例えばピクチャP4は、DpbOutputDelayが10になっている。これは動画像符号化装置において、入力順番と符号化順番との差が最も大きいピクチャB1を正しく表示するために必要な遅延である。すなわち、ピクチャB1は、ピクチャP4の復号時刻から2ピクチャ時間後に復号されるため、ピクチャP4の表示時刻は、ピクチャB1が表示可能となる最も早い時刻、すなわちピクチャB1の復号時刻から、更に3ピクチャ時間後に表示するようにしなければならない。ピクチャP4の復号時刻と表示時刻との差は5ピクチャ時間になり、DpbOutputDelayは、tcがフィールド単位であることから10となる。

次に、図３を参照しつつ、二つの符号化動画像データを結合した場合に、その二つの符号化動画像データの結合点前後で復号遅延及び表示遅延に矛盾が無いようにするために、結合点より後ろ側の符号化動画像データのピクチャでの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayのとるべき値について説明する。

結合点よりも前側に結合される第１の動画像符号化データ３０１に示された各ブロックは、それぞれ、一つのピクチャを表し、かつ、各ブロック内の文字は、図２と同様に、符号化モード及び動画像符号化装置への入力の順番を表す。この例では、第１の動画像符号化データ３０１の符号化構造は、図２に示された符号化構造２０１と同一である。

この例では、第１の動画像符号化データの最後のピクチャB15の直後に、第２の動画像符号化データ３０２を結合する。第２の動画像符号化データ３０２についても、各ブロックは、それぞれ、一つのピクチャを表し、かつ、各ブロック内の文字は、符号化モード及び動画像符号化装置への入力の順番を表す。第２の動画像符号化データ３０２の符号化構造も、図２に示された符号化構造２０１と同一である。この例では、第２の動画像符号化データ３０２のうち、ピクチャI72以降のピクチャが、第１の動画像符号化データのピクチャB15の後に結合される。

第２の動画像符号化データ３０２の下側に示されたブロック列３０３は、第２の動画像符号化データ３０２の各ピクチャに付加されるPTSEIに含まれる復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値を表す。ブロック列３０３のうちの上側の各ブロックには、それぞれ、そのブロックの上に位置する第２の動画像符号化データ３０２のピクチャの復号遅延CpbRemovalDelayの値が示される。一方、ブロック列３０３のうちの下側の各ブロックには、それぞれ、そのブロックの上に位置する第２の動画像符号化データ３０２のピクチャの表示遅延DpbOutputDelayの値が示される。

ブロック列３０３の下側には、第１の動画像符号化データ３０１と第２の動画像符号化データ３０２とが結合された結合動画像符号化データ３０４が示されている。この例では、結合動画像符号化データ３０４において、第２の動画像符号化データ３０２のうちのピクチャB67及び符号化順序でピクチャB67よりも前の符号化ピクチャは含まれない。また、ピクチャB70, B69, B71はいずれも、符号化順序でピクチャI72よりも前の符号化ピクチャであるピクチャI68を参照する。そのため、ピクチャI72で結合されると、ピクチャB70, B69, B71は正常再生できなくなる。よって、ピクチャB70, B69, B71は結合時に除去される。ただし、これらのピクチャB70, B69, B71は、除去されずに、結合動画像符号化データ内に残されてもよい。

ブロック列３０５は、結合動画像符号化データ３０４における、ピクチャI72, P78, B74, B73, B75が持つべき復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値である。ブロック列３０５のうちの上側の各ブロックには、それぞれ、そのブロックの上に位置する結合動画像符号化データ３０４のピクチャの復号遅延CpbRemovalDelayの値が示される。一方、ブロック列３０５のうちの下側の各ブロックには、それぞれ、そのブロックの上に位置する結合動画像符号化データ３０４のピクチャの表示遅延DpbOutputDelayの値が示される。ピクチャI72の復号遅延CpbRemovalDelayは、結合後に、直前のBPSEIを持つピクチャであるピクチャI12との符号化ピクチャ間隔に合わせる必要があり、この例では、ピクチャI72は、符号化順序に従うとピクチャI12から8番目であるので、復号遅延CpbRemovalDelayは16となる。またピクチャI72の表示遅延DpbOutputDelayも、ピクチャI72よりも後に復号されるピクチャB73を正しく表示するために修正される必要がある。ピクチャI72の表示遅延DpbOutputDelayの値は、ピクチャB70, B69, B71を除去する前と除去した後とで異なる。ピクチャB70, B69, B71を除去した後の表示遅延DpbOutputDelayの値は、ピクチャB69を符号化するよりも前に符号化した、動画像符号化装置への入力順番的には後のピクチャの数に相当する。この例ではピクチャI72とピクチャB70の二つが該当するので、ピクチャI72の表示遅延DpbOutputDelayの値は4となる。

さらに、ピクチャP76, B74, B73, B75の復号遅延CpbRemovalDelayは、ピクチャB70, B69, B71を除去する前と除去した後とで異なる。ピクチャB70, B69, B71を除去した後のピクチャP76, B74, B73, B75の復号遅延CpbRemovalDelayの値は、それぞれ、除去する前の復号遅延CpbRemovalDelayの値から、除去したピクチャ数に相当する値を引いたものとなる。この例では、ピクチャP76, B74, B73, B75の復号遅延CpbRemovalDelayの値は、それぞれ、元の復号遅延CpbRemovalDelayの値から6を引いた、2, 4, 6, 8となるる。なお、ピクチャP76, B74, B73, B75については、表示遅延DpbOutputDelayの値は不変である。また、結合後の最初のCRAとなるピクチャよりも入力順序で後になるピクチャについては、復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの何れも修正する必要はない。

上記のように、二つの符号化動画像データを結合することにより、その結合点よりも後の符号化動画像データに含まれる幾つかのピクチャについては、復号の際に、復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayを修正する必要がある。そこで、本実施形態では、動画像符号化装置が、結合前の元の動画像符号化データに含まれるピクチャの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値を修正しなくても、動画像復号装置が、結合動画像符号化データを復号する際に、復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値を適切な値に書き換えるために利用可能なパラメータが、動画像符号化データのヘッダに追加される。

図４を参照しつつ、第１の実施形態における、復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値を適切な値に書き換えるために利用可能なパラメータを含む、符号化動画像データの構造を説明する。
図４に示されるように、一つのピクチャのデータ構造４００は、６種類のNetwork Abstraction Layer(NAL) unit４１０〜４１５を含む。これらのNAL unit４１０〜４１５は、いずれも、非特許文献１の方式及び、MPEG-4 AVC/H.264のNAL unitに準拠する。各NAL unitにはヘッダNUH４２０が付加される。ヘッダNUH４２０は、各NAL unitのタイプを表すNalUnitTypeフィールドを含む。NalUnitTypeが'4'の場合は、そのヘッダが付されたピクチャは、そのピクチャよりも時間的及び復号順番的に前のピクチャを参照するTFDピクチャが直後に出現する、再引き込み可能なCRAピクチャであることを表す。NalUnitTypeが'5'の場合は、そのヘッダが付されたピクチャは、TFDピクチャが直後に出現しないCRAピクチャであることを表す。NalUnitTypeが'6'の場合は、そのヘッダが付されたピクチャは、TFDピクチャが直後に出現する、結合点直後の再引き込み可能なBLAピクチャであることを表す。そしてNalUnitTypeが'7'の場合は、そのヘッダが付されたピクチャは、TFDピクチャが直後に出現しないBLAピクチャであることを表す。なお、各ピクチャのNalUnitTypeの値は、上記の値以外に設定されてもよい。

以下、各NAL unitについて説明する。
NAL unit４１０は、デリミタ(DELIM)NAL unitであり、ピクチャの境界であることを示す。
NAL unit４１１は、シーケンスパラメータセット(SPS)NAL unitであり、SPS NAL unit４１１には、符号化動画像のシーケンス全体に渡って共通なパラメータが記述される。SPS NAL unit ４１１は、再引き込みが可能なピクチャに付加される。
NAL unit４１２は、ピクチャパラメータセット(PPS)NAL unitであり、PPS NAL unit４１２には、複数の符号化ピクチャで共通なパラメータが記述される。PPS NAL unit４１２は、再引き込みが可能なピクチャに付加されるほか、他のピクチャにも付加されることがある。
NAL unit４１３は、BPSEI NAL unitであり、BPSEI NAL unit４１３は再引き込みが可能なピクチャにのみ付加される。本実施形態では、このBPSEI NAL unit４１３に、動画像復号装置にて結合点以降のピクチャの復号遅延と表示遅延とを修正するために利用されるパラメータが追加される。
NAL unit４１４は、PTSEI NAL unitであり、PTSEI NAL unit４１４は各ピクチャに付加される。
NAL unit４１５は、スライス(SLICE)NAL unitであり、符号化されたピクチャの実体である。

本実施形態による、BPSEI NAL unit４１３は、(N+1)個(ただし、Nは0以上の整数)のInitialCpbRemovalDelayフィールドとInitialCpbRemovalDelayOffsetフィールドの組と、それらの組に後続するRapCpbParamsPresentFlagフィールドを含む。RapCpbParamsPresentFlagが'1'の場合には、復号遅延の修正に利用される復号遅延補正情報AltCpbRemovalDelayOffsetフィールド４３１及び表示遅延の修正に利用される表示遅延補正情報AltDpbOutputDelayフィールド４３２も、BPSEI NAL unit４１３に含まれる。一方、RapCpbParamsPresentFlagが'0'の場合には、復号遅延補正情報AltCpbRemovalDelayOffsetフィールド４３１及び表示遅延補正情報AltDpbOutputDelayフィールド４３２は含まれない。なお、復号遅延補正情報AltCpbRemovalDelayOffsetフィールド４３１及び表示遅延補正情報AltDpbOutputDelayフィールド４３２の利用方法及び決定方法については後述する。

また、InitialCpbRemovalDelayフィールド及びInitialCpbRemovalDelayOffsetフィールドが複数存在するのは、符号化ビットストリームを(N+1)の種類のビットレートで伝送した場合に適したInitialCpbRemovalDelay及びInitialCpbRemovalDelayOffsetを記述するためである。なおInitialCpbRemovalDelayOffsetは、動画像符号化装置における最初のピクチャの符号化完了時刻と、動画像復号装置に対して符号化ピクチャデータの伝送を開始する時刻との差分を表す。

PTSEI NAL unit４１４は、復号遅延CpbRemovalDelayフィールド及びDpbOutputDelayフィールドを含む。これらのフィールドの定義は非特許文献１の方式及び、MPEG-4 AVC/H.264と同等であってもよい。

図５は、第１の実施形態による、動画像符号化装置の概略構成図である。動画像符号化装置１は、制御部１１と、符号化制御部１２と、ピクチャ符号化部１３と、結合点識別情報処理部１４と、データ結合部１５とを有する。動画像符号化装置１が有するこれらの各部は、それぞれ、別個の回路として動画像符号化装置１に実装される。あるいは、動画像符号化装置１が有するこれらの各部は、その各部の機能を実現する回路が集積された一つの集積回路として動画像符号化装置１に実装されてもよい。あるいはまた、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。

制御部１１は、動画像データを符号化する際、または符号化動画像データの編集操作を実行する際、動画像符号化装置１の各部の処理を制御する。例えば、制御部１１は、要求される符号化動画像データの再生画質、圧縮率などに基づいて、符号化しようとする動画像データに対して適用するGOP構造などを決定する。そして制御部１１は、GOP構造などを符号化制御部１２へ通知する。

まず、動画像データを符号化する動画像符号化処理について説明する。動画像符号化処理では、符号化制御部１２及びピクチャ符号化部１３が用いられる。
符号化制御部１２は、制御部１１から通知されたGOP構造に応じて、各ピクチャの符号化順番、符号化モード（例えば、イントラ符号化モード、前方向予測モード、及び双方向予測モードのうちの何れか）などを決定する。そして符号化制御部１２は、各ピクチャの符号化モード、GOP構造中の位置等に応じて、CRAピクチャの挿入間隔、符号化時のリオーダリングピクチャ数、及び最大表示遅延を決定する。図２に示された例では、CRAピクチャの挿入間隔は12、リオーダリングピクチャ数は2、最大表示遅延は5である。さらに符号化制御部１２は、これらの値に応じて、各ピクチャのヘッダ情報を生成する。

例えば、ピクチャの種別がIピクチャ（CRAピクチャ）、すなわち、他のピクチャを参照せずに符号化されるピクチャで、そのピクチャが符号化動画像データの先頭ピクチャでない場合には、符号化制御部１２は、リオーダリングピクチャ数が1以上の場合、ピクチャ内の各スライスのNUH７２０のNalUnitTypeを、TFDピクチャが直後に出現することを表す'4'に設定する。一方、リオーダリングピクチャ数が0の場合、符号化制御部１２は、そのピクチャ内の各スライスのNUH７２０のNalUnitTypeを、TFDピクチャが直後に出現しないことを表す'5'に設定する。符号化動画像データの先頭ピクチャ内の各スライスのNUH７２０のNalUnitTypeは、8(IDRピクチャ)に設定される。またリオーダリングピクチャ数が1以上の場合、CRAピクチャの直後の、CRAピクチャよりも復号順番及び表示順番が早いピクチャを参照する非参照ピクチャについて、符号化制御部１２は、NalUnitTypeを'2'（TFDピクチャ）とする。それ以外のピクチャについては、符号化制御部１２は、NalUnitTypeを'1'とする。

符号化制御部１２は、ピクチャ符号化部１３に対し、符号化するピクチャ内の各スライスヘッダのNUH７２０のNalUnitTypeを通知する。また、符号化制御部１２は、各ピクチャのPTSEI内の復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayを、図２のように、ピクチャの予測構造から求め、通知する。

さらに、ピクチャ内の各スライスのNUH７２０のNalUnitTypeが'8'、'4'もしくは'5'の場合、符号化制御部１２は、そのピクチャにBPSEIを付加する。そして符号化制御部１２は、NalUnitTypeが'8'もしくは'5'の場合には、RapCpbParamsPresentFlagを'0'に設定する。一方、NalUnitTypeが'4'の場合には、符号化制御部１２は、RapCpbParamsPresentFlagを'1'とする。

さらに、符号化制御部１２は、表示遅延の修正に利用されるパラメータ表示遅延補正情報AltDpbOutputDelayをリオーダリングピクチャ数の2倍、すなわち、CRAピクチャよりも符号化順序が後で、再生順序が最も早いピクチャの表示時刻からそのCRAピクチャの表示時刻までのピクチャ数の2倍に設定する。そして符号化制御部１２は、復号遅延の修正に利用されるパラメータ復号遅延補正情報AltCpbRemovalDelayOffsetを、CRAピクチャの直後に続くTFDピクチャの数の2倍に設定する。

符号化制御部１２は、ピクチャごとに、ピクチャ符号化部１３に、その符号化モード及びヘッダ情報を通知するとともに、ピクチャの符号化を指示する。

ピクチャ符号化部１３は、符号化制御部１２からの指示に従い、フレーム間予測符号化が可能な動画像符号化方式の何れかに準拠して、該当ピクチャを指定された符号化モードで符号化する。ピクチャ符号化部１３が準拠する動画像符号化方式は、例えば、MPEG-4 AVC/H.264またはMPEG-2とすることができる。そしてピクチャ符号化部１３は、符号化された各ピクチャを含む、符号化動画像データを記憶部（図示せず）に記憶する。

次に、二つの符号化動画像データを結合する際の編集処理について説明する。結合点識別情報処理部１４及びデータ結合部１５は、この編集処理において用いられる。

結合点識別情報処理部１４は、例えば、図示しないユーザインターフェース部を介して選択された二つの符号化動画像データを記憶部（図示せず）から読み出す。そして結合点識別情報処理部１４は、図示しない外部からの制御信号に従い、その二つの符号化動画像データのうち、時間的に後側に結合される第２の符号化動画像データ内の結合点先頭ピクチャを特定する。外部からの制御信号は、例えば、第２の符号化動画像データ内の、先頭からの符号化ピクチャ数であり、結合点識別情報処理部１４は、例えば、この符号化ピクチャ数以前で最も遅いCRAピクチャを結合点とする。

結合点のCRAピクチャについて、そのピクチャのスライスのNalUnitTypeが'4'の場合、結合点識別情報処理部１４は、そのNalUnitTypeの値を、直後にTFDピクチャが出現しないBLAピクチャであることを表す'7'に書き換える。また結合点識別情報処理部１４は、データ結合部１５に対し、第２の符号化動画像データ内の結合点のCRAピクチャ以降の全ピクチャを出力するとともに、結合点CRAピクチャの直後のTFDピクチャを除去する指示を出す。

一方、結合点のCRAピクチャについて、そのピクチャのスライスのNalUnitTypeが'5'の場合には、結合点識別情報処理部１４は、そのNalUnitTypeの値を、直後にTFDピクチャが出現しないBLAピクチャであることを表す'7'に書き換える。また結合点識別情報処理部１４は、データ結合部１５に対し、第２の符号化動画像データ内の結合点のCRAピクチャ以降の全ピクチャを出力する。ただし、この場合には、結合点識別情報処理部１４は、結合点CRAピクチャの直後のTFDピクチャを除去する指示を出さない。

データ結合部１５は、結合点よりも時間的に前に結合される第１の符号化動画像データの後に、結合点識別情報処理部１４から出力された第２の符号化動画像データを結合する。この時、データ結合部１５は、第２の符号化動画像データ中の、先頭ピクチャの直後の、正常再生が不可能なTFDピクチャを除去する。そしてデータ結合部１５は、第１の符号化動画像データと第２の符号化動画像データを結合することにより得られた結合符号化動画像データを記憶部（図示せず）に記憶する。

図６は、第１の実施例による動画像符号化装置により実行される動画像符号化処理の動作フローチャートである。なお、図６に示される動作フローチャートにしたがって、動画像符号化装置１は、符号化対象の動画像シーケンス全体を符号化する。
シーケンス全体の符号化処理開始に先立ち、例えば、制御部１１によって、GOP構造など、ピクチャ予測構造が決定される（ステップＳ１０１）。そしてそのピクチャ予測構造が符号化制御部１２へ通知される。

符号化制御部１２は、通知されたピクチャ予測構造及び、動画像データの先頭からの符号化対象ピクチャの位置などに基づいて符号化対象ピクチャに適用される符号化モードを決定し、かつ、その符号化対象ピクチャのヘッダ情報を生成する（ステップＳ１０２）。
次に、符号化制御部１２は、符号化対象ピクチャのスライスのNUHのNalUnitTypeが'4'か'5'または'8'か、これらの何れでもないか判定する（ステップＳ１０３）。NalUnitTypeが'4'である場合、この符号化対象ピクチャは、TFDピクチャに先行するCRAである。すなわち、この符号化対象ピクチャ及び後続するピクチャは、この符号化対象ピクチャを先頭として他の符号化動画像データの後に結合されると、動画像復号処理の実行時に復号遅延及び表示遅延が修正される必要がある。そこで符号化制御部１２は、この符号化対象ピクチャに付されるBPSEIのRapCpbParamsPresentFlagを'1'に設定する（ステップＳ１０４）。そして符号化制御部１２は、表示遅延の修正に利用される表示遅延補正情報AltDpbOutputDelayをリオーダリングピクチャ数の2倍に設定する。そして符号化制御部１２は、復号遅延の修正に利用される復号遅延補正情報AltCpbRemovalDelayOffsetを、CRAピクチャの直後に続くTFDピクチャの数の2倍に設定する（ステップＳ１０５）。

一方、NalUnitTypeが'5'または'8'である場合、この符号化対象ピクチャにはBPSEIが付されるものの、この符号化対象ピクチャは、TFDピクチャに先行しない。そこで符号化制御部１２は、この符号化対象ピクチャに付されるBPSEIのRapCpbParamsPresentFlagを'0'に設定する（ステップＳ１０６）。さらに、NalUnitTypeが'4'、'5'及び'8'の何れでもない場合、この符号化対象ピクチャにはBPSEIが付されない。そのため、符号化制御部１２は、RapCpbParamsPresentFlagを設定しない。

ステップＳ１０５またはＳ１０６の後、あるいは、ステップＳ１０３にてNalUnitTypeが'4'及び'5'の何れでもない場合、符号化制御部１２は、符号化対象ピクチャのデータ、そのピクチャの符号化モード及びヘッダ情報を符号化部１３へ通知する。そして符号化部１３は、通知された符号化モード及びヘッダ情報に従って、符号化対象ピクチャを符号化し、その符号化されたピクチャのデータにヘッダ情報を付加する（ステップＳ１０７）。

その後、制御部１１は、動画像シーケンス内に未符号化ピクチャがあるか否か判定する（ステップＳ１０８）。未符号化ピクチャがある場合（ステップＳ１０８−Ｙｅｓ）、制御部１１は、次の未符号化ピクチャを符号化対象ピクチャとして、ステップＳ１０２以降の処理を実行する。
一方、未符号化ピクチャがない場合（ステップＳ１０８−Ｎｏ）、制御部１１は、符号化処理を終了する。

図７は、第１の実施例による動画像符号化装置により実行される動画像編集処理の動作フローチャートである。
結合点識別情報処理部１４は、結合点よりも前に結合される第１の符号化動画像データのうち、結合点までの符号化ピクチャを順次記憶部（図示せず）から読み出す（ステップＳ２０１）。
また結合点識別情報処理部１４は、結合点よりも後に結合される第２の符号化動画像データのうち、結合点以降の符号化ピクチャを順次記憶部（図示せず）から読み出す（ステップＳ２０２）。次に、結合点識別情報処理部１４は、第２の符号化動画像データのうち、読み出された先頭CRAピクチャに対し、各スライスのNUHのNalUnitTypeの値を、BLAピクチャであることを表す値に書き換え、その先頭CRAピクチャをデータ結合部１５へ出力する（ステップＳ２０３）。また、結合点識別情報処理部１４は、書き換える前のNalUnitTypeが'4'か否か、すなわち、TFDピクチャが有るか否か判定する（ステップＳ２０４）。書き換える前のNalUnitTypeが'4'の場合（ステップＳ２０４−Ｙｅｓ）、その先頭CRAピクチャ（結合後はBLAピクチャ）に後続するTFDピクチャが存在する。そこで結合点識別情報処理部１４は、TFD削除フラグを'1'にする（ステップＳ２０５）。一方、書き換える前のNalUnitTypeが'4'でない場合（ステップＳ２０４−Ｎｏ）、その先頭CRAピクチャに後続するTFDピクチャは存在しない。そこで結合点識別情報処理部１４は、TFD削除フラグを'0'にする（ステップＳ２０６）。
ステップＳ２０５またはＳ２０６の後、結合点識別情報処理部１４は、第２の符号化動画像データの先頭CRAピクチャ以降の全ピクチャをデータ結合部１５へ出力する。そしてデータ結合部１５は、その先頭CRAピクチャをBLAピクチャとして、第１の符号化動画像データの結合点の後に結合する（ステップＳ２０７）。

その後、データ結合部１５は、第２の符号化動画像データのうち、既に第１の符号化動画像データに結合されたピクチャまたは削除されたピクチャの次のピクチャを着目ピクチャとする。そしてデータ結合部１５は、着目ピクチャの各スライスのNUHのNalUnitTypeが'2'であり（すなわち、そのピクチャはTFDピクチャであり）、かつTFD削除フラグが'1'であるか否か判定する（ステップＳ２０８）。

NalUnitTypeが'2'であり、かつTFD削除フラグが'1'である場合（ステップＳ２０８−Ｙｅｓ）、データ結合部１５は、着目ピクチャを削除する（ステップＳ２０９）。
一方、NalUnitTypeが'2'でないか、あるいはTFD削除フラグが'0'である場合（ステップＳ２０８−Ｎｏ）、データ結合部１５は、着目ピクチャを結合符号化動画像データの最後尾に結合し、TFD削除フラグを'0'にする（ステップＳ２１０）。
ステップＳ２０９またはＳ２１０の後、データ結合部１５は、着目ピクチャの後にピクチャがあるか否か判定する（ステップＳ２１１）。ピクチャがまだあれば（ステップＳ２１１−Ｙｅｓ）、データ結合部１５は、ステップＳ２０８以降の処理を繰り返す。一方、ピクチャがなければ（ステップＳ２１１−Ｎｏ）、データ結合部１５は、動画像編集処理を終了する。

次に、第１の実施形態による動画像符号化装置１により符号化され、または編集された符号化動画像データを復号する動画像復号装置について説明する。

図８は、第１の実施形態による、動画像復号装置の概略構成図である。動画像復号装置２は、制御部２１と、ヘッダ情報解析部２２と、ピクチャ復号・表示時刻決定部２３と、ピクチャ復号部２４と、フレームメモリ２５とを有する。動画像復号装置２が有するこれらの各部は、それぞれ、別個の回路として動画像復号装置２に実装される。あるいは、動画像復号装置２が有するこれらの各部は、その各部の機能を実現する回路が集積された一つの集積回路として動画像復号装置２に実装されてもよい。あるいはまた、動画像復号装置２が有するこれらの各部は、動画像復号装置２が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。

制御部２１は、符号化動画像データを復号する際、動画像復号装置２の各部の処理を制御する。

ヘッダ情報解析部２２は、符号化動画像データのヘッダ情報を解析し、ピクチャ復号・表示時刻の決定に必要なパラメータ、例えば、各ピクチャのNalUnitType、BPSEIに含まれるAltDpbOutputDelay及びAltCpbRemovalDelayOffset、及び、PTSEIに含まれるCpbRemovalDelay及びDpbOutputDelayを、ピクチャ復号・表示時刻決定部２３に出力する。

ピクチャ復号・表示時刻決定部２３は、ヘッダ情報解析部２２から渡される、復号対象ピクチャのスライスのNUHをチェックする。NUHのNalUnitTypeが'6'もしくは'7'の場合、ピクチャ復号・表示時刻決定部２３は、復号対象ピクチャはBLAピクチャであると判断する。

復号対象ピクチャがBLAピクチャである場合、ピクチャ復号・表示時刻決定部２３は、BLAピクチャの復号遅延CpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、以下のようにして求めた値を用いる。

ピクチャ復号・表示時刻決定部２３は、BLAピクチャの直前のBPSEIが付加されたピクチャの次のピクチャから、BLAピクチャの直前のピクチャまでのピクチャ数Aをカウントする。次に、ピクチャ復号・表示時刻決定部２３は、BLAピクチャの直前のピクチャのPTSEIのCpbRemovalDelayの値Bをチェックする。そしてピクチャ復号・表示時刻決定部２３は、BLAピクチャの復号遅延CpbRemovalDelayを、A*(B/(A-1))とする。

また、復号対象ピクチャが、NalUnitTypeが'7'のBLAピクチャ、すなわち、そのBLAピクチャにTFDピクチャが後続する場合、ピクチャ復号・表示時刻決定部２３は、さらにそのBLAピクチャのBPSEIのフラグRapCpbParamsPresentFlagをチェックする。RapCpbParamsPresentFlagの値が'1'の場合には、ピクチャ復号・表示時刻決定部２３は、BLAピクチャの直後のTFDピクチャが除去されていると判断し、そのBLAピクチャの表示遅延DpbOutputDelay、及びBLAピクチャの次のピクチャ（非TFDピクチャ）から、次のBPSEIが付加されたピクチャまでの復号遅延CpbRemovalDelayを以下のようにして変更する。

ピクチャ復号・表示時刻決定部２３は、BLAピクチャの表示遅延DpbOutputDelayを、BLAピクチャに付加されたPTSEIのDpbOutputDelayの代わりに、BLAピクチャに付加されたBPSEIのAltDpbOutputDelayとする。
またピクチャ復号・表示時刻決定部２３は、BLAピクチャの次のピクチャから、次にBPSEIが付加されたピクチャまでの、全てのピクチャの復号遅延CpbRemovalDelayを、そのピクチャに付加されたPTSEIのCpbRemovalDelayから、BLAピクチャに付加されたBPSEIのAltCpbRemovalDelayOffsetを引いた値とする。

上記以外のピクチャについては、ピクチャ復号・表示時刻決定部２３は、ピクチャの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayを、それぞれ、そのピクチャに付加されたPTSEIのCpbRemovalDelay及びDpbOutputDelayとする。

ピクチャ復号・表示時刻決定部２３は、上記の復号遅延CpbRemovalDelayに基づいて、各ピクチャの復号時刻を決定し、その復号時刻に、ピクチャ復号部２４に対し復号指示を出す。また、ピクチャ復号・表示時刻決定部２３は、上記の表示遅延DpbOutputDelayに基づいて、各ピクチャの表示時刻を決定し、その表示時刻に、フレームメモリ２５に対し、表示指示を出す。

ピクチャ復号部２４は、復号対象ピクチャについて復号指示を受け取ると、フレームメモリ２５に格納された参照ピクチャを用いてその復号対象ピクチャを復号する。そしてピクチャ復号部２４は、復号したピクチャをフレームメモリ２５に格納させる。なお、ピクチャ復号部２４は、動画像符号化装置１の符号化部が準拠する符号化方式と同様の符号化方式に準拠して、復号処理を実行する。

フレームメモリ２５は、復号されたピクチャを格納する。またフレームメモリ２５は、復号されたピクチャを、そのピクチャよりも後に復号されるピクチャの参照ピクチャとしてピクチャ復号部２４に出力する。さらに、フレームメモリ２５は、ピクチャ復号・表示時刻決定部２３から受け取った表示指示に従い、表示部（図示せず）にピクチャを出力する。

図９は、第１の実施例による動画像復号装置により実行される動画像復号処理の動作フローチャートである。なお、図９に示される動作フローチャートにしたがって、動画像復号装置２は、復号対象の動画像シーケンス全体を復号する。

制御部２１は、シーケンス全体の復号処理開始に先立ち、変数cnt及び変数flagを初期化し、それぞれ、0に設定する（ステップＳ３０１）。変数cntは、BPSEI付加ピクチャから、次のBPSEI付加ピクチャまでの間のピクチャ数に相当する。変数flagは、CpbRemovalDelayの修正が必要な非BLAピクチャか否かを示す変数である。

次に、ヘッダ情報解析部２２は、復号対象ピクチャのヘッダ情報を解析し、ピクチャ復号・表示時刻の決定に必要なパラメータを、ピクチャ復号・表示時刻決定部２３に出力する。復号対象のピクチャのヘッダ情報を解析する（ステップＳ３０２）。
ピクチャ復号・表示時刻決定部２３は、変数flagが'0'であるか、または、復号対象ピクチャ内のスライスのNUHのNalUnitTypeが'6'及び'7'であるか否か、すなわち、復号対象ピクチャがBLAピクチャか否かを判定する（ステップＳ３０３）。
変数flagが'1'であり、かつ、復号対象ピクチャ内のスライスのNUHのNalUnitTypeが'6'または'7'でなければ（ステップＳ３０３−Ｎｏ）、ピクチャ復号・表示時刻決定部２３は、非BLAピクチャである復号対象ピクチャの復号遅延CpbRemovalDelayを、復号遅延補正情報AltCpbRemovalDelayOffsetを用いて修正する（ステップＳ３０４）。

ステップＳ３０４の後、あるいは、ステップＳ３０３にて変数flagが'0'であるか、またはNalUnitTypeが'6'及び'7'である場合（ステップＳ３０３−Ｙｅｓ）、ピクチャ復号・表示時刻決定部２３は、復号対象ピクチャにBPSEIが付加されているか判定する（ステップＳ３０５）。

復号対象ピクチャにBPSEIが付加されている場合（ステップＳ３０５−Ｙｅｓ）、ピクチャ復号・表示時刻決定部２３は、変数cntの値を変数dにコピーするとともに、変数cnt及び変数flagを0にリセットする（ステップＳ３０６）。
復号対象ピクチャにBPSEIが付加されていない場合（ステップＳ３０５−Ｎｏ）、ピクチャ復号・表示時刻決定部２３は、変数cntの値を1だけ増加する（ステップＳ３０７）。

ステップＳ３０６またはＳ３０７の後、ピクチャ復号・表示時刻決定部２３は、復号対象ピクチャのスライスのNUHのNalUnitTypeが'6'もしくは'7'か否か判定する（ステップＳ３０８）。
復号対象ピクチャのスライスのNUHのNalUnitTypeが'6'もしくは'7'である場合（ステップＳ３０８−Ｙｅｓ）、復号対象ピクチャはBLAピクチャである。そこでピクチャ復号・表示時刻決定部２３は、復号対象ピクチャの復号遅延CpbRemovalDelayを、変数dの値に従って変更する（ステップＳ３０９）。

次に、ピクチャ復号・表示時刻決定部２３は、復号対象ピクチャ内のスライスのNUHのNalUnitTypeが'7'であり、かつ復号対象ピクチャに付加されたBPSEIのRapCpbParamsPresentFlagが'1'か否か判定する（ステップＳ３１０）。復号対象ピクチャ内のスライスのNUHのNalUnitTypeが7であり、かつ復号対象ピクチャに付加されたBPSEIのRapCpbParamsPresentFlagが'1'である場合（ステップＳ３１０−Ｙｅｓ）、ピクチャ復号・表示時刻決定部２３は、BLAピクチャの表示遅延DpbOutputDelayを表示遅延補正情報AltDpbOutputDelayに修正するとともに、変数flagを'1'にする（ステップＳ３１１）。

ステップＳ３１１の後、あるいは、ステップＳ３０８にて復号対象ピクチャのスライスのNUHのNalUnitTypeが'6'及び'7'の何れでもない（ステップＳ３０８−Ｎｏ）か、ステップＳ３１０にて復号対象ピクチャ内のスライスのNUHのNalUnitTypeが'7'でないか、復号対象ピクチャに付加されたBPSEIのRapCpbParamsPresentFlagが'0'である場合（ステップＳ３１０−Ｎｏ）、ピクチャ復号・表示時刻決定部２３は、決定した復号時刻に、ピクチャ復号部２４に対し復号指示を出す。また、ピクチャ復号・表示時刻決定部２３は、決定した表示時刻に、フレームメモリ２５に対し、表示指示を出す。そしてピクチャ復号部２４は、その復号時刻に復号対象ピクチャを復号する。またフレームメモリ２５は、表示部（図示せず）へ復号されたその復号対象ピクチャを表示させる（ステップＳ３１２）。

また、制御部２１は、符号化動画像データ内に未復号のピクチャがあるか否か判定する（ステップＳ３１３）。未復号のピクチャがあれば（ステップＳ３１３−Ｙｅｓ）、制御部２１は、処理をステップＳ３０２へ移行させる。そして復号順序で次のピクチャを復号対象ピクチャとして、ステップＳ３０２以降の処理が繰り返される。
一方、未復号のピクチャがなければ（ステップＳ３１３−Ｎｏ）、制御部２１は、動画像復号処理を終了する。

以上に説明してきたように、この実施形態による動画像符号化装置は、二つ以上の符号化動画像データを復号せずに結合した場合でも、符号化時に決定した復号遅延及び表示遅延のパラメータ値を修正しなくてよい。そしてこの実施形態による動画像復号装置は、符号化動画像データが結合された場合の復号遅延及び表示遅延の修正用のパラメータを利用して、各ピクチャの復号遅延及び表示遅延を修正できるので、適切なタイミングで各ピクチャを復号及び表示できる。

次に、第２の実施形態について説明する。第２の実施形態では、第１の実施形態と比較して、符号化動画像データの構造が異なる。

図１０を参照しつつ、第２の実施形態における、符号化動画像データの構造を説明する。図４に示された第１の実施形態による符号化されたピクチャの構造と同様に、一つのピクチャのデータ構造１０００は、６種類のNAL unit１０１０〜１０１５を含む。このうち、BPSEI１０１３及びPTSEI１０１４が、図４に示されたBPSEI４１３及びPTSEI４１４と異なる。一方、DELIM１０１０、SPS１０１１、PPS１０１２、SLICE１０１５、及びNUH１０２０は、それぞれ、図４に示されたDELIM４１０、SPS４１１、PPS４１２、SLICE４１５及びNUH４２０と同等である。

BPSEI１０１３は、BPSEI４３０と同様に、(N+1)個のInitialCpbRemovalDelayフィールド及びInitialCpbRemovalDelayOffsetフィールドと、それらに後続するRapCpbParamsPresentFlagフィールドとを有する。しかし、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドは、BPSEI１０１３には含まれない。
一方、PTSEI１０４０は、PTSEI４４０と同様に、CpbRemovalDelayフィールド及びDpbOutputDelayフィールドを含む。さらに、PTSEI１０４０は、BPSEIのRapCpbParamsPresentFlagが'1'の場合には、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドを含む。
もし、あるピクチャのPTSEI内のCpbRemovalDelayまたはDpbOutputDelayが、TFDピクチャが除去されても変化しない場合には、AltCpbRemovalDelayまたはAltDpbOutputDelayの値は、CpbRemovalDelayまたはDpbOutputDelayと同じ値に設定される。

上記のように、第１の実施形態と比較して、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドが含まれるSEIが異なる。そのため、第２の実施形態による動画像符号化装置は、第１の実施形態による動画像符号化装置と比較して、符号化制御部１２の処理が異なる。そこで以下では、符号化制御部１２の処理について説明する。

符号化制御部１２は、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドを、BPSEIに含める代わりに各ピクチャに付されるPTSEIに含める。その際、符号化制御部１２は、二つの符号化動画像データが結合されたとした場合のそのピクチャの復号遅延及び表示遅延の値そのものを、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドに格納する。

次に、第２の実施形態による動画像復号装置の動作について説明する。第２の実施形態による動画像復号装置も、第１の実施形態による動画像復号装置と同様の構成を有する。ただし、第１の実施形態と比較して、第２の実施形態による動画像復号装置では、ピクチャ復号・表示時刻決定部２３の処理が異なる。そこで以下では、ピクチャ復号・表示時刻決定部２３の処理について説明する。

復号対象ピクチャが、NalUnitTypeが'7'のBLAピクチャの場合、ピクチャ復号・表示時刻決定部２３は、さらにBPSEIのRapCpbParamsPresentFlagをチェックする。RapCpbParamsPresentFlagの値が'1'の場合には、ピクチャ復号・表示時刻決定部２３は、BLAピクチャの直後のTFDピクチャが除去されていると判断する。そしてピクチャ復号・表示時刻決定部２３は、BLAピクチャのDpbOutputDelay、及びBLAピクチャの次のピクチャ（非TFDピクチャ）から、次のBPSEIが付加されたピクチャまで、CpbRemovalDelayを以下のように変更する。
・ピクチャ復号・表示時刻決定部２３は、BLAピクチャのDpbOutputDelayを、BLAピクチャに付加されたPTSEIのDpbOutputDelayの代わりに、BLAピクチャに付加されたPTSEIのAltDpbOutputDelayとする。
・ピクチャ復号・表示時刻決定部２３は、BLAピクチャの次のピクチャから、次のBPSEIが付加されたピクチャまでの、全てのピクチャのCpbRemovalDelayを、そのピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、そのピクチャに付加されたPTSEIのAltCpbRemovalDelay値とする。

次に、第３の実施形態について説明する。第３の実施形態では、第１の実施形態と比較して、動画像復号装置のピクチャ復号・表示時刻決定部２３による、BLAピクチャの復号遅延の算出処理が異なる。そこで以下では、ピクチャ復号・表示時刻決定部２３について説明する。

ピクチャ復号・表示時刻決定部２３は、ヘッダ情報解析部２２から渡される、復号対象ピクチャのヘッダ情報を解析するときに、スライスのNUHをチェックする。そのNUHのNalUnitTypeが'6'もしくは'7'の場合、ピクチャ復号・表示時刻決定部２３は、復号対象ピクチャはBLAピクチャと判断する。

復号対象ピクチャがBLAピクチャの場合、ピクチャ復号・表示時刻決定部２３は、BLAピクチャのCpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、以下のようにして求めた値を用いる。

BLAピクチャ（以降Pic2と表記する）の直前の、BPSEIが付加されたピクチャ（以降Pic1と表記する）の次のピクチャから、Pic2の直前のピクチャまでのピクチャ数をAとする。ピクチャ復号・表示時刻決定部２３は、Pic2のCpbRemovalDelayの値Bから、第１の補正値Mod1をA*(B/(A-1))として導出する。B/(A-1)は、連続ピクチャ間の時間差（単位はtc）に相当する。以降B/(A-1)をsと表記する。
次に、ピクチャ復号・表示時刻決定部２３は、結合点でのCPB内に蓄積されているデータ量の差を補正するための、第２の補正値Mod2を算出する。
Pic2を先頭とする符号化動画像データ一部分の先頭ビットが、動画像復号装置の受信バッファに到達した時刻0から、Pic2に付加されるBPSEIのInitialCpbRemovalDelay値（以降Init2とする）を90000(すなわち、90kHz)で割った時間[sec]後のCPBに蓄積されているデータ量、すなわちPic2を復号する直前のCPBのデータ量をPos2とすると、Pos2は、(R*Init2/90000)と計算される。Rはビットレートである。

一方、Pic1に付加されたBPSEIのInitialCpbRemovalDelay値をInit1、Pic1、及びPic1とPic2との間に存在する全ピクチャの符号量相和をTotalBとすると、動画像復号装置が符号化動画像データを先頭から復号した時の、Pic2を復号する直前のCPBのデータ量Pos2は、(R*(Init1+(A+1)*s)-TotalB)と計算される。

Pos1がPos2よりも小さい場合には、動画像復号装置が符号化動画像データのPic2を復号する直前の時刻にて、Pic2の全てのデータが復号装置に到達しておらず、Pic1が復号できないおそれがある。これは、Pic2の復号時刻を、(s*tc)時間[sec]単位で遅らすことで回避できる。
ピクチャ復号・表示時刻決定部２３は、第２の補正値Mod2を、(Pos2 - Pos1 < Th)の場合には0とする。閾値Thは正の値を持つ。それ以外の場合には、ピクチャ復号・表示時刻決定部２３は、第２の補正値Mod2を、(Ceil((Pos2 - Pos1)/R/(s*tc)))とする。ただし、Ceil()は切り上げ関数である。
ピクチャ復号・表示時刻決定部２３は、復号対象ピクチャがBLAピクチャの場合、BLAピクチャのCpbRemovalDelayを(Mod1 + Mod2)に置き換える。

このように、第３の実施形態による動画像復号装置は、BLAピクチャを復号する直前のCPBに蓄積されているデータ量を考慮して、BLAピクチャの復号遅延を決定する。そのため、この実施形態による動画像復号装置は、CPBのアンダーフローが生じることを防止できる。

次に第４の実施形態について説明する。第４の実施形態は、結合点よりも前の第１の符号化動画像データのリオーダリングピクチャ数と結合点よりも後の第２の符号化動画像データのリオーダリングピクチャ数とが異なっていても、復号遅延及び表示遅延を適切に決定できるようにする。また第４の実施形態は、第１の符号化動画像データの結合点よりも前に表示されるべきピクチャが削除された場合でも、復号遅延及び表示遅延を適切に決定できるようにする。

図１１〜図１３を参照しつつ、ピクチャの復号遅延CpbRemovalDelay、及び表示遅延DpbOutputDelayについて、異なるピクチャ符号化構造及び編集位置の場合の値を説明する。

図１１に示される第１の符号化動画像データ及び第２の符号化動画像データのリオーダリングピクチャ数は、図３と同様に、2である。また、第１の符号化動画像データ１１０１及び第２の符号化動画像データ１１０２は、それぞれ、図３に示された第１の符号化動画像データ３０１及び第２の符号化動画像データ３０２と同じである。また、第２の符号化動画像データ１１０２の復号遅延及び表示遅延を示すブロック列１１０３も、図３に示されたブロック列３０３と同様である。ただし、図３と異なり、第１の符号化動画像データ１１０１のピクチャB13が結合点である。

そのため、結合動画像符号化データ１１０４は、結合動画像符号化データ３０４と異なり、ピクチャB15をふくまない。

ブロック列１１０５は、結合動画像符号化データ１１０４における、ピクチャI72, P78, B74, B73, B75が持つべき復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値である。ブロック列１１０５のうちの上側の各ブロックには、それぞれ、そのブロックの上に位置する結合動画像符号化データ１１０４のピクチャの復号遅延CpbRemovalDelayの値が示される。一方、ブロック列１１０５のうちの下側の各ブロックには、それぞれ、そのブロックの上に位置する結合動画像符号化データ１１０４のピクチャの表示遅延DpbOutputDelayの値が示される。ブロック列１１０５に示されるように、ピクチャB13の後にピクチャI72が結合されても、ピクチャI72、P76、B74、B73、B75の復号遅延及び表示遅延は、ピクチャB15の後にピクチャI72が結合されたときと同一となる。

図３と比較して、ピクチャI72と、その直前の、BPSEIが付加されたピクチャI12との間のピクチャ数は6であり、図３に示されたピクチャI72とI12間のピクチャ数よりも一つ少ない。しかし、各復号ピクチャを、欠如無く、入力時と同じ間隔・順番で表示するには、図３の例と同じく、CpbRemovalDelayは16とする必要がある。
この理由をブロック列１１０６を参照して説明する。ブロック列１１０６は、結合後の符号化動画像データの復号時刻及び表示時刻の順序をピクチャ単位で示している。ブロック列１１０６に示されるように、結合後の符号化動画像にはピクチャB15が含まれていないものの、ピクチャP16は、ピクチャB14の2ピクチャ時間後に表示すべきである。ピクチャP16を表示後、ピクチャI72以降を連続して表示するには、ピクチャI72の復号時刻を、1ピクチャ時間だけ遅らす必要が生じる。
なおこの場合、ピクチャB14は2ピクチャ時間表示されることになり、表示フリーズが発生している。

図１２に示される例では、第２の符号化動画像データ１２０２のリオーダリングピクチャ数が、第１の符号化動画像データ１２０１のリオーダリングピクチャ数よりも小さい。本例では、第１の符号化動画像データのリオーダリングピクチャ数の値は2、第２の符号化動画像データのリオーダリングピクチャ数の値は1である。
また、結合前の第２の符号化動画像データの各ピクチャの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayは、ブロック列１２０３に示されるようになる。

この場合において、結合後の符号化動画像データ１２０４に示されるように、第１の符号化動画像データ１２０１のピクチャB15の後に、第２の符号化動画像データ１２０２のピクチャI72を結合したとする。この場合、結合後のピクチャI72以降の各ピクチャの復号遅延及び表示遅延は、ブロック列１２０５に示されるようになる。そしてブロック列１２０６は、結合後の符号化動画像データの復号時刻及び表示時刻の順序をピクチャ単位で示している。

各復号ピクチャを、欠如無く、入力時と同じ間隔・順番に連続表示するには、ブロック列１２０６に示されるように、第２の符号化動画像データ１２０２の先頭ピクチャの復号遅延を、第１の符号化動画像データ１２０１のリオーダリングピクチャ数と、第２の符号化動画像データ１２０２のリオーダリングピクチャ数との差分に比例して大きくする必要がある。本例では、2だけ大きくした16となる。

なお、第１の符号化動画像データについての結合点をピクチャB15でなく、ピクチャB13、ピクチャB14、またはピクチャP16とした場合は、図１１の例と同じく、第２の符号化動画像データの先頭ピクチャの復号遅延は、ピクチャB15の後に結合された場合の復号遅延と同じである。ただし、ピクチャP16以前のピクチャのうち削除されたピクチャの数だけピクチャ表示のフリーズが発生する。

図１３に示される例では、第１の符号化動画像データ１３０１のリオーダリングピクチャ数が、第２の符号化動画像データ１３０２のリオーダリングピクチャ数よりも小さい。本例では、第１の符号化動画像データ１３０１のリオーダリングピクチャ数は1、第２の符号化動画像データ１３０２のリオーダリングピクチャ数は2である。
また、結合前の第２の符号化動画像データの各ピクチャの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayは、ブロック列１３０３に示されるようになる。

この場合において、結合後の符号化動画像データ１３０４に示されるように、第１の符号化動画像データ１３０１のピクチャB15の後に、第２の符号化動画像データ１３０２のピクチャI72を結合したとする。この場合、結合後のピクチャI72以降の各ピクチャの復号遅延及び表示遅延は、ブロック列１３０５に示されるようになる。そしてブロック列１３０６は、結合後の符号化動画像データの復号時刻及び表示時刻の順序をピクチャ単位で示している。

各復号ピクチャを、欠如無く、入力時と同じ間隔・順番に表示するには、ブロック列１３０６のように、第一の符号化動画像データの最終表示ピクチャをリピートする必要がある。

図１２及び図１３に示されるように、第１の符号化動画像データのリオーダリングピクチャ数と、第２の符号化動画像データのリオーダリングピクチャ数との関係によって、第２の符号化動画像データの先頭ピクチャの復号時刻をずらす必要が生じ、また結合点前後で表示ピクチャのフリーズが生じる場合がある。
また、図１１に示されるように、第１の符号化動画像データの結合点によっては、表示ピクチャのフリーズが不可避になる。

上記のような問題に対応する、第４の実施形態による動画像復号装置について説明する。第４の実施形態による動画像復号装置は、第１の実施形態による動画像復号装置と比較して、ピクチャ復号・表示時刻決定部２３の処理が異なる。そこで以下では、ピクチャ復号・表示時刻決定部２３について説明する。

ピクチャ復号・表示時刻決定部２３は、ヘッダ情報解析部２２から渡される、復号対象ピクチャのヘッダ情報を解析するときに、スライスのNUHをチェックする。NUHのNalUnitTypeが'6'もしくは'7'の場合、ピクチャ復号・表示時刻決定部２３は、復号対象ピクチャはBLAピクチャと判断する。

復号対象ピクチャがBLAピクチャの場合、ピクチャ復号・表示時刻決定部２３は、BLAピクチャのCpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、以下のようにして求めた値を用いる。
ピクチャ復号・表示時刻決定部２３は、BLAピクチャ（以降Pic2と表記する）の直前のBPSEIが付加されたピクチャ（以降Pic1と表記する）の次のピクチャから、Pic2の直前のピクチャまでのピクチャ数Aをカウントする。また、ピクチャ復号・表示時刻決定部２３は、Pic2の直前のピクチャのPTSEIのCpbRemovalDelayの値Bをチェックし、PTSEIの第一の補正値Mod1を、A*(B/(A-1))として求める。
次に、ピクチャ復号・表示時刻決定部２３は、Pic2の直前のピクチャが参照するSPS内に記述された、リオーダリングピクチャ数R1、及びPic2の直後の非TFDピクチャが参照するリオーダリングピクチャ数R2とを比較する。SPS内のリオーダリングピクチャ数を示すフィールドは、非特許文献１の方式では、SpsNumReorderPicsである。

R1とR2とが同じ場合には、ピクチャ復号・表示時刻決定部２３は、Mod1をそのまま、Pic2のCpbRemovalDelayとする。
R2がR1よりも大きい場合には、ピクチャ復号・表示時刻決定部２３は、PTSEIの第二の補正値Mod2を、(R2-R1)* B/(A-1)とする。
R2がR1よりも小さい場合には、ピクチャ復号・表示時刻決定部２３は、Mod1をそのまま、Pic2のCpbRemovalDelayとする。

ピクチャ復号・表示時刻決定部２３は、さらに、第１の符号化動画像データの、最後のピクチャをフリーズ表示するかどうか、R1とR2との関係をもとに決定し、決定したフリーズ期間を、フレームメモリ２５に通知する。
ピクチャ復号・表示時刻決定部２３は、フリーズ期間（単位はtc）を以下のように決定する。
R1とR2とが同じ場合、もしくはR1がR2よりも大きい場合には、ピクチャ復号・表示時刻決定部２３は、フリーズ期間を0とする。
一方、R2がR1よりも小さい場合には、ピクチャ復号・表示時刻決定部２３は、(R2-R1)* B/(A-1)をフリーズ期間とする。

このように、第４の実施形態によれば、動画像復号装置は、結合点よりも前に結合される第１の符号化動画像データにおいて、結合点のピクチャよりも符号化（復号）順序が後で、かつ、結合点のピクチャよりも前に再生されるべきピクチャがあっても、結合点以降のピクチャの復号遅延及び表示遅延を適切に決定できる。またこの動画像復号装置は、結合点の前と後とで、リオーダリング数が異なっていても、結合点以降のピクチャの復号遅延及び表示遅延を適切に決定できる。

次に、第５の実施形態について説明する。第５の実施形態では、動画像符号化装置は、二つの符号化動画像データを結合しても、表示ピクチャのフリーズが生じないピクチャを特定するためのパラメータを追加する。

結合点前後で表示ピクチャのフリーズが生じないためには、第１の符号化動画像データのリオーダリングピクチャ数が、第２の符号化動画像データのリオーダリングピクチャ数と同じか、大きい場合であり、かつ、第１の符号化動画像データの結合点が、時間的に前のピクチャのみを参照するピクチャの直前、とする必要がある。例えば図１１の例では、本条件に適合する結合点は、ピクチャB11及びB15である。

図１４は、第５の実施形態において使用される符号化動画像の一つのピクチャのデータ構造を示す。図１４に示される符号化動画像の一つのピクチャのデータ構造１４００は、図４に示されたデータ構造４００と比較して、Editing Point SEI(EPSEI) NAL unit１４１６が付加される点で異なる。その他の６種類のNAL unit１４１０〜１４１５は、それぞれ、図４に示されたデータ構造４００のNAL unit４１０〜４１５と同等である。

EPSEI NAL unit１４１６は、結合点前後で表示ピクチャのフリーズが生じない結合点であることを示すSEIデータである、EPSEIが内包するフィールドは、本実施例では特に存在しない。

以下、第５の実施形態における、動画像符号化装置の動作について説明する。第５の実施形態による動画像符号化装置は、第１の実施形態による動画像符号化装置と比較して、符号化時に符号化制御部１２及びピクチャ符号化部１３が特定のピクチャに対してEPSEIを付加する点、及び、編集操作時にデータ結合部１５がEPSEIを参照して結合点を決定する点で異なる。そこで以下では、EPSEIの付加に関する符号化制御部１２及びピクチャ符号化部１３の動作、及び、編集操作時におけるデータ結合部１５の動作について説明する。

符号化時において、符号化制御部１２は、符号化対象ピクチャが、Iピクチャの直前、もしくは表示時間的に前のピクチャのみを参照するPピクチャもしくはBピクチャの直前のピクチャである場合には、ピクチャ符号化部１３に対し、EPSEIを付加するように指示する。または、符号化制御部１２は、符号化対象ピクチャが、Iピクチャ、もしくは表示時間的に前のピクチャのみを参照するPピクチャもしくはBピクチャである場合に、ピクチャ符号化部１３に対し、EPSEIを付加するように指示してもよい。
ピクチャ符号化部１３は、符号化制御部１２からEPSEIを付加する指示を受けると符号化対象ピクチャを符号化し、そのピクチャにEPSEIを付加する。

編集操作時において、データ結合部１５は、制御部１１からの制御信号に従い、第１の符号化動画像データ内の結合点ピクチャを特定する。制御信号は、例えば、第１の符号化動画像データ内の、先頭からの符号化ピクチャ数を含む。データ結合部１５は、該当するピクチャ及び該当するピクチャに続くピクチャの中で符号化順が最も早い、EPSEIが付加されたピクチャを、第１の符号化動画像データ内の結合点ピクチャとする。または、データ結合部１５は、該当するピクチャ及び該当するピクチャに続くピクチャの中で符号化順が最も早い、EPSEIが付加されたピクチャの直前のピクチャを、第１の符号化動画像データ内の結合点ピクチャとする。そして、データ結合部１５は、記憶部（図示せず）から、第１の符号化動画像データ内の結合点ピクチャより前の全ピクチャ、及び結合点ピクチャを読み出す。次に、データ結合部１５は、結合点識別情報処理部１４から送られる、結合点CRAピクチャを先頭とする、第２の符号化動画像データの一部分を記憶部（図示せず）から読み出す。この時、結合点識別情報処理部１４から、結合点CRAピクチャの直後のTFDピクチャを除去する指示が出た場合には、データ結合部１５は、該当するTFDピクチャを削除する。そしてデータ結合部１５は、読み出した第１の符号化動画像データを先ず出力し、その後に第２の符号化動画像データを出力する。

このように、第５の実施形態では、動画像符号化装置は、符号化時において、二つの符号化動画像データを結合しても表示フリーズが生じないピクチャを示す情報を符号化動画像データに付す。そのため、この動画像符号化装置は、表示フリーズが生じないように二つの符号化動画像データを結合できる。

次に、第６の実施形態について説明する。
第６の実施形態では、動画像符号化装置は、第３の実施形態で説明した、結合点でのCPBのデータ量差を補正するための、第二の補正値Mod2を求めるための値を、第一の符号化動画像データにあらかじめ付加しておく。

図１５は、第６の実施形態における符号化動画像の一つのピクチャのデータ構造を示す。図１５に示されたピクチャのデータ構造１５００は、図１４に示されたデータ構造１４００と比較して、EPSEI NAL unit１５１６がBufferOccupancyフィールドを含む点で異なる。その他の６種類のNAL unit１５１０〜１５１５は、それぞれ、図１４に示されたデータ構造４００のNAL unit１４１０〜１４１５と同等である。
BufferOccupancyフィールドは、結合点直前でのCPBに蓄積されたデータ量を示す。

第６の実施形態における、動画像符号化装置の動作について説明する。第６の実施形態による動画像符号化装置は、第５の実施形態による動画像符号化装置と比較して、符号化制御部１２の動作の一部が異なる。そこで、以下では、符号化制御部１２の動作が異なる点について説明する。

符号化制御部１２は、符号化対象ピクチャが、Iピクチャの直前、もしくは表示時間的に前のピクチャのみを参照するPピクチャもしくはBピクチャの直前のピクチャである場合には、ピクチャ符号化部１３に対し、EPSEIを付加するように指示する。また、EPSEIの中のBufferOccupancyフィールドに、第３の実施形態で説明した(R*(Init1+(A+1)*s)-TotalB)の値を入れる。BufferOccupancyフィールドに入れる値は、(R*(Init1+(A+1)*s)-TotalB)をビットレートRで割った値でもよい。

第６の実施形態における、動画像復号装置の動作について説明する。第６の実施形態による動画像復号装置は、第３の実施形態による動画像復号装置と比較して、ピクチャ復号・表示時刻決定部２３の動作の一部が異なる。そこで以下では、ピクチャ復号・表示時刻決定部２３の動作が異なる点について説明する。

ピクチャ復号・表示時刻決定部２３は、ヘッダ情報解析部２２から渡される、復号対象ピクチャのヘッダ情報を解析するときに、スライスのNUHをチェックする。NUHのNalUnitTypeが'6'もしくは'7'の場合、ピクチャ復号・表示時刻決定部２３は、復号対象ピクチャはBLAピクチャであると判断する。

復号対象ピクチャがBLAピクチャである場合、ピクチャ復号・表示時刻決定部２３は、BLAピクチャの復号遅延CpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、以下のようにして求めた値を用いる。

BLAピクチャ（以降Pic2と表記する）の直前の、BPSEIが付加されたピクチャ（以降Pic1と表記する）の次のピクチャから、Pic2の直前のピクチャまでのピクチャ数をAとする。ピクチャ復号・表示時刻決定部２３は、Pic2のCpbRemovalDelayの値Bから、第１の補正値Mod1をA*(B/(A-1))として導出する。B/(A-1)は、連続ピクチャ間の時間差（単位はtc）に相当する。以降B/(A-1)をsと表記する。

また、ピクチャ復号・表示時刻決定部２３は、BLAピクチャの直前のピクチャに付加されている、EPSEIのBufferOccupancyフィールドに記述されている値（その値がビットレートRで割られた値である場合には、Rをかけた値）を、第３の実施形態で説明した(R*(Init1+(A+1)*s)-TotalB)として、第３の実施形態で説明した方法で、第２の補正値Mod2を算出する。

次に、ピクチャ復号・表示時刻決定部２３は、Pic2の直前のピクチャが参照するSPS内に記述された、リオーダリングピクチャ数R1を、及びPic2の直後の非TFDピクチャが参照するリオーダリングピクチャ数R2と比較する。SPS内のリオーダリングピクチャ数を示すフィールドは、非特許文献１の方式では、SpsNumReorderPicsである。

ピクチャ復号・表示時刻決定部２３は、R2がR1よりも大きい場合には、PTSEIの第３の補正値Mod3を、(R2-R1)* B/(A-1)とする。それ以外の場合には、ピクチャ復号・表示時刻決定部２３は、PTSEIの第３の補正値Mod3を0とする。そしてピクチャ復号・表示時刻決定部２３は、Pic2のCpbRemovalDelayを、(Mod1+Mod2+Mod3)とする。

次に、第７の実施形態について説明する。
第７の実施形態では、動画像符号化装置は、二つの符号化動画像データを結合する時に、BLAピクチャのCpbRemovalDelayを修正する。またこの時、結合した符号化動画像データが、BLAピクチャの前後で連続して復号及び表示可能であることを示すパラメータを追加する。

BLAピクチャのCpbRemovalDelayの修正方法は、第６の実施形態における、ピクチャ復号・表示時刻決定部２３が行うCpbRemovalDelayの修正方法と同等な方法である。

図１６は、第７の実施形態において使用される符号化動画像の一つのピクチャのデータ構造を示す。図１６に示される符号化動画像の一つのピクチャのデータ構造１６００は、図１４に示されたデータ構造１４００と比較して、BPSEI NAL unit１６１３がContinuousHrdFlagフィールドを含む点で異なる。その他の６種類のNAL unit１６１０〜１６１２、１６１４〜１６１７は、それぞれ、図１４に示されたデータ構造１４００のNAL unit１４１０〜１４１２、１４１４〜１４１７と同等である。
ContinuousHrdFlagフィールドは、本BPSEIが付加されたBLAピクチャの前後で、動画像復号装置が、復号及び表示を連続して行うことが可能か否かを示す。
なお、ContinuousHrdFlagフィールドは、BPSEIではなく、SPS１６１１及び他のNAL unit内に含められてもよい。

第７の実施形態における、動画像符号化装置の動作について説明する。第７の実施形態による動画像符号化装置は、第５の実施形態による動画像符号化装置と比較して、データ結合部１５の動作の一部が異なる。そこで、以下では、データ結合部１５の動作が異なる点について説明する。

データ結合部１５は、結合点よりも時間的に前に結合される第１の符号化動画像データの後に、結合点識別情報処理部１４から出力された第２の符号化動画像データを結合する。この時、データ結合部１５は、第１の符号化動画像データ及び第２の符号化動画像データの画像の特性を表す画像パラメータのうちの少なくとも一つを比較する。例えば、第１の符号化動画像データ及び第２の符号化動画像データの画像パラメータのうち、両者のピクチャサイズ、もしくはピクチャレートが異なる場合、データ結合部１５は、結合符号化動画像が結合点で連続復号及び表示可能か否かを表すパラメータContFlagの値を、連続復号及び表示が不可能であることを示す値'0'とする。一方、第１の符号化動画像データ及び第２の符号化動画像データのピクチャサイズ及びピクチャレートが同じである場合、データ結合部１５は、第６の実施形態における、ピクチャ復号・表示時刻決定部２３が行うCpbRemovalDelayの修正方法と同様の方法により、BLAピクチャのCpbRemovalDelayを算出する。ただし、データ結合部１５は、第２の補正値Mod2を算出するための値である、EPSEIのBufferOccupancyフィールドに相当する値を、第６の実施形態における、符号化制御部１２が行うBufferOccupancyフィールド値の算出式に従って得る。また、データ結合部１５は、ContFlagパラメータを、連続復号及び表示が可能であることを示す値'1'とする。

なお、結合点の前後で連続復号及び表示が可能か否かを判定するための画像パラメータとして、ピクチャサイズ、ピクチャレートのほかに、ピクチャの色差成分フォーマットまたはピクチャの画素精度が追加されてもよい。この場合、結合点の前後で連続復号及び表示が可能な条件は、第１の符号化動画像データ及び第２の符号化動画像データについて、これらすべてのパラメータが同一であることである。
ContFlagパラメータが'0'の場合、データ結合部１５は、BLAピクチャに付加するBPSEIのContinuousHrdFlagフィールドの値を連続復号及び表示が不可能であることを示す値'0'に設定する。
一方、ContFlagパラメータが'1'の場合、データ結合部１５は、BLAピクチャに付加するBPSEIのContinuousHrdFlagフィールドの値を連続復号及び表示が可能であることを示す値'1'に設定する。またデータ結合部１５は、BLAピクチャとなる第２の符号化動画像データの先頭ピクチャの復号遅延CpbRemovalDelayを、算出した値に変更する。

第７の実施形態における、動画像復号装置の動作について説明する。第７の実施形態による動画像復号装置は、第１の実施形態による動画像復号装置と比較して、ピクチャ復号・表示時刻決定部２３の動作の一部が異なる。そこで、以下では、ピクチャ復号・表示時刻決定部２３の動作が異なる点について説明する。

ピクチャ復号・表示時刻決定部２３は、復号対象ピクチャがBLAピクチャである場合、BLAピクチャに付加されるBPSEIのContinuousHrdFlagフィールドの値を参照する。
ContinuousHrdFlagフィールドの値が'1'、すなわち、結合符号化動画像の結合点前後における連続復号及び表示が可能な場合は、ピクチャ復号・表示時刻決定部２３は、BLAピクチャの復号遅延CpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayそのものを用いる。
一方、ContinuousHrdFlagフィールドの値が'0'、すなわち、結合符号化動画像の結合点前後における連続復号及び表示が不可能な場合、ピクチャ復号・表示時刻決定部２３は、BLAピクチャの復号時刻を、CpbRemovalDelayからではなく、BPSEIに含まれる初期復号遅延情報であるInitialCpbRemovalDelayの値を使って決定する。この場合、ピクチャ復号・表示時刻決定部２３は、InitialCpbRemovalDelayから復号時刻を算出する時に必要な時刻0を、BLAピクチャの直前のピクチャの復号時刻以降とする。または、ピクチャ復号・表示時刻決定部２３は、時刻0を、BLAピクチャの前の全ての符号化ピクチャの表示が終わった時刻以降としてもよい。

図１７は、上記の何れかの実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。

コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。

ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化する動画像データ、編集する符号化動画像データあるいは復号する符号化動画像データを選択する操作信号をプロセッサ１０５へ出力する。またユーザインターフェース部１０１は、プロセッサ１０５から受け取った、復号された動画像データを表示してもよい。

通信インターフェース部１０２は、コンピュータ１００を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。

さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。

この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データ、編集する符号化動画像データまたは復号する符号化動画像データを取得し、それらのデータをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、符号化動画像データ、結合符号化動画像データまたは復号された動画像データを通信ネットワークを介して他の機器へ出力してもよい。

記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像符号化処理、動画像編集処理または動画像復号処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。

記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理、動画像編集処理及び動画像復号処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。

プロセッサ１０５は、上記の各実施形態の何れかまたは変形例による動画像符号化処理用コンピュータプログラムを実行することにより、符号化動画像データを生成する。そしてプロセッサ１０５は、生成された符号化動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。またプロセッサ１０５は、上記の各実施形態の何れかまたは変形例による動画像編集処理用コンピュータプログラムを実行することにより、二つの符号化動画像データを結合した結合符号化動画像データを生成する。そしてプロセッサ１０５は、生成された結合符号化動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。さらにプロセッサ１０５は、上記の各実施形態の何れかまたは変形例による動画像復号処理用コンピュータプログラムを実行することにより、符号化動画像データを復号する。そしてプロセッサ１０５は、復号された動画像データを記憶部１０３に保存し、ユーザインターフェース部１０１に表示し、または通信インターフェース部１０２を介して他の機器へ出力する。

コンピュータ上で実行されることにより、上述した実施形態またはその変形例による動画像符号化装置及び動画像復号装置の各部の機能を実現するコンピュータプログラムは、半導体メモリまたは光記録媒体などの記録媒体に記録されて配布されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。

なお、上記の各実施形態またはその変形例による動画像符号化装置の各部のうち、動画像編集処理に関連する結合点識別情報処理部１４及びデータ結合部１５を有する装置が、動画像符号化処理に関連する符号化制御部１２及びピクチャ符号化部１３を有する装置と別個に設けられてもよい。

上述した実施形態またはその変形例による、動画像符号化装置及び動画像復号装置は、様々な用途に利用される。例えば、この動画像符号化装置及び動画像復号装置は、ビデオカメラ、映像送信装置、映像受信装置、テレビ電話システム、コンピュータあるいは携帯電話機に組み込まれる。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１ 動画像符号化装置
１１ 制御部
１２ 符号化制御部
１３ ピクチャ符号化部
１４ 結合点識別情報処理部
１５ データ結合部
２ 動画像復号装置
２１ 制御部
２２ ヘッダ情報解析部
２３ ピクチャ復号・表示時刻決定部
２４ ピクチャ復号部
２５ フレームメモリ

Claims (2)

1. フレーム間予測方式によって動画像データを符号化することをコンピュータに実行させる動画像符号化用コンピュータプログラムであって、
   前記動画像データに含まれる各ピクチャのうち、他の符号化された動画像データの後に結合される可能性のある第１のピクチャについて、前記第１のピクチャよりも符号化順序が後の１以上のピクチャが除去された場合にも、動画像復号装置が符号化された前記動画像データのうちの前記第１のピクチャ以降のピクチャを連続して復号及び表示できるようにするための復号遅延補正情報及び表示遅延補正情報を求め、
   前記動画像データに含まれる各ピクチャを符号化するとともに、符号化された前記動画像データに前記復号遅延補正情報及び前記表示遅延補正情報を付加する、
   ことをコンピュータに実行させ、
   前記復号遅延補正情報は、除去されうるピクチャの数に相当する値である動画像符号化用コンピュータプログラム。
2. 前記表示遅延補正情報は、前記第１のピクチャよりも符号化順序が後のピクチャのうち、表示順序が最も早いピクチャの表示時刻から前記第１のピクチャの表示時刻までのピクチャの数に相当する値である、請求項１に記載の動画像符号化用コンピュータプログラム。

Images