以下、図を参照しつつ、様々な実施形態による、動画像符号化装置及び動画像復号装置について説明する。この動画像符号化装置は、二つの符号化動画像データを、復号せずに結合する際に、結合点以降のピクチャについての復号時刻及び表示時刻を表すパラメータを修正するために利用される値を算出し、その値を結合点以降のピクチャのヘッダ情報に付加する。これにより、この動画像符号化装置は、二つの符号化動画像データを結合する場合でも、元の符号化動画像データのヘッダ内パラメータの書き換えを不要とする。
本実施形態では、ピクチャは、フレームである。ただし、ピクチャはフレームに限られず、フィールドであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。また、符号化された動画像は、カラー動画像であってもよく、あるいは、モノクロ動画像であってもよい。
図2を参照しつつ、最初に、第1の実施形態における、ピクチャの復号遅延CpbRemovalDelay、及び表示遅延DpbOutputDelayの値について、一つのピクチャ符号化構造を例として説明する。
図2において、ピクチャ符号化構造の一例であるピクチャ符号化構造201は、複数のピクチャを含む。ピクチャ符号化構造201内の一つのブロックが一つのピクチャを表す。各ピクチャに相当するブロックの内部に示された二つの文字のうち、左側の一文字のアルファベットは、そのピクチャに対して適用される符号化モードを表す。I, P, Bはそれぞれ、Iピクチャ、Pピクチャ、Bピクチャを意味する。また、ブロックの内部に示された二つの文字のうちの右側の数字は、動画像符号化装置へ入力される順番である。なお、入力順番は、動画像復号装置から出力される順番と一致する。ピクチャ符号化構造201の上側に示された矢印は、前方向フレーム予測において符号化されるピクチャが参照する参照ピクチャを表す。例えば、ピクチャP4は、ピクチャP4よりも前に位置するピクチャI0を参照する。同様に、ピクチャ符号化構造201の下側に示された矢印は、後方向フレーム予測において符号化されるピクチャが参照する参照ピクチャを表す。例えば、ピクチャB2は、ピクチャB2よりも後に位置するピクチャP4を参照する。
ピクチャ符号化構造201の下側には、動画像復号装置における、ピクチャ符号化構造201に含まれる各ピクチャの復号順序202が示される。復号順序202に示された各ブロックは、それぞれ、一つのピクチャを表し、かつ、各ブロック内の文字は、ピクチャ符号化構造201と同様に、符号化モード及び動画像符号化装置への入力の順番を表す。なお、この復号順序202は、動画像符号化装置による符号化の順序と一致する。
復号順序202において、下側に"BPSEI"という文字が書かれたピクチャには、BPSEIが付加される。この例では、全てのIピクチャにBPSEIが付加される。すなわち、全てのIピクチャに、Iピクチャの先頭ビットの受信バッファへの到達時刻と、Iピクチャの復号時刻との差分値を表すパラメータInitialCpbRemovalDelayが記述される。
復号順序202の下側に示されたブロック列203は、各ピクチャに付加されるPTSEIに含まれるCpbRemovalDelay及びDpbOutputDelayの値を表す。ブロック列203のうちの上側の各ブロックには、それぞれ、そのブロックの上に位置する復号順序202のピクチャのCpbRemovalDelayの値が示される。一方、ブロック列203のうちの下側の各ブロックには、それぞれ、そのブロックの上に位置する復号順序202のピクチャのDpbOutputDelayの値が示される。CpbRemovalDelayは、BPSEIが付加されたピクチャのうち、符号化順で直前のピクチャからの符号化の順番に相当する。例えば、ピクチャP8は、ピクチャI0から符号化順で5番目である。そして本実施形態では、各ピクチャはフレームであり、ピクチャ間の時間間隔tcがフィールド単位の値であるので、ピクチャP8のCpbRemovalDelayは10(=5*2)となる。
一方、DpbOutputDelayは、動画像復号装置において、各ピクチャを連続して正しい順番で出力するための、表示遅延である。例えばピクチャP4は、DpbOutputDelayが10になっている。これは動画像符号化装置において、入力順番と符号化順番との差が最も大きいピクチャB1を正しく表示するために必要な遅延である。すなわち、ピクチャB1は、ピクチャP4の復号時刻から2ピクチャ時間後に復号されるため、ピクチャP4の表示時刻は、ピクチャB1が表示可能となる最も早い時刻、すなわちピクチャB1の復号時刻から、更に3ピクチャ時間後に表示するようにしなければならない。ピクチャP4の復号時刻と表示時刻との差は5ピクチャ時間になり、DpbOutputDelayは、tcがフィールド単位であることから10となる。
次に、図3を参照しつつ、二つの符号化動画像データを結合した場合に、その二つの符号化動画像データの結合点前後で復号遅延及び表示遅延に矛盾が無いようにするために、結合点より後ろ側の符号化動画像データのピクチャでの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayのとるべき値について説明する。
結合点よりも前側に結合される第1の動画像符号化データ301に示された各ブロックは、それぞれ、一つのピクチャを表し、かつ、各ブロック内の文字は、図2と同様に、符号化モード及び動画像符号化装置への入力の順番を表す。この例では、第1の動画像符号化データ301の符号化構造は、図2に示された符号化構造201と同一である。
この例では、第1の動画像符号化データの最後のピクチャB15の直後に、第2の動画像符号化データ302を結合する。第2の動画像符号化データ302についても、各ブロックは、それぞれ、一つのピクチャを表し、かつ、各ブロック内の文字は、符号化モード及び動画像符号化装置への入力の順番を表す。第2の動画像符号化データ302の符号化構造も、図2に示された符号化構造201と同一である。この例では、第2の動画像符号化データ302のうち、ピクチャI72以降のピクチャが、第1の動画像符号化データのピクチャB15の後に結合される。
第2の動画像符号化データ302の下側に示されたブロック列303は、第2の動画像符号化データ302の各ピクチャに付加されるPTSEIに含まれる復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値を表す。ブロック列303のうちの上側の各ブロックには、それぞれ、そのブロックの上に位置する第2の動画像符号化データ302のピクチャの復号遅延CpbRemovalDelayの値が示される。一方、ブロック列303のうちの下側の各ブロックには、それぞれ、そのブロックの上に位置する第2の動画像符号化データ302のピクチャの表示遅延DpbOutputDelayの値が示される。
ブロック列303の下側には、第1の動画像符号化データ301と第2の動画像符号化データ302とが結合された結合動画像符号化データ304が示されている。この例では、結合動画像符号化データ304において、第2の動画像符号化データ302のうちのピクチャB67及び符号化順序でピクチャB67よりも前の符号化ピクチャは含まれない。また、ピクチャB70, B69, B71はいずれも、符号化順序でピクチャI72よりも前の符号化ピクチャであるピクチャI68を参照する。そのため、ピクチャI72で結合されると、ピクチャB70, B69, B71は正常再生できなくなる。よって、ピクチャB70, B69, B71は結合時に除去される。ただし、これらのピクチャB70, B69, B71は、除去されずに、結合動画像符号化データ内に残されてもよい。
ブロック列305は、結合動画像符号化データ304における、ピクチャI72, P78, B74, B73, B75が持つべき復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値である。ブロック列305のうちの上側の各ブロックには、それぞれ、そのブロックの上に位置する結合動画像符号化データ304のピクチャの復号遅延CpbRemovalDelayの値が示される。一方、ブロック列305のうちの下側の各ブロックには、それぞれ、そのブロックの上に位置する結合動画像符号化データ304のピクチャの表示遅延DpbOutputDelayの値が示される。ピクチャI72の復号遅延CpbRemovalDelayは、結合後に、直前のBPSEIを持つピクチャであるピクチャI12との符号化ピクチャ間隔に合わせる必要があり、この例では、ピクチャI72は、符号化順序に従うとピクチャI12から8番目であるので、復号遅延CpbRemovalDelayは16となる。またピクチャI72の表示遅延DpbOutputDelayも、ピクチャI72よりも後に復号されるピクチャB73を正しく表示するために修正される必要がある。ピクチャI72の表示遅延DpbOutputDelayの値は、ピクチャB70, B69, B71を除去する前と除去した後とで異なる。ピクチャB70, B69, B71を除去した後の表示遅延DpbOutputDelayの値は、ピクチャB69を符号化するよりも前に符号化した、動画像符号化装置への入力順番的には後のピクチャの数に相当する。この例ではピクチャI72とピクチャB70の二つが該当するので、ピクチャI72の表示遅延DpbOutputDelayの値は4となる。
さらに、ピクチャP76, B74, B73, B75の復号遅延CpbRemovalDelayは、ピクチャB70, B69, B71を除去する前と除去した後とで異なる。ピクチャB70, B69, B71を除去した後のピクチャP76, B74, B73, B75の復号遅延CpbRemovalDelayの値は、それぞれ、除去する前の復号遅延CpbRemovalDelayの値から、除去したピクチャ数に相当する値を引いたものとなる。この例では、ピクチャP76, B74, B73, B75の復号遅延CpbRemovalDelayの値は、それぞれ、元の復号遅延CpbRemovalDelayの値から6を引いた、2, 4, 6, 8となるる。なお、ピクチャP76, B74, B73, B75については、表示遅延DpbOutputDelayの値は不変である。また、結合後の最初のCRAとなるピクチャよりも入力順序で後になるピクチャについては、復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの何れも修正する必要はない。
上記のように、二つの符号化動画像データを結合することにより、その結合点よりも後の符号化動画像データに含まれる幾つかのピクチャについては、復号の際に、復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayを修正する必要がある。そこで、本実施形態では、動画像符号化装置が、結合前の元の動画像符号化データに含まれるピクチャの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値を修正しなくても、動画像復号装置が、結合動画像符号化データを復号する際に、復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値を適切な値に書き換えるために利用可能なパラメータが、動画像符号化データのヘッダに追加される。
図4を参照しつつ、第1の実施形態における、復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値を適切な値に書き換えるために利用可能なパラメータを含む、符号化動画像データの構造を説明する。
図4に示されるように、一つのピクチャのデータ構造400は、6種類のNetwork Abstraction Layer(NAL) unit410〜415を含む。これらのNAL unit410〜415は、いずれも、非特許文献1の方式及び、MPEG-4 AVC/H.264のNAL unitに準拠する。各NAL unitにはヘッダNUH420が付加される。ヘッダNUH420は、各NAL unitのタイプを表すNalUnitTypeフィールドを含む。NalUnitTypeが'4'の場合は、そのヘッダが付されたピクチャは、そのピクチャよりも時間的及び復号順番的に前のピクチャを参照するTFDピクチャが直後に出現する、再引き込み可能なCRAピクチャであることを表す。NalUnitTypeが'5'の場合は、そのヘッダが付されたピクチャは、TFDピクチャが直後に出現しないCRAピクチャであることを表す。NalUnitTypeが'6'の場合は、そのヘッダが付されたピクチャは、TFDピクチャが直後に出現する、結合点直後の再引き込み可能なBLAピクチャであることを表す。そしてNalUnitTypeが'7'の場合は、そのヘッダが付されたピクチャは、TFDピクチャが直後に出現しないBLAピクチャであることを表す。なお、各ピクチャのNalUnitTypeの値は、上記の値以外に設定されてもよい。
以下、各NAL unitについて説明する。
NAL unit410は、デリミタ(DELIM)NAL unitであり、ピクチャの境界であることを示す。
NAL unit411は、シーケンスパラメータセット(SPS)NAL unitであり、SPS NAL unit411には、符号化動画像のシーケンス全体に渡って共通なパラメータが記述される。SPS NAL unit 411は、再引き込みが可能なピクチャに付加される。
NAL unit412は、ピクチャパラメータセット(PPS)NAL unitであり、PPS NAL unit412には、複数の符号化ピクチャで共通なパラメータが記述される。PPS NAL unit412は、再引き込みが可能なピクチャに付加されるほか、他のピクチャにも付加されることがある。
NAL unit413は、BPSEI NAL unitであり、BPSEI NAL unit413は再引き込みが可能なピクチャにのみ付加される。本実施形態では、このBPSEI NAL unit413に、動画像復号装置にて結合点以降のピクチャの復号遅延と表示遅延とを修正するために利用されるパラメータが追加される。
NAL unit414は、PTSEI NAL unitであり、PTSEI NAL unit414は各ピクチャに付加される。
NAL unit415は、スライス(SLICE)NAL unitであり、符号化されたピクチャの実体である。
本実施形態による、BPSEI NAL unit413は、(N+1)個(ただし、Nは0以上の整数)のInitialCpbRemovalDelayフィールドとInitialCpbRemovalDelayOffsetフィールドの組と、それらの組に後続するRapCpbParamsPresentFlagフィールドを含む。RapCpbParamsPresentFlagが'1'の場合には、復号遅延の修正に利用される復号遅延補正情報AltCpbRemovalDelayOffsetフィールド431及び表示遅延の修正に利用される表示遅延補正情報AltDpbOutputDelayフィールド432も、BPSEI NAL unit413に含まれる。一方、RapCpbParamsPresentFlagが'0'の場合には、復号遅延補正情報AltCpbRemovalDelayOffsetフィールド431及び表示遅延補正情報AltDpbOutputDelayフィールド432は含まれない。なお、復号遅延補正情報AltCpbRemovalDelayOffsetフィールド431及び表示遅延補正情報AltDpbOutputDelayフィールド432の利用方法及び決定方法については後述する。
また、InitialCpbRemovalDelayフィールド及びInitialCpbRemovalDelayOffsetフィールドが複数存在するのは、符号化ビットストリームを(N+1)の種類のビットレートで伝送した場合に適したInitialCpbRemovalDelay及びInitialCpbRemovalDelayOffsetを記述するためである。なおInitialCpbRemovalDelayOffsetは、動画像符号化装置における最初のピクチャの符号化完了時刻と、動画像復号装置に対して符号化ピクチャデータの伝送を開始する時刻との差分を表す。
PTSEI NAL unit414は、復号遅延CpbRemovalDelayフィールド及びDpbOutputDelayフィールドを含む。これらのフィールドの定義は非特許文献1の方式及び、MPEG-4 AVC/H.264と同等であってもよい。
図5は、第1の実施形態による、動画像符号化装置の概略構成図である。動画像符号化装置1は、制御部11と、符号化制御部12と、ピクチャ符号化部13と、結合点識別情報処理部14と、データ結合部15とを有する。動画像符号化装置1が有するこれらの各部は、それぞれ、別個の回路として動画像符号化装置1に実装される。あるいは、動画像符号化装置1が有するこれらの各部は、その各部の機能を実現する回路が集積された一つの集積回路として動画像符号化装置1に実装されてもよい。あるいはまた、動画像符号化装置1が有するこれらの各部は、動画像符号化装置1が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。
制御部11は、動画像データを符号化する際、または符号化動画像データの編集操作を実行する際、動画像符号化装置1の各部の処理を制御する。例えば、制御部11は、要求される符号化動画像データの再生画質、圧縮率などに基づいて、符号化しようとする動画像データに対して適用するGOP構造などを決定する。そして制御部11は、GOP構造などを符号化制御部12へ通知する。
まず、動画像データを符号化する動画像符号化処理について説明する。動画像符号化処理では、符号化制御部12及びピクチャ符号化部13が用いられる。
符号化制御部12は、制御部11から通知されたGOP構造に応じて、各ピクチャの符号化順番、符号化モード(例えば、イントラ符号化モード、前方向予測モード、及び双方向予測モードのうちの何れか)などを決定する。そして符号化制御部12は、各ピクチャの符号化モード、GOP構造中の位置等に応じて、CRAピクチャの挿入間隔、符号化時のリオーダリングピクチャ数、及び最大表示遅延を決定する。図2に示された例では、CRAピクチャの挿入間隔は12、リオーダリングピクチャ数は2、最大表示遅延は5である。さらに符号化制御部12は、これらの値に応じて、各ピクチャのヘッダ情報を生成する。
例えば、ピクチャの種別がIピクチャ(CRAピクチャ)、すなわち、他のピクチャを参照せずに符号化されるピクチャで、そのピクチャが符号化動画像データの先頭ピクチャでない場合には、符号化制御部12は、リオーダリングピクチャ数が1以上の場合、ピクチャ内の各スライスのNUH720のNalUnitTypeを、TFDピクチャが直後に出現することを表す'4'に設定する。一方、リオーダリングピクチャ数が0の場合、符号化制御部12は、そのピクチャ内の各スライスのNUH720のNalUnitTypeを、TFDピクチャが直後に出現しないことを表す'5'に設定する。符号化動画像データの先頭ピクチャ内の各スライスのNUH720のNalUnitTypeは、8(IDRピクチャ)に設定される。またリオーダリングピクチャ数が1以上の場合、CRAピクチャの直後の、CRAピクチャよりも復号順番及び表示順番が早いピクチャを参照する非参照ピクチャについて、符号化制御部12は、NalUnitTypeを'2'(TFDピクチャ)とする。それ以外のピクチャについては、符号化制御部12は、NalUnitTypeを'1'とする。
符号化制御部12は、ピクチャ符号化部13に対し、符号化するピクチャ内の各スライスヘッダのNUH720のNalUnitTypeを通知する。また、符号化制御部12は、各ピクチャのPTSEI内の復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayを、図2のように、ピクチャの予測構造から求め、通知する。
さらに、ピクチャ内の各スライスのNUH720のNalUnitTypeが'8'、'4'もしくは'5'の場合、符号化制御部12は、そのピクチャにBPSEIを付加する。そして符号化制御部12は、NalUnitTypeが'8'もしくは'5'の場合には、RapCpbParamsPresentFlagを'0'に設定する。一方、NalUnitTypeが'4'の場合には、符号化制御部12は、RapCpbParamsPresentFlagを'1'とする。
さらに、符号化制御部12は、表示遅延の修正に利用されるパラメータ表示遅延補正情報AltDpbOutputDelayをリオーダリングピクチャ数の2倍、すなわち、CRAピクチャよりも符号化順序が後で、再生順序が最も早いピクチャの表示時刻からそのCRAピクチャの表示時刻までのピクチャ数の2倍に設定する。そして符号化制御部12は、復号遅延の修正に利用されるパラメータ復号遅延補正情報AltCpbRemovalDelayOffsetを、CRAピクチャの直後に続くTFDピクチャの数の2倍に設定する。
符号化制御部12は、ピクチャごとに、ピクチャ符号化部13に、その符号化モード及びヘッダ情報を通知するとともに、ピクチャの符号化を指示する。
ピクチャ符号化部13は、符号化制御部12からの指示に従い、フレーム間予測符号化が可能な動画像符号化方式の何れかに準拠して、該当ピクチャを指定された符号化モードで符号化する。ピクチャ符号化部13が準拠する動画像符号化方式は、例えば、MPEG-4 AVC/H.264またはMPEG-2とすることができる。そしてピクチャ符号化部13は、符号化された各ピクチャを含む、符号化動画像データを記憶部(図示せず)に記憶する。
次に、二つの符号化動画像データを結合する際の編集処理について説明する。結合点識別情報処理部14及びデータ結合部15は、この編集処理において用いられる。
結合点識別情報処理部14は、例えば、図示しないユーザインターフェース部を介して選択された二つの符号化動画像データを記憶部(図示せず)から読み出す。そして結合点識別情報処理部14は、図示しない外部からの制御信号に従い、その二つの符号化動画像データのうち、時間的に後側に結合される第2の符号化動画像データ内の結合点先頭ピクチャを特定する。外部からの制御信号は、例えば、第2の符号化動画像データ内の、先頭からの符号化ピクチャ数であり、結合点識別情報処理部14は、例えば、この符号化ピクチャ数以前で最も遅いCRAピクチャを結合点とする。
結合点のCRAピクチャについて、そのピクチャのスライスのNalUnitTypeが'4'の場合、結合点識別情報処理部14は、そのNalUnitTypeの値を、直後にTFDピクチャが出現しないBLAピクチャであることを表す'7'に書き換える。また結合点識別情報処理部14は、データ結合部15に対し、第2の符号化動画像データ内の結合点のCRAピクチャ以降の全ピクチャを出力するとともに、結合点CRAピクチャの直後のTFDピクチャを除去する指示を出す。
一方、結合点のCRAピクチャについて、そのピクチャのスライスのNalUnitTypeが'5'の場合には、結合点識別情報処理部14は、そのNalUnitTypeの値を、直後にTFDピクチャが出現しないBLAピクチャであることを表す'7'に書き換える。また結合点識別情報処理部14は、データ結合部15に対し、第2の符号化動画像データ内の結合点のCRAピクチャ以降の全ピクチャを出力する。ただし、この場合には、結合点識別情報処理部14は、結合点CRAピクチャの直後のTFDピクチャを除去する指示を出さない。
データ結合部15は、結合点よりも時間的に前に結合される第1の符号化動画像データの後に、結合点識別情報処理部14から出力された第2の符号化動画像データを結合する。この時、データ結合部15は、第2の符号化動画像データ中の、先頭ピクチャの直後の、正常再生が不可能なTFDピクチャを除去する。そしてデータ結合部15は、第1の符号化動画像データと第2の符号化動画像データを結合することにより得られた結合符号化動画像データを記憶部(図示せず)に記憶する。
図6は、第1の実施例による動画像符号化装置により実行される動画像符号化処理の動作フローチャートである。なお、図6に示される動作フローチャートにしたがって、動画像符号化装置1は、符号化対象の動画像シーケンス全体を符号化する。
シーケンス全体の符号化処理開始に先立ち、例えば、制御部11によって、GOP構造など、ピクチャ予測構造が決定される(ステップS101)。そしてそのピクチャ予測構造が符号化制御部12へ通知される。
符号化制御部12は、通知されたピクチャ予測構造及び、動画像データの先頭からの符号化対象ピクチャの位置などに基づいて符号化対象ピクチャに適用される符号化モードを決定し、かつ、その符号化対象ピクチャのヘッダ情報を生成する(ステップS102)。
次に、符号化制御部12は、符号化対象ピクチャのスライスのNUHのNalUnitTypeが'4'か'5'または'8'か、これらの何れでもないか判定する(ステップS103)。NalUnitTypeが'4'である場合、この符号化対象ピクチャは、TFDピクチャに先行するCRAである。すなわち、この符号化対象ピクチャ及び後続するピクチャは、この符号化対象ピクチャを先頭として他の符号化動画像データの後に結合されると、動画像復号処理の実行時に復号遅延及び表示遅延が修正される必要がある。そこで符号化制御部12は、この符号化対象ピクチャに付されるBPSEIのRapCpbParamsPresentFlagを'1'に設定する(ステップS104)。そして符号化制御部12は、表示遅延の修正に利用される表示遅延補正情報AltDpbOutputDelayをリオーダリングピクチャ数の2倍に設定する。そして符号化制御部12は、復号遅延の修正に利用される復号遅延補正情報AltCpbRemovalDelayOffsetを、CRAピクチャの直後に続くTFDピクチャの数の2倍に設定する(ステップS105)。
一方、NalUnitTypeが'5'または'8'である場合、この符号化対象ピクチャにはBPSEIが付されるものの、この符号化対象ピクチャは、TFDピクチャに先行しない。そこで符号化制御部12は、この符号化対象ピクチャに付されるBPSEIのRapCpbParamsPresentFlagを'0'に設定する(ステップS106)。さらに、NalUnitTypeが'4'、'5'及び'8'の何れでもない場合、この符号化対象ピクチャにはBPSEIが付されない。そのため、符号化制御部12は、RapCpbParamsPresentFlagを設定しない。
ステップS105またはS106の後、あるいは、ステップS103にてNalUnitTypeが'4'及び'5'の何れでもない場合、符号化制御部12は、符号化対象ピクチャのデータ、そのピクチャの符号化モード及びヘッダ情報を符号化部13へ通知する。そして符号化部13は、通知された符号化モード及びヘッダ情報に従って、符号化対象ピクチャを符号化し、その符号化されたピクチャのデータにヘッダ情報を付加する(ステップS107)。
その後、制御部11は、動画像シーケンス内に未符号化ピクチャがあるか否か判定する(ステップS108)。未符号化ピクチャがある場合(ステップS108−Yes)、制御部11は、次の未符号化ピクチャを符号化対象ピクチャとして、ステップS102以降の処理を実行する。
一方、未符号化ピクチャがない場合(ステップS108−No)、制御部11は、符号化処理を終了する。
図7は、第1の実施例による動画像符号化装置により実行される動画像編集処理の動作フローチャートである。
結合点識別情報処理部14は、結合点よりも前に結合される第1の符号化動画像データのうち、結合点までの符号化ピクチャを順次記憶部(図示せず)から読み出す(ステップS201)。
また結合点識別情報処理部14は、結合点よりも後に結合される第2の符号化動画像データのうち、結合点以降の符号化ピクチャを順次記憶部(図示せず)から読み出す(ステップS202)。次に、結合点識別情報処理部14は、第2の符号化動画像データのうち、読み出された先頭CRAピクチャに対し、各スライスのNUHのNalUnitTypeの値を、BLAピクチャであることを表す値に書き換え、その先頭CRAピクチャをデータ結合部15へ出力する(ステップS203)。また、結合点識別情報処理部14は、書き換える前のNalUnitTypeが'4'か否か、すなわち、TFDピクチャが有るか否か判定する(ステップS204)。書き換える前のNalUnitTypeが'4'の場合(ステップS204−Yes)、その先頭CRAピクチャ(結合後はBLAピクチャ)に後続するTFDピクチャが存在する。そこで結合点識別情報処理部14は、TFD削除フラグを'1'にする(ステップS205)。一方、書き換える前のNalUnitTypeが'4'でない場合(ステップS204−No)、その先頭CRAピクチャに後続するTFDピクチャは存在しない。そこで結合点識別情報処理部14は、TFD削除フラグを'0'にする(ステップS206)。
ステップS205またはS206の後、結合点識別情報処理部14は、第2の符号化動画像データの先頭CRAピクチャ以降の全ピクチャをデータ結合部15へ出力する。そしてデータ結合部15は、その先頭CRAピクチャをBLAピクチャとして、第1の符号化動画像データの結合点の後に結合する(ステップS207)。
その後、データ結合部15は、第2の符号化動画像データのうち、既に第1の符号化動画像データに結合されたピクチャまたは削除されたピクチャの次のピクチャを着目ピクチャとする。そしてデータ結合部15は、着目ピクチャの各スライスのNUHのNalUnitTypeが'2'であり(すなわち、そのピクチャはTFDピクチャであり)、かつTFD削除フラグが'1'であるか否か判定する(ステップS208)。
NalUnitTypeが'2'であり、かつTFD削除フラグが'1'である場合(ステップS208−Yes)、データ結合部15は、着目ピクチャを削除する(ステップS209)。
一方、NalUnitTypeが'2'でないか、あるいはTFD削除フラグが'0'である場合(ステップS208−No)、データ結合部15は、着目ピクチャを結合符号化動画像データの最後尾に結合し、TFD削除フラグを'0'にする(ステップS210)。
ステップS209またはS210の後、データ結合部15は、着目ピクチャの後にピクチャがあるか否か判定する(ステップS211)。ピクチャがまだあれば(ステップS211−Yes)、データ結合部15は、ステップS208以降の処理を繰り返す。一方、ピクチャがなければ(ステップS211−No)、データ結合部15は、動画像編集処理を終了する。
次に、第1の実施形態による動画像符号化装置1により符号化され、または編集された符号化動画像データを復号する動画像復号装置について説明する。
図8は、第1の実施形態による、動画像復号装置の概略構成図である。動画像復号装置2は、制御部21と、ヘッダ情報解析部22と、ピクチャ復号・表示時刻決定部23と、ピクチャ復号部24と、フレームメモリ25とを有する。動画像復号装置2が有するこれらの各部は、それぞれ、別個の回路として動画像復号装置2に実装される。あるいは、動画像復号装置2が有するこれらの各部は、その各部の機能を実現する回路が集積された一つの集積回路として動画像復号装置2に実装されてもよい。あるいはまた、動画像復号装置2が有するこれらの各部は、動画像復号装置2が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。
制御部21は、符号化動画像データを復号する際、動画像復号装置2の各部の処理を制御する。
ヘッダ情報解析部22は、符号化動画像データのヘッダ情報を解析し、ピクチャ復号・表示時刻の決定に必要なパラメータ、例えば、各ピクチャのNalUnitType、BPSEIに含まれるAltDpbOutputDelay及びAltCpbRemovalDelayOffset、及び、PTSEIに含まれるCpbRemovalDelay及びDpbOutputDelayを、ピクチャ復号・表示時刻決定部23に出力する。
ピクチャ復号・表示時刻決定部23は、ヘッダ情報解析部22から渡される、復号対象ピクチャのスライスのNUHをチェックする。NUHのNalUnitTypeが'6'もしくは'7'の場合、ピクチャ復号・表示時刻決定部23は、復号対象ピクチャはBLAピクチャであると判断する。
復号対象ピクチャがBLAピクチャである場合、ピクチャ復号・表示時刻決定部23は、BLAピクチャの復号遅延CpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、以下のようにして求めた値を用いる。
ピクチャ復号・表示時刻決定部23は、BLAピクチャの直前のBPSEIが付加されたピクチャの次のピクチャから、BLAピクチャの直前のピクチャまでのピクチャ数Aをカウントする。次に、ピクチャ復号・表示時刻決定部23は、BLAピクチャの直前のピクチャのPTSEIのCpbRemovalDelayの値Bをチェックする。そしてピクチャ復号・表示時刻決定部23は、BLAピクチャの復号遅延CpbRemovalDelayを、A*(B/(A-1))とする。
また、復号対象ピクチャが、NalUnitTypeが'7'のBLAピクチャ、すなわち、そのBLAピクチャにTFDピクチャが後続する場合、ピクチャ復号・表示時刻決定部23は、さらにそのBLAピクチャのBPSEIのフラグRapCpbParamsPresentFlagをチェックする。RapCpbParamsPresentFlagの値が'1'の場合には、ピクチャ復号・表示時刻決定部23は、BLAピクチャの直後のTFDピクチャが除去されていると判断し、そのBLAピクチャの表示遅延DpbOutputDelay、及びBLAピクチャの次のピクチャ(非TFDピクチャ)から、次のBPSEIが付加されたピクチャまでの復号遅延CpbRemovalDelayを以下のようにして変更する。
ピクチャ復号・表示時刻決定部23は、BLAピクチャの表示遅延DpbOutputDelayを、BLAピクチャに付加されたPTSEIのDpbOutputDelayの代わりに、BLAピクチャに付加されたBPSEIのAltDpbOutputDelayとする。
またピクチャ復号・表示時刻決定部23は、BLAピクチャの次のピクチャから、次にBPSEIが付加されたピクチャまでの、全てのピクチャの復号遅延CpbRemovalDelayを、そのピクチャに付加されたPTSEIのCpbRemovalDelayから、BLAピクチャに付加されたBPSEIのAltCpbRemovalDelayOffsetを引いた値とする。
上記以外のピクチャについては、ピクチャ復号・表示時刻決定部23は、ピクチャの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayを、それぞれ、そのピクチャに付加されたPTSEIのCpbRemovalDelay及びDpbOutputDelayとする。
ピクチャ復号・表示時刻決定部23は、上記の復号遅延CpbRemovalDelayに基づいて、各ピクチャの復号時刻を決定し、その復号時刻に、ピクチャ復号部24に対し復号指示を出す。また、ピクチャ復号・表示時刻決定部23は、上記の表示遅延DpbOutputDelayに基づいて、各ピクチャの表示時刻を決定し、その表示時刻に、フレームメモリ25に対し、表示指示を出す。
ピクチャ復号部24は、復号対象ピクチャについて復号指示を受け取ると、フレームメモリ25に格納された参照ピクチャを用いてその復号対象ピクチャを復号する。そしてピクチャ復号部24は、復号したピクチャをフレームメモリ25に格納させる。なお、ピクチャ復号部24は、動画像符号化装置1の符号化部が準拠する符号化方式と同様の符号化方式に準拠して、復号処理を実行する。
フレームメモリ25は、復号されたピクチャを格納する。またフレームメモリ25は、復号されたピクチャを、そのピクチャよりも後に復号されるピクチャの参照ピクチャとしてピクチャ復号部24に出力する。さらに、フレームメモリ25は、ピクチャ復号・表示時刻決定部23から受け取った表示指示に従い、表示部(図示せず)にピクチャを出力する。
図9は、第1の実施例による動画像復号装置により実行される動画像復号処理の動作フローチャートである。なお、図9に示される動作フローチャートにしたがって、動画像復号装置2は、復号対象の動画像シーケンス全体を復号する。
制御部21は、シーケンス全体の復号処理開始に先立ち、変数cnt及び変数flagを初期化し、それぞれ、0に設定する(ステップS301)。変数cntは、BPSEI付加ピクチャから、次のBPSEI付加ピクチャまでの間のピクチャ数に相当する。変数flagは、CpbRemovalDelayの修正が必要な非BLAピクチャか否かを示す変数である。
次に、ヘッダ情報解析部22は、復号対象ピクチャのヘッダ情報を解析し、ピクチャ復号・表示時刻の決定に必要なパラメータを、ピクチャ復号・表示時刻決定部23に出力する。復号対象のピクチャのヘッダ情報を解析する(ステップS302)。
ピクチャ復号・表示時刻決定部23は、変数flagが'0'であるか、または、復号対象ピクチャ内のスライスのNUHのNalUnitTypeが'6'及び'7'であるか否か、すなわち、復号対象ピクチャがBLAピクチャか否かを判定する(ステップS303)。
変数flagが'1'であり、かつ、復号対象ピクチャ内のスライスのNUHのNalUnitTypeが'6'または'7'でなければ(ステップS303−No)、ピクチャ復号・表示時刻決定部23は、非BLAピクチャである復号対象ピクチャの復号遅延CpbRemovalDelayを、復号遅延補正情報AltCpbRemovalDelayOffsetを用いて修正する(ステップS304)。
ステップS304の後、あるいは、ステップS303にて変数flagが'0'であるか、またはNalUnitTypeが'6'及び'7'である場合(ステップS303−Yes)、ピクチャ復号・表示時刻決定部23は、復号対象ピクチャにBPSEIが付加されているか判定する(ステップS305)。
復号対象ピクチャにBPSEIが付加されている場合(ステップS305−Yes)、ピクチャ復号・表示時刻決定部23は、変数cntの値を変数dにコピーするとともに、変数cnt及び変数flagを0にリセットする(ステップS306)。
復号対象ピクチャにBPSEIが付加されていない場合(ステップS305−No)、ピクチャ復号・表示時刻決定部23は、変数cntの値を1だけ増加する(ステップS307)。
ステップS306またはS307の後、ピクチャ復号・表示時刻決定部23は、復号対象ピクチャのスライスのNUHのNalUnitTypeが'6'もしくは'7'か否か判定する(ステップS308)。
復号対象ピクチャのスライスのNUHのNalUnitTypeが'6'もしくは'7'である場合(ステップS308−Yes)、復号対象ピクチャはBLAピクチャである。そこでピクチャ復号・表示時刻決定部23は、復号対象ピクチャの復号遅延CpbRemovalDelayを、変数dの値に従って変更する(ステップS309)。
次に、ピクチャ復号・表示時刻決定部23は、復号対象ピクチャ内のスライスのNUHのNalUnitTypeが'7'であり、かつ復号対象ピクチャに付加されたBPSEIのRapCpbParamsPresentFlagが'1'か否か判定する(ステップS310)。復号対象ピクチャ内のスライスのNUHのNalUnitTypeが7であり、かつ復号対象ピクチャに付加されたBPSEIのRapCpbParamsPresentFlagが'1'である場合(ステップS310−Yes)、ピクチャ復号・表示時刻決定部23は、BLAピクチャの表示遅延DpbOutputDelayを表示遅延補正情報AltDpbOutputDelayに修正するとともに、変数flagを'1'にする(ステップS311)。
ステップS311の後、あるいは、ステップS308にて復号対象ピクチャのスライスのNUHのNalUnitTypeが'6'及び'7'の何れでもない(ステップS308−No)か、ステップS310にて復号対象ピクチャ内のスライスのNUHのNalUnitTypeが'7'でないか、復号対象ピクチャに付加されたBPSEIのRapCpbParamsPresentFlagが'0'である場合(ステップS310−No)、ピクチャ復号・表示時刻決定部23は、決定した復号時刻に、ピクチャ復号部24に対し復号指示を出す。また、ピクチャ復号・表示時刻決定部23は、決定した表示時刻に、フレームメモリ25に対し、表示指示を出す。そしてピクチャ復号部24は、その復号時刻に復号対象ピクチャを復号する。またフレームメモリ25は、表示部(図示せず)へ復号されたその復号対象ピクチャを表示させる(ステップS312)。
また、制御部21は、符号化動画像データ内に未復号のピクチャがあるか否か判定する(ステップS313)。未復号のピクチャがあれば(ステップS313−Yes)、制御部21は、処理をステップS302へ移行させる。そして復号順序で次のピクチャを復号対象ピクチャとして、ステップS302以降の処理が繰り返される。
一方、未復号のピクチャがなければ(ステップS313−No)、制御部21は、動画像復号処理を終了する。
以上に説明してきたように、この実施形態による動画像符号化装置は、二つ以上の符号化動画像データを復号せずに結合した場合でも、符号化時に決定した復号遅延及び表示遅延のパラメータ値を修正しなくてよい。そしてこの実施形態による動画像復号装置は、符号化動画像データが結合された場合の復号遅延及び表示遅延の修正用のパラメータを利用して、各ピクチャの復号遅延及び表示遅延を修正できるので、適切なタイミングで各ピクチャを復号及び表示できる。
次に、第2の実施形態について説明する。第2の実施形態では、第1の実施形態と比較して、符号化動画像データの構造が異なる。
図10を参照しつつ、第2の実施形態における、符号化動画像データの構造を説明する。図4に示された第1の実施形態による符号化されたピクチャの構造と同様に、一つのピクチャのデータ構造1000は、6種類のNAL unit1010〜1015を含む。このうち、BPSEI1013及びPTSEI1014が、図4に示されたBPSEI413及びPTSEI414と異なる。一方、DELIM1010、SPS1011、PPS1012、SLICE1015、及びNUH1020は、それぞれ、図4に示されたDELIM410、SPS411、PPS412、SLICE415及びNUH420と同等である。
BPSEI1013は、BPSEI430と同様に、(N+1)個のInitialCpbRemovalDelayフィールド及びInitialCpbRemovalDelayOffsetフィールドと、それらに後続するRapCpbParamsPresentFlagフィールドとを有する。しかし、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドは、BPSEI1013には含まれない。
一方、PTSEI1040は、PTSEI440と同様に、CpbRemovalDelayフィールド及びDpbOutputDelayフィールドを含む。さらに、PTSEI1040は、BPSEIのRapCpbParamsPresentFlagが'1'の場合には、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドを含む。
もし、あるピクチャのPTSEI内のCpbRemovalDelayまたはDpbOutputDelayが、TFDピクチャが除去されても変化しない場合には、AltCpbRemovalDelayまたはAltDpbOutputDelayの値は、CpbRemovalDelayまたはDpbOutputDelayと同じ値に設定される。
上記のように、第1の実施形態と比較して、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドが含まれるSEIが異なる。そのため、第2の実施形態による動画像符号化装置は、第1の実施形態による動画像符号化装置と比較して、符号化制御部12の処理が異なる。そこで以下では、符号化制御部12の処理について説明する。
符号化制御部12は、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドを、BPSEIに含める代わりに各ピクチャに付されるPTSEIに含める。その際、符号化制御部12は、二つの符号化動画像データが結合されたとした場合のそのピクチャの復号遅延及び表示遅延の値そのものを、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドに格納する。
次に、第2の実施形態による動画像復号装置の動作について説明する。第2の実施形態による動画像復号装置も、第1の実施形態による動画像復号装置と同様の構成を有する。ただし、第1の実施形態と比較して、第2の実施形態による動画像復号装置では、ピクチャ復号・表示時刻決定部23の処理が異なる。そこで以下では、ピクチャ復号・表示時刻決定部23の処理について説明する。
復号対象ピクチャが、NalUnitTypeが'7'のBLAピクチャの場合、ピクチャ復号・表示時刻決定部23は、さらにBPSEIのRapCpbParamsPresentFlagをチェックする。RapCpbParamsPresentFlagの値が'1'の場合には、ピクチャ復号・表示時刻決定部23は、BLAピクチャの直後のTFDピクチャが除去されていると判断する。そしてピクチャ復号・表示時刻決定部23は、BLAピクチャのDpbOutputDelay、及びBLAピクチャの次のピクチャ(非TFDピクチャ)から、次のBPSEIが付加されたピクチャまで、CpbRemovalDelayを以下のように変更する。
・ピクチャ復号・表示時刻決定部23は、BLAピクチャのDpbOutputDelayを、BLAピクチャに付加されたPTSEIのDpbOutputDelayの代わりに、BLAピクチャに付加されたPTSEIのAltDpbOutputDelayとする。
・ピクチャ復号・表示時刻決定部23は、BLAピクチャの次のピクチャから、次のBPSEIが付加されたピクチャまでの、全てのピクチャのCpbRemovalDelayを、そのピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、そのピクチャに付加されたPTSEIのAltCpbRemovalDelay値とする。
次に、第3の実施形態について説明する。第3の実施形態では、第1の実施形態と比較して、動画像復号装置のピクチャ復号・表示時刻決定部23による、BLAピクチャの復号遅延の算出処理が異なる。そこで以下では、ピクチャ復号・表示時刻決定部23について説明する。
ピクチャ復号・表示時刻決定部23は、ヘッダ情報解析部22から渡される、復号対象ピクチャのヘッダ情報を解析するときに、スライスのNUHをチェックする。そのNUHのNalUnitTypeが'6'もしくは'7'の場合、ピクチャ復号・表示時刻決定部23は、復号対象ピクチャはBLAピクチャと判断する。
復号対象ピクチャがBLAピクチャの場合、ピクチャ復号・表示時刻決定部23は、BLAピクチャのCpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、以下のようにして求めた値を用いる。
BLAピクチャ(以降Pic2と表記する)の直前の、BPSEIが付加されたピクチャ(以降Pic1と表記する)の次のピクチャから、Pic2の直前のピクチャまでのピクチャ数をAとする。ピクチャ復号・表示時刻決定部23は、Pic2のCpbRemovalDelayの値Bから、第1の補正値Mod1をA*(B/(A-1))として導出する。B/(A-1)は、連続ピクチャ間の時間差(単位はtc)に相当する。以降B/(A-1)をsと表記する。
次に、ピクチャ復号・表示時刻決定部23は、結合点でのCPB内に蓄積されているデータ量の差を補正するための、第2の補正値Mod2を算出する。
Pic2を先頭とする符号化動画像データ一部分の先頭ビットが、動画像復号装置の受信バッファに到達した時刻0から、Pic2に付加されるBPSEIのInitialCpbRemovalDelay値(以降Init2とする)を90000(すなわち、90kHz)で割った時間[sec]後のCPBに蓄積されているデータ量、すなわちPic2を復号する直前のCPBのデータ量をPos2とすると、Pos2は、(R*Init2/90000)と計算される。Rはビットレートである。
一方、Pic1に付加されたBPSEIのInitialCpbRemovalDelay値をInit1、Pic1、及びPic1とPic2との間に存在する全ピクチャの符号量相和をTotalBとすると、動画像復号装置が符号化動画像データを先頭から復号した時の、Pic2を復号する直前のCPBのデータ量Pos2は、(R*(Init1+(A+1)*s)-TotalB)と計算される。
Pos1がPos2よりも小さい場合には、動画像復号装置が符号化動画像データのPic2を復号する直前の時刻にて、Pic2の全てのデータが復号装置に到達しておらず、Pic1が復号できないおそれがある。これは、Pic2の復号時刻を、(s*tc)時間[sec]単位で遅らすことで回避できる。
ピクチャ復号・表示時刻決定部23は、第2の補正値Mod2を、(Pos2 - Pos1 < Th)の場合には0とする。閾値Thは正の値を持つ。それ以外の場合には、ピクチャ復号・表示時刻決定部23は、第2の補正値Mod2を、(Ceil((Pos2 - Pos1)/R/(s*tc)))とする。ただし、Ceil()は切り上げ関数である。
ピクチャ復号・表示時刻決定部23は、復号対象ピクチャがBLAピクチャの場合、BLAピクチャのCpbRemovalDelayを(Mod1 + Mod2)に置き換える。
このように、第3の実施形態による動画像復号装置は、BLAピクチャを復号する直前のCPBに蓄積されているデータ量を考慮して、BLAピクチャの復号遅延を決定する。そのため、この実施形態による動画像復号装置は、CPBのアンダーフローが生じることを防止できる。
次に第4の実施形態について説明する。第4の実施形態は、結合点よりも前の第1の符号化動画像データのリオーダリングピクチャ数と結合点よりも後の第2の符号化動画像データのリオーダリングピクチャ数とが異なっていても、復号遅延及び表示遅延を適切に決定できるようにする。また第4の実施形態は、第1の符号化動画像データの結合点よりも前に表示されるべきピクチャが削除された場合でも、復号遅延及び表示遅延を適切に決定できるようにする。
図11〜図13を参照しつつ、ピクチャの復号遅延CpbRemovalDelay、及び表示遅延DpbOutputDelayについて、異なるピクチャ符号化構造及び編集位置の場合の値を説明する。
図11に示される第1の符号化動画像データ及び第2の符号化動画像データのリオーダリングピクチャ数は、図3と同様に、2である。また、第1の符号化動画像データ1101及び第2の符号化動画像データ1102は、それぞれ、図3に示された第1の符号化動画像データ301及び第2の符号化動画像データ302と同じである。また、第2の符号化動画像データ1102の復号遅延及び表示遅延を示すブロック列1103も、図3に示されたブロック列303と同様である。ただし、図3と異なり、第1の符号化動画像データ1101のピクチャB13が結合点である。
そのため、結合動画像符号化データ1104は、結合動画像符号化データ304と異なり、ピクチャB15をふくまない。
ブロック列1105は、結合動画像符号化データ1104における、ピクチャI72, P78, B74, B73, B75が持つべき復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値である。ブロック列1105のうちの上側の各ブロックには、それぞれ、そのブロックの上に位置する結合動画像符号化データ1104のピクチャの復号遅延CpbRemovalDelayの値が示される。一方、ブロック列1105のうちの下側の各ブロックには、それぞれ、そのブロックの上に位置する結合動画像符号化データ1104のピクチャの表示遅延DpbOutputDelayの値が示される。ブロック列1105に示されるように、ピクチャB13の後にピクチャI72が結合されても、ピクチャI72、P76、B74、B73、B75の復号遅延及び表示遅延は、ピクチャB15の後にピクチャI72が結合されたときと同一となる。
図3と比較して、ピクチャI72と、その直前の、BPSEIが付加されたピクチャI12との間のピクチャ数は6であり、図3に示されたピクチャI72とI12間のピクチャ数よりも一つ少ない。しかし、各復号ピクチャを、欠如無く、入力時と同じ間隔・順番で表示するには、図3の例と同じく、CpbRemovalDelayは16とする必要がある。
この理由をブロック列1106を参照して説明する。ブロック列1106は、結合後の符号化動画像データの復号時刻及び表示時刻の順序をピクチャ単位で示している。ブロック列1106に示されるように、結合後の符号化動画像にはピクチャB15が含まれていないものの、ピクチャP16は、ピクチャB14の2ピクチャ時間後に表示すべきである。ピクチャP16を表示後、ピクチャI72以降を連続して表示するには、ピクチャI72の復号時刻を、1ピクチャ時間だけ遅らす必要が生じる。
なおこの場合、ピクチャB14は2ピクチャ時間表示されることになり、表示フリーズが発生している。
図12に示される例では、第2の符号化動画像データ1202のリオーダリングピクチャ数が、第1の符号化動画像データ1201のリオーダリングピクチャ数よりも小さい。本例では、第1の符号化動画像データのリオーダリングピクチャ数の値は2、第2の符号化動画像データのリオーダリングピクチャ数の値は1である。
また、結合前の第2の符号化動画像データの各ピクチャの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayは、ブロック列1203に示されるようになる。
この場合において、結合後の符号化動画像データ1204に示されるように、第1の符号化動画像データ1201のピクチャB15の後に、第2の符号化動画像データ1202のピクチャI72を結合したとする。この場合、結合後のピクチャI72以降の各ピクチャの復号遅延及び表示遅延は、ブロック列1205に示されるようになる。そしてブロック列1206は、結合後の符号化動画像データの復号時刻及び表示時刻の順序をピクチャ単位で示している。
各復号ピクチャを、欠如無く、入力時と同じ間隔・順番に連続表示するには、ブロック列1206に示されるように、第2の符号化動画像データ1202の先頭ピクチャの復号遅延を、第1の符号化動画像データ1201のリオーダリングピクチャ数と、第2の符号化動画像データ1202のリオーダリングピクチャ数との差分に比例して大きくする必要がある。本例では、2だけ大きくした16となる。
なお、第1の符号化動画像データについての結合点をピクチャB15でなく、ピクチャB13、ピクチャB14、またはピクチャP16とした場合は、図11の例と同じく、第2の符号化動画像データの先頭ピクチャの復号遅延は、ピクチャB15の後に結合された場合の復号遅延と同じである。ただし、ピクチャP16以前のピクチャのうち削除されたピクチャの数だけピクチャ表示のフリーズが発生する。
図13に示される例では、第1の符号化動画像データ1301のリオーダリングピクチャ数が、第2の符号化動画像データ1302のリオーダリングピクチャ数よりも小さい。本例では、第1の符号化動画像データ1301のリオーダリングピクチャ数は1、第2の符号化動画像データ1302のリオーダリングピクチャ数は2である。
また、結合前の第2の符号化動画像データの各ピクチャの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayは、ブロック列1303に示されるようになる。
この場合において、結合後の符号化動画像データ1304に示されるように、第1の符号化動画像データ1301のピクチャB15の後に、第2の符号化動画像データ1302のピクチャI72を結合したとする。この場合、結合後のピクチャI72以降の各ピクチャの復号遅延及び表示遅延は、ブロック列1305に示されるようになる。そしてブロック列1306は、結合後の符号化動画像データの復号時刻及び表示時刻の順序をピクチャ単位で示している。
各復号ピクチャを、欠如無く、入力時と同じ間隔・順番に表示するには、ブロック列1306のように、第一の符号化動画像データの最終表示ピクチャをリピートする必要がある。
図12及び図13に示されるように、第1の符号化動画像データのリオーダリングピクチャ数と、第2の符号化動画像データのリオーダリングピクチャ数との関係によって、第2の符号化動画像データの先頭ピクチャの復号時刻をずらす必要が生じ、また結合点前後で表示ピクチャのフリーズが生じる場合がある。
また、図11に示されるように、第1の符号化動画像データの結合点によっては、表示ピクチャのフリーズが不可避になる。
上記のような問題に対応する、第4の実施形態による動画像復号装置について説明する。第4の実施形態による動画像復号装置は、第1の実施形態による動画像復号装置と比較して、ピクチャ復号・表示時刻決定部23の処理が異なる。そこで以下では、ピクチャ復号・表示時刻決定部23について説明する。
ピクチャ復号・表示時刻決定部23は、ヘッダ情報解析部22から渡される、復号対象ピクチャのヘッダ情報を解析するときに、スライスのNUHをチェックする。NUHのNalUnitTypeが'6'もしくは'7'の場合、ピクチャ復号・表示時刻決定部23は、復号対象ピクチャはBLAピクチャと判断する。
復号対象ピクチャがBLAピクチャの場合、ピクチャ復号・表示時刻決定部23は、BLAピクチャのCpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、以下のようにして求めた値を用いる。
ピクチャ復号・表示時刻決定部23は、BLAピクチャ(以降Pic2と表記する)の直前のBPSEIが付加されたピクチャ(以降Pic1と表記する)の次のピクチャから、Pic2の直前のピクチャまでのピクチャ数Aをカウントする。また、ピクチャ復号・表示時刻決定部23は、Pic2の直前のピクチャのPTSEIのCpbRemovalDelayの値Bをチェックし、PTSEIの第一の補正値Mod1を、A*(B/(A-1))として求める。
次に、ピクチャ復号・表示時刻決定部23は、Pic2の直前のピクチャが参照するSPS内に記述された、リオーダリングピクチャ数R1、及びPic2の直後の非TFDピクチャが参照するリオーダリングピクチャ数R2とを比較する。SPS内のリオーダリングピクチャ数を示すフィールドは、非特許文献1の方式では、SpsNumReorderPicsである。
R1とR2とが同じ場合には、ピクチャ復号・表示時刻決定部23は、Mod1をそのまま、Pic2のCpbRemovalDelayとする。
R2がR1よりも大きい場合には、ピクチャ復号・表示時刻決定部23は、PTSEIの第二の補正値Mod2を、(R2-R1)* B/(A-1)とする。
R2がR1よりも小さい場合には、ピクチャ復号・表示時刻決定部23は、Mod1をそのまま、Pic2のCpbRemovalDelayとする。
ピクチャ復号・表示時刻決定部23は、さらに、第1の符号化動画像データの、最後のピクチャをフリーズ表示するかどうか、R1とR2との関係をもとに決定し、決定したフリーズ期間を、フレームメモリ25に通知する。
ピクチャ復号・表示時刻決定部23は、フリーズ期間(単位はtc)を以下のように決定する。
R1とR2とが同じ場合、もしくはR1がR2よりも大きい場合には、ピクチャ復号・表示時刻決定部23は、フリーズ期間を0とする。
一方、R2がR1よりも小さい場合には、ピクチャ復号・表示時刻決定部23は、(R2-R1)* B/(A-1)をフリーズ期間とする。
このように、第4の実施形態によれば、動画像復号装置は、結合点よりも前に結合される第1の符号化動画像データにおいて、結合点のピクチャよりも符号化(復号)順序が後で、かつ、結合点のピクチャよりも前に再生されるべきピクチャがあっても、結合点以降のピクチャの復号遅延及び表示遅延を適切に決定できる。またこの動画像復号装置は、結合点の前と後とで、リオーダリング数が異なっていても、結合点以降のピクチャの復号遅延及び表示遅延を適切に決定できる。
次に、第5の実施形態について説明する。第5の実施形態では、動画像符号化装置は、二つの符号化動画像データを結合しても、表示ピクチャのフリーズが生じないピクチャを特定するためのパラメータを追加する。
結合点前後で表示ピクチャのフリーズが生じないためには、第1の符号化動画像データのリオーダリングピクチャ数が、第2の符号化動画像データのリオーダリングピクチャ数と同じか、大きい場合であり、かつ、第1の符号化動画像データの結合点が、時間的に前のピクチャのみを参照するピクチャの直前、とする必要がある。例えば図11の例では、本条件に適合する結合点は、ピクチャB11及びB15である。
図14は、第5の実施形態において使用される符号化動画像の一つのピクチャのデータ構造を示す。図14に示される符号化動画像の一つのピクチャのデータ構造1400は、図4に示されたデータ構造400と比較して、Editing Point SEI(EPSEI) NAL unit1416が付加される点で異なる。その他の6種類のNAL unit1410〜1415は、それぞれ、図4に示されたデータ構造400のNAL unit410〜415と同等である。
EPSEI NAL unit1416は、結合点前後で表示ピクチャのフリーズが生じない結合点であることを示すSEIデータである、EPSEIが内包するフィールドは、本実施例では特に存在しない。
以下、第5の実施形態における、動画像符号化装置の動作について説明する。第5の実施形態による動画像符号化装置は、第1の実施形態による動画像符号化装置と比較して、符号化時に符号化制御部12及びピクチャ符号化部13が特定のピクチャに対してEPSEIを付加する点、及び、編集操作時にデータ結合部15がEPSEIを参照して結合点を決定する点で異なる。そこで以下では、EPSEIの付加に関する符号化制御部12及びピクチャ符号化部13の動作、及び、編集操作時におけるデータ結合部15の動作について説明する。
符号化時において、符号化制御部12は、符号化対象ピクチャが、Iピクチャの直前、もしくは表示時間的に前のピクチャのみを参照するPピクチャもしくはBピクチャの直前のピクチャである場合には、ピクチャ符号化部13に対し、EPSEIを付加するように指示する。または、符号化制御部12は、符号化対象ピクチャが、Iピクチャ、もしくは表示時間的に前のピクチャのみを参照するPピクチャもしくはBピクチャである場合に、ピクチャ符号化部13に対し、EPSEIを付加するように指示してもよい。
ピクチャ符号化部13は、符号化制御部12からEPSEIを付加する指示を受けると符号化対象ピクチャを符号化し、そのピクチャにEPSEIを付加する。
編集操作時において、データ結合部15は、制御部11からの制御信号に従い、第1の符号化動画像データ内の結合点ピクチャを特定する。制御信号は、例えば、第1の符号化動画像データ内の、先頭からの符号化ピクチャ数を含む。データ結合部15は、該当するピクチャ及び該当するピクチャに続くピクチャの中で符号化順が最も早い、EPSEIが付加されたピクチャを、第1の符号化動画像データ内の結合点ピクチャとする。または、データ結合部15は、該当するピクチャ及び該当するピクチャに続くピクチャの中で符号化順が最も早い、EPSEIが付加されたピクチャの直前のピクチャを、第1の符号化動画像データ内の結合点ピクチャとする。そして、データ結合部15は、記憶部(図示せず)から、第1の符号化動画像データ内の結合点ピクチャより前の全ピクチャ、及び結合点ピクチャを読み出す。次に、データ結合部15は、結合点識別情報処理部14から送られる、結合点CRAピクチャを先頭とする、第2の符号化動画像データの一部分を記憶部(図示せず)から読み出す。この時、結合点識別情報処理部14から、結合点CRAピクチャの直後のTFDピクチャを除去する指示が出た場合には、データ結合部15は、該当するTFDピクチャを削除する。そしてデータ結合部15は、読み出した第1の符号化動画像データを先ず出力し、その後に第2の符号化動画像データを出力する。
このように、第5の実施形態では、動画像符号化装置は、符号化時において、二つの符号化動画像データを結合しても表示フリーズが生じないピクチャを示す情報を符号化動画像データに付す。そのため、この動画像符号化装置は、表示フリーズが生じないように二つの符号化動画像データを結合できる。
次に、第6の実施形態について説明する。
第6の実施形態では、動画像符号化装置は、第3の実施形態で説明した、結合点でのCPBのデータ量差を補正するための、第二の補正値Mod2を求めるための値を、第一の符号化動画像データにあらかじめ付加しておく。
図15は、第6の実施形態における符号化動画像の一つのピクチャのデータ構造を示す。図15に示されたピクチャのデータ構造1500は、図14に示されたデータ構造1400と比較して、EPSEI NAL unit1516がBufferOccupancyフィールドを含む点で異なる。その他の6種類のNAL unit1510〜1515は、それぞれ、図14に示されたデータ構造400のNAL unit1410〜1415と同等である。
BufferOccupancyフィールドは、結合点直前でのCPBに蓄積されたデータ量を示す。
第6の実施形態における、動画像符号化装置の動作について説明する。第6の実施形態による動画像符号化装置は、第5の実施形態による動画像符号化装置と比較して、符号化制御部12の動作の一部が異なる。そこで、以下では、符号化制御部12の動作が異なる点について説明する。
符号化制御部12は、符号化対象ピクチャが、Iピクチャの直前、もしくは表示時間的に前のピクチャのみを参照するPピクチャもしくはBピクチャの直前のピクチャである場合には、ピクチャ符号化部13に対し、EPSEIを付加するように指示する。また、EPSEIの中のBufferOccupancyフィールドに、第3の実施形態で説明した(R*(Init1+(A+1)*s)-TotalB)の値を入れる。BufferOccupancyフィールドに入れる値は、(R*(Init1+(A+1)*s)-TotalB)をビットレートRで割った値でもよい。
第6の実施形態における、動画像復号装置の動作について説明する。第6の実施形態による動画像復号装置は、第3の実施形態による動画像復号装置と比較して、ピクチャ復号・表示時刻決定部23の動作の一部が異なる。そこで以下では、ピクチャ復号・表示時刻決定部23の動作が異なる点について説明する。
ピクチャ復号・表示時刻決定部23は、ヘッダ情報解析部22から渡される、復号対象ピクチャのヘッダ情報を解析するときに、スライスのNUHをチェックする。NUHのNalUnitTypeが'6'もしくは'7'の場合、ピクチャ復号・表示時刻決定部23は、復号対象ピクチャはBLAピクチャであると判断する。
復号対象ピクチャがBLAピクチャである場合、ピクチャ復号・表示時刻決定部23は、BLAピクチャの復号遅延CpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、以下のようにして求めた値を用いる。
BLAピクチャ(以降Pic2と表記する)の直前の、BPSEIが付加されたピクチャ(以降Pic1と表記する)の次のピクチャから、Pic2の直前のピクチャまでのピクチャ数をAとする。ピクチャ復号・表示時刻決定部23は、Pic2のCpbRemovalDelayの値Bから、第1の補正値Mod1をA*(B/(A-1))として導出する。B/(A-1)は、連続ピクチャ間の時間差(単位はtc)に相当する。以降B/(A-1)をsと表記する。
また、ピクチャ復号・表示時刻決定部23は、BLAピクチャの直前のピクチャに付加されている、EPSEIのBufferOccupancyフィールドに記述されている値(その値がビットレートRで割られた値である場合には、Rをかけた値)を、第3の実施形態で説明した(R*(Init1+(A+1)*s)-TotalB)として、第3の実施形態で説明した方法で、第2の補正値Mod2を算出する。
次に、ピクチャ復号・表示時刻決定部23は、Pic2の直前のピクチャが参照するSPS内に記述された、リオーダリングピクチャ数R1を、及びPic2の直後の非TFDピクチャが参照するリオーダリングピクチャ数R2と比較する。SPS内のリオーダリングピクチャ数を示すフィールドは、非特許文献1の方式では、SpsNumReorderPicsである。
ピクチャ復号・表示時刻決定部23は、R2がR1よりも大きい場合には、PTSEIの第3の補正値Mod3を、(R2-R1)* B/(A-1)とする。それ以外の場合には、ピクチャ復号・表示時刻決定部23は、PTSEIの第3の補正値Mod3を0とする。そしてピクチャ復号・表示時刻決定部23は、Pic2のCpbRemovalDelayを、(Mod1+Mod2+Mod3)とする。
次に、第7の実施形態について説明する。
第7の実施形態では、動画像符号化装置は、二つの符号化動画像データを結合する時に、BLAピクチャのCpbRemovalDelayを修正する。またこの時、結合した符号化動画像データが、BLAピクチャの前後で連続して復号及び表示可能であることを示すパラメータを追加する。
BLAピクチャのCpbRemovalDelayの修正方法は、第6の実施形態における、ピクチャ復号・表示時刻決定部23が行うCpbRemovalDelayの修正方法と同等な方法である。
図16は、第7の実施形態において使用される符号化動画像の一つのピクチャのデータ構造を示す。図16に示される符号化動画像の一つのピクチャのデータ構造1600は、図14に示されたデータ構造1400と比較して、BPSEI NAL unit1613がContinuousHrdFlagフィールドを含む点で異なる。その他の6種類のNAL unit1610〜1612、1614〜1617は、それぞれ、図14に示されたデータ構造1400のNAL unit1410〜1412、1414〜1417と同等である。
ContinuousHrdFlagフィールドは、本BPSEIが付加されたBLAピクチャの前後で、動画像復号装置が、復号及び表示を連続して行うことが可能か否かを示す。
なお、ContinuousHrdFlagフィールドは、BPSEIではなく、SPS1611及び他のNAL unit内に含められてもよい。
第7の実施形態における、動画像符号化装置の動作について説明する。第7の実施形態による動画像符号化装置は、第5の実施形態による動画像符号化装置と比較して、データ結合部15の動作の一部が異なる。そこで、以下では、データ結合部15の動作が異なる点について説明する。
データ結合部15は、結合点よりも時間的に前に結合される第1の符号化動画像データの後に、結合点識別情報処理部14から出力された第2の符号化動画像データを結合する。この時、データ結合部15は、第1の符号化動画像データ及び第2の符号化動画像データの画像の特性を表す画像パラメータのうちの少なくとも一つを比較する。例えば、第1の符号化動画像データ及び第2の符号化動画像データの画像パラメータのうち、両者のピクチャサイズ、もしくはピクチャレートが異なる場合、データ結合部15は、結合符号化動画像が結合点で連続復号及び表示可能か否かを表すパラメータContFlagの値を、連続復号及び表示が不可能であることを示す値'0'とする。一方、第1の符号化動画像データ及び第2の符号化動画像データのピクチャサイズ及びピクチャレートが同じである場合、データ結合部15は、第6の実施形態における、ピクチャ復号・表示時刻決定部23が行うCpbRemovalDelayの修正方法と同様の方法により、BLAピクチャのCpbRemovalDelayを算出する。ただし、データ結合部15は、第2の補正値Mod2を算出するための値である、EPSEIのBufferOccupancyフィールドに相当する値を、第6の実施形態における、符号化制御部12が行うBufferOccupancyフィールド値の算出式に従って得る。また、データ結合部15は、ContFlagパラメータを、連続復号及び表示が可能であることを示す値'1'とする。
なお、結合点の前後で連続復号及び表示が可能か否かを判定するための画像パラメータとして、ピクチャサイズ、ピクチャレートのほかに、ピクチャの色差成分フォーマットまたはピクチャの画素精度が追加されてもよい。この場合、結合点の前後で連続復号及び表示が可能な条件は、第1の符号化動画像データ及び第2の符号化動画像データについて、これらすべてのパラメータが同一であることである。
ContFlagパラメータが'0'の場合、データ結合部15は、BLAピクチャに付加するBPSEIのContinuousHrdFlagフィールドの値を連続復号及び表示が不可能であることを示す値'0'に設定する。
一方、ContFlagパラメータが'1'の場合、データ結合部15は、BLAピクチャに付加するBPSEIのContinuousHrdFlagフィールドの値を連続復号及び表示が可能であることを示す値'1'に設定する。またデータ結合部15は、BLAピクチャとなる第2の符号化動画像データの先頭ピクチャの復号遅延CpbRemovalDelayを、算出した値に変更する。
第7の実施形態における、動画像復号装置の動作について説明する。第7の実施形態による動画像復号装置は、第1の実施形態による動画像復号装置と比較して、ピクチャ復号・表示時刻決定部23の動作の一部が異なる。そこで、以下では、ピクチャ復号・表示時刻決定部23の動作が異なる点について説明する。
ピクチャ復号・表示時刻決定部23は、復号対象ピクチャがBLAピクチャである場合、BLAピクチャに付加されるBPSEIのContinuousHrdFlagフィールドの値を参照する。
ContinuousHrdFlagフィールドの値が'1'、すなわち、結合符号化動画像の結合点前後における連続復号及び表示が可能な場合は、ピクチャ復号・表示時刻決定部23は、BLAピクチャの復号遅延CpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayそのものを用いる。
一方、ContinuousHrdFlagフィールドの値が'0'、すなわち、結合符号化動画像の結合点前後における連続復号及び表示が不可能な場合、ピクチャ復号・表示時刻決定部23は、BLAピクチャの復号時刻を、CpbRemovalDelayからではなく、BPSEIに含まれる初期復号遅延情報であるInitialCpbRemovalDelayの値を使って決定する。この場合、ピクチャ復号・表示時刻決定部23は、InitialCpbRemovalDelayから復号時刻を算出する時に必要な時刻0を、BLAピクチャの直前のピクチャの復号時刻以降とする。または、ピクチャ復号・表示時刻決定部23は、時刻0を、BLAピクチャの前の全ての符号化ピクチャの表示が終わった時刻以降としてもよい。
図17は、上記の何れかの実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。
コンピュータ100は、ユーザインターフェース部101と、通信インターフェース部102と、記憶部103と、記憶媒体アクセス装置104と、プロセッサ105とを有する。プロセッサ105は、ユーザインターフェース部101、通信インターフェース部102、記憶部103及び記憶媒体アクセス装置104と、例えば、バスを介して接続される。
ユーザインターフェース部101は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部101は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部101は、例えば、ユーザの操作に応じて、符号化する動画像データ、編集する符号化動画像データあるいは復号する符号化動画像データを選択する操作信号をプロセッサ105へ出力する。またユーザインターフェース部101は、プロセッサ105から受け取った、復号された動画像データを表示してもよい。
通信インターフェース部102は、コンピュータ100を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus(ユニバーサル・シリアル・バス、USB)とすることができる。
さらに、通信インターフェース部102は、イーサネット(登録商標)などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、通信インターフェース部102は、通信ネットワークに接続された他の機器から、符号化する動画像データ、編集する符号化動画像データまたは復号する符号化動画像データを取得し、それらのデータをプロセッサ105へ渡す。また通信インターフェース部102は、プロセッサ105から受け取った、符号化動画像データ、結合符号化動画像データまたは復号された動画像データを通信ネットワークを介して他の機器へ出力してもよい。
記憶部103は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部103は、プロセッサ105上で実行される、動画像符号化処理、動画像編集処理または動画像復号処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。
記憶媒体アクセス装置104は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体106にアクセスする装置である。記憶媒体アクセス装置104は、例えば、記憶媒体106に記憶されたプロセッサ105上で実行される、動画像符号化処理、動画像編集処理及び動画像復号処理用のコンピュータプログラムを読み込み、プロセッサ105に渡す。
プロセッサ105は、上記の各実施形態の何れかまたは変形例による動画像符号化処理用コンピュータプログラムを実行することにより、符号化動画像データを生成する。そしてプロセッサ105は、生成された符号化動画像データを記憶部103に保存し、または通信インターフェース部102を介して他の機器へ出力する。またプロセッサ105は、上記の各実施形態の何れかまたは変形例による動画像編集処理用コンピュータプログラムを実行することにより、二つの符号化動画像データを結合した結合符号化動画像データを生成する。そしてプロセッサ105は、生成された結合符号化動画像データを記憶部103に保存し、または通信インターフェース部102を介して他の機器へ出力する。さらにプロセッサ105は、上記の各実施形態の何れかまたは変形例による動画像復号処理用コンピュータプログラムを実行することにより、符号化動画像データを復号する。そしてプロセッサ105は、復号された動画像データを記憶部103に保存し、ユーザインターフェース部101に表示し、または通信インターフェース部102を介して他の機器へ出力する。
コンピュータ上で実行されることにより、上述した実施形態またはその変形例による動画像符号化装置及び動画像復号装置の各部の機能を実現するコンピュータプログラムは、半導体メモリまたは光記録媒体などの記録媒体に記録されて配布されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
なお、上記の各実施形態またはその変形例による動画像符号化装置の各部のうち、動画像編集処理に関連する結合点識別情報処理部14及びデータ結合部15を有する装置が、動画像符号化処理に関連する符号化制御部12及びピクチャ符号化部13を有する装置と別個に設けられてもよい。
上述した実施形態またはその変形例による、動画像符号化装置及び動画像復号装置は、様々な用途に利用される。例えば、この動画像符号化装置及び動画像復号装置は、ビデオカメラ、映像送信装置、映像受信装置、テレビ電話システム、コンピュータあるいは携帯電話機に組み込まれる。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。