JP2016129399A - 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法 - Google Patents
動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法 Download PDFInfo
- Publication number
- JP2016129399A JP2016129399A JP2016034346A JP2016034346A JP2016129399A JP 2016129399 A JP2016129399 A JP 2016129399A JP 2016034346 A JP2016034346 A JP 2016034346A JP 2016034346 A JP2016034346 A JP 2016034346A JP 2016129399 A JP2016129399 A JP 2016129399A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- moving image
- encoded
- decoding
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】動画像符号化装置1は、動画像データに含まれる各ピクチャのうち、他の符号化された動画像データの後に結合される可能性のある第1のピクチャについて、第1のピクチャよりも符号化順序が後の1以上のピクチャが除去された場合にも、動画像復号装置が符号化された動画像データのうちの第1のピクチャ以降のピクチャを連続して復号及び表示できるようにするための復号遅延補正情報及び表示遅延補正情報を符号化動画像データに付加する。動画像復号装置2は、その復号遅延補正情報及び表示遅延補正情報を利用して、第1のピクチャ以降のピクチャの復号遅延及び表示遅延を補正する。
【選択図】図5
Description
そこで、符号量が時間的に変動しても、一定の伝送レートにて符号化された動画像を含むデータストリームを伝送できるように、伝送元の装置にデータストリーム用の送信バッファが用意され、また伝送先の装置にデータストリーム用の受信バッファが用意される。
受信バッファのアンダーフローは、動画像符号化装置が一定の伝送レートで符号化された動画像のデータストリームを送信した場合に、動画像復号装置が復号及び表示するべき時刻までにピクチャを復号するのに必要なデータの伝送が完了しない場合に生じる。すなわち、受信バッファのアンダーフローは、動画像復号装置の受信バッファ内にピクチャを復号するために必要データが存在していないことである。この場合、動画像復号装置は復号処理を行うことが出来ないため、フレームスキップが発生する。
上述したように、理想復号装置では、処理時間0で、瞬時的に復号処理が完了すると規定される。そのため、動画像符号化装置へのi番目ピクチャの入力時刻をt(i)、理想復号装置における、i番目ピクチャの復号時刻をtr(i)とすれば、そのピクチャが表示可能となる最も早い時刻は、tr(i)と等しい。全てのピクチャにおいてピクチャの表示期間{t(i+1)-t(i)}と{tr(i+1)-tr(i)}が等しくなるので、復号時刻tr(i)は、入力時刻t(i)から固定時間dly分だけ遅延させた時刻{tr(i)=t(i)+dly}となる。従って、動画像符号化装置は、時刻tr(i)までに復号に必要なデータを動画像復号装置の受信バッファに伝送完了させなければならない。
受信バッファでは、所定の伝送レートでバッファ占有量が回復し、各ピクチャの復号時刻にそのピクチャを復号するために用いられる分のデータがバッファから取り出される。i番目ピクチャのデータが、時刻at(i)から受信バッファに入力開始され、i番目ピクチャの最後のデータが時刻ft(i)に入力される。理想復号装置は時刻tr(i)でi番目ピクチャの復号を完了し、その時刻tr(i)においてi番目ピクチャが表示可能となる。ただし、Bピクチャが含まれる場合、ピクチャのリオーダ(符号化順序の入れ替え)が発生しているので、i番目ピクチャについての実際の表示時刻はtr(i)より遅くなることもある。
先頭ピクチャの復号時刻tr(0)は、符号化動画像データの先頭ビットが動画像復号装置に到達した時刻(0とする)、すなわちat(0)からInitialCpbRemovalDelay ÷ 90,000 [sec]だけ遅れた時刻になる。
例えば、MPEG-4 AVC/H.264において、ピクチャ間の時間的な関係、及び参照ピクチャの特定のために、スライスヘッダにPOC (Picture Order Count)及びFrameNumが付加される。POCは、相対的なピクチャの表示順番を表す。FrameNumは、符号化動画像中に参照ピクチャが出現する度に1だけ増加する値である。結合した二つの符号化動画像データの間でPOC及びFrameNumが連続する必要があるため、結合する二つの符号化動画像データの内、後ろ側の符号化動画像データの全てのPOC及びFrameNumを書き換える必要が生じる。
このように、非特許文献1に開示された方式では、二つの符号化動画像データを結合する編集操作においてPTSEIの内容を変更する必要が依然残っている。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
図2において、ピクチャ符号化構造の一例であるピクチャ符号化構造201は、複数のピクチャを含む。ピクチャ符号化構造201内の一つのブロックが一つのピクチャを表す。各ピクチャに相当するブロックの内部に示された二つの文字のうち、左側の一文字のアルファベットは、そのピクチャに対して適用される符号化モードを表す。I, P, Bはそれぞれ、Iピクチャ、Pピクチャ、Bピクチャを意味する。また、ブロックの内部に示された二つの文字のうちの右側の数字は、動画像符号化装置へ入力される順番である。なお、入力順番は、動画像復号装置から出力される順番と一致する。ピクチャ符号化構造201の上側に示された矢印は、前方向フレーム予測において符号化されるピクチャが参照する参照ピクチャを表す。例えば、ピクチャP4は、ピクチャP4よりも前に位置するピクチャI0を参照する。同様に、ピクチャ符号化構造201の下側に示された矢印は、後方向フレーム予測において符号化されるピクチャが参照する参照ピクチャを表す。例えば、ピクチャB2は、ピクチャB2よりも後に位置するピクチャP4を参照する。
復号順序202において、下側に"BPSEI"という文字が書かれたピクチャには、BPSEIが付加される。この例では、全てのIピクチャにBPSEIが付加される。すなわち、全てのIピクチャに、Iピクチャの先頭ビットの受信バッファへの到達時刻と、Iピクチャの復号時刻との差分値を表すパラメータInitialCpbRemovalDelayが記述される。
図4に示されるように、一つのピクチャのデータ構造400は、6種類のNetwork Abstraction Layer(NAL) unit410〜415を含む。これらのNAL unit410〜415は、いずれも、非特許文献1の方式及び、MPEG-4 AVC/H.264のNAL unitに準拠する。各NAL unitにはヘッダNUH420が付加される。ヘッダNUH420は、各NAL unitのタイプを表すNalUnitTypeフィールドを含む。NalUnitTypeが'4'の場合は、そのヘッダが付されたピクチャは、そのピクチャよりも時間的及び復号順番的に前のピクチャを参照するTFDピクチャが直後に出現する、再引き込み可能なCRAピクチャであることを表す。NalUnitTypeが'5'の場合は、そのヘッダが付されたピクチャは、TFDピクチャが直後に出現しないCRAピクチャであることを表す。NalUnitTypeが'6'の場合は、そのヘッダが付されたピクチャは、TFDピクチャが直後に出現する、結合点直後の再引き込み可能なBLAピクチャであることを表す。そしてNalUnitTypeが'7'の場合は、そのヘッダが付されたピクチャは、TFDピクチャが直後に出現しないBLAピクチャであることを表す。なお、各ピクチャのNalUnitTypeの値は、上記の値以外に設定されてもよい。
NAL unit410は、デリミタ(DELIM)NAL unitであり、ピクチャの境界であることを示す。
NAL unit411は、シーケンスパラメータセット(SPS)NAL unitであり、SPS NAL unit411には、符号化動画像のシーケンス全体に渡って共通なパラメータが記述される。SPS NAL unit 411は、再引き込みが可能なピクチャに付加される。
NAL unit412は、ピクチャパラメータセット(PPS)NAL unitであり、PPS NAL unit412には、複数の符号化ピクチャで共通なパラメータが記述される。PPS NAL unit412は、再引き込みが可能なピクチャに付加されるほか、他のピクチャにも付加されることがある。
NAL unit413は、BPSEI NAL unitであり、BPSEI NAL unit413は再引き込みが可能なピクチャにのみ付加される。本実施形態では、このBPSEI NAL unit413に、動画像復号装置にて結合点以降のピクチャの復号遅延と表示遅延とを修正するために利用されるパラメータが追加される。
NAL unit414は、PTSEI NAL unitであり、PTSEI NAL unit414は各ピクチャに付加される。
NAL unit415は、スライス(SLICE)NAL unitであり、符号化されたピクチャの実体である。
符号化制御部12は、制御部11から通知されたGOP構造に応じて、各ピクチャの符号化順番、符号化モード(例えば、イントラ符号化モード、前方向予測モード、及び双方向予測モードのうちの何れか)などを決定する。そして符号化制御部12は、各ピクチャの符号化モード、GOP構造中の位置等に応じて、CRAピクチャの挿入間隔、符号化時のリオーダリングピクチャ数、及び最大表示遅延を決定する。図2に示された例では、CRAピクチャの挿入間隔は12、リオーダリングピクチャ数は2、最大表示遅延は5である。さらに符号化制御部12は、これらの値に応じて、各ピクチャのヘッダ情報を生成する。
シーケンス全体の符号化処理開始に先立ち、例えば、制御部11によって、GOP構造など、ピクチャ予測構造が決定される(ステップS101)。そしてそのピクチャ予測構造が符号化制御部12へ通知される。
次に、符号化制御部12は、符号化対象ピクチャのスライスのNUHのNalUnitTypeが'4'か'5'または'8'か、これらの何れでもないか判定する(ステップS103)。NalUnitTypeが'4'である場合、この符号化対象ピクチャは、TFDピクチャに先行するCRAである。すなわち、この符号化対象ピクチャ及び後続するピクチャは、この符号化対象ピクチャを先頭として他の符号化動画像データの後に結合されると、動画像復号処理の実行時に復号遅延及び表示遅延が修正される必要がある。そこで符号化制御部12は、この符号化対象ピクチャに付されるBPSEIのRapCpbParamsPresentFlagを'1'に設定する(ステップS104)。そして符号化制御部12は、表示遅延の修正に利用される表示遅延補正情報AltDpbOutputDelayをリオーダリングピクチャ数の2倍に設定する。そして符号化制御部12は、復号遅延の修正に利用される復号遅延補正情報AltCpbRemovalDelayOffsetを、CRAピクチャの直後に続くTFDピクチャの数の2倍に設定する(ステップS105)。
一方、未符号化ピクチャがない場合(ステップS108−No)、制御部11は、符号化処理を終了する。
結合点識別情報処理部14は、結合点よりも前に結合される第1の符号化動画像データのうち、結合点までの符号化ピクチャを順次記憶部(図示せず)から読み出す(ステップS201)。
また結合点識別情報処理部14は、結合点よりも後に結合される第2の符号化動画像データのうち、結合点以降の符号化ピクチャを順次記憶部(図示せず)から読み出す(ステップS202)。次に、結合点識別情報処理部14は、第2の符号化動画像データのうち、読み出された先頭CRAピクチャに対し、各スライスのNUHのNalUnitTypeの値を、BLAピクチャであることを表す値に書き換え、その先頭CRAピクチャをデータ結合部15へ出力する(ステップS203)。また、結合点識別情報処理部14は、書き換える前のNalUnitTypeが'4'か否か、すなわち、TFDピクチャが有るか否か判定する(ステップS204)。書き換える前のNalUnitTypeが'4'の場合(ステップS204−Yes)、その先頭CRAピクチャ(結合後はBLAピクチャ)に後続するTFDピクチャが存在する。そこで結合点識別情報処理部14は、TFD削除フラグを'1'にする(ステップS205)。一方、書き換える前のNalUnitTypeが'4'でない場合(ステップS204−No)、その先頭CRAピクチャに後続するTFDピクチャは存在しない。そこで結合点識別情報処理部14は、TFD削除フラグを'0'にする(ステップS206)。
ステップS205またはS206の後、結合点識別情報処理部14は、第2の符号化動画像データの先頭CRAピクチャ以降の全ピクチャをデータ結合部15へ出力する。そしてデータ結合部15は、その先頭CRAピクチャをBLAピクチャとして、第1の符号化動画像データの結合点の後に結合する(ステップS207)。
一方、NalUnitTypeが'2'でないか、あるいはTFD削除フラグが'0'である場合(ステップS208−No)、データ結合部15は、着目ピクチャを結合符号化動画像データの最後尾に結合し、TFD削除フラグを'0'にする(ステップS210)。
ステップS209またはS210の後、データ結合部15は、着目ピクチャの後にピクチャがあるか否か判定する(ステップS211)。ピクチャがまだあれば(ステップS211−Yes)、データ結合部15は、ステップS208以降の処理を繰り返す。一方、ピクチャがなければ(ステップS211−No)、データ結合部15は、動画像編集処理を終了する。
またピクチャ復号・表示時刻決定部23は、BLAピクチャの次のピクチャから、次にBPSEIが付加されたピクチャまでの、全てのピクチャの復号遅延CpbRemovalDelayを、そのピクチャに付加されたPTSEIのCpbRemovalDelayから、BLAピクチャに付加されたBPSEIのAltCpbRemovalDelayOffsetを引いた値とする。
ピクチャ復号・表示時刻決定部23は、変数flagが'0'であるか、または、復号対象ピクチャ内のスライスのNUHのNalUnitTypeが'6'及び'7'であるか否か、すなわち、復号対象ピクチャがBLAピクチャか否かを判定する(ステップS303)。
変数flagが'1'であり、かつ、復号対象ピクチャ内のスライスのNUHのNalUnitTypeが'6'または'7'でなければ(ステップS303−No)、ピクチャ復号・表示時刻決定部23は、非BLAピクチャである復号対象ピクチャの復号遅延CpbRemovalDelayを、復号遅延補正情報AltCpbRemovalDelayOffsetを用いて修正する(ステップS304)。
復号対象ピクチャにBPSEIが付加されていない場合(ステップS305−No)、ピクチャ復号・表示時刻決定部23は、変数cntの値を1だけ増加する(ステップS307)。
復号対象ピクチャのスライスのNUHのNalUnitTypeが'6'もしくは'7'である場合(ステップS308−Yes)、復号対象ピクチャはBLAピクチャである。そこでピクチャ復号・表示時刻決定部23は、復号対象ピクチャの復号遅延CpbRemovalDelayを、変数dの値に従って変更する(ステップS309)。
一方、未復号のピクチャがなければ(ステップS313−No)、制御部21は、動画像復号処理を終了する。
一方、PTSEI1040は、PTSEI440と同様に、CpbRemovalDelayフィールド及びDpbOutputDelayフィールドを含む。さらに、PTSEI1040は、BPSEIのRapCpbParamsPresentFlagが'1'の場合には、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドを含む。
もし、あるピクチャのPTSEI内のCpbRemovalDelayまたはDpbOutputDelayが、TFDピクチャが除去されても変化しない場合には、AltCpbRemovalDelayまたはAltDpbOutputDelayの値は、CpbRemovalDelayまたはDpbOutputDelayと同じ値に設定される。
・ピクチャ復号・表示時刻決定部23は、BLAピクチャのDpbOutputDelayを、BLAピクチャに付加されたPTSEIのDpbOutputDelayの代わりに、BLAピクチャに付加されたPTSEIのAltDpbOutputDelayとする。
・ピクチャ復号・表示時刻決定部23は、BLAピクチャの次のピクチャから、次のBPSEIが付加されたピクチャまでの、全てのピクチャのCpbRemovalDelayを、そのピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、そのピクチャに付加されたPTSEIのAltCpbRemovalDelay値とする。
次に、ピクチャ復号・表示時刻決定部23は、結合点でのCPB内に蓄積されているデータ量の差を補正するための、第2の補正値Mod2を算出する。
Pic2を先頭とする符号化動画像データ一部分の先頭ビットが、動画像復号装置の受信バッファに到達した時刻0から、Pic2に付加されるBPSEIのInitialCpbRemovalDelay値(以降Init2とする)を90000(すなわち、90kHz)で割った時間[sec]後のCPBに蓄積されているデータ量、すなわちPic2を復号する直前のCPBのデータ量をPos2とすると、Pos2は、(R*Init2/90000)と計算される。Rはビットレートである。
ピクチャ復号・表示時刻決定部23は、第2の補正値Mod2を、(Pos2 - Pos1 < Th)の場合には0とする。閾値Thは正の値を持つ。それ以外の場合には、ピクチャ復号・表示時刻決定部23は、第2の補正値Mod2を、(Ceil((Pos2 - Pos1)/R/(s*tc)))とする。ただし、Ceil()は切り上げ関数である。
ピクチャ復号・表示時刻決定部23は、復号対象ピクチャがBLAピクチャの場合、BLAピクチャのCpbRemovalDelayを(Mod1 + Mod2)に置き換える。
この理由をブロック列1106を参照して説明する。ブロック列1106は、結合後の符号化動画像データの復号時刻及び表示時刻の順序をピクチャ単位で示している。ブロック列1106に示されるように、結合後の符号化動画像にはピクチャB15が含まれていないものの、ピクチャP16は、ピクチャB14の2ピクチャ時間後に表示すべきである。ピクチャP16を表示後、ピクチャI72以降を連続して表示するには、ピクチャI72の復号時刻を、1ピクチャ時間だけ遅らす必要が生じる。
なおこの場合、ピクチャB14は2ピクチャ時間表示されることになり、表示フリーズが発生している。
また、結合前の第2の符号化動画像データの各ピクチャの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayは、ブロック列1203に示されるようになる。
また、結合前の第2の符号化動画像データの各ピクチャの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayは、ブロック列1303に示されるようになる。
また、図11に示されるように、第1の符号化動画像データの結合点によっては、表示ピクチャのフリーズが不可避になる。
ピクチャ復号・表示時刻決定部23は、BLAピクチャ(以降Pic2と表記する)の直前のBPSEIが付加されたピクチャ(以降Pic1と表記する)の次のピクチャから、Pic2の直前のピクチャまでのピクチャ数Aをカウントする。また、ピクチャ復号・表示時刻決定部23は、Pic2の直前のピクチャのPTSEIのCpbRemovalDelayの値Bをチェックし、PTSEIの第一の補正値Mod1を、A*(B/(A-1))として求める。
次に、ピクチャ復号・表示時刻決定部23は、Pic2の直前のピクチャが参照するSPS内に記述された、リオーダリングピクチャ数R1、及びPic2の直後の非TFDピクチャが参照するリオーダリングピクチャ数R2とを比較する。SPS内のリオーダリングピクチャ数を示すフィールドは、非特許文献1の方式では、SpsNumReorderPicsである。
R2がR1よりも大きい場合には、ピクチャ復号・表示時刻決定部23は、PTSEIの第二の補正値Mod2を、(R2-R1)* B/(A-1)とする。
R2がR1よりも小さい場合には、ピクチャ復号・表示時刻決定部23は、Mod1をそのまま、Pic2のCpbRemovalDelayとする。
ピクチャ復号・表示時刻決定部23は、フリーズ期間(単位はtc)を以下のように決定する。
R1とR2とが同じ場合、もしくはR1がR2よりも大きい場合には、ピクチャ復号・表示時刻決定部23は、フリーズ期間を0とする。
一方、R2がR1よりも小さい場合には、ピクチャ復号・表示時刻決定部23は、(R2-R1)* B/(A-1)をフリーズ期間とする。
ピクチャ符号化部13は、符号化制御部12からEPSEIを付加する指示を受けると符号化対象ピクチャを符号化し、そのピクチャにEPSEIを付加する。
第6の実施形態では、動画像符号化装置は、第3の実施形態で説明した、結合点でのCPBのデータ量差を補正するための、第二の補正値Mod2を求めるための値を、第一の符号化動画像データにあらかじめ付加しておく。
BufferOccupancyフィールドは、結合点直前でのCPBに蓄積されたデータ量を示す。
第7の実施形態では、動画像符号化装置は、二つの符号化動画像データを結合する時に、BLAピクチャのCpbRemovalDelayを修正する。またこの時、結合した符号化動画像データが、BLAピクチャの前後で連続して復号及び表示可能であることを示すパラメータを追加する。
ContinuousHrdFlagフィールドは、本BPSEIが付加されたBLAピクチャの前後で、動画像復号装置が、復号及び表示を連続して行うことが可能か否かを示す。
なお、ContinuousHrdFlagフィールドは、BPSEIではなく、SPS1611及び他のNAL unit内に含められてもよい。
ContFlagパラメータが'0'の場合、データ結合部15は、BLAピクチャに付加するBPSEIのContinuousHrdFlagフィールドの値を連続復号及び表示が不可能であることを示す値'0'に設定する。
一方、ContFlagパラメータが'1'の場合、データ結合部15は、BLAピクチャに付加するBPSEIのContinuousHrdFlagフィールドの値を連続復号及び表示が可能であることを示す値'1'に設定する。またデータ結合部15は、BLAピクチャとなる第2の符号化動画像データの先頭ピクチャの復号遅延CpbRemovalDelayを、算出した値に変更する。
ContinuousHrdFlagフィールドの値が'1'、すなわち、結合符号化動画像の結合点前後における連続復号及び表示が可能な場合は、ピクチャ復号・表示時刻決定部23は、BLAピクチャの復号遅延CpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayそのものを用いる。
一方、ContinuousHrdFlagフィールドの値が'0'、すなわち、結合符号化動画像の結合点前後における連続復号及び表示が不可能な場合、ピクチャ復号・表示時刻決定部23は、BLAピクチャの復号時刻を、CpbRemovalDelayからではなく、BPSEIに含まれる初期復号遅延情報であるInitialCpbRemovalDelayの値を使って決定する。この場合、ピクチャ復号・表示時刻決定部23は、InitialCpbRemovalDelayから復号時刻を算出する時に必要な時刻0を、BLAピクチャの直前のピクチャの復号時刻以降とする。または、ピクチャ復号・表示時刻決定部23は、時刻0を、BLAピクチャの前の全ての符号化ピクチャの表示が終わった時刻以降としてもよい。
11 制御部
12 符号化制御部
13 ピクチャ符号化部
14 結合点識別情報処理部
15 データ結合部
2 動画像復号装置
21 制御部
22 ヘッダ情報解析部
23 ピクチャ復号・表示時刻決定部
24 ピクチャ復号部
25 フレームメモリ
Claims (16)
- フレーム間予測方式によって動画像データを符号化する動画像符号化装置であって、
前記動画像データに含まれる各ピクチャのうち、他の符号化された動画像データの後に結合される可能性のある第1のピクチャについて、前記第1のピクチャよりも符号化順序が後の1以上のピクチャが除去された場合にも、動画像復号装置が符号化された前記動画像データのうちの前記第1のピクチャ以降のピクチャを連続して復号及び表示できるようにするための復号遅延補正情報及び表示遅延補正情報を求める符号化制御部と、
前記動画像データに含まれる各ピクチャを符号化するとともに、符号化された前記動画像データに前記復号遅延補正情報及び前記表示遅延補正情報を付加するピクチャ符号化部と、
を有する動画像符号化装置。 - 前記復号遅延補正情報は、除去されうるピクチャの数に相当する値である、請求項1に記載の動画像符号化装置。
- 前記表示遅延補正情報は、前記第1のピクチャよりも符号化順序が後のピクチャのうち、表示順序が最も早いピクチャの表示時刻から前記第1のピクチャの表示時刻までのピクチャの数に相当する値である、請求項1または2に記載の動画像符号化装置。
- 符号化された前記動画像データを符号化された前記他の動画像データに結合するとき、符号化された前記動画像データの先頭符号化ピクチャに、該先頭符号化ピクチャであることを示す情報を付加する結合点識別情報処理部と、
符号化された前記動画像データから、前記先頭符号化ピクチャより符号化順序が後で、かつ、前記先頭符号化ピクチャよりも前のピクチャを参照する1以上のピクチャを除去するデータ結合部と、
をさらに有する、請求項1〜3の何れか一項に記載の動画像符号化装置。 - 符号化された前記動画像データを符号化された前記他の動画像データに結合して符号化された結合動画像データを生成するとき、符号化された前記動画像データ及び符号化された前記他の動画像データの画像の特性を表す画像パラメータに基づいて、符号化された前記他の動画像データと符号化された前記動画像データとが結合される結合点の前後で前記符号化された結合動画像データを連続して復号及び表示が可能か否か判断し、かつ、前記符号化された結合動画像データに連続して復号及び表示が可能か否かを示す情報を埋め込むとともに、前記符号化された結合動画像データを連続して復号及び表示が可能な場合には、符号化された前記動画像データの先頭符号化ピクチャの復号遅延値を、連続復号及び表示が可能な値に置き換えるデータ結合部、
をさらに有する、請求項1〜3の何れか一項に記載の動画像符号化装置。 - 前記第1のピクチャは、他のピクチャを参照せずに符号化されるピクチャである、請求項1〜5の何れか一項に記載の動画像符号化装置。
- 前記ピクチャ符号化部は、
符号化された前記動画像データ内での結合点ピクチャまでを復号する直前もしくは直後の、動画像復号装置の理想受信バッファの状態を表す付加情報を、符号化された前記動画像データに付加し、
前記結合点ピクチャは、前記結合点ピクチャの直後に他の符号化された動画像データを付加した場合にも、前記結合点ピクチャ及び符号化順序で前記結合点ピクチャよりも前の全ての符号化ピクチャを復号可能となるピクチャである、請求項1〜6の何れか一項に記載の動画像符号化装置。 - フレーム間予測符号化された動画像データを復号する動画像復号装置であって、
符号化された動画像データが、第1の符号化動画像データの後に第2の符号化動画像データが結合されることにより生成されたことを示す情報と、該第1の符号化動画像データと該第2の符号化動画像データが結合された結合点より後の該第2の符号化動画像データの先頭の符号化ピクチャよりも符号化順序が後の1以上の符号化ピクチャが除去されたことを示す情報と、前記先頭の符号化ピクチャに後続するピクチャの復号遅延を補正するための復号遅延補正情報と、前記先頭の符号化ピクチャの表示遅延を補正するための表示遅延補正情報とを含む場合、前記先頭の符号化ピクチャの表示遅延を前記表示遅延情報に基づいて補正するとともに、前記先頭の符号化ピクチャに後続するピクチャの復号遅延を、前記復号遅延補正情報に基づいて補正するピクチャ復号・表示時刻決定部、
を有する動画像復号装置。 - 前記復号遅延補正情報は、前記先頭の符号化ピクチャよりも符号化順序が後の除去された符号化ピクチャの数に相当する値である、請求項8に記載の動画像復号装置。
- 前記表示遅延補正情報は、前記先頭の符号化ピクチャよりも符号化順序が後のピクチャのうち、表示順序が最も早いピクチャの表示時刻から前記先頭の符号化ピクチャの表示時刻までのピクチャの数に相当する値である、請求項8または9に記載の動画像復号装置。
- 前記ピクチャ復号・表示時刻決定部は、前記先頭の符号化ピクチャの復号遅延を、前記先頭の符号化ピクチャの復号時における、前記結合点より前の符号化ピクチャから算出される、受信バッファに蓄積されるデータ量と、実際に該受信バッファに蓄積されるデータ量との差を打ち消すように決定する、請求項8〜10の何れか一項に記載の動画像復号装置。
- 前記ピクチャ復号・表示時刻決定部は、前記符号化された動画像データが、前記結合点の前後で連続して復号及び表示が可能か否かを示す情報を含む場合、当該情報が、前記符号化された動画像データが連続した復号及び表示が可能であることを示す場合には、前記先頭の符号化ピクチャの復号遅延値を、前記符号化された動画像データに含まれる復号遅延情報の値とし、一方、当該情報が、前記符号化された動画像データが連続した復号及び表示が不可能であることを示す場合には、前記先頭の符号化ピクチャの復号遅延値を、前記符号化された動画像データに含まれる初期復号遅延情報の値とする、請求項8〜10の何れか一項に記載の動画像復号装置。
- フレーム間予測方式によって動画像データを符号化する動画像符号化方法であって、
前記動画像データに含まれる各ピクチャのうち、他の符号化された動画像データの後に結合される可能性のある第1のピクチャについて、前記第1のピクチャよりも符号化順序が後の1以上のピクチャが除去された場合にも、動画像復号装置が符号化された前記動画像データのうちの前記第1のピクチャ以降のピクチャを連続して復号及び表示できるようにするための復号遅延補正情報及び表示遅延補正情報を求め、
前記動画像データに含まれる各ピクチャを符号化するとともに、符号化された前記動画像データに前記復号遅延補正情報及び前記表示遅延補正情報を付加する、
ことを含む動画像符号化方法。 - フレーム間予測符号化された動画像データを復号する動画像復号方法であって、
符号化された動画像データが、第1の符号化動画像データの後に第2の符号化動画像データが結合されることにより生成されたことを示す情報と、該第1の符号化動画像データと該第2の符号化動画像データが結合された結合点より後の該第2の符号化動画像データの先頭の符号化ピクチャよりも符号化順序が後の1以上の符号化ピクチャが除去されたことを示す情報と、前記先頭の符号化ピクチャに後続するピクチャの復号遅延を補正するための復号遅延補正情報と、前記先頭の符号化ピクチャの表示遅延を補正するための表示遅延補正情報とを含む場合、前記先頭の符号化ピクチャの表示遅延を前記表示遅延情報に基づいて補正するとともに、前記先頭の符号化ピクチャに後続するピクチャの復号遅延を、前記復号遅延補正情報に基づいて補正する、
ことを含む動画像復号方法。 - フレーム間予測方式によって動画像データを符号化することをコンピュータに実行させる動画像符号化用コンピュータプログラムであって、
前記動画像データに含まれる各ピクチャのうち、他の符号化された動画像データの後に結合される可能性のある第1のピクチャについて、前記第1のピクチャよりも符号化順序が後の1以上のピクチャが除去された場合にも、動画像復号装置が符号化された前記動画像データのうちの前記第1のピクチャ以降のピクチャを連続して復号及び表示できるようにするための復号遅延補正情報及び表示遅延補正情報を求め、
前記動画像データに含まれる各ピクチャを符号化するとともに、符号化された前記動画像データに前記復号遅延補正情報及び前記表示遅延補正情報を付加する、
ことをコンピュータに実行させる動画像符号化用コンピュータプログラム。 - フレーム間予測符号化された動画像データを復号することをコンピュータに実行させる動画像復号用コンピュータプログラムであって、
符号化された動画像データが、第1の符号化動画像データの後に第2の符号化動画像データが結合されることにより生成されたことを示す情報と、該第1の符号化動画像データと該第2の符号化動画像データが結合された結合点より後の該第2の符号化動画像データの先頭の符号化ピクチャよりも符号化順序が後の1以上の符号化ピクチャが除去されたことを示す情報と、前記先頭の符号化ピクチャに後続するピクチャの復号遅延を補正するための復号遅延補正情報と、前記先頭の符号化ピクチャの表示遅延を補正するための表示遅延補正情報とを含む場合、前記先頭の符号化ピクチャの表示遅延を前記表示遅延情報に基づいて補正するとともに、前記先頭の符号化ピクチャに後続するピクチャの復号遅延を、前記復号遅延補正情報に基づいて補正する、
ことをコンピュータに実行させる動画像復号用コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016034346A JP6119891B2 (ja) | 2016-02-25 | 2016-02-25 | 動画像符号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016034346A JP6119891B2 (ja) | 2016-02-25 | 2016-02-25 | 動画像符号化方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012148849A Division JP5891975B2 (ja) | 2012-07-02 | 2012-07-02 | 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法 |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016124967A Division JP6237829B2 (ja) | 2016-06-23 | 2016-06-23 | 動画像符号化用コンピュータプログラム |
JP2016124968A Division JP6237830B2 (ja) | 2016-06-23 | 2016-06-23 | 動画像復号方法 |
JP2016124979A Division JP6237831B2 (ja) | 2016-06-23 | 2016-06-23 | 動画像復号用コンピュータプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016129399A true JP2016129399A (ja) | 2016-07-14 |
JP2016129399A5 JP2016129399A5 (ja) | 2016-08-25 |
JP6119891B2 JP6119891B2 (ja) | 2017-04-26 |
Family
ID=56384595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016034346A Active JP6119891B2 (ja) | 2016-02-25 | 2016-02-25 | 動画像符号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6119891B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008035294A (ja) * | 2006-07-29 | 2008-02-14 | Victor Co Of Japan Ltd | 画像データ記録装置及び画像データ符号化装置 |
WO2010001609A1 (ja) * | 2008-07-04 | 2010-01-07 | パナソニック株式会社 | 符号化ストリーム再生装置及び符号化ストリーム再生方法 |
WO2013044075A2 (en) * | 2011-09-23 | 2013-03-28 | Qualcomm Incorporated | Reference picture signaling and decoded picture buffer management |
WO2013067033A1 (en) * | 2011-10-31 | 2013-05-10 | Qualcomm Incorporated | Random access with advanced decoded picture buffer (dpb) management in video coding |
WO2013153829A1 (en) * | 2012-04-13 | 2013-10-17 | Sharp Kabushiki Kaisha | Electronic devices for sending a message and buffering a bitstream |
JP5891975B2 (ja) * | 2012-07-02 | 2016-03-23 | 富士通株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法 |
-
2016
- 2016-02-25 JP JP2016034346A patent/JP6119891B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008035294A (ja) * | 2006-07-29 | 2008-02-14 | Victor Co Of Japan Ltd | 画像データ記録装置及び画像データ符号化装置 |
WO2010001609A1 (ja) * | 2008-07-04 | 2010-01-07 | パナソニック株式会社 | 符号化ストリーム再生装置及び符号化ストリーム再生方法 |
WO2013044075A2 (en) * | 2011-09-23 | 2013-03-28 | Qualcomm Incorporated | Reference picture signaling and decoded picture buffer management |
WO2013067033A1 (en) * | 2011-10-31 | 2013-05-10 | Qualcomm Incorporated | Random access with advanced decoded picture buffer (dpb) management in video coding |
WO2013153829A1 (en) * | 2012-04-13 | 2013-10-17 | Sharp Kabushiki Kaisha | Electronic devices for sending a message and buffering a bitstream |
JP5891975B2 (ja) * | 2012-07-02 | 2016-03-23 | 富士通株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法 |
Non-Patent Citations (5)
Title |
---|
KIMIHIKO KAZUI ET AL.: "AHG9: New high-level syntax for simple HEVC stream editing", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-J0137, JPN6016002288, July 2012 (2012-07-01), pages 1 - 11, ISSN: 0003504336 * |
KIMIHIKO KAZUI ET AL.: "Modification of recovery point SEI message", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-I0044, JPN6016002286, April 2012 (2012-04-01), pages 1 - 2, ISSN: 0003504334 * |
SACHIN DESHPANDE AND ANDREW SEGALL: "HRD Buffering for Bitstreams Starting with CRA Picture", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-I0277-r1, JPN6016002287, April 2012 (2012-04-01), pages 1 - 7, ISSN: 0003504335 * |
YE-KUI WANG ET AL.: "On bitstreams starting with CRA pictures", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-H0496r2, JPN6016002285, February 2012 (2012-02-01), pages 1 - 6, ISSN: 0003504333 * |
YING CHEN ET AL.: "Conforming bitstreams starting with CRA pictures", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-G319, JPN6016002284, November 2011 (2011-11-01), pages 1 - 6, ISSN: 0003504332 * |
Also Published As
Publication number | Publication date |
---|---|
JP6119891B2 (ja) | 2017-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5891975B2 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法 | |
JP6094126B2 (ja) | 動画像復号装置 | |
JP6019824B2 (ja) | 動画像符号化装置及び動画像符号化方法ならびに動画像符号化用コンピュータプログラム | |
JP6237831B2 (ja) | 動画像復号用コンピュータプログラム | |
JP6399189B2 (ja) | 動画像符号化方法 | |
JP6237830B2 (ja) | 動画像復号方法 | |
JP6237829B2 (ja) | 動画像符号化用コンピュータプログラム | |
JP6119891B2 (ja) | 動画像符号化方法 | |
JP6229759B2 (ja) | 動画像復号方法 | |
JP6202141B2 (ja) | 動画像符号化復号システム | |
JP6202140B2 (ja) | 動画像符号化装置 | |
JP6229758B2 (ja) | 動画像符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20161213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6119891 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |