JP2009272660A - 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法 - Google Patents
動画像符号化装置、動画像復号化装置及びその符号化、復号化方法 Download PDFInfo
- Publication number
- JP2009272660A JP2009272660A JP2008108207A JP2008108207A JP2009272660A JP 2009272660 A JP2009272660 A JP 2009272660A JP 2008108207 A JP2008108207 A JP 2008108207A JP 2008108207 A JP2008108207 A JP 2008108207A JP 2009272660 A JP2009272660 A JP 2009272660A
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- num
- maxframenum
- value
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000011084 recovery Methods 0.000 claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000013139 quantization Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000009795 derivation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Abstract
【課題】Ｈ．２６４の復号化装置において、シーケンスの途中のピクチャから復号する場合でも正しい表示順で復号できるようにすることである。
【解決手段】ＰＯＣタイプが「１」と判定され（Ｓ２２、ＹＥＳ）、かつリカバリポイントＳＥＩが検出された場合には（Ｓ２６、ＹＥＳ）、フレーム番号オフセットFrameNumOffsetの初期値として最大フレーム番号MaxFrameNum（またはその整数倍の値）を設定する。これにより、リカバリポイントＳＥＩのピクチャから復号する場合のＰＯＣの相対値として正しい値を得ることができる。
【選択図】図４
【解決手段】ＰＯＣタイプが「１」と判定され（Ｓ２２、ＹＥＳ）、かつリカバリポイントＳＥＩが検出された場合には（Ｓ２６、ＹＥＳ）、フレーム番号オフセットFrameNumOffsetの初期値として最大フレーム番号MaxFrameNum（またはその整数倍の値）を設定する。これにより、リカバリポイントＳＥＩのピクチャから復号する場合のＰＯＣの相対値として正しい値を得ることができる。
【選択図】図４
Description
本発明は、ＩＴＵ−Ｔ(International Telecommunication Union-Telecommunication Standardization Sector)及びＩＳＯ(International Organization for Standardization)で標準化された動画像符号化方式であるＨ．２６４／ＭＰＥＧ４・ＡＶＣに基づく動画像符号化装置、動画像復号化装置及びその符号化、復号化方法に関する。
特許文献１には、ビットストリームを再生する場合に、ＳＰＳ情報に続くＩピクチャを最初に検出したときに、デコーダの初期化を行うことで、ランダム再生を容易に行えるようにすることが記載されている。
特許文献２には、符号化データを任意の編集点で切り出す動画像符号化データ編集装置において、編集点以降の符号化データのヘッダ情報を、編集点を先頭とする内容に変更することで、任意の編集点から符号化データを切り出せるようにすることが記載されている。
Ｈ．２６４／ＭＰＥＧ４・ＡＶＣ勧告には、復号化装置側でのピクチャの表示順を表すＰＯＣ(Picture Order Count)が規定されている。ＰＯＣの符号化方法にはＰＯＣタイプ０、ＰＯＣタイプ１、ＰＯＣタイプ２の３種類の方法が規定されており、ＰＯＣタイプ１で符号化されたＰＯＣの復号処理は、Ｈ．２６４／ＭＰＥＧ４・ＡＶＣ勧告の8.2.1.2において、以下のように規定されている。
１．Ｈ．２６４／ＭＰＥＧ４・ＡＶＣの（８−６）式
The variable Frame Num Offset is derived as follows:
if( nal_unit_type＝＝5 )
FrameNumOffset＝0
else if( prevFrameNum＞frame_num )
FrameNumOffset＝prevFrameNumOffset＋MaxFrameNum
else
FrameNumOffset＝prevFrameNumOffset ・・・・・・式（１）
The variable Frame Num Offset is derived as follows:
if( nal_unit_type＝＝5 )
FrameNumOffset＝0
else if( prevFrameNum＞frame_num )
FrameNumOffset＝prevFrameNumOffset＋MaxFrameNum
else
FrameNumOffset＝prevFrameNumOffset ・・・・・・式（１）
上記の式（１）は、Frame Num Offsetを求めるものであり、以下のような処理である。
ＮＡＬユニットタイプが「５」であれば、フレーム番号オフセットFrameNumOffsetを「０」に初期化する。ＮＡＬユニットタイプが「５」でなく、かつ前回のフレーム番号が今回のフレーム番号より大きいければ、prevFrameNumOffsetに最大フレーム番号MaxFrameNumを加算した値を、Frame Num Offsetとして設定する。
ＮＡＬユニットタイプが「５」であれば、フレーム番号オフセットFrameNumOffsetを「０」に初期化する。ＮＡＬユニットタイプが「５」でなく、かつ前回のフレーム番号が今回のフレーム番号より大きいければ、prevFrameNumOffsetに最大フレーム番号MaxFrameNumを加算した値を、Frame Num Offsetとして設定する。
２．Ｈ．２６４／ＭＰＥＧ４・ＡＶＣの（８−７）式
The variable absFrameNum is derived as follows:
if( num_ref_frames_in_pic_order_cnt_cycle！＝0 )
absFrameNum＝FrameNumOffset＋frame_num
else
absFrameNum＝0
if( nal_ref_idc＝＝0 ＆＆absFrameNum＞0)
absFrameNum＝absFrameNum−1 ・・・・・・・・・式（２）
The variable absFrameNum is derived as follows:
if( num_ref_frames_in_pic_order_cnt_cycle！＝0 )
absFrameNum＝FrameNumOffset＋frame_num
else
absFrameNum＝0
if( nal_ref_idc＝＝0 ＆＆absFrameNum＞0)
absFrameNum＝absFrameNum−1 ・・・・・・・・・式（２）
上記の式（２）は、ＩＤＲ（Instantaneous Decoding Refresh：瞬時復号更新）ピクチャを基準としたピクチャ数であるabsFrameNumを求めるものであり、以下のような処理である。
num_ref_frames_in_pic_order_cnt_cycleが「０」でなければ、FrameNumOffsetにフレーム番号frame_numを加算した値を、absFrameNumとする。num_ref_frames_in_pic_order_cnt_cycleが「０」であれば、absFrameNumを「０」にする。
参照ピクチャか否かを示すフラグnal_ref_idcが「０」で、かつabsFrameNumが０より大きいときには、absFrameNumから「１」減算した値をabsFrameNumに設定する。
num_ref_frames_in_pic_order_cnt_cycleが「０」でなければ、FrameNumOffsetにフレーム番号frame_numを加算した値を、absFrameNumとする。num_ref_frames_in_pic_order_cnt_cycleが「０」であれば、absFrameNumを「０」にする。
参照ピクチャか否かを示すフラグnal_ref_idcが「０」で、かつabsFrameNumが０より大きいときには、absFrameNumから「１」減算した値をabsFrameNumに設定する。
３．Ｈ．２６４／ＭＰＥＧ４・ＡＶＣの（８−８）式
When absFrameNum＞0, picOrderCntCycleCnt and frameNumInPicOrderCnt Cycle are derived as follows:
if( absFrameNum＞0 ) {
picOrderCntCycleCnt＝(absFrameNum-1)／num_ref_frames_in_pic_ordercnt_cycle
frameNumInPicOrderCntCycle＝(absFrameNum−1)％num_ref_frames_in_pic_order_cnt_cycle } ・・・・式（３）
上記の式（３）は、picOrderCntCycleCntと、frameNumInPicOrderCntCycleを求める処理である。
When absFrameNum＞0, picOrderCntCycleCnt and frameNumInPicOrderCnt Cycle are derived as follows:
if( absFrameNum＞0 ) {
picOrderCntCycleCnt＝(absFrameNum-1)／num_ref_frames_in_pic_ordercnt_cycle
frameNumInPicOrderCntCycle＝(absFrameNum−1)％num_ref_frames_in_pic_order_cnt_cycle } ・・・・式（３）
上記の式（３）は、picOrderCntCycleCntと、frameNumInPicOrderCntCycleを求める処理である。
４．Ｈ．２６４／ＭＰＥＧ４・ＡＶＣの（８−９）式
The variable expectedDeltaPerPicOrderCntCycle is derived as follows:
expectedDeltaPerPicOrderCntCycle＝0
for( i＝0; i＜num_ref_frames_in_pic_order_cnt_cycle; i＋＋)
expectedDeltaPerPicOrderCntCycle＋＝offset_for_ref_frame[ i ]・・式（４）
上記の式（４）は、expectedDeltaPerPicOrderCntCycleを求める処理である。変数ｉの値により定まるoffset_for_ref_frame[ i ]を求める処理である。
The variable expectedDeltaPerPicOrderCntCycle is derived as follows:
expectedDeltaPerPicOrderCntCycle＝0
for( i＝0; i＜num_ref_frames_in_pic_order_cnt_cycle; i＋＋)
expectedDeltaPerPicOrderCntCycle＋＝offset_for_ref_frame[ i ]・・式（４）
上記の式（４）は、expectedDeltaPerPicOrderCntCycleを求める処理である。変数ｉの値により定まるoffset_for_ref_frame[ i ]を求める処理である。
５．Ｈ．２６４／ＭＰＥＧ４・ＡＶＣの（８−１０）式
The variable expectedPicOrderCnt is derived as follows:
if( absFrameNum＞0 ){
expectedPicOrderCnt＝picOrderCntCycleCnt＊expectedDeltaPerPicOrderCnt Cycle
for( i＝0; i＜＝frameNumInPicOrderCntCycle; i＋＋)
expectedPicOrderCnt＝expectedPicOrderCnt＋offset_for_ref_frame[ i ]
} else
expectedPicOrderCnt＝0
if( nal_ref_idc＝＝0)
expectedPicOrderCnt＝expectedPicOrderCnt＋offset_for_non_ref_pic
・・・・・・式（５）
The variable expectedPicOrderCnt is derived as follows:
if( absFrameNum＞0 ){
expectedPicOrderCnt＝picOrderCntCycleCnt＊expectedDeltaPerPicOrderCnt Cycle
for( i＝0; i＜＝frameNumInPicOrderCntCycle; i＋＋)
expectedPicOrderCnt＝expectedPicOrderCnt＋offset_for_ref_frame[ i ]
} else
expectedPicOrderCnt＝0
if( nal_ref_idc＝＝0)
expectedPicOrderCnt＝expectedPicOrderCnt＋offset_for_non_ref_pic
・・・・・・式（５）
上記の式（５）の処理において、絶対フレーム番号absFrameNumが０より大であれば、picOrderCntCycleCntにexpectedDeltaPerPicOrderCnt Cycleを乗算した値が、expectedPicOrderCntとして求められる。さらに、そのexpectedPicOrderCntに、ピクチャのＰＯＣの差分であるoffset_for_ref_frame[ i ]を加算した値をexpectedPicOrderCnとして求める。
また、参照ピクチャか否かを示すフラグ nal_ref_idcが０であれば、expectedPicOrderCntに非参照フレームのＰＯＣの差分offset_for_non_ref_picを加算した値を、expectedPicOrderCnとして求める。
６．Ｈ．２６４／ＭＰＥＧ４・ＡＶＣの（８−１１）式
The variables TopFieldOrderCnt or BottomFieldOrderCnt are derived as follows:
if(！field_pic_flag ) {
TopFieldOrderCnt＝expectedPicOrderCnt＋delta_pic_order_cnt[ 0 ]
BottomFieldOrderCnt＝TopFieldOrderCnt＋
offset_for_top_to_bottom_field＋delta_pic_order_cnt[ 1 ]
} else if(！bottom_field_flag )
TopFieldOrderCnt＝expectedPicOrderCnt＋delta_pic_order_cnt[ 0 ]
else
BottomFieldOrderCnt＝expectedPicOrderCnt＋offset_for_top_to_bottom_field＋delta_pic_order_cnt[0] ・・・・・・式（６）
The variables TopFieldOrderCnt or BottomFieldOrderCnt are derived as follows:
if(！field_pic_flag ) {
TopFieldOrderCnt＝expectedPicOrderCnt＋delta_pic_order_cnt[ 0 ]
BottomFieldOrderCnt＝TopFieldOrderCnt＋
offset_for_top_to_bottom_field＋delta_pic_order_cnt[ 1 ]
} else if(！bottom_field_flag )
TopFieldOrderCnt＝expectedPicOrderCnt＋delta_pic_order_cnt[ 0 ]
else
BottomFieldOrderCnt＝expectedPicOrderCnt＋offset_for_top_to_bottom_field＋delta_pic_order_cnt[0] ・・・・・・式（６）
上記の式（６）の処理は、「！field_pic_flag」、つまりフィールドスライスでなければ、expectedPicOrderCntとdelta_pic_order_cnt[ 0 ]を加算した値を、TopFieldOrderCntとして求める。
なお、符号化ストリームから復号化装置が知り得る情報は以下の通りである。
なお、符号化ストリームから復号化装置が知り得る情報は以下の通りである。
ＮＡＬユニットの種類を示すnal_unit_type、フレーム番号frame_num、最大フレーム番号MaxFrameNum、ＰＯＣの導出に使用されるnum_ref_frames_in_pic_order_cnt_cycle、nal_ref_idc、ＰＯＣタイプ１のＰＯＣの導出に使用されるoffset_for_ref_frame[ i ]、offset_for_non_ref_pic, field_pic_flag、ＰＯＣの計算に使用されるdelta_pic_order_cnt[ 0 ]、delta_pic_order_cnt[ 1 ]、bottom_field_flag。
特開２００７−３１８６１５号公報
特開２００７−６７８４２号公報
Ye-Kui Wang, 他1名, JVT-F050 POC Recovery in Random Access Point SEI Message, Tampere University of Technology and Nokia Corporation.
Ｈ．２６４／ＭＰＥＧ４・ＡＶＣにおいては、復号開始可能なピクチャとして、以下の２種類が規定されている。
ＩＤＲ(Instantaneous Decoding Refresh：瞬時復号更新)ピクチャ：Iピクチャであり、シーケンスの最初のピクチャ。
ＩＤＲ(Instantaneous Decoding Refresh：瞬時復号更新)ピクチャ：Iピクチャであり、シーケンスの最初のピクチャ。
リカバリポイントＳＥＩ（Recovery Point SEI）が付与されたピクチャ：シーケンスの途中のピクチャにリカバリポイントＳＥＩは付与され、シーケンスの途中であっても、このピクチャから引き込み可能であることを示す。
Ｈ．２６４／ＭＰＥＧ４・ＡＶＣ勧告の8.2.1.2のＰＯＣタイプ１の復号においては、ＩＤＲピクチャから復号を開始した場合の処理は規定されている。しかしながら、リカバリポイントＳＥＩを用いたランダムアクセス時（符号化ストリームの途中から復号するとき）は、ＰＯＣタイプ１のＰＯＣを上記の処理で復号しても、ＰＯＣの値がピクチャの表示順と一致しない場合がある。
例えば、最大フレーム番号MaxFrameNum=１６、num_ref_frames_in_pic_order_cnt_cycle=１５とする。ＩＤＲピクチャから数えて３０フレーム目に、引き込み可能ピクチャとしてリカバリポイントＳＥＩが挿入されているとする。また、変数ｉと、offset_for_ref_frame[i] (ｉ＝0・・num_ref_frames_in_pic_order_cnt_cycle-1) は、図８に示すような関係であるとする。さらに、簡単のために、delta_pic_order_cnt[0]、delta_pic_order_cnt[1]は常に「０」とする。また、ＩＤＲピクチャからリカバリポイントＳＥＩのピクチャの間に非参照ピクチャは存在しないものとする。
この場合、引き込み可能ピクチャのフレーム番号は、ＩＤＲピクチャフレーム枚数の最大フレーム番号MaxFrameNumによる剰余の値であるので、３０枚目のピクチャのスライスヘッダに含まれるフレーム番号frame_numフィールドの値は、３０ ｍｏｄ １６、すなわち 「１４」である。
ＩＤＲピクチャから復号した場合には、式（２）より絶対フレーム番号absFrameNumは「３０」となる。そして、式（３）のpicOrderCntCycleCnt及びframeNumInPicOrderCntCycleに上記の値を代入することにより、
picOrderCntCycleCnt＝（３０−１）／１５=１
frameNumInPicOrderCntCycle＝（３０−１）％１５=１４
となる。この場合のトップフィールドのＰＯＣであるTopFieldOrderCntは式（１）〜（６）を用い
expectedDeltaPerPicOrderCntCycle＝２７
expectedPicOrderCnt＝picOrderCntCycleCnt＊picOrderCntCycleCnt＋Σoffset_for_ref_frame[i](i=0…14)＝５４
となる。
picOrderCntCycleCnt＝（３０−１）／１５=１
frameNumInPicOrderCntCycle＝（３０−１）％１５=１４
となる。この場合のトップフィールドのＰＯＣであるTopFieldOrderCntは式（１）〜（６）を用い
expectedDeltaPerPicOrderCntCycle＝２７
expectedPicOrderCnt＝picOrderCntCycleCnt＊picOrderCntCycleCnt＋Σoffset_for_ref_frame[i](i=0…14)＝５４
となる。
他方、リカバリポイントＳＥＩが付与された３０枚目のピクチャから復号を開始する場合には、ピクチャ単位でデコーダ側で取得可能な情報はフレーム番号frame_numのみである。また、式（１）で計算されるフレーム番号オフセットFrameNumOffsetは、ＩＤＲピクチャから、フレーム番号frame_numフィールドが何回キャリーオーバしたか（何回０に戻ったか）を表している。この回数をｋ回とすると式（２）のabsFrameNumは、以下のように書き直せる。
absFrameNum＝ｋ・MaxFrameNum+frame_num
ｋの値はデコーダ側では未知のため、absFrameNumを導出する際にあいまい性が生じる。
absFrameNum＝ｋ・MaxFrameNum+frame_num
ｋの値はデコーダ側では未知のため、absFrameNumを導出する際にあいまい性が生じる。
例えば、ｋ=０、１、２と仮定すると、
（ａ）ｋ=０の場合
absFrameNum＝１４
picOrderCntCycleCnt＝（１４−１）／１５＝０
frameNumInPicOrderCntCycle＝（１４−１）％１５＝１３
（ｂ）ｋ＝１の場合
absFrameNum＝３０
picOrderCntCycleCnt＝（３０−１）／１５＝１
frameNumInPicOrderCntCycle＝（３０−１）％１５＝１４
（ｃ）ｋ＝２の場合
absFrameNum＝４６
picOrderCntCycleCnt＝（４６−１）／１５＝３
frameNumInPicOrderCntCycle＝（４６−１）％１５＝０
（ａ）ｋ=０の場合
absFrameNum＝１４
picOrderCntCycleCnt＝（１４−１）／１５＝０
frameNumInPicOrderCntCycle＝（１４−１）％１５＝１３
（ｂ）ｋ＝１の場合
absFrameNum＝３０
picOrderCntCycleCnt＝（３０−１）／１５＝１
frameNumInPicOrderCntCycle＝（３０−１）％１５＝１４
（ｃ）ｋ＝２の場合
absFrameNum＝４６
picOrderCntCycleCnt＝（４６−１）／１５＝３
frameNumInPicOrderCntCycle＝（４６−１）％１５＝０
図９は、ｋの値とＰＯＣ差分の関係を示す図である。図９には、引き込み点からのピクチャ枚数と、各ｋ値におけるTopFieldOrderCntと、前ピクチャとのＰＯＣ差分が示されている。なお、ＩＤＲから復号した場合のＰＯＣの真値はｋ=１の場合となる。
図９からも明らかなように、引き込み点からのピクチャ枚数が同じでも、ｋの値により前のピクチャとのＰＯＣの差分が異なっている。
例えば、引き込み点からのピクチャ枚数が５枚目と６枚目のＰＯＣの差分は、ｋ＝０のときのＰＯＣ差分は３、ｋ＝１のときのＰＯＣの差分は２、ｋ＝３のときのＰＯＣの差分は４となり、値が一意にならない。
例えば、引き込み点からのピクチャ枚数が５枚目と６枚目のＰＯＣの差分は、ｋ＝０のときのＰＯＣ差分は３、ｋ＝１のときのＰＯＣの差分は２、ｋ＝３のときのＰＯＣの差分は４となり、値が一意にならない。
上述した復号方法では、引き込み時のｋが正しく求まらないと、各ピクチャ間のＰＯＣの差分が正しい値にならない。
上記の問題を解決するために、非特許文献１では、ランダムアクセス時においても、ＰＯＣタイプ１のＰＯＣをＩＤＲピクチャから復号した場合と全く同じＰＯＣの値で復号できるようにするために、フレーム番号オフセットFrameNumOffsetを最大フレーム番号MaxFrameNumで割った値を符号化して送ることを提案している。
上記の問題を解決するために、非特許文献１では、ランダムアクセス時においても、ＰＯＣタイプ１のＰＯＣをＩＤＲピクチャから復号した場合と全く同じＰＯＣの値で復号できるようにするために、フレーム番号オフセットFrameNumOffsetを最大フレーム番号MaxFrameNumで割った値を符号化して送ることを提案している。
しかしながら、上記の値は符号無し整数の場合は最大で２８ビット、Golomb符号化した場合は最大で５７ビットの情報量が必要となり、伝送する情報量が増えてしまうという問題点がある。
本発明の課題は、Ｈ．２６４に基づいて符号化された動画像を、シーケンスの途中のピクチャから復号する場合でも正しい表示順で復号できるようにすることである。
開示の動画像符号化装置は、Ｈ．２６４／ＡＶＣの動画像符号化装置において、Ｈ．２６４／ＡＶＣで規定されるシーケンスパラメータセットのnum_ref_frames_in_pic_order_cnt_cycleフィールドの値を、MaxFrameNumの約数に設定する設定手段と、画像データを符号化する符号化手段とを有する。
この動画像符号化装置によれば、動画像復号化装置側で、リカバリポイントＳＥＩを用いて正しい表示順で復号することができる。
開示の動画像復号化装置は、Ｈ．２６４／ＡＶＣの動画像復号化装置において、リカバリポイントＳＥＩが付与されているピクチャから復号する場合に、Ｈ．２６４／ＡＶＣで規定されるFrameNumOffsetを、MaxFrameNumの整数倍の値に初期化する初期化手段と、符号化されたストリームを復号する復号化手段とを有する。
開示の動画像復号化装置は、Ｈ．２６４／ＡＶＣの動画像復号化装置において、リカバリポイントＳＥＩが付与されているピクチャから復号する場合に、Ｈ．２６４／ＡＶＣで規定されるFrameNumOffsetを、MaxFrameNumの整数倍の値に初期化する初期化手段と、符号化されたストリームを復号する復号化手段とを有する。
この動画像復号化装置によれば、リカバリポイントＳＥＩを用いて復号する場合に、ＰＯＣタイプ１の正しいＰＯＣの相対値を得ることができる。これにより、符号化されたストリームを正しい表示順で復号することができる。
開示の符号化装置によれば、符号化データのデータ量を増やさずに、復号化装置において、リカバリポイントＳＥＩから正しい表示順で復号できるように画像データを符号化できる。また、開示の符号化装置によれば、リカバリポイントＳＥＩの付与されたピクチャから復号する場合に、正しい表示順で復号することができる。
以下、本発明の好適な実施の形態について説明する。Ｈ．２６４／ＭＰＥＧ４・ＡＶＣ（以下、Ｈ．２６４という）の符号された画像データの復号においては、ＰＯＣ（Picture Order Count）の絶対値は必要でなく、各ピクチャのＰＯＣの相対値が正しければ正しい表示順で復号することができる。
この実施の形態では、符号化装置側において、Ｈ．２６４のシーケンスパラメータセットＳＰＳに規定されるnum_ref_frames_in_pic_order_cnt_cycleフィールドの値を、MaxFrameNumの約数に設定している。
復号装置側では、ＩＤＲピクチャ、あるいはＨ．２６４で規定されるリカバリポイントＳＥＩなどが付与された、引き込み可能なピクチャから符号化を開始する際に次のようにしている。絶対フレーム番号absFrameNumを、フレーム番号frame_numに最大フレーム番号MaxFrameNumの整数倍を加算した値で初期化している。
これにより、リカバリポイントＳＥＩが付与されたピクチャから復号する場合のピクチャ間のＰＯＣの相対値を、ＩＤＲピクチャから復号した場合のピクチャ間のＰＯＣの相対値と同じ値にすることができる。以下、その実現方法を具体的に説明する。
ＰＯＣタイプ１のＰＯＣの復号処理では、フレーム番号オフセットFrameNumOffsetを初期化する必要がある。FrameNumOffsetは、ＩＤＲピクチャの復号時に０に初期化され、その後frame_num＜prev_frame_num（frame_numの前回値）となる毎に最大フレーム番号MaxFrameNumの値が加算されていく。
フレーム番号frame_numは、ＩＤＲピクチャから数えたフレーム数の相対値であり、０≦frame_num＜MaxFrameNum（frame_numの最大値)の条件を満たす。フレーム番号frame_numが、最大フレーム番号MaxFrameNumに等しくなると、再び０からカウントされる。
絶対フレーム番号absFrameNumは、式（２）を参照して以下の式で表せる。
absFrameNum＝FrameNumOffset＋frame_num ・・・・式（７）
フレーム番号オフセットFrameNumOffsetは、式（１）の定義より、最大フレーム番号MaxFrameNumの定数倍であり、この定数をKとおくと、以下の式で表せる。
absFrameNum＝K・MaxFrameNum＋frame_num ・・・式（８）
absFrameNum＝FrameNumOffset＋frame_num ・・・・式（７）
フレーム番号オフセットFrameNumOffsetは、式（１）の定義より、最大フレーム番号MaxFrameNumの定数倍であり、この定数をKとおくと、以下の式で表せる。
absFrameNum＝K・MaxFrameNum＋frame_num ・・・式（８）
前述した式（２）から、absFrameNum＝absFrameNum−1、であり、式（３）から、frameNumInPicOrderCntCycle＝(absFrameNum−1)％num_ref_frames_in_pic_order_cnt_cycle、であるから、
frameNumInPicOrderCntCycle
＝(K・MaxFrameNum + frame_num−1)％num_ref_frames_in_pic_order_cnt_cycle
＝(((K・MaxFrameNum)％num_ref_frames_in_pic_order_cnt_cycle)＋frame_num−1)％num_ref_frames_in_pic_order_cnt_cycle ・・・・式（９）
となる。
frameNumInPicOrderCntCycle
＝(K・MaxFrameNum + frame_num−1)％num_ref_frames_in_pic_order_cnt_cycle
＝(((K・MaxFrameNum)％num_ref_frames_in_pic_order_cnt_cycle)＋frame_num−1)％num_ref_frames_in_pic_order_cnt_cycle ・・・・式（９）
となる。
上記の式（９）から、ランダムアクセス時に(absFrameNum−1)が不明なためにframeNumInPicOrderCntCycleの値が正しい値とならない問題は、定数Kが不明な問題に帰着できる。
ここで、定数Ｋを含む式、((K・MaxFrameNum)％num_ref_frames_in_pic_order_cnt_cycle)、に着目すると、num_ref_frames_in_pic_order_cnt_cycleを、最大フレーム番号MaxFrameNumの約数に設定すれば、Ｋを含む上記の式の剰余は０となるので、(K・MaxFrameNum)％num_ref_frames_in_pic_order_cnt_cycleの値はKの値に関わらず０になる。
ここで、定数Ｋを含む式、((K・MaxFrameNum)％num_ref_frames_in_pic_order_cnt_cycle)、に着目すると、num_ref_frames_in_pic_order_cnt_cycleを、最大フレーム番号MaxFrameNumの約数に設定すれば、Ｋを含む上記の式の剰余は０となるので、(K・MaxFrameNum)％num_ref_frames_in_pic_order_cnt_cycleの値はKの値に関わらず０になる。
従って、num_ref_frames_in_pic_order_cnt_cycleを、最大フレーム番号MaxFrameNumの約数に設定すれば、Ｋの値によらず、式（９）のframeNumInPicOrderCntCycleの値は一意に求まることになる。
次に、上記のようにして符号化した画像データを復号する場合について説明する。
この実施の形態においては、リカバリポイントＳＥＩが付与されているピクチャから復号する場合に、フレーム番号オフセットFrameNumOffsetを、MaxFrameNumの整数倍に初期化する処理を新たに追加する。例えば、簡単のために、FrameNumOffset＝MaxFrameNum、と初期化する。
この実施の形態においては、リカバリポイントＳＥＩが付与されているピクチャから復号する場合に、フレーム番号オフセットFrameNumOffsetを、MaxFrameNumの整数倍に初期化する処理を新たに追加する。例えば、簡単のために、FrameNumOffset＝MaxFrameNum、と初期化する。
この場合、前述した式（１）を、以下の式（１０）に書き換えることができる。
if(nal_unit_type＝＝5)
FrameNumOffset＝0
else if(Recover_Point_SEIからの復号)
FrameNumOffset＝MaxFrameNum
else if(prevFrameNum＞frame_num)
FrameNumOffset＝prevFrameNumOffset＋MaxFrameNum
else
FrameNumOffset＝prevFrameNumOffset ・・・式（１０）
if(nal_unit_type＝＝5)
FrameNumOffset＝0
else if(Recover_Point_SEIからの復号)
FrameNumOffset＝MaxFrameNum
else if(prevFrameNum＞frame_num)
FrameNumOffset＝prevFrameNumOffset＋MaxFrameNum
else
FrameNumOffset＝prevFrameNumOffset ・・・式（１０）
また、数（１０）を別の表現であらわすと以下のとおりになる。
if( nal_unit_type = = 5 )
FrameNumOffset = 0
else if(prevFrameNumOffset is unknown)
FrameNumOffset＝MaxFrameNum
else if( prevFrameNum > frame_num )
FrameNumOffset = prevFrameNumOffset + MaxFrameNum
else
FrameNumOffset = prevFrameNumOffset
但し、if(Recover_Point_SEIからの復号)の「Recover_Point_SEIからの復号」は、「prevFrameNumOffset is unknown」と等価である。
if( nal_unit_type = = 5 )
FrameNumOffset = 0
else if(prevFrameNumOffset is unknown)
FrameNumOffset＝MaxFrameNum
else if( prevFrameNum > frame_num )
FrameNumOffset = prevFrameNumOffset + MaxFrameNum
else
FrameNumOffset = prevFrameNumOffset
但し、if(Recover_Point_SEIからの復号)の「Recover_Point_SEIからの復号」は、「prevFrameNumOffset is unknown」と等価である。
上記の処理内容は次の通りである。ＮＡＬユニットタイプが５か否かを判別する。ＮＡＬユニットタイプが５でなければ、リカバリポイントＳＥＩが付与されているピクチャからの復号か否かを判別する。リカバリポイントＳＥＩが付与されているピクチャからの復号であれば、フレーム番号オフセットFrameNumOffsetに最大フレーム番号MaxFrameNumを設定する。
ＭＡＬユニットタイプが５でなければ、さらに、前回のフレーム番号prevFrameNumが、今回のフレーム番号frame_numより大きいか否かを判別する。前回のフレーム番号prevFrameNumが今回のフレーム番号frame_numより大きいときには、フレーム番号が最大値を超えたものと判断し、prevFrameNumOffsetに最大フレーム番号MaxFrameNumを加算した値を、FrameNumOffsetに設定する。
前回のフレーム番号prevFrameNumがframe_numより大きくなければ、revFrameNumOffsetを、FrameNumOffsetとして設定する。
前回のフレーム番号prevFrameNumがframe_numより大きくなければ、revFrameNumOffsetを、FrameNumOffsetとして設定する。
上記の処理により、リカバリポイントＳＥＩが付与されているピクチャから復号する場合に、FrameNumOffsetがMaxFrameNumの整数倍の値に初期化される。そして、符号化装置側で、num_ref_frames_in_pic_order_cnt_cycleの値はMaxFrameNumの約数に設定されているので、式（９）のframeNumInPicOrderCntCycleの値が一意に定まる。その結果、リカバリポイントＳＥＩが付与されているピクチャから復号する場合のＰＯＣの相対値が、ＩＤＲピクチャから復号する場合と同じ値となる。これににより、ピクチャを正しい表示順で復号することができる。
次に、以上のような符号化機能及び復号化機能を有する動画像符号化装置並びに動画像復号化装置について説明する。
図１は、動画像符号化装置（以下、符号化装置という）１１の要部の構成を示す図である。減算器１２は、画像データから予測画像生成部１３で生成される予測画像を減算したデータを直交変換部１４に出力する。直交変換部１４は、減算器１２から出力されるデータを直交変換し、量子化部１５は、そのデータを量子化する。
図１は、動画像符号化装置（以下、符号化装置という）１１の要部の構成を示す図である。減算器１２は、画像データから予測画像生成部１３で生成される予測画像を減算したデータを直交変換部１４に出力する。直交変換部１４は、減算器１２から出力されるデータを直交変換し、量子化部１５は、そのデータを量子化する。
エントロピー符号化部１６は、パラメータ設定部１７を有する。エントロピー符号化部１６は、画像データの符号化を行い、パラメータ設定部１７は、シーケンスパラメータセットのnum_ref_frames_in_pic_order_cnt_cycleの値の設定等を行う。
逆量子化部１８と逆直交変換部１９は、量子化及び直交変換の逆の処理を行う。逆直交変化部１９で逆変換された画像データは、加算器２０において予測画像と加算され参照画像蓄積部２１に蓄積される。
動きベクトル決定部２２は、現在の画像と参照画像蓄積部２１から出力される参照ピクチャに基づいて動きベクトルを算出し、算出した動きベクトルを予測画像生成部１３とエントロピー符号化部１６に出力する。予測画像生成部１３は、動きベクトルと参照ピクチャに基づいて予測画像を生成し、その予測画像を加算器２０及び減算器１２に出力する。
図２は、符号化装置１１の符号化処理のフローチャートである。エントロピー符号化部１６は、ピクチャをＰＯＣタイプ１で符号化するか否かを判別する(図２、Ｓ１１）。
ＰＯＣタイプ１で符号化する場合には（Ｓ１１、ＹＥＳ）、ステップＳ１２に進み、シーケンスパラメータセットＳＰＳのnum_ref_frames_in_pic_order_cnt_cycleを、最大フレーム番号MaxFrameNumの約数に設定する。
ＰＯＣタイプ１で符号化する場合には（Ｓ１１、ＹＥＳ）、ステップＳ１２に進み、シーケンスパラメータセットＳＰＳのnum_ref_frames_in_pic_order_cnt_cycleを、最大フレーム番号MaxFrameNumの約数に設定する。
ステップＳ１２の次、またはステップＳ１１の判別がＮＯとのきには、ステップＳ１３に進み、画像データの符号化処理を実行する。
上記のように符号化装置１１が、シーケンスパラメータセットＳＰＳのnum_ref_frames_in_pic_order_cnt_cycleを、最大フレーム番号MaxFrameNumの約数に設定することで、復号化装置３１側でＰＯＣの相対値を一意に求めることができる。また、符号化装置１１は、num_ref_frames_in_pic_order_cnt_cycleの値をMaxFrameNumの約数に設定するだけであるので、符号化データのデータ量は増えない。
上記のように符号化装置１１が、シーケンスパラメータセットＳＰＳのnum_ref_frames_in_pic_order_cnt_cycleを、最大フレーム番号MaxFrameNumの約数に設定することで、復号化装置３１側でＰＯＣの相対値を一意に求めることができる。また、符号化装置１１は、num_ref_frames_in_pic_order_cnt_cycleの値をMaxFrameNumの約数に設定するだけであるので、符号化データのデータ量は増えない。
図３は、動画像復号化装置（以下、復号化装置という）３１の要部を示す図である。エントロピー復号化部３２は、可変長符号化が行われた画像ストリームを復号する機能と、初期化部３３を有する。初期化部３３は、フレーム番号オフセットの値を最大フレーム番号の整数倍の値に初期化する。
逆量子化部３４は、エントロピー復号化部３２で復号された画像データの逆量子化の処理を行い、逆直交変換部３５は、逆量子化されたデータに対して逆直交変換処理を行う。
加算器３６は、逆直交変換後の画像データと、予測画像生成部３７から出力される予測画像を加算して復号画像を生成する。参照画像蓄積部３８は復号画像を記憶する。
予測画像生成部３７は、参照画像蓄積部３８に記憶されている参照ピクチャと、エントロピー復号化部３２で計算される動きベクトルに基づいて予測画像を生成する。
加算器３６は、逆直交変換後の画像データと、予測画像生成部３７から出力される予測画像を加算して復号画像を生成する。参照画像蓄積部３８は復号画像を記憶する。
予測画像生成部３７は、参照画像蓄積部３８に記憶されている参照ピクチャと、エントロピー復号化部３２で計算される動きベクトルに基づいて予測画像を生成する。
図４は、復号化装置３１における復号処理のフローチャートである。最初に、ＩＤＲピクチャまたはリカバリポイントＳＥＩをサーチする（Ｓ２１）。
ＰＯＣタイプが「１」か否かを判別する（Ｓ２２）。ＰＯＣタイプが「１」でないときには（Ｓ２２、ＮＯ）、ステップＳ２３に進み、ＰＯＣタイプが「０」か否かを判別する。ＰＯＣタイプが「０」であれば（Ｓ２３、ＹＥＳ）、ステップＳ２４に進み、ＰＯＣタイプ０の初期化処理を行う。ステップＳ２３の判別でＰＯＣタイプが「０」ではないと判定されたときには（Ｓ２３、ＮＯ）、ステップＳ２５に進み、ＰＯＣタイプ２の初期化処理を実行する。
ＰＯＣタイプが「１」か否かを判別する（Ｓ２２）。ＰＯＣタイプが「１」でないときには（Ｓ２２、ＮＯ）、ステップＳ２３に進み、ＰＯＣタイプが「０」か否かを判別する。ＰＯＣタイプが「０」であれば（Ｓ２３、ＹＥＳ）、ステップＳ２４に進み、ＰＯＣタイプ０の初期化処理を行う。ステップＳ２３の判別でＰＯＣタイプが「０」ではないと判定されたときには（Ｓ２３、ＮＯ）、ステップＳ２５に進み、ＰＯＣタイプ２の初期化処理を実行する。
ステップＳ２２において、ＰＯＣタイプが「１」と判定されたときには、ステップＳ２６に進み、リカバリポイントＳＥＩを検出したか否かを判別する。
リカバリポイントＳＥＩを検出した場合には（Ｓ２６、ＹＥＳ）、ステップＳ２７に進み、フレーム番号オフセットFrameNumOffsetの初期値として最大フレーム番号MaxFrameNum（または最大フレーム番号の整数倍の値）を設定する。
リカバリポイントＳＥＩを検出した場合には（Ｓ２６、ＹＥＳ）、ステップＳ２７に進み、フレーム番号オフセットFrameNumOffsetの初期値として最大フレーム番号MaxFrameNum（または最大フレーム番号の整数倍の値）を設定する。
ステップＳ２６でリカバリポイントＳＥＩが検出されなかった場合には（Ｓ２６、ＮＯ）、ステップＳ２８に進み、フレーム番号オフセットFrameNumOffsetの初期値として「０」を設定する。
ステップＳ２４、Ｓ２５、Ｓ２７またはＳ２８の次には、ステップＳ２９に進み、ピクチャの復号処理を開始する。
ステップＳ２４、Ｓ２５、Ｓ２７またはＳ２８の次には、ステップＳ２９に進み、ピクチャの復号処理を開始する。
上記の処理により、リカバリポイントＳＥＩが付与されているピクチャから復号する場合には、フレーム番号オフセットFrameNumOffsetの初期値としてMaxFrameNum（またはその整数倍の値）が設定される。そして、num_ref_frames_in_pic_order_cnt_cycleがMaxFrameNumの約数に設定されているので、前述した式（９）の剰余が０となり、式（９）の値が一意に定まる。
図５は、Ｈ．２６４のシーケンスパラメータセットを示す図である。シーケンスパラメータセットには、num_ref_frames_in_pic_order_cnt_cycleが格納されるフィールド５１と、変数ｉの値の範囲を示すフィールド５２と、参照フレームオフセットoffset_for_ref_frame[?i?]が格納されるフィールド５３がある。
本実施の形態においては、フィールド５１のnum_ref_frames_in_pic_order_cnt_cycleには、MaxFrameNumの約数が設定される。
本実施の形態においては、フィールド５１のnum_ref_frames_in_pic_order_cnt_cycleには、MaxFrameNumの約数が設定される。
図６は、スライスのフィールドを示す図である。スライスのフィールド６１には、フレーム番号frame_numが格納される。
図７は、変数ｉとoffset_for_ref_frame[i]の関係を示す図である。例えば、ｉ＝０のとき、offset_for_ref_frame[i]＝１、ｉ＝１のとき、offset_for_ref_frame[i]＝２、ｉ＝２のとき、offset_for_ref_frame[i]＝２の関係がある。
図７は、変数ｉとoffset_for_ref_frame[i]の関係を示す図である。例えば、ｉ＝０のとき、offset_for_ref_frame[i]＝１、ｉ＝１のとき、offset_for_ref_frame[i]＝２、ｉ＝２のとき、offset_for_ref_frame[i]＝２の関係がある。
図８は、ＩＤＲから復号した場合と、リカバリポイントＳＥＩから復号した場合のパラメータの値とＰＯＣ差分を示す図である。
log2_max_frame_num_minus4＝０とすると、MaxFrameNum＝１６となる。本実施の形態では、num_ref_frames_in_pic_order_cnt_cycleを、MaxFrameNumの約数、例えば、num_ref_frames_in_pic_order_cnt_cycle＝８に設定する。
log2_max_frame_num_minus4＝０とすると、MaxFrameNum＝１６となる。本実施の形態では、num_ref_frames_in_pic_order_cnt_cycleを、MaxFrameNumの約数、例えば、num_ref_frames_in_pic_order_cnt_cycle＝８に設定する。
復号化装置３１においては、式（１０）の処理により、ＮＡＬユニットタイプが５のとき、つまりＩＤＲピクチャの復号の場合には、フレーム番号オフセットFrameNumOffsetは初期値として０が設定される。
ＩＤＲピクチャから復号した場合に、３０枚目のピクチャのフレーム番号オフセットFrameNumOffsetは３２、絶対フレーム番号absFrameNumは４６となる。そして、３０枚目のピクチャのTopFieldOrderCntの値は９４となる。
同様に３１枚目のピクチャのFrameNumOffsetは３２、absFrameNumは４７となる。そして、３１枚目のピクチャのTopFieldOrderCntは９６となる。この場合の前ピクチャとのＰＯＣ差分は２となる。
一方、リカバリポイントＳＥＩから復号した場合には、式（１０）により、フレーム番号オフセットFrameNumOffsetは、最大フレーム番号MaxFrameNumの整数倍の値に初期化される。この場合、MaxFrameNumは１６であるので、FrameNumOffsetは、例えば、１６となる。このとき、絶対フレーム番号MaxFrameNumは、式（７）のFrameNumOffset＋frame_num、となる。符号化装置１１から送られてくるフレーム番号frame_numは１４であるので、absFrameNumは、１６＋１４＝３０となる。このとき、３０枚目のピクチャのTopFieldOrderCntは６２となる。
同様に３１枚目のピクチャのFrameNumOffsetは１６、absFrameNumは３１となる。そして、３２枚目のピクチャのTopFieldOrderCntは６４となる。この場合の前ピクチャとのＰＯＣの差分は２となる。
ＩＤＲピクチャから復号した場合の前ピクチャとのＰＯＣ差分をTopFieldOrderCntの値から計算すると、３１枚目以降のピクチャの前ピクチャとのＰＯＣ差分は、図８に示すように「２，１，２，２，１・・・」となる。
一方、リカバリポイントＳＥＩから復号した場合の前ピクチャとのＰＯＣ差分は、図８に示すように「２、１、２、２、１・・・」となる。
実施の形態の符号化装置１１及び復号化装置３１によれば、ＩＤＲから復号した場合とリカバリポイントＳＥＩから復号した場合でＰＯＣの値は異なるが、ＰＯＣの差分は両者で同じ値となる。Ｈ．２６４においては、ＰＯＣの絶対値が正確である必要なく、ＰＯＣの相対値として正しい値が得られれば、ピクチャを正しい表示順で復号することができる。
実施の形態の符号化装置１１及び復号化装置３１によれば、ＩＤＲから復号した場合とリカバリポイントＳＥＩから復号した場合でＰＯＣの値は異なるが、ＰＯＣの差分は両者で同じ値となる。Ｈ．２６４においては、ＰＯＣの絶対値が正確である必要なく、ＰＯＣの相対値として正しい値が得られれば、ピクチャを正しい表示順で復号することができる。
従って、実施の形態の符号化及び復号化装置及びその符号化、復号化方法により、リカバリポイントＳＥＩを用いたランダムアクセス時にもピクチャを正しい表示順で復号できる。
また、Ｈ.２６４/ＭＰＥＧＡＶＣ規格のサブクラス７．４．２．１におけるnum_ref_frames_in_pic_order_cnt_cycleについての変更およびＨ.２６４/ＭＰＥＧＡＶＣ規格のサブクラス８．２．１．２におけるＰＯＣタイプ１の復号処理も変更することを以下のとおり提案する。
また、Ｈ.２６４/ＭＰＥＧＡＶＣ規格のサブクラス７．４．２．１におけるnum_ref_frames_in_pic_order_cnt_cycleについての変更およびＨ.２６４/ＭＰＥＧＡＶＣ規格のサブクラス８．２．１．２におけるＰＯＣタイプ１の復号処理も変更することを以下のとおり提案する。
num_ref_frames_in_pic_order_cnt_cycleの変更について、以下のとおりに示す。
num_ref_frames_in_pic_order_cnt_cycle is used in the decoding process for picture order count as specified in subclause 8.2.1. The value of num_ref_frames_in_pic_order_cnt_cycle shall be any divisor of MaxFrameNum andin the range of 0 to 255, inclusive.
Proposed change on equation 8-6 is the following
if( nal_unit_type = = 5 )
FrameNumOffset = 0
else if( prevFrameNumOffset is unknown )
FrameNumOffset = MaxFrameNum
else if( prevFrameNum > frame_num )
FrameNumOffset = prevFrameNumOffset + MaxFrameNum
else
FrameNumOffset = prevFrameNumOffset
RATIONALE
Equation 8-8 can be written as the following
frameNumInPicOrderCntCycle = (FrameNumOffset + frame_num - 1 ) % num_ref_frames_in_pic_order_cnt_cycle
If the value of num_ref_frames_in_pic_order_cnt_cycle is a divisor of MaxFrameNum, the result of (FrameNumOffset % num_ref_frames_in_pic_order_cnt_cycle) is always zero because FrameNumOffset is the product of MaxFrameNum and non-negative integer. Thus frameNumInPicOrderCntCycle in Equation 8-8 is independent of prevFrameNumOffset.
The values of absNumFrame in Equation 8-7 and frameNumInPicOrderCntCycle in Equation 8-8 for the first decoding picture are (MaxFrameNum + frame_num) and ((frame_num - 1) % num_ref_frames_in_pic_order_cnt_cycle), respectively.
（追記）
As the definition of MaxFrameNum is 2^{log2_max_frame_num_minus4}, num_ref_frames_in_pic_order_cnt_cycle should also be in the form of 2^N where N is non-negative integer.
num_ref_frames_in_pic_order_cnt_cycle is used in the decoding process for picture order count as specified in subclause 8.2.1. The value of num_ref_frames_in_pic_order_cnt_cycle shall be any divisor of MaxFrameNum andin the range of 0 to 255, inclusive.
Proposed change on equation 8-6 is the following
if( nal_unit_type = = 5 )
FrameNumOffset = 0
else if( prevFrameNumOffset is unknown )
FrameNumOffset = MaxFrameNum
else if( prevFrameNum > frame_num )
FrameNumOffset = prevFrameNumOffset + MaxFrameNum
else
FrameNumOffset = prevFrameNumOffset
RATIONALE
Equation 8-8 can be written as the following
frameNumInPicOrderCntCycle = (FrameNumOffset + frame_num - 1 ) % num_ref_frames_in_pic_order_cnt_cycle
If the value of num_ref_frames_in_pic_order_cnt_cycle is a divisor of MaxFrameNum, the result of (FrameNumOffset % num_ref_frames_in_pic_order_cnt_cycle) is always zero because FrameNumOffset is the product of MaxFrameNum and non-negative integer. Thus frameNumInPicOrderCntCycle in Equation 8-8 is independent of prevFrameNumOffset.
The values of absNumFrame in Equation 8-7 and frameNumInPicOrderCntCycle in Equation 8-8 for the first decoding picture are (MaxFrameNum + frame_num) and ((frame_num - 1) % num_ref_frames_in_pic_order_cnt_cycle), respectively.
（追記）
As the definition of MaxFrameNum is 2^{log2_max_frame_num_minus4}, num_ref_frames_in_pic_order_cnt_cycle should also be in the form of 2^N where N is non-negative integer.
１１ 符号化装置
１４ 直交変換部
１５ 量子化部
１６ エントロピー符号化部
１７ パラメータ設定部
３１ 復号化装置
３２ エントロピー復号化部
３３ 初期化部
３４ 逆量子化部
３５ 逆直交変換部
１４ 直交変換部
１５ 量子化部
１６ エントロピー符号化部
１７ パラメータ設定部
３１ 復号化装置
３２ エントロピー復号化部
３３ 初期化部
３４ 逆量子化部
３５ 逆直交変換部
Claims (7)
- Ｈ．２６４／ＡＶＣの動画像符号化装置において、
Ｈ．２６４／ＡＶＣで規定されるシーケンスパラメータセットのnum_ref_frames_in_pic_order_cnt_cycleフィールドの値を、MaxFrameNumの約数に設定する設定手段と、
画像データを符号化する符号化手段とを有する動画像符号化装置。 - Ｈ．２６４／ＡＶＣの動画像復号化装置において、
リカバリポイントＳＥＩが付与されているピクチャから復号する場合には、Ｈ．２６４／ＡＶＣで規定されるFrameNumOffsetを、MaxFrameNumの整数倍の値に初期化する初期化手段と、
符号化されたストリームを復号する復号化手段とを有する動画像復号化装置。 - 前記初期化手段は、FrameNumOffsetをMaxFrameNumと等しい値に初期化する請求項２記載の動画像復号化装置。
- absFrameNumを、frame_numにMaxFrameNumの整数倍を加算して算出する算出手段を有する請求項２記載の動画像復号化装置。
- Ｈ．２６４／ＡＶＣの動画像の符号化方法において、
Ｈ．２６４／ＡＶＣで規定されるシーケンスパラメータセットのnum_ref_frames_in_pic_order_cnt_cycleフィールドの値を、MaxFrameNumの約数に設定する動画像符号化方法。 - Ｈ．２６４／ＡＶＣの動画像の復号化方法において、
リカバリポイントＳＥＩが付与されているピクチャから復号する場合に、Ｈ．２６４／ＡＶＣで規定されるFrameNumOffsetを、MaxFrameNumの整数倍の値に初期化し、
初期化された前記FrameNumOffsetを用いてＰＯＣ差分を算出する動画像復号化方法。 - absFrameNumを、frame_numにMaxFrameNumの整数倍を加算して算出する請求項６記載の動画像復号化方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008108207A JP4935746B2 (ja) | 2008-04-07 | 2008-04-17 | 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法 |
| EP20080172976 EP2109318A3 (en) | 2008-04-07 | 2008-12-29 | Moving image coding apparatus, moving image decoding apparatus, moving image coding method and moving image decoding method |
| US12/345,004 US8385407B2 (en) | 2008-04-07 | 2008-12-29 | Moving image coding apparatus, moving image decoding apparatus, moving image coding method and moving image decoding method |
| US13/744,560 US20130128991A1 (en) | 2008-04-07 | 2013-01-18 | Moving image coding apparatus, moving image decoding apparatus, moving image coding method and moving image decoding method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008099821 | 2008-04-07 | ||
| JP2008099821 | 2008-04-07 | ||
| JP2008108207A JP4935746B2 (ja) | 2008-04-07 | 2008-04-17 | 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009272660A true JP2009272660A (ja) | 2009-11-19 |
| JP4935746B2 JP4935746B2 (ja) | 2012-05-23 |
Family
ID=40897546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008108207A Expired - Fee Related JP4935746B2 (ja) | 2008-04-07 | 2008-04-17 | 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US8385407B2 (ja) |
| EP (1) | EP2109318A3 (ja) |
| JP (1) | JP4935746B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016539600A (ja) * | 2013-10-14 | 2016-12-15 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法 |
| JP2017225159A (ja) * | 2012-09-28 | 2017-12-21 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | ビデオコーディングにおける関心領域および漸次復号リフレッシュのシグナリング |
| JP2018074349A (ja) * | 2016-10-28 | 2018-05-10 | 住友電気工業株式会社 | 映像処理装置、映像処理方法および映像処理プログラム |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011199396A (ja) * | 2010-03-17 | 2011-10-06 | Ntt Docomo Inc | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
| WO2012088649A1 (zh) * | 2010-12-31 | 2012-07-05 | 北京世纪高蓝科技有限公司 | 复用码流信息的h264转码方法 |
| RU2014105292A (ru) * | 2011-07-13 | 2015-08-20 | Телефонактиеболагет Л М Эрикссон (Пабл) | Кодер, декодер и способы их работы для управления опорными изображениями |
| HUE045736T2 (hu) | 2011-09-22 | 2020-01-28 | Lg Electronics Inc | Videokódoló eljárás és videokódoló berendezés |
| CN103037209B (zh) * | 2011-09-30 | 2016-05-04 | 腾讯科技（深圳）有限公司 | 视频帧的解码处理方法和装置 |
| KR101687092B1 (ko) | 2012-06-25 | 2016-12-15 | 닛본 덴끼 가부시끼가이샤 | 비디오 인코딩/디코딩 장치, 방법 및 프로그램 |
| US9571847B2 (en) | 2013-01-07 | 2017-02-14 | Qualcomm Incorporated | Gradual decoding refresh with temporal scalability support in video coding |
| CN104754358B (zh) * | 2013-12-27 | 2019-02-19 | 中兴通讯股份有限公司 | 码流的生成和处理方法、装置及系统 |
| CN110035293B (zh) * | 2019-04-22 | 2022-01-11 | 湖南国科微电子股份有限公司 | 电子设备及图像编码数据存储方法与装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004274732A (ja) * | 2003-02-19 | 2004-09-30 | Matsushita Electric Ind Co Ltd | 動画像符号化方法、及び、動画像復号化方法 |
| JP2006129177A (ja) * | 2004-10-29 | 2006-05-18 | Victor Co Of Japan Ltd | 記録装置及び記録媒体 |
| JP2007067842A (ja) * | 2005-08-31 | 2007-03-15 | Victor Co Of Japan Ltd | 動画像符号化データ編集装置および動画像符号化データ編集方法 |
| JP2007116729A (ja) * | 2004-07-01 | 2007-05-10 | Mitsubishi Electric Corp | 映像情報記録媒体 |
| JP2007318615A (ja) * | 2006-05-29 | 2007-12-06 | Toshiba Corp | 動画再生装置、動画再生方法およびプログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| UA93118C2 (ru) * | 2006-11-14 | 2011-01-10 | Квелкомм Инкорпорейтед | Системы и способы для переключения каналов |
-
2008
- 2008-04-17 JP JP2008108207A patent/JP4935746B2/ja not_active Expired - Fee Related
- 2008-12-29 US US12/345,004 patent/US8385407B2/en not_active Expired - Fee Related
- 2008-12-29 EP EP20080172976 patent/EP2109318A3/en not_active Withdrawn
-
2013
- 2013-01-18 US US13/744,560 patent/US20130128991A1/en not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004274732A (ja) * | 2003-02-19 | 2004-09-30 | Matsushita Electric Ind Co Ltd | 動画像符号化方法、及び、動画像復号化方法 |
| JP2007116729A (ja) * | 2004-07-01 | 2007-05-10 | Mitsubishi Electric Corp | 映像情報記録媒体 |
| JP2006129177A (ja) * | 2004-10-29 | 2006-05-18 | Victor Co Of Japan Ltd | 記録装置及び記録媒体 |
| JP2007067842A (ja) * | 2005-08-31 | 2007-03-15 | Victor Co Of Japan Ltd | 動画像符号化データ編集装置および動画像符号化データ編集方法 |
| JP2007318615A (ja) * | 2006-05-29 | 2007-12-06 | Toshiba Corp | 動画再生装置、動画再生方法およびプログラム |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017225159A (ja) * | 2012-09-28 | 2017-12-21 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | ビデオコーディングにおける関心領域および漸次復号リフレッシュのシグナリング |
| JP2016539600A (ja) * | 2013-10-14 | 2016-12-15 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法 |
| US10212435B2 (en) | 2013-10-14 | 2019-02-19 | Qualcomm Incorporated | Device and method for scalable coding of video information |
| JP2018074349A (ja) * | 2016-10-28 | 2018-05-10 | 住友電気工業株式会社 | 映像処理装置、映像処理方法および映像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4935746B2 (ja) | 2012-05-23 |
| US20130128991A1 (en) | 2013-05-23 |
| EP2109318A2 (en) | 2009-10-14 |
| EP2109318A3 (en) | 2011-08-31 |
| US8385407B2 (en) | 2013-02-26 |
| US20090252218A1 (en) | 2009-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4935746B2 (ja) | 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法 | |
| US20210092441A1 (en) | Signaling of state information for a decoded picture buffer and reference picture lists | |
| US10893288B2 (en) | Decoders and methods thereof for managing pictures in video decoding process | |
| JP6148293B2 (ja) | 参照ピクチャ信号伝送 | |
| JP5624693B2 (ja) | 絶対的又は明示的な参照ピクチャ信号伝送 | |
| TWI587693B (zh) | 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體 | |
| US10484711B2 (en) | Dependent random access point pictures | |
| US10075726B2 (en) | Video decoding method/device of detecting a missing video frame | |
| US9094690B2 (en) | Inter-prediction method and video encoding/decoding method using the inter-prediction method | |
| RU2689327C1 (ru) | Способ и устройство для определения набора опорных картинок изображения | |
| JP2009207163A (ja) | 復号装置および方法、記録媒体 | |
| US8731065B2 (en) | Dynamic image stream processing method and device, and dynamic image reproduction device and dynamic image distribution device using the same | |
| JP2013229674A (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び画像復号プログラム | |
| JP2022123031A (ja) | 符号化装置、符号化方法、及び符号化プログラム | |
| US20080019446A1 (en) | Video coding | |
| JP5743968B2 (ja) | 動画像復号方法及び動画像符号化方法 | |
| JP2007096541A (ja) | 符号化方法 | |
| EP2805490A1 (en) | Output of decoded reference pictures | |
| JP2006014288A (ja) | 動きベクトル符号化装置、方法、プログラム及び媒体 | |
| US9491483B2 (en) | Inter-prediction method and video encoding/decoding method using the inter-prediction method | |
| US20140233653A1 (en) | Decoder and encoder for picture outputting and methods thereof | |
| JP2010130402A (ja) | 映像符号化装置及び映像復号化装置 | |
| JPWO2009130971A1 (ja) | 動画像符号化装置および動画像復号装置 | |
| JP2009177288A (ja) | 映像信号変換装置および映像信号変換方法 | |
| CN104718747A (zh) | 用于媒体传输和存储的视频扫描格式信息的封装 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110118 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111102 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120124 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |