CN104170390B - 用于视频编码参考图像列表的用信号发送和建构的方法及装置 - Google Patents

用于视频编码参考图像列表的用信号发送和建构的方法及装置 Download PDF

Info

Publication number
CN104170390B
CN104170390B CN201380006165.3A CN201380006165A CN104170390B CN 104170390 B CN104170390 B CN 104170390B CN 201380006165 A CN201380006165 A CN 201380006165A CN 104170390 B CN104170390 B CN 104170390B
Authority
CN
China
Prior art keywords
list
reference picture
picture list
pic
ref
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380006165.3A
Other languages
English (en)
Other versions
CN104170390A (zh
Inventor
叶琰
Y·何
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47561871&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN104170390(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Priority to CN201810359032.9A priority Critical patent/CN108462881B/zh
Publication of CN104170390A publication Critical patent/CN104170390A/zh
Application granted granted Critical
Publication of CN104170390B publication Critical patent/CN104170390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Abstract

用于时间预测的参考图像的用信号发送的改进方法及装置。用于HEVC工作草案(WD5)中的不同参考图像列表的用信号发送方案和建构过程被改进。

Description

用于视频编码参考图像列表的用信号发送和建构的方法及 装置
相关申请的交叉引用
本申请为2012年1月19日提交的美国临时专利申请No.61/588,571的非临时申请,该申请的内容通过引用结合于此。
背景技术
视频编码系统被广泛地用于压缩数字视频信号以减少这种信号的存储需要和/或传输带宽。在各种类型的视频解码系统(例如,基于区块、基于小波和基于对象(object-based)的系统)中,当今被广泛地使用和部署的是基于区块的混合视频编码系统。基于区块混合视频编码系统的示例包括国际视频编码标准(例如,MPEG1/2/4部分2、H.264/MPEG-4部分10AVC[1][3]和VC-1[2]标准)。
图1是通用基于区块混合视频编码系统的方框图。输入视频信号102逐区块被处理。在所有现有视频编码标准中,视频区块单元由16×16像素组成;这种区块单元通常还被称为宏区块或MB。目前,ITU-T/SG16/Q.6/VCEG的JCT-VC(视频编码联合协作组)和ISO/IEC/MPEG正在开发下一代视频编码标准(称为高效视频编码)或HEVC[4]。在HEVC中,扩展的区块大小(称为“编码单元”或CU)被用于有效地压缩高分辨率(1080p及以上)视频信号。在HEVC中,CU可以多达64×64像素。CU可以被进一步分割成预测单元或PU,对于其应用单独的预测方法。对于每个输入视频区块(MB或CU),空间预测(160)和/或时间预测(temporalprediction)(162)可以被执行。空间预测(或“帧内预测(intra prediction)”)使用来自在相同视频图像/切片(slice)中的已经编码的邻近区块的像素来预测当前视频区块。空间预测减少在视频信号中固有的空间冗余。时间预测(也被称为“帧间预测(interprediction)”或“运动补偿预测”)使用来自已经编码的视频图像(通常称为参考图像)的像素来预测当前视频区块。时间预测减少在视频信号中固有的时间冗余。给定视频区块的时间预测信号通常由一个或多个运动向量用信号发送,运动向量用于指示在参考图像中的当前区块和其预测区块之间的运动量和方向。此外,如果多个参考图像是被支持的(例如H.264/AVC或HEVC等的针对近期视频编码标准的情况),则对于每个视频区块,其参考图像索引被附加地发送。参考图像索引识别将从参考图像存储(164)(也被称为“解码的图像缓冲”或DPB)中的哪个参考图像获得时间预测信号,以为了生成将被重构的当前视频区块的预测。在空间和/或时间预测后,在编码器中的模式决定区块(180)选择最佳预测模式,例如,基于速率失真优化的方法。预测区块之后被从当前视频区块中减去(116);以及预测残差被变换(104)和量化(106)。量化的残差系数被逆量化(110)和逆变换(112)以形成重构的残差,其之后被加回到预测区块(126)以形成重构的视频区块。进一步地,环路(in-loop)滤波器(166)(例如解块滤波器、采样自适应偏移、和自适应环路滤波器)可以在重构的视频区块置于参考图像存储(164)中并用于编码未来的视频区块之前被应用到重构的视频区块。为了形成输出视频比特流120,编码模式(帧间或帧内)、预测模式信息、运动信息、和量化的残差系数都被发送到熵编码单元(108)以被进一步压缩和分组(packed)以形成比特流。
图2给出了基于区块视频解码器的常规方框图。视频比特流202首先未被分组且在熵解码单元(208)处被熵解码。编码模式和预测信息被发送到空间预测单元260(如果帧内编码)或时间预测单元262(如果帧间编码)以形成预测区块。如果帧间编码,预测信息包括预测区块大小、一个或多个运动向量(指示方向和运动量)、和一个或多个参考索引(指示预测信号将从哪个参考图像中获得)。运动补偿预测之后由时间预测单元262来应用以形成时间预测区块。残差变换系数被发送到逆量化单元210和逆变换单元212来重构残差区块。预测区块和残差区块之后在226处相加。重构的区块还可以在将其存储在参考图像存储264中之前经过环路滤波器。在参考图像存储中的重构视频之后被发出以驱动显示装置,也用于预测未来的视频区块。
发明内容
这里描述了提供灵活性以改进用于时间预测的参考图像的用信号发送的方法和系统(参见图1中的方框162和图2中的方框262)。具体地,用于HEVC工作草案(WD5)[4][5]中的不同参考图像列表的用信号发送方案和建构过程被改进。
根据一种实施方式,一种生成参考图像列表L0和L1以解码视频数据内的预测图像的方法,该方法包括:从解码的图像缓冲(DPB)中生成经排序的第一参考图像列表,其中所述列表按下述方式来排序:时间上在当前图像之前的所述DPB中的参考图像,如果有的话,按与所述当前图像的时间距离的顺序列出,接着是时间上在所述当前图像之后的所述DPB中的参考图像,如果有的话,按与所述当前图像的时间距离的顺序列出,接着是所述DPB中的长期参考图像,如果有的话,按它们在所述DPB中存储的顺序列出;从所述解码的图像缓冲(DPB)中生成经排序的第二参考图像列表,其中所述列表按下述方式来排序:时间上在所述当前图像之后的所述DPB中的参考图像,如果有的话,首先按离所述当前图像的时间距离的顺序列出,接着是时间上在所述当前图像之前的所述DPB中的参考图像,如果有的话,按离所述当前图像的时间距离的顺序列出,接着是所述DPB中的长期参考图像,如果有的话,以它们在所述DPB中存储的顺序列出;通过分别从经排序的第一列表和经排序的第二列表中选择参考图像而生成列表L0和L1中的至少一者。
根据另一种实施方式,一种用于初始化用于参考图像列表的解码器以解码P或B切片头的方法,该方法包括:通过以下方式建构第一临时列表,RefPicSetCurrTempList0:
根据又一种实施方式,一种用信号发送修改到多个参考图像列表的方法,该方法包括使用统一的信令句法规则用信号发送所述修改到所述多个参考图像列表。
根据再一种实施方式,一种方法包括:确定参考图像列表中的条目数量;生成消息,该消息包括用于识别所述参考图像列表中的条目的值,其中如果所述参考图像列表中的条目数量为两个则所述值由单个比特表示,如果所述参考图像列表中的条目数量为三个或更多个则所述值由多个比特表示,而如果所述参考图像列表中的条目数量为一个则所述消息省略所述值。
根据再一种实施方式,一种创建参考图像的组合的列表LC的方法,该参考图像的组合的列表LC将被用于解码来自第一参考图像列表L0和第二参考图像列表L1的P或B图像,该方法包括:确定L0是否包含多于一个条目;确定L1是否包含多于一个条目;如果L0或L1包含多于一个条目,则使用句法规则元素ref_idx_list_curr以指示L0和L1中的至少一者中的条目将被添加到LC;如果L0仅包含一个条目,则设定ref_idx_list_curr为0;如果L1仅包含一个条目,则设定ref_idx_list_curr为0;以及使用ref_idx_list_curr的值创建LC。
附图说明
更详细的理解可以从以下结合附图并且举例给出的描述中得到,其中:
图1是基于区块混合视频编码方案的方框图,其中可以结合本发明的实施方式;
图2是基于区块视频解码方案的方框图,其中可以结合本发明的实施方式;
图3描述了根据现有技术的根据参考图像存储的时间单预测(uniprediction),该参考图像存储包含多个参考图像;
图4描述了根据现有技术使用多个参考图像的时间双预测;
图5是根据现有技术的建构组合的参考图像列表的过程的流程图;
图6示出了根据有关图5中所描述的过程的建构组合的参考图像列表的示例过程;
图7示出了根据现有技术的建构组合、的参考图像列表的示例修改过程;
图8是根据现有技术使用L0作为示例的针对L0和L1的参考图像列表修改的流程图;
图9是根据有关图8中所描述的过程的针对L0的示例参考_图像_列表_修改(ref_pic_list_modification)过程;
图10是根据本发明实施方式的使用L0作为示例的参考图像列表修改的流程图;
图11是根据本发明的一种实施方式的原理的针对与图9中相同的示例的ref_pic_list_modification过程;
图12A是其中可以实施所公开的一个或多个实施方式的示例通信系统的系统图;
图12B是可以在图12A中示出的通信系统内使用的示例无线发射/接收单元(WTRU)的系统图;以及
图12C、图12D、和图12E是可以在图12A中示出的通信系统内使用的示例无线电接入网和示例核心网的系统图。
具体实施方式
如这里使用的,术语“时间预测”、“运动预测”、“运动补偿预测”、以及“帧间预测”被交替地使用;以及术语“参考图像存储”、“解码的图像缓冲”、以及“DPB”被交替地使用。
根据应用在H.264和HEVC WD5中的已知技术,视频区块的时间预测可以使用单预测技术或双预测技术被执行。为了根据这种技术执行预测,用信号发送和建构参考图像列表。对于单预测,可以存在单个参考图像列表,从该参考图像列表中预测当前图像中的区块。对于双预测,存在两个列表L0和L1,其中从每个列表中选择一个参考图像以形成在当前图像中的区块的预测。但进一步地,已经做出针对双预测技术的建议(但是在写入时不再结合在最新的HEVC WD9[9]中),该双预测技术包括对是第一二列表L0和L1的组合的第三列表的使用,这里称为列表LC。这里描述的是用于针对所有参考图像列表(L0、L1和/或LC)的修改句法规则的用信号发送的有效统一技术以及组合的参考图像列表的用信号发送的技术的方法和系统。
图3有助于用图表示出可以由帧间预测处理器(例如,在图1中的方框162)执行的根据单个参考图像列表301的单预测。根据单预测技术,参考图像列表301包含从邻近的已经编码的视频帧到视频区块(例如,区块304)的链路,以预测当前视频区块,以及由此可以利用时间相关性并移除在视频信号中固有的时间冗余。这些已经编码的视频帧存储在解码的图像缓冲(DPB,例如,在图1中的参考图像存储164)中。H.264/AVC和HEVC WD5允许多于一个参考图像的使用。在图3中,N个参考图像303的列表被标记为refn,n=0…N-1(参考n,n=0…N-1),可以用于预测在当前图像305中的视频区块307。假设refm被选作将使用运动向量(mvx,mvy)预测当前区块307的依据。时间预测以下式执行为:
P(x,y)=refm(x-mvx,y-mvy) (1)
其中,refm(x,y)是在参考图像refm中的位置(x,y)处的像素值,而P(x,y)是预测的区块。现有视频编码系统以分数像素(fractional pixel)精度[1][2][4]支持帧间预测。当运动向量(mvx,mvy)具有分数像素值时,应用插值滤波器以获得在分数像素位置处的像素值。
在等式(1)中,来自一个源(即refm)的时间预测,通常被称为单预测。其中使用单预测来预测在图像或切片中的所有区块的图像或切片(一组视频区块)通常被称为P图像或P切片。
为了改变时间预测的准确性,更多最新的基于区块视频编码系统还支持多假设预测,其中预测信号是通过将来自不同参考图像的多个预测信号进行组合而形成的。多假设预测通常使用的形式被称为双预测,其中两个预测信号(各自来自不同参考图像列表中的图像)被组合来形成对当前区块的预测。图4有助于示出双预测。特别地,两个参考图像列表(列表0401和列表1403)被用于预测在当前图像中的视频区块。列表0包含总共N0个图像404,而列表1包含总共N1个图像404。在图4中,来自列表0401的具有运动向量(mvx0,mvy0)的refm0和来自列表1403的具有运动向量(mvx1,mvy1)的refm1被选择以形成如等式(2)中的当前图像412的预测区块410的双预测:
其中,P0(x,y)和P1(x,y)分别是第一和第二预测区块407和408。如果使用双预测预测图像或切片中的至少一些区块(而可以使用单预测来预测其他区块),则图像或切片通常被称为B图像或B切片。双预测在所有最新的视频编码标准(例如,MPEG2/4、VC1、H.264、和HEVC)中得以支持。
预测之后,预测区块P(x,y)在第一加法器(summer)处(见图1中的116)从原始视频区块中被减去以形成预测残差区块。预测残差区块在变换单元104处被变换并且在量化单元106处被量化。量化的残差变换系数区块之后被发送到熵编码单元108而被熵编码以进一步降低比特率。熵编码的残差系数之后被分组以形成输出视频比特流120的一部分。
由于使用单预测预测所有区块,所以用于P图像/切片的参考图像列表的结构相对简单(意味着仅需要一个参考图像列表)。但在B图像/切片中,可使用双预测来预测一些区块,而使用单预测来预测其他区块。在HEVC中,用于双预测的参考图像列表(即,如在图4中的列表0(或L0)401和列表1(或L1)403)和H.264/AVC中的相同。但是,在如何形成用于B图像/切片的单预测的参考图像列表方面,HEVC不同于H.264/AVC。在H.264/AVC中,用于B图像/切片中的视频区块的单预测需要首先指示预测是来自L0还是来自L1,之后指示该特定列表的参考_索引(ref_idx)。在HEVC中,在第4次JCT-VC会议上,组合的参考图像列表的概念被提出[8]。组合的列表在这里公开的被称为LC,其通过将L0和L1组合在一起形成;之后LC充当在B图像/切片中使用单预测所预测的所有区块的唯一参考图像列表。
在当前HEVC中,组合的列表LC默认的以可替换地方式从L0和L1中获取唯一的图像而被形成以保证组合列表中最小的冗余。图5中给出了默认的组合列表生成的流程图。特别地,L0、L1、和LC的索引i、j和k分别在501处被初始化,它们作为两个列表L0和L1的大小。在决策503处,确定是否L0中的所有参考图像都已经被检查。如果没有,则进行到决策方框505,其中确定L0中的索引i处的参考图像是否已经在组合的列表LC中。如果没有,其被添加并且组合列表LC的索引(the index into combined list LC)被增加(507)。索引i也被增加(509)。另一方面,如果其已经在LC中,流程反而直接从505进行到509。接下来,关于列表L1的索引j处的参考图像基本上执行相同的过程。具体地,在决策511处,确定是否在L1中的所有参考图像都已经被检查。如果没有,则流程进行到决策方框513,其中确定L1的索引j处的参考图像是否已经在组合的列表LC中。如果没有,其被添加并且在LC的索引被增加(515)。L1的索引j也被增加(517)。另一方面,如果L1的索引j处的参考图像已经在LC中,流程反而直接从513进行到517。如在决策方框519处所示,通过交替地检查列表L0和L1的每个中的下一个参考图像来重复上述过程直到达到两个列表的末尾。
由图5的流程图所示的过程创建的组合的列表LC的示例在图6中给出。在该示例中,正在被编码的当前图像在时间上介于参考图像2和参考图像4之间。此外,L0包含下述顺序的参考图像:参考图像Ref2、Ref1和Ref4,而L1包含下述顺序的参考图像:参考图像Ref4、Ref5和Ref2的顺序的参考图像。接着在图5中的流程,图6中的示例通过以交替方式分别检查L0和L1中的3个参考图像中的每一个参考图像是否已经存在于LC中、以及添加所有之前未存在的参考图像到LC来形成组合的列表LC。作为结果,图6中的示例形成具有4个参考图像的组合的列表LC,通过以下述顺序添加到LC:L0中的第一个参考图像(Ref2)、L1中的第一个参考图像(Ref4)、L0中的第二个参考图像(Ref1)、L1中的第二个参考图像(Ref5),跳过了L0中的第三个参考图像(Ref4)是因为其已经被添加到LC,由于其与L1中的第一个参考图像是相同的图像,而跳过了L1中的第三个参考图像(Ref2)是因为其已经被添加到LC,由于其与L0中的第一个参考图像是相同的图像。
注意到图6中的列表L0、L1和LC的每一个列表中的参考图像的编码顺序都与显示顺序不同,例如参考图像Ref4和Ref5(显示顺序在后)在当前图像之前被编码。通过在列表L0和L1之间来回(ping-ponging)建构LC的默认过程确保LC中的每个条目代表在编码视频序列中的一个唯一的图像,因此确保了最小化冗余。
由于所述默认过程不支持参考图像重排序(也就是,具有与默认列表大小不同的列表大小、具有不同于默认过程排序的列表中的条目、在列表中重复一些条目、和/或从列表中移除一些条目等等),附加的句法规则元素在HEVC WD5中(见下表1)使用以支持组合的列表LC的修改过程。图7给出了组合的列表修改的两个示例,其中第一个示例示出了重排序的LC,而第二个示例示出了具有重复条目的和不同于默认LC大小(4个条目)的修改后的LC大小(3个条目)的LC。在HEVC WD5中,使用表1中的句法规则表来用信号发送组合的参考图像列表LC。
表1 WD5[4]中的参考图像列表组合句法规则
参考图像列表组合语义如下:
参考_图像_列表_组合_标记(ref_pic_list_combination_flag)等于1指示参考图像列表0和参考图像列表1被组合为用于区块或正在单预测的其他预测单元的附加的组合的参考图像列表。当该标记等于0时,其指示参考图像列表0和参考图像列表1是等同的,且因此参考图像列表0可以被用作组合的参考图像列表。组合的参考图像列表在表1中定义的循环开始处设定为空;
数量_参考_索引_lc_活动_减1+1(num_ref_idx_lc_active_minus1+1)指定从组合的参考图像列表中的参考图像列表0或参考图像列表1中选择的参考图像的数量;
参考_图像_列表_修改_标记_lc(ref_pic_list_modification_flag_lc)等于1指定句法规则元素图像_来自_列表_0_标记(pic_from_list_0_flag)和参考_索引_列表_当前(ref_idx_list_curr)呈现用于指定组合的参考图像列表的条目的到参考图像列表0和参考图像列表1的条目的映射;
ref_pic_list_modification_flag_lc等于0指定这些句法规则元素不被呈现。如HEVC WD5的子条款8.2.2.4中所指定的初始化组合的参考图像列表。
pic_from_list_0_flag指示添加到组合的参考图像列表的当前参考图像来自参考图像列表0或参考图像列表1。当该标记等于1时,图像来自参考图像列表0,且当前参考图像列表(CurrRefPicList)是参考图像列表0;当该标记等于0时,图像来自参考图像列表1,且CurrRefPicList是参考图像列表1;
ref_idx_list_curr指示CurrRefPicList中的图像的参考索引将被附加在参考图像列表组合的末尾。
参考图像列表L0和L1可以被修改。为了允许参考图像列表L0和L1的灵活使用,HEVC中支持默认建构过程和修改建构过程两者。对于L0和L1的当前参考图像列表建构和修改过程在2011年11月的第七次JCT-VC会议[6][7]中被展示且在HEVC WD5[4]中得以应用。对于HEVC WD5中的L0和L1的参考图像列表修改的句法规则在下表2中被给出并且在图8的流程图形式中得以表现。
表2 针对L0和L1的参考图像列表修改句法规则
参考图像列表修改语义如下:
句法规则元素列表_修改_指示(list_modification_idc)和参考_图像_设定_索引(ref_pic_set_idx)指定从初始参考图像列表到将被用于解码切片的参考图像列表的变化。
参考_图像_列表_修改_标记_l0(ref_pic_list_modification_flag_l0)等于1指定句法规则元素列表_修改_索引(list_modification_idc)呈现用于指定参考图像列表0,而ref_pic_list_modification_flag_l0等于0指示该句法规则元素不被呈现。当ref_pic_list_modification_flag_l0等于1时,list_modification_idc的次数不等于3,随后的ref_pic_list_modification_flag_l0不应超过num_ref_idx_l0_active_minus1+1。
参考_图像_列表_修改_标记_l1(ref_pic_list_modification_flag_l1)等于1指定句法规则元素list_modification_idc呈现用于指定参考图像列表1,而ref_pic_list_modification_flag_l1等于0指示该句法规则元素不被呈现。当ref_pic_list_modification_flag_l1等于1,list_modification_idc的次数不等于3,随后的ref_pic_list_modification_flag_l1不应超过num_ref_idx_l1_active_minus1+1。
list_modification_idc与参考_图像_设定_索引(ref_pic_set_idx)一起指定哪些参考图像被重映射。list_modification_idc的值在表3中被指定。紧随ref_pic_list_modification_flag_l0或ref_pic_list_modification_flag_l1之后的第一list_modification_idc的值不应等于3。
表3 针对参考图像列表的修改的list_modification_idc操作
ref_pic_set_idx指定由参考图像列表中的当前索引参考的参考图像的对RefPicSetStCurr0、RefPicSetStCurr1或RefPicSetLtCurr的索引。ref_pic_set_idx的值应处于0到最大_数量_参考_帧(max_num_ref_frames)的范围内。
图8示出了针对L0和L1的参考图像列表修改的流程图,使用L0作为示例。针对L0和L1的包括参考图像设定的定义(RefPicSetStCurr0、RefPicSetStCurr1和RefPicSetLtCurr)的详细修改过程可在HEVC WD5[4]和部分工作草案[6][7]中找到。下面以简单的术语定义图8的参考图像设定。
RefPicSetStCurr0:具有较早显示顺序的短期参考图像,即在当前图像之前(例如,图6中的Ref1和Ref2)
RefPicSetStCurr1:具有较晚显示顺序的短期参考图像,即在当前图像之后(例如,图6中的Ref4和Ref5)
RefPicSetLtCurr:长期参考图像(图6中未示出)
在801处,列表L0中的索引被初始化为0。在803处,读取ref_modification_idc。Ref_modification_idc可以具有4个值0、1、2、和3。值为3指示没有修改将被执行,以及修改过程可以结束。(由具有值0、1或2的ref_modification_idc用信号发送的期望的修改将在下面的有关步骤811、813和815得以解释)。因此,在决策步骤805中,如果ref_modification_idc被设定为3,则没有句法规则被读取。如果其是任何其他值,则在807处,ref_pic_set_idx被读取。其是DPB内的3组图像中的一组图像的索引(即,正被解码的当前图像“之前”的一组图像、“之后”的一组图像、或者一组长期图像)。(3组中特定的一组的选择将发生在步骤811、813和815,如下面进一步所说明的)。在决策步骤809,确定ref_modification_idc是0、1、或是2。如果是0,则在811处,列表L0中的当前索引处的在列表L0中的条目参考索引L0(RefIdxL0)被设定为具有较早显示顺序的短期参考图像(即,RefPicSetStCurr0),其驻留于DPB中的一组短期较早参考图像中的位置ref_pic_set_idc处。反之如果是1,则在813处,列表L0中的当前索引处的在列表L0中的条目RefIdxL0被设定为与正在编码的当前图像相比具有较晚显示顺序的短期参考图像(即,RefPicSetStCurr1),其驻留于DPB中的一组短期较晚参考图像中的位置ref_pic_set_idc处。最后,如果是2,则在815处,列表L0的当前索引处的在列表L0中的条目RefIdxL0被设定为长期参考图像(即,RefPicSetLtCurr),其驻留于DPB中的一组长期参考图像中的位置ref_pic_set_idc处。
在3种情况的每种情况中,流程之后进行到817,其中在条目刚修改后,列表L0中与刚修改的条目相同的图像有关的任何条目从L0中移除。在819处,列表L0中的索引被增加且流程返回到803。所述过程继续直到ref_modification_idc的值为3,其指示没有进一步地修改将被执行。
再次使用L0作为示例,图9示出了由图8的流程图概括的参考图像列表修改过程的结果,对于DPB包含:(1)在一组短期较早参考图像中的参考图像Ref2和Ref1(以该顺序),即RefPicSetStCurr0和(2)在一组短期较晚参考图像中的参考图像Ref4和Ref5(以该顺序),即RefPicSetStCurr1。出于简明和没有一般性损失的目的,图9中的示例没有考虑RefPicSetLtCurr,其涉及长期参考图像的使用,而是仅考虑由RefPicSetStCurr0和RefPicSetStCurr1指示的短期参考图像的使用。
如图9所示,默认列表L0将由下述顺序的参考图像组成:参考图像Ref2、Ref1、Ref4和Ref5。在图9的示例中,期望对L0中的最后条目的简单修改。一旦针对L0中的每一个和每个条目,图8的过程就需要从步骤803到819循环,包括首先的3个条目,不需要对它们进行改变并且针对每个用信号发送ref_modification_idc和ref_pic_set_idx,之后通过进一步用信号发送另一个值为3的ref_pic_set_idx以进一步用信号发送该过程结束。因此,第五个步骤被使用以达到目标修改的列表L0。除了最后一个步骤外的每一步骤,两个句法规则元素(list_modification_idc和ref_pic_set_idx)用信号被发送,以及附加的变量RefIdx被维持和增加。
此外,将针对LC(上述表1)的参考图像列表修改的过程与针对L0/L1(上述表2和表3)的参考图像列表修改的过程相比较,注意到HEVC WD5中的针对LC的修改过程与针对L0和L1的过程不同。特别地,针对LC的修改过程更明确,例如,在修改的LC内的每个条目显式地用信号发送,而不是用信号发送针对特定列表中的每个条目的两个句法规则元素(list_modification_idc和ref_pic_set_idx)。
这里描述的方法用于统一这些列表修改过程和用于提供针对L0和L1的、需要更少信令且更明确的修改过程。
在一种实施方式中,提供了一种用于改进参考图像列表组合过程效率的方法。表4示出了根据本发明实施方式的用于形成组合的参考图像列表的伪代码。从表1(形成组合的列表LC的HEVC WD5方法的伪代码)的变化用星号标记。
表4 参考图像列表组合句法规则
注意到仅当L0(如果pic_from_list_0_flag是1)或L1(如果pic_from_list_1_flag是0)包含多于一个条目时,句法规则ref_idx_list_curr用信号发送,因为如果对应列表(L0或L1)仅包含一个条目的情况下没有什么需要被发送。因此,信令量被减少。
此外,替代使用ue(v),使用te(v)是用信号发送ref_idx_list_curr更有效的方式,因为熵编码方法te(v)(H.264[1]中的子条款9.1)是针对类编码ref_idx句法规则元素特定设计的。Ue(v)(称为指数哥伦布码)可以使用3个比特来发送值1。但是,te(v)可以被用于首先确定ref_idx_list_curr中呈现的可能值的数量(通过查看L0和L1),且如果仅有两个值,则句法规则元素可以使用一个比特来发送。如果更多值被呈现,则ue(v)可以被使用。
换句话说,如果句法规则元素作为te(v)被编码,则首先确定句法规则元素的可能值的范围。如果句法规则元素的可能值的范围处于0和1之间,则仅使用一个比特来编码句法规则元素,因此节省了信令开销;相反,如果句法规则元素的范围处于0和x之间,且x大于1,则ue(v)被用于编码该句法规则元素。
因此,系统基于ref_idx_list_curr的可能值来做决定。如果仅有一个句法规则元素ref_idx_list_curr的可能值,则什么也不发送,因为这可能是由编码器和解码器基于其他值所确定的。如果有两个句法规则元素ref_idx_list_curr的可能值,则发送一个比特。相反,如果有三个或更多个句法规则元素ref_idx_list_curr的可能值,则ue(v)被用于编码ref_idx_list_curr。
因此,与HEVC WD5相比较在信令开销上的节省得以实现。
在进一步地实施方式中,单个协调的参考图像修改过程被公开,可以用于修改L0和L1。根据本发明实施方式,针对L0和L1的参考图像列表修改过程使用表5中所示的句法规则。相比于表2(即,针对HEVC WD5中的列表0和列表1的参考图像列表修改句法规则)的伪代码的改变标记有星号。
表5 针对列表0和列表1的参考图像列表修改句法规则
参考图像列表修改语义如下所述:
句法规则元素ref_pic_set_idx被用于指定从初始参考图像列表到修改的参考图像列表的改变。
ref_pic_list_modification_flag_l0等于1指定句法规则元素ref_pic_set_idx呈现用于指定参考图像列表0。
ref_pic_list_modification_flag_l0等于0指定该句法规则元素不被呈现。
ref_pic_list_modification_flag_l1等于1指定句法规则元素ref_pic_set_idx呈现用于指定参考图像列表1。
ref_pic_list_modification_flag_l1等于0指定该句法规则元素不被呈现。
ref_pic_set_idx指定参考图像设定当前临时列表X(RefPicSetCurrTempListX)中的索引将被置于参考图像列表LX(其中如果涉及列表L0则X为0,而如果涉及列表L1则X为1)的当前位置处。句法规则ref_pic_set_idx应当处于列表LX中的0到最大_数量_参考_帧-1(max_num_ref_frames-1)的范围内。如果句法规则元素ref_pic_set_idx不被呈现,则其被设定为0。
新过程在一些情况下大量减少了信令(且具体地,可能在大多数情况中)。简单的阐述,创造性的过程仅用信号发送DPB中的索引并且不需要附加信号来表示列表修改过程的结束,而不是针对列表中的每个条目用信号发送将被执行的修改类型和用信号发送将被使用的参考图像的DPB的索引(如在表2中的句法规则和图8的流程图)。
在如上表5中公开的过程涉及针对每个L0和/或L1的参考图像中间(intermediate)列表、RefPicSetCurrTempListX的使用,其中X取决于哪个修改的列表正在被考虑来表示0或1。在这种方案中,用于参考图像列表的修正的初始化过程被提供。这种初始化过程在解码P或B切片头(header)的时候被调用。当解码P或B切片时,至少有一个参考图像在RefPicSetStCurr0、RefPicSetStCurr1、或RefPicSetLtCurr中。
下列程序被执行以建构参考图像设定当前临时列表0(RefPicSetCurrTempList0):
如果ref_pic_list_modification_flag_l0为0,则没有来自默认列表L0的修改将被执行并且通过按顺序获取RefPicSetCurrTempList0中最前面的num_ref_idx_l0_active_minus1+1条目来建构默认参考图像列表0(RefPicList0)。另一方面,如果ref_pic_list_modification_flag_l0为1,则表5的参考图像列表L0的修改的过程被调用,使用RefPicSetCurrTempList0和num_ref_idx_l0_active_minus1作为输入,而RefPicList0(L0)作为输出。
简单来说,上述伪代码通过将之前、之后和长期图像的数量求和来确定在DPB中的参考图像的数量(即,NumRpsCurrTempList),并且之后按照下述顺序放置图像:先放置之前的图像(按照距离当前图像最近的时间距离到最远的时间距离的顺序)、接着是之后的图像(也按照距离当前图像最近的时间距离到最远的时间距离的顺序)、接着是长期参考图像。
下列程序被执行以建构参考图像设定临时列表1(RefPicSetCurrTempList1):
如果ref_pic_list_modification_flag_l1为0,则没有来自默认列表L1的修改将被执行并且通过按顺序获取RefPicSetCurrTempList1中最前面的num_ref_idx_l1_active_minus1+1条目来建构默认参考图像列表1(RefPicList1)。另一方面,如果ref_pic_list_modification_flag_l1为1,则表5的参考图像列表L1的修改的修改过程被调用,使用RefPicSetCurrTempList1和num_ref_idx_l1_active_minus1作为输入,而RefPicList1(L1)作为输出。
简单来说,上述伪代码通过将之前、之后和长期图像的数量求和来确定在DPB中的参考图像的数量(即,NumRpsCurrTempList),并且之后按照下述顺序放置图像:先放置之后的图像(按照距离当前图像最近的时间距离到最远的时间距离的顺序)、接着是之前的图像(也按照距离当前图像最近的时间距离到最远的时间距离的顺序)、接着是长期参考图像。
注意的是,两个列表RpsCurrTempLX的创建即使是在那些将不对参考图像列表L0和L1进行修改的情况下也是有益的,因为,在如此情况下,由于条目针对列表L0和L1已经分别是以默认顺序,因此参考图像列表L0和L1可以通过在RpsCurrTempLX中仅获取最前面几个条目而被简单的创建。
针对表5中反映的参考图像列表的修改过程接受上述参考图像阵列(RefPicSetCurrTempLX)和参考图像列表的大小(num_ref_idx_lX_active_minus1(其中X为0还是1取决于哪个列表正在被修改))作为输入。该过程的输出是包含修改的参考图像列表RefPicListX的阵列。
图10是示出了针对示例性列表L0根据表5的列表修改过程的流程图。该过程与针对列表L1的过程应是相似的。在1001处,列表L0中的索引被初始化为0。在1003处,确定临时列表RefPicSetCurrTempL0是否包含多于一个条目(因为如果该列表仅包含单个条目,则ref_pic_set_idx的信令是没有必要的)。如果该列表仅包含一个条目,则流程进行到1004,其中ref_pic_set_idx不被用信号发送并且用默认来替代设定为0。反之,流程进行到1005,其中中间列表RefPicSetCurrTempList0的索引ref_pic_set_idx被读取。在1007处,在当前索引处的修改的列表L0中的条目被设定为在RefPicSetCurrTempList0列表中的值,该RefPicSetCurrTempList0列表位于用信号发送的索引位置ref_pic_set_idx处。之后,修改的列表L0的索引被增加(1009)。在1011处,确定是否已经达到L0的末尾。如果没有,则流程返回到1003。如果是,则过程结束。
如之前所描述的,如果期望列表没有修改,则图10的过程不会执行并且RefPicSetCurrTempListX前面的num_ref_idx_lx_active_minus1+1条目简单地成为对应的列表LX。
图11示出了建议的参考图像列表方案如何在图9所示的相同示例中工作。将图11与图9进行比较,图11的修改过程使用了图9中的句法规则元素的数量的一半,即仅为列表L0中的每个条目用信号发送ref_pic_set_idx,而不是ref_pic_set_idx和list_modification_idc。
此外,图10的流程图所示出的过程与图8的流程图的过程相比更加明确,在某种意义上,其显式地用信号发送列表中的每个条目,并且不需要图8中的复杂过程。
这里所描述的系统和方法也很适合于通过有线和无线网络两者的视频流通信。有线网络是公知的。各种类型的无线设备和基础设施的概述将参考图12A-图12E来提供,其中网络的各种元件可以利用这里所描述的系统和方法。更具体地,如基站收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、站点控制器、接入点(AP)、无线路由器、媒体认知网络元件(MANE)等的基站,以及无线发射/接收单元(WTRU)可以生成和/或处理上述信令以传达编码的视频数据从一个实体到另一个实体。
图12A是在其中可实施一个或更多个实施方式的示例通信系统100的图。通信系统100可以是向多个无线用户提供内容,例如语音、数据、视频、消息发送、广播等的多接入系统。通信系统100可以使多个无线用户通过系统资源共享(包括无线带宽)访问这些内容。例如,通信系统100可使用一种或多种信道接入方法,如码分多址(CDMA),时分多址(TDMA),频分多址(FDMA),正交FDMA(OFDMA),单载波FMDA(SC-FDMA)等。
如图12A所示,通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d,无线电接入网(RAN)104,核心网106,公共交换电话网(PSTN)108、因特网110和其他网络112,但应该理解的是,公开的实施方式考虑到了任何数量的WTRU、基站、网络和/或网络元件。WTRU102a、102b、102c、102d的每一个可以是配置为在无线环境中运行和/或通信的任何类型的设备。作为示例,可以将WTRU102a、102b、102c、102d配置为传送和/或接收无线信号,并可以包括用户设备(UE)、移动站、基站、固定或者移动用户单元、寻呼器、蜂窝电话、个人数字助理(PDA)、智能电话、笔记本电脑、上网本、个人计算机、无线传感器、消费电子产品等等。
通信系统100还可以包括基站114a和基站114b。基站114a、114b的每一个都可以是配置为与WTRU102a、102b、102c、102d中的至少一个无线对接以便于接入一个或者多个通信网络,例如核心网106、因特网110、和/或网络112的任何设备类型。作为示例,基站114a、114b可以是基站收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、站点控制器、接入点(AP)、无线路由器等等。虽然基站114a、114b的每一个被描述为单独的元件,但是应该理解的是,基站114a、114b可以包括任何数量互连的基站和/或网络元件。
基站114a可以是RAN104的一部分,RAN104还可以包括其他基站和/或网络元件(未示出),例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。可以将基站114a和/或基站114b配置为在特定地理区域之内传送和/或接收无线信号,该区域可以被称为小区(未示出)。小区还可以被划分为小区扇区。例如,与基站114a关联的小区可以划分为三个扇区。因此,在一种实施方式中,基站114a可以包括三个收发信机,即每一个用于小区的一个扇区。在另一种实施方式中,基站114a可以使用多输入多输出(MIMO)技术,以及因此可以将多个收发信机用于小区的每一个扇区。
基站114a、114b可以通过空中接口116与WTRU102a、102b、102c、102d中的一个或者多个通信,该空中接口116可以是任何合适的无线通信链路(例如,射频(RF)、微波、红外(IR)、紫外线(UV)、可见光等)。可以使用任何合适的无线电接入技术(RAT)来建立空中接口116。
更具体地,如上所述,通信系统100可为多接入系统,并可使用一种或多种信道接入方案,如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如,RAN104中的基站114a和WTRU102a、102b、102c可以使用例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)的无线电技术,其可使用宽带CDMA(WCDMA)来建立空中接口116。WCDMA可包括例如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)的通信协议。HSPA可包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
在另一种实施方式中,基站114a和WTRU102a、102b、102c可以使用例如演进的UMTS陆地无线电接入(E-UTRA)的无线电技术,其可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口116。
在其他实施方式中,基站114a和WTRU102a、102b、102c可以使用例如IEEE802.16(即,全球微波互联接入(WiMAX))、CDMA2000、CDMA20001X、CDMA2000EV-DO、暂行标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、GSM演进的增强型数据速率(EDGE)、GSM EDGE(GERAN)等等的无线电技术。
图12A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或者接入点,例如,并且可以使用任何适当的RAT以促进局部区域中的无线连接,例如商业场所、住宅、车辆、校园等等。在一种实施方式中,基站114b和WTRU102c、102d可以实施例如IEEE802.11的无线电技术来建立无线局域网(WLAN)。在另一种实施方式中,基站114b和WTRU102c、102d可以使用例如IEEE802.15的无线电技术来建立无线个域网(WPAN)。在又一种实施方式中,基站114b和WTRU102c、102d可以使用基于蜂窝的RAT(例如,WCDMA,CDMA2000,GSM,LTE,LTE-A等)来建立微微小区或毫微微小区。如图12A所示,基站114b可以具有到因特网110的直接连接。因此,基站114b可以不需要经由核心网106而接入到因特网110。
RAN104可以与核心网106通信,所述核心网106可以是被配置为向WTRU102a、102b、102c、102d中的一个或多个提供语音、数据、应用、和/或基于网际协议的语音(VoIP)服务等的任何类型的网络。例如,核心网106可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分配等,和/或执行高级安全功能,例如用户认证。虽然图12A中未示出,应该理解的是,RAN104和/或核心网106可以与使用和RAN104相同的RAT或不同RAT的其他RAN进行直接或间接的通信。例如,除了连接到正在使用E-UTRA无线电技术的RAN104之外,核心网106还可以与使用GSM无线电技术的另一个RAN(未示出)通信。
核心网106还可以充当WTRU102a、102b、102c、102d接入到PSTN108、因特网110、和/或其他网络112的网关。PSTN108可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用公共通信协议的互联计算机网络和设备的全球系统,所述协议例如有传输控制协议(TCP)/网际协议(IP)网际协议组中的TCP、用户数据报协议(UDP)和IP。网络112可以包括由其他服务提供商拥有和/或运营的有线或无线通信网络。例如,网络112可以包括连接到一个或多个RAN的另一个核心网,该RAN可以使用和RAN104相同的RAT或不同的RAT。
通信系统100中的WTRU102a、102b、102c、102d的某些或全部可包括多模式能力,即WTRU102a、102b、102c、102d可包括用于在不同无线链路上与不同无线网络进行通信的多个收发信机。例如,图12A中示出的WTRU102c可被配置为与基站114a通信,基站114a可使用基于蜂窝的无线电技术,并与基站114b通信,基站114b可以使用IEEE802无线电技术。
图12B是WTRU102示例的系统图。如图12B所示,WTRU102可包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和其他外围设备138。应该理解的是,WTRU102可以在保持与实施方式一致时,包括前述元件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理、和/或使WTRU102运行于无线环境中的任何其他功能。处理器118可以耦合到收发信机120,所述收发信机120可耦合到发射/接收元件122。虽然图12B描述了处理器118和收发信机120是单独的部件,但是应该理解的是,处理器118和收发信机120可以一起集成在电子封装或芯片中。
发射/接收元件122可以被配置为通过空中接口116将信号发送到基站(例如,基站114a),或从基站(例如,基站114a)接收信号。例如,在一种实施方式中,发射/接收元件122可以是被配置为传送和/或接收RF信号的天线。在另一种实施方式中,发射/接收元件122可以是被配置为传送和/或接收例如IR、UV或可见光信号的发射器/检测器。在又一种实施方式中,发射/接收元件122可以被配置为传送和接收RF和光信号两者。应当理解,发射/接收元件122可以被配置为传送和/或接收无线信号的任何组合。
另外,虽然发射/接收元件122在图12B中描述为单独的元件,但是WTRU102可以包括任意数量的发射/接收元件122。更具体地,WTRU102可以使用MIMO技术。因此,在一种实施方式中,WTRU102可包括用于通过空中接口116传送和接收无线信号的两个或更多个发射/接收元件122(例如,多个天线)。
收发信机120可以被配置为调制要由发射/接收元件122传送的信号和/或解调由发射/接收元件122接收的信号。如上所述,WTRU102可以具有多模式能力。因此收发信机120可以包括使WTRU102经由多个例如UTRA和IEEE802.11的RAT通信的多个收发信机。
WTRU102的处理器118可以耦合到下述设备,并且可以从下述设备中接收用户输入数据:扬声器/麦克风124、键盘126、和/或显示器/触摸板128(例如,液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)。处理器118还可以输出用户数据到扬声器/麦克风124、键盘126和/或显示/触摸板128。另外,处理器118可以从任何类型的适当的存储器访问信息,并且可以存储数据到任何类型的适当的存储器中,例如不可移除存储器130和/或可移除存储器132。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器设备。可移除存储器132可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等等。在其他实施方式中,处理器118可以从在物理位置上没有位于WTRU102上,例如位于服务器或家用计算机(未示出)上的存储器访问信息,并且可以将数据存储在该存储器中。
处理器118可以从电源134接收功率,并且可以被配置为分配和/或控制到WTRU102中的其他部件的功率。电源134可以是给WTRU102供电的任何适当的设备。例如,电源134可以包括一个或多个干电池(例如,镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池、燃料电池等等。
处理器118还可以耦合到GPS芯片组136,GPS芯片组136可以被配置为提供关于WTRU102当前位置的位置信息(例如,经度和纬度)。另外,除来自GPS芯片组136的信息或作为其替代,WTRU102可以通过空中接口116从基站(例如,基站114a、114b)接收位置信息和/或基于从两个或更多个邻近基站接收的信号的定时来确定其位置。应当理解,WTRU102在保持实施方式的一致性时,可通过任何适当的位置确定方法获得位置信息。
处理器118还可以耦合到其他外围设备138,外围设备138可以包括一个或多个提供附加特征、功能和/或有线或无线连接的软件和/或硬件模块。例如,外围设备138可以包括加速计、电子罗盘、卫星收发信机、数字相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、蓝牙模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
图12C是根据实施方式的RAN104和核心网106的系统图。如上所述,RAN104可使用UTRA无线电技术通过空中接口116与WTRU102a、102b和102c通信。RAN104还可以与核心网106通信。如图12C所示,RAN104可以包括节点B140a、140b、140c,节点B140a、140b、140c的每一个包括一个或多个用于通过空中接口116与WTRU102a、102b、102c通信的收发信机。节点B140a、140b、140c的每一个可以与RAN104内的特定小区(未示出)关联。RAN104还可以包括RNC142a、142b。应当理解的是,RAN104在保持实施方式的一致性时,可以包括任意数量的节点B和RNC。
如图12C所示,节点B140a、140b可以与RNC142a通信。此外,节点B140c可以与RNC142b通信。节点B140a、140b、140c可以通过Iub接口分别与RNC142a、142b通信。RNC142a、142b可以通过Iur接口相互通信。RNC142a、142b的每一个可以被配置以控制其连接的各个节点B140a、140b、140c。另外,RNC142a、142b的每一个可以被配置以执行或支持其他功能,例如外环功率控制、负载控制、准入控制、分组调度、切换控制、宏分集、安全功能、数据加密等等。
图12C中所示的核心网106可以包括媒体网关(MGW)144、移动交换中心(MSC)146、服务GPRS支持节点(SGSN)148、和/或网关GPRS支持节点(GGSN)150。尽管前述元件的每一个被描述为核心网106的部分,应当理解的是,这些元件中的任何一个可以被除了核心网运营商之外的实体拥有或运营。
RAN104中的RNC142a可以通过IuCS接口连接至核心网106中的MSC146。MSC146可以连接至MGW144。MSC146和MGW144可以向WTRU102a、102b、102c提供到电路交换网络(例如PSTN108)的接入,以便于WTRU102a、102b、102c和传统陆地线路通信设备之间的通信。
RAN104中RNC142a还可以通过IuPS接口连接至核心网106中的SGSN148。SGSN148可以连接至GGSN150。SGSN148和GGSN150可以向WTRU102a、102b、102c提供到分组交换网络(例如因特网110)的接入,以便于WTRU102a、102b、102c和IP使能设备之间的通信。
如上所述,核心网106还可以连接至网络112,网络112可以包括由其他服务提供商拥有或运营的其他有线或无线网络。
图12D是根据另一种实施方式的RAN104和核心网106的系统图。如上所述,RAN104可使用E-UTRA无线电技术通过空中接口116与WTRU102a、102b、102c通信。RAN104还可以与核心网106通信。
RAN104可包括e节点B160a、160b、160c,但可以理解的是,RAN104可以包括任意数量的e节点B而保持与各种实施方式的一致性。e节点B160a、160b、160c的每一个可包括一个或多个用于通过空中接口116与WTRU102a、102b、102c通信的收发信机。在一种实施方式中,e节点B160a、160b、160c可以使用MIMO技术。因此,e节点B160a例如可以使用多个天线来向WTRU102a传送无线信号和/或从其接收无线信号。
e节点B160a、160b、160c的每一个可以与特定小区关联(未示出),并可以被配置为处理无线电资源管理决策、切换决策、在上行链路和/或下行链路中的用户调度等等。如图12D所示,e节点B160a、160b、160c可以通过X2接口相互通信。
图12D中所示的核心网106可以包括移动性管理网关(MME)162、服务网关164、和分组数据网络(PDN)网关166。虽然前述单元的每一个被描述为核心网106的一部分,应当理解的是,这些单元中的任意一个可以由除了核心网运营商之外的实体拥有和/或运营。
MME162可以经由S1接口连接到RAN104中的e节点B160a、160b、160c的每一个,并可以作为控制节点。例如,MME162可以负责WTRU102a、102b、102c的用户认证、承载激活/去激活、在WTRU102a、102b、102c的初始附着期间选择特定服务网关等等。MME162还可以提供控制平面功能,用于在RAN104和使用例如GSM或者WCDMA的其他无线电技术的其他RAN(未示出)之间切换。
服务网关164可经由S1接口连接到RAN104中的eNB160a、160b、160c的每一个。服务网关164通常可向/从WTRU102a、102b、102c路由和转发用户数据分组。服务网关164还可以执行其他功能,例如在e节点B间切换期间锚定用户平面、当下行链路数据对于WTRU102a、102b、102c可用时触发寻呼、管理和存储WTRU102a、102b、102c的上下文(context)等等。
服务网关164还可以连接到PDN网关166,PDN网关166可以向WTRU102a、102b、102c提供到分组交换网络(例如因特网110)的接入,以便于WTRU102a、102b、102c与IP使能设备之间的通信。
核心网106可以便于与其他网络的通信。例如,核心网106可以向WTRU102a、102b、102c提供到电路交换网络(例如PSTN108)的接入,以便于WTRU102a、102b、102c与传统陆地线路通信设备之间的通信。例如,核心网106可以包括IP网关(例如IP多媒体子系统(IMS)服务器),或者与之通信,该IP网关作为核心网106与PSTN108之间的接口。另外,核心网106可以向WTRU102a、102b、102c提供到网络112的接入,该网络112可以包括被其他服务提供商拥有和/或运营的其他有线或无线网络。
图12E是根据另一实施方式的RAN104和核心网106的系统图。RAN104可以是使用IEEE802.16无线电技术通过空中接口116与WTRU102a、102b、102c进行通信的接入服务网络(ASN)。如下面进一步将讨论的,WTRU102a、102b、102c,RAN104和核心网106的不同功能实体之间的通信链路可以被定义为参考点。
如图12E所示,RAN104可以包括基站170a、170b、170c和ASN网关172,但应当理解的是,RAN104可以包括任意数量的基站和ASN网关而与实施方式保持一致。基站170a、170b、170c的每一个可以与RAN104中特定小区(未示出)关联并可以包括一个或更多个通过空中接口116与WTRU102a、102b、102c通信的收发信机。在一个示例中,基站170a、170b、170c可以使用MIMO技术。因此,基站170a例如使用多个天线来向WTRU102a传送无线信号,或从其接收无线信号。基站170a、170b、170c可以提供移动性管理功能,例如切换(handoff)触发、隧道建立、无线电资源管理,业务分类、服务质量(QoS)策略执行等等。ASN网关172可以充当业务聚集点,并且负责寻呼、缓存用户文档(profile)、路由到核心网106等等。
WTRU102a、102b、102c和RAN104之间的空中接口116可以被定义为使用802.16规范的R1参考点。另外,WTRU102a、102b、102c的每一个可以与核心网106建立逻辑接口(未示出)。WTRU102a、102b、102c和核心网106之间的逻辑接口可以定义为R2参考点,其可以用于认证、授权、IP主机(host)配置管理和/或移动性管理。
基站170a、170b、170c的每一个之间的通信链路可以定义为包括便于WTRU切换和基站间转移数据的协议的R8参考点。基站170a、170b、170c和ASN网关172之间的通信链路可以定义为R6参考点。R6参考点可以包括用于促进基于与WTRU102a、102b、102c的每一个关联的移动性事件的移动性管理的协议。
如图12E所示,RAN104可以连接至核心网106。RAN104和核心网106之间的通信链路可以定义为包括例如便于数据转移和移动性管理能力的协议的R3参考点。核心网106可以包括移动IP本地代理(MIP-HA)174,认证、授权、计费(AAA)服务器176和网关178。尽管前述的每个元件被描述为核心网106的部分,应当理解的是,这些元件中的任意一个可以由不是核心网运营商的实体拥有或运营。
MIP-HA174可以负责IP地址管理,并可以使WTRU102a、102b、102c在不同ASN和/或不同核心网之间漫游。MIP-HA174可以向WTRU102a、102b、102c提供到分组交换网络(例如因特网110)的接入,以促进WTRU102a、102b、102c和IP使能设备之间的通信。AAA服务器176可以负责用户认证和支持用户服务。网关178可促进与其他网络互通。例如,网关178可以向WTRU102a、102b、102c提供电路交换网络(例如PSTN108)的接入,以促进WTRU102a、102b、102c和传统陆地线路通信设备之间的通信。此外,网关178可以向WTRU102a、102b、102c提供网络112的接入,其可以包括由其他服务提供商拥有或运营的其他有线或无线网络。
尽管未在图12E中示出,应当理解的是,RAN104可以连接至其他ASN,并且核心网106可以连接至其他核心网。RAN104和其他ASN之间的通信链路可以定义为R4参考点,其可以包括协调RAN104和其他ASN之间的WTRU102a、102b、102c的移动性的协议。核心网106和其他核心网之间的通信链路可以定义为R5参考点,其可以包括促进本地核心网和被访问核心网之间的互通的协议。
实施方式
在一种实施方式中,一种用于生成参考图像列表L0和L1以解码视频数据内的预测图像的方法被实施,该方法包括:从解码的图像缓冲(DPB)中生成经排序的第一参考图像列表,RefPicSetCurrTempList0,其中所述列表按下述方式来排序:时间上在所述当前图像之前的DPB中的参考图像,如果有的话,按与所述当前图像的时间距离的顺序列出,接着是时间上在所述当前图像之后的DPB中的参考图像,如果有的话,按与所述当前图像的时间距离的顺序列出,接着是在所述DPB中的长期参考图像,如果有的话,按它们在所述DPB中存储的顺序列出;从所述DPB中生成经排序的第二参考图像列表,RefPicSetCurrTempList1,其中所述列表按下述方式来排序:时间上在所述当前图像之后的所述DPB中的参考图像,如果有的话,首先按与所述当前图像的时间距离的顺序列出,接着是在时间上在所述当前图像之前的所述DPB中的参考图像,如果有的话,按与所述当前图像的时间距离的顺序列出,接着的是在所述DPB中的长期参考图像,如果有的话,以它们在所述DPB中存储的顺序列出;以及通过分别从RefPicSetCurrTempList0和RefPicSetCurrTempList1中选择参考图像而生成列表L0和L1中的至少一者。
根据该实施方式,该方法还可以包括:确定是否列表L0或列表L1是将要被修改的列表,其中:如果列表L0是将要被修改的列表,则生成列表L0包括:对于参考图像列表L0中的每个参考图像,接收所述经排序的第一列表的第一索引(receiving a first indexinto the first ordered list),并且列出在L0中对应条目处的所述经排序的第一列表中该索引处识别的所述参考图像;而如果列表L1是将要被修改的列表,则生成列表L1包括:对于参考图像列表L1中的每个参考图像条目,接收所述经排序的第二列表的第二索引,并且列出在L1中对应条目处的所述经排序的第二列表中在该索引处识别的所述参考图像。
前述实施方式中的一种或多种实施方式还可以包括,如果列表L0不是将要被修改的列表,则生成列表L0包括:按顺序从RefPicSetCurrTempList0获取多达第一指定条目数量的条目;而如果列表L1不是将要被修改的列表,则生成列表L1包括:按顺序从RefPicSetCurrTempList1获取多达第二指定条目数量的条目。
前述实施方式中的一种或多种实施方式还可以包括:其中所述确定包括读取关于列表L0的句法规则元素ref_pic_list_modification_flag_l0和关于列表L1的句法规则元素ref_pic_list_modification_flag_l1。
前述实施方式中的一种或多种实施方式还可以包括:其中所述第一索引和所述第二索引处于0到所述DPB中的图像数量的范围内。
前述实施方式中的一种或多种实施方式还可以包括:其中句法规则元素ref_pic_set_idx被用于指定所述第一索引和所述第二索引。
前述实施方式中的一种或多种实施方式还可以包括:读取句法规则元素,ref_pic_list_modification_flag_l1,其中ref_pic_list_modification_flag_l1等于指定所述句法规则元素ref_pic_set_idx被提出用于指定L1的第一值,并且其中ref_pic_list_modification_flag_l1等于指定该句法规则元素不被提出用于指定L1的第二值。
前述实施方式中的一种或多种实施方式还可以包括:读取句法规则元素,ref_pic_list_modification_flag_l0,其中ref_pic_list_modification_flag_l0等于指定所述句法规则元素ref_pic_set_idx被提出用于指定L0的第一值,并且其中ref_pic_list_modification_flag_l0等于指定该句法规则元素不被提出用于指定L0的第二值。
前述实施方式中的一种或多种实施方式还可以包括:读取句法规则元素,ref_pic_list_modification_flag_l1,其中ref_pic_list_modification_flag_l1等于指定所述句法规则元素ref_pic_set_idx被提出用于指定L1的第一值,并且其中ref_pic_list_modification_flag_l1等于指定该句法规则元素不被提出用于指定L1的第二值。
前述实施方式中的一种或多种实施方式还可以包括:其中如果所述第一索引不被提出,则所述第一索引被设定为0,而如果所述第二索引不被提出,则所述第二索引被设定为0。
在另一种实施方式中或结合前述任何实施方式,一种用于初始化用于参考图像列表的解码器以解码P或B切片头的方法,该方法可以包括:通过以下方式建构第一临时列表,RefPicSetCurrTempList0:
前述实施方式中的一种或多种实施方式还可以包括建构列表L0(RefPicList0),如果标记ref_pic_list_modification_flag_l0为0,则通过在RefPicSetCurrTempList0中获取第一num_ref_idx_l0_active_minus1+1条目来建构。
前述实施方式中的一种或多种实施方式还可以包括建构列表L0,如果标记ref_pic_list_modification_flag_l0为1,则通过调用使用RefPicSetCurrTempList0和num_ref_idx_l0_active_minus1作为输入的图像列表修改过程来建构。
前述实施方式中的一种或多种实施方式还可以包括:如果解码B切片头:
通过以下方式建构第二临时列表,RefPicSetCurrTempList1:
前述实施方式中的一种或多种实施方式还可以包括:建构列表L1(RefPicList1),如果标记(ref_pic_list_modification_flag_l1)为0,则通过在RefPicSetCurrTempList1中获取第一num_ref_idx_l1_active_minus1+1条目来建构。
前述实施方式中的一种或多种实施方式还可以包括:建构列表L1(RefPicList1),如果标记(ref_pic_list_modification_flag_l1)为1,则通过调用使用RefPicSetCurrTempList1和num_ref_idx_l1_active_minus1作为输入的参考图像列表修改过程来建构。
前述实施方式中的一种或多种实施方式还可以包括:其中所述参考图像列表修改过程被用于生成RefPicListX,其中X表明对应的列表0或1,其中:
设定refIdxLX作为参考图像列表RefPicListX的索引;以及
迭代地重复直到refIdxLX大于num_ref_idx_lX_active_minus1+1:
RefPicListX[refIdxLX++]=RefPicSetCurrTempLX[ref_pic_set_idx]。
在另一种实施方式中或结合前述任何实施方式,一种用信号发送修改到多个参考图像列表的方法,该方法可以包括使用统一的信令句法规则用信号发送所述修改到所述多个参考图像列表。
前述实施方式中的一种或多种实施方式还可以包括:其中所述多个参考图像列表包括L0、L1、和组合的列表LC。
前述实施方式中的一种或多种实施方式还可以包括:其中所述统一的信令句法规则包括使用熵编码方法来编码参考图像的索引。
前述实施方式中的一种或多种实施方式还可以包括:其中所述统一的信令句法规则包括使用te(v)来编码参考图像的所述索引。
另一种实施方式或结合前述任何实施方式,该方法可以包括:确定参考图像列表中的条目数量;生成消息,该消息包括用于识别所述参考图像列表中的条目的值,其中如果所述参考图像列表中的条目数量为两个则所述值由单个比特表示,如果所述参考图像列表中的条目数量为三个或更多个则所述值由多个比特表示,而如果所述参考图像列表中的条目数量为一个则所述消息省略所述值。
前述实施方式中的一种或多种实施方式还可以包括:其中当条目的数量为三个或更多个值时,所述值是ue(v)。
前述实施方式中的一种或多种实施方式还可以包括:其中所述索引由所述句法规则元素ref_idx_list_curr所指定。
在另一种实施方式中或结合前述任何实施方式,一种用于创建参考图像的组合的列表LC的方法,该参考图像的组合的列表LC将被用于解码来自第一参考图像列表L0和第二参考图像列表L1的B切片,该方法可以包括:确定L0是否包含多于一个条目;确定L1是否包含多于一个条目;如果L0或L1包含多于一个条目,则使用句法规则元素ref_idx_list_curr以指示L0和L1中的至少一者中的条目将被添加到LC;如果L0仅包含一个条目,则设定ref_idx_list_curr为0;如果L1仅包含一个条目,则设定ref_idx_list_curr为0;以及使用ref_idx_list_curr的值创建LC。
前述实施方式中的一种或多种实施方式还可以包括:其中所述确定L0是否包含多于一个条目包括:确定句法规则元素num_ref_idx_l0_active_minus1是0还是更多,而所述确定L1是否包含多于一个条目包括:确定句法规则元素num_ref_idx_l1_active_minus1是0还是更多。
结论
下列参考文献通过引用结合于此。
[1]ITU-T Rec H.264and ISO/IEC/MPEG4part10,Advanced video coding forgeneric audiovisual services,November2007
[2]SMPTE421M,“VC-1Compressed Video Bitstream Format and DecodingProcess,”April2006.
[3]JM reference software JM18.2,located at hypertext transferprotocol,colon,slash-slash iphome.hhi.de/suehring/tml/download/jm18.2.zip,November,2011.
[4]B.Bross,W.-J.Han,J.-R.Ohm,G.J.Sullivan,T.Wiegand.WD5:WorkingDraft5of High-Efficiency Video Coding.Document no JCTVC-G1103,November2011.
[5]K.McCann,S.Sekiguci,B.Bross,W.-J.Han,HM5:HEVC Test Model5EncoderDescription.Document no JCTVC-G1102,December2011.
[6]J.Boyce,R.Sjoberg,Y.K.Wang,BoG report:Reference picture bufferingand list construction.Document no JCTVC-G1002,November2011.
[7]D.Flynn,R.Sjoberg,et al,JCTVC AhG report:Reference picturebuffering and list construction.Document no JCTVC-G021,November2011.
[8]Y.Suzuki,et al,Extension of uni-prediction simplification in Bslices.Document no JCTVC-D421,January2011.
[9]B.Bross,W.-J.Han,J.-R.Ohm,G.J.Sullivan,T.Wiegand.WD9:WorkingDraft9of High-Efficiency Video Coding.Document no JCTVC-K1103,October2012.
虽然在上文中描述了采用特定组合的特征和元素,但是本领域普通技术人员将会了解,每一个特征或元素既可以单独使用,也可以与其他特征和元素进行任何组合。此外,这里描述的方法可以在结合到计算机可读介质中并供计算机或处理器执行的计算机程序、软件或固件中实施。永久的计算机可读存储介质的示例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、如内部硬盘和可移动磁盘之类的磁介质、磁光介质、以及如CD-ROM碟片和数字多用途碟片(DVD)之类的光介质。与软件相关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC或任何主计算机中使用的射频收发信机。
此外,在如上所述的实施方式中,处理平台、计算系统、控制器和其他包含处理器的设备被说明。这些设备可以包含至少一个中央处理单元(“CPU”)和存储器。根据计算机编程的本领域技术人员的实践,参考以动作以及操作或指令的符号表示可以通过各种CPU和存储器来执行。这种动作以及操作或指令可以被称为“执行”、“计算机执行”或“CPU执行”。
本领域技术人员可以理解的是,动作以及符号表示的操作或指令包括由CPU操控的电气信号。电气系统代表数据比特,该数据比特可以导致下列结果:电气信号的变换或减少及在存储器系统中的存储器位置处数据比特的维持,以从而重配置或反之改变CPU的操作,以及信号的其他处理。数据比特被维持的存储器位置是具有特定电气、磁力、光学、有机特性的、对应于或代表数据比特的物理位置。
数据比特还可以被维持计算机可读介质上,包括CPU可读的磁盘、光盘、和任何其他易失性(例如,随机存取存储器(RAM))或非易失性(例如,只读存储器(ROM))大存储系统。计算机可读介质可以包括协作和互连的计算机可读介质,其唯一地存在于处理系统上或分布在多个互连的处理系统之间,多个互连的处理系统可以位于本地或远程于该处理系统。应当理解的是,示例实施方式不限于上述存储器并且其他平台和存储器可以支持所描述的方法。
除非明确地这样描述,在本申请说明书中使用的元素、动作、或指令都不应解释为必不可少的和重要的。此外,如这里使用的,冠词“一”旨在包括一个或多个项。当旨在仅一个项时,术语“一个”或相似的语言被使用。进一步地,在这里使用的跟随着多个项的列表和/或多个类别的项的列表的术语“任何”,旨在包括“任何”、“任何组合”、“任何多个”、和/或“任何多个组合”的项和/或项类别,单独地或结合其他项和/或其他类别的项。进一步地,如这里使用的,术语“组”旨在包括任何数量的项,包括零。进一步地,如这里使用的,术语“数量”旨在包括任何数量,包括零。
此外,权利要求不应被局限于描述的顺序或元素来阅读,除非阐述了该效果。此外,在任何权利要求中的术语“手段”的使用旨在援引35U.S.C.§112,6,而没有措词“手段”的任何权利要求没有这样的含义。
虽然这里已经描述了根据UWB多带通信系统的系统和方法,可以设想其可以在微处理器/通用计算机(未示出)上的软件中被实施。在一些实施方式中,各种组件的一种或多种功能可以在控制通用计算机的软件中得以实施。

Claims (23)

1.一种用于生成参考图像列表以用于解码视频数据内的预测图像的方法,该方法包括:
从解码的图像缓冲DPB中生成临时的经排序的第一参考图像列表,其中所述列表按下述方式来排序:时间上在当前正在被解码的图像之前的所述DPB中的任何参考图像,按与所述当前正在被解码的图像的时间距离的顺序列出,接着是时间上在所述当前正在被解码的图像之后的所述DPB中的任何参考图像,按与所述当前正在被解码的图像的时间距离的顺序列出,接着是所述DPB中的长期参考图像,按它们在所述DPB中存储的顺序列出;
通过从所述临时的经排序的第一参考图像列表中选择参考图像而生成第一参考图像列表,其中,当所述第一参考图像列表是将要被修改的列表,生成所述第一参考图像列表包括:对于所述第一参考图像列表中的每个条目,读取针对所述临时的经排序的第一参考图像列表的第一索引,并且将来自所述临时的经排序的第一参考图像列表的被所述第一索引标识的所述参考图像列在所述第一参考图像列表中的所述条目处。
2.根据权利要求1所述的方法,该方法还包括:
读取指示所述第一参考图像列表是否是将要被修改的列表的数据。
3.根据权利要求2所述的方法,其中:
当所述第一参考图像列表不是将要被修改的列表,生成所述第一参考图像列表包括:按顺序从所述临时的经排序的第一参考图像列表获取多达第一指定条目数量的条目。
4.根据权利要求1至3中任意一项所述的方法,其中所述第一索引处于0到所述DPB中的图像数量的范围内。
5.根据权利要求1至3中任意一项所述的方法,其中所述第一索引被句法规则元素ref_pic_set_idx指定。
6.根据权利要求5所述的方法,该方法还包括:
读取句法规则元素ref_pic_list_modification_flag_l0,其中ref_pic_list_modification_flag_l0等于第一值指定所述句法规则元素ref_pic_set_idx被提出用于生成所述第一参考图像列表,并且其中ref_pic_list_modification_flag_l0等于第二值指定所述句法规则元素ref_pic_set_idx不被提出用于生成所述第一参考图像列表。
7.根据权利要求6所述的方法,其中如果ref_pic_set_idx不被提出,则所述第一索引被设定为0。
8.一种用于解码视频数据内的预测图像的视频解码装置,包括:
处理器,被配置成从解码的图像缓冲DPB中生成临时的经排序的第一参考图像列表,其中所述列表按下述方式来排序:时间上在当前正在被解码的图像之前的所述DPB中的任何参考图像,按与所述当前正在被解码的图像的时间距离的顺序列出,接着是时间上在所述当前正在被解码的图像之后的所述DPB中的任何参考图像,按与所述当前正在被解码的图像的时间距离的顺序列出,接着是所述DPB中的任何长期参考图像,按它们在所述DPB中存储的顺序列出;以及
所述处理器还被配置成通过从所述临时的经排序的第一参考图像列表中选择参考图像生成第一参考图像列表,其中,当所述第一参考图像列表是将要被修改的列表,生成所述第一参考图像列表包括:对于所述第一参考图像列表中的每个条目,读取针对所述临时的经排序的第一参考图像列表的第一索引,并且将来自所述临时的经排序的第一参考图像列表的被所述第一索引标识的所述参考图像列在所述第一参考图像列表中的所述条目处。
9.根据权利要求8所述的解码装置,其中所述处理器还被配置成:读取指示所述第一参考图像列表是否是将要被修改的列表的数据。
10.根据权利要求9所述的解码装置,其中所述处理器还被配置成:如果所述第一参考图像列表不是将要被修改的列表,通过按顺序从所述临时的经排序的第一参考图像列表获取多达第一指定条目数量的条目生成所述第一参考图像列表。
11.根据权利要求9所述的解码装置,其中所述处理器还被配置成:通过读取句法规则元素ref_pic_list_modification_flag_l0确定所述第一参考图像列表是否是将要被修改的列表。
12.根据权利要求8至11中任意一项所述的解码装置,其中所述第一索引处于0到所述DPB中的图像数量的范围内。
13.根据权利要求8至11中任意一项所述的解码装置,其中所述第一索引被句法规则元素ref_pic_set_idx指定。
14.根据权利要求13所述的解码装置,所述处理器还被配置成:读取句法规则元素ref_pic_list_modification_flag_l0,其中ref_pic_list_modification_flag_l0等于第一值指定所述句法规则元素ref_pic_set_idx被提出用于生成所述第一参考图像列表,并且其中ref_pic_list_modification_flag_l0等于第二值指定所述句法规则元素ref_pic_set_idx不被提出用于生成所述第一参考图像列表。
15.根据权利要求14所述的解码装置,其中如果ref_pic_set_idx不被提出与所述第一参考图像列表关联,则所述第一索引被设定为0。
16.根据权利要求8所述的解码装置,其中所述处理器还被配置成从所述DPB中生成临时的经排序的第二参考图像列表,其中所述临时的经排序的第二参考图像列表按下述方式来排序:时间上在所述当前正在被解码的图像之后的所述DPB中的任何参考图像,按与所述当前正在被解码的图像的时间距离的顺序列出,接着是时间上在所述当前正在被解码的图像之前的所述DPB中的任何参考图像,按与所述当前正在被解码的图像的时间距离的顺序列出,接着是所述DPB中的任何长期参考图像,按它们在所述DPB中存储的顺序列出;以及
其中所述处理器还被配置成生成第二参考图像列表,其中,当所述第二参考图像列表是将要被修改的列表,生成所述第二参考图像列表包括:对于所述第二参考图像列表中的每个条目,接收针对所述临时的经排序的第二参考图像列表的第二索引,并且将在所述临时的经排序的第二参考图像列表中的被所述第二索引标识的所述参考图像列在所述第二参考图像列表中的所述条目处。
17.根据权利要求16所述的解码装置,其中所述处理器还被配置成:读取指示所述第二参考图像列表是否是将要被修改的列表的数据。
18.根据权利要求17所述的解码装置,其中所述处理器还被配置成:当所述第二参考图像列表不是将要被修改的列表,生成所述第二参考图像列表包括按顺序从所述临时的经排序的第二参考图像列表获取多达第二指定条目数量的条目。
19.根据权利要求17所述的解码装置,其中所述处理器还被配置成:通过读取句法规则元素ref_pic_list_modification_flag_11确定所述第二参考图像列表是否是将要被修改的列表。
20.根据权利要求16至19中任意一项所述的解码装置,其中所述第二索引处于0到所述DPB中的图像数量的范围内。
21.根据权利要求16至19中任意一项所述的解码装置,其中所述第二索引被句法规则元素ref_pic_set_idx指定。
22.根据权利要求21所述的解码装置,其中所述处理器还被配置成:读取句法规则元素ref_pic_list_modification_flag_11,其中ref_pic_list_modification_flag_11等于第一值指定所述句法规则元素ref_pic_set_idx被提出用于生成所述第二参考图像列表,并且其中ref_pic_list_modification_flag_11等于第二值指定所述句法规则元素ref_pic_set_idx不被提出用于生成所述第二参考图像列表。
23.根据权利要求22所述的解码装置,其中如果ref_pic_set_idx不被提出与所述第二参考图像列表关联,则所述第二索引被设定为0。
CN201380006165.3A 2012-01-19 2013-01-10 用于视频编码参考图像列表的用信号发送和建构的方法及装置 Active CN104170390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810359032.9A CN108462881B (zh) 2012-01-19 2013-01-10 用于生成参考图像列表的方法及视频编码器装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261588571P 2012-01-19 2012-01-19
US61/588,571 2012-01-19
PCT/US2013/021014 WO2013109460A1 (en) 2012-01-19 2013-01-10 Method and apparatus for signaling and construction of video coding reference picture lists

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810359032.9A Division CN108462881B (zh) 2012-01-19 2013-01-10 用于生成参考图像列表的方法及视频编码器装置

Publications (2)

Publication Number Publication Date
CN104170390A CN104170390A (zh) 2014-11-26
CN104170390B true CN104170390B (zh) 2018-05-08

Family

ID=47561871

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810359032.9A Active CN108462881B (zh) 2012-01-19 2013-01-10 用于生成参考图像列表的方法及视频编码器装置
CN201380006165.3A Active CN104170390B (zh) 2012-01-19 2013-01-10 用于视频编码参考图像列表的用信号发送和建构的方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810359032.9A Active CN108462881B (zh) 2012-01-19 2013-01-10 用于生成参考图像列表的方法及视频编码器装置

Country Status (11)

Country Link
US (4) US9467695B2 (zh)
EP (5) EP3917140B1 (zh)
JP (5) JP6480185B2 (zh)
KR (7) KR102559468B1 (zh)
CN (2) CN108462881B (zh)
AU (2) AU2013209989B2 (zh)
ES (2) ES2689045T3 (zh)
MX (1) MX338055B (zh)
PL (2) PL3917140T3 (zh)
TW (7) TWI741503B (zh)
WO (1) WO2013109460A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108462881A (zh) * 2012-01-19 2018-08-28 Vid拓展公司 用于生成参考图像列表的方法及视频编码器装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9420307B2 (en) * 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
US9549177B2 (en) * 2012-04-11 2017-01-17 Google Technology Holdings LLC Evaluation of signaling of collocated reference picture for temporal prediction
JP6065613B2 (ja) * 2013-01-29 2017-01-25 富士通株式会社 動画像符号化装置
US20150172669A1 (en) * 2013-03-15 2015-06-18 KASAH Technology, Inc. System and method for processing compressed images and video for improved data communication
US10412387B2 (en) * 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
KR102206504B1 (ko) * 2015-04-29 2021-01-22 에이치에프아이 이노베이션 인크. 인트라 블록 복사 참조 리스트 구축을 위한 방법 및 장치
WO2020059687A1 (en) * 2018-09-21 2020-03-26 Sharp Kabushiki Kaisha Systems and methods for signaling reference pictures in video coding
CN111726632B (zh) * 2019-03-18 2022-08-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2022270978A1 (ko) 2021-06-25 2022-12-29 전남대학교 산학협력단 지방분해효소 억제제를 포함하는 rna 바이러스 감염증 예방 또는 치료용 약제학적 조성물
CN116881183A (zh) * 2023-09-06 2023-10-13 北京融为科技有限公司 译码数据处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547368A (zh) * 2009-04-24 2009-09-30 炬力集成电路设计有限公司 一种图像中参考帧的处理装置、方法以及解码器

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1190081C (zh) * 1997-03-17 2005-02-16 松下电器产业株式会社 发送和接收动态图像数据的方法及其设备
JP2003259369A (ja) 2002-02-28 2003-09-12 Techno Mathematical Co Ltd 動画像の電子透かしを用いたエラー隠蔽方法
CN1312927C (zh) * 2002-07-15 2007-04-25 株式会社日立制作所 动态图像编码方法及解码方法
KR100679740B1 (ko) 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
CN102263962A (zh) 2004-12-10 2011-11-30 韩国电子通信研究院 对多视图视频进行统一编码的装置
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
CN101491095B (zh) * 2006-03-30 2013-07-10 Lg电子株式会社 用于解码/编码视频信号的方法和装置
US20100091845A1 (en) 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
KR100959538B1 (ko) 2006-03-30 2010-05-27 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US8532178B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
WO2008123917A2 (en) * 2007-04-04 2008-10-16 Thomson Licensing Reference picture list management
US10298952B2 (en) 2007-08-06 2019-05-21 Interdigital Madison Patent Holdings Methods and apparatus for motion skip move with multiple inter-view reference pictures
WO2009130561A1 (en) * 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
TWI387347B (zh) * 2009-02-18 2013-02-21 Novatek Microelectronics Corp 圖像解碼器,參考圖資訊溝通介面以及參考圖控制方法
WO2010131537A1 (ja) * 2009-05-11 2010-11-18 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、方法およびプログラム、並びに、動画像復号化装置、方法およびプログラム
US20100296579A1 (en) * 2009-05-22 2010-11-25 Qualcomm Incorporated Adaptive picture type decision for video coding
US9100658B2 (en) 2009-12-17 2015-08-04 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for video coding
CN105847780B (zh) * 2010-07-21 2018-01-09 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
US9008176B2 (en) 2011-01-22 2015-04-14 Qualcomm Incorporated Combined reference picture list construction for video coding
US20120230409A1 (en) * 2011-03-07 2012-09-13 Qualcomm Incorporated Decoded picture buffer management
US20140003521A1 (en) 2011-03-11 2014-01-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding images and method and apparatus for decoding
EP2760205B1 (en) 2011-09-19 2020-11-04 Sun Patent Trust Image decoding method, image decoding device
US9451284B2 (en) * 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
US20130094774A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
KR102559468B1 (ko) * 2012-01-19 2023-07-24 브이아이디 스케일, 인크. 비디오 코딩 기준 화상 목록들을 시그널링하고 구성하는 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547368A (zh) * 2009-04-24 2009-09-30 炬力集成电路设计有限公司 一种图像中参考帧的处理装置、方法以及解码器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AHG21: On DPB management;Ye-Kui Wang et al.;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting: Geneva, CH, 21-30 November, 2011,Document: JCTVC-G314》;20111130;全文 *
WD5: Working Draft 5 of High-Efficiency Video Coding;Benjamin Bross et al.;《Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting: Geneva, CH, 21–30 November, 2011,Document: JCTVC-G1103 》;20111130;全文 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108462881A (zh) * 2012-01-19 2018-08-28 Vid拓展公司 用于生成参考图像列表的方法及视频编码器装置

Also Published As

Publication number Publication date
JP2019088022A (ja) 2019-06-06
US11490074B2 (en) 2022-11-01
AU2017202286A1 (en) 2017-04-27
US20160381361A1 (en) 2016-12-29
JP7393474B2 (ja) 2023-12-06
KR20220146715A (ko) 2022-11-01
TWI634781B (zh) 2018-09-01
US10771780B2 (en) 2020-09-08
KR102460288B1 (ko) 2022-10-27
EP3624447B1 (en) 2021-05-26
KR102163103B1 (ko) 2020-10-08
TWI760276B (zh) 2022-04-01
US20130188697A1 (en) 2013-07-25
MX2014008573A (es) 2015-02-10
KR20220025300A (ko) 2022-03-03
TWI573445B (zh) 2017-03-01
KR20200115684A (ko) 2020-10-07
EP4224845A1 (en) 2023-08-09
US20200336737A1 (en) 2020-10-22
TW202031050A (zh) 2020-08-16
JP6480185B2 (ja) 2019-03-06
KR20190122874A (ko) 2019-10-30
CN108462881A (zh) 2018-08-28
ES2689045T3 (es) 2018-11-08
KR20210083385A (ko) 2021-07-06
TW202201965A (zh) 2022-01-01
US9467695B2 (en) 2016-10-11
JP2024009229A (ja) 2024-01-19
JP2020096387A (ja) 2020-06-18
CN104170390A (zh) 2014-11-26
KR102273741B1 (ko) 2021-07-05
PL3624447T3 (pl) 2021-11-22
JP2022105762A (ja) 2022-07-14
US20230026503A1 (en) 2023-01-26
TWI825592B (zh) 2023-12-11
CN108462881B (zh) 2021-07-09
TW201811030A (zh) 2018-03-16
PL3917140T3 (pl) 2023-12-04
KR102559468B1 (ko) 2023-07-24
TW201342928A (zh) 2013-10-16
EP2805512B1 (en) 2018-06-27
KR102037545B1 (ko) 2019-10-28
KR102367618B1 (ko) 2022-02-28
WO2013109460A1 (en) 2013-07-25
JP7083000B2 (ja) 2022-06-09
AU2013209989A1 (en) 2014-08-21
EP3917140B1 (en) 2023-07-19
TW201637452A (zh) 2016-10-16
MX338055B (es) 2016-04-01
EP3383042A1 (en) 2018-10-03
ES2780849T3 (es) 2020-08-27
EP3917140A1 (en) 2021-12-01
EP2805512A1 (en) 2014-11-26
JP2015508248A (ja) 2015-03-16
EP3383042B1 (en) 2019-11-27
TWI741503B (zh) 2021-10-01
TWI680672B (zh) 2019-12-21
TW202249490A (zh) 2022-12-16
TW201921951A (zh) 2019-06-01
KR20140120347A (ko) 2014-10-13
KR20230111277A (ko) 2023-07-25
EP3624447A1 (en) 2020-03-18
AU2013209989B2 (en) 2017-01-12

Similar Documents

Publication Publication Date Title
CN104170390B (zh) 用于视频编码参考图像列表的用信号发送和建构的方法及装置
KR101840915B1 (ko) 스케일러블 비디오 코딩을 위한 모션 정보 시그널링
CN107646195A (zh) 用于屏幕内容编码的帧内块复制模式

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant