CN1943246A - 图像解码方法 - Google Patents

图像解码方法 Download PDF

Info

Publication number
CN1943246A
CN1943246A CNA200680000058XA CN200680000058A CN1943246A CN 1943246 A CN1943246 A CN 1943246A CN A200680000058X A CNA200680000058X A CN A200680000058XA CN 200680000058 A CN200680000058 A CN 200680000058A CN 1943246 A CN1943246 A CN 1943246A
Authority
CN
China
Prior art keywords
picture
mentioned
random access
decoded
deviant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200680000058XA
Other languages
English (en)
Other versions
CN100551074C (zh
Inventor
井口雅保
角野真也
达间正真
安倍清史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1943246A publication Critical patent/CN1943246A/zh
Application granted granted Critical
Publication of CN100551074C publication Critical patent/CN100551074C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

提供一种图像解码方法,即使在进行随机访问再生时,也能够参照适当的图片,并解码解码对象的图片。该图像解码方法包括:第一存储步骤(S100~S104),依次解码流中所包含的各图片,将用于参照的图片在存储器103存储并管理;判断步骤(S106),判断是否被指定了随机访问再生;状态变更步骤(S108),在判断为被指定了随机访问再生时,变更在图片存储器103中用于管理图片的管理状态;第二存储步骤(S100~S104),将变更后的管理状态作为初始状态,依次解码位于随机访问再生位置及此位置以后的各个图片,将用于参照的图片在存储器103存储并管理。

Description

图像解码方法
技术领域
本发明涉及一种图像解码方法,对流(Stream)中所包含的编码后的图片进行解码并再生。
背景技术
近几年,迎来了综合处理声音、图像以及其他像素值的多媒体时代,原有的信息媒体,即给人传递信息的报纸、杂质、电视机、收音机以及电话等手段,随之作为多媒体的对象而引起关注。一般情况下,所谓多媒体不仅显示文字,还使图形、声音、尤其是图像等相关联而同时显示,不过,要把上述原有的信息媒体作为多媒体的对象,必须以数字形式来显示信息。
然而,将上述各信息媒体所含的信息量计算成数字信息量的话,在文字的情况下,1个文字所需要的信息量为1~2字节,但在声音的情况下每1秒需要64Kbits(电话质量),在动画的情况下每1秒需要100Mbits(现行电视接收质量)以上的信息量,因此,在上述信息媒体上以数字形式来原样处理该庞大信息量是不现实的。例如,可视电话已由传输速度为64Kbit/s~1.5Mbit/s的综合业务数字网(ISDN:Integrated Services Digital Network)来实用化了,但是以综合业务数字网来传输电视摄影机的原本图像是不可能的。
面临这种问题,则需要信息压缩技术,例如可视电话已经采用了ITU-T(国际电信联盟电信标准化部门)推荐的H.261、H.263标准的动画压缩技术。另外,根据MPEG-1标准的信息压缩技术,在CD(光盘)中存储声音信息的同时,也可以存储图像信息。
在此,所谓MPEG(运动图像专家组:Moving Picture ExpertsGroup)是指由ISO/IEC(国际标准化组织国际电工委员会)来制定的动画信号压缩技术之国际标准,MPEG-1是将动画信号压缩到1.5Mbps的压缩标准,也就是说可以将电视信号信息压缩到约100分之1。但是,MPEG-1标准针对的对象是主要传输速度约1.5Mbps的中等品质,所以为满足进一步提高画质的要求,制定了MPEG-2标准,根据MPEG-2标准,能以2~15Mbps的动画信号来实现电视广播质量。而且现在,制定MPEG-1、MPEG-2标准的工作小组(国际标准化组织国际电工委员会第一联合技术组第29分委会第11工作组:ISO/IEC JTC1/SC29/WG11)已制定了MPEG-4标准,根据MPEG-4标准,达到了超过MPEG-1、MPEG-2的压缩率,而且可以进行了以物体为单位的编码、解码以及操作,从而实现了多媒体时代所要求的新功能。MPEG-4当初旨在进行低位速率编码方法的标准化,但是,现在其应用领域已经扩展到更通用的编码,例如对高位速率的隔行扫描图像进行编码等。
并且,2003年,ISO/IEC和ITU-T共同制定了MPEG-4 AVC标准及ITU H.264标准,作为压缩率更高的下一代图像编码方式(例如参照非专利文献1)。关于H.264标准,正在筹划制定支持High Profile(高端类)的修改标准方案,以能够适应HD(高清晰度:High Definition)图像等。作为基于MPEG-2动态图像压缩技术的应用装置,最普及的是用于播放电影等的DVD播放机,不过,采用BD-ROM(蓝光光盘只读存储器:Blu-ray Disk ROM)的播放机估计采用H.264压缩标准,正在处于筹划制定其格式标准的阶段。
通常在动态图像的编码中,对时间方向和空间方向的冗余度进行削减,从而压缩信息。因此,在以时间冗余度的削减作为目的的画面间预测编码中,参照前面或后面的图片,从而进行以块为单位的运动检测及预测图像的制作,然后对所获得的预测图像和编码对象图片的差分值进行编码。在此,所谓图片(picture)是表示一张画面的术语,在逐行扫描图像中意味着帧(frame),在隔行扫描图像中意味着帧或场(filed)。其中,所谓隔行扫描图像是指由两个不同时间的场来构成1个帧的图像。隔行扫描图像的编码或解码处理有几种:将一个帧作为帧来进行处理;将一个帧作为两个场来进行处理;或以帧内的各个块为单位,作为帧结构或场结构来进行处理。
不具有参照图像而进行画面内预测编码的图片称为I图片。另外,仅参照1张图片,并进行画面间预测编码的图片称为P图片。此外,能同时参照2张图片,并进行画面间预测编码的图片称为B图片。B图片可以将位于显示时间的前面或后面的任意两张图片相组合起来,并参照该两张图片。对参照图像(参照图片),可以按所谓编码解码的基本单位之各个块(block)进行指示,而在编码后的流(位流:BitStream)中首先被描述的参照图片称为第1参照图片,并以后被描述的参照图片称为第2参照图片。不过,当对这些图片进行编码及解码时有一种条件,即,被参照的图片必须提前被编码及解码。
P图片或B图片的编码采用运动补偿画面间预测编码。所谓运动补偿画面间预测编码是指,在画面间预测编码中适用运动补偿的编码方式。所谓运动补偿是指,一种提高预测精度、同时减少数据量的方式,为此进行以下工作:不是根据参照帧的像素值来单纯地进行预测,而检测图片内各部分的运动量(以下称运动矢量),根据该运动量进行预测。例如,检测编码对象图片的运动矢量,并对根据该运动矢量移位的预测值与编码对象图片的预测残差进行编码,从而减少数据量。根据此方式,由于解码时需要运动矢量的信息,所以运动矢量也被编码,并被记录或被传输。
运动矢量是以宏块(macro block)为单位被检测,其具体方法是:首先固定编码对象图片的宏块,然后使参照图片的宏块在搜索范围内移动,找出与基准块最相似的参照块的位置,从而检测运动矢量。
图1A及图1B是一种结构图,表示原有MPEG2的流结构。
如图1A及图1B所示,MPEG-2的流具有如下阶层结构。流(Stream)包含多个GOP(图片组:Group Of Picture),以该GOP为基本单位,进行动态图像的编辑以及随机访问。GOP包含多个图片,该多个图片有I图片、P图片以及B图片。流、GOP以及图片各自包含划分各单位的同步信号(sync)和包括该单位的共同信息的信息头(header)。
图2是一种结构图,表示其他的原有的流结构。
该流支持ITU-T和ISO/IEC正在共同筹划制定的JVT标准(H.264/MPEG-4 AVC)。基于JVT标准,没有信息头的概念,而共通数据以参数集PS的名称来配置在流的开头。同时,也没有相当于GOP的概念,不过,如果以不依靠其它图片而能解码的特殊图片为单位来分割数据,就能构成相当于GOP的可进行随机访问的单位,以后将该单位称为随机访问单位RAU。参数集PS有两种:图片参数集PPS,这是一种数据,相当于各图片的信息头,以及序列参数集SPS,这相当于MPEG-2的GOP以上单位的信息头。向各图片赋予标识符,该标识符表示要参照上述图片参数集PPS还是序列参数集SPS。即,对互不相同的多个图片参数集PPS及序列参数集SPS,仅进行一次编码,并各图片以标识符表示参照哪个参数集中的哪个图片,从而避免各个图片对同值参数集(信息头)进行多次编码,能够提高压缩率。图片号码PN是用于识别图片的识别号码。在这里,所谓图片号码PN是表示图片的显示顺序的号码,而与上述非专利文献1所记载的表示解码顺序的PictureNumber不同。序列参数集SPS包含最多可参照图片数和最大图像大小等,并图片参数集PPS包含可变长编码的类型(霍夫曼编码和算术编码的转换)、量化步骤的初始值、以及参照图片数等。
图3A及图3B是一种说明图,表示原有的MPEG-2等所采用的GOP之间的参照状态。
图3A表示Closed GOP(封闭图片组)的图片间预测结构。图中画斜线的图片是被其他图片参照的图片。各图片按显示顺序排列。基于Closed GOP结构,显示时刻位于IDR(即时解码刷新:InstantaneousDecoding Refresh)图片的前面的B图片(B6、B7),可以进行仅参照IDR图片的预测编码,而不能进行跨越GOP的参照。另外,图3B表示OpenGOP(开放图片组)的图片间预测结构。图中画斜线的图片是,如图3A相同,被其他图片参照的图片。各图片按显示顺序排列。基于Open GOP结构,显示时刻位于I图片(I8)的前面的B图片(B6、B7),不仅可以参照GOP3内的图片,也可以参照位于紧前面的GOP4之P图片(P5),从而进行预测编码。
基于MPEG-2,P图片(P2、P5、P11、P14)仅参照位于显示时刻紧前面的1张I图片或P图,从而实现预测编码。同时,B图片(B0、B1、B3、B4、B6、B7、B9、B10、B12以及B13)可以参照位于显示时刻紧前面和紧后面的各1张I图片或P图片,从而进行预测编码,而且,也确定在流中配置的顺序。
另一方面,基于H.264标准,为了大幅度提高编码效率(压缩率),采用了非常灵活的图片间预测结构。总之,P图片在可以参照紧前面的1张图片的同时,如果是编码后的图片,而且该编码后的图片由参照图片的缓冲器所管理,无论位于前面或后面,可以从多个I图片、P图片、以及B图片中,以各个编码块为单位分别选择各1张不同的图片。如上述相同,B图片在可以参照紧前面和紧后面的各1张图片的同时,可以从多个I图片、P图片、以及B图片中,不拘泥于图片的位置在前面还是后面,以各个编码块为单位分别选择2张不同的图片。
基于BD-ROM的格式标准,即使是采用Open GOP结构的流位置,也与已往相同,可以采用随机访问单位RAU。不过,基于H.264标准的图片间预测编码,例如由以下限制。
(1)在I图片作为随机访问再生的始点被指定时,显示时刻位于该I图片的紧前面的B图片(B6、B7),可能参照显示时刻前后的图片,因此,在进行随机访问再生时不显示该B图片。
(2)在I图片作为随机访问再生的始点被指定时,显示时刻位于该I图片的后面的图片,不可以参照显示时刻位于该I图片的前面的图片。
图4是一种方框图,表示实现原有的图像解码方法的图像解码装置。
图4的图像解码装置包括:可变长解码部901、运动补偿部902、图片存储器903、加法部904和转换部905。
可变长解码部901,对流Str进行解码,输出量化值Qco、相对索引Ind、图片类型Pty及运动矢量MV。量化值Qco、相对索引Ind及运动矢量MV,分别输入到图片存储器903、运动补偿部902及转换部905,并进行解码。
转换部905对量化值Qco进行逆量化,复原成频率系数,然后进一步对其频率系数进行逆变频,成为像素差分值,向加法部904输出。
加法部904,将像素差分值与运动补偿部902所输出的预测图像相加,而生成解码图像Vout。生成了的解码图像Vout被存储在图片存储器903。此时,各块分别需要参照号码(相对索引Ind),该参照号码用于指定要参照的图片之识别号码,从而能够将多个图片作为参照图片使用。在这里,使相对索引Ind和图片存储器903中的各图片所具有的图片号码相对应,从而能够依据相对索引Ind来指定参照图片。
图片存储器903包括参照图片目录,在该参照图片目录中存储解码后被用于参照的参照图片。同时,此参照图片目录具有以下目录:对参照图片进行FIFO(First In First Out)管理的目录(STRL,ShortTerm Reference List:短期参照目录);对被明确指定的参照图片进行管理的目录(LTRL,Long Term Reference List:长期参照目录),该管理的内容为决定在目录中存储还是删除参照图片。
运动补偿部902,利用由上述处理所检测的运动矢量及相对索引Ind,从在图片存储器903中所存储的解码图像中取出作为预测图像的最佳图像区域。其次,运动补偿部902生成上述预测图像,并向加法部904输出。
下面,说明赋予给各图片的图片号码PN的生成方法,该图片号码PN用于依据相对索引Ind指定图片。在这里,在H.264标准所定义的图片号码PN的3个生成方法中,以2个方法为例,说明其概略。
图片号码的生成方法之第一个例子
图5是一种说明图,表示图片号码的生成方法之第一个例子。
下面,用图5说明图片号码的生成方法之第一个例子。根据生成方法的第一个例子,将在解码处理中作为变数管理的偏移值Msb与从赋予给各图片的偏移值Msb开始计数的差分值(计数值lsb)相加,从而生成图片号码PN。
图5中,各图片Pic是图片I、P图片以及B图片的某一个图片,按照向画面的显示顺序排列。但是,在这里假定,按照IDR、…、P3、B1、B2、P6、B4、B5、I9、B7、B8、…的顺序进行解码。Msb1和Msb2表示偏移值Msb的值,在这里假定Msb1=96、Msb2=112。
如图片Pic排列的开头所示,在流的始点或在作为解码对象的GOP和紧前面GOP之间无参照关系的位置,存在IDR图片,该IDR图片是被解码的第一张图片,是访问单位AU的I图片。首先,在解码IDR图片时,偏移值Msb被初始化为0,而且计数值lsb也是0,因此,该IDR图片的图片号码PN为0。例如,当下一张P图片的计数值lsb为3时,Msb+lsb=0+3=3,因此,其P图片的图片号码PN为3。
另外,当下一张B图片的计数值lsb为1时,0+1=1,因此,其B图片的图片号码PN为1,并且当再下一张B图片的计数值lsb为2时,0+2=2,因此,其B图片的图片号码PN为2。
在这里,在反复如上所述的动作的同时,在计数值lsb达到所定的值(最大计数值Lsb)时,就进行对偏移值Msb加上最大计数值Lsb的处理,从而管理计数值lsb的值,不使计数值lsb的值超过最大计数值Lsb,保证计数值lsb的位数不成为过大、不降低编码效率。例如,在最大计数值Lsb=16的情况下,如果计数值lsb共6次达到了最大计数值Lsb,偏移值Msb就会更新为0+16×6=96。
并且,在解码图片P3时,如果偏移值Msb被更新为96、计数值lsb=12,则图片P3的图片号码PN为96+12=108。与上述相同,在图片B1、B2、P6、B4及B5(按解码顺序)的计数值lsb分别为10、11、15、13及14的情况下,则图片号码PN分别为107、108、111、109及110。
而且,如果使图片I9、B7、B8及B10以后的计数值lsb照样增加的话,就会超过最大计数值Lsb的16,因此,根据偏移值Msb=Msb1+最大计数值Lsb=96+16=112,更新偏移值Msb,使得计数值lsb控制在未满16。由此,图片I9、B7、B8及B10的计数值lsb分别为2、0、1及3,图片号码PN分别为114、112、113及115。
如上所述,利用赋予给各图片的计数值lsb和在解码处理中要更新管理的偏移值Msb,生成图片号码PN,并用此图片号码,能够对画面的显示顺序和参照图片进行管理。
图片号码的生成方法之第二个例子
图6是一种说明图,说明图片号码的生成方法之第二个例子。
根据图6所示的图片号码的生成方法之第二个例子中,将在解码处理中作为变数被管理的偏移值FNO和赋予给各个图片的帧(frame)号码(计数值)fn相加,且该相加后的结果乘以2,从而生成图片号码PN。再者,当生成非参照图片的图片号码时,从上述相加后的结果减1,从而生成其图片的图片号码PN。
FNO1和FNO2表示偏移值FNO的值,在图6所示的例子中分别为FNO1=96、FNO2=112。
首先,在解码IDR图片时,偏移值FNO被初始化为0,而且帧号码fn也为0,因此,其IDR图片的图片号码PN为0。当下一张B图片的帧号码fn为1时,则2×(偏移值FNO+帧号码fn)=2×(0+1)=2,因此,其B图片的图片号码PN为2。
此外,当再下一张B图片的帧号码fn为2时,则2×(0+2)=4,因此,其B图片的图片号码PN为4,并且,当下一张P图片的帧号码fn为3时,则2×(0+3)=6,因此,其P图片的图片号码PN为6。
当帧号码fn比此前刚被编码了的图片之帧号码小时,则进行对偏移值FNO加上最大帧号码MFN的处理,更新偏移值FNO。
这是为了实现以下处理的方法:在能够使帧号码的值限制于所定的值以下,从而削减编码位量的同时,能够示出大图片号码PN。图6中表示,当帧号码fn比此前刚被解码了的图片之帧号码小的情况共发生6次时,则偏移值FNO成为FNO1,而在第7次发生这种情况时,则偏移值FNO更新为FNO2。
例如,在解码图片Pic中的图片B1时,如果偏移值FNO被更新为96,帧号码fn=10,图片B1的图片号码PN就为2×(96+10)=212。与上述相同,在图片B2、P3、B4、B5及P6(按解码顺序)的帧号码分别为fn11、12、13、14及15的情况下,图片号码PN分别为214、216、218、220及222。
此外,在解码图片B7时,如果帧号码fn为0,就其帧号码小于紧前面的图片之帧号码15,因此,偏移值FNO被更新,即,偏移值FNO=FNO1+最大帧号码MFN=96+16=112。因此,图片B7的图片号码PN为2×(112+0)=224,与此相同,当图片B8、I9及B10的帧号码fn分别为1、2、3时,图片号码PN分别为226、228及230。
因此,与图片号码的生成方法之第一个例子相同,利用赋予给各个图片的帧号码fn的值和在解码处理中要更新管理的偏移值FNO,能够生成图片号码PN,并用此图片号码能够管理参照图片。再者,根据图片号码的生成方法之第二个例子,解码顺序和显示顺序一致。
非专利文献1:ISO/IEC 14496-10,InternationalStandard:“Information technology-Coding of audio-visualobjects-Part 10:Advanced video coding”(2003-12-01).pp.82-100
然而,上述原有的图像解码方法具有这样一个课题:在进行随机访问再生时,参照不适当的图片并解码作为解码对象的图片。
例如,在BD-ROM中进行随机访问再生时,如果作为随机访问再生的始点被指定的流位置为Open GOP结构,光靠上述BD-ROM的格式限制,有时不能进行正常的解码处理。
根据原有的MPEG-2等画面间运动补偿预测中,在图片参照关系上不产生上述问题。因为在这种情况下,由B图片参照的图片限制于其B图片前后的I图片或P图片的某1张,因此,即使发生对Open GOP的随机访问再生,也仅通过以下处理,就能正常进行从I图片开始的解码处理,上述处理是指:仅对B图片不进行解码和显示,该B图片的显示顺序位于作为再生始点的I图片的前面。
但是,根据H.264标准,可以选择多个参照图像,因此,在发生从具有Open GOP结构的随机访问点(Random Access Point:RAP)开始的随机访问再生(特殊再生)的情况下,由于没有在进行通常的连续再生的情况下应该存储在图片存储器103中的再生开始位置前面的再生信息,因此有时不能正常生成图片号码。
即,在进行随机访问再生时,对参照图片目录中的图片所进行的根据图片号码的管理紊乱,结果导致以下问题:不能实现对适当的图片进行参照并正常解码流中所包含的各图片。
下面,举2个例子来说明这样一个情况:在进行随机访问再生时,不能正常生成图片号码,而对参照图片目录的管理带来不良影响,则参照图片的选择变为异常。
在采用图片号码的生成方法之第一个例子时的错误动作例子
图7是一种说明图,表示根据图片号码的生成方法之第一个例子对STRL进行管理的方法。图7表示,当按照图5的解码过程进行解码时,以FIFO来管理的STRL的状态。在这里,为了简单地说明,STRL管理4张参照图片。如图5相同,PN表示图片号码,Pic表示解码对象的图片,不过,图片Pic按照解码顺序排列,就这一点与图5不同。RAP表示随机访问点,流具有Open GOP结构。同时,STRL(a)~(f)分别表示FIFO管理的STRL的状态,表示随着图片的解码而变化的STRL的状态。
在随机访问单位RAU为Closed GOP结构时,IDR图片首先被解码。此时,由STRL管理的各区域均成为空(empty)(STRL(a)的状态),图片号码PN被初始化为0。其次,在解码IDR图片后,IDR图片被插入到STRL(STRL(b)的状态)。之后,在作为新的参照图片需要管理的图片Pic被解码后,在STRL中按照FIFO管理进行对参照图片的删除和追加。
例如,当图片号码PN为108的图片P3作为参照图片被解码时,在STRL中,图片号码PN为小于99的图片成为非参照图片,图片号码PN为108的图片P3作为新的参照图片被追加到STRL中(STRL(c)的状态)。另外,当图片号码PN各为106、107的图片B1、B2作为非参照图片被解码,并图片号码PN为111的图片P6作为参照图片被解码时,在STRL中,图片号码PN为99的图片Px成为非参照图片,图片号码PN为111的图片P6作为新的参照图片被追加到STRL中(STRL(d)的状态)。
并且,当图片号码PN各为109、110的图片B4、B5作为非参照图片被解码,并超越随机访问点RAP,图片号码PN为114的图片I9作为参照图片被解码时,在STRL中,图片号码PN为102的图片Py成为非参照图片,图片号码PN为114的图片I9作为新的参照图片追加到STRL中(STRL(e)的状态)。
接着,当图片号码PN各为112、113的图片B7、B8作为非参照图片被解码,并图片号码PN为117的图片P12作为参照图片被解码时,在STRL中,图片号码PN为105的图片Pz成为非参照图片,图片号码PN为117的图片P12作为新的参照图片被追加到STRL中(STRL(f)的状态)。以后,与上述相同,图片号码PN各为115、116的图片B10、B11作为非参照图片被解码,并接着进行对参照图片的管理。
由STRL管理的各参照图片,以相对索引Ind指定,因此,当解码对象的图片为P图片时,则重新排列为一个单向参照目录,当解码对象的图片为B图片时,则重新排列为两个双向参照目录。L0_for_B11_n(L0目录)和L1_for_B11_n(L1目录)是在解码图片号码PN为116的图片B11时被生成的目录。当解码对象的图片为B图片时,首先在STRL的参照图片中,图片号码比解码对象的图片号码小的参照图片,按照离解码对象图片的位置由近至远的顺序被排列,接着,在STRL的参照图片中,图片号码比解码对象的图片号码大的参照图片,按照离解码对象图片的位置由近至远的顺序被排列。由此生成上述L0目录。并且,在STRL的参照图片中,图片号码比解码对象的图片号码大的参照图片,按照离解码对象图片的位置由近至远的顺序被排列,接着,在STRL的参照图片中,图片号码比解码对象的图片号码小的参照图片,按照离解码对象图片的位置由近至远的顺序被排列。由此生成上述L1目录。以相对索引Ind,从各目录中分别指定1张图片,从而决定参照图片。
另外,RefIdx表示相对索引Ind的目录,使各个相对索引Ind的排列顺序和L0目录、L1目录中的参照图片的排列顺序相对应。以L0_for_B11_n为例,由相对索引(index0)选择图片号码PN为114的图片I9,然后接着进行同样的处理,即,由相对索引(index1)选择图片号码PN为111的图片P6、由相对索引(index2)选择图片号码PN为108的图片P3、由相对索引(index3)选择图片号码PN为117的P12图片。
然而,根据如上述所述的图片号码PN的生成方法,在发生随机访问的情况下,有时不能合理管理L0目录和L1目录。
图8是一种说明图,说明在采用由图片号码的生成方法之第一个例子所管理的目录时,产生的错误动作的例子。图8所示的例子表示这样一个情况:在对图7中的图片号码PN为101的B图片,即图片P3的前面第4张的B图片,进行解码之后,立刻从图片I9开始跳跃(skip)再生(随机访问再生)。在图8中,与图7相同的部分具有相同的记号,因此省略说明。
图8中的STRL(g)表示图片号码PN为101的STRL的状态。并且,STRL(h)表示,在从上述图片号码PN为101的B图片的位置跳到图片I9,解码图片I9之后的STRL的状态。在这里,在进行了跳跃动作的情况下,跳跃动作的始点和目的点之间所存在的图片P3、B1、B2等(图中画斜线的图片Pic)不被解码。因此,STRL,从STRL(g)的状态更新到新的状态,偏移值Msb被维持在上一个偏移值Msb(96)。因此,图片I9、B7及B8的图片号码分别以Msb+lsb=96+2=98、Msb+lsb=96+0=96、Msb+lsb=96+1=97来生成。但是,在进行随机访问时,显示顺序位于I图片的紧前面位置的B图片不需要解码,因此,图8中的画横线的图片B7、B8不被解码。与此相同,分别生成各图片的图片号码:图片P12的图片号码为101、图片B10的图片号码为99、图片B11的图片号码为100。
并且,根据赋予给各图片的图片号码PN的值和解码对象的图片号码PN,生成L0目录和L1目录。因此,在图片号码PN为100的图片B11是解码对象的情况下,L0目录(L0_for_B11_r1)和L1目录(L1_for_B11_r1)分别为“#99:Px、#98:I9、#101:P12、#102:Py”和“#101:P12、#102:Py、#99:Px、#98:I9”。
然而,在进行通常的连续再生的情况下,如图7所示,用相对索引(index0),就能够从L0目录参照图片I9,但是,在进行随机访问再生的情况下,如图8所示,即使与上述相同,使用相对索引(index0),也不能参照图片I9,进行错误处理,参照图片Px。即,在进行随机访问再生时,参照不适当的图片而解码解码对象的图片。
在采用图片号码的生成方法之第二个例子时的错误动作例子
图9是一种说明图,表示根据图片号码的生成方法之第二个例子对STRL进行管理的方法。
图中,图片号码PN能管理的最大值为最大图片号码MPN,图片I0的位置作为Open GOP的随机访问点RAP被指定,并在进行通常的连续再生的情况下,在解码图片I0时,偏移值FNO的值立刻成为等于最大图片号码MPN-最大帧号码MFN+1的值。同时,在对图片P8和图片P8以前的图片进行了解码时,图片P8的图片号码立刻成为最大图片号码MPN,Open GOP被封闭,并从下一个IDR图片开始作为Closed GOP的新GOP结构。另外,在分别进行对各图片I0、B1、B2、…、B6、B7、P8的解码时,如果帧号码fn分别为0、1、2、…,最大帧号码MFN为-3,最大帧号码MFN为-2,最大帧号码MFN为-1,则上述各图片的图片号码PN分别为:2×(最大图片号码MPN-最大帧号码MFN+1)、2×(最大图片号码MPN-最大帧号码MFN+2)、2×(最大图片号码MPN-最大帧号码MFN+3)、…、2×(最大图片号码MPN-2)、2×(最大图片号码MPN-1)、2×(最大图片号码MPN)。
在这里,说明再生位置从图片B4跳跃到后面的随机访问点RAP(往后跳跃:Back Jamp)的情况。在这种情况下,图片B4的帧号码fn为最大帧号码MFN-5,在跳跃后进行解码的图片I0的帧号码fn为0,因此,(图片B4的帧号码fn)>(图片I0的帧号码fn)。如此,帧号码fn变为小,因此,偏移值FNO从最大图片号码MPN-最大帧号码MFN+1的值,更新为加上最大帧号码MFN的值,即最大图片号码MPN+1。因此,图片I0的图片号码PN为2(偏移值FNO+帧号码fn)=2(最大图片号码MPN+1+0)=2(最大图片号码MPN+1)。
总之,图片号码PN超过能管理的最大图片号码MPN,因此,根据图片号码PN的位精度的不同,可能导致图片号码PN成为负值。如果某个图片号码PN为负值,就此图片号码PN成为STRL中的最小值,因此,与上述“在采用图片号码的生成方法之第一个例子时的错误动作例子”相同,导致L0目录和L1目录与通常的连续再生不同的状态。结果,不能以相对索引Ind来指定正常的参照图片,从而导致错误动作,不正常进行以后的解码。
发明内容
于是,本发明鉴于这种问题,提供一种图像解码方法,其目的在于:即使在进行随机访问再生时,也参照适当的图片,并对解码对象的图片进行解码。
为了达到上述目的,本发明涉及的图像解码方法是一种图像解码方法,参照已经被解码并存储在存储器的图片,并对流中所包含的多个编码后的图片进行解码,其特征在于,包括:第一存储步骤,依次解码上述流所包含的各个图片,并将上述各个图片中用于参照的图片在上述存储器存储并管理;判断步骤,判断是否被指定了随机访问再生;状态变更步骤,在上述判断步骤中判断为被指定了随机访问再生时,变更在上述存储器中用于管理图片的管理状态;第二存储步骤,将在上述状态变更步骤中所变更的管理状态作为初始状态,对位于上述随机访问再生位置并此位置以后的各个图片依次进行解码,并将上述各个图片中用于参照的图片在上述存储器存储并管理。例如,上述流所包含的多个编码后的图片被分成小组,该小组是访问单位;上述判断步骤,判断是否被指定了从访问单位开始的随机访问再生,上述访问单位是被允许了参照其它访问单位的图片的访问单位。同时,在上述第一存储步骤及第二存储步骤中,生成用于识别各个解码后的图片的图片号码,并将所生成的图片号码赋予给上述各个图片,从而管理用于参照的上述图片;在上述状态变更步骤中,将用于生成上述图片号码的偏移值,作为上述管理状态而更新。
当被指定了随机访问再生时,根据原有的技术发生这样一个问题:偏移值不被更新,或偏移值被更新为过大程度,从而生成不适当的图片号码,结果,不能以此图片号码来适当管理在存储器被存储的图片。于是,在本发明涉及的图像解码方法中,当被指定了随机访问再生时,此前的偏移值等用于管理图片的管理状态被变更,将所变更的管理状态作为初始状态,进行随机访问再生,因此能够生成适当的图片号码,正常管理存储在存储器的图片。结果,能够参照适当的图片,对位于随机访问再生位置并此位置以后的解码对象的各个图片进行解码。因此,根据采用H.264标准的BD-ROM格式标准,通常的连续再生和随机访问再生都能够正常进行。
同时,也可以具有如下特征:在上述第一存储步骤中,在解码对象的访问单位所包含的所有图片每次被解码时,更新上述偏移值,从而使此值变大,同时利用计数值和上述偏移值,生成各个解码后的图片的图片号码,上述计数值是按上述流的各个访问单位,所分配给各个图片的;在上述状态变更步骤中,更新上述偏移值,从而使此值变大;在上述第二存储步骤中,以上述更新后的偏移值作为初始状态,在解码对象的访问单位所包含的所有图片每次被解码时,将上述偏移值更新为大,同时利用上述计数值和偏移值,生成位于上述随机访问再生位置及此位置以后的各个解码后的图片的图片号码。
由此,当被指定了随机访问再生时,如访问单位所包含的所有图片每次被解码时相同,偏移值被变更,并此值变大,因此能够防止位于随机访问再生位置并此位置以后的图片的图片号码成为比位于此位置以前的图片的图片号码小,并能正常管理在存储器被存储的图片。
例如,在上述第一存储步骤、第二存储步骤和上述状态变更步骤中,更新上述偏移值,使上述偏移值的大小至少为增加了访问单位中的计数值的最大值之后的值。
由此,能够防止位于随机访问再生位置及此位置以后的图片的图片号码成为比位于此位置以前的图片的图片号码小。
同时,也可以具有如下特征:在上述第一存储步骤及第二存储步骤中,生成用于识别各个解码后的图片的图片号码,并将所生成的图片号码赋予给上述各个图片,从而管理用于参照的上述图片;在上述状态变更步骤中,将存储在上述存储器的所有图片变更为非参照状态,从而变更上述管理状态。
由此,当被指定了随机访问再生时,此前被存储在储器的所有图片被变更为非参照状态,因此,能够防止在进行随机访问再生之前所存储在存储器的图片和在进行随机访问再生之后在存储器中存储的图片之间,在基于图片号码的管理上发生紊乱。结果,能够参照适当的图片,对位于随机访问再生位置并此位置以后的解码对象的各个图片进行解码。
同时,也可以具有如下特征:在上述第一存储步骤及第二存储步骤中,生成用于识别各个解码后的图片的图片号码,并将所生成的图片号码赋予给上述各个图片,从而管理用于参照的上述图片;在上述第一存储步骤中,在解码对象图片的计数值每次成为小于正在此前所解码的图片之计数值时,将用于生成上述图片号码的偏移值更新为大,同时利用计数值和上述偏移值,生成各个解码后的图片的图片号码,上述计数值是按上述流的各个访问单位,所分配给各个图片的;在上述状态变更步骤中,更新作为上述管理状态存在的上述偏移值,从而使此值变小;在上述第二存储步骤中,以上述更新后的偏移值作为初始状态,在解码对象图片的计数值每次成为小于正在此前所解码的图片之计数值时,将上述偏移值更新为大,同时利用上述计数值和偏移值,生成位于上述随机访问再生位置及此位置以后的各个解码后的图片的图片号码。例如,在上述状态变更步骤中,将上述偏移值更新为0。
原来,当被指定了随机访问再生时,由于偏移值被更新为过大程度,从而生成不适当的图片号码,结果,不能以此图片号码来适当管理在存储器被存储的图片。于是,在本发明涉及的图像解码方法中,当被指定了随机访问再生时,此前的偏移值被更新,此值变为小,而且,存储器中的图片被变更为非参照状态,将该所变更的管理状态为初始状态来进行随机访问再生,因此能够生成适当的图片号码,并能正常管理在存储器被存储的图片。结果,能够参照适当的图片,对位于随机访问再生位置并此位置以后的解码对象的各个图片进行解码。总之,当被指定了随机访问再生时,上述偏移值被变更,此值变为小,因此能够防止因为图片号码为异常的大而导致的基于图片号码的管理的紊乱。
同时,也可以具有如下特征:在上述第二存储步骤中,进一步,当在上述存储器中有成为非参照状态的图片时,将上述图片置换为此前刚被存储的可参照图片。
由此,能够参照更适当的图片。同时,也可以具有如下特征:在上述第二存储步骤中,进一步利用基于随机访问再生的开始的开始信息,管理在上述存储器被存储的图片。例如,在上述第二存储步骤中,将每次开始随机访问再生时被更新的随机访问号码作为上述开始信息利用。
原来,确定显示时刻为最旧的图片,并将该图片从存储器删除,但是,当指定了多个随机访问再生时,也有此图片还没有显示而被删除的可能性。于是,在本发明涉及的图像解码方法中,以随机访问号码管理图片,从而在存储器中保持还没有显示的图片。
同时也可以具有如下特征:上述存储器包括第一存储区域及第二存储区域,该第一存储区域及第二存储区域对图片的管理样态互不相同;在上述状态变更步骤中,进一步按照随机访问再生位置,对上述第一存储区域及第二存储区域的大小进行互补性变更。例如,在上述第一存储区域中,新图片被存储时,所存储的最旧图片先被删除;在上述第二存储区域中,新图片被存储时,所指定的图片先被删除。
由此,能够防止第一存储区域及第二存储区域的大小,在通常的连续再生时和随机访问再生时分别不同的情况,并能够正常管理在存储器被存储的图片。
同时,也可以具有如下特征:在上述第一存储步骤及第二存储步骤中,生成用于识别各个解码后的图片的图片号码,并将所生成的图片号码赋予给上述各个图片,从而管理用于参照的上述图片;在上述状态变更步骤中,将存储在存储器的图片之图片号码,变更为比位于随机访问再生位置的图片之图片号码小的号码。
由此,没有以随机访问再生来解码的图片成为与通常一样的状态,该状态是指:在解码后存储在图片存储器。结果,能够参照适当的图片,对位于随机访问再生位置并此位置以后的解码对象的各个图片进行解码。
同时,也可以具有如下特征:在上述状态变更步骤中,将存储在存储器的图片,变更为假图片,该假图片具有的图片号码比位于随机访问再生位置的图片之图片号码小。例如,上述假图片是上述流中没有包含的图片、或在上述第一存储步骤中被解码的图片。
由此,与上述相同,没有以随机访问再生来解码的图片成为与通常一样的状态,该状态是指:在解码后存储在图片存储器。结果,能够参照适当的图片,对位于随机访问再生位置并此位置以后的解码对象的各个图片进行解码。
再者,本发明在可以作为这种图像解码方法来实现的同时,也可以作为以此图像解码方法来动作的图像解码装置和集成电路、使计算机执行基于此图像解码方法的动作的程序、以及存储此程序的记忆媒体而实现。
发明效果
本发明涉及的图像解码方法起到这样一个效果:即使在进行随机访问再生时,也能够参照适当的图片,对解码对象的图片进行解码。
附图说明
图1A是一种结构图,表示原有MPEG2的流结构。
图1B是一种结构图,表示原有MPEG2的流的其它结构。
图2是一种结构图,表示其它原有的流的结构。
图3A是一种说明图,表示原有的MPEG-2等所采用的GOP之间的参照状态。
图3B是一种说明图,表示原有的MPEG-2等所采用的GOP之间的其它参照状态。
图4是一种方框图,表示实现原有的图像解码方法的图像解码装置。
图5是一种说明图,说明图片号码的生成方法之第一个例子。
图6是一种说明图,说明图片号码的生成方法之第二个例子。
图7是一种说明图,表示根据图片号码的生成方法之第一个例子对STRL进行管理的方法。
图8是一种说明图,说明在采用由图片号码的生成方法之第一个例子所管理的目录时,产生的错误动作的例子。
图9是一种说明图,表示根据图片号码的生成方法之第二个例子对STRL进行管理的方法。
图10表示一种图像解码装置的方框图,该图像解码装置实现本发明的实施方式1的图像解码方法。
图11是一种流程图,表示上述图像解码装置的动作例子。
图12是一种流程图,表示上述图像解码装置的图片号码生成部的动作。
图13是一种说明图,说明上述图像解码装置的图片存储器的情况。
图14是一种说明图,说明上述图像解码装置的变形例1所涉及的L0目录的生成方法。
图15是一种说明图,说明上述图像解码装置的变形例2所涉及的L0目录及L1目录的生成方法。
图16表示一种图像解码装置的方框图,该图像解码装置实现本发明的实施方式2的图像解码方法。
图17是一种流程图,表示上述图像解码装置的动作例子。
图18是一种流程图,表示上述图像解码装置的图片号码生成部的动作。
图19是一种说明图,说明上述图像解码装置的变形例1所涉及的参照图片目录(STRL)的管理方法。
图20A是一种流程图,表示上述图像解码装置的变形例1所涉及的存储器管理部对作为赋予对象的图片赋予RAID号码的动作。
图20B是一种流程图,表示上述图像解码装置的变形例1所涉及的存储器管理部从存储在参照图片目录的图片中选择要删除的图片的动作。
图21A表示上述图像解码装置的变形例2中的参照图片目录的状态。
图21B表示上述图像解码装置的变形例2中的参照图片目录的其它状态。
图21C表示上述图像解码装置的变形例2中的参照图片目录的上述以外的其它状态。
图21D表示上述图像解码装置的变形例2中的参照图片目录的上述以外的其它状态。
图21E表示上述图像解码装置的变形例2中的参照图片目录的上述以外的其它状态。
图21F表示上述图像解码装置的变形例2中的参照图片目录的上述以外的其它状态。
图22A是一种说明图,说明如下情况:以记录在软盘等记录媒体的程序,通过计算机系统实施实施方式1及实施方式2的图像解码方法。
图22B是另外一种说明图,说明如下情况:以记录在软盘等记录媒体的程序,通过计算机系统实施实施方式1及实施方式2的图像解码方法。
图22C是另外一种说明图,说明如下情况:以记录在软盘等记录媒体的程序,通过计算机系统实施实施方式1及实施方式2的图像解码方法。
图23是一种结构图,表示本实施方式4的音频视频处理装置的结构。
符号说明
100   图像解码装置
101   可变长解码部
102   运动补偿部
103   图片存储器
104   加法部
105   转换部
106   存储器管理部
107   图片号码生成部
108   再生判断部
Pic   图片
RAP   随机访问点
PN    图片号码
STRL  短期参照目录(Short Term Reference List)
LTRL  长期参照目录(Long Term Reference List)
RPL   参照图片目录(Reference Picture List)
Str   流
Qco   量化值
Ind   相对索引
Pty   图片类型
MV    运动矢量
Vout  复原图像
具体实施方式
下面,按附图说明本发明的图像解码方法。
实施方式1
根据本发明的第1实施方式的图像解码方法,以图5所示的图片号码的生成方法之第一个例子为基础,生成图片号码,并解码流中所包含的各图片。
图10表示一种图像解码装置的方框图,该图像解码装置实现本实施方式的图像解码方法。
本实施方式的图像解码装置100包括:可变长解码部101、运动补偿部102、图片存储器103、加法部104、转换部105、存储器管理部106、图片号码生成部107以及再生判断部108。
可变长解码部101,对流Str进行解码,输出量化值Qco、相对索引Ind、图片类型Pty及运动矢量MV。量化值Qco、相对索引Ind及运动矢量MV,分别输入到图片存储器103、运动补偿部102及转换部105,并进行解码。
转换部105对量化值Qco进行逆量化,复原成频率系数,然后进一步对其频率系数进行逆变频,成为像素差分值,向加法部104输出其像素差分值。
加法部104,将像素差分值与运动补偿部102所输出的预测图像相加,而生成解码图像Vout。生成了的解码图像Vout被存储在图片存储器103。此时,各块分别需要参照号码(相对索引Ind),该参照号码用于指定要参照的图片之识别号码,从而能够将多个图片作为参照图片使用。在这里,使相对索引Ind和图片存储器103中的各图片所具有的图片号码相对应,从而能够依据相对索引Ind来指定参照图片。
运动补偿部102,利用由上述处理所检测的运动矢量及相对索引Ind,从在图片存储器103中所存储的解码图像中取出作为预测图像的最佳图像区域。其次,运动补偿部102生成上述预测图像,并向加法部104输出。
再生判断部108判断再生形式。即,再生判断部108,当进行序列再生时,判断要进行通常的连续再生还是要进行从具有Open GOP结构的随机访问点RAP开始的随机访问再生。例如,再生判断部108,按照位于图像解码装置的上阶层的系统控制所发出的指示,判断再生形式。同时,再生判断部108,当随机访问点RAP的GOP包含IDR图片时,判断其GOP为Closed GOP结构,并当不包含IDR图片时,判断其GOP为Open GOP结构。再者,根据对赋予给各图片的帧号码fn的解码所进行的跟踪结果,推断再生形式也可以。另外,上述通常的连续再生包括从Closed GOP开始的随机访问再生。
并且,再生判断部108输出表示该判断结果的再生判断信号。
图片号码生成部107,从再生判断部108取得再生判断信号,按照该再生判断信号所示的再生形式(通常的连续再生或随机访问再生),生成并输出图片号码。
存储器管理部106,利用从再生判断部108所输出的再生判断信号和从图片号码生成部107所输出的图片号码,管理在图片存储器103存储的图片。
图11是一种流程图,表示图像解码装置100的动作之一个例子。
首先,在开始流Str的再生处理时,图像解码装置100对位于开始位置的解码对象的图片进行解码(步骤S100),按照生成方法的第一个例子,生成该图片的图片号码,(步骤S102)。接着,图像解码装置100,对该图片赋予图片号码,将该图片在存储器103中存储(步骤S104)。其次,图像解码装置100判断是否被指定了随机访问再生(步骤S106),当判断为被指定时(步骤S106的“是”),变更图片的管理状态(步骤S108)。然后,图像解码装置100对位于随机访问再生位置的图片,反复进行步骤S100以后的处理。总之,图像解码装置100,将变更后的管理状态作为初始状态,对位于随机访问再生位置并此位置以后的各个图片依次进行解码,并在这些图片中,将用于参照的图片在图片存储器103中存储并管理。
另一方面,在步骤S106中,当判断为未被指定随机访问再生时(步骤S106的“否”),图像解码装置100按照序列再生,判断是否有未解码的图片(步骤S110)。当判别为有未解码的图片时(步骤S110的“是”),图像解码装置100对该图片反复进行从步骤S100以后的处理。另一方面,当判别为没有未解码的图片时(步骤S110的“否”),结束流Str的再生处理。
图12是一种流程图,表示图片号码生成部107的动作。
图片号码生成部107,如图12所示,首先从再生判断部108取得再生判断信号(步骤S120),按照该再生判断信号判断所指定的再生形式是否为通常的连续再生,还是从Open GOP结构的随机访问点RAP开始的随机访问再生(步骤S122)。
在这里,图片号码生成部107当判断为在步骤S122中被指定了通常的连续再生时,按照生成方法的第一个例子,生成图片号码。
另一方面,图片号码生成部107当判断为在步骤S122中被指定了随机访问再生时,对偏移值Msb加上最大计数值Lsb来更新该偏移值Msb(步骤S126)。接着,图片号码生成部107,按照生成方法的第一个例子,上述所更新了的偏移值Msb与图片的计数值lsb相加来生成随机访问点RAP的图片之图片号码PN(步骤S128)。
如此,在本实施方式中,当进行了随机访问再生时,变更图片的管理状态,即,对偏移值Msb加上最大计数值Lsb来更新该偏移值Msb,使得在开始随机访问再生时的图片号码PN成为比在STRL中已经存在的图片Pic具有的任何图片号码PN大。由此,能够防止发生错误动作。
再者,在本实施方式中,对偏移值Msb加上最大计数值Lsb来更新了该偏移值Msb,但是,也可以采用其它方法来实现,使在开始随机访问再生时的图片号码PN成为比在STRL中已经存在的图片Pic所具有的任何图片号码PN大。
图13是一种说明图,表示根据本实施方式被管理的图片存储器103的情况。
首先,在解码了图片号码101的图片B后,当发生了跳跃(随机访问再生),图片I9被解码时,偏移值Msb被更新为96+16=112。接着,作为图片I9的图片号码PN,生成Msb+lsb=112+2=114。结果,参照图片目录被更新为STRL(h’)的状态,接着,在解码了图片P12后,参照图片目录被更新为STRL(i’)的状态。然后,继续进行对图片B10、图片B11的解码。
此时,在STRL(参照图片目录)中,由于图片P12的图片号码PN为最大,图片I9的图片号码PN为仅次于图片P12的图片号码PN,因此,如图13所示的L0目录(L0_for_B11_r2)和L1目录(L1_for_B11_r2)被生成。结果,能够指定原来不能以与通常的连续再生相同的相对索引Ind来指定的图片I9和图片P12。
如此,在本实施方式中,当进行随机访问再生时,首先强制更新偏移值Msb,使此值变大,从而变更图片的管理状态。因此,能够防止产生如图8所示的情况,该情况是指:在进行随机访问再生后的图片号码成为比在进行随机访问再生前的图片号码小。结果,能够防止对参照图片目录中的图片所进行的根据图片号码PN的管理紊乱,并与在进行通常的连续再生时相同,能够以相对索引Ind参照适当的图片,对解码对象的图片进行解码。
变形例1
在这里说明一个变形例,该变形例是有关变更本实施方式的图片的管理状态。
在上述实施方式中,当被指定进行随机访问再生时,通过偏移值Msb的更新,变更了图片的管理状态,但是,在本变形例中,将作为参照图片所存储在图片存储器103的所有图片成为非参照。
由此,只有在进行随机访问再生后被解码的图片在图片存储器103中存储,因此能够防止在进行随机访问再生前被存储的图片和在完成随机访问再生后被存储的图片间产生混乱。而且,由于在进行随机访问再生时,图片号码PN不会单方面的成为大,不会超过图片号码PN能管理的最大值(最大图片号码MPN),因此能够防止因图片号码PN的增大而导致的错误动作。
在这里,也可以进一步进行有关L0目录的生成的特别处理。
图14是一种说明图,用于说明L0目录的生成方法。首先,在解码了图片号码为101的图片B后,当发生了跳跃(随机访问再生),图片I9被解码时,参照图片目录(STRL)中的所有图片变成非参照。即,所存储在参照图片目录的图片,作为参照图片被删除,并曾存储其参照图片的区域变为空(empty)。其次,按照生成方法的第一个例子,作为图片I9的图片号码PN,生成Msb+lsb=96+2=98。结果,参照图片目录被更新为STRL(h’)的状态,接着,在解码了图片P12后,参照图片目录被更新为STRL(i’)的状态。然后,继续进行对图片B10、图片B11的解码。
从这种STRL(i’)状态的参照图片目录,以上述标准所制定的方法,生成L0目录(L0_for_B11_r3)和L1目录(L1_for_B11_r3)。
并且,对于L0目录(L0_for_B11_r3),在空区域继续插入与最后所追加的图片号码PN的图片相同的图片,从而更新为L0目录(L0_for_B11_r4)。
如此,在空区域插入图片,因此即使在进行随机访问再生时,也能更准确地从L0目录选择所要求的图片作为参照图片。
例如,假定图片B11参照前面的1张图片I9和后面的1张图片P12。在这种情况下,如果要参照这些图片I9、P12,就与如图7所示的通常连续再生时相同,对L0目录(L0_for_B11_r4)指定第0的相对索引(Index0),对L1目录(L1_for_B11_r3)指定第0的相对索引(Index0)就可以。
此外,例如假定图片B11对图片P12进行后面2张参照。在这种情况下,根据如图7所示的通常的连续再生,为了参照图片P12,需要对L0目录(L0_for_B11_n)指定第3个相对索引(Index3)。
在这里,如果不更新L0目录(L0_for_B11_r3),而保留空区域,则即使对L0目录(L0_for_B11_r3)指定第3个相对索引(Index3),也不能参照图片P12。于是,预先将L0目录(L0_for_B11_r3)更新为L0目录(L0_for_B11_r4)。即,在L0目录(L0_for_B11_r3)的空区域,嵌入此前刚被存储的图片P12。由此,与图7所示的通常的连续再生相同,通过第3个相对索引(Index3)的制定,能够参照图片P12。如此,填补L0目录的空区域,则无论指定从第1到第3的任何相对索引Ind,均能正常地参照图片P12。
变形例2
在这里说明另外一个变形例,该变形例是有关变更本实施方式的图片的管理状态。
在上述实施方式中,当被指定随机访问再生时,更新偏移值Msb来变更了图片的管理状态,但是,在本变形例中,将假图片(dummypicture)插入到STRL,从而变更图片的管理状态,此时,所插入到STRL的假图片的图片号码比位于随机访问再生位置的图片之图片号码小,并且所插入的张数与可参照图片的张数相同。
由此,以随机访问解码来省略了解码的图片成为与通常一样的状态,该状态是指:在解码后存储在图片存储器103。结果,能够参照适当的图片,对位于随机访问再生位置并此位置以后的解码对象的各个图片进行解码。
图15是一种说明图,说明本变形例所涉及的L0目录及L1目录的生成方法。
首先,在解码图片号码为101的图片B之后,如果发生了跳跃(随机访问再生),就在解码图片I9之前,计算赋予给图片I9的图片号码PN。例如,按照生成方法的第一个例子,作为图片I9的图片号码PN,计算Msb+lsb=96+2=98。接着,具有比图片I9的图片号码PN小的图片号码PN的假图片,被插入到参照图片目录(STRL),此时,所插入到STRL的假图片的张数与可参照图片的张数相同。结果,参照图片目录成为STRL(j)的状态。总之,图片号码为102的图片Py置换为图片号码为97的假图片,图片号码为99的图片Px置换为图片号码为96的假图片。并且,图片号码为96的图片Pw置换为图片号码为95的假图片,图片号码为93的图片Pv置换为图片号码为94的假图片。
在这里,上述假图片,在以后的解码处理中,实际上不被用于参照,因此,上述假图片也可以为被赋予比随机访问再生位置的图片号码小的图片号码、且不存在于流Str中的图片。例如,其假图片为所有的像素值表示所定的值(例如0等)的图片,或为不具有像素值的图片。同时,上述假图片也可以为在流Str中已经被解码的图片。例如,其假图片为此前刚被解码了的图片。再者,也可以不置换存储在参照图片目录中的图片,而仅将其图片的图片号变更为比随机访问再生位置的图片号码小的图片号码。
其次,在解码了图片I9之后,参照图片目录被更新为STRL(h’)的状态,接着,在解码了图片P12之后,参照图片目录被更新为STRL(i’)的状态。然后,继续进行对图片B10、图片B11的解码。
从这种STRL(i’)状态的参照图片目录,以上述标准所制定的方法,生成L0目录(L0_for_B11_r5)和L1目录(L1_for_B11_r5)。
如此,在空区域插入假图片,因此即使在进行随机访问再生时,也能更准确地从L0目录选择所要求的图片作为参照图片。例如,假定图片B11参照前面的1张图片I9和后面的1张图片P12。在这种情况下,如果要参照这些图片I9、P12,就与如图7所示的通常连续再生相同,对L0目录(L0_for_B11_r5)指定第0个的相对索引(Index0),对L1目录(L1_for_B11_r5)指定第0个的相对索引(Index0)就可以。
此外,例如假定图片B11对图片P12进行后面2张参照。根据如图7所示的通常连续再生,为了参照图片P12,需要对L0目录(L0_for_B11_n)指定第3个相对索引(Index3),因此,此时也与图7所示的通常连续再生相同,对L0目录(L0_for_B11_r5)指定第3个相对索引(Index3),从而能参照图片P12。
实施方式2
根据本发明第2实施方式的图像解码方法,以图6所示的图片号码的生成方法之第二个例子为基础,生成图片号码,并解码流中所包含的各图片。
图16表示一种图像解码装置的方框图,该图像解码装置实现本实施方式的图像解码方法。
本实施方式的图像解码装置200包括:可变长解码部101、运动补偿部102、图片存储器103、加法部104、转换部105、存储器管理部206、图片号码生成部207以及再生判断部108。
本实施方式的图像解码装置200所包括的结构元素中,与实施方式1的图像解码装置100所包括的结构元素相同的元素,赋予与实施方式1相同的符号来表示,因此在这里省略详细的说明。
图片号码生成部207,从再生判断部108取得再生判断信号,按照该再生判断信号所示的再生形式(通常的连续再生还是随机访问再生),生成并输出图片号码。
存储器管理部206,利用从再生判断部108所输出的再生判断信号和从图片号码生成部207所输出的图片号码,管理在图片存储器103存储的图片。
图17是一种流程图,表示图像解码装置200的动作之一个例子。
首先,在开始流Str的再生处理时,图像解码装置200对位于开始位置的解码对象的图片进行解码(步骤S200),按照生成方法的第二个例子,生成该图片的图片号码(步骤S202)。接着,图像解码装置200,对该图片赋予图片号码,将该图片在存储器103中存储(步骤S204)。其次,图像解码装置200判断是否被指定了随机访问再生(步骤S206),当判断了被指定时(步骤S206的“是”),以与实施方式1不同的方式来变更图片的管理状态(步骤S208)。然后,图像解码装置200对位于随机访问再生位置的图片,反复进行步骤S200以后的处理。总之,图像解码装置200,将变更后的管理状态作为初始状态,对位于随机访问再生位置并此位置以后的各个图片依次进行解码,并在这些图片中,将用于参照的图片在图片存储器103中存储并管理。
另一方面,在步骤S106中,当判断为未被指定随机访问再生时(步骤S206的“否”),图像解码装置100按照序列再生,判断是否有未解码的图片(步骤S210)。当判别为有未解码的图片时(步骤S210的“是”),图像解码装置200对该图片反复进行从步骤S200以后的处理。另一方面,当判别为没有未解码的图片时(步骤S210的“否”),结束流Str的再生处理。
图18是一种流程图,表示图片号码生成部207的动作。
图片号码生成部207,如图18所示,首先从再生判断部108取得再生判断信号(步骤S220),按照该再生判断信号判断将被指定的再生形式是否为通常的连续再生,还是从Open GOP结构的随机访问点RAP开始的随机访问再生(步骤S222)。
在这里,图片号码生成部207当判断为在步骤S222中被指定了通常的连续再生时,按照生成方法的第二个例子,生成图片号码(步骤S224)。
另一方面,图片号码生成部207,当判断为在步骤S222中被指定了随机访问再生时,将参照图片目录的STRL初始化(步骤S226)。即,图片号码生成部207,将存储在参照图片目录的STRL的所有图片均为非参照。例如,根据H.264标准,在目录管理中,“STRL参照(used forshort term reference)”的状态被更新为“非参照(unused forreference)”状态。
由于参照图片目录的STRL被初始化,在STRL中不存在参照图片,因此,在开始特殊再生(随机访问再生)时的图片号码PN为在STRL中存在的图片Pic中最大。但是,如按图9所进行的上述说明,在图片号码PN与最大图片号码MPN相近时,在进行从随机访问再生位置开始的序列再生的过程中,图片号码PN可能超过最大图片号码MPN,导致错误动作。即,如果要通过管理来防止错误动作的发生,将图片号码PN成为约0的正值就可以。总之,由于图片号码PN是由偏移值FNO和帧号码fn生成,因此将偏移值FNO重新设定为小的自然数就可以。
然后,图片号码生成部207将偏移值FNO强制设定为0(步骤S228)。再者,也可以将偏移值FNO成为与从Closed GOP开始再生时的状态相近的值,或0以上的小值。
通过这种参照图片目录的初始化和偏移值FNO=0的设定,图片管理状态被变更。
并且,图片号码生成部207,将变更后的图片管理状态作为初始状态,按照生成方法的第二个例子,对位于随机访问点RAP并此位置以后的各个图片加上偏移值FNO和其图片的帧号码(计数值)fn,并乘以2,从而生成图片号码PN(步骤S230)。
再者,将位于随机访问再生开始位置的紧前面的帧号码fn的保存值,例如变更为0等也可以。其目的在于,防止在开始随机访问再生后,因发生对偏移值FNO加上最大帧号码MFN的处理,而导致偏移值FNO及图片号码PN的值变为大。
如此,根据本实施方式,在进行随机访问再生时,首先进行参照图片目录的初始化和偏移值FNO=0的设定,变更图片的管理状态。因此,能够防止如图9所示的情况,即图片号码PN超过最大图片号码的情况。结果,能够防止对参照图片目录中的图片所进行的根据图片号码PN的管理紊乱,并与在进行通常的连续再生时相同,能够以相对索引Ind参照适当的图片,对解码对象的图片进行解码。
再者,在实施方式1和实施方式2中,说明了在进行随机访问再生时的图片号码PN的生成方法,但是,当在流中包含表示画面显示时刻的显示时刻标记(Presentation Time Stamp:PTS)信息时,无论是在通常连续再生时还是在随机访问再生时,可以不转换图片号码PN的生成方法,来生成L0目录和L1目录。
变形例1
在这里说明有关本实施方式的参照图片管理方法的变形例。
图19是一种说明图,说明本变形例的参照图片目录(STRL)的管理方法。
例如,假定进行图19(a)所示的流的再生。流中所包含的各图片,通常按从图中的左侧到右侧的顺序被处理。总之,流上的时间从左面向右面过去。同时,各随机访问点RAP的开头图片为图片I0、I1、I2及I3。
在这里,在连续再生图片P4、P5、P6及I7之后,进行往后面的跳跃动作(随机访问再生),即,依次再生图片I3、图片I2、图片I1,最后再生图片I0。
在进行上述随机访问再生时,根据上述实施方式,以前的参照图片目录被初始化,即,参照图片目录所包含的所有图片均被定为非参照。并且,由于参照图片目录被进行PTS管理,因此在这些所定为非参照的图片中,具有最旧PTS的图片从参照图片目录中被删除,并在所删除的区域存储新的图片。
即,如图19(b)所示,在按从图片P4到图片I7的顺序,依次进行解码时,参照图片目录的状态成为状态a00,在解码了图片I3时,参照图片目录的状态成为状态a01,在解码了图片I2时,参照图片目录的状态成为状态a02,在解码了图片I1时,参照图片目录的状态成为状态a03,并在解码了图片I0时,参照图片目录的状态成为状态a04。再者,在图19中画斜线的图片是被定为非参照的图片,也就是作为显示用图片而留下的图片。
在状态a00的参照图片目录中,按照图片I7、P6、P5、P4的顺序,依次赋予相对索引Ind,相反,按照图片P4、P5、P6、P7的顺序依次进行画面显示,各图片均处于“显示等候”或“显示完毕”的某一个状态。
在状态a01的参照图片目录中,图片I7、P6、P5、P4均被定为“非参照”,并作为参照图片追加新图片I3,取代图片P4。并且,各图片按照图片I3、P5、P6、I7的顺序依次被配置,并在画面上显示。
在状态a02的参照图片目录中,在将图片I3定为“非参照”的基础上,作为参照图片追加新图片I2,取代图片I3。并且,各图片按照图片I2、P5、P6、I7的顺序依次被配置,并在画面上显示。
在状态a03的参照图片目录中,在将图片I2定为“非参照”的基础上,作为参照图片追加新图片I1,取代图片I2。并且,各图片按照图片I1、P5、P6、I7的顺序依次被配置,并在画面上显示。
在状态a04的参照图片目录中,在将图片I0定为“非参照”的基础上,作为参照图片追加新图片I0,取代图片I1。并且,各图片按照图片I0、P5、P6、I7的顺序依次被配置,并在画面上显示。
因此,因画面显示时刻的原因,可能发生在以逆再生来再生图片I0之后,显示图片P5、P6及I7的现象。另外,当在进行画面显示处理前进行解码处理的情况下,因在画面显示前,下一个解码后的图片更新所存储在参照图片目录的图片I3、I2、I1及I0,而这些图片可能不能在画面上显示。
因此,在本变形例中,当进行随机访问再生时,且该随机访问再生包括对Open GOP的随机访问点RAP的访问时,不利用部分PTS信息来进行对参照图片目录的管理,从而能够避免上述画面显示的错误动作。
具体来讲,在本变形例中,每次进行随机访问再生时,更新RAID号码,并对在参照图片目录中存储的图片赋予该RAID号码。并且,用PTS和该RAID号码管理参照图片目录。由此,如图19(c)所示,长期保持存储在参照图片目录中的图片,从而防止上述错误动作。
图20A是一种流程图,表示存储器管理部206对赋予对象的图片赋予RAID号码的动作。
首先,存储器管理部206判断要在参照图片目录中存储的、且作为RAID号码的赋予对象的图片,是否位于再生处理的开头(步骤S300)。例如,判断参照图片目录是否处于仅存在非参照且完毕显示的图片的状态。
在这里,当判断为位于再生处理的开头时(步骤S300的“是”),存储器管理部206将赋予对象图片的RAID号码定为0(步骤S302)。另一方面,当判断为不位于再生处理的开头时(步骤S300的“否”),存储器管理部206,进一步判断赋予对象的图片是否位于随机访问再生的开头(步骤S304)。
在这里,当判断为位于随机访问再生的开头时(步骤S304的“是”),存储器管理部206,对上次赋予给其它图片的RAID号码加上1,并将该值作为赋予对象图片的RAID号码(步骤S306)。另一方面,当判断为不位于随机访问再生的开头时(步骤S304的“否”),存储器管理部206,将上次赋予给其它图片的RAID号码定为赋予对象图片的RAID号码(步骤S308)。
并且,存储器管理部206,如上所述,将所定的RAID号码赋予给赋予对象图片,并在参照图片目录中存储(步骤S310)。
图20B是一种流程图,表示存储器管理部206从存储在参照图片目录的图片中选择要删除的图片的动作。
首先,存储器管理部206,从存储在参照图片目录的图片中,选择RAID号码最小的图片群(步骤S320)。
接着,存储器管理部206,在所选择的图片群中选择具有最旧PTS的图片作为被删除的图片(步骤S322)。
在实际处理中,也需要判断各图片的状态的处理,例如判断各图片的状态为“参照”状态还是“非参照”状态,及为“显示等候”状态还是“显示完毕”状态等。
图19(c)表示参照图片目录的状态,该参照图片目录以如上所述的利用PAID号码的存储器管理部206的管理来实现。
如图19(c)所示,在按从图片P4到图片I7的顺序,依次进行解码时,参照图片目录的状态成为状态a10,在解码了图片I3时,参照图片目录的状态成为状态a11,在解码了图片I2时,参照图片目录的状态成为状态a12,在解码了对图片I1时,参照图片目录的状态成为状态a13,并在解码了图片I0时,参照图片目录的状态成为状态a14。在图19中画斜线的图片表示被定为非参照的图片。
在状态a10的参照图片目录中,与上述状态a00的参照图片目录相同,按照图片I7、P6、P5、P4的顺序,依次赋予相对索引Ind,相反,按照图片P4、P5、P6、P7的顺序依次进行画面显示,各图片均处于“显示等候”或“显示完毕”的某一个状态。同时,赋予给这些所有图片的RAID号码均为0。
在状态a11的参照图片目录中,图片I7、P6、P5、P4均被定为“非参照”,图片P4被删除,并追加新图片I3作为参照图片。在这里,图片I7、P6、P5的RAID号码均为0,图片I3的RAID号码为1,因此,在图片I7、P6、P5和图片I3间,不进行采用PTS的管理,仅在图片I7、P6、P5间进行采用PTS的管理。因此,各图片按照图片P5、P6、I7、I3的顺序被排列,并在画面上显示。
在状态a12的参照图片目录中,图片I3被定为“非参照”,图片P5被删除,并追加新图片I2作为参照图片。并且,各图片按照图片P6、I7、I3、I2的顺序依次被配置,并在画面上显示。
在状态a13的参照图片目录中,图片I2被定为“非参照”,图片P6被删除,并追加新图片I1作为参照图片。并且,各图片按照图片I7、I3、I2、I1的顺序依次被配置,并在画面上显示。
在状态a14的参照图片目录中,图片I1被定为“非参照”,图片I7被删除,并追加新图片I0作为参照图片。并且,各图片按照图片I3、I2、I1、I0的顺序依次被配置,并在画面上显示。
如此,在本变形例中,根据PTS和RAID号码管理参照图片目录,因此,能够按照画面显示时所需的顺序保留图片。
再者,在本变形例中,当被指定随机访问再生时,不用更新偏移值FNO。即,在本变形例中,可以在不更新偏移值FNO的情况下,将参照图片目录初始化,并如上所述,根据PTS和RAID号码管理该参照图片目录。
变形例2
在这里说明有关本实施方式的参照图片管理方法的另外一个变形例。本变形例的特征在于,按照随机访问再生的情况,对由参照图片目录的STRL和LTRL分别管理的图片张数进行互补性变更。
从图21A到图21F表示本变形例中的参照图片目录的状态。
如上所述,参照图片目录RPL包括:STRL,进行FIFO性管理;LTRL,从已经存储的图片中删除被明确指定的图片。
例如,如图21A所示,存储器管理部206以能够管理共6张图片为目的来构成参照图片目录RPL,将4张图片P4、P5、P6及I7在STRL中存储,并将2张图片P0、P1在LTRL中存储。
在这里,在进行了随机访问再生时,如图21B所示,存储器管理部206,首先将作为参照图片目录RPL的管理对象的所有图片均定为非参照。即,分别存储在LTRL及STRL的各图片均被定为非参照。
其次,存储器管理部206,尝试确定位于随机访问再生位置的STRL及LTRL的管理张数。结果,当知道位于随机访问再生位置的STRL的管理张数为4张、并LTRL的管理张数为2张时,存储器管理部206维持现在的STRL及LTRL的管理张数。并且,存储器管理部206,将存储在STRL的非参照图片依次删除,如图21C所示,将新的4张图片new0、new1、new2及new3在STRL存储。
在这里,当知道位于随机访问再生位置的STRL的管理张数为5张、并LTRL的管理张数为1张时,如图21E所示,存储器管理部206,按照其随机访问再生位置,变更现在的STRL及LTRL的管理张数。并且,存储器管理部206将5张图片new0、new1、new2、new3及new4在STRL存储。
如果存储器管理部206不按照其随机访问再生位置变更STRL及LTRL的管理张数,则如图21D所示,为了存储图片new4,图片new0被删除。在这种情况下,无法参照图片new0,因此,可能在解码处理上导致错误动作。于是,在本变形例中,如上所述,按照其随机访问再生位置变更STRL及LTRL的管理张数,从而防止错误动作的发生。
同时,当把握随机访问再生位置的STRL及LTRL的管理张数分别为6张和0张时,如图21F所示,存储器管理部206将STRL的管理张数变更为6张,并将LTRL的管理张数变更为0张。再者,当在开始随机访问再生后,需要在LTRL存储图片时,作为特殊处理进行按需要减少STRL的管理张数并增加LTRL的管理张数的处理,然后存储其图片。
同时,存储器管理部206,在尝试确定位于随机访问再生位置的STRL及LTRL的管理张数后,还是未把握其管理张数时,将STRL的管理张数变更为最大张数的6张,并将LTRL的管理张数变更为最小张数的0张。此后,每当有在LTRL存储图片的指示时,更新STRL和LTRL的管理张数,存储所指示的图片,一直到把握管理张数。这种在LTRL存储图片的指示,例如图片信息头的信息区域所具有的MMCO(存储器管理控制操作:memory management control operation)中被记载。
如此,在本变形例中,当发生对Open GOP的随机访问时,作为在发生随机访问再生时所进行的参照图片目录RPL的特殊管理处理,在将STRL的所有图片定为“非参照”的同时,也将LTRL的所有图片定为“非参照”,然后按照其随机访问再生位置变更STRL及LTRL的管理张数。
再者,在本变形例中,当被指定随机访问再生时,不用更新偏移值FNO。即,在本变形例中,也可以在不更新偏移值FNO的基础上,将参照图片目录初始化,并如上所述,按照其随机访问再生位置变更STRL及LTRL的管理张数。
再者,在本实施方式及各变形例中,与实施方式1的变形例1相同,也可以在L0目录的空区域嵌入此前刚被存储的图片。
再者,在本实施方式及各变形例中,与实施方式1的变形例2相同,也可以将假图片插入到STRL及LTRL,此时,所插入的假图片的图片号码比位于随机访问再生位置的图片之图片号码小,并且所插入的张数与可参照图片的张数相同。
实施方式3
并且,将用于实现上述实施方式所示的图像解码方法的程序在软盘等记录媒体记录,从而能够以独立的计算机系统简便地实施上述各实施方式所示的处理。
从图22A到图22C是一种说明图,说明如下情况:以记录在软盘等记录媒体的程序,通过计算机系统实施上述实施方式的图像解码方法。
图22B表示软盘F的正面图和侧面图,以及软盘主体FD的正面图。图22A表示作为记录媒体的软盘主体FD的物理格式例子。软盘F的内部包括软盘主体FD。在软盘主体FD的表面上,从外周到内周形成同心圆状态的多个磁道Tr,各磁道向角度方向分割成16个扇区Se。因此,在软盘F中,上述程序是在上述软盘主体FD中所分配的区域上被记录。
同时,图22C表示用于对软盘F进行上述程序的记录再生的结构。当将实现图像解码方法的上述程序要在软盘F中记录时,从计算机系统Cs,通过软盘驱动器FDD写入上述程序。同时,当按照软盘F中的程序,在计算机系统中建立上述图像解码方法时,以软盘驱动器FDD从软盘F读出程序,并转送到计算机系统。
再者,在上述说明中,作为记录媒体采用了软盘而进行了说明,不过,在采用光盘的情况下也可以进行同样的处理。同时,记录媒体不限于如上所述的记录媒体,而只要是能记录程序的媒体,例如IC卡、ROM盒等,就可以实施与上述同样的处理。
实施方式4
本实施方式的音频视频处理装置进行采用上述实施方式1或2所示的图像解码方法的应用动作。
图23是一种结构图,表示本实施方式的音频视频处理装置的结构。
此音频视频处理装置500作为再生数字压缩后的声音及图像的DVD播放机或BD-ROM播放机等实现。
流输入输出部501,从外部取得流exStr。图像编码解码部503进行图像的编码及解码。声音编码解码部504进行声音的编码及解码。存储器505存储流exStr、编码数据、解码数据等数据。存储器输入输出部506对存储器505进行数据的存储和取出。图像处理部507对图像信号进行前期处理及后期处理。图像输入输出部508,将在图像处理部507所处理的图像信号或不在图像处理部507被处理而就通过的图像信号作为图像信号exVSig向外部输出。同时,图像输入输出部508,吸收来自外部的图像信号exVSig。
另外,声音处理部509对声音信号进行前期处理及后期处理。
声音输入输出部510,将在声音处理部509所处理的声音信号或不在声音处理部509被处理而就通过的声音信号作为声音信号exASig向外部输出。同时,声音输入输出部510,吸收来自外部的声音信号exASig。音频视频控制部511控制总音频视频控制部置500。
并且,流输入输出部501、图像编码解码部503、声音编码解码部504、存储器输入输出部506、图像处理部507、声音处理部509以及音频视频控制部511,均连接于转送流exStr、声音·图像解码数据等数据的总线502。
在此说明这种音频视频处理装置500的编码工作。首先,流输入输出部exStrIF,从光盘等存储媒体读出数据、或通过卫星广播等接收数据,从而取得声音及图像的流exStr。图像编码解码部503从该流exStr提取图像流,声音编码解码部504提取声音流。
存储器输入输出部506,将由图像编码解码部503所解码的图像数据在存储器505存储。图像处理部507取出存储在存储器505的数据,并进行消除杂波等加工处理。并且,图像编码解码部503再次取出存储在存储器505的图像数据,作为画面间运动补偿预测的参照图片使用。
在这里,图像编码解码部503包括实施方式1或2中的图像解码装置100和200。再者,图像编码解码部503,也可以不包括图像解码装置100和200的图片存储器103。在这种情况下,图像编码解码部503使用存储器505,取代图片存储器103。另外,上述图像流相当于实施方式1或2的流Str。
另一方面,存储器输入输出部506将由声音编码解码部504所解码的声音数据在存储器505存储。声音处理部509取得存储在存储器505的数据,并对该数据进行有关音响等的加工处理。
最后,在声音和图像间进行时间同步的同时,在图像处理部507被加工处理后的数据,通过图像输入输出部508,作为图像信号exVSig被输出,并在电视画面等上显示。
同时,在声音处理部509被加工处理后的数据,通过声音输入输出部510,作为声音信号exASig被输出,并通过扬声器等输出。
再者,实施方式1或2的图像解码装置100和200所具有的各结构元素,通常作为所谓集成电路的大规模集成电路(LSI:Large ScaleIntegration)实现。这些结构元素可以个别具有单片结构,也可以具有包括一部分或整体元素的单片结构(例如,存储器103等存储器以外的各结构元素具有单片结构也可以)。
而且,在这里作为集成电路介绍了大规模集成电路,不过,根据集成度的不同,作为IC(集成电路:Integrated Circuit)、系统大规模集成电路、超级大规模集成电路或极超级大规模集成电路实现也可以。同时,实现集成电路的方法不限于大规模集成电路,而由专用电路或通用处理器来实现也可以。在制造大规模集成电路后,也可以利用可设计程序的FPGA(现场可编程门阵列:Field Programmable GateArray)或可以重构大规模集成电路内部的电路之连接和设定的可重构处理器。并且,随着半导体技术的进步或另外技术的衍生,如果出现能代替LSI的另外集成电路技术,当然可以以该技术来进行对结构元素的集成化。在此方面,会有适用生物技术等的可能性。
再者,各结构元素中,仅不使存储作为解码对象的数据的存储器(图片存储器103、存储器505)具有单片结构,而使之具有另外结构也可以。
产业上的可利用性
本发明涉及的图像解码方法具有这样一个作用:即使在进行随机访问再生时,也能够参照适当的图片,解码解码对象的图片,例如能够适于再生根据H.264标准的图像或声音的DVD播放机、BD-ROM播放机等。

Claims (22)

1、一种图像解码方法,参照已经被解码并存储在存储器的图片,并对流中所包含的多个编码后的图片进行解码,其特征在于,包括:
第一存储步骤,依次解码上述流所包含的各个图片,并将上述各个图片中用于参照的图片在上述存储器存储并管理;
判断步骤,判断是否被指定了随机访问再生;
状态变更步骤,在上述判断步骤中判断为被指定了随机访问再生时,变更在上述存储器中用于管理图片的管理状态;以及
第二存储步骤,将在上述状态变更步骤中所变更的管理状态作为初始状态,对位于上述随机访问再生位置并此位置以后的各个图片依次进行解码,并将上述各个图片中用于参照的图片在上述存储器存储并管理。
2、如权利要求1所述的图像解码方法,其特征在于,
上述流所包含的多个编码后的图片被分成小组,该小组是访问单位;
在上述判断步骤中,判断是否被指定了从访问单位开始的随机访问再生,上述访问单位是被允许了参照其它访问单位的图片的访问单位。
3、如权利要求2所述的图像解码方法,其特征在于,
在上述第一存储步骤及第二存储步骤中,生成用于识别各个解码后的图片的图片号码,并将所生成的图片号码赋予给上述各个图片,从而管理用于参照的上述图片;
在上述状态变更步骤中,将用于生成上述图片号码的偏移值,作为上述管理状态更新。
4、如权利要求3所述的图像解码方法,其特征在于,
在上述第一存储步骤中,在解码对象的访问单位所包含的所有图片每次被解码时,更新上述偏移值,从而使此值变大,同时利用计数值和上述偏移值,生成各个解码后的图片的图片号码,上述计数值是按上述流的各个访问单位,所分配给各个图片的;
在上述状态变更步骤中,更新上述偏移值,从而使此值变大;
在上述第二存储步骤中,以上述更新后的偏移值作为初始状态,在解码对象的访问单位所包含的所有图片每次被解码时,更新上述偏移值,从而使此值变大,同时利用上述计数值和偏移值,生成位于上述随机访问再生位置并此位置以后的各个解码后的图片的图片号码。
5、如权利要求4所述的图像解码方法,其特征在于,
在上述第一存储步骤、第二存储步骤和上述状态变更步骤中,更新上述偏移值,使上述偏移值的大小至少为增加了访问单位中的计数值的最大值之后的值。
6、如权利要求2所述的图像解码方法,其特征在于,
在上述第一存储步骤及第二存储步骤中,生成用于识别各个解码后的图片的图片号码,并将所生成的图片号码赋予给上述各个图片,从而管理用于参照的上述图片;
在上述状态变更步骤中,将存储在上述存储器的所有图片变更为非参照状态,从而变更上述管理状态。
7、如权利要求6所述的图像解码方法,其特征在于,
在上述状态变更步骤中,将存储在上述存储器的所有图片,在保持以能显示的状态的同时,变更为非参照的状态。
8、如权利要求7所述的图像解码方法,其特征在于,
在上述第一存储步骤及第二存储步骤中,生成用于识别各个解码后的图片的图片号码,并将所生成的图片号码赋予给上述各个图片,从而管理用于参照的上述图片;
在上述第一存储步骤中,每当解码对象图片的计数值成为小于此前刚被解码的图片之计数值时,更新用于生成上述图片号码的偏移值,从而使此值变为大,同时利用计数值和上述偏移值,生成各个解码后的图片的图片号码,上述计数值是按上述流的各个访问单位,所分配给各个图片的;
在上述状态变更步骤中,更新作为上述管理状态存在的上述偏移值,从而使此值变小;
在上述第二存储步骤中,以上述更新后的偏移值作为初始状态,每当解码对象图片的计数值成为小于此前刚被解码的图片之计数值时,更新上述偏移值,从而使此值变大,同时利用上述计数值和偏移值,生成位于上述随机访问再生位置并此位置以后的各个解码后的图片的图片号码。
9、如权利要求8所述的图像解码方法,其特征在于,
在上述状态变更步骤中,将上述偏移值更新为0。
10、如权利要求7所述的图像解码方法,其特征在于,
在上述第二存储步骤中,进一步利用基于随机访问再生的开始的开始信息,管理在上述存储器被存储的图片。
11、如权利要求10所述的图像解码方法,其特征在于,
在上述第二存储步骤中,将每次开始随机访问再生时被更新的随机访问号码作为上述开始信息利用。
12、如权利要求7所述的图像解码方法,其特征在于,
上述存储器包括第一存储区域及第二存储区域,该第一存储区域及第二存储区域对图片的管理状态方法互不相同;
在上述状态变更步骤中,进一步按照随机访问再生位置,对上述第一存储区域及第二存储区域的大小进行互补性变更。
13、如权利要求12所述的图像解码方法,其特征在于,
在上述第一存储区域中,新图片被存储时,所存储的最旧图片先被删除;
在上述第二存储区域中,新图片被存储时,所指定的图片先被删除;
14、如权利要求13所述的图像解码方法,其特征在于,
在上述状态变更步骤中,判断是否能确定上述第一存储区域及第二存储区域的大小,当判断为不能确定时,将上述存储器的所有区域分配给上述第一存储区域,上述第一存储区域及第二存储区域的大小要按照随机访问再生位置设定。
15、如权利要求6所述的图像解码方法,其特征在于,
在上述第二存储步骤中,进一步,当在上述存储器中有成为非参照状态的图片时,将上述图片置换为此前刚被存储的可参照图片。
16、如权利要求2所述的图像解码方法,其特征在于,
在上述第一存储步骤及第二存储步骤中,生成用于识别各个解码后的图片的图片号码,并将所生成的图片号码赋予给上述各个图片,从而管理用于参照的上述图片;
在上述状态变更步骤中,将存储在存储器的图片之图片号码,变更为比位于随机访问再生位置的图片之图片号码小的号码。
17、如权利要求16所述的图像解码方法,其特征在于,
在上述状态变更步骤中,将存储在存储器的图片,变更为假图片,该假图片具有的图片号码比位于随机访问再生位置的图片之图片号码小。
18、如权利要求17所述的图像解码方法,其特征在于,
上述假图片是不被包含在上述流中的图片。
19、如权利要求17所述的图像解码方法,其特征在于,
上述假图片是在上述第一存储步骤中被解码的图片。
20、一种图像解码装置,参照已经被解码并存储在存储器的图片,并对流中所包含的多个编码后的图片进行解码,其特征在于,包括:
第一存储单元,依次解码上述流所包含的各个图片,并将上述各个图片中用于参照的图片在上述存储器存储并管理;
判断单元,判断是否被指定了随机访问再生;
状态变更单元,在上述判断单元中判断为被指定了随机访问再生时,变更在上述存储器中用于管理图片的管理状态;以及
第二存储单元,将在上述状态变更单元中所变更的管理状态作为初始状态,对位于上述随机访问再生位置并此位置以后的各个图片依次进行解码,并将上述各个图片中用于参照的图片在上述存储器存储并管理。
21、一种集成电路,参照已经被解码并存储在存储器的图片,并对流中所包含的多个编码后的图片进行解码,其特征在于,包括:
第一存储单元,依次解码上述流所包含的各个图片,并将上述各个图片中用于参照的图片在上述存储器存储并管理;
判断单元,判断是否被指定了随机访问再生;
状态变更单元,在上述判断单元中判断为被指定了随机访问再生时,变更在上述存储器中用于管理图片的管理状态;以及
第二存储单元,将在上述状态变更单元中所变更的管理状态作为初始状态,对位于上述随机访问再生位置并此位置以后的各个图片依次进行解码,并将上述各个图片中用于参照的图片在上述存储器存储并管理。
22、一种程序,参照已经被解码并存储在存储器的图片,并对流中所包含的多个编码后的图片进行解码,其特征在于,包括:
第一存储步骤,依次解码上述流所包含的各个图片,并将上述各个图片中用于参照的图片在上述存储器存储并管理;
判断步骤,判断是否被指定了随机访问再生;
状态变更步骤,在上述判断步骤中判断为被指定了随机访问再生时,变更在上述存储器中用于管理图片的管理状态;以及
第二存储步骤,将在上述状态变更步骤中所变更的管理状态作为初始状态,对位于上述随机访问再生位置并此位置以后的各个图片依次进行解码,并将上述各个图片中用于参照的图片在上述存储器存储并管理。
CNB200680000058XA 2005-01-17 2006-01-11 图像解码方法、图像解码装置和集成电路 Expired - Fee Related CN100551074C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP009677/2005 2005-01-17
JP2005009677 2005-01-17

Publications (2)

Publication Number Publication Date
CN1943246A true CN1943246A (zh) 2007-04-04
CN100551074C CN100551074C (zh) 2009-10-14

Family

ID=36677660

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200680000058XA Expired - Fee Related CN100551074C (zh) 2005-01-17 2006-01-11 图像解码方法、图像解码装置和集成电路

Country Status (4)

Country Link
US (1) US8050328B2 (zh)
JP (1) JP4769717B2 (zh)
CN (1) CN100551074C (zh)
WO (1) WO2006075635A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104429082A (zh) * 2012-07-02 2015-03-18 高通股份有限公司 用于视频译码的长期参考图片的信令
CN105340277A (zh) * 2013-08-22 2016-02-17 索尼公司 编码装置、编码方法、传输装置、解码装置、解码方法以及接收装置
CN105379281A (zh) * 2013-06-24 2016-03-02 微软技术许可有限责任公司 用于使用图形处理器的视频解码的图片参考控制
US9979958B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
US10595036B2 (en) 2012-06-29 2020-03-17 Velos Media, Llc Decoding device and decoding method

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
JP4976780B2 (ja) * 2006-08-10 2012-07-18 キヤノン株式会社 再生装置
JP5023739B2 (ja) * 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
BR122012013077A2 (pt) * 2007-04-18 2015-07-14 Thomson Licensing Sinal tendo parâmetros de decodificação para codificação de vídeo de múltiplas vistas
US20140072058A1 (en) * 2010-03-05 2014-03-13 Thomson Licensing Coding systems
US8553781B2 (en) * 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
JP5332773B2 (ja) * 2009-03-18 2013-11-06 ソニー株式会社 画像処理装置および方法
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP5496047B2 (ja) * 2010-10-07 2014-05-21 パナソニック株式会社 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム
JP5863244B2 (ja) * 2011-01-12 2016-02-16 Necパーソナルコンピュータ株式会社 編集装置、制御方法及びプログラム
US9516379B2 (en) 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
US20130089152A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
BR122021007881B1 (pt) 2011-10-28 2023-03-21 Samsung Electronics Co., Ltd Método de decodificação de vídeo, e método de codificação de vídeo
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
JP6365924B2 (ja) * 2013-05-09 2018-08-01 サン パテント トラスト 画像復号方法及び画像復号装置
JP6365253B2 (ja) * 2014-11-12 2018-08-01 富士通株式会社 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法
US10148965B2 (en) * 2015-03-04 2018-12-04 Panasonic Intellectual Property Management Co., Ltd. Moving image coding apparatus and moving image coding method
US10178403B2 (en) * 2015-06-23 2019-01-08 Qualcomm Incorporated Reference picture list construction in intra block copy mode
WO2017024990A1 (en) * 2015-08-07 2017-02-16 Mediatek Inc. Method and apparatus of bitstream random access and synchronization for multimedia applications
US11356698B2 (en) 2019-12-30 2022-06-07 Tencent America LLC Method for parameter set reference constraints in coded video stream

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3020528B2 (ja) * 1989-12-14 2000-03-15 キヤノン株式会社 画像処理装置
DE69222240T2 (de) * 1991-07-12 1998-02-05 Sony Corp Vorrichtung zum Decodieren eines Bildsignals
JP3156597B2 (ja) * 1996-09-04 2001-04-16 松下電器産業株式会社 画像情報復号化再生装置および画像情報復号化再生方法
US6167083A (en) * 1997-04-04 2000-12-26 Avid Technology, Inc. Computer system and process for capture editing and playback of motion video compressed using interframe and intraframe techniques
JP4292654B2 (ja) 1999-03-19 2009-07-08 ソニー株式会社 記録装置および方法、再生装置および方法、並びに記録媒体
WO2001033832A1 (fr) * 1999-10-29 2001-05-10 Fujitsu Limited Appareil de reproduction d'images et appareil d'enregistrement/reproduction d'images
JP2004242286A (ja) * 2003-01-17 2004-08-26 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
WO2004066635A1 (ja) 2003-01-17 2004-08-05 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法および動画像復号化方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979958B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
US9979959B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing
US10051264B2 (en) 2012-04-20 2018-08-14 Qualcomm Incorporated Marking reference pictures in video sequences having broken link pictures
US10595036B2 (en) 2012-06-29 2020-03-17 Velos Media, Llc Decoding device and decoding method
US10623765B2 (en) 2012-06-29 2020-04-14 Velos Media, Llc Encoding device and encoding method with setting and encoding of reference information
TWI694715B (zh) * 2012-06-29 2020-05-21 愛爾蘭商維洛思媒介國際公司 資訊處理設備及資訊處理方法
CN104429082A (zh) * 2012-07-02 2015-03-18 高通股份有限公司 用于视频译码的长期参考图片的信令
CN104429082B (zh) * 2012-07-02 2018-08-28 高通股份有限公司 用于视频译码的长期参考图片的信令
CN105379281A (zh) * 2013-06-24 2016-03-02 微软技术许可有限责任公司 用于使用图形处理器的视频解码的图片参考控制
CN105379281B (zh) * 2013-06-24 2020-06-19 微软技术许可有限责任公司 用于使用图形处理器的视频解码的图片参考控制
CN105340277A (zh) * 2013-08-22 2016-02-17 索尼公司 编码装置、编码方法、传输装置、解码装置、解码方法以及接收装置
CN105340277B (zh) * 2013-08-22 2019-02-15 索尼公司 编码装置、编码方法、传输装置、解码装置、解码方法以及接收装置

Also Published As

Publication number Publication date
US20080232467A1 (en) 2008-09-25
JPWO2006075635A1 (ja) 2008-06-12
US8050328B2 (en) 2011-11-01
CN100551074C (zh) 2009-10-14
WO2006075635A1 (ja) 2006-07-20
JP4769717B2 (ja) 2011-09-07

Similar Documents

Publication Publication Date Title
CN1943246A (zh) 图像解码方法
CN1186937C (zh) 编码设备和方法、多路复用设备和方法
CN1223196C (zh) 解码器、解码方法
CN1167275C (zh) 图像处理方法
CN1192610C (zh) 记录/回放装置、记录/回放方法和记录媒体
CN1155886C (zh) 多媒体数据编码复用方法和装置及其程序记录媒体
CN101075462A (zh) 记录/再现/编辑装置、方法、程序
CN1950907A (zh) 运动画面流产生装置,运动画面编码装置,运动画面多路复用装置和运动画面解码装置
CN1138275A (zh) 图形信号编码译码方法和装置及信号记录介质
CN1906694A (zh) 再现装置、再现方法、程序、记录介质和数据结构
CN1725844A (zh) 数字媒体流的反向表示
CN1812548A (zh) 记录器及其方法,播放器及其方法,程序和记录介质
CN1879409A (zh) 记录装置及方法、再生装置及方法、记录媒体及程序
CN1879410A (zh) 节目录制装置及节目录制方法
CN1706187A (zh) 数据处理装置
CN1547852A (zh) 活动图像数据再现设备
CN1692640A (zh) 广播记录系统、记录设备、广播设备及用于节省用来记录内容的记录介质的存储空间的记录程序
CN1134935C (zh) 数据处理同步装置
CN1788496A (zh) 图像处理设备和方法、信息处理设备和方法、信息记录设备和方法、信息再现设备和方法、信息存储介质、以及程序
CN1527611A (zh) 运动图像编码方法和装置
CN1501703A (zh) 数据流重放设备和方法、数字广播接收器和相关的计算机程序
CN1747544A (zh) 记录装置、记录方法、再生装置、再生方法、及程序
CN1574944A (zh) 动态图像解码装置
CN1933602A (zh) 编码解码装置、编码解码方法及程序、编码解码集成电路
CN1231062C (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091014

Termination date: 20170111

CF01 Termination of patent right due to non-payment of annual fee