CN101502096A - 图像解码设备 - Google Patents

图像解码设备 Download PDF

Info

Publication number
CN101502096A
CN101502096A CNA2007800297478A CN200780029747A CN101502096A CN 101502096 A CN101502096 A CN 101502096A CN A2007800297478 A CNA2007800297478 A CN A2007800297478A CN 200780029747 A CN200780029747 A CN 200780029747A CN 101502096 A CN101502096 A CN 101502096A
Authority
CN
China
Prior art keywords
picture
decoding
picture buffer
view data
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800297478A
Other languages
English (en)
Other versions
CN101502096B (zh
Inventor
细川秀一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101502096A publication Critical patent/CN101502096A/zh
Application granted granted Critical
Publication of CN101502096B publication Critical patent/CN101502096B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42692—Internal components of the client ; Characteristics thereof for reading from or writing on a volatile storage medium, e.g. Random Access Memory [RAM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4435—Memory management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

从存储在编码图片缓冲器(CPB)(56)中的数据选择要解码的访问单元。如果所述访问单元是IDR(即时解码器刷新)图片，则检查解码图片缓冲器(DPB)(60)是否具有足以存储所述访问单元的空闲区域。如果所述DPB(60)具有充足的空闲区域，则解码器(58)将解码结果存储在所述DPB(60)中，并从所述CPB(56)选择下一访问单元。如果所述DPB(60)不具有充足的空闲区域并且已经显示了最早存储的图片，则释放已显示的图片的缓冲区域。如果还未显示最早存储的图片，则向用户显示警告。释放所述DPB(60)中除当前显示的图片的区域以外的所有存储区域以等待IDR图片。

Description

图像解码设备
技术领域
本发明涉及图像解码设备，并且尤其涉及对通过H.264/MPEG-4第10部分：AVC(下文中称为H.264)等图片间预测编码(inter picture predictive encoding)所压缩的图像数据进行解码的图像解码设备。
背景技术
已经调查了如数字摄像机等视频记录/重放设备。视频记录/重放设备将静止图像和运动图像记录在用作为记录介质的大容量光盘上，而不是DVD(Digital Versatile Disc，数字多功能盘)上。除了增加介质的记录容量以外，下一代光盘标准还包括采用用于更高的压缩率的运动图像压缩编码技术。这些标准其中之一是H.264。
为了增加压缩率，与如MPEG2等传统技术相比，H.264允许在图片间预测中使用多个参考图像存储器。H.264对重新排列解码图片展现了高的自由度。
例如，根据MPEG2，总是使用P图片作为参考图片，并且不可使用B图片作为参考图片。MPEG2解码器仅能够检查图片类型(I、P或B)，以判断是否需要将解码图片保存在参考图片存储器中。相反，根据H.264，即使P图片不可用作为参考图片，但B图片也可用作为参考图片。
H.264标准允许在长期的解码或编码时使用特定的参考图片。根据MPEG2，使用FIFO(First In First Out，先进先出)作为参考图片存储器，并且可参考的图片是有限的。根据H.264，即使以MPEG2的不可参考的时间上分离的图片也可用作为参考图片。
该基于H.264的弹性图片间预测在增加编码效率方面是重要的。然而，为了实现该功能，与按MPEG2相比，参考图片存储器必须按H.264存储更大量的参考图片。重新排列如此多的参考图片要求更大的存储容量和更多的计算。
为了解决该问题，提出了这种配置：通过控制参考关系来减少要存储在参考图片存储器中的图像的数量(参见日本专利特开2005-260588)。
被长时间参考的图片，即所谓的H.264的长期(long-term)参考图片对于对在拍摄风景等的图片时的基本上无运动的场景进行压缩编码是有利的。然而，长期参考图片不适合于在拍摄运动会等时实时地对活跃运动的被摄体进行编码的数字摄像机。甚至在日本专利特开2005-260588中公开的方法也被认为不适合于对在运动会等中活跃运动的被摄体的图片进行压缩编码。当数字摄像机使用B图片作为参考图片时，参考关系变得复杂，并且运算处理变重，从而增加了电池消耗。
因此，对在使用H.264标准的协议子集(profile)所允许的功能进行编码时施加一些限制是有效的。例如，在消费者数字摄像机等中使用的用于进行实时编码的H.264C ODEC不使用长期参考图片，或者不使用B图片作为参考图片。这能够减少存储容量、工作负荷和硬件成本，并延长了电池的服务寿命。
在通过小尺寸的CODEC进行解码时，可以在不产生任何错误的情况下重放由其自身装置所记录的流。然而，当输入由具有复杂参考关系的另一装置生成的H.264比特流时，可能由于参考图片存储缓冲器的不足等而导致解码失败。
发明内容
作出本发明以克服传统缺陷，并且本发明的目的在于提供一种即使在接收到具有复杂参考关系的编码比特流时也能够在不产生错误的情况下进行解码的图像解码设备。
为了实现上述目的，根据本发明的第一方面，一种图像解码设备，对使用图片间预测编码压缩后的图像数据进行解码，其特征在于，所述图像解码设备包括：第一图片缓冲器，用于存储压缩后图像数据；第二图片缓冲器，用于存储解码后图像数据；解码部件，用于通过根据需要参考存储在所述第二图片缓冲器中的图像数据来对存储在所述第一图片缓冲器中的压缩后图像数据进行解码，并将解码后的图像数据存储在所述第二图片缓冲器中；检测部件，用于检测所述第二图片缓冲器的空闲区域；以及控制部件，用于根据所述检测部件的检测结果，在所述空闲区域小于预定值时，中断由所述解码部件进行的解码。
根据本发明的第二方面，一种图像解码设备，对使用图片间预测编码和图片内编码压缩后的图像数据进行解码，其特征在于，所述图像解码设备包括：第一图片缓冲器，用于存储压缩后图像数据；第二图片缓冲器，用于存储解码后图像数据；解码部件，用于通过根据需要参考存储在所述第二图片缓冲器中的图像数据来对存储在所述第一图片缓冲器中的压缩后图像数据进行解码，并将解码后的图像数据存储在所述第二图像缓冲器中，所述解码部件能够选择性地执行全解码处理模式和选择解码处理模式，在所述全解码处理模式中，对使用图片间预测编码压缩后的图像数据和使用图片内编码压缩后的图像数据两者进行解码，在所述选择解码处理模式中，仅对使用图片内编码压缩后的图像数据进行解码；检测部件，用于检测所述第二图片缓冲器的空闲区域；以及控制部件，用于根据所述检测部件的检测结果，在所述空闲区域小于预定值时，指示所述解码部件在所述选择解码处理模式下进行解码。
根据本发明的第三方面，一种用于控制图像解码设备的方法，所述图像解码设备对使用图片间预测编码压缩后的图像数据进行解码，所述图像解码设备具有用于存储压缩后图像数据的第一图片缓冲器和用于存储解码后图像数据的第二图片缓冲器，所述方法包括：解码步骤，用于通过根据需要参考存储在所述第二图片缓冲器中的图像数据来对存储在所述第一图片缓冲器中的压缩后图像数据进行解码，并将所述解码后的图像数据存储在所述第二图片缓冲器中；检测步骤，用于检测所述第二图片缓冲器中的空闲区域；以及控制步骤，用于根据在所述检测步骤中的检测结果，当所述空闲区域小于预定值时，中断在所述解码步骤中进行的解码。
根据本发明的第四方面，一种用于控制图像解码设备的方法，所述图像解码设备对使用图片间预测编码和图片内编码压缩后的图像数据进行解码，所述图像解码设备具有用于存储压缩后图像数据的第一图片缓冲器和用于存储解码后图像数据的第二图片缓冲器，所述方法包括：解码步骤，用于通过根据需要参考存储在所述第二图片缓冲器中的图像数据来对存储在所述第一图片缓冲器中的压缩后图像数据进行解码，并将解码后的图像数据存储在所述第二图片缓冲器中，所述解码步骤能够选择性地执行全解码处理模式和选择解码处理模式，在所述全解码处理模式中，对使用图片间预测编码压缩后的图像数据和使用图片内编码压缩后的图像数据两者进行解码，在所述选择解码处理模式中，仅对使用图片内编码压缩后的图像数据进行解码；检测步骤，用于检测所述第二图片缓冲器的空闲区域；以及控制步骤，用于根据在所述检测步骤中的检测结果，在所述空闲区域小于预定值时，指定在所述解码步骤中在所述选择解码处理模式下进行解码。
根据下面参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是根据本发明第一实施例的示意配置的框图；
图2是示出在根据第一实施例进行解码时的示意缓冲器配置的框图；
图3是根据第一实施例的源包(source packet)的结构的表；
图4是根据第一实施例的头的结构的表；
图5是示出根据第一实施例的解码操作的流程图；
图6是示出通过根据第一实施例的另一缓冲器管理方法的解码操作的流程图；
图7是示出根据第二实施例的解码操作的流程图；
图8是示出通过根据第二实施例的另一缓冲器管理方法的解码操作的流程图；
图9是获取DPB的必需缓冲器容量的流程图；
图10示出保持DPB的必需缓冲器容量的用户数据的结构；
图11示出管理文件的结构；
图12示出DPB信息的结构；
图13是用于确定DPB和防震缓冲器的缓冲器大小的流程图；
图14是示出根据第五实施例的解码操作的流程图；以及
图15是示出根据第六实施例的解码操作的流程图。
具体实施方式
下面将参考附图详细说明本发明的优选实施例。
第一实施例
图1是根据本发明第一实施例的摄像设备的示意配置的框图。图2是根据第一实施例的缓冲器的示意配置的框图。摄像设备10是例如基于H.264(AVC)的数字照相机或数字摄像机。在图1中，实线表示图像数据或音频数据的流，且虚线表示控制信号。
摄像设备10包括拍摄镜头12、图像传感器14、信号处理单元16、缓冲器18、根据H.264对视频数据进行编码/解码的视频编码/解码单元20、闪速存储器22、将数据写入如DVD盘(下文中称为DVD)等记录介质26/从记录介质26读出数据的盘控制单元24、显示单元28、复用器(MUX)/解复用器(DMUX)30、麦克风32、扬声器34、根据AC3对音频数据进行编码/解码的音频编码/解码单元36、控制单元38、操作单元40和总线42。
拍摄镜头12是将被摄体的光学图像形成在图像传感器14的摄像平面上的光学元件。拍摄镜头12具有光圈机构和快门机构。摄像设备10包括对拍摄镜头对被摄体的焦点进行自动调整的自动调焦机构。
图像传感器14是将来自拍摄镜头12的光学图像转换成电信号的光学元件。图像传感器14由例如CCD(Charge Coupled
Device，电荷耦合装置)图像传感器或CMOS(ComplementaryMetal Oxide Semiconductor，互补金属氧化物半导体)图像传感器形成。信号处理单元16将来自图像传感器14的模拟图像信号转换成数字信号，进行照相机中已知的信号处理(例如，伽玛校正、颜色平衡调整和亮度/颜色分离)，并输出预定视频格式的视频数据。
缓冲器18临时存储连接至总线42的装置之间的数据输入/输出。后面将说明缓冲器18的具体功能。
视频编码/解码单元20通过经由如H.264/MPEG(MovingPicture Experts Group，运动图像专家组)-4第10部分：AVC(Advanced Video Coding，高级视频编码)等视频压缩方案对数字视频信号进行压缩编码来生成压缩后视频数据。视频编码/解码单元20对来自盘控制单元24的压缩后视频数据进行解压缩。
闪速存储器22是非易失性记录介质，并且存储与摄像设备10的操作相关联的程序。
盘控制单元24根据来自控制单元38的指示将压缩后视频数据、压缩后音频数据和文件管理信息等写入记录介质26中。并且，盘控制单元24从记录介质26读出压缩后视频数据、压缩后音频数据和文件管理数据等。记录介质26是例如DVD-R等可写光盘、磁盘或半导体存储器(存储卡)等。
显示单元28由电子取景器、LCD(Liquid Crystal Display，液晶显示器)等形成。显示单元28在摄像模式下显示来自信号处理单元16的视频数据的图像，并在重放模式下显示由盘控制单元24从记录介质26再现的压缩后视频数据的图像。
复用器/解复用器30多路复用由视频编码/解码单元20所压缩的视频数据和由音频编码/解码单元36所压缩的音频数据，并对经多路复用了的压缩后视频和音频数据进行解复用。复用器/解复用器30将4字节的头添加至压缩后视频数据或压缩后音频数据的源包。使用头信息来管理压缩后视频数据和压缩后音频数据。
麦克风32具有AGC(Automatic Gain Control，自动增益控制)和A/D转换器。麦克风32接收并放大摄像设备10外部的声音，以生成数字音频信号。扬声器34具有放大器，并将数字音频信号作为声音输出至摄像设备10外部。
音频编码/解码单元36通过经由AC(Audio Code number，音频编码号)3的音频压缩方案对来自麦克风32的数字音频信号进行压缩/编码来生成压缩后音频数据。音频编码/解码单元36对来自盘控制单元24的压缩后音频数据进行解压缩，并将该音频数据提供至扬声器34。
控制单元38包括CPU(Central Proces sing Unit，中央处理单元)或MPU(Micro Processing Unit，微处理单元)，并控制整个摄像设备10。检测单元38a检测缓冲器18的整体容量。检测单元38a将使能信号(enable signal)提供至CPB(Coded PictureBuffer，编码图片缓冲器)或DPB(Decoded Picture Buffer，解码图片缓冲器)(后面要说明)。总线42用于在上述单元之间传送各种数据。
操作单元40具有运动图像记录开关、释放开关、重放开关和停止开关。用户使用操作单元40来指示控制单元38拍摄运动图像、拍摄静止图像或者重放图像数据或音频数据。操作单元40还具有模式拨盘、菜单键、选择键和回车键等。利用这些键，用户可以指示控制单元38在摄像模式和重放模式之间切换操作模式，显示设置窗口，并在画面上进行各种选择和各种决定。
摄像设备10中的控制单元38根据由用户所指定的操作模式来控制各个单元。在摄像模式下，显示单元28显示由图像传感器14所拍摄到的图像。在记录了所拍摄到的图像等的记录模式下，基于图像的高宽比、压缩编码格式、分辨率和音频通道的数量等，对视频数据和音频数据进行压缩编码。以预定的格式多路复用压缩后视频数据和压缩后音频数据，并以预定的数字运动图像格式将它们记录在记录介质26上。在重放模式下，从记录介质26读出经多路复用了的压缩后视频数据和压缩后音频数据，并基于重放管理信息(index.bdmv，MovieObject，PlayList等)和用户指示顺次对它们进行解码和重放。
参考图2至图4，将说明与压缩数据的解码和缓冲器18的管理有关的第一实施例的典型操作。图2是示出在重放时缓冲器18和视频编码/解码单元20的处理过程的示意图。图3示出由视频编码/解码单元20所压缩的视频数据的包格式和由音频编码/解码单元36所压缩的音频数据的包格式。源包source_packet()包括4字节的头TP_extra_header()和188字节的传输包Transport_packet()。如在图4中所示，头TP_extra_header()包括2比特的复制允许指示符copy_permission_indicator和30比特的到达时间戳arrival_time_stamp。复制允许指示符copy_permission_indicator保持与内容的保护有关的信息。到达时间戳arrival_time_stamp以27MHz的精度(precision)保持传输包Transport_packet()到达传输缓冲器54时的时间。在ISO/IEC13818-1中描述了传输包Transport_packet()的详情，并且将不重复对其的说明。
在接收到来自用户的重放指示时，摄像设备10从记录介质26读出压缩后视频数据和压缩后音频数据，并将它们存储在读取缓冲器(RB)50中。源解包器(source de-packetizer)52从存储在读取缓冲器50的源包之中的在到达时间戳arrival_time_stamp到达的源包删除头TP_extra_header()。然后，源解包器52将删除了头的源包写入传输缓冲器(TB)54中。根据预定的率(rate)或H.264/AVC虚拟解码器模式将存储在传输缓冲器54中的数据解包成基本流(elementary stream)，并将其存储在编码图片缓冲器(CPB)56中。
视频编码/解码单元20中的解码器58基于缓冲期间SEI和图片时刻SEI对存储在CPB 56中的基本流的各访问单元进行解码，并将解码后的视频数据存储在解码图片缓冲器(DPB)60中。缓冲期间SEI和图片时刻SEI是基本流中所包含的附加信息。缓冲期间SEI表示直到对访问单元进行了解码为止的延迟时间。图片时刻SEI表示各访问单元的解码时间和显示时间。在ITU-TRec.H.264等中描述了缓冲期间SEI和图片时刻SEI的详情，并且将不重复对其的进一步说明。
存储在DPB 60中的解码后视频数据用于显示，并且还在对使用图片间预测所编码的图片进行解码时用作为参考图片。
以两种方式管理存储在DPB 60中的参考图片。根据运动帧存储器管理方法，当在用于要新存储的参考图片的DPB中不能够分配足以存储图片的存储器时，释放参考图片中最早存储的图片的缓冲区域。根据自适应存储器管理方法，具体地控制参考图片及其操作。将参考图片分类成在流期间长时间被参考的长期参考图片和仅短时间被参考的短期参考图片。根据这种参考图片的生成，切换并使用运动帧存储器管理方法和自适应存储器管理方法。
图5是当重放压缩后视频/音频数据并且DPB 60的容量不足时的操作的流程图。例如，加载由另一记录装置记录了视频数据和音频数据的记录介质26，并且从记录介质26重放视频数据和音频数据。
解码器58从存储在编码图片缓冲器(CPB)56中的数据选择要解码的访问单元(S1)，并判断该访问单元是否是IDR(Instantaneous Decoder Refresh，即时解码器刷新)图片(S2)。如果该访问单元不是IDR图片(S2中为“否”)，则解码器58不能够开始解码处理，因此放弃该访问单元并且返回步骤S1。
如果该访问单元是IDR图片(S2中为“是”)，则解码器58检查解码图片缓冲器(DPB)60是否具有用于存储访问单元的空闲区域(free area)(S3)。如果DPB 60具有用于存储访问单元的空闲区域(S3中为“是”)，则解码器58将解码结果存储在DPB 60中(S4)，从CPB 56选择要解码的下一访问单元(S5)，并且返回步骤S3。
如果DPB 60不具有空闲区域(S3中为“否”)，则解码器58检查显示单元28是否已经显示了最早存储的图片(S6)。如果显示单元28已经显示了最早存储的图片(S6中为“是”)，则解码器58释放已显示的图片的缓冲区域(S7)，并且进入步骤S4。如果显示单元28没有显示最早存储的图片(S6中为“否”)，则显示单元28向用户显示警告消息(S8)。解码器58释放DPB 60中除当前所显示的图片的区域以外的所有存储区域(S9)，并且返回步骤S1以等待IDR图片。在IDR图片待机状态下，将除当前显示的图片以外的图片删除，并且重复显示DPB 60中剩余的仅一个图片的图像。
根据第一实施例，当在解码图片缓冲器(DPB)60中不能够分配足以存储参考图片的缓冲区域时，处理等待下一IDR图片并同时重复显示当前图像，从而避免了解码处理中的严重错误。
在步骤S8发出警告消息，但如果不必要，则可以省略。在步骤S9中，释放除当前显示的图片以外的图片的缓冲区域。然而，只要在解码图片缓冲器(DPB)60中能够最终分配下一解码处理所必需的存储区域，则处理不限于此。例如，可以顺次显示DPB 60中未显示的图片，以释放它们的缓冲区域。可选地，显示单元28可以显示蓝屏等而不显示重放图像，以一次释放DPB 60中的所有存储区域。
图6是根据自适应存储器管理方法的操作的流程图。步骤S51～S59对应于图5中的步骤S1～S9。步骤S56和S57与图5中的流程图不同。在图6中，如果解码图片缓冲器(DPB)60不具有充足的空闲区域(S53中为“否”)，则解码器58检查在DPB 60中是否存在可删除的图片(S56)。如果存在可删除的图片(S56中为“是”)，则解码器58从DPB 60删除该图片以释放其缓冲区域(S57)，并且进入步骤S54。如果不存在可删除的图片(S56中为“否”)，则显示单元28向用户显示警告信息(S58)。解码器58释放DPB 60中除当前显示的图片的区域以外的所有存储区域(S59)，并返回步骤S51以等待IDR图片。
并且，根据在图6中示出的操作，当在解码图片缓冲器(DPB)60中不能够分配足以存储参考图片的缓冲区域时，处理等待下一IDR图片并同时重复显示当前图像，从而避免了解码处理中的严重错误。
在步骤S58中发出警告消息，但如果不必要，则可以省略。在步骤S59中，释放了除当前显示的图片以外的图片的缓冲区域。然而，只要在解码图片缓冲器(DPB)60中能够最终分配下一解码处理所必需的存储区域，则处理不限于此。例如，可以顺次显示DPB 60中未显示的图片以释放它们的缓冲区域。可选地，显示单元28可以显示蓝屏等而不显示重放图像，以一次释放DPB 60中的所有存储区域。
第二实施例
将说明本发明的第二实施例的操作。在第一实施例中，重复显示解码图片缓冲器(DPB)中的图片直到解码处理响应于IDR图片而重新开始为止。在第二实施例中，如在图7中所示，在响应于IDR图片而重新开始解码之前，通过I图片适当地更新显示图像。第二实施例与第一实施例的不同之处仅在于控制单元38和解码器58的操作。其余的构成元件的操作与第一实施例中的相同。根据第二实施例的解码器58能够执行作为普通操作的对I、P和B图片进行顺次解码的模式(全解码处理模式)和仅对图片内编码图像数据(I图片)进行选择性解码的模式(选择解码处理模式)。
图7中的步骤S201～S209与图5中的步骤S1～S9相同。将图7中的步骤S210及后续步骤添加至图5的流程图。在释放了解码图片缓冲器(DPB)60中除当前显示的图片的区域以外的所有存储区域(S209)之后，与步骤S201类似，解码器58从编码图片缓冲器(CPB)56选择要解码的访问单元(S210)。解码器58判断该访问单元是否是IDR图片(S211)。如果所选择的访问单元是IDR图片(S211中为“是”)，则解码器58返回步骤S203以类似地对该IDR图片及后续图片进行解码。
如果所选择的访问单元不是IDR图片(S211中为“否”)，则解码器58判断该访问单元是否是I图片(S212)。如果该访问单元是I图片(S212中为“是”)，则解码器58对该I图片进行解码，并将解码结果存储在DPB 60中(S213)。显示单元28在例如由图片时刻SEI所定义的时刻的预定的时刻显示解码后的I图片，并且顺次切换显示图像。如果该访问单元不是I图片(S212中为“否”)，则解码器58返回步骤S210以选择要解码的下一访问单元(S210)。
即，在步骤S210～S213中，控制单元38指示解码器58执行在检测到下一IDR图片之前仅对I图片进行解码的选择解码处理模式。如果检测到IDR图片，则解码器58将其操作从选择解码处理模式切换至普通的全解码处理模式。
如上所述，当在解码图片缓冲器(DPB)60中不能够分配足以存储参考图片的缓冲区域时，处理等待下一IDR图片并同时重复显示当前图像，从而避免了解码处理中的严重错误。由于在解码处理重新开始之前对I图片进行解码以更新显示画面，因此可以减轻重放帧的不自然性。
图8是根据自适应存储器管理方法的操作的流程图。步骤S251～S263对应于图7中的步骤S201～S213。步骤S256和S257与图7中的流程图不同。在图8中，如果解码图片缓冲器(DPB)60不具有充足的空闲区域(S253中为“否”)，则解码器58检查在DPB 60中是否存在可删除的图片(S256)。如果存在可删除的图片(S256中为“是”)，则解码器58从DPB 60删除该图片以释放其缓冲区域(S257)，并进入步骤S254。如果不存在可删除的图片(S256中为“否”)，则执行与图7中的处理相同的处理(S258～S263)。
第三实施例
通过将与解码处理所必需的解码图片缓冲器(DPB)60的容量有关的信息连同编码处理中的压缩数据一起记录在记录介质26上并在解码时参考该信息，可以防止解码错误。
图9是用于获取在对各图片进行解码时必须保持在解码图片缓冲器(DPB)60中的图片的数量的流程图。判断要编码的访问单元是否是IDR图片(S301)。如果要编码的访问单元是IDR图片(S301中为“是”)，则将DPB 60中必需的图片数量初始化为1(S302)。
如果要编码的访问单元不是IDR图片(S301中为“否”)，则使图片的必需数量仅增加1(S303)。判断当前的编码是否允许在对保持在DPB 60中的任意图片进行解码之后删除该图片(S304)。如果当前的编码允许在对保持在DPB 60中的任意图片进行解码之后删除该图片(S304中为“是”)，则图片的必需数量仅减少1(S305)，并且处理返回步骤S301。如果当前的编码禁止在对保持在DPB 60中的任意图片进行解码之后删除该图片(S304中为“否”)，则处理返回步骤S301。
通过重复该处理，可以计算出当对各图片进行解码时存储在解码图片缓冲器(DPB)60中的图片的必需数量。可以如下将所计算出的图片的必需数量存储在流数据中。图10示出用于将图片的必需数量存储在流数据中的结构。图11示出以与流文件一一对应的方式所记录的管理文件zzzzz.clpi的结构。图12是用于说明DPB信息DpbInfo()的详情的示意图。
在图10中，添加至按H.264编码的访问单元的消息SEI_message()包含用户数据User_data_unregistered，在用户数据User_data_unregistered中，变量DPB_PIC_NUM保持在解码时DPB60中所必需的图片数量。按ITU-T Rec.H.264定义了消息SEI_message()和用户数据User_data_unregistered，并且将不重复对其的详细说明。
可以将该信息添加至各访问单元或仅用作IDR图片的访问单元等。当将该信息添加至仅用作IDR图片的访问单元时，IDR图片的用户数据User_data_unregistered保持从该IDR图片至下一IDR图片生成的DPB 60中所必需的图片的最大数量。
在图11中，DPB信息开始地址DPB_info_start_address表示通过从管理文件zzzzz.clpi的开始按字节顺序对DPB信息DpbInfo()的开始地址进行计数所获得的偏移值。该DPB信息DpbInfo()是存储了解码所必需的DPB 60的容量的区域的实体。以Blu-ray盘只读格式(Blu-ray是商标)说明了其余区域的详情。
在图12中，信息长度Length记录通过按字节顺序对DPB信息DpbInfo()的全部大小进行计数所获得的值。实体数量number_of_entries保持Dpb_Info和PTS的数量。Dpb_Info保持通过图9的处理所计算出的并在对各图片进行解码时存储在DPB60中的图片的数量。PTS以90kHz的精度保持Dpb_Info为有效的访问单元的显示时刻。
以这种方式，可以在编码时预先计算出解码时必须存储在解码图片缓冲器(DPB)60中的图片的数量，并将其记录在流数据或管理文件中。
在第三实施例中，可以针对各访问单元或针对各IDR图片将与图片的数量有关的信息存储在由管理文件所管理的流文件中。可选地，可以针对由管理文件所管理的整个流文件存储一条信息。可以将该信息存储在另一单元中。
当针对各IDR图片存储信息时，存储以IDR图片与下一IDR图片之间的间隔存储在解码图片缓冲器(DPB)60中的图片的最大数量，并且PTS保持IDR图片显示时间。当针对由管理文件所管理的整个流文件存储一条信息时，存储在对由管理文件所管理的流文件进行编码时必须存储在DPB 60中的图片的最大数量，并且PTS保持流数据显示开始时间。
由图片的数量来表示DPB 60的容量，但是可以以如字节等的大小为单位进行记录。当以字节为单位记录容量时，在图9的步骤S302、S303和S305中不是通过图片的数量而是通过图片数据量来计算容量。
第四实施例
第四实施例将说明当对连同与解码所必需的参考图片的数量有关的信息一起被记录的压缩后视频数据进行重放时确定防震缓冲器(读取缓冲器50)的容量的方法。假定管理文件记录解码所必需的解码图片缓冲器(DPB)60的容量，DPB信息DpbInfo()中的实体数量number_of_entries为1，并且Dpb_Info记录由管理文件所管理的流文件中必须存储在DPB60中的图片的最大数量。图13是用于确定解码处理中解码图片缓冲器(DPB)60的大小以及防震缓冲器(读取缓冲器50)的大小的流程图。
将解码所必需的存储器大小初始化为0(S401)。获取重放所有流数据所必需的DPB 60的大小(S402～S404)。计算从DPB缓冲器的系统默认值(初始值)开始增加的必需大小(S405)。将必需的增加与DPB 60的缓冲器大小相加(S406)。从防震缓冲器(读取缓冲器50)的缓冲器大小减去在步骤S405中所计算出的DPB缓冲器增加(S407)。
该缓冲器大小控制可以提供满足抵抗如振动等扰动的耐用性和流的重放两者的最佳存储映射(memory map)。
在第四实施例中，管理文件记录解码所必需的解码图片缓冲器(DPB)60的容量，DPB信息DpbInfo()中的实体数量number_of_entries为1，并且Dpb_Info记录由管理文件所管理的流文件中必须存储在DPB 60中的图片的最大数量。然而，本发明不限于此。
第五实施例
第五实施例将说明确定防震缓冲器(读取缓冲器50)的容量的另一方法。假定管理文件记录解码所必需的解码图片缓冲器(DPB)60的容量，DPB信息DpbInfo()中的实体数量number_of_entries表示由管理文件所管理的流文件中所包含的IDR图片的数量，并且各Dpb_Info记录以在IDR图片和下一IDR图片之间的间隔必须存储在DPB 60中的图片的最大数量。
图14是解码时的操作的流程图。在图14中，从编码图片缓冲器(CPB)56中选择要解码的访问单元(S501)。判断所选择的访问单元是否是IDR图片(S502)。如果所选择的访问单元不是IDR图片(S502中为“否”)，则处理返回步骤S501。如果所选择的访问单元是IDR单元(S502中为“是”)，则根据PTS从管理信息获取在IDR图片和下一IDR图片之间对图片进行解码所必需的解码图片缓冲器(DPB)60的大小。判断DPB 60的缓冲器大小是否等于或大于必需大小(S503)。如果DPB 60的缓冲器容量较小(S503中为“是”)，则对IDR图片进行解码并将其存储在DPB 60中(S504)。在系统中进行编程以在IDR图片显示时刻时向用户生成警告(S505)。然后，处理返回步骤S501。
如果DPB 60的缓冲器容量等于或大于必需大小(S503中为“否”)，则对访问单元顺次进行解码并将其存储在DPB 60中直到检测到IDR图片为止(S506～S508)。如果访问单元是IDR图片(S508中为“是”)，则处理返回步骤S503。
在步骤S504和后续步骤的处理中当从解码图片缓冲器(DPB)60省略显示图像时要进行的操作与在第一实施例中的操作相同，并且将不重复对其的说明。
根据第五实施例，即使在解码时在解码图片缓冲器(DPB)60中不能够分配解码所必需的DPB缓冲器大小，IDR图片的解码也能够触发重新开始解码处理，而不导致在解码处理时产生任何严重错误。
第六实施例
将说明在响应于IDR图片而重新开始解码之前更新重放图像的显示的第六实施例。图15是根据第六实施例的解码操作的流程图。图15的步骤S601～S605中的操作与图14的步骤S501～S505中的操作相同。步骤S610～S612中的操作与图14的步骤S506～S508中的操作相同。
在步骤S605中编程生成用户警告之后，从编码图片缓冲器(CPB)56获取要解码的下一访问单元(S606)。判断该访问单元是否是IDR图片(S607)。如果该访问单元不是IDR图片(S607中为“否”)，则处理返回步骤S603。如果该访问单元是IDR图片(S607中为“是”)，则判断该访问单元是否是I图片(S608)。如果该访问单元是I图片(S608中为“是”)，则对该I图片进行解码以将解码结果保存在DPB 60中(S609)。如果该访问单元不是I图片(S608中为“否”)，则处理返回步骤S606。
在步骤S604和后续步骤中当从DPB 60省略显示图像时要进行的操作与在第一实施例中的操作相同，并且将不重复对其的说明。
根据第六实施例，即使在解码时在解码图片缓冲器(DPB)中不能够分配足以存储解码图片的缓冲区域，对IDR图片的解码也能够触发重新开始解码处理，而不在解码处理时产生任何严重错误。显示图像可通过对I图片进行解码而被更新，直到解码处理重新开始为止。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。
本申请要求2006年8月10日提交的日本专利申请2006-218820的优先权，该申请的全部内容通过引用包含于此。

Claims (17)

1.一种图像解码设备，对使用图片间预测编码压缩后的图像数据进行解码，其特征在于，所述图像解码设备包括：
第一图片缓冲器，用于存储压缩后图像数据；
第二图片缓冲器，用于存储解码后图像数据；
解码部件，用于通过根据需要参考存储在所述第二图片缓冲器中的图像数据来对存储在所述第一图片缓冲器中的压缩后图像数据进行解码，并将解码后的图像数据存储在所述第二图片缓冲器中；
检测部件，用于检测所述第二图片缓冲器的空闲区域；以及
控制部件，用于根据所述检测部件的检测结果，在所述空闲区域小于预定值时，中断由所述解码部件进行的解码。
2.根据权利要求1所述的图像解码设备，其特征在于，当所述空闲区域小于所述预定值时，所述控制部件重复读出存储在所述第二图片缓冲器中的预定图像数据。
3.根据权利要求1或2所述的图像解码设备，其特征在于，所述控制部件包括用于检测存储在所述第一图片缓冲器中的IDR(即时解码器刷新)图片的部件，并且在检测到所述IDR图片时重新开始由所述解码部件进行的解码。
4.根据权利要求1至3中任一项所述的图像解码设备，其特征在于，还包括警告部件，所述警告部件用于发出表示中断由所述解码部件进行的解码的消息。
5.一种图像解码设备，对使用图片间预测编码和图片内编码压缩后的图像数据进行解码，其特征在于，所述图像解码设备包括：
第一图片缓冲器，用于存储压缩后图像数据；
第二图片缓冲器，用于存储解码后图像数据；
解码部件，用于通过根据需要参考存储在所述第二图片缓冲器中的图像数据来对存储在所述第一图片缓冲器中的压缩后图像数据进行解码，并将解码后的图像数据存储在所述第二图像缓冲器中，所述解码部件能够选择性地执行全解码处理模式和选择解码处理模式，在所述全解码处理模式中，对使用图片间预测编码压缩后的图像数据和使用图片内编码压缩后的图像数据两者进行解码，在所述选择解码处理模式中，仅对使用图片内编码压缩后的图像数据进行解码；
检测部件，用于检测所述第二图片缓冲器的空闲区域；以及
控制部件，用于根据所述检测部件的检测结果，在所述空闲区域小于预定值时，指示所述解码部件在所述选择解码处理模式下进行解码。
6.根据权利要求5所述的图像解码设备，其特征在于，当在所述选择解码处理模式下在预定期间内没有图像数据存储在所述第二图片缓冲器中时，所述控制部件在预定期间内从所述第二图片缓冲器重复读出图像数据。
7.根据权利要求5或6所述的图像解码设备，其特征在于，当检测到存储在所述第一图片缓冲器中的IDR(即时解码器刷新)图片时，所述控制部件指示所述解码部件从所述选择解码处理模式切换至所述全解码处理模式。
8.根据权利要求5至7中任一项所述的图像解码设备，其特征在于，还包括警告部件，所述警告部件用于发出表示所述解码部件切换至所述选择解码处理模式的消息。
9.一种用于控制图像解码设备的方法，所述图像解码设备对使用图片间预测编码压缩后的图像数据进行解码，所述图像解码设备具有用于存储压缩后图像数据的第一图片缓冲器和用于存储解码后图像数据的第二图片缓冲器，所述方法包括：
解码步骤，用于通过根据需要参考存储在所述第二图片缓冲器中的图像数据来对存储在所述第一图片缓冲器中的压缩后图像数据进行解码，并将所述解码后的图像数据存储在所述第二图片缓冲器中；
检测步骤，用于检测所述第二图片缓冲器中的空闲区域；以及
控制步骤，用于根据在所述检测步骤中的检测结果，当所述空闲区域小于预定值时，中断在所述解码步骤中进行的解码。
10.根据权利要求9所述的方法，其特征在于，在所述控制步骤中，当所述空闲区域小于所述预定值时，重复读出存储在所述第二图片缓冲器中的预定图像数据。
11.根据权利要求9或10所述的方法，其特征在于，所述控制步骤包括检测存储在所述第一图片缓冲器中的IDR(即时解码器刷新)图片的步骤，并且在检测到所述IDR图片时重新开始在所述解码步骤中进行的解码。
12.根据权利要求9至11中任一项所述的方法，其特征在于还，包括警告步骤，所述警告步骤用于发出表示中断在所述解码步骤中进行的解码的消息。
13.一种用于控制图像解码设备的方法，所述图像解码设备对使用图片间预测编码和图片内编码压缩后的图像数据进行解码，所述图像解码设备具有用于存储压缩后图像数据的第一图片缓冲器和用于存储解码后图像数据的第二图片缓冲器，所述方法包括：
解码步骤，用于通过根据需要参考存储在所述第二图片缓冲器中的图像数据来对存储在所述第一图片缓冲器中的压缩后图像数据进行解码，并将解码后的图像数据存储在所述第二图片缓冲器中，所述解码步骤能够选择性地执行全解码处理模式和选择解码处理模式，在所述全解码处理模式中，对使用图片间预测编码压缩后的图像数据和使用图片内编码压缩后的图像数据两者进行解码，在所述选择解码处理模式中，仅对使用图片内编码压缩后的图像数据进行解码；
检测步骤，用于检测所述第二图片缓冲器的空闲区域；以及
控制步骤，用于根据在所述检测步骤中的检测结果，在所述空闲区域小于预定值时，指定在所述解码步骤中在所述选择解码处理模式下进行解码。
14.根据权利要求13所述的方法，其特征在于，在所述控制步骤中，当在所述选择解码处理模式下在预定期间内没有图像数据存储在所述第二图片缓冲器中时，在预定期间内从所述第二图片缓冲器重复读出图像数据。
15.根据权利要求13或14所述的方法，其特征在于，在所述控制步骤中，当检测出存储在所述第一图片缓冲器中的IDR(即时解码器刷新)图片时，指定在所述解码步骤中从所述选择解码处理模式切换至所述全解码处理模式。
16.根据权利要求13至15中任一项所述的方法，其特征在于，还包括警告步骤，所述警告步骤用于发出表示在所述解码步骤中切换至所述选择解码处理模式的消息。
17.一种计算机可读存储介质，存储使计算机执行根据权利要求9至16中任一项所述的控制方法的程序。
CN2007800297478A 2006-08-10 2007-08-09 图像解码设备 Expired - Fee Related CN101502096B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP218820/2006 2006-08-10
JP2006218820 2006-08-10
PCT/JP2007/065919 WO2008018626A2 (en) 2006-08-10 2007-08-09 Image decoding apparatus

Publications (2)

Publication Number Publication Date
CN101502096A true CN101502096A (zh) 2009-08-05
CN101502096B CN101502096B (zh) 2013-06-26

Family

ID=39033396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800297478A Expired - Fee Related CN101502096B (zh) 2006-08-10 2007-08-09 图像解码设备

Country Status (3)

Country Link
US (1) US8559510B2 (zh)
CN (1) CN101502096B (zh)
WO (1) WO2008018626A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104272746A (zh) * 2012-04-20 2015-01-07 高通股份有限公司 用于视频序列中的随机存取点图片的经解码图片缓冲器处理
CN108369794A (zh) * 2015-12-18 2018-08-03 三菱电机株式会社 数据处理装置、数据处理方法和数据处理程序
CN114205615A (zh) * 2021-12-03 2022-03-18 北京达佳互联信息技术有限公司 解码图像缓存区的管理方法和装置
WO2022127913A1 (zh) * 2020-12-18 2022-06-23 上海集成电路研发中心有限公司 游程解码电路、控制方法、电子装置及可读存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9578326B2 (en) 2012-04-04 2017-02-21 Qualcomm Incorporated Low-delay video buffering in video coding
MX341068B (es) * 2012-04-23 2016-08-05 Panasonic Ip Corp America Método de codificacion de imágenes, método de decodificacion de imágenes, aparato de codificacion de imágenes, aparato de decodificacion de imágenes y aparato de codificacion y decoficación de imágenes.
US9838683B2 (en) * 2012-07-10 2017-12-05 Cisco Technology, Inc. Support for variable number of picture buffers in decoded picture buffer
US9479774B2 (en) 2012-09-24 2016-10-25 Qualcomm Incorporated Buffering period and recovery point supplemental enhancement information messages
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
SG10201913539SA (en) 2013-04-07 2020-02-27 Dolby Int Ab Signaling change in output layer sets
US9591321B2 (en) 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
US8879858B1 (en) 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2703535A1 (fr) * 1993-03-31 1994-10-07 Philips Electronique Lab Procédé et dispositif pour décoder des images comprimées.
US5909224A (en) * 1996-10-18 1999-06-01 Samsung Electronics Company, Ltd. Apparatus and method for managing a frame buffer for MPEG video decoding in a PC environment
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
JPH10257502A (ja) * 1997-03-17 1998-09-25 Matsushita Electric Ind Co Ltd 階層画像符号化方法、階層画像多重化方法、階層画像復号方法及び装置
EP0940989A3 (en) * 1998-03-02 2003-10-29 Nippon Telegraph and Telephone Corporation Video communication system and method
JP2000232649A (ja) * 1998-12-10 2000-08-22 Fujitsu Ltd Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法
EP1096804B1 (en) * 1999-10-25 2006-12-13 Matsushita Electric Industrial Co., Ltd. Video decoding method, video decoding apparatus, and program storage media
EP1243141B1 (en) * 1999-12-14 2011-10-19 Scientific-Atlanta, LLC System and method for adaptive decoding of a video signal with coordinated resource allocation
KR100354768B1 (ko) * 2000-07-06 2002-10-05 삼성전자 주식회사 영상 코덱 시스템, 그 시스템과 외부 호스트 시스템과의데이터 처리방법 및 그 시스템에서의 인코딩/디코딩제어방법
JP3917363B2 (ja) * 2000-12-12 2007-05-23 株式会社東芝 画像復号化装置及び画像復号化方法
US7379498B2 (en) * 2002-03-11 2008-05-27 Broadcom Corporation Reconstructing a compressed still image by transformation to a compressed moving picture image
JP4355156B2 (ja) * 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
ES2745058T3 (es) * 2002-04-19 2020-02-27 Panasonic Ip Corp America Método de cálculo de vectores de movimiento
EP3054680B1 (en) * 2002-04-19 2019-06-05 Panasonic Intellectual Property Corporation of America Motion vector calculating method
KR100961036B1 (ko) * 2002-07-11 2010-06-01 파나소닉 주식회사 화상 복호화 방법 및 화상 복호화 장치
WO2004053842A2 (en) 2002-12-05 2004-06-24 Sbc Properties, L.P. Dsl video service with memory manager, automatic program selector, and/or storage
JP2004328634A (ja) * 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
JP4612797B2 (ja) 2004-03-11 2011-01-12 キヤノン株式会社 符号化装置、符号化方法
JP2005346824A (ja) * 2004-06-02 2005-12-15 Pioneer Electronic Corp 情報処理装置、その方法、その方法を実施するプログラム、およびそのプログラムを記憶した記憶媒体、情報記憶装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104272746A (zh) * 2012-04-20 2015-01-07 高通股份有限公司 用于视频序列中的随机存取点图片的经解码图片缓冲器处理
CN104272746B (zh) * 2012-04-20 2018-01-23 高通股份有限公司 用于视频序列中的随机存取点图片的经解码图片缓冲器处理
US9979958B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
US9979959B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing
US10051264B2 (en) 2012-04-20 2018-08-14 Qualcomm Incorporated Marking reference pictures in video sequences having broken link pictures
CN108369794A (zh) * 2015-12-18 2018-08-03 三菱电机株式会社 数据处理装置、数据处理方法和数据处理程序
WO2022127913A1 (zh) * 2020-12-18 2022-06-23 上海集成电路研发中心有限公司 游程解码电路、控制方法、电子装置及可读存储介质
CN114205615A (zh) * 2021-12-03 2022-03-18 北京达佳互联信息技术有限公司 解码图像缓存区的管理方法和装置
CN114205615B (zh) * 2021-12-03 2024-02-06 北京达佳互联信息技术有限公司 解码图像缓存区的管理方法和装置

Also Published As

Publication number Publication date
CN101502096B (zh) 2013-06-26
WO2008018626A3 (en) 2008-10-02
WO2008018626A2 (en) 2008-02-14
US20090316782A1 (en) 2009-12-24
US8559510B2 (en) 2013-10-15

Similar Documents

Publication Publication Date Title
CN101502096B (zh) 图像解码设备
JP4769717B2 (ja) 画像復号化方法
KR101015737B1 (ko) 기록 방법, 기록 장치, 기록 매체, 촬상 장치, 및 촬상 방법
US20070286280A1 (en) Image coding/recording apparatus and image coding/recording method
CN107836114B (zh) 数据记录设备及其控制方法、摄像设备和计算机可读存储介质
KR101445204B1 (ko) 재생장치
JP2009225361A (ja) 記録装置および記録方法、ならびに、編集装置および編集方法
JP5164610B2 (ja) 撮像装置及びその制御方法
KR100597917B1 (ko) 화상 기록 장치 및 화상 기록 시스템
JP4799504B2 (ja) 画像復号化装置及びその制御方法
US9225931B2 (en) Moving image data recording apparatus
KR100535296B1 (ko) 디지털방식으로코딩된비디오필름의원래의데이터를재생하는방법및그방법을수행하는장치
KR102557384B1 (ko) 전자장치 및 그 제어방법
JP2015015553A (ja) 記録装置及びその制御方法、プログラム並びに記憶媒体
JP4164696B2 (ja) 撮像装置および撮像方法
JP6082269B2 (ja) 記録装置及びその制御方法
JP5683127B2 (ja) 記録装置
JP2000078523A (ja) 圧縮ストリーム復号化方法および圧縮ストリーム復号化装置
JP2021061542A (ja) 撮影装置及びその制御方法並びにプログラム
JP5889459B2 (ja) 記録装置
JP5925020B2 (ja) 再生装置
JP5930807B2 (ja) 撮像装置
JP2016082267A (ja) 撮像装置
JP2020065219A (ja) 撮像装置および撮像装置の制御方法
JP2008219921A (ja) 記録装置、記録方法、撮像装置および撮像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130626

Termination date: 20180809

CF01 Termination of patent right due to non-payment of annual fee