CN101087408B - 图像编码记录装置及其图像编码记录方法 - Google Patents

图像编码记录装置及其图像编码记录方法 Download PDF

Info

Publication number
CN101087408B
CN101087408B CN200710108632XA CN200710108632A CN101087408B CN 101087408 B CN101087408 B CN 101087408B CN 200710108632X A CN200710108632X A CN 200710108632XA CN 200710108632 A CN200710108632 A CN 200710108632A CN 101087408 B CN101087408 B CN 101087408B
Authority
CN
China
Prior art keywords
violation
piece
coding
encoding stream
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200710108632XA
Other languages
English (en)
Other versions
CN101087408A (zh
Inventor
西乡贺津雄
荒川博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101087408A publication Critical patent/CN101087408A/zh
Application granted granted Critical
Publication of CN101087408B publication Critical patent/CN101087408B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供一种图像编码记录装置，能够解决实时再编码引起的处理负荷问题以及用于回溯处理的复杂控制和电路的问题。本发明中的图像编码记录装置是对图像数据进行编码并记录的图像编码记录装置，该装置包括：编码单元，用于对图像数据进行编码；记录单元，用于对所述编码单元所编码的编码数据进行记录；再编码控制单元，用于使所述编码单元对记录在所述记录单元中的所述编码数据中不满足规定条件的数据按照满足所述规定条件的方式进行再编码；使所述记录单元按照能够连续再生再编码后的再编码数据和未再编码的非再编码数据的方式记录所述再编码数据。

Description

图像编码记录装置及其图像编码记录方法
技术领域
本发明涉及一种对图像数据进行编码并记录的图像编码记录装置，特别涉及一种采用H.264图像编码方式对图像数据进行编码后记录到记录介质中的图像编码记录装置。
背景技术
随着数字图像技术的发展，为了处理增大的数据量，压缩数据的技术被使用在数字图像数据中并发展起来，发展成为突出图像数据特性的专门针对图像数据的压缩技术。随着计算机信息处理能力的提高，能够进行压缩技术中的复杂运算，图像数据的压缩率得到大幅度的提高。例如，卫星、地面波数字高清晰度电视广播中采用的压缩技术是被称为MPEG2的方式。
作为MPEG2之后的图像压缩技术而标准化的H.264标准是实现MPEG2的2倍左右压缩率的标准。在以正交变换和运动补偿为基础的混合图像编码这点上，H.264图像编码方式和以往的MPEG编码方式一样。但是，在H.264图像编码方式中，编码的各个构成部分的编码手段的自由度高，在这些累积效果下实现了高编码效率。
图1是实现H.264图像编码的装置的功能块图。如图1所示，H.264图像编码装置包括：模拟/数字(A/D，Analog/Digital)转换部11、图像排序缓存12、宏块分割部13、差分处理部14、正交变换部15、量化部16、熵编码部17、累积缓存18、逆量化部19、逆正交变换部20、加法处理部21、帧存储器22、帧内预测部23、帧间预测部24、预测选择部25和比率控制部26。
输入到H.264图像编码装置中的视频信号通过A/D转换部11从模拟信号转换为由亮度信号Y和色差信号Cb、Cr构成的数字视频信号。如图2所示，该视频信号的各个帧通过图像排序缓存12，从输入的(或所显示的)图片顺序排序成编码的图片顺序。编码的图片顺序由图片组(GOP，Group Of Picture)结构决定，其中，所述GOP结构由编码的图片类型I、P、B组成。
编码图片类型中的I图片是指，不使用参考图片而只使用编码对象图片来进行帧内预测(也称为“Intra预测”)编码的图片。P图片是指，参考已经处理完的1张图片来进行帧间预测(也称为“Inter预测”)编码的图片。B图片是指同时参考已经处理完的2张以上图片来进行帧间预测编码的图片。
当由连续的图片(包含帧和场的1个编码单位)组成的运动图像的各个图片为4:2:0格式的图片时，如图3所示，由1个亮度信号(Y信号31)和2个色差信号(Cb信号32、Cr信号33)构成。色差信号的图像大小在纵横方向上都是亮度信号的1/2。
而且，运动图像的各个图片被分割为称为宏块的块，并以宏块为单位进行编码。如图4所示，宏块由1个Y信号块41和在空间上与Y信号块一致的Cb信号块42及Cr信号块43构成，其中，所述1个Y信号块41为16×16象素，所述Cb信号块42和Cr信号块43均为8×8象素(例如，参见ITU-TRecommendation H.264)。
输入的各个图片通过宏块分割部13被分割成输入宏块，该输入宏块输入到差分处理部14。差分处理部14对输入宏块的各个象素实施与在帧内预测部23或帧间预测部24中生成的预测宏块中在空间上对应的各个象素之间的差分处理，并输出差分宏块。
差分宏块输入到正交变换部15，并频率变换为多个正交变换块。正交变换块的大小在以往的MPEG方式中为8×8象素，但在H.264方式中4×4象素为基本大小。
如图5所示，正交变换部15将差分宏块分割成24个4×4象素块(从51-0到51-15，从52-0到52-3，从53-0到53-3)，并对各个象素块进行正交变换。
量化部16按照来自比率控制部26的量化参数对各个正交变换块中的变换系数进行量化。量化的正交变换系数输入到熵编码部17进行编码(coding)。
熵编码部17对量化的正交变换系数和后述的由预测选择部25选择的预测信息进行编码，并提供给累积缓存18。累积缓存18将累积的码作为流输出。
量化的正交变换系数提供到熵编码部17的同时，输入到逆量化部19。逆量化部19按照来自比率控制部26的量化参数对量化的正交变换系数进行逆量化。从而，恢复正交变换块。恢复的正交变换块通过逆正交变换部20恢复成差分宏块。恢复的差分宏块和预测宏块一起输入到加法处理部21。
加法处理部21对恢复的差分宏块和预测宏块的各个象素实施加法处理，并生成再生宏块。为了进一步将该再生宏块用于预测处理，将其累积到帧存储器22中。
所述在逆量化部19、逆正交变换部20和加法处理部21中所进行的一系列处理称为本地解码。该本地解码需要具有与解码侧一样的生成再生宏块的能力。
所述预测宏块的预测方法有帧内预测和帧间预测两种方法。帧内预测是使用帧内已编码完的象素来预测宏块中的象素的方法。在H.264中作为进行预测的单位，准备有两种块大小(4×4块和16×16块)。
帧间预测是使用已编码完的图片中的象素来预测宏块中的象素的方法，帧间预测的类型有P类型和B类型。其中，已编码完的图片中的象素从帧存储器22中读出，而当前要编码的对象宏块是从宏块分割部13输出的宏块。具体而言，帧间预测通过运动估计和运动补偿完成。运动估计是从已编码完的图片(参考图片)中检测出和对象宏块内容相似的部分，并计算此时的运动矢量。运动补偿是由所述算出的运动矢量和参考图片生成预测块。在H.264的运动估计中，存在多个计算运动矢量的块大小，可以从中选择和已编码完的参考图片误差最小的块大小。
预测选择部25将帧内预测部23和帧间预测部24所预测的预测图像(预测宏块)与原图像宏块比较，选择这些宏块间的误差较小的预测宏块。
所选择的预测类型(预测宏块)输出到差分处理部14和加法处理部21。而且，所选择的预测方式(在帧内预测、帧间预测中所选择的预测类型、运动矢量和参考图片编号)等预测信息提供到熵编码部17。
另外，在H.264中采用基于上下文的自适应二进制算术编码方式(CABAC，Context-based Adaptive Binary Arithmetic Coding)作为熵编码，这和以往的可变长编码相比提高了压缩率。CABAC中的处理主要分成：将多进制数据变换为二进制数据的处理，和，对二进制数据计算上下文并进行算术编码的处理。
在计算上下文并进行算术编码的处理中，对每个需要压缩的码，根据当前的编码对象和周围情况来提取切换的上下文。然后，对每个提取的上下文变更二进制化的符号0和1的发生概率，并且根据算术编码后的值更新发生概率表。因此，难以进行并行处理和投机处理，为了提高处理速度，需要提高CABAC处理本身的操作(时钟)速度。
这里，H.264的CABAC中，在采用4:2:0格式、bit_depth为8比特时，宏块的最大编码量被限定为3200比特。因此，当宏块的编码量超过3200比特时，需要更改该宏块的编码条件并进行再编码，且将宏块的编码量控制在3200比特以下。但是，由于CABAC的编码量随上下文的更改、发生概率表的更新而变化，所以在实际编码之前不能准确地知道CABAC的编码量。因此，是否需要再次编码要看其宏块在CABAC处理后的编码量来判断。
于是，提出了监视算术编码部的输入输出数据，当宏块的编码量可能要超出3200比特时，切换为非压缩的数字图像数据即帧内宏块脉冲编码调制(I_PCM，Intra Macroblock Pulse Coding Modulation)数据的方法(例如，参见日本特开2004-135251号公报)。该方法在完成算术编码之前估计发生编码量，从而可以避免可能会超出3200比特的宏块的产生，所以可以不执行再编码。
然而，根据将可能要超出3200比特的宏块切换为I_PCM宏块的现有技术，虽然可以避免对宏块的再编码，但由于该宏块替换成I_PCM宏块，所以参考该宏块进行编码的块或宏块有可能受到影响。
在运动图像编码中，多是通过错开各个处理流程的开始时间来对多个宏块进行并行(流水线)处理。例如，如图6和图7所示，在熵编码部的处理流程中，存在宏块MB1替换为I_PCM宏块的情况。在该情况下，在时间上后续于宏块MB1的宏块MB2，参考替换成I_PCM宏块之前的解码宏块MB1来执行帧内预测和帧间预测。
例如，如图8所示，在H.264图像编码中的帧内预测中，为了预测对象块(或者宏块)的象素值(用白色○表示的象素的值)，要参考其周围的已编码完的块(或者宏块)的边界象素值(用黑色●表示的象素的值)。这里，例如，存在位于对象块(或者宏块MB2)的左边的A块(或者宏块MB1)被置换为I_PCM宏块的情况。在该情况下，已编码完的块(或者宏块)的边界象素值变化时，对象块(或者宏块MB2)的象素值也变化，所以需要对该对象块(或者宏块MB2)进行再编码(再预测)。
如图9所示，在H.264图像编码中的帧间预测中，在计算对象宏块MB2的运动矢量时，将位于其周围(左方、上方、右上方)的宏块(或者块)的运动矢量(mvA、mvB、mvC)的中间值作为该对象宏块的预测运动矢量。然后，通过对对象宏块的预测运动矢量和对象宏块的实际运动矢量之间的差分进行编码的方式压缩信息。此时，如果周围的宏块(例如，处于左边的宏块MB1)被置换成I_PCM宏块，则运动矢量变为“无”，预测运动矢量变化，所以需要再次计算运动矢量并进行再编码。
这样，在H.264编码中进行并行(流水线)处理时，如果宏块在熵编码部置换成I_PCM数据，则该宏块的周围宏块会受到影响。因此，需要暂时中断编码处理并进行再编码，如果不这样处理，则必须再编码的宏块的范围会越来越扩大。
进而，在CABAC的实际算术编码处理中，有时根据应压缩的二进制数据和上下文会处理大量的数据。为了应对这种情况，最好是按最大估计数据量，使算术编码电路高速工作，但这样会增大功耗。因此，在CABAC中，一般采用的方法是，利用根据编码的图像数据而处理量大大变化的特性，以CABAC的平均处理量来安装电路，并使二进制化处理和算术编码处理的电路非同步地工作，从而控制时钟数目。
然而，如果以CABAC的平均处理速度来实施算术编码，则在二进制化处理和算术编码处理之间会产生数据的延迟，出现几帧的二进制数据在等待算术编码的状态下累积的情况。在这样的几帧之间产生违反标准的问题，当需要再编码时，最坏的情况是需要将累积的二进制数据全部丢弃后再次进行编码。
图10是在CABAC处理中的二进制化处理和算术编码处理之间产生6帧的延迟的情况示意图。各个图片中所添的字母表示图片的种类。即，I表示进行帧内的预测编码的图片，P表示在一个方向的帧间进行预测编码的图片，B表示在两个方向的帧间进行预测的图片。P23之前已完成CABAC处理，B21、B22、P26、B24、B25、P29这6帧已经完成二进制化处理，处于等待算术编码的状态。此时，假设在算术编码后的P23中检测出超出3200比特的宏块，则需要将因延迟而累积的6帧和P23共7帧全部丢弃后进行再编码。
这样，如果一个宏块置换成I_PCM宏块，则加上上述CABAC中的数据延迟引起的问题，影响会波及到参考置换成I_PCM的宏块的块、宏块，甚至到图片(帧)，并需要进行再编码。特别是当I图片和P图片中的宏块置换成I_PCM宏块时，其影响范围广，最坏的情况需要对几个帧全部进行再编码。
如上所述，如果一旦发生违反标准问题，则根据编码处理的结构需要再编码。而且，有时为了进行再编码还必须将等待算术编码处理的二进制数据全部丢弃，从图像存储器中再次读出引起违反标准的图片之后的所有数据，并进行再编码。特别在建立CABAC输入的编码数据的预测编码处理和CABAC处理中，需要进行实时再编码(即，同时实施普通的编码和再编码)。由此，出现很多问题，例如，处理量变成2倍，从而增大功耗，用于回溯处理的控制和电路也变得复杂。
另外，需要进行实时再编码的情况不仅是在产生像宏块的最大编码量超过3200比特的这种违反标准的情况。例如，编码图片缓存(CPB：Coded PictureBuffer)发生下溢(underflow)或溢出(overflow)情况等，发生违反缓存界限的情况也同样需要进行实时再编码。
发明内容
为了解决上述问题，本发明的目的是提供一种图像编码记录装置，可以解决实时再编码引起的处理负荷问题以及用于回溯处理的复杂控制和电路的问题。
为了实现上述目的，本发明中的图像编码记录装置是对图像数据进行实时编码并记录的图像编码记录装置，该装置包括：编码单元，用于通过在规定的编码标准所规定的每个块中对图像数据进行编码来生成第一编码流，进而通过对解码后的所述第一编码流进行再编码来生成与所述第一编码流不同的第二编码流；记录单元，用于对所述编码单元所生成的第一编码流进行记录；再编码控制单元，用于判定在所述第一编码流中是否存在违规块，所述违规块是编码量超过所述规定的编码标准所规定的最大编码量的块，
所述编码单元，
即使在对所述图像数据进行编码时产生了所述违规块，也会完成所述图像数据的编码而不对所述违规块进行再编码，从而生成包含所述违规块的所述第一编码流，
当通过所述再编码控制单元判定出在所述第一编码流中存在违规块时，对所述第一编码流中的至少包含所述违规块的部分数据进行再编码，生成仅由编码量在所述规定的编码标准所规定的最大编码量以下的块构成的第二编码流，
所述记录单元，
除了记录所述第一编码流之外，还记录所述第二编码流，
记录控制信息，所述控制信息规定在再生所述第一编码流的过程中，当所述部分数据被再生时，把所述第二编码流连接到非再编码流并进行再生，所述非再编码流是所述第一编码流中未被再编码的部分。
从而，由于不需要同时实施普通的编码和再编码，所以可以解决由实时再编码引起的处理负荷问题和用于回溯处理的复杂控制和电路的问题。
这里，所述再编码控制单元还可以具有：判定单元，用于判定所述编码数据是否满足所述规定的条件；违规信息提取单元，用于在判定出所述编码数据不满足所述规定条件时，从所述记录单元提取与该违规有关的信息即违规信息；解码单元，用于根据所述违规信息，对记录在所述记录单元中的所述编码数据中需要再编码的数据进行解码；控制单元，用于根据所述违规信息，使所述编码单元对所述解码单元所解码的数据按照满足所述规定条件的方式进行再编码，并使所述记录单元对再编码后的再编码数据进行记录。从而，可以事先累积不满足标准的时间点的编码数据的记录位置和违规信息，在编码结束后，能够根据该记录位置和违规信息进行再编码。
此外，所述再编码控制单元还可以具有：判定单元，用于判定所述编码数据是否满足所述规定的条件；违规信息提取单元，用于在判定出所述编码数据不满足所述规定条件时，从所述编码单元和所述记录单元提取与该违规有关的信息即违规信息；违规信息记录单元，用于记录并保存所述违规信息提取单元所提取的违规信息；解码单元，根据所述违规信息记录单元所记录保存的违规信息，对记录在所述记录单元中的所述编码数据中需要再编码的数据进行解码；控制单元，根据所述违规信息记录单元所记录保存的违规信息，使所述编码单元对所述解码单元所解码的数据按照满足所述规定条件的方式进行再编码，并使所述记录单元对再编码后的再编码数据进行记录。从而，可以事先累积不满足标准的时间点的编码数据的记录位置和违规信息，在编码结束后，能够根据该记录位置和违规信息进行再编码。
同时，所述违规信息提取单元可以提取包括所述编码数据记录在所述记录单元中的位置信息、表示不满足规定条件的违规内容和不满足所述规定条件时的编码信息的违规信息。从而，由于违规内容等被提取出来，所以可以按照违规内容进行再编码。
此外，所述再编码控制单元在所述违规内容表示超出宏块的最大编码量时，可以将量化值设为较大的值后，使所述编码单元进行再编码。由此，由于再编码后的宏块的编码量变小，所以能够避免发生超出宏块的最大编码量的问题。
此外，所述再编码控制单元在所述违规内容表示缓存的溢出时，可以将量化值设为较大的值后，使所述编码单元进行再编码；在所述违规内容表示缓存的下溢时，可以将量化值设为较小的值后，使所述编码单元进行再编码。由此，由于在发生缓存的溢出时再编码后的数据大小变小，在发生缓存的下溢时再编码后的数据大小变大，所以能够避免发生违反缓存界限的问题。
此外，所述再编码控制单元可以使所述记录单元将所述再编码数据作为蓝光光盘Blue-ray Disk的虚拟编辑功能即Virtual Playlist的Bridge Clip文件记录。从而，由于可以将再编码数据作为Bridge Clip文件与非再编码数据连接，所以能够实现连续的再生。
此外，所述再编码控制单元在判定出所述编码数据不满足所述规定条件时，可以将发生违规的流的下一个独立的图片组中的起始图片即I图片更改为即时解码刷新IDR图片后，使所述编码单元对所述独立的图片组进行编码。从而，由于可以避免发生所述独立的图片组受到再编码数据的影响的问题，所以能够实现连续的再生。
此外，所述再编码控制单元可以在一系列编码记录操作停止或结束的时刻，使所述编码单元进行编码。从而，由于在一系列的编码记录操作停止或结束之前不实施再编码，所以不会对用户使用上带来不方便。
再有，本发明不仅可以作为上述图像编码装置来实现，还可以作为以上述图像编码装置所具有的特征性单元为步骤的图像编码记录方法来实现，或者作为包含上述图像编码装置所具有的特征性单元的集成电路来实现。
如上所述，通过本发明的图像编码装置，由于不需要同时实施普通的编码和再编码，所以能够解决因实时再编码引起的处理负荷问题和用于回溯处理的复杂控制和电路的问题。
而且，由于可以将再编码数据作为Blue-ray Disk的虚拟编辑功能即VirtualPlaylist的Bridge Clip文件与非再编码数据连接，所以能够实现连续的再生。
附图说明
图1是示出现有技术中图像编码装置的功能性结构例的功能块图；
图2是图片的显示顺序和编码顺序的示意图；
图3是4:2:0格式的一个图片的视频信号的说明图；
图4是4:2:0格式的一个宏块的视频信号的说明图；
图5是4:2:0格式的一个宏块的正交变换块的说明图；
图6是包含帧内预测的编码的并行处理的示意图；
图7是包含帧间预测的编码的并行处理的示意图；
图8是帧内预测中与周围块之间的关系说明图；
图9是帧间预测中与周围宏块之间的关系说明图；
图10是对再编码的图片的说明图；
图11是本发明实施方式中图像编码记录装置的整体结构框图；
图12是本发明实施方式中图像编码记录装置的中心结构部分的框图；
图13是本发明实施方式中图像编码记录装置的外观图；
图14是用于说明BD-RE中所记录的信息的图；
图15是需要再编码的编码违规内容和避免违规的控制的示例图；
图16是BD-RE中的目录文件的结构示例图；
图17说明为了连续地连接再编码后的流并播放，利用Virtual Playlist的Bridge Clip功能的例；
图18是连接再编码后的流的方法的一实例说明图；
图19是连接再编码后的流的方法的另一实例说明图；
图20是连接再编码后的流的方法的另一实例说明图；
图21是连接再编码后的流的方法的另一实例说明图；
图22是连接再编码后的流时产生的问题说明图；
图23是说明解决连接再编码后的流时所产生问题的方法的图；
图24是示出本发明实施方式中图像编码记录装置的工作流程图。
具体实施方式
下面参照附图说明本发明的实施方式。
图11是本发明实施方式中的图像编码记录装置的结构框图。该图像编码记录装置是对图像数据进行编码并记录的装置，采用在预测编码部100的基础上增加再编码控制部110、记录部120和熵解码部130的结构。
预测编码部100是本发明中的编码单元的一个例子，包括：A/D(Analog/Digital)转换部11、图像排序缓存12、宏块分割部13、差分处理部14、正交变换部15、量化部16、熵编码部17、逆量化部19、逆正交变换部20、加法处理部21、帧存储器22、帧内预测部23、帧间预测部24、预测选择部25和比率控制部26。预测编码部100的结构和在上述背景技术中描述的H.264的图像编码装置的结构大致相同，所以下面以再编码控制部110、记录部120和熵解码部130的结构为中心进行描述。
再编码控制部110是本发明中再编码控制单元的一个例子。再编码控制部110使所述预测编码部100对记录在所述记录部120的编码数据中未满足规定条件的数据按照满足所述规定条件的方式进行再编码，并且，使所述记录部120按照能够连续再生再编码后的再编码数据与未再编码的非再编码数据的方式记录所述再编码数据。记录部120是本发明中记录单元的一个例子，是将预测编码部100所编码的编码数据记录到记录介质等中的处理部。熵解码部130是本发明中解码单元的一个例子，是根据后述的违规信息，对记录在记录部120中的编码数据中需要再编码的数据进行解码的处理部。
图12是再编码控制部110的具体结构示意图。如图12所示，再编码控制部110具有判定部111、违规信息提取部112和控制部113。下面，对再编码控制部110的结构进行描述的同时，对预测编码部100、记录部120和熵解码部130也一同进行描述。
判定部111是本发明中判定单元的一个例子，是用于判定编码数据是否满足规定条件的处理部。具体而言，对于从预测编码部100的熵编码部17(CABAC编码部)输出的编码流，判定每一个宏块的编码量是否超出3200比特。而且，比率控制部26判定在相当于视频缓冲校验机(VBV，Video Buffer Verifier)的编码图片缓存(CPB，Coded Picture Buffer)中编码流是否满足缓存界限，也就是说，判定缓存是否溢出(Overflow)或者下溢(underflow)。如果发生Overflow或者underflow，则由于缓存破坏导致图片的解码失败，无法实现连续的图像再生。此时的图像将成为跳跃(skip)、冻结(freeze)或停止处理等状态。
本图像编码记录装置将不满足标准的编码流也暂时记录到记录部120中。也就是说，即使宏块的编码量超出3200比特，也将该宏块记录到记录部120中。并且，对于为CPB缓存的缓存容量的基准型号(model)所规定的上限和下限，对超出该上限和下限的流的比特量事先设置可充分容许的余量(margin)，从而在基准缓存型号中，即使在相当于Overflow或者underflow的情况下，也将流输出到记录部120。
判定部111判定出不满足标准或者缓存界限时，对来自熵编码部17的流或者比率控制部16的缓存状态，将它们的违规信息提供给违规信息提取部112。
违规信息提取部112是本发明中违规信息提取单元的一个例子。当判定出编码数据不满足规定条件时，违规信息提取部112从记录部120中提取与该违规有关的信息即违规信息。具体而言，由判定部111提供违规信息时，提取该编码流记录在记录部120中的位置信息。此时的位置信息根据记录介质、文件格式、应用等不同而不同。这里，假设应用下一代记录介质可擦写蓝光光盘(BD-RE，Blue-ray Disk Rewritable)，并对该情况进行描述。在该情况下，提取记录违规编码流的数据的时间信息(例如，违规流以包记录时的时间标记)。并且，提取该包相关联的数据单元(例如，对该包有参考或被参考关系且再生所需要的一个整体的数据单元)的起始包的位置信息。
例如，在向BD-RE写入编码流时，使用源包。源包是在188字节的传输流(TS，Transport Stream)包上加入4字节的时间标记的192字节的固定长度的包，被依次记录到BD-RE盘中。
当宏块的最大编码量超出3200比特时，由于该宏块为400字节以上，所以占2个包以上的记录区域。违规信息提取部112提取这些违规的流的包的时间标记。
另外，违规信息提取部112提取包含违规流的包的图片相关联的一系列图片的集合(例如，相当于MPEG-2的GOP的独立图片组)中起始包的位置信息。这里所说的“相关联”是指“有参考或被参考关系”。在H.264编码中，即时解码刷新(IDR，Instantaneous Decoding Refresh)图片或帧内图片(intra picture)为一系列相关联图片组的起始图片，并提取该起始包的位置信息。
为了提取起始包的位置信息，要事先建立被称为TU_map的表。TU_map是编码流的独立图片组的起始包的位置信息(例如，时间单元编号)和编码流的源包编号(SPN，source packet number：可以从编码流·文件的起始的字节数目获得。)的对应关系表。这和用于MPEG-2的被称为EP_map表一样，该EP_map表中建立有GOP数据起始的显示时间标记(PTS，presentation TimeStamp：隐藏在TS中的用于A/V同步的时间标记)值与包含GOP起始的包编号的对应关系。
违规信息提取部112将判定部111提供的违规信息提供给控制部113。并且，该违规流以包的形式记录到记录部120中时，提取该包的时间标记和包含该包的编码流的独立图片组的起始位置信息，并将其提供给控制部113。
对于发生Overflow或Underflow这种违反缓存界限的情况，也和发生违反宏块的最大编码量标准的情况一样，违规信息提取部112提取发生Overflow或Underflow时的包的时间标记以及包含该包的编码流的独立图片组的起始位置信息，并将其和违反缓存界限的违规信息一起提供给控制部113。
控制部113是本发明中的控制单元的一个例子。控制部113根据违规信息，使预测编码部100对熵解码部130所解码的数据按照能够满足规定条件的方式进行再编码，并使记录部120对再编码后的再编码数据进行记录。具体而言，从违规信息提取部112获得违规信息的同时，从预测编码部100获得发生违规时编码控制有关的信息。从而，在规定时间，例如在一系列的编码记录操作停止或结束的时刻，指示熵解码部130从记录部120读出违规的流和包含它的相关联(有参考或被参考关系)的流并对其进行解码，同时将为避免违规而设置的再编码信息提供给预测编码部100。然后，预测编码部100基于再编码信息进行再编码时，进行用于将该再编码后的流重新写入记录部120中的控制。
其中，从预测编码部100获得的编码控制相关的信息是指，在预测编码部100的比率控制部26和熵编码部17中所获得的信息，具体而言，是发生违规时的量化信息、产生编码量、CPB缓存的空闲容量、编码图片类型、编码宏块类型以及与此时的编码模式等编码或编码量的控制有关的信息。控制部113以这些与编码控制有关的信息和违规信息为基础，设置能够避免违规的再编码信息。
如前所述，记录部120也是用于记录并保存由违规信息提取部112所提取的违规信息的处理部。下面，在有的情况下，将用于记录并保存违规信息的记录部120叫作“违规信息记录单元”。代替记录部120，还可以用本图像编码记录装置中的存储缓冲器(memory buffer)来记录并保存违规信息。此时，本图像编码记录装置中的存储缓冲器相当于“违规信息记录单元”。
图13是本发明实施方式中的图像编码记录装置的外观图。这里，举例能够对BD-RE300进行读写的录像/播放器200。图像编码记录装置并不局限于录像/播放器200，还可以是能够对MPEG运动图像记录并播放的数码摄像机、带相机的手机、硬盘录像机、PDA、个人电脑等。记录介质并不局限于BD-RE300，还可以是光盘、磁盘、闪存器等。
图14是记录在BD-RE300中的信息的说明图。这里概念性地示出了在BD-RE300上的区域301中记录有遵守标准的流，在区域302中记录有违反标准的流，在区域303中记录有再编码流，在区域304中记录有违规信息的情况。
图15是再编码信息的一个示例图。如图15所示，再编码信息是对每个违规内容(例如违规代码)对应地给出用于避免该违规的控制信息的信息。也就是说，是根据发生违规时的编码图片类型(I图片、P图片或B图片)和编码宏块类型(帧内宏块或帧间宏块)，以图片(帧)或宏块为单位进行编码控制并再编码的编码信息。
例如，违规代码00是表示超过MB(宏块)最大编码量(3200比特)的违规代码。发生该违规时，将编码该宏块时的量化值(QP：Quantization Parameter：量化参数)设置为较大的量化值，从而大大降低所产生的编码量。而且，伴随量化值的设置，设置包含该违规宏块的相关联图片(帧)或者包含这些图片(帧)的独立图片(帧)组的初始量化值。该初始量化值设置为满足规定目标编码量的最佳值。
对于CPB缓存发生Overflow或Underflow的情况，也同样地设置发生违规的图片的量化值。具体而言，发生Overflow时，将QP设置为较大的值，发生Underflow时，将QP设置为较小的值。而且，伴随量化值的设置，设置包含这些图片(帧)的独立图片(帧)组的初始量化值。该初始量化值设置为满足规定目标编码量的最佳值。
图16是BD-RE中的目录文件的结构示例图。图16中，在PLAYLIST目录中存放有Playlist文件，在CLIPINF目录中存放有Clip information文件，在STREAM目录中存放有ClipAV流文件。
记录在BD-RE目录中的编码流被称为ClipAV流文件，存放在图16的STREAM目录中的扩展名为“xxts”的文件相当于该ClipAV流文件(在此，扩展名根据AV流而不同)。此外，用于管理该ClipAV流文件的数据库被称为ClipInformaiton文件，存放在图16的CLIPINF目录中的扩展名为“clpi”的文件相当于该Clip Informaiton文件。ClipAV流文件和Clip Informaiton文件一一对应。在Clip Informaiton文件中存放有上述TU_map等。通过组合TU_map和时间信息的时间标记，可以对ClipAV流文件的任意位置进行存取。在Clip Informaiton文件中写入编码的基准时刻的不连续点、对ClipAV流文件的随机存取和特殊播放等所需的信息。
上述ClipAV流文件和Clip Informaiton文件这两个文件被称为Clip，在对该Clip进行存取、编辑时的播放控制中所使用的文件是存放在PLAYLIST目录中的PlayList文件。PlayList文件是记录了播放的视频数据的区间(IN点、OUT点)的文件。在PlayList文件中有实际播放列表(Real PlayList)(扩展名为“rpls”)和虚拟播放列表(Virtual PlayList)(扩展名为“vpls”)这两种。
Real PlayList在对节目、场景进行录像时自动生成。在录像之后生成的RealPlayList中记述有1个指定了录像的开始点(in点)和结束点(out点)的PlayItem。而Virtual PlayList是在对已完成录像的多个Clip中对感兴趣的场景或相同Clip中时间上分开的视频进行接连等虚拟编辑时生成。
PlayList由1个或多个PlayItem组成，PlayItem指定播放对象Clip的播放开始点(in点)和播放结束点(out点)。图16中示出在Real PlayList文件中#1和#2两个PlayItem分别对播放开始点(in点)和播放结束点(out点)不同的clip文件进行存取的例子。
下面，假设将流记录到BD-RE中的情况，说明利用上述Virtual PlayList的桥剪辑(Bridge Clip)功能，对违规的流进行再编码并连接成与正常的流连续的流的方法。
图17是为了连续地连接并播放再编码的流而利用Virtual PlayList的BridgeClip功能的说明图。这里，假设对发生1处违反标准或违反缓存界限时的ClipAV流进行录像的情况，并对其进行描述。在该情况下，对ClipAV流的Real PlayList本来由1个PlayItem组成。再编码控制部110在发生违反标准或违反缓存界限时获得与此时的编码控制有关的信息。与之同时，从此时的包的时间标记和TU map表中获得发生违规的流记录在记录部120时的时间信息和位置信息。
然后，基于发生违规的流的包有关的时间信息和位置信息，以发生违规的包的图片为分界，将时间上比包含违规流的图片在前的流分割为PlayList1，将在后的流分割为PlayList2。此时，将PlayList1的PlayItem#1的开始点设为IN1，结束点设为OUT1。并且，将PlayList2的PlayItem#2的开始点设为IN2，结束点设为OUT2。但是，在此时，对于本来的录像Clip(参见图17中ClipAV流文件的细水平箭头D1)没有任何改变。
此时，本发明的特征在于，利用Virtual PlayList的Bridge Clip编辑功能将为避免违规而再编码的流和剩下的正常流(非再编码流)连续地连接。也就是说，将为避免违规而再编码的新Clip(图17的ClipA3)作为Bridge Clip，连接PlayItem#1中除去该再编码的Clip部分的Clip部分(图17的ClipA1)和PlayItem#2中除去该再编码的Clip部分的的Clip部分(图17的ClipA2)。因此，作为Virtual PlayList文件，将PlayItem#1的开始点设为IN1，结束点设为OUT1’，并且，将PlayItem#2的开始点设为IN2’，结束点设为OUT2。此时，用Bridge Clip连接的开始点和OUT1’一样，设为IN2bc。如图17的ClipAV流文件的粗箭头所示，按照ClipA1、ClipA3、ClipA2的顺序播放，从而可以作为避免违规的流而连续地播放。
下面，描述为避免违规而再编码的Clip部分的生成方法。首先，假设编码流的图片的集合(相当于GOP)的开始图片以IDR图片编码。在此，如果使用IDR图片，则在之后的图片组中所包含的图片不能越过IDR图片来参考。
图18是本发明中再编码的第一例的说明图。图18(a)示出了再编码前的编码流(ClipA)，并示出了在该流上存在违反标准的情况。图18(b)示出了将ClipA分割成再编码部分(ClipA3)和除去该部分的非再编码部分(ClipA1和ClipA2)的状态。但是，不是真正(Real)地分割ClipA，只是虚拟(Virtual)地分割。图18(c)对再编码部分和非再编码部分的Clip用编码图片单位示出了具体的流的排列。其中，图中的I表示I图片，P表示P图片，B表示B图片，之后的数字表示编码顺序。
图18中示出了，因为在编码流的B图片的一部分发生了违规，所以需要再编码的情况。为了对B图片进行再编码，需要在时间上相邻的前方和后方的P图片或I图片作为参考图片。图18(c)中，因为在B55这一B图片的一部分存在违规，所以需要P54图片和P57图片。因此，对P54～B56进行解码，并根据再编码信息对B55和B56图片进行再编码。
图19中示出了，因为在编码流的P图片的一部分发生了违规，所以需要再编码的情况。为了对P图片进行再编码，需要在时间上后方的P图片或I图片作为参考图片。图19(c)中，因为在P54这一P图片的一部分存在违规，所以需要I51图片。如果P54通过再编码而变化时，之后的P图片和B图片会受到影响。因此，对I51～B62进行解码，并根据再编码信息对P54～B62图片进行再编码。
图20示出了，因为在编码流的I图片的一部分发生违规，所以需要再编码的情况。I图片是不带着参考图片而只使用编码对象图片进行帧内预测编码的图片。如果再编码I图片，则之后的图片(到下一个I图片之前)都会受到影响。因此，如图20(c)所示，如果在I51的I图片的一部分存在违规，则对I51～B62进行解码，并根据再编码信息对I51～B62图片进行再编码。
图21示出了，因为产生Overflow或Underflow，所以需要再编码的情况。这里，示出了在P57发生Overflow或Underflow的情况。此时，为了避免发生缓存破坏，对相当于包含P57的GOP部分进行解码，并根据再编码信息对I51～B62图片进行再编码。
在进行再编码时存在一个问题。在再编码中，将编码流的图片的集合(相当于GOP)的开始图片设为IDR图片。然而，在I图片的一部分发生违规时，如图22所示，如果在包含违规图片的GOP部分中对I图片和P图片进行再编码，则下一个GOP区间的最初的B图片(图中B64和B65)会受到影响。从而，此时以GOP单位无法很好地划分Clip。因此，如图23所示，在编码流发生违规时，将发生违规的流的下一个GOP的起始图片即I图片更改为IDR图片后，对该GOP进行编码，或将该GOP作为以GOP单位封闭参考关系的ClosedGOP来进行编码。
图24是示出本发明实施方式中图像编码记录装置的操作流程图。下面利用图24的流程图说明发生编码违规时的再编码有关的操作。
输入到预测编码部100的视频信息被压缩，并以CABAC进行熵编码(步骤S101)。所编码的数据(编码流)被分割成规定的记录传输单位，例如包单位(步骤S102)。包用时钟计数器进行计数，在包的头部附上时间信息(例如时间标记)。还有，计算时间信息和从录像开始之后的编码数据的字节量，并根据独立的图片组(例如，相当于GOP)的起始包的位置信息生成能够随机存取编码流的位置信息(例如，TU_map)(步骤S103)。所录像的一个连续数据用PlayList文件管理(步骤S104)。PlayList文件与实际的编码流文件(由ClipAV流文件和保存有TU_map等的Clip Information文件组成的Clip文件)建立关系，并记录到记录部120中(步骤S105)。
而另一方面，再编码控制部110的判定部111从预测编码部100的熵编码部17和比率控制部26获得信息，同时判定预测编码部100输出的编码流是否发生编码违规，例如，宏块的编码量是否超出宏块的最大编码量3200bit，或者是否满足CPB缓存的界限(步骤S106)。如果判定出发生编码违规(步骤S106为YES)，则提取编码违规的违规内容(例如，超出宏块最大编码量，缓存的Underflow或Overflow等)和此时的编码信息(此时的图片、宏块、量化值、缓存的空闲容量等与编码有关的信息)(步骤S107)。如果判定出没有发生编码违规(步骤S106为No)，则执行步骤S109。
如果判定出发生编码违规(步骤S106为YES)，则提取违规信息(步骤S108)。在违规信息中包含其违规内容和编码信息，还包含编码违规时的数据(编码流)写入记录部120中的位置信息。违规信息被用于在下一个步骤S109的判定之后，将再编码的数据写入记录部120时建立PlayList的过程中(步骤S117)。并且，违规信息临时保存在记录装置的存储缓冲器或者记录部120中(步骤S108)。
在步骤S108中提取违规信息后，以编码(录像)结束为界判定是否还有增加的违规(步骤S109)。这里，判定出录像在继续或编码在继续时(步骤S109为No)，返回步骤S101，判定出录像结束或编码结束时(步骤S109为Yes)，判断是否存在临时保存的违规信息(步骤S110)。于是，如果不存在违规信息(步骤S110为No)，则结束一系列的操作。
而如果存在违规信息时(步骤S110为Yes)，则基于该违规信息，从记录部120中读出编码违规的流和与该流相关联的一系列流(步骤S111)。并且，将违规信息发送给控制部113，并设置用于避免编码违规的再编码信息(步骤S113)。再编码信息根据编码违规内容而不同，并同时基于所保存的发生违规时的编码控制信息而设置。
在步骤S111中从记录部120读出的流由熵解码部130进行解码(步骤S112)。熵解码后的压缩数据发送到预测编码部100，并基于步骤S113中所获得的再编码信息，由预测编码部100进行再编码(步骤S114)。
如步骤S102和步骤S103同样地，对再编码的数据进行打包(步骤S115)，并附上时间信息的同时生成位置信息(步骤S116)。再有，在步骤S116中，为了使插入再编码流后成为在时间上与非再编码流Clip连续的ClipAV流，从步骤S113的再编码信息中获取用于设置流的位置信息的开始IN点和结束OUT点的信息。
获取再编码流的时间信息和位置信息(步骤S116)，并且从记录部120中获取非再编码流的Clip的位置信息(步骤S111)。然后，作为Virtual PlayList文件，虚拟地将再编码流的Clip当作Bridge Clip插入到非再编码流的Clip之间，并按照能够连续播放的方式建立PlayList(步骤S117)。
完成所述打包后，附上时间信息的再编码流和将该再编码流当作BridgeClip生成的PlayList文件记录到记录部120中(步骤S118)。
综上所述，通过本发明实施方式中的图像编码记录装置，由于不需要同时实施普通的编码和再编码，所以能够解决实时再编码引起的处理负荷问题以及对回溯处理需要复杂控制和电路的问题。
另外，由于可以将再编码数据作为Blue-ray Disk的虚拟编辑功能即VirtualPlayList的Bridge Clip文件连接到非再编码数据，所以能够实现连续的播放。
再有，这里举BD-RE为例进行了说明，但记录介质的种类并不限于BD-RE。例如，使用硬盘、半导体存储器、BD之外的光盘，也可以以同样的方法应用本发明。也就是说，暂时将编码流连同违规的流一起记录之后，对违规流进行再编码使其成为正常的流，并将该正常的流连接到非再编码流即可。此时，事先保存违规的信息、违规时的编码信息和记录违规流的位置信息，但这些信息可以保存在用于记录流的介质中，也可以保存在编码记录装置的临时性存储器中。采用BD-RE的情况下，还可以保存在记录PlayList文件和Clip information文件等的区域即统一(gathered)文件区域。
另外，根据情况的不同，有可能出现不能对记录在记录介质的编码流进行解码的特殊情况。此时，由于无法实现再编码本身，所以在判定出不能解码后，将包含发生违规的流的GOP部分的流生成为虚设的Clip文件。例如，可以以将最后解码的图片重复播放GOP部分的方式进行编码，或者事先准备灰色的虚设的编码图片数据。从而，即使在不能对记录在记录介质中的编码流进行解码时，也能够避免视频的混乱。
本发明适用于下述需要解决实时再编码引起的处理负荷问题以及用于回溯处理的复杂控制和电路的问题的设备，例如，数码摄像机、带相机的手机、BD和DVD的录像/播放器、硬盘录像机、PDA、个人电脑等。

Claims (16)

1.一种图像编码记录装置，用于对图像数据进行实时编码并记录，其特征在于，该装置包括：
编码单元，用于通过在规定的编码标准所规定的每个块中对图像数据进行编码来生成第一编码流，进而通过对解码后的所述第一编码流进行再编码来生成与所述第一编码流不同的第二编码流；
记录单元，用于对所述编码单元所生成的第一编码流进行记录；和
再编码控制单元，用于判定在所述第一编码流中是否存在违规块，所述违规块是编码量超过所述规定的编码标准所规定的最大编码量的块，
所述编码单元，
即使在对所述图像数据进行编码时产生了所述违规块，也会完成所述图像数据的编码而不对所述违规块进行再编码，从而生成包含所述违规块的所述第一编码流，
当通过所述再编码控制单元判定出在所述第一编码流中存在违规块时，对所述第一编码流中的至少包含所述违规块的部分数据进行再编码，生成仅由编码量在所述规定的编码标准所规定的最大编码量以下的块构成的第二编码流，
所述记录单元，
除了记录所述第一编码流之外，还记录所述第二编码流，
记录控制信息，所述控制信息规定在再生所述第一编码流的过程中，当所述部分数据被再生时，把所述第二编码流连接到非再编码流并进行再生，所述非再编码流是所述第一编码流中未被再编码的部分。
2.根据权利要求1所述的图像编码记录装置，其特征在于，所述再编码控制单元包括：
判定单元，用于判定在所述第一编码流中是否存在违规块，所述违规块是编码量超过所述规定的编码标准所规定的最大编码量的块；
违规信息提取单元，用于在判定出在所述第一编码流中存在所述违规块时，从所述记录单元提取违规信息，所述违规信息是与关于存在所述违规块的第一编码流的违规有关的信息；和
控制单元，用于根据所述违规信息，控制所述编码单元对存在所述违规块的第一编码流进行再编码，以使第二编码流不存在所述违规块，并控制所述记录单元记录所述第二编码流。
3.根据权利要求1所述的图像编码记录装置，其特征在于，所述再编码控制单元包括：
判定单元，用于判定在所述第一编码流中是否存在违规块，所述违规块是编码量超过所述规定的编码标准所规定的最大编码量的块；
违规信息提取单元，用于在判定出在所述第一编码流中存在所述违规块时，从所述编码单元和所述记录单元提取违规信息，所述违规信息是与关于存在所述违规块的第一编码流的违规有关的信息；
用于记录违规信息的单元，用于记录并保存所述违规信息提取单元所提取的违规信息；和
控制单元，用于根据所述用于记录违规信息的单元所记录并保存的违规信息，控制所述编码单元对存在所述违规块的第一编码流进行再编码，以使第二编码流不存在所述违规块，并控制所述记录单元记录所述第二编码流。
4.根据权利要求2所述的图像编码记录装置，其特征在于，
所述违规信息提取单元用于在所述第一编码流中存在所述违规块时提取所述违规信息，所述违规信息包括表示所述第一编码流记录在所述记录单元中何处的位置信息、表示在所述第一编码流中存在所述违规块时的违规内容和编码信息。
5.根据权利要求1所述的图像编码记录装置，其特征在于，
所述再编码控制单元用于控制所述记录单元将所述第二编码流作为蓝光光盘的虚拟编辑功能即虚拟播放列表的桥剪辑文件记录。
6.根据权利要求1所述的图像编码记录装置，其特征在于，
所述再编码控制单元用于在判定出在所述第一编码流中存在所述违规块时，将发生违规的流的下一个独立图片组中的起始图片即I图片更改为即时解码刷新图片后，进一步控制所述编码单元对所述独立图片组进行编码。
7.根据权利要求1所述的图像编码记录装置，其特征在于，
所述再编码控制单元用于在一系列除了再编码之外的编码和记录操作停止或结束时，控制所述编码单元对所述部分数据进行再编码。
8.一种图像编码记录方法，用于对图像数据进行实时编码并记录，其特征在于，该方法包括：
编码步骤，通过在规定的编码标准所规定的每个块中对图像数据进行编码来生成第一编码流，进而通过对解码后的所述第一编码流进行再编码来生成与所述第一编码流不同的第二编码流；
记录步骤，对所述编码步骤中所生成的第一编码流进行记录；和
再编码步骤，判定在所述第一编码流中是否存在违规块，所述违规块是编码量超过所述规定的编码标准所规定的最大编码量的块，
在所述编码步骤中，
即使在对所述图像数据进行编码时产生了所述违规块，也会完成所述图像数据的编码而不对所述违规块进行再编码，从而生成包含所述违规块的所述第一编码流，
当判定出在所述第一编码流中存在违规块时，对所述第一编码流中的至少包含所述违规块的部分数据进行再编码，生成仅由编码量在所述规定的编码标准所规定的最大编码量以下的块构成的第二编码流，
在所述记录步骤中，
除了记录所述第一编码流之外，还记录所述第二编码流，
记录控制信息，所述控制信息规定在再生所述第一编码流的过程中，当所述部分数据被再生时，把所述第二编码流连接到非再编码流并进行再生，所述非再编码流是所述第一编码流中未被再编码的部分。
9.根据权利要求8所述的图像编码记录方法，其特征在于，所述再编码步骤包括：
判定在所述第一编码流中是否存在违规块，所述违规块是编码量超过所述规定的编码标准所规定的最大编码量的块；
在判定出在所述第一编码流中存在所述违规块时提取违规信息，所述违规信息是与关于存在所述违规块的第一编码流的违规有关的信息；和
根据所述违规信息，对存在所述违规块的第一编码流进行再编码，以使第二编码流不存在所述违规块。
10.根据权利要求8所述的图像编码记录方法，其特征在于，所述再编码步骤包括：
判定在所述第一编码流中是否存在违规块，所述违规块是编码量超过所述规定的编码标准所规定的最大编码量的块；
在判定出在所述第一编码流中存在所述违规块时提取违规信息，所述违规信息是与关于存在所述违规块的第一编码流的违规有关的信息；
记录并保存所提取的违规信息；和
根据所述违规信息，对存在所述违规块的第一编码流进行再编码，以使第二编码流不存在所述违规块。
11.根据权利要求9所述的图像编码记录方法，其特征在于，
在所述第一编码流中存在所述违规块时提取所述违规信息，所述违规信息包括表示所述第一编码流被存储于何处的位置信息、表示在所述第一编码流中存在所述违规块时的违规内容和编码信息。
12.根据权利要求8所述的图像编码记录方法，其特征在于，
将所述第二编码流作为蓝光光盘的虚拟编辑功能即虚拟播放列表的桥剪辑文件记录。
13.根据权利要求8所述的图像编码记录方法，其特征在于，
在判定出在所述第一编码流中存在所述违规块时，将发生违规的流的下一个独立图片组中的起始图片即I图片更改为即时解码刷新图片后，进一步对所述独立图片组进行编码。
14.根据权利要求8所述的图像编码记录方法，其特征在于，
在一系列除了再编码之外的编码和记录操作停止或结束时，对所述部分数据进行再编码。
15.一种集成电路，对图像数据进行实时编码并记录，其特征在于，该集成电路包括：
编码单元，用于通过在规定的编码标准所规定的每个块中对图像数据进行编码来生成第一编码流，进而通过对解码后的所述第一编码流进行再编码来生成与所述第一编码流不同的第二编码流；
记录单元，用于对所述编码单元所生成的第一编码流进行记录；和
再编码控制单元，用于判定在所述第一编码流中是否存在违规块，所述违规块是编码量超过所述规定的编码标准所规定的最大编码量的块，
所述编码单元，
即使在对所述图像数据进行编码时产生了所述违规块，也会完成所述图像数据的编码而不对所述违规块进行再编码，从而生成包含所述违规块的所述第一编码流，
当通过所述再编码控制单元判定出在所述第一编码流中存在违规块时，对所述第一编码流中的至少包含所述违规块的部分数据进行再编码，生成仅由编码量在所述规定的编码标准所规定的最大编码量以下的块构成的第二编码流，
所述记录单元，
除了记录所述第一编码流之外，还记录所述第二编码流，
记录控制信息，所述控制信息规定在再生所述第一编码流的过程中，当所述部分数据被再生时，把所述第二编码流连接到非再编码流并进行再生，所述非再编码流是所述第一编码流中未被再编码的部分。
16.根据权利要求15所述的集成电路，其特征在于，所述再编码控制单元包括：
判定单元，用于判定在所述第一编码流中是否存在违规块，所述违规块是编码量超过所述规定的编码标准所规定的最大编码量的块；
违规信息提取单元，用于在判定出在所述第一编码流中存在所述违规块时，从所述记录单元提取违规信息，所述违规信息是与关于存在所述违规块的第一编码流的违规有关的信息；和
控制单元，用于根据所述违规信息，控制所述编码单元对存在所述违规块的第一编码流进行再编码，以使第二编码流不存在所述违规块，并控制所述记录单元记录所述第二编码流。
CN200710108632XA 2006-06-09 2007-06-07 图像编码记录装置及其图像编码记录方法 Expired - Fee Related CN101087408B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006-161018 2006-06-09
JP2006161018A JP4584871B2 (ja) 2006-06-09 2006-06-09 画像符号化記録装置および画像符号化記録方法
JP2006161018 2006-06-09

Publications (2)

Publication Number Publication Date
CN101087408A CN101087408A (zh) 2007-12-12
CN101087408B true CN101087408B (zh) 2013-06-26

Family

ID=38821940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710108632XA Expired - Fee Related CN101087408B (zh) 2006-06-09 2007-06-07 图像编码记录装置及其图像编码记录方法

Country Status (3)

Country Link
US (1) US8817873B2 (zh)
JP (1) JP4584871B2 (zh)
CN (1) CN101087408B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9489749B2 (en) 2011-02-22 2016-11-08 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US9544585B2 (en) 2011-07-19 2017-01-10 Tagivan Ii Llc Filtering method for performing deblocking filtering on a boundary between an intra pulse code modulation block and a non-intra pulse code modulation block which are adjacent to each other in an image

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155207B2 (en) * 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
US7429938B1 (en) * 2007-03-26 2008-09-30 Medtronic, Inc. Method of compressing waveform data with differential entropy based compression
US7933658B2 (en) * 2007-03-26 2011-04-26 Medtronic, Inc. Differential entropy based data compression for waveforms
US8718388B2 (en) 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
US20090180701A1 (en) * 2008-01-10 2009-07-16 Seungyeob Choi Video Data Encoding System
US8923385B2 (en) * 2008-05-01 2014-12-30 Nvidia Corporation Rewind-enabled hardware encoder
JP4506879B2 (ja) * 2008-06-09 2010-07-21 ソニー株式会社 記録装置、記録方法、プログラム及び記録システム
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
FR2932940A1 (fr) * 2008-06-23 2009-12-25 Thomson Licensing Procede de codage video avec mode non compresse et dispositif mettant en oeuvre le procede.
JP5116704B2 (ja) * 2009-02-02 2013-01-09 パナソニック株式会社 画像符号化装置及び画像符号化方法
JP5126096B2 (ja) * 2009-02-05 2013-01-23 日本電気株式会社 画像符号化処理方法、画像符号化処理装置、画像符号化プログラム
JP5580541B2 (ja) * 2009-03-06 2014-08-27 パナソニック株式会社 画像復号化装置および画像復号化方法
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
JP2011053655A (ja) * 2009-08-07 2011-03-17 Sanyo Electric Co Ltd 画像表示制御装置およびそれを搭載した撮像装置、ならびに画像処理装置およびそれを用いた撮像装置
JP2011071965A (ja) * 2009-08-28 2011-04-07 Sanyo Electric Co Ltd 画像編集装置およびそれを搭載した撮像装置、ならびに画像再生装置およびそれを搭載した撮像装置
KR101504887B1 (ko) * 2009-10-23 2015-03-24 삼성전자 주식회사 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치
JP2011205465A (ja) * 2010-03-26 2011-10-13 Hitachi Consumer Electronics Co Ltd 画像符号化方法および画像符号化装置
BR112012027960A2 (pt) 2010-05-06 2018-05-08 Nippon Telegraph And Telephone Corporation "método e aparelho de controle de codificação de vídeo"
WO2011138923A1 (ja) * 2010-05-07 2011-11-10 日本電信電話株式会社 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム
KR101391661B1 (ko) 2010-05-12 2014-05-07 니폰덴신뎅와 가부시키가이샤 동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램
CN105681804B (zh) 2010-11-26 2018-11-02 日本电气株式会社 视频解码设备和视频解码方法
KR101954461B1 (ko) 2011-02-22 2019-03-05 타지반 투 엘엘씨 필터 방법, 동화상 부호화 장치, 동화상 복호 장치 및 동화상 부호화 복호 장치
US9094689B2 (en) * 2011-07-01 2015-07-28 Google Technology Holdings LLC Motion vector prediction design simplification
US9185428B2 (en) 2011-11-04 2015-11-10 Google Technology Holdings LLC Motion vector scaling for non-uniform motion vector grid
CN102630013B (zh) * 2012-04-01 2013-10-16 北京捷成世纪科技股份有限公司 基于场景切换的码率控制视频压缩方法和装置
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
CN108184118A (zh) * 2016-12-08 2018-06-19 中兴通讯股份有限公司 云桌面内容编码与解码方法及装置、系统
CN109561313B (zh) * 2018-10-16 2020-04-24 北京大学 一种基于分块的脉冲序列压缩方法及装置
CN115878920B (zh) * 2022-11-29 2024-05-10 上海图客科技有限公司 基于WebGL的动态高性能批量图片显示方法、系统及程序产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1653542A (zh) * 2002-05-14 2005-08-10 皇家飞利浦电子股份有限公司 用于记录信息的设备和方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1069778A3 (en) * 1993-04-09 2004-10-20 Sony Corporation Picture encoding method, picture encoding apparatus and picture recording medium
JP3089160B2 (ja) * 1994-05-20 2000-09-18 シャープ株式会社 ディジタル記録再生装置
US6415057B1 (en) * 1995-04-07 2002-07-02 Sony Corporation Method and apparatus for selective control of degree of picture compression
JP3418485B2 (ja) * 1995-09-14 2003-06-23 シャープ株式会社 画像データ蓄積装置
JP3356004B2 (ja) * 1997-05-30 2002-12-09 日本ビクター株式会社 可変レート符号化装置及び方法
US6563549B1 (en) * 1998-04-03 2003-05-13 Sarnoff Corporation Method and apparatus for adaptively encoding an information stream
CN1150765C (zh) * 1998-07-10 2004-05-19 皇家菲利浦电子有限公司 比特率改变方法及装置
JP2000295567A (ja) * 1999-04-06 2000-10-20 Victor Co Of Japan Ltd 符号化データ編集装置
US6658157B1 (en) * 1999-06-29 2003-12-02 Sony Corporation Method and apparatus for converting image information
JP2001197504A (ja) 1999-11-02 2001-07-19 Matsushita Electric Ind Co Ltd 映像編集装置、映像編集方法及びそのプログラムを記録した記録媒体
JP2001145113A (ja) * 1999-11-17 2001-05-25 Sony Corp 画像情報変換装置及び方法
JP2001197427A (ja) 2000-01-14 2001-07-19 Matsushita Electric Ind Co Ltd 符号化ストリーム編集装置および符号化ストリーム編集方法
JP3748234B2 (ja) 2001-05-30 2006-02-22 日本ビクター株式会社 Ｍｐｅｇデータ記録方法
JP3663626B2 (ja) * 2001-09-18 2005-06-22 ソニー株式会社 ビデオ信号処理装置および方法、プログラム、情報記録媒体、並びにデータ構造
JP3902968B2 (ja) * 2002-03-26 2007-04-11 キヤノン株式会社 画像処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体
JP2004007359A (ja) * 2002-04-08 2004-01-08 Matsushita Electric Ind Co Ltd マルチメディアデータ復号装置
US20030215011A1 (en) * 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
JP4240283B2 (ja) 2002-10-10 2009-03-18 ソニー株式会社 復号装置及び復号方法
JP4586340B2 (ja) * 2003-07-08 2010-11-24 ソニー株式会社 符号化装置、および、符号化方法、並びに、プログラム
JP3753726B1 (ja) * 2004-10-13 2006-03-08 シャープ株式会社 動画像再符号化装置、動画像編集装置、プログラム、及び記録媒体
EP1807838A2 (en) 2004-10-25 2007-07-18 Koninklijke Philips Electronics N.V. An error recovery strategy for blu-ray discs
BG65401B1 (bg) * 2004-10-27 2008-06-30 "Индекс - 6" Оод Дозиращ клапан
JP2006295910A (ja) * 2005-03-16 2006-10-26 Victor Co Of Japan Ltd エラー訂正装置
JP4736487B2 (ja) * 2005-03-22 2011-07-27 株式会社日立製作所 映像処理装置
US20070025441A1 (en) * 2005-07-28 2007-02-01 Nokia Corporation Method, module, device and system for rate control provision for video encoders capable of variable bit rate encoding
US8295343B2 (en) * 2005-11-18 2012-10-23 Apple Inc. Video bit rate control method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1653542A (zh) * 2002-05-14 2005-08-10 皇家飞利浦电子股份有限公司 用于记录信息的设备和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2000-295567A 2000.10.20
JP特开2005-33599A 2005.02.03

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9489749B2 (en) 2011-02-22 2016-11-08 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US9544585B2 (en) 2011-07-19 2017-01-10 Tagivan Ii Llc Filtering method for performing deblocking filtering on a boundary between an intra pulse code modulation block and a non-intra pulse code modulation block which are adjacent to each other in an image

Also Published As

Publication number Publication date
US8817873B2 (en) 2014-08-26
CN101087408A (zh) 2007-12-12
US20070286280A1 (en) 2007-12-13
JP2007329827A (ja) 2007-12-20
JP4584871B2 (ja) 2010-11-24

Similar Documents

Publication Publication Date Title
CN101087408B (zh) 图像编码记录装置及其图像编码记录方法
JP4838253B2 (ja) 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法、および記録方法
CN101637028B (zh) 图像信息编码设备和编码方法
CN101222644B (zh) 运动图像编码、解码装置以及运动图像编码、解码方法
CN100551074C (zh) 图像解码方法、图像解码装置和集成电路
CN101895765B (zh) 代码转换器、记录装置和代码转换方法
US8131135B2 (en) MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method
KR101240089B1 (ko) 화상 부호화 장치 및 화상 복호화 장치
EP0923243A1 (en) Editing device, editing method, splicing device, splicing method, encoding device, and encoding method
US6792045B2 (en) Image signal transcoder capable of bit stream transformation suppressing deterioration of picture quality
CN100521791C (zh) 图像处理设备和图像处理方法
CN102420993B (zh) 数字视频编码用可变精度图像间定时规定的方法和装置
US6314139B1 (en) Method of inserting editable point and encoder apparatus applying the same
US20070258009A1 (en) Image Processing Device, Image Processing Method, and Image Processing Program
CN101115195B (zh) 视频码流的宏块级耦合的解码和环路滤波方法和装置
US6271774B1 (en) Picture data processor, picture data decoder and picture data encoder, and methods thereof
Yu et al. A fast effective scene change detection and adaptive rate control algorithm
JP2008258858A (ja) 動画像符号化装置
JP4193224B2 (ja) 動画像符号化装置及び方法並びに動画像復号装置及び方法
JP3427505B2 (ja) 画像符号化方法と編集装置
US20140334552A1 (en) Image decoding device
JP3939907B2 (ja) 信号処理装置
JP2005159832A (ja) 信号処理装置
JP2003219431A (ja) 画像符号化方法と編集装置
JP2007174524A (ja) 符号化処理装置、符号化処理方法、プログラムコード、及び記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130626

Termination date: 20140607

EXPY Termination of patent right or utility model