CN102821276A - 图像编码设备和方法，图像解码设备和方法 - Google Patents

图像编码设备和方法，图像解码设备和方法 Download PDF

Info

Publication number
CN102821276A
CN102821276A CN2012101759602A CN201210175960A CN102821276A CN 102821276 A CN102821276 A CN 102821276A CN 2012101759602 A CN2012101759602 A CN 2012101759602A CN 201210175960 A CN201210175960 A CN 201210175960A CN 102821276 A CN102821276 A CN 102821276A
Authority
CN
China
Prior art keywords
decoding
image
coding
picture
decoded picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101759602A
Other languages
English (en)
Inventor
和田祐司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102821276A publication Critical patent/CN102821276A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及图像编码设备和方法，图像解码设备和方法。所述图像编码设备包括：编码处理器，所述编码处理器对表示输入图像和预测图像之间的差的图像编码，从而生成编码数据；解码处理器，所述解码处理器对编码数据解码，从而生成局部解码图像；局部解码图像编码器，所述局部解码图像编码器对局部解码图像编码，并把编码的局部解码图像保存在存储器中；局部解码图像解码器，所述局部解码图像解码器对编码并保存在存储器中的局部解码图像解码；和控制器，所述控制器根据表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制编码数据的生成。

Description

图像编码设备和方法,图像解码设备和方法
技术领域
本技术涉及图像编码设备，图像解码设备，图像编码方法，图像解码方法和程序。具体地说，本技术目的在于在保存局部解码图像时提高编码效率，和进行解码以提供高质量的解码图像。
背景技术
近年来，处理数字图像信息并高效行传送和累积所述信息的设备已得到广泛使用。这种设备遵守例如MPEG2(ISO/IEC13818-2)或者H.264/AVC(高级视频编码)。在MPEG和其它基于帧间相关性的类似编码方法中，为了进行运动补偿而参考的图像，例如，根据感兴趣图像之前的一帧形成的局部解码图像被临时保存在存储器或者任何其它存储装置中。
另一方面，存储器或者任何其它存储装置受到容量和数据带宽(每秒钟可读/写的数据的数量)的限制，通过利用具有较小数据容量和较低带宽的存储器，可降低存储器的成本。鉴于此，JP-A-2010-135885和JP-A-10-271516提出对局部解码图像编码并把编码图像保存在存储装置中的技术。
发明内容
编码被分成无损编码和有损编码。由于允许数据损失，因此编码效率高于无损编码的有损编码允许降低数据的数量和带宽，从而允许降低成本。不过，当根据允许数据损失的有损编码对局部解码图像编码时，不使用相同的有损编码压缩的编码设备在解码时，会导致解码图像的质量的退化。
于是，理想的是提供一种能够在保存局部解码图像时提高编码效率，和还进行解码以提供高质量的解码图像的图像编码设备、图像解码设备、图像编码方法、图像解码方法和程序。
本技术的一个实施例目的在于一种图像编码设备，包括编码处理器，所述编码处理器对表示输入图像和预测图像之间的差的图像编码，从而生成编码数据，解码处理器，所述解码处理器对编码数据解码，从而生成局部解码图像，局部解码图像编码器，所述局部解码图像编码器对局部解码图像编码，并把编码的局部解码图像保存在存储器中，局部解码图像解码器，所述局部解码图像解码器对编码并保存在存储器中的局部解码图像解码，和控制器，所述控制器根据表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制编码数据的生成。
在上面说明的本技术的实施例中，表示输入图像和预测图像之间的差的图像被编码，从而生成编码数据。编码数据被解码，从而生成局部解码图像，局部解码图像被编码并保存在存储器中。编码并保存在存储器中的局部解码图像被解码，解码的局部解码图像被用于生成预测图像。按照降低编码失真的影响的方式，根据表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，调整用于对差图像编码的量化参数。此外，按照编码失真信息限制量化参数的范围，利用限制的范围对量化参数编码。此外，按照编码失真信息，改变解块滤波器的滤波强度，和选择帧内预测图像或帧间预测图像。
本技术的另一个实施例目的在于一种图像编码方法，包括对表示输入图像和预测图像之间的差的图像编码，从而生成编码数据，对编码数据解码，从而生成局部解码图像，对局部解码图像编码，并把编码的局部解码图像保存在存储器中，对编码并保存在存储器中的局部解码图像解码，和根据表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制编码数据的生成。
本技术的另一个实施例目的在于一种使计算机执行以下步骤的程序：对表示输入图像和预测图像之间的差的图像编码，从而生成编码数据，对编码数据解码，从而生成局部解码图像，对局部解码图像编码，并把编码的局部解码图像保存在存储器中，对编码并保存在存储器中的局部解码图像解码，和根据表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制编码数据的生成。
本技术的另一个实施例目的在于一种图像解码设备，包括：解码处理器，所述解码处理器对编码流解码，从而生成差图像，并把预测图像和差图像相加，从而生成解码图像，局部解码图像编码器，所述局部解码图像编码器对解码图像编码作为局部解码图像，并把局部解码图像保存在存储器中，局部解码图像解码器，所述局部解码图像解码器对编码并保存在存储器中的局部解码图像解码，和控制器，所述控制器按照表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制差图像或预测图像的生成。
在本技术的该实施例中，编码流被解码，以生成差图像，使预测图像与差图像相加，从而生成解码图像。解码图像被编码作为局部解码图像，所述局部解码图像被保存在存储器中。编码并保存在存储器中的局部解码图像被解码，解码的局部解码图像被用于生成预测图像。按照表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，限制量化参数的范围，利用限制的范围对编码并添加到编码流中的量化参数解码，从而解码的量化参数被用于对编码流解码，以生成差图像。此外，按照编码失真信息改变解块滤波器的滤波强度。此外，按照编码失真信息选择帧内预测图像或帧间预测图像，选择的图像被用作预测图像。
本技术的另一实施例目的在于一种图像解码方法，包括对编码流解码，从而生成差图像，并把预测图像和差图像相加，从而生成解码图像，对解码图像编码作为局部解码图像，并把局部解码图像保存在存储器中，对编码并保存在存储器中的局部解码图像解码，和按照表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制差图像或预测图像的生成。
本技术的另一实施例目的在于一种使计算机执行以下步骤的程序：对编码流解码，从而生成差图像，并把预测图像和差图像相加，从而生成解码图像，对解码图像编码作为局部解码图像，并把局部解码图像保存在存储器中，对编码并保存在存储器中的局部解码图像解码，和按照表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制差图像或预测图像的生成。
按照本技术的实施例的程序可通过以计算机可读形式，比如光盘、磁盘、半导体存储器和其它类似的存储介质，或者网络和其它通信介质提供的存储介质或通信介质，用在能够执行各种程序代码的通用计算机中。当以计算机可读形式提供所述程序时，在计算机中执行与所述程序相应的处理。
按照本技术的实施例，在编码时，通过对输入图像和预测图像之间的差的信息编码而生成的编码数据被解码，从而生成局部解码图像。局部解码图像被编码，并保存在存储器中，随后被读取和解码。按照在局部解码图像的编码/解码中产生的编码失真，控制编码数据的生成，从而降低编码失真的影响。此外，当对编码流解码时，在解码处理中生成的解码图像被编码成局部解码图像，并保存在存储器中，随后被读取和解码。和编码处理中一样，也按照在局部解码图像的编码/解码中产生的编码失真，控制解码图像的生成。即使当在保存局部解码图像时提高了编码效率，在解码时，也能够提供高质量的解码图像。
附图说明
图1表示图像编码设备的结构；
图2是表示图像编码设备的操作的流程图；
图3是表示量化参数限制操作的流程图；
图4表示图像解码设备的结构；
图5是表示图像解码设备的操作的流程图。
具体实施方式
下面说明本技术的实施例。将按照以下顺序进行说明。
1.图像编码设备的结构
2.图像编码设备的操作
3.图像编码设备的操作
4.调整量化参数的操作
5.降低编码失真的影响的其它操作
6.图像解码设备的结构
7.图像解码设备的操作
8.当量化参数受到限制时进行的解码操作
9.当在编码时，降低编码失真的影响时进行的解码操作
10.利用软件处理
<1.图像编码设备的结构>
图1表示图像编码设备的结构。图像编码设备10包括模/数转换器(A/D转换器)11、屏蔽重排缓冲器12、减法器13、正交变换器14、量化器15、无损编码器16、累积缓冲器17和速率控制器18。图像编码设备10还包括反量化器21、反正交变换器22、加法器23、解块滤波器24、局部解码图像编码器25、存储器26、局部解码图像解码器27、编码失真控制器28、帧内预测单元31、运动预测/补偿单元32和预测图像/最佳模式选择器33。
A/D转换器11把模拟图像信号转换成数字图像数据，并把图像数据输出给屏幕重排缓冲器12。
屏幕重排缓冲器12根据从A/D转换器11输出的图像数据，重排各帧。屏幕重排缓冲器12按照与编码相关的GOP(画面组)结构，重排各帧，并把重排的图像数据输出给减法器13、速率控制器18、帧内预测单元31和运动预测/补偿单元32。
减法器13接收从屏幕重排缓冲器12输出的图像数据，和由后面说明的预测图像/最佳模式选择器33选择的预测图像数据。减法器13计算差图像的图像数据(预测误差数据)，该预测误差数据是从屏幕重排缓冲器12输出的输入图像的图像数据和从预测图像/最佳模式选择器33供给的预测图像的图像数据之间的差，并把计算的图像数据输出给正交变换器14。
正交变换器14进行从减法器13输出的预测误差数据的离散余弦变换、Karhunen-Loeve变换或者任何其它适当的正交变换。正交变换器14把在正交变换中设置的变换系数输出给量化器15。
量化器15接收从正交变换器14输出的变换系数数据，和来自后面说明的速率控制器18的量化参数(量化位阶)。量化器15量化变换系数数据，并把量化数据输出给无损编码器16和反量化器21。量化器15还按照速率控制器18设定的量化参数，改变量化数据的比特率。
无损编码器16接收来自量化器15的量化数据，来自帧内预测单元31的预测模式信息，来自运动预测/补偿单元32的预测模式信息和运动向量信息，以及其它各项信息。无损编码器16还从预测图像/最佳模式选择器33接收表示最佳模式是帧内预测还是帧间预测的信息。预测模式信息包括关于取决于最佳模式是帧内预测还是帧间预测的预测模式、块大小和其它参数的信息。
无损编码器16进行量化数据的变长编码、算术编码或者任何其它适当的无损编码，以生成编码流，随后把编码流输出给累积缓冲器17。当最佳模式是帧内预测时，无损编码器16进行从帧内预测单元31供给的预测模式信息的无损编码。当最佳模式是帧间预测时，无损编码器16进行从运动预测/补偿单元32供给的预测模式信息、运动向量信息和其它各项信息的无损编码。无损编码器16还进行关于量化参数的信息的无损编码。无损编码器16把经过无损编码的信息添加到编码流中。例如，无损编码器16把所述信息添加到编码流的头部中。
累积缓冲器17累积来自无损编码器16的编码流。累积缓冲器17还以与传输路径相应的传输速率输出累积的编码流。
速率控制器18监视累积缓冲器17的空闲空间，按照当自由空间较小时降低量化数据的比特率，而当自由空间足够大时升高量化数据的比特率的方式，设定量化参数，然后把这样设定的量化参数输出给量化器15。速率控制器18还响应来自后面说明的编码失真控制器28的控制信号，按照编码失真信息，调整和限制量化参数。速率控制器18可向无损编码器16提供关于限制的量化参数的信息，以便增大编码量化参数信息的效率。另一方面，编码失真控制器28可向无损编码器16提供关于限制的量化参数的信息。
反量化器21进行从量化器15供给的量化数据的反量化。反量化器21把在反量化中获得的变换系数数据输出给反正交变换器22。
反正交变换器22进行从反量化器21供给的变换系数数据的反正交变换，并把结果数据输出给加法器23。
加法器23把从反正交变换器22供给的数据加入从预测图像/最佳模式选择器33供给的预测图像数据中，从而生成局部解码图像的图像数据，并把局部解码图像输出给解块滤波器24和帧内预测单元31。加法器23生成的局部解码图像被用作帧内预测或帧间预测中的参考图像。
解块滤波器24进行降低当编码图像时产生的块失真的滤波。解块滤波器24进行从供给自加法器23的图像数据中消除块失真的滤波，并把滤波后的图像数据输出给局部解码图像编码器25。解块滤波器24响应来自后面说明的编码失真控制器28的控制信号，按照编码失真信息调整滤波的强度。
局部解码图像编码器25根据有损编码，对用解块滤波器24滤波的图像数据编码，并把编码的图像数据输出给存储器26。局部解码图像编码器25还把表示编码失真的程度的编码失真信息输出给存储器26。通过在局部解码图像编码器25把编码失真信息输出给存储器26之前，在局部解码图像编码器25中对编码失真信息编码，能够减少待保存在存储器26中的数据的数量。Q因数(品质因数)被用作当根据例如JPEG(联合图像专家组)对图像数据编码时的编码失真信息。当根据比特平面编码对图像数据编码时，关于比特处置位置的信息被用作编码失真信息。
存储器26保存从局部解码图像编码器25供给的编码数据和对应于该编码数据的编码失真信息。从存储器26读取的编码数据和对应于该编码数据的编码失真信息被输出给局部解码图像解码器27。
局部解码图像解码器27解码从存储器26供给的编码数据，然后把结果图像数据提供给运动预测/补偿单元32，作为参考图像数据。局部解码图像解码器27还把从存储器26读取的编码失真信息输出给编码失真控制器28。当编码失真信息已被编码时，局部解码图像解码器27解码编码失真信息。
编码失真控制器28通过根据编码失真信息生成控制信号，并把控制信号输出给速率控制器18、解块滤波器24和预测图像/最佳模式选择器33，控制编码数据的生成，以降低编码失真的影响。
帧内预测单元31利用从屏幕重排缓冲器12供给的待编码图像的输入图像数据，按照全部或者部分的候选帧内预测模式进行预测，以确定最佳的帧内预测模式。例如，帧内预测单元31计算每种帧内预测模式下的成本函数值，并根据计算的成本函数值，把最佳帧内预测模式确定为其中使编码效率达到最大的帧内预测模式。帧内预测单元31把按照最佳帧内预测模式生成的预测图像数据，和在最佳帧内预测模式下的成本函数值输出给预测图像/最佳模式选择器33。帧内预测单元31还把表示最佳帧内预测模式的预测模式信息输出给无损编码器16。
运动预测/补偿单元32利用从屏幕重排缓冲器12供给的待编码的输入图像数据，和从存储器26供给的参考图像数据，按照全部或者部分的候选帧间预测模式进行预测，以确定最佳帧间预测模式。例如，运动预测/补偿单元32计算每种帧间预测模式下的成本函数值，并根据计算的成本函数值，把最佳帧间预测模式确定为其中使编码效率达到最大的帧间预测模式。运动预测/补偿单元32把按照最佳帧间预测模式生成的预测图像数据，和在最佳帧间预测模式下的成本函数值输出给预测图像/最佳模式选择器33。运动预测/补偿单元32还把关于最佳帧间预测模式的预测模式信息，和运动向量信息输出给无损编码器16。
预测图像/最佳模式选择器33比较从帧内预测单元31供给的成本函数值，和从运动预测/补偿单元32供给的成本函数值，选择较小的成本函数值作为其中使编码效率最大化的最佳模式。预测图像/最佳模式选择器33还把在最佳模式下生成的预测图像数据输出给减法器13和加法器23。预测图像/最佳模式选择器33还把表示最佳模式是帧内预测模式还是帧间预测模式的信息输出给无损编码器16。预测图像/最佳模式选择器33基于切片地在帧内预测和帧间预测之间切换预测模式。预测图像/最佳模式选择器33还响应来自编码失真控制器28的控制信号，根据编码失真信息指定最佳模式。另一方面，预测图像/最佳模式选择器33可根据来自编码失真控制器28的信号，选择帧内预测单元31中的最佳模式。
如上所述，在图像编码设备10中，帧内预测单元31、运动预测/补偿单元32和预测图像/最佳模式选择器33生成预测图像。减法器13、正交变换器14、量化器15、无损编码器16、累积缓冲器17和速率控制器18处理生成的预测图像和输入图像，从而生成编码数据。此外，在图像编码设备10中，反量化器21、反正交变换器22和加法器23生成局部解码图像。
<2.图像编码设备的操作>
下面参考图2中所示的流程图，说明图像编码设备的操作。在步骤ST11，A/D转换器11对输入图像信号进行A/D转换。
在步骤ST12，屏幕重排缓冲器12进行图像重排。屏幕重排缓冲器12保存从A/D转换器11供给的图像数据，并进行把画面被显示的顺序改变成画面被编码的顺序的重排。
在步骤ST13，减法器13生成预测误差数据。减法器13计算在步骤ST12中重排的输入图像的图像数据，和用预测图像/最佳模式选择器33选择的预测图像的图像数据之间的差，从而生成差图像的图像数据，即，预测误差数据。预测误差数据的数量小于原始图像数据的数量。于是，与直接对图像编码的情况相比，能够减少数据的数量。
在步骤ST14，正交变换器14进行正交变换。正交变换器14进行从减法器13供给的预测误差数据的正交变换。具体地说，正交变换器14进行预测误差数据的离散余弦变换、Karhunen-Loeve变换或者任何其它适当的正交变换，然后输出变换系数数据。
在步骤ST15，量化器15进行量化。量化器15量化变换系数数据。在量化中，进行速率，如后在步骤ST28中的处理中所述。
在步骤ST16，反量化器21进行反量化。反量化器21根据与量化器15的特性对应的特性，进行已用量化器15量化的变换系数数据的反量化。
在步骤ST17，反正交变换器22进行反正交变换。反正交变换器22根据与正交变换器14的特性对应的特性，进行已用反量化器21量化的变换系数数据的反正交变换。
在步骤ST18，加法器23生成参考图像数据。加法器23相加从预测图像/最佳模式选择器33供给的预测图像数据，和已经历对应于预测图像的位置的反正交变换的数据，从而生成局部解码图像的图像数据(参考图像数据)。
在步骤ST19，解块滤波器24进行滤波。解块滤波器24对从加法器23输出的图像数据滤波，从而消除块失真。
在步骤ST20，局部解码图像编码器25对用解块滤波器24滤波的图像数据编码。局部解码图像编码器25根据利用高编码效率的有损编码对图像数据编码，然后输出编码图像数据。局部解码图像编码器25还生成表示编码失真的程度的编码失真信息，然后输出编码失真信息。通过对编码失真信息编码，能够减少从局部解码图像编码器25输出的数据的数量。
在步骤ST21，存储器26保存数据。存储器26保存从局部解码图像编码器25输出的编码图像数据和编码失真信息。
在步骤ST22，局部解码图像解码器27进行解码。局部解码图像解码器27解码从存储器26读取的编码数据。当从存储器26读取的编码失真信息被编码时，局部解码图像解码器27还解码编码失真信息。
在步骤ST23，编码失真控制器28根据编码失真信息进行控制。编码失真控制器28根据编码失真信息生成控制信号，并把控制信号输出给速率控制器18、解块滤波器24和预测图像/最佳模式选择器33，以降低在编码/解码处理中产生的编码失真的影响。
在步骤ST24，帧内预测单元31和运动预测/补偿单元32进行相应的预测操作。即，帧内预测单元31按照帧内预测模式进行帧内预测，运动预测/补偿单元32按照帧间预测模式进行运动预测/补偿。在预测操作中，进行所有候选预测模式的预测操作，并计算所有候选预测模式下的成本函数值。根据计算的成本函数值，选择最佳的帧内预测模式和帧间预测模式，按照选择的预测模式生成的预测图像及其成本函数值和预测模式信息被提供给预测图像/最佳模式选择器33。
在步骤ST25，预测图像/最佳模式选择器33选择预测的图像数据。预测图像/最佳模式选择器33根据从帧内预测单元31和运动预测/补偿单元32输出的成本函数值，确定其中使编码效率最大化的最佳模式。当在编码/解码处理中图像质量大大退化时，预测图像/最佳模式选择器33根据来自编码失真控制器28的控制信号，选择最佳帧内预测模式作为最佳模式。预测图像/最佳模式选择器33还把在这样确定的最佳模式下的预测图像数据输出给减法器13和加法器23。如上所述，在步骤ST13和ST18的计算中使用预测的图像数据。
在步骤ST26，无损编码器16进行无损编码。无损编码器16无损地对从量化器15输出的量化数据编码。即，无损编码器16进行量化数据的变长编码、算术编码或者任何其它适当的无损编码，从而生成编码数据。无损编码器16还无损地对与在步骤ST25中选择的预测图像数据对应的预测模式信息和其它各项信息编码，然后把预测模式信息和其它各项信息的无损编码数据添加到通过无损地对量化数据编码而生成的编码流中。
在步骤ST27，累积缓冲器17进行累积。累积缓冲器17累积从无损编码器16输出的编码流。累积缓冲器17累积的编码流被根据需要读取，并通过传输路径传输，以便解码。
在步骤ST28，速率控制器18进行速率控制。当累积缓冲器17累积编码流时，速率控制器18通过按照在累积缓冲器17中不发生上溢或下溢的方式设定量化参数QP，并把量化参数QP输出给量化器15，来控制量化的速率。速率控制器18还响应来自编码失真控制器28的控制信号，按照编码失真信息，调整、限制和以其它方式改变量化参数QP。
<3.调整量化参数的操作>
下面说明按照编码失真信息调整量化参数的操作。速率控制器18通过利用在MPEG2中的TM5中说明的代码量控制方法，设定量化参数。在MPEG2中的TM5中说明的速率控制方法包括步骤1-3。
在步骤1中，根据分派的比特量R，分派给GOP(画面组)中的各个画面的比特量被分配给包括将向其分派比特的画面的未编码画面。对GOP中的每个待编码画面，重复该分配操作。在该处理中，在两个假设之下，向每个画面分配代码量。第一个假设是除非屏幕变化，否则对每个画面类型来说，用于编码每个画面的平均量化器位阶代码(quantizer scale code)和生成的代码量的乘积是固定的。第二个假设是当P画面和B画面的量化器位阶代码与I画面的量化器位阶代码的比值KP和KB具有用式(1)表示的值时，总体图像质量一般被优化。
KP=1.0,KB=1.4(1)
在步骤2中，这样确定量化器位阶代码，以致在步骤1中确定的分派给在各个画面的比特量(TI,TP,TB)与实际的代码量一致。通过根据相互独立地设定的3种假想的缓冲容量，基于宏块地进行反馈控制，为相应类型的画面确定量化器位阶代码。
在步骤3，使在步骤2中确定的量化器位阶代码(量化参数)在图像的可更直观识别退化的平坦部分中，被更细微地量化，而在图像的不太直观识别退化的复杂图案中，则更粗糙。从而，按照每个宏块中的活动性，改变量化位阶代码。
速率控制器18按照编码失真信息dq，校正关于每个宏块确定的量化参数QPorg，以确定每个宏块的量化参数。例如，通过进行用式(2)表示的计算，确定量化参数。在式(2)中，α是任意常数，并且是在图像质量调整中确定的。
QP=QPorg×α×dq  (2)
如上所述，在图像解码设备生成的解码图像中，通过按照编码失真信息dq调整量化参数，能够降低在局部解码图像的编码/解码中产生的编码失真的影响。例如，当在编码/解码处理中使局部解码图像的图像质量退化时，与不进行量化参数调整的情况相比，通过按照减小量化步长的方式调整量化参数，能够减小由图像解码设备生成的解码图像的图像质量的退化量。
<4.限制量化参数的操作>
在限制量化参数的操作中，编码失真控制器28按照编码失真信息，设定量化参数被限制于其中的范围，并发送把这样设定的限制范围通知速率控制器18的控制信号。另一方面，编码失真控制器28可发送把编码失真信息通知速率控制器18的控制信号，从而速率控制器18可根据告知的编码失真信息，设定量化参数被限制于其中的范围。此外，当量化参数被限制时，关于限制的量化参数的信息被提供给无损编码器16。
图3是表示由编码失真控制器28和速率控制器18进行的量化参数限制操作的流程图。通过执行图3中所示的过程，确定每个宏块的量化参数。在下面的说明中，编码失真控制器28设定量化参数被限制在其中的范围。
在步骤ST31，编码失真控制器28获得编码失真信息dq。编码失真控制器28从局部解码图像解码器27，获得与局部解码图像解码器27解码的图像数据对应的编码失真信息。
在步骤ST32，编码失真控制器28判断编码失真信息dq的值是否小于阈值TH1。当编码失真信息dq的值小于阈值TH1时，编码失真控制器28进入步骤ST35，而当编码失真信息dq的值大于或等于阈值TH1时，编码失真控制器28进入步骤ST33。
在步骤ST33，编码失真控制器28判断编码失真信息dq的值是否大于或等于阈值TH1，但是小于阈值TH2。当编码失真信息dq的值大于或等于阈值TH1，但是小于阈值TH2时，编码失真控制器28进入步骤ST36，而当编码失真信息dq的值大于或等于阈值TH2时，编码失真控制器28进入步骤ST34。
在步骤ST34，编码失真控制器28判断编码失真信息dq的值是否大于或等于阈值TH2，但是小于阈值TH3。当编码失真信息dq的值大于或等于阈值TH2，但是小于阈值TH3时，编码失真控制器28进入步骤ST37，而当编码失真信息dq的值大于或等于阈值TH3时，编码失真控制器28进入步骤ST38。
在步骤ST35，编码失真控制器28把量化参数限制在范围“QPa1～QPa2”内，然后发送把该限制范围通知速率控制器18的控制信号。
在步骤ST36，编码失真控制器28把量化参数限制在范围“QPb1～QPb2”内，然后发送把该限制范围通知速率控制器18的控制信号。
在步骤ST37，编码失真控制器28把量化参数限制在范围“QPc1～QPc2”内，然后发送把该限制范围通知速率控制器18的控制信号。
在步骤ST38，编码失真控制器28把量化参数限制在范围“QPd1～QPd2”内，然后发送把该限制范围通知速率控制器18的控制信号。
在步骤ST39，速率控制器18确定量化参数在这样决定的限制范围内。速率控制器18按照以期望的速率，从累积缓冲器17输出编码流的方式，在从编码失真控制器28通知的量化参数限制范围内，确定量化参数，并把确定的量化参数输出给量化器15。
在限制量化参数的操作中，不必如图3中所示，定义量化参数的上限和下限，相反可以只定义上限和下限之一。例如，按照编码失真信息dq的值，或者编码失真信息dq和任意阈值之间的比较结果，设定偏移量。随后通过把这样设定的偏移量和量化参数相加，或者从量化参数中减去这样的设定的偏移量，能够设定量化参数的上限或下限。
在如上所述进行限制量化参数的操作之后，无损编码器16利用关于限制的量化参数的信息对量化参数信息编码。当量化参数的范围被限制时，与量化参数的范围未被限制的情况相比，量化参数信息的代码的长度较短。通过限制量化参数的范围，能够提高编码量化参数信息的效率。
<5.降低编码失真的影响的其它操作>
在上面的说明中，按照编码失真信息dq调整和限制量化参数。另一方面，通过根据编码失真信息，控制解块滤波器24和预测图像/最佳模式选择器33的操作，能够降低在编码/解码处理中产生的编码失真的影响。
解块滤波器24响应来自后面说明的编码失真控制器28的控制信号，按照编码失真信息，调整滤波的强度(在图2中所示的ST19中进行相同的调整)。例如，当根据JPEG对局部解码图像编码，并且作为结果的编码失真信息表示编码失真较大时，如此增大滤波的强度，以致使在各个块之间的边界的高频分量衰减更多。当如上所述，这样设定滤波的强度，以致使高频分量被衰减更多时，能够降低在编码/解码处理中产生的图像质量的退化程度，因为当对下一帧的局部解码图像编码时，高频分量将被更多地衰减。
此外，预测图像/最佳模式选择器33响应来自编码失真控制器28的控制信号，根据编码失真信息，指定最佳模式(在图2中所示的步骤ST25中进行相同的处理)。例如，当在编码/解码处理中产生的图像质量退化较大时，待编码图像和参考图像之间的差变大，导致编码效率降低。为了避免编码效率降低，当根据编码失真信息，预计图像质量退化较大时，指定帧内预测。
如上所述，在用图像解码设备生成的解码图像中，通过按照编码失真信息dq调整解块滤波器24的滤波强度和选择预测图像，能够降低在局部解码图像的编码/解码中产生的编码失真的影响。
此外，图像编码设备10可以根据编码失真信息，组合改变或限制量化参数的操作，改变解块滤波器的滤波强度的操作，和选择预测模式的操作。
<6.图像解码设备的结构>
下面说明解码从图像编码设备输出的编码流的图像解码设备。通过对输入图像编码而生成的编码流借助预定传输路径，记录介质或者任何其它组件，被提供给图像解码设备，并被图像解码设备解码。
图4表示解码编码流的图像解码设备的结构。图像解码设备50包括累积缓冲器51、无损解码器52、反量化器53、反正交变换器54、加法器55、解块滤波器56、屏幕重排缓冲器57和数字/模拟转换器(D/A转换器)58。图像解码设备50还包括局部解码图像编码器61、存储器62、局部解码图像解码器63和编码失真控制器64。图像解码设备50还包括帧内预测单元71、运动补偿单元72和选择器73。
累积缓冲器51累积传送的编码流。无损解码器52通过利用与图1中所示的无损编码器16利用的编码方法对应的方法，解码从累积缓冲器51供给的编码流。
无损解码器52起信息获取单元52的作用，从编码流获得各种信息。例如，无损解码器52解码编码流，把作为结果的预测模式信息和其它各项信息输出给帧内预测单元71和运动补偿单元72。无损解码器52还把通过解码编码流而获得的量化参数信息和量化数据输出给反量化器53。当量化参数的范围已被限制，并且量化参数信息已被编码时，无损解码器52还利用从后面说明的编码失真控制器64供给的控制信号，解码量化参数信息。
反量化器53根据与图3中所示的量化器15使用的量化方法对应的方法，利用量化参数进行从无损解码器52供给的量化数据的反量化。反正交变换器54根据与图1中所示的正交变换器14进行的正交变换对应的方法，进行来自反量化器53的输出的反正交变换，并把结果数据输出给加法器55。
加法器55相加经过反正交变换的数据和从选择器73供给的预测图像数据，从而生成解码图像的图像数据，并把图像数据输出给解块滤波器56和帧内预测单元71。
解块滤波器56进行降低当图像被编码时，产生的块失真的滤波。解块滤波器56对从加法器55供给的图像数据滤波，从而从图像数据中消除块失真，然后把滤波后的图像数据输出给屏幕重排缓冲器57和局部解码图像编码器61。解块滤波器56还响应来自后面说明的编码失真控制器64的控制信号，按照编码失真信息调整滤波的强度。
屏幕重排缓冲器57进行图像重排。即，屏幕重排缓冲器57把用图1中所示的屏幕重排缓冲器12按照编码顺序重排各帧的顺序，改变成按照原始显示顺序重排各帧的顺序，并把重排后的图像数据输出给D/A转换器58。
D/A转换器58对从屏幕重排缓冲器57供给的图像数据进行D/A转换，并把转换后的图像数据输出给显示器(未示出)，所述显示器显示解码的图像。
局部解码图像编码器61具有和图1中所示的局部解码图像编码器25相同的结构。局部解码图像编码器61利用由解块滤波器56滤波的解码图像的图像数据作为局部解码图像的图像数据，以根据利用高编码效率的有损编码对图像数据编码，然后把编码图像数据输出给存储器62。局部解码图像编码器61还把表示编码失真的程度的编码失真信息输出给存储器62。通过在局部解码图像编码器61把编码失真信息输出给存储器62之前，在局部解码图像编码器61中对编码失真信息编码，能够减少待保存在存储器62中的数据的数量。如上所述，当根据例如JPEG(联合图像专家组)对图像数据编码时，Q因数(品质因数)被用作编码失真信息。当根据比特平面编码对图像数据编码时，关于比特处置位置的信息被用作编码失真信息。
存储器62保存从局部解码图像编码器61供给的编码数据，和与之对应的编码失真信息。从存储器62读取的编码数据和与之对应的编码失真信息被输出给局部解码图像解码器63。
局部解码图像解码器63具有和图1中所示的局部解码图像解码器27相同的结构。局部解码图像解码器63解码从存储器62供给的编码数据，然后把结果图像数据作为参考图像数据提供给运动补偿器72。局部解码图像解码器63还把从存储器62读取的编码失真信息输出给编码失真控制器64。当编码失真信息已被编码时，局部解码图像解码器63解码编码失真信息。
编码失真控制器64具有和图1中所示的编码失真控制器28相同的结构。编码失真控制器64根据编码失真信息生成用于降低在局部解码图像的编码/解码中产生的编码失真的影响的控制信号，并把所述控制信号输出给解块滤波器56和选择器73。
帧内预测单元71根据从无损解码器52供给的预测模式信息，和从加法器55供给的解码图像数据，生成预测图像数据，并把生成的预测图像数据输出给选择器73。
运动补偿单元72根据从无损解码器52供给的预测模式信息和运动向量信息，利用从局部解码图像解码器63供给的图像数据进行运动补偿，以生成预测图像数据。运动补偿单元72把生成的预测图像数据输出给选择器73。
选择器73根据从无损解码器52供给的预测模式信息，在预测模式是帧内预测的情况下，选择帧内预测单元71，而在预测模式是帧间预测的情况下，选择运动补偿单元72。选择器73把由这样选择的帧内预测单元71或运动补偿单元72生成的预测图像数据输出给加法器55。此外，选择器73根据来自编码失真控制器64的控制信号，选择来自帧内预测单元71的预测图像数据，或者来自运动补偿单元72的预测图像数据。
如上所述，在图像解码设备50中，帧内预测单元71、运动补偿单元72和选择器73生成预测图像。此外，生成的预测图像和编码流被用于在反量化器21、反正交变换器22、加法器23和解块滤波器24中进行解码，以便进行解码生成。
<7.图像解码设备的操作>
下面参考图5中所示的流程图，说明图像解码设备50的操作。在步骤ST51，累积缓冲器51累积供给的编码流。在步骤ST52，无损解码器52进行无损解码。无损解码器52解码从累积缓冲器51供给的编码流。即，生成由图1中所示的无损编码器16编码的每个图像的量化数据。无损解码器52还进行包含在编码流中的预测模式信息和其它信息的无损解码。当作为结果的预测模式信息表示帧内预测模式时，无损解码器52把预测模式信息输出给帧内预测单元71。当作为结果的预测模式信息表示帧间预测模式时，无损解码器52把预测模式信息和运动向量信息输出给运动补偿单元72。
在步骤ST53，反量化器53进行反量化。反量化器53根据与图1中所示的量化器15的特性对应的特性，进行由无损解码器52解码的量化数据的反量化。
在步骤ST54，反正交变换器54进行反正交变换。反正交变换器54根据与图1中所述的正交变换器14的特性对应的特性，进行已在反量化器53中经过反量化的变换系数数据的反正交变换。
在步骤ST55，加法器55生成解码图像数据。加法器55把在反正交变换中提供的数据添加到在后面说明的步骤ST59中选择的预测图像数据中，从而生成解码图像数据。从而，原始图像被解码。
在步骤ST56，解块滤波器56进行滤波。解块滤波器56对从加法器55输出的解码图像数据滤波，以消除块失真。
在步骤ST57，局部解码图像编码器61对解块滤波器56滤波的图像数据编码。与图像编码设备10中的局部解码图像编码器25具有相同结构的局部解码图像编码器61根据利用高编码效率的编码方法，对图像数据编码，然后输出编码图像数据。局部解码图像编码器61还生成表示编码失真的程度的编码失真信息，并输出编码失真信息。
在步骤ST58，存储器62保存结果数据。存储器62保存从局部解码图像编码器61输出的编码图像数据和编码失真信息。
在步骤ST59，局部解码图像解码器63解码从存储器62读取的编码数据。当从存储器62读取的编码失真信息已被编码时，局部解码图像解码器63还解码编码失真信息。
在步骤ST60，编码失真控制器64根据编码失真信息进行控制。编码失真控制器64根据编码失真信息生成控制信号，并把控制信号输出给无损解码器52、解块滤波器56和选择器73，以降低在编码/解码处理中产生的编码失真的影响。
在步骤ST61，帧内预测单元71和运动补偿单元72生成预测图像。帧内预测单元71和运动补偿单元72对应于从无损解码器52供给的预测模式信息地生成预测图像。
即，当无损解码器52供给包含帧内预测的预测模式信息时，帧内预测单元71根据该预测模式信息，生成预测图像数据。当无损解码器52供给包含帧间预测的预测模式信息时，运动补偿单元72根据预测模式信息和运动向量信息，进行运动补偿，从而生成预测图像数据
在步骤ST62，选择器73进行预测图像数据选择。选择器73选择从帧内预测单元71供给的预测图像数据和从运动补偿单元72供给的预测图像数据之一，把选择的预测图像数据提供给加法器55，如上所述，在步骤ST55，加法器55把供给的预测图像数据添加到来自反正交变换器54的输出中。当编码/解码处理产生较大的图像质量退化时，选择器73根据来自编码失真控制器64的控制信号，选择从帧内预测单元71供给的预测图像数据。
在步骤ST63，屏幕重排缓冲器57进行图像重排。即，屏幕重排缓冲器57把图1中所示的图像编码设备10中的屏幕重排缓冲器12按照编码顺序重排各帧的顺序，改变成按照原始显示顺序重排各帧的顺序。
在步骤ST64，D/A转换器58对来自屏幕重排缓冲器57的图像数据进行D/A转换，然后把转换的图像数据输出给显示器(未示出)，所述显示器显示对应图像。
<8.当量化参数受到限制时进行的解码操作>
即使当通过限制量化参数的范围，在图像编码设备10中增大编码量化参数信息的效率时，图像解码设备50也能够从编码流中正确解码量化参数信息。
图像解码设备50中的编码失真控制器64进行和图像编码设备10中的编码失真控制器28所进行的处理相同的处理，以像图像编码处理中一样，按照编码失真信息限制量化参数的范围。编码失真控制器64还把关于限制的量化参数的信息输出给无损解码器52。
无损解码器52利用从编码失真控制器64供给的限制的量化参数的信息，进行与无损编码器16进行的编码对应的解码，从而从编码流生成量化参数信息。
如上所述，编码失真控制器64生成和当量化参数被编码时使用的量化参数的限制有关的信息，并把生成的信息提供给无损解码器52，无损解码器52从而能够从编码流中正确地生成量化参数信息。即，由于即使当在图像编码时编码量化参数信息的效率被提高，通过限制量化参数的范围，图像解码设备50也能够从编码流中正确地生成量化参数信息，从而能够提供高质量的解码图像。
<9.当在编码时，降低编码失真的影响时进行的解码操作>
在上面的说明中，图像解码设备50按照编码失真信息dq，调整和限制量化参数。另一方面，通过根据编码失真信息，控制解块滤波器24和预测图像/最佳模式选择器33的操作，图像解码设备50能够降低在编码/解码处理中产生的编码失真的影响。
解块滤波器24响应来自编码失真控制器28的控制信号，按照编码失真信息，调整滤波的强度(在图2中所示的ST19中进行相同的调整)。例如，当根据JPEG对局部解码图像编码，并且作为结果的编码失真信息表示编码失真较大时，如此增大滤波的强度，以致使在各个块之间的边界的高频分量衰减更多。当如上所述，这样设定滤波的强度，以致使高频分量被衰减更多时，能够降低在编码/解码处理中产生的图像质量的退化程度，因为当对下一帧的局部解码图像编码时，高频分量将被更多地衰减。
此外，预测图像/最佳模式选择器33响应来自编码失真控制器28的控制信号，根据编码失真信息，指定最佳模式(在图2中所示的ST25中进行相同的处理)。例如，当在编码/解码处理中产生的图像质量退化较大时，待编码图像和参考图像之间的差变大，导致编码效率降低。为了防止编码效率降低，当根据编码失真信息预计图像质量退化较大时，指定帧内预测(在图2中所示的ST25中进行相同的处理)。
此外，图像编码设备10中的局部解码图像编码器25，和图像解码设备50中的局部解码图像编码器61被这样设定，以致以相同的编码速率进行编码，图像解码设备50按照和图像编码设备10相同的方式，进行局部解码图像的编码/解码，按照编码失真信息调整和限制量化参数，调整解块滤波器的滤波强度，和切换预测模式。此外，当按照相同的方式进行图像编码和图像解码时，不必向编码流中增加用于按照编码失真信息控制量化参数、解块滤波器和预测模式的信息，从而能够提高编码效率。
此外，图像解码设备50可根据编码失真信息，组合改变或限制量化参数的操作，改变解块滤波器的滤波强度的操作，和选择预测模式的操作。当所述组合与图像编码设备10中的相同时，可按照相同的规则，在图像编码设备和图像解码设备中编码和解码输入图像。
<10.利用软件处理>
在说明书中说明的一系列处理可用硬件、软件或者它们的组合来实现。为了用软件执行所述处理，把其中记录处理序列的程序安装在结合到专用硬件中的计算机之中的存储器中，随后执行该程序，或者把程序安装在能够执行各种处理的通用计算机中，随后执行该程序。
例如，程序可被预先记录在记录介质，比如硬盘驱动器和ROM(只读存储器)上。另一方面，程序可被临时或永久保存(记录)在软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用光盘)、磁盘、半导体存储卡和其它可拆卸记录介质上。可以任意可拆卸记录介质的形式，提供所谓的套装软件。
可从可拆卸记录介质把程序安装到计算机上，或者可无线或者有线地，通过LAN(局域网)、因特网或者任何其它适当的网络，把程序从下载站点传送给计算机。计算机接收这样传送的程序，所述程序被安装在内置硬盘驱动器或者任何其它适当的记录介质上。
本技术不应被解释成局限于上述实施例。以实施例的形式举例公开了本技术，显然，本领域的技术人员能够修改和替换实施例，而不脱离本技术的精神。即，要理解本技术的精神，应参考附加的权利要求。
还可如下构成本技术。
(1)一种图像编码设备，包括：
编码处理器，所述编码处理器对表示输入图像和预测图像之间的差的图像编码，从而生成编码数据，
解码处理器，所述解码处理器对编码数据解码，从而生成局部解码图像，
局部解码图像编码器，所述局部解码图像编码器对局部解码图像编码，并把编码的局部解码图像保存在存储器中，
局部解码图像解码器，所述局部解码图像解码器对编码并保存在存储器中的局部解码图像解码，和
控制器，所述控制器根据表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制编码数据的生成。
(2)在(1)中所述的图像编码设备，
其中控制器按照编码失真信息，调整用于对差图像编码的量化参数。
(3)在(1)或(2)中所述的图像编码设备，
其中控制器按照编码失真信息，限制用于对差图像编码的量化参数的范围，和
编码处理器利用限制的范围对量化参数编码。
(4)在(1)-(3)任意之一中所述的图像编码设备，
还包括对局部解码图像滤波的解块滤波器，
其中控制器按照编码失真信息，改变解块滤波器的滤波强度。
(5)在(1)-(4)任意之一中所述的图像编码设备，
其中编码处理器利用解码的局部解码图像生成帧内预测图像和帧间预测图像，和
控制器按照编码失真信息，选择帧内预测图像或帧间预测图像，并把选择的图像用作预测图像。
(6)一种图像解码设备，包括：
解码处理器，所述解码处理器对编码流解码，从而生成差图像，并把预测图像和差图像相加，从而生成解码图像，
局部解码图像编码器，所述局部解码图像编码器对解码图像编码作为局部解码图像，并把局部解码图像保存在存储器中，
局部解码图像解码器，所述局部解码图像解码器对编码并保存在存储器中的局部解码图像解码，和
控制器，所述控制器按照表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制差图像或预测图像的生成。
(7)在(6)中所述的图像解码设备，
其中控制器按照编码失真信息，限制量化参数的范围，
解码处理器利用限制的范围对被编码并添加到编码流中的量化参数解码，并利用作为结果的量化参数对编码流解码，从而生成差图像。
(8)在(6)或(7)中所述的图像解码设备，
还包括对局部解码图像滤波的解块滤波器，
其中控制器按照编码失真信息，改变解块滤波器的滤波强度。
(9)在(6)-(8)任意之一中所述的图像解码设备，
其中解码处理器利用解码的局部解码图像，生成帧内预测图像和帧间预测图像，和
控制器按照编码失真信息，选择帧内预测图像或帧间预测图像，并把选择的图像用作预测图像。
按照本技术的实施例的图像编码设备、图像解码设备、图像编码方法、图像解码方法和程序，在编码时，通过对有关输入图像和预测图像之间的差的信息编码而生成的编码数据被解码，从而生成局部解码图像。局部解码图像被编码，并保存在存储器中，随后被读取和解码。按照在局部解码图像的编码/解码中产生的编码失真，控制编码数据的生成，以降低编码失真的影响。此外，当对编码流解码时，在解码处理中生成的解码图像被编码成局部解码图像，并保存在存储器中，随后被读取和解码。和编码处理中一样，也按照在局部解码图像的编码/解码中产生的编码失真，控制解码图像的生成。于是，即使当在保存局部解码图像时提高了编码效率，在解码时，也能够提供高质量的解码图像。所述图像编码设备和图像解码设备适合于记录、再现、编辑和以其它方式处理视频图像的电子系统。
本公开包含与在2011年6月7日向日本专利局提交的日本优先权专利申请JP 2011-127183中公开的主题相关的主题，该专利申请的整个内容在此引为参考。
本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内。

Claims (13)

1.一种图像编码设备，包括：
编码处理器，所述编码处理器对表示输入图像和预测图像之间的差的图像编码，从而生成编码数据；
解码处理器，所述解码处理器对编码数据解码，从而生成局部解码图像；
局部解码图像编码器，所述局部解码图像编码器对局部解码图像编码，并把编码的局部解码图像保存在存储器中；
局部解码图像解码器，所述局部解码图像解码器对编码并保存在存储器中的局部解码图像解码；和
控制器，所述控制器根据表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制编码数据的生成。
2.按照权利要求1所述的图像编码设备，
其中控制器按照编码失真信息，调整用于对差图像编码的量化参数。
3.按照权利要求1所述的图像编码设备，
其中控制器按照编码失真信息，限制用于对差图像编码的量化参数的范围，和
编码处理器利用限制的范围对量化参数编码。
4.按照权利要求1所述的图像编码设备，
还包括对局部解码图像滤波的解块滤波器，
其中控制器按照编码失真信息，改变解块滤波器的滤波强度。
5.按照权利要求1所述的图像编码设备，
其中编码处理器利用解码的局部解码图像生成帧内预测图像和帧间预测图像，和
控制器按照编码失真信息，选择帧内预测图像或帧间预测图像，并把选择的图像用作预测图像。
6.一种图像编码方法，包括：
对表示输入图像和预测图像之间的差的图像编码，从而生成编码数据；
对编码数据解码，从而生成局部解码图像；
对局部解码图像编码，并把编码的局部解码图像保存在存储器中；
对编码并保存在存储器中的局部解码图像解码；和
根据表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制编码数据的生成。
7.一种使计算机执行以下步骤的程序：
对表示输入图像和预测图像之间的差的图像编码，从而生成编码数据；
对编码数据解码，从而生成局部解码图像；
对局部解码图像编码，并把编码的局部解码图像保存在存储器中；对编码并保存在存储器中的局部解码图像解码；和
根据表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制编码数据的生成。
8.一种图像解码设备，包括：
解码处理器，所述解码处理器对编码流解码，从而生成差图像，并把预测图像和差图像相加，从而生成解码图像；
局部解码图像编码器，所述局部解码图像编码器对解码图像编码作为局部解码图像，并把局部解码图像保存在存储器中；
局部解码图像解码器，所述局部解码图像解码器对编码并保存在存储器中的局部解码图像解码；和
控制器，所述控制器按照表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制差图像或预测图像的生成。
9.按照权利要求8所述的图像解码设备，
其中控制器按照编码失真信息，限制量化参数的范围，
解码处理器利用限制的范围对被编码并添加到编码流中的量化参数解码，并利用作为结果的量化参数对编码流解码，从而生成差图像。
10.按照权利要求8所述的图像解码设备，
还包括对局部解码图像滤波的解块滤波器，
其中控制器按照编码失真信息，改变解块滤波器的滤波强度。
11.按照权利要求8所述的图像解码设备，
其中解码处理器利用解码的局部解码图像，生成帧内预测图像和帧间预测图像，和
控制器按照编码失真信息选择帧内预测图像或帧间预测图像，并把选择的图像用作预测图像。
12.一种图像解码方法，包括：
对编码流解码，从而生成差图像，并把预测图像和差图像相加，从而生成解码图像；
对解码图像编码作为局部解码图像，并把局部解码图像保存在存储器中；
对编码并保存在存储器中的局部解码图像解码；和
按照表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制差图像或预测图像的生成。
13.一种使计算机执行以下步骤的程序：
对编码流解码，从而生成差图像，并把预测图像和差图像相加，从而生成解码图像；
对解码图像编码作为局部解码图像，并把局部解码图像保存在存储器中；
对编码并保存在存储器中的局部解码图像解码；和
按照表示在局部解码图像的编码/解码中产生的编码失真的程度的编码失真信息，控制差图像或预测图像的生成。
CN2012101759602A 2011-06-07 2012-05-30 图像编码设备和方法，图像解码设备和方法 Pending CN102821276A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011127183A JP2012253722A (ja) 2011-06-07 2011-06-07 画像符号化装置と画像復号装置およびその方法とプログラム
JP2011-127183 2011-06-07

Publications (1)

Publication Number Publication Date
CN102821276A true CN102821276A (zh) 2012-12-12

Family

ID=47293267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101759602A Pending CN102821276A (zh) 2011-06-07 2012-05-30 图像编码设备和方法，图像解码设备和方法

Country Status (3)

Country Link
US (1) US20120314966A1 (zh)
JP (1) JP2012253722A (zh)
CN (1) CN102821276A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079149A (zh) * 2014-10-06 2017-08-18 索尼公司 图像处理装置和方法
CN116228897A (zh) * 2023-03-10 2023-06-06 北京百度网讯科技有限公司 图像处理方法、图像处理模型和训练方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6453652B2 (ja) 2015-01-09 2019-01-16 株式会社東芝 映像伝送システム
CN111656785A (zh) * 2019-06-28 2020-09-11 深圳市大疆创新科技有限公司 可移动平台的图像处理方法、装置、可移动平台及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834080B1 (en) * 2000-09-05 2004-12-21 Kabushiki Kaisha Toshiba Video encoding method and video encoding apparatus
US20050244063A1 (en) * 2004-04-29 2005-11-03 Do-Kyoung Kwon Adaptive de-blocking filtering apparatus and method for mpeg video decoder
US20090074082A1 (en) * 2006-03-24 2009-03-19 Huawei Technologies Co., Ltd. System And Method Of Error Control For Video Coding
CN101729897A (zh) * 2005-03-16 2010-06-09 株式会社东芝 图像编码/解码方法及其装置
EP2306732A1 (en) * 2008-06-27 2011-04-06 Fujitsu Limited Image compression device and image restoration device

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177993A (ja) * 1997-12-12 1999-07-02 Nec Corp 動画像符号化装置
CN1204751C (zh) * 1999-04-13 2005-06-01 松下电器产业株式会社 编码数据变换方法、再编码方法、再编码系统以及数据记录媒体
US6961383B1 (en) * 2000-11-22 2005-11-01 At&T Corp. Scalable video encoder/decoder with drift control
KR100433516B1 (ko) * 2000-12-08 2004-05-31 삼성전자주식회사 트랜스코딩 방법
US7295609B2 (en) * 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
JP4956612B2 (ja) * 2006-10-12 2012-06-20 株式会社東芝 画像符号化装置及び画像符号化方法
EP2136564A1 (en) * 2007-01-09 2009-12-23 Kabushiki Kaisha Toshiba Image encoding and decoding method and device
JP4707118B2 (ja) * 2007-03-28 2011-06-22 株式会社Ｋｄｄｉ研究所 動画像符号化装置および動画像復号装置のイントラ予測方式
WO2008120577A1 (ja) * 2007-03-29 2008-10-09 Kabushiki Kaisha Toshiba 画像符号化及び復号化の方法及び装置
CN107105257B (zh) * 2007-06-29 2020-08-28 威勒斯媒体国际有限公司 图像编码装置、图像编码方法、图像译码装置、图像译码方法
US8295624B2 (en) * 2007-12-03 2012-10-23 Ecole De Technologie Superieure Method and system for generating a quality prediction table for quality-aware transcoding of digital images
CN101594525B (zh) * 2008-05-31 2011-08-10 华为技术有限公司 量化参数的获取方法、装置及转码器
EP2286595A1 (en) * 2008-06-16 2011-02-23 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
JP5680283B2 (ja) * 2008-09-19 2015-03-04 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
US8879637B2 (en) * 2008-10-06 2014-11-04 Lg Electronics Inc. Method and an apparatus for processing a video signal by which coding efficiency of a video signal can be raised by using a mixed prediction mode in predicting different macroblock sizes
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
KR101379185B1 (ko) * 2009-04-14 2014-03-31 에스케이 텔레콤주식회사 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP2011166327A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像処理装置および方法
JP2011223302A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
JP2012169762A (ja) * 2011-02-10 2012-09-06 Sony Corp 画像符号化装置と画像復号化装置およびその方法とプログラム
JP5563148B2 (ja) * 2011-03-09 2014-07-30 株式会社東芝 動画像符号化方法及び動画像復号化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834080B1 (en) * 2000-09-05 2004-12-21 Kabushiki Kaisha Toshiba Video encoding method and video encoding apparatus
US20050244063A1 (en) * 2004-04-29 2005-11-03 Do-Kyoung Kwon Adaptive de-blocking filtering apparatus and method for mpeg video decoder
CN101729897A (zh) * 2005-03-16 2010-06-09 株式会社东芝 图像编码/解码方法及其装置
US20090074082A1 (en) * 2006-03-24 2009-03-19 Huawei Technologies Co., Ltd. System And Method Of Error Control For Video Coding
EP2306732A1 (en) * 2008-06-27 2011-04-06 Fujitsu Limited Image compression device and image restoration device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079149A (zh) * 2014-10-06 2017-08-18 索尼公司 图像处理装置和方法
CN107079149B (zh) * 2014-10-06 2020-03-03 索尼公司 图像处理装置和方法
CN116228897A (zh) * 2023-03-10 2023-06-06 北京百度网讯科技有限公司 图像处理方法、图像处理模型和训练方法
CN116228897B (zh) * 2023-03-10 2024-04-23 北京百度网讯科技有限公司 图像处理方法、图像处理模型和训练方法

Also Published As

Publication number Publication date
JP2012253722A (ja) 2012-12-20
US20120314966A1 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
AU2019200515B2 (en) Image decoding device, image encoding device, and method thereof
CN102271257B (zh) 图像处理设备
JP5021502B2 (ja) ビデオ・エンコーダのモード選択によるレート歪みトレードオフの制御方法および装置
US7457471B2 (en) Method of adaptively encoding and decoding motion image and apparatus therefor
US7388995B2 (en) Quantization matrix adjusting method for avoiding underflow of data
JP5385251B2 (ja) デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
CN1684518A (zh) 高保真代码转换
CN101233757A (zh) 用于为能够可变比特速率编码的视频编码器提供速率控制的方法、模块、设备和系统
CN102823246A (zh) 图像处理设备和图像处理方法
TW201112771A (en) Image encoding apparatus, image encoding method, and computer program
CN102986211A (zh) 视频编码中的速率控制
CN102821276A (zh) 图像编码设备和方法，图像解码设备和方法
JP4795223B2 (ja) 画像処理装置
JPH0879766A (ja) 動画像符号化方法及び動画像符号化装置
CN101292535A (zh) 编码设备、编码方法、解码设备、解码方法和程序
CN102934442A (zh) 编码装置和编码方法
JP2950065B2 (ja) 可変転送レート符号化装置
CN102027745A (zh) 视频记录装置
JP4775132B2 (ja) 画像理装置および方法、プログラム、並びに記録媒体
US20050220352A1 (en) Video encoding with constrained fluctuations of quantizer scale
EP1768416A1 (en) Frequency selective video compression and quantization
JPH07203456A (ja) 符号化装置と復号化装置と映像記録装置
JP2012138661A (ja) 画像処理装置および方法
KR100677128B1 (ko) 동영상 부호화기의 비트율 제어장치 및 방법
JPH08186821A (ja) 動画像符号化装置及び動画像伝送装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121212

WD01 Invention patent application deemed withdrawn after publication